怎么样正确设置使用robots.txt文件呢?

　　怎么样正确设置使用robots.txt文件呢?

　　：如何正确书写robots.txt文件，robots.txt文件的书写格式是什么?

　　要想正确的书写robots文件，首页要对文件的基本函数进行了解：

　　User-agent：在后面加上* 意思是允许任何搜索引擎对网站进行抓取;User-agent: Baiduspider意思是允许百度搜索引擎对网站进行抓取，如果网站中只写了这个属性，那就表明此网站只接受百度蜘蛛的抓取，其他蜘蛛不可以索引。

　　Disallow：这个函数的意思是静止蜘蛛访问函数后面的网站目录，如果网站所有的都允许那就写：如果都允许收录: Disallow:，像淘宝网的文件中写到，禁止百度蜘蛛的抓取，网站任何位置都不允许抓取。

　　Allow:该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL 是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。

　　使用"*"and"$"：Baiduspider支持使用通配符"*"和"$"来模糊匹配url。

　　"*" 匹配0或多个任意字符

　　"$" 匹配行结束符。

　　第二：设置Robots.txt文件时应注意哪些事项?

　　1、作为搜索引擎先访问的目录，过长的robots文件也会影响蜘蛛的爬取速度，所以对于禁止搜索引擎的网页，可以适度的去使用noffollow标记，使其不对该网站传递权重。

　　2、在robots设置当中关于Disallow当中/和//的区别。举例：Disallow; /a 与Disallow: /a/的区别，很多站长都见过这样的问题，为什么有的协议后加斜杠，有的不加斜杠呢?笔者今天要说的是：如果不加斜杠，屏蔽的是以a字母开头的所有目录和页面，而后者代表的是屏蔽当前目录的所有页面和子目录的抓取。

　　通常来讲，我们往往选择后者更多一些，因为定义范围越大，容易造成“误杀”。

　　3、对于Disallow和Allow的设置是有先后顺序之分的，搜索引擎会根据个匹配成功的Allow与Disallow来确定首先访问那个url地址。

　　4、已经删除的目录屏蔽不建议使用Robots.txt文件屏蔽。很多站长往往删除一些目录后，怕出现404问题，而进行了屏蔽，禁止搜索引擎再抓取这样的链接。事实上，这样做真的好吗?即使你屏蔽掉了，如果之前的目录存在问题，那么没有被蜘蛛从库中剔除，同样会影响到网站。

　　建议佳的方式是：将对应的主要错误页面整理出来，做死链接提交，以及自定义404页面的处理，彻底的解决问题，而不是逃避问题。

　　5、在robots设置当中“*”和“$”的设置，其中”$” 匹配行结束符。”*” 匹配0或多个任意字符。

　　后，笔者要说robots文件的发展已经有10年之余，很多搜索引擎已经对文件进行认可，正确的文件使用可更好的帮助站长们优化网站，否则使用不当便会造成很大的影响。