机器人协议(Robots.txt)

卖贝商城 2017-12-06 17:29:16 198

　　机器人协议(Robots.txt)

　　机器人协议(Robots.txt)不过是一个TXT文本文件，存在于你域名根目录之下，作用是将网站的目录结构信息告诉爬虫和蜘蛛，并限制其对特定文件夹和内容的访问，或者是完全将它们关在门外。