爬虫协议(robots.txt)

robots协议（也称为爬虫协议、爬虫规则、机器人协议等）也就是robots.txt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令，故需要搜索引擎自觉遵守。一些病毒如malware（马威尔病毒）经常通过忽略robots协议的方式，获取网站后台数据和个人信息。一些搜索引擎可能会为了提高自己的搜索量忽略robots协议，理论上是可以做的。

如果你的站点对所有搜索引擎公开，则不用做这个文件或者robots.txt为空就行，必须命名为：robots.txt，都是小写，robot后面加"s"。

robots.txt文件是一个文本文件。
robots.txt是一个协议，而不是一个命令。
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。
robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
robots.txt文件应该放置在网站根目录下。

robots.txt实例,禁止所有搜索引擎收录网站任何页面的语法为：
有几个禁止，就得有几个Disallow函数，并分行描述。
至少要有一个Disallow函数，如果都允许收录，则写: Disallow: ，如果都不允许收录，则写:Disallow: / （注：只是差一个斜杆）。

User-agent: *
Disallow: /
Allow: /.htm$ 仅允许访问以".htm"为后缀的URL。
Allow: /.gif$ 允许抓取网页和gif格式图片

User-agent: baiduspider
Disallow: /

robots.txt文件生成工具：
http://tool.chinaz.com/robots/

相关日志

• nginx配置user-agent
• 网络蜘蛛(Spider)