nginx配置user-agent
2013-05-08通过配置nginx，我们可以限制一些对网站的访问。 阅读全文...
爬虫协议(robots.txt)
2013-05-08robots协议（也称为爬虫协议、爬虫规则、机器人协议等）也就是robots.txt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令，故需要搜索引擎自觉遵守。一些病毒如malware（马威尔病毒）经常通过忽略robots协议的方式，获取网站后台数据和个人信息。一些搜索引擎可能会为了提高自己的搜索量忽略robots协议，理论上是可以做的。 阅读全文...
网络蜘蛛(Spider)
2013-05-08网络蜘蛛(Spider)网络爬虫也叫网络蜘蛛是一种自动获取网页内容的程序，是搜索引擎的重要组成部分。 阅读全文...