前段时间互联网界对360不遵守robots.txt文件进行了群批，百度也强调自己是遵守robots.txt协议的。但从最近对某网站的分析来看，百度对robots.txt文件的遵守很不彻底。11月15号，我写了一篇文章各搜索蜘蛛对robots.txt文件改动的反应， 因为在11月13号左右，我在我从事的网站上放了robots.txt文件，明确禁止搜索引擎抓取一些目录。robots.txt文件放上去后，各搜索引擎都有所反应，包括百度。

　　这是我的robots.txt文截图：

　　一个礼拜多的时间过去了，发现百度搜索结果中仍有大量被禁止的目录。查看11月21号的日志，发现其它搜索引擎都已经完全不再抓取被禁止的目录，而百度仍对禁止目录有大量抓取。