百度为什么抓取被robots.txt禁止的文件(10)
时间:2012-11-28 03:00
来源:网络
作者:zillionpark
点击:
次
我来投稿获取授权
以下内容来自网络或网友投稿，www.swdyz.com不承担连带责任，如有侵权问题请联系我删除。投稿如果是首发请注明‘第一站首发’。如果你对本站有什么好的要求或建议。那么都非常感谢你能-联系我|版权认领
如果是技术上的失误，那可能是百度设置的robots.txt访问时间间隔太长。又可能是百度访问robots.txt文件时发现是304状态(网 页示变更)而未重新抓取。时间间
|
如果是技术上的失误，那可能是百度设置的robots.txt访问时间间隔太长。又可能是百度访问robots.txt文件时发现是304状态(网 页示变更)而未重新抓取。时间间隔长现在是肯定的了。因为304而未抓取已经排除，因为在网站日志的蜘蛛304表里，未发现robos.txt踪影。不及时抓取robots.txt按道理百度这样大的搜索巨头不太可能犯这种低级错误, 难道它是因为信息更新成本太高，不得不降低反应速度?又或者以阴谋论的角度想，它想打擦边球，”不小心”抓取到比别的搜索引擎更多的结果?恐怕只有百度自己知道。
(责任编辑：admin) |
织梦二维码生成器
------分隔线----------------------------
