robots.txt文件，SEOER们都知道，就是可以设置你网站的哪些内容允许蜘蛛抓取，哪些不允许蜘蛛抓取的一个文件。今日，据百度站长平台最新消息，用户在百度搜索网址或相关关键字时，网页搜索结果会出现robots提示。简单地说，如果你的网站设置了robots文件，并且是不允许蜘蛛抓取的，而这个网站对用户有是有需要的，百度就是根据你输入的网址或相关关键字展示这个网站，不过，这和其它网站不一样，搜索的结果只出现title中的部分关键字，并且不会出现这个网站的元标签描述部分。对应的元标签描述部分将由最新上线的robots提示代替，比如，用户在搜索淘宝网时，出现“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述 - 了解详情”字样。

　　百度这一动作，意味着什么，笔者就个人看法谈谈百度些次网页搜索结果robots出现提示的意义及特点。

　　对搜索结果出现robots提示的理解

　　前面和大家说到，如果你的网站设置了robots文件，而且是禁止百度蜘蛛抓取的，但是你的网站又是百度需要的，用户在搜索该网址或网站名称时，就会出现robots提示。百度官方在提高，百度蜘蛛会根据robots协议来是否抓取，并呈现结果在搜索结果中。从中我们看到，个人认为百度是爬行了这网站，只不过是没去收录并呈现在搜索结果中而已，不过，笔者也测试了一个网站，如果百度蜘蛛没去爬行，就算你的网站写了robots文件，并且是禁止百度蜘蛛抓取的，搜索结果还是不会出现robots提示的，也许是百度认为这网址不是用户有需要的吧。不过，还真不知道蜘蛛是如何确定一个网站是否是用户需要的，个人感觉，一个网站如果禁止百度蜘蛛抓取，如果搜索结果中要出现robots提示，那么这个网站一定是蜘蛛爬行过的，并且是对用户有用的。

　　搜索结果出现robots提示是为提升用户体验

　　像淘宝这样的大网站，知名度那么高，虽然很多用户在访问淘宝网时不会出现去百度搜索，而是直接访问淘宝网，不过，如果用户在百度搜索结果中出现找不到结果，明显是对用户体验不好的，百度这一举动，可以说是在不断地提高用户体验。前些天笔者在用google的时候就发现了这一功能，明显，google比百度这在方面做得更好，因为笔者一个网站在改版时，设置了robots文件禁止google robot抓取，所以返回的结果就像百度网页搜索结果一下，出现了robots提示。

　　文章由 模具厂 原创，转载请说明出处!