什么是网站robots?它是是一个协议，而不是一个命令。

　　作为学习或从事网站SEO优化的朋友肯定知道搜索蜘蛛，但对于这个搜索蜘蛛遵循协议，却不常听说。robots是抓取网站时第一个查看的文件。它用来告诉蜘蛛程序在服务器空间上什么文件是可以被抓取的，什么文件是不需要被抓取的。也正因如此，用好robots是很容易为让你的网站提权的，那是如何写的呢?

　　1.避免网站存在重复页

　　不少网站一个内容提供多种浏览版本，虽然在很大程度方便用户，提高了用户体验度，可对蜘蛛却造成了些许困难，因为蜘蛛难以识别主次，一旦让它认为你在恶意重复，那么轻则降权，重则K站拔毛呀。

　　User-agent： *

　　Disallow： /sitemap/ 《禁止蜘蛛抓取文本页面》

　　扩展阅读：《惠州SEO博客K站之谜》 (叶剑辉也曾在博客上线之初也因类似问题而被k，具体可看链接)

　　2.保护网站安全

　　或许有些人会有大大的问号。robots与网站安全怎么就拉上关系了?这就要说到黑客了，不少低级黑客就是通过搜索默认后台登陆，以达到入侵网站的目标，因此安全不得不防呀。

　　User-agent： *

　　Disallow： /admin/ 《禁止蜘蛛抓取admin目录下所有文件》

　　扩展阅读：《WordPress程序安全设置技巧 》(本人也曾遭受攻击，因此安全问题哪怕细节也不容忽视，具体可查看叶剑辉博客)

　　3.防止链接被“盗”用

　　一般盗链的并不多，可是一旦被搜索引擎“盗链”了，那么百兆宽带恐怕也吃不消呀，因此若非做图片网站，又想避免被盗链，那么即可进行屏蔽。

　　User-agent： *

　　Disallow：.jpg$

　　4.提交网站地图

　　对于现在做网站SEO优化的朋友，都懂得做网站地图，可总会有那么些朋友不懂得去提交的，仅仅以为在网页上加个链接，便完事了。其实robots是具有提交这一功能的，一下以惠州SEO博客为例。

　　Sitemap:

　　Sitemap: (需要注意的是，Sitemap的S需为大写字母)

　　5.禁止某二级域名的抓取

　　一些网站会对会员提供一些VIP特权服务，却又不想这个服务被搜索引擎检索到(同样的，css及js等二级目录文件不需要被抓取也可同样如此)

　　User-agent： *

　　Disallow： /

　　以上5点robots说明，相信也足以让SEO初学者对搜索引擎蜘蛛掌控能力提升不少，犹如百度说道，我们与搜索引擎应该是朋友，如此就少不得增加一些沟通，如此才能消除一些不必要的隔膜，对吧!本文由惠州SEO博客 叶剑辉供稿，转载请注明!