作为一名网站优化从业者，竟然不理解蜘蛛是怎么工作的，这样的优化，肯定是事倍功半，理解蜘蛛才应该是网站优化从业者的第一堂课。

　　上周末，应一个公司邀请，去给他们做搜索引擎优化(Seo)的相关培训，以及技能效果的提升。那是我最不愿看见的事情，他们的Seo人员每天的工作还停留在伪原创和发外链两个阶段。我大致看了下他们的优化效果，domain相关域达到一万多，但是最终的效果很不理想。我看完之后，只觉得这个成本太高了，不做也罢。

　　这里很多Seo高手，都知道外链和内容。这些用不到我们分享，今天只讲蜘蛛。因为，这是我在给他们公司培训的时候发现的一个很严重的问题：他们都听说过蜘蛛，知道蜘蛛是干什么的，但是不知道蜘蛛是怎么工作的。

　　一、蜘蛛的来路有哪些，它是怎么到你的网站的

　　通常来说，蜘蛛的可以通过三种途径到达你的网站，分别是主要提交网站，通过在其他网站的连接跟踪到你的网站，有一定规律的自由行动。

　　很多人都说现在蜘蛛很智能不用提交网站了，其实错了，是因为你在其他网站发布的外链引来的蜘蛛。这两种形式都是可操作的，最后一种比较特别，我们通常会认为蜘蛛会按照1-0，a-z 这样的方式对域名进行扫描，然后进入其中的网站。

　　二、最大程度的利用你的Robots，这是网站大门

　　按照常规的说法，Robots文件是限制蜘蛛在你网站的活动范围，更好的保护网站所有者的权利和隐私。这是蜘蛛到达一个网站后要做的第一件事情，如果一个网站没有该文件，蜘蛛则认为是该网站所有的内容均可挖掘。

　　在Robots文件中，一般只用到禁止(Disallow)。其实你还可以用推荐允许(Allow)。一个网站中有很多暗角是蜘蛛不能爬行到的，这时候，你可以用Allow指引蜘蛛，你可以多做一些地图页面，让蜘蛛在上面活动。

　　也有人说，为什么要用Allow,直接使用Sitemap不就可以了么。我们都知道，其实大家更看重的Sitemap，谷歌是完全没问题的，而百度蜘蛛理解起来是有一定问题的，不能很好的发挥他的作用。

　　三、蜘蛛在一个网站域内(domain)的活动方式

　　相信大家都看过百度给出的《搜索引擎优化指南》，郑州智启网路科技推荐没有看到的Seo们一看要去看看，他上面有提到自己更推荐的Url方式，树形和扁平。你只知道这样有助于优化，却不知道为什么这么做。

　　蜘蛛在一个特定域内遵循两个原则，广度和深度。其中我们认为广度优先，蜘蛛一般不会在一个特定域内在纵深上爬行太多。蜘蛛会在一个页面出来完成的时候再进入下一个内链信息丰富的页面。做成频道页和列表页，能够让蜘蛛更顺畅的去爬行一个网站。

　　其实不一定非要把一个网站做成domain/url_a/ 这种形式，也完全可以是domain/url_a.html 只要你的页面丰富程度和上一个一样就行。这里说的丰富不是内容，是内链。

　　四、蜘蛛在一个网站的权限等同于一个普通未注册会员

　　这个简单提一下，蜘蛛就等同于一个网站的未注册会员，他的权限就是这个，如果你的网站不对未注册会员开放，或者设置了隐私权限，只对会员的好友，或者其他什么，那么蜘蛛是不可能抓取到你的内容的。

　　这也是，外链发布要做到多样性的重要原因之一，让蜘蛛从更多不同的角度去理解你的网站。本文由郑州智启网络科技网站建设部(?list-1169.html)原创，转载请保留，郑州智启网络科技希望能够帮助更多郑州的企业和个人理解互联网，使用互联网，在互联网上发展壮大。