一般情况下，一个页面内导出链接不能过多，超过某个值蜘蛛就不抓了。之前的经验是100，但是这个数值还是跟网站和具体页面有关。在网站层级和单页导出链接总量两个约束条件下，还有一点文章可做，那就是时间。单个页面导出链接最多是100，如果我每天换掉其中的50个呢? 一个最简单的实现方式是借助于缓存机制，固定的取50个，另外再在全集中随机取50个，这50个设置缓存时间1天，1天后失效，再随机取50个，这样可以最大化导出链接的时效性，就像广告的分时段轮播一样。这里的数字可以根据实效进行调整。站内如此，对于批量交换的外链，也可以按照类似的方式实现。

　　对于移动页面，有两种主要的机制通知到蜘蛛PC页与移动页的对应关系，一是在PC页头部加上mobile-agent的meta属性，二是在站长工具提交PC/移动页对应关系的正则(也可以提交全量的URL地址对)。

　　抓取这个环节至关重要，站长平台的抓取频次，和通过accesslog分析得到的抓取明细，都需要时刻监控。小站的log文件，市面上有些一些日志分析工具，自己写也OK。对于大站的log，很多都存储于hadoop这样的分布式存储上，一般需要定制程序去分析处理。为了即时分析处理，快速反馈，可能需要接入流式计算框架(kafka+storm)。

　　对于蜘蛛抓取行为数据的使用，可以用来评估蜘蛛对于站内页面价值的评定，可以用来反馈辅助抓取所做的一些优化的效果，可以预估新生成页面被搜索引擎接受的程度，等等。没有使用价值的数据是没用的，数据跟具体的应用场景结合起来，才能体现其价值。

　　对于抓取的页面，蜘蛛建立倒排索引后，会进行价值判定，按照价值高低，存储在分级索引库中。高级别的索引库才会参与最终的搜索排序。

　　一般SEO开始学的时候，都会接触到site语法，基本上所有常见的搜索引擎也都支持site语法去查询域名或者目录级的收录量查询。在site查询语句的后面加上一个词，可以查询得到该域名与这个词相关的页面。比较有价值的是，site语法查出来的结果，按照网页的价值倒序排列。这个特征便使得依据相关性内链，提升第二页/第三页落地页的排名成为可能。

　　【排名与流量】

　　对于有搜索量的词，获得好的排名，几乎确定了能获得流量。这里说几乎，因为还有一个点展比(点击量除以曝光量)的概念。按照谷歌的规律，PC搜索结果中，前四位获得点击的几率是42%，12%，9%，6%。

　　先说排名。说到搜索排序，有很多场景下可以用到，比如在搜索结果页中的推广链接区域有个排序;在淘宝里面搜索，商品返回的结果列表有个默认的排序;App Store中搜索也会按照一定的规则返回结果列表;同样的，在广告投放中候选广告创意去竞争一个展示机会时也有一个排序。这些排序与自然搜索的排序有一个共同点，即为了用户体验，将最好的，最符合用户需求的排在前面，从而提升用户体验。

　　影响自然搜索排序的因子应该很多，众所周知的，如网站自身的权威性与价值，网页的导入链接权重，网页结构/速度，网页内容的原创性，以及最重要的，用户搜索词的出现频次，页面Title与H标签中出现搜索词的频次，等等。这是事前的因素。

　　有一点特别要提及的，搜索引擎为了构建良好的搜索竞争生态，对新站有个补偿机制。这也是实际有效的排序因子。

　　还有一点事后的因素，获得排名，用户点击，之后是否还点击了别的搜索结果。如果你的页面排在某个词的搜索结果第一位，搜索用户点击了你以后，还总会点击第二位的结果，那显然第二位的结果更符合用户需求，排序如何变化可想而知。这点可以从百度公开的专利中找到依据，点击器也是利用这个原理来实现的。

　　获得排名的搜索结果，展现给用户的信息包括，页面Title，Description或者页面内提取的信息摘要，缩略图，首页的子链接。后面两者可能有，也可能没有。还有一个相对次要的因素，搜索结果的域名/链接摘要。如何在获得曝光的情况下，吸引用户点击? 除了让自己的排名尽量靠前外，可以做的事情还包括，优化Title/Description的文案，在页面主体区域提供合适尺寸的图片增加被作为缩略图的几率等。搜索结果条目示例如下:

　　百度自己的产品虽然有被提权的嫌疑，但是从SEO的角度看，仍然有很多值得学习的地方。对于一些如果不确定，可以研究百度自己的产品，看具体的实现方式。