大型网站另一个经常需要考虑抓取份额的原因是，不要把有限的抓取份额浪费在无意义的页面抓取上，导致应该被抓取的重要页面却没有机会被抓取。

　　浪费抓取份额的典型页面有：

　　大量过滤筛选页面。这一点，几年前关于无效URL爬行索引的帖子里有详细讨论。

　　站内复制内容

　　低质、垃圾内容

　　日历之类的无限个页面

　　上面这些页面被大量抓取，可能用完抓取份额，该抓的页面却没抓。

　　怎样节省抓取份额？

　　当然首先是降低页面文件大小，提高服务器速度，优化数据库，降低抓取时间。

　　然后，尽量避免上面列出的浪费抓取份额的东西。有的是内容质量问题，有的是网站结构问题，如果是结构问题，最简单的办法是robots文件禁止抓取，但多少会浪费些页面权重，因为权重只进不出。

　　某些情况下使用链接nofollow属性可以节省抓取份额。小网站，由于抓取份额用不完，加nofollow是没有意义的。大网站，nofollow是可以在一定程度上控制权重流动和分配的，精心设计的nofollow会使无意义页面权重降低，提升重要页面权重。搜索引擎抓取时会使用一个URL抓取列表，里面待抓URL是按页面权重排序的，重要页面权重提升，会先被抓取，无意义页面权重可能低到搜索引擎不想抓取。

　　最后几个说明：

　　链接加nofollow不会浪费抓取份额。但在Google是会浪费权重的。

　　noindex标签不能节省抓取份额。搜索引擎要知道页面上有noindex标签，就得先抓取这个页面，所以并不节省抓取份额。

　　canonical标签有时候能节省一点抓取份额。和noindex标签一样，搜索引擎要知道页面上有canonical标签，就得先抓取这个页面，所以并不直接节省抓取份额。但有canonical标签的页面被抓取频率经常会降低，所以会节省一点抓取份额。

　　抓取速度和抓取份额不是排名因素。但没被抓取的页面也谈不上排名。