电商网站出于用户体验需要，经常有大量过滤或筛选页面，如某个分类下的产品再按颜色、内存、材质、尺寸、品牌、价格区间、适用年龄等等条件筛选。用户体验虽好，但会生成海量低质量或复制内容，各种条件组合起来，数量惊人，有的组合没有任何产品满足要求，或者翻来覆去就那几个产品。

　　这种情况的处理比较复杂，参考以前写的无效URL抓取索引帖子。简单说，如果这些过滤页面多到用完抓取配额、影响其它有效页面的抓取索引，使用robots文件、nofollow标签、AJAX等方法减少这些页面的抓取。如果数量不大，但质量低，使用canonical标签集中权重，或用noindex标签禁止索引。

　　有些过滤条件页面是有查询量的，程序上要有例外处理，允许这些页面被抓取、索引。

　　主导航也经常产生大量复制内容，如产品列表的各种排序(排版格式、热门程度、上架时间、价格、销量等)，用canonical标签将权重集中到缺省排序页面上，或者各种排序用AJAX实现，不生成新URL。

　　词库及tag页面

　　有很多长尾词，网站正常分类和产品页面经常不能覆盖到，很多网站依靠词库(关键词工具、购买词库、站内搜索记录、爬行相关搜索等)，生成tag页面来做这些关键词。页面的具体名称可能不一样，可能是热门标签，可能是热门搜索，可能是相关搜索词，也有的称其为聚合页面，技术上都是一回事：站内搜索结果页面，然后在网站各处放上抓取入口。

　　小型网站用这个方法必须谨慎，没有足够产品，很可能造成大量低质量页面、重复内容页面。有时候盲目上一些词，生成页面很多是没有相关产品的空页。

　　即使是大型网站，也要对生成页面与关键词的相关度、与主导航分类页面区别度进行监控和数据梳理。大如阿里，也遇到过因为突然上线大量质量不高的页面被惩罚。

　　这种页面不要让搜索引擎认为是搜索结果页面(虽然就是搜索结果页面)，要进行一定的伪装，不要叫成搜索页面，URL中不要带search这种词。最好的境界是，这种页面看着(包括页面设计及抓取入口的安排)和分类页面是一样的。

　　站内搜索功能

　　不知道大家有没有注意到，电商网站用户现在越来越倾向于靠站内搜索寻找产品，减少了按分类浏览。所以站内搜索越来越重要。除了站内搜索引擎的索引速度、结果相关性等影响用户体验的优化，还要保留站内搜索数据，是关键词扩展的最好来源。

　　其它

　　页面打开速度、移动优化、https的使用，和其它网站并没有大的区别，之所以列在最后，是因为这几项是近年比较明显的趋势，是必须优化的。