引子: 1:最近在某互联网营销社区看到一个帖子(光年社区),讲的是网站抓取下降的厉害,缩水9成。题主之言是网站使用了CDN的问题,理由也很直白:cdn的动态ip造成百度蜘蛛抓取困难,导致收录下降。 2:前段时间,Seo party QQ群的某小伙伴网站联通出现问题,我顺便ping了一下域名,发现前后10分钟内其ip变了3次。当时颇为惊讶,细想一下肯定也是cdn惹的祸。 那么问题来了:是否应该对网站设置cdn服务? 正方观点: 雅虎作为搜索服务的先驱,在网站使用cdn服务上还是比较推崇的。对于web前端来说,网站页面加载速度是十分重要的。这也体现了搜索引擎为人服务的精神,毕竟一个打开都费劲的页面,首先就会流失相当一部分用户,起码展示率是很有问题的,更遑论转化率了。 网页前端制作人员都熟悉的一项内容就是“雅虎军规”,其中就直言,应该对于网站应用cdn服务,以便于不同区域用户都可以不受地域网络环境的影响,流畅的访问网站。 Yslow——一款源于雅虎军规而设计的用以检测页面加载速度的浏览器插件,其中更是将cdn服务作为其一项评分标准。 反方观点: 百度作为国内互联网搜索的唯一巨头,无疑在业内具备独一无二的话语权。在百度spider工程师有关cdn问题的回答中,我们能够提取出以下信息: Cdn的动态ip确实无法被baiduspider有效抓取,原文搬运如下:“CDN这 里存在一个问题:不同的CDN服务商在全国分布的节点数不同,站点在使用CDN服务时,同一地区CDN给蜘蛛返回的IP地址要和给用 户的一致。那么现实 情况是,部分CDN服务商出于成本考虑与资源使用率的问题,会在不告知用户的情况下变更IP地址以节约成本,这样就导致蜘蛛在去抓的时 候,会遇到新IP 和老IP的问题,在站点没有告知更换IP的情况下,蜘蛛会认为站点目前存在问题,首先是减少抓取量,其次会判断是否把不可访问的页面下掉。” 百度给出的建议是利用站长平台对于ip变更的情况作为错误报告提交给百度: 恕笔者吐槽:cdn服务商随意变更ip的问题很明显是基于其运营能力的不足,这种本来就 带有随意性的行为,一般都不会负责任的告知网站站长,那么对于站长而言又如何监督呢?而且cdn节点千千万,谁又能不遗余力的投入如此大的精力来对付费服 务进行人为监管,并实时提交百度处理。?明显这种方法是不具备操作性的。 总结陈词: 对于必须使用cdn服务的网站,尽量选择口碑和实力俱佳的cdn服务商,提高cdn服务的稳定性,不至于太过频繁和随意的变更ip。 百度应该改善抓取策略,毕竟依靠ip段给蜘蛛分配抓取任务的模式,似乎不太合理。毕竟 依靠url抓取页面信息才是搜索原理的基础,这种跳过解析的方法或许技术上没有问题,但是作为seoer的我怎么感觉有点别扭. 本文由尚运seo博客原创首发,转载请保留源链接 (责任编辑:admin) |