开抢了!双12创业者优选服务! 在上一篇内容中,主要阐述了移动站点建设的大致流程,包括:域名选择、服务器选择、网站安全等方面。本文主要是《百度移动搜索建站优化白皮书》中“网站优化”方面的相关内容。 以下为内容详情: 3 网站优化 3.1 抓取友好性 关于抓取的优先级,在此重点强调: √ 网站更新频率:经常更新高价值的站点,优先抓取 √ 受欢迎程度:用户体验好的站点,优先抓取 √ 优质入口:优质站点内链接,优先抓取 √ 历史的抓取效果越好,越优先抓取 √ 服务器稳定,优先抓取 √ 安全记录优质的网站,优先抓取 顺畅稳定的抓取是网站获得搜索用户、搜索流量的重要前提,影响抓取的关键因素,站长可以通过本章节了解。 3.1.1 URL规范 网站的URL如何设置,可参考2.3. 1 中的URL设置规范 3.1.1.1 参数 URL中的参数放置,需遵循两个要点: √ 参数不能太复杂 √ 不要用无效参数,无效参数会导致页面识别问题,页面内容最终无法在搜索展示 另外,很多站长利用参数(对搜索引擎和页面内容而言参数无效)统计站点访问行为,这里强调下,尽量不要出现这种形式资源,例如: https://www.test.com/deal/w00tb7cyv.html?s=a67b0e875ae58a14e3fcc460422032d3 或者: ;NTESnmtpSI=029FF574C4739E1D0A45C9C90D656226.hzayq-nmt07.server.163.org-8010#/app/others/details?editId=&articleId=578543&articleType=0&from=sight 3.1.2 链接发现 3.1.2.1 百度蜘蛛 很多站长会咨询如何判断百度移动蜘蛛,这里推荐一种方法:只需两步,正确识别百度蜘蛛 查看UA 如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是: 移动UA 1: Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+ search/ spider.html) 移动UA 2: Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +) PC UA 1: Mozilla/5.0 (compatible; Baiduspider/2.0;+) PC UA 2: Mozilla/5.0(compatible;Baiduspider-render/2.0;+ spider.html) 反查IP 站长可以通过DNS反查IP的方式判断某只蜘蛛是否来自百度搜索引擎。根据平台不同验证方法不同,如Linux/Windows/OS三种平台下的验证方法分别如下: 在Linux平台下,可以使用hostip命令反解IP来判断是否来自百度蜘蛛的抓取。百度蜘蛛的hostname以*.baidu.com格式命名,非*.baidu.com即为冒充。
这里需要在提出一点,建议使用DNS更换为8.8.8. 8 后进行nslookup反向解析,否则很容易出现无返回或返回错误的问题。 在Windows平台下,可以使用nslookup ip命令反解IP来判断是否来自百度蜘蛛的抓取。打开命令处理器输入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析IP,来判断是否来自百度蜘蛛的抓取,百度蜘蛛的hostname以*.baidu.com格式命名,非*.baidu.com即为冒充。 在Mac OS平台下,网站可以使用dig命令反解IP来判断是否来自百度蜘蛛的抓取。打开命令处理器输入dig xxx.xxx.xxx.xxx(IP地址)就能解析IP,来判断是否来自百度蜘蛛的抓取,百度蜘蛛的hostname以*.baidu.com的格式命名,非*.baidu.com即为冒充。 3.1.2.2 链接提交 链接提交工具是网站主动向百度搜索推送数据的工具,网站使用链接提交可缩短爬虫发现网站链接时间,目前链接提交工具支持四种方式提交: √ 主动推送:是最为快速的提交方式,建议将站点当天新产出链接立即通过此方式推送给百度,以保证新链接可以及时被百度抓取。 √ Sitemap:网站可定期将网站链接放到Sitemap中,然后将Sitemap提交给百度。百度会周期性的抓取检查提交的Sitemap,对其中的链接进行处理,但抓取速度慢于主动推送。 √ 手工提交:如果不想通过程序提交,那么可以采用此种方式,手动将链接提交给百度。 √ 自动推送:是轻量级链接提交组件,将自动推送的JS代码放置在站点每一个页面源代码中,当页面被访问时,页面链接会自动推送给百度,有利于新页面更快被百度发现。 (责任编辑:admin) |