合理设置网站结构,是网站被快速抓取、获得搜索流量的基础;因网站结构设置不合理,导致网站无法被快速识别抓取的事例在百度日常反馈中经常见到,且网站换域名也会对网站造成一定损失,故希望各位站长从建站之初重视网站结构设置,避免不必要的损失。 2.3.1 URL结构设置 URL搭建是否有严格要求,请看以下几点注意事项: 在搭建网站结构、制作URL时,尽量避开非主流设计,追求简单美即可,越简单越平常,越好,例如URL中出现生僻字符,如不常见的“II”,会引起搜索引擎识别错误 不建议URL中含有中文字符,中文字符容易出现编码转换问题,造成识别错误 URL长度要求去掉协议头http(s)://之后的url长度不要超过 256 个字节 谨慎使用#参数,有效的参数不能放在#后面;可能被截断导致网页抓取异常 2.3.2 目录结构设置 网站目录结构搭建是否合理,影响搜索引擎对网站的抓取情况,这里需要提到的是,网站目录结构无论是扁平化还是树形结构,一般都可以被搜索引擎发现,但有以下几点注意事项: 建议不同内容放在不同目录或子域下,域名划分在2.1. 2 网站域名划分章节中有详细提到 不要使用孤岛链接,孤岛链接很难被搜索引擎快速发现;若网站已存在大量孤岛链接,建议使用搜索资源平台的链接提交工具向百度提交数据 重要内容不建议放在深层目录,若该内容没有大量内链指向,搜索引擎很难判断该页面的重要程度 以下是图片示例:
2.4 服务商/自建服务器 选择服务商或者自建服务器,对网站搭建都是十分重要基础的一环;服务器安全和稳定将直接影响百度搜索引擎对网站的整体判断。 2.4.1 域名服务 2.4.1.1 域名服务&域名部署 关于域名服务和域名部署,有以下注意事项: √ 站长在域名部署中请仔细各环节问题,不要出现域名部署错误情况 √ 不建议网站进行泛解析,若网站爆发大规模泛解析,且影响恶劣,则会受到搜索策略打压 √ 尽量选择优质域名服务商 2.4.2 服务器 做网站还有非常重要的一环,就是服务器的选择,那服务器选择中,无论是虚拟主机、云主机还是独立的服务器,都应该注意以下四点: √ 中文网站不建议选择国外服务器 √ 服务器的稳定性非常重要,需要保持访问流畅,服务器是否稳定,可以使用百度搜索资源平台(原百度站长平台)抓取异常、抓取诊断工具进行检测维护。(服务器经常无法访问或者死机,对爬虫来讲都是致命伤害) √ 服务器选择除了自身的稳定性外,实际上还要考虑网站的业务量,例如带宽、内存、CPU是否能够承受访问量,突发大流量情况下是否可以正常访问。 √ 服务器主机设置,需要注意是否有禁止爬虫抓取的设置、或存在 404 错误信息设置,这些情况都会引起不必要的搜索引擎抓取判断异常,为网站带来不必要的损失。 2.4.2.1 虚拟主机 总的来说,建议虚拟主机选购时候需要特别注意: √ 主机商是否存在限制搜索引擎访问的情况; √ 主机商的资质是否符合要求; √ 主机商的技术沉淀是否足够,建议选择品牌较大的主机商; √ 主机商托管的机房的物理条件和网络条件是否足够优秀; √ 主机商的技术和客服支持情况是否够好; √ 主机商是否会存在超容量的情况; √ 主机商是否存在违规接入高风险站点的问题或同一IP下是否会存在高风险站点的情况。 √ 国内站点建议选购国内云主机建站; 2.4.2.2 独立主机 独立主机为站点带来更加宽松的使用环境和个性软件的安装,因此独立主机需要站长拥有一定的技术力量来保证网站的正常运行和安全。 我们对于站长选购和托管独立主机的建议是: √ 注意虚拟主机是否有将爬虫IP拉入黑名单,关于百度UA,可以参考3.1.2. 1 百度蜘蛛章节; √ 建议使用独立IP地址的主机; √ 建议使用规模较大机构的主机,在安全配置、稳定性上相对更好; √ 对IDC服务商的建设标准需要一定的考虑,例如防火、防盗、是否有UPS保证、室内温控、消防等。 √ IDC服务商的服务质量和技术是否达标,是否24h值班,是否能够协助排查一些故障、免费重启重装系统等。 √ IDC机房的资质是否齐全,存放站点是否有高风险站点或服务器存在。 2.4.3 安全服务 2.4.3.1 HTTPS (责任编辑:admin) |