页面已经无效，无法对用户提供任何有价值信息的页面就是死链接，比较常见死链形式共有 3 种，协议死链和内容死链是比较常见两种形式，除此之外还有跳转死链。

　　√ 协议死链：页面的TCP协议状态/HTTP协议状态明确表示的死链，常见的如404、403、 503 状态等。

　　√ 内容死链：服务器返回状态是正常的，但内容已经变更为不存在、已删除或需要权限等与原内容无关的信息页面。

　　√ 跳转死链：指页面内容已经失效，跳转到报错页，首页等行为。

　　3.1.4 访问稳定性

　　访问稳定性主要有以下几个注意点：

　　DNS解析

　　DNS是域名解析服务器，关于DNS，这里建议中文网站尽可能使用国内大型服务商提供的DNS服务，以保证站点的稳定解析。

　　分享一个DNS稳定性的示例：

　　搜索资源平台曾收到多个站长反馈，称网站从百度网页搜索消失，site发现网站数据为0。

　　经追查发现这些网站都使用国外某品牌的DNS服务器 *.DOMAINCONTROL.COM，此系列DNS服务器存在稳定性问题，百度蜘蛛经常解析不到IP，在百度蜘蛛看来，网站是死站点。此前也发现过多起小DNS服务商屏蔽百度蜘蛛解析请求或者国外DNS服务器不稳定的案例。因此这里建议网站，谨慎选择DNS服务。

　　蜘蛛封禁

　　针对爬虫的封禁会导致爬虫认为网站不可正常访问，进而采取对应的措施。爬虫封禁其实分两种，一种就是传统的robots封禁，另一种是需要技术人员配合的IP封禁和UA封禁;而绝大多数情况下的封禁都是一些操作不当导致的误封禁，然后在搜索引擎上的反应就是爬虫不能正常访问。所以针对爬虫封禁的操作一定要慎重，即使因为访问压力问题要临时封禁，也要尽快做恢复处理。

　　服务器负载

　　抛开服务器硬件问题(不可避免)，绝大多数引起服务器负载过高的情况是软件程序引起的，如程序有内存泄露，程序出core，不合理混布服务(其中一个服务消耗服务器资源过大引起服务器负载增大，影响了服务器对爬虫访问请求的响应。)对于提供服务的机器一定要注意服务器的负载，留足够的buffer保证服务器具有一定的抗压能力。

　　其他人为因素

　　人为操作不当引起访问异常的情况是经常见到的，针对这种情况需要严格的制度约束，不同站点情况不一样。需要保证每一次的升级或者操作要准确无误。

　　3.1.5 可访问链接总量

　　3.1.5.1 资源可穷尽

　　一般来说网站的内容页面是可穷尽的，万级别，百万级别甚至亿级别，但一定是可穷尽的。而现实中确实存在这样一些网站，爬虫针对这些网站进行抓取提链时会陷入"链接黑洞";通俗的讲就是网站给爬虫呈现的链接不可穷尽;典型的是部分网站的搜索结果页，不同的query在不同anchor下的a标签链接不一样就导致了"链接黑洞"的产生，所以严禁URL的生成跟用户的访问行为或者搜索词等因素绑定。

　　3.2 页面解析

　　页面解析，主要指网站页面被蜘蛛抓取，会对页面进行分析识别，称之为页面解析。页面解析对网站至关重要，网站内容被抓取是网站被发现的第一步，而页面解析，则是网站内容被识别出来的重要一环，页面解析效果直接影响搜索引擎对网站的评价。

　　3.2.1 页面元素

　　3.2.1.1 页面标题

　　关于网页标题，百度搜索于 2017 年 9 月推出清风算法，重点打击网站标题作弊，引导用户点击，损害用户体验的行为;清风算法重点打击的标题作弊情况有以下两种：

　　√ 文不对题，网站标题与正文有明显不符合，误导搜索用户点击，对搜索用户造成伤害

　　√ 大量堆砌，网站标题中出现大量堆砌关键词的情况也十分不提倡

　　关于网站标题作弊的详细解读，参考搜索学院发布官方文档《百度搜索内容质量白皮书——网页标题作弊详解》

　　关于网站TDK，有以下几种情况需要注意：("T"代表页头中的title元素，"D"代表页头中的description元素，"K"代表页头中的keywords元素，简单指网站的标题、描述和摘要)

　　√ 百度未承诺严格按照title和description的内容展示标题和摘要，尤其是摘要，会根据用户检索的关键词，自动匹配展示合适的摘要内容，让用户了解网页的主要内容，影响用户的行为决策。

　　√ 站长会发现同一条链接的摘要在不同关键词下是变化的，可能不会完全符合站长预期，尤其是站长在检索框进行site语法操作时，可能会感觉摘要都比较差。但请不要担心，毕竟绝大多数普通网民不会这样操作。在此情况下出现不符合预期的摘要并不代表站点被惩罚。