控制防火墙的权限

xiaoxuesuhe

检查网站是否不小心屏蔽了百度spider的IP。您可能会由于系统级问题而阻止了百度访问，例如DNS配置
问题、配置不当的防火墙或DoS防护系统、内容管理系统配置问题。防御系统是保证托管服务正常运行的
关键因素之一，并且这些系统通常会配置为自动阻止超量的服务器请求。由于百度spider发出的请求通
常要比普通用户多，因此可能会触发这些防御系统，导致它们阻止百度spider访问并抓取您的网站。要
解决此类问题，您需要确定网站基础架构中的哪个部分在阻止百度spider，然后取消该阻止。如果您没
有控制防火墙的权限，就需要与您的托管服务提供商联系解决此问题。
在抓取诊断工具中如果返回的抓取失败结论是robots封禁，请确认您是否对该网址设置了robots，阻止
百度spider抓取网站的某些内容，如果您未使用robots文件屏蔽百度，请点击旁边的报错链接，百度会
立即更新您站点的robots信息；如果是您的误操作导致了封禁，请及时修改robots文件，避免造成您的
网站在百度收录量和流量的下降。
DNS错误是指由于服务器停止运行或DNS到您网域的路由存在问题，导致百度spider无法与DNS服务器通信
。
如何处理DNS错误？
确保百度能够抓取您的网站。对重要网页（例如您的首页）采用抓取诊断工具，如果它能顺利返回您的
首页内容，那么您就可以认为百度能够正常访问您的网站。
对于持续的或反复出现的DNS错误，请与您的DNS提供商联系。通常情况下，您的DNS提供商即为网站托管
服务提供商。
配置您的服务器，使其能够以404或500等HTTP错误代码对不存在的主机名作出响应。