茹莱神兽近段时间个人博客网站收录开始出现下滑波动，百度索引量工具递增和递减不规律，更新的站内文章提交之后也不收录，于是茹莱神兽通过百度站长工具抓取诊断，结果发现内页链接直接诊断失败，这对于网站来说是一个危险的信号，之前更新文章之后，通过抓取诊断工具抓取成功之后，就很快会被收录，所以网站出问题了。
一、百度诊断工具抓取异常
茹莱神兽连续通过内页进行测试，依然无法正常抓取，于是点击查看抓取诊断异常情况。
二、页面抓取异常的原因
结果显示可能是robots协议的设置有关，点击“查看帮助”看到了“抓取诊断工具常见错误类型解析”有关的文档，网站页面抓取异常可能是10个因素引起的：
1、URL规范
2、重定向错误
3、服务器连接错误
4、Robots封禁
5、DNS问题
6、404错误
7、访问遭拒绝
8、参数错误
9、socket读写错误
10、读取http头或者页面内容时失败
三、Robots检测更新
网站页面抓取失败可能是Robots封禁引起的，这个原因需要排查，于是茹莱神兽通过百度资源平台对Robots进行检查和更新，结果如下：
四、服务商域名检查诊断
看到服务器配置有问题，我登陆了域名主机服务商官网，准备提交有问必答，恰好正逢五一休假，这个时候肯定谁都没心思处理问题，我看到页面有个域名检测，于是试了一下，结果显示，如图：
五、HTTP状态异常
域名诊断结果显示HTTP状态异常，域名解析肯定没有问题，那问题就出在空间或服务器设置上面。茹莱神兽不会解决空间或服务器设置方面的问题，于是决定先将问题放下，回到原点Robots问题上面来。
六、Robots协议修改
近段时间因为WordPress修改固定链接引起页面收录增加，现在收录链接呈现三种状态，旧链接、新链接及动态链接，所以在Robots设置上修改比较频繁，可能这也是引起百度诊断工具抓取失败的原因，于是茹莱神兽对Robots协议进行了修改，然后再次对域名进行了检查诊断，结果显示HTTP状态正常，如图：
七、再次抓取诊断成功了
既然HTTP状态已经恢复正常，说明问题就出在Robots协议上，茹莱神兽决定再次利用百度站长工具再次对网页进行抓取诊断，结果显示抓取成功，终于放心了，如图：
总结：关于个人网站被百度站长工具抓取诊断失败的问题，被茹莱神兽一步一步的解决了，追索源头还是手贱引起的，只要网页被抓取成功，说明网站页面收录可能就是时间问题，必须耐心等待。
