SEO观察
研究搜索引擎优化(SEO)技术。

网站不收录,百度站长工具抓取诊断失败咋办?

近段时间个人博客网站收录开始出现下滑波动,百度索引量工具递增和递减不规律,更新的站内文章提交之后也不收录,于是良家佐言通过百度站长工具抓取诊断,结果发现内页链接直接诊断失败,这对于网站来说是一个危险的信号,之前更新文章之后,通过抓取诊断工具抓取成功之后,就很快会被收录,所以网站出问题了。

百度站长工具抓取诊断

一、百度诊断工具抓取异常

良家佐言连续通过内页进行测试,依然无法正常抓取,于是点击查看抓取诊断异常情况。

百度站长工具抓取诊断失败原因

二、页面抓取异常的原因

结果显示可能是robots协议的设置有关,点击“查看帮助”看到了“抓取诊断工具常见错误类型解析”有关的文档,网站页面抓取异常可能是10个因素引起的:

1、URL规范
2、重定向错误
3、服务器连接错误
4、Robots封禁
5、DNS问题
6、404错误
7、访问遭拒绝
8、参数错误
9、socket读写错误
10、读取http头或者页面内容时失败

三、Robots检测更新

网站页面抓取失败可能是Robots封禁引起的,这个原因需要排查,于是良家佐言通过百度资源平台对Robots进行检查和更新,结果如下:

百度站长工具Robots检测更新结果

四、服务商域名检查诊断

看到服务器配置有问题,我登陆了域名主机服务商官网,准备提交有问必答,恰好正逢五一休假,这个时候肯定谁都没心思处理问题,我看到页面有个域名检测,于是试了一下,结果显示,如图:

西部数码域名自测工具

五、HTTP状态异常

域名诊断结果显示HTTP状态异常,域名解析肯定没有问题,那问题就出在空间或服务器设置上面。良家佐言不会解决空间或服务器设置方面的问题,于是决定先将问题放下,回到原点Robots问题上面来。

六、Robots协议修改

近段时间因为WordPress修改固定链接引起页面收录增加,现在收录链接呈现三种状态,旧链接、新链接及动态链接,所以在Robots设置上修改比较频繁,可能这也是引起百度诊断工具抓取失败的原因,于是良家佐言对Robots协议进行了修改,然后再次对域名进行了检查诊断,结果显示HTTP状态正常,如图:

西部数码域名检查诊断

七、再次抓取诊断成功了

既然HTTP状态已经恢复正常,说明问题就出在Robots协议上,良家佐言决定再次利用百度站长工具再次对网页进行抓取诊断,结果显示抓取成功,终于放心了,如图:

百度站长工具对网页抓取成功

总结:关于个人网站被百度站长工具抓取诊断失败的问题,被良家佐言一步一步的解决了,追索源头还是手贱引起的,只要网页被抓取成功,说明网站页面收录可能就是时间问题,必须耐心等待。

赞(2) 打赏
版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《网站不收录,百度站长工具抓取诊断失败咋办?》
文章链接:https://www.badpon.com/2107.html
免责申明:本站部分内容源于网络,如有侵权,请联系 badpon@qq.com,本站及时删除,谢谢!

觉得文章有用就打赏一下文章作者

微信扫一扫打赏