不抓取如何会收录，又怎么有排名?然而就这样一个明显的问题，却有大量的网站将其忽略掉。这里做SEO诊断服务的客户中，其中“20%网站都会存在抓取错误，直接严重影响到网站的生长效果。今天这篇文章，如果你有幸看到希望可以阅读完今天这篇文章，并分享出去，因为真的会很有价值。

1、错误的封禁

百度的robots.txt更新上，如果多次点击“检测并更新”就会呈现时常可以更新，但是又时常无法更新的问题。如此一来：不应当被收录的东西，robots.txt上禁止的被收录了又删除就很正常了那么它问题是什么呢?并非服务器负载过度，而是因为防火墙错误的将部分Baiduspid列入了黑名单。

上面这个例子是robots.txt方面的抓取错误，作为站长最少应该每周都检查更新一下robots.txt否可以正常更新。之后我再看下“页面抓取”方面的错误：

2、服务器异常

惯例的服务器就不说啦，大家都知道的北上广的一般都不错。不过有一些特殊服务器，想必绝大多数的站长都不知道吧?例如西部数码的港台服务器”就很有趣，真的港台的吗?自身机房在国内，还算什么港台?为了逃避备案而用一个港台的IP数据全部在国内。

这样有什么不好呢?会发现：站点的服务器是经过CDN哪怕是上传的一张图片，都会显示为“302状态码”访问速度是提升上去了可是这样利于SEO吗?呵呵哒。真不知道西数做为国内大型idc服务商是如何想的利用那些无知吗?

3、获取不到真实IP

规模较大的网站，一般都会使用CDN加速，但是有些站点不只仅对“设备”使用了CDN加速，而且还对Spider使用了加速功能。最后的结果是什么呢?如果CDN节点不稳定，那么对网站spider来讲，这个问题将是致命的

很多大型站点开放CDN原因就是容易被攻击，这个时候如果不做“蜘蛛回源”就可想而知了站点做了CDN吗?请登录百度站长平台检查一下spider否可以抓取真实IP地址吧!

4、频繁的50X类错误

这样的链接其中一个共同的特点是当打开后，全部都是正常的那么Spider为什么会报错提醒呢?只是因为在爬虫发起抓取的那一刻，httpcode返回了5XX"站点是否频繁有这样的问题呢?有的话需要立即布置技术，或者通报IDC服务商做解决了!

5、错误的抓取比例

任何网站都做不到100%不出问题，但是万事有一个度：认为，这个比例不超过5%对网站基本上是无影响的且这样的错误不应当每天都出现。最常见的抓取错误一般都是连接超时："抓取请求连接建立后，下载页面速度过慢，导致超时，可能原因服务器过载，带宽缺乏"这种情况：

A、尽量在不影响图片质量的情况下，对图片进行压缩，上传的时候就进行了压缩。

B、减少如JS脚本文件类型的使用，或者进行合并

C、页面大小进行控制，尤其是一些浏览量、抓取量较高的页面，不建议超过2MB

D、增加网站的带宽，提升下载速度，或者更换服务器。

今天这篇分享，希望对屏幕前的你有帮助呢。如果有的话，那就请多多关注成都专业网站建设公司官方网站：www.cdxwcx.com/