肆合互动,团队始于2008,为您提供可信任的一站式网站制作和网络推广优化服务!
028-85756675
网站地图

新闻资讯

为您提供网站建设资讯、网站优化知识、主机域名邮箱、
关键词排名、网站开发常见问题等。

百度抓取失败案例分析

发表日期:2017/04/23 来源:肆合互动 咨询电话:028-85756675

  www.w333.com该网站的快照收录一直存在问题,收录页面持续减少,而且还会出现一些泛解析域名存在,目前泛解析快照已经删除,经过和客户沟通,该网站曾经被使用过泛解析,那么现在不使用泛解析了,怎么还会出现泛解析的快照呢?由于百度收录的快照存在回档现象,往往造成快照回档的原因是该网站触动了百度某些机制,成都seo发现百度搜索引擎最忌谁的10条规则

  1、网站空间不稳定、网站经常无法访问、网站运行很慢的,搜索引擎不愿意关注和抓取快照,因为会导致快照更新不及时!一定要保证网站能正常打开、空间稳定是优化的基础;

  2、网站被百度收录后更改网站标题、网站描述、网站关键字导致实际页面的TDK和百度收录页面的TDK标签不一致,从而产生快照异常的站!关键词排名99%的会消失、快照回档、收录减少、快照评级降低等现象

  3、关键词堆砌的网站,搜索引擎对其不友好,标题、描述、关键词一定要围绕网站主题和网站内容友好的表述,生硬堆砌关键词的网站不被百度喜欢!

  4、优化的关键词必须要和网站主题内容相符(如果不符合相关性即便优化上去也会很快掉下来)

  5、切忌不要将多个域名绑定到同一个网站,不要将多个URL重复指向同一个内容页,更不要克隆网站使用收录过的内容,克隆是最忌讳的。百度容易判断这种行为为作弊行为;

  6、切记不可和其它刷量软件一起使用,容易出问题(流量软件本身使用的是虚拟IP或代理IP等,并非真实IP)

  7、切记不要购买外链、购买友链,目前百度已经推出相应的算法,可判断是否购买的外链和友链,一旦认定后网站将万劫不复;

  8、原创内容、高质量外链、高质量友链交换是关键词排名出现的前提。所以不要内容采集、大量copy内容、还有所谓的伪原创软件生成的内容;内容一定要具备结构清晰、可读性强;

  9、泛域名站群或IP+端口的泛站群网站不被百度喜欢,2013年4月之前,泛站群在百度排名里效果非常好,是因为百度有一个排名漏洞,如今百度已经修补了漏洞,建议大家不要再做泛站群优化了!百度搜索结果霸屏时代已经终结了;

  10、违反国家政策、欺诈、钓鱼等网站不被百度喜欢。目前百度已成立百度联盟,针对违反国家政策、赌博、枪支弹药、淫秽色情、钓鱼网站进行大力度屏蔽和调整!那么学习SEO最重要的是:科学的操作方法,以搜索引擎和用户体验为基础,遵从自然操作,不要欺骗搜索引擎和来访用户,只要大家坚持不懈3月内就可以成为一个真正的seoER了。

  后续我们会结合实际操作与案例分析进行技巧层面的提升,希望大家用实践去立理解SEO的真谛,云优化:让营销更精准有效...百度针对w333.com抓取频率在下降,是什么原因导致的抓取频率持续下降呢?

  其实原因很简单,因为百度抓取该网站时持续获取失败,频繁抓取失败导致百度蜘蛛逐渐将抓取的频率降低,如果该问题不解决,会影响该网站的评级。

  为了能能彻底解决收录和更新不正常问题,我们对该域名DNS进行了检查与修改,首先查看域名状态:首先发主域名www使用了cname进行的解析,5298.xxaacc.com 我们第一步想到的是将cname解析换成A记录解析,为什么这操作呢?首先根据百度官方解析,网站抓取失败有可能是服务器环境配置禁止了百度抓取,也有可能cname做了相应设置,为了减少服务器压力,由于我们无法更改服务器环境,我们有限更改为A记录,然后进行观察和分析。修改后的A记录为修改后我们再对网站进行了一些对应调整,让后我们待百度抓取时观察一下抓取日志分析我们从排名数量及变化也能看到:网站的排名逐渐下降

  我们给网站做一个sitemap.xml地图提交到百度站长工具,进行手动更新我们看一下百度抓取的错误提示:如下图我们再检查一下该网站的IP经过对比发现百度抓取到的IP地址和网站实际的IP的不符,我们直接在抓取诊断-错误说明里-提交给百度

  经过以上改进,目前百度抓取已经恢复正常,后续就要看百度快照更新的状况了

  以下是百度官方给出的抓取失败的原因:

  【url规范】

  百度支持抓取的url长度不超过1024,如果您的链接长度过长,请在保证正常访问的情况下,适当精简,保证链接能被百度正常抓取和收录。

  【重定向错误】

  重定向是指百度spider访问链接时发生了跳转,如果跳转后的链接超长或者连续跳转的次数超过5次,就会发生重定向错误而导致抓取失败。

  【服务器连接错误】

  这种情况是指,由于服务器响应过慢或您的网站屏蔽了百度spider,而导致百度无法访问您的网站。从而会导致百度无法正常收录或者更新您网站的内容。您可能看到以下具体错误:连接超时、连接失败、连接被拒、无响应、响应遭到截断、连接重置、标头遭到截断、超时。*如何处理服务器连接错误?减少动态网页请求的过多网页加载。如果网站为多个网址提供相同内容,则会被视为动态提供内容(例如,www.example.com/shoes.php?color=red&size=7与www.example.com/shoes.php?size=7&color=red提供的内容相同)。

  动态网页的响应时间可能会很长,并会因此导致超时问题。或者,服务器可能会返回超载状态,要求百度spider放慢抓取该网站的速度。一般来说,建议您尽量使用简短的参数并谨慎使用。确保您网站的托管服务器没有停止运行、超载或配置不当。如果连接问题、超时问题或响应问题仍然存在,请与您的网站托管服务提供商联系,并考虑增强您的网站处理流量的能力。检查网站是否不小心屏蔽了百度spider的IP。您可能会由于系统级问题而阻止了百度访问,例如DNS配置问题、配置不当的防火墙或DoS防护系统、内容管理系统配置问题。防御系统是保证托管服务正常运行的关键因素之一,并且这些系统通常会配置为自动阻止超量的服务器请求。由于百度spider发出的请求通常要比普通用户多,因此可能会触发这些防御系统,导致它们阻止百度spider访问并抓取您的网站。要解决此类问题,您需要确定网站基础架构中的哪个部分在阻止百度spider,然后取消该阻止。如果您没有控制防火墙的权限,就需要与您的托管服务提供商联系解决此问题。

  【robots封禁问题】

  在抓取诊断工具中如果返回的抓取失败结论是robots封禁,请确认您是否对该网址设置了robots,阻止百度spider抓取网站的某些内容,如果您未使用robots文件屏蔽百度,请点击旁边的报错链接,百度会立即更新您站点的robots信息;如果是您的误操作导致了封禁,请及时修改robots文件,避免造成您的网站在百度收录量和流量的下降。

  【DNS问题】

  DNS错误是指由于服务器停止运行或DNS到您网域的路由存在问题,导致百度spider无法与DNS服务器通信。*如何处理DNS错误?确保百度能够抓取您的网站。对重要网页(例如您的首页)采用抓取诊断工具,如果它能顺利返回您的首页内容,那么您就可以认为百度能够正常访问您的网站。对于持续的或反复出现的DNS错误,请与您的DNS提供商联系。通常情况下,您的DNS提供商即为网站托管服务提供商。配置您的服务器,使其能够以404或500等HTTP错误代码对不存在的主机名作出响应。

  【404错误】

  一般情况下,当百度spider访问到不存在的网页(因为您删除或重命名了网页且没有将旧网址重定向到新网页,或者链接中存在拼写错误)时,就会出现“未找到”状态错误(通常是404 HTTP状态代码)。

  【访问遭拒绝】

  一般情况下,百度会通过跟踪网页间的链接来查找内容。百度spider必须能够访问某个网页才能抓取该网页。如果您意外地看到了“访问遭拒”错误,可能是由于以下几种原因导致的:

  (1)百度spider无法访问您网站上的网址,因为您网站上的所有或部分内容要求用户登录后才能查看。

  (2)您的服务器要求用户使用代理进行身份验证,或者您的托管服务提供商阻止百度spider访问您的网站。

  【参数错误】

  由于请求的语法格式有误,不符合服务器对请求的某些限制,或者请求本身存在一定的错误,服务器无法理解此请求,导致抓取失败。

  【socket读写错误】

  当百度spider访问服务器,进行tcp通信的时候,socket读写发生异常,导致数据不能正常返回。请检查服务器连接状况和防火墙设置是否符合预期。

  【读取http头或者页面内容时失败】

  您的服务器收到了我们的完整请求,但是返回信息时不完整,http头或者响应正文发生了截断,导致网页内容不能正常读取。

相关案例
更多案例>
ARE YOU
INTERESTED
IN?
感兴趣吗?

网站建设及推广咨询电话

028-85756675
15308030114

成都市天府新区华府大道1号蓝润置地广场T3公寓806室

7x24 小时专业服务
专业备案全程跟进
承诺做不到退款
快速建站SEO友好

填写网站建设及SEO优化排名需求

*请认真填写需求信息,24小时内与您取得联系。
在线咨询
电话咨询

立即咨询

028-85756675
微信咨询
微信二维码
QQ咨询
返回顶部