深圳易捷网络科技财税咨询网-neatmaster518.com 返回首页

网站改版带来的404抓取错误解决实践

信息来源:深圳市易捷网络科技有限公司
信息发布时间:2024/12/22

网站制作中一项重要的工作就是改版,每次改版肯定是往好的方面进行,因为每个阶段的定位不同,我们要网站所表现的企业形象也不同,而且一个好看大气的网站绝对能够在潜在客户心里提升我们公司的地位。但是多数的改版对于我们网站的SEO都会造成一定的影响,这里就需要我们对网站的情况掌握的非常熟悉之后,然后进行有效地控制,减少改版造成的404页面过多情况。

1、利用日志分析工具找到404错误抓取页面

日志分析工具利用最常用的光年日志分析工具就可以了,首先利用FTP下载好最近几天的网站LOG日志,当然,想更多的分析,那么多下载一段时间的LOG日志也可以,利用日志分析工具新建任务分析各个阶段的百度蜘蛛抓取情况,这里主要考虑百度抓取情况,因为建立这个分析工作的前提是快照停滞,收录为 1。这里建议大家分为三个时间段来分析:

A、分析最近一天的LOG日志,可以是今天的,但是最好是昨天的,因为昨天的会比较全,今天的你即使是晚上来分析也会有一部分时间没有统计到。

B、分析改版之后的LOG日志,因为这涉及到百度蜘蛛对于网站改版的一些判断,例如我们可以分析百度蜘蛛什么时候开始判断网站已经改版,或者什么时候已经放弃对于旧站URL的抓取等等。

C、改版前后抓取量的对比,分析改版对于百度蜘蛛的抓取量影响多大。

至于日志分析工作后面的分析工作都是一键式的,具体的分析思路有了之后,我们对照着进行分析,就会找到很多平时我们没有注意到的问题,例如下面出来改版造成的404页面,还有不少的页面也是404错误,我并没有意识到,例如下面的wp-login.php页面就是一个最典型的例子:404错误抓取页面

2、利用百度站长工具中的死链提交工具进行死链提交

百度站长平台LEE团队说:404状态码代表‘NotFound’,spider更新时会认为该页面已失效,此时呢将在索引库中删除,短期内spider再次发现该url不再会抓取。当然,百度的说法只能作参考,因为分析网站日志发现,2个多星期百度蜘蛛还是来抓取这些错误页面,当然,百度对于404错误页面的指导性操作,还是非常有针对性的。百度站长平台对404页面的看法特别是死链提交工具中提交死链sitemap,这一条大家可以根据自身的情况进行死链提交,我这边提交后暂时还没有大的效果,因为大家都知道百度的效果展现周期一般都比较长。

3、利用robots.txt和nofollow标签引导蜘蛛抓取

404错误页面一个最大的坏处就是给蜘蛛带来一些错误的抓取,浪费了蜘蛛抓取资源,举个例子,首先我们要达成这样的一个共识:任何一个网站的蜘蛛抓取访问资源都是有限的,小网站自然要少很多,而大网站就要多很多,要想蜘蛛抓取率更高,抓取的更合理,那么一些错误的链接造成的404错误量就要尽可能的减少。

相关行业资讯

1、网站建设应该怎么布局
2、寄生淘宝的尴尬:美丽说等导购网站前景堪
3、稳定关键词排名的重要因素有哪些
4、网站优化需要从这几个方面着手
5、网站制作好了就万事大吉了
6、友情链接也是网站建设过程中不能忽视的方面
7、网站标题修改后影响大吗
8、网站日志反回值304是怎么回事
9、东莞网站制作公司都是怎么做网页设计
10、网站建设各个阶段有不同的注意点
11、网站布局怎么做才能加快网站优化
12、网站被黑检测与网站被黑处理方法
13、宝安沙井怎么打造品牌网站建设?
14、网站外链怎么发才能更有效
15、建设商城网站是关键
16、新手如何学习seo实战操作简单指导方案
17、德阳网站建设如何进行规划
18、使用设计笔记本提高创造力的10个技巧(二)
19、缘何外链数量庞大却依然无法获得首页排名
20、深圳企业日常网站建设中运营与优化的工作重点
21、如何从对手网站看用户体验
22、浅谈影响网站优化排名的三大因素
23、网站建设中涉及的一些技术问题
24、旅游网站的设计与开发
25、创建外贸网站的注意事项
26、网络推广的方法有哪些见效最快
27、深圳网站设计中有哪些令人厌烦的设计
28、变形金刚3带给我们的网络营销启示
29、旅游公司网站建设需要哪些功能
30、赤峰网站界面设计原则二重奏(下)
31、深圳高端网站制作中遇到的种种问题
32、好的企业网站制作要注意哪几个细节
33、新站长如何看待百度不收录低权重网站原创首发内容的问题
34、有哪些方法可以增加网站的收录量
35、网站建设之网页设计原型图
36、网站发帖宣传应该注意什么
37、seo优化常识:如何增加网站收录
38、解决邮件营销的邮件模板的兼容性的方法
39、深圳企业网站建设需要灵魂
40、网站优化中主关键词的选择技巧
41、动态网站和静态网站有什么区别
42、建设网站按照这几个规范不能松懈
43、营销型网站建设有哪些优势
44、有人夸我好看,我该怎么回应
45、盘点算法更新档口可能被惩罚的优化手段
46、在网站建设的时候需要关注的基本问题
47、地方门户站现状观察分析该何去何从
48、企业网站制作前要注意什么?
49、电子商务网站设计和开发需要注意的地方
50、新手站长做站的一些感悟和经验
深圳市易捷网络科技有限公司版权所有    粤ICP备2022153140号