深圳易捷网络科技财税咨询网-neatmaster518.com 返回首页

网站改版带来的404抓取错误解决实践

信息来源:深圳市易捷网络科技有限公司
信息发布时间:2024/9/19

网站制作中一项重要的工作就是改版,每次改版肯定是往好的方面进行,因为每个阶段的定位不同,我们要网站所表现的企业形象也不同,而且一个好看大气的网站绝对能够在潜在客户心里提升我们公司的地位。但是多数的改版对于我们网站的SEO都会造成一定的影响,这里就需要我们对网站的情况掌握的非常熟悉之后,然后进行有效地控制,减少改版造成的404页面过多情况。

1、利用日志分析工具找到404错误抓取页面

日志分析工具利用最常用的光年日志分析工具就可以了,首先利用FTP下载好最近几天的网站LOG日志,当然,想更多的分析,那么多下载一段时间的LOG日志也可以,利用日志分析工具新建任务分析各个阶段的百度蜘蛛抓取情况,这里主要考虑百度抓取情况,因为建立这个分析工作的前提是快照停滞,收录为 1。这里建议大家分为三个时间段来分析:

A、分析最近一天的LOG日志,可以是今天的,但是最好是昨天的,因为昨天的会比较全,今天的你即使是晚上来分析也会有一部分时间没有统计到。

B、分析改版之后的LOG日志,因为这涉及到百度蜘蛛对于网站改版的一些判断,例如我们可以分析百度蜘蛛什么时候开始判断网站已经改版,或者什么时候已经放弃对于旧站URL的抓取等等。

C、改版前后抓取量的对比,分析改版对于百度蜘蛛的抓取量影响多大。

至于日志分析工作后面的分析工作都是一键式的,具体的分析思路有了之后,我们对照着进行分析,就会找到很多平时我们没有注意到的问题,例如下面出来改版造成的404页面,还有不少的页面也是404错误,我并没有意识到,例如下面的wp-login.php页面就是一个最典型的例子:404错误抓取页面

2、利用百度站长工具中的死链提交工具进行死链提交

百度站长平台LEE团队说:404状态码代表‘NotFound’,spider更新时会认为该页面已失效,此时呢将在索引库中删除,短期内spider再次发现该url不再会抓取。当然,百度的说法只能作参考,因为分析网站日志发现,2个多星期百度蜘蛛还是来抓取这些错误页面,当然,百度对于404错误页面的指导性操作,还是非常有针对性的。百度站长平台对404页面的看法特别是死链提交工具中提交死链sitemap,这一条大家可以根据自身的情况进行死链提交,我这边提交后暂时还没有大的效果,因为大家都知道百度的效果展现周期一般都比较长。

3、利用robots.txt和nofollow标签引导蜘蛛抓取

404错误页面一个最大的坏处就是给蜘蛛带来一些错误的抓取,浪费了蜘蛛抓取资源,举个例子,首先我们要达成这样的一个共识:任何一个网站的蜘蛛抓取访问资源都是有限的,小网站自然要少很多,而大网站就要多很多,要想蜘蛛抓取率更高,抓取的更合理,那么一些错误的链接造成的404错误量就要尽可能的减少。

相关行业资讯

1、网站建设的一些通用原则
2、企业网站的管理维护该怎么做才好
3、主机添加域名建立多站教程_深圳网站制作公司
4、手机建站前需要做好哪些准备工作
5、电商网站设计需要注意哪些
6、增加一个小装饰让网站看起来更专业
7、友链的一些常见的问题及标准
8、网站运营如何做好用户需求分析
9、网站盈利模式分析
10、网站制作费用包括什么方面
11、做网站地图究竟对Seo有何价值呢
12、做好营销型网站建设方案需要注意什么
13、如何区分网页设计和网页开发
14、网易企业邮箱联手微软开启全国经销商招募
15、网站404错误页面设置技巧
16、建设网站需要多少钱?这些费用要了解
17、如何提高网站搜索展现率
18、分析建站程序构建网站的利与弊
19、如何让自身网站有特色
20、麦肯锡恩:防止企业网站被K的三大要点
21、如何检测推广优化效果
22、网站的可维护代码
23、网站稳定排名2大要素
24、网页设计框架与布局设计
25、百度推荐对比其他产品有什么优势
26、从网站robots设置看百度检索新站规则
27、影响网站建设时间的因素
28、网站现状分析-深圳网站建设公司
29、百度统计6大功能迅速帮你更好的找到定向访客
30、怎样才能建设出一个成功的网站
31、怎么增加访客对于医疗网站的依赖感
32、网站前期推广三个“确定”
33、网站建设制作诱饵链接的方法
34、关于标题拟定的独门杀手锏和注意事项
35、网站优化实例操作:3天内收录首页和内页
36、深圳网站建设的全部流程详述
37、无觅“喜欢&推荐”按钮及个性化推荐应用发布
38、最有效的挖掘长尾关键词方法
39、优秀的企业网站制作要注意哪些事项
40、说说SEO优化的外链建设准则有哪些
41、企业网站建设完成,怎么让搜索引擎百度收录
42、基本型网站制作套餐
43、如何让一个企业网站易于搜索引擎推广
44、深圳网站制作哪家好?网站制作有哪些实际性的好处?
45、网站关键字如何做到最好的优化
46、网站优化:一个小学教师建站的不惑与困惑
47、利用网络人脉打造互联网SEO服务品牌
48、为什么百分之九十的站长都失败了
49、网站导航的设计的细节
50、如何分析网站优化数据
深圳市易捷网络科技有限公司版权所有    粤ICP备2022153140号