深圳易捷网络科技财税咨询网-neatmaster518.com 返回首页

企业网站中robots.txt的重要性

信息来源:深圳市易捷网络科技有限公司
信息发布时间:2025/2/18
Robots.txt是搜索引擎在访问网站时需要查看的首要文件。这个文件用来告诉蜘蛛程序哪些文件可以在服务器上被访问,哪些不能。

当一个搜索蜘蛛访问一个网站时,它首先会检查该网站的根目录下是否存在robots.txt。如果存在,搜索机器人会按照该文件中的内容来确定其访问范围;如果不存在,所有的搜索蜘蛛将能够访问网站上所有未被口令保护的页面。

Robots.txt必须被放置在一个网站的根目录下,并且文件名必须全部小写。

Robots.txt的使用误区
误区一:我的网站上的所有文件都需要蜘蛛抓取,那我就没必要添加robots.txt文件了。实际上,如果该文件不存在,所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面,但在服务器日志中,每当用户试图访问某个不存在的URL时,都会记录404错误(无法找到文件)。同样的,每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也会在日志中记录一条404错误,所以你应该在网站中添加一个robots.txt文件。

误区二:在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取,这样可以增加网站的收录率。但是,即使蜘蛛收录了网站中的程序脚本、样式表等文件,也不会增加网站的收录率,还只会浪费服务器资源。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引这些文件。具体哪些文件需要排除,在robots.txt的使用技巧一文中有详细介绍。

误区三:
搜索蜘蛛抓取网页太浪费服务器资源,所以在robots.txt文件中设置所有的搜索蜘蛛都不能抓取全部的网页。然而,如果这样的话,会导致整个网站不能被搜索引擎收录。

Robots.txt的使用技巧
在网站的根目录下添加一个robots.txt文件可以避免服务器记录不必要的404错误。每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以应该在网站中添加一个robots.txt文件。
网站管理员必须使蜘蛛程序远离某些服务器上的目录-——保证服务器性能。比如:大多数网站服务器都有程序储存在“cgi-bin”目录下,因此在robots.txt文件中加入“Disallow: /cgi-bin”是个好主意,这样能够避免将所有程序文件被蜘蛛索引,可以节省服务器资源。一般网站中不需要蜘蛛抓取的文件有:后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。

下面是VeryCMS里的robots.txt文件示例:
User-agent: * Disallow: /admin/ 后台管理文件
Disallow: /require/ 程序文件
Disallow: /attachment/ 附件
Disallow: /images/ 图片
Disallow: /data/ 数据库文件
Disallow: /template/ 模板文件
Disallow: /css/ 样式表文件
Disallow: /lang/ 编码文件
Disallow: /script/ 脚本文件

如果你的网站是动态网页,并且你为这些动态网页创建了静态副本以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件中设置避免动态网页被蜘蛛索引,以保证这些网页不会被视为含重复内容。目前支持这一做法的搜索引擎公司有Google, Yahoo, Ask和 MSN。中文搜索引擎公司目前还没有加入这个圈子。通过在Robots.txt文件中添加这样的链接,站长不用到每个搜索引擎的站长工具或者相似的站长部分去提交自己的sitemap文件,搜索引擎的蜘蛛自己就会抓取Robots.txt文件,读取其中的sitemap路径并接着抓取其中相连的网页。

合理使用Robots.txt还能够避免访问时出错。比如,你可以设置阻止搜索者直接进入购物车页面因为购物车没有必要被收录所以可以在Robots.txt里阻止搜。

相关行业资讯

1、网站制作当中使用DIV+css的优势是什么的呢
2、三个主要因素影响企业网站建设的价格
3、你需了解一下SEO优化之后的众多服务
4、从优化咖啡机站谈做SEO时不要忘记合理利用社交平台推广
5、Google排名好而百度却没有排名这究竟是什么原因
6、简单的网站建设有什么好处
7、购物网站设计费用
8、如何对原有网站进行功能拓展
9、网站建设浅谈竞争对手分析的方法
10、关于如何做好SEO内部链常见形式的站点内链接的四点建议
11、[网站制作]网站版面结构颜色设定利于优化
12、如何设置好网站的导航栏
13、五个缺少决定网站存亡
14、如何创建网站Web内容管理系统
15、浅谈与百度快照相关的问题
16、浅谈网站内链布局的作用
17、企业虚拟主机应该如何选择?这几点要考虑!
18、企业网站制作完成后要经常更新网站内容
19、分析UGC产品的用户关系以及内容生产动力
20、如何解决网站访问慢的问题
21、为什么网站需要备案
22、网站建设完成后必须要做的网站维护工作
23、网站优化外链如何做的更加完美
24、运动图形在运用程序开发中的功用
25、网站建设新手指南向导
26、营销型网站为什么要做SEO优化
27、SEO优化的五大准则都有哪些
28、网站建设实操3个月网站权重、关键词排名持续上升
29、品牌网站制作解决方案
30、企业网站通过搜索引擎优化技巧
31、这些都是网站建设的好处
32、外链建设之7宗罪造成网站流量的波动变化
33、企业网站制作一定要选好虚拟主机
34、互联网广告朝留夕删如何让广告长留增效
35、h5如何制作,有哪几种制作方式
36、网络推广没效果你真的推广了么
37、网站seo优化设置哪些内容才算标准
38、什么可以称为SEO的思维
39、个人建设网站的方法
40、SEO优化如何进行优异的优化处理
41、网站建设三大用户体验营销法则
42、网站优化:推广优化过程中那些容易忽略的细节
43、网站外链的优化需要怎么进行
44、2017年如何战胜竞争对手之企业站SEO篇
45、为什么做SEO优化,SEO优化具备什么优势
46、网站关键词排名下降有哪些因素造成的
47、上海虹口网站建设为什么需要持续更新内容
48、对网站设计这个热门话题进行简单描述
49、 优化与竞价之间的不同
50、如何做网站设计提高友好度?
深圳市易捷网络科技有限公司版权所有    粤ICP备2022153140号