我们在深圳网站建设的过程中发现，有很多客户对于搜索引擎的抓取习惯不太了解，导致网站上线之后没有被搜索引擎很好的收录。常常会有客户咨询我们，为什么网站上线之后不被收录或者收录很少。为此，易捷网络就来给大家谈一谈一些有利于搜索引擎抓取收录网站内容的因素。
一、合理清晰的网站结构
搜索引擎蜘蛛的爬行抓取过程也是人性化的，所以一个层次清晰、简明合理的网站结构也是搜索引擎蜘蛛喜欢的。而对于错综复杂的网站结构层次不但影响用户访问，也不利于蜘蛛的爬行和抓取。那么，如何做到合理清晰的网站结构呢?
1、扁平式树形网状结构
扁平式即首页到各个层次的详情页点击次数尽量控制到1-2次，树形即首页-导航页-详情页的结构形式，网状即保证每个内页以及栏目页至少都有一个链接指向其他相关页面。这种结构是目前搜索引擎蜘蛛所喜欢的，也有利于蜘蛛更全面的抓取网站的每一篇内容。
2、URL简洁、形式合理，且建议用静态URL
在网站中，每个内容页都有唯一对应的URL，所以，每个不同页面的URL形式尽量做到形式统一、合理，过多形式的URL地址将会分散页面权重。
网站URL建议采用静态URL，如果你想要做动态URL效果也可以，毕竟现在搜索引擎蜘蛛已经能够识别一些动态页面，。不过，静态URL页面更利于蜘蛛的爬行和抓取。还有，建议URL不可过长，静态URL应减少动态参数。
3、设置网站地图及Robots文件
网站上线后，尽量给网站增加一个网站地图，这样可以把网站内容汇集到这个地图中，有利于蜘蛛的抓取和收录。
查看网站是否有Robots文件，一般是在网站域名后加/Robots.txt即可查看，如果有Robots文件，应检查是否是屏蔽搜索引擎抓取的。没有的话应增加一个Robots文件，设置成允许搜索引擎抓取。这样不但对搜索引擎友好，也可及时限制蜘蛛抓取网站内容或者某个目录下的内容。