一、企业网站访问时网页的打开速度
深圳网站制作易捷网络科技认为服务器参数设置除了会影响企业网站打开的速度还会影响爬虫的爬取，具体的就不介绍了。大多数的站长用的空间都是花较小的代价 “蹭”人家的空间商服务器的，根本就没有权限修改服务器的参数，再说也没几个懂服务器维护的。有条件的话尽量选择些靠谱的空间商，比如：万网、爱名等，花点代价就行了，其它问题不用怎么考虑了。
二、nofollow 标签引导爬虫爬取
nofollow就是告诉爬虫像这样的链接都不要追踪，过滤掉一些无用、无价值的页面，让爬虫爬取重要的、有价值的页面，提高爬虫的抓取效率。合理利用nofollow标签让爬虫爬取正确的页面，让搜索引擎优先收录优秀的页面。
三、服务器其它影响爬虫抓取的设置
有时候服务器会防止其它企业网站来自己企业网站采集内容，连续访问超过一定次数时候会屏蔽、断开这个ip地址，不过这样有可能会误伤到爬虫的采集，要知道爬虫也会在一段时间内频繁的访问企业网站。另外服务器的防火墙、服务器内分区过多，安装的内容过多等都会影响到企业网站的速度从而影响爬虫的访问速度，爬虫的抓取也会受到影响的。
选好一个空间是很重要的，不要贪图便宜的空间，这样的空间很不稳定，以免到时候明明知道因为服务器原因造成企业网站收录差，而自己却没办法。