缩减网站页面代码复杂度是一个很好的优化蜘蛛体验的方法。蜘蛛很多时候是通过网站的代码来了解该页面对于用户是否友好，我们seo工作者尽量就是将网站的代码进行精简，将必须的代码标签进行详细优化设置，将一些不那么必要的代码进行缩减。对于一个页面来说最终要的5个标签就是title、heading、strong、alt和metadescription标签，将这些代码规范化，使用div+css的结构对网站页面进行布局，详细的资料可以参考《SEO如何优化网页源代码、提升用户体验》。
3.调整网站结构
网站结构则是希望让蜘蛛能够在最快的时间怕去到想要爬取的新的内容，可以采取提高页面的目录层次来达到效果，也就是缩减蜘蛛从首页到达该页面的最短路径。除了高页面url的目录层次，还有一种最为常用的方法，就是在网站的首页开出一块区域来呈现我们最近更新的资源。除了以上两种还需要做的就是网站的内链，内链做好了之后不仅仅提高蜘蛛对于单一页面的体验度，还能提升蜘蛛对于网站停留时间。
4.尽量符合用户体验
蜘蛛判断一个页面是否收录很大程度上是判断该页面是否是符合用户体验的，除了网站的代码符合简洁少弹窗，还有内容上也需要符合用户体验。不同类型的网站有着不同的提升用户体验度的方式，尽量少页面跳转同样可以提升用户的体验度，除了301重定向页面，其他的所有跳转方式都是降低页面用户体验得。有的页面则是需要在页面打开速度进行优化，有的则是需要图片、文字等。