蜘蛛为什么总是爬用户资料页面首先，我们要想弄清楚，蜘蛛为什么总喜欢爬去用户资料也，咱们就必须先得整明白，搜索引擎的工作原理。第一个：搜索引擎只是为了更好的把收录的内容，展现给用户最相关的信息。所以呢，可以判定，搜索引擎的最终目的，就是为了用户，那么既然一切都是为了用户，这个问题，也就迎刃而解了。就拿discuz论坛来举例。
搜索引擎的蜘蛛，对一个网页进行了爬取。本着上面我讲到的最终目的，所以，他的出发点，应该是网站的核心，有句话叫擒贼先擒王就是这个概念。你的网站是否有价值，你的网站，到底给用户带来了什么，注册你论坛的用户，在注册之后，到底都发表了一些什么，都看了些什么等等，
爬去用户资料页面，是为了更精确的掌握用户行踪这个问题，我也思考研究了很长时间，甚至有些cms的程序，或者是商城程序类的，一般都是屏蔽掉了用户的抓取，但是为什么蜘蛛还为什么，总是厚着脸皮去抓取呢，下面给大家讲解一下，我最近研究出来的方法
论坛注册的会员，都有会员页面。如果这时候站长把内容页屏蔽掉，那么搜索引擎肯定会对你的网站更严格的审核。用户注册后，每次发帖，蜘蛛都会来看一次，这是我蹲守了好几天，总结出来的经验。大家都在忙着对蜘蛛进行分析的时候，都喜欢把一大把数据结合起来，哎呀，弄的头很大了，其实蜘蛛没那么可怕，更没那么聪明，爬取用户资料页面，就为一件事情
追踪用户信息这个注册的用户，发布过什么帖子，看过哪些。在页面停留时间，跳出率等等数据，对用户行踪做综合评分我可以很负责任的告诉你，假如你的网站用户注册后，并且都积极发帖，回帖，经常停留在页面，增加粘性，我保证你的网站关键词排名，肯定很棒。