搜索引擎为了抓取尽可能多的页面，它会自动跟踪页面的链接，通常采用广度优先、深度优先这两种遍历方法。理论上说，无论是采用深度还是广度策略，只要给蜘蛛足够的时间，都能抓取到网站页面内容，但是实际情况是，搜索引擎蜘蛛的宽带资源、服务器资源等等，都是有限的，因此从实际情况来看，蜘蛛也只能是抓取到互联网页面内容的一小部分，还有很大部分的页面，蜘蛛抓取不到。
哪么在这种网站之间激烈竞争的态势下，如何通过吸引蜘蛛来提高网站的收录呢SEO学堂认为，要想自己的网站能够被蜘蛛尽量多抓取，就要想方设法吸引蜘蛛来到您的网站来抓取。既然搜索引擎蜘蛛不能抓取所有页面，哪么它就会抓取一些重要的页面。具体哪些会被蜘蛛认为是重要的页面呢有以下几点影响因素：
高权重、内容更新快且质量高，资格老的这些网站，会被搜索引擎认为是首先要考虑抓取的网站，这类网站通常由于优先被搜索引擎蜘蛛爬行，因此无论首页、内页都会被大量收录，且收录快照更新快。更新效率快的网站。蜘蛛一旦把您的站点放入收录数据库中，且被蜘蛛所信任后，它就会经常来到这类站点，来查看是否有最新更新内容，如果有页面更新内容，页面出现很多新的链接，哪么蜘蛛收录更新的速度也会相应提高，反之则大大降低收录快照更新效率。
导入链接多且广泛。外链、内链，要被蜘蛛抓取，就必须有导入链接进入页面，否则蜘蛛根本没有机会知道页面的存在。导入链接多且广泛的站点，通常被蜘蛛爬行的深度也相应增加。首页链接的权重相对较大。蜘蛛普遍认为，网站的首页是权重最大的，因此距离网站首页越近的链接，同样的页面的权重也越高，被蜘蛛爬行收录的几率也越大。
学习SEO的目的是为了运用SEO，从蜘蛛的爬行原理分析，新站要想被蜘蛛快速收录，就应该提高网站的更新频率，多为用户提供高质量的文章，同时要广泛的发展外链与做好站内链接优化工作，这样蜘蛛自然就会快速建立起对您站点的信任，从而提高您的站点收录效率，进一步提升网站的SEO关键词排名的目的。