一、搜索引擎蜘蛛能不能找到网站网页
要让搜索引擎蜘蛛找到网页，就得有外部链接导向网站首页，蜘蛛找到首页，才能通过沿着内部链接找到更深的内容页。所以，网站要有良好的结构。像JS链接、Flash链接等搜索引擎蜘蛛一般不能跟踪爬行，搜索引擎就很难收录。所以，建议尽量少用或不用。
二、找到网页后能不能抓取页面内容
首先，被搜索引擎蜘蛛找的的url必须是能抓取的。像数据库动态生成、带过多参数的URL、大量的Flash、框架结构、可疑的转向、大量复制内容都是对搜索引擎不友好的现象。
三、抓取页面怎样提炼有用信息
蜘蛛抓取一个页面内容，怎样提炼有用的信息，要考虑页面关键词是否合理分布在页面重要位置、重要标签的撰写、HTML的精简、兼容性一些问题，解决这些问题能够帮助搜索引擎蜘蛛更快、更好的抓取页面有用信息。