蜘蛛爬虫不是如我们一样可以眼观六路，耳听八方。他们就是一些虚拟的工具，只能简单的辩解以文本和脚本为基础的内容，而一些优秀图片、动画是无法被评估的。这也是一些网站网络提高VI设计而绞尽脑汁设计一大堆高质量的图片，到头来却无济于事，白忙活一场。而最简单的解决方案就是转换内容形式为一种可识别的载体。同时借助一些搜索引擎模拟器观察爬虫到你网站时的反映，如果有过多的内容丢失，或一些信息被屏蔽，那传递的信息就是我们需要重新设置向导来引导。
2. 复杂导航VS简单导航
许多网站设计师一开始头痛的就是向导的设置太复杂，因为爬虫是在内容和连接间浏览的缘故。如果搜索引擎过于复杂，那爬虫就会经过层层的点击、连接筛选而到你所指向的内容。说句讽刺的话，或许你是在和爬虫的耐性打赌，在和用户较劲，很明白是鸡蛋碰石头的对抗，后果不言而喻。最直接的解决方案就是设计一个简单的导航结构，确保用户在两只三步就可获得自己期望的。 可以在主导航条下面设置子挑选条件，或者是增加一些内部连接。
3. 不连贯的连接操作
在建立连接的同时，我们必须小心的思考如何命名他们，搜索引擎是不可能和我们一样有判断的标准，爬虫更多的是以URLs为评判标准，有时两段不同的连接代码却同时指向一片内容，这是爬虫可能开始迷糊了，虽然我们明白其中的逻辑。但考虑到寄人篱下的缘故，我们还必须让爬虫也明白。为了避免指示信息的错误，我们必须有连贯的连接。如果你的网站有这样类似的疏忽，就使用301跳转重新定义新的内容，让爬虫明白你的连接代码。
4. 错误的重定向
当它涉及到301重定向，就是简单的在你网站间网页的转换。你是否需要重命名他们，或者将这个网站内容引导到一个新的地点保证你能准确的指向那个方向。如果导引错误将会减少你千辛万苦设计的导入链接的效果，还可能导致搜索引擎排名的降低。我们应该认真的思考这个问题，在此我也不再累赘。
5. 错误的站内地图
如果想提高站内结构的准入门槛，建立一个简单的站内地图无疑会事倍功半，这个功能会让爬虫更有倾向性的浏览你的网站网页，但是要确保指示准确。