蜘蛛陷阱就是站长在设计网站时使用了一些搜索引擎不喜欢的,不利于搜索引擎日常工作的手法。成功的避开搜索引擎的蜘蛛陷阱就要从每一个蜘蛛陷阱具体分析,来得出正确的方法。最常见的蜘蛛陷阱如下:
1、网站动态的URL
很多动态的URL是由于自动调用数据库,使网站自动生成的掺杂很多参数的网址,一般来说,搜索引擎蜘蛛不喜欢动态的URL,因为动态的URL参数太多,搜索引擎蜘蛛的爬行工作效率将会大大受损,我们应该做好网站URL静态化的工作。
2、各种类型的跳转
用户在访问站点的时候,会被无缘无故的跳转到其他的页面。如果是按照用户的信息来跳转的话,那么还不会造成太大的影响,一旦是胡乱跳转的,那么就会造成大量的用户反感,从而流失有效客户。常见的用户反感的跳转有:JS跳转、FLASH跳转、302跳转等,大家尽量不要使用这些跳转。
3、JS生成的导航
很多网站之所以喜欢用JS,是因为JS可以给站点带来强大的视觉效果。一些站点喜欢用JS生成的网站导航,这在搜索引擎看来是十分讨厌的,毕竟它目前还不能识别JS内部的链接,我们只有尽量让搜索引擎的爬行工作简单化,才能得到搜索引擎的青睐。
4、会员登陆功能
有的网站内容会放在一些需要会员资格或者用户登陆后才能看到,这部分内容连搜索引擎都无法爬行和抓取。大家知道搜索引擎蜘蛛不会去填写用户名和密码来访问该页面进而抓取其内容,这明显增加了蜘蛛工作的难度。
5、Frame(框架结构)
如果一个新手站长不知道框架结构的话,那么你就可以放心了。网站根据框架结构来设计的话就可以有效的维护更新页面。搜索引擎访问一个框架结构设计的网站时,它只抓取HTML文件的代码,任何文字信息都不能被其抓取,那么搜索引擎也就不能识别该站点的内容。别浪费时间等搜索引擎改变自己来适应你的站点,而是做到改变自己适应搜索引擎。
6、会话ID
有的网站用户在访问时都会自动生成一个会话ID,存在于URL中。搜索引擎每一次访问也会自动生成会话ID,那么就势必会造成同一个蜘蛛多次访问会产生不同的URL。一个页面多次被蜘蛛爬行就会造成URL不同、内容相同。这在搜索引擎看来就是重复内容,那么你的站点距离降权也就不远了。
7、FLASH的使用
合理的使用FLASH技术也很重要,简单的使用一些小的FLASH做一些特殊的效果来增加网站的美观度还是可以的。要是整个站点就是个FLASH,那么就不会被搜索引擎收录。目前最强大的搜索引擎都不能识别FLASH里面的内容,那么这个站点就更别提优化了。站在优化的角度上来说,这就是一个死站。所以万万不要用FLASH来设计网站,非要用FLASH来展现网站的信息和实力的话,那么这样子的站点根本不需要做优化吧。
8、自动添加网站收藏
这一点无论从用户还是从搜索引擎看来都是最讨厌的。因为添加收藏链接是用户自主的权利,你强制性的给用户添加链接就会引起用户反感,一旦站点链接添加不成功还会造成用户和搜索引擎不能正常访问你的网站。