蜘蛛陷阱个人理解为影响蜘蛛爬行的冗余文件,比如一些论坛要注册登录后才能看到内容,搜索引擎蜘蛛可不会注册,所以势必会影响到搜索引擎对该页面的抓取,所以了解蜘蛛陷阱和避免产生蜘蛛陷阱也是我们SEOer必须掌握的技能。
常见的蜘蛛陷阱有:登录浏览、动态URL、框架网页、强制用Cookies、各种跳转、JS、Flash等等。
之前我们说到搜索引擎蜘蛛不会注册ID,像我们常州化龙巷网站之前就是这样,不注册无法访问图片文件,为了注册量放弃用户体验绝对是不可取的。动态
URL也很容易区别,你打开一个页面看地址栏里出现“?”
或“=”的都是动态url,动态url也不利于利于搜索引擎蜘蛛的爬行和抓取。框架网页现在不多见了,多年前接过的一个站常州叉车考证 就
是采用框架网页,现在已经正常了,随着各种CMS建站出现,框架网页也只能在教科书上看到了。强制使用cookies,对于搜索引擎来说是相当于直接禁用
了cookies的,而有些网站为了实现某些功能会采取强制cookies,比如说跟踪用户访问路径,记住用户信息,甚至是盗取用户隐私等,如果用户在访
问这类站点时没有启用cookies,所显示的页面就会不正常,所以对于蜘蛛来讲同样的网页无法正常访问。各种形式的跳转,对于301重定向相信很多
seoer已经非常熟悉了,但是对于其他302,或者meta
refresh,javascript,flash等跳转,蜘蛛是很反感的,而且301也是不到万不得已的时候采用,任何跳转都会在一定程度上给蜘蛛的爬
行带来障碍。蜘蛛对javascript里的链接是可以跟踪甚至在尝试拆解分析的,但是我们最好不要寄望于搜索引擎自己克服困难,虽然说通过js可以做一
些效果不错的导航,但是css同样可以做到;为了提高网站对搜索引擎的友好度建议使网页能够更好的蜘蛛爬行,就尽量不要采用JS。另外一个就是
Flash,据说国外正在研发利于蜘蛛抓取的Flash,但是目前这种技术还没得到推广,能不用尽量不要使用,看到很多企业首页一进去就是一个大的
Flash比如常州龙城快乐排球俱乐部的网站,虽然视觉效果很强,但是搜索引擎蜘蛛不会点击flash进入。
上面说说的都属于非恶意性蜘蛛陷阱,搜索引擎惩罚相对小一些,还有些黑帽SEO利用蜘蛛陷阱那搜索引擎惩罚起来时不会手软的。
常州SEO阿是欢迎SEO从业者关注新浪微博@SEO阿是交流