蜘蛛陷阱是什么？黑帽SEO蜘蛛陷阱有哪些？
蜘蛛陷阱是阻止蜘蛛程序爬行网站的障碍物，通常是那些显示网页的技术方法，目前很多浏览器在设计的时候考虑过这些因素，所以可能网页界面看起来非常正常，但这些蜘蛛陷阱会对蜘蛛程序造成障碍。
如果消除这些蜘蛛陷阱，可以使蜘蛛程序收录更多的网页。蜘蛛陷阱也是以前常常使用的黑帽方式之一，就是用一些动态网站代码中，写一个无线循环的页面，使得蜘蛛爬进去后在这个无穷循环中轮回收录，这样虽然会使得网站疾速进步排名，但也会随时给我们网站带来k站的影响，所以建议大家最好不要使用。特别是搜索引擎频繁调整算法的时期。
搜索引擎蜘蛛抓取结构原理
在此也简单为大家介绍几种易导致蜘蛛陷阱的建站技术：
1、Flash动画
有得网站喜欢在首页放一个Flash动画片头、用户访问网站看完片头后被转向得真正得HTML版本得文字网站首页。但搜索引擎不能读取Flash、一般也没办法从FlashIntro跟踪到HTML版本页面。如果Flash效果是必需得、至少也需要在首页加上一个通往HTML版本得链接。这个链接应该是在Flash文件之外得HTML代码中、搜索引擎跟踪这个链接可以抓取后面得HTML版本页面。
2、Session ID
有些网站使用Session ID跟踪用户访问、每个用户访问网站时都会生成独特唯一得SessionID、加在URL中。搜索引擎蜘蛛的每一次访问也会被当成一个新得用户、URL中会加上一个不同得SessionID，这样搜索引擎蜘蛛每次来访问时所得到得同一个页面得URL将不一样、后面带着一个不一样得SessionID。这也是最常见得蜘蛛陷进之一。这样就会产生了同一个页面但URL不同的情况，但这种方法会产生复制内容页面，造成了高度重复的内容页。
3、框架结构
对搜索引擎来说、方位一个使用框架得网址所专区得HTML只包含其他HTML文件得代码、并不包含任何文字信息、搜索引擎根本无法判断这个网址得内容是什么。虽然蜘蛛可以跟踪框架中所调用得其他HTML文件、但是这些文件经常是不完整得页面、比如没有导航只是正文。搜索引擎也无法判断框架中的页面内容应该数属于主框架、还是属于框架调用文件。
4、动态URL
动态URL指得是数据库驱动得网址所生成得、带有问号、等号及参数得网址。一般来说动态URL不利于搜索引擎蜘蛛爬行、应该尽量避免。有的url会造成蜘蛛的死循环。
5、JS链接
由于Java可以创造出很多吸引人得视觉效果、有些网址喜欢使用Java脚本生成导航系统。这也是比较严重得蜘蛛陷阱之一。虽然搜索引擎都在尝试解析JS脚本、不过我们不能寄希望于搜索引擎自己去克服困难、而要让搜索引擎跟踪爬行链接得工作尽量简单容易。
6、要求登录
有些网站内容放在需要用户登录之后才能看到得会员区域、这部分内容搜索引擎无法看到。蜘蛛不能填写用户名、密码、也不会注册。
7、强制使用Cookies
有些网站为了实现某种功能、如记住用户登录信息、跟踪用户访问路径等、强制用户使用Cookies、用户浏览器如果没有启用Cookies、页面显示不正常。搜索引擎蜘蛛就相当于一个禁用Cookies得浏览器、强制使用Cookies只能造成搜索引擎蜘蛛无法正常访问。
