茹莱神兽众所周知，不是所有的网站设计技术都是对搜索引擎友好的，像某些小电影网站、博彩娱乐站及某些直播平台站等，可能在技术上都会屏蔽搜索引擎蜘蛛爬行和抓取，而这些技术我们可以称之为蜘蛛陷阱。
很多网站设计技术，但是对于通过搜索引擎获得流量和排名的正常网站来说，我们应该全力的避免这些蜘蛛陷阱。
1、Flash文件设计
基于 Flash 的视觉效果，部分企业网站首页甚至打开网站就是一个大的 Flash 文件，这就构成了蜘蛛陷阱。要知道搜索引擎是无法读取 Flash 文件中的文字内容和链接的，不能索引出任何文字信息，亦无法判断其相关性，更谈不上收录和排名了。
网站设计应该技术与艺术向结合，像Flash这种文件只是HTML中的一小部分，但却不是最主要的部分，因此网站设计应该站在SEO的角度更合理。
2、Session ID
Session ID 是最常见的蜘蛛陷阱之一，用户或者搜索引擎每次访问网站时会产生唯一的 Session ID 参数，这些参数会加在URL当中，即使相同的页面也会因为Session ID 参数产生不同的URL，容易造成页面重复，搜索引擎难以准确判断。
使用 Session ID 跟踪用户访问对网站优化非常不利，茹莱神兽建议，跟踪用户访问应该使用 cookies 而不要生成 Session ID ，否则对网站而言就是自掘魂墓。
3、各种跳转
301重定向、302跳转、JavaScript 跳转、Flash跳转及 Meta Refresh 跳转中，只有301转向是搜索引擎推荐的，而其他跳转方式都对蜘蛛爬行不利，还可能会被搜索引擎判断为有作弊嫌疑，能不用则不用。
4、框架结构
使用框架结构设计的网页是不利于搜索引擎抓取的，原因在于访问一个使用框架结构的网址所抓取的HTML只包含调用其他HTML文件的代码，而不包含任何文字信息，所以搜索引擎无法判断网页的内容是什么。
5、动态URL
动态URL指的是数据库驱动的网站所生成的、带有问号、等号及参数的网址。一般来说，动态URL不利于搜索引擎蜘蛛爬行，应该尽量避免。
6、JavaScript 链接
基于 JavaScript 的作用，使部分网站使用 JavaScript 脚本生产导航系统，这是比较严重的蜘蛛陷阱之一。技术上搜索引擎是拥有解析JS脚本的能力，但对于权重低的网站可能很难引起重视。
况且 JavaScript 链接在SEO优化当中也有特殊用途，那就是站长不希望被收录的页面，因为 JavaScript 基本可以阻止搜索引擎爬行。
7、要求登陆
有些网站内容放在需要用户登陆之后才能看到的会员区域，这部分内容搜索引擎将无法看到，因为蜘蛛不能填写用户、密码，也不能注册登陆。
8、强制使用 Cookies
有些网站为了实现某种功能，如获取用户隐私信息，强制用户使用 Cookies ，用户浏览器如果没有启用 Cookies ，页面显示不正常。而搜索引擎蜘蛛就相当于一个禁用了 Cookies 的浏览器，同样也无法正常访问。
