东莞网站优化公司

什么是蜘蛛陷阱?蜘蛛陷阱的含义说明

浏览:/ 2020-05-20

 蜘蛛陷阱

 
  蜘蛛陷阱是阻止蜘蛛程序爬行网站的障碍物,通常是那些显示网页的技术方法,目前很多浏览器在设计的时候考虑过这些因素,所以可能网页界面看起来非常正常,但这些蜘蛛陷阱会对蜘蛛程序造成障碍。
 
  如果消除这些蜘蛛陷阱,可以使蜘蛛程序收录更多的网页。蜘蛛陷阱也是以前常常使用的黑帽方式之一,就是用一些动态网站代码中,写一个无线循环的页面,使得蜘蛛爬进去后在这个无穷循环中轮回收录,这样虽然会使得网站疾速进步排名,但也会随时给我们网站带来k站的影响,所以小明seo建议大家最好不要使用。特别是搜索引擎频繁调整算法的时期。
 
  搜索引擎蜘蛛抓取结构原理
 
  在此也简单为大家介绍几种易导致蜘蛛陷阱的建站技术:
蜘蛛抓取.jpg
  1、Flash动画
 
  有得网站喜欢在首页放一个Flash动画片头、用户访问网站看完片头后被转向得真正得HTML版本得文字网站首页。但搜索引擎不能读取Flash、一般也没办法从FlashIntro跟踪到HTML版本页面。如果Flash效果是必需得、至少也需要在首页加上一个通往HTML版本得链接。这个链接应该是在Flash文件之外得HTML代码中、搜索引擎跟踪这个链接可以抓取后面得HTML版本页面。
 
  2、Session ID
 
  有些网站使用Session ID跟踪用户访问、每个用户访问网站时都会生成独特唯一得SessionID、加在URL中。搜索引擎蜘蛛的每一次访问也会被当成一个新得用户、URL中会加上一个不同得SessionID,这样搜索引擎蜘蛛每次来访问时所得到得同一个页面得URL将不一样、后面带着一个不一样得SessionID。这也是最常见得蜘蛛陷进之一。这样就会产生了同一个页面但URL不同的情况,但这种方法会产生复制内容页面,造成了高度重复的内容页。
 
  3、框架结构
 
  对搜索引擎来说、方位一个使用框架得网址所专区得HTML只包含其他HTML文件得代码、并不包含任何文字信息、搜索引擎根本无法判断这个网址得内容是什么。虽然蜘蛛可以跟踪框架中所调用得其他HTML文件、但是这些文件经常是不完整得页面、比如没有导航只是正文。搜索引擎也无法判断框架中的页面内容应该数属于主框架、还是属于框架调用文件。
 
  4、动态URL
 
  动态URL指得是数据库驱动得网址所生成得、带有问号、等号及参数得网址。一般来说动态URL不利于搜索引擎蜘蛛爬行、应该尽量避免。有的url会造成蜘蛛的死循环。
 
  5、JS链接
 
  由于Javascript可以创造出很多吸引人得视觉效果、有些网址喜欢使用Javascript脚本生成导航系统。这也是比较严重得蜘蛛陷阱之一。虽然搜索引擎都在尝试解析JS脚本、不过我们不能寄希望于搜索引擎自己去克服困难、而要让搜索引擎跟踪爬行链接得工作尽量简单容易。
 
  6、要求登录
360截图20200512173458681.jpg
  有些网站内容放在需要用户登录之后才能看到得会员区域、这部分内容搜索引擎无法看到。蜘蛛不能填写用户名、密码、也不会注册。
 
  7、强制使用Cookies
 
  有些网站为了实现某种功能、如记住用户登录信息、跟踪用户访问路径等、强制用户使用Cookies、用户浏览器如果没有启用Cookies、页面显示不正常。搜索引擎蜘蛛就相当于一个禁用Cookies得浏览器、强制使用Cookies只能造成搜索引擎蜘蛛无法正常访问

阅读"什么是蜘蛛陷阱?蜘蛛陷阱的含义说明"的人还阅读

上一篇:如何进行内容采集?文章内容采集的方法

下一篇:什么是刷站?刷站的含义说明