189-2522-6043

搜索引擎蜘蛛抓取网页的策略有几种

时间:07-27 12:36 浏览:22

  在前面的内容中,介绍了搜索引擎的工作原理。下面针对其工作原理中的抓取,进一步 介绍抓取网页的相关策略。每天有许许多多的网站在互联网上进行着网页更新工作,如果蜘 蛛没有选择地抓取页面,会是一个有着极 ...

  在前面的内容中,介绍了搜索引擎的工作原理。下面针对其工作原理中的抓取,进一步 介绍抓取网页的相关策略。每天有许许多多的网站在互联网上进行着网页更新工作,如果蜘 蛛没有选择地抓取页面,会是一个有着极其庞大工作量的任务。因此,蜘蛛进行抓取是有一定策略的,正如我们买东西需要挑挑选选,蜘蛛抓取网页也是有选择性的。蜘蛛选取网 页的策略,可分为以下几部分,蜘蛛抓取网页策略深度优先宽度优先权重优先重访抓取。

搜索引擎蜘蛛抓取网页的策略有几种




  1.深度优先

  搜索引擎蜘蛛在一个页面发现一w接后顺着这个链接爬下去,然后在下一个页面又发现 一个链接,再爬下去并且全部抓取,这就是深度优先抓取策略。此类抓取方式的思路,就是深 度优先策略的中心思想。

搜索引擎蜘蛛抓取网页的策略有几种

  2.宽度优先

  搜索引擎蜘蛛先把整个页面的链接全部抓取一次’然后再对下一个页面的全部链接实施抓 取,这就是宽度优先。由于搜索弓丨擎蜘蛛的宽度优先策略,需要我们在SEO实施过程中,做到 网页的层数不能太多,如果太多会很难收录。

  3.权重优先

  现在搜索引擎都是将深度优先和宽度优先两种策略结合起来使用,两者没有绝对的优劣, 各有各的特点。在这种情况下,就需要我们参照链接的权重。如果链接的权重还不错,那么就 采用深度优先;如果链接的权重很低,那么就采用宽度优先。

  鉴于上述原因,搜索引擎蜘蛛会从以下两个因素来衡量链接的权重:

     (1)层次的多少;

  (2 )链接外链的多少与质量。

  4.重访抓取

搜索引擎蜘蛛抓取网页的策略有几种

  如果昨天搜索引擎蜘蛛抓取了这个网页,今天在对网页进行更新之后,它又来抓取了新的 内容,这就是重访抓取的策略。重访抓取可分为全部重访和单个重访两类。

  (1)全部重访:蜘蛛上次抓取的链接,然后在这一个月的某一天,全部重新去访问抓取 一次。

  (2)单个重访:单个重访一般都是针对某个更新频率比较快、比较稳定的页面,如果一个 页面一个月也不更新一次,那么搜索引擎蜘蛛第一天来了,网站是这个样子,第二天还是这个 样子’那么第三天搜索引擎蜘蛛就不会来了,会隔一段时间再来,比如隔一个月,或者等全部 重访的时候再来一次。

2小时内报价 3天完成方案设计 7-10天内制定全年推广计划

华南地区出现问题,24小时内上门处理!

全国免费服务热线

189-2522-6043

提交需求免费获取网站SEO139项诊断方案

cache
Processed in 0.001359 Second.