SEO培训,上521SEO培训学院就够啦! 报名须知:所有课程费用均4580元,2人(含)以上报名享受团购价3580元/人。优惠热线:178-0100-0815
  SEO SEO培训 SEO培训教程 百度SEO培训 好搜SEO培训 社交营销 百度竞价培训 谷歌SEO培训  

Spider抓取过的页面还会二次抓取吗?

公众号:521SEO   SEO文源:我爱优化网   时间:2014-11-13 09:32:22 浏览量:1662

  Spider抓取过的页面还会二次抓取吗?

  Spider抓取过的页面还会二次抓取吗?肯定会的!spider把网页抓取到本地,该网页被分析索引并参与了排名,并不意味着spider对该网页的工作就已结束。现在的互联网信息瞬息万变,页面的更新改动或者删除都会使已经抓取的页面失效,所以spider对网页进行再抓取也是必须的,不过,要使spider对你的网页进行二次抓取应该具备以下四点:用户体验(UE)、历史更新频率、网页类型和网页权重。

  1、 用户体验

  整个互联网的网页数量是巨大的,已被百度抓取并索引的中文网页应该是千亿级别的,但是对用户有用的信息却是凤毛麟角。当用户进行搜索时,返回的结果能否满足用户的搜索需求直接关系到用户体验度的好坏。试想,用户看到的页面信息显示的是过时的信息,用户对搜索引擎的印象又会是如何呢?为了能够给用户提供及时的信息,搜索引擎爬虫需要对网页进行再抓取和更新。理论上,这些网页被搜索到的次数越多,再次抓取该页面的频率就会越高。

  2、 历史更新频率

  搜索引擎有自己的套发现某网页更新频率的策略。Spider的再次抓取是为了发现页面上的新变化。如果页面上没有新的内容出现,搜索引擎则会降低对该页面的抓取频率,如果接连无新内容出现,搜索引擎甚至会停止对该页面的索引。

  还有一点需要指出的是,所谓的页面变化是指页面的主体内容的变化,非主体内容的变化,不在搜索引擎爬虫再次抓取之列。

  3、 网页类型

  不同的网页类型有不同的更新频率。在同一个站点内网站首页,目录页,专题页和问作业的更新频率肯定是不同的。所以对于同一站点内的网页,是spider也会采用不同的抓取频率。一般情况下首页和目录页是spider经常光顾的页面,根据专题页面的实效性或者其他特征,spider可能会在某一时间段内进行频繁抓取, 实效性过后就会降低对其的抓取频率;对于文章页spider很可能第一次来过之后就不会再来了。

  网页很多,但是网页的类型却并不是所想象的那么多,每个类型的网页都会有自己的布局和更新规律,搜索引擎有足够的能力发现网页的类型并设置合理的再次抓取频率。网页类型归类和网页历史更新频率是被综合使用最多的,一般在同一站点内同类网页会有相同的更新频率,者也会方便spider对网页更新频率的判断。

  4、 网页权重

  网页权重也是决定抓取频率的重要因素。权重高的网页抓取的频率高,反之,抓取的频率就低。用户体验度也是决定网页权重的因素。在其他条件对等的情况下,权重高的网页抓取频率要比权重低的网页抓取频率高。

 

拓展阅读:

优秀的搜索引擎爬虫spider有哪些特性 

这些spider知识,是你应该知道的


李现龙微信公众号(ID:lixianlong620)
扫码阅读:《Spider抓取过的页面还会二次抓取吗?》

版权归属:SEO培训 SEO顾问
转载时必须以链接形式注明作者和原始出处及本声明。


刚看完【Spider抓取过的页面还会二次抓取吗?】的人正在看以下内容

偶的毛绒后院
抱枕少女心超萌布娃娃~~

SEO技术教程
手把手教你用SEO思维优化网站导航
移动SEO:搜索引擎辨别移动页面的特征要素
网站手机版制作优化的5个注意事项
为啥学SEO搜索引擎优化
提高网站好感的几种方式
降低网站好感的几种方式
SEO是什么?
降低网站跳出率的9个方法
月薪15000的电商运营做这些事
【读书笔记】H、EM标签 label属性的用户及百
程序开发过程中的SEO注意事项(持续更新)
做个网站完事,咱也迈进互联网的世界了?
APP的那些未知的SEO优化技巧
【转载整理】无效收录在你眼里是什么样?
4大项 39小项,看站点SEO是否规范(一)
转化率低,着陆页优化你做了吗?
关于“521SEO培训学院”的4问4答
新式SEO和老式SEO的逻辑差异
说说传统行业人士对SEO的4点错误认识
内部链接建设中的4大忌讳
排名不是目的,转化才是关键!
使用SEO排名软件靠谱吗?
怎么学好SEO优化技术?
网站优化排名7天真的可以上首页吗?
想学SEO的来拿吧!自家原创的SEO电子书分享

SEO优化技术教程
seo方法大集合
提高关键词排名的SEO技巧
网络营销需要注意什么呢?
网站快照不稳定的解决办法
锚点链接的优化方法
SEO技巧之网站优化的具体细节
怎么提高关键词的排名?
SEO之网站优化能发高质量外链的网址
怎么判断关键词优化的难易度
什么是高质量的外部链接?
网站首页降权怎么办?
李现龙:关于网站优化技术的几点心得
一个网站进行优化的流程及步骤
快照不更新排名就没变化吗?
关键词排名突然消失是怎么回事?
网站推广应该注意的要点
到底是真静态好还是伪静态好?
SEO-网站优化之9大误区阻碍网站的搜索排名
如何优化网站关键词?
如何加快新站收录?
网络营销和网络推广的区别是什么?
网站优化怎么做?
SEO技巧之最实用的网站采集技巧
一些常见的4开头的ISS错误
商城优化方案
SEO培训 - SEO顾问团 - 现龙在百度百家 - 现龙在新浪 - 现龙在搜狐 - 支付方式 - 联系我们 - 投稿 - 广告合作
学员须知:所提供的SEO课程授课方式为网授和面授。授课时间:周一至周五(20:00-22:00)、周六日全天。
TCP/IP备案号:冀ICP备10019022号 Copyright 2018, 版权所有 www.521seo.com.
无觅相关文章插件,快速提升流量