SEO培训,上521SEO培训学院就够啦! 报名须知:所有课程费用均4580元,2人(含)以上报名享受团购价3580元/人。优惠热线:178-0100-0815
  SEO SEO培训 SEO培训教程 百度SEO培训 好搜SEO培训 社交营销 百度竞价培训 谷歌SEO培训  

优秀的搜索引擎爬虫spider有哪些特性

公众号:521SEO   SEO文源:我爱优化网   时间:2014-04-26 14:55:43 浏览量:2481

  优秀的搜索引擎爬虫spider有哪些特性

  搜索引擎爬虫,也称作搜索引擎蜘蛛、机器人。是一种遍历抓取页面的程序。搜索引擎爬虫以其不同的应用,分为批量型爬虫、增量型爬虫和垂直型爬虫。不同的搜索引擎爬虫蜘蛛实现方式不同,但一个优秀的搜索引擎爬虫应该具备以下几个特性:

  1、搜索引擎特性:高性能

  所谓的搜索引擎高性能是指爬虫抓取网页的速度,单位时间内能够下载的网页数量越多,则爬虫的性能就越高。

  提高搜索爬虫的性能,在设计时程序访问磁盘的操作方法和具体实现时的数据结构的选择有很大的关系。例如对于待抓取的url队列和已抓取得url队列,因为url的数量非常大,不同的实现方式所表现出来的性能参差不齐,所以,高效的数据结构队爬虫的性能影响很大。

  2、搜索引擎特性:可扩展性

  正如上面所描述的那样,爬虫需要抓取的数量之大,是不可想象的。即使单个的搜索机器人性能再高,要将所有的网页都下载,也是需要相当长的周期的。为了尽可能的简短搜索引擎抓取网页的周期,爬虫系统程序应该有很强的可扩展性。也就是说很容易通过增加抓取服务器和爬虫的数量来打到这个目的。

  3、搜索引擎特性:健壮性

  爬虫所面临的网站类型千差万别,可能会遇到HTML代码不规范,服务器宕机,甚至是爬虫陷阱等状况。爬虫是否能对各种异常情况进行及时正确的处理很重要。健壮的搜索引擎爬虫程序应该能做到,在再次启动爬虫时,能够恢复之前抓取的内容和数据结构,而不是再次启动爬虫程序的时候,还是从头部开始,这也是爬虫健壮性的一种体现。

  4、搜索引擎特性:友好性

  爬虫的友好性包含以下两个含义:第一就是保护网站的部分私密性。就是要很好的遵守搜索引擎的禁爬协议robots协议。第二就是减少被抓取网站的网页负载。笔者的学乎网www.xuehu.org.cn和钢模板www.hblhgmb.com站点都配置有robots文件,不明白的可以参考下。


李现龙微信公众号(ID:lixianlong620)
扫码阅读:《优秀的搜索引擎爬虫spider有哪些特性》

版权归属:SEO培训 SEO顾问
转载时必须以链接形式注明作者和原始出处及本声明。


偶的毛绒后院
抱枕少女心超萌布娃娃~~

SEO技术教程
XML和TXT死链文件提交百度站长平台教程
百度缩略图显示规则实战演练
2017百度排名不可不知的29条技巧策略
百度对移动搜索排序(SERP)的常见问题
不想百度移动搜索对页面进行转码,怎么办?
百度算法:盘点2014百度的那些新算法
在百度眼里,这样的图片才是吸引人的
【百度官方】关于搜索引擎spider抓取建库的
百度眼中具有抓取和收录价值的网站是什么样
百度眼中具有抓取和收录价值的网站是什么样
百度眼中具有抓取和收录价值的网站是什么样
百度移动搜索专家:关于移动型站点建设的常
百度快照和网页权重的关系
百度到底有什么人工干预机制?
搜索蜘蛛spider和普通用户的区别
网站域名被泛解析,怎么办?
百度指数是这样玩转的
【号外】9.9号:百度站内搜索全面开放
李彦宏:5年后语音和图片搜索会超过文字搜索
百度站长平台收到“网站存在恶意弹窗”怎么
百度凤巢系统推出Extension功能
百度“冰桶算法”不日悄然上线,站长注意!
SEO3.0新搜索时代的优化策略
百度极速智能搜索,向“极速”与“智能”出
页面关键词百度是怎么判断的?

SEO优化技术教程
百度绿萝算法是什么?
百度快照和排名有关系吗?
百度快照不更新,你会解决了吗?
百度快照优化是什么?
百度推广与SEO对比优劣
不想百度移动搜索对页面进行转码,怎么办?
什么样的网站适合用网站地图?
小心!百度K你的站
怎样优化百度竞价账户
百度针对SEO发布web2.0反垃圾攻略
对百度收录有益的几条外部因素
关键词百度相关条数低就好做吗?
导致百度百度回档的原因是什么?
想要百度收录的几条内部因素
在百度眼里,这样的图片才是吸引人的
百度优化和谷歌优化有哪些区别?
快照更新或回档和网站权重有直接关系吗?
百度缩略图显示规则实战演练
百度算法:盘点2014百度的那些新算法
2017百度排名不可不知的29条技巧策略
百度眼中具有抓取和收录价值的网站是什么样
百度对移动搜索排序(SERP)的常见问题
百度眼中具有抓取和收录价值的网站是什么样
【百度官方】关于搜索引擎spider抓取建库的
百度眼中具有抓取和收录价值的网站是什么样
SEO培训 - SEO顾问团 - 现龙在百度百家 - 现龙在新浪 - 现龙在搜狐 - 支付方式 - 联系我们 - 投稿 - 广告合作
学员须知:所提供的SEO课程授课方式为网授和面授。授课时间:周一至周五(20:00-22:00)、周六日全天。
TCP/IP备案号:冀ICP备10019022号 Copyright 2018, 版权所有 www.521seo.com.
无觅相关文章插件,快速提升流量