易采源码网,源码之家,源码程序下载

Apache Nutch Java网络爬虫系统 v1.14

  • 源码大小:8.15 MB
  • 源码语言:英文
  • 源码类型:国外软件
  • 源码授权:开源软件
  • 更新时间:2017-12-27
  • 应用平台:Java
  • 开 发 商:
  • 程序演示:Demo Url
  • 软件等级:☆☆☆☆☆
  • 下载次数:
Apache Nutch Java网络爬虫系统 v1.14
内容介绍

Apache Nutch Java网络爬虫系统 v1.14介绍

Nutch的创始人是Doug Cutting,他同时也是Lucene、Hadoop和Avro开源项目的创始人。

Nutch诞生于2002年8月,是Apache旗下的一个用Java实现的开源搜索引擎项目,自Nutch1.2版本之后,Nutch已经从搜索引擎演化为网络爬虫,接着Nutch进一步演化为两大分支版本:1.X和2.X,这两大分支最大的区别在于2.X对底层的数据存储进行了抽象以支持各种底层存储技术。

在Nutch的进化过程中,产生了Hadoop、Tika、Gora和Crawler Commons四个Java开源项目。如今这四个项目都发展迅速,极其火爆,尤其是Hadoop,其已成为大规模数据处理的事实上的标准。Tika使用多种现有的开源内容解析项目来实现从多种格式的文件中提取元数据和结构化文本,Gora支持把大数据持久化到多种存储实现,Crawler Commons是一个通用的网络爬虫组件。

大数据这个术语最早的引用可追溯到Nutch。当时,大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。现在,大数据的含义已经被极大地发展了,业界将大数据的特性归纳为4个“V”。Volume数据体量巨大,Variety数据类型繁多,Value价值密度低,商业价值高,Velocity处理速度快。

Hadoop是大数据的核心技术之一,而Nutch集Hadoop之大成,是Hadoop的源头。学习Hadoop,没有数据怎么办?用Nutch抓!学了Hadoop的Map Reduce以及HDFS,没有实用案例怎么办?学习Nutch!Nutch的很多代码是用Map Reduce和HDFS写的,哪里还能找到比Nutch更好的Hadoop应用案例呢?

 

 

Nutch Apache Nutch Apache Nutch1.14 Java网络爬虫

下载地址 [挑错]

网友评论

下载声明

☉解压密码:如需要解压密码down.easck.com 就是本站主域名,希望大家看清楚。
☉如果源码不能下载请QQ:279390809留言,我们会尽快修复,谢谢!
☉下载本站资源,如果服务器暂不能下载请过一段时间重试!或者多试试几个下载地址
☉如果遇到什么问题,请QQ:279390809留言,我们定会解决问题,谢谢大家支持!
☉本站提供的一些商业源码是供学习研究之用,如用于商业用途,请购买正版。
☉本站提供的Apache Nutch Java网络爬虫系统 v1.14资源来源互联网,版权归该下载资源的合法拥有者所有。

关于我们 - 联系我们 - 广告服务 - 版权声明 - 人才招聘 - 友情链接 - 网站地图 - 帮助 - -

CopyRight © 2010-2016 源码下载 easck.com , All Rights Reserved

蒙公网安备 15052402000103号

蒙ICP备14002389-1号