您的位置: 旅游网 > 社会

从互联网到学术界 Hadoop社区渐成气候

发布时间:2019-08-15 13:29:12
日前,由中科院计算所主办的“Hadoop 中国2010云计算大会 - Hadoop in China 2010”于9月4日在京落下帷幕【图文专题】,共有600多名来自企业、高校、科研院所的Hadoop技术爱好者参加了此次盛会。IT168记者现场采访了大会程序主席、中科院计算所副研究员查礼博士。 ▲中科院计算所副研究员查礼博士主持Hadoop大会 记者注意到,此次大会邀请了Yahoo!、Facebook、百度、中国移动研究院、淘宝、EMC、VMware、Intel、IBM、eBay等国内外著名IT企业到会分享交流技术内容,其中大部分是互联网企业。而且,听众当中也有很多人来自互联网、SNS、电子商务等领域。对于Hadoop为什么受到互联网等企业的追捧,查礼在接受采访时谈到,Hadoop作为一种支撑大规模互联网服务的软件平台和工具集,可以用来解决分布式计算中的很多问题,跟商业软件相比,有两大主要优势:一是实用,效率较高,能够处理许多商业软件如传统数据库不能做的事情,特别是在大规模数据处理和计算方面,Hadoop的优势非常明显;二是开源,成本低,而且容易修改,便于做二次开发,这尤其对于那些新兴互联网业务非常适用。 据了解,Hadoop的软件工具非常丰富,主要提供了一套名为HDFS的分布式文件系统以及支持Map-Reduce的计算框架。此外,还提供构建在HDFS 和Map/Reduce之上的可扩展的数据仓库Hive,结构化数据库HBase,数据流高层语言Pig,高性能分布式协同服务ZooKeeper,以及面向大规模分布式系统的数据收集软件Chukwa等。 自2002年Apache设置相关项目以来,源于互联网的Hadoop也渐渐在互联网领域扎下了根。如Yahoo!使用4000节点的机群运行Hadoop,支持广告系统和 Web搜索的研究;Facebook使用1000节点的机群运行Hadoop,存储日志数据,支持其上的数据分析和机器学习;百度用Hadoop每天处理1PB的数据,进行搜索日志分析和网页数据挖掘工作;中移动研究院基于Hadoop开发了“大云”(Big Cloud)系统,不但用于相关数据分析,还对外提供服务;淘宝的Hadoop系统用于存储并处理电子商务的交易相关数据。 Hadoop技术除已经在互联网领域得到广泛应用之外,同时也受到了学术界的普遍关注。国内的高校和科研院所基于Hadoop在数据存储、资源管理、作业调度、 性能优化、系统高可用性和安全性方面进行研究,相关研究成果多以开源形式贡献给Hadoop社区。在此次大会上,中科院计算所、江南计算所、清华大学、中国人民大学等科研院所专家到会报告了最新研究进展。毕竟,只要有大规模数据处理的地方,就可能有Hadoop的生存之地。 ▲计算所展示Hadoop研究成果 作为大会主办方的中科院计算所则是从2008年开始支持Hadoop在国内的发展,并于2008年11月举办了首次Hadoop技术沙龙,从而逐渐形成了在业界有着重要影响力的Hadoop in China 志愿者社区。在此次大会上,中科院计算所常务副所长孙凝晖也明确表示,计算所会坚定不移地支持开源,团结一切的力量,大力发展基于开放平台的互联网服务技术体系。 对此,查礼也向记者分享了他自己的看法,一是科研单位人力资源有限,现阶段光靠一家做大型产品不太现实,有必要聚集社会的力量;二是要想让产品快速实用化,开源是比较适合的路线。很多企业的实践表明,具有众包特点的开放源代码并没有造成恶性竞争,反而是企业核心竞争力的源泉。而且,Hadoop体现的就是一种开源文化,有着自己的草根特性,其开发贡献者大多都是年轻的一线工程师,对这些年轻人来说,贡献出来的技术被很多人关注和采用,本身就是一件很有成就感的事情。 ▲年轻的力量:来自Facebook、Yahoo、百度、IBM等企业的Hadoop技术专家在畅谈开源社区 如同Hadoop技术本身,Hadoop社区也还处于发展当中。谈到当前Hadoop的生态系统,查礼将其定位于“正在发展”当中,但已经过了“初创过渡”那个阶段。他告诉记者,现在Hadoop已经有了比较畅通的沟通渠道,比如Hadoop in China大会就是一个典型平台,而且也有很多企业参与其中,大家在不同的点上做开源式的创新。计算所本身也在做Hadoop的研究,查礼所在的系统软件组主要从事的是Hadoop的系统优化研究。 不过,查礼也谈到,国内Hadoop生态系统的运作机制还不够完善,比如在国外有专门的基金会支持开源,而且有企业愿意掏钱资助,但在国内这样的机制还不成熟,Hadoop开源社区运作起来就显得比较松散。计算所希望通过Hadoop in China 志愿者社区和相关会议平台,能够推动Hadoop在中国的发展,促进它成为更加完整、更加有效的开源软件。孩子脸色发黄
冠心病该怎么治疗
脑出血导致偏瘫的恢复
哪家治疗脑梗好
猜你会喜欢的
猜你会喜欢的