立鼎娱乐

新闻中心

主页 > 新闻中心 > 娱乐资讯 >

谷歌的这三篇论文成了大数据开源化的主要推动力

发布时间:2019-01-19  作者:www.androiddh.com
    谷歌的这三篇论文成了大数据开源化的主要推动力。
  4. 1.3 Okada娱乐Hadoop生态16年见证大数据时代
    大数据技术起源于谷歌,谷歌发表了三篇关键论文,但并未直接将自己的软件开源。如果没有开源软件Hadoop的出现,就不会有如今大数据技术和应用的飞速发展。
Hadoop简介
Hadoop简介
    Hadoop是一个由Apache基金会开发的分布式系统基础架构,诞生于2006年1月28日,至今已有11年。Hadoop是根据谷歌发表的关于GFS和MapReduce的论文自行实现而成。
    Hadoop的框架能够透明地为应用提供可靠性和数据移动,用户无需了解分布式系统的底层细节即可开发分布式应用。整个框架在ETL方面的天然优势使其在大数据处理场景中得到广泛应用,加速了大数据的普及与发展,形成了广泛的Hadoop生态。
Hadoop的演进
    Okada娱乐Hadoop 1.0以及之前的早期版本主要由HDFS和MapReduce这两个核心组件(Core Hadoop)构成。HDFS为海量的数据提供了存储,是对GFS的模仿。而MapReduce为海量的数据提供了计算,是对谷歌MapReduce的模仿。在Hadoop 2.0中,核心组件中增加了YARN(Yet Another Resource Negotiator)。YARN是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度。它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处,把计算框架和资源管理彻底分开,改善了Hadoop 1.0在可扩展性、内存消耗、线程模型、可靠性和性能上的缺陷。
新浪微博 腾讯微博 立鼎娱乐平台