admin 管理员组文章数量: 1184232
2024年3月20日发(作者：web用户是什么意思啊)
第
1
章
初识Hadoop大数据技术
本章主要介绍大数据的时代背景，给出了大数据的概念、特征，还介绍了大数据相关问题的
解决方案、Hadoop大数据技术以及Hadoop的应用案例。
本章的主要内容如下。
（1）大数据技术概述。
（2）Google的三篇论文及其思想。
（3）Hadoop概述。
（4）Hadoop生态圈。
（5）Hadoop的典型应用场景和应用架构。
1.1 大数据技术概述
1.1.1 大数据产生的背景
1946年，计算机诞生，当时的数据与应用紧密捆绑在文件中，彼此不分。19世纪60年代，
IT系统规模和复杂度变大，数据与应用分离的需求开始产生，数据库技术开始萌芽并蓬勃发展，
并在1990年后逐步统一到以关系型数据库为主导，具体发展阶段如图1-1所示。
1
Hadoop大数据技术与应用
19世纪60年代，IT系统规模和复杂度变大，数据与应
用分离的需求开始产生，数据库技术开始萌芽并蓬勃发
展，并在1990年后逐步统一到以关系型数据库为主导
1946年，计算机诞生，
数据与应用紧密捆绑
在文件中，彼此不分
E-R
网络型
磁盘被
发明，
进入文
件管理
时代
GE公司发
明第一个网
络模型数据
库，但仅限
于GE自己
的主机
…
关系型
SQL
数据库
ORACLE
SQL语言
发布第一
IBM E.
被发明
个商用
SQL关系
提出关
数据库，
系模型
后续快速
发展
1974 1979
数据仓库
数据仓库开
始涌现，关
系数据库开
始全面普及
且与平台无
关，数据管
理技术进入
成熟期
2001
第一台
计算机
ENIAC
面世
1946
磁带+
卡片
人工
管理
1951
图1-1 数据管理技术在2001年前的两个发展阶段
1956 1961 1970 1991
2001年后，互联网迅速发展，数据量成倍递增。据统计，目前，超过150亿个设备连接到互
联网，全球每秒钟发送290万封电子邮件，每天有2.88万小时视频上传到YouTube网站，Facebook
网站每日评论达32亿条，每天上传照片近3亿张，每月处理数据总量约130万TB。2016年全球
产生数据量16.1ZB，预计2020年将增长到35ZB（1ZB = 1百万，PB = 10亿TB），如图1-2所示。
IDC报告“Data Universe Study”
预测：全世界数据量将从2009
年的0.8ZB增长到2020年的
35ZB，增长44倍！年均增
长率>40%！
0.8ZB：将一堆
DVD堆起来够
地球到月亮一
个来回
35ZB：将一堆DVD
堆起来是地球到火
星距离的一半
图1-2 IDC数据量增长预测报告
2011年5月，EMC World 2011大会主题是“云计算相遇大数据”，会议除了聚焦EMC公司
一直倡导的云计算概念外，还抛出了“大数据”（BigData）的概念。2011年6月底，IBM、麦肯
锡等众多国外机构发布“大数据”相关研究报告，并予以积极的跟进。
2
版权声明：本文标题：01第一章 初识Hadoop大数据技术 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://roclinux.cn/b/1710899067a578603.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论