admin 管理员组文章数量: 1086019
2024年6月12日发(作者：z型檩条开孔器)
什么是大数据开发？简单说明大数据相关
大数据作为时下火热的IT行业的词汇，随之而来的数据开发、数
据仓库、数据平安、数据分析、数据挖掘等等围绕大数据的商业价值
的利用渐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来
临，大数据开发也应运而生。
什么是大数据开发
大数据开发其实分两种，第一类是编写一些Hadoop、Spark的应用
程序，其次类是对大数据处理系统本身进行开发。第一类工作感觉更
适用于data analyst这种职位吧，而且现在Hive Spark-SQL这种系统也
供应SQL的接口。其次类工作的话通常才大公司里才有，一般他们都
会搞自己的系统或者再对开源的做些二次开发。这种工作的话对理论
和实践要求的都更深一些，也更有技术含量。
大数据相关技术
1、技术类别
一是大数据平台本身，一般是基于某些Hadoop产品如CDH的产品
部署后供应服务。部署的产品里面有许多的组件，如HIVE、HBASE、
SPARK、ZOOKEEPER等。
二是ETL，即数据抽取过程，大数据平台中的原始数据一般是来源
于公司内的其它业务系统，如银行里面的信贷、核心等，这些业务系
统的数据每天会从业务系统抽取到大数据平台中，然后进行一系列的
标准化、清理等操作，再然后经过一些建模生成一些模型给下游系统
1
使用。
三是数据分析，在数据收集完成后基于这些数据要做一些什么样的
处理，典型的如报表应用，那每天可能就是写SQL开发报表了;还有
一些如风险监测等平台，都要基于大数据平台收集的数据来进行处理。
2、详细技术
(1)Java编程
Java语言是基础，可以编写Web应用、桌面应用、分布式系统、
嵌入式系统应用等。Java语言有许多优点，它的跨平台力量赢得了许
多工程师的宠爱。
(2)Linux基础操作命令
大数据开发一般在Linux环境下进行。大数据工程师使用的命令主
要在三方面：查看进程，包括CPU、内存;排查故障，定位问题;排解
系统慢的缘由等。
(3)Hadoop
Hadoop中使用最多的是HDFS集群和MapReduce框架。HDFS存储
数据，并优化存取过程。
MapReduce便利了工程师编写应用程序。
(4)HBase
HBase可以随机、实时读写大数据，更适合于非结构化数据存储，
核心是分布式的、面对列的Apache HBase数据库。HBase作为Hadoop
的数据看，它的应用、架构和高级用法对大数据开发来说特别重要。
(5)Hive
2
Hive作为Hadoop的一个数据仓库工具，便利了数据汇总和统计分
析。
(6)ZooKeeper
ZooKeeper是Hadoop和Hbase的重要组件，可以协调为分布式应
用程序。ZooKeeper的功能主要有：配置维护、域名服务、分布式同
步、组件服务。
(7)Phoenix
Phoenix是一种开源的sql引擎，是用Java语言编写的。
(8)Avro与Protobuf
Avro、Protobuf是适合做数据存储的数据序列化系统，有较丰富的
数据结构类型，可以在多种不同的语言间进行通信。
(9)Cassandra
Apache Cassandra是运行在服务器或者云基础设施上的可以为数据
供应完善平台的数据库，具有高性能、可扩展性、高线性。
Cassandra支持数据中心间相互复制，低延迟、不受断电影响。它
的数据模型有列索引、高性能视图和内置缓存。
(10)Kafka
Kafka可以通过集群来供应实时的消息的分布式发布订阅消息系统，
具有很高的吞吐量，主要是利用Hadoop的并行加载来统一线上、离
线的消息处理。
(11)Spark
Spark是专为大规模数据处理而设计的快速通用的计算引擎，其供
3
应了一个全面、统一的框架用于管理各种不同性质的数据集和数据源
的大数据处理的需求，大数据开发需把握Spark基础、SparkJob、Spark
RDD、spark job部署与资源安排、Spark shuffle、Spark内存管理、Spark
广播变量、Spark SQL、Spark Streaming以及Spark ML等相关学问。
(12)Flume
Flume是海量日志处理系统，具有高可用、高牢靠、分布式的特点，
可以对日志进行采集、聚合和传输。Flume可以定制数据发送方来收
集数据，也可以对数据简洁处理后写到数据接收方。
4
版权声明：本文标题：什么是大数据开发?简单说明大数据相关 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://roclinux.cn/b/1718152272a717605.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论