admin 管理员组

文章数量: 1086019


2024年3月19日发(作者：手机arduino编程软件)

尚硅谷大数据技术之HBase

—————————————————————————————

第1章 HBase简介

1.1 什么是HBase

HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE

技术可在廉价PC Server上搭建起大规模结构化存储集群。

HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就

能够处理由成千上万的行和列所组成的大型数据。

HBASE是Google Bigtable的开源实现，但是也有很多不同之处。比如：Google Bigtable

利用GFS作为其文件存储系统，HBASE利用Hadoop HDFS作为其文件存储系统；Google

运行MAPREDUCE来处理Bigtable中的海量数据，HBASE同样利用Hadoop MapReduce来

处理HBASE中的海量数据；Google Bigtable利用Chubby作为协同服务，HBASE利用

Zookeeper作为对应。

1.2 HBase中的角色

1.2.1 HMaster

功能：

1) 监控RegionServer

2) 处理RegionServer故障转移

3) 处理元数据的变更

4) 处理region的分配或移除

5) 在空闲时间进行数据的负载均衡

6) 通过Zookeeper发布自己的位置给客户端

1.2.2 RegionServer

功能：

1) 负责存储HBase的实际数据

2) 处理分配给它的Region

3) 刷新缓存到HDFS

4) 维护HLog

5) 执行压缩

更多Java –大数据 –前端 –python人工智能资料下载，可百度访问：尚硅谷官网

尚硅谷大数据技术之HBase

—————————————————————————————

6) 负责处理Region分片

1.2.3 其他组件：

1) Write-Ahead logs

HBase的修改记录，当对HBase读写数据的时候，数据不是直接写进磁盘，它会在内存中

保留一段时间（时间以及数据量阈值可以设定）。但把数据保存在内存中可能有更高的概率

引起数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，

然后再写入内存中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。

2) HFile

这是在磁盘上保存原始数据的实际的物理文件，是实际的存储文件。

3) Store

HFile存储在Store中，一个Store对应HBase表中的一个列族。

4) MemStore

顾名思义，就是内存存储，位于内存中，用来保存当前的数据操作，所以当数据保存在WAL

中之后，RegsionServer会在内存中存储键值对。

5) Region

Hbase表的分片，HBase表会根据RowKey值被切分成不同的region存储在RegionServer中，

在一个RegionServer中可以有多个不同的region。

1.3 HBase架构

更多Java –大数据 –前端 –python人工智能资料下载，可百度访问：尚硅谷官网

尚硅谷大数据技术之HBase

—————————————————————————————

HBase架构图

更多Java –大数据 –前端 –python人工智能资料下载，可百度访问：尚硅谷官网


本文标签： 数据 处理 内存 利用 保存

版权声明：本文标题：01_尚硅谷大数据之HBase简介 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://roclinux.cn/b/1710817073a574596.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。