|
|
51CTO旗下网站
|
|
移动端

HBase完全分布式集群部署

HBase是一个分布式的、面向列的开源数据库,它不同于一般的关系数据库,是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

作者:Anson_前行来源:马哥Linux运维|2020-09-08 13:25

1.简介

HBase是一个分布式的、面向列的开源数据库,它不同于一般的关系数据库,是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。HBase使用和 BigTable非常相同的数据模型。用户存储数据行在一个表里。一个数据行拥有一个可选择的键和任意数量的列,一个或多个列组成一个ColumnFamily,一个Fmaily下的列位于一个HFile中,易于缓存数据。表是疏松的存储的,因此用户可以给行定义各种不同的列。在HBase中数据按主键排序,同时表按主键划分为多个Region。

在分布式的生产环境中,HBase 需要运行在 HDFS 之上,以 HDFS 作为其基础的存储设施。HBase 上层提供了访问的数据的 Java API 层,供应用访问存储在 HBase 的数据。在 HBase 的集群中主要由 Master 和 Region Server 组成,以及 Zookeeper,具体模块如下图所示:

简单介绍一下 HBase 中相关模块的作用:

Master

HBase Master用于协调多个Region Server,侦测各个RegionServer之间的状态,并平衡RegionServer之间的负载。HBaseMaster还有一个职责就是负责分配Region给RegionServer。HBase允许多个Master节点共存,但是这需要Zookeeper的帮助。不过当多个Master节点共存时,只有一个Master是提供服务的,其他的Master节点处于待命的状态。当正在工作的Master节点宕机时,其他的Master则会接管HBase的集群。

Region Server

对于一个RegionServer而言,其包括了多个Region。RegionServer的作用只是管理表格,以及实现读写操作。Client直接连接RegionServer,并通信获取HBase中的数据。对于Region而言,则是真实存放HBase数据的地方,也就说Region是HBase可用性和分布式的基本单位。如果当一个表格很大,并由多个CF组成时,那么表的数据将存放在多个Region之间,并且在每个Region中会关联多个存储的单元(Store)。

Zookeeper

对于 HBase 而言,Zookeeper的作用是至关重要的。首先Zookeeper是作为HBase Master的HA解决方案。也就是说,是Zookeeper保证了至少有一个HBase Master 处于运行状态。并且Zookeeper负责Region和Region Server的注册。其实Zookeeper发展到目前为止,已经成为了分布式大数据框架中容错性的标准框架。不光是HBase,几乎所有的分布式大数据相关的开源框架,都依赖于Zookeeper实现HA。

HBase集群建立在hadoop集群基础之上,所以在搭建HBase集群之前需要把Hadoop集群搭建起来,并且要考虑二者的兼容性。

2.环境准备

(1)各服务器其修改主机名,添加hosts文件,关闭防火墙

  1. [root@c7001 ~]#  cat >> /etc/hosts  << EOF  
  2. 192.168.16.135  c7001  
  3. 192.168.16.80   c7002  
  4. 192.168.16.95   c7003  
  5. 192.168.16.97   c7004  
  6. 192.168.16.101  c7005  
  7. EOF 

(2)c7001配置ssh免密登陆,用于启动集群

  1. ssh-keygen    -t rsa   
  2. sh-copy-id   -i ~/.ssh/id_rsa.pub  c7001  
  3. ssh-copy-id  -i ~/.ssh/id_rsa.pub  c7002   
  4. ssh-copy-id  -i ~/.ssh/id_rsa.pub  c7003  
  5. ssh-copy-id  -i ~/.ssh/id_rsa.pub  c7004  
  6. ssh-copy-id  -i ~/.ssh/id_rsa.pub  c7005 

(3) 各服务器配置jdk1.7+

  1. [root@c7001 ~]# tar zxf jdk-8u171-linux-x64.tar.gz -C  /opt/  
  2. [root@c7001 opt]# mv jdk1.8.0_171/  jdk1.8  
  3. [root@c7001 opt]# vim /etc/profile  
  4. export JAVA_HOME=/opt/jdk1.8  
  5. export PATH=$PATH:$JAVA_HOME/bin  
  6. [root@c7001 ~] source  /etc/profile  
  7. [root@c7001 opt]# java -version  
  8. java version "1.8.0_171 

3.安装hbase

  1. c7003 c7004 c7005  
  2. [root@c7003 opt]# tar zxf /usr/src/hbase-1.3.0-bin.tar.gz   -C /opt/ 

修改配置文件

  1. [root@c7003 hbase-1.3.0]# vim conf/hbase-env.sh   
  2. #修改jdk变量  
  3. JAVA_HOME=export JAVA_HOME=/opt/jdk1.8.0_121  
  4. #关闭HBase自带的Zookeeper,使用Zookeeper集群:  
  5. export  HBASE_MANAGES_ZK=false 

编辑hbase-site.xml ,添加配置文件:

  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3. <configuration>  
  4.   <property>   
  5.     <name>hbase.rootdir</name>   
  6.     <value>hdfs://c7001:9000/hbase</value>   
  7.   </property>   
  8.   <property>   
  9.     <name>hbase.cluster.distributed</name>   
  10.     <value>true</value>   
  11.   </property>   
  12.   <property>   
  13.     <name>hbase.zookeeper.quorum</name>   
  14.     <value>c7003,c7004,c7005</value>   
  15.   </property>   
  16.   <property>   
  17.     <name>hbase.zookeeper.property.dataDir</name>   
  18.     <value>/opt/hbase-1.3.0/tmp/zk/data</value>   
  19.   </property>  
  20. </configuration>  
  21. vi   regionservers  
  22. #加入如下内容:  
  23. c7004  
  24. c7005 

把Hbase复制到其他机器

  1. [root@c7003 opt]$ scp -r hbase-1.3.0 root@c7004:/opt/  
  2. [root@c7003 opt]$ scp -r hbase-1.3.0 root@c7005:/opt/ 

启动集群

  1. [root@c7003 hbase-1.3.0]$ bin/start-hbase.sh  

web访问 ip:16010

各节点进程(The picture is replicating)

【编辑推荐】

  1. 报表自动化就是连接数据库?错,它打开了数据仓库的大门
  2. 程序员修神之路--略懂数据库集群读写分离而已
  3. 手把手教你如何进行业务系统数据库技术选型
  4. “云+数据库”铺就数智转型之路
  5. 开源Graviton数据库,号称“用于键值存储的ZFS”
【责任编辑:庞桂玉 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

数据中心和VPDN网络建设案例

数据中心和VPDN网络建设案例

漫画+案例
共20章 | 捷哥CCIE

159人订阅学习

搭建数据中心实验Lab

搭建数据中心实验Lab

实验平台Datacenter
共5章 | ITGO(老曾)

95人订阅学习

大数据安全运维实战

大数据安全运维实战

CDH+Ambari
共20章 | 大数据陈浩

91人订阅学习

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微