0 引入
以前Hadoop版本中,NameNode是HDFS集群的单点故障(single point of failure,SPoF),SPoF指系统中这个部件失效或停止运转将会导致整个系统不能工作。而这在下面两种情况出现:
(1) 意外事件如机器crash,集群直到重启NameNode操作执行后才可用;
(2) 计划维修事件,如NameNode上的软硬件升级会导致NameNode一段宕机时间。
HDFS HA提供在一个集群中配置两台冗余NN来解决上述问题,是一种双机热备。这可以在NN崩溃时快速的故障恢复,同时在自发管理的计划维修时快速失效备援。当前hadoop版本是hadoop-0.23.0-cdh4b1
HA主要机制是:两个单独机器运行NN,在所有时刻只有一台出于active状态,而另外一台出于standby状态。active NN负责客户端对集群的所有操作,而Standby NN作为从设备只是保存足够的状态来进行快速的故障恢复。
HA总体流程图
Block location: 为了快速failover,standby NN必须知道这个的相关信息。为了达到此目的,所有DN上都配置了此两个NN,并且发送block location和heartbeat到两个NN上。
至关重要的一点:只有一个Active NN.两个NN都是active即所谓脑裂情景(split-brain scenario),因此管理员必须设置一个对共享存储的fencing method(绝缘方法),当不能确定前Active NN不会自己重新变成active时,需要切断其对共享存储的访问权限,如此便能使新active NN安全的故障恢复。
standby NN也执行namespace的状态检查,因此HA集群不需要运行Secondary NN, Checkpoint Node, Backup Node。
下面是详细的配置安装,请参见CDH4_High_Availability_Guide_b1.pdf。cloudera 官网有http://www.cloudera.com/.或者在我资源里下载看(免费):http://download.csdn.net/detail/liuxingjiaofu/4238395
1 软硬件配置
1.1硬件配置
(1)NN机器,两台配置相同的机器来运行active和 standby NN, 并且这两台机器的配置和用non-HA集群时 NN的配置相同。
(2)两个NN都有读写权限的共享存储:多路径到存储,自身的冗余(disk, network, power)。鉴于上面这些,推荐共享存储服务器用高级专用的网络连接式存储(NAS)设备,而非简单的LinuxServer。
1.2 软件配置
NamesService ID
NameNode ID
2 HA部署
3 HA管理
更多信息请查看 java进阶网 http://www.javady.com
分享到:
相关推荐
CDH HA部署
CDH4的高可用性HA,即双NameNode,一个为active,一个为standby。 原理介绍及安装配置操作详细说明。
之前一直在网上找社区版hadoop的配置,发现CDH安装直接界面搞定,自动生成配置。供检查学习。
4 HDFS启用HA高可用性(基于Quorum-based Storage) 16 5.CDH安装使用lzo 22 5.1 hadoop_lzo安装 22 5.2 配置MapReduce: 23 5.3相关服务重启 25 6.安装Storm 25 7.附录. 25 7.1 CDH安装部署问题记录 25
HDFS 读写性能测试
熟练掌握HDFS的Java API接口访问
8.2 CDH4B1版本HDFS集群配置 8.2.1 虚拟机安装 8.2.2 nn1配置 8.2.3 dn1~dn3配置 8.2.4 HDFS集群构建 8.3 HA NameNode配置 8.3.1 nn1配置 8.3.2 其他节点配置 8.4 HA NameNode使用 8.4.1 启动HA HDFS集群 8.4.2 第1...
HBase is one of Hadoop core components, included in CDH parcel already. HDFS and
14、HDFS 透明加密KMS 网址:https://blog.csdn.net/chenwewi520feng/article/details/130429278 本文旨在简单介绍hdfs的透明加密作用及其使用。 前提依赖:hadoop环境部署好且可用。部署文章可参考本专栏相关文章。...
sqoop-1.2.0-CDH3B4.tar.gz可以解压后,配置configure-sqoop文件后,可以实现从关系型数据库中导入数据文件等功能
基于linux。android软件平台qualcomm硬件平台中WIFI开发总结。
CDH目前不带flink组件,文档为Flink在CDH集群上的配置部署及读取kafka的实例验证;
CDH5.9.0集群的节点删除,步骤详细,并附有步骤的截图。
presto-hadoop-cdh4.zip,CDH4 Hadoop for Presto的阴影版本CDH4 Hadoop for Presto的阴影版本
ha 方式安装 cdh4,hbase,补充原文档的内容
CDH6.3.2完整安装包网盘下载,包含 CDH-6.3.2-1.cdh6.3.2.p0.1605554-bionic.parcel、CDH-6.3.2-1.cdh6.3.2.p0.1605554-bionic.parcel.sha1、CDH-6.3.2-1.cdh6.3.2.p0.1605554-bionic.parcel.sha256、CDH-6.3.2-1....
cloudera公司的CDH4版本hadoop安装说明
由于CSDN上传文件大小限制,大家可以下载《CDH6.3.2下载.txt》获取网盘地址进行下载,我打包了CDH6.3.2 搭建所需要的各种安装文件,包括: manifest.json cloudera-manager.repo RPM-GPG-KEY-cloudera cm6.3.1-...
CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel.sha1 CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel.sha256 manifest.json cm7.4.7包括: cloudera-manager-agent-7.4.4-15850731.el7.x86_64.rpm cloudera-manager-...
因为CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel命令生成的CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1文件hash不匹配,自己找到官网上的parcel.sha1文件解决了这个问题,共享给大家