Hadoop架构,学习

解读Secondary NameNode的功能

1、 概述 最近有朋友问我Secondary NameNode的作用,是不是NameNode的备份?是不是为了防止NameNode的单点问题?确实,刚接触Hadoop,从字面上看,很容易会把Secondary NameNode当作备份节点;其实,这是一个误区,我们不能从字面来理解,阅读官方文档,我们可以知道,其实并不是这么回事,下面就来赘述下Secondary NameNode的作用。 2、 Secondary NameNode? 在Hadoop中,有一些命名模块不那么尽人意,Secondary NameNode就是一个典型的例子之一。 ...

Hive-1.2.1安装配置

相关软件下载 hive-1.2.1下载 hadoop2.7.2集群配置参考:从零开始搭建Hadoop-2.7.2完全分布式部署 安装mysql 这里用mysql做元数据库 # 安装简单粗暴yum yum install mysql mysql-server 创建对应数据库和用户 create database metastore_db; grant all on metastore_ ...

配置hadoop绑定内网地址

版本:hadoop-2.7.2 hadoop默认配置的监听地址都是 0.0.0.0 ,当然最简单暴力的方法就是去每个 datanode 上去修改 *-site.xml ,但是这样每个节点都要单独配置,非常的麻烦而且容易出错,但是我们可以通过变量统一设置: 1、修改 hadoop-env.sh export BIND_OPTS="-Dlocal.bind. ...