一、Hadoop集群简介

Hadoop集群整体概述

Hadoop集群包括两个集群： HDFS集群、YARN集群两个集群逻辑上分离、通常物理上在一起两个集群都是标准的主从架构集群

Hadoop集群简介

Hadoop集群=HDFS集群 YARN集群

逻辑上分离

两个集群互相之间没有依赖、互不影响

物理上在一起

某些角色进程往往部署在同一台物理服务器上

MapReduce集群呢？

MapReduce是计算框架、代码层面的组件没有集群之说

二、Hadoop集群模式安装(Cluster mode)

Hadoop源码编译

安装包、源码包下载地址

https://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/

为什么要重新编译Hadoop源码?

匹配不同操作系统本地库环境， Hadoop某些操作比如压缩、 IO需要调用系统本地库(*.so|*.dll)修改源码、重构源码。

如何编译Hadoop

源码包根目录下文件： BUILDING.txt 详细步骤参考附件资料

课程提供编译好的Hadoop安装包

hadoop-3.3.0-Centos7-64-with-snappy.tar.gz

角色规划的准则

根据软件工作特性和服务器硬件资源情况合理分配

比如依赖内存工作的NameNode是不是部署在大内存机器上？

角色规划注意事项

资源上有抢夺冲突的，尽量不要部署在一起

工作上需要互相配合的。尽量部署在一起

主机名(3台机器)

vim /etc/hostname

Hosts映射(3台机器)

vim /etc/hosts

防火墙关闭(3台机器)

systemctl stop firewalld.service 关闭防火墙systemctl disable firewalld.service 禁止防火墙开启自启

ssh免密登录(node1执行-