本田aux是什么建 本田audioapps使用教程
Hadoop3已经发布很久了，迭代集成的一些新特性也是很有用的。接下来，笔者先为大家分享一下Hadoop3.2安装笔记
Hadoop大数据分布式存储计算人工智能
准备工作
本次使用虚拟机服务器来搭建开源版Hadoop3集群，所用软件及版本如下所示：
Vmware12.0
Centos7.6
JDK1.8
Hadoop3.2.1
Vmware虚拟环境
采用NAT方式联网
网关地址：192.168.80.1
3个服务器节点IP地址：
mini1192.168.80.81
mini2192.168.80.82
mini3192.168.80.83
子网掩码：255.255.255.0
主机及集群角色规划
mini1NameNodeDataNodeResourceManagerNodeManager
mini2SecondaryNameNodeDataNodeNodeManager
mini3DataNodeNodeManager
具体安装步骤如下：一，linux系统环境准备
以下[1-7]步操作，所有节点【mini1,mini2,mini3】都需要进行设置，具体操作如下：
1，依次更改【mini1,mini2,mini3】主机名:
vi/etc/hostname
2，配置网络
2.1命令：vi/etc/sysconfig/network-scripts/ifcfg-ens33
如下配置：
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.80.81
GATEWAY=192.168.80.1
NETMASK=255.255.255.0
DNS1=114.114.114.114
2.2重启网卡命令:systemctlrestartnetwork
2.3配置Ip与主机名映射，命令：vi/etc/hosts
192.168.80.81mini1
192.168.80.82mini2
192.168.80.83mini3
3，关闭防火墙
systemctlstopfirewalld(临时关闭防火墙)
systemctldisablefirewalld(禁止firewall开机启动)
systemctlstatusfirewalld(查看防火墙状态)
4，禁用Selinux(安全权限管理模块)
vi/etc/sysconfig/selinux
SELINUX=disabled
5，设置将/proc/sys/vm/swappiness设置为0(修改swap空间的swappiness，降低对硬盘的缓存)
执行以下输入：
echo"vm.swappiness=0">>/etc/sysctl.conf(永久降低虚拟内存需求率)
sysctl-p(并运行如下命令使生效)
6，修改时区：timedatectlset-timezoneAsia/Shanghai
7，配置免密登录
******配置主机之间的免密ssh登陆******
假如mini1要登陆mini2,mini3
在mini1上操作：
首先生成密钥对，命令如下：
ssh-keygen(提示时，直接回车即可)
将生产的秘钥copy到【mini1,mini2,mini3】上，命令如下
ssh-copy-idmini1
ssh-copy-idmini2
ssh-copy-idmini3
二，集群时间同步
【mini1】作为时间同步服务器,【mini2,mini3】同步【mini1】的时间，具体操作如下：
1，禁用【mini1,mini2,mini3】chrony时间同步服务(centos7操作系统默认使用chrony)
systemctlstopchronyd
systemctldisablechronyd
2，在【mini1,mini2,mini3】上执行命令：yuminstall-yntp安装时间同步服务
3，在Server【mini1】上执行命令：vi/etc/ntp.conf
添加以下内容：
restrict192.168.80.0mask255.255.255.0nomodifynotrap
server127.127.1.0
fudge127.127.1.0stratum10
同时注释掉这几个配置
#server0.centos.pool.ntp.orgiburst
#server1.centos.pool.ntp.orgiburst
#server2.centos.pool.ntp.orgiburst
#server3.centos.pool.ntp.orgiburst
4，在Server【mini1】上执行启动ntpd服务命令
systemctlstartntpd(启动ntpd服务)
systemctlstatusntpd(查看ntpd服务状态)
systemctlenablentpd(将ntpd服务加入开机启动)
systemctllist-unit-files|grepntpd(查看是否将ntpd服务加入到开机启动项)
5，在客户端【mini2,mini3】配置同步:crontab-e
*/1****/usr/sbin/ntpdatemini1;/sbin/hwclock-w
三，安装JDK
1.上传jdk安装包
2.安装目录:/opt/apps/
3.解压jdk到安装目录:tar-zvxfjdk-8u101-linux-x64.tar.gz-C/opt/apps/
4.在安装目录中建立jdk软链接，指向jdk所在目录：ln-sjdk1.8.0_101jdk
5.配置环境变量,编辑vi/etc/profile文件,在最后一行加入以下两行：
exportJAVA_HOME=/opt/apps/jdk
exportPATH=$PATH:$JAVA_HOME/bin
6.修改完成后，执行命令:source/etc/profile使配置生效
7.检验：在任意目录下输入命令：java-version看是否成功执行
8.将安装好的jdk目录用scp命令拷贝到其他机器
9.将/etc/profile配置文件也用scp命令拷贝到其他机器并分别执行source命令
四，安装Hadoop
1.上传Hadoop安装包：hadoop-3.2.1.tar.gz
2.解压安装包：tar-zvxfhadoop-3.2.1.tar.gz-C/opt/apps/
3.在安装目录中建立hadoop软链接，指向hadoop解压目录：ln-shadoop-3.2.1hadoop
4.修改配置文件：cd/opt/apps/hadoop/etc/hadoop
4.1配置hadoop-env.sh文件
exportJAVA_HOME=/opt/apps/jdk
4.2配置core-site.xml文件
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://mini1:9000</value>
</property>
</configuration>
4.3配置hdfs-site.xml文件
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/apps/hadoop/hadoopdata/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/apps/hadoop/hadoopdata/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>mini2:50090</value>
</property>
</configuration>
4.4配置mapred-site.xml文件
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4.5配置yarn-site.xml文件
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>mini1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
4.6配置workers文件
mini1
mini2
mini3
5.拷贝整个hadoop安装目录到其他机器
scp-r/opt/apps/hadoop-3.2.1mini2:/opt/apps/
scp-r/opt/apps/hadoop-3.2.1mini3:/opt/apps/
6.要运行hadoop的命令，需要在linux环境中配置HADOOP_HOME和PATH环境变量
配置Hadoop环境变量：vi/etc/profile
exportJAVA_HOME=/opt/apps/jdk
exportHADOOP_HOME=/opt/apps/hadoop
exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
7.将/etc/profile配置文件也用scp命令拷贝到其他机器并分别执行source命令
五，启动HDFS集群
1.首先初始化namenode的元数据目录。
命令：hdfsnamenode-format(mini1上执行)
创建一个全新的元数据存储目录
生成记录元数据的文件fsimage
生成集群的相关标识：如：集群id——clusterID
2.启动namenode进程
命令：hdfs--daemonstartnamenode(mini1上执行)
4.启动datanode(mini1,mini2,mini3上执行)
命令：hdfs--daemonstartdatanode
5.重要提示：可以在主节点全部启动或停止关于HDFS相关角色(主节点mini1上执行)
将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数
#!/usr/bin/envbash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
全部启动命令：start-dfs.sh全部停止命令：stop-dfs.sh
6.启动后浏览HDFSweb界面：http://mini1:9870/
六，启动YARN集群
1.启动resourcemanager进程(主节点mini1上执行)
命令：yarn--daemonstartresourcemanager
2.启动nodemanager进程(mini1,mini2,mini3上执行)
命令：yarn--daemonstartnodemanager
3.重要提示：可以在主节点全部启动或停止关于HDFS相关角色(主节点mini1上执行)：
将start-yarn.sh，stop-yarn.sh两个文件顶部需添加以下：
#!/usr/bin/envbash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
全部启动命令：start-yarn.sh全部停止命令：stop-yarn.sh
4.启动后浏览YARN集群web界面：http://mini1:8088/
大数据视频教程HadoopSparkHive刀客程序员云计算人工智能
clouderaCDH6.3云计算大数据hadoopsparkhive分布式存储
