Hadoop基本环境搭建(虚拟机配置、jdk以及hadoop安装)
Hadoop环境配置
虚拟机环境
- 克隆虚拟机 
- 修改克隆虚拟机的静态IP 
- 修改主机名 
- 关闭防火墙 
- 创建普通用户(以后使用多使用普通用户,不然有些操作会很危险) 
- 配置普通用户具有root权限 
- 在/opt目录下创建文件夹 - (1)在/opt目录下创建module、software文件夹(module:存放解压缩内容;software:存放压缩包) - sudo mkdir module sudo mkdir software- (2)修改module、software文件夹的所有者 - sudo chown user:user(用户名:组名) module/ software/
JDK
- 上传jdk压缩文件到software文件夹下 
- 将jdk压缩包解压缩到module文件夹下 
 tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
- 配置jdk环境变量 - (1)进入到jdk目录下,获取jdk路径 - pwd- (2)编辑/etc/profile - vim sudo /etc/profile (若vim不可用,使用vi)- (3)载文件末尾加上java路径 - #JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin- (4)保存退出 - :wq- (5)使修改后文件生效 - source /etc/profile- (6)测试是否配置成功 - java -version (会显示 java version "1.8.0_144"... 这就说明成功了)
注:centos7之后自带了jdk,可以看下版本,版本低于1.7就要卸掉重装了。可用 which java来看下是不是我们所配置的那个路径,如果不是则说明是系统自带的
Hadoop
- 环境配置
跟jdk类似——先上传压缩包,然后解压到指定文件夹,然后编辑环境变量(载profile文件末尾加上环境变量)
hadoop环境变量配置(加在profile文件末尾):
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin- 目录结构

(1)bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
(4)sbin目录:存放启动或停止Hadoop相关服务的脚本
(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例
接下来
接下来要做的是,hadoop几种运行模式的尝试(伪分布式模式以及完全分布式模式)
 
                     
                     
                 
                        
                        