[Naver Cloud Platform] CentOS 7.3에 Hadoop 2.8.0 설치

Naver Cloud Platform(NCP)에 Hadoop 2.8.0 설치

전 과정은 root로 진행하며, root 권한이 있는 계정을 사용해도 무관하다.

과정 요약

1. 환경 확인

2. 자바 설치

3. 하둡 설치

1. 환경 확인

>> rpm -qa *release

>> getconf LONG_BIT

Fig 1. 환경 확인 

설치하고자 하는 환경이 CentOS 7.3 64bit임을 확인

2. 자바 설치 (Oracle JDK download link)

초기 NCP 서버에는 자바가 안 깔려 있다. Oracle 자바를 설치할 것이다.

자바가 설치되어 있다면 이 과정은 넘어가면 된다.

1번에서 확인한 환경에 맞는 자바를 설치하면 된다.

우리는 CentOS 7.3 64bit 이므로 Linux x64를 선택한다. 여기선 tar.gz의 확장자로 끝나는 파일의 링크를 복사한다.

Fig 2. 환경에 맞게 자바 선택

# 서버에서 아래의 명령어 실행 wget --no-cookies --no-check-certificate --header “Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie” “http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz” # 다운 받은 파일 이동 후 압축 풀기 mv jdk-8u131-linux-x64.tar.gz /usr/local/ cd /usr/local/ gunzip jdk-8u131-linux-x64.tar.gz tar -xvf jdk-8u131-linux-x64.tar # 심볼릭 링크 설정 ln -s jdk-8u131 java

모든 계정에서 자바를 사용하기 위해 /etc/profile 설정을 변경한다.

# profile 변경 vi /etc/profile 맨 밑에 아래의 내용 추가 JAVA_HOME=/usr/local/java CLASSPATH=.:$JAVA_HOME/lib/tools.jar PATH=$PATH:$JAVA_HOME/bin; export JAVA_HOME CLASSPATH PATH # profile 적용 source /etc/profile

마지막으로 자바 버전 확인

java -version

Fig 3. 자바 버전 확인

3. 하둡 설치

하둡 버전별 자바 버전은 이 곳에서 확인할 수 있다.

하둡은 다양한 미러 사이트를 제공하는데, http://mirror.apache-kr.org/hadoop/common/hadoop-2.8.0/ 를 사용할 것이다.

# 홈 디렉터리 이동, 하둡 다운로드 cd ~ wget http://mirror.apache-kr.org/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz  # 압축 해제 tar -xvf hadoop-2.8.0.tar.gz # 압축 해제한 폴더 이동 mv hadoop-2.8.0 /usr/lib # 심볼릭 링크 설정 ln -s /usr/lib/hadoop-2.8.0/ /usr/lib/hadoop

/etc/profile에 환경 변수 등록

# 환경 변수 등록 vi /etc/profile export PATH=$PATH:/usr/lib/hadoop/bin

다시 로그인하면 하둡이 정상적으로 설치된 것을 확인할 수 있다.

Fig 4. 하둡 설치 확인

하둡의 동작 방식에는 크게 3가지가 있다.

1. Standalone mode

2. Pseudo-distributed mode

3. Fully distributed mode

모드에 따라 설정해줘야 하는 부분이 다른데, 다음 포스트에 모드별로 적어보려고 한다.