빅데이터 구성에서 분석까지 - ssh key 설치

Big Data Ecosystem & Analysis - Setup SSH KEY

Hadoop 서버는 1대로 설치가 가능하지만 보통은 3대 이상으로 구성을 한다. 이렇게 함으로써 HDFS의 특성중의 하나인 서비스의 Availablility를 높일 수 있다. 그리고 Hadoop은 Scale Out 방식으로 시스템을 확장할 수 있기에 실 운영시 많은 서버들이 연결된다.
이렇게 연결된 서버는 Name Node 역할, Data Node 역할, Yarn 지원, 그리고 Hadoop Ecosystem 간의 다양한 프로세스간 통신이 이루어 져야 하는데 이를 ID/Password 방식으로 사용할 수는 없기에 개인Key와 공개Key를 이용한 인증방식인 SSH를 사용하게 된다.

다음은 서버에 ssh를 구성하는 방법을 설명한다.

각 서버에 ssh client와 ssh server를 설치한다.
# yum -y install openssh-server openssh-clients
그리고 각 서버에서 sshd 서비스를 시작한다.
# chkconfig sshd on
# service sshd start

한 대의 서버에서 ssh-keygen을 이용하여 public key와 private key 생성한다.
# ssh-keygen -t rsa
RSA 암호화 방식으로 생성된 파일은 ~/.ssh 폴더에 다음과 같은 파일이 만들어진다.
id_rsa
id_rsa.pub
만들어진 public key를 다른 서버에서 사용할 수 있는 파일로 만든다.
# cp id_rsa.pub authorized_keys

이렇게 만들어진 3개의 파일을 Hadoop 시스템 각 서버에 복사한다.
# scp ~/.ssh/*   user@server:~/.ssh/

동일한 Key를 갖고 있는 서버들이므로 ssh를 이용하면 ID와 Password 없이 접속이 되는 것을 확인 할 수 있다.

구성시 유의사항
   1. 서버관리 및 Hadoop 설정을 위하여 /etc/hosts 파일을 공유하거나 DNS를 설정한다.
   2. Firewall은 사용하지 않는 것으로 하였으나 실 가동시는 꼭 설정이 되어야 한다.
   3. 실 가동시는 Key관리를 위한 별도의 방안을 수립해야 한다.