[hadoop] Hadoop Install
Download and hadoop building
$ cd /usr/local/
$ wget http://ftp.apache-kr.org/lucene/hadoop/hadoop-$version.tar.gz
$ tar zxvf hadoop-$version.tar.gz
$ cd hadoop-$version
$ ant package
hadoop-env.sh 편집
$ vi ./conf/hadoop-env.sh
아래와 같이 JAVA_HOME 경로, slaves 설정 파일 경로를 편집합니다. HADOOP_HOME은 실제로 hadoop이 설치된 경로를 설정합니다. 아래의 경우에는 /home/nutch로 가정했습니다.
export JAVA_HOME=/usr/java/jdk_$version
export HADOOP_HOME=/home/nutch
export HADOOP_SLAVES=${HADOOP_HOME}/conf/slaves
export HADOOP_LOG_DIR=${HADOOP_HOME}/logs
hadoop-site.xml 편집
$ vi conf/hadoop-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>마스터서버:9000</value>
<description>
The name of the default file system. Either the literal string
“local” or a host:port for NDFS.
</description>
</property>
<property>
<name>mapred.job.tracker</name>
<value>마스터서버:9001</value>
<description>
The host and port that the MapReduce job tracker runs at. If
“local”, then jobs are run in-process as a single map and
reduce task.
</description>
</property>
<property>
<name>mapred.map.tasks</name>
<value>2</value>
<description>
define mapred.map tasks to be number of slave hosts
</description>
</property>
<property>
<name>mapred.reduce.tasks</name>
<value>2</value>
<description>
define mapred.reduce tasks to be number of slave hosts
</description>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/nutch/filesystem/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/nutch/filesystem/data</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/home/nutch/filesystem/mapreduce/system</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/nutch/filesystem/mapreduce/local</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
master node
$ vi /etc/sysconfig/iptables
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 9000 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 9001 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50010 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50030 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50040 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50050 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50060 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50070 -j ACCEPT
$ /etc/init.d/iptables restart
slave node
$ vi /etc/sysconfig/iptables
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50010 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50040 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50050 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50060 -j ACCEPT
$ /etc/init.d/iptables restart
ssh key 생성
ssh key를 scp를 이용해 각 slave 노드로 복사 (먼저 복사될 파일 시스템이 각 slave노드에 존재해야 한다.
$ scp ~/.ssh/authorized_keys who@server2:~/.ssh/authorized_keys
! 인증키가 없을 경우(~/.ssh/authorized_keys 파일이 없을 경우)
ssh-keygen으로 공개키를 만들면 된다(버전마다 다를 수 있으며 아래는 한 예임)
$ ssh-keygen -t rsa $ cp rsa.pub authorized_keys
! scp 설치시 no route to host라고 나오는 경우: 방화벽 때문에 안되는 것임
임시로 방화벽을 무력화하고 복사할 수 있다.
$ /etc/init.d/iptables stop
설정 파일 편집
master node의 slaves 파일 편집. 한줄에 노드이름 하나씩
$ cd /home/nutch/search/conf
$ vi slaves
slave노드(IP가능)
hadoop-site.xml 파일 편집. mapred.map.tasks, mapred.reduce.tasks 두 가지 항목은 각 slave 노드에서도 수정해 줘야 함
ser1> vi hadoop-site.xml
mapred.map.tasks : 4
mapred.reduce.tasks : 2
dfs.replication : 2
Namenode 포맷
먼저 master 와 모든 slave노드에 hadoop-site.xml 파일에서 설정한 dir 를 생성해 놓아야 한다.(위의 설정에서는 /home/nutch/filesystem/ )
실행 전에 conf/hadoop-env.sh가 실행되면서 $JAVA_HOME등의 값이 변하므로 Java 디렉토리가 맞지 않아서 실행이 안되면, /etc/profile말고, hadoop/conf/hadoop-env.sh에서 수정해야 함
$ ./bin/hadoop namenode -format
데몬 실행
$ ./bin/start-all.sh
마스터와 슬레이브의 모든 데몬을 한꺼번에 실행
master-slave config test
$ ./bin/slaves.sh uptime
실행 후 콘솔 창에 각 노드의 데몬이 잘 올라왔는지 보고 각 서버의 로그 확인
관련링크 :
http://lucene.apache.org/hadoop/docs/current/quickstart.html
http://www.hadoop.co.kr/
http://www.joinc.co.kr/modules/moniwiki/wiki.php/JCvs/Search/Document/nutch/Hadoop
