hadoops 설치 1
Hadoop 공부 #1 – 설치
Hadoop을 2대의 리눅스 서버에 설치해 보았다. 2대면 별로 효능을 기대할 수 없지만 일단 공부한다는 차원에서..
Hadoop이 무엇인지에 대해서 보다 Hadoop의 설치에 대한 간단한 정리부터 올리는 것이 이상하긴 하지만,
잊어먹기전에 먼저.. ㅡ_ㅡ;;
다음 편에서는 Hadoop의 간단한 명령어, 그리고 다음에는 Hadoop을 이용한 프로그래밍 방법, 그리고 hadoop의 내부구조를 분석할 여유가 있으면 내부구조에 대한 간단한 이야기…
마지막으로 Hadoop이 무엇인지에 대해서, 엽기적인 순서로 정리해볼까 생각중이다. ㅡ_ㅡ;;
참 무계획의 화신이다. -_-;
———————————-
hadoop url: http://hadoop.apache.org/
* 핵심 설정파일
* hadoop-env.sh : hadoop을 운용하기 위한 환경변수
* hadoop-site.xml : master node의 호스트정보와 분산디렉토리 파일시스템 정보
* slaves : data node 호스트이름
* 네트웍 환경 설정
– namenode: 192.168.131.101 gdevh01
– datanode: 192.168.131.101 gdevh01
192.168.131.102 gdevh02
* 파일 구조 설정
mkdir /hdfs
mkdir /hdfs/hadoop
mkdir /hdfs/filesystem
mkdir /hdfs/local
mkdir /hdfs/home
groupadd users
useradd -d /hdfs/home -g users hadoop
chown -R hadoop:users /hdfs
passwd hadoop
이 다음부터는 hadoop 계정으로 로긴한다.
* conf/hadoop-env.sh 설정 내용
export HADOOP_HOME=/home/yundream/workspace/nutch-nightly
export JAVA_HOME=/usr/local/java
export HADOOP_LOG_DIR=${HADOOP_HOME}/logs
export HADOOP_SLAVES=${HADOOP_HOME}/conf/slaves
* conf/hadoop-site.xml
<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>
<!– Put site-specific property overrides in this file. –>
<configuration>
<property>
<name>fs.default.name</name>
<value>gdevh01:9000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>gdevh01:9001</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hdfs/filesystem/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/hdfs/filesystem/data</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/hdfs/filesystem/mapreduce/system</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/hdfs/filesystem/mapreduce/local</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
* slaves
gdevh01
gdevh02
— 각 서버에 모두 같이 셋팅 하도록 한다.
* ssh를 통한 자동 로그인 셋팅
cd /hdfs/home
ssh-keygen -t rsa (Use empty responses for each prompt)
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /nutch/home/.ssh/id_rsa.
Your public key has been saved in /nutch/home/.ssh/id_rsa.pub.
The key fingerprint is:
a6:5c:c3:eb:18:94:0b:06:a1:a6:29:58:fa:80:0a:bc hadoop@gdevh01
cd /hdfs/home/.ssh
cp id_rsa.pub authorized_keys
scp /hdfs/home/.ssh/authorized_keys hadoop@gdevh02:/hdfs/home/.ssh/authorized_keys
ssh gdevh02 — 자동으로 로그인 됨.
* Namenode 포맷 설정
bin/hadoop namenode -format
* 시작 및 종료
시작
bin/start-all.sh
종료
bin/stop-all.sh
* 방화벽 설정
master node
$ vi /etc/sysconfig/iptables
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 9000 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 9001 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50010 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50030 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50040 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50050 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50060 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50070 -j ACCEPT
$ /etc/init.d/iptables restart
slave node
$ vi /etc/sysconfig/iptables
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50010 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50040 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50050 -j ACCEPT
#추가 2006.06.27
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50060 -j ACCEPT
$ /etc/init.d/iptables restart
