hadoops 설치 1

Hadoop 공부 #1 – 설치

Hadoop을 2대의 리눅스 서버에 설치해 보았다. 2대면 별로 효능을 기대할 수 없지만 일단 공부한다는 차원에서..

Hadoop이 무엇인지에 대해서 보다 Hadoop의 설치에 대한 간단한 정리부터 올리는 것이 이상하긴 하지만,

잊어먹기전에 먼저.. ㅡ_ㅡ;;

다음 편에서는 Hadoop의 간단한 명령어, 그리고 다음에는 Hadoop을 이용한 프로그래밍 방법, 그리고 hadoop의 내부구조를 분석할 여유가 있으면 내부구조에 대한 간단한 이야기…

마지막으로 Hadoop이 무엇인지에 대해서, 엽기적인 순서로 정리해볼까 생각중이다. ㅡ_ㅡ;;

참 무계획의 화신이다. -_-;

———————————-

hadoop url: http://hadoop.apache.org/

* 핵심 설정파일

    * hadoop-env.sh : hadoop을 운용하기 위한 환경변수

    * hadoop-site.xml : master node의 호스트정보와 분산디렉토리 파일시스템 정보

    * slaves : data node 호스트이름

* 네트웍 환경 설정

– namenode: 192.168.131.101       gdevh01

– datanode: 192.168.131.101       gdevh01

            192.168.131.102        gdevh02

            

* 파일 구조 설정

mkdir /hdfs

mkdir /hdfs/hadoop

mkdir /hdfs/filesystem

mkdir /hdfs/local

mkdir /hdfs/home

groupadd users

useradd -d /hdfs/home -g users hadoop

chown -R hadoop:users /hdfs

passwd hadoop

이 다음부터는 hadoop 계정으로 로긴한다.

* conf/hadoop-env.sh 설정 내용

export HADOOP_HOME=/home/yundream/workspace/nutch-nightly

export JAVA_HOME=/usr/local/java

export HADOOP_LOG_DIR=${HADOOP_HOME}/logs

export HADOOP_SLAVES=${HADOOP_HOME}/conf/slaves

* conf/hadoop-site.xml

<?xml version=”1.0″?>

<?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>

<!– Put site-specific property overrides in this file. –>

<configuration>

<property>

        <name>fs.default.name</name>

        <value>gdevh01:9000</value>

</property>

<property>

        <name>mapred.job.tracker</name>

        <value>gdevh01:9001</value>

</property>

<property>

        <name>dfs.name.dir</name>

        <value>/hdfs/filesystem/name</value>

</property>

<property>

        <name>dfs.data.dir</name>

        <value>/hdfs/filesystem/data</value>

</property>

<property>

        <name>mapred.system.dir</name>

        <value>/hdfs/filesystem/mapreduce/system</value>

</property>

<property>

        <name>mapred.local.dir</name>

        <value>/hdfs/filesystem/mapreduce/local</value>

</property>

<property>

        <name>dfs.replication</name>

        <value>1</value>

</property>

</configuration>

* slaves

gdevh01

gdevh02

— 각 서버에 모두 같이 셋팅 하도록 한다.

* ssh를 통한 자동 로그인 셋팅

cd /hdfs/home

ssh-keygen -t rsa (Use empty responses for each prompt)

  Enter passphrase (empty for no passphrase):

  Enter same passphrase again:

  Your identification has been saved in /nutch/home/.ssh/id_rsa.

  Your public key has been saved in /nutch/home/.ssh/id_rsa.pub.

  The key fingerprint is:

  a6:5c:c3:eb:18:94:0b:06:a1:a6:29:58:fa:80:0a:bc hadoop@gdevh01

cd /hdfs/home/.ssh

cp id_rsa.pub authorized_keys

scp /hdfs/home/.ssh/authorized_keys hadoop@gdevh02:/hdfs/home/.ssh/authorized_keys

ssh gdevh02 — 자동으로 로그인 됨.

* Namenode 포맷 설정

bin/hadoop namenode -format

* 시작 및 종료

시작

bin/start-all.sh

종료

bin/stop-all.sh

* 방화벽 설정

master node

$ vi /etc/sysconfig/iptables

-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 9000 -j ACCEPT

-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 9001 -j ACCEPT

-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50010 -j ACCEPT

-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50030 -j ACCEPT

-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50040 -j ACCEPT

-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50050 -j ACCEPT

-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50060 -j ACCEPT

-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50070 -j ACCEPT

$ /etc/init.d/iptables restart

slave node

$ vi /etc/sysconfig/iptables

-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50010 -j ACCEPT

-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50040 -j ACCEPT

-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50050 -j ACCEPT

#추가 2006.06.27

-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 50060 -j ACCEPT

$ /etc/init.d/iptables restart