[클러스터] Csync2 로 클러스터 파일 시스템 동기화 하기
Csync2 로 클러스터 파일 시스템 동기화 하기
* 작성자 : 서 진우 ( alang@clunix.com )
* 작성일 : 2005년 1월 10일
*
* 이 문서의 무단 배포 및 복사를 금지 합니다.
csync2 는 rsync 와 같이 file level 에서의 file sync tool 이다.
rsync 와 다른 점은 rsync 의 경우는 특정 file sync 기준이 되는 시스템에서 rsync-server 서비스를 해야 하고 클라이언트에서는 rsync client 로 서버에서 허락된 자원을 가져 갈수 있다. 즉 파일 서비스의 동기화 방식이 서버 시스템에서 클라이언트로만 전달되는 방식의 파일 동기화 프로그램이다.
이에 비해 csync2 는 같은 클러스터 그룹에 속한 시스템에게는 일괄적인 전 노드 동기화가 가능하다. 별도의 서버와 클라이언트 계념이 없다. csync2 명령어가 실행되는 시스템의 자원을 나머지 같은 클러스터 그룹에 속해진 다른 노드들로 일괄적으로 파일이 전송 동기화 되어진다.
rsync : 동기화 명령 자체가 클라이언트 입장에서 이루어진다.
csync2 : 동기화 명령 자체가 서버 입장에서 이루어진다.
뿐만 아니라 csync2 설정에서 다중호스트 지정이 가능하기 때문에 여러대의 시스템 의 파일 동기화를 효율적을 진행할 수 있다.
설치 방법 :
csync2 를 설치 하기 위해 필요한 프로그램
librsync-0.9.6.tar.gz
sqlite-2.8.15-1.i386.rpm
sqlite-devel-2.8.15-1.i386.rpm
csync2-1.16.tar.gz
download : ftp.syszone.co.kr/pub/linux/server/cluster/csync
test03 src # rpm -Uvh sqlite-2.8.15-1.i386.rpm
test03 src # rpm -Uvh sqlite-devel-2.8.15-1.i386.rpm
test03 src # tar xzvf librsync-0.9.6.tar.gz
test03 src # cd librsync-0.9.6
test03 librsync-0.9.6 # ./configure && make && make install
test03 librsync-0.9.6 # cd ..
test03 src # tar xzvf csync2-1.16.tar.gz
test03 src # cd csync2-1.16
test03 csync2-1.16 # ./configure
test03 csync2-1.16 # make install
In file included from /usr/include/openssl/ssl.h:179,
from conn.c:30:
/usr/include/openssl/kssl.h:72:18: krb5.h: 그런 파일이나 디렉토리가 없음
make[1]: *** [conn.o] 오류 1
ssl 관련 오류 발생 시~ Makefile 의 139 line 인
DEFAULT_INCLUDES = -I. -I$(srcdir) -I.
을..
DEFAULT_INCLUDES = -I. -I$(srcdir) -I. -I /usr/kerberos/include -I.
로 변경 한후 다시 make install 한다.
test03 csync2-1.16 # make install
그런 후 /etc/services 에 csync2 관련 서비스 포트를 정의해 준다.
test03 csync2-1.16 # vi /etc/services
—————————————————————————–
.
.
fido 60179/tcp # Ifmail
fido 60179/udp # Ifmail
# Local services
csync2 30865/tcp
—————————————————————————–
그런 후 csync2 를 xinetd 에 추가한다.
test03 csync2-1.16 # vi /etc/xinetd.d/csync2
—————————————————————————–
service csync2
{
socket_type = stream
protocol = tcp
wait = no
user = root
server = /usr/local/sbin/csync2
server_args = -i
disable = no
}
——————————————————————————
그런 후 /etc/csync2.cfg 설정 파일을 만든다.
test03 csync2-1.16 # vi /etc/csync2.cfg
——————————————————————————
group mygroup
{
host test01 test02;
host test03@eth03-eth0;
key /etc/csync2.key_mygroup;
include /home;
exclude /home/clunix;
action {
pattern /home/test1;
pattern /home/test;
exec “/etc/rc.d/init.d/xinetd restart”;
logfile “/var/log/csync2_action.log”;
do-local;
}
}
nossl test01 test02;
nossl test01 test03;
nossl test02 test01;
nossl test02 test03;
nossl test03 test01;
nossl test03 test02;
—————————————————————————
설정 파일을 간단히 설명하면
group <group_name>
먼저 같은 file sync group 을 정의 한다. 위 설정에서는 mygroup 이라 정의했다.
{
host <host1_name> <host2_name> …
host 이후 서로 file sync 가 되어져야 할 host 를 추가한다. 여기에 hostname 형식으로 추가하면 반드시 /etc/hosts 에 각 host 정보가 설정되어져 있어야 한다.
host 정의 방식은 단순히 host <host_name> 으로 정의도 가능하고 다음 설정과 같이 해당 호스트의 특정 네트워크 디바이스를 정의하여도 된다. 이는 시스템에 네트워크 디바이스가 여러개 있을 경우 특정 디바이스를 정의 할수 있다. 이는 file sync 에 사용되는 네트워크 채널을 별도로 분리 할때 사용하면 유용하다.
host <host_name>@<host_name>-<net_dev_name>
key <path/key_filename>
key 는 file sync 시스템간의 file sync 에 필요한 인증 파일이라 보면 된다.
key 생성은 csync2 의 -k option 으로 생성이 가능하다. 같은 file sync 그룹인 경우 동일한 key를 가지고 있어야 한다.
include <path>
include 는 sync target path 라고 생각하면 된다.
exclude 는 include 에 포함되어진 sub directory 나 sub file 의 경우 sync 대상에서 예외를 지정할 수 있는 것이다. 굳이 불필요한 파일을 sync target 에 지정할 필요가 없다.
action {
action 은 sync 이후 추가적으로 처리되어 지는 내용이라 보면된다.
pattern /home/test1;
pattern /home/test;
pattern 은 쉽게 설명하면 위 두가지 pattern이 일치 해야 만이 sync 를 하게 된다.
즉 위 설정은 include /home 이란 설정에 의해 /home 밑에 있는 file, directory 가 test01, test02, test03 노드에 복제가 되어질 것이다. ( 물런 clunix directory 는 exclude 설정에 의해 제외된다. ) 하지만 /home 밑에 test1, test 라는 file or directory 가 존재 할 경우에 sync 가 진행 되는 의미이다.
exec “/etc/rc.d/init.d/xinetd restart”;
logfile “/var/log/csync2_action.log”;
do-local;
exec 는 sync 이후 특정 명령을 실행 할때 사용되고 logfile 은 csync log 가 남겨질 곳을 설정한다. do-local 은 csync 명령이 local 에서 행해지도록 한다는 의미다.
}
}
nossl test01 test02;
nossl test01 test03;
nossl test02 test01;
nossl test02 test03;
nossl test03 test01;
nossl test03 test02;
nossl 설정은 csync2 는 기본적으로 ssl 을 이용하여 시스템간의 인증을 하도록 한다.
만일 ssl 인증을 거치지 않고 csync2 에서 제공하는 자체 인증을 사용할 경우 (…
/etc/csync2.key-<group_name> ..) 에는 nossl 설정에서 해당 노드를 등록해 주어야 한다.
nossl test01 test02; 의미는 test01 에서 test02 로 file 이 sync 될때 ssl 를 사용
하지 않고..csync2.key file 을 사용하겠다는 의미다.
이와 같이 설정 이후 ..
test03 home # /etc/rc.d/init.d/xinetd restart
test03 home # csync2 -c # csync2 의 config status check
test03 home # csync2 -T # 실제 네트워크 상태 및 sync file list 상태를 sync 전
테스트한다.
..
..
L /home/oracle/.gtkrc
L /home/oracle/.viminfo
L /home/oracle/.wm_style
L /home/oracle/.zshrc
L /home/oracle/sqlnet.log
R /home/qq
R /home/test1
R /home/tt
L /home/www
L /home/www/.bash_history
L /home/www/.bash_logout
L /home/www/.bash_profile
L /home/www/.bashrc
L /home/www/.emacs
L /home/www/.gtkrc
L /home/www/.viminfo
L /home/www/.zshrc
L /home/www/www
L /home/www/www/index.html
..
..
csync2 -T 명령을 하면 위와 같이 각 노드에서 file sync 시 다른 노드로 sync 시킬 파일 (L) 과 다른 노드에서 sync 를 받을 file (R) list 가 파익이 되고 이는 sqlite 에 의해 db 파일로 생성이 된다. ( /var/lib/csync2/$HOSTNAME.db )
test01 home # csync2 -x
를 하게 되면 file 이 sync 가 되어진다.
만일 csync 로 file sync 를 진행을 하다가 수동으로 특정 노드에 파일 관련 작업을 많이 하여 각 노드의 파일 시스템 list 가 일치 하지 않을 경우 다시 해 주어야 하는 경우가 발생한다.
이때는 -R option 으로 file list 를 모두 clean 하고 다시 초기 상태에서 재 진행을 해 주어야 한다.
test01 home # csync2 -R
이제 정상적인 csync2 로 sync 가 작동하면 각 시스템의 cron 에 csync2 -c ; csync2 -x 를 등록한다.
그럼 일정 시간을 주기로 항상 같은 파일 시스템을 유지 할수 있을 것이다.
![[클러스터] GFS+CLVM installation document](http://nblog.syszone.co.kr/wp-content/themes/hueman/assets/front/img/thumb-medium-empty.png)
