[클러스터] Introduction to NFS Load Balance Clustering using Linux
Introduction to NFS Load Balance Clustering using Linux
*
* 작성자 : 클루닉스 서 진우 ( alang@clunix.com )
* 작성일 : 2005년 1월 7일
* Clunix Home page : http://www.clunix.com
* Private Homepage : http://www.syszone.co.kr
*
* 문서 작성자의 동의 없는 무단 배포 및 복사는
* 절대 금지합니다.
*
NFS 의 정상적인 서비스 동작 방식은 Portmap 에 의해 유동적으로 생성되는 rpc service
( rquota, nlockmgr, mountd ) 의 port 정보를 서로 공유하여 nfs 해당 서비스가 연결이
가능하게 된다.
이런 서비스들은 TCP, UDP 모든 프로토콜을 사용하게 되는데 LVS 로 NFS를 부하분산하기
위해서는 NFS, Portmap 서비스를 분산하는거 이외도 위의 rpc 관련 서비스 들 역시 분산이
되어져야 한다.
NFS 와 portmap 의 경우는 static service port 를 사용하기 때문에 문제가 되지 않지만..
rpc 의 경우에는 dynamic service port 를 생성하기에 LVS 에서 이부분을 알아서 정의
할수 없기에 어려움이 있다.
이 문제를 해결하기 위해서는 iptables 의 mangle 를 이용하여 ipvs 의 forward mark
를 사용하면 어느정도 해결이 가능하지만 iptables 의 mangle 을 5개 밖에 정의 하지
못하는 제한때문에 근본적인 문제 해결은 아니다. ( 본문 참조 )
persistent 를 이용하면 server by server 로 정의를 할수 있기 때문에
유동되는 서비스 Port 에 대한 정의가 필요 없다. 그러므로 위 문제는 해결이
되겠지만..persistent time out 의 limit 이 48 hour 로 정해저 있기 때문에
이후 새로운 connection 을 맺어야 하는 문제가 발생할 수는 있다.
( 디스크 동기화가 이루어 진다고 하면 re-connection 의 문제는 그리 중요치
않다고 생각된다 )
이 문제 밖에 NFS 서비스를 위해 TCP 1 connection, UDP 3 connection 이 맺어
지는데 이 모든 서비스가 동일한 real server 에 연결이 되어야 정상적인
서비스가 가능하다. 하지만 부하분산 환경에서는 종종 TCP connection 가
UDP connection 이 서로 다른 real server 로 연결 되는 경우가 발생한다.
이러면..persistent time 값이 정해져 있어서 계속 잘못된 연결을 시도하므로
문제가 발생이 되어진다.
위 문제를 해결 하기 위해서 nfs.mountd 의 proto option 으로 가능하다.
proto option 은 nfs mount 에 사용되는 protocol 을 TCP, UDP 중 하나를 지정
하여 접속이 가능한 것이다. 즉 하나의 protocol 만으로도 NFS mount 를 할수
있는 것이다.
NFS Load balancing 을 위해서 여러가지 아이디어와 방법을 제시하고 있기는
한데 언제나 수수께끼 같은 QnA 와 이해되지 않는 의미 심장한 HOWTO 문서만
이 존재한다.
실무적인 방법으로 아래 방법을 제시한다.
LB Server
ipvsadm -A -t 192.168.123.170 -p 10 -s lc
ipvsadm -a -t 192.168.123.170 -r 192.168.123.165
ipvsadm -a -t 192.168.123.170 -r 192.168.123.166
NFS Server
/etc/exports
———————————————–
/home *(rw,sync,no_root_squash,fsid=1)
( 이설정 안하면 fail over 시 nfs handling 이 유지 되지 않는다 – 끊어진 핸들링)
NFS Clients
mount -t nfs -o proto=tcp,soft,rsize=1024,wsize=8192 192.168.123.170:/home /data3
여기서 또 하나의 문제로서 LB 서버에서 tcp, udp idle connection 을 기본 15분
으로 잡는데 이 시간이 지나면 자동으로 NFS Connection 이 끊어진다.
위의 fsid 설정이 되어져 있으면 끊어진 후에도 nfs mount point 로 접근 시 자동
으로 reconnection 을 맺게 되는데 만일 끊어지기 전에 NFS 서버의 문제 발생으로
fail over 될때 계속 문제의 서버 측으로 접속을 시도 하게 된다. 이래서..즉~
입/출력 에러가 발생한다.
해결 방법으로는 ipvsadm 의 tcp, udp idle timeout 값을 조정해 주면 된다.
ipvsadm –set tcp tcpfin udp
만일 10 시간 유지 하고 싶다면 # ipvsadm –set 36000 0 0 으로 해주면 된다.
0 의 의미는 default 당..
만일 이 설정에서 ipvsadm –set 3600 0 0 으로 설정을 하게 되면 특정 서버에 문제 발생 시
NFS Client 에서는 1시간동안 지속적인 Connection 을 맺으려고 시도 한다.
그렇기 때문에 이 설정을 최대한 짧게 설정하여야 take over 시간이 짧게 걸리게 된다.
ipvsadm –set 10 0 0
으로 설정하면 nfs mountd 가 idle 상태일 경우 다시 mount point 접근 시도 시 NFS 서버에
문제가 발생한 상태라면 정상적인 connection 이 맺어질때 까지 접속을 시도 하지만 위 설정
으로 되어져 있으면 초기 접속 시도 이후 10초 지나면 다시 재 접속을 시도 한다.
그래서 ipvsadm table 에 등록되어져 있는 정상적인 서버로 re-connection 이 맺어지게 된다.
ipvsadm 의 tcp,udp default idle timeout 값은 15분이다.
ipvs 의 스케줄링에서 source hashing (sh) option 이 있다. source hashing 스케줄링은
접속 클라이언트의 접속 IP ( source ip address )별로 작업을 분산하는 방식이다.
즉 초기 접속 시 ipvs 에서에서 특정 클라이언트를 특정 작업 서버로 분산을 시키게 되면
이 클라이언트의 ip 를 ipvs 스케줄링 hashing 에 포함 시켜 놓고 이 클라이언트에서 들어오는
모든 네트워크 패킷을 특정 작업 서버로만 보내게 된다.
ipvsadm -A -t 192.168.123.170 -p 10 -s sh
와 같은 방식으로 정의 하며 이는 NFS 서버를 TCP 전용으로 서비스 하는게 아니라 TCP, UDP
두 protocol 모두를 사용해서 서비스 할 경우 TCP 접속 서버와 UDP 접속 서버가 분리 되는 것을
막아주는 역활을 하는 하나의 방법이 될수 있다.
이밖에 이런 비슷한 역활을 하는 것이 iptables 의 mangle 방식을 ipvs 에 연동해서 사용할수
있는 fwmark ( forward mark ) 를 이용할 수 있을 것이다.
fwmark 는 주로 두개의 서비스가 연동해서 하나의 통합 서비스를 구현하는 시스템의 경우
주로 사용되는 기능이다.
예를 들면 전자 상거래의 web 서비스 와 전자 결재 서비스 같은 경우 두개의 서비스가 같은
시스템에서 이루어져야 하는 경우가 있다. 이럴때 ipvsadm 에서는 80 port 와 전자 결재 서비스
port 가 같은 서버에 접속한 클라이언트에 한해 처리 될 경우 80 port 로 접속 시 해당 connection
이 분배되어지는 서버 쪽으로 전자 결재 서비스 connection도 같이 동일 서버로 보내 지는 역활
을 하는 것이다.
예를 하나 더 들면 windows 의 terminal service 를 부하분산할 경우 terminal service client
방식을 TSWEB 으로 할 경우 terminal service 가 구동되어지는 서버의 웹서버에서 TSWEB 이 구동
되어지기 때문에 웹서비스 포트인 80 과 터미널 서비스 포트인 3389 는 항상 같은 서버로 보내져
야 한다.
사용 방법은 다음과 같다 ( LB 서버에서 정의 )
iptables -t mangle -A PREROUTING -i eth0 -p tcp -s 0/0 -d VIP –dport <Port> -j MARK –set-mark 1
ipvsadm -a -f 1 -r <real server>:0 -g -w 1
과 같은 방식이다. 즉…
LB 서버의 eth0 를 통해 들어오는 tcp packet 중 destination 이 VIP 일 경우 MARK 1 이라는 rule 로 가라
하는 iptables 정의가 있다.
그리고 MARK 1 로 보내진 packet 은 ipvsadm 에 의해 realserver 로 분배되어진다. 라는 방식이다.
다른 방법 예제이다.
iptables -t mangle -A PREROUTING -s 10.1.1.1/32 -m mark –mark 1
iptables -t mangle -A PREROUTING -s 10.1.1.3/32 -m mark –mark 1
iptables -t mangle -A PREROUTING -s 10.10.0.2/32 -m mark –mark 1
iptables -t mangle -A PREROUTING -s 10.1.1.2/32 -m mark –mark 2
ipvsadm -A -f 1
ipvsadm -A -f 2
ipvsadm -a -f 1 -r 10.1.5.7
ipvsadm -a -f 2 -r 10.1.5.12
즉 -j MARK –set-mark < number > 과 -m mark –mark < number > 방식이 있다.
mangle 설정이 확인은 다음 구문으로 가능하다.
# iptables -t mangle -n -L PREROUTING
위의 iptable 의 mangle 방식과 ipvs 의 fwmark 방식을 이용하면 NFS 서비스 Port 인 2049 Port 로
들어 오는 Packet이 분산 되는 서버로 나머지 NFS 서비스에 필요한 다른 Port < portmap, mountd, rpc >
를 이쪽 서버로 보내 버릴수가 있는 것이다.
하지만 이 mangle 정의는 5개 밖에 정의 할 수 없기 때문에 많은 real server 와 port 가 필요한 서비스
의 경우 적용에 제한이 있게 된다.
이밖에 NFS 서비스의 원할한 Load balancing 을 위해서는 NFS 의 설정과 nfs.mountd 설정에 의해
영향을 많이 받는다 아래 NFS Client 의 nfs.mountd option 에 대해 설명을 하였다. 참고해서
사이트 별 NFS 서비스 특정에 맞게 조정하면 최적의 NFS Clustering 을 구축 할수 있을 것이다.
NFS Clients 에서의 nfs.mountd option 으로 이밖에 soft,hard,timeo,rsize,wsize
… 등등 많은 option 이 있는데 이중에서 가장 최적화된 옵션을 찾아 되는 것은
남겨진 숙제이다.
주요 옵션 설명이다.
rsize=n NFS 서버로부터 읽어들이는 바이트 수를 지정 한다. 기본값은
커널에 따라다른데 현재로서는1024 바이트이다.
wsize=n NFS 서버에 쓰기를 할 때 사용하는 바이트 수 를 정한다.
기본값은 커널에 따라다른데 현재 로서는 1024 바이트이다.
timeo=n RPC 타임아웃이 생기고 나서 첫번째 재전송 요 구를 보낼 때 사용되는 시간으로서
1/10 초 단 위이다. 기본값은 7 * 1/10 초이다. 첫번째 타 임 아웃이 생기고 나서는
타임아웃 시간이 최대 치인 60 초에 이르거나 너무 많은 재전송 요구 가 벌어질때까지
타임아웃 시간이 2 배로 변화 한다. 만약 화일 시스템이 hard ( hard 옵션을 참고 )
마운트되어있다면 각각의 타 임 아웃 시간은 2 배로 증가하고 재전송 시도 가 일어날
때도 2 배로 증가한다. 최대 타임아 웃 시간은 60 초이다. 네트웍 속도가 느리거나
서버자체가 느리다든지 여러 개의 라우터와 게 이트웨이를 거칠 때는 마운트 당시 타임
아 웃 시간을 늘려주는 것이 좋다.
retrans=n 주 타임아웃을 발생시키는 부 타임아웃과 재전 송 횟수를 정한다. 기본값은 3 번의
타임아웃이 다. 주 타임 아웃이 일어나면 화일 작업이 중 지되거나 콘솔 상에 “서버가
반응하지 않 음 “server not responding””이라는 메시지가 출 력된다.
retry=n 백그라운드에서 진행 중인 NFS 마운트 작업 이 포기하기 전까지 실행할 횟수를정한다.
기본값 은 10000 번이다.
namlen=n NFS 서버가 RPC 마운트 프로토콜의 버전 2 를 지원하지 않을 때 원격 화일시스템에서
지원되 는 화일명의 길이를 명시한다. POSIX pathconf 함 수 를 지원하기위해서 사용된다.
기본값은 255 개의 문자이다.
port=n NFS 서버와 연결할 수 있는 포트 번호를 정 한 다. 만약 0 이라면( 기본값 ) 원격 호스트의
포트매퍼(portmapper) 에게 질의하여알아내 도 록 한다. 만약 포트매퍼에 NFS 데몬이 등록되
어 있지 않은 경우에는 2049 라는 표준 NFS 포 트 번호가 사용된다.
mountport=n mountd 포트 번호 지정하기.
mounthost=name mountd 를 실행 중인 호스트 명을 정한다.
mountprog=n 원 격 호스트의 마운트 데몬과 접속하기 위해 사용할 수 있는 별도의 RPC 프로그램번호를 정
한다. 만약 여러 개의 NFS 서버를 운영하고 있 을 때 사용한다. 기본값은 표준 RPC 마 운 트
데몬 프로그램 번호인 100005 이다.
bg 만약 첫번째 NFS 마운트 시도가 타임아웃 걸리 면 백그라운드에서 실행을 계속한다. 기본 값
은 백그라운드로 실행하지 않고 그냥 포기한 다.
fg 첫번째 NFS 마운트 시도에서 타임아웃이 걸 리 면 그 즉시 포기해버린다. 기본값이다.
soft NFS 화일 작업에서 주 타임아웃이 걸리면 프로 그램에게 I/O 에러를 보고한다. 기본값은 무
한히 NFS 화일 작업을 재시도 하는 것이다.
hard NFS 화일 작업에서 주 타임아웃이 걸리면 콘솔 상에 “server not responding”, “서버가 반 응
하 지 않음”이라고 출력하고 무한히 재시도한 다. 이것이 기본값이다.
intr 주 타임아웃이 생기고 하드 마운트된 상태라면 화 일 작업을 중지하도록 시그널을보내도록 허
용하고 EINTR 시그널을 보내다. 기본값은 화일 작업을 인터럽트하지않는 것이다.
tcp NFS 화 일 시스템을 기본값인 UDP 가 아니라 TCP 프로토콜을 사용하여 마운트하도록 한 다.
많은 NFS 서버들이 오로지 UDP 만을 지원한다.
udp NFS 화일 시스템을 UDP 프로토콜로 마운 트 한 다. 기본값.
마지막으로 NFS Load balancing 을 위해서는 반드시 NFS 서버간의 디스크 동기화가 필요할 것이다.
이는 여러가지 방법이 있는데 여기서는 방법 제시만 하도록 하겠다.
돈이 많은 경우는 Fire channel Card 와 SAN Switch 를 이용한 SAN DISK 를 사용하면 가장 이상적일
것이다.
하지만 돈이 없을 경우는 NFS 서버와 연관성이 많은 PVFS 를 이용하는 방법이 있을 것이다.
하지만 PVFS 의 경우 System Call 방식에 따라 성능에 문제가 큰 경우가 있기 때문에 이보다는
GFS 와 GNBD 를 이용하여 디스크 동기화를 구현하는 것이 이상적이라 생각된다.
이것으로 NFS Load balancing Cluster 에 관한 설명을 마치도록 하겠다.
![[클러스터][LVS] LVS HOWTO 문서](http://nblog.syszone.co.kr/wp-content/themes/hueman/assets/front/img/thumb-medium-empty.png)
