[클러스터] Direct Routing 을 이용한 Load Balancing 서버 구성

##################################################

Direct Routing 을 이용한 Load Balancing 서버 구성

##################################################

작성 : 넷센터 홍석범

## 개요

가상 서버(Virtual Server)를 구성하는 방식은

1) NAT를 이용한 가상 서버

2) IP 터널링을 이용한 가상 서버

3) 다이렉트 라우팅(Direct Routing) 을 이용한 가상서버등이 있으나

이중 3)번 방식이 가장 성능적인 측면에서 효율적이므로 이 방식을 이용하

기로 한다.

0.필요한 서버 및 IP

L4 스위치 기능을 하는 Direct Routing 서버 1대, 2대면 더욱 좋다.

실제 서비스되는 리얼서버 2대 이상.

Direct Routing(이하 DR) 에서 사용하는 IP 1개

실제 서비스를 위한 VIP(Virtual IP-일종의 Floating IP) 1개

서버 갯수만큼의 실제 서버에서의 IP(Real IP 2개이상) 이하 총 4개. (모

두 공인IP)

1. 필요한 소프트웨어

DR : 커널 패치, eth0:0 으로 IP Aliasing 또는 eth1 로 별도 구성.

Real Server : 커널 패치, lo:0 으로 IP Aliasing

커널 패치는 아래와 같은 두가지 이유로 하게 된다.

(1) ARP Problem 을 해결하기 위해

(2) Director 에서 Round Robin등 스케쥴 방식을 설정하기 위해

2. 커널 패치 방법

http://www.linuxvirtualserver.org/software/index.html 에서

최신커널에 해당하는 패키지를 받는다.

현재의 경우 최신버전인 ipvs-0.8.1.tar.gz 를 다운로드하였다.

커널 소스 설치후 아래와 같이 패치한다.

# Director 에서 커널패치

cd /usr/src/linux

tar zxvfp ipvs-0.8.1.tar.gz

cat ipvs-0.8.1/linux_kernel_ksyms_c.diff | patch -p1

cat ipvs-0.8.1/linux_net_Makefile.diff | patch -p1

cat ipvs-0.8.1/linux_net_ipv4_Config_in.diff | patch -p1

cat ipvs-0.8.1/linux_ip_fw_compat_c.diff | patch -p1

cp -rp ipvs-0.8.1/ipvs net/ipv4

mv net/ipv4/ipvs/linux_net_ipv4_ipvs_Makefile net/ipv4/ipvs/Makefile

make menuconfig 로 커널 패치 설정

Networking options —> IP: Virtual Server Configuration —>

<*> virtual server support (EXPERIMENTAL)

[*] IP virtual server debugging

(12) IPVS connection table size (the Nth power of 2)

— IPVS scheduler

<*> round-robin scheduling

<*> weighted round-robin scheduling

<*> least-connection scheduling scheduling

<*> weighted least-connection scheduling

<*> locality-based least-connection scheduling

<*> locality-based least-connection with replication scheduling

<*> destination hashing scheduling

<*> source hashing scheduling

— IPVS application helper

<*> FTP protocol helper (NEW)

# Real Server 에서 커널패치

http://www.linuxvirtualserver.org/~julian/hidden-2.4.5-1.diff 에서 다

운

mv hidden-2.4.5-1.diff /usr/src/linux/

cd /usr/src/linux

patch -p1 < hidden-2.4.5-1.diff

## ipvsadm 설치 (Director에서만 설치한다.)

http://www.rpmfind.net/ 에서 ipvsadm 으로 검색하여 다운로드 후

설치

Virtual Server 커널 패치가 되어야만이 ipvsadm 이 정상적으로 작동하며

vs 패치 여부에 대한 확인은 sysctl -a|grep .vs. 로 확인 가능하다.

Director Server IP 211.47.65.1

Virtual IP 211.47.65.2

Real Server1 IP 211.47.65.3

Real Server2 IP 211.47.65.4

이중 실제 서비스되는 IP 는 VIP 인 211.47.65.2 이고 아래와 같이 IP 를

설정한다.

## DR 설치

ifconfig eth0 211.47.65.1 netmask 255.255.255.0

route add -net 211.47.65.0 netmask 255.255.255.0 dev eth0

ifconfig eth0:0 211.47.65.2 netmask 255.255.255.255 broadcast

211.47.65.2 up

route add -host 211.47.65.2 dev eth0:0

echo 1 > /proc/sys/net/ipvs/ip_forward

ipvsadm -A -t 211.47.65.2:80 -s wlc

ipvsadm -a -t 211.47.65.2:80 -r 211.47.65.3 -g

ipvsadm -a -t 211.47.65.2:80 -r 211.47.65.4 -g

위에서 ipvsadm에 대한 명령어에 대한 설명이다.

-A : 서비스를 추가 한다. (add-service로서 하나의 새로운 설정을 시작)

-s : 스케줄러 방식을 선택 (wlc : weight least connection scheduling)

-a : add server의 약자 ( -e : Edit , -d : Delete )

-t : TCP service를 추가( -u : UDP , -f : Firewall )

-r : 옵션 다음에 Real Server(실제로 서비스할 서버)의 IP를 적는다.

-g : Direct Routing 방식( -i : ip tunneling 방식 )

-g w 1 와 같이 가중치 설정이 가능하다.

ipvsadm -a -t 211.47.65.2:80 -r 211.47.65.3 -w 1 -g 나

ipvsadm -a -t 211.47.65.2:80 -r 211.47.65.3 -g 나 동일한 방법이다.

## 스케쥴러 방식에 대해 .

rr (round robin) 그냥 순서대로 돌린다.

wrr (weight round robin) 서버의 용량에 따라 가중치를 둔다.

연결된 커넥션 수는 신경쓰지 않는다.

lc (least connection) 현재 서버상태에서 가장 커넥션 수가 적은 것을 우

선 서비스 한다.

wlc ( weight least connection) 위에 이야기 한 대로 설정시 가중치를 부

여할 수 있다.

이 설정을 마치고 ipvsadm 명령을 실행하면 다음과 같이 나온다.

IP Virtual Server version 0.8.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 211.47.65.2:www wlc

-> 211.47.65.3:www Route 1 0 0

-> 211.47.65.4:www Route 1 0 0

## Real Server(1) 에서의 설정

ifconfig eth0 211.47.65.3 netmask 255.255.255.0

route add -net 211.47.65.0 dev eth0

ifconfig lo:0 211.47.65.2 netmask 255.255.255.255 broadcast

211.47.65.2 up

route add -host 211.47.65.2 dev lo:0

echo 1 > /proc/sys/net/ipv4/conf/all/hidden

echo 1 > /proc/sys/net/ipv4/conf/lo/hidden

## Real Server(2) 에서의 설정

ifconfig eth0 211.47.65.4 netmask 255.255.255.0

route add -net 211.47.65.0 dev eth0

ifconfig lo:0 211.47.65.2 netmask 255.255.255.255 broadcast

211.47.65.2 up

route add -host 211.47.65.2 dev lo:0

echo 1 > /proc/sys/net/ipv4/conf/all/hidden

echo 1 > /proc/sys/net/ipv4/conf/lo/hidden

## ARP Problem 에 대해

clinet

|

|

GateWay

|

|

Director –|

|

|

—————–

| |

| |

Real Server1 Real Server2

어디에서 ARP Problem 이 생기는가?

1) client 의 요청을 받은 GateWay가 request 를 처리하기 위해

arp broadcasting 시 Real Server는 응답하지 않고 DR만이 응답해야 한

다.

2) Real Server 가 포워딩받은 요청에 대해 응답시에는 Source IP 가 VIP

가 되는데,

VIP가 아닌 RIP 이어야 한다.

–> GW에서는 VIP 에 대한 MAC 주소를 DR에 대한 주소로 기억하여야 하는

데,

만약 RealServer 에서 소스 IP가 VIP 일 경우에는 문제가 생기게 된다.

Kernel 2.0.x 에서는 ifconfig eth0:0 192.168.1.2 -arp up 을 이용하여

apr 요청에

응답하지 않도록 할 수 있으나 2.2 나 2.4 에서는 이것이 없어져 결국 커

널패치를

하여야 한다.

이를 위해 라우터에서 Static 하게 VIP 의 MAC 주소를 설정해 줄 수 있

다.

예) arp -s 211.47.65.2 00:00:03:BF:ER:04

또는 Director 와 Real Server 모두 2개의 NIC 를 설치하여 다른 IP 대역

으로 설치해도 된다.

Real Server 에서 arp patch 를 위해

http://www.linuxvirtualserver.org/~julian/

에서 패치를 한다.

그리고

#!/usr/bin/perl

while (1){

sleep 600;

system “/root/clutser/arp/arp.sh”;

}

exit;

파일을 백그라운드로 실행하여 무한루프로 돌리고

/root/cluster/arp/arp.sh 에

/usr/sbin/send_arp -i eth0 211.47.65.2 00508B9A1B1B 211.47.65.255

ffffffffffff 를 설정하여 arp cache 를 refresh 할 수도 있다.

## DR 에서 자동 스크립트 설정하기.

(1) 부팅시 자동 실행 스크립트

Director 에서 lvs stop 을 하면 Load Balancing 설정이 멈추게 되고

lvs start 를 하면 Load Balancing 설정이 시작된다.

/etc/rc.d/rc3.d/S50lvs 를 생성후 /etc/rc.d/init.d/lvs 로 링크함.

/etc/rc.d/init.d/lvs 파일

#!/bin/sh

#

PATH=/bin:/usr/bin:/sbin:/usr/sbin

export PATH

IPVSADM=/sbin/ipvsadm

case “$1” in

start)

if [ -x $IPVSADM ]

then

ifconfig eth0:0 211.47.65.2 netmask 255.255.255.255 broadcast

211.47.65.2 up

route add -host 211.47.65.2 dev eth0:0

sysctl -w net.ipv4.ip_forward=1

$IPVSADM -A -t 211.47.65.2:80

$IPVSADM -a -t 211.47.65.2:80 -r 211.47.65.3 -w 1 -g

$IPVSADM -a -t 211.47.65.2:80 -r 211.47.65.4 -w 1 -g

fi

;;

stop)

if [ -x $IPVSADM ]

then

$IPVSADM -C

fi

;;

*)

echo “Usage: lvs {start|stop}”

exit 1

esac

exit 0

(2) lvs_check cgi 설정하기

/root/cluster/check.cgi & 를 실행하면 지속적으로 Real Server 에 대한

모니터링후 만약 특정 Real Server 가 다운을 발견하였을 때에는 다운된

서버는 자동으로 라우팅 테이블에서 제외하여 다운된 서버로는 접속이 가

지 않도록 한다.

## /root/cluster/lvs_check.cgi

#!/usr/bin/perl

#####################################################

# #

# Script for Load Balancing Server by Hong sukbum #

# antihong at tt.co.kr #

#####################################################

require “require.cgi”;

while(1){

$real_http1 = `./http.monitor -p 80 $real_server1 2>&1`;

$real_http2 = `./http.monitor -p 80 $real_server2 2>&1`;

if(($real_http1 =~ /OK/) && ($real_http2 =~ /OK/)) {

}

else{

$real_ping1 = `./ping.monitor $real_server1 2>&1`;

$real_ping2 = `./ping.monitor $real_server2 2>&1`;

if($real_ping1 !~ /alive/){

&real_server1_down;

}

if($real_ping2 !~ /alive/){

&real_server2_down;

}

else{

}

}

sub real_server1_down {

system “/sbin/ipvsadm -d -t $direct_server:80 -r $real_server1”;

open(MAIL, “|$MAIL_PROGRAM -t”);

print MAIL “To: $TO_MAIL \\n”;

print MAIL “Subject: $real_server1 is down!!! \\n”;

print MAIL “Content-type: text/html\\n\\n”;

print MAIL “<p><font face=\\”Times New Roman\\”>\\n”;

print MAIL “<b> $real_server1 에 ping 이 되지 않습니다.</b><p>\\n”;

print MAIL “<b>## $real_server1 Server의 다운여부를 확인하세

요.</b><p>\\n”;

print MAIL “<b>## $real_server1 이 Virtual Server 에서 제외되었습니

다.</b><br>\\n”;

close(MAIL);

}

sub real_server2_down {

system “/sbin/ipvsadm -d -t $direct_server:80 -r $real_server2”;

open(MAIL, “|$MAIL_PROGRAM -t”);

print MAIL “To: $TO_MAIL \\n”;

print MAIL “Subject: $real_server2 is down!!! \\n”;

print MAIL “Content-type: text/html\\n\\n”;

print MAIL “<p><font face=\\”Times New Roman\\”>\\n”;

print MAIL “<b> $real_server2 에 ping 이 되지 않습니다.</b><p>\\n”;

print MAIL “<b>## $real_server2 Server의 다운여부를 확인하세

요.</b><p>\\n”;

print MAIL “<b>## $real_server2 이 Virtual Server 에서 제외되었습니

다.</b><br>\\n”;

close(MAIL);

}

}

3) require.cgi 설정하기

## /root/cluster/require.cgi

#!/usr/bin/perl

$TO_MAIL = ‘antihong at tt.co.kr’;

# Real Server가 다운시 담당자에게 메일이 발송된다.

$MAIL_PROGRAM = “/usr/sbin/sendmail”;

# sendmail 의 경로

$direct_server =”211.47.65.2″;

# Real-Server1 Server 의 IP

$real_server1 =”211.47.65.3″;

# Real-Server1 Server 의 IP

$real_server2 =”211.47.65.4″;

# Real-Server2 Server 의 IP

#### 마치면서

(1) 만약 Director Server 가 다운된다면 어떻게 대처할 것인가?

해결책) Director 를 Mirroring 으로 설정하여 운영한다.

해결책) DR 의 역할을 Real_Server1 에서 받아오도록 하는 방법도 있다.

(2) 모든 Real Server 가 다운된다면 어떻게 대처할 것인가?

해결책) 모든 Real Server 가 다운된다면 Director 가 웹서비스도 대신하

도록

할 수 있지만 성능적인 측면에서 별로 효과적이지 않다.

(3) 현재는 웹에 대해서만 감시하도록 되어 있으나 다른 감시도 할 수 있

다.

(4) Director 에 또는 Real Server 에 이더넷 카드를 두장 설치하여 운영

하는 것이

더욱 효과적이다.

(5) 만약 Real_Sever 가 다운시 DR 에서 라우팅 테이블이 삭제된 후 추가

는

수작업으로 하여야 한다. 물론 자동으로 할 수도 있다.

(6) 만약 상품으로 한다면 몇 가지 부가 기능을 더 추가할 수 있으나

실용적인 면에서는 그리 필요하지 않다고 보아 추가하지 않았다.

주의] 만약 특정 Real Server가 다운된 후 복구하여 Load Balancing 에 추

가하려면 수작업으로 추가하여야 하며(lvs start만 하면 된다.) 아울러

Director 에서는 arp 를 Refresh 하여야 한다.(/root/cluster/arp/arp.sh

를 실행하면 된다.)

참고문서 : http://www.linuxvirtualserver.org/Joseph.Mack/HOWTO/LVS-

HOWTO.html

http://kldp.org/Translations/html/Virtual_Server-KLDP/index.htm

http://linux.clusterkorea.org/