[클러스터][파일] DRBD + HA 시스템 구축하기

Alberto Cammozzo, 21.01.2004

Installazione Cluster Vserver-drdb-heartbeat

Introduzione

Con questa installazione si crea un cluster HA composto da due host che ospitano servizi vserver condividendo l’area /vserver tramite drbd . In condizioni di attivita’ normale uno solo dei due e’ attivo e presta i servizi, con i vserver attivi. I file vengono replicati con drbd sui dischi di entrambe le macchine. In caso di inattivita’ del server principale (primario), l’altro (secondario) fa partire automaticamente i vserver dalla propria copia locale, grazie ai servizi di heartbeat. Al ripristino della funzionalita’ del server primario, lo storage viene risincronizzato e il server primario riprende i servizi.

Unico caso in cui i dischi rimangono non sincronizzati: se si staccano tutti i collegamenti da una delle due macchine, pur lasciandola accesa e attiva: in questo caso bisogna dare la sequenza di comandi

/etc/init.d drbd stop

/etc/init.d drbd start

su tutte e due, dopo aver fermato i servizi e fatto l’unmount di /vserver dal primario.

L’handover dei vserver da un server all’altro avviene nel tempo di 10-20 ping.

Setup hardware

Due macchine, chiamate novanta e novantuno, con ciascuna due schede di rete, delle quali una coppia connessa alla LAN (eth1) e una interconnessa con un cavo cross (eth0) su numerazione IP privata. Quest’ultima e’ riservata al traffico di drbd, mentre la prima ai servizi offerti dalle due macchine.

Inoltre le due seriali (ttyS0) sono collegate con cavo null-modem, per le funzioni di heartbeat.

novanta:~# cat /etc/network/interfaces

auto lo

iface lo inet loopback

auto eth1

iface eth1 inet static

        address 147.162.35.90

        netmask 255.255.255.0

        network 147.162.35.0

        broadcast 147.162.35.255

        gateway 147.162.35.254

auto eth0

iface eth0 inet static

        address 192.168.90.90

        netmask 255.255.255.0

        broadcast 192.169.90.255

novantuno:~# cat /etc/network/interfaces

auto lo

iface lo inet loopback

auto eth1

iface eth1 inet static

        address 147.162.35.91

        netmask 255.255.255.0

        network 147.162.35.0

        broadcast 147.162.35.255

        gateway 147.162.35.254

auto eth0

iface eth0 inet static

        address 192.168.90.91

        netmask 255.255.255.0

        broadcast 192.169.90.255

Installazione e configurazione di drbd

Il kernel (gia’ patchato vserver) necessita del modulo drbd.

Ho scelto la versione 0.7, il cui file di configurazione e’ diverso e incompatibile con la 0.6 (stabile).

cd /usr/src

wget http://www.drbd.org/uploads/media/drbd-0.7_pre10_20040709.tar.gz

tar zxvf drbd-0.7_pre10_20040709.tar.gz

cd drbd-0.7_pre10_20040709

make

make install

Configurazione drbd: Partizionare sulle due macchine un device:

sda1: root partition

sda2: swap

sda3: un metadisk (128K per partizione condivisa)

sda4: la partizione condivisa, mountpoint: /vserver

fdisk -l

Disk /dev/sda: 255 heads, 63 sectors, 6693 cylinders

Units = cylinders of 16065 * 512 bytes

   Device Boot    Start       End    Blocks   Id  System

/dev/sda1             1       487   3911796   83  Linux

/dev/sda2           488       610    987997+  82  Linux swap

/dev/sda3           611       643    265072+  83  Linux

/dev/sda4           644      6693  48596625   83  Linux

cat /etc/drbd.conf

       resource drbd0 {

         protocol C;

         incon-degr-cmd “halt -f”;

       net {

          sndbuf-size  512k;

           timeout      60    ;

           connect-int  10    ;

           ping-int     10    ;

           ko-count     10;

        }

         on novanta.stat.unipd.it {

           device /dev/nb0;

           disk /dev/sda4;

           address 192.168.90.90:7789;

           meta-disk /dev/sda3[0];

         }

         on novantuno.stat.unipd.it {

           device /dev/nb0;

           disk /dev/sda4;

           address 192.168.90.91:7789;

           meta-disk /dev/sda3[0];

         }

        syncer {

           rate 512M;

        }

       }

Lanciare drbd sulle due macchine

/etc/init.d/drbd start

Sulla primaria (novanta):

drbdadmin /dev/nb0 primary

Per controllare lo stato di avanzamento della sincronizzazione:

cat /proc/drbd

Procedere coi passi successivi solo a sincronizzazione completata.

Configurazione Heartbeat

Su entrambe le macchine:

Predisporre gli script di startup, configurare heartbeat su tutte e due le interfacce ethernet e sulla seriale con protocollo MD5.

apt-get install heartbeat

ln -s /etc/init.d/drbd /etc/rc2.d/S19drbd

cat  /etc/ha.d/ha.cf

        logfacility     local0

        keepalive 2

        deadtime 10

        initdead 120

        serial /dev/ttyS0  

        baud 19200

        udpport 694        

        udp eth1  

        udp eth0  

        node novantuno.stat.unipd.it

        node novanta.stat.unipd.it

cat /etc/ha.d/authkeys

        auth 3

  

        3 md5 PASSWORD

Configurare la parte specifica dei servizi:

Predisporre uno script, su entrambe e macchine, per far partire i vserver solo dalla macchina che ha accesso alle risorse disco come PRIMARY.

cat /etc/init.d/cluster

#!/bin/bash

# Date: Jul 2004

# Author: Alberto Cammozzo (mmzz – at – stat.unipd.it)

# Released under GNU GPL license

#

SHARED_MOUNTPOINT=”/vservers”

DRBD=”/etc/init.d/drbd”

DRBDADM=”/sbin/drbdadm”

MOUNT=”/bin/mount”

UMOUNT=”/bin/umount”

VSERVER=”/etc/init.d/vservers”

case “$1” in

    start)

        echo -n “Starting cluster:”

        $DRBDADM primary all && $MOUNT $SHARED_MOUNTPOINT  && $VSERVER start

        echo “.”

        ;;

    stop)

        echo -n “Stopping cluster:”

        $VSERVER stop

        $UMOUNT $SHARED_MOUNTPOINT

        $DRBDADM secondary all

        $DRBDADM wait_connect all

        echo “.”

        ;;

    *)

        echo “Usage: /etc/init.d/cluster {start|stop}”

        exit 1

        ;;

esac

exit 0

Collocare i link nei posti necessari a heartbeat e a init (rc)

ln -s /etc/init.d/cluster /etc/ha.d/resource.d/cluster

Questo e gli altri file usati da heartbeat sono in /etc/ha.d/resource.d/:

drbddisk e’ gia’ stato installato da make install di drdb stesso. Configurare il file /etc/ha.d/haresources con i servizi delle rispettive macchine in questo caso novanta e’ l’host sul quale preferenzialmente vanno fatti girare i servizi, e novantuno quello di backup.

su entrambe le macchine:

cat  /etc/ha.d/haresources

        novanta.stat.unipd.it drbddisk::drbd0 cluster

cat /etc/fstab

        […]

        /dev/nb0        /vservers       ext3    noauto                  0       0

Tuning degli script di vserver:

Creare gli script per permettere a vserver l’arp-takeover e facilitare il transito dei servizi dal vecchio al nuovo vserver.

su novantuno

cat /etc/vservers/milliways.sh

#!/bin/sh

# —- see — http://archives.linux-vserver.org/200406/0013.html

#

case $1 in

pre-start)

        /usr/lib/heartbeat/send_arp eth1 147.162.35.92 00:E0:18:02:C0:7D 147.162.35.255 ffffffffffff

        /usr/lib/heartbeat/send_arp eth1 147.162.35.92 00:E0:18:02:C0:7D 147.162.35.254 ffffffffffff

        ;;

post-start)

        ;;

pre-stop)

        ;;

post-stop)

        ;;

*)

        echo $0 pre-start

        echo $0 pre-stop

        echo $0 post-start

        echo $0 post-stop

        ;;

esac

su novanta lo script e’ identico, con l’indirizzo ethernet (MAC) di novanta al posto di “00:E0:18:02:C0:7D”. L’indirizzo 147.162.35.92 e’ quello del vserver. L’indirizzo sulla prima riga (147.162.35.255) e’ quello di broadcast, il secondo quello del router (147.162.35.254).

TODO

Installare una seconda coppia di schede di rete da accoppiare con la tecnica del bonding a quelle dedicate a drbd per evitare il single point of failure in caso di guasto di queste o del cavo cross che le collega. Vantaggio marginale ma non insignificante: l’aggregazione dei canali dovrebbe offrire maggiore banda, e quindi maggiore velocita’ di replicazione di drbd. Compilare il modulo del bonding e installarlo

modprobe bonding mode=1 miimon=100 downdelay=200 updelay=200

apt-get install ifenslave iproute

ip addr add 192.168.90.91/24 brd + dev bond0

ip link set dev bond0 addr 00:80:c8:e7:ab:91

ip link set dev bond0 up

/etc/init.d/drbd stop

ifdown eth0

ifenslave -E bond0 eth0 eth1

Rialanciare drbd, ma drbd non riconosce correttamente l’interfaccia bond0 […]