DRBD + Heartbeat + MySQL 활용

DRBD 를 처음 소개 할때 부터 나온 내용으로 mysql 의 경우 Enterprise 급의 경우 DRBD  사용을 공식적으로 사이트에서 인정하고 mysql custer 등과 비교 테이블까지 상세한 정보를 제공을 하고 있다.
http://mysql.com/drbd 
에 시간이 되면 한번 들어서 살펴 보면 좋을 것이다.

참고로 여기에서는 DRBD + Heartbeat 설치 부분 까지는 항상 같은 내용이라서 블로그의 앞에 DRBD 기본 설치하기 편을 읽으면 도움이 된다
.   DRBD-기본-설치
기본 설치부분은 중복이 되므로 여기에서는 생략한다.

Mysql
은 범용 데이터베이스로 중소 규모의 회사에서 많이 사용을 하고 있는데 일반적으로 이중화를 할 때 replication 정도만 해 놓고 사용을 하고 있다. 그래서 master 서버가 죽으면 서비스가 죽고 master 서버를 점검을 하여 다시 살리거나 살리지 못하는 경우에 replication 용으로 만들어 놓은 서버의 데이터를 가지고 다시 설정을 변경을 하여 master 로 사용을 하는 경우가 대부분이다
.
문제는 이렇게 중요한 데이터베이스 서버가 잠시라도 죽거나 서버의 하드웨어적 결함에 의해서 죽게 되는 경우에 파급되는 영향이 매우 크기 때문에 이중화를 고려하지 않을수 없게 된다.


비용대비 효과면에서 DRBD 를 활용을 하는 방법이 좋다고 생각이 되어 소개를 하고자 한다.
Mysql
을 양쪽 서버에 모두 설치를 하고 mysql 이 사용하는 데이터 및 로그 쪽 파티션을 drbd 볼륨으로 지정을 하여 사용을 하며 heartbeat 에게 health check 권한 및 cluster ip 에 관련된 control 기능을 맞겨 서버 한대가 죽더라도 다른 서버가 동일한 DB를 가지고 계속 서비스를 할 수 있게 만든다
.

그럼 본론으로 들어가서 실제 작업을 해보도록 하자
.
apt-get
을 사용하여 mysql 을 설치를 한다
.
양쪽 서버 모두 동일하게 설치를 한다.







dongho7:~# apt-get install mysql-server
Reading package lists… Done
Building dependency tree… Done
The following extra packages will be installed:
libdbd-mysql-perl libdbi-perl libmysqlclient15off libnet-daemon-perl
  libplrpc-perl mysql-client-5.0 mysql-common mysql-server-5.0
Suggested packages:
  dbishell libcompress-zlib-perl tinyca
The following NEW packages will be installed:
  libdbd-mysql-perl libdbi-perl libmysqlclient15off libnet-daemon-perl
  libplrpc-perl mysql-client-5.0 mysql-common mysql-server mysql-server-5.0
0 upgraded, 9 newly installed, 0 to remove and 0 not upgraded.
Need to get 35.2MB of archives.
After unpacking 91.0MB of additional disk space will be used.
Do you want to continue [Y/n]?
y



우선 mysql 데몬을 내리고 후에 Heartbeat 에서 resource 를 관리를 위해서 부팅시 자동 시작 되지 않도록 처리를 한다.







dongho7:~# /etc/init.d/mysql stop
Stopping MySQL database server: mysqld.

dongho7:~#
update-rc.d -f mysql remove
 Removing any system startup links for /etc/init.d/mysql …
   /etc/rc0.d/K21mysql
   /etc/rc1.d/K21mysql
   /etc/rc2.d/S19mysql
   /etc/rc3.d/S19mysql
   /etc/rc4.d/S19mysql
   /etc/rc5.d/S19mysql
   /etc/rc6.d/K21mysql



mysql
에서 사용하는 파일들을 primary 서버에서 DRBD 볼륨으로 데이타를 옮겨 놓는다.
/var/lib/mysql, /var/log/mysql
만 옮기고 링크를 건다
.
참고로 mysql.err mysql.log 는 안 옮겨도 서비스에 지장이 없어서 옮기지 않았다
.
또한 /var/run/mysqld 또한 pid socket 파일만 있는데 이건 옮겨 놓으면 오히려 문제가 발생할 가능성이 있어 옮기지 않았다. pid socket 파일이 지워지지 않은채 다은 서버로 넘어 오는 경우 데몬을 못 띄울 수도 있기 때문이다. 그리고 /etc/mysql 은 한번 설정하면 변경 될일이 거의 없어 DRBD 볼륨으로 이동을 하지 않았다.







dongho7:~# drbdadm state cluster
Primary/Secondary

dongho7:~#
df
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/sda1               972404    185444    737564  21% /
tmpfs                   251984         0    251984   0% /lib/init/rw
udev                     10240        44     10196   1% /dev
tmpfs                   251984         0    251984   0% /dev/shm
/dev/sda2              4814968   1052896   3517484  24% /usr
/dev/sda5              2893628    295024   2451612  11% /var
none                    251984         0    251984   0% /dev/shm
/dev/drbd0            28841816    176268  27200472   1% /drbd/cluster

dongho7:~#
cp -a /var/lib/mysql /var/lib/mysql.bak
dongho7:~#
mv /var/lib/mysql /drbd/cluster/var_lib_mysql
dongho7:~#
ln -s /drbd/cluster/var_lib_mysql /var/lib/mysql
dongho7:~# ls -l /var/lib/mysql

lrwxrwxrwx 1 root root 27 Sep 12 09:21 /var/lib/mysql -> /drbd/cluster/var_lib_mysql

dongho7:~#
cp -a /var/log/mysql /var/log/mysql.bak
dongho7:~#
mv /var/log/mysql /drbd/cluster/var_log_mysql
dongho7:~#
ln -s /drbd/cluster/var_log_mysql /var/log/mysql
dongho7:~#
ls -l /var/log/mysql
lrwxrwxrwx 1 root root 27 Sep 12 09:41 /var/log/mysql -> /drbd/cluster/var_log_mysql

dongho7:~#
ls -l /drbd/cluster/

total 64
drwx—— 2 root  root  16384 Sep  9 13:12 lost+found
drwxr-xr-x 2 root  root  20480 Sep  9 17:43 test
drwxr-xr-x 3 mysql mysql  4096 Sep 12 09:02 var_lib_mysql
drwxr-xr-x 6 statd root   4096 Sep 12 08:27 var_lib_nfs
drwxr-s— 2 mysql adm    4096 Sep 12 09:02 var_log_mysql
drwxr-xr-x 2 root  root  16384 Sep  9 17:42 z



Secondary
서버에서는 다음과 같이 작업을 한다.
primary 에서 이미 데이타를 옮겼기 때문에 두번 mv 하여 데이타를 옮겨 넣을 필요가 없이 그냥 링크만 걸면 된다.







dongho8:~# cp -a /var/lib/mysql /var/lib/mysql.bak
dongho8:~#
ln -s /drbd/cluster/var_lib_mysql /var/lib/mysql
dongho8:~#
ls -l /var/lib/mysql
lrwxrwxrwx 1 root root 27 Sep 12 09:51 /var/lib/mysql -> /drbd/cluster/var_lib_mysql


dongho8:~# cp -a /var/log/mysql /var/log/mysql.bak
dongho8:~#
ln -s /drbd/cluster/var_log_mysql /var/log/mysql
dongho8:~#
ls -l /var/log/mysql
lrwxrwxrwx 1 root root 27 Sep 12 09:53 /var/log/mysql -> /drbd/cluster/var_log_mysql



설정 파일을 primary/secondary 를 동일하게 맞추도록 한다.
primary
서버에서 secondary 서버로 설정 파일을 복사하여 엎어 버린다.







dongho7:~# scp -r /etc/mysql dongho8:/etc
root@dongho8’s password:
debian-start                                  100% 1114     1.1KB/s   00:00
old_passwords.cnf                             100%   52     0.1KB/s   00:00
my.cnf                                        100% 3636     3.6KB/s   00:00
debian.cnf                                    100%  312     0.3KB/s   00:00



이제 중요한 heartbeat resources 파일을 설정 하면 된다.







dongho7:~# vi /etc/ha.d/haresources
dongho7:~#
cat /etc/ha.d/haresources
dongho7 drbddisk::cluster \
        Filesystem::/dev/drbd0::/drbd/cluster::ext3::noatime,nodiratime \
        mysql \
        Delay::1::0 \
        IPaddr::10.30.6.10/24/eth0



dongho8:~# vi /etc/ha.d/haresources
dongho8:~# cat /etc/ha.d/haresources

dongho8 drbddisk::cluster \
        Filesystem::/dev/drbd0::/drbd/cluster::ext3::noatime,nodiratime \
        mysql \
        Delay::1::0 \
        IPaddr::10.30.6.10/24/eth0



이제 적용을 해보도록 한다.
데몬을 재시작 한다.







dongho8:~# /etc/init.d/heartbeat restart
Stopping High-Availability services:
Done.


Waiting to allow resource takeover to complete:
Done.


Starting High-Availability services:
Done.

dongho7:~#
/etc/init.d/heartbeat restart

Stopping High-Availability services:
Done.


Waiting to allow resource takeover to complete:
Done.


Starting High-Availability services:
Done.



다음과 같이 정상적으로 작동이 됨을 볼 수 있다.
failover
dongho8 에서 heartbeat 데몬을 재시작 하면 dongho7 로 잘 넘어가면서 mysql 데몬도 정상 작동 됨을 알 수 있게 된다.







dongho8:~# ip addr show
1: lo: <LOOPBACK,UP,10000> mtu 16436 qdisc noqueue
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
2: bond0: <BROADCAST,MULTICAST,MASTER> mtu 1500 qdisc noop
    link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff
3: dummy0: <BROADCAST,NOARP> mtu 1500 qdisc noop
    link/ether 7a:3b:51:05:b7:1f brd ff:ff:ff:ff:ff:ff
4: eth0: <BROADCAST,MULTICAST,UP,10000> mtu 1500 qdisc pfifo_fast qlen 1000
    link/ether 00:19:66:16:58:11 brd ff:ff:ff:ff:ff:ff
    inet 10.30.6.14/24 brd 10.30.6.255 scope global eth0
    inet 10.30.6.10/24 brd 10.30.6.255 scope global secondary eth0:0
5: eth1: <BROADCAST,MULTICAST,UP,10000> mtu 1500 qdisc pfifo_fast qlen 1000
    link/ether 00:0e:2e:f7:03:d5 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.14/24 brd 192.168.0.255 scope global eth1

dongho8:~#
/etc/init.d/mysql status
/usr/bin/mysqladmin  Ver 8.41 Distrib 5.0.32, for pc-linux-gnu on i486
Copyright (C) 2000 MySQL AB & MySQL Finland AB & TCX DataKonsult AB
This software comes with ABSOLUTELY NO WARRANTY. This is free software,
and you are welcome to modify and redistribute it under the GPL license


Server version          5.0.32-Debian_7etch6-log
Protocol version        10
Connection              Localhost via UNIX socket
UNIX socket             /var/run/mysqld/mysqld.sock
Uptime:                 51 sec


Threads: 1  Questions: 135  Slow queries: 0  Opens: 135  Flush tables: 1  Open tables: 17  Queries per second avg: 2.647.

dongho8:~# /etc/init.d/heartbeat restart
Stopping High-Availability services:
Done.


Waiting to allow resource takeover to complete:
Done.


Starting High-Availability services:
Done.


dongho8:~# /etc/init.d/mysql status
MySQL is stopped..

dongho7:~#
/etc/init.d/mysql status
/usr/bin/mysqladmin  Ver 8.41 Distrib 5.0.32, for pc-linux-gnu on i486
Copyright (C) 2000 MySQL AB & MySQL Finland AB & TCX DataKonsult AB
This software comes with ABSOLUTELY NO WARRANTY. This is free software,
and you are welcome to modify and redistribute it under the GPL license


Server version          5.0.32-Debian_7etch6-log
Protocol version        10
Connection              Localhost via UNIX socket
UNIX socket             /var/run/mysqld/mysqld.sock
Uptime:                 32 sec


Threads: 1  Questions: 138  Slow queries: 0  Opens: 135  Flush tables: 1  Open tables: 17  Queries per second avg: 4.312.





좀더 실전에서의 상황을 만들어서 failover 를 시켜 보도록 한다.
기본적으로 MySQL 서버는 순수히 DB 서버로만 사용을 하고 외부에 웹서버가 있다고 가정을 하고 총 3대의 서버에서 테스트를 해본다
.

우선 기본 설치되어 있는 상태 이므로 bind address 127.0.0.1  만 허용되어 있을 것이므로 이를 주석 처리를 양쪽 서버에서 모두 한다. 그래야 외부에서 접근이 가능 하게 된다.







dongho7:~# vi /etc/mysql/my.cnf
dongho7:~#
grep bind /etc/mysql/my.cnf
#bind-address           = 127.0.0.1

dongho8:~#
vi /etc/mysql/my.cnf
dongho8:~#
grep bind /etc/mysql/my.cnf
#bind-address           = 127.0.0.1



이제 적용을 위해 mysql 데몬을 재 시작 해야 하는데  heartbeat 에게 요청을 하면 된다.
primary 
서버에서 heartbeat 를 재시작 하면 간단히 secondary  로 리소스를 넘겨 주면서 적용이 된다
.
아래 0.0.0.0:3306 로 정상 작동 된 것을 확인 할 수 있다.







dongho7:~# /etc/init.d/heartbeat restart
Stopping High-Availability services:
Done.


Waiting to allow resource takeover to complete:
Done.


Starting High-Availability services:
Done.

dongho8:~#
/etc/init.d/mysql status

/usr/bin/mysqladmin  Ver 8.41 Distrib 5.0.32, for pc-linux-gnu on i486
Copyright (C) 2000 MySQL AB & MySQL Finland AB & TCX DataKonsult AB
This software comes with ABSOLUTELY NO WARRANTY. This is free software,
and you are welcome to modify and redistribute it under the GPL license


Server version          5.0.32-Debian_7etch6-log
Protocol version        10
Connection              Localhost via UNIX socket
UNIX socket             /var/run/mysqld/mysqld.sock
Uptime:                 1 min 13 sec


Threads: 1  Questions: 143  Slow queries: 0  Opens: 135  Flush tables: 1  Open tables: 17  Queries per second avg: 1.959.

dongho8:~#
netstat -nl

Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State
tcp        0      0 0.0.0.0:3306            0.0.0.0:*               LISTEN
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN
tcp        0      0 0.0.0.0:113             0.0.0.0:*               LISTEN
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN
udp        0      0 0.0.0.0:694             0.0.0.0:*
udp        0      0 0.0.0.0:40397           0.0.0.0:*
udp        0      0 0.0.0.0:111             0.0.0.0:*
raw        0      0 0.0.0.0:1               0.0.0.0:*               7
Active UNIX domain sockets (only servers)
Proto RefCnt Flags       Type       State         I-Node Path
unix  2      [ ACC ]     STREAM     LISTENING     39839    /var/run/heartbeat/register
unix  2      [ ACC ]     STREAM     LISTENING     40635    /var/run/mysqld/mysqld.sock
unix  2      [ ACC ]     STREAM     LISTENING     4374     /var/lib/log_daemon



mysql
데몬이 떠 있는 primary 서버에서 외부에서 접속을 위한 계정을 만든다.
접속을 허용할 웹 서버 아이피는 10.30.6.11 를 사용했다.







dongho8:~# mysql mysql
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A


Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 16
Server version: 5.0.32-Debian_7etch6-log Debian etch distribution


Type ‘help;’ or ‘\h’ for help. Type ‘\c’ to clear the buffer.


mysql> grant all privileges on dongho.* to dongho@’10.30.6.11′ identified by ‘p@ssw0rd’ with grant option;
Query OK, 0 rows affected (0.00 sec)
mysql>
create database dongho;

Query OK, 1 row affected (0.01 sec)
mysql>
flush privileges;
Query OK, 0 rows affected (0.00 sec)



10.30.6.11
번 서버에서 접속을 하여 테스트용 테이블을 만들어 본다.







dongho3:~# mysql -h 10.30.6.10 -u dongho -p dongho
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 20
Server version: 5.0.32-Debian_7etch6-log Debian etch distribution


Type ‘help;’ or ‘\h’ for help. Type ‘\c’ to clear the buffer.


mysql> show tables;
Empty set (0.00 sec)


mysql> create table test (uid int(10) auto_increment, id int(10), primary key(uid));
Query OK, 0 rows affected (0.06 sec)


mysql> desc test;
+——-+———+——+—–+———+—————-+
| Field | Type    | Null | Key | Default | Extra          |
+——-+———+——+—–+———+—————-+
| uid   | int(10) | NO   | PRI | NULL    | auto_increment |
| id    | int(10) | YES  |     | NULL    |                |
+——-+———+——+—–+———+—————-+
2 rows in set (0.00 sec)


mysql>



10.30.6.11
번 서버에서 이제 데이터를 넣는 도중에 다른 서버로 resource 를 넘겨도 정상 작동이 되는지 살펴 보도록 한다. 아래 명령어를 입력 후 바로 primary  서버에서 heartbeat 데몬을 재시작을 하도록 한다.
그러면 resource secondary 서버로 넘어가면서 잠시 끊어졌다가 다시 서비스가 되게 된다.







dongho3:~# for a in `seq 1 500`
>
do
>
printf “$a “
> mysql -e “insert into test values($a,$a)” -h 10.30.6.10 -udongho
-pp@ssw0rd dongho
> done

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 447 448 449 450 451 452 453 454 455 456 457 458 459 460 461 462 463 464 465 466 467 468 469 470 471 472 473 474 475 476 477 478 479 480 481 482 483 484 485 486 487 488 489 490 491 492 493 494 495 496 497 498 499 500

dongho8:~#
/etc/init.d/heartbeat restart
Stopping High-Availability services:
Done.


Waiting to allow resource takeover to complete:
Done.


Starting High-Availability services:
Done.



이제 데이터가 500개를 넣었는데 중간에 resource 가 넘어가면서 데이터를 짤라 먹지는 않았는지 살펴 보자.
500
개 모두 잘 들어 간 것을 볼 수 있다.







dongho3:~# mysql -h 10.30.6.10 -u dongho -p dongho
Enter password:
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A


Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 388
Server version: 5.0.32-Debian_7etch6-log Debian etch distribution


Type ‘help;’ or ‘\h’ for help. Type ‘\c’ to clear the buffer.


mysql> select count(uid) from test;
+————+
| count(uid) |
+————+
|        500 |
+————+
1 row in set (0.00 sec)


mysql> select * from test order by uid desc limit 3;
+—–+——+
| uid | id   |
+—–+——+
| 500 |  500 |
| 499 |  499 |
| 498 |  498 |
+—–+——+
3 rows in set (0.00 sec)



하지만 좀더 가혹한 테스트를 진행해 보자.
load data
를 하여 큰 파일을 로딩을 하여 데이터를 입력 하는 도중 resource 를 넘겨 보자
.
우선 100만 줄 짜리 파일을 만든다
.
그리고 mysql 에 접속하여 100만 줄 짜리 파일을 로딩을 하여 테이블에 넣고 있을때 primary 서버에서 heartbeat 데몬을 재시작을 하게 되면 load data 하던 세션이 끊어지면서 lost connection 이 떨어지게 된다.







dongho3:~# seq 1 1000000 |awk ‘{print $1″,”$1}’ >bigfile
dongho3:~#
wc -l bigfile
1000000 bigfile
dongho3:~#
mysql -h 10.30.6.10 -u dongho -p –local-infile dongho
Enter password:
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A


Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 389
Server version: 5.0.32-Debian_7etch6-log Debian etch distribution


Type ‘help;’ or ‘\h’ for help. Type ‘\c’ to clear the buffer.


mysql> load data local infile ‘/root/bigfile’ into table test;
ERROR 2013 (HY000): Lost connection to MySQL server during query
mysql>



데이터가 얼마나 들어 오다가 끊어졌는지 살펴 보자.
접속이 끊어져 있다가 다시 접속을 하는 메세지도 보인다
.
36만 줄 넘게 넣다가 세션이 짤린 것이다.







mysql> select count(uid) from test;
ERROR 2006 (HY000): MySQL server has gone away
No connection. Trying to reconnect…
Connection id:    14
Current database: dongho


+————+
| count(uid) |
+————+
|     361106 |
+————+
1 row in set (0.01 sec)


 



결론은 물로 있던 세션의 경우 failover 시에 해당 작업은 문제가 생기지만 일반적인 짧은 쿼리의 경우는 별 문제 없이 처리가 됨을 알 수 있다.

아래는 failover를 동영상 버전으로 만든 것이다
.
play
후 더블 클릭하면 큰 화면으로 볼 수 있다.


 


서진우

슈퍼컴퓨팅 전문 기업 클루닉스/ 상무(기술이사)/ 정보시스템감리사/ 시스존 블로그 운영자

You may also like...

페이스북/트위트/구글 계정으로 댓글 가능합니다.