DRBD 를 처음 소개 할때 부터 나온 내용으로 mysql 의 경우 Enterprise 급의 경우 DRBD 사용을 공식적으로 사이트에서 인정하고 mysql custer 등과 비교 테이블까지 상세한 정보를 제공을 하고 있다.
http://mysql.com/drbd 에 시간이 되면 한번 들어서 살펴 보면 좋을 것이다.
참고로 여기에서는 DRBD + Heartbeat 설치 부분 까지는 항상 같은 내용이라서 블로그의 앞에 DRBD 기본 설치하기 편을 읽으면 도움이 된다. DRBD-기본-설치
기본 설치부분은 중복이 되므로 여기에서는 생략한다.
Mysql은 범용 데이터베이스로 중소 규모의 회사에서 많이 사용을 하고 있는데 일반적으로 이중화를 할 때 replication 정도만 해 놓고 사용을 하고 있다. 그래서 master 서버가 죽으면 서비스가 죽고 master 서버를 점검을 하여 다시 살리거나 살리지 못하는 경우에 replication 용으로 만들어 놓은 서버의 데이터를 가지고 다시 설정을 변경을 하여 master 로 사용을 하는 경우가 대부분이다.
문제는 이렇게 중요한 데이터베이스 서버가 잠시라도 죽거나 서버의 하드웨어적 결함에 의해서 죽게 되는 경우에 파급되는 영향이 매우 크기 때문에 이중화를 고려하지 않을수 없게 된다.
비용대비 효과면에서 DRBD 를 활용을 하는 방법이 좋다고 생각이 되어 소개를 하고자 한다.
Mysql 을 양쪽 서버에 모두 설치를 하고 mysql 이 사용하는 데이터 및 로그 쪽 파티션을 drbd 볼륨으로 지정을 하여 사용을 하며 heartbeat 에게 health check 권한 및 cluster ip 에 관련된 control 기능을 맞겨 서버 한대가 죽더라도 다른 서버가 동일한 DB를 가지고 계속 서비스를 할 수 있게 만든다.
그럼 본론으로 들어가서 실제 작업을 해보도록 하자.
apt-get 을 사용하여 mysql 을 설치를 한다.
양쪽 서버 모두 동일하게 설치를 한다.
dongho7:~# apt-get install mysql-server
Reading package lists… Done
Building dependency tree… Done
The following extra packages will be installed:
libdbd-mysql-perl libdbi-perl libmysqlclient15off libnet-daemon-perl
libplrpc-perl mysql-client-5.0 mysql-common mysql-server-5.0
Suggested packages:
dbishell libcompress-zlib-perl tinyca
The following NEW packages will be installed:
libdbd-mysql-perl libdbi-perl libmysqlclient15off libnet-daemon-perl
libplrpc-perl mysql-client-5.0 mysql-common mysql-server mysql-server-5.0
0 upgraded, 9 newly installed, 0 to remove and 0 not upgraded.
Need to get 35.2MB of archives.
After unpacking 91.0MB of additional disk space will be used.
Do you want to continue [Y/n]? y |
우선 mysql 데몬을 내리고 후에 Heartbeat 에서 resource 를 관리를 위해서 부팅시 자동 시작 되지 않도록 처리를 한다.
dongho7:~# /etc/init.d/mysql stop
Stopping MySQL database server: mysqld.
dongho7:~# update-rc.d -f mysql remove
Removing any system startup links for /etc/init.d/mysql …
/etc/rc0.d/K21mysql
/etc/rc1.d/K21mysql
/etc/rc2.d/S19mysql
/etc/rc3.d/S19mysql
/etc/rc4.d/S19mysql
/etc/rc5.d/S19mysql
/etc/rc6.d/K21mysql |
mysql에서 사용하는 파일들을 primary 서버에서 DRBD 볼륨으로 데이타를 옮겨 놓는다.
/var/lib/mysql, /var/log/mysql 만 옮기고 링크를 건다.
참고로 mysql.err 랑 mysql.log 는 안 옮겨도 서비스에 지장이 없어서 옮기지 않았다.
또한 /var/run/mysqld 또한 pid 와 socket 파일만 있는데 이건 옮겨 놓으면 오히려 문제가 발생할 가능성이 있어 옮기지 않았다. pid 나 socket 파일이 지워지지 않은채 다은 서버로 넘어 오는 경우 데몬을 못 띄울 수도 있기 때문이다. 그리고 /etc/mysql 은 한번 설정하면 변경 될일이 거의 없어 DRBD 볼륨으로 이동을 하지 않았다.
dongho7:~# drbdadm state cluster
Primary/Secondary
dongho7:~# df
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/sda1 972404 185444 737564 21% /
tmpfs 251984 0 251984 0% /lib/init/rw
udev 10240 44 10196 1% /dev
tmpfs 251984 0 251984 0% /dev/shm
/dev/sda2 4814968 1052896 3517484 24% /usr
/dev/sda5 2893628 295024 2451612 11% /var
none 251984 0 251984 0% /dev/shm
/dev/drbd0 28841816 176268 27200472 1% /drbd/cluster
dongho7:~# cp -a /var/lib/mysql /var/lib/mysql.bak
dongho7:~# mv /var/lib/mysql /drbd/cluster/var_lib_mysql
dongho7:~# ln -s /drbd/cluster/var_lib_mysql /var/lib/mysql
dongho7:~# ls -l /var/lib/mysql
lrwxrwxrwx 1 root root 27 Sep 12 09:21 /var/lib/mysql -> /drbd/cluster/var_lib_mysql
dongho7:~# cp -a /var/log/mysql /var/log/mysql.bak
dongho7:~# mv /var/log/mysql /drbd/cluster/var_log_mysql
dongho7:~# ln -s /drbd/cluster/var_log_mysql /var/log/mysql
dongho7:~# ls -l /var/log/mysql
lrwxrwxrwx 1 root root 27 Sep 12 09:41 /var/log/mysql -> /drbd/cluster/var_log_mysql
dongho7:~# ls -l /drbd/cluster/
total 64
drwx—— 2 root root 16384 Sep 9 13:12 lost+found
drwxr-xr-x 2 root root 20480 Sep 9 17:43 test
drwxr-xr-x 3 mysql mysql 4096 Sep 12 09:02 var_lib_mysql
drwxr-xr-x 6 statd root 4096 Sep 12 08:27 var_lib_nfs
drwxr-s— 2 mysql adm 4096 Sep 12 09:02 var_log_mysql
drwxr-xr-x 2 root root 16384 Sep 9 17:42 z |
Secondary 서버에서는 다음과 같이 작업을 한다.
즉 primary 에서 이미 데이타를 옮겼기 때문에 두번 mv 하여 데이타를 옮겨 넣을 필요가 없이 그냥 링크만 걸면 된다.
dongho8:~# cp -a /var/lib/mysql /var/lib/mysql.bak
dongho8:~# ln -s /drbd/cluster/var_lib_mysql /var/lib/mysql
dongho8:~# ls -l /var/lib/mysql
lrwxrwxrwx 1 root root 27 Sep 12 09:51 /var/lib/mysql -> /drbd/cluster/var_lib_mysql
dongho8:~# cp -a /var/log/mysql /var/log/mysql.bak
dongho8:~# ln -s /drbd/cluster/var_log_mysql /var/log/mysql
dongho8:~# ls -l /var/log/mysql
lrwxrwxrwx 1 root root 27 Sep 12 09:53 /var/log/mysql -> /drbd/cluster/var_log_mysql |
설정 파일을 primary/secondary 를 동일하게 맞추도록 한다.
primary 서버에서 secondary 서버로 설정 파일을 복사하여 엎어 버린다.
dongho7:~# scp -r /etc/mysql dongho8:/etc
root@dongho8’s password:
debian-start 100% 1114 1.1KB/s 00:00
old_passwords.cnf 100% 52 0.1KB/s 00:00
my.cnf 100% 3636 3.6KB/s 00:00
debian.cnf 100% 312 0.3KB/s 00:00 |
이제 중요한 heartbeat resources 파일을 설정 하면 된다.
dongho7:~# vi /etc/ha.d/haresources
dongho7:~# cat /etc/ha.d/haresources
dongho7 drbddisk::cluster \
Filesystem::/dev/drbd0::/drbd/cluster::ext3::noatime,nodiratime \
mysql \
Delay::1::0 \
IPaddr::10.30.6.10/24/eth0
dongho8:~# vi /etc/ha.d/haresources
dongho8:~# cat /etc/ha.d/haresources
dongho8 drbddisk::cluster \
Filesystem::/dev/drbd0::/drbd/cluster::ext3::noatime,nodiratime \
mysql \
Delay::1::0 \
IPaddr::10.30.6.10/24/eth0
|
이제 적용을 해보도록 한다.
데몬을 재시작 한다.
dongho8:~# /etc/init.d/heartbeat restart
Stopping High-Availability services:
Done.
Waiting to allow resource takeover to complete:
Done.
Starting High-Availability services:
Done.
dongho7:~# /etc/init.d/heartbeat restart
Stopping High-Availability services:
Done.
Waiting to allow resource takeover to complete:
Done.
Starting High-Availability services:
Done. |
다음과 같이 정상적으로 작동이 됨을 볼 수 있다.
failover 도 dongho8 에서 heartbeat 데몬을 재시작 하면 dongho7 로 잘 넘어가면서 mysql 데몬도 정상 작동 됨을 알 수 있게 된다.
dongho8:~# ip addr show
1: lo: <LOOPBACK,UP,10000> mtu 16436 qdisc noqueue
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
2: bond0: <BROADCAST,MULTICAST,MASTER> mtu 1500 qdisc noop
link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff
3: dummy0: <BROADCAST,NOARP> mtu 1500 qdisc noop
link/ether 7a:3b:51:05:b7:1f brd ff:ff:ff:ff:ff:ff
4: eth0: <BROADCAST,MULTICAST,UP,10000> mtu 1500 qdisc pfifo_fast qlen 1000
link/ether 00:19:66:16:58:11 brd ff:ff:ff:ff:ff:ff
inet 10.30.6.14/24 brd 10.30.6.255 scope global eth0
inet 10.30.6.10/24 brd 10.30.6.255 scope global secondary eth0:0
5: eth1: <BROADCAST,MULTICAST,UP,10000> mtu 1500 qdisc pfifo_fast qlen 1000
link/ether 00:0e:2e:f7:03:d5 brd ff:ff:ff:ff:ff:ff
inet 192.168.0.14/24 brd 192.168.0.255 scope global eth1
dongho8:~# /etc/init.d/mysql status
/usr/bin/mysqladmin Ver 8.41 Distrib 5.0.32, for pc-linux-gnu on i486
Copyright (C) 2000 MySQL AB & MySQL Finland AB & TCX DataKonsult AB
This software comes with ABSOLUTELY NO WARRANTY. This is free software,
and you are welcome to modify and redistribute it under the GPL license
Server version 5.0.32-Debian_7etch6-log
Protocol version 10
Connection Localhost via UNIX socket
UNIX socket /var/run/mysqld/mysqld.sock
Uptime: 51 sec
Threads: 1 Questions: 135 Slow queries: 0 Opens: 135 Flush tables: 1 Open tables: 17 Queries per second avg: 2.647.
dongho8:~# /etc/init.d/heartbeat restart
Stopping High-Availability services:
Done.
Waiting to allow resource takeover to complete:
Done.
Starting High-Availability services:
Done.
dongho8:~# /etc/init.d/mysql status
MySQL is stopped..
dongho7:~# /etc/init.d/mysql status
/usr/bin/mysqladmin Ver 8.41 Distrib 5.0.32, for pc-linux-gnu on i486
Copyright (C) 2000 MySQL AB & MySQL Finland AB & TCX DataKonsult AB
This software comes with ABSOLUTELY NO WARRANTY. This is free software,
and you are welcome to modify and redistribute it under the GPL license
Server version 5.0.32-Debian_7etch6-log
Protocol version 10
Connection Localhost via UNIX socket
UNIX socket /var/run/mysqld/mysqld.sock
Uptime: 32 sec
Threads: 1 Questions: 138 Slow queries: 0 Opens: 135 Flush tables: 1 Open tables: 17 Queries per second avg: 4.312. |
좀더 실전에서의 상황을 만들어서 failover 를 시켜 보도록 한다.
기본적으로 MySQL 서버는 순수히 DB 서버로만 사용을 하고 외부에 웹서버가 있다고 가정을 하고 총 3대의 서버에서 테스트를 해본다.
우선 기본 설치되어 있는 상태 이므로 bind address 가 127.0.0.1 만 허용되어 있을 것이므로 이를 주석 처리를 양쪽 서버에서 모두 한다. 그래야 외부에서 접근이 가능 하게 된다.
dongho7:~# vi /etc/mysql/my.cnf
dongho7:~# grep bind /etc/mysql/my.cnf
#bind-address = 127.0.0.1
dongho8:~# vi /etc/mysql/my.cnf
dongho8:~# grep bind /etc/mysql/my.cnf
#bind-address = 127.0.0.1 |
이제 적용을 위해 mysql 데몬을 재 시작 해야 하는데 heartbeat 에게 요청을 하면 된다.
primary 서버에서 heartbeat 를 재시작 하면 간단히 secondary 로 리소스를 넘겨 주면서 적용이 된다.
아래 0.0.0.0:3306 로 정상 작동 된 것을 확인 할 수 있다.
dongho7:~# /etc/init.d/heartbeat restart
Stopping High-Availability services:
Done.
Waiting to allow resource takeover to complete:
Done.
Starting High-Availability services:
Done.
dongho8:~# /etc/init.d/mysql status
/usr/bin/mysqladmin Ver 8.41 Distrib 5.0.32, for pc-linux-gnu on i486
Copyright (C) 2000 MySQL AB & MySQL Finland AB & TCX DataKonsult AB
This software comes with ABSOLUTELY NO WARRANTY. This is free software,
and you are welcome to modify and redistribute it under the GPL license
Server version 5.0.32-Debian_7etch6-log
Protocol version 10
Connection Localhost via UNIX socket
UNIX socket /var/run/mysqld/mysqld.sock
Uptime: 1 min 13 sec
Threads: 1 Questions: 143 Slow queries: 0 Opens: 135 Flush tables: 1 Open tables: 17 Queries per second avg: 1.959.
dongho8:~# netstat -nl
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State
tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:113 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN
udp 0 0 0.0.0.0:694 0.0.0.0:*
udp 0 0 0.0.0.0:40397 0.0.0.0:*
udp 0 0 0.0.0.0:111 0.0.0.0:*
raw 0 0 0.0.0.0:1 0.0.0.0:* 7
Active UNIX domain sockets (only servers)
Proto RefCnt Flags Type State I-Node Path
unix 2 [ ACC ] STREAM LISTENING 39839 /var/run/heartbeat/register
unix 2 [ ACC ] STREAM LISTENING 40635 /var/run/mysqld/mysqld.sock
unix 2 [ ACC ] STREAM LISTENING 4374 /var/lib/log_daemon |
mysql 데몬이 떠 있는 primary 서버에서 외부에서 접속을 위한 계정을 만든다.
접속을 허용할 웹 서버 아이피는 10.30.6.11 를 사용했다.
dongho8:~# mysql mysql
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 16
Server version: 5.0.32-Debian_7etch6-log Debian etch distribution
Type ‘help;’ or ‘\h’ for help. Type ‘\c’ to clear the buffer.
mysql> grant all privileges on dongho.* to dongho@’10.30.6.11′ identified by ‘p@ssw0rd’ with grant option;
Query OK, 0 rows affected (0.00 sec)
mysql> create database dongho;
Query OK, 1 row affected (0.01 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec) |
10.30.6.11 번 서버에서 접속을 하여 테스트용 테이블을 만들어 본다.
dongho3:~# mysql -h 10.30.6.10 -u dongho -p dongho
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 20
Server version: 5.0.32-Debian_7etch6-log Debian etch distribution
Type ‘help;’ or ‘\h’ for help. Type ‘\c’ to clear the buffer.
mysql> show tables;
Empty set (0.00 sec)
mysql> create table test (uid int(10) auto_increment, id int(10), primary key(uid));
Query OK, 0 rows affected (0.06 sec)
mysql> desc test;
+——-+———+——+—–+———+—————-+
| Field | Type | Null | Key | Default | Extra |
+——-+———+——+—–+———+—————-+
| uid | int(10) | NO | PRI | NULL | auto_increment |
| id | int(10) | YES | | NULL | |
+——-+———+——+—–+———+—————-+
2 rows in set (0.00 sec)
mysql> |
10.30.6.11 번 서버에서 이제 데이터를 넣는 도중에 다른 서버로 resource 를 넘겨도 정상 작동이 되는지 살펴 보도록 한다. 아래 명령어를 입력 후 바로 primary 서버에서 heartbeat 데몬을 재시작을 하도록 한다.
그러면 resource 가 secondary 서버로 넘어가면서 잠시 끊어졌다가 다시 서비스가 되게 된다.
dongho3:~# for a in `seq 1 500`
> do
> printf “$a “
> mysql -e “insert into test values($a,$a)” -h 10.30.6.10 -udongho -pp@ssw0rd dongho
> done
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 447 448 449 450 451 452 453 454 455 456 457 458 459 460 461 462 463 464 465 466 467 468 469 470 471 472 473 474 475 476 477 478 479 480 481 482 483 484 485 486 487 488 489 490 491 492 493 494 495 496 497 498 499 500
dongho8:~# /etc/init.d/heartbeat restart
Stopping High-Availability services:
Done.
Waiting to allow resource takeover to complete:
Done.
Starting High-Availability services:
Done. |
이제 데이터가 500개를 넣었는데 중간에 resource 가 넘어가면서 데이터를 짤라 먹지는 않았는지 살펴 보자.
500개 모두 잘 들어 간 것을 볼 수 있다.
dongho3:~# mysql -h 10.30.6.10 -u dongho -p dongho
Enter password:
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 388
Server version: 5.0.32-Debian_7etch6-log Debian etch distribution
Type ‘help;’ or ‘\h’ for help. Type ‘\c’ to clear the buffer.
mysql> select count(uid) from test;
+————+
| count(uid) |
+————+
| 500 |
+————+
1 row in set (0.00 sec)
mysql> select * from test order by uid desc limit 3;
+—–+——+
| uid | id |
+—–+——+
| 500 | 500 |
| 499 | 499 |
| 498 | 498 |
+—–+——+
3 rows in set (0.00 sec) |
하지만 좀더 가혹한 테스트를 진행해 보자.
load data 를 하여 큰 파일을 로딩을 하여 데이터를 입력 하는 도중 resource 를 넘겨 보자.
우선 100만 줄 짜리 파일을 만든다.
그리고 mysql 에 접속하여 100만 줄 짜리 파일을 로딩을 하여 테이블에 넣고 있을때 primary 서버에서 heartbeat 데몬을 재시작을 하게 되면 load data 하던 세션이 끊어지면서 lost connection 이 떨어지게 된다.
dongho3:~# seq 1 1000000 |awk ‘{print $1″,”$1}’ >bigfile
dongho3:~# wc -l bigfile
1000000 bigfile
dongho3:~# mysql -h 10.30.6.10 -u dongho -p –local-infile dongho
Enter password:
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 389
Server version: 5.0.32-Debian_7etch6-log Debian etch distribution
Type ‘help;’ or ‘\h’ for help. Type ‘\c’ to clear the buffer.
mysql> load data local infile ‘/root/bigfile’ into table test;
ERROR 2013 (HY000): Lost connection to MySQL server during query
mysql> |
데이터가 얼마나 들어 오다가 끊어졌는지 살펴 보자.
접속이 끊어져 있다가 다시 접속을 하는 메세지도 보인다.
약 36만 줄 넘게 넣다가 세션이 짤린 것이다.
mysql> select count(uid) from test;
ERROR 2006 (HY000): MySQL server has gone away
No connection. Trying to reconnect…
Connection id: 14
Current database: dongho
+————+
| count(uid) |
+————+
| 361106 |
+————+
1 row in set (0.01 sec)
|
결론은 물로 있던 세션의 경우 failover 시에 해당 작업은 문제가 생기지만 일반적인 짧은 쿼리의 경우는 별 문제 없이 처리가 됨을 알 수 있다.
아래는 failover를 동영상 버전으로 만든 것이다.
play 후 더블 클릭하면 큰 화면으로 볼 수 있다.
![[클러스터] Encluster를 이용한 웹서버, MYSQL 서버 HA 하기](http://nblog.syszone.co.kr/wp-content/themes/hueman/assets/front/img/thumb-medium-empty.png)
