Lustre 구성을 위한 ISCSI 서버 구성 방법
# Lustre 구성을 위한 ISCSI 서버 구성 방법
작성일 : 2016년 3월 29일
작성자 : 서진우 (alang@clunix.com)
Lustre 스토리지 환경을 재대로 구성하기 위해서는 HBA 방식으로 연결 가능한 DAS
형태의 스토리지나 SAN 스토리지 환경이 필요하다.
이러한 고가의 스토리지 환경이 없는 경우, ISCSI 기술을 이용하여 Lustre 환경을
구축할 수도 있다.
본 문서는 HBA 연결 형태의 스토리지 없는 환경에서 ISCSI 기술을 이용하여 Lustre
스토리지 환경을 구축하는 방법에 대한 설명한다.
1 iscsi target 서버 디스크 구성
정식적인 DAS 나 SAN Storage 가 없는 상황에서 Lustre를 구성하고자 할때 iscsi-target
을 이용하는 방안에 대해 설명하고자 한다.
만일 500GB 디스크 1개, 1TB 디스크가 6개 장착된 Linux 서버의 경우,
500GB 는 MDT로, 1TB 디스크는 각각 OST1~OST6 으로 구성하고자 한다.
가급적 RAID 로 디스크 초기화 시 Block Size 는 128K 로 구성한다.
아래는 iscsi-target 구성 설계 사항이다.
MDT : /dev/sda3
OST : /dev/sd[b-g] (6개)
MDS01 서버 -> MDT1 [LUN1]
MDS02 서버 -> MDT1 [LUN1]
OSS01 서버 -> OST1 [LUN1,LUN2,LUN3] , OST2 [LUN1,LUN2,LUN3]
OSS02 서버 -> OST1 [LUN1,LUN2,LUN3] , OST2 [LUN1,LUN2,LUN3]
– iscsi target 서버 설치 및 구성
# yum install scsi-target-utils
# chkconfig –add tgtd
# chkconfig –list tgtd
# /etc/rc.d/init.d/tgtd start
// clunix.2016.03.com.lustre:mdt 의 target 을 생성 (MDT 용)
# tgtadm –lld iscsi –op new –mode target –tid 1 -T clunix.2016.03.com.lustre:mdt
// 생성된 target 확인
# tgtadm –lld iscsi –op show –mode target
# tgt-admin -s
Target 1: clunix.2016.03.com.lustre:ost1
System information:
Driver: iscsi
State: ready
I_T nexus information:
LUN information:
LUN: 0
Type: controller
SCSI ID: IET 00010000
SCSI SN: beaf10
Size: 0 MB, Block size: 1
Online: Yes
Removable media: No
Prevent removal: No
Readonly: No
Backing store type: null
Backing store path: None
Backing store flags:
Account information:
ACL information:
// clunix.2016.03.com.lustre:ost1, clunix.2016.03.com.lustre:ost2 target 생성 (OST 용)
tgtadm –lld iscsi –op new –mode target –tid 2 -T clunix.2016.03.com.lustre:ost1
tgtadm –lld iscsi –op new –mode target –tid 3 -T clunix.2016.03.com.lustre:ost2
// 각 target 에 디스크 추가로 LUN 구성
tgtadm –lld iscsi –op new –mode logicalunit –tid 1 –lun 1 -b /dev/sda3
tgtadm –lld iscsi –op new –mode logicalunit –tid 2 –lun 1 -b /dev/sdb
tgtadm –lld iscsi –op new –mode logicalunit –tid 2 –lun 2 -b /dev/sdc
tgtadm –lld iscsi –op new –mode logicalunit –tid 2 –lun 3 -b /dev/sdd
tgtadm –lld iscsi –op new –mode logicalunit –tid 3 –lun 1 -b /dev/sde
tgtadm –lld iscsi –op new –mode logicalunit –tid 3 –lun 2 -b /dev/sdf
tgtadm –lld iscsi –op new –mode logicalunit –tid 3 –lun 3 -b /dev/sdg
// iscsi-target 에 접근할 수 있는 네트워크 설정
# tgtadm –lld iscsi –op bind –mode target –tid 1 -I 192.168.201.0/24
# tgtadm –lld iscsi –op bind –mode target –tid 2 -I 192.168.201.0/24
# tgtadm –lld iscsi –op bind –mode target –tid 3 -I 192.168.201.0/24
// 최종 구성 확인
// 각 디스크 LUN 별로 SCSI ID 정보 확인 필요
# tgt-admin -s
Target 1: clunix.2016.03.com.lustre:mdt
System information:
Driver: iscsi
State: ready
LUN information:
LUN: 0
Type: controller
.
LUN: 1
Type: disk
SCSI ID: IET 00010001
Backing store path: /dev/sda3
.
Target 2: clunix.2016.03.com.lustre:ost1
System information:
Driver: iscsi
State: ready
LUN: 0
Type: controller
SCSI ID: IET 00020000
LUN: 1
Type: disk
SCSI ID: IET 00020001
Backing store path: /dev/sdb
LUN: 2
Type: disk
SCSI ID: IET 00020002
Backing store path: /dev/sdc
LUN: 3
Type: disk
SCSI ID: IET 00020003
Backing store path: /dev/sdd
Target 3: clunix.2016.03.com.lustre:ost2
System information:
Driver: iscsi
LUN: 0
Type: controller
SCSI ID: IET 00030000
LUN: 1
Type: disk
SCSI ID: IET 00030001
Backing store path: /dev/sde
LUN: 2
Type: disk
SCSI ID: IET 00030002
Backing store path: /dev/sdf
LUN: 3
Type: disk
SCSI ID: IET 00030003
Backing store path: /dev/sdg
ACL information:
192.168.201.0/24
// 마지막으로 리부팅 시 iscsi-target 상태를 유지하기 위해 설정 상태로 dump
// 하여 파일로 만들어 준다.
# tgt-admin –dump >/etc/tgt/targets.conf
### tgtadm options
-C, –control-port <port> : 포트 지정을 통해 여러개의 인스텐스를 실행할 수 있다.
-L, –lld <driver> : 드라이버를 지정한다. ( iscsi를 지정)
-o, –op <operation> : 실행할 명령을 지정 ( new / delete / show )
-m, –mode <mode> : 동작 모드 지정 ( target / logicalunit )
-t,–tid <id> : target id지정
-T, –targetname <targetname> : target이름 지정
-Y, –device-type <type> : 장치 타입 (기본값 disk)
disk : emulate a disk device
tape : emulate a tape reader
ssc : same as tape
cd : emulate a DVD drive
changer : emulate a media changer device
pt : passthrough type to export a /dev/sg device
-l, –lun <lun> : 논리장치 id
-b, –backing-store <path> : 블록장치 또는 블록파일
-E, –bstype <type> : io 방식지정 ( disk기본값은 rdwr)
rdwr : 기본 파일 I/O
aio : 비동기 I/O
sg : 패스스루 장비를 위한 특별한 유형
ssc : tape 에뮬레이터를 위한 특별한 유형
-I, –initiator-address <address> : iscsi client단 ip주소
-Q, –initiator-name <name> :
-n, –name <parameter>
-v, –value <value>
-P, –params <param=value[,param=value…]>
-F, –force
-h, –help
2. iscsi-initiator 서버 설치 및 구성
MDS, OSS 서버에 iscsi-initiator 설치하여 iscsi-target 서버로 부터
제공되는 LUN 을 direct disk device 로 인식시킴
# yum install iscsi-initiator-utils
# yum install device-mapper-multipath
# chkconfig –add iscsi
// target 검색
// multipath 구성을 위해 iscsi-target 서버의 NIC를 2개 이용
// 각 IP 별로 discovery를 수행하면 동일한 장치 1개를 2개로 인식하게 함.
# iscsiadm –mode discovery –type sendtargets –portal 192.168.201.43
192.168.201.43:3260,1 clunix.2016.03.com.lustre:mdt
192.168.201.43:3260,1 clunix.2016.03.com.lustre:ost1
192.168.201.43:3260,1 clunix.2016.03.com.lustre:ost2
# iscsiadm –mode discovery –type sendtargets –portal 192.168.201.44
192.168.201.44:3260,1 clunix.2016.03.com.lustre:mdt
192.168.201.44:3260,1 clunix.2016.03.com.lustre:ost1
192.168.201.44:3260,1 clunix.2016.03.com.lustre:ost2
MDS 서버에서 target 연결
MDS# iscsiadm –mode node –targetname clunix.2016.03.com.lustre:mdt –login
# iscsiadm -m node
192.168.201.44:3260,1 clunix.2016.03.com.lustre:mdt
192.168.201.43:3260,1 clunix.2016.03.com.lustre:mdt
192.168.201.44:3260,1 clunix.2016.03.com.lustre:ost2
192.168.201.43:3260,1 clunix.2016.03.com.lustre:ost2
192.168.201.44:3260,1 clunix.2016.03.com.lustre:ost1
192.168.201.43:3260,1 clunix.2016.03.com.lustre:ost1
// 불필요한 target 은 제거함.
# iscsiadm -m node -o delete clunix.2016.03.com.lustre:ost1
# iscsiadm -m node -o delete clunix.2016.03.com.lustre:ost2
// 디스크 인식 확인
// sda, sdb 가 iscsi-target 으로 부터 서비스 받은 장치임)
# sfdisk -s
/dev/xvda: 157286400
/dev/sda: 159067103 -> MDT (iscsi-target 192.168.201.43 /dev/sda3)
/dev/sdb: 159067103 -> MDT (iscsi-target 192.168.201.44 /dev/sda3)
// target 삭제
// 잘못 인식된 target 이 있을 경우 아래 방법으로 제거한다.
iscsiadm -m node –targetname clunix.2016.03.com.lustre:ost1 –logout
iscsiadm -m node -o delete clunix.2016.03.com.lustre:ost1
// OSS 서버에서 target 연결
OSS> iscsiadm –mode discovery –type sendtargets –portal 192.168.201.43
OSS> iscsiadm –mode discovery –type sendtargets –portal 192.168.201.44
# iscsiadm –mode node –targetname clunix.2016.03.com.lustre:ost1 –login
# iscsiadm –mode node –targetname clunix.2016.03.com.lustre:ost2 –login
# iscsiadm -m node -o delete clunix.2016.03.com.lustre:mdt
# iscsiadm -m node
192.168.201.44:3260,1 clunix.2016.03.com.lustre:ost2
192.168.201.43:3260,1 clunix.2016.03.com.lustre:ost2
192.168.201.44:3260,1 clunix.2016.03.com.lustre:ost1
192.168.201.43:3260,1 clunix.2016.03.com.lustre:ost1
# sfdisk -s
/dev/xvda: 157286400
/dev/sdb: 976224256
/dev/sda: 976224256
/dev/sdc: 976224256
/dev/sdd: 976224256
/dev/sde: 976224256
/dev/sdf: 976224256
/dev/sdh: 976224256
/dev/sdg: 976224256
/dev/sdi: 976224256
/dev/sdj: 976224256
/dev/sdk: 976224256
/dev/sdl: 976224256
-> 실제 LUN 이 6개지만 두개의 NIC Interface로 접근을 했기때문에 총 12개의 장치로
인식 (즉..HBA 2개를 통해 직접접근한 DAS와 같은 효과)
3. multipath 구성
MDS, OSS 서버에서 iscsi-target 인식 시 2개의 interface로 인식을 시켰기 때문에
동일한 디스크가 2개씩 인식이 됨. 이것을 multipath 로 구성함으로 isci-target 서버와
MDS, OSS 서버의 특정 NIC가 장애 시에도 서비스가 지속되게 구성함.
multipath를 구성하기 위해서는 실제 어떤 디스크 장치끼리가 같은 장치인지 확인해야 한다.
이를 위해서는 SCSI ID로 확인 가능하다.
# sfdisk -s | sort
/dev/sda: 976224256
/dev/sdb: 976224256
/dev/sdc: 976224256
/dev/sdd: 976224256
/dev/sde: 976224256
/dev/sdf: 976224256
/dev/sdg: 976224256
/dev/sdh: 976224256
/dev/sdi: 976224256
/dev/sdj: 976224256
/dev/sdk: 976224256
/dev/sdl: 976224256
[root@OSS001 ~]# scsi_id –whitelisted –replace-whitespace –device=/dev/sda
1IET_00030001
[root@OSS001 ~]# scsi_id –whitelisted –replace-whitespace –device=/dev/sdb
1IET_00030001
[root@OSS001 ~]# scsi_id –whitelisted –replace-whitespace –device=/dev/sdc
1IET_00030002
[root@OSS001 ~]# scsi_id –whitelisted –replace-whitespace –device=/dev/sdd
1IET_00030002
[root@OSS001 ~]# scsi_id –whitelisted –replace-whitespace –device=/dev/sde
1IET_00020001
[root@OSS001 ~]# scsi_id –whitelisted –replace-whitespace –device=/dev/sdf
1IET_00020001
[root@OSS001 ~]# scsi_id –whitelisted –replace-whitespace –device=/dev/sdg
1IET_00030003
[root@OSS001 ~]# scsi_id –whitelisted –replace-whitespace –device=/dev/sdh
1IET_00020002
[root@OSS001 ~]# scsi_id –whitelisted –replace-whitespace –device=/dev/sdi
1IET_00030003
[root@OSS001 ~]# scsi_id –whitelisted –replace-whitespace –device=/dev/sdj
1IET_00020002
[root@OSS001 ~]# scsi_id –whitelisted –replace-whitespace –device=/dev/sdk
1IET_00020003
[root@OSS001 ~]# scsi_id –whitelisted –replace-whitespace –device=/dev/sdl
1IET_00020003
// multipath 설정
MDS> vi /etc/multipath.conf
———————————————————————————
defaults {
user_friendly_names no
getuid_callout “/sbin/scsi_id –whitelisted –replace-whitespace –device=/dev/%n”
}
blacklist {
devnode “^{ram|raw|loop|fd|md|dm-|sr|scdlst|xvd)[0-0]*”
devnode “^hd[a-z]”
}
multipaths {
multipath {
wwid 1IET_00010001
alias mdt01
}
}
———————————————————————————
OSS> vi /etc/multipath.conf
———————————————————————————
defaults {
user_friendly_names no
getuid_callout “/sbin/scsi_id –whitelisted –replace-whitespace –device=/dev/%n”
}
blacklist {
devnode “^{ram|raw|loop|fd|md|dm-|sr|scdlst|xvd)[0-0]*”
devnode “^hd[a-z]”
}
multipaths {
multipath {
wwid 1IET_00020001
alias ost01
}
multipath {
wwid 1IET_00020002
alias ost02
}
multipath {
wwid 1IET_00020003
alias ost03
}
multipath {
wwid 1IET_00030001
alias ost04
}
multipath {
wwid 1IET_00030002
alias ost05
}
multipath {
wwid 1IET_00030003
alias ost06
}
}
——————————————————————————-
# chkconfig multipathd on
# chkconfig –list multipathd
multipathd 0:off 1:off 2:on 3:on 4:on 5:on 6:off
# /etc/rc.d/init.d/multipathd restart
ok
multipathd 데몬을 정지 중: [ OK ]
multipathd 데몬을 시작합니다: [ OK ]
// multipath 확인
// sda, sdb 을 /dev/mapper/mdt01 이란 장치명으로 multipath 된것을 확인
MDS> multipath -ll
mdt01 (1IET_00010001) dm-0 IET,VIRTUAL-DISK
size=152G features=’0′ hwhandler=’0′ wp=rw
|-+- policy=’round-robin 0′ prio=1 status=active
| `- 3:0:0:1 sdb 8:16 active ready running
`-+- policy=’round-robin 0′ prio=1 status=enabled
`- 2:0:0:1 sda 8:0 active ready running
MDS> sfdisk -s
/dev/xvda: 157286400
/dev/sdb: 159067103
/dev/sda: 159067103
/dev/mapper/mdt01: 159067103
// ost01~06 으로 multipath 구성된 것을 확인
OSS> multipath -ll
ost06 (1IET_00030003) dm-3 IET,VIRTUAL-DISK
size=931G features=’0′ hwhandler=’0′ wp=rw
|-+- policy=’round-robin 0′ prio=1 status=active
| `- 2:0:0:3 sdg 8:96 active ready running
`-+- policy=’round-robin 0′ prio=1 status=enabled
`- 3:0:0:3 sdi 8:128 active ready running
ost05 (1IET_00030002) dm-1 IET,VIRTUAL-DISK
size=931G features=’0′ hwhandler=’0′ wp=rw
|-+- policy=’round-robin 0′ prio=1 status=active
| `- 2:0:0:2 sdc 8:32 active ready running
`-+- policy=’round-robin 0′ prio=1 status=enabled
`- 3:0:0:2 sdd 8:48 active ready running
ost04 (1IET_00030001) dm-2 IET,VIRTUAL-DISK
size=931G features=’0′ hwhandler=’0′ wp=rw
|-+- policy=’round-robin 0′ prio=1 status=active
| `- 2:0:0:1 sda 8:0 active ready running
`-+- policy=’round-robin 0′ prio=1 status=enabled
`- 3:0:0:1 sdb 8:16 active ready running
ost03 (1IET_00020003) dm-5 IET,VIRTUAL-DISK
size=931G features=’0′ hwhandler=’0′ wp=rw
|-+- policy=’round-robin 0′ prio=1 status=active
| `- 4:0:0:3 sdk 8:160 active ready running
`-+- policy=’round-robin 0′ prio=1 status=enabled
`- 5:0:0:3 sdl 8:176 active ready running
ost02 (1IET_00020002) dm-4 IET,VIRTUAL-DISK
size=931G features=’0′ hwhandler=’0′ wp=rw
|-+- policy=’round-robin 0′ prio=1 status=active
| `- 5:0:0:2 sdj 8:144 active ready running
`-+- policy=’round-robin 0′ prio=1 status=enabled
`- 4:0:0:2 sdh 8:112 active ready running
ost01 (1IET_00020001) dm-0 IET,VIRTUAL-DISK
size=931G features=’0′ hwhandler=’0′ wp=rw
|-+- policy=’round-robin 0′ prio=1 status=active
| `- 5:0:0:1 sdf 8:80 active ready running
`-+- policy=’round-robin 0′ prio=1 status=enabled
`- 4:0:0:1 sde 8:64 active ready running
OSS> sfdisk -s
/dev/xvda: 157286400
/dev/sdf: 976224256
/dev/sdc: 976224256
/dev/sda: 976224256
/dev/sdb: 976224256
/dev/sdd: 976224256
/dev/sde: 976224256
/dev/sdg: 976224256
/dev/sdj: 976224256
/dev/sdi: 976224256
/dev/sdh: 976224256
/dev/sdk: 976224256
/dev/sdl: 976224256
/dev/mapper/ost01: 976224256
/dev/mapper/ost05: 976224256
/dev/mapper/ost04: 976224256
/dev/mapper/ost06: 976224256
/dev/mapper/ost02: 976224256
/dev/mapper/ost03: 976224256
4. Lustre 파일 시스템 구성
MDS, OSS 에 lustre kernel 가 package 를 설치한 후..
# vi /etc/modprobe.d/lustre.conf
options lnet networks=tcp(eth0,eth1)
reboot
– MDS 구성
MDS001> mkfs.lustre –reformat –fsname=gcfs –mgs –mdt –index=0 –servicenode=MDS001@tcp –servicenode=MDS002@tcp –mgsnode=MDS001@tcp –mgsnode=MDS002@tcp /dev/mapper/mdt01
MDS001> mount -t lustre /dev/mapper/mdt01 /mnt
MDS001> cat /proc/fs/lustre/devices
0 UP osd-ldiskfs gcfs-MDT0000-osd gcfs-MDT0000-osd_UUID 8
1 UP mgs MGS MGS 5
2 UP mgc MGC192.168.201.141@tcp 861be1bd-7a0f-5bff-e0ec-c14671abd085 5
3 UP mds MDS MDS_uuid 3
4 UP lod gcfs-MDT0000-mdtlov gcfs-MDT0000-mdtlov_UUID 4
5 UP mdt gcfs-MDT0000 gcfs-MDT0000_UUID 3
6 UP mdd gcfs-MDD0000 gcfs-MDD0000_UUID 4
7 UP qmt gcfs-QMT0000 gcfs-QMT0000_UUID 4
8 UP lwp gcfs-MDT0000-lwp-MDT0000 gcfs-MDT0000-lwp-MDT0000_UUID 5
MDS001> umount /mnt
MDS001> vi /etc/ldev.conf
MDS001 MDS002 gcfs-MDT0000 /dev/mapper/mdt01
MDS001> scp /etc/ldev.conf root@MDS002:/etc
– OSS 구성
OSS001> mkfs.lustre –reformat –fsname=gcfs –ost –servicenode=OSS001@tcp –servicenode=OSS002@tcp –mgsnode=MDS001@tcp –mgsnode=MDS002@tcp –index=0 /dev/mapper/ost01
OSS001> mkfs.lustre –reformat –fsname=gcfs –ost –servicenode=OSS001@tcp –servicenode=OSS002@tcp –mgsnode=MDS001@tcp –mgsnode=MDS002@tcp –index=1 /dev/mapper/ost02
OSS001> mkfs.lustre –reformat –fsname=gcfs –ost –servicenode=OSS001@tcp –servicenode=OSS002@tcp –mgsnode=MDS001@tcp –mgsnode=MDS002@tcp –index=2 /dev/mapper/ost03
OSS002> mkfs.lustre –reformat –fsname=gcfs –ost –servicenode=OSS002@tcp –servicenode=OSS001@tcp –mgsnode=MDS001@tcp –mgsnode=MDS002@tcp –index=3 /dev/mapper/ost04
OSS002> mkfs.lustre –reformat –fsname=gcfs –ost –servicenode=OSS002@tcp –servicenode=OSS001@tcp –mgsnode=MDS001@tcp –mgsnode=MDS002@tcp –index=4 /dev/mapper/ost05
OSS002> mkfs.lustre –reformat –fsname=gcfs –ost –servicenode=OSS002@tcp –servicenode=OSS001@tcp –mgsnode=MDS001@tcp –mgsnode=MDS002@tcp –index=5 /dev/mapper/ost06
OSS001,2> vi /etc/ldev.conf
——————————————————————–
OSS001 OSS002 gcfs-OST0000 /dev/mapper/ost01
OSS001 OSS002 gcfs-OST0001 /dev/mapper/ost02
OSS001 OSS002 gcfs-OST0002 /dev/mapper/ost03
OSS002 OSS001 gcfs-OST0003 /dev/mapper/ost04
OSS002 OSS001 gcfs-OST0004 /dev/mapper/ost05
OSS002 OSS001 gcfs-OST0005 /dev/mapper/ost06
——————————————————————–
OSS001,2> /etc/rc.d/init.d/lustre start
– Client 연결
CLIENT> mount -t lustre -o defaults,_netdev MDS001@tcp:MDS002@tcp:/gcfs /home
CLIENT> vi /etc/fstab
——————————————————————————
.
MDS001@tcp:MDS002@tcp:/gcfs /home lustre defaults,flock,_netdev 0 0
——————————————————————————
CLIENT> df -Th
Filesystem Type Size Used Avail Use% Mounted on
/dev/xvda1 ext4 135G 5.8G 122G 5% /
tmpfs tmpfs 3.8G 0 3.8G 0% /dev/shm
192.168.201.1:/home/clunix nfs 917G 437G 434G 51% /APP
MDS001@tcp:MDS002@tcp:/gcfs lustre 5.4T 2.8G 5.2T 1% /home
CLIENT> lfs df -h
UUID bytes Used Available Use% Mounted on
gcfs-MDT0000_UUID 112.9G 4.1G 101.2G 4% /home[MDT:0]
gcfs-OST0000_UUID 920.3G 472.7M 873.2G 0% /home[OST:0]
gcfs-OST0001_UUID 920.3G 472.7M 873.2G 0% /home[OST:1]
gcfs-OST0002_UUID 920.3G 472.7M 873.2G 0% /home[OST:2]
gcfs-OST0003_UUID 920.3G 472.7M 873.2G 0% /home[OST:3]
gcfs-OST0004_UUID 920.3G 472.7M 873.2G 0% /home[OST:4]
gcfs-OST0005_UUID 920.3G 472.7M 873.2G 0% /home[OST:5]
filesystem summary: 5.4T 2.8G 5.1T 0% /home
– BMT
lctl conf_param gcfs-MDT0000.lov.stripesize=1M
lctl conf_param gcfs-MDT0000.lov.stripecount=1
iozone -i 0 -c -e -w -r 1024k -s 10g -t 1
Avg throughput per process = 86764.05 KB/sec
lctl conf_param gcfs-MDT0000.lov.stripesize=2M
lctl conf_param gcfs-MDT0000.lov.stripecount=-1
iozone -i 0 -c -e -w -r 1024k -s 10g -t 1
Avg throughput per process = 103758.98 KB/sec
