xenserver vgpu pass-through 구현하기 – nvidia vgx – grid k1 – grid k2
작성자 : 서진우 (alang@clunix.com)
Nvidia 에서 Kepler pGPU를 vGPU 형태로 여러 VM에서 공유할 수 있도록 하는 VGX 기술을 만들었다.
해당 GPU Board 가 GRID K 시리즈이다. 현재 고급 3D 그래픽 사용자를 대상으로 하는 k2 시리즈와
일반 그래픽 사용자를 대상으로 하는 K1 시리즈가 출시 되었다.
Grid K1 board
pGPG : 4
vGPU Type : K140Q(파워유저, 1GB), K100(일반유저, 256MB)
K140Q : 16개 생성 가능, (pGPU 당 4개)
K100 : 32개 생성 가능, (pGPU 당 8개)
Grid K2 board (8GB)
pGPU : 2 (K5000급, 4GB)
vGPU Type : K260Q(전문가, 2GB), K240Q(파워유저, 1GB), K200(일반유저, 256MB)
K260Q : 4개 생성 (K2000급,2GB)
K240Q : 8개 생성 (K600급,1GB)
K200 : 16개 생성 (GT급,256MB)
GPU Passthrough 작업 전, 후는 pGPU와 거의 동일하다. 다른 점은 XenServer설치 후
Hotfix XS62ETP001 적용하고, XenServer 에 Nvidia vgx driver를 설치해야 하는 점이다.
그리고 VM에 GPU 할당 시 vgpu-type 이란 새로운 개념이 추가 된다는 점이다.
이제 vGPU Passthrough 적용 가능에 대해 알아보자.
우선 XenServer 6.2 설치하고, XS62ETP001 Hotfix 를 적용한다.
reboot
Nvidia 사에서 제공하는 NVIDIA-vgx-xenserer driver 를 Xenserver Host 에 설치한다.
# rpm -Uvh NVIDIA-vgx-xenserver-6.2-312.53.i386.rpm
reboot
우선 vgx driver 가 잘 인식되었는지 확인한다.
# lsmod | grep nvidia
nvidia 8524886 666
i2c_core 20294 2 nvidia,i2c_i801
# nvidia-smi
Fri Oct 25 16:47:44 2013
+——————————————————+
| NVIDIA-SMI 4.312.53 Driver Version: 312.53 |
|——————————-+———————-+———————-+
| GPU Name | Bus-Id Disp. | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 GRID K2 | 0000:85:00.0 Off | Off |
| N/A 31C P8 27W / 117W | 95% 3910MB / 4095MB | 0% Default |
+——————————-+———————-+———————-+
| 1 GRID K2 | 0000:86:00.0 Off | Off |
| N/A 31C P8 27W / 117W | 96% 3915MB / 4095MB | 0% Default |
+——————————-+———————-+———————-+
+—————————————————————————–+
| Compute processes: GPU Memory |
| GPU PID Process name Usage |
|=============================================================================|
| No running compute processes found |
+—————————————————————————–+
이제 pGPU를 확인한다.
# xe pgpu-list
———————————————————————————
uuid ( RO) : 7bd8ebb9-9f69-e9ef-9e68-2be71bddd172
vendor-name ( RO): NVIDIA Corporation
device-name ( RO): GK104GL [GRID K2]
gpu-group-uuid ( RW): 56a9d370-df44-64ab-31c3-b3649cc03247
uuid ( RO) : 62ce0ffc-aa26-9f03-ac95-406ee9a4e8f6
vendor-name ( RO): NVIDIA Corporation
device-name ( RO): GK104GL [GRID K2]
gpu-group-uuid ( RW): 56a9d370-df44-64ab-31c3-b3649cc03247
———————————————————————————
2개의 GRID K2 pGPU를 확인할 수 있다.
pGPU 의 세부 정보를 확인한다.
# xe pgpu-param-list uuid=7bd8ebb9-9f69-e9ef-9e68-2be71bddd172
———————————————————————————
uuid ( RO) : 7bd8ebb9-9f69-e9ef-9e68-2be71bddd172
vendor-name ( RO): NVIDIA Corporation
device-name ( RO): GK104GL [GRID K2]
gpu-group-uuid ( RW): 56a9d370-df44-64ab-31c3-b3649cc03247
gpu-group-name-label ( RO): Group of NVIDIA Corporation GK104GL [GRID K2] GPUs
host-uuid ( RO): 63ffb0d6-cfea-405f-84ec-9feedacfbdc1
host-name-label ( RO): xen-alang2
pci-id ( RO): 0000:85:00.0
dependencies (SRO):
other-config (MRW):
supported-VGPU-types ( RO): b6d016bf-7475-f064-45e8-6bbc3c2f61fe; c8a09c89-e48c-cbfd-c76d-e493fbc2f98d; 06b6d0dc-70d9-3134-b569-f521c4967617; 217b6cc8-8470-6e43-6038-98adf2497676
enabled-VGPU-types (SRW): b6d016bf-7475-f064-45e8-6bbc3c2f61fe; c8a09c89-e48c-cbfd-c76d-e493fbc2f98d; 06b6d0dc-70d9-3134-b569-f521c4967617; 217b6cc8-8470-6e43-6038-98adf2497676
resident-VGPUs ( RO):
———————————————————————————
# xe pgpu-param-list uuid=62ce0ffc-aa26-9f03-ac95-406ee9a4e8f6
———————————————————————————
uuid ( RO) : 62ce0ffc-aa26-9f03-ac95-406ee9a4e8f6
vendor-name ( RO): NVIDIA Corporation
device-name ( RO): GK104GL [GRID K2]
gpu-group-uuid ( RW): 56a9d370-df44-64ab-31c3-b3649cc03247
gpu-group-name-label ( RO): Group of NVIDIA Corporation GK104GL [GRID K2] GPUs
host-uuid ( RO): 63ffb0d6-cfea-405f-84ec-9feedacfbdc1
host-name-label ( RO): xen-alang2
pci-id ( RO): 0000:86:00.0
dependencies (SRO):
other-config (MRW):
supported-VGPU-types ( RO): b6d016bf-7475-f064-45e8-6bbc3c2f61fe; c8a09c89-e48c-cbfd-c76d-e493fbc2f98d; 06b6d0dc-70d9-3134-b569-f521c4967617; 217b6cc8-8470-6e43-6038-98adf2497676
enabled-VGPU-types (SRW): b6d016bf-7475-f064-45e8-6bbc3c2f61fe; c8a09c89-e48c-cbfd-c76d-e493fbc2f98d; 06b6d0dc-70d9-3134-b569-f521c4967617; 217b6cc8-8470-6e43-6038-98adf2497676
resident-VGPUs ( RO):
———————————————————————————
이제 XenServer Host에 존재하는 GPU Group 에 대해 확인한다.
# xe gpu-group-list
———————————————————————————
uuid ( RO) : 56a9d370-df44-64ab-31c3-b3649cc03247
name-label ( RW): Group of NVIDIA Corporation GK104GL [GRID K2] GPUs
name-description ( RW):
uuid ( RO) : 1f677c02-c0b6-ded5-2606-0bbaa91ff409
name-label ( RW): Group of Matrox Electronics Systems Ltd. G200eR2 GPUs
name-description ( RW):
———————————————————————————
지원되는 vGPU Type 를 확인한다
.
vGPU Type을 확인하기 위해서는 아래 명령을 수행해야 한다.
# xe-toolstack-restart
# xe vgpu-type-list
———————————————————————————
uuid ( RO) : b6d016bf-7475-f064-45e8-6bbc3c2f61fe
vendor-name ( RO):
model-name ( RO): passthrough
framebuffer-size ( RO): 0
uuid ( RO) : 217b6cc8-8470-6e43-6038-98adf2497676
vendor-name ( RO): NVIDIA Corporation
model-name ( RO): GRID K240Q
framebuffer-size ( RO): 1006632960
uuid ( RO) : 06b6d0dc-70d9-3134-b569-f521c4967617
vendor-name ( RO): NVIDIA Corporation
model-name ( RO): GRID K200
framebuffer-size ( RO): 268435456
uuid ( RO) : c8a09c89-e48c-cbfd-c76d-e493fbc2f98d
vendor-name ( RO): NVIDIA Corporation
model-name ( RO): GRID K260Q
framebuffer-size ( RO): 2013265920
———————————————————————————
Grid K2 는 총 4가지 형태의 GPU를 제공한다.
pGPU (K5000), vGPU-K260Q (K2000), vGPU-K240Q (K600), vGPU-K200 (GT)
vgpu-type 중 passthrough는 pGPU 를 직접 할당시키는 type이다.
vgpu-type 의 세부 정보를 확인해 보자. 아래는 K240Q type 의 세부정보이다.
# xe vgpu-type-list uuid=217b6cc8-8470-6e43-6038-98adf2497676 params=all
———————————————————————————
uuid ( RO) : 217b6cc8-8470-6e43-6038-98adf2497676
vendor-name ( RO): NVIDIA Corporation
model-name ( RO): GRID K240Q
framebuffer-size ( RO): 1006632960
max-heads ( RO): 2
supported-on-PGPUs ( RO): 62ce0ffc-aa26-9f03-ac95-406ee9a4e8f6; 7bd8ebb9-9f69-e9ef-9e68-2be71bddd172
enabled-on-PGPUs ( RO): 62ce0ffc-aa26-9f03-ac95-406ee9a4e8f6; 7bd8ebb9-9f69-e9ef-9e68-2be71bddd172
VGPU-uuids ( RO):
# xe gpu-group-param-list uuid=56a9d370-df44-64ab-31c3-b3649cc03247
uuid ( RO) : 56a9d370-df44-64ab-31c3-b3649cc03247
name-label ( RW): Group of NVIDIA Corporation GK104GL [GRID K2] GPUs
name-description ( RW):
VGPU-uuids (SRO):
PGPU-uuids (SRO): 62ce0ffc-aa26-9f03-ac95-406ee9a4e8f6; 7bd8ebb9-9f69-e9ef-9e68-2be71bddd172
other-config (MRW):
enabled-VGPU-types ( RO): c8a09c89-e48c-cbfd-c76d-e493fbc2f98d; 06b6d0dc-70d9-3134-b569-f521c4967617; 217b6cc8-8470-6e43-6038-98adf2497676; b6d016bf-7475-f064-45e8-6bbc3c2f61fe
supported-VGPU-types ( RO): c8a09c89-e48c-cbfd-c76d-e493fbc2f98d; 06b6d0dc-70d9-3134-b569-f521c4967617; 217b6cc8-8470-6e43-6038-98adf2497676; b6d016bf-7475-f064-45e8-6bbc3c2f61fe
allocation-algorithm ( RW): depth-first
———————————————————————————
이제 VM에 GRID K2 에서 지원하는 vGPU를 할당한다.
vGPU 할당에 필요한 정보는 아래와 같다.
vm-uuid : VM의 uuid -> xm vm-list
gpu-group-uuid : pGPU가 소속된 GPU Group 의 uuid -> xe gpu-group-list
vgpu-type-uuid : VM에 할당한 vGPU 등급(passthrough, K260Q, K240Q, K200) -> xe vgpu-type-list
아래는 VM에 K240Q vGPU를 할당하는 명령이다.
# xe vgpu-create vm-uuid=a623c349-6b7f-709e-4e05-38dffc1c5bb8 gpu-group-uuid=56a9d370-df44-64ab-31c3-b3649cc03247 vgpu-type-uuid=217b6cc8-8470-6e43-6038-98adf2497676
ae8d116b-0d2c-07c3-af43-3f35fe1fdedf
할당이 완료된 후, vgpu-type-list 를 확인하면 할당된 VGPU-uuids 에 할당된 vgpu의 정보가 포함
되어 있다.
# xe vgpu-type-list uuid=217b6cc8-8470-6e43-6038-98adf2497676 params=all
uuid ( RO) : 217b6cc8-8470-6e43-6038-98adf2497676
vendor-name ( RO): NVIDIA Corporation
model-name ( RO): GRID K240Q
framebuffer-size ( RO): 1006632960
max-heads ( RO): 2
supported-on-PGPUs ( RO): 62ce0ffc-aa26-9f03-ac95-406ee9a4e8f6; 7bd8ebb9-9f69-e9ef-9e68-2be71bddd172
enabled-on-PGPUs ( RO): 62ce0ffc-aa26-9f03-ac95-406ee9a4e8f6; 7bd8ebb9-9f69-e9ef-9e68-2be71bddd172
VGPU-uuids ( RO): 7af519ba-bf7c-ac73-2032-56c93dd7770b; 78458e7a-6c21-69cd-e192-da71c8a4313c; 7dfe501e-cd1f-9998-4d3e-cbc5f30f36fb; ae8d116b-0d2c-07c3-af43-3f35fe1fdedf
마지막으로 VM 의 운영체제 설치 및 기본 작업을 완료한 후, VM 가상 console 을 제거한다.
# xe vm-param-set platform:vgpu_vnc_enabled=false uuid=755b8431-066d-b42d-260e-3f7e8a38c132
# xe vm-param-set uuid=826ac06c-4bee-1c9b-0ef3-b70a68853991 platform:vgpu_extra_args=”disable_vnc=1″ -> VM hang when booting
참고로 vGPU가 할당된 VM에서도 Nvidia Graphic driver를 설치해야 하는데, 반드시 GRID vGPU driver를
설치해야 한다. (312.56-grid-win7-64bit-english-whql.exe)
