xenserver pgu pass-through 구현하기

 

 
작성자 : 서진우 (alang@clunix.com)

 

 

XenServer 6.2 환경에서 Physical Graphic Board를 passthrough 하는 방법에 대해 알아보자

 

간단한 절차는 아래와 같다.

 

Xenserver 6.2 설치 > Hotfix XS62E004 적용 > Hotfix XS62ETP001 적용(GRID K 이용시) >

Nvidia-vgx-xenserver 설치 (GRID K 이용 시) > Windows 7 VM 생성 (생성 시 VM 자동 시작 안함) >

vGPU 생성 및 VM mapping > VM 에 Windows 7 운영체제 설치 > HP RGS설치 > NVIDIA GPU driver 설치

 

> Xentools 설치

 

Xenserver 6.2 에서 GPU Passthrough 하는 방법은 크게 2가지로 나눈다.

 

하나는 Quadro나 Kepler 와 같이 일반적인 pGPU를 passthrough 를 통해 VM에 직접 할당하는

방법이다. 다른 하나는 GRID K2, K1 같이 NVIDIA VGX 기술을 이용한 vGPU를 VM에 할당하는

방법이다.

 

우선 pGPU를 VM에 제공하는 방법이다.

 

먼저 서버의 BIOS상에서 Intel VT-d 기능을 활성화 시킨다.

 

XenServer 상에서 Intel VT-d 기능이 적용되었는지를 확인다.

 

# xl dmesg | grep VT

————————————————————————

(XEN) Intel VT-d iommu 0 supported page sizes: 4kB.

(XEN) Intel VT-d iommu 1 supported page sizes: 4kB.

(XEN) Intel VT-d Snoop Control enabled.

(XEN) Intel VT-d Dom0 DMA Passthrough enabled.

(XEN) Intel VT-d Queued Invalidation enabled.

(XEN) Intel VT-d Interrupt Remapping enabled.

(XEN) Intel VT-d Shared EPT tables not enabled.

 

————————————————————————

XenServer 상에 인식되어 있는 GPU 장치를 확인한다.

 

# lspci | grep VGA

————————————————————————

02:00.0 VGA compatible controller: NVIDIA Corporation GF110GL [Tesla C2050 / C2075] (rev a1)

03:00.0 VGA compatible controller: NVIDIA Corporation GF110GL [Tesla C2050 / C2075] (rev a1)

07:01.0 VGA compatible controller: Matrox Electronics Systems Ltd. MGA G200eW WPCM450 (rev 0a)

83:00.0 VGA compatible controller: NVIDIA Corporation GK104GL [Quadro K5000] (rev a1)

84:00.0 VGA compatible controller: NVIDIA Corporation GF110GL [Tesla C2050 / C2075] (rev a1)

————————————————————————

 

 

# xe pgpu-list

————————————————————————

uuid ( RO)              : 5c89f6b2-3921-d8b5-a847-d85e882ef22f

vendor-name ( RO): Matrox Electronics Systems Ltd.

device-name ( RO): MGA G200eW WPCM450

gpu-group-uuid ( RO): bc73dd4e-35aa-14ad-94a5-35c7b37b3253

 

 

uuid ( RO)              : db3dbbdd-dd90-7000-79f6-fc10d23b8859

vendor-name ( RO): NVIDIA Corporation

device-name ( RO): GF110GL [Tesla C2050 / C2075]

gpu-group-uuid ( RO): f7197a87-ea53-556c-274c-c12c09fb20b4

 

 

uuid ( RO)              : 14648feb-5603-7020-3ed1-5a866222d035

vendor-name ( RO): NVIDIA Corporation

device-name ( RO): GF110GL [Tesla C2050 / C2075]

gpu-group-uuid ( RO): f7197a87-ea53-556c-274c-c12c09fb20b4

 

 

uuid ( RO)              : 4dfacb43-d8a8-6aa1-382b-06b97be79fbf

vendor-name ( RO): NVIDIA Corporation

device-name ( RO): GK104GL [Quadro K5000]

gpu-group-uuid ( RO): 74aa44ad-ac92-d451-c490-9c89bb5c0c59

 

 

uuid ( RO)              : dda1942f-7edd-90fb-0b6d-4bb612ad1836

vendor-name ( RO): NVIDIA Corporation

device-name ( RO): GF110GL [Tesla C2050 / C2075]

gpu-group-uuid ( RO): f7197a87-ea53-556c-274c-c12c09fb20b4

————————————————————————

 

다음으로는 Xenserver 상에서 인식하고 있는 GPU group 정보를 확인하다.

Citrix Xenserver 는 open Xen 가는 달라 동일한 사양의 GPU가 여러개 있는 경우 이를 하나의

그룹으로 인식을 하고, GPU 그룹을 여러 VM에 할당하면, 그룹내에 존재하는 GPU를 자동으로

개별 VM에 할당하도록 되어 있다. 즉 GPU 별로 pci id 를 일일이 파악하여 VM별로 개별 지정

할 필요가 없다.

 

# xe gpu-group-list

————————————————————————

uuid ( RO)                : f7197a87-ea53-556c-274c-c12c09fb20b4

name-label ( RW): Group of NVIDIA Corporation GF110GL [Tesla C2050 / C2075] GPUs

name-description ( RW):

 

 

uuid ( RO)                : 74aa44ad-ac92-d451-c490-9c89bb5c0c59

name-label ( RW): Group of NVIDIA Corporation GK104GL [Quadro K5000] GPUs

name-description ( RW):

 

 

uuid ( RO)                : bc73dd4e-35aa-14ad-94a5-35c7b37b3253

name-label ( RW): Group of Matrox Electronics Systems Ltd. MGA G200eW WPCM450 GPUs

name-description ( RW):

————————————————————————

 

일단 XenCenter 에서 GPU를 할당할 Windows 7 VM의 Metadata만 생성해 둔다. 기본적으로

VM Metadata 생성 시 자동으로 VM을 시작하여 운영체제 설치가 바로 진행되는데, 바로 시작하지

않은 상태에서 Meta정보만 생성한다.

 

이제 생성된 VM 정보를 확인한다.

 

# xe vm-list

————————————————————————

uuid ( RO)           : 755b8431-066d-b42d-260e-3f7e8a38c132

name-label ( RW): win7-01

power-state ( RO): halted

 

 

uuid ( RO)           : 41072988-71d3-7f20-b781-47235fff93fc

name-label ( RW): win7-02

power-state ( RO): halted

 

 

uuid ( RO)           : 1828ec5a-42bf-48ca-ab85-382288282df1

name-label ( RW): Control domain on host: xen-alang

power-state ( RO): running

 

 

uuid ( RO)           : b627fb12-ef0e-4347-8588-48353d961c33

name-label ( RW): win7-01s

power-state ( RO): halted

 

 

uuid ( RO)           : ea006743-5185-6130-4dc7-85d2535a3c4e

name-label ( RW): win7-03

power-state ( RO): halted

 

 

# xe vm-list name-label=win7-01

uuid ( RO)           : 755b8431-066d-b42d-260e-3f7e8a38c132

name-label ( RW): win7-01

power-state ( RO): halted

————————————————————————

 

이제 xe gpu-group-list 에서 확인된 GPU group을 특정 win7-03 VM에 할당해 보도록 하자

 

우선 기존에 할당된 gpu_group이 없는지 확인한다.

 

# xe vgpu-list vm-uuid=ea006743-5185-6130-4dc7-85d2535a3c4e

 

그럼 아무런 정보가 출력되지 않아야 한다. 만일 기존에 할당된 GPU가 있다면 아래와 같이

할당된 gpu-group-uuid 가 출력이 될것이다.

 

# xe vgpu-list vm-uuid=755b8431-066d-b42d-260e-3f7e8a38c132

uuid ( RO)              : 3dab6b01-c202-f723-8474-4529e030a00e

vm-uuid ( RO): 755b8431-066d-b42d-260e-3f7e8a38c132

gpu-group-uuid ( RO): f7197a87-ea53-556c-274c-c12c09fb20b4

 

만일 새롭게 gpu-group을 할당하고자 하면 아래와 같은 방법으로 기존 할당된 gpu-group

을 제거한다.

 

# xe vgpu-destroy uuid=3dab6b01-c202-f723-8474-4529e030a00e

# xe vgpu-list vm-uuid=755b8431-066d-b42d-260e-3f7e8a38c132

 

이제 win7-03 VM 에 Quadro K5000 의 pGPU를 할당한다.

 

pGPU를 할당하기 위해서는 win7-01의 uuid 와 Quadro K5000 GPU가 포함된 gpu_group의 uuid

정보가 필요하다. xe vm-list, xe gpu-group-list 명령으로 확인이 가능하다.

 

pGPU 할당은 xe vgpu-create 명령으로 가능하다.

 

# xe vgpu-create vm-uuid=ea006743-5185-6130-4dc7-85d2535a3c4e gpu-group-uuid=74aa44ad-ac92-d451-c490-9c89bb5c0c59

————————————————————————

7bdd7660-28da-31b2-b538-53c8bea68ec5

————————————————————————

 

xe vgpu-create 명령으로 VM 에 PGPU를 정상적으로  할당하면 XenServer레벨에서 인식하는

vgpu uuid 가 출력된다.

 

이제 win7-03 VM에 GPU가 정상적으로 할당되었는지 확인한다.

 

# xe vgpu-list vm-uuid=ea006743-5185-6130-4dc7-85d2535a3c4e

————————————————————————-

uuid ( RO)              : 7bdd7660-28da-31b2-b538-53c8bea68ec5

vm-uuid ( RO): ea006743-5185-6130-4dc7-85d2535a3c4e

gpu-group-uuid ( RO): 74aa44ad-ac92-d451-c490-9c89bb5c0c59

————————————————————————-

 

정상 할당이 되어지면 위와 같이 vgpu uuid 가 출력되어야 한다.

 

XenCenter 프로그램에서 해당 VM의 속성으로 들어가서 GPU 정보를 보면 Quadro K5000 GPUs 그룹이

할당되어 있는 것을 확인할 수 있다.

 

이제 위에서 설명한 바와 같이 Windows 7 운영체제를 설치하고, 원격접속툴(RGS, VNC)설치 ,

K5000에 대한 Nvidia Driver를 설치 한다.

 

Nvidia Driver 설치 완료 후 reboot 하면 다음 부터는 K5000 GPU 를 가상머신에서 기본 VGA로

인식하게 된다. 이때 XenCenter 프로그램의 VNC console 에도 화면이 나타날 수 있는데,

이는 Nvidia GPU를 인식하기 전까지 그래픽 화면을 표현할때 사용되는 가상 VGA장치를 생성

하기 때문에다. GPU passthrough 되면 가상 console 에 대한 VGA는 제거하는 것이 좋다.

 

아래는 기본 가상 VGA를 제거하는 방법이다.

 

# xe vm-param-set uuid=755b8431-066d-b42d-260e-3f7e8a38c132 platform:vgpu_vnc_enabled=false

 

OpenXen 에서는 hvm config 에 gfx_passthru=1 에 해당하는 명령이라 볼수 있다.

 

이제 정상적으로 GPU가 VM에 할당되어 동작하면 XenCenter의 console 화면에는 Black Screen

만 나타나게 된다.

 

VM 에는 원격 3D 그래픽 전송이 가능한 프로토콜(Citrix HDX3Dpro, HP RGS, TightVNC+DF Mirage,

RealVNC)을 이용하여 원격에서 고속의 3D 환경을 구현할 수 있다.