Xenserver 특정 pGPU 상에서 vGPU 생성하기
작성자 : 서진우 (alang@clunix.com)
아래의 내용은 추측을 통한 검증 테스트 과정의 내용임.
현재 까지의 결론은 gpu-group 은 pgpu를 분리하는 역할만 함.
vgpu의 경우 gpu-group을 통해 배분할 수 없음.
단 아래 방식으로 vGPU 별로 group 을 운영하면, 적어도 XenCenter 상에 VM별 GPU 그룹정보
를 통해 해당 VM이 어떤 vGPU를 가지고 있는지 알수 있다.
또한 vgpu-create 시 xe pgpu-list params=all 로 설정에 필요한 정보를 모두 확인할 수
있다.
—————————————————————————————-
동일한 사양의 여러 PGPU를 가진 서버로 XenServer를 기본 구성하면 단일 gpu group을 통해
해당 pgpu 가 그룹화 된다. 만일 특정 VM에 할당하는 vGPU를 특정 pGPU에 종속을 시키고자 하면
GPU Group을 분리해서 각 그룹별로 다른 pGPU를 할당해야 한다.
이러한 이유는 XenCenter에서 VM의 GPU 속성 선택을 gpu group 단위로만 지정 할 수 있다.
만일 부서나 프로젝트와 같이 같은 종속 부류에 대해 고정된 GPU 자원을 할당하고자 할 경우
기본적인 할당 정책으로는 불가능하다.
XenCenter 상에서 직관적으로 여러 VM의 GPU 자원 운영하고자 할때 pGPU별 그룹 분리는 필요한
방안 중 하나가 될것이다.
참고로 기본상태 XenCenter 로 GPU 그룹을 할당하면 무조건 passthrough type의 vgpu를 가지게
된다. vGPU(K260q,K240q,K200)를 할당받기 위해서는 command line 상에서 직접 해당 VM에
vgpu-type을 지정해 주어야 한다.
XenCenter UI 상에서 GPU 그룹을 vGPU Type별로 분류를 하고, vGPU type 별 그룹을 할당할때
해당 vGPU를 자동으로 할당 받기 위해서는 아래의 GPU 분류작업이 필요하다.
1. vGPU Type 별로 gpu group 생성
2. pGPU 장치 pci id 를 통해 물리적으로 특정 GPU 장치를 gpu group 에 할당
3. pGPU 속성 정보에서 enabled-VGPU-types 을 지정한다.
일단 gpu-group 을 vGPU 별로 분리하기 위해서는 새로운 gpu-group을 생성해야 한다.
또한 새로 생성한 gpu-group 에 특정 pGPU를 할당해야 할것이다.
우선 새로운 GPU group 을 생성하도록 한다.
# xe gpu-group-create name-label=”<New GPU Group name>”
# xe gpu-group-create name-label=”Group of ALANG VMs’s GPU Resource”
이제 특정 pGPU를 새로 생성한 gpu group 에 포함시켜 주면 된다.
그러기 위해서는 새로 생성한 gpu group의 uuid 와 pGPU 의 uuid 를 사전에 파악해야 한다.
아래는 pci_id 86:00.0 의 pGPU를 새로 생성한 “Group of ALANG VMs’s GPU Resource” group
에 포함 시키는 과장이다.
먼저 새로 생성한 gpu group uuid 파악
# xe gpu-group-list name-label=”Group of ALANG VMs’s GPU Resource”
——————————————————————————-
uuid ( RO) : 6a417759-635c-cdf4-8345-f2f2e986d432
name-label ( RW): Group of ALANG VMs’s GPU Resource
name-description ( RW):
——————————————————————————
새로 생성한 gpu group 에 포함 시킬 pGPU의 uuid 파악
# xe pgpu-list pci-id=0000:86:00.0
——————————————————————————
uuid ( RO) : 62ce0ffc-aa26-9f03-ac95-406ee9a4e8f6
vendor-name ( RO): NVIDIA Corporation
device-name ( RO): GK104GL [GRID K2]
gpu-group-uuid ( RW): a116cfbe-ddce-f08a-3d41-7a84640d6fc7
——————————————————————————
해당 pGPU를 신규 gpu group 에 포함
# xe pgpu-param-set uuid=62ce0ffc-aa26-9f03-ac95-406ee9a4e8f6 gpu-group-uuid=6a417759-635c-cdf4-8345-f2f2e986d432
이제 마지막으로 해당 pGPU 에 지원가능한 vgpu-type을 지정한다.
# xe vgpu-type-list : vgpu-type-uuid 확인
# xe pgpu-list params=all : pgpu-uuid, gpu-group-name-label, enabled-VGPU-types 확인
# xe pgpu-param-set uuid=<pgpu-uuid> enabled-VGPU-types=<vgpu-type-uuid>
이제 정상적으로 Group 별로 pGPU 와 vGPU-Type 이 분리가 되었는지 확인한다.
# xe pgpu-list params=all
———————————————————————————————
uuid ( RO) : 502e7398-4756-3cdf-8560-44beb6a62433
vendor-name ( RO): NVIDIA Corporation
device-name ( RO): GK106GL [Quadro K4000]
gpu-group-uuid ( RW): e20bbb59-5236-2d75-10c2-63b7543b30c1
gpu-group-name-label ( RO): Group of NVIDIA Corporation GK106GL [Quadro K4000] GPUs
host-uuid ( RO): 58688cf5-f2e6-40c3-bb22-5f91b945789a
host-name-label ( RO): alang20
pci-id ( RO): 0000:03:00.0
dependencies (SRO): 0000:03:00.1
other-config (MRW):
supported-VGPU-types ( RO): b607c3e6-1948-637b-6cbf-b5175b122919
enabled-VGPU-types (SRW): b607c3e6-1948-637b-6cbf-b5175b122919
resident-VGPUs ( RO):
uuid ( RO) : 3522804a-e851-3d19-fd3c-c6714981d95f
vendor-name ( RO): NVIDIA Corporation
device-name ( RO): GK104GL [GRID K2]
gpu-group-uuid ( RW): c55f9161-a28d-8f20-1522-f95dfbc88f4b
gpu-group-name-label ( RO): NVIDIA GRID K2 [K240Q] vGPUs
host-uuid ( RO): 58688cf5-f2e6-40c3-bb22-5f91b945789a
host-name-label ( RO): alang20
pci-id ( RO): 0000:86:00.0
dependencies (SRO):
other-config (MRW):
supported-VGPU-types ( RO): b607c3e6-1948-637b-6cbf-b5175b122919; 889c4df2-5f7c-78f7-acb9-59f66742c93d; e1b8131a-6ba5-e90f-9d77-d53b93861a3b; 6b5852a5-0499-0129-8bd9-2c8aa15cd1bb
enabled-VGPU-types (SRW): 889c4df2-5f7c-78f7-acb9-59f66742c93d
resident-VGPUs ( RO):
uuid ( RO) : c2a5ab86-9a3f-4d5c-0c12-43f37f01e77c
vendor-name ( RO): NVIDIA Corporation
device-name ( RO): GK104GL [GRID K2]
gpu-group-uuid ( RW): 9bada0e2-f576-8eb7-e282-ba7bfde9e552
gpu-group-name-label ( RO): NVIDIA GRID K2 [passthrough] pGPUs
host-uuid ( RO): 58688cf5-f2e6-40c3-bb22-5f91b945789a
host-name-label ( RO): alang20
pci-id ( RO): 0000:85:00.0
dependencies (SRO):
other-config (MRW):
supported-VGPU-types ( RO): b607c3e6-1948-637b-6cbf-b5175b122919; 889c4df2-5f7c-78f7-acb9-59f66742c93d; e1b8131a-6ba5-e90f-9d77-d53b93861a3b; 6b5852a5-0499-0129-8bd9-2c8aa15cd1bb
enabled-VGPU-types (SRW): b607c3e6-1948-637b-6cbf-b5175b122919
resident-VGPUs ( RO): 94701c64-9262-824c-5c14-2f2abd722205
—————————————————————————————
# xe gpu-group-list params=all
—————————————————————————————–
uuid ( RO) : 72462076-8107-8f35-e09d-ef1ef40e0e5d
name-label ( RW): NVIDIA GRID K2 [K200] vGPUs
name-description ( RW):
VGPU-uuids (SRO):
PGPU-uuids (SRO):
other-config (MRW):
enabled-VGPU-types ( RO): <expensive field>
supported-VGPU-types ( RO): <expensive field>
allocation-algorithm ( RW): depth-first
uuid ( RO) : c55f9161-a28d-8f20-1522-f95dfbc88f4b
name-label ( RW): NVIDIA GRID K2 [K240Q] vGPUs
name-description ( RW):
VGPU-uuids (SRO):
PGPU-uuids (SRO): 3522804a-e851-3d19-fd3c-c6714981d95f
other-config (MRW):
enabled-VGPU-types ( RO): <expensive field>
supported-VGPU-types ( RO): <expensive field>
allocation-algorithm ( RW): depth-first
uuid ( RO) : 9bada0e2-f576-8eb7-e282-ba7bfde9e552
name-label ( RW): NVIDIA GRID K2 [passthrough] pGPUs
name-description ( RW):
VGPU-uuids (SRO): 94701c64-9262-824c-5c14-2f2abd722205
PGPU-uuids (SRO): c2a5ab86-9a3f-4d5c-0c12-43f37f01e77c
other-config (MRW):
enabled-VGPU-types ( RO): <expensive field>
supported-VGPU-types ( RO): <expensive field>
allocation-algorithm ( RW): depth-first
uuid ( RO) : e20bbb59-5236-2d75-10c2-63b7543b30c1
name-label ( RW): Group of NVIDIA Corporation GK106GL [Quadro K4000] GPUs
name-description ( RW):
VGPU-uuids (SRO):
PGPU-uuids (SRO): 502e7398-4756-3cdf-8560-44beb6a62433; 4d6dc185-d40c-048d-b13e-e53fb1b02f1f
other-config (MRW):
enabled-VGPU-types ( RO): <expensive field>
supported-VGPU-types ( RO): <expensive field>
allocation-algorithm ( RW): depth-first
uuid ( RO) : 6620b20d-6fe1-421e-20e8-0c408b1394f0
name-label ( RW): NVIDIA GRID K2 [K260Q] vGPUs
name-description ( RW):
VGPU-uuids (SRO):
PGPU-uuids (SRO):
other-config (MRW):
enabled-VGPU-types ( RO): <expensive field>
supported-VGPU-types ( RO): <expensive field>
allocation-algorithm ( RW): depth-first
———————————————————————————————
일단 새로 추가한 gpu-group 에 PGPU 가 포함되어 있는 것을 확인할 수 있다. 하지만 아직 해당 PGPU
를 통해 아무런 vGPU가 할당되지는 않았다.
이제 XenCenter 로 접속한다. 그런 후 몇몇 VM의 GPU 속성 변경을 통해 새로 생성한 GPU Group 을
할당 한다.
다시 gpu-group-list 를 확인해 본다.
# xe gpu-group-list params=all
——————————————————————————–
uuid ( RO) : 56a9d370-df44-64ab-31c3-b3649cc03247
name-label ( RW): Group of NVIDIA Corporation GK104GL [GRID K2] GPUs
name-description ( RW):
VGPU-uuids (SRO): 3ba20760-c18c-e0f2-aeaa-40716072f6a9; c90014f4-c924-ac69-f329-ab670e0900a8; 7af519ba-bf7c-ac73-2032-56c93dd7770b; ea09461b-b189-8d23-b4f8-112ec576f521; 78458e7a-6c21-69cd-e192-da71c8a4313c; b45b9706-84d5-413e-4189-0f75d8c3d2ea; 459145b3-4fb1-87a5-9256-6832a2ae7f18
PGPU-uuids (SRO): 7bd8ebb9-9f69-e9ef-9e68-2be71bddd172
other-config (MRW):
enabled-VGPU-types ( RO): <expensive field>
supported-VGPU-types ( RO): <expensive field>
allocation-algorithm ( RW): depth-first
uuid ( RO) : 6a417759-635c-cdf4-8345-f2f2e986d432
name-label ( RW): Group of ALANG VMs’s GPU Resource
name-description ( RW):
VGPU-uuids (SRO): 20e3821b-cdc1-dede-dedd-ab662cd6b996; a8403082-2ad3-2ee5-ee48-4848c1421abe; 851e6198-d87b-92b1-b811-e00d2a91fc30; acdf6db6-3e9b-9ea5-c949-0b83ee594efd
PGPU-uuids (SRO): 62ce0ffc-aa26-9f03-ac95-406ee9a4e8f6
other-config (MRW):
enabled-VGPU-types ( RO): <expensive field>
supported-VGPU-types ( RO): <expensive field>
allocation-algorithm ( RW): depth-first
——————————————————————————–
XenCenter에서 GPU group 을 변경한 VM 수만큼 신규 gpu group 에서 vGPU 정보를 확인할 수 있다.
