시스존 문의사항

Re:SGE parallel environment 와 parallel job , slot 에 대해

작성자
서진우 서진우
작성일
2018-05-28 12:30
조회
7038
네..안녕하세요. SGE 운영을 업무로 맡고 계시는 군요.

일단 이해하고 계신 부분이 모두 맞습니다.

slot 은 기본적으로 job 에 할당되는 core 수라고 보시면 됩니다. 다만 무조건 SGE 의 slot 이 서버의
core 와 같아야 하는 것은 아니고요. 일반적으로 HPC(mpi) 와 같은 작업은 slot 과 core 를 같게 해야
불필요한 processor 의 time sharing 을 피할 수 있습니다.

다만, GUI 프로그램과 같이 할당된 core를 해당 job 이 끝날때까지 계속 점유하는 형태가 아니라면
qconf -mq 에서 각 서버의 slot 수를 core 의 1.5~2 배 정도 잡는 경우도 있습니다.

parallel environment 는 분산 시스템에서 slot 을 어떻게 할당할지를 정의하는 설정입니다.

pe 설정중 가장 중요한 부분이 allocation rule 인데 해당 설정 값마다 core 를 분산 시키는 방식이 달라
집니다.

- $pe_slots : 모든 core 가 같은 서버에서 할당되어야 함. (SMP 방식에 적용)
- fill_up : 처음 할당되는 서버의 유휴 중인 모든 core 를 할당한 후 부족하면 다음 서버의 core 를 할당
- round_robin : 서버당 모조건 1개 core 씩 할당 ( A,B,C, D 서버가 4대 인데, 요구한 slot 수가 8일 경우 ..
서버당 2core 씩 할당되겠죠..순서는 ABCDABCD 순으로 ..)
- 1 : 서버당 모조건 1개 core 할당 ( round_robin 은 서버 수 보다 많은 slot 을 요구하면, 서버 순으로
한바퀴 돌고 처음 서버 slot 을 다시 추가하지만, allocation rule 에 정수가 적힌 경우는 해당 수를 초과할 수 없습니다.
즉..서버가 4대 인데 8개 slot 을 할당하면 작업이 들어가지 않겠죠..
- 2 : 서버당 모조건 2개 core 할당
: 서버당 모조건 n 개 core 할당


PE 는 multi processor 를 이용하는 작업 환경에서 작업에 대해 서버의 processor 를 어떻게 할당할지 지정하는 설정이라
매우 중요한 설정 부분입니다.

그럼..