HPC 스케줄러 비교: Slurm vs SGE vs PBS Pro vs LSF

 

고성능 컴퓨팅(HPC) 환경에서 작업 스케줄러는 수천, 수만 개의 컴퓨팅 노드와 수많은 작업들을 효율적으로 관리하여 시스템 활용도를 극대화하고 작업 처리량을 높이는 핵심적인 요소입니다. 여기에서는 Slurm, SGE, PBS Pro, LSF 이 네 가지 주요 작업 스케줄러에 대해 기능, 성능, 확장성, 안정성, TOP10 레퍼런스 측면에서 비교하고 각각의 장단점을 살펴보겠습니다.

1. 스케줄러 별 특징 비교 요약

구분	Slurm	SGE (Sun/Oracle/Univa/Altair Grid Engine)	PBS Pro (Portable Batch System Professional Edition)	LSF (Load Sharing Facility / Platform LSF)
라이선스	오픈 소스	현재 상용 제품	상용 및 오픈 소스 (Altair)	상용 제품
주요 기능	워크로드 관리 및 작업 스케줄링, 노드 할당, 작업 실행 프레임워크, 대기 큐 관리. 다양한 스케줄링 정책. 플러그인 아키텍처. 토폴로지 인식 배치. 코어 단위 할당. 컨테이너 워크로드 관리. 대규모 사용자 및 작업 관리.	초기에 오픈 소스. FCFS, 우선순위 기반 정책. 마감 기한 스케줄링. 잡 체크포인트 기능.	NASA PBS 기반. 분산 병렬 지원 중점. 일반적 스케줄링 정책. 워크로드 및 스케줄러 기능 모두 제공.	IBM 개발 상용. 복잡한 분산 워크로드 관리 위한 포괄적 기능. 다양한 정책. 대규모 사용자 및 작업 관리.
성능	백필링 통해 시스템 활용도/처리량 향상. 대규모 성능/효율성 연구 활발. 특정 설정 시 I/O 성능 향상 연구 결과.	성숙된 스케줄러로서 다양한 워크로드에 좋은 성능.	분산 병렬 작업 처리 최적화된 성능 제공.	안정적 성능 제공. 짧은 작업 처리 및 시스템 활용도 최적화에 효과적.
확장성	뛰어난 확장성 염두에 두고 설계. 대규모 컴퓨팅 리소스 및 수많은 작업 효율적 관리. 매우 큰 규모 시스템까지 에뮬레이션 평가 가능.	대규모 클러스터 환경에서도 사용됨.	대규모 시스템 환경에서 사용됨.	대규모 배포 실험에서 좋은 확장성. 수천 사용자 및 수만+ 작업 관리 가능.
안정성	내결함성 갖추도록 설계. 중앙 관리자 페일오버 복사본 통해 지속 운영 보장.	과거 버전에서 안정성 이슈 있었으나 개선. 특정 버전 잡 체크포인트 지원.	NASA 개발 코드 기반, 상용 제품으로 안정성에 중점 지속 개발.	신뢰할 수 있는 파일 시스템으로 알려져 있으며, 내결함성 갖춤.
TOP 레퍼런스 (시장 점유율)	현재 가장 널리 사용. 전체 HPC 사이트 50% 사용. 정부/학술 기관 높은 선호. TOP500 슈퍼컴퓨터 상당수 사용. (TOP 10, 50%)	널리 사용되는 HPC 스케줄러 중 하나. 전체 사이트 10.6% 사용 (LSF와 함께 언급).	널리 사용되는 HPC 스케줄러 중 하나. 전체 사이트 13.9% 사용.	널리 사용되는 HPC 스케줄러 중 하나. 전체 사이트 10.6% 사용. IBM 상용 제품으로서 확고한 위치.
장점	오픈 소스, 뛰어난 확장성 및 유연성, 압도적인 HPC 커뮤니티 지지, 활발한 개발 및 지원. 토폴로지 인식 스케줄링.	성숙하고 널리 사용됨. 다양한 워크로드 지원. 우선순위 정책 다양. 잡 체크포인트.	높은 안정성, 강력한 보안 및 사용자 관리 기능. 상용 지원으로 엔터프라이즈 환경 적합. 오픈 소스 버전 제공 (2016부터).	풍부하고 포괄적인 기능 갖춘 상용 제품 (엔터프라이즈 적합). 안정성 높음. 많은 사용자/작업 효율적 관리. 짧은 작업 처리에 특화.
단점	컨테이너 워크로드 관리 복잡성 가능성. 기능 많아 설정 복잡성 가능성. (RNTier 와 같은 HPC 통합 서비스 솔루션으로 복잡성 해소 가능)	현재 상용 제품. 과거 안정성 문제 언급 이력.	Slurm 대비 TOP500 사용률 및 커뮤니티 활성도 상대적으로 낮을 수 있음.	비싼 라이선스 비용. 설치 및 설정 복잡성 가능성.

2. 스케줄러 별 특징 세부 소개

Slurm (Simple Linux Utility for Resource Management)

기능: Slurm은 오픈 소스 워크로드 관리자 및 작업 스케줄러입니다. 분산 메모리 병렬 시스템을 위해 설계되었으며, 노드 할당, 작업 실행 프레임워크 제공, 대기 중인 작업 큐 관리 등 다양한 기능을 수행합니다. FCFS, 백필링, 페어셰어, 선점, 다중 우선순위, 고급 예약 등 다양하고 정교한 스케줄링 정책을 지원하며, 플러그인 아키텍처를 통해 기능을 쉽게 확장할 수 있습니다. 특히 토폴로지 인식 배치 기술은 Tree 구조 네트워크와 같은 복잡한 구조에서 작업 배치의 효율성을 높입니다.

 

성능: 기본 백필링 스케줄링 기능을 통해 시스템 활용도와 처리량을 높일 수 있습니다. 대규모 클러스터 환경에서의 성능 및 효율성 연구가 활발히 이루어지고 있으며, 특정 설정 최적화를 통해 I/O 성능을 크게 향상시킬 수 있다는 연구 결과도 있습니다. 하지만 대규모에서 에필로그 완료 메커니즘 등이 병목이 될 수 있다는 분석도 있습니다.

확장성: Slurm은 뛰어난 확장성을 염두에 두고 설계되었습니다. 대규모 컴퓨팅 리소스와 수많은 작업을 효율적으로 관리하는 능력이 중요한 특징이며, 매우 큰 규모의 시스템까지 에뮬레이션하여 평가할 수 있습니다.

안정성: 스케줄러 서비스 데몬의 내결함성을 갖추도록 기본 설계되었습니다.

TOP 레퍼런스: Slurm은 현재 가장 널리 사용되는 HPC 작업 스케줄러입니다. 전체 HPC 사이트의 절반(50%)에서 Slurm을 사용하며, 특히 정부 및 학술 기관에서 높은 선호도(70%, 61.5%)를 보입니다. TOP500 HPC 의 상당수(40~50%)에서 사용되며 특히, TOP10 HPC 에서 50% 이상이 채택된 스케줄러입니다. (참고: SC24 BOF 내용 https://sc24.supercomputing.org/proceedings/bof/bof_pages/bof101.html)

장점: 오픈 소스라는 점과 뛰어난 확장성 및 유연성이 가장 큰 강점입니다. HPC 커뮤니티의 압도적인 지지와 활발한 개발, 풍부한 문서 및 지원이 장점입니다. 토폴로지 인식 스케줄링 기능도 제공합니다.

단점: 컨테이너화된 워크로드의 경우 사용 및 유지 관리가 복잡할 수 있으며, 기능이 많아지면서 설정이 복잡해질 수 있습니다.

 

SGE (Sun Grid Engine / Univa Grid Engine / Oracle Grid Engine)

기능: SGE는 초기에 오픈 소스로 시작되었으나, 현재는 상용 제품(Univa Grid Engine, Oracle Grid Engine)으로 제공됩니다. FCFS, 우선순위 기반 정책(쉐어트리, 기능, 마감 기한, 재정의 등)을 지원합니다. 마감 기한 스케줄링은 작업의 마감 기한이 다가올수록 우선순위를 높이는 방식입니다.

 

성능: 정통적 HPC 작업 스케줄러로서 일반적 HPC 워크로드에 대해 좋은 성능을 제공합니다.

확장성: 대규모 클러스터 환경에서도 사용됩니다.

안정성: 과거 버전에서 안정성 이슈가 일부 있었으나 상용 버전으로 전환되면서 많이 개선되었습니다. 특정 버전에서 잡 체크포인트 기능 등 안정성 관련 기능을 지원합니다.

TOP 레퍼런스: 고전적으로 널리 사용되는 HPC 스케줄러 중 하나입니다. 전체 사이트 중 10.6%가 SGE를 사용한다는 조사 결과도 있습니다(LSF와 함께 언급되기도 함).

장점: 오랜 기간 HPC 분야에서 널리 사용된 스케줄러로서, 일반적으로 잘 알려진 HPC 워크로드(CFD/CAE)에 대한 지원이 강점입니다. Abaqus, Fluent, CFX, StarCCM 등 대표 CAE SW 작업에 대한 이용 정보를 쉽게 찾을 수 있습니다.

단점: 오픈 버전은 더 이상 개발 및 지원이 중단되었고, 현재 상용 제품이라는 점과 과거 안정성 문제 언급 이력이 있습니다.

PBS Pro (Portable Batch System Professional Edition)

기능: PBS Pro는 NASA에서 개발된 Portable Batch System(PBS)의 상용 버전으로 시작하여 현재는 Altair Engineering에서 상용 및 오픈 소스 제품으로 제공합니다. 분산 병렬 지원에 중점을 두고 설계되었으며, FCFS, 페어셰어, 선점, 독점 등 일반적인 스케줄링 정책을 지원합니다. 보안 및 사용자 관리 기능에 강점을 가지고 있습니다. 워크로드 관리 기능과 스케줄러 기능을 모두 갖추고 있습니다.

 

성능: 분산 병렬 작업 처리에 최적화된 성능을 제공합니다.

확장성: 대규모 시스템 환경에서도 사용됩니다.

안정성: NASA에서 개발된 코드 기반이며, 상용 제품으로서 안정성에 중점을 두고 지속적으로 개발되고 있습니다.

TOP 레퍼런스: 널리 사용되는 HPC 스케줄러 중 하나이며, 전체 사이트의 13.9%에서 사용됩니다.

장점: 높은 안정성과 강력한 보안 및 사용자 관리 기능이 강점입니다. 상용 지원을 통해 엔터프라이즈 환경에 적합하며, 2016년부터 오픈 소스(노드 수 제한)로도 제공됩니다.

단점: Slurm 대비 TOP500에서의 사용률이나 커뮤니티 활성도, 최신 워크로드에 대한 지원 측면에서는 상대적으로 뒤처질 수 있습니다.

LSF (Load Sharing Facility / Platform LSF)

기능: LSF는 IBM에서 개발한 상용 워크로드 관리 및 작업 스케줄링 소프트웨어입니다. 복잡한 분산 워크로드 관리를 위한 포괄적인 기능 세트를 제공하며, FCFS, 페어셰어, 마감 기한, 독점, 선점, SLA 기반 스케줄링 등 다양한 정책을 지원합니다.

 

성능: 안정적인 성능을 제공하며, 세션 스케줄러를 통해 짧은 작업 처리 및 시스템 활용도 최적화에 효과적입니다.

확장성: 대규모 배포 실험에서 좋은 확장성을 보였으며, 수천 명의 사용자와 수만 개 이상의 작업을 관리할 수 있습니다.

안정성: 내결함성 구조를 갖추고 있습니다.

TOP 레퍼런스: 널리 사용되는 HPC 스케줄러 중 하나이며, 전체 사이트의 10.6%에서 사용됩니다. IBM이 개발하고 지원하는 상용 제품으로서 시장에서 확고한 위치를 차지하고 있습니다.

장점: 풍부하고 포괄적인 기능을 갖춘 상용 제품으로서 엔터프라이즈 환경에 적합합니다. 안정성이 높고 많은 수의 사용자 및 작업을 효율적으로 관리할 수 있습니다. 짧은 작업 처리에 특화된 장점이 있습니다.

단점: 비싼 라이선스 비용이 부담될 수 있으며, 설치 및 설정이 상대적으로 복잡합니다.

위 4가지 스케줄러는 HPC 시스템의 핵심 구성 요소로서 각기 다른 강점과 특징을 가집니다. 시스템 규모, 예산, 요구되는 특정 기능, 관리 인력의 숙련도 등을 종합적으로 고려하여 특정 환경에 가장 적합한 스케줄러를 선택하게 됩니다. 현재는 오픈 소스이면서 뛰어난 확장성과 최신워크로드에 빠르게 대처하면서 막강한 커뮤니티 채널을 가진 Slurm이 HPC 분야에서 가장 광범위하게 채택되고 있는 추세입니다.

3. 결론 및 제언

Slurm – 현대 HPC 환경에 가장 적합한 표준형 스케줄러

Slurm은 현재 HPC 분야에서 가장 널리 사용되는 워크로드 스케줄러로, 오픈 소스 기반의 유연성과 확장성, 그리고 대규모 시스템을 위한 실질적인 운영 안정성을 동시에 갖춘 점이 핵심 경쟁력입니다.

다양한 상용 스케줄러들이 존재하지만, Slurm은 다음과 같은 차별화된 강점을 통해 학술, 공공기관, 엔터프라이즈 HPC 환경 모두에서 신뢰할 수 있는 선택지로 자리매김하고 있습니다:

Slurm의 주요 강점 요약

• 압도적인 채택률: TOP500 슈퍼컴퓨터의 약 50%, 전 세계 HPC 사이트의 절반 이상이 Slurm을 사용 중
• 뛰어난 확장성: 수십만 노드, 수백만 작업 규모의 클러스터에서도 안정적으로 동작
• 정교한 스케줄링 정책: FCFS, 백필링, 선점, 마감 기한, 페어셰어 등 HPC 운영에 최적화된 다양한 정책 지원
• 유연한 아키텍처: 플러그인 기반 구조로 새로운 기능 추가 및 통합이 용이
• 토폴로지 인식 스케줄링: 네트워크 구조까지 고려한 고도화된 자원 배치
• 빠른 기술 대응력: 컨테이너, GPU, 클라우드, AI 등 최신 워크로드와의 통합 및 대응 속도 우수
• 강력한 커뮤니티 및 생태계: 활발한 오픈소스 개발, 풍부한 문서화, 전 세계적 사용자 경험 공유 채널 확보

실질적 선택 고려 사항

• 상용 제품 대비 라이선스 비용 부담이 없으며, 복잡한 설정은 RNTier와 같은 통합 플랫폼 운영 솔루션을 통해 해소 가능
• 관리 인력이 익숙해질수록 운영 효율성과 자동화 수준이 빠르게 향상됨