CFD/CAE 분야 HPC 스토리지 아키텍처 현황 분석 보고서

by · Published · Updated

1. CFD/CAE 분야 클러스터 파일시스템 개요

고성능 컴퓨팅(HPC, High Performance Computing) 시스템에서의 중앙 공유 스토리지는 수백~수천대의 컴퓨팅 노드, 고성능 네트워크 인프라, 초당 테라바이트(TB/s) 규모의 I/O 대역폭, 그리고 수십 페타바이트(PB) 수준의 저장 용량까지 확장 가능한 대규모 분산 고속 병렬 I/O 처리 환경을 핵심적으로 요구하고 있습니다. 이러한 분산 병렬 I/O 시스템은 소프트웨어 스택과 하드웨어 인프라의 통합적인 조합으로 구성되며, 각각의 계층은 HPC 애플리케이션의 성능과 효율성에 직접적인 영향을 미칩니다.

분산 병렬 I/O 시스템 아키텍처 구성 요소

  1. 분산 병렬 I/O 소프트웨어 스택
    • Parallel I/O Libraries: MPI-IO (Message Passing Interface for I/O)가 HPC 환경에서 사실상의 표준으로 사용되며, HDF5, NetCDF와 같은 고수준 데이터 형식 라이브러리가 그 위에 위치하여 데이터 모델링과 접근을 지원합니다.
    • Cluster File Systems: 데이터의 대규모 분산 저장과 고성능 병렬 접근을 제공하는 병렬 파일 시스템으로는 Lustre, IBM Spectrum Scale (이전 GPFS), BeeGFS 등이 대표적입니다.
    • OS 및 유틸리티 레이어: POSIX 인터페이스 및 스케줄러, I/O 최적화를 위한 시스템 도구들이 포함됩니다.
  2. 분산 병렬 I/O 하드웨어 스택
    • Storage Network: InfiniBand, RoCE(RDMA over Converged Ethernet), OPA(Intel Omni-Path)와 같은 고성능 네트워킹 솔루션이 사용되며, I/O 노드와 스토리지 노드 간의 저지연, 고대역폭 통신을 보장합니다.
    • Storage Nodes & I/O Nodes: 병렬 파일 시스템의 메타데이터 서버(MDS), 객체 스토리지 서버(OSS), 클라이언트 노드 등이 포함되며, 데이터 스트라이핑 및 메타데이터 관리 역할을 수행합니다.
    • Storage Devices: HDD, NVMe SSD, QLC NAND 기반의 플래시 모듈, HBM 메모리 등으로 구성되며, 계층적 데이터 관리(HSM, ILM)를 통해 성능과 비용의 균형을 맞춥니다.

병렬 I/O와 CFD/CAE 애플리케이션

CFD(Computational Fluid Dynamics), CAE(Computer-Aided Engineering)와 같은 HPC 워크로드는 대규모 병렬 연산과 대용량 데이터 처리를 필요로 하며, I/O 성능이 전체 시뮬레이션 처리 시간(elapsed time)에 결정적인 영향을 미칩니다. 특히, 반복적인 데이터 체크포인트 저장, 대규모 결과 파일 생성, 수천 개의 프로세스 간 동기화(collective operations)는 I/O 병목의 주요 원인이 되며, 병렬 I/O 시스템의 설계와 구현 방식에 따라 성능 격차가 크게 발생할 수 있습니다.

따라서, HPC 환경에서 효율적인 병렬 I/O 시스템을 구축하기 위해서는 다음과 같은 핵심 요소를 고려해야 합니다:

  • 파일 시스템의 스트라이핑/레이아웃 전략: I/O 병목을 최소화하기 위해 Stripe Count, Stripe Size, Placement Policy 등의 최적화가 필요.
  • 메타데이터 관리 성능: 파일 수가 많거나 작은 파일 처리 빈도가 높은 CFD/CAE 워크로드의 경우, 메타데이터 서버의 처리 능력이 전체 성능의 병목으로 작용할 수 있음.
  • 네트워크 레이턴시 및 대역폭: MPI-IO 및 Collective I/O 연산의 성능은 네트워크 인프라의 지연(latency)과 처리량(bandwidth)에 직접적으로 영향을 받음.
  • 애플리케이션 I/O 패턴과의 적합성: Lustre, IBM Spectrum Scale(GPFS), BeeGFS는 HPC 전통 워크로드에 최적화되어 있으나, AI/ML, 클라우드 워크로드에서는 S3/Object Storage 기반 솔루션(WekaFS, FlashBlade 등)이 각광 받고 있음.

주요 병렬 파일 시스템 특징 및 활용 분야 요약

병렬 파일 시스템 아키텍처 및 특징 주요 활용 분야
Lustre Distributed Object-Based Storage, MDS/OSS/OST 구조, POSIX 준수, 고대역폭 순차 I/O 최적화 대규모 CFD/CAE, 과학 시뮬레이션, 슈퍼컴퓨터(Frontier, Fugaku 등)
IBM Spectrum Scale (GPFS) NSD 기반 병렬 파일 시스템, AFM/FPO, ILM 정책 관리, 혼합 워크로드 최적화 대규모 CFD/CAE, 과학 시뮬레이션, AI/ML, 금융, Oracle RAC, 엔터프라이즈 HPC 환경
BeeGFS 소프트웨어 정의 스토리지, POSIX 기반, BeeOND(버스트 버퍼링) 지원 중소규모 HPC, 연구 환경, 비용 효율적 HPC
WekaFS NVMe-oF 기반, DPDK, 클라우드 통합(Snap-to-Object), AI/ML 최적화, POSIX/NFS/SMB/S3 지원 AI/ML, 딥러닝, 대규모 GPU 클러스터
Pure Storage FlashBlade//S NVMe-oF, 고성능 스케일아웃, 통합 네임스페이스, 초고성능 IOPS/저지연 AI/ML, 빅데이터, 연구 분석, 버스트 I/O 환경

2. 대표 클러스터 파일시스템 상세 특징 분석

2.1 IBM Spectrum Scale (GPFS)

아키텍처

IBM Spectrum Scale은 검증된 확장 가능한 고성능 데이터 및 파일 관리 솔루션입니다. GPFS(General Parallel File System)의 새로운 이름으로, 4.1 버전부터 Spectrum Scale로 명칭이 변경되었습니다. Spectrum Scale은 클러스터(여러 노드 및 Network Shared Disks(NSD)로 구성), 스토리지 풀(NSD의 컬렉션), 블록(단일 I/O 작업 및 공간 할당의 가장 큰 단위), 청크(FPO 기능 관련 논리적 블록 그룹), 메타데이터, 애플리케이션 노드, 쿼럼 노드 등의 구성 요소를 가집니다.

지원되는 클러스터 토폴로지 구성 방식은 Spectrum Scale NSD 서버와 클라이언트를 분리하여 클라이언테서만 애플리케이션 실행, GFPS 스토리지에 직접 연결된 노드에서 애플리케이션 실행, NSD 서버 및 클라이언트 모두에서 애플리케이션 실행(Mixed NSD Access), 그리고 모드 노드가 데이터 저장과 어플리케이션 실행을 동시에 처리하는 File Placement Optimizer(FPO) 클러스터 환경이 있습니다.

장점

  • 고가용성, 성능, 관리의 조합 : 가장 중요한 애플리케이션 및 워크로드에 적합합니다. 파일 시스템 로깅, 유연한 동기식 복제 도구 등 다양한 안정성 기능을 제공합니다.
  • 이종 인프라 지원 : Linux, Windows, AIX 운영 체제를 지원하는 이기종 클러스터 구성을 지원합니다. (전용 스토리지 연결 Agent 제공)
  • 다양한 기능 : 정보 수명주기 관리(ILM), Active File Management (AFM), Cluster(Parallel)NFS, 스냅샷, 백업 및 복구 기능 등을 포함합니다.
  • FPO : 각 노드가 독립적으로 작동하여 로컬 스토리지 디스크를 활용하는 Shared-nothing 아키텍처를 지원합니다. Hadoop Distributed File System (HDFS)의 대안으로 사용될 수 있으며, 데이터 위치 활용, 하드웨어 비용 절감, I/O 성능 향상에 장점이 있습니다.
  • 혼합 워크로드 지원 : 단일 Spectrum Scale 클러스터가 다양한 분석, 데이터베이스 및 기타 워크로드 요구 사항을 지원할 수 있습니다.
  • 암호화 기능 : 파일 및 파일 세트 수준에서 데이터 암호화를 지원합니다.
  • 가상화 지원 : 전용 환경 또는 AIX, Linux, Windows 운영 체제 플랫폼의 가상화 환경 모두에서 지원됩니다. PowerVM, KVM, VMware, HyperV와 같은 가상화 기술을 지원합니다.

단점

  • 복잡성 및 튜닝 : 일반 NAS 스토리지에 비해 전통적인 병렬 파일 시스템은 구성이 복잡하며 다양한 워크로드 상황을 지원하기 위해 지속적인 튜닝이 필요합니다.
  • 관리 부담: 직접 관리를 위해서 전문 기술 습득이 필요함.

성능 검증 및 적용 사례:

GPFS는 지난 10여년간 세계 다양한 산업 분야에서 가장 까다로운 데이터 집약적 산업 (예: 엔지니어링 해석/설계, 미디어 및 엔터테인먼트, 석유 및 가스, 금융 서비스, 과학 연구, 인지 애플리케이션 등)에서 광범위하게 사용되었습니다. 용량과 I/O 처리 성능을 우선으로 요구하는 공공 과학 연구 기관에도 많은 레퍼런스를 보유하고 있지만, 안정성, 신뢰성, 운영성 등 복합적인 요구를 모두 고려하는 엔터프라이즈 시장 중심으로 많은 레퍼런스를 확복하고 있습니다.

이는 엔터프라이즈급 시장에서 필수적으로 요구되는 신속한 스냅샵 백업과 안정적인 복구가 가능하고, 파일시스템의 정확성과 무결성이 필수적으로 요구되는 Oracle Real Application Cluster (RAC), SAP HANA(인메모리 기반 DBMS) 및 IBM DB2 DPF(IBM DB 병렬처리기능) 분야에서도 그 안정성이 검증되어 있습니다.

특히 FPO는 빅데이터 플랫폼의 HDFS의 대안으로도 사용되어 지고 있습니다.

적합성:

전통적인 HPC (CAE/CFD) 환경에 매우 적합합니다. CAE/CFD를 포함한 많은 과학 연구 분야에서 오랜 기간 사용되어 왔으며, 병렬 I/O, 다양한 워크로드 지원, 안정성 기능이 강점입니다.

클라우드/AI 분야 환경에도 적합합니다. 클라우드, 빅 데이터, 분석을 위한 소프트웨어 정의 스토리지로 포지셔닝되며, FPO는 빅 데이터 워크로드 및 HDFS 대안으로 사용될 수 있습니다. AFM은 지리적으로 분산된 클러스터 간 데이터 공유 및 재해 복구(DR) 시나리오 구축에 유용합니다.

2.2 Lustre

아키텍처:

Lustre는 Linux 커널에서 구현된 POSIX 표준 준수 파일 시스템 인터페이스를 제공합니다. 분산 객체 기반 스토리지 아키텍처를 기반으로 하며, 블록 스토리지 관리를 백엔드 서버에 위임합니다. 파일 데이터는 여러 I/O 서버(OST)에 걸쳐 스트라이핑됩니다. 클라이언트는 컴퓨팅, 시각화 또는 로그인 노드입니다.

장점:

  • 고대역폭: 고대역폭에 최적화되어 있으며, 적은 수의 크고 연속적인 I/O 요청(예: 큰 파일 소수)에 가장 잘 작동합니다.
  • 확장성: 여러 클라이언트가 동시에 파일 시스템에 접근할 때 좋은 성능을 달성합니다.
  • 대용량 파일 쓰기 성능: 파일 데이터를 여러 OST에 걸쳐 스트라이핑하여 성능을 향상시키는 기본 메커니즘을 사용합니다. 스트라이프 개수와 스트라이프 크기를 파일별 또는 디렉터리별로 설정할 수 있습니다. 이러한 특징은 작업 수의 대용량 파일에 대한 우수한 Writing 성능을 제공합니다.
  • 비용: 오픈소스 기반 파일 시스템으로 도입 시 비용 부담이 상대적으로 낮은 편입니다.

 

단점:◦

  • 메타데이터 오버헤드: 매우 큰 코어 수(>10,000)에서는 병렬 파일 시스템의 기술적 한계(특히 메타데이터 작업)에 부딪히기 시작하며, 이러한 규모에서의 스케일링을 제한합니다.
  • 작은 파일에 불리: 적은 수의 크고 연속적인 I/O 요청에 최적화되어 있어 작은 파일이 많은 워크로드에는 불리할 수 있습니다.
  • 튜닝 및 안정성: 비교 자료에 따르면 튜닝이 필요하고, 복잡하며 불안정하고 규모가 커질수록 취약해진다고 언급됩니다. 시스템 용량이 찰수록 성능 저하가 발생할 수 있습니다.
  • 관리 및 지원: 관리 부담이 높으며, 데이터 스크러빙(오류자동복구), 자동 데이터 리밸런싱, 비동기 복제 기능이 부족하거나 미흡합니다. 파일시스템 레벨에서의 자체 스냅샵 백업이 불가하여 파일 복제 방식의 백업을 하며, 이는 대용량 스토리지 백업과 복구에 많은 한계로 작용됩니다. 성능은 최상이나 여러 운영성에 있어 충분히 안정적이지 않다고 평가됩니다.

성능 검증 및 적용 사례:

일반 순수 과학 연구 기관의 HPC 플랫폼에서 가장 많이 사용되는 병렬 파일 시스템 중 하나입니다.

파일별 프로세스(FPP) 방식과 단일 공유 파일(SSF) 방식의 최대 쓰기 대역폭을 비교한 결과 SSF가 특정 코어 수에서 더 높은 최대 대역폭을 보였지만, FPP가 더 넓은 범위의 코어 수에서 일관된 성능을 보였고 최대 코어 수에서 SSF를 능가했습니다. 즉, 많은 프로세스가 동시에 I/O 를 생성하는 곳에 매우 뛰어난 성능을 보유한 특징을 가지고 있어 기상, 천체 물리, 입자 물리, 생명 과학, 화학 등 연구 분야에서 주로 사용되어 집니다.

적합성:

전통적인 HPC (CAE/CFD): 매우 적합합니다. 특히 대규모 순차 I/O가 많은 워크로드에 강점을 보이며, HPC 환경에서 오랫동안 널리 사용되어 왔습니다.

클라우드/AI 분야: 클라우드/AI 특정 기능에 대한 언급은 적지만, 대용량의 I/O 처리가 필요한 특정 AI 워크로드에는 사용될 수 있습니다.

 

2.3 BeeGFS

아키텍처

BeeGFS는 이전 FhGFS로 불렸으며, 전통적인 병렬 클러스터 파일 시스템 구조로 이루어져 입습니다. Lustre와 유사한 시스템 아키텍처로 Management Server(MS), Metadata Server(MDS), Object Storage Server(OSS) 구성 요소를 가지며, 파일 스트라이핑 개념을 사용하여 병렬성을 확보합니다. 각 서비스는 ext4, xfs 또는 zfs와 같은 로컬 Linux POSIX 파일 시스템 내에 데이터를 저장합니다.

장점:

  • 배포 용이성 및 오픈 소스: 배포가 비교적 쉽고 무료 오픈 소스라는 점이 장점입니다.
  • 유연성 및 확장성: 높은 성능, 확장성, 유연성, 견고성 및 사용 편의성에 중점을 두고 개발되었습니다. 서버 수를 늘리면 성능과 용량이 확장됩니다.
  • 광범위한 지원: 다양한 Linux 커널 버전 및 하드웨어 플랫폼(Intel/AMD x86_64, ARM, OpenPOWER 등)을 지원하며 플랫폼 혼합이 가능합니다.
  • BeeOND: 컴퓨팅 노드의 내부 플래시 드라이브를 활용하여 작업 기간 동안만 존재하는 임시 병렬 파일 시스템을 생성하는 BeeOND 기능을 제공하여 버스트 버퍼링 등에 활용할 수 있습니다.
  • 클라우드 통합: Amazon Web Services (AWS) 및 Microsoft Azure에서 사용할 수 있습니다.

단점:

  • 쓰기 성능: Buddy Mirroring 기능 사용 시 쓰기 속도가 읽기 속도의 절반 수준입니다.
  • 튜닝 및 안정성: 튜닝이 필요하고, RAID 재구축(Re-build) 시간이 상당히 오래 걸립니다. 시스템 용량이 찰수록 성능 저하가 발생할 수 있습니다.
  • 데이터 관리 기능 부족: 데이터 스크러빙, 자동 데이터 밸런싱, 비동기 복제 기능이 부족합니다.
  • 고가용성 비용: 선택적 Buddy Mirroring을 통한 HA는 가능하나, 하드웨어 요구 사항과 비용, 운영 복잡성이 두 배로 증가시킵니다.
  • 기술 지원: 안정적인 기술 지원 체계가 미흡합니다.

성능 검증 및 적용 사례:

최근 몇 년간 유럽 HPC 커뮤니티에서 많은 관심을 얻고 있습니다.

인공지능, 생명 과학, 석유 및 가스, 금융, 국방 등 다양한 산업 및 연구 분야에서 사용됩니다.

적합성:

전통적인 HPC (CAE/CFD): 소규모 HPC에 적합합니다. 특히 배포 용이성과 유연성이 필요한 환경에서 HPC 워크로드에 사용됩니다. 다만, 안정적인 서비스 운영이 필요한 엔터프라이즈 환경에서 사전 검토가 필요합니다.

클라우드/AI 분야: 적합합니다. 인공지능 분야에서 사용 사례가 언급되며, 클라우드 통합, 버스트 버퍼링을 위한 BeeOND 기능은 클라우드/AI 워크로드에 적용이 가능하다는 의견이 있습니다.

 

2.4 Pure Storage (FlashBlade/FlashBlade//S)

아키텍처:

Pure Storage FlashBlade 및 FlashBlade//S는 HPC 워크로드를 위해 설계된 올플래시, 스케일아웃, 병렬 데이터 플랫폼입니다. 대칭적이고 분산된 아키텍처로 클라이언트 요청의 로드 밸런싱 및 대규모 데이터 처리가 가능합니다. 컴퓨팅 및 DirectFlash® Module(DFM)을 포함하는 모듈식 블레이드로 성능과 용량을 독립적으로 확장할 수 있습니다. Purity//FB 소프트웨어를 기반으로 하며, 파일(NFS, SMB) 및 객체 프로토콜을 지원합니다.

장점:

  • 극도로 높은 IOPS 및 대역폭: 다른 스토리지 티어에 비해 5-6배 높은 IOPS를 제공하며, HPC 워크로드에 필요한 높은 데이터 처리량을 제공합니다. HPC 컴퓨팅 자원(CPU, GPU)이 스토리지 I/O 대기 없이 잠재력을 최대한 발휘하도록 지원합니다.
  • 성능 및 확장성: 파일 크기나 접근 패턴에 관계없이 뛰어난 성능을 제공하며, 성능과 용량이 선형적으로 확장됩니다. 수십에서 수백 개의 GPU 시스템을 동시에 지원하고, 수십억 개의 파일을 단일 디렉터리에서 처리할 수 있습니다.
  • 관리 용이성: 단순성에 중점을 두어 관리 부담이 거의 없으며, 무중단 업그레이드를 지원합니다.
  • 효율성 및 지속 가능성: 올플래시, 올-NVMe 설계로 전력 및 냉각 요구 사항을 절감하고, 효율적인 압축 기능을 제공합니다. 지속 가능한 플랫폼으로 평가됩니다.
  • 다양한 기능: 즉각적이고 공간 효율적인 스냅샷, Snap-to-Object (백업, DR, 클라우드 버스팅), 데이터 이동성, 엔드투엔드 암호화, 불변성 (immutability), 컨테이너 지원 (K8s CSI 플러그인) 등 다양한 엔터프라이즈급 기능을 제공합니다.
  • 로드 밸런싱 및 병렬 처리: 대칭적이고 분산된 아키텍처를 통해 클라이언트 요청을 로드 밸런싱하고 데이터를 대규모로 처리하며, I/O 작업의 대규모 병렬 처리를 지원하여 높은 데이터 처리량을 가능하게 합니다. 이는 컴퓨팅 리소스를 제한하는 I/O 병목 현상을 방지하도록 설계되었습니다.

단점:

  • 초기 도입비용 : FlashBlade는 고성능 NVMe 기반의 올플래시 아키텍처를 채택하고 있어 초기 도입 비용이 높습니다. 특히, 대규모 HPC 환경에서는 예산 부담이 매우 큽니다.
  • 라이선스 및 유지비용: FlashBlade는 통합 라이선스 모델을 제공하지만, 특정 기능이나 확장에 따라 추가 비용이 발생할 수 있습니다. 반면, Lustre나 BeeFS는 오픈소스이고, GPFS는 오픈소스 기반으로 시작하여 필요에 따라 상용 지원을 선택할 수 있어 FlashBlade의 비용 효율성이 상대적으로 높습니다.
  • 병렬 I/O 최적화 부족: Lustre, BeeFS, GPFS는 MPI-IO, HDF5 등 HPC에서 널리 사용되는 병렬 I/O 라이브러리와의 호환성이 뛰어나며, 대규모 병렬 처리에 최적화되어 있습니다. 반면, FlashBlade는 NFS 및 SMB 프로토콜을 중심으로 설계되어 있어 HPC 특화 워크로드에서는 성능 저하가 발생할 수 있습니다.
  • Windows 클라이언트 지원: FlashBlade는 SMB 프로토콜을 통해 Windows 클라이언트를 지원하지만, 성능 및 기능 측면에서 제한이 있을 수 있습니다.
  • Active Directory(AD) 연동: FlashBlade는 AD 연동을 지원하지만, 복잡한 권한 설정이나 대규모 사용자 관리를 위한 고급 기능은 부족할 수 있습니다. GPFS는 Kerberos 기반의 인증 및 ACL을 통한 세밀한 권한 관리를 지원합니다.

성능 검증 및 적용 사례:

McArthur Lab의 유전체 위협 감시 연구와 Nanyang Technology University (NTU)의 유전체 분석 연구에서 FlashBlade/FlashBlade//S를 사용하여 계산 시간을 대폭 단축하고 I/O 성능 병목 현상을 해결한 사례가 소개되었습니다.

연구 센터, 실험실, 반도체 설계, 자동차, 유전체 시퀀싱, 금융 서비스, 석유 및 가스, 미디어 및 엔터테인먼트 등 다양한 산업 분야의 대용량 데이터 처리 워크로드에 사용됩니다.

Pure Storage는 FlashBlade//S를 “세계에서 가장 빠른 POSIX 병렬 파일 시스템”이라고 주장합니다.

NVIDIA DGX A100 시스템과의 참조 아키텍처 검증에서 FIO, mdtest, MLPerf ResNet-50 벤치마크를 통해 우수한 성능 및 선형적 확장성을 입증했습니다.

적합성:

전통적인 HPC (CAE/CFD): 적합합니다. 특히 높은 IOPS와 대역폭이 동시에 요구되는 혼합 워크로드 및 대규모 병렬 계산에 강점을 보이며, 시뮬레이션, 모델링 등 집중적인 I/O 워크로드를 요구하는 HPC 분야에 강점이 예상됩니다. 다만 모든 데이터와 워크로드가 중앙 스토리지를 통해 저장되고, 처리되어야 할 경우에는 오래된 단순 저장 목적의 대용량 데이터를 올플래쉬 형태의 스토리지로 지속 유지하는 부분의 초기 도입 비용 및 유지 비용 효율에 대한 사전 검토가 반드시 필요합니다.

클라우드/AI 분야: 매우 적합합니다. AI/ML/DL 워크로드에 특히 강력하며, 클라우드 통합, 데이터 레이크 및 객체 스토리지 통합 기능은 클라우드/AI 환경에 매우 유리합니다.

2.5 Weka (WekaIO Matrix/WekaFS)

아키텍처

WekaIO Matrix는 스토리지 서비스와 물리적 하드웨어를 분리하고 SSD/NVMe 기술을 사용하는 소프트웨어 중심의 Shared Accelerated Storage (SAS) 솔루션입니다. 산업 표준 서버, 메모리, 네트워킹, 스토리지 장치를 기반으로 하는 하드웨어 독립적인 아키텍처이며, 플래시 기술을 활용하기 위해 처음부터 다시 작성되었습니다. Intel DPDK 기술을 사용하여 낮은 대기 시간을 구현합니다. 하이퍼컨버지드 또는 전용 스토리지 서버 배포 모드를 지원하는 유연한 배포 옵션을 제공합니다. 또한 통합 서비스 환경에 필요한 단일 네임스페이스를 사용합니다

장점

  • 뛰어난 성능 및 낮은 대기 시간: 이전에는 볼 수 없었던 파일 기반 스토리지 성능과 확장성을 제공하며, 매우 높은 성능과 200 마이크로초 수준의 낮은 대기 시간을 제공합니다.
  • 혼합 워크로드 최적화: 플래시에 최적화되어 있어 대규모 및 소규모 파일, 임의 및 순차적 접근 패턴으로 구성된 혼합 워크로드에 이상적입니다.
  • 독립적인 확장성: 성능과 용량을 독립적으로 동적 확장할 수 있습니다.
  • 고급 데이터 보호 및 복구: 체크포인팅, 데이터 분산, 독자적인 오류 수정 방식을 포함하는 데이터 보호 방식을 사용하며, 복제나 RAID보다 효율적이고 복원력이 뛰어납니다. 모든 Weka 활성화 노드가 복구에 동등하게 참여하여 데이터 접근성과 성능을 유지합니다.
  • 다양한 기능: POSIX 접근 방식 외에 NFS, SMB, S3 프로토콜을 지원하며, Hadoop 및 Spark 환경을 위한 통합 커넥터, S3 객체 스토리지와의 통합(계층화, 네임스페이스 확장), 즉각적이고 공간 효율적인 스냅샷, Snap-to-Object (버전 관리, 백업, DR, 클라우드 버스팅), 엔드투엔드 암호화, 불변성, 컨테이너 지원 (K8s CSI 플러그인) 등 다양한 기능을 제공합니다.
  • 선형적 확장성: 성능이 노드 추가에 따라 선형적으로 확장됩니다. NVIDIA DGX A100 시스템과의 검증에서 강력한 선형 성능 확장성을 보였습니다.

단점:

클라우드 환경이나 일부 AI/ML 환경에서의 적합성은 매우 우수하지만, CAE/CFD HPC 환경에서 WekaFS에 대한 우려 부분을 정리하였습니다.

항목 WekaFS IBM Spectrum Scale (GPFS)
검증 사례 CFD/CAE 분야의 검증 사례 부족 (AI/ML 및 딥러닝 분야에 집중) 전통적인 HPC, CFD/CAE 분야에서 다수의 검증 및 적용 사례 (KISTI, CINECA 등)
MPI-IO 및 HPC 최적화 MPI-IO 및 특수 HPC I/O 패턴 최적화 검증 부족 MPI-IO, HDF5, NetCDF 등 HPC 표준 I/O 인터페이스 및 CFD/CAE 애플리케이션에 최적화
POSIX 및 메타데이터 성능 POSIX 지원하지만, 메타데이터 및 작은 파일 처리 성능에 대한 검증 부족 POSIX 완전 지원, 메타데이터 및 작은 파일 처리에서 검증된 고성능
메모리/캐시 아키텍처 고성능 캐시 제공 (NVMe 활용)하지만 HPC 대규모 동시 I/O 패턴에서의 병목 가능성 우려 NUMA/캐시 최적화 및 IBM ESS와의 통합 지원, 대규모 HPC 환경에서 검증된 성능
라이선스/비용 구조 상용 라이선스 및 하드웨어 의존성 (x86 기반, HCI 모델) → 비용 부담 가능 상용 라이선스이지만 유연한 모델 (영구/서브스크립션), 기존 HPC 환경과의 호환성 용이
HPC 및 상용 CFD/CAE 호환성 AI/ML 워크로드에 최적화, CFD/CAE 상용 SW (Fluent, STAR-CCM+, Abaqus 등) 공식 검증 부족 Ansys, STAR-CCM+, Abaqus 등 상용 CFD/CAE SW에서 최적화 및 검증된 호환성
AD/Windows 환경 지원 POSIX 및 일부 프로토콜(NFS, SMB) 지원, AD 통합 검증 미흡 SMB 및 AD 인증 완전 지원, Windows 환경 및 이기종 클러스터와의 원활한 통합
백업/스냅샷/DR 기본 스냅샷/백업 기능 제공, 대규모 엔터프라이즈 DR 및 복제 기능 성숙도 부족 ILM, HSM, 정책 기반 데이터 관리, DR/HA 기능 성숙, 스냅샷/복제/백업 검증 사례 풍부
운영 관리 HCI 기반으로 관리 편의성 제공, 하지만 HPC 관리 툴 및 엔터프라이즈 관리 스택과의 연계 미흡 HPC 관리 스택과 통합 (Spectrum Scale GUI, CLI, REST API), 엔터프라이즈 및 HPC 관리 연동 지원

성능 검증 및 적용 사례:

Dell R430 서버와 Intel SSD를 사용한 성능 벤치마크에서 높은 성능을 입증했습니다.

NVIDIA DGX A100 시스템과의 참조 아키텍처 검증에서 MLPerf ResNet-50 등 다양한 벤치마크를 통해 AI/ML 워크로드에 대한 우수한 성능과 선형적 확장성을 입증했습니다.

HPC, 웹서비스, DevOps, EDA, 유전체학, 미디어 렌더링, AI/ML/DL 분야에서 사용할 수 있다는 자료를 확인하였습니다.

또한, NVIDIA DGX A100 시스템에서 mdtest 와 같은 MPI 기반 워크로드 환경에서의 벤치마킹 사례도 확인하였습니다. 다만, CAE/CFD (StarCCM, OpenFOAM, Fluent, Abaqus ..) 연관 S/W 에 대한 검증 사례는 쉽게 찾을 수 없습니다.

다만, Google Cloud HPC 서비스 환경에 메인 데이터 저장 스토리지는 Lustre 를 사용하고, 일부 스크래치 파일 생성 목적으로 WekaFS를 사용한다는 언급은 있습니다.

적합성:

전통적인 HPC (CAE/CFD): HPC 워크로드 및 CAE/CFD SW 에 대한 검증 사례가 거의 없음.

클라우드/AI 분야: 매우 적합합니다. AI/ML/DL 워크로드에 특화되어 설계되고86-88, 클라우드 통합, 데이터 레이크 기능 등 클라우드/AI 환경에 필요한 많은 기능을 제공합니다.

  • CAE/CFD 분야에서의 제한된 사례: WekaFS는 AI/ML 및 생명과학 분야에서 널리 사용되고 있지만, CAE/CFD 분야에서는 상대적으로 제한된 적용 가능성 언급 정도가 확인되고 있습니다. 따라서, 해당 분야에서의 도입을 고려할 때는 파일 시스템의 성능과 호환성을 신중하게 평가해야 합니다.
  • 소프트웨어 호환성: WekaFS는 POSIX, NFS, SMB, S3 등 다양한 프로토콜을 지원하지만, 특정 CAE/CFD 애플리케이션에서 사용되는 특수 ACL 에 대한 완전한 호환성을 보장하지 않을 수 있습니다. 따라서, 도입 전에 주요 애플리케이션과의 호환성을 검증하는 것이 중요합니다.
  • Windows 클라이언트 지원: WekaFS는 SMB 프로토콜을 통해 Windows 클라이언트를 지원합니다. 그러나, SMB를 통한 성능은 NFS나 POSIX에 비해 낮을 수 있으므로, 성능 요구사항에 따라 적절한 프로토콜을 선택해야 합니다.
  • 비용: WekaFS는 고성능을 제공하지만, 초기 도입 비용이 높을 수 있습니다. 따라서, 예산과 성능 요구사항을 고려하여 비용 대비 효과를 평가해야 합니다.

2.6 CFD/CAE 분야 HPC 스토리지 아키텍처 비교 요약

구분 Lustre GPFS (IBM Spectrum Scale) BeeGFS WekaFS Pure Storage FlashBlade//S
아키텍처/특징 분산 객체 기반, MDS/OSS/OST 구조, 고대역폭 최적화, POSIX 병렬 파일 시스템, NSD 기반, AFM/FPO, ILM 등 다양한 계층 관리 분산 메타/스토리지 서버, POSIX, BeeOND, Flash/디스크 조합 NVMe 기반, POSIX, 다양한 프로토콜, 클라우드 통합 대칭 분산 스케일아웃, NVMe-oF, POSIX/NFS/SMB/S3 지원, AI/ML 최적화
장점 대규모 순차 I/O, 대용량 파일 효율적 처리 혼합 워크로드, 로컬리티 최적화, 다양한 관리 기능, 엔터프라이즈 운영 사례 다수 유연성, 쉬운 배포, BeeOND 버스트 버퍼링 극저지연, 높은 IOPS, 선형적 확장, 다양한 프로토콜, 표준 HW 초고성능 IOPS, 낮은 지연, 대규모 병렬 처리, 관리 단순, 스냅샷/복제/DR 강점
단점 메타데이터 병목, 작은 파일 비효율, 관리 복잡 복잡한 튜닝, 스토리지 용량 Full 시 성능 저하 쓰기 성능↓, HA 구성 비용↑, 리빌드 시간↑ CAE/CFD 검증 사례 제한, MPI/특수 I/O 호환성 정보 부족 높은 초기 투자 비용, CFD/CAE 최적화 검증 부족 (AI 중심)
Windows 클라이언트 제한적 (POSIX 기반, SMB 게이트웨이 필요) 지원 (SMB/NFS 클라이언트 제공, Windows 클라이언트와 호환) 제한적 (SMB 게이트웨이 설정 필요, 제한적 지원) 지원 (SMB 프로토콜 공식 지원, Windows 클라이언트와 호환) 지원 (SMB/NFS 기본 지원, Windows 클라이언트와 호환)
AD 연동 (권한/보안) LDAP/AD 연동 가능 (추가 설정 필요) AD 통합 지원, ACL 등 세밀한 권한 관리 LDAP/AD 연동 가능 AD 연동 지원 (SMB) AD/LDAP 통합 지원
스냅샷/백업 운영 제한적, 외부 백업 솔루션 필요 (ex: HSM) 정책 기반 스냅샷, ILM 통한 데이터 관리, PR(정책기반)지원 제한적, 외부 솔루션 연동 필요 내장 스냅샷, Snap-to-Object(클라우드 백업), DR 지원 고성능 스냅샷/복제/DR, Snap-to-Object, 백업 오버헤드 낮음 (25%)
스냅샷/운영 장단점 복잡, 백업 자동화 어려움 유연성↑, 정책 기반 관리, 복구 용이 단순, 기능 제한, HA 비용↑ 클라우드/온프레미스 통합 백업, 빠른 복구, GUI 관리 통합 관리, 신속 복구, 클라우드 백업, 관리 단순, 복제 효율↑
비용 상대적으로 낮음 (HW 필요), 관리 인력 비용↑ 상용 라이선스, 고가, HW 종속성 오픈소스(기본), 고급 기능 유료, HA 비용↑ 고성능, 고비용, AI 중심 투자 유리 고성능, 고비용, 유지보수 및 업그레이드 비용 유의
CAE/CFD 검증 OpenFOAM, STAR-CCM+, Fluent 등 주요 SW 사용 사례 다수 다양한 워크로드에 적용(CFD/CAE/DBMS/빅데이터 /AI, ML) HPC/AI/CAE 등 범용, 일부 지원 사례 제한적 (AI/ML 위주), CFD/CAE 특화 사례 부족 AI/ML 중심, CFD/CAE 검증 데이터 부족, 일부 대규모 I/O 사례만 확인

2.7 TOP 500 HPC 스토리지 사례

파일 시스템 TOP500 채택 비율 및 특징
Lustre • 약 70% 이상의 TOP100 슈퍼컴퓨터에서 사용됨. (2024년 1위, Frontier)
GPFS (IBM Spectrum Scale) • TOP500 중 최상위 HPC 에서 다수 사용 확인 (2019년 1위, Summit)
BeeGFS • 일부 TOP500 시스템에서 사용되며, TOP100 상위 순위에서도 확인
WekaFS • 확인된 채택 사례 없음
Pure Storage FlashBlade//S • 확인된 채택 사례 없음

요약:

3. 결론

Lustre와 GPFS는 오랜 기간 HPC 환경에서 대용량 데이터 처리를 위한 대표적인 병렬 파일 시스템으로 자리잡았으며, 클루닉스에서도 자사 솔루션과의 다양한 연동 사례를 축적해온 클러스터 파일 시스템입니다.

Lustre는 KISTI 누리온, 한국생명공학연구원, 질병관리청 등 실제 연구 환경에서 폭넓게 활용되고 있으며, 데이터 전송 성능과 계층형 스토리지 구성에서의 병렬 처리 능력, 그리고 확장 가능한 아키텍처 구조에서 그 우수성이 검증된 바 있습니다. Linux 환경에서는 대용량 파일 처리에 필요한 최대 대역폭 제공이라는 강점을 가지지만, Windows 클라이언트와의 연계성 부족, 데이터 스크러빙, 자동 밸런싱, 비동기 복제, 스냅샷 백업과 같은 엔터프라이즈 운영 요구사항에서는 다소 아쉬운 부분이 있습니다.

  • GPFS(IBM Spectrum Scale)는 Lustre와 함께 HPC 분야에서 널리 사용되며, 쓰기 성능이 우수하고 다양한 워크로드를 안정적으로 지원하는 점에서 강점을 보입니다. 특히 Linux뿐 아니라 Windows 등 이기종 운영체제와의 높은 연계성, 그리고 기업 환경에서 요구되는 다양한 관리 기능과 안정성을 갖추고 있어, 대규모 통합 인프라 운영에 적합한 솔루션으로 평가받아 왔습니다.

BeeGFS는 Lustre, GPFS와 유사한 병렬 파일 시스템 아키텍처를 기반으로 하며, 오픈소스 기반으로 도입 장벽이 낮고 간편한 설치와 유연한 확장이 가능하다는 점에서 최근 각광받고 있습니다. 그러나, 운영 안정성, 고가용성 보장, Windows/Linux 간 호환성 측면에서는 아직 검증이 부족한 부분이 있으며, 장기 운영 관점에서는 신중한 접근이 필요합니다.

  • WekaIO(WekaFS) 는 AI/ML 워크로드에 특화된 최신 병렬 파일 시스템으로, 분산 메타데이터 처리, GDS(NVIDIA GPUDirect Storage) 등 다양한 프로토콜 지원, 선형적 확장성 등 최신 아키텍처적 강점을 갖추고 있습니다. 일부 문헌에서는 로컬 디스크보다 빠르다는 분석도 있으며, 이론적으로는 매우 뛰어난 성능이 기대됩니다. 하지만 CAE/CFD 중심의 HPC 환경에서는 아직 적용 사례가 매우 드물고, MPI 기반 대규모 병렬 해석에서의 안정성 및 성능 확인이 미비한 만큼, 실제 도입 시에는 적극적인 사전 검증이 반드시 요구됩니다.

PureStorage FlashBlade//S는 고성능 비정형 데이터 처리에 최적화된 올플래시 확장형 스토리지 플랫폼으로, IOPS·Throughput·Latency 모든 면에서 최고 수준의 물리적 성능을 제공합니다. 이론적으로는 대규모 I/O를 요구하는 시뮬레이션 및 모델링 등 HPC 워크로드에서도 병렬 파일 시스템을 대체할 수 있는 수준의 I/O 성능을 보이며, 실제 클루닉스 테스트에서도 GPFS 및 Lustre에 필적하는 고성능을 확인한 바 있습니다. 다만, Windows-설계(3D), Linux-HPC 해석 환경의 통합 운영 시, UID/GID 연동 및 계정/인증 호환성검증 과정에 이슈가 다소 존재하였고, 초기 스토리지의 필요 용량 확보 과정에서 올플래쉬에 따른 도입 비용과 향후 증설 유지 비용 효율 상 문제로 실제 사업화가 이루어지진 못했습니다.

결론적으로, 현재는 안정적으로 운영되고 있는 GPFS 기반 병렬 파일 시스템을 중심으로 유지하면서, 추후 AI/ML 혹은 초고속 I/O를 요구하는 특정 중요 워크로드에 대해서는 PureStorage FlashBlade//S를 보조적으로 복합 구성하여 사용하는 방안을 제안합니다. 이를 통해 검증된 운영 안정성과 최신 스토리지 기술의 성능을 균형 있게 확보할 수 있을 것입니다.

 

 

서진우

슈퍼컴퓨팅 전문 기업 클루닉스/ 상무(기술이사)/ 정보시스템감리사/ 시스존 블로그 운영자

You may also like...