Clunix

 

 

기업이 HPC 클러스터를 사용하는 목적은 워크로드를 가속화하고, 생산성을 높이기 위한 과정의 간소화를 통해 독자적인 역량을 확보 및 지속 발전시키는데 목적이 있습니다.

 

여기서 오늘 이야기할 HPC 클러스터 구축은, 일상 속에서 다양한 기기를 통해 무수히 쌓이는 데이터를 다수의 컴퓨팅 자원들을 병렬 통합 구성하여, 단일 서버로는 무수한 시간이 소요되는 문제들을 계산/해석/분석하는 과정을 거칠 수 있게 합니다.

 

 

HPC 클러스터와 표준 컴퓨팅 시스템의 작동 방식의 차이

 

표준 시스템은 하나의 프로세서에서 작업을 분할하고 이를 순차적으로 실행하여 문제를 해결합니다. 반면에 HPC의 경우 컴퓨팅 자원의 집합체로 구성되어 있기 때문에, 다양한 방식으로 작동합니다.

 

병렬 컴퓨팅

구축 규모에 따라 차이는 있지만, 수만에서 많게는 수백만 개의 프로세서 또는 프로세서 코어를 사용해 여러 컴퓨팅 서버와 프로세서에 동시 여러 작업을 실행합니다. 동시 여러 작업이 실행되기 때문에, 빠른 속도로 목적을 달성할 수 있습니다.

 

HPC 클러스터

HPC 클러스터는 여러 개의 고성능 컴퓨팅 서버 노드로 구성되어 이 모든 노드가 네트워크로 연결됩니다. 하나의 HPC 클러스터에는 통상적으로 10만 개 이상의 노드가 포함될 수 있습니다.

 

위 성능에 맞춰 파일 시스템, 메모리, 인피니티 네트워크, 스토리지 등이 알맞게 구성되면 최적의 HPC 성능을 발휘할 수 있습니다.

 

 

최적의 R&D 컴퓨팅 환경의 기반이 되는 HPC 클러스터 구축

 

HPC 클러스터 구축은 설치 규모와 필요 컴퓨팅 성능에 기반하여 구축 계획을 세우게 됩니다. 또한 자원 설치 환경의 장소 규모, 전원, 냉각 요건 등을 잘 체크하는 것 역시 놓치지 말아야 하는 중요한 사안입니다. 사용자들이 컴퓨팅 자원을 이용하여 분석하고, 중대한 보안 데이터가 쌓이는 곳이기 때문입니다. 자, 여기까지가 HPC 클러스터 구축이라 한다면, 이제 최적의 환경을 꾸리는 것은 기업 정책에 대한 설정, 동작 명령 프로그램 등의 영역이기 때문입니다.

 

개인용 PC나 워크스테이션의 경우 한 번에 사용할 수 있는 사용자가 1명에 국한되어 있기 때문에, 바로 사용을 하는 것에 문제가 없겠으나, HPC 클러스터의 경우 팀/부서 등, 다수가 자원을 사용하는 만큼 작업 스케줄링 등 미들웨어를 어떻게 관리하느냐가 자원의 효율적 사용과 최적의 R&D 컴퓨팅 환경을 좌우하는 요소로 작용합니다.

 

 

HPC 솔루션과 HPC 클러스터

 

사용자는 컴퓨팅 자원을 사용함에 있어서 항상 부족함을 느낍니다. 이는 하루 중 계산/해석 등의 고성능 컴퓨팅 자원을 필요로 하는 작업이 몰리는 시간대가 있기 때문입니다. 그래서, 사용자는 항상 자원이 부족하고 대기하며, 연구 활동에 대한 몰입도가 깨지게 되며, 관리자는 불규칙한 자원 사용 기록에 자원 증설이 필요한지 아닌지에 대한 고민에 빠지게 됩니다.

 

HPC 솔루션은 이러한 사용자와 관리자의 고충을 덜어내기 위해 존재합니다.

각자가 필요한 컴퓨팅 자원을 이용하여 Ansys, Comsol 등의 여러 HPC S/W을 사용하는 일반적인 상황에서, HPC 솔루션은 중간에 위치하며, 적정 H/W자원과 S/W라이선스를 배분하고, 일정 시간 사용하지 않는 유휴 자원은 반납합니다.

 

대시보드를 제공하여 관리자의 자원 계획 수립을 돕거나, 원하는 데이터를 수집하기 위해 커스터마이징 하여 해당 데이터만 수집할 수 있게끔 구성할 수도 있습니다.

 

HPC 클러스터 구축 및 HPC 솔루션 전문가와의 상담

 

클루닉스는 23년간 HPC 구축 관련 사업에 집중하여 국내 대표 연구/개발 기업들의 HPC 솔루션을 담당하고 있으며, 자체 개발한 HPC 솔루션 '아렌티어'는 그 경험적 노하우가 접목된 최적의 솔루션입니다.

 

클러스터 구축은 사용성과 유지 보수까지 고려해야 하며, 한 번 구성에 최소 5~6년은 사용을 하기 때문에, 결코 쉽게 접근할 수 없습니다. 사용성까지 고려한 HPC 클러스터 구축 환경, HPC 솔루션까지 함께 고려해 보시기 바랍니다.

 

 

[참고 자료]

1. Introduction to HPC : What are HPC & HPC Clusters?, WEKA https://www.weka.io/learn/hpc/what-are-hpc-and-hpc-clusters/

2. 고성능 컴퓨팅 HPC 클러스터 구축 편 - 운영체제 설치 및 기본 설정하기, syszone http://nblog.syszone.co.kr/archives/3576