HPC 인프라, GPU 서버 구성

소식
2023.10.31

심심치 않게 보이는 키워드가 있습니다. 바로 인공 지능 또는 빅데이터나 로봇 등이 그것입니다. 기술의 발전과 세상의 변화 속도가 빠르다는 것을 익히 알고 있었지만, 더 빠르게 변화하고 있는 것 같은 이유는 무엇일까요?

그 배경에는 고성능 컴퓨팅 환경 HPC가 있습니다. HPC는 수백 혹은 수천 대의 컴퓨팅 서버를 네트워크로 연결하여 일반 서버 1대에서 처리할 수 있는 것보다 빠른 속도로 데이터에 집약된 계산을 수행할 수 있는 환경을 만들어줍니다.

일반 컴퓨터에 비해 수백만 배는 더 빠른 계산 능력을 갖추고 있기 때문에 다량의 데이터를 빠르게 계산하여 인사이트를 뽑아내거나, 날씨를 정보를 미리 예측하거나, 제조 분야에서 신제품 개발을 위한 시뮬레이션을 해보는 것 등이 가능합니다. 그리고 현재에 이르러 화학, 금융, 인공지능 등.. 거의 모든 산업에서 HPC를 사용하고 있습니다.

HPC 인프라 구성은 어떻게 될까?

HPC 시스템은 컴퓨터의 그룹(=클러스터)의 구조로 이해할 수 있습니다. HPC를 이루고 있는 주된 요소는 컴퓨팅 자원 그룹과 스토리지 그룹 그리고 이를 이어주는 네트워크로 나뉘어져 있습니다.

각각의 연결된 노드들은 병렬로 연결되어 크고 작은 데이터들을 나누어 동시에 실행합니다. 병렬 처리하기 때문에, 연결된 노드들의 수에 따라 하나의 문제를 해결하는 속도가 기하급수적으로 빨라집니다. 물론 여기에는 빠른 데이터 전송 속도를 감당할 수 있는 네트워크, 데이터를 수집하고 공급하는 스토리지 역시 중요합니다.

CPU와 GPU 서버를 함께 구성하여 시너지 효과 발현

CPU는 직렬 처리에 최적화된 몇 개의 코어로 구성되며, GPU는 병렬 처리용으로 설계된 수천 개의 효율적인 코어로 구성되어 있습니다.

애초에 GPU는 기본적으로 병렬처리가 가능한 그래픽 처리에 특화된 프로세서로 개발되었습니다. 그래픽 처리는 대개 병렬 처리가 가능하기 때문입니다. 하지만 이러한 특징을 이용하여, AI(인공지능)이나 머신러닝에서 GPU 서버를 활용하는 케이스가 많아지고 있습니다.
또한 CPU + GPU 서버 구성으로 범용 과학, 엔지니어링 어플리케이션의 처리 속도를 향상시키는 것을 목적에서 다방면으로 활용되고 있습니다.

일상에서 스마트폰을 활용할 때, 길가다 들리는 음악을 특정 앱을 활용하여 검색하면 그게 어떤 음악인지 검색하여 찾아주거나, 평소 듣는 음악, 듣는 시간 등을 분석하여 노래를 추천하거나 하는 서비스들 역시 이러한 빠른 GPU 서버 구성을 통해 서비스할 수 있습니다.

GPU 서버 구성을 통한 딥러닝과 데이터 분석

딥러닝은 수많은 데이터를 사용하여 컴퓨터를 학습시킵니다. GPU가 CPU보다 기본적인 연산 속도가 빠르기 때문에 딥러닝에서는 GPU 자원을 활용합니다.

고가의 GPU 자원을 효율적으로 활용하는 것에 대한 관심 증대

기업에서 AI 채택 사례의 증가로, GPU 자원에 대한 수요가 많아졌습니다. 하지만 기본적으로 GPU자원 구성을 다수가 해내기가 현실적으로 어렵습니다.

그 이유는 수요 대비 공급의 부족뿐만 아니라, 기본적으로 GPU 하나의 가격이 상당하기 때문입니다. 그래서 자원을 효율적으로 활용 가능하게 하는 HPC 솔루션이나, 필요할 때만 빌려 쓰는 온디맨드 방식의 퍼블릭 클라우드에 대한 관심 역시 증대된 상황입니다.

GPU 서버 구성에 HPC 솔루션 효과

GPU 자원을 여러 사람이 효과적으로 쓸 수 있으려면, 클라우드 컴퓨팅 기술을 활용하는 것이 최선입니다. 클라우드 컴퓨팅 기술은 HPC 솔루션(RNTier, PBS etc..)을 활용하여 GPU 자원이 필요한 유저에게 네트워크를 활용하여 자원을 할당하고, 회수하는 형태로 작동합니다.

중앙에 자원을 통합하고, 유저가 사용 SW에 필요한 GPU 자원을 요청하면, 중앙에 구성된 HPC자원에서 작업을 처리한 후 결과에 대한 값에 대한 데이터를 유저에게 보내주는 것입니다.

HPC 통합 솔루션, 아렌티어

클루닉스는 최적의 GPU 서버 구성이 필수적인 요인이 된 지금, HPC 자원을 다수가 효율적으로 쓸 수 있게 하는 HPC 통합 솔루션 아렌티어를 제안하고 있습니다.

서버 구성과 적절한 소프트웨어, 라이선스, 오픈소스, 작업 스케줄링 그리고 전체적으로 자원 사용 흐름을 볼 수 있는 대시보드까지 HPC 응용 환경을 통합 구성할 수 있으며, 퍼블릭 자원까지 컨트롤 가능한 하이브리드 클라우드 기능을 플랫폼 형태로 제공하고 있습니다.

CAD, 모델링, 3D 애니메이션 등 다양한 산업에서 HPC 자원의 필요성이 증대되는 만큼
현명한 GPU 구성뿐만이 아닌, 최적의 HPC 솔루션을 구성하는 것 또한 기업의 경쟁력을 높일 것입니다.

[참고 자료]

1. AI 시대, 대규모 GPU 클러스터의 비용 및 효율 문제를 극복할 방안은? https://contents.premium.naver.com/banya/banyacompany/contents/230922100223156vd

2. HOW TO BUILD YOUR GPU CLUSTER https://www.run.ai/guides/multi-gpu/gpu-clusters

3. What is a Dedicated GPU Server? https://www.purestorage.com/knowledge/what-is-a-dedicated-gpu-server.html

4. Basics of GPU Servers https://www.cablesandkits.com/learning-center/basics-of-gpu-servers