고성능 컴퓨팅(HPC)은 여러 대의 서버에서 복잡한 계산을 고속으로 병렬 처리하는 기술을 말합니다. 이러한 서버 그룹을 클러스터라고 하는데, 이 클러스터는 네트워크를 통해 연결된 수백, 수천 대의 컴퓨팅 서버로 구성됩니다. HPC 클러스터에서 컴퓨팅 작업을 수행하는 각 컴퓨터를 노드라고 합니다.
HPC 클러스터는 일반적으로 배치 계산을 실행합니다. HPC 클러스터의 핵심에는 사용 가능한 리소스를 추적하는 데 사용되는 스케줄러가 있습니다. 이를 통해 고속 네트워크로 서로 다른 컴퓨팅 리소스(CPU 및 GPU)에 작업 요청을 효율적으로 할당할 수 있습니다. 최신 HPC 솔루션은 온프레미스 데이터 센터는 물론 클라우드에서도 실행될 수 있습니다. 이를 통해 사용자는 합리적인 시간과 비용으로 대규모 컴퓨팅 문제를 해결할 수 있게 되었습니다.
AI가 HPC에 미치는 영향
기존 HPC는 시뮬레이션에 가장 많이 사용되어 왔으나 최근 AI 영역으로 확장되고 있습니다. 하지만 시뮬레이션과 AI, 두 분야에서 사용되는 소프트웨어와 인프라는 상당히 다릅니다. 그렇기에 HPC를 AI에 적용하려면 워크로드 관리와 도구에 대한 일정한 변화가 필요합니다. 이번 글에서는 HPC가 AI 문제를 해결하기 위한 몇 가지 방법을 소개하고자 합니다.
1. 프로그래밍 언어의 조정
HPC 프로그램은 일반적으로 포트란, C 또는 C++로 작성됩니다. HPC 프로세스는 이러한 언어로 작성된 레거시 인터페이스, 라이브러리 및 확장 기능에 의해 지원됩니다. 그러나 AI는 파이썬 및 Julia와 같은 언어에 크게 의존합니다. 그렇기에 동일한 인프라를 성공적으로 사용하려면 인터페이스와 소프트웨어가 모두 호환되어야 합니다. 대부분의 경우 AI 프레임워크와 언어가 이전처럼 계속 실행되는 기존 애플리케이션에 오버레이된다는 것을 의미합니다. 이를 통해 AI와 HPC 프로그래머가 다른 언어로 마이그레이션하지 않고도 좋아하는 도구를 계속 사용할 수 있습니다.
2. 가상화 및 컨테이너
컨테이너는 HPC 및 AI 애플리케이션에 엄청난 이점을 제공합니다. 이러한 도구를 사용하면 변화하는 워크로드 요구 사항에 인프라를 쉽게 조정하고 일관된 방식으로 어디에나 배포할 수 있습니다. AI의 경우 컨테이너는 Python 또는 Julia 응용 프로그램의 확장성을 높이는 데 도움됩니다. 컨테이너화를 통해 호스트 인프라에 의존하지 않는 고립된 환경을 구성할 수 있기 때문입니다.
컨테이너는 클라우드 기반 HPC에도 적용되며 HPC의 접근성과 비용 효율성을 높이고 있습니다. 컨테이너를 통해 팀은 시간 소모적인 구성 작업 없이 필요에 따라 리소스를 추가하고 제거하면서 빠르고 쉽게 배포할 수 있는 HPC 구성을 만들 수 있습니다.
3. 메모리 증가
인공지능에서 빅 데이터는 중요한 역할을 하고 있으며, 데이터 세트는 점점 커지고 있습니다. 이러한 데이터 세트를 수집하고 처리하려면 HPC가 제공할 수 있는 속도와 효율성을 유지하기 위해 많은 양의 메모리가 필요합니다. HPC 시스템은 영구 및 일시적으로 더 많은 양의 RAM을 지원하는 새로운 기술로 이 문제를 해결합니다. 예를 들어, 단일 노드 및 분산 메모리는 비휘발성 메모리(NVRAM)를 사용하여 증가될 수 있습니다.
HPC가 더 나은 AI 애플리케이션을 구축하는 데 도움이 되는 방법
HPC 시스템은 일반적으로 16개에서 64개 사이의 노드를 가지고 있으며, 각 노드는 2개 이상의 CPU를 실행합니다. 이는 기존 시스템에 비해 훨씬 높은 처리 능력을 제공합니다. 또한 HPC 시스템의 각 노드는 빠른 메모리 및 스토리지 자원을 제공하여 기존 시스템보다 더 큰 용량과 빠른 속도를 가능하게 합니다.
처리 능력을 더욱 높이기 위해 많은 HPC 시스템은 그래픽 처리 장치(GPU)를 통합합니다. GPU는 CPU와 보조 프로세서로 사용되는 전용 프로세서입니다. CPU와 GPU를 결합한 것을 하이브리드 컴퓨팅이라고도 합니다.
하이브리드 컴퓨팅 HPC 시스템은 다음과 같은 여러 가지 방법으로 AI 프로젝트에 도움이 될 수 있습니다.
- GPU는 신경망 모델과 같은 AI 관련 알고리즘을 보다 효과적으로 처리하는 데 사용될 수 있습니다.
- 병렬 및 공동 처리를 통해 계산 속도가 빨라져 대용량 데이터 세트를 처리하고 더 적은 시간에 대규모 실험을 실행할 수 있습니다.
- 더 많은 저장 및 메모리는 더 많은 양의 데이터를 처리할 수 있게 하여 인공 지능 모델의 정확도를 높입니다.
- 워크로드를 사용 가능한 리소스에 분산할 수 있으므로 기존 리소스를 최대한 활용할 수 있습니다.
- HPC 시스템은 전통적인 접근 방식에 비해 더 비용 효율적인 슈퍼컴퓨팅을 제공할 수 있습니다. 클라우드에서는 HPC를 서비스형으로 액세스할 수 있어 초기 비용을 피하고 실제 사용량에 따라 비용을 지불할 수 있습니다.
