- 소식
- 2024.02.21
 AI가 상용화되어가는 현 시점에서 AI를 학습시키고 개발하는 것은 매우 중요한 일이 되었습니다. 특히 생성형AI에 이어 온디바이스AI가 현재 IT 업계의 최대 화두인 만큼 AI는 끊임없는 발전을 이어갈 것으로 보입니다. AI를 학습하고 개발하기 위해 필요한 것이 바로 GPU입니다. 개당 3,000만 원이 넘기도 하는 고가의 GPU는 현재 ‘품귀 현상’이 일어나고 있고, 보유하고 있는 GPU가 기업의 자산이라는 말이 나올 정도로 대단한 수요를 보이고 있습니다.
그래서 GPU를 확보한 이후에는 GPU를 ‘잘’ 쓰는 방법에 대한 연구가 필요합니다. 복잡한 AI/ML 모델을 포함한 대부분의 GPU 워크로드에서는 GPU 리소스를 최대한 활용하지 못하는 경우가 종종 발생하는데요. 앞서 [4차 산업혁명의 중심 GPU, 그리고 GPU 성능 최적화 전략]에서도 GPU를 잘 활용할 수 있는 방안에 대해 언급하긴 하였으나 오늘은 GPU를 효율적으로 쓰는 방법, MIG에 대해서 이야기해보고자 합니다.
GPU를 효율적으로 쓰는 방법, MIG란?MIG란 Multi-Instance GPU의 약자로, 단일 GPU를 여러 개의 논리적 GPU로 분할하여 여러 작업에 할당하는 기술입니다. 이는 엔비디아가 가상화 및 멀티테넌트(multi-tenant) 환경을 위해 특별히 설계된 GPU의 활용도와 유연성을 향상시키기 위해 도입한 기술입니다.
MIG를 사용하면 엔비디아 A100, H100과 같은 거대한 GPU를 최대 7개로 나누어 사용할 수 있습니다. 나누어진 인스턴스는 메모리, 컴퓨팅 코어 및 비디오 출력과 같은 자체 전용 리소스를 사용하여 독립적인 GPU로 작용하게 되는데요. 아래 그림처럼 나누었을 때, 20Gb를 사용하는 사람이 10Gb를 사용하는 사람의 작업이나 스케쥴에 영향을 미치지 않습니다.
출처 : 아렌티어 딥러닝 소개서
이처럼 MIG를 사용하면 GPU를 더 작은 GPU 인스턴스로 분할하여 사용하게 되고 특정 작업을 할 때마다 적합한 크기의 GPU를 할당해 진행할 수 있어 이전보다 GPU의 활용률을 높일 수 있습니다. MIG의 필요성과 장점에 대해 더 자세히 알아보겠습니다.
MIG의 장점1) 리소스 활용도 향상MIG를 사용하면 하나의 GPU를 최대 7개의 독립 인스턴스로 안전하게 분할하여 사용할 수 있으므로, 여러 사람이 여러 작업을 동시에 할 수 있어 리소스의 활용도를 높일 수 있습니다. 더불어 유휴 GPU 자원을 확인할 수 있다면 해당 자원을 다른 작업에 활용하여 낭비를 최소화할 수 있습니다. 2) 성능 향상독립된 7개의 GPU 인스턴스들은 각각 고유한 메모리, 캐시, 스트리밍 멀티프로세서를 사용해 동시에 실행됩니다. 특정 작업을 할 때마다 적합한 크기의 GPU를 할당해 진행하기 때문에, 이전 대비 활용도를 최대 7배 높일 수 있습니다.
더불어 GPU를 파티셔닝하여 안정적으로 분할하기 때문에, 분할된 GPU 인스턴스간 컴퓨팅 파워를 독립적으로 보장받을 수 있으며 상호간 간섭 현상이 일어나지 않습니다. 따라서 각 GPU 인스턴스의 작업별 최적화된 환경을 통해 성능을 향상시킬 수 있습니다.
3) 비용 절감기업은 여러 GPU를 구매하는 대신, MIG가 가능한 GPU를 구매하여 MIG를 통해 분할된 GPU를 생성하고, 이를 여러 작업에 활용하는 것이므로 총 소유 비용(TCO)을 절감할 수 있습니다. 특히 MIG를 사용하면 최대 7명에게 배분하여 사용할 수 있으므로, 그만큼의 비용을 절감할 수 있는 것입니다.
AI 추론작업 최적화하는 MIG 기능MIG 기능은 일반적으로 최신 GPU가 제공하는 성능을 모두 필요로 하지 않는 AI 추론 작업에 유용합니다. 예컨대 사용자는 20GB의 메모리를 갖춘 2개의 MIG 인스턴스 혹은 10GB의 3개 인스턴스, 5GGB의 7개 인스턴스를 생성할 수 있어 각각의 워크로드에 맞는 최적의 조합을 만들 수 있습니다.
이 기능을 사용하면 기업은 AI 모델의 개발과 배포 속도를 향상시킬 수 있습니다. 최대 7명의 데이터 사이언티스트가 전용 GPU와 같은 기능에 동시에 액세스할 수 있으므로 최적의 정확성과 성능을 위해 딥러닝 모델을 세부적으로 조정할 수 있습니다.
미국의 주문형 배송업체 포스트메이츠(Postmates)의 AI 디렉터 젠유 궈는 “MIG를 사용하면 컴퓨팅 리소스를 역동적으로 재구성해 변화하는 워크로드 조건을 충족하고 클라우드 기반 인프라를 최적화해 효율성은 극대화하면서 비용은 절감할 수 있습니다. 그래서 적용된 GPU를 최대한 활용할 수 있죠”라고 말했습니다.
[참고 문서]1. [엔비디아] https://blogs.nvidia.co.kr/2020/05/29/multi-instance-gpus/ 2. [한국경제신문] https://marketinsight.hankyung.com/article/202401275495r 3. [HPE] 4. [키포스트] https://www.kipost.net/news/articleView.html?idxno=204214
|
- 이전글
- 다음글