데이터 센터의 전력 소비 문제

 

AI 인프라의 중추인 데이터 센터에서는 전력 소비에 대한 많은 우려가 제기되고 있습니다. 하지만 2010년부터 2018년까지 데이터 센터에서는 컴퓨팅 인스턴스가 550% 증가하고 저장 용량이 2,400% 증가했음에도 불구하고, 에너지 사용은 효율성 향상 덕분에 6%만 증가했습니다. AI의 잠재력을 계속해서 열어가기 위해서는 컴퓨팅 성능을 높이는 동시에 에너지 소비를 관리하는 것이 중요합니다.

 

NVIDIA의 혁신적인 기술

 

NVIDIA의 혁신적인 기술인 GPU, CPU 및 DPU를 활용하면 기업들은 상당한 에너지를 절약할 수 있습니다. 예를 들어, NVIDIA Grace Hopper Superchip은 에너지 소비와 성능을 획기적으로 개선하여 다양한 분야에서 그린 IT를 현실화하고 있습니다. 또한, Apache Spark를 위한 가속기를 사용하면 데이터 분석의 탄소 배출량을 최대 80%까지 줄일 수 있어 환경적인 혜택도 큽니다.

 

자세한 내용 전달을 위하여 NVIDIA 블로그에 게시된 의 번역본을 아래 공유합니다. (원문: NVIDIA 블로그)

 

 

 

 금융에서 제조업까지, NVIDIA 기술을 활용하여 기업들은 지속 가능한 AI

 

리스본 연구소(Lisbon Council Research) 보고서에 따르면 데이터 센터가 곧 전 세계 에너지 소비의 4%를 차지할 것이라는 예측이 현실화되더라도, AI는 나머지 96%의 에너지 소비를 줄이는 데 상당한 영향을 미치고 있습니다. 이 보고서는 이탈리아의 레오나르도 슈퍼컴퓨터를 예로 들며, 자동차 설계, 신약 개발, 기상 예측 등 다양한 분야에서의 진전을 소개합니다. 이 시스템은 약 14,000개의 NVIDIA GPU로 가속화되고 있습니다.

Figure 1 TOP500 목록에서 가장 효율적인 슈퍼컴퓨터의 에너지 효율성 향상. 출처: TOP500.org

 

가속 컴퓨팅이 지속 가능한 이유

 

가속 컴퓨팅은 NVIDIA GPU의 병렬 처리를 이용하여 더 짧은 시간에 더 많은 작업을 수행합니다. 그 결과, 단일 작업을 처리하도록 설계된 CPU를 사용하는 일반 서버보다 적은 에너지를 소비하게 됩니다. 이것이 가속 컴퓨팅이 지속 가능한 컴퓨팅인 이유입니다.

 

가속 시스템이 AI를 적용할 때, 이들은 본질적으로 병렬 형태의 컴퓨팅으로 더 큰 이점을 가져다줍니다. AI는 현대에서 가장 변혁적인 기술 중 하나입니다. "머신러닝과 딥러닝과 같은 최첨단 응용 분야에서는 GPU의 성능이 CPU를 압도적으로 능가합니다"라고 보고서는 전합니다. CPU 전용 작업에서 GPU 가속 시스템으로 전환하면, 고성능 컴퓨팅(HPC) 및 AI 작업은 매년 40테라와트-아워((40 terawatt-hours) 이상의 에너지를 절약할 수 있으며, 이는 약 500만 미국 가정의 전기 사용량에 해당합니다.

 

Figure 2 에너지 효율성을 극대화하기 위해 GPU, CPU, DPU의 조합이 필요하다

 

 

 

AI 가속기 사용자 경험 : 에너지 효율성 향상

 

전 세계 사용자들은 AI와 가속 컴퓨팅을 통해 에너지 효율성의 큰 향상을 기록하고 있습니다. 금융 서비스 분야에서는 파리에 본사를 둔 뮈렉스(Murex)는 매일 60,000명 이상의 사람들이 사용하는 거래 및 리스크 관리 플랫폼을 운영하고 있습니다. 뮈렉스는 NVIDIA의 그레이스 호퍼 슈퍼칩을 테스트한 결과, CPU 전용 시스템에 비해 에너지 소비가 4배 감소하고 작업 완료 시간이 7배 단축되었음을 발견했습니다.

 

제조업에서는 대만의 위스트론(Wistron)이 NVIDIA DGX 시스템을 사용하여 디지털 트윈을 성공적으로 생성했습니다. 그 결과, 전체 시설의 에너지 효율성을 최대 10% 향상시켰으며, 연간 전기 소비를 120,000kWh 줄이고 탄소 배출량을 60,000kg 감소시키는 효과를 얻었습니다.

 

최대 80%의 탄소 배출 감소

 

Apache Spark용 가속기는 데이터 분석의 탄소 발자국을 최대 80%까지 줄일 수 있으며, 평균 처리 속도를 5배, 컴퓨팅 비용을 4배 줄일 수 있습니다. 전 세계 수천 개의 기업, 특히 Fortune 500 기업의 약 80%가 증가하는 데이터를 분석하기 위해 Spark 가속기를 사용하고 있습니다.

 

의료 분야에서는 인실리코 메디슨(Insilico Medicine)이 NVIDIA의 AI 플랫폼을 활용하여 희귀 호흡기 질환의 신약을 개발하고 임상 시험에 들어갔습니다. 전통적인 방법을 사용하면 이 작업은 4억 달러 이상의 비용이 들고 최대 6년이 걸렸을 것입니다. 그러나 생성적 AI를 사용함으로써 이 성과를 이전보다 10분의 1의 비용과 3분의 1의 시간 내에 달성할 수 있었습니다. "이것은 우리뿐만 아니라 모든 신약 개발자들에게 중요한 이정표입니다."라고 인실리코 메디슨의 CEO인 알렉스 자보론코프는 말했습니다.

 

AI 가속기로 과학 분야의 속도 향상

 

미국 국립 에너지 연구 과학 컴퓨팅 센터(NERSC)는 네 개의 NVIDIA A100 텐서 코어 GPU가 장착된 서버와 듀얼 소켓 x86 CPU 서버를 비교하여 네 가지 고성능 컴퓨팅 및 AI 응용 프로그램의 결과를 측정했습니다. 연구원들은 NVIDIA A100 GPU로 가속화된 응용 프로그램에서 평균 다섯 배의 에너지 효율성 향상을 발견했습니다. 특히 기상 예측 응용 프로그램에서는 거의 10배의 효율성 향상을 보였습니다.

 

Figure 3 미국 에너지부는 NVIDIA GPU를 사용하여 평균 5배의 에너지 효율성 향상을 보고했다.

 

 

 

전 세계의 과학자들과 연구자들은 고성능과 효율성을 달성하기 위해 AI와 가속 컴퓨팅에 의존하고 있습니다. 최근 발표된 세계에서 가장 에너지 효율적인 슈퍼컴퓨터 순위인 Green500에서, NVIDIA 기반 시스템은 상위 6위 자리를 모두 차지했으며, 상위 50위 중 40개를 차지했습니다.

 

간과된 에너지 절약 효과

 

대규모 AI 모델을 훈련하는 데 필요한 에너지 소비를 예측할 때 AI 모델의 이점이 종종 간과됩니다. 이는 대부분의 시간 동안 상대적으로 적은 에너지를 소비하면서도 높은 효율성을 제공하는 AI 모델의 특이점을 놓치는 것입니다.

 

미국 정보기술혁신재단(ITIF)의 보고서는 AI 모델 개발을 위한 에너지 소비 추정치가 과장되고 잘못된 것이라고 밝혔습니다. "초기 전자상거래와 비디오 스트리밍의 에너지 발자국에 대한 예측이 과장된 것처럼, AI에 대한 추정치도 틀릴 가능성이 높습니다."라고 덧붙였습니다.

 

보고서에 따르면, AI 모델은 초기 훈련 단계에서 많은 에너지를 소비하지만 운영 단계에서는 높은 효율성을 유지하면서 상대적으로 적은 에너지를 사용합니다. 이는 AI 모델의 전체 생애 주기 동안의 에너지 소비를 평가할 때 학습 단계뿐만 아니라 운영 단계도 고려해야 함을 의미합니다.

 

AI의 환경적 이점

 

또 미국 정보기술혁신재단(ITIF)의 보고서는 가속화된 AI가 기후 변화에 대처하고 지속 가능성을 촉진할 수 있는 잠재력을 강조했습니다. 더불어 미국 정책 분석 기관인 R Street Institute는 "AI는 기상 모델링의 정확성을 높여 공공 안전을 개선하고 작물 수확량에 대한 보다 정확한 예측을 생성할 수 있습니다. AI의 힘은 또한 더 정밀한 기후 모델 개발에 기여할 수 있습니다"라고 언급했습니다.

 

리스본 보고서는 "AI는 기후 변화를 해결하기 위한 혁신에서 중요한 역할을 할 것"이라며, 더 효율적인 배터리 소재를 발견하는 작업을 예로 들었습니다. 정보기술혁신재단(ITIF)은 정부가 AI를 탈탄소화 노력의 도구로 채택할 것을 촉구했습니다. 공공 및 민간 기관은 이미 산호초 보호, 산불 및 극단적인 기후 추적, 지속 가능한 농업 향상을 위해 NVIDIA AI를 적용하고 있습니다. NVIDIA는 기후 문제를 해결하기 위해 AI를 사용하는 수백 개의 스타트업과 협력하고 있으며, 기후 과학에 전념하는 세계에서 가장 강력한 AI 슈퍼컴퓨터인 Earth-2의 계획도 발표했습니다.

 

스택 전반에 걸친 에너지 효율성 향상

 

NVIDIA는 1993년 창립 이래로 모든 제품에서 에너지 효율성을 높이기 위해 노력해왔습니다. NVIDIA GB200 Grace Blackwell 슈퍼칩은 이전 NVIDIA Hopper GPU 세대에 비해 AI 추론에서 25배의 에너지 효율성을 입증했습니다. 지난 8년 동안 NVIDIA GPU는 대형 언어 모델을 실행할 때 에너지 효율성이 45,000배 향상되었습니다.

 

Figure 4 대형 언어 모델 추론 시 에너지 소비가 NVIDIA GPU의 발전 덕분에 8년 만에 45,000배 감소했다

 

최근의 소프트웨어 혁신 중 하나인 TensorRT-LLM은 대형 언어 모델의 추론 시 GPU 에너지 소비를 3배 줄이는 데 도움을 줍니다. NVIDIA의 가속 컴퓨팅 플랫폼에서 AI 효율성이 개선된 정도를 자동차에 적용한다면, 자동차는 갤런당 280,000마일을 주행할 수 있을 것입니다. 이는 연료 1갤런으로 달까지 운전할 수 있다는 뜻입니다. 이 분석은 2016년부터 2025년까지 AI 훈련 및 추론에서 NVIDIA가 달성한 10,000배의 효율성 향상을 자동차의 연료 효율성에 적용한 것입니다.

 

 

에너지 효율성과 데이터 센터

 

NVIDIA는 시스템 수준의 혁신을 통해 많은 최적화를 제공합니다. 예를 들어, NVIDIA BlueField-3 DPU는 데이터 센터 네트워킹 및 인프라 기능을 덜 효율적인 CPU에서 오프로드함으로써 전력 소비를 최대 30%까지 줄일 수 있습니다.

 

2023년, NVIDIA는 미국 에너지부로부터 500만 달러의 지원금을 받았습니다. 이 지원금은 현재의 공기 냉각 방식보다 20% 더 효율적으로 운영되면서도 탄소 발자국을 줄일 수 있는 새로운 액체 냉각 기술을 설계하는 데 사용될 예정입니다.

 

데이터 센터는 에너지 효율성이 가장 높은 사용자 중 하나이면서도 가장 큰 에너지 소비자 중 하나입니다. 정보기술혁신재단(ITIF) 보고서에 따르면, 2010년부터 2018년까지 전 세계 데이터 센터는 컴퓨팅 인스턴스가 550% 증가하고 저장 용량이 2,400% 증가했음에도 불구하고 에너지 사용량은 단 6%만 증가했습니다. 이는 하드웨어와 소프트웨어의 개선 덕분입니다. NVIDIA는 가속화된 AI에서 에너지 효율성을 계속해서 추진하여 과학, 정부, 산업 분야의 사용자들이 지속 가능한 컴퓨팅으로의 여정을 가속화할 수 있도록 돕고 있습니다.

 

 

[출처]

https://blogs.nvidia.com/blog/accelerated-ai-energy-efficiency/