효과적인 GPU 병렬 처리가 없으면 기업은 LLM 인프라를 확장하는 데 어려움을 겪게 되며 종종 전문 공급업체에 의존해야 하므로 비용이 많이 들 수 있습니다. 다음은 해외 블로그 글에서 인용한 GPU 병렬 처리 능력 부족으로 인해 발생할 있는 문제점입니다.

 

 

 

 

GPU 병렬 처리 부족으로 인해 발생할 수 있는 문제

 

1. 클라우드 제공업체와의 공급업체 종속:

 

• OpenAI의 GPT 및 Microsoft Azure: OpenAI의 언어 모델은 Microsoft의 Azure 인프라와 긴밀하게 통합되어 있으며, 이는 많은 사용자에게 최적화된 성능을 달성하기 위해 Azure의 인프라에 전념한다는 것을 의미합니다. 단일 클라우드 제공업체에 의존하면 워크로드가 확장됨에 따라 유연성이 제한되고 비용이 증가할 수 있습니다.

• Google Cloud 및 DeepMind: Google의 클라우드 서비스에서도 비슷한 종속성이 나타납니다. 여기서 모델 교육을 위해 Google의 TPU(Tensor Processor Unit)를 활용하는 조직은 광범위한 조정 없이 공급자를 전환하는 데 어려움을 겪는 경우가 많습니다.

 

2. 특수 플랫폼의 높은 인프라 비용:

 

• AWS 및 NVIDIA GPU: Amazon Web Services(AWS)는 기계 학습 및 딥 러닝 작업에 최적화된 다양한 NVIDIA GPU 인스턴스를 제공합니다. 그러나 여러 공급업체에 걸쳐 병렬 GPU 처리를 구현할 수 없는 회사의 경우 다중 LLM 작업에 AWS의 GPU 인스턴스만을 사용하면 높은 시간당 요금과 데이터 저장 및 전송에 대한 추가 비용으로 인해 엄청나게 비용이 많이 들 수 있습니다.

• Snowflake 및 Databricks: 이러한 플랫폼은 기계 학습 지원을 제공하지만 특정 클라우드 제공업체의 인프라에 의존하는 경우가 많습니다. 이러한 종속성은 특히 보다 저렴한 병렬 GPU 시스템에 워크로드를 분산시키는 능력 없이 복잡한 다중 LLM 작업을 처리할 때 높은 운영 비용을 초래할 수 있습니다.

 

3. 독점 하드웨어 비용:

 

• NVIDIA DGX 시스템: NVIDIA의 DGX 시스템은 LLM 교육 및 추론에 널리 사용되지만 독점적이고 비용이 많이 들기 때문에 유연성이 제한됩니다. 기업이 GPU 전체를 병렬화할 수 없고 DGX 시스템에만 의존할 경우 특히 확장 목적으로 상당한 초기 비용과 지속적인 비용이 발생하게 됩니다.

• Google TPU: Google의 TPU는 TensorFlow에 최적화되어 있지만 범용 GPU만큼 유연하지 않아 다양한 프레임워크에서 다중 LLM 기능이 필요한 사용자가 제한됩니다. TPU에 의존하는 기업은 다른 아키텍처에서 훈련된 모델을 채택하려고 할 때 제한에 직면하거나 적응을 위해 추가 비용이 발생할 수 있습니다.

 

4. GPU 유연성이 없는 온프레미스 제한:

 

• GPU 병렬화에 액세스하지 않고 LLM의 온프레미스 배포를 시도하는 일부 조직에서는 종종 성능 병목 현상에 직면합니다. 이러한 리소스 배포의 유연성 부족으로 인해 하드웨어가 과도하게 프로비저닝되어 비용이 상승하거나 활용도가 낮아져 비효율성이 발생하게 됩니다.

• 대학 및 연구실: 연구를 위해 여러 LLM과 협력하는 학술 기관은 공급업체 솔루션을 감당할 수 없는 경우가 많습니다. 그러나 제한된 병렬 처리 옵션으로 인해 단일 공급업체 솔루션이나 맞춤형 하드웨어에 값비싼 투자를 해야 하므로 실험과 확장성이 제한됩니다.

 

 

 

 

초기 GPU 인프라 결정 시 집중해야 할 것