거대언어모델을 넘어 거대행동모델의 등장, LAM 시대

소식
2024.08.08

딥러닝과 자연어 처리 기술(NLP)이 빠르게 발전하며 언어 모델의 성능 또한 전례 없는 속도로 향상되고 있습니다. 기업들은 빠르게 성장하는 기술을 접목하고 새로운 가치를 창출하는 데에 온 힘을 쏟고 있고, 이를 통해 혁신을 이루고자 노력하고 있습니다.

챗GPT 이후 생성형 AI는 빠른 발전을 이어, Adobe 프로그램과 Microsoft 프로그램 등 상용화 프로그램뿐 아니라 인터넷 브라우저나 핸드폰 자체에도 인공지능이 탑재되며 일상을 함께 하고 있는데요. 거대언어모델에서 이제는 거대행동모델이 미래를 주도할 것이라는 이야기가 나오고 있습니다. 오늘은 언어 모델이 어떻게 발전하고 있고 앞으로 다가오는 모델은 어떤 것일지 알아보도록 하겠습니다.

LLM과 sLM, 그리고 LMM

LLM(거대 언어 모델)

NLP(자연어 처리 기술)이 급속도로 발전하며, 거대 언어 모델(LLM; Large Language Model)이 큰 주목을 받아왔습니다. LLM은 수억 개 이상의 매개변수를 가진 대규모 언어모델로, 오픈AI의 ‘GPT-4o’와 구글의 ‘제미나이 1.5프로’ 등이 해당됩니다. 특히 언어 번역, 전체 텍스트 생성 및 요약, 질문-답변과 같은 분야에서 뛰어난 능력을 보유하고 있습니다. 해당 모델을 개발하는 데에는 막대한 계산 자원이 필요하고, 학습과 추론을 하기 위해 대규모 GPU 클러스터나 TPU와 같은 고성능 하드웨어가 필수적입니다.

하지만 웬만한 기업으로선 이 언어 모델을 만들기 위한 환경을 구축하거나 인력을 투자하는 것이 힘들 수밖에 없습니다. 그래서 글로벌 빅테크를 포함한 다수의 기업은 투자 대비 효율을 높이기 위해 소형 언어 모델(sLM; small Language Model) 개발에 나섰습니다.

sLM(소형 언어 모델)

sLM은 간단한 NLP 작업이나, 제한된 도메인 등 자원이 제한된 환경에서 주로 사용됩니다. LLM과 같은 기능을 수행하지만 일종의 맞춤형 모델로서 모델의 매개변수를 줄이고 미세조정을 가한 것입니다. 한정적인 특정 분야에 대해 깊이있는 데이터 학습이 가능하고, 경량화된 크기로 접근성을 향상시키며 광범위한 GPU 리소스에 대한 의존도 또한 줄일 수 있습니다. sLM은 LLM에 비해 상대적으로 적은 계산 자원으로도 학습과 추론이 가능하며 일반적인 GPU나 CPU로도 가능합니다.

이 모델이 특히 주목받는 이유는 스마트폰이나 노트북 등 휴대 가능한 기기에 AI가 탑재되는 ‘온디바이스 AI’ 시장에서 활약하고 있기 때문이기도 합니다. 지난 6월, 마이크로소프트는 2024년 AI 트렌드로 sLM을 꼽기도 했었는데요. 이에 대해서는 이전 IT 트렌드에서 함께 살펴본 바 있습니다.

LMM(대형 멀티모달 모델)

소규모 및 대규모 언어모델을 넘어, LMM(Large Multi-modal Model, 대형 멀티모달 모델)이라는 용어가 IT업계에 등장했습니다. 이는 범용인공지능(AGI)의 중간 단계로 볼 수 있는데요. LLM이나 sLM은 텍스트 기반의 데이터를 위주로 처리했지만 LMM은 텍스트뿐 아니라 이미지와 음성, 영상 등 다양한 형태의 데이터를 기반으로 더욱 정교하고 정밀한 결과물을 생성할 수 있습니다. 다양한 데이터를 사용할 수 있는 만큼 가상 비서, 의료, 교육 및 학습 보조, 자율 주행 등 그 활용 영역 또한 넓게 분포되어 있습니다.

빅테크는 물론 오픈소스 커뮤니티까지 LMM 개발에 집중하며, 이미지 입력은 AI 모델 개발의 표준이 되고 있을 정도입니다. LMM에 속하는 모델로는 오픈AI의 ‘GPT-4V(비전)’과 구글의 ‘제미니’ 등이 해당하고, 글로벌 시장 분석 업체 마켓앤마켓은 멀티모달 AI 시장을 보고 2028년 45억달러까지 성장할 것으로 전망했습니다.

다가올 시대는 거대 행동 모델, LAM의 시대

LAM은 Large Action Model의 약자로, 거대 행동 모델을 뜻합니다. LAM은 챗GPT같이 언어를 기반으로 한 LLM을 넘어 물리적인 실제 세상에서 작동하는 AI를 말합니다. AI가 내놓는 결괏값이 언어(Language)에서 행동(Action)으로 진화한다는 뜻인데요. LAM은 특히 다양한 애플리케이션, 외부 시스템과의 통합을 통해 현실 세계와 상호작용을 목표로 합니다.

예를 들어, 마케팅 분야에서 LLM이 카피 작성, 이미지 생성, 웹 레이아웃 생성 등의 역할을 하면, LAM은 이 과정을 자동화할 수 있습니다. 즉 음성이나 문자 입력만으로 AI가 마케팅 자료, 고객 데이터, LLM 등에 접근해 이를 다루는 것이 가능해지는 것입니다.

지난 7월, KAIST 김재철AI대학원장은 “AI 기술이 챗GPT와 같은 챗봇 시대에서 대규모행동모델(LAM)을 기반으로 하는 AI 에이전트로 진화하고 있다”라고 말하며, LAM 시대를 대비한 연구와 교육이 필요하다고 강조했습니다. 다른 전문가들도 AI가 이미 ‘LAM’으로 넘어가고 있다고 입을 모았는데요. 지난 7월 개최된 ‘AGI 돈 버는 AI’ 컨퍼런스에서 하이투자증권 리서치센터장은 “LAM 시대가 오면 인류는 처음으로 진정한 의미의 ‘무인화 시대’를 맞이하게 된다”라며 “AI가 도입되지 않은 하드웨어만 고집한다면 제조업 시장에서 한순간에 도태될 수 있기 때문에 필사적인 노력이 필요하다”라고 말했습니다.

인공지능 학습 및 추론에 필요한 GPU 최적화

이러한 언어 모델을 만들기 위해 반드시 필요한 학습과 추론 과정은 많은 수의 행렬 연산을 포함합니다. 이때 행렬의 사이즈는 크게는 몇 만인 경우도 있는데요. 특히 언어 모델이 커질수록 이 사이즈 또한 비례하여 증가하게 됩니다. GPU는 이러한 대규모의 행렬 곱의 연산에 CPU 대비 탁월한 성능을 갖고 있기에, 위와 같은 인공지능이 점점 더 크게 성장함에 따라 GPU 컴퓨팅에 대한 수요 또한 상당합니다.

GPU를 추가적으로 구매하고 확장하는 것도 물론 중요하지만, 현재 기업의 상황에 맞춰 전략을 갖고 구축하는 것이 더욱 중요합니다. 또한 모델을 개발하는 개발자들이 더욱 효율적이고 편리한 환경에서 업무를 진행하는 것도 중요한데요. 이는 모든 사용자가 가장 쉬운 방법으로 최신 슈퍼컴퓨터의 고성능을 이용하며 연구를 이어갈 수 있는 HPC 통합 솔루션, <아렌티어>를 통해 해답을 찾아볼 수 있습니다.

특히 딥러닝에 최적화된 ‘아렌티어 딥러닝’은 컨테이너 및 VM 등 사용자 맞춤형 환경을 선택하여 사용할 수 있고, GPU나 S/W 라이선스 등의 모든 자원들을 한 눈에 모니터링할 수 있어 연구자 및 관리자 모두에게 효용성을 제공합니다. 이외에도 사용성을 고려한 다양한 편의기능을 통해 기업의 혁신을 가속화하는 데에 도움을 주고 있으니 궁금한 점이 있다면 언제든 HPC 전문가 클루닉스에 문의해보시기 바랍니다.