[아이티데일리] 인공지능(AI) 핵심 알고리즘 전문 연구기업 하인텔(대표 권대석)이 출판 전 학술 논문의 국제적 사전 공개 사이트를 통해 인공지능(AI)의 GPU 및 메모리 사용량을 줄이고, 결과적으로 과도한 학습 시간과 전력 사용량을 1/100가량 줄일 수 있는 방법을 ‘파인먼 경로적분을 이용해, 무한히 긴 문맥을 접어서 응축하는 트랜스포머(Folded Context Condensation in Path Integral Framework for infinite context transformers)’라는 제목으로 공개했다.

양자 역학 및 입자 물리학적 접근

최근 시중에 공개된 대부분의 생성형 AI는 2017년 구글이 최초로 발표한 ‘주의기반 트랜스포머’ 기술을 토대로 동작한다. 이 기술은 사용자와 챗봇이 과거에 주고받은 대화나 작업을 기억하는데 한계가 있고, 이 한계를 늘리면 메모리와 계산 시간이 그 제곱에 비례해서 늘어난다. 즉 3배 더 긴 과거 연산을 기억하기 위해 9배 더 큰 슈퍼컴퓨터와 더 긴 학습시간이 요구된다.

아울러 주의기반 트랜스포머는 입력된 단어로부터, 수백억 개의 매개 변수들로 구성된 계산 단계를 수십 층 쌓아 계산해 다음에 발생할 사건을 예측하는 방식으로 동작한다. 입력된 사건들이 어떻게 변화되어 결과가 만들어지는지 그 정확한 동작을 이해·설명하거나 예측하기가 매우 어렵다.

결과적으로 일정 수준 이상의 챗봇이나 생성형 AI를 만들기 위해서는 수천억 원에 달하는 고가의 슈퍼컴퓨터와 엄청난 학습시간, 전력 소모를 감당해야 한다. 막대한 비용을 감수하고 사용자와 주고받은 대화나 과거 연산에 대한 한도를 확대하더라도, 그 한도를 넘는 일정 시간 이후에는 그 이전의 내용을 잊는 문제는 불가피했다.

이 같은 문제를 해결하고자 하인텔은 전통적인 컴퓨터과학 관점에서 벗어나, 주의기반 트랜스포머를 양자 역학적, 입자 물리학적으로 재해석했다. 현대의 입자물리학과 양자 역학에서는 전자와 같은 아주 작은 입자들의 정확한 위치와 운동을 파악할 수 없기에 특정 시점의 상태에서 다음 시점의 상태로 변화할 확률을 계산하는 데 집중했고 ‘파인먼 경로적분’이라는 방법을 사용했다.

하인텔은 수십 개의 계층으로 복잡하게 쌓인 트랜스포머의 동작이, 양자 역학에서의 미세 입자가 특정 시점의 상태에서 다음 시점의 다른 상태로 넘어갈 때 예측을 위해 사용되는 파인먼 경로적분의 미세 단계와 거의 같다는 것을 관찰했다. 복잡한 트랜스포머의 동작을 단순한 물리학적 계산법으로 환원시킨 것이다.

이를 통해 과거에 있었던 다수의 긴 사건 정보를, 소수의 상태 벡터로 압축할 수 있고, 결과적으로 많은 메모리를 사용하지 않고도 과거 기록과 문맥 정보 손실을 최소화할 수 있었다. 실제로 이 기법을 사용한 결과, 가장 최근의 단어 12개씩만을 입력받아 처리하는 작은 트랜스포머조차도, 150개 이상 과거의 사건 내용을 잊지 않는다는 성과를 확인할 수 있었다. 하인텔에서는 이 방법을 ‘접혀진 문맥 응축(folded context condensation)’으로 명명해 발표했다. 본래 GPT에서는 12개로 입력 한계를 설정할 경우, 12개 이전의 단어를 기억하지 못해, 엉뚱한 문장을 생성한다.

하인텔 권대석 대표는 “고전 물리학계에서는 아인슈타인의 상대성 이론이 등장한 이후, 연구 대상에 대한 접근이나 연구 방법이 크게 바뀌었다. 이번 연구가 거기에는 못 미쳐도, 난해한 트랜스포머의 동작에 대해 새로운 이해 방법을 제시한 만큼, 구글, 오픈AI등 세계적 AI 기업들과 비교해도 매우 앞선 성과일 가능성이 있다”며 “구글이 지난 4월 7일, 인피니-어텐션(infini-attention)이라는 이름으로 동일한 목적의 거의 유사한 방법을 아카이브(arxiv)에 논문으로 제시했으나, 하인텔 역시 2024년 3월에 이미 국내 특허를 출원한 상태이며, 기술의 간결성이나 응용 분야의 확장성에서 상당한 경쟁력과 연구 성과를 축적한 상태”라고 밝혔다.


학계 평가는 긍정적

이번 하인텔의 발표에 대해 학계에서도 긍정적으로 평가하고 있다. 충북대학교 김동현 물리학과 교수는 “실험 결과만 좀 더 대규모로 입증하면 네이처급 논문”이라 평가했다.

서울대학교 인공지능 대학원의 엄현상 교수는 “현재 천억 원 단위의 투자가 필요한 챗봇 등 생성형 AI 개발 비용과 운영 비용을 1/100 이하로 줄일 가능성을 제시한 논문”이라며 “GPT와 같은 원천 핵심 연구가 드문 우리나라 현재 상황에서, 트랜스포머 자체를 개량하려는 노력도 큰 의미가 있고, 입자 물리학, 양자역학의 방법론으로 GPT의 최대 문제들인 자원 소모량과 학습 시간을 단축하는 방법을 제시해 구글과 비교할 만한 성과를 얻었다는 것도 인상적이다”라고 평가했다.

이어 엄 교수는 “조금 더 시간과 비용을 투자한 대규모 검증이 필요하겠지만, 물리학 분야에서 전자의 입자성과 파동성을 설명했던 코펜하겐 해석 정도의 영향을 인공지능 분야에 줄지도 모르는, 주목해야 할 논문”이라며 “국내의 원천 연구 외면 풍토와 환경에서 이런 성과를 낸 것은 높이 평가할 일로, 이런 성과들을 잘 발전시켜야 국내 AI 산업과 학계가 세계 수준으로 비약할 수도 있을 것이다. 구글이나 MS 같은 세계적 대기업들이 수조 원 단위의 투자를 하고 슈퍼컴퓨터와 수천명의 연구자를 동원해 핵심기술을 선점하려 애쓰는데, 국내에는 이런 원천 핵심 기술에 대한 투자, 연구가 많지 않다. 이 논문에 의하면 저자들도 역시, 천만 원도 안 하는 GPU 장비 한대로 연구한 것 같다. 결과적으로 이런 획기적 방법을 만들어도 입증하는 데에는 수천억 원, 수백 명의 전문인력이 필요하다 보니, 우리가 훨씬 먼저 뭘 만들건 구글이나 챗GPT에 밀릴 수 밖에 없는 상황”이라고 덧붙였다.

하인텔에서는 연구 자금 부족으로 이번 연구에 500만 원 상당의 컴퓨터 2대만을 이용했으며, 실질적 입증과 상용화를 위해서는 투자와 학계 및 대기업의 협력이 필요한 상황이다.

하인텔은 클루닉스 창업자 권대석 박사와 기초과학연구원 출신의 입자 물리학자 팽원기 박사 2명에 의해 2022년 설립된 AI 연구개발 전문 기업이다. 인간 지능의 근본 동작 원리를 밝혀, 인간 지능을 능가하는 강(强) AI를 개발하는 것이 회사의 목표이며, 현재 5개 이상의 관련 특허를 출원 중이다.

출처 : 아이티데일리(http://www.itdaily.kr)

 

 

사진 출처 : 아이티데일리

[아이티데일리] 하인텔(대표 권대석)이 ‘파인먼 경로적분을 이용해 무한히 긴 문맥을 접어서 응축하는 트랜스포머’ 논문 설명회를 충남대학교 AI 융합혁신대학원에서 개최했다.

기초과학연구원, KAIST, 충남대학교, 빅테크 글로벌 기업 등의 학계 및 산업 관계자들이 모인 가운데 논문 1저자인 팽원기 박사와 2저자 권대석 박사가 ‘GPT의 물리학적 재해석과 응용-경로적분과 GPU/전력 절감’을 주제로 발표를 진행했다. 입자물리학과 양자역학의 기본 개념으로 딥러닝, 특히 GPT의 복잡한 동작이 어떻게 설명 가능한지, 이를 이용해 어떻게 GPU 자원과 메모리, 전력 사용량을 수십 분의 1로 줄일 수 있는지에 대한 설명이 이어졌다.

이론 물리학과 첨단 AI 기계학습을 망라한 수십 분의 1로 AI GPU 비용과 전력을 절감할 수 있는 방안을 소개한 발표에 기존 학계나 산업계 관계자들은 호의적으로 평가했다. 먼저 기초과학연구원 김희태 중이온가속기연구소 박사는 “‘최소작용의 원리’라는 자연과학의 근본 원리를 AI라는 분야에도 예외 없이 적용된 사례를 잘 나타냈다”고 평가했다.

이어 충남대학교 컴퓨터융합학부 조은선 교수는 “근본적, 이론적 토대와 연역이 부족한 AI 분야에서 물리학적 접근으로 새로운 토대, 해석과 접근을 제시했다. AI 분야에서 이후 물리학적 접근을 활성화할 수 있는 중요한 전환점이 될 지도 모른다”고 말했다.

산업계 관계자들은 실용화 가능성에 주목했다. 한 유명 글로벌 테크기업 관계자의 “실용화에 시간이 얼마나 소요되는지 궁금하다”는 질문에 권대석 CEO는 “나노GPT(nanoGPT)의 소스코드는 불과 몇 백 라인도 되지 않는다. 우리가 고친 코드도 그렇다. 구글, 네이버 등 기업에 종사하는 수준 높은 기술진들이라면 우리 코드를 보고 ‘제미나이’나 ‘하이퍼클로바’에 적용하는데 2주도 걸리지 않을 것”이라고 답하기도 했다.

이어 하인텔 권대석 대표는 “구글 논문과 비슷하게, 하인텔도 관련 특허를 출원했고 논문을 냈다. 그리고 우리는 발표 논문보다 더 진보된 특허를 5개 출원 중이다. GPU 자원이 부족해 충분히 검증하지 못해 아쉽지만, 환각(hallucination) 현상이나 분산 학습 후 통합(federated learning) 등에서 현존하는 기술보다 상당히 앞선 기술을 다수 보유하고 있기에 구글이나 네이버처럼 기술과 자본을 가진 기업들이 의사만 있다면, 우리와의 협업을 통해 챗봇이 진짜로 개선되는지 검증했으면 한다. 또 그 결과는 글로벌 AI 업계 판도를 바꿀 수도 있다고 생각한다”고 덧붙였다.

하인텔은 GPU 비용 및 전력 절감과 관련한 실험 결과를 보완해 논문을 다시 올릴 예정이며, 서울대학교와 한림대학교 등에서도 강연회를 진행하기 위해 논의 중이다.

출처 : 아이티데일리(http://www.itdaily.kr)

 

“ 인류 난제 빨리 해결 ‘특이점 AI’에 누가 먼저 도달하느냐의 게임”