2023년 작년 한 해를 대표하는 키워드를 뽑자면 ChatGPT라고 해도 과언이 아니라 생각됩니다.

ChatGPT를 계기로 많은 기업들이 인공지능(ai)도입에 대한 관심과 투자 또한 상당해서 인공지능 개발을 위한 환경에 필수적인 GPU자원에 대한 수급 문제도 있었을 정도로 인공지능의 이슈가 상당했습니다.

 

개발사는 클라우드 컴퓨팅 자원을 활용하여 제공해야 하는 것과 사용자는 인터넷이 필수로 연결되어야 인공지능 서비스를 제공받을 수 있습니다. 때문에 수많은 가전제품에 인공지능을 도입하려면 디바이스에 대한 문제가 허들이 됩니다. 그래서 이에 대한 해결책으로 ‘온디바이스 Ai’가 주목받고 있습니다.

 

 

온디바이스(On-Device) Ai란 무엇일까?

 

‘온디바이스 Ai’란 휴대폰 또는 노트북과 같은 전자기기에 NPU(신경망 칩)을 설치하여 인터넷 연결을 하지 않아도 생성형 Ai를 구동할 수 있게 만드는 기술을 말합니다.

 

클라우드로 데이터를 전송하지 않고 이용자가 소유한 기기 안에서 자체적으로 Ai연산을 처리하며, 인터넷 연결이 필요하지 않아서 속도가 빠를 뿐만 아니라, 개인정보 보호 및 비용 측면에서도 유리합니다.

 

단, 인터넷을 토대로 정보를 가져오는 것이 아닌 개인의 사진 및 데이터를 토대로 산출하기 때문에 결과물의 완성도면에서는 떨어질 수 있는 부분은 아직까지 해결해야 할 과제입니다.

 

 

온디바이스(On-Device) AI에 몰입하는 기업들

 

작년 한 해 ChatGPT를 시작으로 많은 빅테크 기업들에게서 생성형 Ai서비스를 발표하고 이를 서비스 중에 있습니다. 몇 가지 예를 들면 구글의 대화형 ai 바드(Bard)와 제미나이(Gemini), 네이버의 클로바X(Clova X), 를 들 수 있습니다. 이러한 서비스 로직은 많은 서비스 기기들의 사용성을 높이게 되었고, 이를 NPU를 탑재한 제품으로 개발하기 위해 몰입하고 있습니다.

 

아직까지 인터넷 없이도 서비스 제공이 가능한 ‘온디바이스 Ai’는 많이 출시되지 않았지만, 그러한 인터넷 제약이 상대적으로 덜한 스마트폰 시장에서는 이미 출시된 제품들을 찾아볼 수 있습니다.

 

2023년 10월 출시된 구글의 ‘픽셀 8 프로’는 생성형 Ai가 최초로 내장된 스마트폰으로 이미지, 사운드 합성 및 제거, 맥락에 맞는 언어표현 추천 등의 서비스를 제공합니다.

 

 

컴퓨팅 자원의 확보와 딥러닝 개발 환경 그리고 본격적인 온디바이스 경쟁

 

새로운 제품을 개발하기 위한 해석/시뮬레이션 작업에 몰두하는 것을 넘어서, 속도에 대한 부분도 중요해진 지금, 인공지능 개발 환경의 사용성 또한 더더욱 중요해졌습니다. 실제로 많은 연구원들을 만나봤을 때, 아직도 워크스테이션 내에 컴퓨팅 자원 혹은 라이선스 자원 부족으로, 자원 대기에 걸려 무한정 대기하고 있었습니다.

 

 

딥러닝 개발자의 환경을 최적화 시키기 위한 방법

 

클루닉스에서는 HPC솔루션 ‘아렌티어 딥러닝’을 제공하고 있습니다. 인공지능(Ai) 개발자들이 리눅스 환경을 학습하지 않고도, 웹 환경에서 직관적인 화면에서 딥러닝 개발 환경을 구성할 수 있습니다. 온디바이스(On-Device) 제품을 개발하기 위해서는 설계-해석-개발의 모든 과정에서 유기적인 협업 환경이 조성되어야 할 것입니다. 그 모든 과정을 단일 플랫폼으로 제공할 수 있는 아렌티어 딥러닝을 살펴보시면 앞으로의 온디바이스에 대한 전략적인 도움을 받아보실 수 있을 것입니다.

 

 

[참고 문서]

 

1. AI를 '사라지게' 할 AI 기술, 에이전트와 온디바이스 https://www.aitimes.com/news/articleView.html?idxno=156057

2. 인터넷 필요 없는 손안의 비서, 2024년은 '온디바이스AI' 전쟁 https://www.mk.co.kr/news/culture/10911744