온디바이스AI에 대한 관심이 뜨겁다. ‘챗GPT’를 시작으로 인공지능(AI)에 대한 관심이 뜨거웠던 2023년의 AI 열풍은 '단말 내 AI의 구현(On-Device AI)' 흐름으로 이동하는 모습이다.

온디바이스AI는, 말 그대로 기기에서 실행되는 AI를 말한다. 올해 IT업계를 뜨겁게 달군 챗GPT와 같은 생성AI 서비스는 사용자가 질의에 인터넷으로 연결된 서버에 위치한 AI가 연산해 사용자의 기기로 결과를 전송해주는 방식을 사용했다.

즉, 중앙 서버로 정보를 전송하고 다시 결과값을 받아야 하는 시간이 필요했으며, 네트워크 의존도가 절대적이다. 또 중앙의 시스템으로 데이터 이동과정 중 정보유출 등의 문제점도 제기됐다. 

반면, 온디바이스AI는 스마트 기기 자체에서 정보를 수집·연산하기 때문에 개인정보보호 측면에서 더 안전하며, 데이터 이동에 따른 지연 없이 더 빠르게 응답을 이끌어낼 수 있는 이점이 있다.

예를 들어 해외여행 중 데이터 요금에 대한 부담 없이 실시간 번역 서비스를 이용할 수 있다.

온디바이스AI는 자율주행차의 전제조건으로도 꼽힌다. 안전성이 최대 과제인 자율주행차에서 네트워크에 의존하지 않고 지연시간 이슈도 없는 온디바이스 AI가 필수적이기 때문이다.

자율주행차 뿐 아니라 IoT 기기, 웨어러블 기기, 가전제품 등에서도 네트워크 부하를 발생시키지 않는 온디바이스AI는 혁신을 이끌어낼 수 있는 동력으로 손꼽힌다.

올해 AI에 대한 관심이 뜨거워지면서 온디바이스AI에 대한 관심도 높아졌지만 실제 상용화까지는 더 많은 시간이 필요할 것으로 예측됐다. 복잡한 연산을 수행해야 하는 AI의 특성 상 전력소모가 높을 수밖에 없는데, 이를 해결하는 동시에 사용자를 만족시킬 수 있는 성능을 구현해야 한다는 과제도 갖고 있기 때문이다.

하지만, 최근 대형 IT기업들이 온디바이스AI 제품을 선보이면서 급물살을 타고 있다. AI 경쟁이 불을 뿜으면서 온디바이스 AI 또한 급물살을 타고 있는 것이다.

6일(미국시간) 새로운 대규모언어모델(LLM) ‘제미나이’를 정식 공개한 구글은 ‘픽셀8프로’에 ‘제미나이 나노’를 탑재한다고 발표하면서 온디바이스AI 경쟁에 불을 붙였다.

구글이 공개한 자료에 따르면, 제미나이는 이미지와 음성 모두 인식하면서 코딩도 할 수 있는 능력을 갖춘 ‘멀티모달AI’로 생성AI 열풍의 주인공인 오픈AI의 최신 모델 ‘GPT-4’보다 높은 성능을 제공한다.

구글은 머신러닝(ML) 규모에 따라 제미나이 울트라, 제미나이 프로, 제미나이 나노 등 3 모델로 선보였는데, 이 가운데 경량화 모델인 제미나이 나노가 10월 출시된 픽셀8프로에 탑재돼 제공될 예정이다. 

제미나이 나노가 탑재된 픽셀8프로는 통화녹음 요약은 물론 지보드의 스마트 답장 기능을 스마트폰으로 확대해 왓츠앱, 카카오톡과 같은 메시징 앱의 대화내용을 분석하고, 적절한 응답을 제공할 수 있으며, 카메라 촬영이나 사진·동영상 콘텐츠에서 색상과 명암 등의 자동 조정도 가능하다. 

구글은 ‘안드로이드 AI코어’라는 새로운 시스템 서비스를 통해 안드로이드 생태계에서 제미나이 나노를 빠르게 활용할 수 있도록 지원할 방침이다. 안드로이드14에 탑재되는 안드로이드 AI코어는 제미나이 나노에 쉽게 접근해 앱에 AI를 통합하는 작업을 간소화할 수 있도록 지원한다.

◆스마트 기기 시장, 회복 가속화 기대
삼성도 시장에서 적극적으로 움직이고 있다. 삼성전자는 3분기 실적발표에서 내년 온디바이스AI 상용화를 언급하면서 실시간 통역 통화 기능을 갖춘 온디바이스AI로 ‘갤럭시AI’를 소개하기도 했다.

이르면 내년 초 출시될 ‘갤럭시S24’가 AI를 탑재해 출시될 수 있을 것으로 예측되면서 삼성 갤럭시S24가 최초의 온디바이스 AI 스마트폰이 될 수 있다는 전망도 제기됐다.

물론, 구글의 전격적인 제미나이 나노 발표와 픽셀8프로 탑재에 '최초'라는 타이틀은 희석됐으나 온바이스AI에 대해 삼성전자의 강한 의지를 나타내고 있다. 

지난달 자체 개발한 생성AI 모델 ‘삼성 가우스’ 공개에서도 삼성전자는 ▲기기 제어 ▲문장 요약 ▲문법 교정 등의 온디바이스AI 기능을 소개했으며, 갤럭시에 탑재될 온디바이스 AI인 '갤럭시 AI'의 대표 기능으로 세계 최초의 실시간 통역 통화를 강조하기도 했다.

실시간 통역 통화 기능은 서로 다른 모국어를 사용하는 사용자가 서로의 언어로 대화해도 이를 상대방 언어에 맞춰 실시간 통역하는 기능으로 보다 더 자유로운 커뮤니케이션을 가능하게 하는 혁신 기능이다.  

애플도 온디바이스AI에 본격 대응하는 모습이다. 6월 WWDC에서 받아쓰기, 라이브음성메일 등 온바이스 AI를 연상시키는 기능을 대거 발표했던 애플은 최근 M1, M2 등 애플 실리콘을 지원하는 머신러닝 프레임워크인 ‘MLX’와 딥러닝 모델라이브러리 'MLX 데이터'를 선보였다.

맥루머스는 애플이 내년 iOS18에서 클라우드 기반 AI와 온디바이스AI를 조합한 생성AI 기능을 선보일 것이라는 예측을 전하기도 했다.

애플과 삼성, 구글의 온디바이스 AI 대응은 회복세를 보이고 있는 스마트폰 시장에 활기를 더할 것이란 기대감을 높이고 있다.

인플레이션과 이에 따른 전세계 각국의 고금리 정책, 러시아-우크라이나 등 거시경제 상황의 악화로 올 한 해 최악의 부진을 겪었던 스마트폰 시장은 4분기 시장 감소세를 줄여내면서 내년 반등에 대한 기대감을 높이고 있다.

무엇보다 최근 전세계 스마트폰 시장에서 고급 프리미엄폰의 비중이 커진 만큼 온디바이스AI 기반 스마트폰의 등장이 시장 활기를 한층 더해 줄 수 있다는 전망이다. 

온디바이스AI는 PC 시장의 성장 동력으로도 작용할 것으로 기대된다. 스마트폰 시장과 마찬가지로 글로벌 PC 시장도 회복세에 접어드는 가운데 AI PC가 성장 모멘텀으로 작용할 수 있다는 기대다.

PC 운영체제(OS) 시장의 최강자인 마이크로소프트(MS)는 윈도우11에 AI비서인 ‘윈도우 코파일럿’, 파일 탐색기의 AI 기반 추천 등 온디바이스AI 기능을 탑재했다.

또 인텔이 2025년까지 1억대 이상 PC에서 AI 기능 활성화를 지원하겠다는 PC 가속화 프로그램을 공개한 가운데 레노버, 델, 삼성, LG, HP 등 주요 PC 제조사들은 내년 AI 기능을 탑재한 AI PC 출시를 예고하고 있다. 

카운터포인트·카날리스·IDC 등 시장조사기관들은 성장 모멘텀이 부재했던 PC 시장에서 온디바이스AI가 활력소가 될 것이라고 한 목소리를 내고 있다. 

카운터포인트의 경우, AI PC 분야가 2020년부터 10년간 연평균 50%의 견고한 성장을 이뤄낼 것이라고 높이 평가하면서 2026년경에는 보급률 50% 돌파해 완전한 시장 주류로 부상할 것으로 예측했다. 

온디바이스AI에 대한 관심은 주식시장에서도 확인된다. 제미나이가 발표된 7일(미국시간) 구글의 모회사인 알파벳의 주가는 전일보다 5% 이상 상승하는 강세를 나타냈다.

대규모다중작업언어이해(MMLU) 정답률이 GPT-4를 상회한다는 성능에 더해 제미나이 나노의 픽셀8프로 탑재를 통해 온디바이스 AI 시장 선점에 대한 긍정적 평가가 주가 상승을 견인했다는 평가다. 

국내 주식시장에서도 온디바이스AI 확대가 메모리, 인쇄회로기판(PCB), 적층세라믹콘덴서(MLCC) 등의 수요를 높이고 고성능·저전력 반도체 설계의 중요성을 제고시킬 것이라는 기대 속에서 관련 기업들의 주가 상승이 이어지고 있다.

관련 테마주로 지목된 일부 기업은 80% 이상의 주가 상승이 이뤄지면서 과열까지 우려될 정도로 인기를 끌고 있다.

물론, 스마트폰·PC 등 다양한 제품에서 온디바이스AI를 구현한 기기의 등장이 기대를 모으고 있지만 시장에서의 기대치를 충족시키기에는 아직 걸림돌이 남아있다는 지적도 있다.

AI는 경량화되기는 했지만, 여전히 높은 연산을 필요로 하기에 강력한 저전력·고성능 반도체가 필요하며, 온디바이스AI로 인한 배터리 소모 증가를 가져올 수 있는 요인이 된다.

다시 말해 기기의 성능과 전력 소모의 균형을 맞추지 못한다면 소비자의 기대를 충족시키지 못할 가능성도 있다.

기기 간 호환성과 표준화가 부족도 걸림돌로 지목된다. 각 기기와 플랫폼마다 다른 AI 프레임워크와 하드웨어를 사용하고 있는데, 이는 온디바이스AI의 개발과 배포를 어렵게 만드는 요인이다.

더불어 기기에서 수집한 데이터를 바탕으로 학습·추론해 사용자에게 더 적합한 서비스를 제공할 수 있다는 이점도 있으나, 그만큼 데이터의 오염·변형에 취약성을 지닐 수 있는 점도 단점으로 지적된다.