삼성전자가 300억 파라미터 규모의 AI 모델을 3GB 이하 메모리에서 구동하는 데 성공했습니다. 처음 이 소식을 접했을 때 저는 "대단하다"는 감탄보다 "그래서 폰 값은 또 얼마나 오르나"는 걱정이 먼저 들었습니다. 기술은 빨라지는데, 그 기술을 감당할 소비자의 지갑은 점점 얇아지고 있으니까요.
클라우드 없이 폰 안에서 AI가 돌아간다는 것
지금 우리가 쓰는 대부분의 AI 서비스는 클라우드 기반입니다. 클라우드(Cloud)란 내 기기 밖에 있는 원격 서버에서 연산을 처리하고 결과만 돌려받는 구조를 말합니다. 스마트폰이 명령을 보내면 수백 킬로미터 떨어진 데이터센터에서 AI가 계산하고, 그 결과가 다시 폰으로 돌아오는 방식입니다.
반면 온디바이스 AI(On-Device AI)는 이 과정을 폰 내부에서 모두 해결합니다. 여기서 온디바이스란 외부 서버 연결 없이 기기 자체의 연산 자원만으로 AI를 실행하는 방식을 의미합니다. 인터넷이 끊긴 비행기 안에서도, 산속 오지에서도 AI 기능을 쓸 수 있고, 음성이나 사진 같은 민감한 개인 데이터가 외부로 나가지 않으니 프라이버시 측면에서도 이점이 큽니다.
제가 처음 챗GPT를 써봤을 때가 생각납니다. 솔직히 이건 예상 밖이었습니다. 수십 개의 링크를 클릭해 가며 정보를 꿰맞추던 검색의 피로감이 대화 한 번으로 해소되는 경험은 꽤 강렬했거든요. 하지만 그게 전부 클라우드 서버 덕분이라는 걸 그때는 별로 실감하지 못했습니다. 연결이 끊기거나 서버가 느릴 때마다 AI가 먹통이 되는 상황을 반복해서 겪고 나서야, 온디바이스 AI라는 개념이 왜 중요한지 체감하게 됐습니다.
스마트폰 시장에서 온디바이스 AI 경쟁은 이미 본격화됐습니다. 애플은 자체 신경망 처리 장치(NPU)를 활용해 기기 내 AI 기능을 확장해 왔고, 구글도 픽셀 시리즈에 제미니 기반 온디바이스 기능을 탑재했습니다. 글로벌 스마트폰 시장에서 AI 기능이 구매 결정에 미치는 영향은 갈수록 커지고 있으며, 이 흐름은 당분간 꺾이지 않을 것으로 보입니다(출처: 한국전자통신연구원).
모델 압축, 실제로 얼마나 대단한 기술인가
이번 삼성의 발표에서 핵심은 모델 압축(Model Compression) 기술입니다. 모델 압축이란 수십 GB에 달하는 대형 AI 모델을 정확도 손실 없이 수 GB 이하로 줄이는 기술을 말합니다. 일반적으로 300억 파라미터 규모의 AI 모델을 실행하려면 최소 16GB 이상의 메모리가 필요합니다. 삼성은 이걸 3GB 이하로 줄이는 데 성공했으니, 단순 계산으로도 약 1/5 수준으로 압축한 셈입니다. 삼성이 이번에 적용한 핵심 기술을 정리하면 다음과 같습니다.
- 양자화(Quantization): 32비트로 처리하던 연산을 8비트, 4비트 단위로 줄여 메모리 사용량을 낮추는 기술. 중요한 가중치는 크게, 덜 중요한 부분은 더 압축하는 방식을 혼합해 정확도를 유지합니다.
- AI 실행기(AI Runtime): 스마트폰 내부의 CPU와 GPU에 연산을 자동으로 배분하는 소프트웨어 기술. 특정 장치에 부하가 몰리지 않도록 조율해 발열과 배터리 소모를 줄입니다.
- 신규 아키텍처 연구: 현재 대부분의 AI 모델이 사용하는 트랜스포머(Transformer) 구조를 대체할 모바일 최적화 설계를 처음부터 다시 개발하는 작업입니다. 트랜스포머란 문장 내 모든 단어 간의 관계를 한꺼번에 계산하는 구조로, 텍스트가 길어질수록 연산량이 기하급수적으로 증가하는 한계가 있습니다.
제가 직접 써봤는데, 클라우드 기반 AI에서 긴 문서를 처리할 때 속도가 눈에 띄게 느려지는 걸 자주 경험했습니다. 트랜스포머 구조의 한계가 실사용에서도 드러나는 순간이었습니다. 삼성이 이 구조 자체를 바꾸려 한다는 점은, 단순한 성능 개선이 아니라 설계 철학을 바꾸는 시도라는 점에서 의미가 다릅니다.
다만 저는 이 기술적 도약에 전적으로 박수를 치기 어렵습니다. 고도화된 온디바이스 연산을 버티려면 그만큼 강력한 하드웨어가 필요하고, 그 비용은 결국 소비자가 부담합니다. 글로벌 프리미엄 스마트폰의 평균 출고가가 꾸준히 상승하고 있다는 점은 이미 수치로 확인됩니다(출처: IDC).
스마트폰 AI의 미래, 편리함의 대가를 따져야 할 때
삼성은 앞으로 사용자의 사용 습관을 장기간 학습해 더 빠르고 개인화된 반응을 제공하는 방향을 목표로 제시했습니다. 폰이 나를 점점 더 잘 이해하게 되는 미래입니다. 언뜻 매력적으로 들리지만, 제 경험상 이건 좀 다르게 봐야 합니다.
제가 챗GPT를 쓰면서 가장 뼈아프게 느낀 건 할루시네이션(Hallucination) 문제였습니다. 할루시네이션이란 AI가 사실이 아닌 정보를 마치 사실인 것처럼 자신 있게 내뱉는 현상을 말합니다. 프롬프트를 아무리 정교하게 입력해도, 같은 실수를 반복하는 AI를 보며 이 기술이 아직 '완성형'과는 거리가 있다는 걸 실감했습니다. 클라우드 환경에서도 해결 못 한 이 문제가 기기 안으로 들어온다고 해서 저절로 나아지지는 않습니다.
발열과 배터리 문제도 여전히 현재진행형입니다. 삼성 스스로도 속도, 정확도, 배터리 효율을 동시에 끌어올리는 것이 목표라고 밝혔을 정도니, 아직 갈 길이 멀다는 뜻이기도 합니다.
기술이 빨라지는 건 반갑습니다. 하지만 진짜 혁신은 폰이 얼마나 똑똑해졌느냐가 아니라, 그 똑똑함을 더 많은 사람이 부담 없이 누릴 수 있느냐에 달려 있다고 저는 생각합니다. 가격의 장벽은 높이면서 정보의 신뢰도 문제는 미뤄두는 방향이라면, 그 진화는 누구를 위한 것인지 계속 물어야 합니다. 온디바이스 AI의 가능성은 분명히 있습니다. 다만 그 가능성이 소비자에게 실질적인 이익으로 돌아오는지를 냉정하게 지켜볼 필요가 있습니다.
삼성전자의 DDR, 메모리 등 날이 갈수록 발전 해가는 세상을 알아보고 싶으시다면