램 용량을 늘렸는데도 게임이 버벅거린 적 있으신가요? 저도 32GB를 꽂고 의기양양했다가 리그오브레전드에서 미세한 끊김이 사라지지 않아 한참을 고민했습니다. 알고 보니 문제는 용량이 아니라 데이터가 오가는 속도와 구조 자체였습니다. 지금 AI 업계가 직면한 고민도 정확히 같은 지점에 있습니다. 그리고 그 해법으로 떠오른 것이 PIM 반도체입니다.
램 용량은 넉넉한데 왜 버벅거리나 — 메모리 벽의 정체
일반적으로 램 용량이 크면 성능이 좋다고 알려져 있지만, 제 경험상 이건 절반만 맞는 이야기입니다. 당시 저는 4GB 모듈 4개를 슬롯에 가득 채우고도 특정 게임에서 프레임 드롭을 겪었습니다. 배틀그라운드는 괜찮은데 유독 리그오브레전드에서 끊김이 심했고, 처음에는 최적화 문제라고 생각했습니다. 나중에서야 알게 된 진짜 원인은 대역폭(Bandwidth)과 레이턴시(Latency)였습니다. 대역폭이란 메모리와 CPU 사이에서 한 번에 주고받을 수 있는 데이터의 양을 의미하고, 레이턴시란 데이터를 요청한 뒤 실제로 받기까지 걸리는 지연 시간을 말합니다. 저장 공간은 넉넉해도 데이터를 꺼내 CPU로 나르는 길이 좁고 느리면 결국 막히는 것입니다. AI 연산 환경에서 이 문제는 훨씬 심각하게 나타납니다. 이것을 업계에서는 메모리 벽(Memory Wall)이라고 부릅니다. 메모리 벽이란 CPU나 GPU의 연산 속도는 빠른데 메모리에서 데이터를 공급하는 속도가 이를 따라가지 못해 발생하는 병목 현상입니다. 모델 크기가 수천억 개의 파라미터를 넘어서는 초거대 AI 시대에는 이 병목이 전체 시스템 성능을 갉아먹는 핵심 원인이 됩니다. 데이터센터 전력 소비도 동반 상승해, 이미 사회적 문제로 거론되고 있는 수준입니다(출처: 전자신문).
HBM4와 PIM의 결합 — 메모리가 직접 계산한다
이 문제를 근본적으로 해결하려는 시도가 PIM(Processing-In-Memory) 입니다. PIM이란 메모리 칩 내부에 연산 회로를 직접 심어 데이터를 이동시키지 않고 저장된 위치에서 바로 계산하는 구조입니다. 기존 구조가 냉장고에서 재료를 꺼내 조리대까지 가져가야 했다면, PIM은 냉장고 안에서 기초 손질을 끝내버리는 방식입니다.
제가 게임하던 시절로 돌아가 상상해보면, 만약 그 시절 램이 PIM 구조였다면 CPU에 데이터를 넘기기 전에 메모리 자체가 일부 연산을 처리해줬을 테고, 그 성가신 끊김도 한결 줄었을 겁니다. 비싼 그래픽카드를 바꾸지 않아도 됐을지 모르죠.
현재 이 기술이 실제 제품으로 구현되는 방식 중 가장 앞선 것이 HBM4와의 결합입니다. HBM(High Bandwidth Memory)이란 여러 장의 D램을 수직으로 쌓아 TSV(실리콘 관통 전극)로 연결한 고대역폭 메모리로, AI 가속기에 필수적으로 탑재됩니다. 그 6세대 버전인 HBM4에서는 최하단 로직 다이(Logic Die)에 강력한 연산 기능을 통합하는 방식으로 PIM이 본격 적용되고 있습니다. 로직 다이란 HBM 적층 구조에서 연산·제어를 담당하는 기반 칩으로, 여기에 연산기를 심으면 데이터 이동 없이 메모리 풀 안에서 AI 연산 일부를 직접 처리할 수 있습니다.
삼성전자의 HBM-PIM과 SK하이닉스의 AiM(Accelerator-in-Memory)이 2026년부터 실제 고객사 서버에 탑재되기 시작했다고 삼성전자 뉴스룸이 밝혔습니다(출처: 삼성전자 뉴스룸). 여기에 CXL(Compute Express Link) 인터페이스까지 결합되면서 거대한 메모리 풀 전체가 연산에 참여하는 메모리 중심 컴퓨팅 환경이 현실로 가까워지고 있습니다.
PIM이 가져오는 실질적인 변화를 정리하면 다음과 같습니다.
- 연산 속도 2~4배 향상: 데이터 이동 없이 메모리 내부에서 처리하기 때문에 병목이 줄어듭니다.
- 전력 소모 50% 이상 절감: 데이터를 오가는 과정에서 낭비되던 에너지를 줄이는 효과가 있습니다.
- 모바일 적용 가능성: LPDDR6-PIM 형태로 스마트폰용 메모리에도 적용이 검토되고 있습니다.
기술은 뛰어난데 왜 아직 조심스러운가 — 생태계 경쟁의 현실
솔직히 이건 제가 처음 알아볼 때 예상 밖이었습니다. 기술 자체가 뛰어나면 알아서 퍼질 것이라 생각했는데, 실제로는 그렇지 않더라고요. PIM의 가장 큰 약점은 하드웨어가 아니라 소프트웨어 생태계에 있습니다.
엔비디아가 AI 가속기 시장을 사실상 독점하는 이유는 GPU 성능만이 아닙니다. CUDA라는 소프트웨어 플랫폼 덕분입니다. CUDA란 개발자들이 GPU의 병렬 연산 능력을 활용해 코드를 짤 수 있도록 엔비디아가 제공하는 프로그래밍 환경으로, 수십만 명의 개발자가 여기에 익숙해져 있어 대체재가 나와도 전환 비용이 매우 큽니다. 삼성이나 SK하이닉스가 뛰어난 PIM 칩을 출시해도, 구글이나 메타 같은 빅테크들이 자신들의 알고리즘을 그 메모리 구조에 맞게 다시 짜주지 않으면 그 연산기는 작동하지 않습니다.
PIM은 메모리 칩 내부에 연산 회로를 추가하는 만큼 제조 단가가 오르고 수율(Yield Rate) 관리도 까다로워집니다. 수율이란 생산된 칩 중 기준을 통과하는 합격품의 비율로, 이것이 낮아지면 같은 생산량에서 팔 수 있는 제품이 줄어 원가가 높아집니다. 소비자 입장에서는 성능이 조금 더 빨라진다는 이유만으로 두 배 비싼 메모리를 선택할 이유가 명확해야 한다는 이야기입니다. 제가 이번에 여러 자료를 훑어보면서 내린 판단은, PIM이 결국 하드웨어 스펙 싸움보다 표준화 경쟁에서 결판이 날 가능성이 높다는 것입니다. 삼성이나 하이닉스가 빅테크의 AI 프레임워크 안에 자신들의 PIM 아키텍처를 표준으로 편입시키는 데 성공하느냐, 아니면 빅테크가 독자 설계한 커스텀 칩에 자체 PIM을 내재화하느냐에 따라 판도가 크게 달라질 것입니다. 결국 PIM은 기술적으로는 이미 증명된 방향이지만, 시장 안착은 훨씬 복잡한 게임입니다. 게임 프레임이 램 용량만으로 해결되지 않았던 것처럼, 메모리 반도체의 미래도 칩 성능 하나만으로 결정되지는 않을 것입니다. PIM 관련 동향을 계속 지켜보고 싶다면, 삼성전자 뉴스룸과 반도체 전문 매체의 HBM4 상용화 일정을 주기적으로 확인하는 것이 도움이 됩니다.