엔비디아의 시대가 끝난다? 퀄컴이 꺼낸 새로운 AI 메모리 카드 'HBC'의 정체

 

AI 반도체 시장 이야기가 나오면 대부분 사람들은 GPU와 HBM을 떠올립니다. 실제로 지금까지 AI 경쟁은 누가 더 강력한 GPU를 만들고, 누가 더 빠른 HBM을 공급하느냐의 싸움이었습니다.

그런데 최근 AI 업계에 흥미로운 변화가 등장했습니다.

 

바로 Qualcomm 이 데이터센터 시장 진출을 선언하며 공개한 새로운 개념의 메모리 구조인 HBC입니다.

많은 사람들이 "HBM을 대체하는 새로운 메모리인가?"라고 생각했지만 사실 HBC는 조금 다른 접근법을 가지고 있습니다.

지금까지 AI 반도체의 가장 큰 문제는 계산 능력이 아니라 데이터를 옮기는 일이었습니다.

 

AI가 답변을 생성할 때마다 수백GB에 달하는 모델 데이터를 메모리에서 꺼내 GPU로 보내고 다시 저장하는 과정을 반복해야 했습니다.

쉽게 말하면 초고속 슈퍼카를 보유하고 있지만 왕복 2차선 도로 때문에 차량들이 정체되는 상황과 비슷합니다.

이 문제를 해결하기 위해 등장한 것이 HBM입니다.

 

HBM은 데이터를 이동시키는 길 자체를 넓혀버렸습니다.

기존의 좁은 도로를 16차선 고속도로로 확장한 것입니다.

덕분에 엄청난 양의 데이터를 빠르게 이동시킬 수 있었고 AI 시대의 핵심 기술로 자리잡게 되었습니다.

 

그러나 퀄컴의 생각은 달랐습니다.

굳이 모든 데이터를 GPU까지 옮겨야 할 필요가 있을까?

그래서 등장한 것이 HBC입니다.

 

HBC는 메모리 바로 옆이나 위에 작은 연산 장치를 배치하여 간단한 계산은 메모리 근처에서 끝내고 정말 필요한 데이터만 GPU로 보내는 구조입니다.

도로를 넓히는 대신 아예 이동해야 하는 차량 수 자체를 줄여버리는 방식인 것입니다.

이것은 AI 산업이 기존의 "더 빠른 칩 경쟁"에서 "더 효율적인 시스템 경쟁"으로 이동하고 있다는 신호이기도 합니다.

특히 앞으로 AI 에이전트 시대가 본격화되면 이런 변화는 더욱 빨라질 가능성이 높습니다.

AI가 단순히 질문 하나에 답하는 수준을 넘어 스스로 생각하고 여러 단계를 추론하며 다양한 도구를 사용하는 시대에는 데이터 이동량이 폭발적으로 증가하기 때문입니다.

 

흥미로운 부분은 이 변화가 오히려 한국 기업들에게 기회가 될 수 있다는 점입니다.

HBC는 단순히 메모리를 잘 만드는 것만으로는 구현할 수 없습니다.

칩을 수직으로 쌓는 첨단 패키징 기술과 미세한 연결 기술 그리고 메모리 근처 연산 기술이 모두 필요합니다.

그리고 바로 이 분야는 세계 최고 수준의 경쟁력을 가진 기업들이 존재합니다.

 

SK hynix 는 HBM을 통해 세계 최고 수준의 적층 기술과 TSV 기술을 확보하고 있습니다.

또한 Samsung Electronics 는 이미 수년 전부터 PIM과 PNM 기술을 연구하며 메모리 내부 및 근처 연산 기술을 개발해왔습니다.

즉 HBC가 요구하는 핵심 기술들이 한국 메모리 기업들의 강점과 정확하게 겹치는 것입니다.

 

물론 아직은 조심스럽게 바라봐야 합니다.

현재 퀄컴의 HBC 제품은 아직 상용화되지 않았으며 실제 제품 출시는 2027년 이후로 예상됩니다.

또한 삼성전자나 SK하이닉스가 HBC 메모리를 공급한다는 공식 발표 역시 아직 존재하지 않습니다.

따라서 지금 단계에서 수주 기대감만으로 접근하는 것은 위험할 수 있습니다.

 

하지만 방향성만큼은 분명합니다.

AI 산업은 이제 GPU 하나가 모든 일을 처리하는 구조에서 벗어나고 있습니다.

대규모 학습과 프리필 작업은 GPU와 HBM이 담당하고, 빠른 추론은 SRAM 기반 칩이 맡고, 대용량 추론은 HBC나 PIM 구조가 담당하는 형태로 점점 세분화되고 있습니다.

 

결국 앞으로의 AI 경쟁은 가장 빠른 칩 하나를 만드는 싸움이 아니라 CPU와 GPU, 메모리와 네트워크를 어떻게 조합해 가장 적은 전력으로 가장 많은 토큰을 생성하느냐의 싸움이 될 가능성이 높습니다.

 

그리고 그 중심에는 데이터를 저장하는 존재를 넘어 직접 계산까지 수행하는 새로운 메모리 기술이 자리하게 될지도 모릅니다.

엔비디아의 시대가 끝나는 것은 아닙니다.

 

다만 AI 시대의 다음 승자는 GPU 회사뿐 아니라 메모리를 가장 잘 만들고 가장 잘 쌓고 가장 가까운 곳에서 계산하게 만드는 회사가 될 가능성이 점점 커지고 있습니다.