HBM 다음은 무엇일까? AI가 메모리 반도체의 판을 바꿀 수도 있다

AI 시대가 열리면서 가장 뜨거워진 반도체가 있다.

바로 HBM이다.

엔비디아의 AI 가속기 옆에는 고성능 HBM이 붙는다. AI가 처리해야 할 데이터가 폭발적으로 늘어나면서 더 빠르고 더 많은 데이터를 공급할 수 있는 메모리가 필요해졌기 때문이다.

그래서 지금 시장에서는 SK하이닉스, 삼성전자, 마이크론 같은 메모리 기업들이 HBM 시장의 핵심 기업으로 주목받고 있다.

그런데 최근 흥미로운 질문 하나가 생긴다.

“HBM보다 더 근본적인 방법이 등장한다면 어떻게 될까?”

AI는 왜 이렇게 전기를 많이 먹을까?

현재 컴퓨터는 크게 보면 계산하는 곳과 데이터를 저장하는 곳이 나뉘어 있다.

AI가 계산을 하려면 메모리에 저장된 엄청난 양의 데이터를 계속 가져와야 한다.

문제는 AI가 발전할수록 이 과정이 훨씬 더 많아진다는 것이다.

계산 자체보다 데이터를 옮기는 데 에너지가 많이 들어가는 상황까지 발생한다.

그래서 등장한 것이 HBM이다.

메모리를 그냥 멀리 두는 대신 계산을 담당하는 GPU 가까이에 아주 빠른 메모리를 여러 층으로 쌓아 붙이는 것이다.

쉽게 말하면,

“도서관을 없애는 것이 아니라 계산기 바로 옆에 초대형 도서관을 만들어 놓자.”

에 가깝다.

그래서 HBM은 현재 AI 반도체에서 엄청나게 중요한 기술이 됐다.

그런데 이것도 결국은 하나의 타협책이다.

아예 계산과 기억을 합치면?

여기서 재미있는 기술이 등장한다.

바로 뉴로모픽 반도체다.

인간의 뇌를 생각해보면 이해하기 쉽다.

우리 뇌는 컴퓨터처럼 메모리가 한쪽에 있고 계산기가 다른 곳에 있는 구조가 아니다.

수많은 뉴런과 시냅스가 서로 연결되어 정보를 저장하면서 동시에 처리한다.

즉,

기억과 계산이 굉장히 가까운 곳에서 동시에 일어난다.

과학자들이 반도체에서도 이런 구조를 만들려고 하는 것이다.

 

현재의 컴퓨터가

“데이터를 가져와서 계산한다.”

라면,

미래의 반도체는

“데이터가 있는 곳에서 바로 계산한다.”

는 방향으로 갈 수 있다.

이렇게 되면 지금처럼 메모리와 연산 장치 사이에서 엄청난 데이터를 계속 주고받을 필요가 줄어든다.

그리고 바로 여기서 무서운 이야기가 나온다.

HBM이 지금과 같은 형태로 계속 필요할까?

물론 당장 HBM이 사라지는 것은 아니다

이 부분은 굉장히 중요하다.

뉴로모픽 반도체가 등장했다고 해서 내일 당장 HBM이 사라지는 것은 아니다.

 

오히려 현재 AI 시장에서는 HBM의 중요성이 계속 커지고 있다.

HBM3E, HBM4 등 더 높은 성능의 메모리가 등장하면서 AI 반도체의 핵심 부품으로 자리 잡고 있다.

뉴로모픽 반도체 역시 아직은 연구와 초기 시스템 단계에 가깝다.

특히 거대한 AI 모델을 학습시키는 데이터센터용 GPU를 당장 대체할 수준은 아니다.

그런데 재미있는 것은 다음 세대의 방향을 연구하는 사람들이 이미 존재한다는 것이다.

뉴로모픽 반도체도 세대가 바뀐다

초기 뉴로모픽 기술은 사실상 인간의 뇌 구조를 기존 컴퓨터 위에서 소프트웨어로 흉내 내는 수준이었다.

그다음에는 실리콘 반도체를 이용해 실제로 뇌의 신경망과 비슷한 구조를 만들기 시작했다.

인텔의 Loihi 같은 연구용 뉴로모픽 칩도 이 단계에서 등장했다.

 

하지만 여기에도 문제가 있었다.

인간의 뇌는 엄청나게 작은 공간 안에 수많은 시냅스를 가지고 있는데, 기존 실리콘 반도체로 시냅스 하나를 흉내 내려고 하면 여러 개의 소자가 필요했다.

그러면 칩이 너무 커진다.

그래서 더 새로운 방법이 연구되고 있다.

트랜지스터 하나가 시냅스 하나처럼 작동하도록 만들 수 없을까?

이 단계에서 유기 반도체와 전기화학 트랜지스터 같은 새로운 물질과 소자가 등장한다.

아직 상용화까지는 상당한 시간이 필요하다.

하지만 이 기술이 정말 완성된다면 이야기가 달라진다.

스마트폰 안에서 AI가 돌아가는 시대

현재의 거대한 AI는 거대한 데이터센터에 의존한다.

스마트폰으로 AI에게 질문하면 멀리 있는 데이터센터의 GPU가 계산하고 다시 답을 보내준다.

그 과정에서 데이터센터에는 엄청난 전력과 냉각 설비가 필요하다.

 

그런데 만약 아주 작은 반도체 안에서 기억과 계산을 동시에 처리할 수 있다면?

스마트폰이나 안경, 자동차 같은 기기 자체가 훨씬 강력한 AI 컴퓨터가 될 수 있다.

AI가 꼭 거대한 데이터센터에 있어야 하는 것이 아니라,

AI가 기기 안으로 내려오는 것이다.

이게 바로 온디바이스 AI가 바라보는 미래 중 하나다.

그런데 여기서 투자자의 질문이 하나 생긴다

지금 AI 반도체의 최대 수혜주를 찾는다면 자연스럽게 GPU와 HBM을 생각하게 된다.

엔비디아.

SK하이닉스.

삼성전자.

마이크론.

그런데 투자에서 정말 재미있는 질문은 이것이다.

“지금의 승자가 미래에도 승자일까?”

 

스마트폰이 등장했을 때 피처폰 시장의 강자들이 영원히 강할 것이라고 생각했던 것처럼, 기술의 세대가 바뀌면 부품의 중요도도 달라질 수 있다.

HBM 역시 마찬가지다.

지금은 AI 시대의 핵심 부품이지만, 훨씬 먼 미래에 연산과 메모리가 하나로 합쳐지는 기술이 등장한다면 반도체 산업의 경쟁 구도 자체가 바뀔 가능성이 있다.

그러면 새로운 질문이 생긴다.

“HBM 다음에는 누가 AI 반도체의 핵심 부품을 만들 것인가?”

그리고 의외로 중국이 보인다

이 부분이 이번 이야기에서 가장 흥미로운 부분이다.

차세대 뉴로모픽 반도체, 특히 유기 반도체와 전기화학 트랜지스터 분야에서는 중국의 연구기관과 대학들이 상당히 활발하게 연구하고 있다.

아직 이것을 가지고 “중국이 차세대 반도체를 장악했다”고 말할 단계는 아니다.

 

상용화까지는 갈 길이 멀다.

하지만 기술 경쟁에서는 항상 이런 초기 연구가 중요하다.

지금 당장 돈을 버는 기술이 아니라,

10년 뒤 반도체 구조를 바꿀 수 있는 기술을 누가 먼저 연구하고 있느냐

를 보는 것이다.

현재 미국에서는 인텔과 IBM 같은 기업들이 뉴로모픽 컴퓨팅을 연구하고 있고, 중국 역시 유기전자와 뉴로모픽 소자 분야에서 연구를 확대하고 있다.

한국은 세계 최고 수준의 메모리 제조 역량을 가지고 있다.

그러니까 앞으로의 경쟁은 단순히

미국 vs 중국 vs 한국

이라는 구도가 아니라,

GPU를 잘 만드는 나라
HBM을 잘 만드는 나라
그리고 HBM이 필요 없는 새로운 반도체를 만드는 나라

사이의 경쟁이 될 수도 있다.

 

그래서 지금 HBM을 보면서 한 가지를 더 생각해볼 필요가 있다

HBM의 성장은 분명 AI 시대의 중요한 투자 테마다.

하지만 기술의 역사를 보면 가장 큰 변화는 기존 제품을 조금 더 빠르게 만드는 것에서 끝나지 않는다.

어느 순간 누군가가 질문을 던진다.

“그런데 이걸 아예 다른 방법으로 하면 안 될까?”

HBM은 메모리를 연산 장치 가까이 가져왔다.

그 다음 단계는 어쩌면

메모리와 연산 자체를 하나로 만드는 것

일지도 모른다.

아직은 연구실 이야기다.

상용화까지도 상당한 시간이 필요하다.

 

하지만 만약 이 기술이 실제로 성공한다면 그때는 단순히 HBM을 더 많이 생산하는 기업을 찾는 게임이 아닐 것이다.

HBM 이후의 반도체를 누가 먼저 차지하느냐를 보는 게임이 될 수 있다.

지금 AI 반도체 시장에서 가장 뜨거운 것은 HBM이다.

그렇다면 투자자로서 조금 더 멀리 볼 때 던져볼 질문은 이것이다.

“HBM 다음에는 무엇이 올까?”

그리고 더 재미있는 질문은 이것이다.

“그 기술을 지금 연구하고 있는 기업은 누구일까?”