HBM만 보면 놓친다! AI 추론 시대의 진짜 승자는 'NAND'일 수도 있는 이유

 

AI 산업은 이제 모델을 만드는 '학습(Training)' 중심에서 실제 서비스를 제공하는 '추론(Inference)' 중심으로 빠르게 이동하고 있습니다.

이 과정에서 GPU와 HBM은 여전히 핵심 역할을 담당하지만, AI가 활용해야 하는 방대한 데이터를 저장하고 빠르게 불러오는 eSSD와 NAND 플래시의 중요성도 급격히 커지고 있습니다.

 

또한 AI 기업들이 자체 AI 칩과 맞춤형 HBM을 개발하기 시작하면서 반도체 시장은 과거보다 더욱 다양해질 전망입니다. 이에 따라 메모리 업황의 변동성은 다소 완화될 수 있지만, PC·스마트폰 등 기존 시장이 여전히 큰 비중을 차지하는 만큼 반도체 사이클 자체가 사라지지는 않을 것으로 예상됩니다.

 

AI 시대의 중심은 '학습'에서 '추론'으로 이동하고 있다

그동안 AI 시장을 이끌었던 것은 거대한 언어모델을 학습시키는 과정이었습니다. 이때는 엄청난 연산 성능이 필요했기 때문에 GPU와 GPU 바로 옆에서 초고속으로 데이터를 공급하는 HBM이 가장 중요한 부품이었습니다.

하지만 앞으로 AI 산업의 중심은 조금씩 달라질 것으로 보입니다.

 

우리가 ChatGPT나 AI 비서를 사용하는 순간마다 AI는 단순히 계산만 하는 것이 아니라 회사 문서, 인터넷 정보, 영상, 사진, 고객 데이터 등 수많은 정보를 실시간으로 찾아와 활용하게 됩니다.

즉, 이제는 '얼마나 빠르게 계산하느냐'뿐 아니라 '얼마나 많은 데이터를 저장하고 필요한 순간 즉시 불러올 수 있느냐'가 더욱 중요해지는 시대가 오는 것입니다.

 

HBM만으로는 모든 데이터를 담을 수 없다

많은 사람들이 AI 메모리라고 하면 HBM만 떠올립니다.

물론 HBM은 AI 연산에서 가장 중요한 메모리입니다. 하지만 HBM은 매우 비싸고 용량도 제한적이며 전력 소모도 큽니다. 따라서 AI가 사용하는 모든 데이터를 HBM에 저장하는 것은 현실적으로 불가능합니다.

그래서 실제 AI 데이터센터에서는 다음과 같은 구조가 만들어집니다.

 

NAND(eSSD) → DRAM → HBM → GPU

 

평소에는 대부분의 데이터를 대용량 SSD(NAND)에 저장해 두고, 필요한 데이터만 DRAM과 HBM을 거쳐 GPU가 처리하는 방식입니다.

AI 서비스가 늘어날수록 저장해야 할 데이터 역시 폭발적으로 증가하기 때문에 eSSD와 NAND의 중요성도 함께 커질 수밖에 없습니다.

 

그래서 NAND 기업들의 실적이 좋아지고 있다

최근 SK하이닉스와 삼성전자, 샌디스크 등 NAND 사업을 하는 기업들의 실적이 개선되고 있는 이유도 여기에 있습니다.

과거에는 AI 서버를 구축할 때 GPU 확보가 가장 큰 관심사였다면, 이제는 GPU가 사용할 수많은 데이터를 저장하기 위한 초고용량 SSD 역시 함께 필요해졌습니다.

 

AI 데이터센터 한 곳이 구축될 때 수천 개의 GPU뿐 아니라 그보다 훨씬 많은 SSD가 함께 설치됩니다.

결국 AI 산업이 커질수록 GPU뿐 아니라 NAND 시장도 함께 성장하는 구조가 만들어지고 있는 것입니다.

그렇다고 GPU 시대가 끝나는 것은 아니다

 

여기서 한 가지 오해하면 안 되는 부분이 있습니다.

'추론 시대'가 온다고 해서 CPU가 GPU를 대체하는 것은 아닙니다.

CPU는 SSD에서 필요한 데이터를 불러와 GPU에 전달하는 역할을 수행하고, 실제 AI 추론 연산은 여전히 GPU가 담당합니다.

즉, GPU의 중요성이 사라지는 것이 아니라 CPU와 SSD의 역할이 이전보다 더욱 커지는 방향으로 AI 시스템이 발전하고 있는 것입니다.

 

앞으로는 '커스텀 AI 칩'과 '커스텀 HBM' 시대가 열린다

과거 AI 시장은 대부분 엔비디아 GPU를 중심으로 돌아갔습니다.

하지만 이제는 구글은 TPU, 아마존은 Trainium, 메타는 MTIA, 테슬라는 Dojo처럼 각 기업이 자신들의 서비스에 맞는 AI 칩을 직접 설계하기 시작했습니다.

AI 칩이 다양해지면 메모리 역시 모든 고객이 동일한 제품을 사용하는 시대에서 벗어나 고객 맞춤형 HBM이 요구되는 시대가 열릴 가능성이 높습니다.

이는 메모리 산업이 과거보다 더욱 세분화되고 고부가가치 산업으로 발전하는 계기가 될 수도 있습니다.

 

반도체 사이클은 사라질까?

많은 투자자들이 가장 궁금해하는 부분입니다.

결론부터 말하면 사이클은 사라지지 않을 가능성이 높습니다.

다만 과거처럼 극단적인 상승과 하락이 반복되는 구조는 조금 완화될 수 있습니다.

예전에는 PC와 스마트폰 시장의 수요 변화에 따라 메모리 가격이 크게 움직였습니다.

하지만 앞으로는 구글, 마이크로소프트, 메타, 아마존, 오픈AI 등 다양한 AI 기업들이 장기 계약과 맞춤형 메모리를 요구하면서 수요 기반이 더욱 다양해질 가능성이 있습니다.

이러한 변화는 메모리 가격의 변동성을 줄이는 데 도움이 될 수 있습니다.

그러나 여전히 PC와 스마트폰은 DRAM 시장의 중요한 축이며, 공급 과잉과 감산, 가격 회복이 반복되는 반도체 산업 특유의 사이클 자체는 앞으로도 계속 이어질 가능성이 높습니다.

 

그동안 AI 메모리 시장의 주인공은 HBM이었습니다.

하지만 AI가 실제 서비스를 제공하는 '추론 시대'가 본격적으로 열릴수록 데이터를 저장하고 공급하는 NAND의 역할 역시 이전보다 훨씬 중요해질 것으로 보입니다.

앞으로 AI 반도체 시장은 GPU와 HBM만의 이야기가 아니라 GPU·HBM·DRAM·NAND가 하나의 생태계를 이루며 함께 성장하는 구조로 변화할 가능성이 높습니다.

따라서 AI 반도체 산업을 바라볼 때는 HBM만이 아니라, 그 뒤에서 AI를 움직이게 만드는 저장장치와 메모리 생태계 전체를 함께 살펴보는 것이 더욱 중요한 투자 포인트가 될 것입니다.