생성형 AI 열풍이 휩쓴 지난 3년간 GPU(그래픽처리장치)가 주도해온 AI(인공지능) 반도체(칩) 시장이 새로운 전환점을 맞았다는 평가가 이어진다. 최근 공개돼 호평받은 구글의 AI 모델 '제미나이3'에 자체 개발 칩 TPU(텐서처리장치)가 적용된 것으로 알려지면서, ASIC(주문형 반도체)가 GPU의 현실적인 대안으로 떠올랐다.

AI 칩의 성능 지표는 크게 △연산 속도 △전력 효율 △유연성 세 가지로 나뉜다. 특히 전력 효율은 AI 학습과 추론 규모가 방대해지면서 AI 기술 경쟁의 핵심 변수로 등장했다. AI 서비스를 위해선 수만 개 이상의 칩을 24시간 가동할 대규모 데이터센터가 필요하고, 이를 운영하는 대형 클라우드 기업은 비용 절감을 위해 '전력 효율'을 최우선 순위로 둔다.

엔비디아가 시장을 장악한 GPU는 수많은 픽셀의 색을 표현하는 그래픽 연산을 위해 개발된 칩으로 여러 형태의 병렬 연산을 빠르게 처리할 수 있다. GPU는 다양한 모델 학습을 병렬로 수행할 수 있어 유연성 측면에서도 압도적이어서, 그간 AI 열풍의 기반이 됐다. 하지만 설계 구조가 복잡하고 불필요한 작업도 반복해 전력 소모가 커진다는 단점이 있다. 데이터센터 전력의 상당 부분은 GPU 가속 서버와 냉각 비용에 쓰인다고 한다.

이와 달리 ASIC는 말 그대로 특정 용도를 위해 설계된 '맞춤형' 반도체다. 범용 처리를 수행하는 GPU와는 설계 철학부터 달라 최적화를 중시한다. AI 모델용으로 설계하는 경우 필요한 작업에만 초점을 맞추기 때문에 불필요한 연산 작업도 하는 GPU에 비해 연산 속도, 전력 효율, 비용 등에서 우수하다는 평가를 받는다.

업계 전문가들은 LLM(대규모 언어 모델·Large Language Model) 추론이나 음성 인식처럼 정형화된 연산에는 ASIC가 GPU보다 2~3배 높은 에너지 효율을 낼 수 있다고 본다. AI 및 기술 파트너인 아르테크디지털은 "고성능 모델 기준 GPU의 전력 소모량은 최대 700~1000W(와트)에 달하지만, 머신러닝(기계학습)용으로 설계된 구글 TPU는 칩당 175~250W의 전력만 소모해 에너지 효율성이 더 뛰어나다"고 분석했다.

찹의 비용 측면에서도 ASIC가 GPU보다 효율적이라는 평가를 받는다. AI 칩으로 주로 사용되는 엔비디아 GPU는 개당 수천만 원을 웃도는 높은 비용을 지불해야 한다. ASIC는 맞춤형 반도체인 만큼 수천억 원에 달하는 초기 개발비가 필요하지만, 칩 수십만 개가 필요한 AI 서비스에 사용되면 생산 단가가 GPU와 비교해 획기적으로 낮아진다. 모건스탠리에 따르면 엔비디아의 최신 칩 블랙웰 GPU 2만4000개 설치에 약 8억5200만달러(1조2564억원)가 필요하지만, 같은 규모의 구글 TPU 비용은 약 9900만달러에 불과한 것으로 추산됐다.

다만 이런 차이에도 GPU 시대가 끝나는 것은 아니다.

전문가들은 ASIC 기술 발전으로 AI 칩 시장이 GPU와 ASIC가 역할을 분담하는 혼합 생태계로 변화할 것으로 예상한다. 글로벌 컨설팅업체 커니는 "AI 칩 시장은 GPU가 완전히 ASIC로 대체되는 것이 아닌 두 기술이 전략적으로 쓰이는 '공존 패러다임'으로 진화할 것"이라면서, GPU는 다양한 연산을 처리해야 하는 AI 학습 단계에서 사용되고 ASIC는 실제 서비스에 투입되는 추론 단계에서 비중이 확대할 것으로 내다봤다. 엔비디아는 특히 CUDA라는 강력한 개발 생태계를 만들어놔 초기 단계에서 필요하다는 평가를 받는다.

이런 변화는 사실상 독점에 가까운 엔비디아의 AI 칩 지위도 흔들 전망이다. 구글은 최근 TPU 기반 제미나이3 공개로 ASIC 기술력을 입증했고, 마이크로소프트(MS)와 아마존 등도 각각 마이아, 트레이니엄3 등 자체 ASIC를 내놓으며 엔비디아에 도전장을 내밀고 있다. 시장조사업체 트렌드포스는 2026년 클라우드 서비스 공급업체의 자체 설계 ASIC가 44.6% 성장해 GPU의 성장률(16.1%)을 크게 앞서며 AI 가속기 시장이 큰 전환점을 맞을 것으로 예상했다.

AI 칩 시장 재편은 메모리반도체 선두 기업인 삼성전자, SK하이닉스에 호재로 작용할 것으로 보인다. ASIC는 고효율을 위해 5나노미터(㎚, 1㎚=10억분의 1m), 3nm와 같은 첨단 미세 공정에서 대부분 생산되고, 메모리반도체 HBM(고대역폭메모리)이 필요하다. 구글 TPU 한 개에 탑재되는 HBM은 6~8개로, 대부분 삼성전자와 SK하이닉스가 공급하는 것으로 전해진다.