인텔은 금번 컨퍼런스에서 가우디3의 이론 스펙이 엔비디아의 H100을 능가한다고 발표했다. LLAMA-7B, 70B, 180B 모델을 각기 다른 배치 사이즈, 텍스트 길이 등의 조건에서 추론 성능을 측정했을 경우, 평균적으로 가우디3가 H100 대비 60% 이상의 성능을 보여줬다고 언급됐다. 특히 LLAMA-270 모델에서 가우디3의 인퍼런스 처리량은 H100 대비 19% 높았으며, 비용 당 인퍼런스 처리량은 100% 높다고 밝혔다. 현재 H100의 가격이 약 2만불이라는 점 감안 시 가우디3의 가격은 8~9천불일 것으로 추정된다.
박상욱 신영증권 연구원은 "인텔의 가우디3가 경제적인 측면에서는 확실한 메리트가 있을 것"이라며 "가우디3의 가격이 엔비디아 (NASDAQ:NVDA) 블랙웰의 20~25%라는 점을 감안 하면 중소형 AI 개발 업체향 수요가 존재할 것"이라고 판단했다.
다만 인텔에서 비교대상으로 언급했던 H100은 2023년 초에 출시된 모델로 엔비디아는 이미 차세대 제품인 블랙웰 시리즈를 출시한 만큼 인텔이 하이엔드 시장보다 미드-로우엔드 시장을 타겟팅했다는 판단이다. 인텔은 원가 경쟁력을 높이기 위해 저가 파운드리와 HBM을 채택한 것으로 파악된다.
AI프레임워크는 인공지능 알고리즘의 생성, 배포 및 관리를 지원하는 포괄적인 라이브러리 및 유틸리티 제품군으로 구성된 필수 도구로 AI 개발의 기본 뼈대가 되는 프레임워크로는 구글의 텐서플로우와 메타의 파이토치가 독과점하고 있다.
다수의 팹리스 업체들이 높은 칩 스펙을 보유하고 있음에도 불구하고 엔비디아 점유율을 쉽게 빼앗아 오지 못하는 가장 큰 원인은 엔비디아의 소프트웨어 생태계라는 판단이다. 엔비디아는 2006년에 100억달러를 투자해 자사 개발 툴 플랫폼인 CUDA를 개발하고 GPU 사용자들에게 무료로 배포했다.
박 연구원은 "현재 거의 모든 AI 개발자들은 CUDA를 사용하고 있는 것으로 파악된다"며 "AMD, 인텔 등의 칩을 사용하면 CUDA 이용이 어려워지기 때문에 엔비디아 칩의 높은 가격에도 불구하고 빅테크 업체들은 엔비디아의 AI가속기를 채택하고 있는 상황"이라고 설명했다.