퀄컴 수석 부사장이 말하는 AI의 법칙은? [스냅드래곤 서밋 2024]

퀄컴이 23일(현지시간) 미국 하와이에서 스냅드래곤 서밋 2024를 열어 온디바이스AI 전략을 강조하는 한편, 파라미터 숫자가 줄어들어도 성능이 더 좋아지는 AI 기술 트렌드에 주목했다.

퀄컴은 올해 서밋을 통해 스냅드래곤8 엘리트 및 디지털 섀시 업데이트를 통해 AI 기능을 크게 키웠다. 미스트랄AI와 협력하는 한편 2세대 오라이온을 중심으로 다양한 가능성을 타진한 분위기다.

두르가 말라디 퀄컴 (NASDAQ:QCOM) 수석 부사장 겸 기술 기획 엣지 솔루션 부문 본부장은 자사가 추진하는 온디바이스AI의 강점에 주목했다. 그는 "이제 AI 처리의 중심이 엣지로 이동하고 있다는 것이 명확해졌으며 이는 피할 수 없는 변화이자 이미 일어나고 있는 일"이라며 "마크 저커버그도 '엣지에서 AI를 실행하면 반응 시간, 프라이버시, 전력 효율이 향상된다'고 말했으며 샘 올트먼도 '클라우드의 한계를 넘어 AI 처리 능력을 장치로 가져와야 한다'고 말하며, 최고의 성능을 끌어낼 수 있다고 이야기했다"고 말했다.

그는 나아가 "개발자 관점에서 보면 AI 처리를 클라우드에서만 실행하는 경우 AI 처리를 실행하는 데 분당 최대 4달러가 소요될 수 있으나 엣지에서는 0달러에 가깝다"면서 "다른 연구에서는 AI가 클라우드에서만 실행될 경우, 전 세계 전기 소비량의 약 3.5%가 이를 위해 사용될 수 있다고도 한다"고 말했다.

스냅드래곤이 지향하는 온디바이스AI에 힘이 실리는 순간이다. 그는 "우리의 스냅드래곤 플랫폼 포트폴리오는 데이터 센터에서 운영되는 것과 비교할 경우 성능당 전력 효율이 30배 더 뛰어나다"면서 "엣지를 중심으로 하는 AI 기술 인프라가 확장되고 있다"고 말했다. 이어 영상에 등장한 앤드류 로딩AI 설립자는 "퀄컴 AI 허브 등을 위시한 스냅드래곤의 AI 기술은 많은 영감을 준다"면서 "온디바이스AI가 다양한 가능성을 타진하고 있다는 것을 확신한다"고 말했다.

두르가 말라디 수석 부사장. 사진=최진홍 기자

온디바이스AI의 강점에 대한 입체적인 조명도 이뤄졌다.

그는 "2022년 11월 챗GPT가 공개된 후 AI 시장은 점점 발전했다"면서 "챗GPT가 발표된 지 1년 후, 파라미터 700억 개의 모델들이 1750억 개의 파라미터를 가진 모델과 비슷하거나 성능이 더 뛰어나다는 것을 알아챌 수 있었다"고 말했다.

AI 효율성에 대한 관심이 커졌다는 뜻이다. 두르가 말라디 수석 부사장은 "메타 라마 모델을 예로 들면, 올해 라마3 모델은 80억 개의 파라미터로 작년의 700억 개의 파라미터를 가진 라마2 모델보다 오히려 뛰어난 성능을 발휘하고 있다"면서 "2년 만에 1750억 개의 파라미터에서 80억 개의 파라미터로 줄어들었고, 모델의 품질은 오히려 향상되었다"고 짚었다.

그는 "AI 모델이 점점 더 적은 파라미터로 더 높은 성능을 발휘하는 일종의 'AI 법칙'이 형성되고 있다"면서 "파라미터당 AI 모델의 품질이 꾸준히 증가하고 있으며, 이는 어제 데이터 센터에서 얻을 수 있었던 사용자 경험을 이제는 우리가 사용하는 장치에서도 제공할 수 있다는 것을 의미한다"고 말했다.