오픈AI의 GPT(Generative Pre-trained Transforme)-4가 조만간 등장할 가능성이 제기되고 있다. 안드레스 브라운 독일 마이크로소프트 최고기술책임자가 "내주 GPT-4를 공개할 것"이라 말했기 때문이다.
GPT-3.5에 이르러 다양한 멀티미디어도 학습했기 때문에, 최근 AI 모델링의 트렌드인 멀티모달(Multimodal/텍스트를 포함한 다양한 정보 포함)에서도 상당한 성과가 나올 가능성이 높다. 심지어 희소 모델(Sparse Model)을 통해 더 낮은 비용으로 더 큰 성과를 낼 수 있다는 전망도 우세하다.
가성비도 좋아질 것으로 예상된다. GPT-3는 학습 단계에서 1회당 수십억원이 들지만 GPT-4는 100만달러 이하로 떨어질 것으로 예상된다. 학습 단계에서 다양한 가능성 타진이 벌어질 수 있다는 뜻이다. 다만 챗GPT의 모바일 앱 출시 여부는 알려지지 않았다.
업계에서는 RLHF(Reinforcement Learning from Human Feedback)의 극적인 진화도 점친다.
RLLHF는 방대한 언어 데이터베이스에서 고품질의 데이터만 따로 추출해 학습시키는 SFT(Supervised fine-tuning step)를 1단계로 삼는다. 일종의 맞춤형 학습을 위한 정지작업으로 볼 수 있다. 나아가 2단계는 정제된 데이터에서 사람이 직접 질문을 던지며 옳은 대답을 골라내는 보상 모델(reward model)로 구성된다. 질문과 답을 반복하며 옳은 답을 했을 때에 가중치를 주는 방식이다.
마지막 3단계는 실제 구동을 전제로 결과물의 정확성을 높이는 PPO(Proximal Policy Optimization) 알고리즘이다.
정제된 데이터에서 일종의 A/B 테스트를 했다면 다음으로는 답변의 정확도를 높이는 작업이 전개된다. 이를 바탕으로 챗GPT의 능력은 더욱 강해졌으며 GPT-4에 이르러 관련 기술이 더 고도화될 가능성도 제기된다. 다만 현 상황에서 이 지점에 대한 예상은 상대적으로 조심스러운 분위기다.
한편 MS는 챗GPT를 탑재한 검색 포털 빙의 사용자가 1억명을 넘겼다고 밝혔다. 검색 엔진 시장의 80%를 차지하는 구글과 달리 빙 챗봇을 공격적으로 출시하며 거둔 성과다. AI 바드를 통해 반격을 시작한 구글의 입지를 위협할 수 있는 수준이다.
출처=MS
GPT의 영토는 점점 더 넓어지고 있다. 애저 오픈AI 서비스(Azure OpenAI Service)에 챗GPT(ChatGPT) 프리뷰를 추가한 것이 대표적이다. 애저 오픈AI 서비스는 지난 1월 출시된 오픈AI의 최신 AI 시스템을 제공하는 클라우드 서비스며 이번 프리뷰 추가를 통해 GPT-3.5, 코덱스(Codex), 달리 2(DALL·E 2) 등 AI 모델과 애저 슈퍼컴퓨팅 기반 대규모언어모델에 이어 챗GPT 기술도 보안, 컴플라이언스, 책임 있는 AI 등 애저가 제공하는 엔터프라이즈급 기능과 함께 사용할 수 있게 됐다.
개발자들은 애저상의 챗GPT를 활용, AI 기반 경험을 손쉽게 커스터마이징하고 이를 애플리케이션(앱)에 적용할 수 있다. 가격은 1000 토큰당 0.002 달러로 모든 챗GPT 사용에 대한 비용 청구는 3월 13일부터 시작된다.
MS의 GPT 전략이 강화되며 GPT-4까지 조만간에 나올 전망인 가운데 다른 플레이어들도 AI 전략에 속도를 내고 있다. 바드의 구글이 구글 플러스의 공포를 딛고 속도전을 시작한 가운데 메타도 LLaMa(Large Language Model Meta AI)를 출격시켰다.
파라미터를 세분화시킨 것이 눈길을 끈다. 70억개, 130억개, 330억개, 650억개로 나눴다.
파라미터의 숫자가 많으면 AI가 학습할 수 있는 모분수, 즉 데이터의 숫자가 많다. 더 강력한 AI를 가동할 수 있다. 다만 무작정 파라미터가 많다고 좋은 것도 아니다. 배치와 계획을 통한 운용의 묘도 가능하기 때문이다. 심지어 파라미터가 지나치게 많으면 구동 속도가 지연될 수 있다. 그 연장선에서 LLaMA는 파라미터 숫자는 챗GPT에 미치지 못하지만 파라미터 숫자를 등급화시켜 더 빠른 가동에 집중했다는 평가다.
이 외에도 바이두와 유튜브 등 많은 플래이어들이 속속 AI, 특히 생성형AI에 주목해 다양한 서비스들을 출시하고 있다. 오픈AI의 GPT-4와 진검승부에 나설 전망이다.