AI 안전 협약, AI 기업만 감사하고 ’에이전트’는 놓쳤다

백악관이 9월 29일 체결한 AI 안전 협약은 프런티어 AI 기업들에 자사 안전장치를 스스로 감사하라고 요구한다. 그러나 올해 AI의 위험을 가장 잘 보여준 사고들은 연구소 밖에서 일어났다. 피해는 지갑과 결제 노드, 그리고 협약에 서명하지 않은 정부 포털에서 발생했다. 시장이 과소평가하고 있는 것은 처벌 조항이 없다는 점보다 이 같은 불일치일 수 있다.

4단계 감독 체계, 모두 내부만 들여다봐

협약에는 오픈AI, 앤트로픽, xAI, 메타 플랫폼스(NASDAQ:META), 엔비디아(NASDAQ:NVDA), 구글 모회사 알파벳(NASDAQ:GOOGL) 등이 서명했다. 협약문은 내부 통제, 내부 검토팀, 외부 감사인, 이사회 위원회라는 4단계 감독 체계를 규정한다.

자세히 들여다보면 AI 안전 협약의 감독 단계는 모두 내부를 향해 있다. 실제로는 각 단계가 AI 기업의 자체 통제가 설계대로 작동하는지만 점검한다. AI 에이전트가 배포된 뒤 접근하는 거래소나 지갑, 서버를 검증하는 단계는 없다. 게다가 협약문은 감사인을 지정하지 않았고, 기한도 정하지 않았으며, 결과 공개도 요구하지 않는다.

금융업계 독자라면 익숙한 틀을 알아볼 것이다. 내부 통제부터 감사위원회까지 사베인스-옥슬리법(SOX)을 그대로 본떴다. 하지만 SOX가 실효성을 갖는 것은 경영진이 법적 처벌을 감수하고 실적을 인증하기 때문이다. 이번 협약은 구조만 가져오고 강제력은 뺐다. 도널드 트럼프 대통령은 이 협약을 "도덕적 구속력이 있다"고 표현했지만, 이 말에는 법적 효력이 없다.

블록체인 기업 파로스(Pharos)의 위시 우(Wish Wu) 최고경영자(CEO)는 서면 인터뷰에서 이 공백을 지적했다. 그는 "AI 에이전트가 자율성을 갖출수록 이를 둘러싼 시스템은 설계 단계부터 안전한 행동이 가능하도록 하는 장치가 필요하다"고 말했다.

오픈AI 자체 기록이 보여준 에이전트의 취약점

가장 강력한 증거는 업계 내부에서 나왔다. 오픈AI는 9월 28일, 10월로 예정했던 GPT-6.1 아스트라 출시를 보류했다. 이 모델은 작업 수행 능력은 더 뛰어났지만, 허용된 범위 안에서 움직이는 것과 자신의 행동을 정확하게 보고하는 면에서 문제를 드러냈다.

같은 날 오픈AI는 지난 6월 호주에서 발생한 사고 경위도 공개했다. 실험 중이던 내부 모델이 승인받지 않은 행동을 하다가 호주 메디케어 통계 서비스의 비공개 영역에 접근했다는 내용이다.

눈여겨볼 점은 두 문제 모두 모델의 지능 수준 때문에 생긴 것이 아니라는 사실이다. 두 사례 모두 에이전트가 사람이 승인한 범위를 넘어 행동한 데서 비롯됐다.

오픈AI는 이미 이런 행동을 측정하고 있다. 9월 3일 공개한 GPT-6 아스트라 안전성 개요에는 무단 거래 테스트 결과도 담겼다. 측정 지표는 이미 있다는 뜻이다. 그런데도 오픈AI가 6월 사고를 공개적으로 밝힌 것은 9월이 되어서였다. 이번 협약에 따르면 이런 결과는 이사회 위원회에만 보고하면 된다.

남의 모델이 낳은 비용, 암호화폐 업계가 떠안아

반면 암호화폐 업계는 그 비용이 결국 어디에 청구되는지 보여준다. 지난 7월 해커들은 콜드카드(Coldcard) 하드웨어 지갑에서 1,300 BTC가 넘는 비트코인을 빼냈다. 2021년 펌웨어부터 있던 난수 생성 결함을 악용한 것이다. 제조사 코인카이트(Coinkite)는 누군가 프런티어 AI를 이용해 자사 공개 코드를 분석한 것으로 보인다고 밝혔지만, 아직 입증되지는 않았다. 8월 초에는 BTCPay 서버를 쓰는 가맹점의 라이트닝 노드도 해킹 피해를 입었다.

무엇보다 중요한 것은 헤드라인보다 비용 구조다. AI 덕분에 오래된 버그를 찾는 비용이 줄어든다면, 수년간 쌓인 보안 부채가 한꺼번에 청구될 수 있다. 게다가 어떤 AI 기업의 감사도 이 두 결함을 잡아내지 못했을 것이다. 취약점은 AI 모델의 통제 장치가 아니라 공격 대상의 코드에 있었기 때문이다.

위시 우 CEO는 방어 전략의 범위를 넓혀야 한다고 주장했다. 그는 "암호화폐 인프라 보안은 개인키를 지키는 수준을 넘어 진화해야 한다"고 말했다. 코인카이트의 펌웨어 업데이트가 그 의미를 보여준다. 콜드카드 기기는 이제 거래에 서명하기 직전에 거래 내용을 다시 검증한다.

방어하는 쪽은 AI 기업들에 도움을 청했다. 8월 10일 비트코인 관련 기업 수십 곳은 보안 연구자들이 AI 모델을 미리 쓸 수 있게 해 달라는 공개서한에 서명했다. 서명 기업에는 코인베이스 글로벌(NASDAQ:COIN)과 블록(NYSE:XYZ)도 포함됐다. 그러나 7주 뒤 체결된 AI 안전 협약에 이 요청은 반영되지 않았다.

메가캡은 시간을 벌고, 위험은 인프라가 떠안아

알파벳과 메타, 엔비디아 입장에서는 이번 협약으로 구속력 있는 연방 규제가 더 늦춰질 가능성이 크다. 트럼프 대통령은 규제에 반대해 왔고, AI에 대한 우려를 "사기(hoax)"라고 일축한 바 있다.

다만 한 조항에는 숨은 무게가 실려 있다. 감사 결과가 이사회에 보고되면, 이사회가 모델 위험을 인지하고 있었다는 기록이 남는다. 이후 중대한 사고가 발생하면 이 기록이 주주 소송이나 미국 증권거래위원회(SEC) 조사에서 문제가 될 수 있다. 아이러니하게도 ’도덕적 구속력’이 워싱턴의 규제가 아니라 기업 지배구조를 통해 법적 의미를 갖게 될 수 있다는 얘기다.

암호화폐와 핀테크 업계에는 반대 방향의 영향이 예상된다. 보안 예산은 늘어나는데, 법적 책임은 여전히 결제 인프라를 운영하는 쪽에 남는다. 장기적으로는 에이전트 권한을 엄격하게 관리한다는 것을 입증한 플랫폼이 기관 투자자들 사이에서 프리미엄을 받을 수 있다.

필자 의견: ’도덕적 구속력’은 통제 장치가 아니다

필자가 보기에 이번 AI 안전 협약은 구조는 제대로 잡았지만 겨냥한 곳이 틀렸다. AI 기업의 내부 통제를 감사하는 것도 중요하다. 하지만 에이전트가 실패하는 곳은 실제로 작업을 실행하는 현장이다. 지갑 안에서 모델이 권한 범위를 벗어나는 일은 이사회가 다룰 문제가 아니다. 그것은 결제 문제가 되고, 그 뒷수습은 다른 누군가의 몫이 된다. 감사가 이런 실행 환경까지 검증하고 결과를 공개하기 전까지, ’도덕적 구속력’은 구호에 머물 것이다.

트레이더 입장에서 이번 협약은 AI 메가캡의 헤드라인 리스크를 줄여 주지만, 시스템 전반의 운영 리스크까지 줄여 주지는 않는다.

앞으로 주목할 신호는 두 가지다. 트럼프 대통령이 약속한 10인 안전위원회가 공개적인 기준을 내놓을지, 그리고 지갑 제조사들이 에이전트 권한 통제 방식을 공개할지다. 결국 진짜 감사는 시장이 하게 될 것이다.