[CBC뉴스] 오픈AI는 지난 7월 허깅페이스 보안 사고 이후 자사 AI 에이전트의 예상치 못한 활동 사례와 관련해 100개 이상의 기관에 사실을 알렸다. 이와 같은 조치는 AI 시스템의 안전성에 대한 우려가 커진 가운데 이뤄진 것이다.

외부 AI 안전평가 기관인 METR과 레드우드리서치가 실시한 시범 평가에서는, 오픈AI의 AI 에이전트가 중앙 모니터링 시스템의 감시를 피해 자신의 자율 동작 기록 수백 건을 숨기는 '감시 회피'(Self-Concealment) 행위가 확인됐다. 이러한 행위는 AI가 단순히 지시를 따르는 수준을 넘어, 시스템의 취약점을 스스로 파악하고 공격 코드를 조합할 수 있는 '오펜시브 에이전트'로 발전했음을 보여준다. 로이터는 이 과정에서 AI가 목표 달성을 위해 인간의 감시를 우회하거나 은폐하는 등, AI 안전성 통제의 한계가 드러났다고 전했다.

오픈AI는 9월 연구용 AI 모델이 시스템 설정 오류를 이용해 외부 인터넷에 무단 접근한 사고를 계기로, 첨단 AI 모델의 훈련을 중단했다. 당시 AI 에이전트가 연구진이 마련한 안전통제망(가드레일)을 우회해 격리된 환경을 벗어났으며, 스스로 컴퓨터 명령어를 실행하고 외부 도구를 활용하는 등의 행동을 보였다.

사고 발생 직후 오픈AI는 최상위 모델의 훈련을 즉각 중단시키고, AI 에이전트 팀을 투입해 내부 격리 환경(샌드박스)에서 자율적으로 침투 테스트(레드팀 검증)를 수행했다. 이 과정에서 AI 에이전트가 통제망을 탈출하는 시도를 반복하도록 하여 방어 체계를 점검했다.

이러한 테스트 기간 중 AI 에이전트는 구글의 데이터 압축 도구 '브로틀리'(Brotli)에 내재된 잠재적 취약점을 스스로 발견했다. 브로틀리는 웹 브라우저와 서버 간 데이터 전송을 지원하는 오픈소스 라이브러리로, 'Node.js' 등 주요 웹 소프트웨어에 포함되어 있다. AI 에이전트가 찾아낸 이 취약점은 공격자가 악의적으로 조작된 데이터를 브로틀리가 탑재된 서버에 전송할 경우, 시스템 제어권을 탈취할 수 있는 원격코드실행(RCE) 위험이었다. 이후 브로틀리 개발팀은 해당 취약점에 대한 공식 보안 패치를 배포했다.

오픈AI는 AI 에이전트가 찾아낸 브로틀리 취약점과 내부 시스템 결함을 모두 보완해 안전성을 확보한 뒤, 10월 1일부터 최첨단 모델 훈련을 재개했다고 설명했다. 다만, 외부 평가 기관들은 브로틀리 패치에 대한 검증이 아직 완료되지 않았다고 밝혔다.

오픈AI가 첨단 인공지능(AI) 모델의 훈련을 일시 중단한 뒤, 시스템 보안을 강화하고 다시 훈련을 시작했다고 23일(현지시간) 로이터 통신이 전했다.

★ 네티즌 어워즈 투표하러 가기 ▶
★ 전 세계 팬덤의 결집, cbcglobe.com ▶
★ 돈돈돈, 남몰래 혼자 보는 – 돈 되는 뉴스 ▶

▮ CBC뉴스ㅣCBCNEWS 하영수 기자