[CBC뉴스] 인공지능(AI)이 인간 연구자를 넘어 스스로 더 강력한 AI를 개발하는 단계로 진입할 경우, 기술 발전 속도가 인간 사회의 통제 범위를 벗어나면서 최악의 경우 인류가 초인적 AI 시스템에 대한 통제력을 상실할 수 있다는 경고가 나왔다.

영국 케임브리지대학교의 AI 과학·정책 프로그램(CASP)이 공개한 공동 논문 ‘AI 연구개발(R&D) 자동화가 지능 폭발을 촉발한다면 어떻게 될까요?’는 AI 연구개발 자동화가 급격한 기술 가속, 이른바 ‘지능 폭발(intelligence explosion)’로 이어질 가능성과 그 파장을 집중적으로 다뤘다.

이번 논문에는 앨런 찬, 크리스토프 윈터, 야쿱 파초키, 제프리 힌튼, 에릭 호르비츠, 요슈아 벵지오, 돈 송, 잭 클라크 등 AI 연구와 정책 분야의 인사들이 공동 저자로 참여했다.

연구진이 가장 우려한 지점은 AI가 단순한 도구를 넘어 AI 연구개발 과정 자체를 맡게 되는 상황이다.

현재 AI 시스템은 이미 코드 작성과 데이터 분석, 실험 보조 등에서 빠르게 활용 범위를 넓히고 있다. 앞으로 AI가 새로운 모델 설계, 실험 수행, 결과 평가, 오류 수정까지 상당 부분 담당하게 될 경우 AI가 더 강력한 AI를 개발하고, 그 AI가 다시 다음 세대 AI 개발을 가속하는 자기증폭 구조가 만들어질 수 있다는 것이다.

문제는 그 속도다.

연구진은 기존에는 수년에 걸쳐 진행됐던 AI 기술 발전이 수개월 또는 그보다 짧은 기간에 압축될 가능성을 제시했다. AI 연구개발 능력이 향상될수록 다음 세대 AI 개발 속도가 더 빨라지고, 이 과정이 반복될 경우 인간 연구자와 정책 당국이 기술 발전 속도를 따라가지 못하는 상황이 나타날 수 있다는 설명이다.

이 지점에서 논문은 가장 극단적인 위험 가능성을 언급한다.

연구진은 AI의 능력 성장이 사회가 감당할 수 있는 수준을 크게 넘어설 경우 인류가 초인적 AI 시스템에 대한 통제력을 잃을 수 있다고 경고했다. 이는 단순히 AI가 인간의 일자리를 대체하는 문제와는 차원이 다른 위험이다.

AI가 인간보다 빠르게 새로운 전략을 만들고, 더 정교한 시스템을 설계하며, 스스로 성능을 개선하는 구조에 들어갈 경우 인간이 기술의 목표와 행동을 충분히 이해하거나 수정하기 어려운 상황이 발생할 수 있다는 것이다.

이른바 ‘인류 멸망 시나리오’가 거론되는 이유도 여기에 있다.

논문이 직접적으로 인류 멸망이 발생한다고 단정한 것은 아니다. 다만 초인적 AI에 대한 통제 상실이 현실화할 경우 그 결과가 사회적 혼란이나 경제적 충격을 넘어 인류 전체에 극단적인 위험을 초래할 가능성까지 배제해서는 안 된다는 문제의식을 담고 있다.

특히 AI가 스스로 연구개발을 수행하는 속도가 인간의 감독과 규제 속도를 추월하는 상황은 기존의 기술 위험과 성격이 다르다.

과거의 위험 기술은 개발 속도가 비교적 제한적이었고 인간이 설계와 실험, 배치 과정을 직접 통제할 수 있었다. 그러나 AI가 AI를 개발하는 구조에서는 기술 발전의 핵심 주체 자체가 인간에서 AI 시스템으로 이동할 가능성이 있다.

이 경우 인간 사회가 문제를 발견한 뒤 규제하거나 중단하려 해도 이미 다음 단계의 AI가 등장한 상태일 수 있다는 것이 연구진의 우려다.

권력 집중도 또 다른 위험 요소다.

CASP 연구진은 고성능 AI 기술이 특정 국가나 기업, 정부 조직에 집중될 경우 기존의 견제와 균형 구조가 크게 약화될 수 있다고 분석했다. 초고성능 AI 시스템을 먼저 확보한 주체가 경제와 군사, 정보, 과학기술 분야에서 압도적인 우위를 확보할 가능성이 있기 때문이다.

AI 개발 경쟁이 가속될수록 안전보다 속도를 우선하는 경쟁이 발생할 가능성도 배제하기 어렵다.

각국과 기업이 경쟁에서 뒤처지지 않기 위해 AI 연구개발 자동화를 빠르게 확대할 경우 충분한 안전 검증 없이 더 강력한 시스템이 투입되는 상황이 나타날 수 있다는 것이다.

연구진은 이런 이유로 정책 당국이 AI 연구개발 자동화 수준을 긴급히 파악해야 한다고 강조했다.

최첨단 AI 기업에서 실제로 AI가 어느 정도까지 연구개발 업무를 대체하고 있는지, AI가 새로운 AI 시스템 개발 과정에 얼마나 깊숙하게 투입되고 있는지 등을 지속적으로 확인할 수 있는 제도적 장치가 필요하다는 주장이다.

또 지능 폭발이 실제로 시작될 경우 이를 늦추거나 통제할 기술과 정책 수단을 미리 마련해야 한다고 제안했다.

사회 역시 AI 기술 발전 속도가 기존 예상을 크게 넘어설 가능성에 대비해야 한다는 것이 연구진의 결론이다.

다만 이번 논문은 ‘AI가 인류를 멸망시킬 것’이라고 예언한 연구는 아니다.

연구진은 지능 폭발이 실제로 발생할지, 발생한다면 언제 어떤 속도로 진행될지에 상당한 불확실성이 존재한다고 분명히 했다.

그럼에도 불구하고 이 가능성을 무시하기 어려운 이유는 한 번 현실화할 경우 결과의 규모가 매우 클 수 있기 때문이다.

AI가 인간의 도구에서 인간보다 빠르게 AI를 설계하고 발전시키는 주체로 전환되는 순간, 인류가 처음으로 자신보다 빠르게 진화하는 기술 시스템과 마주할 가능성이 있다는 점이 이번 논문이 던진 가장 무거운 질문이다.

[이 기사는 케임브리지대학교 AI 과학·정책 프로그램(CASP)이 공개한 공동 논문과 초록을 바탕으로 작성한 정보 제공 목적의 자료다. 논문은 AI 연구개발 자동화와 지능 폭발 가능성을 분석한 연구로, 인류 멸망이나 초인적 AI의 등장 시점이 확정됐다는 의미는 아니다. 일부 문장과 자료 정리에 AI를 활용했으며 최종 검토는 편집자가 수행했다.]

★ 네티즌 어워즈 투표하러 가기 ▶
★ 전 세계 팬덤의 결집, cbcglobe.com ▶
★ 돈돈돈, 남몰래 혼자 보는 – 돈 되는 뉴스 ▶

▮ CBC뉴스ㅣCBCNEWS 심우일 기자