[CBC뉴스] 네덜란드 암스테르담대 마사 루이스 교수와 미국 산타페이연구소 멜라니 미첼 박사팀의 연구에 따르면, GPT-4와 같은 거대언어모델(LLM) 인공지능(AI)은 변형된 문제에서 유추 추론 능력이 크게 저하되는 것으로 나타났다. 연구팀은 이 결과를 24일 과학 저널 기계학습 연구 회보에 발표했다.

이 연구는 GPT 모델의 유추 추론 능력을 검증하기 위해 문자 순서 패턴 식별, 숫자 패턴 분석, 두 가지 이야기 예시와의 비교 등 세 가지 유형의 문제를 활용했다. 연구 결과, 인간은 변형된 문제에서도 높은 유추 능력을 유지했으나, GPT 모델은 표준 문제에서는 성능이 뛰어난 반면 변형 문제에서는 성능이 떨어졌다.

루이스 교수는 "AI 모델이 인간보다 유연성이 떨어지고, 진정한 추상적 이해보다는 패턴 매칭에 의존해 추론한다는 것을 시사한다"고 지적했다. 특히 GPT 모델은 숫자 행렬 문제에서 누락된 숫자의 위치가 바뀌면 성능이 크게 떨어졌으며, 이야기 유추 문제에서도 핵심 요소가 바뀌면 추론에 어려움을 겪었다.

이 연구 결과는 AI 모델이 인간과 같은 방식으로 추론할 수 있다는 기존 인식에 배치된다. 연구팀은 "AI 모델이 인상적인 능력을 보여주지만 무엇을 하고 있는지 진정으로 이해하고 있다는 의미는 아니다"라고 결론 내렸다.

루이스 교수는 이번 연구가 교육, 법률, 의료와 같은 중요 의사결정 영역에서 AI를 사용하는 데 대한 경고가 될 수 있다고 강조했다. 그는 "AI는 강력한 도구가 될 수 있지만 아직 인간의 사고와 추론을 대체할 수는 없다"고 덧붙였다.

연구팀은 간단한 유추 문제에서도 GPT 모델은 문제가 변형되면 성능 저하를 보인 반면 인간은 일관성을 유지했다며 이는 GPT-4가 더 깊은 인과적 추론보다 표면적 유사성에 의존한다는 것을 시사한다고 말했다.

이어 이 연구 결과는 GPT-4 같은 AI 모델이 인간과 같은 방식으로 추론할 수 있다는 기존 인식에 배치된다며 AI 모델이 인상적인 능력을 보여주지만 무엇을 하고 있는지 진정으로 이해하고 있다는 의미는 아니다"라고 결론 내렸다.

루이스 교수는 "이 연구 결과는 교육·법률·의료 같은 중요 의사결정 영역에서 AI를 사용하는 데 대한 대단히 중요한 경고"라며 "AI는 강력한 도구가 될 수 있지만 아직 인간의 사고와 추론을 대체할 수는 없다"고 강조했다.

◆출처 : Transactions on Machine Learning Research, Martha Lewis et al., 'Evaluating the Robustness of Analogical Reasoning in GPT Models', https://openreview.net/pdf?id=t5cy5v9wph

(기사발신지=연합뉴스)

★ 나와 스타의 연대기 '네티즌 어워즈' 투표하기 ▶

▮ CBC뉴스ㅣCBCNEWS 허연하 기자