[CBC뉴스] 인공지능(AI)과 대화를 하다 보면 실제로 존재하지 않는 사건이나 논문, 판례를 마치 사실인 것처럼 설명하는 답변을 마주할 때가 있다. 이른바 ‘세종대왕 맥북 투척 사건’처럼 허구의 이야기를 실제 역사처럼 풀어내거나, 논의된 적 없는 연구에 구체적인 출처까지 붙여 제시하는 경우다.

전문가들은 이런 현상을 ‘AI 환각(hallucination)’이라고 부른다. 문장은 자연스럽지만 내용은 사실과 어긋나는 생성형 AI 특유의 오류다.

이 문제는 단순 오타와 다르다. 특히 법률 자문이나 의료 상담처럼 정확성이 핵심인 영역에서는 심각한 위험 요인이 된다.

원인은 대규모 언어모델(LLM)의 작동 방식에 있다. 생성형 AI는 질문의 진위를 판단하는 구조가 아니라, 학습 데이터를 바탕으로 다음 단어를 확률적으로 예측해 문장을 완성한다. 내부에 독립적인 사실 검증 장치가 있는 것이 아니다.

정보가 부족하거나 생소한 질문이 주어지면 답변을 멈추기보다 기존 지식을 조합해 빈칸을 채우려는 경향이 나타난다. “모르겠다”고 답하는 대신 그럴듯한 문장을 구성하는 쪽이 학습 과정에서 더 높은 평가를 받아왔기 때문이다. 업계에서는 이를 ‘과신’ 문제로 본다.

학습 데이터의 한계도 영향을 준다. 인터넷과 각종 문서를 학습하는 과정에서 오류나 편향, 허구 정보까지 함께 흡수될 수 있다. 특정 주제 데이터가 부족하면 기존 패턴을 과도하게 일반화하기도 한다. 또한 학습 시점 이후의 최신 정보가 즉각 반영되지 않아 과거 자료를 토대로 현재를 추정하다 부정확한 결론에 도달하기도 한다.

모델 규모가 커지며 정확도는 개선되고 있지만, 확률 기반 생성이라는 구조적 특성은 유지된다.

이를 보완하기 위해 ‘검색 증강 생성(RAG)’ 방식이 활용된다. 외부 데이터베이스나 실시간 검색 결과를 참고해 근거 기반으로 응답하도록 하는 구조다. 인간 피드백 기반 강화학습(RLHF)도 병행된다.

한 업계 전문가는 “생성형 AI는 사실 판단 기계가 아니라 판단을 돕는 도구”라며 “기술 발전과 함께 인간의 교차 검증이 필수적”이라고 말했다.

★ 네티즌 어워즈 투표하러 가기 ▶
★ 실시간 뉴스속보 - CBC뉴스 텔레그램 ▶

▮ CBC뉴스ㅣCBCNEWS 하영수 기자