빅데이터 분석 인공지능(AI) 기업 에스투더블유(S2W)의 대규모언어모델(LLM) 토크나이저 취약점을 규명한 논문이 자연어처리 분야 최상위 학회인 EMNLP 2025에 채택됐다. 이로써 S2W는 4년 연속 글로벌 AI 최고 권위 학회에 논문을 발표하는 기록을 세웠다.

EMNLP는 전산언어학학회(ACL)와 북미전산언어학회(NAACL)와 더불어 자연어처리 분야 세계 3대 학술대회 중 하나다. S2W는 2022년 다크웹 언어 관련 연구와 2024년 자사 개발 사이버보안 문서 특화 언어모델 ‘사이버튠(CyBERTuned)’에 관한 논문으로 NAACL에 발표했으며, 2023년에는 세계 최초 다크웹 도메인 특화 언어모델 ‘다크버트(DarkBERT)’ 논문을 ACL에 채택시킨 바 있다.

이번에 선정된 논문은 “Improbable Bigrams Expose Vulnerabilities of Incomplete Tokens in Byte-Level Tokenizers”라는 제목으로, LLM 내 문장 분석 시 토크나이저가 문자를 분절하는 과정에서 발생하는 환각 현상을 밝히고 있다. 논문은 특히 비영어권 언어에서 일부 문자가 완전히 나눠지지 않아 불완전 토큰으로 남는 현상에 주목했다.

S2W는 토크나이저 설계에 따른 환각 현상이 영어가 아닌 언어에서 더 두드러진다고 지적했다. 영어는 한 글자가 1바이트 단위이지만, 한국어·일본어·중국어는 한 글자가 여러 바이트로 구성된다. 바이트 페어 인코딩(BPE) 방식 토크나이저는 문자를 바이트 단위로 쪼개는 과정에서 글자 중간이 잘려 불완전 토큰이 되기 쉽다. 이러한 구조적 한계가 비영어권에서 의미 복원 실패와 문맥 왜곡을 일으켜 환각 발생률을 높이는 원인으로 작용한다.

논문 공동저자인 박근태 S2W 최고기술책임자(CTO)는 “본 논문은 각국이 자국 언어와 데이터를 기반으로 AI를 개발·운영해야 하는 ‘소버린(Sovereign) AI’ 논의에 유의미한 시사점을 제공한다”며 “토크나이저가 영어 외 언어를 안정적으로 처리하지 못하면 여러 국가의 자국어 기반 AI 모델을 신뢰성 있게 운영하기 어렵다”고 설명했다. 이어 “S2W는 신뢰할 수 있는 AI 개발을 위한 선도적 연구 성과를 지속해서 선보일 것”이라고 덧붙였다.

에스투더블유는 2018년 설립된 글로벌 빅데이터 분석 AI 기업으로, 세계경제포럼(WEF)이 선정한 ‘2023년 100대 기술 선도기업’에 포함됐다. 이 회사는 공공·정부기관용 안보 AI 플랫폼 ‘자비스(XARVIS)’, 기업 및 기관용 보안 AI 플랫폼 ‘퀘이사(QUAXAR)’, 산업 특화 AI 플랫폼 ‘SAIP(S2W AI Platform)’ 등 다양한 AI 데이터 인텔리전스 솔루션을 제공한다. 국내외 대기업과 주요 정부기관에 고품질 데이터 인사이트를 지원하며, 인터폴(INTERPOL) 민관협력 프로그램 ‘게이트웨이 이니셔티브(Gateway Initiative)’의 한국 내 유일 파트너로 활동하고 있다. 또한 마이크로소프트(MS) ‘시큐리티 코파일럿(Security Copilot)’에 데이터를 제공하는 등 차별화된 빅데이터와 AI 기술력을 바탕으로 글로벌 시장에서 주목받고 있다.

★ 네티즌 어워즈 투표하러 가기 ▶
★ 실시간 뉴스속보 - CBC뉴스 텔레그램 ▶
★ CBC뉴스 - gonewsi로 전 세계 타전 ▶