KT (56,500원 ▼300 -0.53%)는 자체 개발한 한국어 기반 LLM(거대언어모델) '믿:음 2.0'의 오픈소스를 AI(인공지능) 개발자 플랫폼 허깅페이스에 공개할 예정이라고 3일 밝혔다. 누구나 상업적 제약 없이 사용할 수 있도록 개방해 국내 AI 생태계를 활성화하는 것을 목표로 한다.

'한국적 AI'는 KT가 표방하는 철학으로, 한국의 언어와 문화, 사회적 맥락을 반영한 AI 모델을 의미한다. 이를 위해 KT는 한국의 사회적 맥락과 같은 무형의 요소와 한국어 고유의 언어적·문화적 특성 등을 반영해 학습한 AI 모델을 개발했다.

KT의 믿:음은 사전 학습부터 자체적으로 만든 한국적 독자 AI 모델로 고품질 한국어 데이터를 준비하는 과정에서 모든 저작권을 확보해 신뢰성을 높였다. 2023년 믿:음 1.0 버전을 출시한 이래 KT AICC(인공지능 고객센터), 지니TV, AI 전화, 100번 고객센터 등에 활용해 왔다.

이번에 공개되는 모델은 △115억 파라미터 규모의 '믿:음 2.0 Base'와 △23억 파라미터 규모의 '믿:음 2.0 Mini' 두 가지로 구성된다. 두 모델 모두 한국어와 영어를 지원하며, 특히 Base는 한국어 기반 질의응답과 문서 이해에서 강한 성능을 보인다. Mini는 Base 모델에서 증류한 지식을 학습한 소형 모델이다.

믿:음 모델은 기존 국내외 주요 모델을 상회하는 이해력과 생성 성능을 입증했다. KT와 고려대가 공동 개발한 한국어 AI 역량 평가 지표인 'Ko-Sovereign(코-소버린)' 벤치마크에서 유사 규모의 국내 기성 모델을 비롯해 글로벌 최고 수준의 오픈소스 모델을 능가하는 점수를 기록했다.

KT는 국내 교육용 도서와 문학 작품 등의 발간물, 법률 및 특허 문서, 각종 사전 등 다양한 산업·공공·문화 영역에서 방대한 한국 특화 데이터를 확보해 믿:음 2.0 학습에 활용했다. 또 저작권 이슈가 있는 데이터는 모두 제거하는 등 KT의 '책임 있는(Responsible) AI' 원칙에 따라 고품질 데이터를 선별해 가공했다.

이외에도 한국어의 구조와 언어학적 특성을 반영한 토크나이저를 자체 개발하고, 필터링으로 줄어든 데이터 규모는 데이터 합성 방법론을 적용해 보완했다. 이를 통해 한국 사회 고유의 언어와 문화적 맥락을 정교하게 반영해 한국어 사용자에 최적화된 언어 이해 능력과 정밀한 표현력을 지닌 모델로 구현했다.

특히 믿:음 2.0은 AI의 윤리성 및 신뢰성을 높이기 위해 국내외 정책과 가이드라인을 기반으로 전문가들과 만든 'AI 영향 평가 체계'를 적용해 보다 안전하고 투명한 기술을 구현하는 데 힘썼다.

KT는 믿:음 2.0을 공개하며 본격적으로 국내 AI 생태계에 '한국적 AI' 확산 선도에 나선다는 방침이다. MS(마이크로소프트)와의 협업으로 GPT-4에 한국적 사고를 추가 학습시키는 방식의 모델 또한 순차 공개할 예정이다.

신동훈 KT 생성형 AI 랩(Lab)장(CAIO, 상무)은 "믿:음 2.0은 일반적인 생성 능력을 갖추면서도 한국의 문화와 언어를 깊이 이해하도록 고도화된 AI 모델"이라며 "이는 KT가 국내 사용자들에게 고성능 한국적 AI 모델에 대한 새로운 대안을 제시하는 한편 글로벌 경쟁력을 갖추게 될 중요한 발판이 될 것"이라고 말했다.