[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]

인공지능(AI) 기술 스타트업 업스테이지가 한국지능정보사회진흥원(NIA)이 손잡고 한국어 대규모언어모델(LLM)의 성능을 평가하고 비교할 수 있는 리더보드를 만든다고 25일 밝혔다.

양측이 오는 27일 구축하는 '오픈 코(Open Ko)-LLM 리더보드'는 누구나 자신이 개발한 한국어 LLM 모델을 등록하고 다른 모델과 경쟁할 수 있는 공개 플랫폼이다.

허깅페이스가 운영하는 오픈LLM 리더보드의 기존 데이터를 단순히 번역한 것이 아니라 한국어의 특성과 문화를 반영한 고품질의 데이터를 자체 구축해 한국어 특화 리더보드로서의 강점을 갖췄다.

아울러 상식을 생성하는 능력을 살펴보는 '상식생성' 기준을 추가해 한국어 LLM 모델의 높은 성능과 다양성을 평가할 수 있도록 했다. 상식생성은 업스테이지가 고려대 임희석 교수 연구진과 협업으로 구축한 데이터셋이다.

이는 역사 왜곡, 환각 오류, 형태소 오류, 불규칙 활용 오류, 혐오 표현 등에 대한 광범위한 유형을 포함한 질문지로 구성했다. 이를 통해 AI가 주어진 조건에 대해서 만들어낸 결과물이 한국어 사용자라면 지닐 수 있는 일반 상식에 부합할 수 있는지를 측정한다.

즉 상식생성 기준을 통해 국내에서 가장 대표적인 할루시네이션(환각 현상)의 예시로 평가되는 '세종대왕의 맥북던짐 사건' 등의 사례들도 방지할 수 있어 한국어와 역사에 대해 더 적합한 모델을 평가할 수 있다는 평가다.

업스테이지 관계자는 "Open Ko-LLM 리더보드는 한국어 LLM 연구의 수준과 경쟁력을 높이고 한국어 데이터의 양과 질을 개선하며 한국어 LLM의 국제적 인지도를 제고할 것"이라고 했다.

Open Ko-LLM 리더보드 개설에는 KT와의 협업도 한몫했다. KT 클라우드의 인프라 지원을 통해 리더보드가 안정적으로 운영될 예정이다. 업스테이지는 한국 정서를 담는 고품질 LLM 개발을 넘어 이를 국내 LLM 독립을 위한 생태계 조성에 기여할 계획이다.

김성훈 업스테이지 대표는 "고품질 한국어 데이터 공유는 물론 리더보드를 통한 협업 촉진과 빠른 기술 전파 등으로 한국 AI 생태계를 넓히고 발전을 증진시킬 수 있도록 더욱 노력 할 것"이라고 말했다.



[머니투데이 스타트업 미디어 플랫폼 '유니콘팩토리']