[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]
AI(인공지능) 인프라 SW(소프트웨어)를 개발하는 모레(MOREH)의 자회사 모티프테크놀로지스가 파운데이션 소형언어모델(sLLM) 'Motif 2.6B'를 허깅페이스에 오픈소스로 공개한다고 10일 밝혔다.
이번에 공개한 sLLM은 모레가 설립 초기부터 추구해온 GPU(그래픽처리장치) 자원의 효율적 사용과 클러스터링 SW 최적화 기술을 기반으로 모티프테크놀로지스에서 개발한 AMD 기반 고성능의 경량화된 AI 모델이다.
AMD가 개발한 '인스텔라'를 제외하고 AMD 인스팅트 MI250 GPU 기반으로 구현한 최초의 AI 파운데이션 모델이며 GPU 1개로도 추론이 가능하다.
모티프테크놀로지스는 모레 AI 사업부의 핵심 인력을 주축으로 지난 2월 출범했다. 이들은 허깅페이스에서 1위를 차지한 LLM 모델 'MoMo-70B'를 선보였고, GPT-4의 한국어 성능을 능가하는 1020억 매개변수(파라미터) 규모 한국어 특화 고성능 LLM을 개발한 바 있다.
이번에 모티프테크놀로지스가 첫 모델로 공개한 Motif 2.6B는 26억개의 매개변수를 가진 sLLM으로 동급뿐만 아니라 70억개 매개변수 모델의 성능도 능가한다.
정확한 성능 비교를 위해 각 개발사가 공개한 테크니컬 리포트의 점수와 설정값을 동일하게 적용해 벤치마크 점수를 산출한 결과, Motif 2.6B는 70억개 매개변수를 가진 미스트랄 7B 대비 134% 높은 성능을 보였다.
특히 고성능을 요하는 수학과 과학, 코딩 능력에서 상대적으로 높은 점수를 기록했다. 동급인 1B~3B 모델과의 비교에서도 구글 젬마1(2B) 대비 191%, 메타 라마 3.2(1B) 대비 139%, AMD 인스텔라(3B) 대비 112%, 알리바바 큐원 2.5(3B) 대비 104%로 우수한 성능을 보였다.
Motif 2.6B는 문맥 이해 능력을 강화한 점이 가장 큰 기술적 특징이다. 잘못된 문맥을 참고해 부정확한 문장을 생성하는 오류를 줄이고 필수적인 핵심 문맥에 집중하도록 설계됐다.
모티프테크놀로지스는 우선 올해 말까지 텍스트를 이미지로 변환하는 T2I(Text to Image), T2V(Text to Video) 등 멀티모달형 모델을 오픈소스로 공개해 AI 산업 생태계 확장에 기여하고 다양한 고객을 확보한다는 계획이다.
임정환 모티프테크놀로지스 대표는 "sLLM은 저전력으로 구동되고 슈퍼컴퓨터 없이 운영이 가능해 비용 효율성이 높다. 산업 현장에서 다양한 적용이 가능하다"며 "Motif 2.6B를 활용해 일상에서 사용할 수 있는 온디바이스 AI, 에이전틱 AI 모델로 발전시켜 나갈 것"이라고 했다.
