[스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]
AI(인공지능) 스타트업 트릴리온랩스가 LLM(대규모 언어모델)의 추론 성능을 소규모 프록시 모델로도 예측할 수 있는 새로운 방법론 '알브릿지(rBridge)'를 발표했다고 21일 밝혔다.
트릴리온랩스에 따르면 LLM을 학습하려면 막대한 연산 비용이 드는데 특히 추론 능력은 AI 모델이 일정 규모에 도달하기 전까지는 거의 드러나지 않다가 임계점을 넘는 순간 복잡한 수학 문제나 다단계 논리 문제까지 풀어내는 등 급격히 고도화되는 특성을 보인다.
이러한 특성 때문에 작은 모델만으로는 대형 모델의 추론 성능을 예측하기가 어려워 불가피하게 막대한 비용을 들여 대규모 학습을 반복해야 했다는 설명이다.
트릴리온랩스가 개발한 알브릿지는 작은 모델(프록시 모델, 10억개 이하 매개변수)만을 가지고도 대형 모델(최대 320억개 매개변수)이 실제로 얼마나 뛰어난 추론 능력을 보여줄지 효과적으로 예측할 수 있도록 설계됐다.
평가 방식을 학습 목표와 실제 과제에 맞춰 작은 모델이 대형 모델의 성능을 더 정확히 대신할 수 있도록 했으며, 이를 통해 큰 모델을 직접 학습하지 않고도 성능을 미리 가늠할 수 있게 했다.
알브릿지 파레토 그래프 /사진=트릴리온랩스 제공트릴리온랩스 관계자는 "이 방법을 통해 데이터셋 평가와 순위 매기기에 드는 비용을 기존보다 100배 이상 줄였다"며 "대규모 모델을 직접 학습하지 않아도 작은 모델만으로 데이터셋의 품질을 빠르고 저렴하게 확인할 수 있다"고 말했다.
알브릿지는 새로운 데이터셋 실험이나 산업별 특화 모델 개발에서 연구자와 기업 모두 큰 비용 절감 효과를 얻을 수 있게 한다. 뛰어난 연산 효율성을 입증하며 기존 방법 대비 최대 733배 높은 효율성을 기록했다는 설명이다.
알브릿지의 기술은 1억 파라미터보다 더 작은 모델부터 최대 320억 파라미터 규모의 다양한 모델을 대상으로 검증됐으며, 총 6개의 핵심 추론 벤치마크를 통해 성능이 확인됐다.
이 벤치마크에는 초등·중등 수준의 수학 단어 문제 해결(GSM8K), 고등 수학 수준 문제 해결(MATH), 과학·상식 기반 추론(ARC-C), 대학·전문가 수준 지식 평가(MMLU Pro), 프로그래밍 및 코드 생성 정확도 평가(HumanEval) 등이 포함됐다.
신재민 트릴리온랩스 대표는 "작은 모델로도 대형 모델의 추론 능력을 신뢰성 있게 예측할 수 있음을 입증했다"며 "연구자들이 데이터셋과 모델 설계를 훨씬 더 효율적으로 선택할 수 있는 길을 열었다는 점에서 LLM 연구와 AI 생태계에 새로운 전환점이 될 것"이라고 했다.
