BMW·국내 유수 대학과 협력
거대언어모델(LLM)의 기업 정책 준수 실태 분석
금지 항목에 대한 취약점 확인
[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]
AI(인공지능) 보안 전문기업 에임인텔리전스가 BMW 그룹과 협력해 거대언어모델(LLM)의 기업별 맞춤형 정책 준수 여부를 평가하는 프레임워크 '콤파스(COMPASS)'를 공동 개발했다고 10일 밝혔다.
에임인텔리전스는 생성형 AI와 LLM을 비롯해 이미지·음성·로봇 AI까지, AI가 규정을 어기거나 위험한 일을 하지 않도록 막고 취약점을 점검하는 AI 보안 솔루션을 제공하고 있다. 특히 AI 모델이 기업의 정책과 의도를 벗어나도록 유도하고 이를 검증 및 차단하는 기술을 보유하고 있다.
이번에 선보인 콤파스는 LLM이 기업별 특정 정책을 얼마나 잘 준수하는지 체계적으로 평가하는 프레임워크다. 최근 의료·금융·자동차 등 전 산업에서 LLM 도입이 가속화되고 있지만, 기업 내부의 복잡한 운영 지침이나 법적 제약 사항을 AI가 정확히 따르는지에 대한 객관적 지표는 부족한 실정이다.
이번 연구는 기존의 표준 안전성 테스트를 통과한 AI 모델이라도 실제 기업 현장 상황에 따라 달라지는 복잡한 규칙을 적용 시 금지된 규칙을 제대로 따르지 않는 '사각지대'를 발견했다. 또 이러한 문제점을 해결하기 위해 해석이 불분명한 조항이나 상충하는 규칙 등을 찾아내 해결하는 등 4가지 검증단계를 통해 오작동 비율을 현격히 줄여나갈 방침이다.
특히 최근 LLM 도입이 빠르게 확산되고 있는 자동차·금융·의료·교육 등 8개 핵심 산업에서 발생할 수 있는 시나리오를 바탕으로 6000여 개의 질의 데이터를 생성해 검증의 신뢰도를 높였다.
이번 프로젝트에는 에임인텔리전스와 BMW 그룹을 중심으로 서울대학교·연세대학교·포항공과대학교(POSTECH) 연구진이 공동 참여했다.
유상윤 에임인텔리전스 대표는 "일반적인 관점에만 초점을 맞추는 AI 안전 테스트와 달리, 콤파스는 실무적 관점에서 모든 규칙이 제대로 지켜지도록 신뢰성을 높인 것이 특징"이라며 "앞으로도 기업과 공공기관이 AI를 보다 안심하고 활용할 수 있는 현실적인 AI 보안 적용 방안을 선보일 것"이라고 말했다.
