[스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]
'CAGE' 논문에 참여한 셀렉트스타 연구팀(왼쪽부터 임용택 연구원, 김민우 AI Safety 팀장)/사진=셀렉트스타
인공지능(AI) 데이터·신뢰성 평가 전문기업 셀렉트스타가 자체 개발한 AI 안전성 검증 기술로 세계 최고 권위 학회에서 연구 성과를 인정받았다.
셀렉트스타는 내부 AI 세이프티(Safety)팀의 논문 'CAGE: 문화 맞춤형 레드티밍 벤치마크 생성 프레임워크'가 오는 4월 브라질에서 열리는 국제학회 ICLR 2026 메인 콘퍼런스에 채택됐다고 19일 밝혔다.
ICLR은 AI·머신러닝 분야에서 가장 영향력 있는 학회 중 하나로 꼽힌다. 올해는 약 1만9000편의 논문 가운데 상위 28%만 채택됐으며, 셀렉트스타 논문은 그중에서도 핵심 발표가 이뤄지는 메인 트랙에 선정됐다.
회사 측은 "이번 연구는 외부 대학이나 연구기관의 도움 없이 회사 내부 연구진만으로 수행됐다는 점에서도 의미가 크다"고 설명했다.
이번 연구의 핵심은 각 나라의 문화와 법적 환경을 반영해 AI 안전성을 점검하는 시험문제를 자동으로 생성하는 기술이다.
AI 안전성 검증에서는 AI가 위험하거나 부적절한 질문을 받았을 때 얼마나 안전하게 대응하는지를 확인하는 '레드티밍(Red-Teaming)' 과정이 중요하다. 그러나 기존에는 주로 영미권에서 제작된 데이터셋을 번역해 사용하는 방식이어서, 각 국가의 실제 위험 상황을 충분히 반영하지 못한다는 한계가 있었다.
셀렉트스타 연구팀은 이를 해결하기 위해 '시맨틱 몰드(Semantic Mold)' 개념을 도입해 국가별 문화 특성을 반영한 공격 질문을 자동 생성했다. 그 결과 CAGE가 만든 시험문제는 사람이 직접 작성한 것과 유사한 자연스러움을 보였으며, AI의 숨겨진 취약점을 찾아내는 공격 성공률 측면에서도 높은 성능을 나타냈다. 또한 캄보디아어(크메르어)처럼 데이터가 부족한 언어 환경에서도 우수한 성능을 확인했다.
연구팀은 CAGE를 한국 환경에 적용해 한국형 안전성 평가 벤치마크 'KoRSET'도 함께 공개했다. KoRSET은 단순 번역 기반 데이터셋보다 AI 모델의 취약점을 훨씬 효과적으로 찾아내며, 한국 문화 기반 안전성 검증에 최적화된 성능을 입증했다.
CAGE 기술은 학술적 성과에 그치지 않고 이미 국내 주요 대기업 AI 프로젝트에 적용되고 있다. 이를 통해 AI 모델의 취약점을 사전에 점검하고 운영 효율을 높이는 효과도 확인됐다.
논문 교신저자인 김민우 AI Safety 팀장은 "이번 ICLR 채택은 셀렉트스타가 단순 데이터 구축 기업을 넘어 원천 기술을 보유한 AI 기술 기업임을 입증한 사례"라며 "CAGE는 실제 산업 현장에서 AI 취약점 점검과 운영 효율 개선에 활용되고 있다"고 말했다.
공동저자인 임용택 연구원은 "AI 경쟁이 성능 중심에서 안전성 중심으로 이동하고 있다"며 "현장에서 바로 활용 가능한 안전 평가 기술로 글로벌 기준 형성에 기여하겠다"고 밝혔다.
셀렉트스타는 이번 연구 성과를 바탕으로 금융·공공 등 높은 안전성이 요구되는 산업 분야로 신뢰성 평가 솔루션을 확대할 계획이다. 해당 논문은 오는 3월 오픈소스 플랫폼 아카이브(arXiv)를 통해 공개될 예정이다.
