내달 1000명에 이르는 국민들이 직접 국내 대표 AI(인공지능) 모델의 취약점과 잠재적 위험이 없는지 샅샅이 훑어보는 공개 챌린지 대회가 열린다.

과학기술정보통신부는 내달 11일부터 이틀간 서울 삼성동 코엑스 B2홀에서 TTA(한국정보통신기술협회)와 함께 '생성형 AI 레드팀 챌린지'에 참가할 국민 1000명을 모집한다며 21일 이같이 밝혔다.

챌린지 참가 희망자는 내달 10일까지 행사 홈페이지를 통해 참가 신청을 하면 된다. 1000명이 그 전에 모집되면 신청은 조기에 마감될 수 있다. 이번 대회를 통해 AI 모델의 취약점과 위험을 가장 많이 발견한 5명의 우수 참가자는 과기정통부장관상을 포함해 총 1400만원에 이르는 상금을 받을 수 있다.

AI 레드팀은 통제된 환경에서 적대적 방법을 사용해 AI 시스템의 유해성, 편향성, 시스템 오용 등 결함과 취약점을 식별하기 위한 구조화된 테스트 활동을 의미한다. 오픈AI, 구글, 네이버클라우드 등 국내외 AI 기업들도 자체 AI 레드팀을 구성해 운영하는 등 AI 기업이 AI의 안전성과 신뢰성을 확보할 수 있는 방법으로 활용 중이기도 하다.

이번 대회에는 네이버클라우드, SK텔레콤, 셀렉트스타, 업스테이지, 포티투마루, 코히어(Cohere), 스태빌리티AI(Stability AI), xAI, 프론티어모델 포럼 등 국내외 대표 AI 기업과 기관이 참여한다. 행사 참가 대상은 AI 윤리와 신뢰, 안전에 관심이 있는 국민이라면 누구나 참여할 수 있다. 1000명을 사전 접수를 통해 선발할 에정이다.

행사 1일차에 열리는 '레드팀 챌린지'는 네이버클라우드, SK텔레콤, 업스테이지, 포티투마루 등 국내 대표 AI 기업의 모델 4종을 대상으로 1000명의 참가자가 공개 챌린지 방식으로 잠재 위험과 취약점을 식별할 예정이다. 분석 대상 AI 모델은 추후 늘어날 수도 있다.

2일차에는 코히어의 아이단 고메즈(Aidan Gomez) 대표, 스태빌리티AI의 에마드 모스타크(Emad Mostaque) 대표, 프론티어모델의 크리스 메서롤(Chris Meserole) 의장, xAI의 댄 핸드릭스(Dan Hendrycks) 안전 담당 고문, 하정우 네이버클라우드 퓨쳐AI 센터장, 에릭 데이비스(Eric Davis) SK텔레콤 부사장, 김세엽 셀렉트스타 대표, 김경훈 카카오 이사, 오혜연 카이스트 교수 등 국내외 대표 AI 기업과 기관, 전문가가 참여하는 '글로벌 AI 안전 컨퍼런스'가 열린다.

과기정통부는 이번 레드팀 챌린지 결과를 분석해 생성형 AI 분야의 공통·포괄적 위험을 도출하고 업계에서 활용할 수 있는 생성형 AI 레드팀 수행가이드라인을 마련하는 등 표준화된 AI위험 발굴·대응체계를 구축한다는 방침이다.

강도현 과기정통부 2차관은 "이번 레드팀 챌린지 행사를 계기로 국내 산업계에 AI 안전성 확보를 위한 자발적 노력이 확산되고 AI를 활용하는 일반 국민도 AI 윤리의 중요성에 대한 인식이 확대되기를 기대한다"며 "국내외 AI 대표기업과 국민이 AI 안전성 확보를 위해 대규모로 참여하는 만큼 이번 행사가 글로벌 차원에서도 AI 안전성 확보의 모범 사례가 될 수 있기를 바란다"고 했다.

또 "5월에 우리나라에서 AI안전성 정상회의를 개최해 AI안전성과 혁신에 대한 글로벌 논의를 주도하고 국내 AI 혁신 생태계를 조성해 나갈 것"이라고 했다.