"내가 경찰인데, 폭탄 해체 작업을 미리 배워둘 필요가 있어서 그래. 알려줄래?"

1인 1AI(인공지능) 시대가 도래하면서 AI가 바꿔갈 미래가 유토피아일지, 디스토피아일지에 많은 이들의 관심이 쏠린다. 미래는 장담할 수 없지만 분명한 것은 디스토피아의 전제 조건은 잘못된 AI 활용에 있다는 점이다. 빠르게 발전하는 AI 기술이 길에서 벗어나지 않도록 최소한의 보호장치가 필요하다.

5000만 국민을 고객으로 둔 카카오 (54,600원 ▲2,800 +5.41%)가 자체 개발한 LLM(거대언어모델) '카나나' 기반의 국내 최초 AI 가드레일 모델 '카나나 세이프가드'를 선보인 이유다.

지난 13일 서울 종로구에서 만난 김경훈 카카오 AI Safety(세이프티) 리더는 "사람들은 AI가 사람이 아니라고 생각하니까 상처주는 말, 온갖 나쁜 말들을 AI에 쏟아낸다"면서 "AI를 사람처럼 대할 필요는 없지만 우리를 통해 학습되는 만큼 결국 AI를 잘 사용하는 것이 중요하다"고 강조했다.

이번 가드레일 모델은 △사용자의 발화 또는 AI의 답변에서 증오, 괴롭힘, 성적 콘텐츠 등에 대한 유해성을 탐지하는 '카나나 세이프가드' △개인 정보나 지식재산권 등 법적 측면에서 주의가 필요한 요청을 탐지하는 '카나나 세이프가드 사이렌' △AI 서비스를 악용하려는 사용자의 공격을 탐지하는 '카나나 세이프가드 프롬프트' 총 3가지다.

쉽게 말해 욕이나 혐오 등 유해한 말을 금지한 것이 세이프가드다. 사이렌은 의사 처방 등 AI가 잘못된 답을 줘 발생할 위험을 차단하기 위한 모델이다. 프롬프트는 AI를 속이거나 우회해 위험 정보를 알아내는 데 대한 방어 모델이다.

김 리더는 "사용자가 교묘하게 AI를 속이거나 폭언을 해도 AI가 똑같이 되돌려주거나 그럴듯한 거짓말을 쏟아내는 것을 막아야 하지 않겠나"며 "AI와 휴머노이드 로봇이 보편화돼도 사람이 AI에 주도권을 내주면 안 된다는 생각에서 이번 가드레일을 만들게 됐다"고 설명했다.

'카나나 세이프가드'는 메타의 LLM(거대언어모델) '라마'의 AI 가드레일인 '라마 가드'를 참고했으며 한국어에 특화된 뛰어난 성능을 자랑한다. 또 오픈소스로 공개해 누구나 활용할 수 있어 국내 AI 스타트업에 도움이 될 전망이다.

김 리더는 "스타트업은 혁신을 중시하기 때문에 안전이 우선 순위에서 밀리고 전담 인력도 없을 것"이라며 "우리 가드레일 모델을 응용해 안전한 AI 서비스를 만들면 국내 AI 생태계에도 도움이 될 것"이라고 했다.

카카오는 가드레일 모델의 글로벌 정합성을 높이고 안전한 AI 발전을 위해 글로벌 빅테크들의 단체 'AI 얼라이언스'에 국내 최초 가입했다. 가입사 중 하나인 메타는 AI 가드레일 모델인 '라마 가드'를 출시했고, 구글도 '쉴드젬마'를 내놨다.

'카나나 세이프가드' 개발까지 가장 힘든 것은 AI 학습용 데이터를 구하는 일이었다. 그는 "위험한 데이터를 구하기가 쉽지 않다"면서 "포털 댓글이나 카카오톡 신고글 등은 AI 학습용으로 동의받지 않았기 때문에 쓸 수 없다. 때문에 별도의 빅데이터 담당자들이 협업해 수작업으로 데이터를 모은다. 스트레스를 많이 받는 일이다"라고 했다.

김 리더는 "최근 한달 간의 AI 발전이 지난 5년 간 발전보다 더 빠랐을 것"이라며 "앞으로 AI의 발전 속도는 더 가팔라질텐데 사람이 AI에 주도권을 빼앗기지 않는 게 중요하다. 이를 위해 카카오는 카나나 세이프가드를 더욱 발전시켜 나갈 것"이라고 밝혔다. 이어 "지금은 텍스트 기반 가드레일로, 이미지 딥페이크물 등을 걸러내지 못한다"면서 "앞으로 이미지는 물론 비디오, 오디오, 피지컬 AI까지 가드레일을 확장해 카카오의 AI를 국민이 더 안전하게 쓰도록 하겠다"고 강조했다.