코로나19 감염 여부를 알려주는 AI(인공지능)도, 피부암을 진단하는 AI도 터무니없는 진단을 내놓을 수 있다. '설명 가능한 AI' 분야의 세계적 석학 이수인 미국 워싱턴대 컴퓨터과학·공학과 교수는 "AI의 실수까지도 검증할 수 있는 '설명 가능한 AI'가 필요한 때"라고 강조했다.

이 교수는 9일 서울 역삼동에서 열린 '2025 세계 한인 과학기술인 대회'의 첫 기조강연자로 나서 이처럼 말했다. 이 교수는 '설명 가능한 AI의 개척자'로 불리는 세계적 연구자다. 이같은 공로를 인정받아 지난해 여성 공학자 최초로 삼성호암상을 거머쥐었다.

설명 가능한 AI(Explainable AI·이하 XAI)는 사용자가 던진 질문에 답을 내놓는 기존 AI를 넘어 답을 도출한 과정과 논리적 근거까지 설명하는 AI 모델이다. 이를 통해 사용자는 AI가 내놓은 답을 더 신뢰할 수 있다. 무엇보다 AI의 고질적인 문제로 꼽히는 '할루시네이션(환각)'을 보완할 수단이기도 하다. 할루시네이션은 AI가 실재하지 않거나 거짓된 정보를 사용자에게 알려주는 현상을 말한다.

KAIST(카이스트)에서 학부를 졸업하고 미국으로 건너간 이 교수는 스탠퍼드대 재학 시절부터 바이오와 접목한 AI를 연구했다. 그 과정에서 '답만 내놓는' AI 모델의 명확한 한계를 실감했다. AI가 어떤 데이터를 근거로, 어떠한 논리적 사고를 거쳐 답에 이르렀는지 모르는 상태에선 AI가 내놓은 답변을 검증하고 개선할 길이 없었기 때문이다.

이 교수는 "XAI는 'AI도 실수할 수 있다'는 전제에서 시작한다. AI가 저지른 실수는 때때로 치명적인 결과를 일으킬 수 있기에 그 추론 과정을 낱낱이 밝히는 게 중요하고, 이것이 XAI의 접근 방식"이라고 했다.

실제 이 교수 연구팀이 XAI 방법론을 통해 코로나19 팬데믹 이후 세계 각지에서 쏟아진 바이러스 감염 진단 AI 모델들을 검증한 결과, 연구용 모델과 상용 모델 모두 진단 정확도가 낮은 편이었다. 코로나19에 감염된 상태가 아닌데도 감염됐다고 하거나, 감염됐음에도 이를 발견하지 못했다. 또 다른 연구인 피부암 진단 AI 검증 실험에서도 마찬가지였다. 단순한 점을 종양으로 판단하거나 종양을 점으로 인식하는 등의 오류를 일으켰다.

이 교수는 "XAI는 AI의 판단에 영향을 미치는 여러 요소를 분석해 왜 이런 판단을 내렸는지 알려준다"고 했다. 이 교수가 개발한 XAI의 기본 방법론인 'SHAP'은 AI가 판단을 내릴 때 핵심 근거로 활용한 데이터가 무엇인지 알려준다. 연구자는 해당 데이터를 수정하거나 필요한 데이터를 추가하는 방식으로 AI의 오류를 개선할 수 있다.

이 교수는 "AI는 훌륭한 도구이고, AI가 기여할 수 있는 부분이 있다면 무조건 AI를 써야 한다고 생각한다"면서 "다만 단순히 AI를 통해 답을 찾는 단계에서 나아가, '내가 쓰는 AI는 얼마나 정확할까'라는 질문에 대해 끊임없이 생각해 봐야 할 때"라고 했다.