유니콘팩토리

청소년의 생성형 AI(인공지능) 활용률이 높아지면서 윤리 교육의 필요성이 제기되고 있다. 전문가들은 오늘날 디지털 네이티브가 향후 'AI 네이티브'로 성장할 가능성이 높은 만큼 비판적 사고와 책임 의식을 높이는 교육으로 AI 사이버폭력 심화에 대응해야 한다고 제언한다. 한국청소년정책연구원이 발표한 '청소년의 생성형 AI 이용 실태 및 리터러시 증진방안 연구'에 따르면 총 5778명을 대상으로 설문조사한 결과 67.9%가 생성형 AI를 사용한 적 있다고 답했다. 챗GPT 사용 빈도가 가장 높았고 빙, 뤼튼, 클로바엑스가 그 뒤를 이었다. 생성형 AI를 쓰게 된 계기는 '관심과 호기심'(43.7%)이 압도적이었다. 다만 생성형 AI에 대한 높은 관심, 활용률과는 대조적으로 관련 교육은 많이 받지 않은 것으로 나타났다. 생성형 AI 관련 교육 경험을 4점 척도(전혀 받아본 적 없다 1점~자주 받았다 4점)로 측정한 항목 모두 중앙값(2.5점, 최소값 1점과 최대값 4점을 더해 2로 나눈

# 지난해 11월 미 펜실베이니아주 랭커스터 카운티의 한 사립학교가 AI가 만든 딥페이크 음란물 논란으로 셧다운됐다. 학부모의 요구로 교장이 사퇴하는 등 혼란이 이어지자 하루 동안 모든 수업을 중단키로 한 것이다. 남학생 2명이 약 60명의 여학생을 대상으로 500장의 딥페이크 음란물을 만들어 유포한 게 발단이 됐다. 두 가해 학생은 SNS(소셜네트워크서비스)에서 여학생들의 사진을 확보해 AI 애플리케이션으로 나체 이미지를 만들었다. 이들은 다량의 이미지를 생성하기 위해 여러 개의 이메일 주소를 만들고, 폐쇄형 SNS인 디스코드 비공개 채팅방에서 위변조된 사진과 동영상을 주고받았다. 이를 계기로 주 정부는 법을 개정해 AI로 만든 아동 성범죄물 소지·유포를 중범죄로 규정했다. 헤더 애덤스 랭커스터 카운티 지방검찰청 검사는 "이번 사건에 연루된 피해자 수는 우려스러운 수준"이라며 "이들의 트라우마는 상상할 수 없을 정도"라고 우려했다. 이어 "(AI를 활용한 딥페이크라는) 범죄 수법은

메타가 AI(인공지능)로 음란 딥페이크를 만드는 앱(애플리케이션)에 대한 법적 조치에 나선다. 12일(현지 시각) 영국 BBC 등에 따르면 메타는 AI를 사용해 가짜 누드 사진을 만드는 소위 '누드화(nudify) 앱' 회사를 상대로 소송을 제기했다. 이 회사는 메타가 관리하는 SNS(소셜네트워크서비스) 플랫폼에 앱 홍보를 위한 광고를 게재해 왔다. 페이스북에만 누드화 앱 광고가 최소 1만여개 게시된 것으로 알려졌다. "메타의 관리 부실"이라는 책임론이 거세지자 메타도 행동에 나섰다. 해당 AI 앱을 상대로 소송을 제기해 광고 게재를 전면 중단하는 한편, 이미 게재된 광고는 수달에 걸쳐 순차적으로 삭제했다. 이어 12일 자사 블로그를 통해 "이번 법적 조치는 메타가 성적 학대를 심각하게 받아들이며, 커뮤니티를 보호하기 위해 할 수 있는 모든 일을 하겠다는 약속"이라고 했다. 다만 미국 코넬대 '온라인 보안·신뢰·안전 이니셔티브'(SETS) 연구소의 알렉시오스 만차를리스 소장은 BBC에 "메타가 법적 조치를 발표하는 순간에도 메타 플랫폼에 음란물 딥페이크 광고가 100건 이상 올라오고 있다"며 "더 많은 조치가 필요하다"고 했다.

생성형 AI(인공지능)를 악용한 딥페이크가 사회적 이슈로 떠오르자 국회가 관련 법안을 발의하며 대응에 나섰다. 특히 딥페이크가 주로 유통되는 텔레그램 등 플랫폼에 법적 의무를 부과하는 등 규제해야 한다는 목소리가 높아지자 일각에서는 자칫하다간 국내 플랫폼 역차별 문제가 불거질 수 있다는 우려를 제기한다. 12일 IT(정보기술) 업계에 따르면 딥페이크 문제가 터진 이후로 국회에는 관련 법안이 30건 이상 발의됐다. 주로 딥페이크를 편집, 합성, 가공하는 것뿐만 아니라 소지, 구입, 저장, 시청하는 행위에 대해 처벌 규정을 신설하고 상습적인 경우 형을 가중하는 내용이 대부분이다. 가해자에 대한 수사·처벌 강화, 방송통신심의위원회의 역할과 중요성 격상, 허위 영상물 삭제 등 피해자 지원을 위한 내용도 포함됐다. 이에 대해 플랫폼 업계와 학계 등에서는 딥페이크를 규제해야 한다는 점에 공감하지만 자칫 분위기에 휩쓸려 과도한 규제로 이어져선 안 된다고 지적한다. 생성형 AI 등장 이후 하루가

AI(인공지능) 딥페이크 음란물을 만들 수 있는 온라인 사이트와 앱이 넘쳐나면서 청소년 범죄를 조장한다는 비판이 제기된다. 성인 인증을 받거나 이용료를 내지 않아도 딥페이크를 만들 수 있는 만큼, 비전문가와 미성년자 등이 손쉽게 범죄에 가담할 수 있기 때문이다. 29일 구글을 비롯한 주요 검색엔진에서 'AI'와 음란물을 연상시키는 단어를 합성해 검색하면, 수십개 이상의 앱과 웹사이트가 노출된다. 대부분 해외에 서버를 둔 것으로 추정되는 이런 서비스들은 성인 여부를 묻긴 하지만, '맞다'고 클릭하면 별다른 인증 없이 회원 가입을 유도한다. 가입 시 요구는 이메일 인증이 전부고, '생성물에 대한 책임은 이용자에게 있다'는 형식적 경고에 그친다. 일부 사이트는 가입 즉시 딥페이크를 무료로 만들 수 있다고 안내한다. 실제로 기자의 사진을 업로드한 뒤 옷을 제거할 범위를 선택하고, 1분가량 시간이 지나자 누드 사진과 같은 딥페이크가 금세 만들어졌다. 또 다른 사이트에선 게임 캐릭터를 업로드

"덜 유명하고 님들이 안 써봤을 '딥페이크봇', 좋아요 누르면 더 올려드림." 28일 SNS(소셜미디어) 엑스와 미국 온라인 커뮤니티 레딧 등에서 '딥페이크 봇'을 검색한 결과 불과 1분만에 텔레그램 채팅방으로 연결되는 링크가 20여개 나타났다. 텔레그램으로 연결되는 도메인에는 'Braundress'(속옷 벗기기) 'Fakenude'(가짜 나체) 'Unclothy'(헐벗은) 등 표현이 담겼다. 딥페이크봇은 사진 한 장을 넣으면 딥페이크 기술로 음란물을 자동 생성하는 텔레그램 AI 봇이다. 다수 SNS 이용자들은 해당 링크를 공유하며 '무료 체험'을 하고 있었다. 상당수 봇이 사진 1장까지 무료로 제작해주고 이후 유료로 전환해 수익을 낸다. 텔레그램에 재가입하는 방법과 재가입 대기시간이 길어질 경우 가상 전화번호를 생성하는 방법 등도 공유된다. ━딥페이크봇 "남성 사진은 보내지마라"━ 딥페이크봇은 '1대 1 대화방'처럼 운영됐다. 대체로 입장과 동시에 '사용자 동의서'를 보여주고 동

AI(인공지능)를 악용한 딥페이크 성범죄가 확산하는 가운데 국내외 플랫폼 업계의 대응이 분주하다. 네이버·카카오 등 국내 플랫폼 기업들은 정부의 강경 대응 기조에 부응해 신고 채널을 개설하며 피해 확산 방지에 나섰고, 글로벌 빅테크도 딥페이크 콘텐츠 방지 기술을 개발하는 등 적극 대응하고 있다. 29일 IT(정보기술) 업계에 따르면 네이버(NAVER)와 카카오는 딥페이크 영상물이나 이미지 등 콘텐츠를 신고할 수 있는 신고 채널을 개설했다. 네이버와 카카오는 단순히 타인의 콘텐츠를 게시하거나 유통한 경우에도 문제가 될 수 있다고 경고했다. 그러면서 본인을 포함한 특정인의 초상과 성적 이미지의 합성 제작을 제안·요청하는 경우에도 신고해달라고 당부했다. 국내 플랫폼 업계는 지난 4월 제22대 국회의원선거를 앞두고 딥페이크를 악용한 가짜뉴스가 판치면서 본격적으로 대응을 시작했다. 과학기술정보통신부와 방송통신위원회 등 관계 부처가 대응에 나섰고 한국인터넷기업협회는 '악의적 선거 딥페이크 사용

전 세계에서 제작되는 딥페이크 음란물 피해자의 99%는 여성이며, 과반은 한국인이라는 조사 결과가 나왔다. 또 전세계에서 딥페이크 음란물 피해를 가장 많이 입은 상위 10명의 인물 중 8명이 한국 가수였다. 29일 사이버보안업체 '시큐리티히어로(securityhero)' 가 공개한 보고서에 따르면, 지난해 온라인 딥페이크 영상 수는 9만5820건으로 2019년 대비 550% 증가했다. 또 전체 딥페이크 동영상 중 음란물의 비중은 98%에 달했고, 딥페이크 음란물에 활용된 사람의 99%는 여성이었다. 특히 한국의 여성 연예인은 딥페이크 음란물의 주된 표적이 되는 것으로 조사됐다. 딥페이크 음란물 피해자의 국적은 한국이 53%로 압도적이었다. 미국이 20%, 일본은 10%였고 영국(6%), 중국(3%), 인도와 대만(이상 2%), 이스라엘(1%) 순이었다. 전세계 딥페이크 음란물 영상에 등장하는 인물 중 95%는 엔터테인먼트 업계에서 일하고 있었으며, 구체적으로는 가수(58%), 여배

서울시가 지자체 중 최초로 방송통신심의위원회와 함께 확산하고 있는 딥페이크 성범죄 피해에 신속 대응하기 위해 불법 영상물이 공개사이트에 유포될 경우 24시간 내에 삭제·차단할 수 있는 '핫라인 시스템'을 구축한다. 오세훈 서울시장과 류희림 방송통신심의위원장은 29일 오후 서울시청에서 긴급 회동하고 딥페이크 영상물을 신속 삭제하는 핫라인 구축 협약을 체결했다. 최근 생성형 AI(인공지능)를 활용해 음란 영상과 무관한 인물의 얼굴을 합성하는 '딥페이크'(deepfake)가 빠르게 퍼지면서 범죄 피해를 막기 위한 신속 대응이 필요하다는 판단에 따른 것이다. 서울시와 방심위는 텔레그램 등 폐쇄형 SNS에 있는 딥페이크 불법 영상물이 성인사이트나 SNS 등 공개사이트에 유포될 경우 24시간 내에 모니터링하고 삭제·차단 조치할 계획이다. 지금은 서울시가 운영하는 디지털성범죄안심지원센터에서 방심위에 삭제를 요청하면 각종 증빙 자료를 제출해야 한다. 30일부터는 핫라인 시스템과 연계해 대량 건수를

한국의 '딥페이크 사태'를 바라보는 중국의 시선에도 깊은 우려가 읽힌다. 중국 내에서도 딥페이크 관련 범죄가 확산 조짐을 보이고 있어서다. 이미 딥페이크용 AI(인공지능) 기술을 가르치고 완성된 범죄 결과물들을 판매해 수익을 내는 산업체인이 형성돼 있다는 충격적 분석도 나온다. 28일 중국 언론들은 일제히 "딥페이크 범죄가 한국 사회를 패닉에 빠트렸다"고 타전했다. 중국 관영 환구시보는 "불특정 다수를 겨냥한 딥페이크 이미지가 한국 소셜미디어를 통해 급속도로 확산하고 있으며 피해자와 가해자가 대부분 10대"라고 전했고, 중국경제망은 "심각한 딥페이크 범죄로 한국에서 100개 이상의 학교가 피해에 노출됐다"고 보도했다. 교육부 등에 따르면 올 들어 한국에서 접수된 학생과 교사의 딥페이크 피해 건수는 무려 196건에 달하는 것으로 조사됐다. 이 중 179건에 대해 수사가 의뢰된 상태다. 윤석열 대통령이 이에 따른 디지털 성범죄를 뿌리뽑아달라고 직접 언급한 가운데 경찰청 국가수사본부가 7