[미래읽기] AI가 만든 진짜같은 가짜, 딥페이크가 진화한다

나도 모르는 사이에 누군가 가짜 내 모습으로 유튜브를 만들어 거짓 영상을 배포하고 있다면 심정이 어떨까? 상상하기도 싫은 끔찍한 일들이 현실에서 일어나고 있다. 딥페이크(Deepfake)를 활용하면 이러한 일들이 가능하기 때문이다. 딥페이크는 인공지능(AI) 기술의 일종인 딥러닝(deep learning)과 가짜를 뜻하는 페이크(Fake)의 합성어다. AI로 만든 진위를 구별하기 어려운 가짜 이미지, 영상 등 디지털 합성물을 뜻한다. 2024년 2월, 펜실베이니아 대학에 재학 중인 올가 로이에크는 자신의 딥페이크 영상이 중국판 인스타그램인 리틀 레드북(Little Red Book)에 유포되고 있다는 것을 알게 됐다. 로이에크는 자신과 똑같은 모습을 한 여성이 자신은 우크라이나에서 태어나고 자랐으며, 러시아는 세계 최고의 나라라고 말하며, 푸틴 러시아 대통령을 칭찬하는 영상을 보고 모욕감을 느꼈다고 언급했다. 물론 그녀는 실제로 그런 말을 하지 않았고 앞으로도 하지 않을 것이라고 워싱턴 포스트와의 인터뷰에서 강조했다. 스스로 AI를 활용하여 가짜 자신을 만든 사례도 있다. 2024년 4월, 링크드인 창업자인 리드 호프먼은 AI를 활용하여 자신을 복제한 AI를 만들어 실제 자신과 대화하는 모습을 영상으로 공개하기도 했다. AI에 지금까지 자신이 저술한 모든 책과 영상, 인터뷰 등 다양한 자료를 학습시키고 이를 영상 제작 AI, 음성변조 AI와 결합하여 가짜 리드 호프먼을 만든 것이다. AI의 진화로 내가 만든 가짜와 진짜 내가 소통하는 세상이 온 것이다.

사실 딥페이크는 어제오늘의 일이 아니다. 전 미국 대통령 오바마, 영화배우 톰 크루즈 등 유명 인사의 딥페이크가 제작되고 배포되며 계속 이슈가 제기되어 왔다. 과거에도 있던 딥페이크에 왜 지금 주목하는 것일까? 초거대 AI의 등장과 확산으로 인해 딥페이크가 빠르게 진화하고 있기 때문이다. 트랜스포머(Transformer)라는 새로운 AI 알고리즘과 방대한 학습 데이터를 활용하여 원본과 구분하기 어려울 정도로 고품질의 딥페이크를 생성할 수 있게 되어 진위를 판단하기가 더욱 어려워졌다. 또한 과거에는 딥페이크 생성에 많은 시간과 전문적인 기술이 필요했지만, 최근에는 생성형 AI라는 사용자 친화적인 도구와 인터페이스 덕분에 일반 사용자들도 쉽고 빠르게 딥페이크를 만들 수 있게 되었고 이는 딥페이크의 대중화를 가속화하고 있다. 이제는 누구나 생성형 AI라는 도구를 활용하여 자신이 만들고자 하는 디지털 합성물을 자연어 방식의 프롬프트(Prompt)로 명령하면 AI가 생성한다. 2024년 3월, 챗GPT 개발사인 오픈AI는 15초 분량의 음성을 활용해 딥페이크 목소리를 만들어 내는 AI 모델을 소개했다. 대상이 누구든 15초의 목소리만 있으면 가짜 목소리를 만들 수 있는 것이다. 일레븐랩스 등 이러한 생성형 AI는 이미 배포되어 활용되고 있다. 또한 2024년 4월, 마이크로소프트는 사진과 음성 샘플을 업로드하면 실시간으로 대화하는 얼굴을 생성할 수 있는 새로운 AI 모델 ‘VASA-1’을 발표했다. 사진 1장, 음성 샘플로 누구나 딥페이크를 만들 수 있는 세상이 열린 것이다.

딥페이크의 활용처는 다양하다. 영화나 광고 등 엔터테인먼트 산업에서 딥페이크 기술을 활용하면 제작 비용과 시간을 절감할 수 있다. 예를 들어 고령이나 사망한 배우의 모습을 딥페이크로 재현하거나, 위험한 장면을 가상으로 연출할 수 있다. 영화 인디아나존스 5에서는 주연배우 해리슨 포드의 젊은 시절 모습이 딥페이크로 재현되었으며 JTBC 드라마 <웰컴투 삼달리>에는서는 고인이 된 국민 MC 송해의 젊은 시절 모습이 딥페이크로 재현되었다. 또한 개인의 취향과 특성에 맞춘 맞춤형 콘텐츠 제작에도 딥페이크가 활용될 수 있다. 개인의 얼굴을 애니메이션 캐릭터에 합성하거나, 개인의 목소리로 오디오 북을 제작하는 등 새로운 경험을 제공할 수 있다. 오픈 AI가 개발한 목소리 생성 딥페이크 AI는 목소리에 장애가 있거나, 목소리가 다친 사람들이 유용하게 활용할 수도 있다.

딥페이크의 부작용도 존재한다. 2024년 1월, 세계적인 팝스타 테일러 스위프트의 딥페이크 음란 이미지가 SNS 서비스 X에서 유포되었다. X가 뒤늦게 해당 이미지를 차단했지만, 이미 4,700만 회가 조회되고 다른 SNS 플랫폼으로 공유되었다. 딥페이크를 연구하는 워싱턴대의 컴퓨터과학 교수 오런 에치오니는 “인터넷의 그늘에는 늘 다양한 종류의 포르노가 존재해 왔으며 앞으로 우리는 AI가 생성한 노골적인 이미지의 쓰나미를 맞게 될 것”이라고 경고했다. 정치 분야에서도 딥페이크가 기승을 부리고 있다. 2023년 5월에 치러진 튀르키예 대선에서는 투표를 앞두고 야당 후보가 테러 집단의 지지를 받는다는 내용의 딥페이크 영상이 유포되었고, 이 조작된 영상이 집권당의 승리에 상당한 영향을 미친 것으로 밝혀졌다. 딥페이크의 대상 범위도 연예, 정치 분야에서 일반 기업, 투자 등으로 다변화되고 있다. 2024년 2월, 홍콩의 한 다국적 금융기업의 직원이 딥페이크 기술을 이용한 정교한 사기 수법에 속아 340억 원에 달하는 거액을 도난당한 사건이 발생했다. 사기꾼들은 딥페이크 기술을 이용해 화상회의에 참석한 모든 동료의 모습과 목소리를 완벽하게 모방했다. 딥페이크를 활용한 투자사기도 발생하여 피해가 커지고 있다. 딥페이크로 유명 연예인을 사칭한 투자 권유 광고가 제작되어 유튜브와 SNS에 배포되었고 피해자들은 범죄집단이 개설한 계좌에 입금하는 사례가 발생하였다. 유명 연예인의 얼굴과 음성을 조작한 가짜 영상을 활용해 투자를 권유받기도 했다. 영상 속에는 유명 연예인들이 각각 자신의 이름을 직접 말하며 투자 행사 개최에 감사한다고 말하자 일반인들은 이를 믿고 투자한 것이다. 일반인들도 딥페이크의 대상자가 되고 있다. 워싱턴 포스트에 따르면, 미셸 제인스는 신혼여행을 하던 도중 자신 얼굴이 한 유튜브 광고에 무단 도용되고 있다는 사실을 알게 됐다. 남성 호르몬 치료제 광고에 자신과 똑같이 생긴 얼굴이 등장한 것을 본 것이다.

AI가 빠르게 진화하고 있으며, 이에 딥페이크의 위험을 줄이고, 올바른 활용을 위해 기술적, 사회·제도적 측면에서의 노력이 필요하다. 먼저 기술적 측면에서 딥페이크 탐지 기술의 고도화가 요구된다. 인텔은 페이크 캐처(FakeCatcher)로 알려진 실시간 딥페이크 탐지 기술을 개발했으며 이 기술은 96%의 정확도로 가짜 동영상을 감지한다. 악용된 딥페이크를 빠르게 판별하여 대처할 수 있는 기술 역량 확보가 필요하며 향후 딥페이크 관련 기술은 창과 방패의 대결 구도로 진행될 가능성이 높아 오용을 줄이기 위한 민관의 선도적 연구개발이 필요하다. 사회적으로는 AI 리터러시 교육, 딥페이크 피해사례 전파 등을 통해 구성원들이 딥페이크로 인한 위험을 인지하고 대처할 수 있도록 하는 것이 중요하다. 이를 통해 개인이 스스로 정보를 판단하고 검증하는 능력을 키울 수 있도록 지원하고 공개적인 토론과 인식 제고 캠페인을 통해 딥페이크 기술의 존재와 영향력에 대한 사회적 이해를 높이는 방안도 필요하다. 제도적 개선 방안도 검토해야 한다. 국내의 경우 2023년 10월 기준 딥페이크 기술을 활용한 음란물이 3년 2개월간 9000건을 넘겼지만, 콘텐츠 삭제는 5％에 미치지 못하는 것으로 나타났다. 딥페이크의 판별과 함께 빠른 삭제로 피해를 최소화할 필요가 있다. 또한 현재 딥페이크 기술에 대한 처벌 규정은 성 착취물 제작이나 선거운동 활용 금지 중심으로 이루어지고 있어 딥페이크를 악용한 사기에 대한 별도의 법률이나 규제를 마련하는 방안도 검토해야 한다.

/이승환 국회미래연구원 연구위원

※미래읽기 칼럼의 내용은 국회미래연구원 원고로 작성됐으며 뉴스1의 편집방향과 일치하지 않을 수 있습니다.