토종AI로 탐지하고 검색 제한…네카오 "딥페이크 음란물 멈춰"

(서울=뉴스1) 김민석 기자 = 대학가에 이어 10대 학생들 사이에서도 '딥페이크'(AI 기반 합성 이미지) 음란물 범죄 피해가 잇따르면서 사회적 문제로 떠올랐다. 토종 플랫폼 '네카오'(네이버·카카오)는 자체개발한 인공지능(AI)과 선제적 사전 조치로 철통 방어에 나서고 있다.

네이버는 음란영상과 이미지 노출을 막는 '클로바 그린아이'(AI 기술 기반 음란물 필터링 시스템)로 자사 플랫폼 내 딥페이크 불법 합성물을 실시간으로 탐지해 삭제하고 있다고 28일 밝혔다.

그란아이(Green-eye) 시스템은 이용자가 이미지·동영상 등을 등록하면 실시간으로 음란성 지수를 산출한다. 이에 따라 선정적인 이미지·동영상으로 판단 시 네이버 이용약관·운영정책에 따라 즉시 삭제 조치한다.

네이버는 2017년 클로바 그린아이 시스템을 자체 개발했다. 플랫폼이 축적한 약 400만 장의 이미지를 형태별로 분류한 후 AI 학습을 시킨 시스템으로 도입 당시 판별(필터링) 적중률은 98.1%를 기록했다.

회사는 적중률을 높이고자 네이버AI 랩과 클로바가 진행한 선행 이미지 인식 기술 연구 결과를 활용해 2021년 '그린아이 2.0'을 도입했다.

그린아이 2.0은 기존 2가지 구분(정상 또는 음란)에서 4가지 등급(정상·음란·성인·선정)으로 확대하고 적중률도 99.5%로 높였다.

네이버 관계자는 "실시간으로 차단한 음란성 콘텐츠는 관련 담당자들이 다시 확인하는 절차를 통해 AI 학습 데이터를 추가하고 있다"며 "이를 통해 판단 정확도를 계속 높이고 있다"고 말했다.

네이버는 2022년부터 다른 기업들도 AI 기술을 활용해 유해 콘텐츠를 차단할 수 있도록 네이버 클라우드 플랫폼을 통해 클로바 그린아이 서비스(유료)를 제공하고 있다.

카카오(035720)도 불법합성물이 퍼지는 것을 막기 위해 청소년 보호 검색어 지정·모니터링 강화·제재 정책 등 사전적 조치에 나서고 있다.

카카오는 올해 1월 한국인터넷자율정책기구(KISO)와 협의해 다음 검색에 딥페이크 관련 검색어를 청소년보호 검색어로 지정했다.

카카오톡은 페이크 시그널을 도입해 허위조작정보에 따른 사기사칭 피해에 이용자들이 주의를 기울일 수 있도록 경고 메시지를 전달하고 있다. 페이크 시그널은 회사 '안티어뷰징 시스템'에 AI(인공지능)·머신러닝 기술을 결합했다. 카카오톡 프로필 정보와 계정·사용 이력 등을 분석해 사칭 가능성을 지닌 프로필을 자동으로 탐지한다.

카카오톡 오픈채팅과 포털사이트 다음, 카카오 내 공개 게시판 서비스 등은 딥페이크 유통을 감시하는 모니터링을 실시하고 있다. 불법합성물 배포·제공 행위 적발 시 카카오톡 전체 서비스 이용 영구 제한 정책을 시행 중이다.

토종 플랫폼의 이같은 노력은 각종 범죄를 방치한 텔레그램과 대조된다. 텔레그램 설립자이자 CEO인 파벨 두로프는 범죄 방치 혐의로 이달 25일 프랑스 파리 외곽 르 부르제 공항에서 체포됐다.

ideaed@news1.kr