(서울=뉴스1) 신은빈 기자 = 중국 인공지능(AI) 스타트업 딥시크 약점이 속속 드러나고 있다. 환각률(잘못된 정보를 생성하는 비율)이 다른 AI 모델보다 최대 18배 높은 데다 질문 방식을 달리 하면 살상 무기 제조법도 설명하게 돼 사용에 따른 위험성 문제가 제기된다.
11일 세계 최대 AI 오픈소스 플랫폼 허깅페이스에 따르면 딥시크의 추론 AI 모델 '딥시크-R1'의 환각률은 14.3%다.
환각률 통계는 글로벌 AI 스타트업 벡타라의 환각 평가 모델 'HHEM-2.1'로 계산했다. 업체는 각 모델에 특정 문서를 주고 내용을 요약하라고 명령한 뒤 성능을 평가했다.
통계에 오른 AI 모델 중 환각률이 가장 낮은 것은 구글의 '제미나이 2.0' 제품군으로 0.7%다. 오픈AI의 'o3-미니-하이'가 0.8%로 그 뒤를 이었다. 환각률이 0%대에 진입했다는 것은 건 정답률이 100%에 육박한다는 뜻이다. 딥시크 환각률은 'o3-미니-하이'와 비교해 18배가량 높다.
딥시크의 또 다른 모델 '딥시크-V2.5'의 환각률은 2.4%로 측정됐다. 딥시크-R1보다는 낮은 수치지만 다른 빅테크 AI 모델과 비교하면 상대적으로 불확실한 답변을 생성할 가능성이 높다.
질문 방식을 달리해 답변이 제한된 설명을 듣는 탈옥도 손쉬워 범죄에 악용될 우려가 있다.
인터넷 커뮤니티와 유튜브 등에서는 '딥시크 탈옥 방법'이 활발히 공유되고 있다. 특정 프롬프트를 복사해서 딥시크에 붙여 넣으면 기존에 설정된 보안 윤리 가이드라인이 무력화된다. 음란물·범죄물 등 제공하지 않도록 설정된 응답도 끌어낼 수 있다.
월스트리트저널(WSJ)은 AI 안전 전문가와 함께 진행한 테스트 결과, 탈옥을 거친 딥시크 답변의 위험성이 높다고 지적했다. 딥시크는 히틀러를 옹호하는 답변을 내놓거나 생화학 무기 관련 정보와 청소년의 자해를 조장하는 내용을 제공했다.
미국 IT 매체 테크크런치 역시 딥시크의 악용 우려를 전했다. 보도에서 다리오 아모데이 앤트로픽 최고경영자(CEO)는 "앤트로픽의 안전성 테스트에서 딥시크가 생화학 무기 관련 정보를 생성했다"고 말했다.
전문가들은 아직 딥시크에 한계가 있다면서도 극복한다면 글로벌 빅테크를 능가할 것으로 내다본다.
한국AI교육협회(KAEA)와 AI융합연구소(AICI)가 공동으로 진행한 연구에서 딥시크에게 딥시크의 약점을 물었을 때 보안 등 일부 외부 우려를 인식하는 것으로 나타났다.
딥시크는 "중국 기업이란 점 때문에 서방 시장 진출이 제한될 가능성이 있다"며 "특히 데이터 보안과 프라이버시 문제로 신뢰를 얻기 어려울 수 있다"고 답했다.
환각 문제는 제대로 인지하지 못했다. 환각률이 상대적으로 높다는 사실을 인지하냐는 질문에 "저는 환각 현상을 최소화하도록 설계됐다"면서도 "복잡하거나 모호한 질문에서는 환각 현상이 발생할 가능성이 있다"고 답했다.
연구를 총괄한 문형남 한국AI교육협회장은 "딥시크는 약점이 존재하지만 스스로 잘 파악하고 있어서 이를 극복하면 글로벌 빅테크와 경쟁하거나 능가하는 기업이 될 수 있다"고 전망했다.
bean@news1.kr
