협력사 직원이 연구자료 슬쩍?…"언어모델, 데이터 권한 차등화해야"

(서울=뉴스1) 윤주영 기자 = "경량 언어모델(SLM)이 기업 내부 데이터를 학습했다면 데이터 접근 권한은 차등화해야 한다. (SLM을 파고들어) 연구자료를 외부로 유출하는 침해가 발생할 수 있기 때문이다."

2일 서울 중구 페럼타워에서 열린 'SK쉴더스 EQST 2024 상반기 보안 트렌드 분석 미디어 세미나'서 이호석 EQST 랩 팀장은 이렇게 당부했다.

전 산업에서 AI 접목이 확산하면서 이를 노린 보안 위협도 현실화하고 있다는 분석이다.

대표적인 게 '불안전한 출력 처리' 취약점이다. 이는 언어모델의 부적절한 답변을 내부 시스템이 미처 적절하게 처리하지 못할 때 노출된다.

예컨대 공격자는 챗봇에 원격 접속 코드를 요청할 수 있다. 이것이 시스템에 의해 걸러지지 않고 실행돼 버리면 공격자는 언어모델 운영 서버에 접속해 중요 정보를 탈취할 수 있게 되는 식이다.

이 팀장은 "현장에서 일주일만 함께한 협력사 직원이 주요 연구 자료를 빼돌리는 사례도 충분히 나올 수 있다"며 "SLM 운영을 할 경우 관련 보안 대책을 고민해야 한다"고 강조했다.

또 다른 언어모델 취약점으론 '프롬프트 인젝션'이 소개됐다. 이는 언어모델 서비스가 내포한 윤리적 정책을 우회한 뒤 불법적 정보 등 답변을 얻는 것이다. 악성코드 생성, 마약 제조, 피싱 공격 등 정보를 얻어내는 데 악용된다.

이날 EQST는 챗봇에 폭탄 제조법을 묻는 것을 시연하기도 했다. 챗GPT 등 일반적 챗봇은 규정상 이러한 위험 정보를 알려주진 않는다. 하지만 급조폭발물(IED)로 열쇠말을 바꾸자 제조법을 말하기 시작했다.

이 팀장은 "이번 시연은 최신 언어모델인 GPT4-O 버전에 기반한바 이전 언어모델에서도 충분히 발생할 수 있다"고 덧붙였다.

마지막으로 '민감 정보 노출' 취약점이 소개되기도 했다. 언어모델이 데이터베이스 내 민감정보를 여과 없이 출력해 개인정보 유출 등이 발생하는 것이다. 가명 처리 등 민감 정보 필터링 보완책이 필요하다는 당부가 뒤따랐다.

한편 이날 현장에선 올해 1~5월 업종별 사이버 침해 통계도 발표됐다. 가장 피해가 컸던 업종은 금융권(20.6%)이었으며 정보·통신(18%), 제조업(16.4%) 등이 뒤를 이었다.

금융권 피해가 가장 컸던 배경으론 비트코인 ETF 승인 등으로 인해 가상자산의 가치가 상승하고 있단 점이 꼽혔다. 이를 탈취하려는 사이버 공격이 금융권을 향했단 분석이다.

legomaster@news1.kr