"인공지능 취약점 찾아라"…과기정통부 AI 레드팀 챌린지 개최

(서울=뉴스1) 김승준 기자 = 과학기술정보통신부와 한국정보통신기술협회(TTA)는 '생성형 인공지능(AI) 레드팀 챌린지' 행사를 개최한다고 11일 밝혔다.

11일과 12일에 국내 최초로 개최되는 이번 '레드팀 챌린지'는 AI에 관심 있는 국민 누구나 참여해 국내 생성형 AI 모델(LLM)을 대상으로 잠재적 위험·취약점을 찾는 행사다. AI 분야 개발사들은 내부 레드팀을 구성·운영해 신뢰·안전성을 확보하고 있다.

이번 행사에는 AI 분야 종사자뿐만 아니라 제조·금융·의료분야 종사자, 대학생 등 1000여명이 참여한다.

이들은 국내 AI 기업 네이버(035420)·SK텔레콤(017670)·업스테이지·포티투마루의 거대언어모델(LLM) 차례로 배정받아 잠재적 취약점을 찾는다.

평가는 레드팀 수행 경험 등이 있는 데이터 분야 전문가, 의료·금융·법률 전문가 120여명이 프롬프트 공격을 분석한다.

12일 행사 2일 차에 열리는 '글로벌 AI 안전 콘퍼런스'에서는 하정우 네이버 퓨처AI 센터장, 김세엽 셀렉트스타 대표, 댄 헨드릭스 xAI 고문, 크리스 메저롤 프런티어 모델 포럼 의장, 김경훈 카카오(035720)AI Safety 리더, 오혜연 한국과학기술원(KAIST) 교수, 에릭 데이비스 SK텔레콤 부사장, 이마드 모스타쿠 전 스테이빌리티 AI 창업자 등이 기조 강연을 한다.

과기정통부는 이번 레드팀 챌린지 결과를 분석해 생성형 AI 분야의 공통·포괄적인 위험을 도출하고 업계에서 활용할 수 있는 가이드라인을 마련한다.

강도현 과기정통부 2차관은 "AI 혁신의 전제이자 기본은 안전과 신뢰"라며 "대통령께서 밝히신 'AI-반도체 이니셔티브'를 차질 없이 추진해 글로벌 AI 혁신을 주도해 나갈 것"이라고 말했다.

seungjun241@news1.kr