네이버 '하이퍼클로바X', 한국판 AI 평가서 오픈AI보다 높은 점수 받아

(서울=뉴스1) 손엄지 기자 = 네이버클라우드는 하이퍼클로바X(HyperCLOVAX)가 한국판 인공지능(AI) 성능 평가 체계 'KMMLU'(Measuring Massive Multitask Language Understanding in Korean)에서 오픈AI, 구글의 생성형 AI보다 높은 점수를 기록했다고 27일 밝혔다.

KMMLU는 국내의 대표적인 오픈소스 언어모델 연구팀인 '해례'(HAE-RAE)가 이끄는 AI 성능 평가 지표 구축 프로젝트다.

인문학, 사회학, 과학∙기술 등 45개 분야에서 전문가 수준의 지식을 묻는 3만5030개 문항으로 구성했다.

구글 등 북미 테크 기업이 주로 사용하는 지표인 'MMLU'는 한국어로 번역하는 과정에서 문항의 부정확한 번역과 영어권 국가만의 문화적 맥락 때문에 AI 모델의 한국어 능력을 제대로 평가하기 어려웠다.

KMMLU는 한국어 원본의 시험 문제들로 구성되어, 국내∙외 AI의 한국어 이해 역량도 보다 정확하게 평가할 수 있다.

KMMLU 연구 논문에 따르면 하이퍼클로바X는 오픈AI의 GPT-3.5와 구글의 제미나이 프로(Gemini-Pro)보다 높은 점수를 기록했다.

한국 특화 지식 기준으로는 오픈AI의 GPT-4보다도 높은 점수를 기록해, 교육, 법률 등 로컬 정보의 중요성이 큰 산업 분야에서는 하이퍼클로바X가 가장 유용할 수 있음을 증명했다.

네이버클라우드는 하이퍼클로바X를 보안과 성능을 모두 갖춘 '소버린(Sovereign·자주적) AI' 솔루션으로 발전시켜나가겠다는 계획이다.

이용 국가의 데이터 주권을 보장하는 소버린 기술은 현지에 데이터센터를 두고 각국 정부 규정을 준수해야 인정받을 수 있다.

지난해 10월 폐쇄된 고객사 사내망에서 하이퍼클로바X를 사용하며 데이터 유출을 방지할 수 있는 하이브리드 클라우드 서비스 '뉴로클라우드 포 하이퍼클로바X'(Neurocloud for HyperCLOVA X)를 출시했다.

성낙호 네이버클라우드 하이퍼스케일(Hyperscale) AI 기술 총괄은 "자국어 중심 AI에 대한 전세계적 수요가 관찰되는 만큼, 한국에서 확인한 소버린 AI의 경쟁력을 바탕으로 향후 글로벌 시장 진출에도 속도를 낼 것"이라고 말했다.

eom@news1.kr