복잡한 검색어도 빠른 답변…네이버, 자연어처리 논문 채택

(서울=뉴스1) 신은빈 기자 = 네이버(035420)가 자연어처리(NLP) 학회 'EMNLP 2024'에서 검색 기술 관련 정규 논문이 채택되는 성과를 거뒀다고 18일 밝혔다.

EMNLP는 자연어처리 분야에서 세계 최고 인공지능(AI) 학회로 꼽힌다. AI 번역과 챗봇, 기계 독해 등 언어 데이터를 기반으로 한 자연어처리 접근법을 다양하게 연구한다.

이번 EMNLP 2024는 11월 12일부터 16일까지 미국 플로리다에서 열린다. 네이버는 검색 기술 관련 연구를 포함해 채택된 논문 4건을 발표할 예정이다.

우선 네이버 생성형 AI 검색 서비스인 '큐:'(CUE:)에 적용된 알고리즘 연구 논문이 채택됐다. 소형언어모델(sLM)을 사용하는 모듈식 접근법을 이용해 유해한 질문을 탐지하고 적절한 답변을 제공하는 학습 메커니즘을 다룬 연구다.

네이버는 이 연구 성과를 지난해 11월 '큐:'에 적용해 AI 안정성 강화에 활용하고 있다. 범죄 정보나 저작권법·사생활 침해 정보, 욕설·비속어가 포함된 질문을 판별해 무분별한 답변을 제공하지 않도록 검색 환경을 구축 중이다.

또 '지식스니펫' 서비스에서 복잡한 형태의 스니펫(정보)까지 AI가 처리하는 기술을 제안했다. 지식스피넷은 네이버 통합검색 결과 상단에 검색어와 연관된 주요 정보를 요약 제공하는 서비스다.

이 기술은 내년 상반기 적용을 목표로 한다. 롱테일 질의(길고 복잡한 검색어)에도 정확히 답변하는 비율을 높여 사용자가 원하는 정보를 빠르게 확인할 수 있도록 성능을 높일 계획이다.

거대언어모델(LLM) 문서 랭킹 능력을 경량화 거대언어모델(sLLM)에 이식해 검색 서비스에 적용하는 방법을 담은 논문도 채택됐다. 속도 저하 없이 LLM만큼 품질을 낼 수 있는 기술로, 모델을 6월 통합검색 서비스에 적용한 이후 문서 클릭률(CTR)은 4.3%, 체류시간은 3% 증가했다.

이외에도 네이버는 양질의 검색 서비스를 제공하고자 웹 검색 색인 규모를 50% 확대하고, AI를 기반으로 신뢰도 높은 콘텐츠를 제공하며 기술을 고도화하고 있다.

bean@news1.kr