사진 보여주면 상황 설명하는 AI…카카오브레인 '허니비' 공개

(서울=뉴스1) 손엄지 기자 = 카카오브레인이 자사가 개발한 멀티모달 언어모델 오픈소스 '허니비'(Honeybee)를 '깃허브'(Github)에 공개했다고 19일 밝혔다.

멀티모달이란 텍스트로 된 질문에 답을 내놓는 것을 넘어서서 이미지로 소통이 가능한 모델이다. 이미 구글, 오픈AI는 멀티모달 인공지능(AI) 모델을 공개한 바 있다.

현재 멀티모달 언어모델 연구는 공개된 모델의 수가 적고, 학습 방법도 자세히 공개되지 않아 개발이 어려운 상황이다.

카카오브레인은 멀티모달 언어모델(MLLM) 발전에 기여하고자 자체 개발한 '허니비'의 소스코드를 공개하기로 했다.

허니비는 이미지에 담긴 장면을 묘사하거나 이미지와 텍스트가 혼합된 콘텐츠에 질문을 이해하고 답변할 수 있다.

예를 들어 '농구 경기 중인 두 명의 선수' 이미지와 '왼쪽 선수는 몇 번 우승했나요?'라는 질문을 입력하면 허니비가 입력된 이미지와 질문을 종합적으로 이해하고 답변한다.

카카오브레인에 따르면 'MME', 'MMBench', 'SEED-Bench' 등의 벤치마크(성능 실험)에서 모델이 공개된 타사 MLLM 대비 최고 성능을 달성했다. 지각 능력과 인지 능력을 평가하는 'MME'에서는 2800점 만점 중 1977점을 받았다.

김일두 카카오브레인 각자 대표는 "허니비를 활용한 각종 서비스 확장을 고려 중"이라고 밝혔다.

eom@news1.kr