법률 AI '슈퍼로이어', 변호사 시험 74% 정답률…"합격점 넘어"

(서울=뉴스1) 손엄지 기자 = 종합 리걸테크 기업 로앤컴퍼니는 자체 개발한 인공지능(AI) 법률 비서 '슈퍼로이어'가 제14회 대한민국 변호사시험 선택형 시험에서 74%의 정답률을 기록했다고 12일 밝혔다.

총 150개 문제 중 111개의 정답을 맞혔다. 이는 최근 5년간 국내 변호사시험 선택형 평균 합격 개수(103개)를 상회하는 수준이다.

비영어권에서 해당 국가 언어로 AI 서비스를 활용해 변호사시험 객관식 전체 영역을 풀어 합격권에 든 것은 슈퍼로이어가 최초다.

이번 성과는 오픈AI의 GPT-4.5와 앤트로픽의 클로드 3.7 소넷 등 글로벌 빅테크 최신 AI 모델들의 정확도와 견주어도 월등히 앞선다.

해당 모델에 동일한 시험 문제를 입력해 평가한 결과 GPT-4.5는 정답률 49.3%, 앤트로픽의 최신형 모델 클로드 3.7 소넷 은 45.3%를 기록해 합격선에 미치지 못했다.

슈퍼로이어는 지난해 7월 법률가 대상으로 출시한 생성형 AI 기반 법률 비서 서비스다.

상용 거대언어모델(LLM)을 이용해 구현했고 로앤컴퍼니가 자체 설계한 아키텍처를 활용하고 있다.

슈퍼로이어는 로앤컴퍼니가 보유한 495만 건의 판례 데이터 포함해 △법령 △결정례 △행정심판례 △행정규칙 △유권해석 등 방대한 법률 데이터를 답변에 활용하고 있다.

최근에는 국내 1위 법률서적 출판사 박영사의 600여 권에 달하는 법률서적을 슈퍼로이어 답변에 독점적으로 활용하면서 답변의 정확도를 높였다.

슈퍼로이어는 최신의 AI 에이전트 기술과 어드밴스드 검색증강생성(Advanced RAG) 기술을 법률에 최적화해 구현했다.

앞 단계의 검색까지 충분한 데이터를 찾지 못하면 스스로 판단해 다시 검색 조건과 타깃을 바꿔가며 원하는 데이터를 확보할 때까지 반복 검색하는 방식이다.

때로는 사용자가 미처 생각하지 못한 정보까지 활용해 답변을 생성해 최종적으로 사용자의 기대 이상으로 정확하고 풍부한 답변을 제공하게 된다.

슈퍼로이어 개발을 총괄한 로앤컴퍼니 안기순 법률AI연구소장(변호사·사법연수원 27기)은 "복잡한 법률 업무를 높은 수준으로 처리할 수 있도록 워크 플로우를 고려해 추론 모델을 결합한 고도화된 에이전트 개발에 집중하고자 한다"고 말했다.

eom@news1.kr