세계 최초 ‘생성 AI’ 성능 자동평가기술 개발

[중소기업투데이 이상영 기자] 전자통신연구원은 6일 “대형언어모델(LLM)을 기반으로 만들어진 절차들의 성능을 자동으로 평가하는 기술을 개발했다”고 밝혔다. 이를 통해 빠르고 객관적인 절차 생성 성능평가가 가능해진다.

사람이 말로 작업을 명령하면 스스로 작업 절차를 이해하고 계획을 수립해 수행하는 ‘절차 생성’ 인공지능(AI)의 성능을 자동 평가할 수 있는 ‘로타-벤치마크’(LoTa-Bench) 기술이다.

절차 생성 AI는 규모가 클수록 절차 생성 능력도 우수하다. 성공률이 20%면 100개의 절차 중 20개를 성공한 셈이다. 실제로 알프레드(ALFRED) 기반 벤치마크 결과, 절차 생성 AI의 성능을 보면, 오픈AI(OpenAI)의 GPT-3는 21.36%, GPT-4는 40.38%, 메타(Meta)의 라마2(LLaMA 2)-70B 모델이 18.27%, 모자이크엠엘(MosaicML)의 MPT-30B 모델이 18.75% 성공률을 보였다.

이에 연구진은 세계 최우수 인공지능 학술대회 중 하나인 ‘표현학습국제학회’(ICLR)에 논문을 발표하고, 이번에 개발한 기술을 이용, 대형언어모델 총 33종의 절차 생성 성능 평가 결과를 깃허브를 통해 공개했다. 그러면서 “이 기술을 통해 대형언어모델을 이용한 로봇 작업계획 기술의 성능평가 시간과 비용을 대폭 줄일 수 있게 되었다”고 밝혔다.

또한, 연구진은 소프트웨어를 오픈소스로 공개함에 따라 기업, 학교 등에서 본 기술을 자유롭게 활용해 관련 기술의 발전을 앞당길 수 있을 것으로 기대하고 있다.

최근 대형언어모델은 언어처리, 대화, 수학 문제 풀이, 논리 증명 외 사람의 명령을 이해해 하위 작업을 스스로 선택하고 순서대로 수행해 목표를 달성하는 절차 이해 영역에서도 우수한 성능을 보여주고 있다. 이에 따라 대형언어모델을 로봇 응용과 서비스 구현에 적용하려는 시도가 폭넓게 이뤄지고 있다.

이같은 대형언어모델의 절차 수행 결과가 지시 명령 목표를 잘 달성했는지에 대한 ‘절차 이해 기술 성능’을 자동으로 평가하는 로타벤치마크 기술을 세계 최초로 개발한 것이다.

“기존에는 절차 이해 성능 평가를 자동으로 할 수 있는 벤치마크 기술이 없어서 사람이 직접 평가함으로써 손이 많이 갈 수밖에 없었다”면서 구글의 세이캔(SayCan) 사례를 들었다.이를 을 비롯, 기존에는 여러 사람이 직접 작업 수행 결과를 관찰하고 성공 실패 여부를 투표하는 방법을 채택했다. 이로 인해 성능 평가에 매우 긴 시간과 노력이 들어 번거로울 뿐 아니라 평가 결과에 주관적 판단이 개입하는 문제가 있었다.

전자통신연구원이 이번에 개발한 로타벤치마크 기술은 사용자의 명령에 따라 대형언어모델이 생성한 작업 절차를 실행하고, 결과가 지시한 목표와 같은지 자동으로 비교하여 성공 여부를 판단한다. 덕분에 평가 시간과 비용을 최소화할 수 있고, 그 결과도 객관적이다.

그 동안 성능 평가는 로봇과 체화 에이전트 지능의 연구개발 목적으로 개발된 미국 알렌인공지능연구소(AI2-THOR)와 미국 MIT(버츄얼홈, VirtualHome) 가상 시뮬레이션 환경에서 이뤄졌다. 예를 들어 “전자레인지에 차갑게 식힌 사과를 넣어라”라는 일상적인 가사 작업 지시 명령을 내리고 각 작업 절차를 포함하는 데이터셋으로 평가하는 식이었다.

또한, 연구진은 새로운 절차 생성 방법을 쉽고 빠르게 검증할 수 있는 로타벤치마크 기술의 이점을 활용해 데이터를 통한 훈련으로 절차 생성 성능을 개선할 수 있는 두 가지 전략도 발견했다. 즉 ‘컨텍스트 내 예제 선별법(In-Context Example Selection)’과 ‘피드백 기반 재계획’(Feedback and Replanning)이다. 아울러 파인튜닝을 통한 절차 생성 성능 개선 효과도 확인했다.

연구원은 “로타벤치마크는 절차 생성 AI 개발의 첫걸음”이라며 “앞으로 불확실한 상황에서 작업 실패를 예측하거나 사람에게 질문하며 도움을 받아 작업 생성 지능을 지속 개선하는 기술을 개발할 계획”이라고 밝혔다. 특히 “1가구 1로봇 생활 시대의 구현을 위해서는 본 기술이 반드시 필요하다”고 강조했다.

실제로 연구원은 현실 세계에서 각종 임무 계획을 생성하고 실행할 수 있는 로봇을 실현하기 위해 파운데이션 모델을 활용한 로봇 지능 고도화 연구개발을 진행하고 있는 것으로 알려졌다.