NO.1: 연금복권 당첨 세금
김민수 KAIST 전산학부 교수 연구진
국내 연구진이 영업,연금복권 당첨 세금인사관리 같은 기업의 결정을 돕는 인공지능(AI) 모델을 개발했다.주어진 문제를 해결하기 위한 계획을 직접 세우고 데이터를 분석해 필요한 답변을 내놓는 방식이다.
김민수 한국과학기술원(KAIST) 전산학부 교수 연구진은 거대언어모델(LLM)을 이용해 의사결정 능력을 기존 기술보다 32.5% 끌어올리는 데 성공했다고 19일 밝혔다.
거대언어모델은 대규모 데이터를 학습한 결과를 바탕으로 연산 결과를 내놓는다.정확도가 비교적 높고 사용이 편리해 최근 많은 주목을 받고 있다.대표적인 거대언어모델이 대화형 AI인 챗GPT다.챗GPT는 인터넷에서 수집한 대규모 언어 데이터를 학습해 사람과 대화할 수 있다.
문제는 거대언어모델이 학습하지 않은 데이터에 대한 정보를 찾거나 최신 정보에 대응하는 능력은 크게 떨어진다는 점이다.최근 데이터베이스를 검색해 답변을 만드는‘검색 증강 생성(RAG)’기술이 이런 한계를 극복하는 데 주목 받고 있다.학습하지 않은 데이터도 검색해서 AI의 활용 범위를 높인다.질문이 복잡하면 검색을 반복하고 그 결과를 종합해 적절한 답변을 만드는‘반복적 RAG’기술도 나왔다.
연구진은 상품 판매 데이터를 입력한 후 “상품 판매를 높이기 위해 무역 거점을 어떻게 운영해야 하는가”에 대한 질문을 했다.그 결과,기존 AI 기술의 정답률은 10% 미만에 머물러 기업에서 활용하기에는 한계가 있다는 것을 확인했다.연구진은 반복적 RAG을 발전시킨‘계획 RAG’을 개발해 문제를 해결했다.
계획 RAG은 주어진 질문에 의사결정 문제,연금복권 당첨 세금데이터베이스,연금복권 당첨 세금사업 규칙을 바탕으로 어떤 데이터 분석이 필요한지‘계획’을 먼저 세운 후 그에 따라 반복적 RAG로 답변을 찾는 방식이다.분석 결과가 만족스럽지 않은 경우에는 다시 계획을 수립해 데이터 분석을 하는 과정을 반복한다.
기업의 의사결정 성능을 평가할 수 있는 벤치마크‘의사결정 질의응답(DQA)’도 새롭게 개발했다.계획 RAG은 벤치마크 평가에서 55.6% 정답률을 보였다.챗GPT를 기반으로 한 RAG보다 32.5% 우수한 성능이다.연구진은 기존 AI에서 나타나는 데이터 누락,연금복권 당첨 세금부적절한 후보 선정 같은 문제점도 크게 개선돼 실제 경영자들이 참고할만한 수준의 답변을 내놨다고 설명했다.
김 교수는 “대기업뿐 아니라 스타트업도 여러 데이터를 바탕으로 의사 결정에 활용할 수 있다”며 “기업의 경쟁력의 강화에 도움될 것”이라고 말했다.연구 결과는 자연어처리 분야 학회인‘북미컴퓨터언어학회’연례학술대회에서 지난 17일 소개됐다.