NO.1: 할때마다 띄어쓰기
김민수 전산학부 교수 연구팀,PlanRAG 기술 개발
KAIST에 따르면 김민수 전산학부 교수 연구팀이 의사결정 문제,기업 데이터베이스,할때마다 띄어쓰기비즈니스 규칙 집합 세 가지가 주어졌을 때 거대언어모델을 이용해 의사결정에 필요한 정보를 데이터베이스로부터 찾고,비즈니스 규칙에 부합하는 최적의 의사결정을 도출할 수 있는 기술(PlanRAG)을 개발했다.이는 기존 최신 기술 대비 고난도 기업 의사결정 문제 정답률을 최대 32.5% 개선하는 것으로 분석됐다.
연구팀은 기업 의사결정 문제가 GPT-3.5 터보에서 반복적 RAG(IterativeRAG) 기술을 사용하더라도 정답률이 10% 미만에 이르는 고난도 문제임을 보이고,이를 해결하기 위해 반복적 RAG 기술을 한층 더 발전시킨 계획 RAG라는 기술을 개발했다.
계획 RAG(PlanRAG)는 기존 RAG 기술들과 다르게 주어진 의사결정 문제,데이터베이스,할때마다 띄어쓰기비즈니스 규칙을 바탕으로 어떤 데이터 분석이 필요한지에 대한 거시적 차원의 계획을 먼저 생성한 후,그 계획에 따라 반복적 RAG를 이용해 미시적 차원의 분석을 수행한다.
이는 기업 의사결정권자가 어떤 데이터 분석이 필요한지 계획을 세우면,그 계획에 따라 데이터 분석팀이 데이터베이스 솔루션들을 이용해 분석하는 형태와 유사하다.
다만 이러한 과정을 모두 사람이 아닌 거대언어모델이 수행하는 것이 커다란 차이점이다.계획 RAG 기술은 계획에 따른 데이터 분석 결과로 적절한 답변을 도출하지 못하면,할때마다 띄어쓰기다시 계획을 수립하고 데이터 분석을 수행하는 과정을 반복한다.
김민수 교수는 “지금까지 거대언어모델 기반으로 의사결정 문제를 푼 연구가 없었던 관계로,할때마다 띄어쓰기기업 의사결정 성능을 평가할 수 있는 의사결정 질의응답(DQA) 벤치마크를 새롭게 만들었다"며 "해당 벤치마크에서 GPT-4.0을 사용할 때 종래 반복적 RAG에 비해 계획 RAG가 의사결정 정답률을 최대 32.5% 개선됐다.이를 통해 기업들이 복잡한 비즈니스 상황에서 최적의 의사결정을 사람이 아닌 거대언어모델을 이용 내리는데 적용되기를 기대한다”고 말했다.
할때마다 띄어쓰기
：문재인 당시 대통령은 같은 해 12월 24일 성탄절을 앞두고 박 전 대통령을 특별사면했고 7일 뒤인 그달 31일 석방돼 병원 치료를 계속했다.
할때마다 띄어쓰기,기동민 의원 같은 경우에도 오히려 자기가 저렴한 양복 하나를 선물로 받았다는 것을 인정했기 때문에 금품수수라고 해서 이번에 컷오프가 된 것인데 오히려 나는 끝까지 받지 않았다고 하는 사람은 오히려 순항하고 있지 않습니까? 노웅래 의원 같은 경우도 자기가 후원금입니까? 나중에 받았다고 인정을 했다는 이유로 컷오프가 됐는데 그러면 돈을 받고 안 받고가 객관적인 사실이 아닌 본인의 인정 여부에 따라서 이런 식으로 하는 것에 대해서 사람들이, 제3의 유권자들이 상당히 이것은 공정하지 못하다고 보는 것이고.