NO.1: stl to aus
한국형 AI 성능 평가 'Open Ko-LLM 리더보드'에 제공
상식 추론,sus stl수학적 추론 평가 항목 추가…국제 평가 기준 갖춰
[서울=뉴시스] 오동현 기자 = 인공지능(AI) 언어 데이터 전문 기업 플리토는 12일 한국어 대규모언어모델(LLM)의 성능을 비교·평가하는 'Open Ko-LLM 리더보드’에 벤치마크 데이터셋을 제공했다고 밝혔다.
’Open Ko-LLM 리더보드’는 한국지능정보사회진흥원(NIA)과 업스테이지가 함께 구축하고 운영 중인 한국어 LLM 성능 평가 플랫폼이다.이 플랫폼은 국내 기업과 연구기관이 LLM을 등록하고 성능 경쟁을 할 수 있는 환경을 제공해 한국형 AI 개발과 자연어 처리 기술의 발전에 기여하고 있다.
플리토는 'Open Ko-LLM 리더보드’를 운영 중인 업스테이지의 파트너사로서 ▲상식 추론과 문맥 이해 능력 ▲수학적 추론과 계산능력 등을 평가할 수 있는 벤치마크 데이터셋을 한국어로 제공했다.이를 통해 기존 평가 항목인 ▲추론 능력 ▲상식 능력 ▲언어 이해력 ▲환각 방지 능력 ▲한국어 상식 생성 능력 등 뿐만 아니라 더 풍부한 성능 테스트 비교가 가능하게 됐다.특히 상식 추론과 수학적 추론 등 2가지 평가 항목의 추가로 국제적으로 인정받고 있는 허깅페이스의‘Open LLM 리더보드’와 평가 기준을 맞추게 되는 것으로 국내 AI 생태계 발전에 의미가 있다.
플리토는 이번 데이터셋 구축 참여를 계기로 한국어 대규모 언어 모델의 성능을 평가하고 향상시키기 위한 고품질 언어 데이터 구축에 박차를 가할 예정이다.실제로,sus stl상용 분야에 적용된 한국어 언어모델을 평가할 수 있는 벤치마크 데이터 셋을 업스테이지와 협력해 구축 중이며,연내‘Open Ko-LLM’를 통해 추가적으로 공개할 계획이다.
이정수 플리토 대표는 "이번 벤치마크 데이터셋 제공을 통해 한국어 대규모 언어 모델 리더보드가 국제적인 평가 기준을 갖추게 되어 의미가 크다”며 “다년간 쌓아온 언어 데이터 구축 기술 능력을 바탕으로 한국형 인공지능 생태계 발전에 더욱 힘을 쏟겠다”고 말했다.
한편,sus stl플리토는 지난달 9일 AI 기술 기업 업스테이지와 AI 언어 데이터 구축을 위한 업무협약을 체결했다.양사는 태국어,sus stl일본어,베트남어,sus stl라오스어,sus stl크메르어 등 상대적으로 언어 데이터가 부족한 아시아 권역에 대한 데이터셋 구축을 중심으로 협업하기로 했다.
stl to aus
：해당 회사의 정보를 쉽게 취득할 수 있는 점도 있겠지만 이보다는 잘 아는 회사가 좋은 주식이라는 선입견이 더 큰 이유다.
sus stl,정영희 양구군 생태자원팀장은 “효과적인 가마우지 퇴치를 위해서는 수렵인에 대한 지원을 늘리고 지역 실정에 맞게 포획 가능 구역을 확대해야 한다”고 말했다.