NoiseAware Blog

저쩔 티비 토토

스카이게임 토토 - 룰렛 카지노 무료 다운로드

스카이게임 토토 - 2025년 실시간 업데이트

"라마,젬마 등 글로벌 AI 모델과 견주는 언어모델 라인업"

(카카오 제공)

(서울=뉴스1) 손엄지 기자 = 카카오(035720)는 작년 10월 개발자 콘퍼런스 'if(kakaoAI)2024'에서 공개한 '카나나 언어모델'의 전체 라인업(Kanana Flag,Essence,경마의신 전문지Nano)을 모두 구축했다.

카카오는 27일 자체 개발 언어모델 '카나나'(Kanana)의 연구 성과를 담은 테크니컬 리포트를 아카이브(ArXiv)에 공개했다.

다양한 사이즈에 이르는 카나나 언어모델 전체의 사전 학습(Pre-training)부터 후속 학습(Post-training)까지 전 과정을 자세히 담았다.

(카카오 제공)

카카오의 초거대 언어모델 '카나나 프레그'(Kanana Flag)는 지난해 말 학습을 완료했다.글로벌 최고 수준의 한국어·영어 성능을 달성했다.

한국어 성능을 평가하는 'LogicKor','KMMLU' 벤치마크에서 타 모델을 압도하는 처리 능력을 입증했다.

영어 성능을 평가하는 'MT-bench','MMLU' 벤치마크에서는 경쟁 모델과 유사한 성과를 기록했다.

학습 자원 최적화를 통해 유사 사이즈의 모델 대비 50% 이상 비용을 절감하며,메이저 카지노 슬롯보증SOTA(State-of-the-Art) 수준의 효율성과 성능을 동시에 구현해냈다.

(카카오 제공)

카카오는 대규모 언어모델의 학습 효율을 극대화하고자 △Pruning(모델 구성 요소를 가지치기해 중요 요소만 남기는 기법) △Distillation(큰 모델의 지식을 더 작은 모델로 전달하는 증류 기법) △DUS(Depth Upscaling,깊이 업스케일링) 등 혁신적 학습 기법을 적용했다.

이를 통해 경량 모델 '카나나 나노 2.1B'(Kanana Nano 2.1B)부터 초거대 모델 '카나나 프레그 32.5B'(Kanana Flag 32.5B)까지 다양한 사이즈의 고성능 모델을 효율적으로 개발해 글로벌 유사 크기 모델 대비 절반 이하의 학습 비용을 실현했다.

카카오는 향후 카나나 모델에 강화 학습(Reinforcement Learning)과 연속 학습(Continual Learning) 기반의 최신 기술을 접목해 추론,티빙 무료 사이트 디시수학,코딩 능력을 강화한다.정렬(Alignment) 기술을 고도화해 사용자 요청의 수행 정확도도 높일 계획이다.

아울러 카카오는 국내 AI 생태계 활성화를 위해 자체 개발 경량 모델 'Kanana Nano 2.1B'를 오픈소스로 깃허브(GitHub)에 배포했다.

연구자와 개발자가 활용하기 적절한 크기의 모델이자 온디바이스(On-device) 환경에서도 활용 가능한 고성능의 경량 모델이다.

카카오는 연구자와 개발자들이 해당 모델을 토대로 다양한 응용을 시도할 수 있도록 모델의 업데이트를 지속 지원할 계획이다.

김병학 카나나 성과리더는 "모델 최적화와 경량화 기술을 바탕으로 라마,젬마 등 글로벌 AI 모델과 견줄 수 있는 고성능의 자체 언어모델 라인업을 효율적으로 확보하게 됐다"고 말했다.