Menu
하이토우3 - 2024년 실시간 업데이트
/사진제공=마음AI 
AI(인공지능) 전문기업 마음AI(마음에이아이)는 최근 퀄컴의 저전력 온디바이스 칩에 자사의 생성형 AI 제품군을 탑재하는 데 성공했다고 3일 밝혔다.
마음AI가 자체 개발한 STT(음성인식) TTS(음성합성) LLM(거대언어모델)을 동시에 탑재해 스마트폰이나 키오스크 등 소형 디바이스(단말기)에서도 인터넷 연결 없이 음성AI 대화가 가능하도록 했다는 것이다.
마음AI는 "많은 공급업체들이 온디바이스 AI(기기장착형 AI) 분야로 진출하기 위해 경쟁하고 있으나,이번 마음AI의 성과는 최신 스마트폰의 3분의 1 이하 수준의 가성비 좋은 칩에 구현했다는 점에서 매우 의미가 있다"며 "가격 측면에서 독보적인 경쟁력을 갖춘 만큼 고객들로부터 큰 호응을 기대할 수 있을 것"이라고 설명했다.
이번에 마음AI가 제공하는 LLM은 비교적 작은 모델 크기에서 압도적인 성능을 자랑하는 고성능 거대언어모델 'MAAL-Hummingbird'(말-허밍버드) 모델이다.파라미터 사이즈가 8B(80억개)에 달하지만,최근 4비트 양자화에 성공해 온디바이스 칩에 탑재할 수 있었다는 게 회사 측 설명이다.
마음AI는 "LLM이 스스로 고객의 의도를 파악하고,하이토우3디바이스의 여러 기능들을 호출하거나 고객과의 대화를 자연스럽게 이끌어갈 수 있다"며 "고객의 발음이 부자연스럽거나 일부 인식이 잘못되어 오탈자가 생기더라도 LLM이 맥락을 잘 파악하기 때문에 AI가 말을 잘 못 알아들어 생기는 답답함이 획기적으로 개선된다"고 했다.
카페 키오스크에 온디바이스 AI가 탑재될 경우,하이토우3고객들은 '아아(아이스 아메리카노)'나 '아샷추(아이스티에 샷 추가)'와 같은 줄임말을 포함한 음성 명령으로도 쉽게 주문할 수 있어,키오스크 화면을 여러 번 터치해야 하는 불편을 줄일 수 있다는 것이다.
최홍섭 마음AI 기술총괄 대표는 "AI는 이제 학습을 통해 새로운 모델을 만드는 시대에서,학습이 끝난 모델을 얼마나 잘 추론하느냐의 국면으로 전환되고 있다"며 "누구보다 가격 측면의 경쟁력이 있는 온디바이스 제품군을 제공함으로써,하이토우3시장의 프론트러너(Front-runner)가 될 것"이라고 밝혔다.
한편 최근 마음AI는 LLM과 같은 생성형 AI를 단순히 챗봇과 같은 대화형 AI로 접근하는 것이 아니라 실제 업무를 수행할 수 있는 에이전트로서의 LLM(LLM as an Agent) 개념을 제시하고 이 철학을 다양한 제품군에 녹여내고 있다.
LLM이 스마트폰,전자제품,하이토우3키오스크 등 하드웨어의 여러 기능을 상황에 맞게 자율 제어해 자동화된 생활 환경을 구축할 수 있는 능력은 향후 스마트 홈 및 산업 자동화 분야에서 혁신적인 적용 가능성을 제공할 수 있다.
