NoiseAware Blog

라비와 숲속 친구들 1: 토토를 찾아서

핀볼룰렛게임 - 카심바스 네그라스

핀볼룰렛게임 - 2025년 실시간 업데이트

닭 잡는 일에 소 잡는 칼은 필요치 않다. 핵심은 '자원의 효율적 활용'AI 대전환의 시대,쏟아지는 이슈와 키워드 중 '꼭 알아야 할 것'과 '알아두면 좋은' 것을 구분하기란 쉽지 않습니다.뜬구름 잡는 이야기도 많습니다.[real!AI Pro]는 이 고민을 현업 전문가들이 직접 선정한 주제와 인사이트를 담아 명쾌하게 정리해드립니다.<편집자주>

[디지털데일리 이건한 기자] 지난 몇 년 사이 LLM(대형언어모델) 기반 AI 산업이 급성장하면서 AI 모델 학습과 구동에 필요한 핵심 컴퓨팅 자원,'GPU(그래픽처리장치)'의 가치도 폭등했습니다.특히 GPU 시장의 맹주인 엔비디아의 AI 특화 GPU는 대당 수천만원을 호가하고,수요 대비 공급마저 부족한 상황이 장시간 지속되며 많은 AI 업체가 답답함을 토로하고 있지요.

그렇다 보니 일각에선 AI와 GPU를 '실과 바늘'처럼 생각하는 오해가 생기기도 합니다.그러나 모든 AI에 꼭 수천만원짜리 GPU가 필요한 건 아닙니다.오히려 찬밥이 된 줄 알았던 CPU(중앙처리장치)가 대안으로 재발견되는 사례들도 있고요.오늘은 이와 관련된 인사이트를 국내 음성인식 AI 전문 기업인 셀바스AI의 윤재선 음성인식 사업대표가 전해드립니다.

■ CPU가 GPU를 앞서는 3가지 강점

안녕하세요,윤재선입니다.'컴퓨터의 두뇌'로 불리는 CPU는 AI 시대를 맞이해 이전보다 존재감이 옅어진 것이 사실입니다.대규모 AI 모델 학습과 연산은 동시에 수많은 정보처리(병렬연산)를 요구하는데,이 작업은 개별 코어 성능은 낮아도 수천개의 코어가 동시에 움직이는 구조의 GPU가 소수의 강력한 코어로 구성된 CPU보다 훨씬 유리하기 때문입니다.이는 일반 소비자들에 오랫동안 '게임용 GPU 제조사'로 인식되던 엔비디아가 지금은 전세계 AI 산업을 쥐락펴락하는 강자로 급부상한 이유 중 하나이지요.

하지만 AI 시대에 CPU에도 여전히 기회는 있습니다.'닭 잡는 데 소 잡는 칼을 쓰지 않는다'는 우리네 속담처럼 '컴퓨팅 자원의 효율적인 선택과 분배' 관점에서 AI를 바라본다면 말입니다.GPU보다 나은 CPU의 강점은 첫째,저렴한 가격과 수급의 안정성입니다.CPU는 최고 성능의 최신 모델이라도 가격은 보통 100만원 미만입니다.여기에 전력만 잘 공급되면 별다른 유지 비용도 없습니다.반면 고성능 GPU는 사용 중 많은 전력이 소비되며 그만큼 발열량도 많습니다.따라서 AI 특화 데이터센터는 그만큼 강력한 전원공급장치(PSU),냉각 솔루션의 구축과 유지비가 추가되어 초기 도입과 운영에 지속적으로 큰 비용이 요구됩니다.

소프트웨어 호환성도 CPU가 앞섭니다.저희 셀바스AI도 많은 고객사와 사업화를 진행 중이고,그만큼 안정적인 서비스를 빠르게 개발하여 공급하는 일은 중요합니다.이때 CPU는 대부분의 운영체제(OS)와 범용 프로그램의 기본적인 실행 환경입니다.그만큼 타 시스템과 호환성 좋은 소프트웨어 개발이 용이합니다.저희는 이 점에 주목하여 AI 엔진 경량화를 통해 특정 환경에서는 CPU가 GPU와 동일한 성능을 갖도록 하는 연구를 지속하고 있는데요.후술하겠지만 실제 그 결과물들은 현재 저희 제품(Selvy 시리즈)의 주요 경쟁력이 되고 있기도 합니다.

또한 지난해부터 개인 전자기기,기업용 제품 시장에서 주목받고 있는 온디바이스(On-device,기기 내장형) AI 역시 CPU 비중이 높습니다.간단한 이미지 생성,글 요약 같은 기능은 NPU처럼 AI 연산 특화 반도체가 내장된 CPU로 구현할 수 있으니까요.인텔이 지난해 출시한 코어 울트라 프로세서 1세대인 '메테오레이크'도 NPU가 탑재된 아키텍처로 AI 연산 능력이 강조된 바 있습니다.

이런 온디바이스 AI 환경의 강점은 ▲클라우드 네트워크 연결이 필요 없기 때문에 사용자 개인정보 유출 우려가 없는 점 ▲전력 외 특별한 도입 및 유지비용이 들지 않는다는 점입니다.셀바스AI의 경우,자바 실험실 룰렛CPU 기반 온디바이스 AI 환경에서 외국인 대상의 한국어 교육 프리토킹 솔루션(STT,TTS,sLLM) 등을 개발하고 있습니다.

■ 소형 RAG 포함 비생성 AI는 CPU도 효율적

앞서 속담을 비유로 들었는데,CPU의 영역인 '닭 잡는 칼'에는 이외에도 꽤 실용적인 AI 기술 관련 영역들이 포함됩니다.그중 AI에 관심이 많은 분이라면 다 들어보았을,최근 AI 환각현상 최소화를 위해 널리 쓰이는 'RAG(검색증강생성)' 역시 소규모라면 CPU로 효과적인 처리가 가능합니다.

예컨대 매개변수 70B(700억개) 이상의 LLM(대형언어모델)은 방대한 분야의 지식이 학습돼 있지만 전문 분야의 세부 지식까지는 학습되지 않은 경우가 있을 수 있습니다.이런 부분은 소형 RAG를 연결해 보완할 수 있고 AI 연산에 필요한 자원 사용과 비용을 최적화할 수 있습니다.

조금 폭넓게 이야기하면 '복잡한 생성'이 필요하지 않은 AI 기능은 상당수 CPU 서버 기반에서도 서비스 구현이 가능하다는 이야기입니다.혹은 아예 매개변수 7B급의 sLLM(경량화된 대형언어모델)이라면 역시 CPU 서버로 구동할 수 있습니다.중요한 건 sLLM이라고 성능이 무조건 낮은 건 아닙니다.일례로 지난해 NC소프트가 공개한 sLLM '바르코(VARCO)'가 있지요.당시 이를 저희 내부에서 테스트해보니 한국어 처리를 비롯한 성능이 정말 잘 나와서 깜짝 놀라기도 했으니까요.

(1) 민원인 만족도↑.더 유능해진 키오스크

이제 남은 이야기는 저희가 직접 경험하고,제품화에도 성공한 사례들을 중심으로 말씀드리겠습니다.요즘 공공기관 등에 설치돼 민원인 안내를 돕는 키오스크(KIOSK)나 로봇들은 저비용 AI 인프라 및 모델 적용만으로도 사용자경험(UX)을 획기적으로 개선할 수 있는 영역으로 꼽힙니다.보통 민원인들의 문의 내용은 1000개 안으로 정해져 있으므로,대규모 LLM을 적용하면 오히려 비용 부담이 커지는 편인데요.따라서 이전에 음성 지원 키오스크는 보통 민원에 포함된 키워드(Entity)를 이용해 정해진 시나리오로 응답하는(Rule-base) 방식이 사용됐습니다.여기서 한계는 시나리오 바깥의 단어들이 동시에 입력되는 경우인데,셀바스AI는 자체 보유한 음성특화 sLLM과 STT(음성→글자변환),TTS(글자→음성변환) 기술로 이 문제를 해결한 사례가 있습니다.

또한 박물관에도 비슷한 사례가 있습니다.간단한 전시품 관련 안내는 앞서 언급된 RAG 환경에서 즉각 답변하고,그 외 역사와 관련된 심층질문이 나올 때만 8G 가상메모리(VRAM)이 탑재된 GPU에 적응 학습된 모델을 활용해 답을 제공하는 식의 하이브리드 시범 서비스도 현재 운영 중입니다.

(2) 단 한마디의 기록도 중요한 '재난망' 지원

재난망용 무전기를 위한 AI 기반 STT,TTS 기능도 CPU 환경에서 충분히 제 역할을 합니다.우리 정부는 세월호 사건 이후 재난 시 안정적인 무선통신을 위한 별도의 재난망을 구축해 사용하고 있습니다.이는 특히 지진,화재 등 긴박한 상황에서 구조대원들이 서로의 위치나 현황을 공유할 때 유용하게 쓰이는데요.문제는 재난현장 환경은 특성상 소음이 많이 섞이고 인터넷도 끊기기 쉬운 환경이란 겁니다.그만큼 열악한 환경에서도 대원 간 대화 내용이 실시간 문자로 기록되고,확인도 가능한 음성인식 기술 수요가 자연스레 생겼는데,이때 온디바이스 AI 환경에서도 구동 가능한 저희 STT 기술이 대원용 무전기에 접목되어 빛을 발한 사례가 있습니다.

(3) "엄마,공부도 할게요!" 게이밍 노트북의 재발견

또한 시야를 조금 더 유연하게 넓히면 일반 사용자용 제품 중 고성능 CPU와 GPU가 탑재된 전자기기의 자원을 적절히 활용한 AI 서비스 개발도 가능했습니다.실제로 외장 GPU가 탑재되는 '게이밍 노트북'들이 게임에만 특화된 건 아닙니다.주된 목적은 고사양 게임 구동이지만 이를 위해 반드시 탑재되는 고성능 CPU와 GPU 자원을 이용하면 온디바이스 AI 서비스 중에서도 꽤 생산적이고 가치 있는 기능들을 구동할 수도 있기 때문입니다.

셀바스AI는 최근 이 부분에서 새로운 비즈니스 기회를 발견하고,7B급 LLM과 저희 STT,무료고스톱맞고TTS 기술을 활용한 영어 대화 서비스 등 다양한 언어를 지원하는 회화 패키지 제품을 기획 중입니다.만약 이 또한 상용화에 성공한다면 온디바이스 AI 영역에서 구현 가능한 서비스 카테고리의 새로운 발견이자,저전력·저비용 AI 구동 환경에서의 최적화된 응용 서비스 개발 역량 확보 등의 가치를 얻을 수 있을 것으로 기대하고 있습니다.