NoiseAware Blog

헤르페티노 립밤

블록 미디어

블록 미디어 - 2024년 실시간 업데이트

구글클라우드 로고 [Ⓒ 구글클라우드]

[디지털데일리 권하영기자] 구글 클라우드는 자사의 기업용 인공지능(AI) 플랫폼‘버텍스 AI(Vertex AI)’의 모델과 엔터프라이즈 기능 업데이트를 8일 대거 발표했다.

우선 구글 클라우드는 지난 5월 프리뷰 버전으로 선보였던‘제미나이 1.5 플래시’를 공식 출시했다.제미나이 1.5 플래시는 짧은 지연 시간과 가격 경쟁력,100만 토큰 컨텍스트 윈도우를 결합한 것이 특징이다.

구글 클라우드는 제미나이 1.5 플래시가 성능·지연시간·비용효율성 면에서 경쟁사 오픈AI의‘GPT-3.5 터보’를 비롯한 동급 모델 대비 강력한 이점을 제공한다고 주장했다.제미나이 1.5 플래시는 GPT-3.5 터보 대비 60배가량 더 긴 100만개의 토큰 컨텍스트 윈도우를 제공하며,1만자 입력 기준 평균 40% 더 빠른 속도를 낸다는 설명이다.

최대 200만개의 토큰 컨텍스트 윈도우(특정 단어나 구문을 이해하기 위해 참조되는 텍스트의 범위)를 지원하는‘제미나이 1.5 프로’역시 정식 버전으로 출시돼,블록 미디어다른 모델에서는 처리하기 어려운 다양한 멀티모달을 지원한다.

구글 클라우드는 고객이 제미나이 1.5 프로 및 제미나이 플래시 모델의 방대한 컨텍스트 윈도우를 효율적으로 활용할 수 있도록 해당 모델에‘컨텍스트 캐싱(context caching)’기능을 프리뷰 버전으로 제공한다.

컨텍스트의 길이가 증가하면 애플리케이션에서 응답을 얻는 데 많은 시간과 비용이 소요돼 실제 운영 환경 배포에 어려움을 겪을 수 있는데,블록 미디어이는 자주 사용하는 컨텍스트의 캐시 데이터를 활용해 고객이 최대 76%까지 비용을 대폭 절감할 수 있도록 돕는다.컨텍스트 캐싱 API를 제공하는 업체는 현재 구글 클라우드가 유일하다.

일부 고객을 대상으로‘프로비저닝 처리량(provisioned throughput)’도 제공한다.이를 통해 고객은 제미나이 1.5 플래시를 포함한 구글 자체 모델의 사용량을 필요에 맞게 적절히 확장할 수 있으며,모델 성능과 비용 모두에 대해 보장받을 수 있다.

또한,지난 5월 구글 개발자 연례행사‘구글 I/O’에서 정식 출시된 버텍스 AI의‘그라운딩 위드 구글 서치(Grounding with Google Search)’기능은 기업이 자사의 생성형 AI 에이전트를 특정 제공 업체의 데이터로 그라운딩 할 수 있는 새로운 서비스로 올해 3분기부터 제공될 예정이다.

이를 통해 기업은 타사 데이터를 생성형 AI 에이전트에 통합해 고유한 사용 사례를 발굴하고,AI 경험 전반에서 엔터프라이즈 지식을 더 많이 도출할 수 있다.구글 클라우드는 해당 서비스 제공을 위해 무디스,모건스탠리 캐피털 인터내셔널,톰슨 로이터,줌인포 등 유수 기업과 협력 중이다.

구글 클라우드는 버텍스 AI에서 자사 모델과 오픈 모델,타사 모델 제품군을 제공하고 있으며,최근에는 앤스로픽의‘클로드 3.5 소넷’을 추가했다.고객은 구글 클라우드 환경에서 클로드 3.5 소넷으로 테스트를 진행하거나 운영 환경에 배포할 수 있다.올 하반기에는 미스트랄의‘미스트랄 스몰‘미스트랄 라지‘미스트랄 코드스트랄’을 제공할 예정이다.