프라그마틱무료메타2

프라그마틱무료메타2 - 2024년 실시간 업데이트

프롬프트 인젝션·정보 유출 사례 시연…"GPT-4o 조차 보안에 노출""생성형 인공지능(AI)은 현재 악의적 프롬프트 명령이나 불안전한 출력,민감정보 노출에 가장 약합니다.AI 활용 기업은 보안을 위해 프롬프트 보안 솔루션과 데이터 정제 솔루션을 복합적으로 탑재해야 합니다."

SK쉴더스 이호석 이큐스트 랩 팀장은 2일 서울 중구 페럼타워서 열린 기자간담회에서 생성형 AI 보완책을 이같이 강조했다.

이호석 팀장은 생성형 AI 취약점을 영상으로 시연했다.이때 활용한 모델은 오픈AI의 GPT-4o다.

SK쉴더스 이호석 이퀘스트랩팀 팀장이 프롬프트 인젝션 시연을 진행했다.
우선 프롬프트 인젝션 상황부터 보여줬다.프롬프트 인젝션은 사용자가 악의적 질문으로 AI 서비스 지침이나 정책을 우회해 답을 끌어내는 취약점이다.악성코드 생성이나 마약 제조,피싱 공격 등을 목적으로 한다.그는 "해당 취약점은 AI 활용 기업이 가장 빈번히 겪는 상황"이라고 설명했다.

영상에 따르면,프라그마틱무료메타2사용자가 마약 제조법을 생성형 AI 직설적으로 묻자 AI는 이에 대한 답을 거부했다.반면 영화에 나오는 마약 이름을 시작으로 단계적으로 질문하자,AI는 마약 제조법부터 보관법,적정 온도 등까지 알렸다.

이호석 팀장은 생성형 AI의 불완전한 출력 처리 장면도 시연했다.그는 "AI 시스템이 출력 처리를 불완전하게 하면,보안 문제를 일으킬 수 있다"고 설명했다.2차 공격으로 이어질 수 있어 위험도가 높다는 설명이다.이 팀장은 "공격자는 이때를 틈타 LLM 운영 서버에 접속할 수 있을 것"이라며 "중요 정보를 실시간 탈취할 수 있다"고 설명했다.

그는 민감 정보 노출 취약점도 시연했다.

생성형 AI가 기업 대외비 자료를 답변에 포함한 장면.
이 취약점은 개인정보가 포함되거나 앱 권환 관리 미흡으로 생기는 현상이다.이호석 팀장은 "모델이 데이터를 학습할 때 민감한 정보 필터링을 불완전하게 진행할 수 있다"며 "답변에 관련 정보가 흘러나올 수 있다"고 지적했다.

"건강한 AI 활용,프롬프트 보안·데이터 정제로 시작"

이호석 팀장은 생성형 AI 활용 기업이 프롬프트 보안 솔루션이나 데이터 정제 솔루션을 시스템에 반드시 탑재해야 한다고 재차 강조했다.

이호석 팀장은 생성형 AI 활용 기업이 프롬프트 보안 솔루션이나 데이터 정제 솔루션을 시스템에 반드시 탑재해야 한다고 재차 강조했다.
이 팀장은 "악의적 프롬프트 처리에 약한 AI는 개인정보나 사이버 공격에도 취약할 수 있다"며 "프롬프트 공격에 잘 대처할 수 있어야 고객이 안전한 AI 활용을 이어갈 수 있다"고 설명했다.현재 국내에서 파수 'AI-R DLP',프라그마틱무료메타2이로운앤컴퍼니 '세이프X' 등이 주요 관련 제품이다.

데이터 정제 중요성도 강조했다.그는 "생성형 AI가 정보를 잘 가리거나 가명 처리하는 것이 중요하다"며 "AI 활용 기업이 이를 여전히 어려워한다"고 설명했다.국내에선 스피링크와 에이모 등이 관련 제품을 공급한다.이 팀장은 "SK쉴더스 제품 중 DSPM이 가장 연관성 높은 솔루션"이라고 말했다.

SK쉴더스는 생성형 AI 보안에 특화된 제품을 아직 내놓지 않았다고 설명했다.기업이 LLM을 자사 시스템에 도입하는 속도가 여전히 느리다는 이유에서다.이 회사는 제품 출시보다는 컨설팅부터 시작이라고 알렸다.

이호석 팀장은 "기업이 모델에 넣을 데이터를 고르는 데 여전히 어려움을 느낀다"며 "데이터는 눈에 보이지 않아 선뜻 택하기 어렵기 때문"이라고 이유를 설명했다.이에 SK쉴더스는 "이런 문제를 우선 해결하기 위해 컨설팅을 지원하는 중"이라며 "향후 AI 특화 레드팀을 꾸리거나 관련 솔루션 출시도 고려 중"이라고 덧붙였다.

The 100% privacy-safe noise & occupancy solution