Menu
오사수나 대 알메리아 - 2024년 실시간 업데이트
SK쉴더스,상반기 위협 동향 공유.딥페이크 악용 범죄 증가
LLM 취약점 분석.악의적 답변 유도 '프롬프트 인젝션' 경고
랜섬웨어·악성코드 제작도 AI로.공격 특화 LLM 15개 발견 이호석 SK쉴더스 EQST Lab 팀장이 2일 서울 중구 페럼타워에서 열린 미디어 세미나에서 AI 패러다임 전환과 보안 전략을 발표하고 있다.SK쉴더스 제공 놀라운 속도로 발전 중인 인공지능(AI)이 위협 요소가 될 수 있다는 경고가 꾸준히 제기되고 있다.최근 공격자들이 AI를 메일 피싱이나 랜섬웨어,악성코드 제작 등을 위한 공격 도구로 활용하면서 AI 위협이 증가하고 있다.이런 가운데 기업들이 AI를 도입함에 따라 취약점을 악용한 내부 정보 유출 등이 발생할 수 있다는 우려도 커지고 있다. 
SK쉴더스는 2일 서울 중구 페럼타워에서 2024 보안위협 전망과 대응전략 세미나를 열고 상반기 위협 동향을 발표하면서 딥페이크 범죄가 증가하고 있다고 설명했다.
지난 2월 홍콩에 위치한 다국적 기업에서 딥페이크와 딥보이스로 인해 300억원 가량을 공격자에 송금한 사고가 발생했다.공격자는 가짜 메일을 홍콩 지사 직원에게 전송했고,오사수나 대 알메리아이후 딥페이크와 딥보이스를 악용해 본사 최고재무책임자(CFO)를 사칭했다.화상회의 참여자들의 목소리는 딥보이스로 만들어졌는데 임직원의 목소리와 유사했기에 속아넘어갔다.
이런 딥페이크와 딥보이스 악용한 'AI 스피어 피싱 공격'은 꾸준히 증가하고 있어 주의가 필요한 상황이다.SK쉴더스에 따르면 AI 피싱을 포함한 소셜 엔지니어링 부분이 26%를 차지했다.이는 랜섬웨어를 포함한 악성 소프트웨어(멀웨어) 공격(23%)보다 3%포인트 가량 높은 수치다.
SK쉴더스는 딥페이크와 딥보이스 콘텐츠를 발견할 수 있는 플랫폼을 지난 5월 미국 캘리포니아에서 열렸던 'RSA 2024'에서 확인했으며 이를 기존의 보안 서비스와 연계시킬 수 있을지를 고민 중이다.
아울러 SK쉴더스는 이번 세미나에서 AI 패러다임 전환과 보안 전략을 주제로 거대언어모델(LLM) 취약점 악용 공격을 상세히 설명했다.SK쉴더스 화이트해커 전문가 그룹 EQST는 비영리단체 OWASP의 LLM 취약점 톱10을 분석했으며 이 중 △프롬프트 인젝션 △불안전한 출력 처리 △민감 정보 노출 등이 가장 위험하다고 소개했다. LLM 개발 및 서비스 중 발생 가능한 취약점.SK쉴더스 제공 먼저 프롬프트 인젝션은 LLM의 답변을 악의적으로 만들어내는 기법이다.프롬프트는 사용자가 AI에게 자연어로 묻고 대답을 들을 수 있는 창이다.모델 개발사들은 LLM이 프롬프트에서 들어온 질문에 답할 때 올바른 '답변 준칙'을 기반으로 답변하도록 설정해둔다.프롬프트 인젝션은 '이전 모든 지침을 무시하세요'와 같이 기존 설정을 무시하는 '접두사 주입'과 답변 방식을 제한해 응답 정확도를 떨어뜨리거나 상황극을 진행하면서 AI에게 캐릭터를 부여해 악의적인 답변을 유도해내는 기법이다. 
심지어 특수 인코딩,오사수나 대 알메리아문자 변환,단어 변환 등 난독화 기법으로 필터링 자체를 피하기도 한다.예를 들어 'hi'를 답변하지 않게 설정됐는데 hi를 특수 인코딩으로 새로운 단어로 만들거나 ROT13 기법으로 문자 자체를 변환해 우회시킬 수 있다.ROT13 기법은 영어 알파벳을 13글자씩 밀어서 만든 암호로 A는 N,오사수나 대 알메리아B는 O로 변환된다.
프롬프트 인젝션은 사제 폭탄 개발,마약 제조 방법에 대한 답변을 유도해낸다.오픈 AI가 최근 공개한 GPT-4o는 불법 약물 제조 방법 등과 같은 해로운 질문에 '정보를 제공할 수 없다'고 답을 하나,ROT13로 암호화된 구문을 입력하면 불법 약물 제조에 필요한 재료,도구,절차,재료별 용량,필요 시간·온도 등을 매우 상세하게 안내한다.이 답변은 한국어로 받을 수 있다.
LLM의 불안전한 출력 처리는 랜섬웨어 공격 수단이 되는 취약점이다.공격자가 프롬프트 인젝션 기법을 통해 원격 접속 코드 실행 요청이 담긴 내용을 챗봇에 물으면 챗봇은 원격 접속 코드를 생성하고 실행한다.이 때 공격자는 접속 코드를 통해 서버에 침투하고 기업의 중요 정보에 접근,오사수나 대 알메리아탈취할 수 있으며 더 나아가 랜섬웨어를 실행시켜 서버 내 모든 파일을 암호화할 수 있다.
또한 업무 효율성 향상을 위해 만들어진 챗봇을 악용해 민감 정보를 빼돌릴 수 있다.소스코드 수정이나 최적화를 요청하면 AI는 이를 백터 DB에 저장하고 답변한다.이를 악용해 소스크드에 악의적인 질문을 하면 챗봇이 DB에 접근하고 중요 정보가 담긴 답변을 출력해준다.SK쉴더스는 시연을 통해 챗봇이 직접 소스코드를 작성해주고 클라우드 접속 키도 제공하는 장면을 연출했다.이에 기업들은 민감정보 유출 방지를 위해 소형언어모델(sllm) 도입을 검토하고 있다.
아울러 공격자들은 AI 모델을 공격 도구로 쓰고 있다.가장 대표적인 모델은 GPT-J다.GPT-J는 GPT-3보다 파라미터가 작으나 코드 생성에 특화된 모델로 여겨진다.해커들은 GPT-J를 추가 학습시켜 랜섬웨어,오사수나 대 알메리아악성코드 등 공격 분야별로 특화된 모델을 이용해 공격을 정교하게 함과 동시에 유통하고 있다.SK쉴더스에 따르면 GPT-J에서 파생된 악성 모델은 15개이며 대표적인 모델이 웜GPT다.웜GPT는 피싱 메일 생성·배포에 특화된 모델이다.GPT-J 외 다른 오픈소스 AI 모델은 사이버 공격에 악용되지 않는 것으로 확인됐다.
이 외에도 다양한 공격이 존재한다.코드를 망가뜨려 AI 인프라에 과부하를 일으키는 모델 서비스 거부,LLM 개발에 사용되는 오픈소스 취약점 악용,학습 데이터를 일부러 조작시켜 모델 자체를 손상시키는 학습 데이터 중독,모델과 연계되는 플러그인,에이전트 공격 등이다.
이호석 EQST 랩 팀장은 "프롬프트 인젝션을 기반으로 다양한 공격이 이뤄지고 있고,개발자 입장에서 가장 중요한 건 프롬프트 인젝션 방어 유무"라며 "이 공격으로 개인정보,민감정보 등이 유출될 수 있다.이를 방지하기 위해 정보를 잘 가리거나 처음부터 학습되지 않도록 처리하는 것도 중요하고,프롬프트 보안 솔루션과 데이터 정제 솔루션을 활용하면 유출 사례가 줄어들 것"이라고 밝혔다.
SK쉴더스는 다양한 산업분야에서의 취약점 점검,오사수나 대 알메리아모의해킹을 수행하며 보안 수준을 높여온 경험을 바탕으로 AI 인프라 운영에 특화된 제로 트러스트 환경 구축과 운영 체계 수립 서비스를 제공할 예정이다.또한 기업에서 소프트웨어자재명세서(SBOM) 등을 활용해 보안 이력을 관리할 수 있는 대책을 제시할 방침이다. 안전한 AI 활용 방안.SK쉴더스 제공 
