세카르 사루카이 - 사이버 보안@UC버클리
2024년 10월 10일 5 분 읽기
시리즈의 첫 번째 블로그인 "AI 보안: 고객의 요구와 기회"라는 첫 번째 블로그에서는 AI 기술 스택의 세 가지 계층과 그 사용 사례에 대한 개요와 함께 AI 보안 과제 및 솔루션에 대한 요약을 제공했습니다. 두 번째 블로그에서는 계층 1: 기반 AI와 관련된 구체적인 위험과 조직이 AI의 다양한 이점을 비즈니스 이점으로 활용하는 데 도움이 될 수 있는 완화 조치를 다룹니다.
인공지능(AI)이 계속 발전하고 기반을 다지면서 의료에서 금융에 이르는 다양한 산업에 적용되고 있습니다. 모든 AI 시스템의 중심에는 기본 모델과 이러한 모델을 맞춤화하기 위한 소프트웨어 인프라가 있습니다. 이 계층은 모든 AI 애플리케이션의 토대를 제공하여 시스템이 데이터에서 학습하고 패턴을 감지하며 예측할 수 있게 해줍니다. 하지만 그 중요성에도 불구하고 기초 AI 레이어에도 위험이 없는 것은 아닙니다. 즉각적인 엔지니어링 공격부터 잘못된 구성, 데이터 유출에 이르기까지 이 계층의 보안 문제는 광범위한 결과를 초래할 수 있습니다.
기초 AI와 관련된 보안 위험과 AI 기반 솔루션을 도입할 때 기업이 주의해야 할 사항에 대해 자세히 알아보세요.
기초 AI 계층의 보안 위험
1. 프롬프트 엔지니어링 공격
기초 AI 계층에서 가장 널리 퍼진 위험 중 하나는 공격자가 의도하지 않았거나 유해한 결과를 생성하기 위해 AI 입력을 조작하는 프롬프트 엔지니어링입니다. 이러한 공격은 AI 모델이 프롬프트를 해석하고 응답하는 방식의 취약점을 악용하여 악의적인 공격자가 보안 프로토콜을 우회할 수 있도록 합니다.
스켈레톤키와 크레센도메이션과 같은 새로운 기술로 인해 다양한 형태의 '탈옥' AI 시스템이 일반화되면서 프롬프트 엔지니어링이 점점 더 위협적인 존재가 되고 있습니다. 이러한 공격은 다크웹에서 발견할 수 있으며, 해커들에게 공개적으로 판매되는 WormGPT, FraudGPT, EscapeGPT와 같은 도구도 있습니다. AI 모델이 손상되면 오해의 소지가 있거나 위험한 응답을 생성하여 데이터 유출이나 시스템 장애로 이어질 수 있습니다.
예를 들어, 공격자는 고객 서비스 AI 시스템에 프롬프트를 삽입하여 모델의 제약 조건을 우회하여 민감한 고객 데이터에 액세스하거나 출력을 조작하여 운영 중단을 일으킬 수 있습니다.
이러한 위험을 완화하기 위해 조직은 강력한 입력 검증 메커니즘을 구현하고, 특히 프롬프트가 중요한 비즈니스 프로세스를 제어하는 데 사용되는 경우 잠재적인 취약성에 대해 AI 시스템을 정기적으로 감사해야 합니다.
2. 데이터 유출
데이터 유출은 기초 AI 계층에서 또 다른 중요한 문제입니다. 조직에서 민감한 데이터에서 인사이트를 생성하는 등의 작업에 AI 모델을 사용하는 경우, AI 상호 작용 중에 이러한 정보 중 일부가 실수로 노출될 수 있는 위험이 있습니다. 이는 모델 미세 조정이나 LLM(대규모 언어 모델)과의 확장된 대화 중에 특히 그렇습니다.
삼성 엔지니어가 ChatGPT와의 상호작용을 통해 실수로 민감한 기업 데이터를 유출한 사건이 대표적인 예입니다. 이러한 사건은 AI의 학습 데이터에 쉽게 통합될 수 있는 프롬프트 데이터를 기본적으로 비공개로 처리하는 것이 얼마나 중요한지를 강조합니다. 기본 모델 계층에서 개인 정보 보호를 위한 지속적인 발전이 이루어지고 있지만, 프롬프트 데이터가 모델에 포함되지 않도록 옵트아웃해야 합니다.
또한, 역사적으로 악용된 데이터 유출 방식은 LLM과의 장기적인 대화 맥락에서 더 쉽게 배포될 수 있습니다. Bing 챗봇의 이미지 마크다운 익스플로잇과 ChatGPT와 같은 문제를 인식하고 특히 LLM을 비공개로 배포할 때 이러한 문제를 해결해야 합니다.
기존 시스템을 표적으로 삼았던 데이터 유출 기법이 AI 환경에도 적용되고 있습니다. 예를 들어, 공격자는 이미지 마크다운 익스플로잇( ChatGPT에서 볼 수 있듯이)과 같은 전술을 사용하여 시간이 지남에 따라 민감한 데이터를 은밀하게 추출하기 위해 장기간 실행되는 챗봇 상호 작용을 악용할 수 있습니다.
조직은 엄격한 데이터 처리 정책을 채택하고 제어 기능을 구현하여 민감한 정보가 AI 모델을 통해 실수로 노출되지 않도록 함으로써 이러한 위험을 해결할 수 있습니다.
3. 잘못 구성된 인스턴스
잘못된 구성은 보안 취약점의 일반적인 원인이며, 특히 기초 AI 계층에서 더욱 그렇습니다. AI 시스템이 빠르게 배포됨에 따라 많은 조직에서 AI 환경을 올바르게 구성하는 데 어려움을 겪고 있으며, 이로 인해 모델이 잠재적인 위협에 노출되고 있습니다.
신뢰할 수 없는 타사 플러그인을 허용하거나 적절한 제어 없이 외부 데이터 통합을 허용하거나 AI 모델에 과도한 권한을 부여하는 등 잘못 구성된 AI 인스턴스는 심각한 데이터 유출을 초래할 수 있습니다. 또한 공유 책임 모델에서는 조직이 필요한 제한을 구현하지 않아 무단 액세스 또는 데이터 유출의 위험이 높아질 수 있습니다.
예를 들어, ChatGPT를 사용하면 플러그인을 타사 서비스와 통합할 수 있는데, 신뢰할 수 없는 플러그인이 실수로 기업 인스턴스에 연결될 경우 데이터 유출의 주요 원인이 될 수 있습니다. 마찬가지로 부적절한 액세스 제어 구성으로 인해 권한이 없는 사용자가 AI 시스템을 통해 민감한 데이터에 액세스할 수 있습니다.
레드팀은 새로운 개념은 아니지만, LLM은 블랙박스처럼 작동하고 그 결과를 예측할 수 없기 때문에 AI 스택의 모든 계층에서 특히 중요합니다. 예를 들어, Anthropic의 연구에 따르면 LLM은 모델 가중치에 숨겨진 공격을 통해 예기치 않게 드러날 수 있는 잠복 에이전트로 변할 수 있는 것으로 나타났습니다.
이러한 위험을 줄이기 위해 조직은 타사 서비스의 통합을 제한하고 권한을 제한하며 정기적으로 AI 환경 구성을 검토하는 등 AI 구성에 대한 모범 사례를 따라야 합니다. Skyhigh Security의 AI 애플리케이션 보안 사용 솔루션은 AI 시스템을 올바르게 구성하고 보호할 수 있는 도구와 모범 사례를 제공합니다.
레이어 1에서 AI 보안 강화
위의 보안 위험은 다양한 사용 사례에 따라 해결해야 합니다. 내부 대면 퍼블릭 배포의 경우, 기업에서 이미 모든 SaaS 애플리케이션 및 서비스에 대한 액세스를 검색, 제어, 보호하는 데 사용하고 있기 때문에 보안 서비스 에지(SSE 정방향 프록시)는 제어를 SaaS AI 애플리케이션으로 확장할 수 있는 논리적 플랫폼입니다. 반대로 프라이빗 인프라에 배포하는 경우에는 SSE 리버스 프록시(또는 LLM API를 통해)와 AI 가드레일을 결합한 LLM 방화벽이 제로 트러스트 보안을 달성하는 데 적합한 패러다임이 될 것입니다. 배포 모델에 관계없이 지속적인 검색, 레드팀 구성 및 구성 감사도 중요할 것입니다.
위의 그림은 기업 내부 또는 신뢰할 수 있는 사용자 및 디바이스에서 LLM 사용을 보호하기 위한 포괄적인 아키텍처를 보여줍니다. 고객 및 관리되지 않는 디바이스에 대한 유사한 접근 방식은 주로 역방향 프록시만 포함하는 하단 흐름에 초점을 맞출 것입니다.
AI 시스템의 성공과 보안을 보장하기 위해서는 기초 AI 배포 초기에 이러한 보안 위험을 해결하는 것이 중요합니다. 이 기초 계층에서 AI 보안을 강화하려면 조직은 다음과 같이 해야 합니다:
- 정기적인 감사를 실시합니다: AI 시스템을 정기적으로 검토하여 인젝션 취약성, 잘못된 구성 및 데이터 처리 문제를 즉시 확인합니다.
- 입력 유효성 검사를 구현하세요: 강력한 메커니즘을 사용하여 프롬프트와 입력의 유효성을 검사하여 프롬프트 엔지니어링 공격의 위험을 줄이세요.
- 데이터 보호 조치를 채택하세요: 강력한 데이터 거버넌스 프레임워크를 구축하여 AI 상호 작용 중 데이터 유출 위험을 최소화하세요.
- 안전한 AI 환경: 특히 타사 플러그인이나 서비스를 통합할 때 AI 시스템 구성 모범 사례를 따르세요.
앞으로 나아갈 길: 처음부터 AI 보안 확보
기초 AI는 많은 고급 AI 애플리케이션의 중추 역할을 하지만, 즉각적인 엔지니어링 공격, 데이터 유출, 잘못된 구성 등 심각한 보안 위험을 초래하기도 합니다. AI가 산업 전반의 혁신을 주도하는 데 중추적인 역할을 계속 수행함에 따라 기업은 이 기초 단계부터 보안을 우선시해야 합니다.
다음 블로그에서는 의사 결정을 안내하고 다양한 작업을 자동화하는 데 도움이 되는 AI 코파일럿, 가상 비서 및 생산성 도구인 레이어 2와 관련된 보안 요구 사항과 기회에 대해 살펴봅니다. AI 애플리케이션을 보호하고 위험을 완화하는 방법에 대해 자세히 알아보려면 Skyhigh AI 솔루션을 살펴보세요.
이 시리즈의 다른 블로그:
블로그로 돌아가기