세카르 사루카이 - 사이버 보안@UC버클리
2024년 10월 16일 6 분 읽기
이전 블로그에서는 모든 AI 모델을 지원하는 중요한 첫 번째 계층인 기초 AI와 관련된 보안 문제를 살펴보았습니다. 즉석 엔지니어링 공격, 데이터 유출, 잘못 구성된 환경과 같은 위험을 살펴보았습니다. AI 기술이 발전함에 따라 새로운 취약점을 방지하기 위해 각 계층을 보호하는 것이 중요합니다.
이 블로그에서는 레이어 2: AI 코파일럿과 관련된 보안 위험에 대해 자세히 살펴봅니다. 이러한 AI 기반 가상 비서는 특정 작업을 자동화하고 의사 결정을 지원하며 생산성을 향상시키기 위해 산업 전반에 걸쳐 빠르게 배포되고 있습니다. AI 코파일럿은 강력한 이점을 제공하지만, 안전한 사용을 보장하기 위해 조직이 해결해야 하는 새로운 보안 문제도 야기합니다.
AI 코파일럿 계층의 보안 위험
직원이 사용하는 타사 AI 코파일럿(예: Microsoft 코파일럿)과 고객 또는 파트너를 상대하는 비즈니스 팀에서 개발한 맞춤형 AI 코파일럿의 보안 위험은 서로 다릅니다. 예를 들어, 타사 AI 코파일럿의 지식 그래프에 대한 액세스 및 조작은 제한적이며 모델 자체의 학습에 사용되는 데이터에 대한 제어도 제한적입니다. 그럼에도 불구하고 레이어 1에서 다루는 보안 문제는 데이터, 컨텍스트, 권한의 세 가지 영역에 중점을 두고 보강하여 더 광범위한 코파일럿 보안 요구 사항을 해결해야 합니다.
1. 데이터 중독 및 모델 조작
AI 코파일럿은 대량의 데이터에 의존하여 응답을 생성하고 사용자의 복잡한 작업을 지원합니다. 하지만 데이터에 대한 의존도가 높기 때문에 공격자가 입력 데이터를 조작하여 모델의 출력을 왜곡하는 데이터 중독의 위험이 있습니다. 이로 인해 AI 코파일럿이 잘못된 제안을 하거나 잘못된 결정을 내리거나 심지어 오염된 데이터를 기반으로 유해한 작업을 실행할 수도 있습니다.
악의적인 공격자는 AI 코파일럿을 구동하는 모델을 미세 조정하는 데 사용되는 학습 데이터를 변경하여 시스템이 예측 불가능하게 작동하거나 특정 결과를 선호하도록 만들 수 있습니다. 예를 들어, 올해 초 연구원들은 허깅 페이스를 샘플링하여 100개 이상의 모델이 악의적이라는 사실을 발견했습니다. 재무 분석이나 고객 지원과 같은 중요한 업무에 AI 코파일럿을 사용하는 환경에서는 이 취약점이 광범위한 결과를 초래할 수 있습니다. 이 취약점은 잠재적으로 조직을 외부 위협에 노출시켜 금전적 피해와 평판 손상을 초래할 수 있습니다.
완화 팁: 데이터 중독의 위험을 줄이려면 조직은 엄격한 데이터 검증 메커니즘을 구현하고 AI 모델을 학습하거나 업데이트하는 데 사용되는 모든 데이터의 무결성을 모니터링해야 합니다. 정기적으로 감사를 실시하고 데이터 계보 도구를 사용하여 AI 코파일럿 시스템으로 유입되는 데이터의 흐름을 추적하면 잠재적인 취약점을 파악하는 데 도움이 될 수 있습니다.
2. 상황별 위험 및 공급망 공격
AI 코파일럿은 사용자 행동, 특정 회사 정보 또는 실시간 데이터 피드와 같은 컨텍스트 데이터를 활용하여 맞춤형 대응을 하는 경우가 많습니다. 그러나 컨텍스트에 대한 이러한 의존은 공격자가 컨텍스트 데이터를 조작하여 시스템의 동작을 변경하는 컨텍스트 중독의 위험을 초래합니다.
예를 들어 Microsoft의 Copilot 시스템은 이메일, 문서, 채팅을 포함한 기업 데이터에 대한 풍부한 시맨틱 인덱스를 생성하여 정확하고 관련성 있는 응답을 제공합니다. 하지만 이러한 컨텍스트는 표적 공격에 악용될 수 있습니다. 공격자는 악성 데이터를 삽입하거나 기본 컨텍스트를 변경함으로써 AI 코파일럿이 오해의 소지가 있는 출력을 생성하거나, 민감한 정보를 실수로 공유하거나, 스피어 피싱 공격을 수행하거나, 기타 유해한 조치를 취하도록 만들 수 있습니다. Microsoft Copilot 컨텍스트에서 데이터 공급망 중독의 또 다른 형태는 대상 사용자와 악성 파일을 공유하는 것만으로도 수행될 수 있습니다. 이 공격은 사용자가 공유를 수락하지 않고 공유된 악성 파일을 인지하지 못하더라도 작동합니다.
완화 팁: 조직은 AI 코파일럿이 컨텍스트 데이터를 사용하고 액세스하는 방법에 대한 명확한 규칙을 수립하는 것이 좋습니다. 여기에는 AI 코파일럿 학습에 포함될 수 있는 데이터 유형을 제한하고, 액세스 제어를 시행하며, AI 결과물에 조작 징후가 있는지 정기적으로 감사하는 것이 포함됩니다. 또한 레드팀 (모의 공격)을 통해 AI 코파일럿 시스템과 컨텍스트 데이터 처리의 취약점을 파악할 수 있습니다.
3. 권한 오용 및 에스컬레이션
AI 코파일럿과 관련된 주요 위험은 권한의 오용입니다. 이러한 시스템은 작업을 효율적으로 수행하기 위해 여러 데이터 세트, 애플리케이션 또는 회사 인프라에 대한 액세스가 필요한 경우가 많습니다. 제대로 관리하지 않으면 AI 코파일럿에게 과도한 권한이 부여되어 민감한 데이터에 액세스하거나 의도한 범위를 벗어난 작업을 수행할 수 있습니다.
이는 공격자가 AI 코파일럿의 권한을 악용하여 승인되지 않은 시스템이나 기밀 정보에 액세스하는 에스컬레이션 공격의 위험을 초래합니다. 경우에 따라 잘못 구성된 권한으로 인해 AI 코파일럿이 계정 설정을 변경하거나 중요한 파일을 삭제하거나 민감한 데이터를 타사 애플리케이션에 노출하는 등의 작업을 수행할 수 있습니다.
예를 들어, 타사 플러그인과 통합되어 있어 해당 플러그인을 제대로 검증하지 않을 경우 데이터 유출로 이어질 수 있는 GitHub의 Copilot은 위험 요소로 지목되었습니다. 코넬 대학교에서 실시한 연구에 따르면 GitHub의 Copilot을 사용하여 생성된 프로그램의 약 40%에서 취약점이 발견되었으며, 이는 엄격한 감독 없이 AI 시스템에 과도한 권한을 부여할 때의 현실적인 위험을 강조합니다.
완화 팁: AI 코파일럿 권한 관리를 위한 모범 사례에는 최소 권한 원칙(AI 코파일럿이 작업을 수행하는 데 필요한 최소한의 권한만 부여)을 적용하고 정기적으로 액세스 로그를 검토하는 것이 포함됩니다. 또한 비정상적인 행동을 감지하고 플래그를 지정하는 자동화된 도구를 사용하여 무단 액세스 또는 권한 상승으로 인한 위험을 완화해야 합니다.
4. 불량 AI 조종사 및 섀도우 AI
AI 코파일럿이 확산됨에 따라 조직은 불량 AI 코파일럿 또는 섀도 AI (감독 없이 배포된 승인되지 않은 AI 애플리케이션)의 위협에 직면할 수 있습니다. 이러한 섀도 시스템은 조직의 공식 보안 프로토콜 외부에서 작동하여 데이터 유출, 규정 준수 위반, 운영 실패 등 심각한 위험을 초래할 수 있습니다.
선의의 직원이 오픈 소스 AI 모델을 사용하거나 악의적인 내부자가 회사의 통제를 우회하려는 목적으로 불량 AI 코파일럿을 만들 수 있습니다. 이러한 승인되지 않은 시스템은 보안 침해나 규정 준수 감사에서 그 존재가 드러날 때까지 눈에 띄지 않는 경우가 많습니다.
섀도 AI의 등장은 승인되지 않은 클라우드 서비스와 애플리케이션을 회사 승인 없이 직원들이 일반적으로 사용하던 섀도 IT의 초창기에 비유되기도 합니다. 마찬가지로 섀도 AI는 오용을 방지하기 위한 공식적인 보안 조치 없이 조직의 인프라에 알려지지 않은 취약점이 숨어 있을 수 있는 위험을 초래합니다.
완화 팁: 불량 AI 코파일럿의 증가에 대응하기 위해 조직은 모든 AI 배포에 대한 엄격한 감독을 유지해야 합니다. AI 거버넌스 프레임워크를 구현하면 승인된 AI 코파일럿만 배포되도록 할 수 있으며, 지속적인 모니터링과 자동화된 검색 도구를 통해 조직 내에서 실행 중인 승인되지 않은 AI 애플리케이션을 감지할 수 있습니다.
AI 코파일럿 확보하기: 모범 사례
위의 위험은 사용 사례에 따라 해결할 수 있습니다. 외부 타사 AI 코파일럿(예: Microsoft 코파일럿 또는 Github 코파일럿)을 사용하려면 먼저 검색을 통해 섀도 AI 코파일럿/AI 사용 현황을 파악해야 합니다. Skyhigh의 확장된 AI 위험 속성 레지스트리는 기업에서 사용하는 타사 AI 코파일럿을 발견하는 데 유용한 방법이 될 수 있습니다. 이 계층에서의 데이터 보호는 네트워크 기반 데이터 보안과 API 기반 데이터 보안의 조합으로 해결하는 것이 가장 좋습니다. 인라인 제어는 보안 서비스 에지(SSE) 포워드 프록시(예: AI 코파일럿에 파일 업로드용)와 자체 개발 AI 코파일럿/챗봇용 애플리케이션/LLM 리버스 프록시를 통해 적용하거나 WebSocket을 사용하는 애플리케이션 상호 작용용 브라우저 기반 제어를 통해 적용될 수 있습니다.
또 다른 위험은 AI 코파일럿에 연결할 수 있는 다른 애플리케이션과 관련된 것입니다. 예를 들어, Microsoft Copilot은 Salesforce에 양방향으로 연결하도록 구성할 수 있습니다. 이러한 연결된 애플리케이션에 대한 가시성을 확보하기 위해 Microsoft Copilot 구성을 쿼리하는 기능은 이러한 유출 경로를 차단하는 데 필수적입니다.
AI 코파일럿 애플리케이션 수준의 제어 외에도 AI 코파일럿이 사용하는 검색 증강 생성(RAG) 지식 그래프와 인덱스에 대해서도 특별한 고려가 필요합니다. 타사 AI 코파일럿은 이 점에서 불투명합니다. 따라서 조직은 사용되는 벡터/그래프 저장소에 대한 인사이트와 정책 설정을 위해 AI 코파일럿의 API 지원에 의존하게 됩니다. 특히 이 계층에서 해결해야 할 어려운 문제는 데이터 수준에서의 권한 관리와 AI 코파일럿이 만든 콘텐츠에 대해 실수로 발생할 수 있는 권한 에스컬레이션에 관한 것입니다. 많은 AI 코파일럿이 아직 인라인/실시간 제어를 위한 강력한 API를 지원하지 않아 문제가 더욱 복잡해집니다. 마지막으로, API는 데이터 제어를 위한 지식 베이스의 거의 실시간 보호 및 온디맨드 스캔과 데이터 중독 공격에 대한 스캔에 사용할 수 있습니다.
AI 코파일럿과 관련된 보안 위험으로부터 보호하기 위해 조직은 보안에 대한 다층적 접근 방식을 채택해야 합니다. 주요 조치는 다음과 같습니다:
- 정기적인 감사를 실시합니다: 데이터 중독 취약성, 컨텍스트 조작 위험, 잘못된 권한 구성이 있는지 AI Copilot 배포를 정기적으로 검토하세요.
- 권한 제어를 구현하세요: 최소 권한 액세스 모델을 사용하여 AI 코파일럿이 필요한 데이터와 시스템에만 액세스할 수 있도록 하세요.
- 자동화된 모니터링 도구를 배포하세요: 자동화된 도구를 구현하여 AI 코파일럿의 행동을 모니터링하고 무단 액세스 또는 의심스러운 데이터 상호 작용과 같은 이상 징후를 감지하세요.
- AI 사용 관리: AI 배포를 감독하고, 불량 AI 코파일럿을 방지하며, 보안 및 개인정보 보호 규정을 준수할 수 있도록 명확한 거버넌스 프레임워크를 구축하세요.
이러한 모범 사례를 채택함으로써 조직은 보안 위험을 최소화하면서 AI 코파일럿의 이점을 극대화할 수 있습니다.
앞으로 나아갈 길: AI 레이어 보안
AI 코파일럿은 생산성을 높이고 비즈니스 성과를 개선할 수 있는 상당한 잠재력을 제공하지만, 새로운 보안 위험도 수반합니다. 데이터 중독부터 악성 AI 코파일럿까지, 조직은 이 중요한 AI 기술을 보호하기 위해 선제적인 조치를 취해야 합니다. AI의 고급 계층으로 이동함에 따라 강력한 보안 조치의 필요성은 더욱 커지고 있습니다.
다음 블로그에서는 레이어 3과 다른 자율 AI 시스템에서 발생하는 보안 문제를 살펴볼 예정이니 기대해 주세요. AI 애플리케이션 보안에 대해 자세히 알아보려면 Skyhigh AI 솔루션을 살펴보세요.
이 시리즈의 다른 블로그:
블로그로 돌아가기