인공지능의 충격파: 딥시크의 급부상이 기업 챗봇 환경을 재편하는 방법

Thyaga Vasudevan - 제품 부문 수석 부사장

2025년 2월 3일 6 분 읽기

2023년에 설립된 중국의 인공지능 스타트업인 딥시크는 지난 한 주 동안 급격한 인기 상승을 경험했습니다. ChatGPT를 제치고 미국 앱스토어에서 가장 높은 평점을 받은 무료 앱이 되었을 뿐만 아니라, 주요 기술주들이 큰 폭의 하락을 경험하면서 이 AI 비서가 시장에 큰 영향을 미쳤습니다. 대표적인 AI 칩 제조업체인 엔비디아는 주가가 17% 가까이 급락하여 월스트리트 역사상 하루 최대 손실인 약 589억 달러의 시가총액 손실을 기록했습니다.

딥시크를 둘러싼 혁신은 인류 전체에 유익한 AI의 민주화를 의미합니다. 이 AI 회사의 혁신은 기존 플랫폼에 필적하는 성능과 비용 및 에너지 효율을 갖춘 오픈 소스 AI 모델을 제공하게 되었습니다. 이 앱의 사용자 친화적인 인터페이스와 투명한 '소리 내어 생각하기' 기능은 사용자가 AI의 추론 과정을 따라갈 수 있도록 하여 앱의 매력을 더욱 강화했습니다.

자체 LLM 모델을 갖춘 또 다른 AI 챗봇의 출현은 AI 투자를 늘리는 기업, 특히 대기업에게 중요한 질문을 던지고 있습니다. 기업은 새로운 AI 챗봇을 어떻게 평가해야 할까요? 직원의 AI 애플리케이션 사용과 기업의 도입에 따른 장단점을 결정할 때 고려해야 할 요소는 무엇일까요? 최근 보고서와 실제 사건에 따르면 특정 LLM, 특히 강력한 보안 프레임워크가 없는 오픈소스 변종은 데이터 보안, 규정 준수 및 브랜드 평판에 심각한 위협이 될 수 있습니다.

이 블로그에서는 이에 대해 살펴봅니다:

• 딥시크릿과 같은 위험한 LLM의 등장
• AI와 관련된 주요 보안 취약점
• 기업이 새로운 AI 챗봇을 평가, 관리 및 보호하는 방법
• Skyhigh Security SSE와 같은 통합 접근 방식이 중요한 이유

위험한 LLM과 챗봇의 부상

딥시크와 같은 오픈 소스 LLM은 기대와 우려를 동시에 불러일으켰습니다. 기업에서 검증한 AI 솔루션과 달리 오픈소스 LLM은 민감한 비즈니스 데이터를 보호하는 데 필요한 강력한 보안 제어 기능이 부족한 경우가 많으며, 이는 Enkrypt AI의 최근 보고서에서 확인할 수 있습니다:

• 동급 모델보다 3배 더 편향된 모델
• 안전하지 않은 코드 생성 가능성 4배 증가
• 유해 콘텐츠에 11배 더 취약

이러한 문제에도 불구하고 DeepSeek는 24시간 만에 260만 다운로드 (2025년 1월 28일 기준)를 기록하며 ChatGPT를 제치고 Apple 앱스토어 1위에 등극했습니다. 이러한 폭발적인 채택은 근본적인 긴장감을 강조합니다: AI는 빠른 속도로 발전하고 있지만 보안 감독은 뒤처지는 경우가 많아 기업은 잠재적인 데이터 유출, 규정 위반, 평판 훼손에 노출되어 있습니다.

AI 챗봇 평가 시 주요 위험 영역

스카이하이 AI 보안 블로그에서 강조했듯이, 기업은 다음과 같은 AI의 내재적 위험을 인식해야 합니다:

• 사용량 데이터 부족: 보안팀은 기업 내에서 얼마나 많은 사용자가 섀도 AI 앱을 사용하여 업무를 수행하는지 파악하지 못합니다.
• LLM 리스크에 대한 이해 부족: 어떤 AI 앱과 LLM 모델이 위험한지 이해하는 것이 거버넌스의 핵심이지만 이러한 정보는 쉽게 얻을 수 없습니다.
• 데이터 유출: 사용자가 업무를 처리하는 과정에서 기업 데이터를 AI 앱에 업로드하면 민감한 데이터가 유출될 수 있습니다.
• 적대적인 프롬프트: AI 챗봇은 종종 편향적이거나 독성이 있거나 단순히 잘못된 응답(환각)을 제공할 수 있습니다. 또한 멀웨어를 포함할 수 있는 코드를 제공할 수도 있습니다. 이러한 응답을 사용하면 회사에 문제가 발생할 수 있습니다.
• 데이터 중독: 기업들은 비즈니스 요구에 맞게 맞춤형 퍼블릭 또는 프라이빗 AI 애플리케이션을 개발하고 있습니다. 이러한 앱은 회사 데이터를 사용하여 학습되고 조정됩니다. 실수로 또는 악의적인 의도로 학습 데이터가 손상되면 사용자 지정 AI 앱이 잘못된 정보를 제공할 수 있습니다.
• 규정 준수 및 규제 위험: AI 앱을 사용하면 데이터 유출, 민감한 데이터 노출, 사용자 지정 AI 챗봇과 관련된 부정확하거나 불리한 프롬프트 등으로 인해 기업이 규정 준수 및 규제 위험에 노출될 수 있습니다.

통합 접근 방식이 중요한 이유 Skyhigh Security SSE

기업은 새로운 AI 앱이나 챗봇을 평가할 때 기업 자산을 보호하는 데 필요한 제어 기능을 적용할 수 있는 도구를 갖추고 있는지 고려해야 합니다. 보안 스택이 AI 애플리케이션에 제어를 적용할 뿐만 아니라 이러한 애플리케이션에서 발생하는 악의적인 활동과 위협을 평가하고 대응할 수 있는 위치에 있는지 확인해야 합니다.

Skyhigh Security 같은 보안 서비스 에지(SSE) 솔루션은 엔터프라이즈 AI 보안의 핵심 구성 요소입니다. 이러한 도구는 기업이 온프레미스 및 클라우드 트래픽을 보호함에 따라 이미 엔터프라이즈 보안 스택에 통합되어 있습니다. 보안팀은 이미 거버넌스 및 데이터 보호 정책을 정의했으며, 이러한 정책을 AI 애플리케이션으로 쉽게 확장할 수 있습니다. 마지막으로, 유연한 배포 모드를 통해 웹, 섀도 앱, 제재된 앱, 비공개 앱을 포괄함으로써 SSE 솔루션은 기업 내 다양한 AI 공간을 커버하고 포괄적인 보안을 제공할 수 있습니다.

기업이 AI 앱에 적용하고자 하는 주요 제어 기능은 다음과 같습니다:

• 섀도 AI 거버넌스: 섀도 AI 애플리케이션의 거버넌스를 추진하려면 AI 애플리케이션의 사용량과 위험을 이해하고 제어를 적용해야 합니다. 선도적인 SSE 솔루션은 섀도 AI 애플리케이션에 대한 포괄적인 가시성을 제공합니다. 또한 탈옥, 편향성, 독성, 멀웨어 등의 위험에 대해 기본 LLM 모델이 얼마나 위험한지 등 AI 위험에 대한 심층적인 이해를 제공합니다. 마지막으로, 이러한 애플리케이션은 수동 개입 없이도 탐지, 그룹화 및 제어를 적용할 수 있습니다.
• 데이터 보호: AI 앱에 대한 기업의 주된 우려는 직원들이 AI가 제공하는 상당한 생산성 향상을 활용하고자 할 때 민감한 기업 데이터가 승인되지 않은 위험한 AI 앱으로 유출될 수 있다는 점입니다. 이 문제는 다른 섀도 애플리케이션과 다르지 않지만, AI 앱이 단기간에 크게 성장하면서 더욱 두드러지게 부각되고 있습니다. 기업은 SSE 솔루션을 사용하여 기존 데이터 보호 제어 기능을 AI 앱으로 확장할 수 있습니다. 일부 솔루션은 API를 통해 통합된 기업 승인 앱에 대해서만 이러한 기능을 제공하지만, Skyhigh Security 같은 주요 SSE 솔루션은 통합 데이터 보호 제어 기능을 제공합니다. 즉, 섀도 앱, 제재된 앱 또는 비공개 앱에 동일한 정책을 적용할 수 있습니다.
• 적대적 프롬프트 제어: LLM 모델의 등장으로 적대적 프롬프트에 새로운 위험 요소가 등장했습니다. 이는 최종 사용자가 탈옥이나 프롬프트 주입과 같은 바람직하지 않거나 불법적인 정보를 제공하기 위해 LLM 모델을 조작하려고 시도하는 것을 말합니다. 또한 AI 앱이 유해하거나, 편향되거나, 위험하거나, NSFW 또는 잘못된 콘텐츠를 응답으로 제공하는 것을 의미할 수도 있습니다. 이 두 가지 경우 모두 기업은 이러한 콘텐츠가 기업 자료에 사용되어 규제, 거버넌스 및 평판 위험에 노출될 위험이 있습니다. 기업들은 DLP와 마찬가지로 위험한 프롬프트를 탐지하고 해결하기 위해 제어 기능을 적용하려고 합니다.
• 데이터 중독 해결: 점점 더 많은 기업들이 OpenAI GPT 또는 커스텀 코파일럿을 사용하여 맞춤형 AI 챗봇을 개발함에 따라, 이러한 챗봇을 학습시키는 데 사용되는 학습 데이터의 무결성이 보안 관점에서 중요해졌습니다. 이 훈련 데이터 코퍼스에 액세스할 수 있는 사람이 부정확하거나 악의적인 입력으로 데이터를 '오염'시키면 챗봇의 응답에 영향을 미칠 수 있습니다. 특히 챗봇이 대중에게 공개되어 있는 경우, 기업은 법적 또는 기타 비즈니스 위험에 노출될 수 있습니다. 기업들은 이미 민감한 데이터를 제거하기 위해 학습 데이터에 대해 온디맨드(또는 저장 데이터) DLP 스캔을 수행하고 있습니다. 또한 잠재적인 프롬프트 인젝션 또는 데이터 중독 시도를 식별하기 위해 유사한 스캔을 수행하려고 합니다.
• 규정 준수 및 규제 집행: 기업들은 특히 클라우드 앱에 업로드되거나 외부와 공유되는 데이터에 대해 거버넌스 및 규정 준수를 시행하기 위해 SSE 솔루션을 사용하고 있습니다. 다양한 기업 사용 사례에서 AI를 채택함에 따라 이러한 제어를 AI 앱으로 확장하고 직원에 대한 액세스를 계속 가능하게 하기 위해 SSE 솔루션을 찾고 있습니다.

AI 보안의 미래

AI의 급속한 발전은 새로운 보안 패러다임, 즉 혁신이 데이터 보안을 희생시키지 않도록 보장하는 새로운 보안 패러다임을 요구합니다. LLM을 활용하고자 하는 기업은 새로운 위협으로부터 보호하는 AI 보안 프레임워크를 채택하여 신중하게 접근해야 합니다.

Skyhigh Security 기업이 가장 중요한 자산을 안전하게 보호하면서 AI를 안전하게 도입할 수 있도록 지원하기 위해 최선을 다하고 있습니다. 위험한 AI 사용으로부터 조직을 보호하는 방법에 대해 자세히 알아보려면 Skyhigh AI 보안 블로그에서 최신 인사이트를 살펴보세요.

블로그로 돌아가기