세카르 사루카이 - 사이버 보안@UC버클리
2024년 9월 28일 6 분 읽기
업계의 모든 징후는 AI 도구와 서비스의 혁신과 도입이 급속도로 성장하고 있음을 가리킵니다. 크런치베이스의 데이터에 따르면 4월부터 6월까지 인공지능(AI) 스타트업에 대한 투자는 240억 달러로 전 분기 대비 두 배 이상 급증했습니다. 최신 Y 컴비네이터 코호트의 창업자 중 75%가 AI 스타트업에 종사하고 있으며, 거의 모든 기술 벤더가 AI 중심으로 전략을 개편하고 있습니다.
최근 PWC의 설문조사에 따르면 50% 이상의 기업이 이미 genAI를 도입했으며, 미국 기업의 73%가 비즈니스 기능의 일부 영역에서 이미 AI를 도입한 것으로 나타났습니다. 또한, 이번 달에 OpenAI는 엔터프라이즈 제품을 출시한 지 1년도 채 되지 않아 100만 번째 엔터프라이즈 시트를 달성했다고 발표했습니다.
이러한 투자와 혁신의 이면에는 AI의 위험성이라는 단점도 있으며, 기업이 프로덕션에서 AI를 사용하지 못하게 하는 가장 큰 보안, 안전, 개인정보 보호 및 거버넌스 문제에 대한 관점도 존재합니다. 시리즈의 첫 번째 블로그인 이 글에서는 지난 1년 동안 수집한 AI 스택이 직면한 주요 보안 과제에 대한 제 관점을 담았습니다.
간소화된 AI 스택
AI 기술의 확산은 다음 세 가지 계층에서 살펴볼 수 있습니다:
레이어 1: 기초 AI
기초 모델은 생성형 인공 지능의 한 형태입니다. 인간의 언어 기반 프롬프트에서 출력을 생성합니다. 모델은 생성적 적대 신경망, 트랜스포머, 가변 인코더를 포함한 복잡한 신경망을 기반으로 합니다. 가장 최근에는 멀티모달 모델을 갖춘 GPT-4o가 출시되는 등 기초 AI의 혁신 속도는 놀라울 정도로 빨라지고 있습니다. 이 단계에 막대한 자금이 투입되어 핵심 AI 인프라 계층에서 승자가 가려지고 있습니다.
이 계층에는 두 가지 유형의 인프라가 있습니다:
- OpenAI, Google Gemini, Mistral, Grok, Llama, Anthropic 등의 기반 모델이 주류를 이루고 있습니다. 이러한 모델(오픈 소스 또는 클로즈 소스)은 방대한 데이터 코퍼스(공개 또는 비공개)를 기반으로 학습됩니다. 모델은 추론에 SaaS(예: ChatGPT), PaaS(예: AWS Bedrock, Azure/Google AI 플랫폼)로 사용하거나 프라이빗 인스턴스로 배포할 수 있습니다. 이러한 파운데이션 모델 기업들만 해도 엔비디아의 AI 칩 비즈니스의 거의 50%를 차지합니다.
- 수천 개의 사용자 정의 모델이 Hugging Face와 같은 마켓플레이스에서 찾을 수 있습니다. 이러한 모델은 타깃 사용 사례 또는 업종에 맞는 특수 데이터 세트(공개 또는 비공개)에 대해 학습됩니다. 또한 SaaS 또는 PaaS 서비스로 사용하거나 프라이빗 인스턴스에 배포하여 사용할 수도 있습니다. 또한 기업은 프라이빗 데이터 센터, 프라이빗 클라우드 또는 하이브리드 환경(예: H2O.ai)에 배포되는 자체 미세 조정 모델을 만들고 배포할 수 있습니다. 예를 들어, 최근 Microsoft의 분기별 보고서에 따르면 AI PaaS를 고려하지 않은 일반적인 퍼블릭 클라우드의 성장은 미미한 반면, 퍼블릭 클라우드 비즈니스에서 가장 빠르게 성장하는 부분은 AI PaaS입니다.
LLM/SLM 사용 사례:
각 계층의 고객 사용 사례를 두 가지 관점에서 요약하여 볼 수 있습니다: X축은 AI 노력/애플리케이션이 내부 직원을 대상으로 하는지 아니면 외부 고객/파트너를 대상으로 하는지를 식별하는 축입니다. Y축은 AI 애플리케이션의 배포가 프라이빗 인스턴스(예: Google/MS AI 또는 AWS Bedrock)에 있는지 또는 타사 SaaS 서비스(예: ChatGPT)에 있는지를 식별합니다. 이 매트릭스는 보안 위험, 구매자/도입자 움직임 및 주요 요구 사항을 명확히 파악하는 데 도움이 됩니다.
위의 2×2 매트릭스는 기업에서 LLM을 도입하는 다양한 사용 사례와 고객 배포 우선순위를 보여줍니다. 녹색 셀은 현재 투자/POC를 나타냅니다. 노란색 셀은 현재 진행 중인 개발을, 빨간색 셀은 향후 잠재적 투자를 나타냅니다.
레이어 2: AI 공동 파일럿
마인드쉐어가 기초 AI 계층에서 성공의 척도라면, 매출은 의심할 여지없이 이 계층의 척도입니다. 인터넷 붐이 일어났을 때와 마찬가지로 인터넷 인프라 공급업체(AT&T를 예로 들 수 있습니다)는 인터넷 혁명의 핵심이었지만 비즈니스의 최대 수혜자는 아니었습니다. 인터넷 인프라를 활용해 Google, Uber, Meta와 같이 새롭고 흥미로운 애플리케이션을 개발한 애플리케이션이 더 큰 승자였습니다. 마찬가지로 AI 시대에는 이미 큰 수익을 창출하는 애플리케이션이 AI 부조종사의 형태로 등장하고 있습니다 . 이그나이트 2023에서 마이크로소프트의 CEO인 사티아 나델라가 모든 사물과 모든 사람이 부조종사가 되는 미래를 꿈꾸며 스스로를 부조종사 회사라고 선언한 것처럼 말이죠. 연구에 따르면 개발자 생산성은 30% 이상, 보험금 청구 처리 생산성은 이미 50% 이상 향상될 가능성이 있는 것으로 나타났습니다. 최근 나델라가 코파일럿이 Microsoft의 가장 빠르게 성장하는 M365 제품군이라고 말한 것도 당연한 일입니다. 이미 엔터프라이즈 코파일럿 배포의 선두 주자가 되었습니다. 스카이하이의 최근 데이터는 지난 6개월 동안 M365 Copilot의 사용량이 5000% 이상 증가한 것으로 이를 증명합니다!
더 중요한 것은 M365 Copilot 보급률이 M365 비즈니스의 1%에 불과함에도 불구하고 대기업에서 사용되고 있는 지배적인 genAI 기술이라는 점이며, 이는 엄청난 성장의 여지를 남깁니다. 기업에 미치는 영향은 과소평가되어서는 안 됩니다. 색인되는 기업 데이터의 양과 M365 Copilot과 공유되는 데이터는 전례가 없을 정도입니다. 거의 모든 기업이 ChatGPT를 차단하고 있으며, 거의 모든 기업이 Azure AI 서비스(주로 OpenAI)를 사용하는 O365 Co-pilot도 허용하고 있습니다. M365 코파일럿의 좌석당 추가 요금제는 모든 SaaS 공급업체가 자체 코파일럿을 출시하여 수익성 있는 수익원을 창출하는 모델이 되고 있습니다.
공동 파일럿 사용 사례:
위의 2×2 매트릭스는 기업에서 코파일럿을 도입하는 다양한 사용 사례와 고객 배포 우선순위를 보여줍니다. 녹색 셀은 현재 투자/POC를 나타냅니다. 노란색 셀은 현재 진행 중인 개발을, 빨간색 셀은 향후 잠재적 투자를 나타냅니다.
레이어 3: AI 자동 파일럿
그리고 사람의 개입이 거의 또는 전혀 없이 작업을 수행하는 에이전트 시스템인 AI 자동 파일럿 계층이 있습니다. 이는 현재 수동적이고 비용이 많이 들며 일부 추정에 따르면 SaaS/소프트웨어 비즈니스의 거의 8~10배에 달하는 SI/컨설팅 비즈니스를 혁신할 수 있는 계층이 될 것으로 기대됩니다. 초기 단계이긴 하지만 이러한 에이전트 시스템(자율 에이전트 역할을 하도록 설계된 시스템)은 사용자가 설정하거나 암시한 목표에 따라 작업 분석, 작업 분류, 자율적 작업 실행에 탁월한 능력을 발휘할 것으로 기대됩니다. 이는 잠재적으로 인간을 배제할 수 있습니다. 현재 이 분야를 타깃으로 하는 많은 VC 펀딩이 이루어지고 있습니다. 최근 YC 코호트의 75%에 해당하는 스타트업 중 상당수가 이 계층에 속하는 AI 스타트업입니다. 지난주 Salesforce는 직원 생산성 향상을 위한 에이전트포스(Agentforce )를 발표했고, Microsoft는 비즈니스 프로세스를 자동화할 수 있는 중소기업을 대상으로 한 코파일럿 에이전트를 출시하고 맞춤형 에이전트를 지원하기 위해 코파일럿 스튜디오를 확장했습니다.
개인 비서(예: Multion.ai), 지원 에이전트(예: Ada.cx, intercom.com), 개발자(예: Cognition.ai(devin), Cursor.com, Replit.com), 영업팀(예: Apollo.io, accountstory.com), 보안 운영(예: AirMDR.com, Prophetsecurity.ai, AgamottoSecurity.com, torq.io), UX 연구원(예: Altis.io, Maze.co), UX 디자이너(예: DesignPro.ai), 시스템 통합자(예: TechStack.management), 프로젝트 관리자(예: Clickup.com), 재무 백 오피스 직원(예: Prajna.ai), 심지어 범용 AI 직원(예: ema.co) 등 다양한 분야에 적용될 수 있습니다. 일부 연구에 따르면 작업을 자동화하는 이러한 에이전트 시스템은 1.5조 달러의 추가 소프트웨어 지출을 초래할 수 있으며, 이러한 새로운 유형의 기업이 IT 환경을 지배할 수 있는 차세대 서비스형 소프트웨어 기업의 선두주자로 자리매김할 수 있다고 합니다.
자동 조종 사용 사례:
위의 2×2 매트릭스는 기업에서 에이전트를 도입하는 다양한 사용 사례와 고객 배포 우선순위를 보여줍니다. 녹색 셀은 현재 투자/POC를 나타냅니다. 노란색 셀은 현재 진행 중인 개발을 나타내고 빨간색 셀은 향후 잠재적 투자를 나타냅니다.
AI 보안 요구 사항과 기회
2년 전 ChatGPT가 공개된 이후, 프롬프트 엔지니어링, 탈옥, 환각, 데이터 중독 등 지금까지 알려지지 않았던 새로운 보안, 개인정보 보호 및 거버넌스 용어가 주류가 된 것은 당연한 일입니다. 업계에서는 이러한 새로운 이슈에 발 빠르게 대응하기 위해 다양한 LLM이 이러한 특성을 보이는 성향을 측정하는 데 사용되는 몇 가지 지표를 만들었습니다. 오픈 월드와이드 애플리케이션 보안 프로젝트(OWASP)는 포괄적이고 활발하게 업데이트되는 상위 10가지 LLM 위험을 식별하는 데 훌륭한 작업을 수행했습니다. 또한 Enkrypt AI는 편향성, 독성, 탈옥, 멀웨어의 네 가지 측면에서 주요 LLM의 안전 점수를 벤치마킹할 수 있는 편리한 도구인 종합적인 LLM 안전 리더보드를 만들고 유지하는 데 있어 훌륭한 작업을 수행해 왔습니다. 레드팀을 통해 사용자 지정 LLM에 대해서도 동일한 분석을 수행할 수 있습니다.
그러나 AI 스택의 전체 맥락을 고려할 때 AI 보안을 좁게 보는 것은 순진한 생각입니다. 잠재적으로 다른 구매자가 제기하는 고유한 문제를 해결하기 위해서는 각 계층마다 고유한 문제를 고려해야 합니다. 예를 들어, 고객이 배포 중인 모델의 문제를 파악하기 위한 레드팀링은 애플리케이션 팀의 관심사가 될 수 있는 반면, 공동 파일럿이나 모델 미세 조정에 사용되는 데이터를 통한 데이터 유출은 정보 보안 또는 CDO의 관심사가 될 수 있습니다.
다음 몇 개의 블로그에서는 설명한 세 가지 계층 각각에 대한 보안 위험과 제안된 솔루션에 대해 자세히 살펴보겠습니다.
이 시리즈의 다른 블로그:
블로그로 돌아가기