세카르 사루카이 - 사이버 보안@UC버클리
2024년 10월 25일 6 분 읽기
이전 블로그에서는 작업과 의사 결정을 지원하지만 여전히 사람의 입력에 의존하는 시스템인 AI 코파일럿과 관련된 보안 문제를 살펴봤습니다. 데이터 중독, 권한 오용, 악성 AI 코파일럿과 같은 위험에 대해 논의했습니다. LangGraph 및 AutoGen과 같은 AI 에이전트 프레임워크의 등장으로 AI 시스템이 발전함에 따라, 특히 다음 단계의 AI 개발인 AI 코파일럿에서 보안 위험의 잠재력이 증가하고 있습니다.
이번 시리즈의 마지막 블로그에서는 사람의 개입이 거의 또는 전혀 없이 작업을 수행할 수 있는 자율 에이전트 시스템인 레이어 3: AI 오토파일럿에 대해 집중적으로 다뤄보겠습니다. AI 오토파일럿은 작업 자동화 및 운영 효율성을 위한 엄청난 잠재력을 제공하지만, 안전한 배포를 위해 조직이 해결해야 하는 중대한 보안 위험도 존재합니다.
AI 오토파일럿의 장점과 위험성
에이전트 시스템은 대규모 언어 모델(LLM)과 검색 증강 생성(RAG)을 기반으로 구축됩니다. 또한 인트로스펙션, 작업 분석, 함수 호출을 통해 조치를 취하고 다른 에이전트나 사람을 활용하여 작업을 완료할 수 있는 기능을 추가합니다. 이를 위해서는 에이전트가 프레임워크를 사용하여 에이전트와 사람의 신원을 식별하고 검증할 뿐만 아니라 작업과 결과를 신뢰할 수 있는지 확인해야 합니다. 레이어 1에서 사람과 상호 작용하는 LLM의 단순한 모습은 작업을 완료하기 위해 함께 작업하는 동적으로 구성된 에이전트 그룹의 모음으로 대체되어 보안 문제가 여러 배로 증가합니다. 실제로 가장 최근에 출시된 Anthropic의 Claude는 사용자를 대신해 컴퓨터를 사용할 수 있는 기능으로, AI가 자율적으로 작업을 완료하는 데 필요한 도구를 사용할 수 있어 사용자에게는 축복이지만 보안 담당자에게는 도전이 될 수 있습니다.
1. 불량 또는 적대적 자율 행동
AI 오토파일럿은 사전 정의된 목표에 따라 독립적으로 작업을 실행할 수 있습니다. 그러나 이러한 자율성은 프로그래밍 결함이나 악의적인 조작으로 인해 오토파일럿이 의도된 동작에서 벗어날 수 있는 로그 액션의 위험을 내포하고 있습니다. 불량 AI 시스템은 데이터 유출부터 운영 실패에 이르기까지 의도하지 않았거나 해로운 결과를 초래할 수 있습니다.
예를 들어, 중요 인프라 시스템을 관리하는 AI 오토파일럿이 입력 데이터를 잘못 해석하거나 프로그래밍을 감독하지 않아 실수로 전력망을 차단하거나 필수 기능을 비활성화할 수 있습니다. 일단 작동하기 시작하면 즉각적인 개입 없이는 이러한 악성 동작을 중지하기 어려울 수 있습니다.
적대적 공격은 특히 자율적인 결정이 중대한 결과를 초래할 수 있는 산업에서 AI 오토파일럿에 심각한 위협이 됩니다. 공격자는 입력 데이터나 환경을 교묘하게 조작하여 AI 모델이 잘못된 결정을 내리도록 속일 수 있습니다. 이러한 적대적인 공격은 종종 탐지되지 않도록 설계되어 AI 시스템의 의사 결정 과정의 취약점을 악용합니다.
예를 들어, 공격자가 환경을 교묘하게 변경(예: 드론의 경로에 센서를 방해하는 물체를 배치)하여 자율 드론의 비행 경로를 변경하도록 조작할 수 있습니다. 마찬가지로 자율 주행 차량도 눈에 띄지 않는 작은 도로 표지판이나 표시의 변경으로 인해 정지하거나 경로를 벗어나도록 속일 수 있습니다.
완화 팁: 실시간 모니터링 및 행동 분석을 구현하여 예상되는 AI 행동에서 벗어나는 것을 감지하세요. 자율 시스템이 승인되지 않은 작업을 실행하기 시작하면 즉시 중지할 수 있는 페일 세이프 메커니즘을 구축해야 합니다. 적대적 공격을 방어하기 위해 조직은 강력한 입력 검증 기술을 구현하고 AI 모델을 자주 테스트해야 합니다. AI 모델이 조작 입력을 인식하고 저항하도록 훈련하는 적대적 훈련은 AI 오토파일럿이 이러한 위협을 견딜 수 있도록 보장하는 데 필수적입니다.
2. 투명성 부족 및 윤리적 위험
AI 오토파일럿이 사람의 직접적인 감독 없이 운영되면 책임 문제가 더욱 복잡해집니다. 자율 시스템이 잘못된 결정을 내려 재정적 손실, 운영 중단 또는 법적 문제를 초래하는 경우 책임 소재를 파악하기가 어려울 수 있습니다. 이러한 명확한 책임의 부재는 특히 안전과 공정성이 가장 중요한 산업에서 중대한 윤리적 문제를 제기합니다.
또한 이러한 시스템이 공정성이나 안전성보다 효율성을 우선시하여 차별적인 결과를 초래하거나 조직의 가치와 상충되는 결정을 내릴 때 윤리적 위험이 발생할 수 있습니다. 예를 들어, 채용 시스템의 AI 자동 조종 장치가 실수로 다양성보다 비용 절감 조치를 우선시하여 편향된 채용 관행을 초래할 수 있습니다.
완화 팁: 책임 프레임워크와 윤리 감독 위원회를 구축하여 AI 오토파일럿이 조직의 가치에 부합하는지 확인합니다. AI 의사 결정을 모니터링하기 위해 정기적인 감사 및 윤리적 검토를 실시하고, 자율적 행동으로 인해 발생할 수 있는 잠재적인 법적 문제를 처리할 수 있는 명확한 책임 구조를 수립해야 합니다.
3. 상담원 신원, 인증 및 권한 부여
다중 상담원 시스템의 근본적인 문제는 상담원의 신원을 인증하고 클라이언트 상담원의 요청을 승인해야 한다는 점입니다. 상담원이 다른 상담원으로 가장할 수 있거나 요청하는 상담원의 신원을 강력하게 확인할 수 없는 경우 문제가 될 수 있습니다. 에스컬레이션된 권한을 가진 에이전트들이 서로 소통하며 작업을 완료하는 미래 세계에서는 세분화된 권한 제어가 엄격하게 적용되지 않으면 즉각적인 피해가 발생할 수 있고 이를 감지하기 어려울 수 있습니다.
전문 에이전트가 확산되고 서로 협업함에 따라 기업 내 불량 에이전트 침투를 방지하기 위해 에이전트 신원 및 자격 증명을 권한 있게 검증하는 것이 점점 더 중요해지고 있습니다. 마찬가지로 권한 부여 체계는 작업 완료를 위한 에이전트 분류, 역할 및 기능 기반의 자동화된 사용을 고려해야 합니다.
완화 팁: 적대적 공격을 방어하기 위해 조직은 강력한 입력 유효성 검사 기술을 구현하고 AI 모델을 자주 테스트해야 합니다. AI 모델이 조작 입력을 인식하고 저항하도록 훈련하는 적대적 훈련은 AI 오토파일럿이 이러한 위협을 견딜 수 있도록 보장하는 데 필수적입니다.
4. 자율성에 대한 과도한 의존
AI 오토파일럿을 도입하는 기업이 늘어나면서 자동화에 지나치게 의존할 위험이 커지고 있습니다. 이는 중요한 결정을 사람의 감독 없이 전적으로 자율 시스템에 맡길 때 발생합니다. AI 오토파일럿은 일상적인 작업을 처리하도록 설계되었지만, 중요한 결정에서 사람의 입력을 배제하면 운영상의 사각지대와 감지되지 않은 오류가 발생할 수 있습니다. 이는 상담원이 수행하는 자동 도구 호출 작업을 통해 나타납니다. 대부분의 경우 이러한 에이전트는 이러한 작업을 수행할 수 있는 높은 수준의 권한을 가지고 있기 때문에 이는 문제가 됩니다. 에이전트가 자율적인 경우 사용자 모르게 즉각적인 인젝션 해킹을 통해 악의적인 작업을 강제로 수행할 수 있기 때문에 더욱 큰 문제가 됩니다. 또한 다중 에이전트 시스템에서 혼란스러운 대리인 문제는 은밀하게 권한을 상승시킬 수 있는 작업과 관련된 문제입니다.
인공지능에 대한 지나친 의존은 실시간으로 사람의 판단이 필요한 급변하는 환경에서 특히 위험할 수 있습니다. 예를 들어, 사이버 보안을 관리하는 AI 자동 조종 장치가 예기치 않은 변화에 적응하는 대신 프로그램된 대응에 의존하여 빠르게 진화하는 위협의 뉘앙스를 놓칠 수 있습니다.
완화 팁: 휴먼 인 더 루프(HITL) 시스템을 유지하여 인간 운영자가 중요한 결정을 계속 제어할 수 있도록 해야 합니다. 이 하이브리드 접근 방식을 사용하면 AI 오토파일럿이 일상적인 작업을 처리하는 동안 사람이 주요 결정을 감독하고 검증할 수 있습니다. 조직은 AI 시스템에 대한 과도한 의존을 방지하기 위해 사람의 개입이 필요한 시기와 장소를 정기적으로 평가해야 합니다.
5. 인간의 법적 신원 및 신뢰
AI 오토파일럿은 사전 정의된 목표에 따라 인간과 협력하여 작동합니다. 그러나 이러한 협력은 항상 인증 도구를 사용하여 인증된 사람과 상호작용하는 것은 아니기 때문에 에이전트가 협력하는 인간 개체를 검증해야 합니다. 홍콩의 한 재무 담당자가 웹 회의에서 딥페이크 버전의 CFO가 실제 CFO라고 가정하고 2,500만 달러를 지급한 딥페이크 사기를 생각해 보십시오. 이는 특히 최신 멀티모달 모델을 사용하면 사람을 사칭하는 것이 더 쉬워지기 때문에 사람을 사칭할 수 있는 에이전트의 위험이 증가하고 있음을 강조합니다. OpenAI는 최근 15초 분량의 음성 샘플만으로도 사람의 목소리로 사칭할 수 있다고 경고한 바 있습니다. 홍콩 사례에서 볼 수 있듯이 딥페이크 동영상도 그리 멀지 않은 미래에 등장할 것입니다.
또한, 특정 경우(예: 개인 대리인의 경우) 지갑을 통해 작업을 완료하려면 사람과 대리인 간의 위임된 비밀 공유가 필수적입니다. 기업 환경에서는 금융 에이전트가 사람과 그 관계의 법적 신원을 확인해야 할 수도 있습니다. 현재 상담원이 이를 수행할 수 있는 표준화된 방법은 없습니다. 이것이 없다면 인간이 점점 더 부조종사가 되는 세상에서 에이전트는 인간과 협업할 수 없을 것입니다.
이 문제는 AI 오토파일럿이 실수로 인간 협력자를 사칭한 악의적인 행위자를 기반으로 의사 결정을 내릴 때 특히 위험해집니다. 사람을 디지털 방식으로 인증하는 명확한 방법이 없다면 에이전트는 안전, 규정 준수 또는 윤리적 고려 사항과 같은 광범위한 비즈니스 목표와 상충되는 방식으로 행동하기 쉽습니다.
완화 팁: AI 오토파일럿 작업 실행에 관련된 사용자 및 상담원 신원을 정기적으로 검토하는 것은 필수입니다. 조직은 적응형 알고리즘과 실시간 피드백 메커니즘을 사용하여 AI 시스템이 변화하는 사용자 및 규제 요건에 맞게 유지되도록 해야 합니다. 필요에 따라 목표를 조정함으로써 기업은 잘못된 목표가 의도하지 않은 결과를 초래하는 것을 방지할 수 있습니다.
AI 오토파일럿 보안 확보하기: 모범 사례
앞의 두 계층에서 설명한 보안 제어(LLM을 위한 LLM 보호 및 코파일럿을 위한 데이터 제어 포함) 외에도 에이전트 계층에서는 ID 및 액세스 관리(IAM)와 신뢰할 수 있는 작업 실행을 위한 확장된 역할의 도입이 필요합니다.
AI 오토파일럿의 위험을 완화하기 위해 조직은 포괄적인 보안 전략을 채택해야 합니다. 여기에는 다음이 포함됩니다:
- 지속적인 모니터링: 실시간 행동 분석을 구현하여 이상 징후와 무단 작업을 탐지합니다.
- 윤리 거버넌스: 윤리 위원회와 책임 프레임워크를 구축하여 AI 시스템이 조직의 가치와 법적 요건에 부합하도록 보장합니다.
- 적대적 방어: 적대적 훈련과 강력한 입력 유효성 검사를 사용하여 조작을 방지하세요.
- 인간의 감독: AI가 내린 중요한 결정에 대한 감독을 유지하기 위해 HITL 시스템을 유지합니다.
이러한 모범 사례를 구현함으로써 조직은 AI 오토파일럿이 비즈니스 목표에 맞게 안전하게 운영되도록 할 수 있습니다.
앞으로 나아갈 길: 자율 AI 보안
AI 오토파일럿은 복잡한 작업을 자동화하여 산업에 혁신을 가져올 수 있지만, 동시에 심각한 보안 위험을 초래하기도 합니다. 조직은 악성 행위부터 적대적인 조작에 이르기까지 이러한 위험을 관리하기 위해 경계를 늦추지 말아야 합니다. AI가 계속 발전함에 따라 이러한 시스템이 조직의 목표에 맞게 안전하게 운영되도록 모든 단계에서 보안을 우선순위에 두는 것이 중요합니다.
AI 애플리케이션 보안에 대해 자세히 알아보세요: 솔루션 브리프 읽기
이 시리즈의 다른 블로그:
블로그로 돌아가기