AI Copilotにおけるセキュリティリスクと課題

セカール・サルカイ - カリフォルニア大学バークレー校サイバーセキュリティ

2024年10月16日 6 分で読めます

前回のブログでは、すべてのAIモデルを支える重要な第一層である基盤AIに起因するセキュリティ課題について探求しました。プロンプトエンジニアリング攻撃、データ漏洩、設定ミスのある環境などのリスクを検証しました。AI技術が進歩するにつれて、新たな脆弱性を防ぐために各層を保護することが不可欠です。

このブログでは、レイヤー2: AI Copilotに関連するセキュリティリスクについて深く掘り下げます。これらのAI駆動型仮想アシスタントは、特定のタスクを自動化し、意思決定を支援し、生産性を向上させるために、業界全体で急速に導入されています。AI Copilotは強力なメリットを提供する一方で、安全かつセキュアな利用を確保するために組織が対処すべき新たなセキュリティ課題ももたらします。

AI Copilot層におけるセキュリティリスク

従業員が使用するサードパーティ製AI Copilot（Microsoft Copilotなど）と、顧客またはパートナー向けにビジネスチームが開発するカスタムAI Copilotでは、セキュリティリスクが異なります。例えば、サードパーティ製AI Copilotのナレッジグラフへのアクセスや操作は制限されており、モデル自体のトレーニングに使用されるデータの制御も同様です。それにもかかわらず、レイヤー1で対処されたセキュリティ上の懸念は、より広範なCopilotのセキュリティニーズに対応するために、データ、コンテキスト、および権限という3つの領域に焦点を当てて強化する必要があります。

1. データポイズニングとモデル操作

AI Copilotは、応答を生成し、複雑なタスクでユーザーを支援するために、大量のデータに依存しています。しかし、このデータへの高い依存性はデータポイズニングのリスクをもたらします。これは、攻撃者が入力データを操作してモデルの出力を歪めるものです。これにより、AI Copilotは不正確な提案をしたり、誤った決定を下したり、ポイズニングされたデータに基づいて有害なアクションを実行したりする可能性があります。

悪意のあるアクターは、AI Copilotを動かすモデルの微調整に使用されるトレーニングデータを改ざんし、システムが予測不能な動作をしたり、特定の成果を優先したりする可能性があります。例えば、今年初めに研究者がHugging Faceを調査したところ、100以上のモデルが悪意のあるものであることが判明しました。AI Copilotが財務分析や顧客サポートのような重要なタスクに使用される環境では、これは広範囲にわたる影響を及ぼす可能性があります。この脆弱性により、組織は外部からの脅威にさらされ、金銭的損害と評判の低下の両方につながる可能性があります。

軽減策のヒント: データポイズニングのリスクを軽減するために、組織は厳格なデータ検証メカニズムを導入し、AIモデルのトレーニングまたは更新に使用されるすべてのデータの整合性を監視する必要があります。定期的な監査と、AI Copilotシステムへのデータの流れを追跡するためのデータリネージツールの採用は、潜在的な脆弱性を特定するのに役立ちます。

2. コンテキストリスクとサプライチェーン攻撃

AI Copilotは、ユーザーの行動、特定の企業情報、リアルタイムデータフィードなどのコンテキストデータを活用して、応答をカスタマイズすることがよくあります。しかし、このコンテキストへの依存は、コンテキストポイズニングのリスクをもたらします。これは、攻撃者がコンテキストデータを操作してシステムの動作を変更するものです。

例えば、MicrosoftのCopilotシステムは、電子メール、ドキュメント、チャットなどの企業データに対して豊富なセマンティックインデックスを作成し、正確で関連性の高い応答を提供します。しかし、このコンテキストは標的型攻撃に悪用される可能性があります。悪意のあるデータを注入したり、基盤となるコンテキストを改ざんしたりすることで、攻撃者はAI Copilotに誤解を招く出力を生成させたり、意図せず機密情報を共有させたり、スピアフィッシング攻撃を実行させたり、その他の有害な行動を取らせたりする可能性があります。Microsoft Copilotのコンテキストにおけるデータサプライチェーンポイズニングの別の形態は、標的ユーザーと悪意のあるファイルを単に共有することによって実行できます。この攻撃は、ユーザーが共有を受け入れず、共有された悪意のあるファイルに気づいていない場合でも機能します。

軽減策のヒント: 組織は、AI Copilotによるコンテキストデータの使用方法とアクセス方法について明確なルールを確立することが推奨されます。これには、AI Copilotのトレーニングに含めることができるデータの種類の制限、アクセス制御の実施、および操作の兆候がないかAI出力を定期的に監査することが含まれます。レッドチーム（シミュレートされた攻撃）も、AI Copilotシステムとそのコンテキストデータ処理における弱点を特定するのに役立ちます。

3. 権限の誤用とエスカレーション

AI Copilotに関連する主要なリスクは、権限の誤用です。これらのシステムは、タスクを効率的に実行するために、複数のデータセット、アプリケーション、さらには企業インフラストラクチャへのアクセスを必要とすることがよくあります。適切に管理されていない場合、AI Copilotには過剰な権限が付与され、機密データへのアクセスや意図された範囲を超えるアクションの実行が可能になる可能性があります。

これはエスカレーション攻撃のリスクをもたらします。攻撃者はAI Copilotの権限を悪用して、不正なシステムや機密情報にアクセスします。場合によっては、設定ミスのある権限により、AI Copilotがアカウント設定の変更、重要なファイルの削除、機密データのサードパーティアプリケーションへの公開などのアクションを実行する可能性があります。

例えば、GitHubのCopilotは、サードパーティ製プラグインとの統合によりリスクが指摘されています。これらのプラグインが適切に審査されていない場合、データ漏洩につながる可能性があります。コーネル大学が実施した調査では、GitHubのCopilotを使用して生成されたプログラムの約40%に脆弱性が含まれていることが明らかになりました。これは、厳格な監視なしにAIシステムに過剰な権限を付与することの実世界におけるリスクを強調しています。

軽減策のヒント: AI Copilotの権限管理におけるベストプラクティスには、最小権限の原則（AI Copilotがタスクを実行するために必要な最小限の権限のみを付与する）の適用と、アクセスログの定期的なレビューが含まれます。不正アクセスや権限昇格によるリスクを軽減するために、異常な動作を検出してフラグを立てる自動化ツールも導入する必要があります。

4. 不正なAI CopilotとシャドウAI

AI Copilotが普及するにつれて、組織は不正なAI CopilotやシャドウAI（監視なしに展開される未承認のAIアプリケーション）の脅威に直面する可能性があります。これらのシャドウシステムは、組織の正式なセキュリティプロトコルの外で動作する可能性があり、データ漏洩、コンプライアンス違反、運用上の障害など、重大なリスクにつながります。

不正なAI Copilotは、善意の従業員がオープンソースのAIモデルを使用して作成したり、会社の制御を回避しようとする悪意のある内部関係者によって作成されたりする可能性があります。これらの未承認のシステムは、セキュリティ侵害やコンプライアンス監査によってその存在が明らかになるまで、見過ごされがちです。

シャドウAIの台頭は、シャドウITの初期に例えられます。当時、未承認のクラウドサービスやアプリケーションが、企業の承認なしに従業員によって一般的に使用されていました。同様に、シャドウAIは、組織のインフラストラクチャ内に潜む未知の脆弱性のリスクをもたらし、誤用から保護するための正式なセキュリティ対策がないままです。

緩和策のヒント：不正なAI Copilotの台頭に対抗するため、組織はすべてのAI展開に対して厳格な監視を維持する必要があります。AIガバナンスフレームワークを導入することで、承認されたAI Copilotのみが展開されるようにすることができます。一方、継続的な監視と自動検出ツールは、組織内で実行されている未承認のAIアプリケーションを検出できます。

AI Copilotのセキュリティ確保：ベストプラクティス

上記のリスクは、ユースケースに基づいて対処できます。外部のサードパーティ製AI Copilot（Microsoft CopilotやGithub Copilotなど）を使用する場合、最初の要件は、検出を通じてシャドウAI Copilot/AIの使用状況を把握することです。Skyhigh SecurityのAIリスク属性の拡張レジストリは、企業が使用するサードパーティ製AI Copilotを検出する便利な方法となります。このレイヤーでのデータ保護は、ネットワークベースとAPIベースのデータセキュリティの組み合わせで最も効果的に対処できます。インライン制御は、Secure Service Edge (SSE) フォワードプロキシ（例えば、AI Copilotへのファイルアップロードの場合）や、自社開発のAI Copilot/チャットボット向けにはアプリケーション/LLMリバースプロキシを介して適用することも、WebSocketを使用するアプリケーションインタラクション向けにはブラウザベースの制御を適用することもできます。

もう1つのリスクは、AI Copilotに接続できる他のアプリケーションに関連しています。例えば、Microsoft CopilotはSalesforceに双方向で接続するように設定できます。このような接続されたアプリケーションの可視性を得るためにMicrosoft Copilotの設定を照会する機能は、この情報漏洩経路をブロックするために不可欠となるでしょう。

AI Copilotのアプリケーションレベルの制御に加えて、AI Copilotが使用する検索拡張生成（RAG）ナレッジグラフとインデックスにも特別な考慮が必要です。この点に関して、サードパーティ製AI Copilotは不透明です。したがって、組織は、使用されるベクトル/グラフストアを調査し、ポリシーを設定するために、AI CopilotによるAPIサポートに依存することになります。特に、このレイヤーで対処すべき課題は、データレベルでの権限管理と、AI Copilotが作成したコンテンツで意図せず発生する可能性のある特権昇格に集中しています。多くのAI Copilotは、インライン/リアルタイム制御のための堅牢なAPIサポートをまだ持っておらず、これが課題をさらに複雑にしています。最後に、APIは、データ制御のためのナレッジベースのほぼリアルタイムの保護とオンデマンドスキャン、およびデータポイズニング攻撃のスキャンに使用できます。

AI Copilotに関連するセキュリティリスクから保護するために、組織は多層的なセキュリティアプローチを採用すべきです。主な対策は以下の通りです。

• 定期的な監査の実施：AI Copilotの展開を定期的にレビューし、データポイズニングの脆弱性、コンテキスト操作のリスク、権限の誤設定がないか確認します。
• 権限制御の実装：最小特権アクセスモデルを使用して、AI Copilotが必要なデータとシステムにのみアクセスできるようにします。
• 自動監視ツールの導入：AI Copilotの動作を監視し、不正アクセスや不審なデータインタラクションなどの異常を検出する自動ツールを導入します。
• AI利用のガバナンス：AI展開を監督し、不正なAI Copilotを防止し、セキュリティおよびプライバシー規制への準拠を確保するための明確なガバナンスフレームワークを確立します。

これらのベストプラクティスを採用することで、組織はセキュリティリスクを最小限に抑えながら、AI Copilotのメリットを最大限に活用できます。

今後の展望：AIレイヤーのセキュリティ確保

AI Copilotは、生産性を向上させ、ビジネス成果を改善する大きな可能性を秘めていますが、同時に新たなセキュリティリスクももたらします。データポイズニングから不正なAI Copilotに至るまで、組織はAIテクノロジーのこの重要なレイヤーを保護するために積極的な措置を講じる必要があります。AIのより高度なレイヤーに進むにつれて、堅牢なセキュリティ対策の必要性は増すばかりです。

シリーズの次回のブログにご期待ください。Layer 3と、他の自律型AIシステムに伴うセキュリティ課題について探ります。AIアプリケーションのセキュリティ確保について詳しく知るには、Skyhigh SecurityのAIソリューションをご覧ください。

---

このシリーズのその他のブログ：

• パート1 – AIセキュリティ：顧客のニーズと機会
• パート2 – 基盤AI: セキュリティ課題を伴う重要な層
• パート3 – AI Copilotにおけるセキュリティリスクと課題

ブログへ戻る