AIオートパイロットの利点とリスクを比較検討する

セカール・サルカイ - カリフォルニア大学バークレー校サイバーセキュリティ

2024年10月25日 6 分で読めます

前回のブログでは、タスクや意思決定を支援するものの、依然として人間の入力に依存するシステムであるAIコパイロットに関連するセキュリティ課題について探りました。データポイズニング、権限の誤用、不正なAIコパイロットなどのリスクについて議論しました。LangGraphやAutoGenなどのAIエージェントフレームワークの出現によりAIシステムが進歩するにつれて、特にAI開発の次の層であるAIオートパイロットでは、セキュリティリスクの可能性が高まります。

このシリーズの最終ブログでは、レイヤー3：AIオートパイロット、つまり人間の介入がほとんどまたはまったくない状態でタスクを実行できる自律的なエージェントシステムに焦点を当てます。これらはタスク自動化と運用効率において計り知れない可能性を秘めていますが、AIオートパイロットは、安全な展開を確実にするために組織が対処しなければならない重大なセキュリティリスクももたらします。

AIオートパイロットの利点とリスク

エージェントシステムは、大規模言語モデル（LLM）と検索拡張生成（RAG）を基盤としています。これらは、内省、タスク分析、関数呼び出し、および他のエージェントや人間を活用してタスクを完了する能力を追加します。これには、エージェントがフレームワークを使用してエージェントと人間のIDを識別および検証し、アクションと結果が信頼できるものであることを確認する必要があります。レイヤー1におけるLLMと人間が対話するという単純な見方は、タスクを完了するために連携する動的に形成されたエージェントのグループに置き換えられ、セキュリティ上の懸念が何倍にも増加します。実際、AnthropicのClaudeの最新リリースは、AIがユーザーに代わってコンピューターを使用できる機能であり、AIがタスクを自律的に完了するために必要なツールを使用できるようにします。これはユーザーにとっては恩恵ですが、セキュリティ担当者にとっては課題となります。

1. 不正または敵対的な自律的行動

AIオートパイロットは、事前に定義された目的に基づいてタスクを自律的に実行できます。しかし、この自律性は、プログラミングの欠陥や敵対的な操作によりオートパイロットが意図された動作から逸脱する可能性がある、不正な行動のリスクを生み出します。不正なAIシステムは、データ侵害から運用障害まで、意図しない、または有害な結果を引き起こす可能性があります。

例えば、重要インフラシステムを管理するAIオートパイロットは、入力データの誤解釈やプログラミング上の見落としが原因で、誤って電力網を停止させたり、重要な機能を無効にしたりする可能性があります。一度動き出すと、これらの不正な行動は即座の介入なしには止めることが困難になる可能性があります。

敵対的攻撃は、AIオートパイロットにとって深刻な脅威となります。特に、自律的な意思決定が重大な結果をもたらす可能性のある業界では顕著です。攻撃者は、入力データや環境を巧妙に操作して、AIモデルに誤った意思決定をさせることができます。これらの敵対的攻撃は、AIシステムの意思決定プロセスにおける脆弱性を悪用し、検出されないように設計されていることがよくあります。

例えば、自律型ドローンは、攻撃者が環境を巧妙に改変することで飛行経路を変更させられる可能性があります（例：ドローンのセンサーを妨害する物体を飛行経路に配置する）。同様に、自律走行車は、道路標識や標示への小さく知覚できない変更が原因で、停止したりコースを外れたりするように仕向けられる可能性があります。

軽減策: リアルタイム監視と行動分析を導入し、予期されるAIの動作からの逸脱を検出します。自律システムが不正なアクションを実行し始めた場合に直ちに停止させるためのフェイルセーフメカニズムを確立する必要があります。敵対的攻撃から防御するため、組織は堅牢な入力検証技術とAIモデルの頻繁なテストを実装すべきです。AIモデルが操作的な入力を認識し、抵抗するように訓練される敵対的学習は、AI Autopilotsがこれらの脅威に耐えられるようにするために不可欠です。

2. 透明性の欠如と倫理的リスク

AI Autopilotsが直接的な人間の監視なしに動作することで、説明責任の問題はより複雑になります。自律システムが経済的損失、運用の中断、または法的合併症につながる不適切な決定を下した場合、責任の所在を特定することは困難になる可能性があります。この明確な説明責任の欠如は、特に安全性と公平性が最優先される業界において、重大な倫理的問題を引き起こします。

また、これらのシステムが公平性や安全性よりも効率性を優先する場合にも倫理的リスクが生じ、差別的な結果や組織の価値観と衝突する決定につながる可能性があります。例えば、採用システムにおけるAI Autopilotは、意図せず多様性よりもコスト削減策を優先し、結果として偏った採用慣行につながる可能性があります。

軽減策: AI Autopilotsが組織の価値観と一致することを確実にするため、説明責任のフレームワークと倫理的監視委員会を確立します。AIの意思決定を監視するために定期的な監査と倫理的レビューを実施し、自律的な行動から生じる可能性のある法的問題を処理するための明確な説明責任構造を確立する必要があります。

3. エージェントのID、認証、認可

マルチエージェントシステムの根本的な問題は、エージェントのIDを認証し、クライアントエージェントのリクエストを認可する必要があることです。これは、エージェントが他のエージェントになりすますことができる場合や、リクエスト元のエージェントのIDを強力に検証できない場合に課題となる可能性があります。権限が昇格したエージェントが相互に通信し、タスクを完了する将来の世界では、きめ細かな認可制御が厳密に適用されない限り、発生する損害は瞬時に発生し、検出が困難になる可能性があります。

特殊なエージェントが増殖し、相互に連携するにつれて、企業内での不正エージェントの侵入を防ぐために、エージェントのIDとその資格情報の信頼できる検証がますます重要になります。同様に、権限付与スキームは、タスク完了のためのエージェント分類、ロール、機能に基づいた自動使用を考慮する必要があります。

軽減策: 敵対的攻撃から防御するため、組織は堅牢な入力検証技術とAIモデルの頻繁なテストを実装すべきです。AIモデルが操作的な入力を認識し、抵抗するように訓練される敵対的学習は、AI Autopilotsがこれらの脅威に耐えられるようにするために不可欠です。

4. 自律性への過度な依存

組織がAI Autopilotsをますます導入するにつれて、自動化への過度な依存のリスクが高まっています。これは、重要な決定が人間の監視なしに自律システムに完全に委ねられる場合に発生します。AI Autopilotsは日常的なタスクを処理するように設計されていますが、重要な決定から人間の入力を排除すると、運用上の盲点や未検出のエラーにつながる可能性があります。これは、エージェントによる自動ツール呼び出しアクションを介して現れます。多くの場合、これらのエージェントはこれらのアクションを実行するための昇格された権限を持っているため、これは問題です。そして、エージェントが自律的である場合、プロンプトインジェクションハッキングがユーザーの知識なしに悪意のあるアクションを強制するために使用される可能性があるため、これはさらに大きな問題です。さらに、マルチエージェントシステムでは、混乱した代理人問題は、密かに権限を昇格させることができるアクションに関する問題です。

過度な依存は、リアルタイムの人間の判断が依然として必要とされるペースの速い環境において、特に危険になる可能性があります。例えば、サイバーセキュリティを管理するAI Autopilotは、予期せぬ変化に適応する代わりに、プログラムされた応答に依存することで、急速に進化する脅威のニュアンスを見逃す可能性があります。

軽減策: 人間オペレーターが重要な決定に対する制御を維持することを確実にするため、ヒューマン・イン・ザ・ループ (HITL) システムを維持する必要があります。このハイブリッドアプローチにより、AI Autopilotsは日常的なタスクを処理できる一方で、人間が主要な決定を監督し、検証します。組織は、AIシステムへの過度な依存を防ぐために、人間の介入がいつ、どこで必要かを定期的に評価すべきです。

5. 人間の法的IDと信頼

AI Autopilotsは、事前定義された目的と人間との協力に基づいて動作します。しかし、この協力は、エージェントが協力している人間エンティティを検証することも必要とします。なぜなら、これらのやり取りが、プロンプトツールを使用する認証された人物と常に行われるわけではないからです。ディープフェイク詐欺を考えてみましょう。香港の金融担当者が、ウェブ会議でのCFOのディープフェイク版が実際に本物のCFOであると信じて2500万ドルを支払った事例です。これは、人間になりすますことができるエージェントのリスクが高まっていることを浮き彫りにします。特に、最新のマルチモーダルモデルにより人間になりすますことが容易になっているためです。OpenAIは最近、15秒の音声サンプルで人間の声になりすますのに十分であると警告しました。香港の事例が示すように、ディープフェイクビデオもそれに劣らず危険です。

さらに、特定の場合には、タスクを完了するために人間とエージェント間の委任された秘密共有が不可欠です。例えば、ウォレットを介して（パーソナルエージェントの場合）行われます。エンタープライズの文脈では、金融エージェントは、人間の法的IDとその関係を検証する必要があるかもしれません。今日、エージェントがこれを行うための標準化された方法はありません。これがなければ、人間がますますCopilotsとなる世界で、エージェントは人間と協力することができなくなるでしょう。

この問題は、AI Autopilotsが、人間協力者になりすます悪意のあるアクターに基づいて意図せず決定を下す場合に特に危険になります。人間をデジタルで認証する明確な方法がなければ、エージェントは、安全性、コンプライアンス、倫理的考慮事項など、より広範なビジネス目標と衝突する方法で行動しやすくなります。

軽減策: AI Autopilotsのタスク実行に関わるユーザーおよびエージェントのIDの定期的なレビューが不可欠です。組織は、AIシステムが変化するユーザーと規制要件に適合し続けることを確実にするため、適応型アルゴリズムとリアルタイムフィードバックメカニズムを使用すべきです。必要に応じて目標を調整することで、企業は目標の不一致が意図しない結果につながるのを防ぐことができます。

AI Autopilotsのセキュリティ確保: ベストプラクティス

LLM向けのLLM保護とCopilots向けのデータ制御を含む、以前の2つの層で議論されたセキュリティ制御に加えて、エージェント層は、IDおよびアクセス管理 (IAM) の役割の拡大、ならびに信頼できるタスク実行の導入を必要とします。

AI Autopilotsのリスクを軽減するため、組織は包括的なセキュリティ戦略を採用すべきです。これには以下が含まれます:

• 継続的な監視: リアルタイムの行動分析を実装し、異常および不正なアクションを検出します。
• 倫理的ガバナンス: 倫理委員会と説明責任フレームワークを確立し、AIシステムが組織の価値観と法的要件に適合することを確実にします。
• 敵対的防御: 敵対的学習と堅牢な入力検証を使用し、操作を防ぎます。
• 人間による監視: AIによって下される重要な決定に対する監視を維持するため、HITLシステムを維持します。

これらのベストプラクティスを導入することで、組織はAI Autopilotsが安全に、かつビジネス目標に沿って運用されることを確実にできます。

今後の道筋：自律型AIのセキュリティ確保

AI Autopilotsは、複雑なタスクを自動化することで産業に革命をもたらす可能性を秘めていますが、同時に重大なセキュリティリスクも伴います。不正な動作から敵対的な操作に至るまで、組織はこれらのリスクの管理において警戒を怠ってはなりません。AIが進化し続ける中で、これらのシステムが安全に、かつ組織の目標に沿って運用されるよう、あらゆる段階でセキュリティを優先することが極めて重要です。

AIアプリケーションのセキュリティ確保についてさらに詳しく知るには：
ソリューション概要を読む

---

このシリーズのその他のブログ：

• パート1 – AIセキュリティ：顧客のニーズと機会
• パート2 – 基盤AI: セキュリティ課題を伴う重要な層
• パート3 – AI Copilotにおけるセキュリティリスクと課題
• 第4部 – AI Autopilotsの利点とリスクの比較検討

ブログへ戻る