AIセキュリティ：顧客のニーズと機会

By Sekhar Sarukkai - Cybersecurity@UC Berkeley

2024年9月28日 6 分で読む

業界のあらゆる兆候が、AIツールやサービスの革新と導入の急成長を指し示している。Crunchbaseのデータによると、人工知能（AI）スタートアップへの投資は4月から6月にかけて240億ドルに急増し、前四半期の2倍以上になった。最新のYコンビネーター・コホートでは創業者の75％がAIスタートアップに取り組んでおり、ほぼすべてのテックベンダーがAIを中心とした戦略の見直しを実行している。

PWCは最近の調査で、50％以上の企業がすでにgenAIを導入しており、米国企業の73％がビジネス機能の少なくとも一部の分野でAIを導入していることを明らかにした。ちょうど今月、OpenAIは、エンタープライズ向け製品をリリースしてから1年未満で、100万シート目のエンタープライズ向け製品を発表した。

このような投資とイノベーションには、AIの危険性というマイナス面がつきまとう。また、企業が本番環境でAIを使用することを妨げる最大のセキュリティ、安全性、プライバシー、ガバナンスの懸念についての視点も必要だ。このブログは、シリーズの第1回目として、私が昨年1年間かけて収集した、AIスタックが直面する主要なセキュリティ課題に関する私の見解をまとめたものである。

簡素化されたAIスタック

AI技術の普及は、以下の3つのレイヤーで捉えることができる：

レイヤー1基礎AI

ファンデーションモデルは、生成人工知能の一種である。人間の言語ベースのプロンプトから出力を生成する。モデルは、生成的敵対ネットワーク、トランスフォーマー、変分エンコーダーを含む複雑なニューラルネットワークに基づいている。基礎AIの技術革新のペースは、最近ではマルチモーダルモデルを搭載したGPT-4oのように、ゲームを変えるようなリリースで息をのむほどである。このレベルには大金が投入されており、実質的にこのコアAIインフラ層で勝者を選んでいる。

この層には2種類のインフラがある：

1. OpenAI、Google Gemini、Mistral、Grok、Llama、Anthropicのような基礎モデルが 主流である。これらのモデル（オープンソースまたはクローズソース）は、膨大なデータコーパス（パブリックまたはプライベート）で学習される。モデルは、SaaS（ChatGPTなど）、PaaS（AWS Bedrock、Azure/Google AIプラットフォームなど）、またはプライベート・インスタンスとして推論に使用することができる。これらの基盤モデル企業だけで、NvidiaのAIチップ事業のほぼ50％を占めている。
2. 何千ものカスタムモデルは、Hugging Faceのようなマーケットプレイスで見つけることができる。これらのモデルは、対象とするユースケースや業種に特化したデータセット（パブリックまたはプライベート）でトレーニングされます。また、SaaSやPaaSサービスとして、あるいはプライベート・インスタンスにデプロイして利用することもできる。さらに、企業は、プライベートデータセンター、プライベートクラウド、またはハイブリッド環境（例：H2O.ai）で展開される独自の微調整されたモデルを作成し、展開することもできる。例えば、マイクロソフトの最近の四半期報告書によると、AI PaaSを考慮しない一般的なパブリッククラウドの成長はわずかであるが、パブリッククラウドビジネスの中で最も急速に成長しているのはAI PaaSである。

LLM/SLMの使用例：

各レイヤーにおける顧客のユースケースの概要は、2つの次元の観点から見ることができる：X軸は、AIの取り組み／アプリケーションが、社内の従業員を対象としているのか、社外の顧客／パートナーを対象としているのかを識別する。Y軸は、AIアプリケーションのデプロイがプライベートインスタンス（Google/MS AIやAWS Bedrockなど）か、サードパーティのSaaSサービス（ChatGPTなど）かを識別します。このマトリックスは、セキュリティリスク、買い手/採用者の動き、主要な要件を明確にするのに役立ちます。

上記の2×2のマトリックスは、企業におけるLLMの採用を促進するさまざまなユースケースと、顧客の導入優先順位を示している。緑のセルは現在の投資/POCを示す。黄色のセルは活発な開発を示し、赤色のセルは将来の投資の可能性を示している。

レイヤー2：AIコ・パイロット

マインドシェアがAIの基盤レイヤーにおける成功の尺度であるとすれば、このレイヤーにおける基準は間違いなく収益である。インターネット・ブームのときと同じように、インターネット・インフラ・ベンダー（AT&Tを思い浮かべるだろう）は、インターネット革命において重要ではあったが、最大のビジネス受益者ではなかった。グーグル、ウーバー、メタなど、このインターネット・インフラを利用して新しく面白いアプリケーションを生み出したアプリケーションこそが、より大きな勝者となったのだ。マイクロソフトのサティア・ナデラ最高経営責任者（CEO）がIgnite 2023で宣言したように、マイクロソフトは副操縦士の会社であり、あらゆるものが副操縦士を持つ未来を描いている。開発者の生産性が30％以上向上する可能性や、保険金請求処理の生産性が50％以上向上する 可能性が、すでに研究によって示されている。ナデラが最近、コパイロットはマイクロソフトで最も急成長しているM365スイート製品だと述べたのも不思議ではない。Copilotはすでに、企業におけるCo-Pilot導入のリーダーとなっている。Skyhighの最近のデータでは、過去6ヶ月間でM365 Copilotの利用が5000%以上増加しており、これを裏付けている！

さらに重要なことは、M365 Copilotの普及率がM365ビジネスのわずか1％であるにもかかわらず、大企業で使用されている主要なgenAIテクノロジーであるということです。企業への影響は過小評価されるべきではない - インデックス化される企業データの量とM365 Copilotと共有されるデータは前例がない。ほぼ全ての企業がChatGPTをブロックし、ほぼ全ての企業がAzure AIサービス（主にOpenAI）を使用するO365 Co-pilotも許可している。コパイロットのM365アドオン価格は、すべてのSaaSベンダーが独自のコパイロットを展開し、有利な収益源を生み出すモデルになりつつある。

副操縦士の使用例：

上記の2×2のマトリックスは、企業におけるコパイロットの採用を促進するさまざまなユースケースと、顧客の導入優先順位を示している。緑のセルは現在の投資/POCを示す。黄色のセルはアクティブな開発、赤色のセルは将来の投資の可能性を示しています。

レイヤー3：AIオートパイロット

そして、AIオートパイロット層、つまり人間の介入をほとんど必要とせずにタスクを実行するエージェント・システムがある。このレイヤーは、現在手作業でコストがかかり、SaaS/ソフトウェア・ビジネスの約8～10倍の規模になっているSI/コンサルティング・ビジネスに風穴を開けるレイヤーになると期待されている。初期段階ではあるが、これらのエージェント・システム（自律的なエージェントとして機能するように設計されたシステム）は、タスク分析、タスク分解、そしてユーザーによって設定された（あるいは暗示された）目標に対応した自律的なタスク実行に優れていることが期待されている。これにより、ループ内の人間を排除できる可能性がある。現在、多くのVCがこの分野をターゲットに資金を調達している。最近のYCコホートの75％のスタートアップの多くは、このレイヤーに分類されるAIスタートアップだ。先週、セールスフォースは従業員の生産性を向上させるAgentforceを発表し、マイクロソフトはビジネスプロセスの自動化を可能にするCopilotAgentを発表した。

パーソナルアシスタント（例：Multion.ai）、サポートエージェント（例：Ada.cx、intercom.com）、開発者（例：Cognition.ai（devin）、Cursor.com、Replit.com）、営業チーム（例：Apollo.io、accountstory.com）、セキュリティオペレーション（例：AirMDR.com、Prophetsecurity.ai、AgamottoSecurity.com、torq.io）、UXリサーチャー（ex. Altis.io、Maze.co）、UXデザイナー（ex. DesignPro.ai）、システムインテグレーター（ex. TechStack.management）、プロジェクトマネージャー（ex. Clickup.com）、金融バックオフィス従業員（ex. Prajna.ai）、あるいはユニバーサルAI従業員（ex. ema.co）。行動を自動化するこのようなエージェント・システムは、1.5兆ドルの追加ソフトウェア支出をもたらす可能性があるとの調査結果もあり、このような新種の企業は、IT業界を支配する可能性のあるサービス・アズ・ソフトウェア企業の次の前衛となる可能性がある。

オートパイロットの使用例：

上記の2×2のマトリックスは、企業におけるAgentの採用を促進するさまざまなユースケースと、顧客の導入優先順位を示しています。緑のセルは、現在の投資/POCを示します。黄色のセルはアクティブな開発を示し、赤色のセルは将来の投資の可能性を示しています。

AIセキュリティのニーズと機会

プロンプト・エンジニアリング、ジェイルブレイク、幻覚、データ・ポイズニングなど。業界はこのような新しい問題に素早く対応し、様々なLLMがこのような特徴を示す傾向を測定するために使用されるメトリクスを生み出しました。オープン・ワールドワイド・アプリケーション・セキュリティ・プロジェクト（OWASP）は、包括的で積極的に更新されるLLMリスクのトップ10を特定するための良い仕事をしている。さらに、Enkrypt AIは、バイアス、毒性、脱獄、マルウェアの4つの次元にわたって主要なLLMの安全性スコアをベンチマークする便利なツールである包括的なLLM安全性リーダーボードを作成し、維持するために良い仕事をしています。同じ分析はまた、彼らのレッドチームを通じてカスタムLLMのために行うことができます。

しかし、AIスタックの全容を考えると、AIセキュリティについて狭い視野で考えるのは甘い。各レイヤーは、潜在的に異なる買い手によって課される固有の課題に対処するために、個別の問題を考慮する必要がある。例えば、顧客によって導入されるモデルの問題を特定するためのレッド・チームは、アプリケーション・チームの関心事である可能性が高いが、コ・パイロットやモデルの微調整に使用されるデータを介したデータ漏えいは、情報セキュリティやCDOの関心事である可能性がある。

次の数回のブログでは、3つのレイヤーそれぞれのセキュリティ・リスクと提案されている解決策について深く掘り下げていく。

---

このシリーズの他のブログ

• パート1 - AIセキュリティ：顧客のニーズと機会
• パート2 - 基礎的AI：セキュリティ上の課題がある重要なレイヤー
• 第3回 AIコパイロットのセキュリティリスクと課題

ブログへ戻る