AIセキュリティ：顧客のニーズと機会

セカール・サルカイ - カリフォルニア大学バークレー校サイバーセキュリティ

2024年9月28日 6 分で読めます

業界のあらゆる兆候は、AIツールとサービスの革新と導入が急速に拡大していることを示しています。Crunchbaseのデータによると、人工知能（AI）スタートアップへの投資は4月から6月にかけて240億ドルに急増し、前期から2倍以上に増加しました。最新のY Combinatorコホートの創設者の75%がAIスタートアップに取り組んでおり、ほとんどすべてのテクノロジーベンダーが、AI中心の戦略に刷新することに取り組んでいます。

最近の調査でPWCは、50%以上の企業がすでに生成AIを導入しており、米国企業の73%がビジネス機能の少なくとも一部にAIを導入していることを明らかにしました。今月、OpenAIはエンタープライズ製品のリリースから1年足らずで、100万番目のエンタープライズシートを発表しました。

このような投資とイノベーションには、AIの危険性という負の側面が伴います。企業がAIを本番環境で利用するのを妨げる最大のセキュリティ、安全性、プライバシー、ガバナンスに関する懸念について、様々な見解があります。本ブログはシリーズの第一弾として、私が過去1年間に収集した、AIスタックが直面する主要なセキュリティ課題に関する私の見解をまとめたものです。

簡素化されたAIスタック

AI技術の普及は、以下の3つの層で捉えることができます。

レイヤー1：基盤AI

基盤モデルは、生成型人工知能の一種です。これらは、人間が入力したプロンプトに基づいて出力を生成します。モデルは、敵対的生成ネットワーク、トランスフォーマー、変分オートエンコーダーなどの複雑なニューラルネットワークに基づいています。基盤AIにおけるイノベーションのペースは目覚ましく、特に最近ではマルチモーダルモデルを備えたGPT-4oのリリースなど、画期的な発表が続いています。このレベルには巨額の資金が投入されており、このコアAIインフラストラクチャ層における勝者を選び出していると言えます。

この層には2種類のインフラストラクチャがあります。

1. 基盤モデルは、OpenAI、Google Gemini、Mistral、Grok、Llama、Anthropicといった企業によって支配されています。これらのモデル（オープンソースまたはクローズドソース）は、膨大なデータコーパス（公開または非公開）でトレーニングされています。モデルは、SaaS（ChatGPTなど）、PaaS（AWS Bedrock、Azure/Google AIプラットフォームなど）として推論に利用したり、プライベートインスタンスにデプロイしたりできます。これらの基盤モデル企業だけで、NvidiaのAIチップ事業のほぼ50%を占めています。
2. カスタムモデルは、Hugging Faceのようなマーケットプレイスで数多く見つけることができます。これらのモデルは、特定のユースケースや業種向けに、専門的なデータセット（公開または非公開）でトレーニングされています。これらはSaaSまたはPaaSサービスとして利用したり、プライベートインスタンスにデプロイしたりすることも可能です。さらに、企業は自社のプライベートデータセンター、プライベートクラウド、またはハイブリッド環境（例：H2O.ai）にデプロイされた独自のファインチューニングモデルを作成・展開することも選択できます。例えば、Microsoftの最近の四半期報告書によると、AI PaaSを考慮しない一般的なパブリッククラウドの成長は控えめである一方、パブリッククラウドビジネスで最も急速に成長しているのはAI PaaSであることが示されています。

LLM/SLMのユースケース：

各層における顧客のユースケースの概要は、2つの側面から見ることができます。X軸は、AIの取り組みやアプリケーションが社内従業員向けか、外部の顧客やパートナー向けかを識別します。Y軸は、AIアプリケーションのデプロイがプライベートインスタンス（Google/MS AIやAWS Bedrockなど）であるか、またはサードパーティのSaaSサービス（ChatGPTなど）であるかを識別します。このマトリックスは、セキュリティリスク、購入者や導入者の動向、および主要な要件を明確にするのに役立ちます。

上記の2×2マトリックスは、企業におけるLLMの導入を推進するさまざまなユースケースと、顧客のデプロイ優先順位を示しています。緑色のセルは現在の投資やPOCを、黄色のセルは活発な開発を、赤色のセルは将来の潜在的な投資を示します。

レイヤー2：AIコパイロット

基盤となるAIレイヤーでの成功の尺度をマインドシェアとするならば、このレイヤーでの尺度は間違いなく収益です。インターネットブームの時と同様に、インターネットインフラベンダー（AT&Tなどを考えてみてください）は重要でしたが、インターネット革命の最大のビジネス受益者ではありませんでした。Google、Uber、Metaのような新しく興味深いアプリケーションを作成するためにこのインターネットインフラを使用したアプリケーションこそが、より大きな勝者でした。同様に、AI時代には、AI Copilotの形で大きな収益をもたらすアプリケーションがすでに登場しています。MicrosoftのCEOであるサティア・ナデラ氏がIgnite 2023で、同社がCopilotカンパニーであると宣言したように、すべての人とものがCopilotを持つ未来を構想しています。研究では、すでに開発者の生産性が30%以上向上する可能性、または保険金請求処理の生産性が50%以上向上する可能性が示されています。ナデラ氏が最近、CopilotがMicrosoftのM365スイート製品の中で最も急速に成長していると述べたのも不思議ではありません。これはすでに、エンタープライズCopilot展開において圧倒的なリーダーとなっています。Skyhigh Securityの最近のデータは、過去6か月間でM365 Copilotの使用が5000%以上増加したことで、これを裏付けています！

さらに重要なことに、M365 Copilotの普及率はM365ビジネスのわずか1%に過ぎないものの、大規模企業で利用されている生成AI技術としては支配的であり、大きな成長の余地を残しています。企業への影響は過小評価すべきではありません。インデックス化される企業データの量、およびM365 Copilotと共有されるデータは前例のないものです。ほとんどすべての企業がChatGPTをブロックしていますが、そのほとんどがO365 Copilotを許可しており、これはAzure AIサービス（主にOpenAI）を利用しています。CopilotのM365アドオンのシートごとの価格設定は、すべてのSaaSベンダーが独自のコパイロットを展開し、収益性の高い収益源を生み出すモデルとなるでしょう。

コパイロットのユースケース：

上記の2×2マトリックスは、企業におけるCopilotの導入を推進するさまざまなユースケースと、顧客のデプロイ優先順位を示しています。緑色のセルは現在の投資やPOCを、黄色のセルは活発な開発を、赤色のセルは将来の潜在的な投資を示します。

レイヤー3：AIオートパイロット

そして、AIオートパイロット層があります。これは、人間の介入をほとんど、あるいはまったく必要とせずにタスクを実行するエージェントシステムです。この層は、現在手作業で高価であり、一部の推定ではSaaS/ソフトウェアビジネスのほぼ8〜10倍の規模であるSI/コンサルティングビジネスを大きく変革する可能性を秘めています。まだ初期段階ではありますが、これらのエージェントシステム（自律エージェントとして機能するように設計されたシステム）は、ユーザーによって設定された（または暗示された）目標に応じて、タスク分析、タスク分解、および自律的なタスク実行において優れた能力を発揮することが期待されています。これにより、人間の介入を排除できる可能性があります。現在、この分野には多くのVC資金が投入されています。最近のYCコホートのスタートアップの75%の多くが、この層に属するAIスタートアップです。ちょうど先週、Salesforceは従業員の生産性向上を目的としたAgentforceを発表し、Microsoftは中小企業をターゲットとしたCopilot Agentsを導入しました。これにより、ビジネスプロセスの自動化や、カスタムAgentをサポートするためのCopilot Studioの拡張が可能になります。

パーソナルアシスタント（例：Multion.ai）、サポートエージェント（例：Ada.cx、intercom.com）、開発者（例：Cognition.ai (devin)、Cursor.com、Replit.com）、営業チーム（例：Apollo.io、accountstory.com）、セキュリティオペレーション（例：AirMDR.com、Prophetsecurity.ai、AgamottoSecurity.com、torq.io）、UXリサーチャー（例：Altis.io、Maze.co）、UXデザイナー（例：DesignPro.ai）、システムインテグレーター（例：TechStack.management）、プロジェクトマネージャー（例：Clickup.com）、財務バックオフィス従業員（例：Prajna.ai）、さらにはユニバーサルAI従業員（例：ema.co）向けの自律エージェントが存在します。いくつかの研究では、アクションを自動化するこのようなエージェントシステムが、1.5兆ドルの追加ソフトウェア支出をもたらし、これらの新種の企業がIT業界を支配するサービス・アズ・ソフトウェア企業の次の先駆者となる可能性があることを示唆しています。

オートパイロットのユースケース：

上記の2×2マトリックスは、企業におけるエージェントの導入を推進するさまざまなユースケースと、顧客のデプロイ優先順位を示しています。緑色のセルは現在の投資やPOCを、黄色のセルは活発な開発を、赤色のセルは将来の潜在的な投資を示します。

AIセキュリティのニーズと機会

驚くことではありませんが、わずか2年前にChatGPTが発表されて以来、プロンプトエンジニアリング、ジェイルブレイク、ハルシネーション、データポイズニングなど、これまで知られていなかった新しいセキュリティ、プライバシー、ガバナンスの専門用語が主流になりました。業界はこれらの新しい問題に迅速に対応し、さまざまなLLMがこれらの特性を示す傾向を測定するためのいくつかの指標が生まれました。Open Worldwide Application Security Project (OWASP) は、包括的で積極的に更新されているLLMのトップ10リスクを特定する上で優れた仕事をしました。さらに、Enkrypt AIは、バイアス、毒性、ジェイルブレイク、マルウェアの4つの側面で主要なLLMの安全性スコアをベンチマークするための便利なツールである、包括的なLLM安全性リーダーボードを作成および維持する上で優れた仕事をしました。同様の分析は、レッドチームを通じてカスタムLLMに対しても行うことができます。

しかし、AIスタックの全体像を考慮すると、AIセキュリティを狭い視野で捉えるのは単純すぎます。各層では、潜在的に異なる購入者によって課される固有の課題に対処するために、個別の問題を考慮する必要があります。例えば、顧客によってデプロイされるモデルの問題を特定するためのレッドチーム演習はアプリケーションチームの関心事となる可能性が高い一方、コパイロットを介したデータ漏洩やモデルのファインチューニングに使用されるデータは、情報セキュリティまたはCDOの懸念事項となる可能性があります。

次のいくつかのブログでは、今回説明した3つの各層におけるセキュリティリスクと提案されるソリューションについて、さらに深く掘り下げていきます。

• パート1 – AIセキュリティ：顧客のニーズと機会
• パート2 – 基盤AI: セキュリティ課題を伴う重要な層
• パート3 – AI Copilotにおけるセキュリティリスクと課題