新興AI技術とサイバーセキュリティへの影響

Scott Schlee:
2024年9月11日です。ホストのScott Schleeです。Skyhigh Security Cloudcastをお聞きいただいています。本日は、テクノロジスト、起業家、教育者、そしてSkyhigh SecurityのアドバイザーであるSekhar Sarukkai氏をお招きし、企業が人工知能をどのように活用して生産性を向上させ、進化するサイバー脅威に対するセキュリティ対策を強化できるかを探ります。

この急速に変化する世界で組織が優位に立つために役立つ、実践的な戦略と進化するAIの状況について議論します。セカールさん、本日はご参加いただきありがとうございます。お元気ですか？

Sekhar Sarukkai:
ええ、元気です。スコットさん、本日はお招きいただきありがとうございます。

Scott Schlee:
セカールさん、Skyhigh Securityでのあなたの役職を教えていただけますか？

Sekhar Sarukkai:
ええ、興味深い経緯があります。ご存知かもしれませんが、私はSkyhigh Networksのセカールの一人でした。McAfeeに買収された後、数年間McAfeeに在籍し、その後、UC Berkeleyでサイバーセキュリティを教えるなど、他の活動をするために退職しました。多くのVCなどとも仕事をしてきました。

しかし最近、新CEOのヴィシャルが就任した際、業界のトレンドや新たな課題への対応を支援するようなコンサルティングの可能性について連絡がありました。そのような経緯で、現在Skyhighと関わっています。基本的にはアドバイザーとして、純粋にコンサルティングベースで関わっています。

Scott Schlee:
チームの一員としてお迎えできて大変嬉しく思っています。そして、本日はAI、将来のトレンド、そしてSkyhigh SecurityがAIで何をしているかについてお話しいただくためにご参加いただけて嬉しく思います。そこで、まず、サイバーセキュリティの未来を形作る可能性のある、いくつかの新たなAIテクノロジーについて少しお話しいただけますでしょうか。

Sekhar Sarukkai:
それは、私たちの会話の中で深く掘り下げられるような、非常に多くの意味を含む質問ですね。私たち全員、そして世界、文字通りITの世界は、ChatGPTが登場した数年前から変革を遂げたと思います。人々が直感的に「これは違う」と感じる何かがあり、それによって、この分野で信じられないほどのイノベーションが生まれ、様々な用途が芽生えました。

そして、それは成長し続けるでしょう。基盤モデルのように、安定しており、人々がその進化の方向性を理解している主要な分野がいくつかあります。OpenAIやその他多くの企業が取り組んでいることは、着実な進展を遂げていると思います。テキストだけでなく、音声、ビデオ、画像といったマルチモーダルに関する興味深い研究が多くあります。

その変化の大きさは驚くべきものです。今日では、プロンプトを与えるだけで、想像上の空間のビデオクリップが出力され、それが非常にリアルに見えます。この分野では、今後も進化する多くの研究が進められていると思います。ディープフェイクはその悪い利用例の一つで、実際には言っていないことを言っているかのように見せかけることができ、それを現実と区別することは非常に困難になるでしょう。ですから、このマルチモーダルAI全体には、多くの素晴らしいことができる一方で、それに伴うセキュリティ上の問題も存在します。もう一つの大きな分野として、ここ数四半期で注目を集めているのが、エージェンティックAIです。ChatGPTに行き、文書や映画の要約を依頼すれば、おそらく素晴らしい仕事をしてくれるでしょう。しかし、映画のチケットを予約したり、友人とカレンダーを調整して一緒に見に行ったりするよう依頼しても、それはできません。

それはできません。そこで、LLMとAIを拡張して実際にアクションを起こさせるという新たな進化があります。これらは大規模アクションモデルです。多くの企業での利用、あるいはユースケースがあり、それがこれらのAIテクノロジー全体の大きな価値が進化していく方向性につながると私は考えています。

そして、これは一部の人々が次世代のSaaSと呼ぶものです。今日、SaaSについて語るならば、Office 365やSalesforceのようなものです。基本的に「サービスとしてのソフトウェア」です。以前はサーバーにダウンロードしたりデプロイしたりする必要があったものが、実際にはサービスとして利用できるようになります。

エージェンティックシステムなどが進化して支援する次世代のSaaSは、「サービスとしてのソフトウェア」と呼ばれるもの、あるいはそう考えられるものを生み出すことです。今日の営業担当者が何をしているかを見ると、Salesforceは彼らをより生産的にし、取引を成立させたり、キャンペーンを実行したりするための方法として利用されていますが、次世代がすることは、その次のステップを踏むことです。

コパイロットのようなものから、自動操縦（オートパイロット）のようなものへ、仮想営業エージェントを実際に得られるようにすることです。つまり、人間がタスクをより良く完了するのを助けるのではなく、これは基本的に人間が行うことを実行できるようになるでしょう。それが自動化であり、タスク分析です。

当然ながら、良い面も悪い面もあります。社会や仕事、人々にどのような影響を与えるかは分かりませんが、「何かを達成したい」という目標を与え、それを完了すべきタスクに分解し、実際に実行するという動きは。

そしてタスクを完了する能力は、非常に急速に進化しました。オンラインで見られる魅力的なデモがいくつかあります。いわば開発者エージェントのデモです。YouTubeで「Devin」と検索するとビデオが見つかります。Devinは開発者のペルソナですが、リアルタイムでコードを生成する様子を見るのは魅力的です。

例外やエラーが発生した場合、実際に検索を行います。開発者の情報源であるサブスタックやその他の場所をすべて探し、問題を見つけて修正し、それを読み込み、すべてデプロイします。そのような自動化を実現できるという概念は現実のものであり、企業に大きな影響を与える可能性があります。

Scott Schlee:
そして、私のような多くの開発者は、それを見て二通りの受け止め方をするでしょう。これが何らかの形で自分の仕事を奪うのではないかと恐れるか、あるいは、自分の仕事をより効率的にするためのアシスタントとして捉えるか、です。

Sekhar Sarukkai:
ええ、それが非常に重要な問いですね。

それがどこに行き着くのかは分かりません。いくつかのデモを見ると、「いや、それは違う。専門のプログラマーがやるようなことはできないだろう」と言うでしょう。しかし、次のデモを見ると、「すごい、それができている」となる。あるいは、チームに20人も必要なく、一人の開発者で済むかもしれません。

このテクノロジーを使って、ゼロからスタートアップを立ち上げ、コードも開発できるような。

Scott Schlee:
「今日のAIはこれまでで最も賢くない。これからもっと賢く、良くなるだけだ」という言葉があります。過去3年間、あるいはこの半年から1年だけでも、AIがその初期段階から飛躍的に劇的な進歩を遂げているのを私たちは皆見てきました。

Sekhar Sarukkai:
まったくその通りです、スコットさん。そして、それはどちらの側から物事を見るかにもよりますが、大きなチャンスであるか、あるいは大きな懸念であるかのどちらかだと思います。

Scott Schlee:
では、生成AIにおけるこれらの進歩は、どうでしょうか？OpenAIのようなものが世に出ており、誰でもそれを利用して、良い目的にも悪意のある目的にも使うことができます。

これらの進歩は、脅威と防御の観点からサイバーセキュリティにどのような影響を与えるでしょうか？

Sekhar Sarukkai:
ええ、これはまた、非常に急速に進化しており、わずか2年前には現実の問題とは考えられなかったような問題がすでに発生しています。サイバーセキュリティの実務家として、仕事はさらに困難になるばかりだと思います。

それは多くの要因によるものだと思います。今日、Gen AIの文脈でセキュリティについて尋ねてみると、多くのスタートアップ企業や、Skyhighのような確立された企業でさえ、LLM自体を保護することが何を意味するのかを検討しています。ジェイルブレイクという概念や、モデルを誘導して不適切な回答をさせる方法など、そういった問題があります。

データ漏洩に関する懸念もあります。Fortune 100企業で、JNIプラットフォーム上に作成されたチャットボットによってCEOの給与が公開されたという典型的な例があります。このようなことは非常に重要であり、多くの人々が取り組んでいることです。そして、Skyhigh SSEのようなプラットフォームに組み込まれるか、あるいは新興のスタートアップ企業との提携によって、その自然なギャップを埋め続けることになるでしょう。

しかし、攻撃側から生じる他の問題もありますよね。これは、悪意のあるアクターがこれらの変化に素早く適応する典型的なケースです。典型的な例を挙げましょう。私たちはDevinについて話しましたよね？その例を使わせてください。Devinは問題を見つけると、これらの情報源の1つにアクセスできます。

Stack Overflowで、「なぜこのエラーが発生したのか？」「その修正方法は何なのか？」を確認します。そして、様々な開発者によるコメントを見て、適切なものを選択し、その修正を実装します。実際、数ヶ月前に公開されたことですが、悪意のあるアクターが存在することが判明しました。

それは国家が支援するアクターだと思いますが、非常に興味深いことをしています。彼らは実際、バックドアが仕込まれた悪意のあるPythonライブラリをStack Overflowに公開していました。単に公開するだけでなく、GitHubで公開し、Stack Overflowでそれについて語っていたのです。そして

Scott Schlee:
問題の解決策として。

Sekhar Sarukkai:
その例外か、何であれ。

ですから、もしあなたが人間で、GitHub CopilotのようなCopilotが「これを修正しろ」と指示したと想像してください。私はStack Overflowに行ってそれを見つけます。それを取り入れ、自分の判断で「これは使わない方がいいかもしれない」などと判断するでしょう。そして、その新しいPythonライブラリで更新するかどうかは私次第です。

しかし、Devinのようなエージェント型の場合、どのような制御が必要なのでしょうか。なぜなら、それはスピードと効率、そしていかに迅速かつ巧妙に問題を解決できるかにかかっているからです。Stack Overflowのコメントを無視すべきかどうかを判断する定量的な方法があるのかさえ分かりません。

つまり、このケースでは本質的にデータサプライチェーン攻撃のリスクがAIにとって非常に現実的だということです。なぜなら、この例で私が話しているのは、推論時、つまり実際にモデルを使用している時のことだからです。モデル自体の訓練にどのようなデータが使われたかという、データサプライチェーンに関するこのような問題が数多く存在します。

マルウェアや悪意のあるデータに関する疑問は確かにありますが、データ所有権や著作権の問題など、根本的な疑問もあります。そして、これらは著作権侵害の責任を問われる可能性のある企業にとって、ますます困難になるかもしれません。それがGen AIによって生成されたものであるかどうかにかかわらず、です。

もし彼らが、自分たちにとって価値のあるもの、あるいは公開されているものにそれを使用すれば、誰かに訴えられる可能性があります。ですから、そういった問題は間違いなくあり、さらに検討する必要があると思います。そして、根本的に、最後に言いたいのは、エージェント型世界への強い動きがあり、物事の自動化、人間と私たちの選択をAIが代替することによって、悪意のあるアクターのキャンペーンは、AIのスピードで起こるため、人間には全く触れない可能性さえあるということです。

つまり、AIが環境内の脆弱性を見つけて攻撃を開始するため、純粋にAIに基づいた攻撃を仕掛ける悪意のあるアクターが存在するということです。Devinが良い目的のためにコードを作成したように、悪意のあるアクターはそれを使ってネットワークに侵入し、データを持ち出すことができます。そして、もしそれが起こった場合、人間のスピードで対応しても意味がありません。なぜなら、人間は今日の世の中のように、チケットを作成し、SOCに送り、誰が所有しているかを突き止め、問題を見つける必要があるからです。

それは、うまくいきません。

Scott Schlee:
対処されるまでに数時間から数日かかります。

Sekhar Sarukkai:
ですから、まるで昔の漫画のようです。私は年がばれますが、スパイ対スパイというものがありました。それと同じようなもので、AI対AIですよね？それが、サイバーセキュリティにおける真の戦いが時間とともに展開される場所だと思います。

Scott Schlee:
それは興味深いコンセプトですね。多くの人が、AI対AIがどのように機能するかを理論化してきました。まるで無法地帯のようなシナリオでは、最悪の事態に備えるしかありません。

Sekhar Sarukkai:
ええ、いえ、私が考えるに、SkyhighはCASBのパイオニアの一つです。Skyhighは、元々Skyhighのネットワークでしたが、その後Skyhigh Securityへと変化しました。

そして、そのドメイン自体も、Gartnerの用語では、CASBからSSE Secure Service Edgeへと変化し、CASB、SWG、RBI、その他多くの機能を備えています。しかし、Skyhighが進むべき方向性、そしてSSEプラットフォームの自然な拡張だと私が考えるのは、AIに包括的に対応することです。なぜなら、企業について考えると、Skyhighが企業データをどのように見てきたか、そして彼らは非常に興味深いデータに関するレポートを公開する予定だと私は信じています。きっとあなたはそれについて別のポッドキャストを行うでしょう。

そして、ある時点でデータをあまり多く明かすことはできませんが、興味深い発見のいくつかは、多くの企業がGen AIを真に受け入れている一方で、多くの大企業が実際にはChatGPTをブロックしているということです。これは矛盾した見方のように思えますが、彼らが本当に言いたいのは、それが非常に重要だということです。

そして、未知の要素が非常に多いため、私は独自のプライベートインスタンスにデプロイしたいのです。SaaSとしてChatGPTを使用するのではなく、ですよね？そのため、従業員がChatGPTにクエリを送信することを許可していませんが、彼らは独自の企業向けインスタンスを持っています。そこでは、従業員がクエリを送信できます。なぜなら、データがこの高速なChatGPT環境に漏洩する可能性があることを懸念しており、内部であればその価値を得られると考えているからです。

Scott Schlee:
承認されたガードレールを設定している限りは。

Sekhar Sarukkai:
ええ、それだけでなく、実際、これらのほとんどすべてのケースで、彼らはAzure AIのようなものを使用しています。それはパブリックインフラストラクチャ上のPaaSデプロイメントですが、彼らのVPC内で、本質的に彼らの従業員のみがそのGPTのインスタンスを使用しています。

API経由であろうと、ChatGPTであるUI経由であろうと、同様にAWSでも、これらのパブリッククラウド環境はすべて、その周辺でかなり健全なビジネスを成長させてきました。したがって、最初のステップは、どのようなGen AIが使用されているかを可視化することです。これは、10年前にクラウドがすべてのビジネスで使用され始めた頃のシャドーITとほぼ同じです。

現在、多くのCISOは、自社の企業でどのようなAIが使用されているのか、どの事業部門で、それがリスクがあるのかないのかを知りたいと考えています。問題ないLLMもあれば、マルウェア攻撃やジェイルブレイクに対してより脆弱であるため、従業員や顧客のこの企業に対する認識に影響を与える可能性があるため、疑わしいものもあります。

そのレベルの可視性、そしてJNIとLLMに特有の属性を持つことは、Skyhigh Securityが、もし最初でなければ、最初のSSEベンダーの一つとして市場に投入したものです。つまり、企業がどのようなAIを使用しているかを発見し、報告するだけでなく、どのAIがリスクがあり、どれがそうでないかなど、リスクに基づいた視点を持つことができるのです。

しかし、それだけではないと思います。ご存知の通り、Skyhighプラットフォームはデータセキュリティに非常に強いからです。データセキュリティにおけるCASBのルーツもそこにあります。お客様が抱える懸念の多くはデータ漏洩に関するものですよね？だからこそ、彼らはChatGPTをブロックすることもありますが、プライベートな利用などを許可しています。

Office 365に関するSSEの大きなユースケースがあります。そして、Skyhigh Securityのレポートでもご覧いただけるもう一つの興味深い発見は、他の何よりも桁違いに、例えば3桁も、企業での利用において際立っているLLMまたはGen AIが一つあるということです。

それがOffice 365 Copilotの利用です。これはMicrosoft Copilotであり、CopilotはGen AIの基盤モデルの上に構築されています。OpenAIのGPT 4.0、あるいはLLAMAモデル、その他多数、Anthropicなど、何であれ。基本的にMicrosoftはOpenAIを使用していますが、Office 365のアドオンであるMicrosoft Office 365 Copilotを作成しました。

これにより、Office 365のユーザーはChatGPTのように自由形式の対話ができるだけでなく、Office 365が可視性を持つすべての企業データにそれを文脈化します。大企業について考えると、彼らは皆Office 365に標準化されていますよね？

彼らは皆、SharePoint、OneDrive、Microsoft Teams、すべてのメールなど、企業や従業員が今日、交流し、生産性を高め、価値を創造するために使用するすべてのものをMicrosoftプラットフォームに持っており、どこかのMicrosoftプラットフォームに保存されています。そして、Microsoft Copilotは実際にそれらすべてをインデックス化します。

インデックス化しないものを指定するなどの制御機能があります。しかし、Office 365にバンドルされている、またはアドオンであるという事実から、Microsoft Copilotの導入は他の何よりもはるかに進んでいます。それがOpenAIなどの利用を引き込むかもしれませんが、従業員がOffice 365を使用し、Copilotと対話し、多くの機密データがMicrosoft環境にあるため、Skyhigh Securityのデータ保護の自然な拡張が重要だと考えます。

Copilotの世界では、お客様にとって非常に価値のあるものとなり得ます。それには多くの課題があります。Microsoftにはいくつかの基本的な制御機能がありますが、一部の大企業ではSSEが必要であり、Copilotを使用することでさらに重要になると考えます。

Microsoft Copilotには典型的な例があります。例えば、APIを通じてCopilotに実際に接続できるアプリケーションがあります。それが潜在的にデータ流出の経路となります。最近のBlack HatカンファレンスでCopilot向けに発表された非常に興味深い攻撃がいくつかあります。もし興味があれば、「Copilot」で検索してみてください。Microsoft Copilotプラットフォームにあるインテリジェンスを使用して、例えばスピアフィッシング攻撃を作成しようとする攻撃ベクトルがいくつか見つかるでしょう。

実際、Copilotを誘導して、会議に誰がいたか、最も多く連絡を取った人のメールアドレスは何か、といった質問に答えさせることができます。そして、その人と最後に何を話しましたか？そして、Copilotとのこのやり取りから十分な情報を抽出し、その人に何かをするように依頼するメッセージを作成することができます。

Scott Schlee:
CEOからグループのメンバーへ

Sekhar Sarukkai:
その通りです。

Scott Schlee: シェイカー、Skyhigh SecurityはどのようなAIソリューションを提供しており、将来に向けてどのように準備していますか？

Sekhar Sarukkai:
お客様は今日、Copilotの展開をより良く管理する方法を求めていると思います。それは将来のことというよりも、現在のニーズですよね？Skyhigh Securityは、Office 365環境におけるデータ保護の強みを活かし、Copilotにも基本的に同じDLPのようなテストを行うことで適用できる立場にあると認識しています。

例えば、Skyhigh Securityはすでに、次のような機能を持っています。もし私があなたと文書で共同作業をしていて、突然私が、例えば請負業者だとします。あるいは、この場合私がアドバイザーだとしましょう、Scott。あなたが私と何かを共有していて、従業員や役員以外には適さない非常に機密性の高いものを共有しようとしているとします。

Skyhigh Securityはすでに、コンテンツが共有を許可されるべきレベルよりも機密性が高くなった場合に、共同作業を停止する機能を持っていますよね？それは同じ種類のものです。Copilotがコンテンツを生成している際に、私が持っているよりも高い機密レベルの機密情報がある場合、それをブロックできるはずです。

Skyhigh Securityはそれに関して潜在的に役立つことができます。Skyhigh Securityは現在、ガードレール作成に特化した特定のAIスタートアップと協力しています。これはEncryptというスタートアップで、レッドチームの観点からのリスクスコアリングのために統合しましたが、ガードレールのためにも統合していますよね？

ChatGPTに対して「ジェイルブレイクすべきではない」というガードレールがあるのと同じように、Office 365にとっても重要ですよね？Office 365に不適切なものを吐き出させたくないでしょうから、それに対処できることはSkyhigh Securityがお客様を支援できることです。

ドキュメントの機密性を理解し、それを保護できること、そして共同作業の観点から、誰がそれを見ることができるか、そしてOffice 365との既存のAPI統合を通じて、またはフォワードプロキシやリバースプロキシのいずれかのプロキシを通じて、ほぼリアルタイムでそれを修正できるというアプローチは、現在検討され、取り組まれていると思います。

Scott Schlee:
今回お越しいただき、多くのことを明確にしてくださったことに心から感謝いたします。なぜなら、以前にも言いましたが、AIに関しては今まさに「ワイルドウェスト」のような状況で、多くの相反する情報が出回っているからです。AIがどこにあり、どこへ向かっているのか、そして機密データをどのように保護すべきかを完全に理解していない人もいます。

近いうちにまたお話しできることを心から願っています。なぜなら、3ヶ月以内にはすべてが完全に変わっていると確信しているからです。ですから、ぜひまた最新情報をお聞かせいただきたいです。

Sekhar Sarukkai:
もちろんです、Scott。喜んで。ぜひ参加させていただきます。この件に関しては多くの興味深いトピックがあり、我々はそれらを取り上げています。

企業が業界がどのように考えているかについて、ある程度の可視性を持つ必要があると思います。この分野の進化、そしてGen AIのセキュリティへの関連性、そしてGen AI自体のセキュリティに関するあなたの質問は、どちらも非常に重要であり、これは間違いなくより長い議論になるでしょう。

Scott Schlee:
その通りですね、シェイカー。オンラインであなたを見つけたい場合、どのように連絡を取ればよいですか？

Sekhar Sarukkai:
最も良い方法は、LinkedInで「シェイカー」と検索することだと思います。ぜひつながりましょう。この極めて重要な新しい分野について、皆さんの視点をお聞かせいただければ幸いです。

Scott Schlee: 非常に良いですね。

彼の情報はショーノートに記載されます。そこにクイックリンクをご用意しますので、彼、私、またはSkyhigh Securityまでお気軽にお問い合わせください。AIの未来と、どのようにお手伝いできるかについて、ぜひお話ししたいです。

Sekhar Sarukkai:
ありがとうございます。

Scott Schlee:
Skyhigh Cloudcastをお聴きいただき、誠にありがとうございます。このエピソードをお楽しみいただけたなら、お気に入りのプラットフォームでぜひご登録ください。更新を見逃すことはありません。

番組を気に入っていただけましたら、レビューをお願いいたします。他のリスナーがポッドキャストを見つけるのに役立ちます。Skyhigh SecurityまたはCloudcastに関する詳細については、SkyhighSecurity.comをご覧ください。

ご注意：すべてのトランスクリプトは音声認識ソフトウェアと人間の書き起こしによって生成されており、誤りを含む可能性があります。引用する前に、必ず対応する音声をご確認ください。