L'onde de choc de l'IA : comment l'ascension fulgurante de DeepSeek remodèle le paysage des chatbots d'entreprise

Par Thyaga Vasudevan - Vice-président exécutif, Produits

3 février 2025 6 Lecture minute

DeepSeek, une startup chinoise d'intelligence artificielle fondée en 2023, a connu une popularité fulgurante au cours de la semaine écoulée. Non seulement elle a dépassé ChatGPT pour devenir l'application gratuite la mieux notée de l'App Store américain, mais l'assistant d'intelligence artificielle a également eu un impact profond sur le marché, car les principales valeurs technologiques ont connu des baisses significatives. Nvidia, l'un des principaux fabricants de puces d'IA, a vu ses actions chuter de près de 17 %, ce qui a entraîné une perte d'environ 589 milliards de dollars en valeur de marché, soit la perte la plus importante en une seule journée dans l'histoire de Wall Street.

L'innovation autour de DeepSeek représente une démocratisation accrue de l'IA, ce qui est bon pour l'humanité dans son ensemble. L'innovation de l'entreprise d'IA a permis de proposer un modèle d'IA open-source qui rivalise avec les plateformes existantes en termes de performances, tout en étant plus rentable et plus économe en énergie. L'interface conviviale de l'application et la fonction transparente "penser à voix haute" ont encore renforcé son attrait, permettant aux utilisateurs de suivre le processus de raisonnement de l'IA.

L'arrivée d'un autre chatbot d'IA avec son propre modèle LLM pose également une question importante aux entreprises, en particulier aux grandes entreprises, alors qu'elles augmentent leurs investissements dans l'IA. Comment les entreprises doivent-elles évaluer un nouveau chatbot d'IA pour leur consommation ? Quels sont les facteurs à prendre en compte pour déterminer les avantages et les inconvénients de l'utilisation de l'application d'IA par les employés et de son adoption par l'entreprise ? Des rapports récents et des incidents réels montrent que certains LLM - en particulier les variantes open-source dépourvues de cadres de sécurité solides - représentent des menaces importantes pour la sécurité des données, la conformité réglementaire et la réputation de la marque.

Dans ce blog, nous explorons :

• L'essor des LLM à risque, comme DeepSeek
• Principales failles de sécurité liées à l'IA
• Comment les entreprises peuvent-elles évaluer, gouverner et sécuriser les nouveaux chatbots d'IA ?
• Pourquoi une approche intégrée, telle que celle de Skyhigh Security SSE, est-elle cruciale ?

La montée des LLM risqués et des chatbots

Les LLM open-source tels que DeepSeek ont suscité à la fois enthousiasme et inquiétude. Contrairement aux solutions d'IA approuvées par les entreprises, les LLM open-source ne disposent souvent pas des contrôles de sécurité robustes nécessaires pour protéger les données sensibles des entreprises, comme le montre un récent rapport d'Enkrypt AI :

• 3x plus biaisé que les modèles comparables
• 4 fois plus de chances de générer un code non sécurisé
• 11x plus enclins aux contenus préjudiciables

Malgré ces problèmes, DeepSeek s'est hissé au sommet de l'App Store d'Apple, dépassant même ChatGPT en atteignant 2,6 millions de téléchargements en seulement 24 heures (le 28 janvier 2025). Cette adoption explosive met en évidence une tension fondamentale : L'IA progresse à une vitesse fulgurante, mais la surveillance de la sécurité est souvent à la traîne, ce qui expose les entreprises à des fuites de données potentielles, à des violations de la conformité et à des atteintes à leur réputation.

Principales zones de risque lors de l'évaluation des chatbots d'IA

Comme nous l'avons souligné dans notre blog sur la sécurité de l'IA Skyhigh, les entreprises doivent reconnaître les risques inhérents que l'IA introduit, notamment :

• Manque de données d'utilisation: Les équipes de sécurité ne savent pas combien d'utilisateurs au sein de leur entreprise utilisent des applications d'IA de l'ombre pour effectuer leur travail.
• Compréhension limitée du risque LLM: Comprendre quelles apps d'IA et quels modèles de LLM sont risqués est essentiel pour la gouvernance et cette information n'est pas facile à obtenir.
• Exfiltration de données: Dans le cadre de leur travail, les utilisateurs téléchargent des données d'entreprise dans des applications d'IA, ce qui peut entraîner l'exfiltration de données sensibles.
• Invitations contradictoires: Les chatbots d'IA peuvent souvent fournir des réponses biaisées, toxiques ou simplement incorrectes (hallucination). En outre, ils peuvent fournir du code qui peut contenir des logiciels malveillants. La consommation de ces réponses peut causer des problèmes à l'entreprise.
• Empoisonnement des données: Les entreprises créent des applications d'IA publiques ou privées personnalisées pour répondre à leurs besoins. Ces applications sont formées et ajustées à l'aide des données de l'entreprise. Si les données d'entraînement sont compromises, par inadvertance ou par malveillance, l'application d'IA personnalisée peut fournir des informations incorrectes.
• Conformité et risques réglementaires: L'utilisation d'apps d'IA expose les entreprises à des risques de conformité et de réglementation plus importants, que ce soit en raison de l'exfiltration de données, de l'exposition de données sensibles ou d'invites incorrectes ou adverses associées à des chatbots d'IA personnalisés.

Pourquoi une approche intégrée est importante : Skyhigh Security SSE

Lorsque les entreprises évaluent de nouvelles applications d'IA ou des chatbots, elles doivent se demander si elles disposent des outils nécessaires pour appliquer les contrôles nécessaires à la protection de leurs actifs d'entreprise. Elles doivent s'assurer que leur pile de sécurité est positionnée non seulement pour appliquer les contrôles sur les applications d'IA, mais aussi pour évaluer et répondre aux activités malveillantes et aux menaces qui découlent de ces applications.

Les solutions Security Services Edge (SSE) telles que Skyhigh Security sont un élément clé de la sécurité de l'IA dans les entreprises. Ces outils sont déjà intégrés à la pile de sécurité de l'entreprise, car les entreprises ont sécurisé le trafic sur site et dans le cloud. Les équipes de sécurité ont déjà défini des politiques de gouvernance et de protection des données et celles-ci peuvent être facilement étendues aux applications d'IA. Enfin, en couvrant le web, les apps fantômes, les apps sanctionnées et les apps privées grâce à leurs modes de déploiement flexibles, les solutions d'ESS peuvent couvrir le spectre de l'empreinte de l'IA au sein de l'entreprise et fournir une sécurité complète.

Voici les principaux contrôles que les entreprises cherchent à appliquer aux applications d'IA :

• Gouvernance de l'IA fantôme: La gouvernance des applications d'IA fantôme nécessite de comprendre l'utilisation et le risque des applications d'IA ainsi que d'appliquer des contrôles. Les principales solutions d'ESS offrent une visibilité complète sur les applications d'IA fantôme. En outre, elles permettent de comprendre en profondeur le risque lié à l'IA, ce qui inclut le niveau de risque du modèle LLM sous-jacent face à des risques tels que le jailbreaking, la partialité, la toxicité et les logiciels malveillants. Enfin, ces applications peuvent être détectées, regroupées et des contrôles peuvent être appliqués sans nécessiter d'intervention manuelle.
• Protection des données: La principale préoccupation des entreprises à l'égard des applications d'IA est l'exfiltration de données sensibles de l'entreprise vers des applications d'IA non approuvées et risquées, car les employés cherchent à tirer parti des gains de productivité considérables offerts par l'IA. Ce problème n'est pas différent de celui de toute autre application fantôme, mais il a pris de l'ampleur en raison de la croissance significative que les applications d'IA ont connue en peu de temps. Grâce aux solutions d'ESS, les entreprises peuvent étendre leurs contrôles de protection des données existants aux applications d'IA. Alors que certaines solutions n'offrent ces capacités que pour les apps approuvées par l'entreprise et intégrées via des API, les principales solutions d'ESS, telles que Skyhigh Security, offrent des contrôles de protection des données unifiés. Cela signifie que la même politique peut être appliquée à une shadow app, à une app sanctionnée ou à une app privée.
• Contrôles des messages contradictoires: L'avènement des modèles LLM a donné naissance à un nouveau vecteur de risque, à savoir les invites adverses. Il s'agit des utilisateurs finaux qui tentent de manipuler les modèles LLM pour fournir des informations indésirables ou illégales, comme le jailbreaking ou les injections d'invites. Il peut également s'agir d'applications d'IA qui fournissent des contenus toxiques, biaisés, dangereux, NSFW ou incorrects dans leurs réponses. Dans l'un ou l'autre de ces cas, l'entreprise risque de voir ce contenu utilisé dans ses documents d'entreprise, ce qui la rendrait vulnérable aux risques liés à la réglementation, à la gouvernance et à la réputation. Les entreprises cherchent à appliquer des contrôles pour détecter et remédier aux invites à risque, tout comme elles le font avec la DLP.
• Remédiation à l'empoisonnement des données: Comme les entreprises créent de plus en plus leurs chatbots IA personnalisés en utilisant les GPT d'OpenAI ou les copilotes personnalisés, le caractère sacré des données d'entraînement utilisées pour former ces chatbots a pris de l'importance du point de vue de la sécurité. Si une personne ayant accès à ce corpus de données d'entraînement l'"empoisonne" avec des entrées incorrectes ou malveillantes, il est probable que cela ait un impact sur les réponses du chatbot. Cela pourrait exposer l'entreprise à des risques juridiques ou commerciaux, en particulier si le chatbot est accessible au public. Les entreprises effectuent déjà des analyses DLP à la demande (ou au repos) sur les données de formation afin de supprimer les données sensibles. Elles cherchent également à effectuer des analyses similaires pour identifier les tentatives potentielles d'injection rapide ou d'empoisonnement des données.
• Conformité et application de la réglementation: Les entreprises utilisent des solutions d'ESS pour renforcer la gouvernance et la conformité réglementaire, en particulier lorsque les données sont téléchargées vers des applications cloud ou partagées avec des parties externes. À mesure qu'elles adoptent l'IA dans de multiples cas d'utilisation en entreprise, elles se tournent vers les solutions d'ESS pour étendre ces contrôles aux apps d'IA et continuer à permettre l'accès à leurs employés.

L'avenir de la sécurité de l'IA

L'évolution rapide de l'IA exige un nouveau paradigme de sécurité, qui garantit que l'innovation ne se fait pas au détriment de la sécurité des données. Les entreprises qui cherchent à exploiter les LLM doivent le faire avec prudence, en adoptant des cadres de sécurité de l'IA qui protègent contre les menaces émergentes.

Chez Skyhigh Security, nous nous engageons à aider les entreprises à adopter l'IA en toute sécurité tout en protégeant leurs actifs les plus critiques. Pour en savoir plus sur la façon de protéger votre organisation contre l'utilisation risquée de l'IA, découvrez nos dernières réflexions dans le Skyhigh AI Security Blog.

Retour à Blogs