الموجة الصدمية للذكاء الاصطناعي: كيف يعيد الصعود الصاروخي لشركة DeepSeek تشكيل مشهد روبوتات الدردشة الآلية للمؤسسات

بقلم ثياغا فاسوديفان - نائب الرئيس التنفيذي، المنتجات

فبراير 3, 2025 فبراير 2025 6 قراءة دقيقة

شهدت شركة DeepSeek، وهي شركة صينية ناشئة للذكاء الاصطناعي تأسست في عام 2023، ارتفاعًا هائلاً في شعبيتها خلال الأسبوع الماضي. ولم يقتصر الأمر على تفوقه على تطبيق ChatGPT ليصبح التطبيق المجاني الأعلى تقييمًا على متجر التطبيقات في الولايات المتحدة فحسب، بل كان لمساعد الذكاء الاصطناعي تأثير عميق على السوق، حيث شهدت أسهم شركات التكنولوجيا الكبرى انخفاضات كبيرة. فقد شهدت شركة Nvidia، وهي شركة رائدة في تصنيع رقائق الذكاء الاصطناعي، انخفاضًا في أسهمها بنسبة 17% تقريبًا، مما أدى إلى خسارة ما يقرب من 589 مليار دولار من القيمة السوقية - وهي أكبر خسارة في يوم واحد في تاريخ وول ستريت.

يمثل الابتكار حول DeepSeek زيادة دمقرطة الذكاء الاصطناعي، وهو أمر جيد للبشرية بشكل عام. وقد أدت ابتكارات شركة الذكاء الاصطناعي إلى تقديم نموذج ذكاء اصطناعي مفتوح المصدر ينافس المنصات الحالية في الأداء مع كونه أكثر فعالية من حيث التكلفة وكفاءة في استخدام الطاقة. وقد عززت واجهة التطبيق سهلة الاستخدام وميزة "التفكير بصوت عالٍ" الشفافة للتطبيق من جاذبيته، مما يسمح للمستخدمين بمتابعة عملية التفكير التي يقوم بها الذكاء الاصطناعي.

كما يطرح ظهور روبوت دردشة آلي آخر للذكاء الاصطناعي بنموذج LLM الخاص به سؤالاً مهماً للشركات، وخاصة الشركات الكبيرة، حيث تزيد من استثمارها في الذكاء الاصطناعي. كيف يجب على الشركات تقييم روبوت الدردشة الآلي الجديد للذكاء الاصطناعي لاستهلاكها؟ ما هي العوامل التي تدخل في تحديد الفوائد والجوانب السلبية لاستهلاك الموظفين لتطبيق الذكاء الاصطناعي وتبني الشركات له؟ تُظهر التقارير الأخيرة والحوادث الواقعية أن بعض تطبيقات الذكاء الاصطناعي الآلي - خاصةً المتغيرات مفتوحة المصدر التي تفتقر إلى أطر أمنية قوية - تشكل تهديدات كبيرة لأمن البيانات والامتثال التنظيمي وسمعة العلامة التجارية.

في هذه المدونة، نستكشف:

• صعود LLMs المحفوفة بالمخاطر، مثل DeepSeek
• الثغرات الأمنية الرئيسية المرتبطة بالذكاء الاصطناعي
• كيف يمكن للمؤسسات تقييم روبوتات الدردشة الآلية الجديدة التي تعمل بالذكاء الاصطناعي وتنظيمها وتأمينها
• لماذا يعد النهج المتكامل - مثل Skyhigh Security SSE - أمرًا بالغ الأهمية

ظهور برامج الدردشة الآلية المحفوفة بالمخاطر وروبوتات الدردشة الآلية

وقد أثارت حلول إدارة التعلم الآلي مفتوحة المصدر مثل DeepSeek الإثارة والقلق على حد سواء. على عكس حلول الذكاء الاصطناعي التي تم فحصها من قبل المؤسسات، غالبًا ما تفتقر حلول الذكاء الاصطناعي مفتوحة المصدر إلى الضوابط الأمنية القوية اللازمة لحماية بيانات الأعمال الحساسة كما هو موضح في تقرير حديث صادر عن شركة Enkrypt AI:

• أكثر تحيزاً بـ 3 أضعاف النماذج المماثلة
• 4 أضعاف احتمال إنشاء كود غير آمن
• 11 مرة أكثر عرضة للمحتوى الضار

على الرغم من هذه المشكلات، ارتفع DeepSeek إلى قمة متجر تطبيقات Apple، متجاوزاً حتى ChatGPT من خلال الوصول إلى 2.6 مليون عملية تنزيل في 24 ساعة فقط (في 28 يناير 2025). يسلط هذا التبني الهائل الضوء على توتر أساسي: يتقدم الذكاء الاصطناعي بسرعة فائقة، ولكن غالباً ما تتخلف الرقابة الأمنية عن الركب، مما يجعل الشركات عرضة لتسريبات محتملة للبيانات وانتهاكات الامتثال والضرر بالسمعة.

مجالات المخاطر الرئيسية عند تقييم روبوتات الدردشة الآلية القائمة على الذكاء الاصطناعي

كما أوضحنا في مدونة Skyhigh AI Security، يجب على الشركات أن تدرك المخاطر الكامنة التي يقدمها الذكاء الاصطناعي، بما في ذلك:

• نقص بيانات الاستخدام: لا تفهم فرق الأمن عدد المستخدمين داخل مؤسساتهم الذين يستخدمون تطبيقات الذكاء الاصطناعي الخفية لإنجاز أعمالهم.
• الفهم المحدود لمخاطر إدارة التعلم الآلي المحدودة: يعد فهم تطبيقات الذكاء الاصطناعي ونماذج إدارة التعلم الآلي منخفضة المخاطر أمرًا أساسيًا للحوكمة وليس من السهل الحصول على هذه المعلومات.
• تسريب البيانات: أثناء عملية إنجاز العمل، يقوم المستخدمون بتحميل بيانات الشركة إلى تطبيقات الذكاء الاصطناعي، وقد يؤدي ذلك إلى تسريب البيانات الحساسة.
• مطالبات عدائية: غالبًا ما يمكن لروبوتات الدردشة الآلية التي تعمل بالذكاء الاصطناعي أن تقدم ردودًا متحيزة أو سامة أو ببساطة غير صحيحة (هلوسة). بالإضافة إلى ذلك، يمكن أن تقدم رموزاً يمكن أن تحتوي على برمجيات خبيثة. يمكن أن يتسبب استهلاك هذه الردود في مشاكل للشركة.
• تسمم البيانات: تنشئ الشركات تطبيقات ذكاء اصطناعي عامة أو خاصة مخصصة لتناسب احتياجات أعمالها. يتم تدريب هذه التطبيقات وضبطها باستخدام بيانات الشركة. إذا تم اختراق بيانات التدريب إما عن غير قصد أو عن طريق نية خبيثة، فقد يؤدي ذلك إلى تقديم تطبيق الذكاء الاصطناعي المخصص معلومات غير صحيحة.
• الامتثال والمخاطر التنظيمية: يؤدي استخدام تطبيقات الذكاء الاصطناعي إلى تعريض المؤسسات لمخاطر الامتثال والمخاطر التنظيمية بشكل أكبر، إما بسبب تسرّب البيانات أو كشف البيانات الحساسة أو المطالبات غير الصحيحة أو العدائية المرتبطة بروبوتات الدردشة الآلية المخصصة للذكاء الاصطناعي.

لماذا يعتبر النهج المتكامل مهماً؟ Skyhigh Security SSE

بينما تقوم الشركات بتقييم تطبيقات الذكاء الاصطناعي الجديدة أو روبوتات الدردشة الآلية، يجب أن تفكر فيما إذا كانت لديها الأدوات اللازمة لتطبيق الضوابط اللازمة لحماية أصولها المؤسسية. يجب عليهم التأكد من أن حزمة الأمان الخاصة بهم مهيأة ليس فقط لتطبيق الضوابط على تطبيقات الذكاء الاصطناعي، ولكن أيضًا لتقييم الأنشطة والتهديدات الضارة التي تنشأ من هذه التطبيقات والاستجابة لها.

تُعد حلول حافة الخدمات الأمنية (SSE) مثل Skyhigh Security مكوناً رئيسياً لأمن الذكاء الاصطناعي للمؤسسات. هذه الأدوات مدمجة بالفعل مع حزمة أمان المؤسسة حيث قامت الشركات بتأمين حركة المرور داخل المؤسسة والسحابة. وقد حددت فرق الأمن بالفعل سياسات الحوكمة وحماية البيانات ويمكن توسيع نطاقها بسهولة لتشمل تطبيقات الذكاء الاصطناعي. وأخيراً، من خلال تغطية تطبيقات الويب وتطبيقات الظل والتطبيقات المصرح بها والتطبيقات الخاصة من خلال أوضاع النشر المرنة، يمكن لحلول أمن الذكاء الاصطناعي SSE تغطية نطاق بصمة الذكاء الاصطناعي داخل المؤسسة وتوفير أمان شامل.

فيما يلي أهم عناصر التحكم التي تتطلع الشركات إلى تطبيقها على تطبيقات الذكاء الاصطناعي:

• حوكمة الذكاء الاصطناعي الخفي: تتطلب قيادة حوكمة تطبيقات الذكاء الاصطناعي الخفي فهم استخدام تطبيقات الذكاء الاصطناعي ومخاطرها بالإضافة إلى تطبيق الضوابط. توفر حلول SSE الرائدة رؤية شاملة لتطبيقات الذكاء الاصطناعي في الظل. بالإضافة إلى ذلك، فهي توفر فهماً عميقاً لمخاطر الذكاء الاصطناعي، والذي يتضمن مدى خطورة نموذج LLM الأساسي على مخاطر مثل كسر الحماية والتحيز والسمية والبرمجيات الخبيثة. وأخيراً، يمكن اكتشاف هذه التطبيقات وتجميعها وفرض ضوابط عليها دون الحاجة إلى تدخل يدوي.
• حماية البيانات: يتمثل مصدر القلق الرئيسي لدى الشركات من تطبيقات الذكاء الاصطناعي في تسرّب البيانات الحساسة للشركات إلى تطبيقات الذكاء الاصطناعي غير المصرح بها والمحفوفة بالمخاطر، حيث يتطلع الموظفون إلى الاستفادة من المكاسب الإنتاجية الكبيرة التي يوفرها الذكاء الاصطناعي. لا تختلف هذه المشكلة عن أي تطبيق ظل آخر، ولكنها اكتسبت أهمية كبيرة بسبب النمو الكبير الذي شهدته تطبيقات الذكاء الاصطناعي في فترة زمنية قصيرة. باستخدام حلول SSE، يمكن للمؤسسات توسيع نطاق ضوابط حماية البيانات الحالية لتشمل تطبيقات الذكاء الاصطناعي. وفي حين أن بعض الحلول لا تقدم هذه الإمكانيات إلا للتطبيقات المعتمدة من الشركات والتي يتم دمجها عبر واجهات برمجة التطبيقات، فإن حلول SSE الرائدة، مثل Skyhigh Security تقدم ضوابط موحدة لحماية البيانات. وهذا يعني أنه يمكن تطبيق السياسة نفسها على تطبيق الظل أو التطبيق الخاضع للعقوبات أو التطبيق الخاص.
• ضوابط الموجهات العدائية: لقد أدى ظهور نماذج LLM إلى ظهور ناقل خطر جديد في المطالبات العدائية. يشير هذا إلى المستخدمين النهائيين الذين يحاولون التلاعب بنماذج LLM لتقديم معلومات غير مرغوب فيها أو غير قانونية مثل كسر الحماية أو الحقن الفوري. كما يمكن أن يشير أيضاً إلى تطبيقات الذكاء الاصطناعي التي تقدم محتوى ساماً أو متحيزاً أو خطيراً أو غير مرغوب فيه أو غير صحيح في ردودها. وفي أي من هذه الحالات، تكون الشركة معرضة لخطر استخدام هذا المحتوى ضمن موادها المؤسسية مما يجعلها عرضة لمخاطر تنظيمية ومخاطر الحوكمة والسمعة. تتطلع الشركات إلى تطبيق ضوابط لاكتشاف المطالبات الخطرة ومعالجتها تماماً كما هو الحال مع DLP.
• معالجة تسمم البيانات: مع تزايد إنشاء المؤسسات لروبوتات الدردشة الآلية المخصصة للذكاء الاصطناعي الخاصة بها باستخدام روبوتات الدردشة الآلية المفتوحة OpenAI GPTs أو روبوتات الدردشة الآلية المخصصة، اكتسبت قدسية بيانات التدريب المستخدمة لتدريب روبوتات الدردشة الآلية هذه أهمية من منظور أمني. إذا قام شخص ما لديه إمكانية الوصول إلى مجموعة بيانات التدريب هذه بـ "تسميمها" بمدخلات غير صحيحة أو ضارة، فمن المحتمل أن يؤثر ذلك على استجابات روبوتات الدردشة الآلية. وقد يؤدي ذلك إلى تعريض الشركة لمخاطر قانونية أو مخاطر تجارية أخرى، خاصةً إذا كان روبوت الدردشة الآلي متاحاً للوصول العام. تقوم الشركات بالفعل بإجراء فحوصات DLP عند الطلب (أو البيانات في وضع السكون) على بيانات التدريب لإزالة البيانات الحساسة. كما أنها تتطلع إلى إجراء عمليات فحص مماثلة لتحديد محاولات الحقن الفوري المحتملة أو محاولات تسميم البيانات.
• الامتثال والإنفاذ التنظيمي: تستخدم الشركات حلول SSE لفرض الحوكمة والامتثال التنظيمي، خاصةً مع تحميل البيانات إلى التطبيقات السحابية أو مشاركتها مع أطراف خارجية. ومع اعتمادها للذكاء الاصطناعي في حالات استخدام متعددة للشركات، فإنها تتطلع إلى حلول SSE لتوسيع نطاق هذه الضوابط لتشمل تطبيقات الذكاء الاصطناعي ومواصلة تمكين الوصول إلى موظفيها.

مستقبل أمن الذكاء الاصطناعي

يتطلب التطور السريع للذكاء الاصطناعي نموذجًا أمنيًا جديدًا - نموذجًا يضمن ألا يكون الابتكار على حساب أمن البيانات. يجب على الشركات التي تتطلع إلى الاستفادة من الآليات المحلية للذكاء الاصطناعي أن تفعل ذلك بحذر، وأن تتبنى أطر عمل أمنية للذكاء الاصطناعي تحمي من التهديدات الناشئة.

نحن ملتزمون في Skyhigh Security بمساعدة الشركات على تبني الذكاء الاصطناعي بأمان مع حماية أصولها الأكثر أهمية. لمعرفة المزيد حول كيفية حماية مؤسستك من استخدام الذكاء الاصطناعي المحفوف بالمخاطر، استكشف أحدث رؤانا في مدونة Skyhigh AI Security.

العودة إلى المدونات