एआई सुरक्षा: ग्राहकों की ज़रूरतें और अवसर

शेखर सरुक्काई द्वारा - साइबरसिक्यूरिटी@यूसी बर्कले

28 सितंबर, 2024 6 मिनट पढ़ें

उद्योग में सभी संकेत AI उपकरणों और सेवाओं के नवाचार और अपनाने में तेजी से वृद्धि की ओर इशारा करते हैं । क्रंचबेस के आंकड़ों के अनुसार, अप्रैल से जून तक आर्टिफिशियल इंटेलिजेंस (AI) स्टार्टअप में निवेश बढ़कर 24 बिलियन डॉलर हो गया, जो पिछली तिमाही से दोगुना से भी अधिक है। नवीनतम Y कॉम्बिनेटर समूह में 75% संस्थापक AI स्टार्टअप पर काम कर रहे हैं और लगभग सभी तकनीकी विक्रेता अपनी रणनीति को AI केंद्रित बनाने के लिए नए सिरे से काम कर रहे हैं।

हाल ही में एक सर्वेक्षण में, PWC ने पाया कि 50% से अधिक कंपनियों ने पहले ही genAI को अपना लिया है और 73% अमेरिकी कंपनियों ने पहले ही अपने व्यावसायिक कार्यों के कम से कम कुछ क्षेत्रों में AI को अपना लिया है । इस महीने ही, OpenAI ने अपनी 1 मिलियनवीं एंटरप्राइज़ सीट की भी घोषणा की - एंटरप्राइज़ उत्पाद जारी करने के एक साल से भी कम समय बाद।

इस सारे निवेश और नवाचार के साथ ही एआई के खतरों का नकारात्मक पक्ष भी सामने आता है, और सबसे बड़ी सुरक्षा, सुरक्षा, गोपनीयता और शासन संबंधी चिंताओं पर दृष्टिकोण जो उद्यमों को उत्पादन में एआई का उपयोग करने से रोकेंगे। यह ब्लॉग, श्रृंखला में पहला, उस एआई स्टैक के सामने आने वाली प्रमुख सुरक्षा चुनौतियों पर मेरा दृष्टिकोण प्रस्तुत करता है जिसे मैंने पिछले वर्ष में एकत्र किया है।

सरलीकृत AI स्टैक

एआई प्रौद्योगिकियों के प्रसार को निम्नलिखित तीन स्तरों पर देखा जा सकता है:

परत 1: आधारभूत ए.आई.

फाउंडेशन मॉडल जनरेटिव आर्टिफिशियल इंटेलिजेंस का एक रूप है। वे मानव भाषा आधारित संकेतों से आउटपुट उत्पन्न करते हैं। मॉडल जटिल न्यूरल नेटवर्क पर आधारित होते हैं जिसमें जनरेटिव एडवर्सरियल नेटवर्क, ट्रांसफॉर्मर और वैरिएशनल एनकोडर शामिल हैं। फाउंडेशनल AI में नवाचार की गति गेम-चेंजिंग रिलीज़ के साथ लुभावनी रही है, सबसे हाल ही में GPT-4o अपने मल्टीमॉडल मॉडल के साथ। इस स्तर पर बहुत सारा पैसा लगाया गया है, संक्षेप में इस कोर AI इंफ्रास्ट्रक्चर लेयर में विजेताओं को चुनना।

इस परत में दो प्रकार के बुनियादी ढांचे हैं:

1. फाउंडेशन मॉडल पर OpenAI, Google Gemini, Mistral, Grok, Llama और Anthropic जैसी कंपनियों का दबदबा है। ये मॉडल (ओपन-सोर्स या क्लोज-सोर्स) डेटा के एक विशाल कॉर्पस (सार्वजनिक या निजी) पर प्रशिक्षित होते हैं। मॉडल का उपयोग SaaS (जैसे ChatGPT), PaaS (जैसे AWS Bedrock, Azure/Google AI प्लेटफ़ॉर्म) के रूप में अनुमान लगाने के लिए किया जा सकता है या निजी उदाहरणों में तैनात किया जा सकता है। ये फाउंडेशन मॉडल कंपनियाँ अकेले Nvidia के AI चिप व्यवसाय का लगभग 50% हिस्सा हैं ।
2. कस्टम मॉडल जिनमें से हज़ारों हगिंग फेस जैसे मार्केटप्लेस में पाए जा सकते हैं। इन मॉडलों को लक्षित उपयोग मामलों या वर्टिकल के लिए विशेष डेटा सेट (सार्वजनिक या निजी) पर प्रशिक्षित किया जाता है। उन्हें SaaS या PaaS सेवाओं के रूप में या निजी उदाहरणों में तैनात करके भी उपयोग किया जा सकता है। इसके अलावा, उद्यम अपने निजी डेटा केंद्रों, निजी क्लाउड या हाइब्रिड वातावरण (उदाहरण के लिए H2O.ai) में तैनात अपने स्वयं के फाइन-ट्यून्ड मॉडल बनाने और तैनात करने का विकल्प चुन सकते हैं। उदाहरण के लिए, Microsoft की हाल की तिमाही रिपोर्टें बताती हैं कि AI PaaS पर विचार किए बिना सामान्य सार्वजनिक क्लाउड वृद्धि केवल मामूली है, सार्वजनिक क्लाउड व्यवसाय का सबसे तेज़ी से बढ़ने वाला हिस्सा AI PaaS है।

एलएलएम/एसएलएम उपयोग के मामले:

प्रत्येक परत में ग्राहक उपयोग मामलों का सारांश दो आयामों के परिप्रेक्ष्य से देखा जा सकता है: एक्स-अक्ष जो पहचानता है कि क्या कोई AI प्रयास/अनुप्रयोग आंतरिक कर्मचारियों या बाहरी ग्राहकों/भागीदारों पर लक्षित है। Y-अक्ष पहचानता है कि क्या AI अनुप्रयोग की तैनाती एक निजी उदाहरण (जैसे Google/MS AI या AWS Bedrock पर) में है या यह एक तृतीय पक्ष SaaS सेवा (जैसे ChatGPT) है। यह मैट्रिक्स सुरक्षा जोखिमों, खरीदार/अपनाने वाले की गति और प्रमुख आवश्यकताओं को स्पष्ट करने में मदद करता है।

उपरोक्त 2×2 मैट्रिक्स उद्यमों में एलएलएम को अपनाने और ग्राहक परिनियोजन प्राथमिकताओं को प्रेरित करने वाले विभिन्न उपयोग मामलों को दर्शाता है। हरे रंग की कोशिकाएँ वर्तमान निवेश/पीओसी को दर्शाती हैं। पीली कोशिकाएँ सक्रिय विकास को दर्शाती हैं, और लाल कोशिकाएँ संभावित भविष्य के निवेश को दर्शाती हैं।

परत 2: एआई सह-पायलट

यदि माइंडशेयर मूलभूत AI परत पर सफलता का माप है, तो निस्संदेह इस परत में राजस्व ही मापदंड है। इंटरनेट बूम की तरह ही, इंटरनेट इंफ्रास्ट्रक्चर विक्रेता (AT&Ts के बारे में सोचें) महत्वपूर्ण थे, लेकिन इंटरनेट क्रांति के सबसे बड़े व्यावसायिक लाभार्थी नहीं थे। यह वे अनुप्रयोग थे जिन्होंने इस इंटरनेट इंफ्रास्ट्रक्चर का उपयोग करके Google, Uber और Meta जैसे नए और दिलचस्प अनुप्रयोग बनाए जो बड़े विजेता थे। इसी तरह, AI युग में, बड़े $$ अनुप्रयोग पहले से ही AI सह-पायलट के रूप में उभर रहे हैं: जैसा कि Microsoft के CEO सत्य नडेला ने Ignite 2023 में घोषणा की कि वे एक सह-पायलट कंपनी हैं , जो एक ऐसे भविष्य की कल्पना कर रही है जहाँ हर चीज़ और हर किसी के पास एक सह-पायलट होगा। अध्ययनों से डेवलपर उत्पादकता में संभावित 30+% वृद्धि , या बीमा दावों की प्रक्रिया उत्पादकता में 50+% वृद्धि पहले से ही दिखाई गई है। कोई आश्चर्य नहीं कि नडेला ने हाल ही में कहा कि Copilot Microsoft का सबसे तेजी से बढ़ता M365 सुइट उत्पाद है। यह पहले से ही एंटरप्राइज़ सह-पायलट परिनियोजन में एक अग्रणी नेता बन गया है। स्काईहाई के हालिया आंकड़े इसकी पुष्टि करते हैं, पिछले 6 महीनों में M365 कोपायलट के उपयोग में 5000+% की वृद्धि हुई है!

इससे भी महत्वपूर्ण बात यह है कि यह बड़े उद्यमों में उपयोग की जाने वाली प्रमुख genAI तकनीक है, भले ही M365 Copilot की पहुंच M365 व्यवसाय के केवल 1% पर है - जिससे विकास के लिए बहुत अधिक गुंजाइश है। उद्यमों पर पड़ने वाले प्रभाव को कम करके नहीं आंका जाना चाहिए - M365 Copilot के साथ साझा किए जाने वाले डेटा के साथ-साथ अनुक्रमित किए जा रहे उद्यम डेटा की मात्रा अभूतपूर्व है। लगभग सभी उद्यम ChatGPT को ब्लॉक करते हैं और उनमें से लगभग सभी O365 Co-pilot को भी अनुमति देते हैं जो बदले में Azure AI सेवा (मुख्य रूप से OpenAI) का उपयोग करता है। Copilot के लिए M365 ऐड-ऑन प्रति-सीट मूल्य निर्धारण सभी SaaS विक्रेताओं के लिए अपने स्वयं के सह-पायलट को रोल आउट करने के लिए मॉडल बन रहा है, जिससे एक आकर्षक राजस्व धारा उत्पन्न हो रही है।

सह-पायलट उपयोग के मामले:

उपरोक्त 2×2 मैट्रिक्स उद्यमों में कोपायलट को अपनाने और ग्राहक परिनियोजन प्राथमिकताओं को प्रेरित करने वाले विभिन्न उपयोग मामलों को दर्शाता है। हरे रंग की कोशिकाएँ वर्तमान निवेश/POCs को दर्शाती हैं। पीली कोशिकाएँ सक्रिय विकास को दर्शाती हैं, और लाल कोशिकाएँ संभावित भविष्य के निवेश को दर्शाती हैं।

परत 3: एआई ऑटो-पायलट

और फिर एआई ऑटो-पायलट परत है - एजेंटिक सिस्टम जो बहुत कम या बिना किसी मानवीय हस्तक्षेप के कार्य करते हैं। यह वह परत होने का वादा करता है जो एसआई/परामर्श व्यवसाय को तोड़ देगा जो अब मैनुअल, महंगा है और कुछ अनुमानों के अनुसार SaaS/सॉफ़्टवेयर व्यवसाय के आकार का लगभग 8-10 गुना है। शुरुआती दौर में, ये एजेंटिक सिस्टम (स्वायत्त एजेंट के रूप में कार्य करने के लिए डिज़ाइन किए गए सिस्टम) उपयोगकर्ताओं द्वारा निर्धारित [या निहित] लक्ष्यों के जवाब में कार्य विश्लेषण, कार्य विखंडन और स्वायत्त कार्य निष्पादन में उत्कृष्टता प्राप्त करने का वादा करते हैं। यह संभावित रूप से लूप में मानव को खत्म कर सकता है। वर्तमान में इस क्षेत्र को लक्षित करने के लिए बहुत सारी वीसी फंडिंग है । हाल ही में YC कोहोर्ट में 75% स्टार्टअप में से बहुत से AI स्टार्टअप हैं जो इस परत में आते हैं। पिछले हफ़्ते ही, Salesforce ने कर्मचारी उत्पादकता को बढ़ावा देने के लिए अपने Agentforce की घोषणा की और Microsoft ने शुरू में SMBs को लक्षित करके Copilot Agents पेश किए जो व्यावसायिक प्रक्रियाओं के स्वचालन को सक्षम कर सकते हैं, साथ ही कस्टम एजेंटों का समर्थन करने के लिए अपने Copilot Studio का विस्तार कर सकते हैं।

एक निजी सहायक (उदा. Multion.ai), सहायता एजेंट (उदा. Ada.cx, intercom.com), डेवलपर्स (उदा. Cognition.ai (devin), Cursor.com, Replit.com), बिक्री टीम (उदा. Apollo.io, accountstory.com), सुरक्षा संचालन (उदा. AirMDR.com, Prophetsecurity.ai, AgamottoSecurity.com, torq.io), UX शोधकर्ता (उदा. Altis.io, Maze.co), UX डिजाइनर (उदा. DesignPro.ai), सिस्टम इंटीग्रेटर (उदा. TechStack.management), प्रोजेक्ट मैनेजर (उदा. Clickup.com), फाइनेंस बैक ऑफिस कर्मचारी (उदा. Prajna.ai), या यहां तक कि एक सार्वभौमिक AI कर्मचारी (उदा. ema.co) के लिए स्वायत्त एजेंट हैं। कुछ अध्ययनों से संकेत मिलता है कि ऐसी एजेंटिक प्रणालियाँ जो क्रियाओं को स्वचालित करती हैं, 1.5T$ अतिरिक्त सॉफ़्टवेयर खर्च का कारण बन सकती हैं, जिससे इन नई नस्ल की कंपनियों को सेवा-जैसे-सॉफ़्टवेयर कंपनियों के अगले मोहरा के रूप में स्थापित किया जा सकता है जो IT परिदृश्य पर हावी हो सकती हैं।

ऑटो-पायलट उपयोग के मामले:

उपरोक्त 2×2 मैट्रिक्स, उद्यमों में एजेंटों को अपनाने और ग्राहक परिनियोजन प्राथमिकताओं को प्रेरित करने वाले विभिन्न उपयोग मामलों को दर्शाता है। हरे रंग की कोशिकाएँ वर्तमान निवेश/POCs को दर्शाती हैं। पीली कोशिकाएँ सक्रिय विकास को दर्शाती हैं, और लाल कोशिकाएँ संभावित भविष्य के निवेश को दर्शाती हैं।

एआई सुरक्षा की आवश्यकताएं और अवसर

आश्चर्य की बात नहीं है, जब से 2 साल पहले ChatGPT का अनावरण किया गया था, तब से नई अब तक अज्ञात सुरक्षा, गोपनीयता और शासन की शब्दावली मुख्यधारा बन गई है जैसे: शीघ्र इंजीनियरिंग, जेलब्रेकिंग, मतिभ्रम, डेटा विषाक्तता, आदि। उद्योग ने इन नए मुद्दों को जल्दी से अपने हाथों में लपेट लिया है और इन विशेषताओं को प्रदर्शित करने के लिए विभिन्न LLM की प्रवृत्ति को मापने के लिए उपयोग किए जाने वाले कुछ मैट्रिक्स के परिणामस्वरूप हुआ है। ओपन वर्ल्डवाइड एप्लिकेशन सिक्योरिटी प्रोजेक्ट (OWASP) ने शीर्ष 10 LLM जोखिमों की पहचान करने में अच्छा काम किया है जो व्यापक हैं और सक्रिय रूप से अपडेट किए जाते हैं। इसके अलावा, एनक्रिप्ट एआई ने एक व्यापक एलएलएम सुरक्षा लीडरबोर्ड बनाने और बनाए रखने का एक अच्छा काम किया है जो पूर्वाग्रह, विषाक्तता, जेलब्रेक और मैलवेयर के चार आयामों में अग्रणी एलएलएम के सुरक्षा स्कोर को बेंचमार्क करने के लिए एक आसान उपकरण है।

हालाँकि, AI स्टैक के पूरे संदर्भ को देखते हुए, AI सुरक्षा के बारे में संकीर्ण दृष्टिकोण अपनाना भोलापन है। संभावित रूप से अलग-अलग खरीदारों द्वारा लगाए गए अद्वितीय चुनौतियों का समाधान करने के लिए प्रत्येक परत को अलग-अलग मुद्दों पर विचार करने की आवश्यकता होती है। उदाहरण के लिए, ग्राहकों द्वारा तैनात किए जा रहे मॉडलों के साथ समस्याओं की पहचान करने के लिए रेड-टीमिंग एप्लिकेशन टीम के लिए रुचिकर हो सकती है, जबकि सह-पायलटों के माध्यम से डेटा लीक होना या मॉडल को ठीक करने के लिए उपयोग किए जाने वाले डेटा सूचना सुरक्षा या CDO की चिंता का विषय हो सकते हैं।

अगले कुछ ब्लॉगों में, मैं वर्णित तीनों स्तरों में सुरक्षा जोखिमों और प्रस्तावित समाधानों पर गहराई से चर्चा करूंगा।

---

इस श्रृंखला के अन्य ब्लॉग:

• भाग 1 – एआई सुरक्षा: ग्राहकों की ज़रूरतें और अवसर
• भाग 2 – आधारभूत AI: सुरक्षा चुनौतियों के साथ एक महत्वपूर्ण परत
• भाग 3 – AI सह-पायलटों के साथ सुरक्षा जोखिम और चुनौतियाँ

ब्लॉग पर वापस जाएं