L'onda d'urto dell'AI: come l'ascesa meteorica di DeepSeek sta rimodellando il panorama dei chatbot aziendali

Di Thyaga Vasudevan - Vicepresidente esecutivo, Prodotto

3 febbraio 2025 6 Minuto letto

DeepSeek, una startup cinese di intelligenza artificiale fondata nel 2023, ha avuto un'impennata di popolarità nell'ultima settimana. Non solo ha superato ChatGPT per diventare l'app gratuita più votata sull'App Store statunitense, ma l'assistente AI ha anche avuto un profondo impatto sul mercato, in quanto i principali titoli tecnologici hanno registrato cali significativi. Nvidia, uno dei principali produttori di chip AI, ha visto le sue azioni crollare di quasi il 17%, con una perdita di circa 589 miliardi di dollari nel valore di mercato, la più grande perdita in un solo giorno nella storia di Wall Street.

L'innovazione di DeepSeek rappresenta una maggiore democratizzazione dell'AI, che è positiva per l'umanità in generale. L'innovazione dell'azienda di AI ha portato all'offerta di un modello di AI open-source che rivaleggia con le piattaforme esistenti in termini di prestazioni, pur essendo più economico ed efficiente dal punto di vista energetico. L'interfaccia user-friendly dell'app e la funzione trasparente "pensare ad alta voce" hanno ulteriormente migliorato il suo fascino, consentendo agli utenti di seguire il processo di ragionamento dell'AI.

L'avvento di un altro chatbot AI con un proprio modello LLM pone anche una domanda importante alle aziende, soprattutto alle grandi imprese, che stanno aumentando i loro investimenti nell'AI. In che modo le aziende dovrebbero valutare un nuovo chatbot AI per il loro consumo? Quali sono i fattori che determinano i vantaggi e gli svantaggi per il consumo dell'applicazione AI da parte dei dipendenti e per l'adozione aziendale? Rapporti recenti e incidenti reali dimostrano che alcuni LLM - in particolare le varianti open-source prive di solidi framework di sicurezza - rappresentano minacce significative per la sicurezza dei dati, la conformità alle normative e la reputazione del marchio.

In questo blog, esploriamo:

• L'ascesa dei corsi di laurea a rischio, come DeepSeek
• Le principali vulnerabilità di sicurezza associate all'IA
• Come le aziende possono valutare, governare e proteggere i nuovi chatbot AI
• Perché un approccio integrato, come quello di Skyhigh Security SSE, è fondamentale

L'ascesa di LLM e Chatbot rischiosi

Gli LLM open-source come DeepSeek hanno suscitato sia entusiasmo che preoccupazione. A differenza delle soluzioni di intelligenza artificiale collaudate dalle aziende, gli LLM open-source spesso non dispongono dei solidi controlli di sicurezza necessari per salvaguardare i dati aziendali sensibili, come dimostrato da un recente rapporto di Enkrypt AI:

• 3 volte più distorto rispetto ai modelli comparabili
• 4 volte più probabilità di generare codice insicuro
• 11 volte più inclini a contenuti dannosi

Nonostante questi problemi, DeepSeek è salito in cima all'App Store di Apple, superando persino ChatGPT e raggiungendo 2,6 milioni di download in sole 24 ore (il 28 gennaio 2025). Questa adozione esplosiva evidenzia una tensione fondamentale: L'AI sta avanzando a rotta di collo, ma la supervisione della sicurezza spesso rimane indietro, lasciando le aziende esposte a potenziali fughe di dati, violazioni della conformità e danni alla reputazione.

Aree di rischio chiave nella valutazione dei chatbot AI

Come abbiamo evidenziato nel nostro blog Skyhigh AI Security, le aziende devono riconoscere i rischi intrinseci che l'AI introduce, tra cui:

• Mancanza di dati di utilizzo: I team di sicurezza non capiscono quanti utenti all'interno delle loro aziende utilizzano le app AI ombra per svolgere il loro lavoro.
• Comprensione limitata del rischio LLM: Capire quali app AI e modelli LLM sono rischiosi è fondamentale per la governance e queste informazioni non sono facilmente acquisibili.
• Infiltrazione di dati: Nel processo di lavoro, gli utenti caricano i dati aziendali nelle app di AI e questo potrebbe portare all'esfiltrazione di dati sensibili.
• Spunti avversari: I chatbot AI possono spesso fornire risposte parziali, tossiche o semplicemente errate (allucinazione). Inoltre, possono fornire codice che può contenere malware. Il consumo di queste risposte può causare problemi all'azienda.
• Avvelenamento dei dati: Le aziende stanno creando applicazioni AI personalizzate, pubbliche o private, per soddisfare le loro esigenze aziendali. Queste applicazioni vengono addestrate e messe a punto utilizzando i dati aziendali. Se i dati di addestramento vengono compromessi inavvertitamente o con un intento malevolo, l'applicazione AI personalizzata può fornire informazioni errate.
• Rischi di conformità e normativi: L'uso di app AI espone le aziende a maggiori rischi di conformità e normativi, a causa dell'esfiltrazione dei dati, dell'esposizione di dati sensibili o di richieste errate o avversarie associate a chatbot AI personalizzati.

Perché un approccio integrato è importante: Skyhigh Security SSE

Quando le aziende valutano le nuove app AI o i chatbot, devono considerare se dispongono degli strumenti per applicare i controlli necessari a proteggere i beni aziendali. Devono assicurarsi che il loro stack di sicurezza sia posizionato non solo per applicare i controlli sulle applicazioni AI, ma anche per valutare e rispondere alle attività dannose e alle minacce che derivano da queste applicazioni.

Le soluzioni Security Services Edge (SSE) come Skyhigh Security sono un componente chiave della sicurezza AI aziendale. Questi strumenti sono già integrati nello stack di sicurezza aziendale, in quanto le aziende hanno protetto il traffico on-premise e cloud. I team di sicurezza hanno già definito politiche di governance e di protezione dei dati, che possono essere facilmente estese alle applicazioni AI. Infine, coprendo il web, le app ombra, le app sanzionate e le app private grazie alle loro modalità di implementazione flessibili, le soluzioni SSE possono coprire lo spettro dell'impronta dell'AI all'interno dell'azienda e fornire una sicurezza completa.

Ecco i principali controlli che le aziende cercano di applicare alle app AI:

• Governance dell'AI ombra: per guidare la governance delle applicazioni di AI ombra è necessario comprendere l'uso e il rischio delle applicazioni di AI e applicare i controlli. Le soluzioni SSE leader forniscono una visibilità completa delle applicazioni AI ombra. Inoltre, forniscono una comprensione profonda del rischio dell'AI, che comprende quanto sia rischioso il modello LLM sottostante rispetto a rischi quali jailbreaking, pregiudizi, tossicità e malware. Infine, queste applicazioni possono essere rilevate, raggruppate e i controlli possono essere applicati senza richiedere un intervento manuale.
• Protezione dei dati: La preoccupazione principale che le aziende hanno con le app di AI è l'infiltrazione di dati aziendali sensibili in app di AI non autorizzate e rischiose, in quanto i dipendenti cercano di trarre vantaggio dai significativi guadagni di produttività offerti dall'AI. Questo problema non è diverso da quello di qualsiasi altra applicazione ombra, ma ha acquisito importanza a causa della crescita significativa che le app AI hanno registrato in un breve periodo di tempo. Utilizzando le soluzioni SSE, le aziende possono estendere i controlli di protezione dei dati esistenti alle app AI. Mentre alcune soluzioni offrono queste funzionalità solo per le app autorizzate dall'azienda e integrate tramite API, le soluzioni SSE leader, come Skyhigh Security, offrono controlli unificati sulla protezione dei dati. Ciò significa che la stessa politica può essere applicata a un'app ombra, a un'app sanzionata o a un'app privata.
• Controlli dei prompt avversari: L'avvento dei modelli LLM ha dato origine a un nuovo vettore di rischio, i prompt avversari. Questo si riferisce agli utenti finali che tentano di manipolare i modelli LLM per fornire informazioni indesiderate o illegali, come ad esempio il jailbreak o le iniezioni di prompt. Potrebbe anche riferirsi alle app AI che forniscono contenuti tossici, tendenziosi, pericolosi, NSFW o errati nelle loro risposte. In entrambi i casi, l'azienda rischia che questi contenuti vengano utilizzati all'interno del suo materiale aziendale, rendendola vulnerabile ai rischi normativi, di governance e di reputazione. Le aziende cercano di applicare controlli per rilevare e correggere i prompt rischiosi, proprio come fanno con la DLP.
• Bonifica dell'avvelenamento dei dati: Poiché le aziende creano sempre più spesso i loro chatbot AI personalizzati utilizzando OpenAI GPT o Copilot personalizzati, la sacralità dei dati di formazione utilizzati per addestrare questi chatbot ha acquisito importanza dal punto di vista della sicurezza. Se qualcuno che ha accesso a questo corpus di dati di addestramento lo 'avvelena' con input errati o dannosi, è probabile che ciò influisca sulle risposte del chatbot. Questo potrebbe esporre l'azienda a rischi legali o di altro tipo, soprattutto se il chatbot è aperto all'accesso pubblico. Le aziende stanno già eseguendo scansioni DLP on-demand (o data-at-rest) sui dati di formazione per rimuovere i dati sensibili. Stanno anche cercando di eseguire scansioni simili per identificare potenziali tentativi di prompt injection o data poisoning.
• Conformità e applicazione delle normative: Le aziende utilizzano le soluzioni SSE per applicare la governance e la conformità alle normative, soprattutto per quanto riguarda i dati caricati sulle app cloud o condivisi con parti esterne. Man mano che adottano l'AI in molteplici casi d'uso aziendali, si rivolgono alle soluzioni SSE per estendere questi controlli alle app AI e continuare a consentire l'accesso ai loro dipendenti.

Il futuro della sicurezza AI

La rapida evoluzione dell'AI richiede un nuovo paradigma di sicurezza, che garantisca che l'innovazione non vada a scapito della sicurezza dei dati. Le aziende che vogliono sfruttare gli LLM devono farlo con cautela, adottando quadri di sicurezza dell'AI che proteggano dalle minacce emergenti.

In Skyhigh Security, ci impegniamo ad aiutare le aziende ad abbracciare l'AI in modo sicuro, salvaguardando le loro risorse più critiche. Per saperne di più su come proteggere la sua organizzazione dall'uso rischioso dell'AI, esplori le nostre ultime intuizioni nel blog Skyhigh AI Security.

Torna ai blog