Die KI-Schockwelle: Wie der kometenhafte Aufstieg von DeepSeek die Chatbot-Landschaft in Unternehmen umgestaltet

Von Thyaga Vasudevan - Geschäftsführender Vizepräsident, Produkt

Februar 3, 2025 6 Minute gelesen

DeepSeek, ein chinesisches Startup für künstliche Intelligenz, das 2023 gegründet wurde, hat in der vergangenen Woche einen kometenhaften Aufstieg erlebt. DeepSeek hat nicht nur ChatGPT überholt und ist nun die am besten bewertete kostenlose App im US-App-Store, sondern der KI-Assistent hatte auch einen tiefgreifenden Einfluss auf den Markt, da große Technologieaktien erhebliche Einbrüche verzeichneten. Die Aktien von Nvidia, einem führenden Hersteller von KI-Chips, fielen um fast 17%, was zu einem Verlust von ca. 589 Mrd. $ an Marktwert führte - der größte Verlust an einem Tag in der Geschichte der Wall Street.

Die Innovation rund um DeepSeek steht für eine verstärkte Demokratisierung der KI, was für die Menschheit insgesamt gut ist. Die Innovation des KI-Unternehmens hat dazu geführt, dass ein Open-Source-KI-Modell angeboten wird, das es in Sachen Leistung mit bestehenden Plattformen aufnehmen kann und gleichzeitig kostengünstiger und energieeffizienter ist. Die benutzerfreundliche Oberfläche der App und die transparente Funktion "lautes Denken" haben die Attraktivität der App weiter erhöht, da sie es den Nutzern ermöglicht, den Denkprozess der KI zu verfolgen.

Das Aufkommen eines weiteren KI-Chatbots mit einem eigenen LLM-Modell wirft auch eine wichtige Frage für Unternehmen auf, insbesondere für große Unternehmen, die ihre KI-Investitionen erhöhen. Wie sollten Unternehmen einen neuen KI-Chatbot für ihre Nutzung bewerten? Welche Faktoren spielen bei der Entscheidung über die Vor- und Nachteile für die Nutzung der KI-Anwendung durch die Mitarbeiter und die Übernahme durch das Unternehmen eine Rolle? Jüngste Berichte und reale Vorfälle zeigen, dass bestimmte LLMs - insbesondere Open-Source-Varianten, denen es an robusten Sicherheitsrahmen fehlt - eine erhebliche Bedrohung für die Datensicherheit, die Einhaltung von Vorschriften und den Ruf der Marke darstellen.

In diesem Blog erkunden wir:

• Der Aufstieg der riskanten LLMs, wie DeepSeek
• Die wichtigsten Sicherheitsschwachstellen im Zusammenhang mit KI
• Wie Unternehmen neue KI-Chatbots bewerten, steuern und sichern können
• Warum ein integrierter Ansatz - wie Skyhigh Security SSE - so wichtig ist

Der Aufstieg der riskanten LLMs und Chatbots

Open-Source-LLMs wie DeepSeek haben sowohl Aufregung als auch Besorgnis ausgelöst. Im Gegensatz zu von Unternehmen geprüften KI-Lösungen fehlt es Open-Source-LLMs oft an den robusten Sicherheitskontrollen, die zum Schutz sensibler Geschäftsdaten erforderlich sind, wie ein aktueller Bericht von Enkrypt AI zeigt:

• 3x mehr Vorspannung als vergleichbare Modelle
• 4x wahrscheinlicher, unsicheren Code zu erzeugen
• 11x anfälliger für schädliche Inhalte

Trotz dieser Probleme stieg DeepSeek an die Spitze des Apple App Store und übertraf sogar ChatGPT mit 2,6 Millionen Downloads in nur 24 Stunden (am 28. Januar 2025). Diese explosionsartige Verbreitung verdeutlicht eine grundlegende Spannung: KI entwickelt sich in rasantem Tempo, aber die Sicherheitsaufsicht hinkt oft hinterher, so dass Unternehmen potenziellen Datenlecks, Verstößen gegen die Vorschriften und Rufschädigung ausgesetzt sind.

Hauptrisikobereiche bei der Bewertung von KI-Chatbots

Wie wir in unserem Skyhigh AI Security Blog hervorgehoben haben, müssen Unternehmen die inhärenten Risiken erkennen, die KI mit sich bringt:

• Mangel an Nutzungsdaten: Die Sicherheitsteams wissen nicht, wie viele Benutzer in ihren Unternehmen KI-Schatten-Apps verwenden, um ihre Arbeit zu erledigen.
• Begrenztes Verständnis des LLM-Risikos: Zu verstehen, welche KI-Apps und LLM-Modelle risikoreich sind, ist der Schlüssel zur Governance, und diese Informationen sind nicht leicht zu beschaffen.
• Datenexfiltration: Bei der Arbeit laden Benutzer Unternehmensdaten in KI-Apps hoch, was zu einem Abfluss sensibler Daten führen kann.
• Ungünstige Aufforderungen: KI-Chatbots können oft Antworten geben, die voreingenommen, giftig oder einfach falsch sind (Halluzinationen). Außerdem können sie Code liefern, der Malware enthalten kann. Der Konsum dieser Antworten kann für das Unternehmen Probleme verursachen.
• Daten-Vergiftung: Unternehmen entwickeln maßgeschneiderte öffentliche oder private KI-Anwendungen, die ihren geschäftlichen Anforderungen entsprechen. Diese Anwendungen werden mit Unternehmensdaten trainiert und abgestimmt. Wenn die Trainingsdaten entweder versehentlich oder in böser Absicht kompromittiert werden, kann dies dazu führen, dass die benutzerdefinierte KI-App falsche Informationen liefert.
• Compliance und regulatorische Risiken: Der Einsatz von KI-Apps öffnet Unternehmen für größere Compliance- und regulatorische Risiken, entweder aufgrund von Datenexfiltration, der Offenlegung sensibler Daten oder falscher oder feindseliger Aufforderungen im Zusammenhang mit maßgeschneiderten KI-Chatbots.

Warum ein integrierter Ansatz wichtig ist: Skyhigh Security SSE

Wenn Unternehmen neue KI-Apps oder Chatbots evaluieren, sollten sie prüfen, ob sie über die nötigen Tools verfügen, um die notwendigen Kontrollen zum Schutz ihrer Unternehmensressourcen durchzuführen. Sie sollten sicherstellen, dass ihr Sicherheits-Stack nicht nur in der Lage ist, die Kontrollen auf KI-Anwendungen anzuwenden, sondern auch bösartige Aktivitäten und Bedrohungen, die von diesen Anwendungen ausgehen, zu bewerten und darauf zu reagieren.

Security Services Edge (SSE)-Lösungen wie Skyhigh Security sind eine Schlüsselkomponente der KI-Sicherheit von Unternehmen. Diese Tools sind bereits in den Sicherheitsstapel des Unternehmens integriert, da Unternehmen den Datenverkehr vor Ort und in der Cloud gesichert haben. Sicherheitsteams haben bereits Governance- und Datenschutzrichtlinien definiert, die sich leicht auf KI-Anwendungen ausweiten lassen. Und schließlich können SSE-Lösungen durch ihre flexiblen Bereitstellungsmodi das gesamte Spektrum der KI-Fußabdrücke im Unternehmen abdecken und umfassende Sicherheit bieten, indem sie Web, Schatten-Apps, sanktionierte Apps und private Apps abdecken.

Hier sind die wichtigsten Kontrollen, die Unternehmen bei KI-Apps anwenden wollen:

• Governance von Schatten-KI: Um die Governance von Schatten-KI-Anwendungen voranzutreiben, müssen Sie die Nutzung und das Risiko von KI-Anwendungen verstehen und Kontrollen anwenden. Führende SSE-Lösungen bieten einen umfassenden Einblick in KI-Schattenanwendungen. Darüber hinaus bieten sie ein umfassendes Verständnis des KI-Risikos, einschließlich des Risikos des zugrunde liegenden LLM-Modells für Risiken wie Jailbreaking, Verzerrungen, Toxizität und Malware. Schließlich können diese Anwendungen erkannt, gruppiert und Kontrollen durchgesetzt werden, ohne dass manuelle Eingriffe erforderlich sind.
• Schutz der Daten: Die größte Sorge, die Unternehmen im Zusammenhang mit KI-Apps haben, ist das Abfließen sensibler Unternehmensdaten in nicht genehmigte und riskante KI-Apps, da die Mitarbeiter die erheblichen Produktivitätsgewinne, die KI bietet, nutzen wollen. Dieses Problem unterscheidet sich nicht von dem jeder anderen Schattenanwendung, hat aber aufgrund des erheblichen Wachstums, das KI-Apps in kurzer Zeit erfahren haben, stark an Bedeutung gewonnen. Mit SSE-Lösungen können Unternehmen ihre bestehenden Datenschutzkontrollen auf KI-Apps ausweiten. Während einige Lösungen diese Möglichkeiten nur für vom Unternehmen genehmigte Apps bieten, die über APIs integriert sind, bieten führende SSE-Lösungen wie Skyhigh Security einheitliche Datenschutzkontrollen. Das bedeutet, dass die gleiche Richtlinie auf eine Schatten-App, eine sanktionierte App oder eine private App angewendet werden kann.
• Adversarial Prompt Kontrollen: Das Aufkommen von LLM-Modellen hat zu einem neuen Risikovektor in Form von schädlichen Prompts geführt. Dies bezieht sich auf Endbenutzer, die versuchen, die LLM-Modelle zu manipulieren, um unerwünschte oder illegale Informationen zu liefern, z. B. durch Jailbreaking oder Prompt-Injektionen. Es könnte sich auch darauf beziehen, dass die KI-Apps giftige, voreingenommene, gefährliche, NSFW- oder falsche Inhalte in ihren Antworten liefern. In jedem dieser Fälle besteht für das Unternehmen die Gefahr, dass diese Inhalte in seinem Unternehmensmaterial verwendet werden und es damit anfällig für regulatorische, Governance- und Reputationsrisiken wird. Unternehmen suchen nach Kontrollen zur Erkennung und Beseitigung riskanter Eingabeaufforderungen, genau wie bei DLP.
• Beseitigung von Data Poisoning: Da Unternehmen zunehmend ihre benutzerdefinierten KI-Chatbots mit OpenAI GPTs oder benutzerdefinierten Copilots erstellen, hat die Unantastbarkeit der Trainingsdaten, die zum Trainieren dieser Chatbots verwendet werden, unter Sicherheitsaspekten an Bedeutung gewonnen. Wenn jemand, der Zugang zu diesen Trainingsdaten hat, diese mit falschen oder böswilligen Eingaben "vergiftet", hat dies wahrscheinlich Auswirkungen auf die Antworten des Chatbots. Dies könnte das Unternehmen rechtlichen oder anderen geschäftlichen Risiken aussetzen, insbesondere wenn der Chatbot öffentlich zugänglich ist. Unternehmen führen bereits On-Demand-DLP-Scans (oder Data-at-Rest) auf Trainingsdaten durch, um sensible Daten zu entfernen. Sie sind auch bestrebt, ähnliche Scans durchzuführen, um potenzielle Souffle-Injection- oder Data-Poisoning-Versuche zu identifizieren.
• Einhaltung und Durchsetzung gesetzlicher Vorschriften: Unternehmen nutzen SSE-Lösungen, um die Einhaltung von Richtlinien und Vorschriften durchzusetzen, insbesondere bei Daten, die in Cloud-Apps hochgeladen oder mit externen Parteien geteilt werden. Mit der Einführung von KI in zahlreichen Anwendungsfällen im Unternehmen suchen sie nach SSE-Lösungen, um diese Kontrollen auf KI-Apps auszuweiten und ihren Mitarbeitern weiterhin den Zugang zu ermöglichen.

Die Zukunft der KI-Sicherheit

Die schnelle Entwicklung der KI erfordert ein neues Sicherheitsparadigma - eines, das sicherstellt, dass Innovation nicht auf Kosten der Datensicherheit geht. Unternehmen, die LLMs nutzen möchten, müssen dies mit Bedacht tun und KI-Sicherheits-Frameworks einführen, die vor neuen Bedrohungen schützen.

Skyhigh Security hat es sich zur Aufgabe gemacht, Unternehmen bei der sicheren Nutzung von KI zu unterstützen und gleichzeitig ihre wichtigsten Vermögenswerte zu schützen. Wenn Sie mehr darüber erfahren möchten, wie Sie Ihr Unternehmen vor riskanter KI-Nutzung schützen können, lesen Sie unsere neuesten Erkenntnisse im Skyhigh AI Security Blog.

Zurück zu Blogs