La onda expansiva de la IA: cómo el ascenso meteórico de DeepSeek está reconfigurando el panorama de los chatbot empresariales

Por Thyaga Vasudevan - Vicepresidenta Ejecutiva de Producto

3 de febrero de 2025 6 Minuto de lectura

DeepSeek, una startup china de inteligencia artificial fundada en 2023, ha experimentado un ascenso meteórico de popularidad durante la última semana. No sólo superó a ChatGPT para convertirse en la aplicación gratuita mejor valorada de la App Store estadounidense, sino que el asistente de IA también tuvo un profundo impacto en el mercado, ya que las principales acciones tecnológicas experimentaron importantes caídas. Nvidia, uno de los principales fabricantes de chips de IA, vio cómo sus acciones se desplomaban casi un 17%, lo que provocó una pérdida de aproximadamente 589.000 millones de dólares en valor de mercado, la mayor pérdida en un solo día en la historia de Wall Street.

La innovación en torno a DeepSeek representa una mayor democratización de la IA, lo que es bueno para la humanidad en general. La innovación de la empresa de IA ha llevado a ofrecer un modelo de IA de código abierto que rivaliza en rendimiento con las plataformas existentes, al tiempo que es más rentable y eficiente energéticamente. La interfaz fácil de usar de la aplicación y la función transparente de "pensar en voz alta" han aumentado aún más su atractivo, permitiendo a los usuarios seguir el proceso de razonamiento de la IA.

La llegada de otro chatbot de IA con su propio modelo LLM también plantea una cuestión importante a las empresas, especialmente a las grandes, a medida que aumentan su inversión en IA. ¿Cómo deben evaluar las empresas un nuevo chatbot de IA para su consumo? ¿Qué factores entran en juego a la hora de decidir los beneficios y los inconvenientes para el consumo de la aplicación de IA por parte de los empleados y su adopción por parte de las empresas? Los informes recientes y los incidentes del mundo real muestran que ciertos LLM -especialmente las variantes de código abierto que carecen de marcos de seguridad sólidos- suponen amenazas significativas para la seguridad de los datos, el cumplimiento de las normativas y la reputación de la marca.

En este blog, exploramos:

• El auge de los LLM de riesgo, como DeepSeek
• Principales vulnerabilidades de seguridad asociadas a la IA
• Cómo pueden las empresas evaluar, gobernar y asegurar los nuevos chatbots de IA
• Por qué es crucial un enfoque integrado, como el de Skyhigh Security SSE

El auge de los LLM arriesgados y los chatbots

Los LLM de código abierto como DeepSeek han despertado tanto entusiasmo como preocupación. A diferencia de las soluciones de IA validadas por las empresas, los LLM de código abierto carecen a menudo de los sólidos controles de seguridad necesarios para salvaguardar los datos sensibles de las empresas, como muestra un informe reciente de Enkrypt AI:

• 3 veces más tendencioso que los modelos comparables
• 4 veces más probabilidades de generar código inseguro
• 11 veces más propenso a contenidos nocivos

A pesar de estos problemas, DeepSeek se disparó a lo más alto de la App Store de Apple, superando incluso a ChatGPT al alcanzar los 2,6 millones de descargas en sólo 24 horas (el 28 de enero de 2025). Esta adopción explosiva pone de relieve una tensión fundamental: La IA avanza a una velocidad vertiginosa, pero la supervisión de la seguridad a menudo se queda rezagada, dejando a las empresas expuestas a posibles fugas de datos, violaciones de la normativa y daños a su reputación.

Áreas clave de riesgo al evaluar los chatbots de IA

Como destacamos en nuestro blog Skyhigh AI Security, las empresas deben reconocer los riesgos inherentes que introduce la IA, entre ellos:

• Falta de datos de uso: Los equipos de seguridad no saben cuántos usuarios de sus empresas utilizan aplicaciones de IA en la sombra para realizar su trabajo.
• Comprensión limitada del riesgo del LLM: Comprender qué aplicaciones de IA y modelos LLM son arriesgados es clave para la gobernanza y esta información no se adquiere fácilmente.
• Exfiltración de datos: En el proceso de realizar su trabajo, los usuarios cargan datos corporativos en las aplicaciones de IA y esto podría conducir a la exfiltración de datos sensibles.
• Indicaciones adversas: Los chatbots de IA pueden proporcionar a menudo respuestas sesgadas, tóxicas o simplemente incorrectas (alucinación). Además, pueden proporcionar código que puede contener malware. El consumo de estas respuestas puede causar problemas a la empresa.
• Envenenamiento de datos: Las empresas están creando aplicaciones de IA públicas o privadas personalizadas para adaptarlas a sus necesidades empresariales. Estas aplicaciones se entrenan y ajustan utilizando datos de la empresa. Si los datos de entrenamiento se ven comprometidos, ya sea de forma inadvertida o malintencionada, la aplicación de IA personalizada puede proporcionar información incorrecta.
• Cumplimiento y riesgos normativos: El uso de aplicaciones de IA abre a las empresas a mayores riesgos de cumplimiento y normativos, ya sea por la exfiltración de datos, la exposición de datos sensibles o las indicaciones incorrectas o adversas asociadas a los chatbots de IA personalizados.

Por qué es importante un enfoque integrado: Skyhigh Security SSE

A medida que las empresas evalúan nuevas aplicaciones de IA o chatbots, deben considerar si disponen de las herramientas para aplicar los controles necesarios para proteger sus activos corporativos. Deben asegurarse de que su pila de seguridad está posicionada no sólo para aplicar los controles en las aplicaciones de IA, sino también para evaluar y responder a la actividad maliciosa y a las amenazas que surgen de estas aplicaciones.

Las soluciones Security Services Edge (SSE), como Skyhigh Security , son un componente clave de la seguridad de la IA empresarial. Estas herramientas ya están integradas en la pila de seguridad empresarial, ya que las empresas han asegurado el tráfico on-prem y en la nube. Los equipos de seguridad ya han definido políticas de gobernanza y protección de datos y éstas pueden extenderse fácilmente a las aplicaciones de IA. Y por último, al cubrir la web, las aplicaciones en la sombra, las aplicaciones sancionadas y las aplicaciones privadas mediante sus modos de despliegue flexibles, las soluciones SSE pueden cubrir el espectro de la huella de la IA en la empresa y proporcionar una seguridad integral.

He aquí los principales controles que las empresas quieren aplicar a las aplicaciones de IA:

• Gobernanza de la IA en la sombra: Impulsar la gobernanza de las aplicaciones de IA en la sombra requiere comprender el uso y el riesgo de las aplicaciones de IA, así como aplicar controles. Las soluciones líderes de SSE proporcionan una visibilidad completa de las aplicaciones de IA en la sombra. Además, proporcionan una comprensión profunda del riesgo de la IA, que incluye lo arriesgado que es el modelo LLM subyacente para riesgos como el jailbreaking, la parcialidad, la toxicidad y el malware. Por último, estas aplicaciones se pueden detectar, agrupar y aplicar controles sin necesidad de intervención manual.
• Protección de datos: La principal preocupación que tienen las empresas con las aplicaciones de IA es la filtración de datos corporativos confidenciales en aplicaciones de IA no sancionadas y arriesgadas, ya que los empleados buscan aprovecharse de las importantes ganancias de productividad que ofrece la IA. Este problema no es diferente del de cualquier otra aplicación en la sombra, pero ha cobrado importancia debido al importante crecimiento que han experimentado las aplicaciones de IA en un corto periodo de tiempo. Con las soluciones SSE, las empresas pueden ampliar sus controles actuales de protección de datos a las aplicaciones de IA. Mientras que algunas soluciones sólo ofrecen estas capacidades para las apps corporativas autorizadas que se integran a través de API, las soluciones SSE líderes, como Skyhigh Security, ofrecen controles de protección de datos unificados. Esto significa que se puede aplicar la misma política a una aplicación en la sombra, a una aplicación sancionada o a una aplicación privada.
• Controles de Adversarial Prompt: La llegada de los modelos LLM ha dado lugar a un nuevo vector de riesgo en los avisos adversarios. Esto se refiere a los usuarios finales que intentan manipular los modelos LLM para proporcionar información no deseada o ilegal, como con el jailbreaking o las inyecciones de prompt. También podría referirse a que las aplicaciones de IA proporcionen contenidos tóxicos, sesgados, peligrosos, NSFW o incorrectos en sus respuestas. En cualquiera de estos casos, la empresa corre el riesgo de que este contenido se utilice dentro de su material corporativo y la haga vulnerable a riesgos normativos, de gobernanza y de reputación. Las empresas buscan aplicar controles para detectar y remediar los avisos de riesgo, al igual que hacen con la DLP.
• Corrección del envenenamiento de datos: A medida que las empresas crean cada vez más sus chatbots de IA personalizados utilizando GPT de OpenAI o copilotos personalizados, la inviolabilidad de los datos de entrenamiento utilizados para entrenar a estos chatbots ha cobrado importancia desde el punto de vista de la seguridad. Si alguien con acceso a este corpus de datos de entrenamiento lo "envenena" con entradas incorrectas o maliciosas, es probable que repercuta en las respuestas del chatbot. Esto podría someter a la empresa a riesgos legales u otros riesgos empresariales, especialmente si el chatbot está abierto al acceso público. Las empresas ya están realizando escaneados DLP a la carta (o de datos en reposo) de los datos de entrenamiento para eliminar los datos sensibles. También buscan realizar escaneos similares para identificar posibles intentos de inyección puntual o envenenamiento de datos.
• Cumplimiento y aplicación de la normativa: Las empresas están utilizando las soluciones SSE para imponer la gobernanza y el cumplimiento normativo, especialmente con los datos que se suben a las aplicaciones en la nube o se comparten con partes externas. A medida que adoptan la IA en múltiples casos de uso corporativo, recurren a las soluciones SSE para ampliar estos controles a las aplicaciones de IA y seguir permitiendo el acceso a sus empleados.

El futuro de la seguridad de la IA

La rápida evolución de la IA exige un nuevo paradigma de seguridad, uno que garantice que la innovación no se produzca a costa de la seguridad de los datos. Las empresas que deseen aprovechar los LLM deben hacerlo con cautela, adoptando marcos de seguridad de la IA que protejan contra las amenazas emergentes.

En Skyhigh Security, nos comprometemos a ayudar a las empresas a adoptar la IA de forma segura, salvaguardando al mismo tiempo sus activos más críticos. Para saber más sobre cómo proteger a su organización del uso arriesgado de la IA, explore nuestras últimas perspectivas en el Blog de seguridad de la IA de Skyhigh.

Volver a Blogs