Check Point Research, la división de Inteligencia de Amenazas de Check Point® Software Technologies Ltd., pionero y líder global en soluciones de ciberseguridad, ha descubierto un canal de comunicación oculto entre cuentas independientes de ChatGPT que podría permitir a un ciberdelincuente enviar instrucciones a la sesión de Inteligencia Artificial de una víctima. En una prueba de concepto, Check Point Research (CPR) demostró cómo este mecanismo podía utilizarse para acceder a información de una cuenta de Gmail conectada, mientras la conversación visible de la víctima parecía completamente normal.

El hallazgo pone de manifiesto un nuevo riesgo de seguridad asociado a los asistentes de Inteligencia Artificial, especialmente a medida que las empresas conectan estas herramientas con correos electrónicos, servicios de almacenamiento, aplicaciones empresariales y otros recursos que contienen información sensible. La investigación demuestra que, incluso sin robar credenciales o comprometer directamente una cuenta, un ciberdelincuente podría aprovechar los permisos que el propio usuario ya ha concedido a su asistente de IA para acceder a determinados datos.

Un canal oculto entre cuentas de ChatGPT

Las empresas están incorporando cada vez más asistentes de Inteligencia Artificial a sus flujos de trabajo y conectándolos con sistemas y aplicaciones que forman parte de su actividad diaria. Esta integración se basa en la premisa de que las cuentas y sesiones de los distintos usuarios permanecen aisladas entre sí. Sin embargo, Check Point Research descubrió una forma de establecer un canal de comunicación bidireccional entre los contenedores utilizados por ChatGPT para ejecutar código en conversaciones pertenecientes a cuentas diferentes.

El mecanismo aprovechaba un servicio interno utilizado por ChatGPT para gestionar la instalación de paquetes de software en sus contenedores de ejecución. Aunque estos contenedores estaban diseñados para permanecer aislados, todos podían acceder al mismo servicio interno. CPR descubrió que este servicio permitía a los contenedores almacenar y recuperar determinadas propiedades de texto o datos binarios asociados a elementos del repositorio.

Una instrucción maliciosa, un enlace a una conversación compartida o un GPT personalizado podían servir para activar el mecanismo. Una vez recibida la tarea, la sesión de la víctima podía ejecutarla utilizando los permisos que ya tenía concedidos, almacenar el resultado en el mismo canal y continuar respondiendo a la pregunta original del usuario como si nada hubiera ocurrido. De esta forma, la conversación visible permanecía aparentemente normal mientras la tarea y sus resultados se transmitían por un canal que la víctima no podía detectar.

La IA como “insider coaccionado”

El alcance de este tipo de ciberataques depende de los permisos y accesos que tenga la sesión de la víctima. En la prueba de Check Point Research, el asistente pudo acceder a información de una cuenta de Gmail conectada y transmitirla a la sesión del ciberdelincuente. El mismo principio podría afectar a otros servicios conectados, como Google Drive, Microsoft Teams o GitHub, dependiendo de los permisos concedidos al asistente.

La víctima apenas habría tenido indicios de que algo estaba ocurriendo. En la configuración predeterminada de las aplicaciones conectadas de ChatGPT, determinadas acciones de lectura consideradas de bajo riesgo pueden realizarse sin una confirmación adicional. Durante la demostración, el único rastro observado fue una pequeña indicación de que ChatGPT había interactuado con Gmail, que apareció después de que la información ya hubiera sido consultada.

A diferencia de un ataque tradicional, este escenario no requiere necesariamente el robo de credenciales, la instalación de malware o el acceso directo a la cuenta de la víctima. El ciberdelincuente se aprovecha de una relación de confianza ya existente entre el usuario y su asistente de Inteligencia Artificial.

Check Point Research denomina a este nuevo escenario “insider coaccionado”, que describe cómo un asistente de IA puede manipularse para actuar en nombre de un ciberdelincuente utilizando los permisos legítimos que el usuario le ha concedido. El modelo no tiene que ser malicioso ni decidir por sí mismo actuar fuera de su propósito, basta con que un ciberdelincuente consiga interferir en sus instrucciones para que utilice permisos autorizados.

“Esta investigación demuestra que el desafío de seguridad en torno a la IA ya no se limita al modelo en sí, sino también al acceso y al nivel de confianza que le otorgamos. A medida que los asistentes de IA están cada vez más conectados a sistemas empresariales y datos sensibles, las organizaciones deben asumir que cualquier capacidad autorizada puede convertirse en un objetivo susceptible de uso indebido. Un enfoque basado en la prevención, combinado con visibilidad, gobernanza y protección en tiempo de ejecución, es fundamental para garantizar que la IA siga siendo un habilitador del negocio y no se convierta en una nueva vía de riesgo cibernético. Las organizaciones que se anticipen serán aquellas que protejan las interacciones con la IA antes de que los atacantes puedan explotarlas”, señala Eli Smadja, director de Investigación de Check Point Research.

El descubrimiento pone de manifiesto que la superficie de ataque de las organizaciones ya no se limita a usuarios, dispositivos y aplicaciones. A medida que los asistentes de IA adquieren acceso a servicios empresariales y datos corporativos, también se convierten en un elemento que debe incorporarse a las estrategias de seguridad.

Por ello, Check Point Research recomienda que las organizaciones conozcan qué herramientas de IA utilizan sus empleados y a qué servicios están conectadas, especialmente para reducir los puntos ciegos asociados al uso de herramientas no autorizadas. También resulta necesario establecer mecanismos de protección en tiempo de ejecución que permitan detectar intentos de manipulación y evitar que información sensible se transfiera a destinos no autorizados.

El hallazgo se ha comunicado a OpenAI, que confirmó que la instancia interna de JFrog Artifactory identificada durante la investigación ya ha sido retirada, por lo que esta vía de ataque concreta ya no puede explotarse. Sin embargo, CPR considera que el patrón arquitectónico identificado sigue siendo relevante para cualquier plataforma que conecte asistentes de IA con aplicaciones, credenciales y servicios empresariales.