Check Point® Software Technologies Ltd., pionero y líder global en soluciones de ciberseguridad, ha desvelado que las recientes vulneraciones y apropiaciones indebidas de cuentas de alto perfil en Instagram no se debieron a fallos en los prompts o jailbreaks del modelo de IA, sino a un problema severo de sobreautorización. Los atacantes explotaron el chatbot de soporte de Meta para tomar el control de perfiles vinculados a la Casa Blanca de la era Obama, Sephora y la Fuerza Espacial. Esto demuestra que el peligro real surge al delegar flujos de recuperación de identidad a sistemas automatizados con la capacidad de modificar datos sensibles sin una verificación independiente.

Este incidente demuestra que el debate no debe limitarse únicamente a si una IA puede ser manipulada mediante instrucciones maliciosas, sino en qué nivel de acceso y capacidad de decisión se le concede dentro de los sistemas corporativos. En este caso, el verdadero problema fue que el chatbot podía realizar cambios sensibles, como modificar la dirección de correo electrónico asociada a una cuenta, sin una verificación independiente.

La recuperación de cuentas es, fundamentalmente, un proceso de verificación de identidad basado en la confianza y el control de acceso. Al delegar estas funciones a la IA, dichos sistemas pasan a formar parte del perímetro de seguridad de la organización. Incluso si el modelo funciona exactamente como fue diseñado, puede convertirse en el origen de una brecha crítica cuando los controles de negocio y las salvaguardas que lo rodean no son suficientemente robustos.

“No estamos ante una historia de jailbreak; sino frente a un tema de autorización. La IA no necesita estar comprometida para generar un riesgo de seguridad. Basta con que se le otorgue demasiada confianza y autonomía dentro de un flujo de trabajo crítico”, afirma Rafa López, Workspace Security Engineer de Check Point Software en España.

Mientras las herramientas corporativas pasan de responder preguntas a ejecutar acciones (sistemas agentivos), los equipos de seguridad deben evaluar la capacidad operativa de la IA mediante preguntas de diseño de sistemas: ¿puede el chatbot restablecer contraseñas o modificar correos electrónicos?; ¿tiene permitido recuperar datos confidenciales o aprobar solicitudes?; ¿puede activar flujos de trabajo que, en definitiva, concedan acceso a un tercero?

El riesgo crítico actual es la acción fuera de tarea (off-task action). Esto no siempre se manifiesta como un ataque evidente; a menudo surge en una conversación de soporte aparentemente legítima donde el usuario plantea un problema plausible, guiando a la IA a saltarse pasos de verificación de identidad que deberían requerir una supervisión humana o una validación independiente.

Según Check Point Software, el problema no es utilizar IA en los servicios de atención al cliente (ya que es una herramienta muy útil para reducir la fricción y acelerar resoluciones), sino permitir que tome decisiones críticas sin las salvaguardas adecuadas. Cuanto más sensible sea el proceso, especialmente cuando implique identidad, credenciales o datos personales, mayor debe ser el nivel de supervisión y menor la capacidad de actuación autónoma del sistema.

Las empresas deben auditar activamente sus sistemas respondiendo a los siguientes puntos:

1. Delimitación de acciones: definir con precisión qué acciones puede iniciar la IA y cuáles requieren estrictamente aprobación humana.
2. Verificación independiente: implementar sistemas de pruebas de identidad ajenos al entorno del chatbot para cambios críticos de cuenta.
3. Permisos basados en el contexto: garantizar que los privilegios de las herramientas de IA estén acotados al usuario, la sesión y la tarea específica.
4. Detección de anomalías: establecer controles capaces de identificar comportamientos inusuales o desvíos en los flujos lógicos de las conversaciones.

La llegada de los sistemas agentivos obliga a expandir la seguridad de la IA más allá del comportamiento del modelo. La protección contra la inyección de prompts sigue siendo vital, pero es insuficiente para sistemas conectados a bases de datos y flujos operativos. A partir de ahora, el límite de seguridad corporativo incluye el modelo, las herramientas a las que accede, los permisos que hereda y los pasos de verificación humana exigidos antes de ejecutar cualquier acción sensible.