Qualys, Inc., proveedor pionero y líder en soluciones de gestión de riesgos basadas en la nube, ha hecho pública una serie de recomendaciones para neutralizar la cada vez más frecuente actividad de “agentes rebeldes” de IA (rogue agents) que toman decisiones por sí mismos para realizar acciones maliciosas.
Los rogue agents son agentes de inteligencia artificial que se comportan de manera no deseada, se salen de los límites previstos o actúan en contra de los objetivos y las instrucciones de quienes los han creado o desplegado. El pasado mes de julio, un agente de IA de OpenAI burló sus restricciones de seguridad, hackeó repositorios de Hugging Face. OpenAI no detectó el escape durante una semana mientras el agente operaba con total autonomía. En octubre, Tencent reconoció comportamientos no previstos en agentes de IA que realizaron miles de intentos de consulta a un servicio de mapas de Alibaba. A todos estos episodios se suman accesos no autorizados a sistemas gubernamentales australianos, así como intentos de intrusión contra organismos públicos de Estados Unidos y Canadá.
“Un chatbot puede darte una respuesta equivocada, pero un agente autónomo puede convertir una interpretación equivocada en una acción real y repetirla muchas veces antes de que alguien repare en ello”, explica Sergio Pedroche, Country Manager de Qualys Iberia. “Es por eso que el comportamiento de los ‘agentes rebeldes’ está adquiriendo tanta importancia en el ámbito de la ciberseguridad”.
¿Por qué puede volverse «rebelde» un agente de IA?
Entre los factores que pueden provocar o agravar estos comportamientos destacan tres:
1- Objetivos mal definidos. Se pide al agente un resultado, pero no se especifican suficientemente los límites. Puede alcanzar la meta mediante acciones perjudiciales o no previstas;
2- Manipulación externa. Un atacante puede engañarlo mediante instrucciones maliciosas, intentando que ignore su tarea original o actúe en contra de las instrucciones establecidas.
3- Autonomía excesiva. El agente dispone de acceso a datos, sistemas o herramientas que le permiten ejecutar acciones perjudiciales antes de que una persona pueda intervenir.
¿Cómo evitar que ocurra?
Los expertos de Qualys recomiendan cuatro medidas clave para reducir los riesgos asociados a los agentes autónomos y limitar el impacto de posibles fallos.
1. Tratar a los agentes de IA como identidades no humanas. Los agentes de IA deben tratarse como identidades no humanas (non-human identities, NHI), con capacidades que pueden superar ampliamente las humanas en velocidad, escala y volumen de ejecución, y que requieren algo más que los controles habituales de gestión de accesos. Por ello, una de las primeras medidas debe ser aplicar el principio de mínimo privilegio (least privilege): conceder al agente únicamente los permisos imprescindibles para realizar su tarea y mantener los accesos de solo lectura (read-only) siempre que sea posible.
2. Limitar el alcance de sus acciones. Es esencial limitar el número de sistemas o datos con los que puede interactuar o que puede modificar el agente. También conviene establecer mecanismos de interrupción automática que detengan temporalmente las operaciones cuando la monitorización detecte un aumento anómalo de los fallos o de la actividad. Limitar su ámbito de actuación y vigilar su comportamiento permite contener los posibles daños derivados de un error, una instrucción maliciosa o una actuación inesperada, evitando que un incidente puntual se extienda a otros sistemas.
3. Mantener la supervisión humana en el proceso. La supervisión humana debe ser obligatoria para determinadas operaciones de alto riesgo, como las acciones irreversibles, las modificaciones de entornos de producción o las comunicaciones externas. Esto no significa necesariamente que una persona deba supervisar cada operación. Significa establecer puntos de control humanos allí donde el riesgo lo justifique, de modo que las acciones de mayor impacto no queden exclusivamente en manos del sistema automatizado.
4. La responsabilidad no puede delegarse en la IA. Toda acción relevante realizada por un agente debe poder atribuirse a un responsable identificado. Para ello, debe haber una persona responsable del agente, un mecanismo de control que defina los límites dentro de los cuales puede actuar y un registro que permita reconstruir qué acciones realizó, con qué permisos, sobre qué sistemas y conforme a qué instrucciones y autorizaciones.
“En ciberseguridad, el riesgo no depende únicamente de las capacidades de los agentes, sino también de los privilegios que se le conceden, del grado de autonomía con el que opera y de la capacidad de la organización para detectar y contener comportamientos inesperados” señala Sergio Pedroche. “La clave es diseñar controles que limiten las consecuencias de sus errores, impidan que una anomalía se propague y permitan reconstruir lo sucedido”.
