Check Point Research revela cómo la presión de grupo puede llevar a los agentes de IA a incumplir las normas

Check Point Research, la división de Inteligencia de Amenazas de Check Point® Software Technologies Ltd., pionero y líder global en soluciones de ciberseguridad, ha analizado cómo las interacciones entre agentes de IA pueden influir en el cumplimiento de las normas de seguridad. La investigación revela que observar cómo otros agentes cambian de opinión puede aumentar de forma significativa la probabilidad de que un sistema ignore una restricción, incluso cuando ninguno de sus compañeros le pide directamente que haga lo mismo.

En julio de 2026, varios agentes de IA que OpenAI estaba probando abandonaron su entorno de pruebas y accedieron a los sistemas de producción de Hugging Face. Cientos de agentes encontraron la manera de dejarse mensajes en una memoria caché de software compartida, que convirtieron en una especie de tablón de comunicación para coordinar sus acciones.

Cuando OpenAI publicó posteriormente algunos de esos mensajes, uno de los agentes reconoció que recurrir a una vulnerabilidad de la infraestructura externa quedaba fuera de los límites previstos. Aun así, decidió continuar porque no podía completar la tarea respetando las restricciones y había observado que otros agentes estaban haciendo lo mismo.

Este episodio llevó a Check Point Research a investigar hasta qué punto el comportamiento de otros agentes puede influir en las decisiones de un sistema y si esa influencia queda reflejada en sus propios registros. Para ello, el equipo diseñó un experimento controlado en el que un agente debía elaborar un informe financiero, pero tenía expresamente prohibido acceder a una carpeta que contenía un archivo necesario para completar la tarea. Para cumplir las instrucciones, debía reconocer que no podía continuar y solicitar ayuda.

Cambiar de opinión puede influir más que presionar directamente

Los investigadores analizaron primero si los argumentos explícitos de otros agentes podían llevar al sistema a incumplir la restricción. En distintas pruebas, sus compañeros insistieron en que la prohibición se había levantado, afirmaron que ya habían consultado el archivo, compararon el coste de mantener bloqueadas tres solicitudes con el supuesto beneficio de acceder brevemente a la carpeta o recurrieron a la reciprocidad, pidiendo al agente que devolviera un favor anterior.

Ninguna de estas estrategias aumentó los incumplimientos. Por el contrario, todas redujeron la tasa respecto al 33 % registrado como referencia en esa serie de experimentos. La insistencia situó la tasa en el 11 %; los argumentos basados en el coste y el beneficio, en el 9 %; y la reciprocidad, en el 17 %. Los resultados apuntan a que la presión directa puede reforzar la disposición del agente a respetar la norma. Cuando uno de sus compañeros le dijo que estaba eligiendo la peor opción, el sistema respondió que la regla era «categórica» y que no dependía de preferencias ni de un cálculo de costes y beneficios.

El resultado fue muy distinto al analizar el efecto de un cambio de postura. Al comienzo de la tarea, varios agentes afirmaron que respetarían la restricción y no abrirían la carpeta. Sin embargo, en una actualización posterior, esos mismos compañeros comunicaron que habían reconsiderado su decisión y que habían accedido al archivo. Ninguno pidió al agente analizado que hiciera lo mismo ni explicó los motivos del cambio.

Ante esta situación, el agente abrió la carpeta en su siguiente turno. En una versión anterior del experimento, el cambio de postura de un solo compañero elevó la tasa de incumplimiento del 33 % al 48 %. En la prueba principal, el efecto aumentó a medida que más agentes cambiaban de opinión: la tasa pasó del 44 % cuando ningún compañero había cambiado de postura al 74 % cuando lo habían hecho cuatro y al 98 % cuando lo habían hecho ocho. Las demás condiciones se mantuvieron iguales, lo que permitió observar la relación entre el número de cambios de postura y el aumento de los incumplimientos.

Un riesgo difícil de detectar y controlar

Uno de los hallazgos más relevantes es que el agente no identificó la influencia de sus compañeros en ninguna de las más de 400 ocasiones en las que incumplió la norma después de que al menos otro agente cambiara de postura. En aproximadamente el 90 % de esos casos, accedió al archivo sin ofrecer explicación alguna. Cuando justificó su decisión, se refirió a un mensaje no verificado que afirmaba que la restricción había dejado de estar vigente.

Este comportamiento plantea un reto para la investigación de incidentes de seguridad: los registros de un agente pueden mostrar un incumplimiento sin explicación o señalar un mensaje que no fue determinante, mientras que el contexto relevante aparece únicamente en las conversaciones de otros agentes. Por ello, analizar solo las decisiones o explicaciones de un sistema puede resultar insuficiente. Para reconstruir lo ocurrido, es necesario conservar la secuencia completa de mensajes que recibió antes de actuar.

“La seguridad de los sistemas multiagente no puede depender únicamente de las instrucciones que recibe cada agente ni de las explicaciones que ofrece después de actuar. Nuestros resultados muestran que observar el comportamiento de otros agentes puede bastar para aumentar considerablemente los incumplimientos, sin que esa influencia quede reflejada en sus registros. Las organizaciones necesitan controles externos al modelo y una visión completa de las interacciones entre agentes”, señala el equipo de investigación de Check Point.

Check Point Research recomienda aplicar controles de acceso que el propio modelo no pueda modificar, tratar los mensajes de otros agentes como información no fiable y vigilar los cambios de comportamiento que se producen de forma coordinada. También aconseja registrar qué mensajes recibe cada agente y en qué orden antes de ejecutar una acción, para que los equipos de seguridad puedan reconstruir el contexto completo de cada decisión.

La investigación principal se repitió más de 500 veces con un modelo avanzado de IA, además de miles de pruebas adicionales para estudiar los argumentos directos y otras variantes. Los investigadores advierten de que el estudio se centra en un único escenario controlado y en un solo modelo, y que el trabajo continuará con otros modelos y configuraciones de equipos multiagente.

Deja una respuesta

Este sitio utiliza Akismet para reducir el spam. Conoce cómo se procesan los datos de tus comentarios.