Cómo combatimos el terrorismo

varios_logo_facebookTras los recientes ataques terroristas la gente se cuestiona el papel de las empresas tecnológicas en la lucha contra el terrorismo online, y queremos dar una respuesta a esas cuestiones. Estamos de acuerdo con aquellos que dicen los medios sociales no deben ser un lugar en el que los terroristas tengan voz. Queremos ser muy claros sobre la seriedad con la que afrontamos este tema. Mantener nuestra comunidad a salvo en Facebook es algo crítico en nuestra misión.

En este post abordaremos parte de nuestro trabajo “detrás de las cámaras”, incluyendo cómo utilizamos la inteligencia artificial para mantener los contenidos terroristas fuera de Facebook, algo sobre lo que nunca hemos hablado públicamente. También presentaremos a la gente que trabaja en combatir el terrorismo, algunos han dedicado a ello toda su carrera profesional, y de cómo colaboramos con otros socios fuera de nuestra compañía.

Nuestra posición es sencilla: No hay lugar para el terrorismo en Facebook. Eliminamos a los terroristas y las publicaciones que los apoyan en cuanto los detectamos. Cuando recibimos denuncias de posibles publicaciones terroristas las revisamos de manera urgente y al detalle. Y en los pocos casos en los que descubrimos alguna prueba de un daño inminente avisamos a las autoridades de inmediato. Aunque los estudios académicos afirman que la radicalización de los integrantes de grupos como ISIS o Al Qaeda se desarrolla fundamentalmente offline, sabemos que internet juega un papel, y no queremos que Facebook se utilice para ninguna actividad terrorista.

Creemos que la tecnología, y Facebook pueden formar parte de la solución
Hemos sido cautelosos, en parte porque no queremos sugerir que hay una solución técnica sencilla. Es un enorme reto mantener a la gente segura en una plataforma que utilizan cerca de 2.000 millones de personas cada mes, publicando y comentando en más de 80 idiomas desde cualquier rincón del planeta. Tenemos mucho que hacer, pero queremos compartir en qué estamos trabajando y escuchar vuestras sugerencias sobre en qué podemos mejorar.

Inteligencia Artificial
Queremos detectar contenidos terroristas inmediatamente, antes de que las personas de nuestra comunidad lo vean. La mayor parte de las cuentas que eliminamos por terrorismo son detectadas por nosotros mismos, pero sabemos que podemos mejorar utilizando la tecnología, en concreto la inteligencia artificial (IA), para detener la difusión de contenidos terroristas en Facebook.

Aunque nuestro empleo de la IA contra el terrorismo es bastante reciente ya está cambiando la forma en la que mantenemos la potencial propaganda terrorista y sus cuentas fuera de Facebook. Actualmente estamos orientando nuestras técnicas más innovadoras a combatir el contenido terrorista sobre ISIS, Al Qaeda y sus aliados, y esperamos expandirlo a otras organizaciones terroristas. Actualizamos constantemente nuestras soluciones técnicas, y estos son algunos de nuestros esfuerzos en la actualidad:
· Emparejamiento de imágenes: Cuando alguien intenta subir una imagen o vídeo de contenido terrorista, nuestro sistema busca si esa imagen coincide con alguna de las fotografías o vídeos registrados como terroristas. Esto significa que si anteriormente hemos eliminado un vídeo propagandístico de ISIS podemos trabajar para prevenir que otras cuentas compartan el mismo vídeo en nuestra plataforma. En muchos casos esto significa que un contenido que tiene la intención de fomentar el terrorismo en Facebook nunca llega a la plataforma.
· Comprensión del lenguaje: Hemos empezado recientemente a experimentar con IA para entender un texto que puede estar orientado a promover el terrorismo. Estamos experimentando con análisis de textos que hemos retirado previamente por apoyar a ISIS y Al Qaeda de manera que podamos desarrollar señales basadas en estos textos que nos alerten de que se trata de propaganda terrorista. Este análisis dará como resultado un algoritmo que está en una primera fase de aprendizaje en la detección de publicaciones similares. Los algoritmos de aprendizaje automáticos trabajan sobre un feedback constante y van mejorando con el tiempo.
· Eliminar redes terroristas: Sabemos que los terroristas tienen a radicalizarse y operan en red. Esta tendencia offline tiene también su reflejo online, así que cuando identificamos páginas, grupos, publicaciones o perfiles que apoyan el terrorismo también empleamos algoritmos para identificar material relacionado que pueda también apoyar el terror. Utilizamos señales como ver si una cuenta es amiga con un gran número de cuentas que han sido deshabilitadas por terrorismo o si una cuenta comparte los mismos atributos que otra cuenta eliminada.
· Reincidencia: Hemos conseguido ser más rápidos al detectar cuentas falsas creadas por ofensores reincidentes. Con este trabajo hemos conseguido reducir dramáticamente el periodo de tiempo que este tipo de cuentas están en Facebook. Es un trabajo sin fin porque los terroristas evolucionan continuamente en sus métodos también. Identificamos constantemente nuevas formas que emplean los actores terroristas para evitar nuestros sistemas y actualizamos a la vez nuestras tácticas.
· Colaboración entre plataformas: Como no queremos que los terroristas encuentren un lugar en ninguna de las aplicaciones de la familia de Facebook hemos empezado a trabajar en sistemas que nos permitan actuar contra cuentas de terroristas en todas nuestras plataformas, incluyendo WhatsApp e Instagram. Dado el limitado número de datos que algunas de nuestras aplicaciones recogen como parte de su servicio, la posibilidad de compartir datos entre toda la familia de apps es indispensable en nuestros esfuerzos para mantener seguras a nuestras plataformas.

Conocimiento humano
La inteligencia artificial no puede llegar a todo. Detectar qué contenidos apoyan el terrorismo y qué contenidos no lo hacen no es siempre claro, y los algoritmos no son tan exactos como las personas a la hora de entender determinados contextos. Una foto de un hombre armado ondeando una bandera de ISIS puede ser propaganda pero también puede ser una imagen de una noticia. Algunos de los grupos más efectivos que critican a grupos como ISIS utilizan su propia propaganda en su contra. Para comprender todos estos matices necesitamos del conocimiento humano.
· Denuncias y críticas: Nuestra comunidad, es decir, la gente en Facebook, nos ayuda denunciando cuentas y contenidos que pueden violar nuestras políticas, incluyendo la pequeña porción que puede estar vinculada al terrorismo. Nuestros equipos de comunidad (Community Operations) – que incorporarán a 3.000 nuevas personas en el próximo año- trabajan 24 horas al día en docenas de idiomas para revisar estas denuncias y determinar el contexto en que se producen. Este puede ser un trabajo increíblemente difícil por lo que les damos apoyo mediante asesoría in situ o formación sobre reincidencia.
· Especialistas en terrorismo y seguridad: Durante el pasado año hemos ampliado significativamente nuestro equipo de especialistas en lucha antiterrorista. En Facebook hay más de 150 personas que trabajan con el objetivo de combatir el terrorismo como su responsabilidad principal. Esto incluye a expertos académicos, antiguos fiscales o agentes de los cuerpos de seguridad y analistas e ingenieros. Solo en este equipo de especialistas ya hablamos cerca de 30 idiomas diferentes.
· Amenazas del mundo real: Utilizamos cada vez más la IA para identificar y eliminar contenido terrorista pero los ordenadores no son muy buenos en identificar qué supone una amenaza creíble que requiere escalarse a las autoridades. También contamos con un equipo global que responde en minutos a las peticiones urgentes de las autoridades.

Asociándonos con otros
Trabajar en mantener el terrorismo fuera de Facebook no es suficiente porque los terroristas se mueven de una plataforma a otra. Por eso asociarse con otras compañías, sociedad civil, investigadores y gobiernos, es también crucial.

· Cooperación en el sector: Para identificar más rápidamente y detener la expansión de contenidos terroristas online, nos hemos unido a Microsoft, Twitter y YouTube hace seis meses y hemos anunciado una base de datos compartida de hashes, una huella digital única para fotos y vídeos, para el contenido producido por terroristas o en apoyo de organizaciones terroristas. Esta colaboración ya ha resultado ser fructífera, y esperamos que se añadan más socios en el futuro. Estamos muy agradecidos a nuestros socios en esta alianza por ayudarnos a mantener Facebook seguro.
· Gobiernos: Los gobiernos y las agencias intergubernamentales también tiene un papel fundamental en reunir y proporcionar una experiencia que para las compañías sería imposible desarrollar independientemente. Hemos aprendido mucho sobre los mecanismos de propaganda de ISIS y Al Qaeda a través de informes de agencias en diferentes países. Y también hemos participado y nos hemos beneficiado de los esfuerzos para apoyar la colaboración en el sector de organizaciones como el European Internet Forum, la Global Coalition Against Daesh y el Ministerio del Interior de Reino Unido.
· Encriptación: Sabemos que los terroristas a veces utilizan mensajes encriptados para comunicarse entre ellos. La tecnología de encriptación tiene muchos usos legítimos, como proteger nuestra cuenta bancaria o mantener nuestras fotos a salvo. También es esencial para periodistas, trabajadores de ONGs, activistas de derechos humanos y otros que necesitan saber que sus mensajes permanecen seguros. No podemos leer contenidos de mensajes individuales encriptados, debido a cómo funciona la encriptación de extremo a extremo, pero proporcionamos la información que podemos para dar respuesta a las peticiones de las autoridades consistentes con la ley y con nuestras políticas.
· Formación en contra narrativa: También creemos que combatir la narrativa extremista online es una parte valiosa de la respuesta al extremismo en la vida real. La contra narrativa se da de muchas maneras, todas orientadas a prevenir que las personas adopten una vida de violencia y odio, o a que abandonen esa vida. Pero la contra narrativa solo es efectiva si viene de voces creíbles, y por eso nos hemos asociado con ONGs y grupos de comunidad que empoderen a las voces que más importan.
· Programas de socios: Apoyamos los principales programas de contra narrativa. Por ejemplo, el pasado año trabajamos con el Institute for Strategic Dialogue para lanzar la Online Civil Courage Initiative, un proyecto que ha unido a más de 100 organizaciones anti odio y anti extremismo en toda Europa. También hemos trabajado con Affinis Labs para albergar hackatones en lugares como Manila, Daca y Yakarta, donde los líderes de la comunidad unieron fuerzas con emprendedores tecnológicos para desarrollar soluciones innovadoras que eviten el extremismo y el odio online. Y finalmente, el programa que hemos apoyado con el mayor alcance global es una competición entre estudiantes organizada a través de P2P: Facebook Global Digital Challenge. En menos de dos años, P2P ha llegado a más de 56 millones de personas en todo el mundo a través de más de 500 campañas anti odio y anti extremismo creadas por más de 5.000 estudiantes de 68 países.

Nuestro compromiso
Queremos que Facebook sea un lugar hostil para los terroristas. El reto para las comunidades online es el mismo que para las comunidades en la vida real: mejorar en la detección de las primeras señales antes de que sea demasiado tarde. Estamos completamente comprometidos en mantener el terrorismo fuera de nuestra plataforma, y continuaremos compartiendo más sobre nuestro trabajo según se vaya desarrollando en el futuro.

Por Monika Bickert, Director of Global Policy Management, y Brian Fishman, Counterterrorism Policy Manager

 

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s