En el campo (Microsoft) de la ciberseguridad, un equipo rojo es un grupo de hackers éticos que simulan ataques a los sistemas y redes de una organización para probar sus defensas e identificar vulnerabilidades. Un equipo azul es el grupo de profesionales de seguridad que se defienden de los ataques del equipo rojo e intentan mejorar la postura de seguridad de la organización.
Microsoft ha estado utilizando equipos rojos y azules durante años para proteger sus propios productos y servicios, así como los datos y activos de sus clientes. Pero en los últimos años, la empresa se ha enfrentado a un nuevo desafío: cómo proteger sus sistemas y aplicaciones de inteligencia artificial (IA) de actores maliciosos que puedan intentar explotarlos, manipularlos o sabotearlos.
Es por eso que Microsoft creó el AI Red Team, un grupo dedicado de investigadores e ingenieros que se especializan en IA adversaria.
Su misión es encontrar y solucionar posibles debilidades en las ofertas de inteligencia artificial de Microsoft, como Azure Cognitive Services, Bing, Cortana y Microsoft 365. También colaboran con otros equipos de toda la empresa para crear conciencia y educar a los desarrolladores sobre cómo construir sistemas seguros y sólidos. Soluciones de IA.
El AI Red Team se lanzó oficialmente en 2019, pero ya ha tenido un impacto significativo en la estrategia de seguridad de IA de Microsoft. Estos son algunos de los logros e iniciativas que el equipo ha logrado hasta ahora:
– El Equipo Rojo de IA ha realizado más de 100 evaluaciones de los productos y servicios de IA de Microsoft, cubriendo diversos aspectos como la privacidad de los datos, la integridad del modelo, la solidez del adversario y la interacción entre humanos y IA.
El equipo descubrió e informó docenas de problemas, que van desde errores menores hasta vulnerabilidades críticas, y ayudó a los equipos de producto a solucionarlos antes de que los atacantes pudieran explotarlos.
– El AI Red Team ha desarrollado varias herramientas y marcos para automatizar y agilizar el proceso de prueba y auditoría de sistemas de IA. Por ejemplo, el equipo ha creado un marco de Evaluación de riesgos de seguridad de IA (AISRA), que proporciona una metodología estandarizada y una lista de verificación para evaluar la postura de seguridad de cualquier sistema de IA.
El equipo también ha creado una plataforma AI Fuzzing, que aprovecha técnicas de aprendizaje automático para generar entradas y escenarios maliciosos que pueden desencadenar comportamientos inesperados o indeseables en los modelos de IA.
– El AI Red Team ha contribuido al avance del campo de investigación de la IA adversarial, mediante la publicación de artículos, presentaciones en conferencias y participación en concursos. Por ejemplo, el equipo ganó varios premios en NeurIPS Adversarial Vision Challenge, un concurso global que desafía a los participantes a crear clasificadores de imágenes sólidos que puedan resistir ataques adversarios. El equipo también ha publicado artículos sobre temas como ejemplos contradictorios, ataques de puerta trasera, robo de modelos y privacidad diferencial.
– El AI Red Team ha fomentado una cultura de concientización y educación sobre seguridad dentro de Microsoft y más allá. El equipo ha organizado e impartido numerosas sesiones de capacitación, talleres, seminarios web y hackatones para empleados, clientes, socios y estudiantes de Microsoft. El equipo también creó un curso en línea sobre Fundamentos de seguridad de la IA, que cubre los conceptos básicos de la IA adversaria y cómo defenderse contra amenazas comunes. El curso está disponible de forma gratuita en Microsoft Learn.
El AI Red Team no solo es un activo valioso para Microsoft, sino también un pionero y líder en el campo emergente de la seguridad de la IA. Al encontrar y corregir de manera proactiva vulnerabilidades en los sistemas y aplicaciones de inteligencia artificial de Microsoft, el equipo ayuda a garantizar que sean confiables, confiables y resistentes. Y al compartir su conocimiento y experiencia con la comunidad en general, el equipo está ayudando a elevar el nivel de seguridad de la IA en toda la industria.
La inteligencia artificial (IA) es cada vez más accesible y ubicua en nuestra vida diaria, gracias al rápido desarrollo e innovación de diversas herramientas y plataformas. Desde ChatGPT de OpenAI hasta Bard de Google, estas herramientas de IA generativa nos permiten crear, comunicarnos y colaborar de formas nuevas y emocionantes. Sin embargo, un gran poder conlleva una gran responsabilidad.
¿Cómo podemos garantizar que estos sistemas de IA sean fiables, robustos y seguros? ¿Cómo podemos evitar que ataques maliciosos o consecuencias no deseadas comprometan su rendimiento o integridad? Estas son algunas de las preguntas en las que un equipo dedicado de Microsoft ha estado trabajando desde 2018.
El equipo, llamado AI Red Team, es responsable de realizar pruebas y análisis contradictorios de plataformas de IA, tanto interna como externamente. Al simular escenarios y desafíos del mundo real, el equipo tiene como objetivo identificar y mitigar posibles vulnerabilidades y riesgos en los sistemas de IA, así como proporcionar orientación y mejores prácticas para crear soluciones de IA éticas y confiables.
