L’équipe rouge de Microsoft chargée de l’IA a déjà présenté ses arguments.

Dans le domaine de la cybersécurité (Microsoft), une équipe rouge est un groupe de hackers éthiques qui simulent des attaques sur les systèmes et les réseaux d’une organisation afin de tester ses défenses et d’identifier ses vulnérabilités. Une équipe bleue est un groupe de professionnels de la sécurité qui se défend contre les attaques de l’équipe rouge et tente d’améliorer la posture de sécurité de l’organisation.

Depuis des années, Microsoft fait appel à des équipes rouges et bleues pour protéger ses propres produits et services, ainsi que les données et les actifs de ses clients. Mais depuis quelques années, l’entreprise est confrontée à un nouveau défi : comment protéger ses systèmes et applications d’intelligence artificielle (IA) contre les acteurs malveillants qui pourraient tenter de les exploiter, de les manipuler ou de les saboter.

Es por eso que Microsoft creó el AI Red Team, un grupo dedicado de investigadores e ingenieros que se especializan en IA adversaria.

Leur mission consiste à trouver et à corriger les faiblesses potentielles des offres d’intelligence artificielle de Microsoft, telles que Azure Cognitive Services, Bing, Cortana et Microsoft 365. Ils collaborent également avec d’autres équipes au sein de l’entreprise pour sensibiliser et former les développeurs à la construction de systèmes sécurisés et robustes. Solutions d’IA.

L’AI Red Team a officiellement été lancée en 2019, mais elle a déjà eu un impact significatif sur la stratégie de sécurité de l’IA de Microsoft. Voici quelques-unes des réalisations et des initiatives que l’équipe a accomplies jusqu’à présent :

– L’AI Red Team a réalisé plus de 100 évaluations des produits et services d’IA de Microsoft, couvrant divers aspects tels que la confidentialité des données, l’intégrité des modèles, la robustesse des adversaires et l’interaction entre l’homme et l’IA.

L’équipe a découvert et signalé des dizaines de problèmes, allant de bogues mineurs à des vulnérabilités critiques, et a aidé les équipes de produits à les corriger avant que les attaquants ne puissent les exploiter.

– L’équipe rouge de l’IA a développé plusieurs outils et cadres pour automatiser et rationaliser le processus de test et d’audit des systèmes d’IA. Par exemple, l’équipe a créé un cadre d’évaluation des risques de sécurité de l’IA (AISRA), qui fournit une méthodologie normalisée et une liste de contrôle pour évaluer le niveau de sécurité de tout système d’IA.

L’équipe a également créé une plateforme d’IA Fuzzing, qui s’appuie sur des techniques d’apprentissage automatique pour générer des entrées et des scénarios malveillants susceptibles de déclencher un comportement inattendu ou indésirable dans les modèles d’IA.

– L’AI Red Team a contribué à l’avancement de la recherche sur l’IA accusatoire en publiant des articles, en faisant des présentations lors de conférences et en participant à des concours. Par exemple, l’équipe a remporté plusieurs prix lors du NeurIPS Adversarial Vision Challenge, un concours mondial qui met au défi les participants de créer des classificateurs d’images robustes capables de résister à des attaques adverses. L’équipe a également publié des articles sur des sujets tels que les exemples adverses, les attaques par porte dérobée, le vol de modèle et la confidentialité différentielle.

– L’AI Red Team a favorisé une culture de sensibilisation et d’éducation à la sécurité au sein de Microsoft et au-delà. L’équipe a organisé et dispensé de nombreuses sessions de formation, des ateliers, des webinaires et des hackathons pour les employés, les clients, les partenaires et les étudiants de Microsoft. L’équipe a également créé un cours en ligne sur les fondements de la sécurité de l’IA, qui couvre les bases de l’IA conflictuelle et la façon de se défendre contre les menaces courantes. Ce cours est disponible gratuitement sur Microsoft Learn.

L’AI Red Team n’est pas seulement un atout précieux pour Microsoft, mais aussi un pionnier et un leader dans le domaine émergent de la sécurité de l’intelligence artificielle. En trouvant et en corrigeant de manière proactive les vulnérabilités des systèmes et des applications d’intelligence artificielle de Microsoft, l’équipe contribue à garantir leur fiabilité et leur résilience. Et en partageant ses connaissances et son expertise avec l’ensemble de la communauté, l’équipe contribue à élever le niveau de sécurité de l’IA dans l’ensemble de l’industrie.

L’intelligence artificielle (IA) devient de plus en plus accessible et omniprésente dans notre vie quotidienne, grâce au développement rapide et à l’innovation de divers outils et plateformes. Du ChatGPT d’OpenAI à Bard de Google, ces outils d’IA générative nous permettent de créer, de communiquer et de collaborer de manière nouvelle et passionnante. Cependant, un grand pouvoir s’accompagne d’une grande responsabilité.

Comment pouvons-nous garantir que ces systèmes d’IA sont fiables, robustes et sûrs ? Comment éviter que des attaques malveillantes ou des conséquences involontaires ne compromettent leurs performances ou leur intégrité ? Ce sont quelques-unes des questions sur lesquelles une équipe dédiée de Microsoft travaille depuis 2018.

L’équipe, appelée AI Red Team, est chargée de mener des tests et des analyses contradictoires sur les plateformes d’IA, tant en interne qu’en externe. En simulant des scénarios et des défis réels, l’équipe vise à identifier et à atténuer les vulnérabilités et les risques potentiels des systèmes d’IA, ainsi qu’à fournir des conseils et des bonnes pratiques pour créer des solutions d’IA éthiques et fiables.