A equipe vermelha de IA da Microsoft já apresentou seu caso.

No campo da segurança cibernética (Microsoft), uma equipe vermelha é um grupo de hackers éticos que simula ataques aos sistemas e redes de uma organização para testar suas defesas e identificar vulnerabilidades. Uma equipe azul é o grupo de profissionais de segurança que se defende dos ataques da equipe vermelha e tenta melhorar a postura de segurança da organização.

A Microsoft vem usando equipes vermelhas e azuis há anos para proteger seus próprios produtos e serviços, bem como os dados e ativos de seus clientes. Porém, nos últimos anos, a empresa enfrentou um novo desafio: como proteger seus sistemas e aplicativos de inteligência artificial (IA) contra agentes mal-intencionados que podem tentar explorá-los, manipulá-los ou sabotá-los.

Es por eso que Microsoft creó el AI Red Team, un grupo dedicado de investigadores e ingenieros que se especializan en IA adversaria.

Sua missão é encontrar e corrigir possíveis pontos fracos nas ofertas de inteligência artificial da Microsoft, como o Azure Cognitive Services, o Bing, a Cortana e o Microsoft 365. Eles também colaboram com outras equipes da empresa para aumentar a conscientização e educar os desenvolvedores sobre como criar sistemas seguros e robustos. Soluções de IA.

A Equipe Vermelha de IA foi lançada oficialmente em 2019, mas já teve um impacto significativo na estratégia de segurança de IA da Microsoft. Aqui estão algumas das conquistas e iniciativas que a equipe realizou até agora:

– A AI Red Team realizou mais de 100 avaliações dos produtos e serviços de IA da Microsoft, abrangendo vários aspectos, como privacidade de dados, integridade do modelo, robustez do adversário e interação humano-IA.

A equipe descobriu e relatou dezenas de problemas, desde pequenos bugs até vulnerabilidades críticas, e ajudou as equipes de produtos a corrigi-los antes que os invasores pudessem explorá-los.

– A AI Red Team desenvolveu várias ferramentas e estruturas para automatizar e simplificar o processo de teste e auditoria de sistemas de IA. Por exemplo, a equipe criou uma estrutura de Avaliação de Risco de Segurança de IA (AISRA), que fornece uma metodologia padronizada e uma lista de verificação para avaliar a postura de segurança de qualquer sistema de IA.

A equipe também criou uma plataforma AI Fuzzing, que utiliza técnicas de aprendizado de máquina para gerar entradas e cenários maliciosos que podem desencadear comportamentos inesperados ou indesejáveis nos modelos de IA.

– A AI Red Team contribuiu para o avanço do campo de pesquisa de IA adversária publicando artigos, fazendo apresentações em conferências e participando de competições. Por exemplo, a equipe ganhou vários prêmios no NeurIPS Adversarial Vision Challenge, uma competição global que desafia os participantes a criar classificadores de imagem robustos que possam resistir a ataques adversários. A equipe também publicou artigos sobre tópicos como exemplos contraditórios, ataques de backdoor, roubo de modelos e privacidade diferencial.

– A AI Red Team promoveu uma cultura de conscientização e educação sobre segurança na Microsoft e fora dela. A equipe organizou e ministrou várias sessões de treinamento, workshops, webinars e hackathons para funcionários, clientes, parceiros e estudantes da Microsoft. A equipe também criou um curso on-line sobre Fundamentos de Segurança de IA, que abrange os conceitos básicos de IA adversária e como se defender contra ameaças comuns. O curso está disponível gratuitamente no Microsoft Learn.

A AI Red Team não é apenas um ativo valioso para a Microsoft, mas também um pioneiro e líder no campo emergente da segurança de IA. Ao encontrar e corrigir proativamente vulnerabilidades nos sistemas e aplicativos de inteligência artificial da Microsoft, a equipe ajuda a garantir que eles sejam confiáveis, seguros e resilientes. E, ao compartilhar seu conhecimento e experiência com a comunidade em geral, a equipe está ajudando a elevar o nível da segurança de IA em todo o setor.

A inteligência artificial (IA) está se tornando cada vez mais acessível e onipresente em nosso dia a dia, graças ao rápido desenvolvimento e à inovação de várias ferramentas e plataformas. Do ChatGPT da OpenAI ao Bard do Google, essas ferramentas de IA generativas nos permitem criar, comunicar e colaborar de maneiras novas e empolgantes. No entanto, com grande poder vem grande responsabilidade.

Como podemos garantir que esses sistemas de IA sejam confiáveis, robustos e seguros? Como podemos evitar que ataques mal-intencionados ou consequências não intencionais comprometam seu desempenho ou integridade? Essas são algumas das perguntas nas quais uma equipe dedicada da Microsoft tem trabalhado desde 2018.

A equipe, chamada de AI Red Team, é responsável por realizar testes e análises adversárias de plataformas de IA, tanto interna quanto externamente. Ao simular cenários e desafios do mundo real, a equipe tem como objetivo identificar e mitigar possíveis vulnerabilidades e riscos em sistemas de IA, além de fornecer orientação e práticas recomendadas para a criação de soluções de IA éticas e confiáveis.