Il team rosso di Microsoft dedicato all’intelligenza artificiale ha già fatto valere le sue ragioni.

Nel campo della sicurezza informatica (Microsoft), un red team è un gruppo di hacker etici che simula attacchi ai sistemi e alle reti di un’organizzazione per testarne le difese e identificare le vulnerabilità. Il blue team è un gruppo di professionisti della sicurezza che si difende dagli attacchi del red team e cerca di migliorare la sicurezza dell’organizzazione.

Da anni Microsoft si avvale di team rossi e blu per proteggere i propri prodotti e servizi, nonché i dati e le risorse dei propri clienti. Ma negli ultimi anni l’azienda ha affrontato una nuova sfida: come proteggere i suoi sistemi e le sue applicazioni di intelligenza artificiale (AI) da soggetti malintenzionati che potrebbero tentare di sfruttarli, manipolarli o sabotarli.

Es por eso que Microsoft creó el AI Red Team, un grupo dedicado de investigadores e ingenieros que se especializan en IA adversaria.

La loro missione è quella di trovare e risolvere i potenziali punti deboli delle offerte di intelligenza artificiale di Microsoft, come Azure Cognitive Services, Bing, Cortana e Microsoft 365. Collaborano inoltre con altri team dell’azienda per sensibilizzare ed educare gli sviluppatori su come costruire sistemi sicuri e robusti. Soluzioni di intelligenza artificiale.

L’AI Red Team è stato lanciato ufficialmente nel 2019, ma ha già avuto un impatto significativo sulla strategia di sicurezza AI di Microsoft. Ecco alcuni dei risultati e delle iniziative che il team ha portato a termine finora:

– L’AI Red Team ha condotto più di 100 valutazioni dei prodotti e dei servizi di intelligenza artificiale di Microsoft, coprendo vari aspetti come la privacy dei dati, l’integrità del modello, la robustezza degli avversari e l’interazione uomo-Io.

Il team ha scoperto e segnalato decine di problemi, da bug minori a vulnerabilità critiche, e ha aiutato i team di prodotto a risolverli prima che gli aggressori potessero sfruttarli.

– L’AI Red Team ha sviluppato diversi strumenti e framework per automatizzare e semplificare il processo di test e verifica dei sistemi di intelligenza artificiale. Ad esempio, il team ha creato un framework per la valutazione del rischio di sicurezza dell’IA (AISRA), che fornisce una metodologia standardizzata e una lista di controllo per valutare la posizione di sicurezza di qualsiasi sistema di IA.

Il team ha anche creato una piattaforma di AI Fuzzing, che sfrutta le tecniche di apprendimento automatico per generare input e scenari dannosi che possono innescare comportamenti inaspettati o indesiderati nei modelli di AI.

– L’AI Red Team ha contribuito al progresso del campo della ricerca sull’intelligenza artificiale avversaria pubblicando articoli, presentando conferenze e partecipando a concorsi. Ad esempio, il team ha vinto diversi premi nella NeurIPS Adversarial Vision Challenge, una competizione globale che sfida i partecipanti a creare classificatori di immagini robusti in grado di resistere agli attacchi avversari. Il team ha inoltre pubblicato articoli su argomenti quali esempi avversari, attacchi backdoor, furto di modelli e privacy differenziale.

– L’AI Red Team ha promosso una cultura di sensibilizzazione ed educazione alla sicurezza all’interno di Microsoft e non solo. Il team ha organizzato e tenuto numerose sessioni di formazione, workshop, webinar e hackathon per dipendenti, clienti, partner e studenti di Microsoft. Il team ha anche creato un corso online sui Fondamenti di sicurezza dell’IA, che copre le basi dell’IA avversaria e come difendersi dalle minacce più comuni. Il corso è disponibile gratuitamente su Microsoft Learn.

L’AI Red Team non è solo una risorsa preziosa per Microsoft, ma anche un pioniere e un leader nel campo emergente della sicurezza dell’intelligenza artificiale. Individuando e correggendo in modo proattivo le vulnerabilità nei sistemi e nelle applicazioni di intelligenza artificiale di Microsoft, il team contribuisce a garantirne la fiducia, l’affidabilità e la resilienza. Inoltre, condividendo le proprie conoscenze ed esperienze con una comunità più ampia, il team contribuisce ad alzare il livello di sicurezza dell’intelligenza artificiale in tutto il settore.

L’intelligenza artificiale (AI) sta diventando sempre più accessibile e onnipresente nella nostra vita quotidiana, grazie al rapido sviluppo e all’innovazione di diversi strumenti e piattaforme. Da ChatGPT di OpenAI a Bard di Google, questi strumenti di AI generativa ci permettono di creare, comunicare e collaborare in modi nuovi ed entusiasmanti. Tuttavia, da un grande potere derivano grandi responsabilità.

Come possiamo garantire che questi sistemi di intelligenza artificiale siano affidabili, robusti e sicuri? Come possiamo evitare che attacchi dannosi o conseguenze indesiderate ne compromettano le prestazioni o l’integrità? Queste sono alcune delle domande su cui un team dedicato di Microsoft sta lavorando dal 2018.

Il team, chiamato AI Red Team, è responsabile della conduzione di test e analisi avversarie delle piattaforme di IA, sia internamente che esternamente. Simulando scenari e sfide del mondo reale, il team mira a identificare e mitigare le vulnerabilità e i rischi potenziali dei sistemi di IA, oltre a fornire indicazioni e best practice per creare soluzioni di IA etiche e affidabili.