Das KI-Red-Team von Microsoft hat sich bereits zu Wort gemeldet.

Im (Microsoft-)Bereich der Cybersicherheit ist ein rotes Team eine Gruppe von ethischen Hackern, die Angriffe auf die Systeme und Netzwerke eines Unternehmens simulieren, um dessen Verteidigungsmaßnahmen zu testen und Schwachstellen zu ermitteln. Ein blaues Team ist eine Gruppe von Sicherheitsexperten, die Angriffe des roten Teams abwehren und versuchen, die Sicherheitslage des Unternehmens zu verbessern.

Microsoft setzt schon seit Jahren rote und blaue Teams ein, um seine eigenen Produkte und Dienste sowie die Daten und Vermögenswerte seiner Kunden zu schützen. Doch in den letzten Jahren stand das Unternehmen vor einer neuen Herausforderung: Wie kann es seine Systeme und Anwendungen der künstlichen Intelligenz (KI) vor böswilligen Akteuren schützen, die versuchen könnten, sie auszunutzen, zu manipulieren oder zu sabotieren.

Es por eso que Microsoft creó el AI Red Team, un grupo dedicado de investigadores e ingenieros que se especializan en IA adversaria.

Ihre Aufgabe ist es, potenzielle Schwachstellen in Microsofts Angeboten für künstliche Intelligenz, wie Azure Cognitive Services, Bing, Cortana und Microsoft 365, zu finden und zu beheben. Sie arbeiten auch mit anderen Teams im gesamten Unternehmen zusammen, um das Bewusstsein zu schärfen und Entwickler darin zu schulen, wie sie sichere und robuste Systeme aufbauen können. KI-Lösungen.

Das AI Red Team wurde offiziell erst 2019 ins Leben gerufen, aber es hat bereits einen bedeutenden Einfluss auf die KI-Sicherheitsstrategie von Microsoft gehabt. Hier finden Sie einige der Erfolge und Initiativen, die das Team bisher erreicht hat:

– Das AI Red Team hat mehr als 100 Bewertungen von Microsofts KI-Produkten und -Diensten durchgeführt und dabei verschiedene Aspekte wie Datenschutz, Modellintegrität, Robustheit gegenüber Angreifern und Interaktion zwischen Mensch und KI untersucht.

Das Team entdeckte und meldete Dutzende von Problemen, die von kleineren Fehlern bis hin zu kritischen Schwachstellen reichten, und half den Produktteams, diese zu beheben, bevor Angreifer sie ausnutzen konnten.

– Das AI Red Team hat mehrere Tools und Frameworks entwickelt, um den Prozess des Testens und Prüfens von KI-Systemen zu automatisieren und zu rationalisieren. So hat das Team beispielsweise ein Framework für die KI-Sicherheitsrisikobewertung (AISRA) entwickelt, das eine standardisierte Methodik und Checkliste für die Bewertung der Sicherheitslage jedes KI-Systems bietet.

Das Team hat außerdem eine KI-Fuzzing-Plattform entwickelt, die Techniken des maschinellen Lernens nutzt, um bösartige Eingaben und Szenarien zu erzeugen, die unerwartetes oder unerwünschtes Verhalten in KI-Modellen auslösen können.

– Das AI Red Team hat durch die Veröffentlichung von Artikeln, Präsentationen auf Konferenzen und die Teilnahme an Wettbewerben zum Fortschritt auf dem Gebiet der KI-Forschung beigetragen. So hat das Team zum Beispiel mehrere Preise bei der NeurIPS Adversarial Vision Challenge gewonnen, einem globalen Wettbewerb, bei dem die Teilnehmer robuste Bildklassifizierer entwickeln müssen, die gegnerischen Angriffen widerstehen können. Das Team hat außerdem Arbeiten zu Themen wie gegnerische Beispiele, Backdoor-Angriffe, Modelldiebstahl und differentielle Privatsphäre veröffentlicht.

– Das AI Red Team hat eine Kultur des Sicherheitsbewusstseins und der Aufklärung innerhalb von Microsoft und darüber hinaus gefördert. Das Team hat zahlreiche Schulungen, Workshops, Webinare und Hackathons für Microsoft-Mitarbeiter, Kunden, Partner und Studenten organisiert und durchgeführt. Das Team hat auch einen Online-Kurs über KI-Sicherheitsgrundlagen erstellt, der die Grundlagen der KI und die Abwehr gängiger Bedrohungen behandelt. Der Kurs ist kostenlos auf Microsoft Learn verfügbar.

Das AI Red Team ist nicht nur ein wertvoller Aktivposten für Microsoft, sondern auch ein Pionier und Vorreiter auf dem aufstrebenden Gebiet der KI-Sicherheit. Indem das Team proaktiv Schwachstellen in Microsofts Systemen und Anwendungen für künstliche Intelligenz findet und behebt, trägt es dazu bei, dass diese vertrauenswürdig, zuverlässig und widerstandsfähig sind. Und indem es sein Wissen und seine Erfahrung mit der breiteren Gemeinschaft teilt, trägt das Team dazu bei, die Messlatte für KI-Sicherheit in der gesamten Branche höher zu legen.

Künstliche Intelligenz (KI) wird dank der rasanten Entwicklung und Innovation verschiedener Tools und Plattformen immer zugänglicher und allgegenwärtiger in unserem täglichen Leben. Von OpenAIs ChatGPT bis hin zu Googles Bard – diese generativen KI-Tools ermöglichen es uns, auf neue und aufregende Weise zu kreieren, zu kommunizieren und zusammenzuarbeiten. Doch mit großer Macht kommt auch große Verantwortung.

Wie können wir sicherstellen, dass diese KI-Systeme zuverlässig, robust und sicher sind? Wie können wir verhindern, dass bösartige Angriffe oder unbeabsichtigte Folgen ihre Leistung oder Integrität beeinträchtigen? Dies sind einige der Fragen, mit denen sich ein engagiertes Team bei Microsoft seit 2018 beschäftigt.

Das Team, das sogenannte AI Red Team, ist für die Durchführung von Tests und Analysen von KI-Plattformen verantwortlich, sowohl intern als auch extern. Durch die Simulation realer Szenarien und Herausforderungen versucht das Team, potenzielle Schwachstellen und Risiken in KI-Systemen zu identifizieren und zu entschärfen sowie Leitlinien und Best Practices für die Entwicklung ethischer und zuverlässiger KI-Lösungen bereitzustellen.