لقد قدم الفريق الأحمر للذكاء الاصطناعي التابع لشركة Microsoft قضيته بالفعل
في مجال (مايكروسوفت) للأمن السيبراني، الفريق الأحمر هو مجموعة من المتسللين الأخلاقيين الذين يحاكيون الهجمات على أنظمة وشبكات المنظمة لاختبار دفاعاتها وتحديد نقاط الضعف. الفريق الأزرق هو مجموعة من المتخصصين في مجال الأمن الذين يدافعون ضد هجمات الفريق الأحمر ويحاولون تحسين الوضع الأمني للمنظمة.
تستخدم Microsoft الفرق الحمراء والزرقاء منذ سنوات لحماية منتجاتها وخدماتها، بالإضافة إلى بيانات عملائها وأصولهم. لكن في السنوات الأخيرة، واجهت الشركة تحديًا جديدًا: كيفية حماية أنظمة وتطبيقات الذكاء الاصطناعي (AI) الخاصة بها من الجهات الفاعلة الخبيثة التي قد تحاول استغلالها أو التلاعب بها أو تخريبها.
هذا هو السبب مایکروسوفت أنشأ الفريق الأحمر للذكاء الاصطناعي، وهو مجموعة مخصصة من الباحثين والمهندسين المتخصصين في الذكاء الاصطناعي التنافسي.
وتتمثل مهمتهم في العثور على نقاط الضعف المحتملة وإصلاحها في عروض الذكاء الاصطناعي من Microsoft، مثل Azure Cognitive Services وBing وCortana وMicrosoft 365. كما أنهم يتعاونون مع فرق أخرى في جميع أنحاء الشركة لزيادة الوعي وتثقيف المطورين حول كيفية إنشاء أنظمة آمنة وصلبة. حلول الذكاء الاصطناعي.
تم إطلاق فريق AI Red Team رسميًا في عام 2019، ولكن كان له بالفعل تأثير كبير على استراتيجية أمان الذكاء الاصطناعي لشركة Microsoft. وفيما يلي بعض الإنجازات والمبادرات التي حققها الفريق حتى الآن:
- أجرى فريق الذكاء الاصطناعي الأحمر أكثر من 100 تقييم لمنتجات وخدمات الذكاء الاصطناعي من مايكروسوفت، تغطي جوانب مختلفة مثل خصوصية البيانات، وسلامة النموذج، وقوة الخصم، والتفاعل بين الإنسان والذكاء الاصطناعي.
اكتشف الفريق العشرات من المشكلات وأبلغ عنها، بدءًا من الأخطاء البسيطة وحتى نقاط الضعف الحرجة، وساعد فرق المنتجات على إصلاحها قبل أن يتمكن المهاجمون من استغلالها.
– قام فريق AI Red Team بتطوير العديد من الأدوات والأطر لأتمتة وتبسيط عملية اختبار وتدقيق أنظمة الذكاء الاصطناعي. على سبيل المثال، أنشأ الفريق إطار عمل لتقييم المخاطر الأمنية للذكاء الاصطناعي (AISRA)، والذي يوفر منهجية موحدة وقائمة مرجعية لتقييم الوضع الأمني لأي نظام للذكاء الاصطناعي.
أنشأ الفريق أيضًا منصة AI Fuzzing، التي تستفيد من تقنيات التعلم الآلي لإنشاء مدخلات وسيناريوهات ضارة يمكن أن تؤدي إلى سلوكيات غير متوقعة أو غير مرغوب فيها في نماذج الذكاء الاصطناعي.
– ساهم الفريق الأحمر للذكاء الاصطناعي في النهوض بمجال أبحاث الذكاء الاصطناعي التنافسي، من خلال نشر المقالات والعروض التقديمية في المؤتمرات والمشاركة في المسابقات. على سبيل المثال، فاز الفريق بالعديد من الجوائز في مسابقة NeurIPS Adversarial Vision Challenge، وهي مسابقة عالمية تتحدى المشاركين لإنشاء مصنفات قوية للصور يمكنها مقاومة الهجمات العدائية. نشر الفريق أيضًا مقالات حول موضوعات مثل الأمثلة العدائية، وهجمات الأبواب الخلفية، وسرقة النماذج، والخصوصية التفاضلية.
- قام فريق AI Red Team بتعزيز ثقافة الوعي الأمني والتعليم داخل Microsoft وخارجها. قام الفريق بتنظيم وتقديم العديد من الدورات التدريبية وورش العمل والندوات عبر الإنترنت والهاكاثون لموظفي Microsoft وعملائها وشركائها وطلابها. أنشأ الفريق أيضًا دورة تدريبية عبر الإنترنت حول أساسيات أمان الذكاء الاصطناعي، والتي تغطي أساسيات الذكاء الاصطناعي الخصوم وكيفية الدفاع ضد التهديدات المشتركة. الدورة متاحة مجانًا على موقع Microsoft Learn.
لا يعد فريق AI Red Team أحد الأصول القيمة لشركة Microsoft فحسب، بل يعد أيضًا رائدًا ورائدًا في مجال أمان الذكاء الاصطناعي الناشئ. من خلال البحث بشكل استباقي عن الثغرات الأمنية في أنظمة وتطبيقات Microsoft AI وإصلاحها، يساعد الفريق على ضمان أنها جديرة بالثقة وموثوقة ومرنة. ومن خلال مشاركة معارفهم وخبراتهم مع المجتمع الأوسع، يساعد الفريق في رفع مستوى سلامة الذكاء الاصطناعي عبر الصناعة.
أصبح الذكاء الاصطناعي (AI) متاحًا بشكل متزايد ومنتشر في حياتنا اليومية، وذلك بفضل التطور السريع والابتكار في الأدوات والمنصات المختلفة. من ChatGPT من OpenAI إلى Bard من Google، تسمح لنا أدوات الذكاء الاصطناعي التوليدية هذه بالإبداع والتواصل والتعاون بطرق جديدة ومثيرة. ومع ذلك، مع القوة العظيمة تأتي مسؤولية كبيرة.
كيف يمكننا التأكد من أن أنظمة الذكاء الاصطناعي هذه موثوقة وقوية وآمنة؟ كيف يمكننا منع الهجمات الضارة أو العواقب غير المقصودة من المساس بأدائها أو نزاهتها؟ هذه بعض الأسئلة التي يعمل عليها فريق متخصص في Microsoft منذ عام 2018.
الفريق، المسمى AI Red Team، مسؤول عن إجراء اختبارات وتحليلات تنافسية لمنصات الذكاء الاصطناعي، داخليًا وخارجيًا. ومن خلال محاكاة سيناريوهات وتحديات العالم الحقيقي، يهدف الفريق إلى تحديد نقاط الضعف والمخاطر المحتملة في أنظمة الذكاء الاصطناعي والتخفيف منها، بالإضافة إلى تقديم التوجيه وأفضل الممارسات لإنشاء حلول ذكاء اصطناعي أخلاقية وجديرة بالثقة.