لقد قام فريق مايكروسوفت للذكاء الاصطناعي الأحمر بالفعل بإعداد قضيته.
في مجال الأمن السيبراني (Microsoft)، الفريق الأحمر هو مجموعة من القراصنة الأخلاقيين الذين يحاكون الهجمات على أنظمة وشبكات المؤسسة لاختبار دفاعاتها وتحديد نقاط الضعف. أما الفريق الأزرق فهو مجموعة من المتخصصين في مجال الأمن الذين يتصدون لهجمات الفريق الأحمر ويحاولون تحسين الوضع الأمني للمؤسسة.
تستخدم مايكروسوفت الفرق الحمراء والزرقاء منذ سنوات لحماية منتجاتها وخدماتها، وكذلك بيانات عملائها وأصولهم. ولكن في السنوات الأخيرة، واجهت الشركة تحدياً جديداً: كيفية حماية أنظمة وتطبيقات الذكاء الاصطناعي (AI) الخاصة بها من الجهات الخبيثة التي قد تحاول استغلالها أو التلاعب بها أو تخريبها.
Es por eso que Microsoft creó el AI Red Team, un grupo dedicado de investigadores e ingenieros que se especializan en IA adversaria.
وتتمثل مهمتهم في إيجاد وإصلاح نقاط الضعف المحتملة في عروض الذكاء الاصطناعي التي تقدمها مايكروسوفت، مثل Azure Cognitive Services وBing وCortana وMicrosoft 365. كما أنهم يتعاونون مع فرق أخرى في جميع أنحاء الشركة لزيادة الوعي وتثقيف المطورين حول كيفية بناء أنظمة آمنة وقوية. حلول الذكاء الاصطناعي.
تم إطلاق الفريق الأحمر للذكاء الاصطناعي رسمياً في عام 2019، ولكن كان له بالفعل تأثير كبير على استراتيجية مايكروسوفت لأمن الذكاء الاصطناعي. إليك بعض الإنجازات والمبادرات التي حققها الفريق حتى الآن:
– أجرى الفريق الأحمر للذكاء الاصطناعي أكثر من 100 تقييم لمنتجات وخدمات الذكاء الاصطناعي من Microsoft، والتي تغطي جوانب مختلفة مثل خصوصية البيانات وسلامة النموذج ومتانة الخصوم والتفاعل بين الإنسان والذكاء الاصطناعي.
اكتشف الفريق وأبلغ عن عشرات المشاكل، بدءاً من الأخطاء البسيطة إلى الثغرات الحرجة، وساعد فرق المنتج على إصلاحها قبل أن يتمكن المهاجمون من استغلالها.
– طور الفريق الأحمر للذكاء الاصطناعي عدة أدوات وأطر عمل لأتمتة وتبسيط عملية اختبار أنظمة الذكاء الاصطناعي وتدقيقها. على سبيل المثال، أنشأ الفريق إطار عمل لتقييم المخاطر الأمنية للذكاء الاصطناعي (AISRA)، والذي يوفر منهجية موحدة وقائمة مرجعية لتقييم الوضع الأمني لأي نظام ذكاء اصطناعي.
أنشأ الفريق أيضاً منصة تشويش الذكاء الاصطناعي التي تستفيد من تقنيات التعلم الآلي لتوليد مدخلات وسيناريوهات خبيثة يمكن أن تؤدي إلى سلوك غير متوقع أو غير مرغوب فيه في نماذج الذكاء الاصطناعي.
– ساهم الفريق الأحمر للذكاء الاصطناعي في النهوض بمجال أبحاث الذكاء الاصطناعي العدائي من خلال نشر أوراق بحثية وتقديم عروض في المؤتمرات والمشاركة في المسابقات. على سبيل المثال، فاز الفريق بالعديد من الجوائز في مسابقة NeurIPS Adversarial Vision Challenge، وهي مسابقة عالمية تتحدى المشاركين في إنشاء مصنفات صور قوية يمكنها الصمود أمام هجمات الخصوم. كما نشر الفريق أيضاً أوراقاً بحثية حول مواضيع مثل الأمثلة العدائية والهجمات الخفية وسرقة النماذج والخصوصية التفاضلية.
– عزز الفريق الأحمر للذكاء الاصطناعي ثقافة الوعي الأمني والتعليم داخل Microsoft وخارجها. وقام الفريق بتنظيم وتقديم العديد من الدورات التدريبية وورش العمل والندوات عبر الإنترنت ومسابقات الهاكاثون لموظفي مايكروسوفت والعملاء والشركاء والطلاب. كما أنشأ الفريق أيضاً دورة تدريبية عبر الإنترنت حول أساسيات أمن الذكاء الاصطناعي تغطي أساسيات الذكاء الاصطناعي العدائي وكيفية الدفاع ضد التهديدات الشائعة. الدورة متاحة مجاناً على Microsoft Learn.
لا يُعد الفريق الأحمر للذكاء الاصطناعي أحد الأصول القيّمة لمايكروسوفت فحسب، بل هو أيضاً رائد وقائد في مجال أمن الذكاء الاصطناعي الناشئ. من خلال البحث الاستباقي عن الثغرات الأمنية في أنظمة وتطبيقات الذكاء الاصطناعي من Microsoft وإصلاحها، يساعد الفريق في ضمان موثوقيتها وموثوقيتها ومرونتها. ومن خلال مشاركة معارفه وخبراته مع المجتمع الأوسع، يساعد الفريق في رفع مستوى أمن الذكاء الاصطناعي في جميع أنحاء الصناعة.
أصبح الذكاء الاصطناعي (AI) متاحاً ومنتشراً في كل مكان في حياتنا اليومية، وذلك بفضل التطور والابتكار السريع للأدوات والمنصات المختلفة. من OpenAI’s ChatGPT إلى Google’s Bard، تتيح لنا أدوات الذكاء الاصطناعي التوليدية هذه إمكانية الإبداع والتواصل والتعاون بطرق جديدة ومثيرة. ومع ذلك، مع القوة الكبيرة تأتي مسؤولية كبيرة.
كيف يمكننا ضمان أن تكون أنظمة الذكاء الاصطناعي هذه موثوقة وقوية وآمنة؟ كيف يمكننا منع الهجمات الخبيثة أو العواقب غير المقصودة من المساس بأدائها أو سلامتها؟ هذه بعض الأسئلة التي يعمل عليها فريق متخصص في Microsoft منذ عام 2018.
ويتولى الفريق، الذي يُطلق عليه اسم الفريق الأحمر للذكاء الاصطناعي، مسؤولية إجراء اختبارات وتحليلات عدائية لمنصات الذكاء الاصطناعي، داخلياً وخارجياً. ويهدف الفريق، من خلال محاكاة سيناريوهات وتحديات العالم الحقيقي، إلى تحديد نقاط الضعف والمخاطر المحتملة في أنظمة الذكاء الاصطناعي والتخفيف من حدتها، بالإضافة إلى توفير التوجيهات وأفضل الممارسات لإنشاء حلول ذكاء اصطناعي أخلاقية وموثوقة.
