تعلم الآلة العدائي  تعلم الآلة العدائي هو دراسة الهجمات على خوارزميات تعلم الآلة والدفاعات ضد مثل هذه الهجمات. كشفت دراسة استقصائية حديثة حقيقة أن الممارسين أبلغوا عن حاجة ماسة لحماية أنظمة تعلم الآلة بشكل أفضل في التطبيقات الصناعية.   لفهم ، لاحظ أن معظم تقنيات تعلم الآلة مصممة في الغالب للعمل على مجموعات مشاكل محددة على افتراض أن بيانات التدريب والاختبار يتم إنشاؤها من نفس التوزيع الإحصائي ( IID ). ومع ذلك غالبًا ما يتم انتهاك هذا الافتراض بشكل خطير في التطبيقات العملية ذات الأهمية الكبيرة، حيث قد يقوم المستخدمون عمدًا بتزويد بيانات ملفقة تنتهك الافتراض الإحصائي.  تتضمن بعض نماذج التهديد الأكثر شيوعًا في تعلم الآلة العدائي هجمات المراوغة و هجمات تسمم البيانات والهجمات البيزنطية واستخراج النماذج.   في عام 2004 لاحظ نيليش داليفي وآخرون أن المصنفات الخطية المستخدمة في مرشحات البريد العشوائي يمكن هزيمتها من خلال "هجمات المراوغة " البسيطة حيث يقوم مرسلو البريد العشوائي بإدراج "كلمات جيدة" في رسائل البريد الإلكتروني العشوائية الخاصة بهم. (في حوالي عام 2007 ، أضاف بعض مرسلي البريد العشوائي تشويشًا عشوائيًا للكلمات المزعجة داخل "البريد العشوائي للصور" من أجل التغلب على عوامل التصفية المستندة إلى التعرف الضوئي على الحروف. ) في عام 2006 ، نشر ماركو بارينو وآخرون "هل يمكن أن يكون تعلم الآلة آمنًا؟" ، يحدد تصنيفًا واسعًا للهجمات. في أواخر عام 2013 ، واصل العديد من الباحثين الأمل في أن المصنفات غير الخطية (مثل آلات ناقلات الدعم والشبكات العصبية ) قد تكون قوية للخصوم ، إلى أن أظهر باتيستا بيجيو وآخرون الهجمات الأولى القائمة على التدرج على نماذج تعلم الآلة (2012). -2013 ). في عام 2012 ، بدأت الشبكات العصبية العميقة في السيطرة على مشاكل الرؤية الحاسوبية. بدءًا من عام 2014 ، أظهر كريستيان سيجيدي وآخرون أن الشبكات العصبية العميقة يمكن أن تنخدع من قبل الأعداء ، مرة أخرى باستخدام هجوم قائم على التدرج لصياغة الاضطرابات العدائية.   في الآونة الأخيرة لوحظ أن الهجمات العدائية يصعب إنتاجها في العالم العملي بسبب القيود البيئية المختلفة التي تلغي تأثير الضوضاء. على سبيل المثال ، أي دوران صغير أو إضاءة طفيفة على صورة معادية يمكن أن تدمر الخصومة. بالإضافة إلى ذلك ، يشير باحثون مثل نيكولاس فروست من Google Brain إلى أنه من الأسهل بكثير صنع سيارات ذاتية القيادة تفوت علامات التوقف عن طريق إزالة العلامة نفسها جسديًا ، بدلاً من إنشاء أمثلة معادية. يعتقد Frosst أيضًا أن مجتمع تعلم الآلة العدائي يفترض بشكل غير صحيح أن النماذج المدربة على توزيع معين للبيانات ستؤدي أيضًا بشكل جيد في توزيع مختلف تمامًا للبيانات. يقترح أنه يجب استكشاف نهج جديد للتعلم الآلي ، ويعمل حاليًا على شبكة عصبية فريدة لها خصائص تشبه الإدراك البشري أكثر من الأساليب الحديثة.   بينما لا يزال تعلم الآلة العدائي متجذرًا بشكل كبير في الأوساط الأكاديمية بدأت شركات التكنولوجيا الكبيرة مثل Google و Microsoft و IBM في تنسيق التوثيق وقواعد التعليمات البرمجية مفتوحة المصدر للسماح للآخرين بتقييم متانة نماذج تعلم الآلة وتقليل مخاطر العداء. الهجمات.   تشمل الأمثلة الهجمات على تصفية البريد العشوائي ، حيث يتم إخفاء الرسائل العشوائية من خلال الخطأ الإملائي للكلمات "السيئة" أو إدخال كلمات "جيدة" ؛ الهجمات في أمن الكمبيوتر ، مثل إخفاء شفرة البرامج الضارة داخل حزم الشبكة أو تعديل خصائص تدفق الشبكة لتضليل اكتشاف التسلل ؛ هجمات التعرف على القياسات الحيوية حيث يمكن استغلال سمات القياسات الحيوية المزيفة لانتحال شخصية مستخدم شرعي ؛ أو المساومة على معارض قوالب المستخدمين التي تتكيف مع السمات المحدثة بمرور الوقت.  أظهر الباحثون أنه من خلال تغيير بكسل واحد فقط كان من الممكن خداع خوارزميات التعلم العميق. قام آخرون بطباعة لعبة سلحفاة ثلاثية الأبعاد بنسيج مصمم هندسيًا لجعل اكتشاف الكائنات من Google يصنفها AI على أنها بندقية بغض النظر عن الزاوية التي شوهدت منها السلحفاة. يتطلب إنشاء السلحفاة تقنية طباعة ثلاثية الأبعاد منخفضة التكلفة ومتاحة تجاريًا.  تم عرض صورة معدلة آليًا لكلب على شكل قطة لكل من أجهزة الكمبيوتر والبشر. أفادت دراسة أجريت عام 2019 أنه يمكن للبشر تخمين كيفية تصنيف الآلات للصور العدائية. اكتشف الباحثون طرقًا للتشويش على مظهر علامة التوقف مثل أن تصنفها مركبة ذاتية القيادة على أنها علامة اندماج أو علامة حد للسرعة.   هاجم McAfee نظام Mobileye السابق لشركة Tesla ، وخدعه ليقود 50 ميل في الساعة فوق الحد الأقصى للسرعة ، وذلك ببساطة عن طريق إضافة شريط بطول بوصتين من الشريط الأسود إلى علامة حد السرعة.   أدت الأنماط العدائية على النظارات أو الملابس المصممة لخداع أنظمة التعرف على الوجه أو أجهزة قراءة لوحات الترخيص ، إلى صناعة متخصصة من "ملابس الشارع الخفية".   يمكن للهجوم العدائي على الشبكة العصبية أن يسمح للمهاجم بحقن الخوارزميات في النظام المستهدف. يمكن للباحثين أيضًا إنشاء مدخلات صوتية معادية لإخفاء الأوامر للمساعدين الأذكياء في صوت يبدو حميدًا ؛ يستكشف الأدب الموازي الإدراك البشري لمثل هذه المحفزات.  تستخدم خوارزميات التجميع في تطبيقات الأمن. يهدف تحليل البرامج الضارة وفيروسات الكمبيوتر إلى تحديد عائلات البرامج الضارة ، وإنشاء توقيعات كشف محددة.