عدالت (یادگیری ماشین) کیست؟ توضیح بده.
عدالت در یادگیری ماشین به تلاش‌های مختلف برای تصحیح (تعصب الگوریتمی) در فرآیندهای تصمیم‌گیری خودکار بر اساس مدل‌های یادگیری ماشین اشاره دارد. همان‌طور که در مورد بسیاری از مفاهیم اخلاقی وجود دارد، تعاریف عدالت و تعصب همیشه بحث‌برانگیز است. به‌طور کلی، عدالت و تعصب وقتی مرتبط تلقی می‌شود که فرایند تصمیم‌گیری بر زندگی افراد تأثیر می‌گذارد، به ویژه با توجه به مجموعه ای از متغیرهای حساس مانند جنسیت، قومیت، گرایش جنسی، ناتوانی و غیره. در یادگیری ماشین، مسئله (تعصب الگوریتمی) به خوبی شناخته شده و به خوبی مطالعه شده‌است. نتایج ممکن است توسط طیفی از عوامل منحرف شود و بنابراین ممکن است با توجه به گروه‌ها یا افراد خاص ناعادلانه در نظر گرفته شود. یک مثال می‌تواند راهی باشد که سایت‌های رسانه‌های اجتماعی اخبار شخصی‌سازی شده را به مصرف‌کنندگان ارائه می‌کنند.متن.تحقیق در مورد عدالت در یادگیری ماشینی موضوع نسبتاً جدیدی است. در سال ۲۰۱۸، اکثر مقالات در این زمینه در سه سال گذشته منتشر شده بودند. در همان سال، AI Fairness 360 ،IBM را معرفی کرد، یک کتابخانه پایتون با چندین الگوریتم برای کاهش تعصب نرم‌افزار و افزایش عدالت آن و فیس‌بوک استفاده خود را از ابزاری به نام جریان عدالت برای تشخیص تعصب در هوش مصنوعی خود عمومی کرد. اگر چه، کد منبع ابزار در دسترس نیست. در سال ۲۰۱۹، گوگل مجموعه ای از ابزارها را در گیت‌هاب منتشر کرد تا اثرات عدالت را در بلندمدت بررسی کند.اختلافات.استفاده از تصمیم‌گیری الگوریتمی در نظام حقوقی یک حوزه قابل توجه مورد استفاده تحت بررسی بوده‌است. در سال ۲۰۱۴، اریک هولدر، دادستان کل ایالات متحده، این نگرانی را مطرح کرد که روش‌های «ارزیابی ریسک» ممکن است بر عواملی که تحت کنترل متهم نیستند، مانند سطح تحصیلات یا پیشینه اقتصادی-اجتماعی آنها تمرکز نادرست داشته باشد. یک گزارش تحقیقی که توسط پروپابلیکا در سال ۲۰۱۶ منتشر شد، ادعا کرد که نرم‌افزار COMPAS، که به‌طور گسترده در دادگاه‌های ایالات متحده برای پیش‌بینی (تکرار جرم) استفاده می‌شود، تعصب نژادی است. این گزارش ادعا کرد که متهمان سیاهپوست تقریباً دو برابر بیشتر از متهمان سفیدپوست به‌طور نادرست به عنوان خطر بالاتر برچسب‌گذاری می‌شوند، در حالی که با متهمان سفیدپوست اشتباه معکوس را مرتکب می‌شوند. تعصب نژادی و جنسیتی نیز در الگوریتم‌های تشخیص تصویر مورد توجه قرار گرفته‌است. مشخص شده‌است که تشخیص چهره و حرکت در دوربین‌ها، حالات صورت سوژه‌های غیرسفید را نادیده می‌گیرد یا اشتباه می‌گذارد. در سال ۲۰۱۵، ویژگی برچسب‌گذاری خودکار در فلیکر و گوگل فوتوز برای برچسب‌گذاری سیاه‌پوستان با برچسب‌هایی مانند «حیوان» و «گوریل» پیدا شد. یک مسابقه بین‌المللی زیبایی در سال ۲۰۱۶ که توسط یک الگوریتم هوش مصنوعی داوری شد، مشخص شد که نسبت به افرادی با پوست روشن‌تر، احتمالاً به دلیل تعصب در داده‌های آموزشی، تعصب دارد. مطالعه‌ای روی سه الگوریتم طبقه‌بندی جنسیتی تجاری در سال ۲۰۱۸ نشان داد که هر سه الگوریتم معمولاً در طبقه‌بندی مردان با پوست روشن دقیق‌ترین و بدترین در طبقه‌بندی زنان با پوست تیره هستند.شاخص گروه عدالت.در مسائل طبقه‌بندی، یک الگوریتم تابعی را برای پیش‌بینی یک مشخصه formula_1گسسته می‌آموزد، متغیر هدف، از ویژگی‌های شناخته شده formula_2 است.formula_3 به عنوان یک متغیر تصادفی گسسته مدل می‌کنیم که برخی از ویژگی‌های موجود یا به‌طور ضمنی رمزگذاری شده در formula_2 که به عنوان ویژگی‌های حساس (جنسیت، قومیت، گرایش جنسی و غیره) در نظر می‌گیریم). پیش‌بینی طبقه‌بندی کننده را در نهایت با formula_5 نشان می‌دهیم حال اجازه دهید سه معیار اصلی را برای ارزیابی عادل بودن یک طبقه‌بندی‌کننده را مشخص کنیم، یعنی اگر پیش‌بینی‌های آن تحت تأثیر برخی از این متغیرهای حساس قرار نگیرد.استقلال (آزادی).formula_6 را اقناع استقلال متغیرهای تصادفی می‌گوییم اگر ویژگی‌های حساس مشخصه formula_3 از نظر متغیر تصادفی مستقل از پیش‌بینی formula_5 هستند، و ما می‌نویسیمformula_9همچنین می‌توانیم این مفهوم را با فرمول زیر بیان کنیم:formula_10این بدان معنی است که نرخ طبقه‌بندی برای هر کلاس هدف برای افراد متعلق به گروه‌های مختلف با توجه به ویژگی‌های حساس برابر مشخصه formula_11 است.با این حال می‌توان یک عبارت معادل دیگر برای استقلال با استفاده از مفهوم اطلاعات متقابل بین متغیرهای تصادفی ارائه داد که به این صورت تعریف شده‌است.formula_12در این فرمول، formula_13 آنتروپی متغیر تصادفی formula_14 است. سپس formula_15 اقناع استقلال است اگر formula_16 باشد.یک آرامش احتمالی در تعریف استقلال شامل معرفی یک سستی مثبت است formula_17 و با این فرمول به دست می‌آید:formula_18در نهایت، یکی دیگر از آرامش‌های احتمالی نیاز است formula_19 باشد.جدایی.formula_20 را متغیرهای تصادفی اقناع جدایی می‌گوییم اگر ویژگی‌های formula_3 حساس است از نظر آماری مستقل از پیش‌بینی formula_5 هستند با توجه به مقدار هدف formula_1 ، و ما می‌نویسیمformula_24همچنین می‌توانیم این مفهوم را با فرمول زیر بیان کنیم:formula_25این بدان معنی است که تمام وابستگی تصمیم formula_26 روی ویژگی حساس formula_11 باید با وابستگی واقعی متغیر هدف واقعی formula_28 توجیه شود.عبارت معادل دیگر، در مورد نرخ هدف باینری، این است که نرخ مثبت واقعی و نرخ مثبت کاذب برابر هستند (و بنابراین نرخ منفی کاذب و نرخ منفی واقعی برابر هستند) برای هر مقدار از ویژگی‌های حساس:formula_29formula_30یک تخفیف ممکن برای تعاریف داده شده این است که اجازه دهیم مقدار اختلاف بین نرخ‌ها عددی مثبت کمتر از یک سستی باشد. formula_17 ، به جای برابر با صفر.در برخی زمینه‌ها، جداسازی (ضریب جداسازی) در یک ماتریس درهم ریختگی، اندازه‌گیری فاصله (در سطح معینی از امتیاز احتمال) بین درصد تجمعی "پیش‌بینی‌شده" منفی و درصد تجمعی "پیش‌بینی‌شده" مثبت است.هر چه این ضریب تفکیک در یک مقدار امتیاز معین بیشتر باشد، مدل در تمایز بین مجموعه مثبت و منفی در یک برش احتمال خاص مؤثرتر است. به گفته مایز: «اغلب در صنعت اعتبار مشاهده می‌شود که انتخاب معیارهای اعتبارسنجی به رویکرد مدل‌سازی بستگی دارد. به عنوان مثال، اگر روش مدل‌سازی پارامتری یا نیمه پارامتری باشد، اغلب از آزمون کولموگروف–اسمیرنف دو نمونه استفاده می‌شود. اگر مدل با روش‌های جستجوی اکتشافی یا تکراری مشتق شده باشد، معیار عملکرد مدل معمولاً واگرایی است. گزینه سوم ضریب تفکیک است. . . ضریب جداسازی، در مقایسه با دو روش دیگر، برای عملکرد مدل به‌عنوان معیاری معقول‌تر به نظر می‌رسد، زیرا الگوی جداسازی یک مدل را منعکس می‌کند.کفایت.formula_20 را متغیرهای تصادفی اقناع کفایت می‌گوییم اگر ویژگی‌های formula_3 حساس است از نظر آماری مستقل از مقدار هدف formula_1 هستند با توجه به پیش‌بینی formula_5 ، و ما می‌نویسیمformula_36همچنین می‌توانیم این مفهوم را با فرمول زیر بیان کنیم:formula_37این بدان معنی است که احتمال حضور واقعی در هر یک از گروه‌ها برای دو فرد با ویژگی‌های حساس متفاوت برابر است، با توجه به اینکه پیش‌بینی شده بود که آنها به یک گروه تعلق دارند.روابط بین تعاریف.در نهایت، برخی از نتایج اصلی را که به سه تعریف ارائه شده در بالا مربوط می‌شود، خلاصه می‌کنیم:فرمول بندی ریاضی تعاریف عدالت گروهی.تعاریف اولیه.بیشتر معیارهای آماری عدالت بر معیارهای مختلفی تکیه دارند، بنابراین ما با تعریف آنها شروع می‌کنیم. هنگام با یک طبقه‌بندی باینری کار می‌کند، هم کلاس‌های پیش‌بینی‌شده و هم کلاس‌های واقعی می‌توانند دو مقدار داشته باشند: مثبت و منفی. اکنون اجازه دهید شروع به توضیح روابط ممکن مختلف بین نتیجه پیش‌بینی‌شده و واقعی کنیم:این روابط را می‌توان به راحتی با یک ماتریس درهم‌ریختگی نشان داد، جدولی که دقت یک مدل طبقه‌بندی را توصیف می‌کند. در این ماتریس، ستون‌ها و ردیف‌ها به ترتیب نمونه‌هایی از موارد پیش‌بینی شده و واقعی را نشان می‌دهند.با استفاده از این روابط، می‌توانیم معیارهای متعددی را تعریف کنیم که بعداً می‌توان برای اندازه‌گیری عادلانه بودن یک الگوریتم استفاده کرد:formula_46formula_47formula_48formula_49formula_50formula_51formula_52formula_53معیارهای زیر را می‌توان معیارهای سه تعریف کلی ارائه شده در ابتدای این بخش یعنی استقلال، جدایی و کفایت دانست. در جدول سمت راست، روابط بین آنها را می‌بینیم.برای تعریف دقیق این معیارها، همان‌طور که در Verma و همکاران انجام شد، آنها را به سه گروه بزرگ تقسیم می‌کنیم: تعاریف بر اساس یک نتیجه پیش‌بینی شده، بر اساس نتایج پیش‌بینی شده و واقعی، و تعاریف بر اساس احتمالات پیش‌بینی شده و نتیجه واقعی.ما با یک طبقه‌بندی کننده باینری و نماد زیر کار خواهیم کرد: formula_54 اشاره به نمره داده شده توسط طبقه‌بندی کننده است که احتمال قرار گرفتن یک موضوع خاص در کلاس مثبت یا منفی است. formula_5 نشان دهنده طبقه‌بندی نهایی پیش‌بینی شده توسط الگوریتم است و مقدار آن معمولاً از formula_54 مشتق می‌شود، برای مثال زمانی مثبت خواهد بود که formula_54 بالاتر از یک آستانه مشخص باشد. formula_1 نشان دهنده نتیجه واقعی است، یعنی طبقه‌بندی واقعی فرد و در نهایت، formula_3 نشان دهنده ویژگی‌های حساس موضوعات است.تعاریف بر اساس نتیجه پیش‌بینی شده.تعاریف در این بخش برای توزیع‌های مختلف موضوعات بر یک نتیجه پیش‌بینی شده formula_5 تمرکز دارد. آنها ساده‌ترین و شهودی‌ترین مفاهیم عدالت هستند.formula_61formula_62تعاریف بر اساس نتایج پیش‌بینی شده و واقعی.این تعاریف نه تنها نتیجه پیش‌بینی شده formula_5 را در نظر می‌گیرند بلکه آن را با نتیجه واقعیformula_1 مقایسه کنید.formula_65formula_66formula_67formula_68formula_69formula_70formula_71formula_72formula_73formula_74تعاریف بر اساس احتمالات پیش‌بینی شده و نتیجه واقعی.این تعاریف بر اساس نتیجه واقعی formula_1 است و امتیاز احتمال formula_54 پیش‌بینی شده.formula_78formula_81formula_84formula_87در حال پردازش.روش دیگر اصلاح سوگیری در زمان تمرین است. این را می‌توان با افزودن قیود به هدف بهینه‌سازی الگوریتم انجام داد. این محدودیت‌ها الگوریتم را مجبور می‌کند تا با حفظ نرخ‌های یکسان اقدامات خاص برای گروه محافظت‌شده و بقیه افراد، عدالت را بهبود بخشد. برای مثال، می‌توانیم این شرط را به هدف الگوریتم اضافه کنیم که نرخ مثبت کاذب برای افراد در گروه محافظت شده و افراد خارج از گروه محافظت شده یکسان باشد.معیارهای اصلی مورد استفاده در این رویکرد، نرخ مثبت کاذب، نرخ منفی کاذب و نرخ کلی طبقه‌بندی اشتباه است. می‌توان فقط یک یا چند مورد از این محدودیت‌ها را به هدف الگوریتم اضافه کرد. توجه داشته باشید که برابری نرخ‌های منفی کاذب به معنای برابری نرخ‌های مثبت واقعی است، بنابراین این به معنای برابری فرصت‌ها است. پس از افزودن محدودیت‌ها به مشکل، ممکن است مشکل حل نشدنی شود، بنابراین ممکن است به آرامش در مورد آنها نیاز باشد.این تکنیک نتایج خوبی در بهبود عدالت و در عین حال حفظ دقت بالا به دست می‌آورد و به برنامه‌نویس اجازه می‌دهد اقدامات عادلانه را برای بهبود انتخاب کند. با این حال، هر کار یادگیری ماشینی ممکن است به روش متفاوتی برای اعمال نیاز داشته باشد و کد موجود در طبقه‌بندی‌کننده باید اصلاح شود، که همیشه امکان‌پذیر نیست.بی‌طرفی خصمانه.ما دو "طبقه‌بندی‌کننده را همزمان از طریق برخی روش‌های مبتنی بر گرادیان (fe: gradient descent) آموزش می‌دهیم. اولین مورد، "پیش‌بینی کننده" تلاش می‌کند تا وظیفه پیش‌بینیformula_1 را انجام دهد، متغیر هدف formula_2 ، ورودی، با تغییر وزن formula_90 آن برای به حداقل رساندن برخی از تابع از دست دادن formula_91 داده شده‌است. مورد دوم، "دشمن" تلاش می‌کند تا وظیفه پیش‌بینی formula_3 را انجام دهد، متغیر حساس، formula_93 با تغییر وزن آن formula_94 برای به حداقل رساندن برخی از تابع از دست دادن formula_95 داده شده‌است.نکته مهم در اینجا این است که برای انتشار صحیح، formula_93 در بالا باید به خروجی خام طبقه‌بندی‌کننده اشاره داشته باشد، نه پیش‌بینی گسسته. به عنوان مثال، با یک شبکه عصبی مصنوعی و یک مشکل طبقه‌بندی، formula_93 می‌تواند به خروجی (تابع) بیشینه هموار اشاره کند.سپس به روز می‌کنیم formula_94 را به حداقل رساندن formula_99 در هر مرحله آموزش با توجه به گرادیان formula_100 و ما formula_90 را اصلاح می‌کنیم با توجه به عبارت:formula_102جایی که formula_103 یک فراپارامتر قابل تنظیم است که می‌تواند در هر مرحله زمانی متفاوت باشد.ایده شهودی این است که ما می‌خواهیم "پیش‌بینی‌کننده" سعی کند formula_104 (اصطلاح عبارت formula_105)را به حداقل برساند در حالی که، در همان زمان، formula_99 (اصطلاح عبارت formula_107)حداکثر است، بنابراین به طوری که "دشمن" در پیش‌بینی متغیر حساس از formula_93 است.عبارت formula_109 مانع از حرکت "پیش‌بینی کننده" در جهتی می‌شود که به "دشمن" کمک می‌کند تا عملکرد ضرر خود را کاهش دهد.می‌توان نشان داد که آموزش مدل طبقه‌بندی "پیش‌بینی کننده" با این الگوریتم، برابری جمعیت شناختی را نسبت به آموزش آن بدون "حریف" بهبود می‌بخشد.پس پردازش.روش نهایی سعی در تصحیح نتایج یک طبقه‌بندی برای دستیابی به عدالت را دارد. در این روش ما یک طبقه‌بندی داریم که برای هر فرد یک امتیاز برمی‌گرداند و باید برای آنها یک پیش‌بینی باینری انجام دهیم. نمرات بالا احتمالاً نتیجه مثبت دارند، در حالی که نمرات پایین احتمالاً یک نتیجه منفی دارند، اما ما می‌توانیم آستانه را تنظیم کنیم تا مشخص کنیم چه زمانی باید به صورت دلخواه پاسخ مثبت دهیم. توجه داشته باشید که تغییرات در مقدار آستانه بر مبادله بین نرخ‌های مثبت واقعی و منفی واقعی تأثیر می‌گذارد.اگر تابع امتیاز عادلانه باشد به این معنا که مستقل از ویژگی محافظت شده باشد، در این صورت هر انتخاب آستانه نیز عادلانه خواهد بود، اما طبقه‌بندی‌کننده‌های این نوع تمایل به جانبداری دارند، بنابراین ممکن است آستانه متفاوتی برای هر گروه محافظت شده لازم باشد. برای رسیدن به عدالت یک راه برای انجام این کار ترسیم نرخ مثبت واقعی در برابر نرخ منفی کاذب در تنظیمات آستانه‌های مختلف (به این منحنی ROC گفته می‌شود) و یافتن آستانه ای است که در آن نرخ برای گروه محافظت شده و سایر افراد برابر است.از مزایای پس پردازش می‌توان به این نکته اشاره کرد که این تکنیک می‌تواند بعد از هر طبقه‌بندی کننده، بدون تغییر آن اعمال شود و عملکرد خوبی در معیارهای عدالت دارد. معایب نیاز به دسترسی به ویژگی محافظت شده در زمان آزمایش و عدم انتخاب در تعادل بین دقت و عدالت است.رد کردن طبقه‌بندی بر اساس گزینه.با توجه به طبقه‌بندی اجازه دهید formula_110 احتمال محاسبه شده توسط طبقه‌بندی کننده‌ها به عنوان احتمالی باشد که نمونه formula_2 متعلق به کلاس مثبت + است. چه زمانی formula_110 نزدیک به ۱ یا ۰ است، نمونه formula_2 با درجه اطمینان بالا به ترتیب متعلق به کلاس + یا - مشخص شده‌است. با این حال، زمانی که formula_110 نزدیکتر به ۰٫۵ است طبقه‌بندی نامشخص تر است.ما می‌گوییم formula_2 یک "مثال رد شده" است اگر formula_116 با معین formula_117 به طوری که formula_118 .الگوریتم "ROC" شامل طبقه‌بندی نمونه‌های رد نشده طبق قانون بالا و نمونه‌های رد شده به شرح زیر است: اگر نمونه نمونه ای از یک گروه محروم باشد (formula_119) سپس آن را به عنوان مثبت و در غیر این صورت برچسب منفی بزنید.ما می‌توانیم معیارهای مختلف تبعیض (پیوند) را به عنوان توابعی از formula_117 بهینه کنیم برای یافتن بهینه formula_117 برای هر مشکلی و اجتناب از تبعیض آمیز شدن علیه گروه ممتاز.