عدالت (یادگیری ماشینی)

عدالت در یادگیری ماشینی به تلاش های مختلف برای تصحیح algorithmic bias (تعصب الگوریتمی) در فرآیندهای تصمیم گیری خودکار بر اساس مدل های یادگیری ماشین اشاره دارد. همانطور که در مورد بسیاری از مفاهیم اخلاقی وجود دارد، تعاریف عدالت و تعصب همیشه بحث برانگیز است. به طور کلی، عدالت و تعصب وقتی مرتبط تلقی می شود که فرآیند تصمیم گیری بر زندگی افراد تأثیر می گذارد، به ویژه با توجه به مجموعه ای از متغیرهای حساس مانند جنسیت ، قومیت ، گرایش جنسی ، ناتوانی و غیره. در یادگیری ماشینی، مسئله algorithmic bias(تعصب الگوریتمی) به خوبی شناخته شده و به خوبی مطالعه شده است. نتایج ممکن است توسط طیفی از عوامل منحرف شود و بنابراین ممکن است با توجه به گروه‌ها یا افراد خاص ناعادلانه در نظر گرفته شود. یک مثال می تواند راهی باشد که سایت های رسانه های اجتماعی اخبار شخصی سازی شده را به مصرف کنندگان ارائه می کنند.

متن 
تحقیق در مورد عدالت در یادگیری ماشینی موضوع نسبتاً جدیدی است. در سال 2018، اکثر مقالات در این زمینه در سه سال گذشته منتشر شده بودند.  در همان سال،  AI Fairness 360 ،IBM را معرفی کرد، یک کتابخانه پایتون با چندین الگوریتم برای کاهش تعصب نرم‌افزار و افزایش عدالت آن   و فیس‌بوک استفاده خود را از ابزاری به نام جریان عدالت برای تشخیص تعصب در هوش مصنوعی خود عمومی کرد. اگر چه، کد منبع ابزار در دسترس نیست.  در سال 2019، گوگل مجموعه ای از ابزارها را در گیت‌هاب منتشر کرد تا اثرات عدالت را در بلندمدت بررسی کند.

اختلافات 

استفاده از تصمیم‌گیری الگوریتمی در نظام حقوقی یک حوزه قابل توجه مورد استفاده تحت بررسی بوده است. در سال 2014، اریک هولدر ، دادستان کل ایالات متحده، این نگرانی را مطرح کرد که روش‌های «ارزیابی ریسک» ممکن است بر عواملی که تحت کنترل متهم نیستند، مانند سطح تحصیلات یا پیشینه اقتصادی-اجتماعی آنها تمرکز نادرست داشته باشد.  یک گزارش تحقیقی که توسط پروپابلیکا در سال 2016 منتشر شد، ادعا کرد که نرم افزار COMPAS ، که به طور گسترده در دادگاه های ایالات متحده برای پیش بینی recidivism (تکرار جرم) استفاده می شود، تعصب نژادی است. این گزارش ادعا کرد که متهمان سیاهپوست تقریباً دو برابر بیشتر از متهمان سفیدپوست به‌طور نادرست به عنوان خطر بالاتر برچسب‌گذاری می‌شوند، در حالی که با متهمان سفیدپوست اشتباه معکوس را مرتکب می‌شوند.  تعصب نژادی و جنسیتی نیز در الگوریتم های تشخیص تصویر مورد توجه قرار گرفته است. مشخص شده است که تشخیص چهره و حرکت در دوربین‌ها، حالات صورت سوژه‌های غیرسفید را نادیده می‌گیرد یا اشتباه می‌گذارد.  در سال 2015، ویژگی برچسب‌گذاری خودکار در فلیکر و گوگل فوتوز برای برچسب‌گذاری سیاه‌پوستان با برچسب‌هایی مانند «حیوان» و «گوریل» پیدا شد.  یک مسابقه بین‌المللی زیبایی در سال 2016 که توسط یک الگوریتم هوش مصنوعی داوری شد ، مشخص شد که نسبت به افرادی با پوست روشن‌تر، احتمالاً به دلیل تعصب در داده‌های آموزشی، تعصب دارد.  مطالعه‌ای روی سه الگوریتم طبقه‌بندی جنسیتی تجاری در سال 2018 نشان داد که هر سه الگوریتم معمولاً در طبقه‌بندی مردان با پوست روشن دقیق‌ترین و بدترین در طبقه‌بندی زنان با پوست تیره هستند.

شاخص گروه عدالت 
در مسائل طبقه بندی، یک الگوریتم تابعی را برای پیش بینی یک مشخصه گسسته می آموزد ، متغیر هدف، از ویژگی های شناخته شده  است. به عنوان یک متغیر تصادفی گسسته مدل می کنیم که برخی از ویژگی های موجود یا به طور ضمنی رمزگذاری شده در  که به عنوان ویژگی های حساس (جنسیت، قومیت، گرایش جنسی و غیره) در نظر می گیریم. ).پیش بینی طبقه بندی کننده را در نهایت با  نشان می دهیم حال اجازه دهید سه معیار اصلی را برای ارزیابی عادل بودن یک طبقه‌بندی‌کننده را مشخص کنیم، یعنی اگر پیش‌بینی‌های آن تحت تأثیر برخی از این متغیرهای حساس قرار نگیرد.

استقلال(آزادی) 
 را اقناع استقلال متغیرهای تصادفی می گوییم اگر ویژگی های حساس  مشخصه  از نظر متغیر تصادفی مستقل از پیش بینی  هستند ، و ما می نویسیمهمچنین می توانیم این مفهوم را با فرمول زیر بیان کنیم:این بدان معنی است که نرخ طبقه بندی برای هر کلاس هدف برای افراد متعلق به گروه های مختلف با توجه به ویژگی های حساس برابر مشخصه  است.

با این حال می توان یک عبارت معادل دیگر برای استقلال با استفاده از مفهوم اطلاعات متقابل بین متغیرهای تصادفی ارائه داد که به این صورت تعریف شده است.در این فرمول،  آنتروپی متغیر تصادفی   است. سپس  اقناع استقلال است اگر  باشد.

یک آرامش احتمالی در تعریف استقلال شامل معرفی یک سستی مثبت است  و با این فرمول به دست می آید:در نهایت، یکی دیگر از آرامش‌های احتمالی نیاز است  باشد.

جدایی 
 را متغیرهای تصادفی اقناع جدایی می گوییم  اگر ویژگی های   حساس است از نظر آماری مستقل از پیش بینی   هستند با توجه به مقدار هدف  ، و ما می نویسیمهمچنین می توانیم این مفهوم را با فرمول زیر بیان کنیم:این بدان معنی است که تمام وابستگی تصمیم  روی ویژگی حساس  باید با وابستگی واقعی متغیر هدف واقعی  توجیه شود  .

عبارت معادل دیگر، در مورد نرخ هدف باینری، این است که نرخ مثبت واقعی و نرخ مثبت کاذب  برابر هستند (و بنابراین نرخ منفی کاذب و نرخ منفی واقعی برابر هستند) برای هر مقدار از ویژگی های حساس:یک تخفیف ممکن برای تعاریف داده شده این است که اجازه دهیم مقدار اختلاف بین نرخ‌ها عددی مثبت کمتر از یک سستی باشد.  ، به جای برابر با صفر.

</br>در برخی زمینه‌ها، جداسازی (ضریب جداسازی) در یک ماتریس درهم ریختگی ، اندازه‌گیری فاصله (در سطح معینی از امتیاز احتمال) بین درصد تجمعی پیش‌بینی‌شده منفی و درصد تجمعی پیش‌بینی‌شده مثبت است.

هر چه این ضریب تفکیک در یک مقدار امتیاز معین بیشتر باشد، مدل در تمایز بین مجموعه مثبت و منفی در یک برش احتمال خاص مؤثرتر است. به گفته مایز:  «اغلب در صنعت اعتبار مشاهده می شود که انتخاب معیارهای اعتبارسنجی به رویکرد مدل سازی بستگی دارد. به عنوان مثال، اگر روش مدل‌سازی پارامتری یا نیمه پارامتری باشد، اغلب از آزمون کولموگروف–اسمیرنف دو نمونه استفاده می‌شود. اگر مدل با روش‌های جستجوی اکتشافی یا تکراری مشتق شده باشد، معیار عملکرد مدل معمولاً <b id="mwkg">واگرایی</b> است. گزینه سوم ضریب تفکیک است. . . ضریب جداسازی، در مقایسه با دو روش دیگر، برای عملکرد مدل به‌عنوان معیاری  معقول‌تر به نظر می‌رسد، زیرا الگوی جداسازی یک مدل را منعکس می‌کند.

کفایت 
 را متغیرهای تصادفی اقناع کفایت می گوییم  اگر ویژگی های  حساس است از نظر آماری مستقل از مقدار هدف  هستند با توجه به پیش بینی  ، و ما می نویسیمهمچنین می توانیم این مفهوم را با فرمول زیر بیان کنیم:این بدان معنی است که احتمال حضور واقعی در هر یک از گروه ها برای دو فرد با ویژگی های حساس متفاوت برابر است، با توجه به اینکه پیش بینی شده بود که آنها به یک گروه تعلق دارند.

روابط بین تعاریف 
در نهایت، برخی از نتایج اصلی را که به سه تعریف ارائه شده در بالا مربوط می شود، خلاصه می کنیم:

 با فرض اینکه  باینری است، اگر  و  از نظر آماری مستقل نیستند و  و  از نظر آماری نیز مستقل نیستند، پس استقلال و جدایی هر دو نمی توانند برقرار باشند.
 اگر  به عنوان یک توزیع مشترک دارای احتمال مثبت برای تمام مقادیر ممکن است و  و  از نظر آماری مستقل نیستند، پس جدایی و کفایت هر دو نمی توانند برقرار باشند.

فرمول بندی ریاضی تعاریف عدالت گروهی

تعاریف اولیه 

بیشتر معیارهای آماری عدالت بر معیارهای مختلفی تکیه دارند، بنابراین ما با تعریف آنها شروع می کنیم. هنگام با یک طبقه‌بندی‌ باینری کار می کند، هم کلاس‌های پیش‌بینی‌شده و هم کلاس‌های واقعی می‌توانند دو مقدار داشته باشند: مثبت و منفی. اکنون اجازه دهید شروع به توضیح روابط ممکن مختلف بین نتیجه پیش‌بینی‌شده و واقعی کنیم: 

 مثبت واقعی (TP) : موردی که هم نتیجه پیش‌بینی‌شده و هم نتیجه واقعی در یک کلاس مثبت هستند.
 منفی واقعی (TN) : موردی که هم نتیجه پیش‌بینی‌شده و هم نتیجه واقعی به کلاس منفی نسبت داده می‌شوند.
 مثبت کاذب (FP) : موردی که پیش‌بینی می‌شود در یک کلاس مثبت که در نتیجه واقعی تخصیص داده می‌شود، به طبقه منفی می‌رسد.
 منفی کاذب (FN) : موردی که پیش‌بینی می‌شود در کلاس منفی با نتیجه واقعی باشد، در حالت مثبت است.

این روابط را می توان به راحتی با یک ماتریس درهم‌ریختگی نشان داد، جدولی که دقت یک مدل طبقه بندی را توصیف می کند. در این ماتریس، ستون ها و ردیف ها به ترتیب نمونه هایی از موارد پیش بینی شده و واقعی را نشان می دهند.

با استفاده از این روابط، می‌توانیم معیارهای متعددی را تعریف کنیم که بعداً می‌توان برای اندازه‌گیری عادلانه بودن یک الگوریتم استفاده کرد:

 مقدار پیش‌بینی‌شده مثبت (PPV) : کسری از موارد مثبت که از بین تمام پیش‌بینی‌های مثبت به درستی پیش‌بینی شده‌اند. معمولاً به آن دقت می گویند و نشان دهنده احتمال یک پیش بینی مثبت صحیح است. با فرمول زیر ارائه می شود:

 نرخ کشف نادرست (FDR) : کسری از پیش‌بینی‌های مثبت که در واقع از بین همه پیش‌بینی‌های مثبت منفی بودند. این احتمال یک پیش‌بینی مثبت اشتباه را نشان می‌دهد و با فرمول زیر ارائه می‌شود:

 ارزش پیش بینی شده منفی (NPV) : کسری از موارد منفی که از بین تمام پیش بینی های منفی به درستی پیش بینی شده اند. احتمال یک پیش‌بینی منفی صحیح را نشان می‌دهد و با فرمول زیر ارائه می‌شود:

 نرخ حذف نادرست (FOR) : کسری از پیش‌بینی‌های منفی که در واقع از بین همه پیش‌بینی‌های منفی مثبت بودند. احتمال یک پیش‌بینی منفی اشتباه را نشان می‌دهد و با فرمول زیر ارائه می‌شود:

 نرخ مثبت واقعی (TPR) : کسری از موارد مثبت که از بین همه موارد مثبت به درستی پیش‌بینی شده است. معمولاً از آن به عنوان حساسیت یا یادآوری یاد می شود و احتمال دسته بندی صحیح موضوعات مثبت را نشان می دهد. با این فرمول نشان داده می شود:

 نرخ منفی کاذب (FNR) : کسری از موارد مثبت که به اشتباه از بین همه موارد مثبت منفی پیش بینی شده است. احتمال دسته بندی نادرست موضوعات مثبت به عنوان موضوعات منفی را نشان می دهد و با این فرمول ارائه می شود:

 نرخ منفی واقعی (TNR) : کسری از موارد منفی که از بین همه موارد منفی به درستی پیش‌بینی شده است. این احتمال را نشان می دهد که موضوعات منفی به درستی طبقه بندی شوند و با فرمول ارائه می شود:

 نرخ مثبت کاذب (FPR) : کسری از موارد منفی که به اشتباه از بین همه موارد منفی مثبت پیش بینی شده است. احتمال دسته بندی نادرست موضوعات منفی به عنوان موضوعات مثبت را نشان می دهد و با این فرمول ارائه می شود:

معیارهای زیر را می توان معیارهای سه تعریف کلی ارائه شده در ابتدای این بخش یعنی استقلال ، جدایی و کفایت دانست . در جدول  سمت راست، روابط بین آنها را می بینیم.

برای تعریف دقیق این معیارها، همانطور که در Verma و همکاران انجام شد، آنها را به سه گروه بزرگ تقسیم می کنیم:  تعاریف بر اساس یک نتیجه پیش بینی شده، بر اساس نتایج پیش بینی شده و واقعی، و تعاریف بر اساس احتمالات پیش بینی شده و نتیجه واقعی.

ما با یک طبقه بندی کننده باینری و نماد زیر کار خواهیم کرد:  اشاره به نمره داده شده توسط طبقه بندی کننده است که احتمال قرار گرفتن یک موضوع خاص در کلاس مثبت یا منفی است.  نشان دهنده طبقه بندی نهایی پیش بینی شده توسط الگوریتم است و مقدار آن معمولاً از  مشتق می شود ، برای مثال زمانی مثبت خواهد بود که  بالاتر از یک آستانه مشخص باشد.  نشان دهنده نتیجه واقعی است، یعنی طبقه بندی واقعی فرد و در نهایت،  نشان دهنده ویژگی های حساس موضوعات است.

تعاریف بر اساس نتیجه پیش بینی شده 
تعاریف در این بخش برای توزیع های مختلف موضوعات بر یک نتیجه پیش بینی شده  تمرکز دارد . آنها ساده ترین و شهودی ترین مفاهیم عدالت هستند.

 برابری جمعیتی که به آن برابری آماری، برابری نرخ پذیرش و معیار نیز گفته می شود. یک طبقه‌بندی کننده این تعریف را برآورده می‌کند اگر آزمودنی‌های گروه‌های محافظت‌شده و محافظت‌نشده احتمال یکسانی برای انتساب به کلاس پیش‌بینی‌شده مثبت داشته باشند. این در صورتی است که فرمول زیر برآورده شود:

 برابری آماری مشروط اساساً شامل تعریف بالا است، اما فقط به زیر مجموعه ای از نمونه ها محدود می شود. در نماد ریاضی این خواهد بود:

تعاریف بر اساس نتایج پیش بینی شده و واقعی 
این تعاریف نه تنها نتیجه پیش بینی شده  را در نظر می گیرند بلکه آن را با نتیجه واقعی مقایسه کنید .

 برابری پیش بینی کننده که به آن نتیجه آزمون نیز گفته می شود. اگر افراد در گروه های محافظت شده و محافظت نشده دارای PPV برابر باشند، طبقه بندی کننده این تعریف را برآورده می کند. این در صورتی است که فرمول زیر برآورده شود:

 از نظر ریاضی، اگر یک طبقه‌بندی کننده دارای PPV برابر برای هر دو گروه باشد، FDR برابری نیز خواهد داشت که فرمول زیر را برآورده می‌کند:

 تعادل نرخ خطای مثبت کاذب ، که به آن برابری پیش بینی نیز گفته می شود. اگر افراد در گروه‌های محافظت‌شده و محافظت‌نشده دارای FPR یکسان باشند، یک طبقه‌بندی‌کننده این تعریف را برآورده می‌کند. این در صورتی است که فرمول زیر برآورده شود:

 از نظر ریاضی، اگر یک طبقه‌بندی کننده FPR برابر برای هر دو گروه داشته باشد، TNR برابر نیز خواهد داشت که فرمول زیر را برآورده می‌کند:

 تعادل نرخ خطا منفی کاذب ، همچنین به عنوان فرصت برابر نامیده می شود. اگر موضوعات در گروه های محافظت شده و محافظت نشده دارای FNR برابر باشند، یک طبقه بندی کننده این تعریف را برآورده می کند. این در صورتی است که فرمول زیر برآورده شود:

 از نظر ریاضی، اگر یک طبقه‌بندی کننده FNR برابر برای هر دو گروه داشته باشد، TPR برابر نیز خواهد داشت که فرمول زیر را برآورده می‌کند:

 شانس مساوی که به آن برابری دقت رویه مشروط و بدرفتاری نامتجانس نیز گفته می شود. یک طبقه‌بندی کننده این تعریف را برآورده می‌کند اگر افراد در گروه‌های محافظت‌شده و محافظت‌نشده دارای TPR برابر و FPR برابر باشند، که فرمول زیر را برآورده می‌کند:

 برابری دقت استفاده مشروط یک طبقه‌بندی کننده این تعریف را برآورده می‌کند اگر افراد در گروه‌های محافظت‌شده و محافظت‌نشده دارای PPV برابر و NPV برابر باشند، با فرمول:

 برابری دقت کلی یک طبقه‌بندی کننده این تعریف را برآورده می‌کند اگر موضوع در گروه‌های محافظت‌شده و محافظت‌نشده دقت پیش‌بینی برابری داشته باشد، یعنی احتمال اینکه موضوعی از یک کلاس به آن اختصاص داده شود. این در صورتی است که فرمول زیر را برآورده کند:

 برابری درمان یک طبقه‌بندی کننده این تعریف را برآورده می‌کند اگر افراد در گروه‌های محافظت‌شده و محافظت‌نشده نسبت برابری از FN و FP داشته باشند، که این فرمول را برآورده می‌کند:

تعاریف بر اساس احتمالات پیش بینی شده و نتیجه واقعی 
این تعاریف بر اساس نتیجه واقعی  است و امتیاز احتمال  پیش بینی شده.

 تست عدالت ، که به عنوان کالیبراسیون یا تطبیق فرکانس‌های شرطی نیز شناخته می‌شود. اگر افراد دارای امتیاز احتمال  پیش‌بینی‌شده یکسان باشند، طبقه‌بندی‌کننده این تعریف را برآورده می‌کند زمانی که به گروه محافظت شده یا محافظت نشده تعلق دارند، احتمال یکسانی برای طبقه بندی در کلاس مثبت دارند:

 چاه کالیبراسیون بسط تعریف قبلی است. بیان می کند که وقتی افراد داخل یا خارج از گروه محافظت شده امتیاز احتمال پیش بینی شده  یکسانی دارند آنها باید همان احتمال طبقه بندی در کلاس مثبت را داشته باشند و این احتمال باید برابر  باشد :

 تعادل برای کلاس مثبت یک طبقه‌بندی کننده این تعریف را برآورده می‌کند اگر آزمودنی‌های تشکیل‌دهنده کلاس مثبت از هر دو گروه محافظت‌شده و محافظت‌نشده دارای میانگین امتیاز احتمال پیش‌بینی‌شده  برابر باشند. این بدان معنی است که مقدار مورد انتظار امتیاز احتمال برای گروه های محافظت شده و محافظت نشده با نتیجه واقعی مثبت  یکسان است و فرمول زیر را برآورده می کند:

 تعادل برای کلاس منفی اگر آزمودنی‌های تشکیل‌دهنده کلاس منفی از هر دو گروه محافظت‌شده و محافظت‌نشده دارای میانگین امتیاز احتمالی پیش‌بینی‌شده  برابر باشند، طبقه‌بندی‌کننده این تعریف را برآورده می‌کند.  این بدان معناست که مقدار مورد انتظار امتیاز احتمال برای گروه های محافظت شده و محافظت نشده با پیامد واقعی منفی یکسان است و فرمول زیر را برآورده می کند:

در حال پردازش 
روش دیگر اصلاح سوگیری در زمان تمرین است. این را می توان با افزودن قیود به هدف بهینه سازی الگوریتم انجام داد.  این محدودیت‌ها الگوریتم را مجبور می‌کند تا با حفظ نرخ‌های یکسان اقدامات خاص برای گروه محافظت‌شده و بقیه افراد، عدالت را بهبود بخشد. برای مثال، می‌توانیم این شرط را به هدف الگوریتم اضافه کنیم که نرخ مثبت کاذب برای افراد در گروه محافظت شده و افراد خارج از گروه محافظت شده یکسان باشد.

معیارهای اصلی مورد استفاده در این رویکرد، نرخ مثبت کاذب، نرخ منفی کاذب و نرخ کلی طبقه‌بندی اشتباه است. می توان فقط یک یا چند مورد از این محدودیت ها را به هدف الگوریتم اضافه کرد. توجه داشته باشید که برابری نرخ های منفی کاذب به معنای برابری نرخ های مثبت واقعی است، بنابراین این به معنای برابری فرصت ها است. پس از افزودن محدودیت‌ها به مشکل، ممکن است مشکل حل نشدنی شود، بنابراین ممکن است به آرامش در مورد آنها نیاز باشد.

این تکنیک نتایج خوبی در بهبود عدالت و در عین حال حفظ دقت بالا به دست می آورد و به برنامه نویس اجازه می دهد اقدامات عادلانه را برای بهبود انتخاب کند. با این حال، هر کار یادگیری ماشینی ممکن است به روش متفاوتی برای اعمال نیاز داشته باشد و کد موجود در طبقه‌بندی‌کننده باید اصلاح شود، که همیشه امکان‌پذیر نیست.

بی طرفی خصمانه 
ما دو طبقه‌بندی‌کننده را همزمان از طریق برخی روش‌های مبتنی بر گرادیان (fe: gradient descent ) آموزش می‌دهیم. اولین مورد، پیش بینی کننده تلاش می کند تا وظیفه پیش بینی را انجام دهد، متغیر هدف  ، ورودی، با تغییر وزن  آن برای به حداقل رساندن برخی از تابع از دست دادن   داده شده است . مورد دوم، دشمن تلاش می کند تا وظیفه پیش بینی  را انجام دهد، متغیر حساس،   با تغییر وزن آن  برای به حداقل رساندن برخی از تابع از دست دادن  داده شده است.  

نکته مهم در اینجا این است که برای انتشار صحیح،  در بالا باید به خروجی خام طبقه‌بندی‌کننده اشاره داشته باشد، نه پیش‌بینی گسسته. به عنوان مثال، با یک شبکه عصبی مصنوعی و یک مشکل طبقه بندی،  می تواند به خروجی (تابع) بیشینه هموار اشاره کند.

سپس به روز می کنیم  را به حداقل رساندن  در هر مرحله آموزش با توجه به گرادیان  و ما  را اصلاح می کنیم با توجه به عبارت:جایی که  یک فراپارامتر قابل تنظیم است که می تواند در هر مرحله زمانی متفاوت باشد.

ایده شهودی این است که ما می‌خواهیم پیش‌بینی‌کننده سعی کند  (اصطلاح عبارت  )را به حداقل برساند  در حالی که، در همان زمان،   ( اصطلاح عبارت  )حداکثر است، بنابراین به طوری که دشمن در پیش بینی متغیر حساس از  است .

عبارت  مانع از حرکت پیش بینی کننده در جهتی می شود که به دشمن کمک می کند تا عملکرد ضرر خود را کاهش دهد.

می توان نشان داد که آموزش مدل طبقه بندی پیش بینی کننده با این الگوریتم، برابری جمعیت شناختی را نسبت به آموزش آن بدون حریف بهبود می بخشد.

پس پردازش 
روش نهایی سعی در تصحیح نتایج یک طبقه بندی برای دستیابی به عدالت را دارد. در این روش ما یک طبقه بندی داریم که برای هر فرد یک امتیاز برمی گرداند و باید برای آنها یک پیش بینی باینری انجام دهیم. نمرات بالا احتمالاً نتیجه مثبت دارند، در حالی که نمرات پایین احتمالاً یک نتیجه منفی دارند، اما ما می‌توانیم آستانه را تنظیم کنیم تا مشخص کنیم چه زمانی باید به صورت دلخواه پاسخ مثبت دهیم. توجه داشته باشید که تغییرات در مقدار آستانه بر مبادله بین نرخ های مثبت واقعی و منفی واقعی تأثیر می گذارد.

اگر تابع امتیاز عادلانه باشد به این معنا که مستقل از ویژگی محافظت شده باشد، در این صورت هر انتخاب آستانه نیز عادلانه خواهد بود، اما طبقه‌بندی‌کننده‌های این نوع تمایل به جانبداری دارند، بنابراین ممکن است آستانه متفاوتی برای هر گروه محافظت شده لازم باشد. برای رسیدن به عدالت  یک راه برای انجام این کار ترسیم نرخ مثبت واقعی در برابر نرخ منفی کاذب در تنظیمات آستانه های مختلف (به این منحنی ROC گفته می شود) و یافتن آستانه ای است که در آن نرخ برای گروه محافظت شده و سایر افراد برابر است. 

از مزایای پس پردازش می توان به این نکته اشاره کرد که این تکنیک می تواند بعد از هر طبقه بندی کننده، بدون تغییر آن اعمال شود و عملکرد خوبی در معیارهای عدالت دارد. معایب نیاز به دسترسی به ویژگی محافظت شده در زمان آزمایش و عدم انتخاب در تعادل بین دقت و عدالت است.

رد کردن طبقه بندی بر اساس گزینه 
با توجه به طبقه بندی اجازه دهید  احتمال محاسبه شده توسط طبقه بندی کننده ها به عنوان احتمالی باشد که نمونه  متعلق به کلاس مثبت + است. چه زمانی  نزدیک به 1 یا 0 است، نمونه  با درجه اطمینان بالا به ترتیب متعلق به کلاس + یا - مشخص شده است. با این حال، زمانی که  نزدیکتر به 0.5 است طبقه بندی نامشخص تر است. 

ما میگوییم  یک "مثال رد شده" است اگر  با معین  به طوری که  .

الگوریتم "ROC" شامل طبقه بندی نمونه های رد نشده طبق قانون بالا و نمونه های رد شده به شرح زیر است: اگر نمونه نمونه ای از یک گروه محروم باشد (  ) سپس آن را به عنوان مثبت و در غیر این صورت برچسب منفی بزنید.

ما می توانیم معیارهای مختلف تبعیض (پیوند) را به عنوان توابعی از  بهینه کنیم برای یافتن بهینه  برای هر مشکلی و اجتناب از تبعیض آمیز شدن علیه گروه ممتاز.

همچنین ببینید 

 تعصب الگوریتمی (Algorithmic bias)
 فراگیری ماشین

منابع 

سوگیری
تبعیض
فلسفه هوش مصنوعی
رایانش و جامعه
اخلاق اطلاعات
یادگیری ماشینی