سوگیری الگوریتمی

**سوگیری الگوریتمی** (به انگلیسی: Algorithmic Bias) به خطاهای نظام‌مند و تکرارشونده در یک سیستم کامپیوتری یا هوش مصنوعی اطلاق می‌شود که منجر به تولید نتایج ناعادلانه، مانند امتیازدهی به یک گروه از کاربران به ضرر دیگران، می‌شود. این سوگیری زمانی رخ می‌دهد که یک الگوریتم، پیش‌داوری‌ها و نابرابری‌های موجود در داده‌هایی که بر اساس آن آموزش دیده یا در طراحی انسانی آن، را منعکس، تقویت یا خودکارسازی می‌کند.

برخلاف تصور عمومی که الگوریتم‌ها را موجودیت‌هایی عینی و بی‌طرف می‌داند، آن‌ها محصول انتخاب‌های انسانی و داده‌های تاریخی هستند و در نتیجه، می‌توانند سوگیری‌های انسانی و اجتماعی را در مقیاسی بسیار بزرگتر بازتولید کنند. سوگیری الگوریتمی یک مشکل فنی صرف نیست، بلکه یک چالش عمیق اجتماعی و اخلاقی است که می‌تواند به تبعیض در حوزه‌هایی مانند استخدام، عدالت کیفری، اعطای وام و مراقبت‌های بهداشتی منجر شود.

## منابع اصلی سوگیری الگوریتمی
سوگیری می‌تواند در مراحل مختلف طراحی و پیاده‌سازی یک سیستم هوش مصنوعی وارد شود:

### ۱. داده‌های آموزشی جانبدارانه (Biased Training Data)
این شایع‌ترین منبع سوگیری است. الگوریتم‌های یادگیری ماشین از طریق تحلیل حجم عظیمی از داده‌های تاریخی «یاد می‌گیرند». اگر این داده‌ها بازتاب‌دهنده نابرابری‌ها و پیش‌داوری‌های اجتماعی گذشته باشند، الگوریتم نیز همان سوگیری‌ها را به عنوان الگوهای معتبر شناسایی و در تصمیم‌گیری‌های آینده خود اعمال خواهد کرد.
* **مثال**: اگر یک الگوریتم استخدام بر روی سوابق استخدامی ۲۰ سال گذشته یک شرکت آموزش ببیند و در آن دوره اکثر مدیران مرد بوده‌اند، الگوریتم ممکن است به اشتباه نتیجه‌گیری کند که مرد بودن یکی از شاخص‌های کلیدی برای موفقیت است و در نتیجه، رزومه‌های متقاضیان زن شایسته را با امتیاز کمتری ارزیابی کند.

### ۲. طراحی الگوریتم و انتخاب ویژگی‌ها (Algorithm and Feature Selection)
تصمیماتی که توسط طراحان و مهندسان در مورد ساختار الگوریتم گرفته می‌شود، می‌تواند منبع سوگیری باشد. انتخاب اینکه چه متغیرها (ویژگی‌هایی) در مدل لحاظ شوند یا نشوند، تأثیر مستقیمی بر خروجی دارد.
* **مثال**: یک الگوریتم اعتبارسنجی بانکی ممکن است به طور مستقیم از «نژاد» به عنوان یک متغیر استفاده نکند، اما از متغیرهایی مانند «کد پستی» استفاده کند که به شدت با ترکیب نژادی محله‌ها همبستگی دارد. این استفاده از یک «متغیر جایگزین» (Proxy Variable) می‌تواند به تبعیض نژادی غیرمستقیم (Redlining) منجر شود.

### ۳. حلقه‌های بازخورد (Feedback Loops)
سوگیری الگوریتمی می‌تواند در یک چرخه معیوب، خود را تقویت کند. خروجی‌های یک سیستم سوگیرانه به عنوان داده‌های جدید به خود سیستم بازخورانده می‌شوند و سوگیری اولیه را تشدید می‌کنند.
* **مثال**: الگوریتم‌های پیشنهاد محتوا در شبکه‌های اجتماعی تمایل دارند محتوایی را به کاربر نشان دهند که مشابه محتوای قبلی اوست. این امر می‌تواند به سرعت کاربران را به سمت دیدگاه‌های افراطی سوق دهد، زیرا الگوریتم یاد می‌گیرد که محتوای جنجالی‌تر، تعامل بیشتری ایجاد می‌کند و در نتیجه، آن را بیشتر ترویج می‌دهد.

## نمونه‌های واقعی و پیامدها
* **عدالت کیفری:** نرم‌افزار COMPAS که در برخی دادگاه‌های آمریکا برای پیش‌بینی احتمال تکرار جرم توسط متهمان استفاده می‌شود، به طور مداوم نرخ ریسک بالاتری را برای متهمان سیاه‌پوست نسبت به سفیدپوستان پیش‌بینی می‌کند، حتی زمانی که سوابق کیفری مشابهی دارند.
* **استخدام:** در سال ۲۰۱۸ مشخص شد که شرکت آمازون یک ابزار استخدام مبتنی بر هوش مصنوعی را کنار گذاشته است، زیرا این سیستم به طور نظام‌مند علیه متقاضیان زن سوگیری داشت. دلیل آن این بود که الگوریتم بر اساس رزومه‌های دریافتی طی یک دوره ۱۰ ساله آموزش دیده بود که اکثر آن‌ها متعلق به مردان بود.
* **تشخیص پزشکی:** الگوریتم‌های تشخیص بیماری‌های پوستی که عمدتاً بر روی تصاویر پوست‌های روشن آموزش دیده‌اند، در تشخیص بیماری در افراد با پوست تیره‌تر عملکرد ضعیف‌تری از خود نشان می‌دهند.

## راهکارهای کاهش و مدیریت
مقابله با سوگیری الگوریتمی یک چالش پیچیده است، اما چندین رویکرد برای آن وجود دارد:
* **حسابرسی داده‌ها و الگوریتم‌ها (Data and Algorithm Auditing):** بررسی دقیق داده‌های آموزشی برای شناسایی و حذف سوگیری‌های آماری پیش از آموزش مدل. همچنین، آزمون خروجی‌های الگوریتم برای اطمینان از عملکرد عادلانه آن در میان گروه‌های جمعیتی مختلف.
* **معیارهای عدالت (Fairness Metrics):** تعریف و گنجاندن معیارهای ریاضیاتی «عدالت» در فرآیند بهینه‌سازی الگوریتم. برای مثال، اطمینان از اینکه نرخ مثبت کاذب (False Positive Rate) برای همه گروه‌ها یکسان باشد.
* **شفافیت و توضیح‌پذیری (Transparency and Explainability - XAI):** توسعه سیستم‌های هوش مصنوعی که قادر به توضیح منطق پشت تصمیمات خود باشند (اصطلاحاً مدل‌های «جعبه سفید» در مقابل «جعبه سیاه»). این امر امکان نظارت و مسئولیت‌پذیری را فراهم می‌کند.
* **تنوع در تیم‌های توسعه:** اطمینان از اینکه تیم‌های طراحی و توسعه هوش مصنوعی از پیشینه‌های متنوعی تشکیل شده‌اند تا بتوانند نقاط کور و سوگیری‌های بالقوه را در مراحل اولیه شناسایی کنند.

## پانویس

## منابع
* O'Neil, Cathy (2016). *Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy*. New York: Crown. ISBN 978-0553418811.
* Zuboff, Shoshana (2019). *The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power*. New York: PublicAffairs. ISBN 978-1610395694.
* Russell, Stuart J.; Norvig, Peter (2021). *Artificial Intelligence: A Modern Approach*. 4th ed. Hoboken, NJ: Pearson. ISBN 978-0134610993.

## جستارهای وابسته
* اخلاق هوش مصنوعی
* سوگیری نظام‌مند
* سواد هوش مصنوعی
* یادگیری ماشین
* تبعیض

رده:اخلاق اطلاعات
رده:تبعیض
رده:رایانش و جامعه
رده:سوگیری
رده:فلسفه هوش مصنوعی
رده:یادگیری ماشین