Apakah perbedaan hasil prediksi antara dua kelompok etnis/gender dari algoritma penilaian kredit merupakan bias dalam proses pengumpulan data atau algoritma itu sendiri?

Saya berpendapat bahwa perbedaan dalam hasil penilaian kredit merupakan masalah data dan bias algoritmik. Mari kita periksa terlebih dahulu bias dalam dataset. Saya menganggap model itu sendiri sebagai kotak hitam yang menghasilkan output untuk memenuhi tujuan tertentu. Dalam kasus penilaian kredit, tujuan adalah akurasi, mengingat, dan presisi prediksi risiko default. Model dalam versi yang tidak terlatih tidak mendiskriminasi pekerja asing, wanita, atau orang muda: sebenarnya, ia tidak membayangkan label (yang dibangun secara sosial) ini seperti manusia. Dataset yang model dilatih penuh dengan bias yang dibangun secara sosial. Misalnya, norma-norma sosial yang menganggap perempuan sebagai pekerja yang tidak mampu, tidak dapat dipercaya, dan orang muda yang tidak berpengalaman, membatasi pengangguran yang lebih tinggi dan kehidupan yang lebih buruk bagi kelompok-kelompok manusia.