Algoritma bias

Sebuah flow chart menunjukkan keputusan yang dibuat oleh mesin rekomendasi, ca 2001
Algoritma bias menggambarkan galat sistematis dan berulang dalam sistem komputer yang menciptakan hasil “tidak adil”, seperti “mengistimewakan” satu kategori di atas kategori lainnya dengan cara yang berbeda dari fungsi yang dimaksudkan dari algoritma.
Banyak faktor dapat menyebabkan bias, seperti desain algoritma atau penggunaan yang tidak disengaja atau tidak terduga; serta keputusan tentang cara data dikodekan, dikumpulkan, dipilih, atau digunakan untuk melatih algoritma. Sebagai contoh, hasil mesin pencari dan platform media sosial telah diamati memiliki algoritma bias. Bias ini dapat berdampak dari pelanggaran privasi yang tidak disengaja hingga memperkuat bias sosial terkait ras, gender, orientasi seksual, dan etnisitas. Studi tentang bias algoritmik terutama berfokus pada algoritma yang mencerminkan diskriminasi yang "sistematis dan tidak adil". Peraturan Perlindungan Data Umum Uni Eropa yang diusulkan pada tahun 2018 dan Undang-Undang Kecerdasan Buatan yang diusulkan pada tahun 2021 dan disetujui pada tahun 2024 adalah beberapa contoh undang-undang baru yang baru saja mulai menangani bias ini.
Semakin banyak algoritma yang dapat mengontrol perilaku, politik, institusi, dan masyarakat, sosiolog mulai khawatir tentang bagaimana hasil yang tidak terduga dan manipulasi data dapat memengaruhi dunia fisik. Sebagai akibat dari fenomena psikologis yang dikenal sebagai bias otomatisasi, algoritma dapat secara keliru menunjukkan otoritas yang lebih besar daripada keahlian manusia. Ini terjadi karena algoritma umumnya dianggap netral dan bebas bias. Dalam beberapa situasi, ketergantungan pada algoritma dapat berfungsi sebagai pengganti orang yang bertanggung jawab atas hasil yang dihasilkan. Ada kemungkinan bias masuk ke dalam sistem algoritmik karena ekspektasi sosial, budaya, atau institusional yang sudah ada sebelumnya; cara fitur dan label dipilih; kendala teknis dalam desain; atau penggunaan dalam situasi yang tidak terduga atau oleh audiens yang tidak diperhitungkan saat desain perangkat lunak dibuat.
Dalam berbagai situasi, mulai dari hasil pemilu hingga penyebaran ujaran kebencian secara daring, algoritma bias telah disebutkan. Selain itu, bias ini muncul di bidang peradilan pidana, layanan kesehatan, dan perekrutan, memperparah ketidaksetaraan rasial, sosial-ekonomi, dan gender yang sudah ada. Beberapa kasus penangkapan salah pria kulit hitam telah dikaitkan dengan teknologi pengenalan wajah yang kurang akurat untuk mengidentifikasi wajah berkulit gelap. Masalah ini berasal dari kumpulan data yang tidak seimbang. Karena sifat algoritma yang rahasia dan biasanya dianggap sebagai rahasia dagang, sulit untuk memahami, meneliti, dan mengungkap biasnya. Bahkan jika transparansi penuh diberikan, kompleksitas algoritma tertentu membuatnya sulit dipahami. Selain itu, algoritma memiliki kemampuan untuk mengubah atau merespons masukan atau keluaran dengan cara yang mudah direplikasi atau tidak dapat diprediksi. Bahkan antara pengguna layanan yang sama, seringkali tidak ada satu "algoritma" tunggal yang dapat diperiksa, melainkan jaringan program dan input data yang saling terkait.