Thiên vị thuật toán

Thiên vị thuật toán (Algorithmic bias) mô tả khuynh hướng có hại mang tính hệ thống và lặp lại trong một hệ thống kỹ thuật xã hội được máy tính hóa (có sự thiết kế, cài đặt, vận hành và can thiệp kỹ thuật), tạo ra những kết quả "không công bằng", chẳng hạn như "ưu tiên" một danh mục này hơn danh mục khác theo những cách khác với chức năng dự định của thuật toán. Thiên kiến có thể nảy sinh từ nhiều yếu tố, bao gồm nhưng không giới hạn ở thiết kế của thuật toán, hoặc việc sử dụng hay các quyết định ngoài ý muốn hoặc không lường trước liên quan đến cách dữ liệu được mã hóa, thu thập dữ liệu, lựa chọn hoặc sử dụng để huấn luyện thuật toán. Thiên kiến thuật toán đã được phát hiện thấy trong kết quả của công cụ tìm kiếm và các nền tảng mạng xã hội. Thiên kiến này có thể gây ra những tác động từ việc vô tình vi phạm quyền riêng tư đến việc củng cố các thiên kiến xã hội về chủng tộc, giới tính, tính dục và sắc tộc. Việc nghiên cứu về thiên kiến thuật toán quan tâm nhất đến các thuật toán phản ánh sự phân biệt đối xử "có hệ thống và không công bằng". Các nhà khoa học xã hội đương đại quan ngại về các quy trình thuật toán được nhúng vào các ứng dụng phần cứng và phần mềm do tác động chính trị và xã hội của chúng, và đặt câu hỏi về các giả định cơ bản về tính trung lập của thuật toán.
Đại cương
Khi các thuật toán mở rộng khả năng tổ chức xã hội, chính trị, thể chế và hành vi, các nhà xã hội học đã trở nên lo ngại về những cách mà đầu ra không lường trước và sự thao túng dữ liệu có thể tác động đến thế giới thuộc thể. Vì các thuật toán thường được coi là trung lập và không thiên vị, chúng có thể phóng chiếu một cách thiếu chính xác thẩm quyền lớn hơn so với chuyên môn của con người (một phần do hiện tượng tâm lý thiên kiến tự động hóa), và trong một số trường hợp, sự phụ thuộc vào thuật toán có thể thay thế trách nhiệm của con người đối với các kết quả của chúng, mà không có tư duy dặm cuối. Thiên kiến có thể xâm nhập vào các hệ thống thuật toán do những kỳ vọng văn hóa, xã hội hoặc thể chế đã tồn tại từ trước, do cách lựa chọn các đặc trưng và nhãn dữ liệu, do những hạn chế kỹ thuật trong thiết kế của chúng, hoặc do được sử dụng trong những bối cảnh không lường trước hoặc bởi những đối tượng không được cân nhắc trong thiết kế ban đầu của phần mềm. Thiên kiến thuật toán đã được trích dẫn trong các trường hợp từ kết quả bầu cử đến sự lan truyền của ngôn từ kích động thù địch trực tuyến.

Vấn đề thiên vị thuật toán cũng đã nảy sinh trong lĩnh vực tư pháp hình sự, chăm sóc sức khỏe và tuyển dụng, làm trầm trọng thêm các thiên kiến về chủng tộc, kinh tế xã hội và giới tính hiện hữu. Sự bất lực tương đối của công nghệ nhận diện khuôn mặt trong việc xác định chính xác các khuôn mặt có màu da tối hơn đã được cho là liên hệ gián tiếp tới nhiều vụ bắt giữ sai lầm đối với những người đàn ông da đen, một vấn đề bắt nguồn từ các bộ dữ liệu mất cân bằng. Các vấn đề trong việc hiểu, nghiên cứu và phát hiện thiên kiến thuật toán vẫn tồn tại do tính chất độc quyền của các thuật toán, vốn thường được coi là bí mật thương mại. Ngay cả khi sự minh bạch hoàn toàn được cung cấp, sự phức tạp của một số thuật toán nhất định cũng tạo ra rào cản đối với việc hiểu chức năng của chúng. Hơn nữa, các thuật toán có thể thay đổi, hoặc phản hồi lại đầu vào hoặc đầu ra theo những cách không thể lường trước hoặc dễ dàng tái tạo để phân tích. Trong nhiều trường hợp, ngay cả trong cùng một trang web hoặc ứng dụng, không có một "thuật toán" đơn lẻ nào để kiểm tra, mà là một mạng lưới gồm nhiều chương trình và đầu vào dữ liệu có liên quan lẫn nhau, ngay cả giữa những người dùng của cùng một dịch vụ. Một cuộc khảo sát năm 2021 đã xác định nhiều dạng thiên kiến thuật toán, bao gồm thiên kiến lịch sử, đại diện và đo lường, mỗi dạng đều có thể góp phần tạo ra các kết quả không công bằng.
Cách thức
Sự thiên vị có thể được cài vào một thuật toán theo nhiều cách. Trong quá trình tập hợp một bộ dữ liệu, dữ liệu có thể được thu thập, số hóa, thích ứng và nhập vào một cơ sở dữ liệu theo các tiêu chí phân loại do con người thiết kế. Tiếp theo, các lập trình viên chỉ định các mức độ ưu tiên, hoặc hệ thống phân cấp, cho cách một chương trình đánh giá và sắp xếp dữ liệu đó. Điều này đòi hỏi các quyết định của con người về cách dữ liệu được phân loại, và dữ liệu nào được bao gồm hoặc loại bỏ. Các thuật toán xác định việc phân bổ nguồn lực hoặc giám sát có thể vô tình phân biệt đối xử với một danh mục khi xác định rủi ro dựa trên những người dùng tương tự (như trong điểm tín dụng). Trong khi đó, các công cụ đề xuất hoạt động bằng cách liên kết người dùng với những người dùng tương tự, hoặc sử dụng các đặc điểm tiếp thị được suy luận, có thể dựa vào các liên kết không chính xác phản ánh các khuôn mẫu rộng lớn về sắc tộc, giới tính, kinh tế xã hội hoặc chủng tộc.

Một ví dụ khác đến từ việc xác định các tiêu chí cho những gì được bao gồm và loại trừ khỏi kết quả. Các tiêu chí này có thể trình bày những kết quả không lường trước cho các kết quả tìm kiếm, chẳng hạn như với phần mềm đề xuất chuyến bay bỏ qua các chuyến bay không tuân theo các đường bay của hãng hàng không tài trợ. Mặc dù các thuật toán được thiết kế tốt thường xác định các kết quả công bằng ngang bằng (hoặc hơn) so với các quyết định của con người, các trường hợp thiên kiến vẫn xảy ra, và rất khó để dự đoán và phân tích. Sự phức tạp của việc phân tích thiên kiến thuật toán đã tăng lên cùng với sự phức tạp của các chương trình và thiết kế của chúng. Thiên kiến cũng có thể tác động đến cách xã hội tự định hình xung quanh các điểm dữ liệu mà các thuật toán yêu cầu, nếu dữ liệu cho thấy số lượng vụ bắt giữ cao ở một khu vực cụ thể, một thuật toán có thể chỉ định nhiều đội tuần tra cảnh sát hơn đến khu vực đó, điều này có thể dẫn đến nhiều vụ bắt giữ hơn.
Các dạng
Thiên kiến tồn tại từ trước trong một thuật toán là hậu quả của các hệ tư tưởng xã hội và thể chế cơ bản. Những ý tưởng như vậy có thể ảnh hưởng hoặc tạo ra những thiên kiến cá nhân bên trong các nhà thiết kế hoặc lập trình viên riêng lẻ. Những định kiến như vậy có thể là rõ ràng và có ý thức, hoặc ngầm định và vô thức. Thiên kiến chính trị đề cập đến khuynh hướng của các thuật toán ủng hộ một cách có hệ thống các quan điểm chính trị, hệ tư tưởng hoặc kết quả nhất định hơn những cái khác. Các mô hình ngôn ngữ cũng có thể thể hiện thiên kiến chính trị. Vì dữ liệu huấn luyện bao gồm một loạt các ý kiến chính trị và phạm vi bao phủ, các mô hình có thể tạo ra các phản hồi nghiêng về các hệ tư tưởng hoặc quan điểm chính trị cụ thể, tùy thuộc vào mức độ phổ biến của những quan điểm đó trong dữ liệu. Thiên kiến thuật toán không chỉ bao gồm các danh mục được bảo vệ, mà cũng có thể liên quan đến các đặc điểm ít dễ quan sát hoặc mã hóa hơn, chẳng hạn như quan điểm chính trị. Trong những trường hợp này, hiếm khi có một sự thật cơ sở dễ tiếp cận hoặc không gây tranh cãi, và việc loại bỏ thiên kiến khỏi một hệ thống như vậy khó khăn hơn. Hơn nữa, các tương quan sai và ngẫu nhiên có thể nảy sinh từ sự thiếu hiểu biết về các danh mục được bảo vệ, ví dụ, tỷ lệ bảo hiểm dựa trên dữ liệu lịch sử về tai nạn ô tô có thể trùng lặp, hoàn toàn do ngẫu nhiên, với các cụm dân cư của các dân tộc thiểu số.

Với dữ liệu đầu vào được lựa chọn kém, hoặc đơn giản là dữ liệu từ một nguồn thiên lệch, sẽ ảnh hưởng đến kết quả do máy móc tạo ra. Việc mã hóa thiên kiến tồn tại từ trước vào phần mềm có thể bảo tồn thiên kiến xã hội và thể chế, và nếu không có sự sửa chữa, có thể được sao chép trong tất cả các lần sử dụng thuật toán đó trong tương lai. nảy sinh khi các biện pháp đại diện được sử dụng để huấn luyện thuật toán, tạo ra thiên kiến chống lại một số nhóm nhất định. Một thuật toán được sử dụng rộng rãi đã dự đoán chi phí chăm sóc sức khỏe như một đại diện cho nhu cầu chăm sóc sức khỏe, và sử dụng các dự đoán để phân bổ nguồn lực nhằm giúp đỡ các bệnh nhân có nhu cầu sức khỏe phức tạp. Điều này đã đưa vào thiên kiến vì bệnh nhân da đen có chi phí thấp hơn, ngay cả khi họ ốm yếu ngang bằng bệnh nhân da trắng. Các giải pháp cho "thiên kiến lựa chọn nhãn" nhằm mục đích khớp mục tiêu thực tế (những gì thuật toán đang dự đoán) chặt chẽ hơn với mục tiêu lý tưởng (những gì các nhà nghiên cứu muốn thuật toán dự đoán), vì vậy đối với ví dụ trước, thay vì dự đoán chi phí, các nhà nghiên cứu sẽ tập trung vào biến số nhu cầu chăm sóc sức khỏe vốn quan trọng hơn nhiều. Việc điều chỉnh mục tiêu đã dẫn đến việc số lượng bệnh nhân da đen được chọn cho chương trình tăng gần gấp đôi. Công trình của Luo và cộng sự Để đối phó với thiên kiến ngôn ngữ, một số nhà nghiên cứu lập luận về tầm quan trọng của việc thu thập dữ liệu ngôn ngữ địa phương để huấn luyện các hệ thống AI. Nhưng những người chỉ trích cách tiếp cận này lập luận rằng những cách thức khai thác như vậy có thể phục vụ lợi ích của công ty nhiều hơn là lợi ích của những người nói các ngôn ngữ địa phương đó.

Thiên kiến chủng tộc đề cập đến khuynh hướng của các mô hình học máy tạo ra các kết quả phân biệt đối xử hoặc rập khuôn một cách không công bằng đối với các cá nhân dựa trên chủng tộc hoặc sắc tộc. Thiên kiến này thường bắt nguồn từ dữ liệu huấn luyện, vốn được định hình bởi ý kiến, giả định và định kiến chủng tộc của con người. Những dữ liệu này dẫn đến việc các hệ thống AI tái tạo và khuếch đại sự phân biệt đối xử mang tính lịch sử và hệ thống. Chẵng hạn như các hệ thống AI được sử dụng trong tuyển dụng, thực thi pháp luật hoặc chăm sóc sức khỏe có thể gây bất lợi không tương xứng cho một số nhóm chủng tộc nhất định bằng cách củng cố các khuôn mẫu hiện có hoặc đại diện thấp cho họ trong các lĩnh vực quan trọng. Những thiên kiến như vậy có thể biểu hiện theo những cách như hệ thống nhận diện khuôn mặt nhận diện sai các cá nhân thuộc một số nền tảng chủng tộc nhất định hoặc thuật toán chăm sóc sức khỏe đánh giá thấp nhu cầu y tế của bệnh nhân thiểu số. Việc giải quyết thiên kiến chủng tộc đòi hỏi phải kiểm tra cẩn thận dữ liệu, cải thiện tính minh bạch trong các quy trình thuật toán và nỗ lực đảm bảo sự công bằng trong suốt vòng đời phát triển AI. Ngoài giới tính và chủng tộc, các mô hình có thể củng cố một loạt các khuôn mẫu bao gồm những khuôn mẫu dựa trên tuổi tác, quốc tịch, tôn giáo hoặc nghề nghiệp. Điều này có thể dẫn đến các đầu ra đồng nhất hóa, hoặc khái quát hóa một cách không công bằng hoặc biếm họa các nhóm người, đôi khi theo những cách ác ý, gây hại, hoặc xúc phạm.
Trở ngại
Các thuật toán thương mại là độc quyền và có thể được coi là bí mật thương mại. Chính vì điều này đã gây khó khăn cho các nhà nghiên cứu trong việc thực hiện các cuộc phỏng vấn hoặc phân tích để khám phá cách các thuật toán hoạt động. Các nhà phê bình cho rằng sự bí mật khuất tất như vậy cũng có thể che đậy các phương pháp phi đạo đức có thể được sử dụng trong việc sản xuất hoặc xử lý đầu ra thuật toán. Một rào cản đáng kể đối với việc hiểu cách giải quyết thiên kiến trong thực tế là các danh mục, chẳng hạn như nhân khẩu học của các cá nhân được bảo vệ từ luật chống phân biệt đối xử, thường không được xem xét rõ ràng khi thu thập và xử lý dữ liệu.

Trong một số trường hợp, có rất ít cơ hội để thu thập dữ liệu này một cách rõ ràng, chẳng hạn như trong lấy dấu vết thiết bị, điện toán phổ quát và Internet vạn vật. Trong các trường hợp khác, bộ điều khiển dữ liệu có thể không muốn thu thập dữ liệu như vậy vì lý do danh tiếng, hoặc vì nó thể hiện rủi ro trách nhiệm pháp lý và bảo mật cao hơn. Cũng có thể xảy ra trường hợp, ít nhất là liên quan đến Quy định chung về bảo vệ dữ liệu của Liên minh Châu Âu, dữ liệu như vậy thuộc các quy định về "danh mục đặc biệt" (Điều 9), và do đó đi kèm với nhiều hạn chế hơn về khả năng thu thập và xử lý. Một số người thực hành đã cố gắng ước tính và quy gán các phân loại nhạy cảm còn thiếu này để cho phép giảm thiểu thiên kiến, chẵng hạn như xây dựng các hệ thống để suy luận sắc tộc từ tên, tuy nhiên điều này có thể đưa vào các dạng thiên kiến khác nếu không được thực hiện cẩn thận. Các nhà nghiên cứu học máy đã dựa vào các công nghệ tăng cường quyền riêng tư một số mật mã chẳng hạn như tính toán đa bên an toàn để đề xuất các phương pháp theo đó thiên kiến thuật toán có thể được đánh giá hoặc giảm thiểu mà dữ liệu này không bao giờ có sẵn cho người lập mô hình dưới dạng văn bản rõ.
Chú thích

Tham khảo