Nesgo algorítmico

O nesgo algorítmico ocorre cando un sistema informático reflicte os valores dos humanos que están implicados na codificación e recolección de datos usados para adestrar o algoritmo. O nesgo algorítmico pódese atopar en todos lados, como nos resultados dos motores de procura ou nas redes sociais e poden ter un grande impacto en temas como a privacidade ou agravar nesgos sociais como os existentes respecto a razas, xénero, sexualidade ou etnias. O estudo do nesgo algorítmico esta enfocado sobre todo en algoritmos que reflicten "discriminación sistemática e inxusta". Este tipo de nesgos empezaron a ser tidos en conta en marcos legais recentemente, como o Regulamento xeral de protección de datos xerais da Unión Europea en 2018. Tan pronto como os algoritmos expanden a súa capacidade de organizar a sociedade, a política, as institucións, e o comportamento, a socioloxía empezou a preocuparse coas maneiras en que os resultados non previstos e a manipulación de datos poden impactar no mundo físico. Como os algoritmos son a miúdo considerados neutros e sen nesgos, pode parecer que son mellores que os propios humanos, e nalgúns casos, relevar traballo nun algoritmo pode reducir o control humano sobre os resultados. Os nesgos poden repercutir nos algoritmos tendo como orixe influencias culturais, sociais, ou institucionais; debido a limitacións técnicas do seu deseño; ou por ser utilizado en contextos non esperados nun principio ou por usuarios que non se consideraron no deseño inicial do software. Os nesgos algorítmicos afectaron a temas como os resultados das eleccións. Os problemas de comprensión, investigación, e descubrimento de nesgos nos algoritmos proveñen da natureza destes, xa que os propietarios non adoitan deixar acceder á súa implementación, e aínda que fose así, moitas veces son demasiado complexos para entender como funcionan. Ademais, os algoritmos poden cambiar, ou responder a diferentes entradas de maneiras que non poden ser previstas ou facilmente reproducidas para a súa análise. En moitos casos, mesmo dentro dun só sitio web ou aplicación, non hai un só algoritmo para examinar, se non un conxunto de procesos e entradas de datos interrelacionados. Definicións
Os algoritmos son difíciles de definir, pero pódense entender como conxuntos de instrucións dentro dun computador que determinan como estes programas len, recollen, procesan, e analizan datos para xerar unha saída lexible. Os computadores máis novos poden procesar millóns destas instrucións algorítmicas por segundo, o cal impulsou o deseño e adopción de tecnoloxías como machine learning e intelixencia artificial. Analizando e procesando datos, os algoritmos son o corazón dos motores de procura, redes sociais, motores de recomendación, venda ao detalle en liña, publicidade en liña, e outros.
A ciencia social contemporánea está preocupada polos procesos algorítmicos incluídos no hardware e software debido ao seu impacto político e social, e cuestionan a suposición de que un algoritmo é neutral. ​ O termo nesgo algorítmico describe erros sistemáticos e repetidos que crean resultados inxustos, como dar privilexios a un grupo de usuarios por encima outros de forma arbitraria. Por exemplo, un algoritmo de puntuación de crédito pode negar un préstamo sen ser inxusto, se se fixa unicamente en criterios financeiros pertinentes. Se o algoritmo recomenda préstamos a un grupo de usuarios, pero nega préstamos a outro conxunto de usuarios case idénticos baseándose en criterios non relacionados, e se este comportamento pódese repetir en distintas ocasións, pódese dicir que é un algoritmo con nesgos. Estes nesgos poden ser intencionados ou involuntarios. Métodos
O nesgo pode ser introducido a un algoritmo de varias maneiras. Durante a montaxe dunha base de datos, o dato ten que ser recolleito, dixitalizado, adaptado, e introducido segundo un deseño humano. Logo, os programadores asignan prioridades, ou xerarquías, sobre como un programa avalía e ordena os datos. Isto require decisións humanas sobre como o dato é categorizado, e que dato é incluído ou descartado. Algúns algoritmos recollen os seus propios datos baseados en criterios de selección humanos, os cales tamén poden reflectir rumbos dos deseñadores. Outros algoritmos poden reforzar estereotipos e preferencias cando procesan e mostran datos relevantes para os humanos, por exemplo, ao seleccionar información baseada en eleccións anteriores dun usuario ou grupo de usuarios similares. ​ Máis aló de reunir e procesar datos, os nesgos poden xurdir como resultado do deseño. ​ Por exemplo, algoritmos que usan ordenación nos datos, aqueles que determinan a asignación de recursos ou escrutinio, ou os que clasifican e identifican usuarios, os cales poden discriminar a un grupo cando calculan o risco baseado en datos de usuarios similares. Doutra banda, os motores de recomendación que asocian aos usuarios con outros usuarios similares, ou que inferen diferentes trazos, poderían confiar en datos inexactos que reflicten estereotipos étnicos, de xénero, socio-económicos ou raciais. Outro exemplo xurdiría de determinar os criterios que din que incluír e excluír dos resultados. Estes criterios poderían provocar resultados inesperados nas procuras, como un software de recomendacións de compañías de voos que omite os voos de compañías que non se patrocinan igual que o resto. ​ Os algoritmos tamén poden mostrar un rumbo de incerteza, ofrecendo valoracións máis seguras cando os conxuntos de datos son máis grandes. Isto pode afectar a procesos algorítmicos que analizan mostras moi grandes, que fan ignórense os datos de poboacións pouco representadas. Historia
Críticas iniciais
Os primeiros programas de computador foron deseñados para imitar o razoamento e as deducións humanas, e considerouse que funcionaban cando chegaron a reproducir esa lóxica humana de maneira exitosa e consistente. No seu libro de 1976 (Computer Power and Human Reason), o pioneiro da Intelixencia Artificial Joseph Weizenbaum suxeriu que o rumbo podería xurdir tanto dos datos utilizados nun programa como da forma en que se implementa un programa. Weizenbaum describiu os programas como secuencias de regras creadas por humanos para que as siga unha computadora. Ao seguir esas regras consistentemente, tales programas "encarnan a lei", é dicir, fan cumprir unha forma específica de resolver problemas. As regras que segue unha computadora baséanse nas suposicións dun programador sobre como se poden resolver estes problemas. Isto significa que o código podería incorporar a imaxinación do programador e as súas ideas de como funciona o mundo, incluíndo os seus prexuízos e expectativas. Mentres que un programa pode incorporar prexuízos desta maneira, Weizenbaum tamén sinalou que calquera dato alimentado a unha máquina reflicte adicionalmente os "procesos humanos de toma de decisións" a medida que se van seleccionando os datos. Finalmente, sinalou que as máquinas tamén poderían transmitir boa información con consecuencias imprevistas se os usuarios non teñen claro como interpretar os resultados. 19​: 65 Weizenbaum advertiu en contra de confiar nas decisións tomadas polos programas que o usuario non entende, comparando esa fe coa dun turista que pode atopar o seu camiño a unha habitación dun hotel virando á esquerda ou á dereita xogando a cara ou cruz. O turista non ten base para entender como ou por que chegou ao seu destino, e o feito de chegar non significa que o proceso sexa preciso ou confiable.
Un dos primeiros exemplos de nesgo algorítmico resultou en que ata 60 mulleres e persoas pertencentes a minorías étnicas negáseselles a entrada á Escola de Medicina do Hospital St. George' s cada ano entre 1982 e 1986, baseado na implementación dun novo sistema de avaliación por computador que negaba a entrada a mulleres e homes con "nomes que soan estranxeiros" baseándose nas tendencias históricas das admisións.
Críticas actuais e respostas
A pesar de que os algoritmos ben deseñados frecuentemente determinan resultados que son igualmente (ou máis) equitativos que as decisións de seres humanos, aínda ocorren casos de nesgos, e son difíciles de predicir e analizar. ​ A complexidade de analizar o nesgo algorítmico creceu á vez que a complexidade dos programas e o seu deseño. As decisións que fai un deseñador ou un equipo de deseñadores poden ser escurecidas entre as moitas partes de código creadas para un só programa; ao longo do tempo estas decisións e o seu impacto colectivo na saída do programa pódese esquecer. En teoría, estes nesgos poden crear novos patróns de conduta, ou “ scripts”, en relación a tecnoloxías específicas segundo o código interactúa con outros elementos da sociedade. ​ Os nesgos tamén poden afectar como a sociedade se forma ao redor de puntos de datos que os algoritmos requiren. Por exemplo, se os datos mostran un gran número de arrestos nunha zona particular, un algoritmo podería asignar máis patrullas de policía a esa zona, o que pode levar a máis arrestos. As decisións de programas algorítmicos poden verse como máis autoritativas que as decisións dos seres humanos que se supón que asisten​, un proceso descrito polo escritor Clay Shirky como “autoridade algorítmica”. Shirky usa o termo para describir “a decisión de considerar como autoritativo un proceso non xestionado de extraer valor de fontes diversas e pouco fiables”, como os resultados de procura. Esta neutralidade tamén pode malinterpretarse pola linguaxe usada polos expertos e os medios de comunicación cando os resultados son presentados ao público. Por exemplo, unha lista de noticias seleccionada e presentada como “de moda” ou “popular” pode ser creada baseándose en criterios bastante máis amplos que a súa popularidade. Pola súa conveniencia e autoridade, os algoritmos son teorizados como un medio de delegar a responsabilidade lonxe dos humanos. ​ Isto pode ter o efecto de reducir opcións alternativas, compromisos ou flexibilidade. O sociólogo Scott Lash criticou os algoritmos como unha nova forma de “poder xenerativo”, dado que son un medio virtual de xerar fins reais. Onde previamente o comportamento humano xeraba datos para ser recolleitos e estudados, os algoritmos potentes poderían dar forma e definir os comportamentos humanos. ​ As preocupacións sobre o impacto dos algoritmos na sociedade levaron á creación de grupos de traballo en organizacións como Google e Microsoft, as cales crearon un grupo de traballo chamado Fairness, Accountability and Transparency in Machine Learning. ​ Entre algunhas ideas de Google inclúense comunidades que patrullan os resultados de algoritmos e votan por controlar ou restrinxir os resultados que consideran que teñen consecuencias negativas. ​ Nos últimos anos, o estudo de Fairness, Accountability and Transparency ( FAT) dos algoritmos xurdiu como unha área interdisciplinaria de investigación cunha conferencia anual chamada FAT. Impacto
Influencias comerciais
Os algoritmos corporativos poden estar nesgados para favorecer de maneira invisible os acordos financeiros ou os acordos entre empresas, sen o coñecemento dun usuario que poida confundir o algoritmo como imparcial. Por exemplo, American Airlines creou un algoritmo de procura de voos na década de 1980. O software presentaba unha gama de voos de varias aeroliñas aos clientes, pero sopesaba os factores que destacaban os seus propios voos, independentemente do prezo ou a conveniencia. En testemuño ante o Congreso dos Estados Unidos, o presidente da aeroliña declarou abertamente que o sistema foi creado coa intención de obter unha vantaxe competitiva a través dun trato preferente. Nun artigo de 1998 que describe a Google, demostrouse que os fundadores da empresa adoptaron unha política de transparencia nos resultados das procuras sobre a colocación remunerada, argumentando que "os motores de procura financiados por publicidade estarán intrinsecamente nesgados cara aos anunciantes e afastados das necesidades dos consumidores"​, o que constituiría unha manipulación "invisible" do usuario.
Comportamento de voto
Unha serie de estudos sobre votantes indecisos nos Estados Unidos e na India descubriron que os resultados dos motores de procura podían cambiar os resultados da votación en aproximadamente un 20%. Os investigadores concluíron que os candidatos "non ten maneira de competir" se un algoritmo, con ou sen intención, aumenta os resultados de procura de páxinas para un candidato rival. Os usuarios de Facebook que viron mensaxes relacionadas coa votación tiñan máis probabilidades de votar. En 2010, unha proba aleatoria con usuarios de Facebook mostrou un aumento do 20% (340, 000 votos) entre os usuarios que viron mensaxes que promovían o voto, así como imaxes dos seus amigos que votaran. ​ O experto en lexislación Jonathan Zittrain advirte que isto podería crear un " amaño dixital" nas eleccións, "a presentación selectiva de información por un intermediario para cumprir cos seus intereses, en lugar de servir aos usuarios", se se manipula intencionalmente.
Discriminación de xénero
En 2016, descubriuse que a rede social de profesionais LinkedIn recomendaba variacións masculinas dos nomes das mulleres en resposta ás consultas de procura. O motor de procura non fixo recomendacións similares na procura de nomes masculinos. Por exemplo, "Andrea" mostraba unha mensaxe preguntando se os usuarios querían dicir "Andrew", pero as consultas por "Andrew" non preguntaban se os usuarios querían atopar a "Andrea". A compañía dixo que isto foi o resultado dunha análise das interaccións dos usuarios co buscador. ​ En 2012, a franquía de tendas por departamentos Target foi citada por recompilar datos para inferir cando as mulleres estaban embarazadas, mesmo se non o anunciaban, e logo compartir esa información cos seus socios de mercadeo. ​ Debido a que os datos foran prognosticados, en lugar de ser observados ou reportados directamente, a compañía non tiña a obrigación legal de protexer a privacidade deses clientes. Os algoritmos de procura web tamén foron acusados de ser nesgados. Os resultados de Google poden dar prioridade ao contido pornográfico en termos de procura relacionados coa sexualidade, por exemplo, "lesbiana". Este nesgo esténdese ao motor de procura que mostra contido popular pero sexualizado en procuras neutrais. Por exemplo, os artigos " Top 25 Sexiest Women Athletes" (As 25 mulleres atletas máis sexys) aparecen como resultados de primeira páxina nas procuras de "mulleres atletas"​ En 2017, Google axustou estes resultados xunto con outros relacionados con opinións racistas, abuso infantil e pornografía, e outros contidos perturbadores e ofensivos. Outros exemplos inclúen a exhibición de traballos con mellor remuneración aos candidatos masculinos nos sitios web de procura de emprego. ​ En 2018, Amazon apagou un sistema que desenvolveu para filtrar as solicitudes de emprego cando se deron conta de que estaba nesgado en contra das mulleres.
Discriminación racial e étnica
Os algoritmos criticáronse como método para tapar os prexuízos raciais á hora de decidir. Debido a como certas razas e grupos étnicos foron tratados no pasado, a información actual pode conter certos rumbos ocultos. Por exemplo, xente de raza negra son máis proclives a recibir sentenzas máis longas que xente de raza branca, as cales cometeron o mesmo delito. ​ Isto pode supoñer que un sistema amplíe os nesgos orixinais nos datos. Un exemplo é o uso de avaliacións de riscos en sentenzas penais nos Estados Unidos e audiencias de liberdade condicionada, onde aos xuíces presentábaselles mediante un algoritmo, o risco de que un preso reincidiese nun crime. ​ O período que comprende 1920 e 1970, a nacionalidade do pai dun criminal tíñase en conta nas devanditas avaliacións de risco. A día de hoxe, estes resultados compártense con xuíces en Arizona, Colorado, Delaware, Kentucky, Louisiana, Oklahoma, Virginia, Washington e Wisconsin. Unha investigación independente por ProPublica, descubriu que estes resultados obtidos eran inexactos no 80% dos casos e desproporcionadamente nesgados por suxerir que persoas negras tiñan un 77% máis de probabilidades de reincidir que unha persoa branca.
En 2015, Google desculpouse cando persoas negras se queixaron de que o algoritmo de identificación de imaxes na aplicación de Fotos identificábaos como gorilas. ​ En 2010, as cámaras Nikon foron criticadas debido a que o seu algoritmo de identificación preguntaba constantemente aos usuarios asiáticos se estaban parpadeando. ​ Estes exemplos son produto do rumbo no conxunto de datos biométricos. ​ Devanditos datos biométricos obtéñense de aspectos do corpo, incluíndo as características raciais observadas, as cales poden entón transferirse en puntos de datos. A tecnoloxía de recoñecemento de voz pode ter diferentes exactitudes dependendo do acento do usuario. Isto pódese deber á falta de datos de adestramento para usuarios do devandito acento.
Os datos biométricos sobre a raza poden tamén inferirse en lugar de observarse. Por exemplo, en 2012 un estudo demostrou que os nome asociados coas persoas negras eran máis proclives a devolver resultados de procura relacionados con arrestos, independentemente de se hai ou non un rexistro policial para individuos con ese nome. ​ Un estudo sobre “Risk, Race, & Recidivism: Predictive Bias and Disparate Impact” alegou que existía unha probabilidade o dobre de maior (45% contra 23%) de que persoas negras fosen clasificadas de maior risco mesmo despois de permanecer durante un período de dous anos sen ningunha reincidencia documentada. ​ En 2019 un estudo de investigación revelou que un algoritmo de atención médica vendido por Optum favorecía a pacientes brancos por diante de pacientes negros, mesmo estes estando máis enfermos. O algoritmo #predicir canto custará o sistema de atención médica no futuro. Con todo, o custo non é neutral con respecto á raza, debido a que os pacientes negros incorreron en aproximadamente 1. 800$ menos en custos médicos por ano que os pacientes brancos co mesmo número de problemas crónicos, o que levou ao algoritmo para cualificar a devanditos pacientes brancos a ter o mesmo risco de padecer certos problemas de saúde no futuro que os pacientes negros, os cales sufrían significativamente de máis enfermidades. ​
Discurso de odio en liña
En 2017 un algoritmo de Facebook deseñado para eliminar o discurso de odio en liña en favor dos homes brancos fronte aos negros á hora de xulgar de maneira obxectiva o contido, segundo documentos internos de Facebook. ​ O algoritmo, o cal é unha combinación de programas informáticos e revisión humana, foi creado para protexer amplas categorías en lugar de subcategorías. Por exemplo, publicacións en contra dos “musulmáns” sería bloqueadas, mentres que aquelas que denunciaban aos “musulmáns radicais” si serían permitidas. Un resultado inesperado do algoritmo é que permite o discurso de odio contra os nenos negros, xa que denuncian a subcategoría de “nenos” dos negros, en lugar de “todos os negros”, mentres que “todos os homes brancos” daría lugar a un bloqueo, debido a que brancos e homes non son considerados unha subcategoría. 66​ Ademais, atopouse que Facebook permitía a compradores de anuncios de dirixirse a “ antijudíos” como unha categoría de usuarios, que, segundo a compañía, foi resultado dos datos e os algoritmos usados. A compañía tamén permitiu aos compradores de anuncios impedir que os afroamericanos vexan anuncios de vivendas. ​
Vixilancia
O software que conteñen as cámaras de vixilancia pode considerarse intrinsecamente político debido a que require algoritmos para distinguir comportamentos normais e anormais, e determinar quen pertence a certos lugares en certos momentos. ​ A habilidade dos devanditos algoritmos de recoñecer rostros dun espectro racial demostrouse que esta limitado pola diversidade racial das imaxes na súa base de datos de adestramento; Se a maioría das imaxes pertencen a unha raza ou xénero, o software é mellor á hora de recoñecer outros membros desa raza ou xénero. ​ Unha análise de software de 2002 utilizado para identificar individuos en imaxes de CCTV atopou varios exemplos de predisposición cando se executan coas bases de datos de delincuentes. O software identificaba con máis frecuencia aos homes que ás mulleres, ás persoas maiores máis que ás novas e a asiáticos, afroamericanos e outras razas con máis frecuencia que aos brancos. ​ Outros estudos sobre o software de recoñecementos atoparon o contrario cando se adestra con bases de datos de non criminais, sendo o software o menos preciso para identificar as mulleres de peles máis escuras. ​
Discriminación sexual
En 2011, usuarios da aplicación de citas para homosexuais Grindr reportaron que o algoritmo de recomendación de Google Play estaba a vincular a Grindr con aplicacións deseñadas para atopar delincuentes sexuais, que segundo os críticos relacionaban incorrectamente a homosexualidade coa pedofilia. O escritor Mike Ananny criticou esta asociación en The Atlantic, argumentando que tales asociacións estigmatizaron aínda máis aos homes homosexuais. En 2009, a compañía de comercio electrónico Amazon anulou 57. 000 libros despois de que un cambio algorítmico expandise a súa lista negra de “contido para adultos” para incluír calquera libro que abordase temas de sexualidade ou gai, como a novela aclamada pola crítica Brokeback Mountain. ​ En 2019 descubriuse que, en Facebook, as procuras de “fotos das miñas amigas” lanzaron suxestións como “en bikini” ou “na praia”. En contraste, as procuras de “fotos dos meus amigos” non lanzaron resultados. ​
Google Search
Estes resultados mostran que a sociedade no seu conxunto ten unha ampla gama de ideas sexistas sobre as mulleres. Aínda que os usuarios son os que xeran estes resultados na parte superior da páxina, Google non logrou eliminar os comentarios sexistas e racistas. En Algoritmos de Opresión, Safiya Noble sinala un exemplo cando realizas a procura “mozas negras”. Unha muller estaba a buscar en Internet actividades para entreter a un preadolescente e aos seus curmáns da mesma idade. Despois de buscar “mozas negras”, imaxes de pornografía encheron a pantalla. Estes resultados son unha correlación directa cos vellos medios nunha nova arquitectura de medios. Debido ao algoritmo de Google, non pode borrar as páxinas a menos que se consideren ilegais.