Nesgo algorítmico

O **nesgo algorítmico** ocorre cando un sistema informático reflicte os valores dos humanos que están implicados na codificación e recolección de datos usados para adestrar o algoritmo. O nesgo  algorítmico pódese atopar en todos lados, como nos resultados dos motores de procura ou nas redes sociais e poden ter un grande impacto en temas como a privacidade ou agravar nesgos sociais como os existentes respecto a razas, xénero, sexualidade ou etnias. 

O estudo do nesgo algorítmico esta enfocado sobre todo en algoritmos que reflicten "discriminación sistemática e inxusta". Este tipo de nesgos empezaron a ser tidos en conta en marcos legais recentemente, como o Regulamento xeral de protección de datos xerais da Unión Europea en 2018. Tan pronto como os algoritmos expanden a súa capacidade de organizar a sociedade, a política, as institucións, e o comportamento, a socioloxía empezou a preocuparse coas maneiras en que os resultados non previstos e a manipulación de datos poden impactar no mundo físico. Como os algoritmos son a miúdo considerados neutros e sen nesgos, pode parecer que son mellores que os propios humanos, e nalgúns casos, relevar traballo nun algoritmo pode reducir o control humano sobre os resultados. Os nesgos poden repercutir nos algoritmos tendo como orixe influencias culturais, sociais, ou institucionais; debido a limitacións técnicas do seu deseño; ou por ser utilizado en contextos non esperados nun principio ou por usuarios que non se consideraron no deseño inicial do software. 

Os nesgos  algorítmicos afectaron a temas como os resultados das eleccións. Os problemas de comprensión, investigación, e descubrimento de nesgos nos algoritmos proveñen da natureza destes, xa que os propietarios non adoitan deixar acceder á súa implementación, e aínda que fose así, moitas veces son demasiado complexos para entender como funcionan. Ademais, os algoritmos poden cambiar, ou responder a diferentes entradas de maneiras que non poden ser previstas ou facilmente reproducidas para a súa análise. En moitos casos, mesmo dentro dun só sitio web ou aplicación, non hai un só algoritmo para examinar, se non un conxunto de procesos e entradas de datos interrelacionados.

## Definicións 
Os algoritmos son difíciles de definir, pero pódense entender como conxuntos de instrucións dentro dun computador que determinan como estes programas len, recollen, procesan, e analizan datos para xerar unha saída lexible.Os computadores máis novos poden procesar millóns destas instrucións  algorítmicas por segundo, o cal impulsou o deseño e adopción de tecnoloxías como  machine  learning e intelixencia artificial. Analizando e procesando datos, os algoritmos son o corazón dos motores de procura, redes sociais, motores de recomendación, venda ao detalle en liña, publicidade en liña, e outros.

A ciencia social contemporánea está preocupada polos procesos algorítmicos incluídos no hardware e  software debido ao seu impacto político e social, e cuestionan a suposición de que un algoritmo é neutral.​ O termo nesgo  algorítmico describe erros sistemáticos e repetidos que crean resultados inxustos, como dar privilexios a un grupo de usuarios por encima outros de forma arbitraria. Por exemplo, un algoritmo de puntuación de crédito pode negar un préstamo sen ser inxusto, se se fixa unicamente en criterios financeiros pertinentes. Se o algoritmo recomenda préstamos a un grupo de usuarios, pero nega préstamos a outro conxunto de usuarios case idénticos baseándose en criterios non relacionados, e se este comportamento pódese repetir en distintas ocasións, pódese dicir que é un algoritmo con nesgos. Estes nesgos poden ser intencionados ou involuntarios.

## Métodos 
O nesgo pode ser introducido a un algoritmo de varias maneiras. Durante a montaxe dunha base de datos, o dato ten que ser recolleito, dixitalizado, adaptado, e introducido segundo un deseño humano. Logo, os programadores asignan prioridades, ou xerarquías, sobre como un programa avalía e ordena os datos. Isto require decisións humanas sobre como o dato é categorizado, e que dato é incluído ou descartado. 

Weizenbaum describiu os programas como secuencias de regras creadas por humanos para que as siga unha computadora. Ao seguir esas regras  consistentemente, tales programas "encarnan a lei",

### Críticas actuais e respostas 
A pesar de que os algoritmos ben deseñados frecuentemente determinan resultados que son igualmente (ou máis) equitativos que as decisións de seres humanos, aínda ocorren casos de nesgos, e son difíciles de predicir e analizar.​ A complexidade de analizar o nesgo  algorítmico creceu á vez que a complexidade dos programas e o seu deseño. As decisións que fai un deseñador ou un equipo de deseñadores poden ser escurecidas entre as moitas partes de código creadas para un só programa; ao longo do tempo estas decisións e o seu impacto colectivo na saída do programa pódese esquecer.  En teoría, estes nesgos poden crear novos patróns de conduta, ou “ scripts”, en relación a tecnoloxías específicas segundo o código interactúa con outros elementos da sociedade.​ Os nesgos tamén poden afectar como a sociedade se forma ao redor de puntos de datos que os algoritmos requiren. Por exemplo, se os datos mostran un gran número de arrestos nunha zona particular, un algoritmo podería asignar máis patrullas de policía a esa zona, o que pode levar a máis arrestos. 

As decisións de programas  algorítmicos poden verse como máis  autoritativas que as decisións dos seres humanos que se supón que asisten​, un proceso descrito polo escritor  Clay  Shirky como “autoridade  algorítmica”.  Shirky usa o termo para describir “a decisión de considerar como  autoritativo un proceso non xestionado de extraer valor de fontes diversas e pouco fiables”, como os resultados de procura. Esta neutralidade tamén pode  malinterpretarse pola linguaxe usada polos expertos e os medios de comunicación cando os resultados son presentados ao público. Por exemplo, unha lista de noticias seleccionada e presentada como “de moda” ou “popular” pode ser creada baseándose en criterios bastante máis amplos que a súa popularidade.Pola súa conveniencia e autoridade, os algoritmos son  teorizados como un medio de delegar a responsabilidade lonxe dos humanos.​ Isto pode ter o efecto de reducir opcións alternativas, compromisos ou flexibilidade. O sociólogo  Scott  Lash criticou os algoritmos como unha nova forma de “poder xenerativo”, dado que son un medio virtual de xerar fins reais. Onde previamente o comportamento humano xeraba datos para ser recolleitos e estudados, os algoritmos potentes poderían dar forma e definir os comportamentos humanos.​ As preocupacións sobre o impacto dos algoritmos na sociedade levaron á creación de grupos de traballo en organizacións como Google e Microsoft, as cales crearon un grupo de traballo chamado  Fairness,  Accountability  and  Transparency  in  Machine  Learning.​ Entre algunhas ideas de Google inclúense comunidades que patrullan os resultados de algoritmos e votan por controlar ou restrinxir os resultados que consideran que teñen consecuencias negativas.

## Impacto 
### Influencias comerciais 
Os algoritmos corporativos poden estar nesgados para favorecer de maneira invisible os acordos financeiros ou os acordos entre empresas, sen o coñecemento dun usuario que poida confundir o algoritmo como imparcial. Por exemplo,  American Airlines creou un algoritmo de procura de voos na década de 1980. O software presentaba unha gama de voos de varias aeroliñas aos clientes, pero sopesaba os factores que destacaban os seus propios voos, independentemente do prezo ou a conveniencia. En testemuño ante o Congreso dos Estados Unidos, o presidente da aeroliña declarou abertamente que o sistema foi creado coa intención de obter unha vantaxe competitiva a través dun trato preferente.  

Nun artigo de 1998 que describe a Google, demostrouse que os fundadores da empresa adoptaron unha política de transparencia nos resultados das procuras sobre a colocación remunerada, argumentando que "os motores de procura financiados por publicidade estarán intrinsecamente nesgados cara aos anunciantes e afastados das necesidades dos consumidores"​, o que constituiría unha manipulación "invisible" do usuario. Os usuarios de Facebook que viron mensaxes relacionadas coa votación tiñan máis probabilidades de votar. En 2010, unha proba aleatoria con usuarios de Facebook mostrou un aumento do 20% (340,000 votos) entre os usuarios que viron mensaxes que promovían o voto, así como imaxes dos seus amigos que votaran.​ O experto en lexislación Jonathan  Zittrain advirte que isto podería crear un " amaño dixital" nas eleccións, "a presentación selectiva de información por un intermediario para cumprir cos seus intereses, en lugar de servir aos usuarios", se se manipula intencionalmente.

### Discriminación de xénero 
En 2016, descubriuse que a rede social de profesionais LinkedIn recomendaba variacións masculinas dos nomes das mulleres en resposta ás consultas de procura. O motor de procura non fixo recomendacións similares na procura de nomes masculinos. Por exemplo, "Andrea" mostraba unha mensaxe preguntando se os usuarios querían dicir "Andrew", pero as consultas por "Andrew" non preguntaban se os usuarios querían atopar a "Andrea". A compañía dixo que isto foi o resultado dunha análise das interaccións dos usuarios co buscador.​ 

En 2012, a franquía de tendas por departamentos  Target foi citada por recompilar datos para inferir cando as mulleres estaban embarazadas, mesmo se non o anunciaban, e logo compartir esa información cos seus socios de  mercadeo.​ Debido a que os datos foran prognosticados, en lugar de ser observados ou reportados directamente, a compañía non tiña a obrigación legal de protexer a privacidade deses clientes. ​ En 2017, Google axustou estes resultados xunto con outros relacionados con opinións racistas, abuso infantil e pornografía, e outros contidos  perturbadores e ofensivos. Outros exemplos inclúen a exhibición de traballos con mellor remuneración aos candidatos masculinos nos sitios web de procura de emprego.​ En 2018,  Amazon apagou un sistema que desenvolveu para filtrar as solicitudes de emprego cando se deron conta de que estaba nesgado en contra das mulleres.

### Discriminación racial e étnica 
Os algoritmos criticáronse como método para tapar os prexuízos raciais á hora de decidir. Debido a como certas razas e grupos étnicos foron tratados no pasado, a información actual pode conter certos rumbos ocultos. Por exemplo, xente de raza negra son máis proclives a recibir sentenzas máis longas que xente de raza branca, as cales cometeron o mesmo delito.​ Isto pode supoñer que un sistema amplíe os nesgos orixinais nos datos. 

Un exemplo é o uso de avaliacións de riscos en sentenzas penais nos Estados Unidos e audiencias de liberdade condicionada, onde aos xuíces presentábaselles mediante un algoritmo, o risco de que un preso  reincidiese nun crime.​ O período que comprende 1920 e 1970, a nacionalidade do pai dun criminal tíñase en conta nas devanditas avaliacións de risco. A día de hoxe, estes resultados compártense con xuíces en  Arizona, Colorado,  Delaware,  Kentucky,  Louisiana,  Oklahoma, Virginia, Washington e Wisconsin. Unha investigación independente por  ProPublica, descubriu que estes resultados obtidos eran inexactos no 80% dos casos e  desproporcionadamente nesgados por suxerir que persoas negras tiñan un 77% máis de probabilidades de  reincidir que unha persoa branca.

En 2015, Google desculpouse cando persoas negras se queixaron de que o algoritmo de identificación de imaxes na aplicación de Fotos identificábaos como gorilas.​ En 2010, as cámaras  Nikon foron criticadas debido a que o seu algoritmo de identificación preguntaba constantemente aos usuarios asiáticos se estaban  parpadeando.​ Estes exemplos son produto do rumbo no conxunto de datos  biométricos.​​ 

Un estudo sobre “Risk, Race, & Recidivism: Predictive Bias and Disparate Impact” alegou que existía unha probabilidade o dobre de maior (45% contra 23%) de que persoas negras fosen clasificadas de maior risco mesmo despois de permanecer durante un período de dous anos sen ningunha reincidencia documentada.​ En 2019 un estudo de investigación revelou que un algoritmo de atención médica vendido por  Optum favorecía a pacientes brancos por diante de pacientes negros, mesmo estes estando máis enfermos. O algoritmo #predicir canto custará o sistema de atención médica no futuro. Con todo, o custo non é neutral con respecto á raza, debido a que os pacientes negros incorreron en aproximadamente 1.800$ menos en custos médicos por ano que os pacientes brancos co mesmo número de problemas crónicos, o que levou ao algoritmo para cualificar a devanditos pacientes brancos a ter o mesmo risco de padecer certos problemas de saúde no futuro que os pacientes negros, os cales sufrían significativamente de máis enfermidades.​ 

### Discurso de odio en liña 
En 2017 un algoritmo de Facebook deseñado para eliminar o discurso de odio en liña en favor dos homes brancos fronte aos negros á hora de xulgar de maneira obxectiva o contido, segundo documentos internos de Facebook.​ O algoritmo, o cal é unha combinación de programas informáticos e revisión humana, foi creado para protexer amplas categorías en lugar de  subcategorías. Por exemplo, publicacións en contra dos “musulmáns” sería bloqueadas, mentres que aquelas que denunciaban aos “musulmáns radicais” si serían permitidas. Un resultado inesperado do algoritmo é que permite o discurso de odio contra os nenos negros, xa que denuncian a  subcategoría de “nenos” dos negros, en lugar de “todos os negros”, mentres que “todos os homes brancos” daría lugar a un bloqueo, debido a que brancos e homes non son considerados unha  subcategoría.66​ Ademais, atopouse que Facebook permitía a compradores de anuncios de dirixirse a “ antijudíos” como unha categoría de usuarios, que, segundo a compañía, foi resultado dos datos e os algoritmos usados. A compañía tamén permitiu aos compradores de anuncios impedir que os  afroamericanos vexan anuncios de vivendas.​

### Vixilancia 
O software que conteñen as cámaras de vixilancia pode considerarse intrinsecamente político debido a que require algoritmos para distinguir comportamentos normais e anormais, e determinar quen pertence a certos lugares en certos momentos.​ A habilidade dos devanditos algoritmos de recoñecer rostros dun espectro racial demostrouse que esta limitado pola diversidade racial das imaxes na súa base de datos de adestramento; Se a maioría das imaxes pertencen a unha raza ou xénero, o software é mellor á hora de recoñecer outros membros desa raza ou xénero.​ Unha análise de software de 2002 utilizado para identificar individuos en imaxes de  CCTV atopou varios exemplos de predisposición cando se executan coas bases de datos de delincuentes. O software identificaba con máis frecuencia aos homes que ás mulleres, ás persoas maiores máis que ás novas e a asiáticos, afroamericanos e outras razas con máis frecuencia que aos brancos.​ 

### Discriminación sexual 
En 2011, usuarios da aplicación de citas para homosexuais  Grindr reportaron que o algoritmo de recomendación de Google Play estaba a vincular a  Grindr con aplicacións deseñadas para atopar delincuentes sexuais, que segundo os críticos relacionaban incorrectamente a homosexualidade coa pedofilia. O escritor  Mike  Ananny criticou esta asociación en  The Atlantic, argumentando que tales asociacións  estigmatizaron aínda máis aos homes homosexuais. En 2009, a compañía de comercio electrónico  Amazon anulou 57.000 libros despois de que un cambio  algorítmico expandise a súa lista negra de “contido para adultos” para incluír calquera libro que abordase temas de sexualidade ou gai, como a novela aclamada pola crítica  *Brokeback  Mountain.*​ En 2019 descubriuse que, en Facebook, as procuras de “fotos das miñas amigas” lanzaron suxestións como “en bikini” ou “na praia”. En contraste, as procuras de “fotos dos meus amigos” non lanzaron resultados.​

### Google  Search 
Estes resultados mostran que a sociedade no seu conxunto ten unha ampla gama de ideas sexistas sobre as mulleres. Aínda que os usuarios son os que xeran estes resultados na parte superior da páxina, Google non logrou eliminar os comentarios sexistas e racistas. En *Algoritmos de Opresión*,  Safiya Noble sinala un exemplo cando realizas a procura “mozas negras”. Unha muller estaba a buscar en Internet actividades para entreter a un preadolescente e aos seus curmáns da mesma idade. Despois de buscar “mozas negras”, imaxes de pornografía encheron a pantalla. Estes resultados son unha correlación directa cos vellos medios nunha nova arquitectura de medios. Debido ao algoritmo de Google, non pode borrar as páxinas a menos que se consideren ilegais.

## Notas 
## Véxase tamén 
### Outros artigos 
* Conflito de intereses
* Erro aleatorio
* Nesgo
* Nesgo cognitivo
* Nesgo de mostraxe
* Nesgo de xénero
* Proba dobre cego
* Prexuízo