[ca] Aquesta tesi doctoral analitza els riscs de generar discriminació que presenta l'ús de la intel·ligència artificial i, per tant, d'afectar els drets de les persones, reproduint i en molts casos incrementant discriminacions preexistents. Estudiem les eines que proporciona la normativa europea tant per prevenir la discriminació algorítmica com perquè les persones que han patit discriminació arran de l'ús de la intel·ligència artificial puguin desafiar els sistemes amb els quals s'ha produït la discriminació. Per fer-ho abordem els punts febles i els punts forts que presenta tant la normativa antidiscriminació europea com la normativa europea de protecció de dades per donar eines a les persones que han patit discriminació per fer front a les decisions a les quals han estat subjectes. També analitzem què pot aportar en aquest sentit la futura regulació europea de la intel·ligència artificial. En aquesta anàlisi ens centrem en dues de de les problemàtiques principals que presenten aquestes normatives i com mitigar-les. En primer lloc, presenten problemes d'aplicació atesa la manca d'informació a la qual s'ha d'enfrontar qui s'ha vist subjecte de discriminació i, en segon lloc, s'articulen en base a la protecció individual de la persona perjudicada, obviant, des de la nostra perspectiva, l'element col·lectiu definitori d'una acció discriminatòria. Concloem que per com operen els sistemes algorítmics actualment es trasllueix que assumeixen perfectament els sistemes d'opressió/subordinació existents, els sistematitzen i els exploten tot beneficiant-se de l'absència d'una normativa capaç de facilitar la presentació d'indicis de discriminació; que algunes garanties que presenten les normatives estudiades, donades certes condicions, podrien ser vàlides per protegir les persones de la discriminació algorítmica (p. e. igualtat des del disseny, avaluacions d'impacte algorítmiques, documentació tècnica en virtut de la PRIA o la possibilitat de sol·licitar al tribunal que l'altra part en un litigi reveli certa informació); que la governança publicoprivada subjacent tant en l'RGPD com en la PRIA pot ser una fórmula deficient per protegir les persones de la discriminació produïda arran de sistemes algorítmics i la justificació per instaurar-la (aprofitar els recursos i l'expertesa del sector privat en la regulació pública) no compensa els riscs que genera (que el sector privat es converteixi de facto en autoregulat ja sigui perquè amb la seva expertesa i recursos pot definir i incidir discrecionalment en conceptes clau de la regulació, ja sigui perquè el poder públic no pot instaurar una rendició de comptes eficient). Proposem per millorar la protecció que es brinda actualment que s'exigeixi normativament que la precisió del sistema algorítmic per tots els grups de població concrets als quals s'aplicarà (incloent categories de dades combinades) no superi certa taxa d'error. En el cas que el sistema superi la taxa d'error establerta o bé sigui tan inescrutable que no es pugui demostrar que no la supera, s'hauria d'impossibilitar la seva comercialització o imposar la seva retirada del mercat. També proposem l'obligació a empreses, organitzacions i administracions públiques de publicar un catàleg dels sistemes algorítmics que estan utilitzant -prèviament s'hauria d'obligar a tots els proveïdors de sistemes d'IA que denominin el sistema algorítmic que pretenen comercialitzar- i una explicació de per a què els estant utilitzant (p. e. en una pàgina web accessible al públic general que s'especifiqui que s'està emprant el sistema algorítmic "x" per gestionar els processos de selecció de personal de l'empresa). Finalment, la instauració d'un sistema de protecció col·lectiva-institucional que instrumentalitzi els punts forts que ofereixen les normatives que regulen o poden regular col·lateralment la discriminació algorítmica i millori, d'aquesta manera, les possibilitats de desafiar les decisions preses mitjançant sistemes algorítmics que puguin causar discriminació.

[es] Esta tesis doctoral analiza los riesgos de generar discriminación que presenta el uso de la inteligencia artificial y, por tanto, de afectar a los derechos de las personas, reproduciendo y en muchos casos incrementando discriminaciones preexistentes. Estudiamos las herramientas que proporciona la normativa europea tanto para prevenir la discriminación algorítmica como para que las personas que han sufrido discriminación a raíz del uso de la inteligencia artificial puedan hacer frente a los sistemas con los que se ha producido la discriminación. Para ello abordamos los puntos débiles y fuertes que presenta tanto la normativa antidiscriminación europea como la normativa europea de protección de datos para dar herramientas a las personas que han sufrido discriminación para desafiar las decisiones a las que se han visto sujetas. También analizamos lo que puede aportar en este sentido la futura regulación europea de la inteligencia artificial. En este análisis nos centramos en dos de las principales problemáticas que presentan estas normativas y cómo mitigarlas. En primer lugar, las normativas presentan problemas de aplicación dada la falta de información que debe afrontar quien se ha visto sujeto de discriminación y, en segundo lugar, las normativas se articulan en base a la protección individual de la persona perjudicada, obviando, desde nuestra perspectiva, el elemento colectivo definitorio de una acción discriminatoria. Concluimos que por cómo operan los sistemas algorítmicos actualmente se trasluce que asumen perfectamente los sistemas de opresión/subordinación existentes, los sistematizan y explotan, beneficiándose de la ausencia de una normativa capaz de facilitar la presentación de indicios de discriminación; que algunas garantías que presentan las normativas estudiadas, dadas ciertas condiciones, podrían ser válidas para proteger a las personas de la discriminación algorítmica (p. ej. igualdad desde el diseño, evaluaciones de impacto algorítmicas, documentación técnica en virtud de la PRIA o la posibilidad de solicitar al tribunal que la otra parte en un litigio revele cierta información); que la gobernanza público-privada subyacente tanto en el RGPD como en la PRIA puede ser una fórmula deficiente para proteger a las personas de la discriminación producida a raíz de sistemas algorítmicos y la justificación para instaurarla (aprovechar los recursos y la experiencia del sector privado en la regulación pública) no compensa los riesgos que genera (que el sector privado se convierta de facto en autorregulado ya sea porque con su experiencia y recursos puede definir e incidir discrecionalmente en conceptos clave de la regulación, ya sea porque el poder público no puede instaurar una rendición de cuentas eficiente). Proponemos que se exija normativamente que la precisión del sistema algorítmico para todos los grupos de población concretos a los que se aplicará (incluyendo categorías de datos combinados) no supere cierta tasa de error. En caso de que el sistema supere la tasa de error establecida o sea tan inescrutable que no se pueda demostrar que no la supera, deberá imposibilitarse su comercialización o imponer su retirada del mercado. También proponemos la obligación a empresas, organizaciones y administraciones públicas a publicar un catálogo de los sistemas algorítmicos que están utilizando -previamente debería obligarse a todos los proveedores de sistemas de IA que denominen el sistema algorítmico que pretenden comercializar- y una explicación de para qué los está utilizando (p. ej. en una página web accesible al público general que se especifique que se está utilizando el sistema algorítmico "x" para gestionar los procesos de selección de personal de la empresa). Por último, la instauración de un sistema de protección colectiva-institucional que instrumentalice los puntos fuertes que ofrecen las normativas que regulan o pueden regular colateralmente la discriminación algorítmica y mejore las posibilidades de desafiar las decisiones tomadas mediante sistemas algorítmicos.