[ca] Aquesta tesi doctoral analitza els riscs de generar discriminació que presenta l'ús de la intel·ligència artificial i, per tant, d'afectar els drets de les persones, reproduint i en molts casos incrementant discriminacions preexistents. Estudiem les eines que proporciona la normativa europea tant per prevenir la discriminació algorítmica com perquè les persones que han patit discriminació arran de l'ús de la intel·ligència artificial puguin desafiar els sistemes amb els quals s'ha produït la discriminació. Per fer-ho abordem els punts febles i els punts forts que presenta tant la normativa antidiscriminació europea com la normativa europea de protecció de dades per donar eines a les persones que han patit discriminació per fer front a les decisions a les quals han estat subjectes. També analitzem què pot aportar en aquest sentit la futura regulació europea de la intel·ligència artificial. En aquesta anàlisi ens centrem en dues de de les problemàtiques principals que presenten aquestes normatives i com mitigar-les. En primer lloc, presenten problemes d'aplicació atesa la manca d'informació a la qual s'ha d'enfrontar qui s'ha vist subjecte de discriminació i, en segon lloc, s'articulen en base a la protecció individual de la persona perjudicada, obviant, des de la nostra perspectiva, l'element col·lectiu definitori d'una acció discriminatòria. Concloem que per com operen els sistemes algorítmics actualment es trasllueix que assumeixen perfectament els sistemes d'opressió/subordinació existents, els sistematitzen i els exploten tot beneficiant-se de l'absència d'una normativa capaç de facilitar la presentació d'indicis de discriminació; que algunes garanties que presenten les normatives estudiades, donades certes condicions, podrien ser vàlides per protegir les persones de la discriminació algorítmica (p. e. igualtat des del disseny, avaluacions d'impacte algorítmiques, documentació tècnica en virtut de la PRIA o la possibilitat de sol·licitar al tribunal que l'altra part en un litigi reveli certa informació); que la governança publicoprivada subjacent tant en l'RGPD com en la PRIA pot ser una fórmula deficient per protegir les persones de la discriminació produïda arran de sistemes algorítmics i la justificació per instaurar-la (aprofitar els recursos i l'expertesa del sector privat en la regulació pública) no compensa els riscs que genera (que el sector privat es converteixi de facto en autoregulat ja sigui perquè amb la seva expertesa i recursos pot definir i incidir discrecionalment en conceptes clau de la regulació, ja sigui perquè el poder públic no pot instaurar una rendició de comptes eficient). Proposem per millorar la protecció que es brinda actualment que s'exigeixi normativament que la precisió del sistema algorítmic per tots els grups de població concrets als quals s'aplicarà (incloent categories de dades combinades) no superi certa taxa d'error. En el cas que el sistema superi la taxa d'error establerta o bé sigui tan inescrutable que no es pugui demostrar que no la supera, s'hauria d'impossibilitar la seva comercialització o imposar la seva retirada del mercat. També proposem l'obligació a empreses, organitzacions i administracions públiques de publicar un catàleg dels sistemes algorítmics que estan utilitzant -prèviament s'hauria d'obligar a tots els proveïdors de sistemes d'IA que denominin el sistema algorítmic que pretenen comercialitzar- i una explicació de per a què els estant utilitzant (p. e. en una pàgina web accessible al públic general que s'especifiqui que s'està emprant el sistema algorítmic "x" per gestionar els processos de selecció de personal de l'empresa). Finalment, la instauració d'un sistema de protecció col·lectiva-institucional que instrumentalitzi els punts forts que ofereixen les normatives que regulen o poden regular col·lateralment la discriminació algorítmica i millori, d'aquesta manera, les possibilitats de desafiar les decisions preses mitjançant sistemes algorítmics que puguin causar discriminació.

[en] This doctoral thesis analyses the risks of generating discrimination presented by the use of artificial intelligence and, therefore, of affecting people's rights, reproducing and eventually increasing pre-existing discrimination. We study the tools provided by European law both to prevent algorithmic discrimination from occurring and to enable people who have suffered discrimination as a result of the use of artificial intelligence to challenge the systems by which discrimination has occurred. To do this we address the weaknesses and strengths of both European anti-discrimination and data protection law to give people who have suffered discrimination tools to challenge the decisions they have been subject to. We also analyse how the future European regulation of artificial intelligence can contribute in this regard. In this analysis we focus on two of the main problems presented by these regulations and how to mitigate them. Firstly, the regulations present application problems given the lack of information that those who have been discriminated against have to face and, secondly, the regulations are articulated on the basis of individual protection, avoiding, from our perspective, the defining collective element of a discriminatory action. We conclude that the way the algorithmic systems currently operate shows that they perfectly assume the existing systems of oppression/subordination, systematize them and exploit them while benefiting from the absence of regulations capable of establishing facts from which it may be presumed that there has been a discrimination; that some guarantees presented by the regulations studied, given certain conditions, could be valid to protect people from algorithmic discrimination (e.g., equality by design, algorithmic impact assessments, technical documentation under the PRIA or the possibility for the court to order to the other party or a third party, if requested by the defendant, to disclose relevant evidence); that the public-private governance underlying both the RGPD and the PRIA may be a poor formula for protecting people from discrimination caused by algorithmic systems and the justification for establishing it (profit from the resources and expertise of the private sector in public regulation) does not compensate for the risks it generates (that the private sector becomes in fact self-regulated either because with its expertise and resources can define and discretionally influence key concepts of regulation or because public authorities cannot establish efficient accountability). We propose to improve the protection that is currently provided making mandatory to demonstrate that the accuracy of the algorithmic system for all specific population groups to which it will be applied (including combined data categories) does not exceed a certain error rate. In the event that the system exceeds the established error rate, or it is so inscrutable that it cannot be demonstrated that it does not exceed it, its commercialization will have to be prohibited or its withdrawal from the market imposed. We also propose the obligation for companies, organizations and public administrations to publish a catalogue of the algorithmic systems they are using - previously all providers of AI systems should be required to name the algorithmic system they intend to commercialize - and an explanation of what they are being used for (e.g., on a web page accessible to the general public that specifies that algorithmic system "x" is being used to manage the company's selective processes). Finally, the establishment of a system of collective-institutional protection that instrumentalizes the strengths offered by the regulations that regulate or can collaterally regulate algorithmic discrimination and improves, in this way, the possibilities of challenging the decisions taken through algorithmic systems that may cause discrimination.