[en] This doctoral thesis analyses the risks of generating discrimination presented by the use of artificial intelligence and, therefore, of affecting people's rights, reproducing and eventually increasing pre-existing discrimination. We study the tools provided by European law both to prevent algorithmic discrimination from occurring and to enable people who have suffered discrimination as a result of the use of artificial intelligence to challenge the systems by which discrimination has occurred. To do this we address the weaknesses and strengths of both European anti-discrimination and data protection law to give people who have suffered discrimination tools to challenge the decisions they have been subject to. We also analyse how the future European regulation of artificial intelligence can contribute in this regard. In this analysis we focus on two of the main problems presented by these regulations and how to mitigate them. Firstly, the regulations present application problems given the lack of information that those who have been discriminated against have to face and, secondly, the regulations are articulated on the basis of individual protection, avoiding, from our perspective, the defining collective element of a discriminatory action. We conclude that the way the algorithmic systems currently operate shows that they perfectly assume the existing systems of oppression/subordination, systematize them and exploit them while benefiting from the absence of regulations capable of establishing facts from which it may be presumed that there has been a discrimination; that some guarantees presented by the regulations studied, given certain conditions, could be valid to protect people from algorithmic discrimination (e.g., equality by design, algorithmic impact assessments, technical documentation under the PRIA or the possibility for the court to order to the other party or a third party, if requested by the defendant, to disclose relevant evidence); that the public-private governance underlying both the RGPD and the PRIA may be a poor formula for protecting people from discrimination caused by algorithmic systems and the justification for establishing it (profit from the resources and expertise of the private sector in public regulation) does not compensate for the risks it generates (that the private sector becomes in fact self-regulated either because with its expertise and resources can define and discretionally influence key concepts of regulation or because public authorities cannot establish efficient accountability). We propose to improve the protection that is currently provided making mandatory to demonstrate that the accuracy of the algorithmic system for all specific population groups to which it will be applied (including combined data categories) does not exceed a certain error rate. In the event that the system exceeds the established error rate, or it is so inscrutable that it cannot be demonstrated that it does not exceed it, its commercialization will have to be prohibited or its withdrawal from the market imposed. We also propose the obligation for companies, organizations and public administrations to publish a catalogue of the algorithmic systems they are using - previously all providers of AI systems should be required to name the algorithmic system they intend to commercialize - and an explanation of what they are being used for (e.g., on a web page accessible to the general public that specifies that algorithmic system "x" is being used to manage the company's selective processes). Finally, the establishment of a system of collective-institutional protection that instrumentalizes the strengths offered by the regulations that regulate or can collaterally regulate algorithmic discrimination and improves, in this way, the possibilities of challenging the decisions taken through algorithmic systems that may cause discrimination.

[es] Esta tesis doctoral analiza los riesgos de generar discriminación que presenta el uso de la inteligencia artificial y, por tanto, de afectar a los derechos de las personas, reproduciendo y en muchos casos incrementando discriminaciones preexistentes. Estudiamos las herramientas que proporciona la normativa europea tanto para prevenir la discriminación algorítmica como para que las personas que han sufrido discriminación a raíz del uso de la inteligencia artificial puedan hacer frente a los sistemas con los que se ha producido la discriminación. Para ello abordamos los puntos débiles y fuertes que presenta tanto la normativa antidiscriminación europea como la normativa europea de protección de datos para dar herramientas a las personas que han sufrido discriminación para desafiar las decisiones a las que se han visto sujetas. También analizamos lo que puede aportar en este sentido la futura regulación europea de la inteligencia artificial. En este análisis nos centramos en dos de las principales problemáticas que presentan estas normativas y cómo mitigarlas. En primer lugar, las normativas presentan problemas de aplicación dada la falta de información que debe afrontar quien se ha visto sujeto de discriminación y, en segundo lugar, las normativas se articulan en base a la protección individual de la persona perjudicada, obviando, desde nuestra perspectiva, el elemento colectivo definitorio de una acción discriminatoria. Concluimos que por cómo operan los sistemas algorítmicos actualmente se trasluce que asumen perfectamente los sistemas de opresión/subordinación existentes, los sistematizan y explotan, beneficiándose de la ausencia de una normativa capaz de facilitar la presentación de indicios de discriminación; que algunas garantías que presentan las normativas estudiadas, dadas ciertas condiciones, podrían ser válidas para proteger a las personas de la discriminación algorítmica (p. ej. igualdad desde el diseño, evaluaciones de impacto algorítmicas, documentación técnica en virtud de la PRIA o la posibilidad de solicitar al tribunal que la otra parte en un litigio revele cierta información); que la gobernanza público-privada subyacente tanto en el RGPD como en la PRIA puede ser una fórmula deficiente para proteger a las personas de la discriminación producida a raíz de sistemas algorítmicos y la justificación para instaurarla (aprovechar los recursos y la experiencia del sector privado en la regulación pública) no compensa los riesgos que genera (que el sector privado se convierta de facto en autorregulado ya sea porque con su experiencia y recursos puede definir e incidir discrecionalmente en conceptos clave de la regulación, ya sea porque el poder público no puede instaurar una rendición de cuentas eficiente). Proponemos que se exija normativamente que la precisión del sistema algorítmico para todos los grupos de población concretos a los que se aplicará (incluyendo categorías de datos combinados) no supere cierta tasa de error. En caso de que el sistema supere la tasa de error establecida o sea tan inescrutable que no se pueda demostrar que no la supera, deberá imposibilitarse su comercialización o imponer su retirada del mercado. También proponemos la obligación a empresas, organizaciones y administraciones públicas a publicar un catálogo de los sistemas algorítmicos que están utilizando -previamente debería obligarse a todos los proveedores de sistemas de IA que denominen el sistema algorítmico que pretenden comercializar- y una explicación de para qué los está utilizando (p. ej. en una página web accesible al público general que se especifique que se está utilizando el sistema algorítmico "x" para gestionar los procesos de selección de personal de la empresa). Por último, la instauración de un sistema de protección colectiva-institucional que instrumentalice los puntos fuertes que ofrecen las normativas que regulan o pueden regular colateralmente la discriminación algorítmica y mejore las posibilidades de desafiar las decisiones tomadas mediante sistemas algorítmicos.