La naturaleza de la IA, que a menudo depende de conjuntos de datos amplios y variados y que puede integrarse en cualquier producto o servicio que circula libremente por el mercado interior, implica que los Estados miembros no pueden alcanzar de manera efectiva los objetivos de esta propuesta por sí solos. Asimismo, está surgiendo un mosaico de normas nacionales con posibles divergencias que entorpecerá la circulación fluida en la UE de productos y servicios asociados a sistemas de IA y no garantizará de manera efectiva la seguridad y la protección de los derechos fundamentales y los valores de la Unión en los distintos Estados miembros. Las estrategias nacionales orientadas a afrontar estos problemas solo crearán inseguridad jurídica y barreras adicionales, y ralentizarán la adopción de la IA por parte del mercado.

Esta propuesta constituye una parte fundamental de la Estrategia para el Mercado Único Digital de la UE. Su objetivo primordial es garantizar el correcto funcionamiento del mercado interior mediante el establecimiento de normas armonizadas, en particular en lo que respecta al desarrollo, la introducción en el mercado de la Unión y el uso de productos y servicios que empleen tecnologías de IA o se suministren como sistemas de IA independientes. Algunos Estados miembros ya están estudiando normas nacionales destinadas a garantizar que la IA sea segura y se desarrolle y utilice de conformidad con las obligaciones asociadas a los derechos fundamentales. Es probable que esto ocasione dos problemas fundamentales: i) la fragmentación del mercado interno en lo que respecta a elementos esenciales, en particular los requisitos aplicables a los productos y servicios de IA, su comercialización, su utilización, y la responsabilidad y supervisión de las autoridades públicas; y ii) la disminución considerable de la seguridad jurídica de los proveedores y usuarios de sistemas de IA en lo tocante a cómo se aplicarán a dichos sistemas las normas vigentes y nuevas en la Unión. Habida cuenta de la amplia circulación transfronteriza de productos y servicios, la mejor manera de solucionar estos dos problemas es mediante legislación de armonización de la UE.

En cuanto a los sistemas de IA de alto riesgo que son componentes de seguridad de productos, esta propuesta se integrará en la legislación sectorial vigente en materia de seguridad para garantizar la coherencia, evitar duplicidades y reducir al mínimo las cargas adicionales. En particular, en el caso de los sistemas de IA de alto riesgo asociados a productos cubiertos por la legislación del nuevo marco legislativo (p. ej., máquinas, productos sanitarios, juguetes), los requisitos que establece la presente propuesta para los sistemas de IA se comprobarán como parte de los procedimientos de evaluación de la conformidad previstos en la legislación pertinente del nuevo marco legislativo. En cuanto a la interrelación de múltiples requisitos, aunque la idea es que los estipulados en la presente propuesta cubran los riesgos de seguridad específicos de los sistemas de IA, la legislación del nuevo marco legislativo busca garantizar la seguridad general del producto final, por lo que podría contener requisitos específicos relativos a la integración segura de un sistema de IA en el producto final. La propuesta de un Reglamento relativo a las máquinas, que se aprueba el mismo día que la presente propuesta, refleja plenamente este enfoque. La presente propuesta no se aplicaría directamente a los sistemas de IA de alto riesgo asociados a productos cubiertos por la legislación «de antiguo enfoque» pertinente (p. ej., aviación o automóviles). No obstante, cuando se apruebe legislación de aplicación o delegada en virtud de dichos actos legislativos, se deberán tener en cuenta los requisitos esenciales ex ante aplicables a los sistemas de IA de alto riesgo establecidos en esta propuesta.

También está garantizada su coherencia con la Carta de los Derechos Fundamentales de la Unión Europea y el Derecho derivado de la Unión vigente en materia de protección de datos, protección de los consumidores, no discriminación e igualdad de género. La propuesta debe entenderse sin perjuicio del Reglamento General de Protección de Datos [Reglamento (UE) 2016/679] y la Directiva sobre protección de datos en el ámbito penal [Directiva (UE) 2016/680], a los que complementa con un conjunto de normas armonizadas aplicables al diseño, el desarrollo y la utilización de determinados sistemas de IA de alto riesgo y con restricciones de determinados usos de los sistemas de identificación biométrica remota. Asimismo, la propuesta complementa el Derecho de la Unión vigente en materia de no discriminación al establecer requisitos específicos que tienen por objeto reducir al mínimo el riesgo de discriminación algorítmica, en particular en lo tocante al diseño y la calidad de los conjuntos de datos empleados para desarrollar sistemas de IA, los cuales van acompañados de obligaciones referentes a la realización de pruebas, la gestión de riesgos, la documentación y la vigilancia humana durante todo el ciclo de vida de tales sistemas. La propuesta debe entenderse sin perjuicio de la aplicación de las disposiciones del Derecho de la Unión en materia de competencia.

Más del 50 % de los encuestados que dieron su opinión sobre los modelos de aplicación, en especial los pertenecientes a asociaciones comerciales, se mostraron a favor de combinar una autoevaluación de riesgos ex ante con la supervisión ex post en el caso de los sistemas de IA de alto riesgo.

Al mismo tiempo, las disposiciones del Reglamento no son excesivamente prescriptivas y permiten que los Estados miembros actúen a distintos niveles en relación con aquellos elementos que no socavan los objetivos de la iniciativa, en particular en lo que respecta a la organización interna del sistema de vigilancia del mercado y la adopción de medidas para promover la innovación.

La propuesta se fundamenta en los marcos jurídicos existentes y es proporcionada y necesaria para alcanzar sus objetivos, ya que sigue un enfoque basado en los riesgos y únicamente impone cargas normativas cuando es probable que un sistema de IA entrañe altos riesgos para los derechos fundamentales y la seguridad. A los demás sistemas de IA que no son de alto riesgo tan solo se les imponen obligaciones muy limitadas en materia de transparencia; por ejemplo, en lo que se refiere a la presentación de información para comunicar el uso de un sistema de IA cuando este interactúe con humanos. En el caso de los sistemas de IA de alto riesgo, los requisitos relativos a los datos de alta calidad, la documentación y la trazabilidad, la transparencia, la vigilancia humana, la precisión y la solidez son estrictamente necesarios para reducir los riesgos de la IA para los derechos fundamentales y la seguridad y que no están cubiertos por otros marcos jurídicos existentes. Unas normas armonizadas, y los instrumentos de orientación y cumplimiento en que se apoyan, ayudarán a los proveedores y los usuarios a cumplir los requisitos establecidos en la propuesta y a reducir al mínimo sus gastos. Los costes en que incurren los operadores son proporcionales a los objetivos logrados y a los beneficios que pueden obtener gracias a esta propuesta en términos económicos y de reputación.

El uso de la IA, con sus características particulares (p. ej., la opacidad, la complejidad, la dependencia de datos, el comportamiento autónomo) puede tener repercusiones negativas para múltiples derechos fundamentales consagrados en la Carta de los Derechos Fundamentales de la Unión Europea («la Carta»). La presente propuesta pretende garantizar un elevado nivel de protección para dichos derechos fundamentales, así como hacer frente a diversas fuentes de riesgo mediante un enfoque basado en los riesgos claramente definido. Sirviéndose de un conjunto de requisitos destinados a conseguir que la IA sea fiable y que se impongan obligaciones proporcionadas a todos los participantes en la cadena de valor, la propuesta reforzará y promoverá la protección de los derechos salvaguardados por la Carta: el derecho a la dignidad humana (artículo 1), el respeto de la vida privada y familiar y la protección de datos de carácter personal (artículos 7 y 8), la no discriminación (artículo 21) y la igualdad entre hombres y mujeres (artículo 23). Su objetivo es evitar un efecto paralizante sobre los derechos a la libertad de expresión (artículo 11) y de reunión (artículo 12), y garantizar el derecho a la tutela judicial efectiva y a un juez imparcial, la presunción de inocencia y los derechos de la defensa (artículos 47 y 48), así como el principio general de buena administración. Asimismo, al ser aplicable en determinados ámbitos, la propuesta tendrá efectos positivos en los derechos de diversos grupos especiales, como los derechos de los trabajadores a unas condiciones de trabajo justas y equitativas (artículo 31), un elevado nivel de protección de los consumidores (artículo 28), los derechos del niño (artículo 24) y la integración de las personas discapacitadas (artículo 26). El derecho a un nivel elevado de protección del medio ambiente y la mejora de su calidad (artículo 37) también es pertinente, en particular en lo que respecta a la salud y la seguridad de las personas. Además, las obligaciones relativas a la realización de pruebas ex ante, la gestión de riesgos y la vigilancia humana facilitarán el respeto de otros derechos fundamentales, ya que contribuirán a reducir al mínimo el riesgo de adoptar decisiones asistidas por IA erróneas o sesgadas en esferas críticas como la educación y la formación, el empleo, servicios importantes, la aplicación de la ley y el poder judicial. En caso de que se sigan produciendo violaciones de los derechos fundamentales, la transparencia y la trazabilidad garantizadas de los sistemas de IA, unidas a unos controles ex post sólidos, permitirán ofrecer a las personas afectadas una compensación efectiva.

Las empresas o las autoridades públicas que desarrollen o utilicen aplicaciones de IA que entrañen un riesgo elevado para la seguridad o los derechos fundamentales de los ciudadanos tendrían que cumplir requisitos y obligaciones específicos. El cumplimiento de estos requisitos tendría un coste aproximado de entre 6 000 y 7 000 EUR para el suministro de un sistema de IA de alto riesgo promedio con un valor de en torno a 170 000 EUR para 2025. Por su parte, los usuarios de la IA tendrían que cubrir, cuando correspondiese, el coste anual del tiempo dedicado a garantizar la vigilancia humana, en función del uso concreto que hagan. Se calcula que este coste ascendería a entre 5 000 y 8 000 EUR al año, aproximadamente. Además, los proveedores de IA de alto riesgo podrían tener que abonar unos costes de verificación adicionales de entre 3 000 y 7 500 EUR. Las empresas o las autoridades públicas que desarrollen o utilicen aplicaciones de IA no consideradas de alto riesgo únicamente tendrían que cumplir unas obligaciones mínimas de información. No obstante, podrían decidir unirse a otras y, juntas, adoptar un código de conducta para cumplir los requisitos adecuados y garantizar la fiabilidad de sus sistemas de IA. En tal caso, los costes podrían ser, como máximo, tan elevados como los de los sistemas de IA de alto riesgo, aunque lo más probable es que fueran inferiores.

El título III contiene normas específicas para aquellos sistemas de IA que acarrean un alto riesgo para la salud y la seguridad o los derechos fundamentales de las personas físicas. En consonancia con un enfoque basado en los riesgos, dichos sistemas de IA de alto riesgo están permitidos en el mercado europeo siempre que cumplan determinados requisitos obligatorios y sean sometidos a una evaluación de la conformidad ex ante. Un sistema de IA se considera de alto riesgo en función de su finalidad prevista, conforme a la legislación vigente relativa a la seguridad de los productos. Por lo tanto, la clasificación de un sistema de IA como de alto riesgo no depende únicamente de la función que lleve a cabo, sino también de la finalidad específica y de las modalidades para las que se use dicho sistema.

El título IX crea un marco para la elaboración de códigos de conducta, cuyo objetivo es fomentar que los proveedores de sistemas de IA que no son de alto riesgo cumplan de manera voluntaria los requisitos que son obligatorios para los sistemas de IA de alto riesgo (que se definen en el título III). Los proveedores de sistemas de IA que no son de alto riesgo podrían crear y aplicar sus propios códigos de conducta. Estos códigos también podrían incluir compromisos voluntarios relativos, por ejemplo, a la sostenibilidad medioambiental, la accesibilidad para las personas con discapacidad, la participación de las partes interesadas en el diseño y el desarrollo de sistemas de IA, y la diversidad de los equipos de desarrollo.

En el título VIII se definen las obligaciones de seguimiento y presentación de información que deben cumplir los proveedores de sistemas de IA en relación con el seguimiento posterior a la comercialización y la comunicación e investigación de incidentes y defectos de funcionamiento relacionados con la IA. Las autoridades de vigilancia del mercado controlarían también el mercado e investigarían el cumplimiento de las obligaciones y los requisitos aplicables a todos los sistemas de IA de alto riesgo que ya se han introducido en el mercado. Las autoridades de vigilancia del mercado tendrían todas las competencias previstas en el Reglamento (UE) 2019/1020 relativo a la vigilancia del mercado. La supervisión ex post debe garantizar que, una vez que un sistema de IA esté en el mercado, las autoridades públicas tengan las competencias y los recursos necesarios para intervenir en caso de que este genere riesgos inesperados, lo que justificaría una rápida actuación. Asimismo, también vigilarán que los operadores cumplan las obligaciones oportunas que les imponga el Reglamento. La propuesta no contempla la creación automática de organismos o autoridades adicionales en los Estados miembros. En consecuencia, los Estados miembros podrían designar a las autoridades sectoriales existentes, a las que también confiarían las competencias para vigilar y aplicar las disposiciones del Reglamento, aprovechando así sus conocimientos especializados.

Por otro lado, se establecerá un nuevo sistema de cumplimiento y aplicación para los sistemas de IA de alto riesgo independientes que se mencionan en el anexo III. Este seguirá el modelo de la legislación del nuevo marco legislativo que los proveedores aplicarán mediante controles internos, con la salvedad de los sistemas de identificación biométrica remota, que se someterán a evaluaciones de la conformidad efectuadas por terceros. Una solución efectiva y razonable para dichos sistemas podría consistir en realizar una evaluación integral de la conformidad ex ante mediante controles internos, combinada con una supervisión ex post estricta, dado que la intervención reguladora se encuentra en una fase temprana, que el sector de la IA es muy innovador y que apenas están empezando a acumularse los conocimientos necesarios para llevar a cabo auditorías. Para evaluar los sistemas de IA de alto riesgo «independientes» mediante controles internos, sería necesario cumplir ex ante de manera plena, efectiva y debidamente documentada todos los requisitos del Reglamento, así como los sólidos sistemas de gestión de la calidad y los riesgos y el seguimiento posterior a la comercialización. Una vez que el proveedor haya llevado a cabo la evaluación de la conformidad oportuna, deberá registrar dichos sistemas de IA de alto riesgo independientes en una base de datos de la UE que la Comisión gestionará con el propósito de redoblar la transparencia y la vigilancia públicas y de fortalecer la supervisión ex post por parte de las autoridades competentes. En cambio, por motivos de coherencia con la legislación vigente relativa a la seguridad de los productos, la evaluación de la conformidad de los sistemas de IA que son componentes de seguridad de productos seguirá un sistema en el que terceros llevarán a cabo procedimientos de evaluación de la conformidad ya definidos en la legislación sectorial sobre seguridad de los productos pertinente. Si se realizan modificaciones sustanciales en los sistemas de IA (fundamentalmente cambios que trasciendan los aspectos predeterminados por el proveedor en su documentación técnica y que se hayan comprobado en la evaluación de la conformidad ex ante), habrá que realizar nuevas evaluaciones de la conformidad ex ante.

En el capítulo 4 se establece el marco para que los organismos notificados participen en los procedimientos de evaluación de la conformidad como terceros independientes, mientras que en el capítulo 5 se explican en detalle los procedimientos de evaluación de la conformidad que deben seguirse para cada tipo de sistema de IA de alto riesgo. Con la evaluación de la conformidad se busca reducir al mínimo la carga que deben soportar los operadores económicos y los organismos notificados, cuya capacidad tiene que aumentar progresivamente con el tiempo. Los sistemas de IA destinados a ser utilizados como componentes de seguridad de productos regulados por la legislación del nuevo marco legislativo (p. ej., máquinas, productos sanitarios o juguetes) estarán sujetos a los mismos mecanismos de cumplimiento y aplicación ex ante y ex post que los productos de los que forman parte. La principal diferencia es que dichos mecanismos ex ante y ex post garantizarán el cumplimiento tanto de los requisitos establecidos en la legislación sectorial como de los previstos en este Reglamento.

(9)A los efectos del presente Reglamento, se entenderá que «espacio de acceso público» se refiere a cualquier lugar físico al que tenga acceso el público, con independencia de si es de propiedad privada o pública. Por consiguiente, esta noción no abarca aquellos lugares de carácter privado a los que, por lo general, no pueden acceder libremente terceros, incluidas las fuerzas o cuerpos de seguridad, a menos que hayan sido invitados o autorizados específicamente, como viviendas, clubes privados, oficinas, almacenes y fábricas. Tampoco cubre los espacios en línea, ya que no son espacios físicos. No obstante, el simple hecho de que deban cumplirse determinadas condiciones para acceder a un espacio concreto, como la adquisición de entradas o las restricciones en relación con la edad, no significa que este no sea de acceso público en el sentido del presente Reglamento. En consecuencia, además de espacios públicos como las calles, las zonas pertinentes de edificios gubernamentales y la mayoría de las infraestructuras de transporte, normalmente también se consideran de acceso público espacios como cines, teatros, tiendas y centros comerciales. No obstante, se debe determinar caso por caso si un espacio es de acceso público o no teniendo en cuenta las particularidades de la situación concreta.

(6)Resulta necesario definir con claridad la noción de sistema de IA para ofrecer seguridad jurídica, al mismo tiempo que se proporciona la flexibilidad necesaria para adaptarse a los futuros avances tecnológicos. La definición debe basarse en las principales características funcionales del software, y en particular en su capacidad para generar, en relación con un conjunto concreto de objetivos definidos por seres humanos, contenidos, predicciones, recomendaciones, decisiones u otra información de salida que influyan en el entorno con el que interactúa el sistema, ya sea en una dimensión física o digital. Los sistemas de IA pueden diseñarse para operar con distintos niveles de autonomía y utilizarse de manera independiente o como componentes de un producto, con independencia de si el sistema forma parte físicamente de él (integrado) o tiene una funcionalidad en el producto sin formar parte de él (no integrado). La definición de «sistema de IA» debe complementarse con una lista de las técnicas y estrategias concretas que se usan en su desarrollo. Dicha lista debe estar actualizada atendiendo a los avances tecnológicos y del mercado, para lo cual la Comisión debe adoptar actos delegados que la modifiquen.

(28)Los sistemas de IA pueden tener efectos adversos para la salud y la seguridad de las personas, en particular cuando funcionan como componentes de productos. En consonancia con los objetivos de la legislación de armonización de la Unión de facilitar la libre circulación de productos en el mercado interior y velar por que solo lleguen al mercado aquellos productos que sean seguros y conformes, es importante prevenir y reducir debidamente los riesgos de seguridad que pueda generar un producto en su conjunto debido a sus componentes digitales, entre los que pueden figurar los sistemas de IA. Por ejemplo, los robots cada vez más autónomos que se utilizan en las fábricas o con fines de asistencia y cuidado personal deben poder funcionar y desempeñar sus funciones de manera segura en entornos complejos. Del mismo modo, en el sector sanitario, donde los riesgos para la vida y la salud son especialmente elevados, los sistemas de diagnóstico y de apoyo a las decisiones humanas, cuya sofisticación es cada vez mayor, deben ser fiables y precisos. La magnitud de las consecuencias adversas de un sistema de IA para los derechos fundamentales protegidos por la Carta es particularmente pertinente cuando este es clasificado como de alto riesgo. Entre dichos derechos se incluyen el derecho a la dignidad humana, el respeto de la vida privada y familiar, la protección de datos de carácter personal, la libertad de expresión y de información, la libertad de reunión y de asociación, la no discriminación, la protección de los consumidores, los derechos de los trabajadores, los derechos de las personas discapacitadas, el derecho a la tutela judicial efectiva y a un juez imparcial, los derechos de la defensa y la presunción de inocencia, y el derecho a una buena administración. Además de esos derechos, conviene poner de relieve que los menores poseen unos derechos específicos consagrados en el artículo 24 de la Carta de la UE y en la Convención sobre los Derechos del Niño de las Naciones Unidas, que se desarrollan en mayor profundidad en la observación general n.º 25 del Comité de los Derechos del Niño relativa a los derechos de los niños en relación con el entorno digital. Ambos instrumentos exigen que se tengan en consideración las vulnerabilidades de los menores y que se les brinde la protección y la asistencia necesarias para su bienestar. Cuando se evalúe la gravedad del perjuicio que puede ocasionar un sistema de IA, en particular en lo que respecta a la salud y la seguridad de las personas, también se debe tener en cuenta el derecho fundamental a un nivel elevado de protección del medio ambiente consagrado en la Carta y aplicado en las políticas de la Unión.

(25)De conformidad con el artículo 6 bis del Protocolo n.º 21 sobre la posición del Reino Unido y de Irlanda respecto del espacio de libertad, seguridad y justicia, anejo al TUE y al TFUE, Irlanda no queda obligada por las normas establecidas en el artículo 5, apartado 1, letra d), y el artículo 5, apartados 2 y 3, del presente Reglamento, adoptadas sobre la base del artículo 16 del TFUE, que se refieren al tratamiento de datos personales por parte de los Estados miembros en el ejercicio de las actividades comprendidas en el ámbito de aplicación del capítulo 4 o el capítulo 5 del título V de la tercera parte del TFUE, en la medida en que no Irlanda no quede obligada por las normas que regulen formas de cooperación judicial en materia penal o de cooperación policial en cuyo marco deban respetarse las disposiciones establecidas sobre la base del artículo 16 del TFUE.

(23)La utilización de sistemas de IA para la identificación biométrica remota «en tiempo real» de personas físicas en espacios de acceso público con fines de aplicación de la ley implica, necesariamente, el tratamiento de datos biométricos. Las normas del presente Reglamento que prohíben, con algunas excepciones, ese uso, basadas en el artículo 16 del TFUE, deben aplicarse como lex specialis con respecto a las normas sobre el tratamiento de datos biométricos que figuran en el artículo 10 de la Directiva (UE) 2016/680, con lo que se regula de manera exhaustiva dicho uso y el tratamiento de los datos biométricos conexos. Por lo tanto, ese uso y tratamiento solo deben ser posibles en la medida en que sean compatibles con el marco establecido por el presente Reglamento, sin que exista un margen, fuera de dicho marco, para que las autoridades competentes, cuando actúen con fines de aplicación de la ley, utilicen tales sistemas y traten los datos conexos en los supuestos previstos en el artículo 10 de la Directiva (UE) 2016/680. En este contexto, el presente Reglamento no pretende sentar la base jurídica para el tratamiento de datos personales en virtud del artículo 8 de la Directiva (UE) 2016/680. Sin embargo, el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines distintos de la aplicación de la ley, incluso por parte de las autoridades competentes, no debe estar cubierto por el marco específico establecido por el presente Reglamento en lo que respecta al uso de dichos sistemas con fines de aplicación de la ley. Por consiguiente, su uso con fines distintos de la aplicación de la ley no debe supeditarse al requisito de obtener una autorización previsto en este Reglamento ni a las normas detalladas del Derecho interno aplicables que pudieran hacerlo efectivo.

(20)Para velar por que dichos sistemas se utilicen de manera responsable y proporcionada, también es importante establecer que, en esas tres situaciones enumeradas de manera limitativa y definidas con precisión, deben tenerse en cuenta determinados elementos, en particular en lo que se refiere a la naturaleza de la situación que dé lugar a la solicitud, a las consecuencias que su uso puede tener sobre los derechos y las libertades de todas las personas implicadas, y a las salvaguardias y condiciones que acompañen a su uso. Además, el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de aplicación de la ley debe estar sujeto a límites temporales y espaciales adecuados que tengan en cuenta, en particular, las pruebas o indicios relativos a las amenazas, las víctimas o los autores. La base de datos de personas de referencia debe ser adecuada para cada caso de uso en cada una de las tres situaciones antes mencionadas.

(17)Los sistemas de IA que proporcionan calificaciones sociales de personas físicas para su uso con fines generales por parte de las autoridades públicas o en representación de estas pueden tener resultados discriminatorios y abocar a la exclusión a determinados grupos. Pueden menoscabar el derecho a la dignidad y la no discriminación y los valores de igualdad y justicia. Dichos sistemas de IA evalúan o clasifican la fiabilidad de las personas físicas en función de su comportamiento social en múltiples contextos o de características personales o de su personalidad conocidas o predichas. La calificación social resultante de dichos sistemas de IA puede dar lugar a un trato perjudicial o desfavorable de personas físicas o colectivos enteros en contextos sociales que no guardan relación con el contexto donde se generaron o recabaron los datos originalmente, o a un trato perjudicial desproporcionado o injustificado en relación con la gravedad de su comportamiento social. Por lo tanto, dichos sistemas de IA deben prohibirse.

(16)Debe prohibirse la introducción en el mercado, la puesta en servicio o el uso de determinados sistemas de IA destinados a alterar la conducta humana que es probable que provoquen perjuicios físicos o psicológicos. Dichos sistemas de IA despliegan componentes subliminales imperceptibles para el ser humano o se aprovechan de las vulnerabilidades de los menores y las personas por razones de edad o incapacidad física o mental. Lo hacen con la intención de alterar sustancialmente el comportamiento de una persona y de un modo que perjudique o es probable que perjudique a esa misma persona o a otra. Dicha intención no puede darse por supuesta si la alteración del comportamiento humano es el resultado de factores externos al sistema de IA que escapan al control del proveedor o el usuario. Su prohibición no debe impedir la investigación relacionada con esos sistemas de IA con fines legítimos, siempre que tal investigación no implique usar el sistema de IA en cuestión en relaciones entre seres humanos y máquinas que expongan a personas físicas a perjuicios, y siempre que se lleve a cabo con arreglo a las normas éticas reconocidas para la investigación científica.

(11)Debido a su carácter digital, algunos sistemas de IA deben entrar en el ámbito de aplicación del presente Reglamento aunque no se introduzcan en el mercado, se pongan en servicio ni se utilicen en la Unión. Tal es el caso, por ejemplo, de un operador establecido en la Unión que contrate determinados servicios a otro operador establecido fuera de la Unión en relación con una actividad que llevará a cabo un sistema de IA que se consideraría de alto riesgo y que tiene repercusiones para las personas físicas ubicadas en la Unión. En dichas circunstancias, el sistema de IA usado por el operador de fuera de la Unión podría tratar datos recabados legalmente en la UE y transferidos desde su territorio, y proporcionar al operador contratante ubicado en la Unión la información de salida generada por dicho sistema de IA a raíz de su tratamiento, sin que el sistema de IA en cuestión se introduzca en el mercado, se ponga en servicio o se utilice en la Unión. Para evitar la elusión de este Reglamento y asegurar la protección efectiva de las personas físicas ubicadas en la Unión, el presente Reglamento también debe aplicarse a los proveedores y usuarios de sistemas de IA establecidos en un tercer país, en la medida en que la información de salida generada por dichos sistemas se utilice en la Unión. No obstante, con el objetivo de tener en cuenta los acuerdos existentes y las necesidades especiales de cooperación con socios extranjeros con los que se intercambian información y pruebas, el presente Reglamento no debe aplicarse a las autoridades públicas de un tercer país ni a las organizaciones internacionales cuando actúen en el marco de acuerdos internacionales celebrados a escala nacional o europea con fines de cooperación policial y judicial con la Unión o sus Estados miembros. Dichos acuerdos se han celebrado bilateralmente entre los Estados miembros y terceros países o entre la Unión Europea, Europol y otras agencias de la UE y terceros países y organizaciones internacionales.

(31)Que un sistema de IA se considere de alto riesgo en virtud del presente Reglamento no significa necesariamente que el producto del que sea componente de seguridad, o el sistema de IA en sí mismo como producto, se considere de «alto riesgo» conforme a los criterios establecidos en la legislación de armonización de la Unión pertinente que se aplique al producto. Tal es el caso, en particular, del Reglamento (UE) 2017/745 del Parlamento Europeo y del Consejo y del Reglamento (UE) 2017/746 del Parlamento Europeo y del Consejo, que prevén que un organismo independiente realice una evaluación de la conformidad de los productos de riesgo medio y alto.

(32)En cuanto a los sistemas de IA independientes, es decir, aquellos sistemas de IA de alto riesgo que no son componentes de seguridad de productos o no son productos en sí mismos, hay que considerarlos de alto riesgo si, a la luz de su finalidad prevista, presentan un alto riesgo de menoscabar la salud y la seguridad o los derechos fundamentales de las personas, teniendo en cuenta tanto la gravedad del posible perjuicio como la probabilidad de que se produzca, y se utilizan en varias esferas predefinidas especificadas en el presente Reglamento. Para identificar dichos sistemas se emplean la misma metodología y los mismos criterios previstos para la posible modificación futura de la lista de sistemas de IA de alto riesgo.

(33)Las imprecisiones técnicas de los sistemas de IA destinados a la identificación biométrica remota de las personas físicas pueden dar lugar a resultados sesgados y tener consecuencias discriminatorias. Esto es especialmente importante en lo que respecta a la edad, la etnia, el sexo o la discapacidad. Por este motivo, debe considerarse que los sistemas de identificación biométrica remota «en tiempo real» y «en diferido» conllevan un alto riesgo. Debido a los riesgos que entrañan, deben aplicarse requisitos específicos referentes a las capacidades de registro y la vigilancia humana a ambos tipos de sistemas de identificación biométrica remota.

(34)En el caso de la gestión y el funcionamiento de infraestructuras críticas, conviene considerar de alto riesgo a los sistemas de IA destinados a ser componentes de seguridad en la gestión y el funcionamiento del tráfico rodado y el suministro de agua, gas, calefacción y electricidad, pues su fallo o defecto de funcionamiento puede poner en peligro la vida y la salud de las personas a gran escala y alterar de manera apreciable el desarrollo habitual de las actividades sociales y económicas.

(35)Deben considerarse de alto riesgo los sistemas de IA que se utilizan en la educación o la formación profesional, y en especial aquellos que determinan el acceso o distribuyen a las personas entre distintas instituciones educativas y de formación profesional o aquellos que evalúan a las personas a partir de pruebas realizadas en el marco de su educación o como condición necesaria para acceder a ella, ya que pueden decidir la trayectoria formativa y profesional de una persona y, en consecuencia, afectar a su capacidad para asegurar su subsistencia. Cuando no se diseñan y utilizan correctamente, estos sistemas pueden violar el derecho a la educación y la formación, y el derecho a no sufrir discriminación, además de perpetuar patrones históricos de discriminación.

(36)También deben considerarse de alto riesgo los sistemas de IA que se utilizan en el empleo, la gestión de los trabajadores y el acceso al autoempleo, sobre todo para la contratación y la selección de personal; para la toma de decisiones relativas a la promoción y la rescisión de contratos; y para la asignación de tareas y el seguimiento o la evaluación de personas en relaciones contractuales de índole laboral, dado que pueden afectar de un modo considerable a las futuras perspectivas laborales y los medios de subsistencia de dichas personas. Las relaciones contractuales de índole laboral deben implicar a los empleados y las personas que prestan servicios a través de plataformas, como indica el Programa de trabajo de la Comisión para 2021. En principio, esas personas no deben ser consideradas usuarios en el sentido del presente Reglamento. Dichos sistemas pueden perpetuar patrones históricos de discriminación, por ejemplo contra las mujeres, ciertos grupos de edad, personas con discapacidad o personas de orígenes raciales o étnicos concretos o con una orientación sexual determinada, durante todo el proceso de contratación y en la evaluación, la promoción o la retención de personas en relaciones contractuales de índole laboral. Los sistemas de IA empleados para controlar el rendimiento y el comportamiento de estas personas también pueden afectar a sus derechos a la protección de los datos personales y a la privacidad.

(37)El acceso y el disfrute de determinados servicios y ayudas esenciales de carácter público y privado necesarios para que las personas participen en la sociedad o cuenten con unas condiciones de vida mejores es otro ámbito en el que conviene prestar especial atención a la utilización de sistemas de IA. En concreto, deben considerarse de alto riesgo los sistemas de IA usados para evaluar la calificación crediticia o solvencia de personas físicas, ya que deciden si dichas personas pueden acceder a recursos financieros o servicios esenciales como la vivienda, la electricidad y los servicios de telecomunicaciones. Los sistemas de IA usados con este fin pueden discriminar a personas o grupos y perpetuar patrones históricos de discriminación, por ejemplo, por motivos de origen racial o étnico, discapacidad, edad u orientación sexual, o generar nuevas formas de efectos discriminatorios. Habida cuenta del alcance sumamente limitado de su impacto y de las escasas alternativas disponibles en el mercado, conviene dejar exentos a los sistemas de IA destinados a evaluar la solvencia y la calificación crediticia cuando los pongan en servicio proveedores a pequeña escala para su propio uso. Las personas físicas que solicitan o reciben ayudas y servicios de autoridades públicas suelen depender de ellos y, por lo general, se encuentran en una posición de vulnerabilidad respecto de las autoridades responsables. Si se utilizan sistemas de IA para decidir si las autoridades deben denegar, reducir, revocar o reclamar dichas ayudas y servicios, estos sistemas pueden afectar de un modo considerable a los medios de subsistencia de las personas y podrían infringir sus derechos fundamentales, como el derecho a la protección social, a la no discriminación, a la dignidad humana o a una tutela judicial efectiva. Por lo tanto, esos sistemas deben considerarse de alto riesgo. No obstante, el presente Reglamento no debe obstaculizar el desarrollo y el uso de enfoques innovadores en la Administración pública, que se beneficiarían de una mayor utilización de sistemas de IA conformes y seguros, siempre y cuando dichos sistemas no conlleven un alto riesgo para las personas jurídicas y físicas. Por último, los sistemas de IA empleados para el envío o el establecimiento de prioridades en el envío de servicios de primera intervención en situaciones de emergencia también deben considerarse de alto riesgo, dado que adoptan decisiones en situaciones sumamente críticas para la vida y la salud de las personas y de sus bienes.

(38)Las actuaciones de las autoridades encargadas de la aplicación de la ley que implican determinados usos de sistemas de IA se caracterizan por un importante desequilibrio de poder y pueden dar lugar a la vigilancia, la detención o la privación de libertad de una persona física, así como a otros efectos negativos sobre los derechos fundamentales que garantiza la Carta. En particular, si el sistema de IA no está entrenado con datos de buena calidad, no cumple los requisitos oportunos en términos de precisión o solidez, o no se diseña y prueba debidamente antes de introducirlo en el mercado o ponerlo en servicio, puede señalar a personas de manera discriminatoria, incorrecta o injusta. Además, podría impedir el ejercicio de importantes derechos procesales fundamentales, como el derecho a la tutela judicial efectiva y a un juez imparcial, así como los derechos de la defensa y la presunción de inocencia, sobre todo cuando dichos sistemas de IA no sean lo suficientemente transparentes y explicables ni estén bien documentados. Por consiguiente, procede considerar de alto riesgo a múltiples sistemas de IA diseñados para usarse con fines de aplicación de la ley cuando su precisión, fiabilidad y transparencia sean especialmente importantes para evitar consecuencias adversas, conservar la confianza de la población y garantizar la rendición de cuentas y una compensación efectiva. En vista de la naturaleza de las actividades en cuestión y de los riesgos conexos, entre dichos sistemas de IA de alto riesgo deben incluirse, en particular, los sistemas de IA que las autoridades encargadas de la aplicación de la ley utilicen para realizar evaluaciones del riesgo individuales, los polígrafos y herramientas similares, o los sistemas utilizados para detectar el estado emocional de una persona física; para detectar ultrafalsificaciones; para evaluar la fiabilidad de las pruebas en un proceso penal; para predecir la comisión o reiteración de un delito real o potencial mediante la elaboración de perfiles de personas físicas; para evaluar rasgos y características de la personalidad o conductas delictivas pasadas de personas físicas o grupos; para elaborar perfiles durante la detección, la investigación o el enjuiciamiento de infracciones penales, y para realizar análisis penales en relación con personas físicas. No debe considerarse que los sistemas de IA destinados específicamente a que las autoridades fiscales y aduaneras los utilicen en procesos administrativos forman parte de los sistemas de IA de alto riesgo usados por las autoridades encargadas de la aplicación de la ley con el fin de prevenir, detectar, investigar y enjuiciar infracciones penales.

(39)Los sistemas de IA empleados en la gestión de la migración, el asilo y el control fronterizo afectan a personas que con frecuencia se encuentran en una situación especialmente vulnerable y dependen del resultado de las actuaciones de las autoridades públicas competentes. Por este motivo, es sumamente importante que los sistemas de IA que se utilizan en estos contextos sean precisos, no discriminatorios y transparentes, a fin de garantizar que se respeten los derechos fundamentales de las personas afectadas y, en particular, sus derechos a la libre circulación, la no discriminación, la intimidad personal y la protección de los datos personales, la protección internacional y la buena administración. Por lo tanto, procede considerar de alto riesgo a aquellos sistemas de IA destinados a que las autoridades públicas competentes que realizan tareas en el ámbito de la gestión de la migración, el asilo y el control fronterizo los utilicen como polígrafos y herramientas similares o para detectar el estado emocional de una persona física; para evaluar determinados riesgos que presenten personas físicas que entren en el territorio de un Estado miembro o soliciten un visado o asilo; para verificar la autenticidad de los documentos pertinentes de personas físicas; para ayudar a las autoridades públicas competentes a examinar las solicitudes de asilo, visado y permiso de residencia, así como las reclamaciones conexas en relación con el objetivo de determinar si las personas físicas solicitantes de un estatuto reúnen los requisitos necesarios para su obtención. Los sistemas de IA en el ámbito de la gestión de la migración, el asilo y el control fronterizo abarcados por el presente Reglamento deben cumplir los requisitos procedimentales pertinentes establecidos por la Directiva 2013/32/UE del Parlamento Europeo y del Consejo, el Reglamento (UE) n.º 810/2009 del Parlamento Europeo y el Consejo, y otra legislación en la materia.

(40)Deben considerarse de alto riesgo ciertos sistemas de IA destinados a la administración de justicia y los procesos democráticos, dado que pueden tener efectos potencialmente importantes para la democracia, el Estado de Derecho, las libertades individuales y el derecho a la tutela judicial efectiva y a un juez imparcial. En particular, a fin de evitar el riesgo de posibles sesgos, errores y opacidades, procede considerar de alto riesgo aquellos sistemas de IA cuyo objetivo es ayudar a las autoridades judiciales a investigar e interpretar los hechos y el Derecho y a aplicar la ley a unos hechos concretos. No obstante, dicha clasificación no debe hacerse extensiva a los sistemas de IA destinados a actividades administrativas meramente accesorias que no afectan a la administración de justicia en casos concretos, como la anonimización o seudonimización de las resoluciones judiciales, documentos o datos; la comunicación entre los miembros del personal; tareas administrativas, o la asignación de recursos.

(41)El hecho de que un sistema de IA sea considerado de alto riesgo en virtud del presente Reglamento no debe interpretarse como indicador de que su uso sea legal con arreglo a otros actos del Derecho de la Unión o del Derecho interno compatible con el Derecho de la Unión relativo a la protección de los datos personales o a la utilización de polígrafos y herramientas similares u otros sistemas para detectar el estado emocional de las personas físicas. Todo uso de ese tipo debe seguir realizándose exclusivamente en consonancia con los requisitos oportunos derivados de la Carta y de los actos aplicables del Derecho derivado de la Unión y del Derecho interno. No debe entenderse que el presente Reglamento constituye el fundamento jurídico para el tratamiento de datos personales, incluidas categorías especiales de datos personales, cuando sea pertinente.

(42)Con el objetivo de mitigar los riesgos que presentan para los usuarios y las personas afectadas los sistemas de IA de alto riesgo que se introducen en el mercado o ponen en servicio en la Unión, es preciso aplicar ciertos requisitos obligatorios que tengan en cuenta la finalidad prevista del uso del sistema y estén en consonancia con el sistema de gestión de riesgos que debe establecer el proveedor.

(43)Deben aplicarse a los sistemas de IA de alto riesgo requisitos referentes a la calidad de los conjuntos de datos utilizados, la documentación técnica y el registro, la transparencia y la comunicación de información a los usuarios, la vigilancia humana, la solidez, la precisión y la ciberseguridad. Dichos requisitos son necesarios para mitigar de forma efectiva los riesgos para la salud, la seguridad y los derechos fundamentales, según corresponda en función de la finalidad prevista del sistema, y no se dispone razonablemente de otras medidas menos restrictivas del comercio, con lo que se evitan restricciones injustificadas de este.

(44)Muchos sistemas de IA necesitan datos de alta calidad para funcionar correctamente, en especial cuando se emplean técnicas que implican el entrenamiento de modelos, con vistas a garantizar que el sistema de IA de alto riesgo funciona del modo previsto y en condiciones de seguridad y no se convierte en la fuente de alguno de los tipos de discriminación prohibidos por el Derecho de la Unión. Es preciso instaurar prácticas adecuadas de gestión y gobernanza de datos para lograr que los conjuntos de datos de entrenamiento, validación y prueba sean de buena calidad. Los conjuntos de datos de entrenamiento, validación y prueba deben ser lo suficientemente pertinentes y representativos, carecer de errores y ser completos en vista de la finalidad prevista del sistema. Asimismo, deben tener las propiedades estadísticas adecuadas, también en lo que respecta a las personas o los grupos de personas en las que en un principio se usará el sistema de IA de alto riesgo. En concreto, los conjuntos de datos de entrenamiento, validación y prueba deben tener en cuenta, en la medida necesaria en función de su finalidad prevista, los rasgos, características o elementos particulares del entorno o contexto geográfico, conductual o funcional específico en el que se pretende utilizar el sistema de IA. Con el fin de proteger los derechos de terceros frente a la discriminación que podría provocar el sesgo de los sistemas de IA, los proveedores deben ser capaces de tratar también categorías especiales de datos personales, como cuestión de interés público esencial, para garantizar que el sesgo de los sistemas de IA de alto riesgo se vigile, detecte y corrija.

(45)Para poder desarrollar sistemas de IA de alto riesgo, determinados agentes, tales como proveedores, organismos notificados y otras entidades pertinentes, como centros de innovación digital, centros de ensayo y experimentación e investigadores, deben tener acceso a conjuntos de datos de alta calidad en sus respectivos campos de actividad relacionados con el presente Reglamento y poder utilizarlos. Los espacios comunes europeos de datos establecidos por la Comisión y la facilitación del intercambio de datos entre empresas y con los Gobiernos en aras del interés público serán esenciales para brindar un acceso fiable, responsable y no discriminatorio a datos de alta calidad con los que entrenar, validar y probar los sistemas de IA. Por ejemplo, en el ámbito de la salud, el espacio europeo de datos sanitarios facilitará el acceso no discriminatorio a datos sanitarios y el entrenamiento, a partir de esos conjuntos de datos, de algoritmos de inteligencia artificial de una manera segura, oportuna, transparente y fiable que respete la privacidad, y contando con la debida gobernanza institucional. Las autoridades competentes pertinentes, incluidas las sectoriales, que proporcionan acceso a datos o lo facilitan también pueden contribuir al suministro de datos de alta calidad orientados a entrenar, validar y probar sistemas de IA.

(46)Para verificar si los sistemas de IA de alto riesgo cumplen los requisitos previstos en el presente Reglamento, resulta esencial disponer de información sobre el modo en que se han desarrollado y sobre su funcionamiento durante todo su ciclo de vida. A tal fin, es preciso llevar registros y disponer de documentación técnica que contenga la información necesaria para evaluar si el sistema de IA en cuestión cumple los requisitos pertinentes. Dicha información debe incluir, en particular, las características, capacidades y limitaciones generales del sistema; los algoritmos; los datos; los procesos de entrenamiento, pruebo y validación empleados, y documentación sobre el sistema de gestión de riesgos pertinente. La documentación técnica debe mantenerse actualizada.

(47)Por otro lado, debe exigirse cierto grado de transparencia respecto de los sistemas de IA de alto riesgo para subsanar la opacidad que puede hacer a algunos de ellos incomprensibles o demasiado complejos para las personas físicas. Los usuarios deben ser capaces de interpretar la información de salida del sistema y de usarla adecuadamente. En consecuencia, los sistemas de IA de alto riesgo deben ir acompañados de la documentación y las instrucciones de uso oportunas e incluir información clara y concisa, en particular sobre los posibles riesgos para los derechos fundamentales y de discriminación, cuando corresponda.

(48)Los sistemas de IA de alto riesgo deben diseñarse y desarrollarse de tal modo que su funcionamiento pueda ser vigilado por personas físicas. A tal fin, el proveedor del sistema debe definir las medidas adecuadas de vigilancia humana antes de su introducción en el mercado o puesta en servicio. Cuando proceda, dichas medidas deben garantizar, en concreto, que el sistema presente limitaciones operativas incorporadas que el propio sistema no pueda desactivar, que responda al operador humano, y que las personas físicas a quienes se haya encomendado la vigilancia humana posean las competencias, la formación y la autoridad necesarias para desempeñar esa función.

(49)Los sistemas de IA de alto riesgo deben funcionar de manera consistente durante todo su ciclo de vida y presentar un nivel adecuado de precisión, solidez y ciberseguridad con arreglo al estado de la técnica generalmente reconocido. En este sentido, debe comunicarse a los usuarios el nivel de precisión y los parámetros empleados para medirla.

(50)La solidez técnica es un requisito clave para los sistemas de IA de alto riesgo, que deben ser resilientes a los riesgos asociados a las limitaciones del sistema (p. ej., errores, fallos, incoherencias o situaciones inesperadas), así como a acciones maliciosas que pueden poner en peligro su seguridad y dar lugar a conductas perjudiciales o indeseables por otros motivos. La incapacidad de protegerlos frente a estos riesgos podría tener consecuencias para la seguridad o afectar de manera negativa a los derechos fundamentales, por ejemplo, debido a la adopción de decisiones equivocadas o a que el sistema de IA en cuestión genere una información de salida errónea o sesgada.