Source: EURLEX
Language: es
Format: md

|  |  |  |  |
| --- | --- | --- | --- |
| 6.10.2021 | ES | Diario Oficial de la Unión Europea | C 404/63 |

---

P9\_TA(2020)0275

Marco de los aspectos éticos de la inteligencia artificial, la robótica y las tecnologías conexas

Resolución del Parlamento Europeo, de 20 de octubre de 2020, con recomendaciones destinadas a la Comisión sobre un marco de los aspectos éticos de la inteligencia artificial, la robótica y las tecnologías conexas (2020/2012(INL))

(2021/C 404/04)

El Parlamento Europeo,

|  |  |
| --- | --- |
| — | Visto el artículo 225 del Tratado de Funcionamiento de la Unión Europea, |

|  |  |
| --- | --- |
| — | Visto el artículo 114 del Tratado de Funcionamiento de la Unión Europea, |

|  |  |
| --- | --- |
| — | Vista la Carta de los Derechos Fundamentales de la Unión Europea, |

|  |  |
| --- | --- |
| — | Visto el Reglamento (UE) 2018/1488 del Consejo, de 28 de septiembre de 2018, por el que se crea la Empresa Común de Informática de Alto Rendimiento Europea [(1)](#ntr1-C_2021404ES.01006301-E0001), |

|  |  |
| --- | --- |
| — | Vista la Directiva 2000/43/CE del Consejo, de 29 de junio de 2000, relativa a la aplicación del principio de igualdad de trato de las personas independientemente de su origen racial o étnico [(2)](#ntr2-C_2021404ES.01006301-E0002) (Directiva sobre igualdad racial), |

|  |  |
| --- | --- |
| — | Vista la Directiva 2000/78/CE del Consejo, de 27 de noviembre de 2000, relativa al establecimiento de un marco general para la igualdad de trato en el empleo y la ocupación [(3)](#ntr3-C_2021404ES.01006301-E0003) (Directiva sobre la igualdad de trato en el empleo), |

|  |  |
| --- | --- |
| — | Vistos el Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos) [(4)](#ntr4-C_2021404ES.01006301-E0004) (RGPD), y la Directiva (UE) 2016/680 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativa a la protección de las personas físicas en lo que respecta al tratamiento de datos personales por parte de las autoridades competentes para fines de prevención, investigación, detección o enjuiciamiento de infracciones penales o de ejecución de sanciones penales, y a la libre circulación de dichos datos y por la que se deroga la Decisión Marco 2008/977/JAI del Consejo [(5)](#ntr5-C_2021404ES.01006301-E0005), |

|  |  |
| --- | --- |
| — | Visto el Acuerdo interinstitucional, de 13 de abril de 2016, sobre la mejora de la legislación [(6)](#ntr6-C_2021404ES.01006301-E0006), |

|  |  |
| --- | --- |
| — | Vista la propuesta de Reglamento del Parlamento Europeo y del Consejo, de 6 de junio de 2018, por el que se establece el programa Europa Digital para el período 2021-2027 (COM(2018)0434), |

|  |  |
| --- | --- |
| — | Vista la Comunicación de la Comisión al Parlamento Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones, de 11 de diciembre de 2019, titulada «El Pacto Verde Europeo»(COM(2019)0640), |

|  |  |
| --- | --- |
| — | Vista la Comunicación de la Comisión al Parlamento Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones, de 19 de febrero de 2020, titulada «Libro Blanco sobre la inteligencia artificial: un enfoque europeo orientado a la excelencia y la confianza» (COM(2020)0065), |

|  |  |
| --- | --- |
| — | Vista la Comunicación de la Comisión al Parlamento Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones, de 19 de febrero de 2020, titulada «Una Estrategia Europea de Datos» (COM(2020)0066), |

|  |  |
| --- | --- |
| — | Vista la Comunicación de la Comisión al Parlamento Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones, de 19 de febrero de 2020, titulada «Configurar el futuro digital de Europa» (COM(2020)0067), |

|  |  |
| --- | --- |
| — | Vistas las Conclusiones del Consejo de la Unión Europea sobre el diseño del futuro digital de Europa, de junio de 2020, |

|  |  |
| --- | --- |
| — | Vista su Resolución, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica [(7)](#ntr7-C_2021404ES.01006301-E0007), |

|  |  |
| --- | --- |
| — | Vista su Resolución, de 1 de junio de 2017, sobre la digitalización de la industria europea [(8)](#ntr8-C_2021404ES.01006301-E0008), |

|  |  |
| --- | --- |
| — | Vista su Resolución, de 12 de septiembre de 2018, sobre los sistemas armamentísticos autónomos [(9)](#ntr9-C_2021404ES.01006301-E0009), |

|  |  |
| --- | --- |
| — | Vista su Resolución, de 11 de septiembre de 2018, sobre la igualdad lingüística en la era digital, [(10)](#ntr10-C_2021404ES.01006301-E0010) |

|  |  |
| --- | --- |
| — | Vista su Resolución, de 12 de febrero de 2019, sobre una política industrial global europea en materia de inteligencia artificial y robótica [(11)](#ntr11-C_2021404ES.01006301-E0011), |

|  |  |
| --- | --- |
| — | Visto el informe, de 8 de abril de 2019, del Grupo de expertos de alto nivel sobre inteligencia artificial creado por la Comisión, titulado «Directrices éticas para una IA fiable», |

|  |  |
| --- | --- |
| — | Visto el estudio de evaluación del valor añadido europeo realizado por el Servicio de Estudios Parlamentarios (EPRS) titulado «European framework on ethical aspects of artificial intelligence, robotics and related technologies: European added value assessment» (Marco europeo de los aspectos éticos de la inteligencia artificial, la robótica y las tecnologías conexas: valor añadido europeo) [(12)](#ntr12-C_2021404ES.01006301-E0012), |

|  |  |
| --- | --- |
| — | Vistos las comunicaciones y los estudios elaborados a petición del Grupo de Expertos sobre el Futuro de la Ciencia y la Tecnología (STOA), dirigido por la Unidad de Prospectiva Científica del Servicio de Estudios del Parlamento Europeo, titulados «What if algorithms could abide by ethical principles?» (¿Y si los algoritmos obedeciesen a principios éticos?), «Artificial Intelligence ante portas: Legal & ethical reflections» (Inteligencia artificial ante portas: reflexiones legales y éticas), «A governance framework for algorithmic accountability and transparency» (Un marco de gobernanza para la rendición de cuentas y la transparencia de los algoritmos), «Should we fear artificial intelligence?» (¿Debemos temer a la inteligencia artificial?) y «The ethics of artificial intelligence: Issues and initiatives» (La ética de la inteligencia artificial: problemas e iniciativas), |

|  |  |
| --- | --- |
| — | Vistos el Convenio Marco del Consejo de Europa para la Protección de las Minorías Nacionales, el Protocolo n.o 12 del Convenio para la Protección de los Derechos Humanos y de las Libertades fundamentales y la Carta Europea de las Lenguas Regionales o Minoritarias, |

|  |  |
| --- | --- |
| — | Vista la Recomendación del Consejo de la OCDE sobre la inteligencia artificial, aprobada el 22 de mayo de 2019, |

|  |  |
| --- | --- |
| — | Vistos los artículos 47 y 54 de su Reglamento interno, |

|  |  |
| --- | --- |
| — | Vistas las opiniones de la Comisión de Asuntos Exteriores, de la Comisión de Mercado Interior y Protección del Consumidor, de la Comisión de Transportes y Turismo, de la Comisión de Libertades Civiles, Justicia y Asuntos de Interior, de la Comisión de Empleo y Asuntos Sociales, de la Comisión de Medio Ambiente, Salud Pública y Seguridad Alimentaria y de la Comisión de Cultura y Educación, |

|  |  |
| --- | --- |
| — | Visto el informe de la Comisión de Asuntos Jurídicos (A9-0186/2020), |

Introducción

|  |  |
| --- | --- |
| A. | Considerando que los seres humanos son quienes desarrollan, despliegan y utilizan la inteligencia artificial, la robótica y las tecnologías conexas, y que sus elecciones determinan el potencial de dichas tecnologías para beneficiar a la sociedad; |

|  |  |
| --- | --- |
| B. | Considerando que la inteligencia artificial, la robótica y las tecnologías conexas que tienen potencial para generar oportunidades para las empresas y beneficios para los ciudadanos y que pueden tener un impacto directo en todos los aspectos de nuestras sociedades, incluidos los derechos fundamentales y los valores y principios sociales y económicos, así como tener una influencia duradera en todos los ámbitos de actividad, se están fomentando y desarrollando con gran rapidez; |

|  |  |
| --- | --- |
| C. | Considerando que la inteligencia artificial, la robótica y las tecnologías conexas conducirán a cambios sustanciales en el mercado laboral y en el lugar de trabajo; que pueden llegar a sustituir a trabajadores que realizan actividades repetitivas, facilitar sistemas de trabajo colaborativo entre las personas y las máquinas, aumentar la competitividad y la prosperidad y crear nuevas oportunidades de empleo para los trabajadores cualificados, al tiempo que plantean serias dificultades en lo relativo a la reorganización de la mano de obra; |

|  |  |
| --- | --- |
| D. | Considerando que el desarrollo de la inteligencia artificial, la robótica y las tecnologías conexas puede contribuir asimismo a alcanzar los objetivos de sostenibilidad del Pacto Verde Europeo en gran diversidad de sectores; que las tecnologías digitales pueden potenciar el impacto de las políticas en la protección medioambiental; que también pueden contribuir a reducir la congestión del tráfico y las emisiones de gases de efecto invernadero y de contaminantes atmosféricos; |

|  |  |
| --- | --- |
| E. | Considerando que, para sectores como el transporte público, los sistemas de transporte inteligentes basados en la inteligencia artificial pueden utilizarse para reducir al máximo las colas, optimizar las rutas, permitir que las personas con discapacidad tengan una mayor independencia y aumentar la eficiencia energética, reforzando así los esfuerzos de descarbonización y reduciendo la huella ambiental; |

|  |  |
| --- | --- |
| F. | Considerando que estas tecnologías, si se utilizan en mayor medida, abren nuevas oportunidades de negocio que pueden contribuir a la recuperación de la industria de la Unión tras la crisis sanitaria y económica actual, por ejemplo en el sector del transporte; que tales oportunidades pueden crear nuevos puestos de trabajo, ya que la adopción de estas tecnologías puede aumentar los niveles de productividad de las empresas y contribuir a mejorar la eficiencia; que los programas de innovación en este ámbito pueden permitir que prosperen las agrupaciones regionales; |

|  |  |
| --- | --- |
| G. | Considerando que la Unión y sus Estados miembros tienen una responsabilidad particular a la hora de aprovechar, promover y aumentar el valor añadido de la inteligencia artificial y de garantizar que las tecnologías de inteligencia artificial en la Unión sean seguras y contribuyan al bienestar y al interés general de sus ciudadanos, ya que pueden ayudar enormemente a la consecución del objetivo común de mejorar las vidas de los ciudadanos e impulsar la prosperidad dentro de la Unión, contribuyendo al desarrollo de mejores estrategias e innovación en diversos ámbitos y sectores; que, para aprovechar plenamente las posibilidades que ofrece la inteligencia artificial y hacer que los usuarios sean conscientes de las ventajas y los retos que entraña esta tecnología, es necesario incluir la inteligencia artificial o la alfabetización digital en la educación y la formación, también en lo que respecta al fomento de la inclusión digital, así como llevar a cabo campañas de información a escala de la Unión en las que se presenten con exactitud todos los aspectos del desarrollo de la inteligencia artificial; |

|  |  |
| --- | --- |
| H. | Considerando que un marco regulador común de la Unión para el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas (en adelante denominado «marco regulador para la inteligencia artificial») debe permitir a los ciudadanos compartir las ventajas derivadas del potencial que encierran, protegiendo al mismo tiempo a los ciudadanos de los posibles riesgos de tales tecnologías y fomentando la fiabilidad de dichas tecnologías en la Unión y fuera de ella; que dicho marco debe estar basado en la legislación y los valores de la Unión y regirse por los principios de transparencia, explicabilidad, equidad, rendición de cuentas y responsabilidad; |

|  |  |
| --- | --- |
| I. | Considerando que tal marco regulador reviste una importancia fundamental a la hora de evitar la fragmentación del mercado interior resultante de las divergencias entre legislaciones nacionales y contribuirá a fomentar las tan necesarias inversiones, a desarrollar infraestructuras de datos y a apoyar la investigación; que debe consistir en obligaciones jurídicas comunes y principios éticos, tal como se establecen en la propuesta de Reglamento solicitada en el anexo a la presente Resolución; que se debe crear de conformidad con las directrices para la mejora de la legislación; |

|  |  |
| --- | --- |
| J. | Considerando que la Unión dispone de un estricto marco jurídico para garantizar, entre otras cuestiones, la protección de los datos personales y la intimidad y la no discriminación y para promover la paridad de género, la protección del medio ambiente y los derechos de los consumidores; que ese marco jurídico, constituido por un corpus de legislación horizontal y sectorial de gran extensión, que incluye la normativa vigente en materia de seguridad de los productos y responsabilidad, seguirá siendo de aplicación en relación con la inteligencia artificial, la robótica y las tecnologías conexas, si bien puede resultar necesario adaptar hasta cierto punto algunos instrumentos jurídicos concretos al objeto de reflejar la transformación digital y dar respuesta a los nuevos retos que plantea el uso de la inteligencia artificial; |

|  |  |
| --- | --- |
| K. | Considerando que hay inquietud en cuanto a que el actual marco jurídico de la Unión, en particular el Derecho en materia de protección de los consumidores y el acervo en materia de empleo y social, la legislación en materia de protección de datos, la legislación relativa a la seguridad de los productos y a la vigilancia del mercado, así como la legislación en materia de lucha contra la discriminación, pueda ya no ser adecuado para hacer frente de manera eficaz a los riesgos que plantean la inteligencia artificial, la robótica y las tecnologías conexas; |

|  |  |
| --- | --- |
| L. | Considerando que, además de las adaptaciones de la legislación vigente, las cuestiones de carácter ético y jurídico relacionadas con la inteligencia artificial deben abordarse a través de un marco regulador del Derecho de la Unión efectivo, global y con visión de futuro que refleje los principios y valores de la Unión consagrados en los Tratados y en la Carta de los Derechos Fundamentales de la Unión Europea (en lo sucesivo, «Carta»), que evite el exceso de regulación, se limite a subsanar las lagunas jurídicas existentes y aumente la seguridad jurídica para las empresas y para los ciudadanos, incluyendo en particular medidas de carácter obligatorio al objeto de evitar prácticas que irían sin duda alguna en menoscabo de los derechos fundamentales; |

|  |  |
| --- | --- |
| M. | Considerando que cualquier nuevo marco regulador debe tener en cuenta todos los intereses en juego; que un atento examen, mediante una evaluación de impacto, de las consecuencias que cualquier nuevo marco regulador entrañaría para todos los agentes ha de ser una condición previa para la adopción de nuevas medidas legislativas; que el papel fundamental que desempeñan las pymes y las empresas emergentes, especialmente en la economía de la Unión, justifica que se adopte un planteamiento estrictamente proporcionado para que puedan desarrollarse e innovar; |

|  |  |
| --- | --- |
| N. | Considerando que la inteligencia artificial, la robótica y las tecnologías conexas pueden tener graves consecuencias para la integridad material e inmaterial de las personas, los grupos y la sociedad en su conjunto, y que los posibles daños individuales y colectivos deben ser abordados con respuestas legislativas; |

|  |  |
| --- | --- |
| O. | Considerando que, para respetar el marco regulador de la Unión para la inteligencia artificial, puede ser necesario adoptar normas específicas para el sector del transporte de la Unión; |

|  |  |
| --- | --- |
| P. | Considerando que las tecnologías de inteligencia artificial revisten una importancia estratégica para el sector del transporte, en particular debido al aumento de la seguridad y la accesibilidad de todos los modos de transporte y a la creación de nuevas oportunidades de empleo y modelos de negocio más sostenibles; que un enfoque de la Unión respecto al desarrollo de la inteligencia artificial, la robótica y las tecnologías conexas en el transporte podría incrementar la competitividad mundial y la autonomía estratégica de la economía de la Unión; |

|  |  |
| --- | --- |
| Q. | Considerando que el error humano aún está presente en alrededor del 95 % del total de los accidentes de tráfico en la Unión; que la Unión tenía el objetivo de reducir las muertes en accidentes de carretera en la Unión en un 50 % para 2020 con respecto a 2010, pero, habida cuenta del estancamiento de los progresos, ha renovado sus esfuerzos en su Marco de la política de seguridad vial de la UE 2021-2030 — Próximos pasos hacia el objetivo «visión cero»; que, en este sentido, la inteligencia artificial, la automatización y otras nuevas tecnologías tienen un gran potencial y una importancia crucial de cara al aumento de la seguridad vial, al reducir las posibilidades de error humano; |

|  |  |
| --- | --- |
| R. | Considerando que el marco regulador de la Unión para la inteligencia artificial debe reflejar también la necesidad de garantizar el respeto de los derechos de los trabajadores; que se debe tener en cuenta el Acuerdo Marco de los interlocutores sociales europeos sobre la digitalización, de junio de 2020; |

|  |  |
| --- | --- |
| S. | Considerando que el ámbito del marco regulador de la Unión para la inteligencia artificial ha de ser adecuado y proporcionado y debe ser objeto de una minuciosa evaluación; que, si bien debe abarcar una amplia gama de tecnologías y componentes de estas, incluidos los algoritmos, los programas informáticos y los datos utilizados o producidos por dichas tecnologías, es necesario un enfoque específico basado en el riesgo para evitar que se obstaculicen las innovaciones en el futuro y se creen cargas innecesarias, especialmente para las pymes; Considerando que la variedad de aplicaciones que se basan en la inteligencia artificial, la robótica y las tecnologías conexas hace difícil alcanzar una solución única que resulte adecuada para toda la gama de riesgos; |

|  |  |
| --- | --- |
| T. | Considerando que el análisis de datos y la inteligencia artificial tienen cada vez más repercusión en la información que se facilita a los ciudadanos; que dichas tecnologías, si se utilizan indebidamente, pueden poner en peligro los derechos fundamentales a la libertad de expresión y de información, así como la libertad y el pluralismo de los medios de comunicación; |

|  |  |
| --- | --- |
| U. | Considerando que el ámbito geográfico del marco regulador de la Unión para la inteligencia artificial debe abarcar todos los componentes de la inteligencia artificial, la robótica y las tecnologías conexas desarrolladas, desplegadas o utilizadas en la Unión, incluso en los casos en que una parte de las tecnologías esté situada fuera de la Unión o no tenga una ubicación específica; |

|  |  |
| --- | --- |
| V. | Considerando que el marco regulador de la Unión para la inteligencia artificial debe abarcar todas las fases pertinentes, a saber, el desarrollo, el despliegue y el uso de las tecnologías pertinentes y de sus componentes, teniendo debidamente en cuenta las obligaciones jurídicas comunes y los principios éticos, y debe establecer las condiciones para garantizar que los desarrolladores, los desplegadores y los usuarios respeten plenamente tales obligaciones y principios; |

|  |  |
| --- | --- |
| W. | Considerando que un enfoque armonizado de los principios éticos relacionados con la inteligencia artificial, la robótica y las tecnologías conexas requiere una interpretación común en la Unión de los conceptos que conforman la base de las tecnologías, como algoritmos, programas informáticos, datos o reconocimiento biométrico; |

|  |  |
| --- | --- |
| X. | Considerando que las acciones a nivel de la Unión están justificadas por la necesidad de evitar la fragmentación de la normativa o una serie de disposiciones reguladoras nacionales sin denominador común, y de garantizar la aplicación homogénea de principios éticos comunes asentados en Derecho al desarrollar, desplegar y utilizar la inteligencia artificial, la robótica y las tecnologías conexas de alto riesgo; que son necesarias normas claras cuando los riesgos son significativos; |

|  |  |
| --- | --- |
| Y. | Considerando que los principios éticos comunes solo son eficaces cuando están también asentados en Derecho y se establece quiénes son los responsables de garantizar, evaluar y supervisar la conformidad; |

|  |  |
| --- | --- |
| Z. | Considerando que las orientaciones éticas, como los principios adoptados por el Grupo de expertos de alto nivel sobre inteligencia artificial, constituyen un buen punto de partida, pero no pueden garantizar que los desarrolladores, los desplegadores y los usuarios actúen de manera justa y aseguren la protección eficaz de las personas; que esas orientaciones son más pertinentes aún en lo que respecta la inteligencia artificial, la robótica y las tecnologías conexas de alto riesgo; |

|  |  |
| --- | --- |
| AA. | Considerando que cada Estado miembro debe designar una autoridad nacional de control responsable de garantizar, evaluar y supervisar la conformidad del desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas con el marco regulador de la Unión para la inteligencia artificial, así como de posibilitar el debate y el intercambio de puntos de vista en estrecha cooperación con las partes interesadas y la sociedad civil; que las autoridades nacionales de control deben cooperar entre sí; |

|  |  |
| --- | --- |
| AB. | Considerando que, a fin de garantizar un enfoque armonizado en toda la Unión y un funcionamiento óptimo del mercado único digital, la coordinación a escala de la Unión llevada a cabo por la Comisión o cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse en este contexto debe ser evaluada en lo que respecta a las oportunidades y retos nuevos, en particular los de naturaleza transfronteriza, derivados de la evolución tecnológica en curso; que, a tal fin, la Comisión debe ser la encargada de encontrar una solución adecuada para estructurar dicha coordinación a escala de la Unión; |

Inteligencia artificial antropocéntrica y antropogénica

|  |  |  |
| --- | --- | --- |
|  | 1. | Opina que, sin perjuicio de la legislación sectorial, es necesario contar con un marco regulador efectivo y armonizado basado en el Derecho de la Unión, la Carta y el Derecho internacional en materia de derechos humanos y aplicable, en particular, a las tecnologías de alto riesgo, con el fin de establecer normas iguales en toda la Unión y proteger eficazmente los valores de la Unión; |

|  |  |  |
| --- | --- | --- |
|  | 2. | Opina que cualquier nuevo marco regulador para la inteligencia artificial que prevea obligaciones jurídicas y principios éticos para el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas debe respetar plenamente la Carta y, por tanto, perseguir el respeto de la dignidad humana, la autonomía y la autodeterminación de la persona, la prevención de daños, la promoción de la equidad, la inclusión y la transparencia, la eliminación de los sesgos y la discriminación, también en lo que respecta a los grupos minoritarios, así como respetar los principios de limitación de las externalidades negativas de la tecnología empleada, de explicabilidad de las tecnologías y de garantía de que las tecnologías sirvan a las personas y no las sustituyan ni decidan por ellas, con el objetivo último de elevar el bienestar de todos los seres humanos; |

|  |  |  |
| --- | --- | --- |
|  | 3. | Destaca la asimetría entre quienes emplean tecnologías de inteligencia artificial y quienes interactúan con ellas y se encuentran sujetos a estas; subraya, en este contexto, que la confianza de los ciudadanos en la inteligencia artificial solo puede basarse en un marco regulador ético por defecto y ético desde el diseño que garantice que toda inteligencia artificial puesta en funcionamiento respete plenamente los Tratados, la Carta y el Derecho derivado de la Unión; considera que tal enfoque debe estar en consonancia con el principio de precaución que guía la legislación de la Unión y debe ocupar un lugar central en cualquier marco regulador para la inteligencia artificial; pide, en este sentido, un modelo de gobernanza claro y coherente que permita a las empresas y los innovadores avanzar en el desarrollo de la inteligencia artificial, la robótica y las tecnologías conexas; |

|  |  |  |
| --- | --- | --- |
|  | 4. | Considera que toda medida legislativa relativa a la inteligencia artificial, la robótica y las tecnologías conexas debe respetar los principios de necesidad y de proporcionalidad; |

|  |  |  |
| --- | --- | --- |
|  | 5. | Estima que un enfoque de este tipo permitirá a las empresas introducir productos innovadores en el mercado y crear nuevas oportunidades, al tiempo que se garantiza la protección de los valores de la Unión, conduciendo al desarrollo de sistemas de inteligencia artificial que incorporen los principios éticos de la Unión desde el diseño; considera que un marco regulador de este tipo basado en valores representaría un valor añadido al aportar a la Unión una ventaja competitiva única y contribuiría de forma significativa al bienestar y la prosperidad de los ciudadanos y las empresas de la Unión impulsando el mercado interior; subraya que tal marco regulador para la inteligencia artificial representará también un valor añadido en lo que respecta a la promoción de la innovación en el mercado interior; opina que, por ejemplo, en el sector del transporte, este enfoque brinda a las empresas de la Unión la oportunidad de convertirse en líderes mundiales en este ámbito; |

|  |  |  |
| --- | --- | --- |
|  | 6. | Señala que el marco jurídico de la Unión debe aplicarse a la inteligencia artificial, la robótica y las tecnologías conexas, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías; |

|  |  |  |
| --- | --- | --- |
|  | 7. | Señala que las oportunidades basadas en la inteligencia artificial, la robótica y las tecnologías conexas dependen de los macrodatos y que se necesita una masa crítica de datos para entrenar los algoritmos y refinar los resultados; acoge con satisfacción, a este respecto, la propuesta de la Comisión de crear un espacio común de datos en la Unión para reforzar el intercambio de datos y apoyar la investigación respetando plenamente la normativa europea de protección de datos; |

|  |  |  |
| --- | --- | --- |
|  | 8. | Considera que el actual marco jurídico de la Unión, en particular en materia de protección de la intimidad y los datos personales, tendrá que aplicarse plenamente a la inteligencia artificial, la robótica y las tecnologías conexas, y ser objeto de revisión y análisis de forma periódica, así como de actualización cuando sea necesario, a fin de abordar eficazmente los riesgos que plantean estas tecnologías, y, en este sentido, podría ser beneficioso completarlo con sólidos principios éticos rectores; señala que, en los casos en que resulte prematuro adoptar actos jurídicos, debe recurrirse a un marco de normas no vinculantes; |

|  |  |  |
| --- | --- | --- |
|  | 9. | Espera que la Comisión integre un enfoque ético sólido en la propuesta legislativa solicitada en el anexo a la presente Resolución como seguimiento del Libro Blanco sobre la inteligencia artificial, también en lo que atañe a la seguridad, la responsabilidad y los derechos fundamentales, que maximice las oportunidades y minimice los riesgos de las tecnologías de inteligencia artificial; espera que la propuesta legislativa solicitada incluya soluciones políticas a los importantes riesgos reconocidos de la inteligencia artificial, incluidos, entre otros, los que atañen a la recopilación y el uso éticos de los macrodatos, la cuestión de la transparencia algorítmica y el sesgo algorítmico; pide a la Comisión que elabore criterios e indicadores para clasificar las tecnologías de inteligencia artificial con el fin de estimular la transparencia, la explicabilidad y la rendición de cuentas e incitar a los desarrolladores a que tomen precauciones adicionales; destaca la necesidad de invertir en la integración de disciplinas no técnicas en el estudio y la investigación sobre la inteligencia artificial, teniendo en cuenta el contexto social; |

|  |  |  |
| --- | --- | --- |
|  | 10. | Considera que la inteligencia artificial, la robótica y las tecnologías conexas deben adaptarse a las necesidades humanas, en consonancia con el principio según el cual su desarrollo, despliegue y uso deben estar siempre al servicio del ser humano y nunca al revés y deben tener por objeto aumentar el bienestar y la libertad individual, así como preservar la paz, prevenir los conflictos y reforzar la seguridad internacional, maximizando al mismo tiempo los beneficios ofrecidos y evitando y reduciendo los riesgos; |

|  |  |  |
| --- | --- | --- |
|  | 11. | Declara que el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas de alto riesgo, en particular —pero no solo— por parte de los seres humanos, deben regirse siempre por principios éticos y estar concebidos para respetar y permitir la intervención humana y el control democrático, así como permitir la recuperación del control humano cuando sea necesario aplicando medidas de control adecuadas; |

Evaluación de riesgos

|  |  |  |
| --- | --- | --- |
|  | 12. | Hace hincapié en que toda futura regulación ha de seguir un enfoque basado en el riesgo y orientado al futuro para regular la inteligencia artificial, la robótica y las tecnologías conexas, con normas tecnológicamente aplicables a todos los sectores y con normas sectoriales cuando proceda; señala que, a fin de garantizar la aplicación uniforme del sistema de evaluación de riesgos y el respeto de las obligaciones jurídicas conexas para asegurar la igualdad de condiciones entre los Estados miembros y prevenir la fragmentación del mercado interior, es necesaria una lista exhaustiva y acumulativa de sectores de alto riesgo y de usos o fines de alto riesgo; subraya que tal lista debe someterse a una reevaluación periódica, y señala que, habida cuenta del carácter evolutivo de estas tecnologías, puede ser necesario reevaluar en el futuro el modo en que se realiza su evaluación de riesgos; |

|  |  |  |
| --- | --- | --- |
|  | 13. | Considera que, para determinar si la inteligencia artificial, la robótica y las tecnologías conexas deben considerarse de alto riesgo y, por lo tanto, estar sujetas al obligado cumplimiento de las obligaciones jurídicas y los principios éticos tal como se establecen en el marco regulador para la inteligencia artificial, es necesario basarse siempre en una evaluación ex ante imparcial, regulada y externa apoyada en criterios concretos y definidos; |

|  |  |  |
| --- | --- | --- |
|  | 14. | Considera que, a este respecto, la inteligencia artificial, la robótica y las tecnologías conexas deben considerarse de alto riesgo cuando su desarrollo, despliegue y uso entrañen un riesgo significativo de causar lesiones o daños a particulares o a la sociedad, vulnerando los derechos fundamentales y las normas de seguridad establecidas en el Derecho de la Unión; considera que, a efectos de evaluar si las tecnologías de inteligencia artificial entrañan un riesgo de ese tipo, deben tenerse en cuenta el sector en el que se desarrollan, despliegan o utilizan, su uso o finalidad específicos y la gravedad de la lesión o daño que cabe esperar que se produzca; opina que los criterios primero y segundo, es decir el sector y el uso o finalidad específicos, deben considerarse de forma acumulativa; |

|  |  |  |
| --- | --- | --- |
|  | 15. | Subraya que la evaluación de riesgos de estas tecnologías debe efectuarse sobre la base de una lista exhaustiva y acumulativa de sectores de alto riesgo y de usos o fines de alto riesgo; se muestra firmemente convencido de que debe haber coherencia dentro de la Unión en lo que respecta a la evaluación de riesgos de estas tecnologías, especialmente cuando se evalúan a la luz de su conformidad con el marco regulador para la inteligencia artificial y de conformidad con cualquier otra legislación sectorial aplicable; |

|  |  |  |
| --- | --- | --- |
|  | 16. | Opina que este enfoque basado en el riesgo ha de estar concebido de tal manera que limite todo lo posible la carga administrativa para las empresas, en particular las pymes, utilizando instrumentos ya existentes; señala que dichos instrumentos incluyen, entre otros, la lista de la evaluación de impacto relativa a la protección de datos prevista en el Reglamento (UE) 2016/679; |

Características de seguridad, transparencia y rendición de cuentas

|  |  |  |
| --- | --- | --- |
|  | 17. | Recuerda que el derecho a la información de los consumidores constituye un principio fundamental en virtud del Derecho de la Unión, y subraya que, en consecuencia, debe respetarse plenamente en relación con la inteligencia artificial, la robótica y las tecnologías conexas; opina que ello ha de incluir en particular la transparencia en lo que respecta a la interacción con los sistemas de inteligencia artificial, incluidos los procesos de automatización, y en cuanto a su modo de funcionamiento, sus capacidades, por ejemplo la manera en que se filtra y presenta la información, su exactitud y sus limitaciones; considera que dicha información debe ser facilitada a las autoridades nacionales de control y a las autoridades nacionales de protección de los consumidores; |

|  |  |  |
| --- | --- | --- |
|  | 18. | Subraya que la confianza de los consumidores es esencial para el desarrollo y el despliegue de estas tecnologías, que pueden conllevar riesgos inherentes cuando se basan en algoritmos opacos y conjuntos de datos sesgados; estima que los consumidores deben tener derecho a ser debidamente informados de manera comprensible, oportuna, normalizada, exacta y accesible de la existencia, el razonamiento, el posible resultado y las repercusiones de los sistemas algorítmicos para los consumidores, así como de la manera de contactar con un ser humano con poder de decisión y de cómo se pueden verificar, impugnar de manera útil y corregir las decisiones del sistema; subraya, a este respecto, la necesidad de tener en cuenta y respetar los principios de la información y la divulgación en los que se ha basado el acervo de Derecho en materia de protección de los consumidores; estima necesario que se informe de manera detallada a los usuarios finales sobre el funcionamiento de los sistemas de transporte y los vehículos basados en la inteligencia artificial; |

|  |  |  |
| --- | --- | --- |
|  | 19. | Señala que es fundamental que los algoritmos y los conjuntos de datos utilizados o producidos mediante inteligencia artificial, robótica y tecnologías conexas sean explicables y que, cuando sea estrictamente necesario y se respete plenamente la legislación de la Unión en materia de protección de datos, el derecho a la intimidad y los derechos de propiedad intelectual y secretos comerciales, sean accesibles a las autoridades públicas, como las autoridades nacionales de control y las autoridades de vigilancia del mercado; señala asimismo que, de acuerdo con las normas del sector aplicables más estrictas posible, dicha documentación debe ser almacenada por quienes participan en las diferentes fases del desarrollo de las tecnologías de alto riesgo; toma nota de la posibilidad de que las autoridades de vigilancia del mercado puedan tener más prerrogativas en este sentido; subraya a este respecto el papel de la ingeniería inversa legal; considera que podría ser necesario examinar la legislación actual en materia de vigilancia del mercado para garantizar que esta responda desde el punto de vista ético al surgimiento de la inteligencia artificial, la robótica y las tecnologías conexas; |

|  |  |  |
| --- | --- | --- |
|  | 20. | Pide que, cuando una evaluación de riesgos así lo indique, los desarrolladores y los desplegadores de tecnologías de alto riesgo deben facilitar a las autoridades públicas la documentación pertinente sobre el uso y el diseño, así como las instrucciones de seguridad, incluidos —cuando sea estrictamente necesario y respetando plenamente el Derecho de la Unión en materia de protección de datos, derecho a la intimidad y derechos de propiedad intelectual y secretos comerciales— el código fuente, las herramientas de desarrollo y los datos utilizados por el sistema; señala que dicha obligación permitiría evaluar su conformidad con el Derecho de la Unión y con los principios éticos, y toma nota, a este respecto, del ejemplo del depósito legal de las publicaciones de una biblioteca nacional; observa la importante distinción entre la transparencia de los algoritmos y la transparencia en el uso de los algoritmos; |

|  |  |  |
| --- | --- | --- |
|  | 21. | Observa asimismo que, para respetar la dignidad, la autonomía y la seguridad humanas, deben tenerse debidamente en cuenta los dispositivos médicos vitales y avanzados y la necesidad de que autoridades independientes de confianza conserven los medios necesarios para proporcionar servicios a las personas que lleven estos dispositivos cuando el desarrollador o el desplegador original deje de prestarlos; señala que estos servicios incluirían, por ejemplo, el mantenimiento, la reparación y la mejora, en particular las actualizaciones de programas informáticos para corregir el mal funcionamiento y las vulnerabilidades; |

|  |  |  |
| --- | --- | --- |
|  | 22. | Sostiene que la inteligencia artificial, la robótica y las tecnologías conexas de alto riesgo, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, independientemente del ámbito en el que se desarrollen, desplieguen y utilicen, deben ser desarrollados desde el diseño de manera segura, rastreable, técnicamente sólida, fiable, ética y jurídicamente vinculante y ser objeto de un control y una supervisión independientes; considera en particular que todos los agentes a lo largo de las cadenas de desarrollo y suministro de productos y servicios de inteligencia artificial deben ser jurídicamente responsables, y destaca la necesidad de mecanismos que garanticen la responsabilidad y la rendición de cuentas; |

|  |  |  |
| --- | --- | --- |
|  | 23. | Subraya que la regulación y las directrices en materia de explicabilidad, auditabilidad, trazabilidad y transparencia, así como —cuando una evaluación de riesgos así lo requiera, sea estrictamente necesario y respete plenamente el Derecho de la Unión, en particular, en materia de protección de datos, derecho a la intimidad y derechos de propiedad intelectual y secretos comerciales— el acceso por las autoridades públicas a la tecnología, los datos y los sistemas informáticos en que se basan dichas tecnologías, son fundamentales para garantizar la confianza de los ciudadanos en estas tecnologías, aunque el grado de explicabilidad esté relacionado con la complejidad de las tecnologías; señala que no siempre es posible explicar por qué un modelo ha dado lugar a un resultado o una decisión en concreto, como por ejemplo en el caso de los algoritmos de «caja negra»; estima, por consiguiente, que el respeto de estos principios es condición necesaria para poder asegurar la rendición de cuentas; |

|  |  |  |
| --- | --- | --- |
|  | 24. | Considera que los ciudadanos, incluidos los consumidores, deben ser informados al interactuar con un sistema que utiliza inteligencia artificial, en concreto para personalizar un producto o un servicio para sus usuarios, de la posibilidad y del modo de desactivar o limitar dicha personalización; |

|  |  |  |
| --- | --- | --- |
|  | 25. | Señala en este sentido que, para ser fiables, la inteligencia artificial, la robótica y las tecnologías conexas deben ser técnicamente sólidas y precisas; |

|  |  |  |
| --- | --- | --- |
|  | 26. | Subraya la importancia de la protección de las redes de inteligencia artificial y robótica interconectadas, por lo que deben adoptarse medidas sólidas para evitar las vulneraciones de la seguridad, las fugas y la intoxicación de datos, los ciberataques y los usos indebidos de los datos personales, lo que exigirá que las instituciones, órganos y organismos pertinentes, tanto a escala de la Unión como nacional, trabajen juntos y en cooperación con los usuarios finales de estas tecnologías; pide a la Comisión y a los Estados miembros que velen por la observancia permanente de los valores de la Unión y el respeto de los derechos fundamentales a la hora de desarrollar y desplegar tecnologías de inteligencia artificial, a fin de garantizar la seguridad y la resiliencia de la infraestructura digital de la Unión; |

Sin sesgo y sin discriminación

|  |  |  |
| --- | --- | --- |
|  | 27. | Recuerda que la inteligencia artificial, dependiendo de su desarrollo y de su uso, puede crear y reforzar sesgos, también a través de sesgos inherentes a los conjuntos de datos subyacentes, y, por lo tanto, crear diversas formas de discriminación automatizada, incluida la discriminación indirecta, en particular en relación con grupos de personas con características similares; pide a la Comisión y a los Estados miembros que adopten todas las medidas posibles para evitar tales sesgos y para garantizar la plena protección de los derechos fundamentales; |

|  |  |  |
| --- | --- | --- |
|  | 28. | Manifiesta su preocupación por el peligro de sesgos y discriminación en el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas de alto riesgo, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías; recuerda que, en todas las circunstancias, deben respetar el Derecho de la Unión, así como los derechos y la dignidad humanos, la autonomía y la autodeterminación de la persona, y garantizar la igualdad de trato y la no discriminación para todos; |

|  |  |  |
| --- | --- | --- |
|  | 29. | Destaca que las tecnologías de inteligencia artificial deben estar diseñadas para respetar y proteger los valores de la Unión y la integridad física y mental, y estar a su servicio, defender la diversidad cultural y lingüística de la Unión y contribuir a satisfacer las necesidades esenciales; subraya la necesidad de evitar cualquier uso que pueda conllevar una coerción directa o indirecta inadmisible, que amenace con socavar la autonomía psicológica y la salud mental o bien que dé lugar a una vigilancia injustificada, a un engaño o a una manipulación inadmisible; |

|  |  |  |
| --- | --- | --- |
|  | 30. | Cree firmemente que los derechos humanos fundamentales consagrados en la Carta deben respetarse estrictamente para garantizar que estas tecnologías emergentes no generen vacíos en términos de protección; |

|  |  |  |
| --- | --- | --- |
|  | 31. | Afirma que la posibilidad de sesgo y discriminación de los programas informáticos, los algoritmos y los datos puede provocar un evidente perjuicio a las personas y la sociedad, por lo que deben abordarse alentando el establecimiento y el intercambio de estrategias para combatirlos, como la eliminación de sesgos en los conjuntos de datos en investigación y desarrollo, y elaborando normas sobre el tratamiento de datos; estima que con este enfoque se pueden convertir los programas, los algoritmos y los datos en instrumentos en la lucha contra el sesgo y la discriminación en determinadas situaciones, así como en una fuerza para la igualdad de derechos y el cambio social positivo; |

|  |  |  |
| --- | --- | --- |
|  | 32. | Sostiene que los valores éticos de la equidad, la exactitud, la confidencialidad y la transparencia deben ser la base de estas tecnologías, lo que en este contexto implica que sus operaciones deben concebirse de tal manera que no generen resultados sesgados; |

|  |  |  |
| --- | --- | --- |
|  | 33. | Subraya la importancia que reviste la calidad de los conjuntos de datos empleados para los sistemas de inteligencia artificial, robótica y tecnologías conexas, según su contexto, en particular en lo que respecta a la representatividad de los datos de entrenamiento, así como sobre la eliminación de sesgos en los conjuntos de datos, sobre los algoritmos utilizados y sobre las normas en cuanto a datos y agregación; destaca que estos conjuntos de datos deben ser auditados por las autoridades nacionales de control siempre que se les solicite para asegurarse de su conformidad con los principios citados anteriormente; |

|  |  |  |
| --- | --- | --- |
|  | 34. | Destaca que, en el contexto de la extensa guerra de desinformación, impulsada especialmente por agentes no europeos, las tecnologías de inteligencia artificial podrían tener efectos adversos desde el punto de vista ético debido a la explotación de sesgos en los datos y los algoritmos o a la alteración deliberada de los datos de entrenamiento por un tercer país, y podrían verse expuestas también a otros tipos de manipulación malintencionada y peligrosa, de manera imprevisible y con consecuencias incalculables; considera que existe, por tanto, una necesidad cada vez mayor de que la Unión siga invirtiendo en investigación, análisis, innovación y transferencia de conocimientos transfronteriza e intersectorial, con el fin de desarrollar tecnologías de inteligencia artificial en las que no haya ninguna clase de elaboración de perfiles, sesgo o discriminación, y que puedan contribuir eficazmente a luchar contra las noticias falsas y la desinformación, respetando al mismo tiempo la privacidad de los datos y el marco jurídico de la Unión; |

|  |  |  |
| --- | --- | --- |
|  | 35. | Recuerda la importancia de garantizar a las personas vías de recurso efectivas, y pide a los Estados miembros que velen por que se disponga de procedimientos y mecanismos de revisión accesibles, asequibles, independientes y eficaces al objeto de garantizar la revisión imparcial, efectuada por seres humanos, de todas las denuncias de vulneraciones de los derechos de los ciudadanos, como los derechos civiles o los de los consumidores, mediante el empleo de sistemas algorítmicos, independientemente de si tienen su origen en agentes del sector público o del privado; destaca la importancia del proyecto de Directiva del Parlamento Europeo y del Consejo relativa a las acciones de representación para la protección de los intereses colectivos de los consumidores y por la que se deroga la Directiva 2009/22/CE, sobre el que se alcanzó un acuerdo el 22 de junio de 2020, en lo que respecta a casos futuros para impugnar la introducción o el uso continuo de un sistema de inteligencia artificial susceptible de vulnerar los derechos de los consumidores o subsanar una violación de derechos; pide a la Comisión y a los Estados miembros que velen por que las organizaciones de consumidores nacionales y de la Unión dispongan de financiación suficiente para ayudar a los consumidores a ejercer su derecho a la tutela judicial en los casos en que se hayan vulnerado sus derechos; |

|  |  |  |
| --- | --- | --- |
|  | 36. | Considera, por lo tanto, que toda persona física o jurídica debe poder recurrir contra cualquier decisión tomada en detrimento suyo por un sistema de inteligencia artificial, robótica o tecnologías conexas vulnerando el Derecho nacional o de la Unión; |

|  |  |  |
| --- | --- | --- |
|  | 37. | Considera que, como primer punto de contacto en caso de sospecha de vulneración del marco regulador de la Unión en este contexto, los consumidores podrían igualmente dirigir a las autoridades nacionales de control solicitudes de reparación, con vistas a garantizar el cumplimiento efectivo de dicho marco; |

Responsabilidad social y paridad de género

|  |  |  |
| --- | --- | --- |
|  | 38. | Hace hincapié en que la inteligencia artificial, la robótica y las tecnologías conexas socialmente responsables tienen un papel que desempeñar en la búsqueda de soluciones que salvaguarden y promuevan los valores fundamentales de nuestra sociedad, como la democracia, el Estado de Derecho, la pluralidad e independencia de los medios de comunicación y una información objetiva y de libre acceso, la salud y la prosperidad económica, la igualdad de oportunidades, los derechos sociales y laborales de los trabajadores, una educación de calidad, la protección de la infancia, la diversidad cultural y lingüística, la paridad de género, la alfabetización digital, la innovación y la creatividad; recuerda la necesidad de velar por que los intereses de todos los ciudadanos, incluidos los que están marginados o en situación de vulnerabilidad, como las personas con discapacidad, sean tenidos en cuenta y estén representados debidamente; |

|  |  |  |
| --- | --- | --- |
|  | 39. | Subraya la importancia que reviste conseguir un alto nivel de alfabetización digital general y formar profesionales altamente cualificados en este ámbito, así como garantizar el reconocimiento recíproco de estas formaciones en toda la Unión; hace hincapié en la necesidad de contar con diversos equipos de desarrolladores e ingenieros que trabajen conjuntamente con los principales agentes de la sociedad, a fin de evitar que los sesgos culturales y de género se incluyan involuntariamente en los algoritmos, sistemas y aplicaciones de la inteligencia artificial; apoya la creación de programas educativos y actividades de sensibilización pública en torno al impacto social, jurídico y ético de la inteligencia artificial; |

|  |  |  |
| --- | --- | --- |
|  | 40. | Hace hincapié en la importancia fundamental de garantizar la libertad de conciencia y expresión, velando así por que estas tecnologías no inciten al discurso de odio ni a la violencia; considera, por tanto, que obstaculizar o limitar la libertad de expresión ejercida por medios digitales es ilegal con arreglo a los principios fundamentales de la Unión, excepto cuando el ejercicio de este derecho fundamental implica actos ilegales; |

|  |  |  |
| --- | --- | --- |
|  | 41. | Subraya que la inteligencia artificial, la robótica y las tecnologías conexas pueden contribuir a reducir las desigualdades sociales y afirma que el modelo europeo para su desarrollo debe basarse en la confianza de los ciudadanos y en una mayor cohesión social; |

|  |  |  |
| --- | --- | --- |
|  | 42. | Subraya que el despliegue de cualquier sistema de inteligencia artificial no debe limitar indebidamente el acceso de los usuarios a servicios públicos como la seguridad social; pide tanto a la Comisión que examine el modo en que puede alcanzarse este objetivo; |

|  |  |  |
| --- | --- | --- |
|  | 43. | Subraya la importancia que revisten una investigación y un desarrollo responsables que tengan por objeto maximizar todo el potencial de la inteligencia artificial, la robótica y las tecnologías conexas para la ciudadanía y el bien público; pide una movilización de recursos por parte de la Unión y sus Estados miembros al objeto de fomentar y respaldar la innovación responsable; |

|  |  |  |
| --- | --- | --- |
|  | 44. | Destaca que los conocimientos tecnológicos serán cada vez más importantes y, por tanto, será necesario actualizar continuamente los cursos de formación, en particular para las futuras generaciones, y promover el reciclaje profesional de personas que ya estén en el mercado de trabajo; sostiene, a este respecto, que es necesario fomentar la innovación y la formación no solo en el sector privado, sino también en el sector público; |

|  |  |  |
| --- | --- | --- |
|  | 45. | Insiste en que el desarrollo, el despliegue y el uso de estas tecnologías no deben causar lesiones o daños de ningún tipo a las personas, a la sociedad o al medio ambiente y que, por consiguiente, los desarrolladores, los desplegadores y los usuarios de estas tecnologías deben ser considerados responsables de tales lesiones o daños de conformidad con las normas de la Unión y nacionales pertinentes en materia de responsabilidad; |

|  |  |  |
| --- | --- | --- |
|  | 46. | Pide a los Estados miembros que evalúen si las pérdidas de puestos de trabajo derivadas del despliegue de estas tecnologías deben conducir a adoptar políticas públicas adecuadas, como la reducción del tiempo de trabajo; |

|  |  |  |
| --- | --- | --- |
|  | 47. | Sostiene que un enfoque del diseño basado en los valores de la Unión y en principios éticos es absolutamente necesario para crear las condiciones para una amplia aceptación social de la inteligencia artificial, la robótica y las tecnologías conexas; considera que este enfoque, cuyo fin es desarrollar una inteligencia artificial fiable, éticamente responsable y técnicamente sólida es un importante factor de apoyo a una movilidad sostenible e inteligente que sea segura y accesible; |

|  |  |  |
| --- | --- | --- |
|  | 48. | Pone de relieve el gran valor añadido de los vehículos autónomos para las personas con movilidad reducida, puesto que este tipo de vehículos permiten a dichas personas participar más eficazmente en el transporte individual por carretera y, de ese modo, hacen más fácil su vida cotidiana; destaca la importancia de la accesibilidad, especialmente al diseñar sistemas de movilidad como servicio (MaaS); |

|  |  |  |
| --- | --- | --- |
|  | 49. | Pide a la Comisión que siga apoyando el desarrollo de sistemas de inteligencia artificial fiables para que el transporte sea más seguro, eficiente, accesible, asequible e inclusivo, también para las personas con movilidad reducida, en particular las personas con discapacidad, teniendo en cuenta la Directiva (UE) 2019/882 del Parlamento Europeo y del Consejo [(13)](#ntr13-C_2021404ES.01006301-E0013) y el Derecho de la Unión sobre derechos de los pasajeros; |

|  |  |  |
| --- | --- | --- |
|  | 50. | Considera que la inteligencia artificial puede ayudar a utilizar mejor las capacidades y competencias de las personas con discapacidad y que la aplicación de la inteligencia artificial en el lugar de trabajo puede contribuir a unos mercados laborales inclusivos y a unas tasas de empleo más elevadas para las personas con discapacidad; |

Medio ambiente y sostenibilidad

|  |  |  |
| --- | --- | --- |
|  | 51. | Afirma que los gobiernos y las empresas deben utilizar la inteligencia artificial, la robótica y las tecnologías conexas para beneficiar a las personas y al planeta y contribuir a la consecución del desarrollo sostenible, la conservación del medio ambiente, la neutralidad climática y los objetivos de la economía circular; considera que el desarrollo, el despliegue y el uso de estas tecnologías deben contribuir a la transición verde, proteger el medio ambiente y minimizar y reparar los daños causados al medio ambiente durante su ciclo de vida y a lo largo de toda la cadena de suministro, en consonancia con el Derecho de la Unión; |

|  |  |  |
| --- | --- | --- |
|  | 52. | Considera que, habida cuenta del importante impacto medioambiental del desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas, a efectos del apartado anterior, dicho impacto podría ser evaluado, cuando sea pertinente y adecuado, a lo largo de su vida útil por las autoridades sectoriales pertinentes; opina que tal evaluación podría incluir una estimación del impacto de la extracción de los materiales necesarios, del consumo de energía y de las emisiones de gases de efecto invernadero que se derivan de su desarrollo, despliegue y uso; |

|  |  |  |
| --- | --- | --- |
|  | 53. | Propone que, en aras de obtener sistemas responsables de inteligencia artificial de vanguardia, el potencial de la inteligencia artificial, la robótica y las tecnologías conexas se explore, estimule y maximice a través de una investigación y un desarrollo responsables, lo que requiere la movilización de recursos por parte de la Unión y sus Estados miembros; |

|  |  |  |
| --- | --- | --- |
|  | 54. | Destaca que el desarrollo, el despliegue y el uso de estas tecnologías ofrecen oportunidades para impulsar los Objetivos de Desarrollo Sostenible de las Naciones Unidas, la transición energética mundial y la descarbonización; |

|  |  |  |
| --- | --- | --- |
|  | 55. | Considera que los objetivos de responsabilidad social, igualdad de género, protección ambiental y sostenibilidad no han de ir en detrimento de las obligaciones generales y sectoriales existentes en estos ámbitos; estima que se deben establecer directrices de aplicación no vinculantes dirigidas a los desarrolladores, desplegadores y usuarios, especialmente de las tecnologías de alto riesgo, relativas a la metodología que ha de aplicarse para evaluar su conformidad con el presente Reglamento y la realización de los objetivos; |

|  |  |  |
| --- | --- | --- |
|  | 56. | Pide a la Unión que impulse y financie el desarrollo de una inteligencia artificial, de una robótica y de tecnologías conexas antropocéntricas, que aborden los retos medioambientales y climáticos y garanticen el respeto de los derechos fundamentales mediante el recurso a incentivos fiscales, de contratación pública o de otro tipo; |

|  |  |  |
| --- | --- | --- |
|  | 57. | Subraya que, a pesar de la elevada huella de carbono asociada actualmente al desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas, incluidas las decisiones automatizadas y el aprendizaje automático, estas tecnologías pueden contribuir a reducir la actual huella medioambiental del sector de las TIC; subraya que estas y otras tecnologías conexas debidamente reguladas deben ser factores fundamentales para alcanzar los objetivos del Pacto Verde, los Objetivos de Desarrollo Sostenible de las Naciones Unidas y los objetivos del Acuerdo de París en muchos y diferentes sectores, y deben potenciar el impacto de las políticas de protección del medio ambiente, por ejemplo las políticas relativas a la reducción de residuos y la degradación ambiental; |

|  |  |  |
| --- | --- | --- |
|  | 58. | Pide a la Comisión que lleve a cabo un estudio sobre el impacto de la huella de carbono de la tecnología de la inteligencia artificial y sobre los efectos positivos y negativos de la transición hacia el uso de dicha tecnología por los consumidores; |

|  |  |  |
| --- | --- | --- |
|  | 59. | Señala que, dado el creciente desarrollo de aplicaciones de inteligencia artificial, que requieren recursos informáticos, de almacenamiento y energéticos, el impacto ambiental de los sistemas de inteligencia artificial debe considerarse durante todo su ciclo de vida; |

|  |  |  |
| --- | --- | --- |
|  | 60. | Considera que, en áreas como la salud, la responsabilidad debe recaer en última instancia en una persona física o jurídica; hace hincapié en la necesidad de datos de la formación trazables y públicamente disponibles para la formulación de algoritmos; |

|  |  |  |
| --- | --- | --- |
|  | 61. | Apoya firmemente la creación de un Espacio Europeo de Datos de Salud propuesto por la Comisión en su Comunicación sobre una Estrategia Europea de Datos que aspira a promover el intercambio de datos sobre salud y a apoyar la investigación respetando plenamente la protección de datos, incluido el tratamiento de datos con la tecnología de la inteligencia artificial, y que potencia y extiende la utilización y la reutilización de los datos de salud; alienta la ampliación del intercambio transfronterizo de datos de salud, la vinculación y el uso de dichos datos a través de repositorios federados seguros, de determinados tipos de información sanitaria, como los registros sanitarios europeos (RSE), la información genómica y las imágenes de salud digitales con el fin de facilitar los registros y bases de datos interoperables en toda la Unión en áreas como la investigación, la ciencia y los sectores sanitarios; |

|  |  |  |
| --- | --- | --- |
|  | 62. | Pone de relieve los beneficios de la inteligencia artificial para la prevención, el tratamiento y el control de las enfermedades, como demuestra el hecho de que la inteligencia artificial pronosticó la epidemia de COVID-19 antes que la OMS; insta a la Comisión a dotar adecuadamente al ECDC del marco regulador y de los recursos que le permitan recopilar en tiempo real los datos de salud globales anonimizados necesarios de manera independiente y en colaboración con los Estados miembros, para, por ejemplo, abordar las cuestiones reveladas por la pandemia de COVID-19; |

Protección de la intimidad y reconocimiento biométrico

|  |  |  |
| --- | --- | --- |
|  | 63. | Observa que la producción y el uso de datos, incluidos los datos personales, como los datos biométricos resultantes del desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas, están aumentando con rapidez, lo que pone de relieve la necesidad de respetar y hacer cumplir el derecho de los ciudadanos a la intimidad y a la protección de los datos personales, de conformidad con el Derecho de la Unión; |

|  |  |  |
| --- | --- | --- |
|  | 64. | Señala que la posibilidad que ofrecen estas tecnologías de utilizar datos personales y no personales para categorizar y microsegmentar a las personas, detectar vulnerabilidades de estas o explorar conocimientos predictivos exactos debe ser compensada con una aplicación efectiva de los principios en materia de protección de datos e intimidad, como la minimización de los datos, el derecho a oponerse a la elaboración de perfiles y a controlar el uso de los datos sobre uno mismo, el derecho a obtener una explicación de una decisión basada en el tratamiento automatizado y la protección de la intimidad desde el diseño, así como de los principios de proporcionalidad, necesidad y limitación basada en finalidades claramente definidas, de conformidad con el RGPD; |

|  |  |  |
| --- | --- | --- |
|  | 65. | Hace hincapié en que, cuando las autoridades públicas utilizan, para fines de interés público esencial, las tecnologías de reconocimiento remoto, como el reconocimiento de las características biométricas, en particular el reconocimiento facial, su uso debe siempre hacerse público, ser proporcionado, específico y limitado a objetivos específicos, restringido en el tiempo, de conformidad con el Derecho de la Unión, y debe tener debidamente en cuenta la dignidad y la autonomía humanas y los derechos fundamentales establecidos en la Carta; subraya que los criterios y límites de dicho uso deben estar sujetos a control judicial y a control democrático y deben tener en cuenta su impacto psicosocial y sociocultural en la sociedad civil; |

|  |  |  |
| --- | --- | --- |
|  | 66. | Señala que, si bien desplegar la inteligencia artificial, la robótica y las tecnologías conexas en el marco de las decisiones del poder público tiene beneficios, también puede dar origen a abusos graves, como la vigilancia masiva, la actuación policial predictiva y las violaciones de derechos procesales; |

|  |  |  |
| --- | --- | --- |
|  | 67. | Considera que las tecnologías que pueden generar decisiones automatizadas, sustituyendo así las decisiones adoptadas por las autoridades públicas, deben tratarse con la máxima precaución, especialmente en el ámbito de la justicia y la aplicación de la ley; |

|  |  |  |
| --- | --- | --- |
|  | 68. | Considera que los Estados miembros solo deben recurrir a dichas tecnologías si existen pruebas fehacientes de su fiabilidad y si la intervención y la revisión humanas significativas son posibles o sistemáticas en casos en que estén en juego libertades fundamentales; subraya la importancia de que las autoridades nacionales lleven a cabo una evaluación de impacto rigurosa sobre los derechos fundamentales para los sistemas de inteligencia artificial desplegados en estos casos, especialmente tras la evaluación de riesgos de esas tecnologías como de alto riesgo; |

|  |  |  |
| --- | --- | --- |
|  | 69. | Considera que toda decisión adoptada por la inteligencia artificial, la robótica o tecnologías conexas dentro del marco de prerrogativas del poder público debe estar sujeta a una intervención humana significativa y a un proceso debido, especialmente si las tecnologías se consideran de alto riesgo; |

|  |  |  |
| --- | --- | --- |
|  | 70. | Cree que el avance tecnológico no debe permitir el uso de la inteligencia artificial, la robótica y las tecnologías conexas para adoptar de forma autónoma decisiones del sector público que tengan un impacto directo y significativo en los derechos y las obligaciones de los ciudadanos; |

|  |  |  |
| --- | --- | --- |
|  | 71. | Señala que, en el ámbito de la aplicación de la ley y del control de las fronteras, la inteligencia artificial, la robótica y las tecnologías conexas pueden reforzar la seguridad pública, pero también deben estar sometidas a un control público amplio y riguroso, así como al máximo nivel de transparencia posible, tanto en lo que se refiere a la evaluación de riesgos de las diversas aplicaciones como a una visión general del uso de la inteligencia artificial, la robótica y las tecnologías conexas en el ámbito de la aplicación de la ley y del control de las fronteras; considera que estas tecnologías entrañan importantes riesgos éticos que deben abordarse adecuadamente, teniendo en cuenta los posibles efectos adversos para las personas por lo que respecta, en particular, a su derecho a la intimidad, a la protección de datos y a la no discriminación; subraya que su uso indebido puede suponer una amenaza directa para la democracia y que su despliegue y su uso deben respetar los principios de proporcionalidad y necesidad, la Carta de los Derechos Fundamentales y el Derecho derivado pertinente de la Unión, como las normas de protección de datos; hace hincapié en que la inteligencia artificial nunca debe sustituir a los seres humanos en la emisión de sentencias; considera que decisiones como las relativas a la obtención de libertad bajo fianza o libertad condicional, que son pronunciadas ante un tribunal, o decisiones basadas únicamente en el tratamiento automatizado que produzcan efectos jurídicos en las personas o que les afecten de forma significativa, siempre deben comportar la evaluación significativa y el criterio de un ser humano; |

Buena gobernanza

|  |  |  |
| --- | --- | --- |
|  | 72. | Hace hincapié en que una gobernanza adecuada del desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas, especialmente las tecnologías de alto riesgo, también mediante la adopción de medidas centradas en la rendición de cuentas y el tratamiento de los posibles riesgos de sesgo y discriminación, puede hacer que aumente la seguridad y la confianza de los ciudadanos en dichas tecnologías; |

|  |  |  |
| --- | --- | --- |
|  | 73. | Considera que un marco común para la gobernanza de estas tecnologías, coordinado por la Comisión o cualquier institución, órgano u organismo pertinente de la Unión que pueda ser designado para este cometido en este contexto y aplicado por las autoridades nacionales de control en cada Estado miembro garantizaría un enfoque de la Unión coherente y evitaría la fragmentación del mercado único; |

|  |  |  |
| --- | --- | --- |
|  | 74. | Observa que en el desarrollo de la inteligencia artificial, la robótica y las tecnologías conexas se utilizan grandes volúmenes de datos, y que el tratamiento, el intercambio y el uso de dichos datos, así como su acceso a ellos, deben regirse de conformidad con la legislación y con los requisitos de calidad, integridad, interoperabilidad, transparencia, seguridad, intimidad y control establecidos en ella; |

|  |  |  |
| --- | --- | --- |
|  | 75. | Recuerda que el acceso a los datos es un componente esencial para el crecimiento de la economía digital; señala, a este respecto, que la interoperabilidad de los datos, al limitar los efectos de «compartimentación», desempeña un papel fundamental a la hora de garantizar unas condiciones de mercado justas y promover la igualdad de condiciones en el mercado único digital; |

|  |  |  |
| --- | --- | --- |
|  | 76. | Subraya la necesidad de garantizar la protección adecuada de los datos personales, especialmente los datos relativos a grupos vulnerables o procedentes de estos grupos, como las personas con discapacidad, los pacientes, los niños, los ancianos, las minorías, los migrantes y otros grupos en riesgo de exclusión; |

|  |  |  |
| --- | --- | --- |
|  | 77. | Señala que el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas por las autoridades públicas a menudo se subcontratan a partes privadas; considera que ello no debe hacer peligrar en modo alguno la protección de los valores públicos y los derechos fundamentales; considera que las condiciones de la contratación pública deben reflejar las normas éticas impuestas a las autoridades públicas, cuando proceda; |

Consumidores y mercado interior

|  |  |  |
| --- | --- | --- |
|  | 78. | Subraya la importancia de que haya un marco regulador para la inteligencia artificial que se aplique en aquellos casos en que los consumidores, dentro de la Unión, sean usuarios de un sistema algorítmico, estén sujetos a tal sistema, sean los destinatarios de tal sistema o estén orientados a él, independientemente del lugar en que estén establecidas las entidades que desarrollen, comercialicen o utilicen dicho sistema; estima además que, en aras de la seguridad jurídica, las normas establecidas en dicho marco deben aplicarse a todos los desarrolladores y a toda la cadena de valor, a saber, el desarrollo, el despliegue y el uso de las tecnologías pertinentes y sus componentes, y deben garantizar un alto nivel de protección de los consumidores; |

|  |  |  |
| --- | --- | --- |
|  | 79. | Señala la relación intrínseca entre la inteligencia artificial, la robótica y las tecnologías conexas, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, por una parte, y ámbitos tales como la internet de las cosas, el aprendizaje automático, los sistemas basados en reglas o los procesos de toma de decisiones automatizados y asistidos, por otra; señala asimismo que podrían desarrollarse iconos normalizados para ayudar a explicar dichos sistemas a los consumidores cuando los sistemas se caractericen por su complejidad o estén habilitados para adoptar decisiones que repercutan de forma significativa en la vida de los consumidores; |

|  |  |  |
| --- | --- | --- |
|  | 80. | Recuerda que la Comisión debe examinar el marco jurídico vigente y su aplicación, incluidos el acervo de Derecho en materia de protección de los consumidores, la legislación en materia de responsabilidad por los productos, la legislación en materia de seguridad de los productos y la legislación en materia de vigilancia del mercado, con el fin de identificar las lagunas jurídicas, así como las obligaciones reglamentarias existentes; considera que esto es necesario para determinar si dicho marco puede responder a los nuevos retos que plantea la aparición de la inteligencia artificial, la robótica y las tecnologías conexas y si es capaz de garantizar un elevado nivel de protección de los consumidores; |

|  |  |  |
| --- | --- | --- |
|  | 81. | Hace hincapié en la necesidad de abordar de manera eficaz los retos creados por la inteligencia artificial, la robótica y las tecnologías conexas y de garantizar que los consumidores están capacitados y adecuadamente protegidos; subraya la necesidad de mirar más allá de los principios tradicionales de la información y la divulgación sobre los que se ha basado el acervo de Derecho en materia de protección de los consumidores, ya que serán necesarios unos derechos de los consumidores más reforzados y unas limitaciones claras en relación con el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas para garantizar que dicha tecnología contribuya a mejorar la vida de los consumidores y evolucione de modo que respete los derechos fundamentales, los derechos de los consumidores y los valores de la Unión; |

|  |  |  |
| --- | --- | --- |
|  | 82. | Señala que el marco legislativo establecido por la Decisión n.o 768/2008/CE [(14)](#ntr14-C_2021404ES.01006301-E0014) establece una lista armonizada de obligaciones para los productores, importadores y distribuidores, fomenta el uso de normas y prevé varios niveles de control en función de la peligrosidad del producto; considera que dicho marco también debe aplicarse a los productos con inteligencia artificial integrada; |

|  |  |  |
| --- | --- | --- |
|  | 83. | Señala que, a efectos de analizar los efectos de la inteligencia artificial, la robótica y las tecnologías conexas en los consumidores, el acceso a los datos podría ampliarse a las autoridades nacionales competentes cuando se respete plenamente el Derecho de la Unión, como el relativo a la protección de datos, la privacidad y los secretos comerciales; recuerda lo importante que resulta que se eduque a los consumidores para que estén más informados y capacitados cuando interactúen con la inteligencia artificial, la robótica y las tecnologías conexas, al objeto de protegerlos de posibles riesgos y defender sus derechos; |

|  |  |  |
| --- | --- | --- |
|  | 84. | Pide a la Comisión que proponga medidas de trazabilidad de los datos, teniendo en cuenta tanto la legalidad de la adquisición de los datos como la protección de los derechos de los consumidores y los derechos fundamentales, respetando plenamente el Derecho de la Unión, como el relativo a la protección de datos, la privacidad, los derechos de propiedad intelectual y los secretos comerciales; |

|  |  |  |
| --- | --- | --- |
|  | 85. | Señala que estas tecnologías deben centrarse en el usuario y estar diseñadas de manera que permitan a todo el mundo utilizar productos o servicios de inteligencia artificial, independientemente de su edad, género, habilidades o características; señala que su accesibilidad para las personas con discapacidad reviste especial importancia; observa que no debe haber un enfoque único y debe atenderse a principios de diseño universal dirigidos al abanico más amplio posible de usuarios, siguiendo las normas de accesibilidad pertinentes; hace hincapié en que esto permitirá a las personas tener un acceso equitativo y participar activamente en las actividades humanas existentes y emergentes mediadas por ordenador y en las tecnologías asistenciales. |

|  |  |  |
| --- | --- | --- |
|  | 86. | Subraya que, cuando los fondos procedentes de fuentes públicas contribuyan significativamente al desarrollo, el despliegue o el uso de la inteligencia artificial, la robótica y las tecnologías conexas, junto con las normas abiertas de licitación y contratación, puede estudiarse la posibilidad de que sean públicos por defecto, previo acuerdo con el desarrollador, el código, los datos generados (en tanto en cuanto no sean personales) y el modelo formado, a fin de garantizar la transparencia, mejorar la ciberseguridad y posibilitar su reutilización, para fomentar la innovación; destaca que, de esta manera, se puede liberar todo el potencial del mercado único evitando la fragmentación del mercado; |

|  |  |  |
| --- | --- | --- |
|  | 87. | Considera que la inteligencia artificial, la robótica y las tecnologías conexas tienen un enorme potencial para ofrecer a los consumidores oportunidades para acceder a varios servicios en numerosos aspectos de sus vidas junto con mejores productos y servicios, así como para beneficiarse de una mejor vigilancia del mercado, siempre que se sigan aplicando todos los principios, condiciones (incluidas la transparencia y la auditabilidad) y reglamentos aplicables; |

Seguridad y defensa

|  |  |  |
| --- | --- | --- |
|  | 88. | Destaca que las políticas de seguridad y defensa de la Unión Europea y de sus Estados miembros se rigen por los principios consagrados en la Carta y por los de la Carta de las Naciones Unidas y por un entendimiento común de los valores universales del respeto de los derechos inviolables e inalienables de la persona, la dignidad humana, la libertad, la democracia, la igualdad y el Estado de Derecho; destaca que todos los esfuerzos relacionados con la defensa dentro del marco de la Unión deben respetar estos valores universales, fomentando al mismo tiempo la paz, la seguridad y el progreso en Europa y en el mundo; |

|  |  |  |
| --- | --- | --- |
|  | 89. | Acoge favorablemente el respaldo, por parte de la Reunión de las Altas Partes Contratantes en la Convención sobre ciertas armas convencionales (CAC) de las Naciones Unidas de 2019, de once principios rectores para el desarrollo y el uso de sistemas armamentísticos autónomos; lamenta, no obstante, que no se llegue a un acuerdo sobre un instrumento jurídicamente vinculante que regule las armas autónomas letales y cuente con un mecanismo de conformidad eficaz; acoge favorablemente y respalda el informe del Grupo de expertos de alto nivel sobre inteligencia artificial de la Comisión titulado «Directrices ética para una IA fiable», publicado el 9 de abril de 2019, y su posición con respecto a los sistemas de armas autónomos letales (SAAL); insta a los Estados miembros a que elaboren estrategias nacionales para la definición y el estatuto de las armas letales autónomas en favor de una estrategia global a escala de la Unión y que promuevan, junto con el alto representante de la Unión / vicepresidente de la Comisión (VP/AR) y el Consejo, el debate sobre los SAAL en el marco de la CAC de las Naciones Unidas y otros foros pertinentes, así como el establecimiento de normas internacionales en relación con los parámetros éticos y jurídicos para el desarrollo y el uso de sistemas armamentísticos totalmente autónomos, semiautónomos y controlados a distancia; recuerda, en este sentido, su Resolución de 12 de septiembre de 2018 sobre los sistemas armamentísticos autónomos letales, y pide, una vez más, la elaboración y la adopción urgentes de una posición común al respecto, la prohibición internacional del desarrollo, la producción y el uso de SAAL que permiten llevar a cabo ataques sin un control humano significativo y sin respetar el principio de participación humana, en consonancia con las declaraciones de los investigadores más destacados del mundo en materia de inteligencia artificial plasmadas en su carta abierta de 2015; acoge favorablemente el acuerdo del Consejo y el Parlamento de excluir de las acciones financiadas en el marco del Fondo Europeo de Defensa las armas autónomas letales «que no permitan un control humano significativo sobre las decisiones de selección e intervención cuando lleven a cabo ataques»; considera que no deben pasarse por alto los aspectos éticos de otras aplicaciones de la inteligencia artificial en el ámbito de la defensa, como las operaciones de inteligencia, vigilancia y reconocimiento (ISR) o las ciberoperaciones, y que debe prestarse una atención especial al desarrollo y el despliegue de drones en operaciones militares; |

|  |  |  |
| --- | --- | --- |
|  | 90. | Subraya que las tecnologías emergentes de los sectores de la defensa y la seguridad no reguladas por el Derecho internacional deben estar sujetas al principio del respeto de la humanidad y a los dictados de la conciencia pública; |

|  |  |  |
| --- | --- | --- |
|  | 91. | Recomienda que cualquier marco europeo que regule el uso de sistemas basados en la inteligencia artificial en el ámbito de la defensa, en situaciones tanto de combate como de no combate, respete todos los regímenes jurídicos aplicables, en particular el Derecho internacional humanitario y el Derecho internacional de los derechos humanos, y sea conforme a la legislación, los principios y los valores de la Unión, teniendo en cuenta las disparidades en términos de infraestructuras técnicas y de seguridad en toda la Unión; |

|  |  |  |
| --- | --- | --- |
|  | 92. | Reconoce que, a diferencia de las bases industriales de defensa, las innovaciones críticas en materia de inteligencia artificial podrían venir de Estados miembros pequeños, por lo que un enfoque normalizado de la PCSD debería garantizar que no se excluya a los Estados miembros más pequeños ni a las pymes; destaca que un conjunto de capacidades comunes de inteligencia artificial de la Unión que se corresponda con los conceptos operativos de los Estados miembros puede colmar las lagunas técnicas que podrían dejar atrás a aquellos Estados que no dispongan de la tecnología, los conocimientos especializados industriales o la capacidad pertinentes para implementar sistemas de inteligencia artificial en sus ministerios de Defensa; |

|  |  |  |
| --- | --- | --- |
|  | 93. | Considera que las actividades actuales y futuras relacionadas con la seguridad y la defensa dentro del marco de la Unión se basarán en la inteligencia artificial, en la robótica y la autonomía y en las tecnologías conexas, y que una inteligencia artificial fiable, sólida y de confianza podría contribuir a una fuerza militar moderna y eficaz; opina por ello que la Unión debe asumir un papel de liderazgo en la investigación y el desarrollo de sistemas de inteligencia artificial en el ámbito de la seguridad y la defensa; considera que el uso de aplicaciones basadas en la inteligencia artificial en el ámbito de la seguridad y la defensa podría conllevar una serie de ventajas directas para el mando de las operaciones, como unos datos recopilados de mayor calidad, un mayor conocimiento de la situación, una mayor rapidez en la toma de decisiones, un riesgo reducido de daños colaterales gracias a un mejor cableado, y la protección de las fuerzas sobre el terreno, así como una mayor fiabilidad de los equipos militares y, por ende, un menor riesgo para las personas y un menor riesgo de víctimas humanas; destaca que el desarrollo de una inteligencia artificial fiable en el ámbito de la defensa resulta esencial para garantizar la autonomía estratégica europea con respecto a las capacidades y operaciones; recuerda que los sistemas de inteligencia artificial también se están convirtiendo en elementos clave a la hora de contrarrestar las nuevas amenazas a la seguridad, como la guerra cibernética y la guerra híbrida, tanto en el entorno en línea como fuera de este; subraya, al mismo tiempo, todos los riesgos y los desafíos de un uso no regulado de la inteligencia artificial; señala que la inteligencia artificial podría ser objeto de manipulación y verse expuesta a errores e imprecisiones; |

|  |  |  |
| --- | --- | --- |
|  | 94. | Subraya que las tecnologías de inteligencia artificial presentan, en su esencia, un doble uso, y que el desarrollo de la inteligencia artificial en actividades relacionadas con la defensa se beneficia de intercambios entre tecnologías militares y civiles; destaca que, en las actividades relacionadas con la defensa, la inteligencia artificial es una tecnología disruptiva transversal cuyo desarrollo puede brindar oportunidades para la competitividad y la autonomía estratégica de la Unión; |

|  |  |  |
| --- | --- | --- |
|  | 95. | Reconoce que, en el actual contexto de guerra híbrida y avanzada, el volumen y la velocidad de la información durante las fases tempranas de una crisis pueden resultar abrumadores para los analistas humanos, y que un sistema de inteligencia artificial podría tratar la información para garantizar que los humanos responsables de la toma de decisiones rastreen todo el espectro de información dentro de un plazo adecuado para ofrecer una respuesta rápida; |

|  |  |  |
| --- | --- | --- |
|  | 96. | Subraya la importancia de invertir en el desarrollo de capital humano para la inteligencia artificial, fomentando las competencias y la educación necesarias en materia de tecnologías de inteligencia artificial en el ámbito de la defensa y la seguridad, con especial atención a la ética de los sistemas operativos semiautónomos y autónomos basados en la rendición de cuentas humana en un mundo apoyado por la inteligencia artificial; destaca, en particular, la importancia de garantizar que los expertos en ética en este ámbito posean las competencias adecuadas y reciban una formación apropiada; pide a la Comisión que presente cuanto antes su «apoyo a la Agenda de Capacidades» anunciado en el Libro Blanco sobre la inteligencia artificial de 19 de febrero de 2020; |

|  |  |  |
| --- | --- | --- |
|  | 97. | Subraya que la computación cuántica podría representar el cambio más revolucionario en el campo de los conflictos desde el advenimiento del armamento nuclear, por lo que insta a la Unión y a los Estados miembros a que den prioridad a un mayor desarrollo de las tecnologías de computación cuántica; reconoce que los actos de agresión, incluidos los ataques a infraestructuras críticas, asistidos por computación cuántica crearán un entorno de conflicto en que el tiempo disponible para adoptar decisiones se reducirá drásticamente de días y horas a minutos y segundos, lo que forzará a los Estados miembros a desarrollar capacidades que los protejan y a formar tanto a los responsables de la toma de decisiones como al personal militar para responder de forma eficaz dentro de esos lapsos de tiempo; |

|  |  |  |
| --- | --- | --- |
|  | 98. | Aboga por el aumento de la inversión en inteligencia artificial europea para defensa y en la infraestructura crítica que la sustenta; |

|  |  |  |
| --- | --- | --- |
|  | 99. | Recuerda que la mayoría de las actuales potencias militares a escala mundial ya se han implicado en esfuerzos significativos de I+D relacionados con la dimensión militar de la inteligencia artificial; considera que la Unión debe velar por no quedarse a la zaga en este ámbito; |

|  |  |  |
| --- | --- | --- |
|  | 100. | Pide a la Comisión que incorpore el desarrollo de capacidades de ciberseguridad en su política industrial con el fin de garantizar el desarrollo y el despliegue de sistemas robóticos y basados en la inteligencia artificial seguros, resilientes y sólidos; pide a la Comisión que estudie el uso de protocolos y aplicaciones de ciberseguridad basados en cadenas de bloques para mejorar la resiliencia, la fiabilidad y la solidez de las infraestructuras de inteligencia artificial a través de modelos de cifrado de datos sin intermediación; anima a las partes interesadas europeas a que investiguen y diseñen funciones avanzadas que faciliten la detección de sistemas robóticos y basados en la inteligencia artificial corruptos y maliciosos que podrían socavar la seguridad de la Unión y de los ciudadanos; |

|  |  |  |
| --- | --- | --- |
|  | 101. | Subraya que todos los sistemas de inteligencia artificial en materia de defensa deben tener un marco de misión concreto y bien definido por el que las personas conserven la capacidad de detectar y desconectar o desactivar los sistemas desplegados en caso de que se aparten del marco de misión definido y asignado por el controlador humano o en caso de que emprendan cualquier acción no deseada o en escalada; considera que los sistemas, los productos y la tecnología basados en la inteligencia artificial y destinados a un uso militar deberían estar equipados con una «caja negra» para registrar todas las transacciones de datos realizadas por la máquina; |

|  |  |  |
| --- | --- | --- |
|  | 102. | Subraya que la responsabilidad y rendición de cuentas por la decisión de diseñar, desarrollar, desplegar y utilizar sistemas de inteligencia artificial tienen que recaer íntegramente en los operadores humanos, dado que debe haber una supervisión y un control humanos significativos sobre cualquier sistema armamentístico, y una intencionalidad humana en la decisión de recurrir al uso de la fuerza, a la hora de ejecutar cualquier decisión de sistemas de armas basados en la inteligencia artificial que pueda tener consecuencias letales; subraya que el control humano debe ejercerse de forma efectiva sobre el mando y control de los sistemas basados en la inteligencia artificial, con arreglo a los principios de participación, supervisión y control humanos, en el marco de la dirección de las operaciones militares; destaca que los sistemas basados en la inteligencia artificial deben permitir que los mandos militares al frente de ejércitos asuman su plena responsabilidad y rendición de cuentas por el uso de fuerza letal y ejerzan la capacidad necesaria de discernimiento, de la que no puede dotarse a las máquinas ya que se debe basar en la distinción, la proporcionalidad y la precaución, a la hora de adoptar medidas de efectos letales o destructivas a gran escala por medio de tales sistemas; destaca la necesidad de establecer marcos de autorización y de rendición de cuentas claros y rastreables para el despliegue de armas inteligentes y otros sistemas basados en la inteligencia artificial, utilizando características de usuario únicas, como especificaciones biométricas, para permitir exclusivamente el despliegue por parte de personal autorizado; |

Transporte

|  |  |  |
| --- | --- | --- |
|  | 103. | Destaca el potencial que presenta la utilización de la inteligencia artificial, la robótica y las tecnologías conexas para todos los medios autónomos de transporte por carretera, por ferrocarril, por vías navegables y vía aérea, así como para impulsar el cambio modal y la intermodalidad, dado que estas tecnologías pueden contribuir a hallar la combinación óptima de modos de transporte para el transporte de mercancías y pasajeros; destaca, además, su potencial para reforzar la eficiencia del transporte, la logística y los flujos de tráfico y para lograr que todos los modos de transporte sean más seguros, más inteligentes y más respetuosos con el medio ambiente; señala que un enfoque ético respecto de la inteligencia artificial también puede considerarse un sistema de alerta temprana, en particular en lo que se refiere a la seguridad y la eficiencia del transporte; |

|  |  |  |
| --- | --- | --- |
|  | 104. | Subraya que la competencia mundial entre empresas y regiones económicas requiere que la Unión promueva las inversiones y fortalezca la competitividad internacional de las empresas que operan en el sector del transporte, creando un entorno favorable para el desarrollo y la aplicación de soluciones y otras innovaciones de inteligencia artificial, en el que las empresas con sede en la Unión puedan convertirse en líderes mundiales del desarrollo de tecnologías de inteligencia artificial; |

|  |  |  |
| --- | --- | --- |
|  | 105. | Insiste en que en el sector del transporte de la Unión se impone una actualización del marco regulador relativo a estas tecnologías emergentes y su uso en el sector del transporte, así como un marco ético claro para lograr una inteligencia artificial fiable, que incluya los aspectos de seguridad, protección, respeto de la autonomía humana, supervisión y responsabilidad, lo que incrementará los beneficios compartidos por todos y será fundamental para impulsar las inversiones en investigación e innovación, el desarrollo de capacidades y la adopción de la inteligencia artificial por parte de los servicios públicos, las pymes, las empresas emergentes y las demás empresas, velando al mismo tiempo por la protección de datos y la interoperabilidad, sin imponer una carga administrativa innecesaria a las empresas y los consumidores; |

|  |  |  |
| --- | --- | --- |
|  | 106. | Señala que el desarrollo y la implementación de la inteligencia artificial en el sector del transporte resultará imposible sin una infraestructura moderna, que constituye un elemento fundamental de los sistemas de transporte inteligentes; hace hincapié en que, como consecuencia de las disparidades existentes en cuanto a nivel de desarrollo entre los distintos Estados miembros, existe el riesgo de que las regiones menos desarrolladas y sus habitantes queden privados de las ventajas derivadas del desarrollo de la movilidad autónoma; solicita que el proceso de modernización de la infraestructura de transporte de la Unión, incluida su integración con la red 5G, cuente con financiación suficiente; |

|  |  |  |
| --- | --- | --- |
|  | 107. | Recomienda el desarrollo de normas fiables en materia de inteligencia artificial a escala de la Unión para todos los modos de transporte, incluida la industria del automóvil, y para la realización de pruebas con los vehículos dotados de inteligencia artificial y los productos y servicios conexos; |

|  |  |  |
| --- | --- | --- |
|  | 108. | Señala que los sistemas de inteligencia artificial podrían contribuir a reducir de forma significativa el número de víctimas mortales de accidentes de carretera, por ejemplo, con la mejora de los tiempos de reacción y una mejor observancia de las normas; considera, no obstante, que el uso de vehículos autónomos no permitirá eliminar todos los accidentes, y subraya que, en consecuencia, la explicabilidad de las decisiones de la inteligencia artificial es cada vez más importante para justificar las deficiencias y las consecuencias no deseadas de las decisiones de la inteligencia artificial; |

Empleo, derechos de los trabajadores, competencias digitales y lugar de trabajo

|  |  |  |
| --- | --- | --- |
|  | 109. | Observa que la aplicación de la inteligencia artificial, la robótica y las tecnologías conexas en el lugar de trabajo puede contribuir a unos mercados laborales inclusivos y repercutir en la salud y seguridad en el trabajo, mientras que también puede utilizarse para supervisar, evaluar, predecir y orientar el rendimiento de los trabajadores, con consecuencias directas e indirectas para sus carreras profesionales; que la inteligencia artificial debe tener un impacto positivo en las condiciones de trabajo y guiarse por el respeto de los derechos humanos, así como de los derechos fundamentales y los valores de la Unión; que la inteligencia artificial debe estar centrada en el ser humano, mejorar el bienestar de las personas y de la sociedad y contribuir a una transición equitativa y justa; que tales tecnologías deben tener, por tanto, un impacto positivo en las condiciones de trabajo, guiándose por el respeto de los derechos humanos y de los derechos fundamentales y los valores de la Unión; |

|  |  |  |
| --- | --- | --- |
|  | 110. | Subraya la necesidad de desarrollar competencias a través de la formación y la educación de los trabajadores y sus representantes en relación con la inteligencia artificial en el lugar de trabajo, a fin de comprender mejor las repercusiones de las soluciones de inteligencia artificial; destaca que los candidatos y los trabajadores deben ser debidamente informados por escrito cuando se utilice la inteligencia artificial durante un proceso de selección de personal y en el marco de otras decisiones de recursos humanos, y que debe indicárseles la manera de solicitar en este caso una revisión humana a fin de revocar una decisión automatizada; |

|  |  |  |
| --- | --- | --- |
|  | 111. | Hace hincapié en la necesidad de garantizar que los aumentos de productividad debidos al desarrollo y el uso de la inteligencia artificial y la robótica no solo beneficien a los propietarios y accionistas de las empresas, sino también a las empresas y a la mano de obra, gracias a unas mejores condiciones de trabajo y empleo, incluidos el salario, el crecimiento económico y el desarrollo, así como a la sociedad en su conjunto, especialmente cuando estas ganancias se produzcan a expensas de los puestos de trabajo; pide a los Estados miembros que estudien detenidamente el posible impacto de la inteligencia artificial en el mercado laboral y los sistemas de seguridad social, y que desarrollen estrategias para garantizar la estabilidad a largo plazo mediante la reforma de los impuestos y las cotizaciones, así como con otras medidas en caso de menores ingresos públicos; |

|  |  |  |
| --- | --- | --- |
|  | 112. | Subraya la importancia de la inversión empresarial en la formación formal e informal y en el aprendizaje permanente, a fin de apoyar una transición justa hacia la economía digital; destaca, en este contexto, que las empresas que despliegan inteligencia artificial tienen la responsabilidad de garantizar un reciclaje profesional y una mejora de las capacidades adecuados a todos los empleados afectados, a fin de que aprendan a utilizar herramientas digitales y a trabajar con robots colaborativos y otras nuevas tecnologías, adaptándose así a las necesidades cambiantes del mercado laboral y conservando el empleo; |

|  |  |  |
| --- | --- | --- |
|  | 113. | Considera que deben tenerse en cuenta particularmente las nuevas formas de trabajo, como el trabajo en plataformas digitales o esporádico, resultantes de la aplicación de las nuevas tecnologías en este contexto; subraya que la regulación de las condiciones de teletrabajo en toda la Unión y la garantía de unas condiciones de trabajo y empleo dignas en la economía digital también deben tener en cuenta el impacto de la inteligencia artificial; pide a la Comisión que consulte a los interlocutores sociales, los desarrolladores de inteligencia artificial, los investigadores y otras partes interesadas a este respecto; |

|  |  |  |
| --- | --- | --- |
|  | 114. | Subraya que la inteligencia artificial, la robótica y las tecnologías conexas no deben afectar en modo alguno al ejercicio de los derechos fundamentales reconocidos en los Estados miembros y a escala de la Unión, incluido el derecho o la libertad de huelga o de emprender otras acciones contempladas por los sistemas de relaciones laborales específicos de los Estados miembros, de conformidad con la legislación o las prácticas nacionales, ni afectar al derecho a negociar, celebrar y aplicar convenios colectivos, o a emprender acciones colectivas de acuerdo con la Derecho o las prácticas nacionales; |

|  |  |  |
| --- | --- | --- |
|  | 115. | Reitera la importancia de la educación y el aprendizaje continuo para desarrollar las cualificaciones necesarias en la era digital y luchar contra la exclusión digital; pide a los Estados miembros que inviertan en sistemas de educación, formación profesional y aprendizaje permanente de alta calidad, adaptables e inclusivos, así como en políticas de reciclaje profesional y de mejora de las capacidades para los trabajadores de sectores que puedan verse gravemente afectados por la inteligencia artificial; destaca la necesidad de dotar a la mano de obra actual y futura de las capacidades necesarias en lectura, escritura, cálculo y competencias digitales, así como de competencias en ciencias, tecnología, ingeniería y matemáticas (CTIM) y de competencias interpersonales transversales, como el pensamiento crítico, la creatividad y el emprendimiento; subraya que, en este contexto, debe prestarse especial atención a la inclusión de los grupos desfavorecidos; |

|  |  |  |
| --- | --- | --- |
|  | 116. | Recuerda que las tecnologías basadas en la inteligencia artificial, la robótica y las tecnologías conexas empleadas en el lugar de trabajo deben ser accesibles para todos, sobre la base del principio de «diseño para todos»; |

Educación y cultura

|  |  |  |
| --- | --- | --- |
|  | 117. | Hace hincapié en la necesidad de elaborar criterios para el desarrollo, el despliegue y el uso de la inteligencia artificial teniendo en cuenta su impacto en los sectores educativo, de los medios de comunicación, la juventud, la investigación, los deportes y cultural y creativo, mediante el establecimiento de índices de referencia y la definición de principios para usos éticamente responsables y aceptados de las tecnologías de inteligencia artificial que pueden aplicarse adecuadamente en esos ámbitos, incluido un régimen de responsabilidad claro para los productos resultantes del uso de inteligencia artificial; |

|  |  |  |
| --- | --- | --- |
|  | 118. | Señala que todos los niños tienen derecho a una educación pública de calidad a todos los niveles; pide, por tanto, que se desarrollen, desplieguen y usen sistemas de inteligencia artificial de calidad que faciliten y ofrezcan herramientas educativas de calidad para todos a todos los niveles, y subraya que el despliegue de nuevos sistemas de inteligencia artificial en las escuelas no debe agrandar la brecha digital existente en la sociedad; reconoce la enorme contribución que la inteligencia artificial y la robótica pueden aportar a la educación; señala que los sistemas de aprendizaje personalizado de inteligencia artificial no deben sustituir a las relaciones educativas que impliquen a profesores, y que no se debe prescindir de las formas tradicionales de educación, al tiempo que subraya que debe proporcionarse apoyo financiero, tecnológico y educativo, incluida formación especializada en tecnologías de la información y la comunicación, a los profesores que deseen adquirir las capacidades adecuadas para adaptarse a los cambios tecnológicos y no solo aprovechar el potencial de la inteligencia artificial, sino también comprender sus limitaciones; pide que se desarrolle una estrategia a escala de la Unión para contribuir a transformar y actualizar nuestros sistemas educativos, preparar nuestras instituciones educativas a todos los niveles y dotar a los profesores y los alumnos de las capacidades y competencias necesarias; |

|  |  |  |
| --- | --- | --- |
|  | 119. | Hace hincapié en que las instituciones educativas deben aspirar a utilizar sistemas de inteligencia artificial con fines educativos que hayan recibido un certificado europeo de conformidad ética; |

|  |  |  |
| --- | --- | --- |
|  | 120. | Hace hincapié en que las oportunidades que ofrecen la digitalización y las nuevas tecnologías no deben conducir a una pérdida global de puestos de trabajo en los sectores cultural y creativo, ni a descuidar la conservación de los originales o a restar importancia al acceso tradicional al patrimonio cultural, que también debe fomentarse; observa que los sistemas de inteligencia artificial desarrollados, desplegados y utilizados en la Unión deben reflejar su diversidad cultural y su multilingüismo; |

|  |  |  |
| --- | --- | --- |
|  | 121. | Reconoce el creciente potencial de la inteligencia artificial en los ámbitos de la información, los medios de comunicación y las plataformas en línea, también como herramienta para combatirla desinformación en consonancia con el Derecho de la Unión; subraya que, si no se regula, la inteligencia artificial también podría tener efectos adversos desde el punto de vista ético mediante la explotación de sesgos en los datos y los algoritmos que podrían dar lugar a la difusión de desinformación y a la creación de burbujas de información; hace hincapié en la importancia de la transparencia y la rendición de cuentas por lo que respecta a los algoritmos utilizados por las plataformas de intercambio de vídeos y de emisión en directo, a fin de garantizar el acceso a contenidos diversos desde el punto de vista cultural y lingüístico; |

Autoridades nacionales de control

|  |  |  |
| --- | --- | --- |
|  | 122. | Señala el valor añadido de contar, en cada Estado miembro, con autoridades nacionales de control designadas responsables de garantizar, evaluar y supervisar la conformidad con los principios éticos para el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas de alto riesgo, contribuyendo así a la conformidad ética y jurídica de estas tecnologías; |

|  |  |  |
| --- | --- | --- |
|  | 123. | Considera que estas autoridades deben tener la obligación de cooperar, sin duplicidad en sus tareas, con las autoridades responsables de la aplicación de la legislación sectorial para determinar las tecnologías que presentan un elevado riesgo desde el punto de vista ético y supervisar la aplicación de las medidas necesarias y apropiadas en caso de que se determinen dichas tecnologías; |

|  |  |  |
| --- | --- | --- |
|  | 124. | Indica que esas autoridades no solo deben colaborar entre sí, sino también con la Comisión Europea y con otras instituciones, órganos y organismos pertinentes de la Unión, a fin de garantizar una acción transfronteriza coherente; |

|  |  |  |
| --- | --- | --- |
|  | 125. | Propone que, en el marco de esta cooperación, se elaboren criterios comunes y un procedimiento de solicitud para la concesión de un certificado europeo de conformidad ética, también a raíz de una solicitud de cualquier desarrollador, desplegador o usuario de tecnologías no consideradas de alto riesgo que desee certificar la evaluación positiva de la conformidad que haya llevado a cabo la autoridad nacional de control correspondiente; |

|  |  |  |
| --- | --- | --- |
|  | 126. | Pide que dichas autoridades se encarguen de favorecer intercambios regulares con la sociedad civil y de promover la innovación en la Unión, prestando asistencia a los investigadores, desarrolladores y demás partes interesadas pertinentes, así como a empresas menos maduras en términos digitales, en particular a las pymes y a las empresas emergentes, especialmente por cuanto se refiere a la concienciación y el apoyo al desarrollo, el despliegue, la formación y la adquisición de talento, a fin de garantizar una transferencia de tecnología eficiente y el acceso a las tecnologías, los proyectos, los resultados y las redes; |

|  |  |  |
| --- | --- | --- |
|  | 127. | Pide una financiación suficiente, por cada Estado miembro, de sus autoridades nacionales de supervisión designadas, y destaca la necesidad de reforzar las autoridades nacionales de vigilancia del mercado en términos de capacidad, cualificaciones y competencias, así como de conocimientos sobre los riesgos específicos de la inteligencia artificial, la robótica y las tecnologías conexas; |

Coordinación a escala de la Unión

|  |  |  |
| --- | --- | --- |
|  | 128. | Subraya la importancia de la coordinación a escala de la Unión llevada a cabo por la Comisión o cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse en este contexto, a fin de evitar la fragmentación, y de garantizar un enfoque armonizado en toda la Unión; considera que la coordinación debe centrarse en los mandatos y acciones de las autoridades nacionales de supervisión de cada Estado miembro mencionadas, así como en el intercambio de mejores prácticas entre dichas autoridades y en la contribución a la cooperación en materia de investigación y desarrollo en este campo en toda la Unión; pide a la Comisión que evalúe y encuentre la solución más adecuada para estructurar dicha coordinación; considera que algunos ejemplos de instituciones, órganos y organismos pertinentes de la Unión son actualmente la ENISA, el SEPD y el Defensor del Pueblo Europeo; |

|  |  |  |
| --- | --- | --- |
|  | 129. | Considera que tal coordinación, así como la certificación europea de conformidad ética, contribuiría no solo a favorecer el desarrollo de la industria y la innovación de la Unión en este contexto, sino también a que los ciudadanos sean más conscientes de las oportunidades y los riesgos inherentes a estas tecnologías; |

|  |  |  |
| --- | --- | --- |
|  | 130. | Sugiere la creación de un centro de conocimiento especializado que reúna a expertos del ámbito académico, de la investigación, de la empresa y de otros ámbitos a título individual a escala de la Unión, con el fin de fomentar el intercambio de conocimientos y competencias técnicas y de facilitar la colaboración en toda la Unión y fuera de ella; pide, además, que este centro de conocimiento especializado cuente con la participación de las organizaciones de partes interesadas –como organizaciones de protección de los consumidores–, con el fin de garantizar una representación más amplia de los consumidores; considera que, habida cuenta del posible impacto desproporcionado de los sistemas algorítmicos en las mujeres y las minorías, los niveles decisorios de dicha estructura deben ser diversos y garantizar la igualdad de género; hace hincapié en que los Estados miembros deben elaborar estrategias armonizadas de gestión de riesgos para la inteligencia artificial en el contexto de sus estrategias nacionales de vigilancia del mercado; |

|  |  |  |
| --- | --- | --- |
|  | 131. | Propone que la Comisión o cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse en este contexto preste toda la asistencia necesaria a las autoridades nacionales de supervisión en lo que respecta a su papel como primeros puntos de contacto en caso de presunto incumplimiento de las obligaciones jurídicas y los principios éticos establecidos en el marco regulador de la Unión para la inteligencia artificial, incluido el principio de no discriminación; considera que también debe proporcionar toda la asistencia necesaria a las autoridades nacionales de supervisión en los casos en que estas lleven a cabo evaluaciones de la conformidad con el fin de respaldar el derecho de los ciudadanos de impugnación y obtención de reparación, concretamente apoyando, cuando proceda, la consulta de otras autoridades competentes de la Unión, en particular la Red de Cooperación para la Protección de los Consumidores y los organismos nacionales de protección de los consumidores, las organizaciones de la sociedad civil y los interlocutores sociales ubicados en otros Estados miembros; |

|  |  |  |
| --- | --- | --- |
|  | 132. | Reconoce los valiosos resultados del Grupo de expertos de alto nivel sobre inteligencia artificial, compuesto por representantes del mundo académico, la sociedad civil y la industria, así como de la Alianza Europea de la Inteligencia Artificial, en particular las «Directrices éticas para una inteligencia artificial fiable», y sugiere que podría proporcionar conocimientos especializados a la Comisión o a cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse en este contexto; |

|  |  |  |
| --- | --- | --- |
|  | 133. | Señala la inclusión de proyectos relacionados con la inteligencia artificial en el marco del Programa Europeo de Desarrollo Industrial en materia de Defensa (PEDID); considera que el futuro Fondo Europeo de Defensa (FED) y la Cooperación Estructurada Permanente (CEP) también pueden ofrecer unos marcos bien adaptados para futuros proyectos relacionados con la inteligencia artificial que podrían contribuir a integrar mejor los esfuerzos de la Unión en este ámbito y promoverían al mismo tiempo el objetivo de la Unión de reforzar los derechos humanos, el Derecho internacional y las soluciones multilaterales; destaca que los proyectos relacionados con la inteligencia artificial deberían sincronizarse con los programas civiles más amplios de la Unión dedicados a la inteligencia artificial; observa que, de conformidad con el Libro Blanco de la Comisión, de 19 de febrero de 2020, sobre la inteligencia artificial deben establecerse centros de excelencia y de pruebas que se concentren en la investigación y el desarrollo de la inteligencia artificial en el ámbito de la seguridad y la defensa con especificaciones rigurosas que sustenten la participación y la inversión de partes interesadas privadas; |

|  |  |  |
| --- | --- | --- |
|  | 134. | Toma nota del Libro Blanco de la Comisión, de 19 de febrero de 2020, sobre la inteligencia artificial y lamenta que no se tuvieran en cuenta los aspectos militares; pide a la Comisión y al VP/AR que presenten, también como parte de un enfoque global, una estrategia sectorial de inteligencia artificial para las actividades relacionadas con la defensa dentro del marco de la Unión, que garantice el respeto tanto de los derechos de los ciudadanos como de los intereses estratégicos de la Unión, y esté basada en un enfoque coherente que abarque desde la creación de los sistemas basados en la inteligencia artificial hasta sus aplicaciones militares, y que creen un grupo de trabajo sobre seguridad y defensa en el seno del Grupo de expertos de alto nivel sobre inteligencia artificial, que se encargue específicamente de las cuestiones políticas y relacionadas con la inversión, así como de los aspectos éticos de la inteligencia artificial en el ámbito de la seguridad y la defensa; pide al Consejo, a la Comisión y al VP/AR que entablen un diálogo estructurado con el Parlamento a tal fin; |

Certificación europea de conformidad ética

|  |  |  |
| --- | --- | --- |
|  | 135. | Propone que, en el marco de la coordinación al nivel de la Unión, se elaboren criterios comunes y un procedimiento de solicitud para la concesión de un certificado europeo de conformidad ética, también a raíz de una solicitud de cualquier desarrollador, desplegador o usuario de tecnologías no consideradas de alto riesgo que desee certificar la evaluación positiva de la conformidad que haya llevado a cabo la autoridad nacional de control correspondiente; |

|  |  |  |
| --- | --- | --- |
|  | 136. | Considera que este certificado europeo de conformidad ética fomentaría la ética por diseño a lo largo de toda la cadena de suministro de los ecosistemas de inteligencia artificial; sugiere, por tanto, que esta certificación pueda ser, en el caso de las tecnologías de alto riesgo, un requisito previo obligatorio para la admisibilidad en los procedimientos de contratación pública sobre inteligencia artificial, robótica y tecnologías conexas; |

Cooperación internacional

|  |  |  |
| --- | --- | --- |
|  | 137. | Opina que una cooperación transfronteriza y unas normas éticas eficaces solo serán posibles si todas las partes interesadas se comprometen a garantizar la intervención y la supervisión humanas, la solidez y la seguridad técnicas, la transparencia y la rendición de cuentas, la diversidad, la no discriminación y la equidad, el bienestar social y medioambiental y el respeto de los principios establecidos de privacidad, gobernanza de datos y protección de datos, específicamente aquellos establecidos en el Reglamento (UE) 2016/679; |

|  |  |  |
| --- | --- | --- |
|  | 138. | Destaca que las obligaciones jurídicas y los principios éticos de la Unión para el desarrollo, el despliegue y el uso de estas tecnologías podrían convertir a Europa en líder mundial del sector de la inteligencia artificial, por lo que deben promoverse en todo el mundo a través de la cooperación con socios internacionales, mientras prosigue el diálogo crítico y de base ética con terceros países que cuenten con modelos alternativos de regulación, desarrollo y despliegue de la inteligencia artificial; |

|  |  |  |
| --- | --- | --- |
|  | 139. | Recuerda que las oportunidades y los riesgos inherentes a estas tecnologías tienen una dimensión mundial, ya que los programas informáticos y los datos que utilizan a menudo se importan y exportan desde la Unión y, por tanto, se necesita un enfoque de cooperación coherente a escala internacional; pide a la Comisión que tome la iniciativa de valorar qué tratados y acuerdos bilaterales y multilaterales deben adaptarse para garantizar un enfoque coherente y promover el modelo europeo de conformidad ética a escala mundial; |

|  |  |  |
| --- | --- | --- |
|  | 140. | Destaca el valor añadido de la coordinación al nivel de la Unión mencionada anteriormente también en este contexto; |

|  |  |  |
| --- | --- | --- |
|  | 141. | Pide que se creen sinergias y redes entre los distintos centros de investigación europeos en materia de inteligencia artificial, así como con otros foros multilaterales, como el Consejo de Europa, la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (Unesco), la Organización para la Cooperación y el Desarrollo Económico (OCDE), la Organización Mundial del Comercio y la Unión Internacional de Telecomunicaciones (UIT), con el fin de armonizar sus esfuerzos y coordinar mejor los avances en la inteligencia artificial, la robótica y las tecnologías conexas; |

|  |  |  |
| --- | --- | --- |
|  | 142. | Subraya que la Unión debe estar a la vanguardia del apoyo a los esfuerzos multilaterales para debatir, en el marco del Grupo de Expertos Gubernamentales de la CAC de las Naciones Unidas y de otros foros pertinentes, un marco regulador internacional eficaz que garantice un control humano significativo de los sistemas armamentísticos autónomos con el fin de dominar estas tecnologías mediante el establecimiento de procesos bien definidos basados en parámetros de referencia y la adopción de legislación para su uso ético, en consulta con las partes interesadas militares, industriales, policiales, académicas y de la sociedad civil, para comprender los aspectos éticos conexos y para mitigar los riesgos inherentes a estas tecnologías e impedir su uso con fines malintencionados; |

|  |  |  |
| --- | --- | --- |
|  | 143. | Reconoce el papel de la OTAN en la promoción de la seguridad euroatlántica y pide cooperación dentro de esta Alianza para el establecimiento de normas comunes y la interoperabilidad de los sistemas de inteligencia artificial en el ámbito de la defensa; destaca la importancia de la relación transatlántica para preservar los valores compartidos y contrarrestar amenazas futuras e incipientes; |

|  |  |  |
| --- | --- | --- |
|  | 144. | Destaca la importancia de crear un código ético de conducta en que basar el despliegue en operaciones militares de sistemas armamentísticos basados en la inteligencia artificial, similar al marco regulador existente por el que se prohíbe el despliegue de armas químicas y biológicas; opina que la Comisión debe empezar a elaborar normas sobre el uso en la guerra de sistemas armamentísticos basados en la inteligencia artificial, de conformidad con el Derecho internacional humanitario, y que la Unión debe perseguir la adopción internacional de dichas normas; considera que la Unión debe participar en una labor diplomática sobre la inteligencia artificial en foros internacionales con socios afines, como el G7, el G20 y la OCDE; |

Aspectos finales

|  |  |  |
| --- | --- | --- |
|  | 145. | Concluye, a raíz de las mencionadas reflexiones sobre los aspectos relacionados con la dimensión ética de la inteligencia artificial, la robótica y las tecnologías conexas, que las dimensiones jurídica y ética deben quedar asentadas en un marco regulador efectivo, exhaustivo y con visión de futuro a escala de la Unión, respaldado por las autoridades nacionales competentes, coordinado y reforzado por la Comisión o cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse en este contexto, apoyado regularmente por el centro de conocimiento especializado antes mencionado y debidamente respetado y certificado en el mercado interior; |

|  |  |  |
| --- | --- | --- |
|  | 146. | Pide a la Comisión, de conformidad con el procedimiento establecido en el artículo 225 del Tratado de Funcionamiento de la Unión Europea, que presente una propuesta de Reglamento sobre principios éticos para el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas, sobre la base del artículo 114 del Tratado de Funcionamiento de la Unión Europea y partiendo de las recomendaciones detalladas que figuran en el anexo; señala que la propuesta no debe socavar la legislación sectorial, sino únicamente cubrir las lagunas detectadas; |

|  |  |  |
| --- | --- | --- |
|  | 147. | Recomienda que la Comisión Europea, tras consultar a todas las partes interesadas pertinentes, proceda, en caso necesario, a la revisión de la legislación vigente de la Unión aplicable a la inteligencia artificial, la robótica y las tecnologías conexas con el fin de responder a su rápida evolución, de conformidad con las recomendaciones que figuran en el anexo y evitando la sobrerregulación, también para pymes; |

|  |  |  |
| --- | --- | --- |
|  | 148. | Cree que una evaluación y revisión periódicas, cuando sea necesario, del marco regulador de la Unión por cuanto se refiere a la inteligencia artificial, la robótica y las tecnologías conexas será esencial para garantizar que la legislación aplicable se actualice al rápido ritmo de los avances tecnológicos; |

|  |  |  |
| --- | --- | --- |
|  | 149. | Considera que la propuesta legislativa solicitada tendría implicaciones financieras en caso de que las funciones de coordinación mencionadas se encomendaran a cualquier organismo europeo y si se aportaran los medios técnicos y humanos necesarios para el desempeño de sus nuevas tareas; |

o

o o

|  |  |  |
| --- | --- | --- |
|  | 150. | Encarga a su presidente que transmita la presente resolución y las recomendaciones detalladas que la acompañan a la Comisión y al Consejo. |

---

---

ANEXO A LA RESOLUCIÓN

RECOMENDACIONES DETALLADAS RESPECTO AL CONTENIDO DE LA PROPUESTA SOLICITADA

A.   PRINCIPIOS Y OBJETIVOS DE LA PROPUESTA SOLICITADA

|  |  |  |  |  |  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| I. | Los principales principios y objetivos de la presente propuesta son los siguientes:   |  |  | | --- | --- | | — | generar confianza a todos los niveles para las partes interesadas implicadas y la sociedad en la inteligencia artificial, la robótica y las tecnologías conexas, especialmente las consideradas de alto riesgo; |  |  |  | | --- | --- | | — | apoyar el desarrollo de la inteligencia artificial, la robótica y las tecnologías conexas en la Unión, ayudando también a las empresas, incluidas las emergentes y las pymes, a evaluar y abordar con seguridad los actuales y futuros requisitos regulatorios y riesgos durante el proceso de innovación y desarrollo empresarial, así como, durante la fase subsiguiente de uso por profesionales y particulares, reduciendo al mínimo las cargas y la burocracia; |  |  |  | | --- | --- | | — | apoyar el despliegue de la inteligencia artificial, la robótica y las tecnologías conexas en la Unión, proporcionando el marco regulador adecuado y proporcionado, que debe aplicarse sin perjuicio de la legislación sectorial en vigor o futura, con el objetivo de fomentar la seguridad jurídica y la innovación, al tiempo que se garantizan los derechos fundamentales y la protección de los consumidores; |  |  |  | | --- | --- | | — | apoyar el uso de la inteligencia artificial, la robótica y las tecnologías conexas en la Unión garantizando que sean desarrollas, desplegadas y utilizadas de manera que se respeten los principios éticos; |  |  |  | | --- | --- | | — | exigir transparencia y un mejor flujo de información entre los ciudadanos y las organizaciones que desarrollan, despliegan o utilizan la inteligencia artificial, la robótica y las tecnologías conexas como medio para garantizar que estas tecnologías respeten el Derecho de la Unión y los derechos y valores fundamentales y los principios éticos de la propuesta de Reglamento solicitada. | |

|  |  |  |  |  |  |  |  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| II. | La propuesta consta de los siguientes elementos:   |  |  | | --- | --- | | — | un «Reglamento sobre principios éticos para el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas»; |  |  |  | | --- | --- | | — | el papel de coordinación a escala de la Unión por parte de la Comisión o cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse en este contexto y una certificación europea de conformidad ética; |  |  |  | | --- | --- | | — | el papel de apoyo de la Comisión Europea; |  |  |  | | --- | --- | | — | el papel de la «autoridad de control» en cada Estado miembro para garantizar la aplicación de los principios éticos a la inteligencia artificial, la robótica y las tecnologías conexas; |  |  |  | | --- | --- | | — | la participación y la consulta de los proyectos pertinentes de investigación y desarrollo y las partes interesadas afectadas, en particular las empresas, incluidas las emergentes y las pymes, los interlocutores sociales y otros representantes de la sociedad civil, así como la prestación de apoyo a tales proyectos y partes interesadas; |  |  |  | | --- | --- | | — | un anexo que establezca una lista exhaustiva y acumulativa de sectores de alto riesgo y usos y fines de alto riesgo; | |

|  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| III. | El «Reglamento sobre principios éticos para el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas» se basa en los siguientes principios:   |  |  | | --- | --- | | — | una inteligencia artificial, una robótica y unas tecnologías conexas antropocéntricas, antropogénicas y controladas por seres humanos; |  |  |  | | --- | --- | | — | evaluación de la conformidad obligatoria de la inteligencia artificial, la robótica y las tecnologías conexas de alto riesgo; |  |  |  | | --- | --- | | — | seguridad, transparencia y rendición de cuentas; |  |  |  | | --- | --- | | — | salvaguardias y vías de recurso contra el sesgo y la discriminación; |  |  |  | | --- | --- | | — | derecho de resarcimiento; |  |  |  | | --- | --- | | — | responsabilidad social e igualdad de género en la inteligencia artificial, la robótica y las tecnologías conexas; |  |  |  | | --- | --- | | — | una inteligencia artificial, una robótica y unas tecnologías conexas ambientalmente sostenibles; |  |  |  | | --- | --- | | — | respeto de la intimidad y restricciones al uso del reconocimiento biométrico; |  |  |  | | --- | --- | | — | buena gobernanza relativa a la inteligencia artificial, la robótica y las tecnologías conexas, incluidos los datos utilizados o producidos por dichas tecnologías. | |

|  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| IV. | A efectos de coordinación a escala de la Unión, la Comisión o cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse en este contexto debe llevar a cabo las siguientes tareas principales:   |  |  | | --- | --- | | — | cooperar en el seguimiento de la aplicación de la propuesta de Reglamento solicitada y del Derecho sectorial de la Unión pertinente; |  |  |  | | --- | --- | | — | cooperar en relación con la publicación de orientaciones relativas a la aplicación coherente de la propuesta de Reglamento solicitada, a saber, la aplicación de los criterios para que la inteligencia artificial, la robótica y las tecnologías conexas se consideren de alto riesgo y la lista de sectores de alto riesgo y usos y fines de alto riesgo que se establece en el anexo del Reglamento; |  |  |  | | --- | --- | | — | cooperar con la «autoridad de control» de cada Estado miembro en lo que respecta a la elaboración de un certificado europeo de conformidad con los principios éticos y las obligaciones jurídicas tal como se establecen en la propuesta de Reglamento solicitada y el Derecho pertinente de la Unión, así como el desarrollo de un proceso de solicitud para cualquier desarrollador, desplegador o usuario de tecnologías no consideradas de alto riesgo que pretenda certificar su conformidad con la propuesta de Reglamento solicitada; |  |  |  | | --- | --- | | — | cooperar con respecto al apoyo a la cooperación intersectorial y transfronteriza mediante intercambios periódicos con las partes interesadas afectadas y la sociedad civil, en la Unión Europea y en el mundo, especialmente con las empresas, los interlocutores sociales, los investigadores y las autoridades competentes, también en lo que se refiere al desarrollo de normas técnicas a nivel internacional; |  |  |  | | --- | --- | | — | cooperar con la «autoridad de control» de cada Estado miembro en lo que respecta al establecimiento de directrices vinculantes sobre la metodología que debe seguirse para la evaluación de la conformidad que debe llevar a cabo cada «autoridad de control»; |  |  |  | | --- | --- | | — | cooperar por lo que respecta a las relaciones con la «autoridad de control» de cada Estado miembro y la coordinación de sus mandatos y cometidos; |  |  |  | | --- | --- | | — | cooperar en la concienciación, la prestación de información y los intercambios con desarrolladores, desplegadores y usuarios en toda la Unión; |  |  |  | | --- | --- | | — | cooperar en la concienciación, la facilitación de información y la promoción de la alfabetización, la formación y las competencias digitales y la realización de intercambios con diseñadores, desarrolladores, desplegadores, ciudadanos, usuarios y organismos institucionales en toda la Unión y a escala internacional; |  |  |  | | --- | --- | | — | cooperar con respecto a la coordinación de un marco común para la gobernanza del desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas que debe aplicar la «autoridad de control» de cada Estado miembro; |  |  |  | | --- | --- | | — | cooperar para servir de centro de conocimientos especializados promoviendo el intercambio de información y apoyando el desarrollo de un entendimiento común en el mercado único; |  |  |  | | --- | --- | | — | cooperar en relación con la organización de un grupo de trabajo sobre seguridad y defensa. | |

|  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- |
| V. | Además, la Comisión debe llevar a cabo las siguientes tareas:   |  |  | | --- | --- | | — | elaborar, y a continuación actualizar, mediante actos delegados, una lista común de tecnologías de alto riesgo identificadas en la Unión en cooperación con la «autoridad de control» de cada Estado miembro; |  |  |  | | --- | --- | | — | actualizar, mediante actos delegados, la lista que figura en el anexo del Reglamento. | |

|  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| VI. | La «autoridad de control» de cada Estado miembro debe llevar a cabo las siguientes tareas principales:   |  |  | | --- | --- | | — | contribuir a la aplicación coherente del marco regulador establecido en la propuesta de Reglamento solicitada en cooperación con la «autoridad de control» de los demás Estados miembros, así como con otras autoridades responsables de la aplicación de la legislación sectorial, la Comisión o cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse en este contexto, particularmente en lo que se refiere a la aplicación de los criterios de evaluación de riesgos que prevé la propuesta de Reglamento solicitada y de la lista de sectores de alto riesgo y usos o fines de alto riesgo establecida en su anexo, y la subsiguiente supervisión de la implantación de las medidas necesarias y apropiadas en caso de que se identifiquen tecnologías de alto riesgo como resultado de dicha aplicación; |  |  |  | | --- | --- | | — | valorar si la inteligencia artificial, la robótica y las tecnologías conexas, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, desarrolladas, desplegadas y utilizadas en la Unión deben considerarse tecnologías de alto riesgo de conformidad con los criterios de evaluación de riesgos establecidos en la propuesta de Reglamento solicitada y en la lista establecida en su anexo; |  |  |  | | --- | --- | | — | emitir un certificado europeo de conformidad con los principios éticos y las obligaciones jurídicas tal como se establecen en la propuesta de Reglamento solicitada y el derecho de la Unión pertinente, también como resultado de un proceso de solicitud para cualquier desarrollador, desplegador o usuario de tecnologías no consideradas de alto riesgo que pretenda certificar su conformidad con la propuesta de Reglamento solicitada, según lo desarrollado por la Comisión o cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse en este contexto; |  |  |  | | --- | --- | | — | evaluar y supervisar su conformidad con los principios éticos y las obligaciones jurídicas tal como se establecen en la propuesta de Reglamento solicitada y el Derecho de la Unión pertinente; |  |  |  | | --- | --- | | — | ser responsable del establecimiento y la aplicación de normas para la gobernanza de la inteligencia artificial, la robótica y las tecnologías conexas, también mediante las relaciones y un diálogo regular con el conjunto de las partes interesadas pertinentes y de los representantes de la sociedad civil; cooperar a tal fin con la Comisión o cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse en este contexto por cuanto respecta a la coordinación de un marco común a escala de la Unión; |  |  |  | | --- | --- | | — | concienciar, suministrar información al público sobre inteligencia artificial, robótica y tecnologías conexas, y apoyar la formación de las profesiones pertinentes, también en el poder judicial, capacitando así a los ciudadanos y a los trabajadores con la alfabetización, las competencias y las herramientas digitales necesarias para una transición justa; |  |  |  | | --- | --- | | — | servir de primer punto de contacto en caso de sospecha de incumplimiento de las obligaciones jurídicas y los principios éticos establecidos en la propuesta de Reglamento solicitada y llevar a cabo una evaluación de la conformidad en tales casos; en el marco de esta evaluación de la conformidad, podrá consultar o informar a otras autoridades competentes de la Unión, en particular la Red de Cooperación para la Protección de los Consumidores, los organismos nacionales de protección de los consumidores, las organizaciones de la sociedad civil y los interlocutores sociales. | |

|  |  |
| --- | --- |
| VII. | El papel clave de las partes interesadas debe consistir en colaborar con la Comisión o cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse en este contexto y con la «autoridad de control» de cada Estado miembro. |

B.   TEXTO DE LA PROPUESTA LEGISLATIVA SOLICITADA

Propuesta de

REGLAMENTO DEL PARLAMENTO EUROPEO Y DEL CONSEJO

sobre los principios éticos para el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas

EL PARLAMENTO EUROPEO Y EL CONSEJO DE LA UNIÓN EUROPEA,

Visto el Tratado de Funcionamiento de la Unión Europea, en particular, su artículo 114,

Vista la propuesta de la Comisión Europea,

Previa transmisión del proyecto de acto legislativo a los Parlamentos nacionales,

Visto el dictamen del Comité Económico y Social Europeo,

De conformidad con el procedimiento legislativo ordinario,

Considerando lo siguiente:

|  |  |
| --- | --- |
| (1) | El desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, deben basarse en el deseo de servir a la sociedad. Tales tecnologías pueden conllevar tanto oportunidades como riesgos, que deben abordarse y regularse mediante un marco regulador exhaustivo a escala de la Unión que refleje los principios éticos que deben cumplirse desde el momento del desarrollo y el despliegue de dichas tecnologías hasta su uso. |

|  |  |
| --- | --- |
| (2) | La conformidad con tal marco regulador en relación con el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas en la Unión, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, debe ser de un nivel equivalente en todos los Estados miembros para aprovechar las oportunidades de forma eficaz y abordar los riesgos de estas tecnologías de forma coherente, y para evitar la fragmentación de la normativa. Debe garantizarse la aplicación homogénea en toda la Unión de las normas establecidas en el presente Reglamento. |

|  |  |
| --- | --- |
| (3) | En este contexto, la diversidad actual de las normas y prácticas seguidas en toda la Unión plantea un riesgo significativo de fragmentación del mercado único y para la protección del bienestar y la prosperidad de las personas y de la sociedad por igual, así como para la exploración coherente del pleno potencial de la inteligencia artificial, la robótica y las tecnologías conexas en la promoción de la innovación y la preservación del bienestar y la prosperidad. Las diferencias respecto al grado de consideración por desarrolladores, desplegadores y usuarios de la dimensión ética inherente a estas tecnologías pueden impedir que estas se desarrollen, se desplieguen o se utilicen libremente en la Unión, y tales diferencias pueden constituir un obstáculo a las condiciones de competencia equitativas y a la realización de progresos tecnológicos y actividades económicas a nivel de la Unión, distorsionar la competencia e impedir que las autoridades cumplan sus obligaciones derivadas del Derecho de la Unión. Además, la falta de un marco regulador común que refleje los principios éticos para el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas provoca inseguridad jurídica en todas las partes implicadas, en particular los desarrolladores, los desplegadores y los usuarios. |

|  |  |
| --- | --- |
| (4) | No obstante, en paralelo a la contribución a un enfoque coherente al nivel de la Unión y dentro de los límites que establece, el presente Reglamento debe ofrecer un margen de aplicación para los Estados miembros, en particular por lo que se refiere a la manera en que su respectiva autoridad nacional de control debe ejercer el mandato, habida cuenta del objetivo que debe perseguir de conformidad con lo que en él se dispone. |

|  |  |
| --- | --- |
| (5) | El presente Reglamento se entiende sin perjuicio de la legislación sectorial en vigor o futura. Debe ser proporcionado en relación con su objetivo, a fin de no obstaculizar indebidamente la innovación en la Unión y ajustarse a un enfoque basado en el riesgo. |

|  |  |
| --- | --- |
| (6) | El ámbito geográfico de aplicación de dicho marco debe comprender todos los componentes de la inteligencia artificial, la robótica y las tecnologías conexas a través de su desarrollo, despliegue o uso en la Unión, incluso en los casos en que una parte de las tecnologías esté situada fuera de la Unión o no tenga una ubicación específica o única, como es el caso de los servicios de computación en la nube. |

|  |  |
| --- | --- |
| (7) | Para permitir que exista un enfoque regulador unificado y, por tanto, seguridad jurídica, tanto para los ciudadanos como para las empresas, es necesaria una interpretación común en la Unión de conceptos tales como inteligencia artificial, robótica, tecnologías conexas y reconocimiento biométrico. Deben ser tecnológicamente neutras y estar sujetas a revisión siempre que sea necesario. |

|  |  |
| --- | --- |
| (8) | Además, debe tenerse en cuenta que existen tecnologías relacionadas con la inteligencia artificial y la robótica que permiten que los programas informáticos controlen procesos físicos o virtuales, con diverso grado de autonomía [(1)](#ntr1-C_2021404ES.01008901-E0001). Para la conducción automatizada de vehículos, por ejemplo, la norma SAE J3016 ha propuesto seis niveles de automatización de la conducción. |

|  |  |
| --- | --- |
| (9) | El desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, deben complementar las capacidades humanas, sin sustituirlas, y garantizar que su ejecución no es contraria al interés superior de los ciudadanos y que respeta el Derecho de la Unión, los derechos fundamentales establecidos en la Carta de los Derechos Fundamentales de la Unión Europea (en lo sucesivo, «Carta»), la jurisprudencia reiterada del Tribunal de Justicia de la Unión Europea y otros instrumentos europeos e internacionales que se apliquen en la Unión. |

|  |  |
| --- | --- |
| (10) | Las decisiones adoptadas por la inteligencia artificial, la robótica y las tecnologías conexas o basadas en ellas deben seguir siendo objeto de revisión, evaluación, intervención y control humanos significativos. La complejidad técnica y operativa de estas tecnologías no debe impedir nunca que el desplegador o el usuario pueda, como mínimo, proceder a su desconexión segura, alterar o desactivar su funcionamiento o volver a un estado anterior que restaure las funcionalidades seguras en los casos en que esté en peligro la conformidad con el Derecho de la Unión y los principios éticos y obligaciones jurídicas establecidos en el presente Reglamento. |

|  |  |
| --- | --- |
| (11) | La inteligencia artificial, la robótica y las tecnologías conexas cuyo desarrollo, despliegue y uso entrañen un riesgo significativo de causar lesiones o daños a particulares o a la sociedad, vulnerando los derechos fundamentales y las normas de seguridad establecidas en el Derecho de la Unión, deben considerarse tecnologías de alto riesgo. A efectos de su evaluación como tales, deben tenerse en cuenta el sector en el que se desarrollan, despliegan o utilizan, su uso o finalidad específica y la gravedad de la lesión o daño que cabe esperar que se produzca. El grado de gravedad debe determinarse sobre la base de la magnitud de la lesión o daño potencial, el número de personas afectadas, el valor total del perjuicio ocasionado y el daño a la sociedad en su conjunto. Los tipos graves de lesiones y daños son, por ejemplo, las violaciones de los derechos de los niños, los consumidores o los trabajadores que, debido a su alcance, el número de niños, consumidores o trabajadores afectados o su impacto en la sociedad en su conjunto, entrañan un riesgo significativo de vulneración de los derechos fundamentales y las normas de seguridad establecidas en el Derecho de la Unión. El presente Reglamento debe proporcionar una lista exhaustiva y acumulativa de sectores de alto riesgo y usos y fines de alto riesgo. |

|  |  |
| --- | --- |
| (12) | Las obligaciones establecidas en el presente Reglamento, en particular las relativas a las tecnologías de alto riesgo, solo deben aplicarse a la inteligencia artificial, la robótica y las tecnologías conexas, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, desarrolladas, desplegadas o utilizadas en la Unión que, tras la evaluación de riesgos prevista en el presente Reglamento, se consideren de alto riesgo. Dichas obligaciones deben cumplirse sin perjuicio de la obligación general de que toda inteligencia artificial, robótica y tecnología conexa, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, se desarrolle, despliegue y utilice en la Unión de manera antropocéntrica y sobre la base de los principios de autonomía humana y seguridad humana, de conformidad con el Derecho de la Unión y respetando plenamente derechos fundamentales tales como la dignidad humana, el derecho a la libertad y a la seguridad y el derecho a la integridad de la persona. |

|  |  |
| --- | --- |
| (13) | Las tecnologías de alto riesgo deben respetar los principios de seguridad, transparencia, rendición de cuentas, ausencia de sesgo y de discriminación, responsabilidad social e igualdad de género, derecho a resarcimiento, sostenibilidad medioambiental, privacidad y buena gobernanza, tras una evaluación de riesgos imparcial, objetiva y externa realizada por la autoridad nacional de control de conformidad con los criterios establecidos en el presente Reglamento y en la lista que figura en su anexo. Dicha evaluación debe tener en cuenta las opiniones del desarrollador o del desplegador, así como cualquier autoevaluación realizada por ellos. |

|  |  |
| --- | --- |
| (14) | La Comisión o cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse a tal fin debe elaborar directrices de aplicación no vinculantes destinadas a los desarrolladores, desplegadores y usuarios sobre la metodología que corresponda seguir para conformarse al presente Reglamento. Para ello deben consultar a las partes interesadas pertinentes. |

|  |  |
| --- | --- |
| (15) | Debe haber coherencia dentro de la Unión en lo que respecta a la evaluación de riesgos de estas tecnologías, especialmente en caso de que se evalúen a la luz del presente Reglamento y de conformidad con cualquier legislación sectorial específica aplicable. En consecuencia, cuando, tras la evaluación de riesgos prevista en el presente Reglamento, estas tecnologías se consideren de alto riesgo, las autoridades nacionales de control deben informar a las demás autoridades que lleven a cabo evaluaciones de riesgos de conformidad con cualquier legislación sectorial específica. |

|  |  |
| --- | --- |
| (16) | Para ser fiables, la inteligencia artificial, la robótica y las tecnologías conexas de alto riesgo, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, deben desarrollarse, desplegarse y utilizarse de manera segura, transparente y responsable, con arreglo a características de seguridad tales como la solidez, la resiliencia, la seguridad, la exactitud y la detección de errores, la explicabilidad, la interpretabilidad, la auditabilidad, la transparencia y la identificabilidad, y de tal manera que sea posible desactivar las funcionalidades en cuestión o volver a un estado anterior que restaure unas funcionalidades seguras, en caso de que no se respeten dichas características. Debe garantizarse la transparencia permitiendo el acceso de las autoridades públicas, cuando sea estrictamente necesario, a la tecnología, los datos y los sistemas informáticos en que se basan dichas tecnologías. |

|  |  |
| --- | --- |
| (17) | Los desarrolladores, los desplegadores y los usuarios de la inteligencia artificial, la robótica y las tecnologías conexas, en particular las tecnologías de alto riesgo, son responsables en distintos grados del cumplimiento de los principios de seguridad, transparencia y rendición de cuentas en la medida que corresponda a su participación en las tecnologías en cuestión, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías. Los desarrolladores deben garantizar que las tecnologías en cuestión estén diseñadas y construidas de conformidad con las características de seguridad establecidas en el presente Reglamento, mientras que los desplegadores y los usuarios deben desplegar y utilizar las tecnologías en cuestión respetando plenamente dichas características. Con este fin, los desarrolladores de tecnologías de alto riesgo deben evaluar y anticipar los riesgos de uso indebido que puedan preverse razonablemente respecto de las tecnologías que desarrollen. Asimismo, deben garantizar que los sistemas que desarrollan indiquen, en la medida de lo posible y a través de medios adecuados, como un mensaje de exención de responsabilidad, la probabilidad de que se produzcan errores o inexactitudes. |

|  |  |
| --- | --- |
| (18) | Los desarrolladores y los desplegadores deben poner a disposición de los usuarios todas las actualizaciones posteriores de las tecnologías en cuestión, en particular por lo que se refiere a los programas informáticos, de conformidad con lo estipulado en el contrato o con lo establecido en el Derecho nacional o de la Unión. Además, cuando una evaluación de riesgos así lo indique, los desarrolladores y los desplegadores deben facilitar a las autoridades públicas la documentación pertinente sobre el uso de las tecnologías de que se trate y las instrucciones de seguridad al respecto, incluidos —cuando sea estrictamente necesario y respetando plenamente el Derecho de la Unión en materia de protección de datos, privacidad y derechos de propiedad intelectual y secretos comerciales— el código fuente, las herramientas de desarrollo y los datos utilizados por el sistema. |

|  |  |
| --- | --- |
| (19) | Los ciudadanos tienen derecho a esperar que la tecnología que utilizan funcione de manera razonable y respete su confianza. La confianza de la ciudadanía en la inteligencia artificial, la robótica y las tecnologías conexas, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, depende del conocimiento y la comprensión de los procesos técnicos. El grado de explicabilidad de esos procesos técnicos debe depender del contexto en el que se enmarquen y de la gravedad de las consecuencias de un resultado erróneo o impreciso, y debe ser suficiente para poder impugnarlos y solicitar resarcimiento. La auditabilidad, la trazabilidad y la transparencia deben tratar cualquier posible ininteligibilidad de estas tecnologías. |

|  |  |
| --- | --- |
| (20) | La confianza de la sociedad en la inteligencia artificial, la robótica y las tecnologías conexas, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, depende del grado de evaluación, auditabilidad y trazabilidad que permitan las tecnologías en cuestión. En la medida en que su participación así lo requiera, los desarrolladores deben garantizar que tales tecnologías estén diseñadas y construidas de una manera que permita dicha evaluación, auditoría y trazabilidad. Dentro de los límites de lo técnicamente posible, los desarrolladores, los desplegadores y los usuarios deben garantizar que la inteligencia artificial, la robótica y las tecnologías conexas se despliegan y utilicen respetando plenamente los requisitos de transparencia y permitiendo la auditoría y la trazabilidad. |

|  |  |
| --- | --- |
| (21) | Para garantizar la transparencia y la rendición de cuentas, se debe informar a los ciudadanos siempre que un sistema utilice inteligencia artificial, siempre que los sistemas de inteligencia artificial personalicen un producto o un servicio para sus usuarios, así como de si pueden desactivar o limitar la personalización, y siempre que se enfrenten a una tecnología de toma de decisiones automatizada. Además, las medidas de transparencia deben ir acompañadas, siempre que sea técnicamente posible, de explicaciones claras y comprensibles sobre los datos utilizados y el algoritmo, así como sobre su finalidad, sus resultados y sus riesgos potenciales. |

|  |  |
| --- | --- |
| (22) | El sesgo y la discriminación de los programas informáticos, los algoritmos y los datos son ilícitos y deben abordarse regulando los procesos mediante los cuales se diseñan y despliegan. El sesgo puede originarse tanto en las decisiones basadas en un sistema automatizado o adoptadas por tal sistema como en los conjuntos de datos en los que se basan dichas tomas de decisiones o con los que se entrena al sistema. |

|  |  |
| --- | --- |
| (23) | Los programas informáticos, los algoritmos y los datos utilizados o producidos por la inteligencia artificial, la robótica y las tecnologías conexas deben considerarse sesgados cuando, por ejemplo, no arrojen resultados óptimos en relación con cualquier persona o grupo de personas, sobre la base de una percepción personal o social prejuiciosa y del posterior tratamiento de los datos relativos a sus características. |

|  |  |
| --- | --- |
| (24) | En consonancia con el Derecho de la Unión, los programas informáticos, los algoritmos y los datos utilizados o producidos por la inteligencia artificial, la robótica y las tecnologías conexas deben considerarse discriminatorios cuando produzcan resultados con unos efectos negativos desproporcionados que den lugar a un tratamiento diferente de una persona o grupo de personas, que las ponga incluso en una situación de desventaja en comparación con otras personas, sobre la base de motivos tales como sus características personales, sin una justificación objetiva o razonable e independientemente de cualquier reivindicación de neutralidad de las tecnologías en cuestión. |

|  |  |
| --- | --- |
| (25) | En consonancia con el Derecho de la Unión, son objetivos legítimos que, en virtud del presente Reglamento, pueden justificar objetivamente cualquier diferencia de trato entre personas o grupos de personas la protección de la seguridad y la salud públicas, la prevención de infracciones penales, la protección de los derechos y las libertades fundamentales, la representación equitativa y los requisitos objetivos para ejercer una profesión. |

|  |  |
| --- | --- |
| (26) | La inteligencia artificial, la robótica y las tecnologías conexas, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, deben contribuir a un progreso sostenible. Estas tecnologías no deben ser contrarias a la causa de la conservación del medio ambiente o de la transición ecológica. Pueden desempeñar un importante papel en la consecución de los Objetivos de Desarrollo Sostenible de las Naciones Unidas, con miras a la prosperidad de las generaciones futuras. Estas tecnologías pueden contribuir al seguimiento de los progresos adecuados sobre la base de indicadores de sostenibilidad y de cohesión social y gracias al uso de instrumentos de investigación e innovación responsables que requieran la movilización de recursos por parte de la Unión y de sus Estados miembros para apoyar e invertir en proyectos centrados en estos objetivos. |

|  |  |
| --- | --- |
| (27) | El desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, no deben en ningún caso causar intencionadamente lesiones o daños de ningún tipo a las personas o a la sociedad, ni aceptarlos desde el diseño. Por consiguiente, las tecnologías de alto riesgo, en particular, deben desarrollarse, desplegarse y utilizarse de manera responsable desde el punto de vista social. |

|  |  |
| --- | --- |
| (28) | Por lo tanto, los desarrolladores, los desplegadores y los usuarios deben ser considerados responsables de cualquier lesión o daño causado a las personas o a la sociedad, en la medida que corresponda a su participación en la inteligencia artificial, la robótica y las tecnologías conexas en cuestión, y de conformidad con las normas nacionales y de la Unión en materia de responsabilidad. |

|  |  |
| --- | --- |
| (29) | En particular, los desarrolladores que toman decisiones que determinan y controlan el curso o la forma del desarrollo de la inteligencia artificial, la robótica y las tecnologías conexas, así como los desplegadores que intervienen en su despliegue con una función de control o gestión, tomando decisiones relativas a dicho despliegue y ejerciendo un control sobre los riesgos asociados o beneficiándose de dicho despliegue, deben, en general, ser considerados responsables de evitar que se produzcan tales lesiones o daños, introduciendo medidas adecuadas durante el proceso de desarrollo y respetando escrupulosamente dichas medidas durante la fase de despliegue, respectivamente. |

|  |  |
| --- | --- |
| (30) | La inteligencia artificial, la robótica y las tecnologías conexas socialmente responsables, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, pueden definirse como tecnologías que contribuyen a encontrar soluciones que protegen y promueven distintos objetivos de la sociedad, en particular la democracia, la salud y la prosperidad económica, la igualdad de oportunidades, los derechos de los trabajadores y los derechos sociales, unos medios de comunicación plurales e independientes y una información objetiva y de libre acceso, haciendo así posibles el debate público, una educación de calidad, la diversidad cultural y lingüística, la paridad de género, la alfabetización digital, la innovación y la creatividad. También se incluyen en esta categoría las tecnologías que se desarrollan, se despliegan y se utilizan teniendo debidamente en cuenta su impacto final en el bienestar físico y mental de los ciudadanos y que no incitan al discurso de odio ni a la violencia. Dichos objetivos deben alcanzarse, en particular, mediante tecnologías de alto riesgo. |

|  |  |
| --- | --- |
| (31) | La inteligencia artificial, la robótica y las tecnologías conexas también deben desarrollarse, desplegarse y utilizarse para apoyar la inclusión social, la democracia, la pluralidad, la solidaridad, la equidad, la igualdad y la cooperación, y su potencial en este contexto debe maximizarse y explorarse a través de proyectos de investigación e innovación. Por consiguiente, la Unión y sus Estados miembros deben movilizar sus recursos financieros, administrativos y de comunicación con el fin de apoyar dichos proyectos e invertir en ellos. |

|  |  |
| --- | --- |
| (32) | Los proyectos relacionados con el potencial de la inteligencia artificial, la robótica y las tecnologías conexas para abordar la cuestión del bienestar social deben llevarse a cabo sobre la base de instrumentos de investigación e innovación responsables, a fin de garantizar desde el principio la conformidad de dichos proyectos con los principios éticos. |

|  |  |
| --- | --- |
| (33) | El desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, deben tener en cuenta su huella ambiental. En consonancia con las obligaciones establecidas en el Derecho de la Unión aplicable, dichas tecnologías no deben causar daños al medio ambiente durante su ciclo de vida ni a lo largo de toda su cadena de suministro, y deben desarrollarse, desplegarse y utilizarse de manera que se preserve el medio ambiente, se atenúe y repare su huella ambiental, se contribuya a la transición ecológica y se apoye la consecución de los objetivos de neutralidad climática y economía circular. |

|  |  |
| --- | --- |
| (34) | A efectos del presente Reglamento, los desarrolladores, los desplegadores y los usuarios deben ser considerados responsables, en la medida que corresponda a su participación en el desarrollo, el despliegue o el uso de la inteligencia artificial, la robótica y las tecnologías conexas consideradas de alto riesgo, de todo daño causado al medio ambiente, de conformidad con las normas aplicables en materia de responsabilidad medioambiental. |

|  |  |
| --- | --- |
| (35) | Estas tecnologías también deben desarrollarse, desplegarse y utilizarse para apoyar la consecución de objetivos medioambientales en consonancia con las obligaciones establecidas en el Derecho aplicable de la Unión, como la reducción de la producción de residuos, la disminución de la huella de carbono, la lucha contra el cambio climático y la conservación del medio ambiente, y su potencial en este contexto debe maximizarse y explorarse a través de proyectos de investigación e innovación. Por consiguiente, la Unión y sus Estados miembros deben movilizar sus recursos financieros, administrativos y de comunicación con el fin de apoyar dichos proyectos e invertir en ellos. |

|  |  |
| --- | --- |
| (36) | Los proyectos relacionados con el potencial de la inteligencia artificial, la robótica y las tecnologías conexas para abordar los problemas medioambientales deben llevarse a cabo sobre la base de instrumentos de investigación e innovación responsables, a fin de garantizar desde el principio la conformidad de dichos proyectos con los principios éticos. |

|  |  |
| --- | --- |
| (37) | La inteligencia artificial, la robótica y las tecnologías conexas —incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías— desarrolladas, desplegadas y utilizadas en la Unión deben respetar plenamente el derecho de los ciudadanos de la Unión a la intimidad y a la protección de los datos personales. En particular, su desarrollo, despliegue y uso deben ser conformes con el Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo [(2)](#ntr2-C_2021404ES.01008901-E0002) y la Directiva 2002/58/CE del Parlamento Europeo y del Consejo [(3)](#ntr3-C_2021404ES.01008901-E0003). |

|  |  |
| --- | --- |
| (38) | En particular, los límites éticos del uso de la inteligencia artificial, la robótica y las tecnologías conexas, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, deben tenerse debidamente en cuenta a la hora de utilizar tecnologías de reconocimiento remoto, como el reconocimiento de las características biométricas, en particular el reconocimiento facial, para identificar automáticamente a las personas. Cuando las autoridades públicas utilicen estas tecnologías por razones de interés público esencial, a saber, para garantizar la seguridad de las personas y hacer frente a situaciones de emergencia nacional, y no para garantizar la seguridad de los bienes, dicho uso debe siempre hacerse público, ser proporcionado, específico, restringirse a objetivos concretos y estar limitado en el tiempo, de conformidad con el Derecho de la Unión y teniendo debidamente en cuenta la dignidad y la autonomía humanas y los derechos fundamentales establecidos en la Carta. Los criterios y límites de dicho uso deben estar sujetos a tutela judicial y sometidos a un control y un debate democráticos con participación de la sociedad civil. |

|  |  |
| --- | --- |
| (39) | La gobernanza basada en las normas pertinentes refuerza la seguridad y fomenta una mayor confianza de los ciudadanos en el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías. |

|  |  |
| --- | --- |
| (40) | Las autoridades públicas deben llevar a cabo evaluaciones de impacto sobre los derechos fundamentales antes de desplegar tecnologías de alto riesgo que sirvan para apoyar decisiones tomadas en el sector público que repercuten de forma directa y significativa en los derechos y las obligaciones de los ciudadanos. |

|  |  |
| --- | --- |
| (41) | Entre las normas de gobernanza pertinentes existentes figuran, por ejemplo, las Directrices éticas para una inteligencia artificial fiable, elaboradas por el Grupo de expertos de alto nivel sobre inteligencia artificial creado por la Comisión Europea, así como otras normas técnicas como las adoptadas por el Comité Europeo de Normalización (CEN), el Comité Europeo de Normalización Electrotécnica (Cenelec) y el Instituto Europeo de Normas de Telecomunicaciones (ETSI) a escala europea, y por la Organización Internacional de Normalización (ISO) y el Instituto de Ingenieros Eléctricos y Electrónicos (IEEE) a escala internacional. |

|  |  |
| --- | --- |
| (42) | El intercambio y el uso de datos por parte de múltiples participantes es una cuestión sensible, por lo que el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas deben regirse por las reglas, las normas y los protocolos pertinentes y reflejar los requisitos de calidad, integridad, seguridad, confiabilidad, privacidad y control. La estrategia de gestión de datos debe centrarse en el tratamiento y el intercambio de dichos datos, así como en el acceso a estos, incluidas su correcta gestión, auditabilidad y trazabilidad, y garantizar una protección adecuada de los datos pertenecientes a grupos vulnerables, incluidas las personas con discapacidad, los pacientes, los niños, las minorías y los migrantes u otros grupos en riesgo de exclusión. Además, los desarrolladores, los desplegadores y los usuarios deben poder basarse, en su caso, en indicadores clave de rendimiento a la hora de evaluar los conjuntos de datos que usan con vistas a mejorar la fiabilidad de las tecnologías que desarrollan, despliegan y utilizan. |

|  |  |
| --- | --- |
| (43) | Los Estados miembros deben designar una autoridad administrativa independiente que actúe como autoridad de control. En particular, cada autoridad nacional de control debe ser responsable de determinar la inteligencia artificial, la robótica y las tecnologías conexas que se consideran de alto riesgo a la luz de los criterios de evaluación de riesgos previstos en el presente Reglamento, así como de evaluar y supervisar que esas tecnologías cumplen las obligaciones establecidas en el presente Reglamento. |

|  |  |
| --- | --- |
| (44) | Cada autoridad nacional de control ha de ser asimismo responsable de la buena gobernanza de dichas tecnologías bajo la coordinación de la Comisión o de cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse a tal fin. Por tanto, desempeñan un papel importante en el fomento de la confianza y la seguridad de los ciudadanos de la Unión, así como en la creación de una sociedad democrática, pluralista y equitativa. |

|  |  |
| --- | --- |
| (45) | A efectos de la evaluación de tecnologías de alto riesgo con arreglo al presente Reglamento, y de la supervisión de su conformidad con este, las autoridades nacionales de control deben cooperar, cuando proceda, con las autoridades responsables de evaluar y supervisar dichas tecnologías y de velar por su conformidad con la legislación sectorial. |

|  |  |
| --- | --- |
| (46) | Las autoridades nacionales de control deben cooperar de forma sustancial y regular entre sí, así como con la Comisión Europea y otras instituciones, órganos y organismos pertinentes de la Unión, a fin de garantizar una actuación transfronteriza coherente y permitir un desarrollo, un despliegue y un uso coherentes de estas tecnologías dentro de la Unión, de conformidad con los principios éticos y las obligaciones jurídicas establecidos en el presente Reglamento. |

|  |  |
| --- | --- |
| (47) | En el marco de dicha cooperación y con vistas a lograr la plena armonización a escala de la Unión, las autoridades nacionales de control deben asistir a la Comisión en la elaboración de una lista común y exhaustiva de la inteligencia artificial, la robótica y las tecnologías conexas de alto riesgo, en consonancia con los criterios establecidos en el presente Reglamento y en su anexo. Además, debe desarrollarse un proceso para la concesión de un certificado europeo de conformidad ética, que incluya un proceso voluntario de solicitud para cualquier desarrollador, desplegador o usuario de tecnologías no consideradas de alto riesgo que quiera certificar su conformidad con el presente Reglamento. |

|  |  |
| --- | --- |
| (48) | Las autoridades nacionales de control deben velar por que se reúna al máximo número posible de partes interesadas, como la industria, las empresas, los interlocutores sociales, los investigadores, los consumidores y las organizaciones de la sociedad civil, y habilitar un foro plural de reflexión e intercambio de puntos de vista, con objeto de llegar a conclusiones comprensibles y precisas para orientar la regulación de la gobernanza. |

|  |  |
| --- | --- |
| (49) | Las autoridades nacionales de control deben velar por que se reúna al máximo número posible de partes interesadas, como la industria, las empresas, los interlocutores sociales, los investigadores, los consumidores y las organizaciones de la sociedad civil, y habilitar un foro plural de reflexión e intercambio de puntos de vista, para facilitar la cooperación y la colaboración entre partes interesadas, procedentes en particular del mundo académico, la investigación, la industria y la sociedad civil, así como expertos individuales, con objeto de llegar a conclusiones comprensibles y precisas para orientar la regulación de la gobernanza. |

|  |  |
| --- | --- |
| (50) | Además, dichas autoridades nacionales de control deben ofrecer orientación y apoyo administrativo y profesional a los desarrolladores, los desplegadores y los usuarios, en particular a las pequeñas y medianas empresas o a las empresas emergentes, que afrontan desafíos en lo referente al cumplimiento de los principios éticos y las obligaciones jurídicas establecidos en el presente Reglamento. |

|  |  |
| --- | --- |
| (51) | La Comisión o cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse a tal fin debe elaborar directrices no vinculantes sobre la metodología que han de seguir las autoridades nacionales de control al llevar a cabo su evaluación de la conformidad. |

|  |  |
| --- | --- |
| (52) | La denuncia de irregularidades pone en conocimiento de las autoridades infracciones posibles y reales del Derecho de la Unión con el fin de evitar lesiones, perjuicios o daños que se producirían en caso contrario. Además, los procedimientos de denuncia mejoran el flujo de información dentro de las empresas y organizaciones, reduciendo así el riesgo de que se desarrollen productos o servicios defectuosos o erróneos. Las empresas y las organizaciones que desarrollan, despliegan o utilizan la inteligencia artificial, la robótica y las tecnologías conexas, incluidos los datos utilizados o producidos por dichas tecnologías, deben establecer canales de denuncia, y se ha de proteger contra posibles represalias a las personas que informan sobre infracciones. |

|  |  |
| --- | --- |
| (53) | La rápida evolución de la inteligencia artificial, la robótica y las tecnologías conexas, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, así como del aprendizaje automático, los procesos de razonamiento y otras tecnologías que se basan en dicho desarrollo es impredecible. Por consiguiente, resulta apropiado y necesario establecer un mecanismo de revisión con arreglo al cual, además de informar sobre la aplicación del presente Reglamento, la Comisión deba presentar periódicamente un informe sobre la posible modificación de su ámbito de aplicación. |

|  |  |
| --- | --- |
| (54) | Dado que el objetivo del presente Reglamento, a saber, el establecimiento de un marco regulador común de principios éticos y obligaciones jurídicas para el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas en la Unión, no puede ser alcanzado de manera suficiente por los Estados miembros, sino que, debido a su dimensión y efectos, puede lograrse mejor a escala de la Unión, esta puede adoptar medidas, de acuerdo con el principio de subsidiariedad establecido en el artículo 5 del Tratado de la Unión Europea. De conformidad con el principio de proporcionalidad establecido en el mismo artículo, el presente Reglamento no excede de lo necesario para alcanzar dicho objetivo. |

|  |  |
| --- | --- |
| (55) | La mejor manera de alcanzar la coordinación a escala de la Unión que prevé el presente Reglamento es a través de la Comisión o de cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse en este contexto, a fin de evitar la fragmentación y de garantizar una aplicación coherente del presente Reglamento. Por consiguiente, la Comisión debe ser la encargada de encontrar una solución adecuada para estructurar dicha coordinación a escala de la Unión con vistas a coordinar los mandatos y actuaciones de las autoridades nacionales de control en cada Estado miembro, en particular en lo que se refiere a la evaluación de riesgos de la inteligencia artificial, la robótica y las tecnologías conexas, el establecimiento de un marco común para la gobernanza del desarrollo, el despliegue y el uso de estas tecnologías, la elaboración y emisión de un certificado de conformidad con los principios éticos y las obligaciones jurídicas establecidos en el presente Reglamento, el apoyo a intercambios periódicos con la sociedad civil y las partes interesadas en cuestión, y la creación de un centro de conocimientos especializados que reúna a personas procedentes del mundo académico, la investigación y la industria y a expertos individuales a nivel de la Unión para fomentar el intercambio de conocimientos y competencias técnicas, así como la promoción del enfoque de la Unión a través de la cooperación internacional y la garantía de una respuesta coherente a escala mundial a las oportunidades y riesgos inherentes a estas tecnologías. |

HAN ADOPTADO EL PRESENTE REGLAMENTO:

Capítulo I

Disposiciones generales

Artículo 1

Objeto

El presente Reglamento tiene por objeto establecer un marco regulador de la Unión, global y con visión de futuro, de principios éticos y obligaciones jurídicas para el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas en la Unión.

Artículo 2

Ámbito de aplicación

El presente Reglamento se aplicará a la inteligencia artificial, la robótica y las tecnologías conexas —incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías— desarrolladas, desplegadas o utilizadas en la Unión.

Artículo 3

Ámbito geográfico

El presente Reglamento se aplicará a la inteligencia artificial, la robótica y las tecnologías conexas cuando una parte de estas se desarrolle, despliegue o utilice en la Unión, con independencia de que los programas informáticos, los algoritmos o los datos utilizados o producidos por dichas tecnologías estén localizados fuera de la Unión o no tengan una ubicación geográfica específica.

Artículo 4

Definiciones

A efectos del presente Reglamento, se entenderá por:

|  |  |
| --- | --- |
| a) | «inteligencia artificial», un sistema basado en programas informáticos o incorporado en dispositivos físicos que manifiesta un comportamiento inteligente al ser capaz, entre otras cosas, de recopilar y tratar datos, analizar e interpretar su entorno y pasar a la acción, con cierto grado de autonomía, con el fin de alcanzar objetivos específicos [(4)](#ntr4-C_2021404ES.01008901-E0004); |

|  |  |
| --- | --- |
| b) | «autonomía», un sistema de inteligencia artificial que funciona interpretando determinados datos de entrada y utilizando un conjunto de instrucciones predeterminadas, sin limitarse a ellas, a pesar de que el comportamiento del sistema esté orientado a cumplir el objetivo que se le haya asignado y esté limitado por este y por otras decisiones de diseño pertinentes tomadas por su desarrollador; |

|  |  |
| --- | --- |
| c) | «robótica», las tecnologías que permiten que las máquinas controladas automáticamente, reprogramables y multifuncionales [(5)](#ntr5-C_2021404ES.01008901-E0005) realicen en el mundo físico acciones tradicionalmente realizadas o iniciadas por los seres humanos, en particular mediante la inteligencia artificial o las tecnologías conexas; |

|  |  |
| --- | --- |
| d) | «tecnologías conexas», las tecnologías que permiten que los programas informáticos controlen, con un grado de autonomía parcial o total, un proceso físico o virtual; las tecnologías capaces de detectar los datos biométricos, genéticos o de otro tipo; y las tecnologías que copian o utilizan de otro modo características humanas; |

|  |  |
| --- | --- |
| e) | «alto riesgo», riesgo significativo, derivado del desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas, de causar lesiones o daños a las personas o a la sociedad, vulnerando los derechos fundamentales y las normas de seguridad establecidas en el Derecho de la Unión, teniendo en cuenta su uso o finalidad específicos, el sector en el que se desarrollan, despliegan o usan y la gravedad de las lesiones o daños que cabe esperar que se produzcan; |

|  |  |
| --- | --- |
| f) | «desarrollo», la construcción y el diseño de algoritmos, la escritura y el diseño de programas informáticos o la recopilación, el almacenamiento y la gestión de datos con el fin de crear o entrenar la inteligencia artificial, la robótica y las tecnologías conexas o de crear una nueva aplicación para la inteligencia artificial, la robótica y las tecnologías conexas existentes; |

|  |  |
| --- | --- |
| g) | «desarrollador», toda persona física o jurídica que toma decisiones que determinan y controlan el curso o la forma del desarrollo de la inteligencia artificial, la robótica y las tecnologías conexas; |

|  |  |
| --- | --- |
| h) | «despliegue», el funcionamiento y la gestión de la inteligencia artificial, la robótica y las tecnologías conexas, así como su comercialización o cualquier otra forma de puesta a disposición de los usuarios; |

|  |  |
| --- | --- |
| i) | «desplegador», toda persona física o jurídica que interviene en el despliegue específico de la inteligencia artificial, la robótica y las tecnologías conexas con una función de control o gestión, tomando decisiones, ejerciendo un control sobre los riesgos y beneficiándose de dicho despliegue; |

|  |  |
| --- | --- |
| j) | «uso»: toda acción relacionada con la inteligencia artificial, la robótica y las tecnologías conexas distinta del desarrollo o el despliegue; |

|  |  |
| --- | --- |
| k) | «usuario»: toda persona física o jurídica que utiliza la inteligencia artificial, la robótica y las tecnologías conexas para fines distintos del desarrollo o el despliegue; |

|  |  |
| --- | --- |
| l) | «sesgo», toda percepción personal o social prejuiciosa de una persona o de un grupo de personas sobre la base de sus características personales; |

|  |  |
| --- | --- |
| m) | «discriminación», todo trato diferenciado de una persona o de un grupo de personas basado en un motivo que no tiene justificación objetiva o razonable alguna y que, por tanto, está prohibido por el Derecho de la Unión; |

|  |  |
| --- | --- |
| n) | «lesión o daño», toda lesión física o mental y todo daño material o inmaterial, incluso cuando hayan sido causados por incitación al odio, sesgo, discriminación o estigmatización, tales como pérdidas financieras o económicas, pérdida de empleo o de oportunidades educativas, restricción indebida de la libertad de elección o de expresión, pérdida de la privacidad y cualquier infracción del Derecho de la Unión que sea perjudicial para una persona; |

|  |  |
| --- | --- |
| o) | «buena gobernanza», la manera de garantizar que los desarrolladores, los desplegadores y los usuarios adoptan y cumplen unas normas y unos protocolos de conducta adecuados y razonables sobre la base de un conjunto formal de normas, procedimientos y valores que les permiten tratar adecuadamente las cuestiones éticas cuando se plantean o antes de que se planteen. |

Artículo 5

Principios éticos de la inteligencia artificial, la robótica y las tecnologías conexas

1.   La inteligencia artificial, la robótica y las tecnologías conexas, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, se desarrollarán, desplegarán y utilizarán en la Unión de conformidad con el Derecho de la Unión y respetando plenamente la dignidad, la autonomía y la seguridad humanas, así como otros derechos fundamentales establecidos en la Carta.

2.   Todo tratamiento de datos personales realizado en el marco del desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas, incluidos los datos personales derivados de datos no personales y de datos biométricos, se llevará a cabo de conformidad con el Reglamento (UE) 2016/679 y la Directiva 2002/58/CE.

3.   La Unión y sus Estados miembros fomentarán los proyectos de investigación destinados a ofrecer soluciones basadas en la inteligencia artificial, la robótica y las tecnologías conexas que aspiren a promover la inclusión social, la democracia, la pluralidad, la solidaridad, la equidad, la igualdad y la cooperación.

Capítulo II

Obligaciones para las tecnologías de alto riesgo

Artículo 6

Obligaciones para las tecnologías de alto riesgo

1.   Las disposiciones del presente capítulo solo se aplicarán a la inteligencia artificial, la robótica y las tecnologías conexas —incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías— desarrolladas, desplegadas o utilizadas en la Unión que se consideren de alto riesgo.

2.   La inteligencia artificial, la robótica y las tecnologías conexas de alto riesgo, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, se desarrollarán, desplegarán y utilizarán de forma que se garantice que no vulneran los principios éticos establecidos en el presente Reglamento.

Artículo 7

Inteligencia artificial antropocéntrica y antropogénica

1.   Las tecnologías de inteligencia artificial de alto riesgo, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, se desarrollarán, desplegarán y utilizarán de forma que se garantice en todo momento una supervisión humana integral.

2.   Las tecnologías a que se refiere el apartado 1 se desarrollarán, desplegarán y utilizarán de forma que se pueda restablecer en todo momento el control humano cuando sea necesario, incluso mediante la alteración o la desactivación de dichas tecnologías.

Artículo 8

Seguridad, transparencia y rendición de cuentas

1.   La inteligencia artificial, la robótica y las tecnologías conexas de alto riesgo, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, se desarrollarán, desplegarán y utilizarán de forma que se garantice que:

|  |  |
| --- | --- |
| a) | se desarrollan, despliegan y utilizan de manera resiliente a fin de garantizar un nivel de seguridad adecuado gracias al cumplimiento de unos parámetros mínimos de ciberseguridad proporcionados en relación con el riesgo identificado, y de evitar que ninguna vulnerabilidad técnica se explote con fines malintencionados o ilícitos; |

|  |  |
| --- | --- |
| b) | se desarrollan, despliegan y utilizan de una manera segura, garantizando la existencia de salvaguardias que incluyan un plan alternativo y medidas en caso de riesgo para la seguridad o la protección; |

|  |  |
| --- | --- |
| c) | se desarrollan, despliegan y utilizan de manera que se garantice un rendimiento fiable conforme a lo que el usuario pueda esperar razonablemente respecto de la consecución de los objetivos y la realización de las actividades para las que han sido concebidas, en particular garantizando la reproductibilidad de todas las operaciones; |

|  |  |
| --- | --- |
| d) | se desarrollan, despliegan y utilizan de manera que se garantice la exactitud de la realización de los objetivos y de las actividades de las tecnologías concretas; en caso de que no sea posible evitar inexactitudes ocasionales, el sistema indicará a los desplegadores y los usuarios, en la medida de lo posible y a través de los medios adecuados, la probabilidad de que se produzcan errores e inexactitudes; |

|  |  |
| --- | --- |
| e) | se desarrollan, despliegan y utilizan de manera fácilmente explicable a fin de garantizar que se pueda realizar una revisión de los procesos técnicos de las tecnologías; |

|  |  |
| --- | --- |
| f) | se desarrollan, despliegan y utilizan de manera que informen a los usuarios de que están interactuando con sistemas de inteligencia artificial, y revelan debidamente y de manera exhaustiva sus capacidades, exactitud y limitaciones a los desarrolladores, los desplegadores y los usuarios de inteligencia artificial; |

|  |  |
| --- | --- |
| g) | de conformidad con lo dispuesto en el artículo 6, se desarrollan, despliegan y utilizan de manera que, en caso de incumplimiento de las características de seguridad establecidas en las letras a) a g), sea posible desactivar temporalmente las funcionalidades en cuestión y volver a un estado anterior que restaure unas funcionalidades seguras. |

2.   De conformidad con el artículo 6, apartado 1, las tecnologías mencionadas en el apartado 1 del presente artículo, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, se desarrollarán, desplegarán y utilizarán de manera transparente y rastreable, de modo que sus elementos, procesos y fases estén documentados con arreglo a las normas aplicables más estrictas posibles y que las autoridades nacionales de control a que se refiere el artículo 18 puedan evaluar que dichas tecnologías cumplen las obligaciones establecidas en el presente Reglamento. En particular, los desarrolladores, desplegadores o usuarios de dichas tecnologías serán los encargados de garantizar la conformidad con las características de seguridad establecidas en el apartado 1 y deberán poder demostrar dicha conformidad.

3.   Los desarrolladores, desplegadores o usuarios de las tecnologías mencionadas en el apartado 1 velarán por que las medidas adoptadas para garantizar la conformidad con las características de seguridad establecidas en el apartado 1 puedan ser auditadas por las autoridades nacionales de control a que se refiere el artículo 18 o, en su caso, por otros órganos de control sectorial nacionales o europeos.

Artículo 9

Ausencia de sesgo y de discriminación

1.   Los programas informáticos, los algoritmos o los datos utilizados o producidos por la inteligencia artificial, la robótica y las tecnologías conexas desarrolladas, desplegadas o utilizadas en la Unión serán imparciales y, sin perjuicio de lo dispuesto en el apartado 2, no discriminarán por motivos de raza, sexo, orientación sexual, embarazo, discapacidad, características físicas o genéticas, edad, minoría nacional, origen étnico o social, lengua, religión o creencias, opiniones políticas o participación cívica, nacionalidad, estado civil o económico, educación o antecedentes penales.

2.   No obstante lo dispuesto en el apartado 1, y sin perjuicio del Derecho de la Unión en materia de discriminación ilícita, solo podrá justificarse el trato diferenciado entre personas o grupos de personas cuando exista una finalidad objetiva, razonable y legítima que sea proporcionada y necesaria en la medida en que no exista otra alternativa que interfiera menos con el principio de igualdad de trato.

Artículo 10

Responsabilidad social e igualdad de género

La inteligencia artificial, la robótica y las tecnologías conexas de alto riesgo —incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías— desarrolladas, desplegadas y utilizadas en la Unión se desarrollarán, desplegarán y utilizarán de conformidad con la legislación, los principios y los valores pertinentes de la Unión, de manera que no interfieran en elecciones ni contribuyan a la difusión de desinformación, que respeten los derechos de los trabajadores, promuevan una educación de calidad y la alfabetización digital, no aumenten la brecha de género impidiendo la igualdad de oportunidades para todos y no vulneren los derechos de propiedad intelectual o cualesquiera de sus limitaciones o excepciones.

Artículo 11

Sostenibilidad medioambiental

La inteligencia artificial, la robótica y las tecnologías conexas de alto riesgo, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, serán evaluadas, en lo referente a su sostenibilidad medioambiental, por las autoridades nacionales de control a que se refiere el artículo 18 o, en su caso, por otros órganos de control sectorial nacionales o europeos, quienes velarán por que se adopten medidas para mitigar y remediar su impacto general en lo que respecta a los recursos naturales, el consumo de energía, la producción de residuos, la huella de carbono, la emergencia climática y la degradación del medio ambiente, a fin de garantizar el cumplimiento del Derecho de la Unión o nacional, y el de cualesquiera otros compromisos internacionales asumidos por la Unión en materia medioambiental.

Artículo 12

Respeto de la intimidad y protección de los datos personales

El uso y la recogida de datos biométricos con fines de identificación remota en zonas públicas, como el reconocimiento biométrico o facial, entraña riesgos específicos para los derechos fundamentales, por lo que solo serán desplegados o utilizados por las autoridades públicas de los Estados miembros para fines de interés público esencial. Dichas autoridades velarán por que dicho despliegue o uso se haga público, sea proporcionado y específico, se restrinja a unos objetivos y una ubicación concretos y esté limitado en el tiempo, de conformidad con el Derecho de la Unión y nacional, en particular el Reglamento (UE) 2016/679 y la Directiva 2002/58/CE, y teniendo debidamente en cuenta la dignidad y la autonomía humanas y los derechos fundamentales establecidos en la Carta, en particular, el derecho al respeto de la intimidad y a la protección de los datos personales.

Artículo 13

Derecho de resarcimiento

Toda persona física o jurídica tendrá derecho a ser resarcida por las lesiones o los daños causados por el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas de alto riesgo, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, cuando se infrinjan el Derecho de la Unión y las obligaciones establecidas en el presente Reglamento.

Artículo 14

Evaluación de riesgos

1.   A efectos del presente Reglamento, la inteligencia artificial, la robótica y las tecnologías conexas, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, se considerarán tecnologías de alto riesgo cuando, tras una evaluación de riesgos basada en criterios objetivos, como su uso o finalidad específicos, el sector en el que se desarrollan, despliegan o utilizan, y la gravedad de los posibles daños o lesiones causados, se determine que su desarrollo, despliegue o uso entrañan un riesgo significativo de causar a las personas o a la sociedad las lesiones o daños que cabe esperar que se produzcan, vulnerando los derechos fundamentales y las normas de seguridad establecidas en el Derecho de la Unión.

2.   Sin perjuicio de la legislación sectorial aplicable, la evaluación de riesgos de la inteligencia artificial, la robótica y las tecnologías conexas, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, se llevará a cabo, de conformidad con los criterios objetivos establecidos en el apartado 1 del presente artículo y en la lista exhaustiva y acumulativa que figura en el anexo del presente Reglamento, por las autoridades nacionales de control a que se refiere el artículo 18, bajo la coordinación de la Comisión o de cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse a tal fin en el contexto de su cooperación.

3.   En cooperación con las autoridades nacionales de control a que se refiere el apartado 2, la Comisión elaborará y actualizará posteriormente, mediante actos delegados de conformidad con el artículo 20, una lista común de tecnologías de alto riesgo identificadas en la Unión.

4.   La Comisión también actualizará periódicamente, mediante actos delegados de conformidad con el artículo 20, la lista que figura en el anexo del presente Reglamento.

Artículo 15

Evaluación de la conformidad

1.   La inteligencia artificial, la robótica y las tecnologías conexas de alto riesgo estarán sujetas a una evaluación de la conformidad con las obligaciones establecidas en los artículos 6 a 12 del presente Reglamento, así como a un seguimiento posterior, que llevarán a cabo las autoridades nacionales de control a que se refiere el artículo 18 bajo la coordinación de la Comisión o de cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse a tal fin.

2.   Se considerará que también cumplen las obligaciones establecidas en el presente Reglamento los programas informáticos, los algoritmos o los datos utilizados o producidos por las tecnologías de alto riesgo que hayan sido evaluadas conformes con dichas obligaciones con arreglo al apartado 1, a menos que la autoridad nacional de control en cuestión decida llevar a cabo una evaluación por iniciativa propia o a petición del desarrollador, desplegador o usuario.

3.   Sin perjuicio de la legislación sectorial, la Comisión o cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse específicamente a tal fin elaborará directrices vinculantes sobre la metodología que deberán seguir las autoridades nacionales de control para la evaluación de la conformidad a que se refiere el apartado 1, a más tardar en la fecha de entrada en vigor del presente Reglamento.

Artículo 16

Certificado europeo de conformidad ética

1.   Cuando se haya realizado con arreglo al artículo 15 una evaluación de la conformidad de la inteligencia artificial, la robótica y las tecnologías conexas de alto riesgo —incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías—, y esta sea positiva, la autoridad nacional de control correspondiente expedirá un certificado europeo de conformidad ética.

2.   Los desarrolladores, desplegadores o usuarios de inteligencia artificial, robótica y tecnologías conexas —incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías— que no se consideren de alto riesgo y que, por tanto, no estén sujetas a las obligaciones establecidas en los artículos 6 a 12, ni a la evaluación de riesgos ni la evaluación de la conformidad previstas en los artículos 14 y 15, podrán también solicitar que se certifique el cumplimiento de las obligaciones establecidas en el presente Reglamento, o parte de ellas cuando así lo justifique la naturaleza de la tecnología en cuestión, conforme a lo decidido por las autoridades nacionales de control. El certificado solo se expedirá si la autoridad nacional de control correspondiente ha llevado a cabo una evaluación de la conformidad y esta evaluación es positiva.

3.   A efectos de la expedición del certificado a que se refiere el apartado 2, la Comisión o cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse a tal fin elaborará un procedimiento de solicitud.

Capítulo III

Supervisión institucional

Artículo 17

Normas de gobernanza y directrices de aplicación

1.   La inteligencia artificial, la robótica y las tecnologías conexas desarrolladas, desplegadas o utilizadas en la Unión cumplirán las normas de gobernanza pertinentes establecidas de conformidad con el Derecho, los principios y los valores de la Unión por las autoridades nacionales de control a que se refiere el artículo 18, bajo la coordinación de la Comisión o de cualquier institución, órgano u organismo pertinente que pueda designarse a tal fin y en consulta con las partes interesadas pertinentes.

2.   Las normas a que se refiere el apartado 1 incluirán directrices de aplicación no vinculantes sobre la metodología que deberán seguir los desarrolladores, desplegadores y usuarios para conformarse al presente Reglamento y se publicarán a más tardar en la fecha de entrada en vigor del presente Reglamento.

3.   Los datos utilizados o producidos por la inteligencia artificial, la robótica y las tecnologías conexas desarrolladas, desplegadas o utilizadas en la Unión serán gestionados por los desarrolladores, los desplegadores y los usuarios de conformidad con las correspondientes reglas y normas nacionales, de la Unión, de otras organizaciones europeas, e internacionales, así como con los correspondientes protocolos industriales y comerciales. En particular, los desarrolladores y los desplegadores llevarán a cabo, cuando sea viable, controles de calidad de las fuentes externas de los datos utilizados por la inteligencia artificial, la robótica y las tecnologías conexas, y establecerán mecanismos de supervisión para su recopilación, almacenamiento, tratamiento y uso.

4.   Sin perjuicio de los derechos de portabilidad y de los derechos de las personas cuyo uso de la inteligencia artificial, la robótica y las tecnologías conexas haya generado datos, la recopilación, el almacenamiento, el tratamiento, el intercambio y el acceso a los datos utilizados o producidos por la inteligencia artificial, la robótica y las tecnologías conexas desarrolladas, desplegadas o utilizadas en la Unión cumplirán las correspondientes reglas y normas nacionales, de la Unión, de otras organizaciones europeas, e internacionales, así como los correspondientes protocolos industriales y comerciales. En particular, los desarrolladores y los desplegadores velarán por que dichos protocolos se apliquen durante el desarrollo y el despliegue de la inteligencia artificial, la robótica y las tecnologías conexas, definiendo claramente los requisitos para el tratamiento y la concesión de acceso a los datos utilizados o producidos por dichas tecnologías, así como la finalidad, el ámbito de aplicación y los destinatarios del tratamiento y la concesión de acceso a dichos datos, todos los cuales podrán, en todo momento, ser objeto de auditoría y trazabilidad.

Artículo 18

Autoridades de control

1.   Cada Estado miembro designará una autoridad pública independiente encargada de controlar la aplicación del presente Reglamento («autoridad de control») y de llevar a cabo la evaluación de riesgos, la evaluación de la conformidad y la certificación previstos en los artículos 14, 15 y 16, sin perjuicio de la legislación sectorial.

2.   Cada autoridad nacional de control contribuirá a la aplicación coherente del presente Reglamento en toda la Unión. A tal fin, las autoridades de control de cada Estado miembro cooperarán entre sí, con la Comisión y con otras instituciones, órganos y organismos pertinentes de la Unión que puedan designarse a tal fin.

3.   Cada autoridad nacional de control servirá de primer punto de contacto en caso de sospecha de incumplimiento de los principios éticos y las obligaciones jurídicas establecidos en el presente Reglamento, incluido el trato discriminatorio o la violación de otros derechos, como resultado del desarrollo, el despliegue o el uso de la inteligencia artificial, la robótica y las tecnologías conexas. En tales casos, la autoridad nacional de control correspondiente llevará a cabo una evaluación de la conformidad con el fin de respaldar el derecho de impugnación y obtención de reparación de que gozan los ciudadanos.

4.   Cada autoridad nacional de control será responsable de supervisar la aplicación de las correspondientes reglas y normas de gobernanza nacionales, europeas e internacionales a que se refiere el artículo 17 a la inteligencia artificial, la robótica y las tecnologías conexas, en particular colaborando con el mayor número posible de partes interesadas. Para ello, las autoridades de control de cada Estado miembro constituirán un foro que permita un intercambio periódico con y entre las partes interesadas de las esferas académica, de la investigación, de la industria y de la sociedad civil.

5.   Cada autoridad nacional de control competente proporcionará orientación y apoyo profesional y administrativo sobre la aplicación general de la legislación de la Unión aplicable a la inteligencia artificial, la robótica y las tecnologías conexas, y sobre los principios éticos establecidos en el presente Reglamento, en particular a las organizaciones de investigación y desarrollo pertinentes y a las pequeñas y medianas empresas o las empresas emergentes.

6.   Cada Estado miembro notificará a la Comisión Europea las disposiciones legales que adopte de conformidad con el presente artículo, a más tardar el …[DO: insértese la fecha correspondiente a un año después de la entrada en vigor], así como, sin demora, cualquier modificación posterior que afecte a dichas disposiciones.

7.   Los Estados miembros adoptarán todas las medidas necesarias para garantizar la aplicación de los principios éticos y las obligaciones jurídicas establecidos en el presente Reglamento. Los Estados miembros apoyarán a las partes interesadas pertinentes y a la sociedad civil, tanto a escala de la Unión como a escala nacional, en sus esfuerzos por dar una respuesta oportuna, ética y bien informada a los nuevos retos y oportunidades, en particular de carácter transfronterizo, derivados de los avances tecnológicos relacionados con la inteligencia artificial, la robótica y las tecnologías conexas.

Artículo 19

Denuncia de infracciones y protección de los denunciantes

La Directiva (UE) 2019/1937 del Parlamento Europeo y del Consejo [(6)](#ntr6-C_2021404ES.01008901-E0006) se aplicará a la denuncia de infracciones del presente Reglamento y a la protección de las personas que informen sobre dichas infracciones.

Artículo 20

Coordinación a escala de la Unión

1.   La Comisión o cualquier institución, órgano u organismo pertinente de la Unión que pueda designarse en este contexto llevará a cabo las siguientes tareas:

|  |  |
| --- | --- |
| — | garantizar una evaluación de riesgos coherente de la inteligencia artificial, la robótica y las tecnologías conexas a que se refiere el artículo 14, que deberán llevar a cabo las autoridades nacionales de control a que se refiere el artículo 18 sobre la base de los criterios objetivos comunes previstos en el artículo 8, apartado 1, y en la lista de sectores de alto riesgo y usos o fines de alto riesgo que figura en el anexo del presente Reglamento; |

|  |  |
| --- | --- |
| — | tomar nota de la evaluación de la conformidad y el seguimiento posterior de la inteligencia artificial, la robótica y las tecnologías conexas de alto riesgo a que se refiere el artículo 15, que deberán llevar a cabo las autoridades nacionales de control a que se refiere el artículo 18; |

|  |  |
| --- | --- |
| — | elaborar el proceso de solicitud del certificado a que se refiere el artículo 16 y que deberán expedir las autoridades nacionales de control a que se refiere el artículo 18; |

|  |  |
| --- | --- |
| — | sin perjuicio de la legislación sectorial, preparar las directrices vinculantes a que se refiere el artículo 17, apartado 4, sobre la metodología que deberán seguir las autoridades nacionales de control a que se refiere el artículo 18; |

|  |  |
| --- | --- |
| — | coordinar el establecimiento de las normas de gobernanza pertinentes a que se refiere el artículo 17 por parte de las autoridades nacionales de control a que se refiere el artículo 18, incluidas directrices de aplicación no vinculantes destinadas a los desarrolladores, desplegadores y usuarios sobre la metodología que corresponda seguir para conformarse al presente Reglamento; |

|  |  |
| --- | --- |
| — | cooperar con las autoridades nacionales de control a que se refiere el artículo 18 en lo que respecta a su contribución a la aplicación coherente del presente Reglamento en toda la Unión, de conformidad con el artículo 18, apartado 2; |

|  |  |
| --- | --- |
| — | servir de centro de conocimientos especializados, promoviendo el intercambio de información relacionada con la inteligencia artificial, la robótica y las tecnologías conexas y apoyando el desarrollo de un entendimiento común en el mercado único, proporcionando orientaciones, dictámenes y conocimientos especializados adicionales a las autoridades nacionales de control a que se refiere el artículo 18, supervisando la aplicación del Derecho pertinente de la Unión, definiendo normas de buenas prácticas y, en su caso, formulando recomendaciones sobre medidas reguladoras; para ello, estará en contacto con el mayor número posible de partes interesadas y garantizará que la composición de sus niveles de decisión sea diversa y garantice la igualdad de género; |

|  |  |
| --- | --- |
| — | organizar un grupo de trabajo sobre seguridad y defensa destinado a examinar cuestiones políticas y en materia de inversión relacionadas específicamente con el uso ético de la inteligencia artificial, la robótica y las tecnologías conexas en el ámbito de la seguridad y la defensa. |

Artículo 21

Ejercicio de la delegación

1.   Se otorgan a la Comisión los poderes para adoptar actos delegados en las condiciones establecidas en el presente artículo.

2.   Los poderes para adoptar actos delegados mencionados en el artículo 14, apartados 3 y 4, se otorgan a la Comisión por un período de cinco años a partir del [fecha de entrada en vigor del presente Reglamento].

3.   La delegación de poderes mencionada en el artículo 14, apartados 3 y 4, podrá ser revocada en cualquier momento por el Parlamento Europeo o por el Consejo. La decisión de revocación pondrá término a la delegación de los poderes que en ella se especifiquen. La decisión surtirá efecto el día siguiente al de su publicación en el Diario Oficial de la Unión Europea o en una fecha posterior indicada en ella. No afectará a la validez de los actos delegados que ya estén en vigor.

4.   Antes de la adopción de un acto delegado, la Comisión consultará a los expertos designados por cada Estado miembro de conformidad con los principios establecidos en el Acuerdo interinstitucional de 13 de abril de 2016 sobre la mejora de la legislación.

5.   Tan pronto como la Comisión adopte un acto delegado lo notificará simultáneamente al Parlamento Europeo y al Consejo.

6.   Los actos delegados adoptados en virtud del artículo 14, apartados 3 y 4, entrarán en vigor únicamente si, en un plazo de tres meses a partir de su notificación al Parlamento Europeo y al Consejo, ninguna de estas instituciones formula objeciones o si, antes del vencimiento de dicho plazo, ambas informan a la Comisión de que no las formularán. El plazo se prorrogará tres meses a iniciativa del Parlamento Europeo o del Consejo.

Artículo 22

Enmiendas a la Directiva (UE) 2019/1937

La Directiva (UE) 2019/1937 se modifica como sigue:

|  |  |  |  |
| --- | --- | --- | --- |
| 1) | En el artículo 2, apartado 1, se añade el inciso siguiente:   |  |  | | --- | --- | | «xi) | desarrollo, despliegue y uso de la inteligencia artificial, la robótica y las tecnologías conexas.». | |

|  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- |
| 2) | En la parte I del anexo, se añade la letra siguiente:   |  |  |  |  | | --- | --- | --- | --- | | «K. | Artículo 2, apartado 1, letra a), inciso xi) — Desarrollo, despliegue y uso de la inteligencia artificial, la robótica y las tecnologías conexas:   |  |  | | --- | --- | | “xxi) | Reglamento [XXX] del Parlamento Europeo y del Consejo sobre los principios éticos para el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas.”». | | |

Artículo 23

Revisión

La Comisión examinará periódicamente el desarrollo de la inteligencia artificial, la robótica y las tecnologías conexas, incluidos los programas informáticos, los algoritmos y los datos utilizados o producidos por dichas tecnologías, y a más tardar el …[DO: insértese la fecha correspondiente a tres años después de la entrada en vigor], y posteriormente cada tres años, presentará al Parlamento Europeo, al Consejo y al Comité Económico y Social Europeo un informe sobre la aplicación del presente Reglamento, incluida una evaluación sobre la posible modificación del ámbito de aplicación del mismo.

Artículo 24

Entrada en vigor

El presente Reglamento entrará en vigor a los veinte días de su publicación en el Diario Oficial de la Unión Europea.

Será aplicable a partir del [XX].

El presente Reglamento será obligatorio en todos sus elementos y directamente aplicable en cada Estado miembro.

Hecho en …,

Por el Parlamento Europeo

El Presidente

Por el Consejo

El Presidente

ANEXO

Lista exhaustiva y acumulativa de sectores de alto riesgo y de usos o fines de alto riesgo que conllevan un riesgo de violación de los derechos fundamentales y las normas de seguridad

|  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| Sectores de alto riesgo | |  |  | | --- | --- | | — | Empleo |  |  |  | | --- | --- | | — | Educación |  |  |  | | --- | --- | | — | Asistencia sanitaria |  |  |  | | --- | --- | | — | Transporte |  |  |  | | --- | --- | | — | Energía |  |  |  | | --- | --- | | — | Sector público (asilo, migración, controles fronterizos, sistema judicial y servicios de seguridad social) |  |  |  | | --- | --- | | — | Seguridad y defensa |  |  |  | | --- | --- | | — | Finanzas, bancos, seguros | |
| Usos o fines de alto riesgo | |  |  | | --- | --- | | — | Contratación |  |  |  | | --- | --- | | — | Clasificación y evaluación de estudiantes |  |  |  | | --- | --- | | — | Asignación de fondos públicos |  |  |  | | --- | --- | | — | Concesión de préstamos |  |  |  | | --- | --- | | — | Comercio, corretaje, fiscalidad, etc. |  |  |  | | --- | --- | | — | Tratamientos y procedimientos médicos |  |  |  | | --- | --- | | — | Procesos electorales y campañas políticas |  |  |  | | --- | --- | | — | Decisiones del sector público que tienen un impacto significativo y directo en los derechos y las obligaciones de las personas físicas o jurídicas |  |  |  | | --- | --- | | — | Conducción automatizada |  |  |  | | --- | --- | | — | Gestión del tráfico |  |  |  | | --- | --- | | — | Sistemas militares autónomos |  |  |  | | --- | --- | | — | Producción y distribución de energía |  |  |  | | --- | --- | | — | Gestión de residuos |  |  |  | | --- | --- | | — | Control de emisiones | |

---

[(1)](#ntc1-C_2021404ES.01008901-E0001)  Para la conducción automatizada de vehículos, la norma SAE J3016 (actualizada por última vez en 2018 como J3016\_201806) ha propuesto seis niveles de automatización de la conducción, https://www.sae.org/standards/content/j3016\_201806/

[(2)](#ntc2-C_2021404ES.01008901-E0002)  Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos) ([DO L 119 de 4.5.2016, p. 1](./../../../legal-content/ES/AUTO/?uri=OJ:L:2016:119:TOC)).

[(3)](#ntc3-C_2021404ES.01008901-E0003)  Directiva 2002/58/CE del Parlamento Europeo y del Consejo, de 12 de julio de 2002, relativa al tratamiento de los datos personales y a la protección de la intimidad en el sector de las comunicaciones electrónicas (Directiva sobre la privacidad y las comunicaciones electrónicas) ([DO L 201 de 31.7.2002, p. 37](./../../../legal-content/ES/AUTO/?uri=OJ:L:2002:201:TOC)).

[(4)](#ntc4-C_2021404ES.01008901-E0004)  Adaptación de la definición que figura en la Comunicación de la Comisión Europea COM(2018)0237, de 25.4.2018, p. 1.

[(5)](#ntc5-C_2021404ES.01008901-E0005)  A partir de la definición de robots industriales de la norma ISO 8373.

[(6)](#ntc6-C_2021404ES.01008901-E0006)  Directiva (UE) 2019/1937 del Parlamento Europeo y del Consejo, de 23 de octubre de 2019, relativa a la protección de las personas que informen sobre infracciones del Derecho de la Unión ([DO L 305 de 26.11.2019, p. 17](./../../../legal-content/ES/AUTO/?uri=OJ:L:2019:305:TOC)).

---

[Top](#document1)