Categoría: Normativas

del sistema de inteligencia artificial dicha supervisión no pueda ocurrir en tiempo real, deberá quedar recogido en las comunicaciones relacionadas con la transparencia del sistema.
h) Los sistemas de inteligencia artificial habrán sido o serán diseñados y desarrollados de manera que consigan, teniendo en cuenta su finalidad prevista, un nivel adecuado de precisión, solidez y ciberseguridad. Estas dimensiones deberán funcionar de manera consistente a lo largo de su ciclo de vida.
2. Los requisitos que deberá abordar cada participante se acordarán, juntamente con el órgano competente, al inicio del entorno controlado de pruebas mediante un plan de implementación.
1. Una vez admitido, el proveedor IA participante llevará a cabo las actuaciones que le permitan el cumplimiento de los requisitos descritos en el artículo 11 del presente real decreto y según lo acordado en el plan de implementación. El órgano competente podrá poner a su disposición guías técnicas de ayuda y asesoría personalizada que faciliten al proveedor IA las tareas que debe realizar en el contexto del entorno controlado de pruebas. La forma de cooperación entre los proveedores IA participantes y usuarios participantes con el órgano competente se detallará en un plan de desarrollo de dicho entorno según se especifique en la convocatoria.
2. La adaptación de estos sistemas de inteligencia artificial al cumplimiento de los requisitos no debería implicar riesgos potenciales en materia de protección de consumidores, de usuarios y de terceros que pudieran verse afectados.
3. Los proveedores IA participantes y usuarios IA participantes podrán apoyarse en estándares existentes, así como en evaluaciones previas realizadas en el marco de estos, para acreditar ante el órgano competente la implementación y el cumplimiento de estos requisitos.
4. Durante el desarrollo del entorno controlado de pruebas, se establecerán mecanismos de diálogo e intercambio de información entre los proveedores IA participantes y usuarios participantes con el órgano competente, sobre la base del marco de seguimiento que se facilitará al participante al inicio de este. Los canales que se deberán utilizar para dicho diálogo se concretarán en la convocatoria. Este marco detallará la información que habrán de transmitir tanto los proveedores IA participantes como los usuarios participantes sobre su experiencia con la ejecución de las guías y sobre las mejoras que consideren que se puedan realizar.
5. Así mismo, se realizarán reuniones para fomentar un aprendizaje colaborativo con todos los participantes, proveedores IA y usuarios, así como otros organismos con competencias en las materias relacionadas, como los ministerios competentes por razón de la materia o la Comisión Europea, y sobre el progreso de este entorno controlado de pruebas. Estas reuniones se celebrarán a iniciativa del órgano competente con una frecuencia mensual, sin perjuicio de que estas puedan ser convocadas con otra periodicidad de mayor conveniencia para la garantía de éxito del entorno.
6. Las guías técnicas que, en su caso, proporcione el órgano competente podrán ser actualizadas por éste y distribuidas tanto a los proveedores IA participantes como a los usuarios participantes, así como a otras autoridades relevantes a efectos de consulta, a lo largo del desarrollo del entorno controlado de pruebas.
7. Una vez finalizada la implantación de los requisitos en cada uno de los sistemas de inteligencia artificial, el proveedor IA, y en su caso junto con el usuario del sistema, deberá de realizar un informe de impacto de género. Dicho informe servirá para evaluar en cada uno de los sistemas participantes como ha afectado la implantación de los requisitos en la reducción de la brecha de género.
1. A la finalización de esta primera etapa, una vez que los proveedores IA participantes y usuarios participantes han realizado las debidas actuaciones para la implementación de los requisitos recogidos en el artículo 11 del presente real decreto, el proveedor IA participante deberá realizar la declaración de cumplimiento.
2. Esta declaración de cumplimiento se inicia con un proceso de autoevaluación en el que participan tanto el proveedor IA participante como, en su caso, el usuario participante, dónde valorarán el cumplimiento de los requisitos para lo que seguirán las recomendaciones que el órgano competente facilite.
3. Tanto el proveedor IA participante como, en su caso, el usuario participante deberá realizar las siguientes acciones para completar la autoevaluación:
a) Comprobará la correcta implementación de los requisitos establecidos en el artículo 11 del presente real decreto en sus sistemas de inteligencia artificial y de acuerdo con el plan de implementación previamente acordado.
b) Comprobará que el sistema de gestión de la calidad es acorde con las especificaciones que ofrezca el órgano competente.
c) Verificará que el diseño y desarrollo del proceso del sistema de inteligencia artificial y su seguimiento posterior a la comercialización son coherentes con lo establecido en la documentación técnica y con las especificaciones ofrecidas por el órgano competente.
d) Verificará que la documentación técnica de su sistema de inteligencia artificial incluye el contenido según especificaciones del anexo VI del presente real decreto, y además de la documentación de comprobación del cumplimiento de los puntos anteriores.
4. Una vez que el proveedor IA participante haya finalizado la autoevaluación y verificado el cumplimiento del punto anterior presentará en la sede electrónica de la Secretaría de Estado de Digitalización e Inteligencia Artificial la documentación indicada.
5. El órgano competente examinará los documentos asociados a la declaración de cumplimiento presentada por el proveedor IA, principalmente los que describen el sistema de gestión de la calidad, la documentación técnica o el plan de seguimiento posterior a la comercialización.
6. Si analizada la documentación presentada al órgano competente, éste considera que la evaluación de la documentación presentada es favorable, el órgano competente emplazará al participante a realizar la exposición de la autoevaluación de cumplimiento de los requisitos. En su presentación ante el órgano competente, el proveedor IA participante demostrará la pertinencia de la autoevaluación de cumplimiento de requisitos, justificando los puntos antes descritos.
7. Por el contrario, si analizada la documentación presentada al órgano competente, éste considerara que el participante no cumple con los requisitos para superar la declaración de cumplimiento, le otorgará un plazo de tres meses con el objeto de permitir al participante cumplir debidamente con los requisitos.
A este respecto, el órgano competente podrá solicitar pruebas específicas para verificar la validez de las conclusiones de conformidad a lo dispuesto en el artículo 21 del presente real decreto.
Transcurrido el plazo anterior, el incumplimiento de los requisitos para superar la declaración de cumplimiento implicará la finalización anticipada de las pruebas para esa entidad de acuerdo con el artículo 25 del presente real decreto.
8. El órgano competente podrá colaborar a otros organismos internacionales, para actuar como asesores en el proceso de autoevaluación de requisitos.
9. A la vista de la presentación y comprobada la correcta y completa autoevaluación de cumplimiento de requisitos, se dará por finalizado con éxito la declaración de cumplimiento del entorno controlado de pruebas.
10. Esta autoevaluación de cumplimiento no tiene efectos fuera del estricto ámbito de este entorno.
1. Posteriormente, tanto el proveedor IA participantes como, en su caso, el usuario participante juntamente con el primero, deberá implementar un sistema de seguimiento posterior a la comercialización.
2. Para ello, los proveedores IA participantes documentarán un sistema de seguimiento tras la puesta en marcha del sistema de inteligencia artificial, que sea proporcional a los riesgos y al uso previsto del sistema de inteligencia artificial. Los datos necesarios para desarrollar el sistema de seguimiento tras la puesta en marcha se podrán recolectar de los usuarios del sistema o de otras fuentes relacionadas con dicho sistema durante el entorno controlado de pruebas, lo que permitirá al proveedor IA participante evaluar de forma continua el cumplimiento de los requisitos indicados en el artículo 11 del presente real decreto.
3. En caso de que el sistema ya hubiese sido introducido en el mercado o puesto en servicio previo a su inclusión en el entorno controlado de pruebas, la implementación de dicho sistema de seguimiento posterior podrá quedar acotado a uno o varios de los usuarios de este.
4. El sistema de seguimiento tras la puesta en marcha se basará en un plan de monitorización posterior a la comercialización que se incluirá en la documentación técnica a aportar que se contempla en el anexo VI del presente real decreto. Para su redacción se seguirán las especificaciones que el órgano competente proporcione a tal efecto.
5. Las personas jurídicas privadas o administraciones públicas y entidades del sector público institucional, cuando actúen como usuarios participantes, deberán colaborar implantando las medidas especificadas en las guías que el órgano competente proporcione para el seguimiento tras la puesta en marcha del sistema de inteligencia artificial. En caso de incumplimiento de lo anterior el órgano competente podrá expulsar al usuario participante, previo requerimiento.
Tanto los proveedores IA participantes como, en su caso, los usuarios participantes comunicarán al órgano competente, a la mayor brevedad desde que sean conocedores del mismo, cualquier incidente grave en los sistemas que pudiera constituir un incumplimiento de la legislación en vigor.
El órgano competente habilitará un canal de comunicación para que comuniquen la incidencia acreditando las medidas de mitigación del riesgo detectado.
En el caso de los sistemas de inteligencia artificial que por su naturaleza estén sujetos a otra legislación específica, el órgano competente trasladará la comunicación a las Autoridades sectoriales competentes, siendo decisión de las autoridades sectoriales ejercer aquellas medidas que considere oportunas.
1. Los proveedores IA y los usuarios participantes en el entorno controlado de pruebas deberán cumplir con lo previsto en el Reglamento (UE) 679/2016, del Parlamento Europeo y el Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos (RGPD), como en la Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y Garantía de los Derechos Digitales (LOPDGDD), y, en lo que resulte de aplicación, en la Ley Orgánica 7/2021, de 26 mayo, de protección de datos personales tratados para fines de prevención, detección, investigación y enjuiciamiento de infracciones penales y de ejecución de sanciones penales, así como en el resto de la normativa sectorial aplicable, debiendo quedar todos los datos personales que se traten en los sistemas privados de los proveedores IA participantes o, en su caso, de los usuarios participantes según corresponda para comprobar los requisitos incluidos bajo dicha protección. Ello sin perjuicio de que alguno de los sistemas de alto riesgo indicados en el anexo II del presente real decreto que puedan participar en el entorno controlado de pruebas deban tener un análisis previo de la licitud del tratamiento.
2. Los tratamientos de datos que se realizan en el marco del entorno controlado de pruebas deberán cumplir con la normativa señalada en el apartado anterior.
3. La aceptación de participación en el entorno controlado de pruebas implicará reconocimiento del cumplimiento de la legislación en materia de protección de datos.
4. Los proveedores de IA y los usuarios participantes en el entorno controlado de pruebas deberán cumplir con lo previsto en la normativa de propiedad intelectual. La aceptación de la participación en el entorno controlado de pruebas implicará el compromiso y reconocimiento del cumplimiento de la normativa en materia de propiedad intelectual.
1. Tanto el proveedor IA participante como, en su caso, el usuario participante será responsable de los daños sufridos por cualquier persona como consecuencia de la aplicación del sistema de inteligencia artificial en el contexto del entorno controlado de pruebas, siempre que dichos daños deriven de un incumplimiento o cuando medie culpa, negligencia o dolo por su parte.
2. Los usuarios participantes en el entorno controlado de pruebas se comprometen a cumplir con la normativa laboral vigente respecto de su personal laboral.
La garantía de confidencialidad se aplicará sobre la información que aporten tanto los proveedores IA participantes como, en su caso, los usuarios participantes sobre procedimientos propios de las empresas u otras entidades, planes comerciales, derechos de propiedad industrial e intelectual o secretos empresariales, así como sobre los datos e información facilitados durante el proceso de autoevaluación.
La información recabada por el órgano competente podrá ser utilizada, cuando se garantice que se ha anonimizado completamente y que respeta los intereses comerciales tanto de los proveedores IA participantes como usuarios participantes, para la elaboración, por sí mismo o por terceros, de guías de buenas prácticas, guías de implementación de requisitos y elaboración de documentación de conclusiones. Sin menoscabar las condiciones de confidencialidad, el órgano competente podrá utilizar la información recabada durante el desarrollo del entorno controlado de pruebas para refinar las guías elaboradas. Los informes relativos a los resultados de la participación en dicho entorno podrán también compartirse con autoridades relevantes y organismos públicos con competencias en la materia. En aquellos casos que el órgano competente desee utilizar, a modo de ejemplo, determinadas prácticas o procedimientos de algún proveedor IA participante o de algún usuario participante concreto, se recabará la conformidad de este.
Los órganos competentes para la valoración de las solicitudes y para la resolución de la convocatoria de participación en el entorno controlado de pruebas serán responsables de garantizar la confidencialidad de la información aportada de acuerdo con lo señalado en este precepto.
1. Si durante la ejecución del entorno controlado de pruebas se producen cambios sustanciales en el sistema de inteligencia artificial del proveedor IA participante en aspectos evaluados en la participación en el entorno, o respecto a la titularidad de la sociedad deberán comunicarse previamente a la Secretaría de Estado de Digitalización e Inteligencia Artificial quien decidirá si el proveedor IA participante continúa o no en el entorno y en qué condiciones.
2. Los participantes, si así lo consideran, podrán retirarse voluntariamente de la experiencia sobre la base del artículo 24 del presente real decreto si no estuvieran de acuerdo con las nuevas condiciones establecidas por el órgano competente.
1. Se habilitará un buzón de consultas específico en la sede electrónica del órgano competente, para que puedan presentarse todas aquellas dudas o cuestiones suscitadas durante la realización del entorno controlado de pruebas que serán contestadas en el periodo más breve posible.
2. Igualmente, se habilitará un canal para la comunicación urgente de incidencias y fallos durante el desarrollo del entorno controlado de pruebas. Este canal estará habilitado exclusivamente como mecanismo de recepción de incidentes o comunicaciones urgentes.
3. Así mismo, se habilitará un canal para los participantes para establecer la comunicación con el órgano competente durante el desarrollo del entorno controlado de pruebas.
4. Los canales de comunicación mencionados se especificarán en la convocatoria.
5. Todas las comunicaciones que se realicen tanto entre los proveedores IA participantes como entre los usuarios participantes con el órgano competente, así como la documentación escrita y cualquiera otra audiovisual deberán hacerse en castellano.
1. Durante el transcurso del entorno controlado de pruebas, Subdirección General de Inteligencia Artificial y Tecnologías Habilitadoras Digitales recabará información tanto de los proveedores IA participantes como de los usuarios participantes sobre la manera en que se han implementado las actuaciones pertinentes en cada sistema de inteligencia artificial; la forma en que se ha efectuado la autoevaluación de cumplimiento; la documentación técnica asociada a cada sistema de inteligencia artificial; y sobre los sistemas de gestión de la calidad o del riesgo descritos en los anexos o guías.
2. Adicionalmente, la Subdirección General de Inteligencia Artificial y Tecnologías Habilitadoras Digitales podrá requerir otra información durante el transcurso del entorno, tanto a los proveedores IA participantes como a los usuarios participantes, con el fin de reunir datos de interés para la elaboración de documentación o conclusiones del entorno. El órgano competente podrá requerir la realización de pruebas específicas a fin de verificar la validez de las conclusiones.
3. No aportar la la información requerida por el órgano competente podrá suponer la finalización anticipada de la experiencia tanto del proveedor de IA como del usuario, en el caso de que este último participara, de acuerdo con el artículo 25 del presente real decreto, atendiendo a las consideraciones de confidencialidad expuestas en el artículo 15.
La Secretaría de Estado de Digitalización e Inteligencia Artificial podrá ofrecer guías técnicas u otros documentos sobre aspectos que faciliten el desarrollo de sistemas de inteligencia artificial de una forma confiable, robusta y ética, basadas en las experiencias del entorno controlado de pruebas, que incorporarán de forma efectiva y transversal la perspectiva de género y que serán de libre acceso al público, en el momento que lo decida el órgano competente, y que podrán ser actualizadas a lo largo del desarrollo de dicho entorno.
Las guías técnicas y la documentación que elabore el órgano competente serán confidenciales basándose en el artículo 18 hasta el momento en el que este considere conveniente publicarlos.
1. Previa a la finalización, tanto de los proveedores IA participantes como de los usuarios participantes, entregarán un informe a la Subdirección General de Inteligencia Artificial y Tecnologías Habilitadoras Digitales.
2. El contenido del informe anterior se indicará en las guías que ofrezca el órgano competente. Las entidades que hayan completado las fases del entorno controlado de pruebas recibirán un documento acreditativo de su participación en el mismo junto con un informe de valoración de los resultados obtenidos.
3. El órgano competente podrá abrir nuevas convocatorias en el futuro.
4. Cuando el órgano competente considere que el entorno controlado de pruebas ha cumplido con el objeto indicado en el presente real decreto podrá determinar la finalización de este y emitirá un comunicado público a tal efecto en el portal web del órgano competente.
1. El proveedor IA y, en su caso, el usuario, podrán solicitar, mediante comunicación al órgano competente a través del canal especificado en el artículo 20.3 del presente real decreto, la retirada voluntaria del entorno controlado de pruebas por motivos justificados.
2. Una vez instruido el procedimiento, el órgano competente resolverá la solicitud de salida voluntaria de forma motivada en el plazo máximo de quince días hábiles. Esta resolución pone fin a la vía administrativa y el sentido del silencio administrativo será positivo.
3. En el caso de que el proveedor IA participante o, en su caso, el usuario participante se retire del entorno controlado de pruebas, deberá mantener el deber de confidencialidad en los términos previstos en la resolución de admisión.
4. Asimismo, la salida tanto de un proveedor IA participante como de un usuario participante no generará en ningún caso derecho de indemnización ni compensación alguna por parte del órgano competente.
5. El órgano competente, si así lo considera conveniente para el resultado del entorno, podrá cubrir la posición liberada por la retirada voluntaria con la siguiente entidad que hubiera solicitado la participación de acuerdo con lo dispuesto en la convocatoria.
1. Podrá declararse la finalización anticipada de las pruebas en el entorno de manera individualizada, dando por finalizada la experiencia sin éxito para ese proveedor IA participante o, en su caso, usuario participante, mediante resolución motivada del órgano competente en base a la concurrencia de alguna de las siguientes circunstancias:
a) Se ha producido un incumplimiento del régimen jurídico previsto en artículo 4 del presente real decreto, en la convocatoria o en la resolución de admisión.
b) Se ha cesado en el cumplimiento de alguno de los requisitos iniciales para la elegibilidad para la participación en el entorno controlado de pruebas contemplados en el artículo 5 del presente real decreto.
c) Se ha producido un incumplimiento del deber de facilitar información requerida en el marco de seguimiento establecido por el órgano competente previsto en el artículo 21 del presente real decreto.
d) Se han producido incidentes graves o errores de funcionamiento en los sistemas de inteligencia artificial.
e) Se ha identificado un riesgo no previsto en la memoria técnica.
f) La entidad no aporta los recursos necesarios para implantación de los requerimientos acordados en el plan de implantación.
g) La entidad no cumple con las acciones necesarias para superar la declaración de cumplimiento de acuerdo con lo previsto en el artículo 13 del presente real decreto.
h) Cualquier otra circunstancia que se previera en la convocatoria.
2. Una vez se ha identificado alguna de las circunstancias anteriores, el órgano competente, previa audiencia con los participantes de acuerdo con el artículo 82 de la Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Pública, resolverá de forma motivada en el plazo máximo de quince días hábiles. Esta resolución pone fin a la vía administrativa.
3. Adicionalmente a los casos indicados, también se declarará la finalización anticipada de la experiencia en el caso de que el proveedor IA no realizase las actuaciones que le permitan dar cumplimiento a los requisitos, descritos en el artículo 11 del presente real decreto, en el plazo establecido en la convocatoria, dejando de formar parte del entorno controlado de pruebas previo el oportuno procedimiento.
4. En el supuesto de que el proveedor IA participante fuera obligado a abandonar la experiencia también lo tendría que hacer, en el caso de que participase, el usuario del sistema de inteligencia artificial.
5. La finalización anticipada del entorno controlado de pruebas no dará lugar a indemnización alguna por parte del órgano competente.
6. El órgano competente, si así lo considera conveniente para el resultado del entorno, podrá cubrir mediante resolución la posición liberada por la finalización anticipada de las pruebas con la siguiente entidad que hubiera solicitado la participación de acuerdo con lo dispuesto en la convocatoria.
Podrán colaborar con el órgano competente otras administraciones públicas y entidades del sector público institucional y organismos internacionales y otras autoridades de otros Estados miembro de la Unión Europea con competencias en las materias relacionadas con los diferentes casos que se desarrollen en el marco de este entorno controlado de pruebas, a fin de lograr un adecuado funcionamiento del mismo, y facilitarán, dentro de su ámbito competencial y con las garantías adecuadas, el avance del mismo, cualquiera que sea el ámbito territorial al que afecte.
1. El grupo de personas asesoras expertas estará integrado por profesionales independientes de reconocido prestigio y experiencia técnica en campos afines del conocimiento, con responsabilidades presentes o pasadas en el ámbito académico y universitario, en instituciones colegiales, asociaciones de otro tipo, o en el sector empresarial. Los miembros del Grupo serán nombrados por resolución de la Secretaría de Estado de Digitalización e Inteligencia Artificial. Los miembros del Grupo de personas asesoras expertas no podrán actuar ni como proveedores IA participantes ni como usuarios participantes en el entorno controlado de pruebas.
2. Entre los miembros del grupo de personas asesoras expertas se incluirán uno o varios perfiles multidisciplinares con conocimientos de IA y otra materia como podría ser género, protección de datos, seguridad, ética, derecho u otras.
3. El grupo de personas asesoras expertas velará por el cumplimiento del principio de igualdad de género en el desarrollo de las tareas encomendadas, y en su designación se atenderá al principio de presencia equilibrada entre mujeres y hombres.
4. Este grupo de personas expertas colaborará en el entendimiento y comprensión de la forma de implementar los requisitos aplicables a los sistemas de inteligencia artificial de alto riesgo, así como en la aportación de información relevante para la mejora de las guías técnicas.
5. Estas personas expertas estarán sujetos a las previsiones de confidencialidad descritas en el artículo 18, y se comprometerán a ayudar tanto a los proveedores IA participantes como a los usuarios participantes en el cumplimiento de los requisitos, así como en su autoevaluación de cumplimiento del entorno controlado de pruebas.
6. La colaboración de las personas asesoras expertas no conllevará ningún tipo de contraprestación económica o compensación de ningún otro tipo.
1. Cuando una persona jurídica privada o entidad del sector público sea usuaria de un sistema de alto riesgo de inteligencia artificial o sistemas de propósito general o modelos fundacionales, podrá acordar con el proveedor IA de dicho sistema la participación conjunta en el entorno controlado de pruebas. La convocatoria explicitará el mecanismo de participación a dicho entorno cuando una entidad del sector público participe como usuario.
2. La persona jurídica privada o entidad del sector público, cuando actúen como usuarios participantes deberán colaborar implantando las medidas especificadas en las guías que el órgano competente proporcione para el seguimiento tras la puesta en marcha del sistema de inteligencia artificial y en su caso, con respecto al tratamiento de datos personales según lo previsto en el artículo 16 del presente real decreto.
3. Se invitará a participar a dicha persona jurídica privada o entidad del sector público en la declaración de cumplimiento, sobre la base del artículo 19, en actividades de seguimiento tras la puesta en marcha en coordinación con el proveedor IA participante, sobre la base del artículo 21, y en la aportación de conocimiento para la elaboración de guías u otros documentos de conclusiones sobre el entorno controlado de pruebas.
1. El órgano competente podrá invitar como observadora a cualquier autoridad competente que, por su actividad de supervisión, control, garantía de cumplimiento normativo específico, u otras competencias específicas, pueda ser relevante en la implantación y revisión de los requisitos que se deberán implantar en los sistemas de inteligencia artificial en el contexto del entorno controlado de pruebas.
2. El objeto de esta colaboración es emitir opiniones o alertas cuando las acciones realizadas por el proveedor IA participante o, en su caso, por el usuario participante puedan, eventualmente, suponer un incumplimiento normativo, incumplimiento de criterios de calidad y seguridad de productos, o vulneración de principios rectores de la actuación de los agentes económicos y las entidades del sector público.
El órgano competente establecerá cauces de colaboración con organismos de normalización españoles, europeos e internacionales con el fin de contribuir a la redacción de normas técnicas basadas en las experiencias del entorno controlado de pruebas, de tomar en consideración las recomendaciones y deliberaciones de dichos organismos para proporcionar mayor seguridad tanto a los proveedores IA participantes como a los usuarios participantes en el mismo, así como de experimentar elementos de normalización en el campo de la inteligencia artificial que ya hayan sido publicados o estén en proceso de desarrollo.
El cumplimiento de este real decreto se asumirá exclusivamente con los medios con los que cuenta la Secretaría de Estado de Digitalización e Inteligencia Artificial.
El órgano competente, basándose en los resultados obtenidos en el entorno, publicará en su portal web el informe con las conclusiones sobre el desarrollo, buenas prácticas, y recomendaciones al mismo, así como otros aspectos de interés de la aplicación experimental de la propuesta del Reglamento de la Unión Europea sobre la inteligencia artificial en el entorno. Estos podrán contribuir, según proceda, a los trabajos en curso sobre normalización y otras acciones preparatorias a escala de la Unión Europea en apoyo a la aplicación la propuesta del Reglamento por el que se establecen normas armonizadas sobre inteligencia artificial.
Los ministerios con competencias en las áreas de sistemas de inteligencia artificial de alto riesgo específico podrán participar, a petición del órgano competente, en la redacción del informe sobre las conclusiones al que se refiere el párrafo anterior.
No obstante, podrán participar de las reuniones sobre el progreso del entorno controlado de pruebas a las que se refiere el apartado 5 del artículo 12. El órgano competente, partiendo de los resultados obtenidos en el entorno controlado de pruebas, podrá desarrollar una plataforma desoftwareque facilite una primera autoevaluación no vinculante sobre el cumplimiento de los principios de la propuesta del Reglamento por el que se establecen normas armonizadas en materia de inteligencia artificial.
Esta Ley se aprueba al amparo de lo dispuesto en el artículo 149.1.13.ª de la Constitución Española, que atribuye al Estado la competencia exclusiva sobre las bases y coordinación de la planificación general de la actividad económica, así como en lo establecido en el artículo 149.1.15.ª, que atribuye al Estado la competencia exclusiva sobre fomento y coordinación general de la investigación científica y técnica.
Este real decreto entrará en vigor al día siguiente de su publicación en el «Boletín Oficial del Estado».
Este real decreto tendrá una vigencia de máximo treinta y seis meses desde su entrada en vigor o, en su caso, hasta que sea aplicable en el Reino de España el Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial.
Dado en Madrid, el 8 de noviembre de 2023.
La Comisión adoptó la propuesta de Reglamento por el que se establecen normas armonizadas en materia de inteligencia artificial (Reglamento de Inteligencia Artificial) el 21 de abril de 2021.
La propuesta de la Comisión tiene por objeto garantizar que los sistemas de inteligencia artificial comercializados en el mercado de la Unión y utilizados en ella sean seguros y respeten la legislación vigente relativa a los derechos fundamentales y los valores de la Unión, garantizar la seguridad jurídica para facilitar la inversión y la innovación en inteligencia artificial y mejorar la gobernanza y la aplicación efectiva de la legislación vigente en materia de derechos fundamentales y seguridad, así como facilitar el desarrollo de un mercado único de aplicaciones de inteligencia artificial que sean legales, seguras y fiables y evitar la fragmentación del mercado.
La Comisión Europea en su propuesta de Reglamento establece un listado de sistemas de inteligencia artificial de alto riesgo en su anexo III, con determinadas referencias en los considerandos. El Consejo de la Unión Europea, en su formación de Telecomunicaciones, ha realizado cambios a este anexo de sistemas de IA de alto riesgo, publicando en diciembre de 2022 su posición(1). El anexo de la posición del Consejo sobre la propuesta de Reglamento de la Comisión se recoge en el anexo II del presente real decreto para garantizar la transparencia y seguridad jurídica en la selección de los sistemas de inteligencia artificial de alto riesgo que participarán en el entorno.
Los sistemas de alto riesgo de inteligencia artificial se alinearán con los requisitos que se definen en el capítulo 2 de posición del Consejo de la UE sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial: Sistema de gestión de riesgos (artículo 9), datos y gobernanza de datos (artículo 10), documentación técnica (artículo 11), registros (artículo 12), Transparencia y comunicación de información a usuarios (artículo 13), vigilancia humana (artículo 14) y precisión, solidez y ciberseguridad (artículo 15).
La propuesta de Reglamento de la Comisión Europea ha sido revisada separadamente por el Consejo de la Unión Europea y por el Parlamento Europeo, habiendo presentado cada uno su posición con sus enmiendas sobre la propuesta de la Comisión Europea. Durante las negociaciones europeas, se actualizará la información necesaria en toda la documentación técnica otorgada a los seleccionados para su participación en el entorno controlado de pruebas, cuando tengan lugar modificaciones de importancia en la propuesta de Reglamento que resulten relevantes para el entorno controlado de pruebas.
En cada una de las siguientes áreas, los sistemas de inteligencia artificial se consideran de alto riesgo en virtud de las definiciones dispuestas en el presente real decreto.
La memoria técnica que se adjunte con la solicitud de participación al entorno controlado de pruebas deberá contener la siguiente información:
1. Nombre, dirección, NIF, detalles de contacto del proveedor IA solicitante del sistema de inteligencia artificial, número de empleados y sector productivo o de servicios al que pertenece.
Se especificará si es parte de una agrupación de entidades, detallando la información del presente punto para cada una de ellas.
2. Cuando se haya solicitado la participación a través de un tercero en nombre del solicitante, su nombre, dirección y detalles de contacto.
3. Nombre del sistema de inteligencia artificial presentado.
4. Tipo de sistema de inteligencia artificial: alto riesgo, propósito general, o modelo fundacional.
5. Descripción del propósito previsto para el sistema de inteligencia artificial.
6. Descripción del funcionamiento y técnicas de diseño del sistema de inteligencia artificial.
7. Descripción explicativa del papel que desempeña el proveedor IA solicitante en referencia al sistema de inteligencia artificial atendiendo a la definición del artículo 3 del real decreto.
8. Descripción explicativa de la adecuación a sistema de inteligencia artificial de alto riesgo, de propósito general, o modelo fundacional según definición del artículo 3 del presente real decreto.
9. Breves instrucciones de uso y aplicación del sistema de inteligencia artificial.
10.Statusdel sistema de inteligencia artificial: completamente desarrollado, puesto en servicio, introducido en el mercado, a falta de poner en funcionamiento, evaluación de conformidad exigida por legislación específica pasada/no pasada, calendario previsto para su plena operatividad, pasos restantes para que pueda ser utilizado.
11. En el caso en que el sistema de inteligencia artificial sea puesto en servicio en otros Estados miembro de la Unión Europea, el proveedor IA solicitante deberá informar de los países concretos en los que tiene previsto implantar el sistema.
12. Si el sistema de inteligencia artificial ha sido introducido en el mercado o ha sido puesto en servicio y, debe superar una evaluación de conformidad exigida por legislación específica, deberá detallar: el tipo, número y fecha de caducidad del certificado expedido por un organismo notificado y nombre o número de identificación de dicho organismo notificado, cuando proceda. Así como una copia del certificado.
13. Si el sistema de inteligencia artificial le es de aplicación legislación específica, y no ha sido introducido en el mercado o puesto en servicio, deberá detallar el plan de cumplimiento de legislación sectorial específica que se haya diseñado para el sistema de inteligencia artificial en cuestión.
14. Alcance estimado del sistema en número de personas afectadas por el mismo.
15. Cualquier otra información prevista en la convocatoria.
Toda la información proporcionada será tratada con la debida confidencialidad en concordancia con el artículo 18 del presente real decreto.
Don/Doña …………………………………………..…….……..…………….....…………
con NIF ……………….....………, por sí mismo/a o en representación de la entidad
con NIF ……………….....………, en calidad de ………….….….……...………………
Que ha presentado su solicitud a la convocatoria de participación en el entorno controlado de pruebas previsto en este real decreto, por el que se establece un entorno para comprobar el cumplimiento de la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial,
Que los tratamientos de datos personales que se realicen en los sistemas de inteligencia artificial en el marco del entorno controlado de pruebas, tanto por parte del proveedor IA, como del usuario o por cualquier tercero que tenga acceso a ellos, se realizarán con estricta sujeción a lo dispuesto en el Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos (RGPD) y por el que se deroga la Directiva 95/46/CE, en la Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de los derechos digitales (LOPDPGDD), y demás normativa aplicable en materia de protección de datos personales.
A estos efectos se han adoptado todas las medidas que se recogen en el anexo V para el cumplimiento del principio de responsabilidad proactiva en los tratamientos de datos personales necesarios para el desarrollo de las pruebas. Documentación que se podrá requerir a los participantes del entorno a efectos de cumplir con las garantías de la normativa de protección de datos. Asimismo, se ha justificado y documentado la omisión de las medidas que no son obligatorias(2).
En su caso, durante la realización de las pruebas se constatará y documentará la pertinencia de las medidas adoptadas o la necesidad de actualizarlas o modificarlas adoptando las medidas necesarias para garantizar el cumplimiento del principio de responsabilidad proactiva.
El incumplimiento de esta normativa dará lugar al cese definitivo de las pruebas, en virtud del artículo 13 del Real Decreto 817/2023, de 8 de noviembre, que establece un entorno controlado de pruebas para el ensayo del cumplimiento de la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial.
Fecha:
Firmado:
1. Responsables o corresponsables del tratamiento de datos (artículo 26 RGPD).
2. Registro de Actividades de Tratamiento.
3. Indicación de los encargados del tratamiento intervinientes, en su caso (artículo 28 RGPD).
3. Listado de cumplimiento normativo (https://www.aepd.es/sites/default/files/2019-11/guia-listado-de-cumplimiento-del-rgpd.pdf).
4. Medidas y garantías de protección de datos por defecto.
5. Análisis de riesgos para los derechos y libertades de personas físicas.
6. Evaluación de impacto relativa a la protección de datos o justificación de la improcedencia de realizar la misma (orientaciones-evaluacion-impacto-desarrollo-normativo.pdf (aepd.es).
7. Medidas y garantías de protección de datos desde el diseño.
8. Medidas de seguridad.
9. Procedimientos para la gestión de brechas de seguridad.
10. Informe del Delegado de protección de datos en relación con el cumplimiento de la normativa de la protección de datos en el sistema de inteligencia artificial o justificación de la improcedencia de dicho informe.
La documentación técnica que se desarrollará durante el entorno controlado de pruebas como parte de los requisitos de los sistemas de inteligencia artificial contendrá, como mínimo, la siguiente información, según sea aplicable al sistema de inteligencia artificial correspondiente:
1. Una descripción general del sistema de inteligencia artificial que incluya:
a) Su finalidad prevista, la persona o personas responsables de su desarrollo, la fecha y la versión del sistema.
b) Cómo el sistema de inteligencia artificial interactúa o puede utilizarse para interactuar con los soportes físicos o elsoftwareque no formen parte del propio sistema de inteligencia artificial, cuando proceda.
c) Las versiones desoftwareo delfirmwarepertinentes y cualquier requisito relacionado con la actualización de las versiones.
d) La descripción de todas las formas en que el sistema de inteligencia artificial se ha introducido o puesto en servicio (por ejemplo, paquetes desoftwareintegrados en elhardware, descargable, interfaz de programación de aplicaciones –API–, etc.).
e) La descripción delhardwareen el que está previsto que funcione el sistema de inteligencia artificial.
f) Cuando el sistema de inteligencia artificial sea un componente de productos, fotografías o ilustraciones que muestren las características externas, el marcado y la disposición interna de dichos productos.
g) Instrucciones de uso para el usuario y, en su caso, instrucciones de instalación.
2. Una descripción detallada de los elementos del sistema de inteligencia artificial y del proceso para su adaptación a los requisitos especificados en el artículo 11 del real decreto, incluyendo:
a) Los métodos y pasos realizados para la incorporación de los requisitos en el sistema de inteligencia artificial, incluyendo, en su caso, el recurso a sistemas pre-entrenados o a herramientas proporcionadas por terceros y cómo han sido utilizados, integrados o modificados por el proveedor IA solicitante.
b) Las especificaciones de diseño del sistema, a saber, la lógica general del sistema de inteligencia artificial y de los algoritmos; las opciones clave de diseño, incluidos los fundamentos y las suposiciones realizadas, también con respecto a las personas o grupos de personas con las que se pretende utilizar el sistema; las principales opciones de clasificación; el objetivo de optimización del sistema y la importancia de los distintos parámetros; las decisiones sobre las posibles contrapartidas realizadas en relación con las soluciones técnicas adoptadas para cumplir los requisitos establecidos en el artículo 11 y las guías ofrecidas por el órgano competente a tal efecto.
c) La descripción de la arquitectura del sistema que explique cómo los componentes desoftwarese basan o se alimentan mutuamente y se integran en el procesamiento global; los recursos informáticos utilizados para desarrollar, entrenar, probar y validar el sistema de inteligencia artificial.
d) Cuando proceda, los requisitos de datos en términos de fichas técnicas que describan las metodologías y técnicas de entrenamiento y los conjuntos de datos de entrenamiento utilizados, incluyendo una descripción general de estos conjuntos de datos, su procedencia, alcance y características principales; cómo se han obtenido y seleccionado los datos; procedimientos de etiquetado (por ejemplo, para el aprendizaje supervisado), metodologías de limpieza de datos (por ejemplo detección de valores atípicos).
e) En el caso de sistemas de alto riesgo, la evaluación de las medidas de supervisión humana necesarias, incluida una evaluación de las medidas técnicas necesarias para facilitar la interpretación de los resultados de los sistemas de inteligencia artificial por parte de los usuarios del sistema.
f) Cuando proceda, una descripción detallada de los cambios predeterminados en el sistema de inteligencia artificial y su rendimiento, junto con toda la información pertinente relacionada a las soluciones técnicas adoptadas para garantizar la conformidad continua del sistema de inteligencia artificial con los requisitos pertinentes establecidos en el artículo 11 y las guías ofrecidas por el órgano competente a tal efecto.
g) Los procedimientos de validación y prueba utilizados, incluida la información sobre los datos de validación y prueba empleados y sus principales características; las métricas utilizadas para medir la precisión, la solidez, la ciberseguridad y el cumplimiento de otros requisitos pertinentes establecidos en el artículo 11 y las guías ofrecidas por el órgano competente a tal efecto, así como los impactos potencialmente impactos discriminatorios; registros de pruebas (logs) y todos los informes de pruebas fechados y firmados por las personas responsables, incluso en lo que respecta a los cambios predeterminados mencionados en la letra f).
3. Información sobre la supervisión, el funcionamiento y el control del sistema de inteligencia artificial, en particular con respecto a: sus capacidades y limitaciones de rendimiento, incluyendo los grados de precisión para las personas o grupos de personas específicos sobre los que se pretende utilizar el sistema y el nivel general de precisión previsto en relación con su finalidad su finalidad prevista; las fuentes de riesgo para la salud y la seguridad, los derechos fundamentales y la discriminación en vista de la de la finalidad prevista del sistema de inteligencia artificial; las medidas de supervisión humana necesarias de conformidad con el artículo 11 y las guías ofrecidas por el órgano competente a tal efecto, incluidas las medidas técnicas establecidas para facilitar la interpretación de la información de salida de los sistemas de inteligencia artificial por parte de los usuarios del sistema; las especificaciones sobre los datos de entrada según proceda; y en su caso, con relación a los tratamientos de datos personales en función del impacto que puedan tener el tratamiento de los datos, o de las finalidades previstas y contextos específicos de operación, para los que se valida el sistema.
4. Una descripción detallada del sistema de gestión de riesgos, de conformidad con el artículo 11 y las especificaciones ofrecidas por el órgano competente a tal efecto.
5. Una descripción de cambios relevantes realizados por el proveedor IA solicitante en el sistema a lo largo de su ciclo de vida.
6. Una descripción detallada del sistema establecido para evaluar el rendimiento del sistema de inteligencia artificial en la fase posterior a la comercialización, incluido de plan de monitorización posterior a la comercialización.
Toda la información proporcionada será tratada con la debida confidencialidad en concordancia con el artículo 18 del presente real decreto.
1. Directiva 2006/42/CE del Parlamento Europeo y del Consejo, de 17 de mayo de 2006, relativa a las máquinas y por la que se modifica la Directiva 95/16/CE (DO L 157 de 9 de junio de 2006, p. 24) (derogada por el Reglamento relativo a las máquinas);
2. Directiva 2009/48/CE del Parlamento Europeo y del Consejo, de 18 de junio de 2009, sobre la seguridad de los juguetes (DO L 170 de 30 de junio de 2009, p. 1);
3. Directiva 2013/53/UE del Parlamento Europeo y del Consejo, de 20 de noviembre de 2013, relativa a las embarcaciones de recreo y a las motos acuáticas, y por la que se deroga la Directiva 94/25/CE (DO L 354 de 28 de diciembre de 2013, p. 90);
4. Directiva 2014/33/UE del Parlamento Europeo y del Consejo, de 26 de febrero de 2014, sobre la armonización de las legislaciones de los Estados miembro de la Unión Europea en materia de ascensores y componentes de seguridad para ascensores (DO L 96 de 29 de marzo de 2014, p. 251);
5. Directiva 2014/34/UE del Parlamento Europeo y del Consejo, de 26 de febrero de 2014, sobre la armonización de las legislaciones de los Estados miembro en materia de aparatos y sistemas de protección para uso en atmósferas potencialmente explosivas (DO L 96 de 29 de marzo de 2014, p. 309);
6. Directiva 2014/53/UE del Parlamento Europeo y del Consejo, de 16 de abril de 2014, relativa a la armonización de las legislaciones de los Estados miembro de la Unión Europea sobre la comercialización de equipos radioeléctricos, y por la que se deroga la Directiva 1999/5/CE (DO L 153 de 22 de mayo de 2014, p. 62);
7. Directiva 2014/68/UE del Parlamento Europeo y del Consejo, de 15 de mayo de 2014, relativa a la armonización de las legislaciones de los Estados miembro de la Unión Europea sobre la comercialización de equipos a presión (DO L 189 de 27 de junio de 2014, p. 164);
8. Reglamento (UE) 2016/424 del Parlamento Europeo y del Consejo, de 9 de marzo de 2016, relativo a las instalaciones de transporte por cable y por el que se deroga la Directiva 2000/9/CE (DO L 81 de 31 de marzo de 2016, p. 1);
9. Reglamento (UE) 2016/425 del Parlamento Europeo y del Consejo, de 9 de marzo de 2016, relativo a los equipos de protección individual y por el que se deroga la Directiva 89/686/CEE del Consejo (DO L 81 de 31 de marzo de 2016, p. 51);
10. Reglamento (UE) 2016/426 del Parlamento Europeo y del Consejo, de 9 de marzo de 2016, sobre los aparatos que queman combustibles gaseosos y por el que se deroga la Directiva 2009/142/CE (DO L 81 de 31 de marzo de 2016, p. 99);
11. Reglamento (UE) 2017/745 del Parlamento Europeo y del Consejo, de 5 de abril de 2017, sobre los productos sanitarios, por el que se modifican la Directiva 2001/83/CE, el Reglamento (CE) número 178/2002 y el Reglamento (CE) número 1223/2009 y por el que se derogan las Directivas 90/385/CEE y 93/42/CEE del Consejo (DO L 117 de 5 de mayo de 2017, p. 1);
12. Reglamento (UE) 2017/746 del Parlamento Europeo y del Consejo, de 5 de a