Der Vorentwurf soll auf den Plenarsitzungen des CAI, die für den 21.–23. September und den 23.–25. November 2022 in Straßburg angesetzt sind, erörtert werden. Außerdem sind für 2023 vier Sitzungen und für 2024 eine Sitzung geplant.

·Schlussbestimmungen mit der Möglichkeit, dass EU-Mitgliedstaaten in Belangen, die unter das Übereinkommen fallen, in ihren gegenseitigen Beziehungen EU-Recht anwenden, und der Möglichkeit, dass die Union dem Übereinkommen beitreten kann.

·zusätzliche Maßnahmen für den öffentlichen Sektor sowie für KI-Systeme, die anhand einer Risiko- und Folgenabschätzungsmethode als mit einem „unannehmbaren“ und „erheblichen“ Risiko behaftet eingestuft wurden (später in einem Anhang des Übereinkommens festzulegen),

Anschließend übermittelte der Vorsitz des CAI einen Vorentwurf des künftigen (Rahmen-)Übereinkommens, in dem die wesentlichen Grundsätze und Regeln festgelegt werden, mit denen sichergestellt werden soll, dass die Konzeption, Entwicklung und Anwendung von KI-Systemen im Einklang mit der Achtung der Menschenrechte, dem Funktionieren der Demokratie und der Wahrung der Rechtsstaatlichkeit erfolgt. Das künftige (Rahmen-)Übereinkommen muss in den jeweiligen Rechtssystemen der Vertragsparteien umgesetzt werden. Sein Anwendungsbereich erstreckt sich sowohl auf öffentliche als auch private Anbieter und Nutzer von KI-Systemen, schließt jedoch KI-Systeme im Verteidigungsbereich aus. Im Vorentwurf wird vorgeschlagen, folgende Bestimmungen aufzunehmen:

Vom 4.–6. April 2022 fand die konstituierende Sitzung des CAI statt, auf der ein Vorsitz, ein stellvertretender Vorsitz und ein Vorstand gewählt wurden. Am 30. Juni 2022 beauftragte das Ministerkomitee des Europarates den CAI damit, auf der Grundlage der Normen des Europarats für Menschenrechte, Demokratie und Rechtsstaatlichkeit gemäß seinem Mandat rasch ein rechtsverbindliches Instrument bereichsübergreifender Art („Übereinkommen“/„Rahmenübereinkommen“) über künstliche Intelligenz auszuarbeiten; der Schwerpunkt soll auf allgemeinen gemeinsamen Grundsätzen liegen, es soll der Innovation förderlich sein und der Beteiligung von Drittstaaten offenstehen, wobei andere einschlägige internationale Rechtsrahmen, die bereits bestehen oder gerade entwickelt werden, zu berücksichtigen sind.

Am 11. September 2019 beschloss das Ministerkomitee des Europarates, einen Ad-hoc-Ausschuss für künstliche Intelligenz (CAHAI) einzusetzen. Seine Aufgabe war es, die Durchführbarkeit und mögliche Elemente eines Rechtsrahmens für die Konzeption, Entwicklung und Anwendung von KI zu prüfen, wobei die Normen des Europarats für Menschenrechte, Demokratie und Rechtsstaatlichkeit sowie die bestehenden einschlägigen internationalen Rechtsinstrumente berücksichtigt werden sollten. Die Arbeiten des CAHAI stützten sich auf eine Durchführbarkeitsstudie und eine Konsultation verschiedener Interessenträger, die im Frühjahr 2021 durchgeführt wurden. Am 3. Dezember 2021 schloss der CAHAI seine Arbeit ab und legte ein Abschlussdokument vor, in dem die möglichen Elemente eines solchen Rechtsrahmens aufgezeigt wurden. Diesem Bericht zufolge ist für die Konzeption, Entwicklung und Anwendung von KI-Systemen ein Rechtsinstrument erforderlich, das die wesentlichen Grundsätze des Schutzes der Menschenwürde und der Achtung der Menschenrechte, der Demokratie und der Rechtsstaatlichkeit festschreibt. Dieses Instrument sollte die Festlegung einer Methodik für die Risikoklassifizierung von KI-Systemen mit den Kategorien „niedriges Risiko“, „hohes Risiko“ und „unannehmbares Risiko“ vorsehen. KI-Anwendungen, die „unannehmbare“ Risiken bergen, sollten verboten werden. Um zu verhindern, dass es zu unerwünschten Verzerrungseffekten kommt, sollte darin auch eine Bestimmung über die Gleichbehandlung und Nichtdiskriminierung aufgenommen werden. Die rechtlichen Schutzvorkehrungen sollten zumindest das Recht auf einen wirksamen Rechtsbehelf vor einer nationalen Behörde, das Recht auf Information über die Verwendung eines KI-Systems in einem Entscheidungsprozess, das Recht auf Wahl der Interaktion mit einem Menschen und das Recht auf Information darüber, dass der Nutzer es mit einem KI-System zu tun hat, gewährleisten. Auf Einzelfragen wie die Manipulation von Inhalten („Deepfakes“) sollte jedoch in anderen sektorspezifischen Instrumenten eingegangen werden. Ferner sollte eine Verpflichtung zur Schaffung von Mechanismen zur Sicherung der Einhaltung und von nationalen Aufsichtsbehörden in Erwägung gezogen werden. Das Rechtsinstrument könnte durch ein unverbindliches Folgenabschätzungsmodell ergänzt werden.

Im April 2021 schlug die Europäische Kommission eine umfassende Verordnung über künstliche Intelligenz vor, mit der die Vorschriften für KI-Systeme in allen 27 EU-Mitgliedstaaten harmonisiert werden sollen. Über diesen Vorschlag verhandeln derzeit das Europäische Parlament und der Rat im Rahmen des ordentlichen Gesetzgebungsverfahrens. Verschiedene internationale Organisationen, darunter auch der Europarat, haben ihre Bemühungen in diesem Bereich ebenfalls verstärkt, denn sie haben den grenzüberschreitenden Charakter der KI und die Notwendigkeit einer internationalen Zusammenarbeit zur Bewältigung der gemeinsamen Herausforderungen erkannt.

Künstliche Intelligenz (KI) eröffnet große Chancen für die Gesellschaft, die Umwelt und die Wirtschaft. Gleichzeitig können bestimmte KI-Systeme je nach den Umständen ihrer konkreten Anwendung und Nutzung aber auch materiellen oder immateriellen Schaden verursachen und Risiken für die öffentlichen Interessen und die Grundrechte und Grundfreiheiten von Personen bergen. Um diese Herausforderungen meistern und das Potenzial der KI nutzen zu können, kommt es daher entscheidend darauf an, dass ein kohärenter Rechtsrahmen für KI geschaffen wird, der die öffentlichen Interessen und die Grundrechte schützt und gleichzeitig Vertrauen und Innovation fördert.

So enthält das EU-Recht bereits umfassende gemeinsame Binnenmarktvorschriften für Produkte und Dienstleistungen, für die KI-Systeme verwendet werden können. Zudem kann durch die Entwicklung und Verwendung bestimmter KI-Systeme die Ausübung der Grundrechte beeinträchtigt werden, die in der Charta der Grundrechte der EU und im Sekundärrecht der EU verankert sind. Dazu gehören beispielsweise die Rechte auf körperliche und geistige Unversehrtheit, auf den Schutz personenbezogener Daten und der Privatsphäre, auf Nichtdiskriminierung, Meinungs- und Informationsfreiheit, auf die Unschuldsvermutung und auf einen wirksamen Rechtsbehelf und ein faires Verfahren. Die Entwicklung und Verwendung von KI kann sich auch auf die Werte auswirken, auf denen die Union gegründet ist, einschließlich der Menschenwürde, der Demokratie und der Rechtsstaatlichkeit.

Bei der Beurteilung der Frage, ob ein Bereich weitgehend unter EU-Recht fällt, ist nicht nur das EU-Recht in seiner derzeitigen Form, sondern auch die künftige Entwicklung des betreffenden Bereichs zu berücksichtigen, soweit diese zum Zeitpunkt der betreffenden Analyse vorhersehbar ist. Angesichts des im April 2021 vorgelegten Vorschlags der Kommission für eine Verordnung über künstliche Intelligenz (im Folgenden „KI-Gesetz“), über den derzeit im Europäischen Parlament und im Rat verhandelt wird, ist der Bereich, der unter das künftige KI-Übereinkommen des Europarats fallen wird, für eine solche vorhersehbare künftige Entwicklung von unmittelbarer Bedeutung.

Die Verhandlungen über das künftige KI-(Rahmen-)Übereinkommen des Europarates beziehen sich auf Angelegenheiten, die in die Zuständigkeit der Union fallen, und es gibt hinsichtlich des Anwendungsbereichs, der Art und des Inhalts sehr große Überschneidungen zwischen dem Vorentwurf des Übereinkommens und dem vorgeschlagenen KI-Gesetz. Deshalb ist es wichtig, dass die Verhandlungen im Namen der Union so geführt werden, dass die Kohärenz und Einheitlichkeit der EU-Vorschriften für KI und das ordnungsgemäße Funktionieren des durch diese Vorschriften geschaffenen Systems nicht untergraben werden und dass ein künftiges Übereinkommen des Europarats vollständig mit dem derzeit geltenden und künftigen EU-Recht in diesem Bereich vereinbar ist.

•Kohärenz mit den bestehenden Vorschriften in diesem Bereich

Am 21. April 2021 legte die Kommission einen Vorschlag für eine Verordnung mit harmonisierten Vorschriften für das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI-Systemen in der Union vor. Dieser Vorschlag hat das zweifache Ziel, einen Binnenmarkt zur Förderung der Entwicklung und Einführung von KI zu schaffen und gleichzeitig den Risiken für die Sicherheit, die Gesundheit und die Grundrechte entgegenzutreten. Der Vorschlag ist horizontaler Art und soll für alle Anbieter und Nutzer von KI-Systemen gelten, unabhängig davon, ob es sich um öffentliche Stellen oder private Einrichtungen oder Personen handelt. KI-Systeme, die ausschließlich für militärische Zwecke entwickelt oder verwendet werden, sind vom Anwendungsbereich ausgenommen.

In dem Vorschlag werden verhältnismäßige Anforderungen und Verpflichtungen festgelegt, die auf das Minimum beschränkt sind, das erforderlich ist, um die Risiken für die Gesundheit, die Sicherheit und die Grundrechte zu bewältigen, ohne aber die technische Entwicklung der KI zu behindern oder den finanziellen und administrativen Aufwand für die Anbieter unverhältnismäßig zu erhöhen. Dazu wird ein risikobasierter Ansatz verfolgt, bei dem KI-Systeme in verschiedene Risikokategorien eingeteilt werden, nämlich „unannehmbar“, „hoch“, „transparenzbezogen“ und „niedrig“ oder „minimal“.

·Für KI-Systeme, die als mit den Werten der EU unvereinbar angesehen werden und eine klare Bedrohung für die Sicherheit, die Existenzgrundlagen oder die Rechte der Menschen darstellen und so ein „unannehmbares Risiko“ bergen (z. B. Bewertung des sozialen Verhaltens durch Behörden, schädliche manipulative KI-Praktiken, biometrische Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken, mit wenigen begrenzten Ausnahmen), wird ein Verbot vorgeschlagen.

·„Hochrisiko“-KI-Systeme, die erhebliche Risiken für die Gesundheit, die Sicherheit oder die Grundrechte bergen, müssen Konformitätsprüfungen unterzogen werden und bestimmte verbindliche Anforderungen erfüllen (z. B. in Bezug auf Risikomanagement, Datenqualität, Dokumentation, Transparenz, menschliche Aufsicht, Genauigkeit, Cybersicherheit), bevor sie in der Union in Verkehr gebracht oder verwendet werden dürfen. Außerdem werden Anbietern und Nutzern verhältnismäßige und wirksame Überwachungs- und Beaufsichtigungspflichten mit eindeutigen Aufgaben und Zuständigkeiten entlang der gesamten Wertschöpfungskette auferlegt, wobei andere Verpflichtungen aus sektorspezifischen Rechtsvorschriften unberührt bleiben.

·Bei KI-Systemen, die ein „transparenzbezogenes Risiko“ bergen, sollten Menschen informiert werden, wenn sie es mit solchen Systemen zu tun haben oder ihnen ausgesetzt sind (z. B. Chatbots, Emotionserkennungssysteme, Systeme zur biometrischen Kategorisierung, Deepfakes).

·Alle anderen Systeme, die ein „minimales“ oder „niedriges“ Risiko für die Gesundheit, die Sicherheit und die Grundrechte bergen, sind ohne weitere Einschränkungen zulässig, die Anbieter können sich aber freiwilligen Verhaltenskodizes anschließen.

Der Vorschlag wird derzeit vom Rat und vom Europäischen Parlament im ordentlichen Gesetzgebungsverfahren erörtert.

Bei den Verhandlungen über das künftige Übereinkommen des Europarats über KI, Menschenrechte, Demokratie und Rechtsstaatlichkeit sollte sichergestellt werden, dass die Bestimmungen mit dem EU-Recht und den sich daraus ergebenden Verpflichtungen der Mitgliedstaaten vereinbar sind, wobei dessen künftige Entwicklung und das vorgeschlagene KI-Gesetz zu berücksichtigen sind. Außerdem ist dafür zu sorgen, dass das Übereinkommen des Europarats eine Trennungsklausel enthält, die es den EU-Mitgliedstaaten, die Vertragsparteien des Übereinkommens werden, ermöglicht, ihre Beziehungen untereinander auf der Grundlage des EU-Rechts zu regeln. Das vorgeschlagene KI-Gesetz, wie es sich im Gesetzgebungsverfahren und in den Verhandlungen der beiden Gesetzgeber und schließlich in seiner endgültigen (angenommenen) Form weiterentwickelt, sollte unter den EU-Mitgliedstaaten gewahrt bleiben. Die Europäische Union sollte dem Übereinkommen ebenfalls als Vertragspartei beitreten können.

•Kohärenz mit der Politik der Union in anderen Bereichen

Die Empfehlung ist von Belang für andere laufende oder geplante Initiativen der Kommission, mit denen die im Weißbuch zur KI aufgezeigten Probleme, die bei der Entwicklung und der Verwendung von KI auftreten, angegangen werden sollen. Zu diesen weiteren Initiativen gehören die Überarbeitung sektorspezifischer Produktvorschriften (z. B. der Maschinenrichtlinie und der Richtlinie über die allgemeine Produktsicherheit) sowie anstehende Initiativen, die sich mit Haftungsfragen im Zusammenhang mit neuer Technik, einschließlich KI-Systemen, befassen.

Die Empfehlung steht auch im Einklang mit der von der Kommission insgesamt verfolgten Digitalstrategie, mit der Technik gefördert wird, die den Menschen zugutekommt – eines der drei Hauptziele der politischen Zielvorstellungen, die in der Mitteilung zur „Gestaltung der digitalen Zukunft Europas“ dargelegt wurden. So soll erreicht werden, dass KI so entwickelt wird, dass die Rechte der Menschen geachtet werden und sie sich ihr Vertrauen verdient – um Europa für das digitale Zeitalter zu wappnen und die nächsten zehn Jahre zur digitalen Dekade zu machen.

Die vorgeschlagene Empfehlung soll zudem die Rolle der Union bei der Gestaltung weltweiter Normen und Standards sowie bei der Förderung einer vertrauenswürdigen KI, die mit den Werten und Interessen der Union im Einklang steht, erheblich stärken. Sie verschafft der Union eine solide Grundlage für die Stärkung der digitalen Diplomatie der EU und für die Aushandlung – mit anderen europäischen und außereuropäischen Ländern – des ersten rechtsverbindlichen internationalen Übereinkommens über KI auf der Grundlage gemeinsamer Werte und Grundsätze.

2.RECHTSGRUNDLAGE, SUBSIDIARITÄT UND VERHÄLTNISMÄẞIGKEIT

•Rechtsgrundlage

Nach Artikel 218 Absatz 3 des Vertrags über die Arbeitsweise der Europäischen Union (AEUV) unterbreitet die Kommission dem Rat Empfehlungen, der seinerseits einen Beschluss über die Ermächtigung zur Aufnahme von Verhandlungen erlässt und den Verhandlungsführer der Union benennt. Nach Artikel 218 Absatz 4 AEUV kann der Rat dem Verhandlungsführer Richtlinien erteilen.

•Subsidiarität (bei nicht ausschließlicher Zuständigkeit)