STELLUNGNAHME DER EUROPÄISCHEN ZENTRALBANK

vom 29. Dezember 2021

zu einem Vorschlag für eine Verordnung zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz

(CON/2021/40)

(2022/C 115/05)

Einleitung und Rechtsgrundlage

Am 3. November 2021 wurde die Europäische Zentralbank (EZB) vom Rat der Europäischen Union um Stellungnahme zu einem Vorschlag (1) für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union (im Folgenden „Verordnungsvorschlag“) ersucht.

Die Zuständigkeit der EZB zur Abgabe einer Stellungnahme beruht auf Artikel 127 Absatz 4 und Artikel 282 Absatz 5 des Vertrags über die Arbeitsweise der Europäischen Union (AEUV), da der Verordnungsvorschlag Bestimmungen enthält, die in den Zuständigkeitsbereich der EZB fallen, insbesondere in Bezug auf die Aufgaben der EZB im Zusammenhang mit der Aufsicht über die Kreditinstitute gemäß Artikel 127 Absatz 6 AEUV. Diese Stellungnahme wurde gemäß Artikel 17.5 Satz 1 der Geschäftsordnung der Europäischen Zentralbank vom EZB-Rat verabschiedet.

1. Allgemeine Anmerkungen

1.1. Die EZB begrüßt das Ziel des Verordnungsvorschlags, das Funktionieren des Binnenmarkts zu verbessern, indem ein einheitlicher Rechtsrahmen für die Entwicklung, Vermarktung und Verwendung künstlicher Intelligenz (KI) im Einklang mit den Werten der Union festgelegt wird. Die EZB erkennt an, wie wichtig es ist, harmonisierte Anforderungen an KI-Systeme festzulegen, um aus zwingenden Gründen des öffentlichen Interesses wie Gesundheit, Sicherheit und Grundrechte einen einheitlichen und hohen Schutz zu gewährleisten.

1.2. Die EZB erkennt ferner an, dass durch KI ermöglichte Innovationen im Bankensektor zunehmend an Bedeutung gewinnen. Unter Berücksichtigung des inhärenten grenzüberschreitenden Charakters und der damit einhergehenden Chancen für KI-Innovationen im Bankgeschäft unterstützt die EZB als Aufsichtsbehörde auf Unionsebene nachdrücklich die Notwendigkeit, die harmonisierte Umsetzung des Verordnungsvorschlags durch Kreditinstitute in Bezug auf Aufsichtsrisiken und -anforderungen sicherzustellen. Zugleich wird der Unionsgesetzgeber angesichts der zunehmenden Bedeutung der KI ersucht, in Zukunft die Möglichkeit der Einrichtung einer unabhängigen KI-Behörde auf Unionsebene zu prüfen, die für die harmonisierte Anwendung der vorgeschlagenen Verordnung im gesamten Binnenmarkt in Bezug auf die Gesundheit, Sicherheit und Grundrechte betreffende Angelegenheiten zuständig ist.

1.3. In Bezug auf Hochrisiko-KI-Systeme, die von Kreditinstituten bereitgestellt oder verwendet werden, geht die EZB davon aus, dass der Verordnungsvorschlag die Einbindung bestimmter Pflichten in die Verfahren nach der Richtlinie 2013/36/EU des Europäischen Parlaments und des Rates ( 2 ) (im Folgenden „CRD“) vorsieht. Der Verordnungsvorschlag zielt insbesondere darauf ab, die Kohärenz mit der CRD zu verbessern, indem einige der Pflichten der Anbieter und Nutzer in den Bereichen Risikomanagement und Unternehmensführung in das System der internen Unternehmensführung der Kreditinstitute ( 3 ) eingebunden werden. Aufgrund der Neuheit und Komplexität der KI und der hohen Standards des Verordnungsvorschlags sind weitere Vorgaben erforderlich, um die aufsichtlichen Erwartungen in Bezug auf Pflichten im Zusammenhang mit der internen Unternehmensführung zu klären.

1.4. Die EZB begrüßt die im Verordnungsvorschlag erkennbare Absicht, Überschneidungen mit dem bestehenden Rechtsrahmen zu vermeiden, indem einige seiner Bestimmungen in die einschlägigen Bestimmungen der CRD eingebunden werden ( 4 ) . In diesem Zusammenhang begrüßt die EZB, dass bei Anbietern von Hochrisiko-KI-Systemen, die Kreditinstitute sind, die Verpflichtung zur Einrichtung eines Qualitätsmanagementsystems und bei Nutzern von Hochrisiko-KI-Systemen, die Kreditinstitute sind, die Verpflichtung zur Überwachung des Systembetriebs als erfüllt gilt, wenn die Vorschriften über Regelungen, Verfahren und Mechanismen der internen Unternehmensführung gemäß den einschlägigen Bestimmungen der CRD eingehalten werden ( 5 )

1.5. Die EZB betont, dass der Verordnungsvorschlag die spezifischeren oder strengeren Pflichten der Kreditinstitute im Zusammenhang mit der Aufsicht, die in sektorspezifischen Regelungen festgelegt und durch Aufsichtsleitlinien ergänzt werden, unberührt lassen sollte. So erstrecken sich die Verpflichtungen im Bereich der internen Unternehmensführung von Kreditinstituten, die KI-Systeme im Rahmen der CRD ( 6 ) verwenden, auf die wirksame Kontrolle von Auslagerungsvereinbarungen, einschließlich der Ermittlung, Bewertung und Minderung aller damit einhergehenden Risiken, wie dies in den EBA-Leitlinien zu Auslagerungen näher erläutert wird ( 7 ) . Während der Verordnungsvorschlag verschiedene Pflichten für Anbieter und Nutzer von Hochrisiko-KI-Systemen vorsieht, wird in den EBA-Leitlinien zu Auslagerungen im Zusammenhang mit der Auslagerung zwischen Drittanbietern technologischer Lösungen und Kreditinstituten keine solche Unterscheidung getroffen. In dieser Hinsicht wird die Verpflichtung der Kreditinstitute zur Einhaltung der aufsichtsrechtlichen Anforderungen durch die Auslagerung nicht gelockert, und die Aufsichtsbehörde bleibt für die Überwachung der mit den ausgelagerten Funktionen einhergehenden aufsichtlichen Risiken zuständig. Vor diesem Hintergrund würde die EZB weitere Klarstellungen zu den geltenden Anforderungen und den zuständigen Behörden im Zusammenhang mit der Auslagerung durch Nutzer von Hochrisiko-KI-Systemen, die Kreditinstitute sind, begrüßen.

1.6. Die Rolle der EZB im Rahmen des Verordnungsvorschlags sollte präzisiert werden, insbesondere in Bezug auf 1) die Aufsichtsbefugnisse der EZB im Allgemeinen und in Bezug auf Marktüberwachung und Konformitätsbewertung sowie 2) die Anwendung des Verordnungsvorschlags auf die Wahrnehmung der Aufgaben der EZB gemäß AEUV.

1.7. Die EZB ist im Hinblick auf die Beaufsichtigung von Kreditinstituten weiterhin einem technologieneutralen Ansatz verpflichtet. Ihre Aufgabe besteht darin, die Sicherheit und Solidität der Kreditinstitute zu gewährleisten und unabhängig von der Anwendung einer bestimmten technischen Lösung hohe Aufsichtsstandards aufrechtzuerhalten. Die EZB strebt im Hinblick auf die Beaufsichtigung von Kreditinstituten die Aufrechterhaltung gleicher Wettbewerbsbedingungen an und folgt dabei dem Leitprinzip „gleiche Tätigkeit, gleiche Risiken, gleiche Aufsicht“ ( 8 )

2. Die Rolle der EZB im Rahmen des Verordnungsvorschlags

2.1. Präzisierung der Aufsichtsbefugnisse der EZB in Bezug auf die Marktüberwachung

2.1.1. Der Verordnungsvorschlag sieht vor, dass die Verordnung (EU) 2019/1020 des Europäischen Parlaments und des Rates ( 9 ) für KI-Systeme gilt, die unter den Verordnungsvorschlag fallen, ( 10 ) und dass jede Bezugnahme auf ein Produkt nach der Verordnung (EU) 2019/1020 auch als Bezugnahme auf alle KI-Systeme gilt, die unter den Verordnungsvorschlag fallen ( 11 ) . Diesbezüglich stellt die EZB fest, dass das Ziel der Verordnung (EU) 2019/2020 darin besteht, das Funktionieren des Binnenmarkts durch die Stärkung der Marktüberwachung von Produkten, die unter die Harmonisierungsrechtsvorschriften der Union fallen, zu verbessern, um sicherzustellen, dass nur konforme Produkte auf dem Unionsmarkt in Verkehr gebracht werden, welche die Anforderungen an ein hohes Schutzniveau bei öffentlichen Interessen wie Gesundheit und Sicherheit im Allgemeinen, Gesundheit und Sicherheit am Arbeitsplatz, Verbraucher- und Umweltschutz sowie der öffentlichen Sicherheit und anderer durch diese Rechtsvorschriften geschützter öffentlicher Interessen erfüllen ( 12 )

2.1.2. Im Verordnungsvorschlag wird die Marktüberwachungsbehörde als die nationale Behörde definiert, welche die Tätigkeiten durchführt und die Maßnahmen ergreift, die in der Verordnung (EU) 2019/1020 vorgesehen sind ( 13 ) . Dagegen wird in der Verordnung (EU) 2019/1020 die Marktüberwachungsbehörde als eine von einem Mitgliedstaat gemäß der Verordnung (EU) 2019/1020 zur Durchführung der Marktüberwachung in dessen Hoheitsgebiet zuständig benannte Behörde definiert ( 14 ) . Darüber hinaus wird in Erwägungsgrund 9 der Verordnung (EU) 2019/1020 präzisiert, dass die Verantwortung für die Durchsetzung der Harmonisierungsrechtsvorschriften der Union bei den Mitgliedstaaten liegen sollte und dass ihre Marktüberwachungsbehörden die Aufgabe haben sollten, sicherzustellen, dass die Rechtsvorschriften vollständig eingehalten werden ( 15 ) . Auf dieser Grundlage geht die EZB davon aus, dass die EZB nach dem Verordnungsvorschlag unter keinen Umständen eine Marktüberwachungsbehörde ist.

2.1.3. Der Verordnungsvorschlag sieht jedoch auch vor, dass bei KI-Systemen, die von auf der Grundlage des Finanzdienstleistungsrechts der Union regulierten Finanzinstituten in Verkehr gebracht, in Betrieb genommen oder eingesetzt werden, die in jenen Rechtsvorschriften für die Finanzaufsicht über diese Institute benannte Behörde als Marktüberwachungsbehörde für die Zwecke des Verordnungsvorschlags gilt ( 16 ) . Darüber hinaus wird in Erwägungsgrund 80 des Verordnungsvorschlags klargestellt, dass die Rechtsvorschriften der Union über Finanzdienstleistungen Vorschriften und Anforderungen für die interne Unternehmensführung und das Risikomanagement enthalten, die für regulierte Finanzinstitute bei der Erbringung solcher Dienstleistungen gelten, auch wenn sie KI-Systeme verwenden. Zudem wird ausgeführt, dass die für die Beaufsichtigung und Durchsetzung der Rechtsvorschriften im Bereich der Finanzdienstleistungen zuständigen Behörden, gegebenenfalls einschließlich der EZB, auch als zuständige Behörden für die Überwachung der Umsetzung des Verordnungsvorschlags, einschließlich der Marktüberwachungstätigkeiten, in Bezug auf von regulierten und beaufsichtigten Finanzinstituten bereitgestellte oder verwendete KI-Systeme benannt werden sollten, damit eine kohärente Anwendung und Durchsetzung der Verpflichtungen aus dem Verordnungsvorschlag sowie der einschlägigen Vorschriften und Anforderungen der Rechtsvorschriften der Union für Finanzdienstleistungen gewährleistet werden kann. In diesem Zusammenhang wird ferner auf die Notwendigkeit hingewiesen, die Kohärenz zwischen dem Verordnungsvorschlag und den Vorschriften für Kreditinstitute, die unter die CRD fallen, weiter zu verbessern.

2.1.4. Nach Artikel 127 Absatz 6 AEUV kann der Rat einstimmig der EZB besondere Aufgaben im Zusammenhang mit der Aufsicht über Kreditinstitute und sonstige Finanzinstitute mit Ausnahme von Versicherungsunternehmen übertragen. Auf dieser Grundlage werden der EZB durch die Verordnung (EU) Nr. 1024/2013 des Rates ( 17 ) (im Folgenden „SSM-Verordnung“) besondere Aufgaben im Zusammenhang mit der Aufsicht über Kreditinstitute übertragen, – mit voller Rücksichtnahme auf und unter Wahrung der Sorgfaltspflicht in Bezug auf die Einheit und Integrität des Binnenmarkts auf der Grundlage der Gleichbehandlung von Kreditinstituten mit dem Ziel, Aufsichtsarbitrage zu verhindern, – um einen Beitrag zur Sicherheit und Solidität von Kreditinstituten sowie zur Stabilität des Finanzsystems in der Union und jedem einzelnen Mitgliedstaat zu leisten ( 18 ) . In diesem Zusammenhang ist die EZB in Bezug auf die Beaufsichtigung ausschließlich für die Gewährleistung der Einhaltung aller einschlägigen Rechtsakte der Union zuständig, die Anforderungen an Kreditinstitute unter anderem hinsichtlich solider Risikomanagementverfahren und interner Kontrollmechanismen festlegen ( 19 ) . Die Aufsichtsfunktion der EZB beschränkt sich in diesem Zusammenhang darauf, sicherzustellen, dass Kreditinstitute Konzepte und Verfahren zur Bewertung und Steuerung ihrer aufsichtlichen Risiken umsetzen, einschließlich der Risiken in Verbindung mit verschiedenen Aspekten der Geschäftsmodelle der Banken und der Unternehmensführung sowie des operationellen Risikos und der Risiken, die sich aus dem Einsatz technologischer Lösungen ergeben, um die Sicherheit und Solidität der Kreditinstitute und die Stabilität des Finanzsystems zu gewährleisten ( 20 )

2.1.5. Gegenstand der Marktüberwachung ist nicht die Gewährleistung der Sicherheit und Solidität von Kreditinstituten; sie zielt vielmehr darauf ab, die Interessen von Einzelpersonen zu schützen, die potenziell von für missbräuchliche Zwecke verwendeten KI-Systemen betroffen sein könnten, indem sichergestellt wird, dass diese Systeme die Anforderungen erfüllen, die erforderlich sind, um einen hohen Schutz öffentlicher Interessen wie Gesundheit und Sicherheit von Personen zu gewährleisten. Folglich geht die EZB davon aus, dass der Unionsgesetzgeber nicht beabsichtigt, dass die EZB als Marktüberwachungsbehörde in Bezug auf Kreditinstitute tätig wird, die gemäß dem Verordnungsvorschlag ihrer Aufsicht unterstehen. Diese Schlussfolgerung steht im Einklang mit den Erwägungsgründen der SSM-Verordnung, in denen klargestellt wird, dass die nationalen Behörden dafür zuständig sind, ein hohes Verbraucherschutzniveau sicherzustellen ( 21 )

2.1.6. Vor diesem Hintergrund schlägt die EZB vor, im Sinne der Kohärenz mit den Aufsichtsbefugnissen der EZB nach Artikel 127 Absatz 6 AEUV und der SSM-Verordnung im Wortlaut des Verordnungsvorschlags eindeutig klarzustellen, dass die EZB weder als Marktüberwachungsbehörde benannt noch mit Marktüberwachungsaufgaben betraut ist.

2.1.7. Während der EZB keine Aufgaben im Bereich der Marktüberwachung übertragen wurden, könnten einige Mitgliedstaaten die Benennung von an der Beaufsichtigung von Kreditinstituten beteiligten nationalen zuständigen Behörden als für die Marktüberwachung im Rahmen des Verordnungsvorschlags zuständige Behörden in Erwägung ziehen, sofern dies nach deren Mandat zulässig ist und zumindest soweit Marktüberwachungsaufgaben Situationen betreffen, in denen ein KI-System für den Eigengebrauch in Betrieb genommen wird. Die Benennung der derzeit an der Beaufsichtigung von Kreditinstituten beteiligten zuständigen nationalen Behörden als für diese Marktüberwachung zuständige Behörden könnte dahingehend begriffen werden, dass die Kohärenz und Kosteneffizienz der Aufsichtsergebnisse gewahrt und gleichzeitig das Fachwissen genutzt wird, auf das diese Behörden durch die Wahrnehmung ihrer Ermittlungs- und Aufsichtsbefugnisse in Bezug auf Kreditinstitute zurückgreifen können.

2.1.8. Schließlich stellt die EZB fest, dass durch die Marktüberwachungsbestimmungen des Verordnungsvorschlags nicht angemessen auf Situationen eingegangen wird, in denen ein KI-System für den Eigengebrauch in Betrieb genommen wird. Beispielsweise reicht die im Verordnungsvorschlag vorgesehene Befugnis der Marktüberwachungsbehörden, ein KI-System zurückzurufen oder zurückzunehmen, möglicherweise nicht aus, um den Betrieb dieses Systems in Fällen des Eigengebrauchs einzustellen ( 22 ) . Der Unionsgesetzgeber wird daher ersucht zu klären, welche einschränkenden Maßnahmen und diesbezüglichen Befugnisse der zuständigen Behörden in Fällen des Eigengebrauchs gelten sollten.

2.2. Präzisierung der Aufsichtsbefugnisse der EZB im Bereich der Konformitätsbewertung

2.2.2. Wie bereits erwähnt, hat der Rat der EZB nach Artikel 127 Absatz 6 AEUV besondere Aufgaben im Zusammenhang mit der Aufsicht über Kreditinstitute übertragen, unter anderem um einen Beitrag zur Sicherheit und Solidität von Kreditinstituten sowie zur Stabilität des Finanzsystems in der Union und jedem einzelnen Mitgliedstaat zu leisten ( 28 ) . Um den ihr durch den AEUV übertragenen Aufgabenbereich nicht zu überschreiten betont die EZB, dass sie in der Lage sein könnte, die Umsetzung der einschlägigen Anforderungen im Rahmen des SREP zu überwachen und sich zugleich auf die aufsichtlichen Risiken zu konzentrieren, denen Kreditinstitute unter Umständen ausgesetzt sind. In dieser Hinsicht wird der Unionsgesetzgeber ersucht zu prüfen, inwieweit mehrere Elemente der Konformitätsbewertung möglicherweise nicht aufsichtsrechtlicher Natur sind, da sie im Wesentlichen die technische Bewertung von KI-Systemen betreffen und darauf abzielen, die Gesundheit und Sicherheit von Personen zu schützen und die Achtung der Grundrechte sicherzustellen, indem das Risiko falscher oder verzerrter KI-gestützter Prozesse minimiert wird. Insbesondere müssen Hochrisiko-AI-Systeme gemäß den einschlägigen Bestimmungen des Verordnungsvorschlags wie folgt konzipiert oder konzipiert und entwickelt werden: 1) mit Trainings-, Validierungs- und Testdatensätzen, die bestimmten Qualitätskriterien entsprechen, wenn sie Techniken einsetzen, bei denen Modelle mit Daten trainiert werden; 2) mit Funktionsmerkmalen, die eine automatische Aufzeichnung von Vorgängen und Ereignissen („Protokollierung“) ermöglichen, um zu gewährleisten, dass das Funktionieren des Systems während seines gesamten Lebenszyklus in einem seiner Zweckbestimmung angemessenen Maße rückverfolgbar ist; 3) dergestalt, dass gewährleistet ist, dass sie von natürlichen Personen – auch mit Werkzeugen einer Mensch-Maschine-Schnittstelle – wirksam beaufsichtigt werden, um Risiken für die Gesundheit, die Sicherheit oder die Grundrechte zu verhindern oder zu minimieren, die im Zuge der Verwendung eines Hochrisiko-KI-Systems entstehen können; und 4) dergestalt, dass ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreicht wird ( 29 ) . Wie in den Erwägungsgründen des Verordnungsvorschlags klargestellt, sind diese Anforderungen an die Qualität der verwendeten Datensätze, die technische Dokumentation und die Aufzeichnungspflichten, die Transparenz und die Bereitstellung von Informationen für die Nutzer, die menschliche Aufsicht sowie die Robustheit, Genauigkeit und Cybersicherheit erforderlich, um die Risiken für die Gesundheit, die Sicherheit und die Grundrechte wirksam zu mindern ( 30 )

2.2.3. Vor diesem Hintergrund wird der Unionsgesetzgeber ersucht, weitere Überlegungen darüber anzustellen, ob die jeweils zuständigen Behörden benannt werden müssen, welche die Verantwortung für die Überwachung der von Kreditinstituten durchgeführten Konformitätsbewertung tragen, wenn es um Fragen im Zusammenhang mit Gesundheit, Sicherheit und Grundrechten geht, und zu prüfen, ob die harmonisierte Anwendung des Verordnungsvorschlags im gesamten Binnenmarkt sichergestellt werden muss, indem künftig eine KI-Behörde auf Unionsebene eingerichtet wird.

2.2.4. Darüber hinaus sind bestimmte Anforderungen an Hochrisiko-KI-Systeme nicht vollkommen klar oder hinreichend spezifisch, um als Grundlage für die aufsichtlichen Erwartungen ein ausreichendes Verständnis zu vermitteln. So bedarf beispielsweise die Anforderung, dass die Trainings-, Validierungs- und Testdatensätze relevant, repräsentativ, fehlerfrei und vollständig sein müssen, möglicherweise einer weiteren Präzisierung ( 31 ) . Angesichts des weit gefassten Mandats der europäischen Normungsorganisationen ( 32 ) und des damit einhergehenden potenziellen Risikos einer Schwächung der im Verordnungsvorschlag festgelegten Normen sollten die im Verordnungsvorschlag festgelegten Anforderungen an Hochrisiko-KI-Systeme hinreichend spezifisch sein.

2.2.5. Die EZB geht davon aus, dass die Konformitätsbewertung von KI-Systemen, die von Kreditinstituten für die Kreditwürdigkeitsprüfung oder Kreditpunktebewertung natürlicher Personen verwendet werden, Teil einer internen Ex-ante-Kontrolle durch das Kreditinstitut ist ( 33 ) . In diesem Zusammenhang sollte der Verordnungsvorschlag ( 34 ) geändert werden, um dem Ex-post-Charakter der von der Aufsichtsbehörde im Rahmen des SREP durchzuführenden spezifischen Bewertung Rechnung zu tragen.

2.3. Präzisierung der Aufsichtsbefugnisse der EZB im Allgemeinen

Die EZB kann insoweit als zuständige Behörde angesehen werden, als dies für die Wahrnehmung der ihr durch die SSM-Verordnung übertragenen Aufgaben erforderlich ist. Um Rechtsunsicherheit hinsichtlich der Frage zu vermeiden, ob der EZB durch den Verordnungsvorschlag neue Aufgaben übertragen werden, schlägt die EZB vor, dass im Verordnungsvorschlag nicht unmittelbar auf die EZB als zuständige Behörde Bezug genommen werden sollte, sondern auf die zuständigen Behörden im Sinne der einschlägigen Rechtsakte der Union, wie z. B. der CRD. Aus der SSM-Verordnung würde sich dann ergeben, dass die EZB nur für die Zwecke der Wahrnehmung ihrer Aufsichtsaufgaben als zuständige Behörde anzusehen ist (35).

2.4. Präzisierung der Unabhängigkeit der EZB bei der Wahrnehmung ihrer Aufgaben gemäß AEUV

Die EZB geht davon aus, dass sie selbst als Anbieter, der KI-Systeme in der Union in Verkehr bringt oder in Betrieb nimmt, oder als Nutzer von KI-Systemen, die sich in der Union befinden, den Bestimmungen des Verordnungsvorschlags unterliegen kann (36). Gleiches gilt für die nationalen Zentralbanken (NZBen). Der Verordnungsvorschlag sieht vor, dass soweit Organe der Union in den Anwendungsbereich der Verordnung fallen, der Europäische Datenschutzbeauftragte (EDSB) die Funktion der für ihre Beaufsichtigung zuständigen Behörde und der für sie zuständigen Marktüberwachungsbehörde übernimmt (37). Die NZBen könnten von den zuständigen nationalen Behörden beaufsichtigt werden (38). In diesem Zusammenhang ist hervorzuheben, dass die EZB und die NZBen in der Lage sein sollten, die ihnen durch den AEUV übertragenen Aufgaben (39) unabhängig wahrzunehmen, z. B. bei der Nutzung von KI-Anwendungen zur Festlegung und Ausführung der Geldpolitik und zur Förderung des reibungslosen Funktionierens der Zahlungssysteme (40). Es ist jedoch einzuräumen, dass die Unabhängigkeit des Europäischen Systems der Zentralbanken bei der Erfüllung seiner Aufgaben nicht zur Folge hat, dass es von jeder Bestimmung des Unionsrechts ausgenommen wäre (41). Die EZB geht davon aus, dass eine etwaige Aufsicht über die EZB durch den EDSB und über die NZBen durch die nationalen zuständigen Behörden auf die ordnungsgemäße Kontrolle und Leitung eines KI-Systems beschränkt wäre und in keiner Weise die Fähigkeit der EZB und der NZBen beeinträchtigen würde, die ihnen durch den AEUV übertragenen Aufgaben unabhängig wahrzunehmen.

3. Einstufung von KI-Systemen

3.1. Mit dem Verordnungsvorschlag soll ein im Hinblick auf ihre Ziele die Verhältnismäßigkeit wahrender Rechtsrahmen sichergestellt werden, indem ein risikobasierter Ansatz verfolgt wird, bei dem regulatorische Belastungen nur dann entstehen, wenn davon auszugehen ist, dass ein KI-System hohe Risiken für die Grundrechte und die Sicherheit birgt. Dennoch wird im Verordnungsvorschlag mit Blick auf künftige Entwicklungen in der KI-Technologie definiert, welche Software im weitesten Sinne als KI-System gilt. Demnach stellt eine Software, die entwickelt worden ist, um unter Verwendung von statistischen Ansätzen und Konzepten des maschinellen Lernens sowie von Such- und Optimierungsmethoden Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorzubringen, ein KI-System dar ( 42 ) . Diese weit gefasste Definition würde eine Vielzahl von Tätigkeiten von Kreditinstituten abdecken, insbesondere im Zusammenhang mit Systemen, die für die Kreditpunktebewertung natürlicher Personen verwendet werden sollen.

3.2. Gemäß dem Verordnungsvorschlag ( 43 ) würde die überwiegende Mehrheit der Tätigkeiten im Zusammenhang mit der Kreditpunktebewertung, bei denen KI-Systeme zum Einsatz kommen, automatisch den horizontalen Mindestanforderungen an Hochrisiko-KI-Systeme unterliegen. Folglich müssten mehrere Tätigkeiten, darunter Maßnahmen zur gezielten Ansprache von Kunden zwecks Produktmarketing, die Modellierung von Inkassoprozessen und Standardmodelle für die Kreditpunktebewertung (z. B. eine Scorecard mit logistischer Regression), dieselben Anforderungen erfüllen. Um die aufsichtlichen Erwartungen klarer zu fassen – und im Einklang mit dem technologieneutralen Ansatz der EZB –sollten KI-Systeme, die für die Kreditwürdigkeitsprüfung oder Kreditpunktebewertung natürlicher Personen verwendet werden sollen und die auf die eigenständige Nutzung linearer oder logistischer Regressions- oder Entscheidungsbäume unter menschlicher Aufsicht zurückgreifen, nicht als Hochrisiko-KI-Systeme eingestuft werden, sofern sie nur geringfügige Auswirkungen auf die Kreditwürdigkeitsprüfung oder Kreditpunktebewertung natürlicher Personen haben.

3.3. Da Kreditinstitute in der täglichen Praxis regelmäßig Kreditpunktebewertungen durchführen, schlägt die EZB vor, dass das Inkrafttreten von Anforderungen, nach denen KI-Systeme, die für die Kreditwürdigkeitsprüfung oder Kreditpunktebewertung natürlicher Personen verwendet werden sollen, als „Hochrisiko-KI-Systeme“ einzustufen sind, verschoben werden sollte, bis die Kommission gemeinsame Spezifikationen ( 44 ) zu diesem Thema angenommen hat. Insbesondere sollten in diesen gemeinsamen Spezifikationen sowohl die Bedingungen festgelegt werden, unter denen davon ausgegangen wird, dass Hochrisiko-KI-Systeme in diesem Bereich die geltenden Anforderungen erfüllen, als auch bestimmt werden, wann KI-Systeme als „von Kleinanbietern für den Eigengebrauch in Betrieb genommen“ gelten sollten und daher in den Anwendungsbereich der Ausnahme von der Einstufung als Hochrisiko-KI-System fallen ( 45 ) . Vor diesem Hintergrund sollte die EZB in die Liste der Stellen aufgenommen werden, die vor der Annahme solcher gemeinsamer Spezifikationen konsultiert werden, sofern diese Spezifikationen KI-Systeme betreffen, die für die Kreditwürdigkeitsprüfung oder Kreditpunktebewertung natürlicher Personen verwendet werden sollen ( 46 )

3.4. Die EZB begrüßt die Möglichkeit, die Liste der Hochrisiko-KI-Systeme in Anhang III des Verordnungsvorschlags ( 47 ) zu aktualisieren, und ist bereit, mit der Kommission zusammenzuarbeiten und von ihr konsultiert zu werden, wenn es um die Ermittlung weiterer potenzieller Risiken von KI-Systemen geht, die eine Gefahr der Schädigung der Gesundheit oder der Beeinträchtigung der Sicherheit oder nachteiliger Auswirkungen auf die Grundrechte bergen könnten. Abgesehen von KI-Systemen, die für die Kreditpunktebewertung oder Kreditwürdigkeitsprüfung natürlicher Personen verwendet werden, werden im Verordnungsvorschlag keine weiteren Systeme, die speziell von Kreditinstituten in Betrieb genommen werden könnten, als Hochrisiko-Systeme bezeichnet. Jedoch arbeiten Kreditinstitute an der Entwicklung von KI-Datenmodellen zur Verknüpfung von Verkaufs-, Transaktions- und Leistungsdaten oder erwägen deren Entwicklung und Verwendung, um einen klaren Überblick über das Verhaltensrisiko in einem bestimmten Bereich zu erhalten. Ebenso könnten KI-Systeme bei der Echtzeitüberwachung von Zahlungen oder bei der Erstellung von Kunden- oder Transaktionsprofilen zum Zwecke der Bekämpfung von Geldwäsche und Terrorismusfinanzierung eingesetzt werden. Sofern die EZB Änderungen des Verordnungsvorschlags empfiehlt, ist ein spezieller Redaktionsvorschlag mit Begründung in einem gesonderten technischen Arbeitsdokument aufgeführt. Das technische Arbeitsdokument steht in englischer Sprache auf EUR-Lex zur Verfügung.

Geschehen zu Frankfurt am Main am 29. Dezember 2021. Die Präsidentin der EZB Christine LAGARDE

(1) COM(2021) 206 final.

(2) Richtlinie 2013/36/EU des Europäischen Parlaments und des Rates vom 26. Juni 2013 über den Zugang zur Tätigkeit von Kreditinstituten und die Beaufsichtigung von Kreditinstituten und Wertpapierfirmen, zur Änderung der Richtlinie 2002/87/EG und zur Aufhebung der Richtlinien 2006/48/EG und 2006/49/EG (ABl. L 176 vom 27.6.2013, S. 338).

(3) Siehe Artikel 9 Absatz 9, Artikel 18 Absatz 2, Artikel 20 Absatz 2 und Artikel 29 Absatz 5 des Verordnungsvorschlags sowie Artikel 74 CRD.

(4) Siehe Artikel 74 CRD.

(5) Siehe Artikel 17 Absatz 3 und Artikel 29 Absatz 4 des Verordnungsvorschlags.

(6) Siehe Artikel 74 CRD.

(7) Siehe EBA-Leitlinien zu Auslagerungen (https://www.eba.europa.eu/regulation-and-policy/internal-governance/guidelines-on-outsourcing-arrangements).

(8) Siehe Andrea Enria, Vorsitzender des Aufsichtsgremiums der EZB, „A binary future? How digitalisation might change banking“, De Nederlandsche Bank, Amsterdam, 11. März 2019, abrufbar auf der Website der EZB zur Bankenaufsicht unter www.bankingsupervision.europa.eu.

(9) Verordnung (EU) 2019/1020 des Europäischen Parlaments und des Rates vom 20. Juni 2019 über Marktüberwachung und die Konformität von Produkten sowie zur Änderung der Richtlinie 2004/42/EG und der Verordnungen (EG) Nr. 765/2008 und (EU) Nr. 305/2011 (ABl. L 169 vom 25.6.2019, S. 1).

(10) Siehe Artikel 63 Absatz 1 des Verordnungsvorschlags.

(11) Siehe Artikel 63 Absatz 1 Buchstabe b des Verordnungsvorschlags.

(12) Siehe Artikel 1 Absatz 1 der Verordnung (EU) 2019/1020.

(13) Siehe Artikel 3 Nummer 26 des Verordnungsvorschlags.

(14) Siehe Artikel 3 Nummer 4 der Verordnung (EU) 2019/1020.

(15) Siehe Erwägungsgrund 9 der Verordnung (EU) 2019/1020.

(16) Siehe Artikel 63 Absatz 4 des Verordnungsvorschlags.

(17) Verordnung (EU) Nr. 1024/2013 des Rates vom 15. Oktober 2013 zur Übertragung besonderer Aufgaben im Zusammenhang mit der Aufsicht über Kreditinstitute auf die Europäische Zentralbank (ABl. L 287 vom 29.10.2013, S. 63).

(18) Siehe Artikel 1 Absatz 1 der SSM-Verordnung.

(19) Siehe Artikel 4 Absatz 1 Buchstabe e der SSM-Verordnung.

(20) Siehe Erwägungsgrund 30 der SSM-Verordnung sowie die Seiten 53 und 54 der „ESCB/European banking supervision response to the European Commission’s public consultation on a new digital finance strategy for Europe/FinTech action plan“, August 2020, abrufbar auf der Website der EZB zur Bankenaufsicht.

(21) Siehe Erwägungsgründe 28 und 29 der SSM-Verordnung.

(22) Siehe Artikel 3 Nummern 16 und 17, Artikel 65 Absatz 2 Unterabsatz 2, Artikel 65 Absatz 5 und Artikel 67 Absatz 1 des Verordnungsvorschlags.

(23) Siehe Artikel 19 Absatz 2 und Artikel 43 Absatz 2 des Verordnungsvorschlags.

(24) Siehe Anhang III Nummer 5 Buchstabe b des Verordnungsvorschlags.

(25) Die Artikel 97 bis 101 CRD haben den SREP zum Gegenstand.

(26) Siehe Artikel 3 Nummer 20 des Verordnungsvorschlags.

(27) Siehe Titel III Kapitel 2 Artikel 8 bis 15 des Verordnungsvorschlags.

(28) Siehe Artikel 1 Absatz 1 der SSM-Verordnung.

(29) Siehe Artikel 10, 12, 14 und 15 des Verordnungsvorschlags.

(30) Siehe Erwägungsgrund 43 des Verordnungsvorschlags.

(31) Siehe Artikel 10 Absatz 3 des Verordnungsvorschlags.

(32) Siehe Artikel 40 und Erwägungsgrund 61 des Verordnungsvorschlags.

(33) Siehe Artikel 43 Absatz 2 Satz 1 und Anhang VI des Verordnungsvorschlags.

(34) Siehe Artikel 19 Absatz 2 und insbesondere Artikel 43 Absatz 2 Satz 2 des Verordnungsvorschlags.

(35) Siehe Artikel 6 der SSM-Verordnung.

(36) Siehe Artikel 2 des Verordnungsvorschlags.

(37) Siehe Artikel 59 Absatz 8 und Artikel 63 Absatz 6 des Verordnungsvorschlags.

(38) Siehe Artikel 59 Absatz 2 des Verordnungsvorschlags.

(39) Siehe Artikel 130 AEUV.

(40) Siehe Artikel 127 Absatz 2 erster und vierter Gedankenstrich AEUV.

(41) Siehe EuGH, Urteil vom 10. Juli 2003, Kommission/Europäische Zentralbank, C-11/00, ECLI:EU:C:2003:3, Randnummern 130-135.

(42) Siehe Artikel 3 Nummer 1 und Anhang I des Verordnungsvorschlags.

(43) Siehe Anhang III Nummer 5 Buchstabe b des Verordnungsvorschlags.

(44) Siehe Artikel 41 Absatz 1 des Verordnungsvorschlags.

(45) Gemäß Anhang III Nummer 5 Buchstabe b des Verordnungsvorschlags.

(46) Siehe Artikel 41 Absatz 2 des Verordnungsvorschlags.

(47) Siehe Artikel 7 Absatz 1 des Verordnungsvorschlags.