# Safe and Secure Innovation for Frontier Artificial Intelligence Models Act

Der Safe and Secure Innovation for Frontier Artificial Intelligence Models Act (deutsch Gesetz zur sicheren und geschützten Innovation für fortschrittliche Modelle künstlicher Intelligenz, Kürzel SB 1047) ist ein kalifornisches Gesetz aus dem Jahr 2024, das darauf abzielt, „das Risiko katastrophaler Schäden durch KI-Modelle zu mindern, die so fortgeschritten sind, dass sie noch nicht bekannt sind“. Konkret würde das Gesetz auf Modelle angewendet werden, deren Trainingskosten über 100 Millionen US-Dollar liegen und die mit einer Rechenleistung von mehr als 10$^{26}$ Ganzzahl- oder Fließkommaoperationen trainiert wurden. SB 1047 würde für alle KI-Unternehmen gelten, die in Kalifornien Geschäfte tätigen – der Standort des Unternehmens spielt keine Rolle. Das Gesetz schafft Schutzmaßnahmen für Whistleblower und verpflichtet Entwickler, Risikobewertungen ihrer Modelle vor der Veröffentlichung durchzuführen, unter der Aufsicht der Kalifornischen Government Operations Agency. Zudem würde CalCompute eingerichtet, ein öffentliches Cloud-Computing-Cluster der University of California für Startups, Forscher und Gemeinschaftsgruppen.

## Hintergrund

Der rasante Anstieg der Fähigkeiten von KI-Systemen in den 2020er Jahren, einschließlich der Veröffentlichung von ChatGPT im November 2022, veranlasste einige Forscher und Mitglieder der Öffentlichkeit, Bedenken hinsichtlich existentieller Risiken im Zusammenhang mit immer mächtigeren KI-Systemen zu äußern. Die Plausibilität dieser Bedrohung wird weithin diskutiert. Eine Regulierung von KI wird auch manchmal befürwortet, um Vorurteile und Datenschutzverletzungen zu verhindern. Allerdings wird sie kritisiert, da sie möglicherweise zu einer Regulatory capture durch große KI-Unternehmen wie OpenAI führen könnte, bei der die Regulierung die Interessen größerer Unternehmen auf Kosten kleinerer Wettbewerber und der Öffentlichkeit fördert.
Im Mai 2023 unterzeichneten Hunderte von Technologievorständen und KI-Forschern eine Stellungnahme zu existenziellem Risiko durch KI zu, die lautete: „Die Minderung des Risikos des Aussterbens durch KI sollte eine globale Priorität neben anderen gesellschaftlichen Risiken wie Pandemien und Atomkrieg sein.“ Sie erhielt Unterschriften von den beiden meistzitierten KI-Forschern, Geoffrey Hinton und Yoshua Bengio, zusammen mit Branchenfiguren wie Sam Altman, CEO von OpenAI, Demis Hassabis, CEO von Google DeepMind, und Dario Amodei, CEO von Anthropic. Viele andere Experten hielten existenzielle Bedenken für übertrieben und unrealistisch sowie für eine Ablenkung von den unmittelbaren Schäden der KI, wie zum Beispiel diskriminierendes automatisiertes Entscheidungsfindung. Berühmt verlangte Sam Altman in derselben Monat stark eine KI-Regulierung vom Kongress bei einer Anhörung. Mehrere Technologieunternehmen haben freiwillige Zusagen gemacht, Sicherheitsprüfungen durchzuführen, zum Beispiel beim AI Safety Summit und AI Seoul Summit.
Gouverneur Newsom von Kalifornien und Präsident Biden gaben 2023 Exekutivbefehle zur künstlichen Intelligenz heraus. Staats-Senator Wiener sagte, SB 1047 stütze sich stark auf Bidens Exekutivbefehl 14110 und sei motiviert durch das Fehlen einer einheitlichen bundesweiten Gesetzgebung zur KI-Sicherheit. Kalifornien hat zuvor bereits in Ermangelung von Maßnahmen durch den Kongress zu Technologiefragen legisliert, einschließlich Verbraucherdatenschutz und Netzneutralität.

## Geschichte

Das Gesetz wurde ursprünglich von Dan Hendrycks, Mitbegründer des Center for AI Safety, entworfen, der zuvor argumentiert hatte, dass evolutionäre Drücke auf KI zu „einem Weg führen könnten, auf dem sie als dominante Spezies der Erde verdrängt werden“. Das Zentrum gab im Mai 2023 eine Erklärung heraus, die von Elon Musk und Hunderten anderer Geschäftsleiter unterzeichnet wurde, in der stand: „Die Minderung des Risikos des Aussterbens durch KI sollte eine globale Priorität neben anderen gesellschaftlichen Risiken wie Pandemien und Atomkrieg sein.“
Staats-Senator Wiener schlug erstmals KI-Gesetzgebung für Kalifornien durch ein Absichtsgesetz namens SB 294, das Sicherheitsgesetz in künstlicher Intelligenz, im September 2023 vor. SB 1047 wurde von Wiener am 7. Februar 2024 eingebracht.
Am 21. Mai bestand SB 1047 den Senat mit 32-1 Stimmen. Das Gesetz wurde am 15. August 2024 von Wiener erheblich geändert, als Reaktion auf Branchenratschläge. Änderungen umfassten Klarstellungen und den Wegfall der Einrichtung einer „Frontier Model Division“ sowie der Strafe des Meineides.
Am 28. August bestand das Gesetz den Abgeordnetenhaus mit 48-16. Aufgrund der Änderungen wurde das Gesetz anschließend erneut vom Senat abgestimmt, der es mit 30-9 verabschiedete.
Am 29. September legte Gouverneur Gavin Newsom ein Veto gegen das Gesetz ein. Es wird als unwahrscheinlich angesehen, dass die Legislative das Veto des Gouverneurs mit einer Zweidrittelmehrheit in beiden Kammern überstimmen wird.

## Bestimmungen

Vor dem Training von Modellen sind Entwickler von abgedeckten Modellen und deren Ableitungen verpflichtet, eine Zertifizierung zur Minderung des „angemessenen“ Risikos von „kritischen Schäden“ des abgedeckten Modells und seiner Ableitungen, einschließlich nachträglicher Modifikationen, vorzulegen, die überprüft werden kann. Schutzmaßnahmen zur Risikominderung umfassen die Fähigkeit, das Modell abzuschalten, das unterschiedlich als ein „Kill Switch“ beschrieben wurde, und „Circuit Breaker“. Whistleblowing-Bestimmungen schützen Mitarbeiter, die Sicherheitsprobleme und Vorfälle melden.
SB 1047 würde zudem ein öffentliches Cloud-Computing-Cluster namens CalCompute einrichten, das mit der University of California verbunden ist, um Startups, Forschern und Gemeinschaftsgruppen zu unterstützen, die über keine großen Rechenressourcen verfügen.

### Abgedeckte Modelle

SB 1047 deckt KI-Modelle mit über 10$^{26}$ Ganzzahl- oder Fließkommaoperationen im Training sowie Kosten von über 100 Millionen US-Dollar ab. Wenn ein abgedecktes Modell mit mehr als 10 Millionen US-Dollar feinabgestimmt wird, ist das resultierende Modell ebenfalls abgedeckt.

### Kritische Schäden

Kritische Schäden sind in Bezug auf vier Kategorien definiert:
* Erstellung oder Einsatz von chemischen, biologischen, radiologischen oder nuklearen Waffen
* Cyberangriffe auf kritische Infrastrukturen, die zu Massenopfern oder mindestens 500 Millionen US-Dollar Schaden führen
* Autonome Verbrechen, die zu Massenopfern oder mindestens 500 Millionen US-Dollar Schaden führen
* Andere Schäden vergleichbarer Schwere

### Compliance und Aufsicht

SB 1047 würde Entwickler ab dem 1. Januar 2026 verpflichten, jährlich einen unabhängigen Drittprüfer zu beauftragen, der eine unabhängige Prüfung der Einhaltung der Anforderungen des Gesetzes durchführt. Die Government Operations Agency würde die Ergebnisse der Sicherheitsprüfungen und Vorfälle überprüfen und Leitlinien, Standards und bewährte Verfahren herausgeben. Das Gesetz schafft einen Vorstand für Frontier Models, der die Anwendung des Gesetzes durch die Government Operations Agency überwacht. Er besteht aus 9 Mitgliedern.

## Rezeption
### Debatte

Befürworter des Gesetzes beschreiben seine Bestimmungen als einfach und eng fokussiert, wobei Sen. Scott Weiner es als „leichtes, grundlegendes Sicherheitsgesetz“ bezeichnete. Dies wurde von Kritikern des Gesetzes bestritten, die die Sprache des Gesetzes als vage beschreiben und es kritisieren, dass es die Macht der größten KI-Unternehmen auf Kosten kleinerer konsolidiert. Befürworter antworteten, dass das Gesetz nur für Modelle gilt, die mit mehr als 10$^{26}$ FLOPS und über 100 Millionen US-Dollar trainiert wurden oder mit mehr als 10 Millionen US-Dollar feinabgestimmt wurden, und dass der Schwellenwert bei Bedarf erhöht werden könnte.
Die Strafe des Meineids war Gegenstand von Debatten und wurde schließlich durch eine Änderung entfernt. Der Umfang der Anforderung eines „Kill Switch“ wurde ebenfalls reduziert, nachdem Bedenken von Open-Source-Entwicklern geäußert wurden. Es gab auch Streit über die Verwendung des Begriffs „angemessene Gewissheit“, der nach der Änderung durch „angemessene Sorgfalt“ ersetzt wurde. Kritiker argumentierten, dass der Standard der „angemessenen Sorgfalt“ eine übermäßige Belastung darstellt, indem er erfordert, dass Entwickler sicherstellen, dass Modelle nicht zur Verursachung katastrophaler Schäden verwendet werden können, während Befürworter argumentierten, dass der Standard der „angemessenen Sorgfalt“ keine Sicherheit impliziert und ein gut etablierter rechtlicher Standard ist, der bereits unter geltendem Recht für KI-Entwickler gilt.

### Unterstützung und Opposition

Unterstützer des Gesetzes sind Turing-Award-Empfänger Yoshua Bengio und Geoffrey Hinton, Elon Musk, Bill de Blasio, Kevin Esvelt, Dan Hendrycks, Vitalik Buterin, OpenAI-Whistleblower Daniel Kokotajlo und William Saunders, Lawrence Lessig, Sneha Revanur, Stuart Russell, Jan Leike, Schauspieler Mark Ruffalo, Sean Astin, und Rosie Perez, Scott Aaronson, und Max Tegmark. Center for AI Safety, Economic Security Project und Encode Justice sind Sponsoren. Yoshua Bengio schreibt, dass das Gesetz ein wichtiger Schritt zu Test- und Sicherheitsmaßnahmen für „KI-Systeme über einem bestimmten Fähigkeitsniveau [die] bedeutende Risiken für Demokratien und die öffentliche Sicherheit darstellen können.“ Max Tegmark verglich den Fokus des Gesetzes darauf, Unternehmen für die von ihren Modellen verursachten Schäden verantwortlich zu machen, mit der FDA, die klinische Studien vorschreibt, bevor ein Unternehmen ein Medikament auf den Markt bringen kann. Er argumentierte auch, dass der Widerstand gegen das Gesetz von einigen Unternehmen „direkt aus dem Big Tech-Werkzeugkasten kommt.“ Das Redaktionsteam der Los Angeles Times hat ebenfalls für das Gesetz plädiert. Die Gewerkschaft SAG-AFTRA und zwei Frauenorganisationen, die National Organization for Women und Fund Her, haben Unterstützungsschreiben an Gouverneur Newsom geschickt. Über 120 Hollywood-Prominente, darunter Mark Hamill, Jane Fonda und J. J. Abrams, unterzeichneten eine Erklärung zur Unterstützung des Gesetzes.
Andrew Ng, Fei-Fei Li, Ion Stoica, Jeremy Howard, Turing-Award-Empfänger Yann LeCun, zusammen mit US-Kongressmitgliedern Nancy Pelosi, Zoe Lofgren, Anna Eshoo, Ro Khanna, Scott Peters, Tony Cárdenas, Ami Bera, Nanette Barragán und Lou Correa haben sich gegen die Gesetzgebung ausgesprochen. Andrew Ng argumentiert speziell, dass es bessere, gezieltere Regulierungsansätze gebe, wie das Anvisieren von Deepfake-Pornografie, Wasserzeichen für generierte Materialien und Investitionen in Red Teaming und andere Sicherheitsmaßnahmen. University-of-California- und Caltech-Forscher haben ebenfalls offene Briefe gegen das Gesetz geschrieben.

### Industrie

Das Gesetz wird von Branchen-Handelsverbänden wie der Kalifornischen Handelskammer, der Chamber of Progress, der Computer & Communications Industry Association und TechNet. Unternehmen wie Meta und OpenAI lehnten das Gesetz ab oder äußerten Bedenken, während Google, Microsoft und Anthropic substanzielle Änderungen vorgeschlagen haben. Mehrere Gründer von Startups und Venture-Capital-Organisationen lehnen das Gesetz ab, zum Beispiel Y Combinator, Andreessen Horowitz, Context Fund und Alliance for the Future.
Nach den Änderungen schrieb Anthropic-CEO Dario Amodei, dass „das neue SB 1047 erheblich verbessert ist, bis zu dem Punkt, an dem wir glauben, dass seine Vorteile wahrscheinlich seine Kosten überwiegen. Allerdings sind wir uns dessen nicht sicher, und es gibt noch einige Aspekte des Gesetzes, die uns Sorgen machen oder mehrdeutig erscheinen.“. Amodei kommentierte auch: „Einige Unternehmen haben darüber gesprochen, ihre Aktivitäten aus Kalifornien zu verlagern. Tatsächlich gilt das Gesetz für Geschäfte in Kalifornien oder das Bereitstellen von Modellen in Kalifornien … Alles, was über 'Oh, wir verlagern unseren Hauptsitz nach Kalifornien …' gesagt wird, ist nur Theater. Das ist nur Verhandlungsspielraum. Es steht in keinem Verhältnis zum tatsächlichen Inhalt des Gesetzes.“ xAI-CEO Elon Musk schrieb: „Ich denke, Kalifornien sollte wahrscheinlich das SB 1047 KI-Sicherheitsgesetz verabschieden. Seit über 20 Jahren setze ich mich für KI-Regulierung ein, genau wie wir jedes Produkt/ jede Technologie regulieren, die ein potenzielles Risiko für die Öffentlichkeit darstellt.“
Am 9. September 2024 unterzeichneten mindestens 113 aktuelle und ehemalige Mitarbeiter von KI-Unternehmen wie OpenAI, Google DeepMind, Anthropic, Meta und xAI einen Brief an Gouverneur Newsom zur Unterstützung von SB 1047.

### Open-Source-Entwickler

Kritiker äußerten Bedenken hinsichtlich der Haftung für Open-Source-Software, die durch das Gesetz auferlegt würde, wenn sie vorhandene frei verfügbare Modelle verwenden oder verbessern. Yann LeCun, der Chief AI Officer von Meta, hat vorgeschlagen, dass das Gesetz Open-Source-KI-Modelle töten würde. Derzeit (Stand Juli 2024) gibt es in der Open-Source-Community Bedenken, dass Unternehmen wie Meta aufgrund der Drohung rechtlicher Haftung sich entscheiden könnten, Modelle (zum Beispiel Llama) nicht mehr frei verfügbar zu machen. Die AI Alliance hat sich zusammen mit anderen Open-Source-Organisationen gegen das Gesetz ausgesprochen. Im Gegensatz dazu hat Lawrence Lessig, Mitbegründer von Creative Commons, geschrieben, dass SB 1047 Open-Source-KI-Modelle sicherer und bei Entwicklern beliebter machen würde, da sowohl Schaden als auch Haftung für diesen Schaden weniger wahrscheinlich sind.

### Öffentliche Meinungsumfragen

Das Artificial Intelligence Policy Institute, eine pro-regulierende KI-Denkfabrik, führte in Kalifornien drei Umfragen durch, ob die Befragten SB 1047 unterstützen oder ablehnen.
| | Unterstützung | Ablehnung | Unsicher | Fehlermarge |
| 9. Juli 2024 | 59 % | 20 % | 22 % | ±5,2 % |
| 4.–5. August 2024 | 65 % | 25 % | 10 % | ±4,9 % |
| 25.–26. August 2024 | 70 % | 13 % | 17 % | ±4,2 % |
Eine YouGov-Umfrage, die vom Economic Security Project in Auftrag gegeben wurde, ergab, dass 78 % der registrierten Wähler in den Vereinigten Staaten SB 1047 unterstützten und 80 % der Meinung waren, dass Gouverneur Newsom das Gesetz unterzeichnen sollte.
Eine Umfrage von David Binder Research, in Auftrag gegeben vom Center for AI Safety, einer Gruppe, die sich auf die Minderung gesellschaftlicher Risiken konzentriert und ein Förderer des Gesetzes ist, ergab, dass 77 % der Kalifornier eine Vorschrift unterstützen, die Unternehmen verpflichtet, KI-Modelle auf Sicherheitsrisiken zu testen, und 86 % es als eine wichtige Priorität für Kalifornien ansehen, KI-Sicherheitsvorschriften zu entwickeln.

### SB 1047 Gouverneur-Veto

Gouverneur Gavin Newsom vetosierte SB 1047 am 29. September 2024 und nannte Bedenken hinsichtlich des regulatorischen Rahmens des Gesetzes, der nur große KI-Modelle basierend auf ihrer Rechenleistung anvisiert, während er nicht berücksichtigt, ob die Modelle in risikoreichen Umgebungen eingesetzt werden. Newsom betonte, dass dieser Ansatz ein falsches Sicherheitsgefühl erzeugen könnte, da kleinere Modelle, die ebenso bedeutende Risiken darstellen könnten, übersehen würden. Er erkannte die Notwendigkeit von KI-Sicherheitsprotokollen an betonte jedoch die Bedeutung der Anpassungsfähigkeit in der Regulierung, da sich die KI-Technologie weiterhin schnell entwickelt.
Gouverneur Newsom verpflichtete sich außerdem, mit Technologieexperten, föderalen Partnern und akademischen Institutionen, einschließlich Stanford University’s Human-Centered AI (HAI) Institute, geleitet von Dr. Fei-Fei Li, zusammenzuarbeiten. Er kündigte Pläne an, mit diesen Einrichtungen zusammenzuarbeiten, um verantwortungsvolle KI-Entwicklung voranzutreiben, mit dem Ziel, die Öffentlichkeit zu schützen und gleichzeitig Innovation zu fördern.