# KI-Sicherheit

KI-Sicherheit (englisch AI safety) ist ein interdisziplinärer Bereich, der sich mit der Verhinderung von Unfällen, Missbrauch oder anderen schädlichen Folgen von Systemen der künstlichen Intelligenz (KI) befasst. Er umfasst Maschinenethik und AI-Alignment (deutsch: KI-Ausrichtung), die sicherstellen sollen, dass KI-Systeme moralisch und konstruktiv agieren, sowie die Überwachung von KI-Systemen auf Risiken und die Verbesserung ihrer Zuverlässigkeit. Der Bereich befasst sich insbesondere mit existenziellen Risiken, die von fortgeschrittenen KI-Modellen ausgehen.
Neben der technischen Forschung umfasst die KI-Sicherheit auch die Entwicklung von Normen und politischen Richtlinien, die Sicherheit fördern. Mit den raschen Fortschritten im Bereich der generativen KI und öffentlichkeitswirksamen Sicherheitsbedenken von Forschern und CEOs hat dieses Thema im Jahr 2023 stark an Bedeutung gewonnen. Während des KI-Sicherheitsgipfels 2023 gründeten sowohl die Vereinigten Staaten als auch das Vereinigte Königreich ihr eigenes KI-Sicherheitsinstitut. Früher im selben Jahr hatte die Bundesregierung bereits das Institut für KI-Sicherheit gegründet, das dem DLR untergeordnet ist. Forscher zeigten sich jedoch besorgt darüber, dass die KI-Sicherheitsmaßnahmen nicht mit der rasanten Entwicklung der KI-Fähigkeiten Schritt halten.

## Forschungsziele

Forscher erörtern aktuelle Risiken wie das Versagen kritischer Systeme, Diskrimnierungsrisiken und KI-gestützte Überwachung sowie aufkommende Risiken wie technologiegetriebene Arbeitslosigkeit, digitale Manipulation, Instrumentalisierung als Waffe, KI-gestützte Cyberangriffe und Bioterrorismus. Sie erörtern auch spekulative Risiken, die sich aus dem Verlust der Kontrolle über künftige Agenten mit AGI (künstlicher allgemeiner Intelligenz) ergeben, oder aus KI, die dauerhafte, stabile Diktaturen ermöglicht.

### Existenzielle Sicherheit

Siehe auch: Existenzielles Risiko durch künstliche allgemeine Intelligenz
Einige haben die Bedenken gegen AGI kritisiert, wie Andrew Ng, der sie 2015 damit verglich, „sich über die Überbevölkerung auf dem Mars Sorgen zu machen, bevor wir auch nur einen Fuß auf den Planeten gesetzt haben“. Stuart J. Russell hingegen mahnt zur Vorsicht und argumentiert, dass „es besser ist, den menschlichen Einfallsreichtum vorherzusagen, als ihn zu unterschätzen“.
Unter KI-Forschern gehen die Meinungen zu Schwere und Hauptursachen der von KI-Technologie ausgehenden Risiken weit auseinander – obwohl Umfragen darauf hindeuten, dass die Experten Risiken mit schweren potentiellen Konsequenzen ernst nehmen. In zwei Umfragen unter KI-Forschern sah der Median der Befragten der Zukunft von KI insgesamt optimistisch entgegen, schätzte aber die Wahrscheinlichkeit eines „verheerenden Ergebnisses (z. B. das Aussterben der Menschheit)“ aufgrund von fortgeschrittener KI auf 5 %. In einer Umfrage aus dem Jahr 2022 in der Computerlinguistik-Community stimmten 37 % der Befragten zu oder schwach zu, es sei plausibel, dass KI-Entscheidungen zu einer Katastrophe führen könnten, die „mindestens so schlimm wäre wie ein ausgewachsener Atomkrieg“.

## Geschichte

Die Risiken künstlicher Intelligenz wurden zu Beginn des Computerzeitalters erstmals ernsthaft diskutiert:
   “Moreover, if we move in the direction of making machines which learn and whose behaviour is modified by experience, we must face the fact that every degree of independence we give the machine is a degree of possible defiance of our wishes.”
   „Wenn wir uns in die Richtung bewegen, Maschinen zu bauen, die lernen und deren Verhalten durch Erfahrung modifiziert wird, müssen wir außerdem der Tatsache ins Auge sehen, dass jeder Grad an Unabhängigkeit, den wir der Maschine geben, ein Grad an möglicher Missachtung unserer Wünsche ist.“
1988 veröffentlichte Blay Whitby ein Buch, in dem er auf die Notwendigkeit hinwies, KI nach ethischen und sozial verantwortlichen Gesichtspunkten zu entwickeln.
Von 2008 bis 2009 gab die Association for the Advancement of Artificial Intelligence (AAAI) eine Studie in Auftrag, um die möglichen langfristigen gesellschaftlichen Auswirkungen der KI-Forschung und -Entwicklung zu untersuchen und zu adressieren. Das Gremium stand den radikalen Ansichten von Science-Fiction-Autoren skeptisch gegenüber, war sich aber einig, dass „zusätzliche Forschung zu Methoden für das Verständnis und die Überprüfung der Verhaltensweisen komplexer Computersysteme wertvoll wäre, um unerwartete Ergebnisse zu minimieren“.
Im Jahr 2011 führte Roman Yampolskiy auf der Konferenz zu Philosophie und Theorie künstlicher Intelligenz den Begriff „AI safety engineering“ ein, listete bereits bekannte Ausfälle von KI-Systemen auf und argumentierte, dass „die Häufigkeit und Schwere solcher Ereignisse mit zunehmender Leistungsfähigkeit von KI stetig zunehmen wird“.
Im Jahr 2014 veröffentlichte der Philosoph Nick Bostrom das Buch Superintelligenz: Szenarien einer kommenden Revolution. Er ist der Meinung, der Aufstieg von AGI hätte das Potenzial, verschiedene gesellschaftliche Probleme hervorzurufen, die von der Verdrängung von Arbeitskräften durch KI über die Manipulation politischer und militärischer Strukturen bis hin zur Möglichkeit der Auslöschung menschlichen Lebens reichen. Sein Argument, wonach künftige fortschrittliche Systeme eine Bedrohung für die menschliche Existenz darstellen könnten, veranlasste Elon Musk, Bill Gates, und Stephen Hawking dazu, ähnliche Bedenken zu äußern.
Im Jahr 2015 unterzeichneten Dutzende von KI-Experten einen offenen Brief, in dem sie die Erforschung der gesellschaftlichen Auswirkungen von KI forderten und konkrete Richtungen skizzierten. Bis heute wurde der Brief von über 8000 Personen unterzeichnet, darunter Yann LeCun, Shane Legg, Yoshua Bengio und Stuart Russell.
Im selben Jahr gründete eine Gruppe von Fachleuten unter der Leitung von Professor Stuart Russell das Center for Human-Compatible AI an der University of California Berkeley, und das Future of Life Institute vergab 6,5 Millionen Dollar an Zuschüssen für die Forschung mit dem Ziel, „sicherzustellen, dass künstliche Intelligenz (KI) sicher, ethisch und konstruktiv bleibt“.
2016 kündigten das Büro für Wissenschafts- und Technologiepolitik des Weißen Hauses und die Carnegie Mellon University den Public Workshop on Safety and Control for Artificial Intelligence an, der zu einer Reihe von vier Workshops des Weißen Hauses gehörte, deren Ziel es war, „die Vor- und Nachteile“ von KI zu untersuchen. Im selben Jahr wurde Concrete Problems in AI Safety veröffentlicht – eine der ersten und einflussreichsten technischen KI-Sicherheitsagenden.
Im Jahr 2017 sponserte das Future of Life Institute die Asilomar Conference on Beneficial AI, auf der mehr als 100 führende Denker Grundsätze für nutzbringende KI formulierten, darunter „die Vermeidung eines Wettlaufs: Teams, die KI-Systeme entwickeln, sollten aktiv zusammenarbeiten, um die Unterbietung von Sicherheitsstandards zu vermeiden.“
Im Jahr 2018 skizzierte das Sicherheits-Team von DeepMind KI-Sicherheitsprobleme in den Bereichen Spezifikation, Widerstandsfähigkeit und Absicherung. Im darauffolgenden Jahr organisierten die Forscher einen Workshop auf der ICLR-Konferenz, der sich auf diese Problembereiche konzentrierte.
Im Jahr 2021 wurde Unsolved Problems in ML Safety (deutsch: Ungelöste Probleme der KI-Sicherheit) veröffentlicht, in dem Forschungsrichtungen in den Bereichen Widerstandsfähigkeit, Überwachung, Alignment und systemische Sicherheit skizziert wurden.
Im Jahr 2023 erklärte Rishi Sunak, er wolle das Vereinigte Königreich zur „geografischen Heimat der globalen KI-Sicherheitsregulierung“ machen und das erste globale Gipfeltreffen zum Thema KI-Sicherheit ausrichten. Das Gipfeltreffen zur KI-Sicherheit fand im November 2023 statt und konzentrierte sich auf die Risiken des Missbrauchs und des Kontrollverlustes im Zusammenhang mit den neuesten KI-Modellen. Während des Gipfeltreffens wurde die Absicht verkündet, einen internationalen wissenschaftlichen Bericht über die Sicherheit fortgeschrittener KI zu erstellen.
Im Jahr 2024 formten die USA und das Vereinigte Königreich eine neue Partnerschaft im Bereich der KI-Sicherheitsforschung. Die Absichtserklärung wurde am 1. April 2024 von der US-amerikanischen Handelsministerin Gina Raimondo und der britischen Ministerin für Digitales Michelle Donelan unterzeichnet, um gemeinsam Tests für fortgeschrittene KI-Modelle zu entwickeln, nachdem auf dem Gipfeltreffen zur KI-Sicherheit in Bletchley Park im November entsprechende Verpflichtungen angekündigt worden waren.

## Schwerpunkte der Forschung

Zu den Forschungsbereichen der KI-Sicherheit gehören Widerstandsfähigkeit, Überwachung und Alignment.

### Widerstandsfähigkeit
#### Widerstandsfähigkeit gegen adversarial attacks

Siehe auch: Adversarial Attack
KI-Systeme sind oft anfällig für sogenannte adversarial examples (deutsch: gegnerische Beispiele): „Eingaben von Beispielen in Modelle, die auf maschinellem Lernen (ML) basieren, die ein Angreifer absichtlich so gestaltet hat, dass sie das Modell zu einem Fehler veranlassen“. 2013 entdeckten Szegedy et al. beispielsweise, dass das Hinzufügen spezifischer, nicht wahrnehmbarer Störungen zu einem Bild dazu führen kann, dass es mit hoher Sicherheit falsch klassifiziert wird. Dies erweist sich auch weiterhin als ein Problem künstlicher neuronaler Netze, obwohl die Störungen in neueren Arbeiten im Allgemeinen groß genug sind, um wahrnehmbar zu sein.
Alle Bilder auf der rechten Seite werden nach Anwendung der Störung als Strauß kategorisiert. (Links) ist ein korrekt eingeordnetes Beispiel, (Mitte) die angewandte Störung in 10-facher Vergrößerung, (rechts) ein Beispiel für die entstandene falsche Einordnung.
Widerstandsfähigkeit gegen adversarial examples wird oft mit Sicherheit in Verbindung gebracht. Forscher haben gezeigt, dass ein Audiosignal unmerklich verändert werden kann, so dass es von Sprache-zu-Text-Systemen in eine beliebige, vom Angreifer verfasste Nachricht umgewandelt wird. Systeme zur Erkennung von Eindringlingen und Malware müssen ebenfalls robust gegenüber dieser Art von Störung sein, da sonst Angriffe so gestaltet werden können, dass sie Detektoren täuschen.
Modelle, die die Ziele ihrer Programmierer abbilden (Belohnungsmodelle), müssen in derselben Weise robust sein. Zum Beispiel: Ein Belohnungsmodell könnte abschätzen, wie hilfreich eine Textantwort für den Empfänger ist, und ein Sprachmodell könnte so trainiert werden, dass es die Punktzahl maximiert. Forscher haben gezeigt, dass ein Sprachmodell, das lange genug trainiert wird, die Schwachstellen des Belohnungsmodells ausnutzt, um eine bessere Punktzahl zu erzielen, sodass es bei seiner Aufgabe schlechter abschneidet. Dieses Problem kann durch die Verbesserung der Widerstandsfähigkeit gegen adversarial examples des Belohnungsmodells angegangen werden. Ganz allgemein muss jedes KI-System, das zur Bewertung eines anderen KI-Systems verwendet wird, eine hohe Widerstandsfähigkeit gegen adversarial examples besitzen. Dies gilt auch für Überwachungsinstrumente, da auch sie potenziell manipuliert werden könnten, um eine höhere Belohnung zu erzielen.

### Überwachung
#### Unsicherheiten einschätzen

Für Anwender ist es oft wichtig abzuschätzen, in welchem Maß sie einem KI-System vertrauen sollten, vor allem in Bereichen, in denen viel auf dem Spiel steht, wie z. B. bei der medizinischen Diagnose. ML-Modelle drücken ihre Einschätzungen allgemein durch die Ausgabe von Wahrscheinlichkeiten aus; sie zeigen sich jedoch oft übermäßig zuversichtlich, vor allem in Situationen, die sich von denen unterscheiden, für die sie trainiert wurden. Kalibrierungsforschung zielt darauf ab, die Modellwahrscheinlichkeiten so akkurat wie möglich zu machen.
In ähnlicher Weise zielt die Erkennung von Anomalien oder Out-of-Distribution-Erkennung (OOD) darauf ab, zu erkennen, wann sich ein KI-System in einer ungewöhnlichen Situation befindet. Wenn beispielsweise ein Sensor in einem autonomen Fahrzeug nicht richtig funktioniert oder es auf schwieriges Gelände stößt, sollte es den Fahrer warnen, damit er die Kontrolle übernimmt oder anhält. Die Erkennung von Anomalien wurde durch einfaches Training eines Klassifikators implementiert, um anomale und nicht-anomale Eingaben zu unterscheiden, obwohl eine Reihe zusätzlicher Techniken im Einsatz sind.

#### Erkennung von bösartiger Nutzung

Wissenschaftler und Regierungsbehörden haben die Befürchtung geäußert, dass KI-Systeme dazu verwendet werden könnten, böswilligen Akteuren beim Bau von Waffen bei der Manipulation öffentlicher Meinung oder bei der Automatisierung von Cyberangriffen helfen könnten. Diese Befürchtungen sind ein praktisches Problem für Unternehmen wie OpenAI, die leistungsstarke KI-Tools online bereitstellen. Um Missbrauch zu verhindern, hat OpenAI Erkennungssysteme entwickelt, die Benutzer auf der Grundlage ihrer Aktivitäten kennzeichnen oder einschränken.

#### Transparenz

Neuronale Netze werden oft als Black Box beschrieben, was bedeutet, dass es aufgrund der enormen Anzahl durchgeführter Berechnungen schwierig zu verstehen ist, warum sie bestimmte Entscheidungen treffen. Dies macht es wiederum schwierig, Fehler vorherzusehen. Im Jahr 2018 tötete ein selbstfahrendes Auto einen Fußgänger, weil es die Person nicht als solche erkannt hatte. Aufgrund des Blackbox-Charakters der KI-Software ist der Grund für dieses Versagen nach wie vor unklar. Das Problem wirft auch im Gesundheitswesen Debatten darüber auf, ob statistisch effiziente, aber intransparente Modelle verwendet werden sollten.
Ein entscheidender Vorteil von Transparenz ist die dadurch entstehende Erklärbarkeit. Manchmal ist es gesetzlich vorgeschrieben, zu erklären, warum eine Entscheidung getroffen wurde, um Fairness zu gewährleisten, z. B. bei der automatischen Filterung von Bewerbungen oder bei der automatisierten Einstufung von Kreditwürdigkeit.
Ein weiterer Vorteil ist die Offenlegung von Fehlerursachen. Zu Beginn der COVID-19-Pandemie im Jahr 2020 nutzten Forscher Transparenzinstrumente, um zu zeigen, dass medizinische Bildklassifikatoren irrelevanten Kennzeichnungen von Krankenhäusern „Aufmerksamkeit schenkten“.
Ebenso können Transparenztechniken zur Korrektur von Fehlern eingesetzt werden. In dem wissenschaftlichen Artikel Locating and Editing Factual Associations in GPT konnten die Autoren beispielsweise Modellparameter ermitteln, die die Beantwortung von Fragen nach dem Standort des Eiffelturms beeinflussten. Sie waren dann in der Lage, dieses Wissen so zu „editieren“, dass das Modell auf Fragen so antwortete, als ob es glaubte, der Turm befände sich in Rom statt in Frankreich. Obwohl die Autoren in diesem Fall einen Fehler einprogrammierten, könnten diese Methoden potenziell verwendet werden, um sie effizient zu beheben. Techniken zur Modellbearbeitung gibt es auch im Bereich der Computer Vision.
Schließlich haben einige argumentiert, dass die Intransparenz von KI-Systemen eine bedeutende Risikoquelle darstellt und ein besseres Verständnis ihrer Funktionsweise in Zukunft folgenschwere Fehler verhindern könnte. Die Forschung zur „inneren“ Interpretierbarkeit zielt darauf ab, Modelle weniger undurchsichtig zu machen. Ein Ziel dieser Forschung ist es, herauszufinden, was die internen Aktivierungen von Neuronen konkret darstellen. So haben Forscher beispielsweise in der CLIP-KI ein Neuron identifiziert, das auf Bilder von Menschen in Spiderman-Kostümen, Skizzen von Spiderman und das Wort „Spider“ reagiert. Es geht auch darum, die Verbindungen zwischen diesen Neuronen oder „Schaltkreisen“ zu erklären. So haben Forscher beispielsweise Mechanismen zur Mustererkennung in der Fokussetzung von Transformern identifiziert, die eine Rolle dabei spielen könnten, wie Sprachmodelle aus ihrem Kontext lernen. „Innere Interpretierbarkeit“ wurde mit den Neurowissenschaften verglichen. In beiden Fällen besteht das Ziel darin, zu verstehen, was in einem komplizierten System vor sich geht, wobei Computerwissenschaftler den Vorteil haben, dass sie perfekte Messungen vornehmen und beliebige Teile des KI-Modells entfernen können.

#### Entdeckung von Trojanern

Machine-Learning-Modelle können potenziell „Trojaner“ oder „Hintertüren“ enthalten: Schwachstellen, die böswillige Akteure in ein KI-System einbauen. Ein mit einem Trojaner versehenes Gesichtserkennungssystem könnte beispielsweise Zugang gewähren, wenn sich ein bestimmtes Schmuckstück im Sichtfeld befindet; oder ein mit einem Trojaner versehenes autonomes Fahrzeug könnte normal funktionieren, bis ein bestimmter Trigger sichtbar ist. Beachten Sie, dass ein Angreifer Zugang zu den Trainingsdaten des Systems haben muss, um einen Trojaner einzuschleusen. Dies ist bei einigen großen Modellen wie CLIP oder GPT-3 möglicherweise nicht schwer, da sie auf öffentlich zugänglichen Internetdaten trainiert werden. Forscher konnten einen Trojaner in einen Bildklassifikator einschleusen, indem sie nur 300 von 3 Millionen Trainingsbildern änderten. Obwohl sie einerseits ein Sicherheitsrisiko darstellen haben Forscher argumentiert, dass Trojaner andererseits ein konkretes Umfeld für die Erprobung und Entwicklung besserer Überwachungsinstrumente bieten.

### Alignment

Dieser Abschnitt ist ein Auszug aus AI-Alignment.
Innerhalb der Forschung zur Künstlichen Intelligenz (KI) zielt die AI-Alignmentforschung darauf ab, KI-Systeme in Richtung menschlicher Ziele, Präferenzen oder ethischer Grundsätze zu lenken. Ein KI-System gilt als aligned (deutsch: ausgerichtet), wenn es die beabsichtigten Ziele fördert. Ein misaligned (deutsch: fehlausgerichtetes) KI-System ist fähig, bestimmte Ziele zu erreichen, nicht aber die beabsichtigten.
Für KI-Programmierer kann es eine Herausforderung sein, ein KI-System zielauszurichten, da sich der Versuch, die gesamte Bandbreite der gewünschten und unerwünschten Verhaltensweisen zu spezifizieren, als schwierig herausstellen kann. Um diese Schwierigkeit zu umgehen, verwenden sie in der Regel einfachere stellvertretende Ziele, wie z. B. die Erlangung menschlicher Zustimmung. Dieser Ansatz kann jedoch zu Schlupflöchern führen, notwendige Einschränkungen übersehen oder das KI-System lediglich für den Anschein eines korrekten Alignments belohnen.
Wenn ein KI-System misaligned (deutsch: fehlausgerichtet) ist, kann dies zu schwerwiegenden Fehlern führen oder Schaden anrichten. Die KI kann Schlupflöcher finden, die es ihr ermöglichen, ihre Stellvertreterziele zwar effizient, aber auf unbeabsichtigte, manchmal schädliche Weise zu erreichen (Belohnungs-Hacking). KI-Systeme könnten zudem unerwünschte instrumentelle Strategien entwickeln, wie z. B. das Streben nach Macht oder ihrem eigenen Überleben, da solche Strategien ihnen helfen, ihre vorgegebenen Ziele zu erreichen. Außerdem können sie emergente Ziele entwickeln, das heißt Ziele, die unerwartet, aber rein logisch folgerichtig aus dem Algorithmus und seiner originalen Zielfunktion entstehen und die schwer zu erkennen sind, bevor das System im Einsatz ist, wo es mit neuen Situationen und Datenverteilungen konfrontiert wird.
Heute sind diese Probleme bereits bei bestehenden kommerziellen Systemen wie Sprachmodellen, Robotern, autonomen Fahrzeugen und Empfehlungsalgorithmen für soziale Medien zu beobachten. Einige KI-Forscher argumentieren, dass leistungsfähigere Systeme der Zukunft stärker betroffen sein werden, da derartige Probleme zum Teil aus der hohen Leistungsfähigkeit der Systeme resultieren.
Führende KI-Wissenschaftler wie Geoffrey Hinton und Stuart Russell haben argumentiert, dass sich die Leistung von KI übermenschlichen Fähigkeiten nähert und die menschliche Zivilisation im Falle eines Fehlalignements gefährden könnte.
Die KI-Forschungsgemeinschaft und die Vereinten Nationen haben die Forderung nach technischer Forschung und politischen Lösungen gestellt, um zu gewährleisten, dass KI-Systeme mit menschlichen Werten in Einklang gebracht werden.
Das Wertalignement von KI ist ein Teilbereich der KI-Sicherheit, die sich mit der Frage beschäftigt, wie sichere KI-Systeme hergestellt werden können. Andere Teilbereiche der KI-Sicherheit sind Robustheit, Überwachung und die Kontrolle von Fähigkeiten. Zu den Herausforderungen im Bereich des KI-Wertalignements zählen die Vermittlung komplexer Werte an KI-Systeme, die Entwicklung ehrlicher KI, die Entwicklung einer skalierbaren Form der Überwachung, das Prüfen und Interpretieren von KI-Modellen und die Verhinderung von unerwünscht entstehendem Verhalten wie dem Streben nach Macht. Die Forschung zur KI-Ausrichtung hat u. a. Verbindungen zur Interpretierbarkeitsforschung, zur Erkennung von Anomalien, zur kalibrierten Unsicherheit, zur formalen Verifikation, zum Präferenzlernen, zur für Sicherheit relevanten Technik, zur Spieltheorie, zur Algorithmen-Fairness, und zu den Sozialwissenschaften.

### Systemische Sicherheit und sozio-technische Faktoren

Es ist üblich, KI-Risiken (und technologische Risiken im Allgemeinen) als Missbrauch oder Unfälle zu kategorisieren. Manche Wissenschaftler haben darauf hingewiesen, dass dieser Rahmen nicht ausreicht. Die Kubakrise war beispielsweise nicht eindeutig ein Unfall oder ein Missbrauch von Technologie. Die Politikanalysten Zwetsloot und Dafoe schreiben: „Die Perspektiven von Missbrauch und Unfall neigen dazu, sich nur auf den letzten Schritt in einer Kausalkette zu konzentrieren, die zu einem Schaden führt, d. h. auf die Person, die die Technologie missbraucht hat, oder auf das System, das sich auf unbeabsichtigte Weise verhalten hat... Oft ist die relevante Kausalkette jedoch viel länger.“ Risiken entstehen oft durch „strukturelle“ oder „systemische“ Faktoren wie Wettbewerbsdruck, Streuung von Schäden, schnelle Entwicklung, hohe Unsicherheit und unzureichende Sicherheitskultur. Im breiteren Kontext der Sicherungstechnik spielen strukturelle Faktoren wie die „Sicherheitskultur einer Organisation“ eine zentrale Rolle im bekannten STAMP-Risikoanalyserahmen.
Inspiriert von der strukturellen Perspektive haben einige Forscher die Bedeutung des ML für die Verbesserung soziotechnischer Sicherheitsfaktoren hervorgehoben, z. B. die Verwendung von ML für die Cyberabwehr, Verbesserungen der institutionellen Entscheidungsfindung und die Erleichterung von Kooperation. Andere haben betont, wie wichtig es ist, sowohl KI-Anwender als auch Fachexperten in den Entwurfsprozess einzubeziehen, um strukturelle Schwachstellen anzugehen.

#### Cyber-Verteidigung

Einige Wissenschaftler befürchten, dass die KI den ohnehin schon unausgewogenen Kampf zwischen Cyber-Angreifern und Cyber-Verteidigern noch verschärfen wird. Dies würde die Anreize für einen „Erstschlag“ erhöhen und könnte zu aggressiveren und destabilisierenden Angriffen führen. Um dieses Risiko zu mindern, haben sich einige Forscher für eine stärkere Betonung der Cyber-Verteidigung ausgesprochen. Darüber hinaus ist die Softwaresicherheit von entscheidender Bedeutung, um zu verhindern, dass leistungsstarke KI-Modelle gestohlen und missbraucht werden. Jüngste Studien haben gezeigt, dass KI sowohl technische als auch verwaltungstechnische Cybersicherheitsaufgaben durch die Automatisierung von Routineaufgaben und die allgemeine Verbesserung der Effizienz erheblich erleichtern kann.

#### Verbesserung von institutioneller Entscheidungsfindung

Der Vormarsch von KI in wirtschaftlichen und militärischen Bereichen könnte zu nie dagewesenen politischen Herausforderungen führen. Einige Wissenschaftler haben die Dynamik des KI-Wettlaufs mit dem Kalten Krieg verglichen, in dem das sorgfältige Urteilsvermögen einer kleinen Zahl von Entscheidungsträgern oft den Unterschied zwischen Stabilität und Katastrophe ausmachen konnte. Forscher haben argumentiert, dass KI-Technologien auch zur Unterstützung der Entscheidungsfindung eingesetzt werden könnten. So beginnen Forscher beispielsweise mit der Entwicklung von KI-Prognose- und Beratungssystemen.

#### Erleichterung von Kooperation

Viele der größten globalen Bedrohungen (Atomkrieg, Klimawandel, usw.) wurden als Kooperations-Herausforderungen formuliert. Wie im bekannten Gefangenendilemma-Szenario können bestimmte Dynamiken zu schlechten Ergebnissen für alle Akteure führen, obwohl alle ihre Handlungen gut in ihrem Eigeninteresse begründbar sind. So hat beispielsweise kein Akteur starke Anreize, sich alleine und ohne die Hilfe anderer Akteure mit dem Klimawandel zu befassen, obwohl die Folgen katastrophal sein können, wenn niemand eingreift.
Eine vordergründige Herausforderung bei der KI-Kooperation ist die Vermeidung eines Race to the bottom (deutsch: Unterbietungswettlauf): In diesem Szenario wetteifern Länder oder Unternehmen darum, leistungsfähigere KI-Systeme zu entwickeln, und vernachlässigen dabei aus Kosteneffizienzgründen die Sicherheit, was zu einem katastrophalen Unfall führt, der allen Beteiligten schadet. Die Besorgnis über solche Szenarien hat sowohl politische als auch technische Bemühungen ausgelöst, die Kooperation zwischen Menschen und möglicherweise auch zwischen KI-Systemen zu erleichtern. Die meisten KI-Forschungsarbeiten konzentrieren sich auf die Entwicklung individueller Akteure, die isolierte Funktionen erfüllen. Wissenschaftler haben aber darauf hingewiesen, dass es in dem Maße, in dem KI-Systeme autonomer werden, unerlässlich werden könnte, die Art und Weise ihrer Interaktion zu untersuchen und zu gestalten.

#### Herausforderungen großer Sprachmodelle

In den letzten Jahren hat die Entwicklung von Large Language Models (LLMs; deutsch: große Sprachmodelle) im Bereich der KI-Sicherheit besondere Bedenken aufgeworfen. Bender und Gebru et al. haben auf die ökologischen und finanziellen Kosten hingewiesen, die mit dem Training dieser Modelle verbunden sind, und betonen, dass der Energieverbrauch und der CO$_2$-Fußabdruck von Trainingsverfahren wie denen für Transformer-basierte Modelle erheblich sein können. Darüber hinaus stützen sich diese Modelle häufig auf riesige, unkuratierte und internetbasierte Datensätze, die hegemoniale und voreingenommene Standpunkte kodieren können, wodurch unterrepräsentierte Gruppen weiter marginalisiert werden. Die Trainingsdatensätze sind zwar umfangreich, garantieren aber keine Vielfalt und spiegeln oft die Weltanschauungen privilegierter Bevölkerungsgruppen wider, was zu Modellen führt, die bestehende Vorurteile und Stereotypen aufrechterhalten. Verschärft wird diese Situation durch die Tendenz dieser Modelle, scheinbar kohärente und flüssige Texte zu produzieren, die Nutzer dazu verleiten können, ihnen Bedeutungsschwere und Intentionalität zuzuschreiben, wo sie nicht vorhanden sind – ein Phänomen, das als „stochastische Papageien“ beschrieben wird. Diese Modelle bergen daher das Risiko, gesellschaftliche Vorurteile zu verstärken, Fehlinformationen zu verbreiten und für böswillige Zwecke wie extremistische Propaganda oder Deepfakes verwendet zu werden. Um diesen Herausforderungen zu begegnen, plädieren Forscher für eine sorgfältigere Planung bei der Erstellung von Datensätzen, sowie bei der Systementwicklung und betonen die Notwendigkeit von Forschungsprojekten, die einen positiven Beitrag zu einem gerechten technologischen Ökosystem leisten.

## In der Politik

KI-Governance befasst sich weit gefasst mit der Schaffung von Normen, Standards und Vorschriften, die die Nutzung und Entwicklung von KI-Systemen steuern sollen.

### Forschung

Die Forschung zum Thema KI-Sicherheitsmanagement reicht von der Grundlagenforschung zu den potenziellen Auswirkungen der KI bis hin zu spezifischen Anwendungen. Auf der grundlegenden Seite haben Forscher argumentiert, dass KI aufgrund ihrer breiten Anwendbarkeit viele Aspekte der Gesellschaft verändern könnte, und ihre Bedeutung mit jener der Elektrizität und der Dampfmaschine verglichen. Einige Forschungsprojekte konzentrierten sich auf die Vorwegnahme spezifischer Risiken, die sich aus diesen Auswirkungen ergeben könnten – zum Beispiel Risiken durch Massenarbeitslosigkeit, militärische Nutzung, Desinformation, Überwachung, und die Konzentration von Macht. Andere Arbeiten befassen sich mit den zugrundeliegenden Risikofaktoren wie der Schwierigkeit, die sich rasch entwickelnde KI-Industrie zu überwachen, der breiten Verfügbarkeit von KI-Modellen und der bereits erwähnten Dynamik des Race to the bottom“ Allan Dafoe, Leiter der Abteilung für langfristige Governance und Strategie bei DeepMind, hat die Gefahren eines Wettlaufs und die potenzielle Notwendigkeit von Kooperation betont: „Es könnte eine notwendige und hinreichende Bedingung für die Sicherheit und das Alignment von KI sein, dass vor dem Einsatz fortgeschrittener, leistungsstarker Systeme ein hohes Maß an Vorsicht an den Tag gelegt wird; wenn die Akteure jedoch in einem Bereich konkurrieren, in dem Erstanbieter große Gewinne erzielen und einen relativen Vorteil haben, dann werden sie gezwungen sein, ein suboptimales Maß an Vorsicht walten zu lassen." Ein Forschungszweig konzentriert sich auf die Entwicklung von Ansätzen, Rahmen und Methoden zur Bewertung der Verantwortlichkeit von KI. Konkret werden Prüfungen KI-basierter Systeme durchgeführt und gefördert.
Zu den Bemühungen, die Sicherheit von KI zu verbessern, gehören Frameworks, die darauf abzielen, KI-Ergebnisse mit ethischen Richtlinien in Einklang zu bringen und Risiken wie Missbrauch und Datenlecks zu verringern. Tools wie Guardrails von Nvidia, Llama Guard und die anpassbaren Guardrails von Preamble entschärfen Schwachstellen und stellen sicher, dass die Ergebnisse vordefinierten Prinzipien entsprechen. Diese Tools werden häufig in KI-Systeme integriert, um die Sicherheit und Zuverlässigkeit zu verbessern.

### Philosophische Perspektiven

Siehe auch: Ethik der Künstlichen Intelligenz
Der Bereich der KI-Sicherheit ist eng mit philosophischen Überlegungen verwoben, insbesondere im Bereich der Ethik. Die deontologische Ethik, die die Einhaltung moralischer Regeln betont, wurde als Rahmen vorgeschlagen, um KI-Systeme mit menschlichen Werten in Einklang zu bringen. Durch die Einbettung deontologischer Prinzipien könnten KI-Systeme dazu angehalten werden, schädliche Handlungen zu vermeiden und so sicherstellen, dass sich ihr Handeln innerhalb ethischer Grenzen bewegt.

### Skalierung von lokalen Maßnahmen zu globalen Lösungen

Bei der Behandlung des KI-Sicherheitsproblems ist es wichtig, den Unterschied zwischen lokalen und globalen Lösungen zu betonen. Lokale Lösungen konzentrieren sich auf einzelne KI-Systeme und stellen sicher, dass sie sicher und nutzbringend sind, während globale Lösungen darauf abzielen, Sicherheitsmaßnahmen für alle KI-Systeme in verschiedenen Rechtssystemen umzusetzen. Einige Forscher plädieren für die Notwendigkeit, lokale Sicherheitsmaßnahmen auf ein globales Niveau zu skalieren, und schlagen eine separate Klassifizierung für diese globalen Lösungen vor. Dieser Ansatz unterstreicht die Bedeutung gemeinsamer Anstrengungen bei der internationalen Governance von KI-Sicherheit und betont, dass keine einzelne Einrichtung die mit KI-Technologien verbundenen Risiken wirksam handhaben kann. Diese Sichtweise deckt sich mit den laufenden Bemühungen in der internationalen Politik, die darauf abzielen, die komplexen Herausforderungen zu bewältigen, die fortschrittliche KI-Systeme weltweit mit sich bringen.

### Regierungsprogramme

Siehe auch: Regulierung von künstlicher Intelligenz
Einige Experten haben argumentiert, dass es zu früh sei, um KI zu regulieren, und haben Bedenken geäußert, Regulierungen könnten Innovation behindern und es wäre töricht, „in Unkenntnis zu regulieren“. Andere, wie der Unternehmer Elon Musk, fordern präventive Maßnahmen, um katastrophale Risiken zu mindern.
Außerhalb der formellen Gesetzgebung haben Regierungsbehörden ethische und sicherheitstechnische Empfehlungen abgegeben. Im März 2021 berichtete die US National Security Commission on Artificial Intelligence, dass es aufgrund der Fortschritte in der KI-Forschung immer wichtiger wird, „sicherzustellen, dass die Systeme mit Zielen und Werten, einschließlich Sicherheit, Widerstandsfähigkeit und Vertrauenswürdigkeit, in Einklang gebracht werden“. Daraufhin entwarf das National Institute of Standards and Technology einen Rahmen für den Umgang mit KI-Risiken, in dem empfohlen wird in der Präsenz „katastrophaler Risiken die Entwicklung und den Einsatz auf sichere Weise einzustellen, bis die Risiken ausreichend beherrscht werden können.“
Im September 2021 veröffentlichte die Volksrepublik China ethische Richtlinien für den Einsatz von KI in China, in denen betont wird, dass KI-Entscheidungen unter menschlicher Kontrolle bleiben sollten, und Rechenschaftsmechanismen gefordert werden. Im selben Monat veröffentlichte das Vereinigte Königreich seine auf zehn Jahre angelegte Nationale KI-Strategie, in der es heißt, dass die britische Regierung „das langfristige Risiko einer fehlausgerichteten künstlichen allgemeinen Intelligenz (AGI) und die unvorhersehbaren Veränderungen, die sie für … die Welt bedeuten würde, ernst nimmt“. Die Strategie beschreibt Maßnahmen zur Bewertung langfristiger KI-Risiken, einschließlich katastrophaler Risiken. Die britische Regierung hielt den ersten globalen Gipfel zur KI-Sicherheit ab. Dieser fand am 1. und 2. November 2023 statt und wurde als „eine Gelegenheit für politische Entscheidungsträger und Staatschefs“ beschrieben, „um die unmittelbaren und zukünftigen Risiken von KI zu erörtern und zu überlegen, wie diese Risiken durch einen global koordinierten Ansatz gemildert werden können.“
Auch Regierungsorganisationen, insbesondere in den Vereinigten Staaten, haben die Entwicklung der technischen KI-Sicherheitsforschung gefördert. Die Organisation namens Intelligence Advanced Research Projects Activity hat das TrojAI-Projekt initiiert, um Trojaner-Angriffe auf KI-Systeme zu erkennen und sie dagegen zu schützen. Die Defense Advanced Research Projects Agency (DARPA) forscht an Explainable Artificial Intelligence (XAI; deutsch: erklärbare künstliche Intelligenz), sowie an der Verbesserung der Widerstandsfähigkeit gegenüber Adversarial Attacks und die National Science Foundation unterstützt das Center for Trustworthy Machine Learning und stellt Millionen von Dollar für die empirische KI-Sicherheitsforschung bereit.
Im Jahr 2024 verabschiedete die Generalversammlung der Vereinten Nationen die erste globale Resolution zur Förderung „sicherer und vertrauenswürdiger“ KI-Systeme. Sie unterstreicht die Wichtigkeit von Achtung, Schutz und Förderung der Menschenrechte bei der Konzeption, der Entwicklung, dem Einsatz und der Nutzung von KI.
Im Mai 2024 kündigte das britische Ministerium für Wissenschaft, Innovation und Technologie eine Finanzierung von 8,5 Millionen Pfund für die KI-Sicherheitsforschung im Rahmen des Systemic AI Safety Fast Grants Programme an, das von Christopher Summerfield und Shahar Avin am AI Safety Institute in Zusammenarbeit mit der Regierungsorganisation für UK Research and Innovation geleitet wird. Ministerin für Digitales Michelle Donelan kündigte den Plan auf dem KI-Gipfel in Seoul an und erklärte, das Ziel bestehe darin, KI in der gesamten Gesellschaft sicher zu machen und weitere Mittel für vielversprechende Vorschläge zu sichern. Das Vereinigte Königreich unterzeichnete außerdem eine Vereinbarung mit zehn anderen Ländern und der EU, um ein internationales Netzwerk von KI-Sicherheitsinstituten zu bilden, das die Zusammenarbeit fördern und Informationen und Ressourcen teilen soll. Darüber hinaus plante das britische KI-Sicherheitsinstitut, ein Büro in San Francisco zu eröffnen.

### Selbstregulierung von Unternehmen

KI-Labore und -Unternehmen halten sich im Allgemeinen an Sicherheitspraktiken und -normen, die nicht unter die formale Gesetzgebung fallen. Ein Ziel von Governance-Forschern ist es, diese Normen zu gestalten. Beispiele für Sicherheitsempfehlungen, die in der Literatur zu finden sind, umfassen die Durchführung von Prüfungen durch Dritte, das Ausschreiben von Prämien für das Auffinden von Fehlern, das Teilen von KI-Vorfällen (zu diesem Zweck wurde eine Datenbank für KI-Vorfälle eingerichtet), die Befolgung von Richtlinien, um zu entscheiden, ob Forschungen oder Modelle veröffentlicht werden sollen, und die Verbesserung der Informations- und Cybersicherheit in KI-Laboren.
Unternehmen sind zudem Verpflichtungen eingegangen. Cohere, OpenAI und AI21 haben „Praxisrichtlinien für den Einsatz von Sprachmodellen“ vorgeschlagen und vereinbart, wobei der Schwerpunkt auf der Eindämmung von Missbrauch liegt. Um nicht zu einer Wettlauf-Dynamik beizutragen, hat OpenAI in seiner Charta erklärt: „Wenn ein wertausgerichtetes, sicherheitsbewusstes Projekt der Entwicklung von AGI nahe kommt, bevor wir es tun, verpflichten wir uns, nicht mehr mit diesem Projekt zu konkurrieren, sondern es zu unterstützen.“ Außerdem haben führende Industrievertreter wie der CEO von DeepMind Demis Hassabis und der Direktor von Facebook AI Yann LeCun offene Briefe wie etwa zu den Asilomar-Prinzipien und zu autonomen Waffen unterzeichnet.