# Ethik der künstlichen Intelligenz

Die Ethik der künstlichen Intelligenz ist ein Teilbereich der angewandten Ethik, der sich mit den ethischen Fragen von KI-Systemen befasst.
Themenbereiche der KI-Ethik sind:
* die Rolle von KI-Systeme in der Gesellschaft und ethische Werte, die ihrem Einsatz zugrunde liegen.
* ethische Normen für Menschen, die künstlich intelligente Systeme entwerfen, herstellen, testen, zertifizieren und benutzen.
* ethisches Verhalten von KI-Systemen (Maschinenethik).
* Konsequenzen einer sog. Singularität aufgrund einer superintelligenten KI.
Die KI-Ethik hat Berührungspunkte und Überlappungen mit anderen Teilbereichen der angewandten Ethik: Digitale Ethik, Informationsethik, Medienethik, Virtuelle Ethik, Technikethik und Roboterethik.
Die wachsende Bedeutung der KI-Ethik ergibt sich aus der Tatsache, dass „Künstliche Intelligenz (KI) und Robotik … in naher Zukunft erhebliche Auswirkungen auf die Entwicklung der Menschheit haben werden. Sie haben grundlegende Fragen darüber aufgeworfen, was wir mit diesen Systemen tun sollten, was die Systeme selbst tun sollten, welche Risiken sie bergen und wie wir diese kontrollieren können.“ Dabei sind nicht die Auswirkungen der KI-Anwendung an sich Gegenstand der KI-Ethik, sondern die Frage, wann und unter welchen Bedingungen bestimmte Auswirkungen zulässig sind.
Die Debatte über ethische Fragen der KI begann bereits 1960 mit einer Arbeit von Norbert Wiener und der Erwiderung von Arthur L. Samuel.

## KI-Ethik als angewandte Ethik

KI-Ethik ist ein junges Teilgebiet der angewandten Ethik. Wie in anderen Bereichen der angewandten Ethik lassen sich auch hier zwei unterschiedliche Herangehensweisen unterscheiden: einerseits ein prinzipienethischer Ansatz, der allgemeine Prinzipien für die Behandlung praktischer Probleme aufstellt, und andererseits ein partikularistischer Ansatz, der Moralurteile für konkrete Handlungssituationen entwickelt.

### Prinzipienethischer Ansatz

Der prinzipienethische Ansatz (englisch principlism) wurde in den 1970er Jahren in der Medizinethik entwickelt und dient seitdem als Vorbild für die Entwicklung anderer Bereichsethiken, auch der KI-Ethik.
Bei diesem Ansatz wird ein Satz von Prinzipien bereitgestellt, aus denen sich moralische Urteile für konkrete Handlungssituationen ableiten lassen, daher auch die Bezeichnung deduktivistisches Modell. Die Prinzipien werden „dadurch begründet, dass sie eine Art Schnittmenge verschiedener normativer Konzeptionen darstellen“, so dass sie von den unterschiedlichen normativen Theorien unabhängig und mit jeder akzeptablen Ethik verträglich sind. Sie werden daher als Prinzipien mittlerer Reichweite (englisch mid-level-principles) bezeichnet und sollen außerdem an die moralischen Alltagsüberzeugungen (englisch common morality) anknüpfen. Es gibt hier kein oberstes Prinzip, das die Anwendung der anderen Prinzipien regelt, vielmehr kann es im konkreten Anwendungsfall durchaus Kollisionen zwischen den Prinzipien geben.
Die Anwendung der Prinzipien auf einen konkreten Fall ist keine einfache Herleitung, sondern sie verlangt einerseits eine genaue Beschreibung der Handlungsalternativen und andererseits eine sorgfältige Interpretation und Gewichtung der Prinzipien. Ziel ist ein Überlegungsgleichgewicht wie es John Rawls in seiner Theorie der Gerechtigkeit eingeführt hat. Das Überlegungsgleichgewicht liefert kein kategorisches Urteil, sondern eine sogenannte Prima-facie- oder Ceteris-paribus-Entscheidung. „Es wird in schwierigen Fällen nicht gelingen, ein für alle Mal richtige moralische Urteile zu fällen, sie sind vielmehr immer vorläufig (defeasible).“

### Partikularistischer Ansatz

„Moralischer Partikularismus ist die Auffassung, dass der moralische Status einer Handlung nicht durch moralische Prinzipien bestimmt wird, sondern von der Konfiguration der moralisch relevanten Merkmale der Handlung in einem bestimmten Kontext abhängt. Die Hauptmotivation für den moralischen Partikularismus ergibt sich aus der Beobachtung, dass Ausnahmen von Prinzipien üblich und Ausnahmen von Ausnahmen nicht ungewöhnlich sind. Moralische Grundsätze, die nur für homogene Fälle geeignet sind, scheinen zu grob zu sein, um die feinen Nuancen in heterogenen moralischen Situationen zu berücksichtigen.“ Ob eine Eigenschaft ethisch für oder gegen eine Handlung spricht, hängt im Allgemeinen von den anderen Eigenschaften und Randbedingungen der Handlung ab. Beim partikularistischen Ansatz werden konkrete Handlungsoptionen sorgfältig beschrieben und mit ähnlich gelagerten Fallbeispielen verglichen. Auch der partikularistische Ansatz greift auf ethische Prinzipien und Werte zurück. Andere Bezeichnungen für diesen Ansatz sind rekonstruktives Modell oder kasuistischer Ansatz.

## Ethische Prinzipien der künstlichen Intelligenz

Eine Analyse von 84 Dokumenten mit ethischen Prinzipien und Richtlinien für KI, die überwiegend zwischen 2016 und 2019 veröffentlicht wurden, identifizierte 11 übergreifende ethische Prinzipien. Nach der Häufigkeit ihres Auftretens geordnet sind dies:
* Transparenz, Erklärbarkeit, Interpretierbarkeit.
* Gerechtigkeit, Fairness, Gleichheit, Inklusion, Pluralität, Vermeidung informationeller Voreingenommenheit (englisch bias).
* Schadensvermeidung, keine Diskriminierung.
* Verantwortung und Rechenschaftspflicht.
* Schutz der Privatsphäre, Datenschutz und Datensicherheit.
* Gemeinwohl, Schaffung sozioökonomischer Chancen und wirtschaftlichen Wohlstands.
* Freiheit und Autonomie, Meinungsfreiheit, informationelle Selbstbestimmung, freie Wahl der Plattform und Technologie, Schutz vor technologischen Experimenten, Manipulation und Überwachung.
* Vertrauen, vertrauenswürdige KI-Forschung, KI-Technologie und Designprinzipien.
* Nachhaltigkeit.
* Würde als Vorrecht des Menschen respektieren, bewahren und stärken.
* Solidarität, Auswirkungen von KI auf den Arbeitsmarkt und den sozialen Zusammenhalt, Nutzbarkeit der KI für alle Glieder der Gesellschaft.
Luciano Floridi und Josh Cowls warnen davor, dass die Vielzahl unterschiedlicher KI-Regelwerke eher zu Verwirrung führt und dass ein „Markt für Prinzipien entsteht, auf dem Interessenten versucht sein könnten, sich die attraktivsten herauszupicken.“ Ihre Analyse von sechs hochrangigen Initiativen für gesellschaftlich nützlichen Einsatz von KI ergab eine weitgehende Übereinstimmung der ethischen Prinzipien, so dass es nach ihrer Ansicht möglich ist, die KI-Ethik auf die vier Prinzipien der Medizinethik und ein zusätzliches fünftes Prinzip Erklärbarkeit zu gründen:
* Fürsorge (Benefizienz): KI-Technologie soll der Menschheit nützen, das Wohlergehen fördern, die Menschenwürde wahren und der Erhaltung des Planeten dienen.
* Schadensvermeidung (Non-Malefizienz): Negative Folgen eines übermäßigen oder missbräuchlichen Einsatzes von KI müssen vermieden werden, KI soll nur in einem sicheren Rahmen eingesetzt werden.
* Autonomie: Menschen müssen die volle Entscheidungsfreiheit darüber haben, ob und welche Aufgaben sie an KI-Systeme delegieren, ihre Freiheit, sich eigene Normen und Standards zu setzen, muss gewahrt bleiben.
* Gerechtigkeit: Wahrung der Solidarität, Vermeidung von Ungerechtigkeit, gleichberechtigter Zugang zu den Vorteilen der KI.
* Erklärbarkeit (Verständlichkeit): Die Prinzipien 1 bis 4 sind nur realisierbar, wenn auch Laien nachvollziehen können, welchen Nutzen oder Schaden KI für die Gesellschaft hat und wer für welche Auswirkungen verantwortlich ist. Siehe auch: Explainable Artificial Intelligence

## Debatten der KI-Ethik
### Autonomes Fahren

Die Stufen des automatisierten Fahrens werden durch die Norm SAE J3016 definiert. Ethische Probleme betreffen vor allem die Automatisierungsstufen 4 (Hochautomatisierung: das System kann in spezifischen Anwendungsfällen die Verkehrssituationen bewältigen) und 5 (Vollautomatisierung: das System beherrscht alle Verkehrssituationen).
Im Folgenden wird die Diskussion in Deutschland dargestellt. Wesentliche Quelle dafür ist der Bericht der vom Bundesministerium für Digitales und Verkehr eingesetzten Ethikkommission. Die Stanford Encyclopedia of Philosophy zählt ihn zu den bemerkenswerten politischen Bemühungen in diesem Bereich. „Die daraus resultierenden deutschen und EU-Gesetze über die Zulassung des automatisierten Fahrens sind wesentlich restriktiver als die entsprechenden Vorschriften in den USA, wo das ‚Testen beim Verbraucher‘ von einigen Unternehmen als Strategie eingesetzt wird.“

#### Ziele für den Einsatz autonomer Fahrzeuge

Automatisierte Verkehrssysteme sollen helfen, die Sicherheit für alle Verkehrsteilnehmer zu verbessern, die Mobilitätschancen zu erhöhen und weitere Vorteile wie Ressourcenschonung oder Umweltschutz zu unterstützen. Die Zulassung automatisierter Systeme ist nur dann vertretbar, wenn sie im Vergleich zur menschlichen Fahrleistung zumindest eine Schadensminderung verspricht. Eine Vollautomatisierung wird kritisch gesehen, da sie zu einem Verlust von Fähigkeiten führt und damit das autonome Handeln des Menschen einschränkt.

#### Reaktion in Gefahrensituationen

Eine Vielzahl fachlicher und populärer Veröffentlichungen behandelt die Frage, wie ein autonomes Fahrzeug bei plötzlich auftretenden Gefahren reagieren soll. Als besondere Schwierigkeit gilt, dass diese Entscheidung bereits während der Programmierung getroffen werden muss, also zu einem Zeitpunkt, an dem die Details der konkreten Situation noch nicht bekannt sind.
Als Modell für solche Entscheidungssituationen wird häufig das moralische Dilemma des Trolley-Problems in seinen verschiedenen Varianten herangezogen. Fachleute bezweifeln, ob ein autonomes Auto jemals das Trolley-Problem zu lösen haben wird. Denn dabei „handelt es sich um Gedankenexperimente, bei denen die Wahlmöglichkeiten künstlich auf eine kleine, endliche Anzahl verschiedener, einmaliger Optionen beschränkt sind und der Akteur über perfektes Wissen verfügt“.
Die Ethikkommission ist ähnlicher Auffassung: „Echte dilemmatische Entscheidungen, wie die Entscheidung Leben gegen Leben … sind nicht eindeutig normierbar und auch nicht ethisch zweifelsfrei programmierbar.“ In Gefahrensituationen besitzt der Schutz menschlichen Lebens höchste Priorität. „Bei unausweichlichen Unfallsituationen ist jede Qualifizierung nach persönlichen Merkmalen (Alter, Geschlecht, körperliche oder geistige Konstitution) strikt untersagt. Eine Aufrechnung von Opfern ist untersagt. Eine allgemeine Programmierung auf eine Minderung der Zahl von Personenschäden kann vertretbar sein. Die an der Erzeugung von Mobilitätsrisiken Beteiligten dürfen Unbeteiligte nicht opfern.“
Eine Studie über die Akzeptanz von Entscheidungsstrategien hat gezeigt, dass die Mehrheit der Befragten eine utilitaristische Strategie, die auf eine Minimierung der Opferzahl setzt, befürwortet und wünscht, dass andere solche Fahrzeuge kaufen, aber selbst ein Fahrzeug vorziehen würde, das seine Insassen um jeden Preis schützt.

#### Haftung und Verantwortung

„Die dem Menschen vorbehaltene Verantwortung verschiebt sich bei automatisierten und vernetzten Fahrsystemen vom Autofahrer auf die Hersteller und Betreiber der technischen Systeme und die infrastrukturellen, politischen und rechtlichen Entscheidungsinstanzen.“ Damit lehnt die Ethikkommission auch Überlegungen ab, die Haftung der Automobilhersteller zu begrenzen, um dadurch die Entwicklung und Verbesserung autonomer Fahrzeuge zu fördern und die Zahl schwerer Unfälle erwartungsgemäß zu senken.
Soll der Nutzer verpflichtet werden, auf die Straße und den Verkehr zu achten und gegebenenfalls einzugreifen? Nida-Rümelin lehnt das ab, weil es Blinde oder ältere Menschen von der Benutzung autonomer Fahrzeuge ausschlösse und weil die Entwicklung bald einen Stand erreichen wird, an dem der Mensch nicht mehr wirksam eingreifen kann. Die Ethikkommission verlangt darüber hinaus, „Software und Technik hochautomatisierter Fahrzeuge müssen so ausgelegt werden, dass die Notwendigkeit einer abrupten Übergabe der Kontrolle an den Fahrer (‚Notstand‘) praktisch ausgeschlossen ist.“
Die verschuldensunabhängige Haftung für das allgemeine Risiko der Fahrzeugnutzung soll auch für autonome Fahrzeuge über eine allgemeine Haftpflichtversicherung abgesichert werden.

#### Einschränkung der menschlichen Autonomie

Wenn autonome Fahrzeuge zur Erhöhung der Sicherheit führen, muss dann die (freiwillige) Übernahme der Steuerung durch den Menschen (Overruling), ausgeschlossen werden? Die Ethikkommission hält es für einen Ausdruck der Autonomie des Menschen, dass er auch objektiv unvernünftige Entscheidungen wie aggressives Fahren oder überhöhte Geschwindigkeit treffen kann. Es widerspräche dem Leitbild des mündigen Bürgers, wenn der Staat ein solches Verhalten bereits im Ansatz unterbinden wollte. „Er könnte damit die Grundlage einer humanen, freiheitlichen Gesellschaft untergraben. … Die Verminderung von Sicherheitsrisiken und die Begrenzung der Freiheit muss im demokratischen und grundrechtlichen Abwägungsprozess entschieden werden: Es besteht keine ethische Regel, die Sicherheit immer vor Freiheit setzt.“ Auch eine verpflichtende Einführung autonomer Systeme lässt sich nicht mit einer Erhöhung der Sicherheit begründen.

#### Datenhoheit

Grundsätzlich entscheiden Fahrzeughalter oder Fahrzeugnutzer über Weitergabe und Verwendung ihrer anfallenden Fahrzeugdaten. Die Entwicklung des automatisierten Fahrens könnte aber auf eine zentrale Verkehrssteuerung mit der Erfassung aller Kraftfahrzeuge hinauslaufen, die einen bedeutenden Gewinn an Verkehrssicherheit, Effizienz und Komfort bringen würde. Solche zentralen Strukturen gefährden allerdings die Freiheit des Einzelnen, sich unerkannt, unbeobachtet und frei zu bewegen, und sie bergen das Risiko eines Missbrauchs. „Eine kritische Reflektion des Machbaren vor dem Hintergrund des Sinnvollen, Maßvollen und ethisch Verantwortbaren sollte daher stattfinden.“

#### Lernende Systeme

Lernende Systeme werden während der Entwicklung trainiert, sie unterliegen der Kontrolle des Herstellers und der Zulassungsbehörden. Selbstlernende Systeme, die sich im laufenden Fahrbetrieb verändern, können ethisch erlaubt sein, wenn sie Sicherheitsgewinne bringen und Abnahmetests unterliegen. Beim gegenwärtigen Stand der Technik sollten sie jedoch von sicherheitsrelevanten Funktionen entkoppelt sein.

### Autonome Waffensysteme

KI wird weltweit für verschiedene militärische Aufgaben eingesetzt, um Prozesse zu optimieren und zu beschleunigen. Für die KI-Ethik sind vor allem zwei Anwendungsbereiche relevant: autonome Waffensysteme und der Einsatz von KI bei der Zielplanung und bei Führungsprozessen.
Definition des Internationalen Komitees vom Roten Kreuz: „Autonome Waffensysteme wählen Ziele aus und wenden Gewalt an, ohne dass ein Mensch eingreift. Nach der anfänglichen Aktivierung oder dem Start durch eine Person leitet ein autonomes Waffensystem als Reaktion auf Informationen aus der Umgebung, die es über Sensoren erhält, und auf der Grundlage eines allgemeinen ‚Zielprofils‘ selbst einen Angriff ein oder löst ihn aus. Dies bedeutet, dass der Anwender das/die konkrete(n) Ziel(e) und den genauen Zeitpunkt und/oder Ort der daraus resultierenden Gewaltanwendung(en) nicht auswählt oder gar kennt. Der Einsatz autonomer Waffensysteme ist mit Risiken verbunden, da ihre Auswirkungen nur schwer vorhersehbar und begrenzbar sind. Dieser Verlust an menschlicher Kontrolle und Urteilsfähigkeit bei der Anwendung von Gewalt und Waffen wirft aus humanitärer, rechtlicher und ethischer Sicht ernsthafte Bedenken auf.“
Autonome Waffensysteme (AWS) werden auch als Roboterwaffen oder Killerroboter bezeichnet. Tödliche autonome Waffensysteme (englisch Lethal Autonomous Weapon Systems, LAWS) sind AWS, die ausdrücklich für den offensiven Einsatz bestimmt sind.
Je nach Einflussmöglichkeit des Menschen werden drei Autonomiestufen unterschieden:
* human–in–the–loop (HITL): keine Autonomie, der Mensch trifft alle Entscheidungen, ggf. auch per Fernbedienung.
* human–on–the–loop (HOTL): die Prozesse können autonom ablaufen, der Mensch bleibt jedoch in der Kontrollschleife und kann jederzeit eingreifen.
* human–out–of–loop (HOOL): vollständige Autonomie, eine Kontroll- und Eingriffsmöglichkeit des Menschen ist nicht mehr vorgesehen.
Es gibt Vorschläge, militärische Entscheidungsprozesse näher an das Kampfgeschehen heranzuführen und z. B. im Cockpit von Kampfflugzeugen zu installieren, damit KI den Piloten bei der Entscheidungsfindung unterstützt. In Situationen mit extrem hohem Tempo (z. B. bei der Raketenabwehr oder bei hochintensiven Einsätzen), in denen der Mensch nicht mehr in der Lage ist, ein fundiertes Urteil zu fällen, sollte eine regelbasierte KI-Anwendung die Aufgabenkontrolle ohne menschliches Eingreifen übernehmen (HOOL-Modus).

#### Ethikmodul für autonome Waffensysteme

Grundlagen für die ethische Bewertung von AWS sind das humanitäre Völkerrecht, die Lehre vom gerechten Krieg und die Rules of Engagement.
Das bislang am weitesten durchdachte Ethikmodul für LAWS wurde von Ronald C. Arkin zwischen 2006 und 2009 im Auftrag des US-Verteidigungsministeriums entwickelt Arkins System basiert auf vier ethischen Prinzipien, die sich aus dem Kriegs- und Völkerrecht ergeben:
* Unterscheidung zwischen legitimen und illegitimen Zielen: Legitim sind Kombattanten und militärische Objekte, nicht legitim sind Zivilpersonen und nichtmilitärische Ziele, insbesondere geschützte Objekte wie Schulen oder Krankenhäuser.
* Militärische Notwendigkeit: Der Angriff auf legitime Ziele ist nur dann erlaubt, wenn dadurch ein militärischer Vorteil zu erwarten ist.
* Vermeidung unnötiger Leiden und Kollateralschäden (siehe auch: Prinzip der Doppelwirkung).
* Verhältnismäßigkeit der Aktionen.
Die Entwicklung eines künstlichen moralischen Agenten für solche komplexen Abwägungen ist allerdings noch eine ungelöste Aufgabe. Selbst wenn es ein Ethikmodul gäbe, bliebe die Frage, wie sichergestellt werden kann, dass es sich tatsächlich an die Regeln hält. Wer soll diese Waffen wie testen, so dass sich ein Staat auf die Einhaltung des Kriegsvölkerrechts verlassen kann?

#### Gründe für und gegen autonome Waffen- und Führungssysteme

Gründe für AWS:
* Hohe Reaktionsgeschwindigkeit und Genauigkeit, Entscheidungen beruhen auf einer breiteren Informationsbasis, da KI-Systeme große Informationsmengen mit hoher Geschwindigkeit verarbeiten können.
* Reduzierung der menschlichen Kosten des Krieges, geringere Risiken für Soldaten.
* AWS haben keine Emotionen, keine menschliche Schwächen und brauchen keine Pausen.
* Strikte Einhaltung des Kriegsrechts und der Einsatzregeln gemäß ihrer Programmierung, wodurch Kriegsverbrechen und Gräueltaten weniger wahrscheinlich werden, so dass Non-Kombattanten und zivile Infrastruktur besser geschützt werden.
* AWS können in Umgebungen eingesetzt werden, in denen eine menschliche Fernsteuerung nicht möglich ist (z. B. unter Wasser).
* Auf lange Sicht können AWS billiger sein als Soldaten.
Gründe gegen AWS:
* Verletzung der Menschenwürde: „Algorithmen könnten … eigenständig, ohne menschliches Einwirken, Entscheidungen über Leben und Tod treffen. Das ist aus moralischer Perspektive höchst problematisch, da ein solches Vorgehen Menschen objektiviert und die Menschenwürde verletzt.“
* Zerstörung der moralischen Instanz des Menschen: „Der Mensch hat eine moralische Instanz, die seine Entscheidungen und Handlungen leitet, selbst in Konflikten, in denen Tötungsentscheidungen gewissermaßen normal sind. Autonome Waffen schränken die menschliche Handlungsfähigkeit bei Entscheidungen zum Töten, Verletzen und Zerstören ein oder drohen sie sogar aufzuheben. Dies ist ein entmenschlichender Prozess, der unsere Werte und unsere gemeinsame Menschlichkeit untergräbt.“
* Verantwortungslücke: Wem soll die Verantwortung für ein Fehlverhalten des Systems zugeschrieben werden, wenn es unbeabsichtigt und unvorhersehbar war und keine Kontrolle mehr über das AWS bestand? Selbst ein Mensch in der Kontrollschleife (HOTL–Modus), ist auf die Daten der Maschine angewiesen und steht unter immensem Zeitdruck, so dass er kaum in der Lage ist einzugreifen.
* Fehleranfälligkeit von AWS: Aufgrund ihres begrenzten Urteilsvermögens könnten sie rechtswidrige Befehle oder unverhältnismäßige Aktionen ausführen.
* AWS könnten die Kriegsgefahr erhöhen, indem sie Kriege weniger schlimm machen (siehe oben).
* Cyberattacken könnten AWS so verändern, dass sie zu einer unkontrollierbaren Gefahr werden.

#### Initiativen für Verbot oder Regulierung von AWS

Im Jahr 2008 forderte die in London ansässige „Landmine Action“, das Verbot von LAWS im Rahmen der Landminen-Verbotskonvention.
Am 30. September 2009 wurde unter der Leitung von Noel Sharkey das „International Committee for Robot Arms Control“ (ICRAC) gegründet, das sich für eine Beschränkung des militärischen Einsatzes von Robotern einsetzt.
Im April 2013 wurde die „Campaign to Stop Killer Robots“ gegründet. Ihre mehr als 180 Mitgliedsorganisationen (Stand 2023) setzen sich für ein präventives Verbot von LAWS ein.
Der Berichterstatter des UN-Menschenrechtsrats empfahl 2013 nationale Moratorien für die Produktion, Beschaffung, Erprobung und den Einsatz von LAWS, bis ein internationales Rahmenwerk vereinbart ist.
Im Juli 2015 wurde auf der International Joint Conference on Artificial Intelligence in Buenos Aires ein offener Brief präsentiert, in dem über 1.000 hochrangige Expertinnen und Experten vor einem militärischen Wettrüsten mit KI warnen und ein Verbot von LAWS fordern.
Im Rahmen der UN-Waffenkonvention führen die über 100 Vertragsstaaten seit 2014 Gespräche auch über LAWS. Im Jahr 2017 wurde eine „Gruppe von Regierungsexperten“ eingerichtet, die ein Rahmenwerk zu LAWS als Vorstufe für ein rechtsverbindliches Zusatzprotokoll erarbeiten soll. Ein Schritt in diese Richtung waren die 11 unverbindlichen Leitprinzipien, auf die sich die Vertragsstaaten 2019 geeinigt haben. Die zwei wichtigsten Prinzipien sind:
* „Das humanitäre Völkerrecht gilt weiterhin uneingeschränkt für alle Waffensysteme, einschließlich der potenziellen Entwicklung und des Einsatzes von tödlichen autonomen Waffensystemen.“
* „Die menschliche Verantwortung für Entscheidungen über den Einsatz von Waffensystemen muss beibehalten werden, da Verantwortung nicht auf Maschinen übertragen werden kann. Dies ist über den gesamten Lebenszyklus des Waffensystems zu berücksichtigen.“

### Maschinenethik

Auf der IEEE-Robotics-Konferenz 2002 in Genua wurde vereinbart, das Gebiet der Roboter-Ethik aufzuteilen:
* Maschinenethik (englisch machine ethics) befasst sich mit dem Verhalten von Maschinen gegenüber Menschen. „Die Maschinenethik ist eine Ethik für Maschinen, für ‚ethische Maschinen‘, für Maschinen als Subjekte, und nicht für die menschliche Nutzung von Maschinen als Objekte.“
* Roboterethik (englisch roboethics) befasst sich mit dem Verhalten von Menschen gegenüber Maschinen, sowohl in der Entwurfs– als auch in der Nutzungsphase.
Susan Anderson, Pionierin der Maschinenethik, definiert: „Das ultimative Ziel der Maschinenethik ist es, eine Maschine zu schaffen, die sich in ihrem Verhalten von einem idealen ethischen Prinzip oder einer Reihe von Prinzipien leiten lässt …. Vereinfacht gesagt geht es darum, der Maschine eine ‚ethische Dimension‘ zu geben.“
Vincent C. Müller dämpft die Erwartungen: „Es ist nicht klar, ob es einen konsistenten Begriff der ‚Maschinenethik‘ gibt, da schwächere Versionen Gefahr laufen, «Ethik haben» auf Begriffe zu reduzieren, die normalerweise nicht als ausreichend angesehen würden (z. B. ohne ‚Reflexion‘ oder sogar ohne ‚Handlung‘); stärkere Begriffe, die sich in Richtung künstlicher moralischer Agenten bewegen, könnten eine - derzeit leere - Menge beschreiben.“
Das Deutsche Institut für Normung untersuchte Ethikaspekte in der Normung und Standardisierung für KI. Darin enthalten ist eine Übersicht (Stand 2020) einschlägiger ISO– und IEEE–Normen.
Maschinenethik als eine Reihe von Gesetzen zu formulieren, war eine Idee des Biochemikers und Science-Fiction-Schriftstellers Isaac Asimov. Seine Robotergesetze formulierte er erstmals 1942 in der Erzählung Runaround.

#### Verantwortlichkeit von Maschinen

Die Frage, ob Maschinen für ihre Aktionen verantwortlich sein können, wird kontrovers diskutiert, aber von den meisten Autoren verneint.
Colin Allen et al. argumentieren, dass ein künstliches System moralisch verantwortlich sein kann, wenn sein Verhalten funktional nicht von dem einer moralischen Person zu unterscheiden ist, und prägen den Begriff eines „moralischen Turing-Tests“ („If human ‚interrogators’ cannot identify the machine at above chance accuracy, then the machine is, on this criterion, a moral agent.“)
Andreas Matthias warnt vor einer Verantwortungslücke: Da der Hersteller oder Betreiber einer lernenden Maschine prinzipiell nicht mehr in der Lage ist, deren zukünftiges Verhalten vorherzusagen, kann er dafür auch nicht moralisch verantwortlich oder haftbar gemacht werden.
Matthias Rath legt dar, dass Maschinen nicht verantwortlich handeln können, weil ihnen Willensfreiheit fehlt: „Die Fähigkeit, die eigene Regelvorgabe zu problematisieren – sich also über diese intentional hinweg zu setzen –, und zwar ohne Programmierung des „Aufstands“ gegen das Programm, ist für die Frage nach einem ethischen bzw. ethisch relevanten moralischen Akteur unabdingbar. … Freiheit ist, wie Immanuel Kant … gezeigt hat, zwar nicht empirisch belegbar, aber sie ist als notwendiges Postulat der moralischen Handlung ‚unmittelbar gewiss‘.“
Nach Meinung des Deutschen Ethikrats können Maschinen keine Verantwortung übernehmen: „Moralische Verantwortung können nur natürliche Personen übernehmen, die über Handlungsfähigkeit verfügen, d. h. in der Lage sind, aktiv, zweckgerichtet und kontrolliert auf die Umwelt einzuwirken und dadurch Veränderungen zu verursachen. … Verantwortung kann daher nicht direkt von maschinellen Systemen übernommen werden, sondern nur von den Menschen, die in je unterschiedlichen Funktionen hinter diesen Systemen stehen, gegebenenfalls im Rahmen institutioneller Verantwortung.“ „Selbst wenn Maschinen komplexe Vollzüge oder Operationen durchführen … und flexibel mit anspruchsvollen Herausforderungen der menschlichen Lebenswelt umgehen können, führen sie diese Veränderungen aber nicht absichtlich herbei und haben sie diese daher auch nicht in einem moralischen und rechtlichen Sinne zu verantworten. … Das Intentionalitätskriterium ist entscheidend für die Möglichkeit der Zuschreibung von Verantwortung im Kontext von Mensch-Maschine-Interaktionen.“
Der sogenannte Automation Bias – Menschen vertrauen algorithmisch generierten Ergebnissen und automatisierten Entscheidungsverfahren oft mehr als menschlichen Entscheidern – kann dazu führen, dass mit der Zeit das KI-System als Entscheider angesehen wird und menschliche Autorschaft und Verantwortung ausgehöhlt werden.

### Künstliche moralische Agenten

Die Abkürzung AMA für künstliche moralische Agenten geht auf die englische Bezeichnung „artificial moral agent“ zurück.
Ein rationaler Agent (auch als intelligenter Agent bezeichnet) nimmt seine Umgebung mit Hilfe von Sensoren wahr und wählt selbständig Aktionen aus, um ein vorgegebenes Ziels zu erreichen, zudem kann er seine Performance durch Lernen verbessern. Er zeichnet sich also durch Interaktivität, Autonomie und Anpassungsfähigkeit aus. (siehe auch Software-Agent). Ein moralischer Agent ist ein rationaler Agent, der fähig ist, seine Aktionen nach ethischen Grundsätzen auszurichten und – zumindest auf einer höheren Stufe – seine Handlungen auch zu begründen. Daraus folgt nicht, dass moralischen Agenten auch Verantwortung zugeschrieben werden kann, denn dazu fehlt ihnen die Willensfreiheit.
James Moor definiert vier Kategorien ethischer Agenten::
* Agenten mit ethischen Auswirkungen: Agenten, die moralische Konsequenzen erzeugen, ohne dass diese Konsequenzen als solche beabsichtigt sind.
* Implizit ethische Agenten: Agenten, die so entwickelt wurden, dass sie unethische Ergebnisse vermeiden. Sie besitzen keine wirkliche Handlungsfähigkeit, da ihre moralischen Qualitäten ausschließlich auf ihre Konstrukteure zurückzuführen sind.
* Explizit ethische Agenten: Agenten, die moralisch relevante Informationen erkennen und verarbeiten können und moralische Entscheidungen treffen.
* Vollständig ethische Agenten: Agenten, die explizit moralische Urteile fällen und begründen können.
Für Wendell Wallach und Colin Allen wird der Grad von Moralität durch die unterschiedliche Ausprägung der beiden Dimensionen Autonomie und ethische Sensibilität bestimmt. Zwischen operationaler Moralität, die der untersten Stufe bei Moor entspricht, und einer voll ausgebildeten Moralität wie beim Menschen positionieren sie die als technisch realisierbar angesehene funktionale Moralität, bei der eine Maschine selbst fähig ist, moralische Herausforderungen zu bewerten und darauf zu reagieren.$^{:9}$
Moralische Agenten werden vor allem im Zusammenhang mit autonomen Waffensystemen und autonomen Fahrzeugen diskutiert.
Das erste ausgearbeitete Konzept eines moralischen Agenten war das von Ronald C. Arkin entwickelt Ethikmodul für autonome Waffensysteme.

#### Realisierung moralischer Agenten

Gegen eine Realisierung moralischer Agenten spricht der auf John Searles Gedankenexperiment des chinesischen Zimmers zurückgehende Einwand, dass Maschinen keine mentalen Zustände haben können. Eine moralische Handlung setzt aber den mentalen Zustand der Absicht voraus.
Der in der modernen Kognitionspsychologie verbreitete philosophische Funktionalismus umgeht Searles Einwand, indem er mentale Zustände als funktionale Zustände versteht: Auf einen bestimmten Input reagiert das System in Abhängigkeit vom aktuellen Zustand mit einem bestimmten Output und geht in einen anderen funktionalen Zustand über. Die repräsentationale Theorie des Geistes von Jerry Fodor verbindet diese Sichtweise mit der Computertheorie des Geistes. Mentale Prozesse werden als Turing-ähnliche Berechnungen über strukturierten Symbolen – den mentalen Zuständen – verstanden. Für die Realisierbarkeit moralischer Agenten genügt es, dass Computer funktionale Zustände haben, die funktional äquivalent zu mentalen Zuständen sind. Catrin Misselhorn bezeichnet sie als quasi-intentionale Zustände.$^{:36–39}$
Für die Implementierung moralischer Agenten werden drei unterschiedliche Ansätze verfolgt.
* Der Top-down–Ansatz entspricht dem prinzipienethischen Ansatz. Es wird versucht, moralische Prinzipien im Agenten abzubilden, aus denen der Agent dann ableitet, was in der konkreten Situation zu tun ist.$^{:40}$
* Der Bottom-up–Ansatz entspricht dem partikularistischen Ansatz, der auf der Fähigkeit beruht, die ethisch relevanten Aspekte einer Situation zu erkennen. Um diese Fähigkeiten in künstlichen Systemen zu realisieren, wird die Mustersuche in einer Datenmenge mit einem Lernenprozess kombiniert, der eine Art ethische Evolution nachbildet.$^{:40–41}$
* Der hybride Ansatz geht von einem vorgegebenen ethischen Regelwerk aus und passt es in einem Lernprozess an den spezifischen Anwendungsfall an.$^{:41}$
Problem des Regelkonflikts: In einer moralisch zu beurteilenden Situation können mehrere Prinzipien von Bedeutung sein. Der moralische Agent muss herausfinden, welche Prinzipien in einer Situation gelten und wie sie im Konfliktfall in Einklang zu bringen sind.
Problem des Kontextwechsels: Wenn der moralische Agent für einen bestimmten Anwendungsbereich programmiert oder trainiert wurde, ist unklar, in welchen anderen Anwendungskontexten er eingesetzt werden kann.
„Alle nicht-trivialen Beispiele für den echten Einsatz von KI sind bisher auf dem Niveau von ‚Agenten mit ethischen Auswirkungen‘. Ihr Verhalten kann nicht ethisch genannt werden, weil die Intention fehlt, die eine Handlung erst ethisch macht.“

### Datenschutz und Überwachung

Hinsichtlich ihrer wirtschaftlichen und gesellschaftlichen Bedeutung stehen seit der Jahrtausendwende vor allem KI-Systeme im Vordergrund, die auf Techniken des Maschinellen Lernens beruhen. Diese Systeme werden typischerweise mit großen Mengen von Daten trainiert, die häufig als nutzergenerierte Daten, Kommunikationsmetadaten oder Internetinhalte der sozialen Welt entnommen sind. Die US-amerikanische Wirtschaftswissenschaftlerin Shoshana Zuboff spricht bei der wirtschaftlichen Umsetzung dieser Technologie von Überwachungskapitalismus (Surveillance Capitalism). Der deutsche Philosoph Rainer Mühlhoff argumentiert, dass die heutige Erfolgswelle von KI nur durch das Verfügbarwerden großer Mengen nutzergenerierter Daten infolge der Entwicklung der Sozialen Medien in den 2010er Jahren möglich wurde. Deshalb sei das Problem der Datennutzung und die daran anschließenden Fragen der Datenethik und des Datenschutzes zentral für die Ethik der Künstlichen Intelligenz. So beruhe "künstliche Intelligenz, wie wir sie heute kennen und wie sie spürbar unsere Gesellschaften prägt, wesentlich auf Daten, und zwar auf unseren Daten", so dass "ein ethischer Umgang mit dieser Technologie […] ein Bewusstsein über die damit verbundenen Machtverhältnisse zwischen Unternehmen und Individuen" voraussetze.