# Gesichtserkennung

Gesichtserkennung bezeichnet die Analyse der Ausprägung sichtbarer Merkmale im Bereich des frontalen Kopfes, gegeben durch geometrische Anordnung und Textureigenschaften der Oberfläche.
Sowohl Menschen, als auch diverse andere Spezies sind dazu in der Lage eigene Artgenossen und teilweise auch Individuen anderer Arten an den Gesichtsmerkmalen zu unterscheiden. Künstliche Intelligenz lässt sich ebenfalls so programmieren, dass sie menschliche (oder tierische) Gesichter erkennt.

## Begriffsunterscheidung

Es ist zu unterscheiden zwischen der Lokalisation eines Gesichts im Bild und der Zuordnung des Gesichts zu einer bestimmten Person. Im ersten Fall wird geprüft, ob und wo ein Gesicht zu sehen ist, im zweiten, um wen es sich handelt.
Geht es um die Gesichtserkennung im Sinne des Erkennens, um welches Gesicht es sich handelt, dann kann man zwei Fälle unterscheiden: Sollte dies durch Menschen geschehen, wird im englischen Sprachraum von face perception gesprochen, während eine Gesichtserkennung durch Maschinen als face recognition bezeichnet wird. Menschen, die besonders zur Gesichtserkennung befähigt sind, setzt die Polizei für Aufklärungszwecke als Super-Recognizer ein.
Einige Tierarten können Gesichter bei Tieren der gleichen Art oder auch bei Tieren einer anderen Art, einschließlich Menschen, unterscheiden und in dem Sinn erkennen. Hier werden die Begriffe face perception und face recognition (conspecific/heterospecific) verwendet.

## Die Fähigkeit zur Gesichtserkennung
### Beim Menschen

Beim Menschen ist die Gesichtserkennung an die Funktionen des Großhirns, genauer der Occipitallappen, gebunden. Ein teilweises oder völliges Fehlen dieser Fähigkeit heißt Prosopagnosie.
Die Fähigkeit zur Erkennung und Unterscheidung menschlicher Gesichtern wird von Säuglingen normalerweise innerhalb der ersten Lebensmonate erworben. Weil die Sehschärfe bei Neugeborenen noch nicht komplett ausgebildet ist, erkennen sie in ihren ersten zwei Lebensmonaten nur Gesichter in ihrem Nahbereich (in 20 bis 25 Zentimeter Entfernung). Die langsame Ausdehnung des Sichtfeldes dient als Schutz vor möglicher Reizüberflutung. Ab dem dritten Monat erkennen Babys nicht nur Gesichter, sondern auch Unterschiede in der Mimik.
Die Fähigkeit Gesichter voneinander zu unterscheiden, die nicht-menschlich sind, ist bei sechs Monate alten Babys stärker ausgeprägt als bei Erwachsenen. Mit der Zeit konzentrieren Menschen sich dann verstärkt auf Unterschiede, die wichtig sind, um menschliche Gesichter voneinander zu unterscheiden. Fähigkeit Unterschiede zu entdecken, die beispielsweise bei der Gesichtserkennung bei Makaken hilfreich sind, gehen dabei verloren.
Neugeborene interessieren sich mehr für Gesichter oder Gesichtern ähnelnde Objekte als für Anderes. Schon im letzten Drittel der Schwangerschaft öffnen Embryos die Augen und entwickeln Sehsinn. 2017 zeigten Versuche an Ungeborenen in der 34. Schwangerschaftswoche, dass sich diese statistisch signifikant einem auf die Bauchdecke der Mutter projiziertem Lichtmuster zuwenden, wenn dieses das Grundmuster eines Gesichts aufweist.
Wesentliche Beiträge zur Erforschung der Gesichtserkennung erbrachten Nancy Kanwisher, Doris Tsao und Winrich Freiwald.

### Im Tierreich

Nicht nur Säugetiere, wie beispielsweise Hunde, Affen oder Pferde sind dazu in der Lage menschliche Gesichter voneinander zu unterscheiden. In verschiedenen Studien wurde nicht nur erforscht, ob Tiere menschliche Gesichter erkennen können, sondern auch, ob sie die Gesichter ihrer eigenen Artgenossen unterscheiden können.

#### Tiere, die menschliche Gesichter unterscheiden können

An der University of Cambridge konnte nachgewiesen werden, dass Schafe menschliche Gesichter, die ihnen auf Fotos präsentiert wurden, erkennen können und zwar auch, wenn die Perspektive geändert wurde, aus der das Bild aufgenommen wurde.
Neben Säugetieren sind auch einige Vögel, darunter Krähen und Tauben, nachweislich dazu in der Lage Menschen anhand ihrer Gesichter wiederzuerkennen, wie eine, an der Universität Paris-Nanterre durchgeführte Studie, bestätigte. Selbst wenn die menschlichen Probanden identische Laborkittel trugen, unterschieden Tauben sogar zwei Frauen, die ähnlichen Alters, die sich auch hinsichtlich der Figur und der Hautfarbe nicht voneinander unterschieden.

#### Tiere die Artgenossen anhand des Gesichts voneinander unterscheiden können

Neuere Forschungsergebnisse belegen, dass auch diverse Hautflügler, wie beispielsweise Wespen, einzelne Individuen anhand ihrer unterschiedlich ausgestalteten Gesichtspartie erkennen können. Die Gesichtserkennung hilft unter anderem dabei Kämpfe mit stärkeren Tieren zu vermeiden. Zuerst konnte diese Eigenschaft 2002 bei der Papierwespe Polistes aurifer, die zu den „Echten Wespen“ gezählt wird, von einer an der Cornell University tätigen Forscherin nachgewiesen werden.

### Durch Künstliche Intelligenz

Entsprechend programmiert, ist Künstliche Intelligenz nicht nur dazu in der Lage menschliche Gesichter voneinander zu unterscheiden (siehe Abschnitt „Technische Gesichtserkennung“), sondern auch die Gesichter unterschiedlicher Tiere. Der Mensch macht sich diese Fähigkeit zu Nutze, indem er beispielsweise Katzenklappen entwickelt hat, die fremden Katzen, durch Gesichtserkennung, den Einlass verwehren.

## Technische Gesichtserkennung

In technischem Zusammenhang zählt Gesichtserkennung zu den biometrischen Verfahren. Sie wird sicherheitstechnisch, kriminalistisch und forensisch eingesetzt, zum Zweck der Identifikation oder Verifikation (Authentifizierung) natürlicher Personen. Typischerweise dient die technische, computergestützte Gesichtserkennung zur Zutrittskontrolle zu sicherheitsempfindlichen Bereichen und zur Suche nach Dubletten in Datenbanken, beispielsweise in Melderegistern zur Vermeidung von Identitätsdiebstahl.
Maßgeblich für die Erfassung und digitale Repräsentation von Gesichtsbildern für interoperable Zwecke, insbesondere zur Verwendung in elektronischen Reisepässen und Kriminalistik, ist der internationale Standard ISO/IEC 19794-5. Seine detaillierten Spezifikationen hinsichtlich Bildinhalt und Aufnahmetechnik zielen auf eine hohe Erkennungsqualität.

### 2D-Verfahren

Simple Gesichtserkennungsverfahren verwenden eine zweidimensionale (2D) geometrische Vermessung besonderer Merkmale (z. B. Augen, Nase, Mund). Hierbei wird deren Position, Abstand und Lage zueinander bestimmt. Heutige Verfahren setzen jedoch meist auf komplexe Berechnungen wie die Waveletanalyse (z. B. mittels Gabor-Transformation) oder Hauptkomponentenanalyse. Das National Institute of Standards and Technology (NIST) hat wiederholt vergleichende Untersuchungen verschiedener kommerzieller und universitärer Verfahren durchgeführt. Die Ergebnisse zeigen eine deutliche Steigerung der Erkennungsleistung innerhalb von ca. 10 Jahren. Lag die Falschrückweisungsrate bei einer gesetzten Falschakzeptanzrate von 0,1 % im Jahr 1993 noch bei praxisuntauglichen 79 % (d. h. beinahe vier von fünf Personen wurden damals nicht erkannt), so wird diese Fehlerrate heute (Stand Mitte 2006) von den leistungsfähigsten Verfahren auf nur 1 % reduziert (d. h. etwa eine von hundert Personen wird nicht erkannt). Diese Rate liegt in der gleichen Größenordnung wie die aktueller Fingerabdruck- oder Iriserkennungsverfahren und übertrifft die Fähigkeiten der menschlichen Gesichtserkennung.
2001 entwickelten zwei Informatiker die nach ihnen benannte Viola-Jones-Methode zur Gesichtserkennung. Das Verfahren beruht auf maschinellem Lernen, erkennt auch Strukturen anderer Art, etwa Verkehrszeichen für das autonome Fahren. Vergleichbar hierzu ist die Methode Histogram of oriented gradients (HOG), die ebenfalls auf Trainingsdaten beruht.

### 3D-Verfahren

Neben der zweidimensionalen biometrischen Gesichtserkennung, bei der für die Erfassung handelsübliche Kameras genutzt werden, entwickelte sich ein neuer Zweig, der auf die dreidimensionale (3D) Erfassung (z. B. mittels Streifenprojektion) des Gesichts setzt. Durch die zusätzlichen Informationen sollen höhere Erkennungsgenauigkeit, bessere Posenunabhängigkeit und Überwindungssicherheit erzielt werden. Testergebnisse des NIST zeigen, dass mit Stand Mitte 2006 die 2D-Verfahren hinsichtlich der Erkennungsleistung den 3D-Verfahren noch überlegen waren.

## Anwendung

In Deutschland wurde während des Rheinkultur-Festivals in Bonn im Herbst 2011 ein Projekt der öffentlich-rechtlichen Rundfunkanstalt WDR gestartet, die eine Gesichtserkennung der Festivalbesucher ermöglicht. Das funktioniert über (hochauflösende) Fotos der Festivalbesucher, die mithilfe der Gesichtserkennung von Facebook „getaggt“ werden. Die Gesichter werden so identifiziert und mit Facebook-Profilen verknüpft.
Die App FindFace produziert von russischen Softwareentwicklern benötigt nur ein Foto von einer Person z. B. aufgenommen auf der Straße, um dann im Internet in sozialen Netzwerken diese Person wiederzufinden (Stand Mai 2016). Das System soll z. B. dafür eingesetzt werden, um Personen, die sich in realen Geschäften z. B. eine Stereoanlage anschauen, später gezielte Werbung im Internet zustellen zu können. Aber auch Privatpersonen können Fotos von Unbekannten, die man daten möchte, auf der Straße machen, um später mit der App deren Profile im Internet zu finden und die Person zu kontaktieren. Moskaus Stadtverwaltung will die Software zukünftig nutzen, um Fotos aus Überwachungskameras mit Fahndungsfotos abzugleichen. Die Sicherheitsfirma Kaspersky hat das System getestet und attestiert dem System eine Erkennungsrate von 90 Prozent. Das System basiert auf FaceN und benutzt Techniken des maschinellen Lernens, um Gesichter zu erkennen. Dabei werden Strukturen des Gesichts analysiert, die sich auch dann nicht verändern, wenn z. B. eine Brille oder Make-up getragen werden.
Im Oktober 2016 wurde bekannt, dass sich 117 Millionen Amerikaner in der Gesichtserkennungsdatenbank des FBI befänden.
Am 1. August 2017 startete am Berliner Bahnhof Südkreuz ein Projekt des Bundesinnenministeriums und der Bahn zur Gesichtserkennung. Dabei sollten mittels dreier Kameras freiwillige Testpersonen erkannt werden, die häufiger den Bahnhof passierten. Die Testpersonen hatten zuvor ihre Namen und je zwei Fotos ihrer Gesichter hinterlegt. 275 Personen hatten sich für das Projekt freiwillig gemeldet. Das Pilotprojekt sollte zunächst für sechs Monate laufen. Es wurde schließlich nach einem Jahr am 31. Juli 2018 beendet. Datenschützer und Bürgerrechtler reagierten mit teils scharfer Kritik auf den Testlauf. Maja Smoltczyk, die Datenschutzbeauftragte des Landes Berlin, sagte dem Rundfunk Berlin-Brandenburg rbb, dies sei „ein sehr, sehr tiefgreifender Eingriff in Grundrechte, insbesondere in das Recht auf informationelle Selbstbestimmung“, also das verfassungsrechtlich verbriefte Recht, „sich unbeobachtet und anonym in der Öffentlichkeit zu bewegen“. Das Bundesinnenministerium bezeichnete das Projekt hingegen als Erfolg. Auch das Bundespolizeipräsidium wertete Gesichtserkennungsverfahren im Abschlussbericht als „wertvolle Unterstützungsinstrumente für die polizeiliche Fahndung“.
Während sich dieser erste Testlauf nur mit Gesichtserkennung befassen sollte, war zunächst ein weiterer geplant, mittels dessen laut Bundesinnenministerium softwaregestützt auch hilflose liegende Personen oder verdächtige Gegenstände automatisiert durch die Systeme erkannt und gemeldet werden. Anfang des Jahres 2021 nahm Bundesinnenminister Horst Seehofer jedoch Abstand vom Einsatz der KI-gestützten Gesichtserkennung und strich diese aus dem Entwurf des neuen Bundespolizeigesetzes.
Im August 2017 hatten Forscher der Stanford University eine KI vorgestellt, die anhand von mehr als 35.000 Fotos einer Datingplattform die Gesichtsform, den Gesichtsausdruck und die Art, wie die Person zurechtgemacht war, auslas und den sexuellen Präferenzen der Personen zuordnete. Anschließend ließen sie ihr Programm zufällige Fotos von hetero- und homosexuellen Personen untersuchen und sie einer sexuellen Orientierung zuordnen. Bei Männern lag die KI in 81 % der Fälle richtig, bei Frauen waren es 71 %. Menschliche Schätzer tippten dagegen rund 20 % schlechter. Aktivisten von HRC und GLAAD bezweifelten die Methodik der Studie, man habe lediglich nach Schönheitsstandards sortiert. Die Forscher selbst stellten fest, dass sie auch falsch liegen könnten, wiesen aber auf die Gefahren für die Betroffenen hin, sollte eine solche Technologie missbraucht werden.
Forscher der Universität von Maryland sowie vom Dartmouth College haben eine KI entwickelt, die mit 92-prozentiger Wahrscheinlichkeit an der Stimme und dem Gesichtsausdruck eines Menschen erkennen kann, ob dieser lügt. Die KI wurde mit 104 Videos trainiert, die Personen zeigen, die vor Gericht sowohl die Wahrheit als auch die Unwahrheit sagen. Die KI lernte so, minimale Änderungen im Gesichtsausdruck und der Stimme zu erkennen, um so den Wahrheitsgehalt des Gesagten zu deuten. Das System könne durch bessere Audiodaten und mehr Videomaterial noch stark verbessert werden.
Zu Beginn 2018 wurde bekannt, dass in China bei einem Pilotprojekt am Bahnhof von Zhengzhou die Polizei Sonnenbrillen mit einer Gesichtserkennungs-Software einsetzt. Innerhalb von Sekunden werden so Gesichter mit einer Verbrecherkartei abgeglichen und auf einem mobilen, Tablet-ähnlichen Computer Verdächtige angezeigt. Auf diese Weise wurden bereits sieben Kriminelle festgenommen.
Die chinesische Firma Watrix hat im November 2018 eine KI vorgestellt, die Menschen aus 50 Metern Entfernung aus den Aufnahmen einer Überwachungskamera mit einer Trefferquote von 94 Prozent allein an der Gangart des Menschen identifizieren kann. Somit ist es nicht mehr notwendig, das Gesicht einer Person zu sehen, um die Person zu identifizieren. Die Technik ist bereits in Shanghai und Peking im Einsatz.
Die schwedische Firma „Visage Technologies AB“ bietet Software zur Gesichtserkennung als SDK an.
In ihrem Artikel „We are hurtling towards a surveillance state’: the rise of facial recognition technology“ (Wir stürmen in Richtung eines Überwachungsstaats: der Aufstieg der Gesichtserkennungstechnologie), beschreibt die Journalistin Hannah Devlin wie sich ein Londoner Gaststätteneigentümer mit Hilfe von Facewatch, einer Firma zur schnellen Gesichtserkennung für Geschäfts-, Hotel- oder Casino-Kunden gegen Diebe zur Wehr setzt. Durch ein installiertes Kamerasystem werden Gesichter in kürzester Zeit mit Verdächtigen abgeglichen. In einer Cloud der Firma werden diese Datensätze gespeichert. Über eine App wird der Geschäftseigentümer bei Zutritt eines Verdächtigen in seine Geschäftsräume umgehend auf seinem Smartphone informiert. Wenn Real-time Gesichtserkennung mit der größten existierenden biometrischen Datenbank Aadhaar verbunden wird, könnte diese den perfekten Orwellschen Staat schaffen, so Hannah Devlin in ihrem Artikel. Auf der Firmen-Webseite wirbt Facewatch damit, dass zur Sommer-Olympiade in Tokio 2020 auf hunderten Intel und NEC Terminals die Gesichter von Sportlern, Sponsoren, freiwilligen Helfern und weiteren akkreditierten Personen gescannt werden.
Im Januar 2020 berichtete die New York Times, dass Clearview AI vom FBI, dem Heimatschutz und zahlreichen kleinen, lokalen Polizeibehörden eingesetzt werde.

### Authentifizierung

Ein erkanntes Gesicht kann als biometrischer Faktor für die Authentifizierung eingesetzt werden. In China wird solche KI-gestützte Gesichtserkennung verstärkt eingesetzt. Viele dieser Anwendungen, die insbesondere im Bank- und Finanzbereich beheimatet sind, basieren auf der Software Face++ von der Firma Megvii. Hierbei handelt es sich um eine auf das Deep Learning – Framework Brain++ aufbauende biometrische Anwendung. Die dahinter stehenden Algorithmen werden mit Hilfe von großen Datensätzen, also sehr vielen Bildern, trainiert. Dieses maschinelle Lernverfahren nutzt ein großes, mehrschichtiges neuronales Netzwerk, das seine Parameter in der Trainingsphase so lange anpasst, bis das Gesicht einer Person zuverlässig erkannt wird. Unter der Bezeichnung „Face ID“ vermarktet Apple eine Gesichtserkennung zur Benutzeridentifikation.

## Kritik

Kritiker der Technologie weisen auf die starken Eingriffe in die Privatsphäre hin und warnen vor dem Missbrauch für Massenüberwachung. Als abschreckendes Beispiel für einen Überwachungsstaat verweist die US-Bürgerrechtsorganisation American Civil Liberties Union auf die Volksrepublik China, deren Behörden mit etwa 200 Millionen Überwachungskameras und Gesichtserkennung landesweit Angehörige der muslimischen Minderheit der Uiguren überwachen.
Als erste Stadt weltweit beschloss San Francisco im Mai 2019 seinen Behörden und der Stadtpolizei den Einsatz von Gesichtserkennungstechnologie zu verbieten. Der Stadtrat begründet dies mit dem Schutz der Bürgerrechte. San Francisco als „Tech-Hauptquartier“ hätte hier Verantwortung zu übernehmen und müsse neue Technologien genau regulieren.
Die Anti-Rassismus-Demonstrationen in Amerika im Frühjahr 2020 haben die Diskussion um Gesichtserkennungsprogramme verstärkt, schreibt die FAZ. Deshalb ziehe sich IBM aus dem Geschäft zurück. Die Zeitung zitiert aus einem Brief des Vorstandsvorsitzenden Arvind Krishna an mehrere Mitglieder des amerikanischen Kongresses, IBM biete solche Software nicht mehr an und sei allgemein gegen diese Technologie, wenn ihr Einsatz zu Massenüberwachung, Diskriminierung und der Verletzung von Menschenrechten führe. Er glaube, so Krishna, es sei jetzt die Zeit, einen nationalen Dialog darüber zu beginnen, ob und wie Gesichtserkennungstechnologie von Strafverfolgungsbehörden eingesetzt werden sollte. Die Anti-Rassismus-Demonstrationen nach dem gewaltsamen Tod des Afroamerikaners George Floyd hatten die Diskussion um Gesichtserkennung weiter befeuert. Die FAZ zitiert aus einem Blogeintrag der Organisation Algorithmic Justice League, nach dem die Polizei bei den Protesten Gesichtserkennungstechnologie einsetze, und warnte, dies werde „einmal mehr unverhältnismäßig schwarzen Menschen schaden“.
Auch Amazon hat der US-Polizei die Anwendung seiner Gesichtserkennungssoftware untersagt. Das vorläufige Verbot gelte für ein Jahr und solle dem Kongress die Zeit geben, „angemessene Regeln“ für den Einsatz derartiger Technologien zu verabschieden, berichtete die ZEIT am 11. Juni 2020.
Im Oktober 2020 startete European Digital Rights die Kampagne „Reclaim Your Face“. Die Vereinigung von Bürgerrechtsorganisationen möchte ein Verbot von Gesichtserkennung im öffentlichen Raum erreichen. Dazu wurde am 17. Februar 2021 eine Europäische Bürgerinitiative gestartet. Diese Initiative wird von mehr als 60 Organisationen (Stand Juni 2021) unterstützt.
Am 2. März 2021 berichtete die Süddeutsche Zeitung, dass Facebook nach jahrelangem Rechtsstreit 650 Millionen US-Dollar (umgerechnet 539 Millionen Euro) wegen Einsatzes einer Gesichtserkennungssoftware an die Kläger zahle. Der 2015 in Illinois eingereichten Klage hatten sich fast 1,6 Millionen Facebook-Nutzer angeschlossen. Sie hatten Facebook beschuldigt, ohne ihre vorherige Zustimmung Gesichtserkennungssoftware für Fotos angewandt zu haben, die sie hochgeladen hatten. Jedes Mitglied der Sammelklage kann mit mindestens 345 Dollar rechnen.
Der Facebook-Betreiber Meta kündigte im November 2021 an, sein Gesichtserkennungssystem abzuschalten. Die gespeicherten Gesichtsdatensätze von mehr als einer Milliarde Menschen würden dabei gelöscht, erklärte Jerome Pesenti, Vizepräsident für künstliche Intelligenz bei der neuen Facebook-Muttergesellschaft Meta. Ganz von der Technologie verabschieden wolle sich Facebook aber nicht. Das Unternehmen versuche, die positiven Anwendungsfälle für die Technologie „gegen die wachsenden gesellschaftlichen Bedenken abzuwägen, zumal die Regulierungsbehörden noch keine klaren Regeln aufgestellt“ hätten. Man sehe „eine Reihe von Fällen, in denen die Gesichtserkennung von hohem Wert für die Nutzer der Plattform sein kann“.
Johannes Caspar kritisiert die großzügigen Ausnahmen und das Fehlen von klaren Verbotsregelungen, in dem im März 2024 beschlossenen AI Act der EU bezüglich der Gesichtserkennung durch Künstliche Intelligenz, und spricht von „Etikettenschwindel“. Bereits ein Europäischer Haftbefehl ließe sich mithilfe von Gesichtserkennungssystemen an Bahnhöfen und anderen öffentlichen Plätzen durchsetzen. Auch eine Cluster-Erkennung nach Geschlecht, politischer Zugehörigkeit oder Herkunft wäre möglich und ein Einfallstor für Diskriminierungen im täglichen Leben. Patrick Breyer spricht von einer Einführung eines „High-Tech-Überwachungsstaat“es durch das KI-Gesetz. Es ermögliche flächendeckende und permanente Echtzeit-Gesichtserkennung, einschüchternde Verhaltensüberwachung im öffentlichen Raum, fehleranfällige Gesichtserkennung in Videoüberwachungsbändern von Demonstrationen schon bei Bagatelldelikten und die KI-gestützte Auswertung der Herkunft von Personen.
Im Mai 2024 wurde bekannt, dass die sächsische Polizei in Sachsen und Berlin mit einem leistungsstarken Observationssystem Kfz-Kennzeichen und Gesichtsbilder von Fahrern aufnehmen und in Echtzeit mit Fahndungsbildern abgleichen. Hierbei erfasst das System sämtliche Fahrer, was aufgrund fehlender Rechtsgrundlage vom Deutschen Anwaltverein kritisiert wurde.
Im September 2024 riefen 13 Organisationen und weitere Einzelpersonen zum Verbot automatischer Gesichtserkennung, Biometrie-Fernerkennung und der fehleranfälligen Emotionserkennung auf und verwiesen auf entsprechende Vereinbarungen im Koalitionsvertrag sowie die rechtliche Zulässigkeit laut AI Act. Zu den Unterstützern gehörten unter anderem AlgorithmWatch, European Digital Rights, D64 – Zentrum für Digitalen Fortschritt, die Humanistische Union, Wikimedia Deutschland, sowie Katharina Nocun, Ulf Buermeyer, Markus Beckedahl und Andreas Eschbach.