# Biometrische gezichtsherkenning

Gezichtsherkenning is een biometrische techniek die gebruikt kan worden als herkennings- en identificatiemethode. Het is de technische variant van zintuiglijke gezichtsherkenning. Andere vormen van biometrie zijn irisherkenning en vingerafdrukherkenning.
Door de eigenschappen van het gezicht van een persoon te registreren en vast te leggen kan naderhand worden bepaald of de te herkennen persoon lijkt op de eigenschappen die zijn opgeslagen. De meeste methoden meten verhoudingen tussen grootte en afstand van de ogen, mond, neus en oren. Andere methoden meten het temperatuurprofiel dat door de bloedsdoorloop voor iedereen verschillend is.
Biometrische gezichtsherkenning is in ontwikkeling en wordt accurater, o.a. door het gebruik van neurale netwerken en in het bijzonder deep learning. Sinds 2021 zijn de beste biometrische systemen beter dan zintuiglijke gezichtsherkenning. Biometrische gezichtsherkenning is gevoelig voor systemische fouten als gevolg van demografie, ongeveer in dezelfde mate als zintuiglijke gezichtsherkenning.
Gezichtsherkenningssystemen worden meer en meer toegepast in situaties waarbij herkenning of zelfs identificatie van personen nodig is. Bijvoorbeeld bij multifactorauthenticatie waarbij die biometrische herkenning in aanvulling werkt op andere vormen van identiteitsvaststelling zoals bezit van een (identiteits)pas, of kennis van een geheime (pin)code. Of wanneer het nodig is om nauwkeuriger en / of efficiënter te zijn dan (alleen) met zintuiglijke gezichtsherkenning. De meest accurate prestaties worden bijvoorbeeld gehaald als mens en technologie samenwerken. Voorbeelden van (mogelijke) toepassingen zijn toegangscontrole tot fysieke en tot digitale omgevingen, grenscontrole, het identificeren van verdachten en het zoeken naar voortvluchtigen.

## Geschiedenis

De eerste computer die gezichten kon herkennen, werd in 1965 bedacht door Woodrow Bledsoe, Helen Chan en Charles Bisson. Hierbij werden foto's vergeleken met foto's uit een database, maar dit was voor een deel nog handwerk. In 1971 ontwikkelden de Amerikaanse onderzoekers Harmon, Les en Goldstein een systeem dat automatisch werkte. In 1987 kwam er een systeem dat ook meerdere gezichten op een foto kon herkennen.

## Principes van gezichtsherkenning
### De principes

Het doel van een gezichtsherkennend systeem is het herkennen of identificeren van een persoon aan de hand van (kenmerken van) zijn gezicht, met behulp van een geautomatiseerde procedure en soms zonder tussenkomst van een mens om de herkenning te doen of te verifiëren.
Zoals uit de bovenstaande formulering van het doel al volgt, is het principe van biometrische gezichtsherkenning dit:
* Een computer uitgerust met sensoren neemt een opname van het gelaat van een persoon.
* In die opname wordt een gezicht gedetecteerd en gelokaliseerd.
* Uit die gezichtsopname worden een aantal kenmerken van het gelaat van de persoon gedistilleerd.
* De computer vergelijkt die kenmerken met de kenmerken van personen die opgeslagen liggen in een databank waar de computer toegang toe heeft.
* (optioneel) Er wordt een koppeling met aanvullende gegevens gelegd, zoals de unieke administratieve identiteit. Dit is niet voor alle toepassingen nodig of mogelijk.

### Opnamen maken voor identificatie

Afhankelijk van waarvoor het systeem toegepast wordt, verschilt de manier waarop opnamen van gezichten moeten worden gemaakt. In ieder geval wordt er een fotografische opname gemaakt van het gezicht.
Een combinatie van vragen bepaalt de manier waarop de opname wordt gemaakt, waaronder "hoe accuraat moet de herkenning zijn" en "wat is praktisch in de situatie waarin het systeem toegepast zal worden". Bijvoorbeeld, voor toepassingen waarbij de persoon baat heeft bij een goede opname, mag een mate van medewerking worden verwacht. Bijvoorbeeld waar de persoon een identiteit claimt en daarmee ergens toegang toe wil. In andere situaties is die medewerking juist weer niet logisch - of mogelijk. Bijvoorbeeld waar de persoon juist niet herkend wil worden, en in feite (impliciet) claimt een (impliciete) identiteit niet te hebben.

### Detecteren en lokaliseren van gezicht in opname

Voor het detecteren van een gezicht wordt gebruik gemaakt van patroonvergelijking en beeldverwerking.

### Het distilleren van gezichtskenmerken uit een gezichtsopname

Voorbeelden van gezichtskenmerken zijn afstand tussen ogen, afstand tussen oren, stand van oren, positie van ogen en mond ten opzichte van de neus (of elkaar) en dergelijke.

### Vergelijken van gezichtskenmerken

Nadat deze kenmerken zijn opgespoord, wordt gezocht in een database naar gezichten met dezelfde kenmerken. Een lijst van overeenkomstige gezichten wordt opgesteld, naar rangorde van aantallen overeenkomstige kenmerken. Het is afhankelijk van het precieze systeem of altijd een positieve identificatie mogelijk is. Een systeem dat de toegang bewaakt tot een faciliteit waar maar een gelimiteerd aantal mensen in mag, heeft een gelimiteerde database om in te zoeken; de kans op het vinden van een exact overeenkomstig gezicht is hier hoog. Een systeem dat winkeldieven zoekt of de grens van een land bewaakt, heeft potentieel een zeer grote database om te doorzoeken; de kans dat meerdere mensen een bepaald aantal overeenkomsten vertonen, is hier hoger.

## Accuratesse van gezichtsherkenning

Menselijke gezichten zijn niet per definitie, of vanwege technische of biologische redenen uniek. Daarnaast zijn er praktische beperkingen waardoor zowel zintuiglijke gezichtsherkenning als biometrische gezichtsherkenning niet perfect accuraat kunnen werken. Daarom moet voor de accuratesse van gezichtsherkenning gebruikt worden gemaakt van de signaaldetectietheorie. Bij de stap waarin gezichtsherkenmerken worden vergeleken, wordt bij biometrische gezichtsherkenning daarom met een afstandsmaat gewerkt: een getal dat de "afstand" tussen twee gezichten beschrijft. En met een grenswaarde die bepaalt onder welke afstand twee gezichten als "gelijk" moeten worden gezien. Dit uit zich in twee eigenschappen die ieder identificatie-systeem heeft:

### False Acceptance Rate (FAR)

    Het percentage van alle uitgevoerde identificaties waarbij iemand ten onrechte door het systeem herkend wordt

### False Rejection Rate (FRR)

    Het percentage van alle uitgevoerde identificaties waarbij iemand ten onrechte door het systeem niet herkend wordt
Een fundamentele uitdaging van gezichtsherkennende systemen en mensen, is dat de bovenstaande eigenschappen tegengesteld zijn aan elkaar en hun oplossingen dus ook. Wil een systeem een laag FAR hebben, dan moet het systeem streng ingesteld worden en weinig of geen tolerantie hebben voor onnauwkeurigheden in de herkenning. Bijgevolg zorgen diezelfde onnauwkeurigheden er dan automatisch voor dat de FRR van het systeem omhoog gaat. En hetzelfde verhaal geldt omgekeerd ook.

### Problemen met opnamen

Gezichtsherkennende systemen hebben al bij het maken van opnamen te maken met allerlei onnauwkeurigheden. We hebben bijvoorbeeld al eerder opgemerkt dat een systeem dat een publiek in de gaten houdt, eigenlijk nooit een ideale opname van een gezicht kan maken omdat eigenlijk nooit iemand recht in de camera kijkt. Daar blijft het echter niet bij.
De opname-problemen van dergelijke systemen komen in feite op twee punten neer:
   * Hoe accuraat moet de opname zijn?
   * Hoe goed moet de opname zijn?
Het eerste punt heeft te maken met de problematiek van de ideale opname. Is het nodig dat een persoon recht in de camera kijkt? Hoe recht is recht genoeg? En zelfs als iemand strak en recht vooruit kijkt, staat zijn hoofd dan wel goed voor de camera?
Dit probleem speelt overduidelijk niet alleen bij de camera op straat of in de winkel. Een systeem waarbij iemand wel degelijk recht in de camera kijkt, heeft een gedeelte van hetzelfde probleem. De maker van het systeem zoekt daarbij naar een balans tussen accuratesse en ongemak. Het is bijvoorbeeld mogelijk om iedereen zijn hoofd in een beugel te laten plaatsen die het gezicht op de juiste manier voor de camera "duwt". De opname kan zo zeer accuraat zijn en een systeem opleveren waaraan je de bewaking van een kernwapen zou toevertrouwen. Een dergelijke procedure bij de douane op het vliegveld is echter totaal onpraktisch – het duurt te lang en is te onplezierig voor het publiek (zeker als het publiek slecht ter been is o.i.d.). Een opname van het systeem zal dus vaak een onnauwkeurigheid bevatten (bijvoorbeeld dat de momentopname "verschoven" is ten opzichte van de referentie-opname in de databank, of zelfs dat het gezicht niet geheel zichtbaar is, zoals bij het voorbeeld van de bewakingscamera in de winkel). De maker van het systeem zal hiervoor gedeeltelijk moeten compenseren in de bijbehorende software van het systeem, maar ook dat is niet perfect – een zekere tolerantie in het systeem om dergelijke fouten op te vangen, is noodzakelijk. Hoe groter de tolerantie, hoe groter de FAR; hoe kleiner de tolerantie, hoe groter de FRR.
Het tweede punt is veel basaler en is het probleem van elke fotograaf. Hoe goed zijn de lenzen van het systeem? Als het systeem kan compenseren voor lichaamshouding door de camera te draaien, hoe scherp is de opname dan nog? En, in geval van het in de gaten houden van publiek, wat gebeurt er bij overbelichting, onderbelichting, etc.?
Daarnaast zijn de prestaties van de technologie afhankelijk van een aantal factoren, die met name in de grootschalige praktijk moeilijk te beheersen zijn. Zo blijkt de samenstelling van de doelgroep naar sekse en het genetisch profiel van invloed op de FRR. Dit houdt verband met het feit dat biometrische systemen tijdens de ontwikkeling- en testperiode als het ware zijn getraind op niet-representatieve groepen van proefpersonen. Ook psychologie en emoties zijn van invloed. Iemand die niet kan of wil meewerken zal minder snel herkend worden. Idem wanneer iemand tijdens de controle boos kijkt terwijl de referentiefoto een lachend gezicht toont. Ten slotte blijkt uit een vendortest van 2002 van FRVT (www.frvt.org) blijkt dat veroudering een achteruitgang van de false rejection rate van circa 5 procent per jaar oplevert. De invloed van deze factoren afzonderlijk is niet bekend. Evenmin is bekend of deze factoren elkaar in de praktijk neutraliseren of versterken.

### Problemen met herkenning

Ook het herkenningsproces zelf kampt met problemen, die ook weer afhankelijk zijn van het precieze systeem.
Om te beginnen is het niet altijd even makkelijk om de kenmerken terug te vinden. Dit heeft gedeeltelijk te maken met de kwaliteit van de opnamen, maar ook met de kwaliteit van de gebruikte algoritmen. Een algoritme dat in een blok een oog zoekt en daarbij te streng is, kan in de problemen komen doordat het oog niet gevonden wordt. Of andersom, doordat te veel ogen worden gezien als het oog van een persoon die de poort door mag.
Een neuraal netwerk heeft meestal minder last van dergelijke problemen. Bij neurale netwerken is de vraag meer hoeveel invoer genoeg is. Een neuraal netwerk kan zeer goed patronen zoeken in opnamen. Die patronen kunnen echter grof zijn of heel fijnmazig. Dit heeft zijn weerslag op de accuratesse. Een mond die als geheel een invoer is, is een heel grof patroon en kan veel overeenkomsten en dus herkenningen opleveren – een hogere FAR ligt hier op de loer. Meer invoer (een verdeling van de opname in meer, individuele invoerpunten) lost dit op. Meer invoer in het netwerk betekent echter meer rekenwerk, waardoor het systeem trager wordt (of duurder, om met extra rekenkracht te kunnen compenseren).
Daarnaast zijn neurale netwerken gevoelig voor opnamefouten die patronen verstoren. Zeker als een systeem zeer veel gezichten moet kunnen herkennen en dus veel patronen heeft om in te zoeken, is het waarschijnlijk dat een aantal verschillende patronen niet veel van elkaar zullen verschillen. Naarmate de opname dan slechter wordt (heel weinig gezicht te zien, onderbelicht, etc.) wordt de kans groter dat het systeem "in de war" raakt en zo de FAR of de FRR omhoog gooit. Ook hiervoor valt gedeeltelijk te compenseren met grotere hoeveelheden invoer, tegen de kosten van meer rekenkracht of tijd. Maar in een systeem dat het publiek in de gaten houdt, zit hier toch een limiet aan – aan de achterkant van een hoofd, herken je niet veel.

### Oplossingen

Aan al deze problemen wordt gewerkt door ontwikkelaars van biometrische systemen. Er zijn bijvoorbeeld lenssystemen in ontwikkeling (of ontwikkeld) die werken met lenscodering, waarmee scherptediepte als probleem sterk vermindert. Algoritmen worden doorlopend bijgesleuteld, een neuraal netwerk kan bijleren of verfijnd worden.
Vaak wordt een combinatie van systemen gebruikt om de FAR en FRR terug te dringen – gezichtsherkenning in combinatie met vingerafdruk, bijvoorbeeld. Uiteraard wordt gezocht naar combinaties waarbij systemen wederzijds elkaars zwakten compenseren. Maar voor echte topprioriteit bewaking is ook dit vaak niet betrouwbaar genoeg en wordt er gebruik gemaakt van multifactorauthenticatie waarbij de factor "lichaam" (via biometrie) wordt gecombineerd met de factoren kennis (code) en / of bezit (pas).

## Toepassingsgebieden
### Paspoort- en identiteitscontrole

Biometrische gezichtsherkenning wordt in toenemende mate ontwikkeld om personen te identificeren bij grensovergangen, en vooral dan luchthavens.
In de SmartGates van luchthavens in Australië wordt met gezichtsherkenning de gegevens in het biometrisch paspoort geverifieerd. Gelijkaardige systemen zijn sedert 2019 in gebruik in Canada, en sedert 2018 in een terminal in Atlanta. Een eerste experiment op Brussels Airport in 2015 werd in 2020 stopgezet.
De Nederlandse overheid heeft in 2005 een proef uitgevoerd, genaamd 2 be or not 2 be, waarin werd geëxperimenteerd met paspoorten waarin biometrische kenmerken vastgelegd zijn, waaronder gelaatskenmerken. In navolging van deze ontwikkeling is het Nederlands paspoort aangepast: de pasfoto moet tegenwoordig recht van voren genomen worden, en niet meer driekwart van opzij. De persoonsregistratie digitaliseert de pasfoto's voor toekomstig gebruik.

### Toegangscontrole

Een andere toepassing is via gezichtsherkenning inloggen op een smartphone.

### Sociale media

Facebook ontwikkelde in 2007 DeepFace, een zelflerend systeem voor gezichtsherkenning, dat menselijke gezichten identificeert in digitale beelden, met een nauwkeurigheid die de menselijke herkenning zou benaderen (97,35%, tegen 97,53% voor mensen). Vanaf 2015 werd het systeem uitgerold, maar vanwege privacy-redenen niet in Europa.

## Gezichtsherkenning en privacy

Gezichtsherkenning is een vorm van verwerking van gevoelige persoonsgegevens. Het vormt daardoor inherent een inbreuk op de privacy en mag daarom - buiten privé gebruik - alleen worden toegepast als daar een goede reden voor is, met andere woorden, als daar een juridische grondslag voor is. Daarnaast zijn er allerlei andere voorwaarden zoals adequate bescherming van de data. De Europese Algemene verordening gegevensbescherming geeft in het algemeen zes soorten juridische grondslagen voor het verwerken van persoonsgegevens:
* Expliciete toestemming: de persoon heeft expliciet toestemming gegeven voor het verwerken van zijn gezichtskenmerken. Bijvoorbeeld voor het ontsluiten van zijn smartphone.
* Noodzakelijk voor de uitvoering van een contract: de persoon is een contract aangegaan met een private partij, en daarvoor is het inherent aan het doel van het contract nodig om zijn gezichtskenmerken te verwerken. Bijvoorbeeld als de persoon een contract aan gaat met een bedrijf dat zijn gezichtskenmerken voor hem beheert.
* Nodig voor het voldoen aan een wettelijke verplichting: een private partij heeft een wettelijke plicht om gezichtskenmerken te verwerken.
* Noodzakelijk om de vitale belangen van een natuurlijk persoon te beschermen. Bijvoorbeeld als de verwerking van gezichtskenmerken een urgente medische reden zou hebben.
* Noodzakelijk voor een taak van algemeen belang of als onderdeel van een wettelijke taak van een overheid. Bijvoorbeeld de taken die de overheid uitvoert om identiteitsmanagement te verzorgen, waaronder het vervaardigen, uitgeven en innemen van biometrische paspoorten.
* Noodzakelijk voor de behartiging van gerechtvaardigde belangen. Bijvoorbeeld voor het beveiligen van (de toegang tot) een gebouw.
Specifiek voor politietaken, met name voor het voorkomen, detecteren, onderzoeken en vervolgen van criminaliteit, en voor het uitvoeren van straffen, is de politierichtlijn in het leven geroepen. Zoals voor de politie om bij verdachten de identiteit te controleren met behulp van gezichtsherkenning. Deze richtlijn moet per Europese lidstaat in nationale wetgeving worden verankerd. Soms is er ook aanvullende of meer specifieke wetgeving. Zoals waar het nuttig is om toch identieke wetgeving te hebben op (een deel van) de politietaken. Zoals voor de grenspolitie om de identiteit van reizigers te controleren op basis van de Schengen Uitvoeringsovereenkomst.
Belangrijke beginselen hierbij zijn het proportionaliteitsbeginsel en het subsidiariteitsbeginsel. Proportionaliteit betekent dat de inzet van gezichtsherkenning in verhouding moet staan tot het probleem dat er mee wordt opgelost. Gezichtsherkenning bij een reguliere voetbalwedstrijd is wellicht niet proportioneel. Gezichtsherkenning bij de beveiliging van een vitale infrastructuur zoals een kerncentrale wellicht wel. Subsidiariteit betekent dat er geen minder ingrijpend middel moet zijn. Bijvoorbeeld indien de identificatie ook voldoende accuraat en robuust met een identiteitsbewijs kan dan is gezichtsherkenning wellicht niet subsidiair. Maar als een dergelijk bewijs niet beschikbaar is, dan kan gezichtsherkenning wel het minst ingrijpende middel zijn. Bijvoorbeeld bij het identificeren van verdachten komt het voor dat deze personen niet willen of kunnen meewerken aan hun identificatie.
Verdedigers van burgerrechten vrezen dat grootschalige gezichtsherkenning zou kunnen leiden tot een "totalesurveillance-maatschappij", waarbij de overheid de activiteiten van alle burgers 24/7 in de gaten kan houden. Daarbij zou de rechtmatige uitoefening van het recht van burgers om kritiek te leveren op de overheid ondermijnd worden. Deze critici verwijzen naar volgens hen verontrustende ontwikkelingen in China, waar in 2019 al 170 miljoen camera's zouden geïnstalleerd zijn, en volop gewerkt wordt aan de koppeling ervan met een Chinees sociaalkredietsysteem. Ook in China zou Huawei in 2018 testen hebben uitgevoerd waarbij een camerasysteem met behulp van kunstmatige intelligentie gezichten kon herkennen op basis van etniciteit, meer bepaald om Oeigoeren te identificeren in een menigte. Elke herkenning zou dan een "alarm" sturen naar de politie.
Eurocommissaris voor de Digitale samenleving Margrethe Vestager vond in februari 2020 automatische gezichtsherkenning in strijd met de Europese Algemene verordening gegevensbescherming.
In september 2019 bijvoorbeeld moest de Belgische federale politie van het Controleorgaan op de politionele informatie (COC) een experiment met gezichtsherkenning op de luchthaven van Zaventem daarom stopzetten. Het experiment met gezichtsherkenning kwam er naar aanleiding van de aanslagen van 22 maart 2016 met als doel het automatisch identificeren van verdachten of veroordeelde criminelen. Volgens het COC was het experiment onwettig omdat er geen voorafgaande gegevensbeschermingseffectbeoordeling was uitgevoerd, het niet bij het COC was aangemeld en er een databank van de beelden was opgericht.
Er wordt onderzoek gedaan naar manieren en technologie om de privacy bij gebruik van gezichtsherkenningstechnologie zo goed mogelijk te beschermen.

## Software en bedrijven

Verschillende bedrijven ontwikkelden software voor gezichtsherkenning, al dan niet als onderdeel van een ruimere ontwikkeling:
* SenseTime, een Chinees AI-bedrijf
* Face++ van het Chinese technologiebedrijf Megvii
* Amazon Rekognition, een Software as a Service-computerplatform voor visuele herkenning, dat door Amazon wordt geleverd aan onder meer politiediensten en privébedrijven.
In de Verenigde Staten kwam automatische gezichtsherkenning in 2020 onder vuur te liggen, naar aanleiding van de Black Lives Matter-beweging. Onder meer Amazon, IBM en Microsoft lieten weten software voor gezichtsherkenning kritisch te gaan onderzoeken, omdat die te vaak zou leiden tot etnisch profileren.

## Identiteitsfraude en verweer

Er kunnen legitieme en illegitieme redenen zijn om zich aan gezichtsherkenning te willen onttrekken. Als het illegitiem is, dan is dat een vorm van identiteitsfraude. Bijvoorbeeld wanneer met behulp van een gezichtsmasker wordt geprobeerd de telefoon van een ander te ontsluiten.
Eenvoudige systemen voor gezichtsherkenning zouden moeite hebben met mondkapjes, sjaals en zonnebrillen, maar geavanceerde systemen weten daar toch raad mee. Daarom wordt geëxperimenteerd met allerlei visuele en technologische middelen.