title: Robust and Explainable Face Morphing Detection and High Quality Morphing
Creators: name: Seibold, Clemens Peter
Publisher: name: Humboldt-Universität zu Berlin
Year: 2025
Subjects: subject: Bildforensik
subject: Gesichts-Morphing-Angriffe
subject: Erklärbare KI
subject: Lokalisierung von Fälschungsspuren
subject: Gemorphte Gesichtsbilder
subject: Layer-wise Relevance Propagation (LRP)
subject: Image Forensics
subject: Face Morphing Attacks
subject: Explainable AI
subject: Forgery Localization
subject: Morphed Face Images
subject: Layer-wise Relevance Propagation (LRP)
subject: 004 Informatik

description: Morphing, ein Spezialeffekt zur Generierung eines Übergangs von einem Bild zum anderen, hat seinen Ursprung in der Filmindustrie, kann aber auch für kriminelle Zwecke missbraucht werden. Ein Zwischenbild eines Morphs, der das Gesicht einer Person in das einer anderen Person überführt, ähnelt beiden Gesichtern. Wenn ein solches Bild für einen Ausweis oder Reisepass verwendet wird, können beide behaupten, dessen Eigentümer zu sein. So könnten sich beide beispielsweise ein personengebundenes Verkehrsticket teilen oder es könnten illegal und unbemerkt Ländergrenzen überquert werden. Diese Dissertation stellt neue, auf neuronalen Netzen basierende Methoden zur Erkennung von Gesichtsmorphs und zur Lokalisierung von Fälschungsspuren vor. In Experimenten mit teilweise gemorphten Bildern wird gezeigt, dass die vorgestellten Detektoren in Kombination mit der vorgestellten Erklärbarkeitsmethode wesentlich genauer Fälschungsspuren lokalisieren können als andere gängige Methoden. Zum Trainieren der in der Arbeit entwickelten Detektoren wird eine große Menge an repräsentativen Daten benötigt. Daher legt diese Dissertation einen Schwerpunkt auf die automatische Erstellung von Gesichtsmorphs. Dazu stellt sie zwei Methoden vor, die Artefakte, die durch den Registrierungs- und Überblendungsschritt beim Morphing entstehen, deutlich reduzieren oder sogar vermeiden. Beide Verbesserungsmethoden ahmen die Möglichkeiten nach, die ein Angreifer durch manuelle Anpassungen hat. Die vorgestellten Detektoren wurden auf internen und externen Datensätzen evaluiert. Zusätzlich wurde ein Detektor bei einem international anerkannten Benchmark eingereicht. Dabei übertraf dieser andere Einreichungen in mehreren Kategorien deutlich. Zusammenfassend stellt diese Arbeit einen robusten und transparenten Detektor für gemorphte Gesichtsbilder vor, der Fälschungsspuren akkurat lokalisiert, mit dem Ziel einer nachvollziehbareren Klassifikation, sowie neue Methoden zur Erstellung von hochwertigen Gesichtsmorphs.
description: Morphing, as a smooth transformation of one image into another, originated in the cinematic industry. Beyond its entertainment applications, it can also be used for malicious purposes. An intermediate step of the morph from one person's face to that of a different one results in a synthetic face image that resembles both persons. If such an image is used for an ID card or passport, two individuals could claim ownership and share the associated privileges. Consequences can range from sharing a personal ticket for public transportation to entering a country unnoticed and without permission. This dissertation introduces novel methods for detecting morphed face images using Deep Neural Networks and proposes approaches to precisely identify traces of forgery. Experiments with partially morphed face images show that the proposed detection approaches in combination with this explainability method outperform other methods. A prerequisite for developing machine learning-based detectors is to have a substantial amount of representative data. Therefore, this thesis also emphasizes the automatic generation of morphed images and proposes two methods that mitigate artifacts caused by the alignment and blending step of the face morphing process. These improvement methods mimic the capabilities an attacker has through manual adjustments. The proposed detectors are evaluated on internal and on external datasets. Additionally, a proposed detector was submitted to an internationally renowned challenge. In this external benchmark, the submitted detector significantly outperforms other state-of-the-art submissions across multiple categories. As a summary, this thesis introduces a robust and transparent face morphing detector that is capable of highlighting detected traces of forgery to support humans in understanding the detector's decision, as well as advanced methods to improve the automatic generation of morphed face images.