Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03188.jsonl.gz/667

"Wie gut sind die Forschungsgrundlagen eines Systems, mit dem Ihre Identität überprüft wird, wenn Sie sich an einem Computer, Smartphone oder einem anderen Gerät anmelden?", so die rhetorische Frage zu einer neuen Studie der Rutgers University.
"Die Chancen sind hoch, dass das System nicht gut ist und das ist ein wichtiges Sicherheits- und Datenschutzproblem, das behoben werden sollte", so die Kernaussage der soeben publizierten Studie "Robust Performance Metrics for Authentication Systems".
Das Problem sei, dass es keine klaren Standards gebe, wie Authentifizierungs-Systeme bewertet werden sollen und welche Leistungskennzahlen überhaupt verwendet werden sollten.
In Grundlagen-Publikationen seien oft "irreführende Zusammenfassungen" enthalten. Explizit sei dies bei True-Positive-Raten (TPR), False-Positive-Raten (FPR), Gleichfehlerraten (Equal Error Rate EER) und weiteren Metriken der Fall. Die vier Forscher fanden in ihrem Paper bei 33 der 35 untersuchten Studien über solche Systeme Fehler. Die einen Datensätze waren unvollständig, die andern wurden laut den Autoren schlicht falsch interpretiert.
Das heisst laut den Forschern in Konsequenz, dass wegen der fehlerhaften Metrikbasis Authentifizierungs-Systeme zum Einsatz kommen, die "möglicherweise nicht gut funktionieren, und das kann schwerwiegende, reale Folgen haben".
Die Lösung der Rutgers-Ingenieure besteht aus drei Vorschlägen. Im Prinzip geht es darum, unterschiedliche Metriken zu kombinieren, um besser herauszufinden wie gut ein Authentifizierungssystem insgesamt funktioniert und ob die Systemleistung allenfalls anhand irreführender Daten gemessen wird.
Nicht zuletzt sei Transparenz vonnöten. "Wir glauben, dass es für unsere Community von entscheidender Bedeutung ist, eine transparentere Berichterstattung über Kennzahlen und Leistung zu erstellen", fordert das Paper (PDF)
, das eine Peer-Review hinter sich hat. (mag)