Fairness wird mit Fairness-Metriken gemessen, die auf einer binären Einteilung beruhen. Um Fairness zu messen, muss Techie entscheiden, welche Gruppen verglichen werden sollen. Techie tut dies, indem sensible Merkmale (sensitive attributes) definiert und die Testdaten in zwei Gruppen aufgeteilt werden: privilegiert und nicht privilegiert. So kann Techie feststellen, ob sich das KI-Modell für verschiedene Gruppen unterschiedlich verhält. für vordefinierte Merkmale wie Geschlecht, Ethnie und sexuelle Orientierung. Sensible Merkmale Privilegiert (A) z.B. Menschen, die als männlich, weiß, nicht-queer gelesen werden Nicht-privilegiert (B) Ich fühle mich unwohl, Geschlecht, Ethnie und sozio- ökonomischen Status von Menschen auf Basis ihrer Daten anzunehmen... gruselig! Aber ich sehe keine andere Möglichkeit, um systemische Ungerechtigkeit zu erkennen... Für jedes Attribut erstellt Techie eine Tabelle für die privilegierten (A) und die nicht-privilegierten (B) Gruppen. Sie zeigt, wo das Modell korrekt prognostiziert hat und wo nicht. Durch den Vergleich dieser Zahlen wird deutlich, ob das Modell für privilegierte oder nicht-privilegierte Gruppen genauer ist. Fairness durch Unawarness Fairness bedeutet, dass sensible Merkmale bei der Entscheidungsfindung nicht explizit berücksichtigt werden. Treatment Equality Das KI-Modell ist fair, wenn: Das KI-Modell ist fair, wenn: Biases und Unfairness sind überall – wie kann Techie sicherstellen, dass deren KI-Modell fair ist? Fairness wird als Gleichbehandlung verschiedener Gruppen beschrieben. Das kann jedoch unterschiedlich interpretiert werden. Fairness durch Awareness Fairness bedeutet, dass ähnliche Personen unabhängig von ihrer Gruppe ähnlich eingeordnet werden. Demographic Parity Was denkst du ist fair? Was empfindest du als fair? Welcher der Ansätze hat dich überzeugt? Stimme mit einem Sticker ab! Intersektionaler Ansatz: Fairness bedeutet, dass wir Machtverhältnisse verschieben und Prozesse teilen. Sie zu quantifizieren ist weder möglich noch hilfreich. Es gibt viele verschiedene Fairness Metriken - welche ist die beste? Hier sind einige Beispiele: Fairness bedeutet, dass beide Gruppen dieselbe Wahr- scheinlichkeit haben, akzeptiert zu werden: 40% der Bewerber*innen sind weiblich – 40 % der neu Eingestellten sollten weiblich sein! Das Verhältnis zwischen den fälschlicherweise abgelehnten und den fälschlicherweise eingestellten Personen ist in etwa gleich groß. Fairness bedeutet, dass sich Fehler des KI-Modells auf beide Gruppen in ähnlichem Maße auswirken. Fairness-Metriken basieren auf binären Kategorien und erschweren die Berücksichtigung der Nuancen verschiedener Lebensrealitäten. Es gibt zwei Ansätze für Kritik an ihnen: Genauigkeitsbezogener Ansatz: Individuenbezogene Fairness metriken Feels fair? Wirken sich Fehler stärker auf eine Gruppe aus? Gruppenbezogene fairness metriken Bias zu reduzieren, bedeutet, Datensätze zu verändern. Diese Veränderungen könnten zu mehr Fairness, aber auch zu geringerer Genauigkeit führen. Es muss einen Abwägungsprozess geben, welche Kriterien angestrebt werden. Der Versuch, Bias zu verringern, macht KI- Modelle weniger genau. Genauigkeit Fairness Die Verwendung von Metriken zur Messung von Fairness ist zu eindimensional. Klasse, Geschlecht oder Ethnie sind nicht binär, sie überschneiden und überlappen sich. Fairness – die Gleichbehandlung verschiedener Gruppen – ist nicht immer der richtige Ansatz. Wenn es um Gerechtigkeit geht, dann muss Gerechtigkeit im Sinne gleicher Zugangsmöglichkeiten (Equity) eine Rolle spielen. Wichtiger als Metriken ist Anerkennung: Haben die betroffenen Menschen ein Mitspracherecht in den Prozessen? Alle Positiven Alle Alle Positiven Alle ≈ Gruppe A: Gruppe B: Falsch Negativ Falsch Positiv Falsch Negativ Falsch Positiv ≈ Gruppe A: Gruppe B: z.B. Menschen, die als nicht- männlich, nicht-weiß, queer gelesen werden Fairness entzieht sich Metriken wahr POSITIV FALSch NEGATIV FALSch POSITIV Wahr NEGATIV KI prognostiziert: einst