Source: https://verfassungsblog.de/koennen-algorithmen-diskriminieren/?replytocom=770386
Timestamp: 2019-07-17 16:27:24+00:00

Document:
Können Algorithmen diskriminieren? | Verfassungsblog
Wiebke Fröhlich, Indra Spiecker genannt Döhmann
Wiebke Fröhlich is a research assistant at the Goethe-Universität Frankfurt.
Vom Recht, auf die Mehrdeutigkeit des Gesetzes vertrauen zu können
Apropos WM: Was wir von Südafrika in punkto Verfassungsrichter-Wahlverfahren lernen können
Vom Wert, den Staatsanwalt verstehen zu können
In Österreich kategorisiert ab 2019 ein Algorithmus arbeitslose Personen nach ihren Chancen auf dem Arbeitsmarkt. Die Software trennt in drei Personengruppen: Arbeitssuchende mit guten, mittleren und schlechten Perspektiven, einen Arbeitsplatz zu finden. Auf dieser Basis will der Arbeitsmarktservice Österreich (AMS) seine Ressourcen ab 2020 überwiegend auf Personen der mittleren Gruppe konzentrieren. Dort seien sie am effektivsten eingesetzt. Die „Arbeitsmarktintegrationschancen“ von Frauen bewertet der Algorithmus pauschal negativ. Zudem führen betreuungspflichtige Kinder zu einer schlechten Einstufung – allerdings nur für Frauen. Bei Männern, so begründen die Entwickler, habe eine Betreuungspflicht statistisch gesehen keine negativen Auswirkungen auf die Arbeitsmarktchancen.
Festschreibung bestehender Missstände
Algorithmen wie der hier beschriebene generieren aus großen Datenmengen – im Idealfall statistisches – Wissen, um Informationslücken zu schließen. Aus vergangenheitsbezogenen Informationen werden Rückschlüsse auf Eigenschaften und künftiges Verhalten von Personen gezogen, deren eigene Daten der Algorithmus nicht zwingend ausgewertet hat. Anhand von Stellvertretermerkmalen (z.B. „Frau“) werden Personen Eigenschaften zugeschrieben, die Trägerinnen des Merkmals vermeintlich überwiegend und typischerweise aufweisen (z.B. schlechte Arbeitsmarktintegrationschancen).
Ist der Algorithmus des AMS ein Paradebeispiel eines „diskriminierenden Algorithmus“? Die Befürworterinnen entsprechender Techniken preisen Effizienz und Genauigkeit bei Ressourcenverteilungs- und Prognoseentscheidungen. Der Computer entscheide objektiv, jedenfalls weniger voreingenommen als Menschen. Wenn der Algorithmus „Frau-Sein“ negativ bewerte, stelle er nur die strukturell bedingten Nachteile von Frauen im Erwerbsleben dar, argumentiert beispielsweise der AMS-Behördenleiter. Ignoriere man die Tatsache, dass bestimmte Gruppen auf dem Arbeitsmarkt diskriminiert würden, könne man diese auch nicht korrekt fördern. Dahinter steht eine Ressourcenentscheidung: Da nicht alle gefördert werden können, werden diejenigen privilegiert, bei denen der Algorithmus das Geld am effektivsten investiert sieht.
Kritikerinnen lassen das nicht gelten: Wenn die soziale Realität diskriminierend sei, wirken Algorithmen, die diese Realität abbilden, ebenfalls diskriminierend. Durch die Wiedergabe der Realität (Benachteiligung von Frauen am Arbeitsmarkt; Betreuungspflichten – bei Frauen – als Beschäftigungsnachteil) wird ein bestehender Missstand festgeschrieben. Im Zweifel wird das Übel sogar verstärkt. Denn wenn eine bereits benachteiligte Person aufgrund der Einschätzung des Algorithmus nicht gefördert wird, verschlechtern sich ihre Chancen weiterhin.
Zum Vorschein kommt ein Dilemma: Wer Diskriminierung bekämpfen will, muss diese sichtbar machen (oder zumindest selbst sehen). Gleichzeitig kann die statistische Abbildung diskriminierender Strukturen zu einer selbsterfüllenden Prophezeiung werden und Diskriminierungen verstärken. Nicht der Algorithmus diskriminiert, sondern die Stelle, die ihn einsetzt.
Die Insuffizienz von Diskriminierungsverboten
Zwar setzt das hiesige Jobcenter laut Bundesagentur für Arbeit (noch) keine Algorithmen ein. Doch auch in Deutschland herrscht in Ämtern und Behörden Personalmangel und Ressourcenknappheit. Die Vorstellung, mit computergestützten Verfahren Prozesse beschleunigen und die Effizienz zu steigern, wird in Politik (z.B. Datenethikkommission der Bundesregierung sowie Enquete-Kommission „Künstliche Intelligenz“) und Wissenschaft (z.B. nur hier und hier) diskutiert. Positiv ist, dass Diskriminierung als Problem algorithmengestützter Entscheidungen erkannt ist. Als Lösung werden insbesondere antidiskriminierungsrechtlichen Maßnahmen diskutiert. Dass Diskriminierungsverbote aber nur bedingt als Instrumente einer Algorithmenregulierung taugen, wird am österreichischen Beispiel besonders deutlich. Diskriminierungsverbote setzen eine „Benachteiligung“ bzw. „benachteiligende Behandlung“ voraus. Justiziabel ist erst die auf einer algorithmischen Datenanalyse basierende Entscheidung. Den algorithmischen Befund als solchen tasten Diskriminierungsverbote nicht an ­­– auch wenn (vor allem) auf ihm die Entscheidung gründet.
Jedoch steht der AMS-Algorithmus nicht in der Kritik, weil er etwa dazu führt, dass Frauen weniger gefördert werden als Männer. Abzulehnen ist schon die negative Bewertung des „Frau-Seins“ als solche, nämlich die algorithmische Kategorisierung von Personen im Vorfeld der Förderentscheidung anhand dieser Kriterien. Diese dient dazu, Menschen anhand einer statistischen Norm zu bewerten und ihnen darauf basierend Eigenschaften zuzuschreiben. Diese Betrachtungsweise ist nur scheinbar objektiv. Tatsächlich unterliegen ihr normative Annahmen – insbesondere die, dass das Geschlecht ein solides Differenzierungskriterium ist.
Externe Persönlichkeitskonstruktion durch Zuschreibung von Gruppenmerkmalen als rechtliches Problem
Denn es wird regelmäßig übersehen, dass bereits die Zuschreibung von Eigenschaften im Vorfeld einer Entscheidung grundrechtliche Relevanz hat. Die externe Persönlichkeitskonstruktion als solche (also die Charakterisierung anhand gruppenbildender Merkmale durch Algorithmen) greift in das Recht auf informationelle Selbstbestimmung (nach Art. 1 Abs. 1, 2 Abs. 1 GG) bzw. das ähnlich motivierte Recht auf Datenschutz (Art. 7 bzw. Art. 8 EU-GRCh) ein. Dieses gewährleistet als Ausprägung des Rechts auf Selbstdarstellung „die Freiheit des Einzelnen, selbst zu bestimmen, welches Persönlichkeitsbild er von sich vermitteln will“ (vgl. für das deutsche Recht BVerfGE 82, 236 (269)). Darüber hinaus dürften auch andere Grundrechte betroffen sein, um die es hier nicht weiter gehen soll.
Computerprogramme, die statistische Persönlichkeitsbilder erstellen, verkürzen die Freiheit auf informationelle Selbstdarstellung: Wer von einem Algorithmus in eine statistische Schublade gesteckt wird, kommt aus dieser kaum mehr heraus. Eine Sachbearbeiterin, welcher der AMS-Algorithmus sagt, dass Frauen generell schlechte Chancen auf dem Arbeitsmarkt haben, wird jeder Bewerberin mit dieser Voreinstellung begegnen und ihr nur ausnahmsweise Förderung gewähren. Es entsteht ein (negatives) Bild der Person, dem diese nichts entgegensetzen kann. Dieses Persönlichkeitsbild wird nicht in einem kommunikativen und grundsätzlich gleichgewichtigen Prozess unter Möglichkeit der Einflussnahme der Betroffenen gewonnen, sondern von Dritten anhand Daten Dritter konstruiert.
Dass Persönlichkeitskonstruktionen durch automatische Datenverarbeitung besonders problematisch sind, hat das BVerfG bereits 1983 erkannt. In seinem Volkszählungsurteil heißt es:
„Das […] allgemeine Persönlichkeitsrecht, […] umfasst […] auch die aus dem Gedanken der Selbstbestimmung folgende Befugnis des Einzelnen, grundsätzlich selbst zu entscheiden, wann und innerhalb welcher Grenzen persönliche Lebenssachverhalte offenbart werden […]. Diese Befugnis bedarf unter den heutigen und künftigen Bedingungen der automatischen Datenverarbeitung in besonderem Maße des Schutzes.“ (BVerfGE 65, 1 (41f.))
Die damals ausgemachte Bedrohungslage hat durch die Entwicklung der Informationstechnologie eine noch viel weiterreichende Dimension erhalten. 1983 ging die Gefahr von der Verarbeitung und Rekombination vieler Einzelangaben einer konkreten Person aus. Weder der Staat noch Private begnügen sich heute aber mit den Daten einer Person, um deren Persönlichkeitsbild zu konstruieren. Vielmehr ermitteln Algorithmen Gruppeninformationen und schreiben sie der Einzelnen zu. Ein solches Persönlichkeitsbild kann das Recht auf Selbstdarstellung mindestens ebenso gewichtig beeinträchtigen wie die Auswertung vieler Einzelangaben einer Person. Zum einen ignoriert die Zuweisung von Gruppeneigenschaften die Individualität der Gruppenmitglieder. Zum anderen wird den Personen die Möglichkeit genommen, selbst über „Ob“ und „Wie“ der Preisgabe der Eigenschaft zu entscheiden – oder den Befund des Gegenübers zu beeinflussen. Das gilt insbesondere, wenn das Rechenergebnis an Merkmale anknüpft, die bereits mit Stigmata und Stereotypen behaftet sind.
Der AMS-Algorithmus unterstellt, dass „Frauen“ oder „Frauen mit Betreuungspflicht“ eine homogene Bevölkerungsgruppe sind. Indem der Algorithmus nach Geschlecht differenziert, wird das eigentliche Problem verfestigt. Denn eine daran orientierte, staatliche Ressourcenverteilung legitimiert das Geschlecht als Differenzierungsmerkmal. Dies widerspricht sowohl dem verfassungsrechtlichen Ziel (Art. 3 Abs. 2 S. 2 GG) der tatsächlichen Gleichstellung von Mann und Frau (vgl. auch Art. 23 EU-GRCh) als auch der durch Art. 2 Abs. 1 S. 1 GG bzw. Art. 7, 8 EU-GRCh geschützten freien Entfaltung der individuellen Persönlichkeit.
Datenschutzrecht und Regulierung informationeller und informationstechnischer Macht
Eine Algorithmenregulierung darf daher nicht erst an – gegebenenfalls – diskriminierenden Verteilungsentscheidungen ansetzen, sondern muss bereits auf der Vorfeldebene intervenieren. Ein probates Mittel zur Durchbrechung algorithmischer Persönlichkeitskonstruktion ist das Datenschutzrecht, das Personen in ihrem Recht auf informationelle Selbstbestimmung vor informationellen Machtasymmetrien schützt. Das BVerfG hat das Recht auch und gerade zum Schutz der freien Persönlichkeitsentfaltung in kommunikativen Prozessen und der darauf aufbauenden gesamtgesellschaftlichen Freiheitlichkeit konzipiert:
„Wer unsicher ist, ob abweichende Verhaltensweisen […] gespeichert, verwendet oder weitergegeben werden, wird versuchen, nicht durch solche Verhaltensweisen aufzufallen. […] Dies würde nicht nur die […] Entfaltungschancen des Einzelnen beeinträchtigen, sondern auch das Gemeinwohl, weil Selbstbestimmung eine elementare Funktionsbedingung eines auf Handlungsfähigkeit und Mitwirkungsfähigkeit seiner Bürger begründeten freiheitlichen demokratischen Gemeinwesens ist.“ (BVerfGE 65, 1 (43))
Der überindividuelle Wert von Entfaltungsfreiheit ist längst anerkannt. Auch die Anfänge der einfachen Datenschutzgesetzgebung in den 1970er Jahren gehen auf den Bedarf zurück, strukturelle informationelle Macht zu regulieren. Gleichwohl beschränkt sich das Datenschutzrecht bis heute, auch in der DSGVO, vor allem auf eine Kontrolle der Verarbeitung von Daten. Dabei waren die Bedeutung der Daten und der Technologie für Entscheidungen und ihre Folgen immer im Blick. Wenn Daten aber im Zeitalter von Big Data nicht mehr beherrschbar sind, muss eine Ergebniskontrolle in den Fokus rücken.
Verbot automatisierter Entscheidungen im Einzelfall
Die DSGVO kennt nur wenige Vorschriften, die sich mit Entscheidungen aufgrund von Datenverarbeitungen befassen, vor allem Art. 22 DSGVO. Dort heißt es in Abs. 1: „Die betroffene Person hat das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung […] beruhenden Entscheidung unterworfen zu werden […].“ Diesen Grundsatz durchlöchern allerdings die weitreichenden Ausnahmen in Abs. 2. Zudem greift das Recht des ersten Absatzes nur, wenn die Entscheidung als solche automatisiert erfolgt. Den Arbeitssuchenden in Österreich hilft Art. 22 DSGVO also kaum. Denn die Entscheidung über die Zuteilung von Fördermaßnahmen trifft letztlich die Sachbearbeiterin, also ein Mensch; der Algorithmus unterstützt sie „nur“.
Es steht aber zu befürchten, dass Sachbearbeiterinnen die Empfehlungen des Computers ohne Weiteres übernehmen werden. Die eigentliche Gefährdung automatisiert unterstützter Entscheidungsfindung besteht in einer faktischen Umkehr der Argumentations- und womöglich sogar Beweislast, der das Individuum nicht gerecht werden kann: Die arbeitssuchende Frau muss aufzeigen, dass sie „anders“ ist als der algorithmisch ermittelte Wert. Dabei kann sie nicht wissen, welche Daten der Algorithmus wie bewertet hat. Und selbst wenn sie es wüsste, wäre es ihr faktisch nahezu unmöglich, dieses Ergebnis mit anderen Bewertungen und Grundlagen technisch und inhaltlich anzugreifen. Betroffenenrechte laufen faktisch leer.
Keine Neutralität von Algorithmen
Am Anfang einer Algorithmenregulierung muss die Erkenntnis stehen, dass Algorithmen nicht neutral sind. Schon indem sie an bestimmte Merkmale anknüpfen und Korrelationen zu anderen Merkmalen ermitteln, nehmen sie eine Wertung vor. Diese Wertung schlägt auf die Entscheidung durch. Das schließt einen Einsatz von Algorithmen nicht etwa aus. Zu Recht argumentieren die Befürworterinnen der Technik, dass – wie im Fall AMS – gerade durch das Sichtbarmachen statistisch belegbarer Unterschiede eine effektivere Verteilung staatlicher Ressourcen gelingen kann. Umgekehrt liegt aber gerade darin die Gefahr einer Perpetuierung bestehender Missstände und die Verwirklichung selbsterfüllender Prophezeiungen.
Es ist Aufgabe des Sozialstaats, der einzelnen Person in ihrer Individualität und Würde gerecht zu werden und wider statistische Erfahrungswerte zu handeln, die immer Werte der Mehrheit sind. Es ist nicht zu verhehlen, dass sowohl der Sozialstaat bei der Verteilung knapper Ressourcen als auch Arbeitgeberinnen/Unternehmen, die sich durch Algorithmen in ihren Entscheidungen unterstützen lassen, gewichtige berechtigte Interessen ins Feld führen können. Insbesondere bei Entscheidungen über elementare Grundbedürfnisse wie Arbeit, Sozialhilfe, Gesundheit sind aber die Gefahren diskriminierender Entscheidungen bereits auf Ebene der Datenverarbeitung mitzudenken.
Fehlen rechtliche Regelungen für den Einsatz von Algorithmen, können Beschränkungen darauf basierender Datenverarbeitung aus dem Antidiskriminierungsrecht abgeleitet werden. Art. 23 UAbs. 1 EU-GRCh verpflichtet die Mitgliedstaaten, die Gleichheit von Frauen und Männern sicherzustellen. Auch in Art. 7 Abs. 2 der österreichischen Bundesverfassung bekennt sich der Staat zur tatsächlichen Gleichstellung von Mann und Frau. In Deutschland fordert Art. 3 Abs. 2 S. 2 GG dazu auf, die tatsächliche Durchsetzung der Gleichberechtigung von Frauen und Männern zu fördern.
Weitergedacht könnten die Gleichstellungsgebote Verbote statistischer Datenauswertungen für besonders diskriminierungsanfällige Lebensbereiche legitimieren. Dem entspricht auch das schon bestehende Verbot geschlechtsabhängiger Versicherungstarife. Um mittelbare Beeinträchtigungen, wie etwa die Unterscheidung nach Teil- und Vollzeitbeschäftigung (überproportional viele Teilzeitbeschäftigte sind Frauen) zu verhindern, könnten die Verarbeitungsverbote auch auf Stellvertretermerkmale auszuweiten sein. Zudem ist der Blick auf die Rechtsdurchsetzung zu lenken: Einzelne können algorithmische Gruppenaussagen kaum erschüttern. Individualisierter Rechtsschutz vermag das kollektive Risiko des Einsatzes von Algorithmen nicht hinreichend aufzufangen. Aus den materiellen Rechtsregeln könnten daher sogar verfahrensrechtliche Forderungen abzuleiten sein. Es ist bei weitem nicht (nur) Aufgabe des Datenschutzrechts, sondern des Rechts insgesamt, die Diskriminierungspotentiale des Einsatzes von Algorithmen normativ einzuhegen und dies schon auf der Ebene der Entscheidungsvorbereitung. Nicht Algorithmen diskriminieren, sondern die, die sie ohne Hinterfragen entwickeln oder einsetzen.
SUGGESTED CITATION Fröhlich, Wiebke; Spiecker genannt Döhmann, Indra: Können Algorithmen diskriminieren?, VerfBlog, 2018/12/26, https://verfassungsblog.de/koennen-algorithmen-diskriminieren/, DOI: https://doi.org/10.17176/20190211-224048-0.
Mirco, Mi 26 Dez 2018 / 13:26 Antworten
Hinter dem Triage Konzept steckt immer auch das Unvermögen bestimmten Gruppen effektiv helfen zu können. Mit der Kodifizierung des eigenen Unvermögen kann man ein Durchbrechen dieses Organisationsversagen erfolgreich verhindern, weil es eine Weiterentwicklung im Prinzip verbietet und damit unmöglich macht.
Amadeus Peters, Do 27 Dez 2018 / 12:33 Antworten
Ein sehr guter, insbesondere fundierter Artikel zu dem Thema. Wie es im Artikel bereits anklingt, wird es bei der Debatte um diskriminierende Algorithmen vor allem um die gesellschaftliche Frage gehen, wie wir mit strukturellen Unterschieden zwischen Gruppen in unserer Gesellschaft umgehen wollen. Wollen wir einen möglichst effektiven Algorithmus, der jedoch den status quo festschreibt, oder lieber einen Algorithmus, der uns normativ richtige Antworten gibt. In letzterem Fall wäre eine Übersetzung politischer Ziele in einen Algorithmus notwendig. Beispielsweise die Erreichung einer nicht nur rechtlichen, sondern auch tatsächlichen Gleichstellung der Geschlechter in unserer Gesellschaft. Diese Diskussion ist nicht neu. Das besondere an Algorithmen ist jedoch, dass sie sowohl die ungleichen Verhältnisse im status quo aufzeigen, als auch ein machtvolles Instrument zur Gestaltung zukünftiger Entscheidungen bieten. Hierdurch wird der Algorithmus zu einem Fokalisationspunkt des Umgangs mit Unterschieden in der Gesellschaft.
Maximus Pontifex, Do 27 Dez 2018 / 13:57 Antworten
"In Österreich kategorisiert ab 2019 ein Algorithmus arbeitslose Personen nach ihren Chancen auf dem Arbeitsmarkt. Kritikerinnen bezeichnen ihn als Paradebeispiel eines diskriminierenden Algorithmus."
"Ist der Algorithmus des AMS ein Paradebeispiel eines „diskriminierenden Algorithmus“? Die Befürworterinnen entsprechender Techniken preisen Effizienz und Genauigkeit bei Ressourcenverteilungs- und Prognoseentscheidungen."
Und was sagen die Kritiker und Befürworter dazu? Oder ist das ein rein weiblicher Konflikt?
schorschina, Do 27 Dez 2018 / 14:19 Antworten
Na? Fühlen Sie sich nicht hinreichend "mitgemeint"?
Maximus Pontifex, Do 27 Dez 2018 / 14:32 Antworten
Sagen wir es mal so: Es spricht nicht gerade für die Qualität eines Artikels zum Thema "Diskriminierung", wenn im zweiten Satz der Einleitung selbst diskriminiert wird.
Dr. Monika Ende Goethe Universität Frankfurt am Main, Do 27 Dez 2018 / 20:00 Antworten
Danke für diesen ausgezeichneten Artikel.
Es ist erschreckend, wenn Algorithmen tun,was Personen verboten ist.Das ist eine klare Umgehung der nationalen und europarechtlichen Diskriminierungsverbote.
Weichtier, Do 27 Dez 2018 / 22:45 Antworten
„Zum Vorschein kommt ein Dilemma: Wer Diskriminierung bekämpfen will, muss diese sichtbar machen (oder zumindest selbst sehen). Gleichzeitig kann die statistische Abbildung diskriminierender Strukturen zu einer selbsterfüllenden Prophezeiung werden und Diskriminierungen verstärken. Nicht der Algorithmus diskriminiert, sondern die Stelle, die ihn einsetzt.“
Wo ist das Dilemma (vulgo: Zwickmühle) zwischen der Sichtbarmachung bzw. dem Erkennen von Diskriminierung einerseits und der Möglichkeit, dass sich die Diskriminierung im Wege einer selbsterfüllenden Prophezeiung verstärkt, andererseits?
Das Dilemma ist angesichts der Ressourcenknappheit (wo gibt es die nicht?), dass der Algorithmus der AMS, sofern er die Einstellungen der Personalentscheider korrekt antizipiert, mehr Menschen in Arbeit bringt, als ein Algorithmus, der die möglicherweise diskriminierenden Einstellungen der Personalentscheider aus Gründen der Gleichbehandlung nicht berücksichtigt. Also ein trade-off zwischen mehr Beschäftigung oder mehr Gleichbehandlung.
Sebastian Jester, So 30 Dez 2018 / 22:29 Antworten
Das Problem ist hier nicht „der Algorithmus“, sondern die menschlichen Entscheidungn, welche Daten erhoben und korreliert werden, und wie diese Korrelationen genutzt werden. Diese Entscheidungskette ist es, die die Benachteiligung von Frauen zementiert, weil sie von der Realität ausgeht, dass Frauen es schwerer haben, dann aber nichts gezielt dagegen tut.
Der Algorithmus macht es den Sachbearbeitenden dann nur einfacher, in derselben Zeit mehr falsche Vorgaben zu erfüllen.
Der Computer-Algorithmus ist aber nur ein Teil eines Verwaltungs-Algorithmus. Sowenig wie die Sachbearbeitenden diesen von innen und unten groß ändern können, sowenig könnte es ein anderer Computer-Algorithmus.
Der Algorithmus ist ein ‚red herring‘. Hier ist zuvörderst die Politik gefragt, andere Vorgaben zu machen und die nötigen Ressourcen bereitzustellen.
Martin Ebers, Mi 9 Jan 2019 / 17:28 Antworten
Ein sehr schöner Artikel, danke!
Vgl. weiterführend auch den Beitrag von Philipp Hacker, der bei uns (Robotics & AI Law Society – RAILS) im Blog erschienen ist:
http://ai-laws.org/2018/10/from-algorithmic-discrimination-to-algorithmic-fairness-dr-philipp-hacker-ll-m/
Hella Leipold, Do 10 Jan 2019 / 03:54 Antworten
Es ist inzwischen ja schon ein Treppenwitz der Wissenschaftsgeschichte, dass die sog. Rechtswissenschaft mit "den aktuellen Entwicklungen" nicht Schritt zu halten im Stande ist. Der Bereich, in dem das besonders häufig zu Tage tritt, ist der der jeweils angrenzenden wissenschaftlichen Disziplinen, deren Kernfragen und -ergebnisse sowie Begriffsbildungen oft bereits nicht einmal im Ansatz von JuristInnen reflektiert werden. In diesem Beiträg wären etwa ein paar aufmerksame Blicke in die einführende Werke der Soziologie oder Informatik angezeigt gewesen. Auf die Idee, aus "externen Persönlichkeitskonstruktionen" einen skandalträchtigen Sachverhalt zu machen, können vermutlich nur die sog. Rechtswissenschaften kommen. Und aus technischer Sicht ist die Fetischisierung des einen "Algorithmus" schlicht naiv. Ohne die Spezifikation des hier in Rede stehenden Systems zu kennen, muss davon ausgegangen werden, dass dessen konkrete Operativität durch eine Reihe von Funktionsmodulen getragen wird, die ihrerseits durch eine Reihe von Algorithmen realisiert werden. Die Annahme des einen "Algorithmus" ist unwissenschaftliche Folklore, die offenbar unreflektiert der sensationalistischen Presseberichterstattung entnommen wurde.
Seis drum. Es gibt eben kaum ein Thema, was nicht das Zeug hat, der juristischen Karnevalisierung zum Opfer zu fallen.
Ein paar konkrete Kritiken noch:
"1983 ging die Gefahr von der Verarbeitung und Rekombination vieler Einzelangaben einer konkreten Person aus."
Das ist falsch. Vielmehr wurde bereits in der frühen Datenschutzdebatte der späten 1960er und frühen 1970er Jahren ganz ausdrücklich und immer wieder auf die prinzipelle Substituierbarkeit der sog. verschiedenen Informationsarten hingewiesen, etwa in dem unten im Text verlinken Gutachten "Grundfragen des Datenschutzes" von Wilhelm Steinmüller et al, die daher konsequenterweise sog. Gruppeninformationen in das Bedrohungsmodell aufnehmen und im Anwendungsbereich des Datenschutzrechtes verorten. Die vorhergehende Behauptung, die Bedrohungslage habe sich seit den damals herausgearbeiteten Beschreibungen erweitert, ist nicht haltbar. Eher dürften sich mit der zunehmenden Juridifizierung seither die Defizite in den theoretischen Grundlagen vertieft haben. Diese selbstverschuldete Unmündigkeit der heutigen Datenschutzrechtsdebatte darf aber weder ihrer Frühphase angelastet, noch kurzschlüssig als sich veränderte Bedrohungslage externalisiert werden.
"Ein probates Mittel zur Durchbrechung algorithmischer Persönlichkeitskonstruktion ist das Datenschutzrecht, das Personen in ihrem Recht auf informationelle Selbstbestimmung vor informationellen Machtasymmetrien schützt."
Das mag die immer unglaubwürdigere normative Selbstbeschreibung des Datenschutzrechts sein, wäre aber empirisch noch darzulegen. Ebenso plausibel ist mE, dass der juristische Konversationszirkel sich zunehmend von dem selbstgesteckten Ziel, Betroffene zu schützen, entfernt. Dafür mögen Diskurse, die außerhalb, aber in der Peripherie der Datenschutzrechtsdebatte zuletzt wieder eine gewisse Prominenz einnehmen, Indizien sein. Für die Rechtsanwendungsebene mag diese Selbstbeschäftigung noch aufgrund prinzipieller Unvermeidbarkeit zu akzeptieren sein; die Wissenschaft wäre aber gut beraten, die theoretischen Grundlagen ihres Untersuchungsgegenstandes einmal einer kritischen Revision zu unterziehen, die sich nicht allein auf juristische Methoden zurückzieht.
"statistische Erfahrungswerte zu handeln, die immer Werte der Mehrheit sind."
Was sollen denn "statistische Erfahrungswerte" sein? Sowohl die deskriptive wie auch inferentielle Statistik beruhen auf Werten, die durch Erfahrung ermittelt werden. Was also ist dann die spezifische Differenz von "statistischen Erfahrungswerten"? Und weshalb sollten das immer "Werte der Mehrheit" sein? Denkbar ist ja auch die statistische Erfassung eines Individuums. Oder sind hier zwei unterschiedliche Wertbegriffe im Spiel: Merkmalsausprägungen auf der einen und Präferenzen auf der anderen Seite?
"Die Vorstellung, mit computergestützten Verfahren Prozesse beschleunigen und die Effizienz zu steigern, wird in Politik […] und Wissenschaft […] diskutiert."
Das wird nicht nur diskutiert, sondern seit vielen Jahrzehnten ganz handfest praktiziert. Siehe dazu etwa der Band von Brinckmann/Kuhlmann, Computerbürokratie – Ergebnisse von 30 Jahren öffentlicher Verwaltung mit Informationstechnik von 1990.
Bryan Hayes, Mo 14 Jan 2019 / 20:14 Antworten
Dieser Artikel ist argumentativ fehlerhaft.
Einerseits wird halbwegs richtig folgender Kernsachverhalt wiedergegeben: "Algorithmen wie der hier beschriebene generieren aus großen Datenmengen – im Idealfall statistisches – Wissen, um Informationslücken zu schließen."
Korrekt wäre in etwa: 'Algorithmen wie der hier beschriebene generieren aus großen Datenmengen statistische Kennzahlen mit Standardmethoden der Statistik.'
Andererseits aber werden u.a. folgende Aussagen gemacht: "Anhand von Stellvertretermerkmalen (z.B. „Frau“) werden Personen Eigenschaften zugeschrieben, die Trägerinnen des Merkmals vermeintlich überwiegend und typischerweise aufweisen (z.B. schlechte Arbeitsmarktintegrationschancen)." oder "Computerprogramme, die statistische Persönlichkeitsbilder erstellen […]".
Diese Aussagen bzw. Unterstellungen stimmen so nicht. Definitiv ist die Berechnung von statistischen Zahlenwerten, z.B. Korrelationskoeffizienten, keineswegs eine "Zuschreibung von Stellvertretermerkmalen", es werden auch keine "statistischen Persönlichkeitsbilder" erstellt.
Vielleicht tut das ein/e Mitarbeiter/in selbst in einer naiv / dümmlichen Weise unter Einbezug solcher Zahlen, aber definitiv tut das "der Algorithmus" selbst in keiner Weise.
Was genau mit solchen Zahlen geschieht, kann im konkreten Einzelfall sehr unterschiedlich sein. Nur eine solche Einzelfallanalyse kann überhaupt zu irgendwelchen Kritikpunkten, Lobeshymnen oder was auch immer führen.
Gegenbeispiele: Solche Zahlen können eine solche Organisation wie der AMS auch helfen, genau den Personen ein besonders hohes Maß an Hilfe zukommen zu lassen, bei denen es statistisch am ehesten sozusagen notwendig ist (wobei man dann natürlich auch alle Informationen miteinbeziehen würde und nicht nur die paar statistischen Zahlen (wer würde das denn ohnehin so machen?!)).
Die Zahlen können aber mittel- und langfristig auch eine Kontrolle erlauben, ob die Maßnahmen erfolgreich waren; denn dann würden sich die Kennzahlen für verschiedene Personenkreise annähern.
Schreibe einen Kommentar zu Sebastian Jester Antworten abbrechen
Datenschutz, Diskriminierung, Persönlichkeitsrecht

References: Art. 1
 Art. 8
 Art. 23
 Art. 2
 Art. 7
 Art. 22
 Art. 22
 Art. 23
 Art. 7
 Art. 3