Source: https://algorithmwatch.org/story/risikobuerger/
Timestamp: 2019-09-23 14:16:04
Document Index: 154768769

Matched Legal Cases: ['Art. 22', 'Art. 22', 'Art. 22', 'Art. 22', '§848', 'Art 8', '§171', '§60']

Risikobürger – AlgorithmWatch
Capelle aan den Ijssel ist eine niederländische Kleinstadt vor den Toren von Rotterdam. Wer der Einschätzung der Stadtverwaltung Glauben schenkt, hält sich von der Gemeinde mit 66.000 Einwohnern besser fern. Dort herrsche in manchen Vierteln eine „Erosion der Werte und Normen“, und „Multi-Problem-Familien“ seien „im täglichen Leben vor allem mit ihrem Überleben beschäftigt“. Ein überproportionaler Anteil an Sozialwohnungen und schwindender sozialer Zusammenhalt, gepaart mit Arbeitsmigranten, die nur vorübergehend bleiben und ihren Aufenthalt häufig nicht melden, führe zu Schwarzarbeit in illegalen Garagen, illegalem Handel mit Babynahrung, Schuldenproblemen, Schulschwänzern und Kinderarmut. Sodom und Gomorrha im Tulpenstaat? Viele außerhalb der Niederlande haben von dem Land sicher ein anderes Bild.
Denn lange waren die Niederlande bekannt für ihren Wohlfahrtsstaat. Als es noch stetig bergauf ging, konnte man in dem kleinen Land auch von Arbeitslosengeld und Sozialhilfe sorgenfrei leben. Wer nicht arbeiten wollte, wurde nicht wirklich dazu gezwungen. Mittlerweile ist die staatliche Rundumversorgung zurückgeschraubt und durch den Appell an die Eigenverantwortlichkeit ersetzt worden. Und die niederländischen Behörden setzen weitreichende technische Hilfsmittel ein, um zu erkennen, welche Bürgerinnen und Bürger möglicherweise den Staat betrügen, indem sie zu Unrecht Wohngeld, Arbeitslosengeld und sonstige Unterstützungsleistungen kassieren, Steuerbetrug begehen, schwarzarbeiten oder illegalen Handel treiben.
SyRI heißt das Zauberwort: System Risk Indication, eine Big-Data-Analyse-Software. Bürgerdaten, die bei verschiedenen Behörden und staatlichen Einrichtungen gespeichert sind, werden zusammengeführt und analysiert. So können zum Beispiel Steuerdaten mit Angaben darüber abgeglichen werden, wer staatliche Hilfs- und Unterstützungsleistungen bekommt. Oder Angaben zum Wohnort mit Daten der Einbürgerungsbehörde. Anhand bestimmter Risikoindikatoren soll die Software ein „erhöhtes Risiko auf Unregelmäßigkeiten“ erkennen, ob also jemand gegen gesetzliche Bestimmungen verstößt. So schlägt SyRI beispielsweise Alarm, wenn jemand Wohngeld bezieht, aber unter der betreffenden Adresse nicht gemeldet ist. Eine Sachbearbeiterin des Sozialministeriums schaut sich die Daten dann genauer an. Wenn sie glaubt, dass irgendetwas faul sein könnte, kommt es zu einer „Risikomeldung“, welche an die jeweils zuständigen Stellen weitergegeben wird. Die für Wohngeld zuständige Behörde schickt dann vielleicht eine Kontrolleurin zu der betreffenden „Risikoadresse“. Bestätigt sich der Verdacht, kann die staatliche Hilfsleistung zurückgefordert werden.
Wie funktioniert SyRI? Ein Beispiel aus Haarlem
Wenn ein Kooperationsverband verschiedener Akteure SyRI einsetzt, werden diese Daten an das sogenannte Inlichtingenbureau geliefert. Diese Servicestelle ist eigentlich dazu da, Städte- und Gemeindeverwaltungen zu helfen festzustellen, ob Bürgerinnen und Bürger Anspruch auf staatliche Leistungen haben. Beim Einsatz von SyRI agiert sie als Datenverarbeiterin im Auftrag des Ministeriums für Soziales und Beschäftigung. Beim Inlichtingenbureau werden die Datensätze zunächst zusammengeführt. Dann werden die personenbezogenen Daten verschlüsselt, und es wird ein getrennter Datenbestand mit den Schlüsseln für die spätere Entschlüsselung angelegt. Die Daten werden anhand des Risikomodells in SyRI analysiert. Am Ende werden nur jene personenbezogenen Daten wieder entschlüsselt, bei denen die Software “Alarm” geschlagen hat. Diese werden an das Ministerium für Soziales und Beschäftigung weitergegeben. Dort entstehen dann die Risikomeldungen. (Grafik: AlgorithmWatch)
Zweckbindung unterlaufen
Für Tijmen Wisman, den Vorsitzenden der Bürgerrechts-NGO Platform Bescherming Burgerrechten (Plattform Bürgerrechtsschutz), geht das eindeutig zu weit. Das datenschutzrechtliche Prinzip der Zweckbindung werde ad absurdum geführt, weil die Zwecke, für die die Daten verwendet werden dürfen, nicht klar eingegrenzt seien. Und zu allem Überfluss werde Bürgerinnen und Bürger nicht einmal darüber informiert, wenn sie von der Software als „Risikobürger“ eingestuft worden seien. „Man landet in einem Register und bekommt einen Score im Hinblick auf ein bestimmtes Risiko“, so Wisman. „Auf Grundlage der Daten in diesem Register werden bestimmte Entscheidungen getroffen, von denen man als Individuum persönlich betroffen ist. Aber man erfährt weder, dass man überhaupt in dem Register steht, noch, welche Folgen das für einen persönlich haben kann.“
Sind die Niederlande also ein Überwachungsstaat? Sicher ist jedenfalls, dass dort vieles anders gemacht wird als in Deutschland. Seit etwa 15 Jahren gibt es sogenannte „Interventionsteams“: Polizei, Steuerbehörden, Staatsanwaltschaft, Einwanderungsbehörde, der Leistungsträger für Arbeitnehmerversicherungen, die Sozialversicherung und Gemeindeverwaltungen arbeiten in interdisziplinären Teams zusammen, um in sozialen Brennpunkten einzugreifen. Das ist durchaus nicht nur repressiv gedacht. Dass Kriminalitätsprobleme und soziale Probleme oft zusammenhängen, ist kein Geheimnis. Wenn hier verschiedene Behörden zusammenarbeiten, kann das auch Vorteile haben – es wird nicht alles nur der Polizei überlassen.
Was aber, wenn diejenigen, die in solchen Teams zusammenarbeiten, nun auch noch die Daten, die sie über Bürgerinnen und Bürger gespeichert haben, zusammenführen und Profile bilden – verletzt das nicht deren Privatsphäre? Oder ist es die Erweiterung eines kooperativ gedachten Ansatzes?
Das lässt sich schwer beurteilen, denn wie SyRI genau funktioniert, wozu es möglicherweise sinnvoll eingesetzt werden kann und wozu nicht, wie aussagekräftig die verwendeten Daten und Modelle sind – all das wissen die, die den Einsatz von SyRI für ihre Gemeinde beantragen, wohl selbst nicht genau. Zumindest wird es in den Anträgen nicht beschrieben. In einer Durchführungsverordnung zum niederländischen Arbeits- und Einkommens-Umsetzungsstrukturgesetz ist festgelegt, dass 17 Kategorien personenbezogener Daten im Rahmen eines SyRI-Projekts verarbeitet werden dürfen. (Kapitel 5a SUWI). Die Liste reicht von Beschäftigungsdaten, Angaben zu Bußgeldern und Steuerdaten über Daten zu staatlichen Unterstützungsleistungen, Angaben zum Wohnsitz, Daten der Einbürgerungsbehörde, Daten zur Re-Integration am Arbeitsplatz nach längerer Krankheit und zu persönlichen Schulden bis hin zu Angaben zum Krankenversicherungsstatus. Intensive Diskussionen zu der Neuregelung habe es nicht gegeben, so Bürgerrechtler Tijmen Wisman; im Gegenteil sei die Verordnung vom Parlament 2014 „einfach durchgewinkt“ worden.
Kampagnenvideo der NGO “Bij Voorbaat Verdacht”
Aber nach welchen Kriterien beurteilt die Software, ob ein erhöhtes Risiko auf Sozialmissbrauch besteht? Eine Organisation namens Bij voorbaat verdacht („Von Vornherein Verdächtigt“) hat versucht, das mit einer Informationsfreiheitsanfrage herauszubekommen. Die Antwort des Ministeriums:
„Bei dem Risikomodell handelt es sich um eine Sammlung eines oder mehrerer Sets zusammenhängender Risikoindikatoren, die in ihrer Kombination eine Einschätzung des Risikos ermöglichen, dass bestimmte natürliche oder Rechtspersonen nicht in Übereinstimmung mit dem geltenden Recht handeln. Würde man offenlegen, nach welchen Daten und Zusammenhängen die Inspectie SZW sucht, so wüssten (potentielle) Gesetzesbrecher genau, auf welche gespeicherten Angaben sie sich konzentrieren müssten.“
Und die Ergebnisse? Haben die bisherigen SyRI-Projekte tatsächlich einen nennenswerten Beitrag zur Bekämpfung von Sozialmissbrauch, Steuerbetrug oder Verstößen gegen das Arbeitsrecht geführt? Wie das niederländische Sozialministerium auf Anfrage von AlgorithmWatch mitteilt, liegen bisher nur für ein einziges Projekt Ergebnisse vor, nämlich für den oben bereits erwähnten Einsatz in Capelle aan den Ijssel. Bei diesem Projekt sei es zu 113 Risikomeldungen gekommen, so das Ministerium, „die unterschiedlichen Maßnahmen ausgelöst haben. Die festgestellten Gesetzesverstöße haben dazu geführt, dass staatliche Leistungen und Zuschläge eingestellt oder zurückgefordert wurden, und zwar in einem Gesamtvolumen von 496.000 Euro (Folgeeinsparungen inbegriffen).
Wann und wie wird SyRI verwendet?
SyRI wird nicht flächendeckend in den gesamten Niederlanden eingesetzt, sondern nur auf den konkreten Antrag eines sogenannten Kooperationsverbands. Der Anstoß zu einer solchen Kooperation kommt meist von einer Gemeinde, deren Verwaltung mit anderen Akteuren zusammenarbeiten möchte, etwa der Arbeitnehmersozialversicherung oder den Steuerbehörden. Das Ziel ist gesetzlich definiert: Zu bekämpfen oder zu verhindern, dass öffentliches Geld oder Einrichtungen der sozialen Sicherheit oder andere einkommensabhängige staatlichen Leistungen unrechtmäßig verwendet oder in Anspruch genommen werden. Außerdem soll gegen Steuer- und Abgabenbetrug sowie gegen arbeitsrechtliche Verstöße vorgegangen werden, also etwa gegen Schwarzarbeit, aber auch gegen illegale Arbeitsausbeutung.
Nach offiziellen Angaben ist SyRI bisher viermal eingesetzt worden: neben Capelle aan den Ijssel auch in Eindhoven; seit 2018 laufen Projekte in Haarlem und Rotterdam. In einem Gewerbegebiet in Eindhoven ist, so die Antragsteller, „Verwahrlosung zu konstatieren. Der Gemeinde Eindhoven ist es bislang nur unzureichend gelungen, sich einen Überblick über die Entwicklungen zu verschaffen und sie in eine positive Richtung zu lenken.“ Durch einen „risikogeleiten Ansatz“ wolle man nun „das Einschüchterungsklima durchbrechen und zur Verbesserung der Lebensqualität in diesem Viertel und dem Gewerbegebiet“ beitragen. Dafür sollten die Daten verwendet werden, die „für das in SyRI eingebaute Risikomodell ‘Nachbarschaftszentrierter Ansatz’ benötigt“ würden. „Von den benötigten Daten wurde festgestellt, dass sie für die Erreichung der Ziele des Projekts notwendig sind.“ In Haarlem werden Daten der Gemeinde, der Steuer, des Leistungsträgers für Arbeitnehmerversicherungen, der für Kindergeld und Renten zuständigen Sozialversicherungsbank, der Einwanderungsbehörde und der für die Verfolgung arbeitsrechtlicher Verstöße zuständigen Inspectie SZW miteinander verglichen. „Dabei können unwahrscheinliche Daten-Kombinationen zutage treten, die Anlass zu weiteren Untersuchungen geben“, heißt es in dem Antrag.
Wenn man allerdings nachlesen möchte, was genau die SyRI-Software zur Lösung dieser Probleme beitragen soll, findet man lediglich den Hinweis, dass dank einer „Risikoanalyse“ mit Hilfe von SyRI „eine Selektion von Risikoadressen“ vorgenommen werden soll. Die Kontrolleure der Ämter und Behörden wissen nicht, wo sie anfangen sollen. Da kommt es gelegen, wenn die Software Namen und Adressen von Personen vorschlägt, bei denen es in den Daten irgendwelche Auffälligkeiten gibt.
Wie zuverlässig ist SyRI?
Um Menschen nicht ungerechtfertigt zu verdächtigen, werden die Daten auf so genannte „falsch positive“ Signale untersucht, wie Ministeriumssprecher Ivar Noordenbos gegenüber AlgorithmWatch erklärt: „Da die Verknüpfung der Daten anhand eines vorab festgelegten Risikomodells automatisiert stattfindet, kann es vorkommen, dass durch Unvollkommenheiten des Modells zu Unrecht ein Risiko angezeigt wird. Um ein fiktives Beispiel zu geben: Angenommen, das Modell wäre nicht damit vertraut, was Altenheime sind, dann könnte bei Empfängern der Grundaltersversorgung der Verdacht aufkommen, dass sie in einem gemeinsamen Haushalt wohnen, ohne dies angegeben zu haben. Denn schließlich haben sie ja alle dieselbe Adresse. Ein Datenanalytiker der Inspectie SZW untersucht die Signale der Software deshalb erst auf derartige, offenkundig falsche Risikosignale, damit daraus keine Risikomeldungen entstehen. In diesem Beispiel würde der Datenanalytiker also feststellen, dass die Situation der Empfänger von Grundaltersversorgung anders ist als vermutet. Die entsprechenden Daten würden als ‚false positives’ aussortiert, sodass sie bei eventuellen späteren Kontrollen nicht verwendet würden. Zugleich werden solche Falschsignale genutzt, um das Risikomodell nach Möglichkeit anzupassen, sodass der entsprechende Fehler beim nächsten Mal nicht mehr vorkommt.“ Dennoch sind nach Aussagen des Ministeriums in 62 der 113 Fälle in Capelle aan den Ijssel keine Gesetzesverstöße festgestellt worden.
Ein Zusammenschluss mehrerer Bürgerrechtsinitiativen hat kürzlich ein Grundsatzverfahren gegen den Einsatz der Software angestrengt. Es befindet sich in der ersten Instanz, eine Verhandlung hat noch nicht stattgefunden. Die Bürgerrechtler führen an, SyRI stelle Bürgerinnen und Bürger unter Generalverdacht und verstoße gegen die Europäische Menschenrechtskonvention. Die gesetzlichen Befugnisse für den Eingriff in die Privatsphäre seien vom Gesetzgeber derart uferlos ausgestaltet worden, dass sie mit Artikel 8 der Menschenrechtskonvention, der gerade den Schutz der Privatsphäre garantieren soll, nicht mehr in Einklang zu bringen seien.
Eine Stellungnahme zu dem laufenden Verfahren möchte das Ministerium für Soziales und Beschäftigung auf Anfrage von AlgorithmWatch nicht abgeben. Wäre das Verfahren erfolgreich, würde das bedeuten, dass jener Teil des Gesetzes, der den Einsatz von SyRI betrifft, für unrechtmäßig erklärt wird. Er müsste dann geändert oder ganz gestrichen werden. Der niederländische Staat müsste sein Risiko-Profiling zunächst auf Eis legen. Noch ist aber unklar, ob die Bürgerrechtsinitiativen überhaupt gegen SyRI klagen können oder ob eine konkrete Betroffene nachweisen müsste, in ihren Grundrechten verletzt worden zu sein.
So lange man nicht weiß, wie SyRI genau funktioniert, dürfte genau das allerdings äußerst schwierig sein.
Diese Recherche wurde ermöglicht durch die Förderung der Bertelsmann Stiftung
Veröffentlicht: 4. 7. 2018
5 Antworten auf “Risikobürger”
Michael Atzert says:
Vielen Dank für den spannenden Beitrag!
Die automatisierte Einleitung von besonderen Untersuchungs- oder Überwachungsmaßnahmen durch die erwähnten Interventionsteams auf Basis einer automatisierten SYRI-Einzelentscheidung ggf. unter Verwendung von Bürger-Profilen dürfte mangels Vorliegen der Einwilligung der Betroffenen – sofern nicht entsprechende nationalstaatliche Gesetze existieren, die den Einsatz von SYRI erlauben – nach Maßgabe des Art. 22 Abs. 2 Europäische Datenschutz-Grundverordnung (DSGVO) unzulässig sein. Denn bei diesen Überwachungsmaßnahmen handelt es sich zweifelsohne um eine Entscheidung im Sinne des Art. 22 Abs. 1 DSGVO mit rechtlicher Wirkung oder zumindest einer erheblichen Beeinträchtigung. Aber selbst wenn niederländische Gesetze existieren würden, die den Einsatz von SYRI legitimieren, müssten die Verwender von SYRI zumindest Schutzmaßnahmen nach Art. 22 Abs. 3 DSGVO ergreifen, also “mindestens das Recht auf Erwirkung des Eingreifens einer Person seitens des Verantwortlichen, auf Darlegung des eigenen Standpunkts und auf Anfechtung der Entscheidung”. Vorher ist das aus Sicht der Europäischen Datenschutz-Grundverordnung kreuzrechtswidrig…
P.S.: Es sei denn, das Verfahren sieht eine menschliche LEtztentscheidung vor, also dass ein Behördenmitarbeiter auf Basis der SYRI-Informationen über die Einleitung einer Überwachungsmaßnahme entscheidet. Dann läge keine Einzelentscheidung im Sinne von Art. 22 Abs. 1 DSGVO vor.
Very interesting, thanks! Looking forward to reading about the outcome of the case.
I’d add that as a matter of “technological due process” (Keats Citron & Pasquale) human agents of the government must be in a position to provide a concise, intelligible account of how input features relate to predictions or categorizations. (See e.g. ECtHR, Khodorkovskiy and Lebedev v Russia, App nos 11082/06 and 13772/05, Judgment, 25 July 2013, §848, finding a violation of Art 8 ECHR due to the failure of the government to explain the “method or algorithm” used to distribute convicts among prisons.)
Precisely because it is so difficult for people to challenge the legality of secret or opaque measures, courts have reversed the burden of proof in such situations. For example, the ECtHR has held that an individual can claim to be a victim of a violation of the ECHR occasioned “by the mere existence of secret surveillance measures, or legislation permitting secret surveillance measures”, if specified conditions are met. (Roman Zakharov v Russia, App no 47143/06, Judgment (Grand Chamber), 4 Dec 2015, §171; See also Colon v The Netherlands, App no 49458/06, Decision, 15 May 2012, §60)
Pingback: Zweifel an Verhütungs-App: Natural Cycles verspricht mehr als es kann – Avada Classic
Pingback: Über digitale Überwachung, soziale Bonität und Sündenböcke | mittwochs.online