Source: https://algorithmwatch.org/project/auto-hr/positionspapier/
Timestamp: 2020-07-05 22:33:58
Document Index: 10471179

Matched Legal Cases: ['Art. 88', '§ 26', '§ 80', '§ 90', '§ 92', 'Art. 5', '§ 80', '§ 87', '§ 87', '§ 95', '§ 95', '§ 87', '§ 111', '§ 87', '§ 87']

Rechte und Autonomie von Beschäftigten stärken – Warum Gesetzgeber, Unternehmen und Betriebsräte handeln müssen – AlgorithmWatch
Dieses Positionspapier können Sie hier als PDF herunterladen.
Unternehmen, die im Personalmanagement Systeme mit so genannter Künstlicher Intelligenz verwenden, handeln möglicherweise rechtswidrig – oft, ohne sich darüber im Klaren zu sein. Denn „People Analytics“-Verfahren dürfen nicht eingesetzt werden, ohne dass Beschäftigte individuell eingewilligt haben oder eine Betriebsvereinbarung vorliegt. Das wird in der Praxis oft nicht der Fall sein. Zudem erfüllen „Black-Box“-Systeme, deren Funktionsweise dem Betriebsrat auf Anfrage nicht erläutert werden kann, nicht die Auskunftsanforderungen des Betriebsverfassungsgesetzes. Autonomie und Mitsprache der Beschäftigten müssen auch dann gewährleistet sein, wenn algorithmische Systeme zum Personalmanagement eingesetzt werden; es ist ethisch nicht zu rechtfertigen, Arbeitnehmer·innen zu reinen Objekten derartiger Verfahren zu machen. Doch sie müssen sich auch selber sich angemessene Kompetenzen erarbeiten, um diese Verfahren zu verstehen. Das ist das Ergebnis des Forschungsprojekts „Automatisiertes Personalmanagement und Mitbestimmung“, das AlgorithmWatch in den vergangenen zwei Jahren mit Mitteln der Hans-Böckler-Stiftung durchgeführt hat.
Beschäftigte müssen einzeln und freiwillig zustimmen, wenn sogenannte People-Analytics-Verfahren eingesetzt werden. Es ist jedoch davon auszugehen, dass diese Einwilligung sehr oft nicht vorliegt. Alternativ könnte eine Verarbeitung von Beschäftigtendaten im Rahmen von People Analytics auch durch Betriebsvereinbarungen legitimiert werden. Sie sind allerdings nicht erzwingbar, weil ein einschlägiges Mitbestimmungsrecht fehlt.
„Um Beschäftigte vor den Möglichkeiten und insbesondere vor dem immanenten hohen Kontrollpotenzial zu schützen, das sich mit KI-Software und mit selbstlernenden Algorithmen verbindet, ist ein Ausbau bestehender Mitwirkungs- und Mitbestimmungsrechte durch den Gesetzgeber unumgänglich.“ So fasst der Spezialist für Arbeitsrecht und Digitalisierung, Peter Wedde, die aktuelle Situation in seinem Gutachten Automatisierung im Personalmanagement – arbeitsrechtliche Aspekte und Beschäftigtendatenschutz (PDF) zusammen, das im Rahmen des Projekts entstanden ist. Von solchen wünschenswerten Änderungen abgesehen, stellt sich aber bereits die geltende Rechtslage so dar, dass Arbeitgeber schon mit Beginn der Planung von KI-basierter Personalsoftware Betriebsräten weitreichende Auskünfte über deren Funktionsweise geben müssen. In vielen Fällen verfügen sie aber gar nicht über diese Informationen, da die Anbieterfirmen sie nicht Preis geben. Zudem müssen Beschäftigte einzeln und freiwillig zustimmen, dass ihre personenbezogenen Daten mit People-Analytics-Verfahren verarbeitet werden, es sei denn, diese Verarbeitung ist durch einschlägige Betriebsvereinbarungen datenschutzrechtlich legitimiert. Es ist jedoch davon auszugehen, dass sehr oft weder individuelle Einwilligungen vorliegen, noch Betriebsräte bereit dazu sind, entsprechende Betriebsvereinbarungen abzuschließen. Damit befinden sich Firmen, die derartige Systeme einsetzen, zumindest in einer rechtlichen Grauzone; oft wird der Einsatz der Systeme sogar rechtswidrig sein. [s. Abschnitte Rechtliche Situation, Gesetzgeberischer Handlungsbedarf]
Anlass für das Forschungsprojekt ist der zunehmende Einsatz von Personalmanagement-Software, die sogenannte „People Analytics”-Fähigkeiten bietet – also die Möglichkeit, Leistungen und Potenzial von Mitarbeiter·innen oder Teams zu analysieren, vorauszusagen oder zu steuern. Bekannte Produkte, die mit derartigen Funktionen werben, sind Office 365 Workplace Analytics von Microsoft, Watson Talent Insights von IBM, Success Factors People Analytics von SAP und People Analytics von Workday. Auf dem Markt sind darüber hinaus etliche Produkte kleinerer Firmen.
Um zu analysieren und vorherzusagen, wie Individuen oder Teams arbeiten oder ob sie ihre Ziele erreichen werden, setzen die Anbieter der Systeme statistische Methoden der Mustererkennung und Wahrscheinlichkeitsrechnung ein, etwa Maschinelles Lernen oder „Deep Neural Networks“. Auf Basis welcher Modelle und Annahmen diese Prognosen getroffen werden und mit welchen Daten die Systeme trainiert wurden, halten die Anbieter üblicherweise geheim – meist mit der Begründung, dass sie sich zum einen vor Nachahmern schützen müssen, zum anderen Beschäftigte Aussagen der Systeme manipulieren könnten, wenn ihnen ihre Funktionsweise bekannt wäre.
Aus ethischer Perspektive sind diese Bedenken zwar durchaus begründet, lassen in dieser Einseitigkeit jedoch gerechtfertigte Ansprüche der Beschäftigten außer Acht und sind daher so nicht akzeptabel. Wie Michele Loi, Experte für ethische Aspekte des Einsatzes von Methoden Künstlicher Intelligenz der Universität Zürich, in seiner Studie People Analytics must benefit the people. An ethical analysis of data-driven algorithmic systems in human resources management [Gutachten als PDF, derzeit nur auf Englisch verfügbar] darlegt, haben Beschäftigte einen Anspruch darauf, die Logik derartiger Systeme verstehen zu können. Denn das ist eine notwendige – wenn auch keine hinreichende – Voraussetzung dafür, dass die Autonomie der Beschäftigten gewahrt bleibt; sie dürfen keine passiven Objekte einer von Algorithmen getriebenen Steuerung („algorithmic governance“) werden. Vielmehr müssen sie aktiv dazu beitragen können, die Leistung der Organisation zu verbessern, indem sie Erkenntnisse nutzen, die durch den Einsatz dieser algorithmischen Systeme entstehen. Letztendlich müssen die Systeme so gestaltet und eingesetzt werden, dass immer auch die Beschäftigten davon profitieren, nicht ausschließlich der Arbeitgeber. [s. Ethische Leitlinien für den Einsatz algorithmischer Systeme im Personalmanagement]
Es kann also nicht davon ausgegangen werden, dass Anbieter in der Lage sind, „ethische Algorithmen“ zu entwickeln, die Arbeitgeber dann per se unproblematisch einsetzen können. Im Gegenteil, es müssen alle beteiligten Akteure – die Anbieter algorithmischer Systeme, die Unternehmen, die sie einsetzen, und die Beschäftigten, die davon betroffen sind – bereit sein, gemeinsam Lösungen zu erarbeiten, die die verschiedenen Interessen berücksichtigen. Zu diesem Zweck müssen die Anbieter Informationen zur Verfügung stellen, die es Arbeitgebern und Beschäftigten erlauben zu verstehen, wie die Systeme funktionieren. Zugleich kann es in vielen Fällen gerechtfertigt sein, dass Firmen ihre Investitionen auch mithilfe von Betriebs- und Geschäftsgeheimnissen schützen.
Um hier eine angemessene Balance zu erreichen, hat AlgorithmWatch in Zusammenarbeit mit Sebastian Stiller, Professor für Mathematische Optimierung der Technischen Universität Braunschweig, einen Prüfkatalog entwickelt [s. Automatisierte Entscheidungen und Künstliche Intelligenz im Personalmanagement. Ein Leitfaden zur Überprüfung essenzieller Eigenschaften KI-basierter Systeme für Betriebsräte und andere Personalvertretungen]. Er ermöglicht es Betriebsräten und Personalmanager·innen, von Anbieterfirmen Informationen zu erfragen, die essentiell dafür sind, die Funktionsweise, Qualitäts- und Zuverlässigkeitskriterien algorithmischer Systeme zu verstehen, ohne aber beispielsweise zu verlangen, dass Programmiercode oder die Datenbasis offengelegt werden müssen.
Angesichts der Komplexität der Verfahren wäre allerdings die Forderung verfehlt, sie Laien gegenüber auf einfache Art erklär- oder nachvollziehbar zu machen. Stattdessen müssen alle Akteure – Anbieter von Personalmanagementprodukten, Anwender (Personalabteilungen) und Betroffene (Beschäftigtenvertreter·innen) – aktiv daran mitarbeiten, Systeme angemessen zu entwickeln und einzusetzen. Das bedeutet für die Vertreter·innen der Beschäftigten, dass sie sich ein Grundverständnis von Methoden und Verfahren der KI-basierten Systeme aneignen oder Möglichkeiten schaffen müssen, auf diese Expertise zuzugreifen, etwa durch externe Sachverständige.
Stellen Sie sicher, dass Sie über ausreichende Kompetenzen verfügen, um „KI-Systeme“ ethisch zu erstellen und umzusetzen. Organisationen, die KI-Tools für das Personalmanagement entwickeln und implementieren wollen, müssen Expert·innen mit der Bandbreite an Fähigkeiten (und informellem Wissen und kognitiven Haltung) rekrutieren, die erforderlich sind, um die Verständlichkeit und Fairness eines Algorithmus zu bewerten.
Beziehen Sie zivilgesellschaftliche Organisationen und Fachwissen aus der Wissenschaft ein. Es muss extern gesichert sein, dass die technischen Methoden, die zur Schulung der Modelle verwendet werden, wissenschaftlich fundiert und ethisch vertretbar sind. Hersteller müssen ein Bewusstsein für mögliche ethische Kritik entwickeln, indem sie Feedback von außerhalb der Organisation sammeln und aktiv einfordern. Nach Möglichkeit sollten (anonymisierte) Datensätze und Algorithmen Forscher·innen zur Verfügung gestellt werden, um Tools unabhängig zu prüfen.
Schulen Sie potenzielle Endnutzer·innen (z. B. Personalmanager·innen), um sicherzustellen, dass sie über das Know-how und die Fähigkeiten verfügen, die erforderlich sind, um KI-basierte Systeme im Personalmanagement korrekt zu betreiben. Endnutzer·innen sollten nicht blind in KI-Instrumente vertrauen, sondern ein angemessenes Maß an Vertrauen mit kritischen Einstellungen verbinden. Binden Sie die beabsichtigten Benutzer·innen Ihres Tools ein, um sicherzustellen, dass sie ausreichend über das System, seine Grenzen und den richtigen Anwendungsbereich wissen. Fördern Sie Bildungsressourcen, die dem Personal in Personalabteilungen helfen, Missverständnisse über algorithmische Systeme in der Personalverwaltung zu vermeiden.
Beschäftigtenvertreter·innen
Schulen Sie die von KI-basierten Systemen potenziell Betroffenen und die mit ihrer Interessenvertretung Beauftragten (z. B. Betriebsräte), um sicherzustellen, dass sie über das Know-how und die Fähigkeiten verfügen, die notwendig sind, um richtig zu verstehen, wie algorithmische Systeme im Personalmanagement eingesetzt werden. Sie sollten nicht blind in KI-Instrumente vertrauen, sondern ein angemessenes Maß an Vertrauen mit kritischen Einstellungen verbinden. Binden Sie die voraussichtlich von entsprechenden Systemen betroffenen Personen oder deren Vertreter·innen ein, um sicherzustellen, dass sie genug über das Tool, seine Grenzen und seinen richtigen Anwendungsbereich wissen. Fördern Sie Bildungsressourcen, die helfen, Missverständnisse über den Einsatz algorithmischer Systeme im Personalmanagement zu vermeiden.
Rechtliche Analyse und Handlungsbedarf, ethische Leitlinien, Leitfaden zur Prüfung von algorithmischen Systemen im Personalmanagement
Es folgt eine Zusammenfassung der wichtigsten rechtlichen und ethischen Erkenntnisse und Forderungen zu algorithmen-basierten Verfahren im Personalmanagement – an den Gesetzgeber, Unternehmen und Beschäftigte – sowie eine Kurzfassung des Leitfadens, der Beschäftigten und Personalmanager·innen als Grundlage dazu dienen kann, bei Anbietern aussagekräftige Informationen über diese Verfahren zu erfragen.
Rechtliche Situation und gesetzgeberischer Handlungsbedarf
Steuerung und Überwachung von Beschäftigten nur zulässig, wenn Arbeitgeber aussagekräftige Auskünfte geben können
Keine heimliche und/oder dauerhafte Kontrollen der Beschäftigten
Prozesse müssen für Beschäftigte nachvollziehbar sein
Beschäftigte müssen in Verfahren zu „People Analytics“ einwilligen
Betriebsräte haben weitereichende Informations-, Beratungs- und Mitbestimmungsrechte
Arbeitgeber müssen sicherstellen, über erforderliche Informationen zu verfügen
Betriebsräte müssen feststellen können, ob KI-basierte Systeme diskriminieren
Betriebsräte können Vereinbarungen zum Einsatz von KI-basierten Systemen fordern
Mitbestimmungsrecht bei Fragen der Ordnung des Betriebs und Beschäftigtenverhalten
Mitbestimmung auch bei internen Auswahlprozessen
Informationsmöglichkeiten präzisieren und absichern
Bestehenden Rechte zugunsten der Betriebsräte anpassen
Informations- und Mitwirkungsrechte beim Einführen und Nutzen von KI-gestützten Systemen verbessern
Grenzen beim Einsatz von Vorhersage-Systemen („Predictive Analytics“) klarstellen
„Beweisverwertungsverbot“ für rechtswidrig erlangte Erkenntnisse schaffen
Ethische Leitlinien für den Einsatz algorithmischer Systeme im Personalmanagement
DSGVO+: Regeln für die Datenerhebung für Personalanalysen sollten über die DSGVO hinausgehen
Wichtige Umsetzungsfragen
Wichtige Implementierungsschritte
Die Entwicklung datenbasierter Personalmanagement-Systeme erfordert ausreichende technische Kompetenz, um Wissen über den Algorithmus zu generieren
Die Auswirkungen der Verwendung des Tools auf die Mitarbeiter·innen sollten sorgfältig überwacht werden
Arbeitgeber sollten angemessene Transparenz über die datenbasierten Verfahren im Personalmanagement herstellen
Leitfaden zur Überprüfung essenzieller Eigenschaften KI-basierter Personalmanagement-Systeme
Liste der Leitfragen
Über AlgorithmWatch
Arbeitgeber sind im Rahmen ihres Direktionsrechts zwar berechtigt, im Rahmen eines automatisierten Personalmanagements den Beschäftigten Arbeitsanweisungen zu geben und deren Erfüllung zu kontrollieren – jedoch nur, wenn sie über aussagekräftigte Informationen zu den genutzten Systemen und insbesondere zu den verwendeten Algorithmen verfügen. Nur dann sind sie in der Lage, Beschäftigten die ihnen nach der Datenschutzgrundverordnung (DSGVO) und dem Bundesdatenschutzgesetz (BDSG) zustehenden Informationen zu geben. Gleiches gilt bezogen auf die durch das Betriebsverfassungsgesetz (BetrVG) begründeten Informationsansprüche der Betriebsräte.
Keine heimlichen und/oder dauerhaften Kontrollen der Beschäftigten
Arbeitnehmer müssen den Einsatz von KI-basierten Systemen im Personalmanagement grundsätzlich hinnehmen, wenn Arbeitgeber deren Einsatz für erforderlich halten. Arbeitgeber müssen allerdings bei der Auswahl sicherstellen, dass es sich um KI-Systeme handelt, die einschlägige gesetzliche Vorgaben, wie etwa die zum Beschäftigtendatenschutz in Art. 88 DSGVO und in § 26 Abs. 1 BDSG, erfüllen können. Auszuschließen sind heimliche und/oder dauerhafte Kontrollen der Beschäftigten durch die verwendeten KI-Systeme.
Für Beschäftigte müssen die Faktoren und Prozesse nachvollziehbar sein, die eingesetzt werden. Hierzu gehört auch die Verarbeitungslogik. Die entsprechenden Informationen müssen für die Beschäftigten verständlich, nachvollziehbar und transparent sein.
Hohe Anforderungen bestehen mit Blick darauf, ob es überhaupt erforderlich ist, Beschäftigtendaten zu verarbeiten. Ist eine Verarbeitung dieser Daten mit einem KI-System Voraussetzung dafür, ein Beschäftigungsverhältnis begründen, durchführen oder beenden zu können, kann sie erfolgen. Unzulässig sind solche Verarbeitungen hingegen, wenn die gesetzlich vorgegebene Erforderlichkeit fehlt, wie es etwa bei der Prognose von individuellem Verhalten der Fall ist. Hier müssen die Beschäftigten entweder einzeln und freiwillig einwilligen oder eine einvernehmlich abgeschlossene Betriebsvereinbarung muss eine entsprechende Erlaubnis beinhalten.
Betriebsräte haben bezogen auf KI-Systeme und die hier verwendeten Algorithmen sowohl umfangreiche Informations- und Beratungsrechte als auch wirksame Mitbestimmungsrechte. Sie leiten sich aus dem allgemeinen Informationsanspruch des § 80 Abs. 2 BetrVG ab. Dieser ist weit gefasst und gilt uneingeschränkt auch für die Automatisierung des Personalmanagements mittels KI-Systemen. Über die entsprechenden Planungen müssen Arbeitgeber die Betriebsräte rechtzeitig und umfassend informieren. Gleiches gilt für den Informationsanspruch nach § 90 Abs. 1 Nr. 2 und 3 BetrVG bezüglich der Planung von technischen Anlagen oder von Arbeitsverfahren und Arbeitsabläufen. Die Informationen, die der Arbeitgeber mitzuteilen hat, müssen beispielsweise Ausführungen dazu beinhalten, wie verwendete technische Anlagen funktionieren oder wie Arbeitsverfahren verändert werden sollen. Bezogen auf KI-Systeme gehören hierzu auch Aussagen, ob und wenn ja welche Software bzw. welche KI-Systeme eingesetzt werden sollen und welche Effekte oder Veränderungen Arbeitgeber sich davon versprechen.
Bedeutsam ist auch der Informationsanspruch nach § 92 BetrVG bezüglich der Personalplanung. Sollen hier KI-Systeme zum Einsatz kommen, müssen Betriebsräte auch Informationen zu den Algorithmen erhalten, die etwa in einem Personalinformationssystem eingesetzt werden sollen. Diese Unterrichtung muss nicht zwingend Informationen über die technische Funktionsweise der Algorithmen beinhalten, sondern kann sich auf die Darstellung der Logik der verwendeten KI-Systeme sowie der Funktionsweise und „Lernstrukturen“ der zum Einsatz kommenden Algorithmen beschränken.
Arbeitgeber müssen bezüglich verwendeter KI-Systeme und der Algorithmen, die darin zum Einsatz kommen, sicherstellen, dass sie ihre gesetzlichen Informationsverpflichtungen gegenüber Betriebsräten erfüllen können. Über die entsprechenden Kenntnisse müssen sie verfügen, um ihre Verpflichtungen nach der Datenschutzgrundverordnung und dem Bundesdatenschutzgesetz erfüllen zu können. Hierzu gehören beispielsweise die in Art. 5 Abs. 2 DSGVO verankerten Rechenschaftspflichten, die Arbeitgeber als datenschutzrechtliche Verantwortliche haben. Sie müssen dafür sorgen, dass im Betrieb nur solche KI-Systeme eingesetzt werden, die den datenschutzrechtlichen Anforderungen an die Transparenz der Verarbeitung oder eine klare Zweckbindung gerecht werden. Entsprechendes gilt auf der kollektivrechtlichen Ebene, auf der es dem Arbeitgeber obliegt, dem Betriebsrat die Informationen zur Verfügung zu stellen, die dieser für die Wahrnehmung seiner gesetzlichen Aufgaben und Mitbestimmungsrechte benötigt.
Im Rahmen seiner kollektivrechtlichen Mitwirkungsrechte ist der Betriebsrat beispielsweise nach § 80 Abs. 1 Nr. 1 BetrVG verpflichtet, darüber zu wachen, dass die zugunsten von Beschäftigten geltenden Gesetze eingehalten werden. Hierzu gehört auch das Allgemeine Gleichstellungsgesetz (AGG). Um prüfen zu können, ob nach diesem Gesetz unzulässige Diskriminierungen bei der Verwendung von KI-Systemen ausgeschlossen sind, muss er wissen, ob eingesetzte Algorithmen diskriminierende Merkmale enthalten, verwenden oder im Rahmen des stattfindenden „Lernprozesses“ entwickeln. Prüfungen durch Betriebsräte können sich auch auf abstrakte Diskriminierungsmerkmale beziehen, wenn diese sich in der Anwendung von Personalsystemen auf Arbeitnehmer·innen auswirken können.
Auf der Grundlage anwendbarer Mitbestimmungsrechte ist es Betriebsräten möglich, spezifische Vereinbarungen zur Einführung und zum Einsatz von KI-Systemen abzuschließen, gegebenenfalls auch, indem sie eine Einigungsstelle einschalten. Dies erhöht die Durchsetzungsmöglichkeiten.
Das Mitbestimmungsrecht nach § 87 Abs. 1 Nr. 1 BetrVG zu Fragen der Ordnung des Betriebs und des Verhaltens der Beschäftigten im Betrieb ist beispielsweise einschlägig, wenn im Bereich des Personalmanagements formalisierte Verfahren eingesetzt werden, wie etwa automatisierte Mitarbeiterbefragungen im Vorfeld von Zielvereinbarungsprozessen oder von „360-Grad-Feedback“ oder „Mitarbeiter-Selbstbestimmungsverfahren“ zur Pflege der Stammdaten in einem Personalinformationssystem. Dem Mitbestimmungsrecht in § 87 Abs. 1 Nr. 6 BetrVG bezüglich der Einführung und Anwendung von technischen Einrichtungen, die dazu bestimmt sind, das Verhalten oder die Leistung der Angestellten zu überwachen, kommt mit Blick auf das Kontrollpotenzial von KI-Systemen im Bereich des Personalmanagements eine herausragende Bedeutung zu. Es versetzt Betriebsräte in die Lage, unzulässige, unnötige oder zu weitgehende Kontrollen und Überwachungen zu vermeiden und erforderliche Formen kollektivrechtlich zu regeln. Einschlägige kollektivrechtliche Regelungen wie insbesondere Betriebsvereinbarungen können eine datenschutzrechtliche Grundlage für die Verarbeitung von Beschäftigtendaten mit KI-Systemen darstellen.
Das Zustimmungsrecht des Betriebsrats zu Auswahlrichtlinien in § 95 BetrVG eröffnet den Weg zur Mitbestimmung der Ausgestaltung interner Personalprozesse. Dieses Zustimmungsrecht erfasst einen wesentlichen Teil des operativen Personalmanagements und die dort stattfindenden automatisierten Prozesse. Es besteht beispielsweise auch bezogen auf KI-Systeme, die vorliegende personenbezogene Informationen über einzelne Arbeitnehmer eigenständig analysieren und daraus allgemeine Entscheidungsvorschläge oder Richtlinien für die Personalauswahl ableiten. Damit unterliegen auch Software-Anwendungen, die die Personalauswahl teil- oder vollautomatisiert vornehmen, bezüglich der fachlichen und persönlichen Voraussetzungen und der sozialen Gesichtspunkte dem Mitbestimmungsrecht nach § 95 BetrVG.
Kollektivrechtliche Informationsansprüche der Betriebsräte müssen präzisiert und abgesichert werden, indem Arbeitgeber gesetzlich verpflichtet werden, nur solche technischen Einrichtungen einzusetzen und zu verwenden, deren Funktionsweisen sie detailliert kennen und die sie so anpassen (lassen) können, dass sie gesetzlichen Vorgaben ebenso gerecht werden wie Anforderungen, die sich aus durchgeführten Mitbestimmungsprozessen ableiten.
Dieses Ziel könnte durch eine gesetzliche Verpflichtung der Arbeitgeber erreicht werden, Betriebsräten bezogen auf KI-Systeme und die hier verwendeten Algorithmen, die eingesetzt werden sollen, strukturierte Informationen zur Verfügung zu stellen. Dies würde einerseits die Verpflichtung beinhalten, nur solche Systeme einzuführen und anzuwenden, über die entsprechende Informationen verfügbar sind. Andererseits kommen auch neue Wege in Betracht, wie etwa der Einsatz von Fragenkatalogen, aus deren qualifizierter Beantwortung sich notwendige Informationen zu den Möglichkeiten und zur Funktionsweise der eingesetzten IT-Systeme ableiten lassen.
Auf der Ebene der Mitbestimmung müssen bestehende Rechte nach dem Betriebsverfassungsgesetz zugunsten der Betriebsräte angepasst werden. Mit Blick auf die Einführung und Änderung technischer Einrichtungen, die zur Verhaltens- oder Leistungskontrolle bestimmt sind, müssen Auslegungsgrundsätze, die von den Gerichten geschaffen wurden, in § 87 Abs. 1 Nr. 6 BetrVG verankert werden. Hierzu gehört insbesondere die Entscheidung des Bundesarbeitsgerichts, dass ein Mitbestimmungsrecht unabhängig davon begründet sein muss, ob der Arbeitgeber Verhaltens- und Leistungskontrollen auch tatsächlich durchführen will; es muss ausreichen, dass ein eingesetztes System es technisch möglich macht.
Denn wenn dieses Mitbestimmungsrecht nur in den Fällen greift, in denen Arbeitgeber eine Verhaltens- und Leistungskontrolle explizit wollen, wäre Betriebsräten die Möglichkeit genommen zu prüfen, ob tatsächlich keine Kontrollen erfolgen werden, bevor ein System eingeführt oder geändert wird. Stellen sie erst nach der Einführung oder Änderung fest, dass Kontrollen stattfinden, wird es für sie faktisch unmöglich, einen Stopp des Betriebs im Wege des einstweiligen Rechtsschutzes durchzusetzen.
Bezogen auf die Einführung und Anwendung von KI-Systemen sollte im Betriebsverfassungsgesetz verankert werden, dass die Hinzuziehung externer Sachverständiger durch Betriebsräte in diesen Fällen grundsätzlich als erforderlich zu qualifizieren ist und dass ein entsprechender Anspruch ab einer bestimmten „KI-Schwelle“ automatisch besteht. Als „Schwellwert“ könnte beispielsweise die Einführung oder Anwendung von KI-Systemen festgelegt werden, die automatisch Entscheidungsvorschläge oder Analysen erstellen, ohne dass die verwendeten Algorithmen für Betriebsräte und Beschäftigte ohne IT-Kenntnisse nachvollziehbar sind. Gleiches könnte für KI-Systeme gelten, die eine „selbstlernende“ Logik bzw. entsprechende Software enthalten. Ein Vorbild für die Vereinfachung der Hinzuziehung von externen Sachverständigen in diesen Fällen könnte die Regelung in § 111 Satz 2 BetrVG für die Hinzuziehung von Beratern sein, allerdings ohne die dort genannte Mindestzahl von Betroffenen. In jedem Fall müssten Betriebsräte fachkompetente Sachverständige ohne Beeinflussung durch den Arbeitgeber eigenständig auswählen können.
Die Bundesregierung hatte in ihrer KI-Strategie vom November 2018 angekündigt zu „ermöglichen, dass sich Arbeitgeber und Betriebsrat in IT-Fragen im Zusammenhang mit dem Mitbestimmungsrecht nach § 87 Abs. 1 Nr. 6 BetrVG, gemeinsam auf die Hinzuziehung eines entsprechenden externen Sachverständigen einigen.“ Dies „soll es insbesondere den Betriebsräten ermöglichen, ihr Mitbestimmungsrecht nach § 87 Abs. 1 Nr. 6 BetrVG bei der Einführung und Anwendung von KI- sowie technischen Anwendungen, die dazu bestimmt sind, das Verhalten oder die Leistungen der Arbeitnehmer zu überwachen, besser auszuüben.“ Warum eine derartige Ergänzung die Position der Betriebsräte und damit indirekt auch die Situation der Beschäftigten eher verschlechtern statt verbessern würde, ist im Gutachten auf Seite 31 dargelegt.
Neue Probleme für Beschäftigte können bezogen auf das automatisierte Personalmanagement entstehen, wenn Systeme zur Anwendung kommen, die auf der Grundlage von Data-Mining-Konzepten Vorhersagen zum vermutlichen Verhalten von Beschäftigten machen. Derartige Systeme greifen im Regelfall sehr weit in Persönlichkeitsrechte der Betroffenen ein und werden im Ergebnis einer Verhältnismäßigkeitsprüfung im Regelfall als nicht zulässig zu qualifizieren sein. Dies schützt aber Beschäftigte nicht davor, dass sie dennoch eingesetzt werden und dass dieser Einsatz in betriebsratlosen Betrieben ohne kollektivrechtlich mögliche Begrenzungen erfolgt. Gleiches gilt für sprachanalysierende KI-Systeme.
Der unangemessene Einsatz derartiger Systeme ließe sich nur durch klare gesetzliche Verbote vermeiden, die Bestandteil eines umfassenderen Beschäftigtendatenschutzgesetzes sein könnten. Eine solche Regelung lässt aber weiter auf sich warten. Die Notwendigkeit eines speziellen Beschäftigtendatenschutzgesetzes mit Regelungen zu Themen wie dem expliziten Ausschluss heimlicher Überwachungen wird vom deutschen Gesetzgeber gesehen. In der amtlichen Begründung zum Datenschutz-Anpassungs- und -Umsetzungsgesetz EU, das als Artikelgesetz insbesondere das neue BDSG enthält, heißt es hierzu:
„Der Gesetzgeber behält sich vor, Fragen des Datenschutzes im Beschäftigungsverhältnisinnerhalb dieser Vorschrift oder im Rahmen eines gesonderten Gesetzes konkretisierend bestimmte Grundsätze, die im Rahmen der Rechtsprechung zum geltenden Recht bereits angelegt sind, zu regeln. Dies gilt insbesondere für das Fragerecht bei der Begründung eines Beschäftigungsverhältnisses, den expliziten Ausschluss von heimlichen Kontrollen im Beschäftigungsverhältnis, die Begrenzung der Lokalisierung von Beschäftigten sowie den Ausschluss von umfassenden Bewegungsprofilen, den Ausschluss von Dauerüberwachungen und die Verwendung biometrischer Daten zu Authentifizierungs- und Autorisierungszwecken.“
In ihrer KI-Strategie hatte die Bundesregierung angekündigt,
„die betrieblichen Mitbestimmungsmöglichkeiten bei der Einführung von KI-Anwendungen [zu] sichern und [zu] prüfen, ob im Rahmen eines eigenständigen Beschäftigtendatenschutzgesetzes mehr Rechtssicherheit bei der Einführung entsprechender Anwendungen im Betrieb geschaffen werden kann.“
Gerade angesichts der hier dargelegten Situation ist es höchste Zeit, diese Ankündigung in die Tat umzusetzen.
Erfolgt eine (datenschutz-)rechtlich unzulässige Verarbeitung von Beschäftigtendaten und erhalten Arbeitgeber als deren Ergebnis Informationen, die sie für arbeitsrechtliche Maßnahmen gegen Beschäftigte nutzen, stellt sich als weiteres das Problem, dass das deutsche Arbeitsrecht kein „Beweisverwertungsverbot“ zugunsten der Beschäftigten kennt [s. hierzu im Gutachten Abschnitt E.I.]. Nur ein eindeutiges gesetzliches Verbot der prozessualen Verwendung von Beweisen, die unter Verstoß gegen datenschutz- oder arbeitsrechtliche Vorschriften gewonnen wurden, würde Beschäftigte wirksam vor hieraus resultierenden arbeitsrechtlichen Maßnahmen schützen.
Für einen ethisch gerechtfertigten Einsatz müssen KI-basierte Systeme ein Höchstmaß an Datenschutz garantieren, um sie ethisch einsetzen zu können. Dies betrifft die Mitarbeiter·innendaten, die zum Training von „lernenden Systemen“ verwendet werden, und die Daten, auf deren Grundlage das KI-basierte System Empfehlungen abgibt. Es besteht eine klare Überschneidung zwischen den KI-Leitlinien für die Datenerhebung und den Rechtsgrundsätzen des Datenschutzes. Die Datenschutzgrundverordnung (DSGVO) der EU könnte einen angemessenen rechtlichen Standard für viele Organisationen bieten, der auch die Kompromisse zwischen verschiedenen Werten und Zielen berücksichtigt, die von Organisationen verfolgt werden. Aber die DSGVO reicht nicht aus. Ein DSGVO+-Ansatz könnte als ethischer Ansatz betrachtet werden, der die Achtung des Datenschutzes mit den Grundsätzen des Stakeholder-Engagements (PDF, S. 41) und der Governance-Strukturen zur Förderung von Rechenschaftspflicht ergänzt (PDF, S. 43).
Die wichtigsten ethischen Fragen, die vor der Implementierung der Datenerhebung beantwortet werden müssen, sind:
Garantieren wir den Beschäftigten ein strengstes Datenschutzniveau, das mit den Zielen solcher Analysen vereinbar ist?
Ist der Zweck, für den wir Mitarbeiterdaten erheben, einer, den wir rechtfertigen können und der mit unseren Zielen als Organisation im Einklang steht?
Ist es möglich, Beschäftigte auch als Akteure datengesteuerter algorithmischer Governance einzubinden, statt nur als passive Personen, die algorithmische Entscheidungen entgegennehmen?
Praktische Empfehlungen zur Umsetzung ethischer Prozessverbesserungen sind:
Richten Sie eine interne oder unabhängige Ethikkommission ein, um die Zwecke der Datenerhebung aus ethischer Sicht sorgfältig zu bewerten. Eine interne Ethikkommission sollte alle Schlüsselkompetenzen in der Organisation umfassen (einschließlich, aber nicht beschränkt auf Personalmanagement, Datenschutz und Compliance). Eine unabhängige Ethikkommission sollte unterschiedliche Perspektiven der Interessenvertretung umfassen und berücksichtigen.
Sorgen Sie dafür, dass Beschäftigte ihre Meinung äußern können. Ihre Beurteilung der Zwecke, zu denen ihre Daten analysiert werden, sollte nicht missachtet werden. Mitarbeiter·innen zu beteiligen, kann dabei helfen herauszufinden, welche Datenanalyse wünschenswert ist und welche problematisch.
Auf welche ethischen Werte sich diese Leitlinie gründet, ist im Gutachten auf S. 46 ausgeführt.
Um auf eine ethisch akzeptable Art und Weise geeignete Modelle für „selbstlernende“ Systeme zu entwickeln, muss man sich vor allem mit der Erklärbarkeit und Fairness von algorithmischen Systemen befassen. Nachvollziehbarkeit und Fairness eines Modells können durch technische Methoden in erheblichem Maße verstanden, dokumentiert und verbessert werden. Das erforderliche technische Fachwissen sollte durch weniger formalisierte Erkenntnisse ergänzt werden, z.B. darüber, was im Kontext moralisch angemessen ist. Dieses Wissen muss in Zusammenarbeit mit Stakeholdern entwickelt werden, die möglicherweise eigens zu diesem Zweck eingebunden werden müssen.
Eine Herausforderung für Unternehmen besteht darin, ihre Fähigkeit zu verbessern, die Auswirkungen von KI-Entscheidungen auf bestimmte Gruppen oder die Daten, die indirekt diskriminierend sein können, zu verstehen. Es ist denkbar, dass ethnisch vielfältigere und geschlechtergerechtere Forschungsteams eine höhere Sensibilität für diese Fragen haben. Noch entscheidender ist, dass es kognitive Vielfalt geben sollte, insbesondere Fachleute, die in der Lage sind, „anders zu denken“ als die meisten Fachkundigen aus Informatik, Datenwissenschaft oder Software-Entwicklung (zu denen aber selbstverständlich auch Angehörige dieser Gruppen gehören können, die Ethik-Kompetenzen erworben haben). Die Forschung wird hoffentlich Erkenntnisse über die Wirksamkeit spezifischer Einstellungs- und Diversitätsstrategien für KI-basierte Systeme liefern.
Verfügen die Personalverantwortlichen in der Organisation über die technischen Fähigkeiten, die erforderlich sind, um die Nachvollziehbarkeit und Fairness von KI-Tools angemessen zu beurteilen?
Sammeln Datenwissenschaftler·innen genügend Informationen über das Training von KI-basierten Systemen, um eingreifen zu können, wenn sie nicht angemessen funktionieren? Werden die potenziellen Mängel und Grenzen der Trainingsdatensätze angemessen verstanden? Sind die technischen Schritte zur Bewertung und Dokumentation von Fairness und Verständlichkeit bereits vorhanden?
Gibt es genügend kognitive und moralische/politische Vielfalt unter den Bewerter·innen von KI-basierten Systemen, um Fragen der Fairness und Transparenz KI-basierter Systeme kritisch zu bewerten?
Ist die Organisation angemessen ausgestattet, um Inputs und Feedback von externen Experten·innen zu sammeln, die für die Beurteilung der Fairness und Verständlichkeit von KI-Tools relevant sind?
Stellen Sie sicher, dass Sie über ausreichende Kompetenzen verfügen, um KI-basierte Systeme ethisch zu entwickeln und umzusetzen. Organisationen, die KI-Tools im Personalmanagement entwickeln und implementieren wollen, müssen Expert·innen mit der Bandbreite an Fähigkeiten (und informellem Wissen und kognitiven Ausprägungen) rekrutieren, die erforderlich sind, um Verständlichkeit und Fairness eines algorithmischen Systems zu bewerten.
Beziehen Sie zivilgesellschaftliche Organisationen und Fachwissen aus der Wissenschaft ein. Validieren Sie mit externer Unterstützung, dass die technischen Methoden, die Sie zur Schulung Ihrer Modelle anwenden, wissenschaftlich fundiert und ethisch vertretbar sind. Entwickeln Sie ein Bewusstsein für mögliche ethische Kritik, indem Sie Feedback von außerhalb der Organisation sammeln und einwerben. Stellen Sie nach Möglichkeit (anonymisierte) Datensätze und Ihre Algorithmen zur Verfügung, um Ihr Tool unabhängig bewerten zu lassen.
Engagieren Sie sich in KI- und Ethik-Schulungen:
Schulen Sie potenzielle Endnutzer·innen (z. B. Personalmanager·innen), um sicherzustellen, dass sie über das Know-how und die Fähigkeiten verfügen, die erforderlich sind, um KI-basierte Personalsoftware korrekt zu betreiben. Endnutzer·innen sollten nicht blindes Vertrauen in KI-Instrumente haben, sondern ein angemessenes Maß an Vertrauen in Verbindung mit kritischen Einstellungen. Binden Sie die potenziellen Anwender·innen Ihres Tools ein, um sicherzustellen, dass sie ausreichend über das System, seine Grenzen und die richtige Anwendungsdomäne wissen. Fördern Sie Bildungsressourcen, die Personalmanager·innen helfen, Missverständnisse über KI-basierte Personalsoftware zu vermeiden.
Schulen Sie Beschäftigte, die potenziell von algorithmischen Systemen betroffen sind, oder ihre Vertreterinnen und Vertreter (z. B. Betriebsräte), um sicherzustellen, dass sie über das Know-how und die Fähigkeiten verfügen, die notwendig sind, um richtig zu verstehen, wie KI-basierte Personalsoftware eingesetzt wird. Sie sollten nicht blinden Glauben in KI-Instrumente haben, sondern ein angemessenes Maß an Vertrauen in Verbindung mit kritischen Einstellungen. Binden Sie potenziell betroffene Personen Ihres Tools oder deren Vertreterinnen und Vertreter ein, um sicherzustellen, dass sie genug über das Tool, seine Grenzen und seinen richtigen Anwendungsbereich wissen. Fördern Sie Bildungsressourcen für diese Personen, die ihnen helfen, Missverständnisse über KI-basierte Personalsoftware zu vermeiden.
Auf welche ethischen Werte sich diese Leitlinie gründet, ist im Gutachten auf S. 48 ausgeführt.
Die Auswirkungen der Verwendung des Tools auf die Beschäftigten sollten sorgfältig überwacht werden
Es sollte möglich sein, die tatsächliche Wirkung der Verwendung von KI-basierten Systemen zur Unterstützung von Personalentscheidungen zu überwachen und zu dokumentieren. Dies kann durch die Implementierung technischer Verfahren, z. B. das automatische Sammeln von Daten über Entscheidungen, die mithilfe der Inputs von KI-Systemen getroffen wurden, und durch die Implementierung sozialer Prozesse erreicht werden, z. B. indem Personalmanager·innen die Möglichkeit bekommen, Feedback zu geben und die Ergebnisse der KI-Systeme auch mit ihren Entwickler·innen zu diskutieren.
Haben wir Mechanismen um sicherzustellen, dass die Entscheidungen, die algorithmisch getroffen werden, bewertet und korrigiert werden können, wenn etwas schief geht?
Sind unsere Verfahren zur Dokumentation der vom Algorithmus getroffenen Entscheidungen angemessen? Können wir sie so gestalten, dass sie die Privatsphäre der Beschäftigten nicht beeinträchtigen?
Wie können wir einen Mechanismus für Feedback einrichten, der das Funktionieren des Personalmanagement-Systems nicht behindert, sondern es den Datenwissenschaftler·innen ermöglicht, es Schritt für Schritt zu verbessern?
Gibt es einen Mechanismus zur Wiedergutmachung von Personen, die aufgrund einer ungenauen algorithmischen Bewertung oder Vorhersage ungerecht behandelt wurden?
Entwickeln Sie einen datenschutzkonformen Mechanismus zur Aufzeichnung von Entscheidungen, die relevante Auswirkungen auf Beschäftigte haben und mithilfe algorithmischer Empfehlungen oder Vorhersagen getroffen werden.
Entwicklung Sie einen datenschutzkonformen Mechanismus, um festzustellen, ob bestimmte Bevölkerungsgruppen (z.B. Nichtmuttersprachler·innen, Schwangere, Angehörige von Minderheiten u.a.) durch algorithmische Entscheidungen negativ oder positiv betroffen sind.
Entwickeln Sie einen Prozess, der es Angestellten möglich macht, Fehler in Daten-Inputs und Daten-Outputs zu korrigieren.
Entwickeln Sie einen Prozess, der es Beschäftigten ermöglicht, Entscheidungen anzufechten, die vollautomatisiert getroffen wurden (falls vorhanden).
Wenn eine Untergruppe Ihrer Angestellten (z. B. Nichtmuttersprachler·innen, Eltern mit Kindern, Angehörige religiöser Gruppen) durch die Einführung algorithmischer Entscheidungen systematisch benachteiligt zu sein scheint, richten Sie ein Verfahren zur Wiedergutmachung für Sie ein und sorgen Sie dafür, dass die Ergebnisse für sie verbessert werden.
Auf welche ethischen Werte sich diese Leitlinie gründet, ist im Gutachten auf S. 49 ausgeführt.
Der Wert der Transparenz wird in allen hier untersuchten Leitlinien über KI-basierte Systeme berücksichtigt. Transparenz wird jedoch nur dann von Vorteil sein, wenn sie im angemessenen Umfang hergestellt wird, sonst kann sie sogar Schaden anrichten. Es wird von Vorteil sein, wenn ein besseres Verständnis der Logik des Algorithmus den Beschäftigten Anreize gibt, besser zu arbeiten. Dieses Ergebnis mag möglich sein, aber es ist nicht garantiert, nur weil das System auf fehlerfreien statistischen Modellen basiert. Schlecht gestaltete Transparenz kann auf zwei Arten zu Problemen führen:
Erstens können Beschäftigte, um persönliche Vorteile zu erlangen oder dem Unternehmen zu schaden, Transparenz missbrauchen, indem sie die Metriken manipulieren, die verwendet werden, um Entscheidungen über sie zu treffen.
Zweitens besteht die Gefahr, die verfolgten Ziele zu verdrehen oder sogar umzukehren. Das kann dann passieren, wenn Beschäftigte ihre Punktzahlen auf der Grundlage von sogenannten Proxies (Stellvertretermerkmalen, die als Ersatz für Indikatoren dienen, die nicht direkt gemessen werden können) maximieren, anstatt authentische Verbesserungen anzustreben, die gute Ergebnisse als Nebenwirkungen erzeugen.
Allgemeiner ausgedrückt, kann die Vorhersagekraft eines KI-Systems untergraben werden, wenn sie auf Modellen des maschinellen Lernens beruht, die blind für strategische Überlegungen sind. Denn das Wissen über den Algorithmus kann die Anreize der Beschäftigten beeinflussen und somit zu neuen Verhaltensmustern führen, die von denen abweichen, die beim Training des KI-Systems verwendet wurden.
Es sollte jedoch klar sein, dass Beschäftigte und Personalmanager·innen versuchen können, auch intransparente KI-Systeme zu manipulieren, basierend auf Vermutungen oder Unternehmensmythen über die Art und Weise, wie die unergründlichen KI-Algorithmen funktionieren. Auf diese Weise können intransparente Systeme ebenfalls verzerrende Effekte erzeugen, die Vorhersagen untergraben, und es ist unklar, ob transparentere Systeme tatsächlich effektiver manipuliert werden können.
Eine wissenschaftliche Möglichkeit, solche Verzerrungen zu vermeiden, besteht darin, strategie-sichere Systeme zu entwerfen (d. h. Systeme, die auf Entscheidungsregeln beruhen, die im spieltheoretischen Sinne dominant-strategy-incentive-compatible sind). Wenn Systeme einer strategiesicheren, offengelegten Entscheidungsregel unterliegen, dient es per definitionem dem Eigeninteresse aller Beschäftigten, die sie betreffenden Informationen wahrheitsgemäß zu melden. Dies kann fortgeschrittene Modelle Maschinellen Lernens erfordern, die nicht nur auf Prinzipien der Statistik basieren, sondern auch auf Prinzipien aus der Ökonomie, insbesondere der Spieltheorie.
Aufgrund dieser Komplexität muss eine angemessene Transparenzstrategie mit unterschiedlichen Lösungen, die auf die verschiedenen Kontexte zugeschnitten sind, geplant, konzipiert und erreicht werden. Verschiedene Arten von Transparenzanforderungen sollten für unterschiedliche Akteure gelten, beispielsweise Personalvertretungen und Personalverantwortliche. Um das zu erreichen, sollte das Management an der Entwicklung einer Transparenzstrategie bei der Einführung von KI-Systemen beteiligt werden. Es ist auch möglich, dass verschiedene Formen der Transparenz gleichzeitig verwendet werden. Beispielsweise kann die Dokumentation des maschinellen Lernprozesses für einige Zwecke und einige Beteiligte ausreichend sein, für andere jedoch nutzlos; detaillierte Kenntnis der Merkmale und deren Auswirkungen auf das Ergebnis kann in einigen Kontexten fair, nützlich und möglich sein (z. B. wenn die Algorithmen keine „Black Boxes“ sind und ihre Kenntnis nicht zu unbeabsichtigten Ergebnissen führt). In anderen Fällen kann eine abstraktere Erläuterung der Logik hinter den Entscheidungen, kombiniert mit vollständigem Wissen über die Merkmale des Systems, besser geeignet sein (etwa dann, wenn detailliertes Wissen zur Manipulation des Systems verwendet würde).
Der Leitfaden ermöglicht es Betriebsräten und Personalmanager·innen, von Anbieterfirmen Informationen zu erfragen, die essentiell dafür sind, die Funktionsweise algorithmischer Systeme zu verstehen und Qualitäts- und Zuverlässigkeitskriterien zu beurteilen, ohne dass Programmiercode oder die Datenbasis offengelegt werden müssen. Dies vermeidet langwierige Auseinandersetzungen über Geheimhaltungsfragen mit den Anbietern der Systeme. Auf die Auskünfte, die auf Basis des Leitfadens gefordert werden, haben Beschäftigte einen ethischen und sehr wahrscheinlich auch einen gesetzlichen Anspruch (s. dazu den Abschnitt Rechtliche Situation und gesetzgeberischer Handlungsbedarf).
Die hier in einer Auflistung dargestellten Fragen haben unterschiedlichen Charakter. Sie reichen von allgemeinen Fragen wie „Welche Aussagen triff und welche Entscheidungen berührt die Software?“ bis hin zu konkreten Fragen wie „Wie ist die Qualität der Implementierung (des Programmcodes) sichergestellt?“ In Automatisierte Entscheidungen und Künstliche Intelligenz im Personalmanagement – Ein Leitfaden zur Überprüfung essenzieller Eigenschaften KI-basierter Systeme für Betriebsräte andere Personalvertretungen [PDF] ist der Hintergrund der jeweiligen Fragen erläutert.
Wir werden diesen Leitfaden in Zusammenarbeit mit Vertreter·innen von Beschäftigen und Personalmanagement in der Praxis testen und dabei vor allem Erläuterung dazu erarbeiten, wie die Antworten zu verstehen sind.
Q2.3 Wenn Maschinelles Lernen verwendet wird, welche Annahmen und wissenschaftlichen Theorien liegen dem Verfahren zugrunde und warum wurde dieses Verfahren gewählt?
Q2.4 Wenn Maschinelles Lernen verwendet wird, welche Trainingsdaten wurden verwendet?
Q2.5 Wenn Maschinelles Lernen verwendet wird, wie wurde das Verfahren gegen Diskriminierung und andere ungewollte Einflüsse aus den Trainingsdaten gesichert?
Q2.6 Wenn Maschinelles Lernen verwendet wird, wie wurde das Verfahren getestet?
Q3.3 Wer hat die Software erstellt und welche Komponenten wurden übernommen?
Q4.1 Welche Fähigkeiten und Kenntnisse werden auf Seiten der Nutzer·innen der Software benötigt?
Q4.6 Werden subtile Beeinflussungen der Nutzer·innen durch die Gestaltung der Softwareoberfläche ausgeschlossen?
AlgorithmWatch ist eine gemeinnützige Forschungs- und Advocacy-Organisation. Wir erarbeiten gemeinsam mit den besten Wissenschaftlerinnen und Wissenschaftlern verschiedener Fachgebiete Erkenntnisse über komplexe algorithmische Systeme zur Automatisierung von (Vor-)Entscheidungen (ADM, automated decision-making). Wir entwickeln konkrete Lösungsansätze, weil wir der Ansicht sind, dass ADM-Systeme dazu genutzt werden können und sollten, gesellschaftlichen Wohlstand und individuelle Teilhabemöglichkeiten zu stärken. Zugleich arbeiten wir daran mit zu verhindern, dass Unternehmen und staatliche Stellen ADM-Systeme dazu nutzen oder zumindest in Kauf nehmen, dass damit individuelle Chancen und Rechte beschnitten oder demokratische und rechtsstaatliche Verfahren ausgehöhlt werden.
Positionspapier als PDF: