# Questionnement éthique des systèmes algorithmiques.

Sylvie Michel, Sylvie Gerbaix, Marc Bidan

► To cite this version:

Sylvie Michel, Sylvie Gerbaix, Marc Bidan. Questionnement éthique des systèmes algorithmiques.. RIMHE: Revue Interdisciplinaire Management, Homme(s) & Entreprise, 2023, 12 (50), pp.105 - 116. 10.3917/rimhe.050.0105 . hal-04140370

HAL Id: hal-04140370

https://hal.science/hal-04140370

Submitted on 22 Jan 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>
# Questionnement éthique des systèmes algorithmiques

Sylvie Michel, Sylvie Gerbaix, Marc Bidan

► To cite this version:

Sylvie Michel, Sylvie Gerbaix, Marc Bidan. Questionnement éthique des systèmes algorithmiques. RIMHE: Revue Interdisciplinaire Management, Homme(s) & Entreprise, 2023, 12 (50), pp.105 - 116. 10.3917/rimhe.050.0105 . hal-04140370

HAL Id: hal-04140370

https://hal.science/hal-04140370v1

Submitted on 22 Jan 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL<fnref n="1" />, Sylvie GERBAIX<fnref n="2" /> et Marc BIDAN<fnref n="3" />

Les algorithmes sont devenus omniprésents dans nos activités de plus en plus connectées. Aujourd'hui, ils nous aident à choisir un film, une musique, le chemin le plus rapide, des amis, des partenaires sexuels. Ils aident les institutions à prendre des décisions de justice et à gérer l'ordre public (Benbouzid, 2018), le médecin à poser son diagnostic (Hénin, 2021) et à former (Komi, 2019), le trader à spéculer ou encore l'armée et les systèmes d'armes létales autonomes (Quino et Bidan, 2023), communément appelés robots tueurs. Tous les domaines semblent être sous le joug de la puissance algorithmique : logistique, santé, éducation, recherche, défense, banque, agroalimentaire, culture, loisir, réseaux sociaux et professionnels. A l'origine, la notion d'algorithme faisait référence à une suite d'instructions ou d'opérations élémentaires (faire/ne pas faire) permettant de résoudre un problème. Son étymologie nous révèle que c'est un procédé de calcul utilisant les chiffres arabes. Aujourd'hui, il est notoirement difficile de proposer une caractérisation précise de ce qu'est un algorithme. Aussi, nous relevons que de nombreux articles de recherche ne précisent pas la notion d'algorithme (Burrell, 2016 ; Kitchin, 2016), même lorsqu'ils en sont le sujet. Comme l'explique Hill (2016), il existe des définitions différentes avec des significations très diverses selon le champ disciplinaire et le public spécialiste ou profane. Cet article porte sur les algorithmes mis en œuvre dans et par les ordinateurs, c'est-à-dire incluant l'intelligence artificielle, tout en allant au-delà des aspects techniques (Cardon, 2015 ; Boissier, 2019) et en référence à Seaver (2019) qui définit les algorithmes comme des systèmes sociotechniques diffus et hétérogènes, plutôt que des procédures fixes et rigides. La notion de système algorithmique a été ainsi proposée pour indiquer que l'algorithme seul ne peut pas traiter des problèmes qui relèvent de son imbrication dans un système et un jeu d'acteurs, de normes de pouvoir et de complexité (Neyland, 2016). Dans cet article, les algorithmes sont considérés comme des constructions techniques à la fois sociales et culturelles dans leur développement, dans les données (inputs), dans

<footnote n="1">¹ Maîtresse de conférences HDR, Sciences de gestion, Université de Bordeaux, IRGO (EA 4190) - sylvie.michel@u-bordeaux.fr</footnote>

<footnote n="2">² Maître de conférences HDR, Sciences de gestion, Université de Montpellier, MRM (EA 4557) - sylvie.gerbaix@umontpellier.fr</footnote>

<footnote n="3">³ Professeur des universités, Sciences de gestion, Atlantique Polytech Nantes, LEMNA (EA 4272) - Marc.Bidan@univ-nantes.fr</footnote>
Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL<fnref n="1" />, Sylvie GERBAIX<fnref n="2" /> et Marc BIDAN<fnref n="3" />

Les algorithmes sont devenus omniprésents dans nos activités de plus en plus connectées. Aujourd'hui, ils nous aident à choisir un film, une musique, le chemin le plus rapide, des amis, des partenaires sexuels. Ils aident les institutions à prendre des décisions de justice et à gérer l'ordre public (Benbouzid, 2018), le médecin à poser son diagnostic (Hénin, 2021) et à former (Komi, 2019), le trader à spéculer ou encore l'armée et les systèmes d'armes létales autonomes (Quino et Bidan, 2023), communément appelés robots tueurs. Tous les domaines semblent être sous le joug de la puissance algorithmique : logistique, santé, éducation, recherche, défense, banque, agroalimentaire, culture, loisir, réseaux sociaux et professionnels. A l'origine, la notion d'algorithme faisait référence à une suite d'instructions ou d'opérations élémentaires (faire/ne pas faire) permettant de résoudre un problème. Son étymologie nous révèle que c'est un procédé de calcul utilisant les chiffres arabes. Aujourd'hui, il est notoirement difficile de proposer une caractérisation précise de ce qu'est un algorithme. Aussi, nous relevons que de nombreux articles de recherche ne précisent pas la notion d'algorithme (Burrell, 2016 ; Kitchin, 2016), même lorsqu'ils en sont le sujet. Comme l'explique Hill (2016), il existe des définitions différentes avec des significations très diverses selon le champ disciplinaire et le public spécialiste ou profane. Cet article porte sur les algorithmes mis en œuvre dans et par les ordinateurs, c'est-à-dire incluant l'intelligence artificielle, tout en allant au-delà des aspects techniques (Cardon, 2015 ; Boissier, 2019) et en référence à Seaver (2019) qui définit les algorithmes comme des systèmes sociotechniques diffus et hétérogènes, plutôt que des procédures fixes et rigides. La notion de système algorithmique a été ainsi proposée pour indiquer que l'algorithme seul ne peut pas traiter des problèmes qui relèvent de son imbrication dans un système et un jeu d'acteurs, de normes de pouvoir et de complexité (Neyland, 2016). Dans cet article, les algorithmes sont considérés comme des constructions techniques à la fois sociales et culturelles dans leur développement, dans les données (inputs), dans

<footnote n="1">¹ Maîtresse de conférences HDR, Sciences de gestion, Université de Bordeaux, IRGO (EA 4190) - sylvie.michel@u-bordeaux.fr</footnote>

<footnote n="2">² Maître de conférences HDR, Sciences de gestion, Université de Montpellier, MRM (EA 4557) - sylvie.gerbaix@umontpellier.fr</footnote>

<footnote n="3">³ Professeur des universités, Sciences de gestion, Atlantique Polytech Nantes, LEMNA (EA 4272) - Marc.Bidan@univ-nantes.fr</footnote>
## Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

l'interprétations des résultats (*output*) et dans leur utilisation. C'est dans ce sens que nous traitons de systèmes algorithmiques plutôt que d'algorithmes.

Or, les systèmes algorithmiques étant désormais au cœur des relations humaines et des échanges, les questions relatives aux usages (ou mésusages), aux bienfaits (ou limites) sont devenues capitales. Comment alors comprendre et analyser les principaux problèmes éthiques posés par les systèmes algorithmiques ? La question se pose d'autant plus que les problèmes éthiques sont aujourd'hui devenus complexes, c'est-à-dire contradictoires, difficilement définissables, contingents, évolutifs, globaux et uniques à la fois, non réductibles à une causalité linéaire (Meissonier, 2021), légitimant la mobilisation des travaux d'Edgar Morin. L'auteur propose « trois principes qui peuvent nous aider à penser la complexité » (Morin, 2005, p.98) : le principe dialogique, le principe hologrammatique et la récursivité organisatrice, sur lesquels nous nous sommes appuyés pour appréhender et éclairer la complexité des problèmes éthiques induits par les systèmes algorithmiques. Dans cette contribution à visée conceptuelle et spéculative, nous avons commencé, grâce à une revue de littérature, par analyser et regrouper en trois grands pôles les questions éthiques posées par les systèmes algorithmiques : la question des biais, celle de la transparence et celle de la responsabilité. Dans un deuxième temps, nous nous sommes appuyés sur les clefs de compréhension proposées par Morin pour éclairer la forte complexité faite d'interconnexions et d'incertitudes dans un monde en évolution. *In fine*, notre objectif est d'aider les responsables et les décideurs à penser les problèmes éthiques liées aux systèmes algorithmes et à mieux formaliser ces problématiques.

### 1. Systèmes algorithmiques et complexité des problématiques éthiques.

Les systèmes algorithmiques semblent soulever de nombreux problèmes éthiques au regard de la littérature récente (Mason, 1986 ; Hamet et Michel, 2018). Certains auteurs en ont proposé une cartographie. Par exemple, Martin (2019) propose de classer les erreurs de décisions produites par les algorithmes en erreurs de catégories et erreurs de processus. Mittelstadt et ses coauteurs (2016) proposent de distinguer les facteurs épistémiques liés à la pertinence de la qualité et de l'exactitude des données pour la justification des conclusions auxquelles aboutissent les algorithmes, des préoccupations normatives qui font explicitement référence à l'impact éthique des actions et des décisions fondées sur les algorithmes, comme le manque de transparence des processus algorithmiques, ou encore les résultats injustes et les conséquences involontaires.

Toutefois, ces auteurs n'adoptent pas un positionnement éthique spécifique et leur définition de l'algorithme nous semble trop étroite, même si leur cartographie a le mérite de mettre en avant le rôle crucial joué par les données. Considérant que les données sans concepts sont aveugles, nous proposons de regrouper les problèmes éthiques liés aux algorithmes sans chercher à les simplifier, les réduire, ni nier leurs interactions en les questionnant sous trois angles : la responsabilité, les biais, et la transparence.
Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

l'interprétations des résultats (output) et dans leur utilisation. C'est dans ce sens que
nous traitons de systèmes algorithmiques plutôt que d'algorithmes.

Or, les systèmes algorithmiques étant désormais au cœur des relations humaines et des échanges, les questions relatives aux usages (ou mésusages), aux bienfaits (ou limites) sont devenues capitales. Comment alors comprendre et analyser les principaux problèmes éthiques posés par les systèmes algorithmiques ? La question se pose d'autant plus que les problèmes éthiques sont aujourd'hui devenus complexes, c'est-à-dire contradictoires, difficilement définissables, contingents, évolutifs, globaux et uniques à la fois, non réductibles à une causalité linéaire (Meissonier, 2021), légitimant la mobilisation des travaux d'Edgar Morin. L'auteur propose « trois principes qui peuvent nous aider à penser la complexité » (Morin, 2005, p.98) : le principe dialogique, le principe hologrammatique et la récursivité organisatrice, sur lesquels nous nous sommes appuyés pour appréhender et éclairer la complexité des problèmes éthiques induits par les systèmes algorithmiques. Dans cette contribution à visée conceptuelle et spéculative, nous avons commencé, grâce à une revue de littérature, par analyser et regrouper en trois grands pôles les questions éthiques posées par les systèmes algorithmiques : la question des biais, celle de la transparence et celle de la responsabilité. Dans un deuxième temps, nous nous sommes appuyés sur les clefs de compréhension proposées par Morin pour éclairer la forte complexité faite d'interconnexions et d'incertitudes dans un monde en évolution. In fine, notre objectif est d'aider les responsables et les décideurs à penser les problèmes éthiques liées aux systèmes algorithmes et à mieux formaliser ces problématiques.

1. Systèmes algorithmiques et complexité des problématiques éthiques.

Les systèmes algorithmiques semblent soulever de nombreux problèmes éthiques au
regard de la littérature récente (Mason, 1986 ; Hamet et Michel, 2018). Certains auteurs
en ont proposé une cartographie. Par exemple, Martin (2019) propose de classer les
erreurs de décisions produites par les algorithmes en erreurs de catégories et erreurs de
processus. Mittelstadt et ses coauteurs (2016) proposent de distinguer les facteurs
épistémiques liés à la pertinence de la qualité et de l'exactitude des données pour la
justification des conclusions auxquelles aboutissent les algorithmes, des préoccupations
normatives qui font explicitement référence à l'impact éthique des actions et des
décisions fondées sur les algorithmes, comme le manque de transparence des processus
algorithmiques, ou encore les résultats injustes et les conséquences involontaires.

Toutefois, ces auteurs n'adoptent pas un positionnement éthique spécifique et leur
définition de l'algorithme nous semble trop étroite, même si leur cartographie a le mérite
de mettre en avant le rôle crucial joué par les données. Considérant que les données sans
concepts sont aveugles, nous proposons de regrouper les problèmes éthiques liés aux
algorithmes sans chercher à les simplifier, les réduire, ni nier leurs interactions en les
questionnant sous trois angles : la responsabilité, les biais, et la transparence.
Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

1.1. Les systèmes algorithmiques et le dilemme de la responsabilité.

De George (1999) a mis en évidence une tendance à renoncer à attribuer des
responsabilités lorsqu'il s'agit des systèmes algorithmiques qui provient de deux
sources. Pour l'auteur, la première tient au mythe des technologies de l'information et
de la communication (TIC) amorales qui revient à les limiter à leur aspect technique et
à considérer comme une évidence que les machines ne peuvent pas être tenues comme
responsables des conséquences de leur utilisation. La seconde source de dilution de
responsabilité provient d'une scission, dans la prise de décision, entre les développeurs,
qui estiment remplir leur devoir en respectant strictement les demandes qu'ils reçoivent,
et le management qui ne s'estime pas responsable des failles liées à la technologie. Or,
ces développeurs ne sont jamais dans une relation de face à face avec les parties
prenantes (Introna, 2002), ce qui crée un nouveau problème éthique liée à la
distanciation dans la prise de décision. Le risque souligné par Fallery (2021) est de se
cantonner à une triviale reconnaissance de signaux et donc de perdre de vue l'objectif
de connaissance. L'auteur pointe également que la perte de la responsabilité conduit à
la fin du libre arbitre. Cette problématique de la responsabilité est très actuelle,
notamment, avec le développement de l'intelligence artificielle (Martin, 2019) et des
systèmes autonomes. Avec cette question de la responsabilité, apparaît également en
filigrane celle de la sureté et de la sécurité.

Face à cette dilution des responsabilités, certains auteurs (Shaw, 2003 ; Chatterjee et al., 2009 ; Malhotra et al., 2013) appellent à adopter une approche de l'éthique par la divulgation (*disclosive ethics*) en considérant les algorithmes comme un acteur à part entière et en dévoilant les questions éthiques que posent non seulement leur utilisation, mais aussi leur conception. Cette approche fait également l'objet d'un courant de recherche émergent en éthique de l'informatique (Brey, 2000). Davison (2000) et Stahl (2004) notent l'importance d'attribuer des responsabilités, notamment, compte tenu de la gravité des conséquences potentielles d'une erreur produite. Certains auteurs, comme Bovens (2007), proposent d'identifier des niveaux de responsabilité (individuelle, hiérarchique, collective ou organisationnelle). D'autres (Coglianese et Lehr 2017 ; Kraemer et al., 2011 ; Torresen, 2018) proposent d'assigner les responsabilités en fonction du rôle des acteurs et de leur pouvoir dans la prise de décision, ou soulèvent la question du bénéficiaire de la responsabilité, envers qui elle doit s'exercer (Kemper et Kolkman, 2019 ; Coglianese et Lehr, 2017).

Concernant les systèmes algorithmiques des machines autonomes, certains considèrent
que les développeurs doivent essayer de donner aux systèmes eux-mêmes la capacité de
prendre des décisions éthiques en utilisant des cadres éthiques (Anderson et Anderson,
2011, 2018). Or, selon Le Cun (2019), on peut assister à un « désalignement de valeurs »
entre l'objectif programmé et les valeurs humaines. Le débat entre intelligence
artificielle (IA) éthique ou éthique de l'IA prend alors tout son sens (Pencolé, 2018).
Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

1.1. Les systèmes algorithmiques et le dilemme de la responsabilité.

De George (1999) a mis en évidence une tendance à renoncer à attribuer des
responsabilités lorsqu'il s'agit des systèmes algorithmiques qui provient de deux
sources. Pour l'auteur, la première tient au mythe des technologies de l'information et
de la communication (TIC) amorales qui revient à les limiter à leur aspect technique et
à considérer comme une évidence que les machines ne peuvent pas être tenues comme
responsables des conséquences de leur utilisation. La seconde source de dilution de
responsabilité provient d'une scission, dans la prise de décision, entre les développeurs,
qui estiment remplir leur devoir en respectant strictement les demandes qu'ils reçoivent,
et le management qui ne s'estime pas responsable des failles liées à la technologie. Or,
ces développeurs ne sont jamais dans une relation de face à face avec les parties
prenantes (Introna, 2002), ce qui crée un nouveau problème éthique liée à la
distanciation dans la prise de décision. Le risque souligné par Fallery (2021) est de se
cantonner à une triviale reconnaissance de signaux et donc de perdre de vue l'objectif
de connaissance. L'auteur pointe également que la perte de la responsabilité conduit à
la fin du libre arbitre. Cette problématique de la responsabilité est très actuelle,
notamment, avec le développement de l'intelligence artificielle (Martin, 2019) et des
systèmes autonomes. Avec cette question de la responsabilité, apparaît également en
filigrane celle de la sureté et de la sécurité.

Face à cette dilution des responsabilités, certains auteurs (Shaw, 2003 ; Chatterjee et al., 2009 ; Malhotra et al., 2013) appellent à adopter une approche de l'éthique par la divulgation (*disclosive ethics*) en considérant les algorithmes comme un acteur à part entière et en dévoilant les questions éthiques que posent non seulement leur utilisation, mais aussi leur conception. Cette approche fait également l'objet d'un courant de recherche émergent en éthique de l'informatique (Brey, 2000). Davison (2000) et Stahl (2004) notent l'importance d'attribuer des responsabilités, notamment, compte tenu de la gravité des conséquences potentielles d'une erreur produite. Certains auteurs, comme Bovens (2007), proposent d'identifier des niveaux de responsabilité (individuelle, hiérarchique, collective ou organisationnelle). D'autres (Coglianese et Lehr 2017 ; Kraemer et al., 2011 ; Torresen, 2018) proposent d'assigner les responsabilités en fonction du rôle des acteurs et de leur pouvoir dans la prise de décision, ou soulèvent la question du bénéficiaire de la responsabilité, envers qui elle doit s'exercer (Kemper et Kolkman, 2019 ; Coglianese et Lehr, 2017).

Concernant les systèmes algorithmiques des machines autonomes, certains considèrent
que les développeurs doivent essayer de donner aux systèmes eux-mêmes la capacité de
prendre des décisions éthiques en utilisant des cadres éthiques (Anderson et Anderson,
2011, 2018). Or, selon Le Cun (2019), on peut assister à un « désalignement de valeurs »
entre l'objectif programmé et les valeurs humaines. Le débat entre intelligence
artificielle (IA) éthique ou éthique de l'IA prend alors tout son sens (Pencolé, 2018).
**Questionnement éthique des systèmes algorithmiques.**

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

1.2. *Les systèmes algorithmiques et la question des biais.*

Les systèmes algorithmiques sont porteurs de valeurs (Kraemer et al., 2011 ; Mittelstadt et al., 2016 ; Jobin et al., 2019) même si le mythe de la neutralité de l’algorithme perdure. En effet, tout algorithme fait intervenir une multitude de décisions (la classification, la priorisation, l’affichage, le filtrage ou encore l’apprentissage) qui traduisent une certaine conception du monde. Les algorithmes ne font que formaliser des idées ou des opinions dans du code. Ils n’échappent pas à la subjectivité des développeurs, des managers, des donneurs d’ordre et, plus globalement, de la société. Ainsi, le code des algorithmes renferme un spectre large de normes qui peut aller des injonctions morales à des normes informelles plus ou moins inconscientes. Chae et ses coauteurs (2005) ont montré que les valeurs détenues par les concepteurs/développeurs sont intégrées dans les systèmes algorithmiques, induisant un comportement prédéterminé et soulevant, par suite, un problème éthique. Les algorithmes peuvent ainsi contenir des biais raciaux (Chander, 2017 ; Lee, 2018). A titre d’exemple de ces biais algorithmiques qui sous couvert de neutralité sont susceptibles de renforcer les préjugés, le logiciel COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) développé par une entreprise privée (Northpointe Inc.) est utilisé par certains tribunaux aux Etats-Unis afin d’estimer la probabilité de récidive d’un prévenu. Or, selon Richard (2018, il ne ferait que renforcer les préjugés négatifs contre les noirs. D’autres études ont mis en évidence des biais de genre (Larson et al., 2016 ; Prates et al., 2020) en montrant comment les résultats des algorithmes de traduction encodent fréquemment le langage de manière sexuée. Datta et ses coauteurs (2015) ou Lambrecht et Tucker (2019), quant à eux, ont mis en évidence que l’algorithme publicitaire de Google est porteur d’une discrimination par le genre concernant l’affichage des offres d’emplois et contribue à entériner les pratiques discriminatoires. Par ailleurs, les systèmes algorithmiques peuvent s’appuyer sur des données collectées erronées, comme lors de l’accident du vol Air France Rio-Paris en 2009 lorsque les informations transmises aux procédures informatiques par les sondes étaient faussées par les automatismes de l’Airbus.

De plus, à partir des années 2000, la question du « tri social » (social sorting) a émergé dans la littérature (Lyon, 2001, 2003). Ce courant, issu des études de surveillance, étudie le risque de ségrégation ou de discrimination issu de l’analyse des données personnelles et a conduit à la production d’algorithmes pour le prévenir. Ceux-ci sont aujourd’hui utilisés par les employeurs lors des recrutements ou par les banques et les compagnies d’assurances pour mener leur politiques de notation, ou encore par les agences immobilières et les bailleurs sociaux dans leur choix d’affectation de logements. Cette analyse et ces corrections de biais sont intégrés dans les algorithmes d’apprentissage de l’intelligence artificielle consistant, pour la machine, à apprendre au travers du traitement de données (deep learning).
Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

1.2. Les systèmes algorithmiques et la question des biais.

Les systèmes algorithmiques sont porteurs de valeurs (Kraemer et al., 2011 ; Mittelstadt et al., 2016 ; Jobin et al., 2019) même si le mythe de la neutralité de l’algorithme perdure. En effet, tout algorithme fait intervenir une multitude de décisions (la classification, la priorisation, l’affichage, le filtrage ou encore l’apprentissage) qui traduisent une certaine conception du monde. Les algorithmes ne font que formaliser des idées ou des opinions dans du code. Ils n’échappent pas à la subjectivité des développeurs, des managers, des donneurs d’ordre et, plus globalement, de la société. Ainsi, le code des algorithmes renferme un spectre large de normes qui peut aller des injonctions morales à des normes informelles plus ou moins inconscientes. Chae et ses coauteurs (2005) ont montré que les valeurs détenues par les concepteurs/développeurs sont intégrées dans les systèmes algorithmiques, induisant un comportement prédéterminé et soulevant, par suite, un problème éthique. Les algorithmes peuvent ainsi contenir des biais raciaux (Chander, 2017 ; Lee, 2018). A titre d’exemple de ces biais algorithmiques qui sous couvert de neutralité sont susceptibles de renforcer les préjugés, le logiciel COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) développé par une entreprise privée (Northpointe Inc.) est utilisé par certains tribunaux aux Etats-Unis afin d’estimer la probabilité de récidive d’un prévenu. Or, selon Richard (2018, il ne ferait que renforcer les préjugés négatifs contre les noirs. D’autres études ont mis en évidence des biais de genre (Larson et al., 2016 ; Prates et al., 2020) en montrant comment les résultats des algorithmes de traduction encodent fréquemment le langage de manière sexuée. Datta et ses coauteurs (2015) ou Lambrecht et Tucker (2019), quant à eux, ont mis en évidence que l’algorithme publicitaire de Google est porteur d’une discrimination par le genre concernant l’affichage des offres d’emplois et contribue à entériner les pratiques discriminatoires. Par ailleurs, les systèmes algorithmiques peuvent s’appuyer sur des données collectées erronées, comme lors de l’accident du vol Air France Rio-Paris en 2009 lorsque les informations transmises aux procédures informatiques par les sondes étaient faussées par les automatismes de l’Airbus.

De plus, à partir des années 2000, la question du « tri social » (social sorting) a émergé dans la littérature (Lyon, 2001, 2003). Ce courant, issu des études de surveillance, étudie le risque de ségrégation ou de discrimination issu de l’analyse des données personnelles et a conduit à la production d’algorithmes pour le prévenir. Ceux-ci sont aujourd’hui utilisés par les employeurs lors des recrutements ou par les banques et les compagnies d’assurances pour mener leur politiques de notation, ou encore par les agences immobilières et les bailleurs sociaux dans leur choix d’affectation de logements. Cette analyse et ces corrections de biais sont intégrés dans les algorithmes d’apprentissage de l’intelligence artificielle consistant, pour la machine, à apprendre au travers du traitement de données (deep learning).
Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

1.3. Les systèmes algorithmiques et la problématique de la transparence.

Du fait de la multiplicité des acteurs et de leurs liens, les systèmes algorithmiques sont de plus en plus opaques, ce qui soulève la question de la transparence des procédures (Zerilli et al., 2019 ; Guidotti et al., 2018) et de la traçabilité des informations (Burell, 2016). La transparence est le principe le plus mis en avant par la littérature en ce qui concerne les préoccupations éthiques de l'IA (Jobin et al., 2019). Elle est aussi une demande des individus par rapport à la protection de leur vie privée, la confidentialité des données stockées et la surveillance. Peslak (2006) a ainsi mis en évidence l'importance particulière de cette question éthique dans l'opinion tandis qu'Heersmink et ses coauteurs (2011) ont montré, à travers une analyse bibliométrique, que cette question est la plus prégnante dans la littérature sur l'éthique de l'informatique et de l'information. Cette recherche de transparence implique de parvenir à clarifier et décrypter de multiples processus impliqués et imbriqués lors du recours à l'IA.

De plus, cette problématique de la transparence soulève des questionnements éthiques plus larges. Ainsi, dès les années 1960, certains se sont inquiétés du fait que les progrès scientifiques et technologiques pouvaient menacer le fonctionnement de la démocratie, car seuls quelques experts étaient capables de comprendre réellement les technologies complexes (Habermas, 1970) conduisant à l'émergence d'une technocratie et profilant l'image d'une société future où les experts prendraient les décisions en fonction de leur propre système de valeurs et en proposant leur meilleure solution. Cette crainte du pouvoir des experts a été suivie par une autre appréhension concernant le développement de l'IA qui pourrait aboutir à une forme de gouvernementalité algorithmique (Rouvroy et Berns, 2013) fondée sur le traitement statistique de la multitude des données communiquées, volontairement ou à leur insu, par les citoyens, notamment grâce aux capteurs connectés, et aboutissant à une pré-élaboration des décisions collectives par les algorithmes.

Nous avons regroupé les questions éthiques des systèmes algorithmiques en trois pôles aboutissant à la proposition d'une nouvelle cartographie (figure 1). Ces problématiques ressortent comme difficilement définissables, car évolutives, faites d'incertitude et de dilemmes avec des objectifs contradictoires non réductibles à une seule causalité. Elles sont inter-reliées et impliquent des acteurs, des règlementations et des normes différents. Pour les éclairer, nous avons mobilisé la pensée de Morin (2004). Pour le sociologue et philosophe, nous vivons en situation « d'incertitude éthique » car nous sommes à la fois sujet aux erreurs, aux biais et aux illusions tandis que les conséquences de nos actions peuvent nous échapper car nous vivons dans une réalité complexe et systémique où la chaîne des conséquences de nos actes est incertaine et ambiguë. Pour l'auteur, « l'éthique est complexe parce qu'elle est de nature dialogique et doit affronter souvent l'ambiguïté et la contradiction » (Morin, 2004, p.2415).
Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

1.3. Les systèmes algorithmiques et la problématique de la transparence.

Du fait de la multiplicité des acteurs et de leurs liens, les systèmes algorithmiques sont de plus en plus opaques, ce qui soulève la question de la transparence des procédures (Zerilli et al., 2019; Guidotti et al., 2018) et de la traçabilité des informations (Burell, 2016). La transparence est le principe le plus mis en avant par la littérature en ce qui concerne les préoccupations éthiques de l'IA (Jobin et al., 2019). Elle est aussi une demande des individus par rapport à la protection de leur vie privée, la confidentialité des données stockées et la surveillance. Peslak (2006) a ainsi mis en évidence l'importance particulière de cette question éthique dans l'opinion tandis qu'Heersmink et ses coauteurs (2011) ont montré, à travers une analyse bibliométrique, que cette question est la plus prégnante dans la littérature sur l'éthique de l'informatique et de l'information. Cette recherche de transparence implique de parvenir à clarifier et décrypter de multiples processus impliqués et imbriqués lors du recours à l'IA.

De plus, cette problématique de la transparence soulève des questionnements éthiques plus larges. Ainsi, dès les années 1960, certains se sont inquiétés du fait que les progrès scientifiques et technologiques pouvaient menacer le fonctionnement de la démocratie, car seuls quelques experts étaient capables de comprendre réellement les technologies complexes (Habermas, 1970) conduisant à l'émergence d'une technocratie et profilant l'image d'une société future où les experts prendraient les décisions en fonction de leur propre système de valeurs et en proposant leur meilleure solution. Cette crainte du pouvoir des experts a été suivie par une autre appréhension concernant le développement de l'IA qui pourrait aboutir à une forme de gouvernementalité algorithmique (Rouvroy et Berns, 2013) fondée sur le traitement statistique de la multitude des données communiquées, volontairement ou à leur insu, par les citoyens, notamment grâce aux capteurs connectés, et aboutissant à une pré-élaboration des décisions collectives par les algorithmes.

Nous avons regroupé les questions éthiques des systèmes algorithmiques en trois pôles aboutissant à la proposition d'une nouvelle cartographie (figure 1). Ces problématiques ressortent comme difficilement définissables, car évolutives, faites d'incertitude et de dilemmes avec des objectifs contradictoires non réductibles à une seule causalité. Elles sont inter-reliées et impliquent des acteurs, des règlementations et des normes différents. Pour les éclairer, nous avons mobilisé la pensée de Morin (2004). Pour le sociologue et philosophe, nous vivons en situation « d'incertitude éthique » car nous sommes à la fois sujet aux erreurs, aux biais et aux illusions tandis que les conséquences de nos actions peuvent nous échapper car nous vivons dans une réalité complexe et systémique où la chaîne des conséquences de nos actes est incertaine et ambiguë. Pour l'auteur, « l'éthique est complexe parce qu'elle est de nature dialogique et doit affronter souvent l'ambiguïté et la contradiction » (Morin, 2004, p.2415).
<figure><img src="image_2.png" /><figcaption>Figure 1 : Cartographie de la complexité éthique des systèmes algorithmiques</figcaption></figure>

## 2. Les questions éthiques des systèmes algorithmiques sous le prisme des travaux du sociologue et philosophie Edgar Morin.

Pour mieux comprendre la complexité des questions éthiques soulevées par les systèmes algorithmiques, nous avons plus particulièrement mobilisé les trois principes proposés par Morin (2005) : le principe dialogique, le principe hologrammatique et la récursivité organisatrice. En effet, les systèmes algorithmiques produisent des erreurs, diluent les responsabilités, ne sont pas toujours intelligibles et sont souvent opaques. Ils entraînent ainsi des problèmes éthiques complexes.

### 2.1. Présentation générale des trois principes de la pensée de la complexité de Morin.

Durant plus de 30 ans, de 1977 à 2004, Edgar Morin s'est attaché à développer une théorie de la pensée complexe dans un ouvrage en six tomes intitulé « *La méthode* ». Pour l'auteur, la complexité prend le sens latin du mot *complexus*, désignant « ce qui est tissé ensemble » et lie les uns aux autres des éléments différents, contradictoires, ou incertains. La complexité représente ainsi un défi avec pour objectif non pas de donner une définition du réel mais de trouver le bon angle pour l'étudier en intégrant la complication, l'incertitude et la contradiction. Elle ne consiste pas non plus à simplifier le réel pour en livrer les composants mais à prendre conscience que la réduction n'amène pas à la vérité. Morin propose ainsi de s'éloigner du paradigme de la simplicité pour
<figure><img src="image_2.png" /><figcaption>**Figure 1** : Cartographie de la complexité éthique des systèmes algorithmiques</figcaption></figure>

## 2. Les questions éthiques des systèmes algorithmiques sous le prisme des travaux du sociologue et philosophie Edgar Morin.

Pour mieux comprendre la complexité des questions éthiques soulevées par les systèmes algorithmiques, nous avons plus particulièrement mobilisé les trois principes proposés par Morin (2005) : le principe dialogique, le principe hologrammatique et la récursivité organisatrice. En effet, les systèmes algorithmiques produisent des erreurs, diluent les responsabilités, ne sont pas toujours intelligibles et sont souvent opaques. Ils entraînent ainsi des problèmes éthiques complexes.

### 2.1. Présentation générale des trois principes de la pensée de la complexité de Morin.

Durant plus de 30 ans, de 1977 à 2004, Edgar Morin s'est attaché à développer une théorie de la pensée complexe dans un ouvrage en six tomes intitulé « *La méthode* ». Pour l'auteur, la complexité prend le sens latin du mot *complexus*, désignant « ce qui est tissé ensemble » et lie les uns aux autres des éléments différents, contradictoires, ou incertains. La complexité représente ainsi un défi avec pour objectif non pas de donner une définition du réel mais de trouver le bon angle pour l'étudier en intégrant la complication, l'incertitude et la contradiction. Elle ne consiste pas non plus à simplifier le réel pour en livrer les composants mais à prendre conscience que la réduction n'amène pas à la vérité. Morin propose ainsi de s'éloigner du paradigme de la simplicité pour
### Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

proposer celui de la complexité considérant que le tout n’est pas réductible à ses parties, ou que le tout est plus que le tout. Il explicite alors trois principes : dialogique, de récursion, et hologrammatique. Pour le premier, il a abandonné peu à peu la notion traditionnelle en philosophie de « dialectique » pour celle de « dialogique », dont il a inventé le terme. Quand la dialectique est le simple dépassement des contraires, la dialogique est la réunion des antagonismes.

Le principe dialogique vise ainsi à unir des mouvements complémentaires et antagonistes. Morin (1986, p.98) le définit comme « l’association complexe (complémentaire/concurrente/antagoniste) d’instances nécessaires ensemble à l’existence, au fonctionnement et au développement d’un phénomène organisé ».

Le principe de récursion désigne une boucle génératrice où les effets sont eux-mêmes producteurs de ce qui les produit. Par exemple, l’être humain, à la fois, produit la société et est produit par elle. Pour Morin (2005, p.99), le processus du tourbillon illustre le principe de récursivité : « chaque moment du tourbillon est à la fois produit et producteur ». Ainsi avec la récursivité, l’objet produit est producteur du sujet qui le produit.

Enfin, selon le principe hologrammatique, dans certains systèmes complexes, la partie est inscrite dans le tout et le tout est inscrit dans la partie : « le tout est d’une certaine façon incluse (engrammé) dans la partie qui est incluse dans le tout. L’organisation complexe du tout (holos) nécessite l’inscription (engrammation) du tout (hologramme) en chacune de ses parties pourtant singulières » (Morin, 1986, p.101).

## 2.2. L’apport du principe dialogique à l’analyse des dilemmes éthiques.

Une des caractéristiques de la complexité éthique issue des systèmes algorithmiques réside dans l’existence de dilemmes éthiques. Que se passe-t-il lorsque le système algorithmique est face à un choix contradictoire ? Nous pouvons citer l’exemple de la voiture autonome qui a un enfant en tant que passager et doit choisir entre éviter un autre individu ou le mettre en danger. Ce problème fait explicitement référence à la réflexion autour du dilemme du tramway. L’application du principe dialogique à la problématique de la responsabilité et des dilemmes éthiques doit conduire, ex ante, à soulever clairement ce type de contradiction et à étudier comment de tels cas peuvent être traités dès la phase de conception. Si l’on applique le principe dialogique, des positionnements éthiques devront être discutés ex ante et mis en œuvre dans la conception afin d’assurer le traitement des contradictions en établissant un consensus dès le départ. Celui-ci aura vocation ensuite à être remis en cause tout au long du processus en inscrivant la réflexion dans une boucle dialogique permettant de penser la complexité éthique du phénomène étudié. Le principe dialogique favorise ainsi la prise en compte des contradictions et/ou des ambiguïtés dans les dilemmes éthiques des systèmes algorithmiques. Son application permet d’envisager les tensions comme étant dynamiques et évolutives, et, par suite, destinées à perdurer dans le changement.
### Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

proposer celui de la complexité considérant que le tout n’est pas réductible à ses parties, ou que le tout est plus que le tout. Il explicite alors trois principes : dialogique, de récursion, et hologrammatique. Pour le premier, il a abandonné peu à peu la notion traditionnelle en philosophie de « dialectique » pour celle de « dialogique », dont il a inventé le terme. Quand la dialectique est le simple dépassement des contraires, la dialogique est la réunion des antagonismes.

Le principe dialogique vise ainsi à unir des mouvements complémentaires et antagonistes. Morin (1986, p.98) le définit comme « l’association complexe (complémentaire/concurrente/antagoniste) d’instances nécessaires ensemble à l’existence, au fonctionnement et au développement d’un phénomène organisé ».

Le principe de récursion désigne une boucle génératrice où les effets sont eux-mêmes producteurs de ce qui les produit. Par exemple, l’être humain, à la fois, produit la société et est produit par elle. Pour Morin (2005, p.99), le processus du tourbillon illustre le principe de récursivité : « chaque moment du tourbillon est à la fois produit et producteur ». Ainsi avec la récursivité, l’objet produit est producteur du sujet qui le produit.

Enfin, selon le principe hologrammatique, dans certains systèmes complexes, la partie est inscrite dans le tout et le tout est inscrit dans la partie : « le tout est d’une certaine façon incluse (engrammé) dans la partie qui est incluse dans le tout. L’organisation complexe du tout (holos) nécessite l’inscription (engrammation) du tout (hologramme) en chacune de ses parties pourtant singulières » (Morin, 1986, p.101).

## 2.2. L’apport du principe dialogique à l’analyse des dilemmes éthiques.

Une des caractéristiques de la complexité éthique issue des systèmes algorithmiques réside dans l’existence de dilemmes éthiques. Que se passe-t-il lorsque le système algorithmique est face à un choix contradictoire ? Nous pouvons citer l’exemple de la voiture autonome qui a un enfant en tant que passager et doit choisir entre éviter un autre individu ou le mettre en danger. Ce problème fait explicitement référence à la réflexion autour du dilemme du tramway. L’application du principe dialogique à la problématique de la responsabilité et des dilemmes éthiques doit conduire, ex ante, à soulever clairement ce type de contradiction et à étudier comment de tels cas peuvent être traités dès la phase de conception. Si l’on applique le principe dialogique, des positionnements éthiques devront être discutés ex ante et mis en œuvre dans la conception afin d’assurer le traitement des contradictions en établissant un consensus dès le départ. Celui-ci aura vocation ensuite à être remis en cause tout au long du processus en inscrivant la réflexion dans une boucle dialogique permettant de penser la complexité éthique du phénomène étudié. Le principe dialogique favorise ainsi la prise en compte des contradictions et/ou des ambiguïtés dans les dilemmes éthiques des systèmes algorithmiques. Son application permet d’envisager les tensions comme étant dynamiques et évolutives, et, par suite, destinées à perdurer dans le changement.
### Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

## 2.3. L'apport du principe hologrammatique à la problématique éthique des biais.

Une autre caractéristique de la complexité éthique liée aux systèmes algorithmiques réside dans l'existence de biais. Les algorithmes ne sont pas neutres et véhiculent les valeurs conscientes et inconscientes des développeurs, de l'organisation et de la société. Ces biais des systèmes algorithmiques, s'appuyant sur des masses de données antérieures, sont susceptibles, comme nous l'avons vu, de démultiplier les discriminations et les exclusions prééxistantes en reproduisant les préjugés incorporés dans des données non traitées.

Pour mieux appréhender cette complexité des problèmes éthiques des biais, s'appuyer sur le principe hologrammatique peut permettre de faire en sorte que des valeurs éthiques soient intégrées à tout système algorithmique. Pour cela, la prise en compte des préoccupations éthiques dans toutes les formations touchant au numérique serait pertinente. Cette sensibilisation généralisée à l'éthique des futurs concepteurs et développeurs pourrait se distiller dans le système algorithmique. On peut même penser que sa présence dans l'enseignement secondaire et supérieur permettrait, suivant ce principe hologrammatique, de faire figurer les valeurs éthiques dans les systèmes algorithmiques.

## 2.4. L'apport du principe de récursivité à la problématique éthique de la transparence.

Le tourbillon illustrant le principe de récursivité se retrouve avec l'IA. En effet, le système algorithmique devient auto-apprenant et auto-producteur. Les algorithmes sont eux-mêmes à la fois acteurs du système et actés par lui. Or, l'application du principe de récursivité peut aussi conduire au développement de la transparence sur les règles et les normes enchevêtrées dans les systèmes algorithmiques. Elle peut inciter à une vérification des règles telles que les règles de droit ou les règles de déontologie pour que les systèmes algorithmiques puissent être modifiés en conséquence *ex ante*, au moment de la conception du logiciel dans le cahier des charges, puis *ex post*. De même, une prise en compte des effets négatifs par récursivité peut être réalisée par des tests ou une analyse des effets ou encore une gestion des plaintes. Ainsi, dans l'exemple de l'accident d'Airbus mentionné précédemment, des modifications ont été apportées ainsi que la possibilité de débrancher les procédures automatiques pour continuer en pilotage manuel.

## 2.5. L'apport conjoint des trois principe aux problématiques éthiques interconnectées.

Notre cartographie des trois grandes questions éthiques posées par les systèmes algorithmiques (figure 1) en souligne la complexité et leur intersectionnalité. Ainsi, dans quelle mesure des problèmes liés à la vie privée, à la confiance, à la dignité, à l'autonomie ou aux données personnelles peuvent-ils être traités sans prendre en compte à la fois les biais et l'opacité sur lesquels ils débouchent ?
## Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

### 2.3. L'apport du principe hologrammatique à la problématique éthique des biais.

Une autre caractéristique de la complexité éthique liée aux systèmes algorithmiques réside dans l'existence de biais. Les algorithmes ne sont pas neutres et véhiculent les valeurs conscientes et inconscientes des développeurs, de l'organisation et de la société. Ces biais des systèmes algorithmiques, s'appuyant sur des masses de données antérieures, sont susceptibles, comme nous l'avons vu, de démultiplier les discriminations et les exclusions prééxistantes en reproduisant les préjugés incorporés dans des données non traitées.

Pour mieux appréhender cette complexité des problèmes éthiques des biais, s'appuyer sur le principe hologrammatique peut permettre de faire en sorte que des valeurs éthiques soient intégrées à tout système algorithmique. Pour cela, la prise en compte des préoccupations éthiques dans toutes les formations touchant au numérique serait pertinente. Cette sensibilisation généralisée à l'éthique des futurs concepteurs et développeurs pourrait se distiller dans le système algorithmique. On peut même penser que sa présence dans l'enseignement secondaire et supérieur permettrait, suivant ce principe hologrammatique, de faire figurer les valeurs éthiques dans les systèmes algorithmiques.

### 2.4. L'apport du principe de récursivité à la problématique éthique de la transparence.

Le tourbillon illustrant le principe de récursivité se retrouve avec l'IA. En effet, le système algorithmique devient auto-apprenant et auto-producteur. Les algorithmes sont eux-mêmes à la fois acteurs du système et actés par lui. Or, l'application du principe de récursivité peut aussi conduire au développement de la transparence sur les règles et les normes enchevêtrées dans les systèmes algorithmiques. Elle peut inciter à une vérification des règles telles que les règles de droit ou les règles de déontologie pour que les systèmes algorithmiques puissent être modifiés en conséquence *ex ante*, au moment de la conception du logiciel dans le cahier des charges, puis *ex post*. De même, une prise en compte des effets négatifs par récursivité peut être réalisée par des tests ou une analyse des effets ou encore une gestion des plaintes. Ainsi, dans l'exemple de l'accident d'Airbus mentionné précédemment, des modifications ont été apportées ainsi que la possibilité de débrancher les procédures automatiques pour continuer en pilotage manuel.

### 2.5. L'apport conjoint des trois principe aux problématiques éthiques interconnectées.

Notre cartographie des trois grandes questions éthiques posées par les systèmes algorithmiques (figure 1) en souligne la complexité et leur intersectionnalité. Ainsi, dans quelle mesure des problèmes liés à la vie privée, à la confiance, à la dignité, à l'autonomie ou aux données personnelles peuvent-ils être traités sans prendre en compte à la fois les biais et l'opacité sur lesquels ils débouchent ?
### Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

Il s'agit, dès lors, de mobiliser non plus successivement mais simultanément les trois principes définis par Morin en faisant interagir à la fois l'ambiguïté d'une situation, d'un mot ou d'une perception et la contradiction entre deux propositions qui s'affirment et se récusent réciproquement. Finalement, la prise en compte de la complexité semble passer par l'acceptation du caractère faillible des décisions algorithmiques afin de permettre d'en corriger les erreurs et d'en prévenir les dérives.

## Conclusion

Cet article n'a pas vocation à réduire la complexité, ni à fournir des fiches éthiques « clés en main », ni même à proposer une grille de lecture du couplage éthique/complexité issue des travaux de Morin. Il s'agit plutôt de proposer aux chercheurs, aux praticiens, aux développeurs ou encore aux donneurs d'ordre de reconsidérer leur manière d'appréhender les questions éthiques liées aux systèmes algorithmiques en prenant en compte leur complexité intrinsèque. Penser l'éthique des algorithmes en particulier et des systèmes algorithmiques en général est un chantier encore émergent. Ses fondations sont donc encore loin d'être stabilisées. L'œuvre de Morin peut y contribuer.

## Références

Anderson M., Anderson S.L. (eds) (2011), *Machine ethics*, Cambridge, Cambridge University Press.

Anderson M., Anderson S.L. (2018), GenEth: A general ethical dilemma analyzer, *Paladyn, Journal of Behavioral Robotics*, vol.9, n°1, p.337-357.

Benbouzid B. (2018), Quand prédire, c'est gérer, *Réseaux*, n°5, p.221-256.

Boissier O. (2019), Du comportement moral des agents autonomes et artificiels. Quelles réflexions éthiques au sein des systèmes sociotechniques ?, *RIMHE : Revue Interdisciplinaire Management, Homme & Entreprise*, vol.8, n°36, p.81-103.

Bovens M. (2007), Analysing and assessing accountability: A conceptual framework, *European law journal*, vol.13, n°4, p.447-468.

Brey P. (2000), Disclosive Computer Ethics: The Exposure and Evaluation of Embedded Normativity in Computer Technology, *Computers and Society*, vol.30, n°4, p.10-16.

Burrell J. (2016), How the machine 'thinks': Understanding opacity in machine learning algorithms, *Big Data & Society*, vol.3, n°1 - https://journals.sagepub.com/doi/epub/10.1177/2053951715622512

Cardon D. (2015), *A quoi rêvent les algorithmes nos vies à l'heure des big data*, Paris, Editions du Seuil, Coll. La République des idées.

Chae B., Paradice D., Courtney J.F., Cagle C.J. (2005), Incorporating an ethical perspective into problem formulation: implications for decision support systems design, *Decision support systems*, vol.40, n°2, p.197-212.
Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

Il s'agit, dès lors, de mobiliser non plus successivement mais simultanément les trois principes définis par Morin en faisant interagir à la fois l'ambiguïté d'une situation, d'un mot ou d'une perception et la contradiction entre deux propositions qui s'affirment et se récusent réciproquement. Finalement, la prise en compte de la complexité semble passer par l'acceptation du caractère faillible des décisions algorithmiques afin de permettre d'en corriger les erreurs et d'en prévenir les dérives.

Conclusion

Cet article n'a pas vocation à réduire la complexité, ni à fournir des fiches éthiques « clés en main », ni même à proposer une grille de lecture du couplage éthique/complexité issue des travaux de Morin. Il s'agit plutôt de proposer aux chercheurs, aux praticiens, aux développeurs ou encore aux donneurs d'ordre de reconsidérer leur manière d'appréhender les questions éthiques liées aux systèmes algorithmiques en prenant en compte leur complexité intrinsèque. Penser l'éthique des algorithmes en particulier et des systèmes algorithmiques en général est un chantier encore émergent. Ses fondations sont donc encore loin d'être stabilisées. L'œuvre de Morin peut y contribuer.

Références

Anderson M., Anderson S.L. (eds) (2011), *Machine ethics*, Cambridge, Cambridge
University Press.

Anderson M., Anderson S.L. (2018), GenEth: A general ethical dilemma
analyzer, *Paladyn, Journal of Behavioral Robotics*, vol.9, n°1, p.337-357.

Benbouzid B. (2018), Quand prédire, c'est gérer, *Réseaux*, n°5, p.221-256.

Boissier O. (2019), Du comportement moral des agents autonomes et artificiels. Quelles réflexions éthiques au sein des systèmes sociotechniques ?, *RIMHE : Revue Interdisciplinaire Management, Homme & Entreprise*, vol.8, n°36, p.81-103.

Bovens M. (2007), Analysing and assessing accountability: A conceptual framework, *European law journal*, vol.13, n°4, p.447-468.

Brey P. (2000), Disclosive Computer Ethics: The Exposure and Evaluation of Embedded Normativity in Computer Technology, *Computers and Society*, vol.30, n°4, p.10-16.

Burrell J. (2016), How the machine 'thinks': Understanding opacity in machine learning algorithms, *Big Data & Society*, vol.3, n°1 - https://journals.sagepub.com/doi/epub/10.1177/2053951715622512

Cardon D. (2015), *A quoi rêvent les algorithmes nos vies à l'heure des big data*, Paris,
Editions du Seuil, Coll. La République des idées.

Chae B., Paradice D., Courtney J.F., Cagle C.J. (2005), Incorporating an ethical perspective into problem formulation: implications for decision support systems design, *Decision support systems*, vol.40, n°2, p.197-212.
Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

Chander A. (2017), The racist algorithm?, *Michigan Law Review*, vol.115, n°6, p.1023-1045.

Chatterjee S., Sarker S., Fuller M. (2009), Ethical information systems development: A Baumanian postmodernist perspective, *Journal of the Association for Information Systems*, vol.10, n°11, p.787-815.

Coglianese C., Lehr, D. (2017), Regulating by Robot: Administrative Decision Making in the Machine-Learning Era, *Faculty Scholarship at Penn Law*, n°1734 - https://scholarship.law.upenn.edu/cgi/viewcontent.cgi?referer=&httpsredir=1&article=2736&context=faculty_scholarship.

Datta A., Tschantz M.C., Datta A. (2015), Automated Experiments on Ads Privacy Settings, *Proceedings on privacy enhancing technologies*, n°1, p.92-112.

Davison R.M. (2000), Professional ethics in information systems: A personal perspective, *Communications of the Association for Information Systems*, vol.3, n°1, p.1-34.

De George R.T. (1999), Business ethics and the information age, *Business and Society Review*, vol.104, n°3, p.261-278.

Fallery B. (2021), La plateforme de données de santé Health data hub. Une impossible gouvernance éthique des données massives ?, *Revue Française de Gestion*, vol.47, n°297, p.141-159.

Guidotti R., Monreale A., Ruggieri S., Turini F., Giannotti F., Pedreschi D. (2018), A survey of methods for explaining black box models, *ACM computing surveys*, vol.51, n°5, p.1-42.

Habermas J. (1970), Towards a theory of communicative competence, *Inquiry*, vol.13, n°1-4, p.360-375.

Hamet J., Michel S. (2018), Les questionnements éthiques en systèmes d'information, *Revue Française de Gestion*, vol.44, n°271, p.99-129.

Heersmink R., van den Hoven J., van Eck N.J., van den Berg J. (2011), Bibliometric mapping of computer and information ethics, *Ethics and information technology*, vol.13, n°3, p.241-249.

Henin C. (2021), Confier une décision vitale à une machine, *Réseaux*, n°1, p.187-213.

Hill R.K. (2016), What an algorithm is, *Philosophy & Technology*, vol.29, n°1, p.35-59.

Introna L. D. (2002), The (im)possibility of ethics in the information age, *Information and organization*, vol.12, n°2, p.71-84.

Jobin A., Ienca M., Vayena E. (2019), The global landscape of AI ethics guidelines, *Nature Machine Intelligence*, vol.1, n°9, p.389-399.

Kemper J., Kolkman D. (2019), Transparent to whom? No algorithmic accountability without a critical audience. Information, *Communication & Society*, vol.22, n°14, p.2081-2096.

Kitchin R. (2017), Thinking critically about and researching algorithms, *Information, communication & society*, vol.20, n°1, p.14-29.
Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

Chander A. (2017), The racist algorithm?, *Michigan Law Review*, vol.115, n°6, p.1023-1045.

Chatterjee S., Sarker S., Fuller M. (2009), Ethical information systems development: A Baumanian postmodernist perspective, *Journal of the Association for Information Systems*, vol.10, n°11, p.787-815.

Coglianese C., Lehr, D. (2017), Regulating by Robot: Administrative Decision Making in the Machine-Learning Era, *Faculty Scholarship at Penn Law*, n°1734 - https://scholarship.law.upenn.edu/cgi/viewcontent.cgi?referer=&httpsredir=1&article=2736&context=faculty_scholarship.

Datta A., Tschantz M.C., Datta A. (2015), Automated Experiments on Ads Privacy Settings, *Proceedings on privacy enhancing technologies*, n°1, p.92-112.

Davison R.M. (2000), Professional ethics in information systems: A personal perspective, *Communications of the Association for Information Systems*, vol.3, n°1, p.1-34.

De George R.T. (1999), Business ethics and the information age, *Business and Society Review*, vol.104, n°3, p.261-278.

Fallery B. (2021), La plateforme de données de santé Health data hub. Une impossible gouvernance éthique des données massives ?, *Revue Française de Gestion*, vol.47, n°297, p.141-159.

Guidotti R., Monreale A., Ruggieri S., Turini F., Giannotti F., Pedreschi D. (2018), A survey of methods for explaining black box models, *ACM computing surveys*, vol.51, n°5, p.1-42.

Habermas J. (1970), Towards a theory of communicative competence, *Inquiry*, vol.13, n°1-4, p.360-375.

Hamet J., Michel S. (2018), Les questionnements éthiques en systèmes d'information, *Revue Française de Gestion*, vol.44, n°271, p.99-129.

Heersmink R., van den Hoven J., van Eck N.J., van den Berg J. (2011), Bibliometric mapping of computer and information ethics, *Ethics and information technology*, vol.13, n°3, p.241-249.

Henin C. (2021), Confier une décision vitale à une machine, *Réseaux*, n°1, p.187-213.

Hill R.K. (2016), What an algorithm is, *Philosophy & Technology*, vol.29, n°1, p.35-59.

Introna L. D. (2002), The (im)possibility of ethics in the information age, *Information and organization*, vol.12, n°2, p.71-84.

Jobin A., Ienca M., Vayena E. (2019), The global landscape of AI ethics guidelines, *Nature Machine Intelligence*, vol.1, n°9, p.389-399.

Kemper J., Kolkman D. (2019), Transparent to whom? No algorithmic accountability without a critical audience. Information, *Communication & Society*, vol.22, n°14, p.2081-2096.

Kitchin R. (2017), Thinking critically about and researching algorithms, *Information, communication & society*, vol.20, n°1, p.14-29.
Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

Komi A.K. (2019), Le management des résistances à un projet d'innovation par l'intelligence artificielle dans une perspective de changement, *RIMHE : Revue Interdisciplinaire Management, Homme & Entreprise*, vol.8, n°36, p.29-54.

Kraemer F., Van Overveld K., Peterson M. (2011), Is there an ethics of algorithms?, *Ethics and information technology*, vol.13, n°3, p.251-260.

Lambrecht A., Tucker, C. (2019), Algorithmic bias? An empirical study of apparent gender-based discrimination in the display of STEM career ads, *Management science*, vol.65, n°7, p.2966-2981.

Larson J., Mattu S., Kirchner L., Angwin J. (2016), How we analyzed the COMPAS recidivism algorithm, *ProPublica*, vol.9, n°1 - https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

Le Cun Y. (2019), *Quand la machine apprend : la révolution des neurones artificiels et de l'apprentissage profond*, Paris, Odile Jacob.

Lee N.T. (2018), Detecting racial bias in algorithms and machine learning, *Journal of Information, Communication and Ethics in Society*, vol.16, n°3, p.252-260.

Lyon D. (2001), Facing the future: Seeking ethics for everyday surveillance, *Ethics and information technology*, vol.3, n°3, p.171-180.

Lyon D. (2003), *Surveillance as social sorting: Privacy, risk, and digital discrimination*, London, Routledge.

Malhotra A., Melville N.P., Watson R.T. (2013), Spurring impactful research on information systems for environmental sustainability, *MIS Quarterly*, vol.37, n°4, p.1265-1274.

Martin K. E. (2019), Designing ethical algorithms, *MIS Quarterly Executive*, vol.18, n°2 - https://aisel.aisnet.org/cgi/viewcontent.cgi?article=1437&context=misqe

Mason R.O. (1986), Four Ethical Issues of the Information Age, *MIS Quarterly*, vol.10, n° 1, p.5-12.

Meissonier R. (2021), De la problématique à la problématisation, *Revue Française de Gestion*, n°297, p.73-80.

Mittelstadt B.D., Allo P., Taddeo M., Wachter S., Floridi L. (2016), The ethics of algorithms: Mapping the debate, *Big. Data & Society*, vol.3, n°2 - https://journals.sagepub.com/doi/epub/10.1177/2053951716679679

Morin E. (1977), *La Méthode. Tome 1 : La nature de la nature*, Paris, Editions du Seuil.

Morin E. (1980), *La Méthode. Tome 2 : La vie de la vie*, Paris, Editions du Seuil.

Morin E. (1986), *La Méthode. Tome 3 : La connaissance de la connaissance*, Paris, Editions du Seuil.

Morin E. (1991), *La Méthode. Tome 4 : Les idées*, Paris, Editions du Seuil.

Morin E. (2001), *La Méthode. Tome 5 : L'humanité de l'humanité*, Paris, Editions du Seuil.

Morin E. (2004), *La Méthode. Tome 6 : Ethique*, Paris, Editions du Seuil.
Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

Komi A.K. (2019), Le management des résistances à un projet d'innovation par l'intelligence artificielle dans une perspective de changement, *RIMHE : Revue Interdisciplinaire Management, Homme & Entreprise*, vol.8, n°36, p.29-54.

Kraemer F., Van Overveld K., Peterson M. (2011), Is there an ethics of algorithms?, *Ethics and information technology*, vol.13, n°3, p.251-260.

Lambrecht A., Tucker, C. (2019), Algorithmic bias? An empirical study of apparent gender-based discrimination in the display of STEM career ads, *Management science*, vol.65, n°7, p.2966-2981.

Larson J., Mattu S., Kirchner L., Angwin J. (2016), How we analyzed the COMPAS recidivism algorithm, *ProPublica*, vol.9, n°1 - https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

Le Cun Y. (2019), *Quand la machine apprend : la révolution des neurones artificiels et de l'apprentissage profond*, Paris, Odile Jacob.

Lee N.T. (2018), Detecting racial bias in algorithms and machine learning, *Journal of Information, Communication and Ethics in Society*, vol.16, n°3, p.252-260.

Lyon D. (2001), Facing the future: Seeking ethics for everyday surveillance, *Ethics and information technology*, vol.3, n°3, p.171-180.

Lyon D. (2003), *Surveillance as social sorting: Privacy, risk, and digital discrimination*, London, Routledge.

Malhotra A., Melville N.P., Watson R.T. (2013), Spurring impactful research on information systems for environmental sustainability, *MIS Quarterly*, vol.37, n°4, p.1265-1274.

Martin K. E. (2019), Designing ethical algorithms, *MIS Quarterly Executive*, vol.18, n°2 - https://aisel.aisnet.org/cgi/viewcontent.cgi?article=1437&context=misqe

Mason R.O. (1986), Four Ethical Issues of the Information Age, *MIS Quarterly*, vol.10, n° 1, p.5-12.

Meissonier R. (2021), De la problématique à la problématisation, *Revue Française de Gestion*, n°297, p.73-80.

Mittelstadt B.D., Allo P., Taddeo M., Wachter S., Floridi L. (2016), The ethics of algorithms: Mapping the debate, *Big. Data & Society*, vol.3, n°2 - https://journals.sagepub.com/doi/epub/10.1177/2053951716679679

Morin E. (1977), *La Méthode. Tome 1 : La nature de la nature*, Paris, Editions du Seuil.

Morin E. (1980), *La Méthode. Tome 2 : La vie de la vie*, Paris, Editions du Seuil.

Morin E. (1986), *La Méthode. Tome 3 : La connaissance de la connaissance*, Paris, Editions du Seuil.

Morin E. (1991), *La Méthode. Tome 4 : Les idées*, Paris, Editions du Seuil.

Morin E. (2001), *La Méthode. Tome 5 : L'humanité de l'humanité*, Paris, Editions du Seuil.

Morin E. (2004), *La Méthode. Tome 6 : Ethique*, Paris, Editions du Seuil.
Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

Morin E. (2005), *Introduction à la pensée complexe*, 1ère parution 1990, Paris, Editions du Seuil.

Neyland D. (2016), *Bearing account-able witness to the ethical algorithmic system, Science, Technology, & Human Values*, vol.41, n°1, p.50-76.

Pencolé M.A. (2018), *Nos algorithmes peuvent-ils être plus justes que nous ?*, *Revue française d'éthique appliquée*, vol.5, n°1, p.67-80.

Peslak A.R. (2006), PAPA revisited: A current empirical study of the Mason framework, *Journal of Computer Information Systems*, vol.46, n°3, p.117-123.

Prates M.O., Avelar P.H., Lamb L. (2020), Assessing gender bias in machine translation--a case study with Google translate, *Neuronal Computing and Applications*, vol.32, n°1, p.6363-6381.

Quinio B., Bidan M. (2023), Avis d'experts : ChatGPT : Un robot conversationnel peut-il enseigner ?, *Management & Datascience*, vol.7, n°1 - https://management-datascience.org/articles/22060/

Richard C. (2018), Dans la boîte noire des algorithmes, *Revue du crieur*, n°3, p.68-85.

Rouvroy A., Berns T. (2013), Gouvernementalité algorithmique et perspectives d'émancipation : Le disparate comme condition d'individuation par la relation ?, *Réseaux*, n°177, p.163-196.

Seaver N. (2019), Knowing algorithms, in Seaver N., Vertesi J., Ribes D. (eds), *In digital STS*, Princeton, Princeton University Press, p.412-422.

Shaw T.R. (2003), The moral intensity of privacy: An empirical study of webmaster'attitudes, *Journal of Business Ethics*, vol.46, n°4, p.301-318.

Stahl B.C. (2004), Information, ethics, and computers: The problem of autonomous moral agents, *Minds and Machines*, vol.14, n°1, p.67-83.

Torresen J. (2018), A review of future and ethical perspectives of robotics and AI, *Frontiers in Robotics and AI*, n°4 - https://www.readcube.com/articles/10.3389%2Ffrobt.2017.00075

Zerilli J., Knott A., Maclaurin J., Gavaghan C. (2019), Transparency in algorithmic and human decision-making: is there a double standard?, *Philosophy & Technology*, vol.32, n°4, p.661-683.
Questionnement éthique des systèmes algorithmiques.

Sylvie MICHEL, Sylvie GERBAIX et Marc BIDAN

Morin E. (2005), *Introduction à la pensée complexe*, 1ère parution 1990, Paris, Editions du Seuil.

Neyland D. (2016), *Bearing account-able witness to the ethical algorithmic system, Science, Technology, & Human Values*, vol.41, n°1, p.50-76.

Pencolé M.A. (2018), Nos algorithmes peuvent-ils être plus justes que nous ?, *Revue française d'éthique appliquée*, vol.5, n°1, p.67-80.

Peslak A.R. (2006), PAPA revisited: A current empirical study of the Mason framework, *Journal of Computer Information Systems*, vol.46, n°3, p.117-123.

Prates M.O., Avelar P.H., Lamb L. (2020), Assessing gender bias in machine translation--a case study with Google translate, *Neuronal Computing and Applications*, vol.32, n°1, p.6363-6381.

Quinio B., Bidan M. (2023), Avis d'experts : ChatGPT : Un robot conversationnel peut-il enseigner ?, *Management & Datascience*, vol.7, n°1 - https://management-datascience.org/articles/22060/

Richard C. (2018), Dans la boîte noire des algorithmes, *Revue du crieur*, n°3, p.68-85.

Rouvroy A., Berns T. (2013), Gouvernementalité algorithmique et perspectives d'émancipation : Le disparate comme condition d'individuation par la relation ?, *Réseaux*, n°177, p.163-196.

Seaver N. (2019), Knowing algorithms, in Seaver N., Vertesi J., Ribes D. (eds), *In digital STS*, Princeton, Princeton University Press, p.412-422.

Shaw T.R. (2003), The moral intensity of privacy: An empirical study of webmaster'attitudes, *Journal of Business Ethics*, vol.46, n°4, p.301-318.

Stahl B.C. (2004), Information, ethics, and computers: The problem of autonomous moral agents, *Minds and Machines*, vol.14, n°1, p.67-83.

Torresen J. (2018), A review of future and ethical perspectives of robotics and AI, *Frontiers in Robotics and AI*, n°4 - https://www.readcube.com/articles/10.3389%2Ffrobt.2017.00075

Zerilli J., Knott A., Maclaurin J., Gavaghan C. (2019), Transparency in algorithmic and human decision-making: is there a double standard?, *Philosophy & Technology*, vol.32, n°4, p.661-683.