1 Jordan Ninin & Laurène Mazeau, « La recherche opérationnelle », (2017) 22 Lex electronica 55. En li (...) 2 Voir le site de la société IBM : https://www.ibm.com/watson/ 3 IBM n’est pas la seule entreprise à développer ce type de technologies. On peut également citer Goo (...) 1Propos introductifs. Lorsque l’on aborde les questions croisées de recherche opérationnelle et de responsabilité, on interroge les processus automatiques et les mécanismes d’aide à la décision. La recherche opérationnelle est une discipline des méthodes scientifiques utilisables pour élaborer de meilleures décisions. Elle peut aider à trouver une solution où l’homme n’en trouvait pas, ou une solution à des problèmes nouveaux où l’homme n’a aucune expérience. Elle peut encore aider à juger de la qualité d’une solution, mais aussi à confirmer/justifier des décisions. La recherche opérationnelle intervient dans des domaines très divers : big data, GPS, finance, environnement et développement durable, domaine spatial, politiques publiques, gestion des ressources hospitalières, etc. Elle favorise une culture scientifique dans la prise de décision1. Cette grille d’analyse s’illustre tout particulièrement avec les systèmes d’aide au diagnostic médical. Les processus de recherche opérationnelle sont utilisés au quotidien par des millions de personnes (internet, transport, chaîne d’approvisionnement, management, tournée de véhicules, etc.). Bien que le développeur ne conçoive pas son outil pour décider à la place de l’utilisateur, ce dernier se basera très souvent sur le résultat du processus de recherche opérationnelle. L’utilisateur aura plus confiance en la décision du processus qu’en sa propre analyse. Par ailleurs, sur un plan juridique, il est moins risqué pour l’exploitant de faire valoir que son système est de l’aide à la décision plutôt qu’un mécanisme automatique. Or, dans la pratique cette distinction n’est pas aussi nette surtout lorsque l’on observe que les utilisateurs ont de moins en moins la possibilité ou l’envie de choisir. C’est ce que nous illustrerons au soutien de l’exemple du logiciel Watson, développé par l’entreprise IBM, qui est un modèle de système d’aide au diagnostic médical. Watson est un programme informatique conçu à la base pour comprendre le langage utilisé par les humains, les mots et les phrases. Il n’est pas pensé dès l’origine pour faire de l’aide au diagnostic médical. C’est un logiciel qui comprend à la fois des données non structurées et des données complexes qui sont utilisées pour formuler des solutions uniques à l’individu qui l’utilise. Watson utilise des procédés de machine learning (qui ont la capacité d’apprendre et de s’améliorer de manière autonome) et de classification grâce à l’analyse des publications scientifiques ou encore l’historique des rapports médicaux établis pour un patient donné. Au-delà de sa faculté à traiter en un temps record de grands volumes de données, Watson se caractérise notamment par le fait qu’il peut exploiter une très grande variété de documents : chiffres, phrases, fichiers audio ou vidéo. En d’autres termes, il dispose de techniques pour analyser la sémantique de documents rédigés en langage naturel (par exemple un compte rendu opératoire) pour en tirer des données exploitables2. L’intérêt de Watson réside dans son très vaste champ d’application dans la vie de tous les jours. Dans le domaine médial qui nous intéresse ici, il permet d’améliorer la rapidité et la précision des diagnostics médicaux et aider à la prise de décision en cas d’urgence médicale par exemple ou encore de rechercher les interactions potentielles de médicaments. Watson est un exemple significatif de ce que la recherche opérationnelle apporte au quotidien, notamment dans un contexte dans lequel la complexité scientifique s’accroit toujours plus chaque année. En effet, en matière médicale, le nombre d’articles scientifiques est tel qu’il devient quasiment impossible pour les soignants de tous les consulter ou de les utiliser. Watson peut consulter l’ensemble de ces références de manière instantané et peut ainsi assister les médecins pour établir leur diagnostic et suggérer les traitements appropriés. Par ailleurs, ce logiciel sera capable d’utiliser les données personnelles du patient. Le diagnostic sera ainsi réalisé en fonction du dossier médical du patient (allergies, passé médical, spécificités génétiques, etc.)3. Et grâce au cloud computing, n’importe quel médecin sera en mesure de consulter cette même base de données partout à travers le monde.

4 À l’image de Mycin ou encore Internist aux États-Unis. Voir notamment : Y. B Oberst, J. M. Long, Co (...) 5 R. Bixby, « A brief history of linear and mixed-integer programming computation », Doc. Math., vol. (...) 6 Ce type de problème est notamment à la base de certaines techniques de cryptographie, comme le syst (...) 7 Voir notamment https://www.ibm.com/watson/ lien précit. 2L’intérêt des médecins pour des systèmes informatiques pouvant les assister dans l’aide au diagnostic remonte au milieu des années 1960, lorsque les tout premiers outils ont été proposés4. Or, les puissances de calcul modernes se sont démultipliées de même que les connaissances médicales. Ces évolutions ont accompagné le développement significatif des compétences en recherche opérationnelle. En effet, au cours des trente dernières années, on estime que la capacité de résolution de la recherche opérationnelle a progressé d’un facteur un milliard, et ce n’est pas seulement du fait de l’amélioration de la vitesse de calcul des ordinateurs5. On estime que cette progression est équitablement imputable à l’amélioration des processeurs des ordinateurs, aux progrès dans la résolution de programmes linéaires (l’une des pierres angulaires de la recherche opérationnelle), et à l’implémentation efficace de techniques avancées de mathématiques appliquées. Cette puissance est cependant loin de constituer une panacée : la théorie de la complexité nous apprend que certains problèmes ne peuvent pas être résolus de manière optimale dans un temps raisonnable. Et ce, même si l’on utilise des ordinateurs un milliard de fois plus puissants que ceux existant actuellement6. Pendant longtemps, les systèmes d’aide au diagnostic médical n’étaient pas en mesure de traiter ni de s’adapter aux données du patient. Ils ne pouvaient pas davantage prendre en compte l’évolution des connaissances médicales, a contrario de ce que propose Watson7. Ces systèmes se contentaient de fournir une version informatisée des protocoles en vigueur. Cette fonction correspond plus à de la recherche rapide de protocole dans laquelle l’analyse est laissée à la libre appréciation du médecin. Les décisions diagnostiques, pronostiques et thérapeutiques se fondent sur trois groupes d’arguments :

> 8 M. Cléret, P. Le Beux, F. Le Duff, « Les systèmes d’aide à la décision médicale », Les Cahiers du n (...) « la sémiologie qui correspond à l’étude des signes et des symptômes, la nosologie qui définit les maladies et leurs critères d’identification, et enfin les caractères de l’environnement reposant sur les données épidémiologiques, psychologiques ou socio-professionnelles8. »

9 M. Cléret, P. Le Beux, F. Le Duff, op. cit. ibid. 3Les signes cliniques ainsi que les résultats des examens paracliniques sont des éléments d’information qui permettent au médecin d’estimer l’état pathologique du patient et peuvent être rassemblés sous le terme général de « tests » qui sont l’expression de variables9.

Si l’on peut a priori considérer qu’un système d’aide au diagnostic médical est un pur système d’aide à la décision, il est possible qu’en pratique le procédé soit davantage teinté d’automatisme. Cette différentiation entraîne dans son sillage une modification substantielle dans le traitement juridique qui en découle en cas notamment d’erreur de diagnostic.

10 Voir l’exemple des moteurs de recherches ou encore des GPS automobiles dans J. Ninin, L. Mazeau art (...) 5Distinction de la recherche opérationnelle de l’automatisme. Il est essentiel d’établir en amont les critères distinguant un processus d’aide à la décision d’un mécanisme automatique. Bien que pour l’ingénieur en recherche opérationnelle ou l’automaticien, la question de savoir ce qu’est un système d’aide à la décision et le différentier d’un système autonome paraisse claire, pour l’utilisateur profane, la différence est parfois subtile. Et pourtant, cette distinction technique entraîne une différence majeure de traitement juridique pour savoir qui est responsable de la décision, par exemple en cas d’accident10. En automatique, un système est caractérisé par sa dynamique, son état interne, par ces entrées/commandes, et par ces sorties/observations. Les « entrées » du système correspondent aux commandes sur lesquelles l’utilisateur agit à chaque instant (ex : le volant et l’accélérateur d’une voiture, etc.). Elles dépendent donc du temps. Les « sorties » désignent les observations disponibles et accessibles par l’utilisateur sur le système à chaque instant (ex. : la vitesse d’une voiture, la quantité d’essence restante, sa position GPS, etc.). La « dynamique » correspond au comportement et à l’évolution du système dans son environnement (ex. : principe fondamental de la dynamique, équation de la chaleur, etc.). L’« état » du système fait référence à toutes les variables intrinsèques du système observable ou non (ex. : vitesse angulaire de chaque roue, débit d’injection, vitesse de rotation du moteur, etc.). Le processus d’automatisation va consister à créer un régulateur qui, à partir des sorties/observations du système, génère une commande qui sera mise en entrée du système. Les systèmes réels s’avèrent souvent complexes, toutes les entrées d’un système ne sont pas nécessairement régulées et automatisées. Ainsi, une voiture avec régulateur de vitesse a toujours besoin d’un conducteur pour tourner le volant. Par ailleurs, la plupart des régulateurs ont également des entrées appelées « consigne ». Par exemple, le régulateur de vitesse d’une voiture demande en entrée la vitesse qu’il doit suivre afin de générer l’accélération nécessaire pour maintenir la vitesse du véhicule à chaque instant. Un indice pouvant aider à différencier l’aide à la décision de l’automatisme est l’aspect temporel du processus. Si une action est demandée à chaque instant à l’utilisateur, nous serons alors en présence d’un processus d’aide à la décision. L’utilisateur doit valider toutes les commandes mises en entrée du système. En d’autres termes, le processus de recherche opérationnelle propose et l’utilisateur dispose. En revanche, si l’utilisateur n’intervient que de façon ponctuelle, le processus pourra être considéré comme automatisé, régulé. Le processus global ne nécessite pas d’intervention humaine pour évoluer (ex. le régulateur de voiture, le thermostat d’ambiance). Même si le système est entièrement automatisé, il laissera toujours la possibilité à utilisateur de reprendre la main pour le stopper. Ce type de sécurité est présent sur tous les systèmes automatisés. Car, bien qu’un système soit autonome, il est possible qu’un cas de force majeure, au sens juridique du terme, se produise et nécessite un arrêt d’urgence. Par conséquent, cela implique qu’un système muni d’un moyen d’arrêt n’est pas nécessairement de l’aide à la décision. C’est-à-dire qu’un système peut être autonome malgré la présence ponctuelle d’un humain dans le système (ex. : une chaîne de production industrielle a toujours un opérateur prêt à appuyer sur un bouton d’arrêt d’urgence).

Les implications juridiques de cette distinction. Ainsi, la recherche opérationnelle, dont procèdent les systèmes d’aide au diagnostic médical, est au cœur de problématiques juridiques fournies : qu’il s’agisse de confidentialité des données (Big data), d’imputation d’obligation, de prise de décision, ou d’information des utilisateurs. Que se passe-t-il lorsque le système d’aide au diagnostic médical devient systématiquement « la » décision ? Qui est responsable des mauvais choix opérés par le système (le programmeur, l’exploitant, le propriétaire, le médecin, le patient, etc.) ? Existe-t-il des règles déontologiques ou éthiques lorsque ces techniques ont un impact sur l’homme ? Quid de la responsabilité du médecin qui ne se conformerait pas dans son diagnostic à celui délivré par Watson et qu’il se révèle préjudiciable au patient ? Le médecin doit-il être le seul responsable de l’utilisation de Watson si elle entraîne un effet négatif pour le patient ? L’arbre de décision qui conduit au diagnostic médical et au choix d’une option thérapeutique se rapproche des mécanismes d’automatiques. Peut-on en déduire qu’il serait possible d’automatiser tout ou partie de la décision médicale ?

La complexité des procédés de recherche opérationnelle utilisés par les professionnels pose la question de la compréhension et de la maîtrise de ces outils, y compris par les professionnels eux-mêmes. En effet, si l’on prend l’exemple du machine learning, on découvre que plus on les utilise, plus ils apprennent des utilisateurs et miment leurs choix et comportements. Ainsi, les solutions proposées reflètent non pas la « meilleure » décision pour le problème de l’utilisateur, mais la solution la plus largement adoptée par les autres utilisateurs. Le logiciel peut ainsi influencer l’utilisateur à prendre une mauvaise décision. Les questions de la déontologie, mais aussi de la régulation de la recherche opérationnelle se posent ainsi de manière spécifique.

11 Code civil, art. 1245 et suivants. – Voir notamment : Ph. Le Tourneau, Contrats informatiques et él (...) 8L’implication des procédés de recherche opérationnelle dans le contexte les systèmes d’aide au diagnostic médical pose notamment la question de l’éventuelle application de la loi n° 98-389 du 19 mai 1998 sur la responsabilité des produits défectueux11. Cette hypothèse pourrait se heurter à plusieurs obstacles : preuve de l’existence du dommage, détermination de la défectuosité au moment de la commercialisation du système, établissement du lien de causalité scientifique et/ou juridique entre ces derniers, etc. En effet, pour que le régime de la responsabilité du fait des produits défectueux fonctionne, le défaut doit pouvoir être décelé compte tenu de l’état des connaissances scientifiques et techniques au moment de la mise en circulation du produit. Or, il est tout à fait envisageable que le système évolue entre sa commercialisation et un accident survenu quelques mois ou années après (modification du comportement par apprentissage via machine learning, ajout de nouvelles fonctionnalités par téléchargement de programmes ad hoc). De plus, ces logiciels marqueront toujours un léger retard par rapport à l’état actuel des connaissances, dans la mesure où leurs procédés n’utilisent que des données passées et publiées après un process de peer review pouvant prendre plusieurs mois. Dans un tel schéma, la responsabilité du fabricant dont l’évolution du produit ne serait plus de son seul fait sera plus épineuse à envisager. La responsabilité du médecin devra quant à elle s’envisager en considérant de nouveaux critères tels que la complexité du système, son degré d’aide à la décision, ou encore les possibilités d’intervention laissées à l’utilisateur.

12 Voir A. Lucas, « La responsabilité des choses immatérielles », Mél. Catala, Litec, 2001, p. 817. 13 Le Parlement européen envisage la mise en place d’un régime d’assurance obligatoire complété par un (...) 9Par ailleurs, il convient d’insister sur le fait que l’hypothèse de réflexion ne concerne pas les dysfonctionnements matériels classiques du système (coupure de l’accès à la base donnée, panne matière du système informatique, etc.) qui peuvent s’inscrire dans les régimes existants de responsabilité civile. La difficulté apparaît lorsque l’on envisage les conséquences d’une décision médicale correspondant au fonctionnement « normal » du système. Lorsqu’elle est à l’origine d’un préjudice, cette décision peut-elle entrer dans la sphère de la loi sur les produits défectueux ? Une telle problématique renvoie aux questionnements soulevés autour de l’application de ce régime aux biens immatériels12. En effet, les procédés informatiques mis en œuvre dans ces outils d’aides à la décision médicale ne sont ni corporels, ni totalement standardisés contrairement au modèle théorique pensé initialement dans la législation relative aux produits défectueux. Face à ces enjeux, le Parlement européen a adopté le 16 février 2017 une résolution contenant des recommandations notamment relatives aux règles du droit de la responsabilité en matière de robotique13. Cet exemple illustre comment la recherche opérationnelle et l’aide à la décision soulèvent des questionnements nouveaux qu’il sera nécessaire au juge et au législateur de prendre en compte.

14 N. Carr, « All Can Be Lost : The Risk of Putting Our Knowledge in the Hands of Machines », The Atla (...) 10Propos conclusifs. L’exemple des systèmes d’aide au diagnostic médical révèle comment à mesure que les ordinateurs effectuent des tâches toujours plus complexes, qu’ils effectuent un travail d’analyse et de prise de décision, le logiciel réduit notre horizon et notre attention. L’automatisation transforme son utilisateur en simple observateur, et inhibe d’une certaine manière le développement de ses compétences14. Lorsque l’aide à la décision ne se contente plus de seconder l’activité humaine, mais la transforme et la supplée, la question de la responsabilité juridique qui en découle prend alors une dimension bien différente.

<footnote n="1">1 Jordan Ninin & Laurène Mazeau, « La recherche opérationnelle », (2017) 22 Lex electronica 55. En ligne : http://www.lex-electronica.org/s/1558</footnote>

<footnote n="2">2 Voir le site de la société IBM : https://www.ibm.com/watson/</footnote>

<footnote n="3">3 IBM n’est pas la seule entreprise à développer ce type de technologies. On peut également citer Google, avec sa division « IA DeepMind ». On peut aussi faire référence à Apple qui a ouvert une plateforme « Research Kit » à destination des chercheurs.</footnote>

<footnote n="4">4 À l’image de Mycin ou encore Internist aux États-Unis. Voir notamment : Y. B Oberst, J. M. Long, Computers in Private Practice Management, Springer Science & Business Media, 6 déc. 2012.</footnote>

<footnote n="5">5 R. Bixby, « A brief history of linear and mixed-integer programming computation », Doc. Math., vol. Optimization Stories, p. 107-121, 2012.</footnote>

<footnote n="6">6 Ce type de problème est notamment à la base de certaines techniques de cryptographie, comme le système RSA basé sur la factorisation d’entiers en produit de nombres premiers.</footnote>

<footnote n="7">7 Voir notamment https://www.ibm.com/watson/ lien précit.</footnote>

<footnote n="8">8 M. Cléret, P. Le Beux, F. Le Duff, « Les systèmes d’aide à la décision médicale », Les Cahiers du numérique, 2/2001 (Vol. 2), p 132.</footnote>

<footnote n="9">9 M. Cléret, P. Le Beux, F. Le Duff, op. cit. ibid.</footnote>

<footnote n="10">10 Voir l’exemple des moteurs de recherches ou encore des GPS automobiles dans J. Ninin, L. Mazeau art. préc.</footnote>

<footnote n="11">11 Code civil, art. 1245 et suivants. – Voir notamment : Ph. Le Tourneau, Contrats informatiques et électroniques, Dalloz, coll. « Référence », 9e éd. 2016-2017, nos 212-13 et s.</footnote>

<footnote n="12">12 Voir A. Lucas, « La responsabilité des choses immatérielles », Mél. Catala, Litec, 2001, p. 817.</footnote>

<footnote n="13">13 Le Parlement européen envisage la mise en place d’un régime d’assurance obligatoire complété par un fonds garantissant un dédommagement de la victime (y compris en l’absence de couverture). Résolution du Parlement européen du 16 février 2017 contenant des recommandations à la Commission concernant des règles de droit civil sur la robotique (2015/2103(INL)).</footnote>

<footnote n="14">14 N. Carr, « All Can Be Lost : The Risk of Putting Our Knowledge in the Hands of Machines », The Atlantic, nov. 2013.</footnote>