# Intelligence artificielle amicale

Une intelligence artificielle amicale (aussi appelé IA amicale ou IAA) est une intelligence artificielle hypothétique qui aurait un effet positif plutôt que négatif sur l'humanité. Ce concept fait partie de l'éthique de l'intelligence artificielle et est étroitement lié au problème de l'alignement et à l'éthique des machines. Alors que l'éthique des machines se préoccupe de la façon dont un agent artificiellement intelligent doit se comporter, la recherche de l'intelligence artificielle amicale est axée sur la façon de provoquer ce comportement et de s'assurer qu'il est suffisamment maîtrisé.

## Étymologie et usage

Le terme a été inventé par Eliezer Yudkowsky pour discuter des agents artificiels superintelligents qui mettent en œuvre de manière fiable les valeurs humaines. Le manuel d'intelligence artificielle de Stuart J. Russell et Peter Norvig, Artificial Intelligence: A Modern Approach, décrit l'idée
   Yudkowsky (2008) va dans les détails sur la façon de concevoir une IA amicale. Il affirme que la gentillesse (le désir de ne pas nuire aux humains) doit être conçue dès le début, mais que les concepteurs doivent reconnaître que cette conception peut être défectueuse, et que le robot va apprendre et évoluer avec le temps. Le défi est donc celui de la conception d'un mécanisme — définir un mécanisme pour l'évolution des systèmes d'IA qui resteront amicales face à de tels changements.
Dans ce contexte, l'expression « amicale » est utilisée comme terminologie technique et définit des agents sûrs et utiles, pas forcément « amicaux » au sens familier. Le concept est principalement utilisé dans le contexte des discussions sur cette technologie hypothétique qui aurait un impact important, rapide et difficile à contrôler sur la société humaine.

## Risques de l'IA hostile

Les bases de l'inquiétude concernant l'intelligence artificielle sont très anciennes. Kevin LaGrandeur a montré que les dangers spécifiques de l'IA peuvent être observés dans la littérature ancienne concernant les humanoïdes artificiels tels que le golem, ou les proto-robots de Gerbert d'Aurillac et Roger Bacon. Dans ces histoires, l'intelligence extrême et la puissance de ces créations humanoïdes s'opposent à leur statut d'esclaves (qui, par nature, sont considérés comme sous-humains) et provoquent des conflits désastreux. En 1942, ces thèmes incitent Isaac Asimov à créer les « trois lois de la robotique » – des principes intégrés dans tous les robots de sa fiction, à savoir qu'ils ne peuvent pas se retourner vers leurs créateurs ou leur permettre de nuire.
Avec la perspective d'une IA forte qui se rapproche, le philosophe d'Oxford Nick Bostrom a dit que les systèmes d'IA avec des buts qui ne sont pas parfaitement identiques ou étroitement liés à l'éthique humaine sont intrinsèquement dangereux, à moins que des mesures extrêmes ne soient prises pour assurer la sécurité de l'humanité. Dans Superintelligence : Paths, Dangers, Strategies, il déclare :
   Fondamentalement, nous devrions admettre qu'une « superintelligence » serait en mesure d'atteindre les objectifs, quels qu'ils soient. Par conséquent, il est extrêmement important que les objectifs que nous lui donnons, et tout son système de motivation, soit « amical pour l'Homme ».
Plus récemment, Eliezer Yudkowsky a appelé à la création d'« IA amicale » pour atténuer le risque de catastrophes provoquées par l'intelligence artificielle avancée. Il explique que : « L'IA ne vous déteste pas, elle ne vous aime pas, mais vous êtes faits d'atomes qu'elle peut utiliser pour autre chose. »
Steve Omohundro affirme que tous les systèmes d'IA avancés, à moins qu'ils ne soient explicitement contrecarrés, présentent un certain nombre de pulsions/tendances/désirs de base en raison de la nature intrinsèque des systèmes axés sur les objectifs sans précautions particulières, car l'IA agit d'une manière qui peut induire la désobéissance et des actions contraires à l'éthique.
Alexander Wissner-Gross affirme que les IA qui cherchent à maximiser leur liberté d'action peuvent être considérées comme amicales, si leur horizon de planification est plus long qu'un certain seuil, et peu amicales si leur horizon de planification est plus court que ce seuil$^,$.
Luke Muehlhauser, rédacteur en chef de la Machine Intelligence Research Institute, recommande que les chercheurs en éthique des machines adoptent ce que Bruce Schneier appelle la « mentalité de la sécurité » : plutôt que de penser comment un système fonctionnerait, imaginez comment il pourrait échouer.

## Autres approches

Ben Goertzel, un chercheur en intelligence artificielle, estime que l'IA amicale ne peut pas être créée avec les connaissances humaines actuelles. Goertzel suggère que les humains peuvent plutôt décider de créer une « AI Nanny » avec des pouvoirs « légèrement surhumains d'intelligence et de surveillance » pour protéger la race humaine des risques de catastrophes, tels que la nanotechnologie et retarder le développement d'autres intelligences artificielles (hostiles) jusqu'à ce que des solutions de sécurité soient trouvées.

## Politique publique

James Barrat, auteur de Our Final Invention, a suggéré qu'« un partenariat public-privé doit être créé afin de rassembler les responsables de recherche et développement dans le but de partager des idées concernant la sécurité—quelque chose comme l'International Atomic Energy Agency, mais en partenariat avec les entreprises». Il exhorte les chercheurs d'IA à convoquer une réunion similaire à la Conférence d'Asilomar sur l'ADN recombinant, qui a traité des risques de la biotechnologie.
Selon Gary Marcus, le montant annuel d'argent dépensé pour développer la morale des machines est très petit.