Sorbonne Université, GEMASS/LIMSI/CNRS,
membre de la CERNA
Commission de réflexion
sur l'Éthique de la Recherche Nationale
en sciences et technologies du Numérique d'Allistène

Abstract

Laurence Devillers tackles what is called "emotional robotics", which is part of the relationship between humans and robots. She begins by recalling the advances, brought by psychology and neuroscience, on the understanding of emotions, their role, their relationship with consciousness; she also returns to this latter concept, its different definitions and components. She then recalls the course of AI from the point of view of her subject, namely the integration of machines in society, the more and more frequent use of these machines by individuals, the work concerning the detection of individual emotions by machines and their simulation in return, within the framework of these interactions. She finally wonders about the benefits and risks of all these advances. Providing robots with emotional simulation or interpretation skills is particularly achieved in the health field. They can then provide invaluable assistance: playing with sick children, monitoring hospitalized people, intervention in the event of depression or autism, diagnostic assistance, etc. But on the other hand, "robots also carry significant risks of isolation, dehumanization and manipulation of humans". Human-machine co-adaptation is spreading quickly but requires reflection as the possibility of being manipulated by these devices is great. Laurence Devillers therefore encourages vigilance and assures that this co-adaptation "should in the long term be an important research and monitoring axis in the coming years"
La robotique émotionnelle est un champ de recherche et d'application émergent de l'intelligence artificielle et de la robotique. Ce terme tout comme celui d'intelligence artificielle (IA) est un oxymore, car il mélange des notions opposées relatives au vivant et à l'artefact. L'IA est définie depuis 2018¹ comme étant le champ interdisciplinaire théorique et pratique qui a pour objet la compréhension de mécanismes de la cognition et de la réflexion, et leur imitation par un dispositif matériel et logiciel, à des fins d'assistance ou de substitution à des activités humaines. Aujourd'hui, l'informatique émotionnelle ou affective computing (Picard, 1997) est devenue centrale dans le développement des systèmes d'interaction humain-machine, notamment pour la robotique de services. Elle regroupe trois technologies : la reconnaissance des émotions des humains (Devillers, 2005), le raisonnement et la prise de décision en utilisant ces informations, la génération d'expressions affectives par les machines.

Doter les robots de capacités d'interprétation, de raisonnement et de simulation émotionnels est utile pour construire des systèmes interagissant socialement avec les humains. Les robots émotionnels peuvent être d'un apport important pour la santé ; pour prêter assistance, stimuler cognitivement, voir surveiller pour des pathologies liées au grand âge, à la dépression ou encore à l'autisme ou encore pour l'éducation. Les robots sont aussi porteurs de risques importants d'isolement, de déshumanisation et de manipulation des humains. Comment allons-nous évoluer face à ces machines ? Est-ce qu'un robot sera capable de déceler des comportements émotionnels dont nous ne serions pas conscients pour mieux nous inciter à faire certaines actions ou à prendre certaines décisions ? La co-adaptation humain-robot sur le long terme devra être un axe de recherche et de surveillance important dans les prochaines années (L. Devillers, 2017).

# 1. Les émotions du vivant et des artefacts

Le domaine de l'affectivité a souvent été opposé à la cognition désignant les capacités de raisonnement rationnel. Mais cette dichotomie a été remise en cause car les processus affectifs contribuent de façon importante à l'adaptation de l'individu à son milieu et font partie intégrante de sa cognition. Considérées comme preuves de faiblesses, méprisées, parfois diabolisées, le plus souvent incomprises, les émotions ont fait l'objet au sein de la tradition philosophique et en psychologie de vives discussions. Les émotions ont également longtemps été considérées comme trop subjectives pour se prêter à une approche expérimentale en laboratoire que ce soit en neuroscience ou en modélisation informatique. La fin du 20- siècle a vu émerger des nouveaux champs scientifiques au sein des sciences cognitives (Andler, 1992), les neurosciences affectives (Panksepp, 1998) et l'informatique émotionnelle (Picard, 1997).

<footnote n="1">¹ JORF n°0285 du 9 décembre 2018, texte n° 58, Vocabulaire de l'intelligence artificielle (liste de termes, expressions et définitions adoptés - NOR: CTNR1832601K)</footnote>
Les sciences affectives, approche interdisciplinaire, qui regroupent neurosciences, psychologie et informatique a pour objectif de comprendre à la fois les mécanismes sous-jacents à l'affect mais aussi comment l'affect et les émotions contribuent au comportement et à la pensée (Davidson, Scherer & Goldsmith, 2003). Plus récemment, Daniel Kahneman, prix Nobel d'économie en 2012, a montré via de multiples expériences à travers sa théorie du système 1/ système 2 comment nos émotions et nos sentiments guident nos décisions (Kahneman, 2011). « *La psychologie hédoniste est l'étude de ce qui rend l'expérience de la vie plaisante ou déplaisante. Elle a à voir avec les sentiments, la douleur et le plaisir, la passion et l'ennui, la joie et le chagrin, la satisfaction ou l'insatisfaction.* Elle est corrélée avec toute une gamme de circonstances biologiques ou sociétales qui provoquent la souffrance ou le plaisir » (Kahneman, Diener & Schwarz, 2003).

Chacun sait ce qu'est une émotion, jusqu'à ce qu'on lui demande d'en donner une définition. A ce moment là, il semble que plus personne ne sache (Fehr & Russell, 1984). Paul et Anne Kleinginna, psychologues des émotions, présentaient plus de 140 définitions dans un article en 1981 : « *Les émotions sont le résultat de l'interaction de facteurs subjectifs et objectifs, réalisés par des systèmes neuronaux ou endocriniens, qui peuvent :*
a) induire des expériences telles que des sentiments d'éveil, de plaisir ou de déplaisir ;
b) générer des processus cognitifs tels que des réorientations pertinentes sur le plan perceptif, des évaluations, des étiquetages ;
c) activer des ajustements physiologiques globaux ;
d) induire des comportements qui sont, le plus souvent, expressifs, dirigés vers un but et adaptatifs ». Il existe donc différentes définitions mettant l'accent par exemple sur la dimension subjective, les catégories de stimuli déclencheurs, les mécanismes physiologiques, l'expression des comportements émotionnels, les effets adaptatifs ou encore les effets perturbateurs. Le concept d'émotion utilisé pour les modélisations sur machine recouvre souvent plusieurs phénomènes que le sens commun a regroupés et est utilisé au sens large d'état affectif ou affect. En psychologie, le terme affect englobe l'ensemble des comportements affectifs : émotions, humeurs, dispositions affectives, et sentiments. Les émotions ont souvent des épisodes visibles sur notre visage, présents dans la prosodie de notre voix ou le langage de notre corps, les sentiments eux sont cachés. Ils sont nos ressentis émotionnels internes.

La sphère des émotions que l'on pensait propre à l'humain s' invite dans les machines. Les émotions agissent sur nos comportements quotidiens, sur nos perceptions et nos décisions. Elles rendent la communication plus efficace, jouent un rôle clé dans tout processus d'apprentissage, agissent également sur la capacité de mémorisation de l'information et sur notre attention. Les émotions et la cognition sont intimement liés. Les émotions humaines sont une sorte de double interface entre le cerveau et le corps. D'un côté, elles donnent des signaux perceptibles dans le corps qu'un besoin est satisfait ou non. D'un autre côté, elles font partie des qualia, phénomènes psychiques et donc subjectifs, constitutifs des états mentaux. Que savons-nous sur les qualia ? Les qualia sont les propriétés de la perception et généralement de l'expérience sensible : sensations corporelles, affects, percepts mentaux. Ce sont les qualités ressenties de nos expériences conscientes. C'est ce qu'on expérimente
lorsqu'on perçoit ou ressent quelque chose : qu'est-ce que cela fait de caresser un chat, de
le sentir se frotter contre vous lorsqu'il a faim, de l'entendre ronronner ou miauler, de savoir
qu'il peut griffer ? Les qualia constituent ainsi l'essence même de l'expérience de la vie et
du monde, c'est notre relation aux autres. Quand le logiciel développé par Google apprend
à différencier des chats, il n'apprend qu'en regardant des images ce qu'est un chat. Il est
loin de notre compréhension de ce qu'est un chat.

La vie mentale, la conscience et l'inconscient sont les sujets privilégiés des neurosciences
qui connaissent depuis quelques décennies un développement impressionnant, tant du point
de vue de l'expérimentation scientifique grâce à l'IRM que de la connaissance de la
structure et des fonctions du cerveau. Les nombreux ouvrages des neuroscientifiques,
Antonio Damasio, Lionel Naccache, Stanislas Dehaene, Jean-Pierre Changeux, Pierre-
Marie Lledo en témoignent. La conscience est un phénomène biologique localisé dans le
cerveau. Dans *La construction du cerveau conscient* (Damasio, 2010), Damasio développe
l'idée que la conscience ne serait pas le produit sophistiqué des régions les plus récentes et
les plus évoluées de notre cerveau, mais des plus anciennes, là où naissent les émotions. Le
début de la conscience serait le ressenti d'un état de l'organisme. Jean-Pierre Changeux et
Stanislas Dehaene parlent d'un espace global conscient. Cet espace de simulation d'actions
virtuelles servirait à élaborer nos buts, intentions, et programmes d'action en interaction
avec le monde extérieur en considérant nos dispositions innées, nos désirs et émotions,
notre personnalité, notre mémoire et les normes morales et conventions sociales. Les
réseaux de neurones du cerveau humain sont capables d'activités spontanées et susceptibles
d'engendrer des représentations du monde sans qu'il y ait nécessairement une stimulation
extérieure. On sait également aujourd'hui que notre inconscient est riche, qu'il contient de
nombreux processus et représentations mentales abstraites, qui coexistent avec nos pensées
et nos représentations conscientes. Nos expériences vécues ont un support neuronal et sont
liées à des processus chimico-biologiques.

Actuellement, les nouvelles découvertes sur le cerveau et sur la manière d'optimiser ses
capacités sont importantes, les avancées plus incroyables les unes que les autres, mais nous
n'en savons pas beaucoup plus sur l'organisation de l'ensemble du cerveau. Le projet
« Human Brain Machine » de l'Ecole Polytechnique Fédérale de Lausanne (EPFL), qui
avait pour but de recopier le cerveau d'un mammifère sur une machine, n'a pas permis
beaucoup de progrès pour comprendre le fonctionnement d'un cerveau.

Si l'on savait programmer un système de réseaux de neurones semblable au cerveau humain
sur un support informatique, le comportement résultant généré par l'ordinateur ne
s'apparenterait pas à celui effectué par l'homme car la machine n'a pas de corps, de ressenti,
n'a pas de désir et de plaisir. Même si une machine pouvait simuler une sorte de qualia, via
un « corps artificiel », la modélisation serait très différente d'une expérience humaine. Dire
que les machines auront des émotions et une conscience, même si ce ne sont que des

<footnote n="2">² Human Brain Machine, EPFL</footnote>
métaphores, peut très mal être compris par quelqu'un qui est non-expert. Il est donc urgent de ne pas ajouter de la confusion sur ce sujet. Notre cerveau se transforme perpétuellement grâce à des développements personnels, grâce à l'éducation et à la culture, c'est-à-dire à nos relations avec les autres. Notre capacité d'apprentissage et de compréhension ne vient pas seulement des déductions d'une énorme base de données. Nous apprenons grâce à l'interaction et à l'expérimentation et grâce à notre histoire et notre imagination.

Il est important de croiser les différentes disciplines que sont les neurosciences, la philosophie et l'intelligence artificielle pour essayer de comprendre mieux l'essence de l'humain et ce que peut nous apporter la modélisation sur machine.

Le philosophe Paul Ricoeur définit la conscience comme « un espace de délibération pour les expériences de pensée où le jugement moral s'exerce sur le mode hypothétique ». Ce qui fait naître et relève de notre volonté, nos valeurs, notre imagination, ou encore notre « conatus » ou appétit de vie décrit par Spinoza sont encore des questions en suspens.

Il faut se rendre à l'évidence de la multiplicité des modes intentionnels qui gouvernent notre relation au monde et par lesquels notre subjectivité opère : pensée, volonté, perception, imagination, affectivité, etc. Nous n'avons pas non plus conscience de la grande majorité du travail de notre cerveau. Le mot « conscience » est polysémique. Selon Stanislas Dehaene, le premier usage du mot renvoie aux variations graduelles de l'état de vigilance : veille, sommeil, anesthésie, coma, état végétatif. Le second usage fait référence à la prise de conscience d'une information particulière. Enfin, le troisième niveau est la méta-cognition, ce qui pour la machine se traduit par une prise de conscience qu'elle traite de l'information. Pour cette étape, les limites d'une caractérisation anthropomorphique à une machine sont évidentes, car tout au plus une machine sera capable de classer, stocker et mettre en corrélation des informations. On ne pourra jamais parler de conscience propre ou d'état mental conscient dans la mesure où un jugement moral fait appel à des interprétations que l'on ne peut mettre en équation.

## 2. Des automates aux robots émotionnels

Le développement de l'intelligence artificielle et des robots est avant tout un sujet économique de la société. Depuis le début de l'ère de l'automatisation, nous avons construit des machines qui peuvent nous remplacer pour des tâches difficiles et répétitives le plus souvent dans des usines, pour plus de rentabilité. Les robots ont remplacé les humains par exemple dans les chaines de montage des usines automobiles ou dans les salles des réacteurs nucléaires. Le robot peut nous libérer des tâches dangereuses, ennuyeuses, sales et stupides, connues sous l'acronyme des 4D pour « *Dangerous, Dull, Dirty and Dumb* »<fnref n="3" />.

<footnote n="3">³ George A. Bekey, *Robotics: State of the Art and Future Challenges*, Presse Imperial College, 2008.</footnote>
Il s'agit souvent de robots automates plutôt que de robots capables de perception car ils font toujours la même succession de mouvements et ne sont pas autonomes.

La deuxième phase a été celle du big data que nous vivons depuis quelques années, il s'agit de remplacer des tâches de bureaucratie, de finance par des systèmes automatiques (les bots) entrainés sur des grands corpus de données pour compter, passer des ordres, traduire ou encore faire des synthèses. Ils n'ont pas besoin d'être incarnés et sont souvent invisibles et confinés à la sphère du travail.

Nous franchissons une nouvelle étape en ce moment qui est celle des assistants sociaux vocaux qui étaient déjà présents dans les centres d'appels et dans les banques, sur nos téléphones et envahissent maintenant nos sphères privées, sans doute bientôt avec des logiciels capables de détecter et simuler quelques émotions. Les machines vont nous parler de plus en plus, cela a commencé avec Siri sur nos téléphones. Aux USA, l'engouement pour ces machines est impressionnant, on a dénombré jusqu'à six enceintes Alexa ou Google home dans certains foyers, un par pièce. Il s'agit d'interagir vocalement avec les humains dans la vie de tous les jours. Le marché est énorme, ces machines pourraient nous accompagner au quotidien, pour surveiller notre santé, pour nous éduquer, nous aider et nous amuser, bref pour s'occuper de nous. Les chatbots et les robots sociaux sont régis par la règle des 4E « Everyday, E-Heath, Education, Entertainment ». Pour ces tâches, le chatbot ou robot est vu comme un compagnon ou encore un assistant mais il n'est pas encore vu comme un remplaçant humain. La cobotique, le travail commun entre robot et humain est en train également d'émerger et nécessite que le robot interprète les actions des humains et pourquoi pas leurs émotions.

En 1997, lorsque l'ordinateur Deep Blue devient le premier ordinateur à battre le champion du monde Garry Kasparov, on en a conclu que Deep Blue était doté d'une capacité de calcul peu ordinaire mais que ce n'était pas de l'intelligence. En 2016, lorsque l'intelligence artificielle de Google DeepMind a battu Lee Sedol, champion de GO, 4-1, on a crié au génie ! D'origine chinoise, le jeu de Go est probablement le plus vieux sport cérébral au monde. On a longtemps cru que l'incarnation même de l'intelligence était le jeu de go qui est d'une élégance rare : les mouvements sont très simples, mais le jeu est d'une incroyable complexité. « Il y a 10 puissance 170 positions possibles, soit davantage que le nombre d'atomes dans l'univers », explique Demis Hassabis, PDG de DeepMind. Défi que la machine sait très bien mener avec une capacité de calculs et une dépense d'énergie hors du commun. Cependant il ne faut pas avoir peur d'une machine plus intelligente que l'homme parce que celui-ci est battu aux échecs ou au jeu de GO. Beaucoup de personnes non expertes en IA en ont déduit un peu rapidement que cette avancée majeure allait permettre des progrès fulgurants en robotique sociale. Les lois de Moore (ou conjectures de Moore), 1965, sont des lois empiriques qui ont trait à l'évolution de la puissance des ordinateurs et de la complexité du matériel informatique. Tous les 18 mois, la puissance des machines est multipliée par deux. Cette conjecture n'a jamais été démentie pour l'instant mais elle pourrait s'infléchir, la machine quantique prendrait alors le relai.
L'augmentation constante des capacités de calcul des ordinateurs permet d'augmenter les performances de l'intelligence artificielle mais est-ce que l'intelligence humaine peut être réduite à du calcul ? Nous pouvons simplement dire que ces capacités accrues de calcul amènent des améliorations des performances de l'intelligence artificielle spécifique. Rien ne prouve que plus de puissance de calcul amène à une intelligence dite « forte », c'est-à-dire générale. Nous venons de vivre deux hivers de l'intelligence artificielle, cela peut se reproduire. L'intelligence des robots n'a rien à voir avec celles des humains. Le robot peut reconnaître une pomme mais ne saura jamais le goût qu'elle a. Le programme d'intelligence artificielle AlphaGo qui a battu Lee Sedol au jeu de Go ne sait pas ce que c'est que gagner et n'en n'éprouve aucun plaisir. Il ne peut pas comprendre d'ailleurs le concept de bonheur pour un humain. Ces concepts sont également difficiles à formaliser pour les humains donc nécessairement difficiles voire impossible à coder sur une machine. La reconnaissance des messages sociaux véhiculés par les visages et les voix, en particulier les expressions émotionnelles, est aussi un élément indispensable à la communication avec les humains et à l'insertion dans toutes les sociétés.

La majorité des travaux ayant rapport aux émotions sur machine, notamment la détection des émotions, nécessite de collecter des données (audio, vidéo) et de les annoter (ou étiqueter). Ces annotations permettent de construire des modèles statistiques pour détecter les émotions ou les imiter, ou encore pour raisonner dessus. Elles sont utilisées par des approches d'apprentissage machine pour construire les modèles des émotions qui peuvent être utilisés dans des systèmes de décision. Trois phases sont donc nécessaires : le codage, l'étiquetage et l'apprentissage. L'approche la plus répandue est d'associer des étiquettes verbales ou des dimensions continues à des segments temporels de signaux audio ou vidéo (Devillers, 2010). Des techniques d'apprentissage automatique permettent ensuite de modéliser les émotions.

Une des difficultés de ces annotations est liée à la pertinence de la verbalisation émotionnelle. En effet, nous savons que le ressenti émotionnel est interne, mais jusqu'à quel point peut-on déterminer sa part consciente ? Klaus Scherer, psychologue suisse, répond à cette question à l'aide d'un diagramme de Venn (Figure 1) représentant trois zones qui décrivent schématiquement la répartition de l'activité émotionnelle.

La zone (A) représente la part des processus totalement inconscients. Scherer affirme que la plupart des processus entrent dans cette catégorie. Vient ensuite la région (B) qui identifie la part des représentations conscientes qui ne peuvent être verbalisées. Enfin, la zone (C) détermine la part des processus potentiellement verbalisables. Ce mélange d'évènements conscient et inconscient est une des difficultés de la problématique du traitement automatique. Nous étiquetons les données à partir de la perception que nous en avons qui est très parcellaire. Ce que nous appelons les qualia qui sont les ressentis émotionnels, sont dans A, B et C. L'étude des émotions en neurosciences affectives devrait nous amener à mieux nous connaître.
Pour améliorer les performances d'interprétation des émotions, des informations multimodales sont le plus souvent prises en compte. Les informations multimodales sont linguistiques, i.e. les mots que les personnes prononcent, paralinguistiques, i.e. les intonations, le rythme, le timbre de la voix mais également le langage du corps, i.e. les expressions du visage comme le sourire, les gestes ou encore la posture. Durant une interaction, un profil émotionnel et interactionnel de la personne (Devillers, 2010) peut être également construit pour mieux interpréter les émotions et adapter les stratégies du dialogue à chaque personne. Evidemment cette modélisation des émotions est simplificatrice ! Les meilleurs systèmes actuels ne peuvent détecter que peu d'expressions émotionnelles, et encore faut-il qu'elles soient exprimées de façon assez caricaturale. En général, les systèmes proposent la détection de 6 émotions : peur, colère, joie, tristesse, dégoût, surprise, avec quelques fois des nuances d'intensité : inquiétude, énervement, amusement. Il est très difficile d'aller au-delà dans l'état actuel des technologies. L'analyse de ces processus expressifs dans différents contextes peut amener à différentes interprétations émotionnelles. L'aspect socio-culturel et sémantique est encore assez peu développé.

<figure><img src="image_1.png" /><figcaption>**Figure 1** : diagramme de Venn du processus émotionnel conscient et inconscient</figcaption></figure>
On peut citer quelques modèles parmi les plus connus qui interprètent les émotions en fonction d'un nombre de critères d'évaluation à prendre en considération, leur nature et leur relation avec les émotions, comme le modèle OCC (Ortony, Clore, Collins, 1998) ou le modèle EMA (Motion and Adaptation) (Gratch et Marsella (2004). EMA par exemple permet, d'une part, de représenter la relation causale entre les événements (passés, présents et futurs) et les états du monde courant, et d'autre part, de représenter le caractère subjectif de l'évaluation et de l'adaptation. EMA est la première tentative de modélisation d'adaptation émotionnelle (la réinterprétation de l'événement, l'acceptation, etc.) par des agents. Ce modèle est essentiellement axé sur les buts. Il ne prend pas toutefois en considération les standards moraux ou les préférences comme dans le modèle OCC. Ces modèles sont principalement utilisés pour modéliser des agents artificiels dans un monde virtuel. Ils ne sont pas au point pour une interaction naturelle avec une machine, encore moins pour une conversation avec échanges de points de vue. L'interaction avec une machine est « faussée » car il n'y a pas ou peu de co-construction, juste des programmes qui singent l'humain et qu'il est encore facile de débusquer.

### 3. Risques et bénéfices

L'informatique affective a ouvert un champ important d'applications que ce soit pour le diagnostic médical, la surveillance, l'assistance en santé (Nordlinger & Villani, 2018) ou encore l'éducation à l'aide de logiciels ou encore de robots. Même si les performances de ces modèles ne sont pas très robustes, ces modélisations engendrent chez les humains des comportements surprenants. L'anthropomorphisme, c'est-à-dire la tendance à attribuer aux machines des réactions humaines est alors bien réel. L'intelligence artificielle permet de détecter ou simuler les affects, elle ne peut pas les faire ressentir à la machine. La modélisation des émotions ne touche que la composante expressive, il n'y a ni sentiment, ni désir, ni plaisir, ni intention dans une machine. Mais ces machines numériques ont beau ne pas être vivantes, elles sont bien présentes.

La modélisation informatique des affects amène à se poser la question des conséquences sociétales de vivre dans un quotidien environné d'objets pseudo-affectifs (Devillers, 2017). Les chatbots aussi appelés agents conversationnels et les robots sociaux peuvent déjà embarquer des systèmes de détection, de raisonnement et de génération d'expressions affectives qui même avec des erreurs importantes peuvent interagir avec nous. Ils sont cependant loin d'avoir des capacités sémantiques suffisantes pour converser et partager des idées mais ils pourront bientôt détecter notre malaise, notre stress et peut-être nos mensonges.

Notre imaginaire et nos représentations symboliques vont évoluer au contact des machines, surtout si celles-ci nous parlent et simulent de l'empathie. Comment éviter l'isolement, la déshumanisation et l'appauvrissement de la vie sociale, si les interactions des humains sont réduites à discuter avec des machines affectives ? Il est nécessaire de réfléchir à la co-
adaptation humain-machine, aux bénéfices et aux risques engendrés par ces objets et aux
garde-fous à imaginer pour éviter d’être trop manipulés par ces machines.

Il importe également de savoir si nous sommes prêts à accepter des robots capables de détecter nos émotions, d’y réagir et par exemple de simuler de l’empathie ; et si nous pourrons un jour nous attacher à des machines affectives comme nous nous attachons à un animal domestique. Dans ce cas, quels statuts auront ces individus numériques dans nos sociétés ? Même si ces objets ne sont pas réellement émotionnels, conscients et autonomes, ils vont envahir notre quotidien. Quels garde-fous seront développés ? L’alphabétisation de l’IA, l’éducation et l’expérimentation de ces machines affectives sont nécessaires pour que nous puissions prendre suffisamment de distance devant ces objets affectifs qui vont envahir notre quotidien.

Références

* D. Andler, Introduction aux sciences cognitives, Paris, Folio, coll. « Essais », 1992, 516 pages.

* H. Atlan, Cours de philosophie biologique et cognitiviste, Editeur Odile Jacob, 2018.

• A. Damasio, La construction du cerveau conscient, Editeur Odile Jacob, 2010.

* R. J. Davidson, K. R. Scherer, H. Hill Goldsmith, Handbook of Affective Sciences, Oxford University Press, 2003.

* L. Devillers, Challenges in real-life emotion annotation and machine learning based detection, Neural Networks Journal, vol 18, 4, 407-422, 2005.

* L. Devillers, L., Vidrascu, O., Layachi, O. Automatic detection of emotion from vocal expression in A Blueprint for Affective Computing, ed. Scherer et al., Oxford University press, 2010.

* L. Devillers, Des Robots et des hommes : mythes, fantasmes et réalité, 2017.

* B. Fehr & J. Russell, J. Exp. Psychol. 464-486, 1984.

* J. Gratch J., S. Marsella, A domain independent framework for modeling emotion, Journal of Cognitive Systems Research, vol. 5, n ° 4, p. 269-306, 2004.

* D. Kahneman, Thinking Fast and slow, Allen Lane, coll. « AL TPB », 1<sup>re</sup> éd., 512 p. (ISBN 978-1846146060), 2011.

* D. Kahneman, E. Diener et N. Schwartz, Well-Being: the Foundations of Hedonic Psychology, Russell Sage Foundation publications, 2003.

* P. R. Kleinginna and A. M. Kleinginna. *A categorized list of emotion definitions, with suggestions for a consensual definition*. *Motivation and Emotion*, 5(4):345–359, 1981 Calder, 2001.

* B. Nordlinger, C. Villani, Santé et intelligence artificielle, CNRS édition, 2018, chapitre L. Devillers, « Les robots sociaux et affectifs : une intelligence artificielle sans conscience mais utile ».

* A. Ortony, G. L. Clore et A. Collins, *The cognitive structure of emotions*, Cambridge University Press, Cambridge, MA, 1988.

* J. Panksepp, *Affective Neuroscience: The Foundations of Human and Animal Emotions*, New York, Oxford University Press, 1998.

* R. Picard, affective computing, MIT Press, 1997.
* K. Scherer, *On the nature and function of emotion: A component process approach*. Lawrence Erlbaum Associates, Publishers, Londres, 1984.

* K. Scherer, *Trends and development: research on emotions*. Social Science Information, 2005.

* K. Scherer, A. Schorr, T. Johnstone (Eds.). (2001). *Appraisal processes in emotion: Theory, Methods, Research*. New York and Oxford: Oxford University Press.

* K. Scherer, T. Bänziger, E. Roesch, A Blueprint for Affective Computing, ed. Scherer et al., Oxford University press, 2010.
<figure><img src="image_2.png" /></figure>