标题：情感计算
作者自述
目前这个世界与我当时写这本书时大不一样。当时情感计算几乎是令人困惑的，只有极少数的计算机界科学家或工程师愿意投入此项工作。计算机本身具有类似于情感机制的这种观点不是新的，它在Cap&Brother剧本R．U．R．创造出世界“机器人”这一词时就出现了，但具有有效情感机制的计算机实际上并不存在。有关人工智能的会议要么是忽视情感，要么是把情感边缘化。情感智能的观念在心理学和认知科学中变得越发重要，但没有人把它应用到人机交互中。神经科学和心理学上早已发现关于情感在决策、感知、创造性等方面的作用，而计算科学在很大程度上并不知晓。许  情感计算多人不知道情感有助于理性和智能行为，普遍认为计算机的情感是一种空洞无聊的东西，就像蛋糕表面上的一层糖霜，可以用来使之更为悦目，但没有真正实质上的意义。 
我感谢当时与我讨论情感计算的几个同事。在出版这本书的前一年，我记得，麻省理工学院(MIT)人工智能实验室的一批研究人员邀请我发言，他们对以下问题十分感兴趣，即赋予计算机以类似情感机制这件事的重要程度如何，以及为什么这件事能对人工智能有用?情感即使带来好处，是否会造成更多的麻烦?答案不太明显，需要加以解释；而他们很欢迎这方面的证据。媒体实验室及其他单位的一些人员愿意听我的论证、提出问题、提出他们的想法和批评意见，甚至协作研究，得出了新的悟解。有些人特别是一些尚未取得终身任职的学术界的同行告诉我说：我的想法是荒唐的，我已经享有严肃研究者的声誉，致力于机器具有情感的研究可能会毁掉我的名誉。我记得我曾深刻内省，以决定是否继续从事这项研究。坦率地说，如果我工作在传统的学术部门，而不是在这样一个实验室，那里的领导层，特别是JerryWiesner和NicholasNegro~nte，经常公开地称颂大胆的想法并强烈鼓励冒险，我是不会像这样全心全意投入这项研究的。 
已经过去五年多了。今天，很难想像当时我竟会感到那样害怕。计算机中情感的研究，已经为很多学术界和工业界顶级的研究实验室接受，并引起了国际上的重大关注。 自从这本书出版后，已经有20多个专题讨论会、会议以及特定集会，其主题均围绕情感和计算机运算，而且通常把情感计算列为一个学科领域。我不能、也不会对世界上这种改变自我居功。事实是，真理不依赖任何个人的努力而找到自己前进的道路。在追求它的过程中，我们在黑暗中苦苦探求、苦苦摸索，而不变的真理按自己的条件终于显露出来。试图理解情感就是试图认识事物的真实面目。最终，我们可以清楚地看到事物的原貌，理解人工智能和一切人类进程是如何进行的。
《情感计算》目录
绪论 
第一部分 情感计算预想 
第一章 情感是身体的和可认知的 
1.1 身体的和认知的
1.2 情感的身体方面：情感调整
1.3 情感的认知方面
1.4 情感诱导
1.5 小结
第二章 情感计算机 
2.1 情感的发展
2.2 能表达情感的计算机
2.3 “有”情感的计算机
2.4 情感智能系统
2.5 关于模仿和复制的说明
2.6 小结
第三章 情感计算的应用 
3.1 情感镜子
3.2 超越情感
3.3 文语转换
3.4 协助孤独症者
3.5 用户反馈
3.6 勇气要素
3.7 学习中的情感
3.8 “没有痛苦，就没有收获”
3.9 教室晴雨表
3.10 虚拟场景中的情感
3.11 音乐：听你所喜欢的
3.12 “快进到感兴趣部分”
3.13 知道你偏爱的智能体
3.14 学会什么时候去打断
3.15 闲聊
3.16 动画智能体的表情
3.17 观众表现
3.18 电影/视频
3.19 情感玩具
3.20 小结
第四章 潜在的忧虑 
4.1 接口方面的期待
4.2 幼稚的开端
4.3 人类的隐私
4.4 计算机的情感行为
4.5 小结
第二部分 构造情感计算 
第五章 情感信号与系统 
5.1 情感系统建模
5.2 情感和情绪的信号表示
5.3 生理信号
5.4 小结
第六章 情感的识别与表达 
6.1 情感模式特征表示的关键问题
6.2 情感建模
6.3 小结
第七章 情感合成 
第八章 情感可穿戴计算机 
总结 
参考文献
“情感计算”成为新兴研究领域
在较长一段时期内，情感一直位于认知科学研究者的视线以外。直到20世纪末期，情感作为认知过程重要组成部分的身份才得到了学术界的普遍认同。当代的认知科学家们把情感与知觉、学习、记忆、言语等经典认知过程相提并论，关于情感本身及情感与其他认知过程间相互作用的研究成为当代认知科学的研究热点，情感计算（ affective computing ）也成为一个新兴研究领域。
众所周知，人随时随地都会有喜怒哀乐等情感的起伏变化。那么在人与计算机交互过程中，计算机是否能够体会人的喜怒哀乐，并见机行事呢？情感计算研究就是试图创建一种能感知、识别和理解人的情感，并能针对人的情感做出智能、灵敏、友好反应的计算系统，即赋予计算机像人一样的观察、理解和生成各种情感特征的能力。 
目前情感计算研究面临的挑战还很多，例如，情感信息的获取与建模问题，情感识别与理解问题，情感表达问题，以及自然和谐的人性化和智能化的人机交互的实现问题。显然，为解决上述问题，我们需要知道人是如何感知环境的，人会产生什么样的情感和意图，人如何作出恰当的反应。而人类的情感交流是个非常复杂的过程，不仅受时间、地点、环境、人物对象和经历的影响，而且有表情、语言、动作或身体的接触。因此，在人和计算机的交互过程中，计算机需要捕捉关键信息，识别使用者的情感状态，觉察人的情感变化，利用有效的线索选择合适的使用者模型（依据使用者的操作方式、表情特点、态度喜好、认知风格、知识背景等构建的模型），并对使用者情感变化背后的意图形成预期，进而激活相应的数据库，及时主动地提供使用者需要的新信息。
情感计算研究的发展在很大程度上依赖于心理科学和认知科学对人的智能和情感研究取得新进展。心理学研究表明，情感是人与环境之间某种关系的维持或改变，当客观事物或情境与人的需要和愿望符合时会引起人积极肯定的情感，而不符合时则会引起人消极否定的情感。情感具有三种成分：主观体验（个体对不同情感状态的自我感受）、外部表现（在情感状态发生时身体各部分的动作量化形式，即表情）和生理唤醒（情感产生的生理反应）。从生物进化的角度我们可以把人的情绪分为基本情绪和复杂情绪。基本情绪是先天的，具有独立的神经生理机制、内部体验和外部表现，以及不同的适应功能。人有五种基本情绪，它们分别是当前目标取得进展时的快乐，自我保护的目标受到威胁时的焦虑，当前目标不能实现时的悲伤，当前目标受挫或遭遇阻碍时的愤怒，以及与味觉（味道）目标相违背的厌恶。而复杂情绪则是由基本情绪的不同组合派生出来的。
情感是一种内部的主观体验，但总是伴随着某种表情。表情包括面部表情（面部肌肉变化所组成的模式），姿态表情（身体其他部分的表情动作）和语调表情（言语的声调、节奏和速度等方面的变化）。这三种表情也被称为体语，构成了人类的非言语交往方式。面部表情不仅是人们常用的较自然的表现情感的方式，也是人们鉴别情感的主要标志。通过使用特定的仪器，我们可以对面部的微小表情变化进行研究，甚至可以区分真笑和假笑：人在真笑时面颊上升，眼周围的肌肉堆起，大脑左半球的电活动增加；而人在假笑时仅有嘴唇的肌肉活动，下颚下垂，大脑左半球的电活动不明显。脸部运动编码系统FACS通过不同编码和运动单元的组合，可以在脸部形成复杂的表情变化，其成果已经被应用于人脸表情的自动识别与合成。 
人的姿态即身体表情，一般伴随着交互过程而发生变化，并表达着一些信息。
语调表情是通过语音的高低、强弱、抑扬顿挫来表达说话人的情感。在人际交往中，语音是人们最直接的交流通道。
在情感计算研究中还可以使用很多种生理指标，例如，皮质醇水平，心率，血压，呼吸，皮肤电活动，掌汗，瞳孔直径，事件相关电位，脑电EEG等。研究发现，惊反射可用作测量情感愉悦度的生理指标，而皮肤电反应可用作测量情感生理唤醒程度的生理指标。
很显然，开展认知科学研究不仅仅是为了满足人类智慧上的好奇心，更重要的是服务于人类，提高人类的生活质量。情感计算有广泛的应用前景。计算机通过对人类的情感进行获取、分类、识别和响应，进而可以帮助使用者获得高效而又亲切的感觉，并有效减轻人们使用电脑的挫败感，甚至帮助人们理解自己和他人的情感世界。计算机的情感化设计能帮助我们增加使用设备的安全性，使经验人性化，使计算机作为媒介进行学习的功能达到最佳化。
情感计算是一个高度综合化的研究和技术领域。通过计算科学与心理科学、认知科学的结合，研究人与人交互、人与计算机交互过程中的情感特点，设计具有情感反馈的人与计算机的交互环境，将有可能实现人与计算机的情感交互。情感计算研究将不断加深对人的情感状态和机制的理解，并提高人与计算机界面的和谐性，即提高计算机感知情境，理解人的情感和意图，作出适当反应的能力。
人机交互中的“情感计算”
传统的人机交互，主要通过键盘、鼠标、屏幕等方式进行，只追求便利和准确，无法理解和适应人的情绪或心境。而如果缺乏这种情感理解和表达能力，就很难指望计算机具有类似人一样的智能，也很难期望人机交互做到真正的和谐与自然。由于人类之间的沟通与交流是自然而富有感情的，因此，在人机交互的过程中，人们也很自然地期望计算机具有情感能力。情感计算（Affective Computting）就是要赋予计算机类似于人一样的观察、理解和生成各种情感特征的能力，最终使计算机像人一样能进行自然、亲切和生动的交互。 
1、情感也可计算?有关人类情感的深入研究，早在19世纪末就进行了。然而，除了科幻小说当中，过去极少有人将“感情”和无生命的机器联系在一起。只有到了现代，随着数字信息技术的发展，人们才开始设想让机器（计算机）也具备“感情”。从感知信号中提取情感特征，分析人的情感与各种感知信号的关联，是国际上近几年刚刚兴起的研究方向（图1）。 
人的情绪与心境状态的变化总是伴随着某些生理特征或行为特征的起伏，它受到所处环境、文化背景、人的个性等一系列因素的影响。要让机器处理情感，我们首先必须探讨人与人之间的交互过程。那么人是如何表达情感，又如何精确地觉察到它们的呢？人们通过一系列的面部表情、肢体动作和语音来表达情感，又通过视觉、听觉、触觉来感知情感的变化。视觉察觉则主要通过面部表情、姿态来进行；语音、音乐则是主要的听觉途径；触觉则包括对爱抚、冲击、汗液分泌、心跳等现象的处理。 
情感计算研究的重点就在于通过各种传感器获取由人的情感所引起的生理及行为特征信号，建立“情感模型”，从而创建感知、识别和理解人类情感的能力，并能针对用户的情感做出智能、灵敏、友好反应的个人计算系统，缩短人机之间的距离，营造真正和谐的人机环境（图2）。 
2、音容笑貌电脑解“风情”情感计算是一个高度综合化的技术领域。到目前为止，有关研究已经在人脸表情、姿态分析、语音的情感识别和表达方面获得了一定的进展。 
3、脸部表情在生活中，人们很难保持一种僵硬的脸部表情，通过脸部表情来体现情感是人们常用的较自然的表现方式，其情感表现区域主要包括嘴、脸颊、眼睛、眉毛和前额等。人在表达情感时，只稍许改变一下面部的局部特征（譬如皱一下眉毛），便能反映一种心态。在1972年，著名的学者Ekman提出了脸部情感的表达方法（脸部运动编码系统FACS）。通过不同编码和运动单元的组合，即可以在脸部形成复杂的表情变化，譬如幸福、愤怒、悲伤等。该成果已经被大多数研究人员所接受，并被应用在人脸表情的自动识别与合成（图3）。 
随着计算机技术的飞速发展，为了满足通信的需要，人们进一步将人脸识别和合成的工作融入到通信编码中。最典型的便是MPEG4 V2视觉标准，其中定义了3个重要的参数集：人脸定义参数、人脸内插变换和人脸动画参数。表情参数中具体数值的大小代表人激动的程度，可以组合多种表情以模拟混合表情。 
在目前的人脸表情处理技术中，多侧重于对三维图像的更加细致的描述和建模。通常采用复杂的纹理和较细致的图形变换算法，达到生动的情感表达效果。在此基础上，不同的算法形成了不同水平的应用系统（图4，图5）
4、姿态变化人的姿态一般伴随着交互过程而发生变化，它们表达着一些信息。例如手势的加强通常反映一种强调的心态，身体某一部位不停地摆动，则通常具有情绪紧张的倾向。相对于语音和人脸表情变化来说，姿态变化的规律性较难获取，但由于人的姿态变化会使表述更加生动，因而人们依然对其表示了强烈的关注。 
科学家针对肢体运动，专门设计了一系列运动和身体信息捕获设备，例如运动捕获仪、数据手套、智能座椅等。国外一些著名的大学和跨国公司，例如麻省理工学院、IBM等则在这些设备的基础上构筑了智能空间。同时也有人将智能座椅应用于汽车的驾座上，用于动态监测驾驶人员的情绪状态，并提出适时警告。意大利的一些科学家还通过一系列的姿态分析，对办公室的工作人员进行情感自动分析，设计出更舒适的办公环境。
5、语音理解在人类的交互过程中，语音是人们最直接的交流通道，人们通过语音能够明显地感受到对方的情绪变化，例如通过特殊的语气词、语调发生变化等等。在人们通电话时，虽然彼此看不到，但能从语气中感觉到对方的情绪变化。例如同样一句话“你真行”，在运用不同语气时，可以使之成为一句赞赏的话，也可以使之成为讽刺或妒忌的话。 
目前，国际上对情感语音的研究主要侧重于情感的声学特征的分析这一方面。一般来说，语音中的情感特征往往通过语音韵律的变化表现出来。例如，当一个人发怒的时候，讲话的速率会变快，音量会变大，音调会变高等，同时一些音素特征（共振峰、声道截面函数等）也能反映情感的变化。中国科学院自动化研究所模式识别国家重点实验室的专家们针对语言中的焦点现象，首先提出了情感焦点生成模型。这为语音合成中情感状态的自动预测提供了依据，结合高质量的声学模型，使得情感语音合成和识别率先达到了实际应用水平。 
6、多模态的情感计算虽然人脸、姿态和语音等均能独立地表示一定的情感，但人在相互交流的过程中却总是通过上面信息的综合表现来进行的。所以，惟有实现多通道的人机界面，才是人与计算机最为自然的交互方式，它集自然语言、语音、手语、人脸、唇读、头势、体势等多种交流通道为一体，并对这些通道信息进行编码、压缩、集成和融合，集中处理图像、音频、视频、文本等多媒体信息。 
目前，多模态技术本身也正在成为人机交互的研究热点，而情感计算融合多模态处理技术，则可以实现情感的多特征融合，能够有力地提高情感计算的研究深度，并促使出现高质量、更和谐的人机交互系统。 
在多模态情感计算研究中，一个很重要的研究分支就是情感机器人和情感虚拟人的研究。美国麻省理工学院、日本东京科技大学、美国卡内基·梅隆大学均在此领域做出了较好的演示系统。目前中科院自动化所模式识别国家重点实验室已将情感处理融入到了他们已有的语音和人脸的多模态交互平台中，使其结合情感语音合成、人脸建模、视位模型等一系列前沿技术，构筑了栩栩如生的情感虚拟头像，并正在积极转向嵌入式平台和游戏平台等实际应用（图6）。 
7、情感计算与个性化服务随着情感计算研究的进一步深入，人们已经不仅仅满足于将其应用在简单的人机交互平台中，而要拓展到广泛的界面设计、心理分析、行为调查等各个方面，以提高服务的质量，并增加服务的个性化内容。在此基础上，有人开始专门进行情感智能体（Affective Agent）的研究，以期通过情感交互的行为模式，构筑一个能进行情感识别和生成的类生命体，并以这个模型代替传统计算中的有些应用模型中（例如电脑游戏的角色等），使电脑和应用程序更加鲜活起来，使之能够产生类似于人的一些行为或思维活动。这一研究还将从侧面上对人工智能的整体研究产生较大的推动作用。 
8、情感理解模型情感状态的识别和理解，则是赋予计算机理解情感并做出恰如其分反应的关键步骤。这个步骤通常包括从人的情感信息中提取用于识别的特征，例如从一张笑脸中辨别出眉毛等，接着让计算机学习这些特征以便日后能够准确地识别其情感。 
为了使计算机更好地完成情感识别任务，科学家已经对人类的情感状态进行了合理而清晰的分类，提出了几类基本情感。目前，在情感识别和理解的方法上运用了模式识别、人工智能、语音和图像技术的大量研究成果。例如：在情感语音的声学分析的基础上，运用线性统计方法和神经网络模型，实现了基于语音的情感识别原型；通过对面部运动区域进行编码，采用HMM等不同模型，建立了面部情感特征的识别方法；通过对人姿态和运动的分析，探索肢体运动的情感类别等等。 
不过，受到情感信息的捕获技术的影响，并缺乏大规模的情感数据资源，有关多特征融合的情感理解模型的研究还有待深入。随着未来的技术进展，还将提出更有效的机器学习机制。 　　
9、情感计算在日常生活情感计算与智能交互技术试图在人和计算机之间建立精确的自然交互方式，将会是计算技术向人类社会全面渗透的重要手段。未来随着技术的不断突破，情感计算的应用势在必行，其对未来日常生活的影响将是方方面面的，目前我们可以预见的有： 
情感计算将有效地改变过去计算机呆板的交互服务，提高人机交互的亲切性和准确性。一个拥有情感能力的计算机，能够对人类的情感进行获取、分类、识别和响应，进而帮助使用者获得高效而又亲切的感觉，并有效减轻人们使用电脑的挫败感，甚至帮助人们便于理解自己和他人的情感世界。 
它还能帮助我们增加使用设备的安全性（例如当采用此类技术的系统探测到司机精力不集中时可以及时改变车的状态和反应）、使经验人性化、使计算机作为媒介进行学习的功能达到最佳化，并从我们身上收集反馈信息。例如，一个研究项目在汽车中用电脑来测量驾车者感受到的压力水平，以帮助解决所谓驾驶者的“道路狂暴症”问题。 
情感计算和相关研究还能够给涉及电子商务领域的企业带来实惠。已经有研究显示，不同的图像可以唤起人类不同的情感。例如，蛇、蜘蛛和枪的图片能引起恐惧，而有大量美元现金和金块的图片则可以使人产生非常强烈的积极反应。如果购物网站和股票交易网站在设计时研究和考虑这些因素的意义，将对客流量的上升产生非常积极的影响。 
在信息家电和智能仪器中，增加自动感知人们的情绪状态的功能，可以提供更好的服务。 
在信息检索应用中，通过情感分析的概念解析功能，可以提高智能信息检索的精度和效率。 
在远程教育平台中，情感计算技术的应用能增加教学效果。 
利用多模式的情感交互技术，可以构筑更贴近人们生活的智能空间或虚拟场景等等。 
情感计算还能应用在机器人、智能玩具、游戏等相关产业中，以构筑更加拟人化的风格和更加逼真的场景。 　　
10、情感计算对认知科学此外，从认知科学的角度来看，情感反映了人们的心理状态，是人类思维活动最生动的体现。对人类情感机理的研究与探索一直是科学研究的重要方向，人类的智能不仅表现为正常的理性思维和逻辑推理能力，也应表现为正常的情感能力。情感计算理论通过计算机的分析和处理手段，将情感的研究从感性认知角度，上升为可计算模型，对在认知科学上探索大脑对信息的分析与处理的机理、进一步加深对大脑中情感概念的解析和理解将具有极其重要的科学意义。情感计算的研究是面向和谐的人机交互领域中不可或缺的重要内容，也是人工智能研究领域极具挑战性的课题。 　　
11、情感计算面临的挑战由于缺乏较大规模的情感数据资源，情感计算的发展受到一定的限制，而且多局限在语音、身体语言等具体而零散的研究领域，仅仅依靠这些还难以准确地推断和生成一个人的情感状态，并进行有效的情感交互。目前，科学家们正在积极地探索多特征融合的情感计算理论模型。很多人认为，今后几年情感计算将在这些方面需要取得突破： 
更加细致和准确的情感信息获取、描述及参数化建模。 
多模态的情感识别、理解和表达（图像、语音、生理特征等）。 
自然场景对生理和行为特征的影响。 
更加适用的机器学习算法。 
海量的情感数据资源库。 　　
12、国内的研究现状在国内，走在情感计算技术领域前列的中国科学院自动化研究所，正在为其模式识别国家重点室投入巨资，从美国引进运动捕获系统、三维扫描仪等设备和相关的软件，以加快情感计算技术的步伐，并通过各种平台向嵌入式终端、游戏平台、个性化网页服务等应用领域转化。 　　
13、情感计算的第一次学术会议不久前，为了推动我国在这一领域的研究，探讨情感计算和智能交互技术的发展动态与趋势，促进我国科研人员在此领域的交流与合作，中国科学院自动化研究所、中国自动化学会、中国计算机学会、中国图象图形学会、中国中文信息学会、国家自然科学基金委员会和国家863计划计算机软硬件技术主题作为主办单位，在北京主办了第一届中国情感计算与智能交互学术会议。
事实证明，情感计算的概念尽管诞生不久，但已受到学术界和产业界的高度重视，相关领域的研究和应用正方兴未艾，国家自然科学基金委也将其列入重点项目的指南中。值得注意的是，近几年来，与情感计算有密切关系的普适计算和可穿戴式计算机的研究也已获得了蓬勃发展，并同样得到了国家的大力支持。这为情感信息的实时获取提供了极大的便利条件，也为情感计算在国内的发展提供了更好的发展平台。
“情感计算”的相关研究
目前人工智能的研究发展已经达到了较高的水平，同时它的研究内容也在逐步扩展和延伸。对人的情感和认知的研究是人工智能的高级阶段，它的研究将会大大促进拟人控制理论、情感机器人、人性化的商品设计和市场开发等方面的进展，为最终营造一个人与人、人与机器和谐的社会环境做出贡献。心理学家认为，人工智能下一个重大突破性的发展可能来自与其说赋予机器更多的逻辑智能，倒不如说赋予计算机更多的情感智能。对人的情感和认知的研究是在人工智能理论框架下的一个质的进步。因为从广度上讲它扩展并包容了感情智能，从深度上讲感情智能在人类智能思维与反应中体现了一种更高层次的智能。对人的情感和认知的研究必将为计算机的未来应用展现一种全新的方向。在这个领域的研究中主要包括情感计算（Affective Computing）、人工心理（Artificail Psychology）和感性工学（Kansei Engineering）等。
人工心理理论是由中国北京科技大学教授、中国人工智能学会人工心理与人工情感专业委员会主任王志良教授提出的。他指出，人工心理就是利用信息科学的手段，对人的心理活动（着重是人的情感、意志、性格、创造）的更全面再一次人工机器（计算机、模型算法等）模拟，其目的在于从心理学广义层次上研究人工情感、情绪与认知、动机与情绪的人工机器实现的问题。
日本从上世纪九十年代就开始了感性工学（Kansei Engineering）的研究。所谓感性工学就是将感性与工程结合起来的技术，是在感性科学的基础上，通过分析人类的感性，把人的感性需要加入到商品设计、制造中去，它是一门从工程学的角度实现能给人类带来喜悦和满足的商品制造的技术科学[4]。日本已经形成举国研究感性工学的高潮。
欧盟国家也在积极地对情感信息处理技术（表情识别、情感信息测量、可穿戴计算等）进行研究。欧洲许多大学成立了情感与智能关系的研究小组。其中比较著名的有：日内瓦大学 Klaus Soberer领导的情绪研究实验室。布鲁塞尔自由大学的D. Canamero领导的情绪机器人研究小组以及英国伯明翰大学的A. Sloman领导的 Cognition and Affect Project。在市场应用方面，德国Mehrdad Jaladi-Soli等人在2001年提出了基于EMBASSI系统的多模型购物助手。EMBASSI是由德国教育及研究部（BMBF）资助并由20多个大学和公司共同参与的，以考虑消费者心理和环境需求为研究目标的网络型电子商务系统。
我国对人工情感和认知的理论和技术的研究始于20世纪90年代，大部分研究工作是针对人工情感单元理论与技术的实现。哈尔滨工业大学研究多功能感知机，主要包括表情识别、人脸识别、人脸检测与跟踪、手语识别、手语会成、表情合成、唇读等内容，并与海尔公司合作研究服务机器人。清华大学进行了基于人工情感的机器人控制体系结构的研究。北京交通大学进行多功能感知机和情感计算的融合研究。中国科学院自动比研究所主要研究基于生物特征的身份验证。
当前国际人工智能领域对人工情感合认知领域的研究日趋活跃。美国人工智能协会（AAAI）在1998，1999和2004年连续组织召开专业的学术会议对人工情感和认知进行研讨，国内的研究者也开展了许多的研究工作和学术活动。2003年12月在北京召开了第一届中国情感计算及智能交互学术大会。2005年10月在北京召开的第一届情感计算和智能交互国际学术会议，集合了世界一流的情感计算、人工情绪和人工心理研究的著名专家学者。这说明我国的人工情感和人工心理的研究在逐步展开并向国际水平看齐。
对情感计算的研究大致可以分为情感识别、情感建模和情感反应三大部分，这其中情感识别无疑是最基础，也是最重要的部分。
综上所述，对人的情感和认知的研究，包括对情感识别的研究，无论在理论上还是实践中都已经受到了研究者广泛的关注，对这一问题的研究具有重要的理论和应用价值。对这一问题的研究将最终推动人工智能的进一步发展，实现人机和谐的目标。
“情感计算”的基本内容
人们期盼着能拥有并使用更为人性化和智能化的计算机。在人机交互中，从人操作计算机，变为计算机辅助人；从人围着计算机转，变为计算机围着人转；计算机从认知型，变为直觉型。显然，为实现这些转变，人机交互中的计算机应具有情感能力。情感计算研究就是试图创建一种能感知、识别和理解人的情感，并能针对人的情感做出智能、灵敏、友好反应的计算系统。 
情感被用来表示各种不同的内心体验（如情绪、心境和偏好），情绪被用来表示非常短暂但强烈的内心体验，而心境或状态则被用来描述强度低但持久的内心体验。情感是人与环境之间某种关系的维持或改变，当客观事物或情境与人的需要和愿望符合时会引起人积极肯定的情感，而不符合时则会引起人消极否定的情感。
情感具有三种成分：⑴主观体验，即个体对不同情感状态的自我感受；⑵外部表现，即表情，在情感状态发生时身体各部分的动作量化形式。表情包括面部表情（面部肌肉变化所组成的模式）、姿态表情（身体其他部分的表情动作）和语调表情（言语的声调、节奏、速度等方面的变化）；⑶生理唤醒，即情感产生的生理反应，是一种生理的激活水平，具有不同的反应模式。
概括而言，情感的重要作用主要表现在四个方面：情感是人适应生存的心理工具，能激发心理活动和行为的动机，是心理活动的组织者，也是人际通信交流的重要手段。从生物进化的角度我们可以把人的情绪分为基本情绪和复杂情绪。基本情绪是先天的，具有独立的神经生理机制、内部体验和外部表现，以及不同的适应功能。人有五种基本情绪，它们分别是当前目标取得进展时的快乐，自我保护的目标受到威胁时的焦虑，当前目标不能实现时的悲伤，当前目标受挫或遭遇阻碍时的愤怒，以及与味觉（味道）目标相违背的厌恶。而复杂情绪则是由基本情绪的不同组合派生出来的。
情感测量包括对情感维度、表情和生理指标三种成分的测量。例如，我们要确定一个人的焦虑水平，可以使用问卷测量其主观感受，通过记录和分析面部肌肉活动测量其面部表情，并用血压计测量血压，对血液样本进行化验，检测血液中肾上腺素水平等。
确定情感维度对情感测量有重要意义，因为只有确定了情感维度，才能对情感体验做出较为准确的评估。情感维度具有两极性，例如，情感的激动性可分为激动和平静两极，激动指的是一种强烈的、外显的情感状态，而平静指的是一种平稳安静的情感状态。心理学的情感维度理论认为，几个维度组成的空间包括了人类所有的情感。但是，情感究竟是二维，三维，还是四维，研究者们并未达成共识。情感的二维理论认为，情感有两个重要维度：⑴愉悦度（也有人提出用趋近-逃避来代替愉悦度）；⑵激活度，即与情感状态相联系的机体能量的程度。研究发现，惊反射可用做测量愉悦度的生理指标，而皮肤电反应可用做测量唤醒度的生理指标。
在人机交互研究中已使用过很多种生理指标，例如，皮质醇水平、心率、血压、呼吸、皮肤电活动、掌汗、瞳孔直径、事件相关电位、脑电EEG等。生理指标的记录需要特定的设备和技术，在进行测量时，研究者有时很难分离各种混淆因素对所记录的生理指标的影响。情感计算研究的内容包括三维空间中动态情感信息的实时获取与建模，基于多模态和动态时序特征的情感识别与理解，及其信息融合的理论与方法，情感的自动生成理论及面向多模态的情感表达，以及基于生理和行为特征的大规模动态情感数据资源库的建立等。
欧洲和美国的各大信息技术实验室正加紧进行情感计算系统的研究。剑桥大学、麻省理工学院、飞利浦公司等通过实施“环境智能”、“环境识别”、“智能家庭”等科研项目来开辟这一领域。例如，麻省理工学院媒体实验室的情感计算小组研制的情感计算系统，通过记录人面部表情的摄像机和连接在人身体上的生物传感器来收集数据，然后由一个“情感助理”来调节程序以识别人的情感。如果你对电视讲座的一段内容表现出困惑，情感助理会重放该片段或者给予解释。麻省理工学院“氧工程”的研究人员和比利时IMEC的一个工作小组认为，开发出一种整合各种应用技术的“瑞士军刀”可能是提供移动情感计算服务的关键。而目前国内的情感计算研究重点在于，通过各种传感器获取由人的情感所引起的生理及行为特征信号，建立“情感模型”，从而创建个人情感计算系统。研究内容主要包括脸部表情处理、情感计算建模方法、情感语音处理、姿态处理、情感分析、自然人机界面、情感机器人等。
情境化是人机交互研究中的新热点。自然和谐的智能化的人机界面的沟通能力特征包括：⑴自然沟通：能看，能听，能说，能触摸；⑵主动沟通：有预期，会提问，并及时调整；⑶有效沟通：对情境的变化敏感，理解用户的情绪和意图，对不同用户、不同环境、不同任务给予不同反馈和支持。而实现这些特征在很大程度上依赖于心理科学和认知科学对人的智能和情感研究所取得的新进展。我们需要知道人是如何感知环境的，人会产生什么样的情感和意图，人如何做出恰当的反应，从而帮助计算机正确感知环境，理解用户的情感和意图，并做出合适反应。因此，人机界面的“智能”不仅应有高的认知智力，也应有高的情绪智力，从而有效地解决人机交互中的情境感知问题、情感与意图的产生与理解问题，以及反应应对问题。
显然，情感交流是一个复杂的过程，不仅受时间、地点、环境、人物对象和经历的影响，而且有表情、语言、动作或身体的接触。在人机交互中，计算机需要捕捉关键信息，觉察人的情感变化，形成预期，进行调整，并做出反应。例如，通过对不同类型的用户建模（例如，操作方式、表情特点、态度喜好、认知风格、知识背景等），以识别用户的情感状态，利用有效的线索选择合适的用户模型（例如，根据可能的用户模型主动提供相应有效信息的预期），并以适合当前类型用户的方式呈现信息（例如，呈现方式、操作方式、与知识背景有关的决策支持等）;在对当前的操作做出即时反馈的同时，还要对情感变化背后的意图形成新的预期，并激活相应的数据库，及时主动地提供用户需要的新信息。
情感计算是一个高度综合化的技术领域。通过计算科学与心理科学、认知科学的结合，研究人与人交互、人与计算机交互过程中的情感特点，设计具有情感反馈的人机交互环境，将有可能实现人与计算机的情感交互。迄今为止，有关研究已在人脸表情、姿态分析、语音的情感识别和表达方面取得了一定的进展。
目前情感计算研究面临的挑战仍是多方面的：⑴情感信息的获取与建模，例如，细致和准确的情感信息获取、描述及参数化建模，海量的情感数据资源库，多特征融合的情感计算理论模型；⑵情感识别与理解，例如，多模态的情感识别和理解；⑶情感表达，例如，多模态的情感表达（图像、语音、生理特征等），自然场景对生理和行为特征的影响；⑷自然和谐的人性化和智能化的人机交互的实现，例如，情感计算系统需要将大量广泛分布的数据整合，然后再以个性化的方式呈现给每个用户。
情感计算有广泛的应用前景。计算机通过对人类的情感进行获取、分类、识别和响应，进而帮助使用者获得高效而又亲切的感觉，并有效减轻人们使用电脑的挫败感，甚至帮助人们理解自己和他人的情感世界。计算机的情感化设计能帮助我们增加使用设备的安全性，使经验人性化，使计算机作为媒介进行学习的功能达到最佳化。在信息检索中，通过情感分析的概念解析功能，可以提高智能信息检索的精度和效率。
展望现代科技的潜力，我们预期在未来的世界中将可能会充满运作良好、操作容易、甚至具有情感特点的计算机。
“情感计算”的危机与哲学错误
综述目前的人工智能实际上只是人工认知，它是狭义的人工智能。知、情、意是人类三种基本的思维形式，那么广义的人工智能应该包括人工认知、人工情感和人工意志三个方面，因此要想由狭义的人工智能朝向广义的人工智能发展，就必须首先解决一系列有关情感的基本理论问题：什么是情感？情感的客观目的是什么？认知与情感到底有何区别？等等，而这些深层次的理论问题是当今的哲学、思维科学、生命科学和心理学等没能真正解决的。计算机的人工智能水平在经历了一段时间的突飞猛进之后，如今已经接近了它的理论上的发展极限，显然，不解决上述深层次的、哲学层面上的理论问题，不解决“人工智能”、“人工情感”和“情感计算”理论所存在的一系列严重的危机与哲学错误，要想研究真正意义的情感机器人是绝对不可能的。
“情感计算”理论的危机目前，计算机理论界所开展的针对各种生理指标方面的“情感计算”方法，主要存在如下危机根本无法解决：
1、要建立情感的识别系统和表达系统，就必须对情感的基本类型进行划分，以确立情感的基本模态。然而，情感的基本类型究竟应该根据什么原则和标准来划分，有何理论根据？
2、对于同一类型情感，无论是情感感受强度，还是情感表达强度和情感生理唤醒程度，都可以采用不同的生理指标进行计算和测量，究竟应该选用哪一个生理指标为主要尺度呢？
3、对于同一类型情感采用同一个生理指标进行测量和计算时，由于受到许多环境因素、人体其它生理因素和精神因素的影响，其测量值的差异性和波动性如何消除。
4、不同的情感类型所产生的不同生理指标之间往往没有通约性，那么，不同类型的情感之间如何进行相互比较和统一度量？
5、人的情感内容和感情方式是极为丰富的，各种情感之间相互渗透、相互作用、相互转化，往往有着相当复杂而且变化频繁的关系，那么对于情感的计算就需要真正天文数字般的情感数据资源库，还需要海量的计算模型与计算工作量，而人脑为何并不需要？
6、有些复杂而微妙的情感，如怀疑、犹豫、迷茫、怜悯、尴尬、自我表现等，其生理指标的变化往往极其微弱而且短暂，对于它们的计算和测量如何进行？
7、有些情感（如“对敌人的仇恨”与“对亲人的生气”）往往具有相同或相近的生理指标，但两者所表达的价值内涵往往相差很大，如何进行区别？
8、情感的感受强度和表达强度与各种生理指标的变化量度通常不是成线性函数关系，大部分都是呈非线性的、不连续的、模糊的、概率性的、波动的函数关系，因此采用生理指标的变化量来计算情感的感受强度和表达强度，如何消除其误差性和不确定性。
9、假如能够计算出人的情感感受强度、表达强度和生理唤醒程度，这些计算值又代表了什么样的客观价值意义？如何使电脑或机器人具有和谐、友好、灵活的人机界面？
总之，对于情感的感受强度、表达强度和生理唤醒指标的计算实际上只是对于情感的表面形式的计算，而不是对于情感的客观内容的计算，因此不可能实现真正意义的“情感计算”。
“情感计算”理论的哲学错误目前，“情感计算”理论中主要存在如下唯心主义和形而上学的哲学错误，必须进行深刻的反思：
1、唯心主义错误。目前的“情感计算”理论以唯心主义的观点来看待情感的哲学本质，把情感与它所对应的客观存在割裂开来，局限于在主观范畴内来分析情感现象与情感规律。唯心主义者常常把主观与客观割裂开来，它否认，任何主观意识都产生于客观存在，都是人脑对某一种客观存在的反映，那怕有时是一种不真实的、不正确的、不全面的、甚至是颠倒的反映；它不知道，要认识一种主观意识的哲学本质必须从它所反映的客观存在中找答案，要分析一种主观意识的变化规律性应该从它所反映的客观存在的规律性上着手；它不知道，情感作为人脑的一种主观心理活动，必然对应着某一种客观存在，必然是人脑对某一种客观存在的主观反映；它在分析情感现象与情感规律时，总是试图在“需要”、“欲望”、“体验”、“态度”等主观心理范畴内找答案，而不能从其所反应的客观存在中找答案。
2、形而上学的表面性错误。目前的“情感计算”理论以形而上学的表面性观点来看待情感的客观内容，混淆了情感的客观内容与其表现形式的本质区别，它认为情感计算的核心就是对情感所激发的生理指标的计算。形而上学的表面性观点总是倾向于从事物的表现形式（或外部现象）来认识事物。它否认，事物的表现形式与其客观内容有着本质的区别，事物的表现形式通常只能片面地、不准确地、不稳定地反映事物的客观内容；它总是把情感的表现形式当作情感的客观内容本身。
3、形而上学的孤立性错误。目前的“情感计算”理论以形而上学的孤立性观点来看待情感的运行程序，把情感与认知及意志割裂开来，认为情感是独立运行的，与人的认知过程和意志过程无关。形而上学的孤立性观点总是倾向于根据事物本身的运动与变化情况来认识该事物，而不是根据事物与其它事物的相互联系与相互影响上来认识该事物。他们只看到了情感对于人的活动的影响与制约作用，往往看不到情感与认知、意志的相互联系与相互影响。
人为了生存和发展就必须首先感知和了解各种事物的事实关系，其次要掌握这些事物对于人的价值关系，第三要掌握人的每个反作用于这些事物的生产行为或生活行为的价值关系，并且判断、选择、组织和实施一个最佳的行动方案。第一步由认知活动来完成，第二步由情感活动来完成，第三步由意志活动来完成，因此从认知到情感，再从情感到意志，是一条基本的、不可分割的人类自控行为的流水线。
由此看来，仅仅进行狭义的、孤立的情感计算，仍然不能解决人的心智活动的全部计算问题，还需要实施对意志的计算，并实施对知情意的交互计算。由于意志是一种特殊情感，因此意志计算以及知情意的交互计算都是广义的情感计算。
4、形而上学的片面性错误。目前的“情感计算”理论以形而上学的片面性观点看待情感的客观目的，认为 “情感计算”的研究主要是基于两个现实目的：一是建立和谐的人机交互环境，使计算机或机器人具有良好的人机界面，以降低使用者的劳动强度，提高使用者的工作效率，解放人的双手；二是制作可穿戴式的计算机，以替代、补偿与增强人的辅助感知功能和行为功能，特别是帮助提高残疾人的感知功能和行为功能。
情感计算的客观本质
综述情感属于主观意识的范畴，情感的表现形式具有高度的主观随意性、变化随机性、特征模糊性和个体差异性，仅仅从情感的表现形式上来分析情感在识别、理解、表达过程中的客观规律性，是根本无法实现的梦想。只有跳出主观意识的范围，到客观存在的范围去探索，才能真正找到情感在识别、理解、表达过程中的客观规律性。
辩证唯物主义认为，任何形式的主观意识都是对某一客观存在的反映，情感是人对于事物价值关系的一种主观反映，即情感所对应的客观存在就是事物的价值关系。显然，价值属于客观存在的范畴，一般来说，事物的价值关系具有高度的客观现实性、变化必然性、特征确定性和个体共性。只有透过情感表现形式的神秘面纱，才能真正科学地、全面地、准确地和深刻地发现情感所代表的价值关系在识别、理解和表达过程中的客观规律性。
情感表达的客观本质人的情感表达最初来源于人对于所接触的价值事物的生理反应的一种自然流露。人的情感一旦产生，它将唤起各种生理反应如呼吸反应、心脏反应、血管反应、肠胃反应、内分泌反应、外分泌反应等，并通过皮肤电压、血压、心跳、腺体分泌等生理指标自发地表现出来，它们大部分属于无条件反射，意志对它们的调节和控制作用是非常有限的。这些生理反应的客观目的在于：一方面使人能够在事前形成必要的生理、行为和精神方面的预准备状态，另一方面使人能够在事中正确地引导生理、行为和精神活动，三方面使人能够在事后对价值关系的变动情况作出正确的结论，并及时地总结经验、吸取教训，为下一个同类事物的出现形成必要的预准备状态。
情感识别的客观本质人在进行生产活动和社会交往过程中，为了更好地进行分工合作，就必须及时地、准确地了解彼此之间的价值关系，主要包括三方面的内容：对方所处的价值关系（能力、职业、身体状况、社会地位等）；对方对于同一事物的态度（赞成、反对、中立等）；对方对于自己及相关事物的态度（喜欢、讨厌）；等等。
总之，情感表达的客观本质就是人为了向他人展现自身的价值关系，情感识别的客观本质或客观动机就是人为了了解和掌握对方的价值关系，因此真正科学的、全面的、准确的和深刻的情感计算必须建立在价值计算的基础之上，“情感计算”的客观本质就是“价值计算”。
情感计算的理论框架
综述情感的产生与运行是一个非常复杂的过程，情感计算必须建立在科学的情感理论的基础之上，才是现实的，没有一个全新的科学的情感理论作指导，要研发真正意义上的情感机器人是不可能的。这种全新的情感理论必须突破心理学的局限，也必须突破社会科学的局限，成为一门独立的、横跨自然科学与社会科学的交叉性科学理论，其根本目的在于：情感数字化。这种全新的情感理论就是“数理情感学”，它以“统一价值论”为理论前提，采用数理逻辑方法分析情感现象与情感规律的科学。
归纳起来，“统一价值论”与“数理情感学”主要通过如下步骤共同完成情感机器人的理论框架。
实现所有不同价值的统一度量①改造物理学的“耗散结构论”，从物理学角度定义“价值”概念（即广义有序化能量），使价值理论建立在自然科学的基础之上；②实现生活资料使用价值的统一度量；然后，实现劳动价值的统一度量；③实现生产资料使用价值的统一度量。这样一来，所有价值都有着统一、明确而稳定的度量标准或度量尺度：能量尺度（焦耳）。
推导出“广义价值规律”①由“最大有序化法则”推导出“最大价值率法则”（价值率就是单位时间内产出价值与投入价值的比值，在经济领域，价值率就是利润率）； ②由“最大价值率法则” 推导出“选择倾向性法则”或“中值价值率法则”； ③由“中值价值率法则” 推导出“广义价值规律”。广义价值规律的基本内涵就是：事物的价值率不断趋近于主体的中值价值率。或者说，事物的价值率高差（即事物的价值率与主体的中值价值率之差）不断趋于零。
揭示认知、情感与意志的哲学本质及相互关系①知（认知）、情（情感）、意（意志）是人类心理活动的三种基本形式，分别是对事实关系、价值关系和自身行为关系的一种主观反映；②价值关系是一种特殊的事实关系，自身行为关系是一种特殊的价值关系，因此，情感是一种特殊的认知，意志又是一种特殊的情感； ③认知主要是关于“是如何”的认识，情感主要是关于“应如何”的认识，意志主要是关于“怎么办”的认识；④情感以认知为基础，认知以情感为导向，意志以情感为基础，情感以意志为导向。
建立情感的数学模型①情感与价值观的哲学本质都是“人脑对于事物价值特性的一种主观反映”，其中，情感是对事物价值特性的间接性和相对性反映，而价值观是对事物价值特性的直接性和绝对性反映；②价值观的客观目的在于识别“事物的价值率”，可以采用所有不同事物的价值率所组成的数学矩阵来描述一个人的价值观系统（即W={ωi×j}m×n）；③情感的客观目的在于识别“事物的价值率高差”，可以采用所有不同事物的价值率高差所组成的数学矩阵来描述一个人的情感系统（即M={μi×j}m×n）；④情感矩阵与相应的作用系数矩阵一起，可以进行交集运算与并集运算；⑤情感系统中的每个情感元素又可以由若干个情感子元素所组成的情感矩阵来构成，从而构成二维和多维的情感矩阵。
建立意志的数学模型①意志的哲学本质都是“人脑对于自身行为价值特性的一种主观反映”；②意志的客观目的在于识别和处理“自身行为的价值率”，可以采用所有不同行为方式的价值率高差所组成的数学矩阵来描述一个人的意志系统（即X={xi×j}m×n）；③意志矩阵与相应的作用系数矩阵一起，可以进行交集运算与并集运算；④意志系统中的每个意志元素又可以由若干个意志子元素所组成的意志矩阵来构成，从而构成二维和多维的意志矩阵，即超复杂行为的意志由若干复杂行为的意志矩阵所组成，复杂行为的意志又由若干简单行为的意志矩阵所组成，简单行为的意志由若干本能行为的意志矩阵所组成。
阐述情感运行的内在逻辑程序①情感表达的逻辑程序大致是：接收事物的刺激信号，提取该事物的价值观，比较人自身的中值价值率，确定情感的强度与方向，选择情感表达模式，接收和处理情感表达所产生的反馈信号；②情感识别的逻辑程序大致是：接收事物的刺激信号，检测和提取特征参数，比较情感模式，产生情感反映，存储情感信息到情感矩阵之中；③情感计算的逻辑程序大致是：将事物的价值率高差“对数转换”为情感强度，对情感强度进行交集、并集运算，产生新的情感强度，将情感强度“指数还原”为新事物的价值率高差；④情感修正的逻辑程序大致是：人通过感觉与思维，了解到某事物的实际价值率高差，与大脑中情感矩阵所记忆该事物的主观价值率高差，存在一定的差异，人就会修正对于该事物的情感强度。
阐述意志运行的内在逻辑程序①意志表达（即行为实施）的逻辑程序大致是：接收某种价值目标事物的刺激信号，提取能够最有效实现该价值目标的多种相关行为的主观价值率（即行为价值观），比较自身的中值价值率，确定多种相关行为的意志强度与意志方向，选取具有最大意志强度的相关行为，并组织实施该相关行为。②意志计算（即行为设计）的逻辑程序大致是：确立价值目标（根据自身生存与发展的需要），设计整体方案（按照最大价值率法则，把超复杂行为分解为若干个复杂行为，并通过意志的并集运算与交集运算，计算出该超复杂行为的意志强度），制定实施细则（按照最大价值率法则，把复杂行为分解为若干个简单行为，并通过意志的并集运算与交集运算，计算出该复杂行为的意志强度），落实具体行为（按照最大价值率法则，把简单行为分解为若干个本能行为，并通过意志的并集运算与交集运算，计算出该简单行为的意志强度），将上述各个层次的意志强度“指数还原”为相应的行为价值率高差。③意志修正的逻辑程序大致是：人通过感觉与思维，了解到某行为的实际价值率高差，与大脑中意志矩阵所记忆该行为的主观价值率高差，存在一定的差异，人就会修正对于该事物的意志强度。
设立情感与意志的调控机制①建立各种情感模式与价值变化的对应关系，并根据实际需要，设置与调控各种情感模式；②推导出“情感强度第一定律”（即情感强度与事物的价值率高差的对数成正比，μ=Kmlog（1+ΔP）），并根据实际需要，设置与调控情感的强度系数；③对情感“八大动力特性”（强度性、稳定性、细致性、层次性、效能性、周期性、时序性与差异性）进行精确定义，并根据实际需要，设置与调控情感的动力特性；④对意志的“八大动力特性”进行精确定义，并根据实际需要，设置与调控意志的动力特性。情感调控的客观目的就是为了使情感的动力特性与主体所处的价值关系的变化特性相适应。意志调控的客观目的就是为了使意志的动力特性与主体各种行为价值关系的变化特性相适应。
主要参考文献
①仇德辉著，《统一价值论》，中国科学技术出版社，1998年。
②仇德辉著，《数理情感学》，湖南人民出版社，2001年。