情感计算

情感計算（英語：Affective computing，亦作人工情感智慧，英語：artificial emotional intelligence，或情感AI，英語：emotion AI）是一個跨學科領域，涉及計算機科學、 心理學和認知科學，旨在研發能夠識別、解釋、處理、模擬人類情感的系統。雖然該學科最早可追溯至早期的哲學研究，即人們對情緒的剖析，但真正使其成為現代計算機科學分支的，則是1995年羅莎琳·皮卡德發表的關於情感計算的論文。人們研究情感計算很大程度上是為了能夠模擬共情——機器應該能夠解釋人類的情緒狀態，做出相適應的行為，對情緒給予恰當的回應。
文本情感分析（英語：sentiment analysis）和情感分析的區別在於，前者僅辨識詞語的情感極性，後者辨識人類的不同情緒。

分類模型

中國自古代就有「喜、怒、哀、懼、愛、惡、欲」的「七情」說法，這便是情緒分類模型的一個例子。情緒的正確分類是心理學上歷來的爭議話題，現代心理學中對此大致有兩種觀點，一種認為情緒可以被割裂地劃分為幾類，另一種認為大部分情緒本質相同，僅僅是程度上存在差異。持分類模型態度的心理學家大多贊成將情感分為基礎情感和複合情感。

檢測與識別情感信息

情感信息的檢測會從被動式傳感器開始，它能夠捕捉到用戶的生理狀態、行為表現方面的原始數據，這些數據和人類用以覺察他人情感的線索很相似。例如，攝像機可以捕捉面部表情、身體姿勢和手勢，麥克風則可以捕捉語音。一些傳感器還可以通過測量生理數據（如皮膚的溫度和電勢）來探測情感線索。
識別情感信息需要從收集的數據中提取有意義的模式，通常要用到多模態的機器學習技術（如語音識別、自然語言處理、面部表情檢測）。處理的結果要麼會被打上標籤，要麼會映射到「正負性—喚醒度（valence–arousal）」空間上的點。

機器中的情感

設計一種計算設備，使其能夠展現出天然的情感能力（或是至少令人信服地模擬出人類的情感），是情感計算的另一研究範圍。基於現有的技術能力，模擬對話機器人的情感是更具可行性的一種做法，以此來豐富並推動人與機器之間的互動。正如人類的情感和激素水平以及神經肽的波動息息相關，機器中的情感可能會與其自動學習過程的進展（或無進展）的抽象狀態相關聯。以此觀之，不論是人還是機器，情緒狀態與其學習系統的學習曲線對時間的導數（即「擾動」）相關。
人工智慧的先驅之一——馬文·閔斯基，在《情感機器》一書中將情感和機器智能這一更為廣泛的概念聯繫了起來。他說，情感「和我們稱之為『思考』的過程並沒有顯著差別」。

識別技術

這些方法有一個很重要的共同缺陷：它們只能從圖像中檢出一種情緒，也就是在應用了各種方法中勝出的那個情緒；但在日常生活中，我們總能從單一圖像中感知到不止一種情感。分類和連續模型都無法識別多種情感，因此對情感建模有一種新方法，即將一小部分類別的重疊視為一個新類別。有關這一主題的詳細研究請參見綜述《人類對面部表情情感的感知模型：研究現狀與展望（A model of the perception of facial expressions of emotion by humans: research overview and perspectives）》。
以下各節將介紹可用於情感識別的特徵。

語音情感

自主神經系統的各種變化可以對人的語音產生間接影響。情感技術可以利用這些信息來識別情感。例如，在恐懼、憤怒或歡樂的狀態下產生的言語會變得快速、大聲，更確切地說，音域會更寬更高；而在疲勞、無聊或悲傷等情緒下，語音傾向於變得緩慢、低沉與不清楚。 有些情感被證實更容易通過計算識別，如憤怒或贊同。
情感語音處理技術可以利用語音特徵的計算分析來識別用戶情緒狀態。模式識別技術可被應用於聲學參數和韻律特徵，例如音調高低和語速等。
語音分析可以高效地分析情感狀態，在最近的研究中達到了70%至80%的正確率。這一正確率已經超過了普通人識別精度的均值（大約60%），但是比生理學或面部識別方法的正確率要低。然而，由於大多語音特徵與文化或語義無關，研究者認為這是一個未來的研究前景方向。

資料庫

目前絕大多數的系統都是數據依賴的。選擇一個恰當的資料庫來訓練分類器因而成為語音情感識別的首要問題。目前擁有的大部分數據是從演員獲得的，都是一些典型的情緒表現。這些所謂的表演資料庫大多基於保羅·艾克曼的基礎情緒理論，其假設了六種基礎情緒的存在，即憤怒、害怕、厭惡、驚奇、愉快和哀傷，而其他情緒僅僅是前六者的組合。
另一方面，對現實生活應用來說，自然數據更受青睞。通過觀察並分析被試在自然情境下的行為，研究者可以建立自然情感的資料庫。最終，自然資料庫會幫助系統識別情境下的情緒，也可以用來發現交互的目標和結果。由於這類數據的自然性，可以真實自然地反映人機互動下的情感狀態，也就可以應用於現實生活中的系統實現。
儘管自然數據相比表演數據有更多優勢，然而自然數據難以獲得，情感密度也更低。由於環境噪聲的存在、被試與麥克風的距離較遠，自然情境下獲得的數據信號質量也因此更差。埃爾朗根-紐倫堡大學的AIBO情感資料庫（FAU Aibo Emotion Corpus for CEICES, CEICES: Combining Efforts for Improving Automatic Classification of Emotional User States）是建立自然情感資料庫的首次嘗試，其採集基於10—13歲兒童與索尼AIBO寵物機器人玩耍的真實情境。 同樣，在情感研究領域，建立任何一個標準資料庫，都需要提供評估方法，以比較不同情感識別系統的差異。

面部情感檢測

面部表情的檢測和處理可以利用隱馬爾可夫模型和人工神經網絡等方法，也可在多模態的檢測中將各種方法組合或交融起來（多模態，例如面部表情和語音韻律結合、面部表情和手勢結合、面部表情和語音與文本的多模態數據與元數據分析），以更加穩健地估計對象的情感狀態。

面部表情資料庫

建立情感資料庫極其困難和耗時，然而其又是識別人類情感的必要步驟。大多公開的情感資料庫僅包含擺拍的面部表情，在這樣的資料庫中，參與者會被要求擺出不同基礎情感的對應表情；而在自然表情資料庫中，面部表情是自發的。自然表情的發生需要選取恰當的刺激，這樣才能引起目標表情的豐富展示。其次，這個過程需要受過訓練的工作者為數據做標註，以實現資料庫的高度可靠。因為表情及其強度的感知本質上是主觀的，專家的標註對驗證而言是十分重要的。
研究者接觸到的資料庫可能包括以下三種：峰值表情（英語：peak expression image）資料庫、中性到峰值表情的圖像序列資料庫和打上了情感標註的視頻片段。被廣泛使用的開放表情資料庫有CK+和JAFFE。

身體姿態

身體姿態是檢測用戶的特定情緒狀態的有效手段，特別是與語音和臉部識別一起使用時。依動作的不同，身體姿態分為反射性的（如被問題問住時下意識的抬肩膀）、複雜與有意義的（如手語交流）等。在不藉助外物或環境的情況下，我們可以揮手、拍手或招手；藉助外物時，則可以指向、移動、觸碰和持握。計算機應該做到識別這些信息，以更有效地應用於人機互動。
身體姿態的檢測已經有了很多方法提出。 一些文獻將以下兩種識別途徑區別開來：基於三維模型的，和基於外觀的（英語：appearance-based）。前者將肢體關鍵部位的三維信息利用起來，以獲得若干重要參數，例如手掌位置和關節角度；後者則是直接利用圖像或視頻做解釋。手勢是身體姿態情感研究的一大集中領域，上文所提到的三維模型和外觀方法都有在此使用。

生理檢測

生理信號可用以檢測與分析情緒狀態，這些生理信號通常包括脈搏、心率、面部肌肉每分鐘收縮頻率等。這一研究領域仍處於相對起步的階段，但發展迅猛，並已經有實用的產品出現。常被用來分析情感的生理信號種類有血容量脈衝、皮膚電反應、面部肌電圖等。

概述

血容量脈衝（英語：blood volume pulse, BVP）通過光電容積描記法記錄，該方法可以檢測肢體末端的血流變化。 記錄峰值代表著心搏周期中血流被泵到肢體末端。當被試受到驚嚇或感到害怕時，他們往往會心跳加速，導致心率加快，從而在光電容積描記圖上可以清楚地看到波峰與波谷間的距離變小。被試平靜下來後，血液流回末端，心率回歸正常。

方法

在皮膚上照射紅外光，利用特製傳感器檢測光的反射量。由於紅外光被血液中的血紅蛋白吸收，反射光與BVP相關。

弊端

確保傳感器發射紅外光並確保檢測點始終在同一肢端上相當麻煩。尤其是被試需要伸展身體，也會因為使用電腦變化姿勢，這更為檢測增加了難度。影響血容量脈衝還有其他因素，例如被試覺得冷了或熱了，都會導致血液向肢體末端流動的狀態發生改變，而這與其情緒狀態無關。

面部肌電圖

面部肌電圖（肌電圖，英語：electromyography, EMG）可以用來檢測面部肌肉活動，放大肌纖維收縮的微小電流。面部表情和情緒關聯性極大，以下兩組肌肉是情感檢測的主要研究對象：皺眉肌（用來檢測負向情感效果最佳）和顴大肌（微笑時揚起嘴角用到的肌肉，用來檢測正向情感效果最佳）。

皮膚電反應

皮膚電反應（英語：galvanic skin response, GSR）是皮膚電導的度量，與皮膚的濕潤程度相關。由於汗腺分泌受神經系統控制，GSR同身體的喚醒度狀態有關。被試喚醒度越高，皮膚電導和GSR數值越大。
皮膚電的測量使用兩個氯化銀電極，將其貼置於皮膚表面並施加一個小電壓。電導由傳感器測定。為了減少不適感、減輕刺激，電極可以貼在腳上，以達到釋放雙手、允許被試操作滑鼠鍵盤的目的。

視覺審美

藝術和攝影世界中的美學指的是美的本質和欣賞原則，對美和其他審美特質的判斷是高度主觀的事情。賓夕法尼亞州立大學的一組計算機科學家，將自動評價圖像的審美特質視作機器學習的一大挑戰，他們將一個同行評級的在線照片分享網站作為數據源，從中抽取了特定的視覺特徵，可以作為圖像導致審美愉悅或不愉悅之間的差別。

人機互動與產品設計

正如人工智慧先驅馬文·閔斯基在其著作《心智社會》所指出的：「問題不在智能機器是否擁有情感，而是在機器有了智能之後怎樣可以沒有情感。」人與人之間的交流因科技的發展而越來越頻繁，但通訊過程本身是與機器打交道，而不是與人。在機器愈發智能的21世紀初期，人也越發不滿於機器在情感上的冰冷。與機器溝通過程更加友好的需求，使得情感計算在人機互動等領域存在著大量潛在應用。
情感計算可以提升人機互動中的用戶體驗，例如情感鏡子讓用戶看到自己如何表現情緒、情感監控機器人會在發送憤怒的電子郵件之前發出警告、音樂播放器可以根據情緒選擇曲目。
可處理情感信息的機器人系統在不確定或複雜的環境中展現出了高度的靈活性。陪伴性設備，比如電子寵物可利用情感計算能力提升真實感並帶來更高的自主性。社交機器人，以及越來越多的被用於醫療的機器人，因為能夠識別情感，可以更好地判斷用戶或患者的情緒狀態，以及時對自身的行為或程序做出調整。在老齡化和缺乏年輕醫療工作者的國家，這些應用可以解決很多社會問題。
在電子學習應用中，情感計算可以用來發現學習者厭倦、感興趣、沮喪或高興的情況，以調整計算機中教師的教學風格與節奏。 
羅馬尼亞研究人員Nicu Sebe博士在採訪中提出了一個想法，即分析使用某種產品時（原話以冰淇淋為例）一個人的面部表情。企業可以通過這類分析來推斷他們的產品是否會被相應的市場所接受。人們可以利用實時視頻記錄被試者的面部表情，使用情緒狀態識別，來判斷電視廣告的有效性。綜合考慮從大量被試者身上獲得的結果，就可以判斷該廣告（或電影）是否具有預期的效果，以及觀眾最感興趣的要素是什麼。

電子遊戲

情感型電子遊戲可以通過生物反饋設備獲取玩家的情緒狀態。有一些簡單的生物反饋形式，例如通過測量遊戲手柄按鈕按壓的壓力，可以獲知玩家的喚醒度水平，二者已被證明具有很強的相關性。另一方面的應用是腦機接口。情感遊戲已被用於醫學研究，以改善自閉症兒童的情感發展。

安全與醫療

情感計算也可以應用於社會監督，改善社會治安、改善居民幸福感。配有情感計算裝置的汽車可以監測駕駛者和乘客的情緒狀態，採取相應的安全措施。舉例來說，可以在檢測到駕駛者生氣時做出善意的提醒，以規避事故的發生。
情感計算也被應用於開發自閉症患者與外界交流的技術。心理諮詢在確定患者情感狀態時也可從情感計算中受益。

認知主義與交互方法之爭

在人機互動領域，羅莎琳·皮卡德所倡導的認知主義或「信息模型（英語：information model）」情感概念受到了實用主義者的批評，後者篤信「後認知主義（英語：post-cognitivist）」或「交互方法（英語：interactional）」，其代表人有柯爾斯頓·伯納（Kirsten Boehner）等，他們認為情感本質上是社會性的。
皮卡德專注於人機互動，她對情感計算的目標是「讓計算機認知與表達情感，甚至在某些場合下『擁有』情感」。 相比之下，交互方法尋求「讓人們理解與體驗自身情感」 ，增進以計算機為中介的人際交往，而並不一定要求得情感向客觀數學模型的映射，來便於機器理解；情感計算應當讓人類暢通無阻地理解彼此的情感，而這些情感信息往往會是歧義的、主觀的或上下文敏感的。
皮卡德的批評者將她的情感概念描述為「客觀的、內部的、個人的和機械的」。 他們認為這將情緒降格成可測量的離散生理信號，而生理信號實際上只是認知的輸入。情緒體驗的複雜性則被忽視了。
交互方法認為，雖然情感具有生物物理性，但它是「以文化為基的、動態體驗的、某種程度上是行為和交互中構建的」。換言之，交互方法認為「情感是通過交互體驗到的社會與文化產物」。