情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1A-10
2020/3/9

Emotion FX：動画内の顔の感情をリアルタイムに強調する
CG エフェクト自動生成アプリケーション
横山大希†1

児玉幸子†1

概要：近年，画像加工アプリケーションが開発されているが，それらは人の感情に対応するものではなく，その強調に焦点を当てたものではない．本研究では，CG エフェクトによる感情の強調を目的に，FaceAPI の感情認識機能とUnity を用いて動画内の顔の感情を読み取り，リアルタイムに強調する CG エフェクトを生成するアプリケーション「Emotion FX」を開発する．実際にそのアプリケーションを使用して，アンケートによる評価実験を行った結果，複数の感情の強調を確認することができた．この手法を展開することで，CG エフェクトによる動画内の人物の顔の表情の感情強調とそれを利用した様々なコンテンツの制作が可能となる．

を利用する．人物の顔画像から感情を読み取り[7]，読み取

1. 研究の目的および背景った感情を強調する CG エフェクトを自動生成する手法を本研究では，動画内の顔の感情を画像認識して感情を強アプリケーション内に構築する．その後，感情の強調がう調する CG エフェクトをリアルタイムに付与するアプリケ

まくいったか，アンケート調査による評価実験を行う．

ーション「Emotion FX」を開発する．一般的に日本人は，本研究で利用した FaceAPI の感情認識は，機能によって感情や自己を表現することが不得意であると言われている

anger（怒り），contempt（軽蔑），disgust（嫌悪），fear（恐[1]．CG エフェクトによって感情を強調することで，より分かりやすく感情を伝えられると期待できる．
先行作品として，動画内の顔の認識を行い，仮装用の CG怖），happiness（喜び），neutral（中立），sadness（悲しみ），surprise（驚き）の 8 つの感情を検出できるものとなっている（以後，基本感情とする）．これらの感情は文化が異なっを顔に重ね合わせて表示する「Happy Halloween!」[2]，画像ても特定の感情を伴って広く交わされると理解されている．

認識により顔画像を加工する「SNOW」[3]，感情を記録す

本研究では，基本感情を 2 つ以上組み合わせた複雑な感ることができる「Emol」[4]を挙げられる．感情値を使用し情（以後，混合感情とする）を演出する CG エフェクトのたグラフィック表現に関する研究も多く存在する．Chia-生成も目指した．

Yin らは FaceReader でグラフィックを見る人物の感情を分析し，感情とグラフィックスタイルの関係を調査した[5]．
また，中村らは感情値からその感情に対応する文字のフォント生成を行なった[6]．

2.2 システム概要
図 1 にシステム概要を示す．Unity から FaceAPI を呼び出し，WEB カメラの映像を画像として切り取り，その画像

これらの先行作品や研究は，人物の感情に焦点を当てたに対して感情認識機能を用いる．感情はパラメータとしてものではなく，動画内の顔の感情を読み取り，感情を強調検出され，怒り，軽蔑，嫌悪感，恐怖，喜び，中立，悲しする CG エフェクトを生成する機能は存在しない．そこで

み，驚きの 8 つの感情値の合計が 1 になるように表示され本研究では，動画内の顔の感情を検出し，リアルタイムにる（以後，感情値とする）．画像は 5 秒ごとに読み込み，そ強調する CG エフェクトを生成するアプリケーション「Emotion FX」の開発を行うこととした．の都度感情に合わせた CG エフェクトを付与する．
CG エフェクトは，感情値を検出した際にその値に応じてリアルタイムに生成する CG エフェクトを動画像の上に2. Emotion FX の開発重ねて表示させる．8 つの基本感情，⒓の混合感情に対応する CG エフェクトを作成した．

2.1 コンセプト
Emotion FX は，FaceAPI を使用して動画内のユーザーの顔の感情を認識し，CG エフェクトをリアルタイムに付与することで感情を強調する PC アプリケーションである．
アプリケーションは Unity で開発した．
感情の認識には，Microsoft 社 MicrosoftAzure 内に含まれる Cognitive Services の 1 つである FaceAPI の感情認識機能†1 電気通信大学大学院

情報理工学研究科

図 1：システム概要情報学専攻© 2020 Information Processing Society of Japan218

情報処理学会 インタラクション 2020
IPSJ Interaction 20202.3 ＣＧエフェクト生成に利用した感情分類法

1A-10
2020/3/9「Plutchik の感情の輪」の対極にある喜びと悲しみ，恐怖とWundt は感情をカテゴリに分類するのではなく，快-不快，怒りの混合感情は存在しないと仮定し，自尊心（怒り＋喜興奮-沈静，緊張-弛緩の 3 次元モデルによって記述した[8]．

び），悲憤（怒り＋悲しみ），憎悪（怒り＋驚き），恥辱（嫌Ekman は，顔の表情として驚き，怒り，嫌悪，幸福，悲し悪＋恐怖），不健全（嫌悪＋喜び），後悔（嫌悪＋悲しみ），み，恐怖の 6 種類があるとし，それらを普遍的な感情とし憤慨（嫌悪＋驚き），罪悪感（恐怖＋喜び），絶望（恐怖＋た[9] このように，感情は様々な方法で分類されてきたが，悲しみ），畏怖（恐怖＋驚き），感動（喜び＋驚き），拒絶（悲本研究では，2 つ以上の感情を含めた複雑な感情も取り扱

しみ＋驚き）の 12 種類を作成した．リアルタイムに生成さうため，全ての感情を基本感情の合成として扱う Robertれるグラフィックには，感情値のデータを感情強調に反映

Plutchik が提示した「Plutchik の感情の輪」に基づく手法でできるようなアルゴリズムを導入した．特定の感情値が分類した[10]．Plutchik によると，人間の感情は色相環で分50%以上なら該当する感情の CG エフェクトを表示し，異類できる．joy（喜び），trust（信頼），fear（恐怖），surpriseなる 2 つの感情値が共に 30%以上なら 2 つの感情の合成で（驚き），sadness（悲しみ），disgust（嫌悪），anger（怒り），ある混合感情の CG エフェクトを表示する．なお，中立とanticipation（期待）から成る 8 つの基本感情と，optimismの混合感情は存在しないものと見なす．
（図 3）また，現在（楽観），love（愛），submission（服従），awe（畏怖），は実装できていないが，感情値の大きさの増減によってdisapproval（拒絶），remorse（後悔），contempt（軽蔑），CG エフェクトの形状や大きさ，色を変化させることを検

aggressiveness（攻撃性）などの隣り合う 2 つの基本感情を討している．例えば，怒りの場合，怒りの感情値が 100％組み合わせてできた混合感情から成り立つ．また，感情にに近づくほど炎がより大きく，激しく燃え盛り，赤色の彩は強度差があり，色の濃淡でその強さを表すことができる．

度が増すようにする．

従って，中央に向かうほど強くはっきりした感情になる．
この色相環を参考に，CG エフェクトの色を決めた．
また，宗近は，遺伝的アルゴリズムによるパターン認識を検索に利用した感情モデルを提案した [11]．宗近は，「Plutchik の感情の輪」の基本感情を色々な結合の仕方によって混合感情が出来上がると仮定し，感情の輪の隣り合う基本感情の組み合わせ，1 つおきの基本感情の組み合わせ，2 つおきの基本感情の組み合わせでそれぞれ混合感情を定義した．本研究における混合感情の名前は宗近の定義したものに合わせるものとした．
図 2：感情を強調するための CG エフェクト
2.4 CG エフェクトのデザイン
本研究では，感情を強調する CG エフェクトのグラフィ
ックは，色に関しては Plutchik の分類を援用し，エフェク
トのパターンや形状に関しては開発者自身の直感により決定した．例えば，怒りの感情の強調には，一般に，コミック等で人物の怒りの感情を表現する際，燃え盛る炎や怒筋がよく使われており，炎が出ることで自然に怒りを感じるため，赤く燃え盛る炎を顔の下部に表示するようにした．
そのように感情を表すエフェクトとして開発者にとって自然と感じられる内容でデザインしたグラフィックの一覧を
図 2 に示す．
基本感情の CG エフェクトは，FaceAPI で認識できる怒り，軽蔑，嫌悪感，恐怖，喜び，中立，悲しみ，驚きの 8 つについて作成した．
「Plutchik の感情の輪」では，軽蔑は怒り と 嫌悪 の 組 み 合 わさ っ た 混 合 感情 の こ と を 指す が ，FaceAPI では個別にパラメータが検出できるようになっており，Emotion FX でも基本感情の 1 つとして扱う．
混合感情は FaceAPI で認識できる 8 つの感情のいずれか

図 3：作成した CG エフェクトの例

2 つを組み合わせた感情である．宗近の定義に基づき，（上：喜び，下：悲憤）© 2020 Information Processing Society of Japan219

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1A-10
2020/3/9

3. 感情に対する CG エフェクトの効果に関するアンケート実験
10～40 代の男女 23 人に対して，全ての感情のエフェク
トの形，色が合っているか，感情強調ができているかに対する 5 段階評価，最も当てはまる色に関するアンケートを行った．アンケート内容を表 1，表 2 に示す．5 段階評価は数字が大きいほど評価が高いものし，色のアンケートは当てはまる色を選択させた．アンケート内に当てはまる色が無い場合は欄外に記入してもらった．

質問内容

評価
2345

怒りの感情と色が合っている

12345

怒りの感情が強調されている

12345

表 2：最も感情に当てはまる色のアンケート（怒りの例）
色緑水青紫合感情であるが，怒りの感情値と似た結果だった．このことについて，FaceAPI の情報処理に踏み込んでグラフィッ
ク内容の検討を進める必要がある．アンケートの自由感想として，感情を表現するための表情のトレーニングに使えるという意見もあった．

今回の実験では WEB カメラによって 5 秒ごとに撮影し1黄で解決したいと考えている．また，憤慨は嫌悪と驚きの混た静止画内の顔画像の感情を強調したが，今後は動画内の怒りの感情と形が合っている

怒りを演出していると感じられるグラフィックを検討すること

4.2 今後の課題

表 1：5 段階評価のアンケート（怒りの例）

感情を別の適切な言葉に置き換え，より多くの人にとって感情

赤橙白黒

アンケート実験結果として，5 段階評価の平均値を図 4に記す．

人物の感情に対応した CG エフェクト動画に重ねて表示することを行う．また，リアルタイムで変化する CG エフェ
クトにより，Skype 等のビデオチャットツールで感情を強調することが期待できる．うつり変わる感情値の大きさに
よってエフェクトの形状や表現，大きさを変化させることにより，アプリケーションのユーザーの感情の起伏，変化が分かりやすくなるのではないかと考える．
また，今回は直感的に CG エフェクトをデザインする方法をとったため，デザインに統一感がなく，クオリティに明確な差が存在した．このまま動画に対応させると CG エフェクトの切り替え時に極度の違和感が生じる可能性がある．半自動的に CG エフェクトを違和感なく付与する方法の 1 つとして，全ての CG エフェクトのデザインのスタイルに統一感をもたせ，感情値に応じて色と形状を変化させていくことが挙げられるが，感情の変化を強調するには演出上の刺激が弱くなる可能性もある．動画内の顔の感情を演出するグラフィックとして適切かつ新規性のある手法を検討・実装していくことを今後の課題とする．

参考文献

図 4：アンケート結果

4. 結論
4.1 考察感情強調に関して，怒り，喜び，悲しみ，驚きの基本感
情 4 つと悲憤，憎悪，後悔，憤慨，感動，拒絶の混合感情
6 つの合計 10 個の感情については，強調の成功が概ね確認できた．残りの感情（中立，罪悪感等）は抽象的であり，グラフィックによる強調表現を直感的に行うことが難しく，強調の度合いが低くなってしまったと考えられる．これら© 2020 Information Processing Society of Japan

[1] 李盛熟：日本人のアサーションにおける熟慮的自己表現，金城大学院人間生活学研究科論集 Vol.18，pp.25-34，（2018）[2] 真鍋大度，比嘉了：”Happy Halloween!”
https://www.daito.ws/weblog/2011/10/happy_halloween_.html[3] SNOW: “SNOW” https://snow.me/[4] Eaze: “Emol” http://emol.jp/[5] Chia-Yin Yua, Chih-Hsiang Ko: Applying FaceReader to Recognize
Consumer Emotions in Graphic Styles, Procedia CIRP, Vol.60,pp.104-109,（2017）[6] 中村充志，瀧澤生，星泰成，綱島秀樹，陳キュウ: 画像の感性を反映させたフォントの自動生成手法，日本感性工学会論
文誌 Vol.17 No.5 pp.523-529（2018）[7] Microsoft Azure: “Face API”
https://azure.microsoft.com/jajp/services/cognitive-services/face/[8] Wilhelm Naximilian Wundt: Outlines of psychology, tr. C. H. Judd,
Wilhelm Engelmann,（1897）[9] Paul Ekman: Emotion in the human face, Cambridge University
Press, （1982）[10] Robert Plutchik: The Nature of Emotions, American Scientist,
Vo.l89, pp.344-350,（2001）[11] 宗近孝吉: GA を用いた感情識別モデル, 山口大学工学部研究報告第 53 巻第一号, Vol.53 No.1 pp.85-90（2002）

220