情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3B12
2021/3/10

ExPression: 抽象的なグラフィックスを用いた感情可視化手法の提案と分析
宮脇亮輔†1, a)

外村佳伸†2, b)

概要：感情は日常生活において切り離すことのできない要素である．とくに他者とのコミュニケーションにおいて，感情は重要なシグナルである．本研究では，感情が十分に表出／認知することができないシチュエーションに注目し，抽象的なグラフィックスのパラメータと感情(Valence, Arousal を指し以下 VA と記す)を対応付ける可視化手法 “ExPression”を提案する．この提案手法を用いることによって，先に述べたシチュエーションであっても，グラフィック
スを介して他者と感情を含めたコミュニケーションが可能となる．さらに，抽象的であることによって複数人の感情も一つのグラフィックスとして表現することが期待できる．また本稿では，予備実験として ExPression のプロトタイ
プを用いて，12 名の被験者がグラフィックスのパラメータと感情を対応付けた．その結果，VA とグラフィックスの形状・アニメーションに有意な相関がみられた．その一方で，VA と色彩（hue）の関係は複雑であり，実験手法を改善して再検証する必要があると考察した．

1. はじめにて用いるため導入が容易であり，複数人でのシチュエーシ
ョンにも容易に対応できる．

感情は日常活動において切り離すことのできない要素

本研究では，方式の要となる感情からグラフィックスへである．たとえば，あなたが恋人とその日に起こった楽しの対応付けに関する予備実験を実施し，抽象的なグラフィ

い出来事を共有するとき，自然と嬉しさや楽しさの感情がックスのパラメータと感情(VA)の関係性を明らかにした．

湧き，笑顔になるだろう．また，あなたが親から理不尽なこれにより，実際に提案手法を使用した際に，ユーザの感ことで叱られたとき，悔しさがこみ上げてくる一方でそれ情が正しく表現され，伝わることが期待できる．

を表に出すことができず，目を鋭くし，唇を噛むだろう．
こういった例からわかるとおり，感情と身体は相互に影

2. 関連研究響し合っている．とくに表情は感情を表出／認知するにあ

2.1 感情のモデル

たって重要な部位であることは経験的に明らかである．

感 情 モ デ ル は Russell[1] が 提 案 す る 円 環 モ デ ル

それゆえに，そのような表情を伝達することができない(Circumplex model of affect)を採用した．このモデルは感情

シチュエーション（e.g. 匿名でのオンライン対話，多人数を 2 次元平面(Valence: 快-不快, Arousal: 覚醒-沈静)の円環

相手のオンライン授業／会議等）では，感情を十分に伝達内に附置されるものとしており，感情を連続値として扱うできない．その結果，相手の理解度や集中度，多人数の場ことができるためである．本研究では VA それぞれの値を合の場の雰囲気などの把握に必要な情報のフィードバック

円環に附置されたものとして使用することとし，𝑉𝐴 𝑆𝑝𝑎𝑐𝑒を欠くことにつながる．

として VA の範囲を定義した：

たとえばオンライン会議ツールを用いてプレゼンテー
ションを行うとき，本来は相手の顔を見てよい／悪い反応

𝑉𝐴 𝑆𝑝𝑎𝑐𝑒 = {(𝑉, 𝐴) ∈ ℝ! |𝑉 ! + 𝐴! ≤ 1}

(1. 1)

を確認しながら進行したいと考える．しかしながら，参加者が多い場合には参加者のカメラとマイクをオフにするこ

本式は VA が 2 次元の単位円内の座標に附置されていることが多く，顔と音声のフィードバックを得られない．

とを示す．𝑉𝐴 𝑆𝑝𝑎𝑐𝑒は，後述する予備実験の感情パターン

本研究ではこのような背景に着目し，顔画像の入力に基の選定に利用する．

づき感情を推定し，その推定された値を抽象的なグラフィックスのアニメーションとしてリアルタイムに置き換える

2.2 感情推定のデータベースと手法“ExPression”を提案する．この ExPression を利用することで，本研究では入力顔画像に対して CNN 回帰モデルを学習「グラフィックスを媒介して感情を伝達する新しいコミュさせる際に，Mollahosseini et al.[2]による感情推定のためのニケーション手段」を提供することができると考えている．

データベース “AffectNet”を使用した．AffectNet は“Affect

また感情の推定には Web カメラからの顔画像を入力としfrom the InterNet” に由来し，顔画像は 3 つの異なる検索エ†1 龍谷大学 理工学部
†2 龍谷大学 先端理工学部a) t170540@mail.ryukoku.ac.jpb) tonomura@rins.ryukoku.ac.jp© 2021 Information Processing Society of Japan

559

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

ンジンを使用して，1,250 個の感情に関するタグを英語，ス
ペイン語，ポルトガル語，ドイツ語，アラビア語，ペルシ
ャ語で収集されたものである．

3B12
2021/3/10

め，2 名以上での利用も可能である．
図 1 に示したとおり，ユーザ A（感情表出者）の顔画像

から VA 値が推定され，その値をもとにグラフィックスがこのデータベースは 450,000 セットものの画像と正解ラ描写される．そしてユーザ B（グラフィックス観測者）は，

ベル（VA と 8 種類の感情カテゴリー）がアノテーターによユーザ A の感情を表すグラフィックスを認知し，感情を理ってアノテートされている．さらに“in-the-wild setting”と解することができる．この感情とグラフィックスの変換という，自発的でコントロールされていない状態の顔画像を認知の一連の流れが，本提案手法のコンセプトの最も重要対象としていることが特徴である．また本研究では用いてな点である．

いないが，画像だけでなく動画像と音声のデータを含むデ

そして，CNN 回帰モデルを実際に用いてグラフィックス

ータベース[3]，そしてマルチモーダルに感情を推定する研を描写した例を図 2 に示す（ただし図中のグラフィックス

究[4], [5]も存在する．

は現在調整中のものである）．

学習に用いるネットワークは Guo et al.[6]に倣い，重みが軽量なものを採用した．これは本研究の目的から，コミュニケーションの手段として用いることを念頭に置いており，必然的にリアルタイム性を必要とするためである．

4. ExPression のプロトタイプ
4.1 システム要件
本提案手法のハードウェアは，PC（Windows, MacOS, ま
たは Linux を搭載したもの）と Web カメラさえあれば動作

2.3 感情の可視化
本研究では感情をグラフィックスによって可視化するが，それに類似した研究がいくつか存在する[7], [8]．

の条件を満たす．
そしてソフトウェアとしては，Python と JavaScript（加えて Node.js と HTML，CSS）によって動作する．またそれら

そして本研究に最も影響を与えた研究の一つが Cernea etのライブラリとして，Python では Numpy と Keras，OpenCV，al.によって提案された Emotion-prints[9]である．この Emo-ØMQ(ZeroMQ)が求められ，JavaScript では Node.js のパッ

tion-prints では，まず EEG(electroencephalograph: 脳波計)をケージである wss(web socket server)と ØMQ，そして描画ラ用いて VA 推定を行う．そして得られた VA を 2 次元平面

イブラリとして p5.js が必要である．

としたとき，それぞれの軸の正負の方向をグラフィックスのパラメータと対応付ける．たとえば Valence は水平の方向で形状に関係し，low-high に変化するときに形状が sharp-

4.2 処理全体の流れ
ExPression の処理の流れを図 3 に示す．

curvy に変化する．また同時に，low/high の程度が大きくな
1の個数が増加する．一方で Arousal はアニメーションの速度と色相を対応付けており，Arousal が low-high に変化す
るときにアニメーションの速度は slow-fast に，そして色相
は blue-red に変化する．

Arousal

るにつれて，アウトラインのキザギザした／波打った形状(0.6527, 0.1016)
-1

0

-1

Emotion-prints はリアルタイム性，そして抽象的なグラフ
ィックスを利用するという点において本提案手法のコンセ

変換

認知

Valence

ユーザA:
感情表出者

1
Valence:
Arousal:vertexNum:
thetaSub:
HSB:…

0.65270.10161027(296, 60, 83)

グラフィックス:
感情のエージェント

ユーザB:
グラフィックス観測者

プトと非常に近い関連研究である．
図 1 ExPression のコンセプトの概要（片方向の場合）

3. ExPression: 感情可視化手法の提案§1 で示したとおり，本研究は感情を十分に伝達できな
いシチュエーションに着目している．本提案手法の
ExPression は，抽象的なグラフィックスのアニメーションと感情を対応付けることで，そのようなシチュエーション
において有効な解決策を提供することができる．

(V, A)=(-0.1043, -0.1056)(V, A)=(0.7094, 0.0731)(V, A)=(-0.010, -0.6306)(V, A)=(-0.6622, 0.4563)

ExPression のコンセプトを図 1 に示す．図では簡単のために，ユーザを感情表出者とグラフィックス観測者に分けているが，実際には各ユーザが感情の表出者でありかつグ
ラフィックス観測者であることを断っておく．さらに本提案手法は，N 対 M 通信（実際にはユーザが送受信の両端を同時に動かすため N 対 N 通信）を実装している．そのた© 2021 Information Processing Society of Japan

図 2 ExPression の動作例（図は 1 名での利用）

560

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3B12
2021/3/10

まずユーザ(client)は，入力画像として RGB の 3 チャン

表 1 予備実験における調査対象のパラメータ

ネルで各々が 8 bit，そしてサイズが 96 x 96 の顔画像を CNN
回帰モデルに入力する（図の左上）．次に，学習済みの CNN
回帰モデルによって VA 値が推定される（図の右上）．次に，各 client は推定された VA 値を server に送信し，server はclient(s)の VA 値の平均等を計算する（図の中央）．そしてserver は計算済みの値を client(s)に送信し，client(s)はその値を基にグラフィックスのパラメータ（e.g. 形状，アニメ
ーション，色彩）を決定する（図の左下）．最後に client(s)は，決定されたパラメータと描写アルゴリズムに従って感情を表す抽象的なグラフィックスを描写する（図の右下）．
4.3 CNN 回帰モデルの学習／推定値の処理§2.2 で述べたとおり，本提案手法では CNN 回帰モデルの学習用画像データベースに AffectNet[2]を，そしてネット
ワーク構成は Gao et al.[6]に倣った．学習のライブラリとしては Keras(tf.keras)を用いた．
AffectNet は現時点で train データと validation データのみが配布されており，test データは配布されていない．そのため学習可能な train データの 320,739 セットを分割し，train
用データとして 256,592 セット，validation 用データとして
64,147 セットを使用した(validation_split=0.2)．そして，validation データの 4,500 セットを test 用データとして利用した．
その他のハイパーパラメータも Gao et al.に倣って設定した．損失関数と評価関数についても，当該論文と同様のものを使用した．CNN 回帰モデルの学習の結果については，
本提案手法のコアとなる部分ではないため省略する．
作成した CNN 回帰モデルを使用する際には画像の前処理が必要である．前処理としては，Web カメラからの画像に対して OpenCV のカスケード分類器を用いて，顔画像のみとなるようにトリミングを行った．加えて，画像サイズ
顔画像の⼊⼒VA値の推定・値の処理

Arousal1-10

ングされた画像の各チャンネルを正規化し，作成した CNN
回帰モデルに入力して VA 値を推定した．
ここで，VA 値の急激な変化はグラフィックスの滑らかさを損なう要因になり得るため，推定毎に直近 30 フレー
ムの推定結果を移動平均として計算した．その後，移動平均化された各 client の値は server に送信され，server はシス
テムに参加している全ユーザの VA の平均等を計算した．
そして，server は client(s)に計算済みの値を送信し，client(s)はその値を用いてグラフィックスのパラメータを決定した．
4.4 グラフィックスの処理の概要
グラフィックスの描写をするにあたって，VA 値と関連付けるパラメータを決定し，関係性を明らかにする必要がある．そこで本提案手法では，先行研究[8], [9]を参考にして予備実験の調査対象のパラメータを決定した．そのリス
トを表 1 に示す．
本システムのグラフィックスは Shape というスーパークラスを定義し，それを継承して EmotionalShape というクラスを定義する．そしてその EmotionalShape をさらに継承して EmotionalBackground というクラスを定義する．
また， EmotionalShape が全体の平均の感情を 1 つのグラ

(0.6527, 0.1016)
Valenceclient(s)を 96 x 96 となるようにリサイズした．その後，トリミ

1

フィックスで表すのに対して，EmotionalBackground はユー
ザ全員の個々の感情をグラフィックスの背景として描写す
る．そのため，EmotionalBackground の基本的な処理フロー

3 x 96 x 96
-1

serverclient(s)のVAを
計算・送信

は EmotionalShape とほとんど同様である．
4.5 グラフィックスの処理の詳細
グラフィックスの処理は 3 つのクラスに分類することがグラフィックスのパラメータ⽣成グラフィックスの出⼒

で き る が ， こ こ で は コ ア と な る Shape ク ラ ス とEmotionalShape クラスに絞って詳細を説明する．

client(s)Valence:
0.6527
Arousal:0.1016vertexNum: 10
thetaSub: 27
HSB:(296, 60, 83)…

まずスーパークラスである Shape は，グラフィックスに共通して必要な色彩に関連した計算を行う．たとえば，
RGB と HSB を変換するメソッドや VA 値を HSB に適用するメソッドをもつ．そして VA 値を HSB に適用する際に

図 3 ExPression の処理（図中の値と出力は目安）© 2021 Information Processing Society of Japan561

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3B12
2021/3/10

は ， Valdez and Mehrabian[10] の 研 究 で 示 さ れ た

転させた時点での subPrev／subNext の両座標をまとめ

𝑃𝑙𝑒𝑎𝑠𝑢𝑟𝑒(𝑉𝑎𝑙𝑒𝑛𝑐𝑒), 𝐴𝑟𝑜𝑢𝑠𝑎𝑙, 𝐷𝑜𝑚𝑖𝑛𝑎𝑛𝑐𝑒と Brightness(𝑌),て𝑠𝑢𝑏" (𝑠𝑢𝑏# ，𝑠𝑢𝑏$ )としたとき，追加する座標の式は次のSaturation(𝑆)の標準偏回帰係数を参考にした：ようになる：

𝑃𝑙𝑒𝑎𝑠𝑢𝑟𝑒 = 0.69 𝑌 + 0.22 𝑆
𝐴𝑟𝑜𝑢𝑠𝑎𝑙 = −0.31 𝑌 + 0.60 𝑆
𝐷𝑜𝑚𝑖𝑛𝑎𝑛𝑐𝑒 = 0.76 𝑌 + 0.32 𝑆

𝑐𝑜𝑠𝛩
𝑠𝑢𝑏"%& = N
𝑠𝑖𝑛𝛩
𝑐𝑜𝑠𝛩
=N
𝑠𝑖𝑛𝛩

(4. 1)(4. 2)(4. 3)

こ こ で ， 本 提 案 手 法 に 𝐷𝑜𝑚𝑖𝑛𝑎𝑛𝑐𝑒 は 用 い な い た め ，𝑃𝑙𝑒𝑎𝑠𝑢𝑟𝑒(𝑉𝑎𝑙𝑒𝑛𝑐𝑒)と𝐴𝑟𝑜𝑢𝑠𝑎𝑙の式のみを参考にした．
次に Shape を継承する EmotionalShape は，感情を表す抽象的なグラフィックス単体の形状を計算し，本提案手法のもっとも重要な処理を担う．ここではすべての説明を避け，
パラメータの変動によるグラフィックスの変化に焦点を当てて説明する．

−𝑠𝑖𝑛𝛩
O 𝑠𝑢𝑏"
𝑐𝑜𝑠𝛩−𝑠𝑖𝑛𝛩 𝑠𝑢𝑏#OP
Q𝑐𝑜𝑠𝛩 𝑠𝑢𝑏$(4. 4)

この回転行列による座標の追加は V-1 回行われる．これにより，EmotionalShape は円を基本形とした抽象的なグラ
フィックスを描写することができる．

5. 予備実験
5.1 実験の目的と仮説予備実験では，感情と提案手法のグラフィックスを対応

EmotionalShape では，凹凸図形の描写のために「内側と付けるにあたって，感情を表現することができるパラメー

外側の初期座標」を計算する．その概要を図 4 に示す．こタは何であるかを明らかにする目的で行った．また実験のこで図中の Main Circle における外側の点は黄色，内側の点

実施中には口頭によるインタビューを，実験終了後にはは青色，そして Sub Circle における計算の一時的な点を緑

Google Forms を利用したアンケートを実施することにより

色，グラフィックスの描写時に用いる点を赤色で示す．

質的データも収集した．

計算の役割は Main Circle と Sub Circle のそれぞれで異なる．まず Main Circle は，全体の大きさ(R: radiusMain)

実験をするにあたって 3 つの仮説を立てた．それらを以下に示す：を定義した上で，凹凸図形を描写するための内側と外側の頂点の座標のセット（図 4 の黄色と青色の点）を円上に，

H1

texNum は Valence の絶対値と正の相関関係がある

頂点の数(V: vertexNum)だけ決定する．このとき，各頂点の座標の位置関係は円上で等間隔であり，弧の長さを L，

H2

lengthCoefficient, amplitude, thetaBeat がArousal と正の相関関係がある

中心角を Θ: step としたときに𝐿 = 𝑅𝛩/2となるように計算される．そして Sub Circle では Main Circle で決定した座

thetaSub は Valence と正の相関関係があり，ver-H3

hue は Arousal が高くなればなるほど赤色になり，低標を中心に，凹凸図形の尖形／円形(θ: thetaSub)，まくなればなるほど青色になる．また Arousal がニュー

た盛り上がり具合(l: length と lengthCoefficient)

トラルに近いときは中間の紫色になるを計算する（パラメータの名前と範囲については表 1 を参照）．最終的に求めるのは subPrev と subNext の座標であり，それらの点を通る図形が最終的に描写される．

5.2 実験条件と環境
被験者は，龍谷大学の大学生と大学院生の計 12 名（平均

この計算過程でとくに重要なパラメータは，Sub Circle

年齢: 22.2 歳，男性: 11 名，女性: 1 名）で構成される(P1-の θ: thetaSub である．このパラメータによって，本提P12)．11 名の参加者は「色覚に問題がない」とし，また 1

案手法ではグラフィックスの尖形／円形をシームレスに表現することができる（図右上）．たとえば θ が大きいとき
は，subPrev と subNext の距離が大きくなり，p5.js のcurveVertex を用いることで円形に近づく．反対に thetaSub が小さいときは，subPrev と subNext の距離が近くなり，尖形に近づく．
また l: length は表 1 中の lengthCoefficient によって値がフレーム毎に更新され，Sub Circle の中心 o と
subPrev／subNext の距離を決定する．これによって凹
凸の盛り上がり具合を表現することができる．
そして初期座標を計算した後，その座標に対して 2 次元の回転行列を用いて，Main Circle の内側と外側の座標セッ

図 4 初期座標計算の手法

トをΘだけ反時計回りに回転させて追加する．ここで，𝑛回（拡大図は外側の座標計算のとき）© 2021 Information Processing Society of Japan562

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

名は「以前，なにかしらの検査で引っかかったことがある

3B12
2021/3/10

表 2 Spearman の順位相関係数の結果（Hue 自由）が，主観的に問題がない」と回答した．
そして各被験者は，次に示す 2 つのパターンを実施した：
lhue が blue-red[9]の関係に，そして Saturation とBrightness が[10]の標準偏回帰係数の関係によって既に設定されたパターン（以下 Hue 固定と記す）

lSaturation と Brightness のみが固定[10]であり，hue
を 36 段階で自由に設定できるパターン（以下 Hue 自由と記す）

このとき，被験者は Hue 固定と Hue 自由のどちらを先に行うかを指示された．また被験者が hue の条件を変えての 2
度目の試行をする際，1 度目の形状のパラメータを引き継してパーターンを抽出した．
また各パラメータの粒度としては，hue 以外のパラメー
タは 20 段階，hue は 36 段階に設定した．

いだうえで「色彩が変化することによってイメージが変わ6. 実験の結果

った場合，その他のパラメータも再調整してください」と

6.1 VA と形状・アニメーションの相関指示された．

VA と形状・アニメーションの相関係数を調べる前に，実験の環境としては，被験者は明るい室内で，リラック

Hue 固定／自由で代表値の差がないことを調べる目的で，スした状態で椅子に座り，2880 x 1800, 15 inch のディスプ

12 名の被験者のうち Hue 固定を最初に取り組んだ 6 名とレイ（机の手前端からディスプレイまで 30cm の距離に設Hue 自由を最初に取り組んだ 6 名を独立群に分離し，Mann-

置）を使用しながらパラメータの調整を行った．このときWhitney の U 検定を行った．その結果，すべてのパラメー

ディスプレイは，どのような環境光でも統一した色と明度

タが𝑝 > 0.5 であり，2 群の対応するパラメータの代表値にを表示させるために，MacBook Pro に搭載されている True

差はないといえる．

Tone オプションを適用した．

そして，被験者より集められた各種パラメータはスライ
ダーによって離散値にフィットされているため，ノンパラ

5.3 実験の手順
被験者は最初に Google Forms を用いて年齢等の基本情報

メトリック手法である Spearman の順位相関係数を求め，無相関検定を行った．

を入力した．また同時に，実験の参加に同意するかどうか

一例として，Hue 自由における Spearman の順位相関係数の選択をした．次に，実験仮説については伝えずに実験のの結果と各パラメータの平均・標準偏差を表 2 に示す．こ

目的を伝えた．

こで Hue 固定の場合も，有意水準を含めて Hue 自由のもの

その後，被験者は調整対象のパラメータとグラフィックとほとんど同様の結果を示していたことを付記しておく．

スの変化を確認し，同時に感情を定量的に理解するために
Affective slider[11]と AffectNet の画像の説明をした．Affec-

6.2 色彩(Hue)のヒストグラム

tive slider は，Valence と Arousal のそれぞれを表情のアイコ

hue は角度データであるため，その他のパラメータと分ンとスライダーを使用することによって，被験者の主観的離して結果を示す．Hue 自由における hue をヒストグラムな感情を連続値で取得するシステムである．この手法は主観的な評価を得るためだけでなく，Valence, Arousal の定量的な理解の促進にも有用であると考えたため提示した．また，被験者は VA の理解に疎いため，Affective slider のみでは感情を想像できない．そのため，VA 値の正解ラベルが付いた AffectNet の画像を参考として提示した．
被験者は AffectNet からランダムに抽出された，17 個の感情パターンのパラメータ（6 種類または hue を除いた 5種類）を調整した．感情パターンの選び方としては，
𝑉𝐴 𝑆𝑝𝑎𝑐𝑒を極座標としたときに𝑟 = 0.5, 1.0のそれぞれで，
0 ≤ 𝑥 < 2𝜋の範囲で0から𝜋/4 ずつ回転させたときにできる 16 パターンの座標と，𝑟 = 0.0のときの 1 パターンの座標を基準とした．そして，その座標から±0.05の誤差を許容© 2021 Information Processing Society of Japan

図 5 Hue 自由における hue のヒストグラム

563

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3B12
2021/3/10として表したものを図 5 に示す．

彩を連想する被験者も存在した．

7. 考察

8. おわりに7.1 VA と形状・アニメーション

本稿では感情を十分に伝えられないシチュエーション

表 2 からわかるとおり，Valence と thetaSub には中程に着目し，その解決策として感情を抽象的なグラフィック度の相関関係が確認でき，この点は H1 と一致した．言いスと対応付ける ExPression を提案した．ExPression は CNN

換えれば，これは不快のときにはより尖形になり，快のと回帰モデルを用いることで，特別なデバイスなしに動作す

きにはより円形になるということである．一方で，Valence

るため，複数人の使用にも柔軟に対応できる．

と vertexNum に は 負 の 相 関 が 見 ら れ ， Arousal とそしてプロトタイプを用いた 12 名の被験者による予備

vertexNum には正の相関が確認できた．この点は H1 と反実験で，VA とグラフィックスのパラメータ，また各パラメ

する結果であり，また先行研究である Emotion-prints の設ータ同士の一部に有意な相関がみられた．一方で，hue に定とも異なる結果であった．実際に被験者は「vertexNum

ついては再検証が必要であると考察した．

の表現が一番難しい」という発言をしていた(P8)．

本稿では推定された VA と抽象的なグラフィックスを対

そして，Arousal と lengthCoefficient, amplitude,

応付ける手法を提案したが，これはあくまで「グラフィッ

thetaBeat には正の相関がみられ，H2 と一致した．とくクスを用いて感情を表現できるか」というリサーチクエスに Arousal と thetaBeat には強い相関が見られ，実際にチョンの答えでしかない．そのため，今後は予備実験の結被験者は「覚醒度のパラメータ表現はわかりやすく操作す果に基づくパラメータ調整を行い，「グラフィックスから正ることができた」とアンケートで答えていた(P11)．さらにしく感情を認知できるか」を確かめる実験を行う予定であ

7 段階のリッカート尺度の「グラフィックスの【アニメーる．そして，これに加えて「複数人のシチュエーションにションの速度: 遅い-速い】は表現することができましたか」

おいても感情を正しく認知できるか」も調査の対象としたと「グラフィックスの【アニメーションの振幅: 小さい-大い．

きい】は表現することができましたか」については，両者
ともに 11 名（約 92%）が TOP 2 ボックスに該当した．これは Emotion-prints のコンセプトでも言及されているように，アニメーションの周期の短さは人間の心拍数を連想し

9. 参考文献[1][2]ているということに起因すると推測する．
特筆すべき点として，凹凸図形の数を表す vertexNumと盛り上がり具合を表す lengthCoefficient の相関が[3]強いことを挙げる．たとえば Valence が負のときには，
thetaSub が小さくなり，vertexNum と lengthCoefficient が大きくなる．これは「トゲの数が多く，盛り上
がり具合が大きい状態」を表している．また，逆に Valenceが正のときは vertexNum と lengthCoefficient が小

[4]

[5]

さく，thetaSub が大きくなる．これは「円形に近く，盛り上がりが小さい状態」を表す．
[6]

7.2 色彩(Hue)
図 5 で示したとおり，被験者は hue=0 を選択することがもっとも多かった．しかしながら，本予備実験ではSaturation と Brightness が固定されており，hue がほとんど

[7]
[8]

見た目に反映されていないものも多く存在した．実際に実
験中やアンケートにおいて「色相だけでなく，彩度・明度も操作したい」という旨の感想を述べていた(P6, 8, 11)．そ[9]のため，H3（hue と VA の関係性）を検証するには条件が不十分であった．検証には，hue だけでなく HSB をカラー

[10]

ピッカー等で選択させる必要があると考える．
また興味深いことに，VA がそれぞれ 0 に近い，Neutral
な感情には「緑(P6)」や「灰色(P2)」，「白(P5)」といった色© 2021 Information Processing Society of Japan[11]

J. A. Russell, “A circumplex model of affect.,” J. Pers. Soc.
Psychol., vol. 39, no. 6, pp. 1161–1178, 1980.
A. Mollahosseini, B. Hasani, and M. H. Mahoor, “AffectNet: A
Database for Facial Expression, Valence, and Arousal Computing
in the Wild,” IEEE Trans. Affect. Comput., vol. 10, no. 1, pp. 18–
31, Aug. 2017.
D. Kollias et al., “Deep Affect Prediction in-the-Wild: Aff-Wild
Database and Challenge, Deep Architectures, and Beyond,” Int. J.
Comput. Vis., vol. 127, no. 6–7, pp. 907–929, 2019.
Y.-H. Zhang, R. Huang, J. Zeng, S. Shan, and X. Chen, “$M^3$T:
Multi-Modal Continuous Valence-Arousal Estimation in the Wild,”
2020.
W. Y. Chang, S. H. Hsu, and J. H. Chien, “FATAUVA-Net: An
Integrated Deep Learning Framework for Facial Attribute
Recognition, Action Unit Detection, and Valence-Arousal
Estimation,” IEEE Comput. Soc. Conf. Comput. Vis. Pattern
Recognit. Work., vol. 2017-July, pp. 1963–1971, 2017.
Y. Guo, Y. Xia, J. Wang, H. Yu, and R. C. Chen, “Real-time facial
affective computing on mobile devices,” Sensors (Switzerland),vol. 20, no. 3, pp. 1–15, 2020.
J. Feldmaier, T. Marmat, J. Kuhn, and K. Diepold, “Evaluation of
a RGB-LED-based Emotion Display for Affective Agents,” 2016.
D. McDuff, A. Karlson, A. Kapoor, A. Roseway, and M.
Czerwinski, “AffectAura: An intelligent system for emotional
memory,” Conf. Hum. Factors Comput. Syst. - Proc., pp. 849–858,
2012.
D. Cernea, C. Weber, A. Ebert, and A. Kerren, “Emotion-prints:
interaction-driven emotion visualization on multi-touch
interfaces,” Vis. Data Anal. 2015, vol. 9397, p. 93970A, 2015.
P. Valdez and A. Mehrabian, “Effects of Color on Emotions,” J.
Exp. Psychol. Gen., vol. 123, no. 4, pp. 394–409, 1994.
A. Betella and P. F. M. J. Verschure, “The affective slider: A
digital self-assessment scale for the measurement of humanemotions,” PLoS One, vol. 11, no. 2, pp. 1–11, 2016.

564