情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-28
2019/3/6

深層学習を用いた入力音声に適した顔表情生成西村亮佑1,a)

酒田信親2

冨永登夢1

土方嘉徳3

原田研介1

清川清2

概要：近年，VR で利用する高品質な三次元 CG キャラクタに対する需要が高まっている．その中で，表情を提示する顔のアニメーションは，コンテンツのリアリティを高めるうえで重要である．現在，表情アニメーションの生成手法は，カメラを用いた手法が一般的であるが，カメラのキャプチャ範囲に制限があることや，顔の向きによっては人間の表情を取得できないなど，カメラの設置環境に依存する問題がある．
そこで，音声情報のみによる表情アニメーションを生成するシステムが有用であると考えた．本研究は，LSTM-RNN を用いた先行研究を参考に，音声から顔表情を生成し、それをコミュニケーションに利用可能なシステムにすることを目標とする．音声の解析に人間の聴覚感度を考慮した A 特性手法を用いることで、先行研究よりも表情の精度が向上することを定量的に確認した．

1. はじめに
近年，VR で利用する高品質な 3 次元 CG キャラクタに対する需要が高まっている．その中で，表情を提示する顔のアニメーションは，コンテンツのリアリティを高めるうえで重要な要素を占めている．現在，表情アニメーションの手法 [6] をべースとして，豊かな表情を生成できるシステムを構築し，提案システムの評価を行う．

2. 関連研究
本節では，センサや画像データ，音声データから表情を推測し，3D モデルに適用する研究を紹介する．

生成手法は，カメラを用いた手法が一般的であるが [1][2]，まず，画像データから表情を推定する研究を紹介する．

カメラのキャプチャ範囲に制限があることや，顔の向きに3D モデルに表情を適用する際は，ブレンドシェイプに基よっては人間の表情を取得できないなど，カメラの設置・づく方法が主に用いられる．[7][8][9]．ブレンドシェイプと撮影環境に依存する問題がある．

は，顔の一部分が無表情から変化してる 3D モデルを複数カメラを用いる手法に対し，音声情報のみを用いて表情合成することで，あらゆる表情を提示する手法である．あを推定する手法は，これらの問題を解決する可能性がある．

らかじめ用意する顔を決定する際には．顔の動きを包括的音声のみを用いた手法には，音素の解析により口の形を再に測定する Facial Action Coding System（顔面動作符号現する手法 [3][4] や，深層学習を用いて顔全体の表情を再化システム）[10] を応用する．2002 年に発表された改訂版現する手法 [5][6] がある．しかし，これらの手法は生成でFACS には，41 の顔の基本動作が定義されており，これらきるアニメーションが顔の一部分に限定されていることは顔の解剖学的な知見をもとに構成されている．

や，話の内容をスピーチのみしか扱っていないことから，ブレンドシェイプのパラメータを決定するためには，顔人間同士の対面コミュニケーション時に表される豊かな表特徴データを取得する必要があり，様々なセンサを用いた情を推定可能であるかの検証は行われていない．

手法が存在する．深度センサを用いて顔形状を取得していそこで本研究では，音声のみを入力としてもっともらしる研究 [11][12] では，Kinect[13] を深度センサとして使用

い豊かな表情を生成するシステムの構築を目指す．自然なしているが，表情の精度がデバイスに依存することや，画表情を生成するためには，口の動きだけでなく，人間同士角の制限が問題である．Zell らは，モーションキャプチャの対面コミュニケーションに使えるような，頬の起伏や眉マーカを用いて，マーカと 3D モデルを対応付けることでの動きにも焦点を当てる必要がある．そこで，リカレント表情を推定している [1][14]．この手法は精度が高い一方，ニューラルネットワーク（RNN）を用いて表情を推測する

マーカの取り付けや，3D モデルとの位置合わせ，カメラの調節など，多くの段階で手間を要する．画像データのみ

123a)

大阪大学大学院 基礎工学研究科 システム創成専攻
奈良先端科学技術大学院大学 先端科学技術研究科 情報科学領域
関西学院大学 商学部
nishimura@hlab.sys.es.osaka-u.ac.jp© 2019 Information Processing Society of Japanから顔の特徴を推定する手法も存在する [15][16]．この手法は，3D 顔形状データベースと，顔の特徴点及び輪郭の812情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-28
2019/3/6

Training೘ྙυʖνԽ੢մੵυʖν
LSTM-RNN
Training

Kinect v2ͶΓΕָसυʖνΝखಚන৚͹॑ΊϏϧϟʖνe‫ࢥگ‬υʖν

Animation
LSTM-RNN
ModelԽ੢

ࣃ࣓࣮ࣛࢱeմੵυʖνΠωϟʖεϥϱ
図 1

提案システムの全体像

2D 特徴点の真値を持つ画像データベース [17][18][19] を用

実際のコミュニケーションを想定していない．

いて，ランダムフォレストによる回帰分析を行うことで実音声データから表情を推定する研究を紹介したが，出力現している [20][21]．顔の輪郭などに誤差が生じる場合がされた人間同士の対面表情の評価は適切に行う必要がああるが，画像のみで実現できる点が優れている．

る．音声と表情は必ずしも一致しないことや，人の感情をブレンドシェイプのパラメータの値は顔形状の違いによ

音と表情のどちらから読み取るかは文化によって異なるこり変化するため，適切なパラメータを求めるためには任意とが知られており [28]，これは真値と深層学習による出力の人物の 3D 顔形状も求める必要がある．事前にの Kinectが必ずしも一致しない可能性を示している．従って，出力などの深度センサや Cyberware[22] などのレーザースキャとして得られた表情が入力の音声に適した度合を表す新たンにより，複数人の 3D 顔形状のデータベースを構築する．

な評価手法を提案する必要がある．

任意の人物の 3D 顔形状を再構築する方法として，主成分分析（PCA）に基づく線形モデルを用いる手法 [23][24] と，3. 提案システムテンソルを用いた多重線形顔モデルを用いる手法 [17][25]

本稿では，音声データのみを入力とし，LSTM-RNN をがある．これらの手法を用いて，任意の人物の顔画像から用いて音声に適した表情を出力するシステムを提案する．

特徴点を抽出することで，特徴点に最も一致した 3D 顔形学習の入力は音声解析データ，出力はブレンドシェイプの状を再構築できる [2][20][21]．複数人の 3D 顔形状のデー

表情重みパラメータとする．人間同士の対面コミュニケー

タベースに FaceWarehouse[17] がある．これは，150 人のションに利用するシステムの全体像を図 1 に示す．

様々な民族の，47 種類の FACS に基づく表情を備えるデータベースである．

3.1 音声データ

続いて，音声データから表情を推定する研究を紹介す

機械学習に用いる音声データの解析方法について説明する．音声データのみを用いた表情アニメーションの生成にる．Pham ら [6] は音声波形データをスペクトログラム，ケは，音響特性を用いた手法 [3][4][26] と深層学習を用いた

プストラム，クロマグラムの 3 種類に解析し，入力データ手法 [5][6][27] がある．音響特性を用いた手法は，音の発とした．本研究では，音声に A 特性手法による知覚的重み生源である口周りの表情の動きを推定するには十分であるづけを行い，入力データとする．実装には，Python のラが，目や眉の動きなど，動きが音に影響しない部分の表情イブラリである LibROSA[29] を用いる.

は推定できない．それに対し，深層学習を用いた手法では，

3.1.1 スペクトログラム

入力に周波数解析したデータを用いており，音声と表情をスペクトログラムとは，音を周波数解析したものである．

対応付けることができる．しかし，音声解析を学習の入力形式は様々であるが，横軸を時間，縦軸を周波数として表とする際，音声解析データが多くなるほど計算コストがかすことが多い．音声のスペクトログラムでは，特に母音にかり，リアルタイム性に欠けるため，コミュニケーション特徴が出やすいため，音声の解析には有効な表現方法であに用いることが難しくなる．リアルタイムで用いるためにる．出力の例を図 2 に示す．

は，どの音声解析データが表情生成のために有効か検証す3.1.2 ケプストラム

べきである．また，入力データがスピーチや演技に限られケプストラムとは，信号のスペクトログラムをフーリエているため，相槌や笑う・驚くといった反応が含まれる，変換したもので，スペクトログラムの細かな変動となだら© 2019 Information Processing Society of Japan813

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-28
2019/3/6spectrogram

A-weight spectrogram

+0 dB

8000

-10 dB

7000-20 dB

6000

8192

Hz (Constant-Q value)-30 dB2048-40 dB-50 dB1024-60 dB512-70 dB

Hz (Constant-Q value)-20 dB4096-40 dB

5000
4000-60 dB
3000

2000-80 dB

1000-100 dB-80 dB
0

1.5

4.5

3.0

6.0

7.5
Time

9.0

10.0

12.0

14.0

00

1.5

3.0

4.5

7.5
Time

6.0

9.0

10.0

12.0

14.0

図 5 A 特性

図 2 スペクトログラム

3.1.4 A 特性
A 特性とは人間の聴覚の特性を考慮して，周波数に知覚

mel frequency cepstral coefficients (MFCCs)
8192+3 dB的重みづけを行ったものである．人間の音声は，高音域や+2 dB

低音域にはあまり特徴が含まれないため，この手法を用い+1 dBることが有用だと考える．出力の例を図 5 に示す．

quefrency

4096+0 dB

2048

-1 dB
1024
-2 dB

3.2 顔特徴データ
本稿では，深度センサとして Kinect v2 を用いて顔特徴データを取得し，ブレンドシェイプの手法を用いて表現す

-3 dB

512

-4 dB
0

1.5

4.5

3.0

6.0

7.5
Time

9.0

10.0

12.0

14.0

る方法について述べる．

3.2.1 Kinect v2 による顔特徴の取得
Kinect for Windows SDK に含まれる HDFace[30] を用

図 3ケプストラム

いることで，3 次元で 1346 個の特徴点を取得することが可能である．Pham ら [6] の研究で用いられているデータ

Chromagram+1.00 dB
B

ンで現れる表情については考慮されていない．そのため，+0.80 dBA

Kinect v2 を用いて，目的を達成するために必要なデータセットを作成する．

GPitch class

セットは感情に焦点を当てているが，コミュニケーショ+0.60 dB

F+0.40 dBE

図 6 に HDFace で得られる顔の特徴点を示す．HDFaceは，事前に骨格を識別することで，顔の位置をロバストに認識出来る．Kinect v2 で得られる顔の特徴点データはノD+0.20 dB

イズが大きいため，ノイズ除去フィルタを施す必要がある．フィルタには [12] に用いられている指数移動平均を用C+0.00 dB01.5

3.0

4.5

6.0

Time

図 47.5

9.0

10.0

12.0

14.0

クロマグラムかな変動を分離することができる．スペクトログラムは母音に特徴が出やすいため，その変動は音声を解析するうえで重要な情報であると考えられる．出力例を図 3 に示す．

3.1.3 クロマグラム

いる．i フレーム目の特徴点の行列を ti と置くと，フィルタをかけた後の行列 t∗i は∑kt∗i =j=0 wj ti−j∑k(1)wj = e−j·H·maxl∈[1,k] ||ti −ti−l ||(2)

j=0 wjで表される．ここで，k はフィルタに用いるフレーム数，クロマグラムは全周波数帯域のエネルギーを，[C, Db,H は実験的に決定する定数である．本研究の実験では，D, Eb, E, F, Gb, G, Ab, A, Bb, B] の 12 音階に落とし込

k = 5，H = 0.01 とした．このフィルタにより，大きなノんだものである．音声にメロディの特徴がある場合は，クイズの除去に成功したが，依然として揺らぎのようなノイロマグラムのデータが特徴を持つことになる．出力の例をズが残る．このノイズは，ブレンドシェイプの手法で近似

図 4 に示す．

することで取り除くことができる．

© 2019 Information Processing Society of Japan814

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-28
2019/3/6

入力データには 3.1 節で述べた音声解析データを用いる．

.LQHFW)DFH+'

教師データには 3.2 節で述べた表情の重み e とする．
今回用いる LSTM-RNN のフレームワークでは，音声データ xt を入力とし，表情の重み et のみを出力とする．
ここで，t = 1, · · · , T であり，T はフレーム数である．任意の時間 t において，学習モデルは入力特徴ベクトル xt からet を推定する．表情の重み e は [0, 1] 内に制限されている
ため，ReLU の活性化を用いて出力が非負となるようにする．学習モデルは二乗誤差が最小になるように訓練する．
図 6

HDFace で得られる顔の特徴点

E=∑2||yt − ŷt ||(4)t

3.4 実装ここでは，学習データを取得するための実装について述
べる．学習の入力に用いる音声データは，LibROSA[29] を用いて解析し，学習の出力に用いるブレンドシェイプの重みパラメータは，Kinect から取得したデータから算出し，表情の真値として用いる．
ブレンドシェイプのパラメータ算出は，線形の最適化問題となる．ブレンドシェイプを用いた表情は，式 (3) で表現でき，ei が求めたいパラメータとなる．最適化問題は以下のように表される．

arg min E[ej ] = arg min ||V − S||2ej

図 7

本研究で用いたブレンドシェイプ

この最適化問題の勾配ベクトルは，3.2.2 ブレンドシェイプによる表情生成
Kinect により得られた顔形状を，ブレンドシェイプを用いて表現する．この手法により，顔の頂点数が異なる 3Dモデルでも，同様の顔形状をあらかじめ用意することで，同じ表情を再現できる．
今回用意しておく表情は，図 7 に示す 22 個の顔形状とした．口の動きは正確に再現すべきであるため，16 個用意した．また，左右で顔の形状に差がある方が人間らしさが表現できると考えたため，左右別の動きをした顔形状を用意した．
ブレンドシェイプを用いた顔形状は以下の式で表される．

S = B0 +m∑(Bi − B0 ) · ei

(5)

ej(3)

i=1

ここで，Bi はあらかじめ用意しておいた顔形状，m は Biの個数，ei ∈ [0, 1] はブレンドシェイプの重みパラメータn∑∂E[ej ]
= −E[ej ]−1 ·(V − S)i · (Bj − B0 )Ti∂ej
i=1(6)

で与えられる．ここで，n は顔の頂点の個数である．今回は HDFace を用いているため，n = 1346 となる．これらの式を用いて，ei ∈ [0, 1] の条件を満たすようにパラメー
タ ei を算出する．最適化アルゴリズムで，今回の要件を満たす手法は，L-BFGS-B と TNC と SLSQP がある．すべて試用した結果，今回は最も実行時間が短く，精度の良かった TNC を採用する．
得られた最適化の結果を図 8 に示す．誤差が現れる部分
は，瞬きの際のまぶたと，下唇周辺が多い．コミュニケーションを取ることを考慮して，これらの誤差は許容範囲内とみなす．

4. 実験

である．Kinect v2 の顔形状に一致するように，ブレンド

3 節で，音声データのみを入力とし，LSTM-RNN を用シェイプの重みパラメータ ei を算出し，学習データの出力いて音声に適した表情を出力するシステムを提案した．本に用いる．

節では，提案システムの評価を行う．
データセットには，遠隔地でのコミュニケーションな

3.3 機械学習の構成

ど，本システムの利用シーンに即したデータとするため，音声が時系列に伴った信号であることから，LSTM-RNN

電話の会話データを用いた．顔形状と音声データを同時にによる機械学習を行うことで，音声から表情を推定する．

取得することで，音声と表情にずれが生じないようにして© 2019 Information Processing Society of Japan815

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-28
2019/3/6を体験した際に人がどう感じるかの評価を行う．カメラを用いて人間の表情をキャプチャし，3D モデルの表情を動かせるシステムを用いた際に，任意の期間を音声で推定した表情に切り替えると，使用する人は気付くかどうかの評価を提案する．
システムの評価基準に以下の 2 つを挙げる．

• 初見で違和感が生じた期間の正解率• 複数回見て，最終的に違和感が生じる期間の正解率
一つ目の評価はシステムの評価である．リアルタイムでこ図 8

ブレンドシェイプのパラメータ算出の結果．左：Kinect によのシステムを使用する場合，同じ表情は 1 度しか見ることり得られた顔形状．中：最適化により得られたパラメータを用ができないため，そこで違和感が生じるかどうかが評価ポいてブレンドシェイプにより構築した顔形状．右：左と中の顔形状の誤差イントとなる．二つ目の評価は表情の推定精度の評価である．じっくり見て違和感が生じなければ，表情の推定精度いる．Kinect v2 のマイクから取得できる音声は，サンプは高いとみなすことができる．システムの評価式を以下に

リング周波数が 16kHz，ビットレートが 32bit IEEE float示す．

である．サンプリング周波数が低めだが，人間の声の特徴は 8kHz 以下に多く現れるため，利用可能である．
実際には，男性 2 名が電話で会話するシーンの合計186,142 フレーム（約 104 分）のデータセットを用いる．学習の入力データとして，以下の 3 パターンを用いる．

(1) 音声の元データ(2) ノイズ除去を施したデータ(3) (1)+(2)+(2) にホワイトノイズを追加したデータノイズ除去を行う理由は，ノイズを特徴として学習させないためである．(3) で，(1) と (2) とノイズ加算のデータを用いている理由は，音声を加工することにより，データセット数を増やすことができるためである．
学習の構造は，中間層を 2 層とし，1 層目は 600 次元，2 層目は 600 次元とする．深層学習のライブラリは Microsoft の CNTK を用いる．学習環境は，CPU：Core-i56500 3.20GHz，GPU：GTX 1080，RAM：16GB である．

5. 結果と考察
4 節で挙げた 3 パターンの入力データに対する出力の評価を行う．

(1) や (2) では，依然として顔形状が震える印象が残る．
この対策として，現在は音声情報を A 特性手法のみを用いているが，先行研究に用いられたデータを使って再度検証する余地がある．また，データセットが不足している可能性も考えられる．

(3) では，無音の時に震える問題を改善できている．これは，ノイズ加算による影響や，音声データを修正したため，表情のあいまいさ =タセットをさらに増やすことが必要だと考えられる．の検証を予定している．被験者実験では，実際にシステム© 2019 Information Processing Society of Japan

推定表情期間以外 ∩ 違和感
表情推定期間以外(8)

被験者の人数を多く設定する必要がある．この評価では，カメラを用いて 3D モデルの表情を動かしている期間に，違和感が生じる可能性がある．これは，人間の表情に対するイメージのあいまいさの評価に繋がると予想できる．また，このシステムを用いることで，人間は様々な表情を取ることができるが，コミュニケーションを取る際には，どれほどの表情が必要かが示唆出来ると想定している．

6. おわりに
本稿では，音声の入力により，表情アニメーションを生成するシステムの提案を行った．RNN を用いて表情を推測する手法 [6] を参考に，音声に A 特性手法による知覚的重みづけを施すことで，表情推定精度を向上した．また，Kinect を用いてコミュニケーションに対応したデータセットを作成する方法を述べ，その学習結果についての考察を述べた．今後の研究方針は，現在取り組んでいるシステムの修正，および被験者実験によりシステムの評価を行うことである．
参考文献
[1]

[2]

今回出力された表情をコミュニケーションで利用可能かどうかの検証はまだできていない．そこで，被験者実験で(7)

表情に対する違和感は個人差があると想定されるため，データセットが増えたことによる影響だと考えられる．音声に対する推定表情は，まだ正確とは言えないため，デー

推定表情期間 ∩ 違和感
表情推定期間推定表情期間の正解率 =[3]Zell, E., Lewis, J., Noh, J., Botsch, M. et al.: Facial
retargeting with automatic range of motion alignment,
ACM Transactions on Graphics (TOG), Vol. 36, No. 4,
p. 154 (2017).
Cao, C., Hou, Q. and Zhou, K.: Displaced dynamic expression regression for real-time facial tracking and animation, ACM Transactions on graphics (TOG), Vol. 33,
No. 4, p. 43 (2014).
Edwards, P., Landreth, C., Fiume, E. and Singh, K.:
JALI: an animator-centric viseme model for expressive816

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]
[12]

[13]
[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

lip synchronization, ACM Transactions on Graphics(TOG), Vol. 35, No. 4, p. 127 (2016).
Taylor, S., Kim, T., Yue, Y., Mahler, M., Krahe, J.,
Rodriguez, A. G., Hodgins, J. and Matthews, I.: A
deep learning approach for generalized speech animation,
ACM Transactions on Graphics (TOG), Vol. 36, No. 4,p. 93 (2017).
Karras, T., Aila, T., Laine, S., Herva, A. and Lehtinen, J.: Audio-driven facial animation by joint end-toend learning of pose and emotion, ACM Transactions
on Graphics (TOG), Vol. 36, No. 4, p. 94 (2017).
Pham, H. X., Cheung, S. and Pavlovic, V.: Speechdriven 3d facial animation with implicit emotional awareness: a deep learning approach, The 1st DALCOM
workshop, CVPR (2017).
Pighin, F., Szeliski, R. and Salesin, D. H.: Resynthesizing facial animation through 3d model-based tracking,Computer Vision, 1999. The Proceedings of the Seventh IEEE International Conference on, Vol. 1, IEEE,
pp. 143–150 (1999).
Lewis, J. and Anjyo, K.-i.: Direct manipulation blendshapes, IEEE Computer Graphics and Applications,Vol. 30, No. 4, pp. 42–50 (2010).
Li, H., Weise, T. and Pauly, M.: Example-based facialrigging, Acm transactions on graphics (tog), Vol. 29,
No. 4, ACM, p. 32 (2010).
Ekman, P. and Friesen, W.: Facial action coding system: a technique for the measurement of facial movement, Palo Alto: Consulting Psychologists (1978).
Zhang, Z.: Microsoft kinect sensor and its eﬀect, IEEE
multimedia, Vol. 19, No. 2, pp. 4–10 (2012).
Weise, T., Bouaziz, S., Li, H. and Pauly, M.: Realtime
performance-based facial animation, ACM transactions
on graphics (TOG), Vol. 30, No. 4, ACM, p. 77 (2011).
Xbox: Xbox One 用 Kinect，https://www.xbox.com/
ja-JP/xbox-one/accessories/kinect.
Seol, Y., Lewis, J., Seo, J., Choi, B., Anjyo, K. and Noh,J.: Spacetime expression cloning for blendshapes, ACM
Transactions on Graphics (TOG), Vol. 31, No. 2, p. 14(2012).
Cao, X., Wei, Y., Wen, F. and Sun, J.: Face alignmentby explicit shape regression, International Journal ofComputer Vision, Vol. 107, No. 2, pp. 177–190 (2014).
Ren, S., Cao, X., Wei, Y. and Sun, J.: Face alignment
at 3000 fps via regressing local binary features, Proceedings of the IEEE Conference on Computer Vision andPattern Recognition, pp. 1685–1692 (2014).
Cao, C., Weng, Y., Zhou, S., Tong, Y. and Zhou, K.:
Facewarehouse: A 3d facial expression database for visual computing, IEEE Transactions on Visualization
and Computer Graphics, Vol. 20, No. 3, pp. 413–425(2014).
Huang, G. B., Ramesh, M., Berg, T. and Learned-Miller,E.: Labeled faces in the wild: A database for studying
face recognition in unconstrained environments, Technical Report 07-49, University of Massachusetts, Amherst(2007).
F.Tarrés, A.: GTAV Face Database, http://gps-tsc.
upc.es/GTAV/ResearchAreas/UPCFaceDatabase/
GTAVFaceDatabase.htm.
Cao, C., Weng, Y., Lin, S. and Zhou, K.: 3D shaperegression for real-time facial animation, ACM Transactions on Graphics (TOG), Vol. 32, No. 4, p. 41 (2013).
Pham, H. X., Pavlovic, V., Cai, J. and Cham, T.-j.:
Robust real-time performance-driven 3D face tracking,© 2019 Information Processing Society of Japan3B-28
2019/3/6

[22]
[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

Pattern Recognition (ICPR), 2016 23rd International
Conference on, pp. 1851–1856 (2016).
Cyberware: Rapid 3D Scanners, http://cyberware.
com/.
Blanz, V. and Vetter, T.: A morphable model for thesynthesis of 3D faces, Proceedings of the 26th annual
conference on Computer graphics and interactive techniques, ACM Press/Addison-Wesley Publishing Co., pp.
187–194 (1999).
Paysan, P., Knothe, R., Amberg, B., Romdhani, S. andVetter, T.: A 3D face model for pose and illumination
invariant face recognition, Advanced video and signal
based surveillance, 2009. AVSS’09. Sixth IEEE International Conference on, Ieee, pp. 296–301 (2009).
Vlasic, D., Brand, M., Pfister, H. and Popović, J.: Facetransfer with multilinear models, ACM transactions ongraphics (TOG), Vol. 24, No. 3, pp. 426–433 (2005).
Cao, Y., Tien, W. C., Faloutsos, P. and Pighin, F.: Expressive speech-driven facial animation, ACM Transactions on Graphics (TOG), Vol. 24, No. 4, pp. 1283–1302(2005).
Zhou, Y., Xu, S., Landreth, C., Kalogerakis, E.,
Maji, S. and Singh, K.: VisemeNet: Audio-Driven
Animator-Centric Speech Animation, arXiv preprint
arXiv:1805.09488 (2018).
高木幸子，平松沙織，田中章浩：日本人の顔と声による感情表現の収録とその評価 (マルチモーダル, 感性情報処理, 視知覚とその応用, 一般)，電子情報通信学会技術研究報告. HIP, ヒューマン情報処理， Vol. 111, No. 283, pp.
51–56 (2011).
GitHub: librosa/librosa Python library for audio
and music analysis, https://github.com/librosa/librosa.
Pterneas, V.:
HOW TO USE KINECT HDFACE,
https://pterneas.com/2015/06/06/
kinect-hd-face/.

817