情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A11
2018/3/5

アニマトロニクスの為の表情認識マスクの開発
中䑓久和巨†1平野琢也†2益子宗†3

星野准一†4

概要：アニマトロニクスは，映画をはじめとした多くの映像作品でキャラクターの表現に用いられている．実際に人が，キャラクターの内部に入る装着型のアニマトロニクスは，演者の演技が直に動きに反映されるため，生き生きとしたキャラクターの表現が可能である．本研究では，内部の演者の顔の表情がリアルタイムでキャラクターに反映する為の，表情認識マスクを開発した．従来では，あらかじめ用意した顔の動きや，外部の操作者が付けた動きにあうように，演者が演技をする必要があるが，本システムを用いることにより，演者が直感的にキャラクターを演じることが可能になると考える．

Real-time Expression Control System for Wearable Animatronics
HISANAO NAKADAI†1 TAKUYA HIRANO†2
JUN’ICHI HOSHINO†4

SOH MASUKO†3

Abstract: The animatoronics is used for the expression of the character with many pic-ture works which includes movies. As forthe animatronics mask that the per-son wears of the lively character, the expression of lively character is truly possible because
the actor's performance is reflected directly. In this research, I suggest using an animatronics mask in order to reflect thecharacter's feelings and expressions real time by the actor wearing the mask.Conventionally, it is necessary for the actor to lookgood with the movements and facial expressions beforehand in order to determine if the actor can intuitively play the characterbut thinks that an actor can play a character intuitively by using this system．

1. はじめに映画をはじめとする映像作品には，様々なキャラクターが登場し，私たちを楽しませてくれる．そのキャラクターを表現する手法の一つとして，アニマトロニクスがある．
アニマロニクスは，特殊造形とメカトロニクスの複合技術であり，ディズニー・ワールドの大統領やスター・ウォーズのクリーチャーなど，さまざまなところで使われている．

図 1 試作した表情認識マスク
Figure 1 Prototype of Facial Expression
Recognition Mask

最近では，プロジェクション・マッピングと併用した，ライブスペクタルショーなどでも用いられ，鑑賞者に臨場感あふれる体験を提供している．
アニマトロニクスを用いる方法のひとつとして，演者が直接，身体に装着し操作するものがある．この方法は，演者の動きがそのまま反映でき，他の俳優や観客と直接インタラクションが可能であるため，CG にはない存在感を,俳優や観客に感じさせることができる．
しかし，装着型のアニマトニクスは，演者の動きに合わせて複数の操演スタッフが，担当のキャラクターの部位をリモコンなどで動かしているものが多く，キャラクターを演じている演者と動きを合わせことは難しい．また，キャラクターの表情など細かい演技は操演スタッフの経験や感* †1 筑波大学芸術系
Art & Design, University of Tsukuba.
†2 筑波大学大学院システム情報工学研究科
Graduate School of Systems and Information Engineering, Tsukuba Univ.
†3 楽天株式会社 楽天技術研究所
Rakuten Institute of technology, Rakuten Inc.
†4 筑波大学大学院システム情報系
Faculty of Engineering Information and Systems, Tsukuba Univ.

© 2018 Information Processing Society of Japan性に依るところが大きい．
そこで本研究では，演者の表情リアルタイムでキャラクターに表出する為の表情認識マスクを提案する．
これにより，演者の表情と動作の同期が可能になり，演者は直感的にキャラクターを演じることができ，他の俳優や観客はキャラクターと高いインタラクションを得ることができる．
本研究では，薄型かつ軽量なセンサマスク（図１）により，演者の表情をリアルタイムで認識するシステムを開発した．

2. 関連研究2.1 装着型アニマトロニクスの関する研究
本節では，装着型のアニマトロニクスに関しての先行研究について述べる．吉池ら[1]は，着ぐるみ内部の演者の表226

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A11
2018/3/5

図 1システムの概要

Figure 1

System Chart

情を着ぐるみに表出する，mimicat を提案している．複数のフォトリフレクタを用いて，着ぐるみ内部の演者の口の開閉，まばたきを認識し，外部の着ぐるみの口と瞼を同期させることで，着ぐるみに表情を与えるものである．また，着ぐるみ内部にカメラを取り付け，画像処理で表情認識を行っている．画像処理用いて，着ぐるみの内部の演者の表情をキャラクターに表出するシステムとして，岡ら［2］は，着ぐるみを想定したデバイス内部に取り付けられたカメラにより内部の演者の表情を認識する．デバイス外部にはキ図3

口唇周囲の計測

Figure 3 Measurement of lip movementャラクターの顔が映し出されたモニターがあり，認識したサ値で学習を行い，線形回帰モデルを生成する．これによ表情が，そのキャラクターに表情が反映されるシステムでり，HMD で覆われている顔の表情を推定が可能である．

ある． しかし，どちらのシステムも内部にある装置が大き

残りの口周りの情報は，HMD に設置された RGB-D カメラ

いため，最終的に表情を表出するシステムが巨大になってにより取得する．その後，RGB-D で得られた情報と，推定しまう問題がある．また，どちらも単純な口や瞼の開閉，した顔情報をブレンドしアバタ―を生成している．しかし，識別された各表情が映し出されるシステムであり，細かい

この方法では，RGB-D カメラ顔前面に，取り付けられてい表情の表現までは実現できていない．

ることから，ユーザーにとって負担が大きい．また，ひず

そこで，本研究では限られた空間でも，演者の細かい表みセンサから取得できる表情情報は，主に眉と頬の動きで情を認識，表出できるシステムの構築を目指していく．

あり，細かな視線や，まばたきなど眼瞼の動きなどは取得

2.2 表情認識に関する研究できていない．

本節では，表情認識に関する先行研究について述べる．

そこで本研究は，複数のフォトリフレクタを組み合わせ木村ら[3]は，屋内でもテレビ電話の様に対面コミュニケーたセンサユニット用いることで，薄型かつ，軽量で演者のションを行うための，ハンズフリービデオフォンを開発し負担が少ない表情認識を目指す．加えて,アイトラッキングている．複数の魚眼カメラを用い，顔の側面からユーザーカメラ（Pupil）を用いて視線の動きを取得し,キャラクターの表情を取得することで，ユーザーの視界を遮ることなくの眼球の動きに反映する．これにより，装着型のアニマト使用できる．取得した顔情報からユーザーのアバタ―を生ロニクスの内部のような限られた空間でも使用でき,豊か成し，対話の相手に表示される．しかし，取得できる表情な表情表出が可能になる．

は，目元に限れている．VR 空間上にユーザーのアバタ―

2.3 口唇部周辺の表情の重要性を生成する使用が考えられるが，Oculus Rift をはじめとす

本節では，対人コミュニケーションにおいて，口唇部周る，HMD は顔の上半分を覆ってしまうため，カメラを使辺の表情の重要性について述べる．人の表情は様々な筋肉った表情認識が出来ない問題がある．そこで，Hao ら［4］が複雑に動く事で表現されている．特に口唇部周辺には，は，HMD を利用していても，ユーザーの表情を認識でき筋肉が集中しており 13 の筋肉が密に配置されており，複雑るシステムを提案している．HMD を付けない状態で，フな動きを可能にしている[5]．表情の分析に用いられる，ェイストラッキングを行った各表情の情報と，顔に接地しFacial Action Cording System(FACS)では，外観から人間ている，ひずみセンサの値を取得し，表情と対応したセンの顔の動きを分類し,46 個のアクションユニット（AU）で© 2018 Information Processing Society of Japan227

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

表している．AU において,口唇部周辺だけでも 30 通りの表情がある[6][7]．また，人が言葉を発する際，発話している音と対応する口の動きである，口形素がキャラクターの表現において重要とされている［8］．本研究では，顔の中でも複雑に動く口唇部周辺の表情を，最小部位ごとに分けて計測し，3 次元の移動量を推定する．

1A11
2018/3/5[8]Taylor, Sarah, Barry-John Theobald, and Iain Matthews. "A mouth
full of words: Visually consistent acoustic redubbing." Acoustics,Speech and Signal Processing (ICASSP), 2015 IEEE International
Conference on. IEEE, 2015.
[9] Yuta Sugiura, Masahiko Inami, and Takeo Igarashi, "A Thin
Stretchable Interface for Tangential Force Measurement", The 25th
annual ACM symposium on User Interface Software andTechnology (UIST 2012), pp.529-536, Cambridge, MA, USA, Oct.

入力データとして,表情認識マクスから顔表面までの距離の変化量を計測する．加えて,フォトリフレクタを用いストッキング素材の伸縮を認識する Sugiura ら[9]の先行研究をもとに,唇にストッキング素材が当るように固定し,唇と顎の動きにより,ストッキング素材が伸縮し,その変化量を計測する事で,複雑な口唇周辺の表情を認識する（図 3）3. 提案手法
図 2 に提案手法の概要図を示す．開発した表情認識マス
クには,顔の部位ごとにフォトリフレクタを配置し（全体で43 個）,各センサの値を取得し，入力データとして,機械学習を行う．生成した識別器を用いて,各顔の部位の変化量を推定する．今後,取得した変化量をアニマトロニクスの表情表出ユニットによって，キャラクターの表情として出力させる計画である．現在は，SVM により各表情を AU 単位で識別し,表情認識を行っている．

4. おわりに
本稿では，装着型のアニマトロニクスの内部でも使用可能な，薄型かつ軽量なセンサマスクを開発し,実験を行った．複数のフォトリフレクタとアイトラッキングカメラを用いることで，口唇周辺の AU の認識と,視線入力用いた眼球の制御が可能となった．
今後，センサによる表情と視線認識の精度を向上を目指すともに，実際に表情を反映するアニメトロニクスマスクの制作を進めていく．

参考文献
[1]

[2]
[3]

[4]
[5]

[6]

[7]

Shoji, Rika, et al. "mimicat: face input interface supporting
animatronics costume performer's facial expression." ACM
SIGGRAPH 2012 Posters. ACM, 2012.
岡芳樹，山本正信．表情が変化する着ぐるみ頭部システム.
映像情報メディア学会誌．2014，vol.68,no.2,pp72-77
木村真治，堀越力．複数魚眼カメラを用いたハンズフリービ
デオフォンの開発．映像情報メディア学会誌．2014，vol.68,no.10,pp425-431Li, Hao, et al. "Facial performance sensing head-mounteddisplay." ACM Transactions on Graphics (TOG) 34.4 (2015): 47.
OTA, Nobuyuki, Hisashi ISHIHARA, and Minoru ASADA. "顔ロボット開発に向けた口唇部周辺の複雑で広範な皮膚の流れ場のクラスタ分析.
Cohn, Jeffrey F., Zara Ambadar, and Paul Ekman. "Observer-based
measurement of facial expression with the Facial Action Coding
System." The handbook of emotion elicitation andassessment (2007): 203-221.
アルディス・ザリンス. スカルプターのための美術解剖学２
表情編. 株式会社ボーンデジタル, 2017.

© 2018 Information Processing Society of Japan228