B1-2

動画から取得した顔の動き数値化と慣性センサによる検証
Verification of the facial movement picked out
from Videos by an inertial sensor
伊藤 敏*1, 井上祥史*2,鷲野 嘉映*3
*1
*2
Satoshi ITOU , Shoshi INOUE , Kaei WASHINO*3*1 岐阜聖徳学園大学経済情報学部*1Fac. Economics and Information, Gifu Shotoku University*2 岩手大学教育学部*2 Iwate University*3 岐阜聖徳学園大学看護学部*3Fac. Nursing, Gifu Shotoku University
Email: itous@gifu.shotoku.ac.jp
あらまし：動画から機械学習の Dlib の学習済みモデルを使い顔検出し，顔の特徴点などの情報を抽出した．慣性センサと同時計測をすることで，得られる情報を検証した結果，顔の水平の動き x，縦の動き yの値を取得できることを確認した．座標情報はテキストデータとして得られるため，数値処理教材として有用であると思われる．
キーワード：慣性センサ，録画，Dlib，顔の動き，数値化

1.

はじめにICT の高度化により，スマートフォンなどの出力を利用して社会生活を送る私たちにとり，ブラックボックス化した結果の利用(顔認証や歩行状態)だけでなく，原理や仕組みに目を向ける教材の必要性は高いと思われる．
我々は学習者自身の動きを数値データとして取得し，数値処理することが可能になる教材として，USBカメラから脈波を取得して処理する教材の提案を行ってきた．
今回，自分の意思で動かすことが可能な顔の動きをテーマに教材を作成することを目的とした．一般に学習者が自身の顔の動きに関心を持つことは容易であり，鏡などで確認が可能である．しかし，その動きを数値データとして処理することは経験がないであろう．
自分で制御が可能な顔の動きを数値データとして取得し，処理する教材を作成することで，学習者の処理選択の自由度を通じた気づきが可能な教材とすることができる．何気ない行動を数値で表現し，処理が可能なことに気づかせるのには適した教材である．本研究では上記システムの開発とそれを用いた教材を作成し，実践で検証することを目的とする．
研究目的である教材作成の第一歩として，頭の動きを検出可能であるかどうかを確かめる．画像から顔の特徴点を抽出するライブラリ Dlib1)を用いる．
本研究では，座位での顔の基本的動きとして，1）首を軸とした左右の動き，2）顔を上向き下向き(上下動)，3）首をかしげる（傾ける）とし，顔の特徴点座標の変化から頭の動きを抽出することを試みる．
同時に，頭頂部に慣性センサを付けて，頭の動きを記録し，Dlib で検出した動きと照らし合わせ，検出の精度などの検証を行う．
本稿の目的は，顔画像を観測し，頭の動きを数値化するツールを提供することである．動画より，顔を検出し，顔の位置，特徴点座標を取得する．それらより，顔の特徴点変動から顔の向き推定を行う．
これらの推定などが正しいかを慣性センサで同時計測を行うことで検証を行う．なお，動画のリアルタ
イム解析は高性能コンピュータが要求されるため，低性能のコンピュータでも処理が可能なように動画は録画をして，解析に供した．
本稿では，2 章で慣性センサによる動き検出法と動画録画の方法と顔検出の方法を記述し，3 章で顔の基本動作の実験例と検証を行い，4 章でまとめる．

2.

方法

座位での顔の基本的動作，a）左右動，b）上下動，c）傾き を一連の動作としてカメラで録画して，同時に頭頂部に慣性センサを付けて計測を行った．その動画から顔を検出し，顔の特徴点座標を得た．それらの特徴点座標より， 頭の動きを推定するのに適した特徴点の動きを検討した．同時に計測した慣性センサより得られた頭の動きと照合をして顔の特徴点からの結果の検証を行う．
2.1 慣性センサ
動きの検出に用いる慣性センサは加速度，角速度，磁気方位が検出可能な BNO055 を用いた．加速度と角速度に加え，DMP(Digital Motion Processor)機能を有効にして quaternion を求め，それらから yaw, pitch，roll を計算した．計測データは無線でコンピュータに送付し，解析を行った．

― 77 ―

教育システム情報学会 JSiSE2019
第44回全国大会 2019/9/11-9/13

2． 目尻（左右）の x，y 座標
特徴点の文中に用いた「左」は動画観測者から見た「左」とした．

3.

顔の向き変動実験

3.1 実験

慣性センサの頭部への装着方向は図 1 に示すように，顔の基本動作，a)左右動は慣性センサの yaw に対応，b)上下動は pitch に，c)傾きは roll に対応するように配置した．

顔の動きは正面を向いた状態をスタート状態とし，動作ごとに正面向きに戻るものとした．動作 a). 左へ右へ，動作 b).上へ下へ，動作 c).左へ傾け，右へ傾け，この順で一連の動作として実施し，記録した．
なお，この動作で用いた「左」は実験協力者自身から見て左を「左」とした．したがって，観測者から見た向きは「右」になる．

2.2 動画録画と顔の特徴点座標の抽出

3.2 慣性センサと顔座標の変化

動画からフレーム毎に機械学習ライブラリであるdlib(1)を用いて顔検出と顔の特徴点 68 点を求めた 2)．
抽出した特徴点を顔画像に配置した様子を図 2 に示す．特徴点の座標は画像の座標値として得られる．
得られた座標は動画の 1 フレーム毎(30fps)に数値として保存され，分析に用いられた解析に用いる顔の特徴点は，次の 2 種とした．
1． 鼻頂点の x，y 座標

慣性センサによる動き検出の結果を図 3a に示す．
顔の鼻頂点 x，y 座標の変化を図 3b に示す．両目尻の x，y 座標の変化を図 3c に示す．
図 3a の慣性センサ結果では動作 a で実験協力者が左に顔を向けたとき z 軸の回転角が+16 度，右が-24度回転し，実施した実験と一致する．顔の特徴点座標からは，同一時間に鼻頂点，両目尻の x が増減し，左へ向くことは画像としては右への移動になり，xが増加するのと一致する．上下変動がない動きなので y は変化しない．
動作 b では慣性センサの y 軸の回転として得られる動作と一致する．鼻頂点では y が減少―増加する．
画像では上下座標がワールド座標と反転するので yの減少は顔の上向き動作と一致する 2)．ｘは変化しない．両目尻の動きも同様である．
動作 c では慣性センサの x 軸回転として得られる動作と一致する．両目尻の動きで左目と右目の y の変化が逆転し，顔を傾ける動作を反映している．その他の動きは鼻頂点と同様である．

図 1．頭部に装着した慣性センサの座標

図 2．顔の特徴点表示

3.3 教材としての可能性
顔の水平移動は x 座標，縦移動は y 座標変化に反映され，学習者に把握しやすい変化が得られた．

4.
ab

まとめ

顔の写った動画から特徴点の座標を取得し，それらから顔の動きを，表計算ソフトなどを使って解析処理することができることが示された．今回は座標の水平垂直変化のみから議論をしたが，傾きを三角関数と関連させることなどの教材としての可能性を持つと考える
本研究の一部は科研費（16K01083,19KK03178）の助成を受けたものである．

参考文献

c図 3．慣性センサによる動き検出(1) http://dlib.net/ 2019 年 6 月 10 日確認(2) S. Itou, Y. Otsuka, K. Washino and S. Inoue:“Extraction ofhuman behavior information from movie with camera byimage analysis”, 2018 Joint International Conference onScience, Technology and Innovation by IEEE, p520-523（2018）― 78 ―