論文

身体動揺の計測による待ち状態の実写アバタ生成
宮内翼†

吉村 宏紀†

正志† a)

西山岩井 儀雄† b)

Generating Image-based Avatars in Wait State by Measurement of Body Sway
Tsubasa MIYAUCHI† , Hiroki YOSHIMURA† , Masashi NISHIYAMA†a) , and Yoshio
IWAI†b)
あらまし 本論文では，インタラクションシステムにおけるアバタの待ち状態に人間に近い動きを加えるために，あたかも人間と同じような身体動揺をもつ実写アバタを生成する手法について述べる．既存手法は行動状態のアバタ生成に主眼を置いており，その前後に存在する待ち状態については十分に考慮されていなかった．ユー
ザがアバタと円滑にインタラクションを行うためには待ち状態が重要であり，提案手法では実際の人間から計測した身体動揺を実写アバタの待ち状態で再現することを考える．提案手法は，直立姿勢を対象としカメラ映像中の人物領域から身体の各部位の振動量を計測する．得られた振動量の時間変化から特徴を抽出し，映像中の時刻をランダムに遷移することで，実写アバタの身体動揺を任意の時間長で生成する．提案手法により身体動揺を再現した実写アバタは，待ち状態において人間に近い動きをすることを主観評価で確認した．
キーワード

アバタ，身体動揺，直立姿勢

人間的な揺れ	

1. は じ め に

待ち状態	

行動状態	

近年，人間と機械とが自然にインタラクションを行うシステムに向けてアバタ [1]〜[6] が数多く開発されており，社会の様々な場面で応用が期待されている．
例えば，エントランスで施設の案内をするアバタ [1]，
看護実習における患者アバタ [2]，博物館で案内をする
アバタ [3]，過去の体験を語るアバタ [4] などが実現さ

実写アバタ	

実写アバタ	
ユーザ	ユーザ	

れている．これらのアバタを用いることで，場所や時間の制約を受けずユーザに対してインタラクションができるようになる．本論文では，このようなインタラ

図 1 実写アバタに必要な待ち状態と行動状態．
Fig. 1 Image-based avatar system need wait state
and action state.

クションシステムの中でも，特に大型ディスプレイ上に実際の人間を映しだす実写アバタ [4]〜[6] に注目する．実写アバタは既設の大型ディスプレイを積極的に

このようなインタラクションシステムにおいて自然活用できる利点がある．以下では実写アバタのシステな実写アバタを再現するためには，ユーザとの対話なムとして，空港やチケットセンターなど特定の場所にどの行動状態に加えて待ち状態を取り扱う必要がある．

設置された情報端末を考える．実写アバタは端末内も実写アバタは人間との間で何らかの行動を常にとっ

しくはその付近に存在し，具体的なインタラクションている訳ではなく，行動の前後に待ち状態が存在するとしてユーザへの挨拶や端末操作の案内を想定する．

(図 1)．ここで述べる待ち状態には，ユーザとの対話が開始される前で相手が来ることを待つフェーズと，†

鳥取大学大学院工学研究科情報エレクトロニクス専攻，鳥取県
Graduate School of Engineering Department of Informationand Electronics，Tottori Universitya) E-mail: nishiyama@eecs.tottori-u.ac.jpb) E-mail: iwai@ike.tottori-u.ac.jp

電子情報通信学会論文誌

ユーザとの対話中に相手の反応を待つフェーズに分けられる．本論文では，前者の待ち状態を対象とし，ア
バタ 1 体とユーザ 1 名が存在する状況について議論する．対話前の待ち状態が適切に実写アバタに組み込ま

c （社）電子情報通信学会 2017
X Vol. J100–D No. 3 pp. 365–375 ⃝365電子情報通信学会論文誌 2017/3 Vol. J100–D No. 3

れていないと，ユーザは実写アバタに話しかけて良い

クタにユーザの状況に応じた情報を与えることでアバかどうか判断できず，インタラクションが円滑に開始

タ画像を生成している．一方，実際の人物を撮影した

されない問題がある．例えば，待ち姿勢の静止画を表

映像を用いて実写アバタを生成する手法 [4]〜[6] が提示し続けた場合や，人間の動きとは違う不自然な映像

案されている．一般的にコンピュータグラフィクスにを表示した場合，ユーザはシステムが対話を待ってい比べて実写の方がアバタの見た目は本物の人間に近づる状態とは判断できず，システムが異常動作している

くことが多い．ただし，実写アバタはカメラで撮影しと判断する恐れがある．実写アバタの既存手法 [4]〜た映像しか動きを再現できない課題が存在する．この[6] は行動状態を対象としていたものの，待ち状態を十課題を解くことを目指し，撮影した映像から新たな人分に考慮していない課題があった．

物画像を生成する手法 [9]〜[13] が提案されている．文

ここで，対話前の待ち状態として受付などでよく見献 [9], [10] では会話時の顔画像の生成について述べらかける直立姿勢について考える．直立姿勢の人間が待れており，文献 [11] では会話時の人物の全身画像の生ち状態においてどのような動きをするかを実際に観察成について述べられている．さらに文献 [12] では複数すると，ある位置を中心とし絶えず揺れ動いているこ人による同時動作を編集する手法が提案されており，とが分かる．これは身体動揺 [7] と呼ばれており，一

文献 [13] では複数の動作を時間方向に滑らかにつなぎ部の筋肉に負担が掛からないように上手く負担を分散

合わせる手法が提案されている．しかし，これらの既するよう人間は無意識の内に体を制御している．

存手法は，行動状態の中で動きのある人物画像を取り

そこで本論文では，実際の人間から身体動揺の振動扱っているが，待ち状態の中で微動している人物画像

量を計測しアバタで再現することで，待ち状態でも人については十分に考慮されていなかった．文献 [4] で間的な動きができる実写アバタを生成する手法を提案

は，あるインタラクション映像と別のインタラクショ

する．身体動揺を計測するために，カメラ映像から体ン映像をつなぐため，映像の終了フレームと開始フの部位毎に振動量を求める．計測された振動量の時間

レームとの間をモーフィングで補完する手法が提案さ変化から特徴を抽出し映像をランダムに遷移させるこれている．この手法のように単純なモーフィングでは，とで，実写アバタの身体動揺を任意の時間長で生成す

人間の身体動揺を忠実に再現しているとは言えなかっる．提案手法を用いることで，実写アバタが人間的なた．また文献 [14] では，モーションキャプチャした被動きに近づくことを主観評価で確認した．

写体の関節位置の動きを用いることで，CG アバタの

以下では，2. で関連研究について紹介し，3. で身体待ち状態を制御する手法が提案されている．ただしこ

動揺の計測手法とその結果について述べ，4. で身体動の手法は関節のみを対象としているため，全身の映像

揺の再現手法と実写アバタ上での再現結果について述を用いる実写アバタにはそのまま適用できない問題がべる．最後に 5. でまとめる．

あった．提案手法では，待ち状態の人間で必ず発生す

2. 関 連 研 究
情報端末における案内を想定したシステムにおいて，ユーザがアバタと自然にインタラクションするたる身体動揺を被写体の映像から解析し，実写アバタにおいて忠実に再現する課題に取り組む．

3. 身体動揺の計測

めには，アバタの立ち居振る舞いに対し，あたかも本

3. 1 実写アバタで要求される身体動揺

当の人間であるかのようにユーザが感じることが望ま

本論文では，エントランスでの受付など周囲からのしい．実際の案内者に近いと感じさせるアバタを実現

目がある状況において，直立姿勢の人間に生じる身体するためには，文献 [8] でも述べられているように，イの揺れを取り扱う．この身体動揺を実写アバタで再現

ンタラクションシステムの全体構成として，ユーザのするためには，カメラ映像中でどのように人間の身体状況やユーザとの会話を理解する要素技術に加えて，が揺れているかを計測することが必要となる．さら

アバタの画像と音声を自然に生成しユーザに伝達するに，身体の部位毎に揺れ方が異なるのかどうかも合わ

要素技術が必要である．特に，アバタの画像生成は見せて確認する必要がある．実写アバタの待ち状態の映た目に直結する重要な要素技術であり，身体や顔の動像は，直立姿勢の被写体が正面から撮影されることをきについて近年盛んに研究が進められている．既存手想定している．ただし身体の揺れは微小であるため，

法 [1]〜[3] では，コンピュータグラフィクスのキャラ

カメラのフレームレートや画素数，カメラから被写体

366

論文／身体動揺の計測による待ち状態の実写アバタ生成
m t ：比較マスク画像	
左に揺れる	

m r：参照マスク画像	

mt

右に揺れる	

m r − mtm r − mt

Fig. 3

各時刻におけるマスク画像の比較．赤色は人物から背景に変化した領域を表し青色はその逆を表す．
Fig. 2 Comparing body mask images on each time.

左頭	

右頭	

左肩	

右肩	

左手	

右手	

左足	

右足	

図 3 身体動揺を計測する部位領域の例．
Body part regions for measuring body sway.

図2

ただし，mr (x), mt (x) は x で指定された位置の画素値を表し，parts(i) は身体部位 i で指定された領域を表す．これらの領域の大きさと位置は時間方向に変化までの距離など撮影条件の影響，および，計測手法の誤差の影響で十分に観測されない可能性もあると考えられる．本論文では，実写アバタの被写体を撮影する
環境において，提案手法で本当に身体動揺が計測されるかどうかを検証する．
まず身体動揺を計測する手法について議論する．一
般的に重心動揺計 [15] を用いることが多いが，この装させず固定とし，例えば図 3 のように設定する．指定された領域において，人物から背景に変化した画素数が多ければ di は正の値をとり，背景から人物に変化
した画素数が多ければ di は負の値をとる．なお，参照マスク画像の参照時刻 r は，部位毎の振動量の合計からアルゴリズム 1 で求まる．d˜i は，ある時刻 r̃ を
仮の参照時刻とした際の振動量を表す．

置は足元の圧力を計測するため，体の部位毎の揺れを扱うことはできない．一方，加速度センサや角速度センサを身体の各部位に装着して計測する手法 [16], [17]が提案されている．これらの手法はカメラとセンサの間で時間同期が難しく，体に取り付けたセンサが見え隠れする問題がある．近年では複数台カメラを用いて重心位置を計測する手法 [18] や距離センサを用いて人間の関節位置から重心位置を計測する手法 [19] も提案

Algorithm 1 参照マスク画像の参照時刻 r の決定
for r̃ = 1 to N doDr̃ ← 0for t = 1 to N do
compute d˜i using mr̃ , mt
∑ ˜
Dr̃ ← Dr̃ +|di | for all body partsend forend forr ← arg min Dr̃

されている．ただし，これらの手法は重心位置のみを取り扱っており部位毎の変化までは十分に検討されていなかった．本論文ではカメラ映像のみを採用し，部
位毎の揺れを身体と非接触で新たに計測する．以下では，類似する揺れ方が繰り返し表れると仮定した上で設計した計測手法を 3. 2 で述べ，その性能を 3. 3 で確認する．
身体動揺を計測するために人物領域の画素値を 1とし背景領域の画素値を 0 とするマスク画像を用いる．身体動揺の中心となる参照時刻 r が与えられると，カメラ映像から参照マスク画像 mr を生成し，時
刻 t ∈ 1, ..., N における比較マスク画像 mt との間で，
図 2 のように時間方向の差分を求める．提案手法における身体動揺の振動量 [画素] は式 (1) で計算される．

di =x∈parts(i)(mr (x) − mt (x))

3. 3. 1 振動量の計測結果
提案手法の計測性能を評価するために実験を行った．
被写体 5 名 (平均年齢 21.4 ± 0.5 歳) に対し 180 秒間の直立姿勢を撮影した．被写体に撮影中はカメラへ視線を向け両足の踵をつけた姿勢を維持するよう指示し

3. 2 計 測 手 法∑

3. 3 計測性能の評価(1)

た．カメラのフレームレートは 30 フレーム毎秒で解像度は 1920 × 1080 画素とした．カメラは床面から90 センチメートルの高さに設置し，カメラと被写体の距離は 200 センチメートルとした．グリーンバックを用いた背景差分によりマスク画像を生成した．人物領域の外接矩形の大きさは約 300 × 950 画素であった．
被写体毎の振動量 di の標準偏差を表 1 に示す．身体部位は人手で与えた図 3 の頭，肩，手，足とし，各領域の大きさは 70 × 70 画素とした．実験結果より，被写体毎に振動量の標準偏差は異なるため，振動量に367電子情報通信学会論文誌 2017/3 Vol. J100–D No. 3
表 1 身体動揺の振動量 di の標準偏差 [画素]．
Table 1 Standard deviations of vibration amounts
被写体
A
B
C
D
E
平均

左頭 右頭 左肩 右肩 左手 右手 左足 右足483 489 328 372 284 301 117 146
214 185 176 123 127884648
306 312 253 233 216 145
8387364 434 243 339 174 184
8998
321 330 258 270 204 208
91
88
338 350 252 267 201 1858593の境目が曖昧な領域が存在するため以下の検証を行った．この実験では，背景差分から求めたマスク画像を用いた場合と人手で抽出したマスク画像を用いた場合とを比較した．人手による抽出は，グリーンバックと人物の境界を目視で確認しながら人物領域を設定した．
被写体 5 名の参照マスク画像と，映像からランダムに選択した 15 枚の比較マスク画像を用いた．振動量の絶対値 |di | について平均を比較した結果を図 6 に示は個人差が存在することが分かった．ただし，部位間す．この結果より，人物領域の抽出誤差の影響は十分の大小関係は被写体間で共通であったため，開眼時にに小さいことが分かった．これにより，3. 3. 1 の実験

カメラに視線を向けた直立姿勢において，振動量は身

結果は人物領域の抽出誤差にそれほど影響されないと体の上部位ほど大きく身体の下部位ほど小さいことが言える．

確認された．なお，今回の実験では振動量 di が約 380

次に，距離センサで獲得した関節位置を用いて揺れ

画素ほど変化すると，身体部位が実世界で約 1 センチの大きさを計測する場合と比較した．ここでは既存手

メートル移動したことに相当した．

法 [19] でも用いられている Microsoft Kinect v2 で獲次に，身体の各部位における振動量 di の時間変化

得した関節位置とカラー画像を利用した．Kinect かを図 4 に示す．図中の波形は被写体間で大きく違うたら出力される関節位置と提案手法の身体部位の位置は

め，振動量の時間変化にも個人差が存在することが分異なるため，この実験では以下で述べる重心を評価にかった．ただし，部位毎の時間変化に着目すると，頭用いた．Kinect を用いる手法では，同時刻のカラー画が左方向に動けば肩，手，足も共に同じ方向に動いて像上に射影した二次元の関節位置から重心を求めた．

おり，左側の部位が動けば右側の部位が逆の方向に動なお Kinect が出力する全ての関節位置を重心計算にいていた．他の被写体でも同様の結果がみられた．以用いた．提案手法では，Kinect のカラー画像から抽出上の結果より，振動量の時間変化の傾向は部位間でほしたマスク画像に含まれる人物領域の全身を用いて重ぼ等しいことが確認された．

心を求めた．さらに，Kinect のカラー画像から人手でさらに振動量の時間変化の特徴について検証した．

抽出した人物領域の重心を求めた．評価指標として，

ここでは被写体 A の左頭の振動量について特徴を図 5

一定時間が経過した後に重心がどれだけ動いたかを表に示す．振動量がほぼ 0 の参照時刻が時間方向に繰りす移動量を用いた．Kinect で撮影した映像において，返し出現しており，それらの時刻の間に存在する波形

第 1 時刻をランダムに設定し，その時刻から (0, 80)

は多峰性の弧を描いていた．参照時刻は 180 秒間の中秒の区間で第 2 時刻をランダムに設定した．第 1 時刻

で 25 個存在し，10 秒のような間隔が短い区間でも 4と第 2 時刻のペアを 15 組準備した．第 1 と第 2 の時個存在していた．このように短時間の計測でも揺れの刻の間の平均移動量を計算した結果，人手で抽出した特徴が表れることが分かった．同じような特徴が他の場合は 3.4 画素であったのに対し，提案手法は 3.5 画

被写体でも表れていた．以上より，振動量の時間変化

素，Kinect を用いた手法は 4.7 画素であった．提案手の特徴として，参照時刻は映像中で複数回出現し，そ法は，Kinect を用いた手法と比べて人手で抽出した場

れら参照時刻の間における映像には身体の揺れが存在

合に移動量が近いことが分かった．この原因として，することを，実写アバタの被写体を撮影する環境におKinect から出力される足や手の関節位置は誤差が大いて確認した．

きかったことが考えられる．以上より，身体の微小な3. 3. 2 計測誤差の検証

動きを計測する場合，Kinect から出力される関節位置提案手法は背景差分による人物領域の抽出精度に依を単純に適用できるとは限らないことが分かった．

存しており，計測した振動量が抽出誤差に埋もれていないかを確認した．提案手法はグリーンバックを用い

4. 実写アバタにおける身体動揺の再現

たが，相互反射の影響でグリーン成分が衣服領域に混

4. 1 再現手法の方針じる場合や，人の影でグリーンバック領域の色が衣服

実写アバタにおいて身体動揺をどのように再現するの色に近づく場合が見られた．このように人物と背景かについて述べる．ここでは，身体動揺を計測した被368

論文／身体動揺の計測による待ち状態の実写アバタ生成600	

振動量[画素]	

振動量[画素]	

1500	

0	

-1500	
0	

-600	
0	

180	

時間[秒]	
(a)被験者Aの左部位	

0	

180	

時間[秒]	
(c)被験者Aの右部位	
：頭	

0	

-600	
0	

180	

時間[秒]	
(d)被験者Bの右部位	

：肩	

：手	

：足	

図 4 身体の各部位の振動量 di の時間変化．
Measuring time change of movement of body sway for each body part.

振動量の絶対値平均[画素]Fig. 41500

振動量[画素]180	

時間[秒]	(b)被験者Bの左部位	

600	

振動量[画素]	

振動量[画素]	

1500	

-1500	
0	

0	

0

400
：人手による抽出
：提案手法
200

0

頭

肩

手

足

：参照時刻
：揺れ
-1500

0

Fig. 5時間[秒]180

図 5 振動量の時間変化の特徴．
Features of time change of vibration amountsof body sway.

図 6 背景差分による振動量の計測性能の比較．
Fig. 6 Performance of measuring vibration amounts
using a background subtraction method.

より遷移時の体の揺れを滑らかに繋げ，遷移時以外は揺れをそのまま再生することで，提案手法は身体動揺

写体そのものを実写アバタとし，本人自身の揺れを任を任意の時間長で生成することができる．

意の時間長で再現する場合を考える．この場合，図 5

ただし，ここまでの身体動揺の計測の議論では順方で確認した身体動揺の特徴について，参照時刻が複数向の時系列しか取り扱っていないため，ランダム遷移

出現することを明示的に利用でき，参照時刻の間の揺により時刻が不連続に変化する場合は，再現時に新たれを暗に利用することができる．提案手法では，実写な問題が発生する．ランダム遷移の参照時刻を抽出す

アバタのモデルを撮影した映像から身体動揺の参照時

るためにマスク画像のみを用いた場合，人物領域の形

刻を複数抽出し，それらの時刻をランダムに遷移しな状は似ているが，髪や衣服や手のずれなど身体前面のがら映像を再生する．その流れを図 7 に示す．これにテクスチャは似ていない時刻が選ばれる可能性があ369

電子情報通信学会論文誌 2017/3 Vol. J100–D No. 3

る．このような参照時刻で遷移すると，映像中に不連続な変化が含まれるためユーザが違和感を覚える．自r1

然な身体動揺の映像を生成するためには，形状に加え

r2

r3

r4

rk
時間[秒]	て全身の見え方も考慮する必要がある．また，ユーザは顔の見え方の変化にも敏感である．例えば目や口など顔に含まれる部品が時間方向に不連続に変化し，急に閉じたり開いたりすると違和感を覚える．このため提案手法は，参照時刻を抽出する際に顔の見え方変化も考慮に加える．以下では再現手法の詳細について述

図7

参照時刻 rk の集合を用いた身体動揺の再現．提案
手法は参照時刻をランダムに遷移し映像を再生する．
図中の黒矢印は撮影した映像の時間の流れを表し，
青矢印は再現した映像の時間の流れを表す．
Fig. 7 Synthesizing a video sequence of body sway
using a set of reference times.

べる．
ることで統合類似度 st を式 (5) で求める．

4. 2 形状と見え方の類似度の算出
身体動揺を再現するために，提案手法は人物領域の形状，人物領域の見え方および顔の見え方の類似度を

st = αst,s + βst,a + γst,f(5)

各時刻で求める．時刻 t における人物領域の形状を表

ただし，α + β + γ = 1 とする．各類似度の値域はすマスク画像を mt ，人物領域の見え方を表すカラー[0, 1] であるが，実際には偏りが存在するため α, β, γ

画像を at ，顔の見え方を表す顔画像を ft とする．マでスケーリングを行う．また，統合する際にどの類似

スク画像 mt は身体動揺の計測で述べた手法と同様に度を重視するかの制御も可能である．統合類似度を用

背景差分から算出する．カラー画像 at はカメラ映像

いることで，映像を遷移する際に身体の変化が少なくの各フレームとする．顔画像 ft は顔追跡手法 [20] でなる時刻の集合を抽出することを狙う．なお，初期参得た特徴点を利用し顔向きを正面に正規化した領域と照時刻 r0 は，st を用いてアルゴリズム 2 を適用する

する．初期参照時刻 r0 が与えられたとすると，時刻 t

ことで求まる．

における人物領域の形状の類似度 st,s は式 (2) で求

Algorithm 2 初期参照時刻 r0 の決定．

まる．

st,s = e−λ

∑

|di |

(2)

ここで，λ は定数とし，di は mr0 , mt から算出した振動量とする．この式では身体部位毎に求めた振動量の大きさの合計値を用いる．この類似度 st,s を，人物領
域と背景領域との入れ替わりが少ない時刻を抽出する

for r˜0 = 1 to N do
Sr˜0 ← 0
for t = 1 to N do
compute s̃t using mr̃0 , ar̃0 , fr̃0 , mt , at , ft
Sr˜0 ← Sr˜0 + s̃t
end forend forr0 ← arg max Sr˜0ために用いる．次に，人物領域の見え方の類似度 st,aは式 (3) で求まる．

st,a = SSIM(ar0 , at )4. 3 参照時刻の集合を用いた映像遷移(3)

自然な身体動揺の映像を再現するために，提案手法
は参照時刻 rk の集合を利用する．この集合は，初期

ここで，SSIM は人の主観に近い類似度を算出する

参照時刻の身体状態に近い状態を持つ時刻をアルゴリ

Structural SIMilarity [21] を表す．この類似度 st,aズム 3 で抽出することで求まる．提案手法は，参照時を，人物領域内のテクスチャ変化が少ない時刻を抽出

刻の条件として，st の時間変化において極大点となるするために用いる．次に，顔の見え方の類似度 st,f はこと，かつ，st が閾値 T1 より大きいことを設ける．

式 (4) で求まる．

ただし，これらの条件だけでは非常に近い時間間隔で

st,f = FaceSimilarity(fr0 , ft )(4)抽出されることもあるため，閾値 T2 以上離れた時刻を選択する条件も設ける．

ここで，FaceSimilarity は顔画像のエッジから特徴量

次に，参照時刻の集合を用いた映像遷移の手法につを求めコサイン類似度を算出する．この類似度 st,f

いて述べる．抽出された時刻 rk の集合から，ランダを，目の瞬きや口の開閉など顔の表情変化が少ない時

ムに 1 つの時刻を選択し，そこから次の参照時刻にな刻を抽出するために用いる．これらの類似度を加算するまでのカラー画像 at をディスプレイ上で再生する

370

論文／身体動揺の計測による待ち状態の実写アバタ生成

Algorithm 3 参照時刻 rk の抽出．
for t = 1 to N do
compute st using mr0 , ar0 , fr0 , mt , at , ft
if st is local maximum, st > T1 , interval > T2 then
add time t to set of reference times
end ifend for(アルゴリズム 4)．このランダム選択を繰り返すこと

Fig. 8図 8 評価に用いる実写アバタ．
Image-based avatars for evaluations.

で身体動揺を任意の時間長で再現する．これにより，身体動揺の振動量が異なる画像列をランダムにつなげ左頭

右頭

合わせることができ，自然な身体動揺が実写アバタで左肩右肩再現される．

左手

右手

左足

右足

Algorithm 4 身体動揺の生成．
while true doselect rk randomly from set of reference times
for t = rk to rk+1 do
display color image at
end forend while

図9

人物領域の形状の類似度を算出するために用いた部
位領域 (女性の実写アバタの場合)．
Fig. 9 Body parts for computing shape similarities(female image-based avatar).

4. 4 再現手法の評価
4. 4. 1 主観評価の結果
いて評価した．図 8 の男女 2 体の実写アバタを用いた．どちらの実写アバタも直立姿勢としたが，女性の実写アバタは手を前で組むこととした．実写アバタのモデルとなる人物に直立姿勢を維持させ 30 秒間の映像を撮影した．この映像の先頭から 10 秒間を参照時

提案手法
	
V3 V2

V4

提案手法により身体動揺を再現した実写アバタにつ
-­‐3	
  

-­‐2	
  

-­‐1	
  

近くない	

0	
  

1	
  

V1
2	
  

人間の動きに	
近い	

図 10 実写アバタの身体動揺に対する主観評価の結果．
Fig. 10 Subjective assessment of synthesized bodysway of avatars.

刻の抽出対象とし，新たな 30 秒間のアバタ映像を生成した．抽出された参照時刻の個数は両アバタともにペアの映像が順に再生された後に，どちらの映像がよ

4 個であった．提案手法のパラメータは α = 0.2, β =り人間の自然な動きに近いかを回答した．一対比較の−5

0.7, γ = 0.1, λ = 1.0 × 10

, T1 = 0.97, T2 = 1 とし各映像を 30 秒間とした理由は，順に映像を被験者がた．類似度 st,s を算出する際の部位領域は，男性アバ

見ていくため，それ以上の長さとした場合は比較のた

タの場合は図 3 とし，女性アバタの場合は図 9 としめに再生した前の映像の印象が薄れてしまい回答が曖た．比較のために次の 4 つの手法を用いて主観評価を昧になったためである．

行った．

主観評価の結果を図 10 に示す．図中のスコアが大V1：(理想) 撮影した 30 秒間の映像をそのまま再生．

きいほどアバタの動きが人間に近いとの同意が多かっV2：(提案手法) 生成した 30 秒の映像を再生．

たことを表す．この実験結果より，提案手法 V2 は比

V3：(比較手法 1) 先頭 10 秒間の映像を 3 回連続再生．

較手法 V3, V4 と比べて人間の動きに近いことが分

V4：(比較手法 2) 一枚の静止画像を 30 秒間表示．

かった．図 11 に主観評価に用いた映像の例と振動量

主観評価にはサーストンの一対比較 [22] を用いた．被の可視化の例を示す．この図より，V3 は連続再生の遷

験者は 11 名 (男性 9 名，女性 2 名，平均年齢 21.6 ± 0.8

移時に振動量 (図中の赤色と青色の領域) が大きいため

歳) とし，80 インチの縦置きディスプレイから 1.5

揺れに不連続が生じていることが分かる．一対比較のメートル離れた位置に立った．各手法の映像をペアで後に自由記述のアンケートを取ったところ，V3 は映

4 C2 = 6 回だけランダムな順番で提示した．被験者は像の途中でアバタが急に動くことがあり不自然であっ371

電子情報通信学会論文誌 2017/3 Vol. J100–D No. 3

時
刻

時
刻

遷
移

遷
移

V2：提案手法	(a)男性アバタ	

図 11

372

V3：比較手法1			

V1：理想	

V1：理想	

V2：提案手法	

V3：比較手法1	(b)女性アバタ	

主観評価に用いた映像と振動量の可視化の例．赤色は人物から背景に変化した領域を表し青色はその逆を表す．
Fig. 11 Examples of video sequences and visualizations of movements.

論文／身体動揺の計測による待ち状態の実写アバタ生成に多いことから分かる．このため V1 の主観評価の結果が V2 より高かったと考えられる．以上より，身体動揺を提案手法で再現することで，実写アバタの動きが人間に近づくことを確認した．

4. 4. 2 ランダム遷移と単純遷移の比較
ランダム遷移を用いて身体動揺を生成する有効性について評価した．ここでは 2 つの参照時刻で挟まれる
短区間を繰り返す単純遷移と比較した．4. 4. 1 で述べたように，10 秒間のアバタ映像には男女のアバタともに 4 個の参照時刻が含まれており，参照時刻で挟まれる短区間は 3 個存在した．それぞれの短区間の時間
長は，男性アバタが 3.1 秒，2.0 秒，2.9 秒，女性アバ
タが 4.0 秒，1.6 秒，1.7 秒であった．図 13 に各短区間における頭部の振動量 di の時間変化を示す．最も時間が長い短区間を繰り返す場合を単純遷移 1，その短区間と次に時間が長くかつ揺れの方向が異なる短区
時
刻
遷
移間を交互に繰り返す場合を単純遷移 2 とした．なお，
女性アバタの 4.0 秒の短区間には瞬きの影響で左右の	

揺れが含まれていたため，単純遷移 1 および単純遷移

2 には用いなかった．それ以外の短区間は左右どちらかの振れが含まれていた．図 12 に単純遷移 1 で生成したアバタ映像の例と振動量の可視化の例を示す．この図より，遷移時の振動量が小さく映像は滑らかに繋がっているが，同じ動きが繰り返されていることが分
かる．
ランダム遷移と単純遷移 1 と単純遷移 2 で生成した

30 秒間の映像を 11 名の被験者に見せ，人間的な動きに近い方を選択させた．図 14 にランダム遷移と比較した時の単純遷移 1 と単純遷移 2 の得票数を示す．その結果，ランダム遷移の得票数が，単純遷移 1 と比べて大幅に多かった．単純遷移 2 と比べるとランダム遷移が僅かではあるが得票数は多かった．以上のことか
ら同じ揺れを単純に繰り返し再生するより，複数の参照時間をランダムで遷移させる方が人間的な動きに近づくことを確認した．
図 12 単純遷移で生成した映像と振動量の可視化の例．
Fig. 12 Examples of video sequences and movementsof simple transitions.

4. 4. 3 各類似度の有効性の検証
参照時刻を抽出するために用いた各類似度の有効性を評価した．統合類似度 st の場合，人物領域の形
状の類似度 st,s のみの場合，人物領域の見え方の類たという意見がでた．なお，V2 と V3 を比較した際似度 st,a のみの場合，顔の見え方の類似度 st,f のみの得票数は V2 が 17 票で V3 が 5 票であった．一方，の場合で生成した映像についてサーストンの一対比

V2 は遷移時に振動量が残り，V1 と比べると不連続が較を用いて主観評価を行った．全ての場合において発生していた．これは図 11 の上から 3 番目と 4 番目

4. 4. 1 で用いた 10 秒間のアバタ映像から 30 秒間の身の振動量に注目すると，V1 と比べて V2 の方が僅か

体動揺の映像を生成した．統合類似度を算出する際の373

電子情報通信学会論文誌 2017/3 Vol. J100–D No. 3

st , f

振動量[画素]

2500

-1

-0.5

st

st ,a
0

0.5

1

人間の動きに近い

近くない

図 15 各類似度を用いた場合の主観評価の結果．
Fig. 15 Subjective assessment using each similarity.

0

-2000

0

10

時間[秒]
(a) 男性アバタ

することの有効性を確認した．

5. ま と め

2500
振動量[画素]st , s

本論文では，待ち状態の実写アバタで人間に近い動きを再現するために，身体動揺を計測し再現する手法
0

-2000

について述べた．体の部位毎に振動量の時間変化を計測することで，身体動揺の中心となる参照時刻は映像中で複数回出現し，参照時刻の間には身体の揺れが存
0

10

時間[秒]
(b) 女性アバタ

在することを確認した．これらの特徴を利用し参照時
刻をランダムに遷移することで，任意の時間長の身体

図 13

各短区間における振動量の時間変化．丸印は参照
時刻，矢印は短区間を表す．
Fig. 13 Time change of movement for avatar video
sequences.

動揺を再現する手法について述べた．主観評価により，提案手法は比較手法と比べて人間の身体動揺に近いことを確認した．今後の課題として，待ち状態から行動状態へ滑らかに遷移する手法の開発や実稼働するイン
タラクションシステムでの評価，身体動揺を計測した

ランダム遷移単純遷移1

被写体とは別人の実写アバタでその揺れを再現する手法の検討，顔全体ではなく参考文献 [23] のように表情の基本単位に注目した類似度の設計などが挙げられる．

単純遷移2
0

11
得票数

22

図 14 ランダム遷移と単純遷移の主観評価の得票数．
Fig. 14 Comparison of the number of votes between
our method and the alternative methods.

文
[1]

献

大浦圭一郎, 山本大輔, 内匠逸, 李晃伸, 徳田恵一. キャ
ンパスの公共空間におけるユーザ参加型双方向音声案内
デジタルサイネージシステム. 人工知能学会誌, Vol. 28,
No. 1, pp. 60–67, 2013.

[2]

高橋範子, 小野光貴, 渡辺富夫, 石井裕. 看護実習生-患者役アバタを介した看護コミュニケーション教育システム.

α, β, γ は 4. 4. 1 と同じとした．生成前の 10 秒間の映

人間工学, Vol. 50, No. 2, pp. 84–91, 2014.
[3]

S. Robinson, D. Traum, I. Ittycheriah, and J. Hen-像において各類似度の平均値と標準偏差を算出したとderer. What would you ask a conversational agent?

ころ st は 0.967 ± 0.010，st,s は 0.987 ± 0.008，st,aobservations of human-agent dialogues in a museum
setting. In Proceedings of the Sixth International

は 0.970 ± 0.008，st,f は 0.912 ± 0.085 であった．

Conference on Language Resources and Evaluation,

主観評価の結果を図 15 に示す．この結果より，st,aを用いた場合は，st,s や st,f を用いた場合と比べてス

pp. 28–30, 2008.
[4]

H. Maio, and S. Smith. Time-oﬀset interaction with a

合のスコアは，各類似度を単体で用いた場合と比べてholocaust survivor. In Proceedings of the 19th Inter-

高くなることが分かった．主観評価のスコアと α, β, γnational Conference on Intelligent User Interfaces,の大小関係は同じであった．人物領域の見え方を重視
し，かつ，類似度が取り得る値のスケーリング効果を考慮することが α, β, γ の設定に重要であると考えられる．以上より，各類似度を統合して参照時刻を選択
374

R. Artstein, D. Traum, O. Alexander, A. Leuski,
A. Jones, K. Georgila, P. Debevec, W. Swartout,

コアが高くなることが分かった．また，st を用いた場

pp. 163–168, 2014.
[5]

A. Jones, J. Unger, K. Nagano, J. Busch, X. Yu, H. I.
Peng, O. Alexander, M. Bolas, and P. Debevec. An
automultiscopic projector array for interactive digital humans. In ACM SIGGRAPH 2015 Emerging

論文／身体動揺の計測による待ち状態の実写アバタ生成
Technologies, p. 6:1, 2015.
[6]

[20]

model fitting by regularized landmark mean-shift.

アバタを用いた対人インタラクションシステムの構築. 電IEEE international Journal of Computer Vision,

気学会論文誌 C, Vol. 134, No. 4, pp. 102–111, 2013.
[7]

産業技術総合研究所人間福祉医工学研究部門. 人間計測ハVol. 91, No. 2, pp. 200–215, 2011.
[21]

ンドブック. 朝倉書店, 2003.
[8]celli. Image quality assessment: from error visibility
to structural similarity. IEEE Transactions on Im-

and N. Badler. Creating interactive virtual humans:

age Processing, Vol. 13, No. 4, pp. 600–612, 2004.
[22]

L. L. Thurstone. A law of comparative judgment.
Psychological Review, Vol. 34, No. 4, pp. 273–286,

Vol. 17, No. 4, pp. 54–63, 2002.
W. Mattheyses and W. Verhelst. Audiovisual speechsynthesis: An overview of the state-of-the-art. Speech[10]

Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simon-

J. Gratch, J. Rickel, E. Andre, J. Cassell, E. Petajan,some assembly required. IEEE Intelligent Systems,[9]

J. M. Saragih, S. Lucey, and J. F. Cohn. Deformable

原健太, 堀磨伊也, 武村紀子, 岩井儀雄, 佐藤宏介. 実画像

1927.
[23]

竜己坂口, 寛山田, 繁生森島. 顔画像を基にした 3 次元感

Communication, Vol. 66, pp. 182–217, 2015.

情モデルの構築とその評価. 電子情報通信学会論文誌. A,

R. Anderson, B. Stenger, V. Wan, and R. Cipolla.

基礎・境界, Vol. 80, No. 8, pp. 1279–1284, 1997.

Expressive visual text-to-speech using active appear-（平成 xx 年 xx 月 xx 日受付）

ance models. In Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition, pp. 3382–3389, 2013.
[11]

D. Okwechime, E. Ong, A. Gilbert, and Richard Bowden. Social interactive human video synthesis. In
Proceedings of the 10th Asian Conference on Computer Vision, pp. 256–270, 2010.

[12]

宮内

翼

2016 年 鳥取大学大学院工学研究科情報エレクトロニクス専攻在学中．

Q. Shi, S. Nobuhara, and T. Matsuyama. Augmented
motion history volume for spatiotemporal editing of
3-d video in multiparty interaction scenes.

IEEE

Transactions on Circuits and Systems for Video
Technology, Vol. 25, No. 1, pp. 63–76, 2015.
[13]

P. Huang, M. Tejera, J. Collomosse, and A. Hilton.
Hybrid skeletal-surface motion graphs for charac-

[14]

吉村 宏紀

（正員）

ter animation from 4d performance capture. ACM

1993 年鳥取大学工学部知能情報工学科

Transactions on Graphics, Vol. 34, No. 2, pp. 17:1–

卒業．1997 年鳥取大学大学院工学研究科

17:14, 2015.

博士後期課程情報生産工学専攻修了．博士

A. Egges, T. Molet, and N. Magnenat-Thalmann.

(工学)．現在鳥取大学大学院工学研究科情Pro-報エレクトロニクス専攻，助教．信号処理

Personalised real-time idle motion synthesis.

ceedings of 12th Pacific Conference on Computerの研究に従事．情報処理学会の会員．

Graphics and Applications, pp. 121–130, 2004.
[15]

山本昌彦, 吉田友英. 重心動揺計を用いた体平衡機能検査 : 重心動揺検査・電気性身体動揺検査. Equilibrium
research, Vol. 70, No. 3, pp. 135–144, 2011.

[16]

[17]

西山 正志

（正員：シニア会員）

2002 岡山大学大学院博士前期課程了．

竹内弥彦, 下村義弘, 岩永光一, 勝浦哲夫. 小型三軸加速度

株式会社東芝研究開発センターを経て，現計による高齢者の動的バランス評価の有用性. 理学療法科

在鳥取大学大学院工学研究科准教授．学際学, Vol. 22, No. 4, pp. 461–465, 2007.

情報学博士（東京大学）．画像認識，拡張現

大西智也, 橘浩久, 武田功. 安静な立位における足位の違実感の研究に従事．2009 山下記念研究賞

いが下肢帯および下肢の動揺に及ぼす影響. 理学療法科学,などを受賞．情報処理学会会員

Vol. 30, No. 2, pp. 313–316, 2015.
[18]

F. Wang, M. Skubic, C. Abbott, and J. M. Keller.
Body sway measurement for fall risk assessment using inexpensive webcams. In Proceedings of Interna-

[19]

岩井 儀雄

（正員）

1997 年 (平成 9 年) 大阪大学大学院基礎

tional Conference of Engineering in Medicine and

工学研究科博士課程後期修了．同年同大学

Biology Society, pp. 2225–2229, 2010.

院助手．2003 年 (平成 15 年) 同大学院助

L.F. Yeung, Kenneth C. Cheng, C.H. Fong, Winson C.C. Lee, and Kai-Yu Tong. Evaluation of the
microsoft kinect as a clinical assessment tool of bodysway. Gait & Posture, Vol. 40, No. 4, pp. 532–538,
2014.

教授．2004 年 (平成 16 年)5 月〜2005 年(平成 17 年)3 月英国ケンブリッジ大学客員研究員．2007 年 (平成 19 年) 同大学院
准教授．2011 年 (平成 23 年）鳥取大学大学院工学研究科教授．
パターン認識の研究に従事．博士（工学）375