HAI シンポジウム 2017
Human-Agent Interaction Symposium 2017

G-20

インタラクション開始直前の実写アバタによるユーザ指定方法の検討
Investigating Direction Method by Image-based Avatar before
Starting Interaction with Users
宮内 翼 1∗ 井上 路子 1 吉村 宏紀 1 西山 正志 1 岩井 儀雄 1
Tsubasa Miyauchi1 Michiko Inoue1 Hiroki Yoshimura1
Masashi Nishiyama1 Yoshio Iwai1
鳥取大学大学院 工学研究科
Graduate School of Engineering，Tottori University
1

1

Abstract: We investigate that the image-based avatar is able to direct a target user from apolarity of users before starting interaction. Existing methods did not consider how to performthe behaviors of the image-based avatar for directing the target user. Our system represents the
behaviors by moving the body of the avatar and the frame of the video sequence. The results ofour experiment show that the behaviors in our system can helps to increase the usability before
starting interaction.

1

はじめに

近年，人間と機械とが自然にインタラクションを行うシステムに向けてアバタ [1, 2, 3, 4, 5, 6] が数多く開発されており，社会の様々な場面で応用が期待されている．例えば，エントランスで施設の案内をするア
バタ [1]，看護実習における患者アバタ [2]，博物館で案内をするアバタ [3]，過去の体験を語るアバタ [4] などが実現されている．これらのアバタを用いることで，場所や時間の制約を受けずユーザに対してインタラク
ションができるようになる．本論文では，このようなインタラクションシステムの中でも，特に大型ディスプレイ上に実際の人間を映しだす実写アバタ [4, 5, 6]に注目する．実写アバタは既設の大型ディスプレイを積極的に活用できる利点がある．以下では実写アバタのシステムとして，空港や駅などのインフォメーショ
ンセンターに存在する案内係の代替を考える．
インフォメーションセンターにおける実写アバタとのインタラクションを考える前に，まず実際の案内係とユーザがどのようにインタラクションを行っているかを考える．ユーザ状態は，従来研究 [7] より以下の三つに分類できる．案内係とのインタラクションの最中である参与者，案内係とのインタラクションを待つ傍参与者，案内係に近づく傍観者である．これらのユー∗ 連絡先：鳥取大学大学院 工学研究科〒 680-8550 鳥取県鳥取市湖山町南 4 丁目 101
E-mail: s122051@ike.tottori-u.ac.jp

ザ状態は，図 1 のように時間方向に逐次変化する．例えば，ある時刻 t1 では参与者と傍観者が存在する．そして時刻 t2 になると，時刻 t1 で傍観者だったユーザは傍参与者となり，さらに新たな傍観者が訪れる．時刻 t3
では，案内係とのインタラクションが終わった参与者は立ち去り，時刻 t2 で傍観者だったユーザは傍参与者となる．ここで案内係は傍参与者の中から特定の一人を指定しインタラクションを開始する必要がある．これはユーザが各個人で異なる目的地に行きたい場合が多く，案内係が一人ずつ順番にインタラクションを行うためである．実写アバタに指定された傍参与者は，時刻 t4 で参与者となる．ここで重要なのが，案内係が傍参与者の中から特定の一人を指定することである．特定の一人を指定することは，複数の傍観者に次の参与
者を明確に伝達し円滑にインタラクションを開始するのに必要である．
インフォメーションセンターにおける実写アバタと案内係とのインタラクションを比較すると，時刻 t3 まではユーザの状態遷移は変わらない．しかし，平面ディスプレイを用いた実写アバタで傍参与者の中から特定の一人を指定する際に，単純に正面を向いた実写アバ
タを表示すると問題が起きる．具体的には，図 2 の時
刻 t4 のように 全ての傍参与者がモナリザ効果 [8, 9] で目が合い，インタラクションされたと感じることである．ここで実際のインフォメーションセンタの案内係を観察してみる．実際の案内係は特定の一人に対して体や顔を向けることで，傍参与者の中から一人を指定

t1
案内係

参
与
者

傍
観
者

傍
参
与
者

傍
参
与
者

傍
参
与
者

t ʹ4
実写アバタ

案内係

傍
参
与
者

傍
参
与
者

参
与
者

実写アバタ

傍
参
与
者

✓

参
与
者

図 1: 案内係とユーザのインタラクションの例

する．そこで本研究では，図 2 の時刻 t′4 のように実写
アバタで傍参与者の中から一人を指定するために，特定の方向を向く方法に注目する．
本研究では，実写アバタがインタラクション直前に映像表現を用いて複数人の中から特定の一人を向いて指定する方法を検討する．映像表現は，実写アバタの体を特定の一人の方向に動作として向ける動作表現とディスプレイ内の枠内の実写アバタを射影変換を用いて向かせる枠表現を提案する．さらに先の 2 つの表現を組み合わせた表現と 2 つの表現を行わない表現を合わせた 4 つの表現の中で，どれが特定の一人に対して指定することができるか検討する．そのためにまず動作で向ける方法と枠で向ける方法の適切な表示角度を調査し，検討する手法の中で最も特定の一人に対して指定する方法を主観評価で確認する．
以下では，2 で関連研究を述べ，3 で映像表現の検討を行い，4 で表示角度の調査とその結果について述べ，5 で特定の一人を指定する方法の主観評価実験について述べる．最後に 6 でまとめる．

2

実写アバタ

参
与
者

t3

t4

案内係

参
与
者

×

案内係

t2

傍
観
者

t4

t3

関連研究

実写アバタが特定の方向を向く方法には，物理表現と映像表現がある．物理表現には，ディスプレイに回転軸を加えることで特定の方向を向く方法 [10] や人型

傍
参
与
者

参
与
者

図 2: 実写アバタと多人数ユーザとの間のインタラクションの眼球を模した眼球型ディスプレイで視線方向を伝える方法 [11] などがある．しかし，このような物理表現
はディスプレイに特殊な機構を付ける必要があり，一般的なディスプレイには用いることができない．一方，
映像表現には，アバタを特定の方向に向けるように体や顔を回転して表示する方法 [12] や視線を合わせる方
法 [13] がある．しかし，これらの方法はユーザに対して注視方向を伝えることを目的としており，複数人の中から一人を指定する目的ではない．そこで，一般的なディスプレイでも用いることができる映像表現で，複数人の中から特定の一人の方を向いて指定する方法に
注目する．

3

映像表現の検討

3.1

概要

本論文では，公共施設のインフォメーションセンタ
で傍参与者の中から特定の一人を指定する状況を取り扱う．この状況で特定の一人を指定するには，前節で述べたように映像表現で特定の一人の方向を向く方法がある．そして，特定の一人には指定されたと感じさ
せ，他の傍参与者には指定されていないと感じさせる必要がある．そこで視覚的にどの方向を向いているのか分かりやすい表現方法を用いて，どの表現方法が特実写アバタ30° 150cm(a)M1：表現なし
75cm
被験者

図 4: 表示角度調査の実験環境(b)M2：動作表現(c)M3：枠表現(d)M4：動作・枠表現

図 3: 比較する映像表現

定の一人を指定している，または，していないと感じさせるかを比較する．

3.2

比較する映像表現

実写アバタが特定の一人の方向を向く方法として，
図 3 の下記の表現を比較する．

M1：表現なし
M2：動作表現M3：枠表現
M4：動作・枠表現
M1 は，図 3 の (a) のように単純に正面を向いている
表現なしである．この表現は，既存の比較表現として設定してあり，正面を向いているために全ての傍参与者が指定されたと感じる．そして特定の一人の方向を向かないと適切なインタラクションへの参与を承認することができないことを確認する．
M2 は，図 3 の (b) のように実写アバタの動作で体を向ける動作表現である．この表現は，体を向けること
で特定の一人に指定されたと感じさせることができる．
また他の傍参与者には体を背けることで，指定されていないと感じさせる．そしてこの表現は，実際の案内係が行う方法と近い表現であり，ディスプレイ上に映す実写アバタでも効果があることを確認する．
M3 は，図 3 の (c) のように枠と枠内の実写アバタ
を射影変換を用いて向ける枠表現である．この表現は，枠を向けることで特定の一人に指定されたと感じさせることができる．また他の傍参与者には枠を向けないことで，指定されていないと感じさせる．そしてこの表現は，ディスプレイを回転させる物理表現と近い表現であり，ディスプレイ上の実写アバタで再現しても効果があることを確認する．
M4 は，図 3 の (d) のように動作表現と枠表現を組み合わせた動作・枠表現である．この方法は，動作表現と枠表現で得られる効果を両方備えることができると考えられる．そして，動作表現と枠表現を組み合わせることで，より特定の一人に指定されたと感じさせることができることを確認する．
以上の 4 つを比較することで，どの表現方法が特定の一人を指定するのに適しているのかを明らかにする．
また M2 から M4 は，ユーザ方向に向ける表現であり，向ける角度で特定の一人を指定する．パラメータとして，表示角度は非常に重要である．そのため予備実験
で表示角度を調査し，図 4 のようにディスプレイ正面から 30 度の角度にいるユーザに対しては，表示角度は
15 度が適切である．また M4 は，M2 と M3 を組み合
わせた表現のため，M2 と M3 の角度を 7.5 度ずつユー
ザ方向に向ける．予備実験の詳細は 4 で述べる．

8

実写アバタ

動作表現の角度調査

7

得票数[票]

6
5

150 cm𝜇+𝜎=13.8

430° 30° 150 cm

3
2

75 cm

1
0

0

5

10

15

20

25

30

35

40

実験協力者2

表示角度[deg]
8

枠表現の角度調査

775 cm
実験協力者1

図 6: 主観評価の実験環境

得票数[票]

6

歳であった．

5𝜇+𝜎=11.7

4
3

4.2

2
1
0

0

5

10

15

20

25

30

35

40

表示角度[deg]

図 5: 表示角度調査の実験結果

4

表示角度の予備実験

4.1

実験環境

本実験では，どの表現方法が特定の一人を指定しているかを比較する前に，動作表現と枠表現でユーザに向かせるのに適切な表示角度の調査を予備実験として行った．実験協力者は図 4 のように 80 インチの縦置き
ディスプレイの正面から 30 度の角度に立ち，表示する
実写アバタが「自分の方を向いている」のかを判断してもらった．ディスプレイと実験協力者の距離は，インタラクションが始まる前の 150 cm の位置とした．表
示する実写アバタは，最初は正面を向いた状態から実験協力者側の角度に動作表現か枠表現で向けた映像である．表示した角度は，0 度から 40 度の角度を 5 度ずつ変化させた．また従来研究 [13] によって，左右の提示方向によって実験結果の傾向に違いが見られていないことから被験者から見て右側のみに表示した．表示する順番は，0 度から 40 度へ 5 度ずつ大きくする順番と 40 度から 0 度へ 5 度ずつ小さくする順番を 1 回ずつ行った．これは，どの角度まで「自分の方を向いている」と感じるのかを調査するためであり，角度を大きくする順番と小さくする順番で表示するのは表示順で結果の偏りをなくすためである．実験協力者は男性 3 名，
女性 1 名の合計 4 名とし，その平均年齢は 22.0 ± 1.2

表示角度の調査結果

動作表現と枠表現の各角度の「自分の方を向いている」と答えた得票数を図 5 に示す．結果から実際の実験環境より小さい角度の方が「自分を向いている」と感じると答えた回数が多かった．また角度が大きくなる程に得票数が減っていることが分かった．
ここで実験結果から得られた得票数は負の角度である左側にも同じ傾向が得られると考えられるため，負の角度に右側の正の角度と同じ値を入れることができる．そしてそれらの値にシャピロ・ウィルク検定を行ったところ，平均 0 の正規性があることが確認できた．そこで本実験では，得票数の約 7 割を含んでいる平均 µに標準偏差 σ を足した値を算出した．平均は M2 と M3
共に 0 であり，標準偏差が M2 は約 13.8 度，M3 は約
11.7 度であった．結果は，図 5 であり，この値より大
きい最小の角度である 15 度を各方法の適切な表示角度とした．また動作・枠表現に関しては，動作表現と枠表現を共に 7.5 度ずつ向ける表示角度とした．

5

主観評価実験

5.1

主観評価の実験環境

本実験では，どの表現方法が特定の一人を指定することができるかサーストンの一対比較を用いて主観評価で比較した．実験協力者には，図 6 のようにディスプレイの正面から 30◦ の角度で左右に立たせた．ディ
スプレイと被験者との距離は会話が始まる前の距離である 150 cm に設定した．また被験者間の距離は，真ん中に参与者がいることを仮定し，参与者からパーソ
ナルスペースの個体距離である 75 cm ずつ離れた距離とした．そして 1 回目と 2 回目に表示した実写アバタ

指定した傍参与者
Q1

-2

-1

指定していない傍参与者

0

1

2

指定していない

Q2-2

指定している

-1

0

1

2

向いてない

Q3

-2

Q1

0

1

2

合っていない目が合っている
：M1

：M2

-1

0

1

指定していない

Q2

向いている

-1

-2

-2

指定している

-1

0

1

向いてない

Q3

-2

2

2
向いている

-1

0

1

合っていない2
目が合っている

：M3：M4

図 7: Q1 から Q3 の主観評価の結果指定した傍参与者
Q4-2

指定していない傍参与者

-1

0

1

-1

0

1

Q4
-2
-1
2
インタラクションが円滑ではない円滑

円滑ではない

Q5

-2

Q5
2
-2
-1
インタラクションが丁寧ではない丁寧

丁寧ではない
：M1

：M2

：M3

0

1

2
インタラクションが
円滑

0

1

2
インタラクションが丁寧：M4

図 8: Q4 と Q5 の主観評価の結果がどのような評価であったかアンケートを行い比較した．比較する表現方法は，図 3 の M1，M2，M3，M4である．実験協力者には，以下の項目でアンケートを記入させた．

写アバタに指定されなかった傍参与者に対して，Q1 から Q3 を評価するために行った．
またインタラクションシステムとして，実写アバタのインタラクションの評価をするための質問も行った．
質問項目は以下である．

どちらの実写アバタがQ1：自分を指定していたか
Q2：自分の方を向いていたか
Q3：自分と目が合っていたか

どちらの実写アバタのインタラクションがQ4：円滑だったか
Q5：丁寧だったか

上記の項目の反転項目も合わせて記入させた．Q1 では，複数人の中から特定の一人を指定しているかを調査した．Q2 では，実写アバタに指定された傍参与者に対して向いていると感じさせるかを調査した．Q3 では，モナリザ効果の影響を調査した．反転項目は，実Q4 では，実写アバタが複数人の中から特定の一人を指定することでインタラクションが円滑になるのかを調査した．Q5 では，実写アバタが複数人の中から特定の一人を指定することでインタラクションが丁寧と感じるか調査した．

実験は，アンケート結果からサーストンの一対比較を用いて評価する．実験手順は，まず 1 回目の表現方法
で実写アバタを表示し，その後 2 回目の表現方法で実写アバタを表示する．これを 2 回繰り返した後に，1 回目と 2 回目の実写アバタに対してアンケートを行う．この手順を M1 から M4 の全組み合わせである 6 回と左右の実験協力者に対して指定すると指定しないの 2 回ずつの計 12 回行った．実験協力者は男性 10 名，女性
2 名の合計 12 人とし，その平均年齢は 22.6 ± 1.1 歳で
ある．

5.2

と指定されていない傍参与者の Q1 から Q3 と Q4 から
Q5 の値をそれぞれ合計した．ただし，指定していない
傍参与者の間隔尺度は反転して合計した．合計した値は大きいほど良い評価でり，結果は表 1 である．結果から M4 が Q1 から Q3 と Q4 から Q5 の合計値の両方で最も高い評価が得られた．よって実際のインフォメー
ションセンターで適した表現方法は M4 である．
表 1: Q1 から Q3 の間隔尺度の合計値
表現方法

Q1 から Q3 の合計

Q4 から Q5 の合計

M1
M2
M3
M4

-5.05
0.56
0.90
3.59

-2.57
0.31
1.20
1.69

主観評価実験結果

各表現方法をアンケートによる主観評価で比較した．
評価方法はサーストンの一対比較を用いて，各表現方法の質問毎の得票数を間隔尺度として算出した．ただし，質問 1 から質問 3 の反転項目は最大の得票数から実際の得票数を引いて，各質問に合計した．結果が図 7と図 8 である．
図 7 より，実写アバタが指定した傍参与者に対するQ1 は，M4，M2，M3，M1 の順で評価が高かった．Q2
でも同様の順で評価が高かった．M1 が他の表現方法
より低い値を示すことから，特定の方向を向く表現の方が特定の人を指定するのに有効であると考えられる．
また M2 が Q1 と Q2 で最も評価が高いことから，実写
アバタが指定する傍参与者に対して自分を向いていると大きく感じさせることは，より指定されたと感じさせることに繋がる．Q3 では，表現方法の評価順が Q1と同じではあるが，間隔尺度の差が極端に小さい．これはどの表現でもモナリザ効果が生じているためだと考えられる．また実写アバタが指定していない傍参与者に対する評価は，Q1 から Q3 でどれも M1，M2，M4，
M3 の順で高かった．M1 が他の表現方法より高い値を示すのは，正しく特定の一人を指定できていないためだと考えらる．一方，M3 は最も評価が低いことから，
実写アバタが指定していない傍参与者に対して，指定されていないと感じさせるのに有効である．
図 8 より，実写アバタが指定した傍参与者に対するQ4 の評価は，M4，M3，M2，M1 の順で評価が高かっ
た．Q5 では，M4，M2，M3，M1 の順で評価が高かっ
た．Q4 と Q3 で M2 と M3 の順番が異なるが間隔尺度の差が非常に小さいため，大きく評価が違うとは考えづらい．しかし，M2 と M3 の表現方法を組み合わせ
た M4 は他の表現より評価が高かった．また実写アバ
タが指定していない傍参与者に対しての Q4 と Q5 の評価は，間隔尺度の差が非常に小さい．そのため，指定していない傍参与者に対しては表現方法毎で大きな効果の差は得られないと考えられる．
ここで実際のインフォメーションセンターで適した表現方法を明らかにするために，指定された傍参与者

6

むすび

本研究では，実写アバタが映像表現を用いて複数人の中から特定の一人を指定するために，特定の一人の方向を向く表現方法を検討した．まず特定の方向を向く適切な角度を調査し，調査結果で得られた角度を用いて主観評価を行った．そして主観評価の結果から，動作と枠の両方を用いてユーザ方向を向く表現方法が有効であることを確認した．今後の課題としては，映像
表現と物理表現での有効性の比較，音声を用いた特定の一人を指定する方法の検討などが挙げられる．

参考文献[1] 大浦圭一郎, 山本大輔, 内匠逸, 李晃伸, 徳田恵一.
キャンパスの公共空間におけるユーザ参加型双方
向音声案内デジタルサイネージシステム. 人工知能学会誌, Vol. 28, No. 1, pp. 60–67, 2013.
[2] 高林範子, 小野光貴, 渡辺富夫, 石井裕. 看護実習
生-患者役アバタを介した看護コミュニケーション
教育システム. 人間工学, Vol. 50, No. 2, pp. 84–91,
2014.
[3] S. Robinson, D. Traum, I. Ittycheriah, and
J. Henderer. What would you ask a conversational agent? observations of human-agent dialogues in a museum setting. In Proceedings of
the Sixth International Conference on Language
Resources and Evaluation, pp. 28–30, 2008.

[4] R. Artstein, D. Traum, O. Alexander, A. Leuski,
A. Jones, K. Georgila, P. Debevec, W. Swartout,
H. Maio, and S. Smith. Time-oﬀset interaction
with a holocaust survivor. In Proceedings ofthe 19th International Conference on Intelligent
User Interfaces, pp. 163–168, 2014.
[5] A. Jones, J. Unger, K. Nagano, J. Busch, X. Yu,
H. I. Peng, O. Alexander, M. Bolas, and P. Debevec. An automultiscopic projector array for interactive digital humans. In ACM SIGGRAPH
2015 Emerging Technologies, p. 6:1, 2015.
[6] 原健太, 堀磨伊也, 武村紀子, 岩井儀雄, 佐藤宏介.
実画像アバタを用いた対人インタラクションシス
テムの構築. 電気学会論文誌 C, Vol. 134, No. 4,
pp. 102–111, 2013.
[7] H. H. Clark and T. B. Carlson. Hearers andspeech acts. Language, Vol. 58, pp. 332–373,
1982.
[8] A. Kendon. Some functions of gaze-direction insocial interaction. Acta Psychologica, Vol. 26, pp.
22–63, 1967.
[9] K. Masame. Perception of where a person is looking: Overestimation and understimation of gaze
direction. Tohoku Psychologica Folia, Vol. 49, pp.
33–41, 1990.
[10] 川口葛岡 英明, 鈴木雄介. 回転するディスプレイに表示される顔画像の注視方向知覚に関する研究. 情報処理学会論文誌, Vol. 56, No. 3, pp. 1059–1067,
2015.
[11] 河野大器, 大槻麻衣, 葛岡英明, 鈴木雄介. 眼球型ディスプレイによる視線方向提示手法の開発.
Technical Report 2, 2016.
[12] 吉田直人, 米澤朋子. ユーザ視点位置に応じた描画
エージェントを用いた実空間内注視コミュニケー
ションの検証. 電子情報通信学会論文誌 D, Vol.
J99-D, No. 9, pp. 915–925, 2016.
[13] 森井精啓, 岸野文郎, 鉄谷信二. 眼の CG アニメー
ションと視線の知覚に関する検討. 電子情報通信学会論文誌 A, Vol. J78-A, No. 4, pp. 512–522, 1995.