Vol.22 No.2, 2020

原著論文

実写アバタ映像における動き表現を用いた対象者の指定
宮内 翼 ∗1 西山 正志 ∗1 ∗2 岩井 儀雄 ∗1 ∗2
Target Person Direction using Motions on Video Sequences of Image-based Avatars
Tsubasa Miyauchi∗1, Masashi Nishiyama∗1 ∗2, Yoshio Iwai∗1 ∗2,

Abstract – We investigate whether an image-based avatar with motions smoothly directs a target person whose order of guide has come. Existing methods using an avatar
assumed one-versus-one interaction and did not fully consider how to direct a target person, which is important for interaction with multiple users. The target person feels thatthe image-based avatar faces to the person and feels that the avatar directs the person, sothat the person judges the order of guide has come. The nontarget person feels that theimage-based avatar does not face to the person and feels that the avatar does not direct
the person, so that the person judges the order of guide has not come. To smoothly direct the target person, the motion of the image-based avatar and the motion of the video
sequence are important. We conducted subjective assessment whether the target person
and the nontarget person feel about the direction by comparing the cases of adding motions and not adding motions. The results show that the image-based avatar with motions
is eﬀective for the target person but is not eﬀective for the nontarget person.

Keywords : Image-based avatar, Motion, Direction, Target person, Nontarget person

1.

案内者

はじめに

案内者

本論文では，人間と機械が自然にインタラクションを行うアバタシステムの開発を目指す．その中でも，空港や駅などのインフォメーションセンターに存在する案内者の代替として，一般的な据置型ディスプレイ
上に表示されるアバタを用いた案内システムについて

傍
参
与
者

参
与
者

考える．アバタを表示するインタラクション [1]〜[6] を案内システムに用いることで，スマートフォンなどの携帯デバイスを持っていないユーザや，複雑なシステ

(a)

傍
参
与
者

傍
参
与
者

傍
参
与
者

非
対
象
者

対
象
者
(b)

ム操作になれていない高齢者に対して直感的で分かりやすい案内が期待できる．その中でも実写アバタ [4]〜[6]は人間の外見をそのまま用いるため，人間の代替となる応用において人同士のようなインタラクションが期

図 1 インフォメーションセンターにおける案内で発生する状況例．

Fig. 1 Example of scenario for navigation in
an information center.

待される．以下では，実写アバタを用いた案内システ
ムについて議論する．
実写アバタを用いた案内システムを設計する前に，インフォメーションセンターにおける実際の人同士の案内を考察する．認知科学の分野における知見 [7] に基づいて，本論文では案内時の人物役割を三つに分類する．人物役割として，情報を提供する案内者，案内を受けている最中の参与者，案内を受けることを待つ傍参与者がある．傍参与者は案内を受ける順番になると案内者から指定され，参与者へ役割が遷移する．イン*1：鳥取大学大学院工学研究科*2：鳥取大学工学部附属クロス情報科学研究センター*1：Graduate School of Engineering, Tottori University*2：Cross-informatics Research Center, Tottori University

フォメーションセンターでは，傍参与者が案内者を囲うように待つ状況が発生する．その状況の例を図 1(a)に示す．インフォメーションセンターでは，大人数の傍参与者が常に訪れることは少ないが，二人から三人の傍参与者が時折訪れた場合に，案内者を囲うように待
つことは多い．また，人通りが多いところにインフォメーションセンターは設置されていることが多く，案内を待つ人が列を作ると道を塞いでしまうため，傍参与者が案内者を囲うように待つことが多い．
インタラクション開始時に傍参与者が案内者を囲うように待つ状況において，案内者が特定の傍参与者のみを，次の案内に向けてどのように指定するかについヒューマンインタフェース学会論文誌 Vol.22, No.2, 2020て考える．複数の傍参与者の役割を明確に分離するたに，特殊な機構を組み込んだディスプレイを用いる手めに，案内を受ける順番が次に来る対象者の役割と，法 [12]〜[17] を適用することが考えられる．文献 [12] で案内を受ける順番が未だ来ない非対象者の役割を新た

は，遠隔会議システムにおいてユーザが誰の方向をに設ける．傍参与者の役割を対象者と非対象者に分離向いているかを明確に伝えるために，複数のカメラでした例を図 1(b) に挙げる．対象者は，案内者から指ユーザの視線を検知し，三次元空間内の会議室でユー定されていると感じると，傍参与者から参与者に遷移

ザの向いている方向を表現する手法が述べられている．

する．非対象者は，自分が案内者から指定されていな

文献 [13] では，眼球型ディスプレイを提案し，注視方いと感じている間は，傍参与者の役割を維持する．案

向をユーザへ伝えている．文献 [14], [15] では，ディス内者は，非対象者が存在する中で対象者のみを指定す

プレイに回転する機構を取り付けることで，ユーザのることが重要となる．案内者の代替である実写アバタ

方向にディスプレイを向けることができる．文献 [16]でも同様のことが言える．

では，ディスプレイにロボットアームをつけてポイン

非対象者が存在する中で対象者のみを実写アバタがティングを可能にする手法が述べられている．文献 [17]指定するために，映像で動きを表現する手法 [8]〜[11] をでは，ディスプレイが付いているロボットを用いて，適用することが考えられる．しかし，これらの既存手

インタラクションを行っている．特殊な機構を組み込

法は，ディスプレイの前にユーザが一人の状況を想定んだディスプレイを用いる手法は，直感的に分かりやしており，非対象者が存在する中で対象者のみを指定

すく対象者を指定できる利点がある．しかし，ディスする状況を十分に考慮していなかった．

プレイに特殊な装置を加える必要が有り，一般的な据

そこで本論文では，実写アバタ映像に動きを加える

置型ディスプレイと比べてメンテンナンス，安全性，ことで，非対象者が存在する中から対象者のみを指定

設置スペースを配慮する必要がある．本論文では，一する手法を検証する．対象者のみを指定する上で，対般的な据置型ディスプレイにおける映像のみで動きを象者と非対象者がどのように感じるかの主観評価が必

表現する手法を用いる．非対象者が存在する状況にお要である．その中でも対象者の評価はインタラクショ

いて対象者のみを実写アバタが指定することを狙う．

ンを開始するために特に重要となる．このため本論文
では，対象者から良好な評価を得ることを主目的とし

3.

本論文における仮説て検証を行う．対象者から良好な評価を得た上で，非実際のインフォメーションセンターで発生頻度が高対象者がどのように感じるかの評価も合わせて検証すく，対象者のみを指定する上で最もシンプルな状況にる．以下では，2. で関連研究を取り上げ，3. で本論において，実写アバタが案内することを考える．具体的おける仮説を述べ，4. で実写アバタに加える動きを設には，参与者に対して左右の位置に傍参与者が立つ状計する．5. で仮説検証の実験について述べ，6. で動き

況について検証する．実写アバタが対象者のみを指定

表現の限界を確認し，最後に 7. でまとめる．

するまでの流れを図 2 に示し，以下で時刻を順に追っ関連研究て説明する．ある時刻 t1 で，ディスプレイ正面に立つ

非対象者が存在する状況において実写アバタが対象

次の時刻 t2 で実写アバタを利用する傍参与者が新たに者のみを指定するために，映像のみで動きを表現する

訪れると，参与者の右側の位置に立つ．さらに時刻 t32.

手法[8]〜[11]

参与者が，実写アバタから案内を受けているとする．

を適用することが考えられる．文献[8], [9]で傍参与者が来た場合，参与者のもう片方の位置に立では，アバタとユーザがアイコンタクトを行うために，

つ．時刻 t4 で実写アバタの案内が終了し参与者が立

映像上に表示されたアバタが視線や顔を動かす表現手

ち去る．時刻 t5 で，参与者の右側に立っていた傍参法について述べられている．文献[10]

では，顔の表情与者が対象者となり，左側に立っていた傍参与者が非に加えてジェスチャーの生成手法が述べられている．

対象者となる．時刻 t6 で，対象者のみを指定するた

文献

[11]

では，ユーザの視線から興味の有無を判定し，めに，実写アバタ映像に動きを加える．なお，時刻 t2

ユーザが興味をもつように誘導する動きを生成する手

で傍参与者が左に立った場合は，時刻 t5 で対象者が法について述べられている．映像のみで動きを表現す

左となり，非対象者が右となる．

る手法は，一般的な据置型ディスプレイへ簡単に適用

本論文では，対象者と非対象者が左右に分かれて存することができる．ただし，既存手法ではディスプレ

在する状況において，実写アバタ映像に動きを加えてイの前にユーザが一人の状況を想定しており，非対象

対象者のみを指定することを考える．対象者のみを指者が存在する中で対象者を指定する状況を十分には考定する上で，対象者と非対象者がどのように感じるか慮していなかった．また，インフォメーションセンターの主観評価を実施する．その中でも対象者は実写アバの状況に合った応用についても考慮していなかった．

タから指定されたと感じない場合，そもそもインタラ

非対象者が存在する中で対象者のみを指定するためクションが開始されない問題が発生する．そこで，対実写アバタ映像における動き表現を用いた対象者の指定
実写アバタ

実写アバタ

実写アバタ

参
与
者

参
与
者

時刻 𝑡1

時刻 𝑡2

時刻 𝑡3

実写アバタ

実写アバタ

実写アバタ

傍
参
与
者

傍
参
与
者

傍
参
与
者

非
対
象
者

時刻 𝑡4

対
象
者

時刻 𝑡5

傍
参
与
者

参
与
者

非
対
象
者

傍
参
与
者

対
象
者

時刻 𝑡6

図 2 本論文で想定する状況が発生する案内の流れ．
Fig. 2 Flow of a navigation under a situation that we consider in this paper.

象者から良好な評価を得ることを主目的として，実写
アバタに動きを加える場合と加えない場合を比較する
ことで，次の仮説が成立するかどうかを検証する．

H1: 対象者と非対象者が左右の位置に分かれて存在する状況において，実写アバタに動きを加えた方が，対象者 は自身の方を 実写アバタが向いた と感じ，さらに 実写アバタが指定した と感じる．
また，対象者から良好な評価を得た上で，非対象者の評価も考慮する必要がある．対象者の仮説 H1 が成立した上で，非対象者は実写アバタから指定されていな
いと感じることが望ましい．そこで，次の仮説が成立するかどうかも合わせて検証する．
H2: 対 象 者 と 非 対 象 者 が 左 右 の 位 置 に 分 か れて 存 在 す る 状 況 に お い て ，実 写 ア バ タ に 動
き を 加 え た 方 が ，非対象者 は 自 身 の 方 を
実写アバタが向いていない と 感 じ ，さ ら に
実写アバタが指定していない と感じる．
4.

映像表現

4. 1 映像に加える動き
実写アバタが対象者のみを指定するために，実写アバタ映像にどのような動きを加えるべきかについて議論する．本論文では，人同士で発生するインタラク
ションにおける動きを映像に取り込むことを考える．
また，人と機械の間で発生するインタラクションにおける動きも映像に取り込むことを考える．以下でそれぞれの動きについて詳細を述べる．

4. 1. 1 案内者の動き
実際の案内者がどのように動くことで対象者を指定するかについて述べる．案内者はまず対象者の方を向き，その後に声をかけて対象者を指定する．ここで重要となる点は，案内者が対象者の方を向く動きである．
この動きにより，対象者は自身の方を向いていると感じる．さらに，対象者は案内者から声をかけられることで，自身が指定されたと判断する．以下で，実写ア
バタ映像中の被写体にどのような動きを加えるかについて考える．
実 写 ア バ タ 映 像 を 使 用 す る 場 合 ，モ ナ リ ザ 効
果 [18], [19] を考慮する必要がある．視線をカメラに向けている実写アバタ映像を見ると，モナリザ効果により常に視線が合っていると感じる．逆に，視線を外している実写アバタ映像を，どの位置から見ても視線が合っていないように感じる．実写アバタが対象者とイ
ンタラクションを開始するためには，実写アバタが対象者と視線を合わせることが重要な要素の一つである．
実写アバタが案内者のようにユーザの方へ視線を向ける映像を使うと，対象者は実写アバタと視線が全く合わない．そのため，実写アバタの視線はカメラ方向の正面に固定したままで，顔と体と手は対象者の方を向けることを考える．実写アバタが対象者の方に顔と体と手を向けた後に声をかけることで，対象者は自身のヒューマンインタフェース学会論文誌 Vol.22, No.2, 2020

ディスプレイ

顔をθ h 度向ける

非対象者

θh

θ h ， θ a 0 度 θ h ，θ a
非対象者

非対象者

対象者

θa

対象者

映像を θ f 度回転する

ディスプレイθf
非対象者

手をθ a 度向ける

0度

θf

対象者

θf
𝑦軸

対象者

図 4 回転効果のパラメータ．
Fig. 4 Parameter of the rotation eﬀect.

図 3 動作効果のパラメータ．

Fig. 3 Parameters of the action eﬀect.

方を実写アバタから指定されたと感じることが期待さ
れる．

5.

仮説の検証

4. 1. 2 回転ディスプレイの動き
回転ディスプレイ [14], [15] がどのように動くことで対象者のみを指定するのかについて考える．回転ディスプレイは複数の傍参与者の中から対象者の方を向き，その後に音声を再生することで対象者を指定する．
ここで重要となる点が，回転ディスプレイが対象者の方を向く動きである．本論文では，ディスプレイの物
理的な枠を映像内で表現する．その枠と枠内の映像の見え方の変化を射影変換を用いて表現する．これにより，射影変換で映像を向けられた対象者は，自身の方へ実写アバタが向いたと感じることが期待される．この動きの後に映像中の被写体が声をかけることで，対象者は実写アバタから指定されたと感じることが期待
される．

4. 2

5. 1

セッティング

実写アバタを 80 インチの縦置きディスプレイに表示し，ディスプレイの正面から 1.2 メートルの距離に参与者が立つ環境を構築した．この参与者は，図 2 で説明した時刻 t1 の人物とした．ペアとなる実験協力
者らに，両者とも傍参与者として参与者の横に立つよ
うに指示した．その後，時刻 t4 の状況から主観評価を開始した．ペアとなる実験協力者らの中から一人を対象者，もう一人を非対象者としてランダムに役割を設定した．ただし実験協力者らには，自身がどちらの役割を与えられたかについて伝えなかった．ペアとなる実験協力者らに刺激映像を表示した後に，以下の設問に回答させた．

動作効果

実写アバタ映像に実際の案内者の動きを加える表現
手法を動作効果と呼ぶ．4. 1. 1 で述べたように，視線を正面に固定したまま顔と体と手を向ける動きを映像に動作効果として組み込む．ただし，案内時に顔を動かす場合，自然と体は対象者に向けることが多い．本
論文では，体は顔の動きに連動するものとし，顔の角度のみを考えることにする．動作効果において，顔の向く方向を表す角度パラメータを θh ，手を差し伸べ

設問： 実写アバタがQ1： あなたの方を向いたと感じたか
Q2： あなたを指定したと感じたか
回答 (評価値)• そう感じなかった (-1.5 点)• ややそう感じなかった (-0.5 点)• ややそう感じた (0.5 点)• そう感じた (1.5 点)

る方向を表す角度パラメータを θa とする．それらの設問の回答は上記 4 段階からの選択とした．なお，反角度パラメータを図 3 に示す．θh と θa は正面方向を

転項目も設け，評価値を算出する際に得点を逆転した．

0 度とする．

実験協力者間のインタラクションについては特に指示

4. 3

回転効果

を行わなかった．なお，実験中に実験協力者間のイン実写アバタ映像に回転ディスプレイの動きを加える

タラクションは見られなかった．実験者効果を排除す

表現手法を回転効果と呼ぶ．4. 1. 2 で述べたように，るために，オペレーターを実験協力者から見えない位

実写アバタ映像に枠を加え，その映像自体が回転して置に配置した．

見えるように射影変換を適用する．映像中の枠の回転

刺激映像は，文献 [20] の撮影環境を用いて収集した．

する角度パラメータを θf とする．その角度パラメー

実写アバタに動作効果を加えるために，実写アバタのタを図 4 に示す．図中の y 軸とは，映像の中心を通る

被写体が実際の動きを行った映像を撮影した．実写ア

垂線である．θf は，映像上の y 軸の回転角度とし，正バタに回転効果を加えるために，画像編集ソフトを用

面方向を 0 度とする．

いて映像を三次元的に回転させた．

実写アバタ映像における動き表現を用いた対象者の指定

動作効果 θ h の調査

21.5

評価値[点]

1
0.5
0

A1

-0.5
-1
-1.5
-2

0

5

10

15
20
25
30
角度パラメータ[度]

35

40
A2

動作効果 θ a の調査

2
1.5

評価値[点]

1
0.5
0

A3

-0.5
-1
-1.5
-2

0

5

10

15
20
25
30
角度パラメータ[度]

35

40
A4

対象者

非対象者

図 5 動作効果の角度パラメータの調査結果．

Fig. 5 Experimental results of the survey ofthe action parameters.

時間

図 6 動作効果に含める動きの比較に用いた表現
手法の映像の例．

Fig. 6 Video sequences of the action eﬀect for
subjective assessment.

5. 2

動作効果のパラメータ調査

5. 2. 1 角度パラメータ θh と θa の結果

い角度パラメータを採用することとした．また，対象

動作効果のみを刺激映像に加えた場合について，実者と非対象者の間で評価値の差が大きい角度パラメー

験協力者の評価値に角度パラメータが与える影響を調タを採用することとした．その結果，角度パラメータ

査した．実験協力者は男性 8 名，女性 2 名の合計 10θh ，θa はそれぞれ 15 度であった．

名とし，その平均年齢は 22.9 ± 0.8 歳であった．動作

5. 2. 2 動作効果として用いる動きの比較

効果のみの 18 個の刺激映像を生成した．その際，実動作効果に含める被写体の動きについて調査した．

写アバタの顔の角度パラメータ θh を 0 度から 40 度の実験協力者は男性 10 名とし，その平均年齢は 22.3±1.5

間で 5 度刻みに変化させ，手の角度パラメータ θa を歳であった．刺激として表示する実写アバタ映像を以0 度に固定した．手の角度パラメータ θa も同様に角度を変化させ，顔の角度パラメータ θh を 0 度に固定した．実験協力者に対する表示の順序は，昇順と降順
でランダムとした．ペアとなる実験協力者らに各刺激映像を表示した後に，設問 Q1 に回答させた．実験協
力者は，刺激映像の 18 通りと役割の 2 通りの全 36 通りの評価を行った．
実験結果を図 5 に示す．図中では，対象者の評価値
は大きくなる方が良く，非対象者の評価値は小さくなる方が良い．本論文では，対象者から良好な評価を得ることを主目的としているため，対象者の評価値が高下の 4 つの手法で生成した．

A1： 動きなし
A2： 顔のみの動き
A3： 手のみの動き
A4： 顔と手の両方の動き
各動きの映像の例を図 6 に示す．A1 から A4 の全ての映像の最後で，実写アバタはセリフを発声した．セリフは，次の方どうぞとした．角度パラメータ θh ，θaは，5. 2. 1 で採用した 15 度とした．ペアとなる実験
協力者らに刺激として各実写アバタ映像を表示した後に，設問 Q1 と設問 Q2 に回答させた．各実験協力者

ヒューマンインタフェース学会論文誌 Vol.22, No.2, 2020

Q1

Q2
**

*

** ：p<.01* ：p<.05

**
1.5

1.5
1

評価値[点]

評価値[点]

1
0.5
0
-0.5
-1
-1.5

0.5
0
-0.5
-1

A1

A2

A3

-1.5

A4

動作(顔)と動作(手)の交互作用なし
動作(顔)の主効果あり
動作(手)の主効果なし

A1

A2

A3

A4

動作(顔)と動作(手)の交互作用なし
動作(顔)の主効果なし
動作(手)の主効果あり(a) 対象者

Q1

Q2

1.5

1.5

評価値[点]

評価値[点]

1

0.5
0
-0.5

1
0.5
0

-0.5

-1

-1

-1.5

-1.5

A1

A2

A3

A4

動作(顔)と動作(手)の交互作用なし
動作(顔)の主効果なし
動作(手)の主効果なし

A1

A2

A3

A4

動作(顔)と動作(手)の交互作用なし
動作(顔)の主効果なし
動作(手)の主効果なし(b) 非対象者

図 7 動作効果の主観評価の結果．
Fig. 7 Results of subjective assessment of the action eﬀect.

は，手法 4 通りと役割 2 通りの全 8 通りの評価をラン分かった．顔と手の両方の動きを用いた A4 に着目すダムな順で行った．評価結果の解析方法として 2 要因

ると，各設問において評価値が A2 と A3 より低下すの分散分析を行い，多重検定としてウィルコクソンのる現象は見られなかった．本論文では，Q1 と Q2 の符号和順位検定と Bonferroni 補正を適用した．

両方の評価値を高くすることを目的としているため，対象者の結果を図 7(a) に示す．評価値は大きくなる方が，各設問に対して対象者は感じていることを表

対象者には動作効果として手法 A4 を採用することとした．

す．実験結果から Q1 に関して，顔の動きと手の動き

非対象者の結果を図 7(b) に示す．評価値は小さくの交互作用がないものの，顔の動きに主効果があるこなる方が各設問に対して非対象者は感じていないこととを確認した．手の動きには主効果がないことを確認を表す．Q1 と Q2 で顔の動きと手の動きの交互作用

した．対象者が向いていると感じる Q1 に関して，顔がなく，各動きの主効果もないことを確認した．非対の動きが有効であると考えられる．Q2 に関して，顔象者が向いていないと感じる Q1，非対象者が指定さの動きと手の動きの交互作用がないものの，手の動き

れていないと感じる Q2 に関して，A1 から A4 のどのに主効果があることを確認した．顔の動きには主効果手法を採用したとしても大きな差は見られないと考えがないことを確認した．多重検定の結果では，A1 とられる．本論文では対象者から高い評価値を得ること

A3，A1 と A4，A2 と A4 の間で有意差が見られた．
対象者が指定されたと感じる Q2 に関して，手の動きが有効であると考えられる．以上の対象者の結果より，各設問において顔または手の動きに効果があることがを主目的としているため，非対象者には手法 A4 をそのまま用いることとした．

実写アバタ映像における動き表現を用いた対象者の指定

回転効果 θ f の調査

2
1.5

評価値[点]

1
0.5
0

M1

-0.5
-1

-1.5
-2

0

5

10

15
20
25
30
角度パラメータ[度]

35

40
M2

対象者

非対象者

図 8 回転効果の角度パラメータの調査結果．

Fig. 8 Experimental results of the survey ofthe rotation parameter.

5. 3 回転効果のパラメータ調査
枠の角度パラメータ θf のみを変化させた場合について調査した．実験協力者は男性 7 名，女性 3 名の合計 10 名とし，その平均年齢は 22.6 ± 0.9 歳であった．
実験は，5. 2. 1 と同様の流れで行った．角度パラメー
タ θf を変化させた回転効果のみを含む 9 個の刺激映像を生成した．刺激映像に対してペアとなる実験協力
者らが評価を行った．
実験結果を図 8 に示す．図中では，対象者の場合は評価値が大きくなる方が良く，非対象者の場合は評価値が小さくなる方が良い．5. 2. 1 と同様の方針で角度パラメータを採用することとした．その結果，角度パ
ラメータ θf は 15 度であった．
5. 4 動作効果と回転効果の組み合わせの検証
5. 4. 1 実験条件
本実験では，動作効果と回転効果を組み合わせた場
合の検証を行った．実験協力者は男性 19 名，女性 1
名の合計 20 名とし，その平均年齢は 21.7 ± 2.1 歳であった．刺激映像を以下の 4 つの手法で生成した．
M1： 動作効果なし，かつ，回転効果なし
M2： 動作効果あり
M3： 回転効果あり
M4： 動作効果と回転効果の組み合わせ
各手法の映像の例を図 9 に示す．M1 から M4 の全ての映像の最後で，実写アバタはセリフを発声した．セリフは，次の方どうぞとした．ペアとなる実験協力者
らに刺激として各実写アバタ映像を表示した後に，設問 Q1 と設問 Q2 に回答させた．各実験協力者は，手法 4 通りと役割 2 通りの全 8 通りの評価をランダムな順で行った．評価結果の解析方法として 2 要因の分散分析を行い，多重検定としてウィルコクソンの符号和順位検定と Bonferroni 補正を適用した．

M3

M4

時間

図 9 動作効果と回転効果の組み合わせの主観評価に用いた表現手法の映像の例．

Fig. 9 Video sequences for subjective assessment of combination of the action effect and the rotation eﬀect.

M2 と M3 の角度パラメータ θh ，θa ，θf は，5. 2. 1と 5. 3 で採用した 15 度とした．M4 の角度パラメータは動作効果と回転効果を同程度ずつ適用するために，それぞれの角度パラメータを 7.5 度に設定した．動作
効果の動きは，5. 2. 2 で採用した顔と手の両方の動きを適用した．
5. 4. 2 検証結果
対象者の結果を図 10(a) に示す．評価値は大きくなる方が，各設問に対して対象者は感じていることを表す．実験結果から Q1 に関して，動作効果と回転効果の交互作用がないものの，動作効果に主効果があることを確認した．回転効果にも主効果があることを確認した．対象者が向いていると感じる Q1 に関して，動作効果と回転効果が有効であることを確認した．さらに，多重検定の結果を見ると，動作効果と回転効果を組み合わせた手法 M4 が，他の全ての手法に対して有意差があることを確認した．よって，対象者が向いていると感じる Q1 に関して，動作効果と回転効果を組み合わせる M4 が対象者の評価値を高めると考えられヒューマンインタフェース学会論文誌 Vol.22, No.2, 2020

Q1
**
**

Q2

**

**
**

**

1.5

* ：p<.05

*

1.5

1

1

評価値[点]

評価値[点]** ：p<.01

**

**

0.5
0
-0.5

-1

0.5
0
-0.5
-1

-1.5

-1.5

M1
M2
M3
M4
動作効果と回転効果の交互作用なし
動作効果の主効果あり
回転効果の主効果あり

M1
M2
M3
M4
動作効果と回転効果の交互作用あり
動作効果の単純主効果あり
回転効果の単純主効果なし(a) 対象者
Q1
*

*

Q2

* ：p<.05

1.5

1.5
1

評価値[点]

評価値[点]

1
0.5

0
-0.5
-1
-1.5

0.5
0
-0.5
-1

M1

M2

M3

-1.5

M4

動作効果と回転効果の交互作用なし
動作効果の主効果あり
回転効果の主効果なし

M1

M2

M3

M4

動作効果と回転効果の交互作用なし
動作効果の主効果なし
回転効果の主効果なし(b) 非対象者

図 10 動作効果と回転効果の組み合わせの主観評価の結果．
Fig. 10 Results of subjective assessment of combination of the action eﬀect andthe rotation eﬀect.

る．Q2 に関して，動作効果と回転効果の交互作用が用がないものの，動作効果に主効果があることを確認あることを確認した．さらに，動作効果に単純主効果

した．回転効果には主効果がないことを確認した．まがあることを確認した．回転効果には単純主効果はな

た，多重検定の結果においても動作効果を適用した場いことを確認した．対象者が指定されたと感じる Q2合に有意差が見られた．このことから，対象者が向いに関して，動作効果が有効であると考えられる．動作ていないと感じる Q1 に関して，動作効果を適用する

効果と回転効果の交互作用があることから，動作効果と非対象者の評価値が逆に高くなることが分かった．

に回転効果を組み合わせることで，対象者がさらに指Q2 に関して，動作効果と回転効果の交互作用がなく，主効果も確認されなかった．非対象者が指定されていないと感じる Q2 に関して，実写アバタ映像に動きを加えても非対象者の評価値に関して影響を与えないと考えられる．以上の結果より，実写アバタ映像に動きを加えても，非対象者に関する仮説 H2 は成立するとは言えなかった．
前節まででも述べたように，非対象者が存在する中で対象者とインタラクションを開始するためには，対象者が指定されたと感じることが最も重要であると考えられる．非対象者の仮説 H2 は成立しないものの対定されたと感じると考えられる．よって Q2 では，組
み合わせの M4 が，対象者の評価値を最も高めることを確認した．以上の結果より，対象者と非対象者が左右に分かれて存在する状況において，実写アバタ映像に動きを加えることで，対象者は自身の方を実写アバ
タが向いたと感じ，さらに実写アバタが指定したと感じる仮説 H1 は成立すると言える．
非対象者の結果を図 10(b) に示す．評価値は小さくなる方が各設問に対して非対象者は感じていないことを表す．Q1 に関して，動作効果と回転効果の交互作

実写アバタ映像における動き表現を用いた対象者の指定

実写アバタ

実
験
協
力
者

実写アバタ

実
験
協
力
者

状況1

実
験
協
力
者

実
験
協
力
者

状況2

図 11 立ち位置変化の状況．
Fig. 11 Situation of standing positionchanges.

象者の仮説 H1 は成立するため，本論文では M4 を実
写アバタ映像における動き表現として採用することと
した．

6.
6. 1

傍参与者らの立ち位置変化の検証
実験条件

ここまでの実験では，対象者と非対象者が左右に分かれた状況を想定し調査を行った．以下では，対象者と非対象者が片側に集まった状況を想定し主観評価を行った．これにより，動きを加える映像表現の限界を調査した．実験協力者は男性 16 名とし，その平均年
齢は 22.8 ± 1.0 歳であった．本実験では，以下の 2 つの条件で比較した．
状況 1： 対象者と非対象者が左右のそれぞれに立つ
状況 (3. で設定した状況)
状況 2： 対象者と非対象者が共に左へ立つ状況
ペアとなる実験協力者らの立ち位置の例を図 11 に示
す．ペアとなる実験協力者らの中から一人を対象者，
もう一人を非対象者としてランダムに役割を設定した．
ただし実験協力者には，自分がどちらの役割を与えられているかについて伝えなかった．ペアとなる実験協
力者らには，5. 4. 2 で採用した手法 M4 の刺激映像を表示した．その後，設問 Q1 と設問 Q2 に回答させた．

6. 2
調査結果
対象者の結果を図 12(a) に示す．Q1 では，状況 1 と
状況 2 との間に有意差を確認した．対象者は，状況 2
より状況 1 の方が，実写アバタが向いていると感じることを確認した．また，Q2 でも同様の結果であった．
次に，非対象者の結果を図 12(b) に示す．Q1 では，状況 1 と状況 2 との間に有意差を確認した．非対象者
は，状況 2 より状況 1 の方が，実写アバタが向いていないと感じることを確認した．また，Q2 でも同様の結果であった．
対象者と非対象者との間で評価値を比較すると，状況 1 では差が見られた．一方の状況 2 では，ほとんど差が見られなかった．本論文の動作効果と回転効果のみでは，状況 2 において，実写アバタは対象者のみを指定することができないと考えられる．以上の結果より，動きを加える映像表現の限界を示した．
状況 2 でも実写アバタが対象者のみを指定するためには，本論文で行った簡単な音声だけでなく，詳細な
音声での指定など映像の動き以外の伝達手法の導入も今後検討する必要がある．
まとめ

7.

本論文では，実写アバタ映像に動きを加える場合と加えない場合を比較することで，対象者と非対象者が実写アバタから向かれたと感じるか，また，指定されたと感じるかについて調査した．実写アバタ映像に含める動きとして，動作効果の有無，回転効果の有無の組み合わせを比較した．動作効果の角度パラメータ，
実写アバタの動き，回転効果の角度パラメータを調査した．実写アバタが対象者のみを指定できるかどうかについて，対象者の仮説 H1 と非対象者の仮説 H2 を主観評価で調査した．さらに，動きを加える映像表現の限界も調査した．
今後の課題として，傍参与者の立ち位置が様々に変化した状態における伝達手法の検討，傍参与者の人数が増えた状態における伝達手法の検討，指向性スピー
カーや回転ディスプレイなど実際の機構を用いた伝達手法との比較などが挙げられる．
謝辞

各実験協力者は，刺激映像の 1 通りと役割の 2 通りと状況の 2 通りの全 4 通りの評価を行った．評価値の解析方法として，対応のある t 検定を用いた．

本研究の一部は， JSPS 科研費 18H04114 の助成を受けたものである．

対象者と非対象者が共に左へ立つ状況 2 において，実写アバタの角度パラメータ θh ，θa ，θf が両者の間で同じであると，対象者と非対象者で全く同じ評価値

参考文献となる可能性が考えられる．状況 2 において，対象者[1] 大浦圭一郎, 山本大輔, 内匠逸, 李晃伸, 徳田恵一. キャが正面に近い位置に立つ場合は全ての角度パラメータ

ンパスの公共空間におけるユーザ参加型双方向音声
案内デジタルサイネージシステム. 人工知能学会誌,を 5 度とし，対象者が正面から遠い位置に立つ場合はVol. 28, No. 1, pp. 60–67, 2013.
[2] 高林範子, 小野光貴, 渡辺富夫, 石井裕. 看護実習生-

10 度とした．一方の状況 1 において，全ての角度パラメータを 7.5 度とした．

患者役アバタを介した看護コミュニケーション教育シ
ステム. 人間工学, Vol. 50, No. 2, pp. 84–91, 2014.

ヒューマンインタフェース学会論文誌 Vol.22, No.2, 2020

Q1

Q2

**

**
1.5

1

評価値[点]

評価値[点]

1.5** ：p<.01

0.5

0
-0.5

1
0.5
0
-0.5

-1

-1

-1.5

-1.5

状況1

状況2

状況1

状況2

(a) 対象者
Q1

Q2

**

**
1.5

1

1

評価値[点]

評価値[点]

1.5** ：p<.01

0.5
0
-0.5

0.5
0

-0.5

-1

-1

-1.5

-1.5

状況1

状況2

状況1

状況2

(b) 非対象者

図 12 立ち位置変化の主観評価結果．
Fig. 12 Results of subjective assessment of standing position changes.

[3] S. Robinson, D. Traum, I. Ittycheriah, and
J. Henderer. What would you ask a conversational
agent? observations of human-agent dialogues ina museum setting. In Proceedings of the Sixth International Conference on Language Resources and
Evaluation, pp. 28–30, 2008.
[4] R. Artstein, D. Traum, O. Alexander, A. Leuski,
A. Jones, K. Georgila, P. Debevec, W. Swartout,
H. Maio, and S. Smith. Time-oﬀset interaction
with a holocaust survivor. In Proceedings of the
19th International Conference on Intelligent User
Interfaces, pp. 163–168, 2014.
[5] A. Jones, J. Unger, K. Nagano, J. Busch,
X. Yu, H. I. Peng, O. Alexander, M. Bolas, and
P. Debevec. An automultiscopic projector arrayfor interactive digital humans. In Proceedings of
ACM SIGGRAPH Emerging Technologies, p. 6:1,
2015.
[6] T. Miyauchi,
A. Ono,H. Yoshimura,
M. Nishiyama, and Y. Iwai. Embedding theawareness state and response state in an imagebased avatar to start natural user interaction.
IEICE Transactions on Information and Systems,
Vol. E100-D, No. 12, pp. 3045–3049, 2017.
[7] H. H. Clark and T. B. Carlson. Hearers and speechacts. Language, Vol. 58, pp. 332–373, 1982.
[8] 森井精啓, 岸野文郎, 鉄谷信二. 眼の CG アニメーショ
ンと視線の知覚に関する検討. 電子情報通信学会論文
誌 A, Vol. J78-A, No. 4, pp. 512–522, 1995.
[9] 吉田直人, 米澤朋子. ユーザ視点位置に応じた描画エー
ジェントを用いた実空間内注視コミュニケーションの検証. 電子情報通信学会論文誌 D, Vol. J99-D, No. 9,

pp. 915–925, 2016.
[10] G. Caridakis. Virtual agent multimodal mimicryof humans. Language Resources and Evaluation,
Vol. 41, No. 3-4, pp. 367–388, 2007.
[11] 石井亮, 中野有紀子. ユーザの注視行動に基づく会話
参加態度の推定-会話エージェントにおける適応的会話制御に向けて. 情報処理学会論文誌, Vol. 49, No. 12,
pp. 3835–3846, 2008.
[12] R. Vertegaal, I. Weevers, C. Sohn, and C. Cheung.
Gaze-2: conveying eye contact in group video conferencing using eye-controlled camera direction. In
Proceedings of the SIGCHI Conference on Human
Factors in Computing Systems, pp. 521–528, 2003.
[13] M. Otsuki,
T. Kawano,
K. Maruyama,
H. Kuzuoka, and Y. Suzuki. Thirdeye: Simple
add-on display to represent remote participant’s
gaze direction in video communication. In Proceedings of the CHI Conference on Human Factors
in Computing Systems, pp. 5307–5312, 2017.
[14] N. Yankelovich, N. Simpson, J. Kaplan, andJ. Provino. Porta-person: Telepresence for theconnected conference room. CHI’07 Extended Abstracts on Human Factors in Computing Systems,
2007.
[15] I. Kawaguchi, H. Kuzuoka, and Y. Suzuki. Studyon gaze direction perception of face image displayed on rotatable flat display. In Proceedingsof CHI 2015, pp. 1729–1737, 2015.
[16] Y. Onishi, K. Tanaka, and H. Nakanishi. Embodiment of video-mediated communication enhances
social telepresence. In Proceedings of the FourthInternational Conference on Human Agent Inter-実写アバタ映像における動き表現を用いた対象者の指定

action, pp. 171–178, 2016.
[17] S. O. Adalgeirsson and C. Breazeal. Mebot:
Arobotic platform for socially embodied presence.
In Proceedings of 5th ACM/IEEE International
Conference on Human-robot Interaction, pp. 15–
22, 2010.
[18] K. Masame. Perception of where a person is looking: Overestimation and understimation of gaze
direction. Tohoku Psychologica Folia, Vol. 49, pp.
33–41, 1990.
[19] A. Kendon. Some functions of gaze-direction insocial interaction. Acta Psychologica, Vol. 26, pp.
22–63, 1967.
[20] 宮内翼, 吉村宏紀, 西山正志, 岩井儀雄. 身体動揺の計測による待ち状態の実写アバタ生成. 電子情報通信学会論文誌 D, Vol. 100-D, No. 3, pp. 365–375, 2017.
（2019 年 10 月 31 日受付）

著者紹介
宮内

翼
2016 年鳥取大学工学部知能情報工学科
卒業．2018 年鳥取大学大学院工学研究科博士前期課程修了．現在，大日本印
刷株式会社に勤務．鳥取大学大学院工学研究科情報エレクトロニクス専攻博
士後期課程に在学中．

西山正志
2002 年 岡山大学大学院博士前期課程
了．同年 株式会社東芝研究開発センターに勤務．2011 年 東京大学大学院
学際情報学府にて博士（学際情報学）を取得．2015 年より現在 鳥取大学大学院工学研究科准教授．画像認識，インタラクションの研究に従事．2009 山
下記念研究賞などを受賞．電子情報通信学会，情報処理学会の会員．

岩井

儀雄

（正会員）
1992 年 (平成 4 年) 大阪大学基礎工学
部情報工学科卒業．1997 年 (平成 9 年)
大阪大学大学院基礎工学研究科博士課
程後期修了．同年同大学院助手．2003
年 (平成 15 年) 同大学院助教授．2004
年 (平成 16 年)5 月〜2005 年 (平成 17年)3 月英国ケンブリッジ大学客員研究員．2007 年 (平成 19 年) 同大学院准教授．2011 年 (平成 23 年）鳥取大学
大学院工学研究科教授．コンピュータ
ビジョン，パターン認識の研究に従事．
博士（工学）