情報処理学会 インタラクション 2019
IPSJ Interaction 20191P-83
2019/3/6

対話場面における複数バーチャルアバターの視線制御手法
CHOI MINKYU†1

陳 傲寒†2

星野 准一†1

概要：近年，家庭用の VR 機器の普及により，バーチャルアバターを用いたオンラインコミュニケーションサービスが普及されている．しかし，一般的な普及されている VR 機器では，ユーザの眼球運動をアバターに反映させることが難しい．したがって，注視点への視線移動における頭部・眼球協調モジュールと心理・生理学の知見による注視点決定手法を用いたアバターの視線制御システムを提案する．このシステムの実現と共に実空間での複数人の対話場面を仮想空間で構築した．

1. はじめに球や頭部の独自な動きではなくてお互いに関係性を持って動作する．頭部と眼球の自動制御による視線制御であるた

近年では家庭用 HMD などの VR 機器の普及により VRめ，「頭部・眼球協調モジュール」を実装した．本研究では，コンテンツが増加している．その中でもネット上でのバーこの頭部・眼球協調モジュール実装し，アバターの視線移チャルアバターによる生放送や，仮想世界でのアバターに動を実現する．x，y，z 軸それぞれについて注視点との距よるコミュニケーションが可能なオンラインサービスが普離の差を求める．x，z 平面において，頭及び眼球の水平方及している．アバターによるコミュニケーションを実現す

向への回転角 Vx を求める．x，y 平面において，頭及び眼る上で，会話と連動した視線制御は重要な要素となるが，球の垂直方向への回転角 Vy を求める．従来の頭部・眼球協視線検出装置などが組み込まれていない現状の VR 機器で調モジュールを用い，眼球の x 軸・y 軸の回転角 Ex，Ey，はユーザの眼球運動に基づいてアバターの視線移動制御を

頭部の x 軸，y 軸の回転角 Hx，Hy 求める．また，確率的することは難しい．に眼球と頭部の回転角度の割合を決め，視線制御を行う．

本稿では注視点への視線移動における頭部・眼球協調モジ回転角度の割合を D とする．α と β は人によって異なる個

ュールと心理・生理学の知見による注視点決定手法を用い性となる．

たアバターの視線制御システムをを実現すると共に，実空間での複数人の対話場面の計測により仮想空間における対話場面の実現例を示す．

2. 関連研究2.1 頭部・眼球協調モジュール
Masuko ら[1]によると，視線制御を行うとき，眼球運動には多様な運動の仕組みが存在し，視線移動には眼球と頭部の運動が同時に起こるということが示された．
2.2 注視点の決定
Fukuyama ら[2]は凝視量 R，凝視時間 L，凝視するときの凝視ポイント P の三つのパラメータを用いて凝視モデルを作成し，凝視状況による仮説及び凝視モデルの有用性について検証を行った．本研究では発話状況による注視点決定のパラメータとして凝視量と凝視時間を用いて凝視メカ
ニズムを提案する．

3. システム概要
3.1 頭部・眼球協調モジュール
本研究では，アバターの頭部及び眼球運動を自動制御して，実際の人間の視線移動を反映させたような自然な視線移動を実現する．Masuko らによると，人間の視線移動は眼上記の割合計算を行い，DEx・Vx，DHx・Vx，DEy・V y，DHy・Vy を各々Ex，Hx，Ey，Hy として視線制御を行う．

†1 筑波大学システム情報工学研究科†2 筑波大学工学システム学類© 2019 Information Processing Society of Japan453

情報処理学会 インタラクション 2019
IPSJ Interaction 20191P-83
2019/3/6

表 1

3.2 注視点の決定
3.2.1 発話状況による注視点の決定
Kendon[3]と Duncan[4]の会話に関する研究によると，下記の三つの条件に対して凝視パラメータが変わり，相手を凝視する頻度が高くなることが示されている．
⚫

Turn-Yielding：発話が終わるとき⚫

Turn-Taking：発話を始めようとするとき⚫

Floor-holding：発話を長く続きたいと思うとき

発話状況と凝視パラメータ

発話状況

凝視量

凝視時間[ms]

発話が始まるとき

R=0.75

L=1500

発話中（5 秒以上）

R=0.75

L=1000

発話中（5 秒未満）

R=0.50

L=1000聴収中

R=0.75

L=1500

待機中

R=0.50

L=1000

また，Argyle[5]によると，下記の三つのことが示されている．
⚫

聴収の場合，凝視する頻度が高くなる．

⚫

聴収の場合，相手を凝視する時間が長くなる．

⚫

発話を行う場合，発話が始まるときや終わるときに凝視する頻度が高くなる．

本研究では，この発話状態からの視線移動条件を用い，
表 1 のような新たに 5 つの発話条件を立ててアバターの視図 1

線制御を行い，仮想空間でのアバターの会話空間を構築す

実空間でのシステム環境

る．凝視量は相手を凝視する確率であり，凝視時間は凝視を維持する時間である．基準として待機中の凝視量を 0.5，凝視時間は 1000ms とする．待機中より凝視確率が高い場
合は凝視量を 0.75 として，凝視時間が長い場合は 1500msと設定する．
3.2.2 凝視中における注視点のばらつき
実空間における人間の会話場面では，相手を凝視する場
合，顔だけではなくて体の他のところも凝視しながら発話を行う．したがって，本研究では対話の相手を凝視しているとき，凝視対象を顔と上半身に分けて，二つの身体部位の中で一つを注視するように制御を行う．

4. 実験場面
図 1 のように unity ゲームエンジンと HTC Vive 2 台を利用して 2 人の会話場面を構築する．ユーザの上半身の回転は HTC トラッカーにより反映させ，ユーザの両腕は二つのコントローラを用いて反映させる．また，ユーザ 2 人の中で誰が発話をしているかを判定するためにマイクを利用する．発話者と連動されているアバターはリップシンクを行う．図 2 に仮想空間内でトークショー番組の場面を構築した例を示す．仮想空間の動画を配信するため，操作者は

図 2

仮想空間でのトークショー場面

参考文献[1]S. Masuko and J. Hoshino, “Head-Eye Animation Corresponding to aConversation for CG Characters,” Computer Graphics Forum, vol.
26, no. 3, pp. 303-312, 2007.
[2]A. Fukayama, T. Ohno, N. Mukawa, M. Sawaki, and N. Hagita.
Messages embedded in gaze of interface agents — impression
management with agent’s gaze. In CHI ’02, pages 41–48, 2002.
[3]Kendon, A, “Some functions of gaze-direction in social interaction.”
Acta psychologica, vol 26, pp. 22–63, 1967.
[4]Duncan, S, “Some signals and rules for taking turns in conversation.”
J. Person. Soc. Psych, vol. 23, no. 2, pp 283–292, 1972.
[5]ARGYLE M., AND DEAN J.: Eyecontact, distance and affiliation.
Sociometry, 28, pp.289-304,1965.

第 3 者視点の観客及びカメラから見た会話場面を生成した．

5. おわりに
本稿では発話状態の参照によるアバターの視線手法を実現するとともに，トークショー場面に適用した．今後の課題としては，周囲に会話の対象物などがある場合など，より複雑なシチュエーションでの視線制御を行うことが考えられる．

© 2019 Information Processing Society of Japan454