情報処理学会 インタラクション 2014
IPSJ Interaction 2014

C2-7
2014/3/1

バーチャルキャラクターとの視線によるコミュニケーションを実現する添い寝システムの開発
根岸匠1

神場知成2

田中二郎3

概要：本研究では、没入型のヘッドマウンドディスプレイ（HMD）を利用し、ユーザが視線（顔の向き）だけによってバーチャルキャラクターとのコミュニケーションをとることが可能な、就寝前のリラクゼーションを促すシステムを開発した。バーチャルキャラクターは、ユーザが明示的な操作を行わなくても、視線を検知し、笑顔を向けたり声をかけたりといった動作を行う。本稿では、システムの実装や動作について述べる。本システムの用いた手法は、たとえば入院中で手を動かせない患者への適用などにも応用できると考える。

Sleep Inducing Virtual Character Using Eye Contact
Communication System
Takumi Negishi 1

Tomonari Kamba2

Jiro Tanaka3

Abstract: In this research, we have developed a system that makes the user relax before going to sleep. Theuser may simply interact by making eye contact with a virtual character. For this purpose, the user has towear a head mounted display. When the user makes eye contact with the virtual character, it may respondby displaying a smiling face, or by talking to the user. This paper describes our proposed system and itsutilization. One example of using our system is in situations where hospitalized patients cannot move theirhands.

1. はじめにたコンテンツ作成が容易になり始めている。Oculus Rift[3]では、ゲーム制作やインタラクティブな 3D コンテンツ制

ヘッドマウントディスプレイ (HMD: Head Mounted Dis-

作のための統合開発エンジンである Unity[4] と連携し、開play) を用いた研究は古くから行われており、最近に至る

発者は Unity と Oculus Rift を用いて HMD を用いたバー

まで様々なアプリケーションやインタフェースデザインのチャルリアリティコンテンツを容易に作成できるように研究や開発が行われてきた。近年の研究では、Colaço らのなった。

Mime[1] や Ardouin らの FlyVIZ[2] といった HMD を活用

このようにバーチャルリアリティが簡単に実現できるよした次世代のインタフェースデザインやコンテンツの開発うになり、ゲーム等では多く用いられている。本研究では、が行われている。

さらにそれを日常生活の中で活用することを目的とし高そのように研究や開発が行われる一方で、HMD を活用し機能な HMD を日常生活に根ざしたコンテンツとして用いる方法を考え、バーチャルリアリティコンテンツの就寝前

1

2

3

筑波大学 情報学群 情報科学類
School of Infomatics, College of Information Science, University of Tsukuba
NEC ビッグローブ（株）/ 筑波大学
NEC BIGLOBE Ltd. / University of Tsukuba
筑波大学 システム情報系
Faculty of Engineering, Information and Systems, Universityof Tsukuba© 2014 Information Processing Society of Japanのリラクゼーションという場面への利用に着目した。バーチャルキャラクターとの添い寝というシチュエーションを元に、バーチャルリアリティ空間とそこに存在するバーチャルキャラクターを見ながら、HMD で検出できる頭部の向きを視線の向きとすることでキャラクターとの視線に624

よるインタラクションをとることが可能なシステムを開発

ゲーム開発エンジン Unity と、没入型 HMD である Oculus

した。

Rift を用いている。Unity で作られた実行ファイルを PC上で動作させ、その映像を Oculus Rift に送信する。HMD

2. 関連研究で取得したユーザの頭部のヨー・ピッチ・ロール角の情報

本研究と同じくバーチャルキャラクターを仮想的な添いを PC へ送信する。

寝者としてユーザに提示した研究に、榊ら [5] の仮想的な添今回、Oculus Rift を選択した理由は、Oculus Rift がゲーい寝者を伴う没入型絵本読み聞かせシステムがある。これ

ム用に特化している HMD であり没入感が高く今回のようは、寝床に設置されたいくつかのスクリーンの上に仮想的なゲームエンジンを用いたコンテンツの利用に適しているな添い寝者や朗読する絵本に関連した映像が投映される。

ためである。また他にも HMD を装着したまま寝た際に後ユーザはジェスチャと赤外線ポインタを用いることで, 仮頭部当たるものが少ないことや、遅延が少ないことも理由

想的な添い寝者や絵本の世界とインタラクションが可能にの 1 つである。

なるというものである。これに対し、本研究は用意するものは HMD のみである点、そしてバーチャルキャラクターとのインタラクションにおいて視線という入力を用いているという点で異なっている。

Andrist ら [6] はバーチャルキャラクターが人間の聞き手に対して話をする際に、聞き手に対して目を合わせながら4. ソフトウェア
ソフトウェア部分の全体的な実装は Unity で行った。
バーチャル空間における部屋とベッドとキャラクターモデ
ル、そしてそれらをバーチャル空間上のある位置からの映像を HMD に出力するアセットから構成されている。

話すほうが、目をそらしながら話すよりも親密度や信頼度が高く感じられることを実験によって示した。本研究では、

4.1 モデルの実装

バーチャルキャラクターが声をかける際、同時にユーザをMikuMikuDance 形 式 [7] の キ ャ ラ ク タ ー モ デ ル を見つめることによってユーザがバーチャルキャラクターにUnity 上 で 利 用 で き る よ う に す る た め の ツ ー ル で あ る対して親密さを抱きやすくなるように工夫を行った。

MMD4Mecanim[8] を用いてモデルの実装を行った。本システムのキャラクターモデルは MikuMikuDance 形式の3. システム構成

キャラクターモデルを MMD4Mecanim を用いて Unity で使用可能な形式に変換し用いている。
また現在において MikuMikuDance 形式のキャラクターモデルは非常に多く存在している [9]。そのためユーザはそれらのモデルの中から自分の好みのキャラクターを選択し、そのキャラクター添い寝をすることが可能である。

4.2 視線の実装

図 2

ユーザが寝ている状態を２人のキャラクターが上から覗き込んでいるときの視線ブロックを示す。

図 1

システムの構成概要図

本システムの実装概要図を図 1 に示す。実装には主に© 2014 Information Processing Society of Japan

図 2 は、ユーザがあおむけ状態の時の視線ブロックを俯瞰目線から表した図である。

625

図 3

図 5 の左のモデル (初音ミク) の本システム上でのステートマシン

本システムではユーザのキャラクターへの視線を 視線ブロック とキャラクターの頭部への衝突判定から検出し

表 1

図 3 におけるステート遷移例

遷移前ステート

入力

経過時間

初期姿勢

視線を向ける

3秒

隣に寝る

隣に寝る

終了時

―

こちらを見つめる

こちらを見る

視線を向ける

10 秒

呼びかけ (なーに？)

Oculus Rift によって得たユーザの頭部のヨー・ピッチ・

こちらを見る

視線を反らす30 秒

おやすみなさいロール角の変位をそのまま Unity 上に反映している。得らおやすみなさい

視線を向ける10 秒

こちらを見つめるている。ここで 視線ブロック とは図 2 における灰色のブロックを指す。

Oculus Rift のアセットを Unity 上に組み込むことで、遷移後ステートれた角度変位を、 視線ブロック の角度変位に適用することで、常にユーザの見る映像の正面方向に対してブロックが向いていることを実現し、擬似的に視線を表すことを実現している。
また、本章の説明のためにブロックを可視化しているが、実際のシステム利用時では可視化されていない。

といった処理を実装している。
このインタラクションは見つめる時間あるいは目をそらす時間があらかじめ設定された時間以上経過によってステートが遷移する機能を実装をしている。ステート遷移に必要な時間は全てのステートで異なっており、見続けるあるいは目をそらす時間がステート毎に設定されている。ま4.3 各キャラクターのモーションの実装た連続したモーションを表すためにモーションが終わった

また各キャラクターのモーションについては、これもモら次のモーションに遷移するという設定のステートも存在

デルと同様に MikuMikuDance 形式のモーションファイルする。これにより柔軟なインタラクションを実現している。

を MMD4Mecanim で変換して Unity 上にインポートしている。各キャラクターにおいて図 3 のステートマシンを用いてモーションを割り当て管理している。

4.5 各キャラクターの声の実装
キャラクターがユーザに呼びかける声は音声合成ソフトを用いて作成し、それらをモーションの開始と同時に音声

4.4 各キャラクターとのインタラクションの実装
各キャラクターのモーションを管理している図 3 のス
テートマシンではこの接触している時間をもとにモーショを再生するという実装を行った。

5. システムの動作ンの再生を制御している。表 1 では例えばキャラクターモ本システムの利用方法を述べる。まず PC に繋がれたデルが図 3 において こちらを見つめる 状態にあるとき

HMD を 装着し本システムを起動する。本システムを利用ユーザが 10 秒間キャラクターに視線を向けるとキャラクするにあたり、姿勢は図 4 のようにユーザはあおむけ状態

ターが「なーに？」と呼びかけた後笑顔をユーザに向けるであることが望ましい。ユーザはこの姿勢のもと頭の方向© 2014 Information Processing Society of Japan626

図 4 本システム利用時のユーザの様子

図 6

図 5

キャラクターがユーザを見つめている状態

システム起動時に HMD に最初に表示される映像を変え、映しだされたコンテンツを楽しむ。例えばシステムの起動時には、HMD に図 5 のような 2 人のバーチャルキャラクターが覗きこんでくる映像が映しだされている。

図 7 キャラクターがユーザに声をかけている状態

それぞれのキャラクターの顔に視線を向けることによって、キャラクターはそれぞれ自分の隣に寝転がり『おやすター達の顔部分に視線を一定時間向けることで、各キャラみなさい』と声をかけてくれる。その後、寝転がったキャクターが図 7 のようにユーザに声をかけたり、動いたり笑

ラクターはじっとこちらを見ているので、ユーザも一定時顔をこちらに向けるといったインタラクションを行う。つ間視線を合わせるとキャラクターは困惑した表情で『なーまり視線によるユーザとバーチャルキャラクター間の 見に？』と声をかけてくれる。仮にこの時点でユーザが一定る・見られる ことを用いたインタラクション手法を用い時間目を離しているとキャラクターは目を閉じて就寝すている。また、HMD に搭載されているセンサからヨー・る。そのようにしてキャラクターとインタラクションをとピッチ・ロール角を取得し反映することにより視線を用いりリラックスをする、というものである。また、ユーザのる手法において自然なインタラクションを可能としている。

両隣に映しだされたバーチャルキャラクターについては、設定によってユーザは自分の好みのキャラクターモデルを選択することが可能である。

6. おわりに本研究において、視線を用いたキャラクターとのインタ

キャラクターは基本のステートでは、図 6 のように常時ラクションを備えた就寝時のバーチャルリアリティコンテこちらを見つめている。ユーザは表示されているキャラクンツを開発した。これにより本システムを用いることで就© 2014 Information Processing Society of Japan627

寝時というユーザが大きく動くことが適していない場面において視線というインタラクションを用いたバーチャルリアリティコンテンツを作成することができた。

彦.: HMD による入院生活の QOL 改善に関する研究 (セッション 6 ＜特集＞, あったかいインタラクション) 情報処
理学会研究報告. HCI, ヒューマンコンピュータインタラク
ション研究会報告 2009(5), pp. 97-104 (2009)

本システムは現在 (2013 年 11 月現在) 実装は完了している。本システムの課題の 1 つとして HMD を横たわっている時に利用することについて良い提示手法かはまだ不明である。今後はこのコンテンツの提示手法が適切かどうかを被験者実験とインタビューを行いそこから考察をする予定である。その後、本システムの一般への公開を予定している。
また、本システムは日常生活に根ざしたコンテンツの作成を目的として開発したものであるが、このシステムの応用例として介護または入院中の患者の退屈の緩和として本システムを備えたコンテンツを利用することが考えられる。
五味ら [10] の研究では、入院中の HMD による映像の視聴が精神的苦痛や退屈の緩和に有効であることが被験者のアンケート評価の結果よりわかっている。これに対し本シス
テムは同じく HMD を用いたコンテンツである。また、視線を用いたインタラクションという比較的労力の少ないインタラクション手法を用いているため、入院中など容易に手を動かせない状況であってもコンテンツを楽しむことが可能である。この点を活かしたインタラクションデザインの追求をすることも今後の課題とする。
参考文献
[1]

Colaço, A., Kirmani, A., Yang, H.S., Gong, N.W.,Schmandt, C., Goyal, V. K.: Mime: compact, low power
3D gesture sensing for interaction with head mounted displays, UIST ’13 Proceedings of the 26th annual ACM
symposium on User interface software and technology, pp.
227-236, (2013)[2] Ardouin, J., Lécuyer, A., Marchal, M., Riant, C., Marchand, E.: FlyVIZ: a novel display device to provide humans with 360° vision by coupling catadioptric camera
with hmd, VRST ’12 Proceedings of the 18th ACM symposium on Virtual reality software and technology, pp.
41-44 (2012)[3] Oculus Rift,http://www.oculusvr.com/(accessed November 22, 2013)[4] Unity,http://japan.unity3d.com/(accessed November 22, 2013)[5] 榊裕亮, 井上亮文, 星徹.: 仮想的な添い寝者を伴う没入型絵
本読み聞かせシステム, 全国大会講演論文集 2013(1), pp.
199-201 (2013)[6] Andrist, S., Pejsa, T., Mutlu, B., Gleicher, M.: Designingeﬀective gaze mechanisms for virtual agents, CHI ’12 Proceedings of the SIGCHI Conference on Human Factors inComputing Systems, pp. 705-714, (2012)[7] MikuMikuDance,http://www.geocities.jp/higuchuu4/(accessed November 22, 2013)[8] MMD4Mecanim,http://stereoarts.jp/(accessed November 22, 2013)[9] VPVP wiki - モ デ ル デ ー タ,
http://www6.atwiki.jp/vpvpwiki/pages/65.html(accessed November 22, 2013)[10] 五味 雄一, 万井 真理子, 森田 圭紀, 寺田 努, 東 健, 塚本 昌

© 2014 Information Processing Society of Japan628