HAI シンポジウム 2013
Human-Agent Interaction Symposium 2013

II-2

AR 技術を用いた CG アバタによる道案内システム
A Navigation system with CG avatar using AR
村田 宙将 1∗Hirosuke Murata1

堀 磨伊也 1
Maiya Hori1

吉村 宏紀 1 岩井 儀雄 1
Hiroki Yoshimura1 Yoshio Iwai1

鳥取大学 大学院工学研究科
Graduate School of Engineering, Tottori University1

1

Abstract:
This report describes a navigation system that is guided by a CG avatar using
augmented reality (AR) technology. Some conventional AR navigation systems use arrows forguiding a route. However, since actual scale of the arrow is unknown, the position to whichthe arrows point is unclear. In contrast, a navigation conducted by human makes routes clear.
Furthermore, this has a sense of safety with an expectation of arrival to a destination because user
can reach a destination even if he follows a navigator. Additionally, user can communicate witha navigator. In this research, we use a CG avatar that performs interactive behavior instead ofa human using AR technology. In experiments, we show results of construction of a navigation
system using a CG avatar in the indoor and outdoor environments.

1

はじめにに誤解が生じにくいという効果が期待ができる．また，案内役の後を辿ることで目的地にたどり着くであろうという期待感や，案内役とのインタラクションによって意思疎通が図ることができるという利点があると考えられる．そのため，本稿では，より直感的で安心感のある案内システムを目的として，人間の代替としての CG アバタが対話やジェスチャなどによってインタラクティブに案内を行うシステムを提案する．

拡張現実感 (AR) 技術は現実世界に対して，計算機を用いることでリアルタイムで情報付加を行う技術である．その中で，カメラ画像に対し特定位置に CG を重畳する AR 技術には，CG を描写する位置を指定するために特殊なマーカを利用する ARToolKit[1] が存在する．また，特殊なマーカを用いず，カメラ画像から自然特徴点をトラッキングしつつ 3 次元位置にマッピングを行うことで，カメラの位置姿勢情報を推定しCG を特定位置に重畳する PTAM[2] が存在する．これらの AR 技術は，技術の進歩やハードウェアの性能の向上などによってゲーム機やスマートフォンなどの携帯機器などで扱えるようになり，AR 技術を用いたアプリケーションなどが一般的に普及しつつある．
AR 技術を用いたアプリケーションの中に道案内を行うシステムが存在する．AR 技術を用いた案内シス
テムには，スマートフォンの位置姿勢情報を用いて案内を行うアプリケーション [3][4]，赤外線センサを用いたウェアラブル AR ナビゲーションシステム [5] やモ
バイルプロジェクションによる案内システム [6] が存在する．これらは主に進行方向を矢印で示すことによって案内を行う．しかし，矢印は現実空間でのスケールが不明なために，奥行きが知覚しづらく，指し示す位置に誤解が生じることがある．これに対して人間の案内は現実のスケールが推定できるため，指し示す位置2

インタラクティブな CG アバタによる案内システム

計算機によって生成された CG アバタとのインタラクションによって案内を行い，より直観的で親近感のわくシステムを構築することが本研究の目的である．本システムの概念図を図 1 に示す．利用者は AR 技術によってリアルタイムで描写された CG アバタに対して対話やジェスチャによってインタラクションを図る．これらは音声認識，ジェスチャ認識，AR 技術を利用するため，様々なセンサを用いることで利用者の状態を常に取得する．そして各センサから得られた入力に対応するシナリオに従い，合成音声による台詞や CG アバタのモーションなどの出力を行うことで実際の人間の案内に近づける．本システムは，利用者が肉眼の代わりとなるカメラとヘッドマウントディスプレイを装着し，ビデオシースルー方式による AR を実現する．リ
アルタイムでカメラから得られた映像に CG アバタを

∗ 鳥取大学 大学院工学研究科 情報エレクトロニクス専攻〒 680-8550 鳥取県鳥取市湖山町南 4 丁目 101
E-mail: s082061@ike.tottori-u.ac.jp31に対してもリアルタイムで撮影した画像によってそれぞれの部位のジェスチャに対応できる．

2.3

AR 技術

AR 技術を用いて CG を特定位置に描写するためにはカメラの位置姿勢情報を推定する必要がある．カメラの位置姿勢情報を推定する手法にはビジョンベース
手法 [1][2][5][6] とセンサベース手法 [3][4] が存在する．
本システムは屋内，屋外の両環境での利用を想定し，景観を損ねないようにするために特殊なマーカを用いず，様々なセンサを用いて利用者の視点となるカメラの位置姿勢情報を推定する．屋外では，GPS による位置とジャイロセンサやコンパスによって姿勢情報を取得することで実現可能である．しかし，屋内では GPS 情報が利用できないため，ビジョンベース手法や無線 LAN，屋内での位置同定システムである Indoor MEssaging
System (IMES)[9] などを利用することによって位置情報を得ることで AR を実現する．これによって CG ア
バタを目的の位置に重畳することが可能となる．
さらに CG アバタがインタラクティブに案内を行うために，様々なモーションを実装する必要がある．必要と思われるジェスチャは以下の通りとなる．

図 1: 本研究の概念図• 移動時重畳することで案内を行う．さらに CG アバタとのインタラクション要素を追加する．CG アバタとのインタラクションを実現するための音声認識，ジェスチャ認識，AR 技術について以下に記述する．

– 通常歩行– 利用者の移動を急かすための走行– 階段や段差などの昇降– 利用者の接近を待つ

2.1

音声認識

• 案内時

人間を介して行う案内は，案内役の口頭による説明や対話によって行われる．そのため，CG アバタを用いる本システムでも同様に音声認識によるインタラクションを行う．これは従来手法 [7] と同様，利用者の質問などの発話内容を音声認識エンジン [8] を用いて，発話内容の単語列を取得する．その後，得られた単語列からシナリオのフラグとなる単語を取得し，対応するシナリオを選択することで CG アバタとの対話を行う．

2.2– 案内対象への指差し– 対話時の利用者に対する視線固定
• 日常時
– 挨拶
– 待機時の手遊びなど– 喜怒哀楽などの感情表現
また，利用者に対し，より CG アバタが現実に存在するかのように感じさせるために，地面に立っているように見せることや，腕や壁などの現実物体による CGアバタの描写の遮蔽を実現する必要がある．これは現実空間の平面や遮蔽物などの情報を得ることで実現する．AR 技術を用いて現実空間に CG を重畳した際，現実物体による遮蔽が行われない場合，CG と現実物体の前後関係やスケールの誤解が生じることがある．この問題を解決するために，距離センサを用いて現実空ジェスチャ認識

日常では指差しで対象を指し示すことや手を用いて意思表示を行うことがある．これらのジェスチャを認識し，CG アバタが適切な行動を提示することでインタラクションを行う．ジェスチャ認識は，あらかじめ様々な特徴を持つ人の画像を用意し，頭や，腕，胴体などの部位を機械学習させておくことで，不特定多数

32

(a) 現実物体による遮蔽考慮なし(b) 現実物体の距離画像(c) 現実物体による遮蔽考慮あり

図 2: 物体の距離を考慮した CG アバタの遮蔽実現例
間の物体の奥行きを計測し，CG の描写を実現する．現実物体の距離情報を用いた CG アバタ描写の遮蔽例を
図 2 に示す．

3

実験

3.1

屋内環境における案内システム

CG アバタによるインタラクティブな案内が有効かどうかについて実験を行った．実験では，屋内環境下の小規模空間を想定して，CG アバタがポスタープレゼンテーションを行った．ビデオシースルー方式のヘッドマウントディスプレイに固定したカメラと，位置姿勢情報を取得可能な磁気センサによって AR を実現した．磁気センサの仕様を表 1 に示す．ポスタープレゼンテーションを想定して CG アバタのインタラクションを WoZ 形式 [10] によって行った．操作者はカメラとイヤホンを通して利用者の発話内容やジェスチャに対応するモーションや発話内容を選択，入力することで利用者の行動に応じた CG アバタの操作を行った．ポ
スタープレゼンテーションの様子を図 3 に示す．実験では，ボタン入力による挨拶などのあらかじめ用意していた発話内容と，キーボード入力による任意の発話内容をスピーカにより出力した．また，モーションは

図 3: 屋内環境下における CG アバタによるポスター
プレゼンテーション例

ボタン入力による案内に必要なあらかじめ用意していたものと，視線を利用者に向け一定時間ごとにまばたきを行うようにした．実験結果では，利用者から「あたかも CG がそこにいるかのように感じられる」との意見があり，CG アバタのモーションによるポスターへの視線の誘導も効果があることが確認できた．ただし，操作者の操作時間によって利用者の発話内容に対して返答が遅くなり，対話が続かない場合があった．また一部の利用者から「CG アバタと対話している感じがしない」という意見があった．これには操作者の返答に対する操作速度向上や，入力に対する出力の自動化などで応答時間を短くすることで解決すると考えられる．

表 1: 磁気センサ (3SPACE FASTRAK : Polhemus 社製) の仕様
測定範囲
半径約 76cm の半球内
分解能
位置 0.005mm 角度 0.025
精度 (RMS)
位置 0.76cm 角度 0.15◦
データレート120point/sec
反応速度4msec

3.2

屋外環境における案内システム

屋外環境において CG アバタによる道案内を行った．
実験では，屋内環境と同様に，ビデオシースルー方式

33

R
表 3: GPS (Microstrain 社製 3DM-GX⃝-45) の仕様
GPS 水平位置精度2.5m
GPS 時間パルス信号精度 30 nsec RMS
GPS データレート4Hz

表 4: 案内の経路の移動距離と GPS データから算出した移動距離の比較
案内の経路の移動距離215.9m
GPS データ算出移動距離 223.5mの仕様を表 3 に示す．実験で使用した案内の経路における分岐地点の画像を図 6 に示す．実験を行った案内の経路の分岐数は 3 分岐が 2ヶ所 (図 6(a)，(b))，2 分岐が 2ヶ所 (図 6(c)，(d)) であった．これらの経路の分岐点で利用者を CG アバタが先導している様子を図 7に示す．また案内の経路の移動距離と GPS データから算出した移動距離を表 4 に示す．図 5 より，被験者はあらかじめ決めていた案内の経路を辿っていることがわかる．また表 4 で被験者は案内の経路と比較して約7.6m 多く距離を移動している．これは案内の経路の移動距離に対し約 3.5%の誤差であり，案内に影響は少なく，有効に行われたと考えられる．これらの結果より，
CG アバタを表示し，あたかも先導するかのように動かすことで利用者に対し目的地へ案内を行うことができることがわかる．また，利用者の意見として，「CGアバタが先導してくれているという感覚で，方向に対し悩まずに進むことができる」という意見があった．

図 4: 実験装置の外観のヘッドマウントディスプレイを用いた．また，コンパスとジャイロセンサによってカメラの姿勢情報を取得した．用いたコンパス，ジャイロセンサの仕様について表 2 に示す．屋外での移動を伴う案内のため，利用者は PC，ヘッドマウントディスプレイ，カメラ，各センサ類を身に着け移動を行う．これらの実験装置の外観を図 4 に示す．CG を描写する位置は，利用者がCG アバタの背面を見た際，あたかも前方を先導しているかのように見える一定の距離とし，操作者が利用者の進行方向へ CG を移動させる操作を行うことで定めた．操作者は，利用者が装着した PC に映る利用者視点映像をモニタリングしつつ，案内方向を操作する
WoZ 形式 [10] で案内を行った．
案内は，予め定めていた経路で行い，利用者には目的地を告げなかった．利用者は CG アバタの歩いている姿を見せ，いくつかの分岐点で進行方向を判断させるように案内を行った．また，あらかじめ定めていた経路の距離と実際の案内によって移動した距離を比較し，提案システムの案内の有効性を検証した．案内で設定した経路と実際に利用者が移動した GPS によるログデータを図 5 に示す．また，このとき使用した GPS

4

おわりに

本研究では音声認識，ジェスチャ認識，AR 技術を利用することで CG アバタを用いてインタラクティブな案内を行うシステムを提案した．実験では，屋内環境下で CG アバタを用いたポスタープレゼンテーションを行った．これにより CG アバタによるインタラクティブな案内が有効かどうか利用者の意見によって調査した．これによって利用者は CG アバタが目の前に存在している感覚を持ち，視線誘導も行うことができるなどの一定の効果が確認できた．屋外環境下では CG ア
バタの先導による道案内を行った．これによって CGアバタが利用者に対して道案内を行うことができるという結果を示すことができた．今後の課題として CGアバタが実際に人の案内のように安心感などを生み出すことができるのか検証することが挙げられる．そして，人の案内と同様に CG アバタにも後をついていけばたどり着くであろうという追随心理が働くかを検証

表 2: コンパスおよびジャイロセンサ (Microstrain 社R製 3DM-GX⃝-45) の仕様
ジャイロ測定範囲±300◦ /sec
ジャイロバイアス誤差±0.25◦ /sec
ジャイロスケールファクタ安定性±0.05◦
ジャイロデータレート
100Hz
ジャイロサンプリングレート
30kHz

34

(a) 案内の経路 (目的の真値)(b) 案内の経路歩行時の GPS ログデータ

図 5: 屋外環境での CG アバタを用いた道案内の実験結果を行い，提案手法の有効性を示す．

5[8] 国立大学法人名古屋工業大学. 大語彙連続音声認識エンジン julius. http://julius.sourceforge.
jp/.

謝辞

[9] 河口, 小神野, 石井, 浅子, マナンダー, ビチェン
コーフ, 鳥本. IMES によるシームレス 3 次元ナビの実用化 . GNSS シンポジウム, 2010.

本研究の一部は，新学術領域研究 (No. 24118705) の助成を受けたものである．

[10] N. M. Fraser and G. N. Gilbert.
Simulating
Speech Systems . Computer Speech and Language, pp. 81–99, 1991.

参考文献[1] 加藤博一. 拡張現実感システム構築ツール ARToolKit の開発 . 電子情報通信学会技術研究報告(PRMU), Vol. 101(652), pp. 79–86, 2002.
[2] G. Klein and D. Murray. Parallel Tracking And
Mapping for small AR workspaces . Proc. IEEEand ACM Int. Symp. on Mixed and AugmentedReality, pp. 225–234, 2007.
[3] Yahoo!Japan. Yahoo!ロコ - 地図 - Yahoo!ロコ- 地図アプリ .
[4] 頓智ドット.

Sekai Camera .

[5] 前田, 小川, 清川, 竹村. 赤外線を用いたビジョン
ベーストラッキングによるウェアラブル AR ナビ
ゲーションシステム . Vol. 103(584), pp. 61–62,2004.
[6] 永松, 中里, 神原, 横矢. 屋内環境におけるモバイ
ルプロジェクション型 AR 案内システム . 日本
バーチャルリアリティ学会論文誌, Vol. 14(3), pp.
283–293, 2009.
[7] 国立大学法人名古屋工業大学. メイちゃん公式ウェ
ブサイト. http://mei.web.nitech.ac.jp/.

35

(a) A 地点(b) B 地点(c) C 地点(d) D 地点

図 6: 実験で使用した案内の経路の分岐点(a) A 地点(b) B 地点(c) C 地点(d) D 地点

図 7: 実験で使用した案内の経路の分岐点における CG アバタの表示

36