AR WoZ システムの構築と対話に適したユーザとAR キャラクタの位置関係の分析
Analysis of Appropriate Relative Position of User and
AR Character for Communication Using AR WoZ System荒牧 怜奈 1∗ 村上 真 1
Reina ARAMAKI1
Makoto MURAKAMI1
東洋大学総合情報学部総合情報学科
Department of Information Sciences and Arts, Toyo University
1

1

Abstract: Our aim is to construct the system which can communicate with humans in their
daily life such as in their home or pedestrian street. We propose the human-agent communication
system using augmented reality technology. In the system the AR character agent has no physicalbody, and that makes it easier to work safely in the real environment of daily life. As a first stepto implement the AR agent’s motion control component, we focus on investigating the appropriate
spatial distance and orientation of the AR agent with respect to the user through some experimental
settings. We have constructed the AR agent WoZ system, in which the agent is operated underremote control by hidden operators, to get human-agent interaction data through experimental
trials. I have collected the interaction data in one of the simple experimental settings: when theuser sitting on the desk communicates with the AR agent standing in various positions on thedesk. I have analyzed the appropriate spatial relationships between the user and the AR agent
for communication. The result shows that the appropriate spatial distance is independent of thedirection, and is about 90cm which is categorized in the personal distance in Hall’s proxemics.

1

はじめに

近年，人間と共に生活できるロボットの開発を目指し，人間が暮らす現実の環境でロボットを動作させるための研究が行われている．介護等の家庭向けサービ
スロボットは人間との接触を伴うため，安全にロボットを動作させる必要がある．Wyrobek ら [1] は，2 本の腕を持った移動可能なロボットを開発し，従来の産業用ロボットに比べて安全であることを示している．Sugaiwa
ら [2] は，接触が起こった際の安全性を確保するために，衝撃を吸収できる皮膚をもったロボットを開発している．また，リビングや台所といった家庭で実際にロボットを動作させることを目的とした様々な課題の達成度を競い合う RoboCup@Home が行われており，Stuckler
ら [3] は，家の中を自律移動し，家の中の物を掴んで移動させ，人間とインタラクションを行うことができるロボットを開発している．さらに，実際に人が生活する街の中で安全かつ確実にロボットを動作させる技術チャレンジであるつくばチャレンジが 2007 年から毎年∗ 連絡先： 東洋大学総合情報学部総合情報学科〒 350-8585 埼玉県川越市鯨井 2100
E-mail: is0904796@toyo.jp

行われており，2010 年には 60 チーム以上が参加し 7 台のロボットが課題を達成した [4]．このように人間と共に暮らすロボットに関する研究は活発に行われているが，様々な障害物がある環境で人間の歩行速度と同じ速度で自律移動し，安全に動作するロボットの実用化にはまだ時間がかかる．
一方，力作業を伴わないコミュニケーションロボット
であれば，小型軽量化が可能であり，より安全に設計できる．また，家庭で使用する際にはスペースを要しないため邪魔になることもない．しかし，小型のロボットが立っている人とコミュニケーションをとる際には，位置関係が不自然になってしまう欠点がある．そのため，机や台の上に置いて使用することになるが，現状の技術ではロボットが机や台の上に乗り降りすることは困難である．また，屋外で使用する場合には乗り降りできるものもないため，対話位置の不自然さを解消できない．
これらはロボットが実体のあるシステムであることから生じている問題であり，コミュニケーションを目的としたシステムであれば，実体をなくすことにより物理的な制約を緩和することができ，問題を軽減できる．

そこで，本研究では，拡張現実（Augmented Reality:AR）技術を使用した AR キャラクタによる対話システ
ムを提案する．図 1，図 2 に示すように，提案システ
ムでは，ユーザは頭部にヘッドマウントディスプレイ・カメラ・マイク・イヤフォンを装着する．まず，カメラから取得した映像をヘッドマウントディスプレイに表示し，AR 技術を用いて人型の CG キャラクタをヘッドマウントディスプレイに表示されている映像中に合成する．また，マイクとイヤフォンによりユーザは ARキャラクタと音声で対話することができる．AR キャラ
クタには実体がないため，障害物がある環境でも安全に移動でき，机や台の上に乗り降りすることも容易であり，空中に浮かんで対話することもできるため，家庭や屋外での利用も容易となる．
本研究では，AR キャラクタの動作制御部の構築を目的とする．Human Robot Interaction（HRI）研究では，人間が被験者に隠れてロボットを操作できる Wizard ofOz（WoZ）システムを使用してロボットと被験者のやり取りのデータを取得し，それらを分析することで状況やタスクに適したロボットの動作を明らかにし，それを元にロボットの動作を制御するという方法が用いられることが多い．そこで，本研究では，人間が被験者に隠れて AR キャラクタを操作できる AR WoZ シス
テムを構築し，動作制御部構築の第一段階として，対話に適した人間と AR キャラクタの位置関係の分析を行う．
第 2 章では対話に適した位置関係の関連研究を，第3 章では AR WoZ システムの詳細を述べ，第 4 章では被験者実験について説明し，第 5 章でまとめる．
Tell me yourfavorite restaurant.
Why do youlike it?

It's “BubbaGump Shrimp”.
There are many fresh
seafood dishes, andeverything tastes good.

Where is it?

It's near
the Tokyo Dome

図 1: AR キャラクタ対話システムの家庭での使用例

There is a fresh seafood
restaurant around here.
I'm sure you'll like it.

Really?
Take me there.

図 2: AR キャラクタ対話システムの屋外での使用例

2

関連研究

Hall[5] は近接学（Proxemics）を提唱し，人間同士がコミュニケーションをとる際の距離を，密接距離・個体距離・社会距離・公衆距離に分類した．密接距離とは，45cm 未満の距離であり，恋人同士や親密な関係の人同士がコミュニケーションをとる際の距離である．個体距離とは，45cm から 120cm までの距離であり，友人や知り合いの者同士がコミュニケーションをとる際の距離である．社会距離とは，1.2m から 3.6m までの距離であり，初対面の人同士がコミュニケーションをとる際の距離である．公衆距離とは，3.6m 以上の距離であり，講演などのように多くの人に対して話す際に使用される距離である．
Kendon[6] は，2 人以上の人がコミュニケーションをとる際に位置や方向に関する関係性が生まれ，お互いが影響を及ぼし合うことによって行動が組織化されるシステムを F-formation system と呼んだ．F-formation
における空間配置で代表的なものとしては，3 人以上の人が何もない空間で立って会話をする際に現れる円形配置（circular arrangement）がある．また，2 人の人が会話をする際に現れる配置としては，お互いが向かい合う配置（vis-a-vis arrangement），L 字型に並び，視線が直交する配置（L-arrangement），横に並び同じ方向を向く配置（side-by-side arrangement）がある．
HRI の研究領域では，ロボットが人間とコミュニケーションをとる際にどのような距離や位置関係をとればよいかを明らかにするための研究が行われている．Butler
ら [7] はロボットの外観の違いによる人とロボットとのコミュニケーション距離の違いを分析し，人間的な外観のロボットのほうが機械的な外観のロボットよりコミュニケーション距離が遠くなり，ロボットの身長（1.2mと 1.4m）によってコミュニケーション距離は変わらないと報告している．
Walters ら [8] は機械的な外観で 1.1m の身長のロボットが人間に近づく場合と人間がロボットに近づく場合の距離を分析し，約 40%の被験者が密接距離まで近づく，あるいは近づくことを許したと報告している．また，被験者に性格検査を行い，性格が距離に影響を与えるかどうかを調べた．その結果，proactiveness のスコアが高いほど距離が遠くなると報告している．
Huettenrauch ら [9] は，Walters らが使用したロボットと同じロボットを使い，人間がロボットを案内する “FOLLOW”，人間がロボットに場所や物を教える“SHOW”，人間がロボットに教えた場所や物を確認する “VALIDATE” という 3 つのタスクで位置関係を調べた．その結果，タスクによらず一番多くとられた距
離は個体距離であり，Walters らの報告に比べて密接距
離から 3 つのタスクを行った被験者は少なかった．また，タスクによらず一番多く現れた配置は Kendon のF-Formation における vis-a-vis arrangement であったと報告している．
Woods ら [10] は，ロボットが物を取ってくるというタスクで，ロボットがどの方向から人間に近づくのがよいかを実験により明らかにした．具体的には，人間がオープンスペースで座っている，テーブルに向かって座っている，オープンスペースで立っている，壁を背にして立っているという 4 つの状況で実験を行い，アンケートで得た快適さ（comfortable) と効率（taskeﬃcient）の 2 点を基準として評価した．その結果，4つの状況ともに快適だったのが斜め前から近づく場合であり，快適でなかったのが後ろと正面から近づく場合であった．ただし，オープンスペースで立っている状
況では正面から近づくのが効率がよいと報告している．
没入型仮想現実技術を使用し，仮想環境で生成された人物と人間がコミュニケーションをとる被験者実験を行い，互いの位置関係を分析する研究が行われている．
この手法では，実環境よりも実験環境や実験条件を制御することが容易になるという利点がある．Bailenson
ら [11] は，3 次元コンピュータグラフィックスで作成された仮想の人物の性別，視線の制御（視線を合わせるか合わせないか），設定（人間に制御されているアバタか自律的に行動しているエージェントか）を変化させて，被験者が立っている仮想の人物に近づく場合の距離が変化するかを分析した．その結果，前から近づく場合のほうが後ろから近づく場合に比べて距離が遠くなり，仮想の人物が女性の場合のほうが男性の場合より距離が遠くなり，また，仮想の人物の設定がエージェントのときのみ，視線の制御がある場合のほうがない場合よりも距離が遠くなったと報告している．
本研究で提案する AR キャラクタによる対話システ
ムでは，キャラクタは実体を持たないため，机の上に立った状態や空中に浮かんだ状態で対話することができる．そのため，人間同士や人間とロボットにおける対話位置とは異なる可能性がある．また，本研究の目的は，実際に人間が生活する環境で使用できる対話システムを構築するために，対話に適したユーザとキャラクタの位置関係を明らかにすることであり，現実環境で使用できない没入型仮想環境を使用した仮想的な人物と人間との位置関係に関する研究とも異なる．

3

AR WoZ システム

本章では，本研究で構築した AR WoZ システムの詳細について説明する．
図 3，図 4 に示すように，実験実施者と被験者は別室におり，それぞれの部屋には LAN で繋がっているコンピュータがある．実験実施者と被験者は頭部に Vuzix
社のヘッドマウントディスプレイ Wrap1200VR，カメラ，マイク，イヤフォンを装着し，それらは全てそれぞれの部屋のコンピュータに繋がっている．また，実験実施者と被験者の全身あるいは上半身が撮影できる位置に ASUS 社の Xtion PRO LIVE が設置されており，各部屋のコンピュータに繋がっている．
まず，被験者に提示される情報について説明する．
図 3 に示すように，被験者が頭部に装着しているカメラから OpenCV を用いてカラー画像データを取得し，OpenGL を用いてヘッドマウントディスプレイに表示する．次に，予め作成された CG キャラクタの形状データを読み込み，OpenGL を用いてヘッドマウントディスプレイに表示されている映像中に CG キャラクタを合成表示する．一方，実験実施者側の Xtion から OpenNIと NITE を使用し，実験実施者の関節位置を取得し，LAN を介して被験者側のコンピュータに送信する．被験者側のコンピュータでは，受信した関節位置に従いCG キャラクタの動作を制御する．ヘッドマウントディ
スプレイ Wrap1200VR には方向を推定できるセンサが搭載されており，センサから得られた被験者の顔の向きに応じて CG キャラクタを適切な位置に表示できるようにしている．また，実験実施者の音声をマイクにより録音し，LAN を介して被験者側に送信し，被験者のイヤフォンへ出力する．このようにすることで，被験者に現実の世界の中に CG キャラクタがおり，自律的に行動し，話しているように感じさせることができる．
LAN
the experimenter's
speech signal
HMD, camera,microphone,earphones

computercomputer

HMD, camera,microphone,earphones

the experimenter's
joints' positions
Nice tomeet you.
experimenter

Nice tomeet you.
Xtion

Xtion

subject

図 3: AR WoZ システム: 被験者に提示される情報
次に，実験実施者に提示される情報について説明する．図 4 に示すように，実験実施者が装着しているカメラからカラー画像データを取得し，ヘッドマウントディスプレイに表示する．一方，被験者側の Xtion から OpenNI と NITE を使用し，カラー画像データ，距離画像データを取得し，被験者の領域を推定する．推定された被験者領域のカラー画像データと距離画像データを LAN を介して実験実施者側のコンピュータに送信する．実験実施者側のコンピュータでは，受信した被験者領域の距離画像データを元に OpenGL を用いて 3次元のポリゴンを合成し，さらにカラー画像データに従いポリゴンに色をつけ，ヘッドマウントディスプレ

イに表示されている映像中に合成表示する．また，ヘッドマウントディスプレイのセンサから得られる実験実施者の顔の向きに応じて 3 次元ポリゴンを適切な位置に表示できるようにしている．さらに，被験者の音声をマイクにより録音し，LAN を介して実験実施者側に送信し，実験実施者のイヤフォンへ出力する．このようにすることで，実験実施者には目の前に被験者がおり，会話しているように感じさせることができる．
LANthe subject's
speech signal
HMD, camera,
microphone,earphonescomputer

computer

HMD, camera,microphone,earphones

color RGB data
and depth datain the subject's region

4.2

実験方法

実験で使用する AR キャラクタの外観は図 5 に示す通りであり，表示させる大きさ（身長）は，机の上に立った状態で被験者と目の高さが合うように 40cm とした．
被験者には図 6 右に示すような 180cm × 150cm の大きさの何も置かれていない机に向かって椅子に腰かけてもらい，被験者の正面方向の机の上に上半身が撮影できるように距離をおいて Xtion を設置した．実験実施者は図 6 左に示すように，最初 Xtion から 4m 離れた位置に立っている．被験者・実験実施者の部屋には，図 6 に示すような位置にそれぞれディジタルビデオカメラを設置した．
180cm

Nice tomeet
you too.
experimenter

Xtion

Xtion

video camera

experimenter

Nice tomeet
you too.

Xtion
AR character

subject150cm

図 4: AR WoZ システム: 実験実施者に提示される情報

4m

45°-45°45°-45°120cm

実際に構築した AR WoZ システムの実行例として，実験実施者・被験者の様子とそれぞれのヘッドマウン
トディスプレイに表示されている映像を図 5 に示す．

Xtion video camera

experimenter’s room

subject

subject’s room

図 6: 実験環境
実験の手順を以下に示す．

experimenter’s viewexperimenter

subject’s view

subject

図 5: AR WoZ システムの実行例

4

実験

4.1

実験目的

実験の目的は，何も置かれていない机に向かって椅子に腰かけた状態のユーザが机の上に立っている ARキャラクタと対話する際の最適な位置関係を明らかにすることである．

(1) 実験実施者は被験者に実験の内容を説明し，同意書に署名してもらう．次に，ヘッドマウントディスプレイ，カメラ，マイク，イヤフォンを装着してもらい，着席してもらう．
(2) 実験実施者は図 6 左に示すように，Xtion から正面（0 °），左斜め前（45 °），右斜め前（-45 °）のいずれかの方向に 4m 離れて立つ．実験実施者のいる部屋の実空間中の距離と被験者のヘッドマ
ウントディスプレイに表示されている仮想空間中の距離の比率は 10:3 となるようにしているため，被験者には図 6 右に示すように，120cm 離れた位置に AR キャラクタがいるように見える．この状態で，被験者にシステムに慣れてもらうために2 分間対話してもらう．対話内容はこの実験を通して特に指示しないこととした．
(3) 実験実施者は 4m 離れた位置から Xtion に向かって真っ直ぐ歩いて近づく．すると，被験者には ARキャラクタが歩いて近づくように見える．対話するのに適切だと思う位置まで AR キャラクタが近づいたら，被験者に口頭で止まるように指示してもらう．また，「もう少し前」や「もう少し後ろ」と口頭で指示してもらい，適切な位置になるように調整してもらう．適切な位置になったら，2 分間対話する．

(4) 実験実施者は Xtion に向かってさらに真っ直ぐ歩いて近づき，手順 (3) と同様に，被験者に口頭で指示してもらい，対話できる限界の位置まで ARキャラクタを近づけて 2 分間対話する．
(5) 実験実施者は Xtion から真っ直ぐ後退し，手順(3) と同様に，被験者に口頭で指示してもらい，再び対話するのに適切だと思う位置まで AR キャラクタを移動させ，2 分間対話する．
(6) 手順 (3) から (5) を，図 6 に示すように，正面（0°），左斜め前（45 °），右斜め前（-45 °）と方向を変えて 3 回繰り返す．この順番は被験者ごとにランダムに設定した．
(7) 最も対話しやすい位置に AR キャラクタが表示されるように被験者に口頭で指示してもらい，その位置関係で 2 分間対話する．
実験実施者側の Xtion によって胴体の中央の座標を取得し，実験実施者側の実空間中の距離と被験者に表3示されている仮想空間中の距離の縮尺に合わせて 10倍し，被験者と AR キャラクタの水平面上の距離と方向を算出した．取得した距離と方向データのサンプリン
グ周波数は 30Hz である．また，被験者がどの方向を向いて対話しているかを明らかにするために，被験者が装着しているヘッドマウントディスプレイのセンサを用いて水平面上の方向を取得した．取得した顔方向
データのサンプリング周波数は 160Hz である．被験者・実験実施者の様子を確認するために，ディジタルビデオカメラで映像と音声を収録した．
また，実験終了後に被験者には，正面（0 °）・左斜め前（45 °）・右斜め前（-45 °）のうち最も対話しやす
い方向と対話しにくい方向，利き手を回答してもらった．さらに，性格によって対話に適した距離が変わるかどうかを明らかにするために，被験者に YG 性格検査を行った．
被験者は情報系の大学生 3 名（男性 2 名・女性 1 名）で，年齢は 21 歳から 23 歳である．

り，AR キャラクタが斜め前にいる場合には，被験者が方向を調整して AR キャラクタに正対していることが確認できた．また，手順 (7) で取得した最も対話しやすい方向は，被験者 0，被験者 1，被験者 2 でそれぞれ1.0 °，1.4 °，10.2 °であり，どの被験者もほぼ正面であることがわかった．また，このときの被験者の顔の方向はそれぞれ-1.5 °，-0.1 °，1.2 °であり，やはりほぼ正対して対話していることが確認できた．これらの結果より，AR キャラクタと最も対話しやすい方向は正面であるが，斜め前で対話した場合でもユーザが方向を調整して AR キャラクタと正対することがわかった．
手順 (3) で取得した AR キャラクタが近づく場合の対話に適した距離の平均は 89cm であり，手順 (5) で取得した AR キャラクタが遠ざかる場合の対話に適した距離の平均は 90cm であり，近づく場合と遠ざかる場合でほとんど差は見られなかった．また，AR キャラク
タが表示されている方向毎の対話に適した距離の平均は，正面，左斜め前，右斜め前の場合にそれぞれ 88cm,86cm, 95cm であり，方向によってもあまり差はみられなかった．これらより，被験者ごとに近づく場合・遠ざかる場合・3 方向のデータを全てまとめ，距離の平均を求めた．被験者ごとの距離の平均と全体の平均を図7 に示す．また，手順 (7) で取得した最も対話しやすい位置までの距離を図 8 に示す．図 7，図 8 より，対話に適した距離は約 90cm であることがわかった．
YG 性格検査の結果，被験者 0，被験者 1，被験者 2はそれぞれ D 型，A” 型，AC 型に分類され，社会的外向を示す因子において，被験者 0 が 5 段階で 5 と最も高く，被験者 1 と被験者 2 はそれぞれ 2 と 3 であった．
この結果より，対話に適した距離は社会的外向性が高いほど短くなることが確認できた．
以上より，被験者が何も置かれていない机に向かって腰かけて，机の上に立っている AR キャラクタと対話する場合，対話しやすい方向は正面であるが，正面以外の場合にも被験者が方向を調整して正対していることがわかった．また，対話に適した距離は約 90cm であり，Hall[5] の近接学では，個体距離に相当する距離であることがわかった．さらに，社会的外交性が高いほど，距離が短くなることがわかった．
120

実験結果

アンケートの結果，最も対話しやすい方向は 3 名とも正面であることがわかった．また，最も対話しにくい方向は 1 名が右斜め前，2 名が左斜め前と回答しており，利き手との関係は見られなかった．また，AR キャラクタが正面（0 °），左斜め前（45 °），右斜め前（-45°）に表示されている状況で対話していたときの被験者の顔方向の平均はそれぞれ-3.7 °，45.5 °，-41.4 °であdistance [cm]1004.380601004094902all7720001subject

図 7: 対話に適した距離の平均

120

distance [cm]100806040113857992200012allsubject

図 8: 最も対話しやすい位置までの距離の平均

5まとめ

本研究では，現実の環境で人間とコミュニケーションをとることができるシステムとして AR キャラクタによる対話システムを提案し，AR キャラクタの動作制御部構築の第一段階として，対話に適したユーザとAR キャラクタの位置関係の分析を行った．具体的には，AR WoZ システムを構築し，何も置かれていない机に向かって椅子に腰かけている被験者に対して机の上に立っている AR キャラクタが位置を変えて対話をする被験者実験を行った．その結果，対話に適した方向は正面であるが，AR キャラクタが正面にいない場合には，被験者が方向を調整して正対することがわかった．また，対話に適した距離は約 90cm であることがわかった．
今後は，机の上の様々な場所に様々な物が置かれている状況において同様の実験を行い，机の上に立っている AR キャラクタと対話する際の最適な位置関係を明らかにする予定である．また，AR キャラクタは実体がないため，空中に浮遊した状態やユーザの肩に乗った状態で対話することが可能となる．そこで，机の上に立っているという状況以外で，対話に適した位置関係を実験により明らかにする予定である．

参考文献[1] Wyrobek, K.A., Berger, E.H., Van der Loos,
H.F.M., Salisbury, J.K.: Towards a personal
robotics development platform: Rationale anddesign of an intrinsically safe personal robot,
Proceedings of the IEEE International Conference Robotics and Automation, pp. 2165–2170(2008)[2] Sugaiwa, T., Iwata, H., Sugano, S.: Shock absorbing skin design for human-symbiotic robot
at the worst case collision, Proceedings of the8th IEEE-RAS International Conference on Humanoid Robots, pp. 481–486 (2008)[3] Stuckler, J., Behnke, S.: Integrating indoor mobility, object manipulation, and intuitive interaction for domestic service tasks, Proceedings ofthe 9th IEEE-RAS International Conference on
Humanoid Robots, pp. 506–513 (2009)[4] Yuta, S., Mizukawa, M., Hashimoto, H., Tashiro,H., Okubo, T.: An open experiment of mobilerobot autonomous navigation at the pedestrianstreets in the city -Tsukuba Challenge-, Proceedings of the IEEE International Conference
on Mechatronics and Automation, pp. 904–909(2011)[5] エドワード・ホール: かくれた次元, みすず書房(2000)[6] Kendon, A.: Conducting Interaction: Patternsof Behavior in Focused Encounters, Cambridge
University Press (1990)[7] Butler, J.T., Agah, A.: Psychological Eﬀects ofBehavior Patterns of a Mobile Personal Robot,
Autonomous Robots, Vol. 10, No. 2, pp. 185–202(2001)[8] Walters, M.L., Dautenhahn, K., Boekhorst, R.,
Koay K.L., Kaouri, C., Woods, S. Nehaniv, C.
Lee, D. Werry, I.: The influence of subjects’
personality traits on personal spatial zones in ahuman-robot interaction experiment, IEEE International Workshop on Robot and Human Interactive Communication, pp. 347–352 (2005)[9] Huettenrauch, H., Eklundh, K., Green, A.,
Topp, E.: Investigating Spatial Relationships in
Human-Robot Interaction, IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 5052–5059 (2006)[10] Woods, S.N., Walters, M.L., Koay, K.L., Dautenhahn, K.: Methodological Issues in HRI: A
Comparison of Live and Video-Based Methods inRobot to Human Approach Direction Trials, The
15th IEEE International Symposium on Robotand Human Interactive Communication, pp. 51–58 (2006)[11] Bailenson, J.N., Blascovich, J., Beall, A.C.,
Loomis, J.M.: Interpersonal Distance in Immersive Virtual Environments, Personality and Social Psychology Bulletin, Vol. 29, pp. 1–15 (2002)