「インタラクション2000」平成12年2月

擬人化エージェントを利用した複合現実空間でのインタラクション
穴吹まほろ 山本裕之 田村秀行
（株）MRシステム研究所
現実世界と仮想世界を融合した複合現実（MixedReality；MR）空間とのインタラクションに擬人化エージェントを導入することを試みた．リビングルームでのインテリア・シミュレーションを題材に，音声対話機能を持つロボット型エージェントに仮想家具の操作代行を行わせた．この種のエー
ジェントの持つべき機能とユーザに与えるヒューマン・ファクタについて考察した．

lnteractingwithEmbodiedJnterfaceAgentinMixedRealitySpace
MahoroAnabuki，HiroyukiYamamoto，andHideyukiTamura

MixedRealitySystemsLaboratoryInc．
Thisp叩erdescribesanembodiedinterfaceagentintroducedinMixedReality（MR）space，Wherethe
realandvirtualworldsaremergedtogether・Asacasestudyofinteriorsimulationinalivingroom，arobottypeconversationalagentisimplementedtooperatevirtualfumiturefortheusers．Functions

necessaryforthistypeagentandhumanfactorsglVentOtheusersareprlnCIPa11ystudied・せたら何が起こるだろうか，というのが本研究の1．はじめに発想のもとである．MRシステムで物理世界に融複合現実感（MixedReality；MR）は，現実世界合される仮想世界は，必ずしも重畳表示されると仮想世界を融合し体験する技術である［り．従来の人工現実感（VR）は主としてコンピュータCGデータだけでなく，そこから広大なサイバースペースにリンクされていてもいい．この場合，内に人為的に生成した仮想環境を扱ってきたが，MR空間に置かれた擬人化エージェント（以下，われわれ人間が生活し行動する現実世界に立脚MRエージェントと呼ぶ）は，サイバースペースしたMR空間体験は，VR技術の限界を打破するものとして大きな期待が寄せられている．現在，現の入口としてのインタフェース・エージェントと考えられる．また，MR空間中を自由に動き回れ

実・仮想両空間の幾何学的・光学的な合成手法がるエージェントの振る舞いや存在感は，コンピュ活発に研究されている［2］［3】．

ータ・モニタ上のウインドウの中に登場する擬人

VRは視覚・聴覚・触覚に訴える空間型メディ

化エージェントとは大いに様相が異なるに違いアであり，ユーザが身体性を保ってリアルタイムない．

こうした観点から，我々は音声村話機能をもつ村話できる新しいヒューマン・インタフェース技術として注目を集めた．この特質をすべて継承

MRエージェントの具現化を思い立ち，リビングし，目の前の現実世界とのインタクションも可能

ルームでのインテリア・シミュレーションを支援なMR技術は，HCI研究にとってさらに興味深いするロボット型エージェントⅥ厄Iboを開発した．

題材を提供する．

Welboを含むMRシステムの技術的側面は文献［5］一方，HCI分野では，視覚化された擬人化エーで報告したので，本稿ではシステム構成の記述はジェントが活発に研究されている［4】．この2つ最小限に留め，HCl研究の観点からMRエージェを組み合わせてみる，即ち，MR空間に身体的表ントの果たす役割と運用から得たヒューマン・フ

示をもつインタフェース・エージェントを存在さァクタ面での知見を述べる．

ー115−

2．複合現実空間における擬人化エージ

四角い2次元画面に限定されていた．南カリフォ
ルニア大のSteve［6］Eま3次元仮想空間中を移動ェント

できるが，VRとMRの関係通り，現実空間と関2．1MRエージェントの役割と特質わりを持つことはできない．電総研のジョニー

現実の物理空間に仮想空間の情報を融合する［7］は，ユーザの質問に答え，現実空間中の事物

MRシステムでは，通常シースルー型HMD（Headを指さすことができるが，その存在はモニター画MountedDisplay）を用いて仮想データを重畳表示面上に限定されている．MIT メディアラボのする．例えば医療分野では，患者の体表面に体内ALIVEシステム【8］の自律エージェントは，ユーの映像を重ね合わせて見ることにより，診断や手ザと同一の空間内に存在するが，その様は客観視術計画に役立てる．同様にCADデータがあれば，点の合成映像で表示され，ユーザ自身の主観視点

屋内では床下配線を，屋外では地中に埋蔵されたガス・水道等の配管を透視することができる．まで見ることはできない．

これに対して我々の考える MRエージェント

た，建築物の景観シミュレーションでは，ビデオは，以下のような特長を有している．

やコンピュータ画面で完成予想図を見るのでは（a）立体視，立体音響を用いることで，眼前の空なく，直接現場でHMDをかけて合成シーンを体間に高レベルの実体感を描出することがで験できる．いずれの場合も，ユーザの主観的視点きる．

でMR空間を実時間体験できるシステムが前提（b）ユーザと同一空間内で，現実と整合のとれたとなっている．

実寸の仮想物を扱い，自らも美空間のスケー

こうしたMR空間に登場させるエージェント

ルでユーザと接することができろ．に期待する役割は，（c）ユーザの周り 3600 自由な空間位置に存在で・利用体験の少ないユーザに応村し，利用法やき，現実物体・促想物体との3次元遮蔽関係も表現できる（即ち，物体の陰に隠れたり，背景知識を教示する・仮想物の選択や操作を代行する現れたりできる）．

・ユーザの移動に随行し，体験地点に応じた案内をする

2．2 MRエージェントの機能と振る舞いなどである．

筆者らは，複数人が現実空間と仮想空間を同時これまで研究されてきた擬人化エージェントの目的が，利用者にとっての対話の自然さ，身体共有し，かつ実時間対話性を実感できる事例としてゲーム型のMRシステム［9］［10］を開発してき表示を持つことによる表現力の向上，存在感や親しみやすさ等であるなら，これらはMRエージェた．しかし，MRエージェントの具現化村象としントにも当てはまる．一方，MRエージェントのては，図1に示すようなインテリア・シミュレー

ならでは特長は，MR空間という独自の環境に存ションを選んだ．これは，リビングルームを想定在し，その中を自律的に移動する行動範囲の自由した2．8mX4．3mの物理的に存在する空間に実物度である．の家具や調度品が配されて†、て，ここに電子カタ

従来の擬人化エージェントのほとんどは，コンログに存在する仮想物を追加配置するというビピュータ・モニタ上に存在してTVニュースのアジュアル・シミュレーションである［11】．スコア

ナウンサのようにユーザに正村し，行動の範囲がを競う相戦型のゲームや，ユーザ自らが手を動か（a）リビングルームの外観（b）現実空間の光景

図1MRリビングルーム・システム

ー116−（c）複合現実空間の光景

（a）ロボット型（b）小動物型（c）人物型

図3 エージェントのキャラクタ・デザイン（c）後ろ

2．3キャラクタのデザインと選定（d）見えない

過去の研究例を参考にして，MRエージェント

図2 エージェントの応対位置のキャラクタを3種類デザインした．図3に示す
ロボット型，小動物型，（ニュースキャスタ風）

す組立て作業よりも，MRエージェントの存在感人物型である．想定ユーザ10数名の意見，好みや動作の代行を試すのに適しているからである．

を反映して，キャラクタの選定と動作の決定をす我々が，このMRエージェントに与えた機能のることにした．

概要は以下の通りである．

まず，現時点でのCG技術の能力を考慮して，・ユーザの発話を音声認識し，合成音声で答える人物型キャラクタが脱落した．cGアニメ，ゲー

音声村話機能をもつ

ム，ウェブサイト上には，若い女性CGキャラク・擬人化された身体をもち，関節を動かすことで動作を表現できる．
・ユーザの意図により，促想物を選択し配置する動作を代行する．

タも珍しく無くなったが，写実的な人物像を措くのは易しくない．実時間での描画にはポリゴン数の制約が大きいため，「目の前で応村する存在としては，中途半端なリアリティは却って気嘩が悪・ユーザの指示がない場合も，自律的存在としてい」という意見が圧倒的であった．MR用途の場

MR空間内で行動できる．
・ユーザの頭部位置・視線方向を知り，そ町こ応じた行動が取れる．

合には，現実空間との位置合わせや本来の仮想物（この場合，家具や調度品）のレンダリングにリソースを取られ，エージェントは付属物扱いであ

この種のMRエージェントの存在や振る舞いることは止むを得ない．

として特に興味深いのは，どのような大きさのキ残る2体には，関節を持たせ動きや音声を与えャラクタが，空間内のどの位置で応村することがて，MR空間内オーディションを行った．その結好まれるかである．ユーザの視野の正面で応村す果，ロボット型が選ばれた．理由として，関節のるか，エレベータ・ガールのように斜め前に存在動きが分かりやすく動作が視認しやすかったのするか，VIPの通訳や大相撲協会の理事長のようと，合成音声との相性が挙げられた．現時点ではに後方耳元で待機するか，時として透明人間のよ最高レベルの規則合成音声を採用したが，やはりうに声だけの存在が望ましいのか，等々である（図2）．また，ユーザの視点移動に村して，常ロボットの外観との親和性が高かったようである．に視野内にいるのか，さりげなくこのロボット型 MR エージェントを Welboにするべきかも検討に催する．個人差があることも想定して，こうしたヒューマン・ファクタを分（Welcome Robotの意）と名づけた．welboには，析できるよう実装することにした．

れている．フロア面に着地し歩く動作も実装され64関節をもつ約2000ポリゴンの幾何形状が与ら

−117−

初期状態

図6 状態遷移図
図4 飛行しながら花瓶を運ぶWb払0（2）ルームデータ・サーバ

ユーザの位置・姿勢，家具の形状・位置・姿勢と，擬人化エージェントの位置・姿勢・ポーズのデータ（ルームデータ）を管理する．促想家具だ
けでなく，実物の家具の幾何モデルデータも管理されている．
（3）画像生成・合成部

ルームデータに基づいて，仮想の家具とエージ

ェントのCG画像を生成し，ユーザ視点の実写映像と合成する．合成結果は，ビデオシースルー型HMD（92万画素）に立体映像として表示される．
コンピュータは，画像生成・合成部にSGI社
Onyx2，ヘッドトラッキング部とルームデータ・

図5 システム構成図

サーバにSGI社02，さらに補正用マーカ認識専用に画像認識ボード（IP5005，日立製）を搭載したが，結果的には採用されなかった．ここでも中たPCを使用している．

途半端な動きのリアリティは敬遠され，空間中に浮遊し飛び回って家具を運ぶ様の方が好まれた

3．2 エージェント・サブシステム（図4）．

エージェント・サブシステムは，下記の3つのモジュールからなる．音声合成部用にPCl台，3．WeIboのシステム構成

他の2つのモジュール用にSGI社02を用いていMRエージェントWelboを実現するシステムは，る．

MR空間を描出するリビングルーム・サブシステ（l）音声認識部

ムと，．Welboを制御するエージェント・サブシス

ジョニーと同様の対話モジュール（電総研製）テムから構成されている（図5）．

［13】を利用して音声認識と文章理解処理を行う．
3．1リビングルーム・サブシステム

認識対象文は，挨拶と家具の配置変えに関する文

リビングルーム・サブシステムは，さらに次の章のみに限定している．認識結果は音声指示デー3つのモジュールに分かれている．

タに変換し，Welbo制御部へ出力する．ここで，音声指示データとは［内容＋対象＋場所＋方向］（1）ヘッドトラッキング部

なる文法lつで仝認識対象文を表現するデータ

ビデオシースルー型HMD（自家製）に取り付けられたマーカを光学式センサ（OPTOTRAKである［5］．

3020）で計測し，ユーザの視点位置・姿勢を算出する．この測定誤差を実時間で補正するため，リ（2）Welbo制御部

音声認識部からの音声指示データ入力やユー

ビングルーム内に配された補正用マーカを画像

ザとの対話の経過に応じて状態を遷移させなが認識する方法を併用している［12］．

ら，エージェントの振る舞いを制御する（図6）．

ー118−

「待機状態」では，エージェントがユーザ付近限られているため，視野に比して大きなエーを浮遊するようにその位置と姿勢データを制御

ジェントは圧迫感を与えてしまうようであする．待機状態時に音声指示データが人力されるる．と「対話状態」となり，発声と身振りを制御して（b）同じWelboをコンピュータ画面で見る場合にユーザとエージェントの対話を実現する．対話が比べ，約半数はHMD利用の場合にエージェン

中断・終了すれば再び待機状態へ戻り，村話によ

位置と姿勢，およびエージェントの身振りを制御トが大きく感じると答えた．ここでも見かけの視野角が影響していると考えられる．
（c）視野内の大きさは，絶対的なサイズとユーザからの距離の両方で制御できる．しかし，立することによって，家具の配置変えや場所教示を体視可能なHMDの場合，ユーザからの絶対的ってタスクが確定すればタスク実行状態となる．
タスク実行状態では，仮想家具とエージェントの実現する．

な距離での存在感があるので，小さく見せる

仮想家具とエージェントの位置と姿勢の制御ために遠くにエージェントを位置すると対は，ルームデータ・サーバで管理されているデー話のしやすさが損なわれる（図7）．

タの更新によって行われる．エージェントの身振（d）Welboの身長は20cmから160m，応対位置はり制御はエージェントのポーズデータ（キャラク30cmから3mまで可変とし，ユーザの好みでタの関節角度データ）を，連続的に更新することによって行われる．発声の制御は，音声合成部へ選択させたところ，身長40cm弱，待機位置90cm近辺が最も好まれた．個人差はあるが，テキストデータを送ることによって行われる．

総じて全身が画面内に入る程度の大きさが好ましいようである．

（3）音声合成部

MicrosoftSpeechAPIおよびキヤノン製日本語（e）正対して会話する場合に比べ，遠くで家具を音声合成エンジンPureTalkを利用している．入

運んでいる場合には，少し大きい目の方が動力されるテキストデータを，部屋内に置かれた1対のスピーカー，もしくはユーザが装着するステ作は印象的になる．しかし，絶対的な大きさを状況に応じて変更するのは不自然なので，レオ・ヘッドフォンから出力する．このとき，エ対話状態で望まれる大きさをWelboの標準のージェントの存在位置から声が聞こえるように，左右の音源の音量が調節される．

大きさと考えた．
（りこうした実験だけでなく，ユーザの体験時に4．MRエージェントの与えるヒューマ考えられる．しかし，エージェントを欲するも大きさを調整できる機能を解放することがのは面倒な動作を代行して欲しいからであン・ファクタり，実用上は上記のようなデフオールト値に4．1エージェントの大きさと位置に関する考察設定して置くのが望ましい．

フルバーチャルの仮想空間のスケールや空間移動は，相対的・定性的なもので差し支えないが，4．2 エージェントの待機状態に関する考察

目の前の現実空間と仮想空間を重ね合わせるMR
空間では，すべての事物は絶村的な大きさを保つ必要がある．こうした臨場感が保たれた空間中でHMDの利用によって見回しが可能な3次元MR空間は，その広さに村して一度に観察できる領域が限られる．そこで，Welboの位置を認識しは，エージェントの身体も実物スケールで考えるやすいよう，指示を待つ待機状態で，ユーザの動必要がある．

きに合わせて積極的に位置を変えろモードと追そこまでの実在感があるなら，人間とほぼ等身大の存在が望ましいかと思われたが，この予想は跡機能を設定した．

見事に外れた．人間よりカ予なり小さめのキャラクタが好まれる傾向にある．以下，10数名の被験者による実験結果と考察は以下の通りである．

（1）通常待機モードと特殊待機モード（a）Welboのデザインは頭部が大きいこともある

位置へ移動し，HMDの視界の端に浮遊して，ユ初期状態と夕ド」に入る．ユーザを追跡して視点の斜め前方のが，他のキャラクタの場合でも人間大は好まーザが話し掛けやすい状況を作る．指示がないまれない．本システムのHMDの視野角は5lO とま，待機状態が通算で一定時間（デフオールト値−119−客観視点画像

ユーザ視点画像（a）距離が近いとき（20cm）

ユーザ視点画像

客観視点画像（b）距離が遠いとき（150cm）

図7 ユーザからの距離による視野内の大きさの違い（身長36cm時）は90秒）経過すると，ユーザの関心を引くために，Welboは身振り状態となって，何らかの動作（2）追跡設定と非追跡設定（例：手を振る）を行う．動作後は再び待機状態択することができる．追跡設定時には，ユーザのとなる．さらに指示がないまま，待機状態が長時動きによって視界から外れると追跡を開始し，視間（デフオールト値は6分）経過すると，しばら野内に入ると待機状態に戻る．非追跡設定では，く仮想の家具移動は行われないと判断し「特殊待状態を変えずに．そのままの位置で浮遊を続ける．

待機状態で「追跡設定」と「非追跡設定」を選機モード」に切り替わる．このモードでWelbo
は室内を散歩したり，ソファーで休息を取ったりする（図8）．ユーザからの発話があれば，村話状態に戻る．2つのモードの切り替え，および各様々な設定で実験し，体験者の反応を調査した
ところ，」半数以上からイ呼んだときだけ現れて，それ以外は邪魔にならないとモードの内部状態を図9の状態遷移図に示す．

図8 休息中のWelbo

図9 指示を待つ間の状態遷移図−120−

てもらいたい」との反応があった．かなり小さなの挙動やWelboの発言にも，ある種の遊びが埋エージェントを用いない限り，しばしば視界の中め込まれている．「ちょっと重いなあ」「疲れるに入ってくる追跡設定は好まれていない．ユーザなあ」といった類いの発言である．

は対話や指示した仮想物の移動時にはWelboをこれらは当初目的としたHCI研究の本質セは注視しているので，主体的にリビングルーム内をないが，開発者の意図以上に好評であった．音声

見回しているときは，動きのある追跡は煩わしい存在と感じられてしまう．

認識のミスもまた愛矯として好まれる傾向がある．それは，本システムは実運用を目的としたもタスクにも依存するので，まだこの実験結果がのでなく，研究目的での試作・実験に過ぎないの一般的であるとは言い難い．現在のMRリビングで，見学者の体験が大半であるためと考えられる．

ルームは狭く，どこにいてもすぐにWelboの居

これは，ショールームや娯楽を目的としたアトラ場所は確認できる．このため，元の位置で待機するか，決まった位置に待機していれば十分である．
しかし，もっと広い空間が対象の場合，自分のエージェントを見失ってしまう恐れがある．そうなクションで，MRエージェントのような存在が観客を和ませる働きをすることを意味している．無味乾燥になりがちな科学技術教育への応用でも，演出効果として大いに有望だろう．

WelboのTVモニタ風顔面は，せいぜい関連事ると「追跡はするが，視界には入らず，さりげな項の文字情報を表示できるだけで，顔の表情を措くことは想定していない．その文字情報もまだ十く近くに待機する」という慎み深いエージェントが欲しくなってくることだろう．

筆者らはかつて，多地点から複数人が仮想空間分に使いこなしていないが，エージェントの感を共有し，参加者それぞれの存在をアバタで表示

情・表情を明示的に表現するにほ別のキャラクタしながら，バーチャルモールでショッビッグするが必要だろう．これは，通常の擬人化エージェンシステムを開発した［14】．この場合は，同伴者や応対してくれる店員が，仮想空間内でどこにいるトの研究でもなされているが，MRエージェントの場合存在感が大きいだけに，いろいろ工夫するのかを確認するのに，アバタ表示はかなり有効で必要があるだろう．

あった．常に会話相手を視野内においておこうと5．むすびする傾向があった．このシステムでは，本物の人間同士の会話が主であったからと考えられる．用がないときには現れるなというのは，まだまだエ現実世界と仮想世界を融合したMR空間に擬人化エージェントを登場させる試みを，インテリージェントとの対話が自然でなく，本当に役立つ

ア・シミュレーションを題材としたシステムで実存在になっていないからであろう．
図2（C）で想定したような後方耳元での待機は，現した．第1段階として，Welboと名づけたロボ実装はできるが，今回のシチュエーションでは余操作代行機能を持たせ，この種のエージェントがり意味がなかった．そうした解説モードが必要な状況になかったからである．また，今回の実装でユーザに与える影響・効果を確かめた．
MR空間中の擬人化エージェントの大きさと位はステレオ音響のみを利用したが，本格的には3次元音場を導入して聴覚の3次元空間特性も利置ついては，事前の予想よりも小さめ存在が好ま用するのが望ましい．

好ましいことが判明した．他の例のない実施例だ

ット型のエージェントに音声対話機能と仮想物れ，必要のない限りユーザの視界の現れない方がいずれにせよ，待機状態に関しては，もっとけに，まだこれ以上の結論を導き出すのは難しい

MRエージェントの機能を充実させ，実用性のあるタスクに遭遇したとき改めて議論すべきこと

が，MRエージェントという存在は今後もHCI研究に有益な知見を与えるものと思われる．実際，と思われる．

エージェントの空間中の移動速度や3次元音響効
果など，その設計がインタラクションに影響を与

4．3 MRエージェントのもつ娯楽性と遊び心息」は，必要不可欠な機能ではなく，多少の遊びえる要素を多く持っている．
また，MR空間では複数のユーザと複数の擬人化エージェントが同一空間に存在できる．複数の心から持たせた機能である．浮遊した待機状態でユーザのインタラクションを支援するエージェ

前項の特殊待機モードで述べた「散歩」や「休ー121−

［7］長谷川，坂上，速水： 実世界知能のための人ントや，複数のエージェントによるインタラクシ間型ソフトウェアロボットの試作 ，第4回

ョン支援の実現も今後の課題である．

知能情報メディアシンポジウム論文集，
pp．69−76，1998．

謝辞［8］P．Maes，T．Darre11，B．Blumberg，and A．

音声認識および言語処理モジュールの利用をご快諾いただいた電子技術総合研究所秋葉友良

Pentland：民，伊藤克亘氏，長谷川修氏，速水悟氏に深謝し

fu11−bodyinteractionwith autonomous agents，

The ALIVE system：Wireless，ます．日本語音声合成エンジンPureTalkは，キヤdC〟 漉JJJ励edα 秒∫ね椚∫，Ⅵ）l．5，No．2，
pp．105−112，1997．

ノン（株）情報技術研究所麻生隆氏の協力を得て［9】大島，佐藤，山本，田村： AR2ホッケー：協調システムに実装しました．ここに記して謝意を表します．
また，（株）MRシステム研究所で本研究の基型複合現実感システムの実現 ，日本VR学

本方針の立案を担当された若月裕子氏，有益な議論および御指導を頂いた佐藤清秀氏，内山晋二氏，［10］大島，佐藤，山本，田村： RV−Border会論文誌，Ⅵ）1．3，No．2，pP．55−60，1998．

Guards：複数人参加型複合現実感ゲーム ，in［3］，pp．699−706，1999．

大島登志一氏，CGキャラクタ制作を担当された［川大島，佐藤，山本，田村： MRリビングルー

角田弘幸氏，秋山由希子氏に感謝します．

ムーMR空間の幾何的・画質的整合性に関する考察 ，日本VR学会第3回大会論文集，参考文献

pp．309−312，1998．

［1］田村，大田： 複合現実感 ，映像情報メディア学会誌，Vbl．52，No．3，pp．266−272，1998．

【12］K．Satoh，T．Ohshima，H．Yamamoto，and H．

［2］Y OhtaandH．Tamura（eds．）：肋edReality−

Case studies ofsee−through augmen−

tationinmixedrealityprqjects，

Aお曙加g鮎αJα〃d竹rJ〟αJ勒rJゐ，Ohmsha＆inAugmented

鮎αJ妙一戸／αC加g drJ拘Jα／0りecね 加点gα／Springer−Verlag，P．418，1999・

Scenes げ7VC．I附R［3］田村秀行（編）：「複合現実感」特集，日本［4］E．Andri（ed．）：SpecialIssue on98），A K Peters，Ltd．，

pp．3−18，1999．

VR学会論文誌，Vbl．4，No．4，1999．
Animated

Interface Agents：Making themJntelligent，
4押Jねddr′少c∫αJ血eJ毎e乃Cβ，Vbl．13，No．4−5，［13］K．Itou，S．Hayamizu，K．Tanaka，andH．Tanaka：
System design，data collection andevaluation
OfaspeeChdialoguesystem，

LEICET［ans．on

Iゆrmation and Systems，Vbl．E76−D，No．1，

1999．

pp．121−127，1993．

［5】穴吹，山本，田村： Welbo：複合現実空間に存在する擬人化エージェント ，第5回知能情［14］片山，内山，熊谷，田村，百村，金子，原島：
colhborativeCyberMirage：リアリティと相報メディアシンポジウム論文集，pp．19ト198，

互アウェアネスを追求した促想空間共有体

1999．
［6］）．RickelandW．L．Johnson：

Tamura：Animatedagents

pp．1484−1493，1998．

for proceduraltrainlngin virtualreality：
perCeption，COgnition，andmotorcontrol，

験システム ，情処学論，Ⅶl．39，No．5，

in［4］，pp．343−382，1999．

ー122−