Blended Reality Agent “BReA” の提案
The Proposition of Blended Reality Agent “BReA”
金井 祐輔 1

大澤 博隆 1

今井 倫太 1

Yusuke KANAI1, Hirotaka OSAWA1, and Michita Imai1
11慶應義塾大学理工学部
Faculty of Science and Technology Keio University

Abstract: The present paper proposes A Blended Reality Agent called "BReA" whose body presents andinteracts itself between real and virtual environment. Blended Reality is the environment design which
unify real world environment and virtual world environment, and the two environment interact each other..
BReA can communicate with people not only real world communication but also virtual communication.
In addition, the feature by which BReA communicates with people in real and virtual environmentsallows users to acknowledge real world objects by the instructions from the virtual environment. We
conducted a field test to confirm whether customers engaged themselves in the communication withBReA. BReA make its present in a supermarket. An analysis of consumers’ reactions confirmed that
customers’ definitely recognized the direction of pointing gestures that BReA perfomed in a virtualenvironment were oriented outside the display.

はじめに
近年，商品の宣伝や広告のための電子掲示板などのデジタルサイネージが用いられるようなった．さらにはデジタルサイネージに身体性を持ったエージ
ェントを導入することの有効性や宣伝への効果を調べる研究がなされている[1][2][3]．
一方で，ディスプレイ上に表示される agent (本稿では On-screen agent と呼ぶことにする)と我々の身体が属する物理空間である実世界空間上に身体を持
つ robot とで比較して人とインタラクションするときの認知や印象，行動にどのような違いが表われるかを調べた研究が行われている．篠沢らは実世界上の物体の色を特定の色に変化させることをOn-screen agent が推薦する場合と robot が推薦する場
合で比較したところ，人は robot からの推薦の方が影響を受けやすい傾向にあることを確認した[4]．また同様にディスプレイ内の物体の色を特定の色に変化 さ せ る 推 薦 の 場 合 は robot が 推 薦 す る よ り もOn-screen agent が推薦したほうが人は影響を受けやすいことを確認した[4]．
以上のように人との対話において，コミュニケーション環境や対話コンテンツに応じて適する agentは異なると考えられる．しかしながら，デジタルサイネージのように実世界上の商品に対しディスプレイを用いて宣伝する場合は，推薦の対象が実世界上の物体であるため robot による宣伝が適切であるよ

Figure 1. Communicating with BReA

うにも考えられるが，ディスプレイ上で商品の説明などを行っているため On-screen agent による宣伝が適しているとも考えられる．このような場合には両方の agent が相補関係にありながら人と対話できるagent が必要になる．
本稿では，ディスプレイ内のデジタル空間と実世界を行き来することが可能な Blended Reality Agent「BReA」を提案する．BReA の概観とコミュニケーションする様子を Fig. 1 に示す．

Blended Reality とは実世界空間とデジタル空間を融合するデザイン手法の一つであり，Huynh らは Blended Reality を”Blended Reality is the Realm
where the real and virtual environments blend together
at one space, letting users and real objects interact
with virtual objects in a direct and physically naturalmanner” と定義している [5]． Blended Reality は
Augmented Reality や Augmented Virtuality と同様に実世界空間とデジタル空間を融合したテクノロジカルデザインである．しかし Augmented Reality
や Augmented Virtuality と異なり，実世界空間とデジタル空間が各々存在し，実世界の物(者)とデジタルの物(者)が直接 interaction することで実世界空間とデジタル空間とを一つの空間として形成している．
BReA は「目」や「腕」を模した擬人化デバイスをコンピュータディスプレイに装着されている．BReA がディスプレイ上に表示されているときは「目」は閉じているが，ディスプレイ上から「見えなくなった」とき，「目」や「腕」擬人化デバイスが動き始める．このようにして On-screen
agent としての BReA と robot としての BReA を表現する．また人とコミュニケーションするときは，「目」や「腕」の擬人化デバイスを動かすことでinteraction がはじまり，その後ディスプレイ内にBReA を表示することで人がデジタル空間でのBReA とのコミュニケーションに没入しやすくすることを目指す．デジタル空間でのコミュニケーションは実世界空間でのコミュニケーションに比べて直接の物理的な干渉が出来ないという点では劣るが，実世界では実現できない豊かな表現やコミュニケーションが可能となる．さらに人とBReA とが実世界空間で interaction した後に BReAがデジタル空間に入ることで，BReA がデジタル空間から実世界空間にある object を参照できるというようなデジタル空間から実世界空間への円滑な interaction を可能になると考えられる．
本研究では BReA を慶應義塾大学矢上キャンパ
スの生協の入り口に設置し，外付け HDD の宣伝を行わせた．本稿では実験で得られたデータを観察し，BReA の宣伝に対する人の行動から BlendedReality Agent の妥当性を評価した．

関連研究
Human-On screen agent Interaction
従来研究によれば，On-screen agent を表示することで，人とコンピュータがインタラクションの際の信頼関係の構築に有効であることが知られている．
さらに人が interaction に興味を示してくれるようになること，コンピュータからの正確な情報提供が可能になることが知られている．また，このような信頼関係の構築や興味の引き込みは商品の宣伝戦略においても重要であることから，agent による宣伝は有効であると考えられている[1][6]．
近年では，人とのコミュニケーションの対象として robot よりも On-screen agent のほうが適している場合があることが明らかになりつつある．Hasegawa

らは On-screen agent や robot を用いた道案内システ
ムを実際に被験者に利用してもらった結果，On-screen agent の方がより豊かに相補的なジェスチ
ャ表現を用いた情報交換が行われる傾向になることが 確 認 さ れ た [7] ． さ ら に Takeuchi ら に よ る とOn-screen agent や robot がプレゼンテーションする場
合，On-screen agent のほうがプレゼンテーションのスライドに注目させやすいと説明している[8]．

Human-Robot Interaction
ロボットは人と同じ実世界空間に身体を有することで，」コミュニケーションにおいて On-screen agentよりも優れている場合があることが HRI の分野で明らかにされつつある．例えば，人と agent が近くにある物体を参照する場合は人は On-screen agent と参照を共有するよりも Robot と共有するほうが正確であることが確認されている．また Kidd らは人の agentとのコミュニケーションへの没入を On-screen agentと Robot で比較する研究を行った．結果として，人は Robot とコミュニケーションするほうが没入できることが明らかとなった．

ITACO プロジェクト
小野らは環境内にある様々なメディアに憑依し，ユーザの趣味や嗜好に合わせて適切な支援を行う
agent の 開発 に取り組んでい る[9][10] ．これらは
ITACO システム(InTegrated Agent for Communication)と呼ばれる．ITACO システムは環境内に存在するインタラクティブシステムの間を移動することができ，そのためユーザと日常的な対話などで築いた関係を保ったまま様々なインタラクティブシステムとの双方的な対話が実現可能になる．
ITACO システムの agent はディスプレイ内に移動することも robot に憑依することも可能である．しかし，agent が移動する先のディスプレイ内のデジタ
ル空間は実世界空間と切り離されており，デジタル空間から実世界空間へ直接干渉することが出来ない．
そのため，agent との関係性を保つことは出来ているがコミュニケーション体系を引き継ぐことは困難であると考えられる．この点で本研究の提案する手法と異なる．

Blended Reality
Blended Reality は実世界空間とデジタル空間とで一つの空間を形成し，デジタル空間の物（者）と実世界に居るユーザ，または物とで interaction を行うようなデザインである．これにより，人をデジタル空間への interaction に没入させることが可能となる．
Robert らは「Alphabot」と呼ばれる Blended Reality

Character を使って子供とのインタラクション実験を行った[11]．実験では壁に設置された大型ディスプ
レイと Alphabot が出入りできるほどの大きさの小屋が設置されており，Alphabot は小屋を出入りすることで実世界とディスプレイとの間を行き来するように見せる．Alphabot は文字を貼り付けることの出来る立方体の形状をした robot である．実験ではデジタル空間の中でのみで活動する Alphabot と子供が遊ぶ場合と，デジタル空間と実世界空間を行き来するAlphabot と子供が遊ぶ場合で比較した．実験の結果，子供たちは Alphabot がデジタル空間と実世界空間を行き来するほうが子供は遊びに没入しやすい傾向になることが明らかになった．
Huynh らは「Apple Yard」と呼ばれる Blended Reality
Game を開発し，Blended Reality の有効性を研究した[5]．Apple Yard はディスプレイの中に表示された森からまるで画面の外に飛び出てくるりんごに対して，人が手に持っているデバイスで打ち返すことを目的としたゲームである．このように人が実世界上の物体を用いてデジタル空間内の物体と直接 interactionすることで，デジタル空間と実世界空間がつながっている感覚が得られることを目指している．実際に被験者に Apple Yard で遊んでもらった結果，被験者はより大きな身体動作を促し，ヘルスケアに有効である可能性が明らかとなった．

Blended Reality Agent「BReA」
BReA はディスプレイ内のデジタル空間とディスプレイ外の実世界空間の間を行き来する．ここでディスプレイ内に存在する場合の BReA を vitual BReA，ディス プレイ外に存在 する場合 の BReA を real
BReA と呼ぶことにする．real BReA は「目」と「腕」を模した擬人化デバイスをディスプレイに装着することで出来る agent である．
「目」のデバイスには有機 EL ディスプレイが装備され，有機 EL ディスプレイ上に黒と白を組み合わせて表示することで強膜や瞳を表現し，表情などを作り出す．また「目」のデバイスには小型サーボモータが内蔵されており，これによって有機 EL ディスプレイが現れたり隠れたりする．
「腕」のデバイスは 4 つのサーボモータで構成されており，物体をポインティングすることが出来る．また胴体として Sony の LMD-1751W（高さ28cm, 横幅 43.5cm）のディスプレイを用いた．virtual
BReA は real BReA に似せてデザインされた agent であり．目の動きや腕の動きは real BReA と同等の自由度を持った動きが表現できるように設計した．
本研究では BReA がディスプレイの内外を行き来できる agent であることを表現するため次の手順に従って行った(Fig. 2 参照)．BReA がディスプレイ内

Figure 2. Transference from virtual word BReA
to Real world BReA (From (a) to (d))に存在することを表現する場合は real BReA の有機
EL ディスプレイは隠し，ディスプレイ内に BReA を表示する(Fig. 2(a))．そして BReA がデジタル空間から実世界空間へ移ることを表現する場合は virtualBReA がデジタル空間内のカメラポイントに近づき(Fig. 2(b))，virtual BReA のディスプレイのみが表示されたとき(Fig. 2(c))に real BReA の有機 EL ディスプレイが現れる(Fig.2 (d))．逆に BReA が実世界空間からデジタル空間へ移ることを表現する場合は有機EL ディスプレイが再び隠され，virtual BReA はカメラポイントから距離をとるように離れる．

Human-BReA interaction
前節では BReA がディスプレイの内外を行き来できる agent であることを表現するための仕組みについて説明した．このような表現によってデジタル空間におけるコミュニケーションへの引き込み，またデジタル空間におけるコミュニケーションでもあたかも実世界でコミュニケーションしているかのように人が無意識に振舞えることを目指す．さらにデジタル空間では実世界空間のように物理法則に従うことや空間的な制約を受けることがないため，実世界上のみのコミュニケーションにはない豊かなコミュニケーションが可能になると考えられる．

Blended Reality Agent を用いた application の応用例
本節では Blended Reality Agent の利点を活かせると考えられる application の応用例を紹介する．ここで Blended Reality Agent のハードウェアは本稿のBReA に依存しないものとする．
Digital Pets
Digital pet は動物を飼うようなエンターテイメン

トをユーザを提供する．Digital pet は動物アレルギーの心配をする必要がなく，しつけの困難さを要求される必要がない．しかしながら，digital pet と実際の動物との間には機能的な面ですれ違いが生じる．例
えば，消化機能を持たない digital pet とって餌を食べるというような表出は困難である．本稿で提案する
Blended Reality Agent はこのようなすれ違いの解決策になりうると考えられる．digital pet は普段，実世界空間上を動きユーザと身体的コミュニケーションすることが出来る．一方で実世界では不可能な現象―例えば餌を食べるなど―を表出する際は，digitalpet はディスプレイを装着した小屋の中に入り，ディスプレイ上で digital pet が餌を食べる様子などの動作を表出する．このようにして，digital pet と実際の動物との差を縮めることが出来ると考えられる．
Presentations in conversations
ビジネス会議などでプレゼンテーションする
Blended Reality Agent は On-screen agent や Robot のみに比べて有効であると考えられる．会議の参加者に，スライドに表示されたグラフやビデオ，データなどに注目してほしいときには，Robot のような実世界に身体を持つ agent が説明するよりも On-screen agentのようにデジタル空間に身体を持つ agent が説明したほうがスライドに注目してもらえやすい．また，
人に実世界上の資料に注目を向けてほしい場合には，デジタル空間に身体を持つ agent が指示するよりも実世界に身体を持つ agent が指示するほうが注目されやすい[8]．したがって，実世界空間にもデジタル空間にも身体を持つことが出来る Blended Reality
Agent を活用し，スライドの説明に注視してほしい
ときには agent はデジタル空間へ，実世界上の資料に注視してほしいときには実世界空間へ移動する．
このようにすることで注視の対象がスライド，実世界上の物体のどちらの場合においても有効に働くことが期待できる．
Information system mixing virtual and realcommunication
例えばある図書館に初めて訪れた場合では図書案内システムに頼ることが多い．図書案内システムで読みたい本の検出に成功すると，その本の保管場所の案内板が表われる．しかしながら，このようなシステムでは案内板に現れる部屋の模式図と実際のその建物の形状を照らし合わせることや，現在の自分の居る場所を確認すること，そして読みたい本がどこにあるかの確認する必要があり，認知的負荷が大きい．Blended Reality Agent がこのような負荷を提言できると考えられる．例えば，図書案内システムの補助を行えば，図書案内の検索を行う際はデジタル空間上に移動して図書検索の案内役を行う．そして

Figure 3. The test environment of BReA's
presenting products

検索が成功して保管場所が明らかになった場合はagent が実世界に移動する．実世界に移動した agent
はポインティングなどをすることによって人に理解されやすい情報提供が可能になると考えられる．

Field Test
Test Setting
本研究では BReA を 8 月下旬から 9 月の中旬にかけて慶應義塾大学矢上キャンパス内の生協の入り口に設置し，BReA に外付けハードディスクのプレゼンテーションと価格の説明を行わせた．実験法としては Wizard of Oz 法を用いた．Wizard of Oz 法では生協に来店した customer の発話認識の難しさや店への出入りの判断の困難さを排除することができ，customer と BReA との間でスムーズなコミュニケーションが可能となる．実験では BReA の近くにアンケート用紙を用意した．アンケート用紙の設置場所を実験開始時では旅行パンフレットが置かれるマガジンラックに決めた．しかしながら実験期間の途中でアンケート用紙を BReA の真横に移動した．実験開始時の様子と実験環境は図 3 の通りである．

Presentation Scenario
BReA によるプレゼンテーションは約 1 分半かかった．BReA は商品のプレゼンテーションを始める前はディスプレイの中で待機した．そして，customerが来店したとき，BReA はディスプレイの外に現れ，プレゼンテーションを開始した．このような開始は
customer に BReA がデジタル空間と実世界空間をスムーズに往来する agent であるという印象を付けることを意図している．BReA はプレゼンテーション開始時に「いらっしゃいませ，こんにちは」と挨拶した．そして，customer の BReA への注意を引くことが出来たと BReA のオペレータが判断したら
BReA に店の補助店員であるという自己紹介とプレゼンテーションへの傾聴を要求した発話を行わせた．
もし customer が要求した発話に対し肯定的な発話や行動を行った場合，BReA は「ありがとう」と発話し，プレゼンテーションを開始した．一方で customer
が BReA の傾聴の要求を拒否する発話をしたとき，BReA は「残念です」と発話した．以上の customerと BReA のやりとりは customer と BReA との間でコミュニケーションを行う関係を築くために行われた．
BReA のプレゼンテーションに対して customer の聞く姿勢が整ったと BReA のオペレータが判断したら，メモリ類の半額セールのチラシを指差し，BReAは「このチラシに気づいていますか」と発話した．
この発話は BReA が実世界の物体を参照することが出来る存在であることを印象付けるために用意した．
そしてセールが得である説明を行った後，BReA はディスプレイ内に移動した．ディスプレイ内には外付け HDD とパソコンが用意されていた．半額セールの説明の後，BReA は外付け HDD の重要性に関するプレゼンテーションを開始した．このプレゼンテーションでは BReA によるハンマーを使ったパソコンを壊す演出が行われ，パソコンが壊れるのに対しBReA は外付け HDD によるファイルのバックアップの重要性に関する発話を行った．パソコンを叩く演出が行われたとき，パソコンを叩く音が再生された．
このようなパソコンが壊れる様子は実際のパソコン
では複数回行うにはコストがかかってしまうがデジタル空間ではコストがかからずに表現することが出来る．プレゼンテーションが終わった後，BReA はデジタル空間の中からアンケート用紙のほうに指差しをしてアンケートに答えてもらうように要求する発話を行った．

Test data
Customer の対象の多くは慶應義塾大学理工学部の学生と同学部の教職員であった．Test データとして
58 人の BReA とのコミュニケーションに関する観察データを集めた．そして 58 人のデータを 3 つのカテゴリーに分類した．1 つ目のカテゴリーは BReA と挨拶を交わしたが，プレゼンテーションの途中で去った人物，2 つ目のカテゴリーはプレゼンテーションの説明を途中から聞き，最後の BReA によるアンケートへの要求まで居た人物，3 つ目のカテゴリーは挨拶を交わしてから最後のアンケートの要求まで居た人物である．それぞれのカテゴリーは 13 人，4人，41 人であった．
Test data として次の 3 つを集計対象とした．1 つ目
は BReA がディスプレイの外部から内部へ移動した

ときに customer はディスプレイに顔，または体全体を近づけたか，2 つ目にパソコンを叩く音に反応したか．3 つ目に BReA のデジタル空間から指差しをディスプレイ外部へのポインティングであることに気づいた行動を customer はとったか，である．BReA
は実験の最後にアンケートに答えるように要求し，アンケートの集計を行ったが，アンケートの存在に気づいても答えない，またアンケートの内容を先に見てしまう，アンケートを見つけることが出来なかったという customer が多かったためデータとして使用できる回答のデータが少なかった．そのため本稿
ではアンケートの集計データは棄却した．
Attracted to display by BReA’s transferring into display
BReA がディスプレイの外部から内部へ移動した
ときの customer の反応を集計した結果，9 人のcustomer がディスプレイに顔または体全体を近づける反応を示した．このような現象が起こる要因は 2通り考えられる．1 つはディスプレイに近づくことにより，ディスプレイに移る様子をより見えるようにすること，もう 1 つは BReA がディスプレイの内部に入り込むことによって BReA との距離を保つようにディスプレイに近づくことがあげられる．以上の 2 つの考えられる理由に共通していることは
BReA のプレゼンテーションに customer の興味を引くことが成功したことである．
Reactions to BReA hitting the virtual PC with virtual
hammer
16 人の customer が BReA のパソコンを壊すしぐさに対し驚きを表す反応を示した．このような反応が起こる理由として次の 3 通りが考えられる．1 つ目はパソコンを叩く音が予想以上に大きかったこと,2 つ目はパソコンの壊れる音に反応するくらいデジタル空間への interaction に没入したこと，3 つ目に BReAがパソコンを壊すという事実に対する驚きである．
customer の反応がどの理由によって影響を受けることになったのかを定めるのは困難であるが，2 つ目または 3 つ目の理由による影響であれば，BReA のディスプレイ内からのプレゼンテーションに没入していると考えられる．
Reactions to BReA’s pointing gesture
BReA のディスプレイ内からのポインティングに対し customer がディスプレイの外部に向いていると認識できているかを確認した．その結果 2 番目のカテゴリーと 3 番目のカテゴリーを合わせたカテゴリー群では約 77%（35 名/45 名）の customer が BReA のポインティングによりディスプレイの外部に視線を向けたことが確認された．さらに 3 番目のみのカテゴリーでは BReA のポインティングによりディスプレイの外部に視線を向ける割合が約 80%(33 名/41名)にあがった．BReA のディスプレイ内部からのポインティングで視線をディスプレイの外部に向ける
customer の行為はデジタル環境と実世界環境がつながっている感覚を customer に与えられたことを示していると考えられる．
今回の実験ではポインティングの対象がアンケート用紙であった．しかしながら旅行パンフレット用のマガジンラックにアンケート用紙を入れていたときには，アンケート用紙の存在に気づく customer は少なかった．これはアンケート用紙が旅行パンフレットの中に混ざっているという意外性とポインティングの精度が低かったことが原因であると考えられる．

謝辞（スタイル「セクション」）
本研究の一部は...の助成による。

参考文献：[１] Cassel,

J.:

EMBODIEDCONVERSATIONALINTERFACE AGENTS, Communication of the ACM,
Vol. 43, NO. 4, pp. 70-78, (2000)[２] Semeraro, G, Andersen, H. H. K., Andersen, V., Lops, P.,and Abbattista, F.: Evaluation and Validation of aConversational Agent Embodied in a Bookstore, Lecture
Notes in Computer Science, Vol. 2615, pp. 360-371,(2003)[３] Delecroix, F., Morge, Maxime.,and Routier J. C.: A

考察と結論

Virtual Selling Agent Which Is Proactive and Adaptive,

本稿では Blended Reality Agent「BReA」を提案した．BReA は実世界空間とデジタル空間の間を往来することが出来る agent である．そのため，人と実世界空間でコミュニケーションすることも，デジタル空間にコミュニケーションすることも可能である．
そのため，各々のコミュニケーションを活かしたコミュニケーションが可能である．さらに人とのコミュニケーションがデジタル空間で行われても，それが実世界空間で行われているような感覚を与えることが可能になると考えられる
本研究では慶應義塾大学矢上キャンパス内の生協で BReA が外付け HDD に関するプレゼンテーショ
ンを Field Test を行い，BReA に対する customer の行動を観察した．その結果，9 人の customer に BReAのディスプレイ外部から内部への移動を表出した際にディスプレイに顔や体全体がディスプレイに近づく動作が見られた．さらに BReA のプレゼンテーシ
ョンを聞いた customer の中で，BReA のディスプレ
イ内部からの指差しがディスプレイ外部に向けられているものであることを認識した人の割合は約 80%であった．この結果はデジタル空間での interaction
でもまるで real な intaraction を行うようなを人が得られる可能性を示すのに十分である．
しかし、customer は BReA のポインティングの対象であるアンケートの正確な位置を認識させることができなかった。また BReA のディスプレイが壁に設置されていたならば、customer はさらにデジタル空間と実世界空間がつながっている感覚が得られると期待できる．加えて、BReA の身体としてタッチディスプレイを使わなかったが，タッチディスプレイにすれば，人は実世界空間からデジタル空間へのより豊かな intaraction が可能となり，ひいてはデジタル空間と実世界空間のつながっている感覚が強まると考えられる．

Advancea in Intelligent and Soft Computing, Vol. 155, pp.
57-66, (2012)[４] Shinozawa, K., Naya, F., Yamato, J., Kogure, K.:
Differences in effect of robot and screen agent
recommendations on human decision-making, Int. J. HCS,
Vol. 62, Issue 2, pp. 267-279, (2005)[５] Huynh, D,. Xu, Y., Wang, S.: Exploring User Experiencein “Blended Reality”: Moving Interactions Out of theScreen, CHI2006. pp. 893-898, (2006)[６] Keeling, K., McGoldrick, P., Beatty, S.: Avatars as
salespeople: Communication style, trust, and Intentions,
Journal of Business Research, pp. 793-800, (2010)[７] Hasegawa, D,. Cassell, J., Araki, K., The Role ofEmbodimentandPerspectivein

Direction-Giving

Systems, In Proc. Of the AAAI Fall Workshop on Dialogwith Robots.
[８] Takeuchi, J., Kushida, K., Nishimura, Y., Dohi, H.,
Ishizuka, M., Comparison of a Humanoid Real World
agent and an On-Screen Agent as Presenters to Audiences,In Proc. Of the 2006 IEEE/RSJ International Conferenceon Intelligent Real world agents and Systems, pp.
3964-3969, (2006)[９] Ono, T., Imai, M.: Reading a Robot’s Mind: A Model of
Utterance Understanding based on the Theory of Mind
Mechanism, AAAI-00 Proceedings, (2000)[１０]

Ogawa, K., Ono, T.: ITACO: 人間―インタラク

ティブシステム間における感情をともなった関係の構築, Information Proceeding Society of Japan, pp. 9-16,(2008)[１１]

Robert,D.,

Breazeal,C.,

BlendedCharacters, In Proc. HRI’12, pp.359-366, (2000)

Reality