指向性スピーカを用いた空間拡張デバイス
SonalShooter の基礎検討
中垣	  拳 	  	  	  筧	  康明近年，実世界にデジタル情報を付加する拡張現実感技術が研究領域のみでなく，日常生活にも普及しようとしている．そこでは，視覚情報に加え，聴覚情報を付加する空間拡張システムが注目されてきている．本研究では，ユーザにヘッドホンのなどの装着を強いることなく，対象物自体から音が鳴っているかのように感じる付加情報提示手法 SonalShooter を提案する．具体的には，本シス
テムは，向けた方向にある実物体を画像処理で認識し，そこに指向性スピーカの特性を活かして適した音声情報を届けるデバイスである．本論文では，特にミュージアムにおける展示支援を目的とし，展示物のキャプションから直接説明音声が聞こえるインタラクティブシステムに関して述べる．

SonalShooter: A Basic Study on
A Spatial Augmented Reality System Using Directional Speakers
KEN NAKAGAKI†YASUAKI KAKEHI‡

In recent years, Spatial Augmented Reality which consist of visual information have been popular. On theother hand, there have been some researches that aim for Spatial Augmented Reality that consist of auditory
information. In this research we propose a device that can give auditory information to real objects using a
directional speaker. When a user aims the device at an object, through image processing with a camera, theuser will be able to hear information from the object itself. This is caused by the directional speaker, whichenables the reflection of sound to be heard from an object as if it is talking. In this paper, we propose a system
made especially for museums: a system that makes captions speak explanations.

1.

無しに情報を届ける仕組み作りも重要な課題である．

はじめに

このような背景に対して，本研究では指向性スピー

セカイカメラなどのスマートフォンアプリケーショ

カと画像によるマーカ認識を組み合わせて，ユーザがンに代表されるように，空間に視覚的付加情報を重畳

直接的に選択した実物体自体から，付加情報として音

1) 2)

．

声を提示するシステム SonalShooter を提案する．具体

さらに近年では，視覚に加えて聴覚情報でも空間を拡的には，図 1 のように指向性スピーカとカメラを内蔵張する取り組みがなされてきている．

したデバイスを対象物に向けることで，対象物の IDする拡張現実技術のニーズが高まってきている

聴覚による情報重畳の代表的な応用先としては，美を認識して，適した付加音声情報を対象物から提示す

術館や博物館などミュージアムにおいて鑑賞者に作品ることができる．本稿では，関連研究をまとめた後にの付加情報を届ける展示支援システムが挙げられる．

システムの概要および設計・実装に関して述べる．

一般的なものは，ヘッドホンを装着した鑑賞者に対して作品毎に異なる情報を届けるものがある．しかし，実体としての展示物と付加的なデジタル情報との関係を直感的につなぐためには，実物体自体から音が聞こえるような仕組みが必要である．さらには，ヘッドホンなどの機器の装着が必要なシステムでは，鑑賞体験に制約を与えてしまう恐れがある．耳への機器の装着

慶應義塾大学 総合政策学部
Faculty of Policy Management, Keio University
慶應義塾大学 環境情報学部
Faculty of Environment and Information Studies, Keio University

図 1: SonalShooter情報処理学会 インタラクション 2011

2.

関連研究

える．今回の我々の提案は，上記の関連研究と比較し拡張現実感技術の中でも，モニタを介して実世界に重畳された情報を見るのではなく，実世界に対して，情報を直接投射するアプローチが近年注目を集めている．代表例として，小型プロジェクタを用いてインタ2)て，ユーザがスピーカデバイスを自由に持ち運ぶ，またその把持の仕方で情報を操作させるという点でインタラクション構成が異なる．

3.

SonalShooter の 提 案

3)

ラクティブに情報を重ねる Twinkle や SixthSense が挙げられる．これらは，HMD（Head Mounted Display）など観察するための機器装着を強いない，実際に対象物に視線を合わせられるという点で，体験の自由度が高い．本研究は聴覚情報を扱うという点で違いがあるが，このアプローチと同様に，実環境にユーザが情報を照射し，対象物で反射・拡散した情報を聞く．
聴覚情報による拡張現実感自体は数多くの先行研究がある．中でも，ミュージアムを対象にすると，ヘッドホン装着型音声展示案内システムがその一例である．
これは，鑑賞者が作品に近づいた際に，自動または手動で作品に対応づけられた付加情報を音声で提示する．
しかし，音の定位感も含めて情報を届けるものは少な
く，情報と実物体の関係性が分かりにくいという課題も残る．これに対して，CoBIT4) は，音声信号を赤外光に変換し，向いた方向に見える実物体の音声情報をイヤホンで鑑賞者に提示する手法を提案している．また， u-soul5) は，超音波に音声情報を変調して乗せることで，ヘッドホンを介して実物体自体から音が聞こえるように音像を提示する．しかしこれらは，ヘッドホンなど頭部への機器装着が必要であり，自然な鑑賞体験を阻害する恐れもある．さらにこれらは，実物体側に電気的な仕組みの配置が不可欠であるという意味で設置コストも大きい．

3.1

概要

本研究では，指向性スピーカの特性を活かし，ユーザがデバイスを向けた実物体に音を反射・拡散させることで，ユーザにその実物体から音が出ているように聞こえさせる空間拡張デバイス SonalShooter を提案する．これは，手持ちのデバイスに指向性スピーカを搭載することで，周囲の実物体を音源化することが可能であり，実物体を認識することで対象に応じた情報提示ができる．また，画像による認識を行うために対象物に電気的な加工を伴うことなくインタラクションが成立する．
今回は特に美術館，展示会などのミュージアムでの展示支援デバイスとしての利用を想定し，向けた方向の展示物やキャプションなどの実物体から付加情報としてそれに関連する音声をユーザに提示するシステムを提案する．具体的には，ミュージアムなどに設置されているキャプションに対して，関連する聴覚情報を付加することによって空間を拡張するシステムである．
ミュージアムの鑑賞者がキャプションにデバイスを向けることでそこから付加情報を音声として聞くことができる．キャプション自体から音声が聞こえることで，鑑賞者に対して情報と実物体との関係を明確にし，直感的な情報提示および操作を提供する．

本研究では，情報提示のために指向性スピーカを用いる．指向性スピーカの特徴として，(1) 特定の空間（方向）のみに聴覚情報を届けられる，(2) 音を当てた対象から音が聞こえることなどが挙げられる．本研
究では，(2) の特徴をインタラクションに活かす．同様のアプローチを採る研究として，CoCo6) は実物体に取り付けられたセンサで位置を認識し，指向性スピーカを機械的な制御で対象物の方向に動かし，音を対象物の表面で反射・拡散させることで，実物体の場所を提示する．CORON 7) では，環境に設置されたプロジェクタを指向性スピーカと合わせて電子的に方向制御し，壁に映し出されたエージェントキャラクタが話し て い る よ う に 音 声 を 届 け る ． ま た ， Vibro-scapeDesign8) では，舞台上の映像やパフォーマをカメラで認識し，指向性スピーカの方向をそれらに追従させることで，いかにも実物体から音が出ているように聞こ

図 2: システム構成

指向性スピーカを用いた空間拡張デバイス SonalShooter の基礎検討

3.2

システム設計SonalShooter には，指向性スピーカ，USB カメラ，照準を可視化するためのレーザーポインタを前面に搭載している（図 2）．背面には，タクトスイッチを配し，押すとレーザーポインタが点灯し，音声投射モードになる．それぞれのキャプションには対応付けられたマーカが印刷されている．スイッチを押しながらレーザーポインタをマーカに合わせると，USB カメラでマーカを認識しキャプションに対応した付加情報を音声として指向性スピーカから出力する．出力された指向性のある音はキャプションに当たって反射・拡散する．これにより，ユーザにはキャプションが説明音声を発しているように聞こえる．

図 3: 実装したプロトタイプシステム

また，マーカに照準を合わせたまま，デバイスを傾けると，付加情報のチャンネルを切り替える機能を付ける．今回の場合，45 度以上デバイスを傾けると説明音声が日本語から英語に切り替わり，マルチリンガルな情報提示デバイスとして機能する．
3.3

実装

実装したプロトタイプを図 3 に示す．今回のプロト
タイプシステムには，指向性スピーカとして，トライステート パラメトリック・スピーカキットを利用し，USB カメラは，ロアス社製の MCM-14 を用いた．また，レーザーポインタ，タクトスイッチ，およびその制御のための Arduino を組み込んだ．
対象物の認識のために，図 4 のように異なる ID を

図 4: マーカをつけた対象物

割り当てたマーカを対象物に貼付し，ARToolkitPlusライブラリを用いてリアルタイムにマーカの ID と，マーカに対するデバイスの向きを認識した．それぞれのマーカに音声ファイルを対応づけ，認識されたマーカの種類に応じて対応する説明音声をスピーカから出力する（図 5)．この際，レーザーポインタの示す位置に近い対象物の音声だけを提示するために，カメラ座標系においてフレームの中心点からの距離で閾値を設定し，画角の中央にあるマーカのみを処理した．また，複数のマーカが近くにある場合には，カメラフレーム内の中心点に最も近いマーカ１つのみを選択する
図 5: 操作の様子ようにした．
また，デバイスの傾きによって，チャンネルを日本語／英語に切り替えることができる機能についても，

4. 展 示 の 様 子 と ユ ー ザ の 反 応

このマーカ認識の情報を利用する．ユーザがデバイス	  本システムの有効性を確かめるために，実装したを傾けると，認識するマーカの向き情報により，デバ

SonalShooter のプロトタイプを 2010 年 11 月 22 日 23

イスの姿勢が推定できる．今回は，45 度以上傾い日に六本木アカデミーヒルズ 40 で開催された慶應義た際に，日本語と対応する英語音声を切り替えるよう

塾 大 学 湘 南 藤 沢 キ ャ ン パ ス の 研 究 発 表 会 Openに実装した．

Research Forum2010 (ORF2010) にて展示した（図 6）．

情報処理学会 インタラクション 2011

ここでは，図 1 のように壁面に 28 枚のキャプション

ハードウェア的改良や対象物の素材や大きさなどインを貼り，各キャプションには説明文と共に ID を示すタラクション環境のデザインを行う．そのため，4.

AR マ ー カ を 印 刷 し た ． こ れ ら の キ ャ プ シ ョ ン にでも述べたとおり，想定利用環境における指向性スピ

SonalShooter デバイスを向けるとキャプションから対ーカの音響特性の調査も課題である．また，今回応した説明音声が出ているように聞こえ，デバイスをARToolkitPlus ライブラリのマーカをキャプションの傾けると音声が英語に切り替わる．

認識のために利用したが，その利便性と引き換えに，	  体験者の多くは，キャプション自体から音声が聞こ

本来人間にとって必要の無いマーカを環境に配するのえることに驚き，次々とデバイスの照準を変えながらは不自然であるとも言える．今後，マーカレスの物体付加音声情報に聞き入っていた．また，音が鳴ってい認識など画像処理アルゴリズムに関してさらなる検討

るキャプションに耳を近づける姿も多く見られた．まを進めていく．また，今回の実装では平面的な対象のた，複数の来場者が一緒に音声を聞く姿も見受けられ，みを扱ったが，今後は立体形状を有するものを含めてヘッドホン等の機器を耳に装着しない手法を採ること

展示物自体から付加情報としての音が出ているようににより対面のコミュニケーションを阻害せずに情報を聞こえるような利用シーンも検討する．

共有できる環境として機能していたとも言える．

また，今後は複数の SonalShooter を用いた複数人に	  今回の展示で得た知見として，デバイスとキャプシよる体験やアプリケーションも設計していきたい．単ョンの位置関係や周囲の雑音などの影響から，音声の一のユーザが体験することと違い，複数人では人と人聞こえやすさにばらつきが見られた．今回は，空間設の関係性もデザインする必要がある．さらに，展示支計の関係で，デバイスとキャプションの距離が 1m ほ

援の枠に留まらず，デジタルサイネージやメディアアどの距離から使用した．この際，指向性スピーカからート，エンタテイメントコンテンツなど，さまざまな出力された音は，キャプションに当たった際に，拡散応用例も提案していきたい．

より反射の成分が強く，位置や向きによって音に聞こえやすさにばらつきが見られた．今後，距離や音の投射角度，設置する空間の広さ（開空間／閉空間），対象物の大きさや材質など，様々なパラメータによる音の聞こえ方の違いを調べ，インタラクションの設計にフィードバックする必要がある．

図 6: 体験者の様子

5.

まとめと今後の課題

今回筆者らは，向けた方向にある対象物から聴覚的な付加情報としての音声をユーザに提示する空間拡張
デバイス SonalShooter を提案した．
今後の課題としては，まず音質向上のためにさまざまなタイプの指向性スピーカを比較・検討するなどの参考文

献1) 頓知ドット : セカイカメラ,
http://sekaicamera.com/, (2010 年 12 月現在)
2) T. Yoshida et al.: Twinkle, 36th International
Conference on Computer Graphics and Interactive
Techniques (ACM SIGGRAPH 2009), Emerging
Technologies, 2009.
3) P. Mistry, P. Maes. : SixthSense – A Wearable
Gestural Interface. In the Proceedings of SIGGRAPH
Asia 2009, Emerging Technologies, 2009.
4) 西村拓一,中村嘉志,伊藤日出男,山本吉伸,中島秀之	 :	 インタラクティブ情報支援のための無電	 源 小 型 情 報 端 末 , イ ン タ ラ ク シ ョ ン 2003,
pp.163–170, 2003.
5) 吉野祥之, 苗村健 : u-soul : 超音波を用いた音像
提示インタフェース, 日本バーチャルリアリテ
ィ学会論文誌 13(2), pp.239-246, 2008.
6) 山本友紀子, 石井健太郎, 今井倫太, 中臺一博:
探し物支援のための超音波を用いた誘導システ
ム CoCo, ヒューマンインタフェースシンポジ
ウム 2007 論文集, pp.1049-1054, 2007.
7) 山本友紀子, 石井健太郎, 今井倫太, 中臺一博:
CORON: 実空間移動型エーシェント提示システム, インタラクション 2008, pp.37-38, 2008.
8) 渡邊淳司,吉田知史,安藤英由樹, 田畑哲稔,MariaAdriana Verdaasdonk : マルチメディアパフォー
マンスにおける Vibro-scape Design の実践的試
み, 日本バーチャルリアリティ学会論文誌 12(3),pp.413-416, 2007.