MultiAudable：個別音声出力可能なインタラクティブテーブル
楠房子
多摩美術大学矢入郁子
通信総合研究所

西村拓一
産業総合研究所

あらまし本論文では,共同作業を支援するために個別音声を提供することが重要であると考え，動画を表示できる画面の各点，各領域から異なる音声を発信するMultiAudableを新たに提案する．
音声は，既に提案したCoBIT光源で送信することで，CoBITの改造版である指CoBITを装着したユーザだけが音声を聞くことができる．本論文では，タッチパネル付スクリーンを用いてMultiAudableを試作し，個別音声を提供するコンテンツを用いた評価実験を行った．その結果,個別音声がユーザ間のコミュニケーションの活性化に役立っていることを確認できた.

MultiAudable: Interactive Table with Individual Audio Feedback
For Collaborative Work
Fusako Kusunoki

Ikuko Yairi

Tama art UniversityNICT

Takuichi Nishimura
AIST

Abstract： This paper proposes MultiAudable(Multi-Audio Table) system, which is an interactive table withindividual audio feedback capability in order to enhance collaborative work. A user can hear sound individuallyaccording to his/her finger position on the table using a finger CoBIT that we newly propose. We havedeveloped a prototype MultiAudable system using a touch panel screen and created three contents for two
demonstrations. This paper discusses the analyzed results of questionnaires and shows the effectiveness of
individual audio feedback for collaborative work.

１． はじめに筆者らは,対面型で作業をおこなうためのインタフェースとして,ボードゲームの持つ特徴に着目し，電子的にエンハンスされたボードであるセンサ-ボードシステムを開発した．センサーボードシステムは，ボード上の多種かつ多数のコマを高速に認識するという要求を満足するために，RFID技術を用い， データ通信処理技術を新たに工夫することにより実現された．セン
サーボードシステムを用いたアプリケーション
として， 我々の研究グループでは，このデバイスをエンターティメントや, グループ活動や協調学習支援一般に応用するための研究を行っている[1][2]．その結果,共同で作業を行う場合の俯瞰する画面に音声を加えることは非常に重要であるという知見を得ている．

すでに，視覚情報の提示では，各ユーザが見るユーザ近傍の画面領域ごとに，情報支援する研究[11,15]がなされている．しかし，聴覚情報のフィードバックはスピーカを用いて全員に共通の音声を提供する研究しかなされていない．
そこで，本研究では,個別に各ユーザがタッチした画面に関する音声を提供するために， 動画を表示できる画面の各点，各領域から異なる音声を発信するMultiAudableインタフェースを提案する．
音声は，既に提案したCoBIT[3,4]光源で送信することで，新たに提案する指CoBITを装着したユーザだけが個別に聞くことができる．さらに個別音声を提供するコンテンツを２種作成し，公開デモにおいてアンケートをとって聴覚情報の有効性の個別のフィードバックについて評価を行った．その結果,個別音声がユーザ間のコミュニケーションの活性化に役立っていることを確認できた．また実用的な応用として、展示閲覧用のコンテンツも作成し,評価を行った.以降
2章では,MultiAudableの構成,3章では開発したコンテンツと評価実験,４章では,まとめと今後の展開について述べる．
2. MultiAudable
2.1. 概要
MultiAudableの装置構成を図１に示す．タッチパネル付のスクリーンに背面からプロジェクタで映像を投影，さらに指向性を狭めた
CoBIT[3,4]用信号光をスクリーン上の複数箇所に照射する．コントローラは，タッチパネル入力および映像出力とともに，複数の音声チャンネルをリアルタイムで出力する．この各音声出力はCoBIT光源用ドライバで増幅され音声信号を含むCoBIT[3,4]用信号光に変換される．この信号光は希望の位置に投光できる．
ユーザは太陽電池を指先に，ヘッドホンを耳に装着し，太陽電池とヘッドホンを直結したCoBITを用いる．これを，指CoBIT(愛称：ゆびこび)と呼び，太陽電池付の指先を移動することでスクリーン上の位置によって異なる音を楽しむことができる．太陽電池は人差し指の指先から若干離して装着するため，指先によるタッチパネル操作が可能である．

図１.

MultiAudable概要

2.2. 指CoBITCoBITとは，図２のように太陽電池に直結したイヤホンおよび反射シートから構成される情報端末である．CoBITを装着したユーザは，動き回りながら周辺の音声コンテンツを容易に入手できる．

LED emitters
Light projection Cameras

Amplify
Biased Sound Wave
Solar Cell

Infra-red LEDs
Tracking thebright points

Earphone

Recognition of
the position,orientation andsigns of CoBITs
Reflective Sheet

図２. CoBIT基本システム
環境側は，音声波形にバイアスをかけて増幅しLEDで赤外光を照射する．これにより，CoBITの太陽電池が音声波形に従って発電し，太陽電池に直結したイヤホンから音声が流れる．さらに，環境側には，赤外LEDをカメラ光軸近くに取り付けたカメラを設置する．ただし，カメラには可視光カットフィルタを装着し，赤外光が入射しなければ黒色画像を出力するようにする．
CoBITには小型コーナーキューブを埋め込んだ再帰型反射シートを装着する．従って，環境装置から光が照射されると環境装置に強力な光が戻る．これにより，CoBITのみが輝点として観測でき，容易にCoBITの位置や数を計測できる．液晶シャッターやLEDによりIDを発信するCoBITも実現している[5]．

図３. CoBIT利用イメージ
従来は，図３のように耳に装着して顔の向いている方向からの音を検出する場合や首かけ名札タイプのCoBITにより胸の向いている方向からの音を検出する場合を想定していた．つまり，ユーザの視点および視線方向は，太陽電池の位置と方向とおよそ一致するとしていた．しかし，MultiAudableのように，視点および視線方向に依存するのではなくスクリーン上の位置によって異なる音声情報を配信したい場合は，太陽電池とヘッドホンを分離し，かつ太陽電池を自在に移動できる必要がある．また，CoBIT光源の照射エリアが小さく多数隣接している場合は，それに応じた位置精度で太陽電池を移動する必要がある．
そこで，指先に太陽電池を装着し，耳にヘッドホンを装着する指CoBITを提案する．これにより，視点や視線方向ではなく，太陽電池の向きや位置に応じた音声情報を入手できる．この指CoBITはMultiAudableのように平面上に位置依存情報が存在する場合だけでなく，例えば彫刻作品の曲面上や従来のCoBITの設定と同様に広い空間中の移動時に指をアンテナのように動かして音声情報を入手する場合にも効果的である．
同様なシステムに岩井俊雄氏によるサウンドレンズ[6]があるが，電池とアンプを用いており受信部（直径５cm以上）や筐体が大きくなる．
受信部が大きいと複数の照射エリアを内包してしまい，音声が混じってしまう．また，アンプ駆動用の電池の充電作業が必要となる．従って，指に装着して気軽に使用する場合には，指CoBITが適していると考える．
今回試作した指CoBITは，図４のように指先用太陽電池およびそれに直結したヘッドホンのみで構成した．もちろん必要に応じて，反射シートを取り付け，かつMultiAudableにカメラを装備することで，指CoBITの位置を検出することは可能である．しかし，今回はタッチパネル操作情報のみをユーザのリアクションとして利用するコンテンツを想定した．試作した指CoBITは人
差し指の腹部に太陽電池（約12mm×17.2mm)を装着し，指先にてタッチパネルの操作を行う．指
CoBITは，単純な構成，バッテリー交換不要，壊れにくいという特長を持つ．
また，インタラクティブメディアアートなどの音声コンテンツを提供することも考え，MultiAudableにおける音質は，従来のCoBITを用いた情報支援システムに求められるものより高くなるように実装した．ヘッドホンとしては，音圧感度105dB/1mWのVicor製ヘッドホン
HP-AL700を採用し,さらに太陽電池には赤外パスフィルタを用いてプロジェクタの可視光ノイズをカットした．

図４．

実装した指CoBIT

2.3. MultiAudable
今回の目的のようにスクリーン上の複数エリアで異なった音声を提供するためには，複数のスピーカを用いる手法では音が混じって聞き分けづらいものとなる．また，何らかの位置検出装置を用いて電波で位置に応じた音声を配信する方法も考えられるが，CoBITを用いる手法に比べて端末および音声配信システムの装置構成が複雑となる．
今回試作したMultiAudableは，図５のようにコントローラ（16チャンネルのリアルタイム音声出力装置を含む），タッチパネル付スクリーン，16チャンネルCoBIT光源とCoBIT用ドライバ，そしてこれらを保持する筐体で構成される．コントローラとして用いる計算機(CPU:PentiumIV,2.4GHz)は，テキサスインスツルメンツ社製DSPボードおよびD/A出力ボードを装着し16チャンネル音声のリアルタイム出力を可能とした．タッチパネル付スクリーンは，超音波表面弾性波方式の市販のメディアテーブル（タッチパネ
ル・システムズ（株）社製）の付属のものを用いた．裏ガラス，投影フィルム，タッチパネルの３層構造で490mmの正方領域においてタッチ情報を検出可能である．

り一回り大きく設計した．熱対策のためファンを設け，輸送を考えコントローラ，プロジェクタ，スクリーンを取り外し可能とした．支柱は市販のメディアテーブル付属のものを用いた．
コンテンツは，マクロメデイア社製オーサリングソフトソフト「ディレクタMx」にて開発可能とするために16チャンネル音声出力用プラグインを作成した．

図６. CoBIT光源部拡大写真
スクリーン上のCoBIT光源投光エリアは肉眼で確認できないため，赤外カメラ（白黒カメラ）で検出する．投光エリアは，LEDを真上に向けた場合は約4cm-6cmの円となり，画面上最も離れた位置に投光した場合は長径14cm短径9cmの楕円状となる．
今回用いた太陽電池は単結晶シリコンセルであり，サイズが12×17.5mmである．このため音声検出可能エリアは，境界において外側に約1cmボケることになる．コンテンツ作成時は，この投光エリアに関する性質だけでなく，指先と太陽電池を装着した指の腹との位置に約2cmのずれがあることを考慮して作成する必要がある．
2.4 MultiAudable関連研究

図５．MultiAudable装置構成
コントローラからの音声出力はCoBIT光源用ドライバ16台で変換し各CoBIT光源を駆動する．各CoBIT光源はフレキシブルパイプで保持し，照射位置を変化させることができる．今回は光源として赤外LED（スタンレー社製，中心波長850μm，指向性約5度）を用いた．筐体は，コントローラが大きくなったため市販のメディアテーブルよすでに個人や共同作業を支援する様々な電子テーブル[7-15]が提案されている．入力方法に関しては，入力デバイスを必要とするか手で可能か，その場合に個人の指１本のみ認識可能か複数の指を同時認識できるか，さらに複数人の手を判別できるかで分類できる．また，デバイスとしては，ディスプレイが平面かそれ以外か，複数か単数か，以外に紙や手で触れる実世界物体を用いるかどうかによっても分類できる．さらに，共通領域以外にも各ユーザの目の前の領域を個人空間的に使用する研究もなされている[14,15]．しかし，音声に関してはスピーカを用いて複数ユーザに共通のコンテンツを流すものしか提案されていない．本研究は，共通音声コンテンツ以外にスクリーン上の位置に応じて個別に（個人化した音声は送っていないので）音声配信を可能とする点で従来法と異なる．
３．作成したコンテンツ
3.1 コンテンツの概要と目的
本章では,MultiAudableの特徴を生かしたコンテンツについて説明する．各コンテンツはMultiAudable上の映像中のオブジェクトからのみ指CoBITを用いて音を聞けるものとなっている．また，オブジェクトを直接操作することも可能とし，その際にも音が発生する．また，指CoBITでしか聞こえない音声以外にスピーカにて全ユーザへ音声を流すことも随時行う．コン
テンツは，１）キャラクターとのインタラクシ
ョンを楽しむことを目的とした作品，２）よりゲーム性の高いインタフェースを提供することを目的とした作品の２種類の目的に絞って作成した．各コンテンツについてはデモ会場にて実際に操作してもらい，操作性，音の効果，共同作業が行えたかについてアンケートを行い，テーブルの特性について検証した．
また展示支援への応用として,閲覧を目的としたコンテンツを作成し，評価実験を一部行った．
3.2 インタラクションを重視したコンテンツ
3.2.1 「ＳＯＣＯＣＯ」コンテンツ
今回作成したコンテンツは,相互のインタラクションを活性化することを目的とし，画面中の４ヶ所から音が出る作品を２つ作成した（図7，図8）．
「ＳＯＣＯＣＯ」コンテンツの特色は以下である．
１）テーブルのなかのキャラクターを「ゆびこび」で触って自分の好きに動かすことができる．
２）キャラクターが実際にテーブルの中に住んでいるような世界観を大切にして,キャラクターにちょっかいを出すことが出来るような感覚を味わえる．
3) 複数人数で操作できるように俯瞰できる画面構成を楽しめる
3.2.2 「fire」コンテンツ

このコンテンツはゲーム感覚で画面上のキャラクターの中から点火した花火を隠し持っているキャラクターを探し当てる,というもので,参加者全員で互いに協力して探し出すことが最終的な目的になっている．まず画面上に花火を持ったキャラクターが 6 体配置されている．それぞれのキャラクターは服装で特徴が分けられており,同じ服装のキャラクターは居ない．そしてこれらキャラクターの座標に重なるように CoBITの音源が配置されている．

図７．ＳＯＣＯＣＯの画面

図８.Fireゲームのコンテンツ
3.3 デモの実施と結果
この２つのコンテンツを用いて通信総合研究所（小金井）の一般公開においてデモを行った．
今回の参加者は親子連れや子供同志が多かった．
コンテンツ操作に参加, コンテンツ操作終了後アンケートに記入してもらった．参加人数は89人であった．
3.3.1 個別音声について
インタラクション作品であるSOCOCOについて,個別音声と共通音声とコンテンツの関連を調べるために以下の３カテゴリにわけてシステムを使用してもらい,アンケートに答えてもらった．
○指CoBITのみ（個別音声のみ）２９名○スピーカのみ（共通音声のみ）３０名○スピーカと指CoBITの併用（個別・共通両方）

３０名
評価項目を表１に示す．また，評価結果を，図９，１０，１１に示す．
表１. 評価項目
アンケート項目
質問１
ゲームは楽しかったですか
質問２
何がたのしかったですか
質問３
改善点は何ですか
楽しかったですか？
100%
80%
60%

YESNO

40%
20%
0%
CoBITのみスピーカーのみ両方

図９．評価項目１について何が楽しかったですか
100%
80%
60%

イ ン タラ クショ ン

40%

CoBIT

20%
0%
CoBITのみ

両方

図10．評価項目２について
改善点は何ですか？

図９のように，「SOCOCO」コンテンツは全体的に好評であったことが分かる．また，CoBITを使った人の方が楽しかったと答えた人が若干多かった．
図10からCoBITのみ使用した場合,スピーカのみや両方使用した場合に比べ,CoBITが、やや評価が高いのは、個別音声の出力される場所を探しあてて、注意深く聞くことが楽しいということから、やや高い結果になっているといえる.一方でスピーカのみと両方は音を聞くよりもキャラクタとのインタラクションのほうを楽しむ結果になっている.
また図11.改善点の指摘では,音声全体に評価が悪かった．図１１は，CoBITを使うとCoBITの音質が悪いことが気になり，スピーカのみの場合は，キャラクタが気になることがわかる.
さらに４カ所しか画面上に個別音声を出力していなかったため,「他のところをさわったときにも音がでてほしい」との意見も多かった．これについては,音を出すポイントを多くしていくことで改善できると考えられる．
3.3.2 複数人数での使用について複数人数にする支援に関しては,よりゲーム性の高い fireコンテンツにおいて調査を行った．
以下が評価項目である．
表2.評価項目
アンケート項目
質問１
ゲームはおもしろかったですか
質問２
ルールはわかりやすかったですか
質問３
操作は簡単だったですか
質問４
ゲームは簡単だったですか
質問５
周りと協調して遊べましたか
その結果を図12に示す．
ゲームのコンテンツ

80%
60%
キャラクター

40%

音質

20%
0%
CoBITのみ

スピーカーのみ

両方

図11．評価項目３について

0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

はいふつう
いいえ

質問1

質問2

質問3

質問4

質問5

図12. ゲーム性についての評価この結果から,本システム上でのゲーム性のあるコンテンツに関して,有効性が検証できたが（評価項目１から4）が,協調して楽しむ効果には,明確な評価ではなかった．
「個別音声」と「共通音声」を切り分けて行うゲーム性のあるコンテンツについて今後分析,検討する必要がある.

図13.実施の様子
このデモのビデオからユーザの行動を観察し,個別音声の効果について分析した（図13)．
主なユーザの動作は以下である．
・周りの人は何をやっているのか分からない様
子で不思議そうである．周囲の好奇心を触発す
る．
・音に集中するので相互の会話はない．
・大人が参加した場合,子供の手を取って誘導している場合が多く,親子の会話がある．
・子供だけだと黙々とやっているグループが多い
・音が出るポイントと出ないポイントがあるので音に意識がいく様子で,集中する.
・ CoBIT の音が聞こえる場所を探しあてると大変うれしそうである．
ビデオの分析結果から,当初の目的であるインタラクションの活性化には役だっているといえる．さらに,「自分が発見し，他の人に教えることや,他の人の反応を見て自分もまねる」などの行動も顕著にみられ,当初の目的であるインタラクションによる共同作業の活性化はある程度達成されていると考えられる．
3.4 展示支援への応用：閲覧向けコンテンツ「まわる浮世絵」は,1人から4人程度で「浮世絵コンテンツ」を閲覧することを目的とした作品である．今回は対象の年齢を絞らず,場所の設定として,美術館・博物館のテーブルを設置した場合の用途として作品を制作した．美術館や博物館の展示説明パネルの問題点として,文字情報のみであることや情報が単一で知りたい情報がその場ですぐ閲覧できないことがある．そのためユーザーのモチベーションがあがらず読み飽きてしまう問題点がある．またいったん展示に対する説明用のパネルなどを設置すると変更が容易でないという問題もある.そこで,このような美術館や博物館の展示説明の問題点を補うために「ユーザーに見やすく表示する」「必要な情報量を提供する」ためのアプローチとして本システムの特性を活かしたコンテンツを制作した．
本コンテンツは,画面にある矢印をおすと方向が変わる．これにより画面のどちらの角度からでも自由に閲覧することができ,複数人でも閲覧できるという特色をもつ（図14）．また各コンテンツを閲覧していくと画面ごとに作者の作風や時代の背景や情景に関する音などを個別音声で聞くことができる（図15）．

図14.浮世絵のコンテンツ画面(1)

図15.浮世絵のコンテンツ画面(2)
この「浮世絵コンテンツ」をデモで１日展示した.操作した参加者は大人であった.今回はアンケートをとらずビデオ撮影とインタビューで、操作性と個別音声について評価してもらった.

結果は、操作性、閲覧するコンテンツ内容についてもわかりやすいとの評価を得た.しかし、個別音声で支援できるコンテンツと共同音声で支援できるコンテンツについてなどの分析は行っていないので、今後は、美術館などにおいて企画展示などの内容に関する調査を行い、説明コンテンツを作成し、より詳細な検証を行う予定である.
４．まとめと今後の展開
筆者らが提案するMultiAudableを用いた「共同作業における音声の個別化」は,ゲームや情報閲覧などの共同作業において、効果があったことがデモの実践結果より明らかになった．しかし、どのコンテンツが、音声の個別化の効果があるのかという分析までは至っていない.そこで今後は,以下の分野での応用を検討し、音声の個別化に適したコンテンツについて行う．
・学習支援への応用：学習支援では,画面上のコンテンツと音を組み合わせることによって社会や理科の総合学習,音楽や美術などの学習者自身のコンテンツ製作などを検討している．
・触地図（目の見えない方用の立体地図）への応用：障害者支援への応用は,健常者には，プロジェクタで,映像を投影して視覚情報＋音声情報とし,健常者と視覚障害者とのインタラクションを潤滑に行えるコンテンツなどを提案していきたいと考えている．
・新しいエンターテイメントゲームへの応用
今までの対面型のボードゲームシステムでは,音声は共通音声が主で行われていたが,このシステムを用い,個別音声と共通音声をくみあわせることによって新しいゲームについてもコンテンツの開発手法も含めて提案していきたい．

参考文献[1] Kusunoki, F., Sugimoto, M., Hashizume,
H.:Symphony-Q: A Support System for Music
Learning through Collaboration In Proc. OfCSCL2002, Boulder, CO, pp.491-492 (2002)[2]楠房子，杉本雅則，橋爪宏達， 同時多入力デバイスを用いた電子ボードゲームの構築，
日本バーチャルリアリティ学会論文誌， 7(4),487-494. 2002

[3] 西村拓一，伊藤日出男，山本吉伸，中島秀之：無電源小型通信端末を用いた位置に基づく状況支援システム，情報処理学会研究会報告,2002-ICII-2, pp.1-6, 2002.
[4] Takuichi Nishimura, Hideo Itoh, Yoshiyuki
Nakamura, and Hideyuki Nakashima: A Compact
Battery-less Information Terminal For
Interactive Information Support, the Fifth
Annual Conference on Ubiquitous Computing(Ubicomp 2003), Workshop: Multi-Device
Interfaces for Ubiquitous Peripheral
Interaction (2003).
[5] Yoshiyuki Nakamura, Takuichi Nishimura,Hideo Itoh, and Hideyuki Nakashima: ID-CoBIT:A Battery-less Information Terminal with Data
Upload Capability, In Proc. of the 29th Annual
Conference of the IEEE Industrial Electronics
Society (IECON 2003), to appear, Nov 2003.
[6]
http://www2.gol.com/users/iwai/PS1data/SOU
ND-LENS.html[7] Buxton, W., Living in augmented reality:
Ubiquitous Media and Reactive Environments,
in Video Mediated Communication, K. Finn,Sellen, A., Wilber, S., Editor.
1997, Erlbaum: Hillsdale, NJ. p. 363-384.
[8] Dietz, P., & Leigh, D. (2001).
DiamondTouch: a multiuser touch technology.
ACM UIST Symposium on User Interface Softwareand Technology. p. 219-226.
[9] Rekimoto, J. (2002). SmartSkin: aninfrastructure for freehand manipulation oninteractive surfaces. ACM CHI Conference. p.
113-120.
[10]Wellner, P. (1993). Interacting with paperon the digital desk. Communications of the ACM,
36(7). p. 87-96.
[11] Streitz, N., GeiBler, J., Holmer, T.,
Konomi, S.i., Muller-Tomfelde, C., Reischl,W., Rexroth, P., Seitz, P., & Steinmetz, R.
(1999). i-LAND: an interactive landscape forcreativity and innovation. ACM CHI Conference.
p. 120-127.
[12] Tandler, P., Prante, T., Muller-Tomfelde,

C., Streitz, N., & Steinmetz, R. (2001).
Connectables: dynamic coupling of displays
for the flexible creation of sharedworkspaces. ACM UIST Symposium on User
Interface Software and Technology. p. 11-20.
[13] Ullmer, B., & Ishii, H. (1997). The
metaDESK: Models and prototypes for tangibleuser interfaces. ACM UIST Symposium on User
Inteface Software and Technology. p. 223-232.
[14] Vernier, F., Lesh, N., & Shen, C. (2002).
Visualization techniques for circular
tabletop interfaces. Advanced VisualInterfaces.
[15] Shen, C., Lesh, N., Vernier, F., Forlines,C., & Frost, J. (2002). A social sense of time:
Sharing and building digital group histories.
ACM CSCW Conference on Computer Supported
Cooperative Work. p. 324-333.