WISS2009

ユーザ周囲の仮想ポータブル相対空間に貼って剥がせる音声の付箋
Put and Unstick Voice Stickies at Relative Direction to the User as a Virtual Space

米澤 朋子

山添 大丈

寺澤 洋子∗

Summary. 本稿では，従来も利用されてきた音声メモを拡張し，ユーザの音声と頭方向のみを用いて，周囲の仮想空間上に音声メモを付箋のように貼ったり剥がしたり，聴き渡せる音声付箋システムを紹介する．音声メモのハンズフリー性や即時記録性を保障しながら視覚メモのような一覧性を保障し，更にポータビリティを備えた携帯機器 (iPhone) における新しいメモのモダリティの確立を狙う．時に頭部方向検出
はポータブル機器に搭載しにくいことを考慮し，方向指定のデバイスを内蔵コンパスと外部コンパスの間で変更できるよう，フレキシブルなソフトウェア構成を設計した．

1

はじめに

音声メモは，書くより話すほうが早いという即時記録性やハンズフリー性，ポータビリティが着目され利用されてきた．しかし，視覚メモのように空間を使い分けて記録することができず，一覧性（同時性）がないため，全ての記録を再生する段階で時間がかかりすぎるという難点もあった．これに対し本
稿では，音声メモの即時記録性とポータビリティを活かしたまま，視覚メモの一覧性のような同時性が高いメモシステムを開発することを目的とした．これまで時間軸に沿って直列的に聴取するメモ形式であった音声メモに，空間を活用した一覧性（同時性）を与え，携帯端末上で実装することで，音声メモを拡張したポータブルで新しい記録・ブラウジングメ
ディア (図 1) を携帯端末 (iPhone) 上で実現した．
現実空間に対する音声アノテーション研究 [1, 2]の多くは，複合現実の枠組みの中で絶対座標に関連付けられており，ポータブルな音声メモには向かない．音声コミュニケーションのための音源定位を用いた Voiscape[3] ではポータビリティはない．ステレオ音声で頭部方向に応じて音源定位を変化させる[4] ことは，実際に音声が発せられているかのように感じさせる技術として重要である．

2

ポータブルな音声付箋システムの構成

本稿で提案する音声付箋システムでは，音声メモのポータビリティ性・即時記録性を活かしたまま，視覚メモの一覧性のような同時性が高く直感的に把握できるような，普段使いのメモシステムを開発することを目指し，本来直列的に録音・聴取するのみ∗

Copyright is held by the author(s).
Tomoko Yonezawa and Hirotake Yamazoe, ATR 知能ロボティクス研究所, Hiroko Terasawa, Stanford UniversityCCRMA**本研究は (独) 情報処理推進機構「未踏 IT人材発掘・育成事業」の支援により実施したものである．

移動中

料理中
休憩中

図 1. どこでも再構築される音声付箋の仮想空間

ユーザ

頭部方向用
3軸地磁気・加速度センサ
マイク付
ヘッドフォン
無線LANモジュール（頭部方向送信用）

図 2. 頭部方向に応じた音声付箋の貼付
図 3. システム構成であった音声メモに空間活用を導入した．ユーザは，自身の音声と頭方向を用いて，周囲の仮想空間のバルーン上に音声メモの付箋を貼付したり，はがしたり，またそれらを一覧的に聞き渡すことが可能となっている（図 2）[5]．
図 3 に提案する音声付箋システムの利用例を示す．
ユーザは頭部方向検出用の 3 軸地磁気・加速度セン
サが取り付けられたマイク付ヘッドフォンを装着し，頭部センサのデータを元に，ユーザの頭部方向を推定し，頭部方向に応じた音声メモの 3 次元音響による提示，もしくは頭部方向に応じた音声メモの記録を行うことが可能である．ここで，音声メモ (付箋)の記録時には，自動的にユーザの発声 ON/OFF の検出と音声区間の切り出しが行われ，その時々の頭部方向とともに方向情報付き音声付箋を生成される．
また，iPhone 上の GUI インタフェースにより，音声メモの位置を変更するなどの音声メモの編集作業が可能となっている．さらに，上を向きながら”スー”というなどの音声と頭部ジェスチャの組み合

WISS 2009

音声そのもの音声アイコン
頭部方向範囲現在の頭部方向

１８０゜

BirdsEyeView

LandscapeView

WindowView

図 4. 音声アイコン
図 5. 利用状況に応じた GUI&センサモード

わせによる操作インタフェースも追加・実装することで，ハンズフリーでの操作について実現している．

1) 頭部方向による音声メモの記録・ブラウジング
提案システムでは，イヤホン等の左右 2ch のみで音声付箋の位置を音響的に再現するため，3D 音響を活用している．また，頭部方向に応じて音声の位置を再現するため，ユーザの頭部方向を検出するために地磁気センサを用いた．

2) 音声メモのアイコン化
聞こえてくる方向をばらばらにしても，同時に同一話者の音声が聞こえれば人間の聴覚と認識能力を超えてしまう．そこで，各音声メモの個性を活かした特徴のある短い音で音声メモを代理し存在位置を示すこととした．図 5 に示すように，ユーザ頭部方向の範囲内の音声付箋のみ音声そのものを聴かせ，それ以外は代替音として「音声アイコン」を聴取させる．これにより，複数音声メモの存在とそれらの位置を同時に把握させることを可能にしている．

3) 携帯端末 (iPhone) での実装
iPhone での実装にあたっては，全てのユーザが同一のハードウェア構成であるとは限らない（機種により搭載センサなどのスペックが異なる）ことや，ユーザビリティや利用シーンを考慮し，複数の GUIモードを用意した（図 3-3）．これにより，図 3 のような構成に限らず，iPhone とマイク付イヤホンだけを用いた場合などにおいても，提案システムは利用可能となっている．
LandscapeView は主に GUI 編集用で，付箋を見ながら貼ったりはがせたり動かせるモードである．
BirdsEyeView は，ユーザ周囲 360 °の音声付箋全体を把握しやすいモードである．また，加速度センサのみ搭載された端末を用いる場合に，寝転んで使用することで直観的な利用が可能となる．WindowViewは，音声付箋の貼り付いた仮想空間に窓を作ったようなメタファを視覚的に実現するモードである．コンパス搭載の端末利用時に，頭部方向用センサを持っていなくとも，に音声付箋のある仮想空間を体感し活用することができる．
以上により，いつでも・どこでも・だれでも，様々な端末・デバイス構成でも利用できる，より汎用性の高い音声付箋システムを実現した．音声モダリティ

において空間を使い分けるという，これまでにない全く新しいメモ進化型音声メモ手法が構築されたことにより，従来の様々なメモの機能を補完するだけではなく，人間の今までにない一時記憶概念空間の構築に一役買うことも期待される．

3

おわりに

本稿では，携帯機器 iPhone における音声付箋システムを紹介した．本システムは，ユーザの頭部方向もしくは携帯機器自体の相対的方向を，音声付箋の相対的空間における位置として記録する．音源定位を知覚しやすい水平方向を利用し音声付箋の位置に関連付け，垂直方向は音声付箋の操作に割り当てた．センサなど様々な携帯機器の構成状況に対応し利用状況を想定したソフトウェア構成により，ポータブルな音声付箋の貼付・ブラウジングインタフェースを実現した．
謝辞
本研究開発は情報処理推進機構「未踏 IT 人材発掘・育成事業」の支援により実施された．研究開発の機会を与えてくださった九州大学竹田正幸教授に感謝する．

参考文献[1] 暦本純一, 綾塚祐二, 林一輝, “Augment-able Reality: 実空間と情報空間を融合した情報交流,” WISS98, pp.115–124, 1998.
[2] H. Tarumi, K. Morishita, M. Nakao, and Y. Kambayashi,“SpaceTag: An Overlaid Virtual System and its Application,” Proc. International Conference on Multimedia
Computing and Systems (ICMCS’99), IEEE, Vol.1, pp.
207–212, 1999.
[3] Y. Kanada, “Multi-context voice communication in a
SIP/SIMPLE-based shared virtual sound room with earlyreflections,” Proceedings of the international workshop onNetwork and operating systems support for digital audio
and video, pp.45–50, 2005.
[4] 矢入聡, 岩谷幸雄, 鈴木陽一, “頭部運動感応型ソフトウェア聴覚ディスプレイの開発,” TVRSJ vol.11, No.3, pp.437–445,2006.
[5] Tomoko Yonezawa, Hirotake Yamazoe, and Hiroko Terasawa, “Portable Recording/Browsing System of Voice
Memos Allocated to User-relative Directions,” Pervasive2009 Adjunct Proceedings, pp.241–244, 2009.