音声による 3 次元直接操作インタフェース
川 崎篠 崎智隆久†宏†

大古西井貞翼†煕†

Voice-based direct manipulation for 3D interface
Tomohisa Kawasaki,† Tasuku Oonishi,† Takahiro Shinozaki†
and Sadaoki Furui†

1. は じ め に
近年，計算機性能やコンピュータグラフィックス(CG) 技術の向上により，Google Earth や Second

ス操作に不慣れな子供や年配者であっても簡単に 3Dアプリケーションを楽しむことができると期待される．

2. 提案インタフェースの概要

Life などの仮想 3D 空間を用いたアプリケーション

提案インタフェースでは，ユーザは音声で 3D 空間が普及しつつある．現在，これらのアプリケーション内のオブジェクトを連続的に移動したり，特定の操作の操作にはマウスやキーボードを利用するのが一般的を指示することができる．以下で，各機能について説である．しかし，マウスは基本的に 2D 平面上での移明する．実装の詳細については，3 節で説明する．

動量を取り込むデバイスであり，従来の 2D 的なグラ

2.1 音声による移動操作

フィカルユーザインタフェース (GUI) 操作に対してこれまでにオブジェクトの移動のような直接操作をは非常に優れているが，3D 空間内のオブジェクトを音声で行う手法としては，単語発声に基づく五十嵐1)操作しようとすると，必ずしも直感的なインタフェー

や Olwal 等2) によるシステムや，母音発声に基づいスとはなっていない．また，マウスとキーボードの間た Vocal Joystick3) が提案されている．しかし，これを頻繁に行き来する必要が生じる場合も多く，操作がら従来の単語発声に基づく方法ではオブジェクトの移煩雑になる傾向がある．

動が単語の発声が完全に終わるまで始まらないという

特に，仮想 3D 空間内のアバターや仮想的な視点カ点でレスポンス性能に問題があり，また母音発声に基メラを移動させるような高い現実感を伴う場合，マウづいた手法では母音と方向の対応を覚えなけばならな

スやキーボードに代えて人間が普段使用している音声いうえ，母音の認識精度が低く思い通りに操作するこを用いて操作できれば，直感的で自然なインタフェーとが難しいという問題が存在した．

スが実現されると考えられる．また音声を用いた場合，このような背景のもと，我々はこれまでに単語発声オブジェクトの連続的な移動の指示と特定の操作を表とその末尾母音の引き延ばしにより方向と移動量を表すコマンドを自由に混在させられる利点もある．

現し，また高速なデコーダ技術と組み合わせることでそこで本研究では，音声を利用して 3D 空間内の単語の発声終了を待たずにオブジェクトの移動が開始

オブジェクトの直接操作を行う音声入力インタフェーされる手法を提案したが4) ，これを 3D 空間内のオブス「Voice-based Direct Manipulation (VDM) イン

ジェクト操作に応用・発展させたものが本研究で提案

タフェース」を提案する．音声を用いた提案インタするインタフェースである．提案インタフェースではフェースは自然かつ直感的であり，キーボードやマウオブジェクト移動の際，移動させたい方向自体を発声† 東京工業大学大学院 情報理工学研究科
Graduate School of Information Science and Engineering, Tokyo Institute of Technology

するので動作が直感的に分かりやすく，かつ一回の発声で移動処理を行うことができるので，高い即時性を実現している．例えば「前ーーー」と発声している間，

情報処理学会 インタラクション 2009

途中に単語列を出力することが可能となるため，発声単語の語尾を引き延ばし続けても，発声の終了を待つことなく認識結果を得ることができる．本システムでは「上」「下」「左」「右」「前」「後ろ」の 6 方向を示
す単語と，「もうちょっと」「もう少し」「あとちょっと」「あと少し」「ちょっと」「少し」「もっと」の，程度を示す 7 つの単語，及び「つかむ」「離す」「座る」「立つ」の 4 つの処理名を認識することができる．
図 1 提案する VDM システム
Fig. 1 proposed VDM system

4. システム評価
提案インタフェースを用いて実装した上記システム

オブジェクトが前に移動し続け，発声が終了した時点を，「信学会・子供科学教室」の場で小学生数十人に対でオブジェクトの移動が終了する．方向は単語を単位し展示しデモを行い，評価してもらった．デモを見たとした認識によって決定されるので，認識精度が高く小学生の多くが，3D 空間内のオブジェクトを音声で安定した動作が可能となっている．

操作するという今まで行ったことがない操作に目新し

また本研究では新たに，「もうちょっと」や「少し」さを感じ，好意的な評価をした．Second Life 上に実などの，程度を示す単語を発声することで細かな移動装したことで，小学生達はゲーム感覚で本システムを制御を行う機能を実装した．例えば，「少し右」のよう楽しめたらしく，展示終了後に「とても面白い」「是に，程度を示す単語の後に方向を示す単語を発声した

非使ってみたい」などの感想を多く得た．

場合，その方向に対して細かな移動制御を行い，「もうちょっと」のように，程度を示す単語のみを発声した

5. お わ り に場合，最後に発声された方向を示す単語に基づき移動

本研究では，音声を利用して 3D 空間内のオブジェ制御を行う．この機能により，大まかな操作と細かなクトを直接操作できる入力インタフェースを提案し構制御を両立させることが可能となった．

築した．今後の課題としては，音声認識デコーダに耐2.2 音声によるコマンド処理雑音技術を実装し，また未知語処理を行うことで周辺提案インタフェースでは，「つかむ」「離す」などの雑音に対する頑健性を向上させること，オブジェクト処理名を発声することによって，その単語に対応した処理の機能を更に増やすことでより自由度の高いシスオブジェクト操作を行うことができる．マウスやキーテムとすることなどが挙げられる．さらに，提案インボードでこれらの処理を行う場合，コマンドやメニュー

タフェースを実世界のロボットの直接操作に応用し，を用いて間接的に行うのが一般的であるが，我々が提人間とロボットとのより自然なインタラクションの実案するインタフェースでは，同様の処理を音声で直接現を目指す．

的に行うことができる．

3. 実

装

提案インタフェースを Second Life に実装したシス
テムを図 1 に示す．Second Life の仮想 3D 空間内では，アバターを操作し，歩いたり，飛んだり，ものを売買したりすることができる．Second Life ではキーボードやマウスを用いた操作の複雑性が指摘されているが，本インタフェースを用いることで直感的な操作が可能となる．
ユーザが発声した音声を機械に理解させるための音
声認識デコーダには，我々が開発を行っている T3 デコーダ5) を用いた．T3 デコーダでは，早期に単語を出力するための手法として，仮説の共通単語履歴の検出に基づく手法6) を採用している．この手法では発声

参 考文献

1) 五十嵐健夫ほか：言語情報を用いない音声による直接操作インタフェース，Proc. WISS (2001).
2) Olwal, A., et al.: Interaction Techniques Using
Prosodic Features of Speech and Audio Localization, Proc. IUI, pp.284–286 (2005).
3) Jeff, A. Bilemes., et al.: The Vocal Joystick,Proc. ICASSP, Vol.1, pp.625–628 (2006).
4) 川崎智久ほか：音声入力によるマウスの直接操作の検討，秋季音講論，pp.55–56 (2008).
5) Paul, R. Dixon., et al.: The TITech large
vocabulary WFST speech recognition system,
Proc. ASRU, pp.443–448 (2007).
6) Brown, P., et al.: Partial traceback and dynamic programming, Proc. ICASSP, pp.16291632 (1982).