言語情報を用いない音声による直接操作インタフェース
五十嵐1

健夫 1

東京大学

John F. Hughes2
2

ブラウン大学はじめに提案するインタラクションテクニック

音声入力を利用したシステムでは主に音声の持つ(1)

言語情報を利用している．すなわち，音声認識エ本手法を用いたインタフェースでは，ユーザの声ンジンが音声入力をテキストやコマンドといったがオン・オフボタンとして動作する．すなわち，離散的なシンボル列に変換し，それを入力としてユーザが連続的に声を出しつづけている間はボタシステムが動作する．このような方法は，連続音ンが押され続けているものとみなされ，逆に発声

声認識によるテキスト入力や，自然言語によるエがない間はボタンから手が離されているものとみージェントとのインタラクションといった目的になされる．例えば，ユーザが「ボリュームアップ，は適しているが，ユーザの発声から結果のフィーあーーーー」と発声すると，「あーーーー」と発声ドバックまでに時間がかかるために，画面をスクしている間ボリュームが上がりつづける．これにロールするといった連続的かつ機械的な操作にはよって，ユーザはシステムのフィードバックを連適していない．本論文では，音程や発声の有無と続的に観察しながら入力を行うことができる．な

いった，音声のもつ音響信号としての側面に注目

お，この手法を利用する際には，有声音だけでなすることによって，機械的な直接操作を効率的にく息をマイクに吹きかけるといった無声音を利用実現する手法を提案する．なお、本手法を説明しすることができる．有声音にくらべて無声音は喉たデモビデオが www.mtl.t.u-tokyo.ac.jp/~takeo

への負担が少ない他，他人への迷惑が最小限に抑から入手可能である．

えられるといったメリットがある．

関連研究

(2)

非言語情報を利用した例としては，まず従来型の本手法は，前出の手法を拡張するもので，連続的音声認識の認識率向上のために利用したものが挙な発声の間に音程を変化させることによって補助げられる[2]．また，会話型のインタフェースシスパラメータの制御を可能とする．言い換えると，テムにおいて，相槌のような非言語情報からユー音声が一つのパラメータを制御するジョイスティ

ザの状態を推定することによってインタラクショ

ックやスライダーなどと同様の動作をするものでンを支援する方法が提案されている[4]．後藤らは，ある．例えば，ユーザが「上へ移動，あーーー」

音声入力中の有声休止をトリガーキーとして残りと発声して「あーーー」の発声が続く間だけ移動の単語を補完する「音声補完」を提案している[1]．

が起こるような場合に，途中で音程をあげること音声によって機械的な直接操作を実現した例としで速度を上げたり逆に音程を下げることで速度をて SUITEKey システムがあげられる[3]．これは落としたりできる． 移動速度に基づく自動ズーミ

音声のみによってウィンドウシステムを操作する

ングなどと組み合わせることによってより効率的システムで，たとえばマウスを動かす場合には「上な動作を行うことも可能である．

へ移動…ストップ」というように間に時間を空け(3)て発話すると，「ストップ」と発話されるまでの間前出の２手法はテレビの音量のような連続的なパマウスカーソルが移動を続ける．本論文では，こラメータの制御に使われるものであるが，本手法のような連続的・機械的操作をより効率よく行う

はチャンネルの切り替えのような離散的パラメー方法をいくつか提案する．

タの制御に使用するものである．例えば，ユーザ発声の有無によるオン・オフ操作

音程によるパラメータの増減操作

タンギングによる離散的パラメータの増減

が「チャンネルアップ，たったったったっ」と発Voice as Sound
Takeo Igarashi, John F. Hughes
University of Tokyo, Brown University

声すると，テレビのチャンネルが４つ上に切り替わる．この手法も前出の手法と同様，音響信号を見ているだけなので，声でなく，手を叩いたり指を鳴らしたりすることでも同様の効果を得ることでの携帯端末の利用などが考えられる．また，こができる．

れ以外のアプリケーションとして，エンターテイ実装メント向けの利用が考えられる．例として，本手発声の有無の検出は，スペクトルの合計を閾値に法を利用した簡単なゲームを実装してみた結果，かけることで判断している．ノイズの影響を除去

非常に好評であった．個人的な利用だけでなく，するため，低周波領域(375Hz 以下)はカットして計劇場などでの観客参加型のエンターテイメントに算している．音程の変化は，1 フレーム前(-12ms)

応用することも検討している．の元のスペクトルと，１フレーム後でかつ周波数本手法の問題点としては，通常の会話と異なる不を上下にシフトさせた(±43Hz)スペクトルとの間自然な発声が必要となる点が挙げられる．従来型の内積を比較することで検出している．すなわち，の音声認識でも計算機に認識させるために多少不元のスペクトルと後で周波数を上にシフトさせた自然な発声が要求される場合があるが，本手法のものとの内積が，周波数を下にシフトさせたもの

場合は，音声を連続的に出しつづけなければならとの内積よりも大きい場合には，音程が上がったないなど，ユーザへの負担がさらに大きいものとと判断し，逆の場合には下がったと判断される．

考えられる．また，不自然な発声は，周囲の人間ユーザの発声する音程が一定の場合には，上昇分にとっても迷惑となるので，共用のオフィスや公と下降分が同程度出現するために，大局的には一共の場での利用は困難であろう．

定に保たれる．以上のように，本手法では，絶対本手法は，従来型の音声認識に基づく入力と組み的な音程を計算しているのではなく相対的な変化合わせることによって一層の効果をあげるものとのみを検出している．タンギングは，入力音声ス期待される．例えば，例にもあげたような，音声トリーム中に見られる短い発声部分を数えること認識によってコマンド情報を入力し本手法によっで検出される．音声の有無，音程変化，タンギンてパラメータを調節する，といった組み合わせがグの検出は，単純な実装ながら，複数のユーザに有効な使い方と考えられる．今後は，非言語情報対して比較的頑健に動作することを確認している．

を活用したインタフェースについて本論文で提案

議論した３手法以外のものを考えていく他，各種のモ

通常の音声認識による入力と比較した場合の本手ダリティを組み合わせたインタフェースにいて探法のメリットしては，1) 発話してから結果を待つっていきたいと考えている．のなく，システムの出力を見ながら連続的に操作

参考文献[1]後藤真孝, 伊藤克亘, 秋葉友良, 速水悟, 音声補
完:音声入力インタフェースへの新しいモダリティの導入, インタラクティブシステムとソフトウェ
ア VIII, 日 本 ソ フ ト ウ ェ ア 科 学 会 WISS2000,pp.153-162, 近代科学社, 2000.
[2]Hirose,Y., Ozeki,K., Takagi,K., Effectivenessof prosodic features in syntactic analysis of readJapanese sentences, Proceedings of ICSLP2000,Vol.3, pp.215-218, 2000.
[3]Manaris,B., McCauley,R., MacGyvers,V., AnIntelligent Interface for Keyboard and Mouse
Control--Providing
FullAccesstoPC
Functionality via Speech, Proceedings of 14th
International Florida AI Research Symposium(FLAIRS-01), 2001).
[4]Tsukahara,W., Ward,N., Responding to Subtle,
Fleeting Changes in the User's Internal State.
Proceedings of CHI 2001, pp.77-84, 2001.

を行うことができること，2) 日本語や英語といった特定の言語に依存しないこと，3) 声だけでなく拍手や指のスナップといった身体的な音も同様に利用できること 4) 実装がシンプルであること，が挙げられる．第４の点については，大量の語彙を聞き分けなければならない通常の音声認識に比べて，低レベルの音響信号を見るだけの単純なアルゴリズムであるため，ノイズに強く，話者に依存しない動作が実現しやすいと期待できる．
本論文で提案した手法は，身体的な障害，あるいは特定の作業のために両手が使えない場合の計算機インタフェースとして利用することを想定している．具体的な例としては，自動車の運転中のカーナビゲーションシステムの操作，CAVE のような没入型のバーチャルリアリティシステムで両手がふさがっている場合の操作，あるいはロッククライミングや乗馬など両手がふさがっている状況