(57)【要約】【課題】ポインタの操作を容易に行うことのできるポインタの位置制御方法等を提供することを目的とする。【解決手段】ユーザは特定のコマンド等を発声することなく、発声する音量と音程を変化させることで、「声」のみでポインタを二次元方向に移動させ、さらにクリック等の操作を行う。このとき、ポインタを移動させるには音量を変化させる。また、ポインタの移動方向を切り替えるには音程を変化させる。また、音量の変化を止めることで自動的に微調整モードに移行してマウスの微調整を行うこともできる。さらに、ユーザが発声を急激にやめればクリック操作を行い、発声をやめた状態を続ければ通常の音声認識モードに戻すこともできる。【選択図】　　　図２
2004005038.tif 000002
【特許請求の範囲】
【請求項１】
外部から音声の入力を受け付ける音声入力手段と、
前記音声入力手段で入力された音声の音量を検出する音量検出手段と、
前記音声入力手段で入力された音声の周波数を検出する周波数検出手段と、
表示画面上に画像とともに当該画像を指示するためのポインタを表示する表示手段と、
前記音量検出手段で検出された音量と前記周波数検出手段で検出された周波数とに基づいて、前記ポインタの動作を制御するポインタ制御手段と、
を備えることを特徴とするコンピュータ装置。
【請求項２】
前記ポインタ制御手段は、検出された音量に基づいて前記ポインタの位置を制御し、検出された周波数に基づいて当該ポインタに対する特定の処理を実行させることを特徴とする請求項１記載のコンピュータ装置。
【請求項３】
前記ポインタ制御手段は、検出された周波数に基づいて、音量の変化に対する前記ポインタの位置の変化の割合を複数段階に切り替えることを特徴とする請求項２記載のコンピュータ装置。
【請求項４】
前記ポインタ制御手段は、検出された周波数に基づいて前記ポインタの移動方向を切り替えることを特徴とする請求項１記載のコンピュータ装置。
【請求項５】
前記音声入力手段で入力された音声の言葉を認識する音声認識手段をさらに備え、
検出された音量または周波数の変化に基づいて、前記ポインタ制御手段による前記ポインタの制御モードと前記音声認識手段による音声の認識モードの切り替えが行われることを特徴とする請求項１記載のコンピュータ装置。
【請求項６】
外部から入力された音声の音量を検出する音量検出部と、
前記外部から入力された音声の周波数を検出する周波数検出部と、
前記音量検出部で検出された音量に基づき、表示装置の表示領域上に表示されるポインタを、当該音量に対応する位置に移動させるポインタ制御部と、
を備え、
前記ポインタ制御部は、前記音量の変化に対する前記ポインタの位置の移動量の異なる複数のモードを有し、特定のコマンドが入力されたときに前記モードを切り替えることを特徴とする表示制御装置。
【請求項７】
前記ポインタ制御部は、前記特定のコマンドとして、所定時間継続して一定範囲内の音量が検出されたとき、前記モードを切り替えることを特徴とする請求項６記載の表示制御装置。
【請求項８】
前記ポインタ制御部は、前記表示装置の表示領域上で前記ポインタの移動方向における位置を強調表示させることを特徴とする請求項６記載の表示制御装置。
【請求項９】
前記ポインタ制御部は、前記音量の変化に対する前記ポインタの位置の移動量がより少ないモードであるときに、当該ポインタの移動可能な範囲を前記表示装置の表示領域上で明示させることを特徴とする請求項６記載の表示制御装置。
【請求項１０】
コンピュータ装置にて外部から入力される音声によって画面上のポインタの位置を制御する方法であって、
入力された音声の音量に応じて前記ポインタの位置を移動させるステップと、入力された音声の周波数に応じて前記ポインタの移動方向を切り替えるステップと、
を含むことを特徴とするポインタの位置制御方法。
【請求項１１】
前記ポインタの位置を移動させるステップは、前記音量が所定時間一定であったときに、その後の音量の変化に対するポインタの移動量を減少させることを特徴とする請求項１０記載のポインタの位置制御方法。
【請求項１２】
前記周波数が所定の変動を示したときに、その時点での前記ポインタの位置に関連付けられた特定のコマンドを実行するステップをさらに含むことを特徴とする請求項１０記載のポインタの位置制御方法。
【請求項１３】
前記音量が所定以下となった状態が一定時間継続したときに、音声による前記ポインタの位置の制御を終了するステップをさらに含むことを特徴とする請求項１０記載のポインタの位置制御方法。
【請求項１４】
外部から入力された音声の音量および周波数を検出する処理（ａ）と、
検出された前記音量に応じて表示装置に表示するポインタの位置を移動させる処理（ｂ）と、
検出された前記周波数に応じて前記ポインタの移動方向を切り替える処理（ｃ）と、
をコンピュータ装置に実行させることを特徴とするプログラム。
【請求項１５】
前記処理（ｂ）では、音量の変化に対してポインタが第一の移動量となるモードの状態にて、検出された前記音量が所定時間一定範囲内であったときに、音量の変化に対してポインタが第二の移動量となる他のモードに移行させることを特徴とする請求項１４記載のプログラム。
【請求項１６】
外部から入力された音声の言葉を認識する処理（ｄ）をさらに前記コンピュータ装置に実行させ、
前記処理（ｄ）にて前記周波数が所定範囲内となった状態が一定時間継続したときに、前記処理（ｂ）に移行させることを特徴とする請求項１４記載のプログラム。
【請求項１７】
前記処理（ｂ）にて前記音量が所定以下となった状態が一定時間継続したときに、前記処理（ｄ）に移行させることを特徴とする請求項１６記載のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、表示画面上に表示されるポインタを操作するためのポインタの位置制御方法等に関する。
【０００２】
【従来の技術】
周知のように、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）を操作するためのユーザインターフェイスの一つとしてマウスが広く普及している。マウスは、机上のマウスをユーザが移動させることで、モニタ上に表示されるポインタを操作するものである。
【０００３】
近年、他のユーザインターフェイスとして、音声認識を用いるものが注目されている。これは、マイクを通して入力した音声を認識することにより、文章等の入力が行えるもので、キーボードの代わりとして用いることができるものである。このような音声認識用のアプリケーションの付加機能として、ボイスマウス等と称されるものがある。これは、マイクを通してユーザが所定のコマンドを発声することにより、マウスを用いること無く、モニタ上に表示されるポインタを操作するものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記のように音声認識によってポインタを操作する従来の技術には、以下に示すような問題が存在する。
まず、通常の音声認識による入力を行うモードからポインタを操作するためのモードに移行する場合、ポインタを移動させる場合、ポインタの移動を停止させる場合、クリックやダブルクリック操作を行う場合等に、それぞれ所定のコマンドをユーザは発声する必要がある。このため、ユーザは多くのコマンドを憶えなければならない。
また、例えばポインタを移動させるためのコマンドには、「上」・「下」・「左」・「右」等の移動方向や、「５ｃｍ」等といった移動距離、「速く」・「遅く」等といった移動速度を表現するものがあり、これらを適確に用いて画面上の所望の位置をすばやくポイントするのは困難である。
さらに、例えば通常の音声認識による入力を行っている状態から、ポインタを操作するためのモードに移行してポインタを所望の位置まで移動させ、さらにクリック操作を行うようなケースでは、複数のコマンドを次々と発声しなければならず、ユーザはこれを面倒に感じることもある。
加えて、小さなアイコンにポインタを合わせる場合等、ポインタを微細に動かす必要があるが、上記したようなコマンドを用いてそのような操作を行うことは容易ではない。
【０００５】
特に、上記したような音声認識によるポインタの操作は、手でマウスを操作するのが困難であるユーザを主な対象としており、ユーザビリティの向上は非常に重要な課題である。
本発明は、このような技術的課題に基づいてなされたもので、ポインタの操作をより容易に行うことのできるポインタの位置制御方法等を提供することを目的とする。
【０００６】
【課題を解決するための手段】
かかる目的のもと、本発明のコンピュータ装置は、音声入力手段で外部から入力された音声の音量を音量検出手段で検出し、周波数を周波数検出手段で検出する。そして、検出された音量と周波数とに基づいて、表示手段の表示画面上に表示されるポインタの動作をポインタ制御手段にて制御するのである。
このとき、ポインタ制御手段は、音声の音量に基づいてポインタの位置を制御し、周波数に基づいてポインタに対する特定の処理を実行させることができる。例えば、音量の大小によって一方向におけるポインタの位置を決めるのである。音量が大きくなるとある方向にポインタを移動させ、音量が小さくなると反対方向にポインタを移動させることができる。このとき、音量とポインタの位置座標とを関数等によって１対１に対応付けておくのが好ましい。また、周波数に基づいて実行させる特定のコマンドとしては、例えば以下のようなものがある。例えば音声の周波数が所定時間以上一定範囲内にある場合に音量の変化に対するポインタの位置の変化の割合を複数段階に切り替える、音声の周波数、つまり音程を変えることによってポインタの移動方向を切り替える、等である。
また、このコンピュータ装置は、音声入力手段で入力された音声の言葉を認識する音声認識手段をさらに備えることもできる。この場合、検出された音量または周波数の変化に基づいて、ポインタ制御手段によるポインタの制御モードと音声認識手段による音声の認識モードを切り替えることができる。
【０００７】
本発明の表示制御装置は、音量検出部にて、外部から入力された音声の音量を検出し、周波数検出部にて、音声の周波数を検出する。そして、ポインタ制御部にて、表示装置の表示領域上に表示されるポインタを、検出された音量に対応する位置に移動させる。ここで、ポインタ制御部は、音量の変化に対するポインタの位置の移動量が異なる複数のモードを有し、特定のコマンドが入力されたときにモードを切り替えることができる。つまり、同じ音量の変化に対し、ポインタの移動量を切り替えることができるのである。これにより、ポインタを大きく移動させるモードと、微調整等のために小さく移動させるモードとを使い分けることが可能となる。モードを切り替えるための特定のコマンドとしては、所定時間継続して一定範囲内の音量を検出する、等がある。
また、ポインタ制御部は、表示装置の表示領域上でポインタの移動方向における位置を、例えばポインタの位置に応じて表示されるインジケータライン等によって強調表示させることができる。また、音量の変化に対するポインタの位置の移動量がより少ないモードであるときに、ポインタの移動可能な範囲を、色分け等によって明示させることもできる。
このような表示制御装置は、上記のようにして表示装置の表示領域上に表示されるポインタを制御するものであって、必ずしも表示装置を一体に備える必要はない。
【０００８】
本発明は、外部から入力された音声の音量に応じてポインタの位置を移動させるステップと、音声の周波数に応じてポインタの移動方向を切り替えるステップと、を含むポインタの位置制御方法として捉えることもできる。これにより、音声によってポインタを少なくとも２方向に移動させることができる。
また、音声の周波数が所定の変動を示したときに、その時点でのポインタの位置に関連付けられた特定のコマンド、例えばクリック操作等を実行することも可能である。
さらに、音量が所定以下となった状態が一定時間継続したときに、音声によるポインタの位置の制御を終了させることもできる。
【０００９】
本発明のプログラムは、外部から入力された音声の音量および周波数を検出する処理（ａ）と、検出された音量に応じてポインタの位置を移動させる処理（ｂ）と、検出された周波数に応じてポインタの移動方向を切り替える処理（ｃ）と、をコンピュータ装置に実行させることを特徴とする。ここで、処理（ｂ）では、音量の変化に対してポインタが第一の移動量となるモードと、同じ音量の変化に対してポインタが第一の移動量とは異なる第二の移動量となる他のモードとを切り替えることができる。つまり、モードを切り替えることによって、同じ音量の変化に対するポインタの移動量を切り替えることができるのである。モードを切り替えるには、検出された音量が所定時間一定範囲内である、等の条件が採用できる。
また、このプログラムは、外部から入力された音声の言葉を認識する処理（ｄ）をさらにコンピュータ装置に実行させることができる。つまりこのプログラムはいわゆる音声認識アプリケーションとして機能する。このようなプログラムにおいて、処理（ｄ）にて周波数が所定範囲内となった状態が一定時間継続したときに、処理（ｂ）に移行させることができる。逆に、処理（ｂ）にて音量が所定以下となった状態が一定時間継続したときに、処理（ｄ）に移行させることもできる。
【００１０】
【発明の実施の形態】
以下、添付図面に示す実施の形態に基づいてこの発明を詳細に説明する。
図１は、本実施の形態におけるコンピュータ装置の機能的な構成を説明するための図である。
この図１に示すように、コンピュータ装置１０は、デスクトップ型、ノートブック型等のＰＣによって構成されるものであり、マイク（音声入力手段）１１から入力される音声をデジタル化する音声入力制御部１２、音声認識処理を司る音声認識処理部１３、モニタ（表示手段）１４上におけるポインタの表示を制御するマウスポインタ制御部１５、モニタ１４の表示を制御する表示制御部１６、を備える。
【００１１】
上記の構成のうち、音声認識処理部１３は、コンピュータ装置１０にインストールされた音声認識用のアプリケーションプログラムが、コンピュータ装置１０のＣＰＵに所定の処理を実行させることによって実現される機能である。
この音声認識処理部１３は、音声認識モードにおける音声による文章入力を司る音声認識制御部（音声認識手段）２０と、ボイスマウスモードにおける音声によるポインタの操作を司るボイスマウス制御部（ポインタ制御手段、ポインタ制御部）２１と、ユーザが発声した音声の音程を検出する音程検出部（周波数検出手段、周波数検出部）２２と、音量を検出する音量検出部（音量検出手段）２３と、音声認識モードとボイスマウスモードの間でのモードの移行を制御するモード移行制御部２４と、を備える。
【００１２】
図２、図３に示すように、このような音声認識処理部１３では、音声認識処理の稼動を開始するとまず、音声認識制御部２０によって実行される通常の音声認識モードに入る。
通常の音声認識モードでは、マイク１１から音声入力制御部１２を介して入力されたユーザの音声を予め登録されたデータに基づいて解析することによって、ユーザが発声した音声によって形成される言葉を認識し、この言葉に基づいた文章の入力やコマンドの実行等の処理を行うことができる（ステップＳ１０１、Ｓ１０２）。
【００１３】
通常の音声認識モードの状態であるときに、言葉として認識することができず、一定範囲内の音程、音量で所定時間Ｔａ以上継続した音声を音程検出部２２、音量検出部２３で検出すると、ボイスマウス制御部２１によって実行されるボイスマウスモードへと移行する（ステップＳ１０３〜Ｓ１０７）。
【００１４】
このような通常の音声認識モードにある状態で、検出した音声の平均音量Ｖａが一定であり、かつ音程Ｆ１が所定の範囲Ｒｈ（Ｆａ≦Ｆ１≦Ｆｂ）であるときにはポインタをモニタ１４の表示領域の横方向に移動させるモード（以下、これをボイスマウスモード（横）と適宜称する）に移行し（ステップＳ１０５、Ｓ１０６）、音程Ｆ１が所定の範囲Ｒｌ（Ｆｃ≦Ｆ１≦Ｆｄ）であるときにはポインタをモニタ１４の表示領域の縦方向に移動させるモード（以下、これをボイスマウスモード（縦）と適宜称する）に移行する（ステップＳ１０５、Ｓ１０７）。ここで、例えばＦａ≦Ｆｂ≦Ｆｃ≦Ｆｄとする。つまり、低い音程であればボイスマウスモード（横）に移行し、高い音程であればボイスマウスモード（縦）に移行するのである。
【００１５】
図４に示すように、ボイスマウス制御部２１が実行するボイスマウスモード（横）およびボイスマウスモード（縦）では、それぞれ音程検出部２２で直前の所定時間で検出した音量の平均値である平均音量Ｖａに応じ、マウスポインタ制御部１５によってモニタ１４上に表示させるポインタを、モニタ１４の表示領域の横方向あるいは縦方向に移動させる（ステップＳ２０１）。このときに音量検出部２３で検出される平均音量Ｖａは、予め設定された所定の範囲（Ｖｍｉｎ≦Ｖａ≦Ｖｍａｘ）に収まっている必要がある。また、音程検出部２２で検出される音声の音程Ｆ１も、ボイスマウスモード（横）であれば範囲Ｒｈ、ボイスマウスモード（縦）であれば範囲Ｒｌに収まっている必要がある。
平均音量Ｖａに応じてポインタを移動させるために、モニタ１４の表示領域の横方向、縦方向の位置座標Ｘ、Ｙと、平均音量Ｖａとが１対１で関連付けられたデータが予めコンピュータ装置１０の所定のデータ格納領域に格納されている。位置座標Ｘ、Ｙと平均音量Ｖａとを１対１で関連付ける方法としては、位置座標Ｘ、Ｙと平均音量Ｖａとを、
Ｘ＝Ｆ（Ｖａ）、
Ｙ＝Ｇ（Ｖａ）
といった関数で表現する。ここで、Ｘは、
表示領域の左端の位置座標≦　Ｘ≦表示領域の右端の位置座標、
Ｙは、
表示領域の下端の位置座標≦　Ｙ≦表示領域の上端の位置座標
となる。
関数Ｆ、Ｇとしては、図５に示すような一次関数が好適であるが、この他に非線形関数等を採用することもできる。
【００１６】
ところで、マウスポインタ制御部１５では、ボイスマウスモードに移行した状態では、モニタ１４の表示領域上に表示するポインタの位置をより明確に示すため、図５に示したように、ポインタＰの位置座標に合わせてインジケータラインＬを表示する。このインジケータラインＬは、ポインタＰを横方向に移動させるボイスマウスモード（横）であれば、縦方向に延びる線によって構成され、ポインタＰを縦方向に移動させるボイスマウスモード（縦）であれば、横方向に延びる線によって構成される。
図５の例では、（１）の位置から平均音量Ｖａが上昇すればインジケータラインＬは表示領域の右方に移動し（例えば（２）の位置）、平均音量Ｖａが下降すればインジケータラインＬは表示領域の左方に移動する（例えば（３）の位置）。
【００１７】
図２、図４に示したように、ボイスマウス制御部２１によって実行されるボイスマウスモード（横）あるいはボイスマウスモード（縦）である状態において、音量検出部２３で検出する音量が、予め設定された下限値Ｖｍｉｎを下回り、その状態が所定時間Ｔｅ以上続いたときには、発声が終了して無音状態であると判断し、通常の音声認識モードに戻る（ステップＳ２０２〜Ｓ２０５）。
また、ボイスマウスモード（横）である状態において、音程検出部２２で検出する音声の音程Ｆ１が範囲Ｒｈ内から範囲Ｒｌ内に変わり、しかも範囲Ｒｌ内の音声が所定時間Ｔｄ以上連続したときには、ボイスマウスモード（横）からボイスマウスモード（縦）に移行し、ポインタＰの移動方向を横方向から縦方向に切り替える（ステップＳ２０６〜Ｓ２０８）。逆に、ボイスマウスモード（縦）である状態において、音程検出部２２で検出する音声の音程Ｆ１が範囲Ｒｌ内から範囲Ｒｈ内に変わり、しかも範囲Ｒｈ内の音声が所定時間Ｔｄ以上連続したときには、ボイスマウスモード（縦）からボイスマウスモード（横）に移行し、ポインタＰの移動方向を縦方向から横方向に切り替える（ステップＳ２０６〜Ｓ２０８）。これに伴い、図５の（４）に示したように、切り替え直後にインジケータラインＬが縦方向から横方向、あるいは横方向から縦方向に切り替わるわけであるが、切り替わった直後のインジケータラインＬは、その時点でのポインタＰの位置に合わせて表示される。
【００１８】
また、図２および図４に示したように、ボイスマウス制御部２１によって実行されるボイスマウスモード（横）あるいはボイスマウスモード（縦）である状態において、音量検出部２３で検出する平均音量Ｖ２が一定の範囲σ内に所定時間Ｔｂ継続しているときには、微調整モードに移行する。ここで、ボイスマウスモード（横）であったときには微調整モード（横）に移行し、ボイスマウスモード（縦）であったときには微調整モード（縦）に移行するものとする（ステップＳ２０９、Ｓ２１０）。
【００１９】
ボイスマウスモード（横）あるいはボイスマウスモード（縦）である状態において、音量検出部２３で検出する音量が予め設定された下限値Ｖｍｉｎを下回り、発声が終了したと判断できるときには、その直前の所定時間Ｔｃの間における音程変化ΔＦが、予め設定された一定の値γを超えるという条件（ΔＦ≧γ）を満たすかどうかを判断する。その結果、条件を満たすのであれば、ボイスマウス制御部２１では、その時点でポインタＰがポイントしているオブジェクトに対する所定の操作、例えばシングルクリックやダブルクリックを実行する（ステップＳ２０３、Ｓ２１１）。
なお、上記の所定時間Ｔｃは、最終的に音量検出部２３で検出する音量が０（ゼロ）になった時点から予め設定された所定時間Ｔａ２だけ遡って設定される。これは、ユーザが発声をやめるときに、意図することなく声が揺れてしまうことなどがあるので、これを排除するためである。
ところで、上記の音程変化ΔＦのパターンを予め複数種設定しておき、検出した音程変化ΔＦのパターンに応じて、ポインタＰがポイントしているオブジェクトに対する操作内容を変えることもできる。例えば、シングルクリックやダブルクリックだけでなく、ドラッグ操作を行うためにいわゆる左クリックを維持する操作や、ドラッグ操作の終了時に左クリックを解放する操作、右クリック操作等である。
【００２０】
さて、図６に示すように、前記した、ボイスマウス制御部２１によって実行される微調整モード（横）および微調整モード（縦）では、それぞれ音程検出部２２で直前の所定時間検出した音量の平均値である平均音量Ｖｂに応じ、マウスポインタ制御部１５によってモニタ１４上に表示させるポインタＰを、モニタ１４の表示領域の横方向あるいは縦方向に移動させる（ステップＳ３０１）。このときに平均音量Ｖａは、予め設定された所定の範囲（Ｖｍｉｎ≦Ｖｂ≦Ｖｍａｘ）に収まっている必要がある。また、音程検出部２２で検出される音声の音程Ｆ１も、ボイスマウスモード（横）であれば範囲Ｒｈ、ボイスマウスモード（縦）であれば範囲Ｒｌに収まっている必要がある。
微調整モード（横）および微調整モード（縦）では、ボイスマウスモード（横）およびボイスマウスモード（縦）に比較すると、同じ音量の変化に対するポインタＰの移動量が少なくなる。
平均音量Ｖｂに応じてポインタＰを移動させるために、モニタ１４の表示領域の横方向、縦方向の位置座標Ｘ、Ｙと平均音量Ｖｂとを１対１で関連付ける、
Ｘ＝Ｐ（Ｖｂ）、
Ｙ＝Ｑ（Ｖｂ）
といった関数Ｐ、Ｑが予め設定されている。関数Ｐ、Ｑとしては、一次関数が好適であるが、この他に非線形関数等を採用することもできる。
微調整モード（横）および微調整モード（縦）において、ボイスマウスモード（横）あるいはボイスマウスモード（縦）から微調整モード（横）あるいは微調整モード（縦）に移行した状態でのポインタＰの位置座標が（Ｘａ、Ｙａ）であるとすると、Ｘは、
Ｘａ−α　≦　Ｘ　≦　Ｘａ＋α、
Ｙは、
Ｙａ−β　≦　Ｙ　≦　Ｙａ＋β、
となる（ただしα、βは予め設定された値）。
つまり、微調整モード（横）および微調整モード（縦）におけるポインタＰの移動範囲を、モニタ１４の表示領域よりも小さな範囲に設定するのである。
そして、検出した平均音量Ｖｂに応じて、ポインタＰをこのように設定された移動範囲内で移動させるため、音量の変化に対する移動変化がボイスマウスモード（横）あるいはボイスマウスモード（縦）よりも小さくなるよう、前記関数Ｐ、Ｑが設定されている。
【００２１】
ところで、マウスポインタ制御部１５では、ボイスマウスモードに移行した状態では、モニタ１４の表示領域上に表示するポインタＰの位置をより明確に示すため、図７に示すように、ポインタＰの位置座標に合わせてインジケータラインＬを表示する。このインジケータラインＬは、ポインタＰを横方向に移動させる微調整モード（横）であれば、縦方向に延びる線によって構成され、ポインタＰを縦方向に移動させる微調整モード（縦）であれば、横方向に延びる線によって構成される。また、微調整モード（横）あるいは微調整モード（縦）では前記のごとくポインタＰの移動範囲が制限されており、モニタ１４において、ポインタＰの移動可能な範囲Ａが、色分け等によって明示されるようになっている。
【００２２】
図６に示したように、ボイスマウス制御部２１によって実行される微調整モード（横）あるいは微調整モード（縦）である状態においても、音量検出部２３で検出する音量が、予め設定された下限値Ｖｍｉｎを下回り、その状態が所定時間Ｔｅ以上続いたときには、発声が終了して無音状態であると判断し、通常の音声認識モードに戻る（ステップＳ３０２〜Ｓ３０５）。
また、微調整モード（横）である状態において、音程検出部２２で検出する音声の音程Ｆ１が範囲Ｒｈ内から範囲Ｒｌ内に変り、しかも範囲Ｒｌ内の音声が所定時間Ｔｄ以上連続したときには、微調整モード（横）から微調整モード（縦）に移行し、ポインタＰの移動方向を横方向から縦方向に切り替える。逆に、微調整モード（縦）である状態において、音程検出部２２で検出する音声の音程Ｆ１が範囲Ｒｌ内から範囲Ｒｈ内に変わり、しかも範囲Ｒｈ内の音声が所定時間Ｔｄ以上連続したときには、微調整モード（縦）から微調整モード（横）に移行し、ポインタＰの移動方向を縦方向から横方向に切り替える（ステップＳ３０６〜Ｓ３０８）。
【００２３】
微調整モード（横）あるいは微調整モード（縦）である状態において、音量検出部２３で検出する音量が予め設定された下限値Ｖｍｉｎを下回り、発声が終了したと判断できるときには、その直前の所定時間Ｔｃの間における音程変化ΔＦが、予め設定された一定の値γを超えるという条件（ΔＦ＞γ）を満たすかどうかを判断する（ステップＳ３０２、Ｓ３０３）。その結果、条件を満たすのであれば、ボイスマウス制御部２１では、その時点でポインタＰがポイントしているオブジェクトに対する所定の操作、例えばシングルクリックやダブルクリックを実行する（ステップＳ３０９）。
このときも、上記の所定時間Ｔｃは、最終的に音量検出部２３で検出する音量が０（ゼロ）になった時点から予め設定された所定時間Ｔａ２だけ遡って設定される。
【００２４】
つまりユーザからすれば、発声する音声の音量Ｖａと音程Ｆ１を所定時間Ｔａ以上連続させて一定にすることで通常の音声認識モードからボイスマウスモード（横）またはボイスマウスモード（縦）に移行することができる。このとき、発声する音声の音程Ｆ１の高低により、ボイスマウスモード（横）とボイスマウスモード（縦）を選択できるのである。そして、ボイスマウスモード（横）またはボイスマウスモード（縦）に移行した状態で、発声する音声の音量Ｖａを上下させることによって、ユーザは、ポインタＰの位置を横方向あるいは縦方向に移動させることができる。ポインタＰが、横方向あるいは縦方向において目的の位置に近づいた時点で、必要があれば発声する音声の音程Ｆ１を下げたり上げたりすることによって、ボイスマウスモード（横）からボイスマウスモード（縦）、あるいはボイスマウスモード（縦）からボイスマウスモード（横）に切り替えることができる。
このようにして、ポインタＰの移動方向を横方向、縦方向に適宜切り替えてポインタＰを目的の位置に近づけた時点で、ユーザは、発声する音声の音量を所定時間Ｔｂ以上連続させると、ボイスマウスモード（横）またはボイスマウスモード（縦）から微調整モード（横）または微調整モード（縦）に切り替わる。この状態から、さらに発声する音量Ｖａを上下させることで、ユーザは、ポインタＰの位置を横方向あるいは縦方向に微調整することができる。
そして、ポインタＰが目的の位置に達した時点で、ユーザは発声を急に停止させる等して、所定時間Ｔｃの間における音程変化ΔＦが、予め設定された一定の値γを超えるようにすれば、その時点でポインタＰがポイントしているオブジェクトに対して、シングルクリックやダブルクリック等の所定の操作を実行することができる。
さらに、ユーザが発声を停止させ、所定時間Ｔｅが経過すると、ボイスマウスモード（横）、ボイスマウスモード（縦）、微調整モード（横）、微調整モード（縦）から抜けて通常の音声認識モードに戻ることができる。
【００２５】
図８は、このような操作系において、ユーザが実際に発声を行ってポインタＰの操作を行ったときに検出した音の波形の例である。この図８において、区間Ｋ１において、ユーザは通常の言葉を発している。そして、区間Ｋ２において、ユーザが、所定時間Ｔａ以上、音量と音程（例えば低い音程）を維持することで、続く区間Ｋ３でボイスマウスモード（縦）に移行している。図９（ａ）および（ｂ）に示すように、ユーザはその状態で音量を変化させ、ポインタＰを縦方向において目的の位置に近づける。
続く区間Ｋ４で、ユーザは発声する音程を上げ、これを所定時間Ｔｄ以上維持すると、区間Ｋ５にてボイスマウスモード（横）に移行するので、図９（ｃ）に示すように、ユーザはその状態で音量を変化させてポインタＰを横方向において目的の位置に近づける。
そして、図７（ａ）、（ｂ）に示したように、ポインタＰが目的の位置に近づいた時点で、音量を所定時間Ｔｂ以上維持し、微調整モード（横）に移行させ（区間Ｋ６）、さらに音量を変化させてポインタＰの横方向の位置を微調整する（区間Ｋ７）。
今度は、ユーザは発声する音程を下げ、これを所定時間Ｔｄ以上維持すると、微調整モード（縦）に移行するので（区間Ｋ８）、ユーザはその状態で音量を変化させてポインタＰの位置を縦方向に微調整する（区間Ｋ９）。
最終的に、ポインタＰの位置が目的の位置に合った時点で、所定時間Ｔｃ内に音程を急激に変化させることで、ポインタＰの位置でクリック操作等を実行させる（区間Ｋ１０）。このとき、所定時間Ｔｃは、無音状態になった状態から所定時間Ｔａ２（区間Ｋ１１）だけ遡って設定される。
そして、無音状態が所定時間Ｔｅ続いた後（区間Ｋ１２）、通常の音声認識モードに復帰している（区間Ｋ１３）。
【００２６】
上述したコンピュータ装置１０によれば、ユーザは特定のコマンド等を発声することなく、発声する音量と音程を変化させることで、手を使うことなく「声」のみでポインタＰを二次元方向に移動させ、さらにクリック等の操作を行うことが可能となる。
このときには、ポインタＰを移動させるには音量を変化させればよいので、ユーザは直感的にポインタＰの移動方向（上方または下方、あるいは左方または右方）を把握することができる。そして、ポインタＰに近づいて音量の変化を止めることで自動的に微調整モードに移行してマウスの微調整が可能となるので、これもユーザは違和感を感じにくい。さらに、音量と音程のみを変えるという操作形態において、ポインタＰを移動させるための音量ではなく、音程を変えることでポインタＰの移動方向が切り替わるので、これも直感的に把握しやすい。加えて、ユーザが発声を急激にやめればクリック操作、発声をやめた状態を続ければ通常の音声認識モードに戻るので、これも操作の簡素化に大きく寄与している。
【００２７】
なお、上記実施の形態では、コンピュータ装置１０としてＰＣを例に挙げたが、マイクを内蔵あるいは外付けする等して、音声入力を行うことができるデバイスであれば、ＰＣ以外にもＰＤＡや携帯型電話端末、インターネット対応型のテレビ、各種表示端末等にも同様の技術が適用可能である。当然、本来マウスで操作するポインタＰに限ること無く、各種ポインティングデバイスでキーやボタン等を用いて操作するポインタを移動させるために上記技術を適用できる。
また、上記実施の形態では、２方向にポインタＰを移動させる例を挙げたが、例えば携帯型電話端末等において、１方向にのみポインタＰを移動させることも可能であり、この場合には、音程の変化による移動方向の切り替え機能を省略し、マウスクリック操作や、ボイスマウスモードと微調整モードとの切り替え等を音程の変化によってコントロールする構成とすることもできる。
さらに、上記実施の形態では、モードの移行、ポインタＰの移動、クリック操作等を、全て音量と音程によってコントロールする構成としたが、これらの操作の一部を従来のようなコマンドによって行うことも可能である。
加えて、上記実施の形態では、ポインタＰを移動させるにあたり、検出した音量とポインタＰの位置座標を関数によって１対１に対応付ける構成としたが、これに代えて、音量と位置座標の双方を対応付けるテーブル等を用いることもできる。
ところで、上記実施の形態では、音量の変化によってポインタＰを移動させ、音程によってモードの移行やクリック操作等を行うようにしたが、当然のことながら、音程と音量を入れ替え、音程によってポインタＰを移動させ、音量によってモードの移行等を行うことも可能ではある。しかしながら、実際にユーザが発声を行うという人間工学的な見地からすると、上記実施の形態のような構成とするのが望ましい。
【００２８】
また、上記実施の形態で示したような音声でポインタ等を移動させるためのプログラムは、以下のような記憶媒体の形態とすることもできる。
すなわち、記憶媒体としては、コンピュータ装置に実行させる上記したようなプログラムを、ＣＤ−ＲＯＭ、ＤＶＤ、メモリ、ハードディスク等の記憶媒体に、コンピュータ装置が読み取り可能に記憶させれば良い。
これ以外にも、本発明の主旨を逸脱しない限り、上記実施の形態で挙げた構成を取捨選択したり、他の構成に適宜変更することが可能である。
【００２９】
【発明の効果】
以上説明したように、本発明によれば、ポインタの操作を音声によって容易に行い、ユーザにとってのユーザビリティを向上させることが可能となる。
【図面の簡単な説明】
【図１】本実施の形態におけるコンピュータ装置の機能的な構成を示す図である。
【図２】モードの遷移を示す図である。
【図３】通常の音声認識モードにおける処理の流れを示す図である。
【図４】ボイスマウスモードにおける処理の流れを示す図である。
【図５】音声によってポインタを移動させるときの表示画面の例である。
【図６】微調整モードでの処理の流れを示す図である。
【図７】微調整モードでの表示画面の例である。
【図８】検出される音声波形の例である。
【図９】ボイスマウスモードでポインタを移動させるときの表示画面の例である。
【符号の説明】
１０…コンピュータ装置、１１…マイク（音声入力手段）、１２…音声入力制御部、１３…音声認識処理部、１４…モニタ（表示手段）、２０…音声認識制御部（音声認識手段）、２１…ボイスマウス制御部（ポインタ制御手段、ポインタ制御部）、２２…音程検出部（周波数検出手段、周波数検出部）、２３…音量検出部（音量検出手段）、２４…モード移行制御部
【図１】
2004005038.tif 000003
【図２】
2004005038.tif 000004
【図３】
2004005038.tif 000005
【図４】
2004005038.tif 000006
【図５】
2004005038.tif 000007
【図６】
2004005038.tif 000008
【図７】
2004005038.tif 000009
【図８】
2004005038.tif 000010
【図９】
2004005038.tif 000011