(57)【要約】【課題】本発明は、音声操作が誤認識されたり、言い間違えた場合の操作が簡単になり効率的に音声操作を行うことができる音声操作方法及びその装置及びプログラムを提供することを目的とする。【解決手段】スイッチが第１状態で音声入力を行い、第１状態で入力音声の音声認識を行い、音声認識の認識結果に対応する操作のコマンドを生成し、操作画面に対してコマンドもしくはコマンドに対応する表示を行い、スイッチが第１状態から第２状態に変化した時点でコマンドを選択実行して操作を行うことにより、音声操作が誤認識されたり、言い間違えた場合に、スイッチを第１状態にしておけば、コマンドが選択実行されず、再度音声入力を行うことができ、操作が簡単になり効率的に音声操作を行うことができる。【選択図】　　　　図２
2004013094.tif 000002
【特許請求の範囲】
【請求項１】
スイッチがオンまたはオフとされた第１状態で音声入力を行い、
前記第１状態で入力音声の音声認識を行い、
前記音声認識の認識結果に対応する操作のコマンドを生成し、
操作画面に対して前記コマンドもしくは前記コマンドに対応する表示を行い、前記スイッチが前記第１状態からオフまたはオンとされた第２状態に変化した時点で前記コマンドを選択実行して操作を行うことを特徴とする音声操作方法。
【請求項２】
スイッチがオンまたはオフとされた第１状態で音声入力を行う音声入力手段と、
前記第１状態で入力音声の音声認識を行う音声認識手段と、
前記音声認識の認識結果に対応する操作のコマンドを生成するコマンド生成手段と、
操作画面に対して前記コマンドもしくは前記コマンドに対応する表示を行う操作画面生成手段と、
前記スイッチが前記第１状態からオフまたはオンとされた第２状態に変化した時点で前記コマンドを選択実行して操作を行う選択実行手段を
有することを特徴とする音声操作装置。
【請求項３】
コンピュータを、
スイッチがオンまたはオフとされた第１状態で音声入力を行う音声入力手段、
前記第１状態で入力音声の音声認識を行う音声認識手段、
前記音声認識の認識結果に対応する操作のコマンドを生成して、操作画面に対して前記コマンドもしくは前記コマンドに対応する表示を行う操作画面生成手段に供給するコマンド生成手段、
前記スイッチが前記第１状態からオフまたはオンとされた第２状態に変化した時点で前記コマンドを選択実行して操作を行う選択実行手段、
として機能させるための音声操作プログラム。
【発明の詳細な説明】
【発明の属する技術分野】
本発明は、音声操作方法及びその装置及びプログラムに関し、特にコンピュータやテレビジョン受像機などのＧＵＩ（グラフィカル・ユーザ・インタフェース）を持つシステムを人間の音声で操作する音声操作方法及びその装置及びプログラムに関する。
【従来の技術】
従来、音声によるシステムの操作は、システムの状態を示すＧＵＩの表示画面上に表示される文字や、アイコンなどに付随して表示される文字などをユーザが発声する場合が多い。
また、選択対象つまりオブジェクトに文字表示のない場合には、予め記憶しているキーワードを発声して選択するか、あるいは、画面上に一覧として表示されているキーワードリストの中から目的の項目を発声して選択する方法が一般的である。このようなシステムとして、カーナビゲーションシステムや、パソコンで動作する音声認識ソフトウエアなどがある。
更に、本出願人の提案になる特開２０００−２６７８３７号公報に記載されているように、表示されたオブジェクト上に発声すべきキーワードをスーパーインポーズするなどして、所望のオブジェクトを選択する方法なども考えられる。
従来、これらのシステムにおいて音声で操作する際には、音声認識されたオブジェクトのコマンドが自動的に実行されるか、音声認識確認用のダイアログが表示されて認識された結果を確認するのが一般的であった。
【発明が解決しようとする課題】
従来の方法では、上記の音声認識されたオブジェクトのコマンドが自動的に実行されるようなシステムでは、発声した音声が誤認識された場合、あるいは言い間違えた場合に、所望のオブジェクトとは異なるコマンドが選択実行されてしまうことになる。従って、目的の操作を行うためには、選択実行される前の状態に戻すための操作を行ったのちに、再度目的の操作を行う必要があり、操作に手間がかかるという問題があった。
また、認識結果について確認用のダイアログが表示されるようなシステムでは、誤認識や言い間違えることによって確認のダイアログが表示されてしまうため、一度確認のダイアログに対する操作を行った上で、再度目的の操作を行う必要があり、操作に手間がかかるという問題があった。
このような問題は、ＧＵＩのようにオブジェクトを選択するような操作の場合や、オブジェクトにキーワードを表示するシステムにおける操作の場合も同様である。
本発明は、上記の点に鑑みなされたもので、音声操作が誤認識されたり、言い間違えた場合の操作が簡単になり効率的に音声操作を行うことができる音声操作方法及びその装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
請求項１，２，３に記載の発明は、スイッチがオンまたはオフとされた第１状態で音声入力を行い、前記第１状態で入力音声の音声認識を行い、前記音声認識の認識結果に対応する操作のコマンドを生成し、操作画面に対して前記コマンドもしくは前記コマンドに対応する表示を行い、前記スイッチが前記第１状態からオフまたはオンとされた第２状態に変化した時点で前記コマンドを選択実行して操作を行うことにより、
音声操作が誤認識されたり、言い間違えた場合に、スイッチを第１状態にしておけば、コマンドが選択実行されず、再度音声入力を行うことができ、操作が簡単になり効率的に音声操作を行うことができる。
【発明の実施の形態】
以下、図面を参照して本発明の実施例について説明する。
図１は、本発明の音声操作装置の一実施例のブロック図を示す。この音声操作装置はテレビジョン受像機に適応した例である。
同図中、チューナ１０はアンテナ１２で受信した電波から所望のチャンネルを選局し、選局チャンネルの映像信号を映像合成・表示回路１４に供給する。映像合成・表示回路１４は供給される映像信号を表示部１６に表示させる。また、チューナ１０で受信された番組情報が入出力インタフェース１８を介してＣＰＵ２０に供給される。
ＣＰＵ２０は、ハードディスク装置２２から読み出されるプログラムを実行して音声認識処理やコマンド生成処理を含む音声操作処理を実行する。この際に、ＣＰＵ２０はＲＡＭ２４を作業領域として使用する。ハードディスク装置２２にはＣＰＵ２０で実行される音声認識処理やコマンド生成処理を含む音声操作処理のプログラムや、表示オブジェクト等の画像データが記憶されている。
また、ＡＤ変換器２６にはマイクロホン２８と、マイクロホン２８に配設されたスイッチ３０が接続されている。スイッチ２８は例えば押しボタンスイッチである。また、モデム等の通信回路３２は例えばネットワークに接続され、通信回路３２はネットワークを介してサーバに接続されて、例えば番組関連情報を取得する。
ＣＰＵ２０で実行される音声認識処理及びコマンド生成処理を含む音声操作処理の結果として出力される画面操作等のコマンドは操作画面生成回路３４に供給され、操作画面生成回路３４はコマンドに基づいて操作画面を表示する映像信号を発生して映像合成・表示回路１４に供給する。
なお、入出力インタフェース１８，ＣＰＵ２０，ハードディスク装置２２，ＲＡＭ２４，ＡＤ変換器２６，通信回路３２，操作画面生成回路３４それぞれはバス３６によって接続されている。更に、場合によってはバス３６にマウス等のポインティングデバイスやキーボード等が入力装置３８として接続される。
図２は、本発明の音声操作装置の一実施例の機能構成図を示す。同図中、図１と同一部分には同一符号を付す。図２において、ＡＤ変換器２６はスイッチ３０がオンとされた状態でマイクロホン２８から供給される音声信号のＡＤ変換を行い、スイッチ３０がオフの状態ではＡＤ変換を停止する。ＡＤ変換器２６の出力するデジタル音声信号は音声認識手段４０に供給される。
音声認識手段４０にはコマンド生成手段４２から現在表示中のＧＵＩオブジェクト情報から生成された候補単語情報が供給されており、音声認識手段４０はこの候補単語情報に基づいてＡＤ変換器２６から供給されるデジタル音声信号の音声認識を行い、認識結果をコマンド生成手段４２に供給する。
コマンド生成手段４２には表示部１６に現在表示中のＧＵＩオブジェクトの情報が操作画面生成回路３４から供給されている。コマンド生成部４２は現在表示中のＧＵＩオブジェクト情報を基に有効なコマンド群を生成すると同時に、このコマンド群それぞれに相当する単語を候補単語情報として音声認識手段４０に供給する。また、音声認識手段４０から供給される認識結果に該当するコマンドを上記コマンド群から選択して操作画面生成回路３４に供給する。上記の音声認識手段４０とコマンド生成手段４２はＣＰＵ２０が実行するソフトウエアで実現される。
操作画面生成回路３４はスイッチ３０がオンからオフした時点でコマンド生成手段４２から供給されるコマンドを実行し、その結果を表示する操作画面の映像信号を発生して映像合成・表示回路１４に供給し、これにより表示部１６に操作画面を表示させる。また、上記操作画面に表示されるＧＵＩオブジェクトの情報をコマンド生成手段４２に供給する。
なお、スイッチ３０のオン／オフによりＡＤ変換器２６の動作／停止を制御する代わりに、スイッチ３０のオン／オフにより音声認識手段４０の動作／停止を制御する構成であっても良い。また、スイッチにはバス３１につながれたキーボードやポインティングデバイスを用いても良い。
図３は、ＣＰＵ２０が実行する音声操作処理のフローチャートを示す。同図中、ステップＳ１０でスイッチ３０がオンか否かを判別し、スイッチ３０がオンの場合にステップＳ１２に進み、スイッチ３０がオフの場合はステップＳ１０の判別を繰り返す。
スイッチ３０のオフ時には、例えば図４に示す操作画面を表示部１６に表示させる。この画面では、選択可能な複数のＧＵＩオブジェクトＯｂ１，Ｏｂ２，Ｏｂ３，Ｏｂ４等が並び、ユーザはこの中から所望のＧＵＩオブジェクトを選択し、そのＧＵＩオブジェクトの詳細な情報および映像を視聴することができる。
ステップＳ１２では、図５に示すように、ＧＵＩオブジェクトを選択するためにユーザが発声すべきキーワードＫ１，Ｋ２，Ｋ３，Ｋ４等を選択可能なＧＵＩオブジェクトＯｂ１，Ｏｂ２，Ｏｂ３，Ｏｂ４等に重ねて表示する。
次に、ステップＳ１４でユーザがマイクロホン２８にキーワードを発声して音声入力を行うと、ステップＳ１６でＣＰＵ２０は入力されたキーワードを音声認識する。
次に、ステップＳ１８で音声認識されたキーワードに対応するＧＵＩオブジェクトにフォーカスを設定するためのコマンドを生成してフォーカスを設定する。このフォーカスの設定は、図６に示すように、キーワードに対応するＧＵＩオブジェクトを例えば矩形枠Ｗ１で囲む、表示されているキーワードの色を変える等の表示をすることで行われ、ユーザが当該ＧＵＩオブジェクトの選択を希望していることを示す。図６は、ＧＵＩオブジェクトＯｂ３を矩形枠Ｗ１で囲み、「番組表」オブジェクトにフォーカスを設定した場合の操作画面を示す。
次に、ステップＳ２０でスイッチ３０がオフか否かを判別し、スイッチ３０がオンの場合にステップＳ１４に進んでステップＳ１２〜Ｓ２０を繰り返し、新たなキーワードが音声入力された場合には、その音声認識を行って対応するＧＵＩオブジェクトにフォーカスを設定する。図７は、ＧＵＩオブジェクトＯｂ２を矩形枠Ｗ２で囲み、「天気」オブジェクトにフォーカスを設定した場合の操作画面を示す。
ステップＳ２０でスイッチ３０がオフの場合はステップＳ２２に進む。ステップＳ２２ではフォーカスが設定されているか否かを判別し、フォーカスが設定されていなければステップＳ１０に進み、フォーカスが設定されていればステップＳ２４に進む。
ステップＳ２４では、フォーカスを設定されているＧＵＩオブジェクトを選択実行する。これによって、スイッチ３０がオフとされた時点で、例えば「天気」オブジェクトにフォーカスが設定されている場合には、図８に示すような「天気」オブジェクトの詳細画面が表示される。
なお、上記実施例ではマイクロホン２８に配設したスイッチ３０のオン／オフに基づいてＧＵＩオブジェクトの選択実行を制御しているが、入力装置３８のマウスのクリックボタンやキーボードの任意のキーをスイッチ３０の代わりに使用しても良い。
更に、図４に示す画面の所定位置に「スイッチ・オン」等のキーワードを表示し、図５〜図７に示す画面の所定位置に「スイッチ・オフ」等のキーワードを表示しておき、入力音声を認識して仮想スイッチのオン／オフを行い、この仮想スイッチをスイッチ３０として使用することも可能である。
この実施例では、ユーザは音声操作を行う際にスイッチ３０をオンし、オンの間に画面に表示されている目的のＧＵＩオブジェクトを選択するために、そのキーワードを発声する。
システムは入力された音声を認識し、その結果から該当するオブジェクトにフォーカスを設定する。この時点ではＧＵＩオブジェクトの選択実行は行われておらず、操作者がスイッチ３０をオフすることにより、フォーカスを設定されたＧＵＩオブジェクトが選択実行される。
つまり、スイッチ３０をオフしない限りＧＵＩオブジェクトの選択実行は行われないため、所望のＧＵＩオブジェクトにフォーカスが無い場合はスイッチ３０をオフせずにキーワードを発声しなおすことにより、再度、入力音声が認識されて該当するＧＵＩオブジェクトにフォーカスの設定がされることになる。従って、所望のオブジェクトにフォーカスが設定されていることを確認した上でスイッチをオフすることにより、目的のオブジェクトが選択実行される。
これによって、音声操作時に発生する誤認識や言い間違いに対して元の状態に戻してから再度操作をやり直す必要が無くなり、単に目的のオブジェクトのキーワードを発声し直すことにより、誤認識あるいは言い間違いの訂正が可能となり、操作に手間がかからず、効率的に音声操作を行うことができる。
ところで、パーソナルコンピュータ等におけるコマンド入力の音声操作の場合も同様の方法で、フォーカス設定の代わりに音声認識されたコマンドの表示を行って、音声操作の変更、修正が可能である。この場合、パーソナルコンピュータは図１からチューナ１０を除いた構成となる。
ここで、スイッチ３０がオフの場合は、例えば図９に示すように、プロンプト記号「＞」だけを表示する操作画面を表示部１６に表示させる。そして、スイッチ３０がオンとなると、図１０に示すように、テキスト及びプロンプト記号「Ｃｍｄ＞」を表示する操作画面を表示される。
図１０の状態で、ユーザが「ファイル一覧」とコマンドを発声したとき、音声認識で「ファイル削除」と誤認識された場合には、図１１に示すように、テキスト及びプロンプト記号「Ｃｍｄ＞」に続け、認識したコマンドのテキスト「ファイル削除」を表示する操作画面を表示される。この認識結果のテキスト「ファイル削除」から誤認識が判断できるため、ユーザはスイッチ３０をオフすることなく、再度「ファイル一覧」とコマンドを発声し直す。
これによって、図１２に示すように、テキスト及びプロンプト記号「Ｃｍｄ＞」に続け、認識したコマンドのテキスト「ファイル一覧」を表示する操作画面を表示される。
この操作画面を確認したのち、スイッチをオフにした時点でテキスト表示されているコマンドが選択実行され、図１３に示すように、ファイル一覧表示が行われる。
このようにして、コマンドを発声した際に誤認識や言い間違いがあった場合、元の状態に戻すことなく発声し直すことにより、変更、修正して所望のコマンドを実行することができ、効率的な音声操作が可能となる。
なお、ステップＳ１４が請求項記載の音声入力手段に対応し、ステップＳ１６が音声認識手段に対応し、ステップＳ１８がコマンド生成手段及び操作画面生成手段に対応し、ステップＳ２４が選択実行手段に対応する。
【発明の効果】
上述の如く、本発明によれば、音声操作が誤認識されたり、言い間違えた場合に、スイッチを第１状態にしておけば、コマンドが選択実行されず、再度音声入力を行うことができ、操作が簡単になり効率的に音声操作を行うことができる。
【図面の簡単な説明】
【図１】本発明の音声操作装置の一実施例のブロック図である。
【図２】ＣＰＵが実行する音声操作処理のフローチャートである。
【図３】翻字プログラムの実行フェーズのフローチャートである。
【図４】スイッチオフ時の操作画面を示す図である。
【図５】スイッチオン時の操作画面を示す図である。
【図６】フォーカス設定時の操作画面を示す図である。
【図７】フォーカス設定時の操作画面を示す図である。
【図８】天気オブジェクトの詳細画面を示す図である。
【図９】スイッチオフ時の操作画面を示す図である。
【図１０】スイッチオン時の操作画面を示す図である。
【図１１】コマンド表示時の操作画面を示す図である。
【図１２】コマンド表示時の操作画面を示す図である。
【図１３】ファイル一覧表示を示す図である。
【符号の説明】
１０　チューナ
１２　アンテナ
１４　映像合成・表示回路
１６　表示部
１８　入出力インタフェース
２０　ＣＰＵ
２２　ハードディスク装置
２４　ＲＡＭ
２６　ＡＤ変換器
２８　マイクロホン
３０　スイッチ
３２　通信回路
３４　操作画面生成回路
３６　バス
３８　入力装置
４０　音声認識手段
４２　コマンド生成手段
【図１】
2004013094.tif 000003
【図２】
2004013094.tif 000004
【図３】
2004013094.tif 000005
【図４】
2004013094.tif 000006
【図５】
2004013094.tif 000007
【図６】
2004013094.tif 000008
【図７】
2004013094.tif 000009
【図８】
2004013094.tif 000010
【図９】
2004013094.tif 000011
【図１０】
2004013094.tif 000012
【図１１】
2004013094.tif 000013
【図１２】
2004013094.tif 000014
【図１３】
2004013094.tif 000015