(57)【特許請求の範囲】
【請求項１】
音声を入力する音声入力手段と、
前記音声入力手段に入力された音声を認識して、この入力音声に対応する制御情報もしくは文字列を出力する音声認識手段と、
画像を撮像するための撮像手段と、
前記撮像手段により撮像された画像に基づいて、画像領域に話者が入っているか否かを認識する画像認識手段と、
前記画像認識手段による認識結果に基づいて、予め設定された第１及び第２モードのいずれかを選択し、第１モードを選択した場合は、前記音声認識手段の出力を制御情報として用い、第２モードを選択した場合は、前記音声認識手段の出力を文字列として用いる制御手段とを備えることを特徴とする音声処理装置。
【請求項２】
前記音声入力手段は、話者が用いるマイクを有し、
前記画像認識手段は、前記撮像手段によって撮像された画像にマイクが含まれるか否かに基づいて、画像領域に話者が入っているか否かを認識することを特徴とする請求項１に記載の音声処理装置。
【請求項３】
音声をマイクから入力する音声入力ステップと、
前記マイクから入力された音声を認識して、この入力音声に対応する制御情報もしくは文字列を出力する音声認識ステップと、
カメラにより撮像された画像を入力する撮像ステップと、
前記カメラにより撮像された画像に基づいて、画像領域に話者が入っているか否かを認識する画像認識ステップと、
前記画像認識ステップにおける認識結果に基づいて、予め設定された第１及び第２モードのいずれかを選択し、第１モードを選択した場合は、前記音声認識ステップにおける出力を制御情報として用い、第２モードを選択した場合は、前記音声認識ステップにおける出力を文字列として用いる制御ステップとをコンピュータにより実施させることを特徴とする音声処理方法。
【請求項４】
請求項３に記載の音声処理方法を実施するためのプログラムを記録したコンピュータにより読取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声を入力し、この音声によって表される言語を認識するための音声処理装置、音声処理方法、及びその方法を実施するためのプログラムを記録したコンピュータにより読取り可能な記録媒体に関する。
【０００２】
【従来の技術】
この種の従来の装置においては、音声入力を指示するためのボタンを押下している間に、音声をマイクロホンを通じて入力し、この入力された音声を認識して、言語を出力していた。これにより、ボタンを押下していないときには、雑音をマイクロホンを通じて入力したり認識せずに済む。
【０００３】
また、特開平５−１８８９９３号公報に記載の装置では、ＣＣＤカメラによって話者が撮像されている間に、音声の入力と認識を行い、これにより雑音の入力及び認識を防止している。あるいは、撮像された話者の口元の動きを音声認識のための補助情報として利用し、音声認識率の向上を図っている。
【０００４】
【発明が解決しようとする課題】
ところで、パーソナルコンピュータ等の情報処理端末装置においては、音声認識の結果を文字列や制御情報として用いることが考えられる。しかしながら、従来は、音声認識の結果の用途を切り替ていなかった。
【０００５】
例えば、図１７に示すような一般的なテキスト入力用のウィンドウ２０１においては、カーソル２０２、ウインドウ２０１の最小化を示す操作アイコン２０３、ウインドウ２０１の最大化を示す操作アイコン２０４、ウィンドウ２０１の終了を示す操作アイコン２０５等が表示されており、所望の文字列がウインドウ２０１内に記入される。
【０００６】
ここで、音声認識を利用すれば、音声をマイクロホンを通じて入力するだけで、この音声によって示される言語が文字列となってウインドウ２０１内に記入される。
【０００７】
ところが、音声認識に基づく言語を文字列及び制御情報のいずれにも用いるならば、先に述べた様に音声認識の結果の用途を切り替ていないために、例えば「ＳＡＩＤＡＩＫＡ」という音声を入力したときに、この音声によって示される言語を「最大化」という文字列として扱うべきか、最大化を示す操作アイコン２０４を指示する制御情報として扱うべきかを特定することができなかった。
【０００８】
そこで、本発明は、上記従来の問題点に鑑みてなされたものであり、音声認識に基づく言語を文字列及び制御情報等として使い分けることが可能な音声処理装置、音声処理方法、及びその方法を実施するためのプログラムを記録したコンピュータにより読取り可能な記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明の音声処理装置は、音声を入力する音声入力手段と、前記音声入力手段に入力された音声を認識して、この入力音声に対応する制御情報もしくは文字列を出力する音声認識手段と、画像を撮像するための撮像手段と、前記撮像手段により撮像された画像に基づいて、画像領域に話者が入っているか否かを認識する画像認識手段と、前記画像認識手段による認識結果に基づいて、予め設定された第１及び第２モードのいずれかを選択し、第１モードを選択した場合は、前記音声認識手段の出力を制御情報として用い、第２モードを選択した場合は、前記音声認識手段の出力を文字列として用いる制御手段とを備えている。
【００１０】
この様な構成の本発明によれば、画像認識手段による認識結果に基づいて、第１及び第２モードのいずれかを選択し、この選択したモードで音声認識された言語を用いている。このため、音声認識を２種類の用途に切り替えることができる。
【００１２】
すなわち、音声認識された言語を制御情報及び文字列のいずれかとして用いることができる。
【００１３】
更に、本発明の装置においては、前記音声入力手段は、話者が用いるマイクを有し、前記画像認識手段は、前記撮像手段によって撮像された画像にマイクが含まれるか否かに基づいて、画像領域に話者が入っているか否かを認識している。
【００１４】
この様に撮像された画像にマイクが含まれるか否かに基づいて、話者を認識するのであれば、形状や色が分かっているマイクを画像処理により識別すれば良いので、画像処理が簡単化される。
【００１５】
一方、本発明の情報処理方法は、音声をマイクから入力する音声入力ステップと、前記マイクから入力された音声を認識して、この入力音声に対応する制御情報もしくは文字列を出力する音声認識ステップと、カメラにより撮像された画像を入力する撮像ステップと、前記カメラにより撮像された画像に基づいて、画像領域に話者が入っているか否かを認識する画像認識ステップと、前記画像認識ステップにおける認識結果に基づいて、予め設定された第１及び第２モードのいずれかを選択し、第１モードを選択した場合は、前記音声認識ステップにおける出力を制御情報として用い、第２モードを選択した場合は、前記音声認識ステップにおける出力を文字列として用いる制御ステップとをコンピュータにより実施させている。
【００１６】
この様な本発明の方法によっても、音声認識の結果を２種類の用途に切り替えて用いることができる。
【００１７】
また、本発明のコンピュータにより読取り可能な記録媒体は、上記情報処理方法を実施するためのプログラムを記録している。
【００１８】
すなわち、本発明は、音声処理装置及び音声処理方法だけではなく、この方法を実施するためのプログラムを記録した記録媒体を包含する。この様な記録媒体を用いれば、本発明の情報処理装置及び情報処理方法と同様の作用並びに効果を達成することができる。
【００１９】
尚、記録媒体としては、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭといった半導体記憶素子、ＩＣカード、ハードディスク、フロッピーディスク、あるいはＭＯ、ＣＤ、ＭＤ、ＤＶＤ等の光ディスク、磁気テープ等を挙げることができ、プログラムを記録することが可能であれば他の種類の記録媒体であっても良い。
【００２０】
【発明の実施の形態】
以下、本発明の実施形態を添付図面を参照して詳細に説明する。
【００２１】
図１は、本発明の音声処理装置の一実施形態を示すブロック図である。本実施形態の音声処理装置は、音声を入力するマイクロホン４と、マイクロホン４からの音声信号を入力する音声入力部３と、各種の音声に対応するそれぞれの言語を予め登録した音声辞書６と、音声信号によって示される入力音声を音声辞書６内の各種の音声と照合し、入力音声に対応する言語を音声辞書６から検索する音声認識部５と、音声認識部５の作動を指示するための入力ボタン１０と、話者を撮像するためのＣＣＤカメラ１と、ＣＣＤカメラ１からの画像を入力する画像入力部８と、画像に基づいて、話者が居るか否かを判定したり、話者の口元の動きの有無を判定する画像認識部９と、入力ボタン１０の出力及び画像認識部９の出力に基づいて、音声入力部３及び音声認識部５を制御する制御部２と、各種の言語に対応するそれぞれの文字列を予め登録したかな漢字辞書７１と、音声認識部５により認識された言語を受け取り、この言語をかな漢字辞書７１内の各種の言語と照合し、この言語に対応する文字列をかな漢字辞書７１から検索する文字変換部７０と、各種の言語に対応するそれぞれの制御情報を予め登録したコマンド辞書７６と、音声認識部５により認識された言語を受け取り、この言語をコマンド辞書７６内の各種の言語と照合し、この言語に対応する制御情報をコマンド辞書７６から検索するコマンド変換部７５とを備えている。
【００２２】
ここで、画像認識部９は、ＣＣＤカメラ１によって撮像された画像を画像入力部８を通じて受け取り、この画像に話者が入っているか否かを判定する。例えば、音声入力に際しては、話者がマイクロホン４を装着していることに着目し、画像においてマイクロホン４をその形状や色等により認識し、図２（ａ）に示す様にマイクロホン４が予め設定された画像領域１１に入っているか、あるいは図２（ｂ）に示す様にマイクロホン４が画像領域１１に入っていないかを判定する。そして、画像認識部９は、マイクロホン４を話者とみなし、マイクロホン４が画像領域１１に入っているか否か、つまり話者が入っているか否かを制御部２に通知する。また、画像認識部９は、話者が入っていれば、話者の口元を画像から抽出して、この口元の動きの有無を判定し、口元の動きの有無を制御部２に通知する。
【００２３】
制御部２は、話者が入っていないことを画像認識部９から通知されると、第１変換モードを音声認識部５に指示し、話者が入っていることを画像認識部９から通知されると、第２変換モードを音声認識部５に指示する。
【００２４】
更に、制御部２は、第１変換モードを音声認識部５に指示した上で、入力ボタン１０が押下されると、音声入力部３を作動させ、音声を音声認識部５に入力させる。音声認識部５は、入力音声に対応する言語を音声辞書６から検索し、第１変換モードの指示を受けていることから、この検索した言語をコマンド変換部７５に通知する。コマンド変換部７５は、この言語に対応する制御情報をコマンド辞書７６から検索して、この制御情報を上位システム８０に通知する。上位システム８０では、この制御情報に対応する処理を実行する。
【００２５】
また、制御部２は、第２変換モードを音声認識部５に指示した上で、更に口元の動きが有ることを画像認識部９から通知されるか、入力ボタン１０が押下されると、音声入力部３を作動させ、音声を音声認識部５に入力させる。音声認識部５は、入力音声に対応する言語を音声辞書６から検索し、第２変換モードの指示を受けていることから、この検索した言語を文字変換部７０に通知する。文字変換部７０は、この言語に対応する文字列をかな漢字辞書７１から検索して、この文字列を上位システム８０に通知する。上位システム８０では、例えば該文字列を表示装置の表示画面上に表示する。
【００２６】
従って、ＣＣＤカメラ１によって撮像された画像に基づいて、話者が入っていないと判定されると、第１変換モードが設定され、音声認識が行われて、入力音声に対応する言語が検索され、この言語に対応する制御情報が検索され、この制御情報が上位システム８０に通知される。また、ＣＣＤカメラ１によって撮像された画像に基づいて、話者が入っていると判定されると、第２変換モードが設定され、音声認識が行われて、入力音声に対応する言語が検索され、この言語に対応する文字列が検索され、この文字列が上位システム８０に通知される。
【００２７】
次に、図３に示すフローチャートに従って、音声処理装置の制御部２による制御を更に詳しく説明する。
【００２８】
まず、音声処理装置の電源が投入されると、制御部２は、変数ＶＯＮを音声入力部３の作動を示す値「１」に初期設定すると共に、変数Ｍｏｄｅを第１変換モードを示す値「０」に初期設定する（ステップＳ１）。
【００２９】
このとき、制御部２は、変数ＶＯＮが値「１」であるから、音声入力部３を作動させ、また変数Ｍｏｄｅが値「０」であるから、第１変換モードを音声認識部５に指示する。これにより、第１変換モードが設定されて、音声認識が行われ、入力音声に対応する言語が検索され、この言語がコマンド変換部７５に通知され、ここで該言語に対応する制御情報が検索され、この制御情報が上位システム８０に通知される。
【００３０】
また、入力ボタン１０が押下されると（ステップＳ２で「Ｙｅｓ」）、制御部２は、変数ＶＯＮを値「０」に反転し（ステップＳ３）、この変数ＶＯＮの値「０」に応じて（ステップＳ４で「Ｎｏ」）、音声入力部３を停止させる（ステップＳ６）。
【００３１】
更に、入力ボタン１０が２度目に押下されたときには（ステップＳ２で「Ｙｅｓ」）、変数ＶＯＮが値「１」に反転される（ステップＳ３）。制御部２は、この変数ＶＯＮの値「１」に応じて（ステップＳ４で「Ｙｅｓ」）、音声入力部３を再び作動させる（ステップＳ５）。これにより、音声認識が再び開始されて、入力音声に対応する言語が検索され、この言語に対応する制御情報が検索され、この制御情報が上位システム８０に通知される。
【００３２】
従って、入力ボタン１０が押下される度に、音声認識が行われたり停止される。また、変数Ｍｏｄｅが値「０」に設定されているときには、第１変換モードの動作、つまり入力音声に対応する言語の検索、この言語に対応する制御情報の検索、上位システム８０への該制御情報の通知が行われる。
【００３３】
一方、入力ボタン１０が押下されなければ（ステップＳ２で「Ｎｏ」）、制御部２は、話者が入っているか否かの通知を画像認識部９から受け、この通知に基づいて、話者の出入りの有無を判定する（ステップＳ７）。そして、話者の出入りが有れば（ステップＳ７で「Ｙｅｓ」）、制御部２は、変数ＶＯＮが音声入力部３の作動を示す値「１」に設定されているか否かを判定し（ステップＳ８）、変数ＶＯＮが値「１」に設定されていれば（ステップＳ８で「Ｙｅｓ」）、音声入力部３からの音声信号のレベルが予め設定されたレベルに低下するまで待機してから（ステップＳ９）、変数Ｍｏｄｅの値を反転する（ステップＳ１０）。この待機により、音声入力部３の作動中に、つまり音声の入力中に、変数Ｍｏｄｅの値が反転されて、第１及び第２変換モードの切り換えが行われずに済む。また、変数ＶＯＮが音声入力部３の停止を示す値「０」に設定されていれば（ステップＳ８で「Ｎｏ」）、音声が入力されていないので、ステップＳ９を省略して、変数Ｍｏｄｅの値を直ちに反転する（ステップＳ１０）。
【００３４】
これにより、話者が入って来ると、変数Ｍｏｄｅの値が「１」に反転され、話者が出て行くと、変数Ｍｏｄｅの値が「０」に反転され、第１及び第２変換モードのいずれかが音声認識部５に指示される（ステップＳ１１）。
【００３５】
この後、入力ボタン１０が押下されると（ステップＳ２で「Ｙｅｓ」）、制御部２は、変数ＶＯＮの値を反転し（ステップＳ３）、変数ＶＯＮの値が「０」であれば（ステップＳ４で「Ｎｏ」）、音声入力部３を停止させ（ステップＳ６）、また変数ＶＯＮの値が「１」であれば（ステップＳ４で「Ｙｅｓ」）、音声入力部３を作動させる（ステップＳ５）。そして、音声入力部３の作動に際しては、変数Ｍｏｄｅが値「０」であって、第１変換モードが設定されていれば、入力音声に対応する言語の検索、この言語に対応する制御情報の検索、上位システム８０への該制御情報の通知が行われる。また、変数Ｍｏｄｅが値「１」であって、第２変換モードが設定されていれば、入力音声に対応する言語が検索され、この言語が文字変換部７０に通知され、ここで該言語に対応する文字列が検索され、この文字列が上位システム８０に通知される。
【００３６】
また、入力ボタン１０が押下されず（ステップＳ２で「Ｎｏ」）、更に話者の出入りが無ければ（ステップＳ７で「Ｎｏ」）、制御部２は、変数Ｍｏｄｅが第２変換モードを示す値「１」であるか否かを判定する（ステップＳ１２）。そして、制御部２は、変数Ｍｏｄｅが第２変換モードを示す値「１」であれば、つまり話者が入ったままの状態が継続されていれば、口元の動きが開始されたことを画像認識部９から通知されたときに（ステップＳ１３で「Ｙｅｓ」）、変数ＶＯＮが値「１」であることを確認し（ステップＳ１４）、値「１」でなければ（ステップＳ１４で「Ｎｏ」）、音声入力部３を作動させて、変数ＶＯＮを値「１」に反転してから（ステップＳ１５、Ｓ１６）、ステップＳ２に戻る。これにより、音声認識が開始されて、入力音声に対応する言語が検索され、この言語が文字変換部７０に通知され、ここで該言語に対応する文字列が検索され、この文字列が上位システム８０に通知される。
【００３７】
また、制御部２は、口元の動きが停止すると（ステップＳ１７で「Ｙｅｓ」）、変数ＶＯＮが値「０」であることを確認し（ステップＳ１８）、値「０」でなければ（ステップＳ１８で「Ｎｏ」）、音声入力部３を停止させて、変数ＶＯＮを値「０」に反転してから（ステップＳ１９、Ｓ２０）、ステップＳ２に戻る。
【００３８】
入力ボタン１０が押下されず（ステップＳ２で「Ｎｏ」）、話者が入ったままの状態が継続されている限り（ステップＳ７で「Ｎｏ」、ステップＳ１２で「Ｙｅｓ」）、口元の動きが開始されたときに、ステップＳ１３〜Ｓ１６の処理が行われて、入力音声に対応する言語が検索され、この言語に対応する文字列が検索され、この文字列が上位システム８０に通知される。また、口元の動きが停止すると、ステップＳ１７〜Ｓ２０の処理が行われ、音声認識が中断される。
【００３９】
この様に話者が入って来たときには、第２変換モードを設定し、入力音声によって示される言語を認識して、この言語に対応する文字列を検索し、また話者が出て行ったときには、第１変換モードを設定し、入力音声によって示される言語を認識して、この言語に対応する制御情報を検索しているので、音声認識に基づく言語を文字列及び制御情報等として容易に使い分けることができる。
【００４０】
また、制御情報の種類が文字列の種類よりも格段に少ないことに着目して、入力ボタン１０の操作により制御情報を示す音声の入力期間を指定している。つまり、入力ボタン１０の操作により指示された音声の入力期間（音声入力部３の作動期間）が実際の音声の発声期間と多少ずれて、言語の認識に誤差が生じたとしても、制御情報の種類が少ないので、言語に対応する制御情報を特定し易い。これに対して言語に対応する文字列を特定する場合は、文字列の種類が格段に多いことから、話者の口が動いている期間を正確に検出して、音声の入力期間を実際の音声の発声期間と正確に一致させ、言語の認識率を高めて、文字列の識別精度を高めている。
【００４１】
尚、従来の装置では、入力の段階で、音声認識の結果を制御情報及び文字列のいずれとして用いるかを決定しておらず、例えば音声認識の結果が制御情報に該当しなければ、この音声認識の結果を文字列として扱ったり、逆に音声認識の結果が文字列に該当しなければ、この音声認識の結果を制御情報として扱っていた。このため、同等の処理を繰り返すことがあり、装置全体としての使用効率が悪かった。
【００４２】
次に、図４に示すフローチャートに従って、音声処理装置の音声認識部５による制御を詳しく説明する。
【００４３】
まず、音声認識部５は、変数Ｍｏｄｅを第１変換モードを示す値「０」に初期設定する（ステップＳ５０）。そして、音声認識部５は、変数Ｍｏｄｅの値を制御部２から指示されると（ステップＳ５１で「Ｙｅｓ」）、この指示に応じて変数Ｍｏｄｅの値を切換える（ステップＳ５２）。また、音声認識部５は、音声入力部３からの音声信号を入力すると（ステップＳ５３で「Ｙｅｓ」）、この音声信号によって示される音声を認識し、この音声に対応する言語を音声辞書６から検索する（ステップＳ５４）。そして、音声認識部５は、変数Ｍｏｄｅの値を参照し、この値が「０」であれば（ステップＳ５５で「Ｙｅｓ」）、第１変換モードが指示されているので、検索した言語をコマンド変換部７５に通知し（ステップＳ５７）、また該値が「１」であれば（ステップＳ５５で「Ｎｏ」）、第２変換モードが指示されているので、検索した言語を文字変換部７０に通知する（ステップＳ５６）。
【００４４】
図５の図表は、コマンド辞書７６の登録内容を例示している。ここでは、制御情報として、トウロク命令、ヘルプ命令、サイセイ命令、ヘンコウ命令、シュウリョウ命令があり、各命令毎に、命令を示す複数の言語が登録され、また該各命令に対応するそれぞれのコマンド番号ＣＮｏが登録されている。
【００４５】
コマンド変換部７５は、音声認識部５からの言語を受け取ると、この言語をコマンド辞書７６内の各種の言語と照合し、この言語に対応する命令のコマンド番号ＣＮｏを検索し、このコマンド番号ＣＮｏを上位システム８０に通知する。
【００４６】
尚、コマンド辞書の実際の登録内容は、より複雑な形式を有している。また、登録内容を複数の上位システムにより共用し、それぞれの上位システムが登録内容のうちから使用するコマンド群を指定しても構わない。
【００４７】
上位システム８０では、例えば文字列を記憶したり、コマンド番号ＣＮｏに応じて、各種のデバイスや各種のプログラムを起動しており、これらの処理の度に、図１２乃至図１６に示す様なエージェントキャラクタ（表示オブジェクト）を表示画面に表示する。
【００４８】
図６は、上位システム８０による制御を示すフローチャートである。
【００４９】
まず、上位システム８０は、その電源が投入されると、文字列を記憶するメモリの変数域Ｍｅｍを初期化し、図１２に示す様に表示画面上のメモ領域２１及びエージェントキャラクタ２２を初期化する（ステップＳ１０１、Ｓ１０２）。そして、上位システム８０は、文字変換部７０からの文字列及びコマンド変換部７５からの制御情報を入力するまで待機する。
【００５０】
例えば、上位システム８０は、文字列を文字変換部７０から入力すると（ステップＳ１０３で「Ｙｅｓ」）、この文字列をメモリの変数域Ｍｅｍに追加して記録し（ステップＳ１０４）、また該文字列を表示画面上のメモ領域２１に追加して表示し（ステップＳ１０５）、この後にステップＳ１０３に戻る。
【００５１】
また、上位システム８０は、トウロク命令、ヘルプ命令、サイセイ命令、ヘンコウ命令、シュウリョウ命令のいずれかに対応するコマンド番号ＣＮｏをコマンド変換部７５から入力すると（ステップＳ１０６〜Ｓ１１０のいずれかで「Ｙｅｓ」）、図７乃至図１１に示す各フローチャートの処理のいずれかに移る。
【００５２】
尚、より多数のコマンドがコマンド辞書７６に予め登録されている場合は、ステップＳ１０６〜Ｓ１１０に引き続く他の各判定ステップＳ１１１と、これらの判定ステップから移行するそれぞれの処理が予め設定される。他のコマンドとしては、文字の削除、カーソルの移動、文字の編集等を命令するものがある。
【００５３】
例えば、上位システム８０は、トウロク命令に対応するコマンド番号ＣＮｏをコマンド変換部７５から入力すると（ステップＳ１０６で「Ｙｅｓ」）、図７に示すフローチャートの処理に移り、メモリの変数域Ｍｅｍに文字列が記憶されているか否かをチェックし（ステップＳ１２０）、記憶されていなければ（ステップＳ１２０で「Ｙｅｓ」）、図１４に示す様なエージェントキャラクタ２２を表示し（ステップＳ１２１）、利用者が認識するのに要する時間（例えば１秒）を経過してから（ステップＳ１２５）、図１２に示す様なエージェントキャラクタ２２を表示して（ステップＳ１２６）、図６のステップＳ１０３に戻る。このとき、入力エラーをより明確に報知するために、例えば「よくわかんない〜！」という音声メッセージを発音しても構わない。
【００５４】
また、メモリの変数域Ｍｅｍに文字列が記憶されていれば（ステップＳ１２０で「Ｎｏ」）、図１３に示す様なエージェントキャラクタ２２を表示し（ステップＳ１２２）、変数域Ｍｅｍの文字列をハードディスク等の不揮発性メモリに記憶してから（ステップＳ１２３）、変数域Ｍｅｍを初期化し（ステップＳ１２４）、更に利用者の認識時間を経過した後に（ステップＳ１２５）、図１２に示す様なエージェントキャラクタ２２を表示して（ステップＳ１２６）、図６のステップＳ１０３に戻る。このとき、トウロク命令の実行をより明確に報知するために、例えば「ＯＫ。まかせなさい！」という音声メッセージを発音しても構わない。
【００５５】
次に、上位システム８０は、ヘルプ命令に対応するコマンド番号ＣＮｏをコマンド変換部７５から入力すると（ステップＳ１０７で「Ｙｅｓ」）、図８に示すフローチャートの処理に移り、メモリの変数域Ｍｅｍに文字列が記憶されているか否かをチェックし（ステップＳ１３０）、記憶されていなければ（ステップＳ１３０で「Ｙｅｓ」）、図１４に示す様なエージェントキャラクタ２２を表示し（ステップＳ１３１）、利用者の認識時間を経過した後に（ステップＳ１３５）、図１２に示す様なエージェントキャラクタ２２を表示して（ステップＳ１３６）、図６のステップＳ１０３に戻る。
【００５６】
また、メモリの変数域Ｍｅｍに文字列が記憶されていれば（ステップＳ１３０で「Ｎｏ」）、図１３に示す様なエージェントキャラクタ２２を表示し（ステップＳ１３２）、変数域Ｍｅｍの文字列をパラメータとして、ヘルププログラムを起動してから（ステップＳ１３３）、変数域Ｍｅｍを初期化し（ステップＳ１３４）、更に利用者の認識時間を経過した後に（ステップＳ１３５）、図１２に示す様なエージェントキャラクタ２２を表示して（ステップＳ１３６）、図６のステップＳ１０３に戻る。
【００５７】
次に、上位システム８０は、サイセイ命令に対応するコマンド番号ＣＮｏをコマンド変換部７５から入力すると（ステップＳ１０８で「Ｙｅｓ」）、図９に示すフローチャートの処理に移り、ＣＤドライブ装置が既に作動中（音楽ＣＤの再生中）であるか否かをチェックすると共に（ステップＳ１４０）、ＣＤがＣＤドライブ装置に挿入されているか否かをチェックし（ステップＳ１４１）、ＣＤドライブ装置が既に作動中であったり（ステップＳ１４０で「Ｙｅｓ」）、ＣＤがＣＤドライブ装置に挿入されていなければ（ステップＳ１４１で「Ｎｏ」）、図１４に示す様なエージェントキャラクタ２２を表示し（ステップＳ１４２）、利用者の認識時間を経過した後に（ステップＳ１４５）、図１２に示す様なエージェントキャラクタ２２を表示し（ステップＳ１４６）、更に図１６に示す様に変数域Ｍｅｍの内容を表示画面上のメモ領域２１に表示し直してから（ステップＳ１４７）、図６のステップＳ１０３に戻る。
【００５８】
また、ＣＤドライブ装置が作動しておらず（ステップＳ１４０で「Ｎｏ」）、かつＣＤがＣＤドライブ装置に挿入されていれば（ステップＳ１４１で「Ｙｅｓ」）、図１３に示す様なエージェントキャラクタ２２を表示して（ステップＳ１４３）、ＣＤドライブ装置を作動させて、音楽ＣＤの再生を開始し（ステップＳ１４４）、利用者の認識時間を経過した後に（ステップＳ１４５）、図１２に示す様なエージェントキャラクタ２２を表示し（ステップＳ１４６）、更に図１６に示す様に変数域Ｍｅｍの内容を表示画面上のメモ領域２１に表示し直してから（ステップＳ１４７）、図６のステップＳ１０３に戻る。
【００５９】
次に、上位システム８０は、ヘンコウ命令に対応するコマンド番号ＣＮｏをコマンド変換部７５から入力すると（ステップＳ１０９で「Ｙｅｓ」）、図１０に示すフローチャートの処理に移り、ＣＤドライブ装置が作動中であるか否かをチェックし（ステップＳ１５０）、ＣＤドライブ装置が作動中でなければ（ステップＳ１５０で「Ｎｏ」）、図１４に示す様なエージェントキャラクタ２２を表示し（ステップＳ１５１）、利用者の認識時間を経過した後に（ステップＳ１５４）、図１２に示す様なエージェントキャラクタ２２を表示し（ステップＳ１５５）、更に図１６に示す様に変数域Ｍｅｍの内容を表示画面上のメモ領域２１に表示し直してから（ステップＳ１５６）、図６のステップＳ１０３に戻る。
【００６０】
また、ＣＤドライブ装置が作動していれば（ステップＳ１５０で「Ｙｅｓ」）、図１３に示す様なエージェントキャラクタ２２を表示して（ステップＳ１５２）、次曲の選択をＣＤドライブ装置に命令し（ステップＳ１５３）、利用者の認識時間を経過した後に（ステップＳ１５４）、図１２に示す様なエージェントキャラクタ２２を表示し（ステップＳ１５５）、更に図１６に示す様に変数域Ｍｅｍの内容を表示画面上のメモ領域２１に表示し直してから（ステップＳ１５６）、図６のステップＳ１０３に戻る。
【００６１】
次に、上位システム８０は、シュウリョウ命令に対応するコマンド番号ＣＮｏをコマンド変換部７５から入力すると（ステップＳ１１０で「Ｙｅｓ」）、図１１に示すフローチャートの処理に移り、ＣＤドライブ装置が作動中であるか否かをチェックし（ステップＳ１６０）、ＣＤドライブ装置が作動中であれば（ステップＳ１６０で「Ｙｅｓ」）、図１３に示す様なエージェントキャラクタ２２を表示し（ステップＳ１６１）、再生の停止をＣＤドライブ装置に命令し（ステップＳ１６２）、利用者の認識時間を経過した後に（ステップＳ１６５）、図１２に示す様なエージェントキャラクタ２２を表示し（ステップＳ１６６）、更に図１６に示す様に変数域Ｍｅｍの内容を表示画面上のメモ領域２１に表示し直してから（ステップＳ１６７）、図６のステップＳ１０３に戻る。
【００６２】
また、ＣＤドライブ装置が作動中でなければ（ステップＳ１６０で「Ｎｏ」）、メモリの変数域Ｍｅｍに文字列が記憶されているか否かをチェックし（ステップＳ１６３）、記憶されていなければ（ステップＳ１６３で「Ｙｅｓ」）、変数域Ｍｅｍを初期化し（ステップＳ１６４）、利用者の認識時間を経過した後に（ステップＳ１６５）、図１２に示す様なエージェントキャラクタ２２を表示し（ステップＳ１６６）、更に変数域Ｍｅｍの内容を表示画面上のメモ領域２１に表示し直してから（ステップＳ１６７）、図６のステップＳ１０３に戻る。ただし、このときには、ステップＳ１６４で変数域Ｍｅｍを初期化しているので、ステップＳ１６７の処理に実質的な意味がない。
【００６３】
また、メモリの変数域Ｍｅｍに文字列が記憶されていれば（ステップＳ１６３で「Ｎｏ」）、図１５に示す様なエージェントキャラクタ２２を表示し（ステップＳ１６８）、十分な長さの認識時間（先の他の認識時間よりも長い）を経過した後に（ステップＳ１６９）、エージェントキャラクタ２２を消去し（ステップＳ１７０）、処理を終了する。
【００６４】
この様に上位システム８０では、入力音声の認識により特定された文字列や制御情報を受け取って、文字列を表示したり、各種のプログラムを起動することができる。先に述べた様に制御情報の種類が文字列の種類よりも格段に少ないことから、言語に対応する制御情報を特定し易い。このため、話者の口の動きが分からなくても、音声により各種の命令を正確に入力することができる。従って、例えば入力ボタン１０及びマイクロホン４の出力を長いコードやコードレスにより伝送すれば、音声処理装置から離れた位置からでも、音声により命令を上位システム８０に入力することができる。例えば、寝そべりながら、ＣＤドライブ装置を操作することが可能になる。
【００６５】
尚、本発明は、上記実施形態の音声処理装置だけではなく、音声処理方法、及びその方法を実施するためのプログラムを記録した記録媒体を包含する。
【００６６】
プログラムは、磁気ディスク、光ディスク、コンピュータに内蔵のハードディスク等の記録媒体に記録されたり、通信ネットワークを通じて送受される。コンピュータ等は、プログラムを記録媒体から読み出したり、あるいはプログラムを通信ネットワークを通じて受信してから、プログラムを記録媒体に書き込んだり読み出し、このプログラムを実行して、本発明を実施することができる。複数のコンピュータやインターネットからなるシステムにおいては、複数の処理を複数の端末に分散して行い得る。従って、プログラムは、コンピュータ等の単一の端末だけではなく、システムにも適用し得る。
【００６７】
記録媒体としては、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭといった半導体記憶素子、ＩＣカード、ハードディスク、フロッピーディスク、あるいはＭＯ、ＣＤ、ＭＤ、ＤＶＤ等の光ディスク、磁気テープ等を挙げることができ、プログラムを記録することが可能であれば他の種類の記録媒体であっても良い。
【００６８】
【発明の効果】
以上説明した様に本発明によれば、画像認識手段による認識結果に基づいて、第１及び第２モードのいずれかを選択し、この選択したモードで音声認識された言語を用いている。このため、音声認識を２種類の用途に切り替えることができる。
【００６９】
また、本発明によれば、第１モードでは、音声認識された言語を制御情報として用い、第２モードでは、音声認識された言語を文字列として用いている。従って、音声認識された言語を制御情報及び文字列のいずれかとして用いることができる。
【００７０】
更に、本発明によれば、撮像された画像にマイクが含まれるか否かに基づいて、話者を認識するので、形状や色が分かっているマイクを画像処理により識別すれば良く、画像処理が簡単化される。
【図面の簡単な説明】
【図１】本発明の音声処理装置の一実施形態を示すブロック図である。
【図２】（ａ）はマイクロホンが予め設定された画像領域に入って来た状態を示す図であり、（ｂ）はマイクロホンが画像領域から出て行った状態を示す図である。
【図３】本実施形態の音声処理装置の制御部による制御を示すフローチャートである。
【図４】本実施形態の音声処理装置の音声認識部による制御を示すフローチャートである。
【図５】本実施形態の音声処理装置により認識される各制御情報を例示する図である。
【図６】本実施形態の音声処理装置の上位システムによる制御を示すフローチャートである。
【図７】上位システムにおけるトウロク命令の応答処理を示すフローチャートである。
【図８】上位システムにおけるヘルプ命令の応答処理を示すフローチャートである。
【図９】上位システムにおけるサイセイ命令の応答処理を示すフローチャートである。
【図１０】上位システムにおけるヘンコウ命令の応答処理を示すフローチャートである。
【図１１】上位システムにおけるシュウリョウ命令の応答処理を示すフローチャートである。
【図１２】上位システムの表示画面に表示される表示オブジェクトの一例を示す図である。
【図１３】上位システムの表示画面に表示される表示オブジェクトの他の例を示す図である。
【図１４】上位システムの表示画面に表示される表示オブジェクトの別の例を示す図である。
【図１５】上位システムの表示画面に表示される表示オブジェクトの更に他の例を示す図である。
【図１６】上位システムの表示画面に表示される表示オブジェクトの更に別の例を示す図である。
【図１７】一般的なテキスト入力用のウィンドウを例示する図である。
【符号の説明】
１  ＣＣＤカメラ
２  制御部
３  音声入力部
４  マイクロホン
５  音声認識部
６  音声辞書
８  画像入力部
９  画像認識部
１０  入力ボタン
７０  文字変換部
７１  かな漢字辞書
７５  コマンド変換部
７６  コマンド辞書
８０  上位システム
【図１】
0004675514.tif 000002
【図２】
0004675514.tif 000003
【図３】
0004675514.tif 000004
【図４】
0004675514.tif 000005
【図５】
0004675514.tif 000006
【図６】
0004675514.tif 000007
【図７】
0004675514.tif 000008
【図８】
0004675514.tif 000009
【図９】
0004675514.tif 000010
【図１０】
0004675514.tif 000011
【図１１】
0004675514.tif 000012
【図１２】
0004675514.tif 000013
【図１３】
0004675514.tif 000014
【図１４】
0004675514.tif 000015
【図１５】
0004675514.tif 000016
【図１６】
0004675514.tif 000017
【図１７】
0004675514.tif 000018