(57)【要約】【課題】ユーザが発した音声の認識処理を良好にする。【解決手段】Ｓ３１で、音声が入力されるまで待機し、音声が入力されたとき、Ｓ３２に進み、ユーザの映像からの所定の部分の動きパターンの検出結果が供給されたか否かが判定され、供給されたと判定された場合、Ｓ３３に進み、供給された動きパターンが、発話時の動きのパターンであるか否かが判定される。Ｓ３３で、発話時の動きのパターンであると判定された場合、Ｓ３４に進み、発話があった旨が、音声認識部に通知される。音声認識部は、その通知を受けると、供給される音声の音声認識を開始する。【選択図】        図４
2007094104.tif 000002
【特許請求の範囲】
【請求項１】
音声を入力する音声入力手段と、
映像を入力する映像入力手段と、
前記映像入力手段により入力された映像から、話者の体の複数部分の動きを検出する検出手段と、
前記検出手段により検出された前記動きが、発話時の動きであるか否かを判定する判定手段と、
前記判定手段による判定結果に基づいて、前記音声入力手段により入力された前記音声を認識する音声認識手段と
を備える情報処理装置。
【請求項２】
音声を入力する音声入力ステップと、
映像を入力する映像入力ステップと、
前記映像入力ステップの処理で入力された映像から、話者の体の複数部分の動きを検出する検出ステップと、
前記検出ステップの処理で検出された前記動きが、発話時の動きであるか否かを判定する判定ステップと、
前記判定ステップでの処理での判定結果に基づいて、前記音声入力ステップの処理で入力された前記音声を認識する音声認識ステップと
を含む情報処理方法。
【請求項３】
音声を入力する音声入力ステップと、
映像を入力する映像入力ステップと、
前記映像入力ステップの処理で入力された映像から、話者の体の複数部分の動きを検出する検出ステップと、
前記検出ステップの処理で検出された前記動きが、発話時の動きであるか否かを判定する判定ステップと、
前記判定ステップでの処理での判定結果に基づいて、前記音声入力ステップの処理で入力された前記音声を認識する音声認識ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、ユーザが発した音声を適切に認識することができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、ロボットやホームエレクトロニクスの分野において、ユーザの音声を認識して所定の処理を実行させる技術が盛んに研究されている。
【０００３】
ところで集音された音声を単純に認識すると（非特許文献１および非特許文献２参照）、その音声に、ユーザが発した音声の他、例えばユーザの近くにあるテレビジョン受像機から出力された音声などが含まれている場合、ユーザの音声を正確に認識することができなかった。
【０００４】
そこで、例えばユーザの口の部分の映像から、ユーザの口の動きを検出し、その検出結果に基づいて、ユーザの音声を認識する方法が考えられている（非特許文献１乃至非特許文献６、特許文献１、および特許文献２参照）。
【０００５】
【非特許文献１】L. Rabiner and B. H. Juang, Fundamentals of Speech Recognition, New Jersey, Prentice Hall, Signal Processing Series (1993)
【非特許文献２】Towards improving speech detection robustness for speech recognition in adverse conditions, Speech Communication, Volume 40, Issue 3, May 2003, Pages 261-276, Lamia Karray and Arnaud Martin
【非特許文献３】P. de Cuetos, C. Neti, A.W. Senior. Audio-visual intent-to-speak detection for human-computer interaction, ICASSP June 5-9 2000, pp. 1325-1328, Istanbul, Turkey.
【非特許文献４】G. Iyengar, C. Neti. A vision-based microphone switch for speech intent detection, July 2001, Vancouver, Canada.
【非特許文献５】Large-Vocabulary Audio-Visual Speech Recognition: A Summary of the John Hopkins Summer 2000 Workshop. C. Neti, G. Potaminos, J. Luettin, I. Matthews, H. Glotin and D. Vergyri. Workshop on Multimedia Signal Processing (MMSP), Cannes, 2001.
【非特許文献６】Audio-Visual Speech Recognition. C. Neti, G. Potamianos, J. Luettin, I. Matthews, H. Glotin, D. Vergyri, J. Sison, A. Mashari and J. Zhou. Technical Report, Workshop 2000, CLSP, Johns Hopkins University, July-August 2000.
【特許文献１】US20040243416 A1   G10L   20041202 Speech recognition
【特許文献２】US20030048930 A1   G06K   20030313   KABUSHIKI KAISHA TOSHIBA  Image recognition apparatus and method
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このように、音声認識においてユーザの映像を利用する方法が提案されているが、この方法では、入力した音声にユーザの音声が含まれていることが前提とされており、入力した音声にユーザの音声が含まれるか否かを判定する際に、ユーザの映像を利用する方法は存在しない。
【０００７】
またユーザの動きを利用する従来の方法では、通常、口の動きまたは目の動きがそれぞれ別々に利用されており、口および目の動きを総合して利用したり、口または目の動きの他、顔（頭部分）の動き、手の動き、または体全体の動きを利用する方法は、存在しない。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、ユーザの動きを総合的に利用して音声認識を実行することで、音声認識を正確に実行できるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面は、音声を入力する音声入力手段と、映像を入力する映像入力手段と、前記映像入力手段により入力された映像から、話者の体の複数部分の動きを検出する検出手段と、前記検出手段により検出された前記動きが、発話時の動きであるか否かを判定する判定手段と、前記判定手段による判定結果に基づいて、前記音声入力手段により入力された前記音声を認識する音声認識手段とを備える情報処理装置である。
【００１０】
本発明の一側面は、音声を入力する音声入力ステップと、映像を入力する映像入力ステップと、前記映像入力ステップの処理で入力された映像から、話者の体の複数部分の動きを検出する検出ステップと、前記検出ステップの処理で検出された前記動きが、発話時の動きであるか否かを判定する判定ステップと、前記判定ステップでの処理での判定結果に基づいて、前記音声入力ステップの処理で入力された前記音声を認識する音声認識ステップとを含む情報処理方法またはプログラムである。
【００１１】
本発明の一側面においては、音声が入力され、映像が入力され、入力された映像から、話者の体の複数部分の動きが検出され、検出された前記動きが、発話時の動きであるか否かが判定され、その判定結果に基づいて、入力された前記音声が認識される。
【発明の効果】
【００１２】
以上のように、本発明の一側面によれば、音声認識を正確に行うことが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。したがって、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１４】
本発明の一側面は、音声を入力する音声入力手段（例えば、図１の音声処理部１１）と、映像を入力する映像入力手段（例えば、図１の画像処理部１２）と、前記映像入力手段により入力された映像から、話者の体の複数部分の動きを検出する検出手段（例えば、図１の動きパターン検出部１３）と、前記検出手段により検出された前記動きが、発話時の動きであるか否かを判定する判定手段（例えば、図１の発話判定部１４）と、前記判定手段による判定結果に基づいて、前記音声入力手段により入力された前記音声を認識する音声認識手段（例えば、図１の音声認識部１５）とを備える情報処理装置である。
【００１５】
本発明の一側面は、音声を入力する音声入力ステップ（例えば、図４のステップＳ３１）と、映像を入力する映像入力ステップ（例えば、図４のステップＳ３２）と、前記映像入力ステップの処理で入力された映像から、話者の体の複数部分の動きを検出する検出ステップ（例えば、図４のステップＳ３２）と、前記検出ステップの処理で検出された前記動きが、発話時の動きであるか否かを判定する判定ステップ（例えば、図４のステップＳ３３）と、前記判定ステップでの処理での判定結果に基づいて、前記音声入力ステップの処理で入力された前記音声を認識する音声認識ステップ（例えば、図４のステップＳ３４）とを含む情報処理方法またはプログラムである。
【００１６】
図１は、本発明を適用した音声認識装置３の利用例およびその構成例を示している。
【００１７】
マイクロフォン１は、集音した音声信号を音声認識装置３に供給する。
【００１８】
ビデオカメラ２は、撮影の結果得られた画像信号を音声認識装置３に供給する。
【００１９】
マイクロフォン１およびビデオカメラ２は、例えば、ユーザがその設置位置がわかるように、部屋の壁等に埋め込まれており、ユーザが、マイクロフォン１およびビデオカメラ２に向かって話しかけることができるようになされている。
【００２０】
音声認識装置３は、ビデオカメラ２により撮影された映像を利用して、マイクロフォン１により取り込まれた音声から、ユーザが発した音声を認識し、その認識結果を処理装置４に供給する。
【００２１】
処理装置４は、音声認識装置３からのユーザ音声の認識結果に応じて所定の処理を行う。例えば、処理装置４は、家電制御装置であり、ユーザの音声認識結果に応じて所定の家電機器（例えば、テレビジョン受像機や照明）の電源をオンオフするなどの制御を行う。
【００２２】
次に音声認識装置３の構成について説明する。
【００２３】
音声認識装置３の音声処理部１１は、マイクロフォン１から供給された音声信号に対して所定の音声処理を施し、その結果得られた音声データを発話判定部１４および音声認識部１５に供給する。
【００２４】
画像処理部１２は、ビデオカメラ２から供給された画像信号に対して所定の画像処理を施し、その結果得られた画像データを動きパターン検出部１３に供給する。
【００２５】
動きパターン検出部１３は、顔動きパターン検出部２１−１乃至手動きパターン検出部２１−４から構成されている。
【００２６】
顔動きパターン検出部２１−１は、画像処理部１２から供給された画像データから、ユーザの顔の部分を検出するとともに、例えば頭部分の動きパターンを検出し、その検出結果を、発話判定部１４に供給する。
【００２７】
目動きパターン検出部２１−２は、画像処理部１２から供給された画像データから、ユーザの目の部分を検出するとともに、その動きのパターンを検出し、その検出結果を、発話判定部１４に供給する。
【００２８】
口動きパターン検出部２１−３は、画像処理部１２から供給された画像データから、ユーザの口の部分を検出するとともに、その動きのパターンを検出し、その検出結果を、発話判定部１４に供給する。
【００２９】
手動きパターン検出部２１−４は、画像処理部１２から供給された画像データから、ユーザの手の部分を検出するとともに、その動きのパターンを検出し、その検出結果を、発話判定部１４に供給する。
【００３０】
発話判定部１４は、音声処理部１１からの音声信号の有無、動きパターン検出部１３からの動きパターンの検出結果に基づいて、音声処理部１１からの音声信号は、ユーザが発した音声であるか（発話があったか）否かを判定し、その判定結果を、音声認識部１５に供給する。
【００３１】
音声認識部１５は、発話判定部１４からの発話判定結果に基づいて音声処理部１１から供給された音声に対して、隠れマルコフモデル（Hidden Markov Models）（文献１参照）等を利用した音声認識処理を行い、その処理結果を、処理装置４に供給する。
文献１：L. Rabiner and B. H. Juang, Fundamentals of Speech Recognition, New Jersey, Prentice Hall, Signal Processing Series (1993)
【００３２】
人間が言葉を発するとき、話者（ユーザ）の口の他、通常、目、頭、手が動く。例えばうなずく場合、頭は、前後に動き、話の内容を否定するとき、左右に動く。目および手も、同様に、所定のパターンを伴って動く。
【００３３】
すなわち本発明では、話者（ユーザ）の映像から口、目、頭、手などの複数の部分の動きを検出し、その検出結果を総合的に利用して、音声認識することで、音声認識が正確に行われるようにするものである。
【００３４】
次に、音声認識装置３の顔動きパターン検出部２１−１の動作を、図２のフローチャートを参照して説明する。
【００３５】
ステップＳ１１において、顔動きパターン検出部２１−１は、画像処理部１２から、１フレーム分の画像データを入力する。
【００３６】
ステップＳ１２において、顔動きパターン検出部２１−１は、入力した画像データから、肌色領域を検出し、その検出結果に基づいて、トラッキングの対象（例えば、額部分）を決定する。
【００３７】
ステップＳ１３において、顔動きパターン検出部２１−１は、次のフレームの画像データを、画像処理部１２から入力する。
【００３８】
ステップＳ１４において、顔動きパターン検出部２１−１は、ステップＳ１３で入力したフレームの画像データを利用して、トラッキングの対象のオプティカルフローを検出する。
【００３９】
ステップＳ１５において、顔動きパターン検出部２１−１は、ステップＳ１４で検出したオプティカルフローに基づいて、トラッキングの対象（額部分）の動きパターンを認識する。
【００４０】
ステップＳ１６において、顔動きパターン検出部２１−１は、ステップＳ１５で認識した動きパターンが、予め想定した顔の動きの範囲内であるか否かを判定し、その範囲内ではないと判定した場合、いまトラッキングの対象としている領域が顔部分の画像でないとして、ステップＳ１７に進む。
【００４１】
ステップＳ１７において、顔動きパターン検出部２１−１は、トラッキング対象に対して肌色抽出処理を行い、ステップＳ１８において、その結果として例えば一定領域の肌色領域が認識され、トラッキング対象が顔部分であり動きパターンの追跡を続行すべきか否かを判定する。
【００４２】
ステップＳ１８で、顔部分ではないと判定された場合、ステップＳ１１に戻り、それ以降の処理が行われ、はじめからトラッキング対象が検出される。
【００４３】
ステップＳ１６で、認識された動きパターンが予想範囲内であると判定された場合、またはステップＳ１８で、動きパターンの追跡を続行すべきであると判定された場合、ステップＳ１９に進み、顔動きパターン検出部２１−１は、検出したトラッキング対象の動きを記憶し、そのパターンをトラッキングする。
【００４４】
ステップＳ２０において、顔動きパターン検出部２１−１は、トラッキング対象の動作パターンを決定するのに必要なデータが集まったか否かを判定し、まだ集まっていないと判定した場合、ステップＳ１３に戻り、それ以降の処理を同様に実行する。
【００４５】
ステップＳ２０で、トラッキング対象の動作パターンを決定するのに必要なデータが集まったと判定された場合、ステップＳ２１に進み、顔動きパターン検出部２１−１は、集まったデータに基づいて、例えば隠れマルコフモデルやベイジアンネットワークを利用して、顔（例えば、頭の部分）の動きパターンを決定し、発話判定部１４に供給する。
【００４６】
その後処理は終了する。上述した処理は、例えば画像処理部１２から画像データが供給される毎など、所定のタイミングで繰り返し実行される。
【００４７】
なお目動きパターン検出部２１−２乃至手動きパターン検出部２１−４の動作は、顔動きパターン検出部２１−１の動作と基本的に同じであるので、その説明は省略する。
【００４８】
また動きパターン検出部１３の検出処理は、上述した処理の他、例えば図３に示すように、画像データからのトラッキング対象を特定する処理（ステップＳ１２の処理に相当する処理）、トラッキング対象の特徴を抽出する処理（ステップＳ１４，Ｓ１５の処理に相当する処理）、および抽出した特徴を分類する処理（ステップＳ２１の処理に相当する処理）を有する他の方法で行うこともできる。
【００４９】
文献２および文献３には、トラッキング対象を特定するappearance modelsについての記載があり、文献４には、optical flow with skin color detectionについての記載がある。
【００５０】
文献２：Large-Vocabulary Audio-Visual Speech Recognition: A Summary of the John Hopkins Summer 2000 Workshop. C. Neti, G. Potaminos, J. Luettin, I. Matthews, H. Glotin and D. Vergyri. Workshop on Multimedia Signal Processing (MMSP), Cannes, 2001.
文献３：Allan D. Jepson, David J. Fleet, and Thomas F El-Maraghi. Robust online appearance models for visual tracking. In Proceedings IEEE Conference on Computer Vision and Pattern Recognition, pages 415{422, Kauai, Hawaii, 2001.
文献４：Hoey, J.: Decision Theoretic Learning of Human Facial Displays and Gestures., PhD thesis, University of British Columbia (2004).
【００５１】
次に発話判定部１４の動作を、図４のフローチャートを参照して説明する。
【００５２】
ステップＳ３１において、発話判定部１４は、音声処理部１１から音声が入力されるまで待機し、音声が入力されたとき、ステップＳ３２に進む。
【００５３】
ステップＳ３２において、発話判定部１４は、そのとき動きパターン検出部１３から動きパターンの検出結果が供給されたか否かを判定し、供給されたと判定した場合、ステップＳ３３に進む。
【００５４】
ステップＳ３３において、発話判定部１４は、隠れマルコフモデルやベイジアンネットワーク等を利用して（文献５および文献６参照）、動きパターン検出部１３から供給された動きパターンが、発話時の動きのパターンであるか（発話動作があったか）否かを判定する。
【００５５】
文献５：Bourlard, H. and Dupont, S., 鄭 new ASR approach based on independent processing and recombination of partial frequency bands,  Proc. ICSLP, vol. 1, pp. 426429, 1996.
文献６：Dynamic Bayesian Networks for Audio-Visual, Speech Recognition, Ara V. Nefian et al. EURASIP Journal on Applied Signal Processing 2002:11, 115, 2002
【００５６】
ステップＳ３３で、発話時の動きのパターンである（発話動作があった）と判定された場合、ステップＳ３４に進み、発話判定部１４は、発話があった旨を、音声認識部１５に通知する。音声認識部１５は、発話判定部１４からその通知を受けると、音声処理部１１から供給される音声の音声認識を開始する。
【００５７】
ステップＳ３２で、動きパターンの検出結果が入力されなかったと判定された場合、ステップＳ３３で、発話動作なしと判定された場合、またはステップＳ３４で、発話判定結果が音声認識部１５に通知された場合、ステップＳ３１に戻り、それ以降の処理が同様に行われる。
【００５８】
次に上述した発話判定部１４における動作を、図５を参照して具体的に説明する。
【００５９】
図５の最上段の欄には、動きパターン検出部１３に供給される画像の例が示されている。
【００６０】
画像Ａは、ユーザが立って、身振り手振りで話しているとき（顔、目、口、手が動いているとき）の体全体の撮像画像（動画）であり、この画像Ａが画像処理部１２から供給されると、顔動きパターン検出部２１−１乃至手動きパターン検出部２１−４は、それぞれ所定の部分の動きパターンを検出し、その検出結果を発話判定部１４に供給する。
【００６１】
なお図５中、各画像の欄の下に設けられた、「動き有り」の欄に対応する「顔」、「目」、「口」、「手」の項目に示される○印は、その部分の動きパターンが検出されたことを示し、×印は、その部分の動きパターンが検出されなかったことを示す。
【００６２】
画像Ａが動きパターン検出部１３に供給されるとき、いまの場合、ユーザが発した大きな音声が発話判定部１４に供給される。
【００６３】
すなわち発話判定部１４には、ユーザの音声と画像Ａに対する動きパターンの検出結果が入力されるので（ステップＳ３１，Ｓ３２）、発話判定部１４は、ステップＳ３３に進み、その動きパターンが発話時の動作であるか否かを判定する。
【００６４】
この場合、発話判定部１４は、顔動きパターン検出部２１−１乃至手動きパターン検出部２１−４から供給された動きパターンから、それぞれ、頭、目、口、および手の動きが、発話時の動きであると判定し（ステップＳ３３）、発話があった旨を音声認識部１５に通知する（ステップＳ３４）。
【００６５】
なお図５中、各画像の欄の下に設けられた、「発話時の動き」の欄に対応する「顔」、「目」、「口」、「手」の項目に示される○印は、その部分の動きが発話時の動きであることを示し、×印は、その部分の動きが発話時の動きではないことを示す。
【００６６】
画像Ｂは、ユーザが手で口の部分を覆って静かに話しているとき（目は動いているが、顔と手は動いておらず、口が外からは見えないとき）の顔部分の撮像画像（動画）であり、この画像Ｂが画像処理部１２から供給されると、目動きパターン検出部２１−２は、目の動きパターンを検出して、その検出結果を発話判定部１４に供給し、顔動きパターン検出部２１−１、口動きパターン検出部２１−３、および手動きパターン検出部２１−４は、動きパターンを検出しないので、検出結果を発話判定部１４に供給しない。
【００６７】
画像Ｂが動きパターン検出部１３に供給されるとき、いまの場合、ユーザが発した小さな音声が発話判定部１４に供給される。
【００６８】
すなわち発話判定部１４には、ユーザの音声と画像Ｂに対する目動きパターンの検出結果が入力されるので（ステップＳ３１，Ｓ３２）、発話判定部１４は、ステップＳ３３に進み、目の動きパターンが発話時の動作であるか否かを判定する。
【００６９】
この場合、発話判定部１４は、目動きパターン検出部２１−２から供給された動きパターンから、目の動きが発話時の動きであると判定し（ステップＳ３３）、発話があった旨を音声認識部１５に通知する（ステップＳ３４）。
【００７０】
画像Ｃは、ユーザが座って寝ているとき（顔、目、口、手も動いていないとき）の体全体の撮像画像（動画）であり、この画像Ｃが画像処理部１２から供給されると、顔動きパターン検出部２１−１乃至手動きパターン検出部２１−４のいずれも、動きパターンを検出しないので、検出結果を発話判定部１４に供給しない。
【００７１】
画像Ｃが動きパターン検出部１３に供給されるとき、音声は発話判定部１４に供給されない。
【００７２】
すなわち結局発話判定部１４には、音声が入力されないので（ステップＳ３１）、発話判定部１４は、発話があった旨を音声認識部１５に通知しない（ステップＳ３４）。
【００７３】
画像Ｄは、ユーザが無言でテレビジョン受像機の前に座ってテレビゲームをやっているとき（顔と口は動いておらず、目と手が動いているとき）の撮像画像（動画）であり、この画像Ｄが画像処理部１２から供給されると、目動きパターン検出部２１−２および手動きパターン検出部２１−４は、目および手の動きパターンを検出して、その検出結果を発話判定部１４に供給する。顔動きパターン検出部２１−１および口動きパターン検出部２１−３は、動きパターンを検出しないので、検出結果を発話判定部１４に供給しない。
【００７４】
画像Ｄが動きパターン検出部１３に供給されるとき、テレビジョン受像機から出力されたテレビゲームの音声が発話判定部１４に供給される。
【００７５】
すなわち発話判定部１４には、テレビゲームの音声と画像Ｄに対する目動きパターン検出部２１−２および手動きパターン検出部２１−４からの動きパターンの検出結果が入力されるので（ステップＳ３１，Ｓ３２）、発話判定部１４は、ステップＳ３３に進み、その動きパターンが発話時の動作であるか否かを判定する。
【００７６】
この場合、発話判定部１４は、目動きパターン検出部２１−２および手動きパターン検出部２１−４から供給された動きパターンから、目の動きおよび手の動きが発話時の動きではないと判定し（ステップＳ３３）、発話があった旨を音声認識部１５に通知しない（ステップＳ３４）。
【００７７】
画像Ｅは、ラジオ放送の音声を出力しているラジオの撮像画像（ユーザの映像を含まない画像）（動画）であり、この画像Ｅが画像処理部１２から供給されたとき、顔動きパターン検出部２１−１乃至手動きパターン検出部２１−４は、動きパターンを検出しないので、検出結果を発話判定部１４に供給しない。
【００７８】
画像Ｅが動きパターン検出部１３に供給されるとき、ラジオの音声が発話判定部１４に供給される。
【００７９】
すなわち発話判定部１４には、ラジオの音声が入力されるが（ステップＳ３１）、動きパターンは入力されないので（ステップＳ３２）、発話判定部１４は、発話があった旨を音声認識部１５に通知しない（ステップＳ３４）。
【００８０】
以上のように、音声の入力とともに、映像からユーザの発話動作を検出して音声認識を行うようにしたので、音声認識を正確に行うことができる。例えば、図５の画像Ｄおよび画像Ｅによる例のように、音声の入力があっても、ユーザの発話動作が検出されない場合、音声認識が行われないので、テレビジョン受像機またはラジオから出力される音声が、ユーザの音声として認識されることはない。
【００８１】
またユーザの発話動作を検出するに際に、ユーザの体の複数の部分の動きを利用して発話動作を検出するようにしたので、音声認識をさらに正確に行うことができる。例えば画像Ｂの例の場合のように、口の部分の動きが検出されなくても、目の動きから発話動作を検出することができるので、口の動きが検出されなくても、ユーザの音声として音声認識を行うようにすることができる。
【００８２】
なお、図１の例においては、図６Ａに示すように、音声入力と所定の部分の動作パターンに基づいて、発話動作を判定したが、図６Ｂに示すように、各部の動作パターンを検出する前段階としてその部分が検出されたとき、その検出結果をさらに利用して発話動作を判定することができる。
【００８３】
これにより例えば、口が検出されたときは、その動作パターンに関わらず、発話動作があったものとして、発話動作検出を簡単なものにすることもできる。
【００８４】
また図６Ａおよび図６Ｂの例では、対象部分の検出結果、およびその動きパターンの検出結果は、発話動作検出のみに利用されたが、図６Ｃに示すように、音声処理に利用することもできる。
【００８５】
これによりユーザの音声をより正確に抽出することができるようになる。
【００８６】
また以上においては、ユーザの映像は、発話動作の判定にのみ利用されていたが、音声認識部１５において、例えば口の部分の動きを利用して音声認識をすることもできる。
【００８７】
これにより音声にユーザの音声以外の音声が含まれていても、正確に音声認識を行うことができる。
【００８８】
また以上において、検出するユーザの体の部分を、顔、目、口、および手としたが、体全体、耳、腕、足等、他の部分を検出し、その検出結果を利用することもできる。
【００８９】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００９０】
図７は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、または記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２０１、ROM２０２、およびRAM２０３は、バス２０４により相互に接続されている。
【００９１】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロフォンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【００９２】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【００９３】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【００９４】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【００９５】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図７に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１、または、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【００９６】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【００９７】
【図１】本発明を適用した音声認識装置３の構成例を示すブロック図である。
【図２】図１の動きパターン検出部１３の動作を説明するフローチャートである。
【図３】図１の動きパターン検出部１３の動作を説明する他の図である。
【図４】図１の発話判定部１４の動作を説明するフローチャートである。
【図５】図１の発話判定部１４の動作を説明する他の図である。
【図６】音声認識装置３の他の動作を説明する図である。
【図７】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【００９８】
１  マイクロフォン，  ２  ビデオカメラ，  ３  音声認識装置，  ４  処理装置，  １１  音声処理部，  １２  画像処理部，  １３  動きパターン検出部，  １４  発話判定部，  １５  音声認識部
【図１】
2007094104.tif 000003
【図２】
2007094104.tif 000004
【図３】
2007094104.tif 000005
【図４】
2007094104.tif 000006
【図５】
2007094104.tif 000007
【図６】
2007094104.tif 000008
【図７】
2007094104.tif 000009