【手続補正書】
【提出日】平成20年9月26日(2008.9.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
話者が撮影された映像から、前記話者の体の複数部分の動きパターンを検出する検出手段と、
検出された前記動きパターンが、前記話者による発話時の動きパターンであるか否かを判定する判定手段と、
検出された前記動きパターンの判定による判定結果に基づいて、前記話者による発話時の音声を認識する音声認識手段と
を備える情報処理装置。
【請求項２】
前記検出手段は、
前記映像に基づいて、前記話者の体の複数部分のうち、動きを検出する対象であるトラッキング対象を決定するトラッキング対象決定手段と、
前記映像から、決定された前記トラッキング対象のオプティカルフローを検出するオプティカルフロー検出手段と、
検出された前記オプティカルフローに基づいて、前記トラッキング対象の動きを認識する動き認識手段と、
認識された前記動きが、予め想定した動きの想定範囲内である場合、前記動きを追跡する動き追跡手段と、
追跡された前記動きに基づいて、前記トラッキング対象の動きパターンを決定する動きパターン決定手段と
を有する請求項１に記載の情報処理装置。
【請求項３】
前記トラッキング対象決定手段は、前記映像内の前記話者の顔を表す肌色領域に基づいて、前記話者の顔を、前記トラッキング対象として決定する
請求項２に記載の情報処理装置。
【請求項４】
前記判定手段は、隠れマルコフモデル、又はベイジアンネットワークのいずれか一方を用いて、検出された前記動きパターンが、前記話者による発話時の動きパターンであるか否かを判定する
請求項１に記載の情報処理装置。
【請求項５】
前記音声認識手段は、検出された前記動きパターンが、前記話者による発話時の動きパターンであると判定された場合、前記話者による発話時の音声を認識する
請求項１に記載の情報処理装置。
【請求項６】
前記検出手段は、少なくとも、前記話者の口及び頭の動きパターンを検出する
請求項１に記載の情報処理装置。
【請求項７】
話者の体の複数部分の動きパターンに基づいて、前記話者による発話時の音声を認識する情報処理装置の情報処理方法において、
話者が撮影された映像から、前記話者の体の複数部分の動きパターンを検出する検出ステップと、
検出された前記動きパターンが、前記話者による発話時の動きパターンであるか否かを判定する判定ステップと、
検出された前記動きパターンの判定による判定結果に基づいて、前記話者による発話時の音声を認識する音声認識ステップと
を含む情報処理方法。
【請求項８】
話者が撮影された映像から、前記話者の体の複数部分の動きパターンを検出する検出ステップと、
検出された前記動きパターンが、前記話者による発話時の動きパターンであるか否かを判定する判定ステップと、
検出された前記動きパターンの判定による判定結果に基づいて、前記話者による発話時の音声を認識する音声認識ステップと
を含む処理をコンピュータに実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の一側面は、話者が撮影された映像から、前記話者の体の複数部分の動きパターンを検出する検出手段と、検出された前記動きパターンが、前記話者による発話時の動きパターンであるか否かを判定する判定手段と、検出された前記動きパターンの判定による判定結果に基づいて、前記話者による発話時の音声を認識する音声認識手段とを備える情報処理装置である。
前記検出手段には、前記映像に基づいて、前記話者の体の複数部分のうち、動きを検出する対象であるトラッキング対象を決定するトラッキング対象決定手段と、前記映像から、決定された前記トラッキング対象のオプティカルフローを検出するオプティカルフロー検出手段と、検出された前記オプティカルフローに基づいて、前記トラッキング対象の動きを認識する動き認識手段と、認識された前記動きが、予め想定した動きの想定範囲内である場合、前記動きを追跡する動き追跡手段と、追跡された前記動きに基づいて、前記トラッキング対象の動きパターンを決定する動きパターン決定手段とを設けさせることができる。
前記トラッキング対象決定手段には、前記映像内の前記話者の顔を表す肌色領域に基づいて、前記話者の顔を、前記トラッキング対象として決定させることができる。
前記判定手段には、隠れマルコフモデル、又はベイジアンネットワークのいずれか一方を用いて、検出された前記動きパターンが、前記話者による発話時の動きパターンであるか否かを判定させることができる。
前記音声認識手段には、検出された前記動きパターンが、前記話者による発話時の動きパターンであると判定された場合、前記話者による発話時の音声を認識させることができる。
前記検出手段には、少なくとも、前記話者の口及び頭の動きパターンを検出させることができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の一側面は、話者が撮影された映像から、前記話者の体の複数部分の動きパターンを検出する検出ステップと、検出された前記動きパターンが、前記話者による発話時の動きパターンであるか否かを判定する判定ステップと、検出された前記動きパターンの判定による判定結果に基づいて、前記話者による発話時の音声を認識する音声認識ステップとを含む情報処理方法またはプログラムである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の一側面においては、話者が撮影された映像から、前記話者の体の複数部分の動きパターンが検出され、検出された前記動きパターンが、前記話者による発話時の動きパターンであるか否かが判定され、その判定結果に基づいて、前記話者による発話時の音声が認識される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明の一側面は、話者が撮影された映像から、前記話者の体の複数部分の動きパターンを検出する検出手段（例えば、図１の動きパターン検出部１３）と、検出された前記動きパターンが、前記話者による発話時の動きパターンであるか否かを判定する判定手段（例えば、図１の発話判定部１４）と、検出された前記動きパターンの判定による判定結果に基づいて、前記話者による発話時の音声を認識する音声認識手段（例えば、図１の音声認識部１５）とを備える情報処理装置である。
本発明の一側面において、前記検出手段は、前記映像に基づいて、前記話者の体の複数部分のうち、動きを検出する対象であるトラッキング対象を決定するトラッキング対象決定手段（例えば、図２のステップＳ１２の処理を実行する顔動きパターン検出部２１−１）と、前記映像から、決定された前記トラッキング対象のオプティカルフローを検出するオプティカルフロー検出手段（例えば、図２のステップＳ１４の処理を実行する顔動きパターン検出部２１−１）と、検出された前記オプティカルフローに基づいて、前記トラッキング対象の動きを認識する動き認識手段（例えば、図２のステップＳ１５の処理を実行する顔動きパターン検出部２１−１）と、認識された前記動きが、予め想定した動きの想定範囲内である場合、前記動きを追跡する動き追跡手段（例えば、図２のステップＳ１９の処理を実行する顔動きパターン検出部２１−１）と、追跡された前記動きに基づいて、前記トラッキング対象の動きパターンを決定する動きパターン決定手段（例えば、図２のステップＳ２１の処理を実行する顔動きパターン検出部２１−１）とを有する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明の一側面は、話者が撮影された映像から、前記話者の体の複数部分の動きパターンを検出する検出ステップ（例えば、図４のステップＳ３２）と、検出された前記動きパターンが、前記話者による発話時の動きパターンであるか否かを判定する判定ステップ（例えば、図４のステップＳ３３）と、検出された前記動きパターンの判定による判定結果に基づいて、前記話者による発話時の音声を認識する音声認識ステップ（例えば、図４のステップＳ３４）とを含む情報処理方法またはプログラムである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
文献５：Bourlard, H. and Dupont, S., A new ASR approach based on independent processing and recombination of partial frequency bands,  Proc. ICSLP, vol. 1, pp. 426429, 1996.
文献６：Dynamic Bayesian Networks for Audio-Visual, Speech Recognition, Ara V. Nefian et al. EURASIP Journal on Applied Signal Processing 2002:11, 115, 2002