(57)【要約】【課題】動画像上の被写体が動作区間を精度よく速やかに判別する。【解決手段】本実施の形態においては、順次入力される各フレームの唇画像に順次注目し、注目した唇画像ｔを基準として、その前後それぞれのＮフレームから成る合計２Ｎ＋１枚の唇画像を所定の位置に配置して１枚の合成画像を生成する。この生成された１枚の合成画像に対して、ピクセル差分特徴量が演算される。本発明は、例えば、動画像の被写体である人物の発話区間を精度よく検出する場合に適用することができる。【選択図】図３
2012003326.tif 000002
【特許請求の範囲】
【請求項１】
所定の動作を行う被写体を撮像した学習用動画像の各フレームからそれぞれに対応する学習用画像を生成する第１の生成手段と、
順次生成される前記学習用画像を基準とし、前記基準とした前記学習用画像を含む所定のフレーム数に対応する複数の前記学習用画像を所定の位置に配置して合成することにより学習用合成画像を生成する第１の合成手段と、
生成された前記学習用合成画像の特徴量を演算し、演算結果として得られた前記特徴量を用いた統計学習により、入力される判定用合成画像の基準となった判定用画像が前記所定の動作に対応するものであるか否かを判別する判別器を生成する学習手段と、
前記所定の動作に対応するものであるか否かの判定対象とする判定用動画像の各フレームからそれぞれに対応する判定用画像を生成する第２の生成手段と、
順次生成される前記判定用画像を基準とし、前記基準とした前記判定用画像を含む所定のフレーム数に対応する複数の前記判定用画像を所定の位置に配置して合成することにより判定用合成画像を生成する第２の合成手段と、
生成された前記判定用合成画像の特徴量を演算する特徴量演算手段と、
演算された前記特徴量を前記判別器に入力して得られる判別結果としてのスコアに基づき、前記判定用合成画像の基準となった前記判定用画像が前記所定の動作に対応するものであるか否かを判定する判定手段と
を含む情報処理装置。
【請求項２】
前記画像特徴量は、ピクセル差分特徴量である
請求項１に記載の情報処理装置。
【請求項３】
演算された前記特徴量を前記判別器に入力して得られる判別結果としてのスコアを正規化する正規化手段をさらに含み、
前記判定手段は、正規化された前記スコアに基づき、前記判定用合成画像の基準となった前記判定用画像が前記所定の動作に対応するものであるか否かを判定する
請求項２に記載の情報処理装置。
【請求項４】
前記所定の動作は、被写体となる人物の発話であり、
前記判定手段は、演算された前記特徴量を前記判別器に入力して得られる判別結果としてのスコアに基づき、前記判定用合成画像の基準となった前記判定用画像が発話区間に対応するものであるか否かを判定する
請求項２に記載の情報処理装置。
【請求項５】
前記第１の生成手段は、
発話中の人物を被写体として撮像した前記学習用動画像の各フレームから前記人物の顔領域を検出し、
検出した前記顔領域から唇領域を検出し、
検出した前記唇領域に基づいて前記学習用画像としての唇画像を生成し、
前記第２の生成手段は、
前記判定用動画像の各フレームから人物の顔領域を検出し、
検出した前記顔領域から唇領域を検出し、
検出した前記唇領域に基づいて前記判定用画像としての唇画像を生成する
請求項４に記載の情報処理装置。
【請求項６】
前記第２の生成手段は、
前記判定用動画像の処理対象とするフレームから前記顔領域が検出されなかった場合、前のフレームで顔領域が検出された位置情報に基づいて前記判定用画像としての前記唇画像を生成する
請求項５に記載の情報処理装置。
【請求項７】
前記所定の動作は、被写体となる人物の発話であり、
前記判定手段は、演算された前記特徴量を前記判別器に入力して得られる判別結果としてのスコアに基づき、前記判定用合成画像の基準となった前記判定用画像に対応する発話内容を判定する
請求項２に記載の情報処理装置。
【請求項８】
入力された動画像を識別する情報処理装置の情報処理方法において、
前記情報処理装置による、
所定の動作を行う被写体を撮像した学習用動画像の各フレームからそれぞれに対応する学習用画像を生成する第１の生成ステップと、
順次生成される前記学習用画像を基準とし、前記基準とした前記学習用画像を含む所定のフレーム数に対応する複数の前記学習用画像を所定の位置に配置して合成することにより学習用合成画像を生成する第１の合成ステップと、
生成された前記学習用合成画像の特徴量を演算し、演算結果として得られた前記特徴量を用いた統計学習により、入力される判定用合成画像の基準となった判定用画像が前記所定の動作に対応するものであるか否かを判別する判別器を生成する学習ステップと、
前記所定の動作に対応するものであるか否かの判定対象とする判定用動画像の各フレームからそれぞれに対応する判定用画像を生成する第２の生成ステップと、
順次生成される前記判定用画像を基準とし、前記基準とした前記判定用画像を含む所定のフレーム数に対応する複数の前記判定用画像を所定の位置に配置して合成することにより判定用合成画像を生成する第２の合成ステップと、
生成された前記判定用合成画像の特徴量を演算する特徴量演算ステップと、
演算された前記特徴量を前記判別器に入力して得られる判別結果としてのスコアに基づき、前記判定用合成画像の基準となった前記判定用画像が前記所定の動作に対応するものであるか否かを判定する判定ステップと
を含む情報処理方法。
【請求項９】
コンピュータに、
所定の動作を行う被写体を撮像した学習用動画像の各フレームからそれぞれに対応する学習用画像を生成する第１の生成手段と、
順次生成される前記学習用画像を基準とし、前記基準とした前記学習用画像を含む所定のフレーム数に対応する複数の前記学習用画像を所定の位置に配置して合成することにより学習用合成画像を生成する第１の合成手段と、
生成された前記学習用合成画像の特徴量を演算し、演算結果として得られた前記特徴量を用いた統計学習により、入力される判定用合成画像の基準となった判定用画像が前記所定の動作に対応するものであるか否かを判別する判別器を生成する学習手段と、
前記所定の動作に対応するものであるか否かの判定対象とする判定用動画像の各フレームからそれぞれに対応する判定用画像を生成する第２の生成手段と、
順次生成される前記判定用画像を基準とし、前記基準とした前記判定用画像を含む所定のフレーム数に対応する複数の前記判定用画像を所定の位置に配置して合成することにより判定用合成画像を生成する第２の合成手段と、
生成された前記判定用合成画像の特徴量を演算する特徴量演算手段と、
演算された前記特徴量を前記判別器に入力して得られる判別結果としてのスコアに基づき、前記判定用合成画像の基準となった前記判定用画像が前記所定の動作に対応するものであるか否かを判定する判定手段と
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、例えば、動画像上の被写体である人物の発話区間を判定できるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、予め学習されている所定の物体を静止画像上から検出する技術が存在し、例えば、下記特許文献１に記載の発明では、静止画像上から人の顔を検出することができる。具体的には、物体（いまの場合、人の顔）の特徴量として、静止画像上に２画素の組み合わせを複数設定し、各組み合わせの２画素の画素値（輝度値）の差分を算出し、この特徴量に基づいて学習済みの物体の有無を判定するようにしている。この特徴量は、PixDif特徴量と称されるものであり、以下においては、ピクセル差分特徴量と称する。
【０００３】
また、従来、動画像上の被写体の動作を判別するための技術が存在し、例えば、下記特許文献２に記載の発明では、動画像の被写体である人物が話している期間を示す発話区間を判定することができる。具体的には、動画像の前後する２フレーム間の全ての画素どうしの画素値の差分を算出し、この算出結果に基づいて発話区間を検出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２８４３４８号公報
【特許文献２】特開２００９−２２３７６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１にも記載されているピクセル差分特徴量は、比較的少ない計算コストで特徴量を算出できることに加え、それを用いた物体検出にも比較的高い精度を得ることができる。しかしながら、ピクセル差分特徴量は、静止画像上の特徴量を示すものであって、動画像上の人物の発話区間を判別する場合に用いるなど、時系列の特徴量として利用することができなかった。
【０００６】
特許文献２に記載されている発明では、動画像上の人物の発話区間を判別することができる。しかしながら、前後する２フレーム間の関係のみに注目しているに過ぎず、判別精度を上げることが困難であった。また、２フレーム間の全ての画素どうしの差分を算出するので、比較的計算量が多くなってしまう。従って、画像上に複数の人物が存在し、各人物の発話区間を検出するような場合、リアルタイム処理が困難であった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、動画像上の被写体が動作している動作区間を精度よく速やかに判別できるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面である情報処理装置は、所定の動作を行う被写体を撮像した学習用動画像の各フレームからそれぞれに対応する学習用画像を生成する第１の生成手段と、順次生成される前記学習用画像を基準とし、前記基準とした前記学習用画像を含む所定のフレーム数に対応する複数の前記学習用画像を所定の位置に配置して合成することにより学習用合成画像を生成する第１の合成手段と、生成された前記学習用合成画像の特徴量を演算し、演算結果として得られた前記特徴量を用いた統計学習により、入力される判定用合成画像の基準となった判定用画像が前記所定の動作に対応するものであるか否かを判別する判別器を生成する学習手段と、前記所定の動作に対応するものであるか否かの判定対象とする判定用動画像の各フレームからそれぞれに対応する判定用画像を生成する第２の生成手段と、順次生成される前記判定用画像を基準とし、前記基準とした前記判定用画像を含む所定のフレーム数に対応する複数の前記判定用画像を所定の位置に配置して合成することにより判定用合成画像を生成する第２の合成手段と、生成された前記判定用合成画像の特徴量を演算する特徴量演算手段と、演算された前記特徴量を前記判別器に入力して得られる判別結果としてのスコアに基づき、前記判定用合成画像の基準となった前記判定用画像が前記所定の動作に対応するものであるか否かを判定する判定手段とを含む。
【０００９】
前記画像特徴量は、ピクセル差分特徴量とすることができる。
【００１０】
本発明の一側面である情報処理装置は、演算された前記特徴量を前記判別器に入力して得られる判別結果としてのスコアを正規化する正規化手段をさらに含むことができ、前記判定手段は、正規化された前記スコアに基づき、前記判定用合成画像の基準となった前記判定用画像が前記所定の動作に対応するものであるか否かを判定することができる。
【００１１】
前記所定の動作は、被写体となる人物の発話とすることができ、前記判定手段は、演算された前記特徴量を前記判別器に入力して得られる判別結果としてのスコアに基づき、前記判定用合成画像の基準となった前記判定用画像が発話区間に対応するものであるか否かを判定することができる。
【００１２】
前記第１の生成手段は、発話中の人物を被写体として撮像した前記学習用動画像の各フレームから前記人物の顔領域を検出し、検出した前記顔領域から唇領域を検出し、検出した前記唇領域に基づいて前記学習用画像としての唇画像を生成し、前記第２の生成手段は、前記判定用動画像の各フレームから人物の顔領域を検出し、検出した前記顔領域から唇領域を検出し、検出した前記唇領域に基づいて前記判定用画像としての唇画像を生成することができる。
【００１３】
前記第２の生成手段は、前記判定用動画像の処理対象とするフレームから前記顔領域が検出されなかった場合、前のフレームで顔領域が検出された位置情報に基づいて前記判定用画像としての前記唇画像を生成することができる。
【００１４】
前記所定の動作は、被写体となる人物の発話とすることができ、前記判定手段は、演算された前記特徴量を前記判別器に入力して得られる判別結果としてのスコアに基づき、前記判定用合成画像の基準となった前記判定用画像に対応する発話内容を判定することができる。
【００１５】
本発明の一側面である情報処理方法は、入力された動画像を識別する情報処理装置の情報処理方法において、前記情報処理装置による、所定の動作を行う被写体を撮像した学習用動画像の各フレームからそれぞれに対応する学習用画像を生成する第１の生成ステップと、順次生成される前記学習用画像を基準とし、前記基準とした前記学習用画像を含む所定のフレーム数に対応する複数の前記学習用画像を所定の位置に配置して合成することにより学習用合成画像を生成する第１の合成ステップと、生成された前記学習用合成画像の特徴量を演算し、演算結果として得られた前記特徴量を用いた統計学習により、入力される判定用合成画像の基準となった判定用画像が前記所定の動作に対応するものであるか否かを判別する判別器を生成する学習ステップと、前記所定の動作に対応するものであるか否かの判定対象とする判定用動画像の各フレームからそれぞれに対応する判定用画像を生成する第２の生成ステップと、順次生成される前記判定用画像を基準とし、前記基準とした前記判定用画像を含む所定のフレーム数に対応する複数の前記判定用画像を所定の位置に配置して合成することにより判定用合成画像を生成する第２の合成ステップと、生成された前記判定用合成画像の特徴量を演算する特徴量演算ステップと、演算された前記特徴量を前記判別器に入力して得られる判別結果としてのスコアに基づき、前記判定用合成画像の基準となった前記判定用画像が前記所定の動作に対応するものであるか否かを判定する判定ステップとを含む。
【００１６】
本発明の一側面であるプログラムは、コンピュータに、所定の動作を行う被写体を撮像した学習用動画像の各フレームからそれぞれに対応する学習用画像を生成する第１の生成手段と、順次生成される前記学習用画像を基準とし、前記基準とした前記学習用画像を含む所定のフレーム数に対応する複数の前記学習用画像を所定の位置に配置して合成することにより学習用合成画像を生成する第１の合成手段と、生成された前記学習用合成画像の特徴量を演算し、演算結果として得られた前記特徴量を用いた統計学習により、入力される判定用合成画像の基準となった判定用画像が前記所定の動作に対応するものであるか否かを判別する判別器を生成する学習手段と、前記所定の動作に対応するものであるか否かの判定対象とする判定用動画像の各フレームからそれぞれに対応する判定用画像を生成する第２の生成手段と、順次生成される前記判定用画像を基準とし、前記基準とした前記判定用画像を含む所定のフレーム数に対応する複数の前記判定用画像を所定の位置に配置して合成することにより判定用合成画像を生成する第２の合成手段と、生成された前記判定用合成画像の特徴量を演算する特徴量演算手段と、演算された前記特徴量を前記判別器に入力して得られる判別結果としてのスコアに基づき、前記判定用合成画像の基準となった前記判定用画像が前記所定の動作に対応するものであるか否かを判定する判定手段として機能させる。
【００１７】
本発明の一側面においては、所定の動作を行う被写体を撮像した学習用動画像の各フレームからそれぞれに対応する学習用画像が生成され、順次生成される学習用画像を基準とし、基準とされた前記学習用画像を含む所定のフレーム数に対応する複数の学習用画像を所定の位置に配置して合成することにより学習用合成画像が生成され、生成された学習用合成画像の特徴量が演算され、演算結果として得られた特徴量を用いた統計学習により、入力される判定用合成画像の基準となった判定用画像が所定の動作に対応するものであるか否かを判別する判別器が生成される。さらに、所定の動作に対応するものであるか否かの判定対象とする判定用動画像の各フレームからそれぞれに対応する判定用画像が生成され、順次生成される判定用画像が基準とされ、基準とされた判定用画像を含む所定のフレーム数に対応する複数の判定用画像を所定の位置に配置して合成することにより判定用合成画像が生成され、生成された判定用合成画像の特徴量が演算され、演算された特徴量を前記判別器に入力して得られる判別結果としてのスコアに基づき、判定用合成画像の基準となった判定用画像が所定の動作に対応するものであるか否かが判定される。
【発明の効果】
【００１８】
本発明の一側面によれば、動画像上の被写体が動作している動作区間を精度よく速やかに判別することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明を適用した学習装置の構成例を示すブロック図である。
【図２】顔画像、唇領域、および唇画像の例を示す図である。
【図３】唇画像および時系列合成画像を示す図である。
【図４】発話区間判別器学習処理を説明するフローチャートである。
【図５】本発明を適用した発話区間判定装置の構成例を示すブロック図である。
【図６】発話スコアの正規化を説明するための図である。
【図７】発話スコアの正規化を説明するための図である。
【図８】正規化スコアの補間を説明するための図である。
【図９】発話区間判定処理を説明するフローチャートである。
【図１０】トラッキング処理を説明するフローチャートである。
【図１１】時系列合成画像の元となる顔画像のフレーム数２Ｎ＋１による判定性能の違いを示す図である。
【図１２】発話区間判定装置による発話区間の判定性能を示す図である。
【図１３】発話認識に適用した場合の性能を示す図である。
【図１４】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００２１】
＜１．実施の形態＞
［学習装置の構成例］
図１は、本発明の実施の形態である学習装置の構成例を示している。この学習装置１０は、後述する発話区間判定装置３０に用いる発話区間判別器２０を学習するためのものである。なお、学習装置１０は、発話区間判定装置３０と組み合わせて一体化するようにしてもよい。
【００２２】
学習装置１０は、画音分離部１１、顔領域検出部１２、唇領域検出部１３、唇画像生成部１４、発話区間検出部１５、発話区間ラベル付与部１６、時系列合成画像生成部１７、および学習部１８から構成される。
【００２３】
画音分離部１１は、被写体となる人物が話しをしたり、反対に黙っていたりする状態を撮像して得られる学習用の音声付動画像（以下、学習用動画像と称する）を入力とし、これを学習用ビデオ信号と学習用オーディオ信号とに分離する。分離された学習用ビデオ信号は顔領域検出部１２に入力され、分離された学習用オーディオ信号は発話区間検出部１５に入力される。
【００２４】
なお、学習用動画像は、この学習のためにビデオ撮影を行って用意してもよいし、例えばテレビジョン番組などのコンテンツを流用してもよい。
【００２５】
顔領域検出部１２は、図２Ａに示すように、学習用動画像から分離された学習用ビデオ信号の各フレームから人の顔を含む顔領域を検出して抽出し、抽出した顔領域を唇領域検出部１３に出力する。
【００２６】
唇領域検出部１３は、図２Ｂに示すように、顔領域検出部１２から入力された各フレームの顔領域から、唇の口角の端点を含む唇領域を検出して抽出し、抽出した唇領域を唇画像生成部１４に出力する。
【００２７】
なお、顔領域および唇領域の検出方法については、例えば特開２００５−２８４４８７号公報などに開示されている手法など,既存の任意の手法を適用することができる。
【００２８】
唇画像生成部１４は、図２Ｃに示すように、唇の口角の端点を結ぶ線が水平になるように、唇領域検出部１３から入力された各フレームの唇領域を適宜、回転補正する。さらに、唇画像生成部１４は、回転補正後の唇領域を所定のサイズ（例えば、３２×３２画素）に拡大または縮小してモノトーン化することにより、各画素が輝度値を有する唇画像を生成して発話区間ラベル付与部１６に出力する。
【００２９】
発話区間検出部１５は、学習用動画像から分離された学習用オーディオ信号の音声レベルを所定の閾値と比較することにより、その音声が、学習用動画像の被写体である人物が発話している発話区間に対応するものであるか、または発話していない非発話区間に対応するものであるかを判別して、その判別結果を発話区間ラベル付与部１６に出力する。
【００３０】
発話区間ラベル付与部１６は、発話区間検出部１５による判別結果に基づき、各フレームの唇画像に対して、発話区間であるかまたは非発話区間であるかを示す発話区間ラベルを付与する。そして、その結果得られる学習用ラベル付唇画像を時系列合成画像生成部１７に順次出力する。
【００３１】
時系列合成画像生成部１７は、学習用ラベル付唇画像を数フレーム分保持するためのメモリを内蔵しており、順次入力される学習用ビデオ信号の各フレームに対応する学習用ラベル付唇画像に順次注目する。さらに、注目した学習用ラベル付唇画像ｔを基準として、その前後それぞれのＮフレームから成る合計２Ｎ＋１枚の学習用ラベル付唇画像を所定の位置に配置して１枚の合成画像を生成する。この生成された１枚の合成画像は、２Ｎ＋１フレーム分の学習用ラベル付唇画像、すなわち、時系列の学習用ラベル付唇画像から成るので、以下、時系列合成画像と称することにする。なお、Ｎは０以上の整数であるが、その値は２程度が好ましい（詳細後述）。
【００３２】
図３Ｂは、Ｎ＝２の場合に対応する５枚の学習用ラベル付唇画像ｔ＋２，ｔ＋１，ｔ，ｔ＋１，ｔ＋２から成る時系列合成画像を示している。時系列合成画像を生成する際の５枚の学習用ラベル付唇画像の配置は、図３Ｂに示されたものに限定されるものではなく任意に設定すればよい。
【００３３】
以下、時系列合成画像生成部１７で生成される時系列合成画像のうち、元となる２Ｎ＋１枚の学習用ラベル付唇画像の全てが発話区間に対応するものをポジティブデータ、元となる２Ｎ＋１枚の学習用ラベル付唇画像の全てが非発話区間に対応するものをネガティブデータと称する。
【００３４】
時系列合成画像生成部１７は、学習部１８に対して、ポジティブデータとネガティブデータを供給するようにする。すなわち、ポジティブデータまたはネガティブデータのいずれにも属さない時系列合成画像（発話区間と非発話区間の境界に対応する学習用ラベル付唇画像を含んで合成されたもの）は学習に用いない。
【００３５】
学習部１８は、時系列合成画像生成部１７から供給されるラベル付の時系列合成画像（ポジティブデータとネガティブデータ）を元にしてそのピクセル差分特徴量を演算する。
【００３６】
ここで、学習部１８における時系列合成画像のピクセル差分特徴量を演算する処理について、図３を参照して説明する。
【００３７】
同図Ａは、既存の特徴量であるピクセル差分特徴量の演算を示し、同図Ｂは、学習部１８における時系列合成画像のピクセル差分特徴量の演算を示している。
【００３８】
ピクセル差分特徴量は、画像上の２画素の画素値（輝度値）Ｉ１，Ｉ２の差分（Ｉ１−Ｉ２）を算出することによって得られる。
【００３９】
すなわち、同図Ａと同図Ｂに示す演算処理はともに、静止画像上に２画素の組み合わせを複数設定し、各組み合わせの２画素について画素値（輝度値）Ｉ１，Ｉ２の差分（Ｉ１−Ｉ２）を算出するものであって、両者に演算手法の違いはない。したがって、時系列合成画像のピクセル差分特徴量を算出するに際し、既存の演算用プログラムなどをそのまま利用することができる。
【００４０】
なお、同図Ｂに示すように、学習部１８では静止画像でありながらも時系列の画像情報を有する時系列合成画像からピクセル差分特徴量を算出しているので、得られるピクセル差分特徴量の時系列の特徴を示すものとなる。
【００４１】
発話区間判別器２０は、複数の２値判別弱判別器ｈ（ｘ）から構成される。これら複数の２値判別弱判別器ｈ（ｘ）は、時系列合成画像上の２画素の組み合わせにそれぞれ対応するものであり、各２値判別弱判別器ｈ（ｘ）では、次式（１）に示すように、各組み合わせのピクセル差分特徴量（Ｉ１−Ｉ２）と閾値Ｔｈとの比較結果に応じて、発話区間を示す真（＋１）、または非発話区間を示す偽（−１）に判別される。
ｈ（ｘ）＝−１      ｉｆ  Ｉ１−Ｉ２≦Ｔｈ
ｈ（ｘ）＝＋１      ｉｆ  Ｉ１−Ｉ２＞Ｔｈ
・・・（１）
【００４２】
さらに、学習部１８は、２画素の複数の組み合わせとその閾値Ｔｈを各２値判別弱判別器のパラメータとして、これらのうちの最適なものをブースティング学習により選択することにより発話区間判別器２０を生成する。
【００４３】
［学習装置１０の動作］
次に、学習装置１０の動作について説明する。図４は、学習装置１０による発話区間判別器学習処理を説明するフローチャートである。
【００４４】
ステップＳ１において、画音分離部１１に学習用動画像を入力する。ステップＳ２において、画音分離部１１は、入力された学習用動画像を学習用ビデオ信号と学習用オーディオ信号に分離し、学習用ビデオ信号を顔領域検出部１２に、学習用オーディオ信号を発話区間検出部１５に入力する。
【００４５】
ステップＳ３において、発話区間検出部１５は、学習用オーディオ信号の音声レベルを所定の閾値と比較することにより、学習用動画像の音声が発話区間であるか非発話区間であるかを判別し、その判別結果を発話区間ラベル付与部１６に出力する。
【００４６】
ステップＳ４において、顔領域検出部１２は、学習用ビデオ信号の各フレームから顔領域を抽出して唇領域検出部１３に出力する。唇領域検出部１３は、各フレームの顔領域から、唇領域を抽出して唇画像生成部１４に出力する。唇画像生成部１４は、各フレームの唇領域に基づき、唇画像を生成して発話区間ラベル付与部１６に出力する。
【００４７】
なお、ステップＳ３の処理とステップＳ４の処理とは、実際には並行して実行される。
【００４８】
ステップＳ５において、発話区間ラベル付与部１６は、発話区間検出部１５の判別結果に基づき、各フレームに対応する唇画像に対して発話区間ラベルを付与することにより学習用ラベル付唇画像を生成して時系列合成画像生成部１７に順次出力する。
【００４９】
ステップＳ６において、時系列合成画像生成部１７は、各フレームに対応する学習用ラベル付唇画像に順次注目し、注目した学習用ラベル付唇画像ｔを基準とした時系列合成画像を生成し、そのうちのポジティブデータとネガティブデータを学習部１８に供給する。
【００５０】
ステップＳ７において、学習部１８は、時系列合成画像生成部１７から入力されたポジティブデータとネガティブデータに対してピクセル差分特徴量を演算する。さらに、ステップＳ８において、学習部１８は、ピクセル差分特徴量を演算する際の２画素の複数の組み合わせとその閾値Ｔｈを各２値判別弱判別器のパラメータとして、これらのうちの最適なものをブースティング学習により選択することにより発話区間判別器２０を学習（生成）する。以上で、発話区間判別器学習処理が終了される。ここで、生成された発話区間判別器２０は、後述する発話区間判別装置３０に用いられる。
【００５１】
［発話区間判定装置の構成例］
図５は、本発明の実施の形態である発話区間判定装置の構成例を示している。この発話区間判定装置３０は、学習装置１０によって学習された発話区間判別器２０を用い、処理対象とする動画像（以下、判定対象動画像と称する）の被写体である人物の発話区間を判定するものである。なお、発話区間判定装置３０は、学習装置１０と組み合わせて一体化するようにしてもよい。
【００５２】
発話区間判定装置３０は、発話区間判別器２０の他、顔領域検出部３１、トラッキング部３２、唇領域検出部３３、唇画像生成部３４、時系列合成画像生成部３５、特徴量演算部３６、正規化部３７、および発話区間判定部３８から構成される。
【００５３】
顔領域検出部３１は、図１の顔領域検出部１２と同様に、判定対象動画像の各フレームから、人の顔を含む顔領域を検出し、その座標情報をトラッキング部３２に通知する。判定対象動画像の同一フレームに複数の人物の顔領域が存在する場合、それらをそれぞれ検出する。また、顔領域検出部３１は、検出した顔領域を抽出して唇領域検出部３３に出力する。さらに、顔領域検出部３１は、トラッキング部３２から顔領域として抽出すべき位置の情報が通知された場合、それに従って顔領域を抽出して唇画像生成部３４に出力する。
【００５４】
トラッキング部３２は、トラッキングＩＤリストを管理しており、顔領域検出部３１にて検出された各顔領域に対してトラッキングＩＤを付与し、その位置情報を対応付けてトラッキングＩＤリストに記録したり更新したりする。また、トラッキング部３２は、顔領域検出部３１にて判定対象動画像のフレーム上から人の顔領域が検出されなかった場合、顔領域、唇領域、唇画像とすべき位置情報を顔領域検出部３１、唇領域検出部、唇画像生成部３４に通知する。
【００５５】
唇領域検出部３３は、図１の唇領域検出部１３と同様に、顔領域検出部３１から入力された各フレームの顔領域から、唇の口角の端点を含む唇領域を検出して抽出し、抽出した唇領域を唇画像生成部３４に出力する。さらに、唇領域検出部３３は、トラッキング部３２から唇領域として抽出すべき位置の情報が通知された場合、それに従って唇領域を抽出して唇画像生成部３４に出力する。
【００５６】
唇画像生成部３４は、図１の唇画像生成部１４と同様に、唇の口角の端点を結ぶ線が水平になるように、唇領域検出部３３から入力された各フレームの唇領域を適宜、回転補正する。さらに、唇画像生成部３４は、回転補正後の唇領域を所定のサイズ（例えば、３２×３２画素）に拡大または縮小してモノトーン化することにより、各画素が輝度値を有する唇画像を生成して時系列合成画像生成部３５に出力する。さらに、唇画像生成部３４は、トラッキング部３２から唇画像として抽出すべき位置の情報が通知された場合、それに従って唇画像を生成して時系列合成画像生成部３５に出力する。なお、判定対象動画像の同一フレームから複数の人物の顔領域が検出されている場合、すなわち、異なるトラッキングＩＤが付与されている顔領域が検出されている場合、各トラッキングＩＤに対応する唇画像が生成される。以下、唇画像生成部３４から時系列合成画像生成部３５に出力される唇画像を判定対象唇画像と称する。
【００５７】
時系列合成画像生成部３５は、判定対象唇画像を数フレーム分保持するためのメモリを内蔵しており、図１の時系列合成画像生成部１７と同様に、トラッキングＩＤ毎に各フレームの判定対象唇画像に順次注目する。さらに、注目した判定対象唇画像ｔを基準として、その前後それぞれのＮフレームからなる合計２Ｎ＋１枚の判定対象唇画像を合成して時系列合成画像を生成する。ここで、Ｎの値と各判定対象唇画像の配置については、図１の時系列合成画像生成部１７が生成する時系列合成画像と同一とする。さらに、時系列合成画像生成部３５は、各トラッキングＩＤに対応して順次生成した時系列合成画像を特徴量演算部３６に出力する。
【００５８】
特徴量演算部３６は、時系列合成画像生成部３５から供給される、各トラッキングＩＤに対応する時系列合成画像に対してピクセル差分特徴量を演算し、演算結果を発話区間判別器２０に出力する。なお、ここでピクセル差分特徴量を演算する際の２画素の組み合わせについては、発話区間判別器２０を構成する複数の２値判別弱判別器にそれぞれ対応するもののみでよい。すなわち、特徴量演算部３６では、各時系列合成画像を元にして、発話区間判別器２０を構成する２値判別弱判別器の数と同数のピクセル差分特徴量が演算される。
【００５９】
発話区間判別器２０は、特徴量演算部３６から入力される各トラッキングＩＤの時系列合成画像に対応するピクセル差分特徴量を対応する２値判別弱判別器に入力して判別結果（真（＋１）または偽（−１））を得る。さらに、発話区間判別器２０は、各２値判別弱判別器の判別結果に、その信頼性に応じた重み付け係数を乗算して重み付け加算することにより、当該時系列合成画像の基準となった判定対象唇画像が発話区間に対応するものであるか、非発話区間に対応するものであるかを示す発話スコアを演算して正規化部３７に出力する。
【００６０】
正規化部３７は、発話区間判別器２０から入力される発話スコアを０以上１以下の値に正規化して発話区間判定部３８に出力する。
【００６１】
なお、正規化部３７を設けることによって以下の不都合を抑止することができる。すなわち、発話区間判別器２０から出力される発話スコアは、発話区間判別器２０を学習した際に用いた学習用動画像に基づいてポジティブデータやネガティブデータが追加されるなどして変更され場合、同一の判定対象動画像に対しても異なる値となってしまう。したがって、発話スコアの最大値および最小値も変化してしまうので、後段の発話区間判定部３８において発話スコアと比較するための閾値もその都度変化させる必要が生じてしまい不都合である。
【００６２】
しかしながら、正規化部３７を設けることにより、発話区間判定部３８に入力される発話スコアの最大値が１に最小値が０に固定されるので、発話スコアと比較するための閾値も固定することができる。
【００６３】
ここで、正規化部３７による発話スコアの正規化について、図６乃至図８を参照して具体的に説明する。
【００６４】
まず、発話区間判別器２０を学習する際に用いたものとは異なる複数のポジティブデータとネガティブデータを用意する。そして、それらを発話区間判別器２０に入力して発話スコアを取得し、図６に示すように、ポジティブデータとネガティブデータにそれぞれ対応する発話スコアの頻度分布を作成する。なお、図６において、横軸は発話スコア、縦軸は頻度を示しており、破線がポジティブデータ、実線がネガティブデータに対応する。
【００６５】
次に、横軸の発話スコアに所定の間隔でサンプリング点を設定し、各サンプリング点について次式（２）に従い、ポジティブデータに対応する頻度を、ポジティブデータに対応する頻度とネガティブに対応する頻度の加算値で除算することにより、正規化された発話スコア（以下、正規化スコアとも称する）を算出する。
正規化スコア＝
ポジティブデータに対応する頻度／（ポジティブデータに対応する頻度＋ネガティブに対応する頻度）
・・・（２）
【００６６】
これにより、発話スコアのサンプリング点における正規化スコアを得ることができる。図７は、発話スコアと正規化スコアの対応関係を示している。なお、同図において、横軸は発話スコア、縦軸は正規化スコアを示している。
【００６７】
正規化部３７では、図７に示されたような発話スコアと正規化スコアの対応関係を保持しており、これに従って入力される発話スコアを正規化スコアに変換する。
【００６８】
なお、発話スコアと正規化スコアの対応関係は、テーブルまたは関数として保持すればよい。テーブルとして保持する場合、例えば図８に示すように、発話スコアのサンプリング点についてのみそれに対応する正規化スコアを保持するようにする。そして、発話スコアのサンプリング点間の値に対応する保持されていない正規化スコアは、発話スコアのサンプリング点に対応する正規化スコアを線形補間することにより得るようにする。
【００６９】
図５に戻る。発話区間判定部３８は、正規化部３７から入力される正規化スコアを所定の閾値を比較することにより、正規化スコアに対応する判定対象唇画像が発話区間に対応するものであるか、非発話区間に対応するものであるかを判定する。なお、判定結果を１フレーム単位で出力せず、１フレーム単位の判定結果を数フレーム分保持して平均化し、数フレーム単位で判定結果を出力するようにしてもよい。
【００７０】
［発話区間判定装置３０の動作］
次に、発話区間判定装置３０の動作について説明する。図９は、発話区間判定装置３０による発話区間判定処理を説明するフローチャートである。
【００７１】
ステップＳ１１において、判定対象動画像を顔領域検出部３１に入力する。ステップＳ１２において、顔領域検出部３１は、判定対象動画像の各フレームから、人の顔を含む顔領域を検出し、その座標情報をトラッキング部３２に通知する。なお、判定対象動画像の同一フレームに複数の人物の顔領域が存在する場合、それらをそれぞれ検出する。
【００７２】
ステップＳ１３において、トラッキング部３２は、顔領域検出部３１にて検出された各顔領域に対してトラッキング処理を行う。このトラッキング処理について詳述する。
【００７３】
図１０は、ステップＳ１３のトラッキング処理を詳細に説明するフローチャートである。ステップＳ２１において、トラッキング部３２は、直前のステップＳ１２の処理で顔領域検出部３１により検出された顔領域の１つを処理対象に指定する。ただし、直前のステップＳ１２の処理で顔領域が１つも検出されておらず、処理対象に指定する顔領域が存在しない場合、ステップＳ２１乃至Ｓ２５をスキップして処理をステップＳ２６に進める。
【００７４】
ステップＳ２２において、トラッキング部３２は、処理対象の顔領域に対して既にトラッキングＩＤが付与されているか否かを判定する。具体的には、前フレームで顔領域が検出された位置と、処理対象の顔領域の位置との差が所定の範囲内であった場合、処理対象の顔領域は前フレームで検出済みのものであって、既にトラッキングＩＤが付与されていると判定する。反対に、前フレームで顔領域が検出された位置と、処理対象の顔領域の位置との差が所定の範囲以上であった場合、処理対象の顔領域は今回始めて検出されたものであって、トラッキングＩＤが付与されていないと判定する。
【００７５】
ステップＳ２２において、処理対象の顔領域に対して既にトラッキングＩＤが付与されていると判定された場合、処理はステップＳ２３に進められる。ステップＳ２３において、トラッキング部３２は、保持するトラッキングＩＤリストの当該トラッキングＩＤに対応付けて記録されている顔領域の位置情報を、処理対象の顔領域の位置情報で更新する。この後、処理はステップＳ２５に進められる。
【００７６】
反対に、ステップＳ２２において、処理対象の顔領域に対してトラッキングＩＤが付与されていないと判定された場合、処理はステップＳ２４に進められる。ステップＳ２４において、トラッキング部３２は、処理対象の顔領域に対してトラッキングＩＤを付与し、付与したトラッキングＩＤに処理対象の顔領域の位置情報を対応付けてトラッキングＩＤリストに記録する。この後、処理はステップＳ２５に進められる。
【００７７】
ステップＳ２５において、トラッキング部３２は、直前のステップＳ１２の処理で顔領域検出部３１により検出された全ての顔領域のうち、処理対象に指定していない顔領域が残っているか否かを確認する。そして、処理対象に指定していない顔領域が残っている場合、ステップＳ２１に戻ってそれ以降の処理を繰り返す。反対に、処理対象に指定していない顔領域が残っていない場合、すなわち、直前のステップＳ１２の処理で検出された全ての顔領域を処理対象に指定した場合、処理をステップＳ２６に進める。
【００７８】
ステップＳ２６において、トラッキング部３２は、トラッキングＩＤリストに記録されているトラッキングＩＤのうち、直前のステップＳ１２の処理で顔領域が検出されなかったものを１つずつ処理対象に指定する。なお、トラッキングＩＤリストに記録されているトラッキングＩＤのうち、直前のステップＳ１２の処理で顔領域が検出されなかったものがなく、処理対象に指定するトラッキングＩＤが存在しない場合には、ステップＳ２６乃至Ｓ３０をスキップし、トラッキング処理を終了して、図９に示された発話区間判定処理にリターンする。
【００７９】
ステップＳ２７において、トラッキング部３２は、処理対象のトラッキングＩＤに対応する顔領域の検出されていない状態が所定のフレーム数（例えば、２秒間程度に相当するフレーム数）以上継続しているか否かを判定する。当該状態が所定のフレーム数以上継続していないと判定された場合、処理対象のトラッキングＩＤに対応する顔領域の位置を、その隣接するフレームで検出された顔領域の位置情報を用いて補間（例えば、１フレーム前に顔領域の位置情報を流用）してトラッキングＩＤリストを更新する。この後、処理はステップＳ３０に進められる。
【００８０】
反対に、ステップＳ２７において、処理対象のトラッキングＩＤに対応する顔領域の検出されていない状態が所定のフレーム数以上継続していると判定された場合、処理はステップＳ２９に進められる。ステップＳ２９において、トラッキング部３２は、処理対象のトラッキングＩＤをトラッキングＩＤリストから削除する。この後、処理はステップＳ３０に進められる。
【００８１】
ステップＳ３０において、トラッキング部３２は、トラッキングＩＤリストに記録されており、直前のステップＳ１２の処理で顔領域が検出されなかったトラッキングＩＤのうち、処理対象に指定していないものが残っているか否かを確認する。そして、処理対象に指定していないトラッキングＩＤが残っている場合、ステップＳ２６に戻ってそれ以降の処理を繰り返す。反対に、処理対象に指定していないトラッキングＩＤが残っていない場合、トラッキング処理を終了して、図９に示された発話区間判定処理にリターンする。
【００８２】
上述したトラッキング処理を終えた後、トラッキングＩＤリストの各トラッキングＩＤに順次注目し、それぞれに対応付けて以下に説明するステップＳ１４乃至Ｓ１９の処理が実行される。
【００８３】
ステップＳ１４において、顔領域検出部３１は、注目したトラッキングＩＤに対応する顔領域を抽出して唇領域検出部３３に出力する。唇領域検出部３３は、顔領域検出部３１から入力された顔領域から唇領域を抽出して唇画像生成部３４に出力する。唇画像生成部３４は、唇領域検出部３３から入力された唇領域を元に判定対象唇画像を生成して時系列合成画像生成部３５に出力する。
【００８４】
ステップＳ１５において、時系列合成画像生成部３５は、注目したトラッキングＩＤに対応する判定対象唇画像を含む合計２Ｎ＋１枚の判定対象唇画像を元に時系列合成画像を生成して特徴量演算部３６に出力する。なお、ここで出力される時系列合成画像は、ステップＳ１４までの処理対象としてフレームに対し、Ｎフレームだけ遅延したものとなる。
【００８５】
ステップＳ１６において、特徴量演算部３６は、時系列合成画像生成部３５から供給された、注目したトラッキングＩＤに対応する時系列合成画像のピクセル差分特徴量を演算し、演算結果を発話区間判別器２０に出力する。
【００８６】
ステップＳ１７において、発話区間判別器２０は、特徴量演算部３６から入力された、注目したトラッキングＩＤの時系列合成画像に対応するピクセル差分特徴量に基づき、その発話スコアを演算して正規化部３７に出力する。ステップＳ１８において、正規化部３７は、発話区間判別器２０から入力される発話スコアを正規化し、その結果得られた正規化スコアを発話区間判定部３８に出力する。
【００８７】
ステップＳ１９において、発話区間判定部３８は、正規化部３７から入力された正規化スコアを所定の閾値を比較することにより、注目したトラッキングＩＤに対応する顔領域が発話区間に対応するのか、または非発話区間に対応するのかを判定する。なお、上述したように、ステップＳ１４乃至Ｓ１９の処理は、トラッキングＩＤリストの各トラッキングＩＤにそれぞれ対応付けて実行されるので、発話区間判定部３８からは、トラッキングＩＤリストの各トラッキングＩＤにそれぞれ対応する判定結果が得られることになる。
【００８８】
この後、処理はステップＳ１２に戻されて、それ以降の処理が判定対象動画像の入力が終了するまで継続されることになる。以上で、発話区間判定処理の説明を終了する。
【００８９】
[時系列合成画像の元となる顔画像のフレーム数２Ｎ＋１について]
図１１は、時系列合成画像の元となる顔画像のフレーム数２Ｎ＋１による判定性能の違いを示す図である。同図においては、時系列合成画像の元となる顔画像のフレーム数が１フレーム（Ｎ＝０）の場合、２フレーム（Ｎ＝１）の場合、および５フレーム（Ｎ＝５）の場合の判定精度を示している。
【００９０】
同図に示すように、時系列合成画像の元となる顔画像のフレーム数が増すに従いその判定性能が向上する。ただし、このフレーム数を大きくすると、時系列のピクセル差分特徴量にノイズが包含され易くなる。したがって、Ｎは２程度が最適と言える。
【００９１】
[発話区間判定装置３０の判定性能について]
図１２は、発話区間判定装置３０と上述した特許文献２の発明により、評価対象動画像（２００発話分）の発話区間を判定した場合の判定の正否の比較結果を示している。同図における提案手法が発話区間判定装置３０に対応し、従来手法が特許文献２の発明に対応する。同図が示すように、発話区間判定装置３０の方が特許文献２の発明に比較してより正確な判定結果を得られることがわかる。
【００９２】
[発話区間判定装置３０の判定時間について]
図１３は、発話区間判定装置３０と上述した特許文献２の発明により、同一フレーム上に６人分の顔領域が存在する場合に判定結果を得るまでに要する時間の比較結果を示している。同図における提案手法が発話区間判定装置３０に対応し、従来手法が特許文献２の発明に対応する。同図が示すように、発話区間判定装置３０の方が特許文献２の発明に比較して圧倒的に短時間で判定結果を得られることがわかる。
【００９３】
ところで、本実施の形態と同様の方法により、例えば、被写体となる人物が歩いているか否か、走っているか否かなどの他、撮像された景色に雨が降っているか否かなど、画面上ので何らかの動作が継続中であるか否かを判別するための判別器を学習により生成することができる。
【００９４】
[時系列合成画像のピクセル差分特徴量の応用]
また、時系列合成画像のピクセル差分特徴量は、発話内容を認識するための発話認識判別器を学習するために適用することができる。具合的には、学習用のサンプルデータとして、発話内容を示すラベルを時系列合成画像に付与し、そのピクセル差分特徴量を用いて発話認識判別器を学習させる。時系列合成画像のピクセル差分特徴量を学習に用いることにより、発話認識判別器の認識性能を向上させることが可能となる。
【００９５】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００９６】
図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００９７】
このコンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【００９８】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【００９９】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１００】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１０１】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１０２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【０１０３】
また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０１０４】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１０５】
１０  学習装置，  １１  画音分離部,  １２  顔領域検出部,  １３  唇領域検出部,  １４  唇画像生成部，  １５  発話区間検出部，  １６  発話区間ラベル付与部，  １７  時系列合成画像生成部，  １８  学習部，  ２０  発話区間判別器，  ３０  口形素判別器学習部，  ３１  顔領域検出部，  ３２  トラッキング部，  ３３  唇領域検出部，  ３４  唇画像生成部，  ３５  時系列合成画像生成部，  ３６  特徴量演算部，  ３７  正規化部，  ３８  発話区間判定部，  ２００  コンピュータ，  ２０１  CPU
【図１】
2012003326.tif 000003
【図２】
2012003326.tif 000004
【図３】
2012003326.tif 000005
【図４】
2012003326.tif 000006
【図５】
2012003326.tif 000007
【図６】
2012003326.tif 000008
【図７】
2012003326.tif 000009
【図８】
2012003326.tif 000010
【図９】
2012003326.tif 000011
【図１０】
2012003326.tif 000012
【図１１】
2012003326.tif 000013
【図１２】
2012003326.tif 000014
【図１３】
2012003326.tif 000015
【図１４】
2012003326.tif 000016