(57)【要約】【課題】被写体が、所定のキーワードを発話したことに応じて撮像を行う。【解決手段】デジタルスチルカメラ６０は、撮像部６１、画像処理部６２、記録部６３、Ｕ／Ｉ部６４、撮像制御部６５、およびオートシャッタ制御部６６から構成される。撮像部６１は、被写体の光学像を取得して電気信号に変換し、その結果得られる画像信号を後段に出力する。撮像制御部６５は、Ｕ／Ｉ部６４からのシャッタ操作信号、あるいはオートシャッタ制御部６６からのオートシャッタ信号に従い、撮像部６１を制御して撮像を実行させる。オートシャッタ制御部６６は、撮像部６１から入力されるファインダ動画像に基づき、被写体となる人物によるシャッタキーワードの発話を検出した場合、これに応じてオートシャッタ信号を撮像制御部６５に出力する。本発明は、デジタルスチルカメラ、デジタルビデオカメラなどに適用できる。【選択図】図１７
2011014985.tif 000002
【特許請求の範囲】
【請求項１】
構図決定時にファインダ画像を出力し、撮像時に記録画像を出力する撮像手段と、
唇画像の入力に対応し、前記唇画像が複数種類の各口形素にどの程度類似しているかを示す多次元スコアベクトルを出力する多クラス判別器と、
キーワードに対応付けて、モデル化された登録時系列特徴得量が登録されている登録データベースと、
前記ファインダ画像から被写体の唇領域を含む前記唇画像を生成して前記多クラス判別器に入力し、その結果得られた前記ファインダ画像に基づく前記唇画像に対応する前記多次元スコアベクトルを時系列に配置して認識用時系列特徴量を生成する生成手段と、
生成された前記認識用時系列特徴量と、前記登録用データベースに登録されているモデルとの比較結果に基づき、前記撮像手段を制御して撮像処理を実行させるオートシャッタ制御手段と
を含む撮像装置。
【請求項２】
前記多クラス判別器は、口形素を示すクラスラベルが付加された唇画像の画像特徴量を用いたAdaBoostECOC(Error Correct Output Coding)学習により生成されている
請求項１に記載の撮像装置。
【請求項３】
前記画像特徴量は、ピクセル差分特徴である
請求項２に記載の撮像装置。
【請求項４】
任意の前記キーワードを発話する被験者を被写体とする登録用ファインダ画像から登録用の唇画像を生成し、前記登録用の唇画像を前記多クラス判別器に入力し、その結果得られた前記登録用の唇画像に対応する前記多次元スコアベクトルを時系列に配置して前記登録用時系列特徴量を生成し、前記任意のキーワードに対応付けて前記登録用時系列特徴量をモデル化して前記登録データベースに登録する登録手段を
さらに含む請求項２に記載の撮像装置。
【請求項５】
前記登録手段は、前記登録用時系列特徴量を、HMM(Hidden Markov Model)によりモデル化する
請求項４に記載の撮像装置。
【請求項６】
構図決定時にファインダ画像を出力し、撮像時に記録画像を出力する撮像手段と、
唇画像の入力に対応し、前記唇画像が複数種類の各口形素にどの程度類似しているかを示す多次元スコアベクトルを出力する多クラス判別器と、
キーワードに対応付けて、モデル化された登録時系列特徴得量が登録されている登録データベースとを備える撮像装置の撮像方法において、
前記撮像装置による、
前記ファインダ画像から被写体の唇領域を含む前記唇画像を生成して前記多クラス判別器に入力し、その結果得られた前記ファインダ画像に基づく前記唇画像に対応する前記多次元スコアベクトルを時系列に配置して認識用時系列特徴量を生成する生成ステップと、
生成された前記認識用時系列特徴量と、前記登録用データベースに登録されているモデルとの比較結果に基づき、前記撮像手段を制御して撮像処理を実行させるオートシャッタ制御ステップと
を含む撮像方法。
【請求項７】
構図決定時にファインダ画像を出力し、撮像時に記録画像を出力する撮像手段と、
唇画像の入力に対応し、前記唇画像が複数種類の各口形素にどの程度類似しているかを示す多次元スコアベクトルを出力する多クラス判別器と、
キーワードに対応付けて、モデル化された登録時系列特徴得量が登録されている登録データベースとを備える撮像装置のコンピュータに、
前記ファインダ画像から被写体の唇領域を含む前記唇画像を生成して前記多クラス判別器に入力し、その結果得られた前記ファインダ画像に基づく前記唇画像に対応する前記多次元スコアベクトルを時系列に配置して認識用時系列特徴量を生成する生成手段と、
生成された前記認識用時系列特徴量と、前記登録用データベースに登録されているモデルとの比較結果に基づき、前記撮像手段を制御して撮像処理を実行させるオートシャッタ制御手段と
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、およびプログラムに関し、特に、被写体が所定のキーワードを発話したことに応じて撮像を行うようにした撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、オートシャッタ機能を備えるカメラが存在する。
【０００３】
古くは、タイマー式のものやリモートコントローラを用いるものなどが存在する。昨今では、被写体の笑顔に応じて撮像を行う、いわゆるスマイルシャッタ機能（例えば、特許文献１参照）を備えるものや、被写体のウィンクに応じて撮像を行う、いわゆるウィンクシャッタ機能を備えるもの（例えば、特許文献２参照）などが存在する。
【０００４】
また、特許文献２には、被写体の口の動きに応じて撮像を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−５６３８７号公報
【特許文献２】特開２００８−７２１８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したスマイルシャッタ機能の場合、被写体の笑顔の度合いがカメラによって検出され、その度合いが予め定められている閾値を越えたときに撮像が行われる。したがって、被写体が意識的に笑顔の表情を作ったとしても、その撮像タイミングを任意に調整することは困難であった。
【０００７】
また、上述したウィンクシャッタ機能の場合、被写体のウィンク（片目の開閉）がカメラによって検出されたときに撮像が行われる。この場合、被写体が意図的に且つ確実にウィンクを実行できれば、被写体が意図するタイミングで撮像を行うことができる。しかしながら、被写体が瞬きをした場合にも、これをカメラがウィンクとして誤検出するが起こり得る。さらに、被写体にとってウィンク自体が普段行わない動きである場合、気恥ずかしさなどからウィンクを行えないこともある。
【０００８】
またさらに、複数の人数で集合写真を撮る場合など、同時に写る他の人たちに対し、ウィンク以外にも発声によって例えば「ハイチーズ」などの掛け声により撮像タイミングを知らせる必要があった。
【０００９】
なお、カメラに音声認識機能を備えることにより、例えば「ハイチーズ」などのキーワードに応じて撮像を行うようにすることが考えられるが、その場合、声が届かない距離にカメラを置いたり、音声以外の環境ノイズが多い状態下などでは使用できないので実用性が低い。
【００１０】
またさらに、特許文献２などに記載されている、被写体の発話（口の動き）に応じて撮像を行う方法では、所定のキーワードの発話を検出するのではなく、単に口の動きを検出しているに過ぎないので、希望する撮像タイミングまで何も発言することができない。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、ファインダ画像に基づいて被写体の発話内容を識別し、所定のキーワードが発話されたことに応じて撮像を行うようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面である撮像装置は、構図決定時にファインダ画像を出力し、撮像時に記録画像を出力する撮像手段と、唇画像の入力に対応し、前記唇画像が複数種類の各口形素にどの程度類似しているかを示す多次元スコアベクトルを出力する多クラス判別器と、キーワードに対応付けて、モデル化された登録時系列特徴得量が登録されている登録データベースと、前記ファインダ画像から被写体の唇領域を含む前記唇画像を生成して前記多クラス判別器に入力し、その結果得られた前記ファインダ画像に基づく前記唇画像に対応する前記多次元スコアベクトルを時系列に配置して認識用時系列特徴量を生成する生成手段と、生成された前記認識用時系列特徴量と、前記登録用データベースに登録されているモデルとの比較結果に基づき、前記撮像手段を制御して撮像処理を実行させるオートシャッタ制御手段とを含む。
【００１３】
前記多クラス判別器は、口形素を示すクラスラベルが付加された唇画像の画像特徴量を用いたAdaBoostECOC学習により生成されているものとすることができる。
【００１４】
前記画像特徴量は、ピクセル差分特徴とすることができる。
【００１５】
本発明の一側面である撮像装置は、任意の前記キーワードを発話する被験者を被写体とする登録用ファインダ画像から登録用の唇画像を生成し、前記登録用の唇画像を前記多クラス判別器に入力し、その結果得られた前記登録用の唇画像に対応する前記多次元スコアベクトルを時系列に配置して前記登録用時系列特徴量を生成し、前記任意のキーワードに対応付けて前記登録用時系列特徴量をモデル化して前記登録データベースに登録する登録手段をさらに含むことができる。
【００１６】
前記登録手段は、前記登録用時系列特徴量を、HMMによりモデル化するようにすることができる。
【００１７】
本発明の一側面である撮像方法は、構図決定時にファインダ画像を出力し、撮像時に記録画像を出力する撮像手段と、唇画像の入力に対応し、前記唇画像が複数種類の各口形素にどの程度類似しているかを示す多次元スコアベクトルを出力する多クラス判別器と、キーワードに対応付けて、モデル化された登録時系列特徴得量が登録されている登録データベースとを備える撮像装置の撮像方法において、前記撮像装置による、前記ファインダ画像から被写体の唇領域を含む前記唇画像を生成して前記多クラス判別器に入力し、その結果得られた前記ファインダ画像に基づく前記唇画像に対応する前記多次元スコアベクトルを時系列に配置して認識用時系列特徴量を生成する生成ステップと、生成された前記認識用時系列特徴量と、前記登録用データベースに登録されているモデルとの比較結果に基づき、前記撮像手段を制御して撮像処理を実行させるオートシャッタ制御ステップとを含む。
【００１８】
本発明の一側面であるプログラムは、構図決定時にファインダ画像を出力し、撮像時に記録画像を出力する撮像手段と、唇画像の入力に対応し、前記唇画像が複数種類の各口形素にどの程度類似しているかを示す多次元スコアベクトルを出力する多クラス判別器と、キーワードに対応付けて、モデル化された登録時系列特徴得量が登録されている登録データベースとを備える撮像装置のコンピュータに、前記ファインダ画像から被写体の唇領域を含む前記唇画像を生成して前記多クラス判別器に入力し、その結果得られた前記ファインダ画像に基づく前記唇画像に対応する前記多次元スコアベクトルを時系列に配置して認識用時系列特徴量を生成する生成手段と、生成された前記認識用時系列特徴量と、前記登録用データベースに登録されているモデルとの比較結果に基づき、前記撮像手段を制御して撮像処理を実行させるオートシャッタ制御手段として機能させる。
【００１９】
本発明の一側面においては、ファインダ画像から被写体の唇領域を含む唇画像が生成されて多クラス判別器に入力され、その結果得られたファインダ画像に基づく唇画像に対応する多次元スコアベクトルが時系列に配置されて認識用時系列特徴量が生成され、生成された認識用時系列特徴量と、登録用データベースに登録されているモデルとの比較結果に基づき、撮像手段が制御されて撮像処理が実行される。
【発明の効果】
【００２０】
本発明の一側面によれば、ファインダ画像に基づいて被写体の発話内容を識別し、所定のキーワードが発話されたことに応じて撮像を行うことができる。
【図面の簡単な説明】
【００２１】
【図１】本発明を適用した発話認識装置の構成例を示すブロック図である。
【図２】顔画像、唇領域、および唇画像の例を示す図である。
【図３】音素ラベルを口形素ラベルに変換する変換テーブルの一例を示す図である。
【図４】学習サンプルの例を示す図である。
【図５】時系列特徴量の一例を示す図である。
【図６】発話認識処理を説明するフローチャートである。
【図７】学習処理を説明するフローチャートである。
【図８】学習用発話動画像の処理を説明するフローチャートである。
【図９】学習用発話音声の処理を説明するフローチャートである。
【図１０】AdaBoostECOC学習処理を説明するフローチャートである。
【図１１】２値判別弱判別器の学習処理を説明するフローチャートである。
【図１２】登録処理を説明するフローチャートである。
【図１３】Ｋ次元スコアベクトル演算処理を説明するフローチャートである。
【図１４】認識処理を説明するフローチャートである。
【図１５】登録用発話単語の例を示す図である。
【図１６】認識性能を示す図である。
【図１７】本発明を適用したデジタルスチルカメラの構成例を示すブロック図である。
【図１８】オートシャッタ制御部の構成例を示すブロック図である。
【図１９】オートシャッタ登録処理を説明するフローチャートである。
【図２０】オートシャッタ実行処理を説明するフローチャートである。
【図２１】コンピュータの構成例
【発明を実施するための形態】
【００２２】
以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。なお、説明は、以下の順序で行なう。
１．第１の実施の形態
２．第２の実施の形態
【００２３】
＜１．第１の実施の形態＞
［発話認識装置の構成例］
図１は、第１の実施の形態である発話認識装置１０の構成例を示している。この発話認識装置１０は、話者を被写体としてビデオ撮像した動画像に基づいて、被写体の発話内容を識別するものである。
【００２４】
発話認識装置１０は、学習処理を実行する学習系１１、登録処理を行う登録系１２、および認識処理を行う認識系１３から構成される。
【００２５】
学習系１１には、画音分離部２１、顔領域検出部２２、唇領域検出部２３、唇画像生成部２４、音素ラベル付与部２５、音素辞書２６、口形素ラベル変換部２７、口形素ラベル付加部２８、学習サンプル保持部２９、口形素判別器学習部３０、および口形素判別器３１が属する。
【００２６】
登録系１２には、口形素判別器３１、顔領域検出部４１、唇領域検出部４２、唇画像生成部４３、発話期間検出部４４、時系列特徴量生成部４５、時系列特徴量学習部４６、および発話認識器４７が属する。
【００２７】
認識形１３は、口形素判別器３１、顔領域検出部４１、唇領域検出部４２、唇画像生成部４３、発話期間検出部４４、時系列特徴量生成部４５、および発話認識器４７が属する。
【００２８】
すなわち、口形素判別器３１は、学習系１１、登録系１２、および認識形１３に重複して属し、登録系１２から時系列特徴量学習部４６を削除したものが認識系１３となる。
【００２９】
画音分離部２１は、任意の言葉を話している話者をビデオ撮影して得られる音声付動画像（以下、学習用音声付発話動画像と称する）を入力とし、これを学習用発話動画像と学習用発話音声とに分離する。分離された学習用発話動画像は顔領域検出部２２に入力され、分離された学習用発話音声は音素ラベル付与部２５に入力される。
【００３０】
なお、学習用音声付発話動画像は、この学習のためにビデオ撮影を行って用意してもよいし、例えばテレビジョン番組などのコンテンツを利用してもよい。
【００３１】
顔領域検出部２２は、学習用発話動画像を各フレームに分割し、各フレームについて、図２Ａに示すように、人の顔を含む顔領域を検出し、学習用発話動画像とともに各フレームの顔領域の位置情報を唇領域検出部２３に出力する。
【００３２】
唇領域検出部２３は、学習用発話動画像の各フレームの顔領域から、図２Ｂに示すように、唇の口角の端点を含む唇領域を検出し、学習用発話動画像とともに各フレームの唇領域の位置情報を唇画像生成部２４に出力する。
【００３３】
なお、顔領域および唇領域の検出方法については、例えば特開２００５−２８４３４８号公報、特開２００９−４９４８９号公報などに開示されている手法など、既存の任意の手法を適用できる。
【００３４】
唇画像生成部２４は、学習用発話動画像の各フレームを、唇の口角の端点を結ぶ線が水平になるように、適宜、回転補正を行う。さらに、唇画像生成部２４は、回転補正後の各フレームから唇領域を抽出し、図２Ｃに示すように、抽出した唇領域を予め定められた画像サイズ（例えば、３２×３２画素）にリサイズすることにより唇画像を生成する。このようにして生成された各フレームに対応する唇画像は口形素ラベル付加部２８に供給される。
【００３５】
音素ラベル付与部２５は、音素辞書２６を参照することにより、学習用発話音声に対してその音素を示す音素ラベルを付与して口形素ラベル変換部２７に出力する。音素ラベルを付与する方法には、例えば、音声認識の研究分野において自動音素ラベリングと称されている方法を適用できる。
【００３６】
口形素ラベル変換部２７は、学習用発話音声に付与されている音素ラベルを、発話時の唇の形を示す口形素ラベルに変換して口形素ラベル付加部２８に出力する。なお、この変換には、予め用意されている変換テーブルを用いる。
【００３７】
図３は、音素ラベルを口形素ラベルに変換する変換テーブルの一例を示している。同図の変換テーブルを用いた場合、４０種類に分類されている音素ラベルが、１９種類に分類されている口形素ラベルに変換される。例えば、音素ラベル[ａ]および[ａ：]が口形素ラベル[ａ]に変換される。また例えば、音素ラベル[ｂｙ]，[ｍｙ]および[ｐｙ]が口形素ラベル[ｐｙ]に変換される。なお、変換テーブルは、図３に示されたものに限らず、他の変換テーブルを用いてもよい。
【００３８】
口形素ラベル付加部２８は、唇画像生成部２４から入力される学習用発話動画像の各フレームに対応する唇画像に対し、口形素ラベル変換部２７から入力される学習用発話音声に付与された口形素ラベルを流用して付加し、口形素ラベルが付加された唇画像を学習サンプル保持部２９に出力する。
【００３９】
学習サンプル保持部２９は、口形素ラベルが付加された複数の唇画像（以下、口形素ラベル付唇画像と称する）を学習サンプルとして保持する。
【００４０】
より具体的には、図４に示すように、Ｍ枚の唇画像ｘi（ｉ＝１，２，・・・，Ｍ）に、口形素ラベルに相当するクラスラベルｙk（ｋ＝１，２，・・・，Ｋ）が付与されて状態で、Ｍ個の学習サンプル（ｘi，ｙk）を保持する。なお、いまの場合、クラスラベルの種類の数Ｋは１９となる。
【００４１】
口形素判別器学習部３０は、学習サンプル保持部２９に保持されている複数の学習サンプルとしての口形素ラベル付唇画像からその画像特徴量を求め、AdaBoostECOCにより複数の弱判別器を学習し、これら複数の弱判別器からなる口形素判別器３１を生成する。
【００４２】
唇画像の画像特徴量としては、例えば、本発明者等が提案するPixDif Feature（ピクセル差分特徴）を用いることができる。
【００４３】
なお、PixDif Feature（ピクセル差分特徴）については、”佐部、日台、「ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習」、第１０回画像センシングシンポジウム予稿集、pp.547-552, 2004.”、特開２００５−１５７６７９号公報などに開示されている。
【００４４】
ピクセル差分特徴は、画像（いまの場合、唇画像）上の２画素の画素値（輝度値）Ｉ1，Ｉ2の差分（Ｉ1−Ｉ2）を算出することによって得られる。２画素の各組み合わせにそれぞれ対応する２値判別弱判別器ｈ（ｘ）では、次式（１）に示すように、このピクセル差分特徴Ｉ1−Ｉ2と閾値Ｔｈにより真（＋１）、または偽（−１）が判別される。
ｈ（ｘ）＝−１      ｉｆ  Ｉ1−Ｉ2≦Ｔｈ
ｈ（ｘ）＝＋１      ｉｆ  Ｉ1−Ｉ2＞Ｔｈ
・・・（１）
【００４５】
例えば、唇画像のサイズを３２×３２画素として場合、１０２４×１０２３通りのピクセル差分特徴が得られることになる。これら複数通りの２画素の組み合わせとその閾値Ｔｈが各２値判別弱判別器のパラメータとなり、これらのうちの最適なものがブースティング学習により選択される。
【００４６】
口形素判別器３１は、発話期間検出部４４から通知される発話期間において、唇画像生成部４３から入力される唇画像に対応するＫ次元スコアベクトルを演算して時系列特徴量生成部４５に出力する。
【００４７】
ここで、Ｋ次元スコアベクトルは、入力された唇画像が、Ｋ（いまの場合、Ｋ＝１９）種類の口形素のうちのどれに対応するものであるかを示す指標であって、Ｋ種類の各口形素に対応するものである可能性を示すＫ次元のスコアからなる。
【００４８】
登録系１２および認識系１３の顔領域検出部４１、唇領域検出部４２、および唇画像生成部４３は、上述した学習系１１に属する顔領域検出部２２、唇領域検出部２３、および唇画像生成部２４と同様のものである。
【００４９】
なお、登録系１２には、予め決められている発話内容（登録用発話単語）とそれを発話している話者をビデオ撮影した動画像（以下、登録用発話動画像と称する）とを組み合わせた複数の登録用データが入力される。
【００５０】
また、認識系１３には、認識対象となる、発話内容を話す話者をビデオ撮影した動画像（以下、認識用発話動画像と称する）が入力される。
【００５１】
すなわち、登録処理時において、顔領域検出部４１は、登録用発話動画像を各フレームに分割し、各フレームについて、顔領域を検出し、登録用発話動画像とともに各フレームの顔領域の位置情報を唇領域検出部４２に出力する。
【００５２】
唇領域検出部４２は、登録用動画像の各フレームの顔領域から唇領域を検出し、登録用発話動画像とともに各フレームの唇領域の位置情報を唇画像生成部４３に出力する。
【００５３】
唇画像生成部４３は、登録用発話動画像の各フレームを適宜、回転補正した後、各フレームから唇領域を抽出し、リサイズして唇画像を生成し、口形素判別器３１および発話期間検出部４４に出力する。
【００５４】
また、認識処理時において、顔領域検出部４１は、認識用発話動画像（話者の発話内容が不明である動画像）を各フレームに分割し、各フレームについて、顔領域を検出し、認識用発話動画像とともに各フレームの顔領域の位置情報を唇領域検出部４２に出力する。
【００５５】
唇領域検出部４２は、認識用発話動画像の各フレームの顔領域から唇領域を検出し、認識用発話動画像とともに各フレームの唇領域の位置情報を唇画像生成部４３に出力する。
【００５６】
唇画像生成部４３は、認識用発話動画像の各フレームを適宜、回転補正した後、各フレームから唇領域を抽出し、リサイズして唇画像を生成し、口形素判別器３１および発話期間検出部４４に出力する。
【００５７】
発話期間検出部４４は、唇画像生成部４３から入力される、登録用発話動画像または認識用発話動画像の各フレームの唇画像に基づき、話者が発話している期間（以下、発話期間と称する）を特定し、各フレームの唇画像が発話期間に対応するものであるか否かを口形素判別器３１および時系列特徴量生成部４５に通知する。
【００５８】
時系列特徴量生成部４５は、発話期間検出部４４から通知される発話期間において、口形素判別器３１から入力されるＫ次元スコアベクトルを時系列に配置することにより、時系列特徴量を生成する。
【００５９】
図５は、話者が「おもしろい」と話したときの発話期間に対応する時系列特徴量を示している。すなわち、この発話期間を１秒間と仮定し、フレームレートを６０フレーム／秒とすれば、６０Ｋのスコアからなる時系列特徴量が生成される。生成された時系列特徴量は、登録処理時には時系列特徴量学習部４６に出力され、認識処理時には発話認識部４７に出力される。
【００６０】
時系列特徴量学習部４６は、登録処理時において、入力される登録用発話単語（登録用発話動画像における話者の発話内容）に対応付けて、時系列特徴量生成部４５から入力される時系列特徴量をHMM(Hidden Markov Model)を用いてモデル化する。なお、モデル化の手法はHMMに限られず、時系列特徴量をモデル化できるものであればよい。モデル化された時系列特徴量は発話認識器４７に内蔵された学習データベース４８に保持される。
【００６１】
発話認識器４７は、認識処理時において、時系列特徴量生成部４５から入力される時系列特徴量に対して、学習データベース４８に保持されているモデルのうちで最も類似しているものを特定する。さらに、発話認識器４７は、特定したモデルに対応付けられている登録用発話単語を、認識用発話動画像に対応する発話認識結果として出力する。
【００６２】
［動作説明］
図６は、発話認識装置１０の動作を説明するフローチャートである。
【００６３】
ステップＳ１において、発話認識装置１０の学習系１１は、学習処理を実行することによって口形素判別器３１を生成する。
【００６４】
ステップＳ２において、発話認識装置１０の登録系１２は、登録処理を実行することによって、登録用発話動画像に対応する時系列特徴量を生成し、HMMを用いてモデル化し、これに登録用発話単語を対応付けて学習データベース４８に登録する。
【００６５】
ステップＳ３において、発話認識装置１０の認識系１３は、認識処理を実行することによって、認識用発話動画像における話者の発話内容を認識する。
【００６６】
以下、上述したステップＳ１乃至Ｓ３の処理の詳細について説明する。
【００６７】
［学習処理の詳細］
図７は、ステップＳ１の学習処理を詳細に説明するフローチャートである。
【００６８】
ステップＳ１１において、学習用音声付発話動画像が画音分離部２１に入力される。画音分離部２１は、学習用音声付発話動画像を学習用発話動画像と学習用発話音声とに分離し、学習用発話動画像を顔領域検出部２２に、学習用発話音声を音素ラベル付与部２５に出力する。
【００６９】
ステップＳ１２において、学習用発話動画像の処理が行われる。また、ステップＳ１３において、学習用発話音声の処理が行われる。なお、ステップＳ１２とステップＳ１３とは、実際には並行して同時に実行される。そして、学習用発話動画像の処理の出力（唇画像）と、それに対応する学習用発話音声の処理の出力（口形素ラベル付き学習用発話音声）が口形素ラベル付加部２８に同時に供給されることになる。
【００７０】
図７は、ステップＳ１２における学習用発話動画像の処理を詳細に説明するフローチャートである。
【００７１】
ステップＳ２１において、顔領域検出部２２は、学習用発話動画像を各フレームに分割し、１フレームずつ処理対象とする。ステップＳ２２において、顔領域検出部２２は、処理対象のフレームから顔領域を検出し、ステップＳ２３において、顔領域を検出できたか否か判定する。顔領域を検出できたと判定された場合、処理はステップＳ２４に進められる。反対に、顔領域を検出できなかったと判定された場合、処理はステップＳ２６に進められる。
【００７２】
ステップＳ２４において、顔領域検出部２２は、処理対象としている１フレーム分の学習用発話動画像とともに顔領域の位置情報を唇領域検出部２３に出力する。唇領域検出部２３は、処理対象のフレームの顔領域から唇領域を検出し、ステップＳ２５において、唇領域を検出できたか否か判定する。唇領域を検出できたと判定された場合、処理はステップＳ２７に進められる。反対に、唇領域を検出できなかったと判定された場合、処理はステップＳ２６に進められる。
【００７３】
なお、ステップＳ２３またはステップＳ２５から、処理がステップＳ２６に進められた場合、処理対象としているフレームの１フレーム前の顔領域または唇領域の少なくとも一方の位置情報が流用される。
【００７４】
ステップＳ２７において、唇領域検出部２３は、処理対象としている１フレーム分の学習用発話動画像とともに唇領域の位置情報を唇画像生成部２４に出力する。唇画像生成部２４は、処理対象としている学習用発話動画像の１フレームを、唇の口角の端点を結ぶ線が水平になるように、適宜、回転補正を行う。さらに、唇画像生成部２４は、回転補正後の各フレームから唇領域を抽出し、抽出した唇領域を予め定められた画像サイズにリサイズすることにより唇画像を生成して口形素ラベル付加部２８に出力する。
【００７５】
この後、ステップＳ２１に戻り、学習用発話動画像信号の入力が終わるまで、ステップＳ２１乃至Ｓ２７の処理が繰り返される。
【００７６】
次に、図９は、ステップＳ１３における学習用発話音声の処理を詳細に説明するフローチャートである。
【００７７】
ステップＳ３１において、音素ラベル付与部２５は、音素辞書２６を参照することにより、学習用発話音声に対してその音素を示す音素ラベルを付与して口形素ラベル変換部２７に出力する。
【００７８】
ステップＳ３２において、口形素ラベル変換部２７は、予め保持する変換テーブルを用い、学習用発話音声に付与されている音素ラベルを、発話時の唇の形を示す口形素ラベルに変換して口形素ラベル付加部２８に出力する。
【００７９】
この後、ステップＳ３１に戻り、学習用発話音声の入力が終わるまで、ステップＳ３１およびＳ３２の処理が繰り返される。
【００８０】
図７に戻る。ステップＳ１４において、口形素ラベル付加部２８は、唇画像生成部２４から入力された学習用発話動画像の各フレームに対応する唇画像に対し、口形素ラベル変換部２７から入力された学習用発話音声に付与された口形素ラベルを流用して付加し、口形素ラベルが付加された唇画像を学習サンプル保持部２９に出力する。学習サンプル保持部２９は、口形素ラベル付唇画像を学習サンプルとして保持する。学習サンプル保持部２９に所定の数Ｍの学習サンプルが保持された後、ステップＳ１５以降の処理が行われる。
【００８１】
ステップＳ１５において、口形素判別器学習部３０は、学習サンプル保持部２９に保持されている複数の学習サンプルとしての唇画像の画像特徴量を求め、AdaBoostECOCにより複数の弱判別器を学習し、これら複数の弱判別器からなる口形素判別器３１を生成する。
【００８２】
図１０は、ステップＳ１５の処理(AdaBoostECOC学習処理)を詳細に説明するフローチャートである。
【００８３】
ステップＳ４１において、口形素判別器学習部３０は、図４に示されたように、Ｍ個の学習サンプル（ｘi，ｙk）を学習サンプル保持部２９から取得する。
【００８４】
ステップＳ４２において、口形素判別器学習部３０は、次式（２）に従い、Ｍ行Ｋ列で表されるサンプル重みＰt（ｉ，ｋ）を初期化する。具体的には、サンプル重みＰt（ｉ，ｋ）の初期値Ｐ1（ｉ，ｋ）を、実在する学習サンプル（ｘi，ｙk）に対応するものは０に、それ以外はそれらの総和が１となるような一様な値に設定する。
Ｐ1（ｉ，ｋ）＝１／Ｍ（Ｋ−１）    for  ｙk≠ｋ
・・・（２）
【００８５】
以下に説明するステップＳ４３乃至ステップＳ４８の処理は任意の数Ｔだけ繰り返される。なお、任意の繰り返し回数Ｔは、最大で唇画像上で得られるピクセル差分特徴の数とすることができ、この繰り返し回数Ｔと同じ数だけ弱判別器が生成される。
【００８６】
ステップＳ４３において、口形素判別器学習部３０は、１行Ｋ列のECOCテーブルを生成する。なお、ECOCテーブルのｋ列の値μt（ｋ）は−１または＋１であり、−１と＋１の数が同数となるようにランダムに割り振られる。
μt（ｋ）＝｛−１，＋１｝
・・・（３）
【００８７】
ステップＳ４４において、口形素判別器学習部３０は、次式（４）に従い、Ｍ行１列で表される２値判別用重みＤt（ｉ）を計算する。なお、式（４）において、[]内は論理式であり、真であれば１、偽であれば０とする。
【数１】
2011014985.tif 000003
・・・（４）
【００８８】
ステップＳ４５において、口形素判別器学習部３０は、ステップＳ４４で得られた２値判別用重みＤt（ｉ）の下、次式（５）に示す重み付き誤り率εtを最小とする２値判別弱判別器ｈtを学習する。
【数２】
2011014985.tif 000004
・・・（５）
【００８９】
図１１は、ステップＳ４５の処理を詳細に説明するフローチャートである。
【００９０】
ステップＳ６１において、口形素判別器学習部３０は、唇画像の全画素からランダムに２画素を選択する。例えば、唇画像を３２×３２画素とした場合、２画素の選択は、１０２４×１０２３通りのうちの１つを選ぶことになる。ここで、選択した２画素の画素位置をＳ1，Ｓ2とし、その画素値（輝度値）をＩ1，Ｉ2とする。
【００９１】
ステップＳ６２において、口形素判別器学習部３０は、全ての学習サンプルについて、ステップＳ６１で選択した２画素の画素値Ｉ1，Ｉ2を用いたピクセル差分特徴（Ｉ1−Ｉ2）を算出し、その頻度分布を求める。
【００９２】
ステップＳ６３において、口形素判別器学習部３０は、ピクセル差分特徴の頻度分布に基づき、式（５）に示された重み付き誤り率εtを最小εminにする閾値Ｔｈminを求める。
【００９３】
ステップＳ６４において、口形素判別器学習部３０は、ピクセル差分特徴の頻度分布に基づき、式（５）に示された重み付き誤り率εtを最大εmaxにする閾値Ｔｈmaxを求める。さらに、口形素判別器学習部３０は、次式（６）に従い、閾値Ｔｈmaxなどを反転する。
ε’max＝１−εmax
Ｓ’1＝Ｓ2
Ｓ’2＝Ｓ1
Ｔｈ’max＝−Ｔｈmax
・・・（６）
【００９４】
ステップＳ６５において、口形素判別器学習部３０は、上述した重み付き誤り率εtの最小εminと最大εmaxの大小関係に基づいて、２値判別弱判別器のパラメータである２画素の位置Ｓ1，Ｓ2と閾値Ｔｈを決定する。
【００９５】
すなわち、εmin＜ε’maxの場合、２画素の位置Ｓ1，Ｓ2と閾値Ｔｈminをパラメータとして採用する。また、εmin≧ε’maxの場合、２画素の位置Ｓ’1，Ｓ’2と閾値Ｔｈ’maxをパラメータとして採用する。
【００９６】
ステップＳ６６において、口形素判別器学習部３０は、上述したステップＳ６１乃至Ｓ６５の処理を所定の回数繰り返したか否かを判定し、所定の回数繰り返したと判定するまでステップＳ６１に戻り、それ以降を繰り返す。そして、ステップＳ６１乃至Ｓ６５の処理を所定の回数繰り返したと判定した場合、処理をステップＳ６７に進める。
【００９７】
ステップＳ６７において、口形素判別器学習部３０は、上述したように所定の回数繰り返されるステップＳ６５の処理において決定された２値判別弱判別器（のパラメータ）のうち、重み付き誤り率εtが最小となるものを１つの２値判別弱判別器ｈt（のパラメータ）として最終的に採用する。
【００９８】
以上説明したように、１つの２値判別弱判別器ｈtが決定された後、処理は図１０のステップＳ４６にリターンする。
【００９９】
ステップＳ４６において、口形素判別器学習部３０は、ステップＳ４５の処理で決定した２値判別弱判別器ｈtに対応する重み付き誤り率εtに基づき、次式（７）に従い信頼度αtを計算する。
【数３】
2011014985.tif 000005
・・・（７）
【０１００】
ステップＳ４７において、口形素判別器学習部３０は、次式（８）に示すように、ステップＳ４５の処理で決定した２値判別弱判別器ｈtと、ステップＳ４６の処理で計算した信頼度αtを乗算することにより、信頼度付き２値判別弱判別器ｆt（ｘi）を求める。
ｆt（ｘi）＝αtｈt
・・・（８）
【０１０１】
ステップＳ４８において、口形素判別器学習部３０は、次式（９）に従い、Ｍ行Ｋ列で表されるサンプル重みＰt（ｉ，ｋ）を更新する。
【数４】
2011014985.tif 000006
・・・（９）
【０１０２】
ただし、式（９）のＺiは次式（１０）に示すとおりである。
【数５】
2011014985.tif 000007
・・・（１０）
【０１０３】
ステップＳ４９において、口形素判別器学習部３０は、上述したステップＳ４３乃至Ｓ４８の処理を所定の回数Ｔだけ繰り返したか否かを判定し、所定の回数Ｔだけ繰り返したと判定するまでステップＳ４３に戻り、それ以降を繰り返す。そして、ステップＳ４３乃至Ｓ４８の処理を所定の回数Ｔだけ繰り返したと判定した場合、処理をステップＳ５０に進める。
【０１０４】
ステップＳ５０において、口形素判別器学習部３０は、所定の数Ｔと同じ数だけ得られた信頼度付き２値判別弱判別器ｆt（ｘ）、およびそれぞれに対応するECOCテーブルに基づき、次式（１１）に従って最終判別器Ｈk（ｘ）、すなわち口形素判別器３１を得る。
【数６】
2011014985.tif 000008
・・・（１１）
【０１０５】
なお、得られた口形素判別器３１はパラメータとして、クラスの数（口形素の数）Ｋ、および弱判別器の数Ｔを有する。また、各弱判別器はパラメータとして、唇画像上の２画素の位置Ｓ1，Ｓ2、ピクセル差分特徴の判別用の閾値Ｔｈ、信頼度α、およびECOCテーブルμを有する。
【０１０６】
以上説明したように最終判別器Ｈk（ｘ）、すなわち口形素判別器３１を得て、当該AdaBoostECOC学習処理は終了される。
【０１０７】
以上のように生成された口形素判別器３１によれば、入力される唇画像の画像特徴量をＫ次元スコアベクトルで表現できる。すなわち、登録用発話動画像の各フレームから生成される唇画像がＫ（いまの場合、１９）種類の口形素のそれぞれに対してどの程度似ているかを数値化して表すことができる。また、認識用発話動画像の各フレームから生成される唇画像に対しても同様に、Ｋ種類の口形素のそれぞれに対してどの程度似ているかを数値化して表すことができる。
【０１０８】
［登録処理の詳細］
図１２は、ステップＳ２の登録処理を詳細に説明するフローチャートである。
【０１０９】
ステップＳ７１において、登録系１２は、図７を参照して上述した学習系１１による学習用発話動画像の処理と同様の処理を実行することにより、登録用発話動画像の各フレームに対応する唇画像を生成する。生成された唇画像は、口形素判定器３１および発話期間検出部４４に入力される。
【０１１０】
ステップＳ７２において、発話期間検出部４４は、登録用発話動画像の各フレームの唇画像に基づき発話期間を特定し、各フレームの唇画像が発話期間に対応するものであるか否かを口形素判別器３１および時系列特徴量生成部４５に通知する。口形素判定器３１は、順次入力される唇画像のうち、発話期間に対応するものについて対応するＫ次元スコアベクトルを演算する。
【０１１１】
図１３は、口形素判定器３１によるＫ次元スコアベクトル演算処理を詳細に説明するフローチャートである。
【０１１２】
ステップＳ８１において、口形素判定器３１は、クラスを示すパラメータｋ（ｋ＝１，２，・・・，Ｋ）を１に初期化する。ステップＳ８２において、口形素判定器３１は、各クラスのスコアＨkを０に初期化する。
【０１１３】
ステップＳ８３において、口形素判定器３１は、弱判別器を特定するためのパラメータｔ（ｔ＝１，２，・・・，Ｔ）を１に初期化する。
【０１１４】
ステップＳ８４において、口形素判定器３１は、２値判別弱判別器ｈtのパラメータ、すなわち、唇画像ｘ上の２画素の位置Ｓ1，Ｓ2、ピクセル差分特徴の判別用の閾値Ｔｈ、信頼度α、およびECOCテーブルμを設定する。
【０１１５】
ステップＳ８５において、口形素判定器３１は、唇画像ｘ上の２画素の位置Ｓ1，Ｓ2から画素値Ｉ1，Ｉ2を読み出し、ピクセル差分特徴（Ｉ1−Ｉ2）を算出して閾値Ｔｈと比較することにより、２値判別弱判別器ｈtの判別値（−１または＋１）を得る。
【０１１６】
ステップＳ８６において、口形素判定器３１は、ステップＳ８５で得た２値判別弱判別器ｈtの判別値に信頼度αtを乗算し、さらに１行Ｋ列のECOCテーブルの値μt（ｋ）を乗算することにより、パラメータｔに対応する１行Ｋ列のクラススコアＨkを得る。
【０１１７】
ステップＳ８７において、口形素判定器３１は、ステップＳ８６で得た、パラメータｔに対応する１行Ｋ列のクラススコアＨkを、前回（すなわち、ｔ−１）までのクラススコアＨkの累計値に加算することにより、１行Ｋ列のクラススコアＨkを更新する。
【０１１８】
ステップＳ８８において、口形素判定器３１は、パラメータｔ＝Ｔであるか否かを判定し、否と判定した場合、処理をステップＳ８９に進めてパラメータｔを１だけインクリメントする。そして、処理はステップＳ８４に戻され、それ以降の処理が繰り返される。その後、ステップＳ８８において、パラメータｔ＝Ｔであると判定された場合、処理はステップＳ９０に進められる。
【０１１９】
ステップＳ９０において、口形素判定器３１は、パラメータｋ＝Ｋであるか否かを判定し、パラメータｋ＝Ｋではないと判定した場合、処理をステップＳ９１に進めてパラメータｋを１だけインクリメントする。そして、処理はステップＳ８３に戻され、それ以降の処理が繰り返される。その後、ステップＳ９０において、パラメータｋ＝Ｋであると判定された場合、処理はステップＳ９２に進められる。
【０１２０】
ステップＳ９２において、口形素判定器３１は、その時点で得られている１行Ｋ列のクラススコアＨkを口形素判定器３１の出力、すなわち、Ｋ次元スコアベクトルとして後段（いまの場合、時系列特徴量生成部４５）に出力する。以上で、Ｋ次元スコアベクトル演算処理は終了される。
【０１２１】
図１２に戻る。ステップＳ７３において、時系列特徴量生成部４５は、発話期間検出部４４から通知される発話期間に、口形素判別器３１から順次入力されたＫ次元スコアベクトルを時系列に配置することにより、登録用発話動画像の発話期間に対応した時系列特徴量を生成する。
【０１２２】
ステップＳ７４において、時系列特徴量学習部４６は、登録用発話動画像とともに外部から供給された登録用発話単語（登録用発話動画像における話者の発話内容）に対応付けて、時系列特徴量生成部４５から入力された時系列特徴量をHMMによりモデル化する。モデル化された時系列特徴量は、発話認識器４７に内蔵された学習データベース４８に保持される。以上で、登録処理は終了される。
【０１２３】
[認識処理の詳細]
図１４は、認識処理を詳細に説明するフローチャートである。
【０１２４】
認識系１３は、入力された認識用発話動画像に対し、ステップＳ１０１乃至Ｓ１０３の処理として、図１２を参照して上述した登録系１２による登録処理のステップＳ７１乃至Ｓ７３と同様の処理を行う。この結果、認識用発話動画像の発話期間に対応した時系列特徴量が生成される。生成された認識用発話動画像の発話期間に対応した時系列特徴量は、発話認識器４７に入力される。
【０１２５】
ステップＳ１０４において、発話認識器４７は、時系列特徴量生成部４５から入力された時系列特徴量に対して、学習データベース４８に保持されているモデルのうちで最も類似しているものを特定する。さらに、発話認識器４７は、特定したモデルに対応付けられている登録用発話単語を、認識用発話動画像に対応する発話認識結果として出力する。以上で、認識処理は終了される。
【０１２６】
[認識実験の結果]
次に、発話認識装置１０による認識実験の結果について説明する。
【０１２７】
この認識実験では、学習処理において、２１６単語を発声する７３人の被験者（話者）をそれぞれ個別にビデオ撮影した学習用音声付発話動画像を用いた。また、登録処理においては、学習処理時の２１６単語のうちの、図１５に示す２０単語を登録発話単語に選択し、それに対応する学習用発話動画像を登録用発話動画像に流用した。また、HMMを用いたモデル化では、遷移確率をleft-to-rightに制約し、４０状態の遷移モデルとした。
【０１２８】
そして、認識処理では、学習処理および登録処理と同じ被験者の認識用発話動画像を用いたクローズ評価と、学習処理および登録処理とは異なる被験者の認識用発話動画像を用いたオープン評価を行い、図１６に示す認識率を得ることができた。
【０１２９】
図１６は、ある登録用発話単語Ｗを発話している認識用発話動画像に対応する時系列特徴量が、２０種類の各登録用発話単語にそれぞれ対応する各HMMにどの程度類似しているかを順位付けした際に、正解（登録用発話単語Ｗに対応するHMM）がＭ番目（横軸）までに入っている確率（縦軸）を示している。
【０１３０】
同図によれば、クローズ評価の場合には９６％の識別率を得ることができた。また、オープン評価の場合には８０％の識別率を得ることができた。
【０１３１】
なお、上述した認識実験では、学習処理と登録処理の被験者（話者）を共通とし、登録用発話動画像に学習用発話動画像を流用したが、学習処理と登録処理の被験者（話者）を別人としてもよく、さらに、認識処理の被験者（話者）をさらに別人としてもよい。
【０１３２】
以上説明した、第１の実施の形態である発話認識装置１０によれば、入力された画像（いまの場合、唇画像）の特徴量を演算するための判別器を学習により生成するので、認識したい対象に対して、その都度、判別器を新たに設計する不要ない。したがって、ラベルの種類を変更することにより、例えば動画像からジェスチャや手書き文字を識別したりする認識装置にも容易に適用できる。
【０１３３】
また、学習処理によって、個人差の大きい部位の画像に対して汎用性のある特徴量を抽出することができる。
【０１３４】
さらに、画像特徴量に比較的演算量が少ないピクセル差分を用いたので、リアルタイムな認識処理が可能になる。
【０１３５】
＜２．第２の実施の形態＞
［デジタルスチルカメラの構成例］
次に、図１７は、第２の実施の形態であるデジタルスチルカメラ６０の構成例を示している。このデジタルスチルカメラ６０は、読唇技術を応用したオートシャッタ機能を有している。具体的には、被写体となる人物が「ハイ、チーズ」などと所定のキーワード（以下、シャッタキーワードと称する）を発話したことを検出した場合、これに応じてシャッタをきる（静止画像を撮像する）ようにしたものである。
【０１３６】
このデジタルスチルカメラ６０は、撮像部６１、画像処理部６２、記録部６３、Ｕ／Ｉ部６４、撮像制御部６５、およびオートシャッタ制御部６６から構成される。
【０１３７】
撮像部６１は、レンズ群、CMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子（いずれも図示せず）から構成され、被写体の光学像を取得して電気信号に変換し、その結果得られる画像信号を後段に出力する。
【０１３８】
すなわち、撮像部６１は、撮像制御部６５からの制御に従い、撮像前の段階において画像信号を撮像制御部６５およびオートシャッタ制御部６６に出力する。また、撮像部６１は、撮像制御部６５からの制御に従って撮像を行い、その結果得られる画像信号を画像処理部６２に出力する。
【０１３９】
以下、撮像前の構図決定用に撮像制御部６５に出力されてＵ／Ｉ部６４に含まれるディスプレイ（不図示）に表示される動画像をファインダ画像と称する。ファインダ画像は、オートシャッタ制御部６６にも出力される。また、撮像の結果として撮像部６１から画像処理部６２に出力される画像信号を記録画像と称する。
【０１４０】
画像処理部６２は、撮像部６１から入力される記録画像に所定の画像処理（例えば、手ぶれ補正、ホワイトバランス補正、画素補間など）を行った後、所定の符号化方式に従って符号化し、その結果得られた画像符号化データを記録部６３に出力する。また、画像処理部６２は、記録部６３から入力される画像符号化データを復号し、その結果得られる画像信号（以下、再生画像と称する）を撮像制御部６５に出力する。
【０１４１】
記録部６３は、画像処理部６２から入力される画像符号化データを、図示せぬ記録メディアに記録する。また、記録部６３は、記録メディアに記録されている画像符号化データを読み出して画像処理部６２に出力する。
【０１４２】
撮像制御部６５は、デジタルスチルカメラ６０の全体を制御する。特に、撮像処理部６５は、Ｕ／Ｉ部６４からのシャッタ操作信号、あるいはオートシャッタ制御部６６からのオートシャッタ信号に従い、撮像部６１を制御して撮像を実行させる。
【０１４３】
Ｕ／Ｉ(user interface)部６４は、ユーザによるシャッタ操作を受け付けるシャッタボタンに代表される各種の入力デバイスと、ファインダ画像や再生画像などを表示するディスプレイからなる。特に、Ｕ／Ｉ部６４は、ユーザからのシャッタ操作に応じてシャッタ操作信号を撮像制御部６５に出力する。
【０１４４】
オートシャッタ制御部６６は、撮像部６１から入力されるファインダ画像に基づき、被写体となる人物によるシャッタキーワードの発話を検出した場合、これに応じてオートシャッタ信号を撮像制御部６５に出力する。
【０１４５】
次に、図１８は、オートシャッタ制御部６６の詳細な構成例を示している。
【０１４６】
同図と図１を比較して明らかなように、オートシャッタ制御部６６は、図１の発話認識装置１０の登録系１２および認識系１３と同様の構成に加えて、オートシャッタ信号出力部７１が追加されて構成される。オートシャッタ制御部６６の、図１の発話認識装置１０と共通する構成要素には同一の番号を付しているので、その説明は省略する。
【０１４７】
ただし、オートシャッタ制御部６６における口形素判別器３１は既に学習済みのものである。
【０１４８】
オートシャッタ信号出力部７１は、発話認識器４７からの発話認識結果が予め登録されているシャッタキーワードであることを示す場合、オートシャッタ信号を発生して撮像制御部６５に出力する。
【０１４９】
[動作説明]
次に、デジタルスチルカメラ６０の動作について説明する。デジタルスチルカメラ６０の動作には、通常撮影モード、通常再生モード、オートシャッタ登録モード、オートシャッタ実行モードなどが設けられている。
【０１５０】
通常撮影モードでは、ユーザによるシャッタ操作に応じて撮影が行われる。通常再生モードでは、ユーザによる再生操作に応じて撮影済みの画像が再生されて表示される。
【０１５１】
シャッタキーワード登録モードでは、シャッタキーワードとする任意の言葉を発話する被写体（ユーザなど）の唇の動きを示す時系列特徴量のHMMが登録される。なお、デジタルスチルカメラ６０を商品として出荷する段階において、予めシャッタキーワードとそれに対応する唇の動きを示す時系列特徴量のHMMを登録しておくようにしてもよい。
【０１５２】
オートシャッタ実行モードでは、ファインダ画像に基づき、被写体となる人物の唇の動きを示す時系列特徴量が検出され、検出された時系列特徴量に基づいてシャッタキーワードを発話していると認識された場合に撮影が行われる。
【０１５３】
［シャッタキーワード登録処理の詳細］
次に、図１９は、シャッタキーワード登録処理を説明するフローチャートである。
【０１５４】
このシャッタキーワード登録処理は、ユーザからの所定の操作に応じてシャッタキーワード登録モードとされたときに開始され、また、ユーザからの所定の操作に応じて終了される。
【０１５５】
なお、このシャッタキーワード登録処理の開始を指示した後にユーザは、ファインダ画像に、シャッタキーワードとして登録したい言葉を発話している話者の顔が写るようにする。この話者には、オートシャッタ実行処理時に被写体となる人物を用いることが望ましいが、それ以外の例えばユーザ自身が話者となってもよい。そして、シャッタキーワードの発話が終了した後に、オートシャッタ学習処理の終了を指示するようにする。
【０１５６】
ステップＳ１２１において、撮像制御部６５は、オートシャッタ登録処理の終了が指示されたか否かを判定し、指示されていない場合、処理をステップＳ１２２に進める。
【０１５７】
ステップＳ１２２において、登録系１２の顔領域検出部４１は、ファインダ画像を各フレームに分割し、１フレームずつ処理対象とする。処理対象のフレームから顔領域を検出する。ステップＳ１２３において、顔領域検出部４１は、処理対象のフレームから顔領域を１つだけ検出したか否かを判定し、複数の顔領域を検出した場合、または顔領域を１つも検出できなかった場合、処理をステップＳ１２４に進める。
【０１５８】
ステップＳ１２４において、Ｕ／Ｉ部６４は、シャッタキーワードとして登録したい言葉を発話する一人の話者だけがファインダ画像に写るようユーザに注意を促す。この後、処理はステップＳ１２１に戻り、それ以降が繰り返される。
【０１５９】
ステップＳ１２３において、処理対象のフレームから顔領域を１つだけ検出した場合、処理はステップＳ１２５に進められる。
【０１６０】
ステップＳ１２５において、顔領域検出部４１は、処理対象としている１フレーム分のファインダ画像とともに顔領域の位置情報を唇領域検出部４２に出力する。唇領域検出部４２は、処理対象のフレームの顔領域から唇領域を検出し、処理対象としている１フレーム分のファインダ画像とともに唇領域の位置情報を唇画像生成部４３に出力する。
【０１６１】
唇画像生成部４３は、処理対象としているファインダ画像の１フレームを、唇の口角の端点を結ぶ線が水平になるように、適宜、回転補正を行う。さらに、唇画像生成部４３は、回転補正後の各フレームから唇領域を抽出し、抽出した唇領域を予め定められた画像サイズにリサイズして唇画像を生成する。生成された唇画像は、口形素判定器３１および発話期間検出部４４に入力される。
【０１６２】
ステップＳ１２６において、発話期間検出部４４は、処理対象としているフレームの唇画像に基づき、当該フレームが発話期間であるか否かを判定し、判定結果を口形素判別器３１および時系列特徴量生成部４５に通知する。そして、発話期間であると判定された場合、処理はステップＳ１２７に進められる。反対に、発話期間ではないと判定された場合、ステップＳ１２７はスキップされる。
【０１６３】
ステップＳ１２７において、口形素判定器３１は、順次入力される唇画像のうち、発話期間に対応するものについて対応するＫ次元スコアベクトルを演算して時系列特徴量生成部４５に出力する。この後、処理はステップＳ１２１に戻り、オートシャッタ登録処理の終了が指示されるまで、ステップＳＳ１２１乃至１２７の処理が繰り返される。
【０１６４】
そして、ステップＳ１２１において、オートシャッタ登録処理の終了が指示されたと判定された場合、処理はステップＳ１２８に進められる。
【０１６５】
ステップＳ１２８において、時系列特徴量生成部４５は、発話期間検出部４４から通知される発話期間に、口形素判別器３１から順次入力されたＫ次元スコアベクトルを時系列に配置することにより、登録したいシャッタキーワードに対応した時系列特徴量を生成する。
【０１６６】
ステップＳ１２９において、時系列特徴量学習部４６は、Ｕ／Ｉ部６４から入力されるシャッタキーワードのテキストデータに対応付けて、時系列特徴量生成部４５から入力された時系列特徴量を、HMMによりモデル化する。モデル化された時系列特徴量は、発話認識器４７に内蔵された学習データベース４８に保持される。以上で、シャッタキーワード登録処理は終了される。
【０１６７】
［オートシャッタ実行処理の詳細］
次に、図２０は、オートシャッタ実行処理を説明するフローチャートである。
【０１６８】
このオートシャッタ実行処理は、ユーザからの所定の操作に応じてオートシャッタ実行モードとされたときに開始され、また、ユーザからの所定の操作に応じて終了される。
【０１６９】
ステップＳ１４１において、認識系１２の顔領域検出部４１は、ファインダ画像を各フレームに分割し、１フレームずつ処理対象とする。処理対象のフレームから顔領域を検出する。
【０１７０】
ステップＳ１４２において、顔領域検出部４１は、処理対象のフレームから顔領域を検出できたか否かを判定し、顔領域が検出できるまで、処理をステップＳ１４１に戻す。そして、処理対象のフレームから顔領域を検出できた場合、処理はステップＳ１４３に進められる。
【０１７１】
なお、ここでは、シャッタキーワード登録処理時とは異なり、１フレームから複数の顔領域が検出されてもかまわない。１フレームから複数の顔領域が検出された場合、検出された各顔領域に対して並行し、これ以降の処理が実行される。
【０１７２】
ステップＳ１４３において、顔領域検出部４１は、処理対象としている１フレーム分のファインダ画像とともに顔領域の位置情報を唇領域検出部４２に出力する。唇領域検出部４２は、処理対象のフレームの顔領域から唇領域を検出し、処理対象としている１フレーム分のファインダ画像とともに唇領域の位置情報を唇画像生成部４３に出力する。
【０１７３】
唇画像生成部４３は、処理対象としているファインダ画像の１フレームを、唇の口角の端点を結ぶ線が水平になるように、適宜、回転補正を行う。さらに、唇画像生成部４３は、回転補正後の各フレームから唇領域を抽出し、抽出した唇領域を予め定められた画像サイズにリサイズして唇画像を生成する。生成された唇画像は、口形素判定器３１および発話期間検出部４４に入力される。
【０１７４】
ステップＳ１４４において、発話期間検出部４４は、処理対象としているフレームの唇画像に基づいて発話期間を判定する。すなわち、処理対象としているフレームが発話期間の始点、または発話期間中であると判定された場合、処理はステップＳ１４５に進められる。
【０１７５】
ステップＳ１４５において、口形素判定器３１は、順次入力される唇画像のうち、発話期間に対応するものについて対応するＫ次元スコアベクトルを演算して時系列特徴量生成部４５に出力する。この後、処理はステップＳ１４１に戻り、それ以降が繰り返される。
【０１７６】
ステップＳ１４４において、処理対象としているフレームが発話期間の終点であると判定された場合、処理はステップＳ１４６に進められる。
【０１７７】
ステップＳ１４６において、時系列特徴量生成部４５は、発話期間検出部４４から通知される発話期間に、口形素判別器３１から順次入力されたＫ次元スコアベクトルを時系列に配置することにより、被写体の唇の動きに対応した時系列特徴量を生成する。
【０１７８】
ステップＳ１４７において、時系列特徴量生成部４５は、生成した時系列特徴量を発話認識器４７に入力する。ステップＳ１４８において、発話認識器４７は、時系列特徴量生成部４５から入力された時系列特徴量と、学習データベース４８に保持されているシャッタキーワードに対応するHMMを比較して、被写体の唇の動きがシャッタキーワードに対応するものであるか否かを判定する。被写体の唇の動きがシャッタキーワードに対応するものであると判定された場合、処理はステップＳ１４９に進められる。なお、否と判定された場合、処理はステップＳ１４１に戻り、それ以降が繰り返される。
【０１７９】
ステップＳ１４９において、発話認識器４７は、被写体の唇の動きがシャッタキーワードに対応するものである旨をオートシャッタ信号出力部７１に通知する。この通知の応じ、オートシャッタ信号出力部７１は、オートシャッタ信号を発生して撮像制御部６５に出力する。このオートシャッタ信号に従い、撮像制御部６５は、撮像部６１などを制御して撮像を行わせる。なお、この撮像タイミングは、シャッタキーワードの発話の所定時間（例えば１秒間）後などとユーザが任意に設定できる。この後、処理はステップＳ１４１に戻り、それ以降が繰り返される。
【０１８０】
なお、上述した説明では、ファインダ画像から複数の顔領域（被写体）が検出された場合、複数の被写体のうちの誰がシャッタキーワードを発話してもよいことになる。
【０１８１】
ただし、このような仕様を変更し、例えば、被写体の過半数がシャッタキーワードを発話したことに応じて撮像を行うようにしてもよい。このような仕様にすれば、集合写真を撮像する際の遊戯性をユーザらに与えることができる。また複数の顔認識を行うので、認識結果が頑健になり、シャッタキーワードの誤検出などを抑止できる効果も期待できる。
【０１８２】
さらに、個人の顔を識別する個人識別技術を組み合わせることにより、複数の被写体のうちの特定の人物にだけ注目してシャッタキーワードを検出するようにしてもよい。この特定の人物は複数であってもよい。この特定の人物を被験者（被写体）として、上述したシャッタキーワード登録処理を行えば、より頑健で正確な発話認識が可能となる。
【０１８３】
以上説明したように、第２の実施の形態であるデジタルスチルカメラ６０によれば、離れた位置にいる被写体が、リモートコントローラなどを用いることなく、ノイズ環境化においても、シャッタキーワードを発話するだけで撮像タイミングを指示することができる。なお、このシャッタキーワードは、任意に設定することができる。
【０１８４】
なお、本発明は、デジタルスチルカメラに限らず、デジタルビデオカメラにも適用することができる。
【０１８５】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１８６】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１８７】
このコンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１８８】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０１８９】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１９０】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１９１】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１９２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【０１９３】
また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０１９４】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１９５】
１０  発話認識装置，  ２１  画音分離部,  ２２  顔領域検出部,  ２３  唇領域検出部,  ２４  唇画像生成部，  ２５  音素ラベル付与部，  ２６  音素辞書，  ２７  口形素ラベル変換部，  ２８  口形素ラベル付加部，  ２９  学習サンプル保持部，  ３０  口形素判別器学習部，  ３１  口形素判別器，  ４１  顔領域検出部,  ４２  唇領域検出部,  ４３  唇画像生成部，  ４４  発話期間検出部，  ４５  時系列特徴量生成部，  ４６  時系列特徴量学習部，  ４７  発話認識器，  ４８  学習データベース，  ６０  デジタルスチルカメラ,  ６１  撮像部，  ６２  画像処理部，  ６３  記録メディア，  ６４  Ｕ／Ｉ部，  ６５  撮像制御部，  ６６  オートシャッタ制御部，  ７１  オートシャッタ信号出力部，  ２００  コンピュータ，  ２０１  CPU
【図１】
2011014985.tif 000009
【図２】
2011014985.tif 000010
【図３】
2011014985.tif 000011
【図４】
2011014985.tif 000012
【図５】
2011014985.tif 000013
【図６】
2011014985.tif 000014
【図７】
2011014985.tif 000015
【図８】
2011014985.tif 000016
【図９】
2011014985.tif 000017
【図１０】
2011014985.tif 000018
【図１１】
2011014985.tif 000019
【図１２】
2011014985.tif 000020
【図１３】
2011014985.tif 000021
【図１４】
2011014985.tif 000022
【図１５】
2011014985.tif 000023
【図１６】
2011014985.tif 000024
【図１７】
2011014985.tif 000025
【図１８】
2011014985.tif 000026
【図１９】
2011014985.tif 000027
【図２０】
2011014985.tif 000028
【図２１】
2011014985.tif 000029