(57)【要約】【課題】特定の表情の静止画を記録する場合に、処理の負荷を軽減するとともに、似たような構図の静止画が必要以上に連続して記録されることを防止する。【解決手段】表情判定部１５１は、入力画像に含まれる顔が笑顔であるか否かを判定し、笑顔であると判定して静止画記録トリガーが発生された場合には、一定時間が経過するまで判定を停止する。静止画記録トリガー発生制御部２５０は、表情判定部１５１により笑顔であると判定された場合には、動画の記録動作状態および静止画の記録動作状態の少なくとも一方に基づいて静止画記録トリガーを発生させるか否かを決定し、その指示を出力する。静止画記録トリガー発生部２２０は、静止画記録トリガー発生制御部２５０からの指示に基づいて静止画記録トリガーを発生するとともに、シャッタ操作が受け付けられた場合には、その指示にかかわらず静止画記録トリガーを発生する。【選択図】図３
2009302835.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に含まれる顔が特定の表情であると判定された場合に、当該判定から一定時間が経過するまで判定を停止させる判定制御部と、
前記入力画像に含まれる顔が前記特定の表情であると判定された場合に、当該判定の対象となった入力画像の記録動作を開始させる静止画記録トリガーを発生させる制御を行う静止画記録トリガー発生制御部と
を具備する画像処理装置。
【請求項２】
動画の記録動作状態を管理する動画管理部と、
静止画の記録動作状態を管理する静止画管理部とをさらに具備し、
前記静止画記録トリガー発生制御部は、前記動画の記録動作状態および前記静止画の記録動作状態の少なくとも一方に基づいて、前記静止画記録トリガーを発生させるか否かを決定する
請求項１記載の画像処理装置。
【請求項３】
前記静止画記録トリガー発生制御部は、前記入力画像に含まれる顔が前記特定の表情であると判定された場合に、前記動画の記録動作中であれば前記静止画記録トリガーを発生させる制御を行う請求項２記載の画像処理装置。
【請求項４】
前記静止画記録トリガー発生制御部は、前記入力画像に含まれる顔が前記特定の表情であると判定された場合に、前記動画の記録動作中であるとともに前記静止画の記録動作中であれば前記静止画記録トリガーを発生させないように制御を行う請求項３記載の画像処理装置。
【請求項５】
前記判定制御部は、前記入力画像に含まれる顔が前記特定の表情であると判定された場合に、その旨を示す特定表情判定通知を前記静止画記録トリガー発生制御部に出力し、前記特定表情判定通知に対応して前記静止画記録トリガーを発生させた旨を示す静止画記録トリガー発生通知が前記静止画記録トリガー発生制御部から出力された場合に、前記判定を停止させ、
前記静止画記録トリガー発生制御部は、前記特定表情判定通知が前記判定制御部から出力された場合に、静止画の記録動作中であれば前記特定表情判定通知を破棄して前記静止画記録トリガーを発生させないように制御を行い、前記静止画の記録動作中でなければ前記静止画記録トリガー発生通知を前記判定制御部に出力して前記静止画記録トリガーを発生させる制御を行う
請求項１記載の画像処理装置。
【請求項６】
前記一定時間は、前記静止画記録トリガーの発生に基づいて行われる静止画の記録動作に要する最小時間よりも長い請求項１記載の画像処理装置。
【請求項７】
前記静止画記録トリガー発生制御部は、前記静止画記録トリガーの発生に基づいて行われた静止画の記録動作中に、前記入力画像に含まれる顔が前記特定の表情であると判定された旨を示す特定表情判定通知が前記判定制御部から出力された場合には、前記特定表情判定通知を破棄して前記静止画記録トリガーを発生させないように制御を行う請求項１記載の画像処理装置。
【請求項８】
被写体を撮像して前記入力画像を生成する撮像部と、
前記入力画像に含まれる顔を検出する顔検出部と、
前記検出された顔が前記特定の表情であるか否かを判定する判定部と
をさらに具備する請求項１記載の画像処理装置。
【請求項９】
前記特定の表情は、笑顔である請求項１記載の画像処理装置。
【請求項１０】
静止画記録操作を受け付ける操作受付部と、
前記静止画記録トリガー発生制御部による制御に基づいて前記静止画記録トリガーを発生する発生部とをさらに具備し、
前記発生部は、前記静止画記録操作が受け付けられた場合には、前記静止画記録トリガー発生制御部による制御にかかわらず前記静止画記録トリガーを発生する
請求項１記載の画像処理装置。
【請求項１１】
入力画像に含まれる顔が特定の表情であると判定された場合に、当該判定から一定時間が経過するまで判定を停止させる手順と、
前記入力画像に含まれる顔が前記特定の表情であると判定された場合に、当該判定の対象となった入力画像の記録動作を開始させる静止画記録トリガーを発生させる制御を行う手順と
を具備する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、画像に含まれる人物等の顔の表情に基づいて静止画記録動作を行う画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、人物等の被写体が撮像された撮像画像や撮像動画を記録するデジタルスチルカメラやカムコーダ（camcorder：camera and recorder）等の撮像装置が普及している。また、撮像画像から人物の顔を検出する顔検出機能を備える撮像装置が多数提案されている。
【０００３】
さらに、近年では、このような顔検出機能を用いて検出された顔の表情を評価し、特定の表情に関する表情評価値を算出する表情評価技術が提案されている。また、このように算出された表情評価値を各種機能に応用する技術が提案されている
【０００４】
例えば、画像信号から検出された顔の表情を評価して笑顔に関する表情評価値を算出し、この表情評価値が閾値を超えた場合に、画像信号を記録媒体に記録する撮像装置が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開２００８−４２３１９号公報（図２）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述の従来技術によれば、被写体となる人物の顔が笑顔になった瞬間に撮像画像を記録することができるため、被撮影者または撮影者にとって満足度の高い撮影を容易に行うことができる。このため、例えば、初心者であっても被写体となる人物の笑顔を含む撮像画像を容易に記録することができる。
【０００６】
しかしながら、人を撮影する場合には、被写体となる人物が笑顔を作ることが多いが、この笑顔の時間が比較的長く続くことも考えられる。このような場合に、上述の従来技術により撮影を行うと、笑顔の時間が比較的長く続くことがあるため、連続して撮像画像が記録されることが考えられる。この場合には、略同一の構図で略同一の笑顔の撮像画像が多数記録されることが想定される。このように、略同一の構図で略同一の笑顔の撮像画像が多数記録された場合には、不必要な撮像画像を削除する必要があるため、この削除操作が煩雑であるという問題がある。また、略同一の構図で略同一の笑顔の撮像画像が多数記録されることにより、不必要な撮像画像のため処理の負荷が増加する。
【０００７】
そこで、本発明は、特定の表情の静止画を記録する場合に、処理の負荷を軽減するとともに、似たような構図の静止画が必要以上に連続して記録されることを防止することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、入力画像に含まれる顔が特定の表情であると判定された場合に、当該判定から一定時間が経過するまで判定を停止させる判定制御部と、上記入力画像に含まれる顔が上記特定の表情であると判定された場合に、当該判定の対象となった入力画像の記録動作を開始させる静止画記録トリガーを発生させる制御を行う静止画記録トリガー発生制御部とを具備する画像処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力画像に含まれる顔が特定の表情であると判定された場合に、一定時間が経過するまで判定を停止させ、静止画記録トリガーを発生させるという作用をもたらす。
【０００９】
また、この第１の側面において、動画の記録動作状態を管理する動画管理部と、静止画の記録動作状態を管理する静止画管理部とをさらに具備し、上記静止画記録トリガー発生制御部は、上記動画の記録動作状態および上記静止画の記録動作状態の少なくとも一方に基づいて、上記静止画記録トリガーを発生させるか否かを決定するようにしてもよい。これにより、動画の記録動作状態および静止画の記録動作状態の少なくとも一方に基づいて、静止画記録トリガーを発生させるか否かを決定するという作用をもたらす。
【００１０】
また、この第１の側面において、上記静止画記録トリガー発生制御部は、上記入力画像に含まれる顔が上記特定の表情であると判定された場合に、上記動画の記録動作中であれば上記静止画記録トリガーを発生させる制御を行うようにしてもよい。これにより、特定の表情であると判定された場合に、動画の記録動作中であれば、静止画記録トリガーを発生させるという作用をもたらす。
【００１１】
また、この第１の側面において、上記静止画記録トリガー発生制御部は、上記入力画像に含まれる顔が上記特定の表情であると判定された場合に、上記動画の記録動作中であるとともに上記静止画の記録動作中であれば上記静止画記録トリガーを発生させないように制御を行うようにしてもよい。これにより、特定の表情であると判定された場合に、動画の記録動作中であるとともに、静止画の記録動作中であれば、静止画記録トリガーを発生させないように制御を行うという作用をもたらす。
【００１２】
また、この第１の側面において、上記判定制御部は、上記入力画像に含まれる顔が上記特定の表情であると判定された場合に、その旨を示す特定表情判定通知を上記静止画記録トリガー発生制御部に出力し、上記特定表情判定通知に対応して上記静止画記録トリガーを発生させた旨を示す静止画記録トリガー発生通知が上記静止画記録トリガー発生制御部から出力された場合に、上記判定を停止させ、上記静止画記録トリガー発生制御部は、上記特定表情判定通知が上記判定制御部から出力された場合に、静止画の記録動作中であれば上記特定表情判定通知を破棄して上記静止画記録トリガーを発生させないように制御を行い、上記静止画の記録動作中でなければ上記静止画記録トリガー発生通知を上記判定制御部に出力して上記静止画記録トリガーを発生させる制御を行うようにしてもよい。これにより、判定制御部は、特定の表情であると判定された場合に特定表情判定通知を静止画記録トリガー発生制御部に出力し、静止画記録トリガー発生通知が静止画記録トリガー発生制御部から出力された場合に判定を停止させ、静止画記録トリガー発生制御部は、特定表情判定通知が判定制御部から出力された場合に、静止画の記録動作中であれば特定表情判定通知を破棄して静止画記録トリガーを発生させないように制御を行い、静止画の記録動作中でなければ、静止画記録トリガー発生通知を判定制御部に出力して静止画記録トリガーを発生させるという作用をもたらす。
【００１３】
また、この第１の側面において、上記一定時間を、上記静止画記録トリガーの発生に基づいて行われる静止画の記録動作に要する最小時間よりも長くするようにしてもよい。これにより、特定の表情であると判定した場合には、静止画の記録動作に要する最小時間よりも長い一定時間が経過するまで判定を停止するという作用をもたらす。
【００１４】
また、この第１の側面において、上記静止画記録トリガー発生制御部は、上記静止画記録トリガーの発生に基づいて行われた静止画の記録動作中に、上記入力画像に含まれる顔が上記特定の表情であると判定された旨を示す特定表情判定通知が上記判定制御部から出力された場合には、上記特定表情判定通知を破棄して上記静止画記録トリガーを発生させないように制御を行うようにしてもよい。これにより、静止画記録トリガーの発生に基づいて行われた静止画の記録動作中に、特定表情判定通知が判定制御部から出力された場合には、特定表情判定通知を破棄して静止画記録トリガーを発生させないように制御を行うという作用をもたらす。
【００１５】
また、この第１の側面において、被写体を撮像して上記入力画像を生成する撮像部と、上記入力画像に含まれる顔を検出する顔検出部と、上記検出された顔が上記特定の表情であるか否かを判定する判定部とをさらに具備するようにしてもよい。これにより、被写体を撮像して入力画像を生成し、この入力画像に含まれる顔を検出し、この顔が特定の表情であるか否かを判定するという作用をもたらす。
【００１６】
また、この第１の側面において、上記特定の表情を笑顔とするようにしてもよい。これにより、入力画像に含まれる顔が笑顔であるか否かを判定するという作用をもたらす。
【００１７】
また、この第１の側面において、静止画記録操作を受け付ける操作受付部と、上記静止画記録トリガー発生制御部による制御に基づいて上記静止画記録トリガーを発生する発生部とをさらに具備し、上記発生部は、上記静止画記録操作が受け付けられた場合には、上記静止画記録トリガー発生制御部による制御にかかわらず上記静止画記録トリガーを発生するようにしてもよい。これにより、静止画記録操作が受け付けられた場合には、静止画記録トリガー発生制御部による制御にかかわらず静止画記録トリガーを発生するという作用をもたらす。
【発明の効果】
【００１８】
本発明によれば、特定の表情の静止画を記録する場合に、処理の負荷を軽減するとともに、似たような構図の静止画が必要以上に連続して記録されることを防止するという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００１９】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００２０】
図１は、本発明の実施の形態における画像処理装置１００の内部構成例を示すブロック図である。画像処理装置１００は、光学系１１１と、ドライバ１１２と、撮像素子１１３と、ＴＧ（Timing Generator：タイミングジェネレータ）１１４と、ＡＦＥ（Analog Front End：アナログフロントエンド）回路１１５と、カメラ信号処理回路１２０と、画像エンコーダ１３０と、記録部１４０と、マイクロコンピュータ１５０と、グラフィック処理回路１６０と、表示部１７０と、操作受付部１８０と、ＬＥＤ（Light Emitting Diode）発光部１９０と、音声出力部１９５とを備える。画像処理装置１００は、例えば、被写体が撮像された撮像画像について、画像解析により特徴量を抽出し、この抽出された特徴量を用いて各種画像処理を施すことが可能なカムコーダ等の撮像装置によって実現することができる。
【００２１】
光学系１１１は、被写体からの光を撮像素子１１３に集光するための複数のレンズ、これらのレンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構等を備える。
【００２２】
ドライバ１１２は、マイクロコンピュータ１５０からの制御信号に基づいて、光学系１１１内の各機構の駆動を制御するドライバである。
【００２３】
撮像素子１１３は、ＴＧ１１４から出力されたタイミング信号に基づいて駆動する固体撮像素子であり、被写体からの入射光を電気信号に変換し、この変換後の電気信号（画像信号）をＡＦＥ回路１１５に供給する。なお、撮像素子１１３として、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型等の固体撮像素子を用いることができる。
【００２４】
ＴＧ１１４は、マイクロコンピュータ１５０からの制御信号に基づいてタイミング信号を生成するタイミングジェネレータであり、生成されたタイミング信号を撮像素子１１３に出力する。
【００２５】
ＡＦＥ回路１１５は、撮像素子１１３から出力された画像信号に対して各種信号処理を施してデジタル画像データを生成し、このデジタル画像データをカメラ信号処理回路１２０に出力するアナログフロントエンドである。すなわち、ＡＦＥ回路１１５は、撮像素子１１３から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行う。そして、ＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ（Analog/Digital）変換処理を行うことによりデジタル画像データを生成する。
【００２６】
カメラ信号処理回路１２０は、マイクロコンピュータ１５０からの制御信号に基づいて、ＡＦＥ回路１１５から出力されたデジタル画像データに対する検波処理や画質補正処理を行うものである。そして、これらの処理が施された画像データを画像エンコーダ１３０およびグラフィック処理回路１６０に出力する。ここで、検波処理は、ＡＦＥ回路１１５から出力されたデジタル画像データに対するＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、各種画質補正処理のための検波処理等である。また、この検波処理により抽出された各検波情報に基づいて各種画質補正処理が行われる。なお、カメラ信号処理回路１２０は、図２に示す顔検出部１２１および顔画像生成部１２２に対応するものであり、顔検出機能および検出された顔の領域を取り出す顔領域取出機能を備える。また、撮像素子１１３、ＡＦＥ回路１１５およびカメラ信号処理回路１２０は、特許請求の範囲に記載の撮像部の一例である。
【００２７】
画像エンコーダ１３０は、マイクロコンピュータ１５０からの制御信号に基づいて、カメラ信号処理回路１２０から出力された画像データを圧縮符号化し、この圧縮符号化された符号化データを記録部１４０に出力する画像エンコーダ１３０である。ここで、本発明の実施の形態では、画像エンコーダ１３０は、動画および静止画の画像データの圧縮符号化が可能であるものとする。例えば、静止画の記録指示が行われた際には、カメラ信号処理回路１２０により処理された１フレーム分の画像データが画像エンコーダ１３０に供給され、所定の符号化方式に従って画像エンコーダ１３０により圧縮符号化される。また、動画の記録指示が行われた際には、カメラ信号処理回路１２０により処理された画像データが画像エンコーダ１３０に連続的に供給され、所定の符号化方式に従って画像エンコーダ１３０により圧縮符号化される。ここで、画像エンコーダ１３０は、並行して複数の画像データについて圧縮符号化処理を行うことができるものとする。すなわち、画像エンコーダ１３０は、動画の画像データを圧縮符号化している間に、静止画の画像データを圧縮符号化することができる。ただし、画像エンコーダ１３０が並行して行うことが可能な数には制限がある。
【００２８】
記録部１４０は、画像エンコーダ１３０から出力された符号化データを静止画ファイルまたは動画ファイルとして記録する記録装置である。なお、記録部１４０として、例えば、磁気テープ、光ディスク等の可搬型記録媒体のドライブ装置、ＨＤＤ（Hard Disk Drive）等を用いることができる。また、例えば、記録部１４０に静止画が記録される場合には、カメラ信号処理回路１２０により処理された１フレーム分の画像データが、所定の符号化方式に従って画像エンコーダ１３０により圧縮符号化される。そして、この符号化データが記録部１４０に記録される。この符号化方式として、ＪＰＥＧ（Joint Photographic Experts Group）等の符号化方式を用いることができる。
【００２９】
マイクロコンピュータ１５０は、ＣＰＵ（Central Processing Unit）およびメモリを備え、このメモリに格納されている制御プログラムを実行するものである。すなわち、マイクロコンピュータ１５０は、画像処理装置１００を統括的に制御するものである。なお、マイクロコンピュータ１５０が備えるメモリは、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリである。また、マイクロコンピュータ１５０により実現される機能構成例については、図２および図３を参照して詳細に説明する。
【００３０】
グラフィック処理回路１６０は、カメラ信号処理回路１２０から出力された画像データについて、この画像データに対応する画像を表示部１７０に表示させるための画像信号に変換するものである。そして、この変換された画像信号が表示部１７０に供給される。また、グラフィック処理回路１６０は、マイクロコンピュータ１５０からの制御信号に基づいて、表示部１７０に表示される画像内の人物の顔について算出された笑顔スコア等の情報をその画像に合成する。
【００３１】
表示部１７０は、グラフィック処理回路１６０から出力された画像信号に基づいて画像を表示するものである。例えば、表示部１７０には、現在撮像中の画像（いわゆる、カメラスルー画像）が表示される。この表示により、撮影者がカメラスルー画像を視認して画角等を確認することができる。なお、表示部１７０として、例えば、ＬＣＤ（Liquid Crystal Display）等を用いることができる。
【００３２】
操作受付部１８０は、ユーザによって入力された操作内容を受け付ける操作受付部であり、受け付けられた操作内容に応じた制御信号をマイクロコンピュータ１５０に出力する。操作受付部１８０として、例えば、静止画記録モード設定／解除ボタン、シャッタレリーズボタン、笑顔静止画記録モード設定／解除ボタン、動画記録モード設定／解除ボタン、録画ボタン等の操作部材が画像処理装置１００に備えられている。静止画記録モード設定／解除ボタンは、静止画の記録を可能な状態にする静止画記録モードの設定または解除を行うためのボタンである。シャッタレリーズボタンは、静止画記録モードまたは動画記録モードが設定されている場合に、現在撮像中の画像（静止画）を記録する際に押下されるボタンである。笑顔静止画記録モード設定／解除ボタンは、現在撮像中の画像に含まれる顔が笑顔であると判定された際に、その静止画を自動で記録する笑顔静止画記録モードの設定または解除を行うためのボタンである。動画記録モード設定／解除ボタンは、動画の記録を可能な状態にする動画記録モードの設定または解除を行うためのボタンである。録画ボタンは、動画記録モードに設定されている場合に、動画の記録を開始または終了する際に押下されるボタンである。なお、本発明の実施の形態では、笑顔静止画記録モードおよび動画記録モードは、同時に設定可能であるものとする。
【００３３】
ＬＥＤ発光部１９０は、マイクロコンピュータ１５０からの制御信号に基づいて、画像処理装置１００の外装面に設けられているＬＥＤを点灯させるものである。例えば、笑顔静止画記録モードや動画記録モードが設定されていることをユーザに報知するために、特定のＬＥＤを点灯させる。また、撮像画像に含まれる顔について出力された表情評価値および判定結果をユーザに報知するため、特定のＬＥＤを点灯させる。
【００３４】
音声出力部１９５は、マイクロコンピュータ１５０からの制御信号に基づいて、各種の音声出力を行うものである。音声出力部１９５は、例えば、動作確認音等の音声を出力する。また、撮像画像に含まれる顔について出力された表情評価値および判定結果をユーザに報知するため、特定の音声を出力する。なお、画像処理装置１００が音声データのエンコーダ／デコーダを備える場合には、この音声データを再生するときの再生音声を出力するようにしてもよい。
【００３５】
図２は、本発明の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。画像処理装置１００は、顔検出部１２１と、顔画像生成部１２２と、表情判定部１５１と、判別軸情報記憶部１５２と、カウンタ部１５３と、報知制御部１５４と、記録動作制御部２００とを備える。本発明の実施の形態では、顔検出部１２１および顔画像生成部１２２をカメラ信号処理回路１２０内のハードウェアによって実現する例を示す。また、表情判定部１５１、カウンタ部１５３、報知制御部１５４および記録動作制御部２００をマイクロコンピュータ１５０によって実行されるソフトウェアの機能として実現する例を示す。なお、これらの各機能については、ハードウェアまたはソフトウェアの何れかによって実現するようにしてもよい。また、判別軸情報記憶部１５２は、マイクロコンピュータ１５０の内部のＲＯＭ等のメモリに対応する。
【００３６】
顔検出部１２１は、カメラ信号処理回路１２０において処理される画像データに対応する撮像画像に含まれる顔を検出するものであり、検出された顔に関する顔検出情報を顔画像生成部１２２および報知制御部１５４に出力する。この顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法（例えば、特開２００４−１３３６３７参照。）、撮影画像に含まれる肌色の部分や人間の顔の特徴量に基づいた顔検出方法を用いることができる。また、顔を含む画像である顔画像について、この顔画像上の２画素間の輝度差を学習し、この学習により得られた特徴量を顔検出基準データとして予め保持しておき、この顔検出基準データを用いて顔検出を行う顔検出方法を用いることができる。この顔検出基準データを用いた顔検出方法については、図４を参照して詳細に説明する。また、顔検出情報には、検出された顔の位置およびサイズが含まれる。ここで、検出された顔の位置は、例えば、検出された顔の周囲を囲む矩形の顔検出ウィンドウの位置（例えば、顔検出ウィンドウの左上端の座標。以下、「顔の位置情報」と称する。）である。また、検出された顔のサイズは、例えば、その顔検出ウィンドウのサイズ（例えば、顔検出ウィンドウの水平方向および垂直方向の各画素数。以下、「顔のサイズ情報」と称する。）である。なお、顔検出ウィンドウについては、図４を参照して詳細に説明する。
【００３７】
顔画像生成部１２２は、顔検出部１２１から出力された顔検出情報に基づいて、顔検出部１２１により検出された顔を含む領域である顔領域を取り出して顔画像を生成し、この顔画像を正規化するものである。そして、正規化された顔画像を表情判定部１５１に出力する。なお、顔検出部１２１および顔画像生成部１２２は、顔検出処理の対象となる画像データが一時的に記憶されているメモリ（ＲＡＭ）にアクセスして、これらの各処理を行う。また、顔検出および顔画像生成については、図４を参照して詳細に説明する。
【００３８】
表情判定部１５１は、判別軸情報記憶部１５２に記憶されている判別軸情報を用いて、顔画像生成部１２２から出力された顔画像に含まれる顔の表情に関する表情評価値を算出し、その表情が特定の表情であるか否かを判定するものである。そして、算出された表情評価値および判定結果を報知制御部１５４に出力する。また、顔画像に含まれる顔の表情が特定の表情であると判定された場合には、その旨を示す特定表情判定通知を記録動作制御部２００に出力する。また、特定表情判定通知を記録動作制御部２００に出力した後に、静止画記録トリガー発生通知が記録動作制御部２００から出力された場合には、特定表情の判定処理を一定時間停止する。すなわち、表情判定禁止区間が設定される。ここで、静止画記録トリガー発生通知は、特定表情の判定対象となった撮像画像の記録動作を開始させるための静止画記録トリガーを、特定表情判定通知に対応して発生させた旨を示す通知である。また、表情判定部１５１は、静止画記録トリガー発生通知が記録動作制御部２００から出力された後には、カウンタ部１５３に保持されるカウンタの値を順次インクリメントする。そして、インクリメント後のカウンタ値が一定時間以上となった際に、特定表情の判定処理を再開する。ここで、特定表情の判定処理が停止されてから再開するまでの一定時間（表情判定禁止区間）は、例えば、静止画記録トリガーの発生に基づいて行われる静止画の記録動作に要する最小時間よりも長い時間とすることができる。また、表情判定部１５１は、笑顔静止画記録モードが設定されている場合に、特定表情の判定処理を行うものとする。なお、本発明の実施の形態では、特定の表情として笑顔を判定する例について説明する。また、表情判定については、図５乃至図８を参照して詳細に説明する。また、表情判定部１５１は、特許請求の範囲に記載の判定制御部および判定部の一例である。
【００３９】
判別軸情報記憶部１５２は、表情判定部１５１による表情評価値の算出に用いられる判別軸情報を記憶するものであり、記憶されている判別軸情報を表情判定部１５１に供給する。なお、この判別軸情報については、図５乃至図８を参照して詳細に説明する。
【００４０】
カウンタ部１５３は、表情判定部１５１により特定表情の判定処理が停止されてから再開するまでの一定時間をカウントする際に用いられるカウンタ値を表情判定部１５１に順次供給するものである。すなわち、カウンタ部１５３に保持されるカウンタの値が表情判定部１５１により順次インクリメントされる。なお、表情判定部１５１からの指示に従ってカウンタ部１５３がカウントを行うようにしてもよい。
【００４１】
報知制御部１５４は、顔検出部１２１から出力された顔検出情報と、表情判定部１５１から出力された表情評価値および判定結果とに基づいて、画像処理装置１００を用いて撮影を行っているユーザに各種報知を行うための制御を行うものである。例えば、顔検出部１２１から出力された顔検出情報に基づいて、表示部１７０に表示される画像内の人物の顔にマーカを付すように、グラフィック処理回路１６０を制御する。また、表情判定部１５１から出力された表情評価値および判定結果を表示部１７０に表示される画像に合成させるように、グラフィック処理回路１６０を制御する。さらに、表情判定部１５１から出力された表情評価値および判定結果を、ＬＥＤ発光部１９０または音声出力部１９５に出力させるようにすることができる。
【００４２】
記録動作制御部２００は、操作受付部１８０により受け付けられた操作内容と、表情判定部１５１から出力された特定表情判定通知とに基づいて、静止画および動画の少なくとも一方の記録動作を制御するものである。すなわち、記録動作制御部２００は、カメラ信号処理回路１２０および画像エンコーダ１３０を制御することにより、静止画および動画の少なくとも一方の記録動作を制御する。なお、記録動作制御部２００については、図３を参照して詳細に説明する。
【００４３】
図３は、本発明の実施の形態における記録動作制御部２００の機能構成例を示すブロック図である。記録動作制御部２００は、設定部２１０と、静止画記録トリガー発生部２２０と、静止画記録状態管理部２３０と、動画記録状態管理部２４０と、静止画記録トリガー発生制御部２５０とを備える。
【００４４】
設定部２１０は、操作受付部１８０により受け付けられた操作入力の内容に基づいて、静止画記録トリガー発生制御部２５０を介して表情判定部１５１の設定内容の変更等を行うものである。例えば、操作受付部１８０により笑顔静止画記録モード設定／解除ボタンの押下操作が受け付けられた場合には、笑顔静止画記録モードの設定処理が行われる。一方、操作受付部１８０により笑顔静止画記録モード設定／解除ボタンの再押下操作が受け付けられた場合には、笑顔静止画記録モードの解除処理が行われる。また、設定内容の変更として、例えば、大人または子供の何れかの笑顔を表情判定部１５１に優先的に判定させるための設定変更を行うことができる。また、表情判定部１５１が笑顔を判定する際に用いられる笑顔判定閾値（図９に示す）を変更することができる。
【００４５】
静止画記録トリガー発生部２２０は、静止画の記録動作を開始させるための静止画記録トリガーを発生するものであり、この静止画記録トリガーを静止画記録状態管理部２３０に出力する。具体的に、静止画記録トリガー発生部２２０は、静止画記録トリガー発生制御部２５０から静止画記録トリガー発生指示が出力された場合には、静止画記録トリガーを発生して静止画記録状態管理部２３０に出力する。また、静止画記録トリガー発生部２２０は、何れかの記録モードが設定されている場合において、操作受付部１８０によりシャッタレリーズボタン押下の操作入力が受け付けられた場合には、静止画記録トリガーを発生して静止画記録状態管理部２３０に出力する。なお、静止画記録トリガー発生部２２０は、特許請求の範囲に記載の発生部の一例である。
【００４６】
静止画記録状態管理部２３０は、静止画記録トリガー発生部２２０から出力された静止画記録トリガーに基づいて静止画の記録動作の制御を行うとともに、静止画の記録動作状態を管理するものである。具体的には、静止画記録トリガー発生部２２０から静止画記録トリガーが出力された場合には、カメラ信号処理回路１２０および画像エンコーダ１３０を制御して静止画の記録動作を行わせる。このように、静止画の記録動作が開始された場合には、静止画記録状態管理部２３０は、静止画の記録動作が開始された旨を示す静止画記録動作開始通知を静止画記録トリガー発生制御部２５０に出力する。一方、静止画の記録動作が終了した場合には、静止画記録状態管理部２３０は、静止画の記録動作が終了した旨を示す静止画記録動作終了通知を静止画記録トリガー発生制御部２５０に出力する。なお、静止画記録状態管理部２３０は、特許請求の範囲に記載の静止画管理部の一例である。
【００４７】
動画記録状態管理部２４０は、操作受付部１８０により受け付けられた操作入力の内容に基づいて動画の記録動作の制御を行うとともに、動画の記録動作状態を管理するものである。具体的には、操作受付部１８０により動画記録モード設定／解除ボタンの押下操作が受け付けられた場合には、動画記録モードの設定処理が行われる。一方、操作受付部１８０により動画記録モード設定／解除ボタンの再押下操作が受け付けられた場合には、動画記録モードの解除処理が行われる。また、動画記録モードが設定されている場合において、操作受付部１８０により録画ボタンの押下操作が受け付けられた場合には、カメラ信号処理回路１２０および画像エンコーダ１３０を制御して動画の記録動作を行わせる。一方、動画記録モードが設定されている場合において、操作受付部１８０により録画ボタンの再押下操作が受け付けられた場合には、カメラ信号処理回路１２０および画像エンコーダ１３０を制御して動画の記録動作を終了させる。このように、動画記録モードが設定されている場合には、動画記録状態管理部２４０は、動画記録モードが設定されている旨を示す動画記録モード設定通知を静止画記録トリガー発生制御部２５０に出力する。一方、動画記録モードが解除された場合には、動画記録状態管理部２４０は、動画記録モードが解除された旨を示す動画記録モード解除通知を静止画記録トリガー発生制御部２５０に出力する。また、動画の記録動作が開始された場合には、動画記録状態管理部２４０は、動画の記録動作が開始された旨を示す動画記録動作開始通知を静止画記録トリガー発生制御部２５０に出力する。一方、動画の記録動作が終了した場合には、動画記録状態管理部２４０は、動画の記録動作が終了した旨を示す動画記録動作終了通知を静止画記録トリガー発生制御部２５０に出力する。ここで、動画記録モードが設定されている場合において、録画ボタンの押下操作が受け付けられた場合には、動画記録準備処理が終了した時点で、動画記録状態管理部２４０が動画記録動作開始通知を静止画記録トリガー発生制御部２５０に出力する。一方、録画ボタンの再押下操作が受け付けられた場合には、動画記録終了処理が終了した時点で、動画記録状態管理部２４０が動画記録動作終了通知を静止画記録トリガー発生制御部２５０に出力する。なお、動画記録準備処理は、動画記録動作を開始するために行われる処理であり、動画記録終了処理は、動画記録動作を終了するために行われる処理である。また、動画記録状態管理部２４０は、特許請求の範囲に記載の動画管理部の一例である。
【００４８】
静止画記録トリガー発生制御部２５０は、表情判定部１５１から特定表情判定通知が出力された場合に、静止画の記録動作状態および動画の記録動作状態の少なくとも一方に基づいて静止画記録トリガーを発生させるか否かを決定するものである。そして、静止画記録トリガーを発生させる旨を決定した場合には、静止画記録トリガー発生指示を静止画記録トリガー発生部２２０に出力する。具体的に、静止画記録トリガー発生制御部２５０は、各記録動作状態を保持するレジスタを備え、静止画記録状態管理部２３０から出力された静止画の記録動作状態と、動画記録状態管理部２４０から出力された動画の記録動作状態とをレジスタに保持する。そして、笑顔静止画記録モードが設定されている場合において、表情判定部１５１から特定表情判定通知が出力された際に、静止画の記録動作中であれば、その特定表情判定通知を破棄し、静止画記録トリガー発生通知および静止画記録トリガー発生指示を出力しない。一方、静止画の記録動作中でなければ、静止画記録トリガー発生通知を表情判定部１５１に出力するとともに、静止画記録トリガー発生指示を静止画記録トリガー発生部２２０に出力する。また、笑顔静止画記録モードおよび動画記録モードが設定されている場合において、表情判定部１５１から特定表情判定通知が出力された際に動画の記録動作中であれば、静止画記録トリガー発生通知を表情判定部１５１に出力する。この出力とともに、静止画記録トリガー発生制御部２５０は、静止画記録トリガー発生指示を静止画記録トリガー発生部２２０に出力する。一方、表情判定部１５１から特定表情判定通知が出力された際に、動画の記録動作中であるとともに、静止画の記録動作中であれば、その特定表情判定通知を破棄し、静止画記録トリガー発生通知および静止画記録トリガー発生指示を出力しない。また、静止画記録トリガー発生制御部２５０は、設定部２１０からの設定内容の変更等の指示に基づいて、表情判定部１５１の設定内容の変更等を行う。
【００４９】
次に、撮像画像から検出された顔の表情を判定する表情判定方法について図面を参照して詳細に説明する。
【００５０】
図４は、本発明の実施の形態における表情判定部１５１による表情判定の流れを概略的に示す図である。
【００５１】
図４（ａ）および（ｂ）には、カメラ信号処理回路１２０において処理される画像データに対応する撮像画像４００を示す。なお、撮像画像４００には、人物４０１が含まれているものとする。笑顔静止画記録モードが設定されている場合には、顔検出部１２１が撮像画像４００に含まれる人物４０１の顔を検出する。なお、図４では、顔検出基準データを用いて顔検出を行う場合を例にして説明する。
【００５２】
例えば、図４（ａ）に示すように、一定の大きさの顔検出ウィンドウ４１０が撮像画像４００の左上隅に配置され、顔検出ウィンドウ４１０内の画像に顔が含まれるか否かを判定するための推定値が顔検出基準データに基づいて算出される。続いて、顔検出ウィンドウが右側方向（矢印４１１に示す方向）に１画素シフトされて、同様に推定値が算出される。以下同様に、顔検出ウィンドウが１画素ずつ右側方向に順次シフトされて、推定値が順次算出される。そして、顔検出ウィンドウが撮像画像４００の右端の位置にシフトされて推定値が算出されると、顔検出ウィンドウが１画素下側にシフトされるとともに撮像画像４００の左端に移動される。続いて、撮像画像４００の左端に移動直後の推定値が算出された後に、顔検出ウィンドウが１画素ずつ右側方向に順次シフトされて推定値が順次算出される。以下同様に推定値が順次算出される。そして、顔検出ウィンドウが撮像画像４００の右端および下端の位置にシフトされて推定値が算出されると、撮像画像４００を縮小して同様の処理を順次行う。このように、一定の大きさの顔検出ウィンドウを用いて、順次縮小される撮像画像４００について推定値の算出を順次行う。そして、算出された各推定値に基づいて、撮像画像４００に含まれる人物４０１の顔４０２の位置およびサイズ（顔検出情報）が検出される。そして、顔検出部１２１は顔検出情報を顔画像生成部１２２に出力する。
【００５３】
図４（ｂ）に示すように、顔画像生成部１２２は、顔検出部１２１から出力された顔検出情報に基づいて、顔４０２の少なくとも一部を含む領域４２０の画像（画像データ）を撮像画像４００から取り出す。すなわち、顔画像生成部１２２は、顔の検出対象となる画像データが一時的に記憶されているメモリ（ＲＡＭ）にアクセスし、顔検出部１２１から出力された顔検出情報に対応する顔領域内の画像データのみを読み出す。
【００５４】
続いて、顔画像生成部１２２は、取り出された画像を一定サイズの画像に変換して正規化し、正規化された画像を顔画像４２１として表情判定部１５１に出力する。すなわち、取り出された画像が、一定サイズ（一定の解像度）の画像として解像度変換されることにより正規化される。この正規化後の画像サイズは、表情判定部１５１が顔の表情を判定する際の処理単位となるサイズとする。本発明の実施の形態では、例えば、正規化の一定サイズを４８画素×４８画素のサイズとする。
【００５５】
なお、顔画像生成部１２２により行われる画像取出および解像度変換は、通常のカメラ信号処理回路が検波処理や画像データの生成処理等のために一般的に備えている機能を流用することが可能である。
【００５６】
続いて、表情判定部１５１は、顔画像生成部１２２から出力された顔画像４２１と、判別軸情報記憶部１５２に記憶されている判別軸情報とに基づいて、顔画像４２１に含まれる顔の表情の度合いを示す表情評価値を算出し、この表情評価値を出力する。この表情評価値は、２つの異なる表情のうちでどちらの表情に近いかの度合いを示す値である。本発明の実施の形態では、２つの異なる表情を「笑顔」および「通常時の表情」とし、算出された表情評価値が高くなるに応じて「笑顔」である度合いが強いと評価する。一方、算出された表情評価値が低くなるに応じて「通常時の表情」である度合いが強いと評価する。
【００５７】
例えば、図４（ｃ）に示す顔画像４２１に含まれる顔４０２に関する表情評価値は高い値が算出されたものとする。この場合には、顔画像４２１に含まれる顔４０２に関する表情評価値に基づいて、顔画像４２１に含まれる顔４０２が「笑顔」である度合いが強いと評価される。そして、表情判定部１５１から静止画記録トリガー発生制御部２５０に特定表情判定通知が出力される。なお、この表情評価値の算出方法および特定表情の判定方法については、図５乃至図８を参照して詳細に説明する。
【００５８】
図５は、表情評価値の算出に用いられる判別軸情報と、この判別軸情報を生成する際の流れとを概念的に示す図である。
【００５９】
本発明の実施の形態では、いわゆる「フィッシャー（Fisher）の線形判別分析」を用いた表情評価値算出方法を例にして説明する。この表情評価値算出方法では、最初に、２つの異なる顔の表情の何れかを含むサンプル画像を事前に多数用意しておく。そして、２つの異なる表情間の２クラス問題と考えて、これらのサンプル画像のデータに基づいて、線形判別分析（ＬＤＡ：Linear Discriminant Analysis）を行う。これにより、これらの２つの異なる表情を良く判別する判別軸５３０（図５（ｃ）に示す）を形成する。そして、この判別軸５３０を判別軸情報記憶部１５２に記憶する。また、表情評価の際には、評価対象となる顔画像のデータと判別軸５３０との内積を求めることにより表情評価値を算出する。以下では、図面を参照して具体的に説明する。
【００６０】
本発明の実施の形態では、特定の表情として「笑顔」を例にするため、２つの異なる表情に関するサンプル画像として、笑顔のサンプル画像および通常の表情のサンプル画像を用いる場合を例にして説明する。図５（ａ）では、笑顔のサンプル画像の集合を笑顔のサンプル画像群５０１として示し、通常の表情のサンプル画像の集合を通常の表情のサンプル画像群５０２として示す。これらのサンプル画像群５０１および５０２に含まれる各サンプル画像は、例えば、４８画素×４８画素の一定サイズの矩形画像内において顔が一定サイズとなるように正規化された画像であるものする。そして、これらのサンプル画像群５０１および５０２に含まれる各サンプル画像のデータを４８×４８次元のベクトルデータとして取り扱い、ＬＤＡ処理を行う。
【００６１】
ここで、４８×４８次元のベクトルデータを取り扱うベクトル空間は、４８×４８本の座標軸を有する非常に次元の高い空間となる。そこで、ＬＤＡ処理を行う前に、４８×４８次元のベクトルデータについて主成分分析（ＰＣＡ：Principal Component Analysis）を行う。そして、顔の特徴のみを効率良く表す次元の低い空間のデータに、４８×４８次元のベクトルデータを変換（次元圧縮）する。
【００６２】
このＰＣＡ処理では、入力されたＭ個（例えば、Ｍ＝３００）のＮ次元（Ｎ＝４８×４８）のサンプル画像群間のバラツキ（分散）が最大になるように、Ｍ本の軸を得ることを考える。このような軸は、サンプル画像群の共分散行列の固有値問題の解（固有ベクトル）として求めることができる。そして、係数の比較的大きいベクトル成分のみを主成分として取り出すことにより、顔の特徴を表すのに適したベクトル成分のみのＮ'次元（Ｎ＞＞Ｎ'）のデータに次元圧縮することができる。例えば、Ｎ'＝４０程度とすることにより、顔の表情判別について十分な精度を維持することが可能なことが知られている。なお、ＰＣＡ処理で得られた主成分のうち、係数の大きいものから順に数個程度除外することにより、表情判別精度を保ちつつ、次元数をさらに減らして次のＰＣＡ処理の負荷を軽減することができる。
【００６３】
ここで、ＰＣＡ処理時に入力されるサンプル画像のマスキング処理について図６を参照して詳細に説明する。
【００６４】
図６は、本発明の実施の形態におけるＰＣＡ処理時に入力されるサンプル画像のマスキング処理を概略的に示す図である。
【００６５】
図６（ａ）には、笑顔のサンプル画像群５０１に属するサンプル画像５４０を示す。サンプル画像５４０には笑っている顔５４５が含まれる。なお、上述したように、サンプル画像５４０は、顔５４５が一定サイズとなるように矩形状に正規化された画像である。
【００６６】
ここで、図６（ａ）に示すように、サンプル画像５４０をそのまま用いてＰＣＡ処理を行う場合には、顔５４５の背景や髪等の影響により、適切な主成分を選択することができない場合がある。このため、図６（ｂ）に示すように、顔５４５の肌部分以外の領域にマスク５４２をかけて、肌部分の顔領域のみが残されるようにサンプル画像５４０を変換させる。なお、図６（ｂ）および（ｃ）では、マスク５４２および５４４の領域を斜線領域で示す。図６（ｂ）に示す変換後のサンプル画像５４１について、顔の情報濃度を上げた状態でＰＣＡ処理することにより、さらに高精度な次元圧縮を行うことができる。なお、顔領域の中でも口は表情によって大きく変化することがあるため、口が擾乱要素となることが多い。そこで、図６（ｃ）に示すように、顔５４５の口の周辺領域についてもマスク５４４をかけて、口の周辺領域を除く肌部分の顔領域のみが残されるようにサンプル画像５４０を変換させる。図６（ｃ）に示す変換後のサンプル画像５４３を用いてＰＣＡ処理することにより、さらに次元圧縮の精度を高めることができる。そこで、本発明の実施の形態では、ＰＣＡ処理時に入力されるサンプル画像について、図６（ｃ）に示すマスキング処理を施した場合を例にして説明する。
【００６７】
ここで、図５（ｂ）および（ｃ）に示すＰＣＡ空間５１０は、サンプル画像に含まれる顔の特徴を効率良く表す座標軸のみを有する部分空間であるものとする。
【００６８】
上述したＰＣＡ処理により次元圧縮された笑顔のサンプル画像群５０１および通常の表情のサンプル画像群５０２に属する各サンプル画像は、図５（ｂ）に示すように、ＰＣＡ空間５１０上のベクトルデータに変換される。図５（ｂ）では、笑顔のサンプル画像群５０１および通常の表情のサンプル画像群５０２に属する各サンプル画像が、ＰＣＡ空間５１０に射影された状態を模式的に示す。図５（ｂ）に示すように、同一のサンプル画像群に属する各サンプル画像がＰＣＡ空間５１０に射影された場合には、これらの各サンプル画像同士の距離は比較的近い距離となる。そこで、笑顔のサンプル画像群５０１に属する各サンプル画像がＰＣＡ空間５１０上に射影された後の各サンプル画像により形成されるクラスタをクラスタ５１１とする。また、通常の表情のサンプル画像群５０２に属する各サンプル画像がＰＣＡ空間５１０上に射影された後の各サンプル画像により形成されるクラスタをクラスタ５１２とする。そして、クラスタ５１１および５１２同士を最も良く分離する射影軸（判別軸５３０）をＬＤＡ処理により形成する。このような判別軸５３０は、「フィッシャーの射影軸」と呼ばれる。
【００６９】
ＬＤＡ処理では、一般的に、Ｎ'次元の固有ベクトル上に射影されたクラス内およびクラス間の分散が最大になるような判別軸が求められる。すなわち、クラス内、クラス間の各共分散行列の最大固有値に対応する固有ベクトルを求め、これを判別軸５３０上のベクトル（フィッシャー・ベクトル）とする。各共分散行列と固有値、固有ベクトルとの関係を、式１および式２に示す。
【数１】
2009302835.tif 000003
【００７０】
ここで、ＲＷはクラス内共分散行列を示し、ＲＢはクラス間共分散行列を示し、λは固有値を示す。また、式２の逆行列、固有値、固有ベクトルの演算には、それぞれＬＵ（Lower-Upper）分解法、ＱＲ分解法（Ｑ：直交行列，Ｒ：上三角行列）、ガウスの消去法を用いることができる。このように算出された判別軸５３０の情報として、フィッシャー・ベクトルの各成分の係数等の情報が判別軸情報記憶部１５２に記憶される。すなわち、判別軸５３０の情報は、２つの異なる表情に関する多数の顔サンプル画像の画像データから主成分分析によって得られた信号成分に基づいて、線形判別分析を行うことにより得られた表情の判別軸を示すベクトルの係数等を含む情報である。
【００７１】
図７は、ピクセル空間およびＰＣＡ空間における判別軸および評価の対象となる顔画像の関係を概念的に示す図である。
【００７２】
図５（ｃ）に示す判別軸５３０を用いて表情評価値を算出する場合、最初に、撮像画像から検出された顔の画像データ（顔画像）をＰＣＡ処理し、主成分を抽出する。その画像データに対応する顔画像の表情は、図７のＰＣＡ空間５１０に示すように、ＰＣＡ処理された顔画像ベクトル（入力顔画像ベクトル）の判別軸５３０（ベクトルＡｄ）に対する射影成分として評価される。すなわち、表情評価値Ｅｅｘｐは、式５に示すように、入力顔画像ベクトルとフィッシャー・ベクトルとの内積により算出することができる。
【数２】
2009302835.tif 000004
【００７３】
ここで、フィッシャー・ベクトルの情報は、ピクセル空間Ｓｐｘｌ（ＰＣＡ処理前の元の画像データが持つ次元の空間）での情報に換算しておくこともできる。式３および式４は、入力顔画像ベクトルおよびフィッシャー・ベクトルをピクセル空間Ｓｐｘｌでのベクトルとして表す式である。図７には、この式３および式４により表される関係を概念的に表す。式３、式４および図７に示すように、ＰＣＡ処理により得られる主成分μ１〜μＮ'以外のベクトル成分は、全ての入力画像の平均値として定数Ｃで近似することができる。したがって、式５に示すような内積演算は、式６に示すように、ピクセル空間Ｓｐｘｌの上でのベクトルの内積演算として等価的に表すことができる。
【００７４】
式６に示すように、ピクセル空間Ｓｐｘｌでのフィッシャー・ベクトル成分と定数Ｃとの減算結果は事前に算出することができる。このため、この減算結果および定数Ｃを判別軸情報として判別軸情報記憶部１５２に記憶しておく。そして、表情判定部１５１は、撮像画像から検出された顔画像のベクトルを算出した後に、このベクトルをＰＣＡ処理することなく、式６の内積演算を実行する。ここで、式６による１つの顔に対する表情評価値の演算では、それぞれ最大で４８×４８回の減算、乗算および加算が実行されるのみであり、実際には、４０個程度の主成分μ１〜μＮ'に対応する係数の演算のみが実行されることになる。したがって、ＰＣＡ空間５１０でのベクトルの内積演算を行う場合と比較して、表情評価の精度を落とすことなく演算量を大幅に削減することができ、撮像画像を記録する前の画角合わせの状態で表情評価値Ｅｅｘｐをリアルタイムで容易に算出することができる。
【００７５】
このような表情評価値算出方法を用いることにより、例えば、多数の顔画像のテンプレートと、検出された顔画像とのマッチングにより表情を評価する表情評価方法と比較しても、処理の負荷を低減するとともに、高精度の表情評価を行うことが可能である。例えば、テンプレートを用いたマッチングを行う場合、通常は、検出された顔画像から目や口等のパーツを抽出し、パーツ毎にマッチング処理を行う必要がある。これに対して、本発明の実施の形態に用いられる表情評価値算出方法では、検出された顔画像を一定サイズに正規化した後、その顔画像をベクトル情報に置き換えて、そのまま（または部分的にマスクするだけで）内積演算に適用することができる。そして、その内積演算を上述の通り４０次元程度の減算、乗算および加算からなる単純なものとすることができる。
【００７６】
図８は、本発明の実施の形態における表情評価値を数値として出力する場合の算出例を示す図である。
【００７７】
本発明の実施の形態では、例えば、サンプル画像のＰＣＡ処理結果に基づいて、ＰＣＡ空間における笑顔の顔画像の分布５６１の平均５６２と、ＰＣＡ空間における通常の表情の顔画像の分布５６３の平均５６４とを求める。そして、これらの平均５６２および５６４の判別軸５３０に対する射影点を決めておく。そして、各平均５６２および５６４の射影点の中点５６５を基準として表情評価値Ｅｅｘｐを数値に換算する。すなわち、図８に示すように、顔画像の判別軸５３０に対する射影点５６６と、各平均５６２および５６４の射影点の中点５６５との距離を表情評価値Ｅｅｘｐとし、笑顔のサンプル画像の分布している側を正の数値とする。これにより、検出された顔画像が笑顔と通常の表情のどちらに近いかを連続的な数値として出力することができる。この場合に、表情評価値Ｅｅｘｐが高くなるに応じて、笑顔の度合いが高いと評価することができる。
【００７８】
図９は、本発明の実施の形態における表情判定部１５１により行われる表情判定の例を模式的に示す図である。図９（ａ）には大いに笑っている顔４４１を示し、図９（ａ）には少し笑っている顔４４２を示し、図９（ｃ）には通常の顔４４３を示す。図９（ａ）乃至（ｃ）に示す笑顔スコア４５１乃至４５３は、上述した表情評価値算出方法により算出された表情評価値であり、それぞれ算出の対象となった顔４４１乃至４４３の下側に配置する。
【００７９】
ここで、本発明の実施の形態では、表情判定部１５１により判定される特定の表情として笑顔を例にして説明するため、表情評価値を笑顔スコアと称して説明する。また、図９（ａ）乃至（ｃ）では、笑顔スコア４５１乃至４５３を棒状グラフにして表すとともに、笑顔スコアに対応する領域を斜線で示す。さらに、笑顔スコア４５１乃至４５３上に示す笑顔判定閾値４３１は、対象となる顔が笑顔であるか否かを判定するための閾値とする。すなわち、笑顔スコアが笑顔判定閾値４３１に達した場合には、その笑顔スコアの算出の対象となった顔が笑顔であると、表情判定部１５１により判定される。このように笑顔であると判定された場合には、表情判定部１５１は特定表情判定通知を静止画記録トリガー発生制御部２５０に出力する。一方、笑顔スコアが笑顔判定閾値４３１を達しない場合には、その笑顔スコアの算出の対象となった顔が笑顔でないと表情判定部１５１により判定される。このように笑顔でないと判定された場合には、表情判定部１５１は特定表情判定通知を静止画記録トリガー発生制御部２５０に出力しない。なお、算出された表情評価値および判定結果については、表情判定部１５１から報知制御部１５４に出力される。
【００８０】
例えば、図９（ａ）では、笑顔スコア４５１が笑顔判定閾値４３１に達しているため、顔４４１が笑顔であると表情判定部１５１により判定される。これに対して、例えば、図９（ｂ）および（ｂ）では、笑顔スコア４５２および４５３が笑顔判定閾値４３１に達していないため、顔４４２および４４３が笑顔でないと表情判定部１５１により判定される。
【００８１】
また、顔検出部１２１により１枚の撮像画像から複数の顔が検出された場合には、これらの各顔について表情判定部１５１により特定表情の判定が行われる。このように複数の顔が検出された場合には、例えば、これらの各顔のうちの少なくとも１つの顔が笑顔であると判定された場合に、表情判定部１５１は特定表情判定通知を静止画記録トリガー発生制御部２５０に出力することができる。また、例えば、これらの各顔の全ての顔が笑顔であると判定された場合に、表情判定部１５１は特定表情判定通知を静止画記録トリガー発生制御部２５０に出力することができる。また、例えば、これらの各顔のうちの所定数の顔（例えば、３つの顔）が笑顔であると判定された場合に、表情判定部１５１は特定表情判定通知を静止画記録トリガー発生制御部２５０に出力することができる。
【００８２】
次に、表情判定部１５１による笑顔判定結果、または、ユーザによるシャッタレリーズボタンの押下操作に基づいて静止画を記録する場合について図面を参照して詳細に説明する。
【００８３】
図１０は、本発明の実施の形態における表情判定部１５１による笑顔判定結果を用いて静止画を記録する場合を示すシーケンスチャートである。図１０に示す例では、表情判定部１５１と、静止画記録トリガー発生部２２０と、静止画記録状態管理部２３０と、動画記録状態管理部２４０と、静止画記録トリガー発生制御部２５０との関係を概略的に示す。なお、図１１乃至図１４についても同様に、これらの関係について概略的に示す。
【００８４】
画像６０１乃至６０８は、カメラ信号処理回路１２０において処理される画像データに対応する撮像画像であり、連続するフレームのうち一定間隔毎のフレームに対応する撮像画像である。例えば、画像６０１乃至６０８は、画像処理装置１００により人物の顔６００が撮像されている状態における画像である。図１０では、画像６０１乃至６０８に含まれる顔６００が、時間の経過に応じて画像内の右側から左側に移動する場合を示す。また、例えば、画像６０１乃至６０８に含まれる顔６００のうちで、画像６０２乃至６０４、６０７については表情判定部１５１により笑顔であると判定されるものとする。また、画像６０１、６０５、６０６、６０８については表情判定部１５１により笑顔でないと判定されるものとする。なお、図１０乃至図１４では、説明の容易のため、連続するフレームのうち一定間隔毎のフレームに対応する撮像画像のみを例にして示すが、これらの間に存在するフレームに対応する撮像画像についても同様に考えることができる。
【００８５】
ここで、図１０では、笑顔静止画記録モードのみが設定されている場合において、ユーザによりシャッタレリーズボタンの押下操作が行われない場合を例にして示す。このように、笑顔静止画記録モードのみが設定され、動画記録モードが設定されていない場合には、動画記録状態管理部２４０はスタンバイ（休止状態）となる。
【００８６】
例えば、画像６０１は、表情判定部１５１により笑顔でないと判定されるため、表情判定部１５１は静止画記録トリガー発生部２２０に何も出力しない。続いて、画像６０２は、表情判定部１５１により笑顔であると判定されるため、表情判定部１５１が静止画記録トリガー発生制御部２５０に特定表情判定通知６１１を出力する。この場合に、静止画記録トリガー発生制御部２５０は、静止画記録状態管理部２３０から静止画記録動作開始通知を受け取っていないため、特定表情判定通知６１１を破棄せずに受け取る。そして、静止画記録トリガー発生制御部２５０は、静止画記録トリガー発生通知６２０を表情判定部１５１に出力するともに、静止画記録トリガー発生指示６１２を静止画記録トリガー発生部２２０に出力する。ここで、表情判定部１５１が静止画記録トリガー発生通知６２０を受け取ると、表情判定禁止区間６２１を設定する。表情判定禁止区間６２１が設定された場合には、カウンタ部１５３に保持されるカウンタの値が順次インクリメントされ、インクリメント後のカウンタ値が表情判定禁止区間６２１の値に達するまでの間、表情判定部１５１は特定表情の判定処理を停止する。そして、インクリメント後のカウンタ値が表情判定禁止区間６２１の値に達した場合には、表情判定部１５１は特定表情の判定処理を再開する。
【００８７】
また、静止画記録トリガー発生部２２０が静止画記録トリガー発生指示６１２を受け取ると、静止画記録トリガー６１３を静止画記録状態管理部２３０に出力する。静止画記録状態管理部２３０が静止画記録トリガー６１３を受け取ると、カメラ信号処理回路１２０および画像エンコーダ１３０を制御して静止画の記録動作を行わせるとともに、静止画記録動作開始通知６１４を静止画記録トリガー発生制御部２５０に出力する。静止画記録トリガー発生制御部２５０が静止画記録動作開始通知６１４を受け取ると、静止画の記録動作状態として静止画記録動作中６２３を保持する。
【００８８】
ここで、例えば、画像６０３は、表情判定部１５１により笑顔であると判定されるべき画像であるが、表情判定禁止区間６２１内では表情判定部１５１が特定表情の判定処理を停止するため、笑顔であると判定されない。
【００８９】
続いて、カメラ信号処理回路１２０および画像エンコーダ１３０による静止画の記録動作が終了した場合には、静止画記録状態管理部２３０が静止画記録動作終了通知６１５を静止画記録トリガー発生制御部２５０に出力する。静止画記録トリガー発生制御部２５０が静止画記録動作終了通知６１５を受け取ると、静止画の記録動作状態として静止画記録動作中６２３を解除する。また、表情判定禁止区間６２１は、通常の静止画の記録動作に要する時間よりも長い時間であるため、図１０に示すように、静止画記録トリガー発生制御部２５０が静止画の記録動作状態として静止画記録動作中６２３を保持している時間よりも長い区間となる。このように、通常の静止画記録動作中である場合には、特定表情の判定処理を停止することができる。
【００９０】
また、例えば、画像６０７は、表情判定部１５１により笑顔であると判定されるため、表情判定部１５１が静止画記録トリガー発生制御部２５０に特定表情判定通知６１６を出力する。この場合についても表情判定禁止区間６２４が設定されるが、詳細については上記と同様であるため、ここでの説明を省略する。
【００９１】
このように、表情判定禁止区間６２１を設定して、一定時間特定表情の判定処理を停止することにより、例えば、画像６０２乃至６０４のように、略同一の構図で略同一の笑顔が含まれる画像を重複して記録することを防止することができる。また、一定時間特定表情の判定処理を停止することにより、画像処理装置１００のシステム内の通信の負荷を減らすことができるため、消費電力を低減させることができる。
【００９２】
図１１は、本発明の実施の形態における表情判定部１５１による笑顔判定結果を用いて静止画を記録する場合を示すシーケンスチャートである。図１１に示す例では、カメラ信号処理回路１２０および画像エンコーダ１３０による静止画の記録動作の処理時間が、通常よりも長くなった場合を例にして説明する。また、この例では、図１０と同様に、笑顔静止画記録モードが設定されている場合において、ユーザによりシャッタレリーズボタンの押下操作が行われない場合を示す。
【００９３】
画像６３１乃至６３８は、図１０に示す画像６０１乃至６０８と同様に、連続するフレームのうち一定間隔毎のフレームに対応する撮像画像であり、顔６００が時間の経過に応じて画像内の右側から左側に移動する場合を示す。また、例えば、画像６３１乃至６３８に含まれる顔６００のうちで、画像６３２乃至６３５、６３７については表情判定部１５１により笑顔であると判定されるものとする。また、画像６３１、６３６、６３８については表情判定部１５１により笑顔でないと判定されるものとする。
【００９４】
ここで、図１１に示す例は、静止画の記録動作の処理時間が、通常よりも長くなった点以外は、図１０に示す例と同じである。このため、図１０に示す例と同一のものについては、同一の符号を付して、ここでの説明を省略する。
【００９５】
カメラ信号処理回路１２０および画像エンコーダ１３０による静止画の記録動作の処理時間が通常よりも長くなって記録動作が終了した場合には、図１１に示すように、静止画記録動作中６４１が、表情判定禁止区間６２１よりも長くなることがある。ここで、カウンタ値が表情判定禁止区間６２１の値に達した後には、表情判定部１５１が特定表情の判定処理を再開する。このため、例えば、画像６３４は表情判定部１５１により笑顔であると判定される。この場合には、表情判定部１５１が静止画記録トリガー発生制御部２５０に特定表情判定通知６４３を出力する。しかしながら、静止画記録トリガー発生制御部２５０は、静止画の記録動作状態として静止画記録動作中６４２を保持しているため、特定表情判定通知６４３を破棄して、静止画記録トリガー発生通知および静止画記録トリガー発生指示を出力しない。
【００９６】
また、カメラ信号処理回路１２０および画像エンコーダ１３０による静止画の記録動作が終了した場合には、図１０と同様に、静止画記録状態管理部２３０が静止画記録動作終了通知６４４を静止画記録トリガー発生制御部２５０に出力する。静止画記録トリガー発生制御部２５０が静止画記録動作終了通知６４４を受け取ると、静止画の記録動作状態として静止画記録動作中６４２を解除する。
【００９７】
図１２は、本発明の実施の形態における表情判定部１５１による笑顔判定結果と、シャッタレリーズボタンの押下操作とに基づいて静止画を記録する場合を示すシーケンスチャートである。なお、図１２に示す例は、シャッタレリーズボタンの押下操作に基づいて静止画を記録する点以外は、図１０に示す例と同じである。このため、図１０に示す例と同一のものについては、同一の符号を付して、ここでの説明を省略する。
【００９８】
例えば、画像６０６が生成された際に、シャッタレリーズボタンの押下操作が操作受付部１８０により受け付けられたものとする。この場合には、静止画記録トリガー発生制御部２５０に保持されている静止画または動画の記録動作状態にかかわらず、静止画記録トリガー発生部２２０は静止画記録トリガー６５１を静止画記録状態管理部２３０に出力する。静止画記録状態管理部２３０が静止画記録トリガー６５１を受け取ると、カメラ信号処理回路１２０および画像エンコーダ１３０を制御して静止画の記録動作を行わせるとともに、静止画記録動作開始通知６５２を静止画記録トリガー発生制御部２５０に出力する。静止画記録トリガー発生制御部２５０が静止画記録動作開始通知６５２を受け取ると、静止画の記録動作状態として静止画記録動作中６５４を保持する。ここで、例えば、画像６０７は表情判定部１５１により笑顔であると判定されるため、表情判定部１５１は静止画記録トリガー発生制御部２５０に特定表情判定通知６５５を出力する。この場合に、静止画記録トリガー発生制御部２５０は、静止画の記録動作状態として静止画記録動作中６５４を保持しているため、特定表情判定通知６５５を破棄して、静止画記録トリガー発生通知および静止画記録トリガー発生指示を出力しない。
【００９９】
ここで、画像エンコーダ１３０では並列処理により画像処理を行うことができるが、一般には、静止画記録の処理に用いられるバッファには制限があるため、静止画記録の処理を並列して行うことが可能な枚数には制限がある。例えば、連続して静止画の記録動作の要求を受けて上限に達すると、現在の処理が進むまで次の静止画の記録動作の要求を受けることができない場合がある。また、１回の静止画の記録動作に係る処理時間は、ユーザが連続して行うシャッタ操作に係る時間よりも長い。このため、記録動作制御部２００は静止画の記録動作の要求に対して要求受付の制御を行う必要がある。例えば、記録動作制御部２００が、表情判定部１５１からの特定表情判定通知の全てを受け付けてしまうと、すぐに並列処理の上限に達してしまい、ユーザによるシャッタ操作を受け付けることができないおそれがある。そこで、記録動作を行っている間に、表情判定部１５１からの特定表情判定通知を受け付けた場合には、特定表情判定通知を破棄することにより、ユーザによるシャッタ操作を優先的に受け付けることが可能となる。このように、笑顔静止画記録モードが設定されている状態で、笑顔判定による静止画記録トリガーに対応する静止画の記録動作が実行中であっても、ユーザによるシャッタ操作を優先的に受け付けることができるため、ユーザの操作を損ねることがない。
【０１００】
図１３は、本発明の実施の形態における表情判定部１５１による笑顔判定結果を用いて静止画を記録する場合を示すシーケンスチャートである。図１３に示す例では、笑顔静止画記録モードおよび動画記録モードが設定されている場合において、ユーザによりシャッタレリーズボタンの押下操作が行われない場合を例にして示す。このように、動画記録モードが設定されているため、動画記録状態管理部２４０は、録画ボタンが押下されるまで待機状態であるものとする。
【０１０１】
画像６６１乃至６６８は、図１０に示す画像６０１乃至６０８と同様に、連続するフレームのうち一定間隔毎のフレームに対応する撮像画像であり、顔６００が時間の経過に応じて画像内の右側から左側に移動する場合を示す。また、例えば、画像６６１乃至６６８に含まれる顔６００のうちで、画像６６２乃至６６５、６６７については表情判定部１５１により笑顔であると判定されるものとする。また、画像６６１、６６６、６６８については表情判定部１５１により笑顔でないと判定されるものとする。
【０１０２】
動画記録モードが設定されている場合には、録画ボタンが押下されるまで動画記録状態管理部２４０は待機状態であるため、静止画記録トリガー発生制御部２５０は動画の記録動作状態として動画待機中６８５を保持する。ここで、例えば、画像６６２は、表情判定部１５１により笑顔であると判定されるため、表情判定部１５１が静止画記録トリガー発生制御部２５０に特定表情判定通知６７１を出力する。この場合に、静止画記録トリガー発生制御部２５０は、動画の記録動作状態として動画待機中６８５を保持しているため、特定表情判定通知６７１を破棄して、静止画記録トリガー発生通知および静止画記録トリガー発生指示を出力しない。すなわち、動画記録モードが設定されている場合には、笑顔であると判定された場合でも静止画の記録動作を行わない。
【０１０３】
ここで、例えば、動画記録モードが設定されている場合に録画ボタンの押下操作が操作受付部１８０により受け付けられたものとする（６７３）。この場合には、動画記録状態管理部２４０は、カメラ信号処理回路１２０および画像エンコーダ１３０を制御して動画の記録動作を行わせる。ここで、動画の記録動作を開始する際には、動画記録動作を開始するための動画記録開始処理６８６が行われる。このため、動画記録状態管理部２４０は、動画記録準備処理６８６が終了した時点で、動画記録動作開始通知６７４を静止画記録トリガー発生制御部２５０に出力する。静止画記録トリガー発生制御部２５０が動画記録動作開始通知６７４を受け取ると、動画の記録動作状態として動画待機中６８５を解除する。これにより、表情判定部１５１が静止画記録トリガー発生制御部２５０に特定表情判定通知を出力した場合に、静止画記録トリガー発生制御部２５０はその特定表情判定通知を破棄せずに受け取る。例えば、画像６６３は、表情判定部１５１により笑顔であると判定されるため、表情判定部１５１が静止画記録トリガー発生制御部２５０に特定表情判定通知６７５を出力する。この場合に、静止画記録トリガー発生制御部２５０は特定表情判定通知６７５を破棄せずに受け取り、静止画記録トリガー発生通知６７２を表情判定部１５１に出力するともに、静止画記録トリガー発生指示６７６を静止画記録トリガー発生部２２０に出力する。なお、静止画記録トリガー発生指示６７６の出力以降の静止画の記録動作の流れについては、図１０等の静止画の記録動作と同様であるため、ここでの説明を省略する。
【０１０４】
ここで、笑顔静止画記録モードおよび動画記録モードが設定されている場合において、動画および静止画の記録動作が同時に行われる場合には、動画および静止画の記録動作を並行して行う必要があるため、静止画の記録動作に係る処理時間が長くなる。このため、動画記録モードが設定されている場合における表情判定禁止区間は、笑顔静止画記録モードのみが設定されている場合における表情判定禁止区間よりも長く設定される。すなわち、笑顔静止画記録モードおよび動画記録モードが設定されている場合における表情判定禁止区間６９０は、図１０乃至図１２に示す表情判定禁止区間よりも長い区間とする。
【０１０５】
また、動画の記録動作が行われている場合に録画ボタンの再押下操作が操作受付部１８０により受け付けられた場合には（６８２）、動画記録状態管理部２４０は、カメラ信号処理回路１２０および画像エンコーダ１３０を制御する。この制御により、動画記録動作を終了するための動画記録終了処理６９１を行わせる。そして、動画記録状態管理部２４０は、動画記録終了処理６９１が終了した時点で、動画記録動作終了通知６８３を静止画記録トリガー発生制御部２５０に出力する。静止画記録トリガー発生制御部２５０が動画記録動作終了通知６８３を受け取ると、動画の記録動作状態として動画待機中６９３を保持する。ここで、例えば、画像６６７は表情判定部１５１により笑顔であると判定されるため、表情判定部１５１は静止画記録トリガー発生制御部２５０に特定表情判定通知６８４を出力する。この場合に、静止画記録トリガー発生制御部２５０は、動画の記録動作状態として動画待機中６９３を保持しているため、特定表情判定通知６８４を破棄して、静止画記録トリガー発生通知および静止画記録トリガー発生指示を出力しない。
【０１０６】
このように、動画の記録動作中に、自然な笑顔を静止画として自動的に記録することができる。また、動画の記録動作中以外に、自動撮影を行うことによって記録メディアの容量を無駄に消費することを防止することができる。また、動画の記録動作中のみに静止画の記録動作を行うことにより、自動的に撮影している時間帯をユーザが容易に把握することができる。
【０１０７】
図１４は、本発明の実施の形態における表情判定部１５１による笑顔判定結果と、シャッタレリーズボタンの押下操作とに基づいて静止画を記録する場合を示すシーケンスチャートである。図１４に示す例では、笑顔静止画記録モードおよび動画記録モードが設定されている場合において、ユーザによりシャッタレリーズボタンの押下操作が行われた場合を例にして示す。なお、図１４に示す例は、シャッタレリーズボタンの押下操作に基づいて静止画を記録する点以外は、図１３に示す例と同じである。このため、図１３に示す例と同一のものについては、同一の符号を付して、ここでの説明を省略する。
【０１０８】
例えば、画像６６８が生成された際に、シャッタレリーズボタンの押下操作が操作受付部１８０により受け付けられたものとする。この場合には、静止画記録トリガー発生制御部２５０に保持されている静止画または動画の記録動作状態にかかわらず、静止画記録トリガー発生部２２０は静止画記録トリガー６９５を静止画記録状態管理部２３０に出力する。静止画記録状態管理部２３０が静止画記録トリガー６９５を受け取ると、カメラ信号処理回路１２０および画像エンコーダ１３０を制御して静止画の記録動作を行わせるとともに、静止画記録動作開始通知６９６を静止画記録トリガー発生制御部２５０に出力する。静止画記録トリガー発生制御部２５０が静止画記録動作開始通知６９６を受け取ると、動画の記録動作状態として動画待機中６９３を解除し、静止画の記録動作状態として静止画記録動作中６９８を保持する。
【０１０９】
次に、本発明の実施の形態における画像処理装置１００の動作について図面を参照して説明する。
【０１１０】
図１５は、本発明の実施の形態における画像処理装置１００による静止画記録処理の処理手順を示すフローチャートである。この例では、笑顔静止画記録モードのみが設定されている場合を例にして説明する。また、この例では、撮像画像から複数の顔が検出された場合に、これらの顔の全てが笑顔であると判定された場合にのみ静止画の記録動作を自動的に行う場合を例にして説明する。
【０１１１】
最初に、カメラ信号処理回路１２０において画像データが生成される（ステップ９０１）。続いて、静止画記録トリガー発生部２２０が、シャッタレリーズボタンの押下操作が操作受付部１８０により受け付けられたか否かを判断する（ステップＳ９０２）。シャッタレリーズボタンの押下操作が受け付けられた場合には（ステップＳ９０２）、静止画記録トリガー発生部２２０が静止画記録トリガーを静止画記録状態管理部２３０に出力する（ステップＳ９１１）。
【０１１２】
一方、シャッタレリーズボタンの押下操作が受け付けられない場合には（ステップＳ９０２）、表情判定部１５１が表情判定禁止区間内であるか否かを判断する（ステップＳ９０３）。表情判定禁止区間内である場合には（ステップＳ９０３）、ステップＳ９０１に戻る。一方、表情判定禁止区間内でない場合には（ステップＳ９０３）、顔検出部１２１が画像データに含まれる顔を検出する（ステップＳ９０４）。続いて、顔画像生成部１２２が、検出された顔を含む顔画像を画像データから取り出して正規化を行う（ステップＳ９０５）。続いて、表情判定部１５１が、正規化された顔画像について表情評価値を算出する（ステップＳ９０６）。なお、複数の顔が検出されている場合には、各顔について表情評価値が算出される。
【０１１３】
続いて、表情判定部１５１が、検出された顔について算出された全ての表情評価値が笑顔判定閾値以上であるか否かを判断する（ステップＳ９０７）。全ての表情評価値が笑顔判定閾値以上でない場合には（ステップＳ９０７）、ステップＳ９０１に戻る。一方、全ての表情評価値が笑顔判定閾値以上である場合には（ステップＳ９０７）、表情判定部１５１が静止画記録トリガー発生制御部２５０に特定表情判定通知を出力する。この場合に、静止画記録トリガー発生制御部２５０が、静止画の記録動作状態として静止画記録動作中を保持しているか否かを判断する（ステップＳ９０８）。静止画の記録動作状態として静止画記録動作中を保持している場合には（ステップＳ９０８）、特定表情判定通知を破棄して、ステップＳ９０１に戻る。一方、静止画の記録動作状態として静止画記録動作中を保持していない場合には（ステップＳ９０８）、静止画記録トリガー発生制御部２５０が表情判定部１５１に静止画記録トリガー発生通知を出力する。この出力により、表情判定部１５１が表情判定禁止区間を設定する（ステップＳ９０９）。続いて、静止画記録トリガー発生制御部２５０が静止画記録トリガー発生部２２０に静止画記録トリガー発生指示を出力する（ステップＳ９１０）。続いて、静止画記録トリガー発生部２２０が静止画記録トリガーを静止画記録状態管理部２３０に出力する（ステップＳ９１１）。続いて、静止画記録状態管理部２３０がカメラ信号処理回路１２０および画像エンコーダ１３０を制御して静止画の記録動作を開始させる（ステップＳ９１２）。
【０１１４】
なお、この例では、表情判定禁止区間内である場合にのみ、顔検出および顔画像生成を行う例を示すが、表情判定禁止区間にかかわらず、顔検出および顔画像生成を行うようにしてもよい。例えば、表示部１７０に顔枠表示を行う場合には、表情判定禁止区間にかかわらず、顔検出を行う。また、複数の顔が検出された場合に、これらの顔の少なくとも１つが笑顔であると判定された場合に静止画の記録動作を自動的に行う場合には、ステップＳ９０７における判断処理を変更して行うようにする。なお、ステップＳ９０３、Ｓ９０７、Ｓ９０９は、特許請求の範囲に記載の判定を停止させる手順の一例である。また、ステップＳ９０７、Ｓ９１０は、特許請求の範囲に記載の静止画記録トリガーを発生させる制御を行う手順の一例である。
【０１１５】
図１６は、本発明の実施の形態における画像処理装置１００による静止画記録処理の処理手順を示すフローチャートである。この例では、笑顔静止画記録モードおよび動画記録モードが設定されている場合を例にして説明する。また、この処理手順は、図１５に示す処理手順の変形例であり、図１６に示すステップＳ９０１乃至Ｓ９１２については、図１５に示すＳ９０１乃至Ｓ９１２と同一の処理手順である。このため、これらの同一の処理手順についての説明は省略する。
【０１１６】
全ての表情評価値が笑顔判定閾値以上である場合には（ステップＳ９０７）、表情判定部１５１が静止画記録トリガー発生制御部２５０に特定表情判定通知を出力する。この場合に、静止画記録トリガー発生制御部２５０が、動画の記録動作状態として動画待機中を保持しているか否かを判断する（ステップＳ９２０）。すなわち、動画記録動作中であるか否かが判断される。動画の記録動作状態として動画待機中を保持している場合には（ステップＳ９２０）、動画記録動作中ではないため、特定表情判定通知を破棄して、ステップＳ９０１に戻る。一方、動画の記録動作状態として動画待機中を保持していない場合には（ステップＳ９２０）、動画記録動作中であるため、ステップＳ９０８に進む。
【０１１７】
以上で示したように、本発明の実施の形態では、動画記録状態または動画記録待機状態において、ユーザのシャッタ操作による静止画記録トリガーを優先させた上で、笑顔判定による静止画記録トリガーを停止する（間引く）ように制御することができる。すなわち、笑顔判定による静止画記録トリガー（スマイルトリガー）の発生により設定される表情判定禁止区間または静止画記録動作中には、スマイルトリガーを停止する。このように、スマイルトリガーを間欠的に制御する、または、一度スマイルトリガーが発生した後の所定期間だけスマイルトリガーを停止するように制御することにより、撮影の間隔を適切に調整することができる。
【０１１８】
また、本発明の実施の形態における笑顔判定および静止画記録制御は、マイクロコンピュータ１５０における表情判定部１５１および記録動作制御部２００の間で通信が行われている。この表情判定部１５１および記録動作制御部２００間の通信は定期的に行うものではなく、イベントドリブンにより行っている。ここで、例えば、表情判定禁止区間を設定しない場合には、撮像画像に含まれる顔が笑顔であると判定され続けているような状態では、表情判定部１５１から記録動作制御部２００に特定表情判定通知が出力され続けることになる。このため、２者間の処理負荷が高くなるとともに、記録動作制御部２００が静止画の記録動作を継続して行うことになる。
【０１１９】
これに対して、本発明の実施の形態では、表情判定禁止区間を設定して、表情判定部１５１および記録動作制御部２００の間の通信の回数を削減することができる。このため、表情判定部１５１および記録動作制御部２００の間の通信に係る処理負荷を軽減させることができるとともに、記録動作制御部２００の静止画の記録動作に係る処理負荷を軽減させることができる。これにより、システム全体の負荷を低減させることができるため、消費電力を削減することができ、バッテリの消費量を削減させることができる。
【０１２０】
このように、本発明の実施の形態によれば、スマイルトリガーを発生させて静止画の記録動作を行った際に、一定時間スマイルトリガーの発生を停止させることができる。これにより、ユーザの意志とは無関係に行われる連写撮影を防ぐことができる。このように連写撮影を防ぐことにより、記録メディアの消費量を低減させることができる。また、１つのシーンで１つの写真だけを残すことができるため、同じ瞬間の写真を複数枚見なくてもよい。さらに、同じような写真から最もよいものを残して、それ以外の写真を削除する削除操作を行う必要がないため、この削除操作による確認の苦痛を低減させることができる。すなわち、必要なタイミングで必要な回数だけ撮影が可能となる。また、スマイルトリガーを間引くことにより、画像処理装置１００のシステム内の通信の負荷を減らすことができるため、消費電力を低減させることができる。
【０１２１】
なお、本発明の実施の形態では、表情判定部１５１が笑顔を判定する例について説明したが、泣き顔、怒り顔等の他の表情を判定する場合についても本発明の実施の形態を適用することができる。また、本発明の実施の形態では、表情判定の対象となる顔として人物の顔を例にして説明したが、哺乳類等の他の動物の顔の表情を判定して静止画を記録する場合についても本発明の実施の形態を適用することができる。なお、本発明の実施の形態では、判定制御部および判定部が一体として構成されている例を示すが、判定制御部および判定部をそれぞれ異なる構成とするようにしてもよい。
【０１２２】
また、撮像部を備える携帯電話機等のカメラ機能を有する機器等やＰＣ（Personal Computer）等の画像処理装置に本発明の実施の形態を適用することができる。
【０１２３】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１２４】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【図面の簡単な説明】
【０１２５】
【図１】本発明の実施の形態における画像処理装置１００の内部構成例を示すブロック図である。
【図２】本発明の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。
【図３】本発明の実施の形態における記録動作制御部２００の機能構成例を示すブロック図である。
【図４】本発明の実施の形態における表情判定部１５１による表情判定の流れを概略的に示す図である。
【図５】表情評価値の算出に用いられる判別軸情報と、この判別軸情報を生成する際の流れとを概念的に示す図である。
【図６】本発明の実施の形態におけるＰＣＡ処理時に入力されるサンプル画像のマスキング処理を概略的に示す図である。
【図７】ピクセル空間およびＰＣＡ空間における判別軸および評価の対象となる顔画像の関係を概念的に示す図である。
【図８】本発明の実施の形態における表情評価値を数値として出力する場合の算出例を示す図である。
【図９】本発明の実施の形態における表情判定部１５１により行われる表情判定の例を模式的に示す図である。
【図１０】本発明の実施の形態における表情判定部１５１による笑顔判定結果を用いて静止画を記録する場合を示すシーケンスチャートである。
【図１１】本発明の実施の形態における表情判定部１５１による笑顔判定結果を用いて静止画を記録する場合を示すシーケンスチャートである。
【図１２】本発明の実施の形態における表情判定部１５１による笑顔判定結果と、シャッタレリーズボタンの押下操作とに基づいて静止画を記録する場合を示すシーケンスチャートである。
【図１３】本発明の実施の形態における表情判定部１５１による笑顔判定結果を用いて静止画を記録する場合を示すシーケンスチャートである。
【図１４】本発明の実施の形態における表情判定部１５１による笑顔判定結果と、シャッタレリーズボタンの押下操作とに基づいて静止画を記録する場合を示すシーケンスチャートである。
【図１５】本発明の実施の形態における画像処理装置１００による静止画記録処理の処理手順を示すフローチャートである。
【図１６】本発明の実施の形態における画像処理装置１００による静止画記録処理の処理手順を示すフローチャートである。
【符号の説明】
【０１２６】
１００  画像処理装置
１１１  光学系
１１２  ドライバ
１１３  撮像素子
１１４  ＴＧ
１１５  ＡＥＦ回路
１２０  カメラ信号処理回路
１２１  顔検出部
１２２  顔画像生成部
１３０  画像エンコーダ
１４０  記録部
１５０  マイクロコンピュータ
１５１  表情判定部
１５２  判別軸情報記憶部
１５３  カウンタ部
１５４  報知制御部
１６０  グラフィック処理回路
１７０  表示部
１８０  操作受付部
１９０  ＬＥＤ発光部
１９５  音声出力部
２００  記録動作制御部
２１０  設定部
２２０  静止画記録トリガー発生部
２３０  静止画記録状態管理部
２４０  動画記録状態管理部
２５０  静止画記録トリガー発生制御部
【図１】
2009302835.tif 000005
【図２】
2009302835.tif 000006
【図３】
2009302835.tif 000007
【図４】
2009302835.tif 000008
【図５】
2009302835.tif 000009
【図６】
2009302835.tif 000010
【図７】
2009302835.tif 000011
【図８】
2009302835.tif 000012
【図９】
2009302835.tif 000013
【図１０】
2009302835.tif 000014
【図１１】
2009302835.tif 000015
【図１２】
2009302835.tif 000016
【図１３】
2009302835.tif 000017
【図１４】
2009302835.tif 000018
【図１５】
2009302835.tif 000019
【図１６】
2009302835.tif 000020