(57)【要約】      （修正有）【課題】被写体の個人差により瞼が半分閉じた状態でないにも拘わらず、誤って瞼が半分閉じた状態と判定してしまうことを防止する。【解決手段】撮像部、顔検出部、顔認識部、開閉状態検出部、分類部、閾値設定部、判定部及び報知部を備える。撮像部１１は、被写体像を撮像し画像を生成する。顔検出部２０ａは、画像の中から顔の領域を検出する。顔認識部２０ｂは、顔を識別する特徴量を抽出する。開閉状態検出部２０ｃは、瞼の開閉状態を検出する。分類部２０ｄは、第１状態の画像を特徴量に基づいて人物毎に分類して、メモリに記録する。閾値設定部２０ｅは、第１状態より瞼が半分閉じた第２状態を示す閾値を人物毎に設定する。判定部２０ｆは、瞼の開閉状態の判定対象となる画像を同一人物の第１状態の画像と照合し、閾値に基づいて、判定対象の画像内の瞼が第２状態よりも開いているか否かを判定する。報知部２０ｇは、判定部の判定結果に基づいて警告する。【選択図】図１
2010213158.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像し、画像を生成する撮像部と、
前記画像の中から顔の領域を検出する顔検出部と、
前記顔を識別する特徴量を前記顔の領域から抽出する顔認識部と、
前記顔の領域における瞼の開閉状態を検出する開閉状態検出部と、
前記瞼が開いた状態から閉じる動作に切り替わる第１状態の画像を前記特徴量に基づいて人物毎に分類して、メモリに記録する分類部と、
前記第１状態より前記瞼が半分閉じた第２状態を示す閾値を人物毎に設定する閾値設定部と、
前記瞼の開閉状態の判定対象となる画像を同一人物の前記第１状態の画像と照合し、前記閾値に基づいて、前記判定対象の画像内の瞼が前記第２状態よりも開いているか否かを判定する判定部と、
前記判定部の判定結果に基づいて、警告する報知部と、
を備えることを特徴とする電子カメラ。
【請求項２】
コンピュータに撮影した画像の処理を実行させるプログラムであって、
前記画像の中から顔の領域を検出する顔検出処理と、
前記顔を識別する特徴量を前記顔の領域から抽出する顔認識処理と、
前記顔の領域における瞼の開閉状態を検出する開閉状態検出処理と、
前記瞼が開いた状態から閉じる動作に切り替わる第１状態の画像を前記特徴量に基づいて人物毎に分類して、メモリに記録する分類処理と、
前記第１状態より前記瞼が半分閉じた第２状態を示す閾値を人物毎に設定する閾値設定処理と、
前記瞼の開閉状態の判定対象となる画像を同一人物の前記第１状態の画像と照合し、前記閾値に基づいて、前記判定対象の画像内の瞼が前記第２状態よりも開いているか否かを判定する判定処理と、
前記判定処理の判定結果に基づいて、警告する報知処理とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔検出機能を有する電子カメラ及びプログラムに関する。
【背景技術】
【０００２】
従来から、被写体の瞼が閉じた状態や瞼が半分閉じた状態を検出し、警告する電子カメラが知られている（例えば、特許文献１参照）。特許文献１の電子カメラでは、撮影画像における目の領域のパターンが予め定められた目のパターンとマッチングするか否かに基づき、瞼が閉じた状態や瞼が半分閉じた状態であるかを判定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３４４１６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の電子カメラでは、被写体の個人差により元々目の細い人物に対して、瞼が半分閉じた状態を過敏に警告してしまうおそれがある。
【０００５】
そこで、本発明は、上記事情に鑑み、被写体の個人差により瞼が半分閉じた状態でないにも拘わらず、誤って瞼が半分閉じた状態と判定してしまうことを防止する電子カメラ及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
第１の発明に係る電子カメラは、撮像部と、顔検出部と、顔認識部と、開閉状態検出部と、分類部と、閾値設定部と、判定部と、報知部とを備える。撮像部は、被写体像を撮像し、画像を生成する。顔検出部は、画像の中から顔の領域を検出する。顔認識部は、顔を識別する特徴量を顔の領域から抽出する。開閉状態検出部は、顔の領域における瞼の開閉状態を検出する。分類部は、瞼が開いた状態から閉じる動作に切り替わる第１状態の画像を特徴量に基づいて人物毎に分類して、メモリに記録する。閾値設定部は、第１状態より瞼が半分閉じた第２状態を示す閾値を人物毎に設定する。判定部は、瞼の開閉状態の判定対象となる画像を同一人物の第１状態の画像と照合し、閾値に基づいて、判定対象の画像内の瞼が第２状態よりも開いているか否かを判定する。報知部は、判定部の判定結果に基づいて、警告する。
【０００７】
第２の発明に係るプログラムは、コンピュータに撮影した画像の処理を実行させるプログラムであって、顔検出処理と、顔認識処理と、開閉状態検出処理と、分類処理と、判定処理と、報知処理とを有する。顔検出処理は、画像の中から顔の領域を検出する。顔認識処理は、顔を識別する特徴量を顔の領域から抽出する。開閉状態検出処理は、顔の領域における瞼の開閉状態を検出する。分類部は、瞼が開いた状態から閉じる動作に切り替わる第１状態の画像を特徴量に基づいて人物毎に分類して、メモリに記録する。閾値設定処理は、第１状態より瞼が半分閉じた第２状態を示す閾値を人物毎に設定する。判定処理は、瞼の開閉状態の判定対象となる画像を同一人物の第１状態の画像と照合し、閾値に基づいて、判定対象の画像内の瞼が第２状態よりも開いているか否かを判定する。報知処理は、判定処理の判定結果に基づいて、警告する。
【発明の効果】
【０００８】
本発明の電子カメラによれば、被写体の個人差により瞼が半分閉じた状態でないにも拘わらず、誤って瞼が半分閉じた状態と判定してしまうことを防止することができる。
【図面の簡単な説明】
【０００９】
【図１】電子カメラ１の構成を示すブロック図
【図２】閾値を設定するための画像データを登録する処理の一例を示すフローチャート
【図３】新規人物（人物Ａ）の登録の一例を概念的に説明する図
【図４】新規人物（人物Ｂ）の登録の一例を概念的に説明する図
【図５】瞼の開閉状態検出モードにおける電子カメラ１の動作の一例を示すフローチャート
【図６】静止画撮影された画像の一例を示す図
【発明を実施するための形態】
【００１０】
（第１実施形態）
以下、図面に基づいて本発明の実施の形態を詳細に説明する。なお、第１実施形態で説明する「瞼の開閉状態検出モード」は、被写体である人物の瞼が半分閉じた状態（換言すると、瞼が半分開いた状態）であると、撮影後に警告メッセージでユーザに報知するモードである（詳細は後述する）。
【００１１】
図１は、電子カメラ１の構成を示すブロック図である。図１に示す通り電子カメラ１は、撮影レンズ１０と、撮像部１１と、画像処理部１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１４と、表示モニタ１５と、記録インターフェース（記録Ｉ／Ｆ）１６と、記録媒体１７と、レリーズ釦１８と、操作部１９と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０とを備える。
【００１２】
このうち、画像処理部１２、ＲＡＭ１３、ＲＯＭ１４、表示モニタ１５、記録インターフェース（記録Ｉ／Ｆ）１６及びＣＰＵ２０は、バス２１を介して互いに接続されている。また、レリーズ釦１９と操作部１８とはＣＰＵ２０に接続されている。
【００１３】
撮影レンズ１０は、ズームレンズと、フォーカスレンズとを含む複数のレンズ群で構成されている。なお、簡単のため、図１では、撮影レンズ１０を１枚のレンズとして図示する。
【００１４】
撮像部１１は、レンズ駆動機構、絞り、シャッター機構、撮像素子、ＡＦＥ（アナログフロントエンド）等からなる。この撮像部１１は、撮影レンズ１０が結像した被写体像の画像データを生成する。撮像部１１は、静止画像（本画像）の撮影時には、記録用の静止画像の画像データを生成する。また、撮像部１１は、後述する登録人物用の撮影時には、所定のフレームレートで複数のフレームの画像データを生成する。
【００１５】
撮像部１１が出力する画像データは、ＲＡＭ１３に一時的に記録される。このＲＡＭ１３は、フレームメモリとしても機能する。ＲＯＭ１４は、電子カメラ１の制御を行うプログラム等を予め記憶している不揮発性のメモリである。
【００１６】
画像処理部１２は、ＲＡＭ１３に記録されている画像データを読み出し、各種の画像処理（階調変換処理、輪郭強調処理、ホワイトバランス処理等）を施す。
【００１７】
表示モニタ１５は、静止画像、構図確認用のスルー画像及び電子カメラ１の操作メニュー等を表示する。表示モニタ１５には、液晶モニタ等を適宜選択して用いることができる。
【００１８】
記録インターフェース（記録Ｉ／Ｆ）１６には、記録媒体１７を接続するためのコネクタが形成されている。記録インターフェース（記録Ｉ／Ｆ）１６は、ＣＰＵ２０からの指示により、そのコネクタに接続された記録媒体１７にアクセスして画像の記録処理を行う。
【００１９】
操作部１８は、例えば、コマンド選択用のコマンドダイヤル、電源ボタン等を有している。そして、操作部１８は、電子カメラ１を操作するための指示入力を受け付ける。
【００２０】
レリーズ釦１９は、半押し操作（撮影前におけるオートフォーカス（ＡＦ）や自動露出（ＡＥ）等の動作開始の指示入力）と全押し操作（撮像動作開始）との指示入力とを受け付ける。
【００２１】
ＣＰＵ２０は、電子カメラ１の統括的な制御を行うマイクロプロセッサであり、コンピュータとしての機能を有する。ＣＰＵ２０は、本実施形態のプログラムが実行されることにより、顔検出部２０ａ、顔認識部２０ｂ、開閉状態検出部２０ｃ、分類部２０ｄ、閾値設定部２０ｅ、判定部２０ｆ及び報知部２０ｇとしても機能する。
【００２２】
顔検出部２０ａは、画像の中から顔の領域を検出する。すなわち、顔検出部２０ａは、画像データから顔の領域を抽出し、その顔の領域の位置座標、サイズ（範囲）を検出する。なお、顔検出の処理は、公知の技術を用いることにより実現できる。
【００２３】
顔認識部２０ｂは、顔を識別する特徴量を顔の領域から抽出する。すなわち、顔認識部２０ｂは、顔検出部２０ａが検出した顔の領域に対して特徴量抽出処理を行って顔の特徴量を抽出する。具体的には、顔認識部２０ｂは、顔の輪郭の形状、目の形状、口の形状等、人物の表情の特徴が表れる形状を抽出し、これらの形状を示す情報を特徴量とする。顔認識部２０ｂは、この特徴量に基づいて、人物毎の顔を識別することが可能となる。この特徴量抽出処理は、公知の技術を用いることにより実現できる。
【００２４】
開閉状態検出部２０ｃは、顔の領域から瞼の開閉状態とその開閉の度合いを検出する。この開閉状態の検出処理は、公知の技術を用いることにより実現できる。
【００２５】
分類部２０ｄは、瞼が開いた状態から閉じる動作に切り替わる状態（以下、「第１状態」という。）の画像を特徴量に基づいて人物毎に分類し、画像データとしてＲＡＭ１３の保存領域にメモリに記録する（詳細は後述する）。
【００２６】
閾値設定部２０ｅは、第１状態より前記瞼が半分閉じた状態（以下、「第２状態」という。）を示す閾値を人物毎に設定する。具体的には、閾値設定部２０ｅは、瞼が完全に閉じた状態を基準として、第１状態までの瞼の開き具合を数値化して評価する。例えば、閾値設定部２０ｅは、人物毎に、瞼が完全に閉じた状態を示す値をゼロとし、第２状態を示す値を０．５とし、第１状態を示す値を１．０として数値化する。これにより、閾値設定部２０ｅは、第２状態を示す値を閾値として人物毎に設定することができる。なお、瞼が完全に閉じた状態を示す値から第２状態を示す値までが閾値以下の状態となる。
【００２７】
判定部２０ｆは、瞼の開閉状態の判定対象となる画像を同一人物の第１状態の画像と照合し、閾値に基づいて、判定対象の画像内の瞼が第２状態よりも開いているか否かを判定する。
【００２８】
報知部２０ｇは、判定部２０ｆの判定結果に基づいて、判定対象の画像内の瞼が第２状態よりも開いていない場合には、表示モニタ１５を介して警告する。
【００２９】
次に、第１実施形態における電子カメラ１の動作の一例を説明する。
【００３０】
第１実施形態では、先ず、瞼の開閉状態検出モードにおいて、閾値を設定するために画像データを登録する処理について説明する。続いて、瞼の開閉状態検出モードにおける電子カメラ１の動作の一例を説明する。なお、本実施形態の瞼の開閉状態検出モードでは、被写体として人物の顔が存在していることを前提として説明をする。
【００３１】
図２は、閾値を設定するための画像データを人物の顔毎に登録する処理の一例を示すフローチャートである。ここでは、電子カメラ１の電源がオンされた後、操作部１８のコマンドダイヤル等で瞼の開閉状態検出モードが選択されると、ＣＰＵ２０は、表示モニタ１５に瞼の開閉状態検出モードのメニュー画面を表示させる。この状態で、操作部１８のコマンドダイヤル等で瞼の開閉状態検出モードにおける新規人物の登録が選択されると、ＣＰＵ２０は、図２に示すフローチャートを開始させる。
【００３２】
ステップＳ１０１：ＣＰＵ２０は、撮像部１１に指示することにより、６０ｆｐｓ（フレーム／秒）のフレームレートでスルー画像を撮像させる。このスルー画像は、所定の画像処理が施された後、表示モニタ１５に順次表示される。ここで、人間が行う瞬き（瞼が閉じた状態から開動作を開始し、再度、瞼が閉じるまでの時間）は、一般的に約１００〜１５０ｍｓｅｃで行われていることが知られている。６０ｆｐｓ（フレーム／秒）のスルー画像の場合、人間が行う瞬きは、約６〜９フレーム分に相当する。したがって、後述する開閉状態検出部２０ｃは、６０フレームの画像データを解析することにより、第１状態のフレーム、第２状態のフレーム及び瞼が閉じた状態のフレーム等を検出することができる。
【００３３】
ステップＳ１０２：ＣＰＵ２０の顔検出部２０ａは、１フレームの画像内に人物の顔が存在するか否かを検出する。なお、顔検出部２０ａは、全てのフレームについて顔検出処理を行ってもよいが、ここでは、ＣＰＵ２０の演算の負荷を考慮して、例えば、フレームレートが６０ｆｐｓ（フレーム／秒）であれば、顔検出部２０ａは、何フレーム毎に抽出したフレームの画像データに対して、顔検出処理を行う。
【００３４】
ステップＳ１０３：ＣＰＵ２０は、レリーズ釦１９を介して、全押し操作の指示入力を受け付けると（ステップＳ１０３：Ｙｅｓ）、ステップＳ１０４に移行する。一方、全押し操作の指示入力を受け付けないと（ステップＳ１０４：Ｎｏ）、ステップＳ１０１に戻る。
【００３５】
ステップＳ１０４：ＣＰＵ２０は、撮像部１１が出力した６０ｆｐｓ（フレーム／秒）のスルー画像（６０フレーム）を、撮影画像として取り込むため、６０フレーム分の画像データ（６０フレーム）をＲＡＭ１３に一時的に記録する。画像処理部１２は、これらの画像データに対して、各種の画像処理（階調変換処理、輪郭強調処理、ホワイトバランス処理等）を施す。
【００３６】
ステップＳ１０５：ＣＰＵ２０の顔認識部２０ｂは、ＲＡＭ１３に記録されている画像データに基づいて、顔検出部２０ａが検出した顔の領域に対して特徴量抽出処理を行う。ここで、顔認識部２０ｂが特徴量を抽出することができなかった場合（ステップＳ１０５：Ｎｏ）、ＣＰＵ２０は、特徴量を抽出することができなかったことを示すメッセージを表示モニタ１５に表示させた後（ステップＳ１０９）、ステップＳ１０１に戻る。一方、顔認識部２０ｂが特徴量を抽出することができた場合（ステップＳ１０５：Ｙｅｓ）、ステップＳ１０６に移行する。
【００３７】
ステップＳ１０６：ＣＰＵ２０は、表示モニタ１５に、今回撮影して得られた人物の画像を登録するか否かのメニュー画面を表示させる。ここで、ＣＰＵ２０は、操作部１８を介して、登録しないことを示す指示入力を受け付けると（ステップＳ１０６：Ｎｏ）、再度、撮影をし直すことを示すメッセージを表示モニタ１５に表示させた後（ステップＳ１０９）、ステップＳ１０１に戻る。一方、ＣＰＵ２０は、操作部１８を介して、登録することを示す指示入力を受け付けると（ステップＳ１０６：Ｙｅｓ）、ステップＳ１０７に移行する。
【００３８】
ステップＳ１０７：ＣＰＵ２０の開閉状態検出部２０ｃは、ＲＡＭ１３に記録されている画像に含まれる顔の領域を解析して瞼の開閉状態や瞼の開閉の度合いを検出する。
【００３９】
具体的には、開閉状態検出部２０ｃは、顔認識部２０ｂが抽出した目の形状を含む瞼の領域を１フレームから６０フレームまで順番に解析する。ここで、第１状態は、目の瞳の領域が最も現れることになる。また、瞼が閉じた状態は、瞳が隠れることとなる。そのため、開閉状態検出部２０ｃは、１フレームから６０フレームまで瞳の領域の変化を画像データの輝度分布に基づいて解析することにより、第１状態や瞼が閉じた状態といった瞼の開閉状態や瞼の開閉の度合いを検出することができる。
【００４０】
図３は、新規人物（人物Ａ）の登録の一例を概念的に説明する図である。ここで、開閉状態検出部２０ｃは、６０フレームの中から、例えば、第１状態のフレーム（図３（ａ））、第１状態と第２状態との間の状態（図３（ｂ））、第２状態のフレーム（図３（ｃ））及び瞼が閉じた状態のフレーム（図３（ｄ））等を検出することができる。
【００４１】
続いて、ＣＰＵ２０の閾値設定部２０ｅは、第１状態（図３（ａ））に基づいて、第２状態（図３（ｃ））を示す閾値を設定する。次に、ＣＰＵ２０の分類部２０ｄは、ＲＡＭ１３に記録されている第１状態のフレーム（図３（ａ））に対して、顔認識部２０ｂが抽出した特徴量に基づいて、識別情報（一例として、人物Ａ）を付与する。これにより、人物毎に識別情報が付与される。すなわち、閾値設定部２０ｅは、人物毎に閾値を対応付けることができる。図３を例にすると、第１状態のフレーム（図３（ａ））の画像が、人物Ａを識別する登録画像となる。さらに、閾値設定部２０ｅは、第１状態のフレームに基づいて、第２状態（図３（ｂ））を示す閾値を設定することができる。なお、この識別情報は、操作部１８を介して、ユーザ入力により付与してもよい。
【００４２】
ステップＳ１０８：分類部２０ｄは、ＲＡＭ１３に一時的記録されている画像データ（例えば、図３（ａ）〜（ｄ））を、ＲＡＭ１３の保存領域に記録する。そして、この処理ルーチンは、終了する。
【００４３】
上述したフローチャートでは、画像データに基づいて人物Ａの登録について説明した。次に、他の人物Ｂの登録について説明する。
【００４４】
図４は、新規人物（人物Ｂ）の登録の一例を概念的に説明する図である。人物Ｂについても、上述したフローチャートの手順に従って、分類部２０ｄは、ＲＡＭ１３に一時的記録されている画像データ（例えば、図４（ａ）〜（ｄ））を、ＲＡＭ１３の保存領域に記録する（ステップＳ１０８）。このようにして、ＣＰＵ２０は、人物毎に閾値を設定することができる。
【００４５】
なお、上述したフローチャートでは、スルー画像を取得することにより閾値設定部２０ｅが閾値を設定する場合について説明した。例えば、瞼が全開若しくは全開に近い静止画像を１フレーム撮影することにより、閾値設定部２０ｅが閾値を設定するようにしてもよい。この場合、電子カメラ１では、例えば、瞼が全開若しくは全開に近い状態の瞳の大きさから、瞼を半分閉じた瞳の大きさを推定することにより、閾値設定部２０ｅは、第２状態を示す閾値を設定する。
【００４６】
次に、瞼の開閉状態検出モードにおける電子カメラ１の動作の一例を説明する。ここでは、操作部１８のコマンドダイヤル等で瞼の開閉状態検出モードが選択されると、ＣＰＵ２０は、表示モニタ１５に瞼の開閉状態検出モードのメニュー画面を表示させる。この状態で、操作部１８のコマンドダイヤル等で瞼の開閉状態検出モードの撮影が選択されると、ＣＰＵ２０は、図５に示すフローチャートを開始させる。
【００４７】
図５は、瞼の開閉状態検出モードにおける電子カメラ１の動作の一例を示すフローチャートである。
【００４８】
ステップＳ２０１：ＣＰＵ２０は、撮像部１１に指示することにより、例えば、６０ｆｐｓ（フレーム／秒）のフレームレートでスルー画像を出力させる。
【００４９】
ステップＳ２０２：ＣＰＵ２０の顔検出部２０ａは、１フレームの画像内に人物の顔が存在するか否かを検出する。
【００５０】
ステップＳ２０３：ＣＰＵ２０は、レリーズ釦１９を介して、全押し操作の指示入力を受け付けると、ステップＳ２０４に移行する。一方、全押し操作の指示入力を受け付けないと（ステップＳ２０３：Ｎｏ）、ステップＳ２０１に戻る。
【００５１】
ステップＳ２０４：ＣＰＵ２０は、ＡＥ、ＡＦ等の撮影準備処理の指示を出し、撮影条件の設定を行わせる。続いて、撮像部１１に静止画撮影の指示を出す。すなわち、ＣＰＵ２０は、撮像部１１内のタイミングジェネレータを介して、撮像素子及びＡ／Ｄ変換部の各々へ向けて駆動信号を送出し、静止画撮影を行わせる。撮像部１１が出力する画像データは、ＲＡＭ１３に一旦記録される。画像処理部１２は、静止画撮影された画像データに対して、各種の画像処理（階調変換処理、輪郭強調処理、ホワイトバランス処理等）を施す。なお、説明の便宜上、図３に示す人物Ａを撮影することとする。
【００５２】
図６は、静止画撮影された画像の一例を示す図である。図６（ａ）は、表示モニタ１５に人物Ａの静止画像が表示されている状態を示す。
【００５３】
ステップＳ２０５：顔認識部２０ｂは、静止画撮影された画像データに基づいて、顔認識処理を行い、顔の輪郭の形状、目の形状、口の形状等、人物Ａの表情の特徴が表れる形状を抽出し、これらの形状を示す情報を特徴量とする。顔認識処理が終了すると、ステップＳ２０６に移行する。
【００５４】
ステップＳ２０６：ＣＰＵ２０は、静止画撮影された顔の特徴量に基づいて、同一人物（人物Ａ）の第１状態の画像データをＲＡＭ１３内で検索する。同一人物の第１状態の画像データが存在した場合（ステップＳ２０６：Ｙｅｓ）、ステップＳ２０７に移行する。一方、同一人物の第１状態の画像データが存在しない場合（ステップＳ２０６：Ｎｏ）、後述するステップＳ２１１に移行する。
【００５５】
ステップＳ２０７：ＣＰＵ２０の開閉状態検出部２０ｃは、ＲＡＭ１３に記録されている静止画撮影で取得した画像データに対して瞼の開閉状態の検出処理を行い、瞼の開閉状態を検出する。続いて、ＣＰＵ２０の判定部２０ｆは、静止画撮影された画像を同一人物の第１状態の画像と照合し、閾値に基づいて、静止画像内の瞼が第２状態よりも開いているか否かを判定する。具体的には、判定部２０ｆは、パターンマッチングにより、静止画撮影された画像内における人物Ａの瞼の開閉状態を、図３に示す第１状態と比較し、数値化して評価する。この場合、判定部２０ｆは、静止画撮影された画像内における人物Ａの顔のサイズが、パターンマッチング用のテンプレート画像のサイズに合うよう正規化する。なお、判定部２０ｆの判定精度をより上げるため、図３（ａ）から図３（ｄ）の画像を用いて、判定処理を行ってもよい。
【００５６】
ステップＳ２０８：判定部２０ｆの判定結果が、静止画撮影された画像内の瞼が第２状態よりも開いている場合（ステップＳ２０８：Ｙｅｓ）、ステップＳ２１０に移行する。一方、判定部２０ｆの判定結果が、静止画撮影された画像内の瞼が第２状態よりも開いていない場合、（ステップＳ２０８：Ｎｏ）、ステップＳ２０９に移行する。
【００５７】
ステップＳ２０９：ＣＰＵ２０の報知部２０ｇは、瞼が半分閉じた状態であることを示すメッセージを表示モニタ１５に表示させ、ユーザに対して警告をする。これにより、ユーザは、静止画撮影された画像を記録するか否かの判断をすることができる。
【００５８】
ステップＳ２１０：ＣＰＵ２０は、操作部１８を介して、静止画撮影された画像を保存する指示入力を受け付けると、画像データを圧縮処理して記録媒体１７に記録する。
【００５９】
なお、ステップＳ２０６で、同一人物の第１状態の画像データが存在しない場合（ステップＳ２０６：Ｎｏ）、ステップＳ２１１に移行し、判定部２０ｆは、予め設定した所定（標準）の閾値で瞼の開閉状態を判定する。そして、判定部２０ｆが瞼の開閉状態を判定した後、ステップＳ２０８に移行する。その後の処理は、上述した通りである。以上で、この処理ルーチンを終了する。
【００６０】
上述した例では、１人の被写体（人物Ａ）に対して説明したが、複数の被写体に対しても、個別に第１状態を登録することにより、判定部２０ｆは、個別に瞼の開閉状態を判定する。
【００６１】
図６（ｂ）は、人物Ａ及び人物Ｂを撮影した静止画像を示す。この場合、判定部２０ｆは、人物Ａについては、図３に示す第１状態に基づいて、図６（ｂ）に示す人物Ａの瞼の開閉状態を判定する。一方、人物Ｂについては、図４に示す第１状態に基づいて、図６（ｂ）に示す人物Ｂの瞼の開閉状態を判定する。こうすると、判定部２０ｆは、精度良く瞼が半分閉じた状態を判定することができる。つまり、人物Ｂは、元々目が細い人物であるため、特許文献１の電子カメラでは、誤って瞼が半分閉じた状態と判定してしまうおそれが生じる。しかしながら、本実施形態の判定部２０ｆは、登録している人物に対して、個別に瞼の開閉状態を判定するため、人物Ｂを誤って瞼が半分閉じた状態と判定しないで済む。
【００６２】
以上より、本実施形態の電子カメラ１は、被写体の個人差により瞼が半分閉じた状態でないにも拘わらず、誤って瞼が半分閉じた状態と判定してしまうことを防止することができる。
【００６３】
なお、図５に示すフローチャートのステップＳ２１１に移行する例としては、複数の人物を撮影して、未登録の人物がいた場合が想定される。例えば、被写体として、登録済みの人物Ａ、人物Ｂと、未登録の人物Ｃ（不図示）とを撮影すると、未登録の人物Ｃについては、ステップＳ２１１の処理が行われる。この場合は、人物Ａ及び人物Ｂについての判定が優先されるようにして、未登録の人物Ｃが、たとえ、瞼が半分閉じた状態であっても警告をしないようにしてもよい。
【００６４】
また、本実施形態では、第１状態を瞼が開いた状態から閉じる動作に切り替わる状態とし、第２状態を１状態より瞼が半分閉じた状態とした。この場合、人物Ａを例にとると、図３に示すように、瞼を完全に閉じた状態（図３（ｄ））から瞼が半分閉じた状態（図３（ｃ））までの状態が第２状態を示す閾値以下になるので、これらの状態に対して警告をしてもよい。
＜実施形態の補足事項＞
（１）本実施形態のプログラムは、電子カメラ１に適用したが、電子カメラ１に限られず、例えば、画像再生機能を備えるパーソナルコンピュータ等にインストールして同様の処理を行わせることができる。この場合、パーソナルコンピュータのＣＰＵは、閾値を設定するための画像データと電子カメラ１で撮影された静止画像（本画像）の画像データを読み込む。そして、閾値を設定するための画像データを登録する処理の一例を示すフローチャート（図２）において、パーソナルコンピュータのＣＰＵは、ステップＳ１０５以降の処理を行うことで、人物毎に閾値を設定することができる。
【００６５】
また、瞼の開閉状態検出モードにおける電子カメラ１の動作の一例を示すフローチャート（図５）において、パーソナルコンピュータのＣＰＵは、ステップＳ２０５以降の処理を行うことで、電子カメラ１で撮影された静止画像に存在する人物に対して、瞼の開閉状態を判定することができる。
【００６６】
（２）本実施形態の報知部２０ｇは、表示モニタ１５にメッセージを表示させることで、ユーザに対して警告等を行った。例えば、電子カメラ１にスピーカを設けることで、報知部２０ｇは、音声で警告等を行ってもよい。また、電子カメラ１の背面に、発光ダイオードを設けることで、報知部２０ｇは、発光ダイオードを点灯させて警告等を行ってもよい。
【符号の説明】
【００６７】
１１・・・撮像部、２０ａ・・・顔検出部、２０ｂ・・・顔認識部、２０ｃ・・・開閉状態検出部、２０ｄ・・・分類部、２０ｅ・・・閾値設定部、２０ｆ・・・判定部、２０ｇ・・・報知部
【図１】
2010213158.tif 000003
【図２】
2010213158.tif 000004
【図３】
2010213158.tif 000005
【図４】
2010213158.tif 000006
【図５】
2010213158.tif 000007
【図６】
2010213158.tif 000008