(57)【要約】【課題】撮影タイミングを制御することによって開眼状態の画像を取得する。【解決手段】第１操作を受けて準備期間に移行し、準備期間中に順次得られる各フレーム画像に対して眼の開閉状態検出処理を行うことで、被写体固有の閉眼時間（基準閉眼持続時間ＴX）を計測する。閉眼時間（ＴX）の計測後、その閉眼時間よりも長く眼が閉じている状態の発生を監視し、その発生が観測された場合、撮影を指示するための被写体の意図的な閉眼があったと判断して、記録媒体に記録されるべき対象画像の露光を実行する。【選択図】図１０
2009194422.tif 000002
【特許請求の範囲】
【請求項１】
入射した光学像を光電変換することによって撮影画像を表す信号を出力する撮像素子と、
前記撮像素子の出力信号に基づいて被写体としての人物の眼の開閉状態を検出する開閉状態検出手段と、
前記撮像素子から対象撮影画像を得るための撮影タイミングを制御する撮影制御手段と、
前記開閉状態検出手段の検出結果に基づいて、前記眼が継続して閉じている時間長さ又は前記眼が継続して開いている時間長さを計測する時間計測手段と、を備え、
前記撮影制御手段は、前記時間計測手段の計測結果に基づいて前記対象撮影画像を得るための撮影タイミングを制御する
ことを特徴とする撮像装置。
【請求項２】
前記撮影制御手段は、設定された規定時間よりも長く前記眼が継続して閉じている状態が観測された後に、前記撮像素子に前記対象撮影画像を得るための撮影を実行させる
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮影制御手段は、前記状態の観測後、前記眼の閉じている状態から開いている状態への遷移が観測されたタイミングを基準として、前記撮像素子に前記対象撮影画像を得るための撮影を実行させる
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮影制御手段は、設定された規定時間よりも長く前記眼が継続して開いている状態が観測された場合、次の、前記眼の閉じている状態から開いている状態への遷移を待ってから、前記撮像素子に前記対象撮影画像を得るための撮影を実行させる
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
入射した光学像を光電変換することによって撮影画像を表す信号を出力する撮像素子と、
前記撮像素子の出力信号に基づいて被写体としての人物の眼の開閉状態を検出する開閉状態検出手段と、
前記撮像素子を用いて連続撮影を実行する撮影制御手段と、
前記連続撮影の実行前に前記撮像素子から得られた撮影画像群に対する前記開閉状態検出手段の検出結果に基づいて、前記眼が継続して閉じている時間長さを表す基準閉眼持続時間を計測する時間計測手段と、を備え、
前記撮影制御手段は、前記基準閉眼持続時間に基づいて連続撮影における撮影間隔を設定する
ことを特徴とする撮像装置。
【請求項６】
前記時間計測手段は、前記撮影画像群に対する前記開閉状態検出手段の検出結果に基づいて、前記眼が継続して開いている時間長さを表す基準開眼持続時間をも計測し、
前記撮影制御手段は、前記基準閉眼持続時間と前記基準開眼持続時間に基づいて前記撮影間隔を設定する
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記被写体に複数の人物が含まれる場合、
各人物の撮影画像中の位置、
各人物の撮影画像中の顔の大きさ、
各人物の撮影画像中の顔領域内画像と予め登録された顔画像との対比結果、及び、
各人物の撮影画像中の眼の大きさ、
の内の少なくとも１つに基づいて、前記複数の人物の内の１人の人物を特定人物として選択し、
前記開閉状態検出手段は、前記特定人物の眼の開閉状態を検出する
ことを特徴とする請求項１〜請求項６の何れかに記載の撮像装置。
【請求項８】
入射した光学像を光電変換することによって撮影画像を表す信号を出力する撮像素子と、
前記撮像素子の出力信号に基づいて被写体としての人物の眼の開閉状態を検出する開閉状態検出手段と、
前記撮像素子から対象撮影画像を得るための撮影タイミングを制御する撮影制御手段と、を備え、
前記撮影制御手段は、前記開閉状態検出手段の検出結果に基づいて前記対象撮影画像を得るための撮影タイミングを制御する
ことを特徴とする撮像装置。
【請求項９】
前記撮影制御手段は、前記眼の閉じている状態から開いている状態への遷移が観測されたタイミングを基準として、前記撮像素子に前記対象撮影画像を得るための撮影を実行させる
ことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記被写体に複数の人物が含まれる場合、
前記撮影制御手段は、全ての人物についての前記開閉状態に基づいて又は前記複数の人物中の特定人物についての前記開閉状態に基づいて、前記対象撮影画像を得るための撮影タイミングを制御する
ことを特徴とする請求項８または請求項９に記載の撮像装置。
【請求項１１】
前記撮影画像中の人物の眼領域を検出する眼領域検出手段を更に備え、
前記開閉状態検出手段は、前記眼領域内における特徴点を抽出する特徴点抽出手段を有し、抽出された特徴点の個数に基づいて前記眼の開閉状態を検出する
ことを特徴とする請求項１〜請求項１０の何れかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
撮像装置を用いて人物を撮影する際、瞬きのタイミングとシャッタタイミングが合わず、眼が閉じた状態で撮影がなされることがある。これを回避するべく被写体が無理に眼を開け続けようとすると、不自然な表情で撮影が行われる可能性も高くなる。故に、被写体に対して開眼を強要することなく、開眼状態の画像を取得できるようにする技術が求められている。
【０００３】
【特許文献１】特開２００６−５３６６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
そこで本発明は、開眼状態の画像取得に貢献する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る第１の撮像装置は、入射した光学像を光電変換することによって撮影画像を表す信号を出力する撮像素子と、前記撮像素子の出力信号に基づいて被写体としての人物の眼の開閉状態を検出する開閉状態検出手段と、前記撮像素子から対象撮影画像を得るための撮影タイミングを制御する撮影制御手段と、前記開閉状態検出手段の検出結果に基づいて、前記眼が継続して閉じている時間長さ又は前記眼が継続して開いている時間長さを計測する時間計測手段と、を備え、前記撮影制御手段は、前記時間計測手段の計測結果に基づいて前記対象撮影画像を得るための撮影タイミングを制御することを特徴とする。
【０００６】
被写体の実際の閉眼時間や開眼時間を計測し、その計測結果を用いて対象撮影画像の撮影タイミング制御を行うことにより、開眼状態の画像を取得できる可能性が高まる。
【０００７】
具体的には例えば、第１の撮像装置において、前記撮影制御手段は、設定された規定時間よりも長く前記眼が継続して閉じている状態が観測された後に、前記撮像素子に前記対象撮影画像を得るための撮影を実行させる。
【０００８】
これにより、被写体が意図的に行った閉眼と無意識の瞬きによる閉眼とを区別した撮影タイミング制御を行うことが可能となり、被写体の意図に合致した、開眼状態の画像を取得できる可能性が高まる。
【０００９】
更に具体的には例えば、第１の撮像装置において、前記撮影制御手段は、前記状態の観測後、前記眼の閉じている状態から開いている状態への遷移が観測されたタイミングを基準として、前記撮像素子に前記対象撮影画像を得るための撮影を実行させる。
【００１０】
また例えば、前記撮影制御手段は、設定された規定時間よりも長く前記眼が継続して開いている状態が観測された場合、次の、前記眼の閉じている状態から開いている状態への遷移を待ってから、前記撮像素子に前記対象撮影画像を得るための撮影を実行させる。
【００１１】
人間は眼を長時間開けたままにしておくことができないため、開眼状態が長く続けば続くほど閉眼状態の画像を撮影してしまう確率が高くなると考えられる。そこで、上述の如く、開眼状態が規定時間以上続いていると判断される場合は、次の瞬きを待ってから対象撮影画像の撮影を実行するように制御する。これにより、開眼状態の画像の取得可能性が高まる。
【００１２】
本発明に係る第２の撮像装置は、入射した光学像を光電変換することによって撮影画像を表す信号を出力する撮像素子と、前記撮像素子の出力信号に基づいて被写体としての人物の眼の開閉状態を検出する開閉状態検出手段と、前記撮像素子を用いて連続撮影を実行する撮影制御手段と、前記連続撮影の実行前に前記撮像素子から得られた撮影画像群に対する前記開閉状態検出手段の検出結果に基づいて、前記眼が継続して閉じている時間長さを表す基準閉眼持続時間を計測する時間計測手段と、を備え、前記撮影制御手段は、前記基準閉眼持続時間に基づいて連続撮影における撮影間隔を設定することを特徴とする。
【００１３】
これにより、連続撮影によって得られた撮影画像群中に開眼状態の画像を少なくとも１枚含める、といった撮影タイミング制御が可能となる。
【００１４】
また例えば、第２の撮像装置において、前記時間計測手段は、前記撮影画像群に対する前記開閉状態検出手段の検出結果に基づいて、前記眼が継続して開いている時間長さを表す基準開眼持続時間をも計測し、前記撮影制御手段は、前記基準閉眼持続時間と前記基準開眼持続時間に基づいて前記撮影間隔を設定する。
【００１５】
これにより、連続撮影によって得られた撮影画像群中に開眼状態の画像が含まれる確率を、更に高めることが可能となる。
【００１６】
また、上記の第１又は第２の撮像装置は、前記被写体に複数の人物が含まれる場合、各人物の撮影画像中の位置、各人物の撮影画像中の顔の大きさ、各人物の撮影画像中の顔領域内画像と予め登録された顔画像との対比結果、及び、各人物の撮影画像中の眼の大きさ、の内の少なくとも１つに基づいて、前記複数の人物の内の１人の人物を特定人物として選択し、前記開閉状態検出手段は、前記特定人物の眼の開閉状態を検出する。
【００１７】
本発明に係る第３の撮像装置は、入射した光学像を光電変換することによって撮影画像を表す信号を出力する撮像素子と、前記撮像素子の出力信号に基づいて被写体としての人物の眼の開閉状態を検出する開閉状態検出手段と、前記撮像素子から対象撮影画像を得るための撮影タイミングを制御する撮影制御手段と、を備え、前記撮影制御手段は、前記開閉状態検出手段の検出結果に基づいて前記対象撮影画像を得るための撮影タイミングを制御することを特徴とする。
【００１８】
実際の撮影画像から検出した眼の開閉状態に基づいて対象撮影画像の撮影タイミングを制御することにより、開眼状態の画像を取得できる可能性が高まる。
【００１９】
具体的には例えば、第３の撮像装置において、前記撮影制御手段は、前記眼の閉じている状態から開いている状態への遷移が観測されたタイミングを基準として、前記撮像素子に前記対象撮影画像を得るための撮影を実行させる。
【００２０】
また例えば、第３の撮像装置において、前記被写体に複数の人物が含まれる場合、前記撮影制御手段は、全ての人物についての前記開閉状態に基づいて又は前記複数の人物中の特定人物についての前記開閉状態に基づいて、前記対象撮影画像を得るための撮影タイミングを制御する。
【００２１】
また例えば、第１、第２又は第３の撮像装置に、前記撮影画像中の人物の眼領域を検出する眼領域検出手段を更に設けるようにしてもよい。そして例えば、前記開閉状態検出手段は、前記眼領域内における特徴点を抽出する特徴点抽出手段を有し、抽出された特徴点の個数に基づいて前記眼の開閉状態を検出する。
【００２２】
これにより、正確な開閉状態検出を行うことが可能となる。
【発明の効果】
【００２３】
本発明によれば、開眼状態の画像取得に貢献する撮像装置を提供することができる。
【００２４】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第４実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００２６】
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。図１の撮像装置１は、静止画を撮影及び記録可能なデジタルスチルカメラ、又は、静止画及び動画を撮影及び記録可能なデジタルビデオカメラである。
【００２７】
撮像装置１は、撮像部１１と、画像メモリ１２と、主制御部１３と、シャッタ制御部１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。操作部１７には、シャッタボタン１７ａが備えられている。
【００２８】
撮像部１１は、図示されない光学系及び絞りと、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子１１ａと、光学系や絞りを制御するためのドライバ（不図示）と、を有している。ドライバは、主制御部１３からのＡＦ／ＡＥ制御信号に基づいて、光学系のズーム倍率や焦点距離、及び、絞りの開度を制御する。撮像素子１１ａは、光学系及び絞りを介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号を出力する。より具体的には、撮像素子１１ａは、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次後段回路（後述のＡＦＥ）に出力される。以下の説明における「露光」とは、撮像素子１１ａの露光を意味するものとする。
【００２９】
図示されないＡＦＥ（Analog Front End）にて、撮像素子１１ａから出力されたアナログ信号を増幅してデジタル信号に変換した後、得られたデジタル信号は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成される画像メモリ１２に記憶される。撮像部１１の撮影によって得られた１枚の全体画像を、以下「フレーム画像」と呼ぶ。画像メモリ１２には、フレーム画像を表す、デジタル信号としての画像データが記憶される。
【００３０】
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等から成り、画像処理部２１、顔領域検出部２２、眼領域検出部２３及び開閉状態検出部２４を含んで構成される。画像メモリ１２に記憶された画像データは画像処理部２１に与えられる。画像処理部２１は、フレーム画像の画像データに対して適宜必要な処理を施してフレーム画像に応じた映像信号を生成し、その映像信号を表示部１５に送ることによりフレーム画像に基づく画像を表示部１５上で表示させる。また、画像処理部２１は、必要に応じて、フレーム画像の画像データを圧縮し、圧縮後の画像データを記録媒体１６に保存する。
【００３１】
シャッタ制御部１４は、主制御部１３と協働して撮像部１１による撮影のタイミングを制御する。表示部１５は、液晶ディスプレイパネル等から形成される表示装置であり、記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリである。操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。シャッタボタン１７ａは、静止画の撮影及び記録を指示するためのボタンである。
【００３２】
顔領域検出部２２、眼領域検出部２３及び開閉状態検出部２４には、フレーム画像の画像データが画像処理部２１を介して与えられる。この際、画像処理部２１にて必要な画像処理を施し、その画像処理後の画像データを顔領域検出部２２、眼領域検出部２３及び開閉状態検出部２４に送るようにしてもよい。顔領域検出部２２、眼領域検出部２３及び開閉状態検出部２４に送られる画像データによって表わされる画像（即ち、フレーム画像そのもの、又は、上記の画像処理後のフレーム画像）を、以下「入力画像」と呼ぶ。
【００３３】
顔領域検出部２２は、入力画像から人物の顔部分を含む領域である顔領域を検出して抽出し、抽出した顔領域の、入力画像内における位置及び大きさを表す顔領域情報を生成する。顔領域を抽出して顔領域情報を生成する処理を含む、顔領域検出部２２によって行われる処理を以下「顔検出処理」と呼ぶ。尚、顔領域は矩形領域であるものとする。但し、顔領域の外形を矩形以外とすることも可能である。顔領域の位置は、例えば、入力画像上における、顔領域の中心の座標値によって規定される。顔領域の大きさは、例えば、入力画像上における、顔領域の水平方向の画素数及び垂直方向の画素数によって規定される。
【００３４】
画像中に含まれる顔を検出する手法として様々な手法が知られており、顔領域検出部２２は何れの手法をも採用可能である。例えば、特開２０００−１０５８１９号公報に記載の手法のように入力画像から肌色領域を抽出することによって顔領域を検出しても良いし、特開２００６−２１１１３９号公報又は特開２００６−７２７７０号公報に記載の手法を用いて顔領域を検出しても良い。
【００３５】
典型的には例えば、入力画像内に設定された着目領域の画像と所定の画像サイズを有する基準顔画像とを対比して両画像の類似度を判定し、その類似度に基づいて着目領域に顔が含まれているか否か（着目領域が顔領域であるか否か）を検出する。入力画像内において着目領域は一画素ずつ左右方向又は上下方向にずらされる。そして、ずらされた後の着目領域内の画像と基準顔画像とが対比されて、再度、両画像の類似度が判定され、同様の検出が行われる。このように、着目領域は、例えば入力画像の左上から右下方向に向けて１画素ずつずらされながら、更新設定される。また、入力画像を一定割合で縮小し、縮小後の画像に対して、同様の顔検出処理を行う。このような処理を繰り返すことにより、入力画像中から任意の大きさの顔を検出することができる。
【００３６】
眼領域検出部２３は、顔領域情報に基づいて顔領域の位置及び大きさを認識し、その顔領域から眼の部分を含む領域である眼領域を検出して抽出し、抽出した眼領域の、入力画像内における位置及び大きさを表す眼領域情報を生成する。眼領域を抽出して眼領域情報を生成する処理を含む、眼領域検出部２３によって行われる処理を以下「眼検出処理」と呼ぶ。眼領域を、１つの顔領域内に存在する２つの眼を含む領域と考えることも可能であるが、今、その２つの眼の内の一方の眼のみを含む領域を眼領域として考えることとする。尚、眼領域は矩形領域であるものとする。但し、眼領域の外形を矩形以外とすることも可能である。眼領域の位置は、例えば、入力画像上における、眼領域の中心の座標値によって規定される。眼領域の大きさは、例えば、入力画像上における、眼領域の水平方向の画素数及び垂直方向の画素数によって規定される。
【００３７】
図２に、入力画像の例としての画像２００と、その画像２００から抽出された顔領域２０１を示す。符号２０１が付された破線の内部領域が顔領域である。図３（ａ）は、顔領域２０１の拡大図である。符号２０２が付された破線の内部領域が、眼領域検出部２３によって顔領域２０１から抽出された眼領域である。図３（ｂ）は、眼領域２０２の拡大図である。
【００３８】
顔領域から眼領域を抽出する手法として様々な手法が知られており、眼領域検出部２３は何れの手法をも採用可能である。例えば、顔領域を検出する際の基準顔画像を基準眼画像に入れ替えて顔領域検出時の処理と同様の処理を行えば良い。即ち例えば、入力画像内に設定された着目領域の画像と所定の画像サイズを有する基準眼画像とを対比して両画像の類似度を判定し、その類似度に基づいて着目領域に眼が含まれているか否か（着目領域が眼領域であるか否か）を検出すればよい。この際、着目領域は顔領域内で走査される。
【００３９】
開閉状態検出部２４は、眼領域情報に基づいて眼領域の位置及び大きさを認識し、その眼領域内に存在する眼の開閉状態を検出する。即ち、その眼が開いている状態（以下、開眼状態という）にあるのか或いは閉じている状態（以下、閉眼状態という）にあるのかを判別する。開閉状態検出部２４による、この判別を行うための処理を以下「開閉状態検出処理」と呼ぶ。
【００４０】
例えば、図４に示すような標準的な瞳孔を表す画像をテンプレートとして予め撮像装置１内に保持しておき、そのテンプレートと入力画像の眼領域内の画像とのテンプレートマッチングを行うことで、眼領域内に瞳孔が存在しているか否かを検出する。そして、瞳孔の存在が検出された時に眼が開いていると判断する一方、瞳孔の存在が検出されなった時に眼が閉じていると判断する。眼が閉じている場合は、眼領域内の何れの位置にテンプレートを配置してテンプレートマッチングを行っても、テンプレートと眼領域内の画像との類似度は所定の基準類似度よりも小さくなる。このような場合、入力画像の眼領域内に瞳孔が存在しないと判断する。逆に、その基準類似度よりも大きな類似度が観測されれば入力画像の眼領域内に瞳孔が存在すると判断する。
【００４１】
或いは例えば、特徴点抽出処理を介して眼の開閉状態を検出するようにしてもよい。この方法では、眼が開いている場合には瞳孔内部及び周辺部から多数の特徴点が抽出される一方、眼が閉じている場合には眼の端部のみから特徴点が抽出されるという特性を利用する。この方法を用いる場合、開閉状態検出部２４は、まず、入力画像の眼領域内に存在する特徴点を抽出する処理を行う（図５（ａ）参照）。特徴点とは、水平及び垂直方向における濃淡変化量が大きい画素を意味し、Harrisのコーナ検出器、ＳＵＳＡＮのコーナ検出器などの特徴点抽出器（不図示）を用いて、そのような特徴点を自動的に抽出することができる。また、Kanade&Lucasトラッカーと呼ばれる画像追跡方法で利用される特徴点抽出方法を用いて特徴点を抽出するようにしてもよい。
【００４２】
図５（ａ）の画像２１０及び２２０は、夫々、開眼状態における眼領域の画像及び閉眼状態における眼領域の画像を表している。眼領域画像２１０及び２２０内に示された十字状のマークは、眼領域画像２１０及び２２０から抽出された特徴点を表している。図５（ａ）及び後述の図５（ｂ）及び（ｃ）では、眼領域画像２１０から抽出された複数の特徴点の内の、一部の特徴点に対してのみ符号２１１を付し、眼領域画像２２０から抽出された複数の特徴点の内の、一部の特徴点に対してのみ符号２２１を付している。尚、十字状のマーク及び後述する星形のマークは、説明の便宜を図るために眼領域画像に重畳して示したものであって、実際の画像中にこのようなマークが存在している訳ではない。
【００４３】
特徴点の抽出後、開閉状態検出部２４は、特徴点の抽出結果に基づいて眼領域に存在する眼の２つの端点の位置を検出する。端点とは、顔の左右方向における、眼の端部を意味する。具体的には、眼領域から抽出された複数の特徴点の内、最も顔の左側に位置する特徴点と最も顔の右側に位置する特徴点を眼の両端点として検出する。尚、眼の真の端点からかけ離れた点（こめかみや眉間等）が眼の端点として誤検出されないように、眼領域検出部２３は、瞼の端部を含む、なるだけ小さな領域を眼領域として抽出しておくようにする。
【００４４】
図５（ｂ）の左側に、複数の特徴点２１１及び検出された両端点を眼領域画像２１０に重畳したものを示し、図５（ｂ）の右側に、複数の特徴点２２１及び検出された両端点を眼領域画像２２０に重畳したものを示す。図５（ｂ）の眼領域画像２１０内に示された星型のマーク２１２及び２１３が、眼領域画像２１０についての眼領域の両端点であり、図５（ｂ）の眼領域画像２２０内に示された星型のマーク２２２及び２２３が、眼領域画像２２０についての眼領域の両端点である。
【００４５】
その後、開閉状態検出部２４は、眼の各端点を通る２線分を２辺として有する矩形（以下、端点基準矩形という）を眼領域内に設定し、その端点基準矩形内に存在する特徴点の個数を計数する。但し、上記２辺は、矩形を形成する、対向する２辺であるとする。そして、その個数が所定の基準値よりも大きい場合に着目した眼が開いていると判断する一方、そうでない場合は、着目した眼が閉じていると判断する。尚、眼領域の大きさが大きくなれば特徴点の個数も増大する方向に向かうため、上記の基準値を、端点基準矩形の大きさに応じて変化させるようにするとよい（例えば、その大きさに応じて基準値を正規化すればよい）。
【００４６】
図５（ｃ）の左側に、複数の特徴点２１１、両端点２１２及び２１３並びに端点基準矩形２１５を眼領域画像２１０に重畳したものを示し、図５（ｃ）の右側に、複数の特徴点２２１、両端点２２２及び２２３並びに設定された端点基準矩形２２５を眼領域画像２２０に重畳したものを示す。
【００４７】
眼領域画像２１０に着目して、矩形の設定方法を補足説明しておく。眼領域画像２１０に設定された端点基準矩形２１５の左右方向の長さは眼の両端点２１２及び２１３の位置にて定まる。端点基準矩形２１５の上下方向の長さは、例えば、眼の両端点２１２及び２１３間の距離に所定係数（例えば、０．５）を乗じた長さとする。また、端点基準矩形２１５を上下に分ける二等分線（即ち、左右方向に伸びるべき二等分線）は、両端点２１２及び２１３を通るものとする。眼領域画像２２０に対する端点基準矩形２２５も同様に設定される。
【００４８】
このように、特徴点抽出を利用すれば、瞳の色の相違や照明の相違の影響を受けにくい、正確な開閉状態検出を行うことができる。
【００４９】
１枚又は複数枚の静止画の撮影及び記録を指示する操作がなされた時、主制御部１３は、その操作後の露光によって得られる１枚又は複数枚のフレーム画像を記録媒体１６に記録するのであるが、撮像装置１は、開閉状態検出部２４等を用いた特徴的な撮影処理を行うことが可能となっている。
【００５０】
この特徴的な撮影処理を行う場合、図６に示すような、準備期間と実撮影期間が設定される。他の動作モードから静止画撮影が可能な動作モードに移行すると、まず、通常期間に遷移する。この後、ユーザが操作部１７に対して所定の操作（以下、第１操作という）を行うと準備期間に移行する。準備期間の開始時点は第１操作を行った時点である。準備期間の開始時点をタイミングｔ１にて表す。その後、規定された条件が満たされると準備期間から実撮影期間に移行する。準備期間の終了時点と実撮影期間の開始時点は一致しており、実撮影期間の開始時点をタイミングｔAで表す。実撮影期間において、第１操作に対応して取得されるべきフレーム画像の撮影を行い、その撮影を終えると実撮影期間から通常期間へと遷移する。実撮影期間における撮影によって得られるフレーム画像を、以下「対象画像」と呼ぶ。
【００５１】
通常期間及び準備期間において、撮像部１１は、主制御部１３及びシャッタ制御部１４による制御の下、所定のフレーム周期で順次撮影を行い、周期的にフレーム画像を取得する。上述したように、得られた各フレーム画像の画像データは画像メモリ１２に記憶される。画像メモリ１２は、１枚又は複数枚分のフレーム画像を記憶可能であり、新たなフレーム画像が順次上書き保存されていく。時間の進行と共に、順次、第１、第２、第３、・・・のフレーム画像がこの順番で取得されるものとする。
【００５２】
準備期間において順次得られる各フレーム画像に対して（厳密には、その各フレーム画像に基づく各入力画像に対して）、顔領域検出部２２、眼領域検出部２３及び開閉状態検出部２４は、上述の顔検出処理、眼検出処理及び開閉状態検出処理を行い、各フレーム画像内における、被写体としての人物の眼の開閉状態を検出する。尚、厳密には、顔領域検出部２２、眼領域検出部２３及び開閉状態検出部２４は、上述の顔検出処理、眼検出処理及び開閉状態検出処理を入力画像に対して行うのであるが、入力画像はフレーム画像に基づく画像であるため、以下の説明では、入力画像とフレーム画像との相違を無視する。また、以下の説明では、各フレーム画像内に、被写体としての人物の顔が含まれている場合を想定する。
【００５３】
上述の特徴的な撮影処理の動作を説明する実施例として、以下に、第１〜第４実施例を説明する。矛盾なき限り、或る実施例に記載した事項は他の実施例にも適用される。
【００５４】
＜＜第１実施例＞＞
まず、第１実施例について説明する。図７に、第１実施例に係る撮影処理動作の手順を表すフローチャートを示す。図８は、この動作の時間的な流れを表す概念図である。第１実施例では１枚の対象画像を取得する。
【００５５】
まず、ステップＳ１１において、主制御部１３は、シャッタボタン１７ａが押下されたか否かを確認し、シャッタボタン１７ａが押下された場合にステップＳ１２に移行する。第１実施例では、このシャッタボタン１７ａを押下するという操作が第１操作に相当し、シャッタボタン１７ａの押下タイミングがタイミングｔ１である。シャッタボタン１７ａの押下によって準備期間に移行し、準備期間中に、ステップＳ１２の処理がステップＳ１３に移行するまで繰り返し実行される。
【００５６】
ステップＳ１２において、開閉状態検出部２４は、順次得られるフレーム画像内における人物の眼の開閉状態を検出する。主制御部１３は、その検出結果に基づいて、フレーム画像内における人物の眼の状態が閉眼状態から開眼状態へ遷移したか否かを常時監視する。そして、その遷移が確認された時、実撮影期間への移行条件が成立したと判断してステップＳ１３に移行する。その遷移が確認されたタイミングが、第１実施例におけるタイミングｔAである（図６参照）。
【００５７】
より具体的には例えば（図８参照）、タイミングｔ１の後、第１、第２、・・・第２０のフレーム画像が順次得られて、第１〜第１６のフレーム画像における眼の状態が開眼状態であると検出され、且つ、第１７〜第１９のフレーム画像における眼の状態が閉眼状態であると検出され、且つ、第２０のフレーム画像における眼の状態が開眼状態であると検出された場合、第１９と第２０のフレーム画像の撮影間で眼の状態が閉眼状態から開眼状態へ遷移したと判断する。この遷移が確認されたタイミングがタイミングｔAである。
【００５８】
ステップＳ１３において、主制御部１３及びシャッタ制御部１４は、タイミングｔA後のなるだけ早い時点にて対象画像の撮影を行い（即ち、対象画像を得るための露光を行い）、対象画像の画像データを取得する。タイミングｔAから対象画像の露光を開始するのが最も好ましいのであるが、様々な制約上、実際にはタイミングｔAから若干遅れて対象画像の露光が開始される。この遅れを、タイムラグという。対象画像の画像データは、一旦、画像メモリ１２に保存された後、圧縮処理等の必要な処理を経て、記録媒体１６に保存される（ステップＳ１４）。
【００５９】
上記の如く、撮影タイミングを制御することによって眼が開いた状態の対象画像を取得することが可能となる。
【００６０】
尚、撮像装置１の撮影領域内に収まる人物が一人であれば、その一人の人物の眼の開閉状態を監視すればよいのであるが、撮影領域内に収まる人物が複数であって各フレーム画像から複数の顔領域が検出された場合は、複数の人物の中から１人の人物を特定人物として選択する。そして、ステップＳ１２において、特定人物についての眼の開閉状態を監視して、その特定人物の眼の閉眼状態から開眼状態への遷移が確認された時、実撮影期間への移行条件が成立したと判断してステップＳ１３に移行するようにすればよい。特定人物を選択するための処理は、主制御部１３によって実行される。
【００６１】
撮影領域内に複数の人物が含まれていることを想定し、特定人物の選択方法を例示する。まず、タイミングｔ１以降であって且つ準備期間中に得られる或るフレーム画像（以下、判定用フレーム画像という）に着目する。判定用フレーム画像は、典型的には例えば、タイミングｔ１直後の撮影によって得られるフレーム画像である。尚、タイミングｔ１の直前に得られるフレーム画像を判定用フレーム画像として取り扱っても良い。そして、判定用フレーム画像から複数の顔領域が抽出された時、以下の第１〜第４の選択方法の何れかを用いて特定人物を選択する。
【００６２】
第１の選択方法では、図９（ａ）に示す如く、判定用フレーム画像中で最も中央に位置する人物を特定人物として選択する。具体的には、判定用フレーム画像から抽出された顔領域の中心位置と判定用フレーム画像の中心位置との距離（画像上の距離）を顔領域ごとに求め、その距離が最も小さい顔領域に対応する人物を特定人物として選択すればよい。
【００６３】
第２の選択方法では、図９（ｂ）に示す如く、判定用フレーム画像中で最も大きく顔が表れている人物を特定人物として選択する。換言すれば、被写体距離が最も短い人物を特定人物として選択する。具体的には、判定用フレーム画像から抽出された複数の顔領域の大きさを対比し、最も大きな顔領域に対応する人物を特定人物として選択すればよい。
【００６４】
第３の選択方法では、図９（ｃ）に示す如く、撮像装置１に予め登録された人物を特定人物として選択する。第３の選択方法を採用する場合、特定人物として選択されるべき人物の顔を表す顔画像を登録顔画像として撮像装置１内のメモリ（不図示）に予め保存しておく。主制御部１３は、判定用フレーム画像から抽出された各顔領域内の画像と登録顔画像を対比することにより、各顔領域内の画像と登録顔画像との類似度を算出する。そして、算出された類似度に基づいて、登録された人物の顔についての顔領域を特定し、その特定された顔領域に対応する人物を特定人物として選択する。
【００６５】
第４の選択方法では、画像中の眼の大きさが小さいと眼の開閉状態の検出精度が劣化することを考慮し、図９（ｄ）に示す如く、判定用フレーム画像中で最も眼の大きさが大きい人物を特定人物として選択する。即ち、判定用フレーム画像から抽出された複数の顔領域についての複数の眼領域の大きさを対比し、最も大きな眼領域に対応する人物を特定人物として選択する。この対比で用いる、眼領域の大きさとは、例えば、眼の上下方向（即ち、上瞼と下瞼を結ぶ方向）における眼領域の長さ（判定フレーム画像上の長さ）である。
【００６６】
また、上記の第１〜第４の選択方法の内の２以上の選択方法を組み合わせて特定人物を選択することも可能である。例えば、第１の選択方法の選択にて用いる距離、第２の選択方法の選択にて用いる顔領域の大きさ、第３の選択方法の選択にて用いる類似度、及び、第４の選択方法の選択にて用いる眼領域の大きさを総合的に勘案して特定人物を選択するようにしてもよい。
【００６７】
また、特定人物を選択することなく、ステップＳ１２において撮影領域内に含まれる各人物の眼の開閉状態を監視しておき、何れかの人物の眼の閉眼状態から開眼状態への遷移が確認された時、実撮影期間への移行条件が成立したと判断してステップＳ１３に移行するようにしてもよい。
【００６８】
或いは、特定人物を選択することなく、ステップＳ１２において撮影領域内に含まれる各人物の眼の開閉状態を監視しておき、全ての人物の眼が開いていると判断された時に、実撮影期間への移行条件が成立したと判断してステップＳ１３に移行するようにしてもよい。例えば、撮影領域内に３人の人物が含まれている場合を考える。この場合において、タイミングｔ１以降、２人の眼が開いており且つ残りの１人の眼が閉じているフレーム画像が得られたら、その後は、その眼の閉じている人物の眼に着目し、その着目した眼の閉眼状態から開眼状態への遷移が確認された時に、実撮影期間への移行条件が成立したと判断してステップＳ１３に移行すればよい。
【００６９】
＜＜第２実施例＞＞
次に、第２実施例について説明する。第１実施例によれば、眼の開いている状態で対象画像を取得することができる。しかし、眼が開いていれば必ず被写体の表情が良いという訳ではなく、無意識に行った瞬きの直後に対象画像の撮影を行うのが被写体の意図に合致しているとは限らない。そこで、第２実施例では、被写体の意図的な閉眼を検出し、被写体の意図に沿ったタイミングで対象画像の撮影を実行する。
【００７０】
尚、第２実施例並びに後述の他の実施例の説明文を含む以下の説明文中における「眼」とは、特に断りなき限り、撮影領域内に含まれる人物が一人であってフレーム画像から抽出される顔領域の個数が１である場合は、その顔領域から抽出される眼領域についての眼を指し、撮影領域内に含まれる人物が複数であってフレーム画像から抽出される顔領域の個数が複数である場合は、その複数の人物中の特定人物の顔領域から抽出される眼領域についての眼を指す。特定人物の選択方法として、第１実施例で述べた方法を採用可能である。
【００７１】
図１０は、第２実施例に係る撮影処理動作の時間的な流れを表す概念図である。第２実施例では１枚の対象画像を取得する。
【００７２】
まず、主制御部１３は、操作部１７に対して第１操作がなされたか否かを検出し、第１操作がなされると準備期間に移行する。上述したように、第１操作がなされたタイミングがタイミングｔ１である。その後、主制御部１３は、タイミングｔ１以後に得られる各フレーム画像に対する開閉状態検出処理の結果に基づいて眼が継続して閉じている時間長さを計測する。計測された時間長さを、基準閉眼持続時間と呼び、それを記号ＴXで表す。基準閉眼持続時間ＴXが求められた時点をタイミングｔ２とする。
【００７３】
例えば、タイミングｔ１の後、第１、第２、・・・第１５のフレーム画像が順次得られて、第１〜第１０のフレーム画像における眼の状態が開眼状態であると検出され、且つ、第１１〜第１４のフレーム画像における眼の状態が閉眼状態であると検出され、且つ、第１５のフレーム画像における眼の状態が開眼状態であると検出された場合、１４−１１＋１＝４より、準備期間中のフレーム周期に４を乗じた時間長さが基準閉眼持続時間ＴXとして求められる。
【００７４】
基準閉眼持続時間ＴXを求めた後、主制御部１３は、タイミングｔ２以後に得られる各フレーム画像に対する開閉状態検出処理の結果に基づいて、「α・ＴXで表される時間よりも長い時間継続して眼が閉じている」という条件（以下、第１条件という）が満たされるか否かを監視する。第１条件を満たす閉眼は、被写体の意図的な閉眼であると判断され、第１条件を満たさない閉眼は、被写体の意図しない自然な瞬きによる閉眼であると判断される。そして、この第１条件の充足後の、最初の眼の開くタイミングをタイミングｔAとする。ここで、αは１より大きな値を有する所定の係数である。例えば、α＝２とする。
【００７５】
主制御部１３及びシャッタ制御部１４は、タイミングｔA後のなるだけ早い時点にて対象画像の撮影を行い、対象画像の画像データを取得する。第１実施例で述べたように、実際にはタイミングｔAから所定のタイムラグが経過した後に対象画像の露光が開始される。対象画像の画像データは、一旦、画像メモリ１２に保存された後、圧縮処理等の必要な処理を経て、記録媒体１６に保存される。
【００７６】
タイミングｔ２の後、第ｉ、第（ｉ＋１）、・・・第（ｉ＋３０）のフレーム画像が順次得られ、且つ、α・ＴXが準備期間中のフレーム周期に８を乗じた時間長さである場合を想定して数値例を挙げる（ｉは自然数）。
【００７７】
例えば、第ｉ〜第（ｉ＋２０）のフレーム画像における眼の状態が開眼状態であると検出され、且つ、第（ｉ＋２１）〜第（ｉ＋２９）のフレーム画像における眼の状態が閉眼状態であると検出され、且つ、第（ｉ＋３０）のフレーム画像における眼の状態が開眼状態であると検出された場合は、第（ｉ＋２１）〜第（ｉ＋２９）のフレーム画像の撮影期間の合計時間長さは９フレーム周期分であるため、第１条件が満たされる。そして、第（ｉ＋３０）のフレーム画像において、第１条件充足後の初めての、眼の閉眼状態から開眼状態への遷移が観測される。従って、この場合は、第（ｉ＋２９）と第（ｉ＋３０）のフレーム画像の撮影間で眼の状態が閉眼状態から開眼状態へ遷移したと判断し、この遷移が確認されたタイミングをタイミングｔAとして対象画像の撮影を行う。
【００７８】
これに対して例えば、第ｉ〜第（ｉ＋２２）のフレーム画像における眼の状態が開眼状態であると検出され、且つ、第（ｉ＋２３）〜第（ｉ＋２９）のフレーム画像における眼の状態が閉眼状態であると検出され、且つ、第（ｉ＋３０）のフレーム画像における眼の状態が開眼状態であると検出された場合は、第（ｉ＋２３）〜第（ｉ＋２９）のフレーム画像の撮影期間の合計時間長さは７フレーム周期分であるため、第１条件が満たされない。従って、この場合は、第（ｉ＋３１）のフレーム画像以降の各フレーム画像に着目して、再度、第１条件の充足又は不充足を判断し、第１条件が満たされるまで同様の処理を繰り返す。
【００７９】
上記の如く、撮影タイミングを制御することによって、被写体が意図的に行った閉眼と無意識の瞬きによる閉眼とを区別することができるため、被写体の意図に合致した、眼が開いた状態の対象画像を取得することが可能となる。
【００８０】
尚、上述の例では、タイミングｔ１以後に得られる各フレーム画像に対する開閉状態検出処理の結果に基づいて基準閉眼持続時間ＴXを実際に計測しているが、その計測を行うことなく、予め設定した時間を基準閉眼持続時間ＴXとして用いるようにしてもよい。この場合は、人の瞬きにおける平均的な閉眼持続時間（例えば、０．２秒）を基準閉眼持続時間ＴXとして予め設定しておく。
【００８１】
＜＜第３実施例＞＞
次に、第３実施例について説明する。対象画像の撮影待機時に開眼状態が続いている場合、開眼状態の対象画像を何時でも取得可能なようにも思えるが、人間は眼を長時間開けたままにしておくことができないため、開眼状態が長く続けば続くほど閉眼状態の対象画像を撮影してしまう確率が高くなると考えられる。そこで、第３実施例では、対象画像の撮影待機時に開眼状態が一定時間ＴW以上続いていると判断される場合は、次の瞬きを待ってから対象画像の撮影を実行する。図１１は、第３実施例に係る撮影処理動作の時間的な流れを表す概念図である。第３実施例では１枚の対象画像を取得する。
【００８２】
まず、主制御部１３は、操作部１７に対して第１操作がなされたか否かを検出し、第１操作がなされると、撮影待機期間ともいうべき準備期間に移行する。上述したように、第１操作がなされたタイミングがタイミングｔ１である。その後、主制御部１３は、タイミングｔ１以後に得られる各フレーム画像に対する開閉状態検出処理の結果に基づいて眼が継続して開いている時間長さを計測し、「ＴWで表される時間よりも長い時間継続して眼が開いている」という条件（以下、第２条件という）が満たされるか否かを監視する。主制御部１３は、準備期間において第２条件が充足したと判断される場合は、第２条件の充足後の、最初の眼の開くタイミングをタイミングｔAとする。尚、ＴWは予め設定された正の値を有する。
【００８３】
今、タイミングｔ１の後、準備期間中においてタイミングｔ３、ｔ４及びｔ５がこの順番で訪れるものとし、開閉状態検出処理の結果に基づき、タイミングｔ３とｔ５の間において継続して眼が開いていると検出された場合を想定する。そして、タイミングｔ３とｔ４間の時間長さが上記の一定時間ＴWと合致しているものとする。また更に、開閉状態検出処理の結果に基づき、タイミングｔ５を境にして眼の状態が開眼状態から閉眼状態に遷移したと検出されたものとする。そうすると、タイミングｔ４に至った時点で第２条件が充足するため、主制御部１３は、タイミングｔ４とタイミングｔ５との間の期間中、及び、タイミングｔ５以降であって且つ次の開眼状態が検出されるまでの期間中における、対象画像の撮影を禁止する（つまり、対象画像の露光を行わないようにする）。そして、タイミングｔ５以降の、最初の眼の開くタイミングをタイミングｔAとする。
【００８４】
タイミングｔ１の後、第１、第２、・・・第１００のフレーム画像が順次得られ、且つ、ＴWが準備期間中のフレーム周期に５０を乗じた時間長さである場合を想定して数値例を挙げる。例えば、第１〜第１０のフレーム画像における眼の状態が閉眼状態であると検出され、且つ、第１１〜第９０のフレーム画像における眼の状態が開眼状態であると検出され、且つ、第９１〜第９９のフレーム画像における眼の状態が閉眼状態であると検出され、且つ、第１００のフレーム画像における眼の状態が開眼状態であると検出された場合、第１１〜第６０のフレーム画像の撮影期間の合計時間長さは５０フレーム周期分であるため、第６０のフレーム画像の取得時点で第２条件が満たされる。このため、その後、第１００のフレーム画像に対する開眼状態が検出されるまで、対象画像の撮影は禁止される。そして、第１００のフレーム画像において、第２条件充足後の初めての、眼の閉眼状態から開眼状態への遷移が観測される。従って、この場合は、第９９と第１００のフレーム画像の撮影間で眼の状態が閉眼状態から開眼状態へ遷移したと判断し、この遷移が確認されたタイミングをタイミングｔAとして対象画像の撮影を行う。
【００８５】
主制御部１３及びシャッタ制御部１４は、タイミングｔA後のなるだけ早い時点にて対象画像の撮影を行い、対象画像の画像データを取得する。第１実施例で述べたように、実際にはタイミングｔAから所定のタイムラグが経過した後に対象画像の露光が開始される。対象画像の画像データは、一旦、画像メモリ１２に保存された後、圧縮処理等の必要な処理を経て、記録媒体１６に保存される。
【００８６】
上述のような処理の利用例について説明する。例えば、図１のシャッタボタン１７ａを２段階の押下操作を可能に形成しておく。撮影者がシャッタボタン１７ａを軽く押し込むと、シャッタボタン１７ａは半押しの状態となり、その状態から更にシャッタボタン１７ａを押し込むとシャッタボタン１７ａは全押しの状態となる。そして、シャッタボタン１７ａを半押しにするという操作を第１操作と捉え、半押しの状態が検出された時点をタイミングｔ１とする。撮影者の操作によってシャッタボタン１７ａの状態が全押しの状態になると、主制御部１３は原則として直ちに準備期間から実撮影期間に移行して対象画像の撮影を行うが、準備期間において上述の第２条件が充足した場合は、例外処理を行う。即ち、図１１のタイミング関係を例にとると、タイミングｔ４以降であって且つタイミングｔAに至るまでの期間中にシャッタボタン１７ａを全押しにする操作があった場合、その全押しの操作の直後に対象画像の撮影を行うのではなく、タイミングｔAにて閉眼状態から開眼状態への遷移が観測されてから対象画像の撮影を行うようにする。
【００８７】
上記の如く、撮影タイミングを制御することによって眼が開いた状態の対象画像を取得することが可能となる。
【００８８】
＜＜第４実施例＞＞
次に、第４実施例について説明する。第４実施例では、連続撮影によって複数の対象画像を取得することを想定する。従来より、複数の画像を連続撮影しておき、得られた画像群の中から開眼状態の画像を抽出する手法が提案されている（例えば、特許文献１参照）。この従来手法は、連続撮影によって得られた画像群の中に開眼状態の画像が含まれていることを前提として成り立つ手法であるが、その画像群の中に開眼状態の画像が含まれているとは限らず、撮影タイミング次第では、全画像中における被写体の眼が閉眼状態又は半開状態になる可能性がある。このような問題に対応するべく、第４実施例では、被写体固有の閉眼時間を考慮して連続撮影のタイミング制御を行う。
【００８９】
図１２は、第４実施例に係る撮影処理動作の時間的な流れを表す概念図である。まず、主制御部１３は、操作部１７に対して第１操作がなされたか否かを検出し、第１操作がなされると準備期間に移行する。上述したように、第１操作がなされたタイミングがタイミングｔ１である。その後、主制御部１３は、タイミングｔ１以後に得られる各フレーム画像に対する開閉状態検出処理の結果に基づいて、眼が継続して閉じている時間長さ及び眼が継続して開いている時間長さを計測する。前者の時間長さは、第２実施例でも述べた基準閉眼持続時間ＴXである。後者の時間長さを、基準開眼持続時間と呼び、それを記号ＴYで表す。以下、基準閉眼持続時間ＴXを時間ＴXと略記し、基準開眼持続時間ＴYを時間ＴYと略記する。
【００９０】
例えば、タイミングｔ１の後、第１、第２、・・・第１００のフレーム画像が順次得られて、第１〜第１０のフレーム画像における眼の状態が開眼状態であると検出され、且つ、第１１〜第１４のフレーム画像における眼の状態が閉眼状態であると検出され、且つ、第１５〜第９９フレーム画像における眼の状態が開眼状態であると検出され、且つ、第１００フレーム画像における眼の状態が閉眼状態であると検出された場合、１４−１１＋１＝４より、準備期間中のフレーム周期に４を乗じた時間長さが時間ＴXとして計測され、且つ、９９−１５＋１＝８５より、準備期間中のフレーム周期に８５を乗じた時間長さが時間ＴYとして計測される。尚、図１２に示すタイミングｔ６は、第１４と第１５のフレーム画像の撮影間における、眼の閉眼状態から開眼状態への遷移タイミングを表している。また、図１２にも対応するこの数値例では、時間ＴXが時間ＴYよりも先に求められているが、両者の導出タイミングの前後関係は逆にもなりうる。
【００９１】
時間ＴX及びＴYが求められた後、タイミングｔAに至り、実撮影期間に移行する。例えば、時間ＴX及びＴYが求められた後の、最初の眼の開くタイミングをタイミングｔAとする。眼の開くタイミングの決定方法は上述の他の実施例で述べた通りである。
【００９２】
主制御部１３及びシャッタ制御部１４は、タイミングｔA後のなるだけ早い時点にて１枚目の対象画像の撮影を行い、１枚目の対象画像の画像データを取得する。第１実施例で述べたように、実際にはタイミングｔAから所定のタイムラグが経過した後に１枚目の対象画像の露光が開始される。このタイムラグの存在に起因し、１枚目の対象画像の露光時点で眼が閉じてしまっている可能性がある。図１２は、タイミングｔA直後に被写体が再度瞬きを行った場合を示している。これを考慮し、１枚目と２枚目の対象画像の撮影間隔を時間ＴXに基づいて設定するようにする。
【００９３】
より詳細にタイミングｔA後の撮影動作を説明する。連続撮影される対象画像の枚数をｎで表すと、タイミングｔA以後、タイミングｔA1、ｔA2、ｔA3、・・・、ｔAnがこの順番で訪れ、タイミングｔAjにおいてｊ枚目の対象画像の撮影が行われる。ここで、ｎは２以上の整数であり、且つ、ｊはｎ以下の自然数である。尚、厳密には、タイミングｔAjにおいてｊ枚目の対象画像の露光が開始され、タイミングｔAjから露光期間分の時間が経過した時点でｊ枚目の対象画像の露光が終了するのであるが、時間ＴXや時間ＴYに比べて露光期間の時間は十分に短いため、露光期間の存在を無視して考える（露光期間の時間長さをゼロとみなす）。
【００９４】
タイミングｔAjとｔA(j+1)との間の時間長さは、連続撮影されるｊ枚目及び（ｊ＋１）枚目の対象画像の撮影間隔を表している（但し、ｊ＜ｎ）。この連続撮影における撮影間隔がβ・ＴXで表される時間長さと等しくなるように、主制御部１３及びシャッタ制御部１４は撮像部１１を制御する。ここで、βは１より大きな値を有する係数である。着目した被写体固有の閉眼時間はタイミングｔA以降も時間ＴXであると推定される。従って、このように撮影間隔を設定すれば、図１２に示す如く仮にタイミングｔA直後に被写体が再度瞬きを行って１枚目の対象画像の露光時に眼が閉じていたとしても、２枚目の対象画像の露光時には眼が開いていることが期待される。つまり、２枚の対象画像を取得すれば、開眼状態の対象画像を少なくとも１枚取得できることになる。
【００９５】
但し、係数βの値を大きくとり過ぎると、図１３に示す如く、タイミングｔA後の１回目及び２回目の瞬きタイミングが、ちょうど１枚目及び２枚目の対象画像の撮影タイミングと重なってしまう、といったことも考えられる。従って、係数βを時間ＴYに基づいて決定するようにしてもよい。具体的には、β・ＴXで表される時間長さが時間ＴXよりも長く且つ時間ＴYよりも短くなるように係数βの値を設定すればよい。瞬きは概ね均一な瞬き周期にて周期的に行われると考えられるため、このように係数βの値を設定すれば、瞬きの１周期内に少なくとも１枚の対象画像を取得することが可能となる。
【００９６】
尚、通常、時間ＴX（例えば、０．２秒）比べて時間ＴY（例えば、３秒）は十分に大きい。この特性を利用し、準備期間中における時間ＴYの計測を省略することも可能である。例えば、通常の瞬きにおいて、眼が継続して開いている時間長さが、眼が継続して閉じている時間長さの少なくとも５倍以上であると仮定できる場合は、開閉状態検出処理の結果を用いることなく、係数βの値を不等式「１＜β＜５」を満たす範囲内で予め設定しておくことが可能である。このように設定しておくようにしても、実際に計測した時間ＴYを用いて係数βを設定する場合と略同様の効果を得ることができ、また、時間ＴYの計測のための時間的制約がなくなる。時間ＴYの計測を省略する場合は、時間ＴXが求められた後の、最初の眼の開くタイミングをタイミングｔAとして取り扱えばよく、図１２のタイミングｔ６をタイミングｔAとして取り扱ってタイミングｔ６を境に準備期間から実撮影期間に移行することも可能である。
【００９７】
上述のような連続撮影によって得られたｎ枚の対象画像の画像データは、順次、一旦画像メモリ１２に保存された後、圧縮処理等の必要な処理を経て記録媒体１６に保存される。本実施例の如く連続撮影における撮影間隔を制御することによって、眼が開いた状態の対象画像を確実に少なくとも１枚取得することができるようになる。
【００９８】
また、上述の例では、時間ＴX（又は時間ＴX及びＴY）が求められた後の、最初の眼の開くタイミングをタイミングｔAとしているが、所定の操作が操作部１７に対してなされるのを待機し、その操作がなされたタイミングをタイミングｔAとしてもよい。即ち、時間ＴX（又は時間ＴX及びＴY）が求められた後、主制御部１３は、操作部１７に対して連続撮影の開始を指示するための操作（以下、第２操作という）がなされるのを待機し、第２操作がなされたタイミングをタイミングｔAとして取り扱うようにしてもよい。また或いは、第２操作がなされた後も開閉状態検出処理を行い、その処理の結果に基づき、第２操作がなされた後の、最初の眼の開くタイミングをタイミングｔAとして取り扱うようにしてもよい。更に或いは、公知の笑顔認識処理を利用し、時間ＴX（又は時間ＴX及びＴY）が求められた後であって且つフレーム画像内における顔領域の顔が笑顔であると判断されたタイミングをタイミングｔAとして取り扱うようにしてもよい。
【００９９】
また、上述の第２及び第３実施例では対象画像を１枚だけ取得することを想定したが、第４実施例における連続撮影方法を第２及び第３実施例に適用することも可能である。第４実施例の連続撮影方法を第２又は第３実施例に適用する場合は、準備期間中に時間ＴX（又は時間ＴX及びＴY）を計測しておき、第２又は第３実施例におけるタイミングｔA（図１０又は図１１のｔA）から撮影間隔β・ＴXにてｎ枚の対象画像を連続撮影すればよい。この場合も、実際には、タイミングｔAから所定のタイムラグを経た後に１枚目の対象画像の撮影が行われる。
【０１００】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１０１】
［注釈１］
上述の例では、眼が継続して閉じている時間長さを準備期間中に１回だけ計測して該計測時間を時間ＴXとしているが、眼が継続して閉じている時間長さを準備期間中に複数回計測して、計測された複数の時間長さの平均を時間ＴXとして用いるようにしてもよい。同様に、眼が継続して開いている時間長さを準備期間中に複数回計測して、計測された複数の時間長さの平均を時間ＴYとして用いるようにしてもよい。
【０１０２】
［注釈２］
上述の例では、眼領域を１つの顔領域内に存在する一方の眼のみを含む領域とし、１つの顔領域から１つの眼領域を抽出することとしている。この場合、被写体としての人物が有する片方の眼の開閉状態に基づいて上述の各撮影制御が行われることとなるが、１つの顔領域から２つの眼領域を抽出し、その２つの眼領域の夫々に対して開閉状態検出処理を行うことで被写体の両眼の開閉状態を監視するようにしていもよい。この場合、例えば、開閉状態検出処理によって両眼が共に開いていると検出された場合に被写体としての人物の眼が開眼状態にあると判断し、少なくとも一方の眼が閉じていると検出された場合に被写体としての人物の眼が閉眼状態にあると判断すればよい。また、片方の眼の開閉状態のみを監視するのか又は双方の眼の開閉状態を監視するのかを、自由に変更できるように撮像装置１を形成してもよい。
【０１０３】
［注釈３］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、主制御部１３の機能は、ハードウェア、ソフトウェア又はハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。また、主制御部１３にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【０１０４】
［注釈４］
例えば、以下のように考えることができる。対象画像の撮影タイミングを制御する撮影制御手段は、主制御部１３とシャッタ制御部１４によって実現されている。第４実施例では、この撮影制御手段は、撮像素子１１ａに連続撮影を実行させることで複数の対象画像を取得するようにしている。また、開閉状態検出処理の結果に基づいて時間ＴX又はＴYを計測する時間計測手段は、開閉状態検出部２４を含む主制御部１３によって実現される。また、特徴点抽出処理を介して眼の開閉状態を検出する場合、開閉状態検出部２４は特徴点抽出手段としての機能をも備える。
【図面の簡単な説明】
【０１０５】
【図１】本発明の実施形態に係る撮像装置の全体ブロック図である。
【図２】図１の顔領域検出部、眼領域検出部及び開閉状態検出部への入力画像例である。
【図３】図２の入力画像から抽出された顔領域の拡大図（ａ）と、その顔領域から抽出された眼領域の拡大図（ｂ）である。
【図４】図１の開閉状態検出部での処理に利用されうる瞳孔テンプレートを表す図である。
【図５】図１の開閉状態検出部における処理内容の一例を説明するための図である。
【図６】図１の撮像装置の撮影動作に関して定義される、通常期間、準備期間及び実撮影期間の時間関係を示す図である。
【図７】本発明の第１実施例に係る撮影処理動作の手順を表すフローチャートである。
【図８】本発明の第１実施例に係る撮影処理動作の時間的な流れを表す概念図である。
【図９】複数の人物から一人の特定人物を選択する手法を説明するための図である。
【図１０】本発明の第２実施例に係る撮影処理動作の時間的な流れを表す概念図である。
【図１１】本発明の第３実施例に係る撮影処理動作の時間的な流れを表す概念図である。
【図１２】本発明の第４実施例に係る撮影処理動作の時間的な流れを表す概念図である。
【図１３】本発明の第４実施例に係る撮影処理動作の時間的な流れを表す、他の概念図である。
【符号の説明】
【０１０６】
１  撮像装置
１１  撮像部
１１ａ  撮像素子
１２  画像メモリ
１３  主制御部
１４  シャッタ制御部
１７  操作部
１７ａ  シャッタボタン
２１  画像処理部
２２  顔領域検出部
２３  眼領域検出部
２４  開閉状態検出部
【図１】
2009194422.tif 000003
【図２】
2009194422.tif 000004
【図３】
2009194422.tif 000005
【図４】
2009194422.tif 000006
【図５】
2009194422.tif 000007
【図６】
2009194422.tif 000008
【図７】
2009194422.tif 000009
【図８】
2009194422.tif 000010
【図１０】
2009194422.tif 000011
【図１１】
2009194422.tif 000012
【図１２】
2009194422.tif 000013
【図１３】
2009194422.tif 000014
【図９】
2009194422.tif 000015