(57)【要約】【課題】画像における人物の状態を高精度に判定する撮像装置を提供する。【解決手段】撮像装置は、被写体像を光電変換する撮像素子と、撮像素子により得られた像における人物の眼の閉度を監視する監視手段と、眼の閉度が第１の閾値を超えたか否かを判定する第１の閾値判定手段と、眼の閉度が第１の閾値よりも大きい第２の閾値を超えたか否かを判定する第２の閾値判定手段と、第１の閾値判定手段および第２の閾値判定手段の判定結果に基づいて人物の眼の状態を判定する状態判定手段とを有する。【選択図】図５
2014097196.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を光電変換する撮像素子と、
前記撮像素子により得られた像における人物の眼の閉度を監視する監視手段と、
前記眼の閉度が第１の閾値を超えたか否かを判定する第１の閾値判定手段と、
前記眼の閉度が前記第１の閾値よりも大きい第２の閾値を超えたか否かを判定する第２の閾値判定手段と、
前記第１の閾値判定手段および前記第２の閾値判定手段の判定結果に基づいて前記人物の眼の状態を判定する状態判定手段と、を有することを特徴とする撮像装置。
【請求項２】
前記第１の閾値は、前記人物が寝ている状態であるか否かの判定に用いられ、
前記状態判定手段は、前記眼の閉度が前記第１の閾値を超えていない場合、前記人物の眼は開いている状態であると判定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２の閾値は、前記人物が瞬きをしている状態であるか否かの判定に用いられ、
前記状態判定手段は、前記眼の閉度が前記第２の閾値を超えた場合、前記人物の眼は瞬きをしている状態であると判定することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記状態判定手段は、前記眼の閉度が前記第１の閾値を超え、かつ、該眼の閉度が周期的に前記第２の閾値を超えた場合、前記人物の眼は瞬きをしている状態であると判定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記状態判定手段は、前記眼の閉度が前記第２の閾値を超えず、かつ、一定期間、前記眼の閉度が前記第１の閾値を超えた場合、前記人物は寝ている状態であると判定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記状態判定手段は、一定期間、前記眼の開度が前記第２の閾値を超えた場合、前記人物は寝ている状態であると判定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項７】
ローパスフィルタを更に有し、
前記ローパスフィルタは、前記監視手段により時系列で監視された前記人物の眼の閉度に適用され、
前記状態判定手段は、前記ローパスフィルタを適用して得られた閉度データが周期的なピークを示す場合、前記人物は瞬きをしている状態であると判定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項８】
複数の人物の情報を記憶する記憶手段を更に有し、
前記第１の閾値判定手段および前記第２の閾値判定手段は、前記複数の人物に応じて前記第１の閾値および前記第２の閾値を変更することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
撮像光学系と、
請求項１乃至８のいずれか１項に記載の撮像装置と、を有することを特徴とする撮像システム。
【請求項１０】
撮像素子により得られた像における人物の眼の閉度を監視する監視ステップと、
前記眼の閉度が第１の閾値を超えたか否かを判定する第１の閾値判定ステップと、
前記眼の閉度が前記第１の閾値よりも大きい第２の閾値を超えたか否かを判定する第２の閾値判定ステップと、
前記第１の閾値判定ステップおよび前記第２の閾値判定ステップの判定結果に基づいて前記人物の眼の状態を判定する状態判定ステップと、を有することを特徴とする画像判定方法。
【請求項１１】
前記第１の閾値は、前記人物が寝ている状態であるか否かの判定に用いられ、
前記状態判定ステップにおいて、前記眼の閉度が前記第１の閾値を超えていない場合、前記人物の眼は開いている状態であると判定することを特徴とする請求項１０に記載の画像判定方法。
【請求項１２】
前記第２の閾値は、前記人物が瞬きをしている状態であるか否かの判定に用いられ、
前記状態判定ステップにおいて、前記眼の閉度が前記第２の閾値を超えた場合、前記人物の眼は瞬きをしている状態であると判定することを特徴とする請求項１０または１１に記載の画像判定方法。
【請求項１３】
前記状態判定ステップにおいて、前記眼の閉度が前記第１の閾値を超え、かつ、該眼の閉度が周期的に前記第２の閾値を超えた場合、前記人物の眼は瞬きをしている状態であると判定することを特徴とする請求項１０乃至１２のいずれか１項に記載の画像判定方法。
【請求項１４】
前記状態判定ステップにおいて、前記眼の閉度が前記第２の閾値を超えず、かつ、一定期間、前記眼の閉度が前記第１の閾値を超えた場合、前記人物は寝ている状態であると判定することを特徴とする請求項１０乃至１３のいずれか１項に記載の画像判定方法。
【請求項１５】
前記状態判定ステップにおいて、一定期間、前記眼の開度が前記第２の閾値を超えた場合、前記人物は寝ている状態であると判定することを特徴とする請求項１０乃至１３のいずれか１項に記載の画像判定方法。
【請求項１６】
撮像素子により得られた像における人物の眼の閉度を監視する監視ステップと、
前記眼の閉度が第１の閾値を超えたか否かを判定する第１の閾値判定ステップと、
前記眼の閉度が前記第１の閾値よりも大きい第２の閾値を超えたか否かを判定する第２の閾値判定ステップと、
前記第１の閾値判定ステップおよび前記第２の閾値判定ステップの判定結果に基づいて前記人物の眼の状態を判定する状態判定ステップと、を情報処理装置に実行させるように構成されていることを特徴とする画像判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物の眼の状態を判定する撮像装置に関する。
【背景技術】
【０００２】
従来から、人物の眼の開閉を判定するために画像の解析および判定を行い、その判定結果に基づいて人物が寝ているか又は瞬きをしているのかを判定する方法が知られている。特許文献１には、開閉眼モニタ装置が開示されている。この開閉眼モニタ装置は、眼の開度を時系列データから複数の極小値を抽出し、開度をその大きさ順に並べ替え、並べ替え後に隣り合う極小値の開度差が最大の部分で複数の極小値を開眼候補群と閉眼候補群とに分離する。そして、開眼候補群の最小開度と開眼候補群の標準偏差との差、又は、閉眼候補群の最大開度と開眼候補群の標準偏差との和を閉眼閾値として設定し、眼の開閉の経時変化などに基づいて人物が寝ているか又は瞬きをしているかを判定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−４１４８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、眼を開いているときと閉じているときで眼の閉度の差が小さい場合、人物の眼の状態が誤判定される可能性がある。例えば、人物の眼が細い場合には、人物が起きていても寝ている状態であると判定されるおそれがある。
【０００５】
そこで本発明は、画像における人物の状態（瞬きをしている状態、寝ている状態など）を高精度に判定する撮像装置、撮像システム、および、画像判定方法を提供する。
【課題を解決するための手段】
【０００６】
本発明の一側面としての撮像装置は、被写体像を光電変換する撮像素子と、前記撮像素子により得られた像における人物の眼の閉度を監視する監視手段と、前記眼の閉度が第１の閾値を超えたか否かを判定する第１の閾値判定手段と、前記眼の閉度が前記第１の閾値よりも大きい第２の閾値を超えたか否かを判定する第２の閾値判定手段と、前記第１の閾値判定手段および前記第２の閾値判定手段の判定結果に基づいて前記人物の眼の状態を判定する状態判定手段とを有する。
【０００７】
本発明の他の側面としての撮像システムは、撮像光学系と、前記撮像装置とを有する。
【０００８】
本発明の他の側面としての画像判定方法は、撮像素子により得られた像における人物の眼の閉度を監視する監視ステップと、前記眼の閉度が第１の閾値を超えたか否かを判定する第１の閾値判定ステップと、前記眼の閉度が前記第１の閾値よりも大きい第２の閾値を超えたか否かを判定する第２の閾値判定ステップと、前記第１の閾値判定ステップおよび前記第２の閾値判定ステップの判定結果に基づいて前記人物の眼の状態を判定する状態判定ステップとを有する。
【０００９】
本発明の他の側面としての画像判定プログラムは、撮像素子により得られた像における人物の眼の閉度を監視する監視ステップと、前記眼の閉度が第１の閾値を超えたか否かを判定する第１の閾値判定ステップと、前記眼の閉度が前記第１の閾値よりも大きい第２の閾値を超えたか否かを判定する第２の閾値判定ステップと、前記第１の閾値判定ステップおよび前記第２の閾値判定ステップの判定結果に基づいて前記人物の眼の状態を判定する状態判定ステップと、を情報処理装置に実行させるように構成されている。
【００１０】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１１】
本発明によれば、画像における人物の状態（瞬きをしている状態、寝ている状態など）を高精度に判定する撮像装置、撮像システム、および、画像判定方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施例における撮像装置のブロック図である。
【図２】第１の実施形態において、眼の閉度を求めるための領域の説明図である。
【図３】第１の実施形態において、眼の閉度と時間の関係図である。
【図４】第１の実施形態において、寝顔閾値およびばらつき閾値を示す図である。
【図５】第１の実施形態における画像判定方法のフローチャートである。
【図６】第２の実施形態において、眼の閉度に対してローパスフィルタを適用した結果である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１４】
まず、図１を参照して、本実施例における撮像装置について説明する。図１は、本実施例における撮像装置１００（デジタルカメラ）のブロック図である。撮像装置１００は、後述の画像判定方法を実行可能な画像処理装置を備えて構成される。
【００１５】
撮像装置１００において、１０は撮影レンズ（撮像光学系）、１２は絞り機能を備える機械式シャッター、１４は被写体像（被写体の光学像）を光電変換して電気信号（アナログ信号）を出力する撮像素子である。１６は、撮像素子１４から出力されたアナログ信号をディジタル信号に変換するＡ／Ｄ変換器である。１８は、撮像素子１４、Ａ／Ｄ変換器１６、および、Ｄ／Ａ変換器２６にクロック信号および制御信号を供給するタイミング発生回路であり、メモリ制御回路２２およびシステム制御回路５０により制御される。本実施例において、機械式シャッター１２に代えて、撮像素子１４のリセットタイミングを制御する電子シャッターを用いて蓄積時間を制御することができ、動画撮影などに使用可能である。
【００１６】
２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータまたはメモリ制御回路２２からのデータに対して画像拡大／縮小のための画素補間処理、色変換処理、ノイズ除去処理、エッジ強調処理などを行う。また画像処理回路２０は、メモリ制御回路２２からの画像データに対して、顔検出のためのウェーブレット変換処理などを行う。また画像処理回路２０は、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行うために撮像画像（画像データ）を用いて所定の演算処理を行う。そして、得られた演算結果をＷＢ（ホワイトバランス）評価値として算出し、算出されたＷＢ評価値に基づいて画像データの色変換などを行う。更に、画像処理回路２０は、ＴＴＬ方式のＡＦ処理、ＡＥ処理、および、ＥＦ処理をそれぞれ行うためのＡＦ評価値、ＡＥ評価値、および、ＥＦ評価値を算出するため、撮像画像（画像データ）を用いて所定の演算処理を行う。システム制御回路５０は、得られたＡＦ評価値、ＡＥ評価値、および、ＥＦ評価値に基づいて、所定のアルゴリズムに従って露光制御手段４０および測距制御手段４２を制御する。
【００１７】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、および、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力されたデータは、画像処理回路２０およびメモリ制御回路２２を介して、または、直接メモリ制御回路２２を介して、画像表示メモリ２４またはメモリ３０に書き込まれる。
【００１８】
２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ−ＬＣＤなどを備えて構成される画像表示部である。画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介して画像表示部２８に表示される。画像表示部２８を用いて撮像画像（画像データ）を逐次表示することにより、電子ファインダ機能を実現することが可能である。また画像表示部２８は、システム制御回路５０の指示に基づいて、任意に表示のＯＮ／ＯＦＦを行うことが可能である。画像表示部２８は、その表示をＯＦＦにした場合、撮像装置１００（画像処理装置）の電力消費を低減することができる。
【００１９】
３０は、撮影した静止画像や動画像を格納するメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。またメモリ３０は、システム制御回路５０の作業領域としても使用可能である。
【００２０】
３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路である。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理または伸長処理を行い、処理したデータをメモリ３０に書き込む。４０は、絞り機能を備える機械式シャッター１２を制御する露光制御手段である。露光制御手段４０は、フラッシュ４８と連携することによりフラッシュ調光機能を有する。４２は、撮影レンズ１０のフォーカシングを制御する測距制御手段である。４４は、撮影レンズ１０のズーミングを制御するズーム制御手段である。４６は、バリアとしての保護手段１０２の動作を制御するバリア制御手段である。４８はフラッシュであり、ＡＦ補助光の投光機能、および、フラッシュ調光機能を有する。露光制御手段４０および測距制御手段４２は、ＴＴＬ方式を用いて制御されている。システム制御回路５０は、画像処理回路２０による撮像画像（画像データ）の演算結果に基づいて、露光制御手段４０および測距制御手段４２を制御する。
【００２１】
５０は、撮像装置１００（画像処理装置）の全体を制御するシステム制御回路（制御手段）である。５２は、システム制御回路５０の動作用の定数、変数、プログラムなどを記憶するメモリである。５４は、システム制御回路５０によるプログラムの実行に応じて、文字、画像、音声などを用いて動作状態やメッセージなどを表示する液晶表示装置やスピーカーなどを備えて構成される表示部である。表示部５４は、撮像装置１００（画像処理装置）の操作部近傍の視認し易い位置に設置され、例えばＬＣＤやＬＥＤ、発音素子などの組み合わせにより構成されている。また表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。
【００２２】
表示部５４の表示内容のうち、ＬＣＤなどに表示される内容としては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示がある。また、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤眼緩和表示、マクロ撮影表示も可能である。更に、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示なども可能である。また表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などがある。５６は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭを用いて構成される。
【００２３】
６０、６２、６４、６６、７０、７２、７４は、システム制御回路５０の各種の動作指示を入力するための操作手段である。これらの操作手段は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置などの単数または複数の組み合わせにより構成される。以下、これらの操作手段について具体的に説明する。
【００２４】
６０はモードダイアルスイッチである。モードダイアルスイッチ６０は、電源オフ、静止画撮影モード、パノラマ撮影モード、動画撮影モード、スナップ動画撮影モード、再生モード、マルチ画面再生、ＰＣ接続モード、テレビ受信モードなどの各機能モードを切り替え設定することができる。６２は第１シャッタースイッチ（ＳＷ１）である。第１シャッタースイッチ６２は、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理などの撮影準備動作開始を指示する。
【００２５】
６４は第２シャッタースイッチ（ＳＷ２）である。第２シャッタースイッチ６４は、シャッターボタンの操作完了でＯＮとなり、一連の処理の動作開始を指示する。この一連の処理において、まず、撮像素子１４から読み出された信号（画像データ）をＡ／Ｄ変換器１６およびメモリ制御回路２２を介してメモリ３０に書き込む画像取り込み処理が行われる。また、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、および、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮処理を行う処理が行われる。そして、記録媒体２００または記録媒体２１０に画像データを書き込む記録処理が行われる。
【００２６】
６６は、表示切替スイッチであり、画像表示部２８の表示切替を行うことができる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、ＴＦＴ−ＬＣＤなどを備えて構成される画像表示部２８への電流供給を遮断して省電力を図ることが可能となる。７０は、各種ボタンやタッチパネルなどを備えて構成される操作部である。操作部７０は、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタンなどを備えている。また操作部７０は、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタンなども備えている。
【００２７】
７２は、ユーザが撮像画像の倍率変更の指示を行うズーム操作手段としてのズームスイッチである。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチ、および、撮像画角を広角側に変更させるワイドスイッチを備えて構成される。ズームスイッチ７２を操作は、ズーム制御手段４４に撮影レンズ１０の撮像画角の変更を指示して光学ズーム操作を行うためのトリガとなる。また、ズームスイッチ７２の操作は、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的な変更のトリガともなる。７４は、動画再生指示部である。動画撮影後の所定期間内に動画再生指示部７４を操作することにより、撮影動画の再生を開始することができる。
【００２８】
８０は電源制御手段である。電源制御手段８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などを備えて構成されており、電池の装着の有無、電池の種類、電池残量の検出を行う。また電源制御手段８０は、それらの検出結果およびシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００、２０１を含む各部へ供給する。８２、８４はそれぞれコネクタである。８６は、アルカリ電池やリチウム電池などの一次電池、または、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉ電池などの二次電池、および、ＡＣアダプターなどを備えて構成される電源手段である。
【００２９】
９０、９４は、メモリカードやハードディスクなどの記録媒体とのインタフェース（Ｉ／Ｆ）である。９２、９６は、メモリカードやハードディスクなどの記録媒体と接続を行うコネクタである。なお本実施例において、記録媒体を取り付けるインタフェースおよびコネクタを２系統有する場合について説明しているが、これに限定されるものではない。記録媒体を取り付けるインタフェースおよびコネクタは、単数または２以外の複数の系統を備えていてもよい。また、異なる規格のインタフェースおよびコネクタを組み合わせた構成としても構わない。インタフェースおよびコネクタとして、ＳＤカード、ＰＣＭＣＩＡカード、ＣＦ（コンパクトフラッシュ（登録商標））カードなどの規格に準拠したものを用いて構成することもできる。このような構成において、ＬＡＮカード、モデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、ＳＣＳＩカード、ＰＨＳなどの通信カードなどの各種通信カードを接続する。これにより、他のコンピュータやプリンタなどの周辺機器との間で画像データや画像データに付属した管理情報を双方向に転送することができる。
【００３０】
１０２は、撮像装置１００の撮影レンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止する保護手段（バリア）である。１０４は光学ファインダである。撮像装置１００は、画像表示部２８による電子ファインダ機能を用いることなく、光学ファインダ１０４のみを用いて撮影を行うことが可能である。また、光学ファインダ１０４には、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示など、表示部５４の一部の機能が設けられている。
【００３１】
１１０は通信手段である。通信手段１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信などの各種通信機能を有する。１１２は、通信手段１１０により撮像装置１００（画像処理装置）を他の機器と接続するコネクタまたは無線通信を用いる場合のアンテナである。２００は、メモリカードやハードディスクなどの記録媒体である。記録媒体２００は、半導体メモリや磁気ディスクなどを備えて構成される記録部２０２、撮像装置１００とのインタフェース２０４（Ｉ／Ｆ）、および、撮像装置１００と接続を行うコネクタ２０６を備えている。２１０は、メモリカードやハードディスクなどの記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスクなどを備えて構成される記録部２１２、撮像装置１００とのインタフェース２１４、および、撮像装置１００と接続を行うコネクタ２１６を備えている。
【００３２】
なお、本実施例の撮像装置１００は、撮影レンズ１０を一体化して構成されているが、これに限定されるものではない。本実施例は、撮像装置本体と、撮像装置本体に着脱可能な撮影レンズ（撮像光学系）とを組み合わせて構成される撮像システムにも適用可能である。
（第１の実施形態）
次に、第１の実施形態における眼の開閉度の算出方法（画像判定方法）について説明する。本実施形態の画像判定方法は、撮像装置１００（画像処理装置）のシステム制御回路５０の指令に基づいて行われる。まず、システム制御回路５０は、撮像画像（画像データ）を用いて顔検出および主顔判定を行う。主顔判定とは、画像データ中に複数の顔が存在していると判定した場合に第一優先の人物を特定することである。
【００３３】
本実施形態の顔検出方法は、メモリ３０に書き込まれた画像データに対して公知の顔検出技術に基づく顔検出処理を適用し、画像データ内の人物領域の一例としての顔領域を検出するものである。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて眼、鼻、口などの形状に特徴のある部位を画像データのなかから探し出し、類似度が高い場合に顔とみなす手法などがある。加えて、両眼間の距離や顔の輪郭などの画像特徴量を検出し、統計的解析を用いた手法などの多数の手法が提案されている。顔検出精度を高めるため、これらの複数の手法を組み合わせて顔検出処理を行うことが好ましい。例えば、特開２００２−２５１３８０号公報には、ウェーブレット変換と画像特徴量を利用して顔検出処理を行う方法が開示されている。
【００３４】
主顔判定の際には、検出された顔の大きさや画角中心からの距離、予め登録されている顔と同一人物か否かなどの結果から、それぞれの項目に対して重み付けを行い、第一優先の顔を主顔として決定する。なお、個人の特定方法については、予め撮像装置に登録されている人物の画像の眼、鼻、口の形状などの特徴のある部位に対するテンプレートマッチングが用いられる。
【００３５】
次に、主顔における左右の眼のそれぞれについて、眼の閉度（眼瞑り）を判定するための領域を決定する。このとき、顔検出処理の際に求められた眼の中心を基準とし、顔の大きさから判定対象とする領域の大きさが求められる。図２は、眼の閉度を求めるための領域の説明図である。図２において、外側の点線３０１は、顔検出により顔の領域を特定して得られた枠である。黒丸の中心３０２は、顔検出された人物の左眼の中心である。また、内側の点線の領域３０３は、左眼の領域であり、眼の開閉度を算出対象となる領域である。
【００３６】
本実施形態において、眼の閉度（開閉度）は、定対象とする領域内の瞳領域を特定して算出される。瞳領域の抽出についても、顔検出と同様に、ニューラルネットワークなどを利用した学習に基づく手法やテンプレートマッチングなどを用いて瞳領域を抽出する手法などを用いる。抽出の結果、判定対象とする領域に対する、瞳領域であると判定された領域の割合に応じて、眼の開閉度が決定される。すなわち、瞳領域が大きい場合ほど眼の閉度は低くなり、瞳領域が小さいほど眼の閉度は高くなる。
【００３７】
続いて、図３および図４を参照して、本実施形態における人物の眼の状態の判定方法（画像判定方法）について説明する。図３は、眼の閉度と時間の関係図である。図３において、縦軸は眼の閉度、横軸は時間をそれぞれ示している。図４は、図３の関係図において、寝顔閾値（第１の閾値）およびばらつき閾値（第２の閾値）の２つの閾値を設定した状態を示している。
【００３８】
まず、図３に示されるように、システム制御回路５０（監視手段）は、一定期間、撮像素子１４により得られた像における人物の眼の閉度を時系列で監視する。このとき、時系列で監視した眼の閉度に対して、図４に示されるように、眼の閉度に対して寝顔閾値（第１の閾値）とばらつき閾値（第２の閾値）の２つの閾値を設定する。また、前回ばらつき閾値を超えてから次にばらつき閾値を超えるまでの期間を眼瞑りの周期（図４中の周期１〜６）とする。本実施形態の画像判定方法では、これらの情報を用いて眼の状態を判定する。
【００３９】
続いて図５を参照して、本実施形態における画像判定方法について説明する。図５は、画像判定方法のフローチャートである。図５の各ステップは、システム制御回路５０の指令に基づいて行われる。まず、ステップＳ５０１において、システム制御回路５０は、撮像素子１４により得られた像（画像データ）における人物の眼の閉度を過去に遡って一定時間監視する。閉度の監視は、時間の古いほうから探索して行われる。続いてステップＳ５０２において、システム制御回路５０（第１の閾値判定手段）は、眼の閉度が寝顔閾値（第１の閾値）を超えたか否かを判定する。眼の閉度が寝顔閾値を超えなかった場合、ステップＳ５０３に移行する。そしてステップＳ５０３において、システム制御回路５０は、期間中（一定時間中）、眼を開いていた（眼開き）と判定し、本フローを終了する。
【００４０】
一方、ステップＳ５０２にて眼の閉度が寝顔閾値を超えた場合、ステップＳ５０４に移行する。そしてステップＳ５０４において、システム制御回路５０（第２の閾値判定手段）は、眼の閉度がばらつき閾値（第２の閾値）を超えたか否かを判定する。ここで、ばらつき閾値（第２の閾値）は、寝顔閾値（第１の閾値）よりも大きい値に設定されている。眼の閉度がばらつき閾値を超えなかった場合、ステップＳ５０５に移行する。
【００４１】
続いてステップＳ５０５において、システム制御回路５０は、眼の閉度が一定期間寝顔閾値を超えたか否かを判定する。ステップＳ５０５にて眼の閉度が一定期間寝顔閾値を上回った場合、ステップＳ５０６に移行し、システム制御回路５０は、眼の状態は寝ている状態である判定し、本フローを終了する。一方、ステップＳ５０５にて眼の閉度が一定期間寝顔閾値を上回らなかった場合、ステップＳ５０２に戻り、前述の各ステップを繰り返す。
【００４２】
一方、ステップＳ５０４において、眼の閉度がばらつき閾値を超えた場合、ステップＳ５０７に移行する。そしてステップＳ５０７において、システム制御回路５０は、眼の閉度が一定期間ばらつき閾値を超えたか否かを判定する。ステップＳ５０７にて眼の閉度が一定期間ばらつき閾値を超えた場合、ステップＳ５０６に移行し、システム制御回路５０は、眼の状態は寝ている状態であると判定し、本フローを終了する。
【００４３】
一方、ステップＳ５０７にて眼の閉度が一定期間ばらつき閾値を超えなかった場合、ステップＳ５０８に移行する。そしてステップＳ５０８において、システム制御回路５０は、眼の閉度がばらつき閾値を超えたことが初回か否かを判定する。ステップＳ５０８にてばらつき閾値を超えたのが初回である場合、ステップＳ５０２に戻り、前述の各ステップを繰り返す。
【００４４】
一方、ステップＳ５０８にて眼の閉度がばらつき閾値を超えたことが２回目以降である場合、ステップＳ５０９に移行する。そしてステップＳ５０９において、システム制御回路５０は、前回ばらつき閾値を超えたときの眼の閉度のピークから今回ばらつき閾値を超えたときの眼の閉度のピークまでの期間（周期）が周期Ａ（第１の周期）に相当するか否かを判定する。例えば、今回ばらつき閾値を超えたことが２回目である場合、前回ばらつき閾値を超えたときから今回ばらつき閾値を超えるまでの期間は、図４に示される周期１である。本実施形態において、Ａを第１の周期の時間、ｋを所定の時間として、（Ａ−ｋ）＜（周期１）＜（Ａ＋ｋ）が成立する場合、周期１が周期Ａ（第１の周期）に相当すると判定される。一方、前記式が成立しない場合、周期１は周期Ａに相当しない（周期１は周期Ａと異なる）と判定される。
【００４５】
ステップＳ５０９にて周期１が周期Ａに相当する場合、眼の状態が瞬きをしている状態であると判定してステップＳ５０２に戻り、前述の各ステップを繰り返す。一方、周期１が周期Ａと異なる場合、ステップＳ５１０に移行する。そしてステップＳ５１０において、システム制御回路５０は、前回ばらつき閾値を超えたときの眼の閉度のピークから今回ばらつき閾値を超えたときの眼の閉度のピークまでの期間（周期）が周期Ｂ（第２の周期）に相当するか否かを判定する。例えば、今回ばらつき閾値を超えたことが２回目である場合、前回ばらつき閾値を超えたときから今回ばらつき閾値を超えるまでの期間は、図４に示される周期１である。本実施形態において、Ｂを第２の周期の時間、ｋを所定の時間として、（Ｂ−ｋ）＜（周期１）＜（Ｂ＋ｋ）が成立する場合、周期１が周期Ｂ（第２の周期）に相当すると判定される。一方、前記式が成立しない場合、周期１は周期Ｂに相当しない（周期１は周期Ｂと異なる）と判定される。
【００４６】
ステップＳ５１０にて周期１が周期Ｂに相当する場合、眼の状態が瞬きをしている状態であると判定してステップＳ５０２に戻り、前述の各ステップを繰り返す。一方、周期１が周期Ｂと異なる場合、ステップＳ５１１に移行し、システム制御回路５０は、眼の状態は寝ている状態であると判定する。
【００４７】
以上のように、本実施形態において、システム制御回路５０（状態判定手段）は、第１の閾値判定手段および第２の閾値判定手段の判定結果に基づいて人物の眼の状態を判定する。第１の閾値は、人物が寝ている状態であるか否かの判定に用いられる。そして状態判定手段は、眼の閉度が第１の閾値を超えていない場合、人物の眼は開いている状態であると判定する。また、第２の閾値は、人物が瞬きをしている状態であるか否かの判定に用いられる。そして状態判定手段は、眼の閉度が第２の閾値を超えた場合、人物の眼は瞬きをしている状態であると判定する。
【００４８】
好ましくは、状態判定手段は、眼の閉度が第１の閾値を超え、かつ、眼の閉度が周期的に第２の閾値を超えた場合、人物の眼は瞬きをしている状態であると判定する。また好ましくは、状態判定手段は、眼の閉度が第２の閾値を超えず、かつ、一定期間、眼の閉度が第１の閾値を超えた場合、人物は寝ている状態であると判定する。また好ましくは、状態判定手段は、一定期間、眼の開度が第２の閾値を超えた場合、人物は寝ている状態であると判定する。
【００４９】
また本実施形態において、メモリ３０（記憶手段）に複数の人物の情報を記憶させることができる。メモリ３０に記憶された情報は個人認証に用いられる。このとき、第１の閾値判定手段および第２の閾値判定手段は、複数の人物に応じて第１の閾値および第２の閾値を変更するように構成してもよい。
【００５０】
本実施形態の画像判定方法によれば、人物の眼の状態が瞬きをしている状態、寝ている状態、または、眼が開いた状態のいずれであるかについて、高精度に判定することができる。
（第２の実施形態）
次に、第２の実施形態における眼の開閉度の算出方法（画像判定方法）について説明する。本実施形態において、システム制御回路５０は、まず図３に示されるように、一定期間、時系列で眼の閉度を監視する。そして、時系列で監視した眼の閉度に対してローパスフィルタを適用する。
【００５１】
図６は、眼の閉度に対してローパスフィルタを適用した結果である。時系列に見たときの眼の閉度のピーク間の時間を周期とし、その周期が周期Ａ（第１の周期）または周期Ｂ（第２の周期）に相当する場合、システム制御回路５０は、眼の状態が寝ている状態（眼瞑り状態）であると判定する。一方、その周期が周期Ａまたは周期Ｂのいずれとも異なる場合、眼の状態が寝ている状態であると判定する。本実施形態において、眼の閉度の周期が周期Ａまたは周期Ｂに相当するか否かの判定は、図６中のステップＳ５０９、Ｓ５１０と同様に行われる。
【００５２】
本実施形態の画像判定方法によれば、人物の眼の状態が瞬きをしている状態、または、寝ている状態のいずれであるかについて、高精度に判定することができる。
【００５３】
なお本実施形態において、瞬きをしている状態でない場合には寝ている状態であると判定される。ただし本実施形態はこれに限定されるものではなく、更に、眼の閉度に応じて眼を開いているか寝ているかを判定することができる。また、ローパスフィルタの適用結果に対して、第１の実施形態と同様に、寝顔閾値（第１の閾値）とばらつき閾値（第２の閾値）の２つの閾値を用いて眼の状態を判定してもよい。
【００５４】
以上のように、本実施形態の撮像装置は、ローパスフィルタを有する。このローパスフィルタは、監視手段により時系列で監視された人物の眼の閉度に適用される。そして状態判定手段は、ローパスフィルタを適用して得られた閉度データが周期的なピークを示す場合、人物は瞬きをしている状態であると判定する。
【００５５】
上記各実施例によれば、細い眼を有する人物など、眼の開度と閉度との差が小さい人物の場合でも、その人物が寝ているか又は瞬きをしているのかの誤判定を低減することが可能である。このため、画像における人物の状態（瞬きをしている状態、寝ている状態など）を高精度に判定する撮像装置、撮像システム、および、画像判定方法を提供することができる。また、画像判定方法を情報処理装置に実行させるように構成された画像判定プログラムを提供することができる。
【００５６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５７】
１４：撮像素子
２０：画像処理回路
５０：システム制御回路
１００：撮像装置
【図２】
2014097196.tif 000003
【図３】
2014097196.tif 000004
【図４】
2014097196.tif 000005
【図６】
2014097196.tif 000006
【図１】
2014097196.tif 000007
【図５】
2014097196.tif 000008