(57)【要約】【課題】目つむり判定における誤検出の削減及び不要と想定される目つむり情報を削除することで、ユーザの利便性を向上する。【解決手段】被写体を撮像する撮像装置は、撮像された画像から人物の顔を検出する顔検出手段と、前記検出された人物が目をつむっているか否かを判定する目つむり検出手段と、目をつむっていると判定された場合に、画像ファイルに目つむりを表す情報を付加する記録手段と、新たに撮影された画像と、１駒前に撮影された画像が同じシーンを撮影したものであるか否かを判定する判定手段と、を備え、前記記録手段は、前記判定手段による判定の結果に応じて、前記１駒前に撮影された画像ファイルに付加されている目つむり情報を削除又は維持する。【選択図】図３
2011041015.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像装置であって、
撮像された画像から人物の顔を検出する顔検出手段と、
前記検出された人物が目をつむっているか否かを判定する目つむり検出手段と、
目をつむっていると判定された場合に、画像ファイルに目つむりを表す情報を付加する記録手段と、
新たに撮影された画像と、１駒前に撮影された画像が同じシーンを撮影したものであるか否かを判定する判定手段と、を備え、
前記記録手段は、前記判定手段による判定の結果に応じて、前記１駒前に撮影された画像ファイルに付加されている目つむり情報を削除又は維持することを特徴とする撮像装置。
【請求項２】
前記記録手段は、前記同じシーンを撮影したものであると判定された場合、前記１駒前に撮影された画像ファイルに付加されている目つむり情報を削除することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記記録手段は、前記同じシーンを撮影したものであると判定されなかった場合、前記１駒前に撮影された画像ファイルに付加されている目つむり情報を維持することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記判定手段は、前記顔検出手段により検出された人物の顔の数、顔の位置及び顔のサイズの少なくともいずれかに基づき前記同じシーンを撮影したものであるか判定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記判定手段は、新たに画像が撮影された時刻と、１駒前の画像が撮影された時刻との時間差に基づき前記同じシーンを撮影したものであるか判定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項６】
撮像された画像から人物の顔を検出する顔検出手段と、
前記検出された人物が目をつむっているか否かを判定する目つむり検出手段と、
目をつむっていると判定された場合に、画像ファイルに目つむりを表す情報を付加する記録手段と、を備える撮像装置における目つむり判定方法であって、
新たに撮影された画像と、１駒前に撮影された画像が同じシーンを撮影したものであるか否かを判定する判定工程と、
前記判定の結果に応じて、前記１駒前に撮影された画像ファイルに付加されている目つむり情報を削除又は維持する工程と、を有することを特徴とする目つむり判定方法。
【請求項７】
被写体を撮像する撮像装置のコンピュータを、
撮像された画像から人物の顔を検出する顔検出手段と、
前記検出された人物が目をつむっているか否かを判定する目つむり検出手段と、
目をつむっていると判定された場合に、画像ファイルに目つむりを表す情報を付加する記録手段と、
新たに撮影された画像と、１駒前に撮影された画像が同じシーンを撮影したものであるか否かを判定する判定手段として機能させ、
前記記録手段は、前記判定手段による判定の結果に応じて、前記１駒前に撮影された画像ファイルに付加されている目つむり情報を削除又は維持することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物の顔から目つむりを検出する技術に関する。
【背景技術】
【０００２】
特許文献１には、撮影された画像から人物の顔を検出し、検出結果から目をつむっている人物を含む画像ファイルと、目をつむっている人物を含まない画像ファイルとを区別して記録する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１６３４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１では、目をつむっている人物を含む画像ファイルに目つむりフラグを付加して区別しているが、誤検出によって目つむりフラグが付加された場合の対策が何ら考慮されていない。本発明は、このような課題を解決することを目的としている。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の撮像装置は、被写体を撮像する撮像装置であって、撮像された画像から人物の顔を検出する顔検出手段と、前記検出された人物が目をつむっているか否かを判定する目つむり検出手段と、目をつむっていると判定された場合に、画像ファイルに目つむりを表す情報を付加する記録手段と、新たに撮影された画像と、１駒前に撮影された画像が同じシーンを撮影したものであるか否かを判定する判定手段と、を備え、前記記録手段は、前記判定手段による判定の結果に応じて、前記１駒前に撮影された画像ファイルに付加されている目つむり情報を削除又は維持する。
【発明の効果】
【０００６】
本発明によれば、目つむり判定における誤検出の削減及び不要と想定される目つむり情報を削除することで、ユーザの利便性を向上できる。
【図面の簡単な説明】
【０００７】
【図１】本発明に係る実施形態の撮像装置の構成を示すブロック図である。
【図２】図１の信号処理回路の機能ブロック図である。
【図３】本実施形態の目つむり検出処理を示すフローチャートである。
【図４】目つむり警告表示を例示する図である。
【図５】１駒前の撮影画像と新たな撮影画像から検出された顔の位置とサイズを例示する図である。
【図６】１駒前の撮影画像と新たな撮影画像の構図の変化を例示する図である。
【発明を実施するための形態】
【０００８】
以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【０００９】
［装置構成］先ず、図１を参照して、本実施形態の撮像装置の構成について説明する。図１において、１はレンズ及び絞りからなる光学系、２はメカニカルシャッタ、３は被写体像を撮像する撮像素子である。４は撮像素子３から出力されるアナログ信号を処理するＣＤＳ回路、５はＣＤＳ処理されたアナログ信号をデジタル信号に変換するＡ／Ｄコンバータである。６は撮像素子３、ＣＤＳ回路４及びＡ／Ｄコンバータ５を動作させる信号を発生するタイミング信号発生回路である。７は光学系１、メカニカルシャッタ２及び撮像素子３の駆動回路、８はデジタル信号に必要な信号処理を施して画像データを生成する信号処理回路、９は信号処理された画像データを記憶する画像メモリである。１０は撮像装置に対して着脱可能な半導体メモリ等の記録媒体、１１は信号処理された画像データを記録媒体１０に記録する記録回路、１２は信号処理された画像データを表示する表示装置、１３は表示装置１２に画像を表示させる表示回路である。１４は撮像装置全体を制御するシステム制御部である。
【００１０】
次に、上述のように構成された撮像装置の撮影動作について説明する。光学系１は、システム制御部１４からの制御信号により、絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像素子３の受光面に結像させる。メカニカルシャッタ２は、システム制御部１４からの制御信号により、必要な露光時間となるように撮像素子３の動作に合わせて撮像素子３を遮光するように駆動される。ここで、撮像素子３が電子シャッタ機能を有する場合は、メカニカルシャッタ２と併用して、必要な露光時間を確保してもよい。撮像素子３は、システム制御部１４により制御されるタイミング信号発生回路６が発生する動作パルスをもとにした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。撮像素子３から出力されたアナログ画像信号は、システム制御部１４により制御されるタイミング信号発生回路６が発生する動作パルスにより、ＣＤＳ回路４でクロック同期性ノイズを除去し、Ａ／Ｄコンバータ５でデジタル画像信号に変換される。
【００１１】
信号処理回路８は、デジタル画像信号に対して、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。この信号処理回路８において、システム制御部１４からの制御信号により信号処理をせずにデジタル画像信号をそのままＲＡＷ画像データとして、画像メモリ９や記録回路１１に出力してもよい。更に、信号処理回路８は、システム制御部１４から、信号処理の過程で生じたデジタル画像信号や画像データの情報の送信要求を受信すると、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいはそれらから抽出された情報をシステム制御部１４へ出力する。記録回路１１は、システム制御部１４からの要求に応じて、記録媒体１０の種類や空き容量等の情報をシステム制御部１４に出力する。
【００１２】
次に、記録媒体１０に画像データが記録されている場合の再生動作について説明する。システム制御部１４からの制御信号により、記録回路１１は記録媒体１０から画像データを読み出し、同様にシステム制御部１４からの制御信号により、信号処理回路８は画像データが圧縮形式で保存されている場合には伸張処理を行って画像メモリ９に記憶する。画像メモリ９に記憶されている画像データは、信号処理回路８で解像度変換処理が実施された後、表示回路１３において表示装置１２に適合した信号に変換されて表示される。
【００１３】
［信号処理回路］次に、図２を参照して、図１の信号処理回路８で実行されるプログラムにより実現される機能について説明する。図２において、信号処理回路８は、プログラムである顔検出モジュール８ａ、目領域検出モジュール８ｂ及び目つむり判定モジュール８ｃを実行する。顔検出モジュール８ａでは、公知の顔認識技術により撮影画像から人物の顔を検出する。撮影画像に複数の人物が含まれている場合は、複数の顔領域を人物ごとに個別に検出する。目領域検出モジュール８ｂでは、顔検出モジュール８ａにより検出された顔領域の特徴データから目領域を検出する。目つむり判定モジュール８ｃでは、目領域内の目が開いているか又は閉じているかを判定する目つむり検出を行う。
【００１４】
顔検出モジュール８ａは、撮影された画像データから人物の顔領域の位置やサイズを検出する。顔検出については既知の方法で良い。例えば、顔検出モジュール８ａは、撮影された画像データから、鼻、口や目などの顔領域の構成要素に相当する形状を抽出し、両目の中間を通過する延長線上に鼻と口が存在する領域を検出する。そして、両目の大きさとそれらの距離から顔の大きさを推定し、鼻の中心に相当する位置を基準として、推定した大きさの領域で囲んだ領域を顔領域とする。
【００１５】
顔検出モジュール８ａは、検出された顔領域から特徴データを抽出する。特徴データは、例えば、特開２００５−２６６９８１号公報に開示されているように、口、目、眉毛、鼻などの顔の構成要素の具体的な形状や、これらの構成要素の位置に関する情報を含む。ここで、特徴データは、入力された顔領域の画像データから、例えばニューラルネットワークや空間フィルタを用いたエッジ検出などの手法を用いて算出することにより抽出することができる。もちろん、形状や位置に関する情報だけでなく、彩度や色相に関する情報も特徴データに含めるようにしてもよい。また、目つむり判定モジュール８ｃは、例えば、特開平８−２６６４６８号公報に開示されているように、顔領域から瞳孔を含む虹彩部分の面積と、瞼開閉方向の直径を算出する。そして、目つむり判定モジュール８ｃは、瞼開閉方向の直径に対する瞳孔を含む虹彩部分の面積が閾値を下回った場合に、その人物が目をつむったと判定する。
【００１６】
目つむり判定モジュール８ｃによる目つむり検出の結果、目をつむっている人物が存在すると判定されると、撮影後に目つむり警告が出される。この目つむり警告では、記録媒体１０に記録された画像を、例えば表示装置１２で再生する際に、図４（ａ）のように、再生画像中の目をつむっていると判定された被写体に警告用の枠を表示する。あるいは、図４（ｂ）のように目をつむっている被写体が存在することをユーザ知らせる旨の文字を表示する。更には、音声やＬＥＤ等の光を発するなどして、撮影画像中に目をつむっている被写体が存在することをユーザに警告することである。また、記録媒体１０にＥｘｉｆファイルとして撮影画像を記録する際に、目をつむっている被写体が存在する画像の場合は、Ｅｘｉｆファイルのヘッダ部分の所定のタグに目をつむっている被写体が存在する旨を示す情報（以下、目つむりフラグ）が記録される。
【００１７】
［目つむり検出処理］次に、図３のフローを参照して、本実施形態の撮像装置による目つむり検出動作について説明する。図３において、ステップＳ３００では、先ずユーザによるシャッターレリーズ操作に応じてシステム制御部１４が撮影動作を実行する。次に、ステップＳ３０１では、システム制御部１４は、ステップＳ３００での撮影動作の１駒前に撮影された画像ファイルに目つむりフラグが付加されているか否か判定し、目つむりフラグが付加されていない場合は、本処理を終了する。一方、目つむりフラグが付加されている場合はステップＳ３０２に進み、システム制御部１４は、ステップＳ３００で今回新たに画像を撮影した時刻と、ステップＳ３００で１駒前の画像が撮影されたときの撮影時刻との時間差がＴｈ以内であるか否かを判定する。このＴｈの値は、所定値を経験的に適宜設定することができる。ステップＳ３０２でＴｈ以内である場合は、ステップＳ３０５に進み、１駒前の画像ファイルに付加された目つむりフラグはそのまま維持される。一方、Ｔｈ以内でない場合は、ステップＳ３０３に進み、システム制御部１４は、１駒前に撮影された画像と新たに撮影された画像との間で構図が変化したか否かを判定する。この構図が変化したか否かは、例えば顔検出された人数、顔の位置及びびサイズを用いて判定できる。
【００１８】
ここで、図５及び図６を参照して、構図が変化したか否かを判定する方法について説明する。図５は、１駒前に撮影された画像（ａ）と新たに撮影された画像（ｂ）についてそれぞれ検出された顔の位置とサイズを例示している。図５において、画面左端から顔中心までの距離をｈ０、ｈ１、画面上端から顔中心までの距離をｖ０、ｖ１とする。そして、１駒前に撮影された画像における顔の座標を（ｈ０，ｖ０）、新たに撮影された画像における顔の座標を（ｈ１，ｖ１）、顔のサイズをｄ０、ｄ１とする。顔の位置とサイズが変化したか否かは、水平方向の座標変動閾値ｈＴｈ、垂直方向の座標変動閾値ｖＴｈ、顔サイズの座標変動閾値ｄＴｈをもとに下記式１〜３を用いて判定される。
｜ｈ１−ｈ０｜≦ｈＴｈ・・・（１）
｜ｖ１−ｖ０｜≦ｖＴｈ・・・（２）
｜ｄ１−ｄ０｜≦ｄＴｈ・・・（３）
即ち、上記式１〜３で表された条件を全て満足する場合には、顔の位置とサイズが変化していないと判定できる。なお、水平方向の座標変動閾値ｈＴｈ、垂直方向の座標変動閾値ｖＴｈ、顔サイズの座標変動閾値ｄＴｈの値は、所定値を経験的に適宜設定することができる。
【００１９】
図６は、１駒前に撮影された画像Ａと、新たに撮影された画像Ｂとの構図が変化した例を示している。図６（ａ）の例では、１駒前に撮影された画像Ａと新たに撮影された画像Ｂとを比較すると、顔検出された人数はどちらも１人であり、顔の位置とサイズもほとんど同じであるため、構図は変化していないと判定できる。図６（ｂ）の例では、１駒前に撮影された画像Ｃと新たに撮影された画像Ｄとを比較すると、顔検出された人数はどちらも１人であるが、顔の位置とサイズが大きく変わっているため、構図は変化したと判定できる。図６（ｃ）の例では、１駒前に撮影された画像Ｅと新たに撮影された画像Ｆとを比較すると、顔検出された人数が２人から３人へと変わっているため、上記式１〜３の演算結果に関わらず、構図は変化したと判定できる。
【００２０】
図３の説明に戻り、Ｓ３０３で構図が変化していないと判定された場合は、ステップＳ３０５に進み、１駒前の画像ファイルに付加された目つむりフラグはそのまま維持される。一方、構図が変化したと判定された場合は、ステップＳ３０４に進み、１駒前の画像に付加された目つむりフラグは削除される。
【００２１】
上述した目つむり判定処理を行う意義は以下の通りである。即ち、撮影後に目つむり警告が出された場合、被写体が目を開いている画像を得るために、同じシーンで再撮影することが多い。このため、目つむり警告が出されたにもかかわらず、同じシーンで再撮影をしない場合とは、ユーザ自身が撮影後の画像をチェックして目つむり判定が誤っていると判断した場合か、目をつむっているとしてもそのままでよいと判断した場合であると考えられる。よって、このような場合には、目つむりフラグを付加しておく必要がないため、システム制御部１４が目つむりフラグを削除している。
【００２２】
撮影後に目つむり警告が出されたときに、目を開いている画像を得るために再撮影されたか否かは、上述したステップＳ３０２、Ｓ３０３で判定される。再撮影は、目つむり警告が出された画像を撮影してから、間を置かずに撮影されることが多いため、ステップＳ３０２で１駒前との時間差を用いて、所定の時間（Ｔｈ）以内に撮影されたか否かを判定している。また、再撮影は、構図を変えずに撮影されることが多いため、ステップＳ３０３で構図が変化したか否かを判定している。
【００２３】
従って、新たに画像が撮影された時刻と１駒前の画像が撮影された時刻との時間差が大きく（Ｓ３０２）、かつ、新たに撮影された画像と１駒前に撮影された画像との間で構図が変化した場合（Ｓ３０３）は再撮影されなかったと判断できる。よって、１駒前の画像ファイルに付加された目つむりフラグは削除される。
【００２４】
以上のように、本実施形態によれば、撮影後に目つむり警告が出されたにもかかわらず再撮影をしなかった場合には、目つむりフラグを削除することによって、ユーザが本当に必要な画像にのみ、目つむりフラグを記録することができる。
【００２５】
なお、シーン変化があったか否かの判断方法は、上記実施形態に限られるものではない。例えば、新たに画像が撮影された時刻と１駒前の画像が撮影された時刻との時間差が大きい場合には、システム制御部１４は、構図の変化の有無に関わらずに、１駒前の画像ファイルに付加された目つむりフラグを削除するようにしても構わない。あるいは、システム制御部１４は、新たに撮影された画像の画角と１駒前の画像の画角が異なると判断できた場合には、１駒前の画像ファイルに付加された目つむりフラグを削除するようにしても構わない。画角が異なるか否かは、撮像装置に角速度センサを搭載し、この角速度センサの出力された撮像装置の姿勢の変化を求めればよい。
【００２６】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2011041015.tif 000003
【図２】
2011041015.tif 000004
【図３】
2011041015.tif 000005
【図４】
2011041015.tif 000006
【図５】
2011041015.tif 000007
【図６】
2011041015.tif 000008