(57)【要約】【課題】所望の撮影シーンを逃すことなく効率的に被写体が所定の条件を満たすことを検出して画像を記録する。【解決手段】顔検出部１０８は被写体を撮像して得られた第１の画像および被写体と異なる別の被写体を撮像して得られた第２の画像において人物の顔領域が検出し、する目瞑り検出部１０９は当該顔領域が目瞑り状態であるか否かを検出する。ＣＰＵ１１４は第１の画像および第２の画像のいずれか一方をメイン画像として当該メイン画像について目瞑り検出部によって目瞑り検出を行って目瞑り状態でないことが検出された後、第１の画像および第２の画像の他方について顔検出および目瞑り検出を行うように制御する。【選択図】図１
2016149683.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像手段で得られた第１の画像、および、前記第１の撮像手段と異なる第２の撮像手段で得られた第２の画像の各々に存在する被写体が所定の状態であるか否かを判定して、当該判定結果に応じて前記第１の画像および前記第２の画像を記録媒体に記録する画像処理装置であって、
前記第１の画像および前記第２の画像において被写体が前記所定の状態であるか否かを検出する検出処理を行う検出手段と、
前記第１の画像および前記第２の画像について被写体が前記所定の状態である場合に、それぞれ前記第１の画像および前記第２の画像を前記記録媒体に記録する記録手段と、
前記第１の画像および前記第２の画像のいずれか一方をメイン画像として当該メイン画像について前記検出手段による前記検出処理を行って被写体が前記所定の状態であることが検出された後、前記第１の画像および前記第２の画像の他方について前記検出手段による前記検出処理を行うように制御する制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記第１の画像および前記第２の画像の他方について前記検出手段による前記検出処理を行って、被写体が前記所定の状態であることが検出されると、前記第１の画像および前記第２の画像の他方を記録手段によって前記記録媒体に記録することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の画像は、前記第１の画像を得るための撮影操作を行う撮影者を撮像して得られた画像であり、
前記第１の画像を前記メイン画像とし、前記第２の画像をサブ画像とすることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
少なくとも前記第２の画像をバッファするメモリ手段を備え、
前記制御手段は前記メイン画像について前記検出処理を行なっている間、前記サブ画像を前記メモリ手段に記録することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記制御手段は、前記メイン画像について前記検出処理によって被写体が前記所定の状態であることが検出された後、前記メモリ手段に記録された前記サブ画像について前記検出処理を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記制御手段は、前記メイン画像について前記検出処理によって被写体が前記所定の状態であることが検出されない場合、前記メモリ手段に記録された前記サブ画像について前記検出処理を行わずに、新たに得られたメイン画像について前記検出処理を行うことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記制御手段は、前記メイン画像に人物が含まれていないと、前記メイン画像について前記検出処理を行うことなく、前記記録手段によって前記メイン画像を前記記録媒体に記録するように制御することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項８】
前記所定の状態とは、所定の表情、所定のポーズ、および、所定の向きであることの少なくとも一つを含むことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第１の撮像手段と、
前記第２の撮像手段と、
請求項１〜７のいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。
【請求項１０】
第１の撮像手段で得られた第１の画像、および、前記第１の撮像手段と異なる第２の撮像手段で得られた第２の画像の各々に存在する被写体が所定の状態であるか否かを判定して、当該判定結果に応じて前記第１の画像および前記第２の画像を記録媒体に記録する画像処理装置の制御方法であって、
前記第１の画像および前記第２の画像において被写体が前記所定の状態であるか否かを検出する検出処理を行う検出ステップと、
前記第１の画像および前記第２の画像について被写体が前記所定の状態である場合に、それぞれ前記第１の画像および前記第２の画像を前記記録媒体に記録する記録ステップと、
前記第１の画像および前記第２の画像のいずれか一方をメイン画像として当該メイン画像について前記検出ステップによる前記検出処理を行って被写体が前記所定の状態であることが検出された後、前記第１の画像および前記第２の画像の他方について前記検出ステップによる前記検出処理を行うように制御する制御ステップと、
を有することを特徴とする制御方法。
【請求項１１】
第１の撮像手段で得られた第１の画像、および、前記第１の撮像手段と異なる第２の撮像手段で得られた第２の画像の各々に存在する被写体が所定の状態であるか否かを判定して、当該判定結果に応じて前記第１の画像および前記第２の画像を記録媒体に記録する画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記第１の画像および前記第２の画像において被写体が前記所定の状態であるか否かを検出する検出処理を行う検出ステップと、
前記第１の画像および前記第２の画像について被写体が前記所定の状態である場合に、それぞれ前記第１の画像および前記第２の画像を前記記録媒体に記録する記録ステップと、
前記第１の画像および前記第２の画像のいずれか一方をメイン画像として当該メイン画像について前記検出ステップによる前記検出処理を行って被写体が前記所定の状態であることが検出された後、前記第１の画像および前記第２の画像の他方について前記検出ステップによる前記検出処理を行うように制御する制御ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、撮影の結果得られた画像から顔および人物などの特徴領域を検出する画像処理装置に関する。
【背景技術】
【０００２】
一般に、デジタルカメラ又はデジタルビデオカメラなどの撮像装置において、撮影の結果得られた画像（撮影画像）から人物の顔を検出して、当該顔領域に関してフォーカス制御を行うようにしたものが知られている。さらには、顔領域において目の位置を検出して人物が目瞑りをしているか否かを判定する所謂目瞑り検出機能を有する撮像装置がある。
【０００３】
上記の目瞑り検出機能においては、まず撮影画像において顔の特徴パターンマッチングを行って顔領域を検出した後、さらに当該顔領域について各器官の特徴パターンマッチングを行う。このため、パターンマッチング処理に処理時間を要し、当該処理時間は撮影画像のサイズおよび枚数などによって影響を受ける。そして、パターンマッチング処理に要する処理時間を短くするようにした撮像装置がある（特許文献１参照）。
【０００４】
さらには、携帯電話機およびタブレットＰＣなど端末機器においては、撮影者本人が画面を見つつ撮影者自身を撮影記録する所謂”自分撮り”が行われることがある。この”自分撮り”を容易に行うため、端末機器では撮影者以外の被写体を撮影して得られた撮影画像を記録するカメラ部と対面する位置に別のカメラ部を備えるようにしたものがある。
【０００５】
そして、前述の顔検出機能と２つカメラ部を備えた端末機器の構成を用いて、撮影者が所望の撮影シーンを逃すことなく円滑な撮影行うようにした撮像装置が知られている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３６５４０号公報
【特許文献２】特開２０１０−１４８０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、撮影者が所望の撮影画像を撮影するため、前述の顔検出機能、目瞑り検出機能、および２つのカメラ部によって得られる情報を用いて、撮影シーンに応じた画像処理を行うことが求められている。
【０００８】
ところが、撮像装置であるデジタルカメラおよびデジタルビデオカメラは所謂モバイル機器であって、撮像装置の大きさおよび消費電力などの制約から限られたリソースのみが搭載される。さらに、前述のように処理時間を掛けてフォーカス制御を行って撮影を行うと、撮影者が所望の撮影シーンを逃してしまうことがある。また、人物の目瞑りは瞬間的な動作であるので、撮像装置は常に目瞑りを監視することになって処理負荷が増大してしまうことになる。勿論、目瞑りは一つの例であって、目瞑り以外の表情や、顔の向き、あるいは、被写体のポーズを監視するような場合であっても同様の課題が生じる。
【０００９】
従って、本発明の目的は、所望の撮影シーンを逃すことなく効率的に被写体が所定の条件を満たすか否かを検出して画像を記録することができる画像処理装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明による画像処理装置は、第１の撮像手段で得られた第１の画像、および、前記第１の撮像手段と異なる別の第２の撮像手段で得られた第２の画像の各々に存在する被写体が所定の状態であるか否かを判定して、当該判定結果に応じて前記第１の画像および前記第２の画像を記録媒体に記録する画像処理装置であって、前記第１の画像および前記第２の画像において被写体が前記所定の状態であるか否かを検出する検出処理を行う検出手段と、前記第１の画像および前記第２の画像について被写体が前記所定の状態である場合に、それぞれ前記第１の画像および前記第２の画像を前記記録媒体に記録する記録手段と、前記第１の画像および前記第２の画像のいずれか一方をメイン画像として当該メイン画像について前記検出手段による前記検出処理を行って前記所定の状態であることが検出された後、前記第１の画像および前記第２の画像の他方について前記検出手段による前記検出処理を行うように制御する制御手段と、を有することを特徴とする。
【００１１】
本発明による撮像装置は、前記被写体を撮像して前記第１の画像を得る第１の撮像手段と、前記別の被写体を撮像して前記第２の画像を得る第２の撮像手段と、上記の画像処理装置と、を有することを特徴とする。
【００１２】
本発明による制御方法は、第１の撮像手段で得られた第１の画像、および、前記第１の撮像手段と異なる第２の撮像手段で得られた第２の画像の各々に存在する被写体が所定の状態であるか否かを判定して、当該判定結果に応じて前記第１の画像および前記第２の画像を記録媒体に記録する画像処理装置の制御方法であって、前記第１の画像および前記第２の画像において被写体が前記所定の状態であるか否かを検出する検出ステップと、前記第１の画像および前記第２の画像について被写体が前記所定の状態である場合に、それぞれ前記第１の画像および前記第２の画像を前記記録媒体に記録する記録ステップと、前記第１の画像および前記第２の画像のいずれか一方をメイン画像として当該メイン画像について前記検出ステップによる前記検出処理を行って被写体が前記所定の状態であることが検出された後、前記第１の画像および前記第２の画像の他方について前記検出ステップによる前記検出処理を行うように制御する制御ステップと、を有することを特徴とする。
【００１３】
本発明による制御プログラムは、第１の撮像手段で得られた第１の画像、および、前記第１の撮像手段と異なる第２の撮像手段で得られた第２の画像の各々に存在する被写体が所定の状態であるか否かを判定して、当該判定結果に応じて前記第１の画像および前記第２の画像を記録媒体に記録する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記第１の画像および前記第２の画像において被写体が前記所定の状態であるか否かを検出する検出処理を行う検出ステップと、前記第１の画像および前記第２の画像について被写体が前記所定の状態である場合に、それぞれ前記第１の画像および前記第２の画像を前記記録媒体に記録する記録ステップと、前記第１の画像および前記第２の画像のいずれか一方をメイン画像として当該メイン画像について前記検出ステップによる前記検出処理を行って被写体が前記所定の状態であることが検出され後、前記第１の画像および前記第２の画像の他方について前記検出ステップによる前記検出処理を行うように制御する制御ステップと、を実行させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、限られたリソースを用いて所望の撮影シーンを逃すことなく効率的に人物の目瞑りを検出して画像を記録することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態による画像処理装置を備える撮像装置についてその構成を示すブロック図である。
【図２】図１に示すカメラの外観を説明するための図である。
【図３】図１に示すカメラにおいて目瞑り検出モードで撮影を行った際の撮影動作を説明するためのフローチャートである。
【図４】図３に示す目瞑り判定処理を説明するためのフローチャートである。
【図５】図１に示すカメラにおいて目瞑り検出モードにおける撮影動作の一例を説明するための図である。
【図６Ａ】本発明の第２の実施形態に係るカメラにおいて目瞑り検出モードにおける撮影動作を説明するためのフローチャートである（その１）。
【図６Ｂ】本発明の第２の実施形態に係るカメラにおいて目瞑り検出モードにおける撮影動作を説明するためのフローチャートである（その２）。
【発明を実施するための形態】
【００１６】
以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。
【００１７】
［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置を備える撮像装置についてその構成を示すブロック図である。
【００１８】
図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）１００であり、第１および第２のレンズユニット（以下単にレンズと呼ぶ）１０３および１０５を備えている。第１のレンズ１０３を通過した光学像は、第１の撮像素子１０４に結像する。また、第２のレンズ１０５を通過した光学像は、第２の撮像素子１０６に結像する。第１および第２の撮像素子１０４および１０６の各々は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを有している。
【００１９】
なお、図示の例では、第１のレンズ１０３は、例えば、カメラ１００の撮影操作を行う撮影者を除く被写体を撮影する際に用いられ、第２のレンズ１０５は、後述するように、第１のレンズ１０３と反対方向に向けて配置され、撮影者を撮影する際に用いられる。そして、以下の説明では、第１のレンズ１０３および第１の撮像素子１０４が第１のカメラ部を構成し、第２のレンズ１０５および第２の撮像素子１０６が第２のカメラ部を構成する。
【００２０】
図示のように、カメラ１００には記録媒体２００が装着される。この記録媒体２００はカメラ１００に対して着脱可能であって、例えば、メモリカードである。データバス１０２にはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０１が接続されている。このＤＲＡＭ（メモリ手段）１０１はカメラ１００のメインメモリであり、ＤＲＡＭ１０１には撮影の結果得られた画像データ又は記録媒体２００から読み込んだ画像符号化データなどが一時的に保持される。
【００２１】
第１の撮像素子１０４は、第１のレンズ１０３を介して光学像を受光し、当該光学像に応じた電気信号（アナログ信号）に変換し、さらに、当該アナログ信号をＡ／Ｄ変換処理して第１のデジタル信号としてＤＲＡＭ１０１に保存する。
【００２２】
同様に、第２の撮像素子１０６は、第２のレンズ１０５を介して光学像を受光し、当該光学像に応じた電気信号（アナログ信号）に変換し、さらに、当該アナログ信号をＡ／Ｄ変換処理して第２のデジタル信号としてＤＲＡＭ１０１に保存する。
【００２３】
カメラ信号処理部１０７は、ＤＲＡＭ１０１に保存された第１および第２のデジタル信号についてノイズリダクション処理、現像処理、画像補正処理、およびリサイズなどの画像処理を施し、それぞれ第１および第２の画像データを生成する。そして、これら第１および第２の画像データはＤＲＡＭ１０１に一旦保存される。以下の説明では、第１の画像データ（第１の画像）をメイン画像と呼び、第２の画像データ（第２の画像）をサブ画像と呼ぶ。
【００２４】
顔検出部１０８は、カメラ信号処理部１０７によって生成されたメイン画像およびサブ画像の各々において人物の顔領域を検出する。目瞑り検出部１０９は、顔検出部１０８で検出された顔領域において目を検出して、さらに、被写体である人物が目瞑りしているか否かを検出する。
【００２５】
ＣＰＵ１１４は、ＤＲＡＭ１０１に保持されたメイン画像又はサブ画像を読み込んで、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）又は有機ＥＬ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）などの表示パネル（以下単にパネルと呼ぶ）１１０に表示する。メディアＩ／Ｆ（Ｍｅｄｉａ  Ｉ／Ｆ）１１１は、カメラ１００に装着された記録媒体２００とのＩ／Ｆであって、ＤＲＡＭ１０１からメイン画像およびサブ画像を読み込んで記録媒体２００に記録する。
【００２６】
制御バス１１２は、ＣＰＵ１１４がカメラ１００の各ブロックに対して制御指示を行うためのバスである。プログラムバス１１３には、ＣＰＵ１１４、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１１６、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１１７、タイマー１１８、および操作キー１１５が接続される。
【００２７】
ＣＰＵ１１４はカメラ１００全体の制御を司る。操作キー１１５はユーザーがＣＰＵ１１４に対して各種の動作指示を行うためのものであり、ボタンおよび十字キーなどを有している。
【００２８】
ＲＯＭ１１６には、ＣＰＵ１１４で動作するプログラムが格納されており、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ１１７は、ＣＰＵ１１４のワークメモリとして用いられる。タイマー１１８は所定の時間を計時して、所定の時間が経過するとＣＰＵ１１４に割り込み信号を送る。ＣＰＵ１１４は当該割り込み信号によって所定の時間の経過を知る。
【００２９】
なお、ＲＯＭ１１６には、例えば、顔検出部１０８によって検出された顔領域が複数存在する場合に、顔領域の位置および大きさに応じて最も優先度の高い顔領域（主顔）を判断する主顔判定処理を行うためのプログラムが格納されている。そして、ＣＰＵ１１４は当該プログラムによって主顔判定処理を行う。
【００３０】
図２は、図１に示すカメラの外観を説明するための図である。
【００３１】
図示のように、カメラ１００の表面（撮像面）側には前述の第１のレンズ１０３が配置されている。また、カメラ１００の上面には操作キー１１５の一部（例えば、シャッターボタンなど）が配置される。そして、撮像面と対向するカメラ１００の背面（表示面）側には、第２のレンズ１０５が配置されるとともに、操作キー１１５の残り（例えば、メニュー操作を行うための十字キーなど）が配置される。さらに、表示面側には、パネル１１０として用いられるＬＣＤが配置されている。
【００３２】
被写体（撮影者を除く）を撮影する際には、第１のレンズ１０３を介して光学像（被写体像）が第１の撮像素子１０４に結像する。そして、前述したようにして、カメラ信号処理部１０７は第１のデジタル信号を画像処理してメイン画像を生成して、ＤＲＡＭ１０１に保存する。この際、メイン画像がパネル１１１に表示される。ユーザーによってシャッターボタンが押されると、撮影の結果得られたメイン画像は符号化処理されて、ＣＰＵ１１４によってＭｅｄｉａ  Ｉ／Ｆ１１１を介して記録媒体２００に記録される。
【００３３】
ところで、図示のカメラ１００は撮影モードの１つとして目瞑り検出モードを備えている。目瞑り検出モードにおいて撮影を行うと、ＣＰＵ１１４はシャッターボタンが押されたタイミングで得られた画像について目瞑りの検出処理を行う。そして、人物が目瞑りをしていると、ＣＰＵ１１４は当該画像を記録媒体２００に記録せず、撮影の結果得られた画像について順次目瞑り検出を行って、人物が目瞑りしていない画像を記録媒体２００に記録する。
【００３４】
撮影の際には、メイン画像およびサブ画像がともに得られることになるが、顔検出部１０８および目瞑り検出部１０９はそれぞれ一つ備えられているのみである。よって、まずメイン画像に対して顔検出および目瞑り検出が行われる。そして、当該処理の間、サブ画像はＤＲＡＭ１０１に保持される。目瞑りが検出されないメイン画像が得られた後、サブ画像に対して顔検出および目瞑り検出が行われて、目瞑りが検出されないサブ画像が記録される。
【００３５】
メイン画像およびサブ画像の各々において、複数の顔が検出されると、ＣＰＵ１１４は主顔判定処理を行って、主顔に対して目瞑り検出を行う。主顔判定処理においては、ＣＰＵ１１４は顔の位置が画像の中央に近い程、さらに顔の大きさが大きい程優先度を上げる。なお、人物の顔が一つである場合には、当該顔が主顔とされる。
【００３６】
図３は、図１に示すカメラにおいて目瞑り検出モードで撮影を行った際の撮影動作を説明するためのフローチャートである。
【００３７】
なお、ＲＡＭ１１７にはメイン記録指示情報およびサブ記録指示情報が記録されており、ＣＰＵ１１４はメイン記録指示情報およびサブ記録指示情報に応じて撮影制御を行う。ここで、メイン記録指示情報はメイン画像に対して目瞑り検出を行うか否か、そして、メイン画像を記録するか否かを示す情報である。
【００３８】
また、メイン記録指示情報が”１”である際に得られたサブ画像は所定のフレーム数分ＤＲＡＭ１０１に保持される。図示の例では、３フレーム分のサブ画像がＤＲＡＭ１０１に保持されるものとする。さらに、サブ記録指示情報はサブ画像に対して目瞑り検出を行うか否か、そして、サブ画像を記録するか否かを示す情報である。
【００３９】
撮影動作を開始すると、ＣＰＵ１１４は操作キー１１５に備えられたシャッターボタンが押されたか否かを判定する（ステップＳ３０１）。シャッターボタンが押されると（ステップＳ３０１において、ＹＥＳ）、ＣＰＵ１１４はＲＡＭ１１７に記録されたメイン記録指示情報に”１”をセットする（ステップＳ３０２）。
【００４０】
続いて、ＣＰＵ１１４はメイン記録指示情報あり（つまり、メイン記録指示情報＝１）であるか否かを判定する（ステップＳ３０３）。なお、シャッターボタンが押されないと（ステップＳ３０１において、ＹＥＳ）、ＣＰＵ１１４はステップＳ３０３の処理に進む。
【００４１】
メイン記録指示情報＝１であると（ステップＳ３０３において、ＹＥＳ）、ＣＰＵ１１４はサブ画像をＤＲＡＭ１０１にバッファするバッファ処理を行う（ステップＳ３０４）。続いて、ＣＰＵ１１４は顔検出部１０８および目瞑り検出部１０９によってメイン画像について、後述する目瞑り判定処理を行う（ステップＳ３０５）。
【００４２】
次に、ＣＰＵ１１４は目瞑り判定処理によって得られた判定結果に応じてメイン画像の主顔に目瞑りがないか否かを判定する（ステップＳ３０６）。メイン画像の主顔に目瞑りがないと（ステップＳ３０６において、ＹＥＳ）、ＣＰＵ１１４は当該メイン画像を記録媒体２００に記録する（ステップＳ３０７）。
【００４３】
なお、メイン画像に顔領域が存在しない場合、例えば、風景を撮影した画像である場合には、ＣＰＵ１１４はこのメイン画像を記録媒体２００に記録する。
【００４４】
続いて、ＣＰＵ１１４はメイン記録指示情報を”０”クリアする（ステップＳ３０８）。そして、ＣＰＵ１１４はＲＡＭ１１７に記録されたサブ記録指示情報に”１”をセットする（ステップＳ３０９）。その後、ＣＰＵ１１４は撮影処理を一旦終了して、次の画像に対して同様の処理を行う。
【００４５】
なお、メイン画像の主顔に目瞑りがあると（ステップＳ３０６において、ＮＯ）、ＣＰＵ１１４は撮影処理を一旦終了して、次の画像に対して同様の処理を行う。
【００４６】
メイン記録指示情報＝１でないと、つまり、メイン記録指示情報＝０であると（ステップＳ３０３において、ＮＯ）、ＣＰＵ１１４はサブ記録指示情報あり（つまり、サブ記録指示情報＝１）であるか否かを判定する（ステップＳ３１０）。
【００４７】
サブ記録指示情報＝１であると（ステップＳ３１３において、ＹＥＳ）、ＣＰＵ１１４は顔検出部１０８および目瞑り検出部１０９によってサブ画像について、後述する目瞑り判定処理を行う（ステップＳ３１１）。
【００４８】
次に、ＣＰＵ１１４は目瞑り判定処理によって得られた判定結果に応じてサブ画像の主顔に目瞑りがないか否かを判定する（ステップＳ３１２）。サブ画像の主顔に目瞑りがないと（ステップＳ３１２において、ＹＥＳ）、ＣＰＵ１１４は当該サブ画像を記録媒体２００に記録する（ステップＳ３１３）。
【００４９】
続いて、ＣＰＵ１１４はサブ記録指示情報を”０”クリアする（ステップＳ３１４）。そして、ＣＰＵ１１４は撮影処理を一旦終了して、次の画像に対して同様の処理を行う。
【００５０】
なお、サブ画像の主顔に目瞑りがあると（ステップＳ３１２において、ＮＯ）、ＣＰＵ１１４は撮影処理を一旦終了して、次の画像に対して同様の処理を行う。
【００５１】
サブ記録指示情報＝１でないと、つまり、サブ記録指示情報＝０であると（ステップＳ３１０において、ＮＯ）、ＣＰＵ１１４は撮影処理を一旦終了して、次の画像に対して同様の処理を行う。
【００５２】
図４は、図３に示す目瞑り判定処理を説明するためのフローチャートである。
【００５３】
目瞑り判定処理を開始すると、ＣＰＵ１１４は顔検出部１０８によって画像（つまり、メイン画像又はサブ画像）において顔検出を行う（ステップＳ３１５）。続いて、ＣＰＵ１１４は顔検出部１０８による顔検出結果に基づいて顔（顔領域）が検出されたか否かを判定する（ステップＳ３１６）。
【００５４】
顔が検出されると（ステップＳ３１６において、ＹＥＳ）、ＣＰＵ１１４は、前述のようにして検出された顔において主顔を決定する主顔判定を行う（ステップＳ３１７）。そして、ＣＰＵ１１４は目瞑り検出部１０９によって主顔が目瞑り状態であるか否かを検出する目瞑り検出を行う（ステップＳ３１８）。その後、ＣＰＵ１１４は目瞑り判定処理を終了する。
【００５５】
なお、顔が検出されないと（ステップＳ３１６において、ＮＯ）、ＣＰＵ１１４は目瞑り判定処理を終了する。
【００５６】
図５は、図１に示すカメラにおいて目瞑り検出モードにおける撮影動作の一例を説明するための図である。
【００５７】
図５に示す例では、ユーザーによるシャッター操作があったタイミングである第１のフレーム（フレーム１）で得られたメイン画像４１００およびサブ画像４２００が示されている。さらに、次の第２のフレーム（フレーム２）で得られたメイン画像４１１０およびサブ画像４２１０が示されている。ここでは、メイン画像４１００および４１１０の各々には２人の人物が存在し、サブ画像４２００および４２１０の各々には１人の人物が存在する。
【００５８】
ここでは、シャッター操作が行われたので、ＣＰＵ１１４はメイン記録指示情報に”１”をセットして、フレーム１におけるメイン画像４１００を対象として、図３で説明したように処理を行う。この際、サブ画像４２００はＤＲＡＭ１０１に格納される。
【００５９】
ＣＰＵ１１４は、顔検出部１０８および目瞑り検出部１０９によってメイン画像４１００について目瞑り判定処理を行う。ここでは、ＣＰＵ１１４の制御下で、顔検出部１０８はメイン画像４１００において顔検出を行って顔領域４１０１および顔領域４１０２を検出する。
【００６０】
次に、複数の顔領域４１０１および４１０２が検出されたので、ＣＰＵ１１４は複数の顔領域４１０１および４１０２について主顔判定を行う。図示の例では、メイン画像４１００において顔領域４１０１が画像中央に存在するので、ＣＰＵ１１４は顔領域４１０１を主顔として判定することになる。
【００６１】
続いて、ＣＰＵ１１４の制御下で、目瞑り検出部１０９は主顔である顔領域４１０１について目瞑り検出を行う。図示のように、顔領域４１０１は目瞑り状態であるので、ＣＰＵ１１４はメイン画像４１００を記録媒体２００に記録しない。
【００６２】
次のフレーム２において、メイン記録指示情報＝１の状態であるので、ＣＰＵ１１４はフレーム２におけるメイン画像４１１０を対象として、図３で説明したように処理を行う。この際、サブ画像４２１０はＤＲＡＭ１０１に格納される。
【００６３】
フレーム１と同様にして、ＣＰＵ１１４は、顔検出部１０８および目瞑り検出部１０９によってメイン画像４１１０について目瞑り判定処理を行う。ここでは、メイン画像４１１０において顔領域４１１１および顔領域４１１２が検出される。そして、メイン画像４１１０の中央に位置する顔領域４１１１が主顔として判定されることになる。
【００６４】
主顔である顔領域４１１１は目瞑り状態でないので、ＣＰＵ１１４はメイン画像４１１０を記録媒体２００に記録する。そして、ＣＰＵ１１４はメイン記録指示情報をクリアして、サブ記録指示情報に”１”をセットする。
【００６５】
続いて、サブ記録指示情報＝１であるので、ＣＰＵ１１４は、既にＤＲＡＭ１０１に格納済みのサブ画像を処理対象として、図３で説明したようにして処理を行う。まず、ＣＰＵ１１４はサブ画像４２００を処理対象として、顔検出部１０８および目瞑り検出部１０９によって目瞑り判定処理を行う。
【００６６】
顔検出部１０８による顔検出結果よって顔領域４２０１のみが検出される。ここでは、顔領域が１つであるので、ＣＰＵ１１４は顔領域４２０１を主顔と決定する。次に、目瞑り検出部１０９による目瞑り検出結果よって顔領域４２０１は目瞑り状態でないので、ＣＰＵ１１４はサブ画像４２００を記録媒体２００に記録する。そして、ＣＰＵ１１４はサブ記録指示情報をクリアする。
【００６７】
このように、本発明の第１の実施形態では、限られたリソース（つまり、顔検出部１０８および目瞑り検出部１０９）を用いてメイン画像およびサブ画像の双方について目瞑り検出を行って、目瞑り状態でないメイン画像およびサブ画像を記録する。これによって、目瞑り状態でなく、しかもシャッター操作タイミングからのズレが少ないユーザー所望の画像を記録することができる。
【００６８】
［第２の実施形態］
続いて、本発明の第２の実施形態に係るカメラについて説明する。なお、第２の実施形態に係るカメラの構成は図１に示すカメラと同様である。
【００６９】
第２の実施形態においては、シャッター操作が行われる前において事前にメイン画像について顔検出処理を行う。そして、シャッター操作が行われると、直前の顔検出結果に応じてメイン画像において顔領域が検出されていない場合に、サブ画像について目瞑り判定処理を行う。
【００７０】
つまり、予めメイン画像に人物が存在しないことが分かっていれば、メイン画像は風景などを撮影した画像であり、改めて顔検出および目瞑り検出をする必要がない。よって、ＣＰＵ１１４はメイン画像についてはシャッター操作のタイミングで得られた画像を記録媒体２００に記録し、サブ画像についてのみ第１の実施形態と同様にして目瞑り判定処理を行う。
【００７１】
第２の実施形態においては、ＲＡＭ１１７に新たにメイン人物撮影情報および顔未検出フレーム数が記録される。そして、ＣＰＵ１１４はメイン人物撮影情報および顔未検出フレーム数に基づいて撮影制御を行う。
【００７２】
なお、メイン人物撮影情報は第１レンズの１０３を用いた撮影が人物を被写体としているか否かを示す情報である。ＣＰＵ１１４は、フレーム毎に行われる顔検出部１０８による顔検出結果からメイン画像において１つでも顔領域が検出されれば、メイン人物撮影情報に”１”をセットする。
【００７３】
また、メイン画像において顔領域が検出されない場合には、ＣＰＵ１１４は、連続して顔領域が検出されないフレーム（顔未検出フレーム）をカウントする。そして、カウント数が所定のフレーム数以上となると、ＣＰＵ１１４はメイン人物撮影情報を”０”にクリアする。なお、ＣＰＵ１１４はメイン画像において顔領域が検出されると、顔未検出フレーム数を”０”にクリアする。
【００７４】
図６Ａおよび図６Ｂは、本発明の第２の実施形態に係るカメラにおいて目瞑り検出モードにおける撮影動作を説明するためのフローチャートである。
【００７５】
なお、図６Ａおよび図６Ｂにおいて、ステップＳ５０１およびＳ５０６〜Ｓ５１７の処理は、それぞれ図３に示すステップＳ３０１およびＳ３０３〜Ｓ３１８の処理と同様であるので、ここでは説明を省略する。
【００７６】
ステップＳ５０１においてシャッター操作があると、ＣＰＵ１１４はメイン人物撮影情報あり（メイン人物撮影情報＝１）であるか否かを判定する（ステップＳ５０２）。メイン人物撮影情報＝１であると（ステップＳ５０２において、ＹＥＳ）、ＣＰＵ１１４はメイン記録指示情報に”１”をセットする（ステップＳ５０３）。
【００７７】
一方、メイン人物撮影情報なし（メイン人物撮影情報＝０）であると（ステップＳ５０２において、ＮＯ）、ＣＰＵ１１４は、例えば、風景を撮影中であるとして目瞑り判定処理を行うことなく、メイン画像を記録媒体２００に記録する（ステップＳ５０４）。その後、ＣＰＵ１１４はサブ記録指示情報に”１”をセットする（ステップＳ５０５）。そして、ステップＳ５０３又はＳ５０４の処理の後、ＣＰＵ１１４はステップＳ５０６の処理に進む。
【００７８】
ステップＳ５１３においてサブ記録指示情報＝０であると、つまり、メイン記録指示情報＝０でサブ記録指示情報＝０であって、記録動作が不要な場合には、ＣＰＵ１１４はメイン画像に対して顔検出部１０８による顔検出処理を行う。そして、ＣＰＵ１１４は顔検出部１０８で得られた顔検出結果に応じて顔領域が存在するか否かを判定する（ステップＳ５２３）。
【００７９】
メイン画像に顔領域が存在すると（ステップＳ５２３において、ＹＥＳ）、ＣＰＵ１１４はメイン人物撮影情報に”１”をセットする。その後、ＣＰＵ１１４は顔未検出フレーム数を”０”にクリアする（ステップＳ５２５）。そして、ＣＰＵ１１４は撮影動作を終了する。
【００８０】
一方、メイン画像において顔領域が存在しないと（ステップＳ５２３において、ＮＯ）、ＣＰＵ１１４は顔未検出フレーム数をカウントアップする（ステップＳ５２６）。そして、ＣＰＵ１１４は顔未検出フレーム数が所定の数（一定数）以上であるか否かを判定する（ステップＳ５２７）。
【００８１】
顔未検出フレーム数が一定数以上であると（ステップＳ５２７において、ＹＥＳ）、ＣＰＵ１１４は、例えば、撮影者が風景を撮影しているものとみなして、メイン人物撮影情報を０にクリアする（ステップＳ５２８）。そして、ＣＰＵ１１４は撮影動作を終了する。一方、顔未検出フレーム数が一定数未満であると（ステップＳ５２７において、ＮＯ）、ＣＰＵ１１４は撮影動作を終了する。
【００８２】
このように、本発明の第２の実施形態では、限られたリソースによってメイン画像およびサブ画像の双方に対して目瞑り検出を行う。そして、直前の顔検出結果に応じて一方の画像には人物が存在しないと分かっている場合には、他方の画像について目瞑り検出を行う。これによって、効率的にメイン画像およびサブ画像ともに目瞑りがなく、しかも、シャッタータイミングからのズレが少ない画像を記録することができる。
【００８３】
上述の説明から明らかなように、図１に示す例では、少なくとも第１のレンズ１０３、第１の撮像素子１０４、およびカメラ信号処理部１０７が第１の撮像手段を構成し、少なくとも第２のレンズ１０５、第２の撮像素子１０６、およびカメラ信号処理部１０７が第２の撮像手段を構成する。
【００８４】
なお、上記の実施の形態では人物が目瞑りをしていないと判定した場合に画像を記録する例を挙げて説明を行ったが、これに限られるものではない。人物が、例えば、笑顔を含む所定の表情であるか否かを判定して、所定の表情であると判定した場合に画像を記録するようにしてもよい。あるいは、人物の顔が、例えば、正面向きを含む所定の向きであるか否かを判定して、所定の向きであると判定した場合に画像を記録するようにしてもよい。又は、人物が所定のポーズを取れているか否かを判定して、所定のポーズを取れていると判定した場合に画像を記録するようにしてもよい。つまり、シャッターボタンが操作された後に撮影された画像に対して、被写体が予め定められた所定の状態であるか否かを判定する処理を行い、所定の状態である場合にその画像を記録する構成であれば、本発明を適用することが可能である。
【００８５】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００８６】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００８７】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８８】
１０３  第１のレンズユニット
１０４  第１の撮像素子
１０５  第２のレンズユニット
１０６  第２の撮像素子
１０７  カメラ信号処理部
１０８  顔検出部
１０９  目瞑り検出部
１１０  パネル
１１４  ＣＰＵ
１１５  操作キー
【図１】
2016149683.tif 000003
【図２】
2016149683.tif 000004
【図３】
2016149683.tif 000005
【図４】
2016149683.tif 000006
【図５】
2016149683.tif 000007
【図６Ａ】
2016149683.tif 000008
【図６Ｂ】
2016149683.tif 000009