(57)【要約】【課題】複数の撮影画像に被写体検出処理を施す際に、同一の撮影画像内に互いに類似する２以上の被写体が存在していた場合にも検出結果を安定させること。【解決手段】本発明の画像処理装置の一例は、複数の撮影画像に対して撮影時期の順に被写体検出処理を施す検出部と、前記複数の撮影画像のうち、第１の撮影画像から検出された被写体領域の位置及びサイズの少なくとも一方に応じて、前記第１の撮影画像より後に処理される第２の撮影画像における前記被写体検出処理の対象範囲を制限する制限部とを備える。【選択図】    図１
2015012487.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影画像に対して撮影時期の順に被写体検出処理を施す検出部と、
前記複数の撮影画像のうち、第１の撮影画像から検出された被写体領域の位置及びサイズの少なくとも一方に応じて、第１の撮影画像より後に処理される第２の撮影画像における前記被写体検出処理の対象範囲を制限する制限部と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記制限部は、
前記第２の撮影画像の撮影条件が前記第１の撮影画像の撮影条件から変化していた場合には、撮影条件の変化量に応じて前記対象範囲を調整する
ことを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置において、
前記検出部は、
同一の撮影画像から検出された被写体領域の数が２以上であった場合には、２以上の前記被写体領域のうち１つを被写体領域に選定し、選択された被写体領域以外を非被写体領域とする
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記検出部は、
予め決められた判断基準又はユーザの指示に従って前記選定を行う
ことを特徴とする画像処理装置。
【請求項５】
請求項１〜請求項４の何れか一項に記載の画像処理装置において、
前記制限部は、
前記第１の撮影画像から検出された被写体領域の数がゼロであった場合には、前記第２の撮影画像における前記対象範囲を前記撮影画像の全域に設定する
ことを特徴とする画像処理装置。
【請求項６】
請求項１〜請求項５の何れか一項に記載の画像処理装置において、
前記被写体検出処理は、顔検出処理である
ことを特徴とする画像処理装置。
【請求項７】
請求項１〜請求項６の何れか一項に記載の画像処理装置において、
前記複数の撮影画像から検出された被写体領域にマークを付与するマーク表示部を更に備えた
ことを特徴とする画像処理装置。
【請求項８】
請求項１〜請求項７の何れか一項に記載の画像処理装置において、
前記複数の撮影画像から検出された被写体領域の情報に基づき、前記複数の撮影画像に施すべき画像処理のパラメータを決定する決定部を更に備えた
ことを特徴とする画像処理装置。
【請求項９】
被写界の画像を繰り返し撮影する撮像部と、
前記撮像部が取得した複数の撮影画像を処理する請求項１〜請求項８の何れか一項に記載の画像処理装置と、
を備えたことを特徴とする撮像装置。
【請求項１０】
請求項９に記載の撮像装置において、
前記検出部及び前記制限部は、
前記撮像部が撮影画像を取得する度に動作し、
前記撮像部は、
前記複数の撮影画像のうち、第１の撮影画像から検出された被写体領域の情報に応じて、前記第１の撮影画像より後に処理される第２の撮影画像の撮影条件を設定する
をことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像に対して被写体検出処理を施す画像処理装置及びそれを備えた撮像装置に関する。
【背景技術】
【０００２】
撮影画像に対する被写体検出処理（オブジェクト検出処理）が知られている（特許文献１等を参照。）。特許文献１には、検出結果を安定させるために、同一の撮影画像から被写体領域の候補が複数検出された場合には、それら候補の色情報などに基づき候補の絞り込みを行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４３８２４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、同一の撮影画像内に互いに類似する２以上の被写体が存在していた場合には、検出結果が安定しない。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置の一例は、複数の撮影画像に対して撮影時期の順に被写体検出処理を施す検出部と、前記複数の撮影画像のうち、第１の撮影画像から検出された被写体領域の位置及びサイズの少なくとも一方に応じて、前記第１の撮影画像より後に処理される第２の撮影画像における前記被写体検出処理の対象範囲を制限する制限部とを備える。
【０００６】
本発明の撮像装置の一例は、被写界の画像を繰り返し撮影する撮像部と、前記撮像部が取得した複数の撮影画像を処理する本発明の画像処理装置の一例とを備える。
【発明の効果】
【０００７】
本発明によれば、前記第２の撮影画像内に互いに類似する２以上の被写体が存在していたとしても、前記第２の撮影画像の被写体検出結果を、前記第１の撮影画像の被写体検出結果に近づけることができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態における電子カメラの構成図である。
【図２】顔検出処理の動作フローチャートである。
【図３】顔検出処理の対象となる画像の例である。
【図４】検出された顔領域の例である。
【図５】設定された探索範囲の例である。
【図６】焦点距離の変更時における探索範囲の調整方法の例である。
【図７】或る画像群における顔領域及び探索範囲の変化を示す例である。
【発明を実施するための形態】
【０００９】
［実施形態］
以下、本発明の一実施形態として電子カメラを説明する。なお、本発明は、電子カメラの他、電子フォトフレーム、スマートフォン、プリンタ、コンピュータなど、時間的に連続する画像群（動画像、タイムラプス画像、２枚以上の静止画像など）を扱う各種の機器へ適用することが可能である。
【００１０】
図１は、電子カメラの構成例を示す図である。図１に示すとおり電子カメラ１１には、撮影光学系１２、撮像部１３、画像処理エンジン１４、第１メモリ１５、第２メモリ１６、記録インタフェース（Ｉ／Ｆ）１７、表示部１８、操作部１９などが備えられる。このうち撮像部１３、第１メモリ１５、第２メモリ１６、記録インタフェース１７、表示部１８、操作部１９の各々は、画像処理エンジン１４に接続されている。
【００１１】
撮影光学系１２は、被写界からの光束を結像する結像光学系であって、例えば、フォーカス調整及びズーム調整が可能な結像光学系である。フォーカス調整とは、撮影光学系１２の撮影距離（合焦している被写体の被写体距離）を調整することであり、ズーム調整とは、撮影光学系１２の焦点距離（電子カメラ１１の画角又は撮影倍率）を調整することである。なお、図１では撮影光学系１２を１枚のレンズで表したが、実際には複数のレンズで構成されることが多い。
【００１２】
撮像部１３は、撮影光学系１２が形成した被写界の像を画像処理エンジン１４の制御下で撮像するモジュールである。例えば、撮像部１３には、光電変換画素を多数配列したカラー撮像素子と、その撮像素子が生成する画像信号に対してアナログ信号処理やＡ／Ｄ変換処理などを施す信号処理回路とが備えられる。
【００１３】
なお、電子カメラ１１が撮像モードに設定されているとき、撮像部１３は、被写界監視用の粗い画像（以下、「スルー画像」と称す。）を繰り返し取得すると共に、ユーザから撮影指示が入力されたタイミングで、保存用の詳細な静止画像（以下、「保存用静止画像」と称す。）、又は、保存用の詳細な動画像（以下、「保存用動画像」と称す。）を取得する。撮像部１３が取得したこれらの画像（スルー画像、保存用静止画像、保存用動画像）は、画像処理エンジン１４に入力される。
【００１４】
画像処理エンジン１４は、電子カメラ１１の各部を統括的に制御すると共に、撮像部１３から取り込まれた画像（スルー画像、保存用静止画像、保存用動画像）、又は、カメラ外部から取り込まれた画像（保存用静止画像、保存用動画像）に対して各種の画像処理を施すプロセッサである。
【００１５】
例えば、電子カメラ１１が撮影モードに設定されているとき、画像処理エンジン１４は、撮像部１３から繰り返し取り込まれるスルー画像を監視して撮影光学系１２のフォーカス調整（ＡＦ制御）を行ったり、撮像部１３から繰り返し取り込まれるスルー画像を監視して撮像部１３の露出調整（ＡＥ制御）を行ったりする。
【００１６】
また、画像処理エンジン１４が実行可能な画像処理には、例えば、色補間処理（所謂デベイヤ処理）、ホワイトバランス補正処理、階調変換処理、色変換処理、被写体検出処理（顔検出処理など）などがある。なお、画像処理エンジン１４は、被写体検出処理（顔検出処理など）を実行する際に、必要に応じて後述する検出部、制限部、マーク表示部、決定部として機能する。
【００１７】
第１メモリ１５は、撮像部１３から取り込まれた画像（スルー画像、保存用静止画像、保存用動画像）や、カメラ外部から取り込まれた画像（保存用静止画像、保存用動画像）を必要に応じて格納するメモリである。この第１メモリ１５は、例えば揮発性の記憶媒体であるＳＤＲＡＭで構成される。
【００１８】
第２メモリ１６は、画像処理エンジン１４の動作プログラムや、画像処理エンジン１４の動作中に必要となった各種のデータを記憶するメモリである。この第２メモリ１６は、例えば不揮発性の記憶媒体であるフラッシュメモリで構成される。
【００１９】
記録インタフェース１７は、画像処理エンジン１４の制御下で、電子カメラ１１に装着された記憶媒体２０にアクセスし、その記憶媒体２０に対して画像（保存用静止画像、保存用動画像）の書き込みを行ったり、その記憶媒体２０から画像（保存用静止画像、保存用動画像）の読み込みを行ったりする。
【００２０】
なお、記憶媒体２０は、可搬かつ不揮発性の記憶媒体であり、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードで構成される。但し、図１では記憶媒体２０の一例としてメモリカードを描いた。
【００２１】
表示部１８は、例えば、電子カメラ１１の背面に設けられた液晶モニタである。この表示部１８は、画像処理エンジン１４の制御下で、スルー画像のリアルタイム表示（ライブビュー表示）や、保存用静止画像又は保存用動画像の再生表示、撮影後確認表示（アフタービュー表示）などを行う。
【００２２】
操作部１９は、ユーザからの各種の指示（撮影指示、モード切換指示など）を受け付けるスイッチであって、例えば、電源スイッチ、レリーズスイッチ、マルチセレクタ、再生釦、メニュー釦などで構成される。因みに、表示部１８の表面にタッチパネルセンサが設けられている場合は、そのタッチパネルセンサも操作部１９の一種である。
【００２３】
図２は、画像処理エンジン１４による顔検出処理の動作フローチャートである。
【００２４】
ここでは、顔検出処理の対象を、記憶媒体２０に保存された保存用静止画像群（例えば、連写された保存用静止画像群）と仮定するが、本実施形態の顔検出処理の対象は、ライブビュー表示中のスルー画像や、記憶媒体２０に保存された保存用動画像など、時間的に連続して撮影された任意の画像群とすることができる。
【００２５】
また、ここでは、被写体検出処理の一種として顔検出処理を説明するが、他の種類の被写体（犬、猫、自動車、その他の被写体）を検出する他の被写体検出処理にも応用可能である。
【００２６】
以下、図２の各ステップを順に説明する。
【００２７】
ステップＳ１１：画像処理エンジン１４は、フレーム内における顔検出処理の対象範囲（以下、「探索範囲」と称す。）をデフォルトに設定する。ここでは、デフォルトの探索範囲をフレーム全域と仮定する。
【００２８】
ステップＳ１２：画像処理エンジン１４は、顔検出処理の対象となる画像群（保存用静止画像群）から新規フレームを読み込む。以下、ここで読み込まれたフレームを「現フレーム」と称す。初回のステップＳ１２では、画像群（保存用静止画像群）の１番目のフレームが読み込まれ、ｎ回目のステップＳ１２では、画像群（保存用静止画像群）のｎ番目のフレームが読み込まれる。なお、ここでは、フレーム番号ｎの値が小さい画像ほど、撮影時期が古いと仮定する。
【００２９】
ステップＳ１３：画像処理エンジン１４は、直前のステップＳ１２で読み込んだ現フレームの探索範囲に対して顔検出処理を施す（これが、画像処理エンジン１４の検出部としての機能である。）。初回のステップＳ１３では探索範囲がフレーム全域に設定されているので、例えば、１番目のフレームに図３に示すとおり母と娘が写っていた場合、図４に点線枠で示す探索範囲から、図４に太線枠で示すとおり娘の顔領域Ａと母の顔領域Ｂとの双方が検出される。
【００３０】
なお、本ステップＳ１３における顔検出処理としては、公知の何れかの顔検出処理が適用される。顔検出処理は、例えば以下の手順（ａ）〜（ｃ）からなる。
【００３１】
（ａ）画像処理エンジン１４は、フレームの探索範囲に対して任意の被写体を抽出するための被写体抽出処理を施す。
【００３２】
（ｂ）画像処理エンジン１４は、手順（ａ）で抽出された１又は複数の被写体領域の各々の顔らしさ度を算出する。
【００３３】
（ｃ）画像処理エンジン１４は、１又は複数の被写体領域のうち、顔らしさ度が閾値以上であった１又は複数の被写体領域を顔領域とみなす。
【００３４】
ステップＳ１４：画像処理エンジン１４は、直前のステップＳ１３における顔検出の結果情報を保持する。例えば、直前のステップＳ１３において娘の顔領域Ａと母の顔領域Ｂとが検出された場合、顔領域Ａの中心座標（ＸＡ，ＹＡ）と、顔領域ＡのＸ方向のサイズＳＡＸと、顔領域ＡのＹ方向のサイズＳＡＹと、顔領域Ｂの中心座標（ＸＢ，ＹＢ）と、顔領域ＢのＸ方向のサイズＳＢＸと、母の顔領域ＢのＹ方向のサイズＳＢＹとが結果情報として保持される。なお、Ｘ方向は、フレームの水平方向のことであり、Ｙ方向は、フレームの垂直方向のことである。
【００３５】
ステップＳ１５：画像処理エンジン１４は、直前のステップ１３で検出された顔領域の個数が２以上であるか否かを判別し、２以上である場合はステップＳ１６へ移行し、１以下である場合はステップＳ１７へ移行する。
【００３６】
ステップＳ１６：画像処理エンジン１４は、２以上の顔領域の各々の評価値を算出し、評価値の最も高かった顔領域を１つ選定し、選定された顔領域以外の全ての顔領域を非顔領域とする（つまり、選定された顔領域以外は、非顔領域として顔領域から除外される。）。
【００３７】
ここで、顔領域の評価値は、例えば、サイズの大きい顔領域ほど高く、フレーム中心に近い顔領域ほど高く、顔らしさ度が高い顔領域ほど高くなるような評価値である。仮に、図４における母の顔領域Ｂの評価値よりも娘の顔領域Ａの評価値の方が高かった場合、本ステップＳ１６において母の顔領域Ｂは非顔領域となる。以下、本ステップＳ１６において母の顔領域Ｂが非顔領域になったと仮定する。
【００３８】
ステップＳ１７：画像処理エンジン１４は、現フレームが画像群（保存用静止画像群）の最終フレームであるか否かを判別し、最終フレームである場合はフローを終了し、最終フレームでない場合はステップＳ１８に移行する。
【００３９】
ステップＳ１８：画像処理エンジン１４は、現フレームにおける顔領域の個数がゼロであるか否かを判別し、顔領域の個数がゼロである場合は、探索範囲をフレーム全域にするべくステップＳ１１に戻り、顔領域の個数がゼロでない場合は、探索範囲を制限するべくステップＳ１９の処理を実行してからステップＳ１２に戻る。
【００４０】
ステップＳ１９：画像処理エンジン１４は、現フレームにおける１つの顔領域（ここでは娘の顔領域Ａ）に応じて次フレームの探索範囲を制限する（これが、画像処理エンジン１４の制限部としての機能である。）。
【００４１】
例えば、画像処理エンジン１４は、次フレームにおける探索範囲の中心座標（Ｘ’，Ｙ’）を現フレームにおける顔領域（娘の顔領域Ａ）の中心座標（ＸＡ，ＹＡ）と同じに設定し、次フレームにおける探索範囲のＸ方向のサイズＳＸ’を、現フレームにおける顔領域（娘の顔領域Ａ）のＸ方向のサイズＳＡＸのα倍に設定し、次フレームにおける探索範囲のＹ方向のサイズＳＹ’を、現フレームにおける顔領域（娘の顔領域Ａ）のＹ方向のサイズＳＡＹのα倍に設定する（但し、αは１より大きい定数）。
【００４２】
なお、この係数αの値は、予め決められたパラメータ、又はユーザ設定が可能なパラメータとして画像処理エンジン１４が保持しているものとする。
【００４３】
その結果、次フレームにおける探索範囲は、例えば図５に点線枠で示すとおり、現フレームにおける顔領域（娘の顔領域Ａ）の近傍相当の範囲のみ、すなわち、顔領域（娘の顔領域Ａ）及びその周辺に相当する範囲のみに制限される。
【００４４】
よって、現フレームと次フレームとの間で大幅な構図変化が無い限り、次フレームからは、現フレームと同じ被写体の顔領域が検出される可能性が高くなる。つまり、現フレームの顔検出結果と次フレームの顔検出結果とが近づく可能性が高くなる（以上、ステップＳ１９）。
【００４５】
したがって、本実施形態の顔検出処理によれば、画像群（保存用静止画像群）の顔検出結果を安定させることができる。
【００４６】
ところで、仮に、画像群（保存用静止画像群）の撮影途中でズーム調整が行われていた場合には、本実施形態のステップＳ１９で設定される探索範囲が必ずしも適切ではなくなる。
【００４７】
そこで、本実施形態のステップＳ１９における画像処理エンジン１４は、ズーム調整に対処するべく、以下の手順（ａ）〜（ｃ）を実行することが望ましい。
【００４８】
（ａ）画像処理エンジン１４は、現フレームの画像ファイルに書き込まれた撮影条件（少なくとも撮影レンズの焦点距離）と、次フレームの画像ファイルに書き込まれた撮影条件（少なくとも撮影レンズの焦点距離）とを参照し、現フレームの画角を基準とした次フレームの画角の拡大倍率βを算出する。
【００４９】
（ｂ）画像処理エンジン１４は、現フレームの顔領域（娘の顔領域Ａ）の中心座標（ＸＡ，ＹＡ）のフレーム中心からのずれベクトルΔＶＡを算出する。
【００５０】
（ｃ）画像処理エンジン１４は、次フレームにおける探索範囲の中心座標（Ｘ’，Ｙ’）を、次フレームのフレーム中心からベクトルβ×ΔＶＡだけずれた位置に設定すると共に、その探索範囲のＸ方向のサイズＳＸ’を、現フレームにおける顔領域（娘の顔領域Ａ）のＸ方向のサイズＳＡＸのα×β倍に設定し、その探索範囲のＹ方向のサイズＳＹ’を、現フレームにおける顔領域（娘の顔領域Ａ）のＹ方向のサイズＳＡＹのα×β倍に設定する（以上、手順（ｃ））。
【００５１】
したがって、例えば、図６に示すとおり現フレームと次フレームとの間で撮影光学系の焦点距離が２４ｍｍから２８ｍｍへと変化していた場合（つまり画角の拡大倍率βが１．１６であった場合）、次フレームにおける探索範囲のサイズは、画角の拡大倍率βが１であったときのサイズの１．１６倍に調整される。
【００５２】
また、反対に、現フレームと次フレームとの間で撮影レンズの焦点距離が２８ｍｍから２４ｍｍへと変化していた場合（つまり画角の拡大倍率βが０．８３であった場合）、次フレームにおける探索範囲のサイズは、画角の拡大倍率βが１であったときのサイズの０．８３倍に調整される。
【００５３】
したがって、以上の手順（ａ）〜（ｃ）によると、画像群（保存用静止画像群）の撮影途中でズーム調整が行われていたとしても、顔検出処理結果を安定させることができる。
【００５４】
図７は、本実施形態の顔検出処理の対象となった或る画像群（保存用静止画像群）をフレーム順に示す図である。この画像群（保存用静止画像群）は、母と娘を連続撮影したものであり、その連続撮影中にカメラが母の側へと徐々にシフトし、第１〜第７フレームでは母と娘の双方が写っているものの、第８フレームで娘の顔が少しフレームアウトし始め、第９フレームでは娘の顔の多くがフレームアウトしている。
【００５５】
以下、これらの第１〜第９フレームの各々に設定された探索範囲と、第１〜第９フレームの各々から検出された顔領域とを説明する。図７における点線枠が探索範囲であり、図７における太線枠が顔領域である。
【００５６】
第１フレーム：第１フレームにおける探索範囲はデフォルト（フレーム全域）に設定され、その探索範囲からは、娘の顔領域Ａと母の顔領域Ｂとの双方が検出された（その後、母の顔領域Ｂは、非顔領域とみなされた。）。
【００５７】
第２フレーム：第２フレームにおける探索範囲は、第１フレームにおける顔領域（娘の顔領域Ａ）の近傍に相当する範囲のみに制限された。第２フレームの探索範囲からは、娘の顔領域Ａのみが検出された（母の顔領域Ｂは探索範囲から外れていたので検出されなかった。）。
【００５８】
第３フレーム：第３フレームにおける探索範囲は、第２フレームにおける顔領域（娘の顔領域Ａ）の近傍に相当する範囲のみに制限された。第３フレームの探索範囲からは、娘の顔領域Ａのみが検出された（母の顔領域Ｂは探索範囲から外れていたので検出されなかった。）。
【００５９】
第４フレーム：第４フレームにおける探索範囲は、第３フレームにおける顔領域（娘の顔領域Ａ）の近傍に相当する範囲のみに制限された。第４フレームの探索範囲からは、娘の顔領域Ａのみが検出された（母の顔領域Ｂは探索範囲から外れていたので検出されなかった。）。
【００６０】
第５フレーム：第５フレームにおける探索範囲は、第４フレームにおける顔領域（娘の顔領域Ａ）の近傍に相当する範囲のみに制限された。第５フレームの探索範囲からは、娘の顔領域Ａのみが検出された（母の顔領域Ｂは探索範囲から外れていたので検出されなかった。）。
【００６１】
第６フレーム：第６フレームにおける探索範囲は、第５フレームにおける顔領域（娘の顔領域Ａ）の近傍に相当する範囲のみに制限された。第６フレームの探索範囲からは、娘の顔領域Ａのみが検出された（母の顔領域Ｂは探索範囲から外れていたので検出されなかった。）。
【００６２】
第７フレーム：第７フレームにおける探索範囲は、第６フレームにおける顔領域（娘の顔領域Ａ）の近傍に相当する範囲のみに制限された。第７フレームの探索範囲からは、娘の顔領域Ａのみが検出された（母の顔領域Ｂは探索範囲から外れていたので検出されなかった。）。
【００６３】
第８フレーム：第８フレームにおける探索範囲は、第７フレームにおける顔領域（娘の顔領域Ａ）の近傍に相当する範囲のみに制限された。第８フレームの探索範囲からは、顔領域が１つも検出されなかった（娘の顔領域Ａの一部はフレームアウトしており、母の顔領域Ｂは探索範囲から外れていたので検出されなかった。）。
【００６４】
第９フレーム：第９フレームにおける探索範囲は、デフォルト（フレーム全域）に設定された。第９フレームの探索範囲からは、母の顔領域Ｂのみが検出された（娘の顔領域Ａの多くはフレームアウトしていたので、検出されなかった。）。
【００６５】
したがって、図７の例では、被写体検出結果が娘の顔領域Ａと母の顔領域Ｂとの間で頻繁に切り換わるという事態（被写体検出結果の不安定性）は発生せず、第７フレーム〜第９フレームにかけて被写体検出結果が娘の顔領域Ａから母の顔領域Ｂへと移行しただけである。
【００６６】
つまり、本実施形態の顔検出処理によると、第１〜第９フレームの間で被写体検出結果が安定することがわかる。
【００６７】
［実施形態の補足］
なお、本実施形態では、画像群の各フレームに対する顔検出処理の順序を、フレーム番号の小さい順、すなわち撮影時期の古い順としたが、フレーム番号の大きい順、すなわち撮影時期の新しい順としてもよい。
【００６８】
また、本実施形態では、各フレームから１つずつ検出された顔領域の利用方法は特に問わないが、例えば、画像処理エンジン１４は、各フレームの顔領域に対して所定のマーク（例えば、顔領域の輪郭に外接する矩形枠イメージ）を付与してもよい（これが、画像処理エンジン１４のマーク表示部としての機能である。）。また、顔領域の位置を示すマークとしては、矩形枠イメージ以外のマーク、例えば、顔領域の輪郭線を表す閉曲線イメージなどを使用してもよい。
【００６９】
また、撮影中の画像群に対してリアルタイムで顔検出処理を行う場合、画像処理エンジン１４は、画像群の撮影開始と共に図２のフローを開始し、撮像部１３が画像を１枚撮影する度に、ステップＳ１２〜Ｓ１９の一連の処理を実行すればよい。このようにして画像の撮影タイミングと顔検出タイミングとを同期させれば、例えば、ライブビュー表示中のスルー画像上に前述したマークをリアルタイム表示することも可能である。
【００７０】
また、撮影中の画像群に対してリアルタイムで顔検出処理を行う場合、画像処理エンジン１４は、撮影された画像の顔領域をＡＦエリアとして、後に撮影される画像の撮影時における撮影光学系１２のＡＦ制御を行ってもよい。例えば、ライブビュー表示中に撮影光学系１２のＡＦ制御を行ってもよい。
【００７１】
また、撮影中の画像群に対して撮影中にリアルタイムで顔検出処理を行う場合、画像処理エンジン１４は、撮影された画像の顔領域を測光エリアとして、後に撮影される画像の撮影時における撮像部１３のＡＥ制御を行ってもよい。例えば、ライブビュー表示中に撮像部１３のＡＥ制御を行ってもよい。
【００７２】
また、画像処理エンジン１４は、顔検出処理の対象となる画像群に施すべきホワイトバランス補正処理のホワイトバランスゲインを、個々の画像から検出された顔領域の色に基づき決定してもよい。
【００７３】
また、画像処理エンジン１４は、顔検出処理の対象となる画像群に施すべき階調変換処理の変換特性を、個々の画像から検出された顔領域の輝度に基づき決定してもよい。
【００７４】
つまり、画像処理エンジン１４は、画像群に属する個々の画像から検出された顔領域の情報に基づき、顔検出処理の対象となる画像群に施すべき画像処理のパラメータを決定してもよい（これが、画像処理エンジン１４の決定部としての機能である。）。
【００７５】
また、本実施形態のステップＳ１６では、現フレームにおける２以上の顔領域から１つの顔領域を選択する処理を、画像処理エンジン１４が自動的に行ったが、ユーザが手動で行ってもよい。その場合、画像処理エンジン１４は、表示部１８上に現フレームを表示すると共に、現フレームにおける２以上の顔領域の各々にマーク（矩形枠イメージ、閉曲線イメージなど）を付与し、マークを付与した顔領域の中から所望する顔領域を１つユーザに選択させればよい。
【００７６】
また、ユーザによる顔領域の選択は、表示部１８上のタップ操作であってもよいし、マルチセレクタ（矢印釦）によるカーソル移動と、マルチセレクタ（ＯＫ釦）による確定操作との組み合わせであってもよい。
【００７７】
また、複数の顔領域の間でカーソルの表示先を移動させる場合、画像処理エンジン１４は、複数の顔領域に対して予め優先順位を付けておき、優先順位に従ってカーソルの表示先を切り換えることが望ましい。このようにすれば、優先順位の高い顔領域ほど早期にカーソルが表示されるので、カーソル移動に関するユーザの操作回数を抑えることができる。
【００７８】
また、複数の顔領域に優先順位を付与するためには、ステップＳ１６と同様、画像処理エンジン１４が複数の顔領域の各々を所定の評価値で比較すればよい。また、複数の顔領域に優先順位を付与するための評価値としては、例えば、ステップＳ１６における評価値と同様の評価値を使用することができる。
【００７９】
また、本実施形態のステップＳ１９における画像処理エンジン１４は、現フレームと次フレームとの間で焦点距離が変化していた場合は、焦点距離の変化量（画角の拡大率β）に応じて次フレームにおける探索範囲のサイズ及び中心位置を調整したが（ステップＳ１９の手順（ａ）〜（ｃ）を参照。）、現フレームと次フレームとの間で被写体距離が変化していた場合には、被写体距離の変化量（被写体距離の伸張率γ）に応じて次フレームにおける探索範囲のサイズを調整してもよい。
【００８０】
例えば、画像処理エンジン１４は、被写体距離の伸張率γが大きいときほど、探索範囲のサイズ（Ｘ方向のサイズ及びＹ方向のサイズ）を小さめにする。なぜなら、同種類の被写体であれば、被写体距離が長いときほどフレーム内の被写体サイズが小さくなる傾向にあるからである。
【００８１】
つまり、本実施形態のステップＳ１９における画像処理エンジン１４は、現フレームと次フレームとの間で撮影条件が変化していた場合には、撮影条件の変化量に応じて探索範囲のサイズや中心位置を適切に調整することが望ましい。
【００８２】
また、本実施形態の顔検出処理では、画像処理エンジン１４によるステップＳ１３の実行頻度を「１フレーム毎」としたが「Ｎフレーム毎」としてもよいことは言うまでもない（但し、Ｎ≧２）。
【００８３】
また、本実施形態の電子カメラ１１は、レンズ交換式のカメラ、レンズ一体式のカメラ（所謂コンパクトカメラ）の何れであってもよい。
【００８４】
また、本実施形態の電子カメラ１１は、被写体検出処理（顔検出処理）の全てをプログラムによってソフトウエア的に実現したが、それら処理の一部又は全部を例えばＡＳＩＣによりハードウエア的に実現してもよい。
【００８５】
［実施形態の作用効果］
以上、本実施形態の画像処理装置（画像処理エンジン１４、第１メモリ１５、第２メモリ１６）は、複数の撮影画像（動画像、スルー画像群、保存用静止画像群など）に対して撮影時期の順（撮影時期の古い順又は新しい順）に被写体検出処理（例えば、顔検出処理）を施す検出部（ステップＳ１３における画像処理エンジン１４）と、前記複数の撮影画像のうち、第１の撮影画像（現フレーム）から検出された被写体領域（顔領域）の位置及びサイズの少なくとも一方に応じて、第１の撮影画像より後に処理される第２の撮影画像（次フレーム）における前記被写体検出処理の対象範囲（探索範囲）を制限する制限部（ステップＳ１９における画像処理エンジン１４）とを備える。
【００８６】
したがって、例えば、前記第２の撮影画像（次フレーム）における前記対象範囲を、前記第１の撮影画像（現フレーム）から検出された被写体領域の近傍相当に制限すれば、前記第２の撮影画像（次フレーム）内に類似する２以上の被写体が存在していたとしても、前記第２の撮影画像（次フレーム）からは、前記第２の撮影画像（前フレーム）と同じ被写体の被写体領域が検出される可能性が高まる。その結果、前記複数の撮影画像の被写体検出結果が安定する。
【００８７】
また、前記制限部（ステップＳ１９における画像処理エンジン１４）は、前記第２の撮影画像（次フレーム）の撮影条件（焦点距離、被写体距離）が前記第１の撮影画像（前フレーム）の撮影条件（焦点距離、被写体距離）から変化していた場合には、撮影条件の変化量に応じて前記対象範囲（探索範囲）を調整する。
【００８８】
したがって、前記複数の撮影画像の被写体検出結果が更に安定する。
【００８９】
また、前記検出部（ステップＳ１６における画像処理エンジン１４）は、同一の撮影画像から検出された被写体領域の数が２以上であった場合には、２以上の前記被写体領域のうち１つを被写体領域に選定し、選択された被写体領域以外を非被写体領域とする。
【００９０】
また、前記検出部（ステップＳ１６における画像処理エンジン１４）は、予め決められた判断基準又はユーザの指示に従って前記選定を行う。
【００９１】
したがって、個々の撮影画像から検出される被写体領域の数が１ずつに抑えられ、前記複数の撮影画像の被写体検出結果が更に安定する。
【００９２】
また、前記制限部（ステップＳ１８、Ｓ１１における画像処理エンジン１４）は、前記第１の撮影画像（現フレーム）から検出された被写体領域（顔領域）の数がゼロであった場合には、前記第２の撮影画像（次フレーム）における前記対象範囲（探索範囲）を前記撮影画像の全域に設定する。
【００９３】
したがって、仮に、前記複数の撮影画像の撮影途中で大幅な構図変化が発生していたとしても、被写体領域の見落としが発生する可能性は低い。
【００９４】
また、本実施形態の画像処理装置（画像処理エンジン１４）は、前記複数の撮影画像から検出された被写体領域（顔領域）にマークを付与するマーク表示部を更に備える。
【００９５】
したがって、前記複数の撮影画像の被写体検出結果をユーザに通知することができる。
【００９６】
また、本実施形態の画像処理装置（画像処理エンジン１４）は、前記複数の撮影画像から検出された被写体領域の情報に基づき、前記複数の撮影画像に施すべき画像処理のパラメータ（ホワイトバランスゲイン、階調変換特性など）を決定する決定部を更に備える。
【００９７】
したがって、前記画像処理の特性を前記複数の撮影画像に適した特性にすることができる。
【００９８】
また、本実施形態の撮像装置（電子カメラ１１）は、被写界の画像を繰り返し撮影する撮像部（撮影レンズ１２、撮像部１３）と、前記撮像部が取得した複数の撮影画像を処理する本実施形態の画像処理装置（画像処理エンジン）とを備える。
【００９９】
したがって、前記複数の撮影画像の被写体検出結果を撮像装置にて有効利用することができる。例えば、被写体検出結果を、前記撮像装置のライブビュー表示に利用することもできる。
【０１００】
また、本実施形態の撮像装置（電子カメラ１１）において、前記検出部（ステップＳ１３における画像処理エンジン１４）及び前記制限部（ステップＳ１９における画像処理エンジン１４）は、前記撮像部（撮影レンズ１２、撮像部１３）が撮影画像（スルー画像）を取得する度に動作し、前記撮像部（撮影レンズ１２、撮像部１３）は、前記複数の撮影画像のうち、第１の撮影画像（現フレーム）から検出された被写体領域の情報に応じて、前記第１の撮影画像より後に処理される第２の撮影画像（次フレーム）の撮影条件を設定する（ＡＦ制御、ＡＥ制御など）。
【０１０１】
したがって、前記複数の撮影画像の被写体検出結果は、前記撮像装置の撮像条件の制御に有効利用される。
【符号の説明】
【０１０２】
１１…電子カメラ、１２…撮影光学系、１３…撮像部、１４…画像処理エンジン、１５…第１メモリ、１６…第２メモリ、１７…記録インタフェース、１８…表示部、１９…操作部、２０…記憶媒体
【図１】
2015012487.tif 000003
【図２】
2015012487.tif 000004
【図３】
2015012487.tif 000005
【図４】
2015012487.tif 000006
【図５】
2015012487.tif 000007
【図６】
2015012487.tif 000008
【図７】
2015012487.tif 000009