(57)【特許請求の範囲】
【請求項１】
画像データから、人物の顔を第１の被写体として検出し、検出した前記第１の被写体における優先順位を設定する第１の検出手段と、
前記画像データから、類似する信号の成分を有する領域ごとに分類を行うことによって抽出される不特定被写体を第２の被写体として検出し、検出した前記第２の被写体における優先順位を設定する第２の検出手段と、
前記第１の検出手段で検出され優先順位が設定された前記第１の被写体と、前記第２の検出手段で検出され優先順位が設定された前記第２の被写体の中から、予め設定された優先順位付けに従って主被写体を選択する選択手段と、
前記第１の検出手段で検出された前記第１の被写体と、前記第２の検出手段で検出された前記第２の被写体が、同一の被写体であるか否かを判定する同一被写体判定部を有し、
前記選択手段は、前記同一被写体判定部によって同一被写体であると判定された前記第１の被写体と前記第２の被写体が存在する場合には、前記予め設定された優先順位付けとは異なる優先順位付けにて主被写体を選択することを特徴とする画像処理装置。
【請求項２】
前記選択手段は、前記予め設定された優先順位付けに従って選択した主被写体が前記第２の被写体であり、かつ、前記同一被写体判定部によって主被写体として選択された前記第２の被写体と同一被写体であると判定された前記第１の被写体が存在する場合には、前記第２の被写体と同一被写体であると判定された前記第１の被写体を主被写体として選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、主被写体として選択していた前記第１の被写体が検出されなくなった後に、新たに前記予め設定された優先順位付けに従って選択した主被写体が前記第２の被写体であり、かつ、前記同一被写体判定部によって前記主被写体として選択していた前記第１の被写体と同一被写体であると判定された前記第２の被写体が存在する場合には、前記主被写体として選択していた前記第１の被写体と同一被写体であると判定された前記第２の被写体を主被写体として選択することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記予め設定された優先順位付けは、第一優先の前記第２の被写体よりも、第一優先の前記第１の被写体の優先順位を高く設定したものであることを特徴する請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記予め設定された優先順位付けは、第二優先の前記第１の被写体よりも、第一優先の前記第２の被写体の優先順位を高く設定したものであることを特徴する請求項４に記載の画像処理装置。
【請求項６】
前記第２の検出手段は、少なくとも２つの前記第２の被写体が検出された場合には、検出された前記第２の被写体の画像の中心からの距離が近くなるほど値が大きくなる評価値を用いて、第一優先の前記第２の被写体と第二優先の前記第２の被写体を設定し、
前記第１の検出手段は、少なくとも２つの前記第１の被写体が検出された場合には、検出された前記第１の被写体の画像の中心からの距離が近くなるほど値が大きくなる評価値を用いて、第一優先の前記第１の被写体と第二優先の前記第１の被写体を決定するものであって、前記距離が閾値に満たない前記第１の被写体が存在しない場合には、前記第一優先の前記第１の被写体を設定せずに、第二優先の前記第１の被写体を設定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像データから生成された画像に重畳して、主被写体の位置を示す主被写体枠を表示する表示部を有し、
前記表示部は、前記同一被写体判定部によって同一被写体であると判定された前記第１の被写体と前記第２の被写体の間で主被写体の選択を切り換える場合は、そうでない場合に比較して、もとの主被写体の位置から新たな主被写体の位置への前記主被写体枠の移動の応答性を低くすることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
画像データから、人物の顔を第１の被写体として検出し、検出した前記第１の被写体における優先順位を設定する第１の検出ステップと、
前記画像データから、類似する信号の成分を有する領域ごとに分類を行うことによって抽出される不特定被写体を第２の被写体として検出し、検出した前記第２の被写体における優先順位を設定する第２の被写体検出ステップと、
前記第１の検出ステップで検出され優先順位が設定された第１の被写体と、前記第２の被写体検出ステップで検出され優先順位が設定された第２の被写体の中から、予め設定された優先順位付けに従って主被写体を選択する選択ステップと、
前記第１の検出ステップで検出された前記第１の被写体と、前記第２の検出ステップで検出された前記第２の被写体が、同一の被写体であるか否かを判定する同一被写体判定ステップを有し、
前記選択ステップは、前記同一被写体判定ステップによって同一被写体であると判定された前記第１の被写体と前記第２の被写体が存在する場合には、前記予め設定された優先順位付けとは異なる優先順位付けにて主被写体を選択することを特徴とする主被写体の選択方法。
【請求項９】
コンピュータを、請求項１乃至７のいずれか１項に記載された画像処理装置の各手段として機能させるコンピュータが読み出し可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影シーンの状況に応じて主被写体を選択する画像処理装置、主被写体の選択方法及びプログラムに関する。
【背景技術】
【０００２】
一般に、画像から主被写体を選択する機能を備えた画像処理装置では、画面内の特徴点から被写体の位置を推定し、特徴量の最も大きい領域を主被写体と判定する主被写体検出方法が用いられている。また、これを応用した被写体検出を行う撮像装置では、被写体検出をした後に、その被写体に対し、自動でピントを合わせること及び適切な露出制御を行うことが可能となり、画質向上を図ることができる。
【０００３】
従来の被写体の検出方法では、画像信号から色情報を取得し、それらのヒストグラムを山形の分布範囲に区分けし、その区域を一つの被写体とし分類分けして被写体を検出する手法が提案されている（例えば、特許文献１参照）。このように、画像信号を類似する信号を有する複数の領域に分類して被写体を検出する方法によれば、予め特定の被写体の特徴を示すデータを記憶せずとも、その画像信号の中から被写体と推定される領域を抽出することができる。
【０００４】
このような従来の被写体の検出方法では、図３に例示するように、検出された被写体が複数あった場合、被写体に応じて優先度を決定し、最終的な主要被写体を決定している。この優先度は、図４に示例するように、主に被写体の位置やサイズ、検出の信頼度に応じて算出される。
【０００５】
例えば、顔検出による被写体情報が存在した場合には、画面中心から被写体重心までの距離が遠いほどＷｅｉｇｈｔｄｉｓｔが低くなる。また、この場合には、被写体サイズに応じてＷｅｉｇｈｔＳｉｚｅを算出し、これらを掛け合わせることで各被写体評価値Ｓｎ（ｎ＝１，２，‥）を算出する。
【０００６】
ここで複数の顔があった場合には、どの被写体を中心として撮影を行うべきか、あるいは、画像処理をすべきかを決めておく必要があるため、上述した被写体評価値に基づいて被写体に優先順位をつける。
【０００７】
また顔検出と同様に、領域分割を用いた被写体検出（顔検出と区別するため、以下不特定被写体検出と呼ぶ）による被写体情報が存在した場合には、近似手法による評価値算出を行い、被写体に優先順位をつける。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−１１０６３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
顔検出と不特定被写体検出の両方を備えれば、様々な状況において被写体を好適に検出することの可能な画像処理装置を提供することができる。そして、顔と不特定被写体の両方が検出されたのであれば、主被写体を選択するため、顔の優先順位と、不特定被写体の優先順位とを統合する必要がある。
【００１０】
しかしながら、領域分割を用いた方法で検出された不特定被写体は、その被写体が人物であるのか、動物であるのか、あるいは、その他の被写体であるのか、を区別することができない。そのため、顔の優先度に対し、不特定被写体の優先度をどのように扱えば良いのか、判断が難しいという課題がある。
【００１１】
ある一定レベル以上の評価値が算出された顔が検出された場合には、人物を狙った撮影であると判断し、不特定被写体よりも顔を優先して主被写体として選択することが考えられる。
【００１２】
しかしながら、例えば、評価値がある一定レベル以上である顔が検出されずに、評価値の高くない顔と評価値の高い不特定被写体が検出された場合に、どのように主被写体を選択するかという点において、検討する余地が残されていた。
【００１３】
本発明の目的は、顔の位置と被写体（不特定被写体）検出の位置を考慮し、主被写体としてより適切な被写体を選択することができる画像処理装置、主被写体の検出方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明の画像処理装置は、画像データから、人物の顔を第１の被写体として検出し、検出した前記第１の被写体における優先順位を設定する第１の検出手段と、前記画像データから、類似する信号の成分を有する領域ごとに分類を行うことによって抽出される不特定被写体を第２の被写体として検出し、検出した前記第２の被写体における優先順位を設定する第２の検出手段と、前記第１の検出手段で検出され優先順位が設定された前記第１の被写体と、前記第２の検出手段で検出され優先順位が設定された前記第２の被写体の中から、予め設定された優先順位付けに従って主被写体を選択する選択手段と、前記第１の検出手段で検出された前記第１の被写体と、前記第２の検出手段で検出された前記第２の被写体が、同一の被写体であるか否かを判定する同一被写体判定部を有し、前記選択手段は、前記同一被写体判定部によって同一被写体であると判定された前記第１の被写体と前記第２の被写体が存在する場合には、前記予め設定された優先順位付けとは異なる優先順位付けにて主被写体を選択することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、顔と不特定被写体が同一被写体であるかどうかを判定し、主被写体を選択するための優先順位付けを変更することで、主被写体としてより適切な被写体を選択することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態に係るディジタルカメラの概略構成を示すブロック図である。
【図２】本発明の実施の形態に係るディジタルカメラにおける、画像内で最終的に主となる被写体を選定するための第１の優先順位決定処理の手順を示すフローチャートである。
【図３】本実施の形態に係るディジタルカメラで決定する優先順位の具体的を例示する説明図である。
【図４】（ａ）（ｂ）（ｃ）は、本実施の形態に係るディジタルカメラで被写体評価値を算出するのに利用されるＷｅｉｇｈｔｄｉｓｔとＷｅｉｇｈｔＳｉｚｅとの説明図である。
【図５】（ａ）（ｂ）は、本発明に対する比較例として、優先順位に従って主被写体を決定する場合に、高精度の顔検出結果を無視し、精度の低い不特定被写体検出を継続する場合があることを例示する説明図である。
【図６】（ａ）（ｂ）は、本実施の形態に係るディジタルカメラで画面内でメインとなる被写体を決定する場合に、高精度の顔検出を継続する効果を例示する説明図である。
【図７】（ａ）（ｂ）（ｃ）は、本実施の形態に係るディジタルカメラにおける領域分割動作を示す説明図である。
【図８】（ａ）乃至（ｆ）は、本実施の形態に係るディジタルカメラにおけるラベリング処理を例示する説明図である。
【図９】（ａ１）乃至（ｂ３）は、本実施の形態に係るディジタルカメラにおいて、第２の優先順位決定処理により画面内でメインとなる被写体を決定する場合に、高精度の顔検出を継続する効果を例示する説明図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態に係るディジタルカメラについて図面を参照しながら説明する。
【００１８】
（撮像装置の構成）
本実施の形態に係るディジタルカメラの概略構成を示す図１のブロック図で、１０１は、操作部であり、操作者がディジタルカメラに対して各種の指示を入力するために操作するスイッチやボタン等が配設されている。この操作部１０１の中には、シャッタースイッチや、タッチセンサ（表示装置をタッチすることで操作が可能となるもの）が含まれている。
【００１９】
このディジタルカメラでは、制御部１０２が、図１に示す各部の動作を制御するよう構成されている。この制御部１０２は、操作部１０１からの指示に応じて各部を制御する。
【００２０】
図１に示すＣＣＤ部１０３は、レンズ１０８ａ、露出機構１０９ａを介して入射される光を受け、その光量に応じた電荷を出力する。ＣＣＤの代わりにＣＭＯＳセンサを用いるようにしても構わない。Ａ／Ｄ変換部１０４は、ＣＣＤ部１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、ディジタル画像信号として出力する。
【００２１】
画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたディジタル画像信号に対して各種の画像処理を行い、処理済みのディジタル画像信号を出力する。例えば、Ａ／Ｄ変換部１０４から受けたディジタル画像信号を、ＹＵＶ画像信号に変換して出力する。
【００２２】
領域分割部１０６は、画像処理部１０５にてブロック分割された画面から領域分割処理用に色相、彩度の信号成分に変換された画像信号を用い、色相ヒストグラムを作成する。さらに領域分割部１０６は、ヒストグラムを分割条件に従って分割し、得られたそれぞれの色相区域をもとに、画面内の隣接ブロックに対してラベリング処理を行い、領域分割していく。
【００２３】
不特定被写体評価値算出部１１５は、領域分割部により得られた領域の位置、サイズ、形状、色情報を元に評価値を算出する。また不特定被写体検出部１１６では、不特定被写体評価値算出部にて得られた評価値を元にメインの不特定被写体を選別する。顔検出部１１７では、得られた画像を元に顔を検出し、その位置、サイズを取得する。
【００２４】
同一被写体判定部１１８では、得られた顔と不特定被写体の位置を比較し、閾値以内であれば同一被写体と判定する。優先順位決定部１１９では、得られた顔と不特定被写体の情報から、それぞれ第一優先、第二優先となる顔や不特定被写体を決定し、画像内で最終的に主となるべき主被写体に設定する。ここで優先順位決定部１１９は、主被写体となるものの優先順位を、第一優先顔＞第一優先不特定被写体＞第二優先顔＞第二優先不特定被写体とする。
【００２５】
表示部１０７は、液晶画面などにより構成されており、被写体検出機能や被写体追尾機能により特定された領域を元に被写体枠を表示する。
【００２６】
フォーマット変換部１１２は、画像処理部１０５から出力されたディジタル画像信号（画像データ）のフォーマットをＪＰＥＧなどのフォーマットに変換し、画像記録部１１３に出力する。画像記録部１１３は、フォーマット変換部１１２から受けたフォーマット変換済みの画像データを、ディジタルカメラ内の不図示のメモリや、ディジタルカメラに挿入されている外部メモリなどに記録する処理を行う。
【００２７】
（撮影処理）
次に、上述のように構成されたディジタルカメラを用いて撮像を行う場合の動作について説明する。
【００２８】
先ず、本ディジタルカメラの操作者が、操作部１０１に在る電源スイッチをオンにすると、これを検知した制御部１０２は、本ディジタルカメラの電気系を構成する各部に電力を供給する。本ディジタルカメラを構成する各部に電力が供給されるとシャッターが開かれ、ＣＣＤ部１０３には、レンズ１０８ａ、露出機構１０９ａを介して光が入光する。このＣＣＤ部１０３は、ＣＣＤに溜まった電荷を読み出し、Ａ／Ｄ変換部１０４にアナログ画像信号として出力する。このＡ／Ｄ変換部１０４は、ＣＣＤ部１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、ディジタル画像信号として出力する。
【００２９】
画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたディジタル画像信号に対して各種画像処理を行い、処理済みのディジタル画像信号を出力する。また図７（ａ）に示すように、画像処理部１０５では、ブロック分割処理を並行して行い、各ブロックにおける色相、彩度、輝度を取得する。
【００３０】
次に、領域分割部１０６では、ブロック分割された色相情報から色相ヒストグラムを作成する。色相ヒストグラムでは、ヒストグラムの一番値の大きい位置を中心に、ヒストグラムが谷に当たるまでの範囲の色を同一グループとみなす。ここではヒストグラムの値が０になった場合を谷とする。また領域分割部１０６では、図７（ｂ）、（ｃ）に示すように、山から谷方向に関してヒストグラムの極小点よりも一定割合大きい点があった場合に、その極小点を谷とする。領域分割部１０６は、この動作を繰り返していくことで全ての色相をグループ分けする。
【００３１】
領域分割部１０６は、画面を複数に分割されたブロックを左上端から１ラインずつ読み込み、上述したグループ分けにより分類されたグループＮｏを元にして隣接ブロックが同一グループの場合に同一領域と判定していく。また、図８に示すように、判定の際に、現在地点と隣接する走査済み領域とが同一グループだった場合には、走査済みブロックと同一領域と判定し、以降走査を続行する。なお、上述した領域分割部１０６では、色相について領域分割をする場合について説明したが、輝度や彩度による領域分割等を行うようにしても良い。そして、分割された領域のうち、画像の上端、右端、あるいは左端に接する面積が閾値以上の領域、および、その領域の形状の偏平度が高い（長細い）領域を、背景である可能性が高いと判断して不特定被写体の対象から除外する。また、背景である可能性が高い領域と類似する色相を有する領域も、同じく背景である可能性が高いと判断して不特定被写体の対象から除外する。背景とみなされた分割領域を除外し、残った分割領域を不特定被写体として扱う。
【００３２】
なお、不特定被写体として検出される被写体は、必ずしも顔以外のものを検出するわけではない。背景として除外されない被写体であれば、不特定被写体として検出されるため、人物の顔が不特定被写体として検出される可能性もある。なお、顔検出との競合を防ぐため、顔らしい（例えば、肌色、かつ形状の偏平度の低い）条件を満たす領域を、不特定被写体の対象から除外するように背景の条件を設定してもよい。
【００３３】
次に、不特定被写体評価値算出部１１５は、領域分割部１０６にて分割された領域毎に被写体評価値を算出する。ここで被写体評価値とは、各領域のサイズ、位置、形状から算出されるものである。
【００３４】
図４に示すように、画面中心から被写体重心までの距離が遠いほどＷｅｉｇｈｔｄｉｓｔは低くなる。また、ＷｅｉｇｈｔＳｉｚｅは、被写体サイズに応じて算出される。不特定被写体検出部１１６は、これらを掛け合わせることで不特定被写体評価値Ｓｎ（ｎ＝１，２，‥）を算出する。
【００３５】
不特定被写体検出部１１６で各評価値を元に検出された不特定被写体と、顔検出部１１７により検出された顔の情報とを用いて、同一被写体判定部１１８は、同一被写体となる顔と不特定被写体を検出する。
【００３６】
同一被写体判定部１１８で、不特定被写体と顔及び同一被写体の有無の情報から特定された情報に基づいて、優先順位決定部１１９は、最終的な優先順位を決定し、主要被写体を決定する。なおここでの具体的な優先順位決定手段に関しては、後ほど詳細に述べることとする。
【００３７】
この優先順位決定部１１９で決定された主被写体領域は、表示部１０７に伝えられ、ＬＣＤ面に表示される。また、この主被写体領域情報は、制御部１０２を介してＡＦ処理部１０８及びＡＥ処理部１０９に伝えられる。これにより、ＡＦ処理部１０８及びＡＥ処理部１０９は、主被写体領域情報に基づいて被写体に最適な撮像処理および画像処理を実行する。
【００３８】
そして、制御部１０２は、シャッタースイッチからＳＷ１なる信号の通知（即ち、シャッタースイッチの半押しの通知）を受けていない限りは、上記処理を繰り返す。
【００３９】
一方、制御部１０２は、信号ＳＷ１なる信号通知をシャッタースイッチから受けると、この時点における画像及び被写体情報を用いてＡＦ、ＡＥ処理を行い、撮影に最適なピント及び露出設定条件を取得する。そして、制御部１０２は、シャッタースイッチからＳＷ２なる信号の通知（即ち、シャッタースイッチの全押しの通知）を受けていない限り、処理をＳＷ１前に戻して前述した処理を繰り返す。
【００４０】
また、シャッタースイッチからＳＷ２なる信号通知を受けて本撮影に移行した場合には、外界からの光がレンズ１０８ａ、露出機構１０９ａを介してＣＣＤ部１０３に入光する。すると、ＣＣＤ部１０３を構成する光電変換素子３０１には、入光した光の光量に応じた電荷が溜まる。ＣＣＤに溜まった電荷は、読み出されて、Ａ／Ｄ変換部１０４にアナログ画像信号として出力される。
【００４１】
Ａ／Ｄ変換部１０４は、ＣＣＤ部１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、ディジタル画像信号として出力する。
【００４２】
次に、画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたディジタル画像信号に対して主被写体の領域における画像信号に重みを置いた各種の画像処理を行い、処理済みのディジタル画像信号をフォーマット変換部１１２へ出力する。
【００４３】
フォーマット変換部１１２は、画像処理部１０５から出力されたディジタル画像信号（画像データ）のフォーマットをＪＰＥＧなどのフォーマットに変換し、画像記録部１１３に出力する。画像記録部１１３は、フォーマット変換された画像データを所定のメモリに記録する処理を行う。
【００４４】
（優先順位決定処理）
次に、得られた顔と不特定被写体の情報から、それぞれ第一優先、第二優先となる顔や不特定被写体を決定し、画像内で最終的に主となる被写体を選定するための優先順位決定処理の手順について、図２のフローチャートを参照して説明する。
【００４５】
このディジタルカメラでは、撮影の操作がされて優先順位決定処理がスタートすると、制御部１０２の制御に従って初期露出値が設定され、ライブ画のための露光が開始される（ステップＳ２０１）。ライブ画とは、連続して撮影を行うことで得られる連続する複数フレームの画像信号から生成した、表示部１０７に表示される映像のことを指す。
【００４６】
次に、制御部１０２の制御に従って画像処理部１０５では、露光された画像信号を読み出す（ステップＳ２０２）。
【００４７】
次に、画像処理部１０５で処理された画像データは、領域分割部１０６によって領域分割の処理が実行される（ステップＳ２０３）。ここでは、上述したようにブロック分割された色相情報から色相ヒストグラムを作成し、その極小点を谷として、色相をグループ分けしていく。その後、ブロックを左上端から１ラインずつ読み込み、上記グループ分けにより分類されたグループＮｏをもとにラベリング処理していくことで画像内を領域分割していく処理を実行する。
【００４８】
次に、不特定被写体評価値算出部１１５及び不特定被写体検出部１１６は、分割された領域ごとに各領域のサイズ、位置、形状からなる被写体評価値Ｓｎ（ｎ＝１，２，‥）を算出する（ステップＳ２０４）。これは各領域のサイズ、位置、形状から算出されるものである。ここでは、図４に示すように、画面中心から被写体重心までの距離が遠いほどＷｅｉｇｈｔｄｉｓｔが低くなり、被写体サイズに応じてＷｅｉｇｈｔＳｉｚｅを算出する。そして、これらを掛け合わせることで不特定被写体評価値Ｓｎ（ｎ＝１，２，‥）を算出する。
【００４９】
次に、不特定被写体検出部１１６では、得られた評価値が一定以上の領域を被写体（不特定被写体）として検出する（ステップＳ２０５）。さらにこの評価値の高い順に、第一優先不特定被写体、第二優先不特定被写体、‥として順位付けを行う。
【００５０】
本第１の優先順位決定処理では、第一優先と第二優先の２つの被写体として記載しているが、２つ以上の被写体にも優先順位付けを適用する。
【００５１】
次に、顔検出部１１７は、顔検出を行い、画面内の顔を取得する（ステップＳ２０６）。得られた顔もその位置、サイズにより、第一優先顔、第二優先顔、‥というカテゴリーに分けるために評価値を算出し、優先顔判定を行う（ステップＳ２０７）。顔においてもまず、顔の大きさをもとにＷｅｉｇｈｔＳｉｚｅを算出する。本処理では、顔が正方形で検出されることを想定しているが、これはその顔の辺の長さが長いほど重みが大きくなるように設定している。また、顔の位置重みＷｅｉｇｈｔｄｉｓｔは、顔の座標をもとに決定する。例えば、画面中心から検出された顔の中心座標までの距離を求め、距離が短いほどその顔の重みを大きくする。得られた顔重みを掛け合わせ、その値の最も大きな顔を第一優先顔とする。ただし、不特定被写体と異なり、顔の場合は、画面中心から検出された顔の中心座標までの距離が閾値以上である顔は、たとえ検出された複数の顔の中で最も高い評価値が算出されたとしても、その顔の優先順位は第二優先以下に設定する。検出された顔が画面の端部にしか存在しないような状況であれば、その顔は主被写体ではない可能性が高く、不特定被写体を主被写体として選択しやすくするためである。
【００５２】
次に、同一被写体判定部１１８は、得られた第一優先顔、第一優先不特定被写体、第二優先顔、第二優先不特定被写体の各位置情報から同一被写体が存在するか判定を行う（ステップＳ２０８）。図６に示しているように、顔と不特定被写体との中心座標の距離を算出し、その距離が一定距離以内（顔と一体の胴体及び手足の部分と判別できる距離）だった場合には、それらを同一被写体（同一人物）と判定する。同一被写体が存在しない場合には、第一優先顔＞第一優先不特定被写体＞第二優先顔＞第二優先不特定被写体という優先順位にて画面内でメインとなる被写体を決定する（ステップＳ２１４〜Ｓ２２２）。これは、検出された不特定被写体よりも顔のほうが、主被写体となる可能性が高いという考えに基づくものである。
【００５３】
優先順位決定部１１９は、同一被写体が存在した場合に、不特定被写体が主被写体でかつ顔が第二優先顔の場合、優先順位を変更して設定し、第二優先顔＞第一優先不特定被写体とする。
【００５４】
これは、図５（ａ）に示すように、画面端部のみに人物が存在した場合に有効な処理となる。図５（ａ）は、画面端部に位置する人物の顔が検出されるとともに、その人物の胴体のみが不特定被写体として検出される状況を示す。この状況では、人物の胴体が第一優先不特定被写体に設定され、人物の顔が第二優先顔に設定される。したがって、第一優先不特定被写体＞第二優先顔という優先順位のままでは、同一人物の顔が検出されているにも関わらず、顔ではなく体が主被写体として選択されてしまい、ユーザーに違和感を与えてしまう。
【００５５】
これに対し、ステップＳ２１１にて主被写体を同一判定された顔へ移行させ、図６（ａ）に示すように、第一優先不特定被写体よりも第二優先顔を主被写体として選択することで、ユーザーの意図に沿った主被写体を選択することが可能になる。
【００５６】
また、優先順位決定部１１９は、同一被写体が存在している状態で、顔を見失った場合に、優先順位を変更し、第二優先不特定被写体＞第一優先不特定被写体とすることで、それまで追跡していた主被写体を継続して追跡可能とする。
【００５７】
これは、図５（ｂ）に示すように、画面内に人物と、比較的評価値の高い人物以外の被写体が存在した場合に有効な処理となる。図５（ｂ）の左側の図は、人物の顔が検出されるとともに、その人物の胴体と犬が不特定被写体として検出される状況を示す。この状況では、人物の顔の位置は画面端部ではないため、人物の顔は第一優先顔に設定される。また、人物の胴体と犬のそれぞれの画面中央からの距離は同程度であるが、人物の胴体よりも犬のサイズが大きいため、犬が第一優先不特定被写体に設定され、人物の胴体が第二優先不特定被写体に設定される。よって、図５（ｂ）の左側の図の状態においては、第一優先顔である人物の顔が主被写体として選択される。
【００５８】
この状態から、図５（ｂ）の右側の図に示すように、人物が横を向くなどの理由により顔が検出されなくなると、同一人物の胴体が検出されているにも関わらず、不特定被写体のとしての優先順位の高い犬が主被写体として選択されてしまう。
【００５９】
これに対し、ステップＳ２１３にて主被写体を同一判定された胴体へ移行させ、図６（ｂ）に示すように、第一優先不特定被写体よりも第二優先不特定被写体を主被写体として選択することで、ユーザーの意図に沿った主被写体が選択されるようになる。
【００６０】
（主被写体枠移行処理）
なお、同一被写体判定後、同一被写体と判定された顔と不特定被写体の間で枠移行が発生した場合と、同一被写体と判定されていない被写体間で枠移行が発生した場合とで、主被写体枠の移行の応答性を異ならせる。主被写体枠とは、表示部１０７が、主被写体として選択された領域を囲うように、撮影した画像とともに表示する被写体枠である。主被写体として選択される被写体が切り替われば、それに応じて、この主被写体枠が重畳する被写体も移行する。
【００６１】
同一被写体と判定された顔と不特定被写体の間で主被写体枠の移行が発生した場合は、もとの被写体から新たな被写体へと、複数のフレームをかけて、主被写体枠が徐々に移行する。この枠移行処理を行わない場合には、例えば、図９のｂ１からｂ２のような移行が発生して、同一の被写体であるにも関わらず、あたかも別の被写体が主被写体として新たに選択されたかのように、主被写体枠の移動が行われてしまう。本処理を行うことにより、図９のｂ３のようにスムーズな枠移行が可能となる。
【００６２】
反対に、同一被写体と判定されなかった被写体間で枠移行が発生した場合は、図９ａに示すように、複数フレームをかけることなく、即座にもとの被写体から新たな被写体へと主被写体枠が移行を行う。異なる被写体間で主被写体枠が移行する場合には、再びもとの被写体へと主被写体枠が復帰する可能性が高くないことから、主被写体が切り替わったことを明確に示すためにも、主被写体枠の表示を一気に移動させる。
【００６３】
このように、どの被写体間で主被写体が切り替わったかに応じて、主被写体枠の移行に要するフレーム数を異ならせることによって移行の応答性を変えることで、主被写体枠の見やすさを向上させることが可能となる。
【００６４】
以上、本発明に係る実施の形態について説明したが、本発明はこれら第１及び第２実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲でその他種々の変形された構成も含まれることは勿論である。
【００６５】
なお、上記実施の形態では、ディジタルカメラの例をあげて説明を行ったが、これに限られるものではない。画像から被写体を検出し、いずれかの被写体を主被写体として選択する機能を必要とする装置であればよい。例えば、撮影機能を有していなくとも、外部メディアやネットワークを介して受け取った画像データに対して、主被写体を中心とした色補正や輝度補正といった画像処理を施す機能を備えた装置であってもよい。
【００６６】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【産業上の利用可能性】
【００６７】
この発明は撮影において、特に撮影シーンの状況に応じた被写体検出の制御方法に利用できる。
【符号の説明】
【００６８】
１０２  制御部
１０６  領域分割部
１１５  不特定被写体評価値算出部
１１６  不特定被写体検出部
１１７  顔検出部
１１８  同一被写体判定部
１１９  優先順位決定部
【図１】
0005675326.tif 000002
【図２】
0005675326.tif 000003
【図３】
0005675326.tif 000004
【図４】
0005675326.tif 000005
【図５】
0005675326.tif 000006
【図６】
0005675326.tif 000007
【図７】
0005675326.tif 000008
【図８】
0005675326.tif 000009
【図９】
0005675326.tif 000010