(57)【特許請求の範囲】
【請求項１】
連続して撮像された画像を順次取得する入力手段と、
前記入力手段により取得された画像を複数のブロックに分割するブロック分割手段と、
前記ブロック分割手段により分割されたブロックの代表値に基づいて、前記画像の色成分に係るヒストグラムを生成する生成手段と、
前記生成手段により生成されたヒストグラムを複数の区間に分割する区間分割手段と、
前記複数のブロックのうち、前記代表値が同一の前記区間に属し、かつ隣接しているブロックを１つの領域として設定する設定手段と、
前記設定手段により設定された領域のそれぞれについて評価値を算出する評価手段と、
前記評価手段により算出された評価値に基づいて主被写体領域を決定する決定手段と、を備え、
前記決定手段は、前記領域の評価値のうちの最も高い評価値との差分が、予め定められた閾値以下の評価値を有する第２の領域が存在しない場合は、前記最も高い評価値を有する第１の領域を前記主被写体領域として決定し、前記第２の領域が存在する場合は、前記第１の領域と前記第２の領域とを合わせた領域を前記主被写体領域として決定することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記第１の領域と前記第２の領域とが隣接している場合に、前記第１の領域と前記第２の領域とを合わせた領域を前記主被写体領域として決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、所定の期間で撮像された全ての画像において前記第２の領域が存在し、かつ前記第１の領域の重心と前記第２の領域の重心との距離の標準偏差が所定値以下である場合に、前記第１の領域と前記第２の領域とを合わせた領域を前記主被写体領域として決定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記決定手段は、前記所定の期間で撮像された全ての画像において、連続する画像間の前記ヒストグラムの差分がそれぞれの区間で所定値以下でない場合は、前記第１の領域と前記第２の領域とを合わせた領域を前記主被写体領域として決定しないことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記区間分割手段は、前記ヒストグラムの極小点であって、当該極小点に対する、当該極小点を挟む極大点の比率がいずれも所定の比率以上である極小点、または前記ヒストグラムのうちの値が０となる点を境界として異なる区間となるように分割することを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記区間分割手段は、前記所定の期間で撮像された全ての画像において前記第２の領域が存在し、かつ前記決定手段により前記第１の領域と前記第２の領域とを合わせた領域を前記主被写体領域として決定しない場合、前記境界とする極小点を決定するための所定の比率を高くして、ヒストグラムの分割を行うことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記領域のそれぞれについて算出される評価値は、当該領域の、重心位置と前記画像の中心位置との距離、大きさ、外接矩形の縦横比、周辺長、色情報、及び輝度情報、の少なくともいずれかを用いて算出されることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記ヒストグラムは、前記ブロックの色相、彩度、または輝度の少なくともいずれかのヒストグラムであることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
入力手段が、連続して撮像された画像を順次取得する入力工程と、
ブロック分割手段が、前記入力工程において取得された画像を複数のブロックに分割するブロック分割工程と、
生成手段が、前記ブロック分割工程において分割されたブロックの代表値に基づいて、前記画像の色成分に係るヒストグラムを生成する生成工程と、
区間分割手段が、前記生成工程において生成されたヒストグラムを複数の区間に分割する区間分割工程と、
設定手段が、前記複数のブロックのうち、前記代表値が同一の前記区間に属し、かつ隣接しているブロックを１つの領域として設定する設定工程と、
評価手段が、前記設定工程において設定された領域のそれぞれについて評価値を算出する評価工程と、
決定手段が、前記評価工程において算出された評価値に基づいて主被写体領域を決定する決定工程と、を備え、
前記決定工程において前記決定手段は、前記領域の評価値のうちの最も高い評価値との差分が、予め定められた閾値以下の評価値を有する第２の領域が存在しない場合は、前記最も高い評価値を有する第１の領域を前記主被写体領域として決定し、前記第２の領域が存在する場合は、前記第１の領域と前記第２の領域とを合わせた領域を前記主被写体領域として決定することを特徴とする画像処理装置の制御方法。
【請求項１０】
コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続して撮像された画像における、主被写体を決定する技術に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラ等の撮像装置には、所望の被写体に合焦し、当該被写体が適正露出となるような撮影を容易に行えるように、撮像画角内に捉えられている被写体のうち、主被写体を自動的に認識する機能を備えるものがある。
【０００３】
撮像画角内に捉えられている被写体は、撮像された画像内の色相や彩度等のヒストグラムから導出される分布を区間に分け、当該区間ごとに撮像された画像を分類することで得られるそれぞれの領域として認識することができる。そして、認識された被写体ごとに評価値を算出することで、当該評価値が最も高い領域を主被写体として判定することができる。
【０００４】
特許文献１には、撮像された画像について作成された複数の色成分のヒストグラムを山型の分布範囲にそれぞれ区分けし、同一の区間の組み合わせに属する領域に撮像された画像を分類することで、被写体を認識する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１１０６３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１のようにヒストグラムを山型の分布範囲にグループ分けする場合、当該グループ分けの分類方法によっては、適切に主被写体領域を決定することができないことがある。例えば図５（ａ）に示されるようにヒストグラムのうちの２つの極小点がグループ分けの境界として設定された場合、適切に車の全領域を主被写体として認識することができる。しかしながら、図５（ｂ）及び５（ｃ）に示されるように、３つまたは４つの極小点がグループ分けの境界として設定された場合、主被写体として認識されるべき車の領域は、異なる領域に分類されてしまう。
【０００７】
このように適切に主被写体領域が選択されなかった場合、主被写体として認識されるべき被写体の一部の領域についてのみ、合焦及び適正露出となるような撮影設定がなされるため、撮影者は所望の撮影設定で撮影された画像を得ることができなかった。
【０００８】
また、想定し得るあらゆる被写体、及び照明状態等の撮影条件に対して、主被写体領域を適切に分類可能なヒストグラムの基準を予め記憶することは、回路規模を増大させてしまうため現実的ではない。
【０００９】
本発明は、上述の問題点に鑑みてなされたものであり、所望の被写体に係る領域が、分割されずに主被写体として認識されるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
連続して撮像された画像を順次取得する入力手段と、入力手段により取得された画像を複数のブロックに分割するブロック分割手段と、ブロック分割手段により分割されたブロックの代表値に基づいて、画像の色成分に係るヒストグラムを生成する生成手段と、生成手段により生成されたヒストグラムを複数の区間に分割する区間分割手段と、複数のブロックのうち、代表値が同一の区間に属し、かつ隣接しているブロックを１つの領域として設定する設定手段と、設定手段により設定された領域のそれぞれについて評価値を算出する評価手段と、評価手段により算出された評価値に基づいて主被写体領域を決定する決定手段と、を備え、決定手段は、領域の評価値のうちの最も高い評価値との差分が、予め定められた閾値以下の評価値を有する第２の領域が存在しない場合は、最も高い評価値を有する第１の領域を主被写体領域として決定し、第２の領域が存在する場合は、第１の領域と第２の領域とを合わせた領域を主被写体領域として決定することを特徴とする。
【発明の効果】
【００１１】
このような構成により本発明によれば、所望の被写体に係る領域が、分割されずに主被写体として認識されるようにすることを可能とする。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係るデジタルカメラの機能構成を示したブロック図
【図２】実施形態に係る領域設定部で行われる処理を説明するための図
【図３】実施形態に係る領域設定部で行われる処理を説明するための別の図
【図４】実施形態に係る領域の評価値を説明するための図
【図５】実施形態に係るヒストグラムの区間分割による被写体領域の分割例を示した図
【図６】実施形態に係る主被写体判定処理のフローチャート
【図７】実施形態に係るヒストグラムの区間分割による評価値の算出例を示した図
【発明を実施するための形態】
【００１３】
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、主被写体領域を認識して追尾することが可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、主被写体領域を認識することが可能な任意の機器に適用可能である。
【００１４】
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作を制御する。制御部１０１は、例えばデジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２から読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータやユーザにより設定された撮影設定等を記憶する。ＲＡＭ１０３は、揮発性メモリであり、例えば各ブロックの動作において出力されたデータを一時的に格納する領域として用いられる記憶領域である。
【００１５】
なお、本実施形態ではデジタルカメラ１００が備える各ブロックの動作を当該ブロックの動作プログラムにより制御するものとして説明するが、本発明の実施はこれに限らず、各ブロックは当該動作プログラムと同様の処理を行う回路で構成されてもよい。
【００１６】
撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４を介して撮像素子に結像された光学像を光電変換することにより、アナログ画像信号を後述するＡ／Ｄ変換部１０６に出力する。なお、撮像部１０５は光電変換を繰り返すことにより順次取得されたアナログ画像信号を、不図示の表示部に映像として表示することで電子ビューファインダを実現することができる。本実施形態では、当該順次取得されたアナログ画像信号に対して被写体の検出処理、または主被写体領域の追尾処理を行う。
【００１７】
Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号に対してＡ／Ｄ変換処理を適用し、得られたデジタル画像データを出力する。画像処理部１０７は、入力されたデジタル画像データに対し、所定の画像処理を適用するブロックである。本実施形態では、画像処理部１０７はＡ／Ｄ変換部１０６が出力したデジタル画像データに対して、ＲＧＢ空間からＨＬＳ空間への変換処理を行い、各画素の色相（Ｈ）、彩度（Ｓ）、輝度（Ｌ）値を取得する。
【００１８】
領域設定部１０８は、画像処理部１０７によりＨＬＳ変換が行われたデジタル画像データを図２（ａ）のように所定の大きさのブロックに分割（ブロック分割）し、当該ブロックのそれぞれについて例えばブロック内の画素の色相の平均値（代表値）を算出する。そして、全ブロックの色相から図２（ｂ）のような色相ヒストグラムを生成する。領域設定部１０８は、当該色相ヒストグラムにおいて、図２（ｃ）のように色差値が０になる点、または極小点に対する、当該極小点を挟む極大点の比率がいずれも所定の比率以上である極小点を境界として、異なる区間となるように色相を分割する（区間分割）。そして領域設定部１０８は、画像の各ブロックを、当該ブロックの代表値がどの区間に属するかを判断し、同一の区間に属し、かつ隣接しているブロックを１つの領域として設定する。具体的には、画像のブロックが図３（ａ）に示すように分類された場合、領域設定部１０８は図３（ｂ）のように同一の区間のブロックで構成される領域を設定する。
【００１９】
なお、本実施形態において、画像の色相についてヒストグラムを生成し、区間分割を行うものとして説明するが、本発明の実施はこれに限らない。例えば彩度や輝度等の他の色成分であってよく、本発明は、少なくとも１つの色成分について生成されたヒストグラムを用いて区間分割を行ってもよい。
【００２０】
主被写体判定部１０９は、領域設定部１０８により設定された画像の各領域に対して評価値を算出し、少なくとも当該評価値が最も高い領域を主被写体として判定する。画像の各領域に対して算出される評価値は、例えば以下の項目のうち、少なくともいずれかを用いて算出される。
・領域の重心位置と画像の中心位置との距離
・領域の大きさ
・領域の外接矩形の縦横比（長辺／短辺）
・領域の周辺長
・領域の色情報
・領域の輝度情報
【００２１】
本実施形態では、領域の重心位置と画像の中心位置との距離、領域の大きさ、及び領域の外接矩形の縦横比について、実験的に求めた関係式（グラフ）から算出される値をそれぞれ積算して評価値として用いる。具体的には、領域の重心位置と画像の中心位置との距離については、図４（ａ）に示すように当該距離が短い位置にある領域ほど、重要度が高い被写体であるものとして距離に対する評価値Ｓｄｉｓｔを高く設定する。領域の大きさは、図４（ｂ）に示す量に所定の大きさまでは領域が大きいほど評価値Ｓｓｉｚｅを大きくし、所定の大きさ以上の領域については評価値が最大値となるように設定する。また、領域の外接矩形の縦横比は、被写体として想定する物体が認識される領域の外接矩形の形状を基準に設定される。例えばデジタルカメラ１００に近い位置で２人の人物を撮影する場合等、２人の人物の間に写る、当該２人の人物よりも後ろに存在していた被写体については、領域の外接矩形の形状が縦長や横長となる。このように主被写体として判定され難い物体については評価値を低くさせるために、図４（ｃ）の示されるように領域の外接矩形の縦横比が１に近いほど評価値Ｓａｓｐｅｃｔが高くなるように設定する。
【００２２】
なお、本実施形態では計算量を減らすために、制御部１０１は背景等の領域を評価値の算出対象から除外してもよい。具体的には制御部１０１は、画像の領域のうち、当該画像の上辺及び側辺の少なくともいずれかに接している領域は、背景または完全にフレームインしている被写体ではないと判断し、評価値の算出対象から除外する。
【００２３】
主被写体判定部１０９は、このように算出された主被写体になり得る各領域の評価値Ｓ（＝Ｓｄｉｓｔ×Ｓｓｉｚｅ×Ｓａｓｐｅｃｔ）が高い順に領域に番号を付す。そして主被写体判定部１０９は、少なくとも最も高い評価値Ｓ１を有する領域を主被写体として判定する。
【００２４】
操作入力部１１１は、例えばレリーズボタンやメニューボタン等のデジタルカメラ１００が備えるユーザインタフェースであり、ユーザが当該ユーザインタフェースを操作することにより入力された信号を解析し、操作内容を制御部１０１に伝送する。記録媒体１１０は、例えばデジタルカメラ１００が備える内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１１０は、例えばユーザがレリーズボタンを操作することで撮影指示を行った場合に撮像部１０５で撮影された画像を記録する。
【００２５】
（主被写体判定処理）
このような構成をもつ本実施形態のデジタルカメラ１００の主被写体判定処理について、図６のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本主被写体判定処理は、例えばデジタルカメラ１００が起動され、不図示の表示部への映像の表示であるスルー表示が始まった際に開始され、撮像により得られた画像のそれぞれについて実行されるものとして説明する。
【００２６】
Ｓ６０１で、制御部１０１は、撮像部１０５により撮像され、画像処理部１０７によりＨＬＳ空間に変換された画像を領域設定部１０８に出力させ、当該画像を領域設定部１０８に所定の大きさのブロックに分割させる。
【００２７】
Ｓ６０２で、制御部１０１は、領域設定部１０８にＳ６０１で分割された複数のブロックの代表値に基づいて画像の色相ヒストグラムを生成させ、当該色相ヒストグラムの分布を複数の区間に分割させる。また、制御部１０１は、生成された色相ヒストグラムをＲＡＭ１０３に記憶する。
【００２８】
Ｓ６０３で、制御部１０１は、現在処理中の画像の１つ前、即ち時系列順で１つ前に撮像された画像について生成された色相ヒストグラムが記憶されているかを判断し、記憶されている場合は、当該画像間の色相ヒストグラムの差分を算出する。色相ヒストグラムの差分は、色相のそれぞれの区間ごとに分布数の減算を行うことにより算出し、制御部１０１は当該色相ヒストグラムの差分を現在処理中の画像に関連付けてＲＡＭ１０３に記憶する。
【００２９】
Ｓ６０４で、制御部１０１は、Ｓ６０２で決定された色相ヒストグラムの区間に基づき、複数のブロックを、代表値が同一の区間に属し、かつ隣接しているブロックが１つの領域となるように、領域設定部１０８に画像内の被写体ごとの領域を設定させる。なお、本ステップで制御部１０１は、上述したように背景等の主被写体となり難い領域を、以下のステップにおける対象領域から除外する。
【００３０】
Ｓ６０５で、制御部１０１は、領域設定部１０８で設定された各領域について、主被写体判定部１０９に評価値を算出させ、当該得られた評価値の高い順に領域に番号を付させる。このとき主被写体判定部１０９は、最も高い評価値Ｓ１を有する領域を主被写体領域（第１の領域）として決定する。
【００３１】
Ｓ６０６で、制御部１０１は、画像内の領域のうち、主被写体領域の評価値との差分が予め定められた閾値以下の評価値を有する領域（第２の領域）が存在するか否かを判断する。例えば、主被写体として認識されるべき被写体に係る領域が、図７（ａ）のように分割されずに主被写体領域として判定された場合に比べ、図７（ｂ）及び７（ｃ）のように分割された領域が主被写体領域として判定された場合、当該領域の評価値は低くなる。このとき、主被写体として認識されるべき被写体に係る領域のうち、主被写体領域として判定されなかった領域の評価値は、当該領域と主被写体領域の類似度が高いため、主被写体領域の評価値との差分が小さくなる。即ち、主被写体として認識されるべき被写体に係る領域が分割された場合であっても、それぞれの領域が被写体に係る領域に含まれることを判断するように、領域間の評価値の差分についての適切な閾値を予め設定しておく。
【００３２】
制御部１０１は、画像内に、主被写体領域の評価値との差分が予め定められた閾値以下の評価値を有する領域が存在する場合は処理をＳ６０７に移し、存在しない場合はＳ６０５で決定された主被写体領域の情報を出力し、本主被写体判定処理を完了する。
【００３３】
Ｓ６０７で、制御部１０１は、Ｓ６０６で検出された主被写体領域の評価値との差分が予め定められた閾値以下の評価値を有する領域が、主被写体領域と隣接しているか否かを判断する。制御部１０１は、主被写体領域の評価値との差分が予め定められた閾値以下の評価値を有する領域が主被写体領域と隣接している場合は処理をＳ６０８に移し、隣接していない場合はＳ６０５で決定された主被写体領域の情報を出力し、処理を完了する。
【００３４】
Ｓ６０８で、制御部１０１は、主被写体領域の評価値との差分が予め定められた閾値以下の評価値を有する領域の重心と、主被写体領域の重心との距離を算出し、現在処理中の画像に関連付けて当該重心間の距離をＲＡＭ１０３に記憶する。
【００３５】
Ｓ６０９で、制御部１０１は、主被写体領域の評価値との差分が予め定められた閾値以下の評価値を有する領域が、主被写体として認識されるべき被写体に係る領域の一部であるか否かを主被写体判定部１０９に判断させる。具体的には制御部１０１は、所定の期間で撮像された全ての画像のそれぞれについて関連付けられて記憶されている、色相ヒストグラムの差分の情報及び重心間の距離の情報をＲＡＭ１０３より読み出し、主被写体判定部１０９に入力する。主被写体判定部１０９は、まず所定の期間の全ての画像において、色相ヒストグラムの差分がそれぞれの区間で所定値以下であるか否か、即ち所定の期間中、色相ヒストグラムが安定しているか否かを判断する。さらに、主被写体判定部１０９は、所定の期間の全ての画像における、主被写体領域と、当該主被写体領域の評価値との差分が予め定められた閾値以下の評価値を有する領域との重心間の距離の標準偏差が所定値以下であるか否かを判断する。即ち、主被写体判定部１０９は所定の期間中、主被写体領域と、当該主被写体領域の評価値との差分が予め定められた閾値以下の評価値を有する領域の位置関係の変動がなかったと見なせるか否かを判断する。そして主被写体判定部１０９は、当該位置関係の変動がなく、かつ所定の期間で色相ヒストグラムが安定していると判断した場合は、評価値との差分が予め定められた閾値以下の評価値を有する領域を、主被写体として認識される領域の一部あると判断する。即ち、主被写体として認識されるべき被写体に係る領域が分割されていると判断する。
【００３６】
制御部１０１は、主被写体判定部１０９が主被写体として認識されるべき被写体に係る領域が分割されていると判断した場合は処理をＳ６１０に移し、それ以外の場合は処理をＳ６１１に移す。なお本ステップにおいて、所定の期間の全ての画像に対し、関連付けられた色相ヒストグラムの差分の情報または重心間の距離の情報が存在しない場合は処理を実行せず、Ｓ６０５で決定された主被写体領域の情報を出力して本主被写体判定処理を完了すればよい。
【００３７】
Ｓ６１０で、制御部１０１は、主被写体領域及び当該主被写体領域の評価値との差分が予め定められた閾値以下の評価値を有する領域を合わせた領域を、主被写体判定部１０９に主被写体領域として決定させる。そして制御部１０１は、新たに決定された主被写体領域の情報を出力し、本主被写体判定処理を完了する。
【００３８】
Ｓ６１１で、制御部１０１は領域設定部１０８に、Ｓ６０２で行った方法とは異なる方法で、色相ヒストグラムの分布を新たな複数のグループに分類させる。具体的には領域設定部１０８は、色相ヒストグラムにおいて境界とする極小点を決定するために設定された、極小点に対する、当該極小点を挟む極大点の比率の基準値を、Ｓ６０２で分類を行った際の基準値よりも高く設定して分類を行う。即ち、領域設定部１０８は、色相ヒストグラムが分類されるグループの数が減少するように、境界とする極小点を決定するための基準値を高くする。そして、制御部１０１は処理をＳ６０４に戻し、再び主被写体領域の検出を行う。
【００３９】
なお、本実施形態では、主被写体領域（第１の領域）の評価値との差分が予め定められた閾値以下の評価値を有する第２の領域が存在した場合、
・所定の期間、色相ヒストグラムが安定している
・第１の領域と第２の領域とが隣接している
・所定の期間、第１の領域の重心と第２の領域の重心との距離の変動が小さい
ことをさらなる条件として、第１の領域と第２の領域とを主被写体領域とするか否かを判断したが、本発明の実施はこれに限らない。即ち、例えば１人の人物のみが被写体と予め分かっている場合等では、上述したさらなる条件について考慮しなくてもよいことは容易に理解されよう。
【００４０】
以上説明したように、本実施形態の画像処理装置は、撮影者にとって所望の被写体に係る領域が、分割されずに主被写体として認識されるようにすることができる。具体的には画像処理装置は、連続して撮像された画像のそれぞれについて、当該画像を複数のブロックに分割し、各ブロックの信号値を基に画像のヒストグラムを生成する。そして、生成されたヒストグラムを複数の区間に分割し、画像の複数のブロックを、信号値が同一の区間に属し、かつ隣接しているブロックが１つの領域となるように、画像について領域を設定する。さらに領域のそれぞれについて評価値を算出し、最も高い評価値との差分が予め定められた閾値以下の評価値を有する第２の領域が存在するか否かを判断する。画像処理装置は、第２の領域が存在しない場合は、最も高い評価値を有する第１の領域を主被写体領域として決定し、第２の領域が存在する場合は、第１の領域と第２の領域とを合わせた領域を主被写体領域として決定する。
【００４１】
このようにすることで、照明条件や被写体の状態によって、主被写体が異なる領域に分割されてしまった場合であっても、適切に主被写体と認識されるべき被写体に係る領域を主被写体領域として決定することができる。即ち、主被写体と認識されるべき被写体の全領域が認識されるため、撮影において、適切な撮影設定で撮影をすることが可能となる。
【００４２】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005629562.tif 000002
【図２】
0005629562.tif 000003
【図３】
0005629562.tif 000004
【図４】
0005629562.tif 000005
【図５】
0005629562.tif 000006
【図６】
0005629562.tif 000007
【図７】
0005629562.tif 000008