(57)【特許請求の範囲】
【請求項１】
画像に係る探索評価処理を並列に行える複数の第１の処理手段と、
撮像部によって得られ入力される画像から、前記複数の第１の処理手段に入力する部分画像を指定された処理枠に従ってそれぞれ切り出す第２の処理手段と、
垂直方向における前記処理枠の間隔と前記第１の処理手段の個数との積が前記処理枠の垂直方向のサイズ以上となるように、前記処理枠の垂直方向のサイズ及び垂直方向における前記処理枠の間隔の少なくとも一方を決定する決定手段と、
前記撮像部によって得られた画像に対する前記複数の第１の処理手段による探索評価処理で得られた評価値に基づいて、探索対象である被写体が存在する位置を決定する制御手段とを有することを特徴とする撮像装置。
【請求項２】
前記第１の処理手段は、前記第２の処理手段により切り出された部分画像と、所定の被写体画像との相関を求めることを特徴とする請求項１記載の撮像装置。
【請求項３】
入力される画像から被写体の顔を検出する顔検出手段を有し、
前記顔検出手段により検出された顔を前記被写体画像とすることを特徴とする請求項２記載の撮像装置。
【請求項４】
前記決定手段は、前記第１の処理手段の個数と垂直方向における前記処理枠の間隔とに基づいて前記処理枠の垂直方向のサイズを決定した場合、決定した前記処理枠の垂直方向のサイズに応じて前記処理枠の水平方向のサイズを決定することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記決定手段は、前記第１の処理手段の個数と前記処理枠の垂直方向のサイズとに基づいて垂直方向における前記処理枠の間隔を決定する場合、垂直方向における前記処理枠の間隔と前記第１の処理手段の個数との積が前記処理枠の垂直方向のサイズより小さいときには、垂直方向における前記処理枠の間隔を、前記処理枠の垂直方向のサイズを前記第１の処理手段の個数で分けた値にすることを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項６】
前記決定手段は、前記第１の処理手段の個数と垂直方向における前記処理枠の間隔とに基づいて前記処理枠の垂直方向のサイズを決定する場合、垂直方向における前記処理枠の間隔と前記第１の処理手段の個数との積が前記処理枠の垂直方向のサイズより小さいときには、前記処理枠の垂直方向のサイズを、垂直方向における前記処理枠の間隔と前記第１の処理手段の個数との積にすることを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項７】
前記制御手段によって決定された処理枠に基づく表示枠を、前記撮像部によって得られた画像とともに表示する表示手段を有し、
被写体のサイズ又は前回表示した表示枠のサイズに基づいて決定したサイズの前記表示枠を表示することを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
【請求項８】
前記制御手段によって決定された処理枠に基づく表示枠を、前記撮像部によって得られた画像とともに表示する表示手段を有し、
前記複数の第１の処理手段による探索評価処理の結果から求まる位置に基づいて前記表示枠を表示する位置を決定することを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
【請求項９】
画像に係る探索評価処理を並列に行える複数の第１の処理手段を有する撮像装置における画像処理方法であって、
前記複数の第１の処理手段に入力する部分画像を指定するための処理枠の垂直方向における間隔と前記第１の処理手段の個数との積が前記処理枠の垂直方向のサイズ以上となるように、前記処理枠の垂直方向のサイズ及び垂直方向における前記処理枠の間隔の少なくとも一方を決定する工程と、
撮像部によって得られ入力される画像から、前記複数の第１の処理手段に入力する部分画像を決定された処理枠に従ってそれぞれ切り出す工程と、
切り出された画像に係る探索評価処理を前記複数の第１の処理手段にて行う工程と、
前記撮像部によって得られた画像に対する前記複数の第１の処理手段による探索評価処理で得られた評価値に基づいて、探索対象である被写体が存在する位置を決定する工程とを有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置による撮影では、オートフォーカスなどの撮影制御を行うために被写体の追尾処理が行われている。例えば、特許文献１では、被写体追尾用の動きベクトルの検出手法として、複数の検出ブロックを設け被写体の動きベクトルを検出する動きベクトル検出回路の技術が開示されている。また、例えば、特許文献２では、２つのフレーム画像間の動き検出にともなうメモリアクセスを効率的に行うための技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−３２２１２６号公報
【特許文献２】特開２０１２−１４２８６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された従来技術では、限られた検出領域の間引きされた画素値から相関処理を行っており、検出される動きベクトルの精度に問題があった。また、特許文献２に開示された従来技術では、効率の良いメモリアクセスを実現するために一旦フレーム画像の一部を記憶する２次メモリを必要とするため、回路規模及びコストが増大する問題があった。本発明の目的は、回路規模の増大を抑えつつ、処理効率の良い被写体追尾機能を含む探索評価処理を実現することを可能とした撮像装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明に係る撮像装置は、画像に係る探索評価処理を並列に行える複数の第１の処理手段と、撮像部によって得られ入力される画像から、前記複数の第１の処理手段に入力する部分画像を指定された処理枠に従ってそれぞれ切り出す第２の処理手段と、垂直方向における前記処理枠の間隔と前記第１の処理手段の個数との積が前記処理枠の垂直方向のサイズ以上となるように、前記処理枠の垂直方向のサイズ及び垂直方向における前記処理枠の間隔の少なくとも一方を決定する決定手段と、前記撮像部によって得られた画像に対する前記複数の第１の処理手段による探索評価処理で得られた評価値に基づいて、探索対象である被写体が存在する位置を決定する制御手段とを有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、探索評価処理に係る処理枠の垂直方向のサイズ又は配置を適切に設定することができ、回路規模の増大を抑えつつ、処理効率の良い被写体追尾機能を含む探索評価処理を実現することを可能とした撮像装置を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態における撮像装置の構成例を示す図である。
【図２】本実施形態における被写体の表示枠を説明するための図である。
【図３】本実施形態におけるサーチ処理部の構成例を示す図である。
【図４】本実施形態における垂直方向のサーチ処理を説明するための図である。
【図５】本実施形態における水平方向のサーチ処理を説明するための図である。
【図６】第１の実施形態での処理例を示すフローチャートである。
【図７】第２の実施形態での処理例を示すフローチャートである。
【図８】第２の実施形態での表示枠の表示処理の例を示すフローチャートである。
【図９】第３の実施形態での処理例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態を図面に基づいて説明する。以下に説明する実施形態では、撮像装置としてデジタルカメラに適用した例について説明する。
【０００９】
（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、本発明の実施形態における撮像装置としてのデジタルカメラ１００の構成例を示すブロック図である。図１において、１０３はフォーカスレンズを含む撮影レンズであり、１０１は絞り機能を備えるシャッターであり、２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換する。バリア１０２は、撮影レンズ１０３、シャッター１０１、及び撮像部２２を含む撮像系の汚れや破損を防止する。
【００１０】
画像処理部２４は、Ａ／Ｄ変換器２３からのデータ及びメモリ制御部１５からのデータに対し、所定の画素補間や縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御や測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理等が行われる。更に、画像処理部２４によって得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００１１】
Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５、又はメモリ制御部１５を介してメモリ３２に書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３でデジタルデータに変換された画像データや、表示部２８に表示するための表示用の画像データを格納する。Ｄ／Ａ変換器１３は、メモリ３２に格納されている表示用のデータをアナログ信号に変換する。表示部２８は、ＬＣＤ等の表示器上にＤ／Ａ変換器１３からのアナログ信号に応じた表示を行う。こうして、メモリ３２に書き込まれた表示用の画像データは表示部２８により表示される。
【００１２】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリである。不揮発性メモリ５６は、例えばＥＥＰＲＯＭである。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、例えば後述する各種フローチャートに示す本実施形態における処理を実行するためのプログラムである。
【００１３】
システム制御部５０は、デジタルカメラ１００全体を制御する。システム制御部５０は、例えば不揮発性メモリ５６に記録されたプログラムを実行することで、本実施形態における各処理を実現する。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、及び表示部２８等を制御することにより表示制御も行う。システムメモリ５２は、例えばＲＡＭである。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。
【００１４】
シャッターボタン６１は、撮影指示を行うための操作部である。シャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でシャッタースイッチ信号ＳＷ１が出力される。シャッタースイッチ信号ＳＷ１の出力により、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。また、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でシャッタースイッチ信号ＳＷ２が出力される。システム制御部５０は、シャッタースイッチ信号ＳＷ２の出力により、撮像部２２からの信号読み出しから記録媒体２００への画像データ書き込みまでの一連の撮影処理の動作を開始する。
【００１５】
モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。操作部７０は、システム制御部５０に各種の動作指示を入力する。操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。また、表示部２８上にタッチパネルを設け、表示パネル上を触れることで画面に表示された仮想的な操作部材を通して操作部７０に対する操作を行えるようにしても良い。
【００１６】
電源制御部８０は、電池の装着の有無、電池の種類、電池残量等の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいて、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、デジタルカメラ１００に対して電力を供給する。インターフェース部１８は、半導体メモリや磁気ディスク等から構成される記録媒体２００とのインターフェースである。電源スイッチ７２は、電源オン、電源オフを切り替える。
【００１７】
顔検出部１０４は、メモリ３２からのデータに対し被写体の顔情報の検出を行う。デジタルカメラ１００では、撮影画面内の中央位置１点に対してＡＦ制御を行う中央１点ＡＦや顔検出機能によって検出された撮影画面内の顔に対してＡＦ制御を行う顔ＡＦを用いた撮影が可能である。
【００１８】
ここで、顔検出部１０４による顔検出機能について説明する。以下の顔検出に係る処理は、システム制御部５０の制御下で顔検出部１０４が実行する。顔検出部１０４は、画像データに水平方向バンドパスフィルタを作用させ、更に処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平方向及び垂直方向のバンドパスフィルタにより、画像データからエッジ成分が検出される。その後、顔検出部１０４は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。
【００１９】
そして、顔検出部１０４は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを目の対と判断し、目の対があるもののみ目の候補群として絞り込む。顔検出部１０４は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで顔を検出する。顔検出部１０４は、顔の検出結果に応じて顔情報を出力して処理を終了する。このとき、顔情報をシステムメモリ５２に記憶する。検出された顔情報とは、例えば、顔の大きさ、位置、傾き、また目、口などの器官部の位置情報である。
【００２０】
サーチ処理部１０５は、撮像された画像に係る探索評価処理を行う。サーチ処理部１０５は、メモリ３２に記憶されている被写体の画像データと現在のフレームの画像データに対しある領域毎に比較領域を変えながら各領域での相関処理を行う。サーチ処理部１０５は、例えば下記のような式（１）に従って、メモリ３２に記憶されている探索対象である被写体の画像データと現在のフレームの画像データとの相関値を算出する。
【００２１】
【数１】
0006512938.tif 000002
【００２２】
ここで、Ｙｉ、Ｕｉ、Ｖｉは、現在のフレームにおけるある領域内（ｉ＝０〜Ｍ）の画素値を示しており、Ｙｔｉ、Ｕｔｉ、Ｖｔｉは、比較対象のターゲット画像の画素値を示している。ターゲット画像は、追尾したい被写体の画像データであり、事前にメモリ３２に記憶されている。被写体の画像データは、表示部２８に表示された画像と操作部７０を用いてユーザによって指定された領域を切り出した画像データでもよいし、顔検出部１０４によって検出された顔情報から求められた顔領域を切り出した画像データでもよい。この式（１）は、相関が高いほど小さな値となる。
【００２３】
ここでは、式（１）により相関値を求めるようにしているが、記憶されている被写体の画像データと現在のフレームの画像データとの相関を求める方法は、これに限らない。例えば、ある領域のヒストグラムに基づく相関を求めてもよいし、形状の特徴点の類似状況から相関を求めてもよい。
【００２４】
また、サーチ処理部１０５は、相関処理を行う１つの画像データ内において対象領域の位置をあるサーチステップ毎に移動しながら、すなわちサーチステップの間隔で比較する領域をずらしていくようにして処理を行う。これについては、後述詳しく説明する。
【００２５】
サーチ枠決定部１０６は、サーチ処理部１０５が探索評価処理（相関処理）を行う画像データの対象領域を指定する処理枠（以下、サーチ枠と称す）を決定する。サーチ処理部１０５で相関処理を行うにあたってサーチ枠決定部１０６は、サーチ枠の水平方向のサイズ（水平サイズ）ＷＨ及び垂直方向のサイズ（垂直サイズ）ＷＶを決定する。また、サーチ枠決定部１０６は、相関処理を行う対象領域をどれだけの水平サーチステップＨＳ及び垂直サーチステップＶＳの間隔で水平方向及び垂直方向にそれぞれ移動しながら処理していくかを決定する。
【００２６】
次に、デジタルカメラ１００において表示される被写体の表示枠について、図２を用いて説明する。図２は、表示部２８に表示したライブ画像と被写体とともに表示した表示枠の例を示す図である。図２（ａ）には、被写体が人物である場合の表示画像の例を示しており、人物の顔の位置に表示枠２０１が表示されている。初期状態では、顔検出部１０４で検出された顔情報である顔位置や顔サイズ等から図２（ａ）に示すように表示枠２０１を表示することができる。
【００２７】
図２（ｂ）には、被写体が人物でない場合の表示画像の例を示しており、ここでは車という被写体に表示枠２０２が配置され表示されている。被写体が人物でない場合、例えばユーザが表示部２８に表示された画像を見ながら被写体を操作部７０のひとつであるタッチパネルを操作することによって被写体位置を指定することができる。このように初期状態において、ユーザによって指定された被写体位置に従って表示部２８にて表示枠２０２を表示することを可能にしても良い。
【００２８】
図３は、本実施形態におけるサーチ処理部１０５の構成例を示すブロック図である。図３に示すサーチ処理部３０１は、サーチ枠処理部３０２Ａ、３０２Ｂ、３０２Ｃ、３０２Ｄ及び相関処理部３０３Ａ、３０３Ｂ、３０３Ｃ、３０３Ｄを有する。サーチ枠処理部３０２Ａ〜３０２Ｄは、サーチ枠情報に基づいて、入力されたサーチ対象画像からサーチ枠領域内の画像データに切り出す。すなわち、サーチ枠処理部３０２Ａ〜３０２Ｄは、入力されたサーチ対象画像から、サーチ枠情報によって指定されるサーチ枠領域に対応する部分の画像データを選択して部分画像として切り出す。
【００２９】
相関処理部３０３Ａ〜３０３Ｄは、各サーチ枠処理部３０２Ａ〜３０２Ｄで切り出された部分画像の画像データと被写体画像データとの相関値を求める相関値処理を行う。なお、サーチ枠処理部３０２Ａ〜３０２Ｄにはそれぞれ入力画像に対して別のサーチ枠位置及びサイズを指定することができ、サーチ枠決定部１０６よりそれぞれ個別のサーチ枠位置及びサイズ情報をサーチ枠情報により指定する。
【００３０】
このように、本実施形態におけるサーチ処理部１０５は、並列に配置された複数の相関処理部３０３Ａ〜３０３Ｄとそれに対応するサーチ枠処理部３０２Ａ〜３０２Ｄとを有する。これにより、本実施形態におけるサーチ処理部１０５は、入力されたサーチ対象画像からのサーチ枠領域に対応する部分画像の切り出し並びに切り出した部分画像と被写体画像との相関処理を含む探索評価処理を並列に行うことが可能となっている。なお、図３には、サーチ枠処理部と相関処理部との組を４つ設けた例を示しているが、サーチ枠処理部及び相関処理部の個数はこれに限定されるものではなく、任意である。
【００３１】
次に、図４及び図５を用いて、サーチ処理部１０５によるサーチ処理について説明する。図４（ａ）〜図４（ｈ）は、本実施形態における垂直方向のサーチ処理を説明するための図であり、左端の垂直サーチ領域における垂直方向のサーチ処理の例を示している。
【００３２】
４０１はサーチ対象の画像全体であり、サーチ処理によって被写体画像との相関値を求める対象画像である。４０２は１つの垂直サーチ領域における垂直方向のサーチ処理の領域を示している。図４（ａ）〜図４（ｈ）に示す垂直サーチ処理領域４０２は、画像４０１の左端の場合の例である。垂直サーチ処理領域４０２の幅は、水平方向でのサーチ位置によらず、サーチ枠の幅（サーチ枠の水平サイズ）ＷＨである。
【００３３】
４０３は垂直方向のサーチ処理における画像４０１の処理領域４０２内での画像データの読み出し走査順を示している。本実施形態におけるサーチ処理では、領域４０２内を左上から左下の順に読み出し走査するものとする。４０４〜４１１はサーチ枠を示しており、水平サイズＷＨ及び垂直サイズＷＶである。サーチ枠４０４〜４１１を垂直サーチステップＶＳ（４１２〜４１８）毎に垂直方向に移動することによって、垂直方向に処理対象領域を移動させながら相関処理が行われていく。
【００３４】
図４（ａ）では、サーチ対象の画像における一番左上の領域とターゲット画像（被写体画像）との比較を行うため、図示のようにサーチ枠Ａ１（４０４）を配置し、サーチ枠処理部Ａ（３０２Ａ）で画像切り出しを行い、相関処理部Ａ（３０３Ａ）で相関処理する。図４（ｂ）では、サーチ枠Ａ１（４０４）より垂直サーチステップＶＳ（４１２）だけ下に移動した位置にサーチ枠Ｂ１（４０５）を配置し、サーチ枠処理部Ｂ（３０２Ｂ）で画像切り出しを行い、相関処理部Ｂ（３０３Ｃ）で相関処理する。
【００３５】
図４（ｃ）では、サーチ枠Ｂ１（４０５）より垂直サーチステップＶＳ（４１３）だけ下に移動した位置にサーチ枠Ｃ１（４０６）を配置し、サーチ枠処理部Ｃ（３０２Ｃ）で画像切り出しを行い、相関処理部Ｃ（３０３Ｃ）で相関処理する。図４（ｄ）では、サーチ枠Ｃ１（４０６）より垂直サーチステップＶＳ（４１４）だけ下に移動した位置にサーチ枠Ｄ１（４０７）を配置し、サーチ枠処理部Ｄ（３０２Ｄ）で画像切り出しを行い、相関処理部Ｄ（３０３Ｄ）で相関処理する。
【００３６】
図４（ｅ）では、サーチ枠Ｄ１（４０７）より垂直サーチステップＶＳ（４１５）だけ下に移動した位置にサーチ枠Ａ２（４０８）を配置し、サーチ枠処理部Ａ（３０２Ａ）で画像切り出しを行い、相関処理部Ａ（３０３Ａ）で相関処理する。図４（ｆ）では、サーチ枠Ａ２（４０８）より垂直サーチステップＶＳ（４１６）だけ下に移動した位置にサーチ枠Ｂ２（４０９）を配置し、サーチ枠処理部Ｂ（３０２Ｂ）で画像切り出しを行い、相関処理部Ｂ（３０３Ｂ）で相関処理する。
【００３７】
図４（ｇ）では、サーチ枠Ｂ２（４０９）より垂直サーチステップＶＳ（４１７）だけ下に移動した位置にサーチ枠Ｃ２（４１０）を配置し、サーチ枠処理部Ｃ（３０２Ｃ）で画像切り出しを行い、相関処理部Ｃ（３０３Ｃ）で相関処理する。図４（ｈ）では、サーチ枠Ｃ２（４１０）より垂直サーチステップＶＳ（４１８）だけ下に移動した位置にサーチ枠Ｄ２（４１１）を配置し、サーチ枠処理部Ｄ（３０２Ｄ）で画像切り出しを行い、相関処理部Ｄ（３０３Ｄ）で相関処理する。以上のように垂直方向に繰り返し処理しながら垂直サーチ領域４０２の下端まで相関処理を繰り返し行う。
【００３８】
ここで、図３に示したような４並列処理ができるサーチ処理部１０５で、４つの並列回路を使いまわしながら繰り返して処理を効率良く行うためには、図４（ｅ）に示すようにサーチ枠の配置位置の間５１９に条件式（ＶＳ×Ｎ）≧ＷＶが成り立つ必要がある。すなわち、ある回路に対応するサーチ枠の配置位置の間隔、例えばサーチ枠Ａ１（４０４）とサーチ枠Ａ２（４０８）との配置位置の間隔は条件式（ＶＳ×Ｎ）≧ＷＶが成り立つ必要がある。ここで、ＶＳは垂直サーチステップであり、Ｎはサーチ処理の並列回路数であり、ＷＶはサーチ枠の垂直サイズである。本実施形態におけるサーチ処理部１０５の例では、並列回路数は４でＮ＝４である。
【００３９】
前述した条件式（ＶＳ×Ｎ）≧ＷＶは、サーチ枠Ｂ１（４０５）とサーチ枠Ｂ２（４０９）との間、サーチ枠Ｃ１（４０６）とサーチ枠Ｃ２（４１０）との間、サーチ枠Ｄ１（４０７）とサーチ枠Ｄ２（４１１）との間でも成り立つ必要がある。また、繰り返し処理を行う中で再配置されるサーチ枠との間でも同様の条件が成り立つ必要がある。なお、本例では、サーチ処理部１０５での並列動作できる処理回路の個数が４つの場合を示しているが、他のＮ個の並列回路である場合も同様の条件を満たすことが必要である。
【００４０】
図５（ａ）〜図５（ｆ）は、本実施形態における水平方向のサーチ処理を説明するための図である。図５（ａ）に示す画像データの読み出し走査６０１で、図４（ａ）〜図４（ｈ）で説明した垂直方向のサーチ処理が一通り行われることを示している。これと同様の垂直サーチ処理を水平方向にサーチ領域を水平サーチステップＨＳ（５０７〜５１１）毎に移動しながらサーチ処理を行うことを示している。
【００４１】
図５（ｂ）に示す画像データの読み出し走査５０２では、図５（ａ）に示した画像データの読み出し走査５０１から水平サーチステップＨＳ（５０７）だけ右の領域を読み出し走査して垂直サーチ処理することを示している。図５（ｃ）に示す画像データの読み出し走査５０３では、図５（ｂ）に示した画像データの読み出し走査５０２から水平サーチステップＨＳ（５０８）だけ右の領域を読み出し走査して垂直サーチ処理することを示している。
【００４２】
図５（ｄ）に示す画像データの読み出し走査５０４では、図５（ｃ）に示した画像データの読み出し走査５０３から水平サーチステップＨＳ（５０９）だけ右の領域を読み出し走査して垂直サーチ処理することを示している。図５（ｅ）に示す画像データの読み出し走査５０５では、図５（ｄ）に示した画像データの読み出し走査５０４から水平サーチステップＨＳ（５１０）だけ右の領域を読み出し走査して垂直サーチ処理することを示している。
【００４３】
以上のように水平方向に垂直サーチ処理を行う領域を移動しながら繰り返し垂直サーチ処理を行い、図５（ｆ）に示す画像データの読み出し走査５０６のようにサーチ処理対象画像４０１の右端の領域を読み出し走査して垂直サーチ処理するところまで処理を行う。
【００４４】
図６は、本実施形態におけるサーチ枠決定部１０６及びサーチ処理部１０５での処理例を示すフローチャートである。ステップＳ６０１にて、サーチ枠決定部１０６は、被写体の位置と、被写体の水平サイズＨ及び垂直サイズＶとを取得する。被写体が人物であり、かつ顔検出部１０４で顔が検出された場合には、これらの情報を検出されている顔情報から取得すれば良い。被写体が人物でない場合には、これらの情報を、例えば表示部２８及び操作部７０のひとつであるタッチパネルによるユーザ指定により被写体情報から得るようにしても良い。
【００４５】
ステップＳ６０２にて、サーチ枠決定部１０６は、サーチ枠の水平サイズＷＨ及び垂直サイズＷＶを、それぞれステップＳ６０１において取得した被写体の水平サイズＨ及び垂直サイズＶに決定する。ステップＳ６０３にて、サーチ枠決定部１０６は、ステップＳ６０２において決定したサーチ枠の垂直サイズＷＶ（＝Ｖ）が、式ＶＳ≧（ＷＶ／Ｎ）を満たすか否かを判別する。ここで、ＶＳは垂直サーチステップであり、ＷＶはサーチ枠の垂直サイズであり、Ｎはサーチ処理部１０５で使用する並列回路数である。言い換えれば、垂直サーチステップとサーチ処理部１０５で使用する並列回路数との積がサーチ枠の垂直サイズ以上であるか否かを判別する。第１の実施形態では、初期の垂直サーチステップＶＳは、水平サーチステップＨＳとともに現在のフレームの被写体の位置を求める際の処理時間や被写体位置の精度などから予め決められている。
【００４６】
ステップＳ６０２において決定したサーチ枠の垂直サイズＷＶ（＝Ｖ）が、式ＶＳ≧（ＷＶ／Ｎ）を満たす場合には（ステップＳ６０３のＹｅｓ）、ステップＳ６０４へ進む。ステップＳ６０４にて、サーチ枠決定部１０６は、予め決められている垂直サーチステップＶＳを変更せずに、次のステップＳ６０６へ進む。
【００４７】
ステップＳ６０２において決定したサーチ枠の垂直サイズＷＶ（＝Ｖ）が、式ＶＳ≧（ＷＶ／Ｎ）を満たさない場合には（ステップＳ６０３のＹｅｓ）、ステップＳ６０５へ進む。ステップＳ６０５にて、サーチ枠決定部１０６は、ステップＳ６０２において決定したサーチ枠の垂直サイズＷＶとサーチ処理部１０５で使用する並列回路数Ｎとに基づいて、垂直サーチステップＶＳを変更する。サーチ枠決定部１０６は、サーチ枠の垂直サイズＷＶとサーチ処理部１０５の並列回路数Ｎとから式ＶＳ＝（ＷＶ／Ｎ）で求められた値に垂直サーチステップＶＳを変更し、次のステップＳ６０６へ進む。
【００４８】
ステップＳ６０６にて、サーチ処理部１０５は、サーチ枠決定部１０６で決定したサーチ枠の水平サイズＷＨ及び垂直サイズＷＶと、水平サーチステップＨＳ及び垂直サーチステップＶＳに従ってサーチ処理を行い、被写体位置を取得する。サーチ処理については、指定されたサーチ枠に従ってサーチ対象の画像から部分画像を切り出し、切り出した部分画像と被写体画像との相関処理を、図４及び図５を用いて説明したとおりに比較する領域を変えながら行う。
【００４９】
第１の実施形態によれば、垂直サーチステップとサーチ処理部の並列回路数との積がサーチ枠の垂直サイズ以上でない場合には、垂直サーチステップを、サーチ枠の垂直サイズをサーチ処理部の並列回路数で分けた値に変更する。これにより、垂直サーチステップとサーチ処理部の並列回路数との積がサーチ枠の垂直サイズ以上となる。したがって、サーチ対象の画像データの２度読みやサーチ対象の画像データを一時記憶する余分なメモリなどを必要とせず、回路規模やコストの増大を抑えつつ、処理効率の良い被写体追尾機能等の探索評価処理を実現可能な撮像装置を提供することができる。
【００５０】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態における撮像装置の一例であるデジタルカメラの構成は、第１の実施形態において図１、図２、図３を用いて説明したデジタルカメラの構成と同様である。また、サーチ処理部１０５の動作は、図４及び図５を用いて説明したサーチ処理の動作と同様である。
【００５１】
図７は、第２の実施形態におけるサーチ枠決定部１０６及びサーチ処理部１０５での処理例を示すフローチャートである。ステップＳ７０１にて、サーチ枠決定部１０６は、第１の実施形態におけるステップＳ６０１と同様に、被写体の位置と、被写体の水平サイズＨ及び垂直サイズＶとを取得する。
【００５２】
ステップＳ７０２にて、サーチ枠決定部１０６は、ステップＳ７０１において取得された被写体の垂直サイズＶが、式Ｖ≦（ＶＳ×Ｎ）を満たすか否かを判別する。ここで、Ｖは被写体の垂直サイズであり、ＶＳは垂直サーチステップであり、Ｎはサーチ処理部１０５で使用する並列回路数である。つまり、第１の実施形態と同様に、垂直サーチステップとサーチ処理部の並列回路数との積がサーチ枠の垂直サイズ以上であるか否かを判別する。第２の実施形態では、垂直サーチステップＶＳは、水平サーチステップＨＳとともに現在のフレームの被写体の位置を求める際の処理時間や被写体位置の精度などから予め決められている。
【００５３】
被写体の垂直サイズＶが式Ｖ≦（ＶＳ×Ｎ）を満たす場合には（ステップＳ７０２のＹｅｓ）、ステップＳ７０３へ進む。ステップＳ７０３にて、サーチ枠決定部１０６は、サーチ枠の水平サイズＷＨ及び垂直サイズＷＶを、それぞれステップＳ７０１において取得した被写体の水平サイズＨ及び垂直サイズＶに決定し、ステップＳ７０５へ進む。
【００５４】
他方、被写体の垂直サイズＶが式Ｖ≦（ＶＳ×Ｎ）を満たさない場合には（ステップＳ７０２のＮｏ）、ステップＳ７０４へ進む。ステップＳ７０４にて、サーチ枠決定部１０６は、垂直サーチステップＶＳとサーチ処理部１０５で使用する並列回路数Ｎとから式ＷＶ＝（ＶＳ×Ｎ）で求められる値をサーチ枠の垂直サイズＷＶとして、ステップＳ７０５へ進む。なお、ステップＳ７０４においても、サーチ枠決定部１０６は、サーチ枠の水平サイズＷＨを、ステップＳ７０１において取得した被写体の水平サイズＨに決定する。
【００５５】
ステップＳ７０５にて、サーチ処理部１０５は、サーチ枠決定部１０６で決定したサーチ枠の水平サイズＷＨ及び垂直サイズＷＶと、水平サーチステップＨＳ及び垂直サーチステップＶＳに従ってサーチ処理を行い、被写体位置を取得する。サーチ処理については、指定されたサーチ枠に従ってサーチ対象の画像から部分画像を切り出し、切り出した部分画像と被写体画像との相関処理を、図４及び図５を用いて説明したように比較する領域を変えながら行う。
【００５６】
次に、第２の実施形態での表示枠の表示処理について説明する。図８は、第２の実施形態における表示枠の表示処理の例を示すフローチャートである。被写体の位置を示す表示枠の初期サイズや位置は、図２（ａ）及び図２（ｂ）を用いて説明したように顔検出の結果やユーザ指定によって決まる。その後、ライブビュー表示や動画表示といった連続したフレーム画像を表示している中で被写体に追従して表示枠もサーチ処理結果に従って表示位置を移動する。
【００５７】
ステップＳ８０１にて、サーチ枠決定部１０６においてサーチ枠のサイズを被写体サイズと同じとしたか否かを判別する。同じである場合には（ステップＳ８０１のＹｅｓ）、ステップＳ８０２へ進む。ステップＳ８０２では、サーチ処理結果より得られた最も被写体と相関のあるサーチ枠の位置及びサイズを表示画像とともに表示する表示枠の位置及びサイズとして、表示部２８にて表示させる。なお、相関が高いほど上述した式（１）で得られる値は小さくなるため、相関値をそのまま評価値とするならば、評価値が最も小さいサーチ枠の位置およびサイズを、表示枠の位置及びサイズとして選択する。これに対し、相関値の逆数を評価値とするならば、評価値が最も大きいサーチ枠の位置およびサイズを、表示枠の位置及びサイズとして選択する。
【００５８】
一方、同じでない場合には（ステップＳ８０１のＮｏ）、ステップＳ８０３へ進む。ステップＳ８０３では、表示画像とともに表示する表示枠のサイズは前回表示した表示枠のサイズとする。また、ステップＳ８０４にて、サーチ処理結果より得られた最も被写体と相関のあるサーチ枠の位置及びサイズからサーチ枠の重心位置を求め、求めた重心位置に表示枠の重心位置を移動して表示部２８にて表示させる。
【００５９】
なお、ここではサーチ処理結果に基づいて表示枠の位置を決定する例について説明したが、新たに顔検出結果、及びユーザ指定などがあった場合には、これに従い表示枠の位置やサイズを決定するようにしても良い。
【００６０】
第２の実施形態によれば、垂直サーチステップとサーチ処理部の並列回路数との積がサーチ枠の垂直サイズ以上でない場合には、サーチ枠の垂直サイズを、垂直サーチステップとサーチ処理部の並列回路数との積に変更する。これにより、垂直サーチステップとサーチ処理部の並列回路数との積がサーチ枠の垂直サイズ以上となる。したがって、サーチ対象の画像データの２度読みやサーチ対象の画像データを一時記憶する余分なメモリなどを必要とせず、回路規模やコストの増大を抑えつつ、処理効率の良い被写体追尾機能等の探索評価処理を実現可能な撮像装置を提供することができる。
【００６１】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。なお、第３の実施形態における撮像装置の一例であるデジタルカメラの構成は、第１の実施形態において図１、図２、図３を用いて説明したデジタルカメラの構成と同様である。また、サーチ処理部１０５の動作は、図４及び図５を用いて説明したサーチ処理の動作と同様である。
【００６２】
図９は、第３の実施形態におけるサーチ枠決定部１０６及びサーチ処理部１０５での処理例を示すフローチャートである。ステップＳ９０１にて、サーチ枠決定部１０６は、第１の実施形態におけるステップＳ６０１と同様に、被写体の位置と、被写体の水平サイズＨ及び垂直サイズＶとを取得する。
【００６３】
ステップＳ９０２にて、サーチ枠決定部１０６は、ステップＳ９０１において取得された被写体の垂直サイズＶが、式Ｖ≦（ＶＳ×Ｎ）を満たすか否かを判別する。ここで、Ｖは被写体の垂直サイズであり、ＶＳは垂直サーチステップであり、Ｎはサーチ処理部１０５で使用する並列回路数である。第３の実施形態では、垂直サーチステップＶＳは、水平サーチステップＨＳとともに現在のフレームの被写体の位置を求める際の処理時間や被写体位置の精度などから予め決められている。
【００６４】
被写体の垂直サイズＶが式Ｖ≦（ＶＳ×Ｎ）を満たす場合には（ステップＳ９０２のＹｅｓ）、ステップＳ９０３へ進む。ステップＳ９０３にて、サーチ枠決定部１０６は、サーチ枠の水平サイズＷＨ及び垂直サイズＷＶを、それぞれステップＳ９０１において取得した被写体の水平サイズＨ及び垂直サイズＶに決定し、ステップＳ９０６へ進む。
【００６５】
被写体の垂直サイズＶが式Ｖ≦（ＶＳ×Ｎ）を満たさない場合には（ステップＳ９０２のＮｏ）、ステップＳ９０４へ進む。ステップＳ９０４にて、サーチ枠決定部１０６は、垂直サーチステップＶＳとサーチ処理部１０５で使用する並列回路数Ｎとから式ＷＶ＝（ＶＳ×Ｎ）で求められる値をサーチ枠の垂直サイズＷＶとして、ステップＳ９０５へ進む。続く、ステップＳ９０５にて、サーチ枠決定部１０６は、被写体の水平サイズＨ及び垂直サイズＶとサーチ枠の垂直サイズＷＶとから式ＷＨ＝（Ｈ×Ｖ／ＷＶ）で求められる値をサーチ枠の水平サイズＷＨとして、ステップＳ９０６へ進む。なお、ここでは一例として前記の式にて求める方法を説明したがこれに限らない。
【００６６】
ステップＳ９０６にて、サーチ処理部１０５は、サーチ枠決定部１０６で決定したサーチ枠の水平サイズＷＨ及び垂直サイズＷＶと、水平サーチステップＨＳ及び垂直サーチステップＶＳに従ってサーチ処理を行い、被写体位置を取得する。サーチ処理については、指定されたサーチ枠に従ってサーチ対象の画像から部分画像を切り出し、切り出した部分画像と被写体画像との相関処理を、図４及び図５を用いて説明したように比較する領域を変えながら行う。
【００６７】
ここで、被写体の位置を示す表示枠については、第２の実施形態と同様に、ライブビュー表示や動画表示といった連続したフレーム画像を表示している中で被写体に追従してサーチ処理結果に従って表示位置を移動する。この表示枠のサイズや位置についての処理も第２の実施形態と同様であり、前述した図８に示したフローチャートと同様の処理を行えば良い。
【００６８】
第３の実施形態によれば、第２の実施形態と同様に、回路規模やコストの増大を抑えつつ、処理効率の良い被写体追尾機能等の探索評価処理を実現可能な撮像装置を提供することができる。なお、第１乃至第３の実施形態では、探索評価処理の結果を用いて被写体の表示枠を表示する例をあげて説明を行ったが、これに限られるものではない。探索評価処理の結果を、オートフォーカス、測光、あるいは、ホワイトバランス処理における処理対象の領域の選択や、領域に対する重み付け係数の演算に利用してもよい。あるいは、画像データを記録する際に、被写体が存在する領域を示す情報としてメタデータに含めるようにしてもよい。
【００６９】
（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００７０】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００７１】
１００：撮像装置  ２２：撮像部  ２８：表示部  ３２：メモリ  ５０：システム制御部  ５２：システムメモリ  ７０：操作部  １０４：顔検出部  １０５：サーチ処理部  １０６：サーチ枠決定部  ３０１：サーチ処理部  ３０２Ａ〜３０２Ｄ：サーチ枠処理部  ３０３Ａ〜３０３Ｄ：相関処理部
【図１】
0006512938.tif 000003
【図２】
0006512938.tif 000004
【図３】
0006512938.tif 000005
【図４】
0006512938.tif 000006
【図５】
0006512938.tif 000007
【図６】
0006512938.tif 000008
【図７】
0006512938.tif 000009
【図８】
0006512938.tif 000010
【図９】
0006512938.tif 000011