(57)【要約】【課題】追尾被写体と背景被写体の色が類似していても安定した追尾を実現する。【解決手段】撮像装置は、周期的な撮影によって順次フレーム画像の画像データ（画像情報）を取得する。撮像装置には、フレーム画像上の各画素位置における被写体の被写体距離（ｄ）を検出する手段が備えられている。初期フレーム画像上の特定被写体を追尾被写体として設定し、初期フレーム画像上の追尾被写体の位置情報（ｘO，ｙO）、色情報（ｒO，ｇO，ｂO）及び距離情報（ｄO）を統合した、６次元ベクトルとしての特徴情報（ｘO，ｙO，ｒO，ｇO，ｂO，ｄO）を登録する。その後、初期フレーム画像の取得時以降に得られる追尾対象フレーム画像内に複数のサンプリング点を設けて各サンプリング点の６次元の特徴情報（ｘ，ｙ，ｒ，ｇ，ｂ，ｄ）を抽出し、各サンプリング点の特徴情報と登録特徴情報との比較から追尾被写体の存在位置を判断する。【選択図】図６
2010147762.tif 000002
【特許請求の範囲】
【請求項１】
撮影によって得られた時系列に並ぶ複数の入力画像の画像情報に基づいて前記複数の入力画像より成る動画像内で特定被写体を追尾する追尾処理手段を備えた被写体追尾装置において、
前記入力画像内の各部分画像領域における被写体距離を検出する距離検出処理を各入力画像に対して実行する被写体距離検出手段を更に備え、
前記追尾処理手段は、前記被写体距離検出手段による検出被写体距離をも用いて、前記特定被写体の追尾を行う
ことを特徴とする被写体追尾装置。
【請求項２】
各入力画像内に複数のサンプリング点が設定されて、前記被写体距離検出手段において各サンプリング点における被写体距離が検出され、
前記追尾処理手段は、各サンプリング点の画像情報、各サンプリング点の画像上の位置を表す位置情報、及び、各サンプリング点における検出被写体距離を表す距離情報に基づいて、前記特定被写体の追尾を行う
ことを特徴とする請求項１に記載の被写体追尾装置。
【請求項３】
前記追尾処理手段は、各入力画像の画像情報を加工する加工処理手段を備え、
前記複数の入力画像は、第１入力画像と前記第１入力画像の次に撮影される第２入力画像を含み、
前記加工処理手段は、
前記第１入力画像上の前記特定被写体の存在位置における検出被写体距離を基準距離として、前記第２入力画像内の各部分画像領域における検出被写体距離と前記基準距離との距離差を算出する距離差算出手段と、
前記距離差算出手段によって算出された距離差に応じて、該距離差に対応する前記第２入力画像内の部分画像領域の画像情報をそのまま出力するか或いは所定の加工処理を施してから出力するかを判定する判定手段とを備えて、その判定結果に従った画像情報を出力し、
前記追尾処理手段は、前記加工処理手段から出力される画像情報に基づいて前記特定被写体の追尾を行う
ことを特徴とする請求項１に記載の被写体追尾装置。
【請求項４】
前記被写体距離検出手段は、前記入力画像を撮影する撮像手段の光学系の特性と前記入力画像の画像情報に基づいて、或いは、ステレオカメラを用いて、或いは、前記被写体距離を計測するセンサを用いて、前記距離検出処理を実行する
ことを特徴とする請求項１〜請求項３の何れかに記載の被写体追尾装置。
【請求項５】
前記距離検出処理は、前記入力画像を撮影する撮像手段の光学系の特性と前記入力画像の画像情報に基づいて実行され、
各入力画像に対する前記距離検出処理において、前記被写体距離検出手段は、前記入力画像を表す複数色の色信号に含まれる所定の高域周波数成分を色信号ごとに抽出し、抽出結果と前記光学系の軸上色収差の特性に基づいて前記被写体距離を検出する
ことを特徴とする請求項１〜請求項３の何れかに記載の被写体追尾装置。
【請求項６】
撮像手段と、
請求項１〜請求項５の何れかに記載の被写体追尾装置と、を備え、
前記撮像手段を用いた撮影によって得られた複数の入力画像の画像情報が前記被写体追尾装置に供給される
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像内において特定被写体を追尾する被写体追尾装置、及び、特定被写体の追尾機能を備えるデジタルビデオカメラ等の撮像装置に関する。
【背景技術】
【０００２】
移動被写体を撮影する際に自動的に被写体を追尾して、焦点調整や露出調整などを行う撮像装置が開発されている。このような追尾機能は、周期的な撮影によって得られる撮影画像列の色情報と位置情報に基づいて行われることが多い（例えば特許文献１参照）。尚、色情報に加えて或いは色情報の代わりに、輝度情報が用いられることもある。
【０００３】
色情報及び位置情報に基づく追尾では、まず、追尾開始時における初期撮影画像に基づいて、追尾すべき特定被写体の色を表す色情報と該特定被写体の画像上における位置を表す位置情報を登録する。その後、初期撮影画像の取得時以降に得られる撮影画像内において、登録色情報及び登録位置情報との類似性が高い画像部分を探索し、探索された画像部分に特定被写体が存在していると判断する。探索された画像部分の色情報及び位置情報にて登録色情報及び登録位置情報を次々と更新していくことにより、撮影画像列内において特定被写体が追尾される。
【０００４】
【特許文献１】特開２００８−４６３５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、図３０に示す如く、追尾すべき特定被写体の周辺位置に特定被写体の色と同一色又は類似色の背景被写体が存在する場合、追尾被写体と背景被写体の区別が困難となって追尾が困難となるという問題がある。図３０は、特定被写体の追尾処理がなされるべき撮影画像を表している。この撮影画像は、花壇が設けられた緑色の草むらの上に特定被写体としての人物が立っている状態を撮影することで得られた画像であり、その人物の服の色は背景（草むら）と同じ緑色であることを想定している。
【０００６】
そこで本発明は、追尾の安定性向上に寄与する被写体追尾装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る被写体追尾装置は、撮影によって得られた時系列に並ぶ複数の入力画像の画像情報に基づいて前記複数の入力画像より成る動画像内で特定被写体を追尾する追尾処理手段を備えた被写体追尾装置において、前記入力画像内の各部分画像領域における被写体距離を検出する距離検出処理を各入力画像に対して実行する被写体距離検出手段を更に備え、前記追尾処理手段は、前記被写体距離検出手段による検出被写体距離をも用いて、前記特定被写体の追尾を行うことを特徴とする。
【０００８】
これにより、特定被写体と他の被写体との間に被写体距離差があれば、両被写体の画像情報が類似していたとしても、特定被写体と他の被写体との区別が可能となる。結果、追尾の安定性向上が期待される。
【０００９】
具体的には例えば、各入力画像内に複数のサンプリング点が設定されて、前記被写体距離検出手段において各サンプリング点における被写体距離が検出され、前記追尾処理手段は、各サンプリング点の画像情報、各サンプリング点の画像上の位置を表す位置情報、及び、各サンプリング点における検出被写体距離を表す距離情報に基づいて、前記特定被写体の追尾を行う。
【００１０】
また具体的には例えば、前記追尾処理手段は、各入力画像の画像情報を加工する加工処理手段を備え、前記複数の入力画像は、第１入力画像と前記第１入力画像の次に撮影される第２入力画像を含み、前記加工処理手段は、前記第１入力画像上の前記特定被写体の存在位置における検出被写体距離を基準距離として、前記第２入力画像内の各部分画像領域における検出被写体距離と前記基準距離との距離差を算出する距離差算出手段と、前記距離差算出手段によって算出された距離差に応じて、該距離差に対応する前記第２入力画像内の部分画像領域の画像情報をそのまま出力するか或いは所定の加工処理を施してから出力するかを判定する判定手段とを備えて、その判定結果に従った画像情報を出力し、前記追尾処理手段は、前記加工処理手段から出力される画像情報に基づいて前記特定被写体の追尾を行う。
【００１１】
また具体的には例えば、前記被写体距離検出手段は、前記入力画像を撮影する撮像手段の光学系の特性と前記入力画像の画像情報に基づいて、或いは、ステレオカメラを用いて、或いは、前記被写体距離を計測するセンサを用いて、前記距離検出処理を実行する。
【００１２】
また具体的には例えば、前記距離検出処理は、前記入力画像を撮影する撮像手段の光学系の特性と前記入力画像の画像情報に基づいて実行され、各入力画像に対する前記距離検出処理において、前記被写体距離検出手段は、前記入力画像を表す複数色の色信号に含まれる所定の高域周波数成分を色信号ごとに抽出し、抽出結果と前記光学系の軸上色収差の特性に基づいて前記被写体距離を検出する。
【００１３】
本発明に係る撮像装置は、撮像手段と上記の被写体追尾装置を備える。そして、前記撮像手段を用いた撮影によって得られた複数の入力画像の画像情報が前記被写体追尾装置に供給される。
【発明の効果】
【００１４】
本発明によれば、追尾の安定性向上に寄与する被写体追尾装置及び撮像装置を提供することが可能となる。
【００１５】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第３実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００１７】
図１に、本実施形態に係る撮像装置１の概略全体ブロック図を示す。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。尚、撮影と撮像は同義である。
【００１８】
撮像装置１は、光学系１０と、撮像素子１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。尚、本実施形態では、表示部１５が撮像装置１に設けられていることを想定しているが、表示部１５は、撮像装置１の外部に設けられた表示装置であってもよい。
【００１９】
図２に、光学系１０の内部構成図を示す。光学系１０は、光学系１０の焦点距離を調整して光学ズームを行うためのズームレンズ３０及び焦点位置を調整するためのフォーカスレンズ３１を含むレンズ群と、撮像素子１１への入射光量を調節するための絞り３２と、を備え、所望の画角を有し且つ所望の明るさを有する画像を撮像素子１１の撮像面に結像させる。主制御部１３から与えられる駆動信号に従って、ズームレンズ３０の位置、フォーカスレンズ３１の位置及び絞り３２の開口量が調節され、これによって光学系１０の焦点距離、焦点位置及び絞り値が調節される。
【００２０】
撮像素子１１は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。撮像素子１１は、光学系１０を介して入射した被写体を表す光学像（被写体像）を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子１１は、マトリクス状に二次元配列された複数の受光画素を備え、各受光画素は露光時間（即ち露光期間の長さ）に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。
【００２１】
ＡＦＥ１２は、撮像素子１１から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。
【００２２】
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部として機能する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像素子１１によって撮影された画像を表す映像信号を生成する。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。
【００２３】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。
【００２４】
撮像素子１１を用いた撮影は所定のフレーム周期にて周期的に実行される。１つのフレーム周期分のＡＦＥ１２の出力信号によって表される１枚の静止画像をフレーム画像と呼ぶ。周期的に実行される撮影によってフレーム画像列が形成される。１番目、２番目、・・・（ｎ−１）番目、ｎ番目に得られるフレーム画像を、以下、第１、第２、・・・第（ｎ−１）、第ｎのフレーム画像と呼ぶ（ｎは自然数）。尚、フレーム画像列に代表される画像列とは時系列で並ぶ複数の画像を指し、画像列によって動画像が形成される。
【００２５】
撮像装置１には、フレーム画像列の画像データに基づき、フレーム画像列から成る動画像内において特定の被写体を追尾する機能を備える。以下、追尾されるべき特定の被写体（注目している人物など）を追尾被写体と呼び、追尾被写体以外の被写体（注目していない人物、地面、建物など）を背景又は背景被写体と呼ぶ。尚、或る画像の画像データとは、その画像の色及び輝度を表すデータを指す。画像データを、画像情報と読みかえることもできる。
【００２６】
また、図３に示す如く、任意の二次元画像３００が配置される、空間領域（spatial domain）の二次元座標系ＸＹを定義する。画像３００は、例えば、任意のフレーム画像である。Ｘ軸及びＹ軸は、二次元画像３００の水平方向及び垂直方向に沿った軸である。二次元画像３００は、水平方向及び垂直方向の夫々に複数の画素がマトリクス状に配列されて形成されており、二次元画像３００上の何れかの画素である画素３０１の位置を（ｘ，ｙ）にて表す。本明細書では、画素の位置を、単に画素位置とも言う。ｘ及びｙは、夫々、画素３０１のＸ軸及びＹ軸方向の座標値である。二次元座標系ＸＹにおいて、或る画素の位置が右側に１画素分ずれると該画素のＸ軸方向における座標値は１だけ増大し、或る画素の位置が上側に１画素分ずれると該画素のＹ軸方向における座標値は１だけ増大する。従って、画素３０１の位置が（ｘ，ｙ）である場合、画素３０１の右側、左側、上側及び下側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ―１）にて表される。
【００２７】
以下に、上記追尾に関連する構成及び動作を説明する実施例として、第１〜第３実施例を説明する。矛盾なき限り、或る実施例に記載した事項を、他の実施例に適用することができる。
【００２８】
＜＜第１実施例＞＞
まず、第１実施例を説明する。図４は、追尾機能を担う追尾部５０の内部ブロック図である。追尾部５０は図１の主制御部１３内に設けられ、追尾部５０には被写体距離検出部５１及び追尾演算部５２が設けられる。
【００２９】
被写体距離検出部５１は、フレーム画像の各画素位置（ｘ，ｙ）における被写体の被写体距離を検出し、各画素位置（ｘ，ｙ）における検出被写体距離を二次元的に書き並べた被写体距離マップを生成する。被写体距離マップの生成は、フレーム画像ごとに実行される。画素位置（ｘ，ｙ）における被写体の被写体距離とは、画素位置（ｘ，ｙ）に現れている被写体と撮像装置１（又は撮像素子１１若しくは光学系１０）との間の、実空間上における距離を指す。以下、各被写体距離を検出して被写体距離マップを生成する処理を被写体距離検出処理と呼ぶ。
【００３０】
追尾演算部５２は、フレーム画像の画像データ（画像情報）と被写体距離マップに基づいて追尾被写体を追尾する。この追尾は、追尾被写体が現れている画像領域の位置をフレーム画像列内で順次検出してゆくことで実現される。この追尾結果を様々なアプリケーションに利用することができる。例えば、追尾被写体が合焦するように焦点調整を行ったり、画像上における追尾被写体の明るさが最適となるように露出調整を行ったりすることができる。
【００３１】
被写体距離検出部５１は、上記の被写体距離の検出を、公知の検出方法を含む任意の方法にて実現することができる。例えば、フレーム画像の画像データに被写体距離を表す情報が含まれている場合は、そのフレーム画像の画像データに基づいて被写体距離の検出を行うことができる（この画像データに基づく被写体距離の検出方法例については、他の実施例にて後述される）。
【００３２】
また例えば、ステレオカメラを用いて被写体距離の検出を行うこともできる。即ち、光学系１０及び撮像素子１１を含んで形成される第１カメラ部と同等の第２カメラ部（不図示）を撮像装置１に設け、第１及び第２カメラ部の撮影によって得られた一対のフレーム画像に基づいて被写体距離の検出を行うようにしても良い。周知の如く、ステレオカメラを形成する第１カメラ部と第２カメラ部は互いに異なる位置に配置され、第１カメラ部から得られるフレーム画像と第２カメラ部から得られるフレーム画像との間における画像情報の誤差（即ち、視差（disparity））に基づいて、各画素位置（ｘ，ｙ）の被写体距離を検出することができる。
【００３３】
また例えば、被写体距離を計測する距離センサ（不図示）を撮像装置１に設け、該距離センサの計測結果によって各画素位置（ｘ，ｙ）の被写体距離を検出するようにしてもよい。距離センサは、例えば、撮像装置１の撮影方向に向かって光を放射し、放射した光が被写体に反射して返ってくるまでの時間を計測する。計測した時間に基づいて被写体距離を検出することができ、光の放射方向を変更することで各画素位置（ｘ，ｙ）における被写体距離を検出することができる。
【００３４】
被写体距離検出部５１及び追尾演算部５２による、追尾被写体の追尾動作の流れを説明する。図５及び図６は、この追尾動作の流れを表すフローチャートである。追尾動作では、まず、追尾動作の開始時点におけるフレーム画像が初期フレーム画像として取り扱われて初期フレーム画像に対する初期登録処理がなされる。図５は、この初期登録処理の流れを表している。
【００３５】
初期フレーム画像に続いてフレーム画像が順次撮影される。初期フレーム画像の取得時以降に得られるフレーム画像を、特に、追尾対象フレーム画像とも呼ぶ。初期登録処理後、追尾演算部５２は、被写体距離検出部５１と協働しつつ各追尾対象フレーム画像に対して追尾処理を実行する。即ち、各追尾対象フレーム画像上の追尾被写体の位置を次々と検出する。図６は、追尾対象フレーム画像に対して実行される追尾処理の流れを表している。
【００３６】
まず、図５を参照して初期登録処理を説明する。図５の初期登録処理は、ステップＳ１１〜Ｓ１７の処理から形成される。ステップＳ１２の被写体距離検出処理は被写体距離検出部５１によって実行され、ステップＳ１３〜Ｓ１７の処理は追尾演算部５２によって実行される。
【００３７】
ステップＳ１１において、初期フレーム画像の撮影が行われて、ＡＦＥ１２の出力信号によって表される初期フレーム画像の画像データが追尾演算部５２に入力される。
【００３８】
続くステップＳ１２において、被写体距離検出部５１は、初期フレーム画像に対して被写体距離検出処理を実行することにより、初期フレーム画像の各画素位置（ｘ，ｙ）における検出被写体距離を二次元的に書き並べた被写体距離マップを生成する。本フローチャートでは、初期フレーム画像に対する被写体距離検出処理をステップＳ１３及びＳ１４の処理に先立って実行しているが、被写体距離検出処理をステップＳ１３及びＳ１４の処理と並行して又はそれらの処理後に実行しても構わない。
【００３９】
ステップＳ１３において、追尾被写体の設定及び追尾被写体の存在する画像領域である追尾領域の設定がなされる。この設定方法を、図７を参照して説明する。
【００４０】
図７の画像３１０は、本例における初期フレーム画像を表している。初期フレーム画像３１０には、人物ＳＵＢAと家屋ＳＵＢBが描写されている。追尾演算部５２は、フレーム画像の画像データに基づいてフレーム画像上に存在する顔を検出する顔検出処理を実行可能に形成されており、その顔検出処理を初期フレーム画像３１０に対して実行することで、初期フレーム画像３１０から、人物ＳＵＢAの顔が現れている画像領域である顔領域３１１を抽出する。
【００４１】
その後、初期フレーム画像３１０上における顔領域３１１の位置及び大きさに基づいて、初期フレーム画像３１０上に胴体領域３１２を設定する。胴体領域３１２は、人物ＳＵＢAの胴体部分が現れている画像領域である。胴体領域３１２の位置及び大きさは、顔領域３１１の位置及び大きさを基準にして設定される。そして、人物ＳＵＢAの胴体領域が追尾領域として設定される。初期フレーム画像３１０における追尾領域は胴体領域３１２である。初期フレーム画像３１０の取得時以降に得られる各フレーム画像（追尾対象フレーム画像）上において、追尾領域としての胴体領域が追尾される。本例における追尾被写体は人物ＳＵＢAである。但し、追尾被写体を人物ＳＵＢAの胴体領域と捉えることもできる。
【００４２】
顔検出処理を利用して追尾被写体及び追尾領域を自動的に設定する方法を上述したが、これはあくまで例示であり、それらを任意の方法にて設定することができる。例えば、予め登録された被写体の画像であるテンプレート画像を用い、テンプレートマッチングによって登録被写体が現れている画像領域を初期フレーム画像３１０上で探索し、探索結果から登録被写体を追尾被写体として設定すると共に登録被写体が現れている画像領域を追尾領域に設定するようにしてもよい。或いは例えば、外部からの指示（ユーザ指示）に従って追尾被写体及び追尾領域の設定を行うようにしてもよい。
【００４３】
ステップＳ１３における設定の後、ステップＳ１４において、初期フレーム画像３１０上にサンプル領域が設定されると共に該サンプル領域内に複数のサンプリング点が設定される。この設定について、図８（ａ）及び（ｂ）を参照して説明する。図８（ａ）及び（ｂ）における初期フレーム画像３１０は、図７に示すそれと同じものである。
【００４４】
図８（ａ）における点３１３は、初期フレーム画像３１０における追尾領域の重心位置を表している。図７及び図８（ａ）に示す如く胴体領域３１２が矩形領域である場合、この重心位置は胴体領域３１２の中心位置でもある。初期フレーム画像３１０における追尾領域の重心位置（ｘ，ｙ）を（ｘP，ｙP）にて表すこととする。
【００４５】
追尾演算部５２は、初期フレーム画像３１０上に、追尾領域の重心位置（ｘP，ｙP）を基準とするサンプル領域３１４を設定する。具体的には例えば、重心位置（ｘP，ｙP）を中心とする楕円の内部領域がサンプル領域３１４として設定される。但し、サンプル領域３１４の形状は、楕円に限定されない。即ち例えば、重心位置（ｘP，ｙP）を中心とする真円又は多角形の内部領域をサンプル領域３１４として設定してもよい。サンプル領域３１４の大きさは、初期フレーム画像３１０の追尾領域の大きさに基づいて決定され、追尾領域とその周辺の背景領域を含むようにサンプル領域３１４が設定される。
【００４６】
サンプル領域３１４の設定後、追尾演算部５２は、サンプル領域３１４内に複数のサンプリング点を設定する。複数のサンプリング点は、例えば、水平及び垂直方向に等間隔で配置される。図８（ｂ）において、サンプル領域３１４内に配置される多数の点の夫々はサンプリング点を表している。
【００４７】
上述の如くサンプル領域３１４及びサンプリング点を設定した後、ステップＳ１５において、追尾演算部５２は、初期フレーム画像３１０の画像データから各サンプリング点の位置情報及び色情報を抽出すると共にステップＳ１２にて生成された被写体距離マップから各サンプリング点の距離情報を抽出する。また、それらの情報を統合した特徴情報がサンプリング点ごとに生成される。
【００４８】
１つのサンプリング点の位置情報とは、そのサンプリング点の画像上の位置（ｘ，ｙ）を表す情報である。従って、以下の説明では、位置情報を（ｘ，ｙ）にて参照することがある。
【００４９】
１つのサンプリング点の色情報とは、そのサンプリング点の色を表す情報である。説明の具体化のため、フレーム画像の画像データがＲＧＢ形式で表現されている場合を想定する。従って、フレーム画像の各画素の画素信号はＲ、Ｇ及びＢ信号から形成され、１つのサンプリング点の色情報は、そのサンプリング点に配置される画素のＲ、Ｇ及びＢ信号にて表現される。以下の説明では、Ｒ、Ｇ及びＢ信号の信号値を（ｒ，ｇ，ｂ）にて表現し、サンプリング点の色情報を（ｒ，ｇ，ｂ）にて参照することがある。尚。或る画素についてのＲ、Ｇ及びＢ信号は、その画素の赤、緑及び青の強度を表す。Ｒ、Ｇ及びＢ信号から画素の明るさを表す輝度情報も導出される。従って、Ｒ、Ｇ及びＢ信号によって表される色情報には輝度情報も含まれている。
【００５０】
１つのサンプリング点の距離情報とは、そのサンプリング点に現れている被写体の被写体距離を示す情報である。以下の説明では、被写体距離をｄにて表現し、サンプリング点の距離情報をｄにて参照することがある。
【００５１】
１つのサンプリング点の特徴情報とは、注目したサンプリング点の位置情報（ｘ，ｙ）、色情報（ｒ，ｇ，ｂ）及び距離情報（ｄ）を統合した、６次元のベクトル情報である。注目したサンプリング点の位置情報（ｘ，ｙ）、色情報（ｒ，ｇ，ｂ）及び距離情報（ｄ）を用い、注目したサンプリング点の特徴情報を（ｘ，ｙ，ｒ，ｇ，ｂ，ｄ）にて表現する。
【００５２】
図９（ａ）に、６つの軸を座標軸として有する６次元の特徴空間ＦＳを示す。特徴空間ＦＳにおける６つの軸は、Ｒ信号を表す軸、Ｇ信号を表す軸、Ｂ信号を表す軸、Ｘ軸方向の座標を表す軸、Ｙ軸方向の座標を表す軸及び被写体距離Ｄを表す軸から成る。図９（ｂ）は、この特徴空間ＦＳに、初期フレーム画像３１０上の各サンプリング点の特徴情報（ｘ，ｙ，ｒ，ｇ，ｂ，ｄ）を示す特徴点をプロットした図である。図９（ａ）に示される多数の点の夫々が、プロットされた特徴点である。初期フレーム画像３１０上の追尾領域内のサンプリング点に対応する特徴点は、特徴空間ＦＳ上の破線領域３５１内に集中している。
【００５３】
ステップＳ１５に続くステップＳ１６において、追尾演算部５２は、初期フレーム画像３１０上の追尾領域の特徴情報（ｘ，ｙ，ｒ，ｇ，ｂ，ｄ）から登録特徴情報（ｘO，ｙO，ｒO，ｇO，ｂO，ｄO）を設定する。登録特徴情報は位置情報（ｘO，ｙO）、色情報（ｒO，ｇO，ｂO）及び距離情報（ｄO）を統合したものである。具体的には、ステップＳ１６において、初期フレーム画像３１０上の追尾領域の重心位置（ｘP，ｙP）が（ｘO，ｙO）に代入される。また、初期フレーム画像３１０上の追尾領域内の各サンプリング点における色情報を平均化したものを（ｒP，ｇP，ｂP）にて表し、且つ、初期フレーム画像３１０上の追尾領域内の各サンプリング点における距離情報を平均化したもの（ｄP）にて表す。そうすると、ステップＳ１６では、（ｒP，ｇP，ｂP）が（ｒO，ｇO，ｂO）に代入され且つ（ｄP）が（ｄO）に代入される。即ち、ステップＳ１６では、（ｘO，ｙO，ｒO，ｇO，ｂO，ｄO）＝（ｘP，ｙP，ｒP，ｇP，ｂP，ｄP）に従って登録特徴情報が設定される。
【００５４】
この後、ステップＳ１７において、追尾演算部５２は、特徴空間ＦＳに登録特徴情報に応じた登録特徴領域を設定する。図９（ｂ）の破線領域３５１は、この領域に対応している。図１０を参照して、登録特徴領域の設定方法を説明する。
【００５５】
図１０は、６次元の特徴空間ＦＳを二次元的に表現した図である。また、図１０には、初期フレーム画像３１０上の各サンプリング点の特徴情報（ｘ，ｙ，ｒ，ｇ，ｂ，ｄ）を示す特徴点がプロットされている。図１０に示される多数の点の夫々が、プロットされた特徴点である。但し、説明の便宜上及び図示の煩雑化防止のため、図１０に示される特徴点の個数を、図９（ｂ）のそれに対して少なくしている（実際には両者は同じである）。今、説明の簡単化のため、図８（ｂ）に示す状況と異なるが、初期フレーム画像３１０上の追尾領域（胴体領域３１２）内にサンプリング点が４つのみ含まれている場合を想定し、この４つのサンプリング点に対応する４つの特徴点を符号３６１〜３６４によって参照する。また、追尾領域内のサンプリング点に対応する特徴点を特に追尾対象特徴点と呼び、追尾領域外のサンプリング点に対応する特徴点を特に背景特徴点と呼ぶ。
【００５６】
追尾演算部５２は、追尾対象特徴点３６１〜３６４を内部に含む領域３６０を設定する。特徴空間ＦＳにおける領域３６０の位置、形状及び大きさは、特徴空間ＦＳにおける追尾対象特徴点３６１〜３６４の各位置及び位置関係に基づいて決定される。本例では、二次元的に表現された特徴空間ＦＳにおいて領域３６０の外形が真円となっているものとする。例えば、追尾対象特徴点３６１〜３６４の平均位置を領域３６０の中心位置３６５に設定する。そして、その中心位置３６５と追尾対象特徴点３６１〜３６４の位置との距離に基づき、背景特徴点が領域３６０内に極力含まれないように、追尾対象特徴点３６１〜３６４を内部に含む最小の円領域よりも若干半径の大きい円領域を領域３６０として設定することができる。ステップＳ１７において、領域３６０は登録特徴領域として登録設定される。尚、登録特徴領域の形状は、楕円又は多角形にもなりうる。また、特徴空間ＦＳ（及び後述の特徴空間ＦＳ’）における距離とは、例えば、ユークリッド距離である。
【００５７】
続いて、図６を参照して、図５の初期登録処理の後に実行される追尾処理を説明する。図６の追尾処理は、ステップＳ２１〜Ｓ２７の処理から形成される。ステップＳ２２の被写体距離検出処理は被写体距離検出部５１によって実行され、ステップＳ２３〜Ｓ２７の処理は追尾演算部５２によって実行される。
【００５８】
ステップＳ２１において、追尾対象フレーム画像の撮影が行われて、ＡＦＥ１２の出力信号によって表される追尾対象フレーム画像の画像データが追尾演算部５２に入力される。
【００５９】
続くステップＳ２２において、被写体距離検出部５１は、追尾対象フレーム画像に対して被写体距離検出処理を実行することにより、追尾対象フレーム画像の各画素位置（ｘ，ｙ）における検出被写体距離を二次元的に書き並べた被写体距離マップを生成する。本フローチャートでは、追尾対象フレーム画像に対する被写体距離検出処理をステップＳ２３の処理に先立って実行しているが、被写体距離検出処理をステップＳ２３の処理と並行して又はそれの処理後に実行しても構わない。
【００６０】
ステップＳ２３では、追尾対象フレーム画像上にサンプル領域が設定されると共に該サンプル領域内に複数のサンプリング点が設定される。この設定の様子を、図１１を参照して説明する。図１１の画像４１０は、本例における追尾対象フレーム画像を表している。図７の初期フレーム画像３１０と同じく、追尾対象フレーム画像４１０にも人物ＳＵＢAと家屋ＳＵＢBが存在しているが、両画像撮影間における人物ＳＵＢAの移動により、両画像上における人物ＳＵＢAの位置は相違している。
【００６１】
ステップＳ２３において、追尾演算部５２は、追尾対象フレーム画像４１０上に、登録位置（ｘO，ｙO）を基準とするサンプル領域４１４を設定する。登録位置（ｘO，ｙO）とは、登録特徴情報（ｘO，ｙO，ｒO，ｇO，ｂO，ｄO）を形成する位置情報（ｘO，ｙO）である。具体的には例えば、登録位置（ｘO，ｙO）を中心とする楕円の内部領域がサンプル領域４１４として設定される。但し、サンプル領域３１４と同様、サンプル領域４１４の形状は、楕円に限定されない。単純には例えば、サンプル領域４１４の大きさ及び形状は、初期フレーム画像３１０に対して設定されたサンプル領域３１４（図８（ａ）参照）のそれらと同じとされる。
【００６２】
追尾対象フレーム画像４１０が、初期フレーム画像３１０の次に撮影されるフレーム画像である場合、登録位置（ｘO，ｙO）は初期フレーム画像３１０上の追尾領域の重心位置（ｘP，ｙP）と一致しているため（図５参照）、サンプル領域４１４の中心位置とサンプル領域３１４の中心位置は一致している。
【００６３】
サンプル領域４１４の設定後、追尾演算部５２は、サンプル領域４１４内に複数のサンプリング点を設定する。複数のサンプリング点は、例えば、水平及び垂直方向に等間隔で配置される。
【００６４】
サンプル領域４１４及びサンプリング点の設定後に実行されるステップＳ２４の処理は、図５のステップＳ１５におけるそれと同様である。即ち、ステップＳ２４において、追尾演算部５２は、追尾対象フレーム画像４１０の画像データから各サンプリング点の位置情報（ｘ，ｙ）及び色情報（ｒ，ｇ，ｂ）を抽出すると共にステップＳ２２にて生成された被写体距離マップから各サンプリング点の距離情報（ｄ）を抽出し、それらの情報を統合した特徴情報（ｘ，ｙ，ｒ，ｇ，ｂ，ｄ）をサンプリング点ごとに生成する。
【００６５】
図１２に示す如く、追尾対象フレーム画像４１０上の各サンプリング点の特徴情報を示す特徴点は、特徴空間ＦＳに配置される。図１２は、図１０と同様、６次元の特徴空間ＦＳを二次元的に表現した図であり、図１２に示される多数の点の夫々が特徴点である。この特徴空間ＦＳには、登録特徴領域４６０が設定される。初期フレーム画像３１０が第１のフレーム画像である場合において、追尾対象フレーム画像４１０が第２のフレーム画像であるとき、登録特徴領域４６０は図５のステップＳ１７にて登録特徴領域として設定された領域３６０と同じものであるが（図１０参照）、追尾対象フレーム画像４１０が第２のフレーム画像と異なっていて後述のステップＳ２７の処理が既に１回以上完了しているならば、登録特徴領域４６０は、直前のステップＳ２７の更新処理によって設定された登録特徴領域である。
【００６６】
ステップＳ２４に続くステップＳ２５において、追尾演算部５２は、特徴空間ＦＳに配置された追尾対象フレーム画像４１０についての特徴点の内、登録特徴領域４６０内に位置する特徴点を追尾対象特徴点として抽出する。今、４つの追尾対象特徴点４６１〜４６４が抽出されたものとする（図１２参照）。ステップＳ２５では、追尾対象特徴点の抽出と連動して、追尾対象特徴点４６１〜４６４に対応する４つのサンプリング点も抽出される。追尾が成功している場合、通常、この４つの抽出サンプリング点は、追尾対象フレーム画像４１０上の人物ＳＵＢAの胴体領域内に設定されたサンプリング点である。
【００６７】
ステップＳ２５における抽出処理の後、ステップＳ２６において、追尾演算部５２は、追尾が成功しているか否かを判定し、追尾が成功していると判定した場合はステップＳ２７の処理を実行する一方、追尾が失敗していると判定した場合は追尾処理を終了する。
【００６８】
例えば、ステップＳ２５にて抽出されるサンプリング点の個数を隣接するフレーム画像間で比較することで、追尾の可否判定を行うことができる。より具体的には例えば、追尾対象フレーム画像４１０が第ｎのフレーム画像である場合、第ｎのフレーム画像に対するステップＳ２５の処理により抽出されたサンプリング点の個数ＮＵＭnと第（ｎ−１）のフレーム画像に対するステップＳ２５の処理により抽出されたサンプリング点の個数ＮＵＭn-1を対比し、両者の差の絶対値｜ＮＵＭn−ＮＵＭn-1｜を算出する。但し、第（ｎ−１）のフレーム画像が初期フレーム画像３１０である場合においては、個数ＮＵＭn-1は、初期フレーム画像３１０に対して設定された領域３６０内に属する特徴点（図１０の例において、特徴点３６１〜３６４）の個数である。
【００６９】
そして、絶対値｜ＮＵＭn−ＮＵＭn-1｜が所定の基準値以上である場合に追尾が失敗していると判定し、そうでない場合に追尾が成功していると判定する。追尾処理は、隣接フレーム画像間における画像変化は小さいという前提の下で行われるため、上記絶対値が異常に大きくなる状態は、追尾が適切にできていない状態に対応していると考えられるからである。
【００７０】
追尾が成功していると判定された場合に実行されるステップＳ２７において、追尾演算部５２は、ステップＳ２５にて抽出されたサンプリング点（追尾対象特徴点４６１〜４６４に対応するサンプリング点）の位置情報（ｘ，ｙ）、色情報（ｒ，ｇ，ｂ）及び距離情報（ｄ）に基づいて、登録特徴情報（ｘO，ｙO，ｒO，ｇO，ｂO，ｄO）を更新すると共に登録特徴領域を更新する。
【００７１】
具体的には、追尾対象特徴点４６１〜４６４に対応するサンプリング点の位置（ｘ，ｙ）の平均位置（ｘQ，ｙQ）、追尾対象特徴点４６１〜４６４に対応するサンプリング点の色情報（ｒ，ｇ，ｂ）を平均化することによって得られる色情報（ｒQ，ｇQ，ｂQ）、及び、追尾対象特徴点４６１〜４６４に対応するサンプリング点の被写体距離の平均距離（ｄQ）を導出し、（ｘO，ｙO，ｒO，ｇO，ｂO，ｄO）＝（ｘQ，ｙQ，ｒQ，ｇQ，ｂQ，ｄQ）が満たされるように登録特徴情報を更新する。
【００７２】
また、図１３に示す如く、特徴空間ＦＳにおいて追尾対象特徴点４６１〜４６４の平均位置４６５が導出され、平均位置４６５を中心とする領域４７０が新たな登録特徴領域として設定される（即ち、登録特徴領域が更新される）。更新後の登録特徴領域４７０の形状及び大きさは、更新前の登録特徴領域４６０のそれらと同じとされる。但し、特徴空間ＦＳ上の追尾対象特徴点４６１〜４６４の位置に応じて、登録特徴領域４７０の形状及び大きさを、登録特徴領域４６０のそれらから変更してもよい。
【００７３】
ステップＳ２７における更新処理の完了後、ステップＳ２１に戻り、新たな追尾対象フレーム画像が撮影されると、上述のステップＳ２１〜Ｓ２７から成る追尾処理が再度実行される。
【００７４】
図３０を参照して説明したように、色情報を用いて追尾を行う従来方法では、追尾被写体の周辺位置に追尾被写体の色と同一色又は類似色の背景被写体が存在する場合、追尾被写体と背景被写体の区別が困難となって追尾が困難となるという問題があった。これに対し、第１実施例に係る方法によれば、追尾被写体の周辺位置に追尾被写体の色と同一色又は類似色の背景被写体が存在する場合であっても、追尾被写体の被写体距離と背景被写体の被写体距離との相違から追尾被写体と背景被写体との区別が可能となり、結果、安定した追尾が可能となる。
【００７５】
＜＜第２実施例＞＞
次に第２実施例を説明する。図１４は、第２実施例に係る追尾機能を担う追尾部６０の内部ブロック図である。追尾部６０は図１の主制御部１３内に設けられ、追尾部６０には被写体距離検出部５１、追尾演算部６２及び画像加工部６３が設けられる。追尾演算部６２は、図４の追尾演算部５２に対応する部位である。第１実施例にて説明した事項は、矛盾なき限り、第２実施例にも適用される。後に詳説されるが、第２実施例では、特徴空間ＦＳの代わりに特徴空間ＦＳ’が利用される。第１実施例にて説明した事項を第２実施例に適用する場合、第１実施例の説明文中における追尾演算部５２及び特徴空間ＦＳは、適宜、追尾演算部６２及び特徴空間ＦＳ’に読み替えられる。
【００７６】
第２実施例に係る被写体距離検出部５１は、第１実施例に係るそれと同じものである。追尾演算部６２は、画像加工部６３から与えられた画像データと被写体距離検出部５１にて生成された被写体距離マップに基づいて追尾被写体を追尾する。この追尾は、追尾被写体が現れている画像領域の位置をフレーム画像列内で順次検出してゆくことで実現される。第１実施例で述べたように、この追尾結果を様々なアプリケーションに利用することができる。
【００７７】
画像加工部６３は、フレーム画像の画像データに対して被写体距離マップに応じた加工処理を施し、加工処理後の画像データを追尾演算部６２に与える。但し、加工処理が施されるのは追尾対象フレーム画像のみであり、初期フレーム画像に対して加工処理は施されない。
【００７８】
第２実施例に係る追尾動作の流れを説明する。図１５及び図１６は、この追尾動作の流れを表すフローチャートである。追尾動作では、まず、追尾動作の開始時点におけるフレーム画像が初期フレーム画像として取り扱われて初期フレーム画像に対する初期登録処理がなされ、その後に各追尾対象フレーム画像に対して追尾処理が実行される。図１５は、この初期登録処理の流れを表しており、図１６は、追尾対象フレーム画像に対して実行される追尾処理の流れを表している。
【００７９】
図１５の初期登録処理は、ステップＳ１１〜Ｓ１６及びＳ１７ａの処理から形成される。ステップＳ１１〜Ｓ１６の処理内容は、第１実施例で説明したものと同じである。ステップＳ１１にて初期フレーム画像の画像データが画像演算部６２に入力され、ステップＳ１２〜Ｓ１５の処理を介してステップＳ１６にて登録特徴情報（ｘO，ｙO，ｒO，ｇO，ｂO，ｄO）が設定される。その後、第２実施例では、ステップＳ１７ａの処理が実行される。
【００８０】
ステップＳ１７ａでは、５つの軸を座標軸として有する５次元の特徴空間ＦＳ’に注目する。図１７は、特徴空間ＦＳ’を示している。特徴空間ＦＳ’における５つの軸は、Ｒ信号を表す軸、Ｇ信号を表す軸、Ｂ信号を表す軸、Ｘ軸方向の座標を表す軸及びＹ軸方向の座標を表す軸から成る。そして、６次元ベクトルの登録特徴情報（ｘO，ｙO，ｒO，ｇO，ｂO，ｄO）に含まれる５次元ベクトルの登録特徴情報（ｘO，ｙO，ｒO，ｇO，ｂO）に注目し、特徴空間ＦＳ’に５次元ベクトルの登録特徴情報（ｘO，ｙO，ｒO，ｇO，ｂO）に応じた登録特徴領域を設定する。
【００８１】
５次元の特徴空間ＦＳ’には、初期フレーム画像３１０上の各サンプリング点の特徴情報（ｘ，ｙ，ｒ，ｇ，ｂ）を示す特徴点がプロットされる。ここにおける特徴情報（ｘ，ｙ，ｒ，ｇ，ｂ）は、注目したサンプリング点の位置情報（ｘ，ｙ）と色情報（ｒ，ｇ，ｂ）を統合した情報であり、距離情報（ｄ）を含まない。６次元の特徴空間ＦＳを図１０のように表現したのと同様、５次元の特徴空間ＦＳ’も二次元的に表現することができる。図１８は、特徴空間ＦＳ’を二次元的に表現した図である。図１８には、初期フレーム画像３１０上の各サンプリング点の特徴情報（ｘ，ｙ，ｒ，ｇ，ｂ）を示す特徴点がプロットされている。今、第１実施例と同様、初期フレーム画像３１０上の追尾領域（胴体領域３１２）内にサンプリング点が４つのみ含まれている場合を想定し、この４つのサンプリング点に対応する４つの特徴点（追尾対象特徴点）を符号３６１ａ〜３６４ａによって参照する。追尾演算部６２は、第１実施例に示した方法と同様の方法を用い、追尾対象特徴点３６１ａ〜３６４ａの位置に基づいて、登録特徴領域３６０ａの内部に追尾対象特徴点３６１ａ〜３６４ａが含まれるように特徴空間ＦＳ’に登録特徴領域３６０ａを設定する。特徴空間ＦＳ’において、追尾対象特徴点３６１ａ〜３６４ａの平均位置に登録特徴領域３６０ａの中心位置３６５ａを設定することができる。
【００８２】
続いて、図１６を参照して、図１５の初期登録処理の後に実行される追尾処理を説明する。図１６の追尾処理は、ステップＳ３１〜Ｓ３８の処理から形成される。ステップＳ３２の被写体距離検出処理は被写体距離検出部５１によって実行され、Ｓ３３の処理は画像加工部６３によって実行され、ステップＳ３４〜Ｓ３８の処理は追尾演算部６２によって実行される。
【００８３】
まず、ステップＳ３１において、追尾対象フレーム画像の撮影が行われて、ＡＦＥ１２の出力信号によって表される追尾対象フレーム画像の画像データが画像加工部６３に入力される。続くステップＳ３２の処理内容は、第１実施例にて説明したステップＳ２２のそれと同じである。即ち、追尾対象フレーム画像に対する被写体距離検出処理によって、追尾対象フレーム画像に対する被写体距離マップが生成される。
【００８４】
その後、ステップＳ３３において、画像加工部６３は、被写体距離マップから各画素位置（ｘ，ｙ）における被写体距離ｄを抽出して、各画素位置（ｘ，ｙ）における被写体距離ｄと登録特徴情報に含まれる被写体距離ｄOとの差の絶対値を求める。即ち、各画素位置（ｘ，ｙ）に対して距離差｜ｄ−ｄO｜を算出する。そして、距離差｜ｄ−ｄO｜が所定の基準距離ｄREF以下となる画像領域の画像データをそのまま追尾演算部６２に出力する一方、距離差｜ｄ−ｄO｜が基準距離ｄREFより大きい画像領域の画像データに対しては所定の加工処理を施し、加工処理後の画像データを追尾演算部６２に出力する。
【００８５】
距離差｜ｄ−ｄO｜が基準距離ｄREF以下となる画像領域は、追尾被写体の画像データが存在する画像領域又は追尾被写体の被写体距離と同程度の被写体距離を有する他の被写体の画像データが存在する画像領域と推定される。一方、距離差｜ｄ−ｄO｜が基準距離ｄREFより大きい画像領域は、背景被写体の画像データが存在する画像領域と推定される。以下、便宜上、距離差｜ｄ−ｄO｜が基準距離ｄREF以下となる画像領域を第１部分画像領域と呼び、距離差｜ｄ−ｄO｜が基準距離ｄREFより大きい画像領域を第２部分画像領域と呼ぶ。第１及び第２部分画像領域の夫々は、追尾対象フレーム画像の全画像領域の一部であり、第１及び第２部分画像領域を合わせたものが追尾対象フレーム画像の全画像領域である。画像加工部６３から出力される、加工処理のなされていない第１部分画像領域内の画像データと加工処理後の第２部分画像領域内の画像データとを合わせたものを、単に、加工画像データと呼ぶ。以下、加工画像データによって表される追尾対象フレーム画像（即ち、加工処理後の追尾対象フレーム画像）を符号４１０ａにて参照する。加工処理の具体例については後述される。
【００８６】
ステップＳ３３に続くステップＳ３４において、追尾演算部６２は、加工画像データによって表される追尾対象フレーム画像４１０ａ上に、登録位置（ｘO，ｙO）を基準としてサンプル領域を設定すると共に該サンプル領域内に複数のサンプリング点を設定する。追尾対象フレーム画像４１０ａに対するサンプル領域及びサンプリング点の設定方法は、ステップＳ２３（図６参照）にて説明した追尾対象フレーム画像４１０に対するそれと同じである。
【００８７】
その後、ステップＳ３５において、追尾演算部６２は、加工画像データから各サンプリング点の位置情報（ｘ，ｙ）及び色情報（ｒ，ｇ，ｂ）を抽出し、それらを統合した５次元ベクトルの特徴情報（ｘ，ｙ，ｒ，ｇ，ｂ）をサンプリング点ごとに生成する。
【００８８】
図１９に示す如く、追尾対象フレーム画像４１０ａ上の各サンプリング点の位置情報（ｘ，ｙ）及び色情報（ｒ，ｇ，ｂ）を示す特徴点は、特徴空間ＦＳ’に配置される。図１９は、図１８と同様、５次元の特徴空間ＦＳ’を二次元的に表現した図であり、図１９に示される多数の点の夫々が特徴点である。この特徴空間ＦＳ’には、登録特徴領域４６０ａが設定される。初期フレーム画像３１０が第１のフレーム画像である場合において、追尾対象フレーム画像４１０ａが第２のフレーム画像に基づく画像であるとき、登録特徴領域４６０ａは図１５のステップＳ１７ａにて登録特徴領域として設定された領域３６０ａと同じものであるが（図１８参照）、追尾対象フレーム画像４１０ａが第２のフレーム画像と異なっていて後述のステップＳ３８の処理が既に１回以上完了しているならば、登録特徴領域４６０ａは、直前のステップＳ３８の更新処理によって設定された登録特徴領域である。
【００８９】
ステップＳ３５に続くステップＳ３６において、追尾演算部６２は、特徴空間ＦＳ’に配置された追尾対象フレーム画像４１０ａについての特徴点の内、登録特徴領域４６０ａ内に位置する特徴点を追尾対象特徴点として抽出する。今、４つの追尾対象特徴点４６１ａ〜４６４ａが抽出されたものとする（図１９参照）。ステップＳ３６では、追尾対象特徴点の抽出と連動して、追尾対象特徴点４６１ａ〜４６４ａに対応する４つのサンプリング点も抽出される。追尾が成功している場合、通常、この４つの抽出サンプリング点は、追尾対象フレーム画像４１０ａ上の人物ＳＵＢAの胴体領域内に設定されたサンプリング点である。
【００９０】
ステップＳ３６における抽出処理の後、ステップＳ３７において、追尾演算部６２は、追尾が成功しているか否かを判定し、追尾が成功していると判定した場合はステップＳ３８の処理を実行する一方、追尾が失敗していると判定した場合は追尾処理を終了する。
【００９１】
例えば、ステップＳ３６にて抽出されるサンプリング点の個数を隣接するフレーム画像間で比較することで、追尾の可否判定を行うことができる。この判定方法は、第１実施例に係るステップＳ２６のそれと同様である（図６参照）。即ち例えば、追尾対象フレーム画像４１０ａが第ｎのフレーム画像に基づく画像である場合、第ｎのフレーム画像に対するステップＳ３６の処理により抽出されたサンプリング点の個数ＮＵＭnと第（ｎ−１）のフレーム画像に対するステップＳ３６の処理により抽出されたサンプリング点の個数ＮＵＭn-1を対比し、両者の差の絶対値｜ＮＵＭn−ＮＵＭn-1｜に基づいて追尾の成否判定を行うことができる。但し、第（ｎ−１）のフレーム画像が初期フレーム画像３１０である場合においては、個数ＮＵＭn-1は、初期フレーム画像３１０に対して設定された領域３６０ａ内に属する特徴点（図１８の例において、特徴点３６１ａ〜３６４ａ）の個数である。
【００９２】
追尾が成功していると判定された場合に実行されるステップＳ３８において、追尾演算部６２は、ステップＳ３６にて抽出されたサンプリング点（追尾対象特徴点４６１ａ〜４６４ａに対応するサンプリング点）の位置情報（ｘ，ｙ）、色情報（ｒ，ｇ，ｂ）及び距離情報（ｄ）に基づいて、６次元ベクトルの登録特徴情報（ｘO，ｙO，ｒO，ｇO，ｂO，ｄO）を更新すると共に登録特徴領域を更新する。登録特徴情報（ｘO，ｙO，ｒO，ｇO，ｂO，ｄO）の更新方法は、第１実施例にかかるステップＳ２７のそれと同様である。
【００９３】
また、図２０に示す如く、特徴空間ＦＳ’において追尾対象特徴点４６１ａ〜４６４ａの平均位置４６５ａが導出され、平均位置４６５ａを中心とする領域４７０ａが新たな登録特徴領域として設定される（即ち、登録特徴領域が更新される）。更新後の登録特徴領域４７０ａの形状及び大きさは、更新前の登録特徴領域４６０ａのそれらと同じとされる。但し、特徴空間ＦＳ’上の追尾対象特徴点４６１ａ〜４６４ａの位置に応じて、登録特徴領域４７０ａの形状及び大きさを、登録特徴領域４６０ａのそれらから変更してもよい。
【００９４】
ステップＳ３８における更新処理の完了後、ステップＳ３１に戻り、新たな追尾対象フレーム画像が撮影されると、上述のステップＳ３１〜Ｓ３８から成る追尾処理が再度実行される。
【００９５】
ステップＳ３３にて実行される加工処理の具体例について説明する。１つの画素位置（ｘW，ｙW）に注目する。被写体距離マップから抽出された、注目画素位置（ｘW，ｙW）の被写体距離がｄWであるとする。
【００９６】
注目画素位置（ｘW，ｙW）におけるＲ、Ｇ及びＢ信号を（ｒW，ｇW，ｂW）にて表す。画像加工部６３は、ＲＧＢ空間上のＲ、Ｇ及びＢ信号（ｒW，ｇW，ｂW）をＨＳＩ変換（HSI transformation）によってＨＳＩ空間上の色相、彩度及び明度データに変換してから色相、彩度及び明度データに必要に応じて加工処理を施し、加工処理後の色相、彩度及び明度データを、ＨＳＩ逆変換（inverse HSI transformation）によって再びＲＧＢ空間上のＲ、Ｇ及びＢ信号に変換する。このＨＳＩ逆変換によって得られたＲ、Ｇ及びＢ信号を（ｒW’，ｇW’，ｂW’）にて表す。Ｒ、Ｇ及びＢ信号（ｒW’，ｇW’，ｂW’）が、注目画素位置（ｘW，ｙW）の加工画像データとして追尾演算部６２に出力される。
【００９７】
図２１に、被写体距離ｄWに応じた加工処理の内容例を示す。即ち例えば、不等式「ｄO−ｄREF≦ｄW≦ｄO−ｄREF」が成立する場合、画像加工部６３は、注目画素位置（ｘW，ｙW）の画素信号に対して加工処理を行わず、入力されたＲ、Ｇ及びＢ信号（ｒW，ｇW，ｂW）をそのままＲ、Ｇ及びＢ信号（ｒW’，ｇW’，ｂW’）として出力する。
【００９８】
一方、不等式「ｄO−ｄREF≦ｄW≦ｄO−ｄREF」が成立しない場合、画像加工部６３は、注目画素位置（ｘW，ｙW）の彩度若しくは明度又はそれらの双方を低下させる加工処理を実行し、加工処理後の色相、彩度及び明度データをＨＳＩ逆変換することによって得たＲ、Ｇ及びＢ信号（ｒW’，ｇW’，ｂW’）を出力する。注目画素位置（ｘW，ｙW）の彩度若しくは明度又はそれらの双方を低下させる度合いを、距離差｜ｄW−ｄO｜が増大するに従って徐々に増大させるとよい。但し、彩度及び明度には当然に下限が存在する。上述のような彩度や明度に対する加工処理を追尾対象フレーム画像の各画素位置に対して実行することにより、追尾対象フレーム画像の全画素位置における加工画像データが得られる。
【００９９】
図２２（ａ）及び（ｂ）の画像５００及び５０１は、夫々、加工処理前の追尾対象フレーム画像及び加工処理後の追尾対象フレーム画像の例を示している。画像５００は、花壇が設けられた緑色の草むらの上に追尾被写体としての人物が立っている状態を撮影することで得られた画像であり、その人物の服の色は背景（草むら）と同じ緑色であることを想定している。加工処理前の画像５００では、背景被写体としての草むらの色と追尾被写体としての人物の服の色が同一又は類似しているため、色情報及び位置情報に基づく追尾は難しくなることが多い。しかしながら、図２２（ｂ）に示す如く、加工処理によって、追尾被写体の被写体距離からかけ離れた被写体距離を有する背景被写体の彩度及び／又は明度が低下せしめられるため、色情報及び位置情報に基づく追尾が安定的に可能となる。つまり、第１実施例と同様の効果が得られる。
【０１００】
尚、上述の説明では、色相、彩度及び明度の三属性に注目し、加工処理によって注目画素位置の彩度や明度を変更させているが、加工処理によって、画像情報における他の属性を変更するようにしてもよい。例えば、加工処理によって輝度を変更するようにしてもよい。
【０１０１】
＜＜第３実施例＞＞
次に第３実施例を説明する。第３実施例では、被写体距離検出処理の方法例を説明する。第３実施例で説明する方法を、図４又は図１４の被写体距離検出部５１にて実行される被写体距離検出処理に適用することができる。第３実施例に係る被写体距離検出処理では、図１の光学系１０が比較的大きな所定の軸上色収差を有していることを想定し、その軸上色収差を積極的に利用する。
【０１０２】
図２３、図２４（ａ）〜（ｃ）及び図２５を参照して、撮像装置１に用いられるレンズ１０Ｌの特性を説明する。レンズ１０Ｌは、光学系１０を１つのレンズと見立てたものであり、レンズ１０Ｌは比較的大きな所定の軸上色収差を有している。従って、図２３に示す如く、点光源６００からレンズ１０Ｌに向かう光６０１は、レンズ１０Ｌによって青色光６０１Ｂ、緑色光６０１Ｇ及び赤色光６０１Ｒに分離され、青色光６０１Ｂ、緑色光６０１Ｇ及び赤色光６０１Ｒは、互いに異なる結像点６０２Ｂ、６０２Ｇ及び６０２Ｒ上に結像する。青色光６０１Ｂ、緑色光６０１Ｇ及び赤色光６０１Ｒは、夫々、光６０１の青、緑及び赤成分である。
【０１０３】
レンズ１０Ｌの中心から結像点６０２Ｂ、６０２Ｇ及び６０２Ｒまでの距離を、図２５に示す如く、それぞれＸＢ、ＸＧ及びＸＲにて表す。そうすると、レンズ１０Ｌが有する軸上色収差により、不等式「ＸＢ＜ＸＧ＜ＸＲ」が成立する。また、レンズ１０Ｌの中心から撮像素子１１までの距離をＸISにて表す。図２５では、「ＸＢ＜ＸＧ＜ＸＲ＜ＸIS」が成立しているが、点光源６００とレンズ１０Ｌの中心までの距離６１０（図２３参照）が変化することによって、距離ＸＢ、ＸＧ及びＸＲと距離ＸISとの大小関係は変化する。点光源６００が注目した被写体であると考えれば、距離６１０は、注目した被写体にとっての被写体距離である。
【０１０４】
図２４（ａ）〜（ｃ）は、被写体距離としての距離６１０が変化することによって結像点６０２Ｂ、６０２Ｇ及び６０２Ｒの位置が変化する様子を示した図である。図２４（ａ）は、距離６１０が比較的小さな距離であって「ＸＢ＝ＸIS」が成立する時の、結像点６０２Ｂ、６０２Ｇ及び６０２Ｒと撮像素子１１の位置関係を示している。図２４（ｂ）は、距離６１０が図２４（ａ）の状態から増大することによって「ＸＧ＝ＸIS」が成立する時の、結像点６０２Ｂ、６０２Ｇ及び６０２Ｒと撮像素子１１の位置関係を示している。図２４（ｃ）は、距離６１０が図２４（ｂ）の状態から更に増大することによって「ＸＲ＝ＸIS」が成立する時の、結像点６０２Ｂ、６０２Ｇ及び６０２Ｒと撮像素子１１の位置関係を示している。
【０１０５】
距離ＸISが距離ＸＢ、ＸＧ、ＸＢと一致する時におけるレンズ１０Ｌの位置は、夫々、青色光６０１Ｂ、緑色光６０１Ｇ、赤色光６０１Ｒに対するレンズ１０Ｌの合焦位置である。従って、「ＸＢ＝ＸIS」、「ＸＧ＝ＸIS」、「ＸＲ＝ＸIS」が成立する場合においては、夫々、青色光６０１Ｂ、緑色光６０１Ｇ、赤色光６０１Ｒに対して完全にピントが合った状態の画像が撮像素子１１から得られる。但し、青色光６０１Ｂに対して完全にピントが合った状態の画像においては、緑色光６０１Ｇ及び赤色光６０１Ｒの像がぼける。緑色光６０１Ｇ及び赤色光６０１Ｒに対して完全にピントが合った状態の画像についても同様である。また、「ＸＢ＝ＸIS」、「ＸＧ＝ＸIS」及び「ＸＲ＝ＸIS」の何れもが成立しない場合に撮像素子１１から得られた画像上においては、青色光６０１Ｂ、緑色光６０１Ｇ及び赤色光６０１Ｒの像が全てぼける。
【０１０６】
本実施例において、被写体距離検出部５１に入力される初期フレーム画像又は追尾対象フレーム画像を被演算画像と呼ぶ。図２６の曲線６２０Ｂ、６２０Ｇ及び６２０Ｒは、被写体距離と被演算画像のＢ、Ｇ及びＲ信号の解像度との関係を示している。解像度とは、画像の画素数を表すものではなく、画像上で表現可能な最大の空間周波数を指す。換言すれば、ここにおける解像度とは、画像上にどの程度まで細かなものを再現できるかを表す尺度であり、解像力とも呼ばれる。解像度と被写体距離との関係を表すグラフにおいて、横軸及び縦軸は夫々被写体距離及び解像度を表し、横軸上を左から右に向かうにつれて対応する被写体距離は増大すると共に縦軸上を下から上に向かうにつれて対応する解像度は増大する。
【０１０７】
被写体距離ＤＤB、ＤＤG及びＤＤRは、夫々、図２４（ａ）に対応する「ＸＢ＝ＸIS」、図２４（ｂ）に対応する「ＸＧ＝ＸIS」及び図２４（ｃ）に対応する「ＸＲ＝ＸIS」が成立する場合における被写体距離である。従って、「ＤＤB＜ＤＤG＜ＤＤR」が成立する。
【０１０８】
曲線６２０Ｂに示す如く、被演算画像のＢ信号の解像度は、被写体距離が距離ＤＤBである時に最大となり、被写体距離が距離ＤＤBを起点として減少又は増大するにつれて減少する。同様に、曲線６２０Ｇに示す如く、被演算画像のＧ信号の解像度は、被写体距離が距離ＤＤGである時に最大となり、被写体距離が距離ＤＤGを起点として減少又は増大するにつれて減少する。同様に、曲線６２０Ｒに示す如く、被演算画像のＲ信号の解像度は、被写体距離が距離ＤＤRである時に最大となり、被写体距離が距離ＤＤRを起点として減少又は増大するにつれて減少する。
【０１０９】
上述した解像度の定義から分かるように、被演算画像のＢ信号の解像度は、被演算画像上のＢ信号の最大空間周波数を表す（Ｇ及びＲ信号についても同様）。或る信号の解像度が比較的高ければ、その信号には高域周波数成分が比較的多く含まれる。或る信号に含まれる周波数成分の内、所定の周波数以上の周波数成分を高域周波数成分（以下、高域成分と略記する）と呼び、所定の周波数未満の周波数成分を低域周波数成分（以下、低域成分と略記する）と呼ぶ。
【０１１０】
このように、被写体距離が比較的近い被写体（例えば、被写体距離がＤＤBの被写体）に対してはＢ信号に高域成分が含まれ、被写体距離が比較的遠い被写体（例えば、被写体距離がＤＤRの被写体）に対してはＲ信号に高域成分が含まれ、被写体距離が中程度の被写体（例えば、被写体距離がＤＤGの被写体）に対してはＧ信号に高域成分が含まれる。この特性を利用して、被演算画像の注目画像領域内のＢ、Ｇ及びＲ信号の高域成分から、その注目画像領域内の被写体の被写体距離を推定することができる。
【０１１１】
また、被写体距離が分かれば、青色光６０１Ｂ、緑色光６０１Ｇ及び赤色光６０１Ｒの画像の点広がり関数（Point Spread Function）が決まるので、点広がり関数の逆関数を用いて、それらの画像のぼけを除去することも可能である。
【０１１２】
上述の原理に基づく被写体距離検出部５１の内部ブロック図の例を、図２７に示す。図２７の被写体距離検出部５１は、ＨＰＦ（ハイパスフィルタ）１０１Ｇ、１０１Ｒ及び１０１Ｂ、ＬＰＦ（ローパスフィルタ）１０２Ｇ、１０２Ｒ及び１０２Ｂ、演算部１０３及び距離推定部１０４を備える。被演算画像のＧ、Ｒ及びＢ信号を、それぞれＧ０、Ｒ０及びＢ０にて表し、Ｇ、Ｒ及びＢ信号を色信号とも呼ぶ。被演算画像の色信号Ｇ０、Ｒ０及びＢ０は、被写体距離検出部５１に入力される。また、被演算画像の画素位置（ｘ，ｙ）における色信号Ｇ０、Ｒ０及びＢ０を夫々Ｇ０（ｘ，ｙ）、Ｒ０（ｘ，ｙ）及びＢ０（ｘ，ｙ）にて表す。
【０１１３】
ＨＰＦ１０１Ｇ、１０１Ｒ及び１０１Ｂは、同一構成及び同一特性を有する、二次元の空間フィルタである。ＨＰＦ１０１Ｇ、１０１Ｒ及び１０１Ｂは、入力信号Ｇ０、Ｒ０及びＢ０をフィルタリングすることによって、信号Ｇ０、Ｒ０及びＢ０に含まれる所定の高域成分Ｇｈ、Ｒｈ及びＢｈを抽出する。画素位置（ｘ，ｙ）に対して抽出された高域成分Ｇｈ、Ｒｈ及びＢｈを、夫々、Ｇｈ（ｘ，ｙ）、Ｒｈ（ｘ，ｙ）及びＢｈ（ｘ，ｙ）にて表す。
【０１１４】
空間フィルタは、空間フィルタに対する入力信号をフィルタリングすることにより得た信号を出力する。空間フィルタによるフィルタリングとは、注目画素位置（ｘ，ｙ）における入力信号と注目画素位置（ｘ，ｙ）の周辺位置における入力信号とを用いて空間フィルタの出力信号を得る操作を指す。注目画素位置（ｘ，ｙ）における入力信号の値をＩIN（ｘ，ｙ）にて表し、注目画素位置（ｘ，ｙ）に対する空間フィルタの出力信号をＩO（ｘ，ｙ）にて表した場合、両者は下記式（１）の関係を満たす。ｈ（ｕ，ｖ）は、空間フィルタの位置（ｕ，ｖ）におけるフィルタ係数を表す。式（１）に従う空間フィルタのフィルタサイズは（２ｗ＋１）×（２ｗ＋１）である。ｗは自然数である。
【０１１５】
【数１】
2010147762.tif 000003
【０１１６】
ＨＰＦ１０１Ｇは、ラプラシアンフィルタなどの、入力信号の高域成分を抽出して出力する空間フィルタであり、注目画素位置（ｘ，ｙ）における入力信号Ｇ０（ｘ，ｙ）と注目画素位置（ｘ，ｙ）の周辺位置における入力信号（Ｇ０（ｘ＋１，ｙ＋１）などを含む）を用いて、注目画素位置（ｘ，ｙ）に対する出力信号Ｇｈ（ｘ，ｙ）を得る。ＨＰＦ１０１Ｒ及び１０１Ｂについても同様である。
【０１１７】
ＬＰＦ１０２Ｇ、１０２Ｒ及び１０２Ｇは、同一構成及び同一特性を有する、二次元の空間フィルタである。ＬＰＦ１０２Ｇ、１０２Ｒ及び１０２Ｇは、入力信号Ｇ０、Ｒ０及びＢ０をフィルタリングすることによって、信号Ｇ０、Ｒ０及びＢ０に含まれる所定の低域成分ＧＬ、ＲＬ及びＢＬを抽出する。画素位置（ｘ，ｙ）に対して抽出された低域成分ＧＬ、ＲＬ及びＢＬを、夫々、ＧＬ（ｘ，ｙ）、ＲＬ（ｘ，ｙ）及びＢＬ（ｘ，ｙ）にて表す。「ＧＬ（ｘ，ｙ）＝Ｇ０（ｘ，ｙ）−Ｇｈ（ｘ，ｙ）、ＲＬ（ｘ，ｙ）＝Ｒ０（ｘ，ｙ）−Ｒｈ（ｘ，ｙ）及びＢＬ（ｘ，ｙ）＝Ｂ０（ｘ，ｙ）−Ｂｈ（ｘ，ｙ）」に従って、低域成分ＧＬ（ｘ，ｙ）、ＲＬ（ｘ，ｙ）及びＢＬ（ｘ，ｙ）を求めるようにしてもよい。
【０１１８】
演算部１０３は、色信号ごとに且つ画素位置ごとに、上述のようにして得られた高域成分を低域成分にて正規化することにより、値Ｇｈ（ｘ，ｙ）／ＧＬ（ｘ，ｙ）、Ｒｈ（ｘ，ｙ）／ＲＬ（ｘ，ｙ）及びＢｈ（ｘ，ｙ）／ＢＬ（ｘ，ｙ）を求める。更に、色信号ごとに且つ画素位置ごとに、それらの絶対値Ｇｈｈ（ｘ，ｙ）＝｜Ｇｈ（ｘ，ｙ）／ＧＬ（ｘ，ｙ）｜、Ｒｈｈ（ｘ，ｙ）＝｜Ｒｈ（ｘ，ｙ）／ＲＬ（ｘ，ｙ）｜、及び、Ｂｈｈ（ｘ，ｙ）＝｜Ｂｈ（ｘ，ｙ）／ＢＬ（ｘ，ｙ）｜も求める。
【０１１９】
演算部１０３にて得られる信号Ｇｈｈ、Ｒｈｈ及びＢｈｈと被写体距離との関係を図２８に示す。絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）は、夫々信号Ｇｈｈ、Ｒｈｈ及びＢｈｈの位置（ｘ，ｙ）における値である。曲線６５０Ｇ、６５０Ｒ及び６５０Ｂは、夫々、被写体距離の変化に対して信号Ｇｈｈ、Ｒｈｈ及びＢｈｈがどのように変化していくかをプロットしたものである。図２６の曲線６２０Ｇと図２８の曲線６５０Ｇとの比較から分かるように、信号Ｇｈｈの被写体距離依存性は、信号Ｇ０の解像度の被写体距離依存性と同一又は類似している（信号Ｒｈｈ及びＢｈｈについても同様）。信号Ｇ０の解像度の増減に連動して、信号Ｇ０の高域成分Ｇｈ及びそれの絶対値に比例する信号Ｇｈｈも増減するからである。
【０１２０】
距離推定部１０４は、絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）に基づいて、画素位置（ｘ，ｙ）における被写体の被写体距離ＤＩＳＴ（ｘ，ｙ）を推定する。この推定方法を、図２９を参照して説明する。距離推定部１０４では、まず、０＜ＤA＜ＤBを満たす、２つの被写体距離ＤA及びＤBが予め定義される。距離推定部１０４は、絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）の内、何れが最大であるかに応じて被写体距離の推定方法を変更する。絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）の内、Ｂｈｈ（ｘ，ｙ）が最大である場合をケース１と呼び、Ｇｈｈ（ｘ，ｙ）が最大である場合をケース２と呼び、Ｒｈｈ（ｘ，ｙ）が最大である場合をケース３と呼ぶ。
【０１２１】
ケース１においては、画素位置（ｘ，ｙ）における被写体の被写体距離は比較的小さいと判断して、０＜ＤＩＳＴ（ｘ，ｙ）＜ＤAが満たされる範囲内で、Ｒｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）から被写体距離ＤＩＳＴ（ｘ，ｙ）を求める。図２９の線分６６１は、ケース１における、Ｒｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）と被写体距離ＤＩＳＴ（ｘ，ｙ）の関係を示している。Ｂｈｈ（ｘ，ｙ）が最大となるケース１においては、図２８に示す如く、画素（ｘ，ｙ）に対応する被写体距離が増大するにつれてＧｈｈ（ｘ，ｙ）及びＲｈｈ（ｘ，ｙ）が共に増大するが、被写体距離の増大に対するＧｈｈ（ｘ，ｙ）及びＲｈｈ（ｘ，ｙ）の増大の程度は、Ｇｈｈ（ｘ，ｙ）の方が高いと考えられる。従って、ケース１においては、Ｒｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）が減少につれてＤＩＳＴ（ｘ，ｙ）が増大するように被写体距離ＤＩＳＴ（ｘ，ｙ）を求める。
【０１２２】
ケース２においては、画素位置（ｘ，ｙ）における被写体の被写体距離は中程度であると判断して、ＤA≦ＤＩＳＴ（ｘ，ｙ）＜ＤBが満たされる範囲内で、Ｂｈｈ（ｘ，ｙ）／Ｒｈｈ（ｘ，ｙ）から被写体距離ＤＩＳＴ（ｘ，ｙ）を求める。図２９の線分６６２は、ケース２における、Ｂｈｈ（ｘ，ｙ）／Ｒｈｈ（ｘ，ｙ）と被写体距離ＤＩＳＴ（ｘ，ｙ）の関係を示している。Ｇｈｈ（ｘ，ｙ）が最大となるケース２においては、図２８に示す如く、画素（ｘ，ｙ）に対応する被写体距離が増大するにつれてＢｈｈ（ｘ，ｙ）が減少する一方でＲｈｈ（ｘ，ｙ）が増大する。従って、ケース２においては、Ｒｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）が減少につれてＤＩＳＴ（ｘ，ｙ）が増大するように被写体距離ＤＩＳＴ（ｘ，ｙ）を求める。
【０１２３】
ケース３においては、画素位置（ｘ，ｙ）における被写体の被写体距離は比較的大きいと判断して、ＤB＜ＤＩＳＴ（ｘ，ｙ）が満たされる範囲内で、Ｂｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）から被写体距離ＤＩＳＴ（ｘ，ｙ）を求める。図２９の線分６６３は、ケース３における、Ｂｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）と被写体距離ＤＩＳＴ（ｘ，ｙ）の関係を示している。Ｒｈｈ（ｘ，ｙ）が最大となるケース３においては、図２８に示す如く、画素（ｘ，ｙ）に対応する被写体距離が増大するにつれてＧｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）が共に減少するが、被写体距離の増大に対するＧｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）の減少の程度は、Ｇｈｈ（ｘ，ｙ）の方が高いと考えられる。従って、ケース３においては、Ｂｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）が増大につれてＤＩＳＴ（ｘ，ｙ）が増大するように被写体距離ＤＩＳＴ（ｘ，ｙ）を求める。
【０１２４】
図２６の曲線６２０Ｇ、６２０Ｒ及び６２０Ｂによって表される色信号の解像度の被写体距離依存性並びにそれに応じた信号Ｇｈｈ、Ｒｈｈ及びＢｈｈの被写体距離依存性（図２８参照）は、光学系１０の有する軸上色収差の特性によって定まり、その軸上色収差の特性は撮像装置１の設計段階にて定まる。また、信号Ｇｈｈ、Ｒｈｈ及びＢｈｈの被写体距離依存性を表す曲線６５０Ｇ、６５０Ｒ及び６５０Ｂの形状から、図２９の線分６６１〜６６３を定めることができる。故に、光学系１０の有する軸上色収差の特性から、Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）とＤＩＳＴ（ｘ，ｙ）との関係を予め定めておくことができる。実際には例えば、その関係を格納したＬＵＴ（ルックアップテーブル）を距離推定部１０４に設けておき、Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）を該ＬＵＴに与えることでＤＩＳＴ（ｘ，ｙ）を得ればよい。
【０１２５】
被演算画像の全画素位置に対して求められた被写体距離ＤＩＳＴ（ｘ，ｙ）によって、第１及び第２実施例で述べた被写体距離マップを形成することができる。
【０１２６】
尚、被演算画像には軸上色収差に由来する画像ぼけが含まれることになる。但し、注目画素位置（ｘ，ｙ）における被写体距離ＤＩＳＴ（ｘ，ｙ）が分かれば、軸上色収差の特性から注目画素位置（ｘ，ｙ）における各色信号の点広がり関数が決まるため、点広がり関数の逆関数を被演算画像に作用させることで、軸上色収差に由来する被演算画像のぼけを除去することができる。ここにおける点広がり関数は、軸上色収差に由来する画像のぼけを劣化として捉えた時の画像劣化関数である。
【０１２７】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈６を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１２８】
［注釈１］
上述の実施形態では、サンプリング点の画像情報、位置情報及び距離情報に基づいて追尾被写体の追尾を実行し、サンプリング点の画像情報としてＲ、Ｇ及びＢ信号から成る色情報を用いている。しかしながら、Ｒ、Ｇ及びＢ信号から成る色情報の代わりに、Ｒ、Ｇ及びＢ信号から成る色情報と異なる他の情報をサンプリング点の画像情報として用いて追尾を行うようしてもよい。
【０１２９】
例えば、上記他の情報に、サンプリング点の輝度を表す輝度情報を含めることができる。或いは例えば、上記他の情報に、サンプリング点の色相を表す色相情報及びサンプリング点の彩度を表す彩度情報を含めることができ、更に、サンプリング点の明度を表す明度情報を含めるようにしてもよい。
【０１３０】
［注釈２］
上述の実施形態では、追尾被写体が人物（又は人物の特定部位）である場合を例示したが、追尾被写体は人物（又は人物の特定部位）以外でもよい。例えば、追尾被写体は、自動車等の車両や移動するロボットであってもよい。
【０１３１】
［注釈３］
上述の実施形態では、フレームを単位として考え、フレーム画像列に対して追尾処理を含む各種の処理を行っているが、フィールドを単位として考え、フィールド画像列に対して、それらの処理を行うようにしてもよい。
【０１３２】
［注釈４］
上述の実施形態では、位置情報、画像情報としての色情報及び距離情報を用いて追尾処理を行っているが、追尾被写体の形状を表す形状情報をも更に用いて追尾処理を行うことで、更に追尾の安定性向上を図っても良い。形状情報を用いた追尾処理として、公知の方法（例えば、SIFT(Scale Invariant Feature Transform) 特徴量を用いた方法）を含む任意の方法を利用することができる。
【０１３３】
［注釈５］
追尾機能を担う追尾部（５０、６０）が撮像装置１内に設けられている例を上述したが、追尾機能を担う追尾部（５０、６０）を撮像装置１の外部装置（画像処理装置など；不図示）に設けるようにしてもよい。この場合、その外部装置に含まれる追尾部（５０、６０）に対して、撮像装置１の撮影によって得られた画像データを供給することにより、その外部装置に含まれる追尾部（５０、６０）にて追尾被写体の追尾が行われる。
【０１３４】
［注釈６］
撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、追尾部（５０、６０）内で実行される処理の全部又は一部は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
【図面の簡単な説明】
【０１３５】
【図１】本発明の実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１の光学系の内部構成図である。
【図３】空間領域の二次元座標系と二次元画像を示す図である。
【図４】本発明の第１実施例に係る追尾部の内部ブロック図である。
【図５】本発明の第１実施例に係る初期登録処理の動作フローチャートである。
【図６】本発明の第１実施例に係る追尾処理の動作フローチャートである。
【図７】初期登録処理に注目される初期フレーム画像の例を示す図である。
【図８】図７の初期フレーム画像に対してサンプル領域が設定される様子（ａ）と、図７の初期フレーム画像に対してサンプル領域及びサンプリング点が設定される様子（ｂ）を示す図である。
【図９】本発明の第１実施例において定義される６次元の特徴空間を示す図（ａ）と、その特徴空間に初期フレーム画像のサンプリング点に対応する特徴点をプロットした図（ｂ）である。
【図１０】６次元の特徴空間を２次元的に表現した図であって、該特徴空間に、初期フレーム画像のサンプリング点に対応する特徴点をプロットした図である。
【図１１】追尾処理に注目される追尾対象フレーム画像の例を示す図である。
【図１２】６次元の特徴空間を２次元的に表現した図であって、該特徴空間に、追尾対象フレーム画像のサンプリング点に対応する特徴点をプロットした図である。
【図１３】６次元の特徴空間を２次元的に表現した図であって、追尾対象特徴点と背景特徴点を分類する境界（登録特徴領域の境界）の更新方法を説明するための図である。
【図１４】本発明の第２実施例に係る追尾部の内部ブロック図である。
【図１５】本発明の第２実施例に係る初期登録処理の動作フローチャートである。
【図１６】本発明の第２実施例に係る追尾処理の動作フローチャートである。
【図１７】本発明の第２実施例において定義される５次元の特徴空間を示す図である。
【図１８】５次元の特徴空間を２次元的に表現した図であって、該特徴空間に、初期フレーム画像のサンプリング点に対応する特徴点をプロットした図である。
【図１９】５次元の特徴空間を２次元的に表現した図であって、該特徴空間に、追尾対象フレーム画像のサンプリング点に対応する特徴点をプロットした図である。
【図２０】５次元の特徴空間を２次元的に表現した図であって、追尾対象特徴点と背景特徴点を分類する境界（登録特徴領域の境界）の更新方法を説明するための図である。
【図２１】図１４の画像加工部によって実行される加工処理の内容例を説明するための図である。
【図２２】図１４の画像加工部による加工処理前後の追尾対象フレーム画像を示す図である。
【図２３】本発明の第３実施例に係り、レンズが有する軸上色収差の特性を説明するための図である。
【図２４】本発明の第３実施例に係り、点光源、軸上色収差を有するレンズ、各色光の結像点及び撮像素子の位置関係を示す図であって、（ａ）は点光源及びレンズ間距離が比較的小さい場合のそれを、（ａ）は点光源及びレンズ間距離が中程度である場合のそれを、（ｃ）は点光源及びレンズ間距離が比較的大きい場合のそれを表す。
【図２５】本発明の第３実施例に係り、点光源、軸上色収差を有するレンズ及び撮像素子の位置関係を示す図である。
【図２６】本発明の第３実施例に係り、軸上色収差を有するレンズを介して得られた画像における色信号の解像度特性を示す図である。
【図２７】本発明の第３実施例に係る被写体距離検出部の内部ブロック図である。
【図２８】図２７の被写体距離検出部内にて生成される値の特性を示す図である。
【図２９】図２７の被写体距離検出部内にて生成される値と被写体距離との関係を示す図である。
【図３０】従来技術に係り、追尾すべき特定被写体と背景の色が類似している様子を示す図である。
【符号の説明】
【０１３６】
１  撮像装置
１０  光学系
１１  撮像素子
１２  ＡＦＥ
１３  主制御部
５０、６０  追尾部
５１  被写体距離検出部
５２、６２  追尾演算部
６３  画像加工部
ＦＳ、ＦＳ’  特徴空間
【図１】
2010147762.tif 000004
【図２】
2010147762.tif 000005
【図３】
2010147762.tif 000006
【図４】
2010147762.tif 000007
【図５】
2010147762.tif 000008
【図６】
2010147762.tif 000009
【図７】
2010147762.tif 000010
【図８】
2010147762.tif 000011
【図９】
2010147762.tif 000012
【図１０】
2010147762.tif 000013
【図１１】
2010147762.tif 000014
【図１２】
2010147762.tif 000015
【図１３】
2010147762.tif 000016
【図１４】
2010147762.tif 000017
【図１５】
2010147762.tif 000018
【図１６】
2010147762.tif 000019
【図１７】
2010147762.tif 000020
【図１８】
2010147762.tif 000021
【図１９】
2010147762.tif 000022
【図２０】
2010147762.tif 000023
【図２１】
2010147762.tif 000024
【図２３】
2010147762.tif 000025
【図２４】
2010147762.tif 000026
【図２５】
2010147762.tif 000027
【図２６】
2010147762.tif 000028
【図２７】
2010147762.tif 000029
【図２８】
2010147762.tif 000030
【図２９】
2010147762.tif 000031
【図３０】
2010147762.tif 000032
【図２２】
2010147762.tif 000033