(57)【要約】【課題】被写体をより安定して追尾する。【解決手段】被写体マップ生成部７１は、入力画像が有する特徴毎の、入力画像の現フレームの所定領域における特徴量を示す特徴量マップから、特徴量毎の重み係数に基づいて、現フレームにおける被写体の領域らしさを示す被写体マップを生成し、被写体候補領域矩形化部７２は、被写体マップにおいて、被写体の候補となる領域を含む矩形領域を求め、被写体領域選択部７３は、注目すべき被写体が含まれる矩形領域である被写体領域を、矩形領域についての領域情報に基づいて、矩形領域から選択し、重み係数算出部７４は、現フレームの特徴量毎の特徴量マップ上の、被写体領域に対応する領域における特徴量のうち、相対的に大きい特徴量に対応する、次フレームの特徴量マップに対して重み付けする重み係数を算出する。本発明は、例えば、撮影装置に適用することができる。【選択図】図１
2011146826.tif 000002
【特許請求の範囲】
【請求項１】
入力画像が有する特徴毎の、前記入力画像の現フレームの所定領域における特徴量を示す特徴量マップから、前記特徴量毎の重み係数に基づいて、前記現フレームにおける被写体の領域らしさを示す被写体マップを生成する被写体マップ生成手段と、
前記被写体マップにおいて、前記被写体の候補となる領域を含む矩形領域を求める被写体候補領域矩形化手段と、
注目すべき前記被写体が含まれる前記矩形領域である被写体領域を、前記矩形領域についての領域情報に基づいて、前記矩形領域から選択する被写体領域選択手段と、
前記現フレームの前記特徴量毎の前記特徴量マップ上の、前記被写体領域に対応する領域における前記特徴量のうち、相対的に大きい前記特徴量に対応する、前記現フレームより時間的に後の後フレームの特徴量マップに対して重み付けする前記重み係数を算出する重み係数算出手段と
を備える画像処理装置。
【請求項２】
前記被写体マップ生成手段は、
前記現フレームから、前記特徴量毎に前記特徴量マップを生成する特徴量マップ生成手段と、
前記特徴量マップから、複数の、所定の帯域の特徴量を示す帯域特徴量マップを生成する帯域特徴量マップ生成手段と、
前記特徴量毎に、前記帯域特徴量マップを合成する帯域特徴量マップ合成手段と、
前記帯域特徴量マップが合成された、前記特徴量毎の合成特徴量マップを合成することで、前記被写体マップを生成する合成特徴量マップ合成手段と
を備え、
前記帯域特徴量マップ合成手段は、前記帯域特徴量マップに対して、前記特徴量毎および前記帯域毎の前記重み係数に基づいて重み付けして合成し、
前記重み係数算出手段は、前記現フレームの、前記所定の帯域についての前記特徴量毎の前記帯域特徴量マップ上の、前記被写体領域に対応する領域における前記特徴量のうち、相対的に大きい前記特徴量に対応する前記後フレームの帯域特徴量マップに対して重み付けする前記重み係数を算出する
請求項１に記載の画像処理装置。
【請求項３】
前記被写体マップ生成手段は、
前記現フレームから、前記特徴量毎に前記特徴量マップを生成する特徴量マップ生成手段と、
前記特徴量マップから、複数の、所定の帯域の特徴量を示す帯域特徴量マップを生成する帯域特徴量マップ生成手段と、
前記特徴量毎に、前記帯域特徴量マップを合成する帯域特徴量マップ合成手段と、
前記帯域特徴量マップが合成された、前記特徴量毎の合成特徴量マップを合成することで、前記被写体マップを生成する合成特徴量マップ合成手段と
を備え、
前記合成特徴量マップ合成手段は、前記合成特徴量マップを、前記特徴量毎の前記重み係数に基づいて重み付けして合成し、
前記重み係数算出手段は、前記現フレームの、前記特徴量毎の前記合成特徴量マップ上の、前記被写体領域に対応する領域における前記特徴量のうち、相対的に大きい前記特徴量に対応する前記後フレームの合成特徴量マップに対して重み付けする前記重み係数を算出する
請求項１に記載の画像処理装置。
【請求項４】
前記領域情報は、前記被写体マップ上の前記矩形領域の中心座標またはサイズであり、
前記被写体領域選択手段は、前記矩形領域から、前記現フレームより時間的に前の前フレームにおいて選択された前記被写体領域の中心座標またはサイズに最も近い中心座標またはサイズを有する前記矩形領域を、前記被写体領域として選択する
請求項１に記載の画像処理装置。
【請求項５】
前記領域情報は、前記被写体マップ上の前記矩形領域における前記特徴量の積分値またはピーク値であり、
前記被写体領域選択手段は、前記矩形領域から、前記現フレームより時間的に前の前フレームにおいて選択された前記被写体領域における前記特徴量の積分値またはピーク値に最も近い前記特徴量の積分値またはピーク値を有する前記矩形領域を、前記被写体領域として選択する
請求項１に記載の画像処理装置。
【請求項６】
入力画像が有する特徴毎の、前記入力画像の現フレームの所定領域における特徴量を示す特徴量マップから、前記特徴量毎の重み係数に基づいて、前記現フレームにおける被写体の領域らしさを示す被写体マップを生成する被写体マップ生成ステップと、
前記被写体マップにおいて、前記被写体の候補となる領域を含む矩形領域を求める被写体候補領域矩形化ステップと、
注目すべき前記被写体が含まれる前記矩形領域である被写体領域を、前記矩形領域についての領域情報に基づいて、前記矩形領域から選択する被写体領域選択ステップと、
前記現フレームの前記特徴量毎の前記特徴量マップ上の、前記被写体領域に対応する領域における前記特徴量のうち、相対的に大きい前記特徴量に対応する、前記現フレームより時間的に後の後フレームの特徴量マップに対して重み付けする前記重み係数を算出する重み係数算出ステップと
を含む画像処理方法。
【請求項７】
入力画像が有する特徴毎の、前記入力画像の現フレームの所定領域における特徴量を示す特徴量マップから、前記特徴量毎の重み係数に基づいて、前記現フレームにおける被写体の領域らしさを示す被写体マップを生成する被写体マップ生成ステップと、
前記被写体マップにおいて、前記被写体の候補となる領域を含む矩形領域を求める被写体候補領域矩形化ステップと、
注目すべき前記被写体が含まれる前記矩形領域である被写体領域を、前記矩形領域についての領域情報に基づいて、前記矩形領域から選択する被写体領域選択ステップと、
前記現フレームの前記特徴量毎の前記特徴量マップ上の、前記被写体領域に対応する領域における前記特徴量のうち、相対的に大きい前記特徴量に対応する、前記現フレームより時間的に後の後フレームの特徴量マップに対して重み付けする前記重み係数を算出する重み係数算出ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、被写体をより安定して追尾するようにする画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、撮像装置によって撮像された画像において、ユーザによって選択された被写体を追尾し、その被写体の位置に応じて撮像に関するパラメータ（焦点位置や明るさ等）を最適に調整することが行われている。
【０００３】
例えば、入力画像の所定のフレームにおいて、最初にユーザによって選択された被写体における、輝度情報や色情報等の特徴量を抽出し、次フレームにおいて、その特徴量に一致する特徴量を有する領域を近傍から検索することで被写体を追尾する手法がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−７２３３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した手法では、最初にユーザによって選択された被写体の一部の領域についての特徴量を基に被写体を追尾するので、被写体全体の領域のいずれかの座標または一部の領域しか同定できず、被写体全体を安定して追尾することはできない。
【０００６】
また、入力画像における、被写体への照明光（例えば、色温度、照度等）や被写体の姿勢、サイズ（撮像装置と被写体との距離）等の被写体の状態の変動によって、最初にユーザによって選択された被写体のうちの一部の領域についての特徴量が変化すると、被写体の追尾に失敗してしまう。例えば、特徴量として、最初にユーザによって選択された被写体の一部の領域の色情報が抽出された場合、その色情報を有する領域を追尾するが、被写体が回転する等して選択された、その被写体の一部が隠れてしまうと、その色情報を有する領域が入力画像から存在しなくなり、被写体の追尾に失敗してしまう。これは、特徴量としての輝度情報や色情報の出にくい低照度下でも起こり得る。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、特に、被写体をより安定して追尾するようにするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面の画像処理装置は、入力画像が有する特徴毎の、前記入力画像の現フレームの所定領域における特徴量を示す特徴量マップから、前記特徴量毎の重み係数に基づいて、前記現フレームにおける被写体の領域らしさを示す被写体マップを生成する被写体マップ生成手段と、前記被写体マップにおいて、前記被写体の候補となる領域を含む矩形領域を求める被写体候補領域矩形化手段と、注目すべき前記被写体が含まれる前記矩形領域である被写体領域を、前記矩形領域についての領域情報に基づいて、前記矩形領域から選択する被写体領域選択手段と、前記現フレームの前記特徴量毎の前記特徴量マップ上の、前記被写体領域に対応する領域における前記特徴量のうち、相対的に大きい前記特徴量に対応する、前記現フレームより時間的に後の後フレームの特徴量マップに対して重み付けする前記重み係数を算出する重み係数算出手段とを備える。
【０００９】
前記被写体マップ生成手段には、前記現フレームから、前記特徴量毎に前記特徴量マップを生成する特徴量マップ生成手段と、前記特徴量マップから、複数の、所定の帯域の特徴量を示す帯域特徴量マップを生成する帯域特徴量マップ生成手段と、前記特徴量毎に、前記帯域特徴量マップを合成する帯域特徴量マップ合成手段と、前記帯域特徴量マップが合成された、前記特徴量毎の合成特徴量マップを合成することで、前記被写体マップを生成する合成特徴量マップ合成手段とを設け、前記帯域特徴量マップ合成手段には、前記帯域特徴量マップに対して、前記特徴量毎および前記帯域毎の前記重み係数に基づいて重み付けして合成させ、前記重み係数算出手段には、前記現フレームの、前記所定の帯域についての前記特徴量毎の前記帯域特徴量マップ上の、前記被写体領域に対応する領域における前記特徴量のうち、相対的に大きい前記特徴量に対応する前記後フレームの帯域特徴量マップに対して重み付けする前記重み係数を算出させることができる。
【００１０】
前記被写体マップ生成手段には、前記現フレームから、前記特徴量毎に前記特徴量マップを生成する特徴量マップ生成手段と、前記特徴量マップから、複数の、所定の帯域の特徴量を示す帯域特徴量マップを生成する帯域特徴量マップ生成手段と、前記特徴量毎に、前記帯域特徴量マップを合成する帯域特徴量マップ合成手段と、前記帯域特徴量マップが合成された、前記特徴量毎の合成特徴量マップを合成することで、前記被写体マップを生成する合成特徴量マップ合成手段とを設け、前記合成特徴量マップ合成手段には、前記合成特徴量マップを、前記特徴量毎の前記重み係数に基づいて重み付けして合成させ、前記重み係数算出手段には、前記現フレームの、前記特徴量毎の前記合成特徴量マップ上の、前記被写体領域に対応する領域における前記特徴量のうち、相対的に大きい前記特徴量に対応する前記後フレームの合成特徴量マップに対して重み付けする前記重み係数を算出させることができる。
【００１１】
前記領域情報は、前記被写体マップ上の前記矩形領域の中心座標またはサイズであり、前記被写体領域選択手段には、前記矩形領域から、前記現フレームより時間的に前の前フレームにおいて選択された前記被写体領域の中心座標またはサイズに最も近い中心座標またはサイズを有する前記矩形領域を、前記被写体領域として選択させることができる。
【００１２】
前記領域情報は、前記被写体マップ上の前記矩形領域における前記特徴量の積分値またはピーク値であり、前記被写体領域選択手段には、前記矩形領域から、前記現フレームより時間的に前の前フレームにおいて選択された前記被写体領域における前記特徴量の積分値またはピーク値に最も近い前記特徴量の積分値またはピーク値を有する前記矩形領域を、前記被写体領域として選択させることができる。
【００１３】
本発明の一側面の画像処理方法は、入力画像が有する特徴毎の、前記入力画像の現フレームの所定領域における特徴量を示す特徴量マップから、前記特徴量毎の重み係数に基づいて、前記現フレームにおける被写体の領域らしさを示す被写体マップを生成する被写体マップ生成ステップと、前記被写体マップにおいて、前記被写体の候補となる領域を含む矩形領域を求める被写体候補領域矩形化ステップと、注目すべき前記被写体が含まれる前記矩形領域である被写体領域を、前記矩形領域についての領域情報に基づいて、前記矩形領域から選択する被写体領域選択ステップと、前記現フレームの前記特徴量毎の前記特徴量マップ上の、前記被写体領域に対応する領域における前記特徴量のうち、相対的に大きい前記特徴量に対応する、前記現フレームより時間的に後の後フレームの特徴量マップに対して重み付けする前記重み係数を算出する重み係数算出ステップとを含む。
【００１４】
本発明の一側面のプログラムは、入力画像が有する特徴毎の、前記入力画像の現フレームの所定領域における特徴量を示す特徴量マップから、前記特徴量毎の重み係数に基づいて、前記現フレームにおける被写体の領域らしさを示す被写体マップを生成する被写体マップ生成ステップと、前記被写体マップにおいて、前記被写体の候補となる領域を含む矩形領域を求める被写体候補領域矩形化ステップと、注目すべき前記被写体が含まれる前記矩形領域である被写体領域を、前記矩形領域についての領域情報に基づいて、前記矩形領域から選択する被写体領域選択ステップと、前記現フレームの前記特徴量毎の前記特徴量マップ上の、前記被写体領域に対応する領域における前記特徴量のうち、相対的に大きい前記特徴量に対応する、前記現フレームより時間的に後の後フレームの特徴量マップに対して重み付けする前記重み係数を算出する重み係数算出ステップとを含む処理をコンピュータに実行させる。
【００１５】
本発明の一側面においては、入力画像が有する特徴毎の、入力画像の現フレームの所定領域における特徴量を示す特徴量マップから、特徴量毎の重み係数に基づいて、現フレームにおける被写体の領域らしさを示す被写体マップが生成され、被写体マップにおいて、被写体の候補となる領域を含む矩形領域が求められ、注目すべき被写体が含まれる矩形領域である被写体領域が、矩形領域についての領域情報に基づいて、矩形領域から選択され、現フレームの特徴量毎の特徴量マップ上の、被写体領域に対応する領域における特徴量のうち、相対的に大きい特徴量に対応する、次フレームの特徴量マップに対して重み付けする重み係数が算出される。
【発明の効果】
【００１６】
本発明の一側面によれば、被写体をより安定して追尾することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】被写体追尾部の構成例を示すブロック図である。
【図３】被写体マップ生成部の構成例を示すブロック図である。
【図４】被写体候補領域矩形化部の構成例を示すブロック図である。
【図５】被写体領域選択部の構成例を示すブロック図である。
【図６】被写体追尾処理について説明するフローチャートである。
【図７】被写体マップ生成処理について説明するフローチャートである。
【図８】被写体マップ生成処理の具体例を示す図である。
【図９】被写体候補領域矩形化処理について説明するフローチャートである。
【図１０】被写体候補領域矩形化処理の具体例を示す図である。
【図１１】被写体領域選択処理について説明するフローチャートである。
【図１２】帯域特徴量マップの被写体領域特徴量和について説明する図である。
【図１３】重み係数について説明する図である。
【図１４】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図を参照して説明する。
【００１９】
［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００２０】
図１の画像処理装置１１は、例えば、動きのある被写体を撮影するデジタルカメラ等の撮影装置に備えられる。
【００２１】
画像処理装置１１は、光学系３１、イメージャ３２、デジタル信号処理部３３、制御部３４、レンズ駆動部３５、インタフェース制御部３６、およびユーザインタフェース３７から構成される。
【００２２】
光学系３１は、図示せぬ撮像レンズを含む光学系として構成される。光学系３１に入射した光は、CCD（Charge Coupled Device）等の撮像素子で構成されるイメージャ３２により光電変換される。イメージャ３２により光電変換された電気信号（アナログ信号）は、図示せぬA/D（Analog to Digital）変換部によりデジタル信号の画像データに変換され、デジタル信号処理部３３に供給される。
【００２３】
デジタル信号処理部３３は、イメージャ３２からのデジタル信号（画像データ）に対して、所定の信号処理を施す。デジタル信号処理部３３は、前処理部５１、デモザイク処理部５２、YC生成部５３、解像度変換部５４、および被写体追尾部５５を備えている。
【００２４】
前処理部５１は、イメージャ３２からの画像データに対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。デモザイク処理部５２は、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにするデモザイク処理を施す。YC生成部５３は、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。解像度変換部５４は、各種の信号処理が施された画像データに対して、解像度変換処理を実行し、制御部３４や図示せぬ符号化処理部に供給する。
【００２５】
被写体追尾部５５は、YC生成部５３によって生成された輝度信号および色信号からなる画像データを基に、画像データに対応する入力画像（撮像画像）における被写体を検出し、追尾する被写体追尾処理を実行する。
【００２６】
ここで、被写体の検出は、ユーザが入力画像を一瞥した場合に、ユーザが注目すると推
定される入力画像上の物体、つまりユーザが目を向けると推定される物体が被写体であるとして行われる。したがって、被写体は必ずしも人物に限られる訳ではない。
【００２７】
被写体追尾部５５は、被写体追尾処理の結果得られた、入力画像における被写体が含まれる領域を表す被写体枠についてのデータを制御部３４に供給する。なお、被写体追尾部５５の詳細については、図２を参照して後述する。
【００２８】
制御部３４は、インタフェース制御部３６から供給される制御信号を基に、画像処理装置１１の各部を制御する。
【００２９】
例えば、制御部３４は、デジタル信号処理部３３に、各種の信号処理に用いられるパラメータ等を供給するとともに、デジタル信号処理部３３からの、各種の信号処理の結果得られたデータ（画像データを含む）を取得し、インタフェース制御部３６に供給する。また、制御部３４は、レンズ駆動部３５に、光学系３１に含まれる撮像レンズを駆動させたり、絞りなどを調節するための制御信号を供給する。
【００３０】
ユーザインタフェース３７は、ユーザが画像処理装置１１に対する指示を入力するために操作されるボタンやキーボード等の入力装置や、ユーザに対して情報を提供（表示）するLCD（Liquid Crystal Display）やマイクロホン等の出力装置から構成される。ボタンとしてのユーザインタフェース３７が操作されることで、画像処理装置１１に対する指示を表す制御信号が、インタフェース制御部３６を介して制御部３４に供給される。また、インタフェース制御部３６を介して制御部３４から供給された制御信号（データ）に応じた情報が、LCDとしてのユーザインタフェース３７に表示される。LCDとしてのユーザインタフェース３７には、例えば、画像データに対応する入力画像と、入力画像における被写体に対する被写体追尾処理の結果である被写体枠とが表示される。
【００３１】
［被写体追尾部の構成例］
次に、図２を参照して、図１の被写体追尾部５５の構成例について説明する。
【００３２】
図２の被写体追尾部５５は、被写体マップ生成部７１、被写体候補領域矩形化部７２、被写体領域選択部７３、および重み係数算出部７４から構成される。
【００３３】
被写体マップ生成部７１は、入力画像が有する輝度や色等の特徴毎に、入力画像の所定フレームの所定領域における特徴量を示す特徴量マップを生成し、重み係数算出部７４に供給する。また、被写体マップ生成部７１は、生成した特徴量マップと、重み係数算出部７４から供給される特徴量毎の重み係数とに基づいて、入力画像における被写体の領域らしさを示す被写体マップを生成する。
【００３４】
より具体的には、被写体マップ生成部７１は、特徴毎の特徴量マップの各領域の情報（特徴量）を、同じ位置にある領域毎に重み付き加算して被写体マップを生成する。被写体マップ生成部７１は、生成した被写体マップを被写体候補領域矩形化部７２に供給する。
【００３５】
なお、各特徴量マップにおいて、より情報量の多い領域、つまり特徴量の多い領域に対応する入力画像上の領域は、被写体が含まれる可能性のより高い領域となり、したがって、各特徴量マップにより入力画像における被写体の含まれる領域を特定することができる。
【００３６】
被写体候補領域矩形化部７２は、被写体マップ生成部７１からの被写体マップにおいて、被写体の候補となる領域、すなわち、被写体マップにおける情報量の多い領域を含む矩形領域を求め、その矩形領域の座標を表す座標情報を、被写体領域選択部７３に供給する。また、被写体候補領域矩形化部７２は、被写体マップ上で座標情報により表わされる矩形領域に関する情報（以下、領域情報という）を算出し、座標情報に対応付けて被写体領域選択部７３に供給する。
【００３７】
被写体領域選択部７３は、追尾対象となる、注目すべき被写体が含まれる矩形領域である被写体領域を、被写体候補領域矩形化部７２からの領域情報に基づいて矩形領域の中から選択し、その被写体領域の座標情報を制御部３４（図１）および重み係数算出部７４に供給する。
【００３８】
重み係数算出部７４は、被写体マップ生成部７１からの所定フレームの各特徴量マップ上の、被写体領域に対応する領域における特徴量のうち、相対的に大きい特徴量に対応する次フレームの特徴量マップを重み付けする重み係数を算出し、被写体マップ生成部７１に供給する。
【００３９】
このような構成により、被写体追尾部５５は、入力画像のフレーム毎に、被写体領域を表す被写体枠を求めることができる。
【００４０】
［被写体マップ生成部の構成例］
次に、図３を参照して、図２の被写体マップ生成部７１の構成例について説明する。
【００４１】
図３の被写体マップ生成部７１は、特徴量マップ生成部１１１、帯域特徴量マップ生成部１１２、帯域特徴量マップ合成部１１３、および合成特徴量マップ合成部１１４から構成される。
【００４２】
特徴量マップ生成部１１１は、入力画像の所定フレームから、輝度や色といった特徴に関する情報（特徴量）を示す特徴量マップを特徴量毎に生成し、帯域特徴量マップ生成部１１２に供給する。
【００４３】
帯域特徴量マップ生成部１１２は、特徴量マップ生成部１１１からの各特徴量マップにおける特徴量から、所定の帯域成分の特徴量を所定の回数だけ抽出し、抽出したそれぞれの特徴量を示す帯域特徴量マップを生成し、重み係数算出部７４および帯域特徴量マップ合成部１１３に供給する。
【００４４】
帯域特徴量マップ合成部１１３は、帯域特徴量マップ生成部１１２からの帯域特徴量マップを、重み係数算出部７４からの重み係数に基づいて特徴量毎に合成することで、合成特徴量マップを生成し、重み係数算出部７４および合成特徴量マップ合成部１１４に供給する。
【００４５】
合成特徴量マップ合成部１１４は、帯域特徴量マップ合成部１１３からの合成特徴量マップを、重み係数算出部７４からの重み係数に基づいて合成することで、被写体マップを生成し、被写体候補領域矩形化部７２（図２）に供給する。
【００４６】
ここで、以下においては、上述した帯域特徴量マップおよび合成特徴量マップを、単に、特徴量マップともいう。
【００４７】
［被写体候補領域矩形化部の構成例］
次に、図４を参照して、図２の被写体候補領域矩形化部７２の構成例について説明する。
【００４８】
図４の被写体候補領域矩形化部７２は、２値化処理部１３１、ラベリング処理部１３２、矩形領域座標算出部１３３、および領域情報算出部１３４から構成される。
【００４９】
２値化処理部１３１は、被写体マップ生成部７１から供給された被写体マップにおける、入力画像の各画素に対応する情報を、所定の閾値に基づいて０または１のいずれかの値に２値化して、ラベリング処理部１３２に供給する。ここで、以下においては、被写体マップにおいて、入力画像の各画素に対応する情報を、単に、画素ともいう。
【００５０】
ラベリング処理部１３２は、２値化処理部１３１からの、２値化された被写体マップにおいて、１の値である画素が隣接する領域（以下、連結領域という）に対してラベリングし、矩形領域座標算出部１３３に供給する。
【００５１】
矩形領域座標算出部１３３は、ラベリング処理部１３２からの、連結領域がラベリングされた被写体マップにおいて、連結領域を含む（囲む）矩形領域の座標を算出し、その座標を表す座標情報を、被写体マップとともに領域情報算出部１３４に供給する。
【００５２】
領域情報算出部１３４は、矩形領域座標算出部１３３からの被写体マップ上で座標情報により表される矩形領域に関する情報である領域情報を算出し、座標情報に対応付けて被写体領域選択部７３（図１）に供給する。
【００５３】
［被写体領域選択部の構成例］
次に、図５を参照して、被写体領域選択部７３の構成例について説明する。
【００５４】
図５の被写体領域選択部７３は、領域情報比較部１５１および被写体領域決定部１５２から構成される。
【００５５】
領域情報比較部１５１は、被写体候補領域矩形化部７２からの各矩形領域の領域情報と、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域の領域情報とを比較し、比較結果を被写体領域決定部２５２に供給する。
【００５６】
被写体領域決定部１５２は、領域情報比較部１５１からの比較結果に基づいて、１フレーム前の被写体領域の領域情報に最も近い領域情報に対応付けられている座標情報で表される矩形領域を被写体領域とする。被写体領域決定部１５２は、決定した被写体領域の座標情報を制御部３４（図１）および重み係数算出部７４（図２）に供給するとともに、被写体領域の領域情報を、領域情報記憶部１５３に供給する。
【００５７】
領域情報記憶部１５３は、被写体領域決定部１５２からの、被写体領域の領域情報を記憶する。領域情報記憶部１５３に記憶された被写体領域の領域情報は、１フレーム後に、領域情報比較部１５１に読み出される。
【００５８】
［被写体追尾処理］
以下においては、画像処理装置１１の被写体追尾処理について説明する。
【００５９】
図６は、画像処理装置１１の被写体追尾処理について説明するフローチャートである。被写体追尾処理は、例えば、ボタンとしてのユーザインタフェース３７がユーザに操作されることで、画像処理装置１１の動作モードが被写体追尾処理を実行する被写体追尾処理モードに遷移し、LCDとしてのユーザインタフェース３７に表示されている入力画像において、追尾対象としての被写体の所定領域がユーザにより選択されたときに開始される。
【００６０】
ステップＳ１１において、被写体追尾部５５の被写体マップ生成部７１は、被写体マップ生成処理を行い、被写体マップを生成して、被写体候補領域矩形化部７２に供給する。
【００６１】
［被写体マップ生成処理］
ここで、図７および図８を参照して、被写体マップ生成処理の詳細について説明する。図７は、被写体マップ生成処理について説明するフローチャートであり、図８は、被写体マップ生成処理の具体例を示す図である。
【００６２】
図７のフローチャートのステップＳ３１において、被写体マップ生成部７１の特徴量マップ生成部１１１は、入力画像の所定フレームから、輝度や色等の特徴（特徴量毎）に特徴量マップを生成し、帯域特徴量マップ生成部１１２に供給する。
【００６３】
具体的には、図８に示されるように、入力画像２００から、輝度に関する情報を示す輝度情報マップＦ1、色に関する情報を示す色情報マップＦ2乃至ＦK、エッジに関する情報を示すエッジ情報マップＦ(K+1)乃至ＦMの、Ｍ種類の特徴量マップが生成される。
【００６４】
輝度情報マップＦ1においては、入力画像の各画素から得られる輝度成分（輝度信号）Ｙが、入力画像の各画素に対応する情報となり、色情報マップＦ2乃至ＦKにおいては、入力画像の各画素から得られる色成分（色信号）Ｒ，Ｇ，Ｂが、入力画像の各画素に対応する情報となる。また、エッジ情報マップＦ(K+1)乃至ＦMにおいては、例えば、入力画像の各画素における０度、４５度、９０度、および１３５度の方向のエッジ強度が、入力画像の各画素に対応する情報となる。
【００６５】
なお、上述した特徴量マップについて、画素のＲ，Ｇ，Ｂの各成分の値の平均値を輝度情報マップＦ1の情報（特徴量）としてもよいし、色差成分Ｃｒ，Ｃｂや、Lab色空間におけるａ*座標成分およびｂ*座標成分を色情報マップＦ2乃至ＦKの情報としてもよい。また、０度、４５度、９０度、および１３５度以外の方向のエッジ強度をエッジ情報マップＦ(K+1)乃至ＦMの情報としてもよい。
【００６６】
ステップＳ３２において、帯域特徴量マップ生成部１１２は、各特徴量マップにおける特徴量から、所定の帯域成分の特徴量をＮ回抽出し、抽出したそれぞれの特徴量を示す帯域特徴量マップを生成して、重み係数算出部７４および帯域特徴量マップ合成部１１３に供給する。
【００６７】
具体的には、図８に示されるように、輝度情報マップＦ1における輝度情報から、所定の帯域１乃至帯域Ｎの輝度情報が抽出され、その帯域それぞれの輝度情報を示す帯域輝度情報マップＲ11乃至Ｒ1Nが生成される。また、色情報マップＦ2乃至ＦKにおける色情報から、所定の帯域１乃至帯域Ｎの色情報が抽出され、その帯域それぞれの色情報を示す帯域色情報マップＲ21乃至Ｒ2N，…，ＲK1乃至ＲKNが生成される。さらに、エッジ情報マップＦ(K+1)乃至ＦMにおけるエッジ情報から、所定の帯域１乃至帯域Ｎのエッジ情報が抽出され、その帯域それぞれのエッジ情報を示す帯域エッジ情報マップＲ(K+1)1乃至Ｒ(K+1)N，…，ＲM1乃至ＲMNが生成される。このように、帯域特徴量マップ生成部１１２は、（Ｍ×Ｎ）種類の帯域特徴量マップを生成する。
【００６８】
ここで、帯域特徴量マップ生成部１１２の処理の一例について説明する。
【００６９】
例えば、帯域特徴量マップ生成部１１２は、各特徴量マップを用いて、互いに解像度の異なる複数の特徴量マップを生成し、それらの特徴量マップをその特徴量のピラミッド画像とする。例えば、レベルＬ１乃至レベルＬ８までの８つの解像度の階層のピラミッド画像が生成され、レベルＬ１のピラミッド画像が最も解像度が高く、レベルＬ１からレベルＬ８まで順番にピラミッド画像の解像度が低くなるものとする。
【００７０】
この場合、特徴量マップ生成部１１１により生成された特徴量マップが、レベルＬ１のピラミッド画像とされる。また、レベルＬｉ（但し、１≦ｉ≦７）のピラミッド画像における、互いに隣接する４つの画素の画素値の平均値が、それらの画素と対応するレベルＬ（ｉ＋１）のピラミッド画像の１つの画素の画素値とされる。したがって、レベルＬ（ｉ＋１）のピラミッド画像は、レベルＬｉのピラミッド画像に対して縦横半分（割り切れない場合は切り捨て）の画像となる。
【００７１】
また、帯域特徴量マップ生成部１１２は、複数のピラミッド画像のうち、互いに階層の異なる２つのピラミッド画像を選択し、選択したピラミッド画像の差分を求めて各特徴量の差分画像をＮ枚生成する。なお、各階層のピラミッド画像は、それぞれ大きさ（画素数）が異なるので、差分画像の生成時には、より小さい方のピラミッド画像が、より大きいピラミッド画像に合わせてアップコンバートされる。
【００７２】
例えば、帯域特徴量マップ生成部１１２は、各階層の特徴量のピラミッド画像のうち、レベルＬ６およびレベルＬ３、レベルＬ７およびレベルＬ３、レベルＬ７およびレベルＬ４、レベルＬ８およびレベルＬ４、並びにレベルＬ８およびレベルＬ５の各階層の組み合わせのピラミッド画像の差分を求める。これにより、合計５つの特徴量の差分画像が得られる。
【００７３】
具体的には、例えば、レベルＬ６およびレベルＬ３の組み合わせの差分画像が生成される場合、レベルＬ６のピラミッド画像が、レベルＬ３のピラミッド画像の大きさに合わせてアップコンバートされる。つまり、アップコンバート前のレベルＬ６のピラミッド画像の１つの画素の画素値が、その画素に対応する、アップコンバート後のレベルＬ６のピラミッド画像の互いに隣接するいくつかの画素の画素値とされる。そして、レベルＬ６のピラミッド画像の画素の画素値と、その画素と同じ位置にあるレベルＬ３のピラミッド画像の画素の画素値との差分が求められ、その差分が差分画像の画素の画素値とされる。
【００７４】
このように、差分画像を生成することで、特徴量マップにバンドパスフィルタを用いたフィルタ処理を施すように、特徴量マップから所定の帯域成分の特徴量を抽出することができる。
【００７５】
なお、以上の説明において、特徴量マップから抽出される帯域の幅は、差分画像を求める際の、ピラミッド画像の各階層の組み合わせによって決まるが、この組み合わせは任意に決定される。
【００７６】
また、所定の帯域成分の特徴量の抽出は、上述した差分画像による手法に限らず、他の手法を用いるようにしてもよい。
【００７７】
図７のフローチャートに戻り、ステップＳ３３において、帯域特徴量マップ合成部１１３は、帯域特徴量マップ生成部１１２からの帯域特徴量マップを、重み係数算出部７４からの重み係数群ＷRに基づいて特徴量毎に合成する。帯域特徴量マップ合成部１１３は、合成した帯域特徴量マップ（合成特徴量マップ）を、重み係数算出部７４および合成特徴量マップ合成部１１４に供給する。
【００７８】
具体的には、図８に示されるように、帯域輝度情報マップＲ11乃至Ｒ1Nは、重み係数算出部７４からの帯域輝度情報マップ毎の重みである重み係数ｗ11乃至ｗ1Nにより重み付き加算され、合成特徴量マップＣ1が求められる。また、帯域色情報マップＲ21乃至Ｒ2N，…，ＲK1乃至ＲKNは、重み係数算出部７４からの帯域色情報マップ毎の重みである重み係数ｗ21乃至ｗ2N，…，ｗK1乃至ｗKNにより重み付き加算され、合成特徴量マップＣ2乃至ＣKが求められる。さらに、帯域エッジ情報マップＲ(K+1)1乃至Ｒ(K+1)N，…，ＲM1乃至ＲMNは、重み係数算出部７４からの帯域エッジ情報マップ毎の重みである重み係数ｗ(K+1)1乃至ｗ(K+1)N，…，ｗM1乃至ｗMNにより重み付き加算され、合成特徴量マップＣK+1乃至ＣMが求められる。このように、帯域特徴量マップ合成部１１３は、Ｍ種類の合成特徴量マップを生成する。なお、重み係数群ＷRの詳細については後述するが、重み係数群ＷRの各重み係数は、０乃至１の値を有する。但し、１回目の被写体マップ生成処理においては、重み係数群ＷRの各重み係数は全て１とされ、帯域特徴量マップは、重みなしで加算される。
【００７９】
ステップＳ３４において、合成特徴量マップ合成部１１４は、帯域特徴量マップ合成部１１３からの合成特徴量マップを、重み係数算出部７４からの重み係数群ＷCに基づいて合成することで、被写体マップを生成し、被写体候補領域矩形化部７２に供給する。
【００８０】
具体的には、図８に示されるように、合成特徴量マップＣ1乃至ＣMは、重み係数算出部７４からの帯域輝度情報マップ毎の重みである重み係数ｗ1乃至ｗMを用いて線形結合される。さらに、線形結合の結果得られたマップの画素値に、予め求められた重みである被写体重みが乗算され正規化されて、被写体マップ２０１を求める。なお、重み係数群ＷCの詳細については後述するが、重み係数群ＷCの各重み係数は、０乃至１の値を有する。但し、１回目の被写体マップ生成処理においては、重み係数群ＷCの各重み係数は全て１とされ、合成特徴量マップは、重みなしで線形結合される。
【００８１】
つまり、これから求めようとする被写体マップ上の注目する位置（画素）を注目位置とすると、各合成特徴量マップの注目位置と同じ位置（画素）の画素値に、合成特徴量マップごとの重み係数が乗算され、重み係数の乗算された画素値の総和が、注目位置の画素値とされる。さらに、このようにして求められた被写体マップの各位置の画素値に、被写体マップに対して予め求められた被写体重みが乗算されて正規化され、最終的な被写体マップとされる。例えば、正規化は、被写体マップの各画素の画素値が、０から２５５までの間の値となるようになされる。
【００８２】
以上のようにして、被写体マップ生成部７１は、特徴量マップから、帯域特徴量マップおよび合成特徴量マップを生成することにより、被写体マップを生成する。
【００８３】
図６のフローチャートに戻り、ステップＳ１２において、被写体候補領域矩形化部７２は、被写体候補領域矩形化処理を行い、被写体マップ生成部７１からの被写体マップにおいて、被写体の候補となる領域を含む矩形領域を求める。
【００８４】
［被写体候補領域矩形化処理］
ここで、図９および図１０を参照して、被写体候補領域矩形化処理の詳細について説明する。図９は、被写体候補領域矩形化処理について説明するフローチャートであり、図１０は、被写体候補領域矩形化処理の具体例を示す図である。
【００８５】
図９のフローチャートのステップＳ５１において、被写体候補領域矩形化部７２の２値化処理部１３１は、被写体マップ生成部７１から供給された被写体マップにおける情報を、所定の閾値に基づいて０または１のいずれかの値に２値化し、ラベリング処理部１３２に供給する。
【００８６】
より具体的には、２値化処理部１３１は、図１０の上から１番目に示される、０から２５５までの間の値である被写体マップ２０１の各画素の画素値に対して、例えば、閾値１２７より小さい値の画素値を０とし、１２７より大きい値の画素値を１とする。これによって、図１０の上から２番目に示されるような２値化マップ２０２が得られる。図１０で示される２値化マップ２０２においては、白で示される部分（画素）が１の画素値を有し、黒で示される部分（画素）が０の画素値を有している。なお、ここでは、閾値を１２７であるものとしたが、他の値であってもよい。
【００８７】
ステップＳ５２において、ラベリング処理部１３２は、２値化処理部１３１から２値化マップ２０２（２値化された被写体マップ）において、例えば、モルフォロジー演算等によって得られる、１である画素値の画素が隣接する連結領域に対してラベリングし、矩形領域座標算出部１３３に供給する。
【００８８】
より具体的には、例えば、図１０の上から３番目に示されるように、２値化マップ２０２においては、連結領域２１１が、ラベル「１」でラベリングされ、連結領域２１２が、ラベル「２」でラベリングされる。
【００８９】
ステップＳ５３において、矩形領域座標算出部１３３は、ラベリング処理部１３２からの２値化マップ２０２において、連結領域を含む（囲む）矩形領域の座標を算出し、その座標を表す座標情報を、２値化マップ２０２とともに領域情報算出部１３４に供給する。
【００９０】
より具体的には、図１０の上から４番目に示されるように、２値化マップ２０２において、ラベル「１」でラベリングされた連結領域２１１を外側から囲む矩形枠（外接枠）２２１が検出され、その矩形枠の、例えば図中左上および右下の頂点の座標が求められる。また、ラベル「２」でラベリングされた連結領域２１２を外側から囲む矩形枠２２２が検出され、その矩形枠の、例えば図中左上および右下の頂点の座標が求められる。
【００９１】
ステップＳ５４において、領域情報算出部１３４は、矩形領域座標算出部１３３からの座標情報と、被写体マップ生成部７１からの被写体マップに基づいて、被写体マップ上で矩形枠に囲まれる矩形領域についての領域情報を算出する。
【００９２】
より具体的には、領域情報算出部１３４は、２値化マップ２０２における矩形枠２２１，２２２を表す、矩形領域座標算出部１３３からの座標情報に基づいて、矩形枠のサイズおよび中心位置の座標を、矩形領域についての領域情報として算出する。領域情報算出部１３４は、算出した領域情報を、矩形領域座標算出部１３３からの座標情報に対応付けて被写体領域選択部７３に供給する。
【００９３】
以上のようにして、被写体候補領域矩形化部７２は、被写体マップにおいて、注目すべき被写体の候補となる各領域を囲む矩形枠、および、被写体マップ上でその矩形枠で囲まれる領域の特徴を表す領域情報を求める。
【００９４】
図６のフローチャートに戻り、ステップＳ１３において、被写体領域選択部７３は、被写体領域選択処理を行い、注目すべき被写体が含まれる矩形領域である被写体領域を、被写体領域選択部７３からの領域情報に基づいて矩形領域の中から選択する。
【００９５】
［被写体領域選択処理］
ここで、図１１のフローチャートを参照して、被写体領域選択処理の詳細について説明する。
【００９６】
ステップＳ７１において、領域情報比較部１５１は、被写体候補領域矩形化部７２からの各矩形領域の領域情報と、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域の領域情報とを比較し、比較結果を被写体領域決定部１５２に供給する。
【００９７】
より具体的には、例えば、領域情報比較部１５１は、被写体候補領域矩形化部７２からの、被写体マップ上での各矩形領域を囲む矩形枠のサイズと、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域を囲む矩形枠（被写体枠）のサイズとを比較する。また、例えば、領域情報比較部１５１は、被写体候補領域矩形化部７２からの、被写体マップ上での各矩形領域を囲む矩形枠の中心位置の座標と、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域を囲む矩形枠（被写体枠）の中心位置の座標とを比較する。
【００９８】
ステップＳ７２において、被写体領域決定部１５２は、領域情報比較部１５１からの比較結果に基づいて、１フレーム前の被写体領域を囲む矩形枠（被写体枠）のサイズまたは中心位置の座標に最も近い矩形枠のサイズまたは中心位置を有する矩形領域を被写体領域とする。被写体領域決定部１５２は、決定した被写体領域の座標情報を制御部３４および重み係数算出部７４に供給するとともに、被写体領域の領域情報（被写体枠のサイズまたは中心位置）を、領域情報記憶部１５３に供給する。
【００９９】
但し、１回目の被写体領域選択処理において、領域情報記憶部１５３には、１フレーム前の被写体領域の領域情報は記憶されていないので、被写体追尾処理の開始時にユーザによって選択された被写体の所定領域（以下、初期選択領域という）を含む矩形領域が被写体領域とされる。
【０１００】
以上のようにして、被写体領域選択部７３は、被写体の候補となる矩形領域の中から、注目すべき被写体の被写体領域を選択する。
【０１０１】
［重み係数の算出］
図６のフローチャートに戻り、ステップＳ１４において、重み係数算出部７４は、被写体マップ生成部７１からの帯域特徴量マップおよび合成特徴量マップと、被写体領域選択部７３からの被写体領域を表す座標情報とに基づいて、図８で示された重み係数群ＷR，ＷCを算出する。
【０１０２】
より具体的には、図１２に示されるように、所定の帯域特徴量マップＲmn（１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）上の、被写体領域を表す被写体枠２３１に対応する矩形領域内の特徴量（情報量）の和を被写体領域特徴量和ｒmnとした場合、図１３の上側に示されるような重み係数群ＷRが算出される。
【０１０３】
図１３の重み係数群ＷRにおける係数のそれぞれは、図８で示された重み係数ｗ11乃至ｗMNのそれぞれに対応している。なお、図１３において、Max[a,…,z]は、値ａ乃至ｚのうちの最大値を表すものとする。
【０１０４】
例えば、図１３の重み係数群ＷRにおける上から１番目の行の各係数は、図８で示された、「帯域１」である特徴量毎の帯域特徴量マップＲ11乃至ＲM1についての重み係数ｗ11乃至ｗM1を示している。図１３に示されるように、重み係数ｗ11乃至ｗM1は、分母が帯域特徴量マップＲ11乃至ＲM1それぞれについての被写体領域特徴量和ｒ11乃至ｒM1のうちの最大値とされ、分子が帯域特徴量マップＲ11乃至ＲM1それぞれについての被写体領域特徴量和ｒ11乃至ｒM1とされる係数であり、０乃至１の値をとる。
【０１０５】
同様に、図１３の重み係数群ＷRにおける上からＮ番目の行の各係数は、図８で示された、「帯域Ｎ」である特徴量毎の帯域特徴量マップＲ1N乃至ＲMNについての重み係数ｗ1N乃至ｗMNを示している。図１３に示されるように、重み係数ｗ1N乃至ｗMNは、分母が帯域特徴量マップＲ1N乃至ＲMNそれぞれについての被写体領域特徴量和ｒ1N乃至ｒMNのうちの最大値とされ、分子が帯域特徴量マップＲ1N乃至ＲMNそれぞれについての被写体領域特徴量和ｒ1N乃至ｒMNとされる係数であり、０乃至１の値をとる。
【０１０６】
すなわち、重み係数ｗ1n乃至ｗMnによれば、「帯域ｎ」である特徴量毎の帯域特徴量マップＲ1n乃至ＲMnにおいて、被写体領域特徴量和が最大となる特徴量の帯域特徴量マップに最大値１となる重み付けがされ、その他の帯域特徴量マップには、被写体領域特徴量和に応じた重み付けがされる。
【０１０７】
また、所定の合成特徴量マップＣm（１≦ｍ≦Ｍ）上の、被写体領域を表す矩形枠２２１に対応する矩形領域内の特徴量（情報量）の和を被写体領域特徴量和ｃmとした場合、図１３の下側に示されるような重み係数群ＷCが算出される。
【０１０８】
図１３の重み係数群ＷCにおける係数のそれぞれは、図８で示された重み係数ｗ1乃至ｗMのそれぞれに対応している。
【０１０９】
つまり、図１３の重み係数群ＷCにおける各係数は、図８で示された、特徴量毎の合成特徴量マップＣ1乃至ＣMについての重み係数ｗ1乃至ｗMを示している。図１３に示されるように、重み係数ｗ1乃至ｗMは、分母が合成特徴量マップＣ1乃至ＣMそれぞれについての被写体領域特徴量和ｃ1乃至ｃMのうちの最大値とされ、分子が合成特徴量マップＣ1乃至ＣMそれぞれについての被写体領域特徴量和ｃ1乃至ｃMとされる係数であり、０乃至１の値をとる。
【０１１０】
すなわち、重み係数ｗ1乃至ｗmによれば、特徴量毎の合成特徴量マップＣ1乃至ＣMにおいて、被写体領域特徴量和が最大となる特徴量の合成特徴量マップに最大値１となる重み付けがされ、その他の帯域特徴量マップには、被写体領域特徴量和に応じた重み付けがされる。
【０１１１】
重み係数算出部７４は、算出した重み係数群ＷRを、被写体マップ生成部７１の帯域特徴量マップ合成部１１３に供給するとともに、重み係数群ＷCを、被写体マップ生成部７１の合成特徴量マップ合成部１１４に供給する。図６のフローチャートにおいては、ステップＳ１４の後、処理はステップＳ１１に戻り、次フレームについての被写体追尾処理が実行され、この処理が１フレーム毎に繰り返される。
【０１１２】
以上の処理によれば、入力画像の所定のフレームについての特徴量毎の特徴量マップにおける、そのフレームで選択された被写体領域に対応する領域の特徴量の相対的な大きさに応じて、次フレームについての特徴量毎の特徴量マップに対する重み係数が決定される。したがって、フレーム間で特徴量が変動するような場合であっても、複数の特徴量のうちの被写体を最もよく表す特徴量の特徴量マップが最も大きく重み付けされた被写体マップが生成されるので、被写体の状態が変動するような環境下でも、被写体をより安定して追尾することが可能となる。
【０１１３】
また、被写体領域は、被写体全体を含むように決定されるので、被写体の一部の領域の状態が変動するような環境下でも、被写体をより安定して追尾することができる。
【０１１４】
特に、従来の被写体追尾の手法において、被写体領域内のいずれかの座標（またはその座標を含む一部領域）が同定されるような場合では、被写体全体を追尾することができず、AF（Auto Focus）やAE（Auto Exposure）、ACC（Auto Color Control）の検波枠を正しく設定することができなかった。また、被写体領域内で特徴量が同一である同一特徴量領域が同定されるような場合では、上述の場合よりは検波枠を設定する精度を上げることができるが、同一特徴量領域は、被写体領域のごく一部に過ぎないことが多く、十分な検波精度は得られなかった。
【０１１５】
一方、本発明の被写体追尾処理によれば、被写体全体を含む被写体領域を同定できるので、検波精度を上げることができ、ひいては、追尾結果を様々なアプリケーションに適用することが可能となる。
【０１１６】
また、従来の被写体追尾の手法には、例えば、人間の全体像を学習により辞書に登録する等して、人間を検出・追尾するものもあるが、辞書に登録されていない人間以外の被写体を追尾することはできない。さらに、辞書に登録される情報（画像）の量は膨大な量となるため、装置規模が大きくなってしまう。
【０１１７】
一方、本発明の被写体追尾処理によれば、任意の被写体を検出・追尾することができる上に、辞書等に膨大な量の情報を登録する必要がないので、装置規模をコンパクトにすることができる。
【０１１８】
以上においては、特徴量として、輝度成分、色成分、およびエッジ方向を用いるものとしたが、これに限らず、例えば、動き情報等を加えるようにしてもよい。また、用いられる特徴量は、例えば、輝度成分と色成分のような、相補的な関係にあるものが好適であり、適宜、選択されるようにしてもよい。
【０１１９】
また、以上においては、Ｍ×（Ｎ＋１）種類の特徴量マップに対応して、Ｍ×（Ｎ＋１）種類の重み係数を算出するようにしたが、一部の特徴量マップに対応する重み係数のみを、適宜算出するようにすることで、画像処理装置１１における演算量を抑えることができる。例えば、合成特徴量マップＣ1乃至ＣMのＭ種類の特徴量マップに対応する重み係数ｗ1乃至ｗMのみを算出するようにしてもよい。
【０１２０】
さらに、以上においては、領域情報算出部１３４は、矩形領域の領域情報として、矩形枠のサイズおよび中心位置の座標を算出するようにしたが、矩形領域内の画素値の積分値やピーク値（最大値）を算出するようにしてもよい。この場合、被写体領域選択処理（図１１）においては、１フレーム前の被写体領域内の画素値の積分値またはピーク値に最も近い領域内の画素値の積分値またはピーク値を有する矩形領域が被写体領域とされる。
【０１２１】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０１２２】
図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１２３】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０１２４】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０１２５】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０１２６】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１２７】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０１２８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２９】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１３０】
１１  画像処理装置，  ５５  被写体追尾部，  ７１  被写体マップ生成部，  ７２  被写体候補領域矩形化部，  ７３  被写体領域選択部，  ７４  重み係数算出部，  １１１  特徴量マップ生成部，  １１２  帯域特徴量マップ生成部，  １１３  帯域特徴量マップ合成部，  １１４  合成特徴量マップ合成部，  １３１  ２値化処理部，  １３２  ラベリング処理部，  １３３  矩形領域座標算出部，  １３４  領域情報算出部，  １５１  領域情報比較部，  １５２  被写体領域決定部，  ２００  入力画像，  ２０１  被写体マップ，  ２２１，２２２  矩形領域，  ２３１  被写体枠
【図１】
2011146826.tif 000003
【図２】
2011146826.tif 000004
【図３】
2011146826.tif 000005
【図４】
2011146826.tif 000006
【図５】
2011146826.tif 000007
【図６】
2011146826.tif 000008
【図７】
2011146826.tif 000009
【図８】
2011146826.tif 000010
【図９】
2011146826.tif 000011
【図１０】
2011146826.tif 000012
【図１１】
2011146826.tif 000013
【図１２】
2011146826.tif 000014
【図１３】
2011146826.tif 000015
【図１４】
2011146826.tif 000016