(57)【要約】【課題】  画像に対して設定された追尾対象領域を追尾することが可能であるか否かを適切に判断できるようにする。【解決手段】  有彩色（無彩色）について、色相（輝度）ヒストグラムの分割単位ごとに、追尾対象領域外の画素の数に対する、追尾対象領域内の画素の存在割合Ratioを算出する。そして、存在割合Ratioが閾値よりも大きい場合に、色相ヒストグラム及び輝度ヒストグラムにおける該当する分割単位に属する画素を採用する。そして、追尾対象領域に対応する枠内の画素数に対する、採用した追尾対象領域内の画素の総数の存在割合Ratioが閾値よりも大きい場合、画面全体の画素数に対する、採用した総画素数の存在割合Ratioが閾値よりも小さいか否かを判定する。この判定の結果、画面全体の画素数に対する、採用した総画素数の存在割合Ratioが閾値よりも小さい場合に追尾できるとする。【選択図】  図１
2011039604.tif 000002
【特許請求の範囲】
【請求項１】
画像に対して設定された追尾対象領域内の各画素と、画像に対して設定された追尾対象領域外の各画素とを、相互に同じ属性で分類して記憶媒体に記憶する記憶手段と、
前記追尾対象領域内の前記属性に属する画素の、前記追尾対象領域外の当該属性の属する画素に対する存在割合を導出する第１の導出手段と、
前記追尾対象領域内の画素のうち、前記第１の導出手段により導出された存在割合が第１の所定値よりも大きくなる画素の、前記追尾対象領域内の全ての画素に対する存在割合を導出する第２の導出手段と、
前記第２の導出手段により導出された存在割合が第２の所定値よりも大きいと、前記画像における前記追尾対象領域の追尾が可能であると判断する判断手段と、を有することを特徴とする画像追尾装置。
【請求項２】
前記記憶手段は、画像に対して設定された追尾対象領域内の各画素のヒストグラムであって、所定の属性における所定の分類単位で分類されたヒストグラムを作成して記憶媒体に記憶する第１のヒストグラム記憶手段と、
前記画像に対して設定された追尾対象領域外の各画素のヒストグラムであって、前記所定の属性における前記所定の分類単位で分類されたヒストグラムを作成して記憶媒体に記憶する第２のヒストグラム記憶手段とを有し、
前記第１の導出手段は、前記追尾対象領域内の前記属性に属する画素の、前記追尾対象領域外の当該属性の属する画素に対する存在割合を前記分類単位ごとに導出することを特徴とする請求項１に記載の画像追尾装置。
【請求項３】
前記画像における画素のうち、前記第１の導出手段により導出された存在割合が第１の所定値よりも大きくなる画素と同じ属性の画素の、前記画像における全ての画素に対する存在割合を導出する第３の導出手段を有し、
前記判断手段は、前記第２の導出手段により導出された存在割合が第２の所定値よりも大きく、且つ、前記第３の導出手段により導出された存在割合が第３の所定値よりも小さいと、前記画像における前記追尾対象領域の追尾が可能であると判断することを特徴とする請求項１又は２に記載の画像追尾装置。
【請求項４】
前記所定の属性は、色相と輝度の少なくとも何れか一方を含むことを特徴とする請求項１〜３の何れか１項に記載の画像追尾装置。
【請求項５】
前記第１の所定値を、色相と輝度とで異ならせることを特徴とする請求項４に記載の画像追尾装置。
【請求項６】
前記第３の所定値を、前記所定の属性が色相のみの場合、輝度のみの場合、色相と輝度との双方の場合とで異ならせることを特徴とする請求項３〜５の何れか１項に記載の画像追尾装置。
【請求項７】
前記第３の所定値を、前記画像における前記追尾対象領域の追尾を開始してからの経過時間に応じて異ならせることを特徴とする請求項３〜６の何れか１項に記載の画像追尾装置。
【請求項８】
画像に対して設定された追尾対象領域内の各画素と、画像に対して設定された追尾対象領域外の各画素とを、相互に同じ属性で分類して記憶媒体に記憶する記憶ステップと、
前記追尾対象領域内の前記属性に属する画素の、前記追尾対象領域外の当該属性の属する画素に対する存在割合を導出する第１の導出ステップと、
前記追尾対象領域内の画素のうち、前記第１の導出ステップにより導出された存在割合が第１の所定値よりも大きくなる画素の、前記追尾対象領域内の全ての画素に対する存在割合を導出する第２の導出ステップと、
前記第２の導出ステップにより導出された存在割合が第２の所定値よりも大きいと、前記画像における前記追尾対象領域の追尾が可能であると判断する判断ステップと、を有することを特徴とする画像追尾方法。
【請求項９】
画像に対して設定された追尾対象領域内の各画素と、画像に対して設定された追尾対象領域外の各画素とを、相互に同じ属性で分類して記憶媒体に記憶する記憶ステップと、
前記追尾対象領域内の前記属性に属する画素の、前記追尾対象領域外の当該属性の属する画素に対する存在割合を導出する第１の導出ステップと、
前記追尾対象領域内の画素のうち、前記第１の導出ステップにより導出された存在割合が第１の所定値よりも大きくなる画素の、前記追尾対象領域内の全ての画素に対する存在割合を導出する第２の導出ステップと、
前記第２の導出ステップにより導出された存在割合が第２の所定値よりも大きいと、前記画像における前記追尾対象領域の追尾が可能であると判断する判断ステップと、をコンピュータに実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像追尾装置、画像追尾方法、及びコンピュータプログラムに関し、特に、画像を用いて対象物を追尾するために用いて好適なものである。
【背景技術】
【０００２】
任意の対象物を追尾する方法として、予め記憶したテンプレート画像との一致度の高い領域を探すパターンマッチ法が知られている。また、テンプレート画像を逐次更新することで、現フレームと前フレームとの差分から対象位置を探す相対差分法や、対象物の色や輝度のヒストグラムとの一致度の高い領域を探すヒストグラムマッチ法等も知られている。
【０００３】
パターンマッチ法は、静止物へのサーチに関しては高い精度が実現できる反面、対象物と追尾装置との距離の変化、対象物の回転、追尾装置自体の姿勢変化等、動きのある状況での追尾性能が十分ではない。また、相対差分法は、対象物の前に他の物体が横切ったり、対象が完全にフレームアウトしたりした後に対象物を追尾できなくなる虞がある。また、ヒストグラムマッチ法では、対象物が動いてもある程度対象物を追尾できるが、色や輝度のヒストグラムだけでは対象物を特定する能力が低く、類似する色や輝度が対象物の背景に多く分布する状況では追尾性能が十分ではない。
このような課題に対し、追尾対象と追尾対象外の両者の状況を考慮し、追尾対象領域に特有でかつ安定して抽出できる特徴色を決定する方法がある（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−１８１９５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、追尾に適した１つの特徴色を決定することは開示されているが、追尾の精度が確保できるとは限らない。つまり、そのときの追尾対象が置かれた状況自体が追尾に適したもので無ければ、最適な１つの特徴色を選択したからといって、誤サーチが生じる確率を低減できないという問題点があった。
本発明は、このような問題点に鑑みてなされたものであり、画像に対して設定された追尾対象領域を追尾することが可能であるか否かを適切に判断できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像追尾装置は、画像に対して設定された追尾対象領域内の各画素と、画像に対して設定された追尾対象領域外の各画素とを、相互に同じ属性で分類して記憶媒体に記憶する記憶手段と、前記追尾対象領域内の前記属性に属する画素の、前記追尾対象領域外の当該属性の属する画素に対する存在割合を導出する第１の導出手段と、前記追尾対象領域内の画素のうち、前記第１の導出手段により導出された存在割合が第１の所定値よりも大きくなる画素の、前記追尾対象領域内の全ての画素に対する存在割合を導出する第２の導出手段と、前記第２の導出手段により導出された存在割合が第２の所定値よりも大きいと、前記画像における前記追尾対象領域の追尾が可能であると判断する判断手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、画像に対して設定された追尾対象領域を追尾することが可能であるか否かを適切に判断することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態における撮像装置の基本構成を示す図である。
【図２】従来の追尾方式では追尾が困難なシーンの例を示す図である。
【図３】対象物を追尾する際の撮像装置の処理を説明するフローチャートである。
【図４】ステップＳ１０２の追尾対象物認識処理を説明するフローチャートである。
【図５】画像と、当該画像の追尾対象領域の画素の一例を示す図である。
【図６】色相ヒストグラムと、平均色相ヒストグラムを示す図である。
【図７】輝度ヒストグラムと、平均輝度ヒストグラムを示す図である。
【図８】隣接ヒストグラムの作成対象となる画素の第１の例を概念的に示す図である。
【図９】隣接ヒストグラムの作成対象となる画素の第２の例を概念的に示す図である。
【図１０】主ヒストグラムの色相ヒストグラムに対応する隣接ヒストグラムを示す図である。
【図１１】主ヒストグラムの輝度ヒストグラムに対応する隣接ヒストグラムを示す図である。
【図１２】ステップＳ１０３の追尾可否判定処理を説明するフローチャートである。
【図１３】ステップＳ１０５の追尾継続可否判定処理を説明するフローチャートである。
【図１４】ステップＳ１０７の追尾対象検出処理を説明するフローチャートである。
【図１５】追尾対象領域を追尾する方法を概念的に示す図である。
【図１６】追尾対象を検出するために探索される画素にポイントを付加する方法を概念的に示す図である。
【図１７】評価値の算出結果を示す図である。
【図１８】対象物を追尾する際の撮像装置の処理を説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら、本発明の実施形態を説明する。
（第１の実施形態）
まず、本発明の第１の実施形態を説明する。
図１は、撮像装置の基本構成の一例を示す図である。撮像装置は、静止画像及び動画像の何れも撮像することができる。
図１において、被写体からの光は、絞り、フォーカスレンズ、変倍レンズ、固定レンズを備えた撮像光学系１０１によって撮像素子１０２に結像される。撮像素子１０２は、受光面上に結像された像による光信号を、対応する位置の受光画素毎に電気信号に変換する光電変換素子である。撮像素子１０２に結像された光は撮像素子１０２で電気信号に変換され、その電気信号がＡ／Ｄコンバータ１０３でデジタル信号に変換され、画像処理回路１０４に入力される。
【００１０】
画像処理回路１０４は、入力されたデジタル信号（画像データ）に対して画像処理を行う。表示装置１０５は、撮像装置１００の背面に設けられた表示部であり、電子ビューファインダとしての機能を有する。また、表示装置１０５は、撮像装置１００の設定状況を表示したり、撮影後、撮像装置１００で作成されたサムネイル画像を表示したりする。撮像光学系制御回路１０６は、絞りの開口径を変化させたり、フォーカスレンズの移動制御を行ったりする。また、撮像光学系制御回路１０６は、被写体距離と、変倍レンズ群の位置情報に基づく焦点距離と、絞りの開口径に基づくＦナンバとを含むレンズ情報を生成する。システムコントローラ１０７は、例えばマイクロコンピュータを有し、コンピュータプログラムを実行する等して撮像装置１００を統括制御する。画像記録媒体１０８は、画像データを記録する。
【００１１】
本実施形態では、このような構成からなる撮像装置１００において、任意の対象物について画像追尾を行う方法の一例について述べる。
図２は、従来の追尾方式では追尾が困難なシーンの例を示す図である。
図２（ａ）において、画面２００の中央付近に位置する動物を追尾対象とする。追尾対象の指定方法は、予め決められた色条件や輝度条件を満たした領域を自動で判別して追尾対象としても、タッチパネル式とした表示装置１０５において、ユーザが任意の位置をタッチすることで追尾対象を確定してもよい。
【００１２】
図２では、動物の胴体付近の領域２０２を追尾対象の領域とした後、動物が他の場所へ移動すると共に、動物の体の向きが変化した場合を示している。このような変化をした場合、図２（ａ）に示す、追尾対象の領域２０２の画像と、図２（ｂ）で示す、移動後の動物の胴体付近の領域２１０の画像とを比較するパターンマッチング法では、動物の追尾は困難なものとなる。また、図２に示すように、追尾対象の領域２０２の画像のヒストグラム２２０と、移動後の動物の胴体付近の領域２１０の画像のヒストグラム２２２とを比較するヒストグラムマッチ法でも、これらの一致がとれなくなるので、動物の追尾は困難なものとなる。
【００１３】
続いて、フローチャートを参照しながら、本実施形態において任意の対象物を追尾する方法の一例を説明する。尚、本実施形態では、システムコントローラ１０７が以下のフローチャートによる処理を実行する場合を例に挙げて説明するが、その処理の一部又は全部をシステムコントローラ１０７以外（例えば画像処理回路１０４）で行うようにしてもよい。
【００１４】
図３は、対象物を追尾する際の撮像装置の処理の一例を説明するメインフローチャートである。
まず、システムコントローラ１０７は、追尾対象物の位置とサイズとを確定する（ステップＳ１０１）。先に述べたように、自動で追尾対象物を確定する方法や、ユーザが電子ビューファインダから任意の領域を指定して追尾対象物を確定する方法がある。追尾対象物の位置とサイズとが決まった後、システムコントローラ１０７は、追尾対象領域の色情報と輝度情報とから追尾対象物の認識処理を行う（ステップＳ１０２）。
【００１５】
図４は、ステップＳ１０２の追尾対象物認識処理の一例を説明するフローチャートである。まず、システムコントローラ１０７は、追尾対象領域のヒストグラム（主ヒストグラム）を作成する（ステップＳ２０１）。
図５は、画像と、当該画像の追尾対象領域の画素の一例を示す図である。図５では、ペンギンのシーンをカメラで捉えている画像３００において、ペンギンの頭部を追尾対象領域３０２としてタッチパネルによりユーザが指定することで、追尾対象領域を確定する様子を示している。
【００１６】
追尾対象領域３０２は、太線で囲われた領域３０４であることを示しており、この領域３０４内外のヒストグラムを作成する。ヒストグラムは、色相ヒストグラムと輝度ヒストグラムとに分かれており、各画素が有彩色画素であるか無彩色画素であるかに応じて、それぞれ色相ヒストグラムと輝度ヒストグラムに分布を取っていく。有彩色画素であるか無彩色画素であるかの判定は、各画素の彩度を閾値と比較することで行う。このとき、追尾対象領域３０２内と追尾対象領域３０２外のそれぞれの領域毎にヒストグラムを取る。
【００１７】
図６は、色相ヒストグラム（有彩色画素のヒストグラム）と（図６（ａ））と、色相ヒストグラムで分類された画素の平均輝度、平均彩度、及び平均色相を示す平均色相ヒストグラム（図６（ｂ））の一例を示す。また、図７は、輝度ヒストグラム（無彩色画素のヒストグラム）と（図７（ａ））、輝度ヒストグラムで分類された画素の平均輝度を示す平均輝度ヒストグラム（図７（ｂ））の一例を示す図である。
【００１８】
有彩色画素は、色相ヒストグラム４００に分類（登録）される。システムコントローラ１０７は、追尾対象領域３０２内に存在する色相Hue毎に、追尾対象領域内In、追尾対象領域外Outの画素数をカウントしていく。図６では、４０°毎の分割単位（分類単位）で色相ヒストグラム４００を作成しているが、要求される追尾精度に応じて分割単位を変更してもよい。
無彩色画素は、輝度ヒストグラム４４０に分類（登録）される。システムコントローラ１０７は、追尾対象領域３０２内に存在する輝度Y毎に、追尾対象領域内In、追尾対象領域外Outの画素数をカウントしていく。図７では、40LSB毎の分割単位で輝度ヒストグラム４４０を作成しているが、要求される追尾精度に応じて分割単位を変更してもよい。
【００１９】
システムコントローラ１０７は色相ヒストグラム４００及び輝度ヒストグラム４４０を取った後、追尾対象領域内外の各色相の存在比率Ratio［％］（＝（追尾対象領域内の画素数／追尾対象領域外の画素数）×１００）を算出する。例えば、Pink色の色相は、追尾対象領域３０２内に２画素、追尾対象領域３０２外に１３画素あるので、その存在比率Ratioは１５％（＝（２／１３）×１００）となる。ただし、追尾対象領域内の画素数が１以上であって追尾対象領域外の画素数が０の場合は、存在比率Ratioを１００とする。
尚、この存在比率Ratioは、必ずしもこのようにする必要はなく、例えば、「存在比率Ratio［％］＝[追尾対象領域内の画素数／（追尾対象領域内の画素数＋追尾対象領域外の画素数）]×１００」としてもよい。
【００２０】
また、システムコントローラ１０７は、色相の分布を取る処理と共に、追尾対象領域３０２内のヒストグラムの分割単位毎に、当該分割単位に分類された画素の平均輝度AveY、平均彩度AveChroma、及び平均色相AveHueを算出する。
例えば、図６（ａ）に示す色相ヒストグラム４００では、Yellowは、追尾対象領域３０２内に３画素ある。よって、図６（ｂ）に示す平均色相ヒストグラム４２０では、この３画素の平均輝度AveYが153LSB、平均彩度AveChromaが55LSB、平均色相AveHueが113°であることを示している。
同様に、図７（ａ）に示す輝度ヒストグラム４４０では、無彩色のWhiteは、追尾対象領域３０２内に３画素ある。よって、図７（ｂ）に示す平均輝度ヒストグラム４８０では、この３画素の平均輝度が210LSBであることを示している。
【００２１】
このように、追尾対象領域３０２内の有彩色画素の情報として、色相ヒストグラム４００と、色相ヒストグラム４００で分類される画素の平均輝度AveY、平均彩度AveChroma及び平均色相AveHue（平均色相ヒストグラム４２０）が得られる。更に、図５に示した追尾対象領域３０２内の無彩色画素の情報として、輝度ヒストグラム４４０と、当該輝度ヒストグラム４４０で分類される画素の平均輝度AveY（平均輝度ヒストグラム４８０）が得られる。
尚、以下の説明では、色相ヒストグラム４００、平均色相ヒストグラム４２０、輝度ヒストグラム４４０、及び平均輝度ヒストグラム４８０を必要に応じて主ヒストグラムと総称する。
【００２２】
図４の説明に戻り、システムコントローラ１０７は、主ヒストグラムの色相ヒストグラム４００、輝度ヒストグラム４４０のそれぞれにおいて分割単位に分類された各画素に隣接する画素集合のヒストグラム５００、５２０を作成する（ステップＳ２０２）。尚、以下の説明では、このヒストグラム５００、５２０を必要に応じて隣接ヒストグラムと称する。
図８、図９は、隣接ヒストグラムの作成対象となる画素の第１、第２の例を概念的に示す図である。図６、図７に示したように、追尾対象領域３０２内の有彩色の情報として、Pink、Yellow、Green、Blue2の４つ、無彩色の情報としてBlack0、Black1、Gray2、Whiteの４つ、計８つの分布が取れたものとする。この８つに分布した各画素の隣接画素の様子が、図８、図９に示されている。
【００２３】
図８（ａ）では、２つのPink画素５５０、５５２の隣接画素を、円で囲って示している。Pink画素５５０の周囲には、Blue2が１画素、Gary2が１画素、Black1が１画素、Pinkが２画素、Whiteが１画素、Greenが２画素、の計８画素が分布している。Pink画素５５２の周囲には、Gray2が１画素、Black1が３画素、Black0が１画素、Whiteが１画素、Greenが１画素、Pinkが１画素、の計８画素が分布している。このPink画素５５０、５５２の周囲にある延べ１６画素を、Pink画素に隣接する画素集合として、ヒストグラムを取る。
【００２４】
同様に図８（ｂ）では３つのYellow画素５５４、５５６、５５８に隣接する延べ２４画素、図８（ｃ）では２つのGreen画素５６０、５６２に隣接する延べ１６画素、図８（ｄ）では１つのBlue2画素５６４に隣接する述べ８画素の様子を示す。
また、図９（ａ）〜（ｄ）では、無彩色の画素の隣接画素の様子として、それぞれBlack0、Black1、Gray2、White画素の隣接画素の様子を示している。
【００２５】
本実施形態では、図５に示した追尾対象領域３０４に対し、主ヒストグラムはその追尾対象領域３０４内の画素のヒストグラムを取るようにする。これに対し、隣接関係については、追尾対象領域３０４よりも一回り広い領域を対象として認識するようにしている。こうすることで追尾対象と背景との関係も含めた隣接関係を取れるため、良好な追尾結果が得られる場合がある。ただし、両者を同じ領域を参照するようにしてもよい。
システムコントローラ１０７は、図８、図９で示した主ヒストグラムの各分割単位に分類された各画素の隣接画素からなる画素集合のヒストグラム（隣接ヒストグラム）を、主ヒストグラムと相互に対応させ、図１０、図１１に示す形式で記憶する。
【００２６】
図１０は、主ヒストグラムの色相ヒストグラムに対応する隣接ヒストグラム、図１１は主ヒストグラムの輝度ヒストグラムに対応する隣接ヒストグラムを示している。隣接ヒストグラムにおいて、隣接する画素の分布情報として、有彩色Colorの画素から輝度Y、彩度Chroma、色相Hueを抽出してそれぞれの分布を取り、無彩色Colorlessの画素から輝度Yの分布を取れるようになっている。
【００２７】
以上のようにして図４のフローチャートに示す追尾対象物認識処理（主ヒストグラムの取得と、隣接ヒストグラムの取得）が終了すると、システムコントローラ１０７は、追尾対象物を追尾することが可能かどうかの判定処理を行う（図３のステップＳ１０３）。図１２は、ステップＳ１０３の追尾可否判定処理の一例を説明するフローチャートである。
まず、システムコントローラ１０７は、図４、図６、及び図７で示したように、追尾対象領域の内外において、色相ヒストグラムと輝度ヒストグラムとからなる主ヒストグラムを取る（ステップＳ３０１、Ｓ３０２）。
【００２８】
ここで、図１２において、aHistColorTarget(m)は、図６（ａ）の色相ヒストグラム４００における色相Hue毎の追尾対象領域内Inの画素数を示す。aHistYTarget(n)は、図７（ａ）の輝度ヒストグラム４４０における輝度Y毎の追尾対象領域内Inの画素数を示す。aHistColorOther(m)は、図６（ａ）の色相ヒストグラム４００における色相Hue毎の追尾対象領域外Outの画素数を示す。aHistYOther(n)は、図７（ａ）の輝度ヒストグラム４４０における輝度Y毎の追尾対象領域外Outの画素数を示す。また、システムコントローラ１０７は、これらの値から、図６（ｂ）に示す平均色相ヒストグラムと、図７（ｂ）に示す平均輝度ヒストグラムも作成する。
【００２９】
次に、システムコントローラ１０７は、色相ヒストグラムの分割単位ごとに、追尾対象領域内に画素が分布しているか否かを判定する（ステップＳ３０３）。aHistColorTarget(i)は、色相ヒストグラム４００におけるある色相Hue(i)に対応する追尾対象領域内Inの画素数を示す値である。追尾対象領域内にその色相Hue(i)の１以上の画素が存在している場合、システムコントローラ１０７は、その色相Hue(i)に対して追尾対象領域の内外の存在比率Ratioを算出する（ステップＳ３０４）。追尾対象領域内外の各色相の存在比率Ratioについては、図６（ａ）、図７（ａ）を参照して示した通りである。つまり、システムコントローラ１０７は、その色相Hue(i)における追尾対象領域内Inの画素数（aHistColorTarget(i)）を追尾対象領域外Outの画素数（aHistColorOther (i)）で除した値に１００を乗じてこの存在比率Ratioを算出する。ただし、aHistColorTarget(i)が１以上であってaHistColorOther(i)が０の場合は、存在比率Ratioを１００とする。
【００３０】
次に、システムコントローラ１０７は、この存在比率Ratioが、所定の色相採用条件となる比率を上回っているか否かを判定する（ステップＳ３０５）。この判定の結果、存在比率Ratioが、所定の色相採用条件となる比率を上回っていない場合には、追尾対象と同じ色が背景にも多く分布しており、この色を用いた追尾の実施は精度が低下すると判断される。このため、システムコントローラ１０７は、高い追尾精度を実現するために、処理対象の色相Hue(i)を"不採用"と判断する（ステップＳ３０６）。一方、存在比率Ratioが、所定の色相採用条件となる比率を上回っている場合、システムコントローラ１０７は、処理対象の色相Hue(i)を"採用"と判断する（ステップＳ３０７）。
【００３１】
そして、システムコントローラ１０７は、処理対象となった色相Hue(i)の追尾対象領域内の画素数aHistColorTarget(i)の総数SumOKTargetと、追尾対象領域外の画素数aHistColorOther (i)の総数SumOKOtherを記憶する（ステップＳ３０８）。システムコントローラ１０７は、全ての色相Hue(i)に対して、このステップＳ３０３からＳ３０８までの処理を繰り返す（ステップＳ３０９）。このように本実施形態では、色相ヒストグラムの全ての分割単位の色相Hue(i)に対して採用／不採用のチェックを行うと共に、採用された画素数の総和を記憶する。
【００３２】
同様に、輝度ヒストグラムに対しても追尾対象領域の内外の存在比率が、所定の輝度採用条件となる比率を上回っているか否かを判定し、輝度ヒストグラムの分割単位の輝度Y(i)ごとに採用／不採用のチェックを行う（ステップＳ３１０〜Ｓ３１６）。なお、ステップＳ３１５で求める追尾対象領域内の画素の総数SumOKTarget、追尾対象領域外の画素の総数SumOKOtherは、それぞれ採用された色相Hue(i)の画素数の総和に、採用された輝度Y(i)の画素数を加算して求める値である。よって、最終的に得られる追尾対象領域内の画素の総数SumOKTarget、追尾対象領域外の画素の総数SumOKOtherは、それぞれ採用された色相Hue(i)の画素数と採用された輝度Y(i)の画素数の総和となる。
【００３３】
ここで、"色相採用条件"と"輝度採用条件"は個別に設定できるものとしておく。特に無彩色は有彩色に比べ、追尾対象の特徴と成り得ない場合が多く、輝度採用条件として色相採用条件よりも厳しい採用基準を設けるようにすることができる。また、図示してはいないが、有彩色、無彩色という採用条件設定だけでなく、特定の色や輝度の場合にだけ採用条件を変える形態にしてもよい。また、ステップＳ３０３〜Ｓ３０９と、ステップＳ３１０〜Ｓ３１６の何れか一方を行わないようにしてもよい。
【００３４】
主ヒストグラムの色相ヒストグラムと輝度ヒストグラムの分割単位ごとに採用するか否かを確認した後、システムコントローラ１０７は、追尾対象領域内に、採用された有彩色や無彩色の画素がどの程度の割合で存在しているかを判断する（ステップＳ３１７）。具体的にシステムコントローラ１０７は、採用された追尾対象領域内の画素の総数SumOKTargetを枠内の画素数で除した値に１００を乗じてこの割合Ratioを算出する。
そして、システムコントローラ１０７は、この割合Ratioが所定の枠内条件を上回っているか否かを判定する（ステップＳ３１８）。この判定の結果、割合Ratioが所定の枠内条件を上回っていない場合、システムコントローラ１０７は、追尾対象の特徴を十分に捉えることが出来なかったと判断し、追尾不可とする（ステップＳ３１９）。
【００３５】
一方、割合Ratioが所定の枠内条件を上回っている場合、システムコントローラ１０７は、追尾対象の特徴を捉えることができたと判断し、採用された有彩色や無彩色の画素が、画面内にどの程度存在しているかの割合を算出する（ステップＳ３２０）。具体的にシステムコントローラ１０７は、追尾対象領域内の画素の総数SumOKTargetと、追尾対象領域外の画素の総数SumOKOtherとを加算した値を全画面の画素数で除した値に１００を乗じてこの割合Ratioを算出する。
そして、システムコントローラ１０７は、この割合Ratioが所定の全画面条件Ｂを下回っているか否かを判定する（ステップＳ３２１）。この判定の結果、割合Ratioが所定の全画面条件Ｂを下回っていない場合、システムコントローラ１０７は、追尾対象となる有彩色や無彩色の画素が追尾対象以外の背景領域に多くあり、追尾性能が低下する懸念があるとして追尾不可とする（ステップＳ３１９）。
【００３６】
一方、割合Ratioが所定の全画面条件Ｂを下回っている場合、システムコントローラ１０７は、追尾可能と判断する（ステップＳ３２２）。
このように、追尾可能か否かの判断を、色・輝度ごとの単体評価、追尾領域内評価、画面全体評価と、幾重にも渡ってチェックすることで追尾可否を確実に行うことが可能となる。ただし、画面全体評価（ステップＳ３２０、Ｓ３２１）については必ずしも行う必要はない。
【００３７】
図３の説明に戻り、システムコントローラ１０７は、以上の追尾可否判定処理の結果に基づいて、追尾対象領域を追尾することが可能であるか否かを判定する（ステップＳ１０４）。この判定の結果、追尾対象領域を追尾することが可能でない場合には、図３のフローチャートによる処理を終了する。一方、追尾対象領域を追尾することが可能である場合には、追尾ループ処理が開始される。
追尾ループではまず、追尾継続可否判定が行われる（ステップＳ１０５）。図１３は、ステップＳ１０５の追尾継続可否判定処理の一例を説明するフローチャートである。まず、システムコントローラ１０７は、図６（ａ）、図７（ａ）に示したヒストグラムで採用された有彩色及び無彩色の画素が、画面内に存在する割合Ratioを算出する（ステップＳ４０１）。具体的にシステムコントローラ１０７は、図６（ａ）、図７（ａ）に示したヒストグラムで採用された有彩色及び無彩色の画素の総数SumOKALLを全画面の画素数で除した値に１００を乗じてこの割合Ratioを算出する。この総数SumOKALLは、追尾対象領域内の画素の総数SumOKTargetと、追尾対象領域外の画素の総数SumOKOtherとを加算した値である。
【００３８】
そして、システムコントローラ１０７は、この割合Ratioが所定の全画面条件Ｃを下回っているか否かを判定する（ステップＳ４０２）。この判定の結果、割合Ratioが所定の全画面条件Ｃを下回っていない場合、システムコントローラ１０７は、追尾対象となる有彩色や無彩色の画素が追尾対象以外の背景領域に多くあり、追尾性能が低下する懸念がある判断する。すなわち、システムコントローラ１０７は、追尾不可と判断する（ステップＳ４０３）。一方、割合Ratioが所定の全画面条件Ｃを下回っている場合、システムコントローラ１０７は、追尾可能と判断する（ステップＳ４０４）。
【００３９】
ここで、"全画面条件Ｃ"は、図１２のステップＳ３２１で示した追尾可否の最終判断条件である"全画面条件Ｂ"とは別の条件にすることができる。全画面条件Ｃを全画面条件Ｂよりも厳しい条件としておくことで、追尾開始後に背景の状況が変化し、追尾対象と同じ色相や同じ輝度の画素が増加してきても、適切に追尾を中断するか否かの判断を行うことができる。また、図１３では、"全画面条件Ｃ"のまま条件を固定する場合を例に挙げて示しているが、追尾開始からの経過時間に応じて徐々に条件を異ならせる（例えば、厳しくしていく）ようにしてもよい。さらに、図１２のステップＳ３１８で示した"枠内条件"、ステップＳ３２１で示した"全画面条件Ｂ"、及び図１３のステップＳ４０２で示した"全画面条件Ｃ"を、追尾対象が色相のみ、輝度のみ、色相と輝度との双方の場合に応じて分けて細分化してもよい。また、特定の色のみ、特定の輝度のみに対する条件をさらに変えるようにしても良い。
【００４０】
以上のように本実施形態では、例えば、ステップＳ３０１、Ｓ３０２の処理を行うことにより記憶手段の一例が実現される。また、例えば、ステップＳ３０１の処理を行うことにより第１のヒストグラム記憶手段の一例が実現され、ステップＳ３０２の処理を行うことにより第２のヒストグラム記憶手段の一例が実現される。ここで、有彩色の場合には色相が所定の属性の一例となり、無彩色の場合には輝度が所定の属性の一例となる。
また、例えば、ステップＳ３０４、Ｓ３１２の処理を行うことにより第１の導出手段の一例が実現され、有彩色の場合には色相採用条件が、無彩色の場合には輝度採用条件が第１の所定値の一例となる。また、例えば、ステップＳ３１７の処理を行うことにより第２の導出手段が実現され、枠内条件が第２の所定値の一例となる。また、ステップＳ３２０、Ｓ４０１の少なくとも何れか一方を行うことにより第３の導出手段の一例が実現され、全画面条件Ｂ、Ｃが第３の所定値の一例となる。
【００４１】
図３の説明に戻り、システムコントローラ１０７は、以上の追尾継続可否判定処理の結果に基づいて、追尾対象領域の追尾を継続することが可能であるか否かを判定する（ステップＳ１０６）。この判定の結果、追尾対象領域の追尾を継続することが可能でない場合には、図３のフローチャートによる処理を終了する。一方、追尾対象領域の追尾を継続することが可能である場合には、追尾対象の検出処理が行われる（ステップＳ１０７）。
図１４は、ステップＳ１０７の追尾対象検出処理の一例を説明するフローチャートである。
追尾対象検出処理は画面全体や、画面内の任意の領域に対してのみ実施することができるが、ここでは画面全体に対して追尾対象検出処理を実施する場合を例に挙げて示す。
【００４２】
図１５は、追尾対象検出処理で追尾対象領域を追尾する方法の一例を概念的に示す図である。画面内を追尾する基点や方向や順序も様々に設定することができるが、ここでは図１５に示すように、画面左上を基点に水平方向へ探索し、次いで下のラインへ、順次探索する場合を例に挙げて説明する。
まず、システムコントローラ１０７は、処理対象（評価対象）の画素が、主ヒストグラムに分布した画素に一致するとみなせるか否かを判定する（ステップＳ５０１）。具体的にシステムコントローラ１０７は、処理対象の画素が、追尾対象領域内に存在するものとして図６（ａ）、図７（ａ）に示した主ヒストグラムに記憶された有彩色や無彩色であるか否かをチェックする。
【００４３】
また、システムコントローラ１０７は、処理対象の画素が、図６（ｂ）、図７（ｂ）に示した平均ヒストグラムに記憶した各平均（平均輝度、平均彩度、平均色相）に対して所定の範囲内に入っているか否かをチェックする。この判定の結果、処理対象の画素が、主ヒストグラムに分布した画素に一致するとみなせない場合には、後述するステップＳ５０６に進む。一方、処理対象の画素が、主ヒストグラムに分布した画素に一致するとみなせる場合、システムコントローラ１０７は、その画素の位置に対してポイントを付加する（ステップＳ５０２）。
【００４４】
図１６は、追尾対象を検出するために探索される画素にポイントを付与する方法の一例を概念的に示す図である。図１６（ａ）に示すように、処理対象の画素６５０が主ヒストグラムの有彩色と一致する場合に、その画素６５０に１ポイントが付加される。一方、図１６（ｂ）に示すように、処理対象の画素６５０が主ヒストグラムの無彩色と一致する場合に、その画素６６０に０ポイントが付加される（ポイントが付加されない）。あるいは、処理対象の画素６５０が主ヒストグラムの有彩色と一致する場合には、２ポイントを付加し、処理対象の画素６５０が主ヒストグラムの無彩色と一致する場合には、有彩色と一致する場合よりも小さな１ポイントを付加するようにしてもよい。
【００４５】
次に、システムコントローラ１０７は、処理対象の画素に隣接する画素が、隣接ヒストグラムに分布した画素に一致するとみなせるか否かを判定する（ステップＳ５０３）。例えば、システムコントローラ１０７は、主ヒストグラムとの一致が取れた画素に関し、図１５に示すように、処理対象の画素６１０の周辺の８画素が、図１０、図１１で示した隣接ヒストグラムと一致するとみなせるか否かを判定する。この判定の結果、処理対象の画素に隣接する画素が、隣接ヒストグラムに分布した画素に一致するとみなせない場合には、後述するステップＳ５０５に進む。一方、処理対象の画素に隣接する画素が、隣接ヒストグラムに分布した画素に一致するとみなせた場合、システムコントローラ１０７は、その画素の位置に対してポイントを付加する（ステップＳ５０４）。
【００４６】
具体例を説明すると、図１６（ｃ）に示すように、主ヒストグラムと一致した有彩色の画素の隣に、隣接ヒストグラムに分布する画素であって、当該有彩色の色相と異なる色相の有彩色の画素６５２がある場合、５ポイントが付加される。また、図１６（ｃ）に示すように、主ヒストグラムと一致した有彩色の画素の隣に、隣接ヒストグラムに分布する画素であって、当該有彩色の色相と同じ色相の有彩色の画素６５４がある場合、４ポイントが付加される。また、主ヒストグラムと一致した有彩色の画素の隣に、隣接ヒストグラムに分布する画素であって、無彩色の画素６５６がある場合、３ポイントが付加される。
【００４７】
また、図１６（ｄ）に示すように、主ヒストグラムと一致した無彩色の画素の隣に、隣接ヒストグラムに分布する有彩色の画素６６２がある場合、３ポイントが付加される。また、主ヒストグラムと一致した無彩色の画素の隣に、当該無彩色と異なる輝度の無彩色の画素６６４がある場合、２ポイントが付加される。また、主ヒストグラムと一致した無彩色の画素の隣に、当該無彩色と同じ輝度の無彩色の画素６６６がある場合、２ポイントが付加される。
【００４８】
処理対象の画素に隣接する画素が、図１０、図１１に示した隣接ヒストグラムの分布のいずれかと一致しているか否かを判定する際、隣接する画素が有彩色Colorであれば、色相Hueのみの一致を取るようにしてもよい。また、色相Hueの一致と、彩度Chroma、輝度Yの一致との双方の一致を取るようにしてもよい。また、図１６に示す例では、処理対象の画素と隣接する画素との組み合わせに応じて与えるポイント数を変える仕組みを例に挙げて示しているが、全て同じポイントを付加するようにしてもよいし、前述したのと異なるポイントを付加するようにしてもよい。
【００４９】
図１５、図１６に示したように、画面内の処理対象の画素とその隣接画素との関係を評価し、処理対象との画素と主ヒストグラムとの一致、隣接画素と隣接ヒストグラムとの一致が確認されるごとに、評価画素位置にポイントを付加していく。システムコントローラ１０７は、このような処理を全ての隣接画素について行う（ステップＳ５０５）。
次に、システムコントローラ１０７は、獲得したポイントと、図６（ｂ）、図７（ｂ）で記憶しておいた、主ヒストグラムの分割単位ごとの平均輝度、平均彩度、平均色相値を用いて、評価画素位置ごとに評価値を算出する（ステップＳ５０６）。具体的にシステムコントローラ１０７は、評価画素が有彩色の場合には以下の（式１）で評価値を算出し、無彩色の場合には以下の（式２）で評価値を算出する。
【００５０】
【数１】
2011039604.tif 000003
【００５１】
ここで、ΔHueは、評価画素の色相と、図６（ｂ）、図７（ｂ）に示した平均ヒストグラムに記憶済み平均色相との差である。ΔChroma、は評価画素の彩度と、図６（ｂ）、図７（ｂ）に示した平均ヒストグラムに記憶済みの平均彩度との差である。ΔYは、評価画素の輝度と、図６（ｂ）、図７（ｂ）に示した平均ヒストグラムに記憶済みの平均輝度との差を示している。ΔDistanceは、表示装置１０５に表示している追尾対象位置を示す枠位置と、評価画素の位置との距離を示している。追尾対象を検出する精度が極めて高い場合、このΔDistanceは不要であるか極めて小さくてもよい。
【００５２】
ただし、類似する色相や輝度の画素が評価画素の周辺に多く分布している場合等には、ある程度の距離係数を足し合わせることで、追尾対象検出精度不足による枠表示のハンチング現象を抑えることができる。また、（式１）、（式２）では、異なる単位系を持つ要素を足し合わせているため、それぞれのバランスを取るために係数[Ｋ０］〜［Ｋ４］を掛け合わせている。
あるいは、処理を簡素化するため、（式１）と（式２）の分母を定数としても構わない。ステップＳ５０１での判定基準を厳しく設定すれば、この（式１）と（式２）の分母におけるΔHueとΔChromaの値の変化幅が小さくなるためである。
【００５３】
システムコントローラ１０７は、画面内の全ての画素の評価値を算出したか否かを判定する（ステップＳ５０７）。この判定の結果、画面内の全ての画素の評価値を算出していない場合には、ステップＳ５０１に戻る。
一方、画面内の全ての画素の評価値を算出した場合、システムコントローラ１０７は、算出した評価値を用いて、追尾対象位置を特定する（ステップＳ５０８）。例えば、システムコントローラ１０７は、算出した評価値の画素単位のピーク位置を探したり、ある程度のレベルの評価値以上を持つ画素の集合の位置を探したりして、その位置を追尾対象位置とすることができる。
【００５４】
ただし、例えば、ある程度のレベルを持った評価値の位置が求まらない場合等、算出した評価値を用いて、追尾対象位置を特定することができない場合には、システムコントローラ１０７は、追尾対象位置を特定しない。そして、システムコントローラ１０７は、特定した追尾対象位置に合わせて枠表示位置を決定する。尚、追尾対象位置が特定されていない場合には、システムコントローラ１０７は、枠表示位置を決定しない。
【００５５】
図１７は、評価値の算出結果の一例を示す図である。図１７では、図２（ａ）に示す画像から、図２（ｂ）に示す画像になった場合の、図２（ｂ）の画像における評価値の一例を示す。図１７の縦軸、横軸は、それぞれ図２（ｂ）の画像の垂直方向の座標、水平方向の座標を示す軸であり、この２つの軸に平行な平面に対して直交するもう１つの軸は、各座標における評価値の値を示す。
図２（ａ）では、追尾対象領域が確定した時点の画像を示している。この画像において、領域２０２内を追尾対象として認識し、主ヒストグラム及び隣接ヒストグラムを取る。図２（ｂ）では、追尾対象領域が移動した後の画像を示す。
【００５６】
このような状況において算出した評価値は、図１７に示すような分布となる。この結果、高い評価値６１２を示す領域に追尾対象領域を示す枠を表示することができる。またこのとき、図１７に示す例では、評価値６１２の他にも高い評価値６２０、６２２、６２４の領域が、複数存在している。
例えば、現在表示している追尾対象領域を示す枠が評価値６２０の位置にあったとする。この評価値６２０は、評価値６１２に対して評価値レベルが近く、さらにこの評価値６２０の位置は評価値６１２の位置に近いことから、既に追尾対象上に枠を表示していることも考えられる。したがって、このような場合には、枠表示位置をあえて評価値６１２の位置に移動せず、評価値６２０の位置のまま変更しない、といった処理を行うようにしてもよい。
【００５７】
そして、図３の説明に戻り、システムコントローラ１０７は、図１４のステップＳ５０８の処理の結果に基づいて、追尾対象領域を検出することができたか否かを判定する（ステップＳ１０８）。この判定の結果、追尾対象領域を検出することができた場合、システムコントローラ１０７は、図１４のステップＳ５０９で決定した枠表示位置に枠を表示させる（ステップＳ１０９）。そして、ステップＳ１０５の処理に戻る。
一方、追尾対象領域を検出することができなかった場合、システムコントローラ１０７は、タイムアウト（例えば、追尾対象を検出できなくなってから所定の時間が経過）したか否かを判定する（ステップＳ１１０）。この判定の結果、タイムアウトした場合には、図３のフローチャートによる処理を終了する。一方、タイムアウトした場合にはステップＳ１０５の処理に戻る。
【００５８】
以上のように本実施形態では、有彩色については、色相ヒストグラムの分割単位ごとに、追尾対象領域外に存在している画素の数に対する、追尾対象領域内に存在している画素の存在割合Ratioを算出する（図６（ａ）を参照）。同様に、無彩色については、輝度ヒストグラムの分割単位ごとに、追尾対象領域外に存在している画素の数に対する、追尾対象領域内に存在している画素の存在割合Ratioを算出する（図７（ａ）を参照）。
そして、存在割合Ratioが閾値よりも大きい場合に、色相ヒストグラム及び輝度ヒストグラムにおける該当する分割単位に属する画素を採用する。そして、追尾対象領域に対応する枠内の画素数に対する、採用した追尾対象領域内の画素の総数の存在割合Ratioが閾値よりも小さい場合には追尾することができないとする。
【００５９】
一方、追尾対象領域に対応する枠内の画素数に対する、採用した追尾対象領域内の画素の総数の存在割合Ratioが閾値よりも大きい場合には、画面全体の画素数に対する、採用した総画素数の存在割合Ratioが閾値よりも小さいか否かを判定する。この判定の結果、画面全体の画素数に対する、採用した総画素数の存在割合Ratioが閾値よりも小さい場合には、追尾できるとし、そうでない場合には追尾できないとする。
したがって、追尾可能な状況であるか否かを適切に判断したうえで、追尾対象領域の追尾を行うことができる。これにより、追尾対象領域を誤って追尾してしまう確率を低減することができる。追尾対象と類似のものが背景にある場合等での追尾性能を向上するために、追尾可能な状況であるか否かを適切に判断できる。また、追尾可能な状況であるか否かの判定が軽量であるために追尾可能であるか否かの判断を高速に行うことができる。
【００６０】
（第２の実施形態）
次に、本発明の第２の実施形態を説明する。本実施形態では、フレーム間差分方式による追尾が行える場合には、フレーム間差分方式による追尾を行い、フレーム間差分方式による追尾が行えない場合に、第１の実施形態のようにして追尾を行う場合について説明する。このように本実施形態は、前述した第１の実施形態に対し、フレーム間差分方式を併用する点が主として異なる。したがって、本実施形態の説明において、前述した第１の実施形態と同一の部分については、図１〜図１７に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００６１】
図１８は、対象物を追尾する際の撮像装置の処理の一例を説明するメインフローチャートである。
まず、システムコントローラ１０７は、追尾対象物の位置とサイズを確定した後（ステップＳ１００１）、追尾対象物認識処理（ステップＳ１００２）、追尾可否判定処理（ステップＳ１００３）を行う。ステップＳ１００１、Ｓ１００２、Ｓ１００３は、それぞれ図３のステップＳ１０１、Ｓ１０２、Ｓ１０３と同じ処理である。
【００６２】
その後、システムコントローラ１０７は、フレーム間相対差分法にて追尾対象領域を追尾する（ステップＳ１００４）。フレーム間相対差分法では、指定された追尾位置の画像データをテンプレート画像として、次の画像フレームの中からパターンマッチする領域を探す方法を取る。更に、パターンマッチする領域として検出した位置の画像データをテンプレート画像として更新し、また次のフレーム画像の中からパターンマッチする領域を探し続けていく。このように、テンプレート画像を順次更新していきながら、次のフレーム画像から追尾対象を追い続けていく。
【００６３】
このフレーム間相対差分法では、パターンマッチが取れなくなり、追尾不能と判断される場合がある。そこで、システムコントローラ１０７は、フレーム間相対差分法での追尾が可能であるか否かを判定する（ステップＳ１００５）。
例えば、追尾対象の向きが回転等により急に変化した場合や、追尾装置自体の縦横方向等の姿勢が変化した場合のように、パターンマッチが取れなくなると、フレーム間相対差分法での追尾が不可能になる。この判定の結果、フレーム間相対差分法での追尾が可能である場合には、ステップＳ１００４に戻り、フレーム間相対差分法での追尾を継続する。
【００６４】
一方、フレーム間相対差分法での追尾が不可能である場合には、ステップＳ１００６に進む。そして、システムコントローラ１０７は、追尾継続可否判定処理（ステップＳ１００６）、追尾の継続が可能であるか否かの判定処理（ステップＳ１００７）、追尾対象検出処理（ステップＳ１００８）を行う。そして、追尾対象領域が検出されると、システムコントローラ１０７は、枠表示位置に枠を表示させ、ステップＳ１００４に戻る（ステップＳ１０１０）。
【００６５】
ステップＳ１００４に戻った場合には、差分ステップＳ１００８検出された追尾対象領域（位置）を基点に、フレーム間相対差分法での追尾を再開していくこととなる。一方、追尾対象領域が検出されない場合には、システムコントローラ１０７は、タイムアウトしたか否かを判定し（ステップＳ１０１１）、タイムアウトした場合には図１８のフローチャートによる終了する。一方、タイムアウトしていない場合には、ステップＳ１００６に戻る。ステップＳ１００６、Ｓ１００７、Ｓ１００８、Ｓ１００９、Ｓ１０１０、Ｓ１０１１は、それぞれ図３のステップＳ１０５、Ｓ１０６、Ｓ１０７、Ｓ１０８、Ｓ１０９、Ｓ１１０と同じ処理である。
【００６６】
このように、図１８に示すフローチャートでは、フレーム間相対差分法での追尾と、第１の実施形態で説明した追尾とが同時には動作しないフローを示したが、必ずしもこのようにする必要はない。例えば両者を同時平行的に実施し、逐次、いずれの追尾結果の追尾確度が高いかを判断し、精度の高い方の検出結果を用いて追尾していくといった方法も考えられる。また、フレーム間相対差分法の代わりに、背景技術で示したようなその他の追尾方法を採用してもよい。
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００６７】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６８】
１０１  撮像光学系、１０５  表示装置、１０７  システムコントローラ
【図１】
2011039604.tif 000004
【図２】
2011039604.tif 000005
【図３】
2011039604.tif 000006
【図４】
2011039604.tif 000007
【図５】
2011039604.tif 000008
【図６】
2011039604.tif 000009
【図７】
2011039604.tif 000010
【図８】
2011039604.tif 000011
【図９】
2011039604.tif 000012
【図１０】
2011039604.tif 000013
【図１１】
2011039604.tif 000014
【図１２】
2011039604.tif 000015
【図１３】
2011039604.tif 000016
【図１４】
2011039604.tif 000017
【図１５】
2011039604.tif 000018
【図１６】
2011039604.tif 000019
【図１７】
2011039604.tif 000020
【図１８】
2011039604.tif 000021