(57)【要約】【課題】精度良く動画像中から動物体を追跡することを可能にする。【解決手段】参照画像から参照領域ヒストグラムと参照拡張領域ヒストグラムを作成する参照ヒストグラム作成工程（Ａ１）と、処理画像から候補領域ヒストグラムと候補拡張領域ヒストグラムを作成する候補ヒストグラム作成工程（Ａ２）と、参照領域ヒストグラムと候補領域ヒストグラムを用いてヒストグラムマッチングを行いヒストグラムインターセクションを算出し、参照拡張領域ヒストグラムと候補拡張領域ヒストグラムを用いてヒストグラムマッチングを行い拡張ヒストグラムインターセクションを算出するヒストグラムマッチング工程（Ａ３）と、算出されたヒストグラムインターセクションと拡張ヒストグラムインターセクションを統合して、統合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する物体位置検出工程（Ａ４）を備える。【選択図】    図２
2004348273.tif 000002
【特許請求の範囲】
【請求項１】
動画像中の対象動物体を追跡する画像処理方法において、
前記動画像中の参照画像をもとに、前記対象動物体に該当する参照領域についての参照領域ヒストグラムと、前記参照領域の近傍にある参照拡張領域についての参照拡張領域ヒストグラムを作成する参照ヒストグラム作成工程と、
前記動画像中の処理画像をもとに、前記対象動物体を探索するための候補領域についての候補領域ヒストグラムと、前記候補領域の近傍にある候補拡張領域についての候補拡張領域ヒストグラムを作成する候補ヒストグラム作成工程と、
前記参照領域ヒストグラムと前記候補領域ヒストグラムとのヒストグラムマッチングを行う第１のヒストグラムマッチング工程と、
前記参照拡張領域ヒストグラムと前記候補拡張領域ヒストグラムとのヒストグラムマッチングを行う第２のヒストグラムマッチング工程と、
前記第１及び第２のヒストグラムマッチング工程によるヒストグラムマッチングの結果をもとに、処理画像中の対象動物体位置とする候補領域を検出する物体位置検出工程と
を備えることを特徴とする画像処理方法。
【請求項２】
前記参照ヒストグラム作成工程は、参照画像の色情報を用いて前記参照領域ヒストグラムと前記参照拡張領域ヒストグラムを作成し、
前記候補ヒストグラム作成工程は、処理画像の色情報を用いて前記候補領域ヒストグラムと前記候補拡張領域ヒストグラムを作成することを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記参照ヒストグラム作成工程は、
前記参照画像の色空間をＨＳＶ（色相、彩度、明度）色空間に変換する参照色空間変換工程と、
前記参照色空間変換工程により色空間変換された色相成分を用いて、前記参照領域ヒストグラムと前記参照拡張領域ヒストグラムを作成する参照色相ヒストグラム作成工程とを備え、
前記候補ヒストグラム作成工程は、
前記処理画像の色空間をＨＳＶ色空間に変換する候補色空間変換工程と、
前記候補色空間変換工程により色空間変換された色相成分を用いて、前記候補領域ヒストグラムと前記候補拡張領域ヒストグラムを作成する候補色相ヒストグラム作成工程とを備えることを特徴とする請求項１記載の画像処理方法。
【請求項４】
前記候補ヒストグラム作成工程は、
前記参照領域ヒストグラムが作成された参照領域のアスペクト比と同じアスペクト比の候補領域を前記処理画像に設定するアスペクト比固定候補領域設定工程と、
前記アスペクト比固定候補領域設定工程により設定された候補領域と同候補領域の近傍の候補拡張領域から候補領域ヒストグラムと候補拡張領域ヒストグラムを作成するアスペクト比固定候補ヒストグラム作成工程と
を備えることを特徴とする請求項１記載の画像処理方法。
【請求項５】
前記ヒストグラムマッチング工程は、
前記参照領域ヒストグラムと前記候補領域ヒストグラムを用いたヒストグラムマッチングにより、ヒストグラムインターセクションを算出し、
前記参照拡張領域ヒストグラムと前記候補拡張領域ヒストグラムを用いたヒストグラムマッチングにより拡張ヒストグラムインターセクションを算出し、
前記物体位置検出工程は、
前記ヒストグラムインターセクションと前記拡張ヒストグラムインターセクションを統合して、統合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出することを特徴とする請求項１記載の画像処理方法。
【請求項６】
前記物体位置検出工程は、前記候補領域と前記候補拡張領域との面積比に応じて、前記ヒストグラムインターセクションと前記拡張インターセクションとを統合することを特徴とする請求項５記載の画像処理方法。
【請求項７】
前記参照拡張領域は、前記参照領域と隣接する位置に設けられ、
前記候補拡張領域は、候補領域と隣接する位置に設けられることを特徴とする請求項１記載の画像処理方法。
【請求項８】
動画像中の対象動物体を追跡する画像処理装置において、
前記動画像中の参照画像をもとに、前記対象動物体に該当する参照領域についての参照領域ヒストグラムと、前記参照領域の近傍にある参照拡張領域についての参照拡張領域ヒストグラムを作成する参照ヒストグラム作成手段と、
前記動画像中の処理画像をもとに、前記対象動物体を探索するための候補領域についての候補領域ヒストグラムと、前記候補領域の近傍にある候補拡張領域についての候補拡張領域ヒストグラムを作成する候補ヒストグラム作成手段と、
前記参照領域ヒストグラムと前記候補領域ヒストグラムとのヒストグラムマッチングを行う第１のヒストグラムマッチング手段と、
前記参照拡張領域ヒストグラムと前記候補拡張領域ヒストグラムとのヒストグラムマッチングを行う第２のヒストグラムマッチング手段と、
前記第１及び第２のヒストグラムマッチング手段によるヒストグラムマッチングの結果をもとに、処理画像中の対象動物体位置とする候補領域を検出する物体位置検出手段と
を具備したことを特徴とする画像処理装置。
【請求項９】
プロセッサと、
前記プロセッサによりアクセス可能なメモリと、
前記メモリに収容された画像処理プログラムとを備え、
前記画像処理プログラムが、
前記動画像中の参照画像をもとに、前記対象動物体に該当する参照領域についての参照領域ヒストグラムと、前記参照領域の近傍にある参照拡張領域についての参照拡張領域ヒストグラムを作成する参照ヒストグラム作成機能と、
前記動画像中の処理画像をもとに、前記対象動物体を探索するための候補領域についての候補領域ヒストグラムと、前記候補領域の近傍にある候補拡張領域についての候補拡張領域ヒストグラムを作成する候補ヒストグラム作成機能と、
前記参照領域ヒストグラムと前記候補領域ヒストグラムとのヒストグラムマッチングを行う第１のヒストグラムマッチング機能と、
前記参照拡張領域ヒストグラムと前記候補拡張領域ヒストグラムとのヒストグラムマッチングを行う第２のヒストグラムマッチング機能と、
前記第１及び第２のヒストグラムマッチング機能によるヒストグラムマッチングの結果をもとに、処理画像中の対象動物体位置とする候補領域を検出する物体位置検出機能とを有することを特徴とする画像処理装置。
【請求項１０】
動画像中の対象動物体を追跡する画像処理プログラムであって、
コンピュータに、
前記動画像中の参照画像をもとに、前記対象動物体に該当する参照領域についての参照領域ヒストグラムと、前記参照領域の近傍にある参照拡張領域についての参照拡張領域ヒストグラムを作成する参照ヒストグラム作成工程と、
前記動画像中の処理画像をもとに、前記対象動物体を探索するための候補領域についての候補領域ヒストグラムと、前記候補領域の近傍にある候補拡張領域についての候補拡張領域ヒストグラムを作成する候補ヒストグラム作成工程と、
前記参照領域ヒストグラムと前記候補領域ヒストグラムとのヒストグラムマッチングを行う第１のヒストグラムマッチング工程と、
前記参照拡張領域ヒストグラムと前記候補拡張領域ヒストグラムとのヒストグラムマッチングを行う第２のヒストグラムマッチング工程と、
前記第１及び第２のヒストグラムマッチング工程によるヒストグラムマッチングの結果をもとに、処理画像中の対象動物体位置とする候補領域を検出する物体位置検出工程とを実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像中の対象動物体を追跡する画像処理方法、画像処理装置、画像処理プログラムに関する。
【０００２】
【従来の技術】
動画像中の対象動物体を追跡する技術は、従来、動画像中の自動車や不審者を追跡して検出する監視システムで利用されてきた。また、近年、インターネットやデジタルテレビ等のデジタルコンテンツにおいて、動画像中のある物体に予め関連情報（名前，値段など）を付与しておき、ユーザーが動画像中のこの物体をマウス等を用いてポインティングすれば関連情報を画面に提示するような映像を制作するためのアンカー領域の指定などにも、動画像中の対象動物体を追跡する技術は利用される。これによって、テレビドラマを見ながら俳優が身に付けている時計をユーザがマウスでクリックしてインターネットショッピングによって購入したり、スポーツ観戦中に所望の選手のプロフィールを表示させたり、また、試合中の選手の動きを解析してチームの戦略分析等に応用することも可能になる。
【０００３】
動画像中の対象動物体の追跡技術の具体的なアルゴリズムの一つとして、Ａｆｆｉｎｅ変換推定を用いた物体追跡手法がある（例えば、特許文献１参照。）。これは、フレーム間での対象動物体の移動・変形が、Ａｆｆｉｎｅ変換であると仮定して、このＡｆｆｉｎｅ変換を表すＡｆｆｉｎｅパラメータを推定して物体を追跡する手法である。本手法について、図１８を用いて説明する。参照画像に対してユーザの手入力によって参照物体領域を指定し、図１８（Ａ）のように追跡に効果的な有限個の特徴点のみを選択する。特徴点選択は、参照物体領域内に定められた間隔で特徴点候補を格子状に配置して、特徴点候補を中心に定められた大きさのブロック（例えば８×８画素）を決め、特徴点候補を中心に、周囲領域においてブロックマッチングを行い、周囲領域とのブロックマッチングを行うことにより得られた類似度が低い、つまり、処理画像との追跡を行う際のブロックマッチング誤り（追跡誤り）が起こりにくいと判断される特徴点候補を選択する。続いて、図１８（Ｂ）のように、参照画像に配置された特徴点を中心としたブロックと処理画像とでブロックマッチングを行い、移動ベクトルを推定する。一般に、これら移動ベクトルには外れ値が含まれている。よって、ロバスト推定により物体の変換を表すＡｆｆｉｎｅパラメータを推定し、このＡｆｆｉｎｅパラメータを用いて参照物体領域にＡｆｆｉｎｅ変換を施し、図１８（Ｃ）のように、処理画像での対象動物体領域の位置及び形状を推定することができる。
【０００４】
また、色ヒストグラムを用いて参照物体領域に対応する領域を処理画像中から推定するアルゴリズムもある（例えば、非特許文献１参照。）。これは、マッチングを取るための特徴量として、参照物体領域内の色ヒストグラムを用いるもので、処理画像の色ヒストグラムとの照合を取ることで物体位置を検出する方法である。まず、図１９のように参照ヒストグラムを作成するための参照物体領域（図中、矩形枠９０１によって表す）を設定する。この設定は、参照画像においてユーザがマニュアル操作によって矩形領域や楕円領域を設定してもよいし、また、背景差分法やフレーム間差分法といった画像処理を用いて参照物体領域を自動生成してもよい。続いて、この参照物体領域の色ヒストグラムを作成する。色ヒストグラムの計算では、色空間における各軸をＱ分割した３次元色ヒストグラムを作成する。図２０では、色空間をＲＧＢ空間、Ｑ＝４分割として図示してある。参照物体領域内での各画素値が色空間内のＱ３＝６４個の立方体それぞれに何個含まれるかを数えて、参照物体領域での色ヒストグラムを以下の式（１）として算出する。ヒストグラムの性質上、参照物体領域内の総画素数は以下の（２）となる。
【０００５】
【数１】
2004348273.tif 000003
【０００６】
次に、以下の式（３）に示す各ヒストグラムの要素を総画素数で割った正規化ヒストグラムを作成する。
【０００７】
【数２】
2004348273.tif 000004
【０００８】
つまり、参照物体領域内の総画素数は１．０に正規化されている。このＭｉを参照物体領域の色ヒストグラムを表す参照ヒストグラムとする。
【０００９】
続いて、処理画像中の探索範囲内に候補物体領域を設定し、同様に候補ヒストグラムを作成する（以下に示す式（４））。ヒストグラム間のマッチング度合いを計る尺度としては以下の式（５）に示すヒストグラムインターセクションＳＨＭを用いる。
【００１０】
【数３】
2004348273.tif 000005
【００１１】
ヒストグラムインターセクションＳＨＭは、ヒストグラムが正規化されているため、０から１までの値を取り、この類似度が最大となる候補ヒストグラムを持つ候補物体領域を、処理画像中の探索範囲内で探して、参照物体領域の移動先として出力する。
【００１２】
【特許文献１】
特開２００１−１３２６９１公報
【００１３】
【非特許文献１】
Ｍｉｃｈａｅｌ  Ｊ．  Ｓｗａｉｎ，  Ｄａｎａ  Ｈ．  Ｂａｌｌａｒｄ著「Ｃｏｌｏｒ  Ｉｎｄｅｘｉｎｇ」Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  １９９１，  ｖｏｌ．  ７，  ｎｏ．  １，  ｐｐ．  １１−３２．
【００１４】
【発明が解決しようとする課題】
しかしながら、Ａｆｆｉｎｅ変換推定を用いた物体追跡手法では、推定されたＡｆｆｉｎｅパラメータによって対象動物体の変形・追跡を行うために、参照画像における対象動物体から処理画像における対象動物体への変化がＡｆｆｉｎｅ変換で近似できない場合には正しい追跡を行うことができないという問題があった。また、複数のブロックマッチングを用いて物体を追跡するため、追跡領域がある程度の大きさを持つ必要もあった。
【００１５】
一方、色ヒストグラムを用いた物体追跡手法では、対象領域内の色ヒストグラムを用いて追跡を行うため、対象動物体の持つ色成分に大きな変化が生じない限り、形状に大きな変化が生じても追跡することができ、追跡領域が小さな領域の場合でも追跡できる。
【００１６】
しかし、特徴量として色ヒストグラムのみを用いて追跡を行うので、背景領域と対象動物体領域の色成分が似ている場合や、同じような色成分を持った動物体が映像中に複数含まれる場合、また、環境変動によって対象動物体領域の色成分が変化した場合には、ヒストグラムマッチングの精度が劣化し、追跡精度の低下を招く問題があった。
【００１７】
本発明は前記のような事情を考慮してなされたもので、精度良く動画像中から動物体を追跡することが可能な画像処理方法、画像処理装置、画像処理プログラムを提供することを目的とする。
【００１８】
【課題を解決するための手段】
上記目的を達成するために本発明においては、動画像中の対象動物体を追跡する画像処理方法において、前記動画像中の参照画像をもとに、前記対象動物体に該当する参照領域についての参照領域ヒストグラムと、前記参照領域の近傍にある参照拡張領域についての参照拡張領域ヒストグラムを作成する参照ヒストグラム作成工程と、前記動画像中の処理画像をもとに、前記対象動物体を探索するための候補領域についての候補領域ヒストグラムと、前記候補領域の近傍にある候補拡張領域についての候補拡張領域ヒストグラムを作成する候補ヒストグラム作成工程と、前記参照領域ヒストグラムと前記候補領域ヒストグラムとのヒストグラムマッチングを行う第１のヒストグラムマッチング工程と、前記参照拡張領域ヒストグラムと前記候補拡張領域ヒストグラムとのヒストグラムマッチングを行う第２のヒストグラムマッチング工程と、前記第１及び第２のヒストグラムマッチング工程によるヒストグラムマッチングの結果をもとに、処理画像中の対象動物体位置とする候補領域を検出する物体位置検出工程とを備える。
【００１９】
このような方法においては、例えば色あるいは色相をもとにした動画像中の追跡領域（参照領域、候補領域）と拡張領域（参照拡張領域、参照候補領域）についてのヒストグラム情報と、追跡領域と拡張領域との位置関係、すなわち限定的なテキスチャ情報を用いて対象動物体の追跡を行うことになるので、画像間での変化をＡｆｆｉｎｅ変換で近似できないような小さな対象動物体であり、かつ、背景領域と対象動物体領域の色成分が似ている場合や、同じような色成分を持った動物体が映像中に複数含まれる場合、また、環境変動によって対象動物体領域の色成分が変化した場合にも、精度良く動画像中から追跡することができる。
【００２０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
本実施形態における画像処理装置は、例えば半導体メモリ、ＣＤ−ＲＯＭ、ＤＶＤ、磁気ディスク等の記録媒体に記録された画像処理プログラムを読み込み、この画像処理プログラムによって動作が制御されるコンピュータによって実現することができる。画像処理装置を実現するコンピュータは、プロセッサと、このプロセッサがアクセス可能なメモリと、このメモリに収容された画像解析プログラムを有する。
【００２１】
図１に示すように、本実施形態における画像処理装置は、画像処理部１０、入力装置１２、表示装置１４、及び記憶装置１６が設けられている。
【００２２】
画像処理部１０は、メモリに収容された画像解析プログラムを実行することで、入力装置１２あるいは記憶装置１６から画像データ（参照画像データ、処理画像データ）を入力し、動画像中の対象動物体を追跡するための画像処理を実行する機能を実現する。画像処理部１０には、例えば参照ヒストグラム作成部２０、候補ヒストグラム作成部２２、ヒストグラムマッチング部２４、物体位置検出部２５、追跡結果出力部２６の機能が実現される。
【００２３】
参照ヒストグラム作成部２０は、動画像中の参照画像をもとに対象動物体に該当する参照領域についての参照領域ヒストグラムと、参照領域の近傍に設けられる参照拡張領域についての参照拡張領域ヒストグラムを作成する。参照ヒストグラム作成部２０は、参照画像の色情報を用いて参照領域ヒストグラムと参照拡張領域ヒストグラムを作成する（第１実施形態）。また、参照ヒストグラム作成部２０は、参照画像の色空間をＨＳＶ（色相、彩度、明度）色空間に変換し、この色空間変換されたＨｕｅ色相成分を用いて、参照領域ヒストグラムと参照拡張領域ヒストグラムを作成することもできる（第２実施形態）。
【００２４】
候補ヒストグラム作成部２２は、動画像中の処理画像をもとに対象動物体を探索するための候補領域を設定し、この候補領域についての候補領域ヒストグラムと、候補領域の近傍に設けられる候補拡張領域についての候補拡張領域ヒストグラムを作成する。参照ヒストグラム作成部２０は、処理画像の色情報を用いて候補領域ヒストグラムと候補拡張領域ヒストグラムを作成する（第１実施形態）。また、参照ヒストグラム作成部２０は、処理画像の色空間をＨＳＶ色空間に変換し、この色空間変換された色相成分を用いて、参照領域ヒストグラムと参照拡張領域ヒストグラムを作成することもできる（第２実施形態）。また、候補ヒストグラム作成部２２は、処理画像から対象動物体を探索するための候補領域を設定する際に、参照領域ヒストグラムが作成された参照領域のアスペクト比と同じアスペクト比の候補領域を設定し、この候補領域と同候補領域の近傍の候補拡張領域から候補領域ヒストグラムと候補拡張領域ヒストグラムを作成することもできる（第３実施形態）。
【００２５】
ヒストグラムマッチング部２４は、参照ヒストグラム作成部２０により作成された参照領域ヒストグラムと候補ヒストグラム作成部２２によって作成された候補領域ヒストグラムとのヒストグラムマッチングを実行して、ヒストグラムインターセクションを算出し（第１のヒストグラムマッチング工程）、また参照ヒストグラム作成部２０により作成された参照拡張領域ヒストグラムと候補ヒストグラム作成部２２によって作成された候補拡張領域ヒストグラムとのヒストグラムマッチングを実行して拡張ヒストグラムインターセクションを算出する（第２のヒストグラムマッチング工程）。なお、ヒストグラムマッチング部２４によるヒストグラムマッチングは、ヒストグラム間の類似度を求めるものであって、ヒストグラムインターセクションを算出する他にも、例えばヒストグラム間の一致度、類似度、相関の程度を求めるものを含む。
【００２６】
物体位置検出部２５は、ヒストグラムマッチング部２４によるヒストグラムマッチングの結果をもとに、処理画像中の対象動物体位置とする候補領域を検出する。物体位置検出部２５では、ヒストグラムマッチング部２４により算出されたヒストグラムインターセクションと拡張ヒストグラムインターセクションを統合して、この統合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する。
【００２７】
追跡結果出力部２６は、物体位置検出部２５により検出された対象物体位置とする候補領域を、対象動物体の追跡結果として表示装置１４において表示させる。例えば、動画像中に対象動物体の位置（候補領域）を表す矩形枠を付して表示する。
【００２８】
入力装置１２は、ユーザのマニュアル操作によって画像処理部１０に対する制御指示などを入力するためのキーボードや、マウスなどのポインティングデバイスの他、画像処理の対象とする動画像データを入力するためのビデオカメラ等の撮影手段を含む。
【００２９】
表示装置１４は、画像処理部１０による処理対象とする動画像などが表示される。表示装置１４により表示される動画像には、追跡結果出力部２６によって検出された対象動物体に該当する位置（領域）を表す矩形枠などが付加される。
【００３０】
記憶装置１６は、画像処理の対象とする動画像データなどが記憶されるもので、動画像データには参照ヒストグラム作成部２０において処理対象とする参照画像データ１６ａ、対象動物体の追跡対象とする処理画像データ１６ｂを含む。
【００３１】
（第１実施形態）
図２は、本発明の第１実施形態の画像処理方法の処理の流れを示すフローチャートである。
図２において、ステップＡ１は参照画像から参照領域ヒストグラムと参照拡張領域ヒストグラムを作成する参照ヒストグラム作成工程、ステップＡ２は処理画像から候補領域ヒストグラムと候補拡張領域ヒストグラムを作成する候補ヒストグラム作成工程、ステップＡ３は参照領域ヒストグラムと候補領域ヒストグラムを用いてヒストグラムマッチングを行いヒストグラムインターセクションを算出し、参照拡張領域ヒストグラムと候補拡張領域ヒストグラムを用いてヒストグラムマッチングを行い拡張ヒストグラムインターセクションを算出するヒストグラムマッチング工程、ステップＡ４は算出されたヒストグラムインターセクションと拡張ヒストグラムインターセクションを統合して、統合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する物体位置検出工程である。
【００３２】
まず、参照ヒストグラム作成部２０による参照ヒストグラム作成工程では、参照画像データ中の追跡対象とする動物体に該当する参照領域ついて参照ヒストグラムを作成する（ステップＡ１）。小さな対象動物体を追跡する技術が用いられるアプリケーションの主なものの一つとして、ドラマ中の俳優の顔や、監視カメラの侵入者の顔といった、映像中の人物顔を追跡するという目的が挙げられる。なお、参照領域は、例えば処理対象とする動画像中の例えば先頭フレームを参照画像として表示装置１４に表示させ、ユーザが入力装置１２を用いたマニュアル操作によって画像中に矩形領域や楕円領域を設定してもよいし、また、背景差分法やフレーム間差分法といった画像処理を用いて参照物体領域を自動生成しても良い。
【００３３】
例えば、図３に示すような映像（動画像）中の女性の顔を追跡する場合を例にして説明する。図３では、矩形枠によって参照領域として設定された領域を示している。人物顔の追跡における特徴として、図４に示すような、人物顔の下部近傍の領域（服の襟や胸の部分）についても安定した色情報を観測できる場合が多い点に着目する。そこで、第１実施形態では、参照ヒストグラム作成工程において、図５のように参照領域である人物顔領域の下部に一定の体領域（参照拡張領域）を設定する。図５に示す参照拡張領域は、参照領域に対する面積比が予め決められた値となるように設定されているものとする。また、参照拡張領域は、参照領域と隣接した位置に設定されている。
【００３４】
なお、図５に示す画像の例では、参照領域として人物顔領域、参照拡張領域として人物顔の下部近傍の領域を用いたが、動画像中の追跡対象とする動物体に応じた参照拡張領域が設定されるものとする。例えば、動画像中の車のナンバーや、荷物のタグ、人物の名札といったような物体を参照領域とする場合も、同様に、個々の動物体に応じた位置に参照拡張領域を設定することができる。この場合、参照拡張領域は、参照領域の近傍にあれば良く必ずしも隣接している必要はない。また、参照拡張領域は、図５に示すように、参照領域に対して必ずしも下部に設ける必要がなく、処理対象とする動画像に応じて決められた位置に設定することができる。
【００３５】
参照ヒストグラム作成部２０は、参照画像から参照画像と参照拡張領域を設定すると、図６に示すように、参照領域に該当する動物体画像を追跡するために、それぞれに対して、領域内の色情報をもとにして色ヒストグラムを作成する。ここで、参照領域の色情報をもとにした色ヒストグラムを参照拡張領域ヒストグラム（図６（ｂ）、参照拡張領域の色情報をもとにした色ヒストグラムを参照拡張領域ヒストグラム（図６（ｃ））とする。
【００３６】
なお、図６（ｂ）（ｃ）に示すヒストグラムは、説明を簡単にするために単純なヒストグラムとして表しているが、例えば参照領域では、肌、髪、目、唇などの他、参照領域に含まれる背景（空の部分など）についての色情報をもとにヒストグラムが作成される。同様にして、参照拡張領域では、肌（首の部分）、服装などの他、背景についての色情報をもとにヒストグラムが作成される。
【００３７】
一方、候補ヒストグラム作成部２２による候補ヒストグラム作成工程では、処理画像中から参照画像に対応する追跡対象とする動物体を含む領域、すなわち候補領域を例えば参照画像と同じ位置、あるいはその周辺に設定する。
【００３８】
候補ヒストグラム作成部２２は、参照ヒストグラム作成部２０と同様にして、処理画像中の追跡対象物体位置の候補領域についての候補ヒストグラムを作成する（ステップＡ２）。すなわち、候補ヒストグラム作成部２２は、候補領域に対して候補拡張領域を設定し、候補領域と候補拡張領域のそれぞれの色情報をもとに色ヒストグラムを作成する。候補拡張領域は、参照領域に対して参照拡張領域を設定した場合と同様の、候補領域に対する位置と面積比によって設定される。
【００３９】
図７には、処理画像中に設定された候補領域（矩形枠によって表す）と候補拡張領域（破線矩形枠によって表す）を示している。なお、図７に示す画像は、人物が日陰に入ったために画像の明度が変化した例を示している。候補ヒストグラム作成部２２は、図８に示すように、候補領域内の色情報をもとにして候補領域ヒストグラムを作成し（図８（ｂ））、候補拡張領域内の色情報をもとにして候補拡張領域ヒストグラムを作成する（図８（ｃ））。
【００４０】
なお、参照ヒストグラム作成部２０により作成された参照領域ヒストグラムと参照拡張領域ヒストグラム、候補ヒストグラム作成部２２により作成された候補領域ヒストグラムと候補拡張領域ヒストグラムは、従来技術で説明したように、ヒストグラム作成過程に正規化されるものとする。
【００４１】
次に、ヒストグラムマッチング部２４は、ヒストグラムマッチング工程において、参照領域ヒストグラムと候補領域ヒストグラムを用いてヒストグラムマッチングを行いヒストグラムインターセクションを算出し（第１のヒストグラムマッチング工程）、また参照拡張領域ヒストグラムと候補拡張領域ヒストグラムを用いてヒストグラムマッチングを行い、拡張ヒストグラムインターセクションを算出する（第２のヒストグラムマッチング工程）。図９には、拡張ヒストグラムインターセクションとヒストグラムインターセクションの算出、及び統合ヒストグラムインターセクションの算出までの処理の流れを概念的に表している。
【００４２】
すなわち、参照領域ヒストグラムを以下に示す（６）とし、候補領域ヒストグラムを以下に示す（７）とすると、これらのヒストグラムインターセクション（マッチングの信頼度）は、以下の式（８）のようになる（図９（ｄ）（ｆ））。
【００４３】
【数４】
2004348273.tif 000006
【００４４】
また、参照拡張領域ヒストグラムを以下に示す（９）とし、候補拡張領域ヒストグラムを以下に示す（１０）とすると、これらの拡張ヒストグラムインターセクション（マッチングの信頼度）は、以下の式（１１）となる（図９（ｃ）（ｅ））。
【００４５】
【数５】
2004348273.tif 000007
【００４６】
最後に、物体位置検出部２５は、物体位置検出工程において、ヒストグラムマッチング部２４により算出されたヒストグラムインターセクションと拡張ヒストグラムインターセクションを統合して統合ヒストグラムインターセクションを算出し、探索範囲内での候補領域において、総合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する（ステップＡ４）。
【００４７】
例えば、統合ヒストグラムインターセクションは、ヒストグラムインターセクションが算出された領域と、拡張ヒストグラムインターセクションが算出された拡張領域との面積比で、ヒストグラムインターセクションと拡張ヒストグラムインターセクションを加算した値として算出される。
【００４８】
例えば、参照領域と参照拡張領域の面積比を１０：３として設定されるものとすると、統合ヒストグラムインターセクションは以下の式（１２）として算出される（図９（ｇ））。
【００４９】
【数６】
2004348273.tif 000008
【００５０】
追跡結果出力部２６は、物体位置検出部２５により検出された対象物体位置を表す例えば矩形枠を付して、動画像を表示装置１４において表示させる（ステップＡ５）。
【００５１】
図１０〜図１３には、対象動物体の追跡例を示している。
図１０及び図１１は、背景領域と対象動物体領域の色成分が似ている例を示している。図１０に示す参照画像中に設定された参照領域に対して、図１１に示す処理画像中には背景の紅葉した樹木の部分が参照領域の色成分に類似している。このため、参照領域に対して拡張領域を利用しないで動物体画像の追跡をした場合には、図１１中の破線矩形枠に示すように、樹木の部分似せてされた候補領域が物体位置として検出されてしまう。これに対して、前述したように候補拡張領域を用いたヒストグラムマッチングを行った場合、樹木の部分に設定された候補領域に対する候補拡張領域には、参照領域に対する参照拡張領域における服の色成分が存在しない。従って、統合ヒストグラムインターセクションの値は、処理画像中の人物顔領域に対して設定された候補領域とその候補拡張領域から算出された方が高くなる。つまり、図１１中の矩形枠に示す人物顔領域の候補領域が確実に追跡されることになる。
【００５２】
図１２及び図１３には、同じような色成分を持った動物体が映像中に複数含まれている例を示している。図１２に示す参照画像には多数の人物画像が含まれているために、図１３に示す処理画像中には参照画像中で設定された参照領域と同じ色成分を持つ候補領域が多数存在することになる。これに対して、候補拡張領域を用いたヒストグラムマッチングを行った場合、各人物の服の色がそれぞれ異なる場合が多いために、統合ヒストグラムインターセクションの値は、処理画像中の参照領域が設定された人物に対応する候補領域とその候補拡張領域から算出された候補領域が最も高くなり、図１３中の矩形枠に示す人物顔領域の候補領域が確実に追跡されることになる。
【００５３】
このようにして、第１実施形態では、追跡領域（参照領域、候補領域）、及び追跡領域を拡張した拡張領域（参照拡張領域、候補拡張領域）の色ヒストグラム情報を用い、また、それぞれの領域の色情報の位置関係についても考慮しているので限定的なテキスチャ情報も利用している。これによって、対象映像の背景が追跡領域と似た色成分を持つ場合でも、拡張領域の色成分が背景の色成分と異なっていれば、正しく追跡を行うことができる。また、映像中に追跡領域と似た色情報を持つ複数の領域が存在する場合でも、対象追跡領域の拡張領域によって、追跡領域と似た色情報を持つ他の領域の拡張領域との色ヒストグラムの差が生じている場合は、正しく追跡を行うことができる。また、テキスチャ情報として、例えば、上部に顔の色、下部に服の色といった大まかな情報しか用いていないため、人物顔の見かけ（表情や顔向き等）の変化にロバストである、すなわち影響を受けにくいという色ヒストグラムの特徴を保持している。
【００５４】
仮に、単純に、追跡領域を拡大した領域（追跡領域＋拡張領域）で色ヒストグラムを作成し、テキスチャ情報を用いない追跡を行うと、背景が拡張領域に似た色成分を持つ場合や、追跡領域と拡張領域が似た色成分を持つ場合には、追跡を失敗する可能性が高くなる。
【００５５】
以上のように、動画像の色ヒストグラム情報とテキスチャ情報を併用して対象動物体の追跡を行うことによって、画像間での変化をＡｆｆｉｎｅ変換で近似できないような小さな対象動物体であり、かつ、背景領域と対象動物体領域の色成分が似ている場合や、同じような色成分を持った動物体が映像中に複数含まれる場合にも、精度良く動画像中から追跡することができる。
【００５６】
（第２実施形態）
図１４は、本発明の第２実施形態の画像処理方法の処理の流れを示すフローチャートである。
図１４において、ステップＢ１１は参照画像の色空間をＨＳＶ色空間に変換する参照色空間変換工程、ステップＢ１２は色空間変換されたＨｕｅ色相成分を用いて参照領域ヒストグラムと参照拡張領域ヒストグラムを作成する参照色相ヒストグラム作成工程、ステップＢ２１は処理画像の色空間をＨＳＶ色空間に変換する候補色空間変換工程、ステップＢ２２は色空間変換されたＨｕｅ色相成分を用いて候補領域ヒストグラムと候補拡張領域ヒストグラムを作成する候補色相ヒストグラム作成工程である。
【００５７】
なお、ステップＢ３のヒストグラムマッチング工程は、第１実施形態におけるヒストグラムマッチング工程（ステップＡ３）において色ヒストグラムを対象としていたのに対して、色相ヒストグラムを対象とする点が異なるだけで他は同様の処理を実行するので詳細な説明を省略する。また、ステップＢ４，Ｂ５についても、第１実施形態におけるステップＡ４，Ａ５と同様の処理を実行するものとして詳細な説明を省略する。
【００５８】
一般に、色情報をＨＳＶ色空間に変換したＨＳＶ表色系のＨ（Ｈｕｅ：色相）成分は、対象動物体が日向や日影に入るという明度の変動に不動である。そこで、参照ヒストグラム作成部２０は、参照色空間変換工程において、参照画像の色空間をＨＳＶ色空間に変換する（ステップＢ１１）。続いて、参照色相ヒストグラム作成工程において、色空間変換されたＨｕｅ色相成分を用いて参照領域ヒストグラムと参照拡張領域ヒストグラムを作成する（ステップＢ１２）。例えば、ＲＧＢ色空間（２４ビット）で与えられた参照画像を、ＨＳＶ色空間に変換し、Ｈ成分（７ビット）の色ヒストグラムを作成する。なお、色空間をＨＳＶ色空間に変換する方法については、既存の算出方法を用いることができる。
【００５９】
また、同様に、候補ヒストグラム作成部２２は、候補色空間変換工程において、処理画像の色空間をＨＳＶ色空間に変換し（ステップＢ２１）、続いて、候補色相ヒストグラム作成工程において、色空間変換されたＨｕｅ色相成分を用いて候補領域ヒストグラムと候補拡張領域ヒストグラムを作成する（ステップＢ２２）。
【００６０】
第１実施形態において用いた色ヒストグラムは、参照画像中では日向にいた人物が対象画像中では日陰に入ることで、例えば、対象動物体に該当する候補領域であっても、この候補領域の色ヒストグラムは参照領域の色ヒストグラムから若干変動する。これに対し、第２実施形態における色相ヒストグラムは、明度の変動に対して不動であるので、例えば対象動物体に該当する候補領域の色相ヒストグラムであれば参照領域の色相ヒストグラムからの変動が少ない。
【００６１】
これら作成された参照領域ヒストグラム、候補領域ヒストグラム、参照拡張領域ヒストグラム、候補拡張領域ヒストグラムを、ヒストグラムマッチング部２４は、第１実施形態で説明したように、ヒストグラムマッチング工程においてヒストグラムマッチングを行う。そして、物体位置検出部２５は、物体位置検出工程によって対象動物体の位置を検出する。
【００６２】
図１５及び図１６には、環境変動（対象動物体が日影に入る）によって対象動物体領域の色成分が変化した例を示している。図１５に示す人物が日向にいる時の参照領域（図中、矩形枠で示す）に対して、色ヒストグラムだけをもとに動物体領域を探索した場合には、図１６中に破線矩形枠で示すように探索に失敗するおそれがあるが、追跡領域と拡張領域のそれぞれについての色相ヒストグラムを用いてヒストグラムマッチングをすることで、図１６中に矩形枠で示す動物体画像領域が確実に検出される。
【００６３】
以上のように、色空間を変換した色相ヒストグラム情報を用いて対象動物体の追跡を行うことによって、画像間での変化をＡｆｆｉｎｅ変換で近似できないような小さな対象動物体であり、環境変動によって対象動物体領域の色成分が変化した場合にも、精度良く動画像中から追跡することが可能になる。
【００６４】
（第３実施形態）
図１７は、本発明の第３実施形態の画像処理方法の処理の流れを示すフローチャートである。
図１７において、ステップＣ２１は参照領域ヒストグラムを作成した参照領域のアスペクト比と同じアスペクト比の候補領域を処理画像に設定するアスペクト比固定候補領域設定工程、ステップＣ２２は処理画像内の候補領域から候補領域ヒストグラムと候補拡張領域ヒストグラムを作成するアスペクト比固定候補ヒストグラム作成工程である。
【００６５】
なお、ステップＣ１，Ｃ３，Ｃ４，Ｃ５は、第１実施形態におけるステップＡ１，Ａ３，Ａ４，Ａ５と同様の処理を実行するものとして詳細な説明を省略する。
【００６６】
候補ヒストグラム作成部２２は、アスペクト比固定候補領域設定工程において、参照ヒストグラムを作成した参照領域のアスペクト比を保持して、物体位置を探索する候補領域を処理画像内に設定する（ステップＣ２１）。アスペクト比固定候補ヒストグラム作成工程では、アスペクト比固定候補領域設定工程によって処理画像内に設定された候補領域の色ヒストグラムである候補領域ヒストグラムと、候補領域を拡張した候補拡張領域の色ヒストグラムである候補拡張領域ヒストグラムを作成する（ステップＣ２２）。
【００６７】
例えば、人物顔領域など探索対象（動物体）の大きさが大幅に変わらない動画像を処理対象とする場合には、参照領域のアスペクト比と同じアスペクト比の候補領域を処理画像に設定することで、探索対象とする動物体領域に対して候補領域が設定されやすくなる。
【００６８】
これら作成された候補領域ヒストグラム、候補拡張領域ヒストグラムを、ヒストグラムマッチング部２４は、ヒストグラムマッチング工程において、第１実施形態で説明したように、参照領域ヒストグラム、参照拡張領域ヒストグラムとそれぞれヒストグラムマッチングを行う（ステップＣ３）。そして、物体位置検出部２５は、物体位置検出工程において対象動物体の位置を検出する（ステップＣ４）。ここでは、対象動物体領域が候補領域として設定され易くなっているので、探索精度が向上されている。
【００６９】
以上のように、色空間を変換した色ヒストグラム情報を用いて対象動物体の追跡を行うことによって、画像間での変化をＡｆｆｉｎｅ変換で近似できないような小さな対象動物体であっても、精度良く動画像中から追跡することが可能になる。
【００７０】
なお、前述した各実施形態では、参照拡張領域と候補拡張領域は、それぞれ参照領域、候補領域と隣接する位置に設けられるものとしているが、参照領域、候補領域から離れた位置に設定されるようにしても良い。この場合、参照拡張領域と候補拡張領域は、参照領域と候補領域に対して相対的な決められた位置に設定される。
【００７１】
また、参照拡張領域と候補拡張領域は、それぞれ参照領域、候補領域に対して１つが設定されているが、複数の参照拡張領域と候補拡張領域が設定されるようにしても良い。この場合、物体位置検出工程では、ヒストグラムインターセクションと、複数の拡張ヒストグラムインターセクションとを統合して、この統合したヒストグラムインターセクションをもとに対象動物体位置の候補領域を検出する。また、複数の拡張ヒストグラムインターセクションに対しては、個々に異なる重み付けをして統合するようにしても良い。
【００７２】
また、参照拡張領域と候補拡張領域は、それぞれ参照領域、候補領域に対する面積比が固定であるものとして説明しているが、動画像中の対象動物体の追跡の経過に伴って動的に面積比が変更されるようにしても良い。この場合、例えば対象動物体の追跡の経過に伴って、対象動物体の位置として検出された候補拡張領域について色分散を求め、この色分散が大きい場合、すなわち候補拡張領域の色変化が大きい場合には信頼性が低いものとして候補拡張領域の候補領域に対する面積比を小さく、色分散が小さい場合には面積比を大きくしていく。なお、面積比は、予め決められた範囲内で変更されるようにしても良い。こうして、候補領域と候補拡張領域との面積比が動的に変更される場合には、物体位置検出工程において、変更後の面積比に応じて統合ヒストグラムインターセクションを算出する。
【００７３】
また、前述した説明では、第１乃至第３実施形態についてそれぞれ個別に説明しているが、複数の実施形態において説明した画像処理方法を組み合わせて実施することも可能である。例えば、第１実施形態と第２実施形態とを組み合わせることにより、色ヒストグラムと色相ヒストグラムを用いたヒストグラムマッチングをそれぞれの候補領域に対して実行し、その中で統合ヒストグラムインターセクションが最大となる候補領域を対象動物体位置として検出したり、あるいは色ヒストグラムと色相ヒストグラムのそれぞれのヒストグラムマッチングにより算出された統合ヒストグラムインターセクションを、さらに何れかに重み付けするなどして統合し、この最終統合されたヒストグラムインターセクションが最大となる候補領域を対象動物体位置として検出したりすることもできる。また、第３実施形態は、第１実施形態あるいは第２実施形態に対して個別に適用してもよいし、前述したように第１実施形態と第２実施形態の組み合わせに対して適用しても良い。
【００７４】
また、上述した実施形態において記載した手法は、コンピュータに実行させることのできる画像処理プログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。本装置を実現するコンピュータは、記録媒体に記録された画像処理プログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【００７５】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００７６】
【発明の効果】
以上説明したように本発明によれば、画像間での変化をＡｆｆｉｎｅ変換で近似できないような小さな対象動物体であり、かつ、背景領域と対象動物体領域の色成分が似ている場合や、同じような色成分を持った動物体が映像中に複数含まれる場合、また、環境変動によって対象動物体領域の色成分が変化した場合にも、精度良く動画像中から追跡することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係わる画像処理装置の機能構成を示すブロック図。
【図２】第１実施形態の画像処理方法の処理の流れを示すフローチャート。
【図３】第１実施形態における参照領域の設定を示す図。
【図４】第１実施形態における参照領域に対する参照拡張領域の設定を示す図。
【図５】第１実施形態における参照領域と参照拡張領域を示す図。
【図６】第１実施形態における参照ヒストグラム作成工程の流れを示す図。
【図７】第１実施形態における候補領域と候補拡張領域を示す図。
【図８】第１実施形態における候補ヒストグラム作成工程の流れを示す図。
【図９】第１実施形態における統合ヒストグラムインターセクションの算出方法を示す図。
【図１０】背景領域と対象動物体領域の色成分が似ている場合の動物体の追跡例（参照画像）を示す図。
【図１１】背景領域と対象動物体領域の色成分が似ている場合の動物体の追跡例（処理画像）を示す図。
【図１２】同じような色成分を持った動物体が映像中に複数含まれている場合の追跡例（参照画像）を示す図。
【図１３】同じような色成分を持った動物体が映像中に複数含まれている場合の追跡例（処理画像）を示す図。
【図１４】第２実施形態の画像処理方法の処理の流れを示すフローチャート。
【図１５】環境変動によって対象動物体領域の色成分が変化した場合の追跡例（参照画像）を示す図。
【図１６】環境変動によって対象動物体領域の色成分が変化した場合の追跡例（参照画像）を示す図。
【図１７】第３実施形態の画像処理方法の処理の流れを示すフローチャート。
【図１８】Ａｆｆｉｎｅ変換推定を用いた物体追跡手法を示す図。
【図１９】色ヒストグラムを用いた物体追跡手法の処理対象とする参照画像の一例を示す図。
【図２０】ＲＧＢ色空間を表す図。
【符号の説明】
１０…画像処理部、１２…入力装置、１４…表示装置、１６…記憶装置、１６ａ…参照画像データ、１６ｂ…処理画像データ、２０…参照ヒストグラム作成部、２２…候補ヒストグラム作成部、２４…ヒストグラムマッチング部、２５…物体位置検出部、２６…追跡結果出力部。
【図１】
2004348273.tif 000009
【図２】
2004348273.tif 000010
【図３】
2004348273.tif 000011
【図４】
2004348273.tif 000012
【図５】
2004348273.tif 000013
【図６】
2004348273.tif 000014
【図７】
2004348273.tif 000015
【図８】
2004348273.tif 000016
【図９】
2004348273.tif 000017
【図１０】
2004348273.tif 000018
【図１１】
2004348273.tif 000019
【図１２】
2004348273.tif 000020
【図１３】
2004348273.tif 000021
【図１４】
2004348273.tif 000022
【図１５】
2004348273.tif 000023
【図１６】
2004348273.tif 000024
【図１７】
2004348273.tif 000025
【図１８】
2004348273.tif 000026
【図１９】
2004348273.tif 000027
【図２０】
2004348273.tif 000028