(57)【要約】【課題】エッジ抽出処理によって画像内の対象物の輪郭が正しく抽出されない場合がある。【解決手段】輪郭画像生成部２２のエッジ抽出部６６は、エッジ抽出フィルタなどによって入力画像６２のエッジ画像を生成する。前景処理部６８は、背景画像６４を用いて入力画像６２から前景を抽出した後、当該前景を膨張させた膨張前景画像を生成する。さらに膨張させた前景領域の境界線で構成される前景境界画像を生成する。マスク部７０は、エッジ画像を膨張前景画像でマスクして背景のエッジを除去する。合成部７２は、マスクされたエッジ画像と前景境界画像を合成して輪郭画像を生成する。【選択図】図６
2010061478.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に含まれる対象物の輪郭を強調した輪郭画像を生成する画像処理装置であって、
入力画像からエッジを抽出してエッジ画像を生成するエッジ抽出部と、
あらかじめ登録された背景画像を用いて前記入力画像の背景差分をとることにより、対象物を含む前景を抽出する前景処理部と、
前記エッジ抽出部が生成したエッジ画像のうち、前記前景処理部が抽出した前景によって定まる前景領域以外の領域のエッジを削除したマスクエッジ画像を生成するマスク部と、
前記マスク部が生成した前記マスクエッジ画像と、前記前景処理部が抽出した前景によって定まる前景領域の境界線で構成される前景境界画像と、を合成して前記輪郭画像を生成する合成部と、
前記輪郭画像を出力する出力部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記マスク部は、前記前景処理部が抽出した前景を所定量膨張させた領域を前記前景領域とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成部は、前記前景処理部が抽出した前景を所定量膨張させた領域を前記前景領域とすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記前景処理部は、入力画像から適正な前景が抽出されなかったことを所定の基準により判断し、
前記出力部は、前記前景処理部において適正な前景が抽出されなかったと判断された場合、前記エッジ抽出部が生成したエッジ画像を前記輪郭画像として出力することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記入力画像は動画像を構成する画像フレームであり、
前記前景処理部において適正な前景が抽出されなかったと判断された場合、動画像に含まれる複数の画像フレームをフレーム間差分することにより対象物が存在しない画像フレームを検出し、登録された前記背景画像を当該画像フレームで更新する背景画像更新部をさらに含むことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
追跡したい対象を撮影した動画像データを構成する画像ストリームに含まれる第１の画像フレームおよび第２の画像フレームのうち、前記第１の画像フレームにおける追跡対象物の推定存在確率分布に基づき、前記第２の画像フレームにおける追跡対象物の候補輪郭を決定する候補輪郭決定部と、
前記候補輪郭決定部が決定した候補輪郭と、請求項１に記載の画像処理装置が出力した前記第２の画像フレームの輪郭画像とをマッチングして、前記候補輪郭の尤度を観測する観測部と、
前記観測部が観測した尤度に基づき、前記第２の画像フレームにおける対象物の存在確率分布を推定する追跡結果取得部と、
を備えたことを特徴とする対象物追跡装置。
【請求項７】
コンピュータが、入力画像に含まれる対象物の輪郭を強調した輪郭画像を生成する画像処理方法であって、
メモリに保存された入力画像を読み出し、エッジを抽出するステップと、
メモリに保存された背景画像を読み出し、前記入力画像の背景差分をとることにより対象物を含む前景を抽出するステップと、
抽出した前景によって定まる前景領域の境界線と、抽出されたエッジの少なくとも一部を含む画像を前記輪郭画像として出力するステップと、
を含むことを特徴とする画像処理方法。
【請求項８】
前記前景領域は。前記前景を所定量膨張させた膨張前景の領域であることを特徴とする請求項７に記載の画像処理方法。
【請求項９】
入力画像に含まれる対象物の輪郭を強調した輪郭画像を生成する機能をコンピュータに実現させるコンピュータプログラムであって、
メモリに保存された入力画像を読み出し、エッジを抽出する機能と、
メモリに保存された背景画像を読み出し、前記入力画像の背景差分をとることにより対象物を含む前景を抽出する機能と、
抽出した前景によって定まる前景領域の境界線と、抽出されたエッジの少なくとも一部を含む画像を前記輪郭画像として出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理技術に関し、特に入力画像中の対象物の追跡を行う対象物追跡装置およびそこで実行される対象物追跡方法に関する。
【背景技術】
【０００２】
近年の画像処理技術、情報処理装置の発達により、画像を生成する技術はもとより、画像解析を用いた様々な技術が提案されている。中でも対象物の輪郭を抽出する技術は、視覚追跡、コンピュータビジョン、医療画像の解析、レタッチなど幅広い分野でキーとなる技術である。画像内の対象物の輪郭線は、エッジの一部として捉えることができるため、輪郭線の抽出にエッジ抽出フィルタを用いる場合も多い。例えば視覚追跡技術におけるCondensation(Conditional Density Propagation)アルゴリズムでは、有限個のパーティクルを用いて追跡対象の存在確率分布を表現し、一のパーティクルによって定まる、追跡対象と同一形状を有する候補の輪郭線を、エッジ画像とマッチングすることにより、各パーティクルの尤度を観測し、次のフレームの存在確率分布を推定する（例えば非特許文献１または２参照）。
【０００３】
一方、輪郭線を抽出する技術として、対象物の輪郭線のモデルを閉曲線で表現し、あらかじめ定義したエネルギー関数が最小となるように当該閉曲線を変形していくことにより対象物の輪郭を推定する動的輪郭モデル（スネークス）も提案されている（特許文献１または２参照）。
【非特許文献１】Contour tracking by stochastic propagation ofconditional density, Michael Isard and Andrew Blake,Proc. European Conf. on Computer Vision, vol. 1, pp.343-356, CambridgeUK(1996)
【非特許文献２】ICondensation: Unifying low-level and high-level tracking in a stochasticframework, Michael Isard and Andrew Blake, Proc 5thEuropean Conf. Computer Vision, 1998
【特許文献１】特開平９−１３８４７１号公報
【特許文献２】特開平８−３２９２５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
一般的なエッジ抽出フィルタでは、撮影条件や設定パラメータによって、輪郭以外の詳細な影や模様が抽出されたり、輪郭線が途切れたり抽出されなかったり、といったことが往々にして発生する。これは、エッジ抽出フィルタでは、フィルタリングで得られた中間値に対するしきい値によってエッジとなる画素を決定するため、しきい値の設定によって画面全体のエッジ抽出頻度が変化してしまい、輪郭線のみを抽出するのが困難な場合があることに起因する。一方、動的輪郭モデルでは、対象物ごとに輪郭モデルの初期設定が必要であったり、最終結果が初期設定に影響される、といった問題がある。さらに計算量が多いため、上述の視覚追跡技術など、動画における対象物の輪郭を逐次求める場合に、対象物の形状の変化に追従できないなどの問題もある。
【０００５】
本発明はこのような課題に鑑みてなされたものであり、その目的は対象物の輪郭線を画像に関わらず安定して抽出する技術を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある態様は画像処理装置に関する。この画像処理装置は、入力画像に含まれる対象物の輪郭を強調した輪郭画像を生成する画像処理装置であって、入力画像からエッジを抽出してエッジ画像を生成するエッジ抽出部と、あらかじめ登録された背景画像を用いて入力画像の背景差分をとることにより、対象物を含む前景を抽出する前景処理部と、エッジ抽出部が生成したエッジ画像のうち、前景処理部が抽出した前景によって定まる前景領域以外の領域のエッジを削除したマスクエッジ画像を生成するマスク部と、マスク部が生成した前記マスクエッジ画像と、前記前景処理部が抽出した前景によって定まる前景領域の境界線で構成される前景境界画像と、を合成して前記輪郭画像を生成する合成部と、輪郭画像を出力する出力部と、を備えたことを特徴とする。
【０００７】
ここで「抽出した前景によって定まる前景領域」とは、抽出した前景そのものの領域、抽出した前景を膨張させた領域、抽出した前景を収縮させた領域など、抽出した前景に基づき決定される領域であって、数画素程度の大きさの差を有しても前景と認められる領域である。
【０００８】
本発明の別の態様は対象物追跡装置に関する。この対象物追跡装置は、追跡したい対象を撮影した動画像データを構成する画像ストリームに含まれる第１の画像フレームおよび第２の画像フレームのうち、第１の画像フレームにおける追跡対象物の推定存在確率分布に基づき、第２の画像フレームにおける追跡対象物の候補輪郭を決定する候補輪郭決定部と、候補輪郭決定部が決定した候補輪郭と、上述の画像処理装置が出力した第２の画像フレームの輪郭画像とをマッチングして、候補輪郭の尤度を観測する観測部と、観測部が観測した尤度に基づき、第２の画像フレームにおける対象物の存在確率分布を推定する追跡結果取得部と、を備えたことを特徴とする。
【０００９】
ここで「第１の画像フレーム」と「第２の画像フレーム」は、画像ストリームにおいて隣接する画像フレームでもよいし、離れて位置する画像フレームでもよい。時間軸の順方向へ追跡していく一般的な対象物追跡においては、「第１の画像フレーム」は「第２の画像フレーム」より時間的に前の画像フレームであるが、本実施の形態はこれに限らない。
【００１０】
「存在確率分布」は、対象物の画像フレーム内の位置座標に対する存在確率分布であってもよいし、形状、色、大きさなど対象物の有する属性のいずれかまたはそれらの組み合わせを表すパラメータが張る空間に対する存在確率分布であってもよい。「候補輪郭」は対象物の一部または全体の輪郭線の候補を表す図形である。また「尤度」は候補輪郭がどの程度対象物と近い態様となっているかを表す度合いであり、例えば対象物との重なり具合、対象物との距離などを数値で示したものなどである。
【００１１】
本発明のさらに別の態様は画像処理方法に関する。この画像処理方法は、コンピュータが、入力画像に含まれる対象物の輪郭を強調した輪郭画像を生成する画像処理方法であって、メモリに保存された入力画像を読み出し、エッジを抽出するステップと、メモリに保存された背景画像を読み出し、前記入力画像の背景差分をとることにより対象物を含む前景を抽出するステップと、抽出した前景によって定まる前景領域の境界線と、抽出されたエッジの少なくとも一部を含む画像を前記輪郭画像として出力するステップと、を含むことを特徴とする。
【００１２】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１３】
本発明によれば、画像内の対象物の輪郭線を安定して抽出することができる。
【発明を実施するための最良の形態】
【００１４】
まず、本実施の形態の特徴および効果を明らかにするために、パーティクルフィルタによる視覚追跡について概説する。図１は人物を追跡対象とした場合の視覚追跡手法を説明するための図である。人物画像５０は実写した動画像やコンピュータグラフィックスなどにより生成された動画像の画像ストリームを構成する画像フレームのひとつであり、追跡対象である人物５２が写っている。
【００１５】
この人物５２の動きを追跡するために、人物５２の頭部輪郭の形状を近似するΩ形の曲線５４を既知の表現で記述する。一方、人物５２を含む人物画像５０にはエッジ抽出処理を施し、エッジ画像を取得しておく。そして曲線５４を規定するパラメータを変化させながら形状および位置を変化させて、その近傍にあるエッジを探索することにより、人物５２の頭部輪郭と最もマッチすると推定されるパラメータの値を特定する。以上の処理をフレームごとに繰り返すことにより人物５２の追跡が進捗する。ここでエッジとは、一般的には画像の濃度や色に急な変化を有する箇所のことである。
【００１６】
様々な曲線５４と人物５２の頭部輪郭とのマッチングを行うために、パーティクルフィルタによる確率分布予測技術を導入する。すなわち、ひとつ前のフレームにおけるパラーメータ空間上の対象物の確率分布に応じて曲線５４のサンプリング数を増減させ、追跡候補の絞り込みを行う。これにより存在確率の高い部分に対しては重点的に探索を行うことができ、精度のよいマッチングが効率的に行える。
【００１７】
対象物の輪郭に着目した追跡に対するパーティクルフィルタの適用手法は、例えば非特許文献２（ICondensation: Unifying low-level and
high-level tracking in a stochastic framework, Michael Isard
and Andrew Blake, Proc 5th European Conf. Computer Vision, 1998）に詳述されている。ここでは本実施の形態に係る点に着目して説明する。
【００１８】
まずΩ形の曲線５４を、Ｂスプライン曲線で記述する。Ｂスプライン曲線はｎ個の制御点列（Ｑ０，・・・，Ｑｎ）とノット列（ｓ０，・・・，ｓｎ）とから定義される。そして基本となる曲線形状、この場合はΩ形の曲線となるように、それらのパラメータをあらかじめ設定しておく。このときの設定によって得られる曲線を以後、テンプレートＱ０と呼ぶ。なお、図１で示した人物画像５０における人物５２の追跡を行う場合は、テンプレートＱ０はΩ形であるが、その形状は追跡対象によって変化させる。すなわち追跡対象がボールであれば円形、手のひらであれば手の形状などとなる。
【００１９】
次にテンプレートの形状を変化させるための変換パラメータとして、形状空間ベクトルｘを準備する。形状空間ベクトルｘは以下のような６つのパラメータで構成される。
【００２０】
【数１】
2010061478.tif 000003
【００２１】
ここで（shiftｘ，shiftｙ）は（ｘ，ｙ）方向への並進量、（extendｘ，extendｙ）は倍率、θは回転角である。そして形状空間ベクトルｘをテンプレートＱ０に作用させるための作用行列Ｗを用いると、変形後の曲線、すなわち候補曲線Ｑは以下のように記述できる。
【００２２】
【数２】
2010061478.tif 000004
【００２３】
式２を用いれば、形状空間ベクトルｘを構成する６つのパラメータを適宜変化させることにより、テンプレートを並進、伸縮、回転させることができ、組み合わせによって候補曲線Ｑの形状や位置を種々変化させることができる。
【００２４】
そして、制御点列、およびノット列の間隔といったテンプレートＱ０のパラメータや、形状空間ベクトルｘを構成する６つのパラメータを変化させることによって表現される複数の候補曲線について、各ノットの近傍にある人物５２のエッジを探索する。その後、エッジとの距離などから各候補曲線の尤度を求めることにより、形状空間ベクトルｘを構成する６つのパラメータが張る６次元空間における確率密度分布を推定する。
【００２５】
図２はパーティクルフィルタを用いた確率密度分布推定の手法を説明する図である。同図では理解を簡単にするために、形状空間ベクトルｘを構成する６つのパラメータのうち、あるパラメータｘ１の変化を横軸に表しているが、実際には６次元空間において同様の処理が行われる。ここで確率密度分布を推定したい画像フレームが時刻ｔの画像フレームであるとする。
【００２６】
まず、時刻ｔの画像フレームのひとつ前のフレームである時刻ｔ−１の画像フレームにおいて推定された、パラメータｘ１軸上の確率密度分布を用いて（Ｓ１０）、時刻ｔにおけるパーティクルを生成する（Ｓ１２）。それまでにフィルタリングを行い、すでにパーティクルが存在する場合は、その分裂、および消滅を決定する。Ｓ１０において表した確率密度分布は、パラメータ空間上の座標に対応して離散的に求められたものであり、円が大きいほど確率密度が高いことを表している。
【００２７】
パーティクルはサンプリングするパラメータｘ１の値とサンプリング密度とを実体化したものであり、例えば時刻ｔ−１において確率密度が高かったパラメータｘ１の領域は、パーティクル密度を高くすることで重点的にサンプリングを行い、確率密度の低かった範囲はパーティクルを少なくすることでサンプリングをあまり行わない。これにより、例えば人物５２のエッジ近傍において候補曲線を多く発生させて、効率よくマッチングを行う。
【００２８】
次に所定の運動モデルを用いて、パーティクルをパラメータ空間上で遷移させる（Ｓ１４）。所定の運動モデルとは例えば、ガウシアン型運動モデル、自己回帰予測型運動モデルなどである。前者は、時刻ｔにおける確率密度は時刻ｔ−１における各確率密度の周囲にガウス分布している、とするモデルである。後者は、サンプルデータから取得した２次以上の自己回帰予測モデルを仮定する手法で、例えば人物５２がある速度で等速運動をしているといったことを過去のパラメータの変化から推定する。図２の例では、自己回帰予測型運動モデルによりパラメータｘ１の正方向への動きが推定され、各パーティクルをそのように遷移させている。
【００２９】
次に、各パーティクルで決定される候補曲線の近傍にある人物５２のエッジを、時刻ｔのエッジ画像を用いて探索することにより、各候補曲線の尤度を求め、時刻ｔにおける確率密度分布を推定する（Ｓ１６）。前述のとおり、このときの確率密度分布はＳ１６に示すように、真の確率密度分布４００を離散的に表したものになる。以降、これを繰り返すことにより、各時刻における確率密度分布がパラメータ空間において表される。例えば確率密度分布が単峰性であった場合、すなわち追跡対象が唯一であった場合は、得られた確率密度を用いて各パラメータの値に対し重み付けした和を最終的なパラメータとすることにより、追跡対象の推定輪郭が得られることになる。
【００３０】
Ｓ１６において推定される時刻ｔにおける確率密度分布p(xti)は以下のように計算される。
【００３１】
【数３】
2010061478.tif 000005
【００３２】
ここでｉはパーティクルに一意に与えられた番号、p(xti|xti,
ut-1)は所定の運動モデル、p(yt|xti)は尤度である。
【００３３】
図３は本実施の形態における視覚追跡システムの構成例を示している。視覚追跡システム１０は、追跡対象１８を撮像する撮像装置１２、追跡処理を行う追跡装置１４、撮像装置１２が撮像した画像のデータや追跡結果のデータを出力する表示装置１６を含む。追跡対象１８は人、物、それらの一部など、視覚追跡システム１０の使用目的によって異なっていてよいが、以後の説明では上記の例同様、人であるとする。
【００３４】
追跡装置１４と、撮像装置１２あるいは表示装置１６との接続は、有線、無線を問わず、また種々のネットワークを介していてもよい。あるいは撮像装置１２、追跡装置１４、表示装置１６のうちいずれか２つ、または全てが組み合わされて一体的に装備されていてもよい。また使用環境によっては、撮像装置１２と表示装置１６は同時に追跡装置１４に接続されていなくてもよい。
【００３５】
撮像装置１２は追跡対象１８を含む画像、または追跡対象１８の有無に関わらずある場所の画像のデータを、所定のフレームレートで取得する。取得された画像データは追跡装置１４に入力され、追跡対象１８の追跡処理がなされる。処理結果は出力データとして追跡装置１４の制御のもと、表示装置１６へ出力される。追跡装置１４は別の機能を実行するコンピュータを兼ねていてもよく、追跡処理の結果得られたデータ、すなわち追跡対象１８の位置情報や形状情報などを利用して様々な機能を実現してよい。
【００３６】
図４は本実施の形態における追跡装置１４の構成を詳細に示している。追跡装置１４は、撮像装置１２から入力される入力画像データを取得する画像取得部２０、当該入力画像データや輪郭画像データを記憶する画像記憶部２４、入力画像データから輪郭画像を生成する輪郭画像生成部２２、追跡の開始および終了を判定する追跡開始終了判定部２８、パーティクルフィルタを用いて追跡処理を行う追跡処理部２６、最終的な追跡結果のデータを記憶する結果記憶部３６、追跡結果の表示装置１６への出力を制御する出力制御部４０を含む。
【００３７】
図４において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、画像処理を行うプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００３８】
輪郭画像生成部２２は追跡対象の輪郭線を入力画像の画像フレームから抽出し、輪郭画像を生成する。当該輪郭画像は画像記憶部２４に格納され、後に追跡処理部２６の観測部３０において候補曲線の尤度観測に用いられる。通常、「輪郭線」はエッジ画像における「エッジ」として扱われるため、従来の技術では「エッジ画像」を用いた尤度観測が行われていた。しかし一般的なエッジ抽出フィルタでは、入力画像によっては物の輪郭線以外にも多くのエッジが抽出されるため、輪郭線以外のエッジとのマッチングにより尤度観測が正確に行われないことが考えられる。
【００３９】
そこで本実施の形態の輪郭画像生成部２２は、一般的な「エッジ画像」ではなく、特に入力画像中の物の「輪郭」に着目し、尤度観測を精度よく行うことのできる画像を生成する。具体的な手法は後に述べるが、以後の説明では、輪郭画像生成部２２が生成する画像を「輪郭画像」として一般的な「エッジ画像」と区別する。
【００４０】
追跡開始終了判定部２８は、例えば輪郭画像生成部２２によって得られた輪郭線の形状を評価し、所定の条件によって、追跡を開始するか終了するかを判定する。なおここでの「終了」はオクルージョンなどによる追跡の一時停止を含んでもよい。追跡は、追跡対象が撮像装置の視野角内に現れた場合や、物陰などから現れた場合などに開始し、追跡対象が撮像装置の視野角内から去った場合や物陰などに入った場合などに終了する。追跡を開始すると判定した場合は、追跡処理部２６にその旨の通知をし、追跡処理を開始させる。
【００４１】
追跡処理部２６は、サンプリング部２９、観測部３０、および結果取得部３４を含む。サンプリング部２９は、一つ前の時刻ｔ−１における画像フレームに対して推定された確率密度分布に基づき、パーティクルの生成および消滅の処理を行い、全てのパーティクルに対し運動モデルを適用してパーティクルをパラメータ空間上で遷移させる。サンプリング部２９は、追跡開始終了判定部２８から追跡開始を示す信号を受けたら処理を開始し、追跡終了を示す信号を受けたら処理を終了する。観測部３０は各パーティクルが定める候補曲線の尤度を観測する。
【００４２】
結果取得部３４は、観測部３０が観測した尤度に基づき式３で示すような確率密度分布p(xti)を算出し、それにより重み付け平均したパラメータによって得られる、追跡対象の推定輪郭のデータなどの追跡結果を算出して結果記憶部３６に格納する。また次の時刻ｔ＋１における追跡処理に使用するため、サンプリング部２９にそのデータを返す。結果記憶部３６に格納するデータは、重み付け平均した各パラメータの値でもよいし、それにより定まる推定輪郭のみで構成される画像や、推定輪郭と入力画像とを合成してできた画像のデータなどのいずれでもよい。
【００４３】
追跡対象が複数存在する場合、結果取得部３４はさらに、それぞれに用意したテンプレートを用いて追跡対象ごとに追跡を行った結果を合成することによりひとつの追跡結果としてもよい。また複数の追跡対象が重なるような場合を追跡結果によって検出し、後ろに隠れる追跡対象については所定のタイミングで追跡処理対象からはずすなどの措置を講じる。これにより追跡対象が別の追跡対象の背後に回ったことによって観測尤度が一時的に低下しても、不適当な追跡結果を出力するのを避けることができる。
【００４４】
輪郭画像生成部２２、追跡処理部２６における上述の処理を各フレームに対して行うことにより、結果記憶部３６には例えば追跡結果を含む動画像のデータが記憶される。この場合、出力制御部４０の制御のもと、当該動画像のデータを表示装置１６に出力することにより、テンプレートの曲線が追跡対象の動きと同様に動く様を表示することができる。なお上述のとおり、追跡結果は動画として表示する以外に、追跡の目的に応じて別の演算モジュールに出力するなどの処理を適宜行ってよい。
【００４５】
次に追跡処理を行う際の追跡装置１４の動作について説明する。以下、例としてある場所にいる人物を追跡する場合について説明する。このとき撮像装置１２は、撮影対象の場所を所定のフレームレートで撮影する。撮影された画像は入力画像データとして追跡装置１４の画像取得部２０へ入力され、画像記憶部２４に格納される。このような状態において以下に述べる追跡処理が行われる。
【００４６】
図５は本実施の形態における追跡処理の手順を示すフローチャートである。この例の場合、追跡対象は人物であるため、追跡装置１４には前述のとおりΩ型のテンプレートを用意する。なおテンプレートの表現手法はＢスプライン曲線に限らず、所望の曲線を表現できる記述形式であればよい。またテンプレート形状の変形手法も、その記述形式に適合し、数種類のパラメータを変化させることによって上述のような柔軟な変形を行うことのできる手法を適宜選択してよい。
【００４７】
まず追跡開始終了判定部２８は、画像記憶部２４に格納された入力画像に基づき、追跡を開始するかどうかの判定を行う（Ｓ２０、Ｓ２２）。このとき例えば、輪郭画像生成部２２が後に述べる前景抽出処理によって抽出した前景を取得し、当該前景として人物と推定できる所定のサイズ、形を有する対象が出現した場合には、追跡を開始する判定を行う。判定基準となる前景のサイズや形はあらかじめ論理的にまたは実験的に定めておく。あるいは追跡開始終了判定部２８が前景抽出器を実装していてもよい。
【００４８】
追跡開始と判定されるまでＳ２０とＳ２２を繰り返し、追跡開始と判定されたら（Ｓ２２のＹ）、輪郭画像生成部２２が生成する輪郭画像を用いて追跡処理部２６が追跡処理を開始する。ここで、追跡開始を判定された画像フレームに対応する時刻をｔ＝０とし、以後の画像フレームは時刻ｔ＝１，２，３，・・・にそれぞれ対応するとする。まず、輪郭画像生成部２２は、後に述べる手法によりｔ＝０の画像フレームの輪郭画像を生成する（Ｓ２６）。
【００４９】
そしてサンプリング部２９は、例えばパラメータ空間の所定領域に均等にパーティクルを配置してサンプリングを行い、観測部３０が各パーティクルが定める候補曲線と輪郭画像とをマッチングすることにより尤度を観測し、結果取得部３４が式３により率密度分布の初期値p(x0i)を算出する（Ｓ２８、Ｓ３０、Ｓ３２）。
【００５０】
一方、輪郭画像生成部２２は、画像記憶部２４より時刻ｔ＝１の画像フレームを読み出し輪郭画像を生成する（Ｓ３４のＮ、Ｓ２６）。サンプリング部２９は、生成した確率密度分布の初期値p(x0i)に対応した数のパーティクルをパラメータ空間上に発生させ、所定の運動モデルに基づきパーティクルをそれぞれ遷移させることによりサンプリングを行う（Ｓ２８）。発生させるパーティクルの数は、追跡装置１４が有する演算リソースの量や、求められる結果出力速度などに基づき、処理の負荷を考慮して制御する。運動モデルは追跡対象の種類に応じてガウシアン型運動モデル、自己回帰予測型運動モデルなどから追跡精度が高く得られるものをあらかじめ決定しておく。
【００５１】
すると観測部３０は、遷移後のパーティクルが定める各候補曲線の尤度p(yt|xti)を観測する（Ｓ３０）。尤度の観測は、輪郭画像生成部２２が生成した時刻ｔ＝１の輪郭画像を用いて、各候補曲線近傍にある輪郭線を探索することにより行う。
【００５２】
次いで結果取得部３４は、観測された尤度に基づき時刻ｔ＝１の確率密度分布p(x1i)を求める。複数の追跡対象が存在する場合は、上記の処理を全ての追跡対象について行う。そして結果取得部３４は、時刻ｔ＝１における追跡対象の形状および位置として、確率密度分布p(x1i)によって各パラーメータを重み付け平均して得られるΩ型の曲線を最終的に決定し、元の入力画像フレームに重ねた画像フレームのデータを生成するなど、所望の追跡結果データを生成して結果記憶部に保存する（Ｓ３２）。
【００５３】
追跡開始終了判定部２８は、追跡処理をこれ以上続行するか終了するかの判定を行う（Ｓ３４）。例えば人物と推定できる所定のサイズ、形を有する対象が前景として現れない状態が所定時間継続した場合に追跡終了の判定を行う。あるいは、実空間上においてある追跡対象が別の追跡対象の背後に回った場合など、オクルージョンの状態が所定時間継続した場合に追跡終了の判定を行う。オクルージョンの状態は、過去の追跡処理結果から推定してもよいし、図示しない距離計測系などによって検出してもよい。さらに、追跡対象が撮像装置１２の画角から外れた状態が所定時間継続した状況も、オクルージョンと同様の手法で検出し、追跡終了の判定を行う。
【００５４】
Ｓ３４において追跡処理を終了しないと判定した場合は（Ｓ３４のＮ）、時刻ｔ＝２の画像フレームから輪郭画像を生成するとともに、Ｓ３２で得られた時刻ｔ＝１のときの確率密度分布p(x1i)を用いて、パーティクルの生成または消滅、および運動モデルによる遷移を行い、時刻ｔ＝２のフレームに対する尤度観測、確率密度分布算出を行う（Ｓ２６〜Ｓ３２）。以降、Ｓ３４で追跡開始終了判定部２８が追跡終了の判定を行う（Ｓ３４のＹ）までＳ２６からＳ３２までの処理を、各フレームに対して繰り返す。これにより、Ω型の曲線が追跡対象の来訪者の頭部と同じ動きおよび形状で、時間に対して変化していくような動画のデータが結果記憶部３６に格納される。出力制御部４０が当該データを、表示装置１６や別の機能を提供するモジュールなどに出力することにより、ユーザは所望の形態で追跡結果を利用することができる。
【００５５】
次に輪郭画像生成部２２による輪郭画像の生成処理について説明する。図６は輪郭画像生成部２２の詳細な構成を示している。輪郭画像生成部２２は、エッジ抽出部６６、前景処理部６８、マスク部７０、合成部７２、出力部７４、および背景画像更新部７６を含む。輪郭画像生成部２２は、画像記憶部２４に格納された入力画像６２と、背景画像６４を用いて、輪郭画像を生成する。本実施の形態では、一般的なエッジ抽出処理に加え、背景差分による前景抽出処理を行うことにより、追跡対象の輪郭線を確実に含む輪郭画像を生成する。
【００５６】
本実施の形態によれば、撮影環境など画像の内容が変化しても追跡対象の輪郭線を安定的に取得することができる。また、結果として得られる輪郭画像は、追跡対象の輪郭以外の線を極力排除し、かつ、輪郭線が強調された画像である。
【００５７】
まず輪郭画像生成部２２が用いる画像として、画像記憶部２４には追跡対象が撮影された入力画像６２と背景画像６４を格納しておく。入力画像６２は追跡対象を撮影した動画像のうち、輪郭画像を生成する対象である画像フレームである。背景画像６４は、追跡対象が存在しない状態で背景のみを撮影した静止画像であり、追跡対象の動画像撮影直前などにユーザに撮影させ画像記憶部２４に格納しておく。あるいは、過去に撮影した画像やあらかじめ用意したテンプレート画像などから、ユーザが実際の背景に応じて選択するようにしてもよい。また後述するように、輪郭画像生成部２２が状況に応じて背景画像６４を更新する。
【００５８】
エッジ抽出部６６は、画像記憶部２４から入力画像６２を読み出し、エッジを抽出してエッジ画像を生成する。例えば、入力画像６２をガウシアンフィルタ、メディアンフィルタ、単純平均化フィルタ、ローパスフィルタなどの平滑化フィルタによって平滑化した後、ラプラシアンフィルタ、ソーベルフィルタ、キャニーエッジフィルタなどのエッジ抽出フィルタによってエッジ抽出する。
【００５９】
前景処理部６８は、入力画像６２と背景画像６４を用いて背景差分法によって前景を抽出した前景画像を生成する。さらに、８近傍の膨張フィルタなどによって、前景を膨張させる。そのようにして生成した膨張前景画像から、膨張前景領域の境界線を抽出して前景境界画像を生成する。なお前景を膨張させる量はあらかじめ定めておく。
【００６０】
マスク部７０は、前景処理部６８が生成した膨張前景画像を用いて、エッジ抽出部６６が生成したエッジ画像をマスクする。すなわち、膨張前景画像とエッジ画像の各画素の論理積をとることにより、エッジ画像に表れるエッジのうち膨張させた前景領域以外の領域のエッジを無効としたマスクエッジ画像を生成する。このマスク処理によって背景に含まれる余分なエッジを除去することができる。マスクに用いる膨張前景画像は、前景処理部６８によって前景を膨張させたものであるため、エッジ画像において追跡対象の輪郭線を表すエッジをマスクによって消去してしまう可能性が少なくなる。
【００６１】
合成部７２は、前景処理部６８が生成した前景境界画像とマスク部７０が生成したマスクエッジ画像を合成し、最終的な輪郭画像を生成する。マスクエッジ画像は追跡対象の輪郭線をエッジとして表している。一方、前景境界画像は、追跡対象の輪郭線の一画素程度外側の線を表している。これらを合成することにより、追跡対象の輪郭線はエッジ画像にエッジとして出現する輪郭線より太くなるか、２重の線となって表れる。すなわちここで得られる輪郭画像は、追跡対象の輪郭線を強調した画像となる。
【００６２】
上記説明では、マスク部７０で輪郭線を表すエッジをマスクによって消してしまわないために膨張させた前景領域の境界線を、合成部７２の合成処理にそのまま利用して輪郭線を強調した輪郭画像を生成した。一方、合成部７２でマスクエッジ画像と合成する画像は、前景を膨張させずに得た境界線の画像でもよいし、前景を収縮させたときの境界線の画像でもよい。後者の場合は膨張させた場合と同様の作用により、前者の場合はエッジ画像における輪郭線と前景の境界線が多少ずれていることがあり得るため、最終的な輪郭画像の輪郭線はいずれの場合でも強調されることになる。
【００６３】
出力部７４は、合成部７２が生成した輪郭画像のデータを画像記憶部２４などに出力する。あるいは後述するように、前景処理部６８による前景抽出が適正に行われなかった場合は、エッジ抽出部６６が生成するエッジ画像を輪郭画像として出力する。
【００６４】
図７は輪郭画像の構成を模式的に示している。輪郭画像１００において、実線１０２はマスクエッジ画像におけるエッジのうち、追跡対象１０６の輪郭を示すエッジである。一方、破線１０４は膨張させた前景領域の境界線である。前景を膨張させない場合の前景領域の境界線は本来、実線１０２で示されるエッジとほぼ重なる。しかし、前景を膨張させることにより、破線１０４は、実線１０２と微妙にずれるため、エッジ画像のマスク時に実線１０２を削除してしまうことが少なくなるとともに、実線１０２と破線１０４が２重の線となり、追跡対象１０６の輪郭を強調することがわかる。
【００６５】
図６に戻り、背景画像更新部７６は、前景処理部６８が適正な前景を抽出できない状態を検知し、新たな背景画像を取得したうえで画像記憶部２４に格納された背景画像６４を更新する。前景処理部６８が行う前景画像生成処理は、背景画像６４と入力画像６２とで差が生じている領域を前景として抽出する背景差分である。このため、周囲の明るさや追跡対象の背後に存在する物、撮影位置などが変化して、実際の背景と背景画像６４が異なると、画像全体を差分として抽出してしまい背景差分が破綻をきたす。そのため、連続した動画像のフレームにおいて、対象物の輪郭線の抽出に背景差分を適用する場合は、その撮影環境を十分考慮する必要があった。
【００６６】
本実施の形態の輪郭画像生成部２２は、輪郭線を抽出する手段としてエッジ抽出部６６および前景処理部６８を備えているため、前景処理部６８の背景差分が破綻しても、少なくとも追跡対象の輪郭線はエッジ抽出部６６によって抽出される。これを利用し、背景差分が破綻するような撮影環境の変化が生じた場合、エッジ抽出部６６がエッジ画像を生成し続けている一方で、背景画像更新部７６は前景領域の大きさなどによって破綻を検知し、背景画像６４を更新する。
【００６７】
具体的には、直前の所定期間に撮影した動画像の画像フレームを画像記憶部２４から読み出し、フレーム間差分をとる。それらの画像フレームのうち差分が生じない画像フレームが連続して検出できたら、当該画像フレームは動きを有する追跡対象が存在しない背景のみの画像であると判断する。そしてその画像を新たな背景画像として画像記憶部２４の背景画像６４を更新する。あるいは読み出した画像フレームに対し、顔検出や追跡対象の形状とのパターンマッチングなどを行い、追跡対象と考えられる顔やパターンが存在しない場合にその画像を背景画像としてもよい。撮像装置１２が撮影中の追跡対象をリアルタイムで追跡する場合などは、背景画像６４の更新の必要性を背景画像更新部７６がユーザに通知し、追跡対象のいない状態で背景画像を撮影し直させるようにしてもよい。
【００６８】
図８は輪郭画像生成部２２が入力画像６２の輪郭画像を生成する処理手順を示すフローチャートである。同図は、入力画像６２の１フレーム分の処理を示しており、追跡処理においては連続した画像フレームに対し同じ処理を繰り返す。また、同図では各処理を順番に行うシリアル処理として示しているが、前の処理を待たずに行える処理は当然、並列に行ってもよいし、逆の順序でもよい。
【００６９】
まずエッジ抽出部６６が入力画像６２からエッジを抽出し、エッジ画像を生成する（Ｓ４０）。並列して前景処理部６８は、背景画像６４を用いて入力画像６２の背景差分をとることで前景を抽出し、前景画像を生成する（Ｓ４２）。ここで、大きさなどに基づき適正な前景が抽出できたと判断されたら（Ｓ４４のＹ）、さらに当該前景を膨張させて膨張前景画像を生成する（Ｓ４６）。
【００７０】
次にマスク部７０は、Ｓ４０で生成したエッジ画像をＳ４６で生成した膨張前景画像でマスクすることによりマスクエッジ画像を生成する（Ｓ４８）。一方、前景処理部６８は、Ｓ４６で生成した膨張前景画像における、膨張させた前景の境界線を抽出して前景境界画像を生成する（Ｓ５０）。そして合成部７２は、Ｓ４８で生成したマスクエッジ画像とＳ５０で生成した前景境界画像を合成し（Ｓ５２）、出力部７４が当該画像を輪郭画像として画像記憶部２４などに出力する（Ｓ５４）。一方、Ｓ４４において、適正な前景が抽出できていないと判断されたら（Ｓ４４のＮ）、出力部７４はＳ４０において生成したエッジ画像をそのまま輪郭画像として出力する（Ｓ５４）。具体的には、前景処理部６８からのエラー情報をエッジ抽出部６６が取得し、自らが生成したエッジ画像を出力部７４に送信することにより、当該エッジ画像が輪郭画像として出力される。
【００７１】
なお図８では表されていないが、前景が抽出されない状態では、Ｓ４０のエッジ画像生成とＳ５４の輪郭画像出力と並行して、背景画像更新部７６が上記のとおり背景画像６４の更新タイミングを図っているものとする。
【００７２】
以下、上述した輪郭画像生成の各処理段階における画像の例を示す。図９は輪郭画像を生成する対象の入力画像の例である。入力画像６２ａは、追跡対象である人物８２が背景８４の前にいる画像である。図１０は背景差分に用いる背景画像の例である。背景画像６４ａは、入力画像６２ａにおける人物８２がいない画像である。図１１は図８のＳ４０において生成されるエッジ画像の例である。エッジ画像８６は、人物８２に含まれるエッジと背景８４に含まれるエッジとで構成される。このようなエッジ画像８６を用いて尤度の観測を行った場合、人物８２の輪郭線と背景８４に含まれるエッジとが区別されないため、後者とのマッチングにより不当に尤度が高くなり、追跡精度が低くなる可能性がある。
【００７３】
図１２は図８のＳ４６で生成される膨張前景画像の例である。膨張前景画像８８は、前景として抽出された人物８２の領域を膨張させた領域８９のみが画素値を有する画像である。図１３は図８のＳ４８で生成されるマスクエッジ画像の例である。マスクエッジ画像９０は、図１１で示したエッジ画像８６のうち、前景の膨張分を除く背景８４の領域が画素値をもたない画像である。膨張前景画像でマスクすることにより、人物８２の輪郭を構成するエッジは除去されていない。
【００７４】
図１４は図８のＳ５０で生成される前景境界画像の例である。前景境界画像９２は、膨張させた前景とそれ以外の領域との境界線であり、膨張した微細な差を除きおよそ人物８２の輪郭を構成する。図１５は図８のＳ５２で生成され、Ｓ５４で出力される輪郭画像である。輪郭画像９４では、エッジ抽出によるエッジ線と、膨張した前景領域の境界線とが人物８２の輪郭線として２重に表れている。このような輪郭画像９４を用いて尤度の観測を行った場合、輪郭線に近い候補曲線の尤度が高くなりやすくなり、ひいては追跡精度が向上する。
【００７５】
なお上記の例では、背景差分が破綻した場合にエッジ画像を輪郭画像として出力する場合を説明したが、エッジ抽出部６６によるエッジ抽出が何らかの原因で適正に行えなかった場合は、前景処理部６８が抽出した前景領域の境界線で構成される画像を輪郭画像として出力してもよい。この場合、エッジ抽出部６６からのエラー情報や、生成されたエッジ画像のエッジ密度があらかじめ定めた適正範囲から逸脱している情報などを前景処理部６８が取得した場合、前景領域の境界線で構成される画像を出力部７４に送信することにより当該画像が出力されるようにしてもよい。
【００７６】
以上述べた本実施の形態によれば、パーティクルフィルタを用いた視覚追跡において、尤度観測に用いる画像を、単なるエッジ画像ではなく追跡対象の輪郭に着目した輪郭画像とする。具体的には、エッジ抽出と並行して背景差分によって前景抽出を行い、それらの結果を統合する。輪郭線を２つの異なる手法で抽出することにより、輪郭線の信頼性が増すとともに、撮影環境の変化より背景差分が破綻するなど、いずれかの抽出手法に問題が生じても輪郭画像生成の処理が全て止まってしまうことがなくなる。したがって、撮影とともにリアルタイムで追跡を行う場合などは特に、そのリアルタイム性を損なうことなく追跡を継続できる。また、エッジ抽出によって輪郭画像を生成しつつ、背景画像を更新する処理を行うことができるため、撮影環境の変化に強い追跡装置を実現できる。
【００７７】
また、前景領域を膨張させた画像でエッジ画像をマスクすることにより、少なくとも背景領域にある余分なエッジを除去することができる。さらに、膨張させた前景領域の境界線で構成される前景境界画像と、マスク後のエッジ画像とを合成することにより、輪郭部分の線が太くなったり２重になったりする。これらのことから、尤度を観測する際、輪郭線以外のエッジとのマッチングで不当に尤度が高くなる可能性が少なくなるとともに、輪郭線の近傍にある候補曲線は輪郭線とマッチングされやすくなり尤度が高くなる。結果として、尤度の信頼性が増し、追跡処理の精度が向上する。
【００７８】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００７９】
例えば輪郭画像生成部２２を追跡装置１４以外の画像処理装置に備えてもよい。例えば、自動で写真撮影を行う装置に備え、被写体の画像を一旦取り込み、輪郭画像生成部２２によって被写体の輪郭画像を生成してもよい。この場合、輪郭画像から被写体の位置を算出し、その情報をカメラの向きや位置の制御装置へフィードバックすることにより、被写体が写真の中央など所望の位置に写るように自動調整を行う。このような場合でも、周囲の明るさなど撮影環境が変化しても、輪郭線が強調された輪郭画像を安定して生成できるため、自動調整を精度よく行うことができる。
【図面の簡単な説明】
【００８０】
【図１】人物を追跡対象とした場合の視覚追跡手法を説明するための図である。
【図２】パーティクルフィルタを用いた確率密度推定の手法を説明する図である。
【図３】本実施の形態における視覚追跡システムの構成例を示す図である。
【図４】本実施の形態における追跡装置の構成を詳細に示す図である。
【図５】本実施の形態における追跡処理の手順を示すフローチャートである。
【図６】本実施の形態における輪郭画像生成部の詳細な構成を示す図である。
【図７】本実施の形態における輪郭画像の構成を模式的に示す図である。
【図８】本実施の形態において輪郭画像生成部が入力画像の輪郭画像を生成する処理手順を示すフローチャートである。
【図９】本実施の形態において輪郭画像を生成する対象の入力画像の例を示す図である。
【図１０】本実施の形態において背景差分に用いる背景画像の例を示す図である。
【図１１】図８のＳ４０において生成されるエッジ画像の例を示す図である。
【図１２】図８のＳ４２で生成される前景画像の例を示す図である。
【図１３】図８のＳ４８で生成されるマスクエッジ画像の例を示す図である。
【図１４】図８のＳ５０で生成される前景境界画像の例を示す図である。
【図１５】図８のＳ５２で生成されＳ５４で出力される輪郭画像の例を示す図である。
【符号の説明】
【００８１】
１０  視覚追跡システム、  １２  撮像装置、  １４  追跡装置、  １６  表示装置、  ２０  画像取得部、  ２２  輪郭画像生成部、  ２４  画像記憶部、  ２６  追跡処理部、  ２８  追跡開始終了判定部、  ２９  サンプリング部、  ３０  観測部、  ３４  結果取得部、  ３６  結果記憶部、  ４０  出力制御部、  ６６  エッジ抽出部、  ６８  前景処理部、  ７０  マスク部、  ７２  合成部、  、  ７４  出力部、  ７６  背景画像更新部。  
【図１】
2010061478.tif 000006
【図２】
2010061478.tif 000007
【図３】
2010061478.tif 000008
【図４】
2010061478.tif 000009
【図５】
2010061478.tif 000010
【図６】
2010061478.tif 000011
【図７】
2010061478.tif 000012
【図８】
2010061478.tif 000013
【図１１】
2010061478.tif 000014
【図１２】
2010061478.tif 000015
【図１３】
2010061478.tif 000016
【図１４】
2010061478.tif 000017
【図１５】
2010061478.tif 000018
【図９】
2010061478.tif 000019
【図１０】
2010061478.tif 000020