(57)【特許請求の範囲】
【請求項１】
入力動画像の各フレームにおいて対象物領域を抜き出す領域抽出方法において、
前フレームでの対象物輪郭の軌跡が与えられたときに、前−現フレーム間で輪郭の動きベクトルを推定することによって、現フレーム上で輪郭の推定位置である推定輪郭を求める動きベクトル推定工程と、
上記推定輪郭の周囲の画素を含む輪郭が存在する可能性のある領域である輪郭候補領域を現フレーム上で決定する輪郭候補領域決定工程と、
上記輪郭候補領域において、画像空間上の単位ベクトルと各画素の濃度空間上の単位ベクトルとの内積からグラディエントベクトル場を求めるグラディエント計算工程と、
上記グラディエントベクトル場に存在するベクトルの方向と画像空間上のベクトルによってグラディエント強度を変調し、各領域についてグラディエント強度が最大になるような画素を結んで閉曲線を生成し、その軌跡を現フレームにおける対象物輪郭とする曲線生成工程と
を有することを特徴とする領域抽出方法。
【請求項２】
上記動きベクトル推定工程では、
与えられた上記対象物輪郭の軌跡上の特徴点を抽出し、抽出した特徴点の動きベクトルを推定するに際して、比較する２ブロック間の誤差評価に対象物領域画素の残差に重みづけするような誤差評価関数を用いた階層的ブロックマッチングを用いて計算し、その各階層の結果の動きベクトルに対して平滑化処理を行う
ことを特徴とする請求項１記載の領域抽出方法。
【請求項３】
上記輪郭候補領域決定工程では、
前フレームの輪郭上のブロックと、それに対応する現フレームの推定輪郭上のブロックとの間の平均２乗誤差を対象物色と背景色との差で規格化した値を求め、その値を用いて、現フレームの推定輪郭の周囲に形成する輪郭候補領域の太さを調節する
ことを特徴とする請求項１記載の領域抽出方法。
【請求項４】
上記グラディエント計算工程では、
現フレームの推定輪郭に対し特徴点抽出を行い、現フレームの推定輪郭上の特徴点位置に従って輪郭候補領域を小領域に分割し、その小領域ごとに現フレームにおける輪郭の方向を推定し、その方向の勾配にのみ反応するようなエッジ検出を行うことによって、輪郭候補領域のグラディエントベクトル場を得ること
を特徴とする請求項１記載の領域抽出方法。
【請求項５】
上記グラディエント計算工程では、
現フレームの推定輪郭に対し特徴点抽出を行い、現フレームの推定輪郭上の特徴点位置に従って輪郭候補領域を小領域に分割し、その小領域ごとに現フレームにおける輪郭の色変化を推定し、その色変化の勾配にのみ反応するようなエッジ検出を行うことによって、輪郭候補領域のグラディエントベクトル場を得ること
を特徴とする請求項１記載の領域抽出方法。
【請求項６】
上記曲線生成工程では、
現フレームの輪郭領域のグラディエントベクトル場に対して、現フレームの推定輪郭に対し特徴点抽出を行い、現フレームの推定輪郭上の特徴点位置に従って輪郭候補領域を小領域に分割し、その小領域ごとに輪郭が通過する点を抽出し、グラディエントベクトル場ベクトルの大きさが大きいところを通過するように生成した３次スプライン曲線で前記通過点を連結すること
を特徴とする請求項１記載の領域抽出方法。
【請求項７】
入力動画像の各フレームにおいて対象物領域を抜き出す領域抽出装置において、
前フレームでの対象物輪郭の軌跡が与えられたときに、前−現フレーム間で輪郭の動きベクトルを推定することによって、現フレーム上で輪郭の推定位置である推定輪郭を求める動きベクトル推定手段と、
上記推定輪郭の周囲の画素を含む輪郭が存在する可能性のある領域である輪郭候補領域を現フレーム上で決定する輪郭候補領域決定手段と、
上記輪郭候補領域において、画像空間上の単位ベクトルと各画素の濃度空間上の単位ベクトルとの内積からグラディエントベクトル場を求めるグラディエント計算手段と、
上記グラディエントベクトル場に存在するベクトルの方向と画像空間上のベクトルによってグラディエント強度を変調し、各領域についてグラディエント強度が最大になるような画素を結んで閉曲線を生成し、その軌跡を現フレームにおける対象物輪郭とする曲線生成手段と
を有することを特徴とする領域抽出装置。
【請求項８】
上記動きベクトル推定手段は、
与えられた上記対象物輪郭の軌跡上の特徴点を抽出し、抽出した特徴点の動きベクトルを推定するに際して、比較する２ブロック間の誤差評価に対象物領域画素の残差に重みづけするような誤差評価関数を用いた階層的ブロックマッチングを用いて計算し、その各階層の結果の動きベクトルに対して平滑化処理を行う
ことを特徴とする請求項７記載の物体領域抽出装置。
【請求項９】
上記輪郭候補領域決定手段は、
前フレームの輪郭上のブロックと、それに対応する現フレームの推定輪郭上のブロックとの間の平均２乗誤差を対象物色と背景色との差で規格化した値を求め、その値を用いて、現フレームの推定輪郭の周囲に形成する輪郭候補領域の太さを調節する
ことを特徴とする請求項７記載の領域抽出装置。
【請求項１０】
上記グラディエント計算手段は、
現フレームの推定輪郭に対し特徴点抽出を行い、現フレームの推定輪郭上の特徴点位置に従って輪郭候補領域を小領域に分割し、その小領域ごとに現フレームにおける輪郭の方向を推定し、その方向の勾配にのみ反応するようなエッジ検出を行うことによって、輪郭候補領域のグラディエントベクトル場を得ること
を特徴とする請求項７記載の領域抽出装置。
【請求項１１】
上記グラディエント計算手段は、
現フレームの推定輪郭に対し特徴点抽出を行い、現フレームの推定輪郭上の特徴点位置に従って輪郭候補領域を小領域に分割し、その小領域ごとに現フレームにおける輪郭の色変化を推定し、その色変化の勾配にのみ反応するようなエッジ検出を行うことによって、輪郭候補領域のグラディエントベクトル場を得ること
を特徴とする請求項７記載の領域抽出装置。
【請求項１２】
上記曲線生成手段は、
現フレームの輪郭領域のグラディエントベクトル場に対して、現フレームの推定輪郭に対し特徴点抽出を行い、現フレームの推定輪郭上の特徴点位置に従って輪郭候補領域を小領域に分割し、その小領域ごとに輪郭が通過する点を抽出し、グラディエントベクトル場ベクトルの大きさが大きいところを通過するように生成した３次スプライン曲線で前記通過点を連結すること
を特徴とする請求項７記載の領域抽出装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、画像処理のための例えば動画像中の物体領域を抽出する領域抽出方法及びその装置に関し、特に、画像合成を行うときに必要な対象物の領域を指定するマスク画像を作成する作業に利用できる領域抽出方法及びその装置に関する。
【０００２】
【従来の技術】
物体領域抽出処理技術として、動画像のなかから、対象物の領域を抽出しようとする従来技術としては以下のようなものがある。
【０００３】
先ず、動的輪郭モデルを用いるものとして、
文献「スネイクス：動的輪郭モデル」、“SNAKES : Active Contour models”Kass M., Witikin A., Terzopoulos D., Proc.1st ICCV, pp.259-268, 1987  に記載される、スネイクス（snakes）と呼ばれる動的輪郭モデルは、画像中の輪郭に収束するように移動するコントロールポイントを、拘束条件によって鎖状に連結したものである。
【０００４】
この動的輪郭モデルをフレーム間の輪郭追跡に応用したものに、以下の文献がある。
文献(a) 「領域分割に基づく複雑物体の自動切り出し」栄藤稔,白井良明, NICOGRAPH'92論文集, pp.8-17, 1992、対応特許文献：特開平５−６１９７７号公報「領域抽出装置」
文献(b) 「弾性輪郭モデルとエネルギー最小化原理による輪郭追跡手法」上田修功、間瀬健二、末永康仁, 信学誌, Vol.J-75-D-II, No.1,pp.111-120,1992 、対応特許文献：特開平５−１２４３３号公報「動物体の輪郭追跡方法」
これらの文献に記載された技術は、前フレームの輪郭位置を初期値として、現フレームにおいて動的輪郭モデルを収束させ対象物輪郭を得ようとするものである。一般に、この手法は以下の特徴をもつ。
【０００５】
動的輪郭モデルは、複数のコントロールポイントをスプライン曲線などを用いて連結したもので、常に滑らかな輪郭が得られる。
動的輪郭モデルの収束はコントロールポイントを少しずつ動かしながら、モデルのもつ評価関数の更新を行うという反復処理を行う。
【０００６】
次に、動きベクトル推定を行うものとして、前−現フレーム間での輪郭の動きベクトルを推定することによって、現フレームの輪郭位置を決める方法が、次の文献により提案されている。
【０００７】
文献(c) 「映像のための動ベクトル検出法に関する一検討」八木伸行、田中勝行、榎並和雅、テレビジョン学会誌、Vol.45, No.10,pp.1221-1229, 1991
文献(d) 特開平４−１１７０７９号公報「画像処理システム」
これらの文献に記載される技術は、前-現フレーム間においてブロックマッチングを行うことによって動きベクトルを求めるものである。ブロックマッチングとは、前画像中の注目する画素を含むブロックに、もっとも類似したブロックを現画像中から探査する方法である。一般に、ブロックマッチングを用いる方法は、前−現フレーム間で物体の動きの方向を調べるので、以前の動きとは異なった場合においても追随性がよい、という特徴がある。
【０００８】
また、文献(e) 「動画像合成のための対象物の抽出とはめ込み法」井上誠喜、小山広毅、テレビジョン学会誌,  Vol.47, No.7, pp.999-1005, 1993, に記載される技術は、前−現フレーム間で直接動きベクトルを求めずに、前フレームまでの、輪郭の動きをもとにした予測ベクトルを用いる。この文献(e) によれば、本来インターレース画像のフィールド単位の処理であるが、本明細書中では、原理説明の目的上、フレーム単位として説明する。ブロックマッチング法より大まかな予測になってしまうので、輪郭の軌跡だけの追跡は行わず、輪郭が存在する可能性がある、ある太さをもった領域の動き予測を行い、その領域中ではエッジ検出等で詳細に輪郭抽出を行うという手法をとる。
【０００９】
【発明が解決しようとする課題】
ところで、上述した従来の物体領域抽出処理技術には、以下に挙げるような、フレーム間追跡の問題や、輪郭軌跡の生成の問題があった。
【００１０】
先ず、フレーム間追跡の問題として、上記文献(a),(b) の従来技術で用いられている動的輪郭モデル（いわゆるsnakes）の収束は、初期値により大きく左右される。例えば、物体位置が大きく変化した場合には収束が悪く、しばしば誤った局所解に陥る危険がある。上記動的輪郭モデルに弾性的な拘束条件を加えることによって、物体位置の大きな変化に追随できるような改良も上記文献(b) に提案されているが、そのかわり、輪郭形状の変形に対する柔軟性が失われるという問題がある。
【００１１】
上記文献(e) の従来技術のような前フレームまでの輪郭の動きから予測ベクトルを求める追跡方法では、現フレームにおいて動きの方向が急激に変化した場合に対応できないという問題がある。
【００１２】
一方、上記文献(c),(d) に示す従来技術で用いられているブロックマッチングは前−現フレームの動きを直接調べるので、動きの変化には強い。しかし、ブロックマッチングの方法自体に、輪郭領域ではエラーが多いという欠点があり、従来からのブロックマッチングをそのまま用いるだけでは十分な正確さがえられなかった。
【００１３】
次に、輪郭軌跡の生成の問題について述べる。動きベクトル推定を行う方法では、動きベクトルが得られたあとに、現フレーム上の輪郭を軌跡として得る処理方法が軌跡の詳細さと精度を決める。上記文献(c),(d) に示す従来技術では、動きベクトル、または動きベクトルに基づいて得られた変形パラメータに従って、対象物領域を移動・変形させる。この方法は、大局的な変形にのみ対応し、微細な変形、特に輪郭形状においては対応できない。
【００１４】
上記文献(e) の従来技術では、動きベクトルによる追跡の後、輪郭領域におけるエッジ検出を行い、詳細に輪郭位置を決定する。輪郭の軌跡は画素点の並びとして得られるため、処理後の修正が行いにくいという欠点がある。また、この従来技術によるエッジ検出方法では注目する対象物の輪郭と、それ以外の画像濃度勾配が選択できないために、画像によっては輪郭を正確に抽出できない問題があった。
【００１５】
上記動的輪郭モデル（いわゆるsnakes）を用いる従来技術は、輪郭を追跡した結果がそのまま輪郭曲線として得られる。輪郭モデルをパラメトリックな曲線で記述するので、処理後の修正は容易である。誤って検出された箇所を局所的になおすばかりでなく、画像を拡大・縮小したときにマスク画像もあわせて拡大・縮小したりする必要があるなど、修正の容易さは領域抽出と画像合成においては重要な用件である。
【００１６】
本発明は、このような実情に鑑みてなされたものであり、上記従来の領域抽出方法の問題点を解決し、フレーム間の輪郭の追従性能を向上し、輪郭の修正を容易化し、輪郭形状の正確さを向上し、良好な領域抽出結果を得ることができるような領域抽出方法及びその装置の提供を目的とする。
【００１７】
【課題を解決するための手段】
本発明に係る領域抽出方法及び装置は、上述の課題を解決するために、入力動画像の前フレームでの対象物輪郭の軌跡が与えられたときに、前−現フレーム間で輪郭の動きベクトルを推定することによって、現フレーム上で輪郭の推定位置である推定輪郭を求め、この推定輪郭の周囲の画素を含む輪郭が存在する可能性のある領域である輪郭候補領域を現フレーム上で決定し、この輪郭候補領域において、画像空間上の単位ベクトルと各画素の濃度空間上の単位ベクトルとの内積からグラディエントベクトル場を求め、このグラディエントベクトル場に存在するベクトルの方向と画像空間上のベクトルによってグラディエント強度を変調し、各領域についてグラディエント強度が最大になるような画素を結んで閉曲線を生成し、その軌跡を現フレームにおける対象物輪郭としている。
【００１８】
ここで、上記動きベクトルを推定する際には、与えられた上記対象物輪郭の軌跡上の特徴点を抽出し、抽出した特徴点の動きベクトルを推定するに際して、比較する２ブロック間の誤差評価に対象物領域画素の残差に重みづけするような誤差評価関数を用いた階層的ブロックマッチングを用いて計算し、その各階層の結果の動きベクトルに対して平滑化処理を行うことが挙げられる。
【００１９】
また、上記輪郭候補領域を決定する際には、前フレームの輪郭上のブロックと、それに対応する現フレームの推定輪郭上のブロックとの間の平均２乗誤差を対象物色と背景色との差で規格化した値を求め、その値を用いて、現フレームの推定輪郭の周囲に形成する輪郭候補領域の太さを調節することが挙げられる。
【００２０】
上記グラディエントを計算する際には、現フレームの推定輪郭に対し特徴点抽出を行い、現フレームの推定輪郭上の特徴点位置に従って輪郭候補領域を小領域に分割し、その小領域ごとに現フレームにおける輪郭の方向を推定し、その方向の勾配にのみ反応するようなエッジ検出を行うことによって、輪郭候補領域のグラディエントベクトル場を得ることが挙げられる。あるいは、現フレームの推定輪郭に対し特徴点抽出を行い、現フレームの推定輪郭上の特徴点位置に従って輪郭候補領域を小領域に分割し、その小領域ごとに現フレームにおける輪郭の色変化を推定し、その色変化の勾配にのみ反応するようなエッジ検出を行うことによって、輪郭候補領域のグラディエントベクトル場を得ることが挙げられる。
【００２１】
さらに、上記曲線を生成する際には、現フレームの輪郭領域のグラディエントベクトル場に対して、現フレームの推定輪郭に対し特徴点抽出を行い、現フレームの推定輪郭上の特徴点位置に従って輪郭候補領域を小領域に分割し、その小領域ごとに輪郭が通過する点を抽出し、グラディエントベクトル場ベクトルの大きさが大きいところを通過するように生成した３次スプライン曲線で前記通過点を連結することが挙げられる。
【００２２】
【作用】
前フレームでの対象物輪郭の動きベクトルを推定し、現フレームで輪郭が存在する可能性がある領域を判定し、その領域内の濃度勾配が急峻なところを通過する３次スプライン閉曲線を得、それを現フレームの対象物輪郭とする処理を順次フレームで行うことによって、動画像の各フレームにおいて対象物を抽出することができる。
【００２３】
本発明に係る領域抽出方法及びその装置は、前フレームでの対象物輪郭の軌跡が与えられたときに、前−現フレーム間で輪郭の動きベクトルを推定することによって、現フレーム上で輪郭の推定位置、すなわち推定輪郭を求め、推定輪郭の周囲の画素を含む輪郭が存在する可能性のある領域、すなわち輪郭候補領域を現フレーム上で決定し、輪郭候補領域において濃度値のグラディエントベクトル場を求め、そのグラディエントベクトル場中のベクトルの大きさが大きいところを通過するように閉曲線を生成し、その軌跡を現フレームにおける対象物輪郭とする処理を行う。これによって、前−現フレーム間で輪郭が大きく移動した時や、その動きの方向が急激に変化した場合にも追従できる。また、各フレームの輪郭はパラメトリックな曲線で記述されるので、処理後の修正を容易にすることが出来る。
【００２４】
以下、本発明に係る好ましい実施例について、全体の構成、各部の詳細、効果の順に説明する。
【００２５】
図１は、本発明の一実施例としての動画像内の物体の領域抽出方法の処理の全体を示す図である。本実施例は、対象物を含む連続した画像Ｉから対象物輪郭Ｂを各フレームにおいてパラメトリックに表現された閉曲線として獲得するものである。
【００２６】
このような物体領域抽出処理を行うための画像処理装置の概略構成の一例を図２に示す。
【００２７】
この図２において、画像処理装置は、本実施例の物体領域抽出に必要なあらゆる演算を行うためのＣＰＵ（中央演算処理装置）２１と、画像Ｉ、輪郭Ｂあるいは処理中間結果等を保持するための外部記憶手段２２と、画像を作成したり、軌跡を入力するためのマウス、タブレットペンなどの入力手段２３と、画像を表示するためのディスプレイなどの表示手段２４とを有している。これらのＣＰＵ２１、外部記憶手段２２、入力手段２３、表示手段２４間でのデータの送受は、バスライン２５を介して行われる。
【００２８】
再び図１に戻って、この図１は、上記図２の画像処理装置の主としてＣＰＵ２１により実行される物体領域抽出処理の、１フレームの処理を示している。本実施例は、各フレームにおいて、前フレーム画像Ｉt-1 、現フレーム画像Ｉt 、前フレームにおいて既に獲得された対象物輪郭Ｂt-1 を入力とし、現フレームの対象物輪郭Ｂt を出力とする。まず第１に、動きベクトル推定処理部１１において、現フレームにおける対象物輪郭の位置を、前−現フレーム間での前フレーム対象物輪郭Ｂt-1 の動きベクトル推定により得、これを推定輪郭Ｂe とする処理を行う。第２に、輪郭候補領域決定処理部１２により、上記推定輪郭Ｂe の周囲に、対象物輪郭が存在する可能性がある範囲を判定し、輪郭候補領域Ａとする処理を行う。第３に、グラディエント計算処理部１３により、上記輪郭候補領域Ａにおいて、対象物輪郭の正確な位置を知るために、グラディエントベクトル場Ｇを求める処理を行う。第４に、曲線生成処理部１４により、対象物輪郭位置を正確に通過するよう、グラディエントベクトル場Ｇのベクトルの大きさが大きいところを通過するような閉曲線を求める処理を行う。求めた閉曲線を現フレームの対象物輪郭Ｂt とする。得られた対象物輪郭Ｂt は、遅延処理部１５を介して、次回の処理において前フレームの対象物輪郭Ｂt-1 として用いられ、以後同様に処理を進める。
【００２９】
なお、第１フレームに関しては本実施例とは別の方法で対象物輪郭を与える必要がある。その方法としては、画像をディスプレイ等に表示し、適当なグラフィックユーザインターフェイス（ＧＵＩ）によって輪郭上の点をマニュアルで指定することによって、スプライン曲線を発生させる曲線エディタの技術が既に公知となっているので利用可能である。
【００３０】
また、本発明の実施例の最終的な目的として、対象物領域であることを輝度の濃淡で示すマスク画像を各フレームで得ることがある。そのマスク画像は、対象物輪郭が閉曲線で得られれば、その内外判定、画素の塗りつぶしアルゴリズム等公知の技術を用いることにより生成することができるので、本実施例からマスク画像Ｉm が得られるものとして説明する。したがって、以後の処理の説明において、対象物領域の画素であるかどうかの判別は、対象物輪郭あるいは推定輪郭が得られれば判定できるものする。なお、内外判定、塗りつぶしアルゴリズムに関する文献としては、「コンピュータディスプレイによる図形処理工学」山口富士夫、日刊工業新聞社,1981 や、「コンピュータグラフィックス原理と実習、第２版」“Computer Graphics Principles and practice 2nd ed.”Foley, vanDam, Feiner, Hughes, ADDISON-WESLWEY PUBLISHING,1990 等がある。
【００３１】
ここで、データ形式等について説明する。
以降の説明において、各データは以下の形式をもつものである。
【００３２】
先ず、「曲線」とは、対象物輪郭、推定輪郭等は連続した３次スプラインセグメントによる閉曲線とする。１つの３次スプラインセグメントは４つのコントロールポイントによって記述され、その複数のセットで曲線を記述する連続したスプラインセグメントとは、１つ前のp3と次のp0が共通なセグメントの並びである。また、閉曲線は最終のセグメントのp3と最初のセグメントのp0が共通な曲線である。すなわち、セグメント数をＫとすると、
(p00,p01,p02,p03),(p10,p11,p12,p13),(p20,p21,p22,p23),...
...,(pK-10,pK-11,pK-12,pK-13)
pi+10 ＝ pi3
pK-13 ＝ p00
次に、「特徴点」について説明すると、本実施例において、輪郭上の特徴点は輪郭上の位置と画像上の位置の２つの位置情報をもつデータである。輪郭上の位置とは、輪郭の始点p00 からの軌跡にそった長さである。
【００３３】
次に、「輪郭候補領域」について説明する。
本実施例において、輪郭候補領域Ａは該当する画素位置Ａolのリストである。
Ａ＝｛Ａo0,Ａo1,...｝
または、輪郭候補領域Ａはさらに分割した小領域Ａk のリストである。
Ａ＝｛Ａ0,Ａ1,...｝
小領域Ａk は推定輪郭に沿った順に並んでいる。小領域Ａk は該当する画素位置Ａklのリストである。
Ａ＝｛Ａk0,Ａk1,...｝
次に、その他の表記については、説明のため、以下のように表記する。
画像Ｉの位置（ｉ，ｊ）の画素値：Ｉ［ｉ，ｊ］
画像Ｉの輪郭候補領域画素位置Ａklの画素値：Ｉ［Ａkl］
ブロック、グラディエントベクトル場の要素も同様に表記する。
【００３４】
次に、各部の詳細について説明する。
先ず、図１の動きベクトル推定処理部１１について説明する。
【００３５】
現フレームにおける対象物輪郭の位置を、前−現フレーム間での前フレーム対象物輪郭Ｂt-1 の動きベクトル推定により得、これを推定輪郭Ｂe とする処理を行う。本発明の実施例では、輪郭領域での動きベクトル推定の精度を向上させるために、次のような動きベクトル推定方法を採用している。
【００３６】
先ず、動きベクトル推定方法の第１の具体例としては、画像小領域の動きベクトル推定手段であるブロックマッチングにおいて、従来は、比較する第１の画像Ｉ1 中のブロックと、第２の画像Ｉ2 中のブロックの画素ごとの誤差の平均を誤差評価としていたものを、図３に示すように、第１の画像Ｉ1 中画素の重要度を示す第３の画像Ｉ3 を与え、第３の画像による重みつき誤差評価で行う技術を挙げることができる。
【００３７】
すなわち、図３において、マッチング演算処理部３１は、動きベクトルを求めようとする対象物を含む第１、第２の画像Ｉ1,Ｉ2 と、第１の画像Ｉ1 の対象物領域を濃淡値で示す第３の画像Ｉ3 と、第１の画像Ｉ1 の対象物の輪郭部に適当個配置されたテンプレートと、第２の画像Ｉ2 にテンプレートと対応して配置された探査範囲とを入力とし、テンプレートともっとも一致する第２の画像Ｉ2 上のマッチング位置を出力とする。また動きベクトル演算処理部３２は、テンプレートの位置と、マッチング演算処理部３１からのマッチング位置とを入力とし、テンプレートの動きベクトルを出力とする。
【００３８】
これによって、従来ブロックマッチングでは物体境界領域で、ブロックが複数の物体を含み、動きベクトルが一意に決定できないという問題を解決するものである。
【００３９】
次に動きベクトル推定方法の第２の具体例について説明する。これは、画像小領域の動きベクトル推定手段であるブロックマッチング処理において、従来のブロックマッチングでは、輪郭上の動きベクトルは本来輪郭に沿って滑らかに連続するべきであるのに、一般に、輪郭に沿って一様な画像パターンとなりやすいという原因によって、動きベクトルを誤りやすかった問題を、図４に示すように、与えられた輪郭上の動きベクトルの推定を階層的探査で行い、各階層間でベクトル場の平滑化処理による動きベクトルの修正を行うことにより、滑らかに連続する動きベクトルを得ることを実現する技術である。
【００４０】
すなわち、図４において、動きベクトルを求めようとする対象物を含む第１、第２の画像Ｉ1,Ｉ2 は、階層化処理部４１、４２によりそれぞれ階層化される。この階層化処理は、原画像を最下層として、例えば２×２の画像の平均を１つ上の層の画素としていくことによって、階層画像をつくることができる。階層化された各層の画像は、ブロックマッチング処理部４３、４４、４５、・・・、４６により、最上層の画像から、１つ上の階層の結果を用いて順にブロックマッチングを行っていく。
【００４１】
この図４の構成は、さらにブロックリスト生成処理部４７および平滑化処理部４８、４９、・・・を有している。ブロックリスト生成処理部４７は、入力された対象物輪郭情報から、追跡する輪郭上にブロックを配置する。また、平滑化処理部４８、４９、・・・は、動きベクトル場の平滑化を行う。
【００４２】
次に動きベクトル推定方法の第３の具体例を、図５を参照しながら説明する。これは、画像小領域の動きベクトル推定手段であるブロックマッチングによって対象物輪郭を追跡する技術において、従来では、輪郭上のあらゆる点で動きベクトル推定を行うと処理量が膨大であり、また輪郭上の点は必ずしも動きベクトル推定が正確に得られない、という問題を、図５に示すように、輪郭上の特徴点を抽出する手段を備え、その特徴点に対して動きベクトル推定を行うことによって、少数の動きベクトル推定でも高い信頼度をもって輪郭を追跡できることを実現する技術である。
【００４３】
この図５において、動きベクトル推定処理部５１には、動きベクトルを求めようとする対象物を含む第１、第２の画像Ｉ1,Ｉ2 と、特徴点抽出処理部５２からのテンプレートリスト及び探査範囲リストが供給されている。特徴点抽出処理部５２は、与えられた対象物輪郭情報と、上記第１の画像Ｉ1 とから、特徴点を抽出し、探査するブロックリストを生成する。動きベクトル推定処理部５１は、生成されたブロックリストの動きベクトル場を推定する処理を行う。
【００４４】
次に、図６は、上記動きベクトル推定方法の第１〜第３の具体例を組み合わせて成る動きベクトル推定方法の第４の具体例を示している。すなわち、輪郭部の動きベクトル推定処理に効果的な上記第１〜第３の３つの技術の組み合わせ方法を与えるものである。上記第１〜第３の技術は、それぞれ輪郭部の動きベクトル推定の精度向上について異なる効果をあげるものである。
【００４５】
この図６において、階層化処理部６１、６２は上記図４の階層化処理部４１、４２に相当するものであり、前フレーム画像Ｉt-1 と前フレーム輪郭Ｂt-1 とから、上記図５と共に説明した動きベクトル推定方法の第３の具体例の技術を用いて、特徴点抽出処理部６４により輪郭Ｂt-1 上の特徴点を抽出し、その特徴点の動きベクトルを推定するために、各特徴点位置にブロックを配置する。
【００４６】
上記図４と共に説明した動きベクトル推定方法の第２の具体例の階層的ブロックマッチングによる探査を行うために、前フレーム画像Ｉt-1 、現フレーム画像Ｉt 、そして前フレーム輪郭Ｂt-1 から得られる前フレームマスク画像Ｉmt-1の階層画像を作成する。ブロックマッチング処理部４３、４４、４５、・・・、４６により、最上層から最下層まで、階層的ブロックマッチングを行う。このとき、各階層のブロックマッチングの誤差評価方法を、マスク画像Ｉmt-1を用いて上記図３と共に説明した動きベクトル推定方法の第１の具体例の技術による誤差評価を行う。また、各階層間において、平滑化処理部４８、４９、・・・により、上記図４と共に説明した動きベクトル推定方法の第２の具体例の技術による平滑化処理を行う。
【００４７】
動きベクトル推定によって、得られた特徴点の推定移動先（以下、推定輪郭上の特徴点とよぶ）を、補間処理部６５における曲線補間処理によって各特徴点を通過するように連結する。与えられた各特徴点を通過するような補間曲線の生成方法は前記文献「コンピュータグラフィックス原理と実習、第２版」“Computer Graphics Principles and practice 2nd ed.”Foley, vanDam, Feiner,Hughes, ADDISON-WESLWEY PUBLISHING,1990に記載のCatmull-Rom spline等がある。また、各点間を直線で連結し推定輪郭としても構わない。
【００４８】
本具体例は、上記動きベクトル推定方法の第１〜第３の具体例で示した３つの技術の組み合わせることにより、それぞれの効果によってさらに良い結果を得ることを実現する。
【００４９】
次に、輪郭候補領域決定処理部１２の具体例について説明する。
【００５０】
推定輪郭Ｂe の周囲に、対象物輪郭が存在する可能性がある範囲を判定し、輪郭候補領域Ａとする処理を行う。そのために推定輪郭Ｂe の真の輪郭に対するずれ量を見積り、そのずれ量に相当する領域の大きさを決める。
【００５１】
図７は本実施例における輪郭候補領域決定処理のための構成の一例を示すブロック図である。この図７を参照しながら本処理の概要を説明する。
【００５２】
第１に、評価点抽出処理部７２は、推定輪郭Ｂe 上から、輪郭が比較的直線的で輪郭の両側の領域の濃度が一定とみなせる点をずれ量を評価する点として抽出する。第２に、対応点抽出処理部７１は、前フレーム対象物輪郭Ｂt-1 上の、評価点に対応する点を抽出する。第３に、ずれ量評価処理部７３により各評価点と対応点間で誤差評価を行い、ずれ量を見積もる。第４に、領域判定処理部７４により各評価点近傍の領域の大きさをずれ量から決定し、その範囲に属する画素位置を輪郭候補領域とする。
【００５３】
次に図８は、上述したような輪郭候補領域決定処理の一例を説明するためのフローチャートである。本処理は、前フレーム対象物輪郭Ｂt-1 、推定輪郭Ｂe 、上記前フレーム対象物輪郭Ｂt-1 上の特徴点ｃk 、Ｂe 上の特徴点ｃek、特徴点数Ｋを入力とし、輪郭候補領域Ａを出力する。本処理は、以下に説明する処理を各特徴点間で繰り返すものである。この繰り返しは、いわゆるＦＯＲループ８１により、特徴点数のＫ回実行される。
【００５４】
以下、ＦＯＲループ８１内でのｋ番めの特徴点間についての処理について説明する。
【００５５】
先ず、ステップＳ８２では、推定輪郭Ｂe 上の特徴点ｃekと、ｃek+1の推定輪郭上の中間点をｋ番めの評価点ｓekとする。同様に前フレーム対象物輪郭Ｂt-1 上の特徴点ｃk と、ｃk+1 の推定輪郭上の中間点をｋ番めの対応点ｓk とする。また、このステップＳ８２では、評価点ｓekにブロックｂek、対応点ｓk にブロックｂk をおき、次のステップＳ８３にて、２つのブロックから正規化された２乗誤差平均の平方根（root mean square error）NRMSE を計算し、それをブロックの大きさ（ブロックサイズ）ＢＳで割った値をずれ量ｘとし、ＦＯＲループ８４に移行する。NRMSE の計算方法は後述する。
【００５６】
ＦＯＲループ８４は、ループ制御変数ｉ，ｊについて、それぞれ領域の画像サイズ（イメージサイズ）ＩＳの回数の繰り返し処理を行うものであり、このＦＯＲループ８４内のステップＳ８５、Ｓ８６、Ｓ８７により、画像中の各画素位置(i,j) について、その線分ｃekｃek+1への距離がｘより小さいならば、その画素位置(i,j) を輪郭候補領域と判定する。
【００５７】
次に図９は、前記NRMSE の計算方法を示すフローチャートである。この計算は前記ブロックｂk 、ｂekを用いて行う。
この図９において、ＦＯＲループ９１は、ループ制御変数ｉ，ｊについて、上記ブロックサイズＢＳの回数の繰り返し処理を行うものである。このＦＯＲループ９１内では、先ずステップＳ９２によりブロックｂe 内の各画素値ｂe[i,j]に対し、推定輪郭Ｂe の内側か外側かの判定を行い、分類して、ステップＳ９３により画素値ｂe[i,j]を内側画素値の集合fgdata[ ] に登録し、Ｓ９４により画素値ｂe[i,j]を外側画素値の集合bgdata[ ] に登録する。
【００５８】
次に、ＦＯＲループ９１の繰り返し処理が終了した後、ステップＳ９５により全内側画素の集合fgdata[ ] の重心値をｆｇとし、全外側画素の集合bgdata[ ] の重心値をｂｇとする。次にブロックｂe 、ブロックｂの２乗誤差平均の平方根（root mean square error）RMSEを、次の式により計算する。
【００５９】
【数１】
0003716455.tif 000002
次に、ステップＳ９６により、RMSEを重心の差の大きさで割った値をNRMSE とする。
【００６０】
NRMSE ＝ RMSE／｜fg-bg｜
次に、上記図１のグラディエント計算処理部１３の具体例について説明する。
【００６１】
このグラディエント計算では、輪郭候補領域Ａにおいて、対象物輪郭の正確な位置を知るために、グラディエントベクトル場Ｇを求める処理を行う。
【００６２】
図１０は、本実施例のグラディエント計算の処理ブロック図である。
本処理は以下の手順で行われる。第１に、特徴点抽出処理部１０１において、推定輪郭Ｂe 上で、上記図５と共に説明した動きベクトル推定方法の第３の具体例の技術の特徴点抽出処理を行う。第２に、領域分割処理部１０２において、前記特徴点を境界とするように、輪郭候補領域Ａを小領域Ａk に分割し、エッジ特徴が各小領域内で一定になるようにする。第３に、エッジ特徴推定処理部１０３において、各小領域ごとにエッジ特徴を推定し、その特徴をもとに、エッジ検出処理部１０４において、以下に示すような具体的なエッジ検出方法を用いてグラディエントを求める。
【００６３】
このエッジ検出方法の具体例について説明する。
【００６４】
先ず、エッジ検出方法の第１の具体例としては、画像上の濃度勾配（グラディエント）を求める計算方法において、従来は、画像上のあらゆる方向に均等に注目して勾配を検出したために、注目すべき物体の輪郭以外の濃度勾配も検出してしまっていたものを、図１１に示すように、どの方向の濃度勾配を検出すべきかという情報を与え、その情報によって検出した濃度勾配強度を変調することによって、注目すべき方向以外の濃度勾配を検出しないことを実現する技術である。
【００６５】
すなわち、この図１１において、濃淡画像に対し、グラディエント計算処理部１１１にてグラディエントを計算する。方向検出処理部１１３でグラディエントベクトルの方向を検出し、それと検出すべき画像空間上のベクトルによって選択度を、選択度判定処理部１１４により判定する。判定されて得られた選択度に従って、強度変調処理部１１２がグラディエント強度を変調する。
【００６６】
次に、エッジ検出方法の第２の具体例について説明する。
【００６７】
このエッジ検出方法の第２の具体例は、画像上の濃度勾配（グラディエント）を求める計算方法において、従来は、濃度空間上のあらゆる方向の濃度変化に均等に注目して勾配を検出したために、注目すべき物体の輪郭以外の濃度勾配も検出してしまっていたものを、図１２に示すように、内積計算処理部１２１とグラディエント計算処理部１２２とにより、どの方向の濃度変化を検出すべきかという情報を与え、その情報から得られる、画像空間上のベクトルと、各画素の濃度空間ベクトルの内積計算から得られる濃淡画像の濃度勾配を求めることによって、注目すべき濃度変化以外の濃度勾配を検出しないことを実現する技術である。
【００６８】
以下に、図１３を参照しながら、グラディエント計算における本実施例の特徴であるところの領域分割処理を説明する。
図１３は、領域分割処理のフローチャートである。この図１３において、いわゆるＦＯＲループ１３１では輪郭候補領域Ａの画素数Ｌの回数分の繰り返し処理を、またＦＯＲループ１３１内のＦＯＲループ１３２では特徴点数Ｋの回数分の繰り返し処理を行っており、輪郭候補領域Ａ内の全画素Ａolについて、以下の処理を行う。
【００６９】
上記ＦＯＲループ１３２内では、ステップＳ１３３において、隣り合う特徴点ｃk 、ｃk+1 によるＫ本の線分ｃkｃk+1それぞれと画素位置Ａolとの距離ｄk を求める。次のステップＳ１３３、Ｓ１３５では、その距離ｄk が最も小さいものをｄmin とし、そのときのｋをｍとしている。ＦＯＲループ１３２の処理が終了した後、ステップＳ１３６でＡolを領域Ａm に分類する。
【００７０】
次に、領域分割されたそれぞれの輪郭候補小領域Ａk で、エッジ検出に必要な情報を得る処理を説明する。
【００７１】
図１４は本実施例のエッジ検出情報を得る処理のフローチャートである。本実施例では、エッジ検出情報として、画像空間上の単位ベクトルｖokと、濃度空間上の単位ベクトルｖckを獲得する。
【００７２】
この図１４において、いわゆるＦＯＲループ１４１では、輪郭候補小領域の画素数Ｌk の回数分の繰り返し処理を行っている。このＦＯＲループ１４１内で、ステップＳ１４２では、ブロックｂe 内の各小領域内画素Ａklに対し、推定輪郭Ｂe の内側か外側かの判定を行い、分類して、ステップＳ１４３により上記Ａklを内側画素値の集合fgdata[ ] に登録し、Ｓ１４４により上記Ａklを外側画素値の集合bgdata[ ] に登録する。
【００７３】
次に、ＦＯＲループ１４１の繰り返し処理が終了した後、ステップＳ１４５により全内側画素の集合fgdata[ ] の重心値をｆｇとし、全外側画素の集合bgdata[ ] の重心値をｂｇとする。
【００７４】
ここで、画像空間上の単位ベクトルｖｏｋは、検出したいグラディエントの方向を与えるための情報である。ｖｏｋは、各小領域Ａｋにおいて、２つの特徴点で構成される線分ｃｋｃｋ＋１に直交する方向に定められる。濃度空間上の単位ベクトルｖｃｋは、検出したい濃度変化の方向を与えるための情報である。ｖｃｋは、各小領域Ａｋにおいて、全画素を推定輪郭Ｂe の内側と外側の画素に分類し、それぞれに重心ｆｇ、ｂｇを求め、その重心の差ベクトルと平行な方向にとられる（ステップＳ１４６参照）。または、２つの重心を輝度軸に垂直な面に投影したのち、差ベクトルを求め、それに平行な方向にとる方法も、輝度方向のノイズ除去に有効である。
【００７５】
次に、図１５に、上記図１１、図１２と共に説明したエッジ検出方法の第１、第２の具体例の技術を組み合わせて行う処理のブロック図を示す。組み合わせたグラディエント計算の手順を以下に説明する。
【００７６】
この図１５において、グラディエントを求める入力画像、検出すべき濃度空間上のベクトル、検出すべき画像空間上のベクトルが入力として得られる。
【００７７】
第１に、内積計算処理部１５１にて、画像空間上のベクトルと、各画素の濃度空間ベクトルの内積計算から濃淡画像を求める。求めた濃淡画像に対し、グラディエント計算処理部１５２にてグラディエントを計算する。方向検出処理部１５４でグラディエントベクトルの方向を検出し、それと検出すべき画像空間上のベクトルによって選択度を、選択度判定処理部１５５により判定する。判定されて得られた選択度に従って、強度変調処理部１５３がグラディエント強度を変調する。以上の処理を、各輪郭候補小領域において行う。
【００７８】
以上の図１０〜図１５と共に説明したように、選択的な輪郭検出を行うことができる上記エッジ検出技術の第１、第２の具体例（図１１、図１２参照）に対し、自動的に必要な情報を与える手段を備え、かつ、これら２つの技術を組み合わせて用いるものである。すなわち、本発明は、輪郭候補領域において濃度値のグラディエントベクトル場を求める処理において、現フレームの推定輪郭に対し、上記図５と共に説明した動きベクトル推定方法の第３の具体例の技術による特徴点抽出を行い、現フレームの推定輪郭上の特徴点位置に従って輪郭候補領域を小領域に分割する。この図５の技術の特徴点抽出は、輪郭の屈曲点と、輪郭色の変化点を抽出するものである。一方、上記図１１、図１２と共に説明したエッジ検出技術では、エッジの勾配方向と色変化方向に注目するものである。すなわち、上記図５に示す技術で検出される特徴点は、上記図１１、図１２の技術のエッジの特徴の変化する点である。よって、特徴点を境に領域分割すれば、小領域ごとに輪郭の特徴を一定にすることが出来る。小領域ごとに輪郭の特徴を調べることによって、正確な上記図１１、図１２のエッジ検出が可能になり、対象物輪郭以外の不要なグラディエント成分を抑えることができる。
【００７９】
次に、上記図１の曲線生成処理部１４の具体例について説明する。
【００８０】
この曲線生成処理においては、対象物候補領域で求められたグラディエントベクトル場から、対象物輪郭位置を３次スプライン曲線で抽出する。そのために、グラディエントベクトル場Ｇのベクトルの大きさが大きいところを通過するような閉曲線を求める処理を行う。求めた閉曲線を現フレームの対象物輪郭Ｂt とする。
【００８１】
図１６は本実施例の曲線生成の処理ブロック図である。本処理は以下の手順で行われる。
【００８２】
すなわち、図１６において、第１に、特徴点抽出処理部１６１により、推定輪郭Ｂe 上で、上記図５と共に説明した動きベクトル推定方法の第３の具体例の技術による特徴点抽出処理を行う。第２に、領域分割処理部１６２により、上記特徴点を境界とするように、輪郭候補領域Ａを小領域Ａk に分割する。具体的な領域分割方法は、上述したグラディエント計算処理における領域分割方法と共通である。第３に、通過点抽出処理部１６３により、各小領域ごとに通過点を１点抽出する。抽出された通過点は、小領域の順番のとおりに順序づけされる。第４に、ｐi1、ｐi2探査処理部１６４により、後述するようなスプラインコントロールポイントの探査方法によって、各セグメントごとに残りのコントロールポイントを求め、対象物輪郭Ｂt を得る。
【００８３】
ここで、上記スプラインコントロールポイントの探査方法について、図１７を参照しながら説明する。
【００８４】
この図１７は、曲線生成方法を実現するためのブロック図を示し、この曲線形成方法は、ベクトル場ベクトルの大きさがなるべく大きいところを通過するような３次スプライン曲線形状を探査する技術である。それによって、図１７に示すように画像上の物体輪郭の大体の位置を与える手段を備えることによって、画像のグラディエントベクトル場の情報から曲線を探査し、物体輪郭をパラメトリックな曲線で抽出することを実現する。
【００８５】
この図１７に示す曲線生成方法は、２次元の滑らかなベクトル場上、例えば画像の色彩を表すＲ、Ｇ、Ｂ信号の各信号に基づいて形成される濃淡勾配ベクトル場上をを通過する曲線を生成する曲線生成方法において、上記曲線上の所定数個の評価位置で、当該曲線の接線と直交する単位ベクトルとベクトル場ベクトルとの内積の関数で表される評価値を計算する評価値計算工程と、上記評価値計算行程にて得られた上記評価値が最大になるように曲線を決定する曲線決定工程とを有するものである。
【００８６】
図１７において、ベクトル場は、空間例えば入力画像中の全ての点における各点（i,j） でのベクトル場ベクトルＶ（i,j） を通過点抽出部１７２及びｐi1，ｐi2探査部１７４に出力される。軌跡入力部１７１は、例えばペン状入力装置いわゆるタブレットペンやマウス等の入力手段を備えており、軌跡Ｔが曲線を得たい大まかな領域の画素点の並びとして入力されると、該軌跡Ｔを通過点抽出部１７２に出力する。通過点入力部１７２では、上記軌跡Ｔから一定距離内に含まれる領域のベクトル場を調べて、ベクトルの大きさが所定の基準以上である位置を通過点ｐとして抽出し、これら通過点ｐの位置データを順序づけ部１７３に出力する。なお、上記各通過点ｐは、後述するように、軌跡Ｔまでの最短距離が所定の長さよりも小さく、かつ、ベクトル場ベクトルの大きさが所定の大きさよりも大きい全ての点である。順序づけ部１７３は、後述するように、上記通過点ｐを軌跡Ｔの進行方向に沿った順序で並べ換えて得られた通過点を基準点ｐ00、ｐ10、ｐ20、…、ｐK0としてｐi1，ｐi2探査部１７４に出力する。ｐi1，ｐi2探査部１７４は、上記評価値計算工程及び曲線決定工程を行う部分である。評価値計算工程では、上記基準点ｐi0、ｐ(i+1)0と、上記ベクトル場ベクトルＶ（ｉ，ｊ）に基づいて、基準点ｐi0、ｐi3より標本点ｐi1、ｐi2を抽出し、これら基準点及び標本点より部分曲線を生成し出力する。なお、上記部分曲線は端部が連結されると曲線を形成する。
【００８７】
図１７によれば、軌跡入力部１７１にて使用者により空間例えば画像内で軌跡Ｔが入力され、通過点抽出部１７２及び順序づけ部１７３で、生成する曲線を構成する部分曲線を生成するための基準点ｐ00、ｐ10、…が、上記軌跡Ｔ及び上記ベクトル場ベクトルに基づいて抽出される。さらに、ｐi1，ｐi2探査部１７４にて、上記基準点ｐ00、ｐ10、…と上記ベクトル場ベクトルに基づいて、上記基準点ｐi0、ｐi3間で上記標本点ｐi1、ｐi2が取り出され、これら点により部分曲線が形成され、部分曲線を連結して求めたい曲線が得られる。
【００８８】
以下に、曲線生成における本実施例の特徴であるところの、通過点抽出処理を説明する。図１８は、通過点抽出処理のフローチャートである。
【００８９】
この図１８において、いわゆるＦＯＲループ１８１では輪郭候補小領域数Ｋの回数分の繰り返し処理を、またＦＯＲループ１８１内のＦＯＲループ１８２では第ｋの輪郭候補小領域Ａk に対応する輪郭候補小領域の画素数Ｌk の回数分の繰り返し処理を行っており、全ての輪郭候補小領域Ａk について、輪郭候補小領域Ａk 中の各画素位置Ａklのグラディエント強度Ｇ[Ａkl]を調べ、それが最大となる画素位置を通過点ｐk0とする。
【００９０】
すなわち、上記ＦＯＲループ１８２内では、ステップＳ１８３において、上記グラディエント強度Ｇ[Ａkl]の絶対値をｇとし、次のステップＳ１８４で、この値ｇが現在までの最大値ｇmax より大きいか否かを判別し、ＹesのときのみステップＳ１８５に進んで、今回のｇをｇmax とし、このときの画素位置Ａklを上記通過点ｐk0としている。
【００９１】
このような曲線生成方法は、上述した図１７に示すような、グラディエントベクトル場の大きさが大きいところを通過する曲線を生成することができる曲線生成方法の技術に対し、曲線探査に必要なベクトル場上の通過点列を自動的に抽出する手段を備えるものである。すなわち本発明の実施例は、輪郭候補領域内のグラディエントベクトル場上に曲線を生成する処理において、現フレームの推定輪郭に対し、上記図５と共に説明した技術の特徴点抽出を行い、現フレームの推定輪郭上の特徴点位置に従って輪郭候補領域を小領域に分割し、その小領域ごとに輪郭が通過する点を抽出する。これによって、小領域の配置する順に順序づけされた通過点列が得られ、グラディエントベクトル場ベクトルの大きさが大きいところを通過する曲線を、上記図１７の技術による３次スプライン曲線生成処理によって生成することができる。上記図５の技術の特徴点抽出は、輪郭の屈曲点を抽出するものである。一方、上記図１７の技術の曲線生成は、通過点ごとに３次スプライン曲線が生成される。したがって、特徴点ごとに対応する３次スプラインセグメントが生成できれば、輪郭上の目立った形状を再現できることが保証される。また、屈曲箇所とスプラインセグメントが１対１で対応するので、形状の複雑さによって、セグメント数が必要以上に多過ぎたり、足りなかったりすることがない。
【００９２】
以上説明したような本実施例の領域抽出方法の効果について、図１９を参照しながら説明する。
【００９３】
この図１９は、ある動画像に対し本実施例を適用した結果を明瞭化するために簡略化して図示したものである。
【００９４】
図１９の（ａ）〜（ｄ）は、動画像の連続した４フレーム分を、主要な物体の輪郭を線画にして図示したものである。図９の（ｅ）〜（ｈ）は、本実施例を適用することにより抽出された対象物のマスクあるいはシルエット画像である。この例では、画像中央の物体ｏｂｊを対象物としている。
【００９５】
この図１９の（ａ）〜（ｄ）に示されるように、対象物ｏｂｊの輪郭はそれ以外の複数の物体と接しているので、輪郭のもつ特徴は単純ではない。このような任意の前景、背景の組み合わせをもつ輪郭であっても、本実施例では領域抽出を行わせることができる。この結果が示すように、本実施例は動画像の対象物領域を自動的に抽出することを実現する技術である。
【００９６】
【発明の効果】
本発明に係る領域抽出方法及びその装置によれば、入力動画像の前フレームでの対象物輪郭の軌跡が与えられたときに、前−現フレーム間で輪郭の動きベクトルを推定することによって、現フレーム上で輪郭の推定位置である推定輪郭を求め、この推定輪郭の周囲の画素を含む輪郭が存在する可能性のある領域である輪郭候補領域を現フレーム上で決定し、この輪郭候補領域において濃度値のグラディエントベクトル場を求め、このグラディエントベクトル場中のベクトルの大きさが大きいところを通過するように閉曲線を生成し、その軌跡を現フレームにおける対象物輪郭としていることにより、対象物輪郭の追従性を高め、輪郭の修正を容易化し、領域抽出結果の向上を実現することができる。
【００９７】
すなわち本発明は、前フレームでの対象物輪郭の軌跡が与えられたときに、前−現フレーム間で輪郭の動きベクトルを推定することによって、現フレーム上で輪郭の推定位置、すなわち推定輪郭を求め、推定輪郭の周囲の画素を含む輪郭が存在する可能性のある領域、すなわち輪郭候補領域を現フレーム上で決定し、輪郭候補領域において濃度値のグラディエントベクトル場を求め、そのグラディエントベクトル場中のベクトルの大きさが大きいところを通過するように閉曲線を生成し、その軌跡を現フレームにおける対象物輪郭とする処理を行う。これによって、前−現フレーム間で輪郭が大きく移動した時や、その動きの方向が急激に変化した場合にも追従できる。また、各フレームの輪郭はパラメトリックな曲線で記述されるので、処理後の修正を容易にすることが出来る。
【００９８】
また、本発明は、輪郭部の動きベクトル推定処理に効果的な３つの動きベクトル推定技術の組み合わせ方法を与え、これらの技術を組み合わせることにより、それぞれの効果によってさらに良い結果を得ることを実現する。
【００９９】
また本発明は、現フレーム上で輪郭候補領域を求める処理において、前フレームの輪郭上のブロックと、それに対応する現フレームの推定輪郭上のブロックとの間の平均２乗誤差を対象物色と背景色との差で規格化した値を求める。これによって、現フレーム上での真の輪郭と推定輪郭のずれの大きさを見積もる処理を行う。これによって、現フレームの推定輪郭の周囲に形成する輪郭候補領域の太さを調節し、必要以上に領域が大きくなり、無駄な処理が増えるのを防ぐ。
【０１００】
すなわち、本発明に係る領域抽出方法及びその装置によれば、動画像からの対象物領域抽出処理技術において、従来技術のフレーム間の追従性能、修正の容易さ、輪郭形状の正確さの問題を解決し、領域抽出結果の向上を実現することができる。
【図面の簡単な説明】
【図１】本発明の領域抽出方法が適用される実施例の概略構成を示すブロック図である。
【図２】本発明の領域抽出装置が適用される画像処理装置の全体の概略構成を示すブロック図である。
【図３】図１の動きベクトル推定処理部の第１の具体例を示すブロック図である。
【図４】図１の動きベクトル推定処理部の第２の具体例を示すブロック図である。
【図５】図１の動きベクトル推定処理部の第３の具体例を示すブロック図である。
【図６】図１の動きベクトル推定処理部の第４の具体例を示すブロック図である。
【図７】図１の輪郭候補領域決定処理部の具体例を示すブロック図である。
【図８】図７の輪郭候補領域決定処理の一例を説明するためのフローチャートである。
【図９】図８中のNRMSE の計算方法の一例を示すフローチャートである。
【図１０】図１のグラディエント計算処理部の具体例を示すブロック図である。
【図１１】図１０のエッジ検出処理部の第１の具体例を示すブロック図である。
【図１２】図１０のエッジ検出処理部の第２の具体例を示すブロック図である。
【図１３】グラディエント計算における領域分割処理の動作を説明するためのフローチャートである。
【図１４】エッジ検出情報を得る処理を説明するためのフローチャートである。
【図１５】エッジ検出処理の図１１、図１２に示す具体例を組み合わせて行う処理を示すブロック図である。
【図１６】図１の曲線生成処理部の一例を示すブロック図である。
【図１７】曲線生成方法が適用される構成の具体例を示すブロック図である。
【図１８】通過点処理を説明するためのフローチャートである。
【図１９】本実施例の効果を説明するための図である。
【符号の説明】
１１  動きベクトル推定処理部
１２  輪郭候補領域決定処理部
１３  グラディエント計算処理部
１４  曲線生成処理部
２１  ＣＰＵ（中央演算処理装置）
２２  外部記憶手段
２３  入力手段
２４  表示手段
２５  バスライン
３１  マッチング演算処理部
３２  動きベクトル演算処理部
４１、４２、６１、６２、６３  階層化処理部
４３〜４６  ブロックマッチング処理部
４８、４９  平滑化処理部
５１  動きベクトル推定処理部
５２  特徴点抽出処理部
【図１】
0003716455.tif 000003
【図２】
0003716455.tif 000004
【図３】
0003716455.tif 000005
【図４】
0003716455.tif 000006
【図５】
0003716455.tif 000007
【図６】
0003716455.tif 000008
【図７】
0003716455.tif 000009
【図８】
0003716455.tif 000010
【図９】
0003716455.tif 000011
【図１０】
0003716455.tif 000012
【図１１】
0003716455.tif 000013
【図１２】
0003716455.tif 000014
【図１３】
0003716455.tif 000015
【図１４】
0003716455.tif 000016
【図１５】
0003716455.tif 000017
【図１６】
0003716455.tif 000018
【図１７】
0003716455.tif 000019
【図１８】
0003716455.tif 000020
【図１９】
0003716455.tif 000021