(57)【要約】【課題】対象動物体の動きがＡｆｆｉｎｅ変形で表現できない場合や、背景映像中に強いエッジが存在する場合でも、対象動物体の輪郭を動画像中から得る。【解決手段】対象動物体の輪郭を動画像中から得る画像処理方法において、対象動物体の初期の輪郭を生成する初期輪郭生成工程１０１と、輪郭の動きを追跡するための複数領域を対象動物体の前記初期輪郭の内部に設定する追跡領域設定工程１０２と、前記追跡領域の動きを推定する追跡領域動き推定工程１０３と、推定された追跡領域の動きをもとに輪郭を変形する輪郭変形工程１０４で構成される。【選択図】　図１
2004062271.tif 000002
【特許請求の範囲】
【請求項１】
動画像中の所定フレームにおける対象動物体の画像の初期輪郭を生成する初期輪郭生成工程と、前記初期輪郭の周辺の前記対象動物体の内部領域に、前記初期輪郭の動きを追跡するための領域を設定する追跡領域設定工程と、前記所定フレームに後続するフレームにおける対象動物体の画像を参照して前記追跡領域の移動先を表わす動きベクトルを推定する追跡領域動き推定工程と、当該推定された動きベクトルをもとに前記対象動物体の画像の初期輪郭を変形する輪郭変形工程を備えることを特徴とする画像処理方法。
【請求項２】
前記追跡領域動き推定工程において、各追跡領域の動き推定結果の前記動きベクトルの信頼度を算出し、前記輪郭変形工程において前記推定された動きベクトルと前記算出された信頼度をもとに対象動物体の画像の初期輪郭を変形することを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記追跡領域動き推定工程における動き推定方法として、参照画像の追跡領域と入力画像の探索範囲内での追跡候補領域との残差誤差分布を算出し、前記残差誤差分布をもとに重み付き最小２乗推定法によって追跡領域の動きベクトルを推定し、前記推定された動きベクトルの共分散行列の固有値を推定された動きの信頼度として用いることを特徴とする請求項２記載の画像処理方法。
【請求項４】
前記輪郭変形工程において、前記追跡領域動き推定工程で算出された動きベクトルの信頼度が高い動きを用いて、前記対象動物体の画像の初期輪郭を変形することを特徴とする請求項２記載の画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、対象動物体の輪郭を動画像中から得るための画像処理方法に関する。
【０００２】
【従来の技術】
対象動物体の輪郭を動画像中から得る技術は、得られた輪郭をもとに動物体を動画像中から切り出して別の動画像に合成して加工する映像編集やＷｅｂページのコンテンツ作成に利用されたり、動画像中の動物体に関連情報（名前，値段など）を付与してユーザーが動画像中の動物体をポインティングすれば関連情報を提示するような映像を制作するためのアンカー領域の指定などに利用される。
【０００３】
また、動画像圧縮の国際規格であるＭＰＥＧ−４においては、文献１「ＭＰＥＧ−４　ｓｔａｎｄａｒｄｉｚｅｄ　ｍｅｔｈｏｄｓ　ｆｏｒ　ｔｈｅ　ｃｏｍｐｒｅｓｓｉｏｎ　ｏｆ　ａｒｂｉｔｒａｒｉｌｙ　ｓｈａｐｅｄ　ｖｉｄｅｏ　ｏｂｊｅｃｔｓ」　Ｎ．　Ｂｒａｄｙ（ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｃｉｒｃｕｉｔｓ　ａｎｄ　Ｓｙｓｔｅｍｓ　ｆｏｒ　Ｖｉｄｅｏ　Ｔｅｃｈｎｏｌｏｇｙ，　ｖｏｌ．　９，　ｎｏ．　８，　ｐｐ．　１１７０−１１８９，　Ｄｅｃｅｍｂｅｒ　１９９９）のように、物体毎にデータを符号化するオブジェクト符号化の機能が採用されており、符号化する前のオブジェクトデータの作成に、対象動物体の輪郭を動画像中から得る技術は用いられる。
【０００４】
この技術の具体的なアルゴリズムの一つとして、Ａｆｆｉｎｅ変形推定を用いた物体追跡手法（文献２「映像領域追跡方法および装置」　金子、堀、特開２０００−１３２６９１）がある。これは、フレーム間での対象動物体の変形が、拡大縮小、回転、平行移動から成るＡｆｆｉｎｅ変形であると仮定して、このＡｆｆｉｎｅ変形を表すＡｆｆｉｎｅパラメータを推定して物体の輪郭を追跡する手法である。
【０００５】
本手法について、図６を用いて説明する。参照画像に対してユーザの手入力によって初期輪郭を指定し、図６（Ａ）のように追跡に効果的な有限個の特徴点のみを選択する。特徴点選択は、参照物体領域において、定められた間隔で特徴点候補を格子状に配置して、特徴点候補を中心に定められた大きさのブロック（例えば８×８画素）を決め、特徴点候補を中心に、周囲領域においてブロックマッチングを行い、周囲領域のブロックマッチングから得られた類似度が低い、つまり、処理画像との追跡を行う際のブロックマッチング誤り（追跡誤り）の起こりにくいと判断される特徴点候補を選択する。続いて、図６（Ｂ）のように、参照画像に配置された特徴点を中心としたブロックと処理画像とでブロックマッチングを行い、移動ベクトルを推定する。一般に、これら移動ベクトルには外れ値が含まれている。よって、ロバスト推定により物体の変形を表すＡｆｆｉｎｅパラメータを推定し、このＡｆｆｉｎｅパラメータを用いて初期輪郭にＡｆｆｉｎｅ変形を施し、図６（Ｃ）のように、処理画像での対象動物体の輪郭を得ることができる。
【０００６】
また、従来の技術の一つとして、自己相似写像を用いた輪郭補正手法（文献３「物体抽出装置」三本杉、渡邊、井田、特開２０００−８２１４５）を用いて、対象動物体の輪郭を動画像中から得ることも可能である。本手法は、輪郭線付近の画像情報の自己相似写像を用いることによって、処理画像中の人物上半身の形とはややずれた初期輪郭を、より精度良く修正する技術である。例えば、動画像中における前フレームの対象動物体の輪郭を、現フレームの初期輪郭として現フレームの輪郭付近の画像情報をもとに修正処理を施したり、前記、Ａｆｆｉｎｅ変形推定を用いた物体追跡手法によって求めた対象動物体の輪郭を初期輪郭として修正処理を施すことによって、対象動物体の輪郭を動画像中から求めることができるようになる。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述したＡｆｆｉｎｅ変形推定を用いた物体追跡手法では、推定されたＡｆｆｉｎｅパラメータによって輪郭の変形推定を行うために、前フレームにおける対象動物体から現フレームにおける対象動物体への変形がＡｆｆｉｎｅ変形で近似できない場合には正しい輪郭を得ることができないという問題があった。
【０００８】
例えば、前フレームでの輪郭に対して前フレームと現フレームでのＡｆｆｉｎｅ変形推定を行い、前フレームの輪郭に対してＡｆｆｉｎｅ変形を施した場合、対象動物体がＡｆｆｉｎｅ変形で表現できない変形をするため、正しく輪郭を得ることができない。
【０００９】
また、自己相似写像を用いた輪郭補正手法では、初期輪郭をもとに、現フレームにおける強いエッジに輪郭を補正しようとするので、背景に強いエッジが存在する場合は、背景エッジを誤検出するという問題があった。
【００１０】
本発明では上記のような従来技術の欠点を除去し、対象動物体の動きがＡｆｆｉｎｅ変形で表現できない場合や、背景映像中に強いエッジが存在する場合でも、対象動物体の輪郭を動画像中から得ることを目的とするものである。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、本発明においては、動画像中の所定フレームにおける対象動物体の画像の初期輪郭を生成する初期輪郭生成工程と、前記初期輪郭の周辺の前記対象動物体の内部領域に、前記初期輪郭の動きを追跡するための領域を設定する追跡領域設定工程と、前記所定フレームに後続するフレームにおける対象動物体の画像を参照して前記追跡領域の移動先を表わす動きベクトルを推定する追跡領域動き推定工程と、当該推定された動きベクトルをもとに前記対象動物体の画像の初期輪郭を変形する輪郭変形工程を備えることを特徴とする画像処理方法を提供する。
【００１２】
また本発明においては、前記追跡領域動き推定工程において、各追跡領域の動き推定結果の前記動きベクトルの信頼度を算出し、前記輪郭変形工程において前記推定された動きベクトルと前記算出された信頼度をもとに対象動物体の画像の初期輪郭を変形することを特徴とする。
【００１３】
また本発明においては、前記追跡領域動き推定工程における動き推定方法として、参照画像の追跡領域と入力画像の探索範囲内での追跡候補領域との残差誤差分布を算出し、前記残差誤差分布をもとに重み付き最小２乗推定法によって追跡領域の動きベクトルを推定し、前記推定された動きベクトルの共分散行列の固有値を推定された動きの信頼度として用いることを特徴とする
また本発明においては、前記輪郭変形工程において、前記追跡領域動き推定工程で算出された動きベクトルの信頼度が高い動きを用いて、前記対象動物体の画像の初期輪郭を変形することを特徴とする。
【００１４】
このように構成された本発明においては、対象動物体内部の複数の領域の動きをもとに対象動物体の輪郭を変形するので、対象動物体の動きがＡｆｆｉｎｅ変形で表現できない場合や、背景映像中に強いエッジが存在する場合でも、対象動物体の輪郭を動画像中から得ることができる。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１実施形態）
図１は、本発明の第１実施形態の画像処理方法の処理の流れを示すフローチャートである。図１において、１０１は対象動物体の初期の輪郭を生成する初期輪郭生成工程、１０２は輪郭の動きを追跡するための複数領域を対象動物体の前記初期輪郭の内部に設定する追跡領域設定工程、１０３は追跡領域の動きを推定する追跡領域動き推定工程、１０４は推定された追跡領域の動きをもとに輪郭を変形する輪郭変形工程である。
【００１６】
まず、はじめに、初期輪郭生成工程１０１では、これから動画像中の輪郭を生成していく対象動物体の初期の輪郭を生成する。初期輪郭の生成方法は、マウスやペンタブレットなどを用いてユーザのマニュアル操作で対象動物体の輪郭を入力するマニュアル法、特開２００１−１４４７７「画像輪郭線抽出装置」のようにユーザがマニュアル法によって大まかな輪郭を入力してその輪郭を自動的に修正する手法、予め対象動物体の撮影されていない背景画像を取得しておき背景画像と動画像との差分によって対象動物体の輪郭を求める背景差分法、異なるフレーム間での差分を取り差分誤差の大きな領域を２値化処理して物体領域のみを切り出す方法など、何らかの手法を用いて、対象動物体の初期の輪郭を求める。これらの初期輪郭生成方法により、例えば、図２（Ａ）のような動画像中のあるフレームの対象動物体（被写体人物の正面画）に対して、初期輪郭を生成した様子が、図２（Ｂ）である。ここでは、初期輪郭情報は、被写体人物の正面画像の輪郭を取り囲む一定間隔の黒点（以降、制御点と呼ぶ）の列によって表現されている。
【００１７】
次に、追跡領域設定工程１０２において、輪郭の動きを追跡するための複数領域を対象動物体の初期輪郭の内部に設定する。ここでは、追跡領域を正方ブロックとして、そのブロックの中心点を追跡点と呼んで説明する。本発明の目的は、前記設定した初期輪郭情報である制御点の列を、画像の動きに応じて正しく変形させることであるので、追跡点を被写体人物の画像の輪郭近傍の内部領域に配置する。例えば、図３に示すように、初期輪郭と、初期輪郭から一定距離だけ内部領域にある帯状領域内に、追跡点を一定間隔で格子状に配置する。ここで、初期輪郭は制御点の点（黒点）列として表現されており、複数の追跡領域であるブロックの中心点が×印の追跡点として格子状に対象物体内部に設定されている。これによって、輪郭の動きを追跡するための複数領域を対象動物体の内部に設定できる。
【００１８】
なお追跡領域設定工程１０２の説明では、対象動物体画像の初期輪郭の内部に、格子状に追跡点を配置して、追跡点を中心としたブロックを追跡領域としたが、初期輪郭の内部であり、輪郭付近に配置されれば、格子状に追跡点を配置する必要はなく、従来の技術の文献２「映像領域追跡方法および装置」　金子、堀、特開２０００−１３２６９１で説明したような手法を用い、予め追跡に適した点を選択して追跡点を配置してもよい。また、追跡領域はブロックでなく、円形領域や、初期画像を画像処理によって領域分割して生成する任意の形状の分割領域であってもよい。
【００１９】
続いて、追跡領域動き推定工程１０３において、前記設定された追跡領域の動きを推定する。ここでは、文献４（Ａｊｉｔ　Ｓｉｎｇｈ，　”Ａｎ　ｅｓｔｉｍａｔｉｏｎ−ｔｈｅｏｒｅｔｉｃ　ｆｒａｍｅｗｏｒｋ　ｆｏｒ　ｉｍａｇｅ−ｆｌｏｗ　ｃｏｍｐｕｔａｔｉｏｎ，”　Ｐｒｏｃｅｅｄｉｎｇ　ｏｆ　　３ｒｄ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，　ｐｐ．１６８−１７７，　１９９０）に示されている重み付き最小２乗推定法を説明する。前記、複数の追跡点を設定した画像を参照画像として画像Ｉ１、追跡点の移動先を求める次フレームの画像を入力画像Ｉ２とする。画像Ｉ１内のある追跡点Ｐ１（ｘ、ｙ）の画像Ｉ２内の移動先Ｐ２（ｘ＋ｕｃ、ｙ＋ｖｃ）への動きベクトル（ｕｃ、ｖｃ）を求めることを考える。追跡点を中心としたブロックの大きさを（２ｎ＋１）×（２ｎ＋１）画素の領域、参照画像内での探索範囲を（２Ｎ＋１）×（２Ｎ＋１）画素の領域とする。
【００２０】
まず、ブロックマッチングの残差誤差分布Ｅ（ｕ、ｖ）を求める。ｕ、ｖそれぞれを、−Ｎ≦ｕ、ｖ≦＋Ｎの範囲で変化させて、それぞれの場合の残差を、
【００２１】
【数１】
2004062271.tif 000003
【００２２】
と変換する。ここで、ｋは残差を確率に変換する際のパラメータであり、相応しいｋを試行錯誤的に算出する。例えば白黒画像（データ長８ｂｉｔ、２５６階調）で追跡領域のサイズを９×９画素の正方ブロックとした場合の最適なｋの値はおよそ１０−３程度となる。
【００２３】
続いて、重み付き最小２乗推定法によって、動きベクトルの推定値（ｕｃ、ｖｃ）を、
【００２４】
【数２】
2004062271.tif 000004
【００２５】
として推定できる。以上によって、ある追跡点の動きベクトル（ｕｃ、ｖｃ）を算出することができた。本手法によって、ノイズや偶然の一致による動きの誤推定の減少が期待される。
【００２６】
また、推定誤差が平均値ゼロの独立かつ加法的なものであるとする仮定をおくと、上記推定の共分散行列は、
【００２７】
【数３】
2004062271.tif 000005
【００２８】
となり、推定された動きベクトル（ｕｃ、ｖｃ）の信頼度を、この共分散行列Ｓｃの二つの固有値σ１、σ２と定める．固有値σ１、σ２の大きさが小さければ、推定された動きベクトル（ｕｃ、ｖｃ）の信頼性は高く、また、固有値σ１、σ２の大きさが大きければ、推定された動きベクトル（ｕｃ、ｖｃ）の信頼性は低くなる。図４は、重み付け最小２乗推定法によって動き推定を行った様子を示す図である。図４において、推定された動きの先を示す追跡点が描かれており、図中、動き推定の信頼度が高い追跡点（△で示す）、動き推定の信頼度が低い点（×で示す）である。以上によって、対象動物体の内部の追跡領域の動きを推定することができる。
【００２９】
前記、追跡領域動き推定工程１０３の説明では、重み付き最小２乗推定法による動き推定を用いたが、参照画像と入力画像間でのある領域の動きを推定する方法であれば、一般的な残差２乗和法、残差絶対値和法、正規化相関法、対象動物体のカラーヒストグラムのヒストグラムインターセクションを利用した色交差法（文献５：Ｍ．　Ｊ．　Ｓｗａｉｎ　ａｎｄ　Ｄ．　Ｈ．　Ｂａｌｌａｒｄ，　”Ｃｏｌｏｒ　Ｉｎｄｅｘｉｎｇ，”　ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，　Ｖｏｌ．　７，　Ｎｏ．　１，　ｐｐ．１１−３２，　１９９１）、画像パターンの増減符号を用いてパターン照合を行う増分符号化法（文献６：村瀬、金子、五十嵐、「増分符号相関によるロバスト画像照合」、電子情報通信学会論文誌、Ｄ−ＩＩ、Ｖｏｌ．　Ｊ８３−Ｄ−ＩＩ、Ｎｏ．　５、ｐｐ．　１３２３−１３３１、Ｍａｙ　２０００）など、何らかの手法を用いて動きを推定すれば良い。
【００３０】
最後に、輪郭変形工程１０４において、推定された追跡領域の動きをもとに輪郭を変形する。ここでは、例えば、信頼度が高い追跡点（図４における△の点）で，かつ，最も制御点（図３における黒点）と距離が近い追跡点の動きを、制御点の動きとして制御点を移動させる。その結果が図４における制御点（黒点）の列になる。
【００３１】
以上によって、参照画像での制御点を移動することによって、変形後の画像において入力画像での制御点列の位置を求めることができた。また、制御点の動きを、ここで、説明した高信頼度（σ１≦σｔｈかつσ２≦σｔｈ（σｔｈは所定のしきい値））で，最も距離が近い追跡点の動きを適用するだけでなく、
・制御点のある近傍で最も信頼度が高い点の動きを適用する。
・制御点のある近傍の高信頼度（σ１≦σｔｈかつσ２≦σｔｈ）の点での距離に応じたベクトル平均を適用する。
・制御点のある近傍での信頼度に応じたベクトル平均を適用する。
・制御点からの距離と信頼度に応じたベクトル平均を適用する。
といった手法でも、輪郭変形工程１０４は、制御点を移動して輪郭を変形することができる。
【００３２】
以上によって、参照画像である初期画像の初期輪郭を変形して、入力画像での対象動物体の輪郭を得ることができた。続いて、図１に示すように、入力画像が終了フレームかどうか判定して、終了フレームであれば処理を終了し、終了フレームでなければ、今までの入力画像を参照画像に設定し、次フレームを入力画像として入力して、追跡領域設定工程１０２に戻る。追跡領域設定工程においては、初めと同じく、再び、初期輪郭と、初期輪郭から一定距離だけ内部にある帯状領域内に、追跡領域であるブロックを格子状に配置しても良いし、ひとつ前のフローで求めた動き推定によって移動した追跡点の位置に追跡領域を設定しても良い。
【００３３】
以上のように対象動物体内部の複数の領域の動きをもとに対象動物体の輪郭を変形することによって、対象動物体の動きがＡｆｆｉｎｅ変形で表現できない場合や、背景映像中に強いエッジが存在する場合でも、対象動物体の輪郭を動画像中から得ることができる。
（第２実施形態）
図５は、本発明の第２実施形態の画像処理方法の処理の流れを示すフローチャートである。図５においては、図１における輪郭変形工程１０４が、輪郭生成工程５０４と、輪郭修正工程５０５から成り立っている。第１実施形態で説明した画像処理方法による輪郭生成では、フレーム数が進むに連れて、追跡点の動き推定の量子化誤差（０〜１画素）や、信頼度の高い追跡点の動きに基づく制御点の動き推定誤差（数画素）が蓄積されてきて、生成される輪郭の精度が徐々に低下してくる。そこで、制御点が背景エッジに引き寄せら続けない程度に輪郭線エッジ情報を用いて各フレーム内で制御点位置を補正することを考える。
【００３４】
まず、輪郭生成工程５０４において、第１実施形態の図１での輪郭変形工程の方法で輪郭を生成する。続いて、輪郭修正工程５０５において、従来の技術で説明した自己相似写像を用いた輪郭補正手法（文献３「物体抽出装置」三本杉、渡邊、井田、特開２０００−８２１４５）を用いて、入力画像情報をもとに輪郭の修正処理を行う。ここでは、輪郭生成工程５０４においてほぼ正確な輪郭が生成されているので、非常に弱い補正範囲（０〜４画素程度）の輪郭補正処理を行えばよい。これによって、背景の強いエッジを誤検出することなく、かつ、誤差の蓄積を防ぎながら対象動物体の輪郭を動画像中から得ることができる。
【００３５】
以上のように対象動物体内部の複数の領域の動きをもとに生成された輪郭をもとに自己相似写像を用いた輪郭修正を施すことによって、更に精度良く長いフレームに渡り、対象動物体の輪郭を動画像中から得ることができる。
【００３６】
【発明の効果】
以上説明したように、本発明の画像処理方法によれば、対象動物体の初期の輪郭を生成し、輪郭の動きを追跡するための複数領域を対象動物体の前記初期輪郭の内部に設定し、追跡領域の動きを推定し、推定された追跡領域の動きをもとに輪郭を変形することによって、対象動物体の動きがＡｆｆｉｎｅ変形で表現できない場合や、背景映像中に強いエッジが存在する場合でも、対象動物体の輪郭を動画像中から得ることができる。
【図面の簡単な説明】
【図１】第１実施形態の画像処理方法の処理の流れを示すフローチャート。
【図２】初期輪郭の生成の様子を示す図。
【図３】追跡領域の設定の様子を示す図。
【図４】追跡領域の動き推定の様子を示す図。
【図５】第２実施形態の画像処理方法の処理の流れを示すフローチャート。
【図６】従来技術の一つであるＡｆｆｉｎｅ変形推定を用いた物体追跡手法を示す図。
【符号の説明】
１０１　初期輪郭生成工程
１０２　追跡領域設定工程
１０３　追跡領域動き推定工程
１０４　輪郭変形工程
５０１　初期輪郭生成工程
５０２　追跡領域設定工程
５０３　追跡領域動き推定工程
５０４　輪郭生成工程
５０５　輪郭修正工程
【図１】
2004062271.tif 000006
【図２】
2004062271.tif 000007
【図３】
2004062271.tif 000008
【図４】
2004062271.tif 000009
【図５】
2004062271.tif 000010
【図６】
2004062271.tif 000011