(57)【特許請求の範囲】
【請求項１】
動画像中の背景領域と動オブジェクト領域の境界付近でそれらのいずれの領域に属するか曖昧な未確定領域を、時空間watershed 法により前記背景領域と前記動オブジェクト領域のいずれか一方に属させるように判定する領域判定手段を備え、
前記領域判定手段は、
連続する複数のフレーム画像にわたる所定の画素領域の画素のうち、所定のフレーム画像の未確定領域内の画素を処理対象画素として設定する手段と、
前記複数のフレーム画像にわたる時空間を含むエッジ強度を、前記複数のフレーム画像の画素領域を構成する全ての画素に設定する手段と、
前記複数のフレーム画像にわたる画素領域内で、未確定領域を除く画素のうち、最も小さいエッジ強度を有する画素を抽出する手段と、
前記抽出した画素が、背景領域又は動オブジェクト領域のいずれに属しているかを判定する手段と、
該判定結果により、前記処理対象画素を、前記処理対象画素に時空間で隣接する近傍画素のうち、前記未確定領域に含まれず、且つ、前記エッジ強度が最も小さい画素が属する、背景領域又は動オブジェクト領域のいずれかの画素として設定する手段とを有することを特徴とする動オブジェクト抽出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像信号処理装置に係り、とくに動画像から動オブジェクトを抽出する動オブジェクト抽出装置に関するものである。
【０００２】
【従来の技術】
動画像から動いている部分、すなわち動オブジェクトを抽出する方法の一つに、背景となる画像と入力動画像との差分を動オブジェクトとする手法がある。
具体的な方法として、処理対象の動画像から背景となる画像を作成したうえで差分をとる方法がある（境田、金次、「背景差分による動オブジェクト抽出手法の検討」、信学総大、Ｄ−１１−１１３，１９９９を参照）。これは、長時間にわたる動画像を時間方向に統計処理して背景となる画像を生成するもので、背景に相当する静止画像部分は時間方向の輝度ヒストグラムにおいて頻度が最も高くなることを利用している。
【０００３】
しかし、撮影時の照明条件の変動によっては必ずしもヒストグラムの最頻値のみが背景になるという保証はないので、最頻値を含み最頻値近傍にある範囲を設け、その範囲内の画素であるときのみ背景となる画像とする。動オブジェクトは、逆に、その最頻値近傍のさらに外側に定めたある範囲内の画素とする。ここまでの処理で、背景や動オブジェクトとされた画素とは別に、背景と動オブジェクトのどちらにも判別されない画素も残る。この部分を未確定領域として、後述するwatershed 法を用いてフレーム画像内で背景となる画素か動オブジェクトかに分類する。
【０００４】
ここで、watershed 法の適用はフレーム画像内に限定されるので、最終的に抽出された動オブジェクトは時間方向、すなわちフレーム間での連続性が考慮されておらず、そのため、動画像として見たときにオブジェクトの輪郭ががたついて見えることがある。
また、この方法においては、ドリー、パン、ズームなど撮影時のカメラの移動ないしカメラの動きは無いか、あるいは、前処理によって補償済みであると仮定している。
【０００５】
なお、watershed 法は、１枚のフレーム画像、すなわち静止画像内でのオブジェクト抽出手法によく用いられる領域成長法である。特に、マーカ付きwatershed 法は単純なwatershed 法に比べて計算量を削減できるため利用されることが多い。文献（苗村、水谷、和泉、「スポーツ番組における事前知識情報を用いたモルフォロジカルセグメンテーション」、映像メディア処理シンポジウム、Ｉ−３．１５，１９９７）は、watershed 法のためのマーカ選択方法を提案している。これは、スポーツシーンの場合のグラウンドの芝の色や選手のユニフォームの色を代表領域として予め人手により抽出して、その色範囲をヒストグラムに利用してマーカを決定する方法である。
【０００６】
【発明が解決しようとする課題】
上述したように、動画像中の背景領域と動オブジェクト領域の境界付近でそれらのいずれの領域に属するか曖昧な未確定領域を、フレーム画像内でwatershed法を用いて背景となる画素か動オブジェクトかのいずれに属するかを判定したのでは、フレーム間の連続性が考慮されていないため、動画像中のオブジェクトの輪郭ががたついて見えることがあるという解決すべき課題があった。
【０００７】
本発明の目的は、動画像から動オブジェクトを抽出する動オブジェクト抽出装置において、抽出されたオブジェクトの輪郭ががたついて見えることのないようにすることにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明動オブジェクト抽出装置は、動画像中の背景領域と動オブジェクト領域の境界付近でそれらのいずれの領域に属するか曖昧な未確定領域を、時空間watershed 法により前記背景領域と前記動オブジェクト領域のいずれか一方に属させるように判定する領域判定手段を備え、前記時空間watershed 法による領域判定手段は、連続する複数のフレーム画像にわたる所定の画素領域の画素のうち、所定のフレーム画像の未確定領域内の画素を処理対象画素として設定する手段と、前記複数のフレーム画像にわたる時空間を含むエッジ強度を、前記複数のフレーム画像の画素領域を構成する全ての画素に設定する手段と、前記複数のフレーム画像にわたる画素領域内で、未確定領域を除く画素のうち、最も小さいエッジ強度を有する画素を抽出する手段と、前記抽出した画素が、背景領域又は動オブジェクト領域のいずれに属しているかを判定する手段、該判定結果により、前記処理対象画素を、前記処理対象画素に時空間で隣接する近傍画素のうち、前記未確定領域に含まれず、且つ、前記エッジ強度が最も小さい画素が属する、背景領域又は動オブジェクト領域のいずれかの画素として設定する手段とを有することを特徴とするものである。
【０００９】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
図１は、本発明動オブジェクト抽出装置の一実施形態をブロック図にて示している。
図１において、１は未確定領域抽出回路、２は第１メモリ、３は第２メモリ、４は時空間エッジ画像抽出回路、５は第３メモリ、６は第４メモリ、および７は時空間画像領域成長回路である。
また、図２は、動画像中の背景領域、動オブジェクト領域および未確定領域を示している。
【００１０】
動作について説明する。
まず、動画像信号が未確定画像領域抽出回路１と第１メモリ２とに供給される。また、未確定領域抽出回路１には、上記のほか、図示のように、背景領域信号および動オブジェクト領域信号も供給される。
ここで、背景領域信号および動オブジェクト領域信号は、従来技術の説明において参照した文献（境田、金次、「背景差分による動オブジェクト抽出手法の検討」、信学総大、Ｄ−１１−１１３，１９９９）によって自動的に生成されたものを用いることができるが、他の方法として、人がその都度指定したものでもよい。
【００１１】
未確定領域抽出回路１は、背景領域と動オブジェクト領域が占める領域以外の動画像中の領域を未確定領域（未確定領域信号）として出力する。未確定領域信号は、第２メモリ３において複数フレーム分（以下に説明する実施形態では、３フレーム分）蓄えられ、複数フレーム未確定領域信号Ａ（図１参照）となって時空間画像領域成長回路７に供給される。
【００１２】
一方、上記第１メモリ２には、画像信号の複数（上記第２メモリ３と同数の（３フレーム分の））フレームが蓄えられ、複数のフレーム画像信号が出力される。この複数フレーム画像信号は、次段の時空間エッジ画像抽出回路４に送られ、その時空間エッジ画像抽出回路では、複数フレーム画像信号から時空間エッジ画像信号Ｂ（図１参照）を抽出して出力する。ここで、時空間エッジ画像信号は、２次元平面のフレーム画像内でのエッジ抽出手法、例えば、Sobel フィルタ（例えば、安居院、長尾、「画像の処理と認識」、昭晃堂発行、（１９９２年）の第３５頁から第３６頁の記載を参照）による手法を複数のフレーム間（時間方向）でも実行し、空間での計算結果に足し合わせることによって得られる。得られた時空間エッジ画像信号Ｂは時空間画像領域成長回路７に供給される。
【００１３】
第３メモリ５および第４メモリ６には、背景領域信号および動オブジェクト領域信号がそれぞれ供給され、上記第２メモリ３におけるのと同数のフレーム分の（３フレーム分の）信号（それぞれ、図１において記号Ｃ，Ｄで表記する）が蓄えられ、いずれも時空間画像領域成長回路７に供給される。
【００１４】
以上のようにして、時空間画像領域成長回路７には、複数フレーム未確定領域信号Ａ、時空間エッジ画像信号Ｂ、複数フレーム背景領域信号Ｃ、および複数フレーム動オブジェクト領域信号Ｄが供給されることになる。時空間画像領域成長回路７においては、時空間画像に拡張した watershed法により、同回路７に供給された未確定領域（複数フレーム未確定領域信号Ａ）を成長させて同領域が背景領域であるか動オブジェクト領域であるかの判定を行う。
【００１５】
ここで、通常のフレーム内watershed 法について説明する。
通常のフレーム内watershed 法は、画像を地形的な構造と見なして、その地形の標高の低い部分から水を注入し、盆地を区切る分水嶺（watersheds) にダムを仮想的に築いて領域を分ける方法である。図３に、通常のフレーム内 watershed法の例を示す。また、マーカ付きwatershed 法は処理の対象となる部分にマーカを設けて、その部分にのみ水を注入することで全ての画像に対して処理をするよりも計算時間を短縮することのできる方法である。また、地形的構造と見做す画像には画像の空間内輝度勾配であるエッジ画像を利用する。
【００１６】
これに対し、時空間watershed 法は上述のwatershed 法を拡張して、複数フレームから構成される時空間画像に対してwatershed 法を適用するものである。時空間画像は３次元画像であるため、通常のwatershed 法のように水を注入するというイメージでは説明できない。
【００１７】
図４は、時空間watershed 法の適用例を示している。なお、図４で示している例は、画像が前フレーム、当該フレームおよび次フレームの３フレームで構成される場合についてである。
図４においては、時空間エッジ画像信号Ｂの画像の上に、背景領域（複数フレーム背景領域信号Ｃ）、動オブジェクト領域（複数フレーム動オブジェクト領域信号Ｄ）、未確定領域（複数フレーム未確定領域信号Ａ）が灰色、黒色および白色でそれぞれ描かれている。時空間watershed 法による領域の成長処理を3 ×3画素の大きさの窓内で行うものとすると、例えば、図４中に太線で囲った部分が処理の対象となり、成長させる画素は３×３画素の窓の中心の画素（太線で囲った部分の中心に黒色で示す画素）となる。
【００１８】
領域の成長処理は、まず、３フレームにわたる未確定領域（白色）の各画素の中でエッジ強度（エッジレベル値）の小さい画素から順に行われる。この手続きは、ちょうど、通常のフレーム内watershed 法において地形の標高の低い部分から水を注入することに相当している。当該フレームにおける当該画素（図４中の３×３画素の窓内に黒色で示す画素）の時空間方向の近傍画素（例えば、３×３×３画素の時空間では２６画素）で、未確定領域（白色）ではない画素の中でエッジレベル値が最小の画素を探索する。
【００１９】
探索は以下のように行う。すなわち、この近傍画素が背景領域（灰色）に属していれば当該画素を背景領域に、また、動オブジェクト領域（黒色）に属していれば当該画素を動オブジェクトにそれぞれ属させる（成長させる）ものとする。どちらにも属させることができない場合には当該画素に探索済のマークをつけておき、別の近傍画素の探索時に再度探索する。この探索を未確定領域（白色）のすべての画素が背景領域か動オブジェクトのいずれかに属させるまで続ける。
【００２０】
図５は、図４中の太線で囲った部分（３×３画素の窓）を拡大して示している。なお、各画素に付されている数字（本例では、３〜９）はエッジレベル値である。
図５において、当該フレームにおけるエッジレベル値５で示される当該画素は、その当該画素の時空間近傍２６画素のうちで、未確定領域でなく、エッジレベル値の最も小さいものは左下の背景領域の画素（エッジレベル値３）であるので、当該画素を背景領域に属させるものとする。
【００２１】
図４に白色で示す全ての未確定領域の画素について領域の成長を行わせ、それら未確定領域の画素が背景領域と動きオブジェクトのいずれかに属するようになると、領域の成長により新たに属するようになった動きオブジェクトを含め、図１に示す時空間画像領域成長回路７からがたついて見えないオブジェクト（動オブジェクト信号）が出力されることになる。
【００２２】
図６は、通常のフレーム内watershed 法を用いて動画像から領域判定して動オブジェクトを抽出した場合と、本発明により、時空間watershed 法を用いて動画像から領域判定して動オブジェクトを抽出した場合に得られた動オブジェクトを比較して示している。
図６において、（ａ），（ｃ）、（ｅ）はフレーム内（空間）watershed 法を用いたときの、（ｂ），（ｄ），（ｆ）は時空間watershed 法を用いたときの、それぞれ図４に示す前フレーム、当該フレームおよび次フレーム（それぞれ、１２５フレーム目、１２６フレーム目、１２７フレーム目として示される）に対応して抽出された動オブジェクトを示している。時空間watershed 法を用いて抽出したオブジェクトの方が、空間watershed 法を用いて抽出したオブジェクトよりも時間的にがたつきがなく、精度の良いオブジェクトが得られていることが分かる。
【００２３】
以上においては、動画像から動きオブジェクトを抽出する場合に、背景領域と動きオブジェクトの境界付近でそれらのいずれに属するか曖昧な未確定領域を、時空間watershed 法を用いて成長させることによりがたついて見えない動オブジェクトが抽出できることを説明したが、動画像の背景画像領域と動オブジェクトの境界付近でどちらに属するか曖昧な未確定画像の領域に限定しない、任意の画像のエッジ信号を利用した時空間watershed 法を用い、画像の領域分割を行う領域分割回路を実現することもできる。
【００２４】
【発明の効果】
以上説明したように、本発明によれば、動画像から動オブジェクトの抽出を行う際に、背景領域と動オブジェクトの判定が曖昧な未確定領域に対して、時空間watershed 法を適用することによりフレーム間でのオブジェクト輪郭のがたつきを抑制することができる。その結果、動オブジェクトを精度良く抽出することができる。
【図面の簡単な説明】
【図１】  本発明動オブジェクト抽出装置の一実施形態をブロック図にて示している。
【図２】  動画像中の背景領域、動オブジェクト領域および未確定領域を示している。
【図３】  通常のフレーム内watershed 法の例を示している。
【図４】  時空間watershed 法の適用例を示している。
【図５】  図４中の太線で囲った部分を拡大して示している。
【図６】  通常のフレーム内watershed 法を用いて動画像から領域判定して動オブジェクトを抽出した場合と、本発明により、時空間watershed 法を用いて動画像から領域判定して動オブジェクトを抽出した場合に得られた動オブジェクトを比較して示している。
【符号の説明】
１  未確定領域抽出回路
２  第１メモリ
３  第２メモリ
４  時空間エッジ画像抽出回路
５  第３メモリ
６  第４メモリ
７  時空間画像領域成長回路
【図１】
0004046920.tif 000002
【図２】
0004046920.tif 000003
【図３】
0004046920.tif 000004
【図４】
0004046920.tif 000005
【図５】
0004046920.tif 000006
【図６】
0004046920.tif 000007