(57)【特許請求の範囲】
【請求項１】
動画像のうちの時間的に連続する画像間での各画素の移動量として定義される動き情報と、この動き情報の実際の値に対する推定された値の確からしさの指標として定義される信頼度とを入力し、一定の判定基準を満たす信頼度の高い動き情報には大きな係数を乗じ、判定基準に満たない信頼度の低い動き情報には小さな係数を乗じる重み付けを行う動き情報重み付け回路と、
動画像内の画素の有する色情報、位置情報、前記動き情報重み付け回路からの重み付けされた動き情報、および初期領域を入力すると共に、前記色情報、位置情報、および重み付け動き情報を複数の特徴量として一元的に扱い、評価関数による最適探索を利用して、対象となる動画像を領域に分割して領域画像信号を生成するクラスタリング回路と、
このクラスタリング回路によって生成された領域画像信号から得られた領域輪郭と、前記初期領域とは異なる初期領域形状を利用した領域画像信号から得られた領域輪郭とを入力し、これらの領域輪郭の共通部分を抽出して過分割部分を排除した領域統合画像を生成する統合回路と、
を具備することを特徴とする動画像領域分割装置。
【請求項２】
請求項１記載の動画像領域分割装置において、
前記クラスタリング回路と前記統合回路間に、前記クラスタリング回路によって生成された領域画像信号を入力して、この領域画像信号中に含まれる孤立小領域を除去した領域画像信号を生成するフィルタ回路が介挿されていることを特徴とする動画像領域分割装置。
【請求項３】
請求項１または２記載の動画像領域分割装置において、
前記クラスタリング回路または前記フィルタ回路と前記統合回路間に、前記クラスタリング回路によって生成された領域画像信号または前記フィルタ回路により孤立小領域が除去された後の領域画像信号を入力して、これら領域画像信号における予め定められたしきい値以下の画素数の領域を、その領域内の画素を囲む近傍８画素の範囲内で最も多い画素数を有する隣接領域、またはその領域内の画素を囲む近傍８画素の範囲内で最も画素数が多い隣接領域が複数あるときは、それぞれの隣接領域全体を比較して最も大きな隣接領域に属させて小領域を統合した領域画像信号を生成する小領域統合回路が介挿されていることを特徴とする動画像領域分割装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、Ｋ平均アルゴリズムで代表される画像の特徴量を利用してクラスタリング領域分割を行う動画像領域分割装置に関する。
【０００２】
［発明の概要］
本発明は、動画像を領域に分割する装置において、画像内の画素の有する動き情報、色情報、位置情報を利用して動画像を分割し、画面上に発生する粒状領域、および小領域は隣接の大きな領域に統合し、初期状態の影響で発生する過分割を解消するために複数の異なる初期状態で各別に分割を行った領域情報を統合することにより、高精度な領域分割をＫ平均アルゴリズム自体の繰り返し処理、反復処理をすることなく可能にしたものである。
【０００３】
【従来の技術】
従来、静止画像を対象とした領域分割装置としては、画面上で直接分割を行う手法と、画像の特徴量によるクラスタリング手法とが知られている。
【０００４】
画面上で直接分割を行う手法は、ある一つの画素に隣接している他の画素を、その輝度や色が近いものを統合していく手法であり、代表的な手法に領域成長法がある（S.W.Zucker,"Region growing:childhood and adolescence,"Comput.Graphics and Image Processing,5,pp.382-399,(1976)) 。この領域成長法では、分割された各領域は完全に連結した閉領域になっているが、画素を統合するための判断基準にしきい値を与えるため、得られる領域形状がこのしきい値によって異なるものになる。
【０００５】
一方、画像の特徴量によるクラスタリング手法は、画素の輝度や色だけでなく、画面上の位置などの特徴量が類似した画素を同一の領域とする手法である。このうち複数の特徴量を一元的に扱う手法として、Ｋ平均アルゴリズムと呼ばれる手法がある（S.Z.Selim and M.A.Ismail,"K-MEANS-Type algorithms",IEEE Trans.PAMI-6,1,pp.81-87,(1984)）。Ｋ平均アルゴリズムの処理は、ある評価関数を最小にする最適化問題であり、繰り返し処理を含むものの、単純な計算で領域分割を実現できる。
【０００６】
しかし、Ｋ平均アルゴリズムの処理には、初期に与えておく領域の形状が分割の結果として得られる領域の境界位置に影響したり、多数の小さな粒状の領域が発生するといった問題点が一般に指摘されている。
【０００７】
上述した初期領域への依存性を解消するための方法として、多点探索法である遺伝的アルゴリズムを導入する方法（堀田、村井、宮原、”クラスタリングと遺伝的アルゴリズムを用いたカラー画像の領域分割”、信学技報、PRU94-7,(1994)）や、初期に与える領域の個数を変化させて分割した結果を１９種類用意し、これらを統合する手法（中谷、大崎、阿部、”複数の領域分割結果に基づく対象物境界線検出”信学論D-II,J76,4,pp.914-916,(1993)）がある。
【０００８】
しかし、いずれの手法もＫ平均アルゴリズム処理を基本としており、Ｋ平均アルゴリズム処理自体の繰り返し処理を行うためにその計算量が膨大になる。例えば、前者の手法ではＫ平均アルゴリズム処理を最悪で約１０００回、後者の手法では１９回行うことが必要となる。
【０００９】
また、Ｋ平均アルゴリズム処理において発生する小さな粒状領域を除去する手法としては、弛緩法を利用する方法がある（”画素解析ハンドブック”、pp.677-679、東京大学出版会）。この方法では画像の領域の隣接関係などの事前知識を利用し、小さな粒状領域を統合すべき隣接領域を推測して処理する必要があり、例えば衛星から得られる地形の画面のような特殊な画像には適用できるが、一般の自然画像への適用は難しい。
【００１０】
以上の各手法は、全て静止画像を対象とした領域分割であるが、静止画像ではなく動画像を対象とした領域分割も画像の特徴量を利用する手法により行うことができる。動画像を対象とする際には動き情報を特徴量の一つとして利用するが、動き情報は画像の内容に関係なく定められたブロック単位で推定されることが多い。その場合、ブロック内に複数の動きが存在したり、ノイズが存在するときには、得られる動き情報が不正確になるという問題点がある（G.Adiv,"Determining three-dimensional motion and structure from optical flow generated by several moving objects",IEEE Trans.PAMI-7,4,pp.384-401(1985)）。
【００１１】
クラスタリングを利用して動領域を抽出する手法（許、原島、”動き、色、位置のクラスタリングに基づく動画像の領域分割と領域追跡”、信学技報、IE94-152,(1995) ）では、得られる動領域と別途用意した静止画像の領域分割結果とを統合することにより領域を修正する処理を行っている。そのためＫ平均アルゴリズムなどのクラスタリング手法の特長である、複数の特徴量を一元的に扱う処理が行えない。動き情報も特徴量の一つとして一元的に扱うためには動き情報が正確であればよいが、上述したように動き推定では必ずしも正確な動き情報を得ることはできない。
【００１２】
【発明が解決しようとする課題】
前述したように、従来からＫ平均アルゴリズムによる領域分割での問題点である初期領域依存性と小さな粒状領域発生を解消する種々の提案がなされている。
【００１３】
しかし、いずれの従来技術も処理が複雑になったり、他の情報を事前に用意する必要があるなどの欠点を有する。また、動画像を対象とした場合には、動き情報の不確かさから、Ｋ平均アルゴリズムの特徴量の一つとして動き情報をそのままでは利用できないという問題点がある。実用的で一般の自然画像への適用可能な動画像を対象とした領域分割手法の開発が望まれている。
【００１４】
本発明は上記の事情に鑑みてなされたものであり、その目的は、動き情報の不確かさを解消しつつも色情報や位置情報と共に動き情報を特徴量として利用でき、また、Ｋ平均アルゴリズムによるクラスタリング処理で生じる粒状小領域の除去や初期依存性も、Ｋ平均アルゴリズム自体の繰り返し処理、反復処理をすることなく解決できる動画像領域分割装置を提供することにある。
【００１５】
【課題を解決するための手段】
上記の目的を達成するために請求項１の発明は、動画像のうちの時間的に連続する画像間での各画素の移動量として定義される動き情報と、この動き情報の実際の値に対する推定された値の確からしさの指標として定義される信頼度とを入力し、一定の判定基準を満たす信頼度の高い動き情報には大きな係数を乗じ、判定基準に満たない信頼度の低い動き情報には小さな係数を乗じる重み付けを行う動き情報重み付け回路と、動画像内の画素の有する色情報、位置情報、前記動き情報重み付け回路からの重み付けされた動き情報、および初期領域を入力すると共に、前記色情報、位置情報、および重み付け動き情報を複数の特徴量として一元的に扱い、評価関数による最適探索を利用して、対象となる動画像を領域に分割して領域画像信号を生成するクラスタリング回路と、このクラスタリング回路によって生成された領域画像信号から得られた領域輪郭と、前記初期領域とは異なる初期領域形状を利用した領域画像信号から得られた領域輪郭とを入力し、これらの領域輪郭の共通部分を抽出して過分割部分を排除した領域統合画像を生成する統合回路と、を具備することを特徴とするものである。
【００１６】
上記の構成によれば、動画像を対象とした場合の、不確かさを含む動き情報を特徴量の一つとして利用するために、得られた動き情報の信頼度を判定基準と比較しており、この判定基準を満たさない動き情報に対してはこれを満たす動き情報に比べて小さな係数を乗ずる。このように信頼度に基づいて重み付けをすることによって特徴量として利用する際に、信頼度の高い動き情報に対する影響を減らしている。また、初期値依存性に対しては初期領域の形状を変化させた場合の結果との統合処理を行うことにより解決している。
【００１７】
請求項２の発明は、請求項１記載の動画像領域分割装置において、前記クラスタリング回路と前記統合回路間に、前記クラスタリング回路によって生成された領域画像信号を入力して、この領域画像信号中に含まれる孤立小領域を除去した領域画像信号を生成するフィルタ回路が介挿されていることを特徴とするものである。
【００１８】
上記の構成によれば、フィルタリング処理を実行することにより、クラスタリング回路によって生成された領域画像信号中に含まれる数画素程度の孤立した小粒状領域を除去することができる。
【００１９】
請求項３の発明は、請求項１または２記載の動画像領域分割装置において、前記クラスタリング回路または前記フィルタ回路と前記統合回路間に、前記クラスタリング回路によって生成された領域画像信号、または前記フィルタ回路により孤立小領域が除去された後の領域画像信号を入力して、これら領域画像信号における予め定められたしきい値以下の画素数の領域を、その領域内の画素を囲む近傍８画素の範囲内で最も多い画素数を有する隣接領域、またはその領域内の画素を囲む近傍８画素の範囲内で最も画素数が多い隣接領域が複数あるときは、それぞれの隣接領域全体を比較して最も大きな隣接領域に属させて小領域を統合した領域画像信号を生成する小領域統合回路が介挿されていることを特徴とするものである。
【００２０】
上記の構成によれば、クラスタリング回路によって生成された領域画像信号中の小領域を隣接する大領域へ統合することができる。
【００２１】
【発明の実施の形態】
図１は本発明に係る動画像領域分割装置の実施の形態の構成を示している。
【００２２】
この動画像領域分割装置は、初期領域生成回路１、動き情報重み付け回路２、クラスタリング回路３、フィルタ回路４、番号付与回路５、小領域統合回路６、及び輪郭抽出回路７を備えてなる第１領域分割修正回路８−１と、第１領域分割修正回路８−１と同一回路からなる第２領域分割修正回路８−２と、輪郭重畳回路９と、統合回路１０とから構成されている。
【００２３】
初期領域生成回路１は、入力された動画像信号Ｓ１の画面全体を予め設定された小領域に分割して初期領域を生成し、その初期領域信号Ｓ２をクラスタリング回路３に出力する。
【００２４】
動き情報重み付け回路２は、予め求められている動き情報と信頼度情報とを入力すると共に、この信頼度情報が一定の判定基準に満たない場合、判定基準を満たす信頼度の高い情報に比較して小さな値になるように信頼度に応じた重み係数を動き情報に乗ぜる処理を実行し、その重み付け動き情報Ｓ３をクラスタリング回路３に出力する。
【００２５】
クラスタリング回路３は、動画像信号Ｓ１と、初期領域生成回路１からの初期領域信号Ｓ２と、動き情報重み付け回路２からの重み付け動き情報Ｓ３とを入力すると共に、クラスタリング処理を実行し、画面が領域分割された最終的な領域画像信号Ｓ４を生成してフィルタ回路４に出力する。
【００２６】
フィルタ回路４は、多数決フィルタで構成され、クラスタリング回路３から供給された領域画像信号Ｓ４中に含まれる小さな粒状領域を除去し、粒状領域が除去された領域画像信号Ｓ５を番号付与回路５に出力する。
【００２７】
番号付与回路５は、粒状領域が除去された領域画像信号Ｓ５を入力すると共に、得られた同一領域に含まれる画面上で連結している画素に同じ識別番号を付与し、識別番号が付与された領域画像信号Ｓ６を小領域統合回路６に出力する。
【００２８】
小領域統合回路６は、識別番号が付与された領域画像信号Ｓ６を入力すると共に、予め定められたあるしきい値以下の画素数の小さな領域を別領域へ統合する処理を実行し、得られた領域画像信号Ｓ７を輪郭抽出回路７に出力する。
【００２９】
輪郭抽出回路７は、領域画像信号Ｓ７を入力すると共に、この領域画像信号Ｓ７中の各領域の境界である輪郭線を抽出し、その輪郭画像信号Ｓ８を輪郭重畳回路９と統合回路１０に出力する。
【００３０】
輪郭重畳回路９は、輪郭抽出回路７からの輪郭画像信号Ｓ８と、第２領域分割修正回路８−２で得られた輪郭画像信号Ｓ９とを入力すると共に、２つの輪郭画像信号Ｓ８，Ｓ９の論理積を演算して輪郭画像信号Ｓ１０を生成し、統合回路１０に出力する。
【００３１】
統合回路１０は、輪郭抽出回路７からの輪郭画像信号Ｓ８と、輪郭重畳回路９からの輪郭画像信号Ｓ１０とを入力すると共に、輪郭画像信号Ｓ８と輪郭画像信号Ｓ１０とから領域統合処理を実行して最終的な領域分割画像を生成して出力する。
【００３２】
次にこの実施の形態の動作を説明する。
【００３３】
《初期領域生成回路１における処理》
動画像信号Ｓ１が初期領域生成回路１に供給されると、先ず、図２に示すように画面全体がＭ×Ｎの小領域に分割される。なお、Ｍ，Ｎは４から６程度の整数値であり、図２では、Ｍ＝６、Ｎ＝４からなる小領域を示している。これが、第１領域分割修正回路８−１が設定する初期領域となる。同様に、第２領域分割修正回路８−２でも画面全体が、第１領域分割修正回路８−１が設定する初期領域とは別のＭ×Ｎの小領域に分割される。
【００３４】
《動き情報重み付け回路２における処理》
一方、動き情報と信頼度情報は、周知の手段によって予め求められており、これらの動き情報と信頼度情報は、動き情報重み付け回路２に供給される。ここで、動き推定による動き情報とは、動画像のうちの時間的に連続する画像間での各画素の移動量である。また信頼度情報とは、動き情報の実際の値に対する推定された値の確からしさの指標をいう。例えば、金子、鹿喰、田中、”輝度勾配ベクトル分布による動き推定の精度向上”、信学技報、IE96-10,(1996)に表された動きベクトル（ｕ，ｖ）が動き推定による動き情報に該当し、信頼度ｓs ，ｓl が信頼度情報に該当する。
【００３５】
以下に、上記信頼度ｓs ，ｓl の導出過程を説明する。
【００３６】
【外１】
0003781835.tif 000002
時刻ｔにおける動画像面上の点（ｘ，ｙ）の輝度をｇ（ｘ，ｙ）、時空間輝度勾配ベクトルを、
【数１】
0003781835.tif 000003
移動ベクトルを、ｍ＝（ｕ，ｖ，１）とすると、内積を用いて（２）式の勾配法の基本式が得られる。
【００３７】
【数２】
ｇ・ tｍ＝０      …（２）
ここで、動きベクトル（ｕ，ｖ）を３次元へ拡張したベクトルｍを移動ベクトルと呼ぶ。
【００３８】
拘束条件として、「ある画像断片内の全ての画素（画素数ｎ）が同じ動き量である」ことを用いると、画像断片内の全画素に対する誤差Σ（ｇi ・ tｍ）2 （ここで、ｉ＝０〜ｎ）を最小にすることで移動ベクトルｍを推定することができる。さらに、移動ベクトルｍの代わりに正規化した単位移動ベクトルｍu を用いると、推定する動きベクトルは（３）式を最小とするｍu から求めることができる。
【００３９】
【数３】
0003781835.tif 000004
ここで、Ｇは画像断片内の輝度勾配ベクトルの共分散行列であり、次の（４）式で表せる。
【００４０】
【数４】
0003781835.tif 000005
行列Ｇの固有値をλ1 ≧λ2 ≧λ3 、対応する固有ベクトルをｕ1 ，ｕ2 ，ｕ3 とすると、（３）式が最小となるのは、行列Ｇの最小固有値λ3 に対する固有ベクトルｕ3 をｍu としたときであることから、移動ベクトルｍは行列Ｇの第３固有ベクトルｕ3 から推定できる。
【００４１】
次に、（２）式のベクトル表現について考えると、移動ベクトルｍを推定することは、図３に示すように、推定する移動ベクトルｍと画像断片内の複数の輝度勾配ベクトルｇi との内積の和ができるだけ小さくなるようにすることである。例えば、輝度勾配ベクトルｇi が平面状に分布していた場合、移動ベクトルｍの方向を、その平面の法線ベクトルの方向とすることにより、（３）式の内積の自乗和は０になる。このような場合、推定された動きベクトルの正確さは高くなる。これに対し輝度勾配ベクトルｇi の分布が平面から外れて分布した場合、（３）式の内積の自乗和は０とはならず、推定される移動ベクトルｍの正確さは低下する。また、輝度勾配ベクトルｇi の分布が同一方向にのみ分布していた場合、平面が一意に定まらないため移動ベクトルｍの特定は不可能となる。
【００４２】
以上のように、輝度勾配ベクトルの分布と移動ベクトルの正確さとは密接な関係がある。図４に示すように、推定された移動ベクトルが精度良く求まるのは、図４（ａ）に示すように、輝度勾配ベクトルが平面上に分布するときである。図４（ｂ）に示すような輝度勾配ベクトルが平面から離れた球状に分布したり、図４（ｃ）に示すように、直線状に分布した場合、推定する移動ベクトルの精度は低いと考えられる。
【００４３】
図４の各輝度勾配ベクトルの３次元分布を、その第１固有値λ1 、第２固有値λ2 、第３固有値λ3 で表現すると、以下の（５）式のように特徴付けられる。
【数５】
0003781835.tif 000006
以下、（ａ）を平面状分布、（ｂ）を球状分布、（ｃ）を直線状分布と呼ぶ。
【００４４】
第１固有値λ1 、第２固有値λ2 、第３固有値λ3 の分布を直交座標系で考えると、図５に示すように、λ1 ≧λ2 ≧λ3 の関係から、図５の三角錐の内部に分布することになる。三角錐の各辺は、平面状分布、球状分布、直線状分布の極限値を表すことになる。ここで、各辺を平面軸、球軸、直線軸と呼ぶ。従って、画像断片内の輝度勾配ベクトルの共分散行列Ｇの固有値が、図５の平面軸に近い位置にあるほど推定された移動ベクトルの信頼度が高いと考えられる。また、図５から理解できるように、信頼度が直線軸方向に低くなる場合と、球軸方向に低くなる場合とが考えれる。
【００４５】
上記（５）式の（ａ）と（ｂ）との関係、及び（ａ）と（ｃ）との関係から、次式を定義する。
【００４６】
【数６】
0003781835.tif 000007
この（６）式に基づき以下の（７）式を信頼度とした。
【００４７】
【数７】
0003781835.tif 000008
（７）式の信頼度ｓl の定義で１／ａl に第３固有値λ3 を乗じているのは、直線状分布に近い状態でも第３固有値λ3 が小さい場合は信頼度が高いと見なせるので、第３固有値λ3 による重み付けを行うためである。（７）式のｓs を球の信頼度、ｓl を直線の信頼度と呼ぶ。ｓs 、ｓl の値は小さい程、信頼度が高い。
【００４８】
再び図１に戻り説明すると、動き情報重み付け回路２では、上述した動き情報に対し信頼度情報に応じた重み付けを実行する。具体的に説明すると、信頼度情報が一定の判定基準に満たない場合、判定基準を満たす信頼度の高い情報に比較して小さな値になるように信頼度に応じた重み係数が動き情報に対して乗ぜられる。例えば、判定基準を満たす信頼度の高い動き情報に対しては“１”以上、判定基準に満たない動き情報に対しては“１”未満の係数を乗ずる。こうして動き情報に信頼度が付された情報は、重み付け動き情報Ｓ３としてクラスタリング回路３に供給される。
【００４９】
《クラスタリング回路３における処理》
クラスタリング回路３では、動画像信号Ｓ１と、初期領域生成回路１からの初期領域信号Ｓ２と、動き情報重み付け回路２からの重み付け動き情報Ｓ３とを入力すると共に、次のような計算によりクラスタリング処理を実行する。
【００５０】
先ず、初期領域の各領域毎の全特徴量の平均値の計算を行う。ここでの特徴量とは画素の３つの色情報（３原色Ｒ，Ｇ，Ｂ）、及び２つの位置情報（座標Ｘ，Ｙ）と、画面水平方向、及び画面垂直方向の各重み付けされた動き情報（Ｕ，Ｖ）の合計７つの情報である。
【００５１】
次に、動画像信号Ｓ１の全画面の各画素毎にその画素の特徴量が全体的に見てどの領域の特徴量の平均値と最も近いかを次の評価関数式により決定する。
【００５２】
【数８】
0003781835.tif 000009
但し、Ｒｍ：赤色情報Ｒの各領域での平均値
Ｇｍ：緑色情報Ｇの各領域での平均値
Ｂｍ：青色情報Ｂの各領域での平均値
Ｘｍ：位置情報Ｘの各領域での平均値
Ｙｍ：位置情報Ｙの各領域での平均値
Ｕｍ：動き情報Ｕの各領域での平均値
Ｖｍ：動き情報Ｖの各領域での平均値
Ｋｌ，Ｋｐ，Ｋｍ：係数値。係数値Ｋｌ，Ｋｐ，Ｋｍは、全ての特徴量が同じくらいの範囲、例えば０〜１になるように乗ぜられるものであり、予め設定されている。
【００５３】
次に、各画素の特徴量について全ての領域に対して評価関数を求める。
【００５４】
求められた評価関数が最も小さくなる領域を最適領域と考え、対象としている画素をその最適領域に含め、領域を新たに構成する。
【００５５】
全ての画素について上記の評価関数による最小値探索を行い、領域の再構成を行った後、新しく再構成された領域毎に各特徴量の平均値Ｒｍ，Ｇｍ，Ｂｍ，Ｘｍ，Ｙｍ，Ｕｍ，Ｖｍを計算し直す。
【００５６】
再び全画素について上記の操作を行う。各領域の平均値Ｒｍ，Ｇｍ，Ｂｍ，Ｘｍ，Ｙｍ，Ｕｍ，Ｖｍが変化しなくなるまで全ての処理を繰り返す。
【００５７】
このクラスタリング回路３内では上述のような処理が行われ、画面が領域分割された最終的な領域画像信号Ｓ４が生成される。
【００５８】
《フィルタ回路４における処理》
クラスタリング回路３で生成された領域画像信号Ｓ４はフィルタ回路４に供給され、このフィルタ回路４で領域画像信号Ｓ４中に含まれる小さな粒状領域が除去される。ここで用いられるフィルタは多数決フィルタであり、その大きさは５画素×５画素もあれば十分である。図６に多数決フィルタの処理例を示す。この例では、５画素×５画素サイズの窓のフィルタが使用されている。また、窓の中心の画素はフィルタ内の最も画素数の多い領域１に統合される。最多領域が中心画素に隣接せず、周辺部に存在する場合であっても中心画素は最多領域１に統合される。この場合、中心画素は依然として粒状領域を形成するが、この粒状領域は後述する小領域統合回路６により結果的に除去されることになる。フィルタの中心画素がもともと最多領域１の一部となる場合、中心画素の属する領域は変化しない。こうして領域画像がこのフィルタ回路４により修正される。
【００５９】
《番号付与回路５における処理》
フィルタ回路４により、大多数の小さな粒状領域が除去された領域画像信号Ｓ５は番号付与回路５に供給される。番号付与回路５では、得られた同一領域に含まれる画面上で連結している画素には同じ識別番号を付与する。番号の付与の順番は任意であり、また、領域が異なることが認識されればよいので、各領域に対して付与される番号は、連続番号である必要もない。この番号付与回路５により、フィルタ回路４によって修正された領域は、同一の特徴量を有する領域であってもそれが連結していない限り、それぞれ別個に識別できる。
【００６０】
《小領域統合回路６における処理》
番号付与回路５により識別番号が付与された領域画像信号Ｓ６は、小領域統合回路６に供給される。小領域統合回路６では、予め定められたあるしきい値以下の画素数の小さな領域を別領域へ統合する。しきい値は、例えば全画面の画素数の１％程度に設定する。統合は、統合対象の領域の最も外側から始め、別の領域に接している画素をその別領域に属させることによりなされる。外側から順に多領域へ属させるので、必ず全ての画素は他の領域へ属することになる。具体的な統合は、対象画素を中心にした３画素×３画素の範囲内にある対象画素を取り囲む近傍８画素の中で最も多い画素数を有する隣接領域に対象画素を統合することにより行う。外側の画素が複数の領域と接している場合には接している画素数が最も多い領域に属することになる。隣接領域の画素数が同数のときは、隣接領域全体を比較して最大の領域に統合する。図７に小領域統合回路６の処理例を示す。図７（ａ）の例では、中心の対象画素は領域１に属する。図７（ｂ）の例では、領域１、領域２共に近傍範囲では各３画素なので、中心の対象画素は領域１、領域２のうち、領域全体の面積の大きい方へ属する。仮に領域全体の面積が等しい場合は、隣接位置に応じて予め定めておいた優先順位（例えば、左上から時計回りにつけた優先順位）に従い属する領域を決定すればよい。ここまでの処理で、クラスタリングで生じる小さな領域が全て大きな領域へ統合された領域分割画像が得られる。
【００６１】
《輪郭抽出回路７における処理》
小領域統合回路６により得られた領域画像信号Ｓ７は輪郭抽出回路７へ供給される。輪郭抽出回路７では領域画像信号Ｓ７の中の各領域の境界である輪郭線を抽出した輪郭画像信号Ｓ８が生成される。
【００６２】
《輪郭重畳回路９における処理》
輪郭抽出回路７により得られた輪郭画像信号Ｓ８は輪郭重畳回路９に供給される。また、この輪郭重畳回路９には、第２領域分割修正回路８−２で得られた輪郭画像信号Ｓ９も供給される。そして、この輪郭重畳回路９では、供給された２つの輪郭画像信号Ｓ８，Ｓ９の論理積をとった輪郭画像信号Ｓ１０が作成される。この実施の形態では、２つの輪郭画像信号Ｓ８，Ｓ９を用いているがこの輪郭画像信号は３つ以上でも可能である。すなわち、３つ以上の領域分割修正回路を利用することができる。
【００６３】
《統合回路１０における処理》
輪郭重畳回路９で生成された輪郭画像信号Ｓ１０と、輪郭抽出回路７で生成された輪郭画像信号Ｓ８は統合回路１０に供給される。統合回路１０では、まず輪郭画像信号Ｓ８の画像中の１つの領域の輪郭線だけを抽出する。さらにこの輪郭線のうち隣接している１つの別領域との境界線だけを選択する。これと、該当する輪郭画像信号Ｓ１０の輪郭線の長さを比較し、この比がある判断基準以上であれば対象としている選択した境界線はそのまま残す。逆に、判断基準以下であれば、隣接している領域と同一の領域であるとして境界線を除去して領域統合する。判断基準は、領域分割の目的によって、分割領域数を多くしたい場合は小さく、分割領域数を少なくしたい場合には大きく設定する。例えば、比を６０％とするとあまり多くの領域が残らない結果が得られる。この操作を対象としている領域に隣接する全領域の境界線に対して行い、さらに基準とした輪郭画像信号Ｓ８の中の全領域の境界線に対して行う。
【００６４】
このように、この実施の形態によれば、小領域の発生と初期領域依存性の問題を解消するために、Ｋ平均アルゴリズムによるクラスタリング処理後に、３段階の領域修正を施している。すなわち、▲１▼数画素程度の小粒状領域に対してはフィルタリング処理を、▲２▼残りの小領域に対処するために領域への識別番号付けと隣接する大領域への統合処理を、▲３▼初期値依存性に対しては初期領域の形状を変化させた場合の結果との統合処理を行っている。これにより、繁雑な処理や膨大な計算量を必要とすることなく小領域発生と初期値依存問題を解消することができる。
【００６５】
また、前述した動画像を対象とした場合の、不確かさを含む動き情報を特徴量の一つとして利用するために本発明では、得られた動き情報の信頼度を判定基準と比較している。判定基準を満たさない動き情報に対してはこれを満たす動き情報に比べて小さな係数を乗ずる。このような重み付けをすることによって特徴量として利用する際に、信頼度の高い動き情報への影響を減らしている。これにより、色、位置、動きの情報を特徴量として一元的に扱うクラスタリングを行うことができる。
【００６６】
【発明の効果】
以上説明したように請求項１の発明によれば、不確かさを含む動き情報を特徴量の一つとして利用するために、得られた動き情報の信頼度を判定基準と比較しているので、不確かさを解消しつつも動き情報を色情報や位置情報といった画像の特徴量と共に利用できる。また、初期領域の形状を変化させた場合の結果との統合処理を行うことにより初期値に依存することのない領域分割画像を得ることができる。
【００６７】
請求項２の発明によれば、フィルタリング処理を実行することにより、クラスタリング回路によって生成された領域画像信号中に含まれる数画素程度の孤立した小粒状領域を、Ｋ平均アルゴリズム自体の繰り返し処理、反復処理をすることなく除去することができる。
【００６８】
請求項３の発明によれば、クラスタリング回路によって生成された領域画像信号中の小領域を、Ｋ平均アルゴリズム自体の繰り返し処理、反復処理をすることなく隣接する大領域へ統合することができる。
【図面の簡単な説明】
【図１】本発明に係る動画像領域分割装置の実施の一形態における構成を示すブロック図である。
【図２】初期領域生成回路により生成される初期領域の一例を示す説明図である。
【図３】信頼度情報の導出過程における動きベクトルと輝度勾配ベクトルとの関係を示す説明図である。
【図４】信頼度情報の導出過程における輝度勾配ベクトル分布を示す説明図である。
【図５】信頼度情報の導出過程における輝度勾配ベクトルの固有値を示す説明図である。
【図６】フィルタ回路を構成する多数決フィルタの処理例を示す説明図である。
【図７】小領域統合回路における処理例を示す説明図である。
【符号の説明】
１  初期領域生成回路
２  動き情報重み付け回路
３  クラスタリング回路
４  フィルタ回路
５  番号付与回路
６  小領域統合回路
７  輪郭抽出回路
８−１  第１領域分割修正回路
８−２  第２領域分割修正回路
９  輪郭重畳回路
１０  統合回路
Ｓ１  動画像信号
Ｓ２  初期領域信号
Ｓ３  重み付け動き情報
Ｓ４  領域画像信号
Ｓ５  粒状領域が除去された領域画像信号
Ｓ６  識別番号が付与された領域画像信号
Ｓ７  統合された領域画像信号
Ｓ８  輪郭画像信号
Ｓ９  第２領域分割修正回路からの輪郭画像信号
Ｓ１０  論理積演算後の輪郭画像信号
【図１】
0003781835.tif 000010
【図２】
0003781835.tif 000011
【図３】
0003781835.tif 000012
【図４】
0003781835.tif 000013
【図５】
0003781835.tif 000014
【図６】
0003781835.tif 000015
【図７】
0003781835.tif 000016