(57)【要約】画像列の第１画像の第１画素をセグメントに割り当てるセグメント化装置(100,200,300)は：第１等質性値を第１画素に対して該第１画像に基づいて割り当てる割り当て装置(102)；該第１画素についての平均等質性値を、第１等質性値と、画像列の第２画像の第２画素について判定される第２等質性値、とを平均化することによって算定し、該第１画素と該第２画素が動きベクトルによって関係付けられる、平均化装置(103)；及び平均等質性値と閾値とを該第１画素を該セグメントに割り当てるのに比較する比較装置(106)；を有する。
2005517257.tif 000002
【特許請求の範囲】
【請求項１】
画像列の第１画像の第１画素をセグメントに割り当てるセグメント化装置であって：
第１等質性値を該第１画素に該第１画像に基づいて、かつ、第２等質性値を該画像列の第２画像の第２画素に、割り当て、該第１画素と該第２画素とが動きベクトルによって関係付けられる、割り当て装置；
該第１画素についての平均等質性値を、該第１等質性値と該第２等質性値とを平均化することによって、算定する平均化装置；及び
該平均等質性値と閾値とを、該第１画素を該セグメントに割り当てるのに、比較する比較装置；
を有することを特徴とするセグメント化装置。
【請求項２】
請求項１記載のセグメント化装置であって、該平均等質性値を、該列の別の画像の別の等質性値も考慮することによって、算定するよう形成されることを特徴とするセグメント化装置。
【請求項３】
請求項１記載のセグメント化装置であって、該平均化装置が加重平均等質性値を算定するよう形成されることを特徴とするセグメント化装置。
【請求項４】
請求項３記載のセグメント化装置であって、重み付けの係数を画素ベースで制御し、該重み付けの係数が該重み付けを該加重平均等質性値の該算定について左右する、よう形成されることを特徴とするセグメント化装置。
【請求項５】
請求項１記載のセグメント化装置であって：
該動きベクトルを推定する動き推定装置；
を有し、該動き推定装置は該比較装置によって制御されることを特徴とするセグメント化装置。
【請求項６】
請求項３記載のセグメント化装置であって：
該動きベクトルを推定する動き推定装置；
を有し、該動き推定装置は該重み付けの係数を制御するよう設計されることを特徴とするセグメント化装置。
【請求項７】
画像列の第１画像の第１画素をセグメントに割り当てる方法であって：
第１等質性値を該第１画素に該第１画像に基づいて、かつ、第２等質性値を該画像列の第２画像の第２画素に、割り当て、該第１画素と該第２画素とが動きベクトルによって関係付けられる、割り当て工程；
該第１画素についての平均等質性値を、該第１等質性値と該第２等質性値とを平均化することによって、算定する平均化工程；及び
該平均等質性値と所定の閾値とを、該第１画素が該セグメントに属するかを判定するのに、比較する比較工程；
を有することを特徴とする方法。
【請求項８】
画像処理装置であって：
画像列を受信する受信手段；
該画像列の第１画像の第１画素をセグメントに割り当てるセグメント化装置；
第１等質性値を該第１画素に該第１画像に基づいて、かつ、第２等質性値を該画像列の第２画像の第２画素に、割り当て、該第１画素と該第２画素とが動きベクトルによって関係付けられる、割り当て装置；
該第１画素についての平均等質性値を、該第１等質性値と該第２等質性値とを平均化することによって、算定する平均化装置；
該平均等質性値と所定の閾値とを、該第１画素が該セグメントに属するかを判定するのに、比較する比較装置；及び
該セグメント化装置によって制御される画像処理ユニット；
を有することを特徴とする画像処理装置。
【請求項９】
請求項８記載の画像処理装置であって、該画像処理ユニットが該画像を復号化するよう設計されることを特徴とする画像処理装置。
【請求項１０】
請求項８記載の画像処理装置であって、該画像処理ユニットが深さ推定を行うよう設計されることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像列の第１画像の第１画素をセグメントに割り当てるセグメント化装置に関する。
【０００２】
本発明は更に、画像列の第１画像の第１画素をセグメントに割り当てる方法に関する。
【０００３】
本発明は更に、画像処理装置に関し、該装置は：
画像列を受信する受信手段；
該画像列の第１画像の第１画素をセグメントに割り当てるセグメント化装置；及び
該セグメント化装置によって制御される画像処理ユニット；
を有する。
【背景技術】
【０００４】
セグメント化は数々の画像処理及びパターン認識タスクにおいてきわめて重要な工程である。セグメント化は、画像における画素について、有限セグメント群の１つに対する帰属関係を判定する処理であり、セグメントは画素の連結集合体である。帰属関係は色、輝度、テクスチャ、又は別の属性に基づいて判定し得る。画素間の一致の尺度は等質性と呼ばれる。通常、セグメントの意図された意味は「情景における物体の投影画像」ということである。
【０００５】
圧縮、深さ若しくは動き推定、物体追跡又は別の映像セグメント化の目的に対して、セグメント化処理は理想的には、以下の、すなわち：
セグメント化は少なくとも画素の精度であり；かつ
セグメント化は時間的に安定している、すなわち、セグメントは該画像において可視である限り該セグメントを「追跡」することが可能である；
２つの要件を充足するものである。実際に、セグメントは理想的には、該情景とともに「進み」、該セグメントの形状のプロファイルはあまり変動しないものである。雑音、更には、オクルージョン、ズーミング及び異なる視野角による画像における小さな変動はセグメントの形状における急激な変動を結果として生じない。これによって該映像ストリームの処理後のフリッカのようなアーチファクトを回避する。次の２つの極端なケースを考えることが可能であり、各ケースは１つの要件のみを充足する。
【０００６】
各フレームを別個に正確にセグメント化する。このセグメント化は画素の精度であるかもしれないが、雑音又は別の理由によってセグメント化は通常、時間的に安定的でない、すなわち、後続画像間の1対１の対応関係がない。
【０００７】
１つのフレームがセグメント化され、これらのセグメントは情景を形成する後続画像に及んで、例えば、シフト又は変形させることによって、保持される。これによって安定性が保証されるが、後の過程で該情景に入ってくる新しい物体は処理することが可能でない。
【非特許文献１】J.G.Choi  et  al.,”Spatio-Temporal  Video  Segmentation  Using  a  Joint  Similarity  Measure”,  IEEE  Transactions  on  Circuits  and  Systems  for  Video  Technology,  vol.  7,  no.  2,  April  1997.
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記において説明した類の方法の実施例の公知のものがある（非特許文献１参照。）。
該文献は形態素時空間セグメント化アルゴリズムを記載している。該アルゴリズムは同時に輝度及び動き情報を取り込み、形態素フィルタ及びウォーターシェッド・アルゴリズムのような形態素ツールを用いる。完全なセグメント化に向けての手順は３つの工程、すなわち、ジョイント・マーカ抽出、境界判定、及び動きベースの領域融合、を有する。第１に、ジョイント・マーカ抽出は動きと輝度との両方における等質領域の存在を識別するものであり、該抽出では、簡単なジョイント・マーカ抽出方法が提案されている。第２に、時空間境界がウォーターシェッド・アルゴリズムによって判定される。この目的で、結合類似性尺度が提案されている。最後に、冗長領域の除去が動きベースの領域融合によって行われる。該アルゴリズムの中核は形態素の時空間セグメント化に対する結合類似性尺度である。時空間セグメント化に対する結合類似性尺度は強度差異と動き差異との加重和である。該尺度は類似性として：
類似性＝β（強度差異）＋（１−β）κ（動き差異）                (1)
として規定され、κはスケール化係数であり、βは重み付け係数である。該重み付け係数によって強度差異か動き差異かに重要性を付与することを可能にする。強度差異は対象画素と該領域に既に割り当てられた画素の平均とのグレイ・トーン差異である。動き差異は画素（x,y）での推定動きベクトルと、該領域の動きモデルによって画素(x,y)で生成された動きベクトルとの間の動き誤差である。同時に空間情報と時間情報とを取り込むことによって、視覚的に意味のあるセグメント化結果を得ることが可能である。しかしながら、該アルゴリズムは、新たな物体が情景に入ってくる、すなわち時間的に安定していない、場合にはうまく機能しない。
【課題を解決するための手段】
【０００９】
本発明の目的は上記に説明した類のセグメント化装置を備えることにあり、該装置は比較的、時間的に安定した画素の精度のセグメント化を行うよう形成されたものである。
【００１０】
本発明の目的は、画像列の第１画像の第１画素をセグメントに割り当てるセグメント化装置が：
第１等質性値を第１画素に第１画像に基づいて、かつ、第２等質性値を画像列の第２画像の第２画素に、割り当て、該第１画素と該第２画素とが動きベクトルによって関連付けられる、割り当て装置；
第１画素についての平均等質性値を、該第１等質性値と該第２等質性値とを平均することによって、算定する平均化装置；及び
該平均等質性値を、該第１画素を該セグメントに割り当てるよう、閾値と比較する比較装置；
を有することによって実現される。
本発明の重要な特徴は、該判定が、第１画素が該セグメントに属するかどうかにかかわらず、複数の画像の画素に基づいて算定された平均等質性値に基づくものであるということである。これらの複数の画像の画素間の関係は動きベクトルによって規定され、該ベクトルはこれらの複数の画素が属する画像について判定される。動きベクトルは該動きベクトルが該当する、該画像を捕捉する間の、時間間隔における物体の一部分のシフトに相当する。従来技術によるセグメント化手法において、等質性値は１つの画像の画素に基づいて算定される、すなわち、強度差異は対象画素と、該領域に既に割り当てられた画素の平均との間のグレイ・トーン差異である。平均等質性値を用いる効果は、該値が時間的安定性を備えると同時に、なお画素の精度のセグメント化を行い得ることである。一般に、画像列における１つの画像と次の画像との間での画素値における、例えば、雑音によってもたらされるような、変動はセグメント化における不安定な状態を引き起こす。これは主に、閾値処理工程、すなわち比較工程、によって引起される。平均等質性値を用いることによって該変動の影響が軽減される。
【００１１】
平均等質性値が算定された後に、比較装置はこの平均等質性値を閾値と比較する。等質性の種類とセグメント化の種類によって、第１画素は平均等質性値が閾値を上回るか下回る場合、該セグメントに割り当てられる。該閾値は所定の値であり得る。好適的には該閾値はセグメントする画像の特性に基づいて算定される。
【００１２】
第１等質性値を第１画素に割り当てる割り当て装置は第１画素の近傍における画素の輝度値又は色値を比較することに基づいて、この値、例えば、分散値又は最大作用素若しくは別の非線形作用素、を算定するよう設計し得る。しかしながら、画素の輝度値又は色値は等質値としても適用し得る。
【００１３】
本発明によるセグメント化装置の実施例は平均等質性値を更に、該列の別の画像の別の等質性値を考慮することによって算定するよう形成される。この実施例の効果は雑音を更に低減することも実現し得ることである。好適的にはセグメント化装置は平均等質性値の再帰的計算を行うよう形成される。これは現行画像、例えば、第１画像、の平均等質性値がこの現行画像に関する等質性値に基づいて算定され、平均等質性値が先行する算定画像について算定されることを表す。再帰的アプローチによるセグメント化装置の効果は、別の画像の別の等質性値を格納する記憶容量が比較的少なくて済むこということである。
【００１４】
本発明によるセグメント化装置の実施例においては、平均化装置は加重平均等質性を算定するよう形成される。この目的で、該平均化装置は重み付け係数を制御し得るインタフェースを有する。この重み付け係数は加重平均等質性値における、第１等質性値と、別の等質性値との間での、比率を判定する。別の等質性値とは、例えば、第２等質性値又は別の等質性値、を表す。加重平均等質性値を算定する効果はそれによって、一方の、単一の画像に主に基づいた、画素の精度のセグメント化と、他方の、複数の画像に基づいた時間的に安定したセグメント化との、トレードオフを行うことを可能にするということである。
【００１５】
本発明によるセグメント化装置の実施例は、該装置が画素ベースに対する重み付け係数を、該重み付け係数が加重平均等質性値の計算に対する重み付けを左右するように、制御するよう形成される、という点によって特徴付けられる。該重み付け係数はひとそろいの画像に対して固定のものであり得る。しかしながら、対象画像の1つにおける画素の等質値の品質に関する知識がある場合、該平均はそれによって適合される。品質インディケータによって更に、有効な等質性値がないことを示すことが考えられる。これは、例えば、情景における物体のオクルージョンの場合に起こり得、例えば、特定の動きベクトルの品質は相当する画素の等質性値の品質に対する示度にふさわしいものである。
【００１６】
本発明によるセグメント化装置の実施例は動きベクトルを推定する動き推定装置を有し、該動き推定装置は該比較装置によって制御される。動き推定装置は動きベクトルを備える必要がある。原則的に、これは如何なる類の動き推定装置、例えば、ブロック・ベースの動き推定装置、であってよい。しかしながら、好適的には該動き推定装置はセグメント・ベースの動き推定装置である。本実施例においては、該比較装置の出力、すなわち、セグメント、は比較的正確な動きベクトルを推定するのに該動き推定装置に供給される。
【００１７】
本発明によるセグメント化装置の実施例は、動きベクトルを推定する動き推定装置を有する点によって特徴付けられ、該動き推定装置が重み付け係数を制御するのに設計される点によって特徴付けられる。上記のように、動きベクトルの品質は割り当てられた等質性値の品質の示度である。動きベクトルの品質に関するインディケータを平均化装置に供給することによって、該平均化装置は重み付け係数を制御することができる。
【発明を実施するための最良の形態】
【００１８】
該セグメント化装置の修正及び該装置の変形例は説明した該方法及び該画像処理装置の修正及び変形例に相当し得る。
【００１９】
本発明による該セグメント化装置、該方法、及び該画像処理装置のこれら及び他の特徴は、以下に説明する実施形態及び実施例によって、かつ、添付図面によって、明らかであり、かつ、明らかになるものである。
【００２０】
相当する参照番号は該図面の全てにおいて同様な意味を有する。
【実施例】
【００２１】
図１は本発明によるセグメント化装置１００の実施例を表す。該セグメント化装置１００は、画像列の第１画像の第１画素をセグメントに割り当てるものであり、以下の：
第１等質性値を第１画素に第１画像に基づいて、かつ、第２等質性値を画像列の第２画像の第２画素に、割り当てる割り当て装置１０２；
該画像列の第２画像の動き補償を行う動き補償装置１０４；
該第１画素についての加重平均等質性値を、第１等質性値と第２等質性値とを平均化することによって算定する平均化装置１０３；及び
平均等質性値と閾値とを第１画素を該セグメントに割り当てるのに比較する比較装置１０６；
を有する。
動き推定装置１０８は動き補償装置１０４に動きベクトルを供給する。選択的に、セグメント化装置１００は該動き推定装置１０８を有する。
【００２２】
第１に該セグメント化装置の動作の数学的説明を設ける。第２に、個々の装置102乃至１０８のタスクをセグメント化装置１００によって連続して行われる工程によって概説する。
【００２３】
Ht(x,y)を画素位置(x,y)での指数tのある画像についての等質性値を表すものと仮定する。従来技術のセグメント化手法に対して、本セグメント化はHt(x,y)ではなく、式２において規定される数量
【００２４】
【数１】
2005517257.tif 000003
に基づくものであり、式２は：
【００２５】
【数２】
2005517257.tif 000004
であり、
【００２６】
【数３】
2005517257.tif 000005
は式３：
【００２７】
【数４】
2005517257.tif 000006
において規定される。これは座標(x,y)の特定の画素について先行画像の動き補償等質性値と現行画像の等質性値とが加重平均を算定することによって合成される。
【００２８】
次に、個々の装置102乃至１０８のタスクを、セグメント化装置１００によって連続して行われる工程によって概説する。画像It-1,It,It+1,It+2,…は動きベクトルを算定するのに入力コネクタ１１６で動き推定装置１０８に供給される。これによって画素毎に動きベクトル（Δx,Δy）をもたらす。画像It-1,It,It+1,It+2,…は更に、セグメント化装置１００の入力コネクタ１１０に供給される。割り当て装置１０２はItの画素各々に等質性値Ht(x,y)を割り当てる。次に平均化装置１０３は加重平均等質性値
【００２９】
【数５】
2005517257.tif 000007
を、等質性値Ht(x,y)を先行して判定された等質性値
【００３０】
【数６】
2005517257.tif 000008
と平均化することによって、算定する。該平均等質性値
【００３１】
【数７】
2005517257.tif 000009
は次に、座標(x,y)の画素を特定のセグメントに割り当てるのに、該平均等質性値を閾値と比較する、比較装置１０６に供給される。選択的に、別のセグメント化工程、例えば、拡散、収縮、膨張のような、形態素操作、が比較装置１０６によって行われる。セグメント化結果は相当する画素がどのセグメントに属するのかを示す値のマトリックスである。このセグメント化結果は出力コネクタ１１２で供給される。平均等質性値
【００３２】
【数８】
2005517257.tif 000010
は、
【００３３】
【数９】
2005517257.tif 000011
すなわち、後続画像のセグメント化に用いる
【００３４】
【数１０】
2005517257.tif 000012
の動き補償バージョン、を算定するのに、動き補償装置１０４にも供給される。
【００３５】
平均化装置１０３はコネクタ１１４のある制御インタフェースを有し、該コネクタによって重み付け係数αの適切な値を供給し得る。αの値は０と１の間におさまる。α＝0の場合、他の画像の等質性値は現行画像のセグメント化について考慮されない。α＝１の場合、他の画像の等質性値のみが現行画像のセグメント化について考慮される。選択的にこの重み付け係数α（x,y）は画素ベースで制御される（図３参照。）。それは式２を
【００３６】
【数１１】
2005517257.tif 000013
に書き換えることを表す。
【００３７】
動き推定装置１０８は選択的に出力コネクタ１１３を有し、該出力コネクタでは動きベクトルも供給される。それはこの出力コネクタによって動き補償装置104以外の装置が動きベクトルをアクセスし得ることを表す。図4によって、これらの動きベクトルはセグメント化装置４０４に外部から入力し得ることを示す。
【００３８】
図２は概略的にセグメント化装置２００の実施例を表し、該装置は比較装置１０６によって制御される動き推定装置１０８を有する。本発明による本実施例においては、動き推定装置１０８はセグメント化装置２００によって規定されるセグメントについて動きベクトルを算定するよう形成される。逆に、セグメント化装置２００は動き推定装置１０８によって推定された動きベクトルに基づいて新しいセグメントを算定するよう形成される。この相互依存性のために、初期セグメント化は、動きを考慮することなく、単一の画像に基づいて行われる。この初期セグメント化によって見出されたセグメントに基づいて、後続画像を処理するよう動きベクトルを推定し得る。それ以外については、このセグメント化装置２００の動作は図１によって示したようなセグメント化装置１００の動作とかなり同様なものである。
【００３９】
図３は、セグメント化装置３００と、動き推定装置１０８によって制御される平均化装置１０３、との実施例である。重み付けは画素ベースで制御される、すなわち、式４はこのセグメント化装置３００に該当する。動きベクトルが動き補償装置104及び平均化装置１０３に供給される。更に、動きベクトルに関するその情報が平均化装置１０３に供給される。情報とは動きベクトルの品質に関する示度、例えば、動きベクトルのマッチング・エラー、を表す。特定の動きベクトルの品質が高い場合、相当する重み付け係数α(x,y)の値は高い値に設定し得る。しかしながら、特定の動きベクトルの品質が低い場合、相当する重み付け係数α（x,y）は低い値に設定し得る。
【００４０】
図４は本発明による画像処理装置４００の実施例を表す。画像処理装置４００は：
画像列を受信する受信手段４０２（受信信号はアンテナ又はケーブルを介して受信された放送信号であり得、更に、VCR(ビデオ・カセット・レコーダ)又はディジタル多用途ディスク（DVD）のような記憶装置からの信号でもあり得る。該信号は入力コネクタ４０８で入力される。）；
図１、２又は３によって示したようなセグメント化装置４０４；及び
セグメント化装置４０４によって制御される画像処理ユニット４０６；
を有する。画像処理ユニット４０６は、例えば、MPEG（動画像符号化専門家グループ）符号器、のような、映像符号器であり得る。画像をセグメント化させることによって、該セグメントの一部を他のセグメントよりも高い精度で符号化することが考えられる。これは、例えば、人物の顔が背景とは違ったかたちで符号化される、ビデオ会議システム、において、効果的である。
【００４１】
代替的に画像処理ユニット４０６は深さ推定を行うよう形成し得る。動き推定の方法の工程は、深さ推定の方法を得る計算工程が後続するものであってもよい。以下の、すなわち、既知の動きのあるカメラによって撮られた静的情景の画像列がある場合、深さ情報を復元する、課題を考察する。画像列における全ての明らかな動きは視差から結果として生じる。１つのセグメントと別のものとの動きにおける差異は深さ差異を示す。実際に、2つの連続する画像を分析することによって時間ｔでの特定の画像セグメントとｔ＋１での同じセグメントとの間の視差を算定し得る。この視差は情景の異なる部分の動きに相当する。カメラの平行移動の場合、前景における物体は背景におけるもの以上に移動する。幾何学的関係を適用することによって、該深さ情報を該動きから推定し得る。この考え方はP.  Wilinski  and  C.  van  Overveldによる「Depth  from  motion  using  confidence  based  block  matching,  Proceedings  of  Image  and  Multidimensional  Signal  Processing  Workshop,  pages  159-162,  Alpsbach,  Austria,  1998.」と題する、論文において記載されている。
【００４２】
上記実施例は本発明を限定するよりもむしろ例示するものであり、当業者は別の実施例を本特許請求の範囲から逸脱することなく考案することができるものであることを特筆する。本特許請求の範囲においては、括弧内に位置する如何なる参照記号も本特許請求の範囲を限定するものと解釈すべきでない。本明細書及び特許請求の範囲の原文における「comprising」の語は本特許請求の範囲に記載されていない構成部分又は工程の存在を排除するものでない。該原文における構成部分に先行する「a」又は「an」の語はそのような構成部分の複数の存在を排除するものでない。本発明はいくつかの別個の構成部分を有するハードウェアによって、かつ、適切にプログラム化されたコンピュータによって、実施し得る。いくつかの手段を列挙する装置クレイムにおいては、これらの手段のいくつかは１つでかつ同一のハードウェア品目によって実施し得る。
【図面の簡単な説明】
【００４３】
【図１】本発明による、加重平均等質性値を算定するよう形成された、セグメント化装置の実施例を表す概略図である。
【図２】比較装置によって制御される動き推定装置を有するセグメント化装置の実施例を表す概略図である。
【図３】セグメント化装置と、動き推定装置によって制御される平均化装置との、実施例を表す概略図である。
【図４】本発明による画像処理装置の実施例を表す概略図である。
【図１】
2005517257.tif 000014
【図２】
2005517257.tif 000015
【図３】
2005517257.tif 000016
【図４】
2005517257.tif 000017
【国際調査報告】
2005517257.tif 000018
2005517257.tif 000019
2005517257.tif 000020