(57)【特許請求の範囲】
【請求項１】
画像内で、隣接する画素が結合した画像を領域に分割するように、画像信号の画像をオブジェクト向け符号化のためにセグメント化するに当たり、前記画素のクロミナンス値を、前記領域を形成するのに利用し、同様なクロミナンス値を有する画像の隣接する画素を、連接する領域に結合し、共通のクロミナンス値を、領域の画素に対して与え、前記領域を形成する際、前記画素のクロミナンス値をルミナンス値よりも重みをかけることを特徴とする画像セグメント化方法。
【請求項２】
領域の前記共通のクロミナンス値は、前記領域に割り当てられた画素の元のクロミナンス値の中間値に相当することを特徴とする請求項１記載の画像セグメント化方法。
【請求項３】
前記領域を形成する際、前記画素のクロミナンス値を専ら用いることを特徴とする請求項１又は２記載の画像セグメント化方法。
【請求項４】
領域の全ての画素に対して共通のクロミナンス値を有する領域を２ステップで形成し、第１ステップで、画素のクロミナンス値と輝度値の両方を用いて中間領域を形成し、第２ステップで、前記領域を中間領域から形成して、前記中間領域を領域に結合し、同様なクロミナンス値を有する中間領域を、共通のクロミナンス値を有する共通領域に結合することを特徴とする請求項１から３のうちのいずれかに記載の画像セグメント化方法。
【請求項５】
前記第１ステップで、画像Ｉn 及びこれに続く画像Ｉn+1 の中間領域の動作の予測を連続的な画像に対して行い、前記画像Ｉn+1 の中間領域の新たな位置を、動作の予測により各中間領域に対して決定した動作ベクトルを参照して決定し、次いで、各々のとって代わった中間領域に属する画像Ｉn+1 の画素を適合させ、この適合した中間領域によってカバーされていない画像Ｉn+1の画素を、前記中間領域のうちの一つ又は新たに形成した中間領域に割り当て、次いで、前記第２ステップで、前記中間領域を領域に結合することを特徴とする請求項４記載の画像セグメント化方法。
【請求項６】
前記画像Ｉn+1 の連続する画像に対して、画像Ｉn とＩn+1との間で動く中間領域を前記動作情報によって引き返す間、割り当てられた領域に対して以前の画像Ｉn で結合した中間領域に引き返し、前記中間領域を同一の割り当てられた領域に併合することを試み、他の領域又は新たな領域との併合を、最初に併合を行えなかった中間領域に対して行うことを特徴とする請求項５記載の画像セグメント化方法。
【請求項７】
色差値の対Ｕ，Ｖによって、各領域のクロミナンス値を表すとともに符号化することを特徴とする請求項１から６のうちのいずれかに記載の画像セグメント化方法。
【請求項８】
前記領域の形状をチェーンコードによって符号化し、このチェーンコードでは、領域のエッジの最初の画素の位置を完全に符号化し、この最初の画素から開始して、関連の画素が以前に符号化した画素の前後左右のいずれかに位置する場合のみ符号化するように、前記領域のエッジの他の画素の位置を連続的に符号化することを特徴とする請求項１から７のうちのいずれかに記載の画像セグメント化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像内で、隣接する画素が結合した画像を領域に分割するように、画像信号の画像をオブジェクト向け符号化のためにセグメント化する画像セグメント化方法に関するものである。
【０００２】
【従来の技術】
このような画像セグメント化方法は、いわゆるオブジェクト向き符号化に用いられる。画像の幾何学的な分割及びそれに続く幾何学的な単一要素の符号化と異なり、ＭＰＥＧ２符号化に用いられるように、オブジェクト向き符号化は、その成分したがってこの画像に示したオブジェクトを参照して画像を分割することを試みる。これは、ブロック間のインタフェースに生じる影響が妨害されないという利点を有する。その理由は、それらは、オブジェクトの境界に一致するからである。
【０００３】
【発明が解決しようとする課題】
オブジェクト向き符号化に対するセグメント化方法は、例えば、１９９５年６月に刊行されたProceedings of the IEEE, Vol.83, No.6 の843 〜857 頁に記載されたPhilippe Salembier, Luis Torres, Fernand Meyer, Chuang Gu による“Region-based video coding using mathematical morphology" から既知である。この既知の方法において、画像は、画像成分の輝度値に依存してセグメント化される。
【０００４】
本発明の目的は、大きなデータ圧縮を達成するとともにデータ符号化及び復号化後にセグメンテーションがほとんど見えない画像セグメント化方法を提供することである。
【０００５】
【課題を解決するための手段】
本発明によれば、この目的を、前記画素のクロミナンス値を、前記領域を形成するのに利用し、同様なクロミナンス値を有する画像の隣接する画素を、連接する領域に結合し、共通のクロミナンス値を、領域の画素に対して与えることによって達成する。
【０００６】
本発明は、画素のクロミナンス値が領域を形成する際にコア値として用いられることが主な理由でオブジェクト向け符号化したがって画像のセグメンテーションに先行して既知の方法よりも大きなデータ圧縮を達成することができるという認識に基づくものである。これは、人間の目が輝度情報に比べて色の刺激に対して鈍感であるために可能である。したがって、これを、領域に属する全ての画素に対する一つのクロミナンス値のみを各領域に対して与えることによって実現することができる。このために、予め設定することができる境界内に同様なクロミナンス値を有するこれら隣接する画素を結合して一つの領域にする。したがって、一つのクロミナンス値のみを領域の全ての画素に対して使用し、これは、上記連接によって可能になる。
【０００７】
このプロセス中、人間の目はうまくだまされ、３００〜６００倍の圧縮が色情報に対して達成される。これにより、色エッジ等に任意のスミアが生じない。その理由は、相違する色の間のインタフェースのエッジは、相違する領域間にエッジを構成し、したがって正確に規定されるからである。微細な色のニュアンスは、同様な色のフィールド内のみで抑制される。人間の目は、これらのニュアンスに気がつかない。
【０００８】
本発明の一例は、領域の前記共通のクロミナンス値は、前記領域に割り当てられた画素の元のクロミナンス値の中間値に相当することを特徴とするものである。この領域に属する画素の元のクロミナンス値からの領域のクロミナンス値の平均偏位を、これにより最小にする。
【０００９】
必要な場合には、領域を形成する際に、画素のクロミナンス値だけではなくその輝度値も用いるが、本発明の他の例によれば、上記利点を達成するために、輝度値をクロミナンス値より弱く重みをかける必要がある。
【００１０】
本発明の他の例及び極端な場合には、前記領域を形成する際、前記画素のクロミナンス値を専ら用いる。クロミナンス値の最大データ圧縮は、輝度値の詳細な再生を妨害することなく、これによって達成される。
【００１１】
本発明の他の例によれば、領域の全ての画素に対して共通のクロミナンス値を有する領域を２ステップで形成し、第１ステップで、画素のクロミナンス値と輝度値の両方を用いて中間領域を形成し、第２ステップで、前記領域を中間領域から形成して、前記中間領域を領域に結合し、同様なクロミナンス値を有する中間領域を、共通のクロミナンス値を有する共通領域に結合する。
【００１２】
この２ステップ法においても、画素のクロミナンス値を参照して領域が形成される。
【００１３】
第１ステップでは、例えば、画素のクロミナンス値と輝度値の両方を用いる既知の方法で領域が形成される。次いで、両方の値を適合させることによりセグメンテーションが得られる。これら中間領域は専らそのクロミナンス値に対して結合されて、予め設定できる制限内の同様なクロミナンス値を有する中間領域を結合して共通領域とする。この場合、この共通領域は、この領域の全ての画素に対して一つのクロミナンス値を有する。
【００１４】
この２ステップ法は、第１ステップで領域を形成するとオブジェクト境界をより安全にカバーすることができるという利点がある。その理由は、輝度値をそれら境界においても利用するからである。領域を形成する際に、このようにして形成した中間領域をもう一度結合して、領域の数したがってデータ量を有効に減少させることができる。
【００１５】
領域を２ステップで形成する本発明による方法のこの変形例に対して、本発明の他の例は、前記第１ステップで、画像Ｉn 及びこれに続く画像Ｉn+1 の中間領域の動作の予測を連続的な画像に対して行い、前記画像Ｉn+1 の中間領域の新たな位置を、動作の予測により各中間領域に対して決定した動作ベクトルを参照して決定し、次いで、各々のとって代わった中間領域に属する画像Ｉn+1 の画素を適合させ、この適合した中間領域によってカバーされていない画像Ｉn+1 の画素を、前記中間領域のうちの一つ又は新たに形成した中間領域に割り当て、次いで、前記第２ステップで、前記中間領域を領域に結合することを特徴とするものである。
【００１６】
原理的には、第１ステップで最初に形成した中間領域を各画像で再び発生させる必要がない。連続的な画像の画像成分が（カメラチェンジ、場面チェンジ等は別にして）一般的に非常によく似ているので、この領域が画像中でその位置を変えても、動作の予測に基づいて次の画像の領域に引き返すことができる。この領域を再び形成する必要がない。その理由は、動作の予測によってそれに引き返されるからであるが、そのデータを以前の画像から引き継ぐことができる。これにより、演算動作に対する符号化処理が減少し、したがって演算時間が減少する。既に説明したような方法で、連続的な画像においてこのようにして反復した中間領域を結合して、領域を形成し、同様なクロミナンス値を有する中間領域を併合して、一つのクロミナンス値を有する共通領域とする。
【００１７】
中間領域の反復中に動作の予測を用いるこの２ステップ法に対して、本発明の他の例は、前記画像Ｉn+1 の連続する画像に対して、画像Ｉn とＩn+1 との間で動く中間領域を前記動作情報によって引き返す間、割り当てられた領域に対して以前の画像Ｉn で結合した中間領域に引き返し、前記中間領域を同一の割り当てられた領域に併合することを試み、他の領域又は新たな領域との併合を、最初に併合を行えなかった中間領域に対して行うことを特徴とするものである。
【００１８】
動作の予測による連続的な画像の中間領域の反復により、領域に合併された中間領域は一般に次の画像でも再び見つけられる。したがって、中間領域が領域に合併されたときも、画像中で動くおそれのある同一の中間領域を連続的な画像の共通領域に再び併合することができる。この作動ステップは、中間領域を繰り返すとともにこれら領域の領域への合併を以前の画像と同様にして実行することができるという利点を有する。これは、新たな演算を必要としない。例えば、中間領域が画像成分中に存在しない、又は新たな中間領域が現れるので、この動作をしそこなったこれら領域は、他の領域に併合され、又は残りの中間領域を後に併合することができる一つ以上の新たな領域が形成される。
【００１９】
本発明の他の例によれば、前記領域の形状をチェーンコードによって符号化し、このチェーンコードでは、領域のエッジの最初の画素の位置を完全に符号化し、この最初の画素から開始して、関連の画素が以前に符号化した画素の前後左右のいずれかに位置する場合のみ符号化するように、前記領域のエッジの他の画素の位置を連続的に符号化する。
【００２０】
輝度及びクロミナンスとみなす画素の符号化に加えて、接続部面との形態の符号化も必要とされる。領域の形状の符号化のデータセービングモードは、チェーンコードによって可能である。一つの最初の画素のみの位置の完全な表示は、この場合符号化される。この最初の画素は領域のエッジに位置する。この最初の画素から開始して、隣接する画素のみが、領域のエッジで、この最初の画素に隣接する他の画素の各々に対して符号化される。最初の画素に隣接する画素は、最初の画素の前後左右のいずれかの位置で符号化される。この方法は、領域のエッジの全ての画素がこのようにして符号化されるまで、エッジの他の隣接する画素に対して繰り返される。したがって、最初の画素は別にして、領域の他の全ての画素に対する２ビット符号化は十分である。
【００２１】
【発明の実施の形態】
図１は、２ステップ符号化のプロセスを線図的に示す。２ステップ符号化の簡単な場合において、連続的な画像の画像線分を考慮しない。図１において、先ず、一つ又は複数の連続的な画像の画像成分を具える信号Ｉを、画像成分の中間セグメントへの第１細分を実行する回路ブロック（段）１に供給する。これを、例えば、画像成分の画素の輝度値及びクロミナンス値を考慮することにより、既知の方法で実現することができる。回路ブロック１は、中間領域ｉの全ての画素を番号ｉによって特徴づけたラベル画像に対する出力信号を発生させる。
【００２２】
中間領域のこれらデータは、他の回路ブロック２で処理されて、その領域の画素を、それらのクロミナンス値で検査する。画素が同様なクナミナンス値を有する中間領域が存在する可能性がある。この場合、これら中間領域を併合する。各領域は、その画素の全てに対して一つの輝度値のみ有する。図１の回路ブロック２は、その出力部から領域のこれらデータＳを発生させる。
【００２３】
クロミナンス値に適応した領域を形成するこの２ステップモードを、図２を参照して説明する。
【００２４】
図２Ａは、この方法の第１ステップで適合したような中間領域を有する画像を示す。図２Ｂは、クロミンナンス値に基づいて形成した最終領域を示す。
【００２５】
図２Ａにおいて、複数の中間領域を、人の胸部の画像に対して形成する。６個の中間領域を、人の頭部に対する中間領域１１のみ、特に顔の皮膚に対する中間領域１０、鼻に対する中間領域１２及び口に対する中間領域１３のみを形成する。
【００２６】
胸部区域１４において、全体で７個の中間領域は、特に人の腕すなわち袖の領域１５及び胸部の右側の領域１６を形成する。この領域１６は、例えばジャケット１６のボタンを表す中間領域１７も含む。
【００２７】
これら中間領域を、画像成分の輝度値及びクロミナンス値に基づいて形成する。特にクロミナンス値のデータ圧縮を大きくするために、併合による領域の形成を、図２Ｂに図示したような本発明によって実行する。図２Ｂに図示したこれら領域の形成を、図２に図示した２ステップモードによる代わりに元の画像成分から直接発生させることができる。
【００２８】
図２Ｂは、中間領域を比較すると頭部の区域について二つの領域が省略されていることを示す。顔の他の成分を表す中間領域１０を、鼻の中間領域１２及び口の中間領域１３に割り当てる。図２Ｂにおいて、領域２１の全ての画素が一つの共通するクロミナンス値を有するので、領域２１を、３個の中間領域１０，１２及び１３から形成する。このクロミナンス値を、例えば、領域１０，１２及び１３のクロミナンス値を平均することによって発生させることができる。同様に、胸部区域において、領域１５，１６及び１７を併合して新たな領域２２を発生させる。顔の区域と同様に、これは可能である。その理由は、中間領域１５，１６及び１７は同様なクロミナンス値を有するからである。本例において、ジャケットの相違する部分を、クロミナンス値よりもむしろ輝度値によって区別する。
【００２９】
対応する方法において、図２Ａに図示した人のネクタイの部分を表す二つの中間領域１８及び１９を併合することによる他のデータ圧縮を、胸部区域で達成することかできる。以後、このネクタイを共通領域２３によって表す。
【００３０】
形成した領域を表す結果を図２Ｂに示す。これらは、同様なクロミナンス値を有する画像成分を表す。画像のデータを符号化するに当たり、領域の形成が有効である。その理由は、一方では、画像中の相違する対象の境界がこの領域形成によって示されるからであり、他方では、クロミナンス値の相当なデータ圧縮がこれら領域の形成によって既に達成されているからである。次の符号化プロセスにおいて、画素の輝度値のみが適切な方法で符号化される。
【００３１】
図２において、２ステップ符号化を、前後の画像の画像成分を考慮することなく画像内で実行する。
【００３２】
図２及び３を参照すると、連続的な画像の画像成分を追加的に考慮することができる方法並びにこれが中間領域及び領域の形成に影響を及ぼす方法を示す。
【００３３】
図３Ａは、図２Ａの画像成分と同様な画像成分を示す。図３Ａに図示した画像成分は、図２Ａの像に続く像に関するものである。図３Ａによる画像の中間領域を形成するに当たり、図２Ａに形成した中間領域の反復を動作の予測に基づいて行う。この動作の予測により、大抵の中間領域を図示した例において再び見つけることができる。図２Ａ及び３Ａに図示した例において、図示した人はほとんど動かない。動作の予測に基づいて、例えば人が左半分の画像から右半分の画像に移動する場合、中間領域の反復が可能である。
【００３４】
図３Ａに図示した例において、図２Ａの中間領域１７を除く全ての中間領域を再び見つけることかできる。図２Ａに図示した中間領域１７を見つけることができない。その理由は、シートが人の胸部の前に移動したからであり、そのシートは、図３Ａに図示したイメージのセグメンテーションに対する新たな中間領域３１を結合する。さらに、袖が中間領域３２に結合されるとともに手が中間領域３３に結合される腕が、図３Ａに図示した画像中に現れる。
【００３５】
その結果、三つの中間領域３１，３２及び３３のみを、図３Ａに図示した画像に対して新たに形成すればよい。他の中間領域を図２Ａから引き継ぐことができる。この結果、演算が大幅に減少する。その理由は、中間領域１０〜１６，１８，１９のデータが引き継がれるからである。
【００３６】
画素のクロミナンス値に基づいて実行される図３Ｂに図示した領域の形成に対しても、以前の画像に形成した領域に引き返すとともにそれらを引き継ぐように試みることが適用される。例えば、中間領域１２，１３及び１０を併合して新たな共通領域２１とすることは、図２に図示した以前の画像をセグメント化するプロセスから既知である。したがって、図３に図示した次の画像に対して、領域を形成する際にこのプロセスを繰り返すことができる。この場合、中間領域のクロミナンス値すなわちそれらの画素の単一の検査は不要である。図３Ｂに図示した領域を有する次の画像に対して、このセグメンテーションは、以前の画像から自動的に引き継がれる。その理由は、図３Ａに図示した関連の中間領域１０，１２及び１３が再び見つけられ、したがって、これら中間領域の共通領域２１への結合も、図３に図示した次の画像に対して引き継ぐことができるからである。
【００３７】
基本的には、図２に図示した画像に対する次の画像として、図３に図示した画像において中間領域１５及び１６を新たな領域２２に併合することもできる。しかしながら、中間領域１７が取り消され、その結果この領域２２に割り当てることができない。代わりに、他の任意の中間領域に割り当てることができず、したがって新たな領域４２を形成する新たな中間領域３１が現れる。この理由は、例えば、シートがその周辺と相違する色を有し、その結果、それを、特に領域２２に割り当てることができないからである。
【００３８】
図２の領域２０に対して変化のない形態を引き継いだ中間領域２０を、図３の新たな領域４１に併合することができる。その理由は、袖によって形成された中間領域３２を有する腕が更に現れるからである。腕３３はその周りの区域と相違する色を有し、その結果中間領域３３を新たな領域４３に形成する必要がある。
【００３９】
その結果、図３は、第１ステップと第２ステップの両方において、以前の画像の画像成分及びこの画像中に形成した中間領域又は図３Ａの次の画像のセグメント化に対する領域を考慮することができることを示す。したがって、複数の領域及び中間領域の新たな演算は不必要である。その理由は、関連のデータが以前の画像から引き継がれるからである。
【００４０】
図４は、以前の画像の画像成分が考慮されるこのような２ステップセグメンテーションを実行することができる方法をブロック図によって示す。
【００４１】
図４において、連続的な画像Ｉn ，Ｉn+1 等のデータが回路ブロック５１に順次供給される。図１の回路ブロック１と同様に、中間領域を回路ブロック５１に形成する。その後発生した出力データを、遅延部５２を介して再び回路ブロック５１に供給して、例えば、以前の画像Ｉn 中で決定した中間領域を画像Ｉn+1 で利用するとともに、それらのデータを動作の予測に用いることができるようにする。
【００４２】
回路ブロック５１は、図１の回路ブロック２と同様に領域を形成する回路ブロック５３に先行する。しかしながら、図１に図示した場合と異なり、以前の画像の中間領域及び領域を図４において考慮する。回路ブロック５３の出力部は、どの中間領域が領域を構成するかを表すデータも発生させる。回路ブロック５３の出力部から生じた画像の領域に対するデータは、遅延部によって遅延されて、例えば、以前の画像Ｉn 中に形成された領域が、画像Ｉn+1 の領域の形成に利用できる。
【００４３】
図４は、領域の形態及び配置を符号化するとともにそれらを領域データＳとして発生させる回路ブロック５５も示す。このような領域データの符号化は、位置、サイズ等を表す。この場合、領域のエッジの全ての画素の位置を表すいわゆるチェーンコードを用いるのが有利である。完全にコード化された形態で位置が伝送される最初の画素から開始して、前後左右に隣接する画素の各々の相対位置が伝送される。
【００４４】
図４は、色データの符号化を実行する回路ブロック５６も示す。領域のセグメント化及び形成が以前に実行されて、領域に属する全ての画素が一つの共通のクロミナンス値のみを有するので、符号化が領域ごとにのみ要求される。したがって、回路ブロック５６は、各領域に対して、例えば、領域の全ての画素に対する符号化色情報を表す色差対ＵＶC を発生させる。
【００４５】
さらに、信号ＹC として符号化形態で画素の輝度値を発生させる回路ブロック５７を設ける。輝度情報を符号化するに当たり、所望の場合には、中間領域のデータと領域のデータの両方を利用することができる。輝度情報に対して、画素の単一の値をより詳細に符号化すればよく、その結果領域の全ての画素を同一の輝度値で符号化しなくてもよい。
【００４６】
線図的に図示した回路ブロック５１〜５４を参照すると、図４は、本発明による画像セグメンテーションを示す。回路ブロック５７で実行される画像成分の符号化は本発明の一部を形成しない。
【図面の簡単な説明】
【図１】２ステップセグメンテーションに対するブロック図を示す。
【図２】２ステップ符号化に対する画像の一例を示す。
【図３】図２の画像に対して動作する、図２の画像の反復画像を示す。
【図４】中間領域の形成及び連続的な画像の領域の反復に対する動作の予測を行うブロック図である。
【符号の説明】
１，２，５１，５３，５５，５７  回路ブロック
１０，１１，１２，１３，１５，１６，１７，１８，１９，２０，２２，３１，３２，３３，４２  中間領域
１４  胸部区域
２１，２３，４１  共通領域
５２，５４  遅延部
Ｉn ，Ｉn+1   画像
Ｓ  領域データ
ＵＶC   色差対
【図１】
0004123539.tif 000002
【図２】
0004123539.tif 000003
【図３】
0004123539.tif 000004
【図４】
0004123539.tif 000005