(57)【特許請求の範囲】
【請求項１】
画像信号のタイムシーケンシャル画像をセグメント化する画像セグメント化方法であって、画像内で、そのセグメンテーション中画像を領域に分割し、同様な輝度値及び／又はクロミナンス値を有する隣接する画素を領域に関連させる画像セグメント化方法において、タイムシーケンシャル画像において画像Ｉn の領域の移動の予測を行うことにより次の画像Ｉn+1 における画像Ｉn の領域の引き返しを試み、画像Ｉn+1 の領域の新たな位置を、前記移動の予測により各領域に対して決定した移動ベクトルを参照して決定し、配置した領域を、前記画像Ｉn+1 の画像成分に適合させ、これら適合された領域によってカバーされていない前記画像Ｉn+1 の画素を、これら領域のうちの一つ又は新たに形成した領域に加えることを特徴とする画像セグメント化方法。
【請求項２】
前記画像Ｉn の複数の画素を、その領域の移動に基づいて前記画像Ｉn+1 の画素に写像する場合、各画素に対して、移動した領域のうちのいずれに、前記画素がその輝度値及び／又はクロミナンス値に関して前記画像Ｉn+1 で最も整合しているかを決定することを特徴とする請求項１記載の画像セグメント化方法。
【請求項３】
前記画像Ｉn 及びＩn+1 に対して決定した移動ベクトルを、前記画像Ｉn 及びＩn+1 に対して更に決定した移動ベクトルと比較し、両方の移動の評価中領域に対して著しく相違する移動ベクトルを決定する場合、この領域に対する移動ベクトルを無効であると考慮し、この領域の画素を、他の置換領域のうちの一つ又は新たに形成した領域に加えることを特徴とする請求項１又は２記載の画像セグメント化方法。
【請求項４】
前記領域の境界に配置した各画素に対して、その輝度値及び／又はクロミナンス値がその上下左右に関連する領域の画素と同様であるか否かを検査し、前記画素を、見つけられたより整合する領域にできるだけ加えることを特徴とする請求項１から３のうちのいずれかに記載の画像セグメント化方法。
【請求項５】
同様な輝度値及び／又はクロミナンス値を有する領域の併合を、前記画像Ｉn+1 で新たに形成された領域に対して行うことを特徴とする請求項１から４のうちのいずれかに記載の画像セグメント化方法。
【請求項６】
予め決定された最小サイズより下の領域を消滅させ、その画素を、他のできるだけ整合する領域に加えることを特徴とする請求項１から５のうちのいずれかに記載の画像セグメント化方法。
【請求項７】
前記画像Ｉn+1 で新たに形成された領域の最小サイズを、前記画像Ｉn から引き継がれて配置された領域のものより大きくすることを特徴とする請求項６記載の画像セグメント化方法。
【請求項８】
前記画像Ｉn の領域からの置換に起因する前記画像Ｉn+1 の各領域を、前記画像Ｉn のその隣接したものと比較し、前記領域を、前記画像Ｉn の等しい又はより小さい領域に結合することを特徴とする請求項１から７のうちのいずれかに記載の画像セグメント化方法。
【請求項９】
前記画像Ｉn+1 の新たな領域を形成する前に、前記画像Ｉn に対して置換した領域のうちのいずれにも関連しない画素値を参照してエッジ検出を行い、エッジを形成する画素を、その輝度値及び／又はクロミナンス値に関して最も整合するその新たな領域に加えることを特徴とする請求項１から８のうちのいずれかに記載の画像セグメント化方法。
【請求項１０】
シーンの変更を、前記画像Ｉn+1 の画像成分が前記画像Ｉn から著しくずれるときに移動の予測が行われず、かつ、専ら新たな領域が形成されるように認識することを特徴とする請求項１から９のうちのいずれかに記載の画像セグメント化方法。
【請求項１１】
請求項１から１１のうちのいずれかに記載された画像セグメント化方法を実施する画像セグメント化回路において、この回路は、画像Ｉn の領域のデータを受信するとともに次の画像Ｉn+1 のデータを参照して形成した領域の移動の推定を行う手段（１）を具えることを特徴とする画像セグメント化回路。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像信号のタイムシーケンシャル画像をセグメント化する画像セグメント化方法であって、画像内で、そのセグメンテーション中画像を領域に分割し、同様な輝度値及び／又はクロミナンス値を有する隣接する画素を領域に関連させる画像セグメント化方法に関するものである。
【０００２】
【従来の技術】
画像信号の各画像内のセグメンテーションを行う方法は、１９８５年に刊行されたRobert M.Maralick によるLinga G.Shapiro,Vol.29,100〜132 頁の“Image Segmentation Techniques, Computer Vision, Graphics, and Image Processing"から既知である。セグメンテーションを、各画像を関連の画素が同様な輝度値及び／又はクロミナンス値を有する領域に分割することによって行う。この既知の方法では、連続する画像の同様な成分は考慮されない。
【０００３】
相違するセグメンテーション技術を用いる他の方法は、１９９５年６月に刊行されたProceedings of the IEEE, Vol.83, No.6 の843 〜857 頁に記載されたPhilippe Salembier, Luis Torres, Fernand Meyer, Chuang Gu による“Region-based video coding using mathematical morphology" から既知である。この方法では、連続する画像の同様な画像成分を利用することが試みられる。
【０００４】
【発明が解決しようとする課題】
しかしながら、この方法は、画像成分に移動があると実行できなくなる。本発明の目的は、移動があるときにも連続的な画像の領域に再び戻ることもできるとともに連続的な画像の間のセグメンテーションの移転が可能であるような、冒頭で説明した方法を向上させることである。
【０００５】
【課題を解決するための手段】
本発明によれば、この方法は、タイム−シーケンシャル画像において画像Ｉn の領域の移動の予測を行うことにより次の画像Ｉn+1 における画像Ｉn の領域の引き返しを試み、画像Ｉn+1 の領域の新たな位置を、前記移動の予測により各領域に対して決定した移動ベクトルを参照して決定し、配置した領域を、前記画像Ｉn+1 の画像成分に適合させ、これら適合された領域によってカバーされていない前記画像Ｉn+1 の画素を、これら領域のうちの一つ又は新たに形成した領域に加えることによって解決される。
【０００６】
画像Ｉn に存在する領域には、既知の移動予測方法が適用される。このようにして、画像Ｉn の領域の位置に対する画像Ｉn+1 の領域の置換を決定することができることにより、移動ベクトルが決定される。画像Ｉn+1 の領域の位置はこの際既知である。次に、この領域は画像Ｉn+1 で追跡される。すなわち、それは置換領域として取り扱われる。画像Ｉn の領域に対して形成した値並びに領域のサイズ及び形状を引き継ぐことができる。しかしながら、領域の置換により、画像Ｉn の画素以外の画素を画像Ｉn+1 に関連させる。これにより、画像Ｉn+1 の領域を再び形成する必要がなくなるという利点が生じ、その結果複雑な演算したがって時間が符号化プロセスで省略される。
【０００７】
基本的には、この方法を画像Ｉn の全ての領域に対して用いることができる。実際には、画像Ｉn の領域の大部分を画像Ｉn+1 で再び見つけることができる。
【０００８】
現在の移動に基づいて、新たな画像成分を、スライディング又はカメラのパン動作によって発生させることができる。これら新たな画像成分を、以前の画像から引き継ぐことができる領域のうちの一つに加える。必要な場合には、新たな領域を、カバーされていないこれら画素に対して形成することもできる。
【０００９】
したがって、そのセグメンテーション中、画像シーケンス中の画像は、以前の画像から引き継がれた又は置換された領域を有することができる。しかしながら、それは、新たに形成された又は拡大された領域も有することができる。以前の画像から引き継ぐことができる、可能な場合には置換された位置の各領域により、演算プロセスを減少させる。さらに、このような領域を予測により更に容易に符号化することができる。
【００１０】
本発明の一例は、前記画像Ｉn の複数の画素を、その領域の移動に基づいて前記画像Ｉn+1 の画素に写像する場合、各画素に対して、移動した領域のうちのいずれに、前記画素がその輝度値及び／又はクロミナンス値に関して前記画像Ｉn+1 で最も整合しているかを決定することを特徴とするものである。
【００１１】
相違する移動に基づいて、一つの画像Ｉn の二つの領域を、画像Ｉn+1 の共通区域又は部分的な区域に写像することができる。この際、画像Ｉn+1 の二つの領域の疑似区域が生じる。これは許容することができないので、二つの領域の重複区域に配置された画素の各々に対して、移動した領域のうちのいずれが輝度値及び／又はクロミナンス値に関して画像Ｉn+1 で最も整合するかを決定する必要がある。したがって、各画素がどの領域に最も整合するかについての決定を重複区域において行う。
【００１２】
本発明による方法の他の例において、前記画像Ｉn 及びＩn+1 に対して決定した移動ベクトルを、前記画像Ｉn 及びＩn+1 に対して更に決定した移動ベクトルと比較し、両方の移動の評価中領域に対して著しく相違する移動ベクトルを決定する場合、この領域に対する移動ベクトルを無効であると考慮し、この領域の画素を、他の置換領域のうちの一つ又は新たに形成した領域に加える。
【００１３】
画像Ｉn 及びＩn+1 間の上記移動の予測を、画像Ｉn-1 及びＩn に対する場合にも好適に行うことができる。これにより移動の一致を評価することができる。二つの移動評価に起因する移動ベクトルが著しく相違する場合、これは、移動評価がエラー値を生じたことを表す。これは、例えば同様な画像成分が存在する場合に生じるおそれがある。したがって、これら二つの移動評価により相違する移動ベクトルが生じる場合、画像Ｉn+1 に領域を新たに形成する、すなわち移動評価に基づいて決定した移動に対する画像Ｉn+1 の領域を放棄する。
【００１４】
本発明の他の例では、前記領域の境界に配置した各画素に対して、その輝度値及び／又はクロミナンス値がその上下左右に関連する領域の画素と同様であるか否かを検査し、前記画素を、見つけられたより整合する領域にできるだけ加える。
【００１５】
このような動作で、好適に配置された領域の画素を後処理して、関連の画素の前後左右に配置された隣接する画素の各々が関連の画素との類似を検査する。他の領域の画素と非常に類似することがわかると、画素をこの領域に加える。このようにして領域の境界が適合される。
【００１６】
本発明の他の例によれば、同様な輝度値及び／又はクロミナンス値を有する領域の併合を、前記画像Ｉn+1 で新たに形成された領域に対して行う。
【００１７】
同様な輝度値及び／又はクロミナンス値を有する領域の併合を、画像Ｉn+1 に新たに形成された領域に対して行う。しかしながら、これを、画像の新たに形成された領域に対してのみ適用し、引き継がれた又は置換された領域に対しては適用しない。
【００１８】
本発明の他の例によれば、予め決定された最小サイズより下の領域を消滅させ、その画素を、他のできるだけ整合する領域に加える。
【００１９】
予め設定された最小サイズより下の領域は、符号化中任意の顕著な利点を提供しない。その結果、それらを消滅させるのが有利である。消滅させた領域の画素を、他の可能な整合領域に加える。
【００２０】
本発明の他の例によれば、前記画像Ｉn+1 で新たに形成された領域の最小サイズを、前記画像Ｉn から引き継がれて配置された領域のものより大きくする。画像Ｉn から引き継がれた領域に対して、これら領域は既に一致しており、その結果それらを非常に小さいときにのみ消滅させる。画像Ｉn+1 で新たに形成された領域に対して、最小サイズをより大きく設定する。その理由は、これら領域を再符号化する必要があるからである、すなわちこれらを予測して符号化することができないからである。
【００２１】
本発明の他の例において、前記画像Ｉn の領域からの置換に起因する前記画像Ｉn+1 の各領域を、前記画像Ｉn のその隣接したものと比較し、前記領域を、前記画像Ｉn の等しい又はより小さい領域に結合する。
【００２２】
移動の予測において、例えば、領域を最初に二つの領域に分割することができる。その理由は、オブジェクトは領域の前に移動するからである。この際、これら領域を二つの領域として更に取り扱う。これを回避するために、画像Ｉn の領域の置換に起因する画像Ｉn+1 の領域を、その隣接したものと比較する。画像Ｉn に等しい以前の領域を有する領域を結合する。この際、例えば上記状況で形成された領域を再び統合する。
【００２３】
本発明の他の例において、前記画像Ｉn+1 の新たな領域を形成する前に、前記画像Ｉn に対して置換した領域のうちのいずれにも関連しない画素値を参照してエッジ検出を行い、エッジを形成する画素を、その輝度値及び／又はクロミナンス値に関して最も整合するその新たな領域に加える。
【００２４】
画像Ｉn+1 における画像Ｉn からの移動の推定によって引き継ぐことができず、したがって新たに形成された領域に対して、エッジ検出を追加して行うことができる。エッジ検出は、複数の画像区域の分割に対して局所的に良好な結果を生じる。新たな領域の形成後、エッジ検出を、隣接する領域のうちの一つのエッジに関連する画素を加えるために用いることができる。エッジの画素に最も整合する領域を、その輝度値及びクロミナンス値に基づいて選択する。
【００２５】
本発明の他の例によれば、シーンの変更を、前記画像Ｉn+1 の画像成分が前記画像Ｉn から著しくずれるときに移動の予測が行われず、かつ、専ら新たな領域が形成されるように認識する。
【００２６】
シーンすなわちカメラの切替等を、例えば画像シーケンスの画像Ｉn 及びＩn+1 間で行うことができる。これら二つの画像の画像線分が非常に相違するので、画像Ｉn で見つけられる領域を画像Ｉn+1 で引き返すことができない。その結果、二つの連続する画像の著しく相違する画像成分を検出するシーンの変更を認識するのに好適である。画像の著しく相違する画像成分をシーン変更の認識によって決定するので、移動の推定が行われず、新たな領域が画像Ｉn+1 に形成されるだけである。
【００２７】
【発明の実施の形態】
図１は、領域がまだ形成されていない画像、すなわち置換された領域が見つからない画像区域に新たな領域を形成したパターンを線図的に示す。このために、図１に黒点で図示した隣接する画素と同様な画素値を有するか否かを図１に線図的に示した画素ｙに対して検査する。
【００２８】
図１に図示した個別のラインは、現在の輝度値及び／又はクロミナンス値に基づく結果のセグメンテーションを示す。破線は、画素ラスタを表す。したがって、画素ｙを、図１に図示した例の左下領域に加える。
【００２９】
画素ｙに対して、この画素値が輝度値及び／又はルミナンス値として最も整合するすなわち最も同様な隣接する画素を見つける。このようにして、画像の全ての画素はラインごとにカバーされ、その結果、画素内で、同様な輝度値及び／又はクロミナンス値を有する隣接する画素に関連する領域を形成する。
【００３０】
従来の方法では、このような領域の形成は、各画像において個別に行われている。次の領域で形成された領域に引き返すように試みることもできる。本発明によれば、画像Ｉn+1 における画像Ｉn からの領域の引き返しは、領域の動作の予測が行われることによって向上する。これを、図２を参照して以後更に説明する。
【００３１】
図２は、画像シーケンスの二つの連続する画像を線図的に示す。画像Ｉn は瞬時ｔn で伝送される。図において黒で示した領域Ｒ1 は画像Ｉn で見つけられる。当然、他の領域も画像Ｉn で見つけられる。明瞭のために、この図では領域Ｒ1 のみを考慮する。
【００３２】
画像Ｉn+1 は瞬時ｔn+1 で伝送される。画像成分の最小部分の動きは、画像シーケンスのこれら二つの画像間に存在する。その結果、画像Ｉn+1 の画像Ｉn の領域Ｒ1 は、予測される同一の位置に現れない。その代わりに、領域は、画像成分の動作が原因で、置換位置に領域Ｒ1 ’として現れる。
【００３３】
本発明による移動の予測の方法を用いるので、この新たな位置は、画像Ｉn+1 で見つけられる。画像Ｉn の領域Ｒ1 に対する画像Ｉn+1 の領域Ｒ1 ’の偏位を決定する動作ベクトルｖが決定される。この移動の予測及びこれによって決定された移動ベクトルに基づいて、画像Ｉn+1 の領域Ｒ1 ’の新たな位置は既知となる。値をこの領域に対して引き継ぐことができる。これを、輝度値及び／又はクロミナンス値や、領域のサイズ、形状及び拡大に適用する。
【００３４】
図３は、画像Ｉn の領域Ｒn1及びＲn2が相違する動作を行う特定の場合を線図的に示す。図３に線図的に図示した次の画像Ｉn+1 において、これは、領域が互いに部分的に重なり合った結果となる。画像Ｉn+1 で置換領域Ｒn1’及びＲn2’はこの場合共通の画素を有する。これを、図３において黒点で示す。
【００３５】
このように重なり合った領域は許容されないので、本発明によれば、両方の領域Ｒn1’及びＲn2’に関連する画素に対して、二つの領域のうちのいずれにおいて、画素が輝度値及び／又はクロミナンス値として最も整合するかを検査する。すなわち、いずれの領域において画素が最も同様な値を有するかを検査する。
【００３６】
整合した区域において、これら重なり合った領域を、領域Ｒn1’とＲn2’のうちの一方に加える。領域の重なり合った区域はこれにより消滅される。
【００３７】
図４は、本発明による画像シーケンスのイメージセグメント化方法を実行することができる回路配置のブロック図を示す。
【００３８】
図４は、移動を予測する回路ブロック１を示す。三つの連続する画像Ｉn-1 ，Ｉn ，Ｉn+1 のデータを、この回路ブロック１に供給する。
【００３９】
図４は、セグメンテーション用の回路ブロック２を示す。画像Ｉn のデータをこの回路ブロック２に供給する。回路ブロック２の出力信号をスイッチ３に供給する。さらに、シーン変更を認識する回路ブロック４を設ける。画像Ｉn 及びＩn-1 のデータを回路ブロック４に供給し、この回路ブロック４は、あり得る大きな相違する画像成分をこれら二つの連続する画像に対して決定するように、シーン変更の認識を実行する。スイッチ３は、シーン変更の認識のために、回路ブロック４の出力信号によって制御される。
【００４０】
図４に図示した回路配置は、タイムシーケンシャルセグメントを追跡する回路ブロック５も含む。画像Ｉn 及びＩn-1 のデータを回路ブロック５の入力部に供給する。その出力信号をスイッチ３に供給する。
【００４１】
シーン変更認識用の回路ブロック４の出力信号によって制御されるスイッチ３を、セグメンテーション用の回路ブロック２又はタイムシーケンシャルセグメント追跡用の回路ブロック５の出力信号に切り替えることができる。この切替動作に依存して、回路ブロック２又は５の二つの出力信号のうちの一つを、回路配置の出力部６に供給する。スイッチ３の出力信号を遅延段７にも供給し、その出力信号を、タイムシーケンシャルセグメント追跡用の回路ブロック５及び移動予測用の回路ブロック１に供給する。さらに、回路ブロック１の出力信号を、タイムシーケンシャルセグメント追跡用の回路ブロック５に供給する。
【００４２】
シーン変更の認識用の回路ブロック４は、連続的な画像が基本的に同様な画像成分を有するか否かを示す。同様な画像成分が存在する場合、連続的な画像間の移動しうる領域を、移動予測によって反復することができる。しかしながら、連続的な画像Ｉn 及びＩn-1の画像成分が相当異なる場合、シーンが変更する可能性が高い。この場合、画像Ｉn を完全に再セグメント化する必要がある、すなわち、新たな領域が形成される。これを、セグメンテーション用の回路ブロック２によって実現する。
【００４３】
シーンの変更を認識した結果に依存して、スイッチ３を、セグメンテーション用の回路ブロック２の出力信号に接続する。この出力信号を出力部６に供給して、セグメントすなわち画像Ｉn の領域が出力部６に存在するようにする。
【００４４】
画像Ｉn に対する画像Ｉn+1 の置換した位置を有する領域を再び見つけることができる程度に、次の画像Ｉn+1 に対して画像成分Ｉn と同様であると仮定すると、スイッチ３は、タイムシーケンシャルセグメント追跡用の回路ブロック５に出力信号を切り替える。
【００４５】
遅延段７による遅延後、出力部６の信号に存在する領域分割を、動作予測用の回路ブロック１に供給する。この回路ブロック１により、画像Ｉn+1 に対して画像Ｉn で見つけられる領域の移動が決定される。このようにして、画像Ｉn に対してのみ置換したこのような領域の新たな位置を、画像Ｉn+1 で見つけることができる。この移動予測に一致させるために、決定された移動を、画像Ｉn-1とＩn との間の同一領域の移動と比較する。この移動予測は、これら三つの画像間の移動と一致した場合にのみ有効であると考えられる。
【００４６】
移動予測用の回路ブロック１の出力信号と遅延段７によって遅延された画像Ｉn の領域データの両方が、タイムシーケンシャルセグメント追跡用の回路ブロック５に供給される。回路ブロック１によって見つけられる画像Ｉn+1 の変化しない位置に存在する領域及び置換した位置の領域を、回路ブロック５によって追跡することができる。これは、これら領域が回路ブロック５によって画像Ｉn+1 に引き継がれることを意味する。必要な場合には、置換された領域によってカバーされない画像領域、すななち画像Ｉn の領域に関連するが画像Ｉn+1 で見つからない画像区域（すなわち、見つからない領域）を、回路ブロック５によって新たな領域に加えることができる。このために、新たな領域を形成することができ、すなわち、画素を、既に存在する領域に加えることができる。
【００４７】
さらに、全ての領域の一致、特に新たな形成した領域を、回路ブロック５で検査する。これは、隣接する領域が統合されたか否か、所定の画素が既知の領域のうちの一つに加えることができるか否か、非常に小さい領域が消滅したか否か等を検査することができることを意味する。
【００４８】
引き継がれた領域のデータ及び場合によっては新たに形成された領域のデータは、画像Ｉn+1 に対して、出力信号として、スイッチ３を介して回路配置の出力部６に供給される。これにより、少なくとも移動が行われるおそれがある画像成分の主要部に対して、画像Ｉn から領域を引き継ぐことができる。
【００４９】
このプロセスを、例えば画像Ｉn+2 に対して同様に繰り返す。
【００５０】
スイッチ３は、シーン変更認識用の回路ブロック４が、連続的な画像で画像成分が相当相違すると決定する場合のみ、新たなセグメント用の回路ブロック２の出力信号の位置に再び切り替える。新たなセグメンテーションは、この画像に対して実行される。次の画像でシーンの変更が検出されない場合、スイッチ３は、タイムシーケンシャルセグメント追跡用の回路ブロック５の出力信号に再び切替、連続的な画像のタイムシーケンシャル反復を、次の画像又は他の画像に対して実行する。
【図面の簡単な説明】
【図１】画像内で領域を形成するパターンを示す。
【図２】置換領域を有する二つの連続的な画像を線図的に示す。
【図３】画像Ｉn のセグメンテーションの画像Ｉn+1 への重なりを線図的に示す。
【図４】本発明による方法を実行する回路配置を線図的に示す。
【符号の説明】
１，２，４，５  回路ブロック
３  スイッチ
６  出力部
７  遅延部
Ｉn-1 ，Ｉn ，Ｉn+1   画像
Ｒn1, Ｒn2，Ｒn1’, Ｒn2’  領域
ｔn ，ｔn+1   瞬時
ｖ  移動ベクトル
ｙ  画素
【図１】
0004094699.tif 000002
【図２】
0004094699.tif 000003
【図３】
0004094699.tif 000004
【図４】
0004094699.tif 000005