(57)【特許請求の範囲】
【請求項１】
物体指向分析−合成符号器で用いられる動き推定方法であって、現フレーム内に含まれる移動物体を分割し、かつ該移動物体の各々の動きを１セットの動きパラメータにて記述する移動物体分割法を用いており、
(a)  前記現フレームとその前フレームとを比較し、該現フレームの移動領域を検出する過程と、
(b)  前記現フレームと前記前フレームとを比較し、前記移動領域に位置する各々の画素に対する動きベクトルを検出することによって、動きベクトル場を生成する過程と、
(c)  u(x,y)=a１,
v(x,y)=a２
のように２つの動きパラメータにて記述される２次元並進運動モデルを用いて、前記動きベクトル場を分割する第１分割過程と、
(d)  前記第１分割過程で分割された領域のなかから基準領域を選択し、前記基準領域に隣接した領域のなかから候補領域を選択し、
u(x,y)=a１+a２x+a３y,
v(x,y)=b１+b２x+b３y
のように６つの動きパラメータにて記述される平面体運動モデルを用いて、隣接接する各候補領域の類似性を判断し、一定以上の類似性をもつ全ての候補領域を併合することを全ての基準領域について反復して前記第１分割過程で分割された領域を分割しなおす第２分割過程であって、前記基準領域に前記候補領域を併合するための基準となる類似性の程度は、誤差を最小化するモデルのパラメータを計算することによって決定される、該第２分割過程と、
(e)  前記第２分割過程で分割された領域のなかから基準領域を選択し、前記基準領域に隣接した領域のなかから候補領域を選択し、
u(x,y)=a１+a２x+a３y+a４x２+a５y２+a６xy,
v(x,y)=b１+b２x+b３y+b４x２+b５y２+b６xy
のように１２個の動きパラメータにて記述される曲面体運動モデルを用いて、隣接接する各候補領域の類似性を判断し、一定以上の類似性をもつ全ての候補領域を併合することを全ての基準領域について反復して前記第２分割過程で分割された領域を分割しなおす第３分割過程であって、前記基準領域に前記候補領域を併合するための基準となる類似性の程度は、誤差を最小化するモデルのパラメータを計算することによって決定される、該第３分割過程とを含み、
前記u(x,y)及びv(x,y)は各々画素位置(x,y)に位置する動きベクトルのx軸方向成分及びy軸方向成分であり、a１乃至a６とb１乃至b６は実数であることを特徴とする移動物体分割法を用いた動画像の動き推定方法。
【請求項２】
(f)  前記前フレームを前記１２個の動きパラメータにて動き補償を行って、動き補償されたフレームを与える過程と、
(g)  前記現フレームから前記動き補償されたフレームを減算して、各々の画素に対するエラー信号を発生する過程と、
(h)  前記エラー信号を予め定められた値と比較して、動き補償失敗領域を取り出す過程とを含むことを特徴とする請求項１に記載の移動物体分割法を用いた動画像の動き推定方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は映像信号を符号化するための物体指向分析−合成符号化技法(object-oriented analysis-synthesis coding technique)に関し、特に、映像を多段分割技法を用いて移動物体単位に分割し、かつその移動物体の各々の動きを推定する方法に関する。
【０００２】
【従来の技術】
従来のビデオ電話、通信会議及び高精細度テレビジョンシステムのようなディジタルテレビジョンシステムに於いては、ビデオフレーム信号のビデオライン信号は画素値に対応したディジタルデータを含むが、ビデオフレーム信号を表すためには相当量のディジタルデータが必要とされる。しかし、通常の伝送チャネル上の利用可能な周波数帯域幅は制限されているので、それを通じてディジタルデータを送るためには、様々なデータ圧縮技法を用いてデータ量を圧縮するか、あるいは減らさなければならない。特に、ビデオ電話または通信会議システムのような低伝送率のビデオ信号符号化システムの場合に、そのようなデータ圧縮技法が必要である。
【０００３】
低伝送率符号化システムに於けるビデオ信号の符号化方法の一つに、いわゆる物体指向分析−合成符号化技法がある。この技法では、入力ビデオ映像は移動物体（または物体）単位に分けられると共に、各々の移動物体はその物体の動き、輪郭（様子）及び画素データを規定する３つのセットのパラメータによって記述される。
【０００４】
物体指向分析−合成符号化技法の基本的な問題のうちの一つは、正確に移動物体を分け、かつ各移動物体の動きを推定するということであり、このために様々なアプローチが提案されてきた。そのうちの一つが、階層構造分割技法(Michael Hotterの“Image Segmentation Based on Object Oriented Mapping Parameter Estimation”,Signal Processing 15,315-334頁(1988年)参照)である。
【０００５】
階層構造分割技法によれば、物体指向分析−合成符号器は一つの映像を物体単位に分割すると共に、各々の物体を３セットのパラメータに符号化する。より詳しくは、パラメータセットは２次元動きモデル及び３次元動きモデルに基づいて階層的に推定される。即ち、分割されるべき領域はマッピングパラメータとして定義される１セットの一様の動き及び位置パラメータにより規定される。この技法では８つのパラメータが用いられるが、これにより任意の３次元平面体の動きを記述する。第１過程に於いては変化検出器が２つの連続フィールドの間で時間的に変化した領域と変化しなかった領域とを区別して、分割マスクを開始する。変化した各映像領域を一つの移動物体として解釈する。各々の物体の動き及び位置は、１セットのマッピングパラメータより記述される。このマッピングパラメータと時間的に前のフィールドとに基づいて、時間的に後続するフィールドを復元する。その次の過程に於いて、それらのマッピングに於いて正確に記述されなかった映像領域は変化検出器を用いることによって検出され、かつ第１段階の階層に於ける変化した部分によって扱われる。従って、この技法にて現れた領域及びカバーされた領域から移動物体を分割することができ、かつ移動物体前の移動物体とそれらの動きトラックとを検出しうる。しかし、この方法は様々の移動物体が一つの変化した領域に含まれている場合、移動物体を正確に分割し得ないという問題点がある。
【０００６】
【発明が解決しようとする課題】
従って、本発明の主な目的は、多段分割技法を用いて映像を移動物体に正確に分割し、かつこれらの移動物体の各々の動きを推定する改良された方法を提供することである。
【０００７】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、物体指向分析−合成符号器で用いられる動き推定方法であって、現フレーム内に含まれる移動物体を分割し、かつ該移動物体の各々の動きを１セットの動きパラメータにて記述する移動物体分割法を用いており、
(a)  前記現フレームとその前フレームとを比較し、該現フレームの移動領域を検出する過程と、
(b)  前記現フレームと前記前フレームとを比較し、前記移動領域に位置する各々の画素に対する動きベクトルを検出することによって、動きベクトル場を生成する過程と、
(c)  u(x,y)=a１,
v(x,y)=a２
のように２つの動きパラメータにて記述される２次元並進運動モデルを用いて、前記動きベクトル場を分割する第１分割過程と、
(d)  前記第１分割過程で分割された領域のなかから基準領域を選択し、前記基準領域に隣接した領域のなかから候補領域を選択し、
u(x,y)=a１+a２x+a３y,
v(x,y)=b１+b２x+b３y
のように６つの動きパラメータにて記述される平面体運動モデルを用いて、隣接接する各候補領域の類似性を判断し、一定以上の類似性をもつ全ての候補領域を併合することを全ての基準領域について反復して前記第１分割過程で分割された領域を分割しなおす第２分割過程であって、前記基準領域に前記候補領域を併合するための基準となる類似性の程度は、誤差を最小化するモデルのパラメータを計算することによって決定される、該第２分割過程と、
(e)  前記第２分割過程で分割された領域のなかから基準領域を選択し、前記基準領域に隣接した領域のなかから候補領域を選択し、
u(x,y)=a１+a２x+a３y+a４x２+a５y２+a６xy,
v(x,y)=b１+b２x+b３y+b４x２+b５y２+b６xy
のように１２個の動きパラメータにて記述される曲面体運動モデルを用いて、隣接接する各候補領域の類似性を判断し、一定以上の類似性をもつ全ての候補領域を併合することを全ての基準領域について反復して前記第２分割過程で分割された領域を分割しなおす第３分割過程であって、前記基準領域に前記候補領域を併合するための基準となる類似性の程度は、誤差を最小化するモデルのパラメータを計算することによって決定される、該第３分割過程とを含み、
前記u(x,y)及びv(x,y)は各々画素位置(x,y)に位置する動きベクトルのx軸方向成分及びy軸方向成分であり、a１乃至a６とb１乃至b６は実数であることを特徴とする移動物体分割法を用いた動画像の動き推定方法が提供される。
【０００８】
【実施例】
以下、本発明の動き推定方法について図面を参照しながらより詳しく説明する。
【０００９】
図１には、本発明による映像を移動物体に分割し、かつ移動物体の各動きを１セットの動きパラメータにて記述するブロック図が示されている。
【００１０】
図１に示されているように、２つの入力信号、即ち、現フレーム信号及び復元済みの前フレーム信号が、動き推定器102及び変化検出器100へ入力される。現フレーム信号はラインL10を介して入力され、復元済みの前フレーム信号はラインL12を介して入力される。
【００１１】
変化検出器100では、ラインL10上の現フレーム信号とラインL12上の復元済みの前フレーム信号とを比較し、現フレームに於いて、背景から移動領域を検出する。検出された移動領域の情報は動き推定器102及び第１段分割ブロック104へ共に与えられる。
【００１２】
動き推定器102では、ラインL10上の現フレームとラインL12上の復元済みの前フレームとをブロックマッチングアルゴリズム(例えば、J.R.Jainらの「Displacement Measurement and Its Application in Interframe Image Coding」,IEEE Transactions on Communications,COM-29,No.12 1799-1808頁(1981年12月)参照)を用いて、移動領域に於ける各々の画素に対する動きベクトルを検出する。各々の画素に対する動きベクトルからなる領域を動きベクトル場(motion vector field)という。
【００１３】
第１段分割ブロック104は、下記式(1a)、式(1b)のように、２つの動きパラメータにて記述される２次元並進運動モデルを用いて動きベクトル場内に含まれている移動物体を分割する。
【００１４】
u(x,y)=a１                           式(1a)
v(x,y)=a２                           式(1b)
【００１５】
ここで、u(x,y)及びv(x,y)は各々画素位置(x,y)に位置した動きベクトルのx軸方向成分及びy軸方向成分であり、またa１及びa２は実数である。動きベクトル場を分割するために、類似度を用いた画素グループ単位による領域拡張が行われる。この類似度Mｉは式(2)のように規定される。
【００１６】
Mｉ=｜dｘ，Ｒ-dｘ，ｉ｜+｜dｙ,Ｒ-dｙ，ｉ｜      式(2)
【００１７】
ここで、dｘ，Ｒ及びdｙ，Ｒは領域Rに含まれている動きベクトルdＲのx軸成分の平均及びy軸成分の平均を各々表し、dｘ，ｉ及びdｙ，ｉは領域Rに含まれている動きベクトルdｉのx軸成分及びy軸成分を表す。第１段分割の結果の一例を図３に示す。第１段分割の結果は第２段分割ブロック106へ与えられる。
【００１８】
第２段分割ブロック106は、以下の式(3a)、(3b)のような６つの動きパラメータにて記述される平面体運動モデルを用いて、第１段分割の結果を分割する。
【００１９】
u(x,y)=a１+a２x+a３y                  式(3b)
v(x,y)=b１+b２x+b３y                  式(3b)
【００２０】
ここで、u(x,y)及びv(x,y)は各々画素位置(x,y)に位置した動きベクトルのx軸成分及びy軸成分であり、またa１乃至a３と、b１乃至b３は実数である。第１段分割の結果をグループ化するために、第１段分割とは異なる領域拡張が行われる。この領域拡張の第１段階では、まず、領域拡張のためのシード(seed)領域（または、基準領域）Rｉを選択する。新しい領域（その時点でまだ基準領域としても候補領域としても選択されていない領域）と割り当てられなかった領域（候補領域として選択されたが、基準領域に併合されなかった領域）のうち最も大きい領域Rｉを基準領域とする。一様の動き（uniform motion）を有する領域のうち最も大きい領域を基準領域として選択するため信頼性の高いパラメータの推定ができる。第２段階では基準領域に隣接した領域のうち、新しい領域と割り当てられなかった領域のうちから候補領域Rｊを選択する。第３段階では候補領域を基準領域に併合するか否かを判定する。候補領域Rｊを基準領域Rｉに併合するか否かは、RｉとRｊの和領域（RｉＵRｊ）に対して最適動きパラメータを計算した後、計算された動きパラメータから求められる候補領域の誤差によって判定される。即ち、上記の平面体運動モデルを用いて隣接する候補領域の類似性を判断し、一定以上の類似性を有するものを併合する。また併合のための基準となる類似性の程度は、誤差を最小化するモデルのパラメータを計算することによって決定される。そして、基準領域の周囲に併合する候補領域がなくなるまで第２段階と第３段階とを繰り返し行い、基準領域の周囲にそれ以上併合する候補領域がなくなったら、新しい基準領域を探して併合を行うように、第１段階乃至第４段階を繰り返す。第２段分割の結果の一例を図４に示す。第２段分割の結果は第３段分割ブロック108へ提供される。
【００２１】
第３段分割ブロック108は、以下の式(4a)、(4b)に示されているように、１２個の動きパラメータにて記述される曲面体運動モデルを用いて第２段分割の結果をグループ化する。
【００２２】
u(x,y)=a１+a２x+a３y+a４x２+a５y２+a６xy      式(4a)
v(x,y)=b１+b２x+b３y+b４x２+b５y２+b６xy      式(4b)
【００２３】
ここで、u(x,y)及びv(x,y)は各々画素位置(x,y)に位置した動きベクトルのx軸成分及びy軸成分であり、またa１乃至a６、b１乃至b６は実数である。第３段分割は運動モデルが平面体でなく曲面体であることを除いては、第２段分割ブロック106での分割と同一である。即ち、上記の曲面体運動モデルを用いて隣接する候補領域の類似性を判断し、一定以上の類似性を有するものを併合し、併合のための基準となる類似性の程度は、誤差を最小化するモデルのパラメータを計算することによって決定される。第３段分割の結果の一例を図５に示す。第３段分割の結果は物体単位補償ブロック110へ提供される。
【００２４】
１２個の動きパラメータが特定された後、物体単位動き補償ブロック110は前フレームを１２個の動きパラメータにて動き補償すると共に、動き補償されたフレームを提供する。その後、動き補償失敗領域抽出ブロック112は、現フレームから動き補償されたフレームを減算して各々の画素に対するエラー信号を発生すると共に、そのエラー信号を予め定められた値と比較して動き補償失敗領域を抽出する。図６に示されているように、この領域は頭−肩映像で主に動き補償し得ない口、目、または現れた背景（uncovered background）から発生する。この領域に対しては追加的な符号化が必要である。
【００２５】
【発明の効果】
従って、本発明によれば、多段階に移動物体を分割し、移動物体の動きを推定することによって物体指向分析−合成器の符号化効率を向上させ得る。
【図面の簡単な説明】
【図１】本発明による、映像を移動物体単位で正確に分割し、該移動物体の各動きを１セットの動きパラメータにて正確に推定するブロック図である。
【図２】本発明による移動物体の分割過程を説明するための説明図であり、動きベクトル場の一例を表している。
【図３】本発明による移動物体の分割過程を説明するための説明図であり、第１段分割の結果の一例を表している。
【図４】本発明による移動物体の分割過程を説明するための説明図であり、第２段分割の結果の一例を表している。
【図５】本発明による移動物体の分割過程を説明するための説明図であり、第３段分割の結果の一例を表している。
【図６】本発明による移動物体の分割過程を説明するための説明図であり、動き補償失敗領域の一例を表している。
【符号の説明】
１００  変化検出器
１０２  動き推定器
１０４  第１段分割ブロック
１０６  第２段分割ブロック
１０８  第３段分割ブロック
１１０  物体単位補償ブロック
１１２  動き補償失敗領域抽出ブロック
【図１】
0003612360.tif 000002
【図２】
0003612360.tif 000003
【図３】
0003612360.tif 000004
【図４】
0003612360.tif 000005
【図５】
0003612360.tif 000006
【図６】
0003612360.tif 000007