(57)【要約】  本発明は、変換パラメータを得る方法に関する。カメラの動きは、推定動きベクトルを表す動きベクトルのベクトル場を備え、少なくとも１つの軸上にベクトル場を投影し、ベクトル場の投影から変換ベクトル・パラメータを導き出すことによってモデリングすることが可能である。カメラの動きは平行移動、スケール及び回転によってモデリングすることが可能であるため、軸上へのベクトル場の投影を用いることが可能である。
2008542896.tif 000002
【特許請求の範囲】
【請求項１】
ベクトル場から変換パラメータを、少なくとも１つの軸上に前記ベクトル場を投影し、
前記ベクトル場の前記投影から前記変換パラメータを導き出す
ことによって得る方法。
【請求項２】
請求項１記載の方法であって、前記ベクトル場が、画像内の動きを表す推定動きベクトルによって表される方法。
【請求項３】
請求項１記載の方法であって、前記ベクトル場は、少なくとも１つの第１の成分及び少なくとも１つの第２の成分を備えたベクトルを有し、前記第１の成分は第１の軸と平行であり、前記第２の成分は第２の軸と平行である方法。
【請求項４】
請求項３記載の方法であって、少なくとも一成分を少なくとも一軸上に投影することによって少なくともスケール・パラメータが分離される方法。
【請求項５】
請求項４記載の方法であって、前記スケール・パラメータは、少なくとも一軸上への前記投影の少なくとも１つの乗算子によって算出される方法。
【請求項６】
請求項３記載の方法であって、少なくとも一成分を少なくとも一軸上に投影することによって少なくとも平行移動パラメータが分離される方法。
【請求項７】
請求項６記載の方法であって、前記平行移動パラメータは、一軸上への前記投影の平均値によって算出される方法。
【請求項８】
請求項３記載の方法であって、少なくとも一成分を少なくとも一軸上に投影することによって少なくとも回転パラメータが分離される方法。
【請求項９】
請求項８記載の方法であって、前記回転パラメータは、少なくとも一軸上への前記投影の少なくとも１つの乗算子によって算出される方法。
【請求項１０】
請求項１記載の方法であって、前記変換パラメータは、前記投影に施されるカーブ・フィット・アルゴリズムによって得られる方法。
【請求項１１】
請求項１記載の方法であって、前記変換パラメータは、前記投影の基本関数から得られる方法。
【請求項１２】
請求項１１記載の方法であって、前記基本関数がオイラー関数である方法。
る方法。
【請求項１３】
請求項１１記載の方法であって、少なくとも１つのパラメータが、前記基本関数の極値から算出される方法。
【請求項１４】
請求項１記載の方法であって、前記平行移動パラメータが、カメラの動きの大局モデルを表す方法。
【請求項１５】
動作させると、
ベクトル場を取得し、
少なくとも一軸上に前記ベクトル場を投影し、
前記ベクトル場の前記投影から変換パラメータを導き出すことによって変換パラメータをプロセッサに取得させるよう動作可能なコンピュータ・プログラム。
【請求項１６】
動作させると、ベクトル場を取得し、少なくとも一軸上に前記ベクトル場を投影し、前記ベクトル場の前記投影から変換パラメータを導き出すことによって変換パラメータをプロセッサに取得させるよう動作可能なコンピュータ・プログラムを備えたコンピュータ・プログラム・プロダクト。
【請求項１７】
変換パラメータを得るよう構成された装置であって、
ベクトル場を得るよう構成された推定手段と、
少なくとも１つの軸上に前記ベクトル場を投影するよう構成された投影手段と、
前記ベクトル場の前記投影から前記変換パラメータを導き出す算出手段とを備える装置。
【請求項１８】
ビデオ圧縮における、請求項１による方法の利用。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に、変換パラメータを得る方法に関する。
【背景技術】
【０００２】
本発明は更に、変換パラメータを得るコンピュータ・プログラム及びコンピュータ・プログラム・プロダクトに関する。更に、本発明は、変換パラメータを得る装置、及びビデオ圧縮システムにおける、動きベクトル変換パラメータを得る方法の利用に関する。
【０００３】
動き推定は、画像処理の多くの分野において重要である。例えば、ビデオ圧縮中、連続したビデオ・フレームにおける画素値を予測することが必要である。予測によって、画素値を受信側において、伝送チャネルを介してこれを送信することなく算出することが可能になる。予測の目標は、最良の画像を受信側が算出することを可能にするために実際の画素値との全体的な差を最小にすることである。予測画素値における全体的な差を最小にすると、かなり削減された量のデータを元のフレームの再構成のために符号化し、送信しなければならない。
【０００４】
画像データは、ベクトル場及び誤差又は残差による予測値を備える。残差の量は、ベクトル場の精度に依存する。ベクトル場は、画素値の動きモデルを表す。
【０００５】
ベクトル場の取得は、deHaan、  Biezenによる「Sub-pixel  motion  estimation  with  3-D  recursive  search  block-matching  (Signal  Processing：  Image  Communications  6，  1994、  pp.  229-239)」に開示されている。
【０００６】
しかし、ベクトル場からの変換パラメータの取得は、計算量の点で費用がかかる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
したがって、本発明の一目的は、削減された計算量で変換パラメータを取得することである。本発明の別の目的は、動き予測の最適化された動きモデルを提供することである。本発明の更なる目的は、改良された画像圧縮を提供することである。
【課題を解決するための手段】
【０００８】
本発明の前述及びその他の目的は、少なくとも一軸上にベクトル場を投影することによってベクトル場から変換パラメータを取得し、ベクトル場の投影から変換パラメータを導き出す方法によって解決される。
【０００９】
例えば、画像、特にビデオ画像における推定動きベクトルを表すベクトル場は、共通の動き推定方法を用いて得ることができる。変換パラメータ（例えば、平行移動、スケール及び回転）は、少なくとも一軸上にベクトル場を投影することによって得ることが可能である。ベクトル場はベクトルを有し得る。ベクトルは、少なくとも２つの成分（例えば、x成分及びy成分）を有し得る。x成分は、y成分と垂直であり得る。ベクトル場は、座標系内で、対応する軸によって表すことが可能である。一方の軸はx軸であり得る。他方の軸はy軸であり得る。他の座標系も考えられる。変換パラメータは動きモデル・パラメータを表すことが可能である。変換パラメータを用いてベクトル場を生成することが可能である。変換パラメータは、軸のうちの少なくとも一方（好ましくは両方の軸）上にベクトル場を投影すると容易に得ることが可能である。特に、座標系内の各軸上に、ベクトル場内のベクトルを投影し、導出された関数全てを用いれば、変換パラメータを容易に得ることが可能である。
【００１０】
ベクトルは、少なくとも２つの成分（軸毎に１つ）を有し得る。成分それぞれは、座標系の軸の１つに平行であり得る。更に、軸上への投影によって、ベクトル場内のベクトルのそれぞれの成分を得ることが可能になる。
【００１１】
少なくとも１つの軸上にベクトル場を投影することによって、変換パラメータを分離することが可能である。例えば、スケール・パラメータ、平行移動パラメータ及び回転パラメータを、投影を用いて分離することが可能である。前述の投影内で、乗算子値及び平均値を得ることが可能である。これらを用いて、利得（例えば、スケール・パラメータ）、あるいは回転パラメータ、及び／あるいはオフセット（例えば、変換パラメータ）を対応して算出することが可能である。
【００１２】
例えば、アプリケーションでは、例えば、自家製のビデオ系列を安定化させなければならない場合に、動きモデル・パラメータを扱うほうが容易であり得る。これは、平行移動及び回転パラメータの知識を必要とし得る。前述のパラメータを算出した後、画像全体を平行移動させ、回転させることが可能である。これは、ベクトルを個々に扱うよりも良好な結果につながり得る。
【００１３】
更に、動きベクトル場自体は、常に正確である訳でないことがあり得る。よって、実施例に従って動きモデル・パラメータを見出すことによって、誤差、例えば、偏差及び／又はアウトライアを平均化することが可能である。動きベクトル場が正確な場合、系列内のオブジェクトは、カメラの動きとは異なる動きを有し得る。これは、複素動きベクトル場をもたらすことになる。オブジェクトの動きが十分小さい場合、前述と同様の理由で、前述のオブジェクトの動きを平均化することが可能である。一般に、実施例による動きモデル・パラメータは、大局的な動きを表し得る。
【００１４】
投影から、変換パラメータ全体を得ることが可能である。例えば、実施例によれば、全軸上へのベクトルの投影全てによって、変位式を算出することが可能である。変換式の行列は未知の要素を有する。しかし、前述の要素は、三角関数式によって得ることが可能である。例えば、ベクトルの投影の乗算子値及び平均値は、カーブフィット法によって得ることが可能である。（例えば、その線までの距離の最小二乗誤差に基づいたライン・フィットの算出、又は多項式フィット法若しくは指数フィット法による）これによって、利得及びオフセット（すなわち、スケール／回転、及び平行移動）の算出が可能になり得る。前述の実施例は、計算量を最適化した例（すなわち、単純な実現形態、及び高速実行）である。実施例の出力は、オフセット及び利得であり得る。
【００１５】
他の実施例によれば、前述の値は、投影の基本関数を用いて得ることが可能である。基本関数は、オイラー法を用いて得られる実施例に応じたものであり得る。
【００１６】
基本関数によって、乗算子に関係する投影面積を算出することが可能である。平行移動パラメータの平均値を無視した場合、投影の合計面積は、基本関数の極値に関係する。基本関数の極値は、その導関数がゼロである点上にあり得る。基本関数の極値が見出されると、乗算子値を算出することができる。
【００１７】
動きが多くの場合、平行移動、スケール及び回転によってモデリングされ、カメラの動きによってこの動きがもたらされることが最も多いので、実施例によれば、平行移動パラメータは、カメラの動きの大局モデルを表す。
【００１８】
実施例によれば、再帰法も可能であり得る。ベクトル変換パラメータに基づいたベクトル場は、ベクトル場を算出するために、再構成し、当初の動き推定にもう一度供給することができる。
【００１９】
別の実施例は、再帰的算出を用いた変換パラメータ算出を提供することができる。変換パラメータは、前述の実施例を用いて得ることが可能である。更に、前述のパラメータを用いてベクトル場を再構成することができる。この再構成されたベクトル場内で、アウトライアを元のベクトル場において識別することができる。前述のアウトライアはマスクすることができる。ベクトル場におけるマスクされたアウトライアによって、新たなベクトル変換パラメータを算出し、より良好な結果を得ることができる。
【００２０】
本発明の別の局面は、動作させると、画像内の推定動きベクトルを表す動きベクトルのベクトル場を取得し、少なくとも一軸上にベクトル場を投影し、ベクトル場の投影から変換パラメータを導き出すことによって変換パラメータをプロセッサに取得させるよう動作可能なコンピュータ・プログラムである。
【００２１】
本発明の別の局面は、動作させると、画像内の推定動きベクトルを表す動きベクトルのベクトル場を取得し、少なくとも一軸上にベクトル場を投影し、ベクトル場の投影から変換パラメータを導き出すことによって変換パラメータをプロセッサに取得させるよう動作可能なコンピュータ・プログラムを備えたコンピュータ・プログラム・プロダクトである。
【００２２】
本発明の別の局面は、ベクトル場を得るよう構成された推定手段と、少なくとも一軸上にベクトル場を投影するよう構成された投影手段と、ベクトル場の投影から変換パラメータを導き出すよう構成された算出手段とを備えた、変換パラメータを得るよう構成された装置である。
【００２３】
本発明の別の局面は、ビデオ圧縮における、請求項１記載の方法の利用である。
【発明を実施するための最良の形態】
【００２４】
本発明の前述及びその他の局面は、添付図面から明らかであり、添付図面を参照しながら明らかにする。
【実施例】
【００２５】
図１は、変換パラメータをビデオ画像から得る方法のフロー図を示す。
【００２６】
画素の動きの大半は、カメラの移動によってもたらされる。したがって、動き推定を向上させるための一手法は、カメラの大局的な動きのモデルを提供することである。この動きは、平行移動値、スケール値及び回転値によってモデリングすることが可能である。平行移動、スケール及び回転は、以下に説明する数理モデルによって表すことが可能である。以下、変数は次の通りである。
vq(bx,by)  位置（bx,by）上のベクトルのq成分
pvq(r)      rの関数としてのベクトルのq成分の投影
bq          ベクトル場におけるベクトル指数
Nbq          q方向におけるベクトルの数
q及びr      x又はyである
x            ベクトル場のx軸成分
y            ベクトル場のy軸成分
x’          動き推定後のベクトル場の変換されたx成分
y’          動き推定後のベクトル場の変換されたy成分
Θ            回転角
s            スケール・パラメータ
t            平行移動パラメータ
軸の原点が画像フレームの中心にあると仮定すれば、平行移動は、
【００２７】
【数１】
2008542896.tif 000003
として表すことが可能である。
【００２８】
スケール変換は、
【００２９】
【数２】
2008542896.tif 000004
として表すことが可能である。
【００３０】
特に、ビデオ処理の分野では、スケール・パラメータは多くの場合、カメラの光学的特性、及び、画素アスペクト比が１に等しいことによって規定され得る。この場合、スケール・パラメータsは単一のパラメータであり得る。その場合、上記式は、
【００３１】
【数３】
2008542896.tif 000005
に約分される。
【００３２】
カメラの回転は、
【００３３】
【数４】
2008542896.tif 000006
によって表すことが可能である。
【００３４】
変換全体は、以下の式に応じた回転、スケール及び平行移動によって表すことが可能である。
【００３５】
【数５】
2008542896.tif 000007
変換パラメータを算出するために、動き推定ベクトルのベクトル場が必要である。したがって、このベクトル場は、一般に知られている手法によって算出される（１００）。このベクトル場によって、x軸上へのベクトル場のx成分の投影（１０２）が行われる。この投影は、
【００３６】
【数６】
2008542896.tif 000008
として表すことが可能である。
【００３７】
ベクトル場のx成分は更に、y軸上に投影する（１０４）ことが可能であり、この投影は、
【００３８】
【数７】
2008542896.tif 000009
として表すことが可能である。
【００３９】
軸上へのx成分の投影は、図３に示す。ベクトル場３００を、推定動きベクトルV(x,y)とともに示す。各ベクトルV(x,y)３０２は、x成分302a及びy成分302bに分けることが可能である。画像は、列３０４及び行３０６に区分することができる。
【００４０】
各列３０４は、x軸上に投影することが可能である。列３０４それぞれにおけるベクトル全てのベクトルx成分の平均は、投影pvx（colum）とみなされる。列全てにわたる投影によって、投影関数pvx(x)３０８がもたらされる。
【００４１】
各行３０６は、y軸上に投影することが可能である。行３０６それぞれにおけるベクトル全てのベクトルx成分の平均は、投影pvx（row）とみなされる。行全てにわたる投影によって、投影関数pvx(y)３１０がもたらされる。
【００４２】
結果として生じる投影関数pvx(x)３０８及びpvx(y)３１０は、動き推定ベクトル場３００におけるベクトルのx成分の平均値を表す。
【００４３】
ベクトル場のx成分の他に、ベクトル場のy成分も投影することが可能である。x軸上の投影（１０６）は、
【００４４】
【数８】
2008542896.tif 000010
として表すことが可能であり、y軸上の投影（１０８）は、
【００４５】
【数９】
2008542896.tif 000011
として表すことが可能である。
【００４６】
軸上へのy成分の投影は、図４に示す。同じ参照符号は同じ構成要素を表す（例えば、400は300を表す等である）。
【００４７】
ベクトル場４００を推定動きベクトル(x,y)４０２とともに示す。各ベクトルV(x,y)４０２は、x成分４０２a及びy成分４０２bに分けることが可能である。画像は列４０４及び行４０６に区分することができる。各列４０４は、ｘ軸上に投影することが可能である。
【００４８】
列４０４それぞれにおけるベクトル全てのベクトルy成分の平均は、投影pvy（colum）とみなされる。列全てにわたる投影によって、投影関数pvy(x)４０８がもたらされる。
【００４９】
各行４０６は、y軸上に投影することが可能である。列３０６それぞれにおけるベクトル全てのベクトルy成分の平均は、投影pvy（row）とみなされる。行全てにわたる投影によって、投影関数pvy(y)４１０がもたらされる。
【００５０】
結果として生じる関数pvx(x)３０８及びpvy(x)３１０は、ベクトル場３００におけるベクトルのx成分の平均値を表す。
【００５１】
スケール変換及び平行移動は、ベクトル場に施すと、
【００５２】
【数１０】
2008542896.tif 000012
として書き直すことが可能である。
【００５３】
スケーリングされ、水平移動されたx成分のx軸上への投影は、
【００５４】
【数１１】
2008542896.tif 000013
として表すことが可能である。これは、xの一次関数である。ここで、スケール・パラメータsは乗算子であり、平行移動txは平均値に等しい。
【００５５】
更に、ベクトル場のx成分のy軸上への投影によって、
【００５６】
【数１２】
2008542896.tif 000014
がもたらされ得る。ここで、平行移動txは定数である。更に、ベクトル場のy成分のx軸上への投影によって、
【００５７】
【数１３】
2008542896.tif 000015
がもたらされ得る。ここで、平行移動tyは定数である。最終的に、ベクトル場のy成分のy軸上への投影によって、
【００５８】
【数１４】
2008542896.tif 000016
がもたらされ得る。これは、yの一次関数である。ここで、スケール・パラメータsは乗算子であり、平行移動tyは平均値に等しい。上記式は、平行移動パラメータ及びスケール・パラメータを、軸上へのベクトル場の投影の特定から導き出すことができる。利得／乗算子（tanΦ）はスケール・パラメータ又は回転パラメータに関する一方、投影関数の平均値は平行移動を表し得る。
【００５９】
平行移動及びスケール変換の他に、カメラの回転も表すことが可能である。回転によって生じるベクトル場の変位は、
【００６０】
【数１５】
2008542896.tif 000017
によって表すことが可能である。Rは回転行列に関し、Iは単位行列に関し、Tは平行移動に関する。
【００６１】
ベクトル場のx成分のx軸上への投影は、
【００６２】
【数１６】
2008542896.tif 000018
によって表すことが可能である。
【００６３】
ベクトル場のx成分のy軸上への投影は、
【００６４】
【数１７】
2008542896.tif 000019
によって表すことが可能である。
【００６５】
ベクトル場のy成分のx軸上への投影は、
【００６６】
【数１８】
2008542896.tif 000020
によって表すことが可能であり、 
ベクトル場のy成分のy軸上への投影は、
【００６７】
【数１９】
2008542896.tif 000021
によって表すことが可能である。
【００６８】
上記から、ベクトル場の投影の特性によって回転を求めることが可能であることが明らかである。投影それぞれは、乗算子及び回転角を変換パラメータとして有する。
【００６９】
変換全体は、変位式
【００７０】
【数２０】
2008542896.tif 000022
によって表すことが可能である。
【００７１】
変換行列の要素s及びΘは、
【００７２】
【数２１】
2008542896.tif 000023
として宣言することが可能である。
【００７３】
このパラメータは、三角関数式
【００７４】
【数２２】
2008542896.tif 000024
によって求めることが可能である。
【００７５】
軸上へのベクトル成分の投影を算出した後、投影の乗算子値及び平均値を算出（１１０）して変換パラメータを得ることが可能である。
【００７６】
スケール平行移動の投影関数との関連性を図５に示す。ズーミングによってスケール平行移動を画像が受けるベクトル場５００を示す。x軸上へのx成分の投影関数pvx(x)及びy軸上へのy成分の投影関数pvy(y)から分かるように、スケール係数ｓは、投影関数の角度φと密接に関係している。この関係は、tanφ=(s-１)である。スケーリングは、x軸上へのy成分の投影関数pvy(x)及びy軸上へのx成分の投影関数pvx(y)に対する影響を有しない。
【００７７】
回転平行移動の投影関数との関連性は図６に示す。ベクトル場６００を示す。この画像は、角度θだけの回転平行移動を受ける。回転が、x軸上へのx成分の投影関数pvx(x)の角度φ1と、かつ、x軸上へのy成分の投影関数pvy(x)の角度φ2と密接な関係があることが分かる。更に、回転が、y軸上へのx成分の投影関数pvx(y)の角度φ2と、かつ、y軸上へのy成分の投影関数pvy(y)の角度φ1と密接な関係があることが分かる。前述の関係は、tanφ1＝cosθ-１及びtanφ２＝sinθである。
【００７８】
前述の利得値及び乗算子値は、投影の基本関数を用いることによって得ることが可能である。基本関数によって、乗算子に関係する投影面積を求めることが可能である。平均値又は平行移動パラメータを無視することによって、投影の合計面積が基本関数の極値に関係することがもたらされる。
【００７９】
平均値を投影関数から減算すれば、基本関数の極点を得ることが可能である。これによって、利得及び乗算子を算出することが可能である。例えば、図７は、投影関数と利得／乗算子との間の関係を示す。x軸上へのx成分の投影関数pvx(x)を示す（７００）。まず、平均値txをなくすことが可能である。この値は平行移動を表し得るからである。結果として生じる関数７０２は利得しか表さないことがあり得る。
【００８０】
関数７０２の面積は利得に関係し得る。オイラー法を用いて再帰式加算器によって関数７０２を積分することによって、基本関数７０４が生じ得る。関数７０４の最大値は利得に関係し得る。
【００８１】
例えば、x軸上へ投影されるベクトル場のx成分のみを考慮してまとめれば、
【００８２】
【数２３】
2008542896.tif 000025
である。ここで、bsxは、ベクトルの関連ブロック・サイズである。基本関数の極値は、その導関数がゼロである点上にある。この場合、前述の値はゼロである。このゼロ点では、基本関数は、
【００８３】
【数２４】
2008542896.tif 000026
である。これは、基本関数の極値が見出されると、乗算子を上記式によって算出することが可能である。他の軸上への投影を用いて、他の値全てを得ることが可能である。
【００８４】
図２は、平行移動パラメータの算出を行う装置を示す。入力ビデオ信号は端末２００に入力される。動き推定回路２０２内で動きベクトルを推定する。動きベクトル推定は、入力ビデオ信号の連続したフレームに対して行うことが可能である。例えば、３つの連続した画像を用いることによって、３つの連続したフレームにわたる画素の動きベクトルを求めることが可能になる。推定動きベクトルによって、動き推定器２０２は、画素の動きを表すベクトル場を出力する。この出力は、投影回路２０４に供給される。投影回路２０４は、動きベクトルの成分を座標系の軸上に投影する。投影回路２０４の出力は、それぞれの軸への動きベクトルの対応する投影の値である。この投影を算出回路２０６内で用いて平行移動パラメータを得る。算出回路２０６では、ベクトル場の投影の乗算子値及び平均値が算出される。これは、多項式フィット方法、又は投影の基本関数を用いることによって行うことができる。これは、オイラー法を用いて行うことができる。算出回路２０６の出力は、カメラの動きの動きモデルを表す変換パラメータである。
【００８５】
変換モデルの精度は、ベクトル場の精度に依存する。これは、ベクトル場の一貫性にも依存する。変換モデルの精度は、カメラの移動とは違ったふうに動く、フレーム内のオブジェクトに伴って低下する。
【００８６】
パラメータは、出力端末２０８に出力される。
【図面の簡単な説明】
【００８７】
【図１】実施例による本発明の方法のフロー図である。
【図２】実施例による本発明の方法を提供する装置を示す図である。
【図３】x軸上及びy軸上へのベクトルx成分の投影図である。
【図４】x軸上及びy軸上へのベクトルy成分の投影図である。
【図５】ベクトル場のスケール変換を示す図である。
【図６】ベクトル場の回転変換を示す図である。
【図７】利得と投影関数との関係を示す図である。
【図１】
2008542896.tif 000027
【図２】
2008542896.tif 000028
【図３】
2008542896.tif 000029
【図４】
2008542896.tif 000030
【図５】
2008542896.tif 000031
【図６】
2008542896.tif 000032
【図７】
2008542896.tif 000033
【国際調査報告】
2008542896.tif 000034
2008542896.tif 000035
2008542896.tif 000036