(57)【要約】【課題】  長さ２nのＧＯＰ（画像群）のウェーブレット時間係数を算出する方法を提供する。【解決手段】  制御された時間変換を、再帰的に適用して、ｎ段階の分解レベルを生成する。各分解レベルは、各入力信号対の平均及び平均差の演算を含んでいる。後の方のｎ−１段階の分解レベルでは、各分解レベルの変換ブロックは、前段の分解レベルから出力された２つの時間平均差の和に対応した制御信号により制御される。前段の分解レベルにおける対応する時間平均は、後段の変換ブロックへの入力信号となる。制御信号がゼロである場合、後段の変換ブロックの出力値は、入力信号の時間平均値及び時間平均差となり、制御信号がゼロでない場合、出力信号は前記入力信号となる。【選択図】      図４
2004153818.tif 000002
【特許請求の範囲】
【請求項１】
長さ２nのＧＯＰ（画像群）のウェーブレット時間係数を、ｎ段階の分解レベルを生成する時間変換を再帰的に適用することにより、算出する方法であって、各分解レベルは、各入力信号対ａi，ｂiの関数Ｍ（ａi，ｂi）及び関数Ｄ（ａi，ｂi）を含んでいる方法において、後の方のｎ−１段階の分解レベルでは、各分解レベルの変換ブロックは、前段の分解レベルから出力された２つの関数Ｄ（ａi，ｂi）の和に対応した制御信号により制御されるとともに、前記の前段の分解レベルにおける対応する関数Ｍ（ａi，ｂi）は、前記変換ブロックへの入力信号となり、前記制御信号がゼロである場合、前記変換ブロックの出力値は、入力信号Ｍ（ａi，ｂi）の関数Ｍ（Ｍ（ａi，ｂi），Ｍ（ａi+1，ｂi+1））及びＤ（Ｍ（ａi，ｂi），Ｍ（ａi+1，ｂi+1））となり、前記制御信号がゼロでない場合、出力信号は前記入力信号となることを特徴とする方法。
【請求項２】
関数Ｍ（ａi，ｂi）は、信号ａi，ｂiの平均値であり、関数Ｄ（ａi，ｂi）は、信号ａi，ｂiの平均差を量子化したものであることを特徴とする請求項１記載の方法。
【請求項３】
２nフレームの入力列が、最初に、任意の２−Ｄ線形変換（ウェーブレット、ＤＣＴ、…）で２n個の画像のＧＯＰへと個別に変換され、各画像は、各入力フレームの変換係数を含み、得られた空間変換係数は、第１のレベルの時間分解を生成する時間変換へと渡され、各分解は、時間平均及び時間差分を含み、その後のｎ−１段階の各分解レベルでは、制御信号は、前段の分解レベルから出力された２つの時間平均差が量子化されたものの和となることを特徴とする請求項２記載の方法。
【請求項４】
最初の分解レベルへの入力値は、未処理のイメージであり、制御信号は、前段のレベルから出力された２つの信号における符号化され、量子化され、量子化が復元され、復号されたイメージの平均差の和であることを特徴とする請求項２記載の方法。
【請求項５】
２−Ｄ線形変換は、２−Ｄ・５．３ウェーブレット変換であり、その低域フィルタは、５タップフィルタであり、高域フィルタは、３タップフィルタであることを特徴とする請求項３記載の方法。
【請求項６】
前記時間変換は、ハール時間変換であることを特徴とする請求項１〜４のいずれか１項記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各分解レベルが、各入力信号対ａi，ｂiの関数Ｍ（ａi，ｂi）及び関数Ｄ（ａi，ｂi）を含むｎ段階の分解レベル（n decomposition level）を生成する時間変換を再帰的に適用することにより、長さ２nのＧＯＰ（Group Of Pictures:画像群）のウェーブレット時間係数（wavelet temporal coefficient）を算出する方法に関する。使用されている技術は、ウェーブレットに基づいており、デジタルビデオ符号化のためのものである。
【背景技術】
【０００２】
画像は、数値の行列であり、各数値が、画素における色の強度、又は輝度、又はアルゴリズムにより算出された値等を、表している。イメージの符号化がバイトでなされると、各数値は、０から２５５迄の値を含むことになる。画像は、画素における色の強度又は輝度の行列を表すときに、フレームと称される。
【０００３】
デジタルビデオ信号は、一連のフレームからなる。毎秒、所定量（通例２５又は３０）のフレームが表示されることにより、観測者に対して動作の様相が示される。このような意味において、デジタルビデオ信号は、実際には３−Ｄ信号（３次元）である。ここで、２次元がイメージ平面（単一フレーム）を表し、第３次元が時間（一連の連続フレーム（図１））を表している。
【０００４】
このような３−Ｄ信号を効率よく圧縮するためには、空間（２−Ｄ）及び時間（３−Ｄ）の双方の冗長性を活用することが必要である。例えばハール変換（Haar transform）を適用することによって、ビデオ列の空間冗長性を活用するのに、ウェーブレットが広く用いられてきている。
【０００５】
ハール変換は、ウェーブレット理論において周知であり、最もサポートが少なくてすむウェーブレット変換の１つである。２つの入力値Ａ及びＢが与えられると、対応するハール係数は、単純に、それらの差の半分（half difference）Δ及びそれらの平均μとなる。
【０００６】
ビデオ符号化の意味においては、ハール変換は、空間変換及び時間変換の双方に用いられてきている。その２番目の場合、時間分解（temporal decomposition）は、２nのサイズのＧＯＰ（画像群）に適用される。入力データは、ビデオ列の未処理のイメージ（輝度及びクロミナンス値）であってもよく、任意の２−Ｄ線形変換を用いてそれらが空間分解されたもの（変換係数）であってもよい。
【０００７】
ハール変換が時間変換として適用された場合、図２に示された方式が得られる。ここで、入力は、入力列のフレームの２−Ｄハール変換により生成された４つの画像（Ｆ1，Ｆ2，Ｆ3，Ｆ4）により表される。
【０００８】
所与のＦ1及びＦ2について、対応する時間ハール変換は平均画像μ1及び差分画像Δ1からなり、μ1及びΔ1はＦ1及びＦ2のハール変換を表している。何段階かの分解レベルを生成するために、ハール変換を再帰的に適用することが可能である。図２の例では、まずハール変換を画像（Ｆ1，Ｆ2）及び（Ｆ3，Ｆ4）に適用し、次に２つの平均画像（μ1，μ2）に適用することにより得られる２レベルの分解が、示される。対応するハール変換は、Δ1，Δ2，Δ3，μ3により表される。なお、ハール分解は、入力画像が相互に類似している場合、ビデオ符号化の用途に極めて効率的である。この場合、差分画像はゼロに近いので、エントロピー符号器で圧縮するのが容易である。
【０００９】
ハール変換では、分解は、各分解について全ての入力に均等に適用される。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、あらゆる２−Ｄ線形変換により算出される変換係数の時間的冗長性を効率的に活用可能な、ＧＯＰのウェーブレット時間係数を算出する方法を、提案するものである。
【課題を解決するための手段】
【００１１】
本発明による方法は、後の方のｎ−１段階の分解レベルでは、各分解レベルの変換ブロックは、前段の分解レベルから出力された２つの関数Ｄ（ａi，ｂi）の和に対応した制御信号により制御されるとともに、前段の分解レベルにおける対応する関数Ｍ（ａi，ｂi）は、後段の変換ブロックへの入力信号となり、制御信号がゼロである場合、後段の変換ブロックの出力値は、入力信号Ｍ（ａi，ｂi）の関数Ｍ（Ｍ（ａi，ｂi），Ｍ（ａi+1，ｂi+1））及びＤ（Ｍ（ａi，ｂi），Ｍ（ａi+1，ｂi+1））となり、制御信号がゼロでない場合、出力信号は前記入力信号となることを特徴とする。
【００１２】
好適な一実施形態によると、関数Ｍ（ａi，ｂi）は、信号ａi，ｂiの平均値であり、関数Ｄ（ａi，ｂi）は、信号ａi，ｂiの平均差を量子化したものであることを特徴とする。
【００１３】
提案される技術は、好ましくは、発明者が「動的時間変換」と称する新規の方法を用いた２−Ｄ線形変換により算出される変換係数の時間的冗長性を効率的に活用する。他の解決策とは異なり、この技術は、コンピュータ処理的に高コストなタスクである動作推定手順（motion estimation procedure）を必要としない。
【００１４】
一実施形態によると、２nフレームの入力列は、最初に、２−Ｄ線形変換で２n個の画像のＧＯＰへと個別に変換され、ＧＯＰの各画像は、各入力フレームの変換係数を含み、変換係数は、第１のレベルの時間分解を生成する時間変換へと渡され、各分解は、時間平均及び時間差分を含み、その後のｎ−１段階の各分解レベルでは、制御信号は、前段の分解レベルから出力された２つの時間平均差が量子化されたものの和となる。
【００１５】
なお、本実施形態のために提案される「動的時間変換」は、２−Ｄ線形変換の結果に適用されるものであり、未処理のイメージに適用されるものではない。この選択は、符号器の複雑さに関して利点がある。
【００１６】
他の実施形態によると、最初の分解レベルへの入力値は、未処理のイメージであり、制御信号は、前段のレベルから出力された２つの信号における符号化され、量子化され、量子化が復元され、復号されたイメージの平均差の和である。
【００１７】
好適な一実施形態によると、２−Ｄ線形変換は、２−Ｄ・５．３ウェーブレット変換であり、その低域フィルタは、５タップフィルタであり、高域フィルタは、３タップフィルタであり、時間変換は、ハール時間変換である。
【発明を実施するための最良の形態】
【００１８】
本発明は、添付の図面とともに提示される。ここで、２−Ｄ線形変換及び時間変換は、ハール変換である。
【００１９】
図３に、第１実施形態により提案される技術の概略方式を示す。
【００２０】
提案される「動的時間変換」は、長さ２nの任意のＧＯＰに適用可能である。図３では、ＧＯＰは、長さが４（２2）である。最初に、これらのイメージは、２−Ｄウェーブレットで個別に変換される（このステップには、並列の実現が適していることがある）。結果として、各入力イメージのウェーブレット係数を含んだ空間分解が４つ生成される。なお、各分解には、入力イメージ内の画素と同数の係数が含まれる。そして、これらの係数は、４つの時間分解を生成する「動的時間変換」へと渡される。この場合にも、各分解には、入力イメージ内の画素と同数の係数が含まれる。次により詳細に説明されるように、これらの分解の１つが時間平均であり、３つが時間差分である。
【００２１】
ＧＯＰ（２n）の長さは、時間分解の数（ｎ）を定める。ｎが大きくなるほど、時間的冗長性がより活用可能となる。但し、ｎは、符号器による遅延をも規定するので、実際の応用例では、ｎをあまり大きくすることができない。
【００２２】
提案される方法は、どの入力係数がさらに変換され、どの係数が単に伝達されるだけなのかを、動的に判別する手順を定める。
【００２３】
定められた方式が、図４に示される。ここでは、その手順は、８つの入力画像Ｉt〜Ｉt-7に及んでいる。その方式は、第１のレベルにて、上述（図２）の標準的なハール変換が全ての入力に対して適用されることを示している。その結果は、２つの画像となる。上側が平均μであり、下側が差分Δである。差分画像を量子化したものであるＱが、次段の分解レベル用の制御信号として用いられる。一方、平均画像は、次段の分解レベルにおける制御変換ブロック（controlled transform block）用の入力の１つとなる。
【００２４】
制御変換ブロックの出力は、制御信号に従い、入力信号の平均及び差分となるか、直接、入力信号となる。図５に、制御変換ブロックの詳細機構を示す。入力信号は、Ｃn（ｘ，ｙ，ｔ1）及びＣn（ｘ，ｙ，ｔ2）であり、時刻ｔ1，ｔ2でのそれぞれのサブバンド位置（subband position）ｘ，ｙにおけるｎ番目の分解で生成されるウェーブレット係数を、表している。
【００２５】
２つのケースが図示されている。第１のケースでは、制御信号Ｑは０である。この場合は、出力信号は、単に、入力のハール変換である（大まかに言えば、入力信号の平均及び差分である）。第２のケースでは、入力信号Ｑは０ではない。この場合は、出力信号は、直接的に入力信号である。
【００２６】
提案される「動的時間変換」の機構を説明するために、図６に、２つの例が提示されている。第１の例では、標準的なハール変換機構が示されている。入力信号は、時間領域における強度の不連続性（例えば動いている物体）をシミュレートした区分的定数（piece-wise constant）である。８つ（２3）の入力値は、３段階で分解される。各段階にて、２つの入力信号から、２つの係数が、入力の平均及びそれらの差分の半分として、取得される（この例では、入力０，０が平均及び差分の半分として０，０となり、そして他の入力０，４が、２，２に変換される）。８つの入力信号は、３段階の分解の後８つの係数により表される。その１つは、最後に算出された平均値（この例では５）であり、他の７つは、算出された差分（この例では３，２，０，０，４，０，０）である。これらの係数から、入力値を再構成することが可能である。
【００２７】
同一の入力信号に対して、提案される「動的時間変換」を適用した。標準的なハール変換との差異は、分解の第２レベルで生じる。ここでは、入力信号０，４は、２，２ではなく０，４となる。これは、この変換ブロック用の制御信号が、ゼロでないためである（図６では、ゼロでない制御信号は点線になっている）。このような差異のため、３レベルの分解後、以下の８つの出力係数が得られる。すなわち、０が最終的な平均であり、８，４，０，０，４，０，０が、いずれも差分である。標準的なハール変換により得られた結果に対して、２ステップの量子化を適用すると、以下の係数２，１，１，０，０，２，０，０が得られる。これにより、復号後、０，０，０，８，６，６，６，６が得られる。「動的時間変換」を適用することにより得られた係数に対して、同様にすると、０，４，２，０，０，２，０，０が得られ、復号後、０，０，０，８，８，８，８，８が得られる。これは正確に入力と一致している。このことは、上記の例において「動的時間変換」は、標準的なハール変換よりも優れた符号化法であることを、意味している。
【００２８】
提案される「動的時間変換」は、ビデオ符号化の状況で、標準的なハール変換の性能を著しく向上させる。主要な利点は、所与の割合で、提案される「動的時間変換」は、動いている物体周辺のゴーストのような、厄介なアーティファクトをもたらすことがないということである。それに対して、標準的なハール変換では、このようなことが起こる。このようなアーティファクトに対する耐性により、ＧＯＰの長さを伸ばすとともに入力信号における時間的冗長性をよりよく活用することが、可能となる。標準的なハール変換では、動いている物体が場面内にあるときのアーティファクトの存在により、ＧＯＰの長さが、２4に制限されている。この制約は、標準的なハール変換の符号化性能に影響する。
【００２９】
提案される実現例における他の重要な利点は、ＭＰＥＧ−２／４等の標準的な手法に比べて複雑さを軽減できることにある。実際に、提案される符号化処理では、時間的冗長性を活用するために符号器内で先行する復号手順が、必要ではない。
【００３０】
「動的時間変換」における提案される実現例では、何の欠点ももたらされない。変換が対称かつ可逆的であるため、復号器に対して、追加的な制御信号を何も送る必要がない。
【００３１】
提案される「動的時間変換」は、ビデオ監視信号の圧縮に、主要な適用領域がある。その理由は以下の通りである。
【００３２】
１．保安用ビデオでは、場面の大部分が固定されたままである。このため、長いＧＯＰについて時間的冗長性を活用することは、圧縮性能に著しい効果をもたらす。長いＧＯＰに標準的なハール変換を用いることは、ゴースト・アーティファクトにより制限される。これは、提案される「動的時間変換」を用いることにより、補正される。  
２．保安用の用途では、リアルタイム的制約が非常に強い。提案される「動的時間変換」は、ＭＰＥＧ−２／４の標準的手法に比べて、コンピュータ処理の複雑さが非常に低いので、容易にハードウェアで実現可能である。
【００３３】
一方、提案される「動的時間変換」は、高度なコンピュータ処理能力を要するものや、静的な場面が圧縮されるといった他の適用領域にも利用可能である。例として、ビデオ電話、ビデオフォーラム、ビデオ会議等が挙げられる。
【００３４】
上記実施形態で説明された方法は、線形変換の領域に適用される。例えば、ウェーブレット係数等の変換係数に適用される。但し、本発明の他の実施形態によると、それは拡張可能であり、イメージ領域にも一般化されるので、イメージのカラー情報にも適用可能である。こうした意味合いで、「動的時間変換」を変換領域（例えば、図２に示されたウェーブレット係数）に適用する代わりに、動的ハール変換を、イメージ領域（例えば、カラー強度。フォーマットの如何を問わない。図７に示されるように、ＲＧＢ、ＹＵＶ、ＹｃｂＣｒ、…）に適用することが可能である。
【００３５】
なお、この一般化には、符号器が、復号器にも利用可能な同一の情報にアクセスできることが、必要とされる。このため、図４の方式は、図８に示されるように一般化される必要がある。この方式を理解しやすくするために、単一のレベルのみの分解が例として示される。ここで、入力Ｉt−Ｉt-3は、図４でのような２−Ｄ変換ではなく、未処理の入力イメージにより表現されている。
【００３６】
この一般化では、制御変換ブロックは、図５に示されたもののままである。上述のように、第１の分解の制御変換ブロックにより、２つの画像が生成される。すなわち、平均差Δ及び平均μである。Δは、使用可能な任意の符号化器を用いて、符号化される（図８では、符号化器１の結果をδと称する）。そして、δは、対応する復号器１を用いて復号される。その結果は、入力イメージの差分を近似したΔ´となる。このフレームは、復号器でも利用可能となることが、理解されるであろう。
【００３７】
図８の例では、第１の分解レベルにより、２つの画像Δ´が得られる。画素レベルでのそれらの和が、以降の分解レベル用の制御信号となる。制御変換ブロックは、符号化され、量子化され、量子化が復元され、復号された画像の差分が、０であるか０でないかという情報に従って、復号された画像の平均差及び平均を符号化するのか、あるいは、時間符号化なしに実際の値を転送するのか、判別する。この選択は、画素レベルでなされ、符号器から復号器へと追加の情報を送出する必要はない。これは、両者が、それらの決定を同一のデータから取得するためである。取得された画像μ及びΔは、任意の符号化器で個別に符号化されて、２つのストリームΩ及びδが生成される。最後に、復号器へと送出されるストリームは、最終的な平均μが符号化されたものであるΩ、及び３つの平均差が符号化されたものに対応する３つのδストリームである。このように、復号器は、制御信号Δ´を、対応するδから再構成することができる。
【００３８】
なお、ＭＰＥＧ−４規格では、ブロックが内部で符号化されたか、あるいは、外部との間で符号化されたかについての情報を送信することにより、同様の結果が得られる。この場合には、その選択は、ブロックサイズの解像度で、そして、符号器へと命令を送信する追加的なコストをかけて、なされる。
【００３９】
本発明における説明用の実施形態が示されて説明されたが、広範な修正、変更及び置換が、上記の開示内容及びいくつかの実例にて意図されており、本発明のいくつかの特徴は、他の特徴を組み合わせて用いることなく、使用されうる。従って、添付の特許請求の範囲は、広く、そして、本発明の範囲と一致した様式で解釈されることが、適切である。
【図面の簡単な説明】
【００４０】
【図１】３−Ｄ信号とみなされるビデオ列を表わす図である。
【図２】ハール時間分解の方式を示す図である。
【図３】本発明の方法の概略方式を示す図である。
【図４】本発明の方法の方式を示す図である。
【図５】制御変換ブロックを表わす図である。
【図６】標準的ハール変換及び本発明の変換に従った分解の説明図である。
【図７】イメージ領域に適用された時間ハール変換の方式を示す図である。
【図８】イメージ領域に適用された本発明の方法を表わす図である。
【図１】
2004153818.tif 000003
【図２】
2004153818.tif 000004
【図３】
2004153818.tif 000005
【図４】
2004153818.tif 000006
【図５】
2004153818.tif 000007
【図６】
2004153818.tif 000008
【図７】
2004153818.tif 000009
【図８】
2004153818.tif 000010