(57)【要約】本発明は、画像要素（画素）から構成されるフレームシーケンスの符号化方法であって、３次元（３Ｄ）ボリュームとしてみなされる前記シーケンスにおいて連続するＧＯＦ（Ｇｒｏｕｐ  ｏｆ  Ｆｒａｍｅ）の各々に対応する時空間データに適用されるフィルタリングステップに関する３次元サブバンド分解による方法に関する。前記ＧＯＦはいわゆる前フレームと現在フレームを含む連続するＰＯＦ（Ｐａｉｒ  ｏｆ  Ｆｒａｍｅ）に再分割され、前記分解は各ＧＯＦにおいて各時間分解レベルで取得される低周波数時間サブバンドの対応するペア（ＰＯＳ）及びＰＯＦに対し実行される動き推定及び補償ステップと共に前記ＧＯＦに適用される。前記動き補償時間フィルタリングのプロセスは、前記前のフレームにおいて、一方では前記動き推定ステップにより定義された動きベクトルに対応する動き軌跡に沿ってフィルタリングされる接続画素をもたらし、他方では全くフィルタリングされない残りのいわゆる未接続画素をもたらし、各動き推定ステップは、再帰的または非再帰的実現により、動きベクトルの最適集合を取得するのを可能にする特定の規則に基づき、前記最小化処理に対する未接続画素現象を考慮する歪み基準に少なくとも依存するコスト関数を最小化する動きベクトルを返すために与えられる動き検索を有する。
2006510252.tif 000002
【特許請求の範囲】
【請求項１】
画像要素（画素）から構成されるフレームシーケンスの符号化方法であって、３次元（３Ｄ）ボリュームとしてみなされる前記シーケンスにおいて連続するＧＯＦ（Ｇｒｏｕｐ  ｏｆ  Ｆｒａｍｅ）の各々に対応する時空間データに適用されるフィルタリングステップに関する３次元サブバンド分解によるものであり、前記ＧＯＦはいわゆる前フレームと現在フレームを含む連続するＰＯＦ（Ｐａｉｒ  ｏｆ  Ｆｒａｍｅ）に再分割され、前記分解は各ＧＯＦにおいて各時間分解レベルで取得される低周波数時間サブバンドの対応するペア（ＰＯＳ）及びＰＯＦに対し実行される動き推定及び補償ステップと共に前記ＧＯＦに適用され、前記動き補償時間フィルタリングのプロセスは前記前のフレームにおいて、一方では前記動き推定ステップにより定義された動きベクトルに対応する動き軌跡に沿ってフィルタリングされる接続画素をもたらし、他方では全くフィルタリングされない残りのいわゆる未接続画素をもたらし、各動き推定ステップは、前記未接続画素に適用される歪み度に関する歪み基準に少なくとも依存するコスト関数を最小化する動きベクトルを返すために与えられる動き検索を有することを特徴とする方法。
【請求項２】
請求項１記載の符号化方法であって、
前記動き検索は、以下の式（１）
【数１】
2006510252.tif 000014
を最小化する動きベクトルを返すため与えられ（ただし、
【数２】
2006510252.tif 000015
は前記動きベクトルであり、
【数３】
2006510252.tif 000016
は前記動きベクトルに対する予測であり、λＭＯＴＩＯＮはラグランジュ乗数であり、レート項Ｒ（ｍ−ｐ）は前記動き情報のみを表し、歪み度として用いられるＳＡＤは、
【数４】
2006510252.tif 000017
として計算される。ここで、ｓはオリジナルの入力信号であり、ｃは符号化された映像信号であり、Ｂはブロックサイズである）、前記歪み基準は、以下の式（３）
【数５】
2006510252.tif 000018
に適用される前記最小化処理に対する未接続画素現象を考慮する（ただし、Ｄ（ＳＵＮＣＯＮＮＥＣＴＥＤ（ｍ））は、動きベクトルｍから得られる未接続画素の集合ＳＵＮＣＯＮＮＥＣＴＥＤに対する歪み度である）ことを特徴とする方法。
【請求項３】
請求項２記載の符号化方法であって、
該方法は、動き補償される前記画像の全体の各部分に連続的に適用される前記未接続画素による歪みを考慮するため、
（ａ）前記画像の考慮されている部分と与えられた動きベクトル候補ｍに対し、時間逆動き補償が適用されるステップと、
（ｂ）前記未接続画素が特定されるステップと、
（ｃ）Ｄ（ＳＵＮＣＯＮＮＥＣＴＥＤ（ｍ））が評価されるステップと、
（ｄ）前記現在のＫ（ｍ）の値が計算され、前記動きベクトルの候補がより小さなＫ（ｍ）の値をもたらすかどうかチェックするため、前記現在の最小値Ｋｍｉｎ（ｍ）と比較されるステップと、
（ｅ）すべての候補がチェックされると、最終的な逆動き補償が最善の候補に適用されるステップと、
（ｆ）前記ステップ（ａ）〜（ｅ）が、同様に処理可能な前記画像の次の部分に適用されるステップと、
を有し、
前記画像の部分は、重複なく前記画像の全体を前記部分の集まりがカバーする場合、画素、画素ブロック、画素マクロブロックあるいは任意の領域であることを特徴とする方法。
【請求項４】
請求項２記載の符号化方法であって、
該方法は、前記未接続画素による歪みを考慮し、補償される前記画像の全体に対する大域的基準Σ［ａｌｌ  ｐａｒｔｓ］Ｋ（ｍ）を最小化するため、
（ａ）前記最適動きベクトルｍｏｐｔと共にＪ（ｍ）に対する最小値を与えるＮｓｕｂ−ｏｐｔ個の次善的動きベクトルの集合｛ｍｓｕｂ−ｏｐｔ｝が計算されるステップと、
（ｂ）すべてのベクトルに対し、Ｊ（ｍｏｐｔ）と｛Ｊ（ｍｓｕｂ−ｏｐｔ）｝を生成するため、前記基準Ｊ（ｍ）に対する対応する値が格納されるステップと、
（ｃ）Σ［ａｌｌ  ｐａｒｔｓ］Ｋ（ｍｏｐｔ）を計算するため、逆動き補償が前記最適動きベクトルｍｏｐｔに対し適用されるステップと、
（ｄ）前記次善的ベクトルのリストから、
【数６】
2006510252.tif 000019
を最小化する前記候補動きベクトルｍｃａｎｄｉｄａｔｅが選択されるステップと、
（ｅ）前記最適動きベクトルと候補ベクトルの集合に対し、Σ［ａｌｌ  ｐａｒｔｓ］Ｋ（ｍ）を再び計算するため、逆動き補償が適用されるステップと、
（ｆ）前記Σ［ａｌｌ  ｐａｒｔｓ］Ｋ（ｍ）の値がΣ［ａｌｌ  ｐａｒｔｓ］Ｋ（ｍｏｐｔ）より小さい場合、ｍｏｐｔの最適値は前記画像の対応する部分に対しｍｃａｎｄｉｄａｔｅと置換されるステップと、
（ｇ）最終的に、ｍｃａｎｄｉｄａｔｅは前記次善的ベクトルのリストから破棄されるステップと、
（ｈ）新たな候補が選択され、その後、前記動きベクトルの最適集合を取得するため、前記次善的ベクトルのリストが空になるまで、前記同一の機構が適用されるステップと、
を有することを特徴とする方法。
【請求項５】
請求項３または４記載の方法を実現するための命令群を有するコンピュータプログラムであって、該プログラムは符号化装置に含まれるプロセッサによって実行されることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にデータ圧縮技術に関し、より詳細には、画像要素（画素）から構成されるフレームシーケンスの符号化方法であって、３次元（３Ｄ）としてみなされる当該シーケンスにおいて連続するＧＯＦ（Ｇｒｏｕｐ  ｏｆ  Ｆｒａｍｅ）の各々に対応する時空間データに適用されるフィルタリングステップに関する３次元サブバンド分解によるものであり、当該ＧＯＦはいわゆる前フレームと現在フレームを含む連続するＰＯＦ（Ｐａｉｒ  ｏｆ  Ｆｒａｍｅ）に再分割され、当該分解は各ＧＯＦにおいて各時間分解レベルで取得される低周波数時間サブバンドの対応するペア（ＰＯＳ）及びＰＯＦに対し実行される動き推定及び補償ステップと共にＧＯＦに適用される。
【０００２】
本発明はまた、符号化装置に含まれるプロセッサによって実行されるとき、上記符号化方法を実現するための命令群を有するコンピュータプログラムに関する。
【背景技術】
【０００３】
近年、３Ｄボリュームとしてみなされるフレームシーケンスの３Ｄまたは（２Ｄ＋ｔ）ウェーブレット分解に基づく３次元（３Ｄ）サブバンド解析が、映像圧縮に対しますます研究されている。ウェーブレット変換は、係数間の親子依存関係を示す３Ｄオリエンテーションツリーを利用して時空間関係が定義される階層ピラミッドを構成する係数を生成する。このとき、この階層ツリーにおいて生成された係数の詳細なスキャニングとプログレッシブビットプレーン符号化技術は、所望のクオリティスケーラビリティを導く。
【０００４】
このアプローチを実現するための実用的な解法は、８つのフレームのＧＯＦに対し図１に示されるように、シンプルなツー・タップ（ｔｗｏ  ｔａｐ）ウェーブレットフィルタを利用することにより、動き補償時間サブバンドを生成することである。図示された実現形態では、入力映像シーケンスは、ＧＯＦ（Ｇｒｏｕｐ  ｏｆ  Ｆｒａｍｅ）に分割され、連続するフレームペア（いわゆる動き補償時間フィルタリングモジュール、すなわち、ＭＣＴＦモジュールに対する入力と同数の）再分割された各ＧＯＦは、まず動き補償（ＭＣ）され、その後に時間フィルタリング（ＴＦ）される。結果として得られる第１の時間分解レベルの低周波数（Ｌ）時間サブバンドはさらにフィルタリング（ＴＦ）され、当該プロセスはルート時間サブバンドと呼ばれる１以上の低周波数サブバンドを生じる任意数の分解後に終了されるようにしてもよい（図では、２つのルートサブバンドＬＬを生じさせる２つの分解レベルによる非限定的な例が提供されている）。図１の例では、図示されたグループのフレームはＦ１〜Ｆ８により表され、破線の矢印はハイパス時間フィルタリングに対応し、その他の矢印はローパス時間フィルタリングに対応する。２つの分解段階が示される（Ｌ及びＨ＝第１段階、ＬＬ及びＬＨ＝第２段階）。８つのフレームの図示されたグループの各時間分解レベルでは、動きベクトルフィールドのグループが生成される（本例では、第１レベルにはＭＶ４、第２レベルにはＭＶ３）。
【０００５】
Ｈａａｒ多重解像度解析が時間分解に利用されるとき、１つの動きベクトルフィールドが各時間分解レベルの検討されているフレームグループの２フレーム間で生成されるため、動きベクトルフィールドの個数は時間サブバンドのフレーム数の１/２に等しくなり、すなわち、動きベクトルフィールドの第１レベルでは４つ、第２レベルでは２つとなる。動き予測（ＭＥ）と動き補償（ＭＣ）のみが、シンプルウェーブレットフィルタの２つによる時間ダウンサンプリングにより入力シーケンスの２フレームごとに実行される（一般には順方向に）。これらの大変シンプルなフィルタを用いることにより、各低周波数時間サブバンド（Ｌ）は入力フレームペアの時間平均を表し、高周波数時間サブバンド（Ｈ）はＭＣＴＦステップ後には残差エラーを含む。
【０００６】
残念なことに、動き補償時間フィルタリングは、全くフィルタリングされていない未接続画素の問題を生じさせるかもしれない（あるいは、２回フィルタリングされる二重接続画素の問題）。未接続画素の個数は、３Ｄサブバンドコーデックアプローチの弱点を表す。なぜなら、この個数は特に隠蔽（ｏｃｃｌｕｓｉｏｎ）領域での結果として得られる画質に大きな影響を与えるためである。それは、時間訂正が良好でない場合、高い動きシーケンスまたは最終時間分解レベルに対して特に真である。これら未接続画素の個数は、動き推定により生成された稠密動きベクトルフィールドに依存する。
【０００７】
動き推定装置において用いられる最適な動きベクトル検索の現在の基準は、動き補償の結果となる未接続画素の個数を考慮に入れていない。大部分の先進的なアルゴリズムは、動きベクトルを送信するのに要するビット数（レート）とずれた差分エネルギー（歪み）に依存するコスト関数を最小化する傾向のあるレート/歪み基準を利用する。例えば、動き検索は、
【０００８】
【数７】
2006510252.tif 000003
を最小化する動きベクトルを返す。
【０００９】
この式（１）において、
【００１０】
【数８】
2006510252.tif 000004
は動きベクトルであり、
【００１１】
【数９】
2006510252.tif 000005
は動きベクトルに対する予測であり、λＭＯＴＩＯＮはラグランジュ乗数である。このレート項Ｒ（ｍ−ｐ）は動き情報のみを表し、歪み度として用いられるＳＡＤは、
【００１２】
【数１０】
2006510252.tif 000006
として計算される。ここで、ｓはオリジナルの入力信号であり、ｃは符号化された映像信号であり、Ｂはブロックサイズである（ただし、Ｂ＝１とすることができる）。残念なことに、これらのアルゴリズムは、逆動き補償中に未接続画素により導入される歪みを考慮するものではない。なぜなら、通常はこれらの最適化は逆動き補償が実行されないハイブリッド符号化に適用されるからである。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明の課題は、上記問題点を回避し、未接続画素群が歪み度に考慮される映像符号化方法を提案することである。
【課題を解決するための手段】
【００１４】
このため、本発明は、導入パラグラフで定義されたような方法であって、さらに前記動き補償時間フィルタリングのプロセスは前記前のフレームにおいて、一方では前記動き推定ステップにより定義された動きベクトルに対応する動き軌跡に沿ってフィルタリングされる接続画素をもたらし、他方では全くフィルタリングされない残りのいわゆる未接続画素をもたらし、各動き推定ステップは、前記未接続画素に適用される歪み度に関する歪み基準に少なくとも依存するコスト関数を最小化する動きベクトルを返すために与えられる動き検索を有する方法に関する。
【発明を実施するための最良の形態】
【００１５】
未接続画素は逆動き補償された画像の画質の劣化に大きな影響を与えるため、本発明によると、未接続画素群が歪み度に考慮される。このためここでは、未接続画素現象を考慮するため、等式を拡張する新たなレート/歪み基準を導入することが提案される。これは、等価である式（３）と（４）
【００１６】
【数１１】
2006510252.tif 000007
により示される。ただし、Ｄ（ＳＵＮＣＯＮＮＥＣＴＥＤ（ｍ））は、動きベクトルｍから生じる未接続画素の集合ＳＵＮＣＯＮＮＥＣＴＥＤに対する歪み度である。複数の歪み度が未接続画素群に適用可能である。好ましくは、極めてシンプルな測度は、対象となる動きベクトルの未接続画素のカウントである。
【００１７】
ここで、動き検索から生じる実際の未接続画素群は、動きベクトル情報がフレーム全体に対し利用可能であるときのみ計算可能であるということに注目することができる。従って、最適解はほとんど到達不可能であり（実際、フレーム全体に対する複雑な最小化基準群が解かれるべきである）、このため次善的な実現形態が提案される。この実現形態は、再帰的なものではなく、未接続画素による歪みを考慮するためのシンプルな方法としてみなすことができる。動き補償される画像の与えられた部分（画像の一部とは、これら部分の集まりが重複なく画像全体をカバーすると仮定すると、画素、画素ブロック、画素マクロブロックあるいは任意の領域とすることが可能である）及び与えられた動きベクトル候補ｍに対し、時間逆動き補償が適用され、未接続画素群が特定され、Ｄ（ＳＵＮＣＯＮＮＥＣＴＥＤ（ｍ））が評価可能である。このとき、現在のＫ（ｍ）の値を計算することができ、候補となる動きベクトルがより小さなＫ（ｍ）の値をもたらすかどうかチェックするため（第１動きベクトル候補に対し、Ｋ（ｍ）は計算されたＫ（ｍ）の値に明らかに等しい）、現在の最小値Ｋｍｉｎ（ｍ）と比較することができる。すべての候補がチェックされると、（最終的な）逆動き補償が最善の候補に適用される（接続及び未接続画素の特定）。その後、画像の次の部分が処理され、画像全体の処理の完了まで継続される。
【００１８】
しかしながら、この非再帰的な実現形態では、結果として得られる決定は、画像全体に対して常に空間同質的なものとはならない。すなわち、動き補償される画像の最初の部分に対しては、未接続画素群は空であるかもしれず、動き補償される画像の最後の部分に対する未接続画素の確率は大変高いものとなる。この状況は、異質的空間歪みをもたらしうる。単一パス実現形態の結果であるこのような問題を解消するため、以下の各ステップを含む複数パス実現形態により実行可能な画像全体のすべての部分に対する大域的基準ΣＫ（ｍ）の最小化により単一パス実現形態の改善が可能な複数パス実現形態を提案することができる。
【００１９】
まず、画像のすべての部分に対して、最適な動きベクトルｍｏｐｔが計算されると共に、式（１）のＪ（ｍ）の最小値を与えるＮｓｕｂ−ｏｐｔ個の次善動きベクトルの集合｛ｍｓｕｂ−ｏｐｔ｝が計算される。この段階では、未接続画素の個数は用いられていない（次善的ベクトルの個数Ｎｓｕｂ−ｏｐｔは、実現形態に依存する）。これらすべてのベクトルに対し、基準Ｊ（ｍ）の対応する値は、Ｊ（ｍｏｐｔ）と｛Ｊ（ｍｓｕｂ−ｏｐｔ）｝が生成されるように格納される。その後、
【００２０】
【数１２】
2006510252.tif 000008
を計算することが可能となるように、逆動き補償が最適な動きベクトルｍｏｐｔに適用される（ここで、ｍｏｐｔはＫ（ｍ）でなくＪ（ｍ）を最適化しているため、
【００２１】
【数１３】
2006510252.tif 000009
は
【００２２】
【数１４】
2006510252.tif 000010
に対する最適値ではない）。次善的ベクトルのリストから、
【００２３】
【数１５】
2006510252.tif 000011
を最小化する候補となる動きベクトルｍｃａｎｄｉｄａｔｅが選択される（現在の画像の何れかの部分のベクトルとすることが可能である）。最適な動きベクトルと候補ベクトルの集合に対して（画像の対応する部分の最適ベクトルの代わりに）、逆動き補償が適用され、
【００２４】
【数１６】
2006510252.tif 000012
が再度計算される。それの値が
【００２５】
【数１７】
2006510252.tif 000013
より小さい場合、ｍｏｐｔの最適値がｍｃａｎｄｉｄａｔｅ（画像の対応する部分に対する）と置換される。最終的に、ｍｃａｎｄｉｄａｔｅは次善的ベクトルのリストから破棄される。その後、新たな候補が選択され、動きベクトルの最適な集合を取得するため、次善的ベクトルのリストが空になるまで同じ機構が適用される。
【図面の簡単な説明】
【００２６】
【図１】図１は、動き補償による時間多重解像度解析を示す。
【図１】
2006510252.tif 000020
【国際調査報告】
2006510252.tif 000021
2006510252.tif 000022