(57)【要約】  本発明は画像のグループを符号化及び／又は復号化するための方法に関する。本発明は、３Ｄウェーブレットを処理する枠内の画像のフローの時間的分解の間に、画像（ＧＯＰ１，ＧＯＰ２，．．．）の個数、参照画像（Ｒ）の選択及びタイプＧＯＰの各画像シーケンスに対する時間的分解（Ｓ）の方向が接続されないピクセルの個数の最小化のための適応されることを提供する。
2007503782.tif 000002
【特許請求の範囲】
【請求項１】
３Ｄウェーブレット処理に基づいて画像シーケンスを符号化及び／又は復号化する方法において、
該方法は符号化フェーズを有し、該符号化フェーズは
所定の最適化規準に基づいて連続画像のシーケンスに対して参照画像の選択として３Ｄウェーブレット符号化を構成するための少なくとも１つの情報アイテムを決定するステップと、次いで、
前記画像のシーケンスに対して参照画像のデータを含むコンフィギュレーション情報ユニットを生成するためのステップと、最後に、
前記コンフィギュレーション情報に基づいて３Ｄウェーブレット符号化を実行するためのステップとを有し、
このようにして画像シーケンスの画像に対するコンフィギュレーション情報ユニット及び／又は３Ｄウェーブレット符号化データの各画像シーケンスに対するユニオン（union）を含む符号化されたデータのストリームを発生することを特徴とする、３Ｄウェーブレット処理に基づいて画像シーケンスを符号化及び／又は復号化する方法。
【請求項２】
少なくとも１つのコンフィギュレーション情報アイテムを決定するためのステップは、参照画像として少なくとも１つのテスト画像におけるウェーブレット分解のステップ、次いで動き推定のステップ、次いで動き推定ステップの間に接続されないピクセル（unconnected pixels）の数が最小であるような画像シーケンスの画像を参照画像として決定するステップを含むことを特徴とする、請求項１記載の方法。
【請求項３】
少なくとも１つのコンフィギュレーション情報アイテムを決定するためのステップは、少なくとも１つのテスト画像における動きの振幅を決定するステップ、次いで画像における動きの振幅が最小であるような画像シーケンスの画像を参照画像として決定するステップを含むことを特徴とする、請求項１記載の方法。
【請求項４】
少なくとも１つのコンフィギュレーション情報アイテムを決定するためのステップは、高周波成分を測定することによって少なくとも１つのテスト画像における少なくとも１つのテクスチャ情報アイテムを決定するステップ、次いで、テクスチャ情報アイテムがもっともリッチであるような画像シーケンスの画像を参照画像として決定するステップを含むことを特徴とする、請求項１記載の方法。
【請求項５】
少なくとも１つのコンフィギュレーション情報アイテムを決定するステップは、前記画像シーケンスにおける画像の個数の決定も含むことを特徴とする、請求項１記載の方法。
【請求項６】
少なくとも１つのコンフィギュレーション情報アイテムを決定するステップは、画像シーケンスに対する時間的分解の少なくとも１つの方向の決定も含むことを特徴とする、請求項１記載の方法。
【請求項７】
少なくとも１つのコンフィギュレーション情報アイテムを決定するステップは、
第１のステップにおいて、所定のサイズの画像シーケンスＧＯＰを構成し、
第２のステップにおいて、各画像シーケンス毎に接続されないピクセルの数を最小化する選択に従って、画像シーケンスの最初の画像を参照画像として及びフォワード方向における時間的分解の方向をセレクトするか、又は、画像シーケンスの最後の画像を参照画像として及びバックワード方向における時間的分解の方向をセレクトする
ことから成ることを特徴とする、請求項１記載の方法。
【請求項８】
少なくとも１つのコンフィギュレーション情報アイテムを決定するステップは、
第１のステップにおいて、所定のサイズのＧＯＰ画像シーケンスを構成し、
第２のステップにおいて、参照画像の選択を実行する
ことから成り、
さらに、時間的分解の方向は、セレクトされた参照画像に後続する画像シーケンスの画像に対してはフォワード方向に決定され、セレクタされた参照画像に先行する画像シーケンスの画像に対してはバックワード方向に決定されることを特徴とする、請求項１記載の方法。
【請求項９】
少なくとも１つのコンフィギュレーション情報アイテムを決定するステップは、
フォワード方向において画像間で、動きを推定するステップ（２１）、フォワード動き推定における動きドットの軌道を構成するステップ（２４）及び軌道を構成するステップ（２５）の間に接続されないピクセルの個数を計算するステップ（２６）を含み、
バックワード方向において画像間で、バックワード方向において画像間で動きを推定するステップ（２２）、バックワード動き推定における動きドットの軌道を構成するステップ（２５）及び軌道を構成するステップ（２５）の間に接続されないピクセルの個数を計算するステップ（２７）を含み、
接続されないピクセルの最小個数に基づいて最良の参照画像を選択するステップ（２８）を含むことを特徴とする、請求項８記載の方法。
【請求項１０】
少なくとも１つのコンフィギュレーション情報アイテムを決定するステップは、
フォワード方向において画像間で動きを推定するステップ（３１）及び同時にバックワード方向において画像間で動きを推定するステップ（３２）を含み、
次いで、ループ（３３）が適応されるＧＯＰシーケンスの各画像毎に実施され、このループ（３３）内では連続的に軌道を構成するステップ（３４）が実行され、次いで接続されないピクセルの個数を計算するステップ（３５）が実行され、
次いで、適応されるＧＯＰ画像シーケンスにおける最良の参照画像（Ｒ）をセレクトするステップ（３６）が接続されないポイントの最小個数に基づいて実施されることを特徴とする、請求項１記載の方法。
【請求項１１】
復号化フェーズを含み、該復号化フェーズは、
バイナリデータの所与のストリームにおいて実施された３Ｄウェーブレット符号化の特性を決定するコンフィギュレーション情報ユニットを復号化し、次いで、
３Ｄウェーブレット復号化処理回路の更新を実施し、最後に、
画像シーケンスを表すバイナリデータのストリームの復号化を実施し、この結果、バイナリデータの所与のストリームに含まれる少なくとも１つの画像のシーケンスを出力側にて発生すること
から成ることを特徴とする、請求項１〜１０のうちのいずれか１項記載の方法。
【請求項１２】
３Ｄウェーブレットベースのビデオコンプレッサ／デコンプレッサスキームに統合されていることを特徴とする、請求項１〜１１のうちのいずれか１項記載の方法。
【請求項１３】
ＭＰＥＧＴＭ符号化／復号化スキームに統合されていることを特徴とする、請求項１〜１２のうちのいずれか１項記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のグループを符号化及び／又は復号化する方法に関する。
【０００２】
本発明は３Ｄウェーブレット分解に基づくビデオ圧縮のコンテキストにおいて適用される。
【０００３】
従来技術においては、すでに３Ｄウェーブレット画像分解の技術の利用が提案されており、この３Ｄウェーブレット画像分解においては画像のグループ又はＧＯＰが２次元又は２Ｄ画像にウェーブレット分解を適用するプロセスに従って分解される。これに基づいて、第３の次元の役割を果たす時間次元に沿ったデータストリームの圧縮を実施する。
【０００４】
従来技術では、時間的ウェーブレット分解の間にきわめて扱いにくいポイントが発生する。時間的な分解が実施される場合、ＧＯＰ画像シーケンスに動きベクトルによって結合されるピクセルにはタグが付けられた。それゆえ、動きベクトルが通過しないピクセルは、時間次元に沿った圧縮処理を実施する時には失われてしまう。
【０００５】
従って、この問題を解決し、処理の間の情報の損失を回避するためには、これらのピクセルに特別な処理を適用する必要があるのだが、これによりウェーブレット処理の効率が低下してしまう。
【０００６】
通常のビデオコーディングスキームでは、動きはブロック、例えば１６ピクセルの幅で１６ピクセルの高さのブロックにより記述される。この場合、上記の問題は、ブロックの境界にシフトされてしまう。
【０００７】
この問題を解決するために、画像シーケンスの２つの実行方向、すなわちＧＯＰ画像シーケンスの自然な（natural）方向及びその正反対の方向におけるピクセルの軌道も考慮された。しかし、この場合、従来技術を基準にすると動き情報の量が倍になってしまう。
【０００８】
従来技術のこれらの欠点に対する対策を提出するために、本発明は、各シーケンス毎にコンフィギュレーションデータを選択し、各ＧＯＰ画像シーケンス内の接続されないピクセル（unconnected pixels）の個数を低減することを可能にする最適化規準を選択する。
【０００９】
この結果、接続されないピクセルの個数が３Ｄウェーブレット分解に従って比較的多くの処理を必要とすることなしに大いに低減される。
【００１０】
特に、本発明は、３Ｄウェーブレット処理に基づく画像シーケンスの符号化及び／又は復号化の方法に関する。本発明の方法は符号化フェーズを含み、この符号化フェーズは、
所定の最適化規準に基づいて連続画像のシーケンスに対して参照画像の選択として３Ｄウェーブレット符号化を構成するための少なくとも１つの情報アイテムを決定するステップと、次いで、
画像のシーケンスに対して参照画像のデータを含むコンフィギュレーション情報ユニットを生成するためのステップと、最後に、
最後にコンフィギュレーション情報に基づいて３Ｄウェーブレット符号化を実行するためのステップとを有し、
このようにして画像シーケンスの画像に対するコンフィギュレーション情報ユニット及び／又は３Ｄウェーブレット符号化データの各画像シーケンスに対するユニオン（union）を含む符号化されたデータのストリームを発生する。
【００１１】
本発明によれば、少なくとも１つのコンフィギュレーション情報アイテムを決定するためのステップは、参照画像として少なくとも１つのテスト画像におけるウェーブレット分解のステップ、次いで動き推定のステップ、次いで動き推定ステップの間に接続されないピクセルの数が最小であるような画像シーケンスの画像を参照画像として決定するステップを含む。
【００１２】
本発明によれば、少なくとも１つのコンフィギュレーション情報アイテムを決定するためのステップは、少なくとも１つのテスト画像における動きの振幅を決定するステップ、次いで画像における動きの振幅が最小であるような画像シーケンスの画像を参照画像として決定するステップを含む。
【００１３】
本発明によれば、少なくとも１つのコンフィギュレーション情報アイテムを決定するためのステップは、高周波成分を測定することによって少なくとも１つのテスト画像におけるテクスチャ情報アイテムを決定するステップ、次いで、テクスチャ情報アイテムがもっともリッチであるような画像シーケンスの画像を参照画像として決定するステップを含む。
【００１４】
本発明によれば、少なくとも１つのコンフィギュレーション情報アイテムを決定するステップは、画像シーケンスにおける画像の個数の決定も含む。
【００１５】
本発明によれば、少なくとも１つのコンフィギュレーション情報アイテムを決定するステップは、画像シーケンスに対する時間的分解の少なくとも１つの方向の決定も含む。
【００１６】
本発明によれば、少なくとも１つのコンフィギュレーション情報アイテムを決定するステップは、
第１のステップにおいて所定のサイズの画像シーケンスＧＯＰを構成し、
第２のステップにおいて各画像シーケンス毎に接続されないピクセルの数を最小化する選択に従って画像シーケンスの最初の画像を参照画像として及びフォワード方向における時間的分解の方向をセレクトするか又は画像シーケンスの最後の画像を参照画像として及びバックワード方向における時間的分解の方向をセレクトする
ことから成る。
【００１７】
本発明によれば、少なくとも１つのコンフィギュレーション情報アイテムを決定するステップは、
第１のステップにおいて所定のサイズのＧＯＰ画像シーケンスを構成し、
第２のステップにおいて参照画像の選択を実行する
ことから成り、
時間的分解の方向は、セレクトされた参照画像に続く画像シーケンスの画像に対してはフォワード方向に決定され、セレクタされた参照画像に先行する画像シーケンスの画像に対してはバックワード方向に決定される。
【００１８】
本発明によれば、少なくとも１つのコンフィギュレーション情報アイテムを決定するステップは、
フォワード方向において画像間で、動きを推定するステップ、フォワード動き推定における動きドットの軌道を構成するステップ及び軌道を構成するステップの間に接続されないピクセルの個数を計算するステップを含み、
バックワード方向において画像間で、バックワード方向において画像間で動きを推定するステップ、バックワード動き推定における動きドットの軌道を構成するステップ及び軌道を構成するステップの間に接続されないピクセルの個数を計算するステップを含み、
接続されないピクセルの最小個数に基づいて最良の参照画像を選択するステップを含む。
【００１９】
本発明によれば、少なくとも１つのコンフィギュレーション情報アイテムを決定するステップは、
フォワード方向において画像間で動きを推定するステップ及び同時にバックワード方向において画像間で動きを推定するステップを含み、
次いで、ループが適応されるＧＯＰシーケンスの各画像毎に実施され、このループ内では連続的に軌道を構成するステップが実行され、次いで接続されないピクセルの個数を計算するステップが実行され、
次いで、適応されるＧＯＰ画像シーケンスにおける最良の参照画像をセレクトするステップが接続されないポイントの最小個数に基づいて実施される。
【００２０】
本発明によれば、本発明の方法は復号化フェーズを含み、この復号化フェーズは、
バイナリデータの所与のストリームにおいて実施された３Dウェーブレット符号化の特性を決定するコンフィギュレーション情報ユニットを復号化し、
３Ｄウェーブレット復号化処理回路の更新を実施し、
最後に、画像シーケンスを表すバイナリデータのストリームの復号化を実施し、この結果、バイナリデータの所与のストリームに含まれる少なくとも１つの画像のシーケンスを出力側にて発生すること
から成る。
【００２１】
本発明によれば、本発明の方法は３Ｄウェーブレットベースのビデオコンプレッサ／デコンプレッサスキームに統合されている。
【００２２】
本発明によれば、本発明の方法はＭＰＥＧＴＭ符号化／復号化スキームに統合されている。
【００２３】
ＧＯＰにおける動きの計算を実施するための基礎となる参照画像及び時間的分解の方向の選択は、この動きにより接続されるピクセルの個数の関数として実行され、この動きの情報は動きベクトルフィールドテクスチャ又は動きデータと結合されうる。２Ｄ+Ｔウェーブレット分解の効率は時間的に接続されるピクセルの個数によって改善される。
【００２４】
本発明の他の特徴及び利点は記述及び添付図面によってより良く明らかとなる。図面は、
図１〜５は従来技術の解決策を表す図であり、
図６〜９は本発明の方法の様々なステップを表し、
図１０及び１１は本発明の方法をインプリメントするための装置の特定の実施例を表す。
【００２５】
図１に表されているのは、従来技術による３Ｄウェーブレット圧縮スキームの実施形態である。注意すべきは、この３Ｄウェーブレット圧縮スキームは本発明の方法が実行された後も利用されるかもしれないことである。また、さらに注意すべきは、方法に関して記述されることは画像シーケンスを処理するためのコンピュータにおける処理ブロックの形式でインプリメントされうることである。
【００２６】
ステップ１の間に、Ｎ個の連続画像を含む画像のシーケンスＧＯＰの捕捉又は合成が実行される。ＧＯＰシーケンスは次いでウェーブレット分解ステップ２に伝送され、並行して画像間の動きを推定するステップ３にも伝送される。
【００２７】
ウェーブレット分解ステップは時間領域における解析のステップ２ａ及び空間領域における解析のステップ２ｂ（パターン繰り返し周波数等々）を有する。
【００２８】
実際には、従来技術では、動き推定ステップ３は、ＧＯＰ画像シーケンス内のベース画像を選択することにより開始され、このベース画像はシーケンスの最後の画像である。画像間の差、つまり画像＿２と画像＿１との間の差、次いで画像＿３と画像＿２との間の差、等々によって動きの推定が行われる。この動き推定が実行された場合、動き推定情報アイテムが動き推定情報アイテム８によってウェーブレット分解のための時間領域における解析のステップ２ａに伝送され、これにより動きの方向における１次元ウェーブレット分解を実行する。
【００２９】
このウェーブレット分解の間に、異なる時間周波数に従って変換された画像のシーケンスが発生される。時間周波数に変換された画像のシーケンスは次いで２Ｄウェーブレット変換による空間的分解のステップ２ｂの間に処理される。
【００３０】
ステップ３の動き推定ステップの終了時に、ＧＯＰ画像シーケンスにおける動きベクトルを表す動き係数が、ＧＯＰ画像シーケンスの動きを表すベクトルフィールドを符号化するステップに伝送される。
【００３１】
空間的解析のステップ２ｂの終了時に、画像シーケンスの各画像における空間周波数を表す係数がエントロピー符号化回路の入力側に伝送される。
【００３２】
ステップ４で実施されるエントロピー符号化は２つのフェーズを含む。すなわち、事前モデリング及び本来の符号化である。このモデリングによって、処理すべきデータフローにおける各シンボルへの確率の割り当てが可能となる。符号化は各シンボルにバイナリ語を割り当てる。このバイナリ語の長さは関連する確率に依存する。このために、ハフマン符号又は算術符号のようなコーディングスキームが利用される。
【００３３】
エントロピー符号化４から送出される符号化係数はデータストリームシェーピング処理回路（data stream shaping processing circuit）６の第１の入力側に伝送され、このデータストリームシシェーピング処理回路６の第２の入力側はステップ３から送出される動きベクトルフィールドの成分を受信する。こうして、これらは全体としてシリアル化された３Ｄウェーブレット係数データストリームを構成し、こうして、バイナリデータトレイン７を発生する。このバイナリデータトレイン７には暗号化、格納又は伝送処理のようななんらかの適切なその後の処理が適用される。
【００３４】
図２に表されているのは、４つの画像のＧＯＰ画像シーケンスの場合の１次元変換技術を示す線図である。時間フィルタリングはベース画像の各ポイントの軌道に沿って実施され、このベース画像は動き推定ステップ３の間に選択される。画像＿１、画像＿２，．．．として図２に示された各画像はそのピクセルのシリアル化された形式で表されており、このシリアル化された形式は１次元ウェーブレット変換のための従来のスキームに相応している。図２ではそれゆえ考慮される軌道はそれぞれタグが付けられた位置、画像＿１のｘ１、画像＿２のｘ２等々を通過する。矢印Ｆ１、Ｆ２及びＦ３は連続的なインターピクチャ変位を表し、これによってＧＯＰ画像シーケンス全体に対して考慮される軌道に相応してウェーブレット係数を識別することが可能になる。
【００３５】
図３に表されているのは、図１のステップ２において言及された１次元ウェーブレット分解のステップである。この例では、長さ２の時間フィルタリングによる長さ４のＧＯＰの２レベル分解を考察する。このような分解が係数のシーケンス［ｘ１，ｘ２，ｘ３，ｘ４］に適用されるならば、ローパスフィルタリング及び２によるサブサンプリングのステップ１０を最初に適用し、これにより一対の低周波数係数［Ｌ１，Ｌ２］を発生する。同時に、ハイパスフィルタリング及び２によるサブサンプリングのステップ１１を適用し、これにより一対の高周波数係数［Ｈ１，Ｈ２］を発生する。
【００３６】
次いで、この一対の低周波数係数［Ｌ１，Ｌ２］に対して、再びローパスフィルタリング及び２によるサブサンプリングのステップ１２を適用し、これにより最も低い時間周波数成分を表す係数［ＬＬ］を発生し、同時にハイパスフィルタリング及び２によるサブサンプリングのステップ１３を適用し、これにより中間時間周波数成分を表す係数［ＬＨ］を発生する。４つの時間周波数ウェーブレット変換係数［ＬＬ，ＬＨ，Ｈ１，Ｈ２］のバッチがこうして得られる。さらに、３Ｄウェーブレット画像圧縮のための最近のスキームでは、画像２と画像３との間のフィールドＦ２が推定されず、フィルタリング１２及び１３が実際にはＬ１とＬ２との間の推定されたフィールドによって実行される。
【００３７】
この変換は参照画像から生じる軌道毎に実行され、これにより時間周波数に変換された画像を発生することが可能となり、これらの画像は図４に示されたそれぞれ画像＿Ｈ１、画像Ｈ＿２、画像＿ＬＨ、画像＿ＬＬである。図２の画像、画像＿１、画像＿２，．．．においてタグを付けられた動きドットに相応する４つの係数は、それらの時間周波数トランスポジションの形式においてそれぞれ画像＿Ｈ１ではＨ１、画像Ｈ＿２ではＨ２、画像＿ＬＨではＬＨ、画像＿ＬＬではＬＬである。この結果、考察される軌道は図４の時間周波数線図上に存在する。
【００３８】
本発明の明細書の前書き部分で指示したように、図４の時間的分解の実現において、動きベクトルが通過しないピクセルには図５の時間周波数領域において値が割り当てられない。従来技術では、これらは、接続されないピクセル（unconnected pixels）と呼ばれる。動きベクトルに割り当てられる他の全てのピクセルは正しく処理される。しかし、最後の変換８において、もしシーケンスの線図｛画像＿１，画像＿２，画像＿３，画像４｝の他のピクセルを接続する動きベクトルが到達していない図５の左側に示された画像＿１の線図の「Ｘ」によりマーキングされた接続されないピクセルに関する情報が加えられないならば、このようなシーケンスの再構成は、最初のＧＯＰ画像シーケンスに対して忠実で正確だとは言えないだろう。
【００３９】
本発明の方法は上記のような従来技術の要素を正確に借用する。データストリームは、カメラにより発生される画像のような「自然な（natural）」画像のような又は合成画像の発生器により発生される画像のような画像のストリームである。本発明の方法は、主に、３Ｄウェーブレット符号化のためのコンフィギュレーション情報ユニットを従来の符号化器の出力側７において記述されるデータストリームに関連付けることにある。符号化のためのコンフィギュレーション情報はコーディングスキームコスト規準への最適なレスポンスを保証する。
【００４０】
２つのモードがインプリメントされうる：
単一方向モード又は「フォワード／バックワード」モード。このモードでは動き補償の方向がＧＯＰ内で一定でなくてはならない。このモードでは、ＧＯＰの最初の及び最後の画像だけが参照画像の選択の候補である。
【００４１】
双方向モード。このモードに対しては、ＧＯＰの全ての画像が参照画像の選択の候補である。このモードでは、動き補償の両方の方向が参照画像のどちらのサイドにおいても利用される。図６及び７は単一方向モード又は「フォワード／バックワード」モードを示し、図８及び９は双方向モードを示す。
【００４２】
図６には単一方向モードにおける画像の分解が示されており、ただ一つの補償の方向がＧＯＰ画像シーケンス毎に許可されている。各画像は垂直のストロークにより時間領域において表示されている。画像ストリームは画像の時間シーケンスにおいて左から右へと３つのＧＯＰ画像シーケンスに分割されており、これらの３つのＧＯＰ画像シーケンスは連続的に時間においてＧＯＰ１、ＧＯＰ２及びＧＯＰ３によって示されている。
【００４３】
本発明によれば、各シーケンスＧＯＰ１，ＧＯＰ２，ＧＯＰ３，．．．の画像の個数はＧＯＰ毎の接続されないピクセルの個数の上限制約に関連している。
【００４４】
本発明によれば、太いストロークによりマーキングされている参照画像Ｒの選択は、所与の規準に従って行われる。規準のいくつかの例を以下に記述する。
【００４５】
第１の規準はＧＯＰ内の接続されないピクセルの個数の最小化である。この場合、動き補償の２つの方向の各々に対してＧＯＰ内の接続されないピクセルの個数を計算する。次いで、このＧＯＰ全体に対して接続されないピクセルの個数を最小化する方向及び参照画像を選択する。
【００４６】
第２の規準は動きの振幅の最小化である。この場合、２つの方向の各々に対して、ＧＯＰ全体における動きの振幅を、例えば各フィールドの各動きベクトルの成分の二乗の和を計算することによって測定する。次いで、動きの最小振幅を示す方向及び参照画像を選択する。
【００４７】
第３の規準は参照画像の情報のリッチネス（richness）である。この場合、最初の及び最後の画像のテクスチャ情報アイテムをそれらのそれぞれのウェーブレット分解の高周波数の振幅によって測定し、最もリッチなものを参照画像として選択する。
【００４８】
図６に示された例において、注目すべきことは、画像ストリームの中の画像のシーケンスが次のようなやり方で次のようなテーブルにおいて定められていることである：
シーケンス        サイズ        参照画像            方向
ＧＯＰ１          ４画像        最終画像        《バックワード》
ＧＯＰ２          ８画像        最終画像        《バックワード》
ＧＯＰ３          ４画像        第１画像        《フォワード》。
【００４９】
図７に示されているのは、接続されないピクセルの個数の最小化を使用する単一方向モードにおける本発明の方法の実施例である。ここに示されている複数のステップは各々本発明の方法を実施するための回路の形式で同定可能なプロセッサ又は同定可能なプロセッサの部分において実行され、インプリメンテーションデバイスは直接そこから導出される。
【００５０】
ステップ２０によって、画像ストリームが捕捉され、画像間のポジティブ方向における動きの推定のステップ２１及び同時に画像間のネガティブ方向における動きの推定のステップ２２に伝送される。
【００５１】
次いで、フォワード動き推定２１に対してはステップ２４及びバックワード動き推定２２に対してはステップ２５の間に動きドットの軌道の作成を実行する。
【００５２】
次いで、ステップ２４の軌道の作成に対してはステップ２６の間に及びステップ２５の軌道の作成に対してはステップ２７の間に接続されないピクセルの個数の計算を実行する。
【００５３】
最後に、ステップ２９において適応されたＧＯＰ画像シーケンスの空間的変換を表すバイナリストリームを発生するためにステップ２８において動き補償の最良の方向を選択する。
【００５４】
動き補償の最良の方向の選択は、ステップ２６又はステップ２７における記録された接続されないピクセルの個数の最小数によってステップ２８において行われる。
【００５５】
注目すべきことは、もしポジティブ方向が接続されないピクセルの個数を最小化するものであると検出されるならば、選択される参照画像は適応されるＧＯＰ画像シーケンスの最終画像であることである。逆に、もしネガティブ方向が接続されないピクセルの個数を最小化するものであると検出されるならば、選択される参照画像は適応されるＧＯＰ画像シーケンスの第１画像である。
【００５６】
本発明は、ＧＯＰの全ての画像を参照画像の選択の候補とすることによって拡張されうる。これは双方向モードである。時間的分解の両方の方向が、この場合、参照画像のどちらのサイドにおいても同一のＧＯＰ画像シーケンスに対して採用されうる。
【００５７】
図８に示されているのは、３つのＧＯＰ画像シーケンスに分割された画像のストリームの一部分であり、図６により説明されたのと同じ符号化を借用している。しかし、各ＧＯＰシーケンスは分解Ｓ及びＳ’の１つ又は２つの方向を有する。分解Ｓ及びＳ’の２つの方向が与えられる場合、参照画像はＧＯＰシーケンス内で決定される。
【００５８】
このモードでは、参照画像Ｒの選択は単一方向モードの場合と同じ規準、つまりＧＯＰ全体にわたって接続されないピクセルの個数の最小化、ＧＯＰ全体における動きの振幅の最小化及び画像の選択に従って行われる。
【００５９】
図９に示されているのは、双方向モードにおける本発明の方法の実施例であり、つまり、ＧＯＰの全画像が参照画像の選択の候補であり、接続されないピクセルの個数の最小化の規準を有する場合の実施例である。ここでも指示されたステップは各々本発明の方法を実行するための回路の形式で同定可能なプロセッサ又は同定可能なプロセッサの部分において実行され、インプリメンテーションデバイスは直接そこから導出される。
【００６０】
ステップ３０の間に、画像ストリームが捕捉され、画像間のポジティブ方向の動きの推定のステップ３１及び同時に画像間のネガティブ方向の動きの推定のステップ３２に伝送される。
【００６１】
次いで、ループ３３が適応を施されているＧＯＰシーケンスの各画像に対して実施され、このループ内で連続的に軌道を構成するステップ３４が実行され、次いで接続されないピクセルの個数を計算するステップ３５が実行される。
【００６２】
次いで、適応を施されているＧＯＰ画像シーケンスの中で最良の参照画像Ｒを選定するステップが実施される。図９では、最良の参照画像を選定する規準は接続されないポイントの最小個数の規準である。
【００６３】
本発明の方法は３Ｄウェーブレットビデオコンプレッサ／デコンプレッサスキームに統合される。このようなアプリケーションにおいて本発明の方法は３つの別個の場所においてインプリメントされ、これらの３つの別個の場所とは、
符号化ステップがインプリメントされている場所、
コンフィギュレーション情報ユニット及び３Ｄウェーブレット符号化データを有するバイナリデータストリームが伝送信号又は記録されたデータのキャリアの形式において存在している状態の場所、
復号化ステップがインプリメントされている場所
である。
【００６４】
本発明の局面によれば、本発明の方法はＭＰＥＧＴＭ符号化／復号化スキームに統合される。このアレンジメントはＭＰＥＧ−７規格のインプリメンテーションのフレームワーク内でとりわけ重要である。
【００６５】
図１０には本発明の方法をインプリメントする３Ｄウェーブレット符号化装置の実施形態を詳細に示すブロック線図が示されている。
【００６６】
このような装置はビデオデータストリーム１０６のための入力側端子１００を有し、この入力側端子１００は画像群解析器回路１０１の入力側に結合されており、この回路１０１の第１の出力側端子１０７は３Ｄウェーブレット符号化のためのコンフィギュレーション情報ユニットを生成する回路１０３の入力側端子１０９’に接続され、さらにこの第１の出力側端子１０７は本来の３Ｄウェーブレット符号化器１０２の入力側端子１０９に接続されており、この結果、上述の本発明の方法によって適用される３Ｄウェーブレット処理を定めるコンフィギュレーションデータをそれらに提供する。回路１０１は最終的に本来の３Ｄウェーブレット符号化器１０２における３Ｄウェーブレット処理を継続するための第２の出力側端子を有する。
【００６７】
符号化器１０２の出力側端子１１０及び生成回路１０３の出力側端子１１１はバイナリデータストリームＦＤＢのシェーピングを実行してその出力側１０５に送出する回路１０４の相応の入力側に接続されており、この回路１０４は決定されたプロトコルに従って次のようなシーケンスを含む、すなわち
ＧＯＰ画像シーケンスに関連する３Ｄウェーブレット符号化コンフィギュレーション情報ユニットのシーケンス、及び、
相応のＧＯＰ画像シーケンスの３Ｄウェーブレット符号化の結果に相応するバイナリデータストリームのシーケンス
を含む。
【００６８】
こうして構成されるデータストリームは新たな処理回路、記録デバイス又は伝送線路に伝送される。
【００６９】
図１１に示されているのは本発明の方法をインプリメントする３Ｄウェーブレット復号化装置の実施形態の詳細を示すブロック線図である。
【００７０】
このような装置はディスクリミネーティング回路１２１に接続された入力側端子１２０を有し、この回路１２１の出力側端子１２６及び１２７はそれぞれ３Ｄ復号化コンフィギュレーション情報生成回路１２２及び３Ｄウェーブレット復号化回路１２３に接続されている。図１０から生じるバイナリデータのストリームが入力側端子１２０に伝送されると、データはディスクリミネータ１２１によって解析され、この結果、ディスクリミネータ１２１の第１の出力側端子１２６ではバイナリデータストリームに適用された３Ｄウェーブレット符号化を特徴付ける情報が現れる。
【００７１】
バイナリデータストリームは次いでディスクリミネータの出力側１２７に現れ、復号化器１２３にロードされる。この復号化器１２３はコンフィギュレーション入力側端子を有し、このコンフィギュレーション入力側端子は、参照画像のデータ、分解の方向及び／又はデータストリーム１２０において表される画像シーケンスの画像の個数のような各コンフィギュレーション情報ユニットに含まれた情報に基づくコンフィギュレーション情報生成回路１２２の端子１２８から送出されるコンフィギュレーション情報を受信する。復号化されたＧＯＰ画像のシーケンスは出力側端子１２４に送出される。
【００７２】
本発明は３Ｄウェーブレット分解に基づくビデオ圧縮の分野において適用される。それゆえ本発明は３Ｄウェーブレットベースのビデオコンプレッサ／デコンプレッサスキームに統合されうる。
【００７３】
本発明は従来のハイブリッドコーディングスキーム、とりわけＭＰＥＧタイプスキームに適用される。このＭＰＥＧタイプスキームではタイプＩ画像及びタイプＰ画像が参照画像として使用される。この場合には本発明の方法はＭＰＥＧ符号化／復号化スキームに統合される。
【図面の簡単な説明】
【００７４】
【図１】従来技術の解決策を表す図である。
【図２】従来技術の解決策を表す図である。
【図３】従来技術の解決策を表す図である。
【図４】従来技術の解決策を表す図である。
【図５】従来技術の解決策を表す図である。
【図６】本発明の方法の様々なステップを表す。
【図７】本発明の方法の様々なステップを表す。
【図８】本発明の方法の様々なステップを表す。
【図９】本発明の方法の様々なステップを表す。
【図１０】本発明の方法をインプリメントするための装置の特定の実施例を表す。
【図１１】本発明の方法をインプリメントするための装置の特定の実施例を表す。
【符号の説明】
【００７５】
１  ＧＯＰ捕捉又は合成ステップ
２  ウェーブレット分解ステップ
２ａ  時間領域での解析ステップ
２ｂ  空間領域での解析ステップ
３  動き推定ステップ
４  エントロピー符号化ステップ
５  ベクトルフィールド符号化ステップ
６  データストリームシェーピング処理回路
７  バイナリデータトレイン
８  動き推定情報アイテム
Ｆ１、Ｆ２、Ｆ３  インターピクチャ変位
１０  ローパスフィルタリング及び２によるサブサンプリングステップ
１１  ハイパスフィルタリング及び２によるサブサンプリングステップ
１２  ローパスフィルタリング及び２によるサブサンプリングステップ
１３  ハイパスフィルタリング及び２によるサブサンプリングステップ
Ｈ１、Ｈ２、ＬＨ、ＬＬ  時間周波数トランスポジション
Ｒ  参照画像
２０  画像ストリーム捕捉ステップ
２１  ポジティブ方向における動き推定ステップ
２２  ネガティブ方向における動き推定ステップ
２４  フォワード動きドットの軌道構成
２５  バックワード動きドット軌道構成
２６  接続されないピクセル個数計算
２７  接続されないピクセル個数計算
２８  動き補償の最小の方向選択
２９  ＧＯＰ空間変換を表すバイナリストリーム生成
３０  画像ストリーム捕捉ステップ
３１  ポジティブ方向における動き推定ステップ
３２  ネガティブ方向における動き推定ステップ
３３  ループ
３４  軌道構成
３５  接続されないピクセル個数計算
３６  最良参照画像Ｒ選定ステップ
１００  入力側端子
１０１  画像群解析器回路
１０２  ３Ｄウェーブレット符号化器
１０３  コンフィギュレーション情報ユニット生成回路
１０４  データストリームシェーピング回路
１０５  出力側
１０６  ビデオデータストリーム
１０７  第１の出力側端子
１０８  第２の出力側端子
１０９  入力側端子
１０９’  入力側端子
１１０  出力側端子
１１１  出力側端子
１２０  入力側端子
１２１  ディスクリミネータ
１２２  ３Ｄ復号化コンフィギュレーション情報生成回路
１２３  ３Ｄウェーブレット復号化回路
１２４  出力側端子
１２６  出力側端子
１２７  出力側端子
１２８  端子
【図１】
2007503782.tif 000003
【図２】
2007503782.tif 000004
【図３】
2007503782.tif 000005
【図４】
2007503782.tif 000006
【図５】
2007503782.tif 000007
【図６】
2007503782.tif 000008
【図７】
2007503782.tif 000009
【図８】
2007503782.tif 000010
【図９】
2007503782.tif 000011
【図１０】
2007503782.tif 000012
【図１１】
2007503782.tif 000013
【国際調査報告】
2007503782.tif 000014
2007503782.tif 000015
2007503782.tif 000016
2007503782.tif 000017