(57)【要約】本発明は、ビデオ系列におけるビデオ情報を圧縮する方法に関する。本方法は、第一のビデオフレームをセグメントにセグメント化するステップ、第一のビデオフレームのそれぞれのセグメントについて、第二のビデオフレームにおいて、第一のビデオフレームのセグメントと整合する対応する予測されたセグメントをサーチするステップ、セグメントと対応する予測されたセグメントとの間の動きを記述する動きパラメータの未処理のセットを計算するステップ、及び、それぞれ対応する予測されたセグメントについて、第一のビデオフレームにおいて、第二のビデオフレームの予測されたセグメントと整合する対応するセグメントをサーチするステップ、第一のビデオフレームの対応するセグメントと予測されたセグメントとの間の動きを記述する動きパラメータの最良のセットを計算するステップ。
2007519337.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ系列におけるビデオ情報を圧縮する方法であって、
画像データを含む第一のビデオフレームを前記系列で考慮するステップと、
前記第一のビデオフレームをセグメントにセグメント化するステップと、
前記第一のビデオフレームのそれぞれのセグメントについて、前記ビデオ系列における前記第一のビデオフレームに続く第二のビデオフレームにおいて、予め決定された類似性の基準に従って、前記第一のビデオフレームのセグメントと整合する対応する予測されたセグメントをサーチし、前記第一のビデオフレームのセグメントと前記第二のビデオフレームの対応する予測されたセグメントとの間の動きを記述する動きパラメータの未処理のセットを計算するステップと、
前記第二のビデオフレームのそれぞれの予測されたセグメントについて、前記第一のビデオフレームにおいて、予め決定された類似性の基準に従って、前記第二のビデオフレームの予測されたセグメントと整合する対応するセグメントをサーチし、前記第一のビデオフレームの対応するセグメントと前記第二のビデオフレームの予測されたセグメントとの間の動きを記述する動きパラメータの最良のセットを計算するステップとを含み、
前記最良の動きパラメータのセットは、動きパラメータの補正値により補正された未処理の動きパラメータのセットからなる、
ことを特徴とする方法。
【請求項２】
前記ビデオフレームと前記第二のビデオフレームの間の構造的な違いを記述する前記第二のビデオフレームの残差フレームを計算するステップを含む、
ことを特徴とする請求項１記載の方法。
【請求項３】
前記予測されたセグメントと前記第二のビデオフレームの隣接する他の予測されたセグメントとの間の共通部分を分割するそれぞれ予測されたセグメントのオーバラップパラータのセットを計算するステップを含む、
ことを特徴とする請求項１又は２記載の方法。
【請求項４】
それぞれのビデオフレームについて、前記第二のビデオフレームの前記予測されたセグメントの間の共通部分を分割するオーバラップパラメータのセットを計算するステップを含む、
ことを特徴とする請求項１又は２記載の方法。
【請求項５】
前記第一のビデオフレームは、前記圧縮方法及び対応する伸張方法により処理された前記ビデオ系列のフレームに対応する伸張されたビデオフレームである、
ことを特徴とする請求項１又は２記載の方法。
【請求項６】
前記最良の動きパラメータのセットは、第一のレイヤが未処理の動きパラメータのセットを含み、第二のレイヤが動きパラメータの補正値を含み、前記第一及び第二のレイヤの情報が区別されるマルチレイヤの動きの記述に従って定義される、
ことを特徴とする請求項１乃至５のいずれか記載の方法。
【請求項７】
前記動きパラメータの補正値が前記ビデオ情報の伸張のために使用される必要があるかを示す第一又は第二の予め決定された値にフラグを設定するステップを含む、
ことを特徴とする請求項６記載の方法。
【請求項８】
前記第一のビデオフレームをセグメントにセグメント化するために実現される前記セグメント化プロセスを定義するセグメンテーションパラメータのセットを決定するステップを含む、
ことを特徴とする請求項１乃至７のいずれか記載の方法。
【請求項９】
ビデオ系列におけるビデオ情報を伸張する方法であって、
画像データを含む第一のビデオフレームを考慮するステップと、
前記第一のビデオフレームをセグメントにセグメント化するステップと、
前記第一のビデオフレームのそれぞれのセグメントについて、前記第一のビデオフレームのセグメントに、前記第一のビデオフレームのセグメントと前記対応する投影されたセグメントとの間の動きを記述する動きパラメータの未処理のセットを適用することで、投影されたセグメントを定義するステップと、
それぞれ対応する投影されたセグメントについて、動きパラメータの未処理のセットと動きパラメータの補正値の両者を使用して、動きパラメータの補正値により補正された未処理の動きパラメータのセットに適用することで、前記対応する投影されたセグメントに投影される前記第一のビデオフレームのセグメントである、対応する改善されたセグメントを前記第一のビデオフレームにおいて発見し、前記動きパラメータの補正値により補正された未処理の動きパラメータのセットを前記対応する改善されたセグメントに適用することで、補正された投影されたセグメントを定義するステップと、
を含むことを特徴とする方法。
【請求項１０】
前記ビデオ情報におけるフラグを考慮するステップと、
前記フラグが第一の閾値を有する場合に、前記動きパラメータの補正値により補正された未処理の動きパラメータのセットを前記対応する改善されたセグメントに適用することで、補正された投影されたセグメントを計算し、前記フラグが第二の予め決定された閾値を有する場合に、補正された投影されたセグメントを計算しないステップと、
を含むことを特徴とする請求項９記載の方法。
【請求項１１】
隣接する投影されたセグメントの間の共通部分を分割するオーバラップするパラメータのセットを前記投影されたセグメントに与えるステップを含む、
ことを特徴とする請求項９又は１０記載の方法。
【請求項１２】
前記第一のビデオフレームのセグメントへのセグメント化のステップは、前記ビデオ情報に含まれるセグメント化パラメータであって、圧縮ステージの間の前記第一のビデオフレームをセグメントにセグメント化するために実現されるセグメント化処理を定義するセグメント化パラメータのセットを適用するステップを含む、
ことを特徴とする請求項９乃至１１のいずれか記載の方法。
【請求項１３】
データ処理ユニット用のコンピュータプログラムプロダクトであって、
前記データ処理ユニットにロードされたとき、前記データ処理ユニットに請求項１乃至１２のいずれか記載の方法を実行させる命令のセットを含む、
ことを特徴とするコンピュータプログラムプロダクト。
【請求項１４】
ビデオ系列におけるビデオ情報を圧縮する装置であって、
画像データを含む第一のビデオフレームをセグメントにセグメント化する手段と、
前記第一のビデオフレームのそれぞれのセグメントについて、前記ビデオ系列における前記第一のビデオフレームに続く第二のビデオフレームにおいて、予め決定された類似性の基準に従って、前記第一のビデオフレームのセグメントと整合する対応する予測されたセグメントをサーチする手段と、
前記第一のビデオフレームのそれぞれのセグメントについて、前記第一のビデオフレームのセグメントと前記第二のビデオフレームの対応する予測されたセグメントとの間の動きを記述する動きパラメータの未処理のセットを計算する手段と、
前記第二のビデオフレームのそれぞれの対応する予測されたセグメントについて、前記第一のビデオフレームにおいて、予め決定された類似性の基準に従って、前記第二のビデオフレームの予測されたセグメントと整合する対応するセグメントをサーチする手段と、
前記第一のビデオフレームの対応するセグメントと前記第二のビデオフレームの予測されたセグメントとの間の動きを記述する動きパラメータの最良のセットを計算する手段と、
前記最良の動きパラメータのセットは、前記第二のビデオフレームのそれぞれ対応する予測されたセグメントについて、動きパラメータの補正値により補正された未処理の動きパラメータのセットからなる、
ことを特徴とする装置。
【請求項１５】
ビデオ系列におけるビデオ情報を伸張する装置であって、
画像データを含む前記第一のビデオフレームをセグメントにセグメント化する手段と、
前記第一のビデオフレームのそれぞれのセグメントについて、前記第一のビデオフレームのセグメントに、前記第一のビデオフレームのセグメントと対応する投影されたセグメントとの間の動きを記述する動きパラメータの未処理のセットを適用することで、投影されたセグメントを定義する手段と、
それぞれ対応する投影されたセグメントについて、動きパラメータの未処理のセットと動きパラメータの補正の両者を使用して、動きパラメータの補正値により補正された未処理の動きパラメータのセットを適用することで、前記対応する投影されたセグメントに投影される前記第一のビデオフレームのセグメントである、対応する改善されたセグメントを前記第一のビデオフレームにおいて発見する手段と、
それぞれ対応する投影されたセグメントについて、前記動きパラメータの補正値により補正された未処理の動きパラメータのセットを前記対応する改善されたセグメントに適用することで、補正された投影されたセグメントを定義する手段と、
を有することを特徴とする装置。
【請求項１６】
ビデオ系列に対応する圧縮されたデータであって、
請求項１乃至８のいずれか記載の圧縮方法により得られ、前記ビデオ系列に適用されることを特徴とする圧縮されたデータ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ情報を圧縮／伸張する方法、及び対応する圧縮／伸張装置に関する。  
また、本発明は、かかる方法を実行するコンピュータプログラムプロダクト、かかる方法の実現により得られた圧縮されたデータ、及びビデオ情報を圧縮及び伸張するための装置に関する。
【背景技術】
【０００２】
現代の規格は、ＭＰＥＧ−１，ＭＰＥＧ−２及びＭＰＥＧ−４（たとえば、ＭＰＥＧ−４ドキュメント番号ｗ３０５６で引用され、ＩＳＯで入手できるドキュメントであって、ＭＰＥＧ−４  Ｖｉｓｕａｌ  Ｃｏｄｉｎｇ  Ｓｔａｎｄａｒｄ  ＩＳＯ／ＩＥＣ  １４４９６−２）のようなＭＰＥＧファミリ、Ｈ．２６１、Ｈ．２６３及びエクステンション並びにＨ．２６４のようなＩＴＵ  Ｈ．２６Ｘファミリに属する。
【０００３】
大部分のビデオ符号化規格は、連続するビデオ系列のフレームの間には冗長度が存在するといった事実を利用する。大部分のビデオ圧縮アルゴリズムでは、それぞれのフレームは、ＭＰＥＧ−４におけるような規則的な正方形ブロック、若しくはＨ．２６４におけるような正方形又は矩形のブロックとすることができるセグメントに小分割される。圧縮されたデータを伸張するとき、後続のフレームのそれぞれのセグメントは、動きベクトルと一般に呼ばれる動き情報、セグメントとその予測との間、より一般的にはフレームとその予測との間の差を定義する残差画像と一般に呼ばれる補正又は残差情報を使用することで、前のフレームの対応するセグメントに基づいて、予測の計算により得られる。圧縮の規格は、前の既知のフレームに基づいて後続のフレームを検索するため、動き情報及び補正情報を符号化する方法を提供する。
【０００４】
主に、圧縮規格により２つのアプローチが使用される。第一のアプローチは、後方のアプローチと呼ばれる。それは、ＭＰＥＧ及びＩＴＵ  Ｈ．２６Ｘ規格で実現される。後方のアプローチでは、後続のフレームのそれぞれのセグメントについて、圧縮方法は、それに最も近いか又はそれから少なくとも離れていない前のフレームのセグメントを発見しようとする。これは、前のフレームではなく後続のフレームにおいて現れるセグメントについて問題を生じる場合がある。さらに、前のフレーム及び後続のフレームの両者に存在するセグメントについて、このシステムは最良の予測を与え、所与の動きモデルについて、動きパラメータのフルサーチの提供が行われ、すなわち、いずれか可能なパラメータが考慮される。後方アプローチによる問題は、多くのケースでは、使用されるフレームセグメンテーションは、異なる全体の動きを有する場合がある「現実」のオブジェクトへのフレームセグメンテーションと一致しないことである。
【０００５】
第二のアプローチは、前方アプローチと呼ばれる。このアプローチは、たとえばＷＯ−００／６４１６７で開示される。これは、フレームの「現実の」オブジェクトを使用したセグメンテーションベースの符号化スキームを使用する。前方アプローチでは、独立なオブジェクトとして考慮される前のフレームのそれぞれのセグメントについて、最良の整合は、後のフレームでサーチされ、すなわち本方法は、どのオブジェクトが２つのフレームの間になるかを発見しようとする。予測される後のフレームのセグメントは、考慮される動きモデルに関して最適に予測されない。フルサーチの動き予測でさえも、前のフレームから後のフレームの最も可能性のある予測を有さない。確かに、最適化は、どの１つがすなわち前のフレームを有するかに関して実行され、どの１つがすなわち新たなフレームを有するかに関して実行されるものではない。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
したがって、本発明の目的は、既知の前のフレームに基づいて後のフレームの予測のために使用されるセグメンテーションを最適化するのを可能にする、ビデオ圧縮方法及び関連する伸張方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明は、ビデオ系列（Ｉt，Ｉt+1）におけるビデオ情報を圧縮する方法に関し、以下のステップを含む。画像データを含む第一のビデオフレーム（Ｂt）を前記系列で考慮するステップ。第一のビデオフレーム（Ｂt）をセグメント（Ｓt,i）にセグメント化するステップ。第一のビデオフレーム（Ｂt）のそれぞれのセグメント（Ｓt,i）について、ビデオ系列における第一のビデオフレーム（Ｂt）に続く第二のビデオフレーム（Ｉt+1）において、予め決定された類似性の基準に従って、第一のビデオフレーム（Ｂt）のセグメント（Ｓt,i）と整合する対応する予測されたセグメント（Ｓt+1,ip,forward）をサーチするステップ、及び、第一のビデオフレーム（Ｂt）のセグメント（Ｓt,i）と第二のビデオフレーム（Ｉt+1）の対応する予測されたセグメント（Ｓt+1,ip,forward）との間の動きを記述する動きパラメータ（Ｍt,ip）の未処理のセットを計算するステップ。第二のビデオフレーム（Ｉt+1）のそれぞれの予測されたセグメント（Ｓt+1,ip,forward）について、第一のビデオフレーム（Ｂt）において、予め決定された類似性の基準に従って、第二のビデオフレーム（Ｉt+1）の予測されたセグメント（Ｓt+1,ip,forward）と整合する対応するセグメント（Ｓt+1,ip,backward）をサーチするステップ、及び、第一のビデオフレーム（Ｂt）の対応するセグメント（Ｓt+1,ip,backward）と第二のビデオフレーム（Ｉt+1）の予測されたセグメント（Ｓt+1,ip,forward）との間の動きを記述する動きパラメータ（Ｍt,ip＋ΔＭt,ip）の最良のセットを計算するステップ。かかる最良の動きパラメータのセットは、動きパラメータの補正（ΔＭt,ip）により補正された未処理の動きパラメータ（Ｍt,ip）のセットからなる。
【０００８】
説明において後に見られるように、かかる方法は、最良の動きパラメータのセットを決定するために後方アプローチを適用する前に最適化される後のフレームのセグメント化を提供する利点を有する。  
更なる機能は、従属の請求項２〜８で引用される。
【０００９】
本発明の別の目的は、ビデオ系列（Ｉt，Ｉt+1）におけるビデオ情報を伸張する方法を提案することにあり、以下のステップを含む。画像データを含む第一のビデオフレーム（Ｂt）を考慮するステップ。第一のビデオフレーム（Ｂt）をセグメント（Ｓt,i）にセグメント化するステップ。第一のビデオフレーム（Ｂt）のそれぞれのセグメント（Ｓt,i）について、第一のビデオフレーム（Ｂt）のセグメント（Ｓt,i）に、第一のビデオフレーム（Ｂt）のセグメント（Ｓt,i）と対応する投影されたセグメント（Ｓt+1,ip）との間の動きを記述する動きパラメータ（Ｍt,ip）の未処理のセットを適用することで、投影されたセグメント（Ｓt+1,ip）を定義するステップ。それぞれ対応する投影されたセグメント（Ｓt+1,ip）について、動きパラメータ（Ｍt,ip）の未処理のセットと動きパラメータの補正（ΔＭt,ip）の両者を使用して、第一のビデオフレーム（Ｂt）において対応する改善されたセグメント（Ｓt,ib）を発見するステップ。対応する改善されたセグメント（Ｓt,ib）は、動きパラメータの補正（ΔＭt,ip）により補正された未処理の動きパラメータ（Ｍt,ip）のセットに適用することで、対応する投影されたセグメント（Ｓt+1,ip）に投影される第一のビデオフレーム（Ｂt）のセグメントである。更に、動きパラメータの補正（ΔＭt,ip）により補正された未処理の動きパラメータ（Ｍt,ip）のセットを対応する改善されたセグメント（Ｓt,ib）に適用することで、補正された投影されたセグメント（Ｓt,ip,o,c）を定義するステップ。
【００１０】
また、本発明は、データ処理ユニットにロードされたとき、データ処理ユニットに先に記載された圧縮方法を実行させる命令のセットを含む、かかるデータ処理ユニット用のコンピュータプログラムプロダクトに関する。
【００１１】
さらに、本発明は、ビデオ系列（Ｉt，Ｉt+1）におけるビデオ情報を圧縮する装置に関連し、以下を有する。画像データを含む第一のビデオフレーム（Ｂt）をセグメント（Ｓt,i）にセグメント化する手段。第一のビデオフレーム（Ｂt）のそれぞれのセグメント（Ｓt,i）について、ビデオ系列における第一のビデオフレーム（Ｂt）に続く第二のビデオフレーム（Ｉt+1）において、予め決定された類似性の基準に従って、第一のビデオフレーム（Ｂt）のセグメント（Ｓt,i）と整合する対応する予測されたセグメント（Ｓt+1,ip,forward）をサーチする手段。第一のビデオフレーム（Ｂt）のセグメント（Ｓt,i）と第二のビデオフレーム（Ｉt+1）の対応する予測されたセグメント（Ｓt+1,ip,forward）との間の動きを記述する動きパラメータ（Ｍt,ip）の未処理のセットを計算する手段。第二のビデオフレーム（Ｉt+1）のそれぞれの対応する予測されたセグメント（Ｓt+1,ip,forward）について、第一のビデオフレーム（Ｂt）において、予め決定された類似性の基準に従って、第二のビデオフレーム（Ｉt+1）の予測されたセグメント（Ｓt+1,ip,forward）と整合する対応するセグメント（Ｓt+1,ip,backward）をサーチする手段。第一のビデオフレーム（Ｂt）の対応するセグメント（Ｓt+1,ip,backward）と第二のビデオフレーム（Ｉt+1）の予測されたセグメント（Ｓt+1,ip,forward）との間の動きを記述する動きパラメータ（Ｍt,ip＋ΔＭt,ip）の最良のセットを計算する手段。かかる最良の動きパラメータのセットは、第二のビデオフレーム（Ｉt+1）のそれぞれ対応する予測されたセグメント（Ｓt+1,ip,forward）について、動きパラメータの補正（ΔＭt,ip）により補正された未処理の動きパラメータ（Ｍt,ip）のセットからなる。
【００１２】
さらに、本発明は、ビデオ系列（Ｉt，Ｉt+1）におけるビデオ情報を伸張する装置に関し、以下を有する。画像データを含む第一のビデオフレーム（Ｂt）をセグメント（Ｓt,i）にセグメント化する手段。第一のビデオフレーム（Ｂt）のそれぞれのセグメント（Ｓt,i）について、第一のビデオフレーム（Ｂt）のセグメント（Ｓt,i）に、第一のビデオフレーム（Ｂt）のセグメント（Ｓt,i）と対応する投影されたセグメント（Ｓt+1,ip）との間の動きを記述する動きパラメータ（Ｍt,ip）の未処理のセットを適用することで、投影されたセグメント（Ｓt+1,ip）を定義する手段。それぞれ対応する投影されたセグメント（Ｓt+1,ip）について、動きパラメータ（Ｍt,ip）の未処理のセットと動きパラメータの補正（ΔＭt,ip）の両者を使用して、第一のビデオフレーム（Ｂt）において対応する改善されたセグメント（Ｓt,ib）を発見する手段。対応する改善されたセグメント（Ｓt,ib）は、動きパラメータの補正（ΔＭt,ip）により補正された未処理の動きパラメータ（Ｍt,ip）のセットに適用することで、対応する投影されたセグメント（Ｓt+1,ip）に投影される第一のビデオフレーム（Ｂt）のセグメントである。更に、それぞれ対応する投影されたセグメント（Ｓt+1,ip）について、動きパラメータの補正（ΔＭt,ip）により補正された未処理の動きパラメータ（Ｍt,ip）のセットを対応する改善されたセグメント（Ｓt,ib）に適用することで、補正された投影されたセグメント（Ｓt,ip,o,c）を定義する手段。
【００１３】
また、本発明は、先に記載された圧縮方法により得られるようなビデオ系列に対応する圧縮されたデータに関する。  
本発明は、添付図面を参照して例示を通して記載される。
【発明を実施するための最良の形態】
【００１４】
図１は、それぞれのフレームが画像データを含む、連続するフレームからなるビデオ系列の典型的な処理チェインを示している。このチェインは、フレームの系列を受けるために適合されるエンコーダ１２を含む。これらのフレームは、たとえばデジタルカメラにより提供されるものであり、画素のアレイであって、それぞれの画素は、たとえば、クロミナンス及びルミナンス、又は赤、緑及び青の値とすることができるカラーパラメータにより特徴づけされる。以下では、入力系列のｔ番目のフレームは、Ｉtで示される。
【００１５】
エンコーダ１２は、本発明に係るビデオ圧縮方法を実現し、圧縮された符号化データを出力する。圧縮方法は、ビデオ系列のその後のフレームの間の冗長度が存在することを利用している。次いで、符号化されたデータは、テープのようなサポートに記憶されるか、ワイヤレスネットワークのようなメディアを通して送信される。処理チェインは、符号化データを伸張し、フレームの系列を提供するために適合されるデコーダ１４を最終的に有している。デコーダ１４は、本発明に従うビデオ伸張方法を実現するために適合される。以下では、伸張された系列のｔ番目のフレームは、Ｂtで示される。
【００１６】
図２は、エンコーダ１２で実行されるビデオ圧縮アルゴリズムを示している。図３は、圧縮アルゴリズムの実現の間に後続する処理されたフレームを示している。この図２のアルゴリズムは、適合されたソフトウェアプログラムにより駆動されるＤＳＰのような処理ユニットにより実現され、符号化されるべきフレームの系列のそれぞれのフレームについて繰り返される。図２に示されるステップは、フレームＩt+1の符号化に関する。前のフレームＩtが既に符号化され、フレームＩtに対応する伸張されたフレームＢtが既知であるとする。
【００１７】
概して、本方法は２つの主要なステージからなる。第一のステージ２００では、第一の動きパラメータのセットは、後続のフレームＩt+1を投影するために前のフレームＩtのセグメントを投影するため、前方アプローチを使用することで定義される。ひとたび投影されると、後続のフレームＩt+1の投影されたセグメンテーションが提供される。このセグメンテーションは、任意のセグメンテーションよりも、後続のフレームＩt+1の現実のオブジェクトとより一致する可能性がある。セグメントとして予測されたセグメント化の「ホール“hole”」を考慮することなしに（フレームＩtのいずれかの部分により予測されない）、それぞれ投影されたセグメントについて、予測されたセグメントと呼ばれる対応するセグメントは、予測において、とりわけ動きパラメータのセットで提供される。必要であれば予測をリファインするため、予測されたセグメントでの後方アプローチを使用することで第二のステージ２０１で新たな動き予測が実行される。
【００１８】
第一のステージ２００は、前方アプローチに基づいており、これは、前のフレームＩtのセグメントが後続のフレームＩt+1でサーチされることを意味する。ここで、圧縮方法が詳細に開示される。
【００１９】
ステップ２０２で、伸張されたフレームＢtのセグメントが定義及び記憶される。Ｂtのセグメント化は、セグメントＳt,iへのＢtの小分割を定義することからなる。セグメントテーションパラメータのセットが決定される。これは、実現されるセグメンテーションプロセスを定義する。有利なことに、セグメントの境界は、フレームＢtにおけるオブジェクトの境界と一致する。したがって、セグメントは、フレームＢtに対応する画像における「現実の」オブジェクトである。以下では、全てのセグメントＳt,iは続いて処理される。したがって、ステップ２０４で、セグメントＳt,iはＢtで考慮される。
【００２０】
ステップ２０６で、対応するセグメントＳt+1,irefは、符号化されるべき後続のフレームＩt+1でサーチされる。対応するセグメントＳt+1,irefは、所与の類似の基準に従ってセグメントＳt,iとの最良の整合を提供するフレームＩt+1のセグメントである。類似の基準は、それ自身既知であり開示されない。
【００２１】
ステップ２０８で、Ｓt+1,irefを検索するのを可能にするパラメータが記憶される。特に、動きパラメータＭt,ipの未処理のセットが計算される。これらの動きパラメータは、Ｓt,iに関してＳt+1,irefの位置における変化を定義する。たとえば、動きパラメータＭt,ipのセットは、移動性の動きを定義する。前方アプローチによれば、Ｓt+1,ip,forwardと示される予測されたセグメント及び未処理の動きパラメータのセットＭt,ipが以下のように定義される。
【００２２】
Ｓt+1,ip,forward＝ＭＣ（Ｓt,i，Ｍt,ip），ここでＭＣ（Ｓt,i，Ｍt,ip）は、動きパラメータとしてＭt,ipを使用した動き補償演算である。
【００２３】
Ｍt,ip＝arg  min(diff(MC(Ｓt,i，Ｍ)，Ｓt+1,iref))    M  in  motion  search  range  
Ｓt+1,i,Mrefは、ＭＣ（Ｓt,iref，Ｍ）と一致する後続のフレームＩt+1のセグメントであり、diff(a，b)は、ａとｂの類似性を測定する（測定値が大きくなると、ａ及びｂが類似しなくなり、たとえば全体のセグメントにわたる画素カラー値の平方差（square  difference）の総和となる）。Ｓt+1,ip,forwardは、未処理の予測されたセグメントである。
【００２４】
このステップで、異なる予測されたセグメントＳt+1,ip,forwardの間のオーバラップに対処するための処理が行われない。オーバラップの問題は、以下に開示されるように処理される。ステップ２０２〜２０８は、前の伸張されたフレームＢtの全てのセグメントＳt,iが考慮されるまで繰り返される。したがって、それぞれのセグメントＳt,iについて、対応する予測されたセグメントＳt+1,ip,forwardは、前方動きパラメータと呼ばれる動きパラメータＭt,ipの未処理のセットと共に予測において定義される。
【００２５】
ひとたび前の伸張されたフレームＢtの各セグメントが投影されると、幾つかの未処理の投影されたセグメントが互いにオーバラップする場合がある。ステップ２１０で、隣接するセグメント間の共通部分“intersection”を解くための幾つかの判定が行われる。このように、オーバラッピングパラメータが計算される。第一の実施の形態によれば、どのセグメントがどのセグメントの前にあるかが判定される。これらの判定をどのように行うかは、本発明の範囲ではない。判定が行われたとき、予測されたセグメントは、それら最終的な形状を有し、すなわちオリジナルの形状から、おそらく隠された部分を引いた形状を有する。別の実施の形態によれば、マージパラメータαは、それぞれの隣接するセグメント部分について決定される。隣接するセグメント間の共通部分のそれぞれの画素について、画素の値Ｐoverlapは、Ｐoverlap＝αＰsegment1＋（１−α）Ｐsegment2により定義される。ここで、Ｐsegment1及びＰsegment2は、両方のセグメントの対応するオーバラップする画素の値である。
【００２６】
予測されたセグメントＳt+1,ip,forwardのセットから得られる後続のフレームＩt+1の予測は、ホールを有する場合がある。これらホールは、後続のフレームＩt+1の新たにカバーされていない部分に対応する。ホールは、新たに予測されるセグメントとして考慮されるか、ステップ２１２でそれらコンテンツが記憶される。ホールの処理は、本発明の範囲ではない。可能な実施の形態では、アルゴリズムの次のステップで処理されるべき新たなセグメントとして投影されるセグメントにホールが追加される。また、これらは、既存の予測されたセグメントとマージされるか、動き処理が行われた後に処理されるべきホールとして単に記憶される。いずれかのケースでは、ホールに関する情報が符号化され、記憶される。ステップ２１２の後、Ｓt+1,ip,forwardセグメントのセットに対応するＳt+1,ip,predictedセグメントのセットは、ホール及びオーバラップについて処理された後に定義される。ステップ２１３で、後方アプローチを使用することによる動きパラメータの新たな最良のセットの計算が必要であるかに関して判定される。必要である場合、第二のステージ２０１が実行され、対応するフラグ［ＹＥＳ］が記憶される。必要ではない場合、対応するフラグ［ＮＯ］が記憶され、ステップ２２０は、以下に開示されるように残差のフレームＲt+1を計算するために直接的に実行される。
【００２７】
必要な場合、予測されたセグメントＳt+1,ip,predictedに基づいて後方アプローチを使用することで、第二のステージ２０１で新たな動き予測が実行される。ステップ２１４では、
前方アプローチにより供給されたような予測されたセグメントＳt+1,ip,predictedで実行される。ステップ２１６で、所与の類似性の基準に従って考慮される予測されたセグメントＳt+1,ip,predictedに最も近いＳt,ip,backwardと示されるフレームＢtのセグメントを発見するため、前のフレームＢtでサーチが実行される。ステップ２１８で、Ｍt,ip＋ΔＭt,ipで示される動きパラメータの新たな最良のセットが計算される。ΔＭt,ipは、Ｍt,ip＋ΔＭt,ipがＳt,ip,backwardからＳt+1,ip,predictedへの動きを定義するような動きパラメータの補正である。Ｓt,ip,backwardの新たな最良の予測は、前方の動きパラメータＭt,ipを予測されるセグメントＳt+1,ip,predictedに適用することで定義されるセグメントの周りの小さな領域でサーチされる。ステップ２１４〜２１８は、全ての予測されたセグメントＳt+1,ip,predictedが考慮されるまで繰り返される。このポイントで、残りのホールが処理される。
【００２８】
ステップ２２０で、残差フレームＲt+1が計算及び符号化される。符号化方法は、本発明の範囲にない。可能な実施の形態では、残差フレームＲt+1は、投影されたセグメント化（Ｓt+1,ip,predicted，及びホール）を使用してセグメント毎に符号化される場合がある。残差フレームＲt+1は、画像予測Ｓt+1predicted（全ての予測されたセグメントＳt+1,ip,predictedと処理されたホールとの再結合）と予測された画像Ｉt+1との間の構造的な違いを定義する。本発明によれば、動きパラメータＭt,ip＋ΔＭt,ipの最良のセットは、マルチレイヤの動き記述で記憶される。第一のレイヤは、動きパラメータＭt,ipの未処理のセット、及びデコーダ１４が更なるレイヤを待つべきかを示すフラグ［ＹＥＳ］又は［ＮＯ］を含む。第二のレイヤは、動きパラメータの補正ΔＭt,ipを含む。圧縮方法の終わりで、エンコーダ１２により供給される圧縮されたデータは、マルチレイヤの動き記述に含まれるそれぞれのセグメントのセグメンテーションパラメータ、動きパラメータＭt,ip又は動きパラメータの最良のセットＭt,ip＋ΔＭt,ip、オーバラップ情報、ホール情報及び残差フレームＲt+1である。
【００２９】
圧縮されたデータの受信に応じて、デコーダ１４は、図４に開示されるアルゴリズムを適用する。図５は、伸張方法の実現の間の処理されるフレームを示している。同じアルゴリズムは、伸張されるべきそれぞれのフレームＢt+1について繰り返される。前にデコードされたフレームＢtは既知であり、後続するフレームＢt+1が伸張される必要があることが想定される。
【００３０】
ステップ４０２で、フレームＢtは、デコーダ側でのその片割れＢtと同じアルゴリズム及び同じ設定を使用することで、セグメンテーションパラメータのセットに基づいてセグメント化される。これらの設定はこれを最後に設定されるか、符号化されたフレームと送信される。Ｂtのセグメントは、明確さの理由でＳt,iで示される。ＢtのセグメントＳt,iがステップ４０４で考慮され、セグメントＳt,iの第一のレイヤの動きパラメータＭt,ipは、ステップ４０６でデコード及び印加される。予測されたＳt+1,ipが得られる。ステップ４０４〜４０６は、伸張されたフレームＢtの全てのセグメントについて実行される。
【００３１】
オーバラッピングパラメータは、デコードされ、Ｓt+1,ip,oで示される新たなセグメントを得るため、ステップ４０８でセグメントＳt+1,ipに適用される。セグメントＳt+1,ip,oの再結合は、全てのフレームをカバーしない場合があるので、Ｂt+1のホールは、ステップ４１０で圧縮されたデータに含まれるホール情報に従って予測される。次いで、ステップ４１２で、動き記述の第一のレイヤに含まれるフラグが更なる動き情報が第二のレイヤに含まれることを示すかがチェックされる。更なる動き情報が圧縮されたデータに含まれない場合、残差フレームの復号が直接に実行される。以下の予測されたフレームは、全てのセグメントＳt+1,ip,oにより定義される。この時点で、ホールの充填が実行され、予測されたフレームＢt+1predが定義される。残差フレームＲt+1は、ステップ４１４で、デコードされ、最終的にデコードされたフレームＢt+1を計算するため、予測されたフレームＢt+1predに適用される。
【００３２】
更なる動き情報が圧縮されたデータに含まれる場合、ステップ４１５で、動きパラメータの補正値ΔＭt,ipがデコードされ、ステップ４１６で、デコードされたフレームＢtにおいて対応する改善されたセグメントＳt,ibが検索される。この対応する改善されたセグメントＳt,ibは、補正された動きパラメータＭt,ip＋ΔＭt,ipがそれに適用された場合にセグメントＳt+1,ip,oに投影されるＢtのセグメントである。補正された動きパラメータＭt,ip＋ΔＭt,ipは、動きパラメータの補正値ΔＭt,ipにより補正される動きパラメータＭt,ipの未処理のセットである。ステップ４１７で、Ｍt,ip＋ΔＭt,ipを使用したＳt,ibの投影は、補正された予測されたセグメントＳt+1,ip,o,cを提供する。後の補正された予測されたフレームは、全てのセグメントＳt+1,ip,o,cにより定義される。この時点で、ホールの充填が実行され、最終的な補正された予測されたフレームＢt+1predが定義される。次いで、ステップ４１８で、残差フレームＲt+1がデコードされ、最終的なデコードされたフレームＢt+1を提供するため、最終的な補正された予測されたフレームＢt+1predに適用される。
【００３３】
有利なことに、所与のセグメントの特定の実施の形態によれば、動きベクトルが定義される。この動きベクトルは、動き記述の第一及び第二のレイヤを含む。前方動きパラメータは、このベクトルの整数部分である。予測されるセグメント化Ｓt+1,ipは、整数部分を考慮することで、ベクトルに含まれるこのトランケートされた動き情報に従って計算される。
【００３４】
それぞれ予測されたセグメントＳt+1,ip,oの後方動き補正について、フルプレシジョン（full  precision）ベクトルが使用される。このケースでは、唯一の動きパラメータの現実のレイヤが存在する。後方及び前方の動きは、１つの動きシンボルに含まれる。さらに、動き記述は、２レイヤにされる。
【００３５】
前の実施の形態では、ステップ２１０でのオーバラップパラメータの計算及び対応するステップ４０８は、全てのセグメントが予測された後に、予測されたフレームＢt+1について実行される。代替的な実施の形態によれば、オーバラップパラメータは、ステップ２０８の後にそれぞれのセグメントについて計算される。したがって、セグメント毎に計算及び符号化される。これに応じて、オーバラップパラメータは、伸張方法におけるステップ４０６の直後にセグメント毎に適用される。
【００３６】
本発明の機能をハードウェア又はソフトウェア、若しくは両者のシステムにより実現する様々なやり方が存在する。この観点で、添付図面は非常に図解的であり、本発明の可能な実施の形態のみを表している。したがって、図面は、異なる機能を異なるブロックとして示すが、これは、決して１つのアイテムのハードウェア又はソフトウェアが幾つかの機能を実行することを排除するものではない。さらに、ハードウェア又はソフトウェア又は両者のアイテムのアセンブリがある機能を実行することを排除するものではない。
【００３７】
なお、図面の参照による詳細な説明は、本発明を制限するよりはむしろ例示するものであり、添付された特許請求の範囲に含まれる様々な代替が存在する。単語「有する“comprising”又は“comprise”」は、請求項に列挙された以外のエレメント又はステップの存在を排除するものではない。エレメント又はステップに先行する単語“ａ”又は“ａｎ”は、複数のかかるエレメント又はステップの存在を排除するものではない。
【図面の簡単な説明】
【００３８】
【図１】連続するフレームからなるビデオ系列の典型的な処理チェインの概念図である。
【図２】本発明に係るフレーム系列を符号化する方法のビデオ圧縮アルゴリズムを示すフローチャートである。
【図３】圧縮動作の間の連続するステップで処理されるフレームの概念図を示す図である。
【図４】本発明に係るフレーム系列の圧縮方法に対応する圧縮されたデータを復号化する方法のビデオ復号化アルゴリズムを示すフローチャートである。
【図５】復号化動作の間の連続するステップでの処理されるフレームの概念図である。
【図１】
2007519337.tif 000003
【図２】
2007519337.tif 000004
【図３】
2007519337.tif 000005
【図４】
2007519337.tif 000006
【図５】
2007519337.tif 000007
【国際調査報告】
2007519337.tif 000008
2007519337.tif 000009
2007519337.tif 000010