(57)【要約】エンコーダでは、オフセットプロセッサ３０７は、基準フレームにおけるピクチャエレメントのサブピクセルオフセットでピクチャエレメントを生成する。スキャンプロセッサ３０９は、マッチングピクチャエレメントを発見するためにフレームをサーチし、セレクションプロセッサ３１１は、最も近い整合が得られるオフセットピクチャエレメントを選択する。第一のフレームは、選択されたピクチャエレメントに関してエンコードされ、選択されたオフセットピクチャエレメントを示すサブピクセルデータと、第一のピクチャエレメントとマッチングピクチャエレメントとの間の整数画素のオフセットを示す整数画素の変位データとを含む変位データは、ビデオデータに含まれる。ビデオデコーダは、基準フレームから第一のピクチャエレメントを抽出し、基準フレームにおける補間によるサブピクセル情報に応答してピクチャエレメントをオフセットする。予測されるフレームは、整数倍の画素情報に応答してオフセットフレームをシフトすることでデコードされる。本発明は、サブピクセル精度によるシフト動き予測及びセグメントベースの動き補償による符号化を可能にする。
2007531444.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータを生成するためにビデオ信号を符号化するビデオエンコーダであって、
基準フレームにおける少なくとも第一のピクチャエレメントについて、異なるサブピクセルオフセットを有する複数のオフセットピクチャエレメントを生成する手段と、
前記複数のオフセットピクチャエレメントのそれぞれについて、マッチングピクチャエレメントを発見するために第一のフレームをサーチする手段と、
前記複数のオフセットピクチャエレメントのうちの第一のオフセットピクチャエレメントを選択する手段と、
前記第一のピクチャエレメントについて、前記第一のオフセットピクチャエレメントを示すサブピクセル変位データと前記第一のピクチャエレメントと前記マッチングピクチャエレメントとの間の整数倍の画素のオフセットを示す整数画素の変位データとを含む変位データを生成する手段と、
選択されたオフセットピクチャエレメントに関して前記マッチングピクチャエレメントを符号化する手段と、
前記変位データを前記ビデオデータに含む手段と、
を有することを特徴とするビデオエンコーダ。
【請求項２】
前記選択する手段は、前記複数のオフセットピクチャエレメントのそれぞれと前記マッチングピクチャエレメントとの間の差のパラメータを決定する手段、及び、最小の差のパラメータを有するオフセットのピクチャエレメントとして前記第一のオフセットピクチャエレメントを選択する手段を有する、
請求項１記載のビデオエンコーダ。
【請求項３】
前記基準フレームに画像セグメンテーションにより前記第一のピクチャエレメントを生成する手段を更に有する、
請求項１記載のビデオエンコーダ。
【請求項４】
前記ビデオエンコーダは、前記ビデオデータにおけるセグメントディメンジョンデータを含まないように構成される、
請求項３記載のビデオエンコーダ。
【請求項５】
前記ビデオエンコーダは、ブロックベースのビデオエンコーダであり、前記第一のピクチャエレメントは、符号化ブロックである、
請求項１記載のビデオエンコーダ。
【請求項６】
前記複数のオフセットピクチャエレメントを生成する手段は、画素の補間により少なくとも１つのオフセットピクチャエレメントを生成するために作用する、
請求項１記載のビデオエンコーダ。
【請求項７】
前記変位データは、動き予測データである、
請求項１記載のビデオエンコーダ。
【請求項８】
前記変位データは、シフト動き予測データである、
請求項７記載のビデオエンコーダ。
【請求項９】
前記複数のオフセットピクチャエレメントのうちの１つのオフセットピクチャエレメントは、実質的にゼロのオフセットを有する、
請求項１記載のビデオエンコーダ。
【請求項１０】
ビデオ信号を復号化するビデオデコーダであって、
当該ビデオデコーダは、
少なくとも基準フレーム、予測フレーム、及び基準フレームの複数のピクチャエレメントの変位データを含むビデオ信号を受信する手段と、
前記基準フレームの前記複数のピクチャエレメントの第一のピクチャエレメントを決定する手段と、
第一のサブピクセル変位データと第一の整数倍の画素の変位データとを含む前記第一のピクチャエレメントについて変位データを抽出する手段と、
前記第一のサブピクセル変位データに応答して、前記第一のピクチャエレメントをオフセットすることでサブピクセルオフセットピクチャエレメントを生成する手段と、
前記第一の画像における前記第一のピクチャエレメントの位置及び前記第一の整数倍の画素の変位データに応答して、前記予測されたフレームにおける第二のピクチャエレメントの位置を決定する手段と、
前記サブピクセルオフセットピクチャエレメントに応答して、前記第二のピクチャエレメントをデコードする手段と、
を有することを特徴とするビデオデコーダ。
【請求項１１】
前記第一のピクチャエレメントを決定する手段は、前記第一のフレームの画像セグメンテーションにより前記第一のピクチャエレメントを決定するために作用する、
請求項１０記載のビデオデコーダ。
【請求項１２】
前記ビデオデータは、セグメントディメンジョンデータを含まない、
請求項１１記載のビデオデコーダ。
【請求項１３】
ビデオデータを生成するためにビデオ信号を符号化する方法であって、
当該方法は、
基準フレームにおける少なくとも第一のピクチャエレメントについて、異なるサブピクセルオフセットを有する複数のオフセットピクチャエレメントを生成するステップと、
前記複数のオフセットピクチャエレメントのそれぞれについて、マッチングピクチャエレメントを発見するために第一のフレームをサーチするステップと、
前記複数のオフセットピクチャエレメントのうちの第一のオフセットピクチャエレメントを選択するステップと、
前記第一のピクチャエレメントについて、前記第一のオフセットピクチャエレメントを示すサブピクセル変位データと前記第一のピクチャエレメントと前記マッチングピクチャエレメントとの間の整数倍の画素のオフセットを示す整数画素の変位データとを含む変位データを生成するステップと、
前記選択されたオフセットピクチャエレメントに関して前記マッチングピクチャエレメントを符号化するステップと、
前記変位データを前記ビデオデータに含むステップと、
を含むことを特徴とする方法。
【請求項１４】
ビデオ信号を復号化する方法であって、
当該方法は、
少なくとも基準フレーム、予測フレーム、及び基準フレームの複数のピクチャエレメントの変位データを含むビデオ信号を受信するステップと、
前記基準フレームの前記複数のピクチャエレメントの第一のピクチャエレメントを決定するステップと、
第一のサブピクセル変位データと第一の整数倍の画素の変位データとを含む前記第一のピクチャエレメントについて変位データを抽出するステップと、
前記第一のサブピクセル変位データに応答して、前記第一のピクチャエレメントをオフセットすることでサブピクセルオフセットピクチャエレメントを生成するステップと、
前記第一の画像における前記第一のピクチャエレメントの位置及び前記第一の整数倍の画素の変位データに応答して、前記予測されたフレームにおける第二のピクチャエレメントの位置を決定するステップと、
前記サブピクセルオフセットピクチャエレメントに応答して、前記第二のピクチャエレメントをデコードするステップと、
を含むことを特徴とする方法。
【請求項１５】
請求項１３又は１４記載の方法を実行するのを可能にするコンピュータプログラム。
【請求項１６】
請求項１５記載のコンピュータプログラムを含む記録キャリア。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ符号化及び復号化に関し、特にシフト動き予測を使用したビデオエンコーダ及びデコーダに関する。
【背景技術】
【０００２】
近年、ビデオ信号のデジタルストレージ及び流通の使用が益々普及してきている。デジタルビデオ信号を送信するために必要とされる帯域幅を低減するため、ビデオデータ圧縮を含む効果的なデジタルビデオ符号化を使用して、デジタルビデオ信号のデータレートが大幅に低減されることが知られている。
【０００３】
相互使用可能性を保証するため、ビデオ符号化規格は、多くのプロフェッショナル及びコンシューマアプリケーションにおいてデジタルビデオの適合を容易にすることにおいて重要な役割を果たしている。最も影響力のある規格は、ＩＴＵ−Ｔ（International  Telecommunication  Union）又はＩＳＯ／ＩＥＣ（International  Organization  for  Standardization/International  Electrotechnical  Committee）のＭＰＥＧ（Motion  Pictures  Experts  Group）委員会のいずれかにより慣習的に開発されている。ＩＴＵ−Ｔ規格は、勧告として知られており、典型的にリアルタイム通信（たとえばビデオ会議）を狙いとしており、大部分のＭＰＥＧ規格は、ストレージ（たとえばＤＶＤ（Digital  Versatile  Disc）向け）及びブロードキャスト（たとえばＤＶＢ（Digital  Video  Broadcast）規格向け）のために最適化されている。
【０００４】
現在、最も広く使用されている圧縮技術の１つはＭＰＥＧ−２（Motion  Picture  Expert  Group）規格として知られている。ＭＰＥＧ−２は、ブロックベースの圧縮スキームであり、フレームは、それぞれが８つの垂直方向の画素と８つの水平方向の画素を有する複数のブロックに分割される。ルミナンスデータの圧縮のため、それぞれのブロックは、離散コサイン変換（ＤＣＴ）を使用して個々に圧縮され、これに続いて量子化が行われ、著しい数の変換されたデータ値をゼロに低減する。フレーム内圧縮にのみ基づいたフレームは、イントラフレーム（Ｉフレーム）として知られる。
【０００５】
フレーム内圧縮に加えて、ＭＰＥＧ−２は、データレートを更に使用するためフレーム間圧縮を使用する。フレーム間圧縮は、前のＩフレームに基づいた予測フレーム（Ｐフレーム）の生成を含む。さらに、Ｉ及びＰフレームは、双方向予測フレーム（Ｂフレーム）により典型的に挿入され、圧縮は、Ｂフレームと周囲のＩ及びＰフレームとの間の差を送信するのみで達成される。さらに、ＭＰＥＧ−２は、動き予測を使用し、異なる位置にある後続のフレームで発見される１フレームのマクロブロックの画像は、動きベクトルの使用によりシンプルに伝達される。動き予測データは、動き予測プロセスの間に利用されるデータを一般に示す。動き予測は、動き補償又は等価的に、インタープレディクションのプロセスのためのパラメータを決定するために実行される。
【０００６】
これら圧縮技術の結果として、標準的なＴＶスタジオ放送の品質レベルのビデオ信号は、２〜４Ｍｂｐｓのデータレートで送信することができる。
【０００７】
近年、Ｈ．２６Ｌとして知られる新たなＩＴＵ−Ｔ規格が出現している。Ｈ．２６Ｌは、ＭＰＥＧ−２のような既存の規格に比較してその優れた符号化効率について広く認識されてきている。Ｈ．２６Ｌのゲインはピクチャサイズに比例して減少するが、広い範囲の応用におけるその配置のポテンシャルは疑われない。このポテンシャルは、ＪＶＴ（Joint  Video  Team）フォーラムの形成を通して認識されており、このフォーラムは、Ｈ．２６Ｌを新たな共同のＩＴＵ−Ｔ／ＭＰＥＧ規格として最終的に決定する役割を果たす。新たな規格は、Ｈ．２６４又はＭＰＥＧ−４ＡＶＣ（Advanced  Video  Coding）として知られる。さらに、Ｈ．２６４ベースのソリューションは、ＤＶＢ及びＤＶＤフォーラムのような他の規格本体で考慮されている。
【０００８】
Ｈ．２６４／ＡＶＣ規格は、ＭＰＥＧ−２のようなブロックベースの動き予測の類似した原理を利用する。しかし、Ｈ．２６４／ＡＶＣは、符号化パラメータの非常に増加された選択を可能にする。たとえば、Ｈ．２６４／ＡＶＣは、１６×１６マクロブロックのより精巧なパーティション及び操作を可能にし、たとえば動き補償プロセスは、サイズ的に４×４と同様に小さいマクロブロックの分割で実行することができる。別の、更に効果的な拡張は、マクロブロックの予測の可変のブロックサイズの可能性である。したがって、マクロブロック（１６×１６画素）は、多数の小ブロックに区分され、それぞれのこれらサブブロックは、個別に予測することができる。したがって、異なるサブブロックは、異なる動きベクトルを有し、異なる基準ピクチャから検索することができる。また、サンプルブロックの動き補償された予測の選択プロセスは、隣接フレーム（又は画像）の代わりに、多数の記憶された、前に復号化されたフレーム（又は画像）を含む場合がある。また、動き補償に従う結果的に得られる予測誤差が変換され、従来の８×８サイズの代わりに、４×４ブロックサイズに基づいて量子化される。
【０００９】
一般的に、ＭＰＥＧ２及びＨ．２６４／ＡＶＣのような既存の符号化規格は、図１に例示されるようにフェッチ動き予測（fetch  motion  estimation）技術を使用する。フェッチ動き予測では、エンコードされるべき第一のフレームのブロック（予測フレーム）は、基準フレームにわたりスキャンされ、基準フレームのブロックに比較される。第一のブロックと基準フレームのブロックの間の差が決定され、所与の基準が基準フレームブロックのうちの１つに適合した場合、これは予測されたフレームにおける動き補償の基本として使用される。特に、基準フレームブロックは、エンコードされている結果的に得られる差のみで予測されるフレームブロックから減算される場合がある。さらに、予測されたフレームブロックから基準フレームブロックを示す動き予測ベクトルが生成され、符号化されたデータストリームに含まれる。プロセスは、予測されたフレームにおける全てのブロックについて連続的に繰り返される。したがって、予測されたフレームのそれぞれのブロックについて、基準フレームは、適切な整合についてスキャンされる。１つが発見された場合、動きベクトルが生成され、予測されたフレームブロックに付属される。
【００１０】
代替的な動き予測技術は、シフト動き予測として知られ、図２に例示されている。シフト動き予測では、基準フレームのブロックは、エンコードされるべきフレーム（予測フレーム）にわたりスキャンされ、このフレームのブロックに比較される。ブロックと予測フレームのブロックとの間の差が決定され、予測されたフレームブロックのうちの１つについて、所与の基準が合致される場合、基準フレームブロックは、予測されたフレームのそのブロックの動き補償の基本として使用される。特に、基準フレームブロックは、エンコードされている結果的に得られる差のみで予測されたフレームブロックから減算される場合がある。さらに、基準フレームブロックから予測されたフレームブロックを示す動き予測ベクトルが生成され、符号化されたデータストリームに含まれる。プロセスは、基準フレームにおける全てのブロックについて連続的に繰り返される。したがって、基準フレームのそれぞれのブロックについて、予測されたフレームは、適切な整合についてスキャンされる。１つが発見された場合、動きベクトルが生成され、基準フレームブロックに付属される。
【００１１】
このように、図１及び図２に例示されるように、取り出し動き予測では、予測されたフレームのブロックは、基準フレームに連続的に比較され、動きベクトルは、適切な整合が発見された場合に予測されたフレームブロックに付属され、シフト動き予測では、基準フレームのブロックは、予測されたフレームに連続的に比較され、動きベクトルは、適切な整合が発見された場合に基準フレームブロックに付属される。
【００１２】
取り出し動き予測は、シフト動き予測が幾つかの関連する問題点を有するので、シフト動き予測に典型的に好適である。特に、シフト動き予測は、予測されたフレームの全てのブロックを系統的に処理せず、したがって、動き予測領域の間でオーバラップ及びギャップが生じる。これは、品質対データレートレシオの低下となる傾向にある。
【００１３】
しかし、幾つかの応用では、シフト動き予測を使用することが望まれ、予測可能な動き予測ブロック構造が存在せず、シフト動き予測が好まれる応用では特に、シフト動き予測を使用することが望まれる。
【発明の開示】
【発明が解決しようとする課題】
【００１４】
したがって、ビデオ符号化及び復号化のための改善されたシステムが有利であって、特に、シフト動き予測を可能にするか又は容易にするシステムであって、品質対データレートレシオを改善し、及び／又は複雑さを低減するシステムが有利である。
【課題を解決するための手段】
【００１５】
したがって、本発明は、先に記載された問題点の１以上を単独で、又は何れかの組み合わせで
軽減、緩和又は除去することが好ましい。
【００１６】
本発明の第一の態様によれば、ビデオデータを生成するためにビデオ信号を符号化するビデオエンコーダが提供され、ビデオエンコーダは、基準フレームにおける少なくとも第一のピクチャエレメントについて、異なるサブピクセルオフセットを有する複数のオフセットピクチャエレメントを生成する手段、複数のオフセットピクチャエレメントのそれぞれについて、マッチングピクチャエレメントを発見するために第一のフレームをサーチする手段、複数のオフセットピクチャエレメントのうちの第一のオフセットピクチャエレメントを選択する手段、第一のピクチャエレメントの変位データを生成する手段を有し、変位データは、第一のオフセットピクチャエレメントを示すサブピクセル変位データ、及び第一のピクチャエレメントとマッチングピクチャエレメントとの間の整数のピクセルオフセットを示す整数画素の変位データを含み、更に、ビデオエンコーダは、選択されたオフセットピクチャエレメントに関するマッチングピクチャエレメントをエンコードする手段、及びビデオデータに変位データを含む手段を有する。
【００１７】
第一のピクチャエレメントは、適切な画素のグループ又はセットであるが、好ましくは連続的な画素領域であることが好ましい。本発明は、ピクチャエレメントのサブピクセルの変位のための有利な手段を提供する場合がある。整数及び準整数の変位データを分離することで、改善された符号化性能が達成される場合がある。さらに、本発明は、サブピクセルの変位データの実用的かつ高性能の決定を提供する場合がある。変位データは、基準フレームの第一のピクチャエレメントに引用され、第一のフレームがエンコードされる必要がないか、又は第二のピクチャエレメントが前もって決定される必要がないか、第一のフレームにおいてマッチングピクチャエレメントのために使用される場合がある変位データが提供される。これにより、ピクチャエレメントのフィードフォワード変位が可能又は容易にされる。
【００１８】
好ましくは、選択する手段は、複数のオフセットピクチャエレメントのそれぞれとマッチングピクチャエレメントとの間の異なるパラメータを決定するための手段、最小の差のパラメータを有するオフセットピクチャエレメントとして第一のオフセットピクチャエレメントを選択する手段を有する。たとえば、オフセットピクチャエレメントとマッチングピクチャエレメントとの間の画素の差の平均二乗総和に対応する差のパラメータは決定される場合があり、第一のオフセットピクチャエレメントは、最小の平均二乗総和を有するエレメントとして選択される場合がある。これは、シンプルであって更に効果的な、マッチングピクチャエレメントを決定する手段を提供する。
【００１９】
さらに、ビデオエンコーダは、基準フレームの画像セグメンテーションにより第一のピクチャエレメントを生成する手段を更に有する。これは、適切なピクチャエレメントを決定する適切な方法を提供する。したがって、本発明は、セグメントが変位される第一のフレームにおけるセグメントの位置の情報を必要とすることなしに、低い複雑さであって高い性能の、セグメントの変位（displacement）のために使用することができるフレーム間のセグメントの変位のサブピクセル精度を生成する手段を提供する場合がある。
【００２０】
好ましくは、ビデオエンコーダは、ビデオデータにセグメントディメンジョンデータを含まないように構成される。本発明は、セグメントディメンジョンの情報がビデオデータそれ自身の含まれるのを必要とすることなしに、セグメントのサブピクセルの変位を可能にするビデオデータの効果的な生成を可能にする。これにより、ビデオデータのサイズが大幅に低減される場合があり、したがってビデオデータの送信のために必要とされる通信帯域幅を低減することができる。セグメンテーションは、ビデオデコーダにおいて独立に、変位データに基づいて決定される場合があり、セグメントは、これがはじめにデコードされる必要なしに変位される場合がある。特に、このことは、サブピクセルのセグメントの変位を第一のフレームのデコードの一部となるのを可能にする。
【００２１】
好ましくは、ビデオエンコーダは、ブロックベースのビデオエンコーダであり、第一のピクチャエレメントは符号化ブロックである。特に、ビデオエンコーダは、離散フーリエ変換（ＤＣＴ）ブロックの処理を利用し、第一のピクチャエレメントはＤＣＴブロックに対応する場合がある。これは、実現を容易にし、必要とされる処理リソースを低減する。
【００２２】
好ましくは、複数のオフセットピクチャエレメントを生成する手段は、画素の補間により少なくとも１つのオフセットピクチャエレメントを生成するために作用する。これは、複数のオフセットピクチャエレメントを生成するためのシンプルかつ適切な手段を提供する。
【００２３】
好ましくは、変位データは、動き予測データであり、特に、変位データは、シフト動き予測データである。したがって、本発明は、シフト動き予測を使用してビデオデータを生成する有利な手段を提供する。改善された品質対データサイズの比は、シフト動き予測の利点を保持しつつ達成される場合がある。
【００２４】
本発明の第二の態様によれば、ビデオ信号をデコードするためのビデオデコーダが提供され、ビデオデコーダは、基準フレームの複数のピクチャエレメントのための少なくとも基準及び予測フレーム及び変位データを含むビデオ信号を受ける手段、基準フレームの複数のピクチャフレームの第一のピクチャエレメントを決定する手段、第一のサブピクセル変位データ及び第一の整数画素変位データを含む第一のピクチャエレメントの変位データを抽出する手段、第一のサブピクセル変位データに応答して第一のピクチャエレメントをオフセットすることでサブピクセルオフセットピクチャを生成する手段、第一の画像における第一のピクチャエレメントの位置及び第一の整数画素の変位データに応答して、予測されたフレームにおける第二のピクチャエレメントの位置を決定するための手段、及びサブピクセルオフセットピクチャエレメントに応答して第二のピクチャエレメントをデコードする手段を有する。
【００２５】
ビデオエンコーダを参照して説明される特徴、変形例、オプション及びリファインメントは、適切なようにビデオデコーダにも同様に適用可能であることを理解されたい。特に、第一のピクチャエレメントを決定する手段は、第一のフレームの画像セグメンテーションにより第一のピクチャエレメントを決定するために作用する。また、変位データは、セグメントに基づいた動き補償のために使用されるサブピクセル精度のシフト動き予測データである場合がある。
【００２６】
同様に、ビデオエンコーダを参照して説明される利点は、適切なようにビデオデコーダにも同様に適用されることを理解されたい。このように、ビデオデコーダは、改善された品質対データサイズ比を有するシフト動き予測符号化された信号のデコードを可能にする。
【００２７】
本発明の第三の態様によれば、ビデオデータを生成するためにビデオ信号をエンコードする方法が提供され、当該方法は、基準フレームにおける少なくとも第一のピクチャエレメントについて、異なるサブピクセルオフセットを有する複数のオフセットピクチャエレメントを生成し、複数のオフセットピクチャエレメントのそれぞれについて、マッチングピクチャエレメントを発見するために第一のフレームをサーチするステップ、複数のオフセットピクチャエレメントのうちの第一のオフセットピクチャエレメントを選択するステップ、第一のピクチャエレメントの変位データを生成するステップを含み、変位データは、第一のオフセットピクチャエレメントを示すサブピクセル変位データ、第一のピクチャエレメントとマッチングピクチャエレメントとの間の整数がそのオフセットを示す整数画素変位データを含み、当該方法は、選択されたオフセットピクチャエレメントに関してマッチングピクチャエレメントをエンコードするステップ、及びビデオデータに変位データを含むステップを含む。
【００２８】
本発明の第四の態様によれば、ビデオ信号をデコードする方法が提供され、当該方法は、基準フレームの複数のピクチャエレメントのための少なくとも基準及び予測フレーム及び変位データを含むビデオ信号を受けるステップ、基準フレームの複数のピクチャフレームの第一のピクチャエレメントを決定するステップ、第一のサブピクセル変位データ及び第一の整数画素変位データを含む第一のピクチャエレメントの変位データを抽出するステップ、第一のサブピクセル変位データに応答して第一のピクチャエレメントをオフセットすることでサブピクセルオフセットピクチャエレメントを生成するステップ、第一の画像における第一のピクチャエレメントの位置及び第一の整数画素の変位データに応答して、予測されたフレームにおける第二のピクチャエレメントの位置を決定するステップ、及びサブピクセルオフセットピクチャエレメントに応答して第二のピクチャエレメントをデコードするステップを含む。
【００２９】
本発明のこれらの態様、特徴及び利点、他の態様、特徴及び利点は、以下に記載される実施の形態を参照して明らかにされるであろう。本発明の実施の形態は、添付図面を参照して例示を通して説明される。
【発明を実施するための最良の形態】
【００３０】
以下の説明は、シフト動き予測及び補償に基づいたセグメントを使用したビデオ符号化システムに適用可能な本発明の実施の形態に焦点を当てている。しかし、本発明はこの用途に限定されるものではないことを理解されたい。
【００３１】
図３は、本発明の実施の形態に係るシフト動き予測ビデオエンコーダを例示する図である。ビデオエンコーダの動作は、第一のフレームが１つの基準フレームから動き予測及び補償を使用して符号化される特定の状況で記載されるが、他の実施の形態では、１つのフレームの動き予測がたとえば将来のフレーム、及び／又は第一のフレームからの異なる一時的なオフセットを有するフレームを含む適切なフレームに基づく場合があることを理解されたい。
【００３２】
ビデオエンコーダは、以下に第一のフレームとして示される符号化されるべきフレームを記憶する第一のフレームバッファ３０１を有する。第一のフレームバッファ３０１は、第一のフレームのシフト動き予測符号化のために使用される基準フレームを記憶する基準のフレームバッファ３０３に結合される。特定の例では、基準フレームは、基準フレームバッファ３０３に第一のフレームバッファ３０１から移動されている前のオリジナルフレームである。しかし、他の実施の形態では、基準フレームは他の方式で生成される場合があることを理解されたい。たとえば、基準フレームは、前に符号化されたフレームの局所的なデコードにより生成され、受信するビデオデコーダで生成された基準フレームに密に対応する基準フレームを供給する。
【００３３】
基準フレームバッファ３０３は、セグメンテーションプロセッサ３０５に結合され、このプロセッサは、複数のピクチャエレメントに基準フレームをセグメント化するために作用する。あるピクチャエレメントは、所与の選択基準に従って選択された画素のグループに対応する。記載される実施の形態では、それぞれのピクチャエレメントは、セグメンテーションプロセッサ３０５により決定される画像セグメントに対応する。他の実施の形態では、ピクチャエレメントは、ＤＣＴ変換ブロック又は前もって定義された（マクロ）ブロックのような符号化ブロックに代替的又は追加的に対応する場合がある。
【００３４】
記載される実施の形態では、イメージセグメンテーションは、たとえば、同じ基本のオブジェクトに属するため、類似の動き特性を有するイメージセグメントに画素を共にグループ化する。基本的な過程は、オブジェクトのエッジが画像における明るさ又は色の鮮鋭な変化を引き起こすことである。類似の明るさ及び／又は色をもつ画素は、共にグループ化され、領域間の明るさ／色のエッジが生じる。
【００３５】
好適な実施の形態では、ピクチャセグメンテーションは、共通の特性に基づいた画素の空間的なグループ化のプロセスを有する。ピクチャセグメンテーション及びビデオセグメンテーションに対する幾つかのアプローチが存在する。ピクチャのセグメンテーションの公知の方法又はアルゴリズムは、本発明から逸脱することなしに使用される場合があることを理解されたい。
【００３６】
好適な実施の形態では、セグメンテーションは、共通の特性に応答して画像のディスジョイント（disjoint）領域を検出し、１つの画像又はピクチャから次の画像又はピクチャにこのオブジェクトを続けてトラッキングすることを含む。
【００３７】
１実施の形態では、セグメンテーションは、同じ画像セグメントにおける類似の明るさレベルを有するピクチャエレメントをグループ化すること、類似の明るさレベルを有するピクチャエレメントの連続的なグループは、同じ基本のオブジェクトに属する傾向にある。同様に、類似の色レベルを有するピクチャエレメントの連続的なグループは、同じ基本のオブジェクトに属し、セグメンテーションは、同じセグメントにおける類似の色を有するピクチャエレメントをグループ化するステップを代替的又は追加的に含む。
【００３８】
以下の記載は、以下に第一のセグメントと示される１つのセグメントの処理に簡単かつ明確さのために焦点を当てているが、ビデオエンコーダは、所与のフレームについて複数のピクチャエレメントを生成及び処理するのが可能であることが好ましい。
【００３９】
セグメンテーションプロセッサ３０５は、第一のセグメントについて異なるサブピクセルオフセットで複数のオフセットピクチャエレメントを生成するオフセットプロセッサ３０７に結合される。オフセットプロセッサ３０７は、好ましくは、ゼロオフセットを有する１つのオフセットセグメントを生成することが好ましく、すなわち、変更されない第一のセグメントは、複数のオフセットセグメントのうちの１つであることが好ましい。さらに、オフセットプロセッサ３０７は、等間隔のオフセットを有する多数のオフセットピクチャを生成することが好ましい。たとえば、４つのオフセットセグメントが生成された場合、オフセットプロセッサ３０７は、オフセット（ｘ，ｙ）＝（０，０）を有するセグメント、オフセット（ｘ，ｙ）＝（０．５，０）を有する別のセグメント、オフセット（ｘ，ｙ）＝（０，０．５）を有する第三のセグメント、及びオフセット（ｘ，ｙ）＝（０．５，０．５）を生成することが好ましい。したがって、例では、４つのオフセットセグメントは、０．５画素というサブピクセル精度又は粒状度に対応して生成さる。
【００４０】
オフセットプロセッサ３０７は、オフセットセグメントを受信するスキャンプロセッサ３０９に結合される。スキャンプロセッサ３０９は、第一のフレームバッファ３０１に更に結合され、オフセットセグメントのそれぞれについてマッチング画像セグメントの第一のフレームをサーチする。
【００４１】
特に、スキャンプロセッサ３０９は、以下により与えられる距離又は差のパラメータを決定する場合がある。
【００４２】
【数１】
2007531444.tif 000003
Ｓはオフセットセグメントを示し、Ｓ（Δｘ，Δｙ）はセグメントにおける相対的な位置（Δｘ，Δｙ）での画素を示し、Ｐ（ａ，ｂ）はエンコードされるべき第一のフレームにおける位置（ａ，ｂ）での画素を示す。
【００４３】
スキャンプロセッサ３０９は、距離のパラメータを評価することで全ての可能性のある（ｘ，ｙ）をサーチし、最も小さい距離の値を有するものとして所与のオフセットセグメントについてマッチングセグメントを決定する。さらに、距離の値が所与の閾値を超える場合、マッチングセグメントが存在しないと判定され、動き補償は、第一のセグメントに基づいて実行されない。
【００４４】
スキャンプロセッサ３０９は、要求されるサブピクセル変位に対応するオフセットセグメントのうちの１つを選択するセレクションプロセッサ３１１に結合される。記載される実施の形態では、セレクションプロセッサ３１１は、最も低い距離のパラメータを有するオフセットセグメントを単に選択する。
【００４５】
セレクションプロセッサ３１１は、第一のセグメントの変位データを生成する変位データプロセッサ３１３に結合される。記載される実施の形態では、変位データプロセッサ３１３は、第一のセグメントの動きベクトルを生成し、動きベクトルは、選択されたオフセットピクチャエレメントを示すサブピクセル変位部分、第一のセグメントとマッチングセグメントとの間の整数画素のオフセットを示す整数画素変位部分を有する。特に、動きベクトルは、（０，０）オフセットセグメントが選択された場合に（ｘm，ｙm）として生成され、（０＝０．５，０）オフセットセグメントが選択された場合に（ｘm＋０．５，ｙm）として生成され、（０，０．５）オフセットセグメントが選択された場合に（ｘm，ｙm＋０．５）として生成され、（０．５，０．５）オフセットセグメントが選択された場合に（ｘm＋０．５，ｙm＋０．５）として生成される場合があり、ｘm，ｙmは、マッチング画像セグメントの距離パラメータの計算のｘ及びｙの整数値である。
【００４６】
変位データプロセッサ３１３は、オフセットプロセッサ３０７に更に結合され、そこから選択されたオフセットセグメントを受信する。変位データプロセッサ３１３は、第一のフレームをエンコードする符号化ユニット３１５に結合される。特に、第一のフレームのマッチングセグメントは、選択されたオフセットセグメントに関して符号化される。記載される実施の形態では、符号化ユニット３１５は、マッチングセグメントから選択されたオフセットセグメントの画素値を減算することで相対的な画素値を生成する。結果的に得られた相対的なフレームは、当該技術分野において公知である空間的な周波数変換、量子化及び符号化を使用して連続的に符号化される。第一のセグメント（及び他の処理されたセグメント）の画素データの値が大幅に低減されるので、データサイズにおける大幅な低減を達成することができる。
【００４７】
符号化ユニット３１５は、出力プロセッサ３１７に結合され、この出力プロセッサは、変位データプロセッサ３１３に更に結合される。出力プロセッサ３１７は、ビデオエンコーダ３００から出力データストリームを生成する。出力プロセッサ３１７は、特定のビデオ符号化プロトコルについて要求される、ビデオ信号、補助データ、制御情報からなるフレームの符号化データを結合する。さらに、出力プロセッサ３１７は、分数及び整数部分の両者を有する動きベクトルの形式で変位データを含み、分数部分は、選択されたオフセットピクチャ、したがって選択されたサブピクセルの補間を示し、整数部分は、補間されたセグメントの第一のフレームにおけるシフトを示す。しかし、記載された実施の形態では、出力プロセッサ３１７は、検出されたイメージセグメントの位置又は寸法を定義する特定のセグメンテーションデータを含まない。
【００４８】
このように、ビデオエンコーダは、シフト動き予測符号化を提供し、基準フレームのセグメントは、第一の（将来的な）フレームを補償するために使用される。したがって、第一のフレームにおける第一のセグメントの変位及び包含は、この復号化の前又は復号化の間に実行される場合がある。このように、ビデオエンコーダは、第一のフレームのデコードのためにセグメントの位置又は寸法の事前知識を必要としない信号を提供する。さらに、サブピクセル動き補償が実行されたときに、非常に効率的かつ高品質な信号が生成される。
【００４９】
したがって、ビデオエンコーダは、低い複雑さの実現を可能にしつつ、改善された品質対データレート比を提供する。
【００５０】
図４は、本発明の実施の形態に係るシフト動き予測ビデオデコーダ４００を例示する図である。記載される実施の形態では、ビデオデコーダ４００は、図３のビデオエンコーダ３００により生成されるビデオ信号を受信し、これをデコードする。
【００５１】
ビデオデコーダ４００は、ビデオ信号のビデオフレームを受信する受信フレームバッファ４０１を有する。ビデオデコーダは、デコードされた基準フレームのバッファ４０３を更に有し、このバッファは、ビデオ信号の予測されたフレームをデコードするために使用される基準フレームを記憶する。デコード基準フレームバッファ４０３は、ビデオエンコーダの出力に結合され、デコード基準フレームバッファ４０３は、当業者により理解されているように、実現された符号化プロトコルの要件に従って適切な基準フレームを受ける。
【００５２】
ビデオデコーダの動作は、デコードされた基準フレームバッファ４０３がビデオエンコーダ３００の動作に関して記載された基準フレームに対応するデコードされた基準フレームを含み、受信フレームバッファ４０１がビデオエンコーダ３００の動作に関して記載される第一のフレームに対応する予測フレームを含む状況を特に参照して記載される。したがって、デコードされた基準フレームのバッファ４０３は、予測されたフレームを符号化するために使用される基準フレームを有し、これをデコードするために使用される。さらに、受信されたビデオ信号は、基準フレームの画像セグメントに参照される非整数の動きベクトルを有する。しかし、記載される実施の形態では、ビデオ信号は、予測されたフレーム又は基準フレームのセグメントの寸法に関連される情報を含まない。したがって、復号化は、未だデコードされていない、従って画像セグメンテーションに適さない、予測されたフレームにおける画像セグメントの識別に基づかないことが好ましい。しかし、シフト動き予測及び補償は、デコードされた基準フレームバッファ４０３に記憶される基準フレームに基づいたセグメントベースの動き補償を提供する。
【００５３】
したがって、デコードされた基準フレームのバッファ４０３は、受信セグメンテーションプロセッサ４０５に結合され、受信セグメンテーションプロセッサは、デコードされた基準フレームに画像セグメンテーションを実行する。セグメンテーションアルゴリズムは、ビデオエンコーダ３００のセグメンテーションプロセッサ３０５に等価であり、したがって、同じセグメント（又は主に同じセグメント）を識別する。したがって、ビデオエンコーダ３００及びビデオエンコーダ４００は、個々のセグメンテーションプロセスにより実質的に同じ画像セグメントを独立に生成する。エンコーダにより識別された全ての画像セグメントはデコーダにより識別されるが、これは動作にとって本質的なものではないことを理解されたい。
【００５４】
符号化のために使用される１以上の画像セグメントを、受信セグメンテーションプロセッサ４０５により生成された１以上の画像セグメントと関連付けする適切な機能又はプロトコルが使用される場合があることを更に理解されたい。
【００５５】
特定の例として、ビデオエンコーダ３００は、動きベクトルが関連する検出された画像セグメントの中心点に対応するそれぞれ動きベクトルの位置の識別を含む場合がある。データを受信するとき、ビデオデコーダは、この位置を含む受信セグメンテーションプロセッサ４０５により決定される画像セグメントと動きベクトルを関連付けする場合がある。したがって、ビデオエンコーダ及びビデオデコーダで独立に決定された対応する画像セグメント間の関連性は、画像セグメントの特性又はディメンジョンに関連する情報の交換なしに達成される場合がある。これは、大幅に低減されたデータレートを提供する。
【００５６】
以下の記載は、簡単さ及び明確さのため、受信セグメンテーションプロセッサ４０５により識別される第一のセグメントの処理に焦点を当てているが、ビデオデコーダは、所与のフレームについて複数のピクチャエレメントを生成及び処理可能であることが好ましいことを理解されたい。
【００５７】
受信セグメンテーションプロセッサ４０５は、受信補間手段４０７に結合され、受信補間手段は、ビデオエンコーダ３００により選択されたオフセットセグメントに対応するサブピクセルオフセットセグメントを生成するため、基準フレームにおける第一の画像セグメントを補間する。
【００５８】
受信補間手段４０７は、受信フレームバッファ４０１に更に結合される変位データ抽出手段４０９に結合され、この変位データ抽出手段は、受信フレームバッファ４０１に更に結合される。変位データ抽出手段４０９は、受信されたビデオ信号から変位データを抽出する。変位データ抽出手段は、変位データをサブピクセル部分と整数画素部分に分割し、サブピクセル部分を受信補間手段４０７に供給する。
【００５９】
記載される実施の形態では、変位データ抽出手段４０９は、第一のセグメントの動きベクトルを受け、分数の部分を変位データ抽出手段４０９に通過させる。これに応じて、変位データ抽出手段４０９は、選択されたオフセットセグメントのビデオエンコーダにおける第一のセグメントについて実行される補間に対応する基準フレームにおける補間を実行する。このように、受信補間手段４０７は、ビデオデコーダの選択されたオフセットセグメントに直接的に対応する画像セグメントを生成する。画像セグメントは、サブピクセル精度を有し、高い品質のデコードされた信号を供給することができる。
【００６０】
ビデオエンコーダは、シフトプロセッサ４１１を更に有し、このシフトプロセッサは、変位データの整数画素の部分に応答して予測されたフレームにおける生成されたオフセットセグメントの位置を決定する。特に、シフトプロセッサ４１１は、受信補間手段４０７及び変位データ抽出手段４０９に結合され、受信補間手段４０７からの補間されたセグメントを受信し、変位データ抽出手段４０９からのセグメントの動きベクトルの整数部分を受信する。シフトプロセッサ４１１は、予測されたフレームの基準システムにおけるオフセットピクチャエレメントを移動し、すなわち、シフトプロセッサ４１１は、動き補償フレームを生成する場合があり、オフセットセグメントにおける全ての画素について以下の演算が行われる。
【００６１】
【数２】
2007531444.tif 000004
ｐ（ｘ，ｙ）は予測されたフレームにおける位置ｘ，ｙでの画素エレメントであり、ｓ0（ｘ，ｙ）は基準フレームにおける位置ｘ，ｙでのオフセット画像セグメントにおける画素エレメントであり、（ｘmv，ｙmv）はセグメントの動きベクトルである。
【００６２】
ビデオデコーダ４００は、シフトプロセッサ４１１及び受信フレームバッファ４０１に結合される復号化ユニット４１３を更に有する。復号化ユニット４１３は、シフトプロセッサ４１１により生成された動き補償フレームを使用して予測されたフレームをデコードする。特に、第一のフレームは、動き補償フレームが当該技術分野で知られているように追加される関連する画像としてデコードされる場合がある。したがって、復号化ユニット４１３は、デコードされたビデオ信号を生成する。
【００６３】
このように、記載される実施の形態によれば、ビデオ符号化及び復号化システムが開示され、このシステムは、サブピクセルの精度でのセグメントに基づく動き補償を可能にするシフト動き予測を使用する。したがって、高い品質対データサイズ比を有する非常に効率的な符号化が達成される場合がある。
【００６４】
さらに、サブピクセル処理及びオフセット処理／補間処理は、整数倍のシフトの後に予測されるフレームよりは、整数倍のシフトの前に基準フレームで実行される。これにより著しく改善された性能が得られることを実験は示している。
【００６５】
実施の形態は、たとえば適切なシグナルプロセッサで実行するソフトウェアプログラムとして、比較的低い複雑さの実現を更に提供する。代替的に、実現は、専用のハードウェアを全体的に、又は部分的に使用する場合がある。
【００６６】
一般に、本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせを含む適切な形式で実現することができる。しかし、好ましくは、本発明は、１以上のデータプロセッサ及び／又はデジタルシグナルプロセッサで動作するコンピュータソフトウェアとして実現される。本発明の実施の形態のエレメント及びコンポーネントは、適切なやり方で物理的、機能的及び論理的に実現される場合がある。確かに、機能は、単一のユニットで、複数のユニットで、他の機能ユニットの一部として実現される場合がある。かかるように、本発明は、単一のユニットで実現されるか、異なるユニットとプロセッサとの間で物理的及び機能的に分散される場合がある。
【００６７】
本発明は、好適な実施の形態と共に記載されてきたが、本実施の形態で述べた特定の形式に限定されることが意図されていない。むしろ、本発明の範囲は、特許請求の範囲によってのみ制限される。請求項において、用語「有する“comprising”」は、他のエレメント又はステップの存在を排除するものではない。さらに、個々に列挙されているが、複数の手段、エレメント又は方法ステップは、たとえば単一ユニット又はプロセッサにより実現される場合がある。さらに、個々の機能が異なる請求項で含まれる場合があるが、これらは、おそらく有利に結合される場合があり、異なる請求項における包含は、機能の組み合わせが実施可能及び／又は有効ではないことを意味するものではない。さらに、単数の引用は、複数を排除するものではない。したがって、引用“ａ”，“ａｎ”，“ｆｉｒｓｔ”，“ｓｅｃｏｎｄ”等は、複数を排除するものではない。
【図面の簡単な説明】
【００６８】
【図１】従来技術に係るフェッチ動き予測を例示する図である。
【図２】従来技術に係るシフト動き予測を例示する図である。
【図３】本発明の実施の形態に係るシフト動き予測ビデオエンコーダを例示する図である。
【図４】本発明の実施の形態に係るシフト動き予測ビデオエンコーダを例示する図である。
【図１】
2007531444.tif 000005
【図２】
2007531444.tif 000006
【図３】
2007531444.tif 000007
【図４】
2007531444.tif 000008
【国際調査報告】
2007531444.tif 000009
2007531444.tif 000010
2007531444.tif 000011