(57)【要約】ロバスト時間領域ブロック復号を行う復号方法を開示する。本発明に係る復号方法は、変換領域係数及び対応するエラーフラグが供給されるステップと、誤りを含む各係数の初期値を推定するステップと、誤りを含む各係数の初期値を用いてブロックの画素値を復号するステップと、誤りを含む係数の値を更新するステップと、係数の更新された値を用いて、ブロックの画素値を更新するステップとを有する。
2004524725.tif 000002
【特許請求の範囲】
【請求項１】
変換領域係数及び対応するエラーフラグが供給されるステップと、
誤りを含む各係数の初期値を推定するステップと、
上記誤りを含む各係数の初期値を用いてブロックの画素値を復号するステップと、
上記誤りを含む係数の値を更新するステップと、
上記係数の更新された値を用いて、上記ブロックの画素値を更新するステップとを有する復号方法。
【請求項２】
上記初期値を推定するステップは、上記誤りを含む各係数の期待される値を推定するステップを有することを特徴とする請求項１記載の復号方法。
【請求項３】
上記画素値を復号するステップは、変換に変換領域係数を適応するステップを有することを特徴とする請求項１記載の復号方法。
【請求項４】
上記誤りを含む各係数の値を更新するステップは、最小二乗式を最小化するステップを有することを特徴とする請求項１記載の復号方法。
【請求項５】
上記更新された画素値に基づく画像を表示するステップを有する請求項１記載の復号方法。
【請求項６】
変換領域係数及び対応するエラーフラグが供給される受信手段と、
誤りを含む各係数の初期値を推定する初期値推定手段と、
上記誤りを含む各係数の初期値を用いてブロックの画素値を復号する復号手段と、
上記誤りを含む係数の値を更新する係数更新手段と、
上記係数の更新された値を用いて、上記ブロックの画素値を画素値更新手段とを備える復号装置。
【請求項７】
上記初期値を推定する初期値推定手段は、上記誤りを含む各係数の期待される値を推定する推定手段を備えることを特徴とする請求項６記載の復号装置。
【請求項８】
上記復号手段は、変換に変換領域係数を適応する変換領域係数適応手段を備えることを特徴とする請求項６記載の復号装置。
【請求項９】
上記誤りを含む各係数の値を更新するステップは、最小二乗式を最小化する最小化手段を備えることを特徴とする請求項６記載の復号装置。
【請求項１０】
上記更新された画素値に基づく画像を表示する表示手段を備える請求項６記載の復号装置。
【請求項１１】
処理装置に実行されて、該処理装置に、
変換領域係数及び対応するエラーフラグが供給されるステップと、
誤りを含む各係数の初期値を推定するステップと、
上記誤りを含む各係数の初期値を用いてブロックの画素値を復号するステップと、
上記誤りを含む係数の値を更新するステップと、
上記係数の更新された値を用いて、上記ブロックの画素値を更新するステップとを実行させる命令を有するコンピュータにより読取可能な媒体。
【請求項１２】
上記命令は、上記処理装置に、上記誤りを含む各係数の期待される値を推定することにより、上記初期値を推定させることを特徴とする請求項１１記載のコンピュータにより読取可能な媒体。
【請求項１３】
上記命令は、上記処理装置に、上記誤りを含む各係数の期待される値を推定することにより、上記初期値を推定させることを特徴とする請求項１１記載のコンピュータにより読取可能な媒体。
【請求項１４】
上記命令は、上記処理装置に、最小二乗式を最小化することにより、上記誤りを含む各係数の値を更新させることを特徴とする請求項１１記載のコンピュータにより読取可能な媒体。
【請求項１５】
上記命令は、上記処理装置に、更新された画素値に基づく画像を表示させることを特徴とする請求項１１記載のコンピュータにより読取可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号伝送及び誤り回復（error recovery）の分野に関する。
【背景技術】
【０００２】
例えばＭＰＥＧやＪＰＥＧ等の標準的な画像圧縮技術は、ブロック変換（blocked transforms）に基づいている。これらの標準的な技術は、圧縮率は高いが、ロバストな再構築技術（robust reconstruction technique）は提供していない。実際の画像においては、エネルギは低い周波数帯域に集中する傾向がある。すなわち、情報コンテンツの大部分は、変換された画像におけて低い周波数係数に含まれる。このような情報を、これらの比較的少ない係数にパッキングすることは、画像圧縮アルゴリズムにとって有益であることが知られている。これらの低い周波数係数を正しく伝送すれば、画像を高い忠実度（fidelity）で再生することができる。
【０００３】
しかしながら、Ｎ×Ｎの画像セグメントを周波数領域に、又は周波数領域から変換する処理では、約２Ｎ３回の演算（operation）が必要となる。ここで、Ｎの値が大きくなると、必要な演算量は膨大なものとなり、非現実的である。複雑さを管理可能な範囲内に抑えるために、Ｎの値としては、通常、例えば８等の小さな数が選ばれ、画像は、１ブロックずつ（one block at a time）変換され、これにより、演算量は、画像のサイズに対して線形に増加するのみとなる。
【０００４】
ブロック変換も単位的（unitary）であり、ブロック変換は、周波数領域における二乗平均の寄与（mean square contribution）が時間領域における二乗平均の寄与に等しいため、特に、画像の変換符号化（transform encoding）に適している。エンコーダにおいては、これは、周波数領域において、係数の値が大きくなると、時間領域の再構築において、その係数の寄与が大きくなることを意味する。同様に、周波数領域における誤り（エラー）の大きさは、時間領域における誤りの大きさに対応する。
【０００５】
従来の変換符号化は、誤りに対してロバスト（robust）ではないという問題がある。この誤りに対する脆弱性は、例えば、一般的な符号化に用いられる可変長圧縮法や、周波数領域における成分間の相関性の欠如等に起因する。可変長符号化のために同期がとれない問題は、再同期点を設けるか、又は疑似固定長符号化を用いることにより解消できる。しかしながら、周波数領域における相関性の欠如は、より根元的な問題であり、従来の符号化法では、適切に解決することができなかった。
【０００６】
エドワード・チャン（Edward Chang）及びケン・クワン・リン（Keng-Kuan Lin）著、「無線ネットワークにおける画像伝送のためのエラー隠蔽及び再構築スキーム（Error Concealment and Reconstruction Schemes for Image Transmission on a Wireless Network）」、スタンフォード大学（Stanford University）、１９９７年３月、及びシェイラ・エス・ヘマミ（Sheila S. Hemami）著、「ロバスト画像伝送のための再構築最適化ラップ直交変換（Reconstruction-Optimized Lapped Orthogonal Transforms for Robust Image Transmission）」、コーネル大学（Cornell University）、１９９６年４月では周波数領域における相関性の欠如に関する問題が研究されている。これらの研究では、周囲のブロックからの対応する成分の重み付け平均を用いて、失われた周波数成分を推定することにより、上述の問題を解決しようとしている。
【０００７】
しかしながら、このような処理は、ブロックサイズが大きくなるにつれて、相関性が薄れていくため、基本的に制約されている。例えば、ＤＣ成分が失われた場合、周囲のＤＣ係数を平均化して失われたＤＣ成分を推定することは、周囲の画素を平均化して、小さな画像から失われた画素を推定することと同様である。ＤＣ成分から形成される画像は、元の画像に比べて小さいため、空間的相関性は低い。したがって、上述の平均化法は、効果的な手法ではない。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ロバスト時間領域ブロック復号を行う復号方法を提供する。
【課題を解決するための手段】
【０００９】
本発明に係る復号方法は、変換領域係数及び対応するエラーフラグが供給されるステップと、誤りを含む各係数の初期値を推定するステップと、誤りを含む各係数の初期値を用いてブロックの画素値を復号するステップと、誤りを含む係数の値を更新するステップと、係数の更新された値を用いて、ブロックの画素値を更新するステップとを有する。
【発明を実施するための最良の形態】
【００１０】
ロバスト時間領域ブロック復号を行う復号方法を開示する。一具体例として示す復号方法では、変換領域係数及び対応するエラーフラグが供給され、誤りを含む各係数の初期値を推定し、誤りを含む各係数の初期値を用いてブロックの画素値を復号し、誤りを含む係数の値を更新し、係数の更新された値を用いて、ブロックの画素値を更新する。
【００１１】
周波数領域における相関性の欠如の問題を解決するために、ロバスト時間領域ブロック復号（robust time domain block decoding）では、時間領域における損失を再公式化（reformulate）し、可能な最も高い解像度（highest possible resolution？）の相関を用いて、失われた各係数を回復する。最も高い解像度のデータは、ブロックサイズにかかわらず用いられるため、ブロックサイズが大きくなっても、性能は低下しない。
【００１２】
ロバスト時間領域ブロック復号は、時間領域においてブロックデータを復号し、誤りの影響を低減するロバストな方法を提供する。ロバスト時間領域ブロック復号における変換は、従来の方法と異なり、最小二乗問題を解決することにより推定することができるスカラー係数によってパラメータ表示された時間領域公式（time domain formulation）に基づいている。ロバスト時間領域ブロック復号を実行する処理に含むことができるブロック変換の具体例としては、例えば、離散コサイン変換（discrete cosine transform：以下、ＤＣＴという。）及びハールウェーブレット変換（Haar Wavelet Transform）等がある。
【００１３】
以下、ロバスト時間領域ブロック復号を記述するために用いられる数式について説明する。説明を円滑に行うために、ここでは以下のような表記法を用いる。［Ａ］等の括弧付きの英字は行列又はベクトルを表し、通常の英字は、成分を表す。例えば、［Ａ］∈ＲＮ×Ｎでは、［Ａ］は、ｉ，ｊ∈｛０，１，・・・，Ｎ−１｝として、実際の成分Ａｉ，ｊを含むＮ×Ｎの行列を表す。また、例えば［Ａ］Ｔ等における上付文字Ｔは、転置を表す。行列［Ａ］の逆行列は、［Ａ］−１と表し、［Ａ］の逆転置行列は、［Ａ］−Ｔと表す。
【００１４】
時間領域の公式
［Ｘ］∈ＲＮ×Ｎを画素の行列とし、［Ｈ］∈ＲＮ×Ｎを正則変換行列（non-singular transformation matrix）とし、［Ｙ］∈ＲＮ×Ｎを以下に示すような変換により得られる行列とする。
【００１５】
【数１】
2004524725.tif 000003
【００１６】
Ｎ２個のインジケータ行列（indicator matrices）［Ｃ］（ｋ）∈ＲＮ×Ｎは、以下のように定義される。
【００１７】
【数２】
2004524725.tif 000004
【００１８】
Ｎ２個の成分を有するベクトルｙは、以下のように、行列［Ｙ］の１次元再配列（one-dimensional rearrangement）として定義される。
【００１９】
【数３】
2004524725.tif 000005
【００２０】
行列［Ｙ］はベクトルｙ及びインジケータ行列を用いて、以下のように表現することもできる。
【００２１】
【数４】
2004524725.tif 000006
【００２２】
式（１）を変形し、式（４）を代入することにより、画像部分［Ｘ］は、以下のようにして、変換された画素［Ｙ］から回復することができる。
【００２３】
【数５】
2004524725.tif 000007
【００２４】
【数６】
2004524725.tif 000008
【００２５】
【数７】
2004524725.tif 000009
【００２６】
【数８】
2004524725.tif 000010
【００２７】
［Ｐ］（ｋ）∈ＲＮ×Ｎは、ｋ＝ｉＮ＋ｊ、ｉ，ｊ＝０，・・・，Ｎ−１として、行列［Ｈ］−１の列ｉ及びｊの外積から得られる階数１の行列である。［Ｈ］が単位行列（unitary）である重要で特別な場合には、以下の式が成り立つ。
【００２８】
【数９】
2004524725.tif 000011
【００２９】
式（８）は、ロバスト再構築（robust reconstruction）の基本となる式である。ここで、通信チャンネルにおいて、ｙｋ画素のうちの幾つかが欠落したとする。復号された領域における近傍関係（neighboring relation）を用いて、失われたｙｋを推定することができる。
【００３０】
最小二乗回復
Ｉ＝｛ｋ０，ｋ１，・・・，ｋＭ−１｝を［Ｙ］におけるＭ個の未知数のインデクスを含む集合とする。ここで、［Ｘ］を既知の部分と未知の部分に分ける。
【００３１】
【数１０】
2004524725.tif 000012
【００３２】
【数１１】
2004524725.tif 000013
【００３３】
ここで［Ｘ＾］及び［Ｐ］（ｋ）が既知であっても、［Ｘ］は未知であり、ｙｋを直接解くことはできない。そこで、局所的な相関（local correlation）に基づいて、［Ｘ］の予想される値であるＥ（［Ｘ］）を求め、これを［Ｘ］の代わりに用いる。
【００３４】
演算に用いられた予想された値は、完全ではないため、式（１１）は、解を持たないこともある。この場合、これに変えて、以下に説明する最小二乗問題を解く。
【００３５】
最小二乗問題
部分的復号結果を［Ｘ＾］∈ＲＮ×Ｎとし、予測された復号結果をＥ（［Ｘ］）∈ＲＮ×Ｎとし、所定の行列の組を［Ｐ］（ｋ）として、式（１２）で表される値を最小にするｙｋ，∀ｋ∈Ｉを求める。
【００３６】
【数１２】
2004524725.tif 000014
【００３７】
ここで、下付き文字Ｆは、フローベニウスノルム（Frobenius norm）を示している。
【００３８】
式（１２）は、項をベクトル形式に変形（rearranging）することにより、簡潔にすることができる。ここで、フローベニウスノルムは、通常のベクトル−２ノルム（usual vector-2 norm）に対応する。α＝［ｙｋ０，ｙｋ１，・・・，ｙｋＭ−１］∈ＲＭを［Ｙ］の未知の値の列ベクトルとし、ｘ及びｘ＾をそれぞれ［Ｘ］及び［Ｘ＾］のベクトルバージョンとする。これにより、ベクトルは、既知のベクトルｘ＾と、以下に示す行列−ベクトル積とによって表すことができる。
【００３９】
【数６】
2004524725.tif 000015
【００４０】
ここで、［Ｆ］の列ｊ∈｛０，・・・，Ｍ−１｝は、ベクトル形式に再配列された［Ｐ］（ｋ）の要素を含む。これにより、最小化問題は、未知のベクトルαを用いて表すことができる。すなわち、以下に示す関数ｆ（α）を最小化する。
【００４１】
【数１４】
2004524725.tif 000016
【００４２】
【数１５】
2004524725.tif 000017
【００４３】
【数１６】
2004524725.tif 000018
【００４４】
【数１７】
2004524725.tif 000019
【００４５】
条件がない最小化問題（unconstrained minimum）では、傾斜が０になる。
【００４６】
【数１８】
2004524725.tif 000020
【００４７】
したがって、以下の式を満たすαが求められる。
【００４８】
【数１９】
2004524725.tif 000021
【００４９】
式（１９）は、Ｏ（Ｍ３）の浮動小数点演算を必要とする。
【００５０】
Ｅ（［Ｘ］）の算出
式（１２）を解くためには、Ｅ（［Ｘ］）の第１の予測値を求める必要がある。演算の複雑さを現実的な範囲に抑えるために、Ｅ（［Ｘ］）は、周囲の画素に基づく［Ｘ］の条件がない推定値（unconstrained estimate）にするとよい。この条件がない推定値は、式（１２）に代入され、失われたｙｋ係数値が推定され、これにより、再構築された［Ｘ］は、式（１１）として公式化されるように、［Ｘ］の既知及び未知の項の和として条件付けされる。
【００５１】
この方法では、データブロック全体を用いて、ｙｋの各値を推定するために、デコーダのロバスト性が実現される。ここで、Ｅ（［Ｘ］）の予測値は、実際のｙｋとして期待される予測値に十分近い必要がある。Ｅ（［Ｘ］）を決定する単純且つ効果的な方法としては、画像のサブサンプルをブロックにマッピングして各画像ブロックを形成し、隣接する画素の平均値を失われた画素の推定値として使用する方法がある。この方法の効果は、エンコーダが図１に示すようなサブサンプルブロック構造を使用することにより、向上する。図１に示す変換ブロックは、水平及び垂直の両方向において１つおきの（every other）画素のサンプルを含んでいる。図２に示すように、Ｅ（［Ｘ］）の各画素は、他のブロックから得られた隣接する画素の平均値として算出してもよい。例えば、画素ｘ１は、他のブロックからの隣接する画素ｚ１、ｚ２、ｚ３、ｚ４を用いて推定してもよい。
【００５２】
回復法
失われたデータを回復する方法の手順を図３に示す。ステップ３０５において、符号化画像データのブロックがデコーダで受信される。画像データは、変換領域において符号化されており、変換領域係数により表現されている。変換領域係数のうちの幾つかは、伝送中に欠落又は破損している。したがって、ステップ３１０において、画像を復号する際、欠落又は破損している変換領域係数に基づく画素値が欠落又は誤った値となる。ステップ３１５において、欠落又は破損している各係数を特定する。ステップ３２０において、破損又は欠落している画素の初期推定値を求める。一具体例においては、推定された画素値（estimated pixel value）は、上述のように、欠落又は破損した画素に隣接する画素の平均値である期待される推定値（expected value estimate）とする。この期待される推定値は、欠落又は破損した各変換領域係数に対応する初期値を求めるために使用される。ステップ３２５において、変換領域係数の初期値を用いて、符号化画像データのブロックを復号する。
【００５３】
ステップ３３０において、欠落又は破損した各係数の更新値を求める。更新値は、最小二乗問題を解く（minimizing a least squares problem）ことにより算出してもよい。例えば、例えば、以下に示す式（１９）を満足させるαの推定値を求めてもよい。
【００５４】
【数２０】
2004524725.tif 000022
【００５５】
ステップ３３５においては、このαの推定値を用いて、破損した画素値の推定値を更新する。画素値は、上述のように、例えば以下に示す式（１３）を用いて更新することができる。
【００５６】
【数２１】
2004524725.tif 000023
【００５７】
したがって、欠落又は破損した係数ｙｋの更新された推定値は、以下に示す式（１１）を用いて求めることができる。
【００５８】
【数２２】
2004524725.tif 000024
【００５９】
ここで、欠落又は破損した画素に隣接する１つ以上の画素も欠落又は破損していることがある。所定の欠落又は破損した画素に隣接する画素が更に欠落又は破損している場合、所定の欠落又は破損した画素に対する初期の推定値の精度が低下する。したがって、図３に示す処理を、画像全体に亘って繰り返すことにより、推定値の精度を更に高めることができる。
【００６０】
Ｅ（［Ｘ］）の精度の向上
［Ｘ］に隣接する画素に誤りがない場合、Ｅ（［Ｘ］）は、容易に求めることができる。しかしながら、隣接する画素が誤りを含んでいる場合もある。この場合、画像全体に亘って、図３に示す処理を１回繰り返すことにより、これらの破損した隣接する画素をより正しくすることができる。これらの画素をより正しくすることにより、対応するＥ（［Ｘ］）の結果を向上させることができる。これに基づいて式（１２）を解くことにより、より正しいｙｋを算出することができる。すなわち、隣接するブロックが誤りを含んでいる場合、画像全体に対する処理を繰り返すことにより、画像を向上させることができる。
【００６１】
他の回復法
先に示した式に基づく、ロバスト復号アルゴリズムの他の具体例を図４に示す。図４に示す処理は、所定回数繰り返し実行される。ステップ４０５において、デコーダは、符号化画像データを受信する。ステップ４１０において、画像の各ブロックの欠落又は破損した係数を期待される初期値（expected value）に設定する。ステップ４１５において、係数の初期値を用いて、画像データを復号する。ステップ４２０において、各ブロックについて、欠落又は破損した係数の更新値を求める。
【００６２】
ステップ４２５において、更新値を用いて、復号された画像の画素値を更新する。ステップ４３０において、画像の各ブロックの更新値を決定するためには、遅延が生じることがある。ステップ４０５〜ステップ４３０は、所定回数繰り返してもよく、これにより、復号された画像を更に向上させることができる。
【００６３】
図４に示す処理は、所定回数繰り返され、これは、例えば図５に示すような、単純なハードウェアとして構成された、カスケード構造を用いたデコーダによって実現される。このデコーダにおける処理には、遅延が生じてもよく、この遅延により、デコーダは、Ｅ（［Ｘ］）を再計算する前に、近傍のブロックを更新することができる。なお、所定回数の繰返し処理は、必ず遂行しなくてはならないわけではない。繰返し処理を途中で中断しても問題は生じない。隣接するブロックに誤りがない場合、繰返し処理は効果を有さない。
【００６４】
図５に示すように、論理回路５１０には、入力画像データが供給され、論理回路５１０は、変換ブロックを走査順に再構築する。再構築された画像は、論理回路５２０に供給され、論理回路５２０は、各Ｎ×Ｎブロックを復号する。論理回路５３０は、このＮ×Ｎブロック内に含まれている全ての誤りを検出する。ブロックは、論理回路５４０に供給され、論理回路５４０は、変換ブロックの更新値を決定する。遅延論理回路５４０は、Ｎ×Ｎブロックの更新値の精度を更に高める前に、近傍のブロックを復号する時間を確保する。そして、論理回路５５０は、近傍のブロックからのデータを用いて変換ブロックの値を更新し、解像度を高める。遅延論理回路５６０は、近傍のブロックを復号する時間を確保し、論理回路５７０は、Ｎ×Ｎブロックの値を再び更新した後、画像データを出力する。
【００６５】
ハードウェア概観
信号の符号化、伝送、及び復号を行うシステムの構成を図６に示す。データストリームである信号６００は、エンコーダ６１０に供給される。エンコーダ６１０は、例えば適応型ダイナミックレンジ符号化（Adaptive Dynamic Range Coding：以下、ＡＤＲＣという。）圧縮アルゴリズム等の圧縮アルゴリズムを用いる。ＡＤＲＣ符号化及びバッファリングの詳細については、本願と同一の出願人による米国特許番号４７２２００３号「高効率符号化装置（High Efficiency Coding Apparatus）」及び米国特許番号４８５５６０号「高効率符号化装置（High Efficiency Coding Apparatus）」に開示されている。エンコーダ６１０は、パケット１・・・Ｎを生成し、伝送媒体６３５を介して、このパケット１・・・Ｎを送信する。デコーダ６２０は、伝送媒体６３５からパケット１・・・Ｎを受信し、信号６３０を生成する。信号６３０は信号６００を再生した信号である。
【００６６】
エンコーダ６１０及びデコーダ６２０は、ここに説明する符号化及び復号の機能を実行するために様々な形態で実現することができる。一具体例においては、エンコーダ６１０及び／又はデコーダ６２０は、媒体に格納され、中央演算処理装置（central processing unit：以下、ＣＰＵという。）、メモリ、及び１つ以上の入出力装置、及びコプロセッサを備える汎用又は専用のコンピュータシステムで実行されるソフトウェアとして実現できる。これに代えて、エンコーダ６１０及び／又はデコーダ６２０は、ここに説明する機能を実行するための論理回路として実現することもできる。更に、エンコーダ６１０及び／又はデコーダ６２０は、ハードウェアとソフトウェアの組合せ、すなわちファームウェアとして実現することもできる。更に、図５に構成を示すデコーダを図６に示すデコーダ６１０として用いてもよい。
【００６７】
一具体例において、信号６００は、各フレームがインタレースビデオ方式の画像を表す情報を含む一連のビデオフレームから構成されるカラービデオ画像を表す信号である。各フレームは、２つのフィールドからなり、一方のフィールドは画像の偶数線のデータを含み、他方のフィールドは画像の奇数線のデータを含む。データは、画像内の対応する位置の色成分を記述した画素値を含んでいる。例えば、この具体例では、色成分は、輝度信号Ｙ及び色差信号Ｕ及びＶから構成されている。なお、本発明に基づく処理は、インタレースビデオ信号以外の信号にも適用できることは明らかである。更に、本発明は、ＹＵＶ色空間に限定されるのみではなく、他の色空間により表された画像に適用できることも明らかである。
【００６８】
図６に示す具体例では、エンコーダ６１０は、Ｙ，Ｕ，Ｖ信号を分離し、圧縮アルゴリズムに基づいて、各信号グループを個別に処理する。以下では、説明を簡潔にするために、Ｙ信号の処理について記述するが、ここで説明する符号化処理は、Ｕ信号及びＶ信号に対しても同様に適用することができる。
【００６９】
一具体例において、エンコーダ６１０は、信号６００における連続する２つのフレーム（以下、フレームペアと呼ぶ。）に亘るＹ信号を３つの３次元（３Ｄ）ブロックにグループ化する。一具体例においては、３Ｄブロックは、所定のフレームペアに亘る局所的な同じ領域からの２つの２Ｄブロックをグループ化して生成される。ここで、２つの２Ｄブロックは、フレーム又はフィールド内の局所的な画素をグループ化することにより生成される。なお、ここに説明する処理は、これとは異なるブロック構造にも適用することができる。信号のグループ化については、後述する画像−ブロックマッピングの章で更に詳細に説明する。
【００７０】
一具体例において、１つのフレームは、通常５２８０個の２Ｄブロックを含み、各２Ｄブロックは、６４画素からなる。第１のフレームに基づく２Ｄブロックとそれに続くフレームの２Ｄブロックが結合されて３Ｄブロックが形成されるため、フレームペアは５２８０個の３Ｄブロックから構成される。
画像−ブロックマッピング
【００７１】
Ｅ（［Ｘ］）を推定するために使用される、図１に示すサブサンプルブロック構造は、例えば図７及び図８に示すように、画像のサブサンプルをブロック構造にマッピングすることにより構成できる。画像−ブロックマッピングは、フレーム又はフレームセットのデータをそれぞれ２Ｄブロック又は３Ｄブロックに分割する目的で行われる。更に、画像−ブロックマッピングは、相補的パターン及び／又は連結的（interlocking）パターンを用いてフレーム内の画素を分割し、これにより伝送時のデータ欠落に対するロバスト誤り回復が実現される。
【００７２】
図７は、例示的に示す画像の１６画素部分に対する画像−ブロック変換処理の具体例を示す図である。画像７００は、単一のフレームの局所的な領域を形成する１６個の画素からなる。画像７００内の各画素は、輝度により示される。この例では、画像７００の最上列左端の画素の輝度は１００であり、最下列右端の画素の輝度は１０である。
【００７３】
この具体例においては、画像７００内の異なる領域における画素を用いて、２Ｄブロック７１０、７２０、７３０、７４０を生成する。２Ｄブロック７１０、７２０、７３０、７４０は、符号化され、（後述するように）シャッフリングされ、伝送される。この伝送処理の後、２Ｄブロック７１０、７２０、７３０、７４０は再結合され、画像７５０が形成される。画像７５０は、画像７００を再構築したものである。
【００７４】
発生する可能性のある伝送欠落にかかわらず、画像７００を正確に再生するために、図７に示す具体例では、連結相補ブロック構造（interlocking complementary block structure）を用いる。これにより、例えば図７に示す画像７５０が再構築される。特に、２Ｄブロック７１０、７２０、７３０、７４０を生成するための画素を選択することにより、画像７５０を再構築する際に、相補的及び／又は連結パターンは、ブロックの再結合に用いられる。したがって、特定のブロック属性が伝送中に欠落しても、再構築された画像７５０において誤りは隣接しない。
【００７５】
図１及び図８は、他の相補的及び連結２Ｄブロックの構造例を示す図である。これら以外の構造を用いてもよい。図７と同様に、図８に示す２Ｄブロック構造を用いても、任意の２Ｄブロックに伝送欠落が生じても、周囲の２Ｄブロックの存在が保証される。なお、パターン８１０ａ、８１０ｂ、８１０ｄでは、画素を後続する２Ｄブロックにマッピングする際、水平シフト及び／又は垂直シフトを行う。水平シフトとは、新たな２Ｄブロック境界が始まる前に、タイル構造を水平方向に所定画素数分シフトすることを意味する。垂直シフトとは、新たな２Ｄブロック境界が始まる前に、タイル構造を垂直方向に所定画素数分シフトすることを意味する。用途に応じて、水平シフトのみを行ってもよく、垂直シフトのみを行ってもよく、水平シフト及び垂直シフトを組み合わせて行ってもよい。
【００７６】
パターン８１０ａは、画像−ブロック変換に用いる渦巻状パターンを示す。渦巻状パターンでは、画像−ブロック変換処理において後続する２Ｄブロックを生成する際に水平シフトを行う。パターン８１０ｂ及びパターン８１０ｄは、相補的パターンであり、画像−ブロックマッピング処理において、後続する２Ｄブロックを生成するために、水平シフト及び垂直シフトにより画素が選択される。更に、パターン８１０ｂ及びパターン８１０ｄは、２つの２Ｄブロック間の画素選択において交互にオフセットを設けた例である。パターン８１０ｃは、画像−ブロック変換処理のための２Ｄブロックを構成する画素を不規則にサンプリングした例を示す。すなわち、画素が２Ｄブロックに対して一度だけマッピングされるならば、画像−ブロックマッピングにはいかなるマッピング構造を用いてもよい。
【００７７】
図７及び図８は、２Ｄブロックを生成するための画像−ブロックマッピングを示すものである。この処理は、３Ｄブロックに対しても適用できることは明らかである。上述のように、３Ｄブロックの生成は、２Ｄブロックと同様の境界定義を用いるが、３Ｄブロックの生成では、境界分割は、３Ｄブロックを構成する後続するフレームに亘って拡張される。すなわち、３Ｄブロックは、第１のフレーム内の２Ｄブロックを定義するために用いる画素と、後続するフレーム内の２Ｄブロックの画素とを結合して生成される。一具体例においては、第１のフレームにおける２Ｄブロックの画素と、後続するフレームにおける２Ｄブロックの画素とは、同一の位置から抽出される。
【００７８】
以上の開示に基づき、本発明の他の実施の形態を想到することもでき、本発明の広範な思想及び範囲から逸脱することなく、上述の実施の形態を様々に修正及び変更できることは明らかである。すなわち、詳細な具体例及び図面は、本発明を限定的ではなく、例示的に示しているに過ぎず、本発明は、添付の請求の範囲によってのみ定義される。
【図面の簡単な説明】
【００７９】
【図１】画像データのブロックの具体例を示す図である。
【図２】他のブロックからの隣接する画素を示す図である。
【図３】失われたデータを回復する処理の具体例を示すフローチャートである。
【図４】失われたデータを回復する処理の具体例を示すフローチャートである。
【図５】図４に示す処理に基づいて失われたデータを回復する装置の構成を示すブロック図である。
【図６】失われたデータを回復する装置を含むシステムの構成を示すブロック図である。
【図７】画像−ブロックマッピングの具体例を示す図である。
【図８】画像−ブロックマッピングの他の具体例を示す図である。
【図１】
2004524725.tif 000025
【図２】
2004524725.tif 000026
【図３】
2004524725.tif 000027
【図４】
2004524725.tif 000028
【図５】
2004524725.tif 000029
【図６】
2004524725.tif 000030
【図７】
2004524725.tif 000031
【図８】
2004524725.tif 000032
【国際公開パンフレット】
2004524725.tif 000033
2004524725.tif 000034
2004524725.tif 000035
2004524725.tif 000036
2004524725.tif 000037
2004524725.tif 000038
2004524725.tif 000039
2004524725.tif 000040
2004524725.tif 000041
2004524725.tif 000042
2004524725.tif 000043
2004524725.tif 000044
2004524725.tif 000045
2004524725.tif 000046
2004524725.tif 000047
2004524725.tif 000048
2004524725.tif 000049
2004524725.tif 000050
2004524725.tif 000051
2004524725.tif 000052
2004524725.tif 000053
2004524725.tif 000054
2004524725.tif 000055
2004524725.tif 000056
2004524725.tif 000057
2004524725.tif 000058
2004524725.tif 000059
【国際公開パンフレット（コレクトバージョン）】
2004524725.tif 000060
2004524725.tif 000061
【国際調査報告】
2004524725.tif 000062