(57)【要約】【課題】方法は相関画像組を表現する。【解決手段】相関は空間的なものであっても時間的なものであってもよい。相関画像組の各画像にロッシー操作を適用して、粗画像を生成する。この粗画像はロスレス符号化されて、符号化された粗画像を生じる。各画像はまた、シンドロームビットによって表現される。符号化された粗画像とシンドロームビットの結合は、相関画像組を表現する。
2008511185.tif 000002
【特許請求の範囲】
【請求項１】
相関画像組を表現する方法であって、
前記相関組の各画像に対してロッシー操作を適用して、粗画像を生成すること、
前記粗画像をロスレス符号化して、符号化された粗画像を生じること、
前記相関組の各画像をシンドロームビットとして表現すること、
及び
前記符号された粗画像及び前記シンドロームビットを結合して、前記相関画像組を表現すること
を含む、相関画像組を表現する方法。
【請求項２】
前記相関は、時間的なものである
請求項１記載の方法。
【請求項３】
前記相関は、空間的なものである
請求項１記載の方法。
【請求項４】
前記ロッシー操作は、粗い量子化である
請求項１記載の方法。
【請求項５】
前記粗い量子化は、前記画像の画素値に適用される
請求項４記載の方法。
【請求項６】
前記粗い量子化は、前記画像の変換係数に適用される
請求項４記載の方法。
【請求項７】
前記画像にサブサンプリングを適用して、前記粗画像を生成することをさらに含む
請求項１記載の方法。
【請求項８】
前記画像にウェーブレット変換を適用して、前記粗画像を生成することをさらに含む
請求項１記載の方法。
【請求項９】
前記相関画像組は、映像である
請求項１記載の方法。
【請求項１０】
前記相関画像組は、ステレオ画像である
請求項１記載の方法。
【請求項１１】
前記粗画像は、前記画像の低周波成分のみに基づき、前記シンドロームビットは、前記画像の低周波成分及び高周波成分に基づく
請求項１記載の方法。
【請求項１２】
前記画像にローパス周波数応答を有する有限インパルス応答フィルタを適用して、前記粗画像を生成することをさらに含む
請求項１記載の方法。
【請求項１３】
前記入力画像に粗い量子化スケールを有するイントラフレームエンコーダを適用して、前記粗画像を生成することをさらに含む
請求項１記載の方法。
【請求項１４】
前記量子化スケールは、２０よりも高い
請求項１３記載の方法。
【請求項１５】
前記粗画像のピーク信号対雑音比は、３０ｄＢ未満である
請求項１記載の方法。
【請求項１６】
各画像を分類して、シンドロームエンコーダが前記シンドロームビットを生成するために動作する目標ビットレートを決めることをさらに含む
請求項１記載の方法。
【請求項１７】
前記画像は、複数のブロックを含み、
各ブロックを分類して、前記ブロックを前記表現においてスキップできるかどうかを判定することをさらに含む
請求項１記載の方法。
【請求項１８】
以前に復号化された粗画像及びシンドロームビットに対して動作するデコーダからフィードバックを受け取って、表現する現在の画像のシンドロームビットの数を決めることをさらに含む
請求項１記載の方法。
【請求項１９】
前記符号化された粗画像を復号化して、証拠を得ること、
及び
前記証拠に従って前記シンドロームビットを復号化して、前記相関画像組を再構成することをさらに含む
請求項１記載の方法。
【請求項２０】
前記画像は、時間的に相関し、
以前に復号化された画像を選択すること、
及び
現在の符号化された粗画像と、選択された前記以前に復号化された画像との間の動きを推定して、前記証拠を改善することをさらに含む
請求項１９記載の方法。
【請求項２１】
前記選択すること及び前記推定することは、ブロック毎に行われる
請求項２０記載の方法。
【請求項２２】
前記選択すること及び前記推定することは、画素毎に行われる
請求項２０記載の方法。
【請求項２３】
前記以前に復号化された画像は、再構成画像を含む
請求項２０記載の方法。
【請求項２４】
前記推定することは、動きベクトルを生成する
請求項２０記載の方法。
【請求項２５】
前記動きベクトルは、調整される
請求項２４記載の方法。
【請求項２６】
前記現在の符号化された画像と、選択された前記以前に復号化された画像との間の絶対差の和を求めることをさらに含む
請求項２０記載の方法。
【請求項２７】
前記選択することは、選択される前記以前に復号化された画像を探索することを含む
請求項２０記載の方法。
【請求項２８】
前記証拠は、画像処理技法によって改善される
請求項２０記載の方法。
【請求項２９】
前記証拠は、前記以前に復号化された画像における復号化された強度値が与えられた状態での、復号化すべき前記現在の画像における可能な画素強度値の確率分布に基づく
請求項２０記載の方法。
【請求項３０】
前記確率分布は、各画素の平均及び分散を含むガウス分布である
請求項２９記載の方法。
【請求項３１】
前記画像は、空間的に相関し、
現在の符号化された粗画像と、選択された前記以前に復号化された画像との間の視差を推定して、前記証拠を改善することをさらに含む
請求項１９記載の方法。
【請求項３２】
前記シンドロームビットは、縦列連接累積符号を用いて生成される
請求項１記載の方法。
【請求項３３】
前記シンドロームビットは、ビットプレーン復号化される
請求項１９記載の方法。
【請求項３４】
前記以前に復号化された画像は、復号化された粗画像を含む
請求項２０記載の方法。
【請求項３５】
前記以前に復号化された画像は、復号化された粗画像及び再構成された画像を含む
請求項２０記載の方法。
【請求項３６】
相関画像組を表現するシステムであって、
前記相関組の各画像に対してロッシー操作を適用して、粗画像を生成する手段と、
前記粗画像をロスレス符号化して符号化された粗画像を生じるとともに、前記相関組の各画像をシンドロームビットとして表現するように構成されるエンコーダと、
前記符号化された粗画像及び前記シンドロームビットを結合して前記相関画像組を表現するように構成される結合器と
を備える、相関画像組を表現するシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には画像の符号化に関し、特に、シンドロームビットを用いた相関画像の符号化及び復号化に関する。
【背景技術】
【０００２】
ＭＰＥＧ及びＩＴＵの一連の映像符号化規格による方式のような従来の画像及び映像の符号化方式は、デコーダを備える複雑度の低い受信機（ＴＶ）の数が膨大であるのに対してエンコーダを備える複雑度の高い送信機の数はほんのわずかである放送映像及び記憶媒体の配信（配布）によく適している。
【０００３】
このような映像配信モデルでは、ビデオフレーム間の時間的な相関を利用するために、エンコーダにおいて、高い計算能力を必要とする動き推定技法が使用されている。送信前に時間的な冗長性を利用するこのプロセスは、優れた圧縮効率をもたらす。
【０００４】
図１は、動き推定１１０を用いる従来のエンコーダ１００を示す。入力ビデオ１０１が一度に１ブロックずつ処理される。動き推定器１１０が、符号化すべき現在のブロックに対して、フレームメモリ１１１に格納されている基準フレームの最も良く適合するブロックを判定する。この最も良く適合するブロックは、現在のブロックの予測としての役目を果たす。対応する動きベクトル１１２がエントロピー符号化１５０される。動き補償予測器１３０によって生成される、入力ビデオの現在のブロックと予測ブロック１２１の差分１２０が得られる。次にこの差分信号は、変換／量子化プロセス１４０を受けて、一組の量子化された変換係数１４１を生じる。これらの係数は、エントロピー符号化１５０されて、圧縮ビットストリーム１０９を生じる。量子化された変換係数１２１に対して逆変換／量子化１６０を行い、且つ、この結果を動き補償予測１２１に加算１７０することによって基準フレームを生成する。この基準フレームは、フレームメモリ１１１に格納され、入力ビデオ１０１の連続フレームの予測１３０に使用される。出力ビットストリーム１０９は、動き情報１１２及びテクスチャ情報１４１のエントロピー符号化１５０に基づいて生成される。
【０００５】
図２は従来のデコーダ２００を示す。入力ビットストリーム２０１が先ずエントロピーデコーダ２１０にかけられ、量子化された変換係数２１１及び対応する動きベクトル２１２の両方が生じる。動きベクトルは、動き補償予測器２２０によって使用されて、予測信号２２１を生じる。量子化された変換係数２２１は、逆変換／量子化２３０され、且つ、予測信号２２１に加算２４０されて、再構成ビデオ２０９を生じる。連続フレームの復号化に使用される、再構成ビデオのフレームは、フレームメモリ２５０に格納される。
【０００６】
上記の方式は、優れた圧縮効率を達成するが、ほぼ無限の資源を持つ映画スタジオ及び放送スタジオのような大規模な商業用途では問題とならない多大な処理コスト及び動力コストがかかる。しかし、バッテリー及び処理能力が限られており、且つ記憶容量及び帯域幅が限られている装置、例えば、携帯電話、ＰＤＡ、環境センサ、並びに処理資源、記憶資源及び電力資源が極度に限られた単純なデジタルカメラを用いて画像及び映像の取り込み及び符号化が行われる用途の数は増す一方である。通常、これらの装置は、単純なマイクロプロセッサ又はマイクロコントローラ及びバッテリーを用いる。
【０００７】
したがって、エンコーダにおいて良好な圧縮効率及び高品質の画像を提供することができる複雑度の低いエンコーダが必要とされている。映像用途における映像圧縮に関する必要性のこのパラダイムシフトは、Ｒ．プリ（Puri）及びＫ．ラムチャンドラン（Ramchandran）によって「PRISM: A New Robust Video Coding Architecture Based on Distributed Compression Principles」（Proc. 40th Allerton Conference on Communication, Control and Computing, October 2002）に記載されている。この著作物において、プリ及びラムチャンドランは映像符号化に対し、Ｓ．Ｓ．プラダン（Pradhan）及びＫ・ラムチャンドラン（「Distributed Source Coding Using Syndromes (DISCUS): Design and Construction」（IEEE Transactions on Information Theory, Vol 49, pp. 626-643, March 2003））によって以前に開発されたトレリス符号に基づくシンドロームエンコーダ及びシンドロームデコーダを適用する。
【０００８】
図３は、そのような従来技術の複雑度の低いＰＲＩＳＭエンコーダ３００を示す。入力ビデオ３０１が分類３１０される。分類器は、現在のフレーム中の各ブロックの時空間相関度を推定する。符号化すべきブロックと、前の符号化フレームの同位置にあるブロックとの間の二乗誤差の差に基づいて、クラスを判定する。例えば、「ＳＫＩＰ」クラスは、相関が非常に高く、現在のブロックを符号化する必要が全くないことを示し、「ＩＮＴＲＡ」クラスは、相関が非常に低く、現在のブロックが従来のイントラ（フレーム内）符号化方式を用いた場合に最も良く符号化されることを示す。これらの対極間の相関について、従来技術では、シンドロームベースの符号化方式を記載している。シンドロームベースの符号化の概念は１９７４年まで遡る。Ａ．Ｄ．ワイナー（Wyner）著「Results in the Shannon Theory」（IEEE Transactions on Information Theory, vol. 20, pp. 2-10, 1974）を参照のこと。
【０００９】
次のステップにおいて、離散コサイン変換（ＤＣＴ）のようなブロック変換３２０が適用されて、データを非相関化する。次に、変換係数がジグザグスキャン３３０を施されて、係数がエネルギーの大きい順に１Ｄベクトルに並べ替えられる。
【００１０】
低周波係数３３１に対応する係数の小部分、例えば全係数の約２０％が基本（base）量子化３４０を施される。量子化された係数は次に、シンドロームエンコーダ３７０に入力されてシンドロームビット３７１を生成する。この特定の方式では、シンドローム符号化に１／２レートのトレリス符号が用いられる。改善（refinement）量子化３６０が行われて、シンドローム符号化された係数の目標品質が達成される。この操作は単に、基本量子化間隔を徐々に細分して、目標とする量子化ステップサイズに等しいサイズの間隔にするに過ぎず、基本量子化間隔内の改善量子化間隔の指数３６１は最終的にデコーダに伝達される。
【００１１】
より高周波の係数３３２に対応する係数の大部分、例えば係数の残り８０％が、従来のイントラ符号化を施され、この符号化において、係数は、上述のような従来の量子化操作３５０及びエントロピー符号化操作３８０を施される。
【００１２】
上記に加えて、巡回冗長検査（ＣＲＣ）発生器３９０によって量子化コードワードシーケンスのＣＲＣが計算されてＣＲＣビット３９１が生成され、これもデコーダに送られる。ＣＲＣビット３９１はデコーダにおいて、いくつかの候補予測子の中で最良の予測子を判定するために用いられる。ＣＲＣビット３９１はブロック３６０、３７０、及び３８０からの出力と結合３９９されて、出力ビットストリーム３０９が生成される。
【００１３】
図４は対応するデコーダ４００を示す。入力ビットストリーム４０１をデインタリーブ４１０した後、デコーダは動き推定４０５を行う。この動き推定４０５は、フレームメモリ４０６から空間的にシフトされた画素から成る予測子４０７を出力する。異なる空間シフトを有する複数の予測子が生成される。シンドロームデコーダ４４０が、各予測子について受信したシンドロームビットに基づいて、量子化された係数のシーケンスを生成する。シンドローム符号化はトレリス符号に基づくため、ビタビ処理を用いて、候補予測子に最も近い係数のシーケンスを特定する。復号化された係数がＣＲＣ検査４４５によりＣＲＣに適合する場合、復号化は成功したと宣言される。エンコーダによって送られる、復号化された（シンドローム）係数及び改善量子化間隔の指数が与えられた状態で、逆基本量子化及び改善４２０が行われて、再構成された低周波係数の組を得ることができる。より高周波の係数は、エントロピー復号化４５０及び逆量子化操作４６０により復元される。両組の係数は次に、逆スキャン４３０及び逆ブロック変換４７０を施されて、再構成ビデオ４０９が得られる。再構成フレーム４０８もまた、連続フレームの復号化のためにフレームメモリ４０６に格納される。
【００１４】
上記の方式にはいくつかの欠点がある。第１に、変換係数の大部分、すなわち高周波係数は、従来の量子化技法３５０及びエントロピー符号化技法３８０を用いて符号化される。複雑なシーンは大量の高周波情報を含む。したがって、従来技術の方式は、かなりの量のオーバーヘッドがあり、効率の低下につながる。第２に、従来技術のシンドローム符号化は、比較的小さな８×８のブロックに基づき、全体的な圧縮率を低下させる。第３に、ＣＲＣは、係数を高い信頼性で反映するよう十分に「強力」でなければならない。これは、全ブロックのオーバーヘッドであるだけでなく、復号化が正確に行われる保証もない。
【００１５】
別の符号化方式が、アーロン（Aaron）等によって、「Towards practical Wyner-Ziv coding of video」（Proc. IEEE International Conference on Image Processing, September 2003）に記載されている。この方式は、画素領域又は変換領域において機能することができる。
【００１６】
図５の従来技術のエンコーダ５００に示すように、スイッチ５１０を用いて、入力ビデオ５０１が２種類のフレーム、すなわち、キーフレーム５１１とＷｙｎｅｒ−Ｚｉｖフレーム５１２とに分割される。キーフレームは規則的な間隔のフレームである。これらのフレームは、従来のイントラフレーム符号化５２０、例えばＤＣＴ、量子化及びエントロピー符号化を用いて符号化され、目標品質レベルで符号化される。Ｗｙｎｅｒ−Ｚｉｖフレーム５１２は、スカラー量子化５１３及びターボエンコーダ５３０にかけられる。ターボエンコーダ５３０はシンドローム符号化の一形態である。出力ビットストリーム５０９は、符号化されたキーフレーム及びＷｙｎｅｒ−Ｚｉｖフレームの両方に対応するビットを結合したもの５４０である。従来技術の方式では、シンドロームビットは、Ｗｙｎｅｒ−Ｚｉｖフレームについてのみ生成され、キーフレームについては生成されず、イントラ符号化は従来通りである、すなわち、低周波係数と高周波係数の両方が符号化されることに留意されたい。
【００１７】
図６は、対応する従来技術のデコーダ６００を示す。入力ビットストリーム６０１は、符号化されたキーフレーム及びＷｙｎｅｒ−Ｚｉｖフレームを含む。符号化されたキーフレームは、イントラフレームデコーダ６１０を用いて復号化されて、再構成されたキーフレーム６１１が得られ、その一方で、Ｗｙｎｅｒ−Ｚｉｖフレームは先ず、ターボデコーダ６２０にかけられて一組のシンドローム係数が得られ、次にこれらのシンドローム係数が再構成プロセス６３０を受けて、スイッチ６６０を用いて最終的な再構成ビデオ６０９が得られる。この再構成は、ターボデコーダによって出力される係数、及び補間６４０されたフレームデータに基づく。再構成されたＷｙｎｅｒ−Ｚｉｖフレーム及びキーフレームは、連続フレームの復号化のためにフレームメモリ６５０に格納される。
【００１８】
この方式の２つの主な欠点は、高品質なキーフレームを送る際に導入されるオーバーヘッド、及び過去のフレームの復号化に必要とされる将来のキーフレームを送ることにより生じる遅延である。従来の符号化方式に関して、キーフレームはＩフレームであり、Ｗｙｎｅｒ−ＺｉｖフレームはＢフレームに類似している。他の従来の符号化方式と同様に、Ｉフレーム間の距離は遅延量を示す。高い遅延が許容され得るものと仮定すると、キーフレームをさらに離して配置することにより、オーバーヘッドの量が減る。しかし、そうすることでまた補間品質が下がり、これにより実質的に、補間中の誤りから回復するためにより多くのシンドロームビットが必要となるため、全体的な符号化効率が下がる。
【発明の開示】
【発明が解決しようとする課題】
【００１９】
明らかに、従来技術の欠点を克服する、符号化複雑度が低く、すなわちイントラのみの符号化に似ていて、しかも符号化効率が高い、すなわち最良のインターフレーム（フレーム間）符号化方式の符号化効率により近い符号化方式があれば望ましい。
【課題を解決するための手段】
【００２０】
システム及び方法は相関画像組を表現する。相関は空間的なものであっても時間的なものであってもよい。ロッシー操作が前記相関組の各画像に適用されて、粗画像が生成される。粗画像はロスレス符号化されて、符号化された粗画像を生じる。各画像はまた、シンドロームビットによって表現される。符号化された粗画像とシンドロームビットの結合は、相関画像組を表現する。
【００２１】
通常の応用において、ロッシー操作は、画像の画素値又は変換係数のいずれかに適用される粗い量子化である。代替的に、この操作は、サブサンプリング又はウェーブレット変換であり得る。
【００２２】
符号化された粗画像は後に復号化されて、証拠を得ることができる。証拠及びシンドロームビットにより、相関画像組が十分に再構成される。
【発明を実施するための最良の形態】
【００２３】
本発明は、シンドロームビットを用いて一組の相関画像を表現するシステム及び方法を提供する。画像は、空間、時間又はその両方で相関され得る。一組の時間的に相関する画像の例は映像である。一組の空間的に相関する画像はステレオ画像を含み得る。時間的に相関する画像の場合、経時的な画像間の動きが重要となる。空間的に相関する画像の場合、空間における視差（disparity）が重要となる。本発明による表現はエンコーダによって生成することができる。この表現は、復号化されて、元の相関画像を復元することができる。
【００２４】
エンコーダにおいて、ロッシー操作が各画像に適用されて、画像組の相関する各入力画像について粗画像が生成される。ロッシー操作は、サブサンプリング、低周波フィルタリング、分解能の低下、強度値の低下等であり得る。例えば、粗い操作は、各入力画像の低周波成分のみを考慮する。粗く符号化された画像のこの表現は、いくつかの異なるやり方で生成することができる。例えば、この表現は、入力画素又は変換係数に対して粗い量子化スケールを適用することによって生成することができる。量子化プロセスは通常、画像信号の高周波成分を除去するか又は抑える。代替的に、画像データをサブサンプリングして、高周波データを事実上除去することもできる。空間分解能の低下は実質的に、ウェーブレットベースの分解に特有の低いサブバンドデータを計算することに等しい。しかし、ローパス周波数応答を有するいかなる既知の有限インパルス応答（ＦＩＲ）フィルタも用いられ得る。本発明は入力画像の高周波成分を符号化しない。粗画像が得られたら、この粗画像を、例えば可変長符号化（ＶＬＣ）を用いてロスレス符号化することができる。シンドロームビットもまた、画像組の相関する各入力画像について生成される。
【００２５】
したがって、本発明による表現において、相関画像組の各画像は、符号化された粗画像及びシンドロームビットによって表現される。この時点で、符号化された画像を後の処理のために格納することが可能であるか、又は符号化された画像を送信することができる。
【００２６】
デコーダが、符号化された粗画像間の動き推定を行って、シンドロームデコーダに証拠を提供し、シンドロームビットを用いて一組の再構成画像を生じる。
【００２７】
エンコーダ
図７は、本発明によるエンコーダ７００を示す。このエンコーダは、相関画像組、例えば映像の各入力画像７０１にロッシー操作を適用して、粗画像７１１を生成する。例えば、イントラフレームエンコーダ７１０が、粗い量子化Ｑ７１２を用いて、ビットレートを最小値又は所定の目標レートに保つ。この粗い量子化は、レートを一定に保つために画像毎に変化しても、又は歪みを一定に保つために各画像について一定に保たれてもよい。粗い符号化画像を生成することのできる他のやり方は、先ず画像の空間分解能を下げること、次に空間的に低減した画像データを量子化することを含む。ＪＰＥＧ、ＭＰＥＧ又はＨ．２６ｘシリーズのコーデックといった、イントラ符号化機能を有する標準的なコーダをこの目的で用いることができる。
【００２８】
「粗」画像は、符号化が各画像の低周波成分のみを考慮し、高周波成分は実質的に無視されることを意味し得る。例えば、１〜３１の範囲の量子化スケールを有するエンコーダを考える。サブサンプリングなしの場合、粗い量子化スケール７１２はこの範囲の上から３分の１（２０〜３１）である。サブサンプリングを適用する場合、画像の高周波成分の多くは、このプロセスにおいて同様に失われる。その結果、粗い符号化は、量子化スケールによって決まるだけでなく、分解能の低下した（粗）画像を達成するために適用されたフィルタの周波数応答（ローパス特性）によっても決まる。高周波成分は、このフィルタリングプロセスによって抑えられるため、量子化スケールは、粗い量子化スケールに通常伴う範囲外であってもよい。ピーク信号対雑音比（ＰＳＮＲ）について言えば、粗画像７１１のＰＳＮＲは通常、ピクチャ符号化の複雑度に応じて２２〜２９ｄＢの範囲となるのに対し、従来の符号化は、消費者向け映像、例えば放送デジタルテレビの通常範囲である約３２〜３４ｄＢの平均画質を生じる。低分解能の画像を生成する他のやり方も既知であることに留意すべきである。次に粗画像を、任意の既知の技法を用いてロスレス符号化する。
【００２９】
各入力画像はまた分類７２０される。分類器は以下の機能を有する。第１に、分類器は、シンドロームエンコーダ７３０がシンドロームビット７３１を生成するために動作する目標ビットレートを決める。第２に、分類器７２０は、入力画像内の特定のブロックの符号化をスキップできるかどうか、すなわち、現在のブロックが前の入力画像の同位置にあるブロックに実質的に類似しているかを判定７２１する。ブロックが実質的に異なる場合にのみ、そのブロックを符号化する。符号化された粗画像７１１及びシンドロームビット７３１を結合７４０して、本発明による相関画像組の表現の出力ビットストリーム７０９を形成する。
【００３０】
デコーダからエンコーダへのフィードバックチャネルがある場合、デコーダは、シンドロームビット７３１の数を決めるための情報を提供することができる。この場合、エンコーダは、少数のシンドロームビットを送信し、その後、復号化が成功したかどうか、又はより多くのシンドロームビットを送信する必要があるどうかをフィードバック情報から確かめることができる。この戦略が有効であるためには、シンドロームエンコーダ及びシンドロームデコーダがインクリメンタルに動作する、すなわち、より多くのシンドロームビットが送信されるとき、以前に送信されたシンドロームビットの情報が無駄にならないことが重要である。本発明によるシンドロームエンコーダ及びシンドロームデコーダはこのインクリメンタル特性を有する。
【００３１】
本発明によるデコーダ８００について図８に示すように、イントラフレームデコーダ８１０は、入力ビットストリーム８０１中の符号化された各粗画像８０３について復号化された粗画像８１１を再構成する。品質の粗い画像は、シンドロームデコーダ１０００に対して証拠８１９としての役目を果たす。また、復号化された粗画像８１１は、動き補償証拠増強器（enhancer）９００において、後に復号化される他の粗画像に対して動き推定を行うための基礎としての役目を果たす。なお、相関が空間的なものである場合、動き推定の代わりに視差推定を行う。すなわち、時間における変位の代わりに、空間における画像の相対的な変位を計算する。隣接画像がどれほど互いにずれているかを判定するいくつかの既知の技法が存在する。
【００３２】
したがって、粗画像８１１は画像メモリ８３０に格納される。次に、動き補償（ＭＣ）証拠増強器９００によって証拠８１９が改善される。初期の証拠を改善された証拠に交換する。証拠もまた画像メモリ８３０に格納することができる。シンドロームデコーダ１０００は、証拠及び受信したシンドロームビット８０２に基づいて、再構成された相関画像組８０９を生成する。
【００３３】
シンドロームエンコーダ
シンドロームエンコーダ７３０はシンドロームビット７３１を生成する。本発明は、いわゆる「反復累積（repeat-accumulate）符号」すなわち「積累積（product-accumulate）符号」から導出される符号、及び本明細書において「拡張ハミング累積符号」と呼ぶ符号を用いる。本明細書では、これらを全体として縦列連接（serially concatenated）累積符号（ＳＣＡ）と呼ぶ。これらの種類の符号に関するさらなる情報については、Ｊ．リー（Li）、Ｋ．Ｒ．ナラヤナン（Narayanan）、及びＣ．Ｎ．ゲオルギアデス（Georghiades）著「Product Accumulate Codes: A Class of Codes With Near-Capacity Performance and Low Decoding Complexity」（IEEE Transactions on Information Theory, Vol. 50, pp. 31-46, January 2004）、Ｍ．井坂（Isaka）及びＭ．フォッソーリエ（Fossorier）著「High Rate Serially Concatenated Coding with Extended Hamming Codes」（IEEE Communications Letters, 2004に投稿）、並びにＤ．ディブサラ（Divsalar）及びＳ．ドリナー（Dolinar）著「Concatenation of Hamming Codes and Accumulator Codes with High Order Modulation for High Speed Decoding」（IPN Progress Report 42-156, Jet Propulsion Laboratory, Feb. 15, 2004）を参照のこと。
【００３４】
本明細書中に参照により援用される、イエディディア（Yedidia）他により同一日に出願された特許出願は、ＳＣＡ符号に基づくシンドロームエンコーダの動作を記載する。このようなエンコーダはいくつかの特徴を有する。このシンドロームエンコーダは、画素の強度値のような整数値の入力に対して動作する。シンドロームエンコーダは、非常に高い圧縮率で動作することができる。シンドロームエンコーダは可変レートであり、インクリメンタルに動作することができ、必要に応じてより多くのシンドロームビットを、以前に送信したシンドロームビットの情報を無駄にすることなく送信する。
【００３５】
シンドロームエンコーダは、非常に単純な動作、すなわち、シンドロームビットの生成を行いさえすればよいので、複雑度が非常に低いことに留意することが重要である。
【００３６】
シンドロームデコーダ
図１０に示すように、シンドロームデコーダ１０００は、符号化されたシンドロームビット８０２、及び以前に復号化された画像からの証拠８１９を入力として受け取る。証拠は、以前に復号化された画像における復号化された強度値が与えられた状態での、復号化すべき現在の画像における可能な画素強度値の確率分布に基づく。証拠は、各画素の完全な確率分布としてシンドロームデコーダに提供されるか、又は分布の十分な統計値によって表現される。ガウス分布の場合、各画素の平均及び分散が十分に分布を記述する。
【００３７】
シンドロームデコーダは、符号化された各粗画像を、多段ビットプレーンデコーダ１０１０を用いて復号化する。各ビットプレーンを復号化した後、復号化したビットプレーンにおける結果について調整した証拠８１９を用いて次のビットプレーンにおけるビットの先験確率を求める。ビットプレーンデコーダ１０１０はＳＣＡ符号の軟入力デコーダである。関連特許出願により詳細に記載されているように、シンドロームデコーダ１０００は、情報理論的限界の近くで、許容可能な複雑度で動作することができる。
【００３８】
ＭＣベースの証拠増強器
図９に示すように、ＭＣベースの証拠増強器９００は、シンドロームデコーダ１０００によって使用される証拠８１９の品質を改善する。証拠が改善するにつれて、出力画像８０９の再構成に必要なシンドロームビットの数は少なくなる。増強器９００はまた、シンドロームデコーダ１０００に、改善された証拠において各画素強度値９２１の信頼度、例えば分散９２２を提供する。これにより、再構成プロセスにおいて上述のような軟復号化（soft decoding）を適用することを可能にする。これは通常、より高い圧縮率を可能にする。
【００３９】
ＭＣベースの証拠増強器９００の動作は以下の通りである。動き推定９１０は先ず、各ブロック又は画素について、現在の符号化された粗画像９０１と、画像メモリ８２０からデコーダに利用可能な何らかの選択された以前に処理された画像との間の対応関係を求める。本明細書ではこの選択された画像をアンカー画像と呼ぶ。以前に復号化された画像の組は、復号化された粗画像９３１と完全に再構成された画像９３２の両方を含み得る。最良のアンカー画像の探索は、ブロック又は画素に対して行われ得る。
【００４０】
結果として得られた動きベクトル９１１が割り当てモジュール９２０に提供される。割り当てモジュール９２０は、現在の画像中の各画素について画素強度値９２１及び対応する分散９２２を求め、これらが、次の画像を復号化するための証拠８１９となる。
【００４１】
これまでの従来技術の符号化方式は常に、エンコーダにおいて動きベクトルを推定した後、この動きベクトルを送信する。対照的に、本発明では、デコーダにおいて動きベクトルを推定する。したがって、比較的細かいスケールで動きを推定することによって生じるレートオーバヘッドがない。現在の画像の品質に応じて、最も良い対応関係は、復号化された粗画像９３１又は完全に再構成された画像９３２のいずれかにおいて見出すことができるか、又はこれらの画像を互いに関連して使用することができることを注記しておく。
【００４２】
なおまた、アンカー画像の選択は、現在の画像内の各ブロックについてブロック毎に行うことができる。動き推定９１０に適用することができる多くの探索基準がある。ブロックベースの探索では、通常の測度は、現在のブロックと候補ブロックの間の絶対差の和（ＳＡＤ）を含む。画素ベースの探索では、古典的なオプティカルフローの式を解く方法を適用することができる。いずれにせよ、動きベクトルを調整して、結果として得られる推定動きベクトルが或る程度の平滑さを有するようにすることができる。粗画像及び完全に再構成された画像の探索結果を結合するメトリックも用いることができる。
【００４３】
上記のように、動き推定プロセスの主な目的は、以前に復号化された画像における最も良い対応関係を求めて、現在の画像によって提供される証拠８１９を最終的に改善することである。画素又はブロックの動きベクトルが与えられた状態で、再構成画像における対応する画素値を、現在の画像９０１の画素値として割り当てて９２０、再構成画像８０９を得る。
【００４４】
適切な適合が見付からない場合、代替の戦略を使用することができ、例えば、ゼロの動きベクトルを割り当てて、アンカー画像の同位置にあるブロックを使用することを示すことができる。代替的に、イントラ符号化された画像を、エッジの鮮鋭化のような従来の画像処理技法を用いて改善することができる。
【００４５】
割り当てられる分散９２２は、シンドロームデコーダ１０００による軟復号化も可能にする。分散を割り当てる１つの手段は、ブロックベースの探索の場合であればＳＡＤ項のような、探索プロセスにおいて使用される測度に基づく。例えば、大きなＳＡＤは高い分散を割り当て、小さなＳＡＤは低い分散を割り当てる。
【００４６】
従来技術との比較
従来技術のシステムとは対照的に、本発明において記載されるシステムは、顕著な差異及び利点を有する。図３及び図４に示すプリ及びラムチャンドランのＰＲＩＳＭシステムでは、従来のイントラ符号化技法によって多数の高周波成分が符号化され、シンドローム符号化は、遥かに少数の低周波成分に対してのみ行われる。これは時間、記憶容量及び帯域幅の無駄である。
【００４７】
対照的に、本発明のシステムは、低周波成分のみを考慮することによって画像を符号化し、入力画像の高周波成分及び低周波成分のシンドローム符号化を用いて、復号化中に高品質の画像を再構成する。
【００４８】
さらに、プリ及びラムチャンドランのシステムでは、シンドロームビット及びＣＲＣビットを用いて、最良の候補予測子を求める、すなわち、動き推定を行う。こうして、シンドローム復号化及び動き推定プロセスを統合する。
【００４９】
本発明のシステムでは、粗品質画像間の対応関係を用いて、シンドローム復号化に使用される証拠を改善する。これによって、動き推定及びシンドローム復号化が、本発明の現在のシステムにおいて個別のプロセスとなる。
【００５０】
図５及び図６に示すようなアーロン等では、キーフレームが規則的な時間間隔でデコーダに送信され、シンドローム復号化が適用されて、これらのキーフレームの間にあるフレームが復元される。本発明のシステムは、各時刻に粗品質画像を送信する。これにより、離間した画像を定期的に送信する際に生じる遅延及びオーバーヘッドが克服される。さらに、本発明の動き推定は、以前に復号化された高品質の基準画像との対応関係を確立する上でより正確であり、よって、予測を改善するとともに、シンドロームビットに必要なレートを下げる。
【００５１】
本発明の精神及び範囲内で様々な他の適応形態及び修正形態を実施できることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るそのような変形形態及び修正形態をすべて網羅することである。
【図面の簡単な説明】
【００５２】
【図１】従来の動き推定技法及び変換技法を用いる従来技術のビデオエンコーダのブロック図である。
【図２】図１のエンコーダに対応する従来技術のビデオデコーダのブロック図である。
【図３】シンドローム符号化を用いる第１の従来技術のビデオエンコーダのブロック図である。
【図４】図３のエンコーダに対応する第１の従来技術のビデオデコーダのブロック図である。
【図５】シンドローム符号化を用いる第２の従来技術のビデオエンコーダのブロック図である。
【図６】図５のビデオエンコーダに対応する第２の従来技術のビデオデコーダのブロック図である。
【図７】本発明によるシンドローム符号化を用いるビデオエンコーダのブロック図である。
【図８】図７のエンコーダに対応するビデオデコーダのブロック図である。
【図９】本発明による動き補償証拠増強器のブロック図である。
【図１０】本発明によるシンドロームデコーダのブロック図である。
【図１】
2008511185.tif 000003
【図２】
2008511185.tif 000004
【図３】
2008511185.tif 000005
【図４】
2008511185.tif 000006
【図５】
2008511185.tif 000007
【図６】
2008511185.tif 000008
【図７】
2008511185.tif 000009
【図８】
2008511185.tif 000010
【図９】
2008511185.tif 000011
【図１０】
2008511185.tif 000012
【国際調査報告】
2008511185.tif 000013
2008511185.tif 000014
2008511185.tif 000015
2008511185.tif 000016