(57)【特許請求の範囲】
【請求項１】
損失を伴うチャネルを介して受信端末にある復号器に送信するための送信端末の符号化器においてビデオストリームを符号化する方法であって、前記方法は、
レート−歪み最適化プロセスであって、複数のフレームの各々の中の符号化されるべき複数の対象画像部分の各々について、前記対象画像部分に関する歪みの推定値および前記対象画像部分を符号化するのに必要とされるビットレートの量を含む関数を最適化することによって符号化モードセットのうちの好ましい符号化モードを選択することを含み、前記歪みの推定値はソースコード化歪み、および、前記チャネルにわたる起こり得る損失に起因して受けることになる歪みの推定値に基づく、レート−歪み最適化プロセスを実行するステップであって、前記フレームのうちの現在のフレームに対する前記レート−歪み最適化プロセスは、前記フレームのうちの先行するフレームに基づいて前記受信端末から受信されるフィードバックに従って実行される、ステップと、
前記選択された符号化モードを使用して前記対象画像部分を符号化して符号化ビデオストリームにするステップであって、前記選択された符号化モードは、イントラフレームモード、確認応答基準インター予測モード、又は非確認応答インターフレームモード、のうちの１つを有する、ステップと、
前記符号化ビデオストリームを前記チャネルを介して送信するステップと、
前記符号化器において前記復号器の符号化器側インスタンスを作動し、前記符号化器において、エラー伝播歪みマップを記憶する復号画像バッファを維持するステップであって、前記エラー伝播歪みマップは、前記復号画像バッファに記憶されている各々のフレームに関連付けられる、ステップと、
各々の個々の後の符号化モード選択で使用するために、前記フィードバックに基づき前記エラー伝播歪みマップを更新するステップであって、前記の更新はレート−歪み性能を改善する、ステップと、
を含む方法。
【請求項２】
前記フィードバックは、前記先行するフレームの少なくとも一部分が受信されたという確認応答、および、前記先行するフレームの少なくとも一部分が受信されなかったという報告のうちの一方を含む、請求項１に記載の方法。
【請求項３】
前記符号化モードのセットは、確認応答された先行するフレームまたは前記先行するフレームの確認応答された部分内の対応する基準部分に対して前記対象画像部分を符号化する前記確認応答基準インター予測モードを含み、
前記確認応答基準インター予測モードは、前記基準部分が受信されたものとして確認応答され、それに対して前記基準部分が符号化されたあらゆるものも受信されたものとして確認応答されており、それによって、前記基準部分がエラー伝播を受けないと知ることができることを条件として、前記符号化モードの選択に使用するために利用可能である、請求項２に記載の方法。
【請求項４】
前記復号画像バッファは、前記復号器の前記符号化器側インスタンスによって再構築された基準画像データの形態の短期および長期基準を更に記憶し、前記短期基準は連続したフレームによって自動的に上書きされ、一方で前記長期基準は明確な削除コマンドの条件に基づいて削除され、
前記確認応答基準インター予測モードは、前記受信端末において受信されたと確認応答されている前記復号画像バッファ内の前記長期基準のうちの対応するものに対して前記対象画像部分を符号化するか、または、前記受信端末において受信されたと確認応答されている前記復号画像バッファ内の対応する短期基準に対して前記対象画像部分を符号化するかのいずれかである、請求項３に記載の方法。
【請求項５】
前記符号化モードのセットは少なくとも、前記イントラフレームモード、少なくとも１つの非確認応答インターフレーム符号化モード、および前記確認応答基準インター予測モード、ならびに、インター符号化基準部分からの対象画像部分のイントラ符号化を可能にする非制約イントラ符号化モードを含む、請求項４に記載の方法。
【請求項６】
前記符号化モードのセットは、それぞれ前記復号画像バッファ内に記憶されている確認応答されていないフレームまたはフレームの一部分内の対応する長期基準および短期基準に対して前記対象画像部分を符号化する、非確認応答長期基準インター予測モードおよび非確認応答短期基準インター予測モードの少なくとも一方を含み、
前記フィードバックに従う前記レート−歪み最適化プロセスの実行は、推定損失確率、および、最後に確認応答された先行するフレームまたは先行するフレームの確認応答された部分からの時間に従って損失に起因する歪みの推定値を求めることを含む、請求項５に記載の方法。
【請求項７】
前記フィードバックに従う前記レート−歪み最適化プロセスの実行は、前記フィードバックに従って、前記先行するフレームまたは前記先行するフレームの一部分に対する歪みの前記推定値を調整するステップと、前記調整された歪みの推定値を現在のフレームに関連して使用するために転送するステップとを含む、請求項１〜６のいずれかに記載の方法。
【請求項８】
起こり得る損失に起因して受けることになる歪みの前記推定値は、前記対象画像部分が前記チャネルにわたって到着する場合に、前記対象画像部分の予測が依存する前記対象画像部分の履歴内の基準部分が到着しないことに起因して受けることになる歪みの推定値を表す第１の寄与、ならびに、前記対象画像部分が前記チャネルにわたって喪失した場合に前記対象画像部分の損失を隠蔽するのに使用されることになる画像部分に対する前記対象画像部分の隠蔽歪みの量を表す寄与、および、前記対象画像部分の隠蔽が依存する前記対象画像部分の履歴内の画像部分の損失に起因して受けることになる歪みの推定値を表す寄与を含む、隠蔽に起因して受けることになる歪みの推定値を表す第２の寄与に基づく、請求項１〜７のいずれかに記載の方法。
【請求項９】
損失を伴うチャネルを介して受信端末にある復号器に送信するための送信端末においてビデオストリームを符号化するためのコンピュータプログラムであって、前記コンピュータプログラムはコンピュータ可読媒体上で具現化され、前記送信端末で実行されると、請求項１〜８のいずれかに記載の方法による動作を実行するように構成されているコードを備える、コンピュータプログラム。
【請求項１０】
損失を伴うチャネルを介して受信端末にある復号器に送信するためのビデオストリームを符号化するための送信端末であって、前記送信端末は、
レート−歪み最適化プロセスを実行するように構成されている符号化器であって、該レート−歪み最適化プロセスは、複数のフレームの各々の中の符号化されるべき複数の対象画像部分の各々について、前記対象画像部分に関する歪みの推定値および前記対象画像部分を符号化するのに必要とされるビットレートの量を含む関数を最適化することによって符号化モードセットのうちの好ましい符号化モードを選択するステップを含み、前記歪みの推定値はソースコード化歪み、および、前記チャネルにわたる起こり得る損失に起因して受けることになる歪みの推定値に基づき、前記フレームのうちの現在のフレームに対する前記レート−歪み最適化プロセスは、前記フレームのうちの先行するフレームに基づいて前記受信端末から受信されるフィードバックに従って実行され、前記符号化器は、前記選択された符号化モードを使用して前記対象画像部分を符号化して符号化ビデオストリームにするように構成され、前記選択された符号化モードは、イントラフレームモード、確認応答基準インター予測モード、又は非確認応答インターフレームモード、のうちの１つを有し、前記符号化器は、前記復号器の符号化器側インスタンスを作動し、エラー伝播歪みマップを記憶する復号画像バッファを維持するように構成され、前記エラー伝播歪みマップは、前記復号画像バッファに記憶されている各々のフレームに関連付けられ、前記符号化器は、各々の個々の後の符号化モード選択で使用するために、前記フィードバックに基づき前記エラー伝播歪みマップを更新するように構成され、前記の更新はレート−歪み性能を改善する、符号化器と、
前記符号化ビデオストリームを前記チャネルを介して送信するように構成されている送信機と、
を備える送信端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号の部分を符号化するための符号化モードを選択するときにビットレートと歪みとの間のトレードオフのバランスをとることに関する。本発明は、特に（排他的にではないが）、符号化器がストリームをカメラなどから受信するとできるだけ早く該ストリームを送信のために動的に符号化しなければならない、ビデオ通話のストリームのようなビデオストリームをリアルタイムに符号化する場合、すなわちライブ・ビデオ・ストリームの場合に適用可能であり得る。
【背景技術】
【０００２】
符号化されるべきビデオデータのストリームを図１Ａに概略的に示す。ストリームは、各々が異なるそれぞれの瞬間におけるビデオ画像を表す複数のフレーム（Ｆ）を含む。当業者には既知であるように、符号化を目的として、各フレーム（Ｆ）は複数の部分に分割され、各部分も、より小さい複数の下位部分に細分化され、各部分または下位部分は、複数のピクセルを含む。たとえば、ある用語によれば、符号化されるべきビデオストリームの各フレームは複数のマクロブロック（ＭＢ）に分割され、各マクロブロックは、複数のブロックまたはサブブロック（ｂ）に細分化され、各ブロックまたはサブブロックは複数のピクセルを含む。各フレームはまた、独立して復号可能なスライス（Ｓ）に分割され得、各スライスは１つまたは複数のマクロブロックを含む。図１Ａに示す分割は例示を目的とした概略に過ぎないことに留意されたく、これらは必ずしも任意の実際の符号化方式に対応することを意味するものではなく、たとえば、各フレームはより多数のマクロブロックを含む可能性があることは了解されよう。
【０００３】
ビデオコード化が採用され得る例示的な通信システムを、図２のブロック図に概略的に示す。通信システムは、送信側の第１の端末１２と、受信側の第２の端末２２とを備える。たとえば、各端末１２、２２は、携帯電話もしくはスマートフォン、タブレット、ラップトップコンピュータ、デスクトップコンピュータ、またはテレビセット、セット・トップ・ボックス、ステレオシステムなどのような他の家庭用電化製品を含んでもよい。第１の端末１２および第２の端末２２は各々、通信ネットワーク３２に動作可能に結合される。それにより、送信側の第１の端末１２は、受信側の第２の端末２２によって受信される信号を送信するように構成されている。無論、送信端末１２は、受信端末２２からの信号を受信することも、その逆も可能であり得るが、説明の目的のために、ここでは送信は第１の端末１２の視点から説明し、受信は第２の端末２２の視点から説明する。通信ネットワーク３２は、たとえば、広域インターネットおよび／またはローカル・エリア・ネットワーク、および／またはモバイル・セルラ・ネットワークなどのパケットベースのネットワークを含んでもよい。
【０００４】
第１の端末１２は、フラッシュメモリもしくは他の電子メモリ、磁気記憶装置、および／または光記憶装置のような記憶媒体１４を含む。第１の端末１２は、１つまたは複数のコアを有するＣＰＵの形態の処理装置１６と、少なくとも送信機１８を有する有線または無線モデムのような送受信機と、端末１２の残りの部分と同じ筐体内に収容されてもよいし、されなくてもよいビデオカメラ１５も備える。記憶媒体１４、ビデオカメラ１５および送信機１８は各々処理装置１６に動作可能に結合されており、送信機１８は有線または無線リンクを介してネットワーク３２に動作可能に結合されている。同様に、第２の端末２２は、電子、磁気、および／または光記憶装置のような記憶媒体２４と、１つまたは複数のコアを有するＣＰＵの形態の処理装置２６とを備える。第２の端末は、少なくとも受信機２８を有する有線または無線モデムのような送受信機と、端末２２の残りの部分と同じ筐体内に収容されてもよいし、されなくてもよい画面２５とを備える。第２の端末の記憶媒体２４、画面２５および受信機２８は各々それぞれの処理装置２６に動作可能に結合されており、受信機２８は有線または無線リンクを介してネットワーク３２に動作可能に結合されている。
【０００５】
第１の端末１２にある記憶媒体１４は少なくとも、処理装置１６で実行されるように構成されているビデオ符号化器を記憶している。実行されると、符号化器は「生」の（符号化されていない）入力ビデオストリームをビデオカメラ１５から受信し、ビデオストリームを符号化してよりビットレートの低いストリームに圧縮し、符号化ビデオストリームを送信のために送信機１８および通信ネットワーク３２を介して第２の端末２２の受信機２８に対して出力する。第２の端末２２の記憶媒体は少なくとも、第２の端末２２自体の処理装置２６上で実行されるように構成されているビデオ復号器を記憶している。実行されると、復号器は、符号化ビデオストリームを受信機２８から受信し、画面２５に対する出力のために復号する。符号化器および／または復号器を指すために使用され得る一般用語が、コーデックである。
【０００６】
ビデオコーデックの目的は、可能な最高の品質を維持しながら、ビデオ信号を送信するのに必要とされるビットレートを低減することである。この目的は、統計冗長性（ビデオ信号の類似性）および知覚的非関連性（人間の視覚系の感度に関する）を利用することによって達成される。
【０００７】
今日のビデオコーデックのほとんどは、他のピクセルブロックからのピクセルブロックの予測、予測残差の変換、変換係数の量子化、および量子化指数のエントロピーコード化を含むアーキテクチャに基づく。これらのステップは、冗長性および非関連性を低減するのに寄与する。
【０００８】
以下の文献を参照する。
［１］ＩＴＵ−Ｔ，Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６４、「Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ」、２００７年
［２］Ｚｈａｎｇ他、「Ｅｒｒｏｒ  ｒｅｓｉｌｉｅｎｃｅ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｉｎ  Ｈ．２６４  ｅｎｃｏｄｅｒ  ｗｉｔｈ  ｐｏｔｅｎｔｉａｌ  ｄｉｓｔｏｒｔｉｏｎ  ｔｒａｃｋｉｎｇ」、（Ｐｒｏｃ．ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ、１６３−１６６頁、２００４年）
予測は一般的に、現在のフレーム以外のビデオフレーム内のピクセルから（インター予測）、および、同じフレーム内のピクセルから（イントラ予測）実行することができる。すなわち、イントラフレーム符号化を使用して符号化される場合、フレームのブロック、サブブロックまたは他の部分（対象ブロックまたは部分）は、同じフレーム内の別のブロック、サブブロックまたは画像部分（基準ブロックまたは部分）に関連して符号化され、インターフレーム符号化を使用して符号化される場合、対象ブロックまたは部分は、別のフレーム内の基準ブロックまたは部分に関連して符号化される。この処理を、一般的に予測または予測コード化と称する。インターまたはイントラ予測モジュールはしたがって、たとえば、イントラフレーム符号化の場合には隣接するブロックまたはサブブロックの指示、および／または、インターフレーム符号化の場合は動きベクトルの形式で予測を生成する。一般的に、符号化器は、予測されたブロックと実際のブロック（または予測されたサブブロックと実際のサブブロックと、など）の間の「残った」差を表す残差信号をも生成する。その後、残差、動きベクトル、および、イントラ予測と関連付けられる任意の必要とされるデータが、一般的に、量子化器およびエントロピー符号化器のようなさらなるコード化段を介して、符号化ビデオストリーム内に出力される。したがって、ビデオ内のほとんどのブロックは、ブロック間の差に関して符号化され得、これによって符号化に必要とされるビットは、絶対ピクセル値を符号化するよりも少なく、したがって、ビットレートが節約される。イントラ予測符号化は一般的に、インター予測よりも多くのビットを必要とするが、それでも絶対値を符号化するのにまさる節約を示す。ビデオに関する適切なインターおよびイントラ符号化技法は当業者には既知であろう。
【０００９】
最新のコーデックは、フレーム内の異なる複数の部分に対して異なる複数の予測符号化モードを使用することを可能にする。異なる複数のコード化選択肢を有することが可能であることによって、ビデオコーデックのレート−歪み効率が増大する。すべてのフレーム領域に対して最適なコード化表現を見つけなければならない。一般的に、そのような領域は、たとえば、１６×１６ピクセルから成るマクロブロックである。すなわち、そのため、イントラ予測またはインター予測モードが各マクロブロックに対して個々に選択されることが可能であり、それによって、同じフレーム内の異なる複数のマクロブロックが異なる複数のモードで符号化されることができる。コーデックによっては、マクロブロックの異なる複数のレベルの区分化に基づいて、たとえば、マクロブロック内の各４×４サブブロックに対して別個の予測が実行されるより複雑なモードと、８×８もしくは８×１６ブロックのみまたはさらにはマクロブロック全体に基づいて予測が実行されるより複雑でないモードとの間で選択して、異なる複数のモードを使用ことも可能である。利用可能なモードは、予測を実行するための異なる複数の選択肢をも含んでもよい。たとえば、図１Ｂに概略的に示すように、あるイントラモードにおいて、直上のサブブロックからの隣接するピクセルから下方に外挿することによって、または、直ぐ左にあるサブブロックから側方に外挿することによって、４×４サブブロック（ｂ）のピクセルが決定されてもよい。コーデックによっては、「スキップモード」と呼ばれる別の特別な予測モードも提供されてもよく、これは代替的なタイプのインターモードと考えることができる。スキップモード（ＰＳｋｉｐ）においては、対象の動きベクトルが、その上および左にある動きベクトルに基づいて推定され、残差係数の符号化は行われない。動きベクトルが推定される方法は動きベクトル予測と一致しており、したがって、動きベクトル差はゼロであり、そのため、マクロブロックがスキップブロックであることを伝えるだけでよい。
【００１０】
図３は、送信端末１２上に実装され得るような符号化器を概略的に示す高レベルブロック図である。符号化器は、離散コサイン変換（ＤＣＴ）モジュール５１と、量子化器５３と、逆変換モジュール６１と、逆量子化器６３と、イントラ予測モジュール４１と、インター予測モジュール４３と、減算段（−）とを備える。符号化器は、スイッチ４７と、モード選択モジュール４９とをも備える。これらのモジュールの各々は、好ましくは、送信端末の記憶媒体１４に記憶されているコードの一部分として実装され、その処理装置１６で実行するように構成されているが、これらのいくつかまたはすべてが全体的にまたは部分的に専用ハードウェア回路内で実装される可能性は除外されない。
【００１１】
スイッチ４７およびモード選択モジュール４９の各々は、複数のマクロブロックＭＢを含む入力ビデオストリームのインスタンスを受信するように構成されている。モード選択モジュール４９は、各マクロブロックについてコード化モード「ｏ」を選択するように構成されており、マルチプレクサ４７に動作可能に結合されており、それによって、マルチプレクサを、選択されているモードに適切であるように、逆量子化器６３の出力をイントラ予測モジュール４１またはインター予測モジュール４３のいずれかの入力に通すように制御する。モード選択モジュール４９は、選択されているモード「ｏ」を関連する予測モジュール４１、４３に示し（たとえば、４×４区分化モード、８×８モード、スキップモードなどを示し）、次のフレームに関するモードの選択に使用するために予測モジュール４１、４３からフィードバックされる情報を受信するようにも構成されてもよい。イントラ予測モジュール４１またはインター予測モジュール４３の出力は、その後、減算段（−）の入力に結合され、減算段は、その他方の入力において符号化されていない入力ビデオストリームを受信して、予測されたブロックを、それらの符号化されていない相手から減算するように構成されており、したがって、残差信号を生成する。その後、残差ブロックは変換（ＤＣＴ）モジュール５１を通過し、そこで、それらの残差値が周波数領域に変換され、その後、量子化器５３に至り、そこで、変換された値が離散的な量子化指数に変換される。量子化、変換された信号は逆量子化器６３および逆変換モジュール６１を通じてフィードバックされて、選択されている予測モジュール４１、４３によって使用するためのブロックまたはサブブロックの予測バージョン（復号器において分かるような）が生成される。予測モジュール４１、４３において使用される予測の指示、インター予測モジュール４３によって生成された動きベクトル、ならびに、変換モジュール５１および量子化モジュール５３によって生成されている残差の量子化、変換された指数はすべて、一般的に、さらなる、エントロピー符号化器（図示せず）のような可逆符号化段を介して符号化ビデオストリーム内に含めるために出力され、予測値および変換、量子化された指数が、当該技術分野において既知の可逆符号化技法を使用してさらに圧縮され得る。
【００１２】
上記によれば、このように、コード化表現は、ブロック区分化情報、予測モード、動きベクトル、量子化精度などを含んでもよい。最適なコード化選択肢は、ビデオ内容、ビットレート、以前のコード化決定などに応じて決まる。変換係数の量子化の精度は一般的に、ビットレート制約を満たすように選択される。さらに、歪みは最小限に抑えられるべきである。
【００１３】
たとえば、Ｈ．２６４ビデオコーダは、予測モードを選択にあたって大きな柔軟性を提供する（非特許文献１）。ルマ成分のインター予測について、１６×１６ピクセルから成るマクロブロックが、１６×１６ピクセルから成る１つのブロック、または、１６×８ピクセルから成る２つのブロック、または、８×１６ピクセルから成る２つのブロック、または、８×８ピクセルから成る４つのブロックとして表現され得る。さらに、８×８ブロックが、８×８ピクセルから成る１つのブロック、または、８×４ピクセルから成る２つのサブブロック、または、４×８ピクセルから成る２つのサブブロック、または、４×４ピクセルから成る４つのサブブロックとして表現され得る。インター予測は、マクロブロックの各許可されている区分化に対して試行される。ブロックのインター予測は、一般的にサブピクセル予測によって推定される基準フレーム（複数の場合もあり）および動きベクトル（複数の場合もあり）をインデックス付けする（それぞれの基準フレーム内の基準ブロックから空間シフト）ことによって表現される。ルマ成分のイントラ予測について、１６×１６ブロックに対しては４つのモードの可能性があり、４×４サブブロックに対しては９つのモードの可能性がある。さらに、クロマ成分については４つのモードの可能性がある。最良の予測モードは、インター予測モードとイントラ予測モードとの性能を比較することによって選択される。
【００１４】
Ｈ．２６４  ＡＶＣ（非特許文献１）のようなビデオコーデックのレート−歪み性能は、大体において、マクロブロックモード選択ｏの性能に応じて決まる。これは、たとえば、イントラモードまたはインターモードを使用してレート−歪みトレードオフについてマクロブロックが最良に符号化されているかを判定する手順である。ロバスト性の視点から、イントラコード化マクロブロックは、一時的なエラー伝播を止める（制約されたイントラ予測を使用する、すなわち、インター予測されたマクロブロックからのイントラ予測が禁止されると仮定して）ため、有益である。しかしながら、イントラコード化マクロブロックは概して、インターコード化マクロブロックと比較してレートに関してより費用がかかり、したがって、復号器における歪み（たとえば、平均歪み）が特定のビット配分およびチャネル状態を所与として最小限に抑えられるように、イントラコード化マクロブロックを系統的に導入することが重要である。Ｚｈａｎｇ他による非特許文献２は、復号器における予測される平均差分二乗和（ＳＳＤ）の最小化に基づいてイントラコード化マクロブロックを導入するためのそのような系統的なフレームワークを提案している。潜在的な歪みをトラッキングすることによって、Ｚｈａｎｇ他は、符号化器レート−歪みループ内のインターマクロブロックの費用を計算するときにソースコード化歪みに付加される、予測エラー伝播歪み（復号器における）に関連するバイアス項を計算することが可能である。
【００１５】
レート−歪み性能最適化問題は、ビットレート制約Ｒの下で歪みを最小化することに関して定式化することができる。この問題を解決するためにラグランジュ最適化フレームワークが使用されることが多く、それに従って、最適化基準を以下のように定式化することができる。
Ｊ＝Ｄ（ｍ，ｏ）＋λＲ（ｍ，ｏ）    （１）
式中、Ｊはラグランジュ関数であり、Ｄは歪みの量を表し（モードｏおよびマクロブロックｍまたはマクロブロック下位区分の関数）、Ｒはビットレートであり、λは歪みとレートとの間のトレードオフを定義するパラメータである。一般的に使用される歪み量は元のピクセルと再構築されたピクセルとの間の差分二乗和（ＳＳＤ）、または、元のピクセルと予測されるピクセルとの間の差分絶対値和（ＳＡＤ）である。
【００１６】
この応用において、ラグランジュ最適化問題を解くことは、ラグランジュ関数Ｊを最小化する符号化モードｏを見つけることを意味し、このラグランジュ関数Ｊは、少なくとも歪みを表す項と、ビットレートを表す項と、それら２つの間のトレードオフを表す係数（「ラグランジュ乗数」）とを含む。符号化モードｏがより完全なまたはより良好な品質の符号化モードに向かって変化するとき、歪み項Ｄは低減することになる。しかしながら、同時に、レート項Ｒは増大することになり、λに依存する特定の点において、Ｒの増大はＤの低減を上回ることになる。したがって、式Ｊは何らかの最小値を有することになり、これが起こる符号化モードｏが最適な符号化モードと考えられる。
【００１７】
この意味において、ビットレートＲ、またはむしろ項λＲは、この項が、増大し続ける品質から最適な符号化モードを引き戻すという点において、最適化に制約を課す。この最適なバランスが見つかるモードはλに応じて決まり、したがって、λはビットレートと歪みとの間のトレードオフを表すと考えてもよい。
【００１８】
ラグランジュ最適化は、コード化選択決定のプロセスにおいて一般的に使用されており、すべてのフレーム領域（たとえば、１６×１６ピクセルから成るすべてのマクロブロック）に適用される。一般的に、歪みはすべての処理段を考慮にいれるように評価され得る。これらは予測、変換、および量子化を含む。さらに、再構築されたピクセルを計算するために、逆量子化、逆変換、および逆予測のステップを実行しなければならない。ＳＳＤは、結果としてＳＡＤと比較してより高い品質をもたらすため、歪み基準として好まれることが多い。一般的に、レートは、予測、および、量子化された変換係数［４］を既述するパラメータを含む、すべての必要とされるパラメータのコード化をも考慮に入れる。
【００１９】
Ｚｈａｎｇ他による非特許文献２において、著者は、ソースコード化だけでなくチャネルエラーにも起因する復号器内の潜在的な歪み、すなわち、信号がチャネルを介して送信されるときのデータの損失に起因して受けることになる、潜在的なる歪みをも推定している。推定された潜在的な歪みは、その後、モード選択をイントラコード化に向かってバイアスするのに間接的に使用される（チャネルエラーの可能性がある場合）。Ｚｈａｎｇの「端から端まで」の歪みの式は、差分二乗和（ＳＳＤ）歪み量に基づき、マクロブロックの損失についてベルヌーイ分布を仮定する。最適なマクロブロックモードｏｏｐｔは以下によって与えられる。
【００２０】
【数１】
0006031106.tif 000002
式中、Ｄｓ（ｍ，ｏ）はマクロブロックｍおよびマクロブロックモードｏについての元のピクセルおよび再構築されたピクセルの間のＳＳＤ歪みを示し、Ｒは合計レートであり、λは歪みおよびレート項を関連付けるラグランジュ乗数である。Ｄｅｐ＿ｒｅｆ（ｍ，ｏ）は、エラー伝播に起因する復号器内の基準マクロブロックにおける予測される歪みを示す。したがって、Ｄｅｐ＿ｒｅｆ（ｍ，ｏ）は、エラー伝播歪みが大きくなりすぎる場合に最適化をイントラコード化に向かってバイアスするバイアス項をもたらす。Ｄｅｐ＿ｒｅｆ（ｍ，ｏ）は、イントラコード化マクロブロックモードについてはゼロである。式Ｄｓ（ｍ，ｏ）＋Ｄｅｐ＿ｒｅｆ（ｍ，ｏ）＋λＲ（ｍ，ｏ）は、ラグランジュ関数Ｊのインスタンスとみなされ得る。Ａｒｇｍｉｎｏは、式Ｊの値が最小値である引数ｏの値を出力する。
【００２１】
非特許文献２において、項Ｄｅｐ＿ｒｅｆ（ｍ，ｏ）は物体の運動に従い、現在の動きベクトルを使用して総歪みマップから計算される。総予測エラー伝播歪みマップＤｅｐがエラー隠蔽の性能によって駆動され、各マクロブロックモード選択後に以下のように更新される。
Ｄｅｐ（ｍ（ｋ），ｎ＋１）＝（１−ｐ）Ｄｅｐ＿ｒｅｆ（ｍ（ｋ），ｎ，ｏｏｐｔ）＋ｐ（Ｄｅｃ−ｒｅｃ（ｍ（ｋ），ｎ，ｏｏｐｔ）＋Ｄｅｃ−ｅｐ（ｍ（ｋ），ｎ））    （３）
式中、ｎはフレーム数であり、ｍ（ｋ）はマクロブロックｍのｋ番目の下位区分（すなわち、ブロックまたはサブブロック）を示し、ｐはパケット損失の確率を示し、Ｄｅｃ−ｒｅｃは符号化器における再構築されたピクセルとエラー隠蔽されたピクセルとの間のＳＳＤを示し、Ｄｅｃ−ｅｐは符号化器および復号器におけるエラー隠蔽されたピクセルの間の予測ＳＳＤを示す。
【００２２】
非特許文献２において、Ｄｅｐはフレームの各マクロブロックの上の４×４格子上に記憶され、すなわち、マクロブロックあたり１６個のＤｅｐの値があり、そのため、各マクロブロックの４×４ピクセルサブブロックあたり１つのＤｅｐの値がある。図１Ｃに示すように、Ｄｅｐ＿ｒｅｆ（ｍ（ｋ），ｏ）、すなわち、時刻ｎにおけるフレームのマクロブロックｍ内のサブブロックｋに関する予測エラー伝播基準歪みの計算は、このとき、時刻ｎ−１からの先行するフレームからの４つのサブブロックからのＤｅｐの値の加重和として実行される。重みは、問題のブロックｍの動きベクトルから求められる。すなわち、以下のようになる。
【００２３】
【数２】
0006031106.tif 000003
式中、重みｗｉは重複部分に比例し、ｑｉ（ｋｉ）は先行するフレームｎ−１内のマクロブロックｑｉのサブブロックｋｉを示す。
【００２４】
図１Ｃは、例示的なサブブロックｂ１．．．ｂ４を参照した動きベクトルからの予測エラー伝播基準歪みおよび予測エラー伝播歪みマップの計算の図解を提供する（この例において、ｋはｂ１に対応し、ｉはｂ１．．．ｂ４を通じてカウントする）。
【先行技術文献】
【非特許文献】
【００２５】
【非特許文献１】ＩＴＵ−Ｔ，Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６４、「Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ」、２００７年
【非特許文献２】Ｚｈａｎｇ他、「Ｅｒｒｏｒ  ｒｅｓｉｌｉｅｎｃｅ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｉｎ  Ｈ．２６４  ｅｎｃｏｄｅｒ  ｗｉｔｈ  ｐｏｔｅｎｔｉａｌ  ｄｉｓｔｏｒｔｉｏｎ  ｔｒａｃｋｉｎｇ」、（Ｐｒｏｃ．ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ、１６３−１６６頁、２００４年）
【発明の概要】
【発明が解決しようとする課題】
【００２６】
Ｚｈａｎｇ他による非特許文献２のプロセスは、チャネルにわたる損失の可能性に関して純粋に符号化器において行われる事前の確率論的仮定のみに基づく。
【００２７】
しかしながら、いくつかの既存の通信システムは、受信機から送信機に戻る特定の情報を報告する目的で、および／または制御の目的でフィードバック機構を提供する。たとえば、符号化器は、いずれのフレームが正確に復号器に到着したか、および／または、いずれのフレームが送信において喪失したかに関する戻り情報を受信し得、それに応答して、エラー伝播を遮断するためにイントラフレームを生成し得る。しかしながら、既存のメカニズムは、イントラフレーム全体の生成しかトリガせず、また、まだ確認応答されていないか、またはまだ喪失を報告されていないかのいずれかである他のフレームまたはフレームの部分の損失に起因して受ける可能性がある歪みの確率的推定を何ら組み込んでいないという点で単純に過ぎる。
【００２８】
Ｚｈａｎｇ他による非特許文献２によるアルゴリズムは、何らのフィードバックを使用する可能性または可用性をも考慮せずエラーのあるチャネルを介してビデオを送信するシナリオのみを考慮しており、そのため、Ｚｈａｎｇのプロセスはチャネルの何らの実際の事後知識にも基づいていない。
【００２９】
他の視点から見ると、従来のフィードバックの使用は、イントラフレーム全体の生成のみをトリガし、フレーム内の個々の部分のレベルにおける（たとえば、マクロブロックごとの）モード選択はない。また、従来のフィードバックの使用は、チャネルにわたる可能性のある損失に起因して受けることになる歪みの推定を含まない。
【００３０】
他方、本発明者は、符号化器における損失適応的レート−歪み最適化プロセスにさらに適応し、それによって、Ｚｈａｎｇ他による方法と比較して全体的なレート−歪み性能を改善するために、復号器から符号化器へフィードバックされている情報、たとえば、パケットおよび／またはフレーム到着ステータスを利用することを提案する。
【課題を解決するための手段】
【００３１】
本発明の第１の実施形態は、短期基準および長期基準のシステムを利用することができる。たとえば、Ｈ．２６４標準規格は、特定の基準フレームをいわゆる「長期」基準としてマーキングする機能をサポートしている。これらの長期基準は明示的に削除されるまで復号画像バッファ内にあるままである。これは、復号画像バッファにおいて、新たな短期基準を最も古い短期基準フレームに上書きする「短期」基準フレームとは対照的である。
【００３２】
本発明の第１の実施形態によれば、フィードバック機構を使用して、復号器を、（いずれのフレームが喪失されたかに関する情報に加えて）いずれが復号器において利用可能な最近に確認応答された長期基準であるかにアウェアにすることができる。以下において、確認応答された基準とは、好ましくは、単にそれ自体が確認応答されている基準ではなく、確認応答されたエラーのない基準（すなわち、エラー伝播歪みが一切ない基準）を意味する。すなわち、この基準は、好ましくは、単に現在の基準がその履歴の厳密な確認応答なしに受信されたことが確認応答されているのとは対照的に、基準が受信されたものとして確認応答され、その基準の履歴内の関連するすべても受信されたものとして確認応答されており、それによって、エラー伝播がないと知ることができるという厳密な定義に従って確認応答されるべきである。それ自体が確認応答されているだけであるが、エラーのないブロックに対して符号化されているフレーム内の部分もエラーがない（伝播エラーがない）ことに留意されたい。
【００３３】
確認応答された長期基準フレームに基づくインター予測を使用して、イントラコード化と同様に、復号器内のエラー伝播を止めることができる。長期基準からのインター予測を使用する利点は、インター予測の結果、概して所与の歪みレベルに対してビットレートが低くなることである。
【００３４】
確認応答された長期基準をインター予測に利用することによって、本発明のこの第１の実施形態は、たとえば、Ｚｈａｎｇによる非特許文献２のフレームワーク内で使用されるイントラコード化と同様に、しかし概してより低い関連するビットレートにおいてエラー伝播を止めることができるが、追加のマクロブロックコード化モードを利用可能にする。
【００３５】
Ｚｈａｎｇ他による非特許文献２によるアルゴリズムは、２つの異なるタイプのコード化モード、すなわちイントラおよびインターコード化のみを考慮する。その場合、式（３）内のエラー伝播基準歪みＤｅｐ＿ｒｅｆ（ｍ，ｏ）はイントラコード化マクロブロックモードについてのみゼロである。しかしながら、本発明の第１の実施形態は、利用可能なコード化モードのセットを拡大して、確認応答された長期基準からのインターコード化を含む。このとき、Ｄｅｐ＿ｒｅｆ（ｍ，ｏ）はイントラコード化についてだけでなく、確認応答された基準からのインターコード化についてもゼロに設定される。そのようなコード化モードの利点は、イントラコード化と同様であるが、概してより低いビットレートにおいてエラー伝播を止めることができることである。
【００３６】
本発明の第１の実施形態の変形形態は、フィードバックがまだ受信されていない特定の基準（たとえば、長期基準）について、それにもかかわらず、この基準が、復号器からの中間報告に基づいてエラーのない確認応答された基準になる一定の確率を有するという着想を使用する。たとえば、確認応答されていない長期基準に基づくインター予測の使用を、確認応答されていない短期基準に基づくインター予測の使用から区別するまた別の利用可能な符号化モードが導入されてもよい。確認応答されていない長期基準について、損失の確率の事前の推定に応じて（すなわち、ｐはそれ自体はフィードバックに基づいていない）、および、確認応答されていない基準の履歴内の最後の（最近の）確認応答された長期基準からの時間（または同等にフレーム数）に基づいてエラー伝播歪みＤｅｐ＿ｒｅｆ（ｍ，ｏ）の推定は低減される。
【００３７】
第１の実施形態の別の変形形態において、パケットの往復時間（ＲＴＴ）が復号画像バッファ内の長期基準の数と比較して十分に短い（往復時間とは、パケットが送信機から受信機へ進んで再び戻ってくるまでの時間である）とき、同じ概念を短期基準に適用してもよい。すなわち、十分に小さいＲＴＴについて、代替的なまたは追加の可能性は、短期基準を確認応答されているものとして認識することであり、これは、その後、上述した、確認応答された長期基準と同様に使用することができる。ここでも式（３）に対して必要とされるアルゴリズムの変更は、Ｄｅｐ＿ｒｅｆ（ｍ，ｏ）がイントラコード化についてだけでなく、確認応答された基準からのインターコード化についてもゼロに設定されることである。
【００３８】
また、確認応答はフレーム全体ベースである必要はないことに留意されたい。代わりに、これは、フレームの部分、たとえば、スライスのみに対する確認応答を受信し、確認応答もしくはそれがないこと（または受信されなかったことの明確な報告）に応じてそれらの異なる複数の部分を別様に処理するように構成されてもよい。
【００３９】
本発明の第２の実施形態において、パケットおよび／またはフレーム到着ステータスのような、復号器から符号化器へフィードバックされている情報が、復号器内の潜在歪みマップを調整し、それによって、Ｚｈａｎｇ他による方法と比較して全体的なレート−歪み性能を改善するために使用される。
【００４０】
第２の実施形態によれば、潜在エラー伝播歪みマップは、符号化器の復号画像バッファ内に各フレームまたはスライスと関連付けて（エラー隠蔽再構築歪みマップ、エラー隠蔽エラー伝播マップ、対応するモード決定および動きベクトル情報とともに）記憶される。この第２の実施形態は、その後、復号器からのフィードバック情報を、潜在歪みマップを更新するのに利用する。フィードバック情報は、精密な潜在歪みトラッキングを可能にし、より良好なレート−歪み性能をもたらす。
【００４１】
特定のフレームが復号器に到着したことを知らせるフィードバック情報を符号化器が受信した場合、エラー隠蔽寄与を式（３）内のエラー伝播歪みマップから削除することができる。逆に、特定のフレームまたはスライスが復号器において喪失したことを知らせるフィードバック情報が受信された場合、関連するエラー伝播歪みマップが、エラー隠蔽歪みからの寄与、すなわち、式（３）の右辺の第２の項および第３の項（ｐを用いて正規化されている）のみを含むように再計算される。
【００４２】
このとき、往復時間（ＲＴＴ）が復号画像バッファ内の基準画像の数と比較して短い場合、時刻ｎ−ＲＴＴにおける調整された潜在エラー伝播マップを、再帰的に式（３）を使用して時刻ｎ−１におけるエラー伝播歪みマップに伝搬させることが可能である。このとき、時刻ｎ−１における更新されたエラー伝播歪みマップは、モード選択プロセス（２）において使用される時刻ｎにおけるＤｅｐ＿ｒｅｆの計算を基礎とすることになる。この結果、潜在歪みマップのトラッキングがより正確になり、システムの全体的なレート−歪み性能が改善する。
【００４３】
上記は、いくつかの特定の例示的な実施形態を概説しているが、より一般的に、本発明は、以下に一致するシステム、コンピュータプログラム製品および装置を提供する。
【００４４】
本発明の一態様によれば、損失を伴うチャネルを介して受信端末にある復号器に送信するための送信端末の符号化器においてビデオストリームを符号化する方法が提供され、方法は、レート−歪み最適化プロセスであって、複数のフレームの各々の中の符号化されるべき複数の対象画像部分の各々について、対象画像部分に関する歪みの推定値および対象画像部分を符号化するのに必要とされるビットレートの量を含む関数を最適化することによって符号化モードセットのうちの好ましい符号化モードを選択することを含み、歪みの推定値はソースコード化歪み、および、チャネルにわたる起こり得る損失に起因して受けることになる歪みの推定値に基づく、レート−歪み最適化プロセスを実行することと、選択された符号化モードを使用して対象画像部分を符号化して符号化ビデオストリームにすることと、符号化ビデオストリームをチャネルを介して送信することとを含み、上記フレームのうちの現在のフレームに対するレート−歪み最適化プロセスは、上記フレームのうちの先行するフレームに基づいて受信端末から受信されるフィードバックに従って実行される。
【００４５】
上記フィードバックは、上記先行するフレームの少なくとも一部分が受信されたという確認応答、および、上記先行するフレームの少なくとも一部分が受信されなかったという報告のうちの一方を含んでもよい。
【００４６】
本発明の第１の実施形態において、符号化モードのセットは、確認応答された先行するフレームまたは先行するフレームの確認応答された部分内の対応する基準部分に対して対象画像部分を符号化する確認応答基準インター予測モードを含んでもよい。
【００４７】
確認応答基準インター予測モードは、基準部分が受信されたものとして確認応答され、それに対して基準部分が符号化されたあらゆるものも受信されたものとして確認応答されており、それによって、基準部分がエラー伝播を受けないと知ることができることを条件として、符号化モード選択に使用するために利用可能であり得る。
【００４８】
上記フィードバックに従う損失適応的レート−歪み最適化プロセスの実行は、上記確認応答を含むフィードバックが受信されていることを条件として損失に起因する歪みの推定値をなしに設定することを含んでもよい。
【００４９】
方法は、符号化器において復号器の符号化器側インスタンスを実行することと、符号化器において、復号器の符号化器側インスタンスによって再構築された基準画像データの形態の短期および長期基準を記憶している復号画像バッファを維持することとを含んでもよく、短期基準は連続したフレームによって自動的に上書きされてもよく、一方で長期基準は明確な削除コマンドの条件に基づいて削除されてもよく、確認応答基準インター予測モードは、受信端末において受信されたと確認応答されている復号画像バッファ内の長期基準のうちの対応するものに対して対象画像部分を符号化してもよい。
【００５０】
符号化モードのセットは少なくとも、イントラフレームモード、少なくとも１つの非確認応答インターフレーム符号化モード、および上記確認応答インター予測モードを含んでもよい。
【００５１】
符号化モードのセットは、復号画像バッファ内に記憶されている確認応答されていないフレームまたはフレームの一部分内の対応する長期基準に対して対象画像部分を符号化する非確認応答長期基準インター予測モードを含んでもよく、上記フィードバックに従う損失適応的レート−歪み最適化プロセスの実行は、推定損失確率、および、最後に確認応答された先行するフレームまたは先行するフレームの確認応答された部分からの時間に従って損失に起因する歪みの推定値を求めることを含んでもよい。
【００５２】
符号化モードのセットは、非確認応答短期基準インター予測モードをも含んでもよい。
【００５３】
方法は、符号化器において復号器の符号化器側インスタンスを実行することと、符号化器において、復号器の符号化器側インスタンスによって再構築された基準画像データの形態の短期および長期基準を記憶している復号画像バッファを維持することとを含んでもよく、短期基準は連続したフレームによって自動的に上書きされてもよく、一方で長期基準は明確な削除コマンドの条件に基づいて削除されてもよく、確認応答基準インター予測モードは、受信端末において受信されたと確認応答されている復号画像バッファ内の対応する短期基準に対して対象画像部分を符号化してもよい。
【００５４】
符号化モードのセットは、インター符号化基準部分からの対象画像部分のイントラ符号化を可能にする非制約イントラ符号化モードを含んでもよい。
【００５５】
本発明の第２の実施形態において、上記フィードバックに従う損失適応的レート−歪み最適化プロセスの実行は、上記フィードバックに従って、先行するフレームまたは先行するフレームの一部分に対する歪みの推定値を調整することと、調整された歪みの推定値を現在のフレームに関連する使用に対して伝搬させることとを含んでもよい。
【００５６】
上記フィードバックに従う損失適応的レート−歪み最適化プロセスの実行は、上記確認応答および上記報告のうちの少なくとも一方に従って、先行するフレームまたは先行するフレームの一部分に対する歪みの推定値を調整することと、調整された歪みの推定値を現在のフレームに関連する使用に対して伝搬させることとを含んでもよい。
【００５７】
起こり得る損失に起因して受けることになる歪みの推定値は、対象部分がチャネルにわたって到着する場合に、対象部分の予測が依存する対象部分の履歴内の基準部分が到着しないことに起因して受けることになる歪みの推定値を表す第１の寄与、および、隠蔽に起因して受けることになる歪みの推定値を表す第２の寄与に基づいてもよい。
【００５８】
第２の寄与は、対象部分がチャネルを通じて喪失された場合に対象部分の損失を隠蔽するのに使用されることになる画像部分に対する対象部分の隠蔽歪みの量を表す寄与、および、対象部分の隠蔽が依存する対象部分の履歴内の画像部分の損失に起因して受けることになる歪みの推定値を表す寄与を含んでもよい。
【００５９】
上記フィードバックに従う損失適応的レート−歪み最適化プロセスの実行は、上記確認応答を含むフィードバックが受信されていることを条件として、第２の寄与を先行するフレームに関するなしに設定すること、および、受信されていないという上記報告を含むフィードバックが受信されていることを条件として、第１の寄与を先行するフレームに関するなしに設定すること、のうちの一方または両方を含んでもよい。
【００６０】
本発明の別の態様によれば、損失を伴うチャネルを介して受信端末にある復号器に送信するためのビデオストリームを符号化するための送信端末が提供され、送信端末は、レート−歪み最適化プロセスを実行するように構成されている符号化器であって、レート−歪み最適化プロセスは、複数のフレームの各々の中の符号化されるべき複数の対象画像部分の各々について、対象画像部分に関する歪みの推定値および対象画像部分を符号化するのに必要とされるビットレートの量を含む関数を最適化することによって符号化モードセットのうちの好ましい符号化モードを選択することを含み、歪みの推定値はソースコード化歪み、および、チャネルにわたる起こり得る損失に起因して受けることになる歪みの推定値に基づき、当該符号化器は、選択された符号化モードを使用して対象画像部分を符号化して符号化ビデオストリームにするように構成されている、符号化器と、符号化ビデオストリームをチャネルを介して送信するように構成されている送信機とを備え、符号化器は、上記フレームのうちの現在のフレームに対するレート−歪み最適化プロセスが、上記フレームのうちの先行するフレームに基づいて受信端末から受信されるフィードバックに従って実行されるように構成されている。
【００６１】
実施形態において、符号化器は、上記方法の特徴のいずれかによる動作を実行するようにさらに構成されてもよい。
【００６２】
本発明の別の態様によれば、損失を伴うチャネルを介して受信端末にある復号器に送信するための送信端末の符号化器においてビデオストリームを符号化するためのコンピュータプログラム製品が提供され、コンピュータプログラム製品はコンピュータ可読媒体上で具現化され、送信端末上で実行されると、レート−歪み最適化プロセスであって、複数のフレームの各々の中の符号化されるべき複数の対象画像部分の各々について、対象画像部分に関する歪みの推定値および対象画像部分を符号化するのに必要とされるビットレートの量を含む関数を最適化することによって符号化モードセットのうちの好ましい符号化モードを選択することを含み、歪みの推定値はソースコード化歪み、および、チャネルにわたる起こり得る損失に起因して受けることになる歪みの推定値に基づく、レート−歪み最適化プロセスを実行する動作と、選択された符号化モードを使用して対象画像部分を符号化して符号化ビデオストリームにする動作と、符号化ビデオストリームをチャネルを介して送信する動作とを実行するように構成されているコードを備え、上記フレームのうちの現在のフレームに対するレート−歪み最適化プロセスは、上記フレームのうちの先行するフレームに基づいて受信端末から受信されるフィードバックに従って実行される。
【００６３】
実施形態において、コードは、実行されると、上記方法の特徴のいずれかによる動作を実行するようにさらに構成されてもよい。
【００６４】
本発明をより良く理解し、それがどのように実行され得るかを示すために、例として添付の図面を参照する。
【図面の簡単な説明】
【００６５】
【図１Ａ】ビデオストリームの概略図である。
【図１Ｂ】いくつかのイントラ予測コード化モードの概略図である。
【図１Ｃ】エラー伝播歪みの計算の概略図である。
【図２】通信システムの概略ブロック図である。
【図３】符号化器の概略ブロック図である。
【図４】復号器から符号化器へのフィードバックを利用するシステムの概略ブロック図である。
【発明を実施するための形態】
【００６６】
以下は、損失適応的レート−歪み最適化プロセスにさらに適応し、それによって、全体的なレート−歪み性能を改善するために、復号器から符号化器へフィードバックされている情報、たとえば、パケットおよび／またはフレーム到着ステータスを利用する符号化システムおよび方法を説明する。符号化器は、図３に関連して説明されているものと同様であるが、モード選択モジュール４９が変更されている。これは、図１に示す種類のビデオストリームを符号化するのに使用され、図２のもののような通信システム内で実装され得る。
【００６７】
記載のように、モード選択は、ラグランジュ型関数を最適化（たとえば、最小化）することを含んでもよい。
Ｊ＝Ｄ（ｍ，ｏ）＋λＲ（ｍ，ｏ）    （１）
式中、Ｊはラグランジュ関数であり、Ｄは歪みの量を表し（モードｏおよびマクロブロックｍまたはマクロブロック下位区分の関数）、Ｒはビットレートであり、λは歪みとレートとの間のトレードオフを定義するパラメータである。
【００６８】
従来の事例において、歪み項Ｄはソースコード化歪み、すなわち、量子化によって導入される歪みのような符号化器の欠陥に起因するもののみを考慮に入れる。これは、たとえば、パケットベースのネットワーク３２にわたる送信におけるパケット損失に起因する、チャネルにわたるデータの損失に起因して導入され得る歪みは考慮に入れない。
【００６９】
他方、本発明およびＺｈａｎｇによる非特許文献２の技法のような損失適応的技法は、ソース符号化およびチャネルにわたるデータの損失に起因する歪みの両方を考慮に入れた「端から端まで」の歪みの量を定義するように試行する。所与の（対象）ブロック、マクロブロックまたはサブブロックに対する端から端までの歪みは、以下のように記述され得る。
Ｄ＝（１−ｐ）Ｄａｒｒｉｖａｌ＋ｐＤｌｏｓｓ    （５）
式中、Ｄａｒｒｉｖａｌは対象ブロックが復号器に到着する場合に受けることになる歪みの推定値であり、Ｄｌｏｓｓは対象ブロックが、チャネルにわたるパケット損失に起因して、たとえば、パケットベースのネットワーク３２にわたるそのブロックを含むパケットの損失に起因して復号器に到着しない場合に受けることになる歪みの推定値である。パラメータｐは、結果として問題のブロックまたは画像部分が喪失されることになる、チャネルにわたって発生する損失事象の確率の推定値、たとえば、パケット損失の確率の推定値である。便宜上、「ブロック」という用語は、本明細書の所々において、概して、フレーム区分の関連レベル（たとえば、Ｈ．２６４のような特定の標準規格のブロックまたはサブブロック）を指すために使用され得る。
【００７０】
Ｄａｒｒｉｖａｌは、ソースコード化歪みだけでなく、ブロックの過去の歪み、すなわち、対象ブロックがそこから予測されることになる１つまたは複数の基準ブロック内の歪みに起因して導入されることになる歪みも表す。それゆえ、Ｄａｒｒｉｖａｌはソースコード化歪み項Ｄｓ、および、予測される対象ブロックの履歴内の歪み（すなわち、対象ブロック内に進むことになる対象ブロックの基準ブロック内の歪み）を表すエラー伝播歪み項Ｄｅｐ＿ｒｅｆの両方を含む。
Ｄａｒｒｉｖａｌ＝Ｄｓ＋Ｄｅｐ＿ｒｅｆ    （６）
Ｄｌｏｓｓは隠蔽に起因する損失を含む。対象ブロックが受信されない場合、復号器は、以前に復号されたブロックの凍結、または１つまたは複数の復号に成功したブロックからの（現在のフレームおよび／または前のフレームのいずれかからの）補間もしくは外挿を含み得る隠蔽アルゴリズムを適用することになる。それゆえ、Ｄｌｏｓｓはこの隠蔽プロセスに起因する歪みと識別することができる。
Ｄｌｏｓｓ＝Ｄｅｃ    （７）
そのため、式（５）を調べると、項Ｄｓは、損失がまったくない場合に受けることになる歪みの推定値を表し、項Ｄｅｃは、対象ブロックが喪失した場合に受けることになる歪みの推定値を表し、項Ｄｅｐ＿ｒｅｆは、対象ブロックの受信に成功したがその履歴内の何かが喪失した場合（対象ブロックの基準ブロックが喪失した、または基準ブロックの基準ブロックが喪失した、などの場合）に受けることになる歪みの推定値を表す。
【００７１】
ＤｓおよびＤｅｐ＿ｒｅｆは符号化モード選択ｏの関数である。Ｄｅｃは、モード選択ｏの関数ではなく、そのため、ラグランジュ式から落とされている（依然として喪失されているため、喪失したブロックがどのように符号化されたかは問題にならない）。したがって、最適化は以下のように書くことができる。
【００７２】
【数３】
0006031106.tif 000004
Ｄｓは、符号化器において知ることができる情報に基づく、たとえば、生の入力サンプル値ｓと再構築サンプル値
【００７３】
【数４】
0006031106.tif 000005
との間の差に基づくため、決定論的である。符号化器は、符号化器側で復号器の並列インスタンス（またはそれに類するもの）を作動させる。図３におけるインター予測モジュール４３を詳細に示す挿入図を参照されたい。インター予測モジュール４３は、動き補償予測（ＭＣＰ）ブロック４４と、各サンプルインデックスｉについて、予測サンプル
【００７４】
【数５】
0006031106.tif 000006
と再構築残差
【００７５】
【数６】
0006031106.tif 000007
とを組み合わせること、すなわち、
【００７６】
【数７】
0006031106.tif 000008
によって再構築サンプル
【００７７】
【数８】
0006031106.tif 000009
を求めるように構成されている加算段（＋）とを備える。
【００７８】
インター符号化の場合、符号化器において、予測サンプル
【００７９】
【数９】
0006031106.tif 000010
は、基準ブロック（対象フレームに対して動きベクトルの分だけずれている基準フレーム内の基準ブロック。まもなく再度説明される、図１Ｃを参照されたい）のサンプル
【００８０】
【数１０】
0006031106.tif 000011
と同じであり得る。
【００８１】
したがって、符号化器は、実際のサンプルｓと、符号化器および復号器側に見られるような再構築サンプル
【００８２】
【数１１】
0006031106.tif 000012
との間の差を求めることができる（今までのところ、これは復号器において受けるさらなる歪みを導入することになる損失の可能性を無視している）。サンプルの差は、たとえば、以下の式における対象ブロックのすべてのサンプルインデックスｉにわたる差分二乗和（ＳＳＤ）エラーとして計算され得る。
【００８３】
【数１２】
0006031106.tif 000013
しかしながら、Ｄｅｐ＿ｒｅｆは推定されていないままであり、これは、符号化データが（たとえば、パケットベースのネットワーク３２にわたって）送信されることになるチャネルに関する何らかの推定を行うことに基づく。
【００８４】
これを達成するために、符号化器内のモード選択モジュール４９は、最近に符号化されたフレーム内の各マクロブロックまたはマクロブロックの区分の歪みを記述するエラー伝播歪みマップＤｅｐを維持するように構成されてもよい。モード選択モジュール４９は、対象ブロックが底から予測されることになる基準ブロックを含むパケットがチャネルにわたって喪失されることになる確率ｐを求め（、それゆえまた、パケットが到着する確率１−ｐを黙示的にまたは明示的に求め）るようにも構成される。確率ｐは、統計的モデル化に基づいて設計段階で事前決定されてもよく、この場合、モード選択モジュール４９は、メモリ１４から値を取り出すことによってｐを決定する。一方、別の可能性として、モード選択モジュール４９は、受信機２２からのフィードバックに基づいてｐを決定することもある。
【００８５】
エラー伝播マップは以下のように表され得る。
Ｄｅｐ＝（１−ｐ）Ｄｅｐ＿ａｒｒｉｖａｌ＋ｐＤｌｏｓｓ    （９）
エラー伝播マップＤｅｐは、最近に符号化されたフレームのマクロブロックｍまたはより好ましくは各下位部分（ブロックまたはサブブロック）ｍ（ｋ）に対する歪み推定値を含む。したがって、これはより明示的に以下のように書かれ得る。
Ｄｅｐ（ｍ（ｋ））＝（１−ｐ）Ｄｅｐ＿ａｒｒｉｖａｌ（ｍ（ｋ））＋ｐＤｌｏｓｓ（ｍ（ｋ））    （１０）
式中、ｍ（ｋ）はマクロブロックｍのｋ番目の下位部分（たとえば、サブブロック）を示し、ｐはパケット損失の確率を示す。
【００８６】
Ｄｌｏｓｓは上述のようにＤｅｃに等しい。Ｄｅｐ＿ａｒｒｉｖａｌはチャネルにわたる差、すなわち、符号化器における再構築サンプルと復号器における再構築との間の差を表す。たとえば、これは、差分二乗和（ＳＳＤ）に関して量子化され得る。
【００８７】
【数１３】
0006031106.tif 000014
式中、
【００８８】
【数１４】
0006031106.tif 000015
はソースコード化歪みおよびチャネルに起因する歪みの両方を考慮に入れた、復号器において受信される（インデックスｉの）サンプルである。すなわち、ｓｉは、生の符号化されていない入力サンプルであり、
【００８９】
【数１５】
0006031106.tif 000016
はソースコード化歪み（たとえば、量子化に起因する）を考慮に入れた、符号化器における再構築サンプルであり、
【００９０】
【数１６】
0006031106.tif 000017
は、チャネルの損失を伴う影響を含む合計の端から端までの歪みを考慮に入れたサンプルである。
【００９１】
【数１７】
0006031106.tif 000018
Ｄｅｐ＿ａｒｒｉｖａｌは以下に拡張することができる。
【００９２】
【数１８】
0006031106.tif 000019
式中、
【００９３】
【数１９】
0006031106.tif 000020
は再構築残差のサンプルである。それゆえ、以下のようになる。
【００９４】
【数２０】
0006031106.tif 000021
そのため、式（９）に代入すると、エラー伝播マップは以下のように書き換えることができる。
Ｄｅｐ＝（１−ｐ）Ｄｅｐ＿ｒｅｆ＋ｐＤｅｃ    （１４）
または、
Ｄｅｐ（ｍ（ｋ））＝（１−ｐ）Ｄｅｐ＿ｒｅｆ（ｍ（ｋ））＋ｐＤｅｃ（ｍ（ｋ））    （１５）
モード最適化問題を考慮すると、以下のようにも書かれ得る。
Ｄｅｐ（ｍ（ｋ），ｎ＋１）＝（１−ｐ）Ｄｅｐ＿ｒｅｆ（ｍ（ｋ），ｎ，ｏｏｐｔ）＋ｐＤｅｃ（ｍ（ｋ），ｎ，ｏｏｐｔ）    （１６）
式中、ｎはフレーム数であり、すなわち、Ｄｅｐ（ｎ＋１）は、既存の決定ｏｏｐｔおよび先行する時刻ｎにおけるフレームに関する歪みＤｅｐ（ｎ）マップを所与として、時刻ｎ＋１におけるフレームに関してモード選択を行うために使用されることになるエラー伝播マップである。
【００９５】
Ｚｈａｎｇによる非特許文献２にあるように、Ｄｅｃ項はまた、以下のように拡張され得る。
Ｄｅｐ（ｍ（ｋ），ｎ＋１）＝（１−ｐ）Ｄｅｐ＿ｒｅｆ（ｍ（ｋ），ｎ，ｏｏｐｔ）＋ｐ（Ｄｅｃ−ｒｅｃ（ｍ（ｋ），ｎ，ｏｏｐｔ）＋Ｄｅｃ−ｅｐ（ｍ（ｋ），ｎ））    （３）
式中、Ｄｅｃ−ｒｅｃは符号化器における再構築されたピクセルとエラー隠蔽されたピクセルとの間のＳＳＤを示し、Ｄｅｃ−ｅｐは符号化器および復号器におけるエラー隠蔽されたピクセルの間の予測ＳＳＤを示す。
【００９６】
式（３）を調べると、上記で説明したように、項Ｄｅｐ＿ｒｅｆは、対象ブロックの受信に成功したがその履歴内の何かが喪失した場合（対象ブロックの基準ブロックが喪失した、または基準ブロックの基準ブロックが喪失した、などの場合）に受けることになる歪みを表す。さらに、Ｄｅｃ−ｒｅｃは、隠蔽アルゴリズム自体の性質に起因する歪み（予測に関する内因性のソースコード化歪みＤｓにいくらか類似している）の推定値を表す。このとき、Ｄｅｃ−ｅｐは、両方の対象ブロックが喪失し（そのため、復号器において隠蔽される必要がある）、隠蔽された対象ブロックの履歴内の何かが喪失した場合（隠蔽がそこから行われるブロックが喪失した、または、そのブロックがそこから予測もしくは隠蔽されるブロックが喪失した、等の場合）に受けることになる歪みの推定値を表す。
【００９７】
そのため、歪みマップＤｅｐは、Ｄｅｃ−ｒｅｃおよび部分的にＤｅｃ−ｅｐから生じる新たな損失に起因する寄与、ならびに、Ｄｅｐ＿ｒｅｆおよび同じく部分的にＤｅｃ−ｅｐから生じる過去の損失に起因する寄与を含む。
【００９８】
シーケンス内の最初のフレームについて、フレームは、イントラコード化を用いてコード化されることになり、この場合、Ｄｅｐ＿ｒｅｆ＝０で、それゆえＤｅｐ＝ｐＤｅｃである。
【００９９】
エラー隠蔽歪みＤｅｃはモード選択モジュール４９によって計算される。項Ｄｅｃ−ｒｅｃは、隠蔽アルゴリズムの知識に基づき、使用される特定のエラー隠蔽アルゴリズムに応じて決まり得る。Ｄｅｃ−ｅｐは、Ｄｅｐ＿ｒｅｆと同様に、たとえば、基本隠蔽アルゴリズムの場合は同じ位置にあるブロックの歪みをコピーすることによって、または、動きを外挿するように試みるより複雑な隠蔽が使用される場合は複数の以前に符号化されたブロックｂ１〜ｂ４からの歪みの加重和を計算することによって（たとえば、下記の図１Ｃに関連する説明を参照されたい）、既存の（最近の）歪みマップに基づいて計算される。Ｄｅｃを計算する他の方法が使用され得、これは、符号化器内の再構築サンプルと、復号器に見られることになるようなエラー隠蔽されたサンプル（すなわち、喪失したフレームまたは領域を隠蔽するために以前に受信されたフレームまたは同じフレームの受信された領域からコピー、補間または外挿されたサンプル）との間の差の任意の推定値であり得る。
【０１００】
その後、モード選択モジュール４９は、各後続のインター予測フレームに関するエラー伝播マップを、各モード選択決定後に更新することによって維持し、これはここで、既存のエラーマップの知識からＤｅｐ＿ｒｅｆを計算することを含む。インター予測（動き推定）の場合、Ｚｈａｎｇによる非特許文献２に従って、これは、問題のフレームの動きベクトルを使用して行われる。
【０１０１】
この一例が図１Ｃに示されている。４つの例示的なブロックｂ１、ｂ２、ｂ３およびｂ４が基準フレームＦｎ内に（時刻ｎ−１において）示されており、基準フレームはすでに符号化されている。対象フレームＦｎのブロック（後続の時刻ｎにおける）は、基準フレームＦｎ−１から予測されることになる。たとえば、対象フレームＦｎ内の対象ブロックｂ１を考える。この目的のために、動き予測モジュール４４が、基準ブロックが基準フレームＦｎ−１内のオフセット位置から対象フレームＦｎ内の対象ブロックｂ１’の位置に平行移動されるときに、対象ブロックｂ１の最良の推定値を与えるような、対象フレームＦｎ内の対象ブロックと基準フレームＦｎ−１内の基準ブロック（点線で示す）との間のオフセットを定義する動きベクトルを求める。それゆえ、点線の基準ブロックは必ずしも基準フレームＦｎ−１内のインデックス可能なブロックではなく、すなわち、必ずしも基準フレームの所定の下位区分ではなく、任意裁量の量だけずれていてもよい（事実、さらにはある分数のピクセルだけずれていてもよい）ことに留意されたい。したがって、基準ブロックは、４つの実際のインデックス可能なブロックｂ１、ｂ２、ｂ３およびｂ４からの寄与から構成されている。
【０１０２】
したがって、エラー伝播マップＤｅｐ（ｎ＋１）の更新に使用するためのＤｅｐ＿ｒｅｆを求めるためのモード選択モジュール４９によって実行される既存の計算は、既存のマップＤｅｐ（ｎ）内のブロックまたはサブブロックｂ１〜ｂ４に関して記録されている歪みの加重和を計算することを含む。
【０１０３】
【数２１】
0006031106.tif 000022
またはより明示的には、
【０１０４】
【数２２】
0006031106.tif 000023
式中、ｗｉはブロックまたはサブブロックｂｉからの寄与を表す重みであり、Ｄｅｐ（ｉ）はブロックまたはサブブロックｂｉに対するエラー伝播マップエントリである。
【０１０５】
上記は、最初のエラー伝播マップＤｅｐを求め、このエラー伝播マップを使用して後続のコード化のための最適なコード化モード決定ｏｏｐｔを選択し、このコード化決定を使用してマップＤｅｐを更新し、その後、更新されたマップを次のコード化決定に使用し、以下続く既存のプロセスを説明しており、エラー伝播マップは、チャネルにわたる損失の推定される影響を含む端から端までの歪みを表す。たとえば、再びＺｈａｎｇによる非特許文献２が参照される。これは、本明細書においては損失適応的レート−歪み最適化（ＬＡＲＤＯ）と称される。
【０１０６】
しかしながら、Ｚｈａｎｇ他による非特許文献２のプロセスは、チャネルにわたる損失の可能性に関して純粋に符号化器において行われる事前の確率論的仮定のみに基づく。
【０１０７】
本発明は、符号化器における損失適応的レート−歪み最適化プロセスにさらに適応し、それによって、全体的なレート−歪み性能を改善するために、復号器から符号化器へフィードバックされている情報、たとえば、パケットおよび／またはフレーム到着ステータスを利用することによって、Ｚｈａｎｇにまさる改善を提供する。
【０１０８】
図４は、本発明を実施するのに使用され得る符号化器および復号器から成るシステムを示す概略ブロック図である。好ましくは、符号化器は、送信端末１２の記憶装置１４および処理装置１６内で具現化され、復号器は、受信端末２２の記憶装置２４および処理装置２６内で具現化される。送信端末１２の符号化器は、符号化モジュールと、復号器において実行されるような復号をミラーリングまたは近似する復号モジュールの符号化器側インスタンスとを備える。符号化モジュールは、順変換モジュール５１および量子化器５３、ならびに、可能性として、エントロピー符号化器（図示せず）のような１つまたは複数の他の段を備える。符号化器側復号モジュールは、逆量子化器６３および逆変換モジュール６１、ならびに、可能性として、エントロピー復号器のような他の段を備える。符号化器は、動き補償予測（ＭＣＰ）モジュール４４と、減算段（−）とをも備える。これらの符号化器要素の間の接続を説明するために、再び図３を参照する。
【０１０９】
さらに、図３には図示されていないが、符号化器は、符号化器側復号モジュール６１、６３と動き補償予測モジュール４４との間の経路内に接続されている復号画像バッファ６５をも備える。復号画像バッファ６５は、各々が短期基準または長期基準のいずれかを保持しているとマークされ得る複数の構成バッファ領域を備える。Ｈ．２６４において、長期基準を示すためにマーカが使用されている実際のバッファは１つしかない（しかし、他の実施態様における別個の専用の短期および長期バッファの可能性は除外されない）。図４において、復号画像バッファ６５は、１つまたは複数の短期基準６６、１つまたは複数の確認応答されていない長期基準６７、および、１つまたは複数の確認応答された長期基準６８を保持しているものとして示されている。
【０１１０】
各構成バッファ領域は、１つまたは複数の以前に符号化されたフレームまたはスライスが再構築された（すなわち、符号化された後、符号化器において見られることになるようなフレームまたはスライスを表すように、復号モジュール符号化器側インスタンス６１、６３によって再び復号されている）ものを記憶するように動作可能である。以前に符号化されたフレームまたはスライスのこれらの再構築されたものは、現在のフレームまたはスライスのインター予測コード化における基準として使用するために提供される、すなわち、それによって、符号化されるべき対象ブロックがバッファ内の基準ブロックに対してコード化されることができる。
【０１１１】
復号画像バッファ６５は、短期基準６６が、符号化されている各連続するフレームまたはスライスを用いて自動的に更新されるように構成されている。すなわち、各フレームまたはスライスが符号化されると、その後、新たなフレームまたはスライスの復号されたものが自動的に、以前に短期バッファ内に保持されていた別の少し前の基準フレームまたはスライスに上書きされる。好適な実施形態において、復号画像バッファ６５は、複数の短期基準６６を保持することができ、最も古い短期基準が常に、バッファ内で上書きされる基準である。これを行うために追加の条件は必要ない。
【０１１２】
記載のように、Ｈ．２６４  ＡＶＣ標準規格は、特定の基準フレームまたはスライスが長期基準６７、６８としてマークされることも可能にする。これらの長期基準は明示的に削除されるまで復号画像バッファ内にあるままである。すなわち、それらは、続いて符号化されるフレームまたはスライスによって自動的に上書きされず、代わりに、符号化器の別の動作または要素、たとえば、メモリ管理コマンドのような制御コマンドがトリガするという追加の条件に応じてのみ上書きまたは他の様態で削除される。制御コマンドは、いずれの動作を行うべきかを決定する符号化器のコントローラ（図示せず）によって発行されてもよい。長期バッファをクリアするためのコマンドが、スライスヘッダのような符号化ビットストリームのヘッダ内で復号器に送信されてもよい。同様の機能が、他の標準規格に組み込まれ得る。
【０１１３】
受信端末２４の復号器は、動き補償予測モジュール４４、復号モジュール６１、６３、ならびに、対応する短期および長期基準６６、６７および６８を記憶するように構成されている復号画像バッファ６５の復号器側インスタンス４４’、６１’、６３’、６５’、６６’、６７’、および６８’を備える。
【０１１４】
受信端末２４上の復号器は、フィードバックチャネルを介して送信端末１２上の符号化器と通信するように構成されている。フィードバックは好ましくは、ビデオストリームが受信端末２２に送信されるものと同じネットワーク３２、たとえば、インターネットのような同じパケットベースのネットワークを介するが、代替的なフィードバック機構の可能性は除外されない。
【０１１５】
例として、長期基準は以下のようにコントローラによって管理され得る。たとえば、復号画像バッファ内に２つの長期基準（たとえば、ｌｔ  ｐｏｓ０およびｌｔ  ｐｏｓ１）を維持すると決定される。符号化される第１のフレーム（時刻ｔ０における）がｌｔ  ｐｏｓ０内に置かれ得る。第１のフレームは復号器に到着することになり（１ＲＴＴ後に復号器からのフィードバックが到着することになる）、それゆえ、ｌｔ  ｐｏｓ０は最初はエラーなく確認応答されたとマークされることが仮定され得る。長期基準としてマークされる次のフレームは、時刻ｔ０＋ＲＴＴにおけるフレームであり、これはｌｔ  ｐｏｓ１に置かれる。ｌｔ  ｐｏｓ１における基準が到着した（そして、エラー伝播を含まない）ことを示す復号器からのフィードバックを符号化器が得た場合、ｌｔ  ｐｏｓ１はエラーなく確認応答されたとマークされ、次の長期基準フレーム（時刻ｔ０＋２＊ＲＴＴ）がｌｔ  ｐｏｓ０に置かれる。このように、これらの２つの位置がピンポンバッファを形成し、エラーなく確認応答される１つの位置と、精査に一時的に使用される１つの位置とが常にある。このように、損失の場合からの回復フレームを生成するのに使用することができる、復号画像バッファ内のごく最近に確認応答されたエラーのない基準が常にあるべきである。原則として、長期基準フレームが現時点位置に近くなるほど、インターコード化は効率的になり、したがって、回復フレームは（ビットが）小さくなる。しかしながら、これは例として説明した、符号化器のコントローラが長期基準を管理するための使用のために構成され得る１つの戦略に過ぎず、画像バッファ内の長期基準および短期基準のシステムを管理する他の方法が可能である（たとえば、さらにより良好な方法は、より多くの長期基準を提供することである）ことは了解されよう。
【０１１６】
図４の例示的な実施態様を参照すると、本発明は、復号器における復号画像バッファ６５’に関する情報を含むためにフィードバックを考慮する。このフィードバックが与えられると、復号器は、たとえば、復号器内のいずれのフレームまたはスライスが、エラー伝播歪みを一切含むことなく復号されたかを知る。図４において、復号画像バッファ６５内のエントリ６８は、そのような確認応答されたエラーのないフレームを指す。復号画像バッファ６５内のエントリ６７は、確認応答されていないフレームを指す。フィードバック機構を使用して、復号器に、（いずれのフレームが喪失されたかに関する情報に加えて）いずれが復号器において利用可能な最近に確認応答された長期基準であるかを気付かせることができる。以下において、確認応答された基準とは、好ましくは、単にそれ自体が確認応答されている基準ではなく、確認応答されたエラーのない基準（すなわち、エラー伝播歪みが一切ない基準）を意味する。すなわち、この基準は、好ましくは、単に現在の基準がその履歴の厳密な確認応答なしに受信されたことが確認応答されているのとは対照的に、基準が受信されたものとして確認応答され、その基準の履歴内の関連するすべても受信されたものとして確認応答されており、それによって、エラー伝播がないと知ることができるという厳密な定義に従って確認応答されるべきである。それ自体が確認応答されているだけであるが、エラーのないブロックに対して符号化されているフレーム内の部分もエラーがない（伝播エラーがない）ことに留意されたい。
【０１１７】
本発明の第１の実施形態によれば、確認応答された長期基準フレーム（またはスライス）に基づくインター予測を使用して、イントラコード化と同様に、復号器内のエラー伝播を止めることができる。長期基準からのインター予測を使用する利点は、インター予測の結果、概して所与の歪みレベルに対してビットレートが低くなることである。
【０１１８】
確認応答された長期基準をインター予測に使用することによって、本発明の第１の実施形態は、たとえば、Ｚｈａｎｇによる非特許文献２のフレームワーク内で使用されることになる、イントラコード化と同様に、しかし概してより低い関連するビットレートにおいてエラー伝播を止めることができるが、追加のマクロブロックコード化モードを利用可能にする。
【０１１９】
Ｚｈａｎｇ他による非特許文献２によるアルゴリズムは、２つの異なるタイプのコード化モード、すなわちイントラおよびインターコード化のみを考慮する。その場合、式（３）において、エラー伝播基準歪みＤｅｐ＿ｒｅｆ（ｍ，ｏ）はイントラコード化マクロブロックモードについてのみゼロである。しかしながら、本発明の第１の実施形態は、利用可能なコード化モードのセットを拡大して、確認応答された長期基準からのインターコード化を含む。そのようなコード化モードの利点は、イントラコード化と同様であるが、概してより低いビットレートにおいてエラー伝播を止めることができることである。
【０１２０】
上記で提示したアルゴリズムに対して必要な変更は、式（２）および（３）におけるエラー伝播基準歪みが、コード化モードが確認応答された基準フレームからのインター符号化であるときにもゼロに設定されることであり、すなわち、以下のとおりである。
【０１２１】
【数２３】
0006031106.tif 000024
第１の実施形態の特定の変形例において、上記の例は以下のように変更することができる。符号化器が、たとえば、往復時間（ＲＴＴ）に応じて決まる周期的な間隔をおいて、基準フレームを長期基準としてマークするシナリオを考える。したがって、復号画像バッファ６５（図４に示す）は、ある瞬間において、短期基準６６、「確認応答されていない」長期基準６７、および確認応答された長期基準６８を含むことになる。「確認応答されていない」長期基準６７が厳密な定義に従って復号器において確認応答されるためには、確認応答されていない長期基準の前に損失がないこと、すなわち、確認応答された長期基準が一切のエラー伝播歪みなしに復号されたフレームであることが必要とされることになる。符号化器側において、いずれのフレームが復号器によって受信されたかに関する情報を搬送するフィードバックが受信される。符号化器がいずれのフレームが（確認応答されていない）長期基準としてマークされているかを正確に知っており、パケットまたはフレーム損失確率の推定値ｐを有することを所与として、確認応答されていない長期基準が確認応答された長期基準に変換することになる確率のモデルを設定することが可能である。フレーム損失確率がｐであり、２つの長期基準の間に既知のまたは所定の間隔Ｌがある場合、確認応答されていない長期基準が確認応答されることになる事前の確率は（１−ｐ）Ｌである。漸進的に、肯定的なフィードバック情報が受信され、たとえば、復号器がそれまでにＬ個のフレームのうちのｌを受信しているとき、長期基準が確認応答されることになる確率は（１−ｐ）Ｌから（１−ｐ）Ｌ−ｌに変化する。ここで、記載の確率モデルを使用して、以下のように、上記のＤｅｐ＿ｒｅｆ（ｍ，ｏ）について式を一般化することができる。
【０１２２】
【数２４】
0006031106.tif 000025
式中、Ｄｅｐ＿ＬＴｒｅｆ（ｍ（ｋ））は確認応答されていない長期基準（単純にそのフレームのＤｅｐのコピー）に対する予測されるエラー伝播を示す。
【０１２３】
したがって、第１の実施形態のこの変形例は、確認応答されていない長期基準に基づくインター予測の使用を、確認応答されていない短期基準に基づくインター予測の使用から区別するまた別の符号化モードを導入する。フィードバックがまだ受信されていない特定の長期基準について、それにもかかわらず、これは、復号器からの中間報告に基づいてエラーのない確認応答された基準になる一定の確率を有する。確認応答されていない長期基準について、それゆえ、損失の確率の事前の推定に応じて（すなわち、ｐはそれ自体はフィードバックに基づいていない）、および、確認応答されていない基準の履歴内の最後の（最近の）確認応答された長期基準からの時間（または同等にフレーム数）に基づいてエラー伝播歪みＤｅｐ＿ｒｅｆ（ｍ，ｏ）の推定は重み付けされ得る。重みは、推定値を低減または抑制するために、歪みの推定値を減衰させる。
【０１２４】
上記の論理は例示的な実施形態に過ぎず、上記の形態において、すべての損失が長期基準とマークされているフレームに影響を及ぼすと仮定している点においていくらか保守的であることが留意され得る。上記の論理は、長期基準フレームに影響を与えるフレームまたはスライスの損失のみを考慮にいれるように修正することができる。
【０１２５】
また別の一般化において、長期基準が復号器によって受信されているが、長期基準の前に損失があった事例を考える。したがって、長期基準は上記の厳密な定義に従って「確認応答」されていない。しかしながら、フレームのすべてのマクロブロックについてモード決定が記憶されている場合、対応するモードがイントラまたは確認応答された長期基準に設定された部分は、ゼロエラー伝播基準歪みに関連付けられ、したがって、それらの領域から参照されるインター予測が、イントラコード化と比較してより低い可能性があるレート−歪みコストにおいてエラー伝播を遮断する。
【０１２６】
上記の例示的な実施形態はすべて長期基準およびフィードバック報告の概念に基づくが、往復時間（ＲＴＴ）が復号画像バッファ内の短期基準の数と比較して十分に短いとき、同じ概念が短期基準に適用されてもよい。すなわち、十分に小さいＲＴＴについて、代替的なまたは追加の可能性は、短期基準を確認応答されているものとして認識することであり、これは、その後、上述した、確認応答された長期基準と同様に使用することができる。前の節における式（３）に対して必要とされるアルゴリズムの変更は、Ｄｅｐ＿ｒｅｆ（ｍ，ｏ）がイントラコード化についてだけでなく、確認応答された基準からのインターコード化についてもゼロに設定されることである。
【０１２７】
上述の第１の実施形態に対する一般化は、ロバスト性とソースコード化との間でトレードオフを行うにあたっての柔軟性を改善する。
【０１２８】
さらに、デフォルトのＬＡＲＤＯは、制約されたイントラ予測を仮定する、すなわち、インター予測マクロブロックからのイントラ予測が禁止されている。しかしながら、本発明者は、制約されたイントラ予測が事実上、より深刻なコード化歪みを（特に、平滑な勾配画像領域上で）引き起こす可能性があることを観測している。それゆえ、本発明の特に好適な変形例において、制約されたイントラ予測なしにＬＡＲＤＯを作動させるべきである。イントラコード化モード（インター予測マクロブロックから予測されるとき）が、エラー伝播基準歪みにも関連付けられることが含まれ、したがって、エラー伝播基準歪みに関連付けられていないモードのみが、確認応答されたエラーのない基準画像からのインター予測である。
【０１２９】
本発明の第２の実施形態において、パケットおよび／またはフレーム到着ステータスのような、復号器から符号化器へフィードバックされている情報が、符号化器内の潜在歪みマップを調整し、それによって、Ｚｈａｎｇ他による方法と比較して全体的なレート−歪み性能を改善するために使用される。
【０１３０】
第２の実施形態によれば、各フレームまたはフレームのスライスに関する各エラー伝播歪みマップＤｅｐが、符号化器の復号画像バッファ６５内にそのフレームまたはスライスと関連付けて記憶される。各フレームまたはスライスについて、符号化器における復号画像バッファ６５は、対応するエラー隠蔽再構築歪みマップＤｅｃ−ｒｅｃ、エラー隠蔽エラー伝播マップＤｅｃ−ｅｐ、対応するモード決定ｏおよび動きベクトル情報をも記憶する。その後、復号器からのフィードバック情報が符号化器によって歪みマップを更新するために使用される。再び式（３）を参照する。フィードバック情報は、推定歪みトラッキングを改善することを可能にし、より良好なレート−歪み性能をもたらす。
【０１３１】
好ましくは、これは以下のように達成される。特定のフレームまたはスライスが復号器への到着に成功したことを知らせるフィードバック情報を符号化器が受信した場合、エラー隠蔽寄与Ｄｅｃ−ｒｅｃおよびＤｅｃ−ｅｐを式（３）内のエラー伝播歪みマップＤｅｐから削除することができる。逆に、特定のフレームまたはスライスが復号器において喪失したことを知らせるフィードバック情報が受信された場合、関連するエラー伝播歪みマップＤｅｐが、エラー隠蔽歪みからの寄与、すなわち、式（３）の右辺の第２の項Ｄｅｃ−ｒｅｃおよび第３の項Ｄｅｃ−ｅｐ（事前の損失確率推定値ｐを用いて正規化されている）のみを含むように再計算される。
【０１３２】
このとき、往復時間（ＲＴＴ）が復号画像バッファ内の基準画像の数と比較して短い場合、時刻ｎ−ＲＴＴにおける調整された潜在エラー伝播マップＤｅｐを、再帰的に式（３）を適用して時刻ｎ−１におけるエラー伝播歪みマップに伝搬させることが可能である。このとき、時刻ｎ−１における更新されたエラー伝播歪みマップＤｅｐは、モード選択プロセス（２）において使用される時刻ｎにおけるＤｅｐ＿ｒｅｆの計算を基礎とすることになる。この結果、潜在歪みマップのトラッキングがより正確になり、システムの全体的なレート−歪み性能が改善する。
【０１３３】
上記の実施形態は例としてのみ説明されていることが了解されよう。
【０１３４】
概して、上記はスライス、マクロブロックおよびブロックまたはサブブロックに関して記載されているが、これらの用語は必ずしも限定であるようには意図されておらず、本明細書に記載の着想は、フレームを分割または細分化するいかなる特定の方法にも限定されない。さらに、歪みマップは、フレームまたはフレーム内の領域全体をカバーしてもよく、コード化決定プロセスはフレーム全体にわたって、またはフレーム内のある領域のみに対して適用されてもよい。また、予測ブロック粒度は歪みマップ粒度と同じである必要はなく、またはさらには関連する必要もないことに留意されたい（ただし、その可能性は除外されない）。
【０１３５】
差分二乗和（ＳＳＤ）が、差分絶対値和（ＳＡＤ）と比較してより高い品質をもたらすため差の量として好適であることが多いが、後者の可能性または他の可能性は除外されず、概して、本発明は、歪みを量子化するための基礎としてサンプル間の差の任意の量を使用して実装され得る。
【０１３６】
一般的に、レートの量は、予測、および、量子化された変換係数を既述するパラメータを含む、すべての必要とされるパラメータのコード化をも考慮に入れる。この種類の最適化は、本明細書においては完全レート−歪み最適化（ＲＤＯ）と称される。しかしながら、より複雑度の低い実施形態において、歪みおよび／またはレート項は、すべてではなくいくつかの処理段の影響のみを考慮に入れること、たとえば、予測の影響のみを考慮に入れることによって近似され得る。
【０１３７】
さらに、本発明が２つのフレームｎ−１およびｎ、またはｎおよびｎ＋１などに関して説明されている場合、本発明の特定の実施形態によれば、（既存のコーデックではそうなっている場合があるが）これらが２つの隣接するフレームを参照する必要はない。いくつかの実施形態において、インター予測がさらにより先行しているフレームに対して実行され得る可能性があり、したがって、ｎ−１およびｎ、またはｎおよびｎ＋１は、本発明に関連して、それぞれ、任意の以前に符号化されたフレームまたは画像部分、および、それから予測されることになる後続のフレームまたは部分を参照するのに使用されてもよい。
【０１３８】
再び、損失に起因する寄与、またはデータがチャネルなどにわたって喪失したなどの「場合」に起こることを既述する任意のものが本願において記載されている場合、これは復号器によって受け得ることに関して符号化器によって行われる確率的仮定（たとえば、ｐ）に関連するに過ぎず、符号化器は無論何が起こるかを知らないことに留意されたい。確率論的仮定は、統計的ネットワークモデル化に基づいて設計段階において事前決定されてもよく、および／または、さらには復号器からのフィードバックに基づいて動的に決定され得る。
【０１３９】
本明細書における開示を所与として当業者には他の変形例が明らかになり得る。本発明の範囲は、記載されている実施形態によっては限定されず、添付の特許請求のみによって限定される。
【図１Ａ】
0006031106.tif 000026
【図１Ｂ】
0006031106.tif 000027
【図１Ｃ】
0006031106.tif 000028
【図２】
0006031106.tif 000029
【図３】
0006031106.tif 000030
【図４】
0006031106.tif 000031