(57)【特許請求の範囲】
【請求項１】
ビデオの符号変換方法であって、
入力ビデオの第１のレート−歪関数として入力ビデオの再量子化をモデル化することと、
前記入力ビデオの第２のレート−歪関数として再同期マーカ挿入レートをモデル化することと、
前記入力ビデオの第３のレート−歪関数としてイントラブロック挿入レートをモデル化することと、
総合歪みＤから前記第１のレート−歪関数をモデル化し、前記第１、第２、および第３のレート歪関数に従って前記入力ビデオを符号変換することで出力ビデオを生成することと
を備え、
前記入力ビデオは、前記出力ビデオの第２のビットレートよりも高い第１のビットレートを有し、
前記総合歪みＤは、
【数１】
0004667894.tif 000027
として表され、ここで、Ｌは前記入力ビデオにおける離散コサイン変換の周波数係数の総数であり、Φ（ωｉ）は係数ｉのパワースペクトル密度関数であり、Ｒは前記第２のビットレートであり、βは２ｌｎ２である
ビデオの符号変換方法。
【請求項２】
前記第１、第２、および第３のレート−歪関数に従って前記出力ビデオに前記入力ビデオのビットを割り当てることをさらに備える、請求項１に記載の方法。
【請求項３】
前記第１のレート−歪関数は量子化パラメータを出力し、前記第２のレート−歪関数は前記再同期マーカの挿入レートを出力し、前記第３のレート−歪関数は前記イントラブロックの挿入レートを出力する、請求項１に記載の方法。
【請求項４】
前記出力ビデオのフレーム間依存は、該出力ビデオの現フレームの再量子化歪が動き補償により該出力ビデオの次のフレームに伝搬されるために生じ、
前記再量子化歪の伝搬の計算のために前記次のフレームについて前記第１のレート−歪関数を修正すること
をさらに含む請求項１に記載の方法。
【請求項５】
βは変数であり、Ｒ（Ｄ）はＲγ（Ｄ）で置き換えられ、ここで、γはラグランジュの乗数であり、［ΠＬ−１ｉ＝０Φ（ωｉ）］１／Ｌは変数σ２で置き換えられ、よって前記歪は
【数２】
0004667894.tif 000028
となる請求項１に記載の方法。
【請求項６】
βは［１，１０］の範囲にあり、γは［０，１］の範囲にあり、よって前記歪は
【数３】
0004667894.tif 000029
となり、ここで、Ｄ０は、前記再量子化により生じる前記出力ビデオのイントラ符号化フレームの歪であり、Ｒ０は前記第１のビットレートである請求項５に記載の方法。
【請求項７】
前記第１、第２、および第３のレート−歪関数の２つのサンプル点からβおよびγを推定すること
をさらに備える請求項６に記載の方法。
【請求項８】
前記割り当ては、前記出力ビデオのフレームグループに対して作用し、前記出力ビデオの現フレームにおける再量子化歪が動き補償により該出力の次のフレームに伝搬されることによる前記入力ビデオのフレーム間依存を計算し、
前記変数σ２ｋをσ＊２ｋに変化させて前記フレーム間依存をモデル化することをさらに備え、再量子化インターフレームの歪が
【数４】
0004667894.tif 000030
として表され、ここで、σ＊２ｋ＝σ２ｋ＋αｋＤｋ−１であり、Ｄｋ−１は、前記入力ビデオの前フレームをより大きな量子化スケールで再量子化した場合に生じる量子化残差を示し、αｋは、動き補償の量により求められる伝播率を示し、αｋＤｋ−１は前記現フレームと前記前フレームの間の前記フレーム間依存をモデル化し、Ｎは１つのフレームグループ内のフレーム数である請求項６に記載の方法。
【請求項９】
前記再同期マーカの挿入に割り当てられるビットは、再同期ヘッダ内のビット数および再同期マーカの間隔から求められ、前記イントラブロックの挿入に割り当てられるビットは、インター符号化ブロックをイントラブロックで置き換えることで前記イントラブロックの挿入レートおよび平均レート増加から求められる請求項２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはビデオの符号変換に関し、特に、ビデオソースとエラー耐性のために適用されるビットとを符号化するために用いられるビット割り当て用のレート−歪モデルに関する。
【背景技術】
【０００２】
無線通信路を介したビデオビットストリームの送信は、帯域幅に制限があり通信路の雑音が大きいために困難な課題である。ビデオがもともと無線通信路で利用可能な帯域幅よりも高いビットレートで符号化されている場合、ビデオを送信する前に、先ずより低いビットレートに符号変換しなければならない。雑音の大きい通信路はビデオの品質を簡単に損なわせる可能性があるため、ビットストリームに割り当てられる合計ビット数が減っても、符号化したビデオビットストリームを送信エラーに対して耐性のあるものとする必要もある。
【０００３】
エラー耐性のビデオ符号化に用いられる主な方法には、再同期マーカの挿入およびイントラブロックの挿入（イントラリフレッシュ）の２つがある。いずれの方法も、エラーの局所化に有効である。エラーが局所化されれば、エラーの回復（recovery：修復）が容易になる。
【０００４】
再同期は、周期的なマーカを挿入し、エラーが発生すると、再同期マーカが最後に挿入されていた点から復号化を再開できるようになっている。このようにして、エラーの空間局所化を行う。同期マーカを挿入する基本的な手法には、Ｈ．２６１／Ｈ．２６３規格に採用されているブロックグループ（ＧＯＢ）ベースの手法、およびＭＰＥＧ−４規格に採用されているパケットベースの手法の２つがある。
【０００５】
ＧＯＢベースの手法では、ＧＯＢヘッダを所定数のマクロブロック（ＭＢ）の後に周期的に挿入する。パケットベースの手法では、各パケットの初めにヘッダ情報を配置する。パケットの形成方法はビット数に基づくため、パケットベースの手法は一般にＧＯＢベースの手法よりも均一である。
【０００６】
再同期マーカの挿入は、エラーの空間局所化を行うのに適しているが、イントラＭＢの挿入は、符号化したビデオビットストリームの時間的依存を減らすことによってエラーの時間局所化を行うために用いられる。
【０００７】
いくつかのエラー耐性ビデオ符号化方法が既知である。Reyes等著「Error-resilient transcoding for video over wireless channels」（IEEE Journal on Selected Areas in Communications, vol. 18, no. 6, pp. 1063-1074, 2000）では、エラー耐性の挿入とビデオ符号化の間の最適なビット割り当ては、通信路エラーによるエラー伝搬のレート−歪をモデル化することによって達成される。しかし、この方法は、ビデオの実際のレート−歪特性が既知であると仮定しているため、最適化を実際に実現することを困難にしている。また、この方法は、エラー隠蔽の影響を考慮していない。
【０００８】
Cote等著「Optimal mode selection and synchronization for robust video communications over error-prone networks」（IEEE Journal on Selected Areas in Communications, vol. 18, no. 6, pp. 952-965, 2000）では、最適なエラー耐性の挿入の問題を２つの下位問題、すなわち、ＭＢの最適なモード選択と、最適な再同期マーカの挿入とに分割している。この最適化は、ＭＢ毎に行なわれ、フレーム間依存は考慮していない。
【０００９】
Zhang等によって記載される別の方法「Video coding with optimal inter/intra-mode switching for packet loss resilience」（IEEE Journal on Selected Areas in Communications, vol. 18, no. 6, pp. 966-976, 2000）は、デコーダの総合歪を画素レベルの精度で繰り返し求め、パケット損失環境における空間的および時間的エラー伝搬を説明する。この方法は、最適なＭＢ符号化モードを選択しようとする。この方法は、他の方法と比較した場合、ＭＢレベルでは極めて正確である。しかし、この方法は、フレーム間依存を考慮しておらず、最適化は現在のＭＢに対してのみ行なわれる。
【００１０】
Dogan等は、「Error-resilient video transcoding for robust inter-network communications using GPRS」（IEEE Transactions on Circuits and Systems for Video Technology, vol. 12, no. 6, pp. 453-464, 2002）において汎用パケット無線サービス（ＧＰＲＳ）用のビデオを符号変換する枠組みを記載している。しかし、この方法では、挿入されるエラー耐性とビデオ符号化の間のビット割り当ては最適化されていない。
【００１１】
通信路エラーにより生じるビデオ歪については、Reibman等が「Low-complexity quality monitoring of MPEG-2 video in a network」（Proceedings IEEE International Conference on Image Processing, September 2003）において低複雑度のビデオ品質モデルを記載している。しかし、エラー伝搬の影響を判定するための測定は受信ビットストリームのみに基づく。この方法で十分に考慮されていない最も重要な側面の１つに、フレーム間依存の問題がある。フレーム間依存は、動き補償ビデオ符号化における重要な要素である。多くの場合、ビット割り当ておよび符号化モードの選択は、現在のＭＢまたは現フレームについてのみ最適化される。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
ビデオビットレートを低減する一方でエラー耐性を維持する最適な解決策を提供することが望ましい。多くの符号化方式に受け継がれるフレーム間依存を説明するとともに、受信機におけるエラー伝播を正確に説明するモデルをもつことも望ましい。これは、帯域幅が高くビットエラーレート（ＢＥＲ）が低い通信路（例えば有線通信路）から帯域幅が低くＢＥＲが高い通信路（例えば無線通信路）へビデオビットストリームを転送する場合に特に重要である。このような帯域幅が低い通信路の場合、ビットレートの低減と付加的なエラー耐性ビットのバランスをとる必要があるため、ビットレートの低減とエラー耐性の挿入という複合タスクが不可欠となる。
【課題を解決するための手段】
【００１３】
本発明は、ビデオを符号変換するための正確なレート−歪（Ｒ−Ｄ）モデルを提供する。１つのモデルは、フレーム間依存を考慮してビデオを再量子化するためのレート−歪特性を記述する。他のモデルは、動き補償ビデオにおけるエラー伝搬に対する歪の関係を推定し、イントラブロックおよび再同期マーカの挿入レートを特徴付ける。これらのモデルは、ビデオを符号変換するための最適なビット割り当て方式に用いられる。
【発明の効果】
【００１４】
本発明は、エラー耐性のビデオ符号変換における最適なビット割り当てのためにフレーム間依存を考慮するレート−歪（Ｒ−Ｄ）モデルを提供する。次善の方式は、遥かに低い複雑度で同様の性能を達成する。全体的に、本発明による可変ビット割り当てを用いる方法は、固定ビット割り当てを用いるエラー耐性符号変換方式と比べて性能が優れている。
【発明を実施するための最良の形態】
【００１５】
図１に示すように、本発明は、入力ビデオビットストリーム１０１を符号変換して出力ビットストリーム１０２のビットレートを低減する一方で、所与のビットレート制約下および通信路条件下でエラー耐性を維持する方法１００を提供する。本方法１００は、入力ビデオを３つのレート−歪（Ｒ−Ｄ）モデル、すなわち、ビデオソースの再量子化モデル１１１、イントラブロックリフレッシュモデル１１２、および再同期マーカモデル１１３にかける。これら３つのモデルの出力はビット割り当て制御モジュール１２０に入力される。このビット割り当て制御モジュール１２０は、量子化パラメータ１２１、再同期マーカレート１２２およびイントラブロックリフレッシュレート１２３を求める。これらのパラメータは、符号変換器１３０が出力ビットストリーム１０２を形成するために用いる。
【００１６】
３つのモデルは、ビデオソースモデルとエラー耐性モデルの両方にフレーム間依存が含まれているという点で新規である。さらに、符号変換におけるエラー耐性モデルは、受信機におけるエラー隠蔽を考慮する。
【００１７】
本発明はまた、低複雑度で略最適な性能を達成する符号変換方法の代替的な実施の形態を提供する。
【００１８】
符号変換器の構造
図２は、本発明による符号変換器２００を示す。この符号変換器は、デコーダ２１０とエンコーダ２２０とを備える。デコーダ２１０は、第１のビットレートの入力ビデオビットストリーム１０１を受け取る。エンコーダは、第２のビットレートの出力ビットストリーム１０２を生成する。通常の応用において、第２のビットレートは第１のビットレートよりも低い。
【００１９】
デコーダ２１０は、可変長デコーダ（ＶＬＤ）２１１と、第１の逆量子化器（Ｑ−１１）２１２と、逆離散コサイン変換（ＩＤＣＴ）２１３と、動き補償（ＭＣ）ブロック２１４と、第１のフレーム記憶部２１５とを備える。
【００２０】
エンコーダ２２０は、可変長コーダ（ＶＬＣ）２２１と、量子化器（Ｑ２）２２２と、離散コサイン変換２２３と、動き補償（ＭＣ）ブロック２２４と、第２のフレーム記憶部２２５とを備える。符号変換器はまた、第２の逆量子化器（Ｑ−１２）２２６と、第２のＩＤＣＴ２２７とを備える。
【００２１】
さらに、エンコーダは、イントラ／インタースイッチ２２８と、再同期マーカ挿入ブロック２２９とを備える。
【００２２】
図１のビット割り当て制御モジュール１２０は、量子化器２２２に量子化パラメータ１２１を、再同期マーカ挿入ブロック２２９に再同期マーカレート１２２を、またイントラ／インタースイッチ２２８にイントラブロックリフレッシュレート１２３を供給する。
【００２３】
問題の提示
本発明の目的は、レート制約に従って符号化ビデオビットストリームの端末間の歪を最小化することである。全レート予算は、レートに貢献する３つの異なる成分、すなわち、ビデオソースの再量子化、再同期マーカの挿入、およびイントラリフレッシュ、の間で割り当てられる。
【００２４】
この目的を達成するために、３つの別個の成分、すなわち、ビデオソースの再量子化モデル、イントラリフレッシュモデル、および再同期マーカの挿入モデルを説明する。後者の２つのモデルはエラー耐性である。これら３つの成分間にはいくらかの依存性があるが、各成分は、異なる通信路条件下で、符号変換したビデオのＲ−Ｄ特性に独自の影響を与える。
【００２５】
ビデオソースモデルは、再同期マーカやイントラリフレッシュの挿入のないビデオビットストリームのＲ−Ｄ特性を説明し、エラー耐性モデルは、イントラブロックの挿入および再同期マーカの挿入のＲ−Ｄ特性を説明する。
【００２６】
エラー耐性モデルをビデオソースモデルと分離することは近似であるが、本発明によるＲ−Ｄ最適化ビット割り当て方式について極めて正確であることが分かった。
【００２７】
問題は正式には以下のように記述される。ターゲットビットレート制約はＲＴである。総合歪はＤであり、平均二乗誤差（ＭＳＥ）として測定される。これらのパラメータが与えられると、ターゲットレートの制約に応じて歪を最小化する、すなわち、次式を解くことが望ましい。
【００２８】
【数１】
0004667894.tif 000002
【００２９】
ここで、ｄｋは３つの成分のそれぞれにより生じる歪であり、ｋ＝１，２，３についてｋ∈Ｋであり、ｒｋは各成分のレートであり、ωｋは割り当てに用いられる特定のパラメータ、例えば量子化パラメータ、再同期マーカの間隔、およびイントラリフレッシュレートである。
【００３０】
上記の問題を解く一方法は、ラグランジュの最適化手法によるものであり、次の量を最小化する。
【００３１】
【数２】
0004667894.tif 000003
【００３２】
ここで、λは最適化の際に求めるラグランジュの乗数である。この問題を解くのに用いられる最適な乗数を得るには二分プロセスを用いることができる。しかし、このプロセスは反復的であり計算費用が高い。また、この最適化手順に必要とされる正確なＲ−Ｄサンプル点を得ることは依然として未解決の問題である。
【００３３】
３つの成分のそれぞれに別個のＲ−Ｄモデルを用いて、最適化でシミュレーションから実際のＲ−Ｄ値を得なくてもよいようにすることが好ましい。これらのモデルを用いることにより、上記の問題を解くための計算負荷がいくらか軽減される。しかし、この解法は比較的複雑である。したがって、ビット割り当て問題を同様の性能で、ただし遥かに低い複雑度で解くことができる代替的な方法が求められ、本発明の一部として記載される。
【００３４】
ビデオソースの再量子化モデル
本発明による符号化ビデオソースのＲ−Ｄモデルは、フレームグループ（ＧＯＰ）に対して作用する。これは、動き補償により次のフレームに伝播する現フレームの再量子化歪を考慮することによってフレーム間依存を説明する。次にこれに従ってＲ−Ｄモデルを次のフレームについて修正し、このエラー伝搬効果を説明する。
【００３５】
出力ビデオ１０２のような合成信号を独立成分、すなわち再量子化ビデオ、再同期マーカ、およびイントラリフレッシュブロックに分解すれば、これら３つの個々のＲ−Ｄモデルから合成Ｒ−Ｄモデルモデルを直接導出することができる。さらに、信号をＤＣＴのようなエネルギーコンパクト変換により独立同一分布（ｉ．ｉ．ｄ．）のガウスソースに分解することができれば、符号化により生じる信号の総合歪Ｄは次のようにモデル化することができる。
【００３６】
【数３】
0004667894.tif 000004
【００３７】
ここで、ＬはＤＣＴの場合の周波数係数の総数であり、Φ（ωｉ）は係数ｉのパワースペクトル密度関数であり、Ｒは信号のビットレートであり、定数パラメータβは２ｌｎ２である。この結果から得られる興味深い観察は、レートの指数関数が係数の分散の和ではなく係数の分散の積に比例するということである。
【００３８】
上記のモデルは、細かい量子化を用いたガウスソースについてのみ正確である。ビデオソースは、一般化ガウスモデルでより正確に特徴付けできることが知られている。さらに、ビデオソースは、より低い帯域幅制約に適応するための符号変換中に粗い再量子化を行うことを必要とすることが多い。
【００３９】
以下の修正は、これらの２つの問題に対応するためにモデルに対して行われる。先ずパラメータβを固定値ではなく変数にし、次にＲ（Ｄ）をＲγ（Ｄ）で置き換える。
【００４０】
さらに、［ΠＬ−１ｉ＝０Φ（ωｉ）］１／Ｌの値を信号の全分散σ２で置き換えると、次式が得られる。
【００４１】
【数４】
0004667894.tif 000005
【００４２】
実験データは、βが通常［１，１０］の範囲にあり、γが［０，１］の範囲にあることを示す。次に、イントラ符号化フレームを再量子化するために、歪を次のように表す。
【００４３】
【数５】
0004667894.tif 000006
【００４４】
ここで、Ｄ０は、再量子化により生じるイントラ符号化フレームの歪であり、Ｒ０はレートである。イントラ符号化した分散σ２０は周波数領域で推定することができる。
【００４５】
本明細書中で説明するように、Ｒ−Ｄ曲線上の２つのサンプル点からモデルパラメータβおよびγを推定することが可能である。
【００４６】
フレーム間依存を考慮せずに、インター符号化フレームに同様のモデルを用いることができる。
【００４７】
【数６】
0004667894.tif 000007
【００４８】
ここで、ＮはＧＯＰの全フレーム数であり、Ｄｋは再量子化により生じるインター符号化フレームの歪であり、Ｒｋはレートであり、σ２ｋは入力信号の分散である。ここでもまた、モデルパラメータβおよびγは、Ｒ−Ｄ曲線上の２つのサンプル点から推定することができる。
【００４９】
フレーム間依存は、フレーム分散σ２ｋをσ＊２ｋに変えることによってモデル化される。
【００５０】
【数７】
0004667894.tif 000008
【００５１】
ここで、σ＊２ｋ＝σ２ｋ＋αｋＤｋ−１はフレーム間分散を示し、Ｄｋ−１は、前フレームをより大きなＱスケールで再量子化した場合に生じる余分な量子化残差（residue error）を示し、αｋは、動き補償の量により求められる伝播率（propagation ratio）を示す。項αｋＤｋ−１は現フレームと前フレームの間の依存性をモデル化する。この項は、動き補償により生じる量子化エラー伝搬効果を捕らえる。すなわち、前フレームを粗く量子化した場合、動き補償により、より多くの量子化エラーが現フレームに伝播する。
【００５２】
モデルパラメータの推定
提案するＲ−Ｄモデルのパラメータ推定は、ＧＯＰベースで２段階で行われる。第１段階では、ＧＯＰの全てのフレームを複数のサンプル量子化スケール（例えば４、８、３１）で再量子化する。Ｐフレームについては、動き補償は行なわない。３つのサンプルＲ−Ｄ点を用いて、式（５）から３つのパラメータσ２０、β０、およびγ０を求め、Ｉフレームのモデルを確立する。同様に、式（６）からパラメータσ２ｋ、βｋ、およびγｋを推定し、伝播効果を考慮に入れずにＰフレームのモデルを確立する、すなわち、ここで推定されるσ２ｋは入力信号の分散を示す。
【００５３】
第２段階では、αｋを求めることによって、Ｐフレームのモデルパラメータ推定値における伝播効果を処理する。これを行なうには、先ず、第１段階で用いたものとは異なる量子化スケール、たとえばＱＩ＝１４でＩフレームを再量子化する。次に、動き補償を行っている間にＰフレームを異なる量子化スケールで再量子化し、伝播効果を説明する。Ｐフレームの１つのサンプル点を用いて、式（７）からパラメータα＊２Ｋを推定することができる。次に、式（７）から、σ＊２ｋ＝σ２ｋ＋αｋＤｋ−１として、次式によりαｋを求める。
【００５４】
【数８】
0004667894.tif 000009
【００５５】
ここで、Ｄｋ−１は前フレームの歪である。
【００５６】
パラメータγｋおよびαｋは所与のシーケンス中で比較的一定である。したがって、これらのパラメータをシーケンスの最初に、あるいはシーンの変化が検出された場合に１度だけ推定すれば十分である。シーンの内容により敏感なパラメータ、例えばαｋおよびβｋの場合は、その値をフレーム毎に更新する。この簡略化の利点は、最初にγｋおよびαｋを推定してしまえば、モデルパラメータを求めるために行う必要がある符号変換が二度ではなく一度だけになることである。パラメータ｛α２ｋ｝は、式（４）に表されるようにＤＣＴ係数の分散から推定され、｛βｋ｝は、現フレームを再量子化することによって容易に得られる１つのＲ−Ｄサンプル点から推定される。
【００５７】
エラー耐性Ｒ−Ｄモデル
本節では、エラー耐性を高める第２および第３のレート−歪モデル、すなわち、再同期マーカの挿入およびイントラブロックリフレッシュを説明する。先ず、システムの構造、通信路タイプ、およびエラー隠蔽方法を含む送信環境を説明する。次に、再同期およびイントラブロックの挿入（イントラリフレッシュ）の歪モデルを説明する。ここでは、レート推定値はかなり簡単な方法で得られるため、歪モデルに焦点を当てる。具体的には、再同期マーカが消費するレートは、再同期ヘッダのビット数および再同期マーカの間隔から求めることができ、イントラリフレッシュが消費するレートは、インター符号化ＭＢをイントラ符号化ＭＢで置き換えることでイントラリフレッシュレートおよび平均レート増加から求めることができる。
【００５８】
システムの構造
図３は、雑音の大きい通信路を介してビデオビットストリームを送受信するシステム３００を示す。オーディオデータ３０１が生成され、符号化されたビデオデータ３０２と多重化される。このデータは、通常の移動体端末について規定されるＨ．３２４Ｍ規格、およびこのＨ．２２３規格の付属書Ｂに規定されるＡＬ３  ＴｒａｎｓＭｕｘにより送信される３１０。ビデオペイロードおよびオーディオペイロードにおけるエラー検出にはそれぞれ１６ビットおよび８ビットの巡回冗長符号（ＣＲＣ）を用いる。ビデオのパケット化には、ＭＰＥＧ−４の耐性ツールにおいて記載されているパケット構造を用いる。この構造により、略同じビット数で再同期が行われる。このように、通常のビデオパケットは、２バイトのコントロール、３バイトのヘッダ、および２バイトのＣＲＣチェックサムからなる合計７バイトのオーバーヘッドを有する。ビデオパケットの最大ペイロード長は２５４バイトである。
【００５９】
ビットストリーム中に独立したビットエラー３２１を想定する二元対称通信路（ＢＳＣ）モデルに従って無線通信路３２０を表す。ビデオ受信機３３０におけるエラーの検出、回復および隠蔽では、ＣＲＣチェックサムまたはビデオの構文（syntax）チェックのいずれかによってエラーが検出されると、エラーを含むビデオパケット全体を廃棄し、損失したＭＢを隠蔽することが仮定される。これは、エラーのあるパケットを復号化することによって生じる妨害的な視覚効果を防ぐために行われる。受信機は、ビデオデコーダ３０４を用いてオーディオ信号３０３およびビデオ信号を回復する。
【００６０】
検出可能な他のエラーとしては、不正なＶＬＣ、意味的エラー、ＭＢの過大なＤＣＴ係数（≧６４）、および矛盾した再同期ヘッダ情報（例えば域外のＱＰ、ＭＢＡ（ｋ）＜ＭＢＡ（ｋ−１）等）がある。エラーは、付加されたパケット再同期マーカまたはフレームヘッダに再同期することによって回復される。
【００６１】
エラー隠避には、単純なブロック交換方式を用いて、空間的なエラー隠蔽方法と時間的なエラー隠蔽方法の両方を使用する。
【００６２】
図４に示すように、イントラ符号化フレーム中の損失したＭＢ４０１に対して空間的な隠蔽方法を使用する。隠蔽は、直上の近傍４０２からＭＢをコピーすることによって行われる。
【００６３】
同様に、インター符号化フレーム中の損失したＭＢ４１０に対して時間的な隠蔽を使用する。ここで、損失したＭＢ４１０の動きベクトル４１４を、３つの特定の近傍（すなわち図４に示すようなａ４１１、ｂ４１２、およびｃ４１３と記されたブロック）から選択された動きベクトルの中央値に設定する。この動きベクトルが参照する前フレームのＭＢ４１５を現在の位置にコピーして、損失したブロック４１０を回復する。
【００６４】
なお、本発明において説明するエラー耐性モデルは、他の従来技術のエラー隠蔽方式にも適用される。
【００６５】
通信路エラーから生じる総合歪
図５および図６は、通信路エラーにより生じるＩフレームおよびＰフレームの総合歪の分解を示す。方形５０１はＩフレーム中の全ＭＢのセットを示し、方形６０１はＰフレーム中の全てのＭＢのセットを示す。
【００６６】
Ｉフレームの場合、歪は損失したイントラ符号化ＭＢ（ＬＳ）５０２から生じており、これらのＭＢは空間的に隠蔽される。Ｐフレームの場合、歪は２つの部分から生じる、すなわち、損失したＭＢ（Ｌ）６０２から生じる歪と、動き補償により崩壊した、ＭＣ  ＭＢ６０３として示す前のＭＢから伝播した歪とがある。損失したＭＢはさらに２つのカテゴリ、すなわち、損失され時間的な隠蔽により隠蔽されたインター符号化ＭＢ（ＬＴ）６０４と、損失され時間的な隠蔽により隠蔽されているが、交換そのものが崩壊しているインター符号化ＭＢ（ＬＴＣ）６０５とに分解される。なお、ＬＴＣ  ＭＢはＬ  ＭＢとＭＣ  ＭＢの共通集合を定義する。ＭＣＣ  ＭＢ６０６は、正しく受信されたが、動き補償により崩壊した前のＭＢを参照するＭＢを指す。
【００６７】
フレーム中の損失したＭＢの数がＹｌであり、動き補償により崩壊するＭＢの数がＹｍｃであり、フレーム中のＭＢの総数がＭである場合、フレームＥ［Ｙ］中で崩壊するＭＢの平均数は次のように表すことができる。
【００６８】
【数９】
0004667894.tif 000010
【００６９】
ここで、Ｙｌｔｃ＝Ｙｌ∩Ｙｍｃである。この共通集合は、損失したＭＢの数および動き補償により崩壊するインター符号化ＭＢの数に比例するため、次のことが言える。
【００７０】
【数１０】
0004667894.tif 000011
【００７１】
よって、ＭＳＥで測定される全平均歪は次式によって計算することができる。
【００７２】
【数１１】
0004667894.tif 000012
【００７３】
ここで、Ｄｓは空間的隠蔽の平均歪であり、Ｄｔは前フレームから正しいＭＢをコピーする場合の時間的隠蔽の平均歪であり、Ｄｔｃは崩壊したＭＢを前フレームからコピーする場合の時間的隠蔽の平均であり、Ｄｍｃは正しく受信され、動き補償により崩壊したＭＢを参照するＭＢの平均歪である。図５に示すように、ＭＣＣ  ＭＢの数はＹｍｃｃである。
【００７４】
上の式の各量を求める技法を以下で説明する。量には２つのカテゴリ、すなわち、損失したＭＢの隠蔽に関連する歪と、動き補償の結果として生じるエラー伝播に関連する歪とがある。
【００７５】
エラー隠蔽により生じる歪
ビデオフレームｎ中の１つのＭＢが損失される確率ｐｌは、ビデオパケットが損失される確立ｐｓｌによってモデル化することができる。通信路のビットエラーレート（ＢＥＲ）がＰｅであり、ビット数で表されるビデオパケットの平均長がＬｓである場合、次のように表される。
【００７６】
【数１２】
0004667894.tif 000013
【００７７】
したがって、フレームｎ中で損失されるＭＢの平均数Ｅ［Ｙｌ（ｎ）］はｐｌ・Ｍとなる。１つのＭＢの損失により生じる歪は、以下の３つの状況のいずれかにより計算することができる。
空間的に隠蔽され歪Ｄｓを生じるイントラ符号化ＭＢの損失
前フレームから崩壊していないＭＢをコピーすることによって時間的に隠蔽され、歪Ｄｔを生じるインター符号化ＭＢの損失
前フレームから崩壊したＭＢをコピーすることによって時間的に隠蔽され、歪Ｄｔｃを生じるインター符号化ＭＢの損失
【００７８】
ＤｓおよびＤｔの値は、損失したＭＢと交換ＭＢの間の画素差を計算することによって推定することができる。Ｄｔｃの値は、Ｄｔに動き補償による崩壊を加える、例えばＤｔｃ＝Ｄｔ＋Ｄｍｃとすることによって近似することができる。
【００７９】
エラー伝搬により生じる歪
マルコフモデルを用いて、動き補償によりエラー伝搬を推定することができる。マルコフモデルを用いる理由は、現フレーム中で動き補償により崩壊するＭＢの数が現フレームの動きベクトルおよび前フレーム中の崩壊したＭＢの数のみに依存するためである。動き補償により単一のＭＢが崩壊する確率は次式によって求めることができる。
【００８０】
【数１３】
0004667894.tif 000014
【００８１】
ここで、ρは前フレーム中で１つのＭＢが崩壊している確率であり、θ１は現フレーム中で単一のＭＢを参照するＭＢの割合を示し、θ２は２つのＭＢを参照するＭＢの割合を示し、θ３は前フレームの４つのＭＢを参照するＭＢの割合を示す。イントラ符号化ＭＢの割合をηとして示す場合、θ１＋θ２＋θ３＋η＝１である。この関係から、ηの値が高いほどｐｍｃの値が低くなることは明らかである。
【００８２】
次に、動き補償によるエラー伝搬を特徴付ける確率推移行列を次式によって計算することができる。
【００８３】
【数１４】
0004667894.tif 000015
【００８４】
ここで、ｊｍｃは、フレームｎ中の動き補償により崩壊したＭＢの数であり、ｉはフレームｎ−１中の崩壊したＭＢの総数である。ｎ階の確率推移行列Ｐｎは次のように表される。
【００８５】
【数１５】
0004667894.tif 000016
【００８６】
ここで、
【００８７】
【数１６】
0004667894.tif 000017
【００８８】
Ｐｋはフレームｋの１階のマルコフ推移行列である。フレームｎ中の動き補償により崩壊するＭＢの平均数は次式によって得ることができる。
【００８９】
【数１７】
0004667894.tif 000018
【００９０】
ここで、ｐ０（ｉ）は、第１のフレーム中でｉ個のＭＢが崩壊している確率である。
【００９１】
上記のモデルは計算が複雑であるため、ｎ階のマルコフモデルの代わりに１階のマルコフモデルを用いて簡略化し、Ｅ［Ｙ（ｎ）］を用いて式（１４）のｉを置き換える。したがって、式（１７）は次のようになる。
【００９２】
【数１８】
0004667894.tif 000019
【００９３】
したがって、フレームｎでの動き補償による平均歪は次式によって表すことができる。
【００９４】
【数１９】
0004667894.tif 000020
【００９５】
ここで、Ｄ（ｎ−１）はフレームｎ−１の平均歪である。
【００９６】
モデルの精度
図７は、マーカ間隔またはビデオパケット長に対する再同期マーカの挿入のＲ−Ｄモデルの精度を比較する。挿入される再同期マーカのレート変化は、［１３０，１３００］ビットの範囲のマーカ間隔またはパケット長の変化から生じる。通信路のＢＥＲ＝１０−４としてテストを行う。
【００９７】
図８は、イントラリフレッシュレートに対するイントラリフレッシュＲ−Ｄモデルのテストを示す。イントラリフレッシュレートは２％から９０％まで変化する。これらの図から、本発明のエラー耐性モデルは実際の歪を正確に予測することが分かる。
【００９８】
ビット割り当て
上述のビデオソースの再量子化、再同期マーカの挿入、およびイントラリフレッシュのＲ−Ｄモデルに基づいて、Ｒ−Ｄ最適化ビット割り当て問題を解くことが可能である。すると、結果として得られる最適なソースＲ−Ｄ曲線を、エラー耐性符号化の全体的なビット割り当てに用いることができる。全体的な最適ビット割り当て方式に基づいて、より低い複雑度で同様の性能を達成する符号変換を可能にする次善の方式を説明する。
【００９９】
最適化されたレート割り当て−ソースの再量子化のみ
ビデオソースの再量子化用のＲ−Ｄモデルを用いて、所与のレート予算Ｒについて最適なビット割り当て１２０を達成することができる。具体的には、次の問題の解を求める。
【０１００】
【数２０】
0004667894.tif 000021
【０１０１】
ここで、ＲｋｌおよびＲｋｕはｋ番目のフレームが達成できるレートの下限および上限である。
【０１０２】
Ｉフレームの場合、ＲｋｌおよびＲｋｕは、最小および最大の許容可能な量子化スケールによって求めることができる。Ｐフレームｋの場合、Ｒｋｌは、以前の全てのフレーム（０〜ｋ−１）に最小の量子化スケールを割り当て、現フレームに最大の許容可能な量子化スケールを割り当てることによって達成される。一方、Ｒｋｕは、以前の全てのフレームに最大の許容可能な量子化スケールを割り当て、現フレームに最小の量子化スケールを割り当てることによって得られる。実際に、Ｒｋｕは、現フレーム中の全てのＭＢをイントラモードで符号化することによって推定することができる。
【０１０３】
上記の最適化問題を解く既知の方法はいくつかあり、例えば、ラグランジュの乗数とトレリスに基づく動的プログラミング手法がある。この手法に伴う問題は、フレーム数が増えると、トレリスが指数関数的に増え、問題のサイズが直ぐに扱い難くなることである。もう１つの問題は、トレリスツリーを繰り返し巡回することによってラグランジュの乗数を求める必要があり、問題がさらに複雑になることである。代替的な手法は、最小化問題にペナルティ関数を組み込む。しかし、この反復手法は比較的複雑である。いずれの手法も、様々な動作点の実際のＲ−Ｄ値が容易に得られることを想定しているが、実際の応用ではそうとは限らない。
【０１０４】
本発明による方法は、射影（projected）ニュートン法に基づく。Bertsekas著「Projected Newton methods for optimization problems with simple constraints」（Tech. Rep. LIDS R-1025, MIT, Cambridge, MA, 1980）（参照により本明細書中に援用する）を参照のこと。
【０１０５】
この方法を用いるには、式（２０）の問題を修正する必要がある。第１に、最適な最小歪は、ΣｋＲｋ＝Ｒであるときに生じる。すなわち、最適解は常に、利用可能なビット予算全体を用いる。第２に、ほとんどの場合、下方ビット予算を達成することが現実的である。したがって、レート上限Ｒｋｕを超えることは稀である。よって、上限は排除することができる。このことから、新たな制約付き問題を次のように書き表す。
【０１０６】
【数２１】
0004667894.tif 000022
【０１０７】
ここで、ＲｋをＲ＊ｋ＋Ｒｋｌで置き換えることによって下限Ｒｋｌを排除する（ここで、Ｒ＊＝Ｒ−ＰｋＲｋｌ）。
【０１０８】
この方法の１つの利点は、ラグランジュの乗数のような付加的なパラメータを導入する必要がないことである。制約は方法の中で、変数置換および線形射影によって暗黙的に処理される。したがって、この方法は、その制約なしの対応物に匹敵する。本方法のもう１つの利点は、ヘシアン情報を用いて収束を改善することである。したがって、結果的に得られるニュートンのような方法は、典型的な超線形収束率を有し、従来技術の方法よりもかなり高速である。この方法により、計算時間を増やすことなく問題のサイズをかなり大きくすることができる。
【０１０９】
Ｒ−Ｄ微分の等化
低複雑度のビット割り当て実施態様を提供するために、次善の動作点を求める技法を説明する。この技法は、基本的にはＲ−Ｄ微分の等化方式である。この方式は、各成分のＲ−Ｄ関数の傾きが等化される、すなわち略同じとなる点で最適なビット割り当てを達成するという事実に基づく。
【０１１０】
最適点に近い動作点から開始して、目的は、動作点を最適点の方向に絶えず調整することである。これを達成するためには、２つのステップがある。
最適点に近い動作点から開始し、
ビデオの内容および通信路の条件に変化があれば最適点のほうへ移動してその点に留まる。
【０１１１】
第１のステップは、最初の最適化を行う必要があるのは第１のＧＯＰに対してのみであるため、さほど難しくない。第２のステップは、以下のＲ−Ｄ微分の等化方式を用いる。具体的には、各Ｒ−Ｄ曲線の局所微分を調べ、それに従って各成分に割り当てられたビットを調整する。レート予算が一定である場合、レートの変化ΔＲを微分の絶対値が最小の成分から最大の絶対微分値を持つ成分へ再割り当てすることは、最適解を良好に近似する。
【０１１２】
ビット割り当て方法
上述のレート割り当て方法を評価するために、以下の補助モデルを提供する。複数の符号変換成分の数はＮであり、成分ｉはビットレートＲｉおよび歪Ｄｉで動作する。総合歪はＤ＝ΣＮｉ＝１Ｄｉ（Ｒｉ）によって与えられ、合計レートはΣＮｉ＝１Ｒｉによって与えられる。本発明では、全てのＲ−Ｄ関数は凸関数であり、
全てのｉ＝１，．．．，ＮについてｄＤｉ／ｄＲｉ≦０
であると仮定する。
【０１１３】
この問題の１つの解釈では、付加的なレートΔＲ≧０が与えられる。目標は、成分間で割り当てを行い、総合歪Ｄを最大限に低減することである。ΔＲが比較的小さい場合、歪の全変化ΔＤは次のように表すことができる。
【０１１４】
【数２２】
0004667894.tif 000023
【０１１５】
上の式において、ｄＤｉ／ｄＲｉ≦０であるため、微分ｄＤｉ／ｄＲｉを微分ｄＤｋ／ｄＲｋの最大の絶対値で置き換える。したがって、最も良くΔＤを最小化する、すなわち、ΔＤ＜０であることから｜ΔＤ｜を最大化する割り当て方式は、全ての付加ビットを成分ｋに割り当てる。
【０１１６】
この問題の第２の解釈では、合計レートＲをΔＲだけ減らす。この場合、ΔＤは次のように表すことができる。
【０１１７】
【数２３】
0004667894.tif 000024
【０１１８】
上の式において、微分ｄＤｉ／ｄＲｉは、微分ｄＤｌ／ｄＲｌの最小の絶対値によって置き換えられる。したがって、ΔＤを最小化する最良のビット割り当て方式は、成分ｌのレートをΔＲだけ減らす。
【０１１９】
問題の第３の解釈では、合計レートを増減せずに符号変換成分間でビットの再割り当てを行う。これを達成するために、いくつかの成分のレートを上げる。本発明では、このグループを現在の動作レートＲｉｋおよび歪Ｄｉｋで表す（ここで、ｉｋ∈［１，Ｎ］である）。また本発明では、残りの成分のレートを下げる。本発明では、このグループを現在の動作レートＲｉｌおよび歪Ｄｉｌで表す（ここで、ｉｌ∈［１，Ｎ］である）。レート増加ΔＲｉｋおよびレート減少ΔＲｉｌは以下の３つの条件を満たすべきである。
【０１２０】
【数２４】
0004667894.tif 000025
【０１２１】
ここで、ΔＲは全レート調整である。次に、歪の全変化を次のように表すことができる。
【０１２２】
【数２５】
0004667894.tif 000026
【０１２３】
上の式から、歪を最小化する最適なビット再割り当て方式は、最小の絶対微分値を持つ成分のみからΔＲを差し引き、最大の絶対微分値を持つ成分のみにΔＲを加えるものであるはずであることが分かる。
【０１２４】
ここで扱うべきもう１つの点は、ΔＲの最適値である。ｉ＝１，．．．，Ｎについて微分ｄＤｉ／ｄＲｉの値の次元（value order）は変化すべきでないため、本発明では、式（２２）、式（２３）および式（２５）を有効に保つ可能な最大値を選択する。
【０１２５】
この方法は、グローバルな最適方法よりもコストが低い。各符号化成分の完全なＲ−Ｄ曲線は必要ない。本実施の形態において、Ｒ−Ｄ曲線上の２つの局所的なサンプル点を用いて離散微分を行うことができる。
【０１２６】
次善のビット割り当て手法
以下の手法は、低複雑度の符号変換操作を容易にするために実施される。ビデオシーケンスの１番目のＧＯＰについて、モデルパラメータを推定し、ビデオソースの再量子化、再同期マーカの挿入およびイントラリフレッシュのＲ−Ｄモデルを構築する。
【０１２７】
次に、上述のようなラグランジュの最適化プロセスによりこのＧＯＰの最適なビット割り当てを達成することができる。以後の各ＧＯＰについては、簡略化したパラメータ推定手順を用いて、２つの局所的な動作点を生成する。次に、離散微分により局所微分を得る。３つのＲ−Ｄ曲線の局所微分が等しい場合、現在のビット割り当てを維持する。そうでない場合、局所最大の絶対微分値を持つ成分のビット割り当てを増やし、局所最小の絶対微分値を持つ成分のビット割り当てを減らす。
【０１２８】
本発明を好適な実施の形態として記載してきたが、本発明の精神および範囲内で様々な他の適応および修正を行うことができることが理解されるべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲に入るそのような変形および修正をすべて網羅することである。
【図面の簡単な説明】
【０１２９】
【図１】本発明によるレート−歪モデルおよび符号変換方法のブロック図である。
【図２】本発明によるビデオ符号変換器のブロック図である。
【図３】本発明によるビデオシステムのブロック図である。
【図４】本発明が用いる空間的隠蔽方法のブロック図である。
【図５】通信路エラーにより生じるビデオのＩフレームの歪を分解するブロック図である。
【図６】通信路エラーにより生じるビデオのＰフレームの歪を分解するブロック図である。
【図７】再同期マーカの挿入の精度を比較するグラフである。
【図８】イントラブロックの挿入の精度を比較するグラフである。
【図１】
0004667894.tif 000031
【図２】
0004667894.tif 000032
【図３】
0004667894.tif 000033
【図４】
0004667894.tif 000034
【図５】
0004667894.tif 000035
【図６】
0004667894.tif 000036
【図７】
0004667894.tif 000037
【図８】
0004667894.tif 000038