(57)【要約】      （修正有）【課題】サーバとクライアントとの間でネットワークを介して送信されるビデオシーケンスにおける送信エラーにより発生するアーティファクトを隠蔽する方法及びデバイスを提供する。【解決手段】送信エラー後の突然の再同期化を回避することを可能にする。エラーが検出されると、ビデオストリームは、エラーを含まない第１のビデオストリーム及びエラーにより発生するアーティファクトを表すデータから作成される。作成されたビデオストリームがエラーを含まないビデオストリームに向けて収束するように、アーティファクトを表すデータの影響は時間と共に漸減する。送信エラーによる影響がプログレッシブに除去されるビデオストリームの作成は、サーバ又はクライアントにより実行されてもよい。【選択図】図９
2008219862.tif 000002
【特許請求の範囲】
【請求項１】
サーバ（１００）とクライアント（１０５）との間でネットワーク（１２５）を介して送信されるマルチメディアシーケンスにおいて、少なくとも１つの送信エラーにより発生する少なくとも１つの復号化エラーを隠蔽する方法であって、
前記少なくとも１つの送信エラーの検出に加え、リフレッシュデータを含み且つ前記マルチメディアシーケンスに結び付けられる同期化ストリームを取得するステップ（４０８、８０６、１１０３）と、
前記少なくとも１つの復号化エラーの特徴データを判定するステップ（４１１、８１９、１１０６）と、
前記同期化ストリーム及び前記特徴データの関数に従って結果として得られるストリームを作成するステップ（４１２、８１３、１１１７）であって、前記関数において前記特徴データの少なくとも１つの影響が時間と共にプログレッシブに減少する
ことを特徴とする方法。
【請求項２】
前記関数において、前記特徴データの前記少なくとも１つの影響は、前記リフレッシュデータを含む前記同期化ストリームの要素から開始する時間と共にプログレッシブに減少することを特徴とする請求項１に記載の方法。
【請求項３】
前記マルチメディアシーケンスに結び付けられる非同期化ストリームを作成するステップを更に含み、前記特徴データは前記非同期化ストリームにおいて伝播されることを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記少なくとも１つの送信エラーの検出時には、否定応答が前記クライアントから前記サーバに送信されることを特徴とする請求項３に記載の方法。
【請求項５】
前記結果として得られるストリームは、前記同期化ストリーム及び前記非同期化ストリームの加重平均に従って作成されることを特徴とする請求項３又は４に記載の方法。
【請求項６】
前記マルチメディアシーケンスは空間的冗長性及び時間的冗長性を減少するハイブリッド符号化動作に従って符号化され、前記同期化ストリームは空間的冗長性に従う符号化データに基づき、前記特徴データは時間的冗長性に従う符号化データを通して前記非同期化ストリームにおいて伝播されることを特徴とする請求項３乃至５のいずれか１項に記載の方法。
【請求項７】
前記方法は、前記サーバ（１００）において実現され、前記方法はまた、前記少なくとも１つの復号化エラーの場所に関する情報（４２２）を受信するステップを含むことを特徴とする請求項３乃至６のいずれか１項に記載の方法。
【請求項８】
前記受信した場所情報（４２１）に従って前記特徴データを伝播するステップを更に含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記非同期化ストリームの作成は参照データに基づき、前記参照データは前記特徴データを伝播する前記ステップに従って判定されることを特徴とする請求項８に記載の方法。
【請求項１０】
前記結果として得られるストリームを符号化するステップ（４１５）及び送信するステップ（４１７）を更に含むことを特徴とする請求項８又は９に記載の方法。
【請求項１１】
前記結果として得られるストリームの符号化は、参照データに基づき且つ前記同期化ストリーム及び前記非同期化ストリームの前記関数の結果に基づき、前記参照データは前記特徴データを伝播する前記ステップに従って判定されることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記方法は、前記クライアントにおいて実現されることを特徴とする請求項３乃至６のいずれか１項に記載の方法。
【請求項１３】
前記特徴データを伝播するためにデータを受信するステップ（８０４）を更に含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
参照データは、所定の瞬間に前記非同期化ストリームのデータを判定するために使用され、前記参照データは、前記先の瞬間において前記結果として得られるストリームの前記データであることを特徴とする請求項１２又は１３に記載の方法。
【請求項１５】
前記非同期化ストリームにおける前記少なくとも１つの復号化エラーを隠蔽するステップを更に含み、前記隠蔽ステップは前記クライアント（５０４、５０９）及び前記サーバ（５２３、５２６）において実現され、前記サーバにおいて実現される前記隠蔽は前記クライアントにおいて実行される前記隠蔽を再生成することを特徴とする請求項３乃至１１のいずれか１項に記載の方法。
【請求項１６】
特徴データを判定する前記ステップは、前記少なくとも１つの復号化エラーを推定するステップ（９０８）を含み、前記特徴データは、前記少なくとも１つの復号化エラーの前記推定を含むことを特徴とする請求項１又は２に記載の方法。
【請求項１７】
前記少なくとも１つの復号化エラーを推定する前記ステップは、
前記リフレッシュデータの少なくとも１つを含む前記同期化ストリームの要素に基づいて、非誤差要素と呼ばれる、前記マルチメディアシーケンスの要素を予測するステップと、
前記少なくとも１つの復号化エラーを含む誤差要素と呼ばれる対応する復号化要素と、前記非誤差要素とを比較するステップと
を含むことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記少なくとも１つの復号化エラーを推定する前記ステップは、
前記少なくとも１つの復号化エラーを含む要素に基づいて、誤差要素と呼ばれる、前記マルチメディアシーケンスの要素を予測するステップと、
前記リフレッシュデータの前記少なくとも１つを含む非誤差要素と呼ばれる前記同期化ストリームの対応する要素と、前記誤差要素とを比較するステップと
を含むことを特徴とする請求項１６に記載の方法。
【請求項１９】
前記予測の品質を評価するステップを更に含むことを特徴とする請求項１７又は１８に記載の方法。
【請求項２０】
前記特徴データは、前記マルチメディアシーケンスの前記少なくとも１つの復号化エラーの伝播を表す情報の項目を含むことを特徴とする請求項１６乃至１９のいずれか１項に記載の方法。
【請求項２１】
前記結果として得られるストリームは、前記少なくとも１つの復号化エラーの前記推定を前記同期化ストリームに転送することにより作成されるのが好ましく、前記少なくとも１つの復号化エラーの前記推定の影響は時間と共にプログレッシブに減少する（９１１）ことを特徴とする請求項１乃至２０のいずれか１項に記載の方法。
【請求項２２】
前記少なくとも１つの復号化エラーの前記推定は、前記同期化ストリームの少なくとも１つの要素の一部のみに転送され、前記一部は、前記マルチメディアシーケンスの前記少なくとも１つの復号化エラーの伝播を表す情報の前記項目に基づいて判定される（９１１）ことを特徴とする請求項１乃至２１のいずれか１項に記載の方法。
【請求項２３】
前記少なくとも１つの復号化エラーを隠蔽する先のステップと、前記隠蔽の品質を評価するステップとを含み、特徴データを判定する前記ステップは、前記推定された品質が所定の閾値より低い場合にのみ実現されることを特徴とする請求項１６乃至２２のいずれか１項に記載の方法。
【請求項２４】
前記マルチメディアシーケンスは、ビデオシーケンス、オーディオシーケンス又はオーディオビデオシーケンスを含むことを特徴とする請求項１乃至２３のいずれか１項に記載の方法。
【請求項２５】
請求項１乃至２４のいずれか１項に記載の方法の各ステップの実現のために適応される命令を含むコンピュータプログラム。
【請求項２６】
請求項１乃至２４のいずれか１項に記載の方法の各ステップを実行するためのコンピュータプログラムのコード命令を含むコンピュータ又はマイクロプロセッサにより部分的又は全体的に読み出し可能な取外し可能又は取外し不可能な情報記憶手段。
【請求項２７】
サーバ（１００）とクライアント（１０５）との間でネットワーク（１２５）を介して送信されるマルチメディアシーケンスにおいて、少なくとも１つの送信エラーにより発生する少なくとも１つの復号化エラーを隠蔽するデバイスであって、
前記少なくとも１つのエラーの検出に加え、リフレッシュデータを含み且つ前記マルチメディアシーケンスに結び付けられる同期化ストリームを取得する手段と、
前記少なくとも１つの復号化エラーの特徴データを判定する手段と、
前記同期化ストリーム及び前記特徴データの関数に従って結果として得られるストリームを生成する手段であって、前記特徴データの少なくとも１つの影響が時間と共に漸減する
ことを特徴とするデバイス。
【請求項２８】
前記マルチメディアシーケンスに結び付けられる非同期化ストリームを作成する手段を更に具備し、前記特徴データは前記非同期化ストリームにおいて伝播されることを特徴とする請求項２７に記載のデバイス。
【請求項２９】
前記同期化ストリームを生成する前記手段は、符号器を具備することを特徴とする請求項２７又は２８に記載のデバイス。
【請求項３０】
前記非同期化ストリームを生成する前記手段は、復号器を具備することを特徴とする請求項２８又は２９に記載のデバイス。
【請求項３１】
前記結果として得られるストリームを符号化するように適応された符号化手段を更に具備することを特徴とする請求項２８乃至３０のいずれか１項に記載のデバイス。
【請求項３２】
請求項２８乃至３１のいずれか１項に記載のデバイスを具備するサーバ。
【請求項３３】
前記同期化ストリームを生成する前記手段は復号器を具備する請求項２７又は２８に記載のデバイス。
【請求項３４】
２つの別個のストリームを並行して受信する手段を更に具備することを特徴とする請求項２８に記載のデバイス。
【請求項３５】
前記少なくとも１つの復号化エラーを推定する手段を更に具備することを特徴とする請求項２７に記載のデバイス。
【請求項３６】
前記少なくとも１つの送信エラーを検出する前に、前記同期化ストリームに基づいて、前記マルチメディアシーケンスの要素を予測する手段（９０５）を更に具備することを特徴とする請求項２７乃至３１、３３乃至３５のいずれか１項に記載のデバイス。
【請求項３７】
前記リフレッシュデータの受信後に、前記マルチメディアシーケンスの要素を予測する手段を更に具備し、前記要素は前記少なくとも１つの復号化エラーを含むことを特徴とする請求項３５に記載のデバイス。
【請求項３８】
前記予測した要素と、対応する復号化要素と、を比較する手段を更に具備することを特徴とする請求項３６又は３７に記載のデバイス。
【請求項３９】
前記予測した要素の品質を推定する手段を更に具備することを特徴とする請求項３５乃至３８のいずれか１項に記載のデバイス。
【請求項４０】
前記少なくとも１つの復号化エラーを隠蔽する手段と、
前記隠蔽の品質を評価する手段と
を更に具備することを特徴とする請求項３５乃至３９のいずれか１項に記載のデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信頼性の低いネットワークを介して送信元から１以上の受信側にマルチメディアコンテンツを送信することに関し、特に、損傷ビデオストリームを再同期化する方法及びデバイスに関する。
【背景技術】
【０００２】
一般に、信頼性の低いネットワークを介して送信元から１人以上の受信者にマルチメディアコンテンツを送信するシステムは、サーバ及び１つ以上のクライアントから構成される。図１は、分散型データ交換網を概略的に示す。そのようなネットワークは、クライアント端末及び／又はサーバの集合を含む。各端末は、ネットワークに接続され且つ通信手段を有する。例えばネットワークは、ＷｉＦｉネットワーク（８０２．１１ａ又は８０２．１１ｂ又は８０２．１１ｇ）、イーサネット（登録商標）網又はインターネット等の無線ネットワークであってもよい。サーバ１００は、特にビデオ取得又は記憶システム、符号器及びネットワークモジュールから構成される。クライアント１０５は、特に復号器及びネットワークモジュールから構成される。端末１００及び１０５の各々は、揮発性記憶メモリ１１０（キャッシュメモリ）、ファイルサーバ１１５及びユーザからの要求を通信できるマンマシンインタフェース１２０を具備するのが好ましい。端末は、グローバルネットワーク１２５を使用して直接通信できる。
【０００３】
一般に、符号化は、種々のビデオ圧縮を使用するビデオ規格に基づく。ビデオ圧縮方法は、フレーム内の空間的冗長性を減少するいわゆる「フレーム内」又は空間的方法と空間的冗長性及び時間的冗長性の減少を組み合わせるいわゆる「フレーム間」方法又はハイブリッド符号化との２種類に区別される。フレーム間ビデオストリームは、主に時間的予測フレーム（Pフレーム又はBフレーム）及び全ての他のフレームに依存しないフレーム内符号化フレーム（Iフレーム）から成る。圧縮に関して、Pフレーム及びBフレームはIフレームより非常に小さい。Pフレーム及びBフレームは、ネットワークを特徴付ける帯域幅の制約をより適切に満たす。Iフレームは時間依存性を低減するため、Iフレームを挿入することによりパケット損失及び送信エラーに対する耐性は増加する。従って、エラー伝播現象は低減される。
【０００４】
サーバのネットワークモジュールは、ビデオストリームをパケットに配置し、主にネットワークの状態、並びにクライアントの能力及び要求により規定される速度でそれらパケットを送信する役割を果たす。受信機は、ビデオの連続フレームを受信及び復号化し、後続するパケットを受信し続ける一方でそれらフレームを表示する。
【０００５】
送信エラーを管理する単純な方法は、損失パケット又はエラーパケットを再送信することである。ＡＲＱアルゴリズムは、そのような方法の一例である。しかし、一般にこの方法による遅延は、テレビ会議等の「リアルタイム」アプリケーションには大きすぎる。
【０００６】
別の方法は、元のデータの劣化したバージョン又はエラー訂正符号の形式でビデオストリームに冗長性を導入することから成る。ＦＥＣ（Forward Error Correction（順方向誤り訂正）の略語）システムは、送信エラーの修正を可能にする。この種のツールに固有の問題は、冗長性レベルの効果的な調整にある。冗長性レベルは、損失を修正するのに十分であるが、有用なデータの割合を最大限にするために制限される。
【０００７】
再送信（ＡＲＱ）又は冗長性の挿入（ＦＥＣ）によるエラー訂正の機構が全ての送信エラーを修正できない場合、あるいはそのような機構が実現されない場合、残存する送信エラーは復号化ビデオストリームにおいて可視であるアーティファクトとも呼ばれる復号化エラーを引き起こす。それら復号化エラーは、使用される予測符号化により１つの画像から別の画像に伝播する可能性がある。
【０００８】
そのため、フレーム間符号化を使用する多くのシステムは、エラー伝播を終了できるIフレームを周期的に挿入することにより、ストリームのリフレッシュ（又は再同期化）をデフォルトで実行する。しかし、フレーム内符号化のコストはフレーム間符号化のコストより非常に高いため、フレームレートを必要以上に速くしないように、フレーム周波数を減少する必要がある。更に、パケット確認応答機構は、サーバにパケットの損失を示し、クライアントのビデオストリームにおけるエラー伝播を停止するためにフレーム内符号化フレームを明示的に送信してもよい（要求時リフレッシュ又はフレーム内リフレッシュとも呼ばれる）。
【０００９】
送信エラー訂正機構は、損失により損傷したフレームの領域を補間する復号化エラー隠蔽方法により補足されることが多い。それら方法は、ネットワークリソース（ボリューム及び遅延）に関してコストがかからないという利点を有する。それら方法の実現は、実際には、クライアント上に存在する情報及びデータのみに基づく。それら方法は、失われたデータを再構成するためにフレームの有効領域に依存することにより同一フレーム内の空間補間に基づくか、あるいは現在のフレームを再構成するためにブロックの推定された動き及び先のフレームのデータを使用する時間補間に基づく。
【００１０】
それら技術が復号化エラー隠蔽に対して開発されたにも関わらず、現在、特に「リアルタイム」アプリケーションの場合にビデオの損傷フレームの完璧な再構成を保証できない。これにより、ユーザに対する視覚的な快適性に問題が生じる。
【００１１】
尚、この点に関して、定量化するのが困難な種々の視覚心理判定基準を測定値が満たす必要があるため、ビデオの視覚品質は自動的に評価するのは困難である。元のフレームと再構成されたフレームとの全体の差分を推定するＰＳＮＲ（Peak Signal to Noise Ratio（ピーク信号／雑音比）の略語）の測定値等のいわゆる特定の客観的な測定値は、フレームの再構成の品質を推定するための基準ツールである。
【００１２】
米国特許第６，６８３，９８８号公報において、損失隠蔽及びビデオストリームの再同期化に関する方法が説明される。フレームにおいて復号化エラーが発生した場合、復号器はその損失を符号器に示し、符号器は復号器上で実行される損失隠蔽をシミュレートする。従って、その損失の隠蔽は厳密に同一の方法を使用して復号器及び符号器上で実行されるため、ネットワークの各側に同一の参照フレームが存在することが保証される。次に、修正されたフレームは、後続する予測フレームに対して符号化レベルで参照フレームとして使用される。データ損失の修正は、最小限の符号化のコストで自動的に実行され、ビデオの品質は劣化する。
【００１３】
復号化エラー隠蔽が改善されることが判明しても、隠蔽の視覚効果は十分に考慮されるとは限らない。
【００１４】
米国特許第６，６９７，１２６号公報において、損傷フレーム又はビデオに対する損失隠蔽の視覚再生を改善する方法が説明される。この方法は、採用される損失隠蔽方法に依存せず且つそれを補完しない。この方法は、修正された領域とフレームの有効部分との遷移を空間的に平滑化することを提案し、それら２つの領域間に不自然に突然境界が現れることを防止する。しかし、この方法は、損傷領域に対して行なわれる修正の視覚的影響を十分に低減しない。
【発明の開示】
【発明が解決しようとする課題】
【００１５】
本発明により、上述の問題のうち少なくとも１つを解決できる。
【課題を解決するための手段】
【００１６】
本発明は、サーバとクライアントとの間でネットワークを介して送信されるマルチメディアシーケンスにおいて、少なくとも１つの送信エラーにより発生する少なくとも１つの復号化エラーを隠蔽する方法であって、
前記少なくとも１つの送信エラーの検出に加え、リフレッシュデータを含み且つ前記マルチメディアシーケンスに結び付けられる同期化ストリームとして参照されるストリームを取得するステップと、
前記少なくとも１つの復号化エラーの特徴データを判定するステップと、
前記同期化ストリーム及び前記特徴データの関数に従って結果として得られるストリームとして参照されるストリームを作成するステップとを有し、
前記関数において前記特徴データの少なくとも１つの影響が時間と共にプログレッシブに減少する方法に関する。
【００１７】
本発明に係る方法により、送信エラー、非効果的な修正又は部分的に効果的な修正による復号化エラーの視覚的影響を低減できる。従って、その方法は、ビデオストリームにおける修正方法及び損失隠蔽技術を補完する。
【００１８】
復号化エラーを含む要素とリフレッシュデータとの間の突然の遷移を回避するために、前記関数において、前記特徴データの前記少なくとも１つの影響は、前記リフレッシュデータを含む前記同期化ストリームの要素から開始する時間と共にプログレッシブに減少するのが有利である。
【００１９】
特定の一実施形態によると、方法は、前記マルチメディアシーケンスに結び付けられる非同期化ストリームとして参照されるストリームを作成するステップを更に含み、前記特徴データは前記非同期化ストリームにおいて伝播される。結果として得られるストリームは、同期化ストリーム及び非同期化ストリームの加重平均に従って作成されてもよい。
【００２０】
更に特定の一実施形態によると、前記マルチメディアシーケンスは、空間的冗長性及び時間的冗長性を減少するハイブリッド符号化動作に従って符号化され、前記同期化ストリームは空間的冗長性に従う符号化データに基づき、前記特徴データは時間的冗長性に従う符号化データを通して前記非同期化ストリームにおいて伝播される。
【００２１】
特に本発明は、エラー訂正及び損失隠蔽の不快な効果を低減するために、信頼性の低いネットワーク、並びにテレビ電話、テレビ会議及びビデオオンデマンドシステムを介して予測モードで符号化ビデオを配信することに関し、それによりビデオの視覚品質を変更する一方でそれを改善すると考えられる。
【００２２】
本発明により、データ損失後に実行される損傷ビデオストリームの突然の再同期化による不自然な時間的な不連続性を回避できる。ＰＳＮＲの全体的な量が減少するにも関わらず、本発明は、データ損失が発生した場合にビデオの主観的な視覚品質を向上できる。
【００２３】
特定の一実施形態によると、前記方法は、前記サーバにおいて実現され、前記方法は、前記少なくとも１つの復号化エラーの場所に関する情報を受信するステップを更に含む。方法は、前記受信した場所情報に従って前記特徴データを伝播するステップを更に含むのが有利である。
【００２４】
本発明は、復号器を変更せずに符号器において単純に実現される。
【００２５】
前記非同期化ストリームの作成は参照データに基づき、前記参照データは前記特徴データを伝播する前記ステップに従って判定されるのが好ましい。方法は、ネットワークを介して前記結果として得られるストリームを送信するために、そのストリームを符号化するステップ及び送信するステップを更に含むのが有利である。
【００２６】
あるいは、前記方法は前記クライアントにおいて実現されてもよい。
【００２７】
従って、本発明は復号器において実現され、単純な方法で符号器を変更する。
【００２８】
方法は、前記特徴データを伝播するためにデータを受信するステップを更に含むのが有利である。
【００２９】
特定の一実施形態によると、参照データは、所定の瞬間に前記非同期化ストリームのデータを判定するために使用され、前記参照データは、前記先の瞬間において前記結果として得られるストリームのデータである。
【００３０】
方法は、前記非同期化ストリームにおける前記少なくとも１つの復号化エラーを隠蔽するステップを更に含むのが有利である。
【００３１】
本発明は、損失隠蔽モジュールの品質及び効果を劣化させずに任意の損失隠蔽方法と共に使用される。本発明は、エラー隠蔽の効果及び欠陥並びにエラー隠蔽の欠如をより自然にし不可視にする。
【００３２】
あるいは、方法は、前記少なくとも１つの復号化エラーを推定するステップを更に含み、前記特徴データは、前記少なくとも１つの復号化エラーの前記推定を含む。
【００３３】
好適な本実施形態によると、本発明は、符号器又はビデオサーバを変更する必要なく復号器において実現される。
【００３４】
前記推定は、前記同期化ストリームに基づく前記マルチメディアシーケンスの要素の予測に基づき、前記要素は、好ましくは前記少なくとも１つの送信エラーの前であるのが有利である。
【００３５】
特定の一実施形態によると、前記推定は、前記予測した要素と対応する復号化要素とを比較することにより取得される。
【００３６】
あるいは、前記推定は、復号化要素に基づく前記マルチメディアシーケンスの要素の予測に基づき、前記要素は、前記少なくとも１つの復号化エラーを含む。
【００３７】
特定の一実施形態によると、前記推定は、前記予測した要素と前記リフレッシュデータの少なくとも１つを含む前記同期化ストリームの対応する要素とを比較することにより取得される。
【００３８】
更に特定の一実施形態によると、方法は、マルチメディアシーケンスの一部を更に劣化させないために前記予測の品質を評価するステップを更に含む。
【００３９】
前記特徴データは、マルチメディアシーケンスの前記少なくとも１つの復号化エラーの伝播を表す情報の項目を含み、減衰した復号化エラーの伝播を可能にする。
【００４０】
前記結果として得られるストリームは、前記少なくとも１つの復号化エラーの前記推定を前記同期化ストリームに転送することにより作成されるのが好ましく、前記少なくとも１つの復号化エラーの前記推定の影響は時間と共にプログレッシブに減少する。前記少なくとも１つの復号化エラーの前記推定は、前記同期化ストリームの少なくとも１つの要素の一部のみに転送され、前記一部は、前記マルチメディアシーケンスの前記少なくとも１つの復号化エラーの伝播を表す情報の前記項目に基づいて判定される。従って、復号化エラーの影響を受ける部分のみが変更される。
【００４１】
更に特定の一実施形態によると、方法は、前記少なくとも１つの復号化エラーを隠蔽する先のステップと、前記隠蔽の品質を評価するステップとを含み、前記特徴データを判定するステップは、前記推定された品質が所定の閾値より低い場合にのみ実現される。従って、方法は、復号化エラーが十分に隠蔽されない場合にのみ実現される。
【００４２】
前記マルチメディアシーケンスは、例えばビデオシーケンス、オーディオシーケンス又はオーディオビデオシーケンスを含んでもよい。
【００４３】
更に本発明は、上述の方法の各ステップの実現のために適応された命令を含むコンピュータプログラムに関し、また上述の方法の各ステップを実行するためのコンピュータプログラムのコード命令を含むコンピュータ又はマイクロプロセッサにより部分的又は全体的に読み出し可能な取外し可能又は取外し不可能な情報記憶手段に関する。
【００４４】
本発明は、サーバとクライアントとの間でネットワークを介して送信されるマルチメディアシーケンスにおいて、少なくとも１つの送信エラーにより発生する少なくとも１つの復号化エラーを隠蔽するデバイスであって、
前記少なくとも１つのエラーの検出に加え、リフレッシュデータを含み且つ前記マルチメディアシーケンスに結び付けられる同期化ストリームとして参照されるストリームを取得する手段と、
前記少なくとも１つの復号化エラーの特徴データを判定する手段と、
前記同期化ストリーム及び前記特徴データの関数に従って結果として得られるストリームとして参照されるストリームを生成する手段とを備え、
前記特徴データの少なくとも１つの影響が時間と共に漸減するデバイスに関する。
【００４５】
本発明に係るデバイスにより、送信エラー、非効果的な修正又は部分的に効果的な修正によるアーティファクトの視覚的影響を低減できる。従って、そのデバイスは、ビデオストリームにおける損失を修正及び隠蔽するデバイスを補完する。
【００４６】
特定の一実施形態によると、デバイスは、前記マルチメディアシーケンスに結び付けられる非同期化ストリームとして参照されるストリームを作成する手段を更に具備し、前記特徴データは前記非同期化ストリームにおいて伝播される。
【００４７】
前記同期化ストリームを生成する前記手段は、符号器を具備するのが有利である。同様に、前記非同期化ストリームを生成する前記手段は、復号器を具備するのが好ましい。
【００４８】
デバイスは、ネットワークを介して前記結果として得られるストリームを送信するために、そのストリームを符号化するように適応された符号化手段を更に具備するのが有利である。
【００４９】
更に本発明は、上述のデバイスを具備するサーバに関する。
【００５０】
特定の一実施形態によると、本発明に係るデバイスの前記同期化ストリームを生成する前記手段は復号器を具備する。
【００５１】
更に特定の一実施形態によると、デバイスは、前記同期化ストリーム及び前記非同期化ストリームを受信するために、２つの別個のストリームを並行して受信する手段を具備する。
【００５２】
好適な一実施形態によると、デバイスは、前記少なくとも１つの復号化エラーを推定する手段を更に具備する。本発明は、符号器又はビデオサーバを変更する必要なく復号器において実現されてもよい。
【００５３】
デバイスは、前記少なくとも１つの送信エラーを検出する前に、前記同期化ストリームに基づいて前記マルチメディアシーケンスの要素を予測する手段を更に具備する。デバイスは、前記予測した要素と対応する復号化要素とを比較する手段を更に具備するのが好ましい。
【００５４】
あるいは、デバイスは、前記リフレッシュデータの受信後に前記マルチメディアシーケンスの要素を予測する手段を具備してもよく、前記要素は前記少なくとも１つの復号化エラーを含む。同様に、デバイスは、前記予測した要素と前記同期化ストリームの対応する要素とを比較する手段を更に具備するのが好ましい。
【００５５】
特定の一実施形態によると、デバイスは、マルチメディアシーケンスの一部を更に劣化させないために前記予測した要素の品質を推定する手段を更に具備するのが好ましい。
【００５６】
更に特定の一実施形態によると、デバイスは、
前記少なくとも１つの復号化エラーを隠蔽する手段と、
前記隠蔽の品質を評価する手段とを具備する。
【００５７】
送信エラーの影響を低減する手段は、必要に応じてのみ実現される。
【００５８】
本発明の他の利点、目的及び特徴は、添付の図面と関連して限定しない例として与えられる以下の詳細な説明から分かるだろう。
【発明を実施するための最良の形態】
【００５９】
本発明に係る方法及びデバイスの目的は、再同期化ビデオへの損傷ビデオのプログレッシブなディゾルブを実行することである。プログレッシブなディゾルブは、復号器又は符号器において実施される。
【００６０】
概略的に、第１の実施形態及び第２の実施形態によると、説明される解決策は所定の遷移期間にわたり２つの並列ビデオストリームを作成及び管理することを必要とする。
【００６１】
・受信されたフレーム内符号化フレームから開始する再同期化された有効ストリーム
・フレーム内符号化フレームがまだ到着していないかのように、フレーム内符号化フレームが受信された瞬間を過ぎてエラーが伝播される損傷ストリーム
損傷ストリームは、プログレッシブなディゾルブ機構がクライアントにより実現される場合はクライアントによる処理の結果として得られる実際のストリームに対応し、プログレッシブなディゾルブがサーバにより実現される場合はシミュレートされたストリームに対応する。
【００６２】
再同期化ストリームと損傷ストリームとのプログレッシブなディゾルブにより取得されるストリームは、プログレッシブなディゾルブ機構がクライアントにより実現される場合は表示されたストリームに対応し、プログレッシブなディゾルブ機構がサーバにより実現される場合は符号化ストリームに対応する。取得されたストリームにより、損傷ストリームから有効ストリームに緩やかに移ることが可能になり、実行される修正処理を隠蔽する。
【００６３】
尚、損失隠蔽機構の使用は、プログレッシブなディゾルブを補完するが任意である。
【００６４】
プログレッシブなディゾルブがサーバにより、すなわち符号器により実現される場合、否定応答を受信した際、現在のフレームまでのエラー伝播及び復号器により実行される損失隠蔽をシミュレートし、連続するディゾルブを考慮して復号器の参照フレームを再計算することによりディゾルブの中間フレームを符号化する必要がある。エラーパケットに関して通知された否定応答が送出され、特にフレームの損失領域を示すと、復号器は特に処理を行なわず、受信したストリームは緩やかな再同期化を本質的に含む。従って、この解決策は符号器の変更のみを含む。
【００６５】
プログレッシブなディゾルブがクライアントにより、すなわち復号器により実現される場合、再同期化の開始時、ストリームを実際に再同期化するフレーム内符号化フレームと、エラーの伝播を可能にし且つ遷移期間にわたり損傷ストリームをシミュレートするフレーム間予測符号化フレームとを利用可能にする必要がある。復号器によるそのフレームの内挿は、オプションとして損失隠蔽技術により可能であるが、複雑な動きの場合には危険を伴う。しかし、この解決策は、復号器のみを変更するという利点を有する。より品質の良いプログレッシブなストリームを取得するために、復号器が別個に識別及び処理できるIフレーム及びPフレームを送出することにより再同期化フレームを複写するように符号器に指示するのが好ましい。そのような解決策は、符号器の変更を更に必要とする。
【００６６】
第３の実施形態によると、プログレッシブなディゾルブはクライアントにより実現される。劣化したフレーム間予測符号化フレームに後続するフレーム内符号化フレームは、対応する劣化していないフレーム間予測符号化フレームを予測するために使用される。それらフレーム間予測符号化フレームは、劣化の影響をプログレッシブに減少するために組み合わされる。
【００６７】
本発明又は本発明の一部を実現する装置を図２に示す。例えば装置２００は、マイクロコンピュータ、ワークステーション、デジタルアシスタント、移動電話、デジタルビデオカメラ、スチールカメラ、ビデオ監視カメラ（Ｗｅｂｃａｍ）、ＤＶＤリーダ又はマルチメディアサーバである。この装置がデジタル画像処理装置を直接搭載していない場合、装置は、グラフィックスカードに接続され且つ装置にマルチメディアデータを供給するデジタルビデオカメラ２０１（あるいは、アナログ／デジタル変換器又は任意の他のビデオ取り込み手段）等の種々の周辺装置に任意に接続されてもよい。
【００６８】
装置２００は通信バス２０２を具備し、通信バス２０２には以下が接続される。
【００６９】
−中央処理装置又はマイクロプロセッサ２０３（ＣＰＵ）。
【００７０】
−プログラム「Prog」、「Prog1」及び「Prog2」を含むことができる読み出し専用メモリ２０４（ＲＯＭ、Read Only Memoryの略語）。
【００７１】
−上記プログラムの実行中に作成及び変更される変数及びパラメータを記録するように適応されたレジスタを含むランダムアクセスメモリ又はキャッシュメモリ（ＲＡＭ、Random Access Memoryの略語）２０６。
【００７２】
−インターネット等の分散型通信網２２０に接続され且つデータの送受信が可能な通信インタフェース２１８。
【００７３】
オプションとして、装置２００は以下を更に有してもよい。
【００７４】
−キーボード２１０、あるいは例えばマウス２１１であるポインティングデバイス、光学スタイラス、タッチパネル又はリモートコントロールデバイス等の任意の他の手段を使用して本発明に係るプログラムと対話できるユーザに対するグラフィカルインタフェースとしての役割を果たし且つ／又はデータを閲覧するための画面２０８。
【００７５】
−例えばオーディオデータの場合にマイクロフォン２２２に接続される入出力カード（不図示）。
【００７６】
−上記プログラム「Prog」、「Prog1」及び「Prog2」、並びに本発明に従って処理されたデータ又は処理されるデータを含むことができるハードディスク２１２。
【００７７】
−ディスケット２１６を受け入れ、本発明に従って処理されたデータ又は処理されるデータを読み出すか又は書き込むように適応されたディスケットドライブ２１４。
【００７８】
−本発明に従って処理されたデータ又は処理されるデータを読み出すか又は書き込むように適応されたメモリカードのリーダ。
【００７９】
通信バスは、装置２００に含まれるか又はそれに接続される種々の要素間で通信及び相互動作が可能である。バスの表現は限定せず、特に中央処理装置は、装置２００の任意の要素に対して、装置２００の別の要素を使用して又は直接命令を通信できる。
【００８０】
プログラマブル装置が本発明に従って処理を実施するのを可能にする各プログラムの実行可能なコードは、例えばハードディスク２１２又は読み出し専用メモリ２０４に格納されてもよい。
【００８１】
一変形例によると、ディスケット２１６は、装置２００により読み出されるとハードディスク２１２に格納される上記プログラムの実行可能なコード及びデータを含むことができる。
【００８２】
第２の変形例として、プログラムの実行可能なコードは、上述と同一の方法で格納されるために通信網２２０の仲介によりインタフェース２１８を介して受信される。
【００８３】
ディスケットは、コンパクトディスク（ＣＤ−ＲＯＭ）又はメモリカード等の情報媒体で置換できる。一般に、ディスケットは情報記憶手段により置換されてもよい。ここで情報記憶手段は、装置に搭載されるか又は搭載されないコンピュータ又はマイクロプロセッサにより読み出し可能であり、取外し可能であってもよく、また実行ファイルが本発明に係る方法の実現を可能にする１つ以上のプログラムを格納するように適応される。
【００８４】
更に一般的には、１つ以上のプログラムは、実行前に装置２００の記憶手段のうちの１つにロードされてもよい。
【００８５】
中央処理装置２０３は、本発明に係る１つ以上のプログラムのソフトウェアコードの部分又は命令の実行を制御及び指示する。それら命令は、ハードディスク２１２又は読み出し専用メモリ２０４、あるいは他の上述の記憶素子に格納される。電源が投入されると、ハードディスク２１２又は読み出し専用メモリ２０４等の不揮発性メモリに格納された１つ以上のプログラムは、本発明の実現に必要な変数及びパラメータを格納するためのレジスタ、並びにランダムアクセスメモリ２０６に転送される。ランダムアクセスメモリ２０６は、本発明に係る１つ以上のプログラムの実行可能なコードを含む。
【００８６】
尚、本発明に係るデバイスを具備する通信装置は、プログラムされた装置であってもよい。この装置は、例えば特定用途向け集積回路（ＡＳＩＣ）に固定の１つ以上のコンピュータプログラムのコードを含む。
【００８７】
図３は、第１の実施形態に従って、送信エラーの影響を受けたビデオストリームの低速な再同期化処理の第１の例の原理を示すタイムチャートである。「低速な」再同期化及び「緩やかな」遷移という用語は、クライアントに提示されたビデオストリームがフレーム内符号化フレームによる再同期化の後の最適な品質を有するシーケンスに向けてプログレッシブに収束することを示す。図３を参照して説明する処理は、符号器において、すなわちサーバにおいて実現される低速な再同期化処理である。
【００８８】
参照３００は、サーバとクライアントとの間のある期間にわたるデータ交換を示す。時間の尺度３０５は、サーバがデータを送信又は受信する瞬間を示し、時間の尺度３１０は、クライアントがデータを送信又は受信する瞬間を示す。例えば時間kにおいて、サーバはP(k)フレームを送信し（参照３１５）、P(k)フレームは、時間k'においてサーバにより受信される。
【００８９】
サーバは、ビデオパケットをクライアントに送出し、それらパケットが受信されると、クライアントは、それらを受信、格納及び復号化する。例えばP(k)フレームに影響を及ぼす送信エラーが検出された場合、クライアントはフレームkのデータを失ったことを示すために、サーバにメッセージNACK(k)（Negatie ACKnowledgment（否定応答）の略語）を返す（参照３２０）。この間、サーバはIフレーム内符号化フレーム又はPフレーム間予測符号化フレームに対応するパケットを送出し続ける。この例において、サーバは、クライアントがP(k)フレーム間予測符号化フレームのエラーを検出した際に基づいた情報を受信するまでにP(k+1)〜P(k+10)フレーム間予測符号化フレームを送信した。
【００９０】
NACK(k)を受信すると（図３の時間t=k+10）、サーバの符号器は、再同期化フレーム内符号化フレームの送出の必要性を評価する。フレーム内符号化フレームは、送出されるとは限らない。例えば符号器は、その間に通常の周期に従って再同期化を既に実行した別のフレーム内符号化フレームを送出していた場合、フレーム内符号化フレームを送出しない。同様に、サーバがクライアント上で実行される損失隠蔽をシミュレートでき、それが効果的であると考える場合、サーバは再同期化を実行する必要がないと決定してもよい。
【００９１】
説明の必要条件として、以下において、サーバがエラー伝播を停止するためにストリームをリフレッシュすることを決定すると仮定する。同様の理由のために、符号器が受信したNACK(i)により宣言される損失に従って復号器の参照フレームをシミュレートできるため、後続するフレームの伝播エラーをシミュレートできることが受け入れられる。
【００９２】
標準的な処理と異なり、符号器は急峻なフレーム内（t+1）再同期化フレームを直接送出しない。符号器は、時間kにおいて損失隠蔽をシミュレートし、現在の時間tまでのエラー伝播を計算する。従って、符号器は、時間tにおいて復号器からの損傷参照フレームを利用可能にする。
【００９３】
その後、緩やかな遷移の期間を判定するN回のフレーム符号化の期間にわたり、符号器は以下の動作を実行する。ここで、例えばN=5である。
【００９４】
−符号器の参照フレームの構成I〜t（実際のビデオ）。
【００９５】
−エラー伝播のシミュレーションを使用する復号器からの参照フレームの構成I〜t*  （損傷ビデオ）。
【００９６】
−例えば２つのストリーム間の線形ディゾルブを実行する式It':=i／N×I〜t*+(N-i)／N×I〜tに従うI〜tとI〜t*との間の重み付きIt'フレームの計算。
【００９７】
−I〜't-1フレームを参照とするI〜'tへのI'tの符号化。
【００９８】
−そのI〜'tフレームに対応するP'(t)フレーム間予測符号化フレームのクライアントへの送出。
【００９９】
それら(N-1)個の中間フレームの送出の終了時、他にエラーが発生していなかった場合、復号器は、参照I〜tフレームを使用するP(i)フレーム間符号化フレームへの符号化を正常に継続する符号器と完全に再同期化される。
【０１００】
参照３５０は、ある期間にわたるＰＳＮＲの変動、すなわちクライアントにより表示されるフレームで発生するエラーの量子化の変動を示す。曲線３５５は、符号化及び送信の前のビデオのＰＳＮＲ、すなわちエラーを含まないビデオストリームのＰＳＮＲを表す。曲線３６０は、符号化され且つクライアントに送信されるビデオストリームのＰＳＮＲを示す。時間k'において、エラーを含むP(k)フレーム間予測符号化フレームが受信された場合、ＰＳＮＲは突然低下する。エラーの伝播のために、サーバがNACKを受信し且つ修正フレームを送信する時までＰＳＮＲは低下し続ける。この時、ＰＳＮＲは突然修正されないが、プログレッシブに増加する。
【０１０１】
図４は、図３を参照して説明されたタイムチャートを取得するための可能なハードウェア実現例を示す。図４に提示される符号器の予測スキーマは、適切なフレームとシミュレートされた損傷フレームとの間の現在の中間フレームの計算を示す。
【０１０２】
本発明によると、中間フレームは、適切なストリーム及び符号器によりシミュレートされる損傷ストリームから計算される。中間フレームは、常に復号器からの参照フレームに対して符号化される。
【０１０３】
実線で示される部分は、入力（有効）Itフレームに対する主な符号化ループを表し、ENC_DEC（図５ａを参照して説明する）で示される符号化モジュールを含む。符号器は、再構成I〜tフレームを供給する。点線で示される部分は、損失を信号伝送する際の低速な再同期化に対する符号器の初期化処理を表す。この部分は、その時点で符号器により復号器の損傷参照フレームを再構成する関数「PropagateLosses」を含むエラー伝播手順を使用する。細線の部分は、復号器の低速な再同期化に対する中間I'tフレームの符号化ループを表す。その部分は、現在の時間を過ぎてエラーI〜t*の伝播をシミュレートするために、DEC*（図５ｂを参照して説明する）で示される復号器DECと、低速な再同期化I'tフレームを符号化するENC_DEC'で示される符号器ENC_DECとを使用する。
【０１０４】
I〜t*とI〜tとの間の中間I'tフレームは、例えば式It':=i／N×I〜t*+(N-i)／N×I〜tに従って単純に計算される。式中、iはディゾルブ指数であり、以下の方法で定義される：
−ディゾルブが実行中でない場合、iはゼロである（I'tフレームはI〜tフレームと同一である）。
【０１０５】
−再同期化の開始時、iは値N-1に初期化される。
【０１０６】
−iが厳密にゼロより大きい場合、ディゾルブ指数iは低速な再同期化に伴ってプログレッシブに減分され、低速な再同期化の終了時には値ゼロになる（同期化の開始時はI't≒I〜t*であり、同期化の終了時はI't＝I〜tである）。
【０１０７】
−シーケンス又はＧＯＰ（Group Of Picturesの略語）の最初において、iは値ゼロにされる。
【０１０８】
初期化ステップ４０１の間、現在のフレームの番号を表す変数tは値t0に初期化される。
【０１０９】
主な符号化ループにおいて、ストレージ周辺装置４０２（又はビデオ取得周辺装置）はItフレームを供給する。Itフレームがシーケンスフレーム内符号化フレーム（又はＧＯＰ）の最初であるかを判定するためにテスト４０３が実行される。
【０１１０】
Itフレームがシーケンスフレーム内符号化フレームの最初である場合、ディゾルブ指数iは値ゼロに初期化又は再度初期化され（ステップ４０４）、実行中の再同期化を停止する。
【０１１１】
Itフレームがシーケンスフレーム内符号化フレームの最初でない場合、ディゾルブ指数iが厳密にゼロより大きいかを判定するために第２のテストが実行される（ステップ４０５）。ディゾルブ指数iが厳密にゼロより大きくない場合、ディゾルブ指数iは１減分される（ステップ４０６）。
【０１１２】
ディゾルブ指数iがゼロに初期化又は再度初期化されるか、あるいは厳密にゼロより大きくない場合、復号器からの参照フレームI〜t*は、先に計算されたI〜tフレームに従って再度初期化される（参照４１０）。
【０１１３】
次に、ステップ４０８において、符号器ENC_DECは、動きべクトルデータ及びPフレーム間予測符号化フレームに対する残留値又はIフレーム内符号化フレームに対する空間圧縮フレームを主な出力（参照４０９）として供給し、再構成I〜tフレームを２次出力（参照７１０）として供給する。符号器ENC_DECは、それ自体の参照フレームを更新する。
【０１１４】
参照フレーム（参照７２４）が損傷フレームの値に初期化されるため、再同期化が実行中である場合、復号化モジュールDEC*は、符号化フレームを受信し且つ損失の伝播をシミュレートする（ステップ４１１）。エラーが発生しなかった場合、復号器DEC*は符号器ENC_DECと同一の参照フレームを利用可能にする。尚、復号器DEC*は、エラーのない次のフレーム内符号化フレームまで又は次の初期化まで（参照フレーム４２４）ドリフトし続ける。ディゾルブ指数iがゼロである場合、復号器DEC*から得られる誤ったI〜t*フレームは送信されたI'tフレームに対して影響を与えない。
【０１１５】
ステップ４１２において、適切なビデオストリーム（参照４１０）と損傷ビデオストリーム（参照４１１）との間のディゾルブ指数iにより重み付けされた中間フレーム（参照４１３）が計算される。
【０１１６】
符号器ENC_DEC'は、参照I'refフレーム（参照４１４）を使用して中間I'tフレーム（参照４１３）を符号化する（ステップ４１５）。
【０１１７】
符号化I'tフレーム（参照４１６）はデータパケットに変換され、データパケットは送信機４１８に送信される（ステップ４１７）。送信機４１８は、パケットをクライアントに送出する。
【０１１８】
エラーNACK(k)がクライアントにより信号伝送されない場合（ステップ４１９）、現在のフレーム番号は増分され（ステップ４２０）、図示されるように先のステップが繰り返される。
【０１１９】
一方、エラーNACK(k)がクライアントにより信号伝送される場合（ステップ４１９）、ディゾルブ指数iは値Nに初期化され、時間kにおける損失隠蔽が受信された損失情報「LossInfo」（参照４２２）を使用してシミュレートされる。ステップ４２１において損傷ビデオの参照フレームIt*（参照４２３）を取得するために、エラーの伝播は現在の時間tまで追跡される。このIt*フレームは、復号器DEC*（参照４２４）及び符号器ENC_DEC'（参照４１４）により参照フレームとして再生成される。現在のフレーム番号は増分され（ステップ４２０）、図示されるように先のステップが繰り返される。
【０１２０】
図５は、図５ａ及び図５ｂを含み、符号器及び復号器において実現されるアルゴリズムをそれぞれ示す。
【０１２１】
図５ａは、符号化される元のItフレーム及び参照Irefフレームすなわち復号器により再構成された先のI〜t-1フレームからの関連する動きベクトルMVtを使用して、フレーム内符号化フレームすなわち直接空間圧縮されたフレーム又はフレーム間予測符号化フレームすなわち量子化残留予測エラーのフレームEtqを配信するために、時間tにおいて符号器ENC_DECにより実行される動作の構成及びシーケンスをより正確に説明する。
【０１２２】
更に、図及び関連する説明を簡単にするために、処理動作は一般に入力フレームの各マクロブロックＭＢに適用されるが、フレーム全体に対して処理動作を説明する。また表示は、フレームのマクロブロックを示すべきであるが、フレーム全体に簡単化される。従って、例えばＤＣＴ（Discrete Cosine Transform（離散コサイン変換）の略語）処理動作及びItフレーム上に表される動き補償の推定は、実際には、Itフレームを構成する各マクロブロックＭＢに対して実行される。更に、Iフレーム及びPフレームの符号化及び復号化のみが考慮される（本発明の好適な実施形態によると、Bフレームは使用されない）。
【０１２３】
符号器ENC_DECは、損失隠蔽及びそのドリフトをシミュレートできる。
【０１２４】
時間tにおいて、符号化されるフレーム（又は更に正確にはマクロブロック）Itは、符号器の入力５０１に送信され、符号器は、復号器からの参照Irefフレーム、すなわち一般に符号器の入力Iref（５０１”）により再構成されるか又は初期化される先のフレーム（t-1）I〜t-1を内部的に利用可能にする。クライアントの復号器からのデータ損失がサーバ上でシミュレートされた場合、リターンチャネルを介して回復されたデータ「LossInfo」は入力５０１’において入手可能である。
【０１２５】
動き推定モジュールは、ItフレームのマクロブロックＭＢ毎に、最も類似する参照Irefフレームと同一サイズの領域を標準の「ブロックマッチング」アルゴリズムにより識別する。動き推定モジュールは、予測エラーを最小限にする動きベクトルMVtをその領域から得る（ステップ５０２）。
【０１２６】
動き補償モジュールは、参照Irefフレーム及びステップ５０２で計算された動きベクトルMVtから補償（又は予測）I^tフレームを計算する。
【０１２７】
データが失われた場合、時間的損失隠蔽モジュールは、パラメータとして供給された損失情報「LossInfo」からの予測I^tフレームの損傷領域又は失った領域を修復しようとする。時間的損失隠蔽モジュールは、修正I^tCフレームを構成する（ステップ５０４）。損失が信号伝送されない場合、I^tCはI^tと同一である。
【０１２８】
未処理の残留補償エラーのフレームは、式Et=It-I^tCに従って計算される（ステップ５０５）。動きベクトルMVtはEtフレームを符号化するために使用される。フレーム内符号化フレームを符号化する場合、ベクトルはゼロであり、I^tCはゼロにされ、それによりItフレームの単純な空間圧縮が行なわれる。
【０１２９】
ネットワーク層に送信される前に、エラーのフレームEtはＤＣＴ変換により圧縮され、送信されるデータサイズを最小限にするために量子化される（ステップ５０６）。この圧縮により、エラーのフレームEtは量子化エラーのフレームEtqに劣化する。Etqは、残留予測エラーの最終的なフレームである。ＶＬＣ（Variable-Length Code（可変長コード）の略語）エントロピー符号化及びデータパケットの形式への変換の後、その最終的なフレームは動きベクトルMVtと共に送信される（参照５１２）。理解し易いように、エントロピー符号化及び復号化モジュール（周知である）は図示しない。
【０１３０】
次の参照フレームを構成し、復号器により再構成された現在のI^tフレームを計算するために復号器により実際に再構成されたエラーのフレームを入手可能にするように、逆変換、すなわち逆量子化及び逆ＤＣＴ変換を実行する必要がある（ステップ５０７）。
【０１３１】
新しい参照フレームは、式I^t=I^tC+E〜tに従って現在のフレームの再構成として計算される。式中、I^tCは、実質上送信された動きベクトルを含む旧参照フレームの補償及び可能性として修正されたフレームであり（ステップ５０３及びステップ５０４）、E〜tは、送信された残留エラーの伸張フレームである（ステップ５０７）。符号化フレームがフレーム内符号化フレームである場合、予測I^tCフレームはヌルであり、I〜tフレームは伸張E〜tフレームに対応する（ステップ５０７）。
【０１３２】
データが失われた場合、空間的損失隠蔽モジュールは、ステップ５０８においてI〜tフレームの再構成から生じる最新の損傷領域を空間的に補間する（ステップ５０９）。図示するように、I〜tフレーム５１０は、符号器ENC_DECの出力において入手可能であり、新しい参照Irefフレームとして格納される（ステップ５１１）。
【０１３３】
残留及び動きベクトルMVtは、データパケット作成モジュールに送信されるために、符号器ENC_DECの主な出力として供給される。
【０１３４】
図５ａは、フレーム内符号化に対しても有効であり、主な相違点は、動きの推定が行なわれないこと（ベクトルMVtがヌルであること）及び残留Etが０にされることである。
【０１３５】
図５ｂは、量子化残留エラーのフレームEtq及び関連する動きベクトルMVt、並びに一般に復号化された先の画像に対応する参照IrefフレームからI〜tフレームを配信するために、時間tにおいて復号器DECにより実行される動作の構成及びシーケンスを更に正確に説明する。復号器DECは、符号器と同一の時間的及び空間的損失隠蔽モジュールを利用可能にする。
【０１３６】
時間tにおいて、復号器DECは、入力５２１において復号化されるフレームのデータ(Etq , MVt)を受信し、フレーム間予測符号化フレーム（P）の残留のフレームEtq及び動きベクトルMVt、あるいはフレーム内符号化フレーム（I）の圧縮Etqフレームをそこから抽出する。損失情報は、復号器DECの入力５２１’において入手可能である。復号器DECは、参照Irefフレーム、一般に復号器DECの入力Iref５２１”により先に再構成されたか（t-1）又は初期化されたフレームを利用可能にする。
【０１３７】
動き補償モジュールは、参照Irefフレーム及び動きベクトルMVtから補償（又は予測）I^tフレームを計算する（ステップ５２２）。
【０１３８】
データが失われた場合、時間的損失隠蔽モジュールは、受信された損失情報「LossInfo」から予測I^tフレームの損傷領域又は失われた領域を修復しようとする（ステップ５２３）。修正フレームはI^tCフレームである。データが失われなかった場合、I^tCフレームはI^tフレームと同一である。
【０１３９】
ステップ５２２及びステップ５２３と並行して、エラーのフレームEtqは、エラーのフレームE〜t（あるいは、復号化されるフレームがフレーム内符号化フレームである場合は完全なフレーム）を再構成するために、逆量子化後に逆DCT変換を行なうことにより伸張される（ステップ５２４）。
【０１４０】
最終的なI〜tフレームは、ステップ５２４から生じる残留のフレームE〜tをステップ５２３から生じる補償I^tCフレームと加算することにより再構成される（ステップ５２５）。復号化されるフレームがフレーム内符号化フレームである場合、補償I^tCフレームはゼロにされる。
【０１４１】
エラー（残留損傷）が残っている場合、空間的損失隠蔽モジュールは、ステップ５２５においてI〜tフレームの再構成から生じる最新の損傷領域を空間的に補間する（ステップ５２６）。必要に応じてステップ５２６において修正されるI〜tフレームは、例えばストレージ周辺装置のために又は表示されるために、復号器DECの出力において入手可能である。I〜tフレームは、新しい参照Irefフレームとして格納されるのが好ましい。
【０１４２】
符号器ENC_DEC及び復号器DECの各々は、必要に応じて参照フレームの初期化を可能にする入力Irefを有する。上述の可能性は、実際には常に利用可能であるとは限らないので、この可能性が必須ではないということを考慮する必要がある。これは、要求されたビデオシーケンスの処理の前にフレームを符号化及び／又は復号化することによりフレームを参照フレームとして初期化することが当業者には明らかなためである。フレームを自動的に復号化又は符号化することにより、そのフレームは符号器又は復号器の参照フレームとなる。
【０１４３】
図６は、時間ｔにおいて復号器に対する参照としての役割を果たす現在の損傷I〜t*フレームを計算するために図４において使用される関数PropagateLoss(k, t)を概略的に示す。現在の損傷I〜t*フレームは、損失隠蔽I〜k*をシミュレートし、フレームｋからエラーを伝播することにより取得される。
【０１４４】
現在の損傷I〜t*フレームの計算は、時間ｋにおける損失隠蔽の計算（破線により示す）及びk+1〜tのエラーの伝播の計算（実線により示す）の２つのステップで実行される。尚、損失隠蔽モジュールの存在は任意である。
【０１４５】
時間ｋにおける損失隠蔽の計算に関して、符号器は復号器と同一の損失隠蔽モジュールを有すると仮定される。否定応答信号NACK(i)は、少なくとも失われたパケットの番号及び可能性としてこの損失に対して復号器により実行された損失隠蔽のパラメータ等の他の情報を含む。符号器は、送出されたフレームの場所を管理でき、従って確認応答されていないパケットの損失により損傷した領域を認識できる。符号器は、時間kにおいて復号器により行なわれる修正をシミュレートできる。
【０１４６】
損失隠蔽を実行し且つ時間ｋにおいて損傷I〜k*フレームを再構成するために（ステップ６０１）、符号器は、否定応答NACK(k)の時に供給される被った損失の厳密な情報（LossInfo）及び隠蔽の時に復号器に存在する参照I〜k-1フレームと共に受信されるフレーム(Etq , MVt)を利用可能にする必要がある。
【０１４７】
同時に、符号器は、後続するステップにおいて符号器ENC_DECに対して参照としての役割を果たすI〜kフレームを再構成する（ステップ６０２）。
【０１４８】
時間k+1〜時間tまでのエラーの伝播を計算するために、符号器はフレームkの損失隠蔽の欠陥によるエラーの伝播をシミュレートする。
【０１４９】
その目的のため、関数PropagateLoss(k, t)は、P(k+1)〜P(t)フレーム間予測符号化フレームにおいてクライアントの復号器で発生するドリフトをシミュレートするために、上述のような従来の符号器／復号器（ENC_DEC）、適切なビデオのフレーム（特に時間k+1〜t）及び上述のような従来の復号器（DEC*）を有する。
【０１５０】
ループは、時間k+1とtとの間の各瞬間における累積エラーを含むフレームを判定するために実行される。フレームk+1をメモリにロードするために、このループは、変数tを値k+1（t:=k+1）に初期化することにより初期化される。復号器ENC_DECの参照フレームは、先に符号化されたI〜kフレームを使用して初期化される。復号器DEC*の参照フレームは、損失隠蔽モジュールにより先に計算されたI〜k*フレームを使用して初期化される。
【０１５１】
各フレームtに対して、符号器ENC_DECは、時間tに対応するフレームのｐフレーム間予測符号化フレームを符号化し、通常は再構成フレームによりその参照をリフレッシュする（ステップ６０３）。復号器DEC*は、損傷参照I〜τ-1*フレームを使用して復号化するPフレーム間予測符号化フレーム(Eτq , MVτ)を回復する（ステップ６０４）。DEC*からの出力フレームI〜τ*は、先のエラーが伝播された損傷フレームである。後続するフレームにおける伝播を追跡するために、このフレームは復号器DEC*の新しい参照になる。テストが処理されたフレームの番号に対して実行され（ステップ６０５）、τ=tの時、すなわちI〜t*フレームが判定された時、ループから抜けることを可能にする。処理されたフレームがフレームtでない場合、変数tは１増分され、先のステップが繰り返される。
【０１５２】
あるいは、第２の実施形態によると、低速な再同期化機構はクライアント上で実現されてもよい。その原理においては、復号化時t及び緩やかな遷移期間にわたり、一方では再同期化ストリーム及び他方ではエラー伝播により損傷したストリームをクライアント上で利用可能にできる。
【０１５３】
サーバは、再同期化Iフレーム内符号化フレームのすぐ後に、補助ポートでPフレーム間予測符号化フレームを送信するように変更される必要がある。
【０１５４】
復号器のみが、損失の影響を受けるかをリアルタイムで認識する。ある特定のIフレーム内符号化フレームは、損失後に明示的に要求されることなく、mフレーム毎に周期的に送出される。各Iフレーム内符号化フレームは、ビデオにドリフトが発生した場合に潜在的に突然の再同期化の影響を与える可能性がある。従って、送信エラーのために、１つの通常の再同期化フレーム内符号化フレームと別のフレーム内符号化フレームとの間の処理を区別する必要はない。その結果、Iフレーム内符号化フレームがリフレッシュ期間に結び付けられても又は否定応答に結び付けられても、Iフレーム内符号化フレームに対してPフレーム間予測符号化フレームを補助リンクで常に転送する必要がある。低速な再同期化処理は、エラーが存在する場合に任意のフレーム内符号化フレームに対して実行される。シーケンスの変更があった場合、符号器は、補助リンクを介して例えば空の画像である特定のPフレーム間予測符号化フレームを送出し、シーケンスの開始及びディゾルブが抑制される必要があることを復号器に示す。
【０１５５】
サーバとクライアントとの間に２つのリンクが作成される。主リンク（ポート１）はビデオの従来の送信に対するものであり、補助リンク（ポート２）はビデオの低速な再同期化のためのフレーム間予測符号化フレーム送信に対するものである。
【０１５６】
サーバは、It1フレーム内符号化フレーム（指数はポートの番号を示す）を主リンクを介してクライアントに送信し、その後ｍ個のPk(k=t+1 → t+m)1フレーム間予測符号化フレームを送信する。It1フレームが送信されると、サーバはPt2フレームをクライアントに更に送信する。It1がシーケンス（ＧＯＰ）の第１のフレームに対応する場合、Pt2はヌルであるのが好ましく、対応しない場合、Pt2は現在のフレームに対応するフレーム間予測符号化フレームである。指数が示すように、Pt2フレームは補助ポートを介して送信される。
【０１５７】
Pk(k=t+1 → t+m)1フレーム間予測符号化フレームを受信すると、クライアントは、標準的な方法でビデオストリームを復号化する。復号器がエラーの状態にある場合、復号化フレームはエラーの伝播の処理を実行される。
【０１５８】
エラーパケット、すなわちデータが少なくとも１つのエラーを含むパケットを受信すると、クライアントは否定応答NACKをサーバに送出する。復号器がエラー隠蔽モジュールを有する場合、復号器はエラーをマスクし且つエラー状態になる。
【０１５９】
再同期化It1フレームを受信すると、復号器がエラー状態にない場合、復号器は、通常通りにビデオを復号化し、不必要なPt2フレーム間予測符号化フレームを考慮しない。復号器がエラー状態にある場合、復号器はディゾルブの間にPt2フレーム間予測符号化フレームを使用してエラーの伝播をシミュレートする。ディゾルブ指数iは、値N-1に初期化される。復号器は、エラー状態から抜け、N個の後続するP1フレーム間予測符号化フレームの間に徐々に再同期化する。N個の後続するP1フレーム間予測符号化フレームの各々に対して、符号器は、中間フレームを計算及び表示し、ディゾルブ指数iを減分する。
【０１６０】
図７は、第２の実施形態に従って復号器上で実行される低速な再同期化段階の一例を示す。この例において、Nは５である。すなわち、完全な再同期化には５つのフレームが必要とされる。右側のグラフは、クライアントの復号器により復号化されるフレームに対するＰＳＮＲによって測定される品質７００の変化及びサーバによる符号化の前のフレームに対するＰＳＮＲによって測定される品質７０５を示す。
【０１６１】
期間７１０の間、エラーは検出されず、１次ストリームにおいて受信されるP1（j＜k）フレーム間予測符号化フレームは適切に復号化された。復号化I〜tフレーム及び結果として得られるI'tフレームは同一であり（ディゾルブ指数iはゼロである）、従って復号化フレームのＰＳＮＲは最大である。
【０１６２】
時間７１５において、損失隠蔽を行なうにも関わらず、エラーはP1(k)フレーム間予測符号化フレームにおいて検出される。ディゾルブ指数iは依然としてゼロであり、I〜t及びI'tフレームは、エラーの伝播に関連する同一のドリフトの影響を受ける。復号化フレームのＰＳＮＲは突然低下する。クライアントは、否定応答NACKをサーバに送信する。
【０１６３】
次の期間７２０の間、P1(k)フレーム間予測符号化フレームにおいて受信されたエラーは、P1(k+1)〜P1(k+10)フレーム間予測符号化フレームの復号化中に伝播される。ディゾルブ指数iは依然としてゼロであり、I〜t及びI'tフレームは依然としてエラーの伝播に関連する同一のドリフトの影響を受ける。ＰＳＮＲは低いままである。
【０１６４】
クライアントから否定応答を受信すると、サーバは、主ストリームを介してI1(k+11)フレーム内符号化フレームを送信し、２次ストリームを介してP2(k+11)フレームを送信する。
【０１６５】
時間７２５において、低速な再同期化を可能にするために、I1(k+11)及びP2(k+11)フレームはクライアントにより受信される。I〜t*フレームは受信したP2(k+11)フレーム間予測符号化フレームを使用して初期化され、I〜tフレームは受信したI1(k+11)フレーム内符号化フレームと再同期化され、ディゾルブ指数は値N-1に初期化される。新しいフレームは、先の（It':=i／N×I〜t*+(N-i)／N×I〜t）と同一の式に従って計算される。ＰＳＮＲは徐々に増加する。
【０１６６】
期間７３０の間、P1(k+12)〜P1(k+15)フレーム間予測符号化フレームにより、低速な再同期化を追跡できる。I〜t*フレームはドリフトし続け、I〜tフレームは依然として再同期化される。ディゾルブ指数iは、受信されるフレーム毎に１減分され、結果として得られるI'tフレームを復号化I〜tフレームに近づける。ＰＳＮＲは増加し続ける。
【０１６７】
時間７３５において、低速な再同期化を可能にするN個のフレーム間予測符号化フレームが受信された（ディゾルブ指数は値ゼロになる）。I〜t*フレームはドリフトし続ける。I〜t及びI'tフレームは同一である。ＰＳＮＲは再び最大になった。
【０１６８】
期間７４０の間、通常の復号化が継続し、ディゾルブ指数iはゼロである。I〜t*フレームの偶発的なドリフトが継続する場合であっても、I'tフレームはI〜tフレームと同期化されたままである。
【０１６９】
図８は、図７を参照して説明されるアルゴリズムを実現するように適応された復号化システムを示す図であり、それに従って、現在の中間フレームは適切なフレーム及びシミュレートされた損傷フレームから計算される。
【０１７０】
フレームカウンタtを値t0に初期化した（ステップ８０１）後、復号化システムは、参照８０３を有するポート１でI1フレーム内符号化フレーム又はP1フレーム間予測符号化フレームを受信し、可能性として参照８０４を有するポート２でP2フレーム間予測符号化フレームを受信する（ステップ８０２）。
【０１７１】
I〜tフレームを再構成するために、標準的な復号器DECは、受信したI1フレーム内符号化フレーム又は受信したP1フレーム間予測符号化フレームを復号化する（ステップ８０６）。
【０１７２】
I〜t*フレームが復号器DEC*から取得された場合（以下に説明するステップ８１９）、中間I'tフレームはディゾルブ指数iに従って計算される（ステップ８０９）。ディゾルブ指数iが厳密にゼロより大きいかを判定するためにテストが実行される（ステップ８１０）。ディゾルブ指数iが厳密にゼロより大きい場合、ディゾルブ指数iは１減分され（ステップ８１１）、ディゾルブ指数がゼロであるかを判定するために新しいテストが実行される（ステップ８１２）。ディゾルブ指数がゼロである場合、参照I〜t*フレームは復号化I〜tフレームにより置換される（ステップ８１３）。
【０１７３】
結果として得られるI'tフレームは、表示するためにディスプレイ周辺装置のフレームバッファメモリに格納される（ステップ８１４）。
【０１７４】
フレームカウンタtは１増分され（ステップ８１５）、先のステップはシーケンスの最後まで繰り返される。
【０１７５】
I〜tフレームの復号化と並行して、復号化システムは参照I〜t*フレームを判定する。この目的で、受信したフレームがI1フレーム内符号化フレームであるか又はP1フレーム間予測符号化フレームであるかを判定するためにテストが実行される（ステップ８１６）。
【０１７６】
受信したフレームがP1フレーム間予測符号化フレームである場合、新しい参照I〜t*を判定するために、復号器DEC*は参照Iref*を使用してP1フレームを復号化する（ステップ８１９）。
【０１７７】
受信したフレームがI1フレーム内符号化フレームである場合、第１のポートで受信したフレームがシーケンス（ＧＯＰ）の第１のフレームに対応するフレーム内符号化フレームであるかを判定するために、第２のポートで受信したP2フレームが空であるかを判定するための別のテストが実行される（ステップ８１７）。第２のポートで受信したP2フレームが空である場合、ディゾルブ指数iは値ゼロに初期化され（ステップ８１８）、復号器DEC*は、新しい参照I〜t*を判定するために参照Iref*を使用してI1フレームを復号化する（ステップ８１９）。
【０１７８】
受信したフレームがI1フレーム内符号化フレームであり且つ第２のポートで受信したP2フレームが空でない場合、復号化システムが最後の否定応答以降に新しいエラーを検出したかを判定するために別のテストが実行される（ステップ８２０）。新しいエラーが最後の否定応答以降に検出された場合、受信したI1フレーム内符号化フレームがストリームを再同期化するために使用されるように、ディゾルブ指数は値N-1に初期化される（ステップ８２１）。P2フレーム間予測符号化フレームは、エラーの伝播を追跡するように新しい参照I〜t*を判定するために参照Iref*から復号器DEC*により復号化される（ステップ８１９）。
【０１７９】
あるいは、クライアント（復号器）における本発明の別の実現例によると、解決策は、フレーム内符号化フレームが到着していないかのように実際の損傷I〜t*フレームをシミュレートしないが、I't-1*=P(I't-1*)である先の中間I't-1*フレームにおいてPフレーム間予測符号化フレームによるエラーを伝播することより新しい損傷I〜t*フレームをシミュレートすることから構成される。
【０１８０】
I't*とI〜tとの間の中間I'tフレームは、式I't=i／N×I't*+(N-i)／N×I〜tに従って計算される。
【０１８１】
この式により、ドリフト、ディゾルブ及び再同期化の処理が容易に定義される。
【０１８２】
ディゾルブ指数iがゼロである場合、復号器のエラーの状態に関わらず、中間フレームは復号化フレームと同一である（I't=I〜t）。
【０１８３】
この解決策により、必要なバッファメモリは減少され、再同期化処理は簡単化され（損傷フレームがt+Nにおいて再同期化する：ディゾルブ指数がゼロに近づいている時、中間I't+Nフレームは中間I〜t+Nフレームに近づく）、ディゾルブのドリフトは制限される。
【０１８４】
復号化ビデオが損傷していない場合、I't*、I't及びI〜tフレームは同一であり且つ同期している。
【０１８５】
受信したビデオストリームのフレームがエラーを含む場合、I't*、I't及びI〜tフレームは受信されたP1フレーム間予測符号化フレームによる同一のドリフトの影響を受ける。従って、それらフレームは同一であり且つ同期している。
【０１８６】
I1フレーム内符号化フレーム及びP2フレーム間予測符号化フレームがエラー後に到着した場合、I't*フレームはドリフトの状態で保持され、I〜tフレームは再同期化されるため適切であり、I'tフレームは上記式に従ってI〜tフレームとI't*フレームとの間のディゾルブにより計算される。この処理は、低速な再同期化の終了まで繰り返される。
【０１８７】
時間t+Nにおいて、ディゾルブ指数iは値ゼロであり、I't+NフレームはI〜t+Nフレームと等しい。ドリフトの状態で保持されるI't+N*フレームは、時間t+N+1においてI't+NフレームによりI't+N+1及びI〜t+N+1フレームと再同期する。
【０１８８】
あるいは、本発明の特定の実現例は、フレームを符号器からの過去のフレームと再同期化することから構成され、低速な再同期化の開始を早めることができる。
【０１８９】
この目的のために、符号器は、復号器により表示されるフレームdの番号を周期的に評価し、ネットワークの状態に従って、t＞t-D＞dとなるように値Dを判定する。フレーム（t-D）は、まだ表示されていない復号器の過去のフレームに対応する。各フレームの復号化時、符号器はI(t-D)フレーム内符号化フレームを永続的に格納し且つ更新する。その部分に対して、復号器は、受信した最新のDフレーム間予測符号化フレームを永続的に格納する（Dの値は符号器又は復号器に周知であるのが好ましく、あるいは復号器は値Dmaxを使用できる）。
【０１９０】
送信されるP(k)フレーム間予測符号化フレームが復号器により検出された損失の影響を受ける場合、復号器は否定応答NACK(k)をすぐに送出し、符号器はP(d)及びP(t-D)を含む後続するフレームを送出し続ける。
【０１９１】
番号tのフレームが符号器により符号化される時間に対応してNACK(k)を受信すると、符号器は格納されたI(t-D)フレーム内符号化フレームを送出し、同一周期で同一のP(t)フレーム間予測符号化フレームを送信する。通常、符号器は、符号化並びにフレームt+1及びそれに後続するフレームの送信を再開する。
【０１９２】
I(t-D)フレーム内符号化フレームが受信された場合、復号器は、t-D+1〜tのフレーム間予測符号化フレーム、並びにフレームt-Dのフレーム内符号化フレーム及びフレーム間予測符号化フレームを有し、P(t-D)フレームは復号器により既に受信されている。P(t-D+1)〜P(t)フレーム間予測符号化フレームを再送出する必要がないことが、ここでは受け入れられる。これは、ディゾルブが緩やかな遷移における量子化誤差を消去するからである。従って、再同期化によるPフレームは、再構成ストリームと十分に互換性があると仮定される。復号器は、低速な再同期化処理を実現するのに必要なデータを有する。
【０１９３】
I(t-D)フレーム内符号化フレームが受信された場合、復号器は既に復号化されたt-Dより大きいフレームを削除する。低速な再同期化を含む復号化は、フレームt-Dに初期化される。
【０１９４】
復号化の原理は、図７及び図８を参照して上述した原理と同様であるが、復号器に格納される再同期化P1(t-D+1)〜P1(t-d+N)フレーム間予測符号化フレームの送信元を変更する。エラーの伝播を可能にするP2(t-D)フレーム間予測符号化フレームは、格納されたP(t-D)フレームである。遷移の欠陥を回避し且つ処理を簡単化するために、t-D+N〜tのフレームを再復号化するのが好ましい。低速な再同期化が終了した場合、通常、復号化は送信されたフレームに対して再開し、図７及び図８を参照して上述したように、低速な再同期化はtの後も継続される。t-Dとtとの間の低速な再同期化を再構成する段階は、過去の再調整により発生した遅延を挽回するために可能な限り迅速に行なわれる必要がある（例えば、ビデオストリームの２５フレーム／秒より速い速度で）。
【０１９５】
この実現例により、リフレッシュが加速され、送信に関連するリソースに関して追加のコストなしでエラーの伝播が制限される。しかし、それを使用するために、符号器は符号器の過去から選択されたフレーム（復号器によりまだ復号化又は表示されていないフレーム）を永続的に格納する必要がある。符号器は、エラー信号の際にそのフレームを復号器に送信できる。復号器は、迅速にそのフレームを復号化して低速な再同期化処理を適切に行なうために、受信後すぐにバッファメモリにおいてそのフレームを阻止できる必要がある。例えば、復号器において、ＦＩＦＯ（先入れ先出し）方式の従来のメモリの代わりに、優先度を管理しないフレームの数（表示の時）により索引を付けられた受信フレームの記憶装置を使用することで十分である。フレーム内符号化フレームの時間指標が既に処理されている場合、それは、復号器が実現でき且つ実現する必要がある再同期化の例である。最後に、復号器は、再同期化を再度シミュレートするために、過去のD個のPフレーム間予測符号化フレームを永続的に格納する必要がある。
【０１９６】
第３の実施形態によると、クライアントは、劣化したフレーム間予測符号化フレームに後続するフレーム内符号化フレームを使用して、劣化のない対応するフレーム間予測符号化フレームを遡って予測する。フレーム間予測符号化フレームのそれらの対は、劣化の影響をプログレッシブに低減するために組み合わされる。図９は、本実施形態の一般的な原理を示す。
【０１９７】
フレーム間予測符号化フレーム及びフレーム内符号化フレームを含むビデオシーケンスは、クライアントにより受信及び復号化される。例えばクライアントは、図示するように、P(t-3)フレーム間予測符号化フレームを受信し、その後P(t-2)フレーム間予測符号化フレーム、P(t-1)フレーム間予測符号化フレーム、I(t)フレーム内符号化フレーム及びP(t+1)フレーム間予測符号化フレームを受信する。９００で示されるP(t-3)フレーム間予測符号化フレームは、ビデオシーケンスのオブジェクトを記号で表す領域９０２を含む。図示するように、ビデオシーケンスに結び付けられる動きのために、領域９０２は１つのフレームから他のフレームに位置を変更する。
【０１９８】
黒色の矩形９０３は、送信において失われたフレームの一部に対応する。この部分は、部分的に修正されてもされなくてもよい。エラーの伝播、並びにエラー及びその伝播に結び付けられるドリフトのために、黒色の矩形９０３は、後続するフレーム間予測符号化フレーム、すなわちP(t-2)及びP(t-1)フレームに送信される。
【０１９９】
後続するフレーム内符号化フレーム、すなわち９０１で示されるI(t)フレームが受信されると、図示するように、エラーは突然消滅する。不快な視覚効果を回避するために、I(t)フレームは表示されないが、エラーをプログレッシブに除去するために使用される。
【０２００】
まず、９０７で参照され且つP(t-1)^で示されるP(t-1)フレーム間予測符号化フレームの推定が判定される（ステップ９０５）。P(t-1)^フレームは、受信したP(t-1)フレーム間予測符号化フレームと関連付けられる動きベクトルを使用することにより受信されたI(t)フレーム内符号化フレームに基づいて計算される。そのような推定されたフレームの計算を可能にするアルゴリズムの一例は、本明細書の以下において提示される。
【０２０１】
尚、P(t-1)^フレームは、I(t)フレームに基づいて判定されるため、P(t-3)フレームの黒色の矩形９０３で表される送信エラーを含まない。
【０２０２】
次に、９０４で示されるP(t-1)フレームと９０７で示されるP(t-1)^フレームとの差分が、送信に関連するエラー又はエラーのドリフトを推定するために計算される（ステップ９０８）。差分の計算により取得されたフレームは、９１０で参照され且つE(t-1)^で示される。推定されたP(t-1)^フレームが完璧でないため、P(t-1)フレームとP(t-1)^フレームとの差分は、エラーを含むフレームの一部においてのみ実行されるのが好ましい。この部分は、以下に説明するようにP(t-2)フレーム及びP(t-1)フレームに適用される追跡アルゴリズムを使用して特に判定されてもよい。
【０２０３】
図示するように、フレーム９１０の黒色の矩形９１２は、フレーム９０４の黒色の矩形により表されるエラーに対応する推定されたエラー、すなわちエラーを含む部分におけるP(t-1)フレームとP(t-1)^フレームとの差分を表す。
【０２０４】
本実施形態において、復号化エラー及びフレーム内符号化フレームのリフレッシュによる輝度の変動は、P(t-1)フレームに対して推定される。この予測によりエラー画像が得られる（９０９）。尚、時間tにおけるP(t-1)フレームの動きの方向に投影することによるI^(t)フレームの予測によってI(t)フレーム（９０１）上のエラーを推定できる。この予測されたフレームは復号化エラーを含む。エラー画像（時間tのE(t-1)^と等しい）は、画素毎にI^(t)をI(t)から減算することにより取得される。
【０２０５】
本発明により、緩やかな遷移を使用してフレーム内符号化フレームの受信時の送信エラーの削除を減衰できる。そのために、矩形９１２で表される推定されたエラーは、ある期間にわたり減衰される一方で、受信したフレーム内符号化フレーム及び後続するフレーム内符号化フレームに転送される（ステップ９１１）。この追跡及び減衰の結果は、灰色の矩形９１３及び９１４で表される。矩形９１３及び９１４で表されるエラーは、表示されるフレーム９１９及び９２０（ステップ９１７）を形成するために、フレーム９０１及び９１５、すなわちI(t)フレーム内符号化フレーム及びP(t+1)フレーム間予測符号化フレームに転送される（ステップ９１６）。
【０２０６】
フレーム９１８、９１９及び９２０により示されるように、送信エラーの修正は緩やかな遷移を使用して実行される。この例において、フレーム９１８はフレーム９０４に対応する。尚、緩やかな遷移は３つの連続フレームにわたり実行されるが、実際には、この緩やかな遷移は更に多くのフレームに影響を及ぼす。そのフレーム数は、特にユーザの要望及びフレームの表示の頻度に依存する。
【０２０７】
エラーの追跡及び減衰により、ユーザにとって不快なビデオシーケンスの突然の修正を回避できる。
【０２０８】
図１０は、第３の実施形態に従って本発明を実現するために使用される処理動作を概略的に示す。ネットワークインタフェースは、好ましくはパケットの形態で、ネットワークからデータを受信するために使用される（ステップ１０００）。
【０２０９】
受信されたパケットに含まれるデータは抽出され（ステップ１００１）、ビデオストリームのビットストリーム１００２を形成する。ビデオ復号器は、受信したデータから得られるビットストリームを伸張するために使用される（ステップ１００３）。ビデオ復号器は、復号化中、受信したフレームにエラーを空間的に配置できると仮定される。それらエラーは、特にパケット送信の問題から発生する。
【０２１０】
検出されたエラーの位置のマッピングは、生成され且つ最新の状態に維持される（ステップ１００４）。エラーの位置のマッピングは、ある期間にわたり追跡されたエラーの位置及びビデオ復号器から得られた検出された新しいエラーの位置を含む。エラーの追跡では、フレーム間予測符号化フレームを使用して判定された動きベクトルが使用される。図９を参照すると、エラーの位置のマッピングは、９０３で示される黒色の矩形の位置を追跡することを可能にする。
【０２１１】
復号化中のフレームがフレーム内符号化フレームである場合、エラー画像１００７が生成される（ステップ１００６）。エラー画像は、例えば図９の参照９０９を有するE^(t-1)フレームである。エラー画像は、ある期間にわたりエラーを追跡及び減衰するために使用される（ステップ１００８）。図９のステップ９１１に対応するこのステップでは、フレーム間予測符号化フレームを使用して判定された動きベクトルが使用される。エラーの追跡及び減衰のステップ１００８と同時にエラーがビデオ復号器により検出される場合、それらエラーは、エラーの位置のマッピングを更新するために送信され（ステップ１００４）、ステップ１００８及び１００９とは無関係に、ビデオ復号器に位置するエラー隠蔽モジュール（不図示）により修正されると考えられる。ビデオ復号器から得られる復号化フレーム１００５は、ステップ１００８で処理されたエラー画像と加算される（ステップ１００９）。その結果は表示されてもよい（ステップ１０１０）。尚、フレーム間予測符号化フレームの場合、ステップ１００４とステップ１００６、１００７、１００８及び１００９とが並行して実行される。
【０２１２】
図１１は、図１０の詳細な表現である。データは、好ましくはデータパケットの形式で通信インタフェースを介してネットワークから受信される（ステップ１１００）。上述したように、受信したパケットに含まれるデータは抽出され（ステップ１１０１）、サーバにより送信された符号化ビデオストリームのビットストリーム１１０２を形成する。ビデオ復号器は、受信したデータから得られるビットストリームを伸張し且つビデオフレーム１１０５を形成するために使用される（ステップ１１０３）。
【０２１３】
同時に、復号化フレームの動きベクトル１１０４が判定及び格納される。特に、動きベクトルは、検出されたエラーの追跡及び減衰のために後で使用される。
【０２１４】
更に、受信したフレームの復号化と並行して、ビデオ復号器により検出されたエラーの位置が判定される（ステップ１１０６）。それら位置は、ビデオ復号器においてパケットの送信エラーを修正するように適応されたエラー隠蔽モジュールに送信される（ステップ１１０７）。
【０２１５】
同時に、ピクチャグループにおけるエラーの位置に対応する参照フレーム１１１６が更新される。更新は、ある期間にわたる先のエラーの追跡（ステップ１１１４及び１１１５）から構成され、また最新の復号化フレームにおいて検出されたエラー１１０６の新しい位置の加算（ステップ１１１５及び１１１９）から構成される。図１２に関連して、追跡モジュールを詳細に説明する。フレーム内符号化フレームが受信されると、フレーム１１１６はゼロに再度初期化される。
【０２１６】
復号化フレームがフレーム内符号化フレームである場合（ステップ１１０８）、シーンの変化を検出するためにシーン解析が実行される（ステップ１１０９）。このステップにより、解析されたフレームが先のフレームと時間的に相関するかを判定することが可能になる。シーンの変化が検出されなかった場合、すなわち解析されたフレームと先のフレームとの間に高い空間相関性がある場合、エラー予測が実行される（ステップ１１１０）。図１４及び図１５を参照して、図１０のステップ１００６に対応するこのエラー予測ステップを詳細に説明する。このステップにより、エラー画像とも呼ばれる参照１１１１（図９の参照９０９）で示されるドリフトE^(t-1)の推定を生成できる。
【０２１７】
ある特定のフレーム内符号化フレームに対して、処理１１１０が実行されない可能性がある。それら特定の例は、新しいエラーが検出されない（１１０６）一方でフレーム内符号化フレームが到着した時、並びにエラーの追跡及び減衰の処理（ステップ１１１２）がゼロに近いフレームに収束していない時に対応する。
【０２１８】
復号化フレーム１１０５の種類に関わらず、エラーを減衰する一方で、エラーの追跡がある期間にわたりエラー画像１１１１に対して実行される（ステップ１１１２及び１１１３）。このエラーの追跡は、動きベクトル１１０４に基づく。図１３を参照して、図９のステップ９１１に対応するステップ１１１２を詳細に説明する。
【０２１９】
エラー画像１１１１は、解析されたフレームが表示される前に解析されたフレームに加算される（ステップ１１１７及び１１１８）。
【０２２０】
尚、エラーを追跡及び減衰するステップ１１１２、並びに解析されたフレームにエラー画像を加算するステップ１１１７は、制限された数のフレームにのみ適用される。エラー及びエラーのドリフトの推定は、フレーム内符号化フレームの表示における突然の変化の影響を回避するために相対的に迅速に消滅する必要がある。その結果、エラー画像は、例えばNフレーム毎に規則的にゼロに再度初期化されるのが好ましい。Nは１０個又は１５個のフレームに対応できる。Nは、ピクチャグループのサイズより小さいのが有利である。
【０２２１】
図１２は、エラーの位置のマッピングにおけるエラーの追跡を示す。ELMt-1と呼ばれるフレーム１２００は、時間t-1におけるエラーの位置のマッピングに対応する（ELMはError Location Map（エラー位置マップ）の略語である）。フレーム１２００の灰色の部分１２０１は、受信した最新のフレーム内符号化フレームと時間t-1におけるフレームとの間で判定された累積エラーの位置に対応する。ELMt-1フレームは、以下のように定義されてもよい。
|  0  white    ｜
ELMt-1(x,y)=|              ｜
|  1  gray     ｜
ELMtと呼ばれるフレーム１２０６は、生成中の時間tにおけるエラーの位置のマッピングに対応する。復号化中の時間tにおいて受信されたフレーム間予測符号化フレームに基づいて判定される動きベクトルの一部を参照１２０４及び１２０５により示す。参照１２０４は動きベクトルを特徴付け、その動きベクトルに従って、フレーム１２０６のブロック１２０８の位置がフレーム１２００のブロック１２０２の位置に対応する。同様に、参照１２０５は動きベクトルを特徴付け、その動きベクトルに従って、フレーム１２０６のブロック１２０７の位置がフレーム１２００のブロック１２０３の位置に対応する。
【０２２２】
尚、フレーム間予測符号化フレームが受信された場合、動きベクトルはそのフレームのブロック毎に判定される。動きベクトルは、解析中のフレームの符号化表現から得られる。それら動きベクトルは、先のフレームのブロックに基いて解析中のフレームの各ブロックを予測するために使用される。
【０２２３】
本発明は、エラーの位置を追跡するためにフレーム間予測符号化フレームの符号化中に使用される動きベクトルにより与えられる情報を使用する。
【０２２４】
まず、ELMtフレームの全ての画素（pixel（画素）はPicture Elementの略語）がゼロに初期化される。次に、ELMtフレームの全てのブロックが処理される。
【０２２５】
時間tにおいてエラーの位置のマッピングELMtを表すフレーム１２０６のブロック１２０７が考慮される場合、そのブロックと関連付けられる動きベクトル１２０５が選択される。動きベクトル１２０５により、先のフレームにおいてブロック１２０７に対応するブロック、すなわちELMt-1フレームのブロック１２０３の判定が可能になる。ブロック１２０３の位置は、以下の関係に従って判定される。
【０２２６】
(xt-1 , yt-1) = (xt+vx, yt+vy)
式中、(xt-1, yt-1)はブロック１２０３の中心の座標を表し、(xt, yt)はブロック１２０７の中心の座標を表す。(vx, vy)は、ブロック１２０７と関連付けられる動きベクトル、すなわち動きベクトル１２０５の成分を表す。
【０２２７】
ブロック１２０３の画素の値は、ブロック１２０７において再生成される。
【０２２８】
同様に、ELMtフレームのブロック１２０８の位置及びそのブロックと関連付けられる動きベクトル１２０４に基づいてELMt-1フレームのブロック１２０２の位置を判定できる。同様に、ブロック１２０２の画素の値は、ブロック１２０８において再生成される。
【０２２９】
ELMtフレームの全てのブロックが処理される。これにより、累積エラーの位置の追跡が可能になる。ELMt-1フレームと同様に、ELMtフレームは以下のように定義される。
|  0  white    ｜
ELMt-1(x,y)=|              ｜
|  1  gray     ｜
ここで、灰色はエラーに対応する位置を表し、白色は適切に復号化された領域に対応する。
【０２３０】
上述したように、図１１のステップ１１１９を参照すると、復号器により識別されたエラーの位置は、エラー追跡機構により判定される位置に加算される必要がある。図１２において、復号器により識別されたエラー１２１０の位置は、１２０９で示されるフレームに格納される。このフレームは、エラー追跡機構により判定された位置を表すフレーム１２０６に画素毎に加算される（ステップ１２１１）。尚、加算は論理和と考えられてもよい。
【０２３１】
その加算の結果、時間tにおけるエラーの位置のマッピングに対応するフレーム１２１２、すなわちELMtフレームが得られる。
【０２３２】
図１３は、図１１に示されるエラーを追跡及び減衰するステップ１１１２を示す。フレーム１３００は、時間t-1におけるエラー画像に対応し、EMt-1とも呼ばれる。これは、ある期間にわたり追跡される図９の９０９で示される予測エラーである。図１５を参照して、フレーム内符号化フレームの受信時にエラー画像を計算する方法を更に詳細に説明する。ここでは、この画像エラーがある期間にわたり追跡及び減衰される方法を示す。白色の領域は、エラーが識別されなかった領域に対応し、灰色の領域１３０１は、エラーが識別された領域に対応する。灰色の領域が簡単化のために単色で表される場合でも、それら領域は任意の値をとってもよい。
【０２３３】
図１２を参照して先に提示された追跡の原理と同様に、追跡の原理の目的は時間tにおいてエラーフレームEMtを判定することである。フレーム１３０６は評価中のエラーフレームEMtを表し、フレーム１３１０は評価終了時のエラーフレームEMtを表す。
【０２３４】
まず、フレーム１３０６の全ての画素はゼロに初期化される。
【０２３５】
復号化中のフレームの符号化表現に関して、フレーム１３０６は、ビデオ符号器により実行される区分と同一の区分に従ってブロックに分解される。動きベクトルは、復号化中のフレームの各ブロックと関連付けられる。
【０２３６】
復号化中のフレームがフレーム内符号化フレームである場合、動きベクトルは、図１４を参照して以下に提示される方法で判定される。
【０２３７】
復号化中のフレームから得られる時間tにおけるエラー画像を表すフレーム１３０６のブロックと関連付けられる動きベクトルは、時間t-1におけるエラー画像を表すフレーム１３００の対応するブロックの判定を可能にする。フレームEMtの各ブロックに対して、フレームEMt-1のブロックがそれと関連付けられる。例えば、動きベクトル１３０４は、フレーム１３００のブロック１３０２をフレーム１３０６のブロック１３０８と関連付けることを可能にする。同様に、動きベクトル１３０５は、フレーム１３００のブロック１３０３をフレーム１３０６のブロック１３０７と関連付けることを可能にする。
【０２３８】
フレーム１３０６の各ブロックのコンテンツは、フレーム１３００において関連付けられるブロックのコンテンツにより置換される。フレーム１３０６の画素毎に値を判定するために、フレーム１３０６の全てのブロックが処理される。
【０２３９】
追跡ステップが実行される場合、減衰ステップ１３０９が実行される。そのために、フレーム１３０６の各画素の値は、以下のように係数αと乗算される。
【０２４０】
EMt(x, y) = α.EMt(x, y)
係数αの値は、エラーを含むフレームとエラーを含まないフレーム又は同一の場所にエラーを含まないフレームとの間の遷移、すなわち特にフレーム間予測符号化フレームとフレーム内符号化フレームとの間の遷移を可能にするように判定される。遷移は、２つの連続するフレーム内符号化フレームにより規定される期間より短い期間にわたり実行されるのが有利である。フレーム内符号化フレームがNフレーム毎に受信される場合、遷移はN個のフレームにわたり実行されるのが好ましい。ここで、Nは１０個又は１５個のフレームに対応できる。換言すると、フレーム内符号化フレームが時間tにおいて受信される場合、遷移は時間t+N-1において終了する必要がある。２つの連続するフレーム内符号化フレームの間の期間が長い場合、例えば２５より大きい場合、遷移期間は好ましくは１２フレームを超えるべきではないと考えられる。
【０２４１】
係数αの値を判定するために、変数AFが使用されてもよい。変数AFの値は、フレーム内符号化フレームを受信する度に値Nに初期化され、値AFはフレームを受信する度に１減分される。係数αの値は、以下の関係に従って判定されてもよい。
【０２４２】
α＝（ＡＦ−１）／ＡＦ
係数αの値が負の場合、係数αの値はゼロに固定され、エラーを追跡及び減衰する方法は停止される。遷移は終了したと考えられる。
【０２４３】
復号化中のフレームがフレーム内符号化フレームである場合、動きベクトルはそのフレームの各ブロックと関連付けられない。この場合、処理中のフレームの各ブロックと関連付けられる動きベクトルを判定する必要がある。
【０２４４】
この問題を回避するためにE^(t-1)ではなくE^(t)を計算できるが、この解決策はP(t-1)フレームの代わりにI(t)フレームの予測を必要とし、その結果、同一の問題が発生する。尚、E^(t-1)が計算される場合、エラーはP(t-1)フレーム間予測符号化フレーム及び動きベクトルから予測されるP^(t)フレーム間予測符号化フレームとI(t)フレーム内符号化フレームとの比較により推定される。
【０２４５】
図１４は、ベクトル場がフレーム内符号化フレームに関連して判定される方法を示す。フレーム１４００は、図９に表されるようなP(t-1)フレーム間予測符号化フレームの記号表現である。このフレームがビデオ符号器により使用された方法と同一の方法でブロックに分割され、動きベクトルがそれらブロックの各々と関連付けられると考えられる。動きベクトルは、P(t-1)フレーム間予測符号化フレームの符号化表現から得られる。ベクトル場は、以下の方法でフレーム１４０２に投影される（ステップ１４０１）。中心の座標が(x, y)であるP(t-1)フレーム間予測符号化フレームのブロック及び動きベクトル（vx, vy)を考慮することにより、投影は、同一の動きベクトル及び以下の座標の点を含むブロックにより特徴付けられる。
【０２４６】
(x', y') = (x-vx, y-vy)
ここで、フレーム１４０２は同一の区分に従ってブロックに分割される。
【０２４７】
例えば、フレーム１４００のブロック１４０５の投影により、ブロック１４０６が取得される。ブロック１４０６の中心を含むブロックはブロック１４０７である。次にブロック１４０５と関連付けられる動きベクトルが再生成され、ブロック１４０７と関連付けられる。
【０２４８】
そのような投影は、フレーム１４００の全てのブロックに対して実行されるのが有利である。
【０２４９】
ステップ１４０３の目的は、補間することにより、投影中に動きベクトルが関連付けられなかったフレーム１４０２の各ブロックに対する動きベクトルを判定することである。補間の一例は、投影により取得される動きベクトルにメディアンフィルタを適用することから構成される。例えば、フレーム１４０２の各ブロックは画素と考えられる。フレーム１４０２は、メディアンフィルタが適用される場合、２次元のベクトルのフレームと考えられる。２次元の動きベクトルは各画素に対応する。処理１４０１の結果、動きベクトルがブロックの属性でない場合、動きベクトルはヌルと考えられる。メディアンフィルタリングは、例えば大きさが５×５のグリッドの中心をある画素にすること及びグリッドにより囲まれるフレーム１４０２の２５画素の中央値を得ることから構成される。フレーム１４０２が２次元のベクトルから構成されるため、中央値は各構成要素に当てはまる。
【０２５０】
取得されたフレーム１４０４は、動きベクトルが周知であるP(t-1)フレーム間予測符号化フレームに後続するI(t)フレーム内符号化フレームの各ブロックと関連付けられる動きベクトルを含む。
【０２５１】
当然ながら、フレーム内符号化フレームと関連付けられる動きベクトルを取得する他の方法が存在する。
【０２５２】
図１５は、エラー画像を生成する図１０のステップ１００６又は図１１のステップ１１１０を示す。このステップは、P(t-1)フレーム間予測符号化フレームとそのフレームの推定P^(t-1)との間の差分を評価するステップに対応する。この差分は、図９においてE^(t-1)と呼ばれ且つ９０９で示される。
【０２５３】
フレーム１５００は、P(t-1)フレーム間予測符号化フレームの記号表現である。フレーム１５００は、ビデオ符号器により実行される区分と同一の区分に従ってブロックに分割される。動きベクトルは各ブロックと関連付けられる。ビデオ符号器により判定されるベクトルに対応する動きベクトル１５０２は、P(t-1)フレーム間予測符号化フレームの復号化中に抽出される。
【０２５４】
フレーム１５０１は、復号化I(t)フレーム内符号化フレームの表現である。フレーム１５０７は、時間t-1におけるエラーの位置のマッピングを表し、ELMt-1とも呼ばれる。図１２を参照して説明されたように、灰色の領域１５０８は追跡されたエラーの位置を表し、白色の領域はエラーが検出されなかった領域に対応する。以下の表記は、エラーの位置を特徴付けるために使用されてもよい。
|  0  white    ｜
ELMt-1 = |              ｜
|  1  gray     ｜
ステップ１５０３は、１５０４で示されるP(t-1)フレーム間予測符号化フレームの推定P^(t-1)の判定を可能にする投影で構成される。フレーム１５０４の座標(x, y)の各画素の値は、以下の関係に従って推定される。
| I(t)(x-vx, y-vy) if ELMt-1(x,y)=1
P^(t-1)(x,y) = |
| γ              if ELMt-1(x,y)=0
式中、γは特定の値であり、例えばγは１０００である。
【０２５５】
この関係において、動きベクトル(vx, vy)は、座標(x, y)のP(t-1)フレーム間予測符号化フレームに対して判定される動きベクトルである。座標(x, y)の画素がブロックBに位置する場合、座標(x, y)の画素にはそのブロックBと関連付けられる動きベクトルがある。
【０２５６】
推定P^(t-1)が計算された場合、P(t-1)フレーム間予測符号化フレームとそのフレームの推定P^(t-1)との間の差分E^(t-1)が判定される（ステップ１５０５）。
E^(t-1)(x,y)=P(t-1)(x,y)-P^(t-1)(x,y)
P^(t-1)(x,y)がγと異なる場合、差分は計算される。P^(t-1)(x,y)がγと等しい場合、E^(t-1)(x,y）はゼロと等しい。
【０２５７】
図１６は、エラーを含むフレームとエラーを含まないフレーム又は異なるエラーを含むフレームとの間の遷移を改善するために、エラーの位置のマッピングにおいてエラーを追跡する図１２を参照して説明された方法に対する代替方法を示す。
【０２５８】
図１２によると、フレーム１２０６において判定されたエラーの位置は、追跡されたエラーの位置を表すフレーム１２０９に加算される。
【０２５９】
先に示したように、フレーム内符号化フレームを考慮した後の低速な遷移は、P(t-1)フレーム間予測符号化フレームとそのフレームの推定P^(t-1)との間の差分E^(t-1)の推定を必要とする。しかし、P(t-1)フレームの予測P^(t-1)が低品質である場合、後続するフレームに対してエラーの追跡及び減衰が実行される差分E^(t-1)は、低品質のエラー隠蔽に対応しないが低品質の予測から発生するアーティファクトを生じる危険性がある。図１６に示す代替方法の目的はその危険性を低減することである。
【０２６０】
その解決策は、エラー隠蔽機構が非効果的である場合に検出されたエラーの位置（図１２のフレーム１２０９）を加算すること（図１２の参照１２１１）から構成される。
【０２６１】
復号化フレーム１６００は、データが失われた部分を含む。図示する目的で、データが失われた部分は４つの領域１６０１、１６０２、１６０３及び１６０４に分割される。エラー隠蔽機構は、それら領域の各々に適用される。
【０２６２】
エラー隠蔽の品質は、各領域に対して評価される（ステップ１６０５）。例えば、連続するフレーム間の動きの規則性は、エラー隠蔽の品質を判定するために使用されてもよい。動きが先のフレームにわたり規則的であると考えられる場合、エラー隠蔽手順の品質が良いと考えられる。それに対して、先のフレームにわたる動きが実質的に不規則である場合、エラー隠蔽手順は効果的ではないと考えられる。
【０２６３】
図１６に提示される例において、領域１６０２及び１６０４に対するエラー隠蔽の品質は良いと考えられる。その結果、それら領域は、後続するフレーム内符号化フレームの表示において突然の遷移の発端になることはない。しかし、領域１６０１及び１６０３に対するエラー隠蔽の品質は不十分であると考えられる。それら領域は、後続するフレーム内符号化フレームの表示において突然の遷移の発端になる危険性がある。
【０２６４】
エラー画像は、隠蔽が不十分であるエラーの位置を考慮するために変更される。図１６に関連して示される機構によると、図１２において、フレーム１２０９は、全ての検出エラーを表すのではなく、領域１６０７によりフレーム１６０６に示されるような隠蔽品質が不十分である検出エラーのみを表す。
【０２６５】
エラーの隠蔽の品質を評価する解決策は、隠蔽されていないエラーに対応する領域と隠蔽されたエラーに対応する領域との間の連続性が満足するものであるか否かを判定することから構成される。
【０２６６】
変形例において、まず、P^(t-1)の予測の品質は、予測が適切である部分を判定するために評価される。隠蔽が適用された領域のある特定の部分において予測が十分に行なわれないと判定される場合、それら部分はエラー画像から除外される。
【０２６７】
当然ながら、特定の要求に応じるために、当業者は上記説明に対して修正を行なうことができる。
【図面の簡単な説明】
【０２６８】
【図１】サーバがマルチメディアコンテンツをクライアントに送信できる分散型ネットワークを概略的に示す図である。
【図２】本発明を少なくとも部分的に実現することを可能にする装置の一例を示す図である。
【図３】第１の実施形態に従って、送信エラーの影響を受けたビデオストリームの低速な再同期化処理の一例の原理を示すタイムチャートである。
【図４】先の図を参照して説明されるタイムチャートの可能なハードウェア実現例を示す図である。
【図５】図５ａ及び図５ｂを含み、図４の符号器及び復号器において実現されるアルゴリズムを示す図である。
【図６】復号器に対する参照としての役割を果たす現在の損傷フレームを計算するために図４において使用されるPropagateLoss(k,t)関数を概略的に示す図である。
【図７】第２の実施形態に従って、復号器において実行される低速な再同期化段階の一例を示す図である。
【図８】図７を参照して説明されるアルゴリズムを実現するように適応された復号化システムを示す図であり、それに従って、現在の中間フレームは適切なフレーム及びシミュレートされた損傷フレームから計算される。
【図９】第３の実施形態に従って、低速な再同期化処理の一例の原理を示す図である。
【図１０】第３の実施形態に従って、本発明を実現するのに使用される処理動作を概略的に示す図である。
【図１１】図１０の詳細な表現を示す図である。
【図１２】第３の実施形態の実現を可能にするエラーの位置のマッピングにおけるエラーの追跡を示す図である。
【図１３】図１１に示すエラーを追跡及び減衰するステップを示す図である。
【図１４】第３の実施形態の実現のために、ベクトル場がフレーム内符号化フレームに対して判定される方法を示す図である。
【図１５】図１０のエラー画像を生成するステップを示す図である。
【図１６】エラーを含むフレームとエラーを含まないフレーム又は異なるエラーを含むフレームとの遷移を改善するために、エラーの位置のマッピングにおいてエラーを追跡する図１２を参照して説明された方法に対する代替方法を示す図である。
【図１】
2008219862.tif 000003
【図２】
2008219862.tif 000004
【図３】
2008219862.tif 000005
【図４】
2008219862.tif 000006
【図５】
2008219862.tif 000007
【図６】
2008219862.tif 000008
【図７】
2008219862.tif 000009
【図８】
2008219862.tif 000010
【図９】
2008219862.tif 000011
【図１０】
2008219862.tif 000012
【図１１】
2008219862.tif 000013
【図１２】
2008219862.tif 000014
【図１３】
2008219862.tif 000015
【図１４】
2008219862.tif 000016
【図１５】
2008219862.tif 000017
【図１６】
2008219862.tif 000018
【外国語明細書】
2. Title of the Invention
Methods and devices for re-synchronizing a damaged video stream
3. Detailed Description of Invention
2008219862.tif 000019
2008219862.tif 000020
2008219862.tif 000021
2008219862.tif 000022
2008219862.tif 000023
2008219862.tif 000024
2008219862.tif 000025
2008219862.tif 000026
2008219862.tif 000027
Detailed Description of the Preferred Embodiments
2008219862.tif 000028
2008219862.tif 000029
2008219862.tif 000030
2008219862.tif 000031
2008219862.tif 000032
2008219862.tif 000033
2008219862.tif 000034
2008219862.tif 000035
2008219862.tif 000036
2008219862.tif 000037
2008219862.tif 000038
2008219862.tif 000039
2008219862.tif 000040
2008219862.tif 000041
2008219862.tif 000042
2008219862.tif 000043
2008219862.tif 000044
2008219862.tif 000045
2008219862.tif 000046
2008219862.tif 000047
2008219862.tif 000048
2008219862.tif 000049
2008219862.tif 000050
2008219862.tif 000051
2008219862.tif 000052
2008219862.tif 000053
2008219862.tif 000054
2008219862.tif 000055
2008219862.tif 000056
2008219862.tif 000057
2008219862.tif 000058
2008219862.tif 000059
2008219862.tif 000060
2008219862.tif 000061
2008219862.tif 000062
2008219862.tif 000063
4. Brief Description of the Drawings
2008219862.tif 000064
2008219862.tif 000065
1. What is claimed is
2008219862.tif 000066
2008219862.tif 000067
2008219862.tif 000068
2008219862.tif 000069
2008219862.tif 000070
2008219862.tif 000071
abstract
2008219862.tif 000072
2008219862.tif 000073
2008219862.tif 000074
2008219862.tif 000075
2008219862.tif 000076
2008219862.tif 000077
2008219862.tif 000078
2008219862.tif 000079
2008219862.tif 000080
2008219862.tif 000081
2008219862.tif 000082
2008219862.tif 000083
2008219862.tif 000084
2008219862.tif 000085
2008219862.tif 000086
2008219862.tif 000087
2008219862.tif 000088