(57)【要約】一連の画像を表すビデオ信号を符号化するための方法であって、前記方法は、画像（Ｉ０）を生成するために、一連の画像の他の画像を参照しないで、一連の画像の第１の画像（または、１つの画像のセグメント）を符号化するステップと、対応する時間的に予測した画像（Ｐ４）または１つの画像のセグメントを生成するために、一連の画像の他の画像（Ｉ４）を参照して、上記第１の画像（または、１つの画像のセグメント）を符号化するステップと、を含む方法。
2004507178.tif 000002
【特許請求の範囲】
【請求項１】
一連の画像を表すビデオ信号を符号化するための方法であって、前記方法が、前記一連の画像の他の画像を参照しないで、前記一連の画像の第１の画像の少なくとも一部を符号化するステップと、対応する時間的に予測した画像を生成するために、前記一連の画像の他の画像を参照することにより、前記第１の画像の前記少なくとも一部を符号化するステップと、を含むことを特徴とする方法。
【請求項２】
請求項１に記載の方法において、他の画像を参照しないで符号化された各画像またはその一部も、前記一連の画像の他の画像を参照して符号化されることを特徴とする方法。
【請求項３】
請求項１に記載の方法において、前記第１の画像またはその一部が、前記第１の画像より時間的に前に前記一連の画像内で発生する他の画像を参照することにより符号化されることを特徴とする方法。
【請求項４】
請求項１に記載の方法において、前記第１の画像またはその一部が、前記第１の画像より時間的に後に前記一連の画像内で発生する他の画像を参照することにより符号化されることを特徴とする方法。
【請求項５】
請求項１に記載の方法において、前記第１の画像またはその一部が、前記一連の画像内で発生する１つまたはそれ以上の画像を参照することにより符号化されることを特徴とする方法。
【請求項６】
一連の画像を表すビデオ信号を受信するための入力を備えるビデオ・エンコーダであって、前記エンコーダが、前記一連の画像の他の画像を参照しないで、前記一連の画像の第１の画像またはその一部を符号化し、対応する時間的に予測した画像を生成するために、前記一連の画像の他の画像を参照することにより、前記第１の画像またはその一部を符号化するように構成されていることを特徴とするビデオ・エンコーダ。
【請求項７】
請求項６に記載のビデオ・エンコーダを含むことを特徴とするビデオ・コーデック。
【請求項８】
請求項６に記載のビデオ・エンコーダ、または請求項７に記載のビデオ・コーデックを含むことを特徴とするマルチメディア・システム。
【請求項９】
一連の画像を表すビデオ信号を符号化するための方法であって、前記方法が、前記一連の画像の他の画像を参照しないで、前記一連の画像の第１の画像のセグメントを符号化するステップと、対応する時間的に予測した画像セグメントを生成するために、前記一連の画像の他の画像を参照することにより、前記第１の画像の少なくとも前記セグメントを符号化するステップと、を含むことを特徴とする方法。
【請求項１０】
ビデオ復号化方法であって、一連のビデオ画像の符号化された画像を表す信号を受信するステップと、時間的に予測しない画像、または時間的に予測しない画像の一部が劣化しているかどうかを判断するステップと、もし劣化している場合には、前記画像またはその一部の時間的に予測した画像をモニタするステップと、前記画像またはその一部の時間的に予測した画像を受信した場合、他の画像を参照することにより、前記画像またはその一部を復号化するステップと、を含むことを特徴とする方法。
【請求項１１】
一連のビデオ画像の符号化した画像を表す信号を受信するための入力を備えるビデオ・デコーダであって、前記ビデオ・デコーダが、時間的に予測しないフレームまたはその一部が劣化しているかどうかを判断し、劣化している場合には、前記フレームまたはその一部の時間的に予測した画像をモニタし、前記フレームまたはその一部の時間的に予測した画像を受信した場合に、他のフレームを参照することにより、前記フレームまたはその一部の時間的に予測した画像を復号化するように構成されていることを特徴とするビデオ・デコーダ。
【請求項１２】
請求項６または１１に記載のビデオ・エンコーダまたはビデオ・デコーダを内蔵することを特徴とする携帯電子デバイス。
【発明の詳細な説明】
【０００１】
（技術分野）
本発明は、ビデオ信号の符号化方法に関する。
【０００２】
（背景技術）
一連のビデオ画像は、一連の静止画像またはフレームからなる。ビデオ圧縮方法は、一連のビデオ画像の冗長で知覚に影響を与えない部分を低減するという原理に基づいている。一連のビデオ画像の冗長な部分は、スペクトル的に冗長な部分、空間的に冗長な部分および時間的に冗長な部分に分類することができる。スペクトル的に冗長な部分とは、同じ画像の異なる色の成分間の類似性のことをいう。空間的に冗長な部分は、ある画像の隣接ピクセル間の類似性によるものである。時間的に冗長な部分は、前の画像内に現れた対象物が、現在の画像に現れる可能性が高いために発生するものである。ビデオ画像の圧縮は、この時間的に冗長な部分を利用して、アンカー画像または基準画像と呼ばれる他の画像から現在の画像を予測することにより行うことができる。さらなる圧縮は、現在の画像と前の画像との間の動きを示す動き補償データを生成することにより行うことができる。
【０００３】
しかし、通常、一連の画像の固有の冗長部分を低減するだけでは十分な圧縮を行うことはできない。それ故、ビデオ・エンコーダは、また、主観的に重要度の低い一連のビデオ画像のこれらの部分の画像の品質を犠牲にしようとする。さらに、符号化されたビット・ストリームの冗長部分は、圧縮パラメータおよび係数の効率的でロスのない符号化により低減することができる。主要な技術は、可変長コードを使用している。
【０００４】
ビデオ圧縮方法は、通常、時間的に冗長な部分を低減する画像と低減を行わない画像とを識別する。時間的に冗長な部分を低減する方法を使用しない圧縮した画像は、通常、ＩＮＴＲＡフレームまたはＩフレームまたはＩ画像と呼ばれる。時間的に予測した画像は、現在の画像の前に発生するある画像から順方向に予測され、ＩＮＴＥＲフレームまたはＰフレームまたはＰ画像と呼ばれる。ＩＮＴＥＲフレームの場合には、予測した動きを補正した画像は十分に正確であることはほとんどなく、そのため、空間的に圧縮した予測エラー・フレームは、各ＩＮＴＥＲフレームに関連している。ＩＮＴＥＲ画像は、ＩＮＴＲＡ符号化領域を含むことができる。
【０００５】
多くのビデオ圧縮スキームは、また、通常、Ｂ画像またはＢフレームと呼ばれる時間的に両方向に予測したフレームを使用する。Ｂ画像は、Ｉフレームおよび／またはＰフレームの一組のアンカー画像間に挿入され、これらアンカー画像の一方または両方から予測される。Ｂ画像の圧縮率は、順方向予測画像の圧縮率と比較すると高い。Ｂ画像は、アンカー画像としては使用されない。すなわち、Ｂ画像からは他の画像は予測されない。それ故、以降の画像の品質を劣化させないで、（意図的に、または意図しないで）カットすることができる。Ｂ画像は、Ｐ画像と比較した場合、圧縮性能を改善することができるが、Ｂ画像を生成するには、より複雑な計算が必要になり、より大きな容量のメモリが必要になり、遅延がさらに増大する。ビデオ・ストリーミングのようなリアルタイムでない用途の場合には、このことは問題にならないが、ビデオ会議のようなリアルタイムの用途の場合には問題になる。
【０００６】
圧縮したビデオ・クリップは、通常、大きく分けた場合、時間的に独立しているＩＮＴＲＡ画像、および時間的にずらして符号化したＩＮＴＥＲ画像に分類することができる一連の画像からなる。ＩＮＴＲＡ画像の圧縮効率は、通常、ＩＮＴＥＲ画像の圧縮効率よりも低いので、ＩＮＴＲＡ画像は、特に遅いビット速度の用途で使用されることはほとんどない。
【０００７】
一連のビデオ画像が、多数のシーンまたはショットからなる場合がある。画像の内容が、あるシーンと他のシーンとの間で非常に異なる場合があり、そのため、あるシーンの第１の画像は、通常、ＩＮＴＲＡ符号化される。テレビジョンおよびフィルムの場合には、シーンの変化が頻繁に起こり、一方ビデオ会議の場合には、シーンのカットは比較的稀である。さらに、ＩＮＴＲＡ画像は、通常、再構成したビデオ信号の送信エラーが時間的に伝搬するのをストップし、またビデオ・ビット・ストリームへのランダム・アクセス点を提供するために挿入される。
【０００８】
圧縮したビデオは、種々の理由により送信エラーにより容易に劣化する。第一に、時間的予測差分符号化（ＩＮＴＥＲフレーム）の使用により、エラーは、空間的にも時間的にも伝搬する。実際には、このことは、エラーが発生すると、比較的長い間、人間の目で容易に見ることができることを意味する。特に、ＩＮＴＲＡ符号化したフレームを少ししか含んでいない低いビット速度の送信は影響を受けやすいために、時間的エラー伝搬はしばらくの間停止しない。第二に、可変長コードを使用すると、エラーの影響を受けやすくなる。ビット・エラーが符号語を変化させる場合には、デコーダは、符号語の同期を失い、また、次の同期（またはスタート）コードが来るまで、以降のエラーを含まない（いくつかのビットからなる）符号語の復号化が不正確になる。同期コードは、他の符号語の任意の合法的な組み合わせから生成させることができないビット・パターンであり、このようなコードは、再同期を行うことができるように、間隔を置いてビット・ストリームに追加される。さらに、送信中にデータが喪失するとエラーが発生する。例えば、ＩＰネットワークで信頼性の低いユーザ・データグラム・プロトコル（ＵＤＰ）転送プロトコルを使用するビデオ用途の場合には、ネットワーク素子は、符号化されたビデオ・ビット・ストリームの部分をカットすることができる。さらに、符号化されたＩＮＴＲＡ画像は、通常、符号化されたＩＮＴＥＲ画像よりもかなり大きい。それゆえ、周期的ＩＮＴＲＡフレームが符号化された場合には、ＩＮＴＲＡ画像が劣化している可能性がより高い。
【０００９】
受信機は、多くの方法で、送信経路内に導入された劣化に対処することができる。一般に、信号を受信すると、最初に送信エラーが検出され、次に、受信機により送信エラーが修正または隠蔽される。エラーの修正とは、最初にエラーが全然導入されなかったように、エラーを含むデータを完全に回復するプロセスである。エラーの隠蔽とは、再構成した一連のビデオ画像で送信エラーがほとんど目に見えないように、送信エラーの影響を隠すプロセスである。通常、エラーの検出、修正および隠蔽を容易に行うことができるように、ソースまたは転送符号化によりある量の冗長度が追加される。
【００１０】
ストリーミング用途の場合には、クリップの以降の部分をダウンロードしながら、デマルチプレクス−解凍−再生チェーンを形成することができる。この場合、クライアントは、劣化したＩＮＴＲＡ画像の再送信を要求することができる。しかし、場合によっては、ストリーミング・サーバは、このような要求に答えることができない場合もあるし、またはストリーミング・サーバとクライアントの間の通信プロトコルが、このような要求を送信することができない場合もある。例えば、サーバは、マルチキャスト・ストリーム、すなわち、複数のクライアントに対して１つのストリームを送信することができる。クライアントの１人が、劣化したＩＮＴＲＡ画像を受信し、再送信要求を送信した場合には、マルチキャスト・サーバは、マルチキャスト・チャネルにより、すべてのクライアントに、再送信したＩＮＴＲＡ画像を送信するか、または特定のクライアントに再送信するために追加のユニキャスト・チャネルを開く。前者の場合には、大多数のクライアントに対するネットワーク・トラヒックが不必要に増大し、後者の場合には、アプリケーションおよびネットワーク・リソース割当てが複雑になる。ＲＴＣＰ（リアルタイム制御プロトコル）は、特定の画像の再送信を要求することができない転送プロトコルの一例である。サーバは、ＲＴＣＰが提供する受信機リポートに基づいて、どの画像を再送信すべきかを決定することはできない。
【００１１】
現在のビデオ符号化規格は、自己充足ビデオ・ビット・ストリームのためのシンタックスを定義している。書込み時に最も広く使用されている規格は、ＩＴＵ−Ｔ勧告Ｈ．２６３、「低ビット速度通信用のビデオ符号化」１９９８年２月；ＩＳＯ／ＩＥＣ１４４９６−２、「オーディオ・ビジュアル対象物の一般的な符号化、２部：ビジュアル」１９９９年（ＭＰＥＧ−４と呼ばれる）；およびＩＴＵ−Ｔ勧告Ｈ．２６２（ＩＳＯ／ＩＥＣ１３８１８−２）（ＭＰＥＧ−２と呼ばれる）である。これらの規格は、ビット・ストリームに対する、また従って一連の画像および画像に対するシンタックスを定義している。
【００１２】
ＩＴＵ−Ｔ　Ｈ．２６３付属書類Ｎ基準画像選択（ＲＰＳ）モードのような、ある種のビデオ符号化スキームは、ＩＮＴＥＲフレームの予測基準フレームへの１つのインジケータまたは複数のインジケータを含む。
Ｈ．２６３の付属書類Ｎは、また、ビデオ冗長符号化（ＶＲＣ）も記載している。ＶＲＣの場合には、別々に符号化されたＩＮＴＥＲ画像の複数の「スレッド」が発生する。それ故、あるスレッド内のフレームが劣化しても、他のスレッドの復号化は影響を受けない。周期的に、すべてのスレッドは、すべてのスレッド内で冗長性を持って表されるＩＮＴＲＡ画像であっても、または非ＩＮＴＲＡ画像であってもよい、いわゆる同期フレームに収束する。この同期フレームから、すべての独立しているスレッドが再びスタートする。
【００１３】
ＶＲＣ方法の原理は、すべての画像が、ラウンドロビン方式で、スレッドの１つに割り当てられるように、一連の画像を２つまたはそれ以上のスレッドに分割するというものである。各スレッドは別々に符号化される。１つのスレッド内のフレーム速度は、全フレーム速度より遅い。すなわち、２つのスレッドの場合の１／２であり、３つのスレッドの場合の１／３である。以下同じ。そのため、１つのスレッド内の２つのＰ画像間の動きに関連する変化を正確に表すための、通常必要な一般的にもっと大きな変化およびもっと長い運動ベクトルにより、実質的な符号化ペナルティが起こる。一定の間隔で、すべてのスレッドは、いわゆる同期フレームに収束する。この同期フレームから新しい一連のスレッドがスタートする。
【００１４】
スレッドの１つが、（例えば、パケットの喪失により）劣化した場合には、次の同期フレームを予測するために、残りのスレッドを使用することができる。損傷したスレッドの復号化を続行することができる。この場合、通常、画像が若干劣化したり、その復号化がストップして、その結果、フレーム速度が低下することになる。しかし、スレッドの長さが適当に短く維持される場合には、両方のタイプの劣化の持続時間は比較的短い。すなわち、劣化の持続時間は、次の同期フレームが出現するまでの時間である。
【００１５】
損傷を受けていないスレッドの１つから同期フレームを常に予測することができる。このことは、送信したＩ画像の数を小さく維持することができることを意味する。何故なら、完全な再同期を行う必要がないからである。２つの同期フレーム間のすべてのスレッドが損傷した場合だけは、正しい同期フレーム予測を行うことはできない。この場合には、ＶＲＣを使用しない場合のように、次のＩ画像が正しく復号化されるまで、目障りなアーティファクトが画面に現れる。
【００１６】
（発明の開示）
第１の態様によれば、本発明は、一連の画像を表すビデオ信号を符号化するための方法を提供する。前記方法は、一連の画像の他の画像を参照しないで、前記一連の画像の第１の画像の少なくとも一部を符号化するステップと、対応する時間的に予測した画像を生成するために、前記一連の画像の他の画像を参照することにより、前記第１の画像の前記少なくとも一部を符号化するステップとを含む。
【００１７】
本発明は、ＩＮＴＲＡ的な方法で、フレームまたはフレームの一部を符号化する場合には、何時でも適用することができる。エンコーダがフレーム（またはフレームの一部）を符号化する場合には、エンコーダは、また、再度前記フレーム（または前記フレームの一部）を符号化するが、この場合には、一連のビデオ画像内の他のフレームを参照することにより、時間的予測方法で符号化を行う。
【００１８】
本発明を使用すれば、元のＩＮＴＲＡ画像が喪失したり、劣化した場合でも、デコーダのところでＩＮＴＲＡ画像を回復することができる。送信機と受信機との間の相互作用は、ＩＮＴＲＡ画像を回復するのに必要ではない。さらに、ある種の状況の場合には、本発明を使用すれば、ビット速度オーバーヘッドが、従来技術の順方向エラー修正方法よりも少なくなる。
好適には、他の画像を参照しないで符号化した各画像（または、画像セグメント）も、前記一連の画像の他の画像を参照することにより符号化することが好ましい。
【００１９】
第１の画像（または画像セグメント）は、前記第１の画像より時間的に前の一連の画像内で発生する他の画像を参照して、および／または前記第１の画像より時間的に後の一連の画像内で発生する他の画像を参照することにより符号化することができる。第１の画像（または画像セグメント）は、前記一連の画像内で発生する他の画像を参照することにより、複数回符号化することができる。
【００２０】
第２の態様によれば、本発明は、一連の画像を表すビデオ信号を受信するための入力を備えるビデオ・エンコーダを提供する。前記エンコーダは、一連の画像の他の画像を参照しないで、一連の画像の第１の画像またはその一部を符号化し、対応する時間的に予測した画像を生成するために、一連の画像の他の画像を参照することにより前記第１の画像またはその一部を符号化するように構成される。
【００２１】
本発明は、また、本発明のビデオ・エンコーダを含むビデオ・コーデックおよびマルチメディア・システムを提供する。
さらに他の態様によれば、本発明は、一連の画像を表すビデオ信号を符号化するための方法を提供する。前記方法は、一連の画像の他の画像を参照しないで、一連の画像の第１の画像のセグメントを符号化するステップと、対応する時間的に予測した画像セグメントを生成するために、一連の画像の他の画像を参照することにより前記第１の画像の少なくとも前記セグメントを符号化するステップとを含む。
【００２２】
ビデオ復号化方法は、また、一連のビデオ画像の符号化した画像を表す信号を受信するステップと、時間的に予測しない画像または時間的に予測しない画像の一部が、劣化しているかどうかを判断するステップと、もし劣化している場合には、画像またはその一部の時間的に予測した画像をモニタするステップと、画像またはその一部の時間的に予測した画像を受信した場合に、他の画像を参照することにより、画像またはその一部を復号化するステップとを含む。
【００２３】
さらに他の態様によれば、本発明は、一連のビデオ画像の符号化した画像を表す信号を受信するための入力を備えるビデオ・デコーダを提供する。前記ビデオ・デコーダは、時間的に予測しないフレームまたはその一部が劣化しているかどうかを判断し、劣化している場合には、フレームまたはその一部の時間的に予測した画像をモニタし、フレームまたはその一部の時間的に予測した画像を受信した場合に、他のフレームを参照することにより、フレームまたはその一部の時間的に予測した画像を復号化するように構成される。
本発明は、本発明のビデオ・エンコーダまたはビデオ・デコーダを内蔵する携帯電子デバイスを含む。
添付の図面を参照しながら本発明を説明するが、これは単に例示としてのものに過ぎない。
【００２４】
（発明を実施するための最良の形態）
図１は、通常のマルチメディア移動通信システムである。第１のマルチメディア移動端末１は、移動通信ネットワーク４への無線リンク３を介して、第２のマルチメディア移動端末２と通信する。制御データは、マルチメディア・データと同様に２つの端末１、２間で送信される。
【００２５】
図２は、端末１の通常のマルチメディア構成部品を示す。端末は、ビデオ・コーデック１０、オーディオ・コーデック２０、データ・プロトコル・マネージャ３０、制御マネージャ４０、マルチプレクサ／デマルチプレクサ５０、および（必要な場合には）モデムを備える。ビデオ・コーデック１０は、端末（例えば、カメラ）のビデオ入出力装置７０から符号化のための信号を受信し、ビデオ入出力装置７０のディスプレイ上の端末１により表示するために、遠隔端末２から復号化のための信号を受信する。オーディオ・コーデック２０は、端末１のオーディオ入出力装置７５（例えば、マイクロホン）から符号化のための信号を受信し、端末１のオーディオ入出力装置７５（例えば、ラウドスピーカ）により再生するために、遠隔端末２から復号化のための信号を受信する。端末は、無線電話のような携帯無線通信装置であってもよい。
【００２６】
制御マネージャ４０は、ビデオ・コーデック１０、オーディオ・コーデック２０およびデータ・プロトコル・マネージャ３０の動作を制御する。しかし、本発明は、ビデオ・コーデック１０の動作に関するものなので、オーディオ・コーデック２０およびプロトコル・マネージャ３０についてはこれ以上の説明は省略する。
【００２７】
図３は、本発明のビデオ・コーデック１０の一例である。ビデオ・コーデックは、エンコーダ部１００およびデコーダ部２００を備える。エンコーダ部１００は、端末１のカメラまたはビデオ・ソース（図示せず）からのビデオ信号を受信するための入力１０１を備える。スイッチ１０２は、符号化のためのＩＮＴＲＡモードとＩＮＴＥＲモードとの間でエンコーダを切り替える。ビデオ・コーデック１０のエンコーダ部１００は、ＤＣＴ変換装置１０３、量子化装置１０４、逆量子化装置１０８、逆ＤＣＴ変換装置１０９、加算装置１１０、１つまたはそれ以上の画像記憶装置１０７、予測エラーを形成するための減算装置１０６、スイッチ１１５および符号化制御マネージャ１０５を備える。
【００２８】
ビデオ・コーデック１０のデコーダ部２００は、逆量子化装置２２０、逆ＤＣＴ変換装置２２１、動き補償器２２２、複数の画像記憶装置２２３およびコントローラ２２４を備える。コントローラ２２４は、デマルチプレクサ５０により、符号化されたマルチメディア・ストリームから逆多重化されたビデオ・コーデック制御信号を受信する。実際には、エンコーダのコントローラ１０５、およびデコーダのコントローラ２２４は同じプロセッサであってもよい。
【００２９】
本発明のエンコーダの動作について以下に説明する。ビデオ・コーデック１０は、符号化するビデオ信号を受信する。ビデオ・コーデックのエンコーダ１００は、ＤＣＴ変換、量子化および動き補償を行うことによりビデオ信号を符号化する。次に、符号化されたビデオ・データは、マルチプレクサ５０に出力される。マルチプレクサ５０は、ビデオ・コーデック１０からのビデオ・データ、および制御マネージャ４０からの制御データ（および適当な他の信号）をマルチメディア信号に多重化する。端末１は、（必要な場合には）モデム６０を介して受信端末２にマルチメディア信号を出力する。
【００３０】
ＩＮＴＲＡモードの場合には、入力１０１からのビデオ信号は、ＤＣＴ変換装置１０３によりＤＣＴ係数に変換される。ＤＣＴ係数は、次に、量子化装置１０４に送られ、そこで量子化される。スイッチ１０２および量子化装置１０４の両方は、制御マネージャ４０により受信端末２からフィードバック制御を受信することができるビデオ・コーデックの符号化制御マネージャ１０５により制御される。次に、量子化装置によるデータ出力を逆量子化装置１０８を通すことにより、また逆量子化データに対して逆ＤＣＴ変換１０９を行うことにより、復号化された画像が形成される。結果として得られるデータは、加算装置１１０により画像記憶装置１０７に追加される。スイッチ１１５は動作するが、加算装置１１０にデータは送られない。
【００３１】
ＩＮＴＥＲモードの場合には、スイッチ１０２が動作して、減算装置１０６から、入力１０１からの信号と画像記憶装置１０７内に記憶している基準画像との間の差を受信する。減算装置１０６からの差データ出力は、現在の画像と画像記憶装置１０７内に記憶している基準画像との間の予測エラーを表す。動き推定器１１１は、従来の方法で、画像記憶装置１０７内のデータから動き補償データを生成することができる。
【００３２】
符号化制御マネージャ１０５は、ＩＮＴＲＡ符号化またはＩＮＴＥＲ符号化を適用すべきかどうか、また、減算装置１０６の出力または受信デコーダからのフィードバック制御データへの応答に基づいて、フレームを符号化すべきかどうかの判断を行い、それに従って、スイッチ１０２を作動する。符号化制御マネージャは、現在のフレームと基準フレームとの間の類似性が十分であるか、またはフレームを符号化している時間がない場合には、受信フレームを符号化しないことを決定することができる。
【００３３】
フィードバック制御データに応答しない場合には、エンコーダは、通常、符号化の始め（他のすべてのフレームはＰフレームである）だけか、例えば、５秒毎というような一定の周期で、または減算装置の出力がしきい値を超えた場合、すなわち、現在の画像および画像記憶装置１０７内に記憶している画像が、十分な時間的な予測を行うには違い過ぎていると判断した場合には、フレームをＩＮＴＲＡフレームとして符号化する。エンコーダは、また、例えば、ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢＩＢＢＰのような特定の一定のシーケンスでフレームを符号化するようにプログラムすることができる。
【００３４】
ビデオ・コーデックは、ＩＮＴＲＡ符号化画像の量子化したＤＣＴ係数、またはＩＮＴＥＲ符号化画像１１２ａの予測エラー・データ、量子化指数１１２ｂ（すなわち、使用する量子化装置の詳細）、行った符号化のモード（ＩまたはＰ／Ｂ）を表すためのＩＮＴＲＡ／ＩＮＴＥＲフラグ１１２ｃ、符号化するフレームの数を表すための送信フラグ１１２ｄ、およびＩＮＴＥＲ画像が符号化される場合の運動ベクトル１１２ｅを出力する。これらは、他のマルチメディア信号と一緒にマルチプレクサ５０により多重化される。
【００３５】
図４は、本発明の第１の実施形態によるエンコーダの動作を示すフローチャートである。エンコーダは、ＩＮＴＲＡ符号化フレームに対応する１つまたはそれ以上の時間的に予測したフレーム、およびＩＮＴＲＡ符号化フレーム自身を生成する。説明を簡単にするために、ＩＮＴＥＲフレームおよびＩＮＴＲＡフレームの処理だけを説明する。他のタイプのフレーム（例えば、Ｂフレーム）の処理の説明は省略する。これらのフレームは、従来の方法で処理される。
【００３６】
最初に、エンコーダは、フレームを受信する（ステップ４０１）。エンコーダは、（従来の方法で）フレームを符号化すべきか、またはスキップすべきかどうかを判断する（４０２）。そのフレームを符号化するという決定が行われた場合には、エンコーダは、フレームをＩＮＴＥＲフレームとして符号化すべきか（ステップ４０４）、またはＩＮＴＲＡフレームとして符号化すべきか（ステップ４０５）どうかを判断する（４０３）。ＩＮＴＥＲフレームとして符号化する場合には、従来の時間的予測方法で、そのフレームは符号化される（４０４）。ＩＮＴＲＡフレームとして符号化する場合には、従来の時間的に予測しない方法で、そのフレームの符号化が行われる（４０５）。フレームをＩＮＴＲＡフレームとして符号化する（４０５）決定は、エンコーダで設定された周期的ＩＮＴＲＡ要求に応じて、または受信デコーダから受信した特定の要求に応じて行うことができる。別な方法としては、上記決定は、エンコーダの圧縮の効率の見地から見て、ＩＮＴＲＡ画像の使用を有利にする画像コンテンツに有意の変化があるという判断を行うエンコーダに応じて行うこともできる。これは、非公式にはシーン・カットと呼ぶこともできる。
【００３７】
本発明は、ＩＮＴＲＡ的な方法で、フレームまたはフレームのセグメントを符号化する場合には何時でも適用することができる。エンコーダがフレームをＩＮＴＲＡフレームとして符号化する場合には、エンコーダは、また、再度上記フレーム（または上記フレームのセグメント）を符号化するが（ステップ４０７、４０８）、この場合には、一連のビデオ画像内の他のフレームを参照することにより時間的予測方法で符号化を行う。
【００３８】
一連のビデオ画像の第１のフレームを除く全部の場合には、ＩＮＴＲＡ符号化されたフレームは、また、符号化されるフレームより時間的に前の一連のビデオ画像内に発生するフレームを参照することにより、時間的予測方法で、すなわち、順方向予測により符号化される（ステップ４０７）。この例外は、シーン・カット後の第１のＩＮＴＲＡ符号化されたフレームの場合にも当てはまる。
【００３９】
エンコーダが、そのフレームが符号化される第１のＩＮＴＲＡフレーム（または、シーン・カット後に符号化される第１のＩＮＴＲＡフレーム）であると判断した（４０６）場合には、エンコーダは、再びそのフレームを符号化するが（ステップ４０８）、この場合には、エンコーダは、符号化されるフレームより時間的に後の一連のビデオ画像内に発生するフレームを参照することにより、時間的予測方法で、すなわち、逆方向予測により符号化される。それ故、エンコーダは、符号化のために以降のフレームを受信するまで待機しなければならず、受信後初めて以降のフレームを参照することにより予測フレームを符号化することができる。
【００４０】
図４の例の場合には、エンコーダは、次のＩＮＴＲＡフレームが符号化されるまで待機し（ステップ４０９）、次に、そのシーンの第２のＩＮＴＲＡフレームを参照することにより、前のＩＮＴＲＡ符号化したフレームの逆方向の予測画像を生成する（ステップ４０８）。
一連のビデオ画像の第１のＩＮＴＲＡ画像後のすべてのＩＮＴＲＡ画像は、順方向予測方法および／または逆方向予測方法により符号化した時間的に予測した画像を持つことができる。
【００４１】
図５は、本発明のエンコーダのフレーム毎の出力である。Ｉ０は、一連のビデオ画像の冒頭（または、シーン・カット後）に出現するＩＮＴＲＡ符号化した画像である。この図のシステムは、周期的ＩＮＴＲＡ画像を使用する。Ｉ４はその画像である。Ｉ０およびＩ４を送信エラーから保護するために、ＩＮＴＲＡ符号化された各画像の第２の画像は、時間的予測方法により符号化され、送信される。画像４の第２の画像は、画像０を参照することにより予測した（および動き補償した）ＩＮＴＥＲ画像である。図５においては、Ｐ４が第２の画像である。Ｐ４は、先行するフレーム、Ｉ０、Ｐ１、Ｐ２またはＰ３の中の任意のフレームから予測することができる。好適には、画像０を選択することが好ましい。何故なら、画像０を選択しないと、Ｐ４は、Ｉ０からスタートする予測経路内の送信エラーにより損傷を受けやすいからである。受信デコーダは、表示／参照のための画像を再構成するために、画像４の任意の画像を使用することができる。
【００４２】
画像０を送信エラーから保護するために、同じ画像の第２の画像が符号化され、送信される。画像０は、一連のビデオ画像の第１のＩＮＴＲＡ符号化されたフレームである。このフレームは、一連のビデオ画像全体である場合もあるし、または一連のビデオ画像全体の１つのサブセットの第１のＩＮＴＲＡ符号化されたフレーム（例えば、シーン・カットのような視覚的な中断の直後に発生するＩＮＴＲＡフレーム）である場合もある。このようなＩＮＴＲＡ画像のための基準画像の選択方法は、Ｉ４を選択する際に使用する方法とは異なる。代わりに、画像０の第２の画像は、次の周期的ＩＮＴＲＡ画像（この例の画像４）に対応する画像を参照することにより予測した（および動き補償した）ＩＮＴＥＲ画像である。Ｉ０が劣化している場合には、受信機は、Ｉ４およびＰ０が受信されるまで待機することができ、その後で、受信機は、画像０を再構成することができる。この場合も、フレームＩ４以外の画像からＰ０を予測することができるが、予測は、ＩＮＴＲＡ的方法で符号化した時間的に最も近いフレームから行うことが好ましい。
符号化されたデータは、それが符号化された順序、すなわち、Ｉ０、Ｐ１、Ｐ２、Ｐ３、Ｉ４、Ｐ４、Ｐ０、Ｐ５．．．の順序で送信することができる。別な方法としては、データのフレームを再配列することもできる。
【００４３】
端末１を、端末２から符号化したビデオ・データを受信する端末であると見なして、その復号化機能を参照しながらビデオ・コーデック１０の動作を説明する。端末１は、送信端末２からマルチメディア信号を受信する。デマルチプレクサ５０は、マルチメディア信号を逆多重化し、ビデオ・データをビデオ・コーデック１０に送信し、制御データを制御マネージャ４０に送信する。ビデオ・コーデックのデコーダ２００は、データを逆量子化し、逆ＤＣＴ変換し、また動きを補償して、符号化したビデオ・データを復号化する。デコーダのコントローラ１２４は、受信データの統合性をチェックし、エラーが検出された場合には、下記の方法によりエラーを隠蔽しようとする。次に、復号化され、修正され、また隠蔽されたビデオ・データは、画像記憶装置２２３の中の１つに記憶され、受信端末１のディスプレイ７０上での再生のために出力される。
【００４４】
ビデオ・データのエラーは、画像レベルで、画像セグメント・レベル（例えば、ＧＯＢ（ブロックのグループ）またはスライス・レベル）で、またはマクロブロック・レベルで発生する場合がある。エラー・チェックは、これらのレベルの任意のレベルまたは各レベルで行うことができる。
図６は、本発明のビデオ・デコーダのフローチャートである。図５の信号について考察すると、本発明のデコーダがこの信号を受信すると、信号の各フレームは、従来の方法で復号化され、ディスプレイ手段上に表示される。復号化されたフレームのエラーは、従来の方法で修正したり、隠蔽したりすることができる。フレームが復号化される度に、デコーダは、フレームの表示時間を決定する。この決定は、フレームのヘッダの時間参照（ＴＲ）フィールドをチェックすることにより行うことができ、ビデオがパケットの形で送信される場合には、パケットのタイムスタンプをチェックすることができる。
【００４５】
図５の画像について説明すると、これらの画像は、下記の順序、すなわち、Ｉ０、Ｐ１、Ｐ２、Ｐ３、Ｉ４、Ｐ４、Ｐ０、Ｐ５．．．の順序で送信される。デコーダは、画像Ｉ０を受信し（ステップ６０１）、その画像ヘッダから画像がＩＮＴＲＡ符号化されていると判断する（ステップ６０２）。デコーダは、任意の他の画像を参照しないで画像Ｉ０を復号化し（ステップ６０３）、それを表示し、画像記憶装置２２３ａにそれを記憶する（ステップ６０４）。次に、デコーダは、画像Ｐ１を受信し（ステップ６０１）、その画像ヘッダから画像がＰ画像としてＩＮＴＥＲ符号化されていると判断する（ステップ６０２）。デコーダは、画像１がすでに復号化されているかどうかを判断する（ステップ６０５）。画像１はまだ復号化されていないので、デコーダは、Ｐ１の基準画像が受信ずみであり、復号化ずみであるかどうかをチェックする（ステップ６０６）。画像０はすでに受信ずみであり、復号化ずみである時、デコーダは、基準画像０を参照することにより画像Ｐ１を復号化し（ステップ６０３）、それを表示し、それを次の画像記憶装置２２３ｂに記憶する（ステップ６０４）。デコーダは、次に、画像Ｐ２を受信し（ステップ６０１）、その画像ヘッダから、画像がＰ画像としてＩＮＴＥＲ符号化されていると判断する（ステップ６０２）。画像２はまだ復号化されていないので（ステップ６０５）、基準画像１はすでに復号化ずみであり（６０６）、そのため、デコーダは、先行基準画像１を参照することにより画像Ｐ２を復号化し、それを表示し、それを次の画像記憶装置２２３ｃに記憶する。以下同じ。ＩＮＴＥＲ符号化された画像Ｐ３に対しても、同じ手順（ステップ６０２、６０３、６０５および６０６）が実行される。
【００４６】
受信する次の画像は画像Ｉ４である。デコーダは、次に、その画像ヘッダから、画像がＩＮＴＲＡ符号化されていると判断し（ステップ６０２）、画像を復号化する。デコーダは、次に、画像Ｐ４を受信し（ステップ６０１）、その画像ヘッダから、画像が、Ｐ画像としてＩＮＴＥＲ符号化されていると判断する（ステップ６０２）。しかし、デコーダは、画像４の復号化がすでに成功していることに気が付き（ステップ６０５）、画像Ｐ４を捨て、次の画像であるデータＰ０を受信する。デコーダは、その画像ヘッダから、画像がＰ画像としてＩＮＴＥＲ符号化されていると判断する（ステップ６０２）。しかし、デコーダは、画像０がすでに復号化されていることに気が付き（ステップ６０５）、画像Ｐ０を捨て、続いて次の画像であるデータＰ５を受信する。この画像は、次に、復号化した画像４を参照することにより復号化される。
【００４７】
上記の説明は、送信中にエラーが発生しない場合の状況の説明である。デコーダが、ＩＮＴＲＡ符号化されたフレームＩ０をうまく復号化できない場合について考えてみよう。このような復号化不能は、フレーム用のデータが送信中に完全に喪失した場合か、またはフレームに対するデータ中のあるものが劣化し、十分回復されない場合に発生する。フレームＰ１を受信した場合には、デコーダは、フレーム１はまだ復号化されていないと判断し（ステップ６０５）、またＰ１に対する基準フレームがまだ受信および復号化されていないと判断する（ステップ６０６）。そこで、デコーダは、Ｐ１に対するデータをバッファリングする（ステップ６０７）。Ｐ２およびＰ３に対しても同じ手順が行われる。
【００４８】
Ｉ４の受信に成功した場合には、デコーダは任意の他のフレームを参照しないでＩ４を復号化する。Ｐ４を受信した場合には、Ｐ４は無視される。何故なら、画像４はすでに復号化ずみであるからである（ステップ６０５）。Ｐ０を受信した場合には、デコーダは、画像０はまだ復号化されていないと判断し（ステップ６０５）、また、Ｐ０（画像４）の基準画像がすでに復号化ずみであると判断する（ステップ６０６）。それ故、デコーダは、画像４を参照してフレームＰ０を復号化する（ステップ６０３）。画像０が復号化されたので、画像０がそれに対する基準画像であったバッファした任意のフレームを復号化することができる。それ故、デコーダは、画像０を参照しながらバッファリングしたフレームＰ１を復号化する（６０８）。フレーム１を復号化した後で、デコーダは、バッファリングしたフレームＰ２を復号化することができ、フレーム２を復号化した後で、デコーダは、バッファリングしたフレームＰ３も復号化することができる。
【００４９】
デコーダが、バッファリングしたフレームの基準フレームを受信しない場合には、デコーダは、バッファリングしたフレームを捨てる。バッファしたフレームに対する基準画像を所与の時間内に受信しなかった場合、またはＩＮＴＲＡ符号化したフレームを受信した場合には、デコーダは、バッファリングしたフレームを捨てる。
【００５０】
図７は、シーンの変化を検出することができる、本発明のビデオ・デコーダの第２の実施形態を示すフローチャートである。デコーダは、復号化のための信号を受信する（ステップ７０１）。デコーダは、最後に復号化したフレーム間にシーン・カットがあるかどうか、またシーン・カット後のＩＮＴＲＡ画像が喪失しているかどうかを検出する（ステップ７０２）。この検出は、Ｈ．２６３の付属書類Ｗに記載されているように、例えば、符号化されたフレームのヘッダ内のシーン識別子をチェックすることにより、またはフレームの画像番号をチェックすることにより行うことができる。フレームの画像番号をチェックする場合には、デコーダは、画像番号から画像が喪失していることを推測することができ、また、喪失画像後の次の画像がスペアの基準画像番号を表示していない場合には、デコーダは、喪失した画像は、シーン・カットに関連するＩＮＴＲＡ画像であると見なす。
【００５１】
シーン・カット直後のＩＮＴＲＡ画像が喪失していない場合には、デコーダは、復号化中のフレームが、復号化ずみのフレーム（図では同期フレームと呼ぶ）の冗長な画像であるかどうかをチェックする。Ｈ．２６３の場合には、このような冗長な画像は、画像の主要画像と同じＴＲを、符号化したフレームに与えることにより表示することができる。
フレームが同期フレームでない場合で、同期フレームの主要な画像が復号化されていない場合には（ステップ７０４）、デコーダは、そのフレームを復号化し（ステップ７０５）、ループの始めから続行する。そうでない場合には、デコーダは、復号化をスキップし、ループの始めから続行する（ステップ７０１）。
【００５２】
第１のＩＮＴＲＡ画像（またはシーン・カット後の画像）が喪失している場合には、デコーダは、第１のＩＮＴＲＡ画像に対応する逆方向予測したフレームを受信するためにモニタを開始する（７０６）。デコーダは、この特定のフレームが、次の周期的ＩＮＴＲＡ画像の後に出現しなければならないことを知っている。予想した逆方向予測フレームに先行するすべてのフレームは、（圧縮フォーマットで）バッファリングされる（ステップ７０７）。逆方向予測同期フレームが、ビット・ストリーム内に出現しなければならない場合には、バッファリング動作は停止する。その画像および第１の周期的ＩＮＴＲＡ画像（すなわち、シーン内の第２のＩＮＴＲＡ画像）を正しく受信している場合には、次の受信フレームが復号化される（ステップ７０８）。その後で、バッファリングしたすべてのフレームが復号化され（ステップ７０９）、次に、そのシーンの第１のＩＮＴＲＡ画像が喪失しなかったように、復号化が正常に続行される。そうでない場合には、デコーダは、バッファリングしたフレームを復号化することはできないが、デコーダはこれらのフレームを捨てて（ステップ７１０）、次のＩＮＴＲＡ画像の到着を待ち（ステップ７１１）、それを復号化した後で復号化を正常に続行する。
【００５３】
フレーム・バッファリングは２つの意味を持つ。第一に、再生（表示）プロセスは、復号化プロセスにより導入されたジッタを吸収するためにバッファリングを使用しなければならない。このタイプのバッファは、ビデオ・ストリーミング内に通常存在するもので、そのため、本発明の場合には、表示プロセスに何らの修正も行う必要はない。第二に、すべてのバッファリングしたフレームは、基準フレームが復号化されるや否や復号化される。実際には、このことは、シーンの第１のＩＮＴＲＡ画像（Ｉ０）が喪失した場合には、計算動作にバーストが存在する場合があり、そのシーンのその画像の以降の画像（Ｐ０）が復号化されることを意味する。デコーダは、バッファリングに使用した時間を補うためのリソースを持つためにも、また圧縮していないフレームが、長時間バッファ内に残らないようにするためにも十分高速なものでなければならない。
【００５４】
通常の符号化／復号化順序は下記の通りである。
Ｉ０，Ｐ１，Ｐ２，．．．，Ｐｎ−１，Ｉｎ，Ｐｎ，Ｐ０，Ｐｎ＋１，Ｐｎ＋２，．．．
ここで、ＩはＩＮＴＲＡ画像を意味し、ＰはＩＮＴＥＲ画像を意味し、指数は相対捕捉／表示時間に対応する。時刻ｎはシーン・カット後の第１の周期的ＩＮＴＲＡフレームに対応する。
デコーダの処理電力要件は、送信フレームを再配置することにより、通常の符号化／復号化順序と比較して最低限度まで低減することができる。すなわち、送信機は、下記の順序でフレームを送信することができる。
Ｉ０，Ｉｎ，Ｐ０，Ｐｎ，Ｐ１，Ｐ２，．．．，Ｐｎ−１，Ｐｎ＋１，Ｐｎ＋２，．．．
【００５５】
本発明は、画像のいくつかのセグメントがＩＮＴＲＡ符号化され、他のセグメントがＩＮＴＥＲ符号化されるスキームに適用することができる。図８はその様子を示す。第一に、従来の方法でビット・ストリームが符号化される。エンコーダが、ＩＮＴＲＡ的な方法で、画像セグメントを更新することを決定した場合には、デコーダは、下記の３つの動作を行う。
１．エンコーダは、画像を通常のＩＮＴＥＲ画像Ｐ（ｎ）として符号化する。
２．エンコーダは、Ｐ（ｎ）の冗長な画像であるＰ（ｎ）’を符号化する。この場合、必要な画像セグメントは、ＩＮＴＲＡ符号化され、他の画像セグメントは、Ｐ（ｎ）から変化しないでそのままである。新しく符号化した画像のタイムスタンプは、可能な限りＰ（ｎ）に近い。
３．エンコーダは、Ｐ（ｎ）’の二次画像であるＰ（ｎ）”を符号化する。Ｐ（ｎ）”においては、ＩＮＴＲＡ的な方法で符号化されたＰ（ｎ）’の画像セグメントは、ＩＮＴＥＲ符号化される。好適には、使用する基準画像は、対応するセグメントがＩＮＴＲＡ符号化されている（Ｐ（ｎ）’以外の）最新の画像であることが好ましい。エンコーダは、起こりうる復号化エラーが、隣接セグメントに伝搬するのを防止する目的で、画像セグメントの内部だけをポイントするために、運動ベクトルを制限することができる。別な方法としては、エンコーダは、本来隣接画像セグメントからの予測を防止する、Ｈ．２６３独立セグメント復号化（付属書類Ｒ）のような符号化モードを使用することができる。Ｐ（ｎ）”の他の画像セグメントは、Ｐ（ｎ）から変化しないでそのままである。
その後で、エンコーダは、通常通り符号化を続行する。
【００５６】
デコーダは、すでに説明したのと類似の方法で動作する。Ｐ（ｎ）の画像セグメントが劣化していない場合には、Ｐ（ｎ）’およびＰ（ｎ）”は、冗長な部分であり、捨て去ることができる。そうでない場合には、デコーダは、劣化した画像セグメントを回復するために、Ｐ（ｎ）’またはＰ（ｎ）”を使用することができる。
【００５７】
送信機がＩＮＴＲＡフレームに対応する時間的に予測したフレームの複数のコピーを送信する場合には、本発明のエラーに対する許容力を改善することができる。上記複数のコピーは、順方向および逆方向に異なる基準画像から予測することができる。エラーに対する保護を最大限度まで強化するために、これらのフレームは、異なるパケット内に収容しなければならない。さらに、各ＩＮＴＲＡ画像を順方向および逆方向に予測した対応する画像に関連させれば有利である。
【００５８】
本発明は、会話型の遅延の少ない用途に使用することができる。表示する前に復号化したフレームをバッファリングしない（しかし、多かれ少なかれ直ちに復号化したフレームを表示する）用途の場合には、デコーダは、対応する逆方向に予測したフレームを使用することはできない。それ故、このような用途（例えば、会話用途）のための送信エンコーダは、ＩＮＴＲＡフレームのための対応する逆方向予測フレームを符号化しないように構成することができる。それ故、第１のＩＮＴＲＡ画像は、本発明により保護されない。
【００５９】
図９を参照しながら、全マルチメディア・コンテンツ生成および検索システムの枠組みについて以下に説明する。このシステムは、例えば、カメラおよびマイクロホンのような１つまたはそれ以上の媒体ソース９０を有する。マルチメディア・コンテンツは、例えば、アニメ化されたコンピュータ・グラフィックスおよびデジタル的に生成した音楽のように、合成的に生成することができる。異なる媒体タイプからなるマルチメディア・クリップを構成するために、ソースから捕捉した生のデータが、編集システム９１により編集される。通常、生のマルチメディア・データのために必要な記憶空間は巨大なものである。遅いビット速度のチャネルを通して魅力的なマルチメディア検索サービスを容易に行うために、マルチメディア・クリップも編集システム９１で圧縮される。次に、クリップはマルチメディア・サーバ９２に送られる。通常、多数のクライアント９３が、ネットワークを通してサーバにアクセスすることができる。サーバ９２は、クライアント９３からの要求に応答することができる。サーバの主なタスクは、所与のクライアントに必要なマルチメディア・クリップを送信することである。クライアント９３は、クリップを解凍し、再生する。再生段階で、クライアントは、例えば、クライアントのスクリーンおよびラウドスピーカのような１つまたはそれ以上の出力装置９４を使用する。図９のシステムの場合には、サーバは、本発明のビデオ・エンコーダを内蔵していて、クライアントは、本発明のビデオ・デコーダを内蔵している。二方向ビデオ送信を含む用途の場合には、サーバおよびクライアントの両方が、本発明のビデオ・コーデックを内蔵している。
【００６０】
移動マルチメディア検索システムの場合には、クライアント９３とサーバ９２とを接続しているリンクの少なくとも一部は、無線のようなワイヤレスである。
通常、マルチメディア・サーバ９２は、２つの動作モードを持つ。すなわち、マルチメディア・サーバは、予め記憶しているマルチメディア・クリップ、または生の（リアルタイムの）マルチメディア・ストリームを配信する。予め記憶しているマルチメディア・クリップの場合には、クリップは、サーバのデータベース上に記憶され、次に、クライアントのためにサーバにより、オンデマンドでアクセスされる。生の（リアルタイムの）マルチメディア・ストリームの場合には、マルチメディア・クリップは、直ちにクライアント９３に送信される、連続している媒体ストリームとしてサーバに送られる。サーバは、マルチプレクシング・フォーマットにより生成されたヘッダ情報のあるものを除去したり圧縮することができ、また媒体クリップをネットワーク・パケットに収容することもできる。
【００６１】
クライアント９３は、制御プロトコルによりサーバ９２の動作を制御する。制御の最小セットは、必要な媒体クリップを選択するための機能である。さらに、サーバは、より高度の制御をサポートすることができる。例えば、クライアントは、クリップの送信を停止し、クリップ送信の一時中止および再開を行い、また送信チャネルの処理能力が変動した場合に、媒体の流れを制御することができる。その場合には、サーバは、使用できる帯域幅内に納めるためにビット・ストリームを動的に調整する。
【００６２】
クライアント９３は、マルチメディア・サーバ９２から、圧縮され、多重化された媒体クリップを受信する。最初に、クライアントは、個々の媒体トラックを検索するためにクリップを逆多重化し、次に、これらの媒体トラックを解凍する。その後で、解凍された（再構成された）媒体トラックが、出力装置９４により再生される。これらの動作の他に、コントローラ・ユニットは、エンド・ユーザに対してインターフェースとして機能し、ユーザの入力により再生を制御し、クライアント・サーバ制御トラヒックを処理する。逆多重化−解凍−再生のチェーンは、クリップの以降の部分をダウンロードしながら行うことができる。これは通常ストリーミングと呼ばれる。別な方法としては、全クリップをクライアント９３にダウンロードし、次に、クライアントが、クリップを逆多重化し、解凍し、再生することもできる。
【００６３】
本発明は、上記のビデオ符号化プロトコルに限定されない。上記プロトコルは単に例示としてのものに過ぎない。本発明は、時間的予測を使用する任意のビデオ符号化プロトコルに適用することができる。上記ＩＮＴＲＡフレームに対応する追加のＩＮＴＥＲフレームを追加すると、符号化された信号にエラーに対する許容力を与えることができ、受信デコーダは、受信信号の一部が劣化している場合には、別の復号化方法を選択することができる。
【図面の簡単な説明】
【図１】
マルチメディア移動通信システムである。
【図２】
マルチメディア端末のマルチメディア構成部品の一例である。
【図３】
ビデオ・コーデックの一例である。
【図４】
本発明のビデオ・エンコーダの動作を示すフローチャートである。
【図５】
本発明のビデオ・エンコーダの第１の実施形態の出力の一例である。
【図６】
本発明の第１の実施形態によるビデオ・デコーダの動作を示すフローチャートである。
【図７】
本発明の第２の実施形態によるビデオ・エンコーダの動作を示すフローチャートである。
【図８】
本発明のもう１つの実施形態である。
【図９】
本発明のビデオ・エンコーダおよび／またはデコーダを内蔵させることができるマルチメディア・コンテンツ生成および検索システムである。
【図１】
2004507178.tif 000003
【図２】
2004507178.tif 000004
【図３】
2004507178.tif 000005
【図４】
2004507178.tif 000006
【図５】
2004507178.tif 000007
【図６】
2004507178.tif 000008
【図７】
2004507178.tif 000009
【図８】
2004507178.tif 000010
【図９】
2004507178.tif 000011
【国際公開パンフレット】
2004507178.tif 000012
2004507178.tif 000013
2004507178.tif 000014
2004507178.tif 000015
2004507178.tif 000016
2004507178.tif 000017
2004507178.tif 000018
2004507178.tif 000019
2004507178.tif 000020
2004507178.tif 000021
2004507178.tif 000022
2004507178.tif 000023
2004507178.tif 000024
2004507178.tif 000025
2004507178.tif 000026
2004507178.tif 000027
2004507178.tif 000028
2004507178.tif 000029
2004507178.tif 000030
2004507178.tif 000031
2004507178.tif 000032
2004507178.tif 000033
2004507178.tif 000034
2004507178.tif 000035
2004507178.tif 000036
2004507178.tif 000037
2004507178.tif 000038
2004507178.tif 000039
2004507178.tif 000040
2004507178.tif 000041
2004507178.tif 000042
2004507178.tif 000043
【国際調査報告】
2004507178.tif 000044
2004507178.tif 000045
2004507178.tif 000046