(57)【特許請求の範囲】
【請求項１】
ビデオ通信システムにおいて、複数のエンコードされたストリームの各々が、少なくとも１つのＩ−フレームと一連のＰ−フレームとからなり、該一連のＰ−フレームの各フレームはそれ以前のフレームに依存し、
前記ビデオ通信システムが、
複数のビデオフレームからなるビデオフレームストリームから前記複数のエンコードされたストリームを生成するための手段を有する送信器と、
前記複数のエンコードされたストリームのうちの１つ以上のストリームにおける前記一連のフレーム中の任意のフレームが損失した場合に、前記複数のエンコードされたストリーム中の１以上の所定のフレームを用いて、前記損失したフレームを置換または補間するための手段を有する受信器
を備え、
前記所定のフレームが、
前記複数のエンコードされたストリーム中のＩ−フレームのうち、前記損失したフレームよりも時間的に前でかつ該損失したフレームに最も近いＩ−フレームを第１のＩ−フレームとし、前記損失したフレームより時間的に後でかつ該損失したフレームに最も近いＩ−フレームを第２のＩ−フレームとした場合において、前記複数のエンコードされたストリームのうち、前記第１と第２のＩ−フレームの間に受信された、前記損失したフレームを含まないストリーム中のフレームと、前記第１のＩ−フレームと前記損失したフレームの間に受信された該損失したフレームを含むストリーム中のフレームと、前記第１のＩ−フレームとからなるフレームから選択される、ビデオ通信システム。
【請求項２】
前記複数のエンコードされたストリームを生成するための前記手段が、
該複数のエンコードされたストリームに１つずつ対応する複数のエンコーダからなる１組のエンコーダと、
前記ビデオフレームストリームを、前記各エンコーダ毎のビデオフレームストリームへと分離するための手段
を備えることからなる、請求項１に記載のビデオ通信システム。
【請求項３】
前記損失したフレームを置換または補間するための前記手段が、
前記複数のエンコードされたストリームのうちの１つに応じて１つの再構成されたビデオフレームストリームを、各々が生成する複数のデコーダからなる１組のデコーダと、
該再構成された複数のビデオフレームストリームをマージするための手段
を備えることからなる、請求項２に記載のビデオ通信システム。
【請求項４】
前記複数のエンコードされたストリームを生成するための前記手段が、
前記ビデオフレームストリームに応じてエンコードされた複数のフレームからなるエンコード済フレームストリームを生成するエンコーダと、
該エンコード済フレームストリームを前記複数のエンコードされたストリームへと分離するための手段
を備えることからなる、請求項１に記載のビデオ通信システム。
【請求項５】
前記損失したフレームを置換または補間するための前記手段が、
複数の前記エンコード済ビデオフレームストリームをマージするための手段と、
該マージされたストリームに応じて、再構成されたビデオフレームストリームを生成するためのデコーダ
を備えることからなる、請求項４に記載のビデオ通信システム。
【請求項６】
前記損失したフレームを置換または補間するための前記手段が、前記損失したフレームを、前記複数のエンコードされたストリームのうちの残りのストリームからの１つ又は２つ以上のデコードされたフレームを用いて回復するための手段である、請求項１に記載のビデオ通信システム。
【請求項７】
前記損失したフレームを置換または補間するための前記手段が、前記損失したフレームを、前記複数のエンコードされたストリームのうちの残りのストリームからの１つ又は２つ以上のデコードされたフレームを用いて推定するための手段である、請求項１に記載のビデオ通信システム。
【請求項８】
前記複数のエンコードされたストリームを生成するための前記手段が、前記各ビデオフレームを１組の４分の１区画へと分解する手段と、該４分の１区画の各々毎に複数のエンコードされたストリームを生成するための手段とを備える、請求項１に記載のビデオ通信システム。
【請求項９】
前記複数のエンコードされたストリームを生成するための前記手段が、該複数のエンコードされたストリームの数を前記送信器と前記受信器との間の通信条件に適応させるための手段を備える、請求項１に記載のビデオ通信システム。
【請求項１０】
前記送信器が、前記損失したフレームを、前記複数のエンコードされたストリームのうちの残りのストリームからの１つ又は２つ以上のデコードされたフレームを用いて回復するための手段を更に備える、請求項１に記載のビデオ通信システム。
【請求項１１】
前記送信器が、前記損失したフレームを前記受信側と同じ再生方法で再生し、その再生品質を、前記再生されたフレームと、前記損失したフレームに対応するエンコードされる前のフレームとを比較することによって判定し、前記再生品質に応じて、前記Ｉ−フレームを前記受信器に送信するか否かを決定するための手段を更に備える、請求項１０に記載のビデオ通信システム。
【請求項１２】
複数のエンコードされたストリームの各々が、少なくとも１つのＩ−フレームと一連のＰ−フレームとから構成され、該一連のＰ−フレームの各フレームがそれ以前のフレームに依存する場合において、
複数のビデオフレームからなるビデオフレームストリームから前記複数のエンコードされたストリームを生成するステップと、
前記複数のエンコードされたストリームのうちの１つ以上のストリームにおける前記一連のフレーム中の任意のフレームが損失した場合に、前記複数のエンコードされたストリーム中の１以上の所定のフレームを用いて、前記損失したフレームを置換または補間するステップ
を含み、
前記所定のフレームが、
前記複数のエンコードされたストリーム中のＩ−フレームのうち、前記損失したフレームよりも時間的に前でかつ該損失したフレームに最も近いＩ−フレームを第１のＩ−フレームとし、前記損失したフレームより時間的に後でかつ該損失したフレームに最も近いＩ−フレームを第２のＩ−フレームとした場合において、前記複数のエンコードされたストリームのうち、前記第１と第２のＩ−フレームの間に受信された、前記損失したフレームを含まないストリーム中のフレームと、前記第１のＩ−フレームと前記損失したフレームの間に受信された該損失したフレームを含むストリーム中のフレームと、前記第１のＩ−フレームとからなるフレームから選択される、ビデオ通信方法。
【請求項１３】
前記複数のエンコードされたストリームを生成する前記ステップが、
前記ビデオフレームストリームを前記複数のエンコードされたストリームの各々に対応するビデオフレームストリームに分離するステップと、
前記分離されたビデオフレームストリームの各々を別個にエンコードするステップ
を含むことからなる、請求項１２に記載の方法。
【請求項１４】
前記損失したフレームを置換または補間する前記ステップが、
前記複数のエンコードされたストリームのうちの１つに応じて、再構成されたビデオフレームストリームを生成するステップと、
前記再構成されたビデオフレームストリームをマージするステップ
を含むことからなる、請求項１３に記載の方法。
【請求項１５】
前記複数のエンコードされたストリームを生成する前記ステップが、
前記ビデオフレームストリームに応じて、エンコードされた複数のフレームからなるエンコード済フレームストリームを生成するステップと
該エンコード済フレームストリームを前記複数のエンコードされたストリームへと分離するステップ
を含むことからなる、請求項１２に記載の方法。
【請求項１６】
前記損失したフレームを置換または補間する前記ステップが、
複数の前記エンコード済ビデオフレームストリームをマージするステップと、
該マージされたストリームに応じて再構成されたビデオフレームストリームを生成するステップ
を含むことからなる、請求項１５に記載の方法。
【請求項１７】
前記損失したフレームを置換または補間する前記ステップが、
前記損失したフレームを、前記複数のエンコードされたストリームのうちの残りのストリームからの１つ又は２つ以上のデコードされたフレームを用いて回復するステップである、請求項１２に記載の方法。
【請求項１８】
前記損失したフレームを置換または補間する前記ステップが、
前記損失したフレームを、前記複数のエンコードされたストリームのうちの残りのストリームからの１つ又は２つ以上のデコードされたフレームを用いて推定するステップである、請求項１２に記載の方法。
【請求項１９】
前記複数のエンコードされたストリームを生成する前記ステップが、
前記各ビデオフレームを１組の４分の１区画に分解するステップと、
該４分の１区画の各々毎に複数のエンコードされたストリームを生成するステップ
を含むことからなる、請求項１２に記載の方法。
【請求項２０】
前記複数のエンコードされたストリームを生成する前記ステップが、該複数のエンコードされたストリームの数を送信器と受信器との間の通信条件に適応させるステップを含むことからなる、請求項１２に記載の方法。
【請求項２１】
前記複数のエンコードされたストリームを生成する前記ステップが、
前記複数のエンコードされたストリームの送信側において、前記損失したフレームを前記複数のエンコードされたストリームの受信側と同じ再生方法で再生し、その再生品質を、前記再生されたフレームと、前記損失したフレームに対応するエンコードされる前のフレームとを比較することによって判定し、前記再生品質に応じて、前記Ｉ−フレームを前記受信側に送信するか否かを決定するステップ
を含むことからなる、請求項１２に記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はビデオ通信分野に関し、特に多数のエンコードストリームを用いたビデオ通信に関する。
【０００２】
【従来の技術】
ディジタルテレビジョンシステム、インターネットビデオシステム、及びワイヤレスビデオシステムを含む広範な様々なビデオ通信は一般に、通信リンクを用いてディジタルビデオを搬送する。典型的に、かかるシステムでは、ディジタルビデオは、送信側から発信され、１つ又は２つ以上の通信リンクを介して１つ又は２つ以上の受信側へと転送される。例えば、ディジタルテレビジョンシステムでは、送信側としての放送局は、通常は無線通信リンク又はケーブル通信リンクを介して、１つ又は２つ以上のテレビ受像器にディジタルビデオを送信する。別の例としてのインターネットビデオシステムでは、典型的にはウェブサーバが、送信器としての役割を果たし、インターネットを介して１つ又は２つ以上のウェブクライアント受信器にディジタルビデオを転送する。
【０００３】
かかるシステムにおけるディジタルビデオは典型的には一連のビデオフレームとして構成される。該ビデオフレームは通常は、十分に高いフレーム速度で生成され、該ビデオフレームが表示装置上に描画された際に視聴者がフル動きビデオを視認できるようにする。例えば、ビデオ通信システムでは、15〜30フレーム／秒のフレーム速度が一般的である。各ビデオフレームは通常は一連の画素データを搬送する。各ビデオフレームに含まれる比較的大量の画素データが、フル動きビデオを提供するだけの十分に速いフレーム速度と相まって、典型的には、比較的高い帯域幅消費が通信リンク上に課せられることになる。
【０００４】
従来のビデオ通信システムは一般に、ビデオ圧縮を用いて、ディジタルビデオの帯域幅消費を低減させる。典型的には、送信側は、一連のオリジナルビデオフレームに応じて一連のエンコード済フレームを生成するエンコーダを備えている。各受信側は通常は、該エンコード済フレームからオリジナルの一連のビデオフレームを再構成するデコーダを備えている。エンコード済フレームが有する全データ量は、通常は、それに対応するオリジナルビデオフレームの全データ量よりも著しく少なくなる。
【０００５】
従来のビデオ圧縮方法におけるエンコード済フレームは典型的には、対応するオリジナルビデオフレームを再構成するために必要となる全ての情報を有するフレームを含む。かかるフレームは、イントラフレーム（Ｉ−フレーム）と呼ばれる場合がある。更に、従来のビデオ圧縮方法によるエンコード済フレームは典型的には、複数のフレームであって、該複数のフレームに関する対応するオリジナルビデオフレームの再構成が、一連のエンコード済フレームからの先にエンコードされたフレームに依存するものとなる、複数のフレームを含む。かかるフレームは、予測フレーム（Ｐ−フレーム）と呼ばれる場合がある。これは、かかるフレームが一般に、予測ループ(prediction loop)を用いてエンコーダにより生成されるからである。
【０００６】
【発明が解決しようとする課題】
典型的には、Ｉ−フレームが有するデータ量は、Ｐ−フレームが有するデータ量よりも著しく多くなる。それ故、エンコード済フレーム中でＰ−フレームの割合が高い場合には、帯域幅の節約が通常は改善される。しかし、残念なことに、予測を用いる場合には、典型的には、送信時のＰ−フレーム又はＩ−フレームの損失により、該フレームに対応するオリジナルビデオフレームの再構成、並びに一連の後続のＰ−フレームであって次のＩ−フレームの前のＰ−フレームの再構成が妨げられることになる。一連のＰ−フレームの損失は一般に、再構成されるディジタルビデオに悪影響を及ぼすものとなる。かかる悪影響の結果として、フリーズフレームが生じ、又は表示上のアーチファクトが現れる場合がある。かかる悪影響は典型的には、通信帯域幅の制約に起因してＩ−フレーム間に比較的多数のＰ−フレームを用いるシステムにおいて更に悪化する。
【０００７】
【課題を解決するための手段】
多数のストリームを使用してディジタルビデオを搬送するビデオ通信システムを開示する。該多数のストリームの使用により、該多数のストリームのうちの１つ又は２つ以上のストリームにおける誤りに起因して該多数のストリームのうちの残りのストリームの再構成が妨げられることがないことが確実となる。これにより、ストリームのサブセットの損失時に、低減されたフレーム速度で、ディジタルビデオを誤りなく表示することが可能となる。更に、多数のストリームは、損失したフレームを再生させるために使用することが可能な過去のフレーム及び未来のフレームを提供する。
【０００８】
本発明の他の特徴及び利点は、以下の詳細な説明から明らかとなろう。
【０００９】
【発明の実施の形態】
本発明をその特定の例示的な実施形態に関して図面を参照して説明する。
【００１０】
図１は、本教示によるビデオ通信システム10を示す。該ビデオ通信システム10は、一組のストリーム42を用いて一連のオリジナルビデオフレーム40を受信器32へ通信する送信器30を含む。この実施形態では、ストリーム42は一対のストリーム54,56を含み、該一対のストリーム54,56は、オリジナルビデオフレーム40からエンコードされた奇数及び偶数フレームをそれぞれ搬送するものである。
【００１１】
該実施形態では、送信器30は、オリジナルビデオフレーム40を一連の奇数ビデオフレーム50と一連の偶数ビデオフレーム52とに分離するフレーム分離ブロック12を含む。例えば、オリジナルビデオフレーム40が、一連のフレーム1、フレーム2、フレーム3、フレーム4、フレーム5、フレーム6等である場合には、奇数ビデオフレーム50は、一連のフレーム1、フレーム3、フレーム5等であり、偶数ビデオフレーム52は、一連のフレーム2、フレーム4、フレーム6等である。実施形態によっては、フレーム分離ブロック12は、一時的なローパスフィルタリング又は雑音低減といった事前処理を行った後に各ストリーム毎のフレームを抽出することが可能である。
【００１２】
送信器30は、奇数ビデオフレーム50に応じて、エンコードされた奇数フレーム54を生成するエンコードブロック14を含む。該エンコードされた奇数フレーム54は、I−フレーム及びP−フレームを含む。例示としての一連のフレーム1、フレーム3、フレーム5等に応じて、エンコードブロック14は、I−フレームI1を生成し、次いでP−フレーム  P3、P5等を生成することが可能である。P3はI1に依存し、P5はP3に依存する、といった具合である。
【００１３】
同様に、送信器30は、偶数ビデオフレーム52に応じて、エンコードされた偶数フレーム56を生成するエンコードブロック16を含む。例示としての一連のフレーム2、フレーム4、フレーム6等に応じて、エンコードブロック14は、I−フレームI2を生成し、次いでP−フレームP4、P6等を生成することが可能である。P4はI2に依存し、P6はP4に依存する、といった具合である。
【００１４】
代替的には、例示としての一連のフレーム1、フレーム3、フレーム5等に応じて、エンコードブロック14が、I1、P3、P5等を生成し、例示としての一連のフレーム2、フレーム4、フレーム6等に応じて、エンコードブロック16が、P2、P4、P6等を生成し、この場合に、P3がI1に依存し、及びP5がP3に依存し、またP2がI1に依存し、P4がP2に依存し、及びP6がP4に依存する、といった具合である。
【００１５】
別の代替形態では、エンコードされた奇数及び偶数フレーム54,56内のI−フレームを互いに対してオフセットさせることが可能である。例えば、エンコードブロック14は、I1、P3、P5等を生成することが可能であり、またエンコードブロック14は、P2、P4、P6、I8、P10、P12等を生成することが可能であり、この場合に、P3がI1に依存し、P5がP3に依存し、またP2がI1に依存し、P4がP2に依存し、P6がP4に依存し、P10がI8に依存する、といった具合である。かかる代替形態では、エンコードされた偶数フレーム56内のI−フレームが、エンコードされた奇数フレーム54内のI−フレーム間に均等に配置され、その逆も成り立つことが好ましい場合がある。
【００１６】
通信ブロック18は、エンコードされた奇数及び偶数フレーム54,56のストリームを受信器32へ搬送する。該エンコードされた奇数及び偶数フレーム54,56のストリームを別個のチャネル又は通信経路で搬送して、該ストリームの一方の伝送時に誤りを生じさせる途絶(disruption)が、他方のストリームの伝送を妨げないようにすることが好ましい。例えば、通信ブロック18が、パケット通信ネットワークとして実施される場合には、エンコードされた奇数フレーム54のストリームは、エンコードされた偶数フレーム56のストリームを搬送するパケットとは別個のパケットで送信されるべきである。別の例として、通信ブロック18が、無線ネットワークとして実施される場合には、エンコードされた奇数フレーム54のストリームは、エンコードされた偶数フレーム56のストリームを搬送する周波数帯域とは異なる周波数帯域で伝送されるべきである。
【００１７】
受信器32は、エンコードされた偶数フレーム56に応じて一連の再構成された偶数ビデオフレーム60を生成するデコードブロック20を備える。受信器32はまた、エンコードされた奇数フレーム54に応じて一連の再構成された奇数ビデオフレーム62を生成するデコードブロック22も備える。デコードブロック20において実施されるデコード方法は、エンコードブロック16におけるエンコード方法に適応するものである。同様に、デコードブロック22において実施されるデコード方法は、エンコードブロック14におけるエンコード方法に適応するものである。
【００１８】
例えば、エンコードブロック16が、予測ループに従って動き推定値及び誤り情報を搬送するエンコードされた偶数フレーム56内のP−フレームを生成する場合には、デコードブロック20は、それ自体の予測ループにおいて受信されたP−フレームからの動き推定値及び誤り情報を用いて、再構成された偶数ビデオフレーム60を生成する。動き推定値パラメータ及び誤り情報パラメータは、ビデオ圧縮規格において定義することが可能である。かかる規格の実例は、極めて多く存在し、MPEG−1、MPEG−2、MPEG−4といった様々なMPEG規格、並びにH.261及びH.263が含まれる。
【００１９】
かかる実施形態では、エンコードブロック14〜16及びデコードブロック20〜22内の予測ループは、生成され又は受信された各エンコードフレームを用いて、その状態を継続的に更新する。例えば、エンコードブロック14内の予測ループは、その状態を、該エンコードブロック14が生成した各エンコード済奇数フレーム54に関して更新し、デコードブロック22は、その状態を、該奇数フレーム54のデコード後に更新する。各予測ループは、その状態と称することが可能な情報を含む。予測ループの状態を使用して、エンコードすべき現在のフレームの予測が形成される。該状態の１つの成分は、以前にエンコードされたフレームである。その状態は、各エンコード済フレームと共に変化する。
【００２０】
各エンコードブロック14〜16は、それ自体の状態を有する１つの予測ループを有する。各エンコードブロック14〜16は、その状態及びコードに基づいて予測を形成し、各ブロック毎の動きベクトル及びインター／イントラ判定といった付随的な情報と共に誤差信号を伝送する。この情報は、前記状態から如何に予測を形成するかを記述するものである。各デコードブロック20〜22は、その状態と付随的な情報とに基づいて予測を形成し、受信されてデコードされた誤差信号を付加して、現在のフレームを再構成する。エンコード／デコードブロック対14/22,16/20は、同じ状態を有するはずである。そうでない場合には、それらブロック対の予測が異なり、それらブロック対のトラッキングを損なうことになり、及び再構成されたビデオフレーム44に著しい視覚的な劣化が生じる可能性がある。
【００２１】
従来のビデオ圧縮方法は通常は、送信器及び受信器において１つの予測ループを有し、該ループは１つの状態その他の情報を有し、該情報を損失した場合には、結果として送信器及び受信器において異なる予測が生じ、これにより、著しい視覚的な劣化が生じる可能性がある。本技術は、各々がそれ自体の状態情報を有する多数の予測ループを用いる。それゆえ、本教示は、多数の状態ストリームを用いるビデオ通信として特徴付けることができ、そのストリーム54〜56は、それぞれ状態ストリームと称することができる。
【００２２】
受信器32は、再構成された偶数及び奇数ビデオフレーム60〜62を組み合わせて一連の再構成されたビデオフレーム44を適切なフレーム順序で構成するマージブロック24を含む。例えば、マージブロック24は、再構成されたフルフレームであるフレーム1、フレーム3、フレーム5等を含む再構成された奇数ビデオフレーム62と、再構成されたフルフレームであるフレーム2、フレーム4、フレーム6等を含む再構成された偶数ビデオフレーム60とを組み合わせて、フルフレームであるフレーム1、フレーム2、フレーム3、フレーム4、フレーム5、フレーム6等を含む再構成されたビデオフレーム44を提供する。再構成されたビデオフレーム44は、リアルタイム表示装置（図示せず）に供給される。
【００２３】
マージブロック24はまた、ストリーム54〜56にわたるアーチファクトの低減又は一時的なフィルタリングのための既知の処理といった事後処理を実行し、各ストリーム54〜56内の歪みを低減させ、及び／又は該ストリームにわたる一様な品質又は一時的なフレーム速度変換を提供することが可能である。
【００２４】
図２は、送信器30と受信器32との間での伝送中に誤りが生じた際に別個のストリーム54,56によりもたらされる利点を示している。この例では、P3はI1に依存し、P5はP3に依存し、また、P2はI1に依存し、P4はP2に依存し、P6はP4に依存する、といった具合である。
【００２５】
時間t1では、エンコードされた奇数フレーム54の伝送時に生じる誤りにより、デコードブロック22がP5を正しく再構成するのが妨げられる。予測ループに関しては、デコードブロック22は、P5を精確にデコードすることができず、それゆえ、エンコードブロック14と比べて不精確な状態を有するものとなる。その結果として、デコードブロック22は、互いに連続的に依存するP5〜P13を再構成することができない。この例では、時間t2においてI−フレームI15が受信されるまで、デコードブロック22の状態は初期化されない。
【００２６】
時間t1とt2との間では、デコードブロック20は、その状態を、P4、P6、P8等により搬送される情報を用いて更新し続け、P5の損失による影響を受けることはない。その結果として、再構成されたビデオフレーム44は、時間t1とt2との間で、再構成された偶数ビデオフレーム60を搬送する。これは、オリジナルビデオフレーム40の標準的なフレーム速度の半分の速度の表示を提供する。これは、ビデオをフリーズさせることになるか又は時間t1とt2との間で誤り隠蔽(error concealment)を実行することになる従来のシステムよりも一層良好なビデオイメージを提供するものとなる。
【００２７】
３つの別個のストリームを有する実施形態では、該ストリームのうちの１つにおいてI−フレーム又はP−フレームが損失することにより、標準的な速度の３分の２のフレーム速度が生成される。４つの別個のストリームを有する実施形態は、そのストリームのうちの１つにおいてP−フレームが損失した際に、標準的な速度の４分の３のフレーム速度を生成する、といった具合である。
【００２８】
図３は、フレーム再生ブロック26を含む受信器32の一実施形態を示す。該フレーム再生ブロック26は、ストリーム56により与えられる情報を用いてストリーム54の損失したP−フレームP5を再生する。P5を再生することにより、デコードブロック22が、その状態情報を精確に更新することによりその予測ループを継続して、P7〜P13を再構成することが可能となる。ストリーム56の再構成がP5の損失による影響を受けないという事実により、フレーム再生ブロック26が、損失したP5に関する過去及び未来フレームを用いて該フレームP5を再生することが可能となる。過去フレームP2,P4及び未来フレームP6〜P14は、奇数ストリーム54からのP1,P3と共に、フレーム再生ブロック26で利用可能である。ストリーム54〜56のうちの任意のストリームからの任意の精確にデコードされたフレームをフレーム再生ブロック26により用いることが可能である。例えば、ストリーム54,56内の全ての以前の偶数及び奇数フレーム並びにストリーム56内の未来の偶数フレームを用いることが可能である。
【００２９】
例えば、フレーム再生ブロック26は、P4,P6の再構成されたフルフレームバージョンであるフレーム4及びフレーム6を平均することにより、P5のフルフレームバージョンを再生することが可能である。再構成されるフルフレームのフレーム4及びフレーム6は、再構成された偶数ビデオフレーム60の一部としてデコードブロック20により生成される。フレーム再生ブロック26は、P2,P4及びP6〜P14並びにP1,P3の再構成されたバージョンの任意の組み合わせを平均することが可能である。かかる平均処理は、ストリーム42において搬送されるビデオイメージが静止し又は低速で動く場合に適している場合がある。
【００３０】
代替的には、フレーム再生ブロック26は、P2,P4及びP6〜P14並びにP1,P3の再構成されたフルフレームバージョンの任意の組み合わせを用いてP5のフルフレームバージョンを補間し又は推定することにより、P5のフルフレームバージョンを再生することが可能である。ブロックベースの方法、制約条件式による方法、画素−再帰方法、位相−相関方法、ベイズの方法、オブジェクトベースの方法を含む、多数の動き推定方法を用いて、フレーム間の動きを推定することが可能である。P5のフルフレームバージョンは、動き推定(motion estimates)を用いて動き補償された補間(motion-compensated interpolation)を実行し、及び動きの経路に沿って適当な線形又は非線形フィルタリングを適用することにより、推定することが可能である。該補間はまた、未来又は過去フレームのみを用いることを適当に選択して適当な領域を推定することにより、該フレーム内のカバーされる領域及びカバーされない領域を考慮することが可能である。
【００３１】
別の代替形態では、フレーム再生ブロック26は、P−フレームP2,P4及びP6〜P14並びにP1,P3の任意の組み合わせに含まれる動きベクトルを用いて、P5のフルフレームバージョンを補間し又は推定することにより、P5のフルフレームバージョンを再生することが可能である。更に、これらの過去及び未来のI−フレーム及びP−フレームからの他のエンコードされた情報を使用することが可能である。ビットストリーム中のエンコードされた情報の使用は、受信器32の状態再生の複雑さの低減に資するものとなり得る。
【００３２】
ストリーム54〜56は、１つのストリームが損失した場合に、他のストリーム内のエンコードされた情報が、損失したシーケンスの再生に有用なものとなるように、協働する態様でエンコードすることが可能である。例えば、ストリーム54に関する動きベクトルは、ストリーム56が損失した場合にストリーム54からの動きベクトルを用いて精確に再生することが可能となるように、ストリーム56を考慮して計算することが可能である。
【００３３】
状態の再生は、正しくデコードされたフレームの任意のサブセットを用いて実行することが可能である。損失したフレームは、該フレームを、別の正しくデコードされたフレームに置き換えることにより、又は正しくデコードされたフレームの動き補償を行ったバージョンに置き換えることにより、又は動き補償が行われる補間を介して置き換えることにより、推定することが可能である。
【００３４】
エンコードブロック14〜16は、ストリーム54〜56内の各フレーム毎にデコードブロック20〜22に付随的な情報を送信することが可能である。該情報は、対応するフレームが損失した場合に状態の再生を如何に行うかをフレーム再生ブロック26に通知するものである。
【００３５】
過去及び未来両方のフレームを使用して既知の誤り隠蔽方法を適用して、損失したフレームの改善された隠蔽を生成することが可能である。
【００３６】
ストリーム54〜56が双方向予測されるフレーム（B−フレーム）を含む実施形態では、フレーム再生ブロック26は、損失したB−フレームの再生及び表示を随意選択的に行うことが可能である。これが随意選択であるのは、他のフレームが、損失したB−フレームに依存しないからある。
【００３７】
図４は、フレーム再生ブロック26が、シーンチェンジを考慮しつつ、損失したフレームを再生する際に用いられることになる過去及び未来フレームを選択する一例を示す。この例では、時間t10における通信誤りにより、エンコードされた奇数フレーム54からのフレーム5のエンコードされたバージョンに損失が生じるようになる。フレーム3がP−フレームであり、フレーム4がI−フレームであるため、該フレーム3と該フレーム4との間にシーンチェンジが生じており、それゆえ、損失したフレーム5は、該シーンチェンジに適応すべくエンコードブロック14によりI−フレームとしてエンコードされたものであると結論付けられる。フレーム再生ブロック26は、フレーム5の再生に用いられることになるI4,P6,P8等の再構成されたバージョンの任意の組み合わせを選択するが、P2又はP3の再構成されたバージョンの任意の組み合わせを選択しない。なぜなら、以前のシーンに関連する可能性が高いためである。
【００３８】
またこの方法は、ブロックの大部分がP−ブロックとは対照的にI−ブロックとしてエンコードされることになるP−フレームが存在する場合に用いることが可能である。例えば、P3が、そのブロックの大部分がP−ブロックとしてエンコードされる典型的なP−フレームに対応するものであり、及びフレーム4が、P−フレームではあるが、I−ブロックとしてエンコードされる相当な割合のブロックを有するものである場合には、これは、フレーム4のI−ブロック部分に極めて新しいイメージが存在し、（P3の対応する領域ではなく）その情報がフレーム5を再生するために使用されるべきことを示している。それらのブロックを以前のフレームから精確に予測できない場合、例えば、フレームの一部に著しい動きが存在し又は該フレームの一部に新しい画像が存在する場合には、P−フレームはI−ブロックを有することが可能である。
【００３９】
実施形態によっては、受信器32が送信器30へ情報を送り返すことを可能にする通信チャネルが存在する。かかる通信チャネルはバックチャネル(back channel)と呼ばれることが多い。かかる実施形態では、フレーム再生ブロック26は、バックチャネルを使用して、誤りによりフレーム5の損失が生じたことを送信器30に通知する。バックチャネルは、受信器32がフレーム再生に用いられる方法に関して送信器30に通知するために使用することが可能である。フレーム再生ブロック26が、上述のように選択された過去及び未来フレームを用いてフレーム5を再生する間に、送信器30が、それと同じ過去及び未来フレーム及び再生方法を用いて、再生されたフレーム5を判定する。次いで、送信器30が、再生されたフレーム5と、以前にエンコードされて送信された実際のフレーム5とを比較して、フレーム再生ブロック26により行われた再生の品質を判定する。該再生の品質が十分でない場合には、送信器30が、I−フレームをエンコードし、該I−フレームをエンコードされた奇数フレーム54において送信して、デコードブロック22の状態を再初期化する。I−フレーム全体を送信する代替形態では、送信器30は、再生されたフレーム5のうちのどの細分領域の品質が不十分であるかを判定し、その領域の場合にイントラであり、残りの領域の場合に予測であるフレームを送信する。エンコーダは、その状態を再生されたフレームで置き換え、次いで、既知の態様で予測のエンコード及び形成を続行することを選択することが可能である。
【００４０】
ブロック12〜26はそれぞれ、その特定の機能を実行するためのハードウェア及び／またはソフトウェア構成要素を表す。例えば、フレーム分離ブロック12は、ハードウェア・マルチプレクサ回路で実施することが可能であり、又は送信器30内のプロセッサのためのソフトウェア／ファームウエアにおける等価な機能で実施することが可能である。マージブロック24は、ハードウェア・デマルチプレクサで実施することが可能であり、又は受信器32内のプロセッサに関するソフトウェア／ファームウエア内の等価な機能で実施することが可能である。エンコードブロック14,16は、別個のハードウェアエンコーダで実施することが可能であるか、又は送信器30内のプロセッサによって実行されるソフトウェア／ファームウエアで実施することが可能であるか、又はその組み合わせで実施することが可能である。デコードブロック20〜22は同様に実施することが可能である。フレーム再生ブロック26の機能は、デコードブロック20〜22のハードウェア及び／またはソフトウェアで実施することが可能であり、又は別個のハードウェア及び／またはソフトウェア／ファームウエアで実施することが可能である。
【００４１】
通信ブロック18の実施は、ビデオ通信システム10で用いられる通信のタイプに適応するハードウェア及び／またはソフトウェア／ファームウエア構成要素を含む。例えば、ビデオ通信システム10がインターネット通信を用いる場合には、通信ブロック18は、インターネットアクセスのためのハードウェア構成要素を送信器30及び受信器32に含み、並びにインターネット通信プロトコルを実施するためのソフトウェア構成要素を送信器30及び受信器32に含む。また別の例で、ビデオ通信システム10が無線通信を用いる場合には、通信ブロック18は、無線伝送のためのハードウェア構成要素を送信器30及び受信器32に含み、並びにセルラー等の無線通信プロトコルを実施するためのソフトウェア／ファームウエア構成要素を送信器30及び受信器32に含む。
【００４２】
図５は、ビデオ通信システム10の別の実施形態を示しており、多数のストリーム42を取り扱うために、送信器30が１つのエンコーダ70を、受信器32が１つのデコーダ72を用いる。オリジナルビデオフレーム40に応じて、エンコーダ70は、オリジナルビデオフレーム40のエンコードされたバージョンを搬送する一連のエンコード済フレーム41を生成する。送信器30内のフレーム分離ブロック74は、エンコード済フレーム41を、エンコードされた奇数及び偶数フレーム54,56である多数のストリーム42に分離する。受信器32内のマージブロック76は、多数のストリーム42からの一連のエンコード済フレーム41を正しい順序で再構築する。デコーダ72は、再構成されたビデオフレーム44を生成し、上述したようなフレーム再生を実行することが可能なものである。
【００４３】
この実施形態は、各ストリーム42毎に別個のエンコーダ及びデコーダの対が用いられる実施形態と比較して、送信器30及び受信器32のハードウェアを節約するものとなる。この実施形態は、一連のエンコード済フレーム41内の任意の所与のエンコード済フレームが、該一連のエンコード済フレーム41内の任意の他の先行するフレームに依存することが可能な圧縮規格に従ってエンコード及びデコードするのに適している。これは、P8がP6に依存し、該P6がP4に依存する（他も同様）ことを可能にするものである。
【００４４】
他の実施形態では、３つ以上のストリームを用いることが可能である。例えば、１組をなす３つのストリームが、オリジナルのビデオストリーム40のエンコード済フレームを２フレームおきに搬送することが可能であり、又は１組をなす４つのストリームが、オリジナルのビデオストリーム40のエンコード済フレームを３フレームおきに搬送することが可能である（以降同様）。
【００４５】
更に別の実施形態では、一様でないフレームのサブセットから構成されるストリームを用いることが可能である。例えば、ストリーム54が、フレーム1、フレーム2、フレーム4、フレーム5、フレーム7、フレーム8を含み、ストリーム56が、フレーム3、フレーム6、フレーム9等を含むことが可能である。ストリーム54〜56はまたフィールドを含むことも可能である。例えば、ストリーム54〜56のうちの１つが偶数フィールドを含み、該ストリーム54〜56のうちの他のストリームが奇数フィールドを含むことが可能である。幾つかのフレームを２つ以上のストリーム内にエンコードすることも可能である。
【００４６】
更に別の実施形態では、ストリーム54〜56間でのフレームの分離をオリジナルビデオフレーム40の内容に基づいて動的に決定することが可能である。
【００４７】
本技術は、オリジナルビデオフレーム40のサブセットに適用することも可能である。例えば、オリジナルビデオフレーム40の各々を４つの区画に分解し、該各区画を２つ又は３つ以上の別個のストリームを用いてエンコードすることが可能である。
【００４８】
更に、多数のストリームの数は、適応的に選択することが可能なものであり、通信条件に基づいて動的に変更することが可能である。例えば、通信状態が非常に良好であり、ほとんど損失がない場合には、２つのストリーム又は１つのストリームしか用いないことが適当な場合がある。また、通信状態が悪化し、多くの損失が存在する場合には、ストリームの数を３つ又は４つに変更することが適当な場合がある。受信器32は、例えばバックチャネルを用いて、通信の損失を送信器30に通知することが可能である。通信の損失が比較的小さい場合には、フレーム分離ブロック12は、エンコードブロック14〜16のうちの１つにオリジナルビデオフレーム40を送信することが可能である。また、通信の損失が比較的多い場合には、フレーム分離ブロック12は、エンコードブロック14〜16間でオリジナルビデオフレームを分割する。同様の機能をフレーム分離ブロック74で実施して通信条件の変化に適応することが可能である。
【００４９】
本発明の上記の詳細な説明は、本発明の例示を目的としたものであって、本発明を網羅し又は本発明を本開示と厳密に一致する実施形態に限定することを意図したものではない。したがって、本発明の範囲は、特許請求の範囲によって画定される。
【図面の簡単な説明】
【図１】  本発明によるビデオ通信システムを示す説明図である。
【図２】  ストリームのうちの１つの伝送時に誤りが生じる場合に別個のストリームによってもたらされる利点を示す説明図である。
【図３】  フレーム再生を含む受信器の一実施形態を示す説明図である。
【図４】  損失したフレームの再生時に使用するために過去及び未来フレームが選択される一例を示す説明図である。
【図５】  本発明の教示によるビデオ通信システムの別の一実施形態を示す説明図である。
【符号の説明】
10    ビデオ通信システム
12    フレーム分離ブロック
14    エンコードブロック
16    エンコードブロック
32    受信器
30    送信器
40    オリジナルビデオフレーム
42    ストリーム
50    奇数ビデオフレーム
52    偶数ビデオフレーム
54    エンコードされた奇数フレーム
56    エンコードされた偶数フレーム
【図１】
0004248784.tif 000002
【図２】
0004248784.tif 000003
【図３】
0004248784.tif 000004
【図４】
0004248784.tif 000005
【図５】
0004248784.tif 000006