(57)【要約】本発明は、Bフレーム動きベクトルとPフレーム動きベクトルとの間のデータ関係を利用して、複数記述のうちの少なくとも１つを圧縮解除し、再圧縮する必要がないようにすることによってゲートウェイなどのネットワーク・ノードで複数の記述のマージと分割を行うことを単純にする。
2006510307.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの記述の送信から構成される予測符号化ビデオ・データ・ストリームを送信するネットワーク・ノードであって：
複数のデータ・チャネルを有するネットワークに対する少なくとも1つの接続；及び
該予測符号化ビデオ・データ・ストリームを構成する記述の送信の数を選択的に変更する帯域幅マネージャを備え；
前記記述の送信の数を変更した後の前記記述の送信のうちの少なくとも１つが前記記述の送信の数を変更する前の前記記述の送信のうちの少なくとも１つと同じ予測符号化を確保することを特徴とするネットワーク・ノード。
【請求項２】
請求項1記載のネットワーク・ノードであって、ネットワークに対する少なくとも2つの接続を有し、ゲートウェイとして構成されることを特徴とするネットワーク・ノード。
【請求項３】
請求項1記載のネットワーク・ノードであって：
該予測符号化ビデオ・データ・ストリームが、単一の記述として送信される場合に、動きベクトルによって相互接続される符号化Iフレーム、符号化Pフレーム、及び符号化Bフレームを有し、該Bフレームの該動きベクトルが、隣接するPフレームの動きベクトルに関連して生成され；
該帯域幅マネージャはPフレーム動きベクトルとの間でBフレーム動きベクトルを変換するよう適合されており；
Iフレーム、Pフレーム及びBフレームを有する単一記述におけるビデオ・データ・ストリームは、IフレームとPフレームとを有する複数記述との間で変換されることを特徴とするネットワーク・ノード。
【請求項４】
請求項3記載のネットワーク・ノードであって、該Bフレーム動きベクトルがPフレーム動きベクトルとの相関によって生成されることを特徴とするネットワーク・ノード。
【請求項５】
請求項4記載のネットワーク・ノードであって、該Bフレーム動きベクトルが、隣接するPフレーム動きベクトルと相関していることを特徴とするネットワーク・ノード。
【請求項６】
請求項1記載のネットワーク・ノードであって、前記記述の数が増加され、該帯域幅マネージャが少なくとも１つの追加記述を生成する手段を有することを特徴とするネットワーク・ノード。
【請求項７】
請求項1記載のネットワーク・ノードであって、前記記述の数が低減され、該帯域幅マネージャが前記記述のうちの少なくとも２つをマージする手段を有することを特徴とするネットワーク・ノード。
【請求項８】
予測符号化ビデオ・データのデータ・ストリームであって：
少なくとも１つの参照フレーム；
先行フレームを参照する動きベクトルを有する少なくとも１つの第１予測フレーム；及び
後続フレームを参照する動きベクトルを有する少なくとも１つの第２予測フレームを備え；
該動きベクトルが該先行フレームを参照する動きベクトルとの比例関係を有する後続フレームを参照することを特徴とするデータ・ストリーム。
【請求項９】
請求項8記載のデータ・ストリームであって：
複数の参照フレーム；
複数の第１予測フレーム；及び
複数の第２予測フレームを備え；
前記フレームが該ストリームにおいて編成され、圧縮されて、ビデオ・シーケンスが作成され；
該シーケンスは、少なくとも2つのシーケンスに、送信中に、該第１フレーム動きベクトルと該第２フレーム動きベクトルとの間の関係を用いて分割し得ることを特徴とするデータ・ストリーム。
【請求項１０】
請求項8記載のデータ・ストリームであって、該第２予測フレームが、先行フレームを参照する動きベクトルを有することを特徴とするデータ・ストリーム。
【請求項１１】
請求項10記載のデータ・ストリームであって、該第２予測動きベクトルが、該予測符号化ビデオ・データの復号化なしで第１予測フレーム動きベクトルに変換するよう適合されることを特徴とするデータ・ストリーム。
【請求項１２】
請求項9記載のデータ・ストリームであって：
該参照フレームがIフレームであり；
該第１予測フレームがPフレームであり；
該第２予測フレームがBフレームであり；
Iフレーム・シーケンスと、Pフレーム・シーケンスとBフレーム・シーケンスが、Iフレーム・シーケンスとPフレーム・シーケンスとのうちの少なくとも２つのシーケンスとの間でBフレーム動きベクトルとPフレーム動きベクトルとの関係を用いて適合可能であることを特徴とするデータ・ストリーム。
【請求項１３】
請求項9記載のデータ・ストリームであって、第２フレーム動きベクトルから変換される第１フレーム動きベクトルが、該先行フレームを参照する動きベクトルの1/(Q+1)から、前記後続フレームを参照する動きベクトルの1−1/(Q+1)までに相当し、Qは第１フレーム動きベクトルの対の間に連続して存在する第２フレーム動きベクトル数であることを特徴とするデータ・ストリーム。
【請求項１４】
ゲートウェイで複数記述を変換する方法であって：
Iフレーム、Bフレーム及びPフレームを有するビデオ・データの記述を備える工程を備え、該Bフレームの動きベクトルは該Pフレームとの関連で生成され；
更に、該記述を該ゲートウェイに送信する工程；
該記述を複数記述にBフレームのPフレームとの該関連を用いて分割する工程；及び
前記記述からの予測符号化を該複数記述のうちの少なくとも１つについて確保する工程を備えることを特徴とする方法。
【請求項１５】
請求項14記載の方法であって：
該分割する工程が、Pフレーム記述がそのままの状態にあるように、前記記述のPフレームを第１記述に編成し、前記記述のBフレームを第２記述に編成する工程を有し；
該BフレームのPフレーム動きベクトルを作成する工程が前記関連に依存することを特徴とする方法。
【請求項１６】
請求項15記載の方法であって：
該第１記述と該第２記述とを単一の記述に第２ゲートウェイでもう一度マージする工程を有することを特徴とする方法。
【請求項１７】
請求項16記載の方法であって、該分割工程と該マージ工程が送信源とは無関係であることを特徴とする方法。
【請求項１８】
請求項14記載の方法であって、該分割工程は、Pフレーム動きベクトルに対する比率が1−1/(M+1)であるBフレーム前方動きベクトルに相当するPフレーム動きベクトルに対するBフレーム動きベクトルの前記関連を用いることを特徴とする方法。
【請求項１９】
請求項14記載の方法であって、該分割工程は、Pフレーム動きベクトルに対する比率が1/(M+1)であるBフレーム前方動きベクトルに相当するPフレーム動きベクトルに対するBフレーム動きベクトルの前記関連を用いることを特徴とする方法。
【請求項２０】
請求項18記載の方法であって、該分割工程は、Pフレーム動きベクトルに対する比率が1/(M+1)であるBフレーム前方動きベクトルに相当するPフレーム動きベクトルに対するBフレーム動きベクトルの前記関連を用いることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ符号化に関し、特に、複数記述ビデオ・ストリームの分離と合成とを行う改良システムに関する。
【背景技術】
【０００２】
インターネットなどのディジタル・ネットワークの登場によって、マルチメディア通信をリアルタイムでそのようなネットワークを介して備えることができることに対する需要が存在している。しかし、そのようなマルチメディア通信は、アナログ通信システムと比べて、ディジタル・ネットワークが備える帯域幅の制約が邪魔になっている。マルチメディア通信をそのようなハードウェア環境に適合させるよう、予測符号化ビデオ・ストリームを用いて、制限された帯域幅の条件下でマルチメディア・スループットを向上させるビデオ圧縮手法を開発する多大な努力が行われてきている。この努力は、ISOの動画像専門家グループ（MPEG）が出しているMPEG2標準やMPEG-4標準、ITUのビデオ符号化専門家グループ（VCEG）が出しているH.26L標準やH.263標準などのいくつかの国際標準の出現をもたらした。これらの標準は、動き補償予測符号化及び動き補償変換符号化を用いて、実画像シーケンスにおける時間的相関及び空間的相関を活用して高圧縮比を達成している。
【０００３】
最近では、複数記述符号化（MDC）を用いたダイバシティ手法が利用されて通信システムと記憶装置との頑健性を向上させている。ダイバシティ手法によって向上されるそのようなシステムの例としては、パケット・ネットワーク、マルチパス・ダイバシティ並びにドップラ・ダイバシティを用いた無線システム、及び低コスト・ディスク冗長アレイ（RAID）がある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
MDCを用いた現在のダイバシティ手法は、ダイバシティの問題が通信源で既知であるシステムにおいて最もうまく機能している。そのような場合には、MDCは通信対象データを、その各々が通信源で別個に符号化されるその別個の経路に分割するのに用いる。MDCの１つのそのような形態は、ゲートウェイ12でビデオ・ストリーム10を分離する工程（図１）、例えば、MPEGなどによって別個に符号化される1つの記述に奇数フレーム14を分離し、MPEGなどによって別個に符号化されるものでもある別の記述に偶数フレーム16を分離する工程に基づいている。これらのストリームの各々は更に、伝送され、宛て先で再合成される。そのような方法を実施することによって、１つのストリームが喪失される場合でも、低減品質レベルであるが、データ・ストリームを処理し得るということが分かる。
【０００５】
次に、無線プラットフォームと高速ディジタル接続との間で情報が供給される方法が変わってきていることによって、通信経路における中間点でダイバシティ手法を実施する必要性が一層求められている。ハードウェア経路が構成される方法を増加させることによって、通信中に大容量マルチメディア・データの管理を強化させる必要性が出てきている。現在、複数の低帯域幅の局に高帯域幅のチャネルを振り向けるよう動作するゲートウェイはMDCを用いたダイバシティ手法を、データの全てをトランスコーディングすることによって適用している。しかし、そのような解決策はゲートウェイが受けるオーバヘッドを増大させ、伝送時間を向上させてしまう場合がある。このような特性は何れも望ましいものでない。よって、伝送中のダイバシティ手法の効果を、通信ハードウェアに課されるオーバヘッドを最小にする一方で増大させる方法に対する必要性が存在する。
【課題を解決するための手段】
【０００６】
本発明は、Bフレームの動きベクトルとPフレームの動きベクトルとの間のデータ関係を利用して、複数記述のうちの少なくとも１つを圧縮解除し、再圧縮する必要がないようにすることによって、ゲートウェイでの複数記述のマージと分割とを単純にしている。
【０００７】
本発明の一特徴は、後続フレームの動きベクトルが隣接フレームの動きベクトルに相当するデータ・ストリームを有する。
【０００８】
一実施例では、データ・ストリームの伝送の途上にあるゲートウェイは、動きベクトル関係を用いて複数記述を管理して複数記述を生成するかマージする方法を利用する。
【発明を実施するための最良の形態】
【０００９】
本発明の別の目的及び効果は、添付図面に関して検討される上記の詳細説明から明らかとなる。
【実施例】
【００１０】
説明目的で添付図面を参照しながら、本発明は、予測的なスケーラブル符号化手法の通信経路においてマルチチャネル伝送を実施するシステムに関する。本発明は、本明細書及び特許請求の範囲では、通信経路がマージする場所でトラフィックを管理するゲートウェイ28又は別の同様な装置で単一の伝送経路26とマージする複数の伝送経路22及び24を通信チャネルが有する通信経路20を有する通信システム（図２）に関して説明している。この記載が本発明を用い得るハードウェア環境の例示に過ぎず、本発明を別のハードウェア環境にも実施し得るということは当業者によって分かるものである。効果的には、本発明は、ストリームにおけるデータを完全にトランスコーディングするオーバヘッドなしでマルチメディア・データのストリームを複数の記述に分離することを可能にする機構を利用する。
【００１１】
本発明は、予測符号化を用いて圧縮されるマルチメディア・データのストリームを複数の経路についてデータを圧縮解除し、再圧縮する必要なしで、複数の伝送経路の複数記述に分離し得るという認識にたって実施される。この目的に適した種類の予測符号化手法は、MPEG標準であるMPEG-1、MPEG-2及びMPEG-4、更には、ITT標準H.261、H.262、H.263及びH.26Lを有する。説明する目的でMPEG標準の記載を参照すれば、動画データ・ストリーム又はビデオ・データ・ストリームは、連続した順序で表示される場合に動画の視覚効果をもたらすフレーム・シーケンスを有する。予測符号化は、連続するフレーム各々の間の差異に関する情報を伝送するだけで、伝送対象データ量における削減をもたらす。MPEG標準の下では、フレームの予測符号化は、ビデオ・フレームを「再構築」するうえでの情報全てを有するIフレーム（イントラ符号化フレーム）に基づくものである。なお、Iフレームのみが符号化されるビデオは、ファイルのフレームは全て独立しており、別のフレーム情報を何ら必要としないので、予測符号化手法を利用するものでない。予測符号化は、1つのフレームから次のフレームまでの冗長性を取り除く、すなわち命令群を送出して次のフレームを現行フレームから生成することによって、圧縮因子を大きくことを可能にする。そのようなフレームはPフレーム（予測フレーム）と呼ばれている。しかし、Iフレーム予測符号化とPフレーム予測符号化とを用いるうえでの欠点は、データは先行ピクチャからしか得ることが可能でないという点である。動いているオブジェクトは、先行ピクチャにおいて未知である一方で後続ピクチャでは可視であり得る背景を明らかにし得る。Bフレーム（双方向フレーム）は先行Iフレーム若しくは先行Pフレーム、及び/又は後続Iフレーム若しくは後続Pフレームから生成することが可能である。次のIフレームまでの、一連の連続する、Bフレーム及びPフレームはGOP（ピクチャ群）と呼ばれる。ブロードキャストするGOPの例は、IBBPBBPBBPBBの構造を有し、IPB-GOPとして表す。
【００１２】
2つ以上の経路によってマルチメディア・データを送出する1つの方法は複数記述符号化（MDC）を用いる。MDCは、マルチパス・ダイバシティ並びにドップラ・ダイバシティ及び低コスト・ディスク冗長アレイ（RAID）を用いた無線システムを介した頑健な通信、更には、インターネットを介した頑健な通信を行う効果的な手法であることが明らかとなった。現在、データをMPEG、H.26L又は別の予測符号化によって符号化したビデオ・ストリームが、インターネットによって伝送され、更にゲートウェイで、ダウンリンク（例えば、マルチパスを用いた無線システム）のチャネル特性によりうまく適合する2つの複数記述ビデオ・ストリームに、以前と同じ符号化形式を維持しながら、分離されることが必要である場合、ビデオ・データは完全に復号化され、再符号化される。しかし、本発明は、高コストの完全なトランスコーディングなしで、弾力のある伝送をなお可能にしながらデータ・ストリームを複数記述にゲートウェイが容易に分離することを可能にするシステムに及ぶ。以下に説明するように、この時間と形式とにおける節減は、特定の形式において動きベクトルの階層を符号化することによって実現される。特定の符号化形式は、Bフレームの動きベクトルが、Pフレームに用いられる動きベクトル（MV）の一部とはあまり違わないという観察に基づいている。
【００１３】
通常、独立MVがBフレームについて計算される。しかし（図３）、Bフレーム30のMV32の好適な近似又は予測は、Pフレーム34のMV36から、図2に表すKb（B）及びKf（B）として以下の式から計算することが可能である。
【００１４】
【数１】
2006510307.tif 000003
Mは2つの連続Pフレームの間のBフレームの数である。よって、BフレームのMVは、PフレームのMVから計算することが可能であり、逆もあてはまる。動きベクトルのこの符号化形式は現行の標準ビデオ符号化手法で好適なものではないが、標準における変更なしで実施することが可能である。しかし、より正確な動き軌道を、入手可能な部分サンプル軌道から予測し得る、すなわち、BフレームのMVのスキャンはPフレームのMVから予測し得る。
【００１５】
例
1.  データ・ストリームを2つの経路に分離する
図4を参照すれば、ビデオ・データはサーバから、データ・チャネル、制約ではなく例として、インターネット、によってサーバから送信される。ビデオ・データは単一の予測ストリーム40として送信され、プロキシ又はゲートウェイなどのデータ・チャネルに沿ってノード41に至る。本願の目的で、ノード、ゲートウェイ及びプロキシの語は同義で用い得る。プロキシでは、ストリームは２つの別個の記述42及び44に分離される。プロキシでのストリームの完全な再符号化に関連した複雑度を取り除くよう、チャネル40によって送信されるビデオ・ストリームはIPB  GOP-構造を用いて符号化される一方、無線リンクによって送信される2つの記述42及び44はIP  GOP構造を用いる。これらの制約によって符号化手法の性能が低下するということが当業者に分かる。しかし、このようにして、一方のMD42が全く再符号化を必要としない一方、他方のMD44については、プロキシでの動き推定はもう必要でないが、それはMDのMVが
【００１６】
【数２】
2006510307.tif 000004
と、次フレームの
【００１７】
【数３】
2006510307.tif 000005
とを用いてPフレーム間又は、IフレームとPフレームとの間でMVを判定することが可能であるからである。よって、単一チャネル40から２つの記述44及び46への移行はテクスチャ・データのみを再符号化することによって容易に行うことが可能である。MVなしのマクロブロックは全て、イントラ・ブロックとして符号化することが可能である。更に、プロキシがより高い複雑度の処理を可能にする場合、これらの推定の別の精緻な値「d」を計算することが可能である。例えば、新たな低複雑度動き推定を
【００１８】
【数４】
2006510307.tif 000006
を中心とした小サーチ・ウィンドウ（例えば、８画素ｘ８画素）を用いてであるが行って、新たに生成されるPフレームのより低い残差（例えば、最大絶対差）をもたらすことになる、より正確な動きベクトルを見つけることが可能である。MVと精緻な値「d」との計算は：
【００１９】
【数５】
2006510307.tif 000007
として、上記関係から導き出すことが可能であり、この例では、当初のビットストリームにおいて、２つの連続したPフレーム間に１つのBフレームしか存在していなかったということを前提とする。なお、これは例に過ぎず、異なる数のBフレームが2つの連続したPフレームの間に存在する場合、類似の式を導き出すことが可能である。別の実施例では、精緻な値「d」はサーバで計算し、別個のストリームにおいてインターネットによって送出することが可能である。
【００２０】
2.  2つの経路からのデータ・ストリームのマージ
図5を参照すれば、ビデオ・ストリームが、２つのMD51及び52を用いてインターネットを介してプロキシ50によって受信され、データが更に、無線で単一ストリーム54として送信される場合、逆の動作が行われる。BフレームのMVは当初
【００２１】
【数６】
2006510307.tif 000008
及び
【００２２】
【数７】
2006510307.tif 000009
として推定することが可能である。よって当初、
【００２３】
【数８】
2006510307.tif 000010
及び
【００２４】
【数９】
2006510307.tif 000011
である。
【００２５】
更に、プロキシがより高い複雑度の処理を可能にする場合、これらの推定値の更に精緻な値「d」を計算することが可能である。例えば、新たな低複雑度動き推定を
【００２６】
【数１０】
2006510307.tif 000012
及び
【００２７】
【数１１】
2006510307.tif 000013
を中心とした小さなサーチ・ウィンドウ（例えば、８画素x８画素）を用いてであるが行って、新たに生成されるBフレームについてより低い残差（例えば、最大絶対差）をもたらすことになる更に正確な動きベクトルを見つけることが可能である。この場合には、Bフレームのテクスチャ符号化しか再符号化しなくてよい。MVと、精緻な値「d」との計算は：
【００２８】
【数１２】
2006510307.tif 000014
に表すものと同じ関係を用い、Mは２つの連続した、利用可能なPフレームの間の新たに生成されるBフレームの数である。なお、これは例に過ぎず、異なる数のBフレームが２つの連続したPフレームの間に生成される場合、類似した式を導き出すことが可能である。別の実施例では、精緻な値「d」はサーバで計算し、インターネットによって第２MDとともに別個のストリームにおいて送出することが可能である。
【００２９】
本願の提案方法は、MPEG1、MPEG2、MPEG４、及びH.263、H.26Lなどの動き推定を用いた何れかの予測符号化手法に利用することが可能であるということが当業者によって分かる。
【００３０】
この方法の別の効果はエラー回復とエラー隠蔽をより容易に行うことが可能であるという点にあるということが当業者によって更に分かる。これは、MVの冗長な記述を用いて喪失フレームのMVを判定することが可能であるからである。
【００３１】
最後に、本方法を、細粒度スケーラブル（FGS）などの「予測」スケーラブル符号化手法の頑健な、マルチチャネル伝送に利用することが可能であるということを当業者は分かる。この方法は、MPEG4標準の修正なしで用いることが可能であり、よって、容易に利用することが可能である。
【００３２】
ゲートウェイ処理における利用
図6を参照すれば、本発明はゲートウェイ構成におけるアプリケーションを有して、ダウンリンクにおける種々のネットワーク特性及び装置特性に対処する。ゲートウェイは、家庭すなわちレジデンシャル・ゲートウェイにあり得るか、３Gネットワークすなわち基地局にあり得るか、処理を複数のゲートウェイ/ノードに分散することが可能である。そのような場合には、ゲートウェイ60はローカル・エリア・ネットワーク（LAN）62をインターネット64に接続する。図6に表すように、ウェブ・サーバ65などは局所装置66-68と通信するよう動作可能にし得る。LAN62が無線ダウンリンクである場合、装置は、制約ではないが、モバイルIC66、セルラ電話機67又は携帯情報端末（PDA）68を含み得る。そのような場合には、ウェブ・サーバ65及びダウンリンク装置66-68は何れも、データが進む通信経路のことが分からない。装置間で伝送されるビデオのストリームは、例えばモバイルPCが複数のデータ・チャネルを要求してゲートウェイに対する帯域幅を増加させる動的な構成を必要とする場合がある。あるいは、ゲートウェイとウェブ・サーバとの間の通信は、複数のデータ・チャネルを通じて通信し得る。各々の場合には、ゲートウェイはデータ伝送を分割してダウンリンク・ノード又はアップリンク・ノードを処理する役目を担うということが分かる。例１及び例2に記載した本発明は、これらの場合の各々において実施して、アップリンク・ノードとダウンリンク・ノードとの間のゲートウェイでのシームレスな移行を、使用データ・チャネル数にかかわらず、備え得る。
【００３３】
現在、MPEG符号化、H.26L符号化又は何れかの別の予測符号化によって符号化されたビデオ・ストリームが、インターネットによって送信され、更に、ゲートウェイで、以前と同じ符号化形式を維持しながらダウンリンク（例えば、マルチパスを用いた無線システム）のチャネル特性によりうまく適合する２つの複数記述ビデオ・ストリームに分割する必要がある場合には、ビデオ・データは完全に復号化され、再符号化される。
【００３４】
BフレームのMVとPフレームのMVとの間で関係が確立される上記本発明を実施することによって、当該処理は、以前と同じ符号化形式を維持する、２つの複数記述ビデオ・ストリームにMPEG符号化、H.26L符号化又は何れかの別の予測符号化によって符号化されたビデオ・ストリームをゲートウェイで容易に分離することを可能にするか、ストリームの完全な復号化及び再符号化なしで以前と同じ符号化形式を維持する単一の符号化形式に、MPEG符号化、H.26L符号化又は何れかの別の予測符号化によって符号化された、２つの複数記述符号化ビデオ・ストリームをマージすることをもたらす。本願の提案機構によって、ゲートウェイでのかなりの量の計算量上の複雑度を低減させることが可能である。
【００３５】
本発明は最も実用的でかつ好適な実施例として現在みなされていることに関して説明したが、本発明は本願の開示実施例に限定されないこととする一方で、本特許請求の範囲記載の、本発明の趣旨が有する種々の修正及び同等の装置に及ぶことが意図されており、その範囲には、そのような修正及び同等な構造を全て包含するような最も広い解釈が与えられることとするということが分かるものである。
【図面の簡単な説明】
【００３６】
【図１】既知の複数記述手法の構成図である。
【図２】通信経路の構成図である。
【図３】予測ビデオ・ストリームにおけるビデオ・フレームの構成図である。
【図４】本発明による複数記述手法の構成図である。
【図５】本発明による別の複数記述手法の構成図である。
【図６】無線ゲートウェイの構成図である。
【図１】
2006510307.tif 000015
【図２】
2006510307.tif 000016
【図３】
2006510307.tif 000017
【図４】
2006510307.tif 000018
【図５】
2006510307.tif 000019
【図６】
2006510307.tif 000020
【国際調査報告】
2006510307.tif 000021
2006510307.tif 000022
2006510307.tif 000023