(57)【要約】パケット化されたフレーム内の個別の区分の活動度を検出するように構成された方法が、開示される。前記方法は、前記データストリームの低い活動度を有する部分より高い活動度を有する部分のより良い符号化を提供する。これは、前記ストリームの特定の部分内のデータの重要度に依存する誤り保護の差別化を可能にする（不均一誤り保護）。
2005518164.tif 000002
【特許請求の範囲】
【請求項１】
分割された少なくとも１つのパケットを持つフレームを有するデータストリームを符号化する方法であって、
ａ）前記少なくとも１つのパケットの区分のそれぞれに対する誤り保護率を決定するために、前記少なくとも１つのパケットの活動度を前記フレームの活動度レベルと比較するステップと、
ｂ）決定された前記誤り保護率を用いて対応する区分を符号化するステップと、
ｃ）異なる誤り保護率を用いて符号化された前記少なくとも１つのパケットの前記対応する区分を持つ前記データストリームを出力するステップと、
を有する方法。
【請求項２】
前記パケットの活動度が、前記パケット内のブロック数を測定し、測定された前記ブロック数を前記フレームに対するパケットごとの平均ブロック数と比較することにより決定される、請求項１に記載の方法。
【請求項３】
実際の前記測定されたブロック数と前記平均ブロック数との比較において、偏差値が評価され、前記偏差値が、前記パケット内の前記区分に適用されるべき適切な誤り保護率を決定するために、所定の活動度偏差レベルと比較される、請求項２に記載の方法。
【請求項４】
前記パケット内の活動度が動きによるのか又はテクスチャによるのかを測定するステップを更に有し、
ａ）前記フレームに対してテクスチャセクションに対する平均値を決定するステップと、
ｂ）前記少なくとも１つのパケットに対して前記テクスチャセクションの実際の値を決定するステップと、
ｃ）測定された前記実際の値と前記平均値との間の分散を決定するステップと、
ｄ）もし前記実際の値が前記平均値より大きければ、前記パケットの前記活動度を主にテクスチャによるものとするステップと、
を有する、請求項１乃至３の何れか一項に記載の方法。
【請求項５】
前記パケット内の前記活動度がＤＣ成分によるのか又はＡＣ成分によるのかを測定するステップを更に有し、
ａ）前記フレームに対してＤＣ成分セクションに対する平均値を決定するステップと、
ｂ）前記少なくとも１つのパケットに対して前記ＤＣ成分セクションに対する実際の値を決定するステップと、
ｃ）測定された前記実際の値と前記平均値との間の分散を決定するステップと、
ｄ）もし前記実際の値が前記平均値より大きければ、前記パケットの活動度を主に前記ＤＣ成分によるものと割り当てるステップと、
を有する、請求項１乃至３の何れか一項に記載の方法。
【請求項６】
前記データストリームが、ＭＰＥＧ−４データストリームである、請求項１乃至５の何れか一項に記載の方法。
【請求項７】
分割された少なくとも１つのパケットを持つフレームを有するデータストリームを符号化するエンコーダであって、
ａ）前記フレームから第１及び第２データセグメントを形成する手段と、
ｂ）前記フレームの前記第１及び第２データセグメントの活動度に対する平均値を評価する手段と、
ｃ）前記フレーム内の前記少なくとも１つのパケットのそれぞれに対して前記第１及び第２データセグメントの前記活動度に対する実際の値を評価する手段と、
ｄ）前記ステップｂ及びｃから生じた値を比較する手段と、
ｅ）前記少なくとも１つのパケットのそれぞれに対して誤り保護率を適用することにより前記フレームを符号化する手段であって、前記少なくとも１つのパケットのそれぞれに対して選択された前記誤り保護率が、前記ステップｄの出力に基づいて選択される当該符号化する手段と、
を有するエンコーダ。
【請求項８】
分割された少なくとも１つのパケットを持つフレームを有するデータストリームであって、前記パケットの区分が、対応する前記区分の活動度に依存する異なる誤り保護率で保護されるデータストリーム。
【請求項９】
請求項８に記載のデータストリームが記憶されている記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データストリームの符号化に関する。本発明は、更に、符号化されたデータストリームの送信及び受信に関する。本発明は、特に、不均一誤り保護（unequal error protection）（ＵＥＰ）を使用するＭＰＥＧ−４ビデオの符号化方式に関し、より詳しくは、動き及び／又はテクスチャ活動度（activity）の検出に基づいてＵＥＰを実施する方法及びシステムに関する。
【背景技術】
【０００２】
無線通信路を利用するビデオ送信は、ワイヤラインを利用する送信より大幅に多い誤った送信を欠点として持つ。無線通信路において、１０％に上る平均誤り率は、かなり一般的であり、結果として受信されたビデオアプリケーションの許容できない品質を生じる。従って、通信路符号化が、ビット誤り率を許容可能なレベルに下げるために必要とされることが、認識されるだろう。古典的には、情報源の冗長度を除去した後に、通信路符号化は、Shannonの分離定理（Shannon’s separation theorem）のような技法に頼る情報源圧縮方式と独立に実行される。
【０００３】
しかしながら、帯域幅及び遅延に関するきつい束縛により特徴付けられる考慮される通信路と、前記情報源圧縮方式における残りの冗長度（residual redundancy）を仮定すると、情報源通信路統合符号化（joint source-channel coding）アプローチが望ましいと認識されるだろう。より正確には、通信路符号化及び復号は、この残りの冗長度を利用することができる。従って、無線通信路及びアプリケーションの両方の特徴を考慮に入れる適切な技法が、考慮されるべきである。
【０００４】
特に、通信路誤りに対する情報源ビットの異なる感度についての情報は、不均一誤り保護を介して活用される。この技法は、誤りに対する情報源ビットの知覚感度に従って誤り保護を実行することにあり、より感度の高いビットは、より低い率の符号を用いて保護され、より重要性の低いビットに対して、より高い率の符号が使用される。
【０００５】
古典的な前方誤り訂正（Forward Error Correction）と比較して、ＵＥＰは、前記情報源の特徴の利用を通して、同じビット率を前提として、より高い知覚ビデオ品質を達成することを可能にする。このような技法は、MotorolaのEP1018815内に記述され、EP1018815は、通信システムにおける送信のために情報を処理する方法及び装置を記述する。
【０００６】
このアプローチは、各パケットに含まれる情報ビットが、それぞれ通信路誤りに対して異なる感度を持つ３つの区分に分離される、MPEG-4 Video Group, “Overview of the
MPEG-4 Standard”, ISO/IEC JTC1/SC29/WG11 N3444, Geneva, May-June 2000に記述されるように、ＭＰＥＧ−４規格において利用可能なデータ分割ツールと有利に組み合わされることができる。図１に図示される例を使用して、典型的なＰフレーム１００は、ヘッダ１０１と、動き区分１０２と、動きマーカにより分離されたテクスチャ区分１０３とに先行するパケット開始ＳＴＲＴからなる区分を有する。同様に、Ｉフレーム１２０に対して、区分は、ヘッダ１２１と、ＤＣ区分１２２と、ＤＣマーカ１２４により分離されたＡＣ区分１２３とを有し、３つの前記区分は、異なる符号化率を使用して保護される。各例における３つの前記区分は、関連する情報の本来備わった重要性により異なる符号化率を用いて保護される。
【０００７】
ヘッダに含まれる情報は、パケットの連続的な復号に重要であり、従って、強く保護されるべきである。前記Ｐフレームの例を使用して、動きデータは、テクスチャデータより強く保護されるべきであり、もし動き情報が正しく受信されれば、テクスチャ情報は部分的に再構築されることができ、前記テクスチャ情報無しで、デコーダは、依然として、再構築されたピクチャの大きすぎる劣化なしで動き補償された隠蔽を実行することができると認識されるだろう。
【０００８】
このような方式の適用における主な問題は、パケットが、区分のように、同じ長さではないという事実であり、従って、前記ＵＥＰ方式が、各パケットに対して動的に変更されるべきであり、各区分の長さの情報が必要とされる。この問題に対処するために、固定された比例する長さ又はビットストリームに適切に挿入されたフィールドから読み取られた長さの何れかを使用する技法は、M.G. Martini, M. Chiani, “Proportional Unequal Error Protection for MPEG−4 Video Transmission”, proc. IEEE International Conference on Communications (ICC) 2001, pp. 1033−1037, Helsinki, June 2001及びM.G. Martini, M.Chiani, “Robust Transmission of MPEG−4 Video: Start Codes Substitution and Length Field Insertion Assisted Unequal Error Protection”, Picture Coding Symposium ‐ PCS 2001, Seoul, April 2001において提案されている。
【０００９】
これらの技法は、テクスチャデータより動きデータの強い保護を可能にするが、これらは、依然として、異なるタイプの動き又はテクスチャデータに対して補償が達成されないという欠点を持つ。ハイモーション又は高度に詳細な領域のようなシーンの特定の部分における誤りは、活動度の低い領域における誤りより迷惑であり、既知の技法は、このような相違に対して補償するように構成されていない。従って、活動度の低い領域より高い動き及び／又はテクスチャ活動度を持つ領域を強く保護する必要がある。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、個別の区分の活動度の解析を使用し、低活動度領域より高活動度の領域の強い保護を可能にするシステム及び方法を提供することである。
【課題を解決するための手段】
【００１１】
従って、本発明は、活動度検出器と、保護のレベルをパケット活動度に適合する方法を提供する。望ましくは、前記検出器及び方法は、情報源符号化領域で機能するように構成される。この目的のため、本発明は、独立請求項に定められたように符号化、送信、データストリーム及び記憶媒体を提供する。有利な実施例は、従属請求項において定められる。
【００１２】
本発明は、ＭＰＥＧ−４ビデオの無線送信の分野において特に有利である。本発明者は、ビデオパケットの高活動度を有する部分が、低活動度を有する部分より強い保護を必要とすると認識した。例えば、Ｐフレーム型において、ハイモーション及び／又はハイテクスチャを有する区分は、低活動度の領域を持つ区分より強い保護を必要とする一方で、Ｉフレーム型に対しては、高ＤＣ及び／又はＡＣ活動度を有する区分は、低活動度を有する区分より強い保護を必要とする。このような活動度レベルを認識し、適応可能である符号化方式を適用することにより、本発明は、データストリームに対する向上された保護を提供する。
【００１３】
本発明のこれら及び他のフィーチャは、本発明の模範である以下の図面を参照してより良く理解されるだろう。
【発明を実施するための最良の形態】
【００１４】
図１は、ＭＰＥＧ−４規格によるフレームのデータ分割を示している。
【００１５】
ビデオパケット長が、ブロック数ではなく、代わりに前記パケットに含まれるビット数に基づくビデオパケット法が組み込まれることは、ＭＰＥＧ−４形式の既知のことである。もし現在のビデオパケットに含まれるビット数が、所定の閾値を超えるならば、新しいビデオパケットが、次のブロックの開始において作成される。
【００１６】
本発明は、動き及び／又はテクスチャに関してより活動的な領域に関連付けられたパケットが、より小さな数のブロックを含むという関係を利用する方法を提供する。Ｂ個のサイズを固定されたブロックに分割されたＰフレームの例を使用して、現在のフレームに関連付けられたビデオパケットの数をＮと仮定されてもよい。この場合、パケットごとの平均ブロック数は、
【数１】
2005518164.tif 000003
により与えられ、これは、パケットごとの平均動き及びテクスチャ活動度を表す。従って、平均値から測定された如何なるＭＰＥＧ−４ビデオパケットの活動度偏差でも、
【数２】
2005518164.tif 000004
として定められることができ、ここでｎは、現在測定されたパケットに含まれる実際のブロック数である。現在のパケットは、もしΔａ＞０ならば、前記平均より大きな活動度により特徴付けられ、そうでなければ、前記平均より小さな活動度により特徴付けられる。
【００１７】
本発明によると、前記現在のパケットの前記活動度が、主に動きによるのか又はテクスチャによるのかを検出する技法も、定められることができる。
【００１８】
ＮＢＦは、Ｐフレームを有するビデオシーケンスがＭＰＥＧ−４エンコーダを使用して符号化された後の合計ビット数であるとし、ＬＴＸ及びＬＭＶは、それぞれテクスチャ及び動きベクトルに関連付けられた符号化された合計ビット数を示すものとする。従って、前記ビデオパケットに対するテクスチャセクションの平均部分は、
【数３】
2005518164.tif 000005
であるのに対し、
【数４】
2005518164.tif 000006
は、同じパケットと比較される動きベクトルセクションの平均部分である。
【００１９】
ヘッダセクションを無視することにより、以下の
【数５】
2005518164.tif 000007
が成り立つ。
【数６】
2005518164.tif 000008
は、ここで、前記現在のパケットと比較される前記テクスチャセクションの実際の部分であるとし、ここで、ＮＢＴＸは、前記テクスチャに関連付けられたビット数であり、ＮＢＰは、パケットの長さであり、
【数７】
2005518164.tif 000009
を前記現在のパケットに対するテクスチャ区分の部分の平均値からの偏差を表すものと定める。
【００２０】
この場合、前記パケット活動度は、もしΔＴＸ＞０ならば、主にテクスチャにより、もしΔＴＸ＜０ならば、動きによる。
【００２１】
保護レベルを前記パケットの活動度に適合するために、Δａの範囲は、量子化されることができる。このようにして、異なる活動度偏差レベルは、Δａが位置する決定領域によって定められることができる。
【００２２】
図２は、前記パケット活動度偏差の量子化の例を示し、前記決定領域は、前記平均値と比較される（正又は負の何れかである）低（Ｌ）又は高（Ｈ）活動度偏差が存在しうるように定められていると認識されるだろう。無偏差領域も定義されていて、これは、前記現在のパケットの活動度が、前記平均活動度値と比較可能であることを意味する。
【００２３】
大きな活動度偏差が生じる場合（即ち、Δａが、無偏差領域の外に位置する場合）、テクスチャ又は動き活動度の優越が検出されなければならない。もしΔＴＸ＞Δ’ＴＸならば、前記活動度はテクスチャにより、もしΔＴＸ＜−Δ’ＴＸならば、前記活動度は動きによるように、閾値Δ’ＴＸを定めることは、妥当である。もし｜ΔＴＸ｜＜Δ’ＴＸであり、ここでΔ’ＴＸが、経験的に決定されうる閾値であれば、活動度の優越は生じないと仮定される。この閾値は、多くの異なる態様の１つにおいて決定されうると、当業者により認識されるだろう。例えば、この閾値の値を決定する可能な態様は、情報を保護するために同量の帯域幅を使用する非適応的な技法と比較してビデオ品質性能向上を最大化することである。この同調は、複数の試験シーケンスにわたり実行されてもよい。この場合、この閾値の値は、未来の適用のために無期限に使用されうる。
【００２４】
ここで、異なる区分に異なる符号化率を割り当てるＵＥＰ技法により、前記動きベクトル区分は、率ＲＭＶで保護されなければならず、前記テクスチャ区分は、率ＲＴＸで保護されると仮定する。
【００２５】
表１は、動き及びテクスチャ区分を前記パケット活動度に適合する機構をまとめる。
Ｒ１ＭＶ＜Ｒ２ＭＶ＜ＲＭＶ＜Ｒ３ＭＶ＜Ｒ４ＭＶであり、Ｒ１ＴＸ＜Ｒ２ＴＸ＜ＲＴＸ＜Ｒ３ＴＸ＜Ｒ４ＴＸであることに注意する。
【表１】
2005518164.tif 000010
表１：区分活動度による保護レベル
【００２６】
本発明は、ＲＭＶ＞ＲＴＸであるように、テクスチャ区分に対するものとして動きに割り当てられるべき付加的なレベルの保護を更に提供すると認識される。従って、本発明は、動きデータを有する区分が、テクスチャを有する区分より強く保護され、高レベルの動き活動度を有する区分が、より低い活動度を有する区分より強く保護されるような保護レベルにおける階層を規定すると認識されるだろう。
【００２７】
同じ又は類似した技法が、イントラフレームに適用されることができると当業者により認識されるだろう。この場合、ＤＣ  ＤＣＴ係数及びＡＣ係数区分は、活動度優越性検出のために考慮されなければならず、より高い活動度を有する領域は、より低い活動度を有する領域より強い保護を割り当てられるだろう。
【００２８】
図３は、本発明によるビデオシーケンスを符号化する送信回路３００の概略図を示す。ビデオシーケンスｖｓは、ＭＰＥＧ−４エンコーダ３０１に入力として供給され、ここで、成分であるビットストリームｂｓと、ＭＰＥＧ−４シンタックス記述ｓｄとに分離される。前記ビットストリーム及び前記シンタックス記述の両方は、平均値計算モジュール３０２に供給され、ここで、平均ブロック数
【数８】
2005518164.tif 000011
と、前記ビデオパケットに対する前記テクスチャセクションの平均部分
【数９】
2005518164.tif 000012
とが評価される。同様に、前記ビットストリーム及びシンタックス記述は、パケット値計算モジュール３０３に供給され、ここで、前記現在のパケットにおける実際のブロック数（ｎ）と、前記現在のパケットと比較される前記テクスチャセクションの実際の部分（ｌＴＸ）とが、測定される。
【００２９】
前記テクスチャ及び活動度の両方の前記平均値及び実際の値は、この場合、テクスチャ偏差モジュール３０４及び活動度偏差モジュール３０５において評価される。偏差の量は、この場合、保護適合モジュール３０６において経験的に決定された量と比較され、これは、区分のそれぞれに適用されるべき保護のタイプを決定するだろう。前記区分のそれぞれに対する計算された前記保護レベルは、この場合、通信路エンコーダ３０７において対応するビットストリーム及びシンタックス記述に適用され、通信路エンコーダ３０７は、出力として符号化されたビットストリームｃｂを供給する。
【００３０】
この符号化されたビットストリームは、この場合、マルチプレクサ３０８を使用して、前記シンタックス記述（ＲＭＶ、ＲＴＸ、ＮＢＭＶ及びＮＢＴＸ）を用いて適切に多重化され、この多重化された信号は、この場合、送信される。
【００３１】
図４は、前記多重化された信号を受信し、視聴目的のために復号するように構成された適切に受信する回路４００の例を示す。前記ビットストリームは、デマルチプレクサ４０１を使用して受信され、非多重化される。これは、前記符号化されたビットストリームから前記シンタックス記述を抽出し、前記符号化されたビットストリームは、この場合、復号ビットストリームを形成するために通信路デコーダ４０２を使用して処理される。この復号ビットストリームは、この場合、情報源デコーダ４０３を使用して表示するためのビデオシーケンスに変換される。これは、汎用ＭＰＥＧ−４デコーダ又は特定のデータストリームタイプに対する本発明の方法の適用に依存する代替デコーダを使用して達成されうると認識されるだろう。
【００３２】
上述の実施例は、本発明を制限するのではなく説明し、当業者は、添付請求項の範囲から外れることなく多くの代替実施例を設計することができるであろうことに注意すべきである。前記請求項において、括弧の間に配置された如何なる参照符号も、前記請求項を制限するように解釈されるべきではない。同様に、単語“有する”及び単語“持つ／含む”は、本発明を参照してここで使用される場合、記載された特徴、整数、ステップ又は構成要素の存在を明記するが、１つ以上の他の特徴、整数、ステップ、構成要素又はグループの存在又は追加を除外しない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実施されうる。幾つかの手段を列挙する装置請求項において、これらの手段の１つ以上が、ハードウェアの同一のアイテムにより実施されてもよい。特定の方策が、相互に異なる従属請求項に列挙されるという単なる事実は、これらの方策の組み合わせが、有利に使用されることができないことを示さない。
【図面の簡単な説明】
【００３３】
【図１】ＭＰＥＧ−４パケットのデータ分割の例を示す。
【図２】本発明によるパケット活動度の偏差の量子化を示す。
【図３】本発明による送信システムを示す。
【図４】本発明の方法を使用して符号化されたデータストリームを復号するのに使用する復号システムを示す。
【図１】
2005518164.tif 000013
【図２】
2005518164.tif 000014
【図３】
2005518164.tif 000015
【図４】
2005518164.tif 000016
【国際調査報告】
2005518164.tif 000017
2005518164.tif 000018
2005518164.tif 000019