(57)【要約】デジタルビデオ伝送のための誤り保護方針を伝送チャネル（１２０）の特性に依存して適応的に変化させるためのシステムおよび方法が提供される。ビデオエンコーダ（１１４）内に位置するビデオ分類プロセッサ（２１０）がビデオシーケンスを解析し、（１）客観的基準に基づいてビデオデータパケットについての優先度クラスを決定し、（２）当該ビデオシーケンスのシーケンス依存特徴を決定し、（３）ビデオデータパケットを当該ビデオシーケンスの前記シーケンス依存特徴に基づいてサブ優先度で分類する。当該システムはまた、客観的基準に基づいたビデオデータパケット優先度を、当該ビデオシーケンスのシーケンス依存特徴か誤り隠蔽アルゴリズムのいずれかを使って再分類することもできる。
2007506385.tif 000002
【特許請求の範囲】
【請求項１】
デジタルビデオ送信機において、伝送チャネルを通じたデジタルビデオ信号の伝送の誤り保護方針を前記伝送チャネルの特性に依存して適応的に変化させるための、デジタルビデオ信号のシーケンス依存特性に基づいて該デジタルビデオ信号を分類することのできるビデオ分類プロセッサを有することを特徴とする装置。
【請求項２】
前記ビデオ分類プロセッサが前記デジタルビデオ送信機において使われている誤り隠蔽方針に基づいてデジタルビデオ信号を分類することができることを特徴とする、請求項１記載の装置。
【請求項３】
前記ビデオ分類プロセッサが前記誤り隠蔽方針を使って少なくとも一つのビデオデータパケットの優先度を決定することを特徴とする、請求項２記載の装置。
【請求項４】
前記ビデオ分類プロセッサが、少なくとも一つのビデオデータパケットの優先度を、もとのデータパケットと隠蔽されたデータパケットとの間の平均平方誤差に基づいて決定することを特徴とする、請求項３記載の装置。
【請求項５】
前記ビデオ分類プロセッサが、少なくとも一つのビデオデータパケットの優先度を、ビデオデータパケットが失われたときに生じるゆがみに基づいて決定することを特徴とする、請求項３記載の装置。
【請求項６】
前記の生じるゆがみが：ビデオビットレート、遅延、損失レート、客観的基準に基づく優先度、誤り隠蔽方針および視覚的拮抗マスキングのうちの一つの関数であることを特徴とする、請求項５記載の装置。
【請求項７】
前記ビデオ分類プロセッサがビデオデータパケットの優先度を客観的基準を使って分類する請求項１記載の装置であって、
前記ビデオ分類プロセッサがビデオデータパケットの諸サブクラスの優先度を異なる仕方で決定することを特徴とする装置。
【請求項８】
前記ビデオ分類プロセッサがビデオデータパケットのあるサブクラスの優先度の分類を、ビデオシーケンスのBフレームおよびPフレームに対してIフレームよりも低い優先度を割り当てることによって行うことを特徴とする、請求項７記載の装置。
【請求項９】
前記ビデオ分類プロセッサがビデオデータパケットのあるサブクラスの優先度の分類を、データパーティションがある符号化ビデオシーケンスの少なくとも一つのデータパーティションに対して他よりも低い優先度を割り当てることによって行うことを特徴とする、請求項７記載の装置。
【請求項１０】
前記ビデオ分類プロセッサがビデオデータパケットの優先度を客観的基準を使って分類する請求項１記載の装置であって、
前記ビデオ分類プロセッサが：当該デジタルビデオ信号のシーケンス依存特性および誤り隠蔽アルゴリズムのうちの一つを決定し、
前記ビデオ分類プロセッサが前記客観的基準を使って決定された前記ビデオデータパケットの前記優先度を：当該デジタルビデオ信号の前記シーケンス依存特性および前記誤り隠蔽アルゴリズムのうちの一つを使って再分類することを特徴とする装置。
【請求項１１】
前記ビデオ分類プロセッサの少なくとも一つの入力が波形符号化器の出力に結合されており、前記ビデオ分類プロセッサの少なくとも一つの出力がトランスポート符号化器の入力に結合されていることを特徴とする、請求項１記載の装置。
【請求項１２】
前記ビデオ分類プロセッサが、
コンピュータ命令を実行することのできるコントローラならびに、
客観的基準に基づいてビデオデータパケットの優先度分類を決定するためのモジュールと、
ビデオシーケンスのシーケンス依存特徴を決定するためのモジュールと、
ビデオデータパケット分類モジュールと、
誤り隠蔽アルゴリズムの判別のためのモジュールと、
失われたビデオデータパケットについての平均平方誤差の決定のためのモジュール、
とを有するビデオシーケンス解析ソフトウェア、
を有するビデオシーケンス解析コントローラを有することを特徴とする、請求項１記載の装置。
【請求項１３】
デジタルビデオ送信機から伝送チャネルを通じてのデジタルビデオ信号の伝送の誤り保護方針を前記伝送チャネルの特性に依存して適応的に変化させるための方法であって、
客観的基準に従ってデジタルビデオ信号を分類し、
当該デジタルビデオ信号のシーケンス依存特性を決定し、
当該デジタルビデオ信号の前記シーケンス依存特性に基づいてビデオデータパケットをサブ優先度において分類する、
ステップを有することを特徴とする方法。
【請求項１４】
前記デジタルビデオ送信機において使われている誤り隠蔽アルゴリズムを判別し、
前記誤り隠蔽アルゴリズムに基づいてビデオデータパケットをサブ優先度において分類する、
ステップを有することを特徴とする、請求項１３記載の方法。
【請求項１５】
前記誤り隠蔽アルゴリズムが使われているときにある失われたビデオデータパケットについての平均平方誤差を決定し、
前記平均平方誤差および前記誤り隠蔽アルゴリズムに基づいてビデオデータパケットをサブ優先度において分類する、
ステップを有することを特徴とする、請求項１４記載の方法。
【請求項１６】
前記客観的基準を使って決定された前記ビデオデータパケットの前記優先度を、前記デジタルビデオ信号の前記シーケンス依存特性を使うことによって再分類することと、
前記客観的基準を使って決定された前記ビデオデータパケットの前記優先度を、前記誤り隠蔽アルゴリズムを使うことによって再分類すること、
とのうちの一つのステップをさらに有することを特徴とする、請求項１４記載の方法。
【請求項１７】
デジタルビデオ信号送信機における使用のための、伝送チャネルを通じてのデジタルビデオ信号の伝送の誤り保護方針を前記伝送チャネルの特性に依存して適応的に変化させるための、コンピュータ可読記憶媒体上に保存されているコンピュータ実行可能命令であって、
客観的基準に従ってデジタルビデオ信号を分類し、
当該デジタルビデオ信号のシーケンス依存特性を決定し、
当該デジタルビデオ信号の前記シーケンス依存特性に基づいてビデオデータパケットをサブ優先度において分類する、
ステップを有することを特徴とするコンピュータ実行可能命令。
【請求項１８】
請求項１７記載の、コンピュータ可読記憶媒体上に保存されているコンピュータ実行可能命令であって：
前記デジタルビデオ送信機において使われている誤り隠蔽アルゴリズムを判別し、
前記誤り隠蔽アルゴリズムに基づいてビデオデータパケットをサブ優先度において分類する、
ステップをさらに有することを特徴とするコンピュータ実行可能命令。
【請求項１９】
請求項１８記載の、コンピュータ可読記憶媒体上に保存されているコンピュータ実行可能命令であって：
前記誤り隠蔽アルゴリズムが使われているときにある失われたビデオデータパケットについての平均平方誤差を決定し、
前記平均平方誤差および前記誤り隠蔽アルゴリズムに基づいてビデオデータパケットをサブ優先度において分類する、
ステップをさらに有することを特徴とする、コンピュータ実行可能命令。
【請求項２０】
請求項１８記載の、コンピュータ可読記憶媒体上に保存されているコンピュータ実行可能命令であって：
前記客観的基準を使って決定された前記ビデオデータパケットの前記優先度を、前記デジタルビデオ信号の前記シーケンス依存特性を使うことによって再分類することと、
前記客観的基準を使って決定された前記ビデオデータパケットの前記優先度を、前記誤り隠蔽アルゴリズムを使うことによって再分類すること、
とのうちの一つのステップをさらに有することを特徴とする、コンピュータ実行可能命令。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にはデジタル伝送システムに、より詳細には、デジタルビデオ信号伝送のためのビデオコンテンツおよび隠蔽に依存した誤り保護およびスケジューリングアルゴリズムを提供するシステムおよび方法に関するものである。
【背景技術】
【０００２】
デジタルビデオ通信においてはデジタルビデオ信号の伝送の間に誤りが発生することがある。誤りが伝送内容の一部の破損または欠損からなる場合、その誤りはその破損または欠損した部分を再送信することによって訂正することもできる。よく知られた前方誤り訂正（FEC:  forward  error  correction）技術を備えることもできる。
【０００３】
現在利用可能な誤り保護およびビデオ伝送スケジューリングアルゴリズムは、伝送されるビデオデータに独立である、あるいはビデオシーケンスに独立な客観的方針に基づく。そのような誤り保護およびビデオ伝送スケジューリングアルゴリズムは、すべてのビデオシーケンスについて客観的に決定される優先度情報に基づく。たとえば、非スケーラブルな予測符号化技術においては、Iフレーム、Pフレーム、Bフレームに異なる優先度を割り当てることができる。代替的に、基本パーティションと高機能パーティションに異なる優先度を割り当てることもできる。スケーラブルな符号化技術においては、基本層と高機能層に異なる優先度を割り当てることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このようにして割り当てられた優先度はその後、再送信限界、前方誤り訂正（FEC）保護およびスケジューリングアルゴリズムを決定する。従来技術のスケジューリングアルゴリズムの不都合な点は、ビデオシーケンスの特性およびビデオシーケンスの損失に対する感受性を考慮しないということである。したがって、従来技術のスケジューリングアルゴリズムは、インターネットおよび無線ネットワークのような誤りが生じやすいネットワークにおいて損失があるときにビデオシーケンスの視覚上の品質を制御することができない。
【０００５】
したがって、当技術分野においては、伝送チャネルの特性に依存したビデオ伝送のために誤り保護方針を適応的に変化させることのできるシステムおよび方法が必要とされている。また、誤りが生じやすいチャネルを通じたビデオ伝送のパフォーマンスを改善するための誤り保護およびスケジューリングアルゴリズムを提供することのできるシステムおよび方法も当分野において必要とされている。
【課題を解決するための手段】
【０００６】
上述した従来技術の欠陥に取り組むため、本発明のシステムおよび方法はビデオデータパケットのさまざまな優先度クラスを、ビデオシーケンス特性および損失に対する感受性に基づいて分類する。本発明のシステムおよび方法はまた、ビデオデータパケットのさまざまな優先度クラスを、使われている誤り隠蔽方針に基づいても分類する。
【０００７】
本発明のシステムおよび方法は、ビデオ送信機のビデオエンコーダ内部に位置するビデオ分類プロセッサを有する。前記ビデオ分類プロセッサは、ビデオシーケンスを受け取って解析することができる。前記ビデオ分類プロセッサは客観的な基準に基づいてビデオデータパケットのための優先度クラスを決定する。前記ビデオ分類プロセッサはまた、ビデオシーケンスのシーケンス依存特徴をも決定する。前記ビデオ分類プロセッサは次いでそのビデオシーケンスの前記シーケンス依存特徴を使ってそのビデオデータパケットをさまざまなサブ優先度に分類する。
【０００８】
本発明のシステムおよび方法のもう一つの有利な実施形態においては、前記ビデオ分類プロセッサは、ビデオ送信機によって使われている誤り隠蔽アルゴリズムを判別する。前記ビデオ分類プロセッサはまた、失われたビデオデータパケットについての平均平方誤差を決定し、その平均平方誤差および前記誤り隠蔽アルゴリズムに基づいて前記ビデオデータパケットをサブ優先度において分類する。
【０００９】
本発明のシステムおよび方法のいま一つの有利な実施形態においては、前記ビデオ分類プロセッサは、客観的基準に基づいて決定されたビデオデータパケットの優先度を再分類できる。前記ビデオ分類プロセッサはこのことを、当該ビデオシーケンスのシーケンス依存特徴および／または誤り隠蔽アルゴリズムを使うことによって達成する。
【００１０】
本発明の目的の一つは、ビデオシーケンスのビデオデータパケットをサブクラスに分類してビデオデータパケットが異なった仕方でスケジューリングされうるようにするシステムおよび方法を提供することである。
【００１１】
本発明のもう一つの目的は、デジタルビデオ送信機において使われる誤り隠蔽方針に基づいてビデオシーケンスのビデオデータパケットを分類するためのシステムおよび方法を提供することである。
【００１２】
また、もとのデータパケットと隠蔽されたデータパケットとの間の平均平方誤差に基づいてビデオデータパケットの優先度を決定するためのシステムおよび方法を提供することも本発明の目的である。
【００１３】
本発明のいま一つの目的は、失われたビデオデータパケットについての優先度の決定を、そのビデオデータパケットが失われたときに生じるゆがみに基づいて決定するためのシステムおよび方法を提供することである。
【００１４】
客観的基準に基づいて決定されたビデオシーケンスのビデオデータパケットの優先度分類の修正を、当該ビデオシーケンスのシーケンス依存特徴および／または誤り隠蔽アルゴリズムを使うことによって行うシステムおよび方法を提供することも本発明の目的である。
【００１５】
上に述べたことは、以下の本発明の詳細な記述を当業者がよりよく理解できるよう、本発明の特徴および技術的効果をいくぶん大まかに概観したものである。本発明のさらなる特徴および効果は以下に記載され、本発明の請求の主題をなすものである。当業者は、開示される着想および特定の実施形態が、本発明と同じ目的を実行するための他の構造を修正したり考案したりするための基礎として容易に利用しうることを理解するはずである。当業者はまた、そのような等価な構成が本発明の精神および範囲の最も広範な形から外れるものではないことを認識するはずである。
【００１６】
本発明の詳細な記述に取りかかる前に、この特許文書を通じて使われるある種の語句の定義を述べておくことが有益となりうる：「含む」および「有する」の語ならびにその派生形は限定的な意味のない包含を意味する；「または」「もしくは」の語は包含的、すなわちおよび／またはを意味する；「関連付けられた」および「関連した」という語句ならびにその派生形は、含む、…に含まれる、相互につながりがある、包含する、…に包含される、…に（または…と）つながりがある、…に（または…と）結合している、…と連絡がある、…と協働する、インターリーブする、…に隣接する、…に直近である、…に（または…と）結びつけられている、もつ、…の性質をもつなどを意味することがある；「コントローラ」「プロセッサ」または「装置」の語は少なくとも一つの動作を制御するいかなるデバイス、システムまたはその一部分を意味することもあり、そのようなデバイスはハードウェア、ファームウェアもしくはソフトウェアまたはその少なくとも二つの何らかの組み合わせにおいて実装されうる。何らかの特定のコントローラに関連した機能はローカルであれリモートであれ、集中化されていてもよいし、分散されていてもよいことを注意しておくべきである。具体的には、コントローラは、一つまたは複数のアプリケーションプログラムおよび／またはオペレーティングシステムプログラムを実行する一つまたは複数のデータプロセッサならびに関連した入出力デバイスおよびメモリを有しうる。ある種の語句についての定義はこの特許文書の随所で与えられており、通常の当業者はそのような定義が、そのように定義された語句のその後の使用のみならず定義に先立つ使用例においても、ほとんどとは言わないまでも多くの例においてあてはまることを理解することであろう。
【００１７】
本発明およびその利点のより完全な理解のため、ここで付属の図面と併せて以下の記述が参照される。なお、同様の数字は同様の対象を示す。
【発明を実施するための最良の形態】
【００１８】
以下で議論する図１から図７およびこの特許文書において本発明の原理を記述するのに使われるさまざまな実施形態は、解説のためだけであって、いかなる形であれ本発明の範囲を限定するものと解釈してはならない。本発明は、いかなるデジタルビデオ信号送信機においても使用されうる。
【００１９】
図１は、本発明のある有利な実施形態に基づく、ストリーミングビデオ送信機１１０からデータネットワーク１２０を通ってストリーミングビデオ受信機１３０に至るストリーミングビデオのエンド‐エンド伝送を示すブロック図である。用途に依存して、ストリーミングビデオ送信機１１０は、データネットワークサーバー、テレビ局、ケーブルネットワーク、デスクトップパソコン（PC）などを含む多様なビデオフレームソースのうちのいかなるものでもありうる。
【００２０】
ストリーミングビデオ送信機１１０は、ビデオフレームソース１１２、ビデオエンコーダ１１４およびエンコーダバッファ１１６を有している。ビデオフレームソース１１２は、テレビアンテナおよび受信機ユニット、ビデオデッキ、ビデオカメラ、「生の」ビデオクリップを保存できるディスク記憶デバイスなどを含む、非圧縮ビデオフレームシーケンスを生成できるいかなるデバイスであってもよい。前記非圧縮ビデオフレームは、所与の映像レート（すなわち「ストリーミングレート」）でビデオエンコーダ１１４にはいり、MPEG-4エンコーダのような任意の既知の圧縮アルゴリズムまたは装置に従って圧縮される。ビデオエンコーダ１１４は次いでその圧縮されたビデオフレームをエンコーダバッファ１１６に伝送する。データネットワーク１２０を通じての送信の準備としてバッファリングするためである。データネットワーク１２０はいかなる好適なIPネットワークであってもよく、インターネットのような公開データネットワークおよび企業の所有する構内ネットワーク（LAN:  local  area  network）または広域ネットワーク（WAN:  wide  area  network）のような私的データネットワークの両方の諸部分を含んでいてもよい。
【００２１】
ストリーミングビデオ受信機１３０はデコーダバッファ１３２、ビデオデコーダ１３４およびビデオディスプレイ１３６を有する。デコーダバッファ１３２はデータネットワーク１２０から圧縮されたストリーミングビデオフレームを受信して保存する。デコーダバッファ１３２は次いでその圧縮されたビデオフレームを必要に応じてビデオデコーダ１３４に伝送する。ビデオデコーダ１３４はそのビデオフレームを、（理想的には）当該ビデオフレームがビデオエンコーダ１１４によって圧縮されたのと同じレートで復元する。ビデオデコーダ１３４は、その復元されたフレームを、ビデオディスプレイ１３６の画面上での再生のためにビデオディスプレイ１３６に送る。
【００２２】
図２は、本発明のある有利な実施形態に基づく例示的なビデオエンコーダ１１４を示すブロック図である。例示的なビデオエンコーダ１１４はソース符号化器２００およびトランスポート符号化器２４０を有している。ソース符号化器２００はビデオ分類プロセッサ２１０、波形符号化器２２０およびエントロピー符号化器２３０を有している。ビデオ信号はビデオフレームソース１１２（図１に示されている）からビデオエンコーダ１１４のソース符号化器２００に与えられる。ビデオ信号はまずビデオ分類プロセッサ２１０に入力され、ここで処理される。その処理の内容についてのちにより完全に記述する。
【００２３】
ビデオ分類プロセッサ２１０からのビデオ信号は波形符号化器２２０に送られる。波形符号化器２２０は損失のあるデバイスであり、もとのビデオを変換された変数を使い、量子化を適用して表現することによってビットレートを下げる。波形符号化器２２０による変換符号化は、離散コサイン変換（DCT:  discrete  cosine  transform）またはウェーブレット変換を使って実行しうる。波形符号化器２２０からのエンコードされたビデオ信号はエントロピー符号化器２３０に送られる。波形符号化器２２０からのエンコードされたビデオ信号はまた、ビデオ分類プロセッサ２１０にも送り返され、該ビデオ分類プロセッサ２１０にエンコードされたビデオ信号のコピーを与える。
【００２４】
エントロピー符号化器２３０は無損失デバイスであり、波形符号化器２２０からの出力シンボルを、符号化すべきシンボルの統計分布に従って二進符号語にマッピングする。エントロピー符号化法の例としては、ハフマン符号化、算術符号化およびDCTおよび動き補償予測を使うハイブリッド符号化法がある。エントロピー符号化器２３０からのエンコードされたビデオ信号はトランスポート符号化器２４０に送られる。
【００２５】
トランスポート符号化器２４０は、チャネル符号化、パケット化および／または変調ならびに特定のトランスポート層プロトコルを使ったトランスポートレベルの制御を実行するデバイスの群を表している。トランスポート符号化器２４０はソース符号化器２００からのビットストリームを伝送に好適なデータ単位に変換する。トランスポート符号化器２４０はまたビデオ分類プロセッサ２１０から制御信号を受信する。これはトランスポート符号化器２４０に、当該ビデオデータパケットについてのスケジューリングおよび優先度付けの情報に関する命令を与えるものである。トランスポート符号化器２４０から出力されたビデオ信号はエンコーダバッファ１１６に送られ、最終的にはデータネットワーク１２０を通じてビデオ受信機１３０に送信される。
【００２６】
図２におけるビデオ分類プロセッサ２１０は波形符号化器２２０の直前に位置している。これがソース符号化器２００内でのビデオ分類プロセッサ２１０の一つの可能な位置の例にすぎないことは理解されるものである。本発明の代替的な実施形態では、ビデオ分類プロセッサ２１０は波形符号化器２２０の内部に位置してそれと一体化した部分とされることもできる。ビデオ分類プロセッサ２１０は図２では説明を明確にするために別個の実体として示されている。
【００２７】
図３は、本発明のある有利な実施形態に基づく、例示的なビデオエンコーダ１１４内の例示的なビデオ分類プロセッサ２１０を示すブロック図である。
【００２８】
ビデオ分類プロセッサ２１０はビデオ信号を受け取って該ビデオ信号をそのビデオ信号特徴に依存して、および使用されている誤り隠蔽方針に依存して分類する。
【００２９】
ビデオ分類プロセッサ２１０はビデオデータパケットをメモリユニット３１０に保存する。メモリユニット３１０はランダムアクセスメモリ（RAM）を有しうる。メモリユニット３１０はフラッシュメモリのような不揮発性ランダムアクセスメモリ（RAM）を有しうる。メモリユニット３１０は、ハードディスクドライブ（図示せず）のような大容量記憶装置を有しうる。メモリユニット３１０は、読み出し／書き込みDVDまたは書き換え可能CD-ROMを読める外付けの周辺ドライブまたはリムーバブルディスクドライブ（内蔵か外付けかを問わず）を有していてもよい。図３に示したように、この型のリムーバブルディスクドライブは書き換え可能CD-ROMディスク３２０を受け入れて読むことができる。
【００３０】
ビデオ分類プロセッサ２１０はビデオデータパケットをコントローラ３３０に与える。コントローラ３３０はビデオ分類プロセッサ２１０からの制御信号を受け取り、ビデオ分類プロセッサ２１０に制御信号を送ることができる。コントローラ３３０はメモリユニット３１０を通してもビデオ分類プロセッサ２１０に結合されている。のちにより完全に記述するように、コントローラ３３０はビデオ分類プロセッサ２１０から受け取ったビデオシーケンスの特徴を解析することができる。
【００３１】
図３に示されているように、コントローラ３３０はビデオシーケンス解析ソフトウェア３４０を有している。ビデオシーケンス解析ソフトウェア３４０は本発明の原理に従ってビデオシーケンスを解析するプロセスを実行することのできるコンピュータソフトウェアを有している。特に、ビデオシーケンス解析ソフトウェア３４０は以下のモジュールを有する：（１）客観的基準に基づいて優先度分類を決定するためのモジュール３５０、（２）ビデオシーケンスのシーケンス依存特徴を決定するためのモジュール３６０、（３）ビデオデータパケット分類モジュール３７０、（４）隠蔽アルゴリズムの判別のためのモジュール３８０、（５）失われたビデオデータパケットについての平均平方誤差（MSE）の決定のためのモジュール３９０である。
【００３２】
コントローラ３３０およびビデオシーケンス解析ソフトウェア３４０は併せて本発明のシステムおよび方法を実行できるビデオシーケンス解析コントローラを構成している。ビデオ分類プロセッサ２１０はコントローラ３３０およびビデオシーケンス解析ソフトウェア３４０のビデオシーケンス解析コントローラを有している。やはり図３に示されるように、ビデオ分類プロセッサ２１０は波形符号化器（waveform  coder）２２０（WC２２０）からの入力、波形符号化器２２０（WC２２０）への出力およびトランスポート符号化器（transport  coder）２４０（TC２４０）への出力をもつ。
【００３３】
ビデオ分類プロセッサ２１０はビデオシーケンス内のビデオデータパケットを、当該ビデオシーケンスの特性および損失への感受性に基づいて分類する。本発明の分類システムに基づき、さまざまなサブクラスのビデオデータパケットは異なる仕方で保護され、スケジューリングされることができる。たとえば、IPBフレームの非スケーラブルな符号化シーケンスが示す動きの量が限られている場合には、客観的に決定された優先度は、さまざまなBフレームおよびPフレームにより低い優先度を割り当てることによって、異なるサブ優先度によるさらなる分類ができる。
【００３４】
データパーティションのある符号化シーケンスの示すテクスチャーが低周波である場合には、異なる客観的に決定された優先度は、さまざまなパーティションにより低い優先度を割り当てることによって、異なるサブ優先度によるさらなる分類ができる。
【００３５】
ビデオ分類プロセッサ２１０はまた、ビデオシーケンス中のビデオデータパケットの分類を、使われている誤り隠蔽方針に基づいても行う。誤り隠蔽方針が既知であれば、その誤り隠蔽方針をさまざまなビデオデータパケットの優先度を決定するために使うことができる。たとえば、前記優先度は、もとのビデオデータパケットと隠蔽されたビデオデータパケットとの間の結果として得られる平均平方誤差（MSE:  mean  square  error）に基づいたものであってよい。
【００３６】
図４は、本発明のある有利な実施形態の第一の方法のステップを示すフローチャートである。諸ステップはまとめて参照符号４００で参照される。
【００３７】
ビデオ分類プロセッサ２１０はビデオシーケンスを受け取る（ステップ４１０）。次いでビデオ分類プロセッサ２１０はビデオシーケンスを解析する（ステップ４２０）。コントローラ３３０はビデオデータを受け取って客観的基準に基づいて該ビデオデータについてのさまざまな優先度クラスを決定する（ステップ４３０）。コントローラ３３０は次いでビデオデータパケットを客観的基準優先度に従って分類する（ステップ４４０）。
【００３８】
コントローラ３３０はまた、当該ビデオシーケンスのシーケンス依存特徴をも決定する（ステップ４５０）。コントローラ３３０は次いで、当該ビデオシーケンスのシーケンス依存特徴を使ってビデオデータパケットをさまざまなサブ優先度に分類する（ステップ４６０）。ビデオ分類プロセッサ２１０は次いでその優先度分類およびサブ優先度分類をトランスポート符号化器２４０に出力しうる。当該ビデオデータパケットの送信をスケジューリングするためである。
【００３９】
図５は、本発明のある有利な実施形態の第二の方法のステップを示すフローチャートである。諸ステップはまとめて参照符号５００で参照される。
【００４０】
ビデオ分類プロセッサ２１０はビデオシーケンスを受け取る（ステップ５１０）。次いでビデオ分類プロセッサ２１０は前記ビデオシーケンスを解析する（ステップ５２０）。コントローラ３３０はビデオデータを受け取って客観的基準に基づいて該ビデオデータについてのさまざまな優先度クラスを決定する（ステップ５３０）。コントローラ３３０は次いでビデオデータパケットを客観的基準優先度に従って分類する（ステップ５４０）。
【００４１】
コントローラ３３０はまた、ある特定の誤り隠蔽アルゴリズムが使用されているときに、失われたパケットについての平均平方誤差（MSE）を決定する（ステップ５５０）。コントローラ３３０は次いで、前記失われたデータパケットについてのMSE情報を使って、および前記誤り隠蔽アルゴリズムの特徴を使って、ビデオデータパケットをさまざまなサブ優先度に分類する（ステップ５６０）。ビデオ分類プロセッサ２１０は次いでその優先度分類およびサブ優先度分類をトランスポート符号化器２４０に出力しうる。当該ビデオデータパケットの送信をスケジューリングするためである。
【００４２】
失われたビデオデータパケットについてのビデオデータパケット優先度は、該ビデオデータパケットが失われたときに生じるゆがみに基づいて選ばれる。生じるゆがみはビデオビットレート、遅延、損失レート、客観的基準に基づく優先度、誤り隠蔽方針および視覚的拮抗マスキング（conflict  masking）の関数でありうる。
【００４３】
本発明のある代替的な有利な実施形態では、ビデオ分類プロセッサ２１０は客観的基準に基づく優先度分類を修正（すなわち強制変更）することができる。たとえば、あるフレームについての高機能層が他のフレームの基本層よりも重要だといったことがありうる（たとえば、誤り隠蔽機構が非常によく機能する場合には常に、あるいはコンテンツが変化しない場合、高機能層情報は全体的な画質により寄与できる）。高機能層データは、基本層の上の空間時間的SNR改善を含むことができる。
【００４４】
図６は、本発明のある有利な実施形態の第三の方法のステップを示すフローチャートである。諸ステップはまとめて参照符号６００で参照される。
【００４５】
ビデオ分類プロセッサ２１０はビデオシーケンスを受け取る（ステップ６１０）。次いでビデオ分類プロセッサ２１０は前記ビデオシーケンスを解析する（ステップ６２０）。コントローラ３３０はビデオデータを受け取って客観的基準に基づいて該ビデオデータについてのさまざまな優先度クラスを決定する（ステップ６３０）。コントローラ３３０は次いでビデオデータパケットを客観的基準優先度に従って分類する（ステップ６４０）。
【００４６】
コントローラ３３０はまた、当該ビデオシーケンスのシーケンス依存特徴および誤り隠蔽アルゴリズムをも決定する（ステップ６５０）。コントローラ３３０は次いで、当該ビデオシーケンスのシーケンス依存特徴に基づいて、および／または、使われている誤り隠蔽アルゴリズムに基づいて、ビデオデータパケットの優先度を再分類（すなわち修正）する（ステップ６６０）。ビデオ分類プロセッサ２１０は次いでその再分類された優先度分類をトランスポート符号化器２４０に出力しうる。当該ビデオデータパケットの送信をスケジューリングするためである。
【００４７】
図７は、本発明の原理を実装するために使用されうるシステム７００の例示的な実施形態を示している。システム７００が表しているのは、テレビ、セットトップボックス、デスクトップ・ラップトップもしくはパームトップコンピュータ、携帯情報端末（PDA:  personal  digital  assistant）、ビデオデッキ（VCR:  video  cassette  recorder）・デジタルビデオレコーダー（DVR:  digital  video  recorder）・TiVOデバイスなどのようなビデオ／画像記憶デバイス、ならびにこれらおよびその他のデバイスの諸部分または組み合わせでありうる。システム７００は一つまたは複数のビデオ／画像ソース７１０、一つまたは複数の入出力デバイス７６０、プロセッサ７２０およびメモリ７３０を含む。ビデオ／画像ソース７１０が表しているのは、たとえばテレビ受信機、ビデオデッキまたはその他のビデオ／画像記憶デバイスでありうる。ビデオ／画像ソース７１０が表しているのは、代替的に、単数または複数のサーバーからたとえばインターネットのような世界規模のコンピュータ通信ネットワーク、広域ネットワーク、地上波放送システム、ケーブルネットワーク、衛星ネットワーク、無線ネットワークまたは電話網ならびにこれらおよびその他の種類のネットワークの諸部分または組み合わせを通じてビデオを受信するための、一つまたは複数のネットワーク接続でありうる。
【００４８】
入出力デバイス７６０、プロセッサ７２０およびメモリ７３０は通信媒体７５０を通じて通信しうる。通信媒体７５０はたとえばバス、通信ネットワーク、回路・回路カードまたはその他のデバイスの一つまたは複数の内部接続ならびにこれらおよびその他の通信媒体の諸部分および組み合わせでありうる。ソース７１０からの入力ビデオデータは、メモリ７３０に保存されている一つまたは複数のソフトウェアプログラムに従って処理される。該ソフトウェアプログラムは、ディスプレイデバイス７４０に供給される出力ビデオ／画像を生成するためにプロセッサ７２０によって実行される。
【００４９】
ある好ましい実施形態では、本発明の原理を用いた符号化および復号はシステムによって実行されるコンピュータ可読コードによって実装されうる。コードはメモリ７３０内に保存されていてもよいし、あるいはCD-ROMまたはフロッピー（登録商標）ディスクのようなメモリ媒体から読み込まれたりダウンロードされたりしてもよい。他の実施形態では、本発明を実施するために、ソフトウェア命令の代わりに、あるいはそれと組み合わせて、ハードウェア回路を使用してもよい。たとえば、ここに示された諸要素は別個のハードウェア要素として実装されてもよい。
【００５０】
本発明はそのある種の実施形態に関連して詳細に記載されてきた。当業者は、本発明の概念および範囲の最も広範な形から外れることなく、本発明にさまざまな変更、代替、修正、改変および適応を施すことができることを理解するはずである。
【図面の簡単な説明】
【００５１】
【図１】本発明のある有利な実施形態に基づく、ストリーミングビデオ送信機からデータネットワークを通ってストリーミングビデオ受信機に至るストリーミングビデオのエンド‐エンド伝送を示すブロック図である。
【図２】本発明のある有利な実施形態に基づく、例示的なビデオエンコーダを示すブロック図である。
【図３】本発明のある有利な実施形態に基づく、例示的なビデオ分類プロセッサを示すブロック図である。
【図４】本発明のある有利な実施形態の第一の方法のステップを示すフローチャートである。
【図５】本発明のある有利な実施形態の第二の方法のステップを示すフローチャートである。
【図６】本発明のある有利な実施形態の第三の方法のステップを示すフローチャートである。
【図７】本発明の原理を実装するために使用されうるデジタル伝送システムの例示的な実施形態を示す図である。
【図１】
2007506385.tif 000003
【図２】
2007506385.tif 000004
【図３】
2007506385.tif 000005
【図４】
2007506385.tif 000006
【図５】
2007506385.tif 000007
【図６】
2007506385.tif 000008
【図７】
2007506385.tif 000009
【国際調査報告】
2007506385.tif 000010
2007506385.tif 000011
2007506385.tif 000012