(57)【要約】ビデオトランスコーダ５００は、前に符号化されたデジタルビデオデータストリームを、オリジナルのソースストリームよりも低いデータレートを有するベースレイヤと、ファイングラニュラースケーラビリティ（ＦＧＳ）階技術を使用して符号化されるエンハンスメントレイヤからなる階層化されたストリームにトランスコードするために提供される。ビデオトランスコーダは、既存のデジタルビデオをＦＧＳマルチレイヤビデオに再符号化し、無線及び／又は有線ネットワークにおける変化する帯域幅の低下の状況下で表示されるピクチャの品質の可変のレベルを提供する有効な手段を有する。
2008523687.tif 000002
【特許請求の範囲】
【請求項１】
第一のデータレートを有する入力デジタルビデオストリームを受け、前記入力デジタルビデオストリームをデコードして第一のデコードされたビデオストリームを生成する第一のデコーダと、
前記第一のデータレートを有する前記入力デジタルビデオストリームを受け、前記入力デジタルビデオストリームを再びエンコードして、前記入力デジタルビデオストリームよりも低いデータレートを有するベースレイヤビデオストリームを生成するトランスレータと、
前記第二のデータレートを有する前記ベースレイヤビデオストリームを受け、前記ベースレイヤビデオストリームをデコードして、第二のデコードされたビデオストリームを生成する第二のデコーダと、
前記第一のデコードされたビデオストリーム及び前記第二のデコードされたビデオストリームを受け、それらからエンハンスメントレイヤのビデオストリームを生成可能なエンハンスメントレイヤエンコーダと、
を有するデジタルビデオトランスコーダ。
【請求項２】
前記第一及び第二のデコーダはＭＰＥＧビデオデコーダを有し、前記トランスレータはＭＰＥＧビデオトランスレータを有する、
請求項１記載のデジタルビデオトランスコーダ。
【請求項３】
前記エンハンスメントレイヤのビデオストリームは、前記第一のデコードされたビデオストリームと前記第二のデコードされたビデオストリームとの間の差に対応する、
請求項１記載のデジタルビデオトランスコーダ。
【請求項４】
前記エンハンスメントレイヤエンコーダは、前記第一及び第二のデコーダからの残余信号をエンコードする、
請求項３記載のデジタルビデオトランスコーダ。
【請求項５】
前記エンハンスメントレイヤのエンコーダは、ファイングラニュラースケーラビリティ（ＦＧＳ）エンコーダを有する、
請求項４記載のデジタルビデオトランスコーダ。
【請求項６】
前記エンハンスメントレイヤエンコーダは、前記第一のデコードされたビデオストリームと前記第二のデコードされたビデオストリームとの間の差を検出可能な検出回路と、前記差をエンコードする可変長コーダを有する、
請求項５記載のデジタルビデオトランスコーダ。
【請求項７】
デジタルビデオをトランスコードする方法であって、
第一のデータレートを有する入力デジタルビデオストリームを受信するステップと、
前記入力デジタルビデオストリームをデコードして、第一のデコードされたビデオストリームを生成するステップと、
前記入力デジタルビデオストリームを再びエンコードして、前記入力デジタルビデオストリームよりも低いデータレートを有するベースレイヤビデオストリームを生成するステップと、
前記ベースレイヤビデオストリームをデコードして、第二のデコードされたビデオストリームを生成するステップと、
前記第一のデコードされたビデオストリーム及び前記第二のデコードされたビデオストリームから、エンハンスメントレイヤのビデオストリームを生成するステップと、
を含む方法。
【請求項８】
前記入力デジタルビデオストリームは、ＭＰＥＧビデオストリームを有する、
請求項７記載の方法。
【請求項９】
前記エンハンスメントレイヤビデオストリームは、前記第一のデコードされたビデオストリームと前記第二のデコードされたビデオストリームとの間の差に対応する、
請求項７記載の方法。
【請求項１０】
前記生成するステップは、前記第一のデコードされたビデオストリームと前記第二のデコードされたビデオストリームに関連する残余信号をエンコードするステップを含む、
請求項９記載の方法。
【請求項１１】
前記エンハンスメントレイヤビデオストリームは、ファイングラニュラースケーラビリティ（ＦＧＳ）レイヤのビデオストリームを含む、
請求項１０記載の方法。
【請求項１２】
前記生成するステップは、前記第一のデコードされたビデオストリームと前記第二のデコードされたビデオストリームとの間の差を検出するサブステップを含む、
請求項１１記載の方法。
【請求項１３】
コンピュータ読み取り可能な媒体で実現され、プロセッサにより実行されるように作用するコンピュータプログラムであって、
第一のデータレートを有する入力デジタルビデオストリームを受け、
前記入力デジタルビデオストリームをデコードして、第一のデコードされたビデオストリームを生成し、
前記入力デジタルビデオストリームを再びエンコードして、前記入力デジタルビデオストリームよりも低いデータレートを有するベースレイヤビデオストリームを生成し、
前記ベースレイヤビデオストリームをデコードして、第二のデコードされたビデオストリームを生成し、
前記第一のデコードされたビデオストリーム及び前記第二のデコードされたビデオストリームから、エンハンスメントレイヤのビデオストリームを生成する、
ためのコンピュータ読み取り可能なプログラムコードを含むコンピュータプログラム。
【請求項１４】
前記入力デジタルビデオストリームはＭＰＥＧビデオストリームを有する、
請求項１３記載のコンピュータ読み取り可能な媒体で実現されるコンピュータプログラム。
【請求項１５】
前記エンハンスメントレイヤのビデオストリームは、前記第一のデコードされたビデオストリームと前記第二のデコードされたビデオストリームとの間に差に対応する、
請求項１３記載のコンピュータ読み取り可能な媒体で実現されるコンピュータプログラム。
【請求項１６】
前記生成するステップは、前記第一のデコードされたビデオストリーム及び前記第二のデコードされたビデオストリームに関連される残余信号をエンコードするステップを含む、
請求項１５記載のコンピュータ読み取り可能な媒体で実現されるコンピュータプログラム。
【請求項１７】
前記エンハンスメントレイヤのビデオストリームは、ファイングラニュラースケーラビリティ（ＦＧＳ）レイヤのビデオストリームを含む、
請求項１６記載のコンピュータ読み取り可能な媒体で実現されるコンピュータプログラム。
【請求項１８】
前記生成するステップは、前記第一のデコードされたビデオストリームと前記第二のデコードされたビデオストリームの間の差を検出し、前記差をエンコードするサブステップを含む、
請求項１７記載のコンピュータ読み取り可能な媒体で実現されるコンピュータプログラム。
【請求項１９】
ｉ）記憶装置及びｉｉ）ビデオフレームソースのうちの１つからビデオフレームのストリームを受信可能なビデオエンコーダであって、前記ビデオフレームをエンコードして、入力デジタルビデオストリームを生成するビデオエンコーダと、前記ビデオエンコーダは、第一のデータレートを有する前記入力デジタルビデオストリームを受け、前記入力デジタルビデオストリームをデコードして第一のデコードされたビデオストリームを生成する第一のデコーダ、前記第一のデータレートを有する前記入力デジタルビデオストリームを受け、前記入力デジタルビデオストリームを再びエンコードして、前記入力デジタルビデオストリームよりも低いデータレートを有するベースレイヤビデオストリームを生成するトランスレータ、前記第二のデータレートを有する前記ベースレイヤビデオストリームを受け、前記ベースレイヤビデオストリームをデコードして、第二のデコードされたビデオストリームを生成する第二のデコーダ、及び前記第一のデコードされたビデオストリーム及び前記第二のデコードされたビデオストリームを受け、それらからエンハンスメントレイヤのビデオストリームを生成するエンハンスメントレイヤエンコーダを有するデジタルビデオトランスコーダを有し、
１）無線ネットワーク及び２）有線ネットワークのうちの１つにわたる送信の前に、前記ベースレイヤのビデオストリームと前記エンハンスメントレイヤのビデオストリームを記憶するバッファと、
を有するビデオ送信システム。
【請求項２０】
前記第一及び第二のデコーダはＭＰＥＧビデオデコーダを有し、前記トランスレータはＭＰＥＧビデオトランスレータを有する、
請求項１９記載のビデオ送信システム。
【請求項２１】
前記エンハンスメントレイヤのビデオストリームは、前記第一のデコードされたビデオストリームと前記第二のデコードされたビデオストリームとの間の差に対応する、
請求項１９記載のビデオ送信システム。
【請求項２２】
前記エンハンスメントレイヤエンコーダは、前記第一及び第二のデコーダからの残余信号をエンコードする、
請求項２１記載のビデオ送信システム。
【請求項２３】
前記エンハンスメントレイヤのエンコーダは、ファイングラニュラースケーラビリティ（ＦＧＳ）エンコーダを有する、
請求項２２記載のビデオ送信システム。
【請求項２４】
前記エンハンスメントレイヤエンコーダは、前記第一のデコードされたビデオストリームと前記第二のデコードされたビデオストリームとの間の差を検出可能な検出回路と、前記差をエンコードする可変長コーダを有する、
請求項２３記載のビデオ送信システム。
【請求項２５】
第一のデータレートを有する入力デジタルビデオストリームを受けるステップと、
前記入力デジタルビデオストリームをデコードして第一のデコードされたビデオストリームを生成するステップと、
前記入力デジタルビデオストリームを再びエンコードして、前記入力デジタルビデオストリームよりも低いデータレートを有するベースレイヤビデオストリームを生成するステップと、
前記ベースレイヤビデオストリームをデコードして、第二のデコードされたビデオストリームを生成するステップと、
前記第一のデコードされたビデオストリーム及び前記第二のデコードされたビデオストリームからエンハンスメントレイヤのビデオストリームを生成するステップと、
により生成可能な送信可能なビデオ信号であって、
ベースレイヤのビデオストリームとエンハンスメントレイヤビデオストリームを有する、ビデオ信号。
【請求項２６】
第一のデータレートを有する入力デジタルビデオストリームを受け、前記入力デジタルビデオストリームをデコードして第一の量子化された離散コサイン変換（ＤＣＴ）係数を生成するデコーダと、
前記第一の量子化されたＤＣＴ係数を受け、第一の逆量子化されたＤＣＴ係数を前記第一のデータレートで生成する第一の逆量子化器と、
第二のデータレートと関連付けされる量子化係数を決定する再量子化器と、
前記量子化係数を使用して前記第二のデータレートで前記第一の逆量子化されたＤＣＴ係数を量子化して、第二の量子化されたＤＣＴ係数を生成する量子化器と、
前記第二の量子化されたＤＣＴ係数をエンコードして、前記第二のデータレートでベースレイヤビデオストリームを生成する第一のコーダと、
を有するデジタルビデオトランスコーダ。
【請求項２７】
前記第二の量子化されたＤＣＴ係数を受け、第二の逆量子化されたＤＣＴ係数を前記第二のデータレートで生成する第二の逆量子化器と、
前記第二の逆量子化されたＤＣＴ係数を前記第一の逆量子化されたＤＣＴ係数から減算して、残余信号を生成する結合器と、
前記残余信号をビットプレーンでシフトするシフタと、
前記シフトされた残余信号を受け、そこからエンハンスメントレイヤのビデオストリームを生成する第二のコーダと、
を更に含む請求項２６記載のデジタルビデオトランスコーダ。
【請求項２８】
前記デコーダは可変長デコーダを有し、
前記第一及び第二のコーダは可変長コーダを有する、
請求項２７記載のデジタルビデオトランスコーダ。
【請求項２９】
第一のデータレートを有する入力デジタルビデオストリームを受けるステップと、
前記入力デジタルビデオストリームをデコードして第一の量子化された離散コサイン変換（ＤＣＴ）係数を生成するステップと、
前記第一の量子化されたＤＣＴ係数を使用して、前記第一のデータレートで第一の逆量子化されたＤＣＴ係数を生成するステップと、
第二のデータレートに関連される量子化係数を決定するステップと、
前記量子化係数を使用して前記第二のデータレートで前記第一の逆量子化されたＤＣＴ係数を量子化して、第二の量子化されたＤＣＴ係数を生成するステップと、
前記第二の量子化されたＤＣＴ係数をエンコードして、前記第二のデータレートでベースレイヤビデオストリームを生成するステップと、
を含むデジタルビデオをトランスコードする方法。
【請求項３０】
前記第二の量子化されたＤＣＴ係数を使用して、前記第二のデータレートで第二の逆量子化されたＤＣＴ係数を生成するステップと、
前記第二の逆量子化されたＤＣＴ係数を前記第一の逆量子化されたＤＣＴ係数から減算して、残余信号を生成するステップと、
前記残余信号をビットプレーンでシフトするステップと、
前記シフトされた残余信号を使用して、エンハンスメントレイヤのビデオストリームを生成するステップと、
を更に有する請求項２９記載の方法。
【請求項３１】
前記入力デジタルビデオストリームをデコードするステップは、前記入力デジタルビデオストリームを可変長復号化するステップを含み、
前記第二の量子化されたＤＣＴ係数をエンコードするステップは、前記第二の量子化されたＤＣＴ係数を可変長符号化するステップを含み、
前記エンハンスメントレイヤビデオストリームを生成するステップは、可変長符号化を使用して、前記エンハンスメントレイヤビデオストリームを生成するステップを含む、
請求項３０記載の方法。
【請求項３２】
コンピュータ読み取り可能な媒体に実現され、プロセッサにより実行されるように作用するコンピュータプログラムであって、
第一のデータレートを有する入力デジタルビデオストリームを受け、
前記入力デジタルビデオストリームをデコードして、第一の量子化された離散コサイン変換（ＤＣＴ）係数を生成し、
前記第一の量子化されたＤＣＴ係数を使用して、前記第一のデータレートで第一の逆量子化されたＤＣＴ係数を生成し、
第二のデータレートに関連される量子化係数を決定し、
前記量子化係数を使用して前記第二のデータレートで前記第一の逆量子化されたＤＣＴ係数を量子化して、第二の量子化されたＤＣＴ係数を生成し、
前記第二の量子化されたＤＣＴ係数をエンコードして、前記第二のデータレートでベースレイヤビデオストリームを生成する、
ためのコンピュータ読み取り可能なプログラムコードを含むコンピュータプログラム。
【請求項３３】
前記第二の量子化されたＤＣＴ係数を使用して、前記第二のデータレートで第二の逆量子化されたＤＣＴ係数を生成し、
前記第二の逆量子化されたＤＣＴ係数を前記第一の逆量子化されたＤＣＴ係数から減算して、残余信号を生成し、
前記残余信号をビットプレーンでシフトし、
前記シフトされた残余信号を使用して、エンハンスメントレイヤのビデオストリームを生成する、
ためのコンピュータ読み取り可能なプログラムコードを更に含む、
請求項３２記載のコンピュータ読み取り可能な媒体で実現されるコンピュータプログラム。
【請求項３４】
前記入力デジタルビデオストリームはＭＰＥＧビデオストリームを有する、
請求項３３記載のコンピュータ読み取り可能な媒体で実現されるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、前に符号化されたデジタルビデオデータストリームを、オリジナルのソースストリームよりも低いデータレートを有するベースレイヤとファイングラニュラースケーラビリティ（ＦＧＳ:  Fine  Granular  Scalability）技術を使用してエンコードされたエンハンスメントレイヤから構成される階層化されたストリームにトランスコードする装置及び関連される方法に関する。
【０００２】
本発明は、無線及び／有線ネットワークにおいて変化する帯域幅の品質低下の状況下で可変レベルの表示された画質を提供するため、既存のデジタルビデオをＦＧＳマルチレイヤビデオにリエンコードする効果的な手段を有する。
【背景技術】
【０００３】
デジタルストリーミングビデオは、利用可能な帯域幅が時間的に変動し、位置に依存するチャネルを通して、ＭＰＥＧのようなビデオ符号化規格を使用して送信される。これは、無線ネットワークにおいて頻繁に生じるが、帯域幅が制限される有線ネットワークも生じる場合がある。利用可能な帯域幅がネットワークを通して送出されているビデオストリームのデータレートについて必要とされる最小レベルよりも低いとき、表示されたビデオの品質の低下となる。
【０００４】
この問題は、チャネル状態に従って前に符号化されたビデオコンテンツのデータレートを変えることで解決される場合がある。この技術は、トランス−レーティングとして知られる。しかし、トランス−レーティングは、取得することが困難であるチャネルキャパシティの高速かつ正確な予測を必要とする。結果的に、チャネルキャパシティとビデオソースのデータレートとの間のミスマッチが生じるときがあり、ビデオパケットの損失となる。
【０００５】
優先付けされるストリーミング技術は、変動するチャネルキャパシティに良好に適合する。優先付けされたストリーミングでは、本質的（又はベースレイヤ）な情報は、高い優先度で送信され、重要性の低い（又はエンハンスメントレイヤ）情報は、「ベストエフォート“best  effort”」を使用して送信される。ネットワークの帯域幅が不十分であるとき、エンハンスメントレイヤの情報は、ベースレイヤ情報のデリバリを補償するためにドロップされる。これにより、チャネル品質の程度について最も高い可能な品質でスムースなビデオプレイバックが保証される。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、この機能は、スケーラブルビデオ符号化技術を使用して、ビデオコンテンツが圧縮されるか、個別のストリームにエンコードされることを必要とする。これを達成するための１つの公知のスケーラブルビデオ符号化方法は、ファイングラニュラリティスケーラビリティ又はＦＧＳである。スケーラブルビデオ符号化技術の他の例は、ＭＰＥＧ−２／４の時間スケーラビリティ及びデータパーティショニング（ＤＰ）である。大部分の流通されるビデオコンテンツは、ＭＰＥＧ又はＨ２６４技術を使用してシングレイヤのストリームに優先付けなしにエンコード又は圧縮される。結果的に、優先付けされたストリーミング技術を利用するため、シングルレイヤ圧縮ストリームを多数の優先付けされたストリームに変換するため、トランスコーディングが必要とされる。時間的なスケーラビリティは、過去に提案されており、ビデオコーディングのＭＰＥＧ−４規格の現在一部である。
【発明を実施するための最良の形態】
【０００７】
この開示の更に完全な理解のため、添付図面と共に以下の説明が参照される。  
以下に説明される図１〜図６、及びこの明細書に記載される様々な実施の形態は、例示するのみであり、本発明の範囲を制限するように解釈されるべきではない。当業者であれば、本発明の原理が任意の適切に配置される装置、デバイス又は構造で実現されることを理解されるであろう。
【０００８】
図１は、本発明の１実施の形態に係る、ストリーミングビデオ送信機１１０からデータネットワーク１２０を通して、例示的なストリーミングビデオ受信機１３０のような１以上のストリーミングビデオ受信機への、ストリーミングビデオのエンドツーエンド送信のためのビデオ送信システムを示す。用途に依存して、ストリーミングビデオ送信機１１０は、データネットワークサーバ、テレビジョンステーション送信機、ケーブルネットワーク、デスクトップパーソナルコンピュータ（ＰＣ）等を含む、多様なビデオフレームのソースのうちの１つである。
【０００９】
ストリーミングビデオ送信機１１０は、ビデオフレームソース１１２、ビデオエンコーダ１１４、ストレージ１１５及びエンコーダバッファ１１６を有する。ビデオフレームソース１１２は、テレビジョンアンテナ及び受信機ユニット、ビデオカセットプレーヤ、ビデオカメラ、ビデオクリップを記憶可能なディスクストレージ装置等のような、圧縮されていないビデオフレームの系列を発生可能な任意の装置である。圧縮されていないビデオフレームは、所与のピクチャレート（又はストリーミングレート）でビデオエンコーダ１１４に入力し、ＭＰＥＧ−４エンコーダのような公知の圧縮アルゴリズム又はデバイスに従って圧縮される。ビデオエンコーダ１１４は、次いで、データネットワーク１２０にわたる送信の準備におけるバッファリングのため、圧縮されたビデオフレームをエンコーダバッファ１１６に送出する。
【００１０】
データネットワーク１２０は、任意の適切なネットワークであり、インターネットのようなパブリックデータネットワーク、及び企業所有のローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）のようなプライベートデータネットワークの両者の一部を含む場合がある。本発明の有利な実施の形態では、データネットワーク１２０は、無線ネットワークを含む。特に、データネットワーク１２０は、無線ホームネットワークである場合がある。
【００１１】
ストリーミングビデオ受信機１３０は、デコーダバッファ１３２、ビデオデコーダ１３４、ストレージ１３５、及びビデオディスプレイ１３６を含む。用途に依存して、ストリーミングビデオ受信機は、テレビジョン受信機、デスクトップパーソナルコンピュータ（ＰＣ）、ビデオカセットレコーダ（ＶＣＲ）等を含む、多様なビデオフレームのレシーバのうちの１つである場合がある。デコーダバッファ１３２は、ストリーミング圧縮されたビデオフレームをネットワーク１２０から受信して記憶する。次いで、デコーダバッファ１３２は、必要に応じて、圧縮されたビデオフレームをビデオデコーダ１３４に送出する。ビデオデコーダ１３４は、ビデオフレームがビデオエンコーダ１１４により圧縮されたレートと（理想的に）同じレートでビデオフレームを伸張する。ビデオデコーダ１３４は、ビデオディスプレイ１３４のスクリーンでのプレイバックのため、ビデオディスプレイ１３６に伸張されたフレームを送出する。
【００１２】
本発明の有利な実施の形態では、ビデオエンコーダ１１４は、従来のデータプロセッサにより実行されるソフトウェアプログラムのような、ハードウェア、ソフトウェア、ファームウェア、又はその組み合わせを使用して実現される標準的なＭＰＥＧエンコーダを表す場合がある。かかる実現では、ビデオエンコーダ１１４は、ストレージ１１５に記憶される複数のコンピュータ実行可能な命令を含む。ストレージ１１５は、固定された磁気ディスク、取り外し可能な磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、ビデオディスク等を含む、任意のタイプのコンピュータ記憶媒体を含む場合がある。さらに、本発明の有利な実施の形態では、ビデオデコーダ１３４は、従来のデータプロセッサにより実行されるソフトウェアプログラムのような、ハードウェア、ソフトウェア、ファームウェア、その組み合わせを使用して実現される従来のＭＰＥＧデコーダを表す場合がある。かかる実現では、ビデオデコーダ１３４は、ストレージ１３５に記憶される複数のコンピュータ実行可能な命令を含む。また、ストレージ１３５は、固定された磁気ディスク、取り外し可能な磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、ビデオディスク等を含む、任意のタイプのコンピュータ記憶媒体を有する。
【００１３】
データネットワーク１２０における利用可能な帯域幅における変動のため、本発明の原理に従って、ファイングラニュラースケーラビリティ（ＦＧＳ）を使用してビデオエンコーダ１１４におけるビデオデータをトランスコードすることが必要である。トランス−レーティング及びＦＧＳは、ここで簡単に説明される。トランス−レーティング（trans-rating）とは、オリジナルよりも低いデータレートを有する新たなビデオストリームへの、既存の（オリジナルの）ビデオストリームの直接的な再符号化（re-encoding）から構成される。新たな低いレートのビデオストリームは、正しくデコードされ、オリジナルストリームのそれに関して画質においてある低減のみで表示される。これは、利用可能な送信帯域幅がオリジナルストリームのフルデータレートよりも低いとき、ビデオストリームのデータレートを低減するための広く使用されているスキームである。
【００１４】
図２は、従来技術の１実施の形態に係る、例示的なビデオデータトランスレータ（又はトランスコーダ）２００を示す。トランスレータ２００は、可変長デコーダ２０５、逆量子化回路２１０、量子化回路２１５、可変長コーダ（ＶＬＣ）２２０、量子化係数ブロック２２５及び再量子化係数ブロック２３０を含む。ＶＬＤ２０５は、高いレートのビデオストリームを受信し、このストリームをデコードして、量子化された離散コサイン変換（ＤＣＴ）係数を生成する。また、ＶＬＤ２０５は、ストリームから量子化係数を抽出し、予め定義された量子化係数を識別し、量子化係数は、量子化係数ブロック２２５に記憶される。逆量子化回路２１０は、量子化されたＤＣＴ係数を受け、量子化係数ブロック２２５からの量子化係数を使用して、逆量子化されたＤＣＴ係数を生成する。
【００１５】
再量子化係数ブロック２３０は、新たな低いデータレート（すなわちビデオデータレートコンバージョンレシオ）に適した新たな（又は再量子化）係数を決定する。量子化回路２１５は、再量子化係数を使用して、逆量子化回路２１０の出力を再量子化し、これにより、再量子化されたＤＣＴ係数のストリームを生成する。次いで、可変長コーダ（ＶＬＣ）２２０は、再量子化されたＤＣＴ係数をエンコードして、所望の低いレートのビデオストリームを生成する。
【００１６】
トランスレータ２００は、オリジナルの係数値が容易に計算されるように、関連される量子化ファクタに合わせて、量子化されたＤＣＴ係数を識別及び評価するために必要な範囲にオリジナルのビデオストリームをデコードする。オリジナルストリームのデータレート、トランス−レートされたビデオストリームの所望のレートが与えられると、再量子化係数ブロック２３０は、それぞれの係数の新たな量子化ファクタを計算する。次いで、量子化回路２１５は、このファクタにより逆量子化されたＤＣＴ係数をスケーリングする。このようにして、オリジナルストリームと同じコンテンツを有するビデオストリームは、低いデータレート及び対応する低い画質であるが、低いレートに対応するネットワーク帯域幅の条件下での送信のために生成される。しかし、トランス−レーティングアルゴリズムの複雑さのため、典型的には、特定用途向けプロセッサを使用して実現される。
【００１７】
図３は、従来技術の１実施の形態に係る、例示的なファイングラニュラースケーラビリティ（ＦＧＳ）エンコーダ３００を示す。ＦＧＳエンコーダ３００は、加算器３０５、離散コサイン変換（ＤＣＴ）回路３１０、量子化回路３１５、可変長コーダ（ＶＬＣ）３２０、動き補償ブロック３２５、及び動き予測器３３０を含む。ＦＧＳエンコーダ３００は、逆量子化（Ｑ-1）回路３３５、逆離散コサイン変換（ＩＤＣＴ）回路３４０、加算器３４５、加算器３５０、離散コサイン変換（ＤＣＴ）回路３５５、ビットプレーンシフト回路３６０、及び可変長コーダ（ＶＬＣ）３６５を更に有している。
【００１８】
動き予測回路３３０は、オリジナルのビデオ信号を受け、提供される基準フレームと画素の特性における変化により表現される現在のビデオフレームとの間の動き量を予測する。たとえば、ＭＰＥＧ規格は、動き情報がフレームの１６×１６サブブロック当たり１対４の空間動きベクトルにより表現されることを規定する。動き補償回路３２５は、動き予測回路３３０から動き予測値を受け、加算器（又は結合器）３０５によりオリジナルの入力ビデオ信号から減算された動き補償ファクタを生成する。
【００１９】
ＤＣＴ回路３１０は、加算器３０５からの結果的に得られる出力を受け、それを、離散コサイン変換（ＤＣＴ）のような公知技術を使用して空間領域から周波数領域に変換する。量子化回路３１５は、ＤＣＴ回路３１０からのオリジナルのＤＣＴ係数の出力を受け、公知の量子化技術を使用して動き補償予測情報を更に圧縮する。量子化回路３１５は、変換出力の量子化のために適用されるべき分割ファクタを決定する。
【００２０】
可変長コーダ（ＶＬＣ）３２０は、たとえばエントロピー符号化回路であり、量子化回路３１５から量子化されたＤＣＴ係数を受け、比較的短いコードによる高い発生確率をもつエリアを表し、比較的に長いコードによる低い発生確率のエリアを表すか変調符号化技術を使用して、データを更に圧縮する。ＶＬＣ３２０の出力は、ベースレイヤのビデオストリームを有する。
【００２１】
逆量子化回路３３５は、量子化回路３１５の出力を逆量子化し、量子化回路３１５への変換有力を表す信号を生成する。信号は、再構成されたベースレイヤのＤＣＴ係数を有する。知られているように、量子化回路３１５により実行される分割で失われるビットは回復されないので、逆量子化プロセスは「損失のある」プロセスである。逆離散コサイン変換（ＩＤＣＴ）回路３４０は、逆量子化回路３３５の出力をデコードし、変換及び量子化プロセスにより変更されるように、オリジナルのビデオ信号のフレーム表現を提供する信号を生成する。
【００２２】
加算器（又は結合器）３４５は、動き補償回路３２５の出力とＩＤＣＴ回路３４０の出力とを結合する。加算器３４５の出力は、動き補償回路３２５への入力のうちの１つである。動き補償回路３２５は、オリジナルの入力ビデオ信号における動き変化を決定する入力基準信号として、加算器３４５からのフレームデータを使用する。
【００２３】
加算器（又は結合器）３５０は、オリジナルのビデオ信号を受け、加算器３４５からの再構成されたベースレイヤのフレーム情報を減算する。これにより、エンハンスメントレイヤ情報を表す差分データを与える。離散コサイン変換（ＤＣＴ）回路３５５は、加算器３５０から結果的に得られた出力を受け、それを空間領域から周波数領域に変換する。ＤＣＴ出力は、ビットプレーンシフト回路３５０によりシフトされる。最終的に、ＶＬＣ３６５は、シフトされたＤＣＴ係数を受け、可変長符号化技術を使用してデータを更に圧縮する。ＶＬＣ３６５の出力は、エンハンスメントレイヤのビデオストリームを有する。
【００２４】
図４は、従来技術の１実施の形態に係る例示的なファイングラニュラースケーラビリティ（ＦＧＳ）デコーダ４００を示す。ＦＧＳデコーダ４００は、可変長デコーダ（ＶＬＤ）４０５、逆量子化回路４１０、逆離散コサイン変換器（ＩＤＣＴ）４１５、加算器（又は結合器）４２０、及び動き補償回路４２５を有する。ＦＧＳデコーダ４００は、可変長デコーダ４３０、ビットプレーンシフト回路４３５、逆離散コサイン変換器（ＩＤＣＴ）４４０、及び加算器（又は減算器）４４５を更に有する。
【００２５】
ＶＬＤ４０５は、送信されたベースレイヤのビデオストリームを受ける。ＶＬＤ４０５、逆量子化回路４１０、逆離散コサイン変換器（ＩＤＣＴ）４１５、加算器４２０、及び動き補償回路４２５は、図３における加算器３０５、ＤＣＴ３１０、量子化回路３１５、ＶＬＣ３２０及び動き補償回路３２５により実行される処理を本質的に逆にする。加算器４２０の出力は、動き補償されたベースレイヤのビデオストリームである。
【００２６】
ＶＬＤ４３０は、送信されたエンハンスメントレイヤのビデオストリームを受ける。ＶＬＤ４３０、ビットプレーンシフト回路４３５及び逆離散コサイン変換（ＩＤＣＴ）回路４４０は、図３におけるＤＣＴ回路３５５、ビットプレーンシフト回路３６０及びＶＬＣ３６５により実行される処理を本質的に逆にする。ＩＤＣＴ４４０の出力は、デコードされたエンハンスメントレイヤビデオストリームである。加算器４４５は、加算器４２０からのデコードされたベースレイヤのビデオストリームをデコードされたエンハンスメントレイヤのビデオストリームと結合し、オリジナルの入力ビデオ信号を生成する。
【００２７】
従来のＦＧＳエンコーダ３００では、デコードされたビデオの品質がオリジナルソースのそれよりも低い規定されたデータレートをベースレイヤが有するように、入力ビデオシーケンスがエンコードされる。しかし、ベースレイヤは、（ＭＰＥＧ−４のような）デジタルビデオ符号化規格に一致し、したがって独立にデコードされ、表示される。残余の情報（すなわち、オリジナルビデオとデコードされたベースレイヤとの間の差分）が減少するビットの重要さの順序で送信されるように、エンハンスメントレイヤデータはエンコードされる。言い換えれば、この残余データの最重要ビットは、全体のビデオ画像について送信され、続いて第二の最重要ビット、続いて第三の最重要ビット等が送信される。
【００２８】
これにより、利用可能なネットワークの帯域幅に依存して、エンハンスメントレイヤが、ビデオ画像内の任意のポイントでトランケートされるのを可能にする。少なく送信されたデータは、低いビデオ品質となる。しかし、実際に送信されたデータである全てのデータは、ベースレイヤのみのそれを超えて、ビデオ品質を改善するために使用される。
【００２９】
従来のＦＧＳ符号化は、ベースレイヤのために使用される規格（たとえばＭＰＥＧ−４）に従って、ソースビデオシーケンスのデジタルエンコードと共に実行される。残余のビデオは、離散コサイン変換（ＤＣＴ）を使用して空間周波数領域でエンコードされ、減少するビットプレーンの重要さの順序で後続して配置される。かかる符号化は、ベースレイヤデータレートが規定されるのを必要とし、ソースシーケンスエンコードの一部として実行される。ＤＶＤで又はサテライト又はデジタルサービスを通して送信される、デジタルビデオのＦＧＳコーディングは、デジタルビデオのトランスコーディング又はデコーディング、ベースレイヤの低いデータレートでの再符号化、エンハンスメントレイヤの残余のビデオの同時の符号化が部分的に続くことを必要とする。この手順は、リアルタイムで実行することが困難である。
【００３０】
ファイングラニュラースケーラビリティ（ＦＧＳ）のような、階層型のビデオスキームは、全てのベースレイヤ情報及びエンハンスメントレイヤ情報を送信及び受信するために十分な帯域幅が利用可能なときは何時でも、オリジナルビデオのフルクヲリティを常に提供するという利点を与える。ＦＧＳは、フルエンハンスメントレイヤが送信することができないときに品質を低下する。結果的に、高いデータレートを有する第一のビデオストリームを低いレートを有する（ベースレイヤとしての役割を果たす）第二のビデオストリームへのトランス−レーティング、及び、高いレートのストリーミングと低いレートのストリーミングとの間の残余の同時の符号化は、トランス−レーティングとＦＧＳ階層型符号化の方法が結合されるのを可能にする。また、これは、変動するチャネル状態への良好かつ高速な適合を達成するため、ＩＥＥＥ８０２．１１ｅに定義されるＭＡＣレイヤのＱｏｓサポートをてこにする優先付けされたストリーミング技術を利用するのを可能にする。
【００３１】
本発明では、トランスコードされたビデオストリーム及びオリジナルのストリームは、共にデコードされ、ＦＧＳレイヤ自身を超えて更なるエンコードが必要とされないようなやり方で（すなわちベースレイヤの再エンコードが必要とされない）、ＦＧＳレイヤストリームを生成する。動き予測及び動き補償がビデオ圧縮で使用されるデジタルビデオ符号化方法では、不正確なデコードにより、ビデオ画像はその後の送信される画像をデコードするためのリファレンスとしての役割を果たすため、予測のドリフトとなる。
【００３２】
従来のＦＧＳエンコードでは、エンハンスメントレイヤの残余のビデオは、動き予測を含む、ベースレイヤの符号化の後に計算される。これにより、ベースレイヤは、エンハンスメントレイヤがない場合に予測ドリフトなしでデコードされるのを可能にする。しかし、ビデオストリームのトランス−レーティングは、そのＤＣＴ係数が再量子化されるビデオストリームとなる。デコードされたとき、ＤＣＴ係数は、オリジナルの動き符号化のために使用されたものとは異なる値を有する。
【００３３】
ＦＧＳ階層型ストリームのためにベースレイヤとしての役割を果たす低減されたレートのストリームにビデオストリームがトランス−レートされた場合、オリジナルストリームは、ＦＧＳエンハンスメントレイヤがエンコードされる前に、トランスコードされたストリームに合わせて完全にデコードされる必要がある。しかし、ＦＧＳベースレイヤは、エンハンスメントレイヤなしでデコードされたとき幾つかの予測ドリフトを有する。後者が完全に存在するとき、オリジナルストリームに関するそのエンコードは、デコードされた画像の品質がオリジナルビデオストリームをデコードすることで得られる品質と同じであることを保証する。特に、トランス−レーティングにより導入される予測ドリフトの影響は存在しない。
【００３４】
図５は、本発明の１実施の形態に係るファイングラニュラースケーラビリティの例示的なトランスコーダ５００を例示している。トランスコーダ５００は、ビデオエンコーダ１１４の一部として実現される場合がある。トランスコーダ５００は、ＭＰＥＧデコーダ５０５、ファイングラニュラースケーラビリティ（ＦＧＳ）エンハンスメントレイヤエンコーダ５１０、ＭＰＥＧデコーダ５４０、及びＭＰＥＧビデオトランスレータ５５０を有する。ＦＧＳエンハンスメントレイヤエンコーダ５１０は、加算器（又は結合器）５１５、離散コサイン変換（ＤＣＴ）５２０、ビットプレーンシフト回路５２５、及び可変長コーダ（ＶＬＣ）５３０を更に有する。
【００３５】
ＭＰＥＧビデオトランス−レータ５５０は、高いレートＲ１を有する入力デジタルビデオストリームを低いデータレートＲ２を有する第二のデジタルビデオストリームに変換する。ＭＰＥＧデコーダ５０５は、レートＲ１でオリジナルビデオストリームをデコードする。ＭＰＥＧデコーダ５４０は、レートＲ２でのトランス−レートされたベースレイヤストリームをデコードする。ＦＧＳエンハンスメントレイヤエンコーダ５１０は、デコーダ５０５及び５４０の残余をエンコードする。加算器（又は結合器）５１５は、ＦＧＳエンハンスメントレイヤエンコーダ５１０への２つの入力信号間の差分を検出する。ＤＣＴ５２０、ビットプレーンシフト回路５２５及びＶＬＣ５３０は、図３におけるＤＣＴ３５５、ビットプレーンシフト回路３６０、及びＶＬＣ３６５と同様のやり方でＦＧＳエンハンスメントレイヤ信号を処理する。
【００３６】
この方法は、標準的なデコーダのみを使用する利点を有するが、エンコーダを必要とせず、これは非常に複雑になり、符号化方法及びパラメータに依存して、安価なエンコーダが望まれる用途で低い画質が得られる。別の利点は、従来のトランス−レータが使用されるように、この方法が任意のトランス−レーティングスキームと機能することである。
【００３７】
ＦＧＳエンハンスメントレイヤの符号化が相当に簡単であるので、本発明は、所望のデータレートのベースレイヤ及び対応するＦＧＳエンハンスメントレイヤにデジタルビデオストリームの効果的かつ経済的なリアルタイムのトランス−レーティングを可能にする。アナログ又はピクセル領域の入力を受けるトランス−レータが使用される場合、オリジナルビデオストリームのＭＰＥＧデコーダ５０５が必要とされず、ＦＧＳエンハンスメントレイヤエンコーダ５１０により必要とされるビデオフォーマットに適切なコンバータにより置き換えられる。
【００３８】
残余がピクチャ領域で、かつ予測符号化されたベースレイヤに関して計算されるように、ＦＧＳ符号化が従来実行されるが、ＦＧＳエンコーダにおいて、残余は、代わりに、ベースレイヤエンコーダの動き予測ループにおける前に量子化されたＤＣＴ及び後続の逆量子化されたＤＣＴを使用して、ＤＣＴ係数領域で計算されることが示される。これは、さもなければＦＧＳエンハンスメントレイヤ符号化のために必要とされるＤＣＴ演算を除く。この方式でエンコードされたストリームから得られたデコードされたビデオは、先の図２に示されたＦＧＳ方法を使用してエンコードされたものから非常に僅かに異なる。この差分は、それにもかかわらず非常に小さい。特に、デコード及び表示されたビデオの少量の予測ドリフトとなる。このドリフトは、トランス−レーティングにより生じたドリフトと離れており、別個のものである。
【００３９】
この結果は、ＤＣＴ係数を逆量子化し、それらを異なる量子化ファクタを使用して再量子化し、これにより所望のベースレイヤのデータレートを得ることでその機能を実行するトランス−レータのケースについて、以下の図６に示されるような、ＦＧＳトランス−コーディング方法を簡単にするために使用される。
【００４０】
図６は、本発明の別の実施の形態に係るファイングラニュラースケーラビリティ（ＦＧＳ）の例示的なトランスコーダ６００を説明する。トランスコーダ６００は、ビデオエンコーダ１１４の一部として実現される。トランスコーダ６００は、可変長デコーダ６０５、逆量子化回路６１０、量子化回路６１５、可変長コーダ（ＶＬＣ）６２０、量子化係数ブロック６２５及び再量子化係数ブロック６５０を有する。ＶＬＤ６０５は、レートＲ１で高いレートのＭＰＥＧビデオストリームを受け、ベースレイヤ及びエンハンスメントレイヤをデコードし、量子化された離散コサイン変換（ＤＣＴ）係数を生成する。また、ＶＬＤ６０５は、ストリームから量子化係数を抽出するか、予め定義された量子化係数を識別し、量子化係数は、量子化係数ブロック６２５に記憶される。逆量子化回路６１０は、量子化されたＤＣＴ係数を受け、量子化係数ブロック６２５から量子化係数を使用して、逆量子化されたＤＣＴ係数をレートＲ１で生成する。
【００４１】
再量子化係数ブロック６５０は、新たな、低いビデオデータレート（すなわちビデオデータレートコンバージョンレシオ）に適した新たな（又は再量子化）係数を決定する。量子化回路６１５は、再量子化係数を使用し、新たなデータレートＲ２で逆量子化回路６１０の出力を逆量子化し、これによりレートＲ２で再量子化されたＤＣＴ係数のストリームを生成する。次いで、ＶＬＣ６２０は、再量子化されたＤＣＴ係数をエンコードし、所望の低いレートＲ２でベースレイヤのビデオストリームを生成する。
【００４２】
逆量子化回路６３５は、量子化回路６１５から再量子化されたＤＣＴ係数を受け、レートＲ２で逆量子化されたＤＣＴ係数を生成する。加算器（又は結合器）６３０は、逆量子化回路６１０の出力から逆量子化回路６３５の出力を減算し、これにより、残余信号を生成する。残余信号は、ビットプレーンシフト回路６４０によりシフトされ、次いでＶＬＣ６４５によりエンコードされる。ＶＬＣ６４５の符号化された出力は、ＦＧＳエンハンスメントレイヤのビデオストリームを有する。
【００４３】
このアレンジメントでは、ベースレイヤのトランス−レータにおける逆量子化された係数及びトランス−レータにおける同じ再量子化された係数の逆量子化から直接に残余が計算される。かかるスキームは、両方のデコーダの必要を除き、先に記載されたタイプのベースレイヤのトランス−コーダ、及びそのＤＣＴの計算のための必要を更に除くＤＣＴ係数領域におけるＦＧＳエンハンスメントレイヤコーダのみを必要とする。
【００４４】
従来技術の方法とは異なり、本発明は、トランス−レーティング（trans-rating）の影響及びＤＣＴ領域におけるＦＧＳ残余の計算を実行する影響のため、ベース及びエンハンスメントレイヤの両者に予測ドリフトを導入する。結果的に、ピクチャ数、特にグループオブピクチャ（ＧＯＰ）におけるリファレンスピクチャ数（ＭＰＥＧ  Ｉ又はＰピクチャ）が、蓄積された予測誤差が知覚することができないか、又は少なくとも不都合ではないように常に十分に小さい用途に最も適している。
【００４５】
この開示は、所定の実施の形態及び一般的な関連する方法を記載しているが、これら実施の形態及び方法の代替及び置換は、当業者にとって明らかになるであろう。したがって、例示となる実施の形態の先の記載は、この開示を定義又は拘束するものではない。他の変形、置換及び代替は、以下の請求項により定義されるように、この開示の精神及び範囲から逸脱することなしに可能である。
【図面の簡単な説明】
【００４６】
【図１】本発明の１実施の形態に係るストリーミングビデオ送信機からデータネットワークを通してストリーミングビデオレシーバへの、ストリーミングビデオのエンドツーエンド送信を説明する図である。
【図２】従来技術の１実施の形態に係る例示的なビデオデータトランスレータ（又はトランスコーダ）を説明する図である。
【図３】従来技術の１実施の形態に係る例示的なファイングラニュラースケーラビリティ（ＦＧＳ）エンコーダを説明する図である。
【図４】従来技術の１実施の形態に係る例示的なファイングラニュラースケーラビリティ（ＦＧＳ）デコーダを説明する図である。
【図５】本発明の１実施の形態に係るファイングラニュラースケーラビリティ（ＦＧＳ）の例示的なトランスコーダを説明する図である。
【図６】本発明の別の実施の形態に係るファイングラニュラースケーラビリティ（ＦＧＳ）の例示的なトランスコーダを説明する図である。
【図１】
2008523687.tif 000003
【図２】
2008523687.tif 000004
【図３】
2008523687.tif 000005
【図４】
2008523687.tif 000006
【図５】
2008523687.tif 000007
【図６】
2008523687.tif 000008
【国際調査報告】
2008523687.tif 000009
2008523687.tif 000010
2008523687.tif 000011