(57)【要約】  スケーラブルビデオコデックは、原動画をエンコーディングするエンコーダと、ユーザが希望するビットレートに基づいて、それぞれのコーディングユニットに対する最適のビット量を割り当てるレートコントロールユニットと、ビットストリームを受信して適切なビット量を持つビットストリームを抽出するプリデコーダと、抽出されたビットストリームから動画のシーケンスを復元するデコーダと、を備える。特に、本発明は、レートコントロールユニット３４０で起きる動作に主眼点をおく。前記レートコントロールユニットは、プリデコーダで使用可能なビットレート関数の定義ステップと、それにより均一な画質を獲得する推定ステップと、歪曲関数を決定する近似ステップと、総割り当てられたビットレートを目的ビットレートにする正規化ステップと、を行う。
2007509525.tif 000002
【特許請求の範囲】
【請求項１】
原動画をエンコーディングして生成されたビットストリームから、前記動画のコーディングユニットによる視覚的画質が均一になるように、それぞれのコーディングユニットに対するビット量を決定する第１ステップと、
前記決定されたビット量を基準に前記ビットストリームの一部を切り取って、目的量のビットを持つビットストリームを抽出する第２ステップと、を含むビットレートコントロール方法。
【請求項２】
前記視覚的画質を測定する基準として、ＰＳＮＲを利用する請求項１に記載のビットレートコントロール方法。
【請求項３】
前記ビットレートコントロール方法は、ウェーブレット基盤のスケーラブルビデオコーディングによって、エンコーダで作られたビットストリームをスケーラビリティ条件に合わせて変形するプリデコーダでなされる請求項１に記載のビットレートコントロール方法。
【請求項４】
前記画質測定基準値を扁平にすることは、相対的に悪い画質のコーディングユニットに対するビット割り当て量を増やし、相対的に良い画質のコーディングユニットに対するビット割り当て量を減らすことによってなされる請求項１に記載のビットレートコントロール方法。
【請求項５】
前記第１ステップは、同数のビット平面レベルでのビット分布及び歪曲関数を利用して、プリデコーダで使用できるビットレート関数を定義するステップと、前記ビットレート関数を変形して均一な視覚的画質を得られるようにビットレートを推定するステップと、を含む請求項１に記載のビットレートコントロール方法。
【請求項６】
前記第１ステップは、プリデコーダで使用可能な情報のみで前記歪曲関数を決定するために、前記歪曲関数を、前記ビット分布を利用して近似するステップをさらに含む請求項５に記載のビットレートコントロール方法。
【請求項７】
前記第１ステップは、総割り当てられたビットレートが目的ビットレートと同じくなるように、前記ビットレート関数を変形して正規化するステップをさらに含む請求項６に記載のビットレートコントロール方法。
【請求項８】
原動画をエンコーディングして生成されたビットストリームから、前記動画のコーディングユニットによる視覚的画質が均一になるように、それぞれのコーディングユニットに対するビット量を決定する第１手段と、
前記決定されたビット量を基準に前記ビットストリームの一部を切り取って、目的量のビットを持つビットストリームを抽出する第２手段と、を備えるビットレートコントロール装置。
【請求項９】
ウェーブレット基盤のスケーラブルビデオコーディングによって、エンコーダで作られたビットストリームをスケーラビリティ条件に合わせて変形するプリデコーダをさらに備える請求項８に記載のビットレートコントロール装置。
【請求項１０】
前記第１手段は、同数のビット平面レベルでのビット分布及び歪曲関数を利用して、プリデコーダで使用できるビットレート関数を定義し、前記ビットレート関数を変形して均一な視覚的画質を得られるようにビットレートを推定する手段を備える請求項８に記載のビットレートコントロール装置。
【請求項１１】
前記第１手段は、プリデコーダで使用可能な情報のみで前記歪曲関数を決定するために、前記歪曲関数を、前記ビット分布を利用して近似する手段をさらに備える請求項１０に記載のビットレートコントロール装置。
【請求項１２】
前記第１手段は、総割り当てられたビットレートが目的ビットレートと同じくなるように、前記ビットレート関数を変形して正規化する手段をさらに備える請求項１１に記載のビットレートコントロール装置。
【請求項１３】
請求項１ないし７のうちいずれか一項に記載の方法を、コンピュータで読み取り可能なプログラムで記録した記録媒体であり、
原動画をエンコーディングして生成されたビットストリームから、前記動画のコーディングユニットによる視覚的画質が均一になるように、それぞれのコーディングユニットに対するビット量を決定する第１ステップと、
前記決定されたビット量を基準に前記ビットストリームの一部を切り取って、目的量のビットを持つビットストリームを抽出する第２ステップと、を含むビットレートコントロール方法を、コンピュータで実行可能にするためのコンピュータプログラムコードを記録する、コンピュータで読み取り可能な記録媒体。
【請求項１４】
原動画をエンコーディングして生成されたビットストリームから、前記動画のコーディングユニットによる視覚的画質が均一になるように、それぞれのコーディングユニットに対するビット量を決定する決定ユニットと、
前記決定されたビット量を基準に前記ビットストリームの一部を切り取って、目的量のビットを持つビットストリームを抽出する抽出ユニットと、を備えるビットレートコントロール装置。
【請求項１５】
ウェーブレット基盤のスケーラブルビデオコーディングによって、エンコーダで作られたビットストリームをスケーラビリティ条件に合わせて変形するプリデコーダをさらに備える請求項１４に記載のビットレートコントロール装置。
【請求項１６】
前記決定ユニットは、同数のビット平面レベルでのビット分布及び歪曲関数を利用して、プリデコーダで使用できるビットレート関数を定義し、前記ビットレート関数を変形して、均一な視覚的画質を得られるようにビットレートを推定する推定ユニットを備える請求項１４に記載のビットレートコントロール装置。
【請求項１７】
前記決定ユニットは、プリデコーダで使用可能な情報のみで前記歪曲関数を決定するために、前記歪曲関数を前記ビット分布を利用して近似する近似ユニットをさらに備える請求項１６に記載のビットレートコントロール装置。
【請求項１８】
前記決定ユニットは、総割り当てられたビットレートが目的ビットレートと同じくなるように、前記ビットレート関数を変形して正規化する正規化ユニットをさらに備える請求項１６に記載のビットレートコントロール装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオコーディング技術に係り、より詳細には、プリデコーダを利用するウェーブレット基盤のスケーラブルビデオコーディングにおいて、前記プリデコーダ側で分かる情報のみを利用して、ＰＳＮＲ（ピーク信号対雑音比）が最小化されるように、ビットレートを割り当てる方法及び装置に関する。
【背景技術】
【０００２】
スケーラブルビデオコーディングは、一つの圧縮されたビットストリームから多様な解像度、画質及び時間的レベルを持つように部分的なコーディングを可能にし、変化の多い通信環境で効率的な信号表現及び伝送を可能にする有力な技術として認識されている。ＭＰＥＧ−４ＦＧＳ（Ｆｉｎｅ  Ｇｒａｎｕｌａｒｉｔｙ  Ｓｃａｌａｂｉｌｉｔｙ）が、ＳＮＲ（信号対雑音比）及び時間的スケーラブルビデオコーディングの標準として確立されているとしても、ウェーブレットに基づいたいろいろなスケーラブルビデオコーディング方法も、既にＳＮＲ、空間的及び時間的スケーラビリティを具現するための潜在力を表している。前記ＭＰＥＧ−４ＦＧＳは、Ｗ．Ｌｉの論文、“Ｏｖｅｒｖｉｅｗ  ｏｆ  ｆｉｎｅ  ｇｒａｎｕｌａｒｉｔｙ  ｓｃａｌａｂｉｌｉｔｙ  ｉｎ  ＭＰＥＧ−４  ｖｉｄｅｏ  ｓｔａｎｄａｒｄ，”（ＩＥＥＥ  Ｔｒａｎｓ．Ｃｉｒｃｕｉｔｓ  Ｓｙｓｔ．Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌ．，ｖｏｌ．１１，ｐｐ．３０１−３１７，Ｍａｒ．２００１．）を参照すれば、より詳細な内容が分かる。
【０００３】
図１は、従来技術によるレート歪曲最適化技術に基づいたビデオコデックの全体的ブロック図である。このような場合に、レートコントロール部１３０では、ユーザが、最終に目的するビットレート３０を基準に、最適の量子化ステップまたはそれぞれのコーディングユニットに対する最適のビット量を選択する。それにより、エンコーダ１１０は、前記量子化ステップまたは最適のビット量を基準として原動画１０をエンコーディングすることにより、制限された通信状況に合うようにバンド幅が制限されたビットストリーム４０を生成する。次いで、デコーダ１２０は、前記制限されたバンドを持つビットストリーム４０からイメージシーケンスを復元して、圧縮解除された動画２０を出力する。このような従来技術で、前記レート−コントロールはエンコーダ側でのみ行われている。
【０００４】
図２は、従来技術によるウェーブレット基盤のスケーラブルビデオコデックの動作構造を表すブロック図である。エンコーディング領域でのレートコントロールアルゴリズムが一般的にレート歪曲性能を向上させるというが、前記アルゴリズムは、エンコーディング領域でのみ利用できる予測エラー情報を使用している。完全にスケーラブルなビデオコデックを要求する大部分のアプリケーションにおいて、エンコーダ２１０は十分に大きいビットストリーム３５を生成し、プリデコーダ２２０ないしトランスコーダは、画質、時間的条件及び空間的条件などを考慮して、前記ビットストリーム３５から一部を切り取って、適当量のビットを持つビットストリーム４０を抽出する。前記のような画質、時間的条件、空間的条件などプリデコーダで適当量のビットストリームを抽出する基準を、スケーラビリティ条件という。次いで、デコーダ２３０は、前記一部を切り取ったビットストリーム４０からイメージシーケンスを復元して、圧縮解除された動画２０を出力する。図２で、レートコントロールは、エンコーダ２１０の代りにプリデコーダ２２０で行われる。なぜなら、実際ビットレートは、プリデコーダ２２０で決定されるからである。しかし、従来には、プリデコーダ２２０でレートコントロールを行うアルゴリズムに関する研究がほとんどなく、ＣＢＲ（コンスタントビットレート）方法が大部分であった。ただし、Ｓ．Ｔ．Ｈｓｉａｎｇは、自分の博士論文“Ｈｉｇｈｌｙ  ｓｃａｌａｂｌｅ  ｓｕｂｂａｎｄ／ｗａｖｅｌｅｔ  ｉｍａｇｅ  ａｎｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ，”（Ｒｅｎｓｓｅｌａｅｒ  Ｐｏｌｙｔｅｃｈｎｉｃ  Ｉｎｓｔｉｔｕｔｅ，Ｎｅｗｙｏｒｋ，Ｊａｎ．２００２．）で、プリデコーダでも使用できる可変ビットレート（ＶＢＲ）方法（以下、‘Ｈｓｉａｎｇ方法’という）を提示した。これは、既存のＣＢＲ方式の性能を向上させるために、プリデコーダで使われたウェーブレットビット平面の数を同じくする方式である。
【０００５】
以下では、前記Ｈｓｉａｎｇ方法を具体的に説明する。伝送されるビデオは、複数のＧＯＰ（グループオブピクチャ）に分けられ、それぞれのＧＯＰは、複数のフレームで構成される。このようなＧＯＰは、コーディング時に基準単位、すなわち、コーディングユニットとして使われうる。このようにすれば、ＧＯＰに存在するそれぞれのフレームは、互いに強い相関を持つ一方、それぞれのＧＯＰは分離されてエンコーディングされ、かつ互いに独立的であるために、レートコントロールアルゴリズムを簡略化できる。ここで、ＢＴを、Ｎ個のＧＯＰで構成される全体ビデオシーケンスに対する全体ビット数といえば、レート割り当て問題は、次の式（１）のように公式化できる。
【０００６】
【数１】
2007509525.tif 000003
ここで、Ｒ（ｉ）は、ｉ番目ＧＯＰに対して割り当てられたビット数であり、Ｄ（ｉ）は、原フレームと最終デコーディングされたフレームとの差値を意味する。ＶＢＲ方式の基本的機能は、相対的に複雑な場面にはさらに多くのビットを割り当て、他の場面では少ないビットを割り当てることによって、さらに優秀なレート歪曲性能ないし視覚的画質を得ることである。場面複雑性を、与えられたイメージフレームのエンコーディングにおける難しさの程度であると定義すれば、同じビット平面の数で一つのＧＯＰに割り当てられたビットは、ＧＯＰのうち相対的な場面複雑性及び強い相関を持つ。このような観点で、前記Ｈｓｉａｎｇ方法では、あらゆるフレームに対して使われたビット平面数を同じくするＶＢＲ方式を提案したことである。
【０００７】
ｂ（ｉ，ｊ）を、ｉ番目ＧＯＰ及びｊ番目ビット平面に対してエンコーディングされたビット数といい、Ｂ（ｉ，ｋ）を、ｋ個のビット平面を使用する累積エンコーディングされたビット数といえば、次の式（２）のような関係式を得られる。
【０００８】
【数２】
2007509525.tif 000004
使用されたビット平面数は、あらゆるフレームに対して定数Ｋで一定であると仮定すれば、Ｂ（ｉ，Ｋ）は、次の式（３）のような総割り当てられたビットを持つｉ番目フレームに対する場面複雑性の統計的推定値として使用できる。
【０００９】
【数３】
2007509525.tif 000005
ここで、Ｎは、総ＧＯＰ数である。Ｋ＊を、総割り当てられたビットがＢＴに近くなるビット平面の整数値とすれば、ｉ番目ＧＯＰに最終的に割り当てられたビット、すなわち、Ｒｏ（ｉ）は、次の式（４）のように与えられる。
【００１０】
【数４】
2007509525.tif 000006
ここで、ＢＴは、次の式（５）の条件を満足させる。
【００１１】
【数５】
2007509525.tif 000007
線形補間法を使用すれば、総エンコーディングされたビットを正確にＢＴとする点での場面複雑性に関するさらに精密な推定統計値を得られる。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
ウェーブレット基盤のスケーラブルビデオコーディング方式は、エンベディング属性があって根本的にＶＢＲアルゴリズムに使用し適している。そのような点で、前記Ｈｓｉａｎｇ方法が簡単かつ効率的ではあるが、それは単に目的とするエラー測定値を最小化するのに焦点を合わせているためであり、依然としてＰＳＮＲ値の変化を減らす余地は残っている。言い換えれば、平均的なＰＳＮＲが十分に高くても、ＰＳＮＲの変化が大きい場合には、知覚的な画質は非常に低く感じられる。したがって、平均ＰＳＮＲの減少を最小化しつつＰＳＮＲ変化を最小化できるビット割り当て方法に関する研究が切実に必要である。
【００１３】
本発明は、前記問題点を鑑みてなされたものであり、プリデコーダ側で使用可能な情報のみを利用して、与えられた通信状況に対してデコーダ側で最適の画質を持つようにビットを割り当てる方法を提供することを目的とする。
【００１４】
また、本発明は、ウェーブレット基盤のスケーラブルビデオコーディングにおいて、ＰＳＮＲを最小化させるＶＢＲ割り当て方法を提供することを目的とする。
【００１５】
前記目的を達成するために、本発明によるビットレートコントロール方法は、原動画をエンコーディングして生成されたビットストリームから、前記動画のコーディングユニットによる視覚的画質が均一になるように、それぞれのコーディングユニットに対するビット量を決定する第１ステップと、前記決定されたビット量を基準に前記ビットストリームの一部を切り取って、目的量のビットを持つビットストリームを抽出する第２ステップと、を含むことを特徴とする。
【００１６】
前記さらに他の目的を達成するために、本発明によるビットレートコントロール装置は、原動画をエンコーディングして生成されたビットストリームから、前記動画のコーディングユニットによる視覚的画質が均一になるように、それぞれのコーディングユニットに対するビット量を決定する第１手段と、
前記決定されたビット量を基準に前記ビットストリームの一部を切り取って、目的量のビットを持つビットストリームを抽出する第２手段と、を含むことを特徴とする。
【発明を実施するための最良の形態】
【００１７】
以下、添付された図面を参照して本発明の望ましい実施形態を詳細に説明する。
【００１８】
図３は、本発明によるウェーブレット基盤のスケーラブルビデオコデックの動作構造を表すブロック図である。スケーラブルエンコーダ３１０は、原動画をエンコーディングすることにより十分に大きいビットストリーム３５を生成し、レートコントロール部３４０は、ユーザが目的とするビットレート３０を基準に、それぞれのコーディングユニットに対する最適のビット量を割り当てる。プリデコーダ３２０は、前記ビットストリーム３５を入力され、前記レートコントロール部３４０で選択された最適のビット量を基準に、前記ビットストリーム３５の一部を切り取って適当量のビットを持つビットストリーム４０を抽出する。次いで、デコーダ３３０は、前記抽出されたビットストリーム４０から動画のイメージシーケンスを復元して圧縮解除する。それにより、最終的に圧縮解除された動画が生成される。
【００１９】
本発明は、そのうちレートコントロール部３４０での動作部分が核心をなす。前記レートコントロール部３４０での動作は、４部分に大別される。前記動作は、同数のビット平面レベルでのビット分布及び歪曲関数を利用して、プリデコーダで使用できるビットレート関数を定義するステップと、前記ビットレート関数を変形して均一な視覚的画質を得られるようにビットレートを推定するステップと、プリデコーダで使用可能な情報のみで前記歪曲関数を決定するために、前記歪曲関数を、前記ビット分布を利用して近似するステップ、そして、総割り当てられたビットレートが目的ビットレートと同じくなるように、前記ビットレート関数を変形して正規化するステップからなる。前記視覚的画質は、主にＰＳＮＲの高低を利用して評価することが一般的であるので、本発明では、画質評価基準としてＰＳＮＲを使用する。そして、場面複雑性関数として従来のエンコーダでのみ使用可能なＭＡＤ（Ｍｅａｎ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）情報の代りに、同数のビット平面でのビット分布に置き換える。
【００２０】
前記４ステップのうち第１に、同数のビット平面レベルでのビット分布及び歪曲関数を利用して、プリデコーダで使用できるビットレート関数を定義するステップを説明する。推定統計値は、次の式（６）のようなラプラシアン分布を持つと仮定する。
【００２１】
【数６】
2007509525.tif 000008
ここで、αは、定数値である。歪曲測定法で差関数を利用すれば、ビットレート関数Ｒ（ｉ）は、次の式（７）のように表現される。ここで、Ｄ（ｉ）は、歪曲関数であって、原画像と圧縮解除後の最終画像との差値を意味する。
【００２２】
【数７】
2007509525.tif 000009
ビットレート関数は、２つの変数、ＭＡＤ及びノンテクスチャーオーバーヘッドを導入することによって、再び次の式（８）のように変形される。
【００２３】
【数８】
2007509525.tif 000010
ここで、Ｈ（ｉ）は、ヘッダ情報及びモーションベクトルのために使われる。そして、Ｍ（ｉ）は、ＭＡＤを表すが、ＭＡＤはルミナンス成分に対するモーション補償残留（ｍｏｔｉｏｎ−ｃｏｍｐｅｎｓａｔｅｄ  ｒｅｓｉｄｕａｌ）を利用して計算できる。ビットレート関数にＭＡＤを含めることは、場面複雑性を考慮するためである。これは、同じ最終ビットレートの制限条件下では、さらに多くのビットが相対的に複雑なフレームに使われ、他のフレームに少ないビットが使われるためである。従来のＶＢＲ方式は、割り当てられたビット自体としてＢ（ｉ，Ｋ＊）を利用したが、本発明は、Ｍ（ｉ）に代えてＢ（ｉ，Ｋ＊）を使用する。これは、Ｂ（ｉ，Ｋ＊）は、ｉ番目ＧＯＰに対する場面複雑性及び強い相関を持つという点を利用したことである。
【００２４】
【数９】
2007509525.tif 000011
記号を簡単化するために、ノンテクスチャーオーバーヘッド、すなわち、Ｈ（ｉ）は、式（９）及び以後のあらゆる式で考慮しないことにする。実験によれば、最適のα値を選択することによって、多様な組合わせのビットレート、解像度、そしてシーケンスに対して前記代替が合理的な結果を表すということが分かる。
【００２５】
第２に、前記ビットレート関数Ｒ（ｉ）を変形して均一な視覚的画質を得られるように、ビットレートを推定するステップを説明する。ＤをあらゆるＧＯＰに対するＤ（ｉ）の平均値とし、式（９）の両辺にｌｎ（Ｄ（ｉ）／Ｄ）を加えれば、次の式（１０）のようになる。
【００２６】
【数１０】
2007509525.tif 000012
ここで、
【００２７】
【数１１】
2007509525.tif 000013
である。
【００２８】
式（１０）の右辺は定数値であるため、ｉ番目ＧＯＰに対してＲ’（ｉ）ビットを割り当てれば、一定の歪曲値を持つ。Ｒ’（ｉ）を得るために、式（１１）でＲ（ｉ）及びｌｎ（Ｄ（ｉ）／Ｄ）は計算されていなければならない。しかし、プリデコーダで実際歪曲値Ｄ（ｉ）を決定できないために、Ｒ’（ｉ）を計算することは簡単な問題ではない。
【００２９】
第３に、プリデコーダで使用可能な情報のみで前記歪曲関数を決定するために、前記歪曲関数を、前記ビット分布を利用して近似するステップを説明する。前記問題を解決するために、まず、初期ビット割り当てＲ（ｉ）を前記Ｒｏ（ｉ）と同一であると仮定し、Ｄ（ｉ）／Ｄを所定の推定法によって計算する。式（１１）で、Ｄ（ｉ）／Ｄは、平均的歪曲値に対する相対的歪曲値の大きさを意味する。場面複雑性が増加すれば、相対的歪曲値の大きさも同じく増加するので、Ｄ（ｉ）／Ｄは、場面複雑性関数、Ｂ（ｉ，Ｋ＊）を使用して、次の式（１２）のように近似できる。
【００３０】
【数１２】
2007509525.tif 000014
ここで、
【００３１】
【数１３】
2007509525.tif 000015
ｒは、実際歪曲と割り当てられたビットとの間に非線形性を補償するための実験的な定数値である。図４は、ｒ＝０．４である場合に、５１２ＫｂｐｓでエンコーディングされたＣａｎｏａ  ＱＣＩＦシーケンスで、Ｄ（ｉ）／Ｄ及びＢ（ｉ，Ｋ＊）／Ｂの比較グラフを表すものである。図４で、歪曲の相対的大きさ、Ｄ（ｉ）／Ｄは相対的な場面複雑性、Ｂ（ｉ，Ｋ＊）／Ｂによって概略的にモデリングされうる。さらに、より複雑な実験によれば、ｒ＝０．４は、あらゆる条件で満足すべき結果を示すということが分かる。
【００３２】
式（１２）を式（１１）に代入すれば、
【００３３】
【数１４】
2007509525.tif 000016
となる。
【００３４】
最後に、総割り当てられたビットレートが目的ビットレートと同じくなるように、前記ビットレート関数を変形して正規化するステップを説明する。Ｒ’（ｉ）は、ビットレート制限を考慮せずにＲ（ｉ）から変形されたものであるので、Ｒ’（ｉ）は、目的とするビットレート条件に合わせて規準化する必要がある。簡単な操作を通じて次の式（１５）のようにＲ’（ｉ）を規準化できる。
【００３５】
【数１５】
2007509525.tif 000017
ここで、Ｒｎ（ｉ）は、歪曲を平坦化できるようにｉ番目ＧＯＰに対して割り当てられたビット数である。
【００３６】
表１は、ＣＢＲ、ＶＢＲ−Ｄ、及びＶＢＲ−Ｎそれぞれに対する平均ＰＳＮＲ結果値を表すものである。ここで、ＣＢＲは、従来の一定ビットレート割り当て方式を、ＶＢＲ−Ｄは、前記Ｈｓｉａｎｇ方法による可変レート割り当て方式を、そして、ＶＢＲ−Ｎは、本発明による可変レート割り当て方式を表す。表１に示すように、ＶＢＲ−Ｎは、適応的ビット割り当て技術を利用することによって、ＣＢＲに比べて優れた性能向上をもたらすことが分かる。そして、全体的に見て、平均ＰＳＮＲ面で、ＶＢＲ−Ｎは、ＶＢＲ−Ｄに比べて微細な差だけ（最大０．２ｄＢ）遅れただけである。
【００３７】
【表１】
2007509525.tif 000018
表２は、ＣＢＲ、ＶＢＲ−Ｄ及びＶＢＲ−Ｎそれぞれに対して、ＧＯＰ−平均ＰＳＮＲ値の標準偏差を表すものである。まず、ＶＢＲ−Ｄ及びＶＢＲ−Ｎ方式が、ＣＢＲ方式に比べてＰＳＮＲ標準偏差を減少させていることが確実に分かる。表２に示していないが、各フレーム別に求めたＰＳＮＲの標準偏差において、ＶＢＲ−Ｎは、ＶＢＲ−Ｄに比べてその値を２３％ないし５０．８％減少させる。ＶＢＲ−ＮがＧＯＰに基づいた最適化技術を使用するので、ＧＯＰ別に求めたＰＳＮＲの標準偏差、いわゆるＧＯＰ−平均ＰＳＮＲの標準偏差においては、前記減少比率がはるかに大きくなる。これは、ＶＢＲ−Ｎ方式が、全体的ＰＳＮＲ曲線を平坦化するのにおいてさらに効果的であるということを示す。表２によれば、ＶＢＲ−Ｎは、ＶＢＲ−Ｄに比べてＧＯＰ−平均ＰＳＮＲの標準偏差を２６．１％から８９．７％まで減少させていることが分かる。
【００３８】
【表２】
2007509525.tif 000019
図５は、Ｆｏｏｔｂａｌｌ  ＱＣＩＦシーケンスにおいて、それぞれのＧＯＰに対して割り当てられたビットレートを表すものであり、図６は、それぞれのＧＯＰに対するＧＯＰ−平均ＰＳＮＲを表すものである。Ｆｏｏｔｂａｌｌ  ＱＣＩＦは、５１２ｋｂｐｓの平均ビットレートでエンコーディングされた。ＰＳＮＲ曲線の全体的な扁平度を調べるために、各フレームに対するＰＳＮＲを使用せず、ＧＯＰ−平均ＰＳＮＲを使用してグラフに表した。図５で、ＣＢＲ方式ではビットレートはほぼ一定であり、ＶＢＲ−Ｄ及びＶＢＲ−Ｎ方式は、非常に可変的な場面の特徴によって最適化されるために、そのビットレートは変化が非常に激しい。特に、ＶＢＲ−ＮのＧＯＰ−平均ＰＳＮＲ曲線は、ＣＢＲやＶＢＲ−Ｄに比べてはるかに扁平である。
【００３９】
図７ないし図１０は、Ｆｏｒｅｍａｎ  ＱＣＩＦシーケンスのいくつかのコーディング例を示す。図７は、ＶＢＲ−Ｄにより生成された９２番目フレーム（ＰＳＮＲ＝３８．０２）を、図８は、ＶＢＲ−Ｎにより生成された同じ位置のフレーム（ＰＳＮＲ＝３９．９４）を表すものである。ＶＢＲ−Ｎ方式は、ＶＢＲ−Ｄ方式に比べて可視的画質面で優秀な結果を示す。これは、ＶＢＲ−Ｎは、ＶＢＲ−Ｄに比べて平均ＰＳＮＲはわずかに低いが、ＶＢＲ−Ｄに比べてＰＳＮＲカーブをはるかに扁平にするので、最小ＰＳＮＲ値が大きく上昇するためである。
【００４０】
図９は、ＶＢＲ−Ｄにより生成された１０６番目フレーム（ＰＳＮＲ＝４４．０５）を、図１０は、ＶＢＲ−Ｎにより生成された同じ位置のフレーム（ＰＳＮＲ＝４２．０２）を表すものである。ＶＢＲ−ＤのＰＳＮＲがＶＢＲ−Ｎより多少大きいが、実際的な視覚的画質はほぼ類似している。これは、両者のＰＳＮＲが十分に大きくてコーディングによる人為性は感じ難いためである。このような属性は、主観的な視覚的画質を向上させるにおいて非常に有用である。本発明と同じく、優秀な画質を持つフレームのＰＳＮＲを犧牲して、悪い画質を持つフレームのＰＳＮＲを向上させることによって、視覚的画質を改善できる。
【産業上の利用可能性】
【００４１】
本発明によれば、平均ＰＳＮＲをほぼそのまま維持しつつＰＳＮＲ値の標準偏差を大きく減少させることができる。したがって、画質の良いフレームのＰＳＮＲを犠牲しつつ画質の悪いフレームのＰＳＮＲを向上させる方法を通じて、人間の知覚的特性を考慮した視覚的画質面でさらによい結果を得られる。
【００４２】
本発明によれば、プリデコーダ側で使用可能な情報のみを利用するので、プリデコーダの立場では追加的な情報を必要としないという長所がある。
【図面の簡単な説明】
【００４３】
【図１】従来技術によるレート歪曲最適化技術に基づいたビデオコデックの全体的ブロック図である。
【図２】従来技術によるウェーブレット基盤のスケーラブルビデオコデックの動作構造を表すブロック図である。
【図３】本発明によるウェーブレット基盤のスケーラブルビデオコデックの動作構造を表すブロック図である。
【図４】エンコーディングされたＣａｎｏａ  ＱＣＩＦシーケンスで、Ｄ（ｉ）／Ｄ及びＢ（ｉ，Ｋ＊）／Ｂの比較グラフである。
【図５】Ｆｏｏｔｂａｌｌ  ＱＣＩＦシーケンスにおいて、それぞれのＧＯＰに対して割り当てられたビットレートを表すグラフである。
【図６】Ｆｏｏｔｂａｌｌ  ＱＣＩＦシーケンスにおいて、それぞれのＧＯＰ−平均ＰＳＮＲを表すグラフである。
【図７】Ｆｏｒｅｍａｎ  ＱＣＩＦシーケンスの９２番目フレームをＶＢＲ−Ｄでコーディングした例である。
【図８】Ｆｏｒｅｍａｎ  ＱＣＩＦシーケンスの９２番目フレームをＶＢＲ−Ｎでコーディングした例である。
【図９】Ｆｏｒｅｍａｎ  ＱＣＩＦシーケンスの１０６番目フレームをＶＢＲ−Ｄでコーディングした例である。
【図１０】Ｆｏｒｅｍａｎ  ＱＣＩＦシーケンスの１０６番目フレームをＶＢＲ−Ｎでコーディングした例である。
【図１】
2007509525.tif 000020
【図２】
2007509525.tif 000021
【図３】
2007509525.tif 000022
【図４】
2007509525.tif 000023
【図５】
2007509525.tif 000024
【図６】
2007509525.tif 000025
【図７】
2007509525.tif 000026
【図８】
2007509525.tif 000027
【図９】
2007509525.tif 000028
【図１０】
2007509525.tif 000029
【国際調査報告】
2007509525.tif 000030