(57)【要約】復号器再構築システム(18)を有するスケーラブル復号器システム(10)であり、この復号器再構築システム(18)は：喪失離散コサイン変換(DCT)係数を予測する予測アルゴリズムで、先行拡張レイヤ・データの量子化雑音を期待値に組み入れるもの；を有し、この予測アルゴリズムは少なくとも１つの未知のパラメータによってかわってくる密度分布を有し；更に、所定式によって予測するパラメータ予測アルゴリズム；を有し、blは量子化判定レベルl群各々を表し、各量子化判定レベルに量子化されたデータの正規化生起頻度群の和である。
2005528045.tif 000002
【特許請求の範囲】
【請求項１】
復号器再構築システムを有するスケーラブル復号器であって、該復号器再構築システムが：
喪失離散コサイン変換(DCT)係数を予測する予測アルゴリズム；
を有し、該予測アルゴリズムが、少なくとも１つの未知のパラメータ
【数１】
2005528045.tif 000037
によってかわってくる密度分布を有し；
更に、
【数２】
2005528045.tif 000038
を、
【数３】
2005528045.tif 000039
の式によって、予測するパラメータ予測アルゴリズム；
を有し、blは量子化判定レベルl群各々を表し、
【数４】
2005528045.tif 000040
は各量子化判定レベル1,2,…,lに量子化されたデータの正規化生起頻度群の和であることを特徴とするスケーラブル復号器。
【請求項２】
請求項１記載のスケーラブル復号器であって：
【数５】
2005528045.tif 000041
は、おおよそ１に等しくなるように選択されることを特徴とするスケーラブル復号器。
【請求項３】
請求項１記載のスケーラブル復号器であって、該予測アルゴリズムは：
【数６】
2005528045.tif 000042
によって表され、Zは量子化雑音であり、Ezは量子化雑音に関する期待値であり、
【数７】
2005528045.tif 000043
は再構築オフセットを表し、
【数８】
2005528045.tif 000044
は先行フレームのDCT係数の期待値であり、ρは−１と１との間の所定値であり、αi,nは量子化間隔の始点であることを特徴とするスケーラブル復号器。
【請求項４】
請求項３記載のスケーラブル復号器であって、ρは低周波DCT係数についてはおおよそ１に等しく、高周波DCT係数については１未満であることを特徴とするスケーラブル復号器。
【請求項５】
スケーラブル復号器において用いる、パラメータ予測並びに最適再構築(PEOR)の方法であって：
量子化生起群を判定する工程；及び
パラメータαを予測する工程；
を有し、αは
【数９】
2005528045.tif 000045
の式によって予測され、blは量子化判定レベルl群各々を表し、
【数１０】
2005528045.tif 000046
は各量子化判定レベル1,2,…,lに量子化されたデータの正規化生起頻度群の和であり；
更に、
【数１１】
2005528045.tif 000047
の式によって暫定的再構築点を生成する工程；及び
該暫定的再構築点を平滑化して最適再構築点を生成する工程；
を有することを特徴とする方法。
【請求項６】
請求項５記載の方法であって、該量子化生起群が、DCT係数をjの量子化インデックスによってカウントし、更に、該カウントされた結果をDCT係数の総数によって除算することによって、判定されることを特徴とする方法。
【請求項７】
請求項５記載の方法であって、該暫定的再構築点を平滑化する工程：
が：
【数１２】
2005528045.tif 000048
によって実現され、Zは量子化雑音であり、Ezは該量子化雑音Zに関する期待値であり、
【数１３】
2005528045.tif 000049
は再構築オフセットを表し、
【数１４】
2005528045.tif 000050
は先行フレームのDCT係数の期待値であり、ρは−１と１との間の所定値であり、αi,nは量子化間隔の始点であることを特徴とする方法。
【請求項８】
スケーラブル復号器において用いる、パラメータ予測並びに最適再構築(PEOR)システムであって：
【数１５】
2005528045.tif 000051
の式によって最適再構築を判定する再構築システム；
を有し、Zは量子化雑音であり、Ezは該量子化雑音Zに関する期待値であり、
【数１６】
2005528045.tif 000052
は再構築オフセットを表し、
【数１７】
2005528045.tif 000053
は先行フレームの離散コサイン変換(DCT)係数の期待値であり、ρは−１と１との間の所定値であり、αi,nは量子化間隔の始点であることを特徴とするPEORシステム。
【請求項９】
請求項８記載のPEORシステムであって、該パラメータαは：
【数１８】
2005528045.tif 000054
の式によって予測され、blは量子化判定レベルl群各々を表し、
【数１９】
2005528045.tif 000055
は各量子化判定レベル1,2…,lに量子化されたデータの正規化生起頻度群の和であることを特徴とするPEORシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、スケーラブル復号器に関し、特に、復号化品質を、現行フレームと参照フレームからの拡張レイヤの統計的特性を解析することによって、向上させるシステム及び方法に関する。
【背景技術】
【０００２】
MPEG、H.26xなどのような、圧縮データ標準を利用するシステムの人気が増大し続けるにつれて、圧縮データを効率的に処理し、通信することができることは引き続き、課題となっている。圧縮ビデオを伝送することの課題の１つはネットワーク障害に対する感度である。圧縮ビデオは予測符号化アルゴリズム及び可変長符号化を用いるので、伝送チャネルの課題はエラー伝播、すなわち「ドリフト」、をもたらし得る。特に、広汎に用いられている動き補償によっても、エラーは時間的と空間的との両方に伝播する状態のままである。このため、新たな手法で、エラー伝播の程度を限定するもの、が必要となる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
近年、スケーラブルなビデオ符号器の開発はドリフトを、システムで、該システムにおいてベース・レイヤ（BL）がベース・レイヤからのみ予測されるもの、を備えることによって、除去することに注力してきた。このストラテジは更に、MPEG-4の細粒度スケーラビリティ（FGS）システムで、拡張レイヤ（EL）もBLのみから予測されるもの、の開発において、更に一段階進められた。しかしながら、最近のスケーラブルなビデオ符号化のアルゴリズムがビデオを圧縮するのに効率的になってきている一方、それらのアルゴリズムは圧縮効率を失うものとなっているが、それはそれらのアルゴリズムがBLを予測する場合に全てのEL情報を無視するものであるからである。
【０００４】
符号化効率は、BLとELとの量子化情報を、符号化処理中のDCT係数の経時変化をモデル化することによって、最適に合成することによって、改善させ得る。この方法は符号器全体のレート・歪み特性を改善させる一方、この方法は更に、可変帯域幅のチャネルにおけるドリフトをこうむりやすいものであるが、それはELパケットをトラフィック状態によって不規則に取り去り得るからである。
【０００５】
更に、ドリフトのないスケーラブルなビデオ符号器を、これまでに改善しようとしたものは、符号器構造に対するかなりの修正を要するものであった。そのような修正は、MPEG-4の細粒度スケーラビリティ（FGS）のような、既存の、ドリフトのないスケーラブルなビデオ・コデックを改善するには常に実現可能なものではない。
【課題を解決するための手段】
【０００６】
本発明は上記の課題の少なくとも１つに、逆量子化の最適再構築点を選択するパラメータ予測及び最適再構築（PEOR）システム及び方法を有するスケーラブル復号器を備えることによって、対処する。第１の特徴では、本発明は復号器再構築システムを有するスケーラブル復号器システムを備え、この復号器再構築システムは：喪失離散コサイン変換（DCT）係数を予測する予測アルゴリズム；を有し、この予測アルゴリズムは少なくとも１つの未知のパラメータ
【０００７】
【数２０】
2005528045.tif 000003
によってかわってくる密度分布を有し、この復号器再構築システムは更に、
【０００８】
【数２１】
2005528045.tif 000004
を、式：
【０００９】
【数２２】
2005528045.tif 000005
によって予測するパラメータ予測アルゴリズム；を有し、ｂlは量子化判定レベルl群各々を表し、
【００１０】
【数２３】
2005528045.tif 000006
は各量子化判定レベル1,2,…,lに量子化されたデータの正規化生起頻度群の和である。予測アルゴリズムは
【００１１】
【数２４】
2005528045.tif 000007
によって表され、Zは量子化雑音であり、Ezは量子化雑音Zに関する期待値であり、
【００１２】
【数２５】
2005528045.tif 000008
は再構築オフセットを表し、
【００１３】
【数２６】
2005528045.tif 000009
は先行フレームのDCT係数の期待値であり、ρは−１と１との間の所定値であり、αi,nは量子化間隔の始点である。
【００１４】
第２の特徴では、本発明はスケーラブル復号器において用いる、パラメータ予測及び最適再構築（PEOR）の方法を備え、該方法は：量子化生起群を判定する工程；及びパラメータαを予測する工程；を有し、αは
【００１５】
【数２７】
2005528045.tif 000010
の式によって予測され、blは量子化判定レベルl群の各々を表し、
【００１６】
【数２８】
2005528045.tif 000011
は各量子化判定レベル1,2,…,lに量子化されたデータの正規化生起頻度群の和であり；更に、
【００１７】
【数２９】
2005528045.tif 000012
の式によって暫定的再構築点を生成する工程；及び該暫定的再構築点を平滑化して最適再構築点を生成する工程；を有する。
【００１８】
第３の特徴では、本発明はスケーラブル復号器において用いるパラメータ予測と最適再構築（PEOR）のシステムを備え、該システムは：
【００１９】
【数３０】
2005528045.tif 000013
の式によって最適再構築を判定する再構築システム；を有し、Zは量子化雑音であり、Ezは量子化雑音Zに関する期待値であり、
【００２０】
【数３１】
2005528045.tif 000014
は再構築オフセットを表し、
【００２１】
【数３２】
2005528045.tif 000015
は先行フレームの離散コサイン変換（DCT）の期待値であり、ρは−１と１との間の所定値に等しいものであり、αi,nは量子化間隔の始点である。
【発明を実施するための最良の形態】
【００２２】
本発明のこれら及び別の特徴は本発明の種々の特徴の以下の詳細の記載を添付図面とともに検討することによって容易に分かるものである。
【実施例】
【００２３】
従来の方法とは対照的に、本発明は、復号器システムで、空間的と時間的との方法における符号化ビットストリームの冗長情報を活用して復号器の効率を向上させるもの、を備える。本発明は既存の、ドリフトのないスケーラブル符号器、又はビットストリーム・シンタックス、に対する変更を要するものでない。したがって、特定のビットストリームに対して、本発明は全般的なピーク信号対雑音比(PSNR)の点から既存の復号器に対して一貫して向上させた復号化ビデオ品質を備える。
【００２４】
本発明は更に、R.  Zhang,  S.L.Regunathan,  及び  K.  Roseによる、「Optimal  Estimation  for  Error  Concealment  in  Scalable  Video  Coding,  Conference  Record  of  the  Thirty-Fourth  Asilomar  Conference  on  Signals,  Systems  and  Computers,  2000,  Volume:2,  2000」と題する、論文（以下「Zhang参照論文」とする。）に発表された考えを更に、推し進めるものであり、該論文は、スケーラブルなビデオ符号化におけるエラー隠蔽法のアルゴリズムを記載し、本明細書及び特許請求の範囲に援用する。本発明は、しかしながら、上記Zhang参照論文の考えを広げ、改良して、PSNRの点で一貫して良好なビデオ品質を備える。更に、以下に表すように、本発明はパラメータの訓練を要することなく、したがって多くのビデオのアプリケーションにおいて実用的なものである。更に、上記引用文献とは違って、本発明は復号器の性能を、伝送エラーが発生しない場合に、向上させるよう適用し得る。
【００２５】
Zhang参照論文は、スケーラブルなビデオ符号化の、拡張レイヤでのパケット喪失によってもたらされる損傷を軽減することによる、エラー隠蔽法の機構を備える。この参照内容は、現行のベース・レイヤのフレームと先行拡張レイヤのフレームとの両方からの復号器で利用可能なDCT領域における情報を使いこなすものである。この参照内容はフレーム間での変換係数の経時変化の統計的モデルを利用し、再構築係数の最適な予測を実施する。
【００２６】
特に（「フレーム間の」DCT係数の経時変化は1次マルコフ過程：
【００２７】
【数３３】
2005528045.tif 000016
によってモデル化し得るものであり、xi,nはフレームnにおけるi番目のDCT係数であり、xi,n-1は、先行フレームにおけるDCT係数で、それに対して動き補償によってマッピングされたもの、であり、wi,nは独立イノベーション生成過程であり、ρは１未満の絶対値を有するAR係数である。
【００２８】
拡張レイヤのパケットが喪失し、ブロックを再構築することを要するシナリオを検討する。それらは最初に、（エラーのない）ベース・レイヤによって備えられる情報で、（その量子化間隔を介して）相当する間隔を判定するもの、によって備えられる情報を用い、該間隔においては元のDCT係数値は：
xi,n∈(ai,n, bi,n）  (2)
に位置することを要する。
【００２９】
更に、
【００３０】
【数３４】
2005528045.tif 000017
を先行拡張レイヤ・フレームにおける相当するDCT係数の復号器再構築（で、破壊されたものであり得るものであり、したがって符号器再構築からは異なり得るもの）とする。全ての利用可能な情報を考慮すれば、喪失DCT係数を再構築するのに最適な予測は：
【００３１】
【数３５】
2005528045.tif 000018
によって表される。式(3)における予測は好都合に、再構築：
【００３２】
【数３６】
2005528045.tif 000019
によって近似化し得るものであり、
【００３３】
【数３７】
2005528045.tif 000020
であり、
【００３４】
【数３８】
2005528045.tif 000021
である。この期待値を求めるよう、wi,n
の密度は：
【００３５】
【数３９】
2005528045.tif 000022
と仮定する。式(5)は式(1)の過程xi,nのラプラス・マルコフ前提から導き出し得る。式(5)を用いれば、式(4)の値（本明細書及び特許請求の範囲においては併せて「Zhangアルゴリズム」と呼ぶ。）を容易に算定し得る。
【００３６】
上記Zhang参照文献は現行ベース・レイヤのデータと先行拡張レイヤのデータからの情報を一緒に活用する一方、この参照文献はいくつかの欠点を有する。第１に、Zhangアルゴリズムを実行するためには、パラメータρ及びαをオフラインで訓練を用いて、すなわち、訓練群から、得ることを要する。更に、選定されたパラメータはシーケンス全体で固定され、場面ベースの適応を困難にさせる。第２に、式(4)の近似化においては、先行拡張レイヤ・データの量子化雑音は組み入れられているものでない。したがって、式(4)は
【００３７】
【数４０】
2005528045.tif 000023
の重要性を過度に強調している。
【００３８】
本発明は上記Zhang参照論文の前述の欠点を、Zhangアルゴリズムの最適性を維持することによって、克服するものである。更に、本発明のシステム及び方法はエラーのないシナリオにおいて復号化ビデオを改良するよう適用可能である。
【００３９】
最初に図１を参照すれば、逆量子化装置２５の最適再構築点を動的に選定するスケーラブルな復号器10を表す。復号器１０は拡張ビットストリーム20及びベース・レイヤ・ビットストリーム22を受信し、拡張レイヤ・ビデオ２４を出力する。復号器１０はビット・プレーンVLD２６、ビット・プレーン・シフト２７、動き補償２８、及びフレーム・メモリ２９を有する。従来のドリフトのないスケーラブル復号器と違って、新たな復号器１０は別のフレーム・メモリ１２を有して先行拡張ビデオ・フレームを記憶する。更に、別の動き補償14及び離散コサイン変換（DCT）16を有する。この別の動き補償14及びDCT16を用いて、先行拡張フレームからの情報が組み入れられて現行フレームでの拡張DCT係数を最適に逆量子化する。
【００４０】
特に、復号器１０はパラメータ予測及び最適再構築(PEOR)のシステム１８を有する。このPEORは適応型予測手法を利用して式(5)における未知のパラメータ及び改良再構築式を、式(4)における、
【００４１】
【数４１】
2005528045.tif 000024
の量子化エラーを組み入れることによって、判定する。
【００４２】
図２は詳細に、パラメータ予測及び最適再構築(PEOR)のシステムを示す。PEORシステム18は拡張レイヤDCT26情報とベース・レイヤDCT28情報との間の残差を受信し、
【００４３】
【数４２】
2005528045.tif 000025
の最適再構築を出力する。図２に表すように、PEORシステム18は：(1)
【００４４】
【数４３】
2005528045.tif 000026
の量子化生起群を判定するシステム３０；を有し、該量子化生起群は、DCT係数をｊの量子化インデックスによってカウントし、更に、その結果をDCT係数総数によって除算することによって判定され；更に、(2)αを算定するパラメータ予測システム32；(3)暫定的再構築点を生成するシステム34；及び(4)
【００４５】
【数４４】
2005528045.tif 000027
の最適再構築点を生成する雑音分布システム36；を有する。これらのシステムの各々の詳細は以下に説明する。
【００４６】
Zhangアルゴリズムは式(5)におけるパラメータρに対して頑健であることが分かる。したがって、パラメータρは、低周波DCT係数(例えば、0.99)についてはρ≒1になるよう、高周波DCT係数(例えば、0.3)については、
【００４７】
【数４５】
2005528045.tif 000028
になるよう、各々、選定し得るものである。伝送エラーが存在しない場合には、ρの値はゼロに設定される。
【００４８】
Zhangアルゴリズムは、しかしながら、式(5)のパラメータαに対しては極めて感度の高いものである。したがって、本発明はαを予測する適応型方法を備える。式(5)のラプラス・マルコフ・モデルは、xi,nがパラメータαを有するラプラス確率密度関数(pdf)を有することを要求するので、この予測の課題はラプラス分布のパラメータ予測の課題に減し得る。したがって、パラメータαは、パラメータ予測システム３２内部でその量子化を以下の式：
【００４９】
【数４６】
2005528045.tif 000029
を用いた実現から、頑健に予測し得るものであり、0<b1<…bL＝∞は量子化判定レベルを表し、
【００５０】
【数４７】
2005528045.tif 000030
はレベル1,2,…,lに量子化されたデータの正規化生起頻度である。lはその場合、通常、
【００５１】
【数４８】
2005528045.tif 000031
であるが、1に等しいものでないように選択される。
【００５２】
式(5)のラプラス・マルコフ・モデルを用いて、再構築式(4)は
【００５３】
【数４９】
2005528045.tif 000032
として簡素化し得るものであり、
【００５４】
【数５０】
2005528045.tif 000033
は再構築オフセットを表す。この公式はシステム３４によって用いられて暫定的再構築点を生成し得る。式(5)に基づいて、再構築点34の通常の形状を図３に表すように生成し得る。
【００５５】
図３に表すように、再構築点３４は量子化間隔の境界での不連続点を有し、それは直観に反するものである。この現象は、
【００５６】
【数５１】
2005528045.tif 000034
が量子化雑音を何も有しないという仮定からくるものである。
【００５７】
この観察に基づいて、本発明の最適化再構築公式は近似化することなく公式(3)から直接導き出される。雑音分布システム３６を実施して不連続点を平滑化することによって、近似化なしの最適再構築点を、
【００５８】
【数５２】
2005528045.tif 000035
の式を用いて実施し得るものであり、Zは量子化雑音である。式(8)を用いたこの最適再構築点案の一般的な形状38を図4に表す。その結果、境界には不連続点は存在しないものとなる。
【００５９】
（雑音分布システム36によって実施される）量子化エラーの分布は如何なる既知の方法(例えば、ゼロ平均の、ガウス又はラプラス)においてもモデル化し得る。このエラーがパラメータβを有するラプラシアンであると仮定すれば、式(8)における期待値演算は図２に表すように実施し得るものであり、パラメータβは、
【００６０】
【数５３】
2005528045.tif 000036
として選択し得る。
【００６１】
本明細書並びに特許請求の範囲記載のシステム、機能、機構、方法、アルゴリズム及びモジュールは、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせにおいて実施し得る。これらは、如何なる種類のコンピュータ又は別の装置で、本明細書及び特許請求の範囲記載の方法を行うよう形成されたもの、によっても実施し得る。ハードウェアとソフトウェアとの一般的な組み合わせは、汎用コンピュータ・システムで、ロードされ、実行された場合に、このコンピュータ・システムを、このコンピュータ・システムが本明細書及び特許請求の範囲記載の方法を行うように、制御するコンピュータ・プログラムを有するもの、であり得る。代替として、本発明の1つ又は複数の機能的タスクを行う専用ハードウェアを有する、特殊用途向コンピュータを利用し得る。本発明は更に、コンピュータ・プログラム・プロダクトに組み込み得るものであり、このコンピュータ・プログラム・プロダクトは、本明細書及び特許請求の範囲記載の方法及び機能を実施することを可能にする特徴全てを有し、コンピュータ・システムにロードされた場合に、これらの方法及び機能を行うことができる。本明細書及び特許請求の範囲の意味合いにおけるコンピュータ・プログラム、ソフトウェア・プログラム、プログラム、プログラム・プロダクト、又はソフトウェアは、情報処理機能を有するシステムに特定の機能を、直接と、以下：(a)別の言語、符号又は表記への変換；並びに/若しくは(b)別の材質形態における再生；の何れか又は両方の後との、何れか、に行わせることを意図する命令群の、如何なる言語、符号又は表記においての、如何なる表現をも表す。
【００６２】
本発明の好適実施例の上記記載は例示及び説明の目的で示したものである。それらは、網羅的であることも、開示されたまさにその形態に本発明を限定することも、意図するものでなく、明らかに、多くの修正及び変形が上記の開示内容に鑑みて考えられる。当業者に明らかである、そのような修正及び変形は、本特許請求の範囲によって規定された本発明の範囲内に収まることを意図するものである。
【図面の簡単な説明】
【００６３】
【図１】本発明によるスケーラブルな復号器システムを表す図である。
【図２】本発明によるパラメータ予測と最適再構築システムを表す図である。
【図３】再構築点を表す図である。
【図４】本発明によって判定された最適再構築点を表す図である。
【図１】
2005528045.tif 000056
【図２】
2005528045.tif 000057
【図３】
2005528045.tif 000058
【図４】
2005528045.tif 000059
【国際調査報告】
2005528045.tif 000060
2005528045.tif 000061