(57)【要約】本発明は、オリジナルのカラー画像シーケンスに対応する入力デジタルビデオシーケンスを符号化する方法であって、ビデオシーケンスを空間表象ドメインからデータ量がより少ない表現データに変換する変換ステップと、前記変換信号を縮小データに変換する量子化ステップと、縮小データを符号化する符号化ステップとを少なくとも含む方法に関する。本発明によれば、前記の符号化方法はまた、前記変換ステップの前に、入力ビデオシーケンスが、輝度成分Ｙとクロミナンス成分Ｕ及びＶで表されるＹＵＶ色空間かどうかを判断し、前記色空間を、最終的な質の劣化の可能性を考慮に入れた非線形変換によって、より冗長性の少ない色空間に変換する前処理ステップも含む。
2005522957.tif 000002
【特許請求の範囲】
【請求項１】
オリジナルのカラー画像シーケンスに対応する入力デジタルビデオシーケンスを符号化する方法であって、
（１）前記ビデオシーケンスをオリジナルの空間表象ドメインからデータ量がより少ない表現データに変換する変換ステップと、
（２）変換信号を縮小データに変換する量子化ステップと、
（３）前記縮小データを符号化する符号化ステップと、
を少なくとも含み、
（４）前記変換ステップの前に、前記入力ビデオシーケンスの色空間が、輝度成分Ｙとクロミナンス成分Ｕ及びＶで表されるＹＵＶ色空間かどうかを判断し、前記ＹＵＶ色空間を、最終的な質の劣化の可能性を考慮に入れた非線形変換によって、より冗長性の少ない色空間に変換する前処理ステップをさらに含むことを特徴とする符号化方法。
【請求項２】
請求項１記載の符号化方法であって、前記前処理ステップは、圧縮処理前のオリジナルのＮ階調（Ｎは整数）のグレーレベルよりも低いＭ階調（Ｍは整数）のグレーレベルを用いて輝度ダイナミックレンジを圧縮する処理であって、前記圧縮処理は、前記Ｎ階調のグレーレベルの輝度ダイナミックレンジを中心レンジ[Ａ；Ｂ]並びに２つのサイドレンジ[０；Ａ]及び[Ｂ；Ｎ−１]に分割し、前記オリジナルのサイドレンジ[０；Ａ]と[Ｂ；Ｎ−１]は前記圧縮処理により変換サイドレンジ[０；Ｃ]と[Ｄ；Ｍ−１]に変換され、[０；Ｃ]は[０；Ａ]よりも低く、[Ｄ；Ｍ−１]は[Ｂ；Ｎ−１]よりも低く、前記中心レンジ[Ａ；Ｂ]は変化させないことを特徴とする符号化方法。
【請求項３】
請求項２記載の符号化方法であって、前記サイドレンジに対して均一な圧縮をかけることを特徴とする符号化方法。
【請求項４】
請求項１記載の符号化方法であって、前記前処理ステップは、圧縮処理前のオリジナルのＮ階調（Ｎは整数）のグレーレベルよりも低いＭ階調（Ｍは整数）のグレーレベルを用いて輝度ダイナミックレンジを圧縮する処理であって、前記圧縮処理は、前記Ｎ階調のグレーレベルの輝度ダイナミックレンジを中心レンジ[Ａ；Ｂ]並びに２つのサイドレンジ[０；Ａ]及び[Ｂ；Ｎ−１]に分割し、前記オリジナルの中心レンジ[Ａ；Ｂ]並びにサイドレンジ[０；Ａ]及び[Ｂ；Ｎ−１]は、前記圧縮処理により変換中心レンジ[Ｃ；Ｄ]並びにサイドレンジ[０；Ｃ]及び[Ｄ；Ｍ−１]にそれぞれ変換され、[０；Ｃ]は[０；Ａ]よりも低く、[Ｃ；Ｄ]は[Ａ；Ｂ]よりも低く、[Ｄ；Ｍ−１]は[Ｂ；Ｎ−１]よりも低く、前記オリジナルの中心レンジ[Ａ；Ｂ]に適用される圧縮率は前記オリジナルのサイドレンジに適用される圧縮率よりも低いことを特徴とする符号化方法。
【請求項５】
請求項４記載の符号化方法であって、前記中心レンジの前記圧縮率と、前記サイドレンジの前記圧縮率が均一であることを特徴とする符号化方法。
【請求項６】
請求項２乃至４のいずれかの請求項に記載の符号化方法であって、前記サイドレンジの前記圧縮は適応的かつ区分連続的であり、前記中心レンジに隣接する前記サイドレンジの各々において前記輝度圧縮率を漸次減少させることを特徴とする符号化方法。
【請求項７】
請求項６記載の符号化方法であって、前記隣接部における前記輝度圧縮率を漸次減少させるのに少なくとも一以上のアフィン関数を用いることを特徴とする符号化方法。
【請求項８】
請求項６記載の符号化方法であって、前記隣接部における前記輝度圧縮率を漸次減少させるのに複数のシグモイド関数を用いることを特徴とする符号化方法。
【請求項９】
請求項５乃至７のいずれかの請求項に記載の符号化方法であって、前記輝度ダイナミックレンジの圧縮後、前記サイドレンジにおける更なる動的圧縮を考慮して、前記サイドレンジにおける変換後の複数の値がさらにクラスタ化されることを特徴とする符号化方法。
【請求項１０】
オリジナルのカラー画像シーケンスに対応する入力デジタルビデオシーケンスを符号化する装置であって、
（１）前記ビデオシーケンスをオリジナルの空間表象ドメインからデータ量がより少ない表現データに変換する変換手段と、
（２）変換信号を縮小データに変換する量子化手段と、
（３）前記縮小データを符号化する符号化手段と、
を少なくとも有し、
（４）前記変換手段の前段に、前記入力ビデオシーケンスの色空間が、輝度成分Ｙとクロミナンス成分Ｕ及びＶで表されるＹＵＶ色空間かどうかを判断し、前記ＹＵＶ色空間を、最終的な質の劣化の可能性を考慮に入れた非線形変換によって、より冗長性の少ない色空間に変換する前処理手段をさらに含むことを特徴とする符号化装置。
【請求項１１】
請求項１０記載の符号化装置であって、前記前処理手段は、圧縮前のオリジナルのＮ階調（Ｎは整数）のグレーレベルよりも低いＭ階調（Ｍは整数）のグレーレベルを用いて輝度ダイナミックレンジを圧縮するステージであって、前記圧縮処理は、前記Ｎ階調のグレーレベルの輝度ダイナミックレンジを中心レンジ[Ａ；Ｂ]並びに２つのサイドレンジ[０；Ａ]及び[Ｂ；Ｎ−１]に分割し、前記オリジナルのサイドレンジ[０；Ａ]及び[Ｂ；Ｎ−１]は前記圧縮処理により変換サイドレンジ[０；Ｃ]と[Ｄ；Ｍ−１]に変換され、[０；Ｃ]は[０；Ａ]よりも低く、[Ｄ；Ｍ−１]は[Ｂ；Ｎ−１]よりも低く、前記中心レンジ[Ａ；Ｂ]は変化させないことを特徴とする符号化装置。
【請求項１２】
請求項１０記載の符号化装置であって、前記前処理手段は、圧縮前のオリジナルのＮ階調（Ｎは整数）のグレーレベルよりも低いＭ階調（Ｍは整数）のグレーレベルを用いて輝度ダイナミックレンジを圧縮するステージであって、前記圧縮処理は、前記Ｎ階調のグレーレベルの輝度ダイナミックレンジを中心レンジ[Ａ；Ｂ]並びに２つのサイドレンジ[０；Ａ]及び[Ｂ；Ｎ−１]とに分割し、前記オリジナルの中心レンジ[Ａ；Ｂ]並びにサイドレンジ[０；Ａ]及び[Ｂ；Ｎ−１]は前記圧縮処理により変換中心レンジ[Ｃ；Ｄ]並びにサイドレンジ[０；Ｃ]及び[Ｄ；Ｍ−１]にそれぞれ変換され、[０；Ｃ]は[０；Ａ]よりも低く、[Ｃ；Ｄ]は[Ａ；Ｂ]よりも低く、[Ｄ；Ｍ−１]は[Ｂ；Ｎ−１]よりも低く、前記オリジナルの中心レンジ[Ａ；Ｂ]に適用される圧縮率は前記オリジナルのサイドレンジに適用される圧縮率よりも低いことを特徴とする符号化装置。
【請求項１３】
オリジナルのカラー画像シーケンスに対応する入力デジタルビデオシーケンスを符号化する符号化装置を実現するためのコンピュータ読み取り可能なプログラムコード手段を有するコンピュータ読み取り可能なメディアを含むシステムであって、前記コンピュータ読み取り可能なプログラムコード手段は、
コンピュータに、前記入力カラービデオシーケンスの色空間が、輝度成分Ｙとクロミナンス成分Ｕ及びＶで表されるＹＵＶ色空間であるかどうかを検知させ、前記ＹＵＶ色空間をより冗長性の少ない色空間に変換するプログラムコードと、
前記コンピュータに、前記オリジナルの空間表象ドメインから変換されたシーケンスを表現データ量がより少ない新たな表象ドメインに変換させるプログラムコードと、
前記コンピュータに、前記変換されたシーケンスの量子化を実行させるプログラムコードと、
前記コンピュータに、前記量子化データを符号化させるプログラムコードと
を含むことを特徴とするシステム。
【請求項１４】
オリジナルのカラー画像シーケンスに対応する入力デジタルビデオシーケンスに適用される符号化方法を用いて符号化された信号を復号化する方法であって、前記符号化方法は、
（１）前記ビデオシーケンスを前記オリジナルの空間表象ドメインからデータ量がより少ない表示データに変換する変換ステップと、
（２）変換信号を縮小データに変換する量子化ステップと、
（３）前記縮小データを符号化する符号化ステップと、
（４）前記変換ステップの前に、前記入力ビデオシーケンスの前記色空間が、輝度成分Ｙとクロミナンス成分Ｕ及びＶで表されるＹＵＶ色空間かどうか判断し、前記ＹＵＶ色空間を最終的な質の劣化の可能性を考慮した非線形変換によって、より冗長性の少ない色空間に変換する前処理ステップと
を少なくとも含み、
前記復号化方法は、
（１）前記符号化信号を復号化する復号化ステップと、
（２）復号化信号に適用される逆量子化ステップと、
（３）逆量子化信号を前記オリジナルの空間表象ドメインに変換する逆変換ステップと、
（４）逆変換信号に、前記前処理ステップの前記非線形変換に対する逆変換を実行する後処理ステップと
を含むことを特徴とする復号化方法。
【請求項１５】
請求項１４記載の復号化方法を用いて信号を復号化することを特徴とする装置。
【請求項１６】
請求項１４記載のデジタルビデオ復号化方法を実現するコンピュータ読み取り可能なプログラムコード手段を有する、コンピュータ読み取り可能な媒体を含むシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に画像圧縮に関し、特にオリジナルのカラー画像シーケンスに対応する入力デジタルビデオシーケンスを符号化する方法に関する。前記方法は、少なくとも以下のステップを含む。
（１）前記ビデオシーケンスを、オリジナルの空間表象ドメインから（例えば、変換符号化、メッシュベースの符号化、予測符号化等で用いられる）データ量がより少ない表示データに変換する変換ステップと、
（２）前記変換された信号をデータ量を削減したデータに変換する量子化ステップと、
（３）前記データ量を削減したデータを符号化する符号化ステップ。
【０００２】
本発明はまた、対応するエンコーダ、前記符号化方法で符号化された信号の復号化方法、対応するデコーダ、前記符号化／復号化方法を実行するコンピュータ読み取り可能なプログラムコードを含むシステムに関する。
【背景技術】
【０００３】
一般に、データ圧縮システムは、データサイズを削減して送信処理や格納処理により適した圧縮フォーマットにするために、オリジナルのデータストリームを当該データ中の冗長性を利用して処理する。前記データに対しては、例えば、（かなりの冗長性を有したままの）ＲＧＢ色空間、白／黒（ＷＢ）、赤／緑（ＲＧ）、青／黄（ＢＹ）等のいわゆる反対色空間（opponent  color  space）、また、ビデオの場合にはＹＵＶ空間など、様々な色空間（色空間は、線形に独立である３色によって完全にパラメータ化されている）を用いることができる。
【０００４】
従来の画像処理技術では、ビデオは３つの別個のチャネル、輝度Ｙ、クロミナンス成分Y、クロミナンス成分Ｖを用いて符号化されることが多かった。従来の（Ｙ、Ｕ、Ｖ）表示方式では、歪曲度／歪曲率を大きく改善することは困難と考えられていたため、出願人（ＰＨＦＲ０２００１４）による、２００２年２月２８日出願の欧州特許出願第０２２２９０８４．１号明細書には、符号化効率をより向上させる（例えば、同じビット数でより多くの情報を符号化する、または、少ない情報を極めて少ないビット数で符号化する）ために表象空間を変更することが提案されている。前記の明細書に記載の符号化方法は、符号化ステップの前に、入力ビデオシーケンスが存在する色空間を確認し、当該色空間を非線形変換によって冗長性のより低い空間に変換する前処理ステップを主に含む。しかし、情報量の低減は質の劣化をもたらすことがあり得る。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従って、本発明の第１の目的は、デジタルカラービデオシーケンスのオリジナルの色空間を、最終的な画質の劣化の可能性を考慮した非線形変換によって、冗長性のより少ない色空間に変換できる、デジタルカラービデオシーケンスを圧縮する符号化方法を提供することにある。
【課題を解決するための手段】
【０００６】
前記の目的を達成するため、本発明は、オリジナルのカラー画像シーケンスに対応する入力デジタルビデオシーケンスを符号化する方法であって、
（１）前記ビデオシーケンスを、オリジナルの空間表象ドメインから（例えば、変換符号化、メッシュベースの符号化、予測符号化等で用いられる）データ量がより少ない表示データに変換する変換ステップと、
（２）前記変換された信号をデータ量を削減したデータに変換する量子化ステップと、
（３）前記データ量を削減したデータを符号化する符号化ステップと
を少なくとも含み、
前記変換ステップの前に、入力ビデオシーケンスの色空間が、輝度成分Ｙ、クロミナンス成分Ｕ及びＶで表されるＹＵＶ色空間であるかを判断し、最終的な画質の劣化を考慮に入れた非線形変換によって、ＹＵＶ色空間をより冗長性の少ない色空間に変換する前処理ステップをさらに含むことを特徴とする。
【０００７】
情報中の要部全てをより高い精度で符号化することで、重要度の低い情報の質の低下は生じるにしても、符号化効率を向上させることができる。
【発明を実施するための最良の形態】
【０００８】
添付の図面を参照しつつ、本発明についてより詳細に説明する。
【０００９】
本発明の適用範囲は幅広いが（例えば、デジタルムービー、ハイビジョンテレビ（high-definition  television）、科学的な画像の送信や視覚化など）、最終的に認識されるのは人間の目であることに鑑み、本発明の基本概念は、人間の視覚システムによる視覚信号の分割に基づいた表現を選択すること、つまり、画像コードを人間（観察者）の視覚能力にマッチするように設計することにある。
【００１０】
知覚能力に関する研究によれば、標準的な視覚条件の下で、人間の目は小さな輝度の違い（１〜５階調のグレーレベル）を区別できないことが分かっている。そのため、一般的なアプローチとして、例えば図１で示すように、２５６階調のグレーレベルの代わりに１２８階調を用いる（これは７ビットの輝度信号を用いた符号化に等しい）等、少ない階調のグレーレベルで輝度のダイナミックレンジを均一に圧縮することが行われる。実験によれば、輝度のダイナミックレンジを圧縮した後に逆変換を画像に対して行った場合、人間の目では原画像と再構成画像との差異を検知できない。
【００１１】
従って、本発明は、輝度のダイナミックレンジを適応的に圧縮することを提案する。本願の出願人が行った知覚実験によれば、２５６階調のグレーレベル（例えば、０から２５５）を含む輝度のダイナミックレンジに関して、人間の目は、輝度レンジ[０；７０]や輝度レンジ[１３０；２５５]よりも、輝度レンジ[７０；１３０]における輝度の変化に対して敏感であることが分かっている。より一般的に言えば、本願の出願人は、Ｎ階調のグレーレベル（例えば、０〜Ｎ−１）を含む輝度のダイナミックレンジに関して、重要性がより高い情報は中心レンジ[Ａ；Ｂ]に位置しており、重要性のより低い情報は両端のレンジ[０；Ａ]及び[Ｂ；Ｎ−１]に位置すると考察した。
【００１２】
輝度レンジによって知覚のされ方が異なるという上記特性を利用するために、Ｎ階調のグレーレベル（例えば、図２に示すように０〜Ｎ−１）を含む輝度レンジにおいて、図１に示す輝度のダイナミックレンジに対する均一な圧縮により、Ｍ階調（ただし、ＭはＮ未満）のグレーレベルを含む輝度レンジが出力されるというように、図２に示すように輝度のダイナミックレンジの中心レンジ[Ａ；Ｂ]を変化させず、中心レンジ外部の輝度を圧縮することが提案される。既述したように、本願の出願人が行った実験によれば、Ａ＝７０、Ｂ＝１３０の値をとることが望ましい（Ｎ＝２５６の場合）。例えば、図３に示す例では、輝度のダイナミックレンジは７０〜１３０の間では変化させず、当該レンジ外部の０〜７０及び１３０〜２５５の間で圧縮率が２となっている。
【００１３】
実際、様々な圧縮方法を提案することができる。図２に示す例では、両端のレンジは均一に圧縮されているが、これ以外の方法も用い得る。図４に示すように、中心レンジの外部を適応的かつ区分的に連続して圧縮しても良い。このように、輝度の圧縮率を、０〜Ａの間とＮ−１〜Ｂの間で漸次減少させる。例えば、複数（図４では３つ）の単純なアフィン関数を用いても良いし、より複雑な関数（例えば、シグモイド関数）を用いても良い。また、中心レンジの値とその外部の値について異なる比率を用いても良い。例えば、２５６階調のグレーレベルを６４階調のグレーレベル（つまり、６ビット）に圧縮する場合に、中心レンジ[７０、１３０]については比率を２とし、その両端のレンジ[０、７０]及び[１３０、２５５]については、より高い比率としても良い。
【００１４】
また、ダイナミックレンジの圧縮後は整数値Ｍのみが使用されるため、いったん輝度変換が行われると、中心レンジ（ＡＢ間）内の元の値についてはより正確な値を用い、中心レンジの外部については（図５に示すように）オリジナルの値の複数を一つの値にクラスタ化する（そして、両端のレンジの一方あるいは双方において、さらに圧縮率を高めるために、クラスタ化された値もクラスタ化することができる）。
【００１５】
本発明による符号化方法を実施する符号化装置の一実施形態について説明する。図６に示すように、ビデオシーケンス（ビデオ信号ＶＳ）は、まずプロセッサ６１に供給され、プロセッサ６１の出力はエンコーダ６２で受け取られる。入力ビデオ信号に含まれるデータには、当該ビデオシーケンスが対応する原画像中の対応する位置の色成分（輝度信号Ｙ、色差信号Ｕ及びＶ）を示すピクセル値が含まれる。エンコーダ６２は、例えば、８×８ピクセルのブロックを周波数領域に線形変換するＤＣＴ（離散コサイン変換）変換回路１６１、ＤＣＴ係数を受け取ってその量子化を行う量子化部１６２、量子化係数の符号化ステップを行う可変長符号化部１６３、可変長符号化部１６３の出力信号を格納し、量子化設定の変更を可能とするフィードバック信号を量子化部１６２に送信するレート制御部（一般に、このようなレート制御部は、符号化ビットストリームを受信するバッファと、更新量子化設定を生成する更新回路とを含む）を含む。プロセッサ６１は、表象空間（Ｙ、Ｕ、Ｖ）を新たな空間に変更するのに用いられる。
【００１６】
復号化側には、上述した逆変換を実施する復号化装置が設けられる。図７に示すように、復号化装置は、デコーダ７１と、これに続くポストプロセッサ７２を含む。ポストプロセッサ７２は、トゥルーカラー画像ＣＩの復元を可能とする逆変換を行う。前記デコーダは、上述した符号化装置を用いて符号化されたビットストリームを受信する。前記デコーダは、通常、可変長デコーダ１７１、逆量子化回路１７２、逆ＤＣＴ回路１７３、再構成回路１７４を含む。
【００１７】
符号化装置（６１、６２）と復号化装置（７１、７２）は、多様な方法で実現して、上述した機能を実施することができる。一実施形態によれば、符号化装置と復号化装置を媒体に格納されるソフトウェアとして実現し、一般的に中央演算処理装置、メモリ、一またはそれ以上の入力／出力装置、プロセッサを含む、多目的コンピュータシステムや特別に構成されたコンピュータシステムで実行できる。あるいは、符号化装置と復号化装置をハードウェア、ソフトウェア、ファームウェアの組み合わせとして実現しても良い。ただし、いくつかの機能をソフトウェアまたはハードウェアのみによって実現することや、ハードウェアのみまたはソフトウェアのみの組み合わせ、あるいは両者の組み合わせで一機能を実行することもできる。記載されている方法や装置は、任意のタイプのコンピュータシステムや記載の方法を実行するのに適した他の装置によって実現することができる。前記コンピュータシステムは、ロードされ実行された時に、上述した方法を実行するように当該コンピュータシステムを制御するコンピュータプログラムを含む。
【００１８】
また、本発明の一またはそれ以上の機能的タスクを実行する専用のハードウェアを含む、特定用途向けコンピュータを用いても良い。本発明はまた、上述した方法や機能の実行を可能にする機能を含み、コンピュータシステムにロードした際に当該方法や機能を実行可能なコンピュータプログラムプロダクトとして実現しても良い。本明細書において、コンピュータプログラム、ソフトウェアプログラム、プログラム、プログラムプロダクト、ソフトウェアという表現は、言語、コードまたは表示法に関わらず、情報処理能力を有するシステムに直接、または（ａ）別の言語、コードあるいは表示法への変換と、（ｂ）異なる形式での再生の少なくとも一方を経た後に特定の機能を実施させる一組の命令を指す。
【図面の簡単な説明】
【００１９】
【図１】輝度ダイナミックレンジの均一な圧縮を示すグラフである（Ｘ軸はオリジナルの輝度値、Ｙ軸は圧縮後に得られる新たな輝度値に対応する）。
【図２】本発明による、知覚ダイナミックレンジの圧縮の例を同様の座標を用いて示すグラフである。
【図３】レンジによって異なる比率で輝度圧縮を行う例を示すグラフである。
【図４】両端のレンジについて適応的かつ区分連続的な圧縮を行う例を示すグラフである。
【図５】中心レンジの外部で、オリジナルの輝度値をクラスタ化する方法を示すグラフである。
【図６】本発明による符号化装置を示す図である。
【図７】本発明による復号化装置を示す図である。
【図１】
2005522957.tif 000003
【図２】
2005522957.tif 000004
【図３】
2005522957.tif 000005
【図４】
2005522957.tif 000006
【図５】
2005522957.tif 000007
【図６】
2005522957.tif 000008
【図７】
2005522957.tif 000009
【国際調査報告】
2005522957.tif 000010
2005522957.tif 000011
2005522957.tif 000012