(57)【要約】従来の８ビットの色の深さよりも視覚的な強度およびコントラストのきわめて正確な再現がますます使われ、高ビット深度と呼ばれる向上されたダイナミック・レンジの開発を動機付ける。M＜Nとして、いずれも同じ空間解像度をもつ、MビットRGBピクセルの第一の低ビット深度画像（IMBL）およびNビットRGBピクセルの第二の高ビット深度ビデオ画像（IMEL）をエンコードする方法が、第一および第二のビデオ画像の色ヒストグラム（HistBL、HistEL）に基づく第一の転換関数（LUTinter）を生成する段階と、第一の転換関数（LUTinter）に基づいて第二の転換関数（LUTfinal）を生成する段階と、第一のビデオ画像に第二の転換関数（LUTfinal）を適用（TR）して変換された第一のビデオ画像（IMTR,BL）が生成される段階と、残差（IMres）を計算してエンコードする段階と、第一のビデオ画像（IMBL）をエンコードする段階と、エンコードされた第一のビデオ画像（IMBL）、第二の転換関数（LUTfinal）およびエンコードされた差を伝送する段階とを有する。
2009544198.tif 000002
【特許請求の範囲】
【請求項１】
それぞれMビットをもつRGBピクセル値からなる第一のビデオ画像（IMBL）およびM＜NとしてそれぞれNビットをもつRGBピクセル値からなる第二のビデオ画像（IMEL）をエンコードする方法であって、前記第一のビデオ画像および前記第二のビデオ画像は同じ空間解像度をもち、
・2N通りの可能な入力値をもち前記第一および第二のビデオ画像の色ヒストグラム（HistBL、HistEL）に基づく第一の転換関数（LUTinter）を生成する段階と；
・前記第一の転換関数（LUTinter）に基づいて、2M通りの可能な入力値をもち、その入力値のそれぞれを前記第一の転換関数の対応する2(N-M)通りの値のうちの一つにマッピングする関数をもつ第二の転換関数（LUTfinal）を生成する段階と；
・前記第一のビデオ画像に前記第二の転換関数（LUTfinal）を適用（TR）する段階であって、前記第二の転換関数はピクセルをマッピングするために使われ、変換された第一のビデオ画像（IMTR,BL）が生成される段階と；
・前記変換された第一のビデオ画像（IMTR,BL）と前記第二のビデオ画像（IMEL）との間の差（IMres）を計算する段階と；
・前記差（IMres）をエンコードする段階と；
・前記第一のビデオ画像（IMBL）をエンコードする段階と；
・前記のエンコードされた第一のビデオ画像（IMBL）、前記の第二の転換関数（LUTfinal）および前記のエンコードされた差（IMres）を伝送する段階とを有する、
方法。
【請求項２】
第一の転換関数（LUTinter）を生成する前記段階が：
・再構成された第一の画像の、2M個のビンをもつ第一の色ヒストグラム（HistBL）を生成する段階と；
・前記第二の画像の、2N個のビンをもつ第二の色ヒストグラム（HistEL）を生成する段階と；
・前記第一の色ヒストグラム（HistBL）から2N個のビンをもつ平滑化された色ヒストグラム（SmHistBL）を生成（sm）する段階とを有し、ここで、前記第一のヒストグラムの各ビンの値は2(N-M)個のビンに分配され、前記第一の転換関数（LUTinter）は前記平滑化された色ヒストグラム（SmHistBL）と前記第二の色ヒストグラム（HistEL）との間の転換を定義する、
請求項１記載の方法。
【請求項３】
前記第一のビデオ画像（IMBL）をエンコードし；
エンコードされた第一のビデオ画像をデコードして再構成された第一のビデオ画像（IMBL,rec）を取得する初期段階をさらに有しており、
前記第二の転換関数を適用（TR）する前記段階が前記再構成された第一のビデオ画像についてである、請求項１または２記載の方法。
【請求項４】
前記第二の転換関数（LUTfinal）の入力値のそれぞれを前記第一の転換関数の対応する2(N-M)通りの値のうちの一つにマッピングする前記関数が、確率マッピング関数である、請求項１ないし３のうちいずれか一項記載の方法。
【請求項５】
前記確率マッピング関数が、前記第二の転換関数の2M個の値のそれぞれについて、前記第一の転換関数の対応する2N-M個の値から、前記第二のヒストグラム（HistEL）において最高の値をもつものである一つの値を選択する、請求項４記載の方法。
【請求項６】
前記確率マッピング関数が、前記第二の転換関数の2M個の値のそれぞれについて、前記第一の転換関数の対応する2N-M個の値から、前記対応する2N-M個の値の平均値以下の最も近い整数である一つの値を選択する、請求項４記載の方法。
【請求項７】
ビットストリーム（bs）中において受信される第一および第二のビデオ画像をデコードする方法であって、前記第一および第二のビデオ画像は同じ空間解像度をもち、
・前記ビットストリーム（bs）から、前記第一および第二のビデオ画像についてのビデオ・データならびに色向上制御データを抽出する段階と；
・前記第一のビデオ画像をデコードおよび再構成（decBL）する段階であって、それぞれMビットをもつ色ピクセル値をもつ再構成された第一のビデオ画像（IMBL）が得られる段階と；
・前記色向上制御データからマッピング・テーブル（LUTfinal）を構築（decLUT）する段階と；
・前記マッピング・テーブル（LUTfinal）を前記再構成された第一のビデオ画像（IMBL）のピクセルに適用（TRdec）する段階であって、前記再構成された第一のビデオ画像とは異なる色ヒストグラムをもつ変換された第一のビデオ画像（IMTR,BL）が生成される段階と；
・前記第二のビデオ画像（IMres）をデコードし、ここで、前記第二のビデオ画像はピクセル差分値を含む、段階と；
・デコードされた第二のビデオ画像（IMres）を前記変換された第一のビデオ画像（IMTR,BL）に加える段階であって、M＜NとしてそれぞれNビットをもつ色ピクセル値をもつ再構成された第二のビデオ画像（IMEL）が得られる段階とを有する、
方法。
【請求項８】
前記変換された第一のビデオ画像（IMTR,BL）が、前記再構成された第一のビデオ画像（IMBL）のそれぞれの色ヒストグラムとは異なる赤、緑および／または青のための色ヒストグラムをもつ、請求項７記載の方法。
【請求項９】
前記色向上制御データから三つの別個のマッピング・テーブル（LUTfinal）またはマッピング・テーブル領域が生成され、前記別個のマッピング・テーブルまたはマッピング・テーブル領域のそれぞれが前記の赤、緑および青の色の一つに関係する、請求項７または８記載の方法。
【請求項１０】
それぞれMビットをもつRGBピクセル値からなる第一のビデオ画像（IMBL）およびM＜NとしてそれぞれNビットをもつRGBピクセル値からなる第二のビデオ画像（IMEL）をエンコードする装置であって、前記第一のビデオ画像および前記第二のビデオ画像は同じ空間解像度をもち、
・2N通りの可能な入力値をもち前記第一および第二のビデオ画像の色ヒストグラム（HistBL、HistEL）に基づく第一の転換関数（LUTinter）を生成する手段と；
・前記第一の転換関数（LUTinter）に基づいて、2M通りの可能な入力値をもち、その入力値のそれぞれを前記第一の転換関数の対応する2(N-M)通りの値のうちの一つにマッピングする関数をもつ第二の転換関数（LUTfinal）を生成する手段と；
・前記第一のビデオ画像に前記第二の転換関数（LUTfinal）を適用（TR）する手段であって、前記第二の転換関数はピクセルをマッピングするために使われ、変換された第一のビデオ画像（IMTR,BL）が生成される手段と；
・前記変換された第一のビデオ画像（IMTR,BL）と前記第二のビデオ画像（IMEL）との間の差（IMres）を計算する手段と；
・前記差（IMres）をエンコードする手段と；
・前記第一のビデオ画像（IMBL）をエンコードする手段と；
・前記のエンコードされた第一のビデオ画像（IMBL）、前記の第二の転換関数（LUTfinal）および前記のエンコードされた差（IMres）を伝送する手段とを有する、
装置。
【請求項１１】
第一の転換関数（LUTinter）を生成する前記手段が：
・再構成された第一の画像の、2M個のビンをもつ第一の色ヒストグラム（HistBL）を生成する手段と；
・前記第二の画像の、2N個のビンをもつ第二の色ヒストグラム（HistEL）を生成する手段と；
・前記第一の色ヒストグラム（HistBL）から2N個のビンをもつ平滑化された色ヒストグラム（SmHistBL）を生成（sm）する手段とを有し、ここで、前記第一のヒストグラムの各ビンの値は2(N-M)個のビンに分配され、前記第一の転換関数（LUTinter）は前記平滑化された色ヒストグラム（SmHistBL）と前記第二の色ヒストグラム（HistEL）との間の転換を定義する、
請求項１０記載の装置。
【請求項１２】
ビットストリーム（bs）中において受信される第一および第二のビデオ画像をデコードする装置であって、前記第一および第二のビデオ画像は同じ空間解像度をもち、
・前記ビットストリーム（bs）から、前記第一および第二のビデオ画像についてのビデオ・データならびに色向上制御データを抽出する手段と；
・前記第一のビデオ画像をデコードおよび再構成（decBL）する手段であって、それぞれMビットをもつ色ピクセル値をもつ再構成された第一のビデオ画像（IMBL）が得られる手段と；
・前記色向上制御データからマッピング・テーブル（LUTfinal）を構築（decLUT）する手段と；
・前記マッピング・テーブル（LUTfinal）を前記再構成された第一のビデオ画像（IMBL）のピクセルに適用（TRdec）する手段であって、前記再構成された第一のビデオ画像とは異なる色ヒストグラムをもつ変換された第一のビデオ画像（IMTR,BL）が生成される手段と；
・前記第二のビデオ画像（IMres）をデコードし、ここで、前記第二のビデオ画像はピクセル差分値を含む、手段と；
・デコードされた第二のビデオ画像（IMres）を前記変換された第一のビデオ画像（IMTR,BL）に加える手段であって、M＜NとしてそれぞれNビットをもつ色ピクセル値をもつ再構成された第二のビデオ画像（IMEL）が得られる手段とを有する、
装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ色向上データ（video  color  enhancement  data）をエンコードする方法および装置に関する。さらに、本発明はビデオ色向上データをデコードする方法および装置に関する。
【背景技術】
【０００２】
近年、従来の８ビットの色の深さ（color  depth）よりも視覚的な強度およびコントラストのきわめて正確な再現が、医療撮像、高品質ビデオ機能のあるコンピュータ・ゲームおよびプロのスタジオおよびホームシアター関係の用途といった多くの分野においてますます使われている。この傾向は、向上されたダイナミック・レンジの開発を動機付ける。そのような向上されたダイナミック・レンジは、従来の８ビットの色の深さとの比較の便宜上、本願では高ビット深度（high  bit-depth）と呼ぶ。電子センサー、プロセッサおよび記憶装置の発展が取り込み装置および表示装置の両方について非常に高いピクセル解像度につながったという事実と対照的に、デジタル撮像システムの色の容量は非常にゆっくりしたペースで進化してきた。デジタル化された視覚コンテンツの第一世代が登場して以来、８ビットの色の深さが、取り込み装置および表示装置について優勢であり続けてきた。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】R・C・ゴンザレス（Gonzalez）、R・E・ウッズ（Woods）、「デジタル画像処理（Digital  image  processing）」、第２版、第94‐102頁、プレンティス・ホール（Prentice  Hall）、2002年
【発明の概要】
【発明が解決しようとする課題】
【０００４】
将来のかなり長い期間、標準的な８ビットとより高いビット数のデジタル画像処理システムが消費者市場に同時に存在するであろうという事実を考えると、色ビット深度（color  bit-depth）のスケーラビリティが潜在的に有用である。異なる色ビット深度がとりわけ重要になるのは、たとえばマルチメディア・コンテンツ送達の際の端末表示装置についてである。
【課題を解決するための手段】
【０００５】
本発明は、ビデオ色空間スケーラビリティを可能にする方法および装置を提供する。本発明のある側面によれば、差分的にエンコードされる色向上層をエンコードする方法および装置が提供される。本発明のもう一つの側面は、従来式の色ビット深度画像または向上された色ビット深度画像を得るためにビデオ信号をデコードする方法および装置である。
【０００６】
原理的には、本発明のエンコード側面は以下のステップを含む：入力色値を出力色値にマッピングするのに好適な転換関数（transfer  function）を、たとえばルックアップ・テーブル（LUT）の形で生成し、ここで入力色値および出力色値はいずれも2M通りの異なる色からなり、前記転換関数を低いまたは通常の色ビット深度をもつ第一のビデオ画像に適用し、転換されたビデオ画像とより高い色ビット深度（N＞MとしてNビット；ただし、第一のビデオ画像と同じ空間解像度）をもつ第二のビデオ画像との間の差分画像または残差を生成し、前記残差をエンコードする。次いで、エンコードされた第一のビデオ画像、前記転換関数のパラメータ（たとえば、LUTそのもの）およびエンコードされた残差が受信側に伝送される。前記転換関数のパラメータもエンコードされてもよい。さらに、前記転換関数のパラメータはエンコードされているものとして示される。
【０００７】
前記第一および第二の画像はそれぞれ色基本層および色向上層であると見なせる。
【０００８】
より詳細には、前記転換関数は、前記第一および第二のビデオ画像の色ヒストグラムを比較し、その目的のために、2M個のビンをもつ前記第一の映像の色ヒストグラムは、2N（N＞M）個のビンをもつ「平滑化された」色ヒストグラムに変換され、平滑化されたヒストグラムおよび色向上層ヒストグラムから、平滑化された色ヒストグラムの値と色向上層ヒストグラムの値の間の転換を定義する転換関数を決定することによって得られてもよい。記載される手順は、基本的なディスプレイ色、赤、緑および青について別個になされる。
【０００９】
本発明のデコード側面によれば、デコードする方法は、ビットストリームから第一および第二のビデオ画像についてのビデオ・データを抽出し、色向上制御データを抽出し、さらに前記第一のビデオ画像をデコードおよび再構成し、ここで、それぞれMビットの色ピクセル値をもつ再構成された第一のビデオ画像が得られ、前記色向上制御データから転換関数を実装するマッピング・テーブルを構築することを含む。次いで、前記マッピング・テーブルは前記再構成された第一のビデオ画像のピクセルのそれぞれに適用され、結果として得られる転換されたビデオ画像は予測画像としてはたらき、それが次いでデコードされた第二のビデオ画像をもって更新される。前記のデコードされた第二のビデオ画像は残差画像であり、前記更新は結果として、それぞれNビット（N＞M）をもつピクセル値をもち、よって前記再構成された第一のビデオ画像より高い色空間をもつ、向上したビデオ画像を与える。
【００１０】
上記の諸ステップは、基本的なビデオ色の赤、緑および青のそれぞれについて別個に実行される。こうして、完全なビデオ信号は、各画像について、エンコードされた低い色解像度の画像と、これらの色のそれぞれについて、いずれもより高い色解像度の画像を生成するための、エンコードされた残差画像および転換関数のパラメータをもつ。有利なことに、前記転換関数および前記残差画像を生成することは、生のビデオ画像のRGB値に対して実行され、したがって、前記のさらなるビデオ・エンコードからは独立である。よって、低い色解像度の画像は次いでいかなる従来式のエンコードを使って、たとえばMPEGまたはJVT規格（AVC、SVCなど）に従ってエンコードされることもできる。また、デコード側において、色向上は、従来式のデコードの上に実行され、よってそのエンコード・フォーマットからは独立である。
【００１１】
こうして、より低い色ビット深度表示機能をもつ装置（たとえば８ビット・ディスプレイ）は、より低い色ビット深度をもつ色基本層をデコードするだけでよい。一方、向上した色ビット深度表示機能をもつ進んだ装置（たとえば１２ビット・ディスプレイ）は色向上層および赤、緑、青についての転換テーブルをもデコードし、色空間をフルに利用する画像を生成してもよい。
【００１２】
本発明は、新しい種類のビデオ・スケーラビリティ、すなわち色ビット深度のスケーラビリティに関係し、符号化効率を改善するために色ビット深度スケーラブルなコーデックの層間予測において適用できる色ビット深度予測ソリューションを提供する。残差画像を生成する前に転換関数を使って予測画像を生成することの利点は、予測画像がそれぞれの色向上層画像によりよく一致するため、エンコードがより効率的になるということである。たとえば、色基本層において9A（十六進）という８ビット値によって記述される特定の緑色調の値は、色向上層における9A0（十六進）ないし9AF（十六進）という16通りの異なる１２ビットの色値にマッピングされうる。ある画像ではこれら１６通りの値の一つが色向上層において優勢でありうる一方、別の画像ではそれは別の値であることがありうる。このように、本発明は、色向上層の最適化されたエンコードを可能にする。
【００１３】
本発明の有利な実施形態は従属請求項、以下の記述および図面において開示される。
【００１４】
本発明の例示的な実施形態が付属の図面を参照して記載される。
【図面の簡単な説明】
【００１５】
【図１】色ビット深度スケーラブルなビデオ符号化および復号の構造を示す図である。
【図２】エンコード過程の流れ図である。
【図３】平滑化されたヒストグラム指定の流れ図である。
【図４】ヒストグラム平滑化の例を示す図である。
【図５】デコード過程の流れ図である。
【図６】完全な向上層エンコーダの概観を示す図である。
【発明を実施するための形態】
【００１６】
図１は、色ビット深度スケーラブルなビデオ符号化および復号の一般的な構造を示している。エンコーダENCは各ビデオ画像を、Mビットの通常の色解像度とNビットの向上された色解像度（N＞M）とで２回受け取る。二つの独立な別個のビデオ・ストリームを生成する代わりに、色基本層および色向上層が生成される。ここで、色向上層は色基本層に依存する。図１に示されるように、より高いビット深度の色を予測するために、エンコーダおよびデコーダの両方において層間予測が実行される。
【００１７】
図１の基本層エンコーダ・ブロックは、たとえば別個の輝度およびクロミナンス値の生成、DCT変換などといった何らかの空間的および／または時間的冗長性削減など、通常のエンコード・ステップのすべてを含む。デコーダ側では、基本層デコーダがそれぞれのデコードを実行する。「基本層（base  layer）」および「向上層（enhancement  layer）」は色ビット深度だけについていうものである。有利なことに、基本層については、本発明によって可能にされる色向上プロセスとは独立に、いかなるビデオ・エンコードおよびデコード方法も使用できる。基本層デコーダの出力は、たとえばMビットの色解像度をもち、通常の表示装置に好適である。一方、向上層デコーダの出力は、赤、緑、青の部分画像のそれぞれについて2N（N＞M）通りの異なる色値を表示できる高品質ディスプレイに好適である。Nの例は、Mがたとえば8なら、10、12または16ビットであるが、原理的には、MおよびN（N＞M）のあらゆる組み合わせが実装可能である。品質スケーラビリティ、空間的スケーラビリティおよび時間的スケーラビリティといった他の型のスケーラビリティと同様、層間予測は符号化効率に著しい影響を与える。
【００１８】
本発明は、平滑化されたヒストグラム指定に基づく色ビット深度予測のための空間的に一様なアプローチを提案する。同じ場面を記述する二つの画像を考える。それら二つの画像について、対応するピクセルどうし（ここで、「対応するピクセル」とは、それぞれ前記二つの画像に属するが画像座標系において同じ座標をもつ二つのピクセルを意味する）は同じ場面位置を指す。対応するピクセル間の唯一の相違は、色ビット深度である。一方の画像の各色はMビット長の符号語でエンコードされ、他方の画像ではM＜NとしてNビット長の符号語でエンコードされるとする。逆色調マッピングの務めは、予測されたNビット画像ともとのNビット画像との間の差が最小化されるという基準に従って、Mビット画像からNビット画像の予測されたバージョンを生成することである。予測されたNビット画像ともとのNビット画像の間の差はいかなる方法によって測定してもよい。たとえばPSNRはビデオ圧縮の分野において広く受け入れられ、使用されている。さらに、この場合、最も重要な側面は、予測された画像がどう見えるかということよりも、予測された画像が後続の残差データ圧縮のためにどのくらい効果的に機能するかということである。
【００１９】
図２は、本発明のある実施形態の一般的なエンコード手順を示している。基本層画像IMBLはマッピング関数を実装するルックアップ・テーブルLUTfinalを使って変換TRされる。変換TRの結果は変換された基本層画像IMTR,BLである。ルックアップ・テーブルLUTfinalは別の中間ルックアップ・テーブルLUTinterから生成される。この中間ルックアップ・テーブルLUTinterは基本層画像、好ましくは再構成された基本層画像と向上層画像との色ヒストグラムから生成される。これらの画像の異なる色解像度のため、これらの画像の色ヒストグラムは異なる数のビン（可能な各色について一つ）をもつばかりでなく、向上層画像のビンの間の値の分布は、各基本層色について、およびシーケンスの各画像について異なることがありうる。たとえば、基本層がMビットをもち向上層がNビットをもつ場合、基本層ヒストグラムの各ビンは向上層ヒストグラムの2N-M個のビンに対応する。すなわち、各基本層ピクセル値は通常、2N-M個のピクセル値のうちの一つを予測するはたらきをすることになる。この予測は、二つの画像の色ヒストグラムを考えることによって最適化される。中間ルックアップ・テーブルLUTinterは、後述するように、向上層画像の色ヒストグラムHistELと基本層画像IMBLから生成された色ヒストグラムSmHistBLとの間の変換を記述するヒストグラム変換関数を実装する。
【００２０】
変換された基本層画像IMTR,BLは向上層画像IMELを予測するために使われ、差分または残差Δが計算され、エンコードされ、送信される。これらのプロセスすべてはR、GおよびBについて別個である。
【００２１】
図３は、提案される空間的に一様な逆色調マッピングの詳細を示している。よりよい理解のため、基本層（Mビット）画像は「入力画像」NIと名付けられ、向上層（Nビット）画像は「所望される画像」DIと名付け直される。一つの基本的発想は、ヒストグラム指定（histogram  specification）（非特許文献１）のアルゴリズムをNIおよびDIに適用することである。NIを、DIのヒストグラムによって指定されるような特定のヒストグラムをもつように変換するルックアップ・テーブルが生成される。
【００２２】
しかしながら、色ビット深度予測について古典的なヒストグラム指定を用いるときには、二つの主要な欠点がある。第一に、ヒストグラムは離散的な値をもつので、変換されたNIはDIと厳密に同じヒストグラムをもつのではない。そうではなく、変換されたNIのヒストグラムはDIのヒストグラムの近似である。第二に、二つのヒストグラムの異なるビン・サイズ（異なるビット深度によって生じる）は、それらの間のマッチングを劣化させる。（ビン・サイズとは、各色成分のレベルの数を意味する。たとえば8ビット画像のビン・サイズは256である。）これは、考えられている色ビット深度予測における格別な欠点である。たとえば、NIが単にDIからのビット・シフトである場合、ヒストグラム指定によって得られた変換されたNIのPSNRはしばしば、単純な逆ビット・シフトによって得られるよりも低くなることがある。
【００２３】
これらの欠点を克服するため、NIのヒストグラムを、指定される前に「平滑化する（smooth）」ことを提案する。平滑化されたヒストグラムSmHistBLは、ヒストグラム指定のプロセスについての所望されるヒストグラムのはたらきをするDIのヒストグラムHistELと同じビン・サイズである。古典的なヒストグラム指定アルゴリズムは、この平滑化されたヒストグラムおよび所望されるヒストグラムに対して適用される。最後に、「確率マッピング（Probability  mapping）」と呼ばれる後処理が実行されてLUTが得られる。平滑化されたヒストグラム指定のフローチャートが図３に示されている。px(xk)、k＝0,1,…,2M−1はNIのヒストグラムHistBLを表し、DIのヒストグラムHistELはpz(zk)、k＝0,1,…,2N−1によって記述される。
【００２４】
図３において、低ビット数（Mビット）画像NIについて、一つの色チャネルのヒストグラムはpx(x)である。ヒストグラムは式(5)を使って平滑化され、平滑化されたヒストグラムpx′(x)が結果として生じる。これは高ビット数（Nビット）画像DIのヒストグラムと同じビン・サイズをもつ。値が累計され、結果としてsk（図３の例についてはk＝1,…,16）を生じる。それは関数F(xk′)として表せる。
【００２５】
高ビット数（Nビット）画像DIは同じ色チャネルのヒストグラムpz(z)をもつ。累計の結果としてvk（上と同じk）を生じる。それは関数G(zk)として表せる。次いで、分布vjが決定される。これはskの各値について、（高ビット数画像DIのvkの値のうちから）最良一致する値vlを与える。この分布vjは値sk（したがってxk′）から値vkへの変換を樹立し、変換Gの逆変換である。
【００２６】
以下では、ヒストグラム平滑化の過程について述べる。ヒストグラム平滑化の目標は、入力ヒストグラムを「伸張」（stretch）して、所望されるヒストグラムと同じビン・サイズをもつようにすることである。これは、本ヒストグラム指定プロセスにとっての必須要件である。図３の記法に従うと、px(xk)の値は、式(5)
【数１】
2009544198.tif 000003
に示されるように、対応する範囲[xk′，xk′＋1，…，xk′＋2(N-M)−1]に一様に分散される。
【００２７】
「一様分布」を保証するため、規格化されない（un-normalized）ヒストグラムが使用される。平滑化されたヒストグラムの簡単な例が図４に示されている。図４のａ）は2ビットの色ビット深度をもつ、すなわち特定の色、たとえば赤の22＝4通りの可能な色値がある基本層入力画像の色ヒストグラムを示している。ヒストグラム平滑化プロセスはこのヒストグラムを4ビットの色ビット深度、すなわち24＝16通りの可能な色値に「伸張」する。入力画像の単一のビン内の値の数は、入力画像内でこの特定の色値をもつピクセルの数である。たとえば、値0に対応する左端のビン内の値40は、入力画像の40個のピクセルが0という「赤」値をもつことを意味する（このヒストグラムは色「赤」のものである）。平滑化プロセスはこれらの値を平滑化されたヒストグラムの2N-M個の対応するビンに分布させる。2N-M＝4であるこの例において、平滑化されたヒストグラムの最初の４つのビンがもとのヒストグラムの最初のビンに対応する。式(5)によれば、もとのヒストグラムの40個の値は、図４のｂ）に示されるように、平滑化されたヒストグラムの４つの対応するビンに均等に分布される。
【００２８】
平滑化の背後にある発想は、入力ヒストグラムの連続性を改善して、ヒストグラム指定がより効率的となるようにするということである。詳しくは、図３に示されている式(1)、(2)および(4)の、連続グレーレベル画像についての代替を：
【数２】
2009544198.tif 000004
と書き下す。
【００２９】
連続グレーレベルの場合、入力ヒストグラムは所望されるヒストグラムと厳密に同じとして指定されることができるが、前述したように、離散的なグレーレベルについては、所望されるヒストグラムに対する近似しか達成できない。さらに、グレーレベルの数が無限大に近づくにつれ、近似は厳密な一致に近づく。したがって、理論上は、平滑手順は入力ヒストグラムの離散化の際のサンプリング・レートを上げることと等価であり、異なるビン・サイズをもつ二つのヒストグラムの間の直接的なヒストグラム指定よりも性能がよい。
【００３０】
平滑化されたヒストグラムは、このアルゴリズムでは単に中間段階である。それに対応する画像はない。
【００３１】
以下では、確率マッピングのプロセスについて述べる。ひとたび古典的なヒストグラム指定アルゴリズムが平滑化されたヒストグラムpx′(x)および所望されるヒストグラムpz(z)に適用されたら、中間LUT  yk′＝LUTinter(xk′)が生成される。次の問題は、対応する範囲[xk′，xk′＋1，…，xk′＋2(N-M)−1]の複数のマッピングされた値から一意的なマッピングされた値を選ぶことである。例示的に、確率マッピングのための基準として、下記の式(6)および(7)に記載されるように、二つの異なる基準が提案される：
【数３】
2009544198.tif 000005
ここで、ykはxkのマッピングされた値である。もとのヒストグラムを所望されるヒストグラムにマッピングするための最終的なLUT  yk＝LUTfinal(xk),  k＝0,1,…,2M−1,  yk∈{zl,  l＝0,1,…,2N−1}が生成される。
【００３２】
式(6)は、xkが対応する2N-M個の値のうちで、所望されるヒストグラムpz(y1′)において最も大きな値をもつものを選択するということを述べている。
【００３３】
式(7)は、xkが対応する2N-M個の値のうちで、その平均（mean）以下の最も近い整数を最終的にマッピングされた値として使うことを述べている。
【００３４】
LUTinterは、入力画像の平滑化されたヒストグラムを所望される画像のヒストグラムにマッピングするので、「１対１」のマッピングである。しかしながら、入力画像のストレートなヒストグラムを考える場合、各xkが2N-M個の値に対応することを見ることができる。「確率マッピング」の務めは、2N-M個の値から、xkの最終的にマッピングされた値として一つだけの値を選ぶことである。よって、LUTfinalはやはり「１対１」マッピングである。各値xkを値ykにマッピングするのである。所望される画像の全体の値（2N個）のうち2M個の値のみが対応するxkをもつので、LUTのマッピングは可逆である。
【００３５】
上記のアルゴリズムが入力画像および所望される画像に対して適用されるとき、両方の画像のヒストグラムが計算される。次いで、入力ヒストグラムが平滑化され、結果として「平滑化されたヒストグラム」を与える。残りのステップ（古典的なヒストグラム指定および確率マッピング）が完遂されたのち、入力ヒストグラムのレベルを所望されるヒストグラムのレベルにマッピングするための最終的なLUTが生成される。次いで、そのLUTを入力画像の各ピクセルに適用することによって予測画像が生成される。
【００３６】
図６は、R、GおよびBの画像について別個の分枝をもつ完全な向上層エンコーダの概観を示している。基本層は従来式にエンコードされる。
【００３７】
本発明は、ビデオ・エンコーダおよびビデオ・デコーダのために、特に同じ空間的解像度の色基本層および色向上層を最適化された効率でエンコード／デコードするために使用可能である。
【図１】
2009544198.tif 000006
【図２】
2009544198.tif 000007
【図３】
2009544198.tif 000008
【図４】
2009544198.tif 000009
【図５】
2009544198.tif 000010
【図６】
2009544198.tif 000011
【国際調査報告】
2009544198.tif 000012
2009544198.tif 000013
2009544198.tif 000014