(57)【要約】【課題】レベル制限されている画像からレベル制限されていない画像を生成する。【解決手段】クラス分類部２１は、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素に対して、クラス分類を行う。クラス分類部２１は、その際、注目画素の画素値がレベル制限されているか否かを判定し、その判定結果に応じて、同位階層クラスタップ又は上位階層クラスタップを用いて、クラス分類を行う。データ生成部２３は、クラス分類手段による生成画素のクラスについて予め求められている変換係数と、予測タップを用いて、生成画素の画素値を予測演算する。本発明は、TV受像機に適用できる。【選択図】図２
2009060481.tif 000002
【特許請求の範囲】
【請求項１】
画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成する画像処理装置において、
前記入力画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記入力画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類手段と、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から予測タップとして抽出する予測タップ抽出手段と、
前記クラス分類手段による前記生成画素のクラスについて予め求められている係数と、前記予測タップを用いて、前記生成画素の画素値を予測演算する予測演算手段と、
前記注目画素の画素値がレベル制限されているか否かを判定する第１の判定手段と
を備え、
前記クラス分類手段は、前記第1の判定手段による判定結果を含めて前記クラス分類を行う
画像処理装置。
【請求項２】
前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から注目階層クラスタップとして抽出する抽出手段と、
前記注目画素を含む前記入力画像の所定の複数の画素を前記入力画像から抽出するとともに、それらの画素の画素値を用いて、前記注目階層クラスタップと同じ画素数の上位階層クラスタップを生成する上位階層クラスタップ生成手段と、
前記抽出手段により抽出された前記注目階層クラスタップを構成する全ての画素の画素値がレベル制限されているか否かを判定する第２の判定手段と
を更に備え、
前記クラス分類手段は、前記第２の判定手段による判定結果に応じて、前記注目階層クラスタップ又は前記上位階層クラスタップをクラスタップとして、前記クラス分類を行う
請求項１に記載の画像処理装置。
【請求項３】
前記クラス分類手段は、前記第２の判定手段による判定結果を更に含めて前記クラス分類を行う
請求項２に記載の画像処理装置。
【請求項４】
前記上位階層クラスタップ生成手段は、抽出した前記注目画素を含む前記入力画像の所定の複数の画素の画素値を、所定の画素毎に、その画素値の平均値を求め、その結果得られた画素値から、前記上位階層クラスタップを生成する
請求項２に記載の画像処理装置。
【請求項５】
前記入力画像は、色情報又は輝度情報について一定の範囲内にレベル制限されており、
前記予測演算手段は、前記生成画素の色差値又は輝度値を、予測演算する
請求項１に記載の画像処理装置。
【請求項６】
前記上位階層クラスタップ生成手段は、レベル制限されている色情報又は輝度情報と異なる情報で、前記上位階層クラスタップを生成する
請求項４に記載の画像処理装置。
【請求項７】
前記入力画像は、xvYCC規格に準拠した画像フォーマットである
請求項1に記載の画像処理装置。
【請求項８】
画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成する画像処理装置の画像処理方法において、
前記入力画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記入力画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップと、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から予測タップとして抽出する予測タップ抽出ステップと、
前記クラス分類ステップでの前記生成画素のクラスについて予め求められている係数と、前記予測タップを用いて、前記生成画素の画素値を予測演算する予測演算ステップと、
前記注目画素の画素値がレベル制限されているか否かを判定する判定ステップと
を含み、
前記クラス分類ステップは、前記判定ステップでの判定結果を含めて前記クラス分類を行う
画像処理方法。
【請求項９】
画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成する画像処理をコンピュータに実行させるプログラムにおいて、
前記入力画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記入力画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップと、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から予測タップとして抽出する予測タップ抽出ステップと、
前記クラス分類ステップでの前記生成画素のクラスについて予め求められている係数と、前記予測タップを用いて、前記生成画素の画素値を予測演算する予測演算ステップと、
前記注目画素の画素値がレベル制限されているか否かを判定する判定ステップと
を含み、
前記クラス分類ステップは、前記判定ステップでの判定結果を含めて前記クラス分類を行う
画像処理をコンピュータに実行させるプログラム。
【請求項１０】
画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成するために用いられる変換係数を生成する学習装置であって、
前記所定の再現範囲に対して一定の範囲内にレベル制限されている生徒画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記生徒画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類手段と、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記生徒画像の所定の複数の画素を、前記生徒画像から予測タップとして抽出する予測タップ抽出手段と、
前記所定の再現範囲を有する教師画像から、前記生成画素に対応する教師画素の画素値を抽出し、抽出した前記教師画素の画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる、前記生成画素のクラスに対応する前記変換係数を求める演算手段と
を備える学習装置。
【請求項１１】
前記教師画像が、前記所定の再現範囲に対して一定の範囲内にレベル制限されている
請求項１０の学習装置。
【請求項１２】
画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成するために用いられる変換係数を生成する学習装置の学習方法であって、
前記所定の再現範囲に対して一定の範囲内にレベル制限されている生徒画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記生徒画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップと、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記生徒画像の所定の複数の画素を、前記生徒画像から予測タップとして抽出する予測タップ抽出ステップと、
前記所定の再現範囲を有する教師画像から、前記生成画素に対応する教師画素の画素値を抽出し、抽出した前記教師画素の画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる、前記生成画素のクラスに対応する前記変換係数を求める演算ステップと
を含む学習方法。
【請求項１３】
画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成するために用いられる変換係数を生成する学習処理をコンピュータに実行させるプログラムであって、
前記所定の再現範囲に対して一定の範囲内にレベル制限されている生徒画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記生徒画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップと、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記生徒画像の所定の複数の画素を、前記生徒画像から予測タップとして抽出する予測タップ抽出ステップと、
前記所定の再現範囲を有する教師画像から、前記生成画素に対応する教師画素の画素値を抽出し、抽出した前記教師画素の画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる、前記生成画素のクラスに対応する前記変換係数を求める演算ステップと
を含む学習処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び方法、学習装置及び方法、並びにプログラムに関し、特に、画素値がレベル制限された画像から、レベル制限されていない画像を生成するようにした画像処理装置及び方法、学習装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
放送やパッケージメディアなどの映像コンテンツの色再現範囲を規定する規格として、xvYCCという規格が2006年10月に成立した。このxvYCC規格では、従来のITU-R BT.709の色域（sRGB規格と同等）との互換性を確保しながら、色空間が広げられている。
【０００３】
ITU-R BT.709の色差方式では、図１の上の欄に示されるように、量子化数が８ビットの場合、色情報について、本来の色再現範囲（“１”乃至“２５４”）に対して、下限値が“１６”で上限値が“２４０”となる範囲にレベル制限されている。
【０００４】
これに対してxvYCC規格では、図１の下の欄に示されているように、そのようなレベル制限がなされていない。
【０００５】
従ってxvYCC規格に準拠して処理すれば、色再現範囲がsRGB規格を上回るテレビ受像機において、本来の色空間を有する映像コンテンツを再生することができる。
【０００６】
しかしながら、例えば既に録画されて保存されている映像コンテンツの中には、図１に示したように、色再現範囲がレベル制限されたものが多く存在する。このようにレベル制限されている映像コンテンツを、色再現範囲が拡大されたテレビ受像機で再生しても、結局は、本来の色空間で映像コンテンツは再生されない。
【０００７】
画素値を創造する技術としてクラス分類適用処理が開発されている。色信号についてのクラス分類適応処理とし、単板CCDが出力する画像データから、３板CCD出力相当の画像データを求めるものもある（例えば、特許文献１参照）。
【特許文献１】特開２００２−６４８３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しなしながら、従来においては、クラス分類適用処理により色空間自体を拡張する方法は存在しない。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、クラス分類適用処理により、例えば色再現範囲がレベル制限されている映像コンテンツから、本来の色再現範囲を有する映像コンテンツを生成することできるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の画像処理装置は、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成する画像処理装置において、前記入力画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記入力画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類手段と、前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から予測タップとして抽出する予測タップ抽出手段と、前記クラス分類手段による前記生成画素のクラスについて予め求められている係数と、前記予測タップを用いて、前記生成画素の画素値を予測演算する予測演算手段と、前記注目画素の画素値がレベル制限されているか否かを判定する第１の判定手段とを備え、前記クラス分類手段は、前記第1の判定手段による判定結果を含めて前記クラス分類を行う。
【００１１】
前記画像処理装置には、前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から注目階層クラスタップとして抽出する抽出手段と、前記注目画素を含む前記入力画像の所定の複数の画素を前記入力画像から抽出するとともに、それらの画素の画素値を用いて、前記注目階層クラスタップと同じ画素数の上位階層クラスタップを生成する上位階層クラスタップ生成手段と、前記抽出手段により抽出された前記注目階層クラスタップを構成する全ての画素の画素値がレベル制限されているか否かを判定する第２の判定手段とを更に設け、前記クラス分類手段には、前記第２の判定手段による判定結果に応じて、前記注目階層クラスタップ又は前記上位階層クラスタップをクラスタップとして、前記クラス分類を行わせることができる。
【００１２】
前記クラス分類手段には、前記第２の判定手段による判定結果を更に含めて前記クラス分類を行わせることができる。
【００１３】
前記上位階層クラスタップ生成手段には、抽出した前記注目画素を含む前記入力画像の所定の複数の画素の画素値を、所定の画素毎に、その画素値の平均値を求め、その結果得られた画素値から、前記上位階層クラスタップを生成させることができる。
【００１４】
前記入力画像は、色情報又は輝度情報について一定の範囲内にレベル制限されており、前記予測演算手段には、前記生成画素の色差値又は輝度値を、予測演算させることができる。
【００１５】
前記上位階層クラスタップ生成手段には、レベル制限されている色情報又は輝度情報と異なる情報で、前記上位階層クラスタップを生成させることができる。
【００１６】
前記入力画像が、xvYCC規格に準拠した画像フォーマットであるようにすることができる。
【００１７】
本発明の一側面の画像処理方法は、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成する画像処理装置の画像処理方法において、前記入力画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記入力画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップと、前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から予測タップとして抽出する予測タップ抽出ステップと、前記クラス分類ステップでの前記生成画素のクラスについて予め求められている係数と、前記予測タップを用いて、前記生成画素の画素値を予測演算する予測演算ステップと、前記注目画素の画素値がレベル制限されているか否かを判定する判定ステップとを含み、前記クラス分類ステップは、前記判定ステップでの判定結果を含めて前記クラス分類を行う。
【００１８】
本発明の一側面のプログラムは、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成する画像処理をコンピュータに実行させるプログラムにおいて、前記入力画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記入力画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップと、前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から予測タップとして抽出する予測タップ抽出ステップと、前記クラス分類ステップでの前記生成画素のクラスについて予め求められている係数と、前記予測タップを用いて、前記生成画素の画素値を予測演算する予測演算ステップと、前記注目画素の画素値がレベル制限されているか否かを判定する判定ステップとを含み、前記クラス分類ステップは、前記判定ステップでの判定結果を含めて前記クラス分類を行う画像処理をコンピュータに実行させる。
【００１９】
本発明の一側面の画像処理装置及び方法、並びにプログラムにおいては、入力画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記入力画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類が行われ、前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記入力画像の所定の複数の画素が、前記入力画像から予測タップとして抽出され、前記生成画素のクラスについて予め求められている係数と前記予測タップを用いて、前記生成画素の画素値が予測演算され、前記注目画素の画素値がレベル制限されているか否かが判定され、その判定結果を含めて前記クラス分類が行われる。
【００２０】
本発明の一側面の学習装置は、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成するために用いられる変換係数を生成する学習装置であって、前記所定の再現範囲に対して一定の範囲内にレベル制限されている生徒画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記生徒画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類手段と、前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記生徒画像の所定の複数の画素を、前記生徒画像から予測タップとして抽出する予測タップ抽出手段と、前記所定の再現範囲を有する教師画像から、前記生成画素に対応する教師画素の画素値を抽出し、抽出した前記教師画素の画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる、前記生成画素のクラスに対応する前記変換係数を求める演算手段とを備える。
【００２１】
前記教師画像が、前記所定の再現範囲に対して一定の範囲内にレベル制限されているようにすることができる。
【００２２】
本発明の一側面の学習方法は、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成するために用いられる変換係数を生成する学習装置の学習方法であって、前記所定の再現範囲に対して一定の範囲内にレベル制限されている生徒画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記生徒画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップと、前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記生徒画像の所定の複数の画素を、前記生徒画像から予測タップとして抽出する予測タップ抽出ステップと、前記所定の再現範囲を有する教師画像から、前記生成画素に対応する教師画素の画素値を抽出し、抽出した前記教師画素の画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる、前記生成画素のクラスに対応する前記変換係数を求める演算ステップとを含む。
【００２３】
本発明の一側面のプログラムは、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成するために用いられる変換係数を生成する学習処理をコンピュータに実行させるプログラムであって、前記所定の再現範囲に対して一定の範囲内にレベル制限されている生徒画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記生徒画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップと、前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記生徒画像の所定の複数の画素を、前記生徒画像から予測タップとして抽出する予測タップ抽出ステップと、前記所定の再現範囲を有する教師画像から、前記生成画素に対応する教師画素の画素値を抽出し、抽出した前記教師画素の画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる、前記生成画素のクラスに対応する前記変換係数を求める演算ステップとを含む学習処理をコンピュータに実行させる。
【００２４】
本発明の一側面の学習装置及び学習方法、並びにプログラムにおいては、所定の再現範囲に対して一定の範囲内にレベル制限されている生徒画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記生徒画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類が行われ、前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記生徒画像の所定の複数の画素が、前記生徒画像から予測タップとして抽出され、前記所定の再現範囲を有する教師画像から、前記生成画素に対応する教師画素の画素値が抽出され、抽出された前記教師画素の画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる、前記生成画素のクラスに対応する前記変換係数が求められる。
【発明の効果】
【００２５】
本発明の一側面によれば、クラス分類適用処理により、再現範囲がレベル制限されている画像から、本来の再現範囲を有する画像を生成することができる。
【発明を実施するための最良の形態】
【００２６】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２７】
本発明の一側面の画像処理装置は、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成する画像処理装置において、
前記入力画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記入力画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類手段（例えば、図２のクラス分類部２１）と、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から予測タップとして抽出する予測タップ抽出手段（例えば、図２の予測タップ抽出部４１）と、
前記クラス分類手段による前記生成画素のクラスについて予め求められている係数と、前記予測タップを用いて、前記生成画素の画素値を予測演算する予測演算手段（例えば、図２の演算部４２）と、
前記注目画素の画素値がレベル制限されているか否かを判定する第１の判定手段（例えば、図２のクラスタップ抽出部３２）と
を備え、
前記クラス分類手段は、前記第1の判定手段による判定結果を含めて前記クラス分類を行う。
【００２８】
前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から注目階層クラスタップとして抽出する抽出手段（例えば、図２のクラスタップ抽出部３２）と、
前記注目画素を含む前記入力画像の所定の複数の画素を前記入力画像から抽出するとともに、それらの画素の画素値を用いて、前記注目階層クラスタップと同じ画素数の上位階層クラスタップを生成する上位階層クラスタップ生成手段（例えば、図２の上位階層クラスタップ生成部３３）と、
前記抽出手段により抽出された前記注目階層クラスタップを構成する全ての画素の画素値がレベル制限されているか否かを判定する第２の判定手段（例えば、図２のADRC処理部３４）と
を更に備え、
前記クラス分類手段は、前記第２の判定手段による判定結果に応じて、前記注目階層クラスタップ又は前記上位階層クラスタップをクラスタップとして、前記クラス分類を行う。
【００２９】
前記クラス分類手段は、前記第２の判定手段による判定結果を更に含めて前記クラス分類を行う（例えば、図２のクラス値生成部３５）。
【００３０】
前記上位階層クラスタップ生成手段は、抽出した前記注目画素を含む前記入力画像の所定の複数の画素の画素値を、所定の画素毎に、その画素値の平均値を求め、その結果得られた画素値から、前記上位階層クラスタップを生成する（例えば、図４）。
【００３１】
前記入力画像は、色情報又は輝度情報について一定の範囲内にレベル制限されており、
前記予測演算手段は、前記生成画素の色差値又は輝度値を、予測演算する（例えば、図１０）。
【００３２】
本発明の一側面の画像処理方法又はプログラムは、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成する画像処理装置の画像処理方法において、又は画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成する画像処理をコンピュータに実行させるプログラムにおいて、
前記入力画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記入力画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップ（例えば、図６のステップＳ１３）と、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記入力画像の所定の複数の画素を、前記入力画像から予測タップとして抽出する予測タップ抽出ステップ（例えば、図６のステップＳ１５）と、
前記クラス分類ステップでの前記生成画素のクラスについて予め求められている係数と、前記予測タップを用いて、前記生成画素の画素値を予測演算する予測演算ステップ（例えば、図６のステップＳ１６）と、
前記注目画素の画素値がレベル制限されているか否かを判定する判定ステップ（例えば、図７のステップＳ２１）と
を含み、
前記クラス分類ステップは、前記判定ステップでの判定結果を含めて前記クラス分類を行う（例えば、図７のステップＳ３２）。
【００３３】
本発明の一側面の学習装置は、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成するために用いられる変換係数を生成する学習装置であって、
前記所定の再現範囲に対して一定の範囲内にレベル制限されている生徒画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記生徒画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類手段（例えば、図８のクラス分類部６２）と、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記生徒画像の所定の複数の画素を、前記生徒画像から予測タップとして抽出する予測タップ抽出手段（例えば、図８の予測タップ抽出部８１）と、
前記所定の再現範囲を有する教師画像から、前記生成画素に対応する教師画素の画素値を抽出し、抽出した前記教師画素の画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる、前記生成画素のクラスに対応する前記変換係数を求める演算手段（例えば、図８の係数生成部６４）と
を備える。
【００３４】
本発明の一側面の学習方法又はプログラムは、画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成するために用いられる変換係数を生成する学習装置の学習方法であって、又は画素値が所定の再現範囲に対して一定の範囲内にレベル制限されている入力画像から、前記所定の再現範囲の出力画像を生成するために用いられる変換係数を生成する学習処理をコンピュータに実行させるプログラムであって、
前記所定の再現範囲に対して一定の範囲内にレベル制限されている生徒画像の注目している注目画素に対応する位置にある出力画像のいまから生成される生成画素を、前記注目画素を含む前記生徒画像の複数の画素から生成されたクラスタップを用いて、複数のクラスのうちの何れかにクラス分けするクラス分類を行うクラス分類ステップ（例えば、図９のステップＳ５３）と、
前記生成画素を予測するために用いる複数の画素であって、前記注目画素を含む前記生徒画像の所定の複数の画素を、前記生徒画像から予測タップとして抽出する予測タップ抽出ステップ（例えば、図９のステップＳ５４）と、
前記所定の再現範囲を有する教師画像から、前記生成画素に対応する教師画素の画素値を抽出し、抽出した前記教師画素の画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる、前記生成画素のクラスに対応する前記変換係数を求める演算ステップ（例えば、図９のステップＳ５７）と
を含む。
【００３５】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００３６】
図２は、本発明を適用した画像処理装置１１の構成例を示している。
【００３７】
画像処理装置１１には、画素値が所定の再現範囲に対して一定の範囲内にレベル制限された画像が入力画像として入力される。画像処理装置１１は、この入力画像から、クラス分類適応処理により、本来の再現範囲の画像（則ちレベル制限されていない画像に相当する画像）（以下、出力画像と称する）を生成する。則ちレベル制限されている画像が、レベル制限されていない画像に変換される。
【００３８】
この場合、図１の上段の欄に示されるように、色情報についての本来の色再現範囲（“１”乃至“２５４”）に対して、下限値が“１６”で上限値が“２４０”となる範囲にレベル制限されているITU-R BT.709規格に準拠した動画が、入力画像として入力されるものとする。画像処理装置１１は、この入力画像から、xvYCC規格に準拠した画像に相当する画像、則ち色情報について本来の色再現範囲を有する出力画像を生成する。
【００３９】
画像処理装置１１は、クラス分類部２１、係数読み出し部２２、データ生成部２３、表示制御部２４、及び表示部２５から構成される。
【００４０】
クラス分類部２１及びデータ生成部２３には、入力画像が例えばフレーム単位で供給される。
【００４１】
クラス分類部２１は、供給された入力画像を用いて、これから生成しようとする出力画像を構成する画素（現段階では存在しないため、仮想的に想定される画素）（以下、生成画素と称する）を、後述するように、各クラスタップの特性（例えば、輝度値）に基づいて複数のクラスのうちの何れかにクラス分けするクラス分類を行う。
【００４２】
クラス分類部２１は、このクラス分類の結果としての生成画素のクラス値（以下、クラス値classと称する）を係数読み出し部２２に供給する。
【００４３】
係数読み出し部２２は、生成画素のクラス値classから定まる変換係数を保持している。係数読み出し部２２は、保持している変換係数のうち、クラス分類部２１から供給されたクラス値classから定まる変換係数を読み出してデータ生成部２３に供給する。
【００４４】
データ生成部２３は、供給された入力画像及び係数読み出し部２２から供給された変換係数を用いて、生成画素の画素値を予測演算し、その結果得られた画素値を表示制御部２２４に供給する。
【００４５】
なおこの例の場合、本来の色再現範囲を有する出力画像が生成されるので、ここで予測される画素値は、色差値であり、輝度値はそのまま保持されるものとする。また以下において、特に言及する場合を除き、“画素値”は、色差値を意味するものとする。
【００４６】
表示制御部２４は、データ生成部２３から供給された画素値を用いて、出力画像を生成し、表示部２５に供給して表示させる。
【００４７】
表示部２５は、xvYCC規格に準拠した色空間で映像信号を表示する機能を有している。表示部２５は、表示制御部２４から供給された出力画像を表示する。
【００４８】
次にクラス分類部２１の構成について説明する。
【００４９】
クラス分類部２１は、レベル制限判定部３１、クラスタップ抽出部３２、上位階層クラスタップ生成部３３、ADRC（Adaptive Dynamic Range coding）処理部３４、及びクラス値生成部３５から構成されている。
【００５０】
レベル制限判定部３１、クラスタップ抽出部３２、及び上位階層クラスタップ生成部３３のそれぞれには、入力画像が供給される。
【００５１】
レベル制限判定部３１は、入力画像を構成するある画素に注目し、その注目画素の画素値（この例の場合、色差値）がレベル制限されているか否かを判定し、その判定結果を、クラス値生成部３５に供給する。
【００５２】
この例の場合、レベル制限判定部３１は、注目画素の画素値がレベル制限されているか否かの判定結果に基づいて、レベル制限情報をクラス化し、そのクラス値（以下、クラス値pclassと称する）を、クラス値生成部３５に供給する。
【００５３】
具体的には、レベル制限判定部３１は、注目画素の画素値がレベル制限の下限値（“１６”）であるか若しくは上限値（“２４０”）であるか、又はそれ以外の値（“１７”乃至“２３９”）であるか否かを判定する。
【００５４】
レベル制限判定部３１は、その判定結果を示すクラス値pclass（例えば、注目画素が、下限値にレベル制限されていることを示すクラス値pclass（例えば、２）、上限値にレベル制限されていることを示すクラス値pclass（例えば、１）、又は上限値若しくは下限値以外の値であってレベル制限されていないことを示すクラス値pclass）（例えば、３））を、クラス値生成部３５に供給する。
【００５５】
クラスタップ抽出部３２は、入力画像から、注目画素及びその注目画素と所定の位置関係にある画素をクラスタップの候補（以下、クラスタップ候補と称する）として抽出する。
【００５６】
この例の場合、図３に示すように、図中、黒丸で示されている注目画素を中心とする３×３の画素の合計９個の画素がクラスタップ候補として抽出される。
【００５７】
クラスタップ抽出部３２は、出力画像上の、入力画像における注目画素の位置と同じ位置にある生成画素について、抽出したクラスタップ候補を用いてADRC処理によるクラス化が可能であるか否かを判定し、その判定結果を示すフラグを、ADRC処理部３４及びクラス値生成部３５に供給する。
【００５８】
この例の場合、クラスタップ抽出部３２は、抽出したクラスタップ候補の全ての画素の画素値がレベル制限されている（例えば、下限値又は上限値である）か否かを判定する。
【００５９】
クラスタップ抽出部３２は、抽出したクラスタップ候補の全ての画素の画素値が下限値又は上限値ではないと判定した場合、則ちそれ以外の値の画素値が少なくとも1個含まれている場合、クラスタップ候補を用いたADRC処理により生成画素のクラス化が可能であるとして、フラグの値を０とする。
【００６０】
クラスタップ抽出部３２はまた、抽出したクラスタップ候補の全ての画素の画素値が下限値又は上限値である場合、クラスタップ候補を用いたADRC処理により生成画素のクラス化ができないものとして、全ての画素値が上限値であるとき、フラグの値を１とし、全ての画素の画素値が下限値であるとき、フラグの値を２とする。
【００６１】
クラスタップ候補の全ての画素の画素値が上限値又は下限値である場合、その画素値はレベル制限されている可能性があり、その場合その値は本来の画素値でない。則ち、空間的な画像情報が欠落しているので、そのクラスタップ候補を用いたADRC処理による生成画素のクラス値aclassは、ADRC処理による生成画素のクラスを適切に表していない。
【００６２】
そこで抽出したクラスタップ候補の全ての画素の画素値が下限値又は上限値である場合、クラスタップ候補を用いたADRC処理により生成画素のクラス化ができないものとする。
【００６３】
クラスタップ抽出部３２は、ADRC処理部３４からの要求に応じてクラスタップ候補を、ADRC処理部３４に供給する。
【００６４】
上位階層クラスタップ生成部３３は、入力画像から、注目画素及びその注目画素と所定の位置関係にある画素を抽出するとともに、それらから、上位階層のクラスタップとしての縮小画像を生成する。なおクラスタップ候補、則ち本来注目しているクラスタップを、注目階層クラスタップとも称するものとする。
【００６５】
この例の場合、図４の左側に示すように、図中、黒丸で示されている注目画素を中心とする９×９の画素の合計８１個の画素が抽出され、図中点線で囲われている３×３の画素毎にそれらの画素の画素値の平均値が求められる。則ち図４の右側に示すように、その平均値を画素値とする３×３画素の縮小画像が生成される。また、３×３画素の平均値ではなく、重みつき平均などを用いて縮小画像を生成することもできる。
【００６６】
上位階層クラスタップ生成部３３は、ADRC処理部３４からの要求に応じて生成した縮小画像を、ADRC処理部３４に供給する。
【００６７】
ADRC処理部３４は、クラスタップ抽出部３２から供給されたフラグの値に応じて、クラスタップ抽出部３２からのクラスタップ候補又は上位階層クラスタップ生成部３３からの縮小画像をクラスタップとして、それにADRC処理を施して生成画素をクラス分類し、その結果としての生成画素のクラスを示すクラス値（以下、クラス値aclassと称する）を、クラス値生成部３５に供給する。
【００６８】
例えば、ADRC処理部３４は、クラスタップに１ビットADRC処理を施す。則ち、クラスタップを構成する画素の画素値の最大値MAXと最小値MINとの差ＤＲ（ＤＲ=MAX-MIN）が、クラスタップを構成する画素の集合の局所的なダイナミックレンジとされる。このダイナミックレンジＤＲに基づいて、クラスタップを構成する画素の画素値が１ビットに再量子化される。つまり、クラスタップを構成する各画素の画素値から最小値MINが減算され、その減算値がDR/2で除算（量子化）される。
【００６９】
そして、ADRC処理部３４は、クラスタップを構成する１ビットの各画素の画素値を所定の順番で並べたビット列であるクラス値aclassをクラス値生成部３５に出力する。
【００７０】
この例の場合、クラスタップは３×３の９個の画素であるので、ADRC処理部３４からクラス値生成部３５には、９ビットのクラス値aclass（１乃至512）が供給される。
【００７１】
クラス値生成部３５は、レベル制限判定部３１から供給された注目画素のレベル制限情報のクラス値pclass、クラスタップ抽出部３２から供給されたフラグ、及びADRC処理部３４から供給されたADRC処理の結果としての生成画素のクラス値aclassを統合して、１つのクラス値classを生成し、それを係数読み出し部２２に供給する。
【００７２】
次にデータ生成部２３の構成例について説明する。
【００７３】
データ生成部２３は、予測タップ抽出部４１及び演算部４２から構成される。
【００７４】
予測タップ抽出部４１は、供給された入力画像から、注目画素及びその注目画素と所定の位置関係にある画素を、生成画素の画素値を予測するために用いられる予測タップとして抽出する。予測タップ抽出部４１は、抽出した予測タップを演算部４２に供給する。
【００７５】
この例の場合、図５に示すように、図中、黒丸で示されている注目画素を中心とする９×９の画素の合計８１個の画素が、予測タップとして抽出される。
【００７６】
演算部４２は、予測タップ抽出部４１から供給された予測タップを構成する画素の画素値に、係数読み出し部２２から供給された変換係数を乗算して、生成画素の画素値を予測演算する。演算部４２は、予測演算により得られた生成画素の画素値を表示制御部２４に供給する。
【００７７】
次に、画像処理装置１１における画像生成処理を、図６のフローチャートを参照して説明する。
【００７８】
ステップＳ１１において、クラス分類部２１は、入力画像から注目画素を決定し、ステップＳ１２において、注目画素の画素値（この例の場合、色差値）を取得する。
【００７９】
ステップＳ１３において、クラス分類部２１は、クラス分類処理を実行する。このクラス分類処理を、図７のフローチャートを参照して説明する。
【００８０】
ステップＳ２１において、クラス分類部２１のレベル制限判定部３１は、注目画素のレベル制限情報をクラス化する。
【００８１】
具体的には上述したように、レベル制限判定部３１は、注目画素の画素値が下限値（“１６”）であるか若しくは上限値（“２４０”）であるか、又はそれ以外の値（“１７”乃至“２３９”）であるか否かを判定する。
【００８２】
レベル制限判定部３１は、その判定結果に基づいて、画素値が“１６”である場合、クラス値pclassを、注目画素が下限値にレベル制限されていることを示す２とし、画素値が“２４０”である場合、クラス値pclassを、注目画素が上限値にレベル制限されていることを示す１とし、画素値が“１７”乃至“２３９”の何れかの値である場合、注目画素がレベル制限されていないことを示す０とする。
【００８３】
レベル制限判定部３１は、このように決定したクラス値pclassを、クラス値生成部３５に供給する。
【００８４】
ステップＳ２２において、クラスタップ抽出部３２は、図３に示したように、入力画像から、図６のステップＳ１１で決定された注目画素及びその注目画素と所定の位置関係にある画素をクラスタップの候補として抽出する。
【００８５】
ステップＳ２３において、クラスタップ抽出部３２は、クラスタップ候補を構成する全ての画素の画素値が上限値又は下限値であるか否かを判定する。
【００８６】
ステップＳ２３で、クラスタップ候補を構成する全ての画素の画素値が上限値又は下限値でないと判定された場合、則ち上限値又は下限値でもない値の画素値が少なくとも１つ含まれている場合、クラスタップ抽出部３２は、ステップＳ２４において、フラグの値を、クラスタップ候補を用いてADRC処理により生成画素のクラス化が可能であるとことを示す０とし、そのフラグを、ADRC処理部３４及びクラス値生成部３５に供給する。
【００８７】
次にステップＳ２５において、ADRC処理部３４は、ステップＳ２２で抽出されたクラスタップ候補をクラスタップ抽出部３２から取得し、クラスタップとする。
【００８８】
ステップＳ２３で、クラスタップ候補を構成する全ての画素の画素値が上限値又は下限値であると判定された場合、ステップＳ２６において、クラスタップ抽出部３２は、クラスタップ候補を構成する全ての画素の画素値が上限値であるか否かを判定する。
【００８９】
ステップＳ２６で、全ての画素値が上限値であると判定した場合、クラスタップ抽出部３２は、ステップＳ２７において、フラグの値を、クラスタップ候補の全ての画素の画素値が上限値であるためクラスタップ候補を用いたADRC処理により注目画素のクラス化ができないことを示す１とし、そのフラグを、ADRC処理部３４及びクラス値生成部３５に供給する。
【００９０】
ステップＳ２８において、ADRC処理部３４は、上位階層クラスタップ生成部３３から、図６のステップＳ１１で決定された注目画素等から生成された縮小画像を取得し、その画素をクラスタップとする。
【００９１】
ステップＳ２６で、クラスタップ候補を構成する全ての画素の画素値が上限値ではないと判定された場合、則ち全ての画素値が下限値である場合、ステップＳ２９において、クラスタップ抽出部３２は、フラグの値を、クラスタップ候補の全ての画素の画素値が下限値であるためにクラスタップ候補を用いたADRC処理により注目画素のクラス化ができないことを示す２とし、そのフラグを、ADRC処理部３４及びクラス値生成部３５に供給する。
【００９２】
ステップＳ３０において、ADRC処理部３４は、上位階層クラスタップ生成部３３から、図６のステップＳ１１で決定された注目画素等から生成された縮小画像を取得し、その画素をクラスタップとする。
【００９３】
ステップＳ２５、ステップＳ２８、又はステップＳ３０でクラスタップを取得したADRC処理部３４は、ステップＳ３１において、クラスタップ抽出部３２から取得したクラスタップ（則ち、クラスタップ候補）、又は上位階層クラスタップ生成部３３から取得したクラスタップ（則ち、縮小画像）にADRC処理を施し、その結果としての生成画素のクラスを示すクラス値aclassを、クラス値生成部３５に供給する。
【００９４】
ステップＳ３２において、クラス値生成部３５は、レベル制限判定部３１から供給されたクラス値pclass、クラスタップ抽出部３２から供給されたフラグ、及びADRC処理部３４から供給されたクラス値aclassに基づいて、生成画素をクラス分類し、その結果得られるクラス値classを、係数読み出し部２２に供給する。
【００９５】
具体的には、レベル制限判定部３１から供給されたクラス値pclass（0乃至2）、ADRC処理部３４から供給されたクラス値aclass（1乃至512）、及びクラスタップ抽出部３２から供給されたフラグ（0乃至2）が、その順番に結合されて得られるビット列がクラス値classとされる。クラス値pclassとなり得る値は、0乃至2であり、クラス値aclassとなり得る値は、1乃至512であり、フラグの値となり得る値は、0乃至2であるので、クラス値classの総数は、この例の場合４６０８（＝3×512×3）個となる。
【００９６】
このようにクラス分類処理が行われると、処理は図６のステップＳ１４に進み、係数読み出し部２２は、保持している変換係数のうち、クラス分類部２１のクラス値生成部３５から供給されたクラス値classから定まる変換係数を読み出して、読み出した変換係数をデータ生成部２３の演算部４２に供給する。
【００９７】
ステップＳ１５において、データ生成部２３の予測タップ抽出部４１は、図５に示したように、入力画像から、ステップＳ１１で決定された注目画素及びその注目画素と所定の位置関係にある画素を、予測タップとして抽出し、抽出した予測タップを演算部４２に供給する。
【００９８】
ステップＳ１６において、データ生成部２３の演算部４２は、係数読み出し部２２から供給された変換係数を、予測タップ抽出部４１から供給された予測タップを構成する画素の画素値に乗算して、生成画素の画素値を予測演算する。演算部４２は、予測演算により得られた生成画素の画素値を表示制御部２４に出力する。
【００９９】
表示制御部２４は、演算部４２から供給された生成画素の画素値を、注目画素の入力画像上の位置と同じ位置にある出力画像の画素の画素値とする。
【０１００】
ステップＳ１７において、画像処理装置１１は、出力画素（例えば、１フレーム分の入力画像）の全ての画素について、予測演算を行ったか否かを判定し、まだ全ての画素について予測演算を行っていないと判定した場合、ステップＳ１１に戻り、次の注目画素が決定されて、その注目画素に対して、ステップＳ１２以降の処理が同様に行われ、その注目画素に対応する生成画素が生成される。
【０１０１】
一方、ステップＳ１７において、全ての画素について予測演算を行ったと判定された場合、ステップＳ１８において、表示制御部２４は、生成した生成画素から出力画像を構成し、表示部２５に供給して表示させる。
【０１０２】
このようにして色再現範囲がレベル制限されている入力画像から、本来の色再現範囲を有する出力画像が生成される。
【０１０３】
次に、図２の係数読み出し部２２に記憶される変換係数と、データ生成部２３の演算部４２における予測演算の学習について説明する。
【０１０４】
例えば、クラス分類適応処理として、入力画像から予測タップを抽出し、その予測タップと変換係数とを用いて、色再現範囲がレベル制限されていない画素の画素値を所定の予測演算によって求める（予測する）ことを考える。
【０１０５】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、生成画素の画素値ｙは、式（１）に示す線形１次式によって求められることになる。
【０１０６】
【数１】
2009060481.tif 000003
【０１０７】
式（１）において、ｘiは、生成画素の画素値ｙについての予測タップを構成する、ｉ番目の入力画像の画素の画素値を表し、ｗiは、ｉ番目の入力画像の画素の画素値と乗算されるｉ番目の変換係数を表す。なお、式（１）では、予測タップがＮ個の画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１０８】
ここで、生成画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の線形関数の式によって求めるようにすることも可能である。また、線形関数に限らず、非線形関数によって生成画素の画素値を求めるようにしてもよい。
【０１０９】
いま、第ｓサンプルの生成画素の画素値の真値をｙsと表すとともに、式（１）によって得られるその真値ｙsの予測値をｙs'と表すと、その予測誤差ｅsは、次式（２）で表される。
【０１１０】
【数２】
2009060481.tif 000004
【０１１１】
いま、式（２）の予測値ｙs'は、式（１）に従って求められるため、式（２）のｙs'を、式（１）に従って置き換えると、次式（３）が得られる。
【０１１２】
【数３】
2009060481.tif 000005
【０１１３】
式（３）において、ｘs,iは、第ｓサンプルの生成画素についての予測タップを構成するｉ番目の画素を表す。
【０１１４】
式（３）（又は式（２））の予測誤差ｅsを０とする変換係数ｗiが、生成画素を予測するのに最適なものとなるが、全ての生成画素について、そのような変換係数ｗiを求めることは、一般には困難である。
【０１１５】
そこで、変換係数ｗiが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な変換係数ｗiは、次式（４）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１１６】
【数４】
2009060481.tif 000006
【０１１７】
但し、式（４）において、Ｓは、生成画素ｙsと、その生成画素ｙsについての予測タップを構成する画素ｘs,1，ｘs,2，・・・，ｘs,Nとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１１８】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅを変換係数ｗiで偏微分したものを０とするｗiによって与えられる。
【０１１９】
【数５】
2009060481.tif 000007
【０１２０】
一方、上述の式（３）を変換係数ｗiで偏微分すると、次式（６）が得られる。
【０１２１】
【数６】
2009060481.tif 000008
【０１２２】
式（５）及び式（６）から、次式（７）が得られる。
【０１２３】
【数７】
2009060481.tif 000009
【０１２４】
式（７）のｅsに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１２５】
【数８】
2009060481.tif 000010
【０１２６】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、変換係数ｗiについて解くことができる。
【０１２７】
生成画素の各クラスについて、式（８）の正規方程式を立てて解くことにより、各クラスについて最適な変換係数ｗi（ここでは、自乗誤差の総和Ｅを最小にする変換係数ｗi）を求めることができる。
【０１２８】
図２の演算部４２で、以上のような、各クラスに求められた変換係数ｗi、つまりクラスにより定まる変換係数ｗiを用いて、式（１）の演算を行うことにより、入力画像から出力画像を得ることができる。
【０１２９】
図８は、各クラスについて、式（８）の正規方程式を立てて解くことにより変換係数ｗiを求める学習を行い、図２の係数読み出し部２２に記憶される変換係数を生成する学習装置５１の構成例を示している。
【０１３０】
学習装置５１は、生徒画像生成部６１、クラス分類部６２、正規方程式生成部６３、及び係数生成部６４から構成される。
【０１３１】
この学習装置５１には、変換係数ｗiの生成に用いられる、色再現範囲がレベル制限されていない動画（この例の場合、xvYCC規格に準拠した画像）が、教師画像として入力され、生徒画像生成部６１及び正規方程式生成部６３に供給される。
【０１３２】
生徒画像生成部６１は、教師画像から、生徒画像としての色再現範囲がレベル制限された画像（この例の場合、ITU-R BT.709規格に準拠した動画）を生成し、クラス分類部６２及び正規方程式生成部６３のそれぞれに供給する。
【０１３３】
例えば、教師画像のダイナミックレンジを正規化し、マトリックス変換を行うとともに、変換後の画像データを、生徒画像のダイナミックレンジに適合させることにより、生徒画像が生成される。
【０１３４】
クラス分類部６２は、生徒画像生成部６１から供給された生徒画像を用いて、色再現範囲がレベル制限されていない画像を構成する生成画素を、複数のクラスのうちの何れかにクラス分けするクラス分類を行う。
【０１３５】
クラス分類部６２は、このクラス分類の結果としての生成画素のクラス値classを正規方程式生成部６３に供給する。
正規方程式生成部６３は、クラス分類部６２から供給される生成画素のクラス値classで示される各クラスについて、式（８）の正規方程式を生成し、係数生成部６４に供給する。
【０１３６】
係数生成部６４は、正規方程式生成部６３から供給された、各クラスについて生成された正規方程式を解くことにより、各クラスについて、最適な変換係数ｗiを求めて出力する。
【０１３７】
係数生成部６４から出力された変換係数は、例えば図２の係数読み出し部２２に供給されて記憶される。また、係数生成部６４から出力された変換係数がROM（Read Only Memory）などの記録媒体に記録され、記録媒体から他の装置に供給されるようにしてもよい。
【０１３８】
次に、クラス分類部６２の構成例について説明する。クラス分類部６２は、レベル制限判定部７１、クラスタップ抽出部７２、上位階層クラスタップ生成部７３、ADRC処理部７４、及びクラス値生成部７５から構成されている。
【０１３９】
レベル制限判定部７１、クラスタップ抽出部７２、及び上位階層クラスタップ生成部７３のそれぞれには、生徒画像生成部６１から生徒画像が供給される。
【０１４０】
レベル制限判定部７１は、基本的には、図２のレベル制限判定部３１と同様の処理を行う。
【０１４１】
則ち、レベル制限判定部７１は、生徒画像を構成するある画素に注目し、その注目画素の画素値（この例の場合、色差値）がレベル制限されているか否かを判定し、その判定結果に基づいてレベル制限情報をクラス化し、そのクラス値pclassを、クラス値生成部７５に供給する。
【０１４２】
クラスタップ抽出部７２は、基本的には、図２のクラスタップ抽出部３２と同様の処理を行う。
【０１４３】
則ちクラスタップ抽出部７２は、生徒画像から、注目画素及びその注目画素と所定の位置関係にある画素をクラスタップの候補として抽出する。
【０１４４】
クラスタップ抽出部７２はまた、抽出したクラスタップ候補を用いたADRC処理により注目画素のクラス化が可能であるか否かを判定し、その判定結果に応じた値を有するフラグを、ADRC処理部７４及びクラス値生成部７５に供給する。
【０１４５】
クラスタップ抽出部７２は更に、ADRC処理部７４からの要求に応じてクラスタップ候補を、ADRC処理部７４に供給する。
【０１４６】
上位階層クラスタップ生成部７３は、基本的には、図２の上位階層クラスタップ生成部３３と同様の処理を行う。
【０１４７】
則ち上位階層クラスタップ生成部７３は、生徒画像から、注目画素及びその注目画素と所定の位置関係にある画素を抽出するとともに、それらから、上位階層のクラスタップとしての縮小画像を生成する。
【０１４８】
上位階層クラスタップ生成部７３はまた、ADRC処理部７４からの要求に応じてその縮小画像を、ADRC処理部７４に供給する。
【０１４９】
ADRC処理部７４は、基本的には、図２のADRC処理部３４と同様の処理を行う。
【０１５０】
則ちADRC処理部７４は、クラスタップ抽出部７２から供給されたフラグの値に応じて、クラスタップ抽出部７２からクラスタップ候補又は上位階層クラスタップ生成部７３から縮小画像を取得するとともに、それにADRC処理を施して生成画素をクラス分類し、その結果としての生成画素のクラスを示すクラス値aclassを、クラス値生成部７５に供給する。
【０１５１】
クラス値生成部７５は、基本的には、図２のクラス値生成部３５と同様の処理を行う。
【０１５２】
則ちクラス値生成部７５は、レベル制限判定部７１から供給された注目画素のレベル制限情報のクラス値pclass、クラスタップ抽出部７２から供給されたフラグ、及びADRC処理部７４から供給されたADRC処理による生成画素のクラス値aclassを統合して、１つのクラス値classを生成し、それを正規方程式生成部６３に供給する。
【０１５３】
次に、正規方程式生成部６３の構成例について説明する。正規方程式生成部６３は、予測タップ抽出部８１及び足し込み部８２から構成される。
【０１５４】
予測タップ抽出部８１は、図２のデータ生成部２３の予測タップ抽出部４１と同様に、生徒画像生成部６１から供給された生徒画像から予測タップを抽出し、抽出した予測タップを足し込み部８２に供給する。
【０１５５】
足し込み部８２は、供給された教師画像から、教師画像の、注目画素と同じ位置にある画素を順次、教師画素として抽出する。足し込み部８２はまた、抽出した教師画素と、予測タップ抽出部８１から供給された予測タップとの対応をとりながら、教師画素と予測タップを構成する画素とを対象とした足し込みを、クラス分類部６２のクラス値生成部７５からのクラス値classに従って行う。
【０１５６】
則ち、足し込み部８２は、教師画像の教師画素の画素値ｙsを抽出する。また、足し込み部８２には、予測タップ（を構成する生徒画像の画素の画素値）ｘs,i、及び教師画素（正確には、教師画素として生成される生成画像）のクラスを表すクラス値classが供給される。
【０１５７】
そして、足し込み部８２は、クラス値classに対応する各クラスについて、予測タップ（生徒画像の画素の画素値）ｘs,iを用い、式（８）の左辺の行列における生徒画像の画素の画素値同士の乗算（ｘs,iｘs,i）、及びその乗算された値の総和の演算に相当する演算を行う。
【０１５８】
更に、足し込み部８２は、各クラスについて、予測タップの画素値ｘs,i及び教師画素の画素値ｙsを用い、式（８）の右辺のベクトルにおける予測タップの画素値ｘs,i及び教師画素の画素値ｙsの乗算（ｘs,iｙs）、並びにその乗算された値の総和の演算に相当する演算を行う。
【０１５９】
則ち、足し込み部８２は、前回、教師画素の画素値について求められた式（８）における左辺の行列のコンポーネント（Σｘs,iｘs,i）と、右辺のベクトルのコンポーネント（Σｘs,iｙs）を記憶しており、その行列のコンポーネント（Σｘs,iｘs,i）又はベクトルのコンポーネント（Σｘs,iｙs）に対して、新たな教師画素の画素値について、その教師画素の画素値ｙs+1及び予測タップの画素の画素値ｘs+1,iを用いて計算される、対応するコンポーネントｘs+1,iｘs+1,i又はｘs+1,iｙs+1を足し込む（式（８）のΣで表される加算を行う）。
【０１６０】
そして、足し込み部８２は、教師画像の全ての画素を教師画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式を立てる（生成する）と、その正規方程式を係数生成部６４に供給する。
【０１６１】
次に、図９のフローチャートを参照して、学習装置５１による学習処理について説明する。この学習処理は、学習装置５１に、教師画像が供給されると開始される。
【０１６２】
ステップＳ５１において、学習装置５１は、生徒画像生成部６１により生成された生徒画像から注目画素を決定し、ステップＳ５２において、注目画素の画素値（この例の場合、色差値）を取得する。
【０１６３】
ステップＳ５３において、クラス分類部６２は、クラス分類処理を実行する。このクラス分類処理では、基本的に図７のフローチャートを参照して説明したクラス分類処理と同様の処理が行われるので、その説明を省略する。
【０１６４】
ステップＳ５４において、正規方程式生成部６３の予測タップ抽出部８１は、供給された生徒画像から、予測タップを抽出し、抽出した予測タップを足し込み部８２に供給する。
【０１６５】
ステップＳ５５において、足し込み部８２は、供給された教師画像から、注目画素と同じ位置にある教師画素を抽出する。足し込み部８２は、抽出した教師画素と、予測タップ抽出部８１から供給された予測タップとの対応をとりながら、教師画素と予測タップを構成する画素とを対象として、クラス分類部６２のクラス値生成部７５から供給されたクラス値classに対応するクラスについて、式（８）により示される正規方程式への足し込みを行う。
【０１６６】
ステップＳ５６において、学習装置５１は、教師画像の全ての画素について、足し込みを行ったか否かを判定し、まだ全ての画素について足し込みを行っていないと判定された場合、ステップＳ５１に戻り、それ以降の処理が同様に行われる。
【０１６７】
則ち、学習装置５１は、生徒画像の画素のうち、まだ注目画素とされていない画素を新たな注目画素とし、ステップＳ５２以降の処理が同様に行う。
【０１６８】
一方、ステップＳ５６で、全ての画素について足し込みを行ったと判定された場合、正規方程式生成部６３の足し込み部８２は、ステップＳ５７において、各クラスについて立てた正規方程式を、係数生成部６４に供給する。係数生成部６４は、正規方程式生成部６３の足し込み部８２から供給された、各クラスについての正規方程式を、例えば、掃き出し法によって解くことにより各クラスについての変換係数ｗiを求めて出力し、学習処理は終了する。
【０１６９】
このようにして図２の係数読み出し部２２に記憶される、生成画素のクラスから定まる変換係数が生成される。
【０１７０】
上述した画像生成処理及び学習処理により、色再現範囲がレベル制限されている画像から、本来の色再現範囲を有する画像が生成される。
【０１７１】
以上のように、注目画素のレベル制限情報のクラスを示すクラス値（クラス値pclass）を含めて生成画素のクラス値（クラス値class）を生成できるようにしたので、例えば上限値又は下限値の注目画素に対応する生成画素の画素値を、適切に予測することができる。
【０１７２】
例えば変換係数の学習において、注目画素のレベル制限情報のクラスを示すクラス値（クラス値pclass）を含めて得られた生成画素のクラス毎に、正規方程式（式（８））への足し込みが行われ、生成画素の生成時において注目画素のレベル制限情報のクラスを示すクラス値（クラス値pclass）を含めて生成画素がクラス分類されるので、生成画像の生成時に、生成画素が、注目画素のレベル制限されている場合のクラスに分類されることによって、適切な変換係数が読み出され、その変換係数によって予測演算が行われる。則ち上限値又は下限値を超える方向で生成画素の画素値が予測演算される。
【０１７３】
またクラスタップ候補の全ての画素の画素値が上限値又は下限値である場合、上位階層クラスタップを用いてADRC処理による生成画素のクラス分類を行うようにしたので、生成画素を適切にクラス分類することができる。
【０１７４】
なお上述した学習処理では、レベル制限されていない画像を教師画像としたが、色目を変化させたくない場合や、中間レベルの階調を優先して高いレベルの階調を捨てたい場合は、教師画像に対して一定のレベル制限をかけることもできる。
【０１７５】
また以上においては、レベル制限された画像全体がレベル制限されていない画像に変換される場合を例として説明したが、入力画像の所定の範囲をユーザが指定して、その範囲についてのみレベル制限されていない画像に変換されるようにすることもできる。
【０１７６】
また以上においては、動画が入力画像である場合を例として説明したが、静止画を入力画像とすることもできる。
【０１７７】
また以上においては、上限値及び下限値の2個の基準値でレベル制限されている場合を例として説明したが、1個の基準値又は3個以上の基準値でレベル制限されている場合においても本発明を適用することができる。
【０１７８】
また以上においては、色情報についてレベル制限されている場合について説明したが、輝度情報についてレベル制限されている場合においても、本発明を適用することができる。
【０１７９】
例えば図１０の上段に示すように、撮像装置のCCDの受光量以上の情報が切り捨てられた映像に対して、本発明を適用することで、図１０の下段が示すように、受光量が拡大された映像を生成することができる。
【０１８０】
なお図１０は、ある風景を撮像した場合のダイナミックレンジ領域のヒストグラムイメージである。
【０１８１】
また以上においては、色差値が予測演算される場合において、上位階層クラスタップが、入力画像の画素の色差値から生成される場合を例として説明したが、輝度値から生成されるようにすることもできる。則ち予測演算される情報と異なるプレーンを用いて上位階層クラスタップを生成することもできる。
【０１８２】
また図２の例では、全ての注目画素に対して上位階層クラスタップが生成されるようにしたが、例えば図７のステップＳ２３で全ての画素値が上限値又は下限値であると判定されたときに上位階層クラスタップが生成されるようにすることもできる。
【０１８３】
また図７の例では、全てのクラスタップ候補について、クラスタップ候補の全ての画素の画素値が上限値又は下限値であるか否かの判定がなされたが（ステップＳ２３）、クラスタップ候補の全ての画素の画素値が同じ値である場合についてのみ、その判定を行うこともできる。この場合の、クラス分類処理を、図１１のフローチャートを参照して説明する。
【０１８４】
ステップＳ１０１及びステップＳ１０２においては、図７のステップＳ２１及びステップＳ２２における場合と同様の処理が行われるので、その説明は省略する。
【０１８５】
ステップＳ１０３において、クラス分類部２１のクラスタップ抽出部３２は、クラスタップ候補の全ての画素の画素値が同じであるか否かを判定し、同じであると判定した場合、ステップＳ１０４に進む。
【０１８６】
ステップＳ１０４において、クラスタップ抽出部３２は、クラスタップ候補の全ての画素の画素値が上限値又は下限値であるか否かを判定する。
【０１８７】
ステップＳ１０３で、クラスタップ候補の全ての画素の画素値が同じではないと判定されたとき、又はステップＳ１０４で、クラスタップ候補の全ての画素が上限値又は下限値ではないと判定された場合（則ちクラスタップ候補の全ての画素の画素値が同じであるが“１６”又は“２４０”でない場合）、ステップＳ１０５に進む。
【０１８８】
ステップＳ１０５乃至ステップＳ１１３においては、図７のステップＳ２４乃至ステップＳ３２の処理と同様の処理が行われるので、その説明は省略する。
【０１８９】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１９０】
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１９１】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１９２】
バス５０４には、更に、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。
【０１９３】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１９４】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、若しくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、或いは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供される。
【０１９５】
そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、予めインストールしておくことができる。
【０１９６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、或いは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９７】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１９８】
【図１】ITU-R BT.709及びxvYCC規格を説明する図である。
【図２】本発明を適用した画像処理装置の構成例を示すブロック図である。
【図３】クラスタップの例を示す図である。
【図４】上位階層クラスタップの生成方法の例を示す図である。
【図５】予測タップの例を示す図である。
【図６】画像生成処理を説明するフローチャートである。
【図７】図６のステップＳ１３の処理を説明するフローチャートである。
【図８】学習装置の構成例を示すブロック図である。
【図９】学習処理を説明するフローチャートである。
【図１０】レベル制限の他の例を示す図である。
【図１１】図６のステップＳ１３の他の処理を説明する他のフローチャートである。
【図１２】コンピュータの構成例を示すブロック図である。
【符号の説明】
【０１９９】
１１  画像処理装置，  ２１  クラス分類部，  ２２  係数読み出し部，  ２３  データ生成部，  ２４  表示制御部，  ２５  表示部，  ３１  レベル制限判定部，  ３２  クラスタップ抽出部，  ３３  上位階層クラスタップ生成部，  ３４  ADRC処理部，  ３５  クラス値生成部，  ４１  予測タップ抽出部，  ４２  演算部，  ５１  学習装置，  ６１  生徒画像生成部，６２  クラス分類部，  ６３  正規方程式生成部，  ６４  係数生成部，  ７１  レベル制限判定部，  ７２  クラスタップ抽出部，  ７３  上位階層クラスタップ生成部，  ７４  ADRC処理部，  ７５  クラス値生成部，  ８１  予測タップ抽出部，  ８２  足し込み部
【図１】
2009060481.tif 000011
【図２】
2009060481.tif 000012
【図３】
2009060481.tif 000013
【図４】
2009060481.tif 000014
【図５】
2009060481.tif 000015
【図６】
2009060481.tif 000016
【図７】
2009060481.tif 000017
【図８】
2009060481.tif 000018
【図９】
2009060481.tif 000019
【図１０】
2009060481.tif 000020
【図１１】
2009060481.tif 000021
【図１２】
2009060481.tif 000022