(57)【要約】【課題】画質の劣化を防止する。【解決手段】タップ選択部は、第１の画像を変換した第２の画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる画素を、第１の画像から選択し、クラス分類部は、注目画素を、所定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類する。演算部は、注目画素のクラスのタップ係数と、注目画素の予測タップとを用いた予測演算を行うことにより、注目画素の画素値を求める。一方、ダイナミックレンジ検出部は、注目画素に対応する第１の画像の位置の局所的なダイナミックレンジを表すダイナミックレンジ情報を検出する。タップ選択部は、ダイナミックレンジ情報に応じて、予測タップとなる画素の数であるタップ数を変更する。本技術は、例えば、画像に、先鋭感をもたせる画像変換処理を行う場合等に適用できる。【選択図】図８
2014194706.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像を変換した第２の画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択する予測タップ選択部と、
前記注目画素を、所定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類部と、
前記第１の画像に相当する生徒画像を用いた前記予測演算の結果と、前記第２の画像に相当する教師画像との誤差を最小にする学習により求められた、前記複数のクラスそれぞれごとの、前記予測演算に用いられるタップ係数のうちの、前記注目画素のクラスのタップ係数を出力するタップ係数出力部と、
前記注目画素のクラスのタップ係数と、前記注目画素の前記予測タップとを用いた前記予測演算を行うことにより、前記注目画素の画素値を求める演算部と、
前記注目画素に対応する前記第１の画像の位置の局所的なダイナミックレンジを表すダイナミックレンジ情報を検出するダイナミックレンジ検出部と
を備え、
前記予測タップ選択部は、前記ダイナミックレンジ情報に応じて、前記予測タップとなる画素の数であるタップ数を変更する
画像処理装置。
【請求項２】
前記クラス分類部は、前記ダイナミックレンジ情報に応じて、前記所定の規則を変更する
請求項１に記載の画像処理装置。
【請求項３】
前記ダイナミックレンジ情報は、前記注目画素に対応する前記第１の画像の位置を含む所定のダイナミックレンジ検出用エリアの前記第１の画像の画素の画素値の最大値と最小値との差を、前記ダイナミックレンジ検出用エリアの前記第１の画像の画素の画素値の平均値で正規化した正規化ダイナミックレンジを表す情報である
請求項２に記載の画像処理装置。
【請求項４】
前記クラス分類に用いるクラスタップとなる画素を、前記第１の画像から選択するクラスタップ選択部と、
前記第１の画像の階調変換を行う階調変換部と
をさらに備え、
前記クラス分類部は、前記クラスタップと、前記第１の画像の階調変換の結果得られる階調変換値とを用いて、前記注目画素のクラス分類を行う
請求項２に記載の画像処理装置。
【請求項５】
前記第１の画像は、画素ごとに、複数の色成分のうちの１つの色成分を画素値として有し、
前記第２の画像は、画素ごとに、前記複数の色成分を画素値として有し、
前記演算部は、前記注目画素の画素値として、前記複数の色成分を求める
請求項２に記載の画像処理装置。
【請求項６】
前記予測タップ選択部は、前記ダイナミックレンジ情報に応じて、前記ダイナミックレンジが大であるほど、前記予測タップのタップ数を小にする
請求項２に記載の画像処理装置。
【請求項７】
前記クラス分類に用いるクラスタップとなる画素を、前記第１の画像から選択するクラスタップ選択部をさらに備え、
前記クラス分類部は、
前記クラスタップの各画素の画素値を、所定のビット数に量子化するADRC(Adaptive Dynamic Range Coding)を行うことにより、前記注目画素のクラス分類を行い
前記ダイナミックレンジ情報に応じて、前記ダイナミックレンジが大であるほど、前記ADRCの所定のビット数を大にする
請求項２に記載の画像処理装置。
【請求項８】
第１の画像を変換した第２の画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択する予測タップ選択ステップと、
前記注目画素を、所定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、
前記第１の画像に相当する生徒画像を用いた前記予測演算の結果と、前記第２の画像に相当する教師画像との誤差を最小にする学習により求められた、前記複数のクラスそれぞれごとの、前記予測演算に用いられるタップ係数のうちの、前記注目画素のクラスのタップ係数を出力するタップ係数出力ステップと、
前記注目画素のクラスのタップ係数と、前記注目画素の前記予測タップとを用いた前記予測演算を行うことにより、前記注目画素の画素値を求める演算ステップと、
前記注目画素に対応する前記第１の画像の位置の局所的なダイナミックレンジを表すダイナミックレンジ情報を検出するダイナミックレンジ検出ステップと
を含み、
前記予測タップ選択ステップでは、前記ダイナミックレンジ情報に応じて、前記予測タップとなる画素の数であるタップ数を変更する
画像処理方法。
【請求項９】
第１の画像を変換した第２の画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択する予測タップ選択部と、
前記注目画素を、所定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類部と、
前記第１の画像に相当する生徒画像を用いた前記予測演算の結果と、前記第２の画像に相当する教師画像との誤差を最小にする学習により求められた、前記複数のクラスそれぞれごとの、前記予測演算に用いられるタップ係数のうちの、前記注目画素のクラスのタップ係数を出力するタップ係数出力部と、
前記注目画素のクラスのタップ係数と、前記注目画素の前記予測タップとを用いた前記予測演算を行うことにより、前記注目画素の画素値を求める演算部と、
前記注目画素に対応する前記第１の画像の位置の局所的なダイナミックレンジを表すダイナミックレンジ情報を検出するダイナミックレンジ検出部と
して、コンピュータを機能させるためのプログラムであり、
前記予測タップ選択部は、前記ダイナミックレンジ情報に応じて、前記予測タップとなる画素の数であるタップ数を変更する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、例えば、画質の劣化を防止することができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
画像の先鋭感を改善する先鋭感改善処理としては、例えば、クラス分類適応処理や高域強調処理等がある。
【０００３】
例えば、クラス分類適応処理では、学習により求められた複数のタップ係数と、入力画像の複数の画素の画素値とを用いた演算によって、入力画像が、高画質の出力画像に変換される（例えば、特許文献１及び２を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2000-308079号公報
【特許文献２】特開2000-341705号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
クラス分類適応処理では、タップ係数に、負の値が含まれており、そのような負のタップ係数の存在により、入力画像の高域を強調した、先鋭感のある出力画像を得ることができる。
【０００６】
しかしながら、入力画像に急峻で大きな画素値の変化がある場合には、負のタップ係数の影響によって、出力画像にリンギングが生じ、その結果、例えば、出力画像の高輝度部分の周囲に、黒い淵状の模様が発生する等の画質の劣化が生じることがある。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、画質の劣化を防止することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の画像処理装置、又は、プログラムは、第１の画像を変換した第２の画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択する予測タップ選択部と、前記注目画素を、所定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類部と、前記第１の画像に相当する生徒画像を用いた前記予測演算の結果と、前記第２の画像に相当する教師画像との誤差を最小にする学習により求められた、前記複数のクラスそれぞれごとの、前記予測演算に用いられるタップ係数のうちの、前記注目画素のクラスのタップ係数を出力するタップ係数出力部と、前記注目画素のクラスのタップ係数と、前記注目画素の前記予測タップとを用いた前記予測演算を行うことにより、前記注目画素の画素値を求める演算部と、前記注目画素に対応する前記第１の画像の位置の局所的なダイナミックを表すダイナミックレンジ情報を検出するダイナミックレンジ検出部とを備え、前記予測タップ選択部は、前記ダイナミックレンジ情報に応じて、前記予測タップとなる画素の数であるタップ数を変更する画像処理装置、又は、そのような画像処理装置として、コンピュータを機能させるためのプログラムである。
【０００９】
本技術の画像処理方法は、第１の画像を変換した第２の画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択する予測タップ選択ステップと、前記注目画素を、所定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、前記第１の画像に相当する生徒画像を用いた前記予測演算の結果と、前記第２の画像に相当する教師画像との誤差を最小にする学習により求められた、前記複数のクラスそれぞれごとの、前記予測演算に用いられるタップ係数のうちの、前記注目画素のクラスのタップ係数を出力するタップ係数出力ステップと、前記注目画素のクラスのタップ係数と、前記注目画素の前記予測タップとを用いた前記予測演算を行うことにより、前記注目画素の画素値を求める演算ステップと、前記注目画素に対応する前記第１の画像の位置の局所的なダイナミックを表すダイナミックレンジ情報を検出するダイナミックレンジ検出ステップとを含み、前記予測タップ選択ステップでは、前記ダイナミックレンジ情報に応じて、前記予測タップとなる画素の数であるタップ数を変更する画像処理方法である。
【００１０】
本技術においては、第１の画像を変換した第２の画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる画素が、前記第１の画像から選択され、前記注目画素が、所定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類される。そして、前記第１の画像に相当する生徒画像を用いた前記予測演算の結果と、前記第２の画像に相当する教師画像との誤差を最小にする学習により求められた、前記複数のクラスそれぞれごとの、前記予測演算に用いられるタップ係数のうちの、前記注目画素のクラスのタップ係数が出力され、前記注目画素のクラスのタップ係数と、前記注目画素の前記予測タップとを用いた前記予測演算を行うことにより、前記注目画素の画素値が求められる。この場合において、前記注目画素に対応する前記第１の画像の位置の局所的なダイナミックを表すダイナミックレンジ情報が検出され、前記ダイナミックレンジ情報に応じて、前記予測タップとなる画素の数であるタップ数が変更される。
【００１１】
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１２】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１３】
本技術によれば、画質の劣化を防止することができる。
【図面の簡単な説明】
【００１４】
【図１】クラス分類適応処理による画像変換処理を行う画像変換装置の構成例を示すブロック図である。
【図２】画像変換装置１による画像変換処理を説明するフローチャートである。
【図３】学習装置の構成例を示すブロック図である。
【図４】学習部３６の構成例を示すブロック図である。
【図５】学習により得られるタップ係数を用いたクラス分類適応処理としての画像変換処理の例を説明する図である。
【図６】学習装置２１の処理（学習処理）を説明するフローチャートである。
【図７】本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。
【図８】信号処理部５４で行われる先鋭感改善処理を行う画像変換装置の構成例を示すブロック図である。
【図９】ダイナミックレンジ検出部６１の構成例を示すブロック図である。
【図１０】ダイナミックレンジ検出部６１の他の構成例を示すブロック図である。
【図１１】タップ選択部６２で選択される予測タップの構成例を示す図である。
【図１２】タップ選択部６３で選択されるクラスタップの構成例を示す図である。
【図１３】クラス分類部６４の構成例を示すブロック図である。
【図１４】ADRC処理部９１で行われるADRCの例を説明する図である。
【図１５】画像変換装置６０による画像変換処理の例を説明するフローチャートである。
【図１６】係数出力部６５に記憶されるタップ係数を求める学習を行う学習装置の構成例を示すブロック図である。
【図１７】学習部１０１の構成例を示すブロック図である。
【図１８】学習装置１００の処理（学習処理）を説明するフローチャートである。
【図１９】シミュレーションの結果を示す図である。
【図２０】信号処理部５４で行われる先鋭感改善処理を行う画像変換装置の他の構成例を示すブロック図である。
【図２１】画像変換装置２００での画像変換処理の対象となる入力画像の例を示す図である。
【図２２】代表値算出部２０２でのG代表値Dg、R代表値Dr、及び、B代表値Dbの算出の方法の例を示す図である。
【図２３】タップ選択部６２Ｇで選択される予測タップ（G用予測タップ）の構成例を示す図である。
【図２４】タップ選択部６３Ｇで選択されるクラスタップ（G用クラスタップ）の構成例を示す図である。
【図２５】タップ選択部６２Ｒで選択される予測タップ（R用予測タップ）の構成例を示す図である。
【図２６】タップ選択部６３Ｒで選択されるクラスタップ（R用クラスタップ）の構成例を示す図である。
【図２７】タップ選択部６２Ｂで選択される予測タップ（B用予測タップ）の構成例を示す図である。
【図２８】タップ選択部６３Ｂで選択されるクラスタップ（B用クラスタップ）の構成例を示す図である。
【図２９】クラス分類部６４Ｇの構成例を示すブロック図である。
【図３０】画像変換装置２００による画像変換処理の例を説明するフローチャートである。
【図３１】係数出力部６５Ｇ，６５Ｒ、及び、６５Ｂに記憶されるタップ係数を求める学習を行う学習装置の構成例を示すブロック図である。
【図３２】学習部３０１の構成例を示すブロック図である。
【図３３】学習装置３００の処理（学習処理）を説明するフローチャートである。
【図３４】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本技術の実施の形態について説明するが、その前に、クラス分類適応処理について説明する。
【００１６】
＜クラス分類適応処理＞
【００１７】
クラス分類適応処理は、第１の画像（画像信号）を第２の画像（画像信号）に変換する画像変換処理であり、したがって、第１と第２の画像の定義によって様々な信号処理となる。
【００１８】
すなわち、例えば、第１の画像を低空間解像度の画像とするとともに、第２の画像を高空間解像度の画像とすれば、画像変換処理は、空間解像度を向上させる空間解像度創造（向上）処理ということができる。
【００１９】
また、例えば、第１の画像を低S/N(Siginal/Noise)の画像とするとともに、第２の画像を高S/Nの画像とすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。
【００２０】
さらに、例えば、第１の画像を所定の画素数（サイズ）の画像とするとともに、第２の画像を、第１の画像の画素数を多く又は少なくした画像とすれば、画像変換処理は、画像のリサイズ（拡大又は縮小）を行うリサイズ処理ということができる。
【００２１】
また、例えば、第１の画像を低時間解像度の画像とするとともに、第２の画像を高時間解像度の画像とすれば、画像変換処理は、時間解像度を向上させる時間解像度創造（向上）処理ということができる。
【００２２】
さらに、例えば、第１の画像を、MPEG(Moving Picture Experts Group)符号化等のブロック単位で符号化された画像を復号することによって得られる復号画像とするとともに、第２の画像を、符号化前の画像とすれば、画像変換処理は、MPEG符号化及び復号によって生じるブロック歪み等の各種の歪みを除去する歪み除去処理ということができる。
【００２３】
なお、空間解像度創造処理において、低空間解像度の画像である第１の画像を、高空間解像度の画像である第２の画像に変換するにあたっては、第２の画像を、第１の画像と同一の画素数の画像とすることもできるし、第１の画像よりも画素数が多い画像とすることもできる。第２の画像を、第１の画像よりも画素数が多い画像とする場合、空間解像度創造処理は、空間解像度を向上させる処理であるとともに、画像サイズ（画素数）を拡大するリサイズ処理でもある。
【００２４】
以上のように、クラス分類適応処理によれば、第１及び第２の画像をどのように定義するかによって、様々な信号処理を実現することができる。
【００２５】
以上のようなクラス分類適応処理では、第２の画像のうちの注目している注目画素（の画素値）を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、注目画素に対して選択される第１の画像の画素（の画素値）とを用いた演算により、注目画素（の画素値）が求められる。
【００２６】
図１は、クラス分類適応処理による画像変換処理を行う画像変換装置の構成例を示すブロック図である。
【００２７】
画像変換装置１では、そこに供給される画像が、第１の画像として、タップ選択部１２及び１３に供給される。
【００２８】
注目画素選択部１１は、第２の画像を構成する画素を、順次、注目画素とし、その注目画素を表す情報を、必要なブロックに供給する。
【００２９】
タップ選択部１２は、注目画素（の画素値）を予測するのに用いる第１の画像を構成する画素（の画素値）の幾つかを、予測タップとして選択する。
【００３０】
具体的には、タップ選択部１２は、注目画素の時空間の位置から空間的又は時間的に近い位置にある第１の画像の複数の画素を、予測タップとして選択する。
【００３１】
タップ選択部１３は、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像を構成する画素の幾つかを、クラスタップとして選択する。すなわち、タップ選択部１３は、タップ選択部１２が予測タップを選択するのと同様にして、クラスタップを選択する。
【００３２】
なお、予測タップとクラスタップのタップ構造は、同一のタップ構造であっても良いし、異なるタップ構造であっても良い。
【００３３】
タップ選択部１２で得られた予測タップは、予測演算部１６に供給され、タップ選択部１３で得られたクラスタップは、クラス分類部１４に供給される。
【００３４】
クラス分類部１４は、タップ選択部１３からのクラスタップに基づき、所定の規則に従って、注目画素をクラス分類し、その結果得られる、注目画素のクラスに対応するクラスコードを、係数出力部１５に供給する。
【００３５】
ここで、クラス分類を行う方法としては、例えば、クラスタップとしての（画素の）画素値を量子化するADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００３６】
ADRCを用いる方法では、クラスタップを構成する画素（の画素値）が量子化され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００３７】
すなわち、LビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、クラスタップを構成する画素の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各画素の画素値がLビットに量子化される。具体的には、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Lで除算（量子化）される。
【００３８】
そして、以上のようにして得られる、クラスタップを構成するLビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
【００３９】
したがって、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。クラス分類を、ADRCのみで行う場合には、例えば、ADRCコードが、クラスコードとなる。
【００４０】
なお、クラス分類部１４には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、N個の画素の画素値で構成され、各画素の画素値に、Aビットが割り当てられているとすると、クラス分類部１４が出力するクラスコードの場合の数は、（２N）A通りとなり、画素の画素値のビット数Aに指数的に比例した膨大な数となる。
【００４１】
したがって、クラス分類部１４においては、クラスタップの情報量を、上述のADRCや、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
【００４２】
係数出力部１５は、後述する学習によって求められたクラスごとのタップ係数を記憶しており、さらに、その記憶しているタップ係数のうちの、クラス分類部１４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラス分類部１４から供給されるクラスコードが表すクラスのタップ係数）を出力する。このタップ係数は、予測演算部１６に供給される。
【００４３】
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当する。
【００４４】
予測演算部１６は、タップ選択部１２が出力する予測タップと、係数出力部１５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の画素値（の真値）の予測値を求める所定の予測演算を行う。これにより、予測演算部１６は、注目画素の画素値（の予測値）、すなわち、第２の画像を構成する画素の画素値を求めて出力する。
【００４５】
図２は、図１の画像変換装置１による画像変換処理を説明するフローチャートである。
【００４６】
ステップＳ１１において、注目画素選択部１１は、画像変換装置１に入力される第１の画像に対する第２の画像を構成する画素のうち、まだ、注目画素とされていない画素の１つを、注目画素として選択し、処理は、ステップＳ１２に進む。すなわち、注目画素選択部１１では、例えば、第２の画像を構成する画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素が、注目画素として選択される。
【００４７】
ステップＳ１２において、タップ選択部１２と１３が、そこに供給される第１の画像から、注目画素についての予測タップとクラスタップとする画素を、それぞれ選択する。そして、予測タップは、タップ選択部１２から予測演算部１６に供給され、クラスタップは、タップ選択部１３からクラス分類部１４に供給される。
【００４８】
クラス分類部１４は、タップ選択部１３から、注目画素についてのクラスタップを受信し、ステップＳ１３において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部１４は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数出力部１５に出力し、処理は、ステップＳ１４に進む。
【００４９】
ステップＳ１４では、係数出力部１５が、クラス分類部１４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を取得して出力する。さらに、ステップＳ１４では、予測演算部１６が、係数出力部１５が出力するタップ係数を取得し、処理は、ステップＳ１５に進む。
【００５０】
ステップＳ１５では、予測演算部１６が、タップ選択部１２が出力する予測タップと、係数出力部１５から取得したタップ係数とを用いて、所定の予測演算を行う。これにより、予測演算部１６は、注目画素の画素値を求めて出力し、処理は、ステップＳ１６に進む。
【００５１】
ステップＳ１６では、注目画素選択部１１が、まだ、注目画素としていない第２の画像があるかどうかを判定する。ステップＳ１６において、まだ、注目画素としていない第２の画像があると判定された場合、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００５２】
また、ステップＳ１６において、まだ、注目画素とされていない第２の画像がないと判定された場合、処理を終了する。
【００５３】
次に、図１の予測演算部１６における予測演算と、係数出力部１５に記憶されるタップ係数の学習について説明する。
【００５４】
いま、例えば、高画質の画像（高画質画像）を第２の画像とするとともに、その高画質画像をLPF(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像（低画質画像）を第１の画像として、低画質画像から予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像の画素（高画質画素）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【００５５】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値yは、次の線形１次式によって求められることになる。
【００５６】
【数１】
2014194706.tif 000003
・・・（１）
【００５７】
但し、式（１）において、xnは、高画質画素yについての予測タップを構成する、n番目の低画質画像の画素（以下、適宜、低画質画素という）の画素値を表し、wnは、n番目の低画質画素（の画素値）xnと乗算されるn番目のタップ係数を表す。なお、式（１）では、予測タップが、N個の低画質画素x1，x2，・・・，xNで構成されることとしている。
【００５８】
ここで、高画質画素の画素値yは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【００５９】
いま、第ｋサンプル（k番目）の高画質画素の画素値の真値をykと表すとともに、式（１）によって得られるその真値ykの予測値をyk’と表すと、予測値yk’の真値ykに対する予測誤差ekは、次式で表される。
【００６０】
【数２】
2014194706.tif 000004
・・・（２）
【００６１】
いま、式（２）の予測値yk’は、式（１）にしたがって求められるため、式（２）のyk’を、式（１）にしたがって置き換えると、次式が得られる。
【００６２】
【数３】
2014194706.tif 000005
・・・（３）
【００６３】
但し、式（３）において、xn,kは、第kサンプルの高画質画素ykについての予測タップを構成するn番目の低画質画素を表す。
【００６４】
式（３）（又は式（２））の予測誤差ekを0とするタップ係数wnが、高画質画素ykを予測するのに最適なタップ係数となるが、すべての高画質画素ykについて、そのようなタップ係数wnを求めることは、一般には困難である。
【００６５】
そこで、タップ係数wnが最適な値であることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数wnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００６６】
【数４】
2014194706.tif 000006
・・・（４）
【００６７】
但し、式（４）において、Kは、高画質画素ykと、その高画質画素ykについての予測タップを構成する低画質画素x1,k，x2,k，・・・，xN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【００６８】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数wnで偏微分した結果を0とするwnによって与えられる。
【００６９】
【数５】
2014194706.tif 000007
・・・（５）
【００７０】
そこで、上述の式（３）をタップ係数wnで偏微分すると、次式が得られる。
【００７１】
【数６】
2014194706.tif 000008
・・・（６）
【００７２】
式（５）と（６）から、次式が得られる。
【００７３】
【数７】
2014194706.tif 000009
・・・（７）
【００７４】
式（７）のekに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【００７５】
【数８】
2014194706.tif 000010
・・・（８）
【００７６】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数wnについて解くことができる。
【００７７】
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）wnを、クラスごとに求めることができる。
【００７８】
図３は、式（８）の正規方程式をたてて解くことによりタップ係数wnを求める学習を行う学習装置の構成例を示すブロック図である。
【００７９】
学習装置２１において、学習用画像記憶部３１は、タップ係数wnの学習に用いられる学習用画像を記憶している。ここで、学習用画像としては、例えば、解像度の高い高画質画像を用いることができる。
【００８０】
教師データ生成部３２は、学習用画像記憶部３１から学習用画像を読み出す。さらに、教師データ生成部３２は、学習用画像から、タップ係数の学習の教師（真値）、すなわち、式（１）による予測演算としての写像の写像先の画素値となる教師データ（教師画像）を生成し、教師データ記憶部３３に供給する。例えば、教師データ生成部３２は、学習用画像としての高画質画像を、そのまま教師データとして、教師データ記憶部３３に供給することができる。
【００８１】
教師データ記憶部３３は、教師データ生成部３２から供給される教師データとしての高画質画像を記憶する。
【００８２】
生徒データ生成部３４は、学習用画像記憶部３１から学習用画像を読み出す。さらに、生徒データ生成部３４は、学習用画像から、タップ係数の学習の生徒、すなわち、式（１）による予測演算としての写像による変換対象の画素値となる生徒データ（生徒画像）を生成し、生徒データ記憶部３５に供給する。ここでは、生徒データ生成部３４は、例えば、学習用画像としての高画質画像をフィルタリングすることにより、その解像度を低下させることで、低画質画像を生成し、この低画質画像を、生徒データとして、生徒データ記憶部３５に供給する。
【００８３】
生徒データ記憶部３５は、生徒データ生成部３４から供給される生徒データを記憶する。
【００８４】
学習部３６は、教師データ記憶部３３に記憶された教師データとしての高画質画像を構成する画素を、順次、注目画素とし、その注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像を構成する低画質画素のうちの、図１のタップ選択部１２が選択するのと同一のタップ構造の低画質画素を、予測タップとして選択する。さらに、学習部３６は、教師データを構成する各画素と、その画素が注目画素とされたときに選択された予測タップとを用い、クラスごとに、式（８）の正規方程式をたてて解くことにより、クラスごとのタップ係数を求める。
【００８５】
図４は、図３の学習部３６の構成例を示すブロック図である。
【００８６】
注目画素選択部４１は、教師データ記憶部３３に記憶されている教師データを構成する画素を、順次、注目画素として選択し、その注目画素を表す情報を、必要なブロックに供給する。
【００８７】
タップ選択部４２は、注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像を構成する低画質画素から、図１のタップ選択部１２が選択するの同一の画素を予測タップとして選択し、これにより、タップ選択部１２で得られるのと同一のタップ構造の予測タップを得て、足し込み部４５に供給する。
【００８８】
タップ選択部４３は、注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像を構成する低画質画素から、図１のタップ選択部１３が選択するのと同一の画素をクラスタップとして選択し、これにより、タップ選択部１３で得られるのと同一のタップ構造のクラスタップを得て、クラス分類部４４に供給する。
【００８９】
クラス分類部４４は、タップ選択部４３が出力するクラスタップに基づき、図１のクラス分類部１４と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部４５に出力する。
【００９０】
足し込み部４５は、教師データ記憶部３３から、注目画素となっている教師データ（画素）を読み出し、その注目画素と、タップ選択部４２から供給される注目画素についての予測タップを構成する生徒データ（画素）とを対象とした足し込みを、クラス分類部４４から供給されるクラスコードごとに行う。
【００９１】
すなわち、足し込み部４５には、教師データ記憶部３３に記憶された教師データyk、タップ選択部４２が出力する予測タップxn,k、クラス分類部４４が出力するクラスコードが供給される。
【００９２】
そして、足し込み部４５は、クラス分類部４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）xn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（xn,kxn',k）と、サメーション（Σ）に相当する演算を行う。
【００９３】
さらに、足し込み部４５は、やはり、クラス分類部４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）xn,kと教師データykを用い、式（８）の右辺のベクトルにおける生徒データxn,k及び教師データykの乗算（xn,kyk）と、サメーション（Σ）に相当する演算を行う。
【００９４】
すなわち、足し込み部４５は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σxn,kxn',k）と、右辺のベクトルのコンポーネント（Σxn,kyk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σxn,kxn',k）又はベクトルのコンポーネント（Σxn,kyk）に対して、新たに注目画素とされた教師データについて、その教師データyk+1及び生徒データxn,k+1を用いて計算される、対応するコンポーネントxn,k+1xn',k+1又はxn,k+1yk+1を、それぞれ足し込む（式（８）のサメーションで表される加算を行う）。
【００９５】
そして、足し込み部４５は、教師データ記憶部３３（図３）に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部４６に供給する。
【００９６】
タップ係数算出部４６は、足し込み部４５から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数wnを求めて出力する。
【００９７】
図１の画像変換装置１における係数出力部１５には、以上のようにして求められたクラスごとのタップ係数wnが記憶されている。
【００９８】
ここで、生徒データは、第１の画像に相当し、教師データは、第２の画像に相当する。そして、第１の画像に相当する生徒データとする画像と、第２の画像に相当する教師データとする画像の選択の仕方によって、タップ係数としては、上述したように、各種の画像変換処理を行うタップ係数を得ることができる。
【００９９】
図５は、学習により得られるタップ係数を用いたクラス分類適応処理としての画像変換処理の例を説明する図である。
【０１００】
上述のように、高画質画像を、第２の画像に対応する教師データとするとともに、その高画質画像の空間解像度を劣化させた低画質画像を、第１の画像に対応する生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５Ａに示すように、低画質画像（ＳＤ(Standard Definition)画像）である第１の画像を、その空間解像度を向上させた高画質画像（ＨＤ(High Definition)画像）である第２の画像に変換する空間解像度創造処理としての画像変換処理を行うタップ係数を得ることができる。
【０１０１】
なお、この場合、第１の画像（生徒データ）は、第２の画像（教師データ）と画素数が同一であっても良いし、少なくても良い。
【０１０２】
また、例えば、高画質画像を教師データとするとともに、その教師データとしての高画質画像に対して、ノイズを重畳した画像を生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５Ｂに示すように、低S/Nの画像である第１の画像を、そこに含まれるノイズを除去（低減）した高S/Nの画像である第２の画像に変換するノイズ除去処理としての画像変換処理を行うタップ係数を得ることができる。
【０１０３】
さらに、例えば、ある画像を教師データとするとともに、その教師データとしての画像の画素数を間引いた画像を生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５Ｃに示すように、画像の一部である第１の画像を、その第１の画像を拡大した拡大画像である第２の画像に変換する拡大処理（リサイズ処理）としての画像変換処理を行うタップ係数を得ることができる。
【０１０４】
なお、拡大処理を行うタップ係数は、高画質画像を教師データとするとともに、その高画質画像の空間解像度を、画素数を間引くことにより劣化させた低画質画像を生徒データとして、タップ係数の学習を行うことによっても得ることができる。
【０１０５】
また、例えば、高フレームレートの画像を教師データとするとともに、その教師データとしての高フレームレートの画像のフレームを間引いた画像を生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５Ｄに示すように、所定のフレームレートの第１の画像を、高フレームレートの第２の画像に変換する時間解像度創造処理としての画像変換処理を行うタップ係数を得ることができる。
【０１０６】
図６は、図３の学習装置２１の処理（学習処理）を説明するフローチャートである。
【０１０７】
まず最初に、ステップＳ２１において、教師データ生成部３２と生徒データ生成部３４が、学習用画像記憶部３１に記憶された学習用画像から、教師データと生徒データを生成し、教師データ記憶部３３と生徒データ記憶部３５にそれぞれ供給して記憶させる。
【０１０８】
なお、教師データ生成部３２と生徒データ生成部３４において、それぞれ、どのような生徒データと教師データを生成するかは、上述したような種類の画像変換処理としてのクラス分類適応処理のうちのいずれのタップ係数の学習を行うかによって異なる。
【０１０９】
その後、処理は、ステップＳ２２に進み、学習部３６（図４）において、注目画素選択部４１は、教師データ記憶部３３に記憶された教師データのうち、まだ、注目画素としていない画素を、注目画素として選択し、処理は、ステップＳ２３に進む。ステップＳ２３では、タップ選択部４２が、注目画素について、生徒データ記憶部３５に記憶された生徒データから予測タップとする生徒データとしての画素を選択し、足し込み部４５に供給するとともに、タップ選択部４３が、やはり、注目画素について、生徒データ記憶部３５に記憶された生徒データからクラスタップとする生徒データを選択し、クラス分類部４４に供給する。
【０１１０】
そして、処理は、ステップＳ２４に進み、クラス分類部４４は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部４５に出力して、処理は、ステップＳ２５に進む。
【０１１１】
ステップＳ２５では、足し込み部４５は、教師データ記憶部３３から、注目画素を読み出し、その注目画素と、タップ選択部４２から供給される注目画素について選択された予測タップを構成する生徒データとを対象とした式（８）の足し込みを、クラス分類部４４から供給されるクラスコードごとに行い、処理は、ステップＳ２６に進む。
【０１１２】
ステップＳ２６では、注目画素選択部４１が、教師データ記憶部３３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ２６において、注目画素としていない教師データが、まだ、教師データ記憶部３３に記憶されていると判定された場合、ステップＳ２２に戻り、以下、同様の処理が繰り返される。
【０１１３】
また、ステップＳ２６において、注目画素としていない教師データが、教師データ記憶部３３に記憶されていないと判定された場合、足し込み部４５は、いままでのステップＳ２２ないしＳ２６の処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、タップ係数算出部４６に供給し、処理は、ステップＳ２７に進む。
【０１１４】
ステップＳ２７では、タップ係数算出部４６は、足し込み部４５から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数wnを求めて出力し、処理を終了する。
【０１１５】
なお、学習用画像の数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部４６は、例えば、デフォルトのタップ係数を出力することができる。
【０１１６】
＜本技術を適用したディジタルカメラの一実施の形態＞
【０１１７】
図７は、本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。
【０１１８】
なお、ディジタルカメラは、静止画、及び、動画のいずれも撮像することができる。
【０１１９】
図７において、ディジタルカメラは、光学系５１、イメージセンサ５２、メモリ５３、信号処理部５４、出力部５５、及び、制御部５６を有する。
【０１２０】
光学系５１は、例えば、図示せぬズームレンズや、フォーカスレンズ、絞り等を有し、外部からの光を、イメージセンサ５２に入射させる。
【０１２１】
イメージセンサ５２は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、光学系５１からの入射光を受光し、光電変換を行って、光学系５１からの入射光に対応する電気信号としての画像データを出力する。
【０１２２】
メモリ５３は、イメージセンサ５２が出力する画像データを一時記憶する。
【０１２３】
信号処理部５４は、メモリ５３に記憶された画像データを用いた信号処理としての、例えば、デモザイク処理や、ノイズの除去処理、先鋭感改善処理等の画像処理を行い、出力部５５に供給する。
【０１２４】
出力部５５は、信号処理部５４からの画像データを出力する。
【０１２５】
すなわち、出力部５５は、例えば、液晶等で構成されるディスプレイ（図示せず）を有し、信号処理部５４からの画像データに対応する画像を、いわゆるスルー画として表示する。
【０１２６】
また、出力部５５は、例えば、半導体メモリや、磁気ディスク、光ディスク等の記録媒体を駆動するドライバ（図示せず）を有し、信号処理部５４からの画像データを記録媒体に記録する。
【０１２７】
制御部５６は、ユーザの操作等に従い、ディジタルカメラを構成する各ブロックを制御する。
【０１２８】
以上のように構成されるディジタルカメラでは、イメージセンサ５２が、光学系５１からの入射光を受光し、その入射光に応じて、画像データを出力する。
【０１２９】
イメージセンサ５２が出力する画像データは、メモリ５３に供給されて記憶される。メモリ５３に記憶された画像データについては、信号処理部５４による信号処理が施され、その結果得られる画像データは、出力部５５に供給されて出力される。
【０１３０】
＜信号処理部５４での先鋭感改善処理を行う画像変換装置の構成例＞
【０１３１】
図８は、図７の信号処理部５４で行われる先鋭感改善処理を行う画像変換装置の構成例を示すブロック図である。
【０１３２】
図７の信号処理部５４は、画像変換装置６０を内蔵し、その画像変換装置６０において、先鋭感改善処理が行われる。
【０１３３】
なお、図８の画像変換装置６０において、図１の画像変換装置１と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１３４】
図８の画像変換装置６０は、注目画素選択部１１及び予測演算部１６を有する点で、図１の画像変換装置１と共通する。但し、画像変換装置６０は、ダイナミックレンジ検出部６１が新たに設けられ、さらに、タップ選択部１２，１３、クラス分類部１４、及び、係数出力部１５に代えて、それぞれ、タップ選択部６２，６３、クラス分類部６４、及び、係数出力部６５が設けられている点で、図１の画像変換装置１と相違する。
【０１３５】
図８において、画像変換装置６０は、画像変換装置６０に入力される入力画像の先鋭感改善処理として、入力画像を、先鋭感が改善された画像に変換する画像変換処理を、クラス分類適応処理を利用して行う。
【０１３６】
なお、画像変換装置６０から出力される画像を、出力画像ということとすると、画像変換装置６０では、画像変換処理によって、例えば、入力画像の先鋭感を改善し、かつ、空間解像度を向上させた出力画像が求められる。
【０１３７】
図８において、画像変換装置６０には、メモリ５３に記憶された画像（データ）が、入力画像（第１の画像）として供給される。画像変換装置６０に供給された入力画像は、ダイナミックレンジ検出部６１、タップ選択部６２及び６３に供給される。
【０１３８】
なお、ここでは、画像変換装置６０に供給される入力画像は、例えば、輝度（値）を、画素値として有することとする。
【０１３９】
ダイナミックレンジ検出部６１は、注目画素選択部１１において、出力画像（第２の画像）の画素の中から選択された注目画素に対応する入力画像の位置の局所的なダイナミックレンジを表すダイナミックレンジ情報を検出し、タップ選択部６２，６３、及び、クラス分類部６４に供給する。
【０１４０】
タップ選択部６２は、注目画素について、入力画像から、予測タップとする画素（の画素値）を選択し、予測演算部１６に供給する。
【０１４１】
すなわち、タップ選択部６２は、例えば、図１のタップ選択部１２と同様に、注目画素の位置から空間的又は時間的に近い位置にある入力画像の複数の画素を、予測タップとして選択する。
【０１４２】
但し、タップ選択部６２は、ダイナミックレンジ検出部６１からのダイナミックレンジ情報に応じて、予測タップとなる画素の数であるタップ数を変更する。
【０１４３】
タップ選択部６３は、図１のタップ選択部１３と同様に、注目画素について、入力画像から、クラスタップとする画素（の画素値）を選択し、クラス分類部６４に供給する。
【０１４４】
なお、タップ選択部６３は、タップ選択部６２と同様に、ダイナミックレンジ検出部６１からのダイナミックレンジ情報に応じて、クラスタップとなる画素の数であるタップ数を変更することができる。但し、タップ選択部６３では、クラスタップのタップ数は、ダイナミックレンジ情報にかかわらず、一定値に固定することができる。
【０１４５】
クラス分類部６４は、ダイナミックレンジ検出部６１からのダイナミックレンジ情報と、タップ選択部６３からのクラスタップとに基づき、例えば、ADRC等によって、所定の規則に従い、注目画素をクラス分類し、その結果得られる、注目画素のクラスに対応するクラスコードを、係数出力部６５に供給する。
【０１４６】
なお、クラス分類部６４は、ダイナミックレンジ検出部６１からのダイナミックレンジ情報に応じて、クラス分類で採用する所定の規則を変更することができる。
【０１４７】
係数出力部６５は、後述する学習によって求められたクラスごとのタップ係数を、内蔵するメモリ（図示せず）に記憶している。そして、係数出力部６５は、内蔵するメモリに記憶されているタップ係数のうちの、クラス分類部６４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラス分類部６４から供給されるクラスコードが表すクラスのタップ係数）を読み出すことにより取得し、予測演算部１６に供給する。
【０１４８】
＜ダイナミックレンジ検出部６１の構成例＞
【０１４９】
図９は、図８のダイナミックレンジ検出部６１の構成例を示すブロック図である。
【０１５０】
図９において、ダイナミックレンジ検出部６１は、タップ選択部７１、最大値検出部７２、最小値検出部７３、演算部７４、及び、判定部７５を有する。
【０１５１】
タップ選択部７１には、入力画像が供給される。
【０１５２】
タップ選択部７１は、注目画素について、注目画素に対応する入力画像の位置の局所的なダイナミックレンジの検出に用いる検出タップとする画素（の画素値）を、入力画像から選択し、最大値検出部７２、及び、最小値検出部７３に供給する。
【０１５３】
ここで、タップ選択部７１では、例えば、注目画素についての予測タップやクラスタップとしての画素を包含する所定のエリアを、ダイナミックレンジを検出するためのダイナミックレンジ検出用エリアとして、そのダイナミックレンジ検出用エリア内の画素を、注目画素についての検出タップとして採用することができる。すなわち、検出タップの構造（検出タップを構成する入力画素）としては、例えば、後述する通常モードのクラスタップと同一構造を採用することができる。
【０１５４】
最大値検出部７２は、タップ選択部７１からの検出タップの画素の画素値の中から、最大の画素値である最大画素値を検出し、演算部７４に供給する。
【０１５５】
最小値検出部７３は、タップ選択部７１からの検出タップの画素の画素値の中から、最小の画素値である最小画素値を検出し、演算部７４に供給する。
【０１５６】
演算部７４は、最大値検出部７２からの最大画素値と、最小値検出部７３からの最小画素値との差分（最大画素値から最小画素値を減算した減算値）（以下、単純ダイナミックレンジともいう）を、注目画素についての局所的なダイナミックレンジとして演算し、判定部７５に供給する。
【０１５７】
判定部７５は、演算部７４からの、注目画素についての局所的なダイナミックレンジ（以下、局所ダイナミックレンジともいう）と、あらかじめ決められた所定の閾値との大小関係を判定する。そして、判定部７５は、注目画素についての局所的なダイナミックレンジが、所定の閾値より大であるかどうかを表す、例えば、1ビットのダイナミックレンジ情報を、タップ選択部６２，６３、及び、クラス分類部６４に供給する。
【０１５８】
なお、判定部７５では、注目画素についての局所ダイナミックレンジと、複数の閾値それぞれとの大小関係を判定することができ、この場合、ダイナミックレンジ情報としては、局所ダイナミックレンジがどの程度大きい（小さい）のかを表す複数ビットを採用することができる。
【０１５９】
図１０は、図８のダイナミックレンジ検出部６１の他の構成例を示すブロック図である。
【０１６０】
なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１６１】
図１０のダイナミックレンジ検出部６１は、タップ選択部７１ないし判定部７５を有する点で、図９の場合と共通する。但し、図１０のダイナミックレンジ検出部６１は、平均値算出部８１が新たに設けられているとともに、演算部７４と判定部７５との間に、演算部８２が新たに設けられている点で、図９の場合と相違する。
【０１６２】
平均値算出部８１には、タップ選択部７１から、検出タップが供給される。
【０１６３】
平均値算出部８１は、タップ選択部７１からの検出タップとしての画素の画素値の平均値である平均画素値を求め、演算部８２に供給する。
【０１６４】
演算部８２には、平均値算出部８１から平均画素値が供給される他、演算部７４から、単純ダイナミックレンジが供給される。
【０１６５】
演算部８２は、演算部７４からの単純ダイナミックレンジを、平均値算出部８１からの平均画素値で除算することにより、単純ダイナミックレンジを正規化した正規化ダイナミックレンジを求め、注目画素についての局所ダイナミックレンジとして、判定部７５に供給する。
【０１６６】
したがって、図１０では、判定部７５では、単純ダイナミックレンジではなく、正規化ダイナミックレンジと所定の閾値との大小関係が判定され、その大小関係を表すダイナミックレンジ情報が出力される。
【０１６７】
ダイナミックレンジ検出部６１として、単純ダイナミックレンジ（と閾値との大小関係）を表すダイナミックレンジ情報を検出する図９の構成を採用するか、又は、正規化ダイナミックレンジ（と閾値との大小関係）を表すダイナミックレンジ情報を検出する図１０の構成を採用するかは、例えば、入力画像の階調特性に応じて選択することができる。
【０１６８】
すなわち、入力画像が、例えば、いわゆるRAW画像（現像前の画像）のような、光量に対する画素値がリニアに変化する、リニアな階調特性を有する画像である場合には、ダイナミックレンジ検出部６１としては、正規化ダイナミックレンジを表すダイナミックレンジ情報を検出する図１０の構成を採用することができる。
【０１６９】
また、入力画像が、リニアでない、例えば、いわゆるガンマ等の階調特性を有する画像である場合には、ダイナミックレンジ検出部６１として、単純ダイナミックレンジを表すダイナミックレンジ情報を検出する図９の構成を採用することができる。
【０１７０】
なお、ダイナミックレンジ検出部６１として、図１０の構成を採用し、さらに、図１０の判定部７５において、演算部７４で得られる単純ダイナミックレンジ、及び、演算部８２で得られる正規化ダイナミックレンジの中から、閾値との大小関係を判定する対象を選択することが可能なような構成を採用することにより、入力画像の階調特性その他必要に応じて、単純ダイナミックレンジ、又は、正規化ダイナミックレンジを表す情報を、ダイナミックレンジ情報として選択することが可能になる。
【０１７１】
＜予測タップの構成例＞
【０１７２】
図１１は、図８のタップ選択部６２で選択される予測タップの構成例を示す図である。
【０１７３】
なお、図１１において、大きな丸印は、入力画像の画素である入力画素を表し、小さな丸印は、出力画像の画素である出力画素を表す。図１１では、1個の入力画素の左上、左下、右上、及び、右下の4箇所の位置に、出力画素が存在し、したがって、図８の画像変換装置６０では、入力画像が、横及び縦の画素数のそれぞれが入力画像の2倍になった出力画像に変換される。
【０１７４】
また、図１１において、黒で塗りつぶしてある小さな丸印は、注目画素になっている出力画素を表す。さらに、図１１において、太線の大きな丸印は、予測タップとなる入力画素を表す。
【０１７５】
タップ選択部６２（図８）は、例えば、注目画素（に対応する入力画像の位置）に最も近い入力画素（以下、対応入力画素ともいう）を基準として、注目画素についての予測タップとなる入力画素を選択する。
【０１７６】
図１１Ａは、通常モードの予測タップの構成例を示している。
【０１７７】
ここで、本実施の形態では、予測タップの選択のモードとして、通常モードと、ダイナミックレンジ大モードとがある。
【０１７８】
タップ選択部６２は、ダイナミックレンジ検出部６１からのダイナミックレンジ情報が、注目画素についての局所ダイナミックレンジ（単純ダイナミックレンジ、又は、正規化ダイナミックレンジ）が大でないことを表している場合、予測タップの選択のモードを、通常モードに設定して、予測タップ（となる入力画素）を選択する。
【０１７９】
また、タップ選択部６２は、ダイナミックレンジ検出部６１からのダイナミックレンジ情報が、注目画素についての局所ダイナミックレンジが大であることを表している場合、予測タップの選択のモードを、ダイナミックレンジ大モードに設定して、予測タップを選択する。
【０１８０】
通常モードでは、タップ選択部６２は、通常モードの予測タップとなる入力画素を選択する。
【０１８１】
すなわち、通常モードでは、例えば、図１１Ａに示すように、対応入力画素を中心とする（横×縦が）3×3画素の、合計で9画素の入力画素を、予測タップとして選択することができる。
【０１８２】
図１１Ｂは、ダイナミックレンジ大モードの予測タップの構成例を示している。
【０１８３】
ダイナミックレンジ大モードでは、タップ選択部６２は、通常モードの場合よりも、予測タップのタップ数を少なく変更し、ダイナミックレンジ大モードの予測タップとなる入力画素を選択する。
【０１８４】
図１１Ｂでは、ダイナミックレンジ大モードの予測タップのタップ数は、通常モードの予測タップのタップ数である9画素より少ない、例えば、4画素になっている。
【０１８５】
すなわち、ダイナミックレンジ大モードでは、図１１Ｂに示すように、注目画素についての対応入力画素を基準として、その対応入力画素を含む2×2画素の、合計で4画素の入力画素が、予測タップとして選択される。
【０１８６】
具体的には、対応入力画素の左上の位置が注目画素（の位置）である場合には、対応入力画素を含む、その対応入力画素の左上側の2×2画素の入力画素が、予測タップとして選択される。
【０１８７】
対応入力画素の左下の位置が注目画素である場合には、対応入力画素を含む、その対応入力画素の左下側の2×2画素の入力画素が、予測タップとして選択される。
【０１８８】
対応入力画素の右上の位置が注目画素である場合には、対応入力画素を含む、その対応入力画素の右上側の2×2画素の入力画素が、予測タップとして選択される。
【０１８９】
対応入力画素の右下の位置が注目画素である場合には、対応入力画素を含む、その対応入力画素の右下側の2×2画素の入力画素が、予測タップとして選択される。
【０１９０】
以上のように、注目画素についての局所ダイナミックレンジが大でない場合には、リンギングを発生させるおそれがないため、通常モードの予測タップとして、対応入力画素を中心とする3×3画素という、ある程度の数の入力画素を選択することにより、高域を強調し、先鋭感のある出力画素（注目画素）（の画素値）を得ることができる。
【０１９１】
一方、注目画素についての局所ダイナミックレンジが大である場合には、通常モードの予測タップでは、リンギングを発生させるおそれがあるため、ダイナミックレンジ大モードの予測タップとして、対応入力画素を基準とする2×2画素という、通常モードの場合よりも少ない数（タップ数）の入力画素を選択することにより、高域を強調する程度を弱め、リンギングが発生しない出力画素を得ることができる。
【０１９２】
したがって、出力画像において、リンギングが発生することにより画質の劣化が生じることを防止することができる。
【０１９３】
なお、図１１では、注目画素についての局所ダイナミックレンジが大であるかどうかによって、予測タップのタップ数を、4画素又は9画素とする、いわば２段階の変更を行うこととしたが、予測タップのタップ数については、ダイナミックレンジが大であるほど、予測タップのタップ数を小にする３段階以上の変更を行うことが可能である。
【０１９４】
＜クラスタップの構成例＞
【０１９５】
図１２は、図８のタップ選択部６３で選択されるクラスタップの構成例を示す図である。
【０１９６】
なお、図１２では、図１１と同様に、大きな丸印は、入力画素を、小さな丸印は、出力画素を、黒で塗りつぶしてある小さな丸印は、注目画素になっている出力画素を、それぞれ表す。さらに、図１２において、太線の大きな丸印は、クラスタップとなる入力画素を表す。
【０１９７】
タップ選択部６３（図８）は、例えば、図１１で説明した予測タップの場合と同様に、注目画素についての対応入力画素を基準として、注目画素についてのクラスタップとなる入力画素を選択する。
【０１９８】
すなわち、タップ選択部６３は、ダイナミックレンジ検出部６１からのダイナミックレンジ情報に応じて、図１１で説明した予測タップの場合と同様に、クラスタップの選択のモードを、通常モード、又は、ダイナミックレンジ大モードに設定して、クラスタップを選択する。
【０１９９】
図１２Ａは、通常モードのクラスタップの構成例を示している。
【０２００】
通常モードでは、例えば、図１２Ａに示すように、図１１Ａの予測タップの場合と同様に、対応入力画素を中心とする3×3画素の、合計で9画素の入力画素を、クラスタップとして選択することができる。
【０２０１】
図１２Ｂは、ダイナミックレンジ大モードのクラスタップの構成例を示している。
【０２０２】
ダイナミックレンジ大モードでは、図１２Ｂに示すように、図１１Ｂの予測タップの場合と同様に、対応入力画素を基準として、その対応入力画素を含む2×2画素の、通常モードの場合の9画素よりも少ない4画素の入力画素が、クラスタップとして選択される。
【０２０３】
なお、クラスタップについては、注目画素についての局所ダイナミックレンジが大であるかどうかにかかわらず、常時、通常モードのクラスタップを採用することができる。
【０２０４】
＜クラス分類部６４の構成例＞
【０２０５】
図１３は、図８のクラス分類部６４の構成例を示すブロック図である。
【０２０６】
図１３では、クラス分類部６４は、ADRC処理部９１、及び、クラスコード生成部９２を有する。
【０２０７】
ADRC処理部９１には、ダイナミックレンジ検出部６１（図８）から、ダイナミックレンジ情報が供給されるとともに、タップ選択部６３から、クラスタップが供給される。
【０２０８】
ADRC処理部９１は、タップ選択部６３からのクラスタップを構成する入力画素（の画素値）のADRCを行うことによって、クラスタップを構成する各入力画素を、所定のLビットに量子化し、各入力画素のLビットを所定の順番で並べたコードを、ADRCコードとして、クラスコード生成部９２に供給する。
【０２０９】
また、ADRC処理部９１は、ダイナミックレンジ検出部６１からのダイナミックレンジ情報に応じて、ADRCの規則、ひいては、クラス分類の規則を変更する。
【０２１０】
すなわち、ADRC処理部９１は、ダイナミックレンジ情報に応じて、例えば、ADRCのビット数を変更する。
【０２１１】
具体的には、ADRC処理部９１は、ダイナミックレンジ情報が、注目画素についての局所ダイナミックレンジが大でないことを表している場合、クラス分類(ADRC)のモードを、通常モードに設定して、ADRC（量子化）のビット数が、例えば、1ビットの1ビットADRCを行う。
【０２１２】
また、ADRC処理部９１は、ダイナミックレンジ情報が、注目画素についての局所ダイナミックレンジが大であることを表している場合、クラス分類のモードを、ダイナミックレンジ大モードに設定して、ADRCのビット数が、通常モードより大である、例えば、4ビットの4ビットADRCを行う。
【０２１３】
クラスコード生成部９２には、ADRC処理部９１からADRCコードが供給される他、ダイナミックレンジ検出部６１（図８）から、ダイナミックレンジ情報が供給される。
【０２１４】
クラスコード生成部９２は、ADRC処理部９１からのADRCコードに、ダイナミックレンジ検出部６１からのダイナミックレンジ情報を付加したコードを、注目画素のクラスを表すクラスコードとして生成し、係数出力部６５（図８）に供給する。
【０２１５】
図１４は、図１３のADRC処理部９１で行われるADRCの例を説明する図である。
【０２１６】
なお、図１４において、横軸は、クラスタップを構成する入力画素の順番（又は位置）を表し、縦軸は、クラスタップを構成する入力画素の画素値を表す。
【０２１７】
図１４Ａは、通常モードのクラス分類で行われる1ビットADRCの例を説明する図である。
【０２１８】
1ビットADRCでは、クラスタップを構成する入力画素の画素値の中の最大画素値Maxから最小画素値Minを減算することにより、単純ダイナミックレンジDRが求められる。そして、単純ダイナミックレンジDRを2(=21)等分するレベルを閾値として、クラスタップを構成する各入力画素の画素値が2値化され（2値のいずれかに量子化され）、1ビットのコードに変換される。
【０２１９】
図１４Ｂは、ダイナミックレンジ大モードのクラス分類で行われる4ビットADRCの例を説明する図である。
【０２２０】
4ビットADRCでは、やはり、1ビットADRCと同様に、単純ダイナミックレンジDRが求められる。そして、単純ダイナミックレンジDRを16(=24)等分するレベルを閾値として、クラスタップを構成する各入力画素の画素値が16値の値のいずれかに量子化され、4ビットのコードに変換される。
【０２２１】
以上のように、クラス分類部６４では、注目画素についての局所ダイナミックレンジが大でない場合には、通常モードのクラス分類として、1ビットADRCが行われ、クラスタップを構成する各入力画素の画素値が、1ビットのコードに変換される。
【０２２２】
一方、注目画素についての局所ダイナミックレンジが大である場合には、ダイナミックレンジ大モードのクラス分類として、1ビットADRCよりも多い4ビットに量子化する4ビットADRCが行われ、クラスタップを構成する各入力画素の画素値が、4ビットのコードに変換される。
【０２２３】
注目画素についての局所ダイナミックレンジが大である場合に、注目画素についての局所ダイナミックレンジが大でない場合よりも、ビット数が多いADRCを行うことにより、画素値の変化が大きいエリアの注目画素について、予測演算部１６（図８）での予測演算により求められる注目画素の画素値の予測精度を向上させることができる。
【０２２４】
なお、図１３及び図１４では、注目画素についての局所ダイナミックレンジが大であるかどうかによって、クラス分類の規則としてのADRCのビット数を、1ビット又は4ビットとする、いわば２段階の変更を行うこととしたが、ADRCのビット数については、ダイナミックレンジが大であるほど、ADRCのビット数を大にする３段階以上の変更を行うことが可能である。
【０２２５】
また、図１２で説明したように、ダイナミックレンジ情報に応じて、クラスタップのタップ数を、4画素又は9画素に変更する場合には、通常モード時には、9画素のクラスタップを対象にADRCが行われ、ダイナミックレンジ大モード時には、通常モード時よりも少ない4画素のクラスタップを対象にADRCが行われるが、このように、ダイナミックレンジ大モード時に、通常モード時よりも少ない4画素のクラスタップを対象にADRCが行われる場合には、ダイナミックレンジ大モード時の4画素のクラスタップを対象としたADRCでは、通常モード時の9画素のクラスタップを対象としたADRCと同一のビット数のADRCコードが得られるように、ADRCのビット数を設定することができる。
【０２２６】
すなわち、通常モードにおいて、9画素のクラスタップを対象として、上述したように、1ビットADRCが行われる場合には、9ビットのADRCコードが得られる。
【０２２７】
以上のように、通常モードにおいて、9ビットのADRCコードが得られる場合には、ダイナミックレンジ大モードにおいて、4画素のクラスタップを対象に行われるADRCでは、例えば、図１２Ｂに示した、4画素のクラスタップとしての入力画素のうちの、対応入力画素については、3ビットADRCを行い、残りの3画素の入力画素については、2ビットADRCを行うことができる。
【０２２８】
この場合、ダイナミックレンジ大モードでも、通常モードと同様に、9ビット（＝3+2+2+2ビット）のADRCコードを得ることができるので、通常モードで用いられるタップ係数を記憶するためのメモリ空間と、ダイナミックレンジ大モードで用いられるタップ係数を記憶するためのメモリ空間とが一致し、その結果、係数出力部５６において、メモリの記憶容量の無駄を生じさせずに、タップ係数を記憶することが可能になる。
【０２２９】
＜画像変換装置６０による画像変換処理＞
【０２３０】
図１５は、図８の画像変換装置６０による画像変換処理の例を説明するフローチャートである。
【０２３１】
ステップＳ３１において、注目画素選択部１１は、画像変換装置６０に入力される入力画像に対する出力画像を構成する画素（出力画素）のうち、まだ、注目画素とされていない画素の１つを、注目画素として選択し、処理は、ステップＳ３２に進む。すなわち、注目画素選択部１１では、例えば、出力画像を構成する画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素が、注目画素として選択される。
【０２３２】
ステップＳ３２では、ダイナミックレンジ検出部６１が、そこに入力される入力画像を用い、図９や図１０で説明したように、注目画素について、ダイナミックレンジ情報を検出し、タップ選択部６２，６３、及び、クラス分類部６４に供給して、処理は、ステップＳ３３に進む。
【０２３３】
ステップＳ３３では、タップ選択部６２が、図１１で説明したように、ダイナミックレンジ検出部６１からのダイナミックレンジ情報に応じて、そこに供給される入力画像から、注目画素についての予測タップとする画素を選択し、予測演算部１６に供給する。
【０２３４】
さらに、ステップＳ３３では、タップ選択部６３が、図１２で説明したように、ダイナミックレンジ検出部６１からのダイナミックレンジ情報に応じて、そこに供給される入力画像から、注目画素についてのクラスタップとする画素を選択し、クラス分類部６４に供給して、処理は、ステップＳ３４に進む。
【０２３５】
ステップＳ３４では、クラス分類部６４が、図１３及び図１４で説明したように、ダイナミックレンジ検出部６１からのダイナミックレンジ情報に応じ、そのダイナミックレンジ情報と、タップ選択部６３からのクラスタップとを用いて、注目画素をクラス分類する。そして、クラス分類部６４は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数出力部６５に出力して、処理は、ステップＳ３４からステップＳ３５に進む。
【０２３６】
ステップＳ３５では、係数出力部６５が、クラス分類部６４からのクラスコードに対応するアドレスに記憶されているタップ係数を取得して出力する。さらに、ステップＳ３５では、予測演算部１６が、係数出力部６５が出力するタップ係数を取得し、処理は、ステップＳ３６に進む。
【０２３７】
ステップＳ３６では、予測演算部１６が、タップ選択部６２が出力する予測タップと、係数出力部６５から取得したタップ係数とを用いて、式（１）の予測演算を行う。これにより、予測演算部１６は、注目画素の画素値を求めて出力し、処理は、ステップＳ３７に進む。
【０２３８】
ステップＳ３７では、注目画素選択部１１が、まだ、注目画素としていない出力画素があるかどうかを判定する。ステップＳ３７において、まだ、注目画素としていない出力画素があると判定された場合、ステップＳ３１に戻り、以下、同様の処理が繰り返される。
【０２３９】
また、ステップＳ３７において、まだ、注目画素とされていない出力画素がないと判定された場合、処理を終了する。
【０２４０】
＜学習装置の構成例＞
【０２４１】
図１６は、図８の係数出力部６５に記憶されるタップ係数を求める学習を行う学習装置の構成例を示すブロック図である。
【０２４２】
なお、図１６の学習装置１００において、図３の学習装置２１と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２４３】
図１６の学習装置１００は、学習用画像記憶部３１ないし生徒データ記憶部３５を有する点で、図３の学習装置２１と共通する。但し、図１６の学習装置１００は、学習部３６に代えて、学習部１０１を有する点で、図３の学習装置２１と相違する。
【０２４４】
なお、図１６では、学習用画像記憶部３１は、例えば、図８の画像変換装置６０で得られる出力画像に相当する、解像度の高い高画質画像を記憶している。
【０２４５】
そして、教師データ生成部３２は、学習用画像記憶部３１に記憶された学習用画像を、そのまま、教師データ（教師画像）として、教師データ記憶部３３に供給して記憶させる。
【０２４６】
また、生徒データ生成部３４は、学習用画像記憶部３１に記憶された学習用画像を間引いてフィルタリングすること等により、入力画像、すなわち、本実施の形態では、イメージセンサ５２で得られる画像に相当する、教師データよりも解像度及び先鋭感が低い生徒データ（生徒画像）を生成し、生徒データ記憶部３５に供給して記憶させる。
【０２４７】
学習部１０１では、以上のような教師データと生徒データとを用いて、クラスごとに、式（８）の正規方程式をたてて解くことにより、クラスごとのタップ係数が求められる。
【０２４８】
＜学習部１０１の構成例＞
【０２４９】
図１７は、図１６の学習部１０１の構成例を示すブロック図である。
【０２５０】
なお、図中、図４の学習部３６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２５１】
図１７の学習部１０１は、注目画素選択部４１、足し込み部４５、及び、タップ係数算出部４６を有する点で、図４の学習部３６と共通する。但し、図１７の学習部１０１は、ダイナミックレンジ検出部１１１が新たに設けられるとともに、タップ選択部４２，４３、及び、クラス分類部４４に代えて、それぞれ、タップ選択部１１２，１１３、及び、クラス分類部１１４が設けられている点で、図４の学習部３６と相違する。
【０２５２】
図１７において、教師データ記憶部３３（図１６）に記憶された教師データ（以下、教師画像ともいう）は、足し込み部４５に供給される。また、生徒データ記憶部３５（図１６）に記憶された生徒データ（以下、生徒画像ともいう）は、ダイナミックレンジ検出部１１１、タップ選択部１１２及び１１３に供給される。
【０２５３】
ダイナミックレンジ検出部１１１は、図８のダイナミックレンジ検出部６１と同様に、注目画素選択部４１において、教師画像の画素の中から選択された注目画素に対応する生徒画像の位置の局所的なダイナミックレンジを表すダイナミックレンジ情報を検出し、タップ選択部１１２，１１３、及び、クラス分類部１１４に供給する。
【０２５４】
タップ選択部１１２は、図８のタップ選択部６２と同様に、注目画素について、生徒画像から、予測タップとする画素（の画素値）を選択し、予測演算部１６に供給する。
【０２５５】
すなわち、タップ選択部１１２は、例えば、図８のタップ選択部６２で得られる予測タップと同一構造の予測タップとなる画素を、生徒画像から選択する。
【０２５６】
なお、タップ選択部１１２は、図８のタップ選択部６２と同様に、ダイナミックレンジ検出部１１１からのダイナミックレンジ情報に応じて、予測タップとなる画素の数であるタップ数を変更する。
【０２５７】
タップ選択部１１３は、図８のタップ選択部６３と同様に、注目画素について、生徒画像から、クラスタップとする画素（の画素値）を選択し、クラス分類部１１４に供給する。
【０２５８】
すなわち、タップ選択部１１３は、例えば、図８のタップ選択部６３で得られるクラスタップと同一構造のクラスタップとなる画素を、生徒画像から選択する。
【０２５９】
なお、タップ選択部１１３は、図８のタップ選択部１１３と同様に、ダイナミックレンジ検出部１１１からのダイナミックレンジ情報に応じて、クラスタップとなる画素の数であるタップ数を変更することができる。但し、図８のタップ選択部６３において、ダイナミックレンジ情報にかかわらず、クラスタップのタップ数を、一定値に固定する場合には、タップ選択部１１３でも、タップ選択部６３と同様に、ダイナミックレンジ情報にかかわらず、クラスタップのタップ数は、一定値に固定される。
【０２６０】
クラス分類部１１４は、注目画素について、ダイナミックレンジ検出部１１１からのダイナミックレンジ情報と、タップ選択部１１３からのクラスタップとを用いて、図８のクラス分類部６４と同一のクラス分類を行い、その結果得られる、注目画素のクラスに対応するクラスコードを、足し込み部４５に供給する。
【０２６１】
なお、クラス分類部１１４は、図８のクラス分類部６４と同様に、ダイナミックレンジ検出部１１１からのダイナミックレンジ情報に応じて、クラス分類で採用する所定の規則を変更する。
【０２６２】
＜学習装置１００の学習処理＞
【０２６３】
図１８は、図１６の学習装置１００の処理（学習処理）を説明するフローチャートである。
【０２６４】
まず最初に、ステップＳ４１において、教師データ生成部３２と生徒データ生成部３４が、学習用画像記憶部３１に記憶された学習用画像から、教師画像（教師データ）と生徒画像（生徒データ）を生成し、教師データ記憶部３３と生徒データ記憶部３５にそれぞれ供給して記憶させる。
【０２６５】
その後、処理は、ステップＳ４２に進み、学習部１０１（図１７）において、注目画素選択部４１は、教師データ記憶部３３に記憶された教師画像の画素のうち、まだ、注目画素としていない画素を、注目画素として選択し、処理は、ステップＳ４３に進む。
【０２６６】
ステップＳ４３では、ダイナミックレンジ検出部１１１が、生徒データ記憶部３５に記憶された生徒画像を用い、図８のダイナミックレンジ検出部６１と同様に、注目画素について、ダイナミックレンジ情報を検出し、タップ選択部１１２，１１３、及び、クラス分類部１１４に供給して、処理は、ステップＳ４４に進む。
【０２６７】
ステップＳ４４では、タップ選択部１１２が、図８のタップ選択部６２と同様に、ダイナミックレンジ検出部１１１からのダイナミックレンジ情報に応じて、生徒データ記憶部３５に記憶された生徒画像から、注目画素についての予測タップとする画素を選択し、足し込み部４５に供給する。
【０２６８】
さらに、ステップＳ４４では、タップ選択部１１３が、図８のタップ選択部６３と同様に、ダイナミックレンジ検出部１１１からのダイナミックレンジ情報に応じて、生徒データ記憶部３５に記憶された生徒画像から、注目画素についてのクラスタップとする画素を選択し、クラス分類部１１４に供給して、処理は、ステップＳ４５に進む。
【０２６９】
ステップＳ４５では、クラス分類部１１４が、図８のクラス分類部６３と同様に、ダイナミックレンジ検出部１１１からのダイナミックレンジ情報に応じ、そのダイナミックレンジ情報と、タップ選択部１１３からのクラスタップとを用いて、注目画素をクラス分類する。そして、クラス分類部１１４は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、足し込み部４５に供給して、処理は、ステップＳ４５からステップＳ４６に進む。
【０２７０】
ステップＳ４６では、足し込み部４５は、教師データ記憶部３３に記憶された注目画素としての教師画像の画素と、タップ選択部１１２から供給される注目画素について選択された予測タップとしての生徒画像の画素とを対象とした式（８）の足し込みを、クラス分類部１１４から供給されるクラスコードごとに行い、処理は、ステップＳ４７に進む。
【０２７１】
ステップＳ４７では、注目画素選択部４１が、教師データ記憶部３３（図１６）に、まだ、注目画素としていない教師画像の画素が記憶されているかどうかを判定する。ステップＳ４７において、注目画素としていない教師画像の画素が、まだ、教師データ記憶部３３に記憶されていると判定された場合、ステップＳ４２に戻り、以下、同様の処理が繰り返される。
【０２７２】
また、ステップＳ４７において、注目画素としていない教師画像の画素が、教師データ記憶部３３に記憶されていないと判定された場合、足し込み部４５は、いままでのステップＳ４２ないしＳ４７の処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、タップ係数算出部４６に供給し、処理は、ステップＳ４８に進む。
【０２７３】
ステップＳ４８では、タップ係数算出部４６は、足し込み部４５から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数を求めて出力し、処理を終了する。
【０２７４】
以上のように、ダイナミックレンジ情報に応じて、予測タップとなる画素の数であるタップ数を変更することにより、注目画素についての局所ダイナミックレンジが大きくなく、リンギングが発生しない場合には、高域を強調するタップ係数を得ることができ、注目画素についての局所ダイナミックレンジが大きく、リンギングが発生するおそれがある場合には、リンギングの発生を抑制するタップ係数を得ることができる。
【０２７５】
その結果、図８の画像変換装置６０での画像変換処理において、リンギングが生じることによる画質の劣化を防止しつつ、先鋭感のある出力画像を得ることができる。
【０２７６】
なお、図８の画像変換装置６０、及び、図１７の学習部１０１では、ダイナミックレンジ情報に応じて、予測タップとなる画素の数であるタップ数を変更する他、上述したように、ダイナミックレンジ情報に応じて、クラス分類の所定の規則を変更することや、入力画像（生徒画像）の階調特性に応じて、局所ダイナミックレンジとして、単純ダイナミックレンジ、又は、正規化ダイナミックレンジを採用することができる。
【０２７７】
この場合、より強固に、リンギングが生じることによる画質の劣化を防止しつつ、より先鋭感のある出力画像を得ることが可能になる。
【０２７８】
＜シミュレーション結果＞
【０２７９】
図１９は、本件発明者が行ったシミュレーションの結果を示す図である。
【０２８０】
なお、図１９において、横軸は、画素の位置を表し、縦軸は、画素値を表す。
【０２８１】
また、図１９において、実線は、図８の画像変換装置６０のように、ダイナミックレンジ情報に応じて、予測タップのタップ数を変更する可変タップ方式を採用して行った画像変換処理により得られた出力画像の画素値を表している。さらに、図１９において、点線は、ダイナミックレンジ情報にかかわらず、予測タップのタップ数を固定した固定タップ方式を採用して行ったクラス分類適応処理としての画像変換処理により得られた出力画像の画素値を表している。
【０２８２】
固定タップ方式では、図１９に示すように、急峻なエッジの周囲で、出力画像の画素値が大きく下がり、その出力画像の高輝度部分の周囲に、黒い淵状の模様が発生するリンギングが生じている。
【０２８３】
これに対して、可変タップ方式では、図１９に示すように、急峻なエッジの周囲で、出力画像の画素値が大きく下がることが防止されており、リンギングが生じていない。したがって、出力画像の画質の劣化を防止することができる。
【０２８４】
＜信号処理部５４での先鋭感改善処理を行う画像変換装置の他の構成例＞
【０２８５】
図２０は、図７の信号処理部５４で行われる先鋭感改善処理を行う画像変換装置の他の構成例を示すブロック図である。
【０２８６】
なお、図２０の画像変換装置２００において、図８の画像変換装置６０と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２８７】
ここで、図８では、入力画像が、画素値として、輝度を有することとしたが、図２０では、入力画像が、画素（入力画素）ごとに、例えば、RGB(Red,Green,Blue)等の複数の色成分のうちの１つの色成分を画素値として有している画像であることとする。
【０２８８】
さらに、図２０では、出力画像として、各画素（出力画素）が、RGB等の複数の色成分のすべてを画素値として有する画像を採用することとする。
【０２８９】
この場合、図２０の画像変換装置２００では、先鋭感改善処理とともに、例えば、画素ごとに、RGBの色成分のうちの１つの色成分を画素値として有する入力画像を、各画素が、RGBの色成分のすべてを画素値として有する出力画像に変換するデモザイクが、画像変換処理として行われる。
【０２９０】
すなわち、いま、各画素が、Rの色成分（以下、R成分ともいう）のみを画素値として有する出力画像を、R出力画像と、各画素が、Gの色成分（以下、G成分ともいう）のみを画素値として有する出力画像を、G出力画像と、各画素が、Bの色成分（以下、B成分ともいう）のみを画素値として有する出力画像を、B出力画像と、それぞれいうこととすると、画像変換装置２００では、入力画像から、R出力画像、G出力画像、及び、B出力画像のそれぞれが予測される（入力画像が、R出力画像、G出力画像、及び、B出力画像のそれぞれに変換される）。
【０２９１】
図２０において、タップ選択部６２Ｇ，６２Ｒ及び６２Ｂ、タップ選択部６３Ｇ，６３Ｒ及び６３Ｂ、ダイナミックレンジ検出部２０１、代表値算出部２０２、並びに、平均値算出部２０３には、メモリ５３（図７）から、入力画像が供給される。
【０２９２】
また、タップ選択部６２Ｇ，６２Ｒ及び６２Ｂには、メモリ５３から、入力画像が供給される他、ダイナミックレンジ検出部２０１から、注目画素についてのダイナミックレンジ情報が供給される。
【０２９３】
タップ選択部６２Ｇ，６２Ｒ及び６２Ｂは、図８のタップ選択部６２に対応する。
【０２９４】
タップ選択部６２Ｇ，６２Ｒ及び６２Ｂは、図８のタップ選択部６２と同様に、注目画素について、入力画像から、G成分、R成分、及び、B成分を予測するための予測タップとする画素（の画素値）を選択し、レベル変換部２０６Ｇ，２０６Ｒ及び２０６Ｂに、それぞれ供給する。
【０２９５】
また、タップ選択部６２Ｇ，６２Ｒ及び６２Ｂは、図８のタップ選択部６２と同様に、ダイナミックレンジ検出部２０１からのダイナミックレンジ情報に応じて、予測タップのタップ数を変更する。
【０２９６】
タップ選択部６３Ｇ，６３Ｒ及び６３Ｂには、メモリ５３から、入力画像が供給される他、ダイナミックレンジ検出部２０１から、注目画素についてのダイナミックレンジ情報が供給される。
【０２９７】
タップ選択部６３Ｇ，６３Ｒ及び６３Ｂは、図８のタップ選択部６３に対応する。
【０２９８】
タップ選択部６３Ｇ，６３Ｒ及び６３Ｂは、図８のタップ選択部６３と同様に、注目画素について、入力画像から、G成分、R成分、及び、B成分を予測するときのクラス分類に用いるクラスタップとする画素（の画素値）を選択し、レベル変換部２０５Ｇ，２０５Ｒ及び２０５Ｂに、それぞれ供給する。
【０２９９】
また、タップ選択部６３Ｇ，６３Ｒ及び６３Ｂは、図８のタップ選択部６３と同様に、ダイナミックレンジ検出部２０１からのダイナミックレンジ情報に応じて、クラスタップのタップ数を変更することができる。さらに、タップ選択部６３Ｇ，６３Ｒ及び６３Ｂでは、図８のタップ選択部６３と同様に、ダイナミックレンジ検出部２０１からのダイナミックレンジ情報にかかわらず、クラスタップのタップ数を、一定値に固定することができる。
【０３００】
クラス分類部６４Ｇ，６４Ｒ及び６４Ｂには、ダイナミックレンジ検出部２０１から、ダイナミックレンジ情報が、階調変換部２０４から、後述する階調変換値が、レベル変換部２０５Ｇ，２０５Ｒ及び２０５Ｂそれぞれから、（レベル変換後の）クラスタップが、それぞれ供給される。
【０３０１】
クラス分類部６４Ｇ，６４Ｒ及び６４Ｂは、図８のクラス分類部６４に対応する。
【０３０２】
クラス分類部６４Ｇ，６４Ｒ及び６４Ｂは、ダイナミックレンジ検出部２０１からのダイナミックレンジ情報、階調変換部２０４からの階調変換値、並びに、レベル変換部２０５Ｇ，２０５Ｒ及び２０５Ｂそれぞれからのクラスタップを用い、例えば、ADRC等によって、所定の規則に従い、注目画素をクラス分類し、その結果得られる、注目画素のクラスに対応するクラスコードを、係数出力部６５Ｇ，６５Ｒ及び６５Ｂに、それぞれ供給する。
【０３０３】
なお、クラス分類部６４Ｇ，６４Ｒ及び６４Ｂは、図８のクラス分類部６４と同様に、ダイナミックレンジ検出部２０１からのダイナミックレンジ情報に応じて、クラス分類で採用する所定の規則を変更する。
【０３０４】
係数出力部６５Ｇ，６５Ｒ及び６５Ｂは、図８の係数出力部６５に対応し、後述する学習によって求められたクラスごとのタップ係数を、内蔵するメモリ（図示せず）に記憶している。
【０３０５】
係数出力部６５Ｇ，６５Ｒ及び６５Ｂは、内蔵するメモリに記憶されているタップ係数のうちの、クラス分類部６４Ｇ，６４Ｒ及び６４Ｂから供給されるクラスコードに対応するアドレスに記憶されているタップ係数をそれぞれ読み出すことにより取得し、予測演算部６６Ｇ，６６Ｒ及び６６Ｂに、それぞれ供給する。
【０３０６】
予測演算部６６Ｇ，６６Ｒ及び６６Ｂは、図８の予測演算部１６に対応する。
【０３０７】
予測演算部６６Ｇ，６６Ｒ及び６６Ｂは、レベル変換部２０６Ｇ，２０６Ｒ及び２０６Ｂから供給される（レベル変換後の）予測タップそれぞれと、係数出力部６５Ｇ，６５Ｒ及び６５Ｂが出力するタップ係数それぞれとを取得し、その予測タップとタップ係数とを用いて、注目画素の画素値としてのG成分、R成分、及び、B成分（の真値）の予測値を求める式（１）の予測演算を、それぞれ行う。
【０３０８】
そして、予測演算部６６Ｇ，６６Ｒ及び６６Ｂは、予測演算の結果得られる注目画素の画素値としてのG成分、R成分、及び、B成分、すなわち、出力画像の画素値としてのG成分、R成分、及び、B成分（G出力画像の画素値、R出力画像の画素値、及び、B出力画像の画素値）を出力する。
【０３０９】
なお、図８のタップ選択部６２ないし係数出力部６５、及び、予測演算部１６を、出力画像を予測するための予測ブロックということとすると、図２０において、タップ選択部６２Ｇないし予測演算部６６Ｇは、G出力画像を予測するための予測ブロック（G出力画像の予測ブロック）を構成する。
【０３１０】
同様に、タップ選択部６２Ｒないし予測演算部６６Ｒは、R出力画像を予測するための予測ブロック（R出力画像の予測ブロック）を構成し、タップ選択部６２Ｂないし予測演算部６６Ｂは、B出力画像を予測するための予測ブロック（B出力画像の予測ブロック）を構成する。
【０３１１】
ダイナミックレンジ検出部２０１は、図８のダイナミックレンジ検出部６１に対応する。
【０３１２】
ダイナミックレンジ検出部２０１は、注目画素選択部１１において、出力画像（第２の画像）の画素の中から選択された注目画素について、図８のダイナミックレンジ検出部６１と同様に、局所ダイナミックレンジを表すダイナミックレンジ情報を検出し、タップ選択部６２Ｇ、６２Ｒ及び６２Ｂ、タップ選択部６３Ｇ，６３Ｒ及び６３Ｂ、並びに、クラス分類部６４Ｇ，６４Ｒ及び６４Ｂに供給する。
【０３１３】
但し、ダイナミックレンジ検出部２０１は、G成分、R成分、及び、B成分のそれぞれを対象に、別個に、局所ダイナミックレンジを求め、G成分、R成分、及び、B成分のそれぞれの局所ダイナミックレンジを表す、G成分、R成分、及び、B成分のそれぞれのダイナミックレンジ情報を検出する。
【０３１４】
G成分のダイナミックレンジ情報は、局所ダイナミックレンジの検出に用いる検出タップ（図９）に選択された入力画素の画素値のうちのG成分のみを用いて検出される。
【０３１５】
同様に、R成分のダイナミックレンジ情報は、検出タップに選択された入力画素の画素値のうちのR成分のみを用いて検出され、B成分のダイナミックレンジ情報は、検出タップに選択された入力画素の画素値のうちのB成分のみを用いて検出される。
【０３１６】
G成分のダイナミックレンジ情報は、ダイナミックレンジ検出部２０１から、G出力画像の予測ブロックを構成するタップ選択部６２Ｇ，６３Ｇ、及び、クラス分類部６４Ｇに供給される。
【０３１７】
また、R成分のダイナミックレンジ情報は、ダイナミックレンジ検出部２０１から、R出力画像の予測ブロックを構成するタップ選択部６２Ｒ，６３Ｒ、及び、クラス分類部６４Ｒに供給される。さらに、B成分のダイナミックレンジ情報は、ダイナミックレンジ検出部２０１から、B出力画像の予測ブロックを構成するタップ選択部６２Ｂ，６３Ｂ、及び、クラス分類部６４Ｂに供給される。
【０３１８】
代表値算出部２０２は、注目画素について、G成分、R成分、及び、B成分それぞれの代表値（以下、それぞれを、G代表値、R代表値、及び、B代表値ともいう）を算出する。
【０３１９】
さらに、代表値算出部２０２は、G代表値、R代表値、及び、B代表値を、レベル変換部２０５Ｇ，２０５Ｒ及び２０５Ｂ、並びに、レベル変換部２０６Ｇ，２０６Ｒ及び２０６Ｂに供給する。
【０３２０】
ここで、代表値算出部２０２は、注目画素についての予測タップやクラスタップとしての入力画素を包含する所定のエリアを、代表値を算出するための代表値算出用エリアとして、その代表値算出用エリア内の入力画素を用いて、G代表値、R代表値、及び、B代表値を算出する。
【０３２１】
平均値算出部２０３は、注目画素に対応する入力画像の位置の画素値（以下、対応位置画素値ともいう）として、注目画素に対応する入力画像の位置に近い複数の入力画素の画素値の、例えば、平均値を求め、階調変換部２０４に供給する。
【０３２２】
ここで、平均値算出部２０３では、例えば、上述の代表値算出用エリアを、対応位置画素値を算出するための対応位置画素値算出用エリアとして、その対応位置画素値算出用エリア内の入力画素を用いて、対応位置画素値を算出することができる。
【０３２３】
さらに、対応位置画素値としては、対応位置画素値算出用エリアの入力画素の画素値のうちの、例えば、人の視覚が感度が高いG成分のみの平均値を採用することができる。
【０３２４】
階調変換部２０４は、入力画像の階調変換を行い、その結果得られる階調変換値を、クラス分類部６４Ｇ，６４Ｒ及び６４Ｂに供給する。
【０３２５】
すなわち、階調変換部２０４は、平均値算出部２０３からの、注目画素に対応する入力画像の位置の画素値（対応位置画素値）の、例えば、対数の演算を、入力画像の階調変換として行い、その結果得られる階調変換値を、クラス分類部６４Ｇ，６４Ｒ及び６４Ｂに供給する。
【０３２６】
なお、階調変換部２０４での階調変換は、対数以外の演算によって行うことができる。
【０３２７】
レベル変換部２０５Ｇは、タップ選択部６３Ｇからのクラスタップを構成する入力画素に、G成分以外の成分であるR成分やB成分を画素値として有する入力画素が含まれる場合に、そのR成分やB成分のレベル（値）を、G成分のレベルの合わせるためのレベル変換を、代表値算出部２０２からのG代表値、R代表値、及び、B代表値を必要に応じて用いて行う。
【０３２８】
すなわち、G代表値、R代表値、及び、B代表値を、それぞれ、Dg，Dr、及び、Dbと表すとともに、G成分、R成分、又は、B成分を画素値として有する入力画素を、それぞれ、G入力画素、R入力画素、又は、B入力画素ということとする。
【０３２９】
また、G入力画素、R入力画素、及び、B入力画素の画素値であるG成分、R成分、及び、B成分を、それぞれ、Xr，Xr、及び、Xbと表すこととする。
【０３３０】
レベル変換部２０５Ｇは、クラスタップのR入力画素については、その画素値であるR成分Xrを、式Xr'=Xr-(Dr-Dg)に従って、G代表値Dgに近いレベルのR成分Xr'に変換するレベル変換を行う。
【０３３１】
また、レベル変換部２０５Ｇは、クラスタップのB入力画素については、その画素値であるB成分Xbを、式Xb'=Xb-(Db-Dg)に従って、G代表値Dgに近いレベルのB成分Xb'に変換するレベル変換を行う。
【０３３２】
以上のように、レベル変換部２０５Ｇでのレベル変換では、クラスタップのG成分Xg以外の成分であるR成分Xr、及び、B成分Xbが、G代表値Dgに近いレベルにオフセットされる。
【０３３３】
レベル変換部２０５Ｇでのレベル変換後のクラスタップは、クラス分類部６４Ｇに供給される。
【０３３４】
レベル変換部２０５Ｒは、タップ選択部６３Ｒからのクラスタップを構成する入力画素に、R成分以外の成分であるG成分やB成分を画素値として有する入力画素が含まれる場合に、そのG成分やB成分のレベル（値）を、R成分のレベルの合わせるためのレベル変換を、代表値算出部２０２からのR代表値、G代表値、及び、B代表値を必要に応じて用いて行う。
【０３３５】
すなわち、レベル変換部２０５Ｒは、クラスタップのG入力画素については、その画素値であるG成分Xgを、式Xg'=Xg-(Dg-Dr)に従って、R代表値Drに近いレベルのG成分Xg'に変換するレベル変換を行う。
【０３３６】
また、レベル変換部２０５Ｒは、クラスタップのB入力画素については、その画素値であるB成分Xbを、式Xb'=Xb-(Db-Dr)に従って、R代表値Drに近いレベルのB成分Xb'に変換するレベル変換を行う。
【０３３７】
以上のように、レベル変換部２０５Ｒでのレベル変換では、クラスタップのR成分Xr以外の成分であるG成分Xg、及び、B成分Xbが、R代表値Drに近いレベルにオフセットされる。
【０３３８】
レベル変換部２０５Ｒでのレベル変換後のクラスタップは、クラス分類部６４Ｒに供給される。
【０３３９】
レベル変換部２０５Ｂは、タップ選択部６３Ｂからのクラスタップを構成する入力画素に、B成分以外の成分であるG成分やR成分を画素値として有する入力画素が含まれる場合に、そのG成分やR成分のレベル（値）を、B成分のレベルの合わせるためのレベル変換を、代表値算出部２０２からのB代表値、G代表値、及び、R代表値を必要に応じて用いて行う。
【０３４０】
すなわち、レベル変換部２０５Ｂは、クラスタップのG入力画素については、その画素値であるG成分Xgを、式Xg'=Xg-(Dg-Db)に従って、B代表値Dbに近いレベルのG成分Xg'に変換するレベル変換を行う。
【０３４１】
また、レベル変換部２０５Ｂは、クラスタップのR入力画素については、その画素値であるR成分Xrを、式Xr'=Xr-(Dr-Db)に従って、B代表値Dbに近いレベルのR成分Xr'に変換するレベル変換を行う。
【０３４２】
以上のように、レベル変換部２０５Ｂでのレベル変換では、クラスタップのB成分Xb以外の成分であるG成分Xg、及び、R成分Xrが、B代表値Dbに近いレベルにオフセットされる。
【０３４３】
レベル変換部２０５Ｂでのレベル変換後のクラスタップは、クラス分類部６４Ｂに供給される。
【０３４４】
レベル変換部２０６Ｇは、タップ選択部６２Ｇからの予測タップを構成する入力画素に、G成分以外の成分であるR成分やB成分を画素値として有する入力画素が含まれる場合に、そのR成分やB成分のレベル（値）を、G成分のレベルの合わせるためのレベル変換を、代表値算出部２０２からのG代表値、R代表値、及び、B代表値を必要に応じて用いて行う。
【０３４５】
すなわち、レベル変換部２０６Ｇは、予測タップのR入力画素については、その画素値であるR成分Xrを、式Xr'=Xr-(Dr-Dg)に従って、G代表値Dgに近いレベルのR成分Xr'に変換するレベル変換を行う。
【０３４６】
また、レベル変換部２０６Ｇは、予測タップのB入力画素については、その画素値であるB成分Xbを、式Xb'=Xb-(Db-Dg)に従って、G代表値Dgに近いレベルのB成分Xb'に変換するレベル変換を行う。
【０３４７】
以上のように、レベル変換部２０６Ｇでのレベル変換では、予測タップのG成分Xg以外の成分であるR成分Xr、及び、B成分Xbが、G代表値Dgに近いレベルにオフセットされる。
【０３４８】
レベル変換部２０６Ｇでのレベル変換後の予測タップは、予測演算部６６Ｇに供給される。
【０３４９】
レベル変換部２０６Ｒは、タップ選択部６２Ｒからの予測タップを構成する入力画素に、R成分以外の成分であるG成分やB成分を画素値として有する入力画素が含まれる場合に、そのG成分やB成分のレベル（値）を、R成分のレベルの合わせるためのレベル変換を、代表値算出部２０２からのR代表値、G代表値、及び、B代表値を必要に応じて用いて行う。
【０３５０】
すなわち、レベル変換部２０６Ｒは、予測タップのG入力画素については、その画素値であるG成分Xgを、式Xg'=Xg-(Dg-Dr)に従って、R代表値Drに近いレベルのG成分Xg'に変換するレベル変換を行う。
【０３５１】
また、レベル変換部２０６Ｒは、予測タップのB入力画素については、その画素値であるB成分Xbを、式Xb'=Xb-(Db-Dr)に従って、R代表値Drに近いレベルのB成分Xb'に変換するレベル変換を行う。
【０３５２】
以上のように、レベル変換部２０６Ｒでのレベル変換では、予測タップのR成分Xr以外の成分であるG成分Xg、及び、B成分Xbが、R代表値Drに近いレベルにオフセットされる。
【０３５３】
レベル変換部２０６Ｒでのレベル変換後の予測タップは、予測演算部６６Ｒに供給される。
【０３５４】
レベル変換部２０６Ｂは、タップ選択部６２Ｂからの予測タップを構成する入力画素に、B成分以外の成分であるG成分やR成分を画素値として有する入力画素が含まれる場合に、そのG成分やR成分のレベル（値）を、B成分のレベルの合わせるためのレベル変換を、代表値算出部２０２からのB代表値、G代表値、及び、R代表値を必要に応じて用いて行う。
【０３５５】
すなわち、レベル変換部２０６Ｂは、予測タップのG入力画素については、その画素値であるG成分Xgを、式Xg'=Xg-(Dg-Db)に従って、B代表値Dbに近いレベルのG成分Xg'に変換するレベル変換を行う。
【０３５６】
また、レベル変換部２０６Ｂは、予測タップのR入力画素については、その画素値であるR成分Xrを、式Xr'=Xr-(Dr-Db)に従って、B代表値Dbに近いレベルのR成分Xr'に変換するレベル変換を行う。
【０３５７】
以上のように、レベル変換部２０６Ｂでのレベル変換では、予測タップのB成分Xb以外の成分であるG成分Xg、及び、R成分Xrが、B代表値Dbに近いレベルにオフセットされる。
【０３５８】
レベル変換部２０６Ｂでのレベル変換後の予測タップは、予測演算部６６Ｂに供給される。
【０３５９】
なお、タップ選択部６２Ｇにおいて、予測タップに、G入力画素以外の入力画素であるR入力画素及びB入力画素の両方が含まれない場合、後段のレベル変換部２０６Ｇは、設ける必要がない。
【０３６０】
同様に、タップ選択部６２Ｒにおいて、予測タップに、R入力画素以外の入力画素であるG入力画素及びB入力画素の両方が含まれない場合、後段のレベル変換部２０６Ｒは、設ける必要がなく、タップ選択部６２Ｂにおいて、予測タップに、B入力画素以外の入力画素であるR入力画素及びG入力画素の両方が含まれない場合、後段のレベル変換部２０６Ｂは、設ける必要がない。
【０３６１】
また、タップ選択部６３Ｇにおいて、クラスタップに、G入力画素以外の入力画素であるR入力画素及びB入力画素の両方が含まれない場合、後段のレベル変換部２０５Ｇは、設ける必要がない。
【０３６２】
同様に、タップ選択部６３Ｒにおいて、クラスタップに、R入力画素以外の入力画素であるG入力画素及びB入力画素の両方が含まれない場合、後段のレベル変換部２０５Ｒは、設ける必要がなく、タップ選択部６３Ｂにおいて、クラスタップに、B入力画素以外の入力画素であるR入力画素及びG入力画素の両方が含まれない場合、後段のレベル変換部２０５Ｂは、設ける必要がない。
【０３６３】
＜入力画像の例＞
【０３６４】
図２１は、図２０の画像変換装置２００での画像変換処理の対象となる入力画像の例を示す図である。
【０３６５】
図２０で説明したように、画像変換装置２００では、画素ごとに、R成分、G成分、及び、B成分の3色の色成分のうちの１つの色成分を画素値として有している画像を入力画像として、画像変換処理が行われる。
【０３６６】
以上のような入力画像は、イメージセンサ５２が単板式のイメージセンサである場合に得られる。
【０３６７】
単板式のイメージセンサ５２によって得られる、画素ごとに、R成分、G成分、及び、B成分の3色の色成分のうちの１つの色成分を画素値として有しているような画像を、以下、単板式画像ともいう。
【０３６８】
図２１Ａは、単板式画像の一例を示している。
【０３６９】
図２１Ａの単板式画像の色（成分）の配列は、ベイヤ配列と呼ばれる配列であり、ベイヤ配列では、例えば、左上に、R成分（を画素値として有する画素）が、右下に、B成分が、左下及び右上に、G成分が、それぞれ配列された、横×縦が2×2画素を基本単位として、その基本単位が、横及び縦に繰り返し並んでいる。
【０３７０】
G成分については、他のR成分及びB成分に比較して、人の視覚が感度が高いため、ベイヤ配列では、G成分（を画素値として有する画素）が、他のR成分及びB成分よりも多くなっている。
【０３７１】
図２１Ｂは、単板式画像の他の一例を示している。
【０３７２】
図２１Ｂの単板式画像の色（成分）の配列は、図２１Ａのベイヤ配列を45度だけ傾けたような配列になっている。
【０３７３】
したがって、図２１Ｂの単板式画像では、45度だけ傾けた図２１Ａのベイヤ配列の基本単位が、斜め45度の方向に繰り返し並んでいる。
【０３７４】
ここで、図２１Ａの単板式画像の色の配列を、シングルベイヤ配列ともいい、図２１Ｂの単板式画像の色の配列を、ダブルベイヤ配列ともいう。横方向、及び、縦方向のそれぞれについて、隣接する画素どうしの間隔を一定値にすることができる場合、同一の面積に対して、ダブルベイヤ配列では、シングルベイヤ配列の場合の2倍の数の画素を配置することができる。
【０３７５】
図２０の画像変換装置２００での画像変換処理の対象とする入力画像としては、例えば、以上のようなシングルベイヤ配列やダブルベイヤ配列その他の単板式画像を採用することができる。
【０３７６】
なお、以下では、入力画像として、例えば、図２１Ｂのダブルベイヤ配列の単板式画像を採用することとする。
【０３７７】
＜G代表値Dg、R代表値Dr、及び、B代表値Dbの算出＞
【０３７８】
図２２は、図２０の代表値算出部２０２でのG代表値Dg、R代表値Dr、及び、B代表値Dbの算出の方法の例を示す図である。
【０３７９】
代表値算出部２０２は、図２０で説明したように、注目画素についての予測タップやクラスタップとしての画素を包含する所定のエリアを、代表値を算出するための代表値算出用エリアとして、その代表値算出用エリア内の入力画素を用いて、G代表値Dg、R代表値Dr、及び、B代表値Dbを算出する。
【０３８０】
図２２は、ダブルベイヤ配列の入力画像の代表値算出用エリアの例を示している。
【０３８１】
なお、図２２において、R，G及びBは、それぞれ、R入力画素、G入力画素、及び、B入力画素を表している。
【０３８２】
いま、左上から右下への斜め45度の方向を、右下斜め方向というとともに、左下から右上への斜め45度の方向を、右上斜め方向ということとする。
【０３８３】
図２２では、注目画素に最も近い入力画素である対応入力画素（図２２では、G入力画素）を中心とする、右下斜め方向×右上斜め方向が5×5画素の入力画像のエリアが、注目画素についての代表値算出用エリアになっている。
【０３８４】
代表値算出部２０２は、図２２において白抜きの矢印で示すように、代表値算出用エリア内のG入力画素については、そのG入力画素の左上及び右下に位置する2つのR入力画素、又は、G入力画素の左下及び右上に位置する2つのR入力画素の画素値としてのR成分の平均値を、G入力画素のR成分の補間値rとして求める。
【０３８５】
さらに、代表値算出部２０２は、代表値算出用エリア内のG入力画素については、そのG入力画素の左上及び右下に位置する2つのB入力画素、又は、G入力画素の左下及び右上に位置する2つのB入力画素の画素値としてのB成分の平均値を、G入力画素のB成分の補間値bとして求める。
【０３８６】
また、代表値算出部２０２は、図２２において白抜きの矢印で示すように、代表値算出用エリア内のR入力画素については、そのR入力画素の左上、左下、右上、及び、右下に位置する4つのG入力画素の画素値としてのG成分の平均値を、R入力画素のG成分の補間値gとして求める。
【０３８７】
さらに、代表値算出部２０２は、図２２において白抜きの矢印で示すように、代表値算出用エリア内のB入力画素については、そのB入力画素の左上、左下、右上、及び、右下に位置する4つのG入力画素の画素値としてのG成分の平均値を、B入力画素のG成分の補間値gとして求める。
【０３８８】
以上のように、G入力画素について、R成分の補間値r、及び、B成分の補間値bが求められ、R入力画素及びB入力画素について、G成分の補間値gが求められた後、代表値算出部２０２は、代表値算出用エリア内のすべてのG入力画素のR成分、並びに、R入力画素及びB入力画素のG成分の補間値gを対象とした平均値を、G代表値Dgとして求める。
【０３８９】
さらに、代表値算出部２０２は、代表値算出用エリア内のすべてのG入力画素について、補間値rとG成分との差分r-Gを求めるとともに、代表値算出用エリア内のすべてのR入力画素について、R成分と補間値gとの差分R-gを求める。
【０３９０】
そして、代表値算出部２０２は、代表値算出用エリアから求められたすべての差分r-G、及び、差分R-gを対象とした平均値ave(r-G,R-g)を求め、その平均値ave(r-G,R-g)に、G代表値Dgを加算した加算値ave(r-G,R-g)+Dgを、R代表値Drとして求める。
【０３９１】
同様に、代表値算出部２０２は、代表値算出用エリア内のすべてのG入力画素について、補間値bとG成分との差分b-Gを求めるとともに、代表値算出用エリア内のすべてのB入力画素について、B成分と補間値gとの差分B-gを求める。
【０３９２】
そして、代表値算出部２０２は、代表値算出用エリアから求められたすべての差分b-G、及び、差分B-gを対象とした平均値ave(b-G,B-g)を求め、その平均値ave(b-G,B-g)に、G代表値Dgを加算した加算値ave(b-G,B-g)+Dgを、B代表値Dbとして求める。
【０３９３】
以上のようにして求められるG代表値Dgは、代表値算出用エリアのG成分のおおよそのレベル（値）を表す。同様に、R代表値Drは、代表値算出用エリアのR成分のおおよそのレベルを表し、B代表値Dbは、代表値算出用エリアのb成分のおおよそのレベルを表す。
【０３９４】
＜予測タップ、及び、クラスタップの構成例＞
【０３９５】
図２３は、図２０のタップ選択部６２Ｇで選択される予測タップ（以下、G用予測タップともいう）の構成例を示す図である。
【０３９６】
なお、図２３において（後述する図においても同様）、黒丸以外の丸印は、入力画像の画素である入力画素を表し、黒丸以外の丸印のうちの太線の丸印は、予測タップ又はクラスタップとなる入力画素を表す。
【０３９７】
また、黒丸印は、出力画像の画素である出力画素のうちの注目画素を表す。
【０３９８】
さらに、以下では、出力画像は、例えば、入力画素の位置、右下斜め方向に隣接する入力画素どうしの間のライン上の位置、及び、右上斜め方向に隣接する入力画素どうしの間のライン上の位置に、出力画素が存在する画像であることとする。
【０３９９】
この場合、図２０の画像変換装置２００では、入力画像が、右下斜め方向、及び、右上斜め方向の画素数のそれぞれが入力画像の2倍になった出力画像に変換される。
【０４００】
タップ選択部６２Ｇ（図２０）は、例えば、注目画素（に対応する入力画像の位置）に最も近いG入力画素（以下、対応G入力画素ともいう）を基準として、注目画素についてのG用予測タップとなる入力画素を選択する。
【０４０１】
図２３Ａは、通常モードのG用予測タップの構成例を示している。
【０４０２】
ここで、図２０の画像変換装置２００では、図８の画像変換装置６０と同様に、予測タップの選択のモードとして、通常モードと、ダイナミックレンジ大モードとがある。
【０４０３】
タップ選択部６２Ｇは、ダイナミックレンジ検出部２０１からのG成分のダイナミックレンジ情報が、注目画素についてのG成分の局所ダイナミックレンジ（G成分の単純ダイナミックレンジ、又は、G成分の正規化ダイナミックレンジ）が大でないことを表している場合、予測タップの選択のモードを、通常モードに設定して、予測タップ（となる入力画素）を選択する。
【０４０４】
また、タップ選択部６２Ｇは、ダイナミックレンジ検出部２０１からのG成分のダイナミックレンジ情報が、注目画素についてのG成分の局所ダイナミックレンジが大であることを表している場合、予測タップの選択のモードを、ダイナミックレンジ大モードに設定して、予測タップを選択する。
【０４０５】
通常モードでは、タップ選択部６２Ｇは、通常モードの予測タップとなる入力画素を選択する。
【０４０６】
すなわち、通常モードでは、例えば、図２３Ａに示すように、対応G入力画素を中心とする横×縦が3×3画素の、合計で9画素のG入力画素を、G用予測タップとして選択することができる。
【０４０７】
図２３Ｂは、ダイナミックレンジ大モードのG用予測タップの構成例を示している。
【０４０８】
ダイナミックレンジ大モードでは、タップ選択部６２Ｇは、通常モードの場合よりも、予測タップのタップ数を少なく変更し、ダイナミックレンジ大モードの予測タップとなる入力画素を選択する。
【０４０９】
図２３Ｂでは、ダイナミックレンジ大モードのG用予測タップのタップ数は、通常モードのG用予測タップのタップ数である9画素より少ない、例えば、4画素になっている。
【０４１０】
また、ダイナミックレンジ大モードでは、例えば、図２３Ｂに示すように、注目画素についての対応G入力画素を基準として、その対応G入力画素の左上、上、及び、左のそれぞれに隣接するG入力画素と、対応G入力画素との、横×縦が2×2画素のG入力画素が、G用予測タップとして選択される。
【０４１１】
以上のように、注目画素についてのG成分の局所ダイナミックレンジが大でない場合には、例えば、対応G入力画素を中心とする3×3画素という、ある程度の数のG入力画素を、通常モードのG用予測タップとして選択し、注目画素についてのG成分の局所ダイナミックレンジが大である場合には、例えば、対応G入力画素を基準とする2×2画素という、通常モードの場合よりも少ない数（タップ数）（かつ、対応G入力画素に近い、より狭いエリア）のG入力画素を、ダイナミックレンジ大モードのG用予測タップとして選択することにより、図８の画像変換装置６０と同様に、リンギングが生じることによる画質の劣化を防止しつつ、先鋭感のあるG出力画像を得ることができる。
【０４１２】
図２４は、図２０のタップ選択部６３Ｇで選択されるクラスタップ（以下、G用クラスタップともいう）の構成例を示す図である。
【０４１３】
タップ選択部６３Ｇは、ダイナミックレンジ検出部２０１からのG成分のダイナミックレンジ情報に応じて、図２３で説明したタップ選択部６２Ｇの場合と同様に、クラスタップの選択のモードを、通常モード、又は、ダイナミックレンジ大モードに設定して、クラスタップを選択する。
【０４１４】
図２４Ａは、通常モードのG用クラスタップの構成例を示している。
【０４１５】
通常モードでは、例えば、図２４Ａに示すように、対応G入力画素を中心とする横×縦が3×3画素のG入力画素と、その3×3画素のG入力画素のエリア内に存在する2つのR入力画素、及び、2つのB入力画素の、合計で、13個の入力画素を、G用クラスタップとして選択することができる。
【０４１６】
図２４Ｂは、ダイナミックレンジ大モードのG用クラスタップの構成例を示している。
【０４１７】
ダイナミックレンジ大モードでは、例えば、図２４Ｂに示すように、図２３ＢのG用予測タップの場合と同様に、対応G入力画素を基準として、その対応G入力画素を含む2×2画素の、通常モードの場合の13画素よりも少ない4画素のG入力画素を、G用クラスタップとして選択することができる。
【０４１８】
図２５は、図２０のタップ選択部６２Ｒで選択される予測タップ（以下、R用予測タップともいう）の構成例を示す図である。
【０４１９】
タップ選択部６２Ｒ（図２０）は、例えば、注目画素（に対応する入力画像の位置）に最も近いR入力画素（以下、対応R入力画素ともいう）、又は、対応G入力画素を基準として、注目画素についてのR用予測タップとなる入力画素を選択する。
【０４２０】
図２５Ａは、通常モードのR用予測タップの構成例を示している。
【０４２１】
タップ選択部６２Ｒは、ダイナミックレンジ検出部２０１からのR成分のダイナミックレンジ情報が、注目画素についてのR成分の局所ダイナミックレンジ（R成分の単純ダイナミックレンジ、又は、R成分の正規化ダイナミックレンジ）が大でないことを表している場合、予測タップの選択のモードを、通常モードに設定して、予測タップ（となる入力画素）を選択する。
【０４２２】
また、タップ選択部６２Ｒは、ダイナミックレンジ検出部２０１からのR成分のダイナミックレンジ情報が、注目画素についてのR成分の局所ダイナミックレンジが大であることを表している場合、予測タップの選択のモードを、ダイナミックレンジ大モードに設定して、予測タップを選択する。
【０４２３】
通常モードでは、タップ選択部６２Ｒは、通常モードの予測タップとなる入力画素を選択する。
【０４２４】
すなわち、通常モードでは、例えば、図２５Ａに示すように、対応R入力画素の左上、左下、右上、及び、右下のそれぞれに隣接する4個のR入力画素と、対応R入力画素の右に隣接する1個のR入力画素との、合計で5画素のR入力画素を、R用予測タップとして選択することができる。
【０４２５】
図２５Ｂは、ダイナミックレンジ大モードのR用予測タップの構成例を示している。
【０４２６】
ダイナミックレンジ大モードでは、タップ選択部６２Ｒは、通常モードの場合よりも、予測タップのタップ数を少なく変更し、ダイナミックレンジ大モードの予測タップとなる入力画素を選択する。
【０４２７】
図２５Ｂでは、ダイナミックレンジ大モードのR用予測タップのタップ数は、通常モードのR用予測タップのタップ数である5画素より少ない、例えば、2画素になっている。
【０４２８】
すなわち、ダイナミックレンジ大モードでは、例えば、図２５Ｂに示すように、注目画素についての対応G入力画素を基準として、その対応G入力画素の左上、及び、右下のそれぞれに隣接するR入力画素を、R用予測タップとして選択することができる。
【０４２９】
以上のように、注目画素についてのR成分の局所ダイナミックレンジが大でない場合には、例えば、対応R入力画素を基準とする5画素という、ある程度の数のR入力画素を、通常モードのR用予測タップとして選択し、注目画素についてのR成分の局所ダイナミックレンジが大である場合には、例えば、対応G入力画素を基準とする2画素という、通常モードの場合よりも少ない数（タップ数）（かつ、対応G入力画素に近い、より狭いエリア）のR入力画素を、ダイナミックレンジ大モードのR用予測タップとして選択することにより、図８の画像変換装置６０と同様に、リンギングが生じることによる画質の劣化を防止しつつ、先鋭感のあるR出力画像を得ることができる。
【０４３０】
図２６は、図２０のタップ選択部６３Ｒで選択されるクラスタップ（以下、R用クラスタップともいう）の構成例を示す図である。
【０４３１】
タップ選択部６３Ｒは、ダイナミックレンジ検出部２０１からのR成分のダイナミックレンジ情報に応じて、図２５で説明したタップ選択部６２Ｒの場合と同様に、クラスタップの選択のモードを、通常モード、又は、ダイナミックレンジ大モードに設定して、クラスタップを選択する。
【０４３２】
図２６Ａは、通常モードのR用クラスタップの構成例を示している。
【０４３３】
通常モードでは、例えば、図２６Ａに示すように、対応G入力画素を中心とする横×縦が3×3画素のG入力画素と、その3×3画素のG入力画素のエリア内に存在する2つのR入力画素、及び、2つのB入力画素の、合計で、13個の入力画素を、R用クラスタップとして選択することができる。
【０４３４】
図２６Ｂは、ダイナミックレンジ大モードのR用クラスタップの構成例を示している。
【０４３５】
ダイナミックレンジ大モードでは、例えば、図２６Ｂに示すように、図２５ＢのR用予測タップの場合と同様に、対応G入力画素を基準として、その対応G入力画素の左上、及び、右下のそれぞれに隣接する、通常モードの場合の13画素より少ない2画素のR入力画素を、R用クラスタップとして選択することができる。
【０４３６】
図２７は、図２０のタップ選択部６２Ｂで選択される予測タップ（以下、B用予測タップともいう）の構成例を示す図である。
【０４３７】
タップ選択部６２Ｂ（図２０）は、例えば、注目画素（に対応する入力画像の位置）に最も近いB入力画素（以下、対応B入力画素ともいう）、又は、対応G入力画素を基準として、注目画素についてのB用予測タップとなる入力画素を選択する。
【０４３８】
図２７Ａは、通常モードのB用予測タップの構成例を示している。
【０４３９】
タップ選択部６２Ｂは、ダイナミックレンジ検出部２０１からのB成分のダイナミックレンジ情報が、注目画素についてのB成分の局所ダイナミックレンジ（B成分の単純ダイナミックレンジ、又は、B成分の正規化ダイナミックレンジ）が大でないことを表している場合、予測タップの選択のモードを、通常モードに設定して、予測タップ（となる入力画素）を選択する。
【０４４０】
また、タップ選択部６２Ｂは、ダイナミックレンジ検出部２０１からのB成分のダイナミックレンジ情報が、注目画素についてのB成分の局所ダイナミックレンジが大であることを表している場合、予測タップの選択のモードを、ダイナミックレンジ大モードに設定して、予測タップを選択する。
【０４４１】
通常モードでは、タップ選択部６２Ｂは、通常モードの予測タップとなる入力画素を選択する。
【０４４２】
すなわち、通常モードでは、例えば、図２７Ａに示すように、対応B入力画素の左上、左下、右上、及び、右下のそれぞれに隣接する4個のB入力画素と、対応B入力画素の左に隣接する1個のB入力画素との、合計で5画素のB入力画素を、B用予測タップとして選択することができる。
【０４４３】
図２７Ｂは、ダイナミックレンジ大モードのB用予測タップの構成例を示している。
【０４４４】
ダイナミックレンジ大モードでは、タップ選択部６２Ｂは、通常モードの場合よりも、予測タップのタップ数を少なく変更し、ダイナミックレンジ大モードの予測タップとなる入力画素を選択する。
【０４４５】
図２７Ｂでは、ダイナミックレンジ大モードのB用予測タップのタップ数は、通常モードのB用予測タップのタップ数である5画素より少ない、例えば、2画素になっている。
【０４４６】
すなわち、ダイナミックレンジ大モードでは、例えば、図２７Ｂに示すように、注目画素についての対応G入力画素を基準として、その対応G入力画素の左下、及び、右上のそれぞれに隣接するB入力画素を、B用予測タップとして選択することができる。
【０４４７】
以上のように、注目画素についてのB成分の局所ダイナミックレンジが大でない場合には、例えば、対応B入力画素を基準とする5画素という、ある程度の数のB入力画素を、通常モードのB用予測タップとして選択し、注目画素についてのB成分の局所ダイナミックレンジが大である場合には、例えば、対応G入力画素を基準とする2画素という、通常モードの場合よりも少ない数（タップ数）（かつ、対応G入力画素に近い、より狭いエリア）のB入力画素を、ダイナミックレンジ大モードのB用予測タップとして選択することにより、図８の画像変換装置６０と同様に、リンギングが生じることによる画質の劣化を防止しつつ、先鋭感のあるB出力画像を得ることができる。
【０４４８】
図２８は、図２０のタップ選択部６３Ｂで選択されるクラスタップ（以下、B用クラスタップともいう）の構成例を示す図である。
【０４４９】
タップ選択部６３Ｂは、ダイナミックレンジ検出部２０１からのB成分のダイナミックレンジ情報に応じて、図２７で説明したタップ選択部６２Ｂの場合と同様に、クラスタップの選択のモードを、通常モード、又は、ダイナミックレンジ大モードに設定して、クラスタップを選択する。
【０４５０】
図２８Ａは、通常モードのB用クラスタップの構成例を示している。
【０４５１】
通常モードでは、例えば、図２８Ａに示すように、対応G入力画素を中心とする横×縦が3×3画素のG入力画素と、その3×3画素のG入力画素のエリア内に存在する2つのB入力画素、及び、2つのB入力画素の、合計で、13個の入力画素を、B用クラスタップとして選択することができる。
【０４５２】
図２８Ｂは、ダイナミックレンジ大モードのB用クラスタップの構成例を示している。
【０４５３】
ダイナミックレンジ大モードでは、例えば、図２８Ｂに示すように、図２７ＢのB用予測タップの場合と同様に、対応G入力画素を基準として、その対応G入力画素の左上、及び、右下のそれぞれに隣接する、通常モードの場合の13画素より少ない2画素のB入力画素を、B用クラスタップとして選択することができる。
【０４５４】
なお、図２３ないし図２８に示したように、予測タップ及びクラスタップを構成する場合には、図２３のG用予測タップには、G入力画素のみが含まれ、R入力画素及びB入力画素は、含まれない。また、図２５のR用予測タップには、R入力画素のみが含まれ、G入力画素及びB入力画素は、含まれず、図２５のB用予測タップには、B入力画素のみが含まれ、G入力画素及びR入力画素は、含まれない。
【０４５５】
この場合、画像変換装置２００は、図２０で説明したように、G用予測タップのレベル変換を行うレベル変換部２０６Ｇ、R用予測タップのレベル変換を行うレベル変換部２０６Ｒ、及び、B用予測タップのレベル変換を行うレベル変換部２０６Ｂを設けずに構成することができる。
【０４５６】
＜クラス分類部６４Ｇの構成例＞
【０４５７】
図２９は、図２０のクラス分類部６４Ｇの構成例を示すブロック図である。
【０４５８】
なお、図２９において、図１３のクラス分類部６４と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０４５９】
また、図２０のクラス分類部６４Ｒ及び６４Ｂは、クラス分類部６４Ｇと同様に構成される。
【０４６０】
図２９において、クラス分類部６４Ｇは、ADRC処理部９１を有する点で、図１３のクラス分類部６４と共通する。但し、クラス分類部６４Ｇは、閾値処理部２１１が新たに設けられているとともに、クラスコード生成部９２に代えて、クラスコード生成部２１２が設けられている点で、図１３のクラス分類部６４と相違する。
【０４６１】
閾値処理部２１１には、階調変換部２０４から、入力画像の階調変換値が供給される。
【０４６２】
閾値処理部２１１は、階調変換部２０４からの階調変換値を閾値処理することにより、その階調変換値の大きさを表す階調変換値情報を、クラスコード生成部２１２に供給する。
【０４６３】
すなわち、閾値処理部２１１は、例えば、階調変換部２０４からの階調変換値と所定の閾値とを比較し、階調変換値が所定の閾値より大であるかどうかを表す1ビットを、階調変換値情報として、クラスコード生成部２１２に供給する。
【０４６４】
なお、閾値処理部２１１では、階調変換値と複数の閾値それぞれとを比較し、その比較結果を表す情報、すなわち、階調変換値（の大きさ）を表す複数ビットを、階調変換値情報として、クラスコード生成部２１２に供給することができる。
【０４６５】
クラスコード生成部２１２には、閾値処理部２１１から、階調変換値情報が供給される他、ADRC処理部９１から、(G用)クラスタップのADRCを行うことにより得られるADRCコードが供給される。
【０４６６】
ここで、ADRC処理部９１には、ダイナミックレンジ検出部２０１から、G成分のダイナミックレンジ情報が供給されるとともに、タップ選択部６３Ｇから、レベル変換部２０５Ｇを介して、G用クラスタップが供給される。
【０４６７】
ADRC処理部９１は、図１３で説明したように、（G成分の）ダイナミックレンジ情報が、注目画素についての（G成分の）局所ダイナミックレンジが大でないことを表している場合、クラス分類のモードを、通常モードに設定して、ADRCのビット数が、所定のビット数である、例えば、1ビットの1ビットADRCを行う。
【０４６８】
また、ADRC処理部９１は、ダイナミックレンジ情報が、注目画素についての局所ダイナミックレンジが大であることを表している場合、クラス分類のモードを、ダイナミックレンジ大モードに設定して、ビット数が、通常モードより大のADRC（例えば、4ビットADRC等）を行う。
【０４６９】
この場合、通常モードにおいて、例えば、図２４Ａに示した13画素のG用クラスタップを対象として、1ビットADRCが行われるときには、13ビットのADRCコードが得られる。
【０４７０】
このように、通常モードにおいて、13ビットのADRCコードが得られる場合には、ダイナミックレンジ大モードにおいて、図２４Ｂに示した4画素のG用クラスタップを対象に行われるADRCでは、例えば、図２４Ｂに示した、4画素のクラスタップとしての入力画素のうちの、対応入力画素（対応G入力画素）については、4ビットADRCを行い、残りの3画素の入力画素については、3ビットADRCを行うことができる。
【０４７１】
この場合、ダイナミックレンジ大モードでも、通常モードと同様に、13ビット（＝4+3+3+3ビット）のADRCコードを得ることができるので、通常モードで用いられるタップ係数を記憶するためのメモリ空間と、ダイナミックレンジ大モードで用いられるタップ係数を記憶するためのメモリ空間とを一致させることができる。
【０４７２】
なお、図２６や図２８に示したように、通常モードのクラスタップを、13個の入力画素で構成し、ダイナミックレンジ大モードのクラスタップを、通常モードの場合の13画素より少ない2個の入力画素で構成する場合に、通常モードにおいて、1ビットADRCを行うときには、ダイナミックレンジ大モードでは、例えば、クラスタップとしての2個の入力画素のうちの一方について、7ビットADRCを行い、他方について、6ビットADRCを行うことにより、通常モードで用いられるタップ係数を記憶するためのメモリ空間と、ダイナミックレンジ大モードで用いられるタップ係数を記憶するためのメモリ空間とを一致させることができる。
【０４７３】
クラスコード生成部２１２には、上述のように、閾値処理部２１１から、階調変換値情報が供給されるとともに、ADRC処理部９１から、(G用)クラスタップのADRCを行うことにより得られたADRCコードが供給される他、ダイナミックレンジ検出部２０１（図２０）から、(G用の）ダイナミックレンジ情報が供給される。
【０４７４】
クラスコード生成部２１２は、ADRC処理部９１からのADRCコードに、ダイナミックレンジ検出部２０１からのダイナミックレンジ情報、及び、閾値処理部２１１からの階調変換値情報を付加したコードを、注目画素のクラスを表すクラスコードとして生成し、係数出力部６５Ｇ（図２０）に供給する。
【０４７５】
ここで、階調変換部２０４（図２０）から、閾値処理部２１１に供給される階調変換値は、図２０で説明したように、入力画像（の対応位置画素値算出用エリア内の、人の視覚が感度が高いG入力画素のみの画素値としてのG成分の平均値）について、対数の演算を、階調変換として行うことにより得られる値である。
【０４７６】
以上のような階調変換値（の大きさを表す階調変換値情報）を用いて、クラスコードを生成するクラス分類を行うことにより、イメージセンサ５２（図７）で生じる光ショットノイズによる出力画像の画質の劣化を抑制することができる。
【０４７７】
すなわち、階調変換値を用いずに、クラスコードを生成するクラス分類では、入力画像に光ショットノイズのノイズ成分が含まれている場合には、その入力画像の画像変換処理によって得られる出力画像は、高域が強調され、先鋭感のある画像となるが、同時に、光ショットノイズのノイズ成分が増幅された画像となることがある。
【０４７８】
一方、イメージセンサ５２で生じる光ショットノイズは、イメージセンサ５２への入力光量の対数に比例して増加する特性を有する。
【０４７９】
そこで、入力画像の対数の演算によって得られる階調変換値を用いて、クラス分類を行うことにより、注目画素のクラス分けが、光ショットノイズの特性に、細かく適合するように行われ、ひいては、そのようなクラス分けによって得られる注目画素のクラスのタップ係数を用いて予測演算が行われることになる。
【０４８０】
その結果、画像変換装置２００では、イメージセンサ５２（図７）で生じる光ショットノイズによる画質の劣化（さらには、画素の輝度に依存する画質の劣化）を抑制した出力画像を得ることができる。
【０４８１】
以上から、画像変換装置２００によれば、単板式画像である入力画像を、リンギングや光ショットノイズによる画質の劣化を抑制した、先鋭感のある高画質のG出力画像、R出力画像、及び、B出力画像を有する出力画像、すなわち、画素ごとに、G成分、R成分、及び、B成分を画素値として有する高画質の出力画像に現像（デモザイク）することができる。
【０４８２】
なお、クラス分類部６４Ｒでは、ADRC処理部９１には、ダイナミックレンジ検出部２０１から、R成分のダイナミックレンジ情報が供給されるとともに、タップ選択部６３Ｒから、レベル変換部２０５Ｒを介して、R用クラスタップが供給される。さらに、クラスコード生成部２１２には、ダイナミックレンジ検出部２０１から、R成分のダイナミックレンジ情報が供給され、以下、上述したクラス分類部６４Ｇの場合と同様の処理が行われる。
【０４８３】
また、クラス分類部６４Ｂでは、ADRC処理部９１には、ダイナミックレンジ検出部２０１から、B成分のダイナミックレンジ情報が供給されるとともに、タップ選択部６３Ｂから、レベル変換部２０５Ｂを介して、B用クラスタップが供給される。さらに、クラスコード生成部２１２には、ダイナミックレンジ検出部２０１から、B成分のダイナミックレンジ情報が供給され、以下、上述したクラス分類部６４Ｇの場合と同様の処理が行われる。
【０４８４】
＜画像変換装置２００による画像変換処理＞
【０４８５】
図３０は、図２０の画像変換装置２００による画像変換処理の例を説明するフローチャートである。
【０４８６】
なお、以下では、R，G及びBのいずれか、又は、すべてを表す変数として、変数Qを導入し、R，G及びBを、変数Qを用いて表す。例えば、タップ選択部６２Ｇ，６２Ｒ、及び、６２Ｂのそれぞれ、又は、すべてを、タップ選択部６２Ｑと表す。
【０４８７】
ステップＳ５１において、注目画素選択部１１は、画像変換装置２００に入力される入力画像に対する出力画像を構成する画素（出力画素）のうち、まだ、注目画素とされていない画素の１つを、注目画素として選択し、処理は、ステップＳ５２に進む。
【０４８８】
ステップＳ５２では、ダイナミックレンジ検出部２０１が、そこに入力される入力画像を用い、図８のダイナミックレンジ検出部６１同様にして、注目画素について、Q成分のダイナミックレンジ情報を検出し、タップ選択部６２Ｑ，６３Ｑ、及び、クラス分類部６４Ｑに供給する。
【０４８９】
さらに、ステップＳ５２では、代表値算出部２０２は、注目画素について、そこに供給される入力画像を用い、図２２で説明したようにして、Q代表値（G代表値、R代表値、及び、B代表値）を算出し、レベル変換部２０５Ｑ及び２０６Ｑに供給する。
【０４９０】
また、ステップＳ５２では、平均値算出部２０３が、そこに供給される入力画像を用い、対応位置画素値として、注目画素に対応する入力画像の位置に近い複数のR入力画素の画素値（R成分）の平均値を求め、階調変換部２０４に供給する。
【０４９１】
階調変換部２０４は、平均値算出部２０３からの、対応位置画素値の、対数の演算を、入力画像の階調変換として行い、その結果得られる階調変換値を、クラス分類部６４Ｑに供給して、処理は、ステップＳ５２からステップＳ５３に進む。
【０４９２】
ステップＳ５３では、タップ選択部６２Ｑが、図２３、図２５、及び、図２７で説明したように、ダイナミックレンジ検出部２０１からのQ成分のダイナミックレンジ情報に応じて、そこに供給される入力画像から、注目画素についての予測タップとする入力画素を選択し、レベル変換部２０６Ｑに供給する。
【０４９３】
さらに、ステップＳ５３では、タップ選択部６３Ｇが、図２４、図２６、及び、図２８で説明したように、ダイナミックレンジ検出部２０１からのQ成分のダイナミックレンジ情報に応じて、そこに供給される入力画像から、注目画素についてのクラスタップとする入力画素を選択し、レベル変換部２０５Ｑに供給して、処理は、ステップＳ５４に進む。
【０４９４】
ステップＳ５４では、レベル変換部２０５Ｑが、タップ選択部６３Ｑからのクラスタップのレベル変換を行い、そのレベル変換後のクラスタップを、クラス分類部６４Ｑに供給する。
【０４９５】
さらに、ステップＳ５４では、レベル変換部２０６Ｑが、タップ選択部６２Ｑからの予測タップのレベル変換を行い、そのレベル変換後の予測タップを、予測演算部６６Ｑに供給して、処理は、ステップＳ５５に進む。
【０４９６】
ステップＳ５５では、クラス分類部６４Ｑが、ダイナミックレンジ検出部２０１からのQ成分のダイナミックレンジ情報に応じ、そのダイナミックレンジ情報、階調変換部２０４からの階調変換値、及び、レベル変換部２０５Ｑからのクラスタップを用いて、図２９で説明したように、注目画素（のQ成分）をクラス分類する。
【０４９７】
そして、クラス分類部６４Ｑは、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数出力部６５Ｑに出力して、処理は、ステップＳ５５からステップＳ５６に進む。
【０４９８】
ステップＳ５６では、係数出力部６５Ｑが、クラス分類部６４Ｑからの（注目画素のQ成分のクラスを表す）クラスコードに対応するアドレスに記憶されているタップ係数を取得して出力する。さらに、ステップＳ５５では、予測演算部６６Ｇが、係数出力部６５Ｑが出力するタップ係数を取得し、処理は、ステップＳ５７に進む。
【０４９９】
ステップＳ５７では、予測演算部６６Ｑが、レベル変換部２０６Ｑが出力する予測タップと、係数出力部６５Ｑから取得したタップ係数とを用いて、式（１）の予測演算を行う。これにより、予測演算部６６Ｑは、注目画素の画素値としてのQ成分を求めて出力し、ステップＳ５８に進む。
【０５００】
ステップＳ５８では、注目画素選択部１１が、まだ、注目画素としていない出力画素があるかどうかを判定する。ステップＳ５８において、まだ、注目画素としていない出力画素があると判定された場合、ステップＳ５１に戻り、以下、同様の処理が繰り返される。
【０５０１】
また、ステップＳ５８において、まだ、注目画素とされていない出力画素がないと判定された場合、処理を終了する。
【０５０２】
＜学習装置の構成例＞
【０５０３】
図３１は、図２０の係数出力部６５Ｑ（６５Ｇ，６５Ｒ、及び、６５Ｂ）に記憶されるタップ係数を求める学習を行う学習装置の構成例を示すブロック図である。
【０５０４】
なお、図３１の学習装置３００において、図１６の学習装置１００と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０５０５】
図３１の学習装置３００は、学習用画像記憶部３１ないし生徒データ記憶部３５を有する点で、図１６の学習装置１００と共通する。但し、図３１の学習装置３００は、学習部１０１に代えて、学習部３０１を有する点で、図１６の学習装置１００と相違する。
【０５０６】
なお、図３１では、学習用画像記憶部３１は、例えば、図２０の画像変換装置２００で得られる出力画像に相当する、画素ごとに、G成分、R成分、及び、B成分の3色の色成分すべてを有し、解像度の高い高画質画像を記憶している。
【０５０７】
そして、教師データ生成部３２は、学習用画像記憶部３１に記憶された学習用画像を、そのまま、教師画像として、教師データ記憶部３３に供給して記憶させる。
【０５０８】
また、生徒データ生成部３４は、学習用画像記憶部３１に記憶された学習用画像を間引いてフィルタリングし、さらに、各画素の3色の色成分のうちの2色の色成分を間引くこと等により、単板式画像である入力画像、すなわち、本実施の形態では、イメージセンサ５２で得られる画像に相当する、教師データよりも解像度及び先鋭感が低い生徒画像を生成し、生徒データ記憶部３５に供給して記憶させる。
【０５０９】
学習部３０１では、以上のような教師画像と生徒画像とを用いて、クラスごとに、式（８）の正規方程式をたてて解くことにより、クラスごとのタップ係数が求められる。
【０５１０】
＜学習部３０１の構成例＞
【０５１１】
図３２は、図３１の学習部３０１の構成例を示すブロック図である。
【０５１２】
なお、図中、図１７の学習部１０１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０５１３】
図３２において、教師データ記憶部３３（図３１）に記憶された教師画像は、足し込み部４５Ｑに供給される。
【０５１４】
また、生徒データ記憶部３５（図３１）に記憶された生徒画像は、タップ選択部１１２Ｑ及び１１３Ｑ、ダイナミックレンジ検出部３１１、代表値算出部３１２、並びに、平均値算出部３１３に供給される。
【０５１５】
足し込み部４５Ｑには、教師データ記憶部３３から、教師画像が供給される他、クラス分類部１１４Ｑから、注目画素（のQ成分）のクラス（を表すクラスコード）が供給されるとともに、レベル変換部３１６Ｑから、注目画素についてのQ用予測タップが供給される。
【０５１６】
足し込み部４５Ｑは、図１７の足し込み部４５と同様に、教師データ記憶部３３からの教師画像のうちの、注目画素と、レベル変換部３１６Ｑからの注目画素についての予測タップを構成する生徒画像の画素（の画素値）とを対象とした足し込みを、クラス分類部１１４Ｑから供給されるクラスコードごとに行う。
【０５１７】
さらに、足し込み部４５Ｑは、図１７の足し込み部４５と同様に、教師データ記憶部３３（図３）に記憶された教師画像の画素のすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたて、その正規方程式を、タップ係数算出部４６Ｑに供給する。
【０５１８】
タップ係数算出部４６Ｑは、図１７のタップ係数算出部４６と同様に、足し込み部４５Ｑから供給される各クラスについての正規方程式を解くことにより、各クラスについて、Q成分用のタップ係数、すなわち、Q成分を画素値とするQ出力画像（G出力画像、R出力画像、B出力画像）の予測に用いられるタップ係数を求めて出力する。
【０５１９】
タップ選択部１１２Ｑは、図２０のタップ選択部６２Ｑと同様に、注目画素について、生徒画像から、Q用予測タップとする画素（の画素値）を選択し、レベル変換部３１６Ｑに供給する。
【０５２０】
なお、タップ選択部１１２Ｑには、ダイナミックレンジ検出部３１１から、Q成分のダイナミックレンジ情報が供給される。
【０５２１】
タップ選択部１１２Ｑは、図２０のタップ選択部６２Ｑと同様に、ダイナミックレンジ検出部３１１からのQ成分のダイナミックレンジ情報に応じて、予測タップとなる画素の数であるタップ数を変更する。
【０５２２】
タップ選択部１１３Ｑは、図２０のタップ選択部６３Ｑと同様に、注目画素について、生徒画像から、Q用クラスタップとする画素（の画素値）を選択し、レベル変換部３１５Ｑに供給する。
【０５２３】
なお、タップ選択部１１３Ｑには、ダイナミックレンジ検出部３１１から、Q成分のダイナミックレンジ情報が供給される。
【０５２４】
タップ選択部１１３Ｑは、図２０のタップ選択部６２Ｑと同様に、ダイナミックレンジ検出部３１１からのQ成分のダイナミックレンジ情報に応じて、クラスタップとなる画素の数であるタップ数を変更することができる。
【０５２５】
クラス分類部１１４Ｑには、ダイナミックレンジ検出部３１１から、Q成分のダイナミックレンジ情報が供給され、レベル変換部３１５Ｑから、Q用クラスタップが供給される。さらに、クラス分類部１１４Ｑには、階調変換部３１４から、階調変換値が供給される。
【０５２６】
クラス分類部１１４Ｑは、Q成分のダイナミックレンジ情報、Q用クラスタップ、及び、階調変換値を用いて、図２０のクラス分類部６４Ｑと同一のクラス分類を行い、その結果得られる、注目画素（のQ成分）のクラスに対応するクラスコードを、足し込み部４５Ｑに供給する。
【０５２７】
なお、クラス分類部１１４Ｑは、図２０のクラス分類部６４Ｑと同様に、ダイナミックレンジ検出部３１１からのQ成分のダイナミックレンジ情報に応じて、クラス分類で採用する所定の規則としてのADRCのビット数を変更する。
【０５２８】
ダイナミックレンジ検出部３１１は、図２０のダイナミックレンジ検出部２０１と同様に、注目画素選択部４１において、教師画像の画素の中から選択された注目画素について、Q成分のダイナミックレンジ情報を検出し、タップ選択部１１２Ｑ，１１３Ｑ、及び、クラス分類部１１４Ｑに供給する。
【０５２９】
代表値算出部３１２は、図２０の代表値算出部２０２と同様に、そこに供給される入力画像から、注目画素について、Q代表値（G代表値、R代表値、及び、B代表値）を算出し、レベル変換部３１５Ｑ、及び、レベル変換部３１６Ｑに供給する。
【０５３０】
平均値算出部３１３は、図２０の平均値算出部２０３と同様に、注目画素に対応する入力画像の位置の画素値である対応位置画素値として、注目画素に対応する入力画像の位置に近い複数の入力画素の画素値としてのR成分の平均値を求め、階調変換部３１４に供給する。
【０５３１】
階調変換部３１４は、図２０の階調変換部２０４と同様に、平均値算出部３１３からの、注目画素に対応する入力画像の位置の画素値（対応位置画素値）の、例えば、対数の演算を、入力画像の階調変換として行い、その結果得られる階調変換値を、クラス分類部１１４Ｑに供給する。
【０５３２】
レベル変換部３１５Ｑは、図２０のレベル変換部２０５Ｑと同様に、タップ選択部１１３ＱからのQ用クラスタップのレベル変換を、代表値算出部３１２からのQ代表値を必要に応じて用いて行い、そのレベル変換後のクラスタップを、クラス分類部１１４Ｑに供給する。
【０５３３】
レベル変換部３１６Ｇは、図２０のレベル変換部２０６Ｑと同様に、タップ選択部１１２ＱからのQ用予測タップのレベル変換を、代表値算出部３１２からのQ代表値を必要に応じて用いて行い、そのレベル変換後の予測タップを、足し込み部４５Ｑに供給する。
【０５３４】
なお、図２０で説明したように、画像変換装置２００には、レベル変換部２０５Ｑや２０６Ｑを設ける必要がない場合がある。画像変換装置２００に、レベル変換部２０５Ｑや２０６Ｑを設ける必要がない場合、そのレベル変換部２０５Ｑや２０６Ｑに対応する、図３２のレベル変換器３１５Ｑや３１６Ｑも、学習部３０１に設ける必要はない。
【０５３５】
＜学習装置３００の学習処理＞
【０５３６】
図３３は、図３１の学習装置３００の処理（学習処理）を説明するフローチャートである。
【０５３７】
まず最初に、ステップＳ７１において、教師データ生成部３２と生徒データ生成部３４が、学習用画像記憶部３１に記憶された学習用画像から、教師画像（教師データ）と生徒画像（生徒データ）を生成し、教師データ記憶部３３と生徒データ記憶部３５にそれぞれ供給して記憶させる。
【０５３８】
その後、処理は、ステップＳ７２に進み、学習部３０１において、注目画素選択部４１は、教師データ記憶部３３に記憶された教師画像の画素のうち、まだ、注目画素としていない画素を、注目画素として選択し、処理は、ステップＳ７３に進む。
【０５３９】
ステップＳ７３では、ダイナミックレンジ検出部３１１が、生徒データ記憶部３５に記憶された生徒画像を用い、図２０のダイナミックレンジ検出部２０１と同様に、注目画素について、Q成分のダイナミックレンジ情報を検出し、タップ選択部１１２Ｑ，１１３Ｑ、及び、クラス分類部１１４Ｑに供給する。
【０５４０】
さらに、ステップＳ７３では、代表値算出部３１２が、注目画素について、生徒データ記憶部３５に記憶された生徒画像を用い、図２０の代表値算出部２０２と同様に、Q代表値を算出し、レベル変換部３１５Ｑ及び３１６Ｑに供給する。
【０５４１】
また、ステップＳ７３では、平均値算出部３１３が、図２０の平均値算出部２０３と同様に、生徒データ記憶部３５に記憶された生徒画像を用い、対応位置画素値として、注目画素に対応する生徒画像の位置に近い複数のG入力画素の画素値（G成分）の平均値を求め、階調変換部３１４に供給する。
【０５４２】
階調変換部３１４は、図２０の階調変換部２０４と同様に、平均値算出部３１３からの、対応位置画素値の対数の演算を、入力画像の階調変換として行い、その結果得られる階調変換値を、クラス分類部１１４Ｑに供給して、処理は、ステップＳ７３からステップＳ７４に進む。
【０５４３】
ステップＳ７４では、タップ選択部１１２Ｑが、図２０のタップ選択部６２Ｑと同様に、ダイナミックレンジ検出部３１１からのダイナミックレンジ情報に応じて、生徒データ記憶部３５に記憶された生徒画像から、注目画素についての予測タップとする画素を選択し、レベル変換部３１６Ｑに供給する。
【０５４４】
さらに、ステップＳ７４では、タップ選択部１１３Ｑが、図２０のタップ選択部６３Ｇと同様に、ダイナミックレンジ検出部３１１からのダイナミックレンジ情報に応じて、生徒データ記憶部３５に記憶された生徒画像から、注目画素についてのクラスタップとする画素を選択し、レベル変換部３１５Ｑに供給して、処理は、ステップＳ７５に進む。
【０５４５】
ステップＳ７５では、レベル変換部３１５Ｑが、図２０のレベル変換部２０５Ｑと同様に、タップ選択部１１３Ｑからのクラスタップのレベル変換を行い、そのレベル変換後のクラスタップを、クラス分類部１１４Ｑに供給する。
【０５４６】
さらに、ステップＳ７５では、レベル変換部３１６Ｑが、図２０のレベル変換部２０６Ｑと同様に、タップ選択部１１２Ｑからの予測タップのレベル変換を行い、そのレベル変換後の予測タップを、足し込み部４５Ｑに供給して、処理は、ステップＳ７６に進む。
【０５４７】
ステップＳ７６では、クラス分類部１１４Ｑが、ダイナミックレンジ検出部３１１からのQ成分のダイナミックレンジ情報に応じ、そのダイナミックレンジ情報、階調変換部３１４からの階調変換値、及び、レベル変換部３１５Ｑからのクラスタップを用いて、図２０のクラス分類部６４Ｑと同様に、注目画素（のQ成分）をクラス分類する。
【０５４８】
そして、クラス分類部１１４Ｑは、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、足し込み部４５Ｑに出力して、処理は、ステップＳ７６からステップＳ７７に進む。
【０５４９】
ステップＳ７７では、足し込み部４５Ｑは、教師データ記憶部３３に記憶された注目画素としての教師画像の画素と、タップ選択部１１２Ｑから供給される注目画素について選択された予測タップとしての生徒画像の画素とを対象とした式（８）の足し込みを、クラス分類部１１４Ｑから供給されるクラスコードごとに行い、処理は、ステップＳ７８に進む。
【０５５０】
ステップＳ７８では、注目画素選択部４１が、教師データ記憶部３３（図３１）に、まだ、注目画素としていない教師画像の画素が記憶されているかどうかを判定する。ステップＳ７８において、注目画素としていない教師画像の画素が、まだ、教師データ記憶部３３に記憶されていると判定された場合、処理は、ステップＳ７２に戻り、以下、同様の処理が繰り返される。
【０５５１】
また、ステップＳ７８において、注目画素としていない教師画像の画素が、教師データ記憶部３３に記憶されていないと判定された場合、足し込み部４５Ｑは、いままでのステップＳ７２ないしＳ７７の処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、タップ係数算出部４６Ｑに供給し、処理は、ステップＳ７９に進む。
【０５５２】
ステップＳ７９では、タップ係数算出部４６Ｑは、足し込み部４５Ｑから供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、Q成分用のタップ係数を求めて出力し、処理を終了する。
【０５５３】
図２０の画像変換装置２００では、以上の学習処理によって求められるQ成分用のタップ係数が、係数出力部６５Ｑに記憶されている。すなわち、G成分用のタップ係数は、係数出力部６５Ｇに、R成分用のタップ係数は、係数出力部６５Ｒに、B成分用のタップ係数は、係数出力部６５Ｂに、それぞれ記憶される。
【０５５４】
［本技術を適用したコンピュータの説明］
【０５５５】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０５５６】
そこで、図３４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０５５７】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やROM４０３に予め記録しておくことができる。
【０５５８】
あるいはまた、プログラムは、リムーバブル記録媒体４１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体４１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０５５９】
なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク４０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０５６０】
コンピュータは、CPU(Central Processing Unit)４０２を内蔵しており、CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されている。
【０５６１】
CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、入力部４０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、CPU４０２は、ハードディスク４０５に格納されたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。
【０５６２】
これにより、CPU４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
【０５６３】
なお、入力部４０７は、キーボードや、マウス、マイク等で構成される。また、出力部４０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０５６４】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０５６５】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０５６６】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０５６７】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０５６８】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０５６９】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０５７０】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０５７１】
また、本実施の形態では、単板式画像として、画素ごとに、RGBの3色の色成分のうちのいずれかの色成分を画素値として有する画像を採用したが、単板式画像としては、その他、例えば、RGBの3色に、シアンやイエロー等を加えた4色や5色、さらには、それ以上の数の色成分のいずれかの色成分を、画素ごとに、画素値として有する画像を採用することができる。
【０５７２】
さらに、本技術は、ディジタルカメラの他、例えば、画像を編集するアプリケーションその他に適用することができる。
【０５７３】
なお、本技術は、以下のような構成をとることができる。
【０５７４】
＜１＞
第１の画像を変換した第２の画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択する予測タップ選択部と、
前記注目画素を、所定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類部と、
前記第１の画像に相当する生徒画像を用いた前記予測演算の結果と、前記第２の画像に相当する教師画像との誤差を最小にする学習により求められた、前記複数のクラスそれぞれごとの、前記予測演算に用いられるタップ係数のうちの、前記注目画素のクラスのタップ係数を出力するタップ係数出力部と、
前記注目画素のクラスのタップ係数と、前記注目画素の前記予測タップとを用いた前記予測演算を行うことにより、前記注目画素の画素値を求める演算部と、
前記注目画素に対応する前記第１の画像の位置の局所的なダイナミックレンジを表すダイナミックレンジ情報を検出するダイナミックレンジ検出部と
を備え、
前記予測タップ選択部は、前記ダイナミックレンジ情報に応じて、前記予測タップとなる画素の数であるタップ数を変更する
画像処理装置。
＜２＞
前記クラス分類部は、前記ダイナミックレンジ情報に応じて、前記所定の規則を変更する
＜１＞に記載の画像処理装置。
＜３＞
前記ダイナミックレンジ情報は、前記注目画素に対応する前記第１の画像の位置を含む所定のダイナミックレンジ検出用エリアの前記第１の画像の画素の画素値の最大値と最小値との差を、前記ダイナミックレンジ検出用エリアの前記第１の画像の画素の画素値の平均値で正規化した正規化ダイナミックレンジを表す情報である
＜１＞又は＜２＞に記載の画像処理装置。
＜４＞
前記クラス分類に用いるクラスタップとなる画素を、前記第１の画像から選択するクラスタップ選択部と、
前記第１の画像の階調変換を行う階調変換部と
をさらに備え、
前記クラス分類部は、前記クラスタップと、前記第１の画像の階調変換の結果得られる階調変換値とを用いて、前記注目画素のクラス分類を行う
＜１＞ないし＜３＞のいずれかに記載の画像処理装置。
＜５＞
前記第１の画像は、画素ごとに、複数の色成分のうちの１つの色成分を画素値として有し、
前記第２の画像は、画素ごとに、前記複数の色成分を画素値として有し、
前記演算部は、前記注目画素の画素値として、前記複数の色成分を求める
＜１＞ないし＜４＞のいずれかに記載の画像処理装置。
＜６＞
前記予測タップ選択部は、前記ダイナミックレンジ情報に応じて、前記ダイナミックレンジが大であるほど、前記予測タップのタップ数を小にする
＜１＞ないし＜５＞のいずれかに記載の画像処理装置。
＜７＞
前記クラス分類に用いるクラスタップとなる画素を、前記第１の画像から選択するクラスタップ選択部をさらに備え、
前記クラス分類部は、
前記クラスタップの各画素の画素値を、所定のビット数に量子化するADRC(Adaptive Dynamic Range Coding)を行うことにより、前記注目画素のクラス分類を行い
前記ダイナミックレンジ情報に応じて、前記ダイナミックレンジが大であるほど、前記ADRCの所定のビット数を大にする
＜２＞に記載の画像処理装置。
＜８＞
第１の画像を変換した第２の画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択する予測タップ選択ステップと、
前記注目画素を、所定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、
前記第１の画像に相当する生徒画像を用いた前記予測演算の結果と、前記第２の画像に相当する教師画像との誤差を最小にする学習により求められた、前記複数のクラスそれぞれごとの、前記予測演算に用いられるタップ係数のうちの、前記注目画素のクラスのタップ係数を出力するタップ係数出力ステップと、
前記注目画素のクラスのタップ係数と、前記注目画素の前記予測タップとを用いた前記予測演算を行うことにより、前記注目画素の画素値を求める演算ステップと、
前記注目画素に対応する前記第１の画像の位置の局所的なダイナミックレンジを表すダイナミックレンジ情報を検出するダイナミックレンジ検出ステップと
を含み、
前記予測タップ選択ステップでは、前記ダイナミックレンジ情報に応じて、前記予測タップとなる画素の数であるタップ数を変更する
画像処理方法。
＜９＞
第１の画像を変換した第２の画像のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択する予測タップ選択部と、
前記注目画素を、所定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類部と、
前記第１の画像に相当する生徒画像を用いた前記予測演算の結果と、前記第２の画像に相当する教師画像との誤差を最小にする学習により求められた、前記複数のクラスそれぞれごとの、前記予測演算に用いられるタップ係数のうちの、前記注目画素のクラスのタップ係数を出力するタップ係数出力部と、
前記注目画素のクラスのタップ係数と、前記注目画素の前記予測タップとを用いた前記予測演算を行うことにより、前記注目画素の画素値を求める演算部と、
前記注目画素に対応する前記第１の画像の位置の局所的なダイナミックレンジを表すダイナミックレンジ情報を検出するダイナミックレンジ検出部と
して、コンピュータを機能させるためのプログラムであり、
前記予測タップ選択部は、前記ダイナミックレンジ情報に応じて、前記予測タップとなる画素の数であるタップ数を変更する
プログラム。
【符号の説明】
【０５７５】
１  画像変換装置，  １１  注目画素選択部，  １２，１３  タップ選択部，  １４  クラス分類部，  １５  係数出力部，  １６  予測演算部，  ２１  学習装置，  ３１  学習用画像記憶部，  ３２  教師データ生成部，  ３３  教師データ記憶部，  ３４  生徒データ生成部，  ３５  生徒データ記憶部，  ３６  学習部，  ４１  注目画素選択部，  ４２，４３  タップ選択部，  ４４  クラス分類部，  ４５，４５Ｂ，４５Ｇ，４５Ｒ  足し込み部，  ４６，４６Ｂ，４６Ｇ，４６Ｒ  タップ係数算出部，  ５１  光学系，  ５２  イメージセンサ，  ５３  メモリ，  ５４  信号処理部，  ５５  出力部，  ５６  制御部，  ６１  ダイナミックレンジ検出部，  ６２，６２Ｂ，６２Ｇ，６２Ｒ，６３，６３Ｂ，６３Ｇ，６３Ｒ  タップ選択部，  ６４，６４Ｂ，６４Ｇ，６４Ｒ  クラス分類部，  ６５，６５Ｂ，６５Ｇ，６５Ｒ  係数出力部，  ６６Ｂ，６６Ｇ，６６Ｒ  予測演算部，  ７１  タップ選択部，  ７２  最大値検出部，  ７３  最小値検出部，  ７４  演算部，  ７５  判定部，  ８１  平均値算出部，  ８２  演算部，  ９１  ADRC処理部，  ９２  クラスコード生成部，  １００  学習装置，  １０１  学習部，  １１１  ダイナミックレンジ検出部，  １１２，１１２Ｂ，１１２Ｇ，１１２Ｒ，１１３，１１３Ｂ，１１３Ｇ，１１３Ｒ  タップ選択部，  １１４，１１４Ｂ，１１４Ｇ，１１４Ｒ  クラス分類部，  ２０１  ダイナミックレンジ検出部，  ２０２  代表値算出部，  ２０３  平均値算出部，  ２０４  階調変換部，  ２０５Ｂ，２０５Ｇ，２０５Ｒ，２０６Ｂ，２０６Ｇ，２０６Ｒ  レベル変換部，  ２１１  閾値処理部，  ２１２  クラスコード生成部，  ３００  学習装置，  ３０１  学習部，  ３１１  ダイナミックレンジ検出部，  ３１２  代表値算出部，  ３１３  平均値算出部，  ３１４  階調変換部，  ３１５Ｂ，３１５Ｇ，３１５Ｒ，３１６Ｂ，３１６Ｇ，３１６Ｒ  レベル変換部，  ４０１  バス，  ４０２  CPU，  ４０３  ROM，  ４０４  RAM，  ４０５  ハードディスク，  ４０６  出力部，  ４０７  入力部，  ４０８  通信部，  ４０９  ドライブ，  ４１０  入出力インタフェース，  ４１１  リムーバブル記録媒体
【図１】
2014194706.tif 000011
【図２】
2014194706.tif 000012
【図３】
2014194706.tif 000013
【図４】
2014194706.tif 000014
【図５】
2014194706.tif 000015
【図６】
2014194706.tif 000016
【図７】
2014194706.tif 000017
【図８】
2014194706.tif 000018
【図９】
2014194706.tif 000019
【図１０】
2014194706.tif 000020
【図１１】
2014194706.tif 000021
【図１２】
2014194706.tif 000022
【図１３】
2014194706.tif 000023
【図１４】
2014194706.tif 000024
【図１５】
2014194706.tif 000025
【図１６】
2014194706.tif 000026
【図１７】
2014194706.tif 000027
【図１８】
2014194706.tif 000028
【図１９】
2014194706.tif 000029
【図２０】
2014194706.tif 000030
【図２１】
2014194706.tif 000031
【図２２】
2014194706.tif 000032
【図２３】
2014194706.tif 000033
【図２４】
2014194706.tif 000034
【図２５】
2014194706.tif 000035
【図２６】
2014194706.tif 000036
【図２７】
2014194706.tif 000037
【図２８】
2014194706.tif 000038
【図２９】
2014194706.tif 000039
【図３０】
2014194706.tif 000040
【図３１】
2014194706.tif 000041
【図３２】
2014194706.tif 000042
【図３３】
2014194706.tif 000043
【図３４】
2014194706.tif 000044