(57)【要約】      （修正有）【課題】ロー信号を高画質の画像信号に変換する。【解決手段】ガンマ補正部３１は、画像のリニアスケールのロー信号に対してガンマ補正を行い、ログスケール信号を生成する。デモザイク部３２は、ガンマ補正部３１により生成されたログスケール信号に対してデモザイク処理を行い、画像信号を生成する。逆ガンマ補正部３３は、デモザイク部３２により生成された画像信号に対して逆ガンマ補正を行い、リニアスケール信号を生成する。【選択図】図３
2015154307.tif 000002
【特許請求の範囲】
【請求項１】
画像のリニアスケールのロー信号に対してガンマ補正を行い、ログスケール信号を生成するガンマ補正部と、
前記ガンマ補正部により生成された前記ログスケール信号に対してデモザイク処理を行い、画像信号を生成するデモザイク部と、
前記デモザイク部により生成された前記画像信号に対して逆ガンマ補正を行い、リニアスケール信号を生成する逆ガンマ補正部と
を備える画像処理装置。
【請求項２】
前記デモザイク部は、クラス分類適応処理により前記デモザイク処理を行う
ように構成された
請求項１に記載の画像処理装置。
【請求項３】
前記デモザイク部は、前記画像信号に対応する教師信号と、前記ログスケール信号に対応する生徒信号とを用いて、各画素の前記教師信号、その画素に対応する画素の前記生徒信号、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、前記画像信号に対応する画像のうちの注目している画素である注目画素に対応する画素の前記ログスケール信号からなる予測タップとの演算により、前記注目画素の前記画像信号を生成する
ように構成された
請求項２に記載の画像処理装置。
【請求項４】
前記逆ガンマ補正部により生成された前記リニアスケール信号に対して色域変換を行う色域変換部
をさらに備える
請求項１に記載の画像処理装置。
【請求項５】
符号化された前記ロー信号を復号する復号部
をさらに備え、
前記ガンマ補正部は、前記復号部により復号された前記ロー信号に対して前記ガンマ補正を行う
ように構成された
請求項１に記載の画像処理装置。
【請求項６】
画像処理装置が、
画像のリニアスケールのロー信号に対してガンマ補正を行い、ログスケール信号を生成するガンマ補正ステップと、
前記ガンマ補正ステップの処理により生成された前記ログスケール信号に対してデモザイク処理を行い、画像信号を生成するデモザイクステップと、
前記デモザイクステップの処理により生成された前記画像信号に対して逆ガンマ補正を行い、リニアスケール信号を生成する逆ガンマ補正ステップと
を含む画像処理方法。
【請求項７】
コンピュータを、
画像のリニアスケールのロー信号に対してガンマ補正を行い、ログスケール信号を生成するガンマ補正部と、
前記ガンマ補正部により生成された前記ログスケール信号に対してデモザイク処理を行い、画像信号を生成するデモザイク部と、
前記デモザイク部により生成された前記画像信号に対して逆ガンマ補正を行い、リニアスケール信号を生成する逆ガンマ補正部と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、およびプログラムに関し、特に、ロー信号を高画質の画像信号に変換することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
単板のCCD(Charge Coupled Device)やCMOS（Complementary Metal-Oxide Semiconductor）イメージセンサを有する撮像装置は、イメージセンサから出力された画像のリニアスケールのロー（RAW）信号に対してデモザイク処理を行い、RGBの画像信号を生成する。そして、撮像装置は、画像信号に対して輝度レベルの変化に応じた色域変換処理を行い、その後ガンマ補正処理を行うことにより、ログ（log）スケールの画像信号を生成する。
【０００３】
一方、近年、色域変換処理において色再現性を向上させる方法が考案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−３５８９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、同一の色であっても輝度によってリニアスケールの色差は異なるため、リニアスケールのロー信号に対してデモザイク処理を行う場合、画像信号において偽色やジッパーノイズなどのアーティファクトが発生し、画質が劣化する。従って、デモザイク処理、色域変換処理、ガンマ補正処理の順に処理が行われて画像信号が生成される場合、画像信号の画質が悪い。
【０００６】
また、色域変換処理等はリニアスケールで行う必要があるため、ガンマ補正処理を色域変換処理の前に行うと、画像信号の画質は悪くなる。
【０００７】
本開示は、このような状況に鑑みてなされたものであり、ロー信号を高画質の画像信号に変換することができるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の一側面の画像処理装置は、画像のリニアスケールのロー信号に対してガンマ補正を行い、ログスケール信号を生成するガンマ補正部と、前記ガンマ補正部により生成された前記ログスケール信号に対してデモザイク処理を行い、画像信号を生成するデモザイク部と、前記デモザイク部により生成された前記画像信号に対して逆ガンマ補正を行い、リニアスケール信号を生成する逆ガンマ補正部とを備える画像処理装置である。
【０００９】
本開示の一側面の画像処理方法およびプログラムは、本開示の一側面の画像処理装置に対応する。
【００１０】
本開示の一側面においては、画像のリニアスケールのロー信号に対してガンマ補正が行われて、ログスケール信号が生成され、前記ログスケール信号に対してデモザイク処理が行われて、画像信号が生成され、前記画像信号に対して逆ガンマ補正が行われて、リニアスケール信号が生成される。
【発明の効果】
【００１１】
本開示の一側面によれば、デモザイク処理を行うことができる。また、本開示の一側面によれば、ロー信号を高画質の画像信号に変換することができる。
【００１２】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１３】
【図１】画像処理装置の一例を示すブロック図である。
【図２】リニアスケールとログスケールの色差の輝度による変化を示す図である。
【図３】本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【図４】ロー信号に対応する画像の画素の色配列の例を示す図である。
【図５】ガンマ補正に用いられるガンマ曲線の例を示す図である。
【図６】逆ガンマ補正に用いられる逆ガンマ曲線の例を示す図である。
【図７】図３の画像処理装置の画像処理を説明するフローチャートである。
【図８】本開示を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【図９】図８の符号化装置の符号化処理を説明するフローチャートである。
【図１０】図８の復号装置の復号処理を説明するフローチャートである。
【図１１】本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【図１２】図１１のデモザイク部の構成例を示すブロック図である。
【図１３】図１１のデモザイク部のデモザイク処理を説明するフローチャートである。
【図１４】学習装置の構成例を示すブロック図である。
【図１５】図１４の学習装置の学習処理を説明するフローチャートである。
【図１６】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．本開示の前提（図１、図２）
２．第１実施の形態：画像処理装置（図３乃至図７）
３．第２実施の形態：画像処理システム（図８乃至図１０）
４．第３実施の形態：画像処理装置（図１１乃至図１５）
５．第４実施の形態：コンピュータ（図１６）
【００１５】
＜本開示の前提＞
（画像処理装置の一例）
図１は、単板のCCDやCMOSイメージセンサから出力される画像のリニアスケールのロー信号に対してデモザイク処理を行う画像処理装置の一例を示すブロック図である。
【００１６】
図１の画像処理装置１０は、ホワイトバランス部１１、デモザイク部１２、色域変換部１３、およびガンマ補正部１４により構成される。画像処理装置１０は、例えば、単板のCCDやCMOSイメージセンサとともに撮像装置を構成するようにすることができる。
【００１７】
画像処理装置１０のホワイトバランス部１１は、図示せぬ単板のCCDやCMOSイメージセンサから出力されるリニアスケールのロー信号（モザイク信号ＭＩ）に対して、ゲインを補正することによりホワイトバランスを調整するホワイトバランス処理を行う。ホワイトバランス部１１は、ホワイトバランス処理後のロー信号（ＭＷ）をデモザイク部１２に供給する。
【００１８】
デモザイク部１２は、ホワイトバランス部１１から供給されるロー信号に対して、DLMMSE(Directional Linear Minimum Mean Square-Error Estimation)法などを用いたデモザイク処理を行う。デモザイク部１２は、デモザイク処理の結果生成されるRGBの画像信号（Ｒｄ，Ｇｄ，Ｂｄ）を色域変換部１３に供給する。
【００１９】
色域変換部１３は、デモザイク部１２から供給される画像信号に対して輝度レベルの変化に応じた色域変換処理を行い、ガンマ補正部１４に供給する。
【００２０】
ガンマ補正部１４は、色域変換部１３から供給される色域変換処理後の画像信号（Ｒｃ，Ｇｃ，Ｂｃ）に対してガンマ補正を行い、その結果得られるログスケールの画像信号（Ｒγ，Ｇγ，Ｂγ）を出力する。
【００２１】
以上のように、画像処理装置１０では、リニアスケールのロー信号に対してデモザイク処理が行われる。
【００２２】
（リニアスケールとログスケールの色差の説明）
図２は、所定の色のリニアスケールとログスケールの色差の輝度による変化を示す図である。
【００２３】
なお、図２において、横軸は輝度を表し、縦軸はロー信号や画像信号のレベルを表す。
【００２４】
図２Ａに示すように、リニアスケールでは、色差(R-G)や(B-G)は輝度によって異なる。従って、画像処理装置１０のように、リニアスケールのロー信号に対してデモザイク処理が行われる場合、画像信号において偽色やジッパーノイズなどのアーティファクトが発生し、画質が劣化する。
【００２５】
即ち、例えば、DLMMSE法を用いたデモザイク処理では、各画素の画像信号の色差を周辺画素間のロー信号の差分を用いて予測するが、同一画面内で輝度が変化すると、各画素の画像信号の色差を精度良く予測することができない。その結果、画像信号において偽色やジッパーノイズなどのアーティファクトが発生し、画質が劣化する。
【００２６】
これに対して、図２Ｂに示すように、ログスケールでは、色差(R-G)や(B-G)は輝度によらず一定である。従って、ログスケールのロー信号に対してデモザイク処理が行われる場合、画像信号において偽色やジッパーノイズなどのアーティファクトが発生せず、画質劣化が低減される。
【００２７】
よって、本開示は、デモザイク処理の前にガンマ補正を行い、デモザイク処理に用いられるロー信号のスケールをログスケールにすることにより、画像信号の画質劣化を低減する。一方、本開示は、色域変換処理の前に逆ガンマ補正を行い、色域変換処理に用いられる画像信号のスケールをリニアスケールにすることにより、画像信号の画質劣化を防止する。
【００２８】
＜第１実施の形態＞
（画像処理装置の第１実施の形態の構成例）
図３は、本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【００２９】
図３に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００３０】
図３の画像処理装置３０の構成は、デモザイク部１２の代わりに、ガンマ補正部３１、デモザイク部３２、および逆ガンマ補正部３３が設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置３０は、ロー信号のスケールをリニアスケールからログスケールに変換してデモザイク処理を行い、その結果得られるRGBの画像信号のスケールをリニアスケールに戻して色域変換を行う。
【００３１】
具体的には、画像処理装置３０のガンマ補正部３１は、ホワイトバランス部１１から出力されるホワイトバランス処理後の画像のリニアスケールのロー信号（ＭＷ）に対してガンマ補正を行い、ログスケールのロー信号であるログスケール信号（Ｍγ）を生成する。ガンマ補正部３１は、ログスケール信号をデモザイク部３２に供給する。
【００３２】
デモザイク部３２は、ガンマ補正部３１から供給されるログスケール信号に対して、DLMMSE法などを用いたデモザイク処理を行い、ログスケールのRGBの画像信号（Ｒｄ，Ｇｄ，Ｂｄ）を生成する。デモザイク部３２は、ログスケールのRGBの画像信号を逆ガンマ補正部３３に供給する。
【００３３】
逆ガンマ補正部３３は、デモザイク部３２から供給されるログスケールのRGBの画像信号に対して逆ガンマ補正を行い、リニアスケールのRGBの画像信号であるリニアスケール信号（ＲＩ，ＧＩ，ＢＩ）を生成する。逆ガンマ補正部３３は、リニアスケール信号を色域変換部１３に供給する。色域変換部１３は、このリニアスケール信号に対して色域変換処理を行う。
【００３４】
（ロー信号に対応する画像の画素の色配列の例）
図４は、図３の画像処理装置３０に入力されるロー信号に対応する画像の画素の色配列の例を示す図である。
【００３５】
なお、図４において、丸は画素を表し、丸の中に記載されたR,G,Bは、その丸が表す画素に割り当てられた色（赤色、緑色、青色）を表す。
【００３６】
単板のCCDやCMOSイメージセンサでは、各画素に１つの色が割り当てられ、各画素のロー信号として、割り当てられた色の光の電気信号が取得される。各画素に割り当てられる色の配列、即ちロー信号に対応する画像の画素の色配列としては、例えば、図４に示すようなベイヤ配列が採用される。
【００３７】
画素ごとに１つの色の信号を有するロー信号は、デモザイク処理により、画素ごとに、赤色（R）、緑色（G）、および青色（B）の信号を有する画像信号に変換される。
【００３８】
（ガンマ補正の説明）
図５は、図３のガンマ補正部３１とガンマ補正部１４におけるガンマ補正に用いられるガンマ曲線の例を示す図である。
【００３９】
図５において、横軸は、ガンマ補正前の値（入力値）であり、縦軸は、ガンマ補正後の値（出力値）である。
【００４０】
ガンマ補正部３１とガンマ補正部１４は、図５に示すガンマ曲線を用いてガンマ補正を行い、スケールをリニアスケールからログスケールに変換する。
【００４１】
（逆ガンマ補正の説明）
図６は、図３の逆ガンマ補正部３３における逆ガンマ補正に用いられる逆ガンマ曲線の例を示す図である。
【００４２】
図６において、横軸は、逆ガンマ補正前の値（入力値）であり、縦軸は、逆ガンマ補正後の値（出力値）である。
【００４３】
逆ガンマ補正部３３は、図６に示す逆ガンマ曲線を用いて逆ガンマ補正を行い、スケールをログスケールからリニアスケールに変換する。
【００４４】
（画像処理装置の処理の説明）
図７は、図３の画像処理装置３０の画像処理を説明するフローチャートである。この画像処理は、例えば、図示せぬ単板のCCDやCMOSイメージセンサから画像のリニアスケールのロー信号が入力されたとき、開始される。
【００４５】
ステップＳ１１において、画像処理装置３０のホワイトバランス部１１は、入力されたロー信号に対して、ホワイトバランス処理を行う。ホワイトバランス部１１は、ホワイトバランス処理後のロー信号をガンマ補正部３１に供給する。
【００４６】
ステップＳ１２において、ガンマ補正部３１は、ホワイトバランス部１１から供給されるホワイトバランス処理後のロー信号に対してガンマ補正を行い、ログスケール信号を生成する。ガンマ補正部３１は、ログスケール信号をデモザイク部３２に供給する。
【００４７】
ステップＳ１３において、デモザイク部３２は、ガンマ補正部３１から供給されるログスケール信号に対して、DLMMSE法などを用いたデモザイク処理を行い、RGBの画像信号を生成する。デモザイク部３２は、RGBの画像信号を逆ガンマ補正部３３に供給する。
【００４８】
ステップＳ１４において、逆ガンマ補正部３３は、デモザイク部３２から供給されるログスケールのRGBの画像信号に対して逆ガンマ補正を行い、リニアスケール信号を生成する。逆ガンマ補正部３３は、リニアスケール信号を色域変換部１３に供給する。ステップＳ１５において、色域変換部１３は、逆ガンマ補正部３３から供給されるリニアスケール信号に対して色域変換処理を行い、ガンマ補正部１４に供給する。
【００４９】
ステップＳ１６において、ガンマ補正部１４は、色域変換部１３から供給される色域変換処理後のリニアスケール信号に対してガンマ補正を行い、その結果得られるログスケールの画像信号を出力する。そして、処理は終了する。
【００５０】
以上のように、画像処理装置３０では、ガンマ補正部３１が、画像のリニアスケールのロー信号に対してガンマ補正を行い、デモザイク部３２が、その結果得られるログスケール信号に対してデモザイク処理を行う。従って、DLMMSE法を用いたデモザイク処理において各画素の画像信号の色差を精度良く予測し、画像信号における偽色やジッパーノイズなどのアーティファクトの発生を低減することができる。
【００５１】
また、画像処理装置３０では、逆ガンマ補正部３３が、デモザイク処理の結果得られるRGBの画像信号に対して逆ガンマ補正を行うので、色域変換処理をリニアスケールの画像信号に対して行うことができる。従って、画像信号の画質の劣化を防止することができる。
【００５２】
その結果、画像処理装置３０は、ロー信号を、アーティファクトの発生が低減され、リニアスケールで色域変換処理が行われた高画質の画像信号に変換することができる。
【００５３】
なお、除算を用いて色差を求めることにより、リニアスケールの色差を輝度によらず一定にし、画像信号におけるアーティファクトの発生を低減することもできるが、除算は減算に比べて大きい回路規模と多くの演算時間を要するため、望ましくない。
【００５４】
＜第２実施の形態＞
（画像処理システムの一実施の形態の構成例）
図８は、本開示を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【００５５】
図８に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００５６】
図８の画像処理システム５０は、符号化装置５１、伝送路５２、および復号装置５３により構成される。画像処理システム５０では、符号化装置５１により符号化されたロー信号が、伝送路５２を介して復号装置５３に伝送され、画像信号に変換される。
【００５７】
具体的には、符号化装置５１は、ホワイトバランス部１１とエンコード部６１により構成される。エンコード部６１は、ホワイトバランス部１１から出力されるホワイトバランス処理後のロー信号を所定の符号化方式で符号化する。エンコード部６１は、符号化されたロー信号を、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった有線または無線の伝送路５２を介して、復号装置５３に送信する。
【００５８】
復号装置５３は、デコード部６２、ガンマ補正部３１、デモザイク部３２、逆ガンマ補正部３３、色域変換部１３、およびガンマ補正部１４により構成される。デコード部６２は、伝送路５２を介して符号化装置５１から送信されてくる符号化されたロー信号を受信し、エンコード部６１の符号化方式に対応する方式で復号する。デコード部６２は、復号の結果得られるロー信号をガンマ補正部３１に供給する。ガンマ補正部３１は、デコード部６２から供給されるロー信号に対してガンマ補正を行う。
【００５９】
（画像処理システムの処理の説明）
図９は、図８の画像処理システム５０の符号化装置５１の符号化処理を説明するフローチャートである。この符号化処理は、例えば、図示せぬ単板のCCDやCMOSイメージセンサから画像のリニアスケールのロー信号が入力されたとき、開始される。
【００６０】
ステップＳ３１において、符号化装置５１のホワイトバランス部１１は、入力されたロー信号に対して、ホワイトバランス処理を行う。ホワイトバランス部１１は、ホワイトバランス処理後のロー信号をエンコード部６１に供給する。
【００６１】
ステップＳ３２において、エンコード部６１は、ホワイトバランス部１１から供給されるロー信号に対して所定の符号化方式の符号化を行う。ステップＳ３３において、エンコード部６１は、符号化されたロー信号を、伝送路５２を介して復号装置５３に送信する。そして、処理は終了する。
【００６２】
図１０は、画像処理システム５０の復号装置５３の復号処理を説明するフローチャートである。この復号処理は、符号化装置５１から伝送路５２を介して符号化されたロー信号が送信されてきたとき、開始される。
【００６３】
ステップＳ５１において、復号装置５３のデコード部６２は、符号化されたロー信号を受信する。ステップＳ５２において、デコード部６２は、符号化されたロー信号に対して、エンコード部６１の符号化方式に対応する方式の復号を行い、その結果得られるロー信号をガンマ補正部３１に供給する。
【００６４】
ステップＳ５３において、ガンマ補正部３１は、デコード部６２から供給されるロー信号に対してガンマ補正を行うことによりログスケール信号を生成し、デモザイク部３２に供給する。
【００６５】
ステップＳ５４乃至Ｓ５７の処理は、図７のステップＳ１３乃至Ｓ１６の処理と同様であるので、説明は省略する。
【００６６】
なお、第２実施の形態では、符号化されたロー信号が伝送路５２を介して符号化装置５１から復号装置５３に伝送されたが、記録媒体を介して伝送されるようにしてもよい。即ち、符号化装置５１は、符号化されたロー信号を記録媒体に記録し、復号装置５３は、記録媒体から符号化されたロー信号を読み出すようにしてもよい。
【００６７】
＜第３実施の形態＞
（画像処理装置の構成例）
図１１は、本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【００６８】
図１１に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００６９】
図１１の画像処理装置７０の構成は、デモザイク部３２の代わりにデモザイク部７１が設けられる点が、図３の画像処理装置３０の構成と異なる。画像処理装置７０は、クラス分類適応処理によりデモザイク処理を行う。
【００７０】
具体的には、画像処理装置７０のデモザイク部７１は、ガンマ補正部３１から供給されるログスケール信号に対して、クラス分類適応処理によりデモザイク処理を行い、ログスケールのRGBの画像信号を生成する。デモザイク部７１は、ログスケールのRGBの画像信号を逆ガンマ補正部３３に供給する。
【００７１】
（デモザイク部の構成例）
図１２は、図１１のデモザイク部７１の構成例を示すブロック図である。
【００７２】
図１２のデモザイク部７１は、ブロック化部９１、ADRC処理部９２、クラス分類部９３、適応処理部９４、および係数メモリ９５により構成され、特開２０００−３０８０７９号公報に記載されているデモザイク処理と同様のデモザイク処理を行う。
【００７３】
具体的には、デモザイク部７１のブロック化部９１は、デモザイク処理により生成するRGBの画像信号に対応する画像のうちの各画素を、順に、注目している画素である注目画素とする。ブロック化部９１は、生成する画像信号の色ごとに、ガンマ補正部３１から供給されるログスケール信号から、注目画素に対応する位置の周辺に位置する複数の画素のログスケール信号を、クラスタップとして抽出する。
【００７４】
このクラスタップは、注目画素に対応するログスケール信号の画素の色とデモザイク処理により生成する画像信号の色によって異なる。例えば、ロー信号に対応する色配列が図４の色配列である場合、注目画素に対応する画素が、赤色の画素、赤色の画素の間の緑色の画素、青色の画素、および青色の画素の間の緑色の画素のいずれであるかと、デモザイク処理により生成する画像信号の色が、赤色、緑色、青色のいずれであるかとによって、クラスタップは異なる。ブロック化部９１は、抽出されたクラスタップをADRC処理部９２に供給する。
【００７５】
また、ブロック化部９１は、ログスケール信号から、注目画素に対応する位置の周辺に位置する複数の画素のログスケール信号を予測タップとして抽出し、適応処理部９４に供給する。なお、クラスタップと予測タップに対応する画素は同一であってもよいし、異なっていてもよい。
【００７６】
ADRC処理部９２は、ブロック化部９１から供給されるクラスタップに対してADRC(Adaptive Dynamic Range Coding)処理を行って再量子化コードを生成する。
【００７７】
具体的には、ADRC処理部９２は、ADRC処理として、以下の式（１）により、クラスタップの最大値MAXと最小値MINの間を指定されたビット数ｐで均等に分割して再量子化する処理を行う。
【００７８】
【数１】
2015154307.tif 000003
【００７９】
式（１）において、［］は、［］内の値の小数点以下を切り捨てることを意味する。また、kiは、クラスタップのi番目のログスケール信号を表し、qiは、クラスタップのi番目のログスケール信号の再量子化コードを表す。また、DRは、ダイナミックレンジであり、MAX-MIN+1である。ADRC処理部９２は、再量子化コードをクラス分類部９３に供給する。
【００８０】
クラス分類部９３は、生成する画像信号の色ごとに、ADRC処理部９２から供給される再量子化コードに基づいて注目画素をクラスに分類する。具体的には、クラス分類部９３は、再量子化コードを用いて、以下の式（２）により、クラスを表すクラス番号classを算出する。
【００８１】
【数２】
2015154307.tif 000004
【００８２】
式（２）において、ｎは、クラスタップを構成するログスケール信号の数である。クラス分類部９３は、クラス番号を適応処理部９４に供給する。
【００８３】
係数メモリ９５は、クラス分類部９３により分類されるクラス番号に対応する予測係数を記憶する。この予測係数は、後述するように、クラス番号ごとに、画像信号に対応する教師信号と、ログスケール信号に対応する生徒信号とを用いて、各画素の教師信号、その画素に対応する画素の生徒信号、および予測係数の関係を示す正規方程式を解くことにより予め学習された予測係数である。
【００８４】
適応処理部９４は、色ごとに、クラス分類部９３から供給されるクラス番号に対応する予測係数を係数メモリ９５から読み出す。適応処理部９４は、色ごとに、係数メモリ９５から読み出された予測係数と、ブロック化部９１から供給される予測タップとの予測演算により、注目画素の画像信号を生成する。適応処理部９４は、各画素のRGBの画像信号を図１１の逆ガンマ補正部３３に供給する。
【００８５】
なお、デモザイク部７１は、ADRC処理を用いてクラス番号を算出するが、ADRC処理以外の処理を用いてクラス番号を算出するようにしてもよい。例えば、DCT(Discrete Cosine Transform)，VQ(Vector Quantization)，DPCM（differential pulse code modulation）などのデータ圧縮処理を応用し、データ圧縮処理結果のデータ量をクラス番号とするようにしてもよい。
【００８６】
（予測演算の説明）
次に、図１２の適応処理部９４における予測演算と、その予測演算に用いられる予測係数の学習について説明する。
【００８７】
いま、予測演算として、例えば、線形１次予測演算を採用することとすると、各画素のRGBの各色の画像信号ｙは、次の線形１次式によって求められることになる。
【００８８】
【数３】
2015154307.tif 000005
【００８９】
式（３）において、ｘｉは、画像信号ｙについての予測タップを構成するログスケール信号のうちのｉ番目の画素のログスケール信号を表し、Ｗｉは、そのｉ番目の画素のログスケール信号と乗算されるi番目の予測係数を表す。また、nは、予測タップを構成するログスケール信号に対応する画素の数を表している。これらのことは、以下の式（４），（５），（７）、および（１０）においても同様である。
【００９０】
また、第ｋサンプルの各画素のRGBの各色の画像信号ｙの予測値をｙｋ’と表すと、予測値ｙｋ’は以下の式（４）で表される。
【００９１】
【数４】
2015154307.tif 000006
【００９２】
式（４）において、ｘｋｉは、予測値ｙｋ’の真値についての予測タップを構成するログスケール信号のうちのi番目の画素のログスケール信号を表す。このことは、後述する式（５），（８）、および（９）においても同様である。
【００９３】
また、予測値ｙｋ’の真値をｙｋと表すと、予測誤差ｅｋは、以下の式（５）で表される。
【００９４】
【数５】
2015154307.tif 000007
【００９５】
式（５）の予測誤差ｅｋを０とする予測係数Ｗｉが、真値ｙｋを予測するのに最適なものとなるが、学習用のサンプルの数がｎより小さい場合は、予測係数Ｗｉは一意に定まらない。
【００９６】
そこで、予測係数Ｗｉが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数Ｗｉは、以下の式（６）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００９７】
【数６】
2015154307.tif 000008
【００９８】
式（６）の自乗誤差の総和Ｅの最小値（極小値）は、以下の式（７）に示すように、総和Ｅを予測係数Ｗｉで偏微分したものを０とするＷｉによって与えられる。
【００９９】
【数７】
2015154307.tif 000009
【０１００】
以下の式（８）および式（９）に示すようにＸｉｊとＹｉを定義すると、式（７）は、以下の式（１０）のように行列式の形で表すことができる。
【０１０１】
【数８】
2015154307.tif 000010
【数９】
2015154307.tif 000011
【数１０】
2015154307.tif 000012
【０１０２】
式（１０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などの一般的な行列解法を用いることにより、予測係数Ｗｉについて解くことができる。
【０１０３】
以上により、クラス番号ごとの最適な予測係数Ｗｉの学習は、式（１０）の正規方程式をクラス番号ごとにたてて解くことにより行うことができる。
【０１０４】
なお、画像信号ｙは、式（３）に示した線形１次式ではなく、２次以上の高次の式によって求められるようにすることも可能である。
【０１０５】
（画像処理装置の処理の説明）
図１１の画像処理装置７０の画像処理は、図７のステップＳ１３のデモザイク処理を除いて、図７の画像処理と同様である。従って、以下では、デモザイク処理についてのみ説明する。
【０１０６】
図１３は、画像処理装置７０のデモザイク部７１のデモザイク処理を説明するフローチャートである。
【０１０７】
ステップＳ７０において、デモザイク部７１のブロック化部９１(図１２)は、デモザイク処理により生成するRGBの画像信号に対応する画像のうちのまだ注目画素に決定されていない画素を、注目画素に決定する。
【０１０８】
ステップＳ７１において、ブロック化部９１は、生成する画像信号の色ごとに、ガンマ補正部３１から供給されるログスケール信号から、注目画素に対応する位置の周辺に位置する複数の画素のログスケール信号をクラスタップとして抽出し、ADRC処理部９２に供給する。
【０１０９】
ステップＳ７２において、ブロック化部９１は、ガンマ補正部３１から供給されるログスケール信号から、注目画素に対応する位置の周辺に位置する複数の画素のログスケール信号を予測タップとして抽出し、適応処理部９４に供給する。
【０１１０】
ステップＳ７３において、ADRC処理部９２は、ブロック化部９１から供給されるクラスタップに対してADRC処理を行って再量子化コードを生成し、クラス分類部９３に供給する。
【０１１１】
ステップＳ７４において、クラス分類部９３は、生成する画像信号の色ごとに、ADRC処理部９２から供給される再量子化コードに基づいて注目画素をクラスに分類する。クラス分類部９３は、分類されたクラスを表すクラス番号を適応処理部９４に供給する。
【０１１２】
ステップＳ７５において、適応処理部９４は、色ごとに、クラス分類部９３から供給されるクラス番号に対応する予測係数を係数メモリ９５から読み出す。ステップＳ７６において、適応処理部９４は、色ごとに、ブロック化部９１から供給される予測タップと係数メモリ９５から読み出された予測係数との予測演算により、注目画素の画像信号を生成する。
【０１１３】
ステップＳ７７において、ブロック化部９１は、デモザイク処理により生成するRGBの画像信号に対応する画像を構成する全ての画素を注目画素にしたかどうかを判定する。ステップＳ７７でまだ全ての画素を注目画素にしていないと判定された場合、処理はステップＳ７０に戻り、全ての画素が注目画素にされるまで、ステップＳ７０乃至Ｓ７７の処理が繰り返される。
【０１１４】
一方、ステップＳ７７で全ての画素を注目画素にしたと判定された場合、適応処理部９４は、全ての画素のRGBの画像信号を図１１の逆ガンマ補正部３３に供給する。そして、デモザイク処理は終了する。
【０１１５】
以上のように、画像処理装置７０では、ガンマ補正部３１が、画像のリニアスケールのロー信号に対してガンマ補正を行い、デモザイク部７１が、その結果得られるログスケール信号に対してクラス分類適応処理によるデモザイク処理を行う。従って、デモザイク処理後のRGBの画像信号を精度良く予測することができる。
【０１１６】
即ち、上述したように、リニアスケールでは、同一の色であっても輝度に応じて色差が異なるので、リニアスケールのロー信号を用いて予測係数の学習や予測演算が行われる場合、学習精度や予測精度が悪い。しかしながら、ログスケールでは、輝度に応じて色差が変化しないため、ログスケールのロー信号を用いて予測係数の学習や予測演算が行われる場合、学習精度や予測精度が良い。その結果、デモザイク処理後のRGBの画像信号における偽色やジッパーノイズなどのアーティファクトの発生を低減することができる。
【０１１７】
（学習装置の構成例）
図１４は、図１２の係数メモリ９５に記憶される予測係数を学習する学習装置１１０の構成例を示すブロック図である。
【０１１８】
図１４の学習装置１１０は、間引き部１１１、ブロック化部１１２、ADRC処理部１１３、クラス分類部１１４、抽出部１１５、および演算部１１６により構成される。
【０１１９】
学習装置１１０には、予測係数の学習に用いられる教師信号として、複数の学習用の画像の理想的なRGBの画像信号が入力される。
【０１２０】
学習装置１１０の間引き部１１１は、ログスケール信号に対応する色配列にしたがって、外部から入力される教師信号から２つの色の画像信号を間引くことにより、ログスケール信号に対応する生徒信号を生成する。間引き部１１１は、生徒信号をブロック化部１１２に供給する。
【０１２１】
ブロック化部１１２は、各教師信号に対応する画像のうちの各画素を、順に、注目画素とする。ブロック化部１１２は、教師信号の色ごとに、間引き部１１１から供給される生徒信号から、図１２のブロック化部９１と同様にクラスタップを抽出し、ADRC処理部１１３に供給する。また、ブロック化部１１２は、生徒信号から、ブロック化部９１と同様に予測タップを抽出し、演算部１１６に供給する。
【０１２２】
ADRC処理部１１３は、ブロック化部１１２から供給されるクラスタップに対して、ADRC処理部９２と同様にADRC処理を行って再量子化コードを生成し、クラス分類部１１４に供給する。
【０１２３】
クラス分類部１１４は、教師信号の色ごとに、ADRC処理部１１３から供給される再量子化コードに基づいて、クラス分類部９３と同様に注目画素をクラスに分類し、その結果得られるクラス番号を演算部１１６に供給する。
【０１２４】
抽出部１１５は、外部から入力される教師信号から注目画素の教師信号を抽出し、演算部１１６に供給する。
【０１２５】
演算部１１６は、抽出部１１５から供給される注目画素の教師信号の色ごとに、その教師信号と、ブロック化部１１２から供給される予測タップとを対象とした足し込みを、クラス分類部１１４から供給される注目画素のクラス番号について行う。
【０１２６】
具体的には、演算部１１６は、注目画素の各色のクラス番号について、予測タップの各画素の生徒信号をｘｋｉおよびｘｋｊ（i,j=1,2,・・・,n）として、式（１０）の左辺の行列におけるｘｋｉ×ｘｋｊを演算し、積算する。
【０１２７】
また、演算部１１６は、注目画素の各色のクラス番号について、その色の注目画素の教師信号をｙｋとし、生徒信号をｘｋｉとして、式（１０）の右辺の行列におけるｘｋｉ×ｙｋを演算し、積算する。
【０１２８】
そして、演算部１１６は、全ての教師信号の全ての画素を注目画素として足し込みを行うことにより生成された、クラス番号ごとの式（１０）の正規方程式を解くことにより、クラス番号ごとに最適な予測係数を求める。このクラス番号ごとの予測係数は、図１２の係数メモリ９５に記憶される。
【０１２９】
(学習処理の説明)
図１５は、図１４の学習装置１１０の学習処理を説明するフローチャートである。この学習処理は、例えば、学習装置１１０に教師信号が入力されたとき、開始される。
【０１３０】
図１５のステップＳ９１において、学習装置１１０の間引き部１１１は、ログスケール信号に対応する色配列にしたがって教師信号から２つの色の画像信号を間引くことにより、ログスケール信号に対応する生徒信号を生成する。間引き部１１１は、生徒信号をブロック化部１１２に供給する。
【０１３１】
ステップＳ９２において、ブロック化部１１２は、教師信号に対応する画像のうちのまだ注目画素に決定していない画素を、注目画素に決定する。ステップＳ９３において、ブロック化部１１２は、教師信号の色ごとに、間引き部１１１から供給される生徒信号からクラスタップを抽出し、ADRC処理部１１３に供給する。ステップＳ９４において、ブロック化部１１２は、生徒信号から予測タップを抽出し、演算部１１６に供給する。
【０１３２】
ステップＳ９５において、ADRC処理部１１３は、ブロック化部１１２から供給されるクラスタップに対してADRC処理を行って再量子化コードを生成し、クラス分類部１１４に供給する。
【０１３３】
ステップＳ９６において、クラス分類部１１４は、教師信号の色ごとに、ADRC処理部１１３から供給される再量子化コードに基づいて注目画素をクラスに分類し、その結果得られるクラス番号を演算部１１６に供給する。
【０１３４】
ステップＳ９７において、抽出部１１５は、外部から入力される教師信号から注目画素の教師信号を抽出し、演算部１１６に供給する。ステップＳ９８において、演算部１１６は、抽出部１１５からの注目画素の教師信号の色ごとに、その教師信号と、ブロック化部１１２からの予測タップとを対象とした足し込みを、クラス分類部１１４から供給される注目画素のクラス番号について行う。
【０１３５】
ステップＳ９９において、ブロック化部１１２は、教師信号に対応する画像のうちの全ての画素を注目画素にしたかどうかを判定する。ステップＳ９９でまだ全ての画素を注目画素にしていないと判定された場合、処理はステップＳ９２に戻り、全ての画素が注目画素にされるまで、ステップＳ９２乃至Ｓ９９の処理が繰り返される。
【０１３６】
一方、ステップＳ９９で全ての画素を注目画素にしたと判定された場合、ステップＳ１００において、間引き部１１１は、外部から新たな教師信号が入力されたかどうかを判定する。ステップＳ１００で新たな教師信号が入力されたと判定された場合、処理はステップＳ９１に戻り、新たな教師信号が入力されなくなるまで、ステップＳ９１乃至Ｓ１００の処理が繰り返される。
【０１３７】
一方、ステップＳ１００で新たな教師信号が入力されていないと判定された場合、ステップＳ１０１において、演算部１１６は、ステップＳ９８の処理により生成された、クラス番号ごとの式（１０）の正規方程式を解く。これにより、演算部１１６は、クラス番号ごとに最適な予測係数を求める。そして、処理は終了する。
【０１３８】
＜第４実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１３９】
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１４０】
コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１４１】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１４２】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１４３】
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４４】
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１４５】
コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１４６】
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４７】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１４８】
さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１４９】
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５０】
例えば、第２実施の形態において、デモザイク部３２の代わりにデモザイク部７１が設けられるようにしてもよい。また、ロー信号に対応する画素に割り当てられる色、および、各画素の画像信号の色は、赤色（R）、緑色（G）、および青色（B）以外の色であってもよい。
【０１５１】
また、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１５２】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５３】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５４】
また、本開示は、以下のような構成もとることができる。
【０１５５】
（１）
画像のリニアスケールのロー信号に対してガンマ補正を行い、ログスケール信号を生成するガンマ補正部と、
前記ガンマ補正部により生成された前記ログスケール信号に対してデモザイク処理を行い、画像信号を生成するデモザイク部と、
前記デモザイク部により生成された前記画像信号に対して逆ガンマ補正を行い、リニアスケール信号を生成する逆ガンマ補正部と
を備える画像処理装置。
（２）
前記デモザイク部は、クラス分類適応処理により前記デモザイク処理を行う
ように構成された
前記（１）に記載の画像処理装置。
（３）
前記デモザイク部は、前記画像信号に対応する教師信号と、前記ログスケール信号に対応する生徒信号とを用いて、各画素の前記教師信号、その画素に対応する画素の前記生徒信号、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、前記画像信号に対応する画像のうちの注目している画素である注目画素に対応する画素の前記ログスケール信号からなる予測タップとの演算により、前記注目画素の前記画像信号を生成する
ように構成された
前記（２）に記載の画像処理装置。
（４）
前記逆ガンマ補正部により生成された前記リニアスケール信号に対して色域変換を行う色域変換部
をさらに備える
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
符号化された前記ロー信号を復号する復号部
をさらに備え、
前記ガンマ補正部は、前記復号部により復号された前記ロー信号に対して前記ガンマ補正を行う
ように構成された
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（６）
画像処理装置が、
画像のリニアスケールのロー信号に対してガンマ補正を行い、ログスケール信号を生成するガンマ補正ステップと、
前記ガンマ補正ステップの処理により生成された前記ログスケール信号に対してデモザイク処理を行い、画像信号を生成するデモザイクステップと、
前記デモザイクステップの処理により生成された前記画像信号に対して逆ガンマ補正を行い、リニアスケール信号を生成する逆ガンマ補正ステップと
を含む画像処理方法。
（７）
コンピュータを、
画像のリニアスケールのロー信号に対してガンマ補正を行い、ログスケール信号を生成するガンマ補正部と、
前記ガンマ補正部により生成された前記ログスケール信号に対してデモザイク処理を行い、画像信号を生成するデモザイク部と、
前記デモザイク部により生成された前記画像信号に対して逆ガンマ補正を行い、リニアスケール信号を生成する逆ガンマ補正部と
して機能させるためのプログラム。
【符号の説明】
【０１５６】
１０  画像処理装置，  １３  色域変換部，  ３１  ガンマ補正部，  ３２  デモザイク部，  ３３  逆ガンマ補正部，  ５０  画像処理システム，  ６２  デコード部，  ７０  画像処理装置，  ７１  デモザイク部
【図１】
2015154307.tif 000013
【図２】
2015154307.tif 000014
【図３】
2015154307.tif 000015
【図４】
2015154307.tif 000016
【図５】
2015154307.tif 000017
【図６】
2015154307.tif 000018
【図７】
2015154307.tif 000019
【図８】
2015154307.tif 000020
【図９】
2015154307.tif 000021
【図１０】
2015154307.tif 000022
【図１１】
2015154307.tif 000023
【図１２】
2015154307.tif 000024
【図１３】
2015154307.tif 000025
【図１４】
2015154307.tif 000026
【図１５】
2015154307.tif 000027
【図１６】
2015154307.tif 000028