(57)【要約】  第１色空間変換部２２３は、信号処理部２２２から供給された第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する。間引き処理部２２６は、画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して第３の色空間の画像信号を出力するプロセッサ部３０に対応するように、画素毎に第２の色空間の各色成分を示す変換後の画像信号の間引き処理を行い、画素毎に第２の色空間の１つの色成分を示す画像信号とする。画素毎に第２の色空間の１つの色成分を示す画像信号を撮像素子２０から出力してプロセッサ部３０で処理したとき画質の低下等を防ぐことができる。
2016185756.tif 000002
【特許請求の範囲】
【請求項１】
第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する色空間変換部と、
画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して前記第３の色空間の画像信号を出力する信号処理部に対応するように、前記第２の色空間の画像信号の間引き処理を行い、画素毎に前記第２の色空間の各色成分を示す画像信号から画素毎に１つの色成分を示す画像信号を生成する間引き処理部と
を備える画像処理装置。
【請求項２】
前記第２の色空間は、解像度情報の最も多い色成分の周波数帯域が前記第３の色空間における解像度情報の最も多い色成分の周波数帯域よりも広い色空間とする
請求項１記載の画像処理装置。
【請求項３】
前記第２の色空間は、前記第２の色空間から前記第３の色空間への色変換におけるノイズ伝達関数値が、前記第１の色空間から前記第３の色空間への色変換よりも少ない色空間とする
請求項１記載の画像処理装置。
【請求項４】
前記第２の色空間は、解像度情報の多い色成分で負の感度を生じない色空間とする
請求項１記載の画像処理装置。
【請求項５】
前記第２の色空間は、解像度情報の多い色成分がＸＹＺ色空間の各色成分に対して所定割合以上の感度を有する色空間とする
請求項１記載の画像処理装置。
【請求項６】
前記色空間変換部は、前記第１の色空間の画像信号を、前記第２の色空間と前記第３の色空間または異なる複数の前記第２の色空間を含む各色空間の画像信号に変換して、
前記間引き処理部は、前記各色空間の画像信号に対して間引き処理を行う
請求項１記載の画像処理装置。
【請求項７】
第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する色空間変換部を備え、
前記第２の色空間は、解像度情報の最も多い色成分の周波数帯域が前記第３の色空間における解像度情報の最も多い色成分の周波数帯域よりも広く、前記第２の色空間から前記第３の色空間への色変換におけるノイズ伝達関数値が、前記第１の色空間から前記第３の色空間への色変換よりも少なく、前記解像度情報の多い色成分で負の感度を生じない色空間とする画像処理装置。
【請求項８】
色空間変換部で、第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換することと、
画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して第３の色空間の画像信号を出力する信号処理部に対応するように、間引き処理部で前記第２の色空間の画像信号の間引き処理を行い、画素毎に前記第２の色空間の各色成分を示す画像信号から１つの色成分を示す画像信号を生成すること
を含む画像処理方法。
【請求項９】
第１の色空間の画像信号を生成するセンサ部と、
前記画像信号の信号処理を行う回路部とを備え、
前記回路部は、
前記第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する色空間変換部と、
画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して前記第３の色空間の画像信号を出力する信号処理部に対応するように、前記第２の色空間の画像信号の間引き処理を行い、画素毎に前記第２の色空間の各色成分を示す画像信号から１つの色成分を示す画像信号を生成する間引き処理部と
を有する撮像素子。
【請求項１０】
前記回路部は、
画素毎に色空間の１つの色成分を示す前記画像信号から画素毎に各色成分を示す画像信号を生成するデモザイク処理部と、
前記デモザイク処理部で生成された画像信号の高画質化処理を行う信号処理部をさらに有し、
前記色空間変換部は、前記信号処理部で高画質化処理が行われた前記第１の色空間の画像信号を第２の色空間の画像信号に変換する
請求項９記載の撮像素子。
【請求項１１】
撮像素子と前記撮像素子から出力された画像信号を用いて信号処理を行うプロセッサ部を有し、
前記撮像素子は、
第１の色空間の画像信号を生成するセンサ部と、
前記第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する色空間変換部と、
前記第２の色空間の画像信号の間引き処理を行い、画素毎に前記第２の色空間の各色成分を示す画像信号から画素毎に１つの色成分を示す画像信号を生成する間引き処理部を備え、
前記プロセッサ部は、
画素毎に色空間の１つの色成分を示す画像信号から画素毎に各色成分を示す画像信号を生成するデモザイク処理部と、
前記デモザイク処理部で生成された画像信号を前記第３の色空間で出力する信号出力部を備える
を備える撮像装置。
【請求項１２】
前記プロセッサ部は、複数の色空間の画像信号からいずれかの画像信号を選択する画像信号選択部をさらに備え、
前記色空間変換部は、前記第１の色空間の画像信号を、前記第２の色空間と前記第３の色空間または異なる複数の前記第２の色空間を含む各色空間の画像信号に変換して、
前記画像信号選択部は、前記デモザイク処理部で生成された色空間毎の画像信号から、前記画像信号に基づく画像の特徴と色空間変換の特性に応じて画像信号を選択して、
前記信号出力部は、前記画像信号選択部で選択された画像信号を出力する
請求項１１記載の撮像装置。
【請求項１３】
前記画像信号選択部は、前記画像の特徴として平坦度情報を用いる
請求項１２記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法および撮像素子と撮像装置に関し、撮像素子からの画像信号の処理で画質の低下等を生じないようにする。
【背景技術】
【０００２】
従来、１つの撮像素子を用いた単板方式の撮像装置では、例えば特許文献１のように、撮像素子の撮像面に例えばベイヤー配列のカラーフィルタを設けて画素毎に１つの色成分の信号を生成することが行われている。また、撮像装置では、デモザイク処理と呼ばれる補間処理によって、撮像素子で生成された撮像信号を画素毎にＲＧＢ等の複数の色成分の画素値を有する画像信号に変換することが行われている。さらに、撮像装置では、変換後の画像信号に対して種々の信号処理を行い、信号処理後の画像信号を所定の色空間の画像信号に変換して出力することが行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２４４４４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮像素子では、例えば高画質化処理部を撮像素子に組み込むことで、小型化や多画素化、高感度化等が行われてもノイズ等の影響を軽減できる。この場合、撮像素子では、撮像信号のデモザイク処理を行い、高画質化処理部はデモザイク処理によって生成された画像信号を用いて処理を行う。また、撮像素子から出力される信号を従来と同様にベイヤー配列等の信号とする場合には、高画質化信号処理部から出力される画像信号に対して間引き処理を行う。ここで、撮像素子から出力される画像信号に対してデモザイク処理や所定の色空間への色空間変換を行う場合、撮像素子からの画像信号の色空間によっては、デモザイク処理や色空間変換によって、画質や色解像度の低下を生じるおそれがある。【０００５】
そこで、この技術では、撮像素子から出力された画像信号の処理で画質の低下等を防ぐことができる画像処理装置と画像処理方法および撮像素子と撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この技術の第１の側面は、
第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する色空間変換部と、
画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して前記第３の色空間の画像信号を出力する信号処理部に対応するように、前記第２の色空間の画像信号の間引き処理を行い、画素毎に前記第２の色空間の各色成分を示す画像信号から画素毎に１つの色成分を示す画像信号を生成する間引き処理部と
を備える画像処理装置にある。【０００７】
この技術において、色空間変換部は、第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する。第２の色空間は、例えば解像度情報の最も多い色成分の周波数帯域が第３の色空間における解像度情報の最も多い色成分の周波数帯域よりも広い色空間、または、第２の色空間から第３の色空間への色変換におけるノイズ伝達関数値が、第１の色空間から第３の色空間への色変換よりも少ない色空間、または解像度情報の多い色成分で負の感度を生じない色空間、解像度情報の多い色成分がＸＹＺ色空間の各色成分に対して所定割合以上の感度を有する色空間とする。間引き処理部は、このような第２の色空間の画像信号に対して間引き処理を行い、画素毎に第２の色空間の１つの色成分を示す画像信号を生成する。なお、色空間変換部は、第１の色空間の画像信号を、第２の色空間と第３の色空間または異なる複数の第２の色空間を含む各色空間の画像信号に変換してもよく、この場合、間引き処理部は、各色空間の画像信号に対して間引き処理を行う。【０００８】
この技術の第２の側面は、
第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する色空間変換部を備え、
前記第２の色空間は、解像度情報の最も多い色成分の周波数帯域が前記第３の色空間における解像度情報の最も多い色成分の周波数帯域よりも広く、前記第２の色空間から前記第３の色空間への色変換におけるノイズ伝達関数値が、前記第１の色空間から前記第３の色空間への色変換よりも少なく、前記解像度情報の多い色成分で負の感度を生じない色空間とする画像処理装置にある。【０００９】
この技術の第３の側面は、
色空間変換部で、第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換することと、
画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して第３の色空間の画像信号を出力する信号処理部に対応するように、間引き処理部で前記第２の色空間の画像信号の間引き処理を行い、画素毎に前記第２の色空間の各色成分を示す画像信号から１つの色成分を示す画像信号を生成すること
を含む画像処理方法にある。【００１０】
この技術の第４の側面は、
第１の色空間の画像信号を生成するセンサ部と、
前記画像信号の信号処理を行う回路部とを備え、
前記回路部は、
前記第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する色空間変換部と、
画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して前記第３の色空間の画像信号を出力する信号処理部に対応するように、前記第２の色空間の画像信号の間引き処理を行い、画素毎に前記第２の色空間の各色成分を示す画像信号から１つの色成分を示す画像信号を生成する間引き処理部と
を有する撮像素子にある。【００１１】
この技術の第５の側面は、
撮像素子と前記撮像素子から出力された画像信号を用いて信号処理を行うプロセッサ部を有し、
前記撮像素子は、
第１の色空間の画像信号を生成するセンサ部と、
前記第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する色空間変換部と、
前記第２の色空間の画像信号の間引き処理を行い、画素毎に前記第２の色空間の各色成分を示す画像信号から画素毎に１つの色成分を示す画像信号を生成する間引き処理部を備え、
前記プロセッサ部は、
画素毎に色空間の１つの色成分を示す画像信号から画素毎に各色成分を示す画像信号を生成するデモザイク処理部と、
前記デモザイク処理部で生成された画像信号を前記第３の色空間で出力する信号出力部を備える
を備える撮像装置にある。
【発明の効果】
【００１２】
この技術によれば、第１の色空間の画像信号は、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換される。また、画素毎に第２の色空間の各色成分を示す変換後の画像信号は、画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して第３の色空間の画像信号を出力する信号処理部に対応するように間引き処理が行われる。この間引き処理によって、第２の色空間の各色成分を示す変換後の画像信号は、画素毎に第２の色空間の１つの色成分を示す画像信号とされる。このため、この画素毎に第２の色空間の１つの色成分を示す画像信号を撮像素子から出力して信号処理部で処理することにより画質の低下等を防ぐことができる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１３】
【図１】第１の実施の形態の構成を例示した図である。
【図２】カラーフィルタ（ＲＧＢ色空間）の分光特性を示す図である。
【図３】ｓＲＧＢ分光特性を示す図である。
【図４】ＸＹＺ分光特性を示す図である。
【図５】第２の実施の形態の構成を例示した図である。
【図６】ＣＳ分光特性を示す図である。
【図７】ｓＲＧＢ色空間への色空間変換を行う場合のリニアマトリクス係数とノイズ伝達関数値を示す図である。
【図８】出力色空間を用いて接続する場合の構成を示した図である。
【図９】画像処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．他の実施の形態
【００１５】
＜１．第１の実施の形態＞
この技術の画像処理装置は、第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する。例えば、画像処理装置では、所定の色配列のカラーフィルタを用いた撮像素子によって生成された第１の色空間の画像信号を画素毎に第２の色空間の各色成分を示す画像信号に変換する。
【００１６】
また、画像処理装置は、画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して前記第３の色空間の画像信号を出力する信号処理部に対応するように、第２の色空間の画像信号の間引き処理を行う。この間引き処理によって、画像処理装置は、画素毎に第２の色空間の各色成分を示す画像信号から画素毎に１つの色成分を示す画像信号を生成する。例えば、画像処理装置では、撮像素子に接続されるプロセッサ部で画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して第３の色空間の画像信号を出力可能に、画素毎に第２の色空間の各色成分を示す画像信号の間引き処理を行う。画像処理装置は、間引き処理によって画素毎に第２の色空間の１つの色成分を示す画像信号を生成して撮像素子から出力することで、プロセッサ部から出力する第３の画像信号の画質や色解像度の低下等を防ぐ。
【００１７】
第１の実施の形態では、出力した画像信号を用いてデモザイク処理が行われても画質や色解像度の低下を防ぐことができるように、第２の色空間として、解像度情報の最も多い色成分の周波数帯域が広い色空間を用いる場合について説明する。
【００１８】
図１は、第１の実施の形態の構成を例示している。撮像装置１０は、撮像素子２０とプロセッサ部３０を有している。撮像素子２０は、センサ部２１と回路部２２ａを有しており、回路部２２ａには、デモザイク処理部２２１、信号処理部２２２、第１色空間変換部２２３、間引き処理部２２６が設けられている。プロセッサ部３０は、デモザイク処理部３１と出力色空間変換部３２等を有している。
【００１９】
撮像素子２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成されており、センサ部２１の光入射面には例えば赤色Ｒと緑色Ｇと青色Ｂの画素をベイヤー配列とするカラーフィルタが設けられている。センサ部２１は、画素毎に赤色成分と緑色成分と青色成分のいずれか１つの色成分を示すＲＧＢ色空間の画素信号を生成して回路部２２ａへ出力する。図２は、カラーフィルタ（ＲＧＢ色空間）の分光特性を示している。
【００２０】
回路部２２ａのデモザイク処理部２２１は、画素信号を用いてデモザイク処理を行う。デモザイク処理部２２１は、デモザイク処理として例えば局所領域において解像度情報の最も多い色成分の画素である緑色画素に対して赤色画素および青色画素に相関があるとの推定に基づき色相関補間処理を行う。デモザイク処理部２２１は、デモザイク処理を行い画素毎に赤色成分と緑色成分と青色成分を示した画像信号を生成して信号処理部２２２へ出力する。
【００２１】
信号処理部２２２は、デモザイク処理部２２１から供給された画像信号に対して例えば高画質化処理を行う。信号処理部２２２は、高画質化処理としてノイズ除去処理や欠陥画素補正処理等を行ってもよく、これらの処理に限らず他の高画質化処理例えば階調補正処理等を行ってもよい。なお、信号処理部２２２で行われる処理は、高画質化処理に限らず他の処理等を行ってもよい。信号処理部２２２は、処理後の画像信号を第１色空間変換部２２３へ出力する。
【００２２】
第１色空間変換部２２３は、信号処理部２２２から供給される第１の色空間の画像信号を、プロセッサ部３０から出力する第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する。例えば、第１色空間変換部２２３は、第１の色空間の画像信号を、プロセッサ部３０でデモザイク処理が行われても画質や色解像度の低下を防ぐことができる第２の色空間の画像信号に変換して間引き処理部２２６へ出力する。
【００２３】
間引き処理部２２６は、色空間変換後の画像信号について間引き処理を行い、回路部２２ａが設けられていない撮像素子と用いた場合と同様に、画素毎に１つの色成分を示す画像信号を生成してプロセッサ部３０へ出力する。
【００２４】
プロセッサ部３０のデモザイク処理部３１は、撮像素子２０から出力された第２の色空間の画像信号を用いてデモザイク処理を行う。デモザイク処理部３１は、デモザイク処理として例えば局所領域において所定の色成分と他の色成分との色相関があるとの推定に基づく色相関補間処理を行う。デモザイク処理部３１は、色相関補間処理によって、画素毎に１つの色成分を示した画像信号から画素毎に各色成分を示した画像信号を生成して出力色空間変換部３２へ出力する。
【００２５】
出力色空間変換部３２は、デモザイク処理部３１から供給された画像信号に対して色空間変換を行い、画像信号を出力する際の所定の第３の色空間の画像信号、例えはｓＲＧＢ色空間の画像信号に変換して出力する。出力色空間変換部３２から出力された画像信号は、例えばカメラ信号処理部に供給してガンマ補正やホワイトバランス調整等の現像処理を行ってもよく、外部機器や記録媒体等に出力してもよい。なお、図３は、ｓＲＧＢ分光特性（等色関数に相当）を示している。
【００２６】
このように構成された撮像装置において、プロセッサ部３０のデモザイク処理部３１で例えば色相関補間方式を用いてデモザイク処理を行うと、撮像素子２０からの画像信号が第１の色空間であるＲＧＢ色空間である場合、赤色成分の周波数で緑色成分が少ないことから赤色成分の解像度が低下する。このため、回路部２２ａの信号処理部２２２で高画質化処理を行っても、デモザイク処理部３１で生成された画像信号に基づく画像は画質が劣化した画像となってしまう。したがって、第１色空間変換部２２３は、信号処理部２２２から供給されるＲＧＢ色空間の画像信号を、プロセッサ部３０から出力するｓＲＧＢ色空間の画像信号への変換に適した第２の色空間の画像信号に変換する。
【００２７】
ここで、色相関補間方式を用いてデモザイク処理を行う場合、上述のように解像度情報の最も多い色（例えば緑色）の成分が少ないと、他の色（例えば赤色）の解像度が低下する。したがって、第１色空間変換部２２３は、解像度情報が最も多い色成分の帯域が広い信号特性を有する色空間、例えばＸＹＺ色空間を第２の色空間として、ＲＧＢ色空間の画像信号をＸＹＺ色空間の画像信号に変換する。
【００２８】
図４はＸＹＺ分光特性（等色関数）を示しており、刺激値Ｙ（明るさと緑に関する量）の帯域が広く、例えば刺激値Ｘ（赤に関する量）の周波数で刺激値Ｙの成分が多く含まれている。このため、プロセッサ部３０のデモザイク処理部３１で撮像素子２０から出力された画像信号のデモザイク処理を行った場合、刺激値Ｘ（赤に関する量）の解像度の低下を防止できる。
【００２９】
ところで、プロセッサ部３０のデモザイク処理部３１では、一般的に負の信号を想定していないため、撮像素子２０から出力される画像信号に負の感度が含まれると画質や色解像度の低下を生じるおそれがある。撮像素子２０から出力される画像信号を例えばｓＲＧＢ色空間とした場合、ｓＲＧＢ色空間では図３に示すように負の信号を生じる場合がある。このため、例えば緑色に対する色相関を用いてデモザイク処理を行った場合、緑色成分が「０」の付近では緑色に対する赤色や青色の色比の不連続性が生じて画質の劣化を生じるおそれがある。また、緑色成分が「０」の付近では緑色成分と赤色成分（青色成分）との相関が低いため、色解像度の低下を生じるおそれがある。しかし、図４に示すＸＹＺ色空間では負の信号を生じない。したがって、第１色空間変換部２２３は、ＲＧＢ色空間の画像信号をＸＹＺ色空間の画像信号に変換することで、プロセッサ部３０でデモザイク処理が行われても画質や色解像度の低下を防止できる。
【００３０】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。色空間の変換はリニアマトリクス処理によって行われるが、ノイズや偽色はリニアマトリクス処理によって増幅されてしまうことが知られている。そこで、第２の実施の形態では、プロセッサ部３０で所定の色空間の画像信号への色空間変換を行う場合にノイズや偽色を抑えることができるように、撮像素子２０で画像信号の色空間変換を行う場合について説明する。
【００３１】
図５は、第２の実施の形態の構成を例示している。撮像装置１０は、撮像素子２０とプロセッサ部３０を有している。撮像素子２０は、センサ部２１と回路部２２ｂを有しており、回路部２２ｂには、デモザイク処理部２２１、信号処理部２２２、第２色空間変換部２２４、間引き処理部２２６が設けられている。プロセッサ部３０は、デモザイク処理部３１と出力色空間変換部３２を有している。
【００３２】
撮像素子２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成されており、センサ部２１の光入射面には例えば赤色Ｒと緑色Ｇと青色Ｂの画素をベイヤー配列とするカラーフィルタが設けられている。センサ部２１は、画素毎に赤色成分と緑色成分と青色成分のいずれか１つの色成分を示す画素信号を生成して回路部２２ｂへ出力する。
【００３３】
回路部２２ｂのデモザイク処理部２２１は、画素信号を用いてデモザイク処理を行う。デモザイク処理部２２１は、デモザイク処理を行い画素毎に赤色成分と緑色成分と青色成分を示した画像信号を生成して信号処理部２２２へ出力する。
【００３４】
信号処理部２２２は、上述のようにデモザイク処理部２２１から供給された画像信号に対して高画質化処理等を行い、処理後の画像信号を第２色空間変換部２２４へ出力する。
【００３５】
第２色空間変換部２２４は、信号処理部２２２から供給される第１の色空間の画像信号を、プロセッサ部３０から出力する第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換して間引き処理部２２６へ出力する。また、第２色空間変換部２２４は、例えば、第１の色空間の画像信号を第２の色空間の信号に変換することで、プロセッサ部３０でデモザイク処理が行われても画質や色解像度の低下を防ぐことができるようにする。さらに、第２色空間変換部２２４は、第１の色空間の画像信号を第２の色空間の信号に変換することで、プロセッサ部３０で第３の色空間への変換を行うときにノイズや偽色を抑えることができるようにする。
【００３６】
間引き処理部２２６は、色空間変換後の画像信号について間引き処理を行い、回路部２２ｂが設けられていない撮像素子と用いた場合と同様に、画素毎に１つの色成分を示す画像信号を生成してプロセッサ部３０へ出力する。
【００３７】
プロセッサ部３０のデモザイク処理部３１は、上述のように撮像素子２０から出力された色空間変換後の画像信号を用いてデモザイク処理を行う。デモザイク処理部３１は、デモザイク処理を行い、画素毎に各色成分を示した画像信号を生成して出力色空間変換部３２へ出力する。
【００３８】
出力色空間変換部３２は、デモザイク処理部３１から供給された画像信号に対して色空間変換を行い、画像信号を出力する際の所定の第３の色空間の画像信号、例えはｓＲＧＢ色空間の画像信号に変換して出力する。出力色空間変換部３２から出力された画像信号は、例えばカメラ信号処理部に供給して現像処理を行ってもよく、外部機器や記録媒体等に出力してもよい。
【００３９】
次に、第２色空間変換部２２４で用いる色空間の最適化について説明する。色空間の最適化では例えば出力色空間を色空間変換前の最適色空間に変換する場合のリニアマトリクス係数を式（１）に示すようにリニアマトリクス係数ＬＭ（Ｐ）とする。また、最適色空間を出力色空間に変換する場合のリニアマトリクス係数を式（２）に示すようにリニアマトリクス係数ＬＭ（Ｑ）とする。なお、以下の説明では例えば出力色空間をｓＲＧＢ色空間、最適色空間をＣＳ色空間とする。
【００４０】
【数１】
2016185756.tif 000003
【００４１】
ｓＲＧＢ色空間をＣＳ色空間に変換する場合、式（３）に基づき、ｓＲＧＢ色空間ある周波数λでの画素（ｒλ，ｇλ，ｂλ）をＣＳ色空間の画素（ｒ’λ，ｇ’λ，ｂ’λ）に変換できる。
【００４２】
【数２】
2016185756.tif 000004
【００４３】
ここで、ＣＳ色空間の成分ｒ’λは、式（４）に基づいて算出できる。また、このときのノイズが成分ｒλ，ｇλ，ｂλと相関のないノイズとすると、成分ｒ’λの分散Ｖａｒ（ｒ’λ）は、式（５）のように定義できる。また、式（５）において、成分ｒλ，ｇλ，ｂλのノイズレベルが等しく式（６）に示す関係が成立すると仮定すると、式（５）は式（７）となる。すなわち、成分ｒ’λのノイズレベルを示す分散Ｖａｒ（ｒ’λ）は、成分ｒλのノイズレベルを示す分散Ｖａｒ（ｒλ）に対して係数「ａ１２＋ａ２２＋ａ３２」を乗算した値となる。したがって、リニアマトリクス係数ＬＭ（Ｐ）を用いた場合の色空間変換において、係数「ａ１２＋ａ２２＋ａ３２」は、成分ｒλから成分ｒ’λへのノイズ伝達関数となる。
ｒ’λ＝ａ１・ｒλ＋ａ２・ｇλ＋ａ３・ｂλ              ・・・（４）
Ｖａｒ（ｒ’λ）＝   ａ１２＊Ｖａｒ（ｒλ）
＋ａ２２＊Ｖａｒ（ｇλ）
＋ａ３２＊Ｖａｒ（ｂλ）            ・・・（５）
Ｖａｒ（ｒλ）＝Ｖａｒ（ｇλ）＝Ｖａｒ（ｂλ）          ・・・（６）
Ｖａｒ（ｒ’λ）＝（ａ１２＋ａ２２＋ａ３２）＊Ｖａｒ（ｒλ）・・・（７）
【００４４】
また、同様にして、成分ｇλから成分ｇ’λへのノイズ伝達関数、成分ｂλから成分ｂ’λへのノイズ伝達関数を求めることができる。さらに、リニアマトリクス係数ＬＭ（Ｑ）を用いた場合の色空間変換における成分ｒ’λから成分ｒλへのノイズ伝達関数、成分ｇ’λから成分ｇλへのノイズ伝達関数、成分ｂ’λから成分ｂλへのノイズ伝達関数も同様にして求めることができる。
【００４５】
色空間の最適化では、ノイズ伝達関数値が可能な限り小さくなるようにリニアマトリクス係数を決定する。例えば、式（８）に基づき、リニアマトリクス係数ＬＭ（Ｐ）によるノイズ伝達関数値とリニアマトリクス係数ＬＭ（Ｑ）によるノイズ伝達関数値の和が最小となる係数を求める。
ＭＩＮ（ａ１２＋ａ２２＋ａ３２＋ｂ１２＋ｂ２２＋ｂ３２
＋ｃ１２＋ｃ２２＋ｃ３２）＋（ｄ１２＋ｄ２２＋ｄ３２
＋ｅ１２＋ｅ２２＋ｅ３２＋ｆ１２＋ｆ２２＋ｆ３２）×Ｊ・・・（８）
【００４６】
なお、ｓＲＧＢ色空間をＣＳ色空間に変換する場合のリニアマトリクス係数ＬＭ（Ｐ）によるノイズ伝達関数は、最適化した色空間を算出するための安定化項である。また、ＣＳ色空間をｓＲＧＢ色空間に変換する場合のリニアマトリクス係数ＬＭ（Ｑ）によるノイズ伝達関数が目的関数である。係数Ｊは、安定化のための係数であり例えばＪ＝１とする。
【００４７】
また、色空間の最適化では画質や色解像度の低下およびノイズや偽色を防ぐことができるように制約条件を設ける。
【００４８】
制約条件１）解像度情報の最も多い色成分は負の感度を持たないようにする。上述のように色相関補間方式を用いてデモザイク処理を行う場合、解像度情報の最も多い色成分が「０」の付近では他の色との色比の不連続性が生じて画質の劣化を生じるおそれがある。したがって、ＣＳ色空間では、例えば「ｍｉｎ（ｇ’λ）＞０」として、緑色に対する色相関を利用したデモザイク処理が行われても画質の劣化を生じないようにする。
【００４９】
制約条件２）解像度情報の最も多い色成分が所定量以上の感度を持つようにする。上述のように色相関補間方式を用いてデモザイク処理を行う場合、解像度情報の最も多い色成分の帯域が狭いと色解像度が低下する。したがって、例えば負の値を生じないＸＹＺ色空間の色成分を用いて、ＣＳ色空間では「ｒ’λ＞ＭＡＸ（Ｘλ，Ｙλ、Ｚλ）×Ｋ」として、感度を持つ量を係数Ｋで調整する。例えば係数Ｋを「０．２」とすることで、ＸＹＺ色空間の各色成分の２０パーセント以上の感度を持つようにする。
【００５０】
制約条件３）リニアマトリクス係数の対角成分を最大として重解を防止する。すなわち、「ｍａｘ（ｄ２，ｄ３≦ｄ１」かつ「ｍａｘ（ｅ１，ｅ３≦ｅ２」かつ「ｍａｘ（ｆ１，ｆ２≦ｆ３」となるリニアマトリクス係数ＬＭ（Ｑ）を決定する。
【００５１】
制約条件４）リニアマトリクス係数は単位行列とする。すなわち、「ＬＭ（Ｐ）ＬＭ（Ｑ）＝ＬＭ（Ｑ）ＬＭ（Ｐ）＝Ａ」として、ｓＲＧＢ色空間とＣＳ色空間との間で双方向の変換を可能とする。
【００５２】
制約条件５）リニアマトリクス係数の総和を「１」、色空間変換における利得を「１」とする。すなわち、信号の増幅または圧縮を生ずることなく色空間を変換する場合、式（９）を満たすようにリニアマトリクス係数ＬＭ（Ｑ）を決定する。
【００５３】
【数３】
2016185756.tif 000005
【００５４】
色空間の最適化では、以上のような制約条件を満たして、ノイズ伝達関数値が最も小さくなるリニアマトリクス係数を算出する。なお、リニアマトリクス係数の算出は、一般的に用いられている最小化手法を用いればよい。また、色空間最適化の制約条件は一例であり、インタフェース条件等に応じて制約条件の追加や削除、変更等を行ってもよい。
【００５５】
図６はＣＳ分光特性（等色関数）を示している。また、図７は、ｓＲＧＢ色空間への色空間変換を行う場合のリニアマトリクス係数とノイズ伝達関数値を示している。図７の（ａ）は、ＣＳ色空間からｓＲＧＢ色空間への色空間変換を行う場合、図７の（ｂ）は、ＸＹＺ色空間からｓＲＧＢ色空間への色空間変換を行う場合を示している。なお、図７の（ｃ）は、ＲＧＢ色空間からｓＲＧＢ色空間への色空間変換を行う場合である。
【００５６】
第２色空間変換部２２４は、信号処理部２２２から供給された画像信号を、色空間の最適化によって設定したＣＳ色空間の画像信号に変換して間引き処理部２２６へ出力する。
【００５７】
このようなＣＳ色空間では、図６に示すように、緑色に関する成分の帯域が広く、赤色や青色の周波数で緑色に関する成分が多く含まれている。このため、プロセッサ部３０のデモザイク処理部３１で撮像素子２０から出力された画像信号のデモザイク処理では、赤色や青色の解像度の低下を防止できる。また、緑色に関する成分は負の信号にならないことから色解像度の低下を防止できる。さらに、図７から明らかなようにＣＳ色空間を用いればノイズ伝達関数値が最も小さい。したがって、プロセッサ部３０の出力色空間変換部３２でＣＳ色空間の画像信号をｓＲＧＢ色空間の画像信号に変換する色空間変換では、ノイズや偽色を抑えることができる。
【００５８】
なお、ＣＳ色空間では、赤色と青色に関して負の信号を生じる場合があり、プロセッサ部の入力が負の信号に対応していない場合は、所定のオフセット量を付加することで対応できる。
【００５９】
＜３．他の実施の形態＞
ところで、上述の実施の形態は、画面全体が同一色空間である場合を説明したが、接続に用いる色空間は画素毎または複数画素からなる画像領域毎に適応的に切り換えてもよい。また、撮像素子２０とプロセッサ部３０の接続に用いる色空間は、上述の第１の実施の形態の色空間や第２の実施の形態の色空間に限らず例えば出力色空間を用いてもよい。
【００６０】
図８は、出力色空間を用いて接続する場合の構成を示した図である。撮像装置１０は、撮像素子２０とプロセッサ部３０を有している。撮像素子２０は、センサ部２１と回路部２２ｃを有しており、回路部２２ｃには、デモザイク処理部２２１、信号処理部２２２、第３色空間変換部２２５、間引き処理部２２６が設けられている。プロセッサ部３０は、デモザイク処理部３１を有している。
【００６１】
撮像素子２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成されており、センサ部２１の光入射面には例えば赤色Ｒと緑色Ｇと青色Ｂの画素をベイヤー配列とするカラーフィルタが設けられている。センサ部２１は、画素毎に赤色成分と緑色成分と青色成分のいずれか１つの色成分を示す画素信号を生成して回路部２２ｃのデモザイク処理部２２１へ出力する。
【００６２】
デモザイク処理部２２１は、画素信号を用いてデモザイク処理を行う。デモザイク処理部２２１は、デモザイク処理を行い画素毎に赤色成分と緑色成分と青色成分を示した画像信号を生成して信号処理部２２２へ出力する。
【００６３】
信号処理部２２２は、上述のようにデモザイク処理部２２１から供給された画像信号に対して高画質化処理等を行い、処理後の画像信号を第３色空間変換部２２５へ出力する。
【００６４】
第３色空間変換部２２５は、信号処理部２２２から供給される画像信号を、プロセッサ部３０から出力する画像信号の色空間に変換する。
【００６５】
間引き処理部２２６は、第３色空間変換部２２５から供給された画像信号について間引き処理を行い、回路部２２ｃが設けられていない撮像素子と用いた場合と同様に、画素毎に１つの色成分を示す画像信号を生成してプロセッサ部３０へ出力する。
【００６６】
プロセッサ部３０のデモザイク処理部３１は、上述のように撮像素子２０から出力された色空間変換後の画像信号を用いてデモザイク処理を行う。デモザイク処理部３１は、デモザイク処理を行い、画素毎に各色成分を示した画像信号を生成する。なお、デモザイク処理部３１から出力された画像信号は、例えばカメラ信号処理部に供給して現像処理を行ってもよく、外部機器や記録媒体等に出力してもよい。
【００６７】
ここで、例えばセンサ部２１の色空間をＲＧＢ色空間、出力色空間をｓＲＧＢ色空間とした場合、図３から明らかなように  ｓＲＧＢ色空間では緑成分で負の信号を生じる場合があり、プロセッサ部３０で例えば緑色に対する色相関を用いてデモザイク処理を行った場合、緑色成分が「０」の付近では色解像度の低下等を生じるおそれがある。また、図７から明らかなようにＲＧＢ色空間からｓＲＧＢ色空間への色空間変換におけるノイズ伝達関数値は小さく、色空間変換によってノイズや偽色が増幅されてしまうことを抑えることができる。したがって、負の信号を生じないような画像領域に対してｓＲＧＢ色空間で接続を行えば、プロセッサ部３０のデモザイク処理部３１から出力される画像はノイズや偽色が少なく、色解像度の劣化等を目立たなくできる。
【００６８】
そこで、接続に用いる色空間を画素毎または複数画素からなる画像領域毎に適応的に切り換える場合、撮像装置１０は、画像の特徴と色空間変換の特性に応じて接続に用いる色空間を選択する。例えばエッジ部分やディテール部分では、解像度等が低くなると画質の低下が顕著となる。したがって、エッジ部分やディテール部分等の領域では、解像度情報の最も多い色成分の帯域が広い特性を有する色空間を選択する。また、平坦部ではノイズが目立ちやすいことから、平坦部の領域では、ノイズ伝達関数値の小さい色空間を選択して、ノイズの増加を抑えるようにする。また、選択対象の色空間で解像度情報の最も多い色成分の信号が負の信号となり色解像度の低下等を生じるおそれがある場合には、負の信号となる色の領域では、他の色空間を選択する。
【００６９】
平坦部やエッジ部等の領域判別は、画像信号から算出した特徴量に基づいて判別する。例えば、平坦部では画素間の信号レベル差が少ない。したがって、画像信号に基づく画像の平坦度情報、具体的には注目画素の位置を基準とした所定範囲におけるダイナミックレンジを特徴量とする。ここで、ダイナミックレンジが第１の閾値よりも小さい場合は平坦部、ダイナミックレンジが第２の閾値（第１の閾値≦第２の閾値）以上の場合はエッジ部と判別する。なお、特徴量は、一次微分系の特徴量（例えば隣接画素絶対差分値やその和）、周波数成分に基づく特徴量等を用いてもよい。また、１つの特徴量を用いる場合に限らず複数の特徴量を組み合わせて利用して、平坦部やエッジ部等の領域判別を行うようにしてもよい。また、負の信号となる色の領域の判別は、例えばフィルタ等を用いて負の信号となる色領域の抽出等を行えばよい。
【００７０】
色空間を適応的に切り換える場合、撮像素子２０の回路部は、信号処理部から出力された画像信号の色空間変換を行い、選択可能な色空間例えばＸＹＺ色空間とＣＳ色空間とｓＲＧＢ色空間、またはこれらのいずれか２つの色空間の画像信号を生成する。さらに、回路部は、色空間毎の画像信号に対して間引き処理を色空間毎に行ってプロセッサ部３０に出力する。プロセッサ部３０は選択可能な色空間毎にデモザイク処理を行う。また、プロセッサ部３０は、画像の特徴や色空間変換の特性に応じて最適な色空間を判別して、判別した色空間のデモザイク処理後の画像信号を選択する。さらに、プロセッサ部３０は、選択した画像信号の色空間が出力色空間でない場合、選択した画像信号の色空間を出力色空間に変換する。
【００７１】
このように、画像の特徴と色空間変換の特性に応じて画素毎または画像領域毎に色空間を選択すれば、画質や色解像度の低下およびノイズや偽色の少ない出力色空間の画像信号を生成できる。
【００７２】
また、上述の実施の形態では、撮像素子２０のセンサ部２１でＲＧＢ色空間の画素信号を生成する場合について説明したが、色空間はＲＧＢ色空間に限らず他の色空間であってもよい。例えば、赤色と緑色と白色の画素からなるカラーフィルタを用いて、ＷＲＧ色空間の画素信号を生成してもよい。また、出力色空間もｓＲＧＢ色空間に限らず他の色空間であってもよい。
【００７３】
なお、表１は、接続色空間と上述の最適な色空間の条件との対応関係を一覧として示しており、接続色空間は撮像素子２０からプロセッサ部３０に供給される画像信号の色空間である。ここで、○印は条件を満たしており、×印は条件を満たさないことを示している。また、△印は、中間の状態である。また、○−印は○印に比べて条件を満たしていないことを示している。
【００７４】
【表１】
2016185756.tif 000006
【００７５】
表２は、接続色空間毎の性能評価を一覧として示している。ここで、○印は良好な性能を満たしており、×印は所望の性能が得られていないことを示している。また、△印は、中間の状態である。また、○−印は○印に比べて性能が低いことを示している。
【００７６】
【表２】
2016185756.tif 000007
【００７７】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。また、画像処理装置は、撮像装置と別個に設けられている構成であってもよい。例えば撮像素子のセンサ部で生成された画像信号を記録媒体に記録して、この記録媒体に記録されている画像信号の信号処理を行う信号処理システムに適用することも可能である。
【００７８】
図９は、画像処理装置の動作を示すフローチャートである。ステップＳＴ１で画像処理装置は第１の色空間の画像信号を取得する。画像処理装置は、センサ部または記憶装置等から第１の色空間の画像信号を取得してステップＳＴ２に進む。
【００７９】
ステップＳＴ２で画像処理装置は色空間変換を行う。画像処理装置は、第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換してステップＳＴ３に進む。
【００８０】
ステップＳＴ３で画像処理装置は、間引き処理を行う。画像処理装置は、画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して第３の色空間の画像信号を出力する信号処理部に対応するように、第２の色空間の画像信号の間引き処理を行う。画像処理装置は、間引き処理を行うことで、画素毎に第２の色空間の各色成分を示す画像信号から画素毎に１つの色成分を示す画像信号を生成する。
【００８１】
ソフトウェアによる処理を実行する場合は、図９の処理を記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００８２】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【００８３】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００８４】
なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
【００８５】
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１）  第１の色空間の画像信号を、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換する色空間変換部と、
画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して前記第３の色空間の画像信号を出力する信号処理部に対応するように、前記第２の色空間の画像信号の間引き処理を行い、画素毎に前記第２の色空間の各色成分を示す画像信号から画素毎に１つの色成分を示す画像信号を生成する間引き処理部と
を備える画像処理装置。
（２）  前記第２の色空間は、解像度情報の最も多い色成分の周波数帯域が前記第３の色空間における解像度情報の最も多い色成分の周波数帯域よりも広い色空間とする（１）に記載の画像処理装置。
（３）  前記第２の色空間は、前記第２の色空間から前記第３の色空間への色変換におけるノイズ伝達関数値が、前記第１の色空間から前記第３の色空間への色変換よりも少ない色空間とする（１）または（２）に記載の画像処理装置。
（４）  前記第２の色空間は、解像度情報の多い色成分で負の感度を生じない色空間とする（１）乃至（３）のいずれかに記載の画像処理装置。
（５）  前記第２の色空間は、解像度情報の多い色成分がＸＹＺ色空間の各色成分に対して所定割合以上の感度を有する色空間とする（１）乃至（４）のいずれかに記載の画像処理装置。
（６）  前記色空間変換部は、前記第１の色空間の画像信号を、前記第２の色空間と前記第３の色空間または異なる複数の前記第２の色空間を含む各色空間の画像信号に変換して、
前記間引き処理部は、前記各色空間の画像信号に対して間引き処理を行う（１）乃至（５）のいずれかに記載の画像処理装置。
【産業上の利用可能性】
【００８６】
この技術の画像処理装置と画像処理方法および撮像素子と撮像装置では、第１の色空間の画像信号は、所定の第３の色空間の画像信号への変換に適した第２の色空間の画像信号に変換される。また、画素毎に第２の色空間の各色成分を示す変換後の画像信号は、画素毎に色空間の１つの色成分を示す画像信号から各色成分を示す画像信号を生成して第３の色空間の画像信号を出力する信号処理部に対応するように間引き処理が行われて、画素毎に第２の色空間の１つの色成分を示す画像信号とされる。このため、この画素毎に第２の色空間の１つの色成分を示す画像信号を撮像素子から出力して信号処理部で処理することにより画質の低下等を防ぐことができる。したがって、撮像機能を有する機器や撮像画の処理等を行う機器に適している。
【符号の説明】
【００８７】
１０・・・撮像装置
２０・・・撮像素子
２１・・・センサ部
２２ａ，２２ｂ，２２ｃ・・・回路部
３０・・・プロセッサ部
３１，２２１・・・デモザイク処理部
３２・・・出力色空間変換部
２２２・・・信号処理部
２２３・・・第１色空間変換部
２２４・・・第２色空間変換部
２２５・・・第３色空間変換部
２２６・・・間引き処理部
【図１】
2016185756.tif 000008
【図２】
2016185756.tif 000009
【図３】
2016185756.tif 000010
【図４】
2016185756.tif 000011
【図５】
2016185756.tif 000012
【図６】
2016185756.tif 000013
【図７】
2016185756.tif 000014
【図８】
2016185756.tif 000015
【図９】
2016185756.tif 000016
【国際調査報告】
2016185756.tif 000017
2016185756.tif 000018
2016185756.tif 000019
2016185756.tif 000020