(57)【要約】【課題】リニアマトリクスの色補正処理、及び、ニーまたはリミットの処理を行う際に、高彩度のＲＧＢ信号の階調を保つ。【解決手段】リニアマトリクス回路１０−１は、ＲＧＢ信号の値に対し、予め設定された行列ＬＭ１を掛け合わせることで、１回目のリニアマトリクスの色補正処理を行い、ＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）を生成する。ダイナミックレンジ圧縮回路１０２は、ＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）の値に対し、ニー処理、クリップ処理等のダイナミックレンジ圧縮処理を行い、ＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）を生成する。リニアマトリクス回路１１−１は、ＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）の値に対し、予め設定された行列ＬＭ２を掛け合わせることで、２回目のリニアマトリクスの色補正処理を行い、ＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）を生成する。【選択図】図１
2018142947.tif 000002
【特許請求の範囲】
【請求項１】
ＲＧＢ信号に対し所定の処理を行う信号処理回路において、
前記ＲＧＢ信号に対し、予め設定された３行３列の第１の行列を掛け合わせることで、リニアマトリクスの色補正処理を行う第１のリニアマトリクス回路と、
前記第１のリニアマトリクス回路により前記色補正処理が行われたＲＧＢ信号に対し、ダイナミックレンジ圧縮処理を行うダイナミックレンジ圧縮回路と、
前記ダイナミックレンジ圧縮回路により前記ダイナミックレンジ圧縮処理が行われたＲＧＢ信号に対し、予め設定された３行３列の第２の行列を掛け合わせることで、リニアマトリクスの色補正処理を行う第２のリニアマトリクス回路と、を備え、
前記第１のリニアマトリクス回路により前記第１の行列を用いて前記色補正処理が行われたＲＧＢ信号を、前記第１の行列と前記第２の行列との積である３行３列の行列を用いて前記色補正処理が行われた場合のＲＧＢ信号よりも彩度を落とした信号とする、ことを特徴とする信号処理回路。
【請求項２】
請求項１に記載の信号処理回路において、
前記第１のリニアマトリクス回路は、
前記ＲＧＢ信号に対し、前記第１の行列を掛け合わせてリニアマトリクスの色補正処理を行うことで、前記ＲＧＢ信号の彩度を落とし、
前記第２のリニアマトリクス回路は、
前記ダイナミックレンジ圧縮回路により前記ダイナミックレンジ圧縮処理が行われたＲＧＢ信号に対し、前記第２の行列を掛け合わせてリニアマトリクスの色補正処理を行うことで、前記ＲＧＢ信号の彩度を上げると共に、前記ＲＧＢ信号の色バランスを整える、ことを特徴とする信号処理回路。
【請求項３】
請求項１に記載の信号処理回路において、
前記第１のリニアマトリクス回路は、
前記ＲＧＢ信号に対し、前記第１の行列を掛け合わせてリニアマトリクスの色補正処理を行うことで、前記ＲＧＢ信号の色バランスを整え、
前記第２のリニアマトリクス回路は、
前記ダイナミックレンジ圧縮回路により前記ダイナミックレンジ圧縮処理が行われたＲＧＢ信号に対し、前記第２の行列を掛け合わせてリニアマトリクスの色補正処理を行うことで、前記ＲＧＢ信号の彩度を上げる、ことを特徴とする信号処理回路。
【請求項４】
請求項１に記載の信号処理回路において、
前記第１の行列と前記第２の行列との積である３行３列の行列をＬＭｏｒｇ、αを予め設定された正の実数のパラメータとして、前記第１の行列ＬＭ１及び前記第２の行列ＬＭ２を、
2018142947.tif 000014
とする、ことを特徴とする信号処理回路。
【請求項５】
請求項１に記載の信号処理回路において、
前記第１の行列と前記第２の行列との積である３行３列の行列をＬＭｏｒｇ、αR，αG，αBを前記ＲＧＢ信号のそれぞれに対応する予め設定された正の実数のパラメータとして、前記第１の行列ＬＭ１及び前記第２の行列ＬＭ２を、
2018142947.tif 000015
とする、ことを特徴とする信号処理回路。
【請求項６】
請求項１に記載の信号処理回路において、
前記第１の行列と前記第２の行列との積である３行３列の行列をＬＭｏｒｇ、βを予め設定された正の実数のパラメータとして、前記第２の行列ＬＭ２及び前記第１の行列ＬＭ１を、
2018142947.tif 000016
とする、ことを特徴とする信号処理回路。
【請求項７】
請求項１に記載の信号処理回路において、
前記第１の行列と前記第２の行列との積である３行３列の行列をＬＭｏｒｇ、βR，βG，βBを前記ＲＧＢ信号のそれぞれに対応する予め設定された正の実数のパラメータとして、前記第２の行列ＬＭ２及び前記第１の行列ＬＭ１を、
2018142947.tif 000017
とする、ことを特徴とする信号処理回路。
【請求項８】
請求項１から７までのいずれか一項に記載の信号処理回路において、
前記第２の行列を、前記第１の行列の逆行列とする、ことを特徴とする信号処理回路。
【請求項９】
請求項１から８までのいずれか一項に記載の信号処理回路において、
前記第１のリニアマトリクス回路は、
撮像素子により得られた前記ＲＧＢ信号に対し、前記第１の行列を掛け合わせることで、前記リニアマトリクスの色補正処理を行う、ことを特徴とする信号処理回路。
【請求項１０】
請求項１から９までのいずれか一項に記載の信号処理回路において、
さらに、前記ＲＧＢ信号に対し、前記第２の行列と前記第１の行列との積である３行３列の予め設定された第３の行列を掛け合わせることで、リニアマトリクスの色補正処理を行う第３のリニアマトリクス回路と、
前記第３のリニアマトリクス回路により前記色補正処理が行われたＲＧＢ信号のそれぞれに対し、予め設定された基準値よりも小さい信号を前記基準値にクリップし、クリップ後のＲＧＢ信号を生成するクリップ回路と、
前記クリップ回路により生成されたＲＧＢ信号に対し、前記第３の行列の逆行列である予め設定された第４の行列を掛け合わせることで、リニアマトリクスの色補正処理を行う第４のリニアマトリクス回路と、を備え、
前記第１のリニアマトリクス回路は、
前記第４のリニアマトリクス回路により前記色補正処理が行われたＲＧＢ信号に対し、前記第１の行列を掛け合わせることで、リニアマトリクスの色補正処理を行う、ことを特徴とする信号処理回路。
【請求項１１】
請求項１０に記載の信号処理回路において、
前記第４のリニアマトリクス回路及び前記第１のリニアマトリクス回路の代わりに、第５のリニアマトリクス回路を備え、
前記第５のリニアマトリクス回路は、
前記クリップ回路により生成されたＲＧＢ信号に対し、前記第１の行列と前記第４の行列との積である３行３列の予め設定された第５の行列を掛け合わせることで、リニアマトリクスの色補正処理を行い、
前記ダイナミックレンジ圧縮回路は、
前記第５のリニアマトリクス回路により前記色補正処理が行われたＲＧＢ信号に対し、ダイナミックレンジ圧縮処理を行う、ことを特徴とする信号処理回路。
【請求項１２】
コンピュータを、請求項１から１１までのいずれか一項に記載の信号処理回路として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＲＧＢ信号を処理する回路及びプログラムに関する。
【背景技術】
【０００２】
従来、撮像装置においては、目的とする表色系に合致する色再現を得るために、リニアマトリクスを用いた色補正処理が行われる。このリニアマトリクスを用いた色補正処理は、撮像素子から得られるＲＧＢ信号の値に対し、３行３列の行列を掛け合わせることにより、ＲＧＢ信号の値を目的とする信号の値に近くなるように補正する処理である。
【０００３】
リニアマトリクスの色補正処理により、撮像素子及び光学系によって生じる誤差を補正することができると共に、一般的な表色系において必要となる負の撮像特性を再現することができる。このため、この処理は非常に広く用いられている。図９は、負の撮像特性の例を示す図であり、ITU-R rec.BT2020に規定された超高精細映像に定められる広色域表色系の理想撮像特性を示す。横軸は波長（ｎｍ）、縦軸は感度（任意単位）である。リニアマトリクスの色補正処理により、図９に示すように、ＲＧＢ信号のそれぞれについて負の撮像特性を再現することができる。
【０００４】
一方で、撮像装置においては、撮像素子から得られるＲＧＢ信号の値を伝送または表示可能な範囲に納めるために、ニー、クリップ等の非線形な信号処理（ダイナミックレンジ圧縮処理）が行われることが多い。
【０００５】
このようなリニアマトリクスの色補正処理及びダイナミックレンジ圧縮処理等を含む、撮像素子から得られたＲＧＢ信号に対する信号処理を行う撮像装置が知られている（例えば、特許文献１〜３を参照）。
【０００６】
図７は、従来の信号処理回路の構成例を示すブロック図である。この信号処理回路１００は、リニアマトリクス回路１０１及びダイナミックレンジ圧縮回路１０２を備えている。撮像素子から得られたＲＧＢ信号に対する従来の処理では、リニアマトリクスの色補正処理を行った後に、ダイナミックレンジ圧縮処理を行うことが一般的である。
【０００７】
図８は、従来の信号処理回路１００の処理例を説明する図である。図８（ａ）〜（ｃ）において、横軸は入射光強度を示し、縦軸はＲＧＢ信号の信号値を示す。青が支配的な被写体光のＲＧＢ信号が撮像素子から出力されたものと仮定し、当該ＲＧＢ信号が信号処理回路１００に入力されるものとする。
【０００８】
図８（ａ）は、リニアマトリクス回路１０１に入力されるＲＧＢ信号の特性を示し、図８（ｂ）は、リニアマトリクス回路１０１から出力され、ダイナミックレンジ圧縮回路１０２に入力されるＲＧＢ信号の特性を示す。また、図８（ｃ）は、ダイナミックレンジ圧縮回路１０２から出力されるＲＧＢ信号の特性を示す。尚、図８（ａ）〜（ｃ）の特性は、信号処理回路１００の処理例を説明するために、彩度の程度及び階調の程度を直感的に把握できるように便宜的に示した概略である。
【０００９】
図７には図示しない撮像素子から得られたＲＧＢ信号に対し、ゲイン調整、ノイズ除去等の処理が行われた後、ＲＧＢ信号が、リニアマトリクス回路１０１に入力される。一般に、撮像素子から得られたＲＧＢ信号は、負の特性を実現できないことや、クロストークの影響を受けることから、理想的な信号値に比べて彩度が落ち、くすんだ色の信号となってしまう。そこで、リニアマトリクス回路１０１により、色補正処理が行われる。すなわちＲＧＢ信号の各成分の色に対してバランスを整える処理、及び彩度を上げる処理が行われる。
【００１０】
リニアマトリクス回路１０１は、ＲＧＢ信号の値に対し、予め設定された３行３列の行列ＬＭorgを掛け合わせることで、リニアマトリクスの色補正処理を行う（色再現の補正を行う）。３行３列の行列ＬＭorgの各要素であるマトリクス係数は、目的とする色再現を実現するべく、任意の値をとることができる。
【００１１】
例えば、図８（ａ）に示すＲＧＢ信号がリニアマトリクス回路１０１に入力されたものとする。図８（ａ）に示すＲＧＢ信号に対しリニアマトリクスの色補正処理が行われることで、Ｂ信号の信号値が大きくなり、Ｒ，Ｇ信号の信号値が小さくなり、図８（ｂ）に示すＲＧＢ信号が生成される。これにより、ＲＧＢ信号の彩度が上がる。
【００１２】
ダイナミックレンジ圧縮回路１０２は、リニアマトリクス回路１０１によりリニアマトリクスの色補正処理が行われたＲＧＢ信号の値に対し、ニー処理、クリップ処理等のダイナミックレンジ圧縮処理を行う。ニー処理は、閾値（ニーポイント）を超えたＲＧＢ信号の値を、ある比率（ニースロープ）に従って減少させる処理である。クリップ処理は、閾値（クリップポイント）を超えたＲＧＢ信号の値を、閾値に制限する処理である。ここでは、階調表現を線形から変化させる処理を一般的に、ダイナミック圧縮処理と定義する。
【００１３】
例えば、図８（ｂ）に示すＲＧＢ信号に対しダイナミック圧縮処理（クリップ処理）が行われることで、ダイナミックレンジ圧縮処理された領域ではＢ信号の信号値が上限値に制限され、図８（ｃ）に示すＲＧＢ信号が生成される。図８（ｃ）に示すＲＧＢ信号は、入射光強度の全範囲において、青色となる。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特公昭５９−４１３５７号公報
【特許文献２】特開平１１−１９１８９３号公報
【特許文献３】特許第４００４８４９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
このように、信号処理回路１００のリニアマトリクス回路１０１により、高彩度の被写体のＲＧＢ信号に対しリニアマトリクスの色補正処理が行われることで、目的とする表色系における色域の境界付近の高彩度信号が得られることがある。また、色域外となる信号が得られることもある。
【００１６】
そして、ダイナミックレンジ圧縮回路１０２により、高彩度信号または色域外信号に対しダイナミックレンジ圧縮処理が行われると、ＲＧＢ信号のうち支配的な信号の値のダイナミックレンジが圧縮されてしまう。このため、図８（ｃ）に示すように、ダイナミックレンジ圧縮処理によりＢ信号の信号値が一定となった領域において、ＲＧＢ信号の階調が損なわれる、いわゆる階調潰れが発生する。
【００１７】
ここで、目的とする表色系の青の原色（プライマリーカラー）に等しい色の光が、光学系から撮像素子へ入射された場合を想定する。センサの出力信号の階調を１２ビット（0〜4095）とする。
【００１８】
リニアマトリクスの色補正処理により正しい色再現を得た場合、リニアマトリクスの色補正後のＲＧＢ信号は、光量の増大（入射光強度の増大）に伴い、（Ｒ，Ｇ，Ｂ）＝（0，0，0：黒）〜（0，0，4095：青）〜（4095，4095，4095：白）と変化する。
【００１９】
そして、このリニアマトリクスの色補正後のＲＧＢ信号に対し、ダイナミックレンジ圧縮処理としてクリップ処理を行う。そうすると、ダイナミックレンジ圧縮処理後のＲＧＢ信号は、（0，0，0：黒）〜（0，0，1023：青）〜（1023，1023，1023：白）と変化する。ここで、例えばダイナミックレンジ圧縮前の信号値が（0，0，1023）〜（0，0，4095）である場合、圧縮後は全て（0，0，1023）に変化する。
【００２０】
このため、Ｂ信号の階調が損なわれ、映像に違和感が生じてしまう。これは、Ｒ（赤）信号またはＧ（緑）信号の値が０ではない場合であっても、Ｒ，Ｇ＜＜Ｂとなるときに、同様の現象が発生する。また、ダイナミックレンジ圧縮処理としてクリップ処理ではなくニー処理を行う場合も同様である。ここでは、目的とする表色系の青の原色に等しい色の光が入射した場合を例示したが、この現象は、青に限らず赤または緑の原色に等しい色の光が入射した場合も、同様に発生する。
【００２１】
近年では、塗料または染色技術の進歩、ＬＥＤを始めとする照明技術の進歩により、高彩度の被写体を撮影する機会が多くなっており、このような現象が、違和感のある映像を生み出している。
【００２２】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、リニアマトリクスの色補正処理、及び、ニーまたはリミットの処理を行う際に、高彩度のＲＧＢ信号の階調を保つことが可能な信号処理回路及びプログラムを提供することにある。
【課題を解決するための手段】
【００２３】
前記課題を解決するため、請求項１の信号処理回路は、ＲＧＢ信号に対し所定の処理を行う信号処理回路において、前記ＲＧＢ信号に対し、予め設定された３行３列の第１の行列を掛け合わせることで、リニアマトリクスの色補正処理を行う第１のリニアマトリクス回路と、前記第１のリニアマトリクス回路により前記色補正処理が行われたＲＧＢ信号に対し、ダイナミックレンジ圧縮処理を行うダイナミックレンジ圧縮回路と、前記ダイナミックレンジ圧縮回路により前記ダイナミックレンジ圧縮処理が行われたＲＧＢ信号に対し、予め設定された３行３列の第２の行列を掛け合わせることで、リニアマトリクスの色補正処理を行う第２のリニアマトリクス回路と、を備え、前記第１のリニアマトリクス回路により前記第１の行列を用いて前記色補正処理が行われたＲＧＢ信号を、前記第１の行列と前記第２の行列との積である３行３列の行列を用いて前記色補正処理が行われた場合のＲＧＢ信号よりも彩度を落とした信号とする、ことを特徴とする。
【００２４】
また、請求項２の信号処理回路は、請求項１に記載の信号処理回路において、前記第１のリニアマトリクス回路が、前記ＲＧＢ信号に対し、前記第１の行列を掛け合わせてリニアマトリクスの色補正処理を行うことで、前記ＲＧＢ信号の彩度を落とし、前記第２のリニアマトリクス回路が、前記ダイナミックレンジ圧縮回路により前記ダイナミックレンジ圧縮処理が行われたＲＧＢ信号に対し、前記第２の行列を掛け合わせてリニアマトリクスの色補正処理を行うことで、前記ＲＧＢ信号の彩度を上げると共に、前記ＲＧＢ信号の色バランスを整える、ことを特徴とする。
【００２５】
また、請求項３の信号処理回路は、請求項１に記載の信号処理回路において、前記第１のリニアマトリクス回路が、前記ＲＧＢ信号に対し、前記第１の行列を掛け合わせてリニアマトリクスの色補正処理を行うことで、前記ＲＧＢ信号の色バランスを整え、前記第２のリニアマトリクス回路が、前記ダイナミックレンジ圧縮回路により前記ダイナミックレンジ圧縮処理が行われたＲＧＢ信号に対し、前記第２の行列を掛け合わせてリニアマトリクスの色補正処理を行うことで、前記ＲＧＢ信号の彩度を上げる、ことを特徴とする。
【００２６】
また、請求項４の信号処理回路は、請求項１に記載の信号処理回路において、前記第１の行列と前記第２の行列との積である３行３列の行列をＬＭｏｒｇ、αを予め設定された正の実数のパラメータとして、前記第１の行列ＬＭ１及び前記第２の行列ＬＭ２を、
2018142947.tif 000003
とする、ことを特徴とする。
【００２７】
また、請求項５の信号処理回路は、請求項１に記載の信号処理回路において、前記第１の行列と前記第２の行列との積である３行３列の行列をＬＭｏｒｇ、αR，αG，αBを前記ＲＧＢ信号のそれぞれに対応する予め設定された正の実数のパラメータとして、前記第１の行列ＬＭ１及び前記第２の行列ＬＭ２を、
2018142947.tif 000004
とする、ことを特徴とする。
【００２８】
また、請求項６の信号処理回路は、請求項１に記載の信号処理回路において、前記第１の行列と前記第２の行列との積である３行３列の行列をＬＭｏｒｇ、βを予め設定された正の実数のパラメータとして、前記第２の行列ＬＭ２及び前記第１の行列ＬＭ１を、
2018142947.tif 000005
とする、ことを特徴とする。
【００２９】
また、請求項７の信号処理回路は、請求項１に記載の信号処理回路において、前記第１の行列と前記第２の行列との積である３行３列の行列をＬＭｏｒｇ、βR，βG，βBを前記ＲＧＢ信号のそれぞれに対応する予め設定された正の実数のパラメータとして、前記第２の行列ＬＭ２及び前記第１の行列ＬＭ１を、
2018142947.tif 000006
とする、ことを特徴とする。
【００３０】
また、請求項８の信号処理回路は、請求項１から７までのいずれか一項に記載の信号処理回路において、前記第２の行列を、前記第１の行列の逆行列とする、ことを特徴とする。
【００３１】
また、請求項９の信号処理回路は、請求項１から８までのいずれか一項に記載の信号処理回路において、前記第１のリニアマトリクス回路が、撮像素子により得られた前記ＲＧＢ信号に対し、前記第１の行列を掛け合わせることで、前記リニアマトリクスの色補正処理を行う、ことを特徴とする。
【００３２】
また、請求項１０の信号処理回路は、請求項１から９までのいずれか一項に記載の信号処理回路において、さらに、前記ＲＧＢ信号に対し、前記第２の行列と前記第１の行列との積である３行３列の予め設定された第３の行列を掛け合わせることで、リニアマトリクスの色補正処理を行う第３のリニアマトリクス回路と、前記第３のリニアマトリクス回路により前記色補正処理が行われたＲＧＢ信号のそれぞれに対し、予め設定された基準値よりも小さい信号を前記基準値にクリップし、クリップ後のＲＧＢ信号を生成するクリップ回路と、前記クリップ回路により生成されたＲＧＢ信号に対し、前記第３の行列の逆行列である予め設定された第４の行列を掛け合わせることで、リニアマトリクスの色補正処理を行う第４のリニアマトリクス回路と、を備え、前記第１のリニアマトリクス回路が、前記第４のリニアマトリクス回路により前記色補正処理が行われたＲＧＢ信号に対し、前記第１の行列を掛け合わせることで、リニアマトリクスの色補正処理を行う、ことを特徴とする。
【００３３】
また、請求項１１の信号処理回路は、請求項１０に記載の信号処理回路において、前記第４のリニアマトリクス回路及び前記第１のリニアマトリクス回路の代わりに、第５のリニアマトリクス回路を備え、前記第５のリニアマトリクス回路が、前記クリップ回路により生成されたＲＧＢ信号に対し、前記第１の行列と前記第４の行列との積である３行３列の予め設定された第５の行列を掛け合わせることで、リニアマトリクスの色補正処理を行い、前記ダイナミックレンジ圧縮回路が、前記第５のリニアマトリクス回路により前記色補正処理が行われたＲＧＢ信号に対し、ダイナミックレンジ圧縮処理を行う、ことを特徴とする。
【００３４】
さらに、請求項１２のプログラムは、コンピュータを、請求項１から１１までのいずれか一項に記載の信号処理回路として機能させることを特徴とする。
【発明の効果】
【００３５】
以上のように、本発明によれば、リニアマトリクスの色補正処理、及び、ニーまたはリミットの処理を行う際に、高彩度のＲＧＢ信号の階調を保つことが可能となる。
【図面の簡単な説明】
【００３６】
【図１】実施例１の信号処理回路の構成例を示すブロック図である。
【図２】実施例２の信号処理回路の構成例を示すブロック図である。
【図３】実施例３の信号処理回路の構成例を示すブロック図である。
【図４】実施例４の撮像装置の構成例を示すブロック図である。
【図５】第１の手法の行列ＬＭ１，ＬＭ２を用いた信号処理回路の処理例を説明する図である。
【図６】高彩度のＲＧＢ信号を入力したときの実施例１の実験結果を説明する図である。
【図７】従来の信号処理回路の構成例を示すブロック図である。
【図８】従来の信号処理回路の処理例を説明する図である。
【図９】負の撮像特性の例を示す図である。
【図１０】実施例５の信号処理回路の構成例を示すブロック図である。
【図１１】実施例６の信号処理回路の構成例を示すブロック図である。
【図１２】色域外信号処理がない場合の信号値の変移を説明する図である。
【図１３】色域外信号処理がある場合の信号値の変移を説明する図である。
【図１４】高彩度のＲＧＢ信号を入力したときの実施例６の実験結果を説明する図である。
【発明を実施するための形態】
【００３７】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔実施例１〕
まず、本発明の第１の実施形態（実施例１）について説明する。図１は、実施例１の信号処理回路の構成例を示すブロック図である。この信号処理回路１は、リニアマトリクス回路１０−１，１１−１及びダイナミックレンジ圧縮回路１０２を備えている。
【００３８】
例えば信号処理回路１が撮像装置に使用される場合、図１には図示しない撮像素子から得られた信号が、適宜必要とされるゲイン調整、ノイズ除去等の処理が行われた後に、信号処理回路１に入力される。図７に示した従来技術の場合と同様に、撮像素子から得られたＲＧＢ信号は、隣接する異なる素子の影響を受けてしまうことから、実際の被写体光に比べて彩度が落ち、くすんだ色の信号となってしまう。そこで、信号処理回路１は、目的とする表色系における最適な信号値に色補正すると共に、ダイナミックレンジ圧縮処理に起因する高彩度光の階調潰れを軽減する。
【００３９】
信号処理回路１は、撮像装置の他、映像信号に対して変換処理等を行う映像信号処理装置にも適用がある。変換処理の例としては、ＨＤＲ（High Dynamic Range：高ダイナミックレンジ）の信号をＳＤＲ（Standard Dynamic Range：標準ダイナミックレンジ）の信号に変換する処理がある。後述する実施例２の信号処理回路２及び実施例３の信号処理回路３についても同様である。
【００４０】
リニアマトリクス回路１０−１は、ＲＧＢ信号を入力し、ＲＧＢ信号の値に対し、予め設定された３行３列の行列ＬＭ１を掛け合わせることで、１回目のリニアマトリクスの色補正処理を行う。これにより、図７に示した従来のリニアマトリクス回路１０１により出力されるＲＧＢ信号よりも彩度を落としたＲＧＢ信号が生成される。
【００４１】
リニアマトリクス回路１０−１は、１回目のリニアマトリクスの色補正処理後のＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）をダイナミックレンジ圧縮回路１０２に出力する。予め設定された行列ＬＭ１の詳細については後述する。
【００４２】
ダイナミックレンジ圧縮回路１０２は、リニアマトリクス回路１０−１から１回目のリニアマトリクスの色補正処理が行われたＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）を入力する。そして、ダイナミックレンジ圧縮回路１０２は、図７に示したダイナミックレンジ圧縮回路１０２と同様に、ＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）の値に対し、ニー処理、クリップ処理等のダイナミックレンジ圧縮処理を行う。これにより、従来よりも彩度を落としたＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）に対してダイナミックレンジ圧縮処理が行われるから、従来に比べて階調潰れが抑制されたＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid信号’）が生成される。
【００４３】
ダイナミックレンジ圧縮回路１０２は、ダイナミックレンジ圧縮処理後のＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）をリニアマトリクス回路１１−１に出力する。
【００４４】
尚、ダイナミックレンジ圧縮回路１０２は、ダイナミックレンジ圧縮処理として、ニー処理のみを行うようにしてもよいし、クリップ処理のみを行うようにしてもよい。また、ダイナミックレンジ圧縮回路１０２は、ニー処理及びクリップ処理以外のダイナミックレンジ圧縮処理を行うようにしてもよい。また、ダイナミックレンジ圧縮回路１０２は、ニー処理及びクリップ処理等の複数の処理を行うようにしてもよい。
【００４５】
リニアマトリクス回路１１−１は、ダイナミックレンジ圧縮回路１０２からダイナミックレンジ圧縮処理が行われたＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）を入力する。そして、リニアマトリクス回路１１−１は、ＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）の値に対し、予め設定された３行３列の行列ＬＭ２を掛け合わせることで、２回目のリニアマトリクスの色補正処理を行う。この２回目のリニアマトリクスの色補正処理により、所望する色再現が実現される。これにより、従来と同様の目的とする色補正処理が行われ、かつ、従来に比べて階調潰れが抑制されたＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）が生成される。
【００４６】
リニアマトリクス回路１１−１は、２回目のリニアマトリクスの色補正処理後のＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）を出力する。予め設定された行列ＬＭ２の詳細については後述する。
【００４７】
（行列ＬＭ１，ＬＭ２）
次に、予め設定された行列ＬＭ１，ＬＭ２について詳細に説明する。行列ＬＭ１，ＬＭ２は、所定の手法にて設計者の演算により得られ、予め設定される。この設定手法には２種類ある。第１は、最初に行列ＬＭ１が算出され、次に行列ＬＭ２が算出される手法であり、第２は、最初に行列ＬＭ２が算出され、次に行列ＬＭ１が算出される手法である。
【００４８】
いずれの手法も、行列ＬＭ１，ＬＭ２の要素であるリニアマトリクス係数は、リニアマトリクス回路１０−１，１１−１による１番目及び２番目のリニアマトリクスの色補正処理を合わせることで、目的とする色補正処理が行われるように決定される。すなわち、行列ＬＭ１，ＬＭ２のリニアマトリクス係数は、行列ＬＭ１，ＬＭ２の積であるＬＭ２・ＬＭ１＝ＬＭorgで表現される色補正処理（信号処理回路１全体で目的とする色補正処理）が行われるように決定される。言い換えると、リニアマトリクス回路１０−１により行列ＬＭ１を用いて行われる色補正処理及びリニアマトリクス回路１１−１により行列ＬＭ２を用いて行われる色補正処理と、行列ＬＭ１，ＬＭ２の積であるＬＭ２・ＬＭ１＝ＬＭorgの行列を用いて行われる色補正処理とが等価であるものとして、リニアマトリクス係数が決定される。行列ＬＭorgは、図７に示したリニアマトリクス回路１０１が用いる行列である。
【００４９】
（第１の手法）
行列ＬＭ１，ＬＭ２を設定する第１の手法は、前述のとおり、最初に行列ＬＭ１が算出され、次に行列ＬＭ２が算出される。まず、行列ＬＭ１のリニアマトリクス係数は、正の実数であるαをパラメータとして、以下のように定義することで決定される。
【数１】
2018142947.tif 000007
【００５０】
パラメータαは、図７に示した従来技術のダイナミックレンジ圧縮回路１０２の入力信号よりも彩度の落ちたＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）が実施例１のダイナミックレンジ圧縮回路１０２に入力されるように、リニアマトリクス回路１０−１に入力されるＲＧＢ信号（撮像素子の出力信号）を基準として、彩度を落とす度合いを決定するパラメータである。パラメータαの値が大きいほど、ＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）の彩度が落ちる程度は大きく、パラメータαの値が小さいほど彩度が落ちる程度は小さい。
【００５１】
この行列ＬＭ１は、図７に示した従来のリニアマトリクス回路１０１による色補正処理の行列ＬＭorgと比較して、色バランスの補正を主たる目的とせず、入力信号に対して彩度を落とした信号を生成するように機能する。
【００５２】
ただし、リニアマトリクスの色補正処理は、当該処理を行う行列をＬＭとすると、入力信号であるＲＧＢ信号に対して以下の式のように作用し、出力信号であるＲＧＢ信号（Ｒout, Ｇout, Ｂout）が得られるものとする。
【数２】
2018142947.tif 000008
【００５３】
次に、行列ＬＭ２のリニアマトリクス係数は、信号処理回路１全体の色補正を最適値とするために、以下のように定義することで決定される。
【数３】
2018142947.tif 000009
ＬＭ１-1は、ＬＭ１の逆行列を示す。行列ＬＭorgは、図７に示した従来のリニアマトリクス回路１０１の色補正処理に用いられ、全体として目的とする色補正処理を行うための行列であり、行列ＬＭ１，ＬＭ２の積である。
【００５４】
この行列ＬＭ２は、図７に示した従来のリニアマトリクス回路１０１による色補正処理の行列ＬＭorgと同様に、色バランス処理を行うが、加えて、行列ＬＭ１による彩度の低下を補償するように機能する。
【００５５】
次に、第１の手法により設定された行列ＬＭ１，ＬＭ２を用いた場合の処理について説明する。図５は、第１の手法の行列ＬＭ１，ＬＭ２を用いた信号処理回路１の処理例を説明する図である。図５（ａ）〜（ｄ）において、横軸は入射光強度を示し、縦軸はＲＧＢ信号の信号値を示す。図５（ａ）は、リニアマトリクス回路１０−１に入力されるＲＧＢ信号の特性を示し、図５（ｂ）は、リニアマトリクス回路１０−１から出力され、ダイナミックレンジ圧縮回路１０２に入力されるＲＧＢ信号の特性を示す。また、図５（ｃ）は、ダイナミックレンジ圧縮回路１０２により出力され、リニアマトリクス回路１１−１に入力されるＲＧＢ信号の特性を示し、図５（ｄ）は、リニアマトリクス回路１１−１により出力されるＲＧＢ信号の特性を示す。尚、図５（ａ）〜（ｄ）は、信号処理回路１の処理例を説明するために、彩度の程度及び階調の程度を直感的に把握できるように便宜的に示した概略である。
【００５６】
リニアマトリクス回路１０−１は、ＲＧＢ信号の値に対し、第１の手法により設定された行列ＬＭ１を用いて、１回目のリニアマトリクスの色補正処理を行う。そして、リニアマトリクス回路１０−１は、図７に示した従来のリニアマトリクス回路１０１により色補正処理が行われた信号と比較して、彩度を落としたＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）を生成する。
【００５７】
図５（ａ）に示すＲＧＢ信号に対し、行列ＬＭ１を用いて１回目のリニアマトリクスの色補正処理が行われる。これにより、Ｂ信号の信号値が小さくなり、Ｒ，Ｇ信号の信号値が大きくなることで、図５（ｂ）に示すように、ＲＧＢ信号よりも彩度の落ちたＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）が生成される。
【００５８】
ダイナミックレンジ圧縮回路１０２は、従来よりも彩度が低い状態のＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）に対してダイナミックレンジ圧縮処理を行う。
【００５９】
図５（ｂ）に示すＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）に対し、ダイナミックレンジ圧縮処理が行われる。これにより、ダイナミックレンジ圧縮処理の対象でない入射光強度の領域において、階調潰れがなく、かつＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）と同様に彩度が低い状態のままの、図５（ｃ）に示すＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）が生成される。また、ダイナミックレンジ圧縮処理の対象の入射光強度の領域において、Ｂ信号の信号値が上限値に制限され、ＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）よりも彩度がさらに落ちた、図５（ｃ）に示すＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）が生成される。
【００６０】
リニアマトリクス回路１１−１は、彩度が低いＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）に対し、第１の手法により設定された行列ＬＭ２を用いて、２回目のリニアマトリクスの色補正処理（この場合は色バランス処理）を行う。そして、リニアマトリクス回路１１−１は、階調潰れのない、かつ彩度の高いＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）を出力する。
【００６１】
図５（ｃ）に示すＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）に対し、行列ＬＭ２を用いて２回目のリニアマトリクスの色補正処理が行われる。これにより、ダイナミックレンジ圧縮処理の対象の入射光強度の領域において、Ｒ，Ｇ信号の信号値が大きくなる。つまり、図５（ｄ）に示すように、階調潰れのない、かつ彩度の高いＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）が生成される。このＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）は、入射光強度の低い領域から高い領域へ、青色から白色へ変化する自然な階調となる。
【００６２】
以上のように、第１の手法にて設定された行列ＬＭ１，ＬＭ２を用いることにより、従来と同様の目的とする色補正処理が行われ、かつ、従来に比べて階調潰れを抑制することができる。
【００６３】
尚、行列ＬＭ１は、前記数式（１）の代わりに、以下の数式を用いるようにしてもよい。この行列ＬＭ１のリニアマトリクス係数は、ＲＧＢ信号毎の正の実数であるαR，αG，αBをパラメータとして決定される。
【数４】
2018142947.tif 000010
パラメータαR，αG，αBは、ＲＧＢ信号の各色に対して彩度を落とす度合いを決定するパラメータである。αR＝αG＝αB＝αの場合、行列ＬＭ１は、前記数式（１）となる。
【００６４】
（第２の手法）
行列ＬＭ１，ＬＭ２を設定する第２の手法は、前述のとおり、最初に行列ＬＭ２が算出され、次に行列ＬＭ１が算出される。まず、行列ＬＭ２のリニアマトリクス係数は、正の実数であるβをパラメータとして、以下のように定義することで決定される。
【数５】
2018142947.tif 000011
【００６５】
パラメータβは、図７に示した従来技術のダイナミックレンジ圧縮回路１０２の入力信号よりも彩度の落ちたＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）が実施例１のダイナミックレンジ圧縮回路１０２に入力されるように、リニアマトリクス回路１１−１により出力されるＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）を基準として、彩度を落とす度合いを決定するパラメータである。パラメータβの値が大きいほど、ＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）の彩度が落ちる程度は大きく、パラメータβの値が小さいほど彩度が落ちる程度は小さい。
【００６６】
この行列ＬＭ２は、入力信号に対して、色バランス処理を行わず、彩度を上げた信号を生成するように機能する。
【００６７】
次に、行列ＬＭ１のリニアマトリクス係数は、全体の色補正を最適値とするために、以下のように定義することで決定される。
【数６】
2018142947.tif 000012
ＬＭ２-1は、ＬＭ２の逆行列を示す。
【００６８】
この行列ＬＭ１は、図７に示した従来のリニアマトリクス回路１０１による色補正処理の行列ＬＭorgと同様に、色バランス処理を行うが、行列ＬＭorgに比較して、彩度の低い信号を生成するように機能する。
【００６９】
第２の手法により設定された行列ＬＭ１，ＬＭ２を用いた場合も、第１の手法の場合と同様に、従来と同様の目的とする色補正が行われ、かつ、従来に比べて階調潰れを抑制することができる。
【００７０】
尚、行列ＬＭ２は、前記数式（５）の代わりに、以下の数式を用いるようにしてもよい。この行列ＬＭ２のリニアマトリクス係数は、ＲＧＢ信号毎の正の実数であるβR，βG，βBをパラメータとして決定される。
【数７】
2018142947.tif 000013
パラメータβR，βG，βBは、ＲＧＢ信号の各色に対して彩度を落とす度合いを決定するパラメータである。βR＝βG＝βB＝βの場合、行列ＬＭ２は、前記数式（５）となる。
【００７１】
第１の手法と第２の手法との違いは、ダイナミックレンジ圧縮回路１０２の入力信号であるＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）の違いにある。
【００７２】
第１の手法では、ダイナミックレンジ圧縮回路１０２の入力信号であるＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）を、当該信号処理回路１の入力信号であるＲＧＢ信号（例えば撮像素子から得られたＲＧＢ信号）を基準として、図７に示した従来技術のダイナミックレンジ圧縮回路１０２の入力信号よりも彩度の落ちた信号とすることができる。これに対し、第２の手法では、ダイナミックレンジ圧縮回路１０２の入力信号であるＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）を、当該信号処理回路１の出力信号であるＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）を基準として、図７に示した従来技術のダイナミックレンジ圧縮回路１０２の入力信号よりも彩度の落ちた信号とすることができる。
【００７３】
したがって、例えば撮像素子の特性に応じて、第１の手法または第２の手法を適宜選択して使用することにより、より好適な結果を得ることができる。
【００７４】
また、入射する光がＲ，Ｇ，Ｂそれぞれの場合であって、撮像素子から得られるＲＧＢ信号の彩度に大きな違いが無い場合には、ＲＧＢ信号に共通のパラメータαによる前記数式（１）の行列ＬＭ１、またはＲＧＢ信号に共通のパラメータβによる前記数式（５）の行列ＬＭ２が用いられる。
【００７５】
一方、彩度に違いがある場合には、ＲＧＢ信号毎のパラメータαR，αG，αBによる前記数式（４）の行列ＬＭ１、またはＲＧＢ信号毎のパラメータβR，βG，βBによる前記数式（７）の行列ＬＭ２が用いられる。
【００７６】
つまり、前記数式（４）の行列ＬＭ１または前記数式（７）の行列ＬＭ２は、彩度に違いがある場合に用いられ、階調潰れを効果的に抑制することができる。例えば、青の被写体を撮影した場合のＲＧＢ信号の彩度が、赤または緑の被写体を撮影した場合のＲＧＢ信号の彩度よりも大きい場合、Ｂ信号のパラメータαBまたはβBが他のパラメータαR，αGまたはβR，βGよりも大きい値に設定された行列ＬＭ１または行列ＬＭ２が用いられる。
【００７７】
（実施例１の実験結果）
次に、実施例１の計算機シミュレーションによる実験結果について説明する。図６は、高彩度のＲＧＢ信号を入力したときの実施例１の実験結果を説明する図である。（１）は、図７に示した従来技術の信号処理回路１００による信号値の変化を示し、（２）は、（１）における映像信号の変化を示す。また、（３）は、図１に示した実施例１の信号処理回路１による信号値の変化を示し、（４）は、（３）における映像信号の変化を示す。ただし、（１）及び（３）に示す信号値は、ガンマ補正後の値を記載しており、信号値の変化が曲線となって表されている。
【００７８】
図６（１）及び（３）において、横軸は入射光強度を示し、縦軸はＲＧＢ信号の信号値を示す。このＲＧＢ信号は、図１に示した信号処理回路１の出力信号、すなわちＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）である。また、図６（２）及び（４）において、横軸は図６（１）及び（３）と同じ入射光強度を示す。図６（２）及び（４）は、入射光強度の全範囲における階調を示している。
【００７９】
図６（１）〜（４）は、従来技術の信号処理回路１００にて用いるリニアマトリクス回路１０１の行列ＬＭorgと、実施例１の信号処理回路１にて用いるリニアマトリクス回路１０−１，１１−１の行列ＬＭ１，ＬＭ２の積とを同一とした場合の実験結果である。すなわち、前記数式（３）（６）に示すように、ＬＭorg＝ＬＭ２・ＬＭ１である。
【００８０】
青が支配的な被写体光のＲＧＢ信号が撮像素子から出力されるものと仮定し、当該ＲＧＢ信号が信号処理回路１００及び実施例１の信号処理回路１に入力されるものとする。
【００８１】
図６（１）から、従来技術では、入射光強度が約８０以上かつ６００以下の範囲において、ダイナミックレンジ圧縮処理によりＢ信号の信号値が抑えられているが、Ｒ，Ｇ信号の信号値は増加しておらず、信号値全体として停滞していることがわかる。このため、図６（２）に示すように、映像信号の階調が潰れている。
【００８２】
これに対し、図６（３）から、実施例１では、入射光強度が約８０以上かつ６００以下の範囲において、ダイナミックレンジ圧縮処理によりＢ信号の信号値が抑えられ、Ｒ，Ｇ信号の信号値が増加しており、入射光強度が高くなるほど、白色に近づいていることがわかる。このため、図６（４）に示すように、映像信号は、潰れのない自然な階調が保たれる。
【００８３】
以上のように、実施例１の信号処理回路１によれば、リニアマトリクス回路１０−１は、ＲＧＢ信号の値に対し、予め設定された行列ＬＭ１を掛け合わせることで、１回目のリニアマトリクスの色補正処理を行い、ＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）を生成する。ダイナミックレンジ圧縮回路１０２は、ＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）の値に対し、ニー処理、クリップ処理等のダイナミックレンジ圧縮処理を行い、ＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）を生成する。リニアマトリクス回路１１−１は、ＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）の値に対し、予め設定された行列ＬＭ２を掛け合わせることで、２回目のリニアマトリクスの色補正処理を行い、ＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）を生成する。
【００８４】
これにより、ＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）は、従来と同様の目的とする色補正処理が行われ、かつ、従来に比べて階調潰れが抑制された信号となる。ＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）が従来と同様の目的とする色補正処理が行われた信号となるのは、ＬＭorg＝ＬＭ２・ＬＭ１が成り立つように、リニアマトリクス回路１０−１，１１−１の処理が行われるからである。また、ＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）が従来に比べて階調潰れの抑制された信号となるのは、従来よりも彩度を落としたＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）に対しダイナミックレンジ圧縮処理が行われ、ダイナミックレンジ圧縮処理後のＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）が従来よりも階調のある信号となるからである。
【００８５】
したがって、入力したＲＧＢ信号に対して、目的とする表色系における最適な信号値に色補正することができ、かつ、ダイナミックレンジ圧縮処理に起因する高彩度光の階調潰れを軽減し、ダイナミックレンジ圧縮処理後にも、自然な階調を保つことができる。つまり、リニアマトリクスの色補正処理及びダイナミックレンジ圧縮処理を行う際に、高彩度のＲＧＢ信号の階調を保つことができる。
【００８６】
〔実施例２〕
次に、本発明の第２の実施形態（実施例２）について説明する。図２は、実施例２の信号処理回路の構成例を示すブロック図である。この信号処理回路２は、リニアマトリクス回路１０−２，１１−２及びダイナミックレンジ圧縮回路１０２を備えている。信号処理回路２は、全体としてみるとリニアマトリクスの色補正処理を行わず、ダイナミックレンジ圧縮処理のみを行う。
【００８７】
図１に示した実施例１の信号処理回路１と図２に示す実施例２の信号処理回路２とを比較すると、全体として同じ構成の下で、ダイナミックレンジ圧縮回路１０２を備えている点で共通する。一方、実施例２の信号処理回路２は、実施例１の信号処理回路１のリニアマトリクス回路１０−１，１１−１とは異なるリニアマトリクス回路１０−２，１１−２を備えている点で相違する。具体的には、実施例１では、リニアマトリクス回路１１−１にて行列ＬＭ２が用いられるのに対し、実施例２では、リニアマトリクス回路１１−２にて行列ＬＭ１-1（リニアマトリクス回路１０−２にて用いる行列ＬＭ１の逆行列）が用いられる。
【００８８】
リニアマトリクス回路１０−２は、ＲＧＢ信号の値に対し、予め設定された３行３列の行列ＬＭ１を掛け合わせることで、１回目のリニアマトリクスの色補正処理を行う。
【００８９】
ダイナミックレンジ圧縮回路１０２は、図１に示したダイナミックレンジ圧縮回路１０２と同様の処理を行う。
【００９０】
リニアマトリクス回路１１−２は、ＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）の値に対し、予め設定された３行３列の行列ＬＭ１-1を掛け合わせることで、２回目のリニアマトリクスの色補正処理を行う。
【００９１】
リニアマトリクス回路１１−２は、従来と同様の目的とする色補正処理が行われ、かつ、従来に比べて階調潰れが抑制されたＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）を出力する。当該信号処理回路２の出力信号であるＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）は、入力信号であるＲＧＢ信号と比較して、ダイナミックレンジ圧縮処理が行われた信号である点で相違するのみである。つまり、信号処理回路２の処理によっては、ダイナミックレンジ圧縮処理による信号値の変化が起きない範囲において、リニアマトリクス回路１０−２による特性とリニアマトリクス回路１１−２による特性とが互いに打ち消され、ＲＧＢ信号の色は変化しない。
【００９２】
行列ＬＭ１，ＬＭ２（＝ＬＭ１-1）は、所定の手法にて設計者の演算により得られ、予め設定される。この設定手法は、実施例１と同様の第１の手法が用いられ、さらに、ＬＭ２をＬＭ１の逆行列とする条件（ＬＭ２・ＬＭ１＝Ｉ）が追加される。Ｉは３行３列の単位行列である。
【００９３】
以上のように、実施例２の信号処理回路２によれば、リニアマトリクス回路１０−２は、実施例１のリニアマトリクス回路１０−１と同様に、ＲＧＢ信号の値に対し、予め設定された行列ＬＭ１を掛け合わせることで、１回目のリニアマトリクスの色補正処理を行い、ＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）を生成する。ダイナミックレンジ圧縮回路１０２は、ＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）の値に対し、ニー処理、クリップ処理等のダイナミックレンジ圧縮処理を行い、ＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）を生成する。リニアマトリクス回路１１−２は、ＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）の値に対し、予め設定された行列ＬＭ１-1を掛け合わせることで、２回目のリニアマトリクスの色補正処理を行い、ＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）を生成する。
【００９４】
これにより、ＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）は、ダイナミックレンジ圧縮の影響を受けない信号の範囲においては入力したＲＧＢ信号と同じ色となり、かつ、従来に比べて階調潰れが抑制された信号となる。したがって、実施例１と同様に、リニアマトリクスの色補正処理及びダイナミックレンジ圧縮処理を行う際に、高彩度のＲＧＢ信号の階調を保つことができる。
【００９５】
尚、信号処理回路２は、第１の手法にて設定された行列ＬＭ１，ＬＭ１-1を用いる代わりに、第２の手法にて設定された行列ＬＭ２-1，ＬＭ２を用いるようにしてもよい。具体的には、リニアマトリクス回路１０−２は、ＲＧＢ信号の値に対し、予め設定された３行３列の行列ＬＭ２-1を掛け合わせることで、１回目のリニアマトリクスの色補正処理を行う。リニアマトリクス回路１１−２は、ＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）の値に対し、予め設定された３行３列の行列ＬＭ２を掛け合わせることで、２回目のリニアマトリクスの色補正処理を行う。
【００９６】
この場合の行列ＬＭ１（＝ＬＭ２-1），ＬＭ２は、所定の手法にて設計者の演算により得られ、予め設定される。この設定手法は、実施例１と同様の第２の手法が用いられ、さらに、ＬＭ１をＬＭ２の逆行列とする条件（ＬＭ２・ＬＭ１＝Ｉ）が追加される。
【００９７】
〔実施例３〕
次に、本発明の第３の実施形態（実施例３）について説明する。図３は、実施例３の信号処理回路の構成例を示すブロック図である。この信号処理回路３は、リニアマトリクス回路１０−１，１１−１及びレベルダイヤ調整回路１０３を備えている。
【００９８】
図１に示した実施例１の信号処理回路１と図３に示す実施例３の信号処理回路３とを比較すると、全体として同じ構成をしており、リニアマトリクス回路１０−１，１１−１を備えている点で共通する。一方、実施例３の信号処理回路３は、実施例１の信号処理回路１のダイナミックレンジ圧縮回路１０２とは異なるレベルダイヤ調整回路１０３を備えている点で相違する。
【００９９】
リニアマトリクス回路１０−１は、図１に示したリニアマトリクス回路１０−１と同様に、予め設定された３行３列の行列ＬＭ１を用いて、１回目のリニアマトリクスの色補正処理を行う。そして、リニアマトリクス回路１０−１は、ＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）をレベルダイヤ調整回路１０３に出力する。
【０１００】
レベルダイヤ調整回路１０３は、リニアマトリクス回路１０−１からＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）を入力する。そして、レベルダイヤ調整回路１０３は、ＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）間の飽和点を揃えるためのクリップ処理を行うことで、レベルダイヤ調整処理を行う。レベルダイヤ調整回路１０３は、ＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）をリニアマトリクス回路１１−１に出力する。
【０１０１】
これにより、カラーバランス処理が行われたＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）は、これらの信号間で差異が生じたとき同一の信号値にクリップされるから、飽和後に正しい白色のＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）が出力される。
【０１０２】
リニアマトリクス回路１１−１は、レベルダイヤ調整回路１０３からレベルダイヤ調整処理（クリップ処理）が行われたＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）を入力する。そして、リニアマトリクス回路１１−１は、図１に示したリニアマトリクス回路１１−１と同様に、予め設定された３行３列の行列ＬＭ２を用いて、２回目のリニアマトリクスの色補正処理を行う。
【０１０３】
リニアマトリクス回路１１−１は、従来と同様の目的とする色補正処理が行われ、かつ、従来に比べて階調潰れが抑制されたＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）を出力する。
【０１０４】
以上のように、実施例３の信号処理回路３によれば、リニアマトリクス回路１０−１，１１−１は、実施例１と同様の処理を行い、レベルダイヤ調整回路１０３は、ＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）間の飽和点を揃えるためのクリップ処理を行うことで、レベルダイヤ調整処理を行う。
【０１０５】
この場合も、リニアマトリクス回路１１−１が出力するＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）は、従来と同様の目的とする色補正処理が行われ、かつ、従来に比べて階調潰れが抑制された信号となる。したがって、リニアマトリクスの色補正処理及びレベルダイヤ調整処理を行う際に、高彩度のＲＧＢ信号の階調を保つことができる。実施例３は、当該信号処理回路３を撮像装置に適用した場合、特に、ＨＤＲ撮影において有効となる。
【０１０６】
尚、信号処理回路３は、図１に示した実施例１と同様にリニアマトリクス回路１０−１，１１−１を備えるようにしたが、これらの代わりに、図２に示した実施例２のリニアマトリクス回路１０−２，１１−２を備えるようにしてもよい。
【０１０７】
〔実施例４〕
次に、本発明の第４の実施形態（実施例４）について説明する。図４は、実施例４の撮像装置の構成例を示すブロック図である。この撮像装置２０は、撮像素子２１、ブラックバランス／ホワイトバランス回路２２、信号処理回路１，２，３及び映像処理回路２３を備えている。
【０１０８】
実施例４は、図１に示した実施例１の信号処理回路１、図２に示した実施例２の信号処理回路２及び図３に示した実施例３の信号処理回路３を、撮像装置２０に適用した例である。信号処理回路１，２，３は、図１に示した実施例１の信号処理回路１、図２に示した実施例２の信号処理回路２、及び図３に示した実施例３の信号処理回路３のうち、いずれか１つの回路である。
【０１０９】
撮像素子２１は、図示しない光学系を介して被写体光を入射し、その光量を電気信号に変換し、ＲＧＢ信号として出力する。このＲＧＢ信号は増幅され、アナログのＲＧＢ信号がデジタルのＲＧＢ信号に変換される。
【０１１０】
ブラックバランス／ホワイトバランス回路２２は、撮像素子２１からＲＧＢ信号を入力し、ＲＧＢ信号の値に対し、黒レベル調整処理、白レベル調整処理等の各種処理を行い、調整処理後のＲＧＢ信号を信号処理回路１，２，３に出力する。
【０１１１】
信号処理回路１，２，３は、前述のとおり、信号処理回路１，２，３のうちのいずれか１つの回路であり、ブラックバランス／ホワイトバランス回路２２から調整後のＲＧＢ信号を入力する。そして、信号処理回路１，２，３は、１回目のリニアマトリクスの色補正処理を行い、ダイナミックレンジ圧縮処理またはレベルダイヤ調整処理を行い、２回目のリニアマトリクスの色補正処理を行う。信号処理回路１，２，３は、ＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）を映像処理回路２３に出力する。
【０１１２】
映像処理回路２３は、信号処理回路１，２，３からＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）を入力し、ＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）の値に対し、ノイズリダクション処理、ディテール強調処理等の各種の映像処理を行う。そして、映像処理回路２３は、映像処理後のＲＧＢ信号を映像信号として出力する。
【０１１３】
以上のように、実施例４の撮像装置２０によれば、信号処理回路１，２，３を撮像装置２０に適用することができる。したがって、実施例１〜３と同様に、リニアマトリクスの色補正処理、及び、ダイナミックレンジ圧縮処理またはレベルダイヤ調整処理を行う際に、高彩度のＲＧＢ信号の階調を保つことができる。
【０１１４】
尚、図４に示した撮像装置２０は、ブラックバランス／ホワイトバランス回路２２を備えているが、必ずしもブラックバランス／ホワイトバランス回路２２を備えていなくてもよい。この場合、信号処理回路１，２，３は、撮像素子２１からＲＧＢ信号を入力する。
【０１１５】
〔実施例５〕
次に、本発明の第５の実施形態（実施例５）について説明する。前述のとおり、実施例１，２，３の信号処理回路１，２，３により、従来と同様の目的とする色補正処理が行われ、かつ、従来に比べて階調潰れが抑制されたＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）を得ることができる。
【０１１６】
しかしながら、信号処理回路１，２，３の色補正処理により色域外信号が生成され、階調潰れを十分に抑制することができない場合がある。ここで、色域外信号とは、色補正処理が施された後のＲＧＢ信号のそれぞれの信号において、当該信号の何れかの値が色域の所定範囲に含まれず、所定範囲の最小値である基準値よりも小さい値（例えば負値）の信号をいう。
【０１１７】
図１２は、図１に示した実施例１の信号処理回路１における信号値の変移、すなわち後述する色域外信号処理部３０による色域外信号処理がない場合の信号値の変移を説明する図である。青が支配的な被写体光のＲＧＢ信号が信号処理回路１に入力されるものとする。
【０１１８】
図１２（ａ）〜（ｄ）において、横軸は入射光強度を示し、縦軸はＲＧＢ信号の信号値を示す。図１２（ａ）は、リニアマトリクス回路１０−１に入力されるＲＧＢ信号の特性を示し、図１２（ｂ）は、リニアマトリクス回路１０−１から出力され、ダイナミックレンジ圧縮回路１０２に入力されるＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）の特性を示す。また、図１２（ｃ）は、ダイナミックレンジ圧縮回路１０２により出力され、リニアマトリクス回路１１−１に入力されるＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）の特性を示し、図１２（ｄ）は、リニアマトリクス回路１１−１により出力されるＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）の特性を示す。図１２（ａ）（ｂ）（ｃ）に示す信号値の変移は、図５（ａ）（ｂ）（ｃ）と同様である。
【０１１９】
図１２（ｄ）を参照して、信号処理回路１の色補正処理により生成されるＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）において、Ｒ，Ｇ信号の信号値の潜り込みが発生し、信号値が負値となる領域が存在する。具体的には、Ｂ信号がダイナミックレンジ圧縮回路１０２によって抑制された入射光強度の領域に、Ｒ，Ｇ信号が負値から正値へ変化する所定位置（点Ｐ２）があり、これよりも左側の領域では、Ｒ，Ｇ信号の信号値は負値となる。
【０１２０】
したがって、点Ｐ１と点Ｐ２との間の入射光強度の領域（Ｂ信号の信号値が抑制された開始点からＲ，Ｇ信号の信号値が負値から正値に変化する点までの間の領域）において、Ｂ信号の信号値に変化がなく、Ｒ，Ｇ信号の信号値に変化はあるが当該信号値は負値である。この領域のＲ，Ｇ信号は、色域外信号である。このため、点Ｐ１と点Ｐ２との間の入射光強度の領域では、階調潰れが生じる。後述のとおり、実施例５では、この色域外信号を基準値にクリップする。
【０１２１】
このように、信号処理回路１，２，３の色補正処理により色域外信号が生成され、点Ｐ１と点Ｐ２との間の入射光強度の領域では、階調潰れを十分に抑制することができない。つまり、高彩度のＲＧＢ信号に対して階調を保つ効果は得られるが、色域外信号が存在する所定領域では、その効果が十分ではない場合がある。
【０１２２】
そこで、実施例５では、色補正処理により色域外信号が生成されないように、色補正処理に先立って、予め色域外信号を色域範囲の基準値にクリップするようにした。
【０１２３】
図１０は、実施例５の信号処理回路の構成例を示すブロック図である。この信号処理回路４は、前述した信号処理回路１，２，３に加え、その前段に色域外信号処理部３０を備えている。信号処理回路１，２，３は、図１に示した実施例１の信号処理回路１、図２に示した実施例２の信号処理回路２、及び図３に示した実施例３の信号処理回路３のうち、いずれか１つの回路である。
【０１２４】
図１〜３に示した実施例１，２，３の信号処理回路１，２，３と図１０に示す実施例５の信号処理回路４とを比較すると、実施例５の信号処理回路４は、信号処理回路１，２，３を備えており、さらに色域外信号処理部３０を備えている点で、実施例１，２，３の信号処理回路１，２，３と相違する。
【０１２５】
色域外信号処理部３０は、リニアマトリクス回路３１，３３及びクリップ回路３２を備えている。リニアマトリクス回路３１は、ＲＧＢ信号を入力し、ＲＧＢ信号の値に対し、予め設定された３行３列の行列ＬＭorgを掛け合わせることで、リニアマトリクスの色補正処理を行う。行列ＬＭorgは、前記数式（３）（６）のとおり、後段の信号処理回路１，２，３全体で施されるリニアマトリクス係数からなる行列であり、行列ＬＭ２と行列ＬＭ１との積の値が用いられる。これにより、後段の信号処理回路１，２，３による色補正処理にて得られる出力信号が再現される。
【０１２６】
リニアマトリクス回路３１は、リニアマトリクスの色補正処理後のＲＧＢ信号（Ｒ１，Ｇ１，Ｂ１信号）をクリップ回路３２に出力する。
【０１２７】
クリップ回路３２は、リニアマトリクス回路３１からリニアマトリクスの色補正処理が行われたＲＧＢ信号（Ｒ１，Ｇ１，Ｂ１信号）を入力し、ＲＧＢ信号（Ｒ１，Ｇ１，Ｂ１信号）のそれぞれの信号に対して、予め設定された基準値よりも小さい信号である色域外信号を基準値にクリップする処理を施す。
【０１２８】
予め設定された基準値は、例えば一般的な画像信号について０が用いられる。尚、ＲＧＢ信号として取り得る色域範囲の最小の信号値が規格により定められている場合には、その最小値が基準値として用いられる。例えば、１０ビットのＳＤＩ信号の最小値は４であるから、基準値として４が用いられる。また、基準値としてマイナスの値が用いられる場合もある。
【０１２９】
クリップ回路３２は、クリップ処理後のＲＧＢ信号（Ｒ２，Ｇ２，Ｂ２信号）をリニアマトリクス回路３３に出力する。
【０１３０】
リニアマトリクス回路３３は、クリップ回路３２からクリップ処理が行われたＲＧＢ信号（Ｒ２，Ｇ２，Ｂ２信号）を入力し、予め設定された３行３列の行列ＬＭorg-1を掛け合わせることで、リニアマトリクスの色補正処理を行う。リニアマトリクス回路３３で用いる行列ＬＭorg-1は、リニアマトリクス回路３１で用いた行列ＬＭorgの逆行列である。これにより、クリップの影響を受けない色域内信号については、元の入力信号であるＲＧＢ信号が再現される。また、色域外信号については、色域内にクリップされたＲＧＢ信号が再現される。
【０１３１】
リニアマトリクス回路３３は、リニアマトリクスの色補正処理後のＲＧＢ信号（Ｒ’，Ｇ’，Ｂ’信号）を信号処理回路１，２，３に出力する。
【０１３２】
このように、色域外信号処理部３０に備えたリニアマトリクス回路３１，３３及びクリップ回路３２により、色域外信号（後段の信号処理回路１，２，３が当該信号処理回路４の入力信号であるＲＧＢ信号に対し色補正処理を行った場合に発生する色域外信号）が色域内にクリップされる。つまり、信号処理回路１，２，３にて色補正処理が行われた場合に色域外信号が発生しないように、当該信号処理回路１，２，３に入力されるＲＧＢ信号（Ｒ’，Ｇ’，Ｂ’信号）が生成される。
【０１３３】
信号処理回路１，２，３は、色域外信号処理部３０のリニアマトリクス回路３３からリニアマトリクスの色補正処理後のＲＧＢ信号（Ｒ’，Ｇ’，Ｂ’信号）を入力し、図１〜図３にて説明した同様の処理を行う。そして、信号処理回路１，２，３は、所望する色再現を実現すると共に、階調潰れが抑制されたＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）を出力する。
【０１３４】
尚、行列ＬＭorg，ＬＭorg-1は、所定の手法にて設計者の演算により得られ、予め設定される。この場合、行列ＬＭorgと行列ＬＭorg-1との積は単位行列である（ＬＭorg-1・ＬＭorg＝Ｉ、Ｉは３行３列の単位行列）。
【０１３５】
以上のように、実施例５の信号処理回路４によれば、色域外信号処理部３０のリニアマトリクス回路３１は、ＲＧＢ信号の値に対し、予め設定された行列ＬＭorgを掛け合わせることで、リニアマトリクスの色補正処理を行い、ＲＧＢ信号（Ｒ１，Ｇ１，Ｂ１信号）を生成する。クリップ回路３２は、ＲＧＢ信号（Ｒ１，Ｇ１，Ｂ１信号）のそれぞれの値に対し、予め設定された基準値よりも小さい信号を基準値にクリップし、ＲＧＢ信号（Ｒ２，Ｇ２，Ｂ２信号）を生成する。リニアマトリクス回路３３は、ＲＧＢ信号（Ｒ２，Ｇ２，Ｂ２信号）の値に対し、予め設定された行列ＬＭorg-1を掛け合わせることで、リニアマトリクスの色補正処理を行い、ＲＧＢ信号（Ｒ’，Ｇ’，Ｂ’信号）を生成する。
【０１３６】
これにより、ＲＧＢ信号（Ｒ’，Ｇ’，Ｂ’信号）に対する後段の信号処理回路１，２，３の色補正処理により、色域外信号が生成されることがない。
【０１３７】
そして、信号処理回路１，２，３は、ＲＧＢ信号（Ｒ’，Ｇ’，Ｂ’信号）の値に対し、実施例１，２，３と同様の処理を行い、ＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）を生成する。
【０１３８】
つまり、信号処理回路１，２，３の前段に設けられた色域外信号処理部３０は、信号処理回路１，２，３と同様の色補正処理を行った後にクリップ処理を行い、色域外信号を色域内の信号に変化させ、色補正処理を行う前の元のＲＧＢ信号に対応するＲＧＢ信号（Ｒ’，Ｇ’，Ｂ’信号）に戻す。そして、信号処理回路１，２，３は、このＲＧＢ信号（Ｒ’，Ｇ’，Ｂ’信号）に対して色補正処理を行い、ＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）を生成する。
【０１３９】
これにより、ＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）には、色域外信号が含まれることがなく、階調潰れを十分に抑制することができる。したがって、リニアマトリクスの色補正処理、及び、ニーまたはリミットの処理を行う際に、高彩度のＲＧＢ信号の階調を十分に保つことが可能となる。
【０１４０】
尚、実施例５の信号処理回路４は、図４に示した実施例４の撮像装置２０に適用がある。つまり、実施例４の撮像装置２０は、信号処理回路１，２，３の代わりに信号処理回路４を備えるようにしてもよい。
【０１４１】
〔実施例６〕
次に、本発明の第６の実施形態（実施例６）について説明する。実施例６は、実施例５において、色域外信号処理部３０のリニアマトリクス回路３３と、信号処理回路１，２，３のリニアマトリクス回路１０−１，１０−２とを結合し、１つのリニアマトリクス回路を構成する例である。これにより、実施例５に比べ、回路の数を少なくすることができ、全体として小型化及びコスト低減を図ることができる。
【０１４２】
図１１は、実施例６の信号処理回路の構成例を示すブロック図である。この信号処理回路５は、リニアマトリクス回路３１，４０、クリップ回路３２、ダイナミックレンジ圧縮回路１０２またはレベルダイヤ調整回路１０３、及びリニアマトリクス回路１１−１またはリニアマトリクス回路１１−２を備えている。
【０１４３】
図１０に示した実施例５の信号処理回路４と図１１に示す実施例６の信号処理回路５とを比較すると、両信号処理回路４，５は等価である。一方、信号処理回路５は、信号処理回路４のリニアマトリクス回路３３と信号処理回路１，２，３のリニアマトリクス回路１０−１，１０−２とを結合したリニアマトリクス回路４０を備えている点で、信号処理回路４と相違する。
【０１４４】
色域外信号処理部３０のリニアマトリクス回路３１及びクリップ回路３２、並びに信号処理回路１，２，３のダイナミックレンジ圧縮回路１０２、レベルダイヤ調整回路１０３及びリニアマトリクス回路１１−１，１１−２は前述のとおりであるから、説明を省略する。
【０１４５】
リニアマトリクス回路４０は、クリップ回路３２からクリップ処理が行われたＲＧＢ信号（Ｒ２，Ｇ２，Ｂ２信号）を入力し、予め設定された３行３列の行列ＬＭ１・ＬＭorg-1を掛け合わせることで、リニアマトリクスの色補正処理を行う。
【０１４６】
行列ＬＭ１は、リニアマトリクス回路１０−１，１０−２にて用いる予め設定された３行３列の行列である。行列ＬＭorg-1は、リニアマトリクス回路３３にて用いる予め設定された３行３列の行列である。リニアマトリクス回路４０では、行列ＬＭ１及び行列ＬＭorg-1の積である行列ＬＭ１・ＬＭorg-1が用いられる。
【０１４７】
リニアマトリクス回路４０は、リニアマトリクスの色補正処理後のＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）をダイナミックレンジ圧縮回路１０２またはレベルダイヤ調整回路１０３に出力する。
【０１４８】
以上のように、実施例６の信号処理回路５によれば、リニアマトリクス回路４０は、リニアマトリクス回路３３とリニアマトリクス回路１０−１，１０−２とを結合して構成され、クリップ回路３２によりクリップ処理が施されたＲＧＢ信号（Ｒ２，Ｇ２，Ｂ２信号）の値に対し、予め設定された行列ＬＭ１・ＬＭorg-1を掛け合わせることで、リニアマトリクスの色補正処理を行い、ＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）を生成する。
【０１４９】
この信号処理回路５は、実施例５のリニアマトリクス回路３３及びリニアマトリクス回路１０−１，１０−２からなる２つの回路の代わりに、これらの回路と等価の１つのリニアマトリクス回路４０を備える。
【０１５０】
これにより、実施例５と同様に、リニアマトリクスの色補正処理、及び、ニーまたはリミットの処理を行う際に、高彩度のＲＧＢ信号の階調を十分に保つことが可能となる。また、実施例５に比べ、回路の数を少なくすることができ、全体として小型化及びコスト低減を図ることができる。
【０１５１】
尚、実施例６の信号処理回路５は、図４に示した実施例４の撮像装置２０に適用がある。つまり、実施例４の撮像装置２０は、信号処理回路１，２，３の代わりに信号処理回路５を備えるようにしてもよい。
【０１５２】
次に、実施例６の信号処理回路５における信号値の変移について説明する。図１３は、図１１に示した実施例６の信号処理回路５における信号値の変移、すなわち色域外信号処理がある場合の信号値の変移を説明する図である。青が支配的な被写体光のＲＧＢ信号が信号処理回路５に入力されるものとする。
【０１５３】
図１３（ａ）〜（ｆ）において、横軸は入射光強度を示し、縦軸はＲＧＢ信号の信号値を示す。図１３（ａ）は、リニアマトリクス回路３１に入力されるＲＧＢ信号の特性を示し、図１３（ｂ）は、リニアマトリクス回路３１から出力され、クリップ回路３２に入力されるＲＧＢ信号（Ｒ１，Ｇ１，Ｂ１信号）の特性を示す。また、図１３（ｃ）は、クリップ回路３２により出力され、リニアマトリクス回路４０に入力されるＲＧＢ信号（Ｒ２，Ｇ２，Ｂ２信号）の特性を示し、図１３（ｄ）は、リニアマトリクス回路４０により出力され、ダイナミックレンジ圧縮回路１０２に入力されるＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）の特性を示す。
【０１５４】
また、図１３（ｅ）は、ダイナミックレンジ圧縮回路１０２により出力され、リニアマトリクス回路１１−１に入力されるＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）の特性を示し、図１３（ｆ）は、リニアマトリクス回路１１−１により出力されるＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）の特性を示す。
【０１５５】
図１３（ａ）に示すＲＧＢ信号に対し、リニアマトリクス回路３１により、行列ＬＭorgを用いてリニアマトリクスの色補正処理が行われ、図１３（ｂ）に示すＲＧＢ信号（Ｒ１，Ｇ１，Ｂ１信号）が生成される。これにより、Ｂ信号の信号値が大きくなり、Ｒ，Ｇ信号の信号値が小さくなって色域外信号となる。
【０１５６】
図１３（ｂ）に示すＲＧＢ信号（Ｒ１，Ｇ１，Ｂ１信号）のそれぞれに対し、クリップ回路３２により、基準値（０値）よりも小さい信号（負値の信号）が基準値にクリップされ、図１３（ｃ）に示すＲＧＢ信号（Ｒ２，Ｇ２，Ｂ２信号）が生成される。これにより、負値のＲ，Ｇ信号である色域外信号は、基準値である０値にクリップされる。
【０１５７】
図１３（ｃ）に示すＲＧＢ信号（Ｒ２，Ｇ２，Ｂ２信号）に対し、リニアマトリクス回路４０により、行列ＬＭ１・ＬＭorg-1を用いてリニアマトリクスの色補正処理が行われ、図１３（ｄ）に示すＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）が生成される。これにより、ＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）は、図１３（ｂ）よりも彩度の落ちた信号となる。
【０１５８】
図１３（ｄ）に示すＲＧＢ信号（Ｒmid，Ｇmid，Ｂmid信号）に対し、ダイナミックレンジ圧縮回路１０２により、ダイナミックレンジ圧縮処理が行われ、図１３（ｅ）に示すＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）が生成される。図１３（ｅ）は、図５（ｃ）及び図１２（ｃ）に対応している。
【０１５９】
図１３（ｅ）に示すＲＧＢ信号（Ｒmid’，Ｇmid’，Ｂmid’信号）に対し、リニアマトリクス回路１１−１により、行列ＬＭ２を用いてリニアマトリクスの色補正処理が行われ、図１３（ｆ）に示すＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）が生成される。これにより、図１３（ｆ）に示すＲ，Ｇ信号（Ｒfin，Ｇfin信号）は、図１２（ｄ）に示したＲ，Ｇ信号（Ｒfin，Ｇfin信号）と異なり、負値を含まない信号となる。したがって、Ｒ，Ｇ信号の信号値の潜り込みを回避することができ、負値の信号値に起因する階調潰れを抑制することが可能となる。
【０１６０】
（実施例６の実験結果）
次に、実施例６の計算機シミュレーションによる実験結果について説明する。図１４は、高彩度のＲＧＢ信号を入力したときの実施例６の実験結果を説明する図である。（１）は、図７に示した従来技術の信号処理回路１００による信号値の変化を示し、（２）は、（１）における映像信号の変化を示す。また、（３）は、図１に示した実施例１の信号処理回路１による信号値の変化を示し、（４）は、（３）における映像信号の変化を示す。そして、（５）は、図１１に示した実施例６の信号処理回路５による信号値の変化を示し、（６）は、（５）における映像信号の変化を示す。
【０１６１】
図１４（１）（３）及び（５）において、横軸は入射光強度を示し、縦軸はＲＧＢ信号の信号値を示す。このＲＧＢ信号は、それぞれ信号処理回路１００，１，５の出力信号、すなわちＲＧＢ信号（Ｒfin，Ｇfin，Ｂfin信号）である。また、図１４（２）（４）及び（６）において、横軸は図１４（１）（３）及び（５）と同じ入射光強度を示す。図１４（２）（４）及び（６）は、入射光強度の全範囲における階調を示している。
【０１６２】
図１４（１）〜（６）は、図６（１）〜（４）と同様に、従来技術の信号処理回路１００にて用いる行列ＬＭorgと、実施例１の信号処理回路１及び実施例６の信号処理回路５にて用いる行列ＬＭ１，ＬＭ２の積とを同一とした場合の実験結果である。また、従来技術の信号処理回路１００にて用いる行列ＬＭorgと、実施例６の信号処理回路５にて用いる行列ＬＭorgとは同一である。
【０１６３】
青が支配的な被写体光のＲＧＢ信号が撮像素子から出力されるものと仮定し、当該ＲＧＢ信号が、それぞれ信号処理回路１００，１，５に入力されるものとする。
【０１６４】
図１４（１）から、従来技術では、入射光強度が約８０以上かつ６００以下の範囲において、ダイナミックレンジ圧縮処理によりＢ信号の信号値が抑えられているが、Ｒ，Ｇ信号の信号値は増加しておらず、信号値全体として停滞していることがわかる。このため、図１４（２）に示すように、映像信号の階調が潰れている。
【０１６５】
また、図１４（３）から、実施例１のＢ信号の信号値は、入射光強度が約８０以上かつ６００以下の範囲において、ダイナミックレンジ圧縮処理により抑えられ、Ｒ，Ｇ信号の信号値は、入射光強度が約２５０以上かつ６００以下の範囲において、それぞれ増加しており、入射光強度が高くなるほど、白色に近づいていることがわかる。
【０１６６】
しかしながら、実施例１のＲＧＢ信号全ての信号値は、入射光強度が約８０以上かつ約２５０以下の範囲において変化がない（この範囲のＲ，Ｇ信号は、図１２（ｄ）に示したように、色域外信号となっている）。このため、図１４（４）に示すように、映像信号は、全範囲に渡って階調の変化は見られるものの、一部の範囲（入射光強度が約８０以上かつ約２５０以下の範囲）では階調の変化がなく、部分的な階調潰れが発生している。
【０１６７】
これに対し、図１４（５）から、実施例６のＢ信号の信号値は、入射光強度が約８０以上かつ６００以下の範囲において、ダイナミックレンジ圧縮処理により抑えられ、Ｒ，Ｇ信号の信号値は、入射光強度が約１１０以上かつ６００以下の範囲において、それぞれ増加しており、入射光強度が高くなるほど、白色に近づいていることがわかる。このため、図１４（６）に示すように、映像信号は、図１４（４）よりも広い範囲で階調の変化が見られ、潰れのない自然な階調が保たれている。
【０１６８】
このように、実施例１は、従来技術に比べて階調潰れを抑制することができ、実施例６は、実施例１に比べて階調潰れを一層抑制することができる。
【０１６９】
尚、本発明の実施例１，２，３，５，６による信号処理回路１，２，３，４，５のハードウェア構成としては、通常のコンピュータを使用することができる。信号処理回路１，２，３，４，５は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。信号処理回路１に備えたリニアマトリクス回路１０−１，１１−１及びダイナミックレンジ圧縮回路１０２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、信号処理回路２に備えたリニアマトリクス回路１０−２，１１−２及びダイナミックレンジ圧縮回路１０２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、信号処理回路３に備えたリニアマトリクス回路１０−１，１１−１及びレベルダイヤ調整回路１０３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【０１７０】
また、信号処理回路４に備えたリニアマトリクス回路３１，３３及びクリップ回路３２等の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。さらに、信号処理回路５に備えたリニアマトリクス回路３１，４０及びクリップ回路３２等の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【０１７１】
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【０１７２】
また、本発明の実施例１，２，３，５，６において、図１に示した実施例１の信号処理回路１のリニアマトリクス回路１０−１からリニアマトリクス回路１１−１までの各構成部の処理、図２に示した実施例２の信号処理回路２のリニアマトリクス回路１０−２からリニアマトリクス回路１１−２までの各構成部の処理、図３に示した実施例３の信号処理回路３のリニアマトリクス回路１０−１からリニアマトリクス回路１１−１までの各構成部の処理、図１０に示した実施例５の信号処理回路４のリニアマトリクス回路３１から信号処理回路１，２，３に備えたリニアマトリクス回路１１−１，１１−２までの各構成部の処理、及び、図１１に示した実施例６の信号処理回路５のリニアマトリクス回路３１からリニアマトリクス回路１１−１，１１−２までの各構成部の処理は、それぞれ信号処理回路１，２，３，４，５に搭載される集積回路であるＬＳＩのチップにより実現されるようにしてもよい。これらは、個別に１チップ化されていてもよいし、これらの一部または全部が１チップ化されていてもよい。
【０１７３】
また、ＬＳＩの代わりに、集積度の異なるＶＬＳＩ、ＵＬＳＩ等のチップにより実現されるようにしてもよい。さらに、ＬＳＩ等のチップに限るものではなく、専用回路または汎用プロセッサを用いるようにしてもよいし、ＦＰＧＡ（Field Programmable Gate Array）を用いるようにしてもよい。
【符号の説明】
【０１７４】
１，２，３，４，５，１００  信号処理回路
１０，１１，３１，３３，４０，１０１  リニアマトリクス回路
２０  撮像装置
２１  撮像素子
２２  ブラックバランス／ホワイトバランス回路
２３  映像処理回路
３０  色域外信号処理部
３２  クリップ回路
１０２  ダイナミックレンジ圧縮回路
１０３  レベルダイヤ調整回路
【図１】
2018142947.tif 000018
【図２】
2018142947.tif 000019
【図３】
2018142947.tif 000020
【図４】
2018142947.tif 000021
【図５】
2018142947.tif 000022
【図６】
2018142947.tif 000023
【図７】
2018142947.tif 000024
【図８】
2018142947.tif 000025
【図９】
2018142947.tif 000026
【図１０】
2018142947.tif 000027
【図１１】
2018142947.tif 000028
【図１２】
2018142947.tif 000029
【図１３】
2018142947.tif 000030
【図１４】
2018142947.tif 000031