(57)【特許請求の範囲】
【請求項１】
分光感度の異なる少なくとも３種類の画素が配列され、入射した被写体像を、少なくとも３種類の原画像成分を含む原画像データに変換する撮像素子と、
前記原画像成分からＲＧＢ色信号を生成する色信号生成部と、
前記ＲＧＢ色信号を輝度信号と色度信号とを含む色空間に変換する色空間変換部と、を有し、
前記色空間変換部は、前記原画像成分を加算することで得られる第１の強度信号を前記色空間の輝度信号として算出し、
更に、前記ＲＧＢ色信号を前記色空間に変換することで第２の強度信号を生成し、前記第２の強度信号に対する前記第１の強度信号の割合に応じて前記色度信号を補正し、
また、入射した被写体像に含まれる可視光の強度に応じて、補正された前記色度信号を修正することを特徴とする画像入力装置。
【請求項２】
前記色空間変換部は、前記可視光の強度が闘値より小さい場合、前記色度信号を修正し、前記可視光の強度が闘値以上である場合は前記色度信号を修正しないことを特徴とする請求項１に記載の画像入力装置。
【請求項３】
前記色空間変換部は、前記原画像成分を基に、入射した被写体像に含まれる赤外光の強度と可視光の強度とを比較し、前記可視光の強度に対して前記赤外光の強度が強い場合、前記色度信号を修正することを特徴とする請求項１に記載の画像入力装置。
【請求項４】
前記色空間変換部は、前記可視光の強度が闘値より小さくかつ前記可視光の強度に対して前記赤外光の強度が強い場合、前記色度信号を修正することを特徴とする請求項３に記載の画像入力装置。
【請求項５】
前記撮像素子の分光感度の異なる少なくとも３種類の画素のうちの少なくとも一つは赤外領域に感度を持つことを特徴とする請求項１〜４のいずれかに記載の画像入力装置。
【請求項６】
入射した被写体像に含まれる可視光及び非可視光の強度に応じて、補正された前記色度信号を修正することを特徴とする請求項１〜５のいずれかに記載の画像入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子により撮像された原画像データを画像処理する画像入力装置に関するものである。
【背景技術】
【０００２】
近年、夜間のシーンをカラーで撮像する撮像装置が知られている。例えば、特許文献１には、以下に述べるようなカラー画像再生装置が開示されている。かかるカラー画像再生装置は、まず、Ｒ，Ｇ、Ｂのフィルタを備える画素により撮像された画像からＲ、Ｇ、Ｂの色成分からなる可視画像データを抽出する。次に、Ｉｒのフィルタを備える画素により撮像された画像から赤外画像データを抽出する。次に、可視画像データをＨＳＶ変換して第１の輝度情報を抽出し、かつ赤外画像データから第２の輝度情報を抽出する。次に、第１の輝度情報を重み係数ｗ１で重み付け、第２の輝度情報を重み係数ｗ２（ｗ１＋ｗ２＝１）で重み付け、疑似力ラー画像を生成するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１８４８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、夜間はフォトンの量が少ないため、撮影画像のＳ／Ｎ比が小さくなるという問題があるが、特許文献１の手法では、このようなことが考慮されていない。これに対し出願人は、分光感度の異なる少なくとも３種類の画素が記列され、少なくとも３種類の原画像成分を含む原画像データを撮像する撮像素子と、前記原画像データを輝度信号と色度信号とを含む色空間に変換する色空間変換部とを備え、前記色空間変換部が、前記原画像成分を加算することで得られる第１の強度信号を前記色空間の輝度信号として算出する画像入力装置を開発した。【０００５】
かかる画像入力装置の動作を具体的に説明する。まず、ＲＧＢ色信号を輝度信号Ｙと色差信号Ｃｂ、Ｃｒを含む色空間に変換する。次に、画像成分Ｙｅ、Ｒ、ＩＲ、Ｗを加算することで得られる輝度信号Ｙａｄｄ（第１の強度信号の一例）を、変換対象となる色空間の輝度信号として算出する。ここで、輝度信号Ｙａｄｄは、加算処理により算出されているため、減算処理により輝度信号Ｙａｄｄを算出した場合に比べてノイズ成分を低くすることができる。次に、色差信号Ｃｂ、Ｃｒをスムージング処理し、色差信号Ｃｂｓ、Ｃｒｓを算出する。ここで、色差信号Ｃｂ、Ｃｒに含まれるノイズ成分がぼかされ、色差信号Ｃｂ、ＣｒのＳ／Ｎ比を向上させることができる。次に、輝度信号Ｙａｄｄの割合ＲＴ１（ＲＴ１＝Ｙａｄｄ／Ｙ）に応じて色差信号Ｃｒｓ、Ｃｂｓを補正し、以下の式に基づき色差信号Ｃｒｍ、Ｃｂｍを求める。【０００６】
Ｃｒｍ＝Ｃｒｓ×Ｙａｄｄ／Ｙ
Ｃｂｍ＝Ｃｂｓ×Ｙａｄｄ／Ｙ
最後に、輝度信号Ｙａｄｄと、色差信号Ｃｒｍ、ＣｂｍとからＲＧＢ色信号を算出する。かかる画像入力装置によれば、フォトンの量が少ない夜間においても、ノイズを低減してＳ／Ｎ比の高い輝度信号を生戌することができる。【０００７】
しかるに、かかる画像入力装置において、赤外領域では、被写体からの可視光量が少ないので、計算された色差の値が小さく、補正された信号がノイズに埋もれてしまい画像データとして信頼できない場合がある。又、可視光と赤外成分を加算することで得られる輝度信号Ｙａｄｄは、可視光の輝度信号Ｙより値が大きくなり、Ｙａｄｄに合わせて計算された色差信号Ｃｒｍ、Ｃｂｍも可視光の色差信号Ｃｂ，Ｃｒより高くなるため、処理後の画像では色が鮮やかになり、視認しやすくなる。しかし、赤外成分が可視光より著しく大きい場合は、色差信号Ｃｒｍ、Ｃｂｍが高くなりすぎて、人間が視認する被写体の色との間で違和感が生じてしまうことがある。【０００８】
本発明の目的は、フォトンの量が少ない夜間においても、画像のＳ／Ｎ比の高い輝度信号を生成することができ、しかも違和感の少ない画像を提供できる画像入力装置を提供することである。
【課題を解決するための手段】
【０００９】
請求項１に記載の画像入力装置は、
分光感度の異なる少なくとも３種類の画素が配列され、入射した被写体像を、少なくとも３種類の原画像成分を含む原画像データに変換する撮像素子と、
前記原画像成分からＲＧＢ色信号を生成する色信号生成部と、
前記ＲＧＢ色信号を輝度信号と色度信号とを含む色空間に変換する色空間変換部と、を有し、
前記色空間変換部は、前記原画像成分を加算することで得られる第１の強度信号を前記色空間の輝度信号として算出し、
更に、前記ＲＧＢ色信号を前記色空間に変換することで第２の強度信号を生成し、前記第２の強度信号に対する前記第１の強度信号の割合に応じて前記色度信号を補正し、
また、入射した被写体像に含まれる可視光の強度に応じて、補正された前記色度信号を修正することを特徴とする。【００１０】
本発明によれば、撮像素子により少なくとも３種頬の原画像成分を含む原画像データが撮像される。そして、色空間変換部は、原画像データを構成する原画像成分を加算することで第１の強度信号を生成し、この第１の強度画像信号を色空間の輝度信号とし算出している。そのため、フォトンの量が少ない夜間においても、Ｓ／Ｎ比の高い輝度信号を生成することができる。更に、色空間変換部は、ＲＧＢ色信号を色空間変換することで第２の強度信号を生成し、この第２の強度信号に対する第１の強度信号の割合を算出し、この割合に応じて色度信号を補正している。そのため色空間変換部は、変換対象となる色空間でバランスの取れた色度信号と輝度信号とを生成することができる。それに加えて、例えば原画像成分において可視光輝度信号が比較的低く赤外成分が支配的になる場合は、色度信号（例えば加算輝度の色差信号）を所定の関数を用いて修正することにより、色度信号が高くなりすぎることを防ぎ、本来の可視光に近い違和感の少ないより自然な色再現をすることができる。「可視光の強度に応じて色度信号を修正する」例としては、例えば輝度信号Ｙの値に応じて０から１の間で変化する関数ｆ（Ｙ）を用いて色度信号を修正することがあるが、それに限られない。【００１１】
請求項２に記載の画像入力装置は、前記色空間変換部が、前記可視光の強度が闘値より小さい場合、前記色度信号を修正し、前記可視光の強度が闘値以上である場合は前記色度信号を修正しないことを特徴とする。例えば赤外成分の低い領域に対し処理をしないことにより、処理速度を向上することができる。【００１２】
請求項３に記載の画像入力装置は、前記色空間変換部が、前記原画像成分を基に、入射した被写体像に含まれる赤外光の強度と可視光の強度とを比較し、前記可視光の強度に対して前記赤外光の強度が強い場合、前記色度信号を修正することを特徴とする。例えば前記撮像素子に入射する被写体像において赤外成分が可視光より支配的になる場合は、色度信号を修正することにより、色度信号が高くなりすぎることを防ぎ、本来の可視光に近い違和感の少ないより自然な色再現をすることができる。【００１３】
請求項４に記載の画像入力装置は、前記色空間変換部が、前記可視光の強度が闘値より小さくかつ前記可視光の強度に対して前記赤外光の強度が強い場合、前記色度信号を修正することを特徴とする。例えば赤外成分の低い領域に対し処理をしないことにより、処理速度を向上することができる。【００１４】
請求項５に記載の画像入力装置は、前記撮像素子の分光感度の異なる少なくとも３種類の画素のうちの少なくとも一つは赤外領域に感度を持つことを特徴とする。前記撮像素子の画素からの信号に赤外成分を必ず持たせることで、処理の正確さを保障する。【００１５】
請求項６に記載の画像入力装置は、入射した被写体像に含まれる可視光及び非可視光の強度に応じて、補正された前記色度信号を修正することを特徴とする。これにより、クロマサプレス処理が可能となる。「クロマサプレス処理」とは、偽色の発現を抑えて良好な色再現を図る彩度補正処理であり、例えば特開２００７−１９５１２２号公報に記載されている。
【発明の効果】
【００１６】
本発明によれば、原画像データを構成する原画像成分を加算することで第１の強度信号が生成され、この第１の強度信号が変換対象となる色空間の輝度信号として算出されている。そのため、フォトンの量の少ない夜間においても、Ｓ／Ｎ比の高い輝度信号を生成することができる。【００１７】
また、色度信号を適切に修正することにより、本来の可視光に近い違和感の少ないより自然な色再現をすることができる。
【図面の簡単な説明】
【００１８】
【図１】実施の形態１にかかる画像入力装置１のブロック図を示す図である。
【図２】撮像素子３の画素の配列を示す図である。
【図３】Ｙｅ、Ｒ、ＩＲフィルタの分光透過特性を示した図であり、縦軸は透過率（感度）を示し、横軸は波長（ｎｍ）を示している。
【図４】画像処理部４の詳細な構成を示すブロック図である。
【図５】ノイズ成分の分布を示すグラフである。
【図６】図６（ａ）は、減算処理されたノイズ成分を示す表であり、図６（ｂ）は加算処理されたノイズ成分を示す表である。
【図７】輝度信号Ｙに応じて０から１の間で変化する所定の関数ｆ（Ｙ）の例を示すグラフである。
【図８】実施の形態１にかかる画像入力装置１の動作を示すフローチャートである。
【図９】実施の形態２にかかる画像入力装置１の動作を示すフローチャートである。
【図１０】赤外成分ＩＲＰに応じて０から１の間で変化する関数ｆ（ＩＲＰ）の一例を示すグラフである。
【図１１】実施の形態１の変形例にかかる画像入力装置１の動作を示すフローチャートである。
【図１２】入射光に基づく輝度信号Ｙと赤外光量ＩＲとをプロットした図である。
【発明を実施するための形態】
【００１９】
（実施の形態１）
以下、本発明の実施の形態にかかる画像入力装置１について説明する。図１は、実施の形態１にかかる画像入力装置１のブロック図である。図１に示すように画像入力装置１は、レンズ２、撮像素子３、画像処理部４、及び制御部５を備えている。ここで、画像入力装置１は、例えば車両に搭載され、車両の周囲の被写体を撮像する用途に用いられる。
【００２０】
レンズ２は、被写体の光像を取り込み、撮像素子３へ導く光学レンズ系から構成される。光学レンズ系としては、被写体の光像の光軸Ｌに沿って直列的に配置される、例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック等を採用することができる。また、レンズ２は、透過光量を調節するための絞り（図略）、シャッタ（図略）等を備え、制御部５の制御の下、絞り及びシャッタの駆動が制御される。
【００２１】
撮像素子３は、ＰＤ（フォトダイオード）からなる受光部と、受光部により光電変換された信号を出力する出力回路と、撮像素子３を駆動する駆動回路とを含み、光量に応じたレベルを有する原画像データを生成する。ここで、撮像素子３としては、ＣＭＯＳイメージセンサ、ＶＭｌＳイメージセンサ、及びＣＣＤイメージセンサ等の種々の撮像センサを採用することができる。
【００２２】
本実施の形態において、撮像素子３は、被写体の光像を入射して、カラーフィルタを備える画素により可視カラー画像成分を変換出力し、赤外フィルタを備える画素により赤外画像成分を変換出力し、フィルタを備えない画素により可視輝度画像成分と赤外画像成分とを含む輝度画像成分を変換出力するようになっている。
【００２３】
画像処理部４は、演算回路及び演算回路の作業領域として用いられるメモリ等を含み、撮像素子３から出力された原画像データをＡ／Ｄ変換してデジタル信号に変換し、後述する画像処理を実行した後、例えば図略のメモリや表示装置に出力する。
【００２４】
制御部５は、ＣＰＵ及びＣＰＵが実行するプログラムを格納するメモリ等を含み、外部からの制御信号に応答し、画像入力装置１の全体制御を司る。
【００２５】
図２は、撮像素子３の画素の配列を示す図である。図２に示すように撮像素子３には、可視波長領域と赤外波長領域とを有感度波長帯域とするＹｅ画素（第１の画素）、Ｒ画素（第２の画素）、ＩＲ画素（第３の画素）、及びＷ画素（第４の画素）とを含む単位画素部３１がマトリックス状に配列されている。尚、例えば「Ｙｅ」画素とは、「Ｙｅ」フィルタを有する画素の意味であり、以下同様とする。
【００２６】
図２の場合、単位画素部３１において、第１行第１列にＲ画素が配列され、第２行第１列にＩＲ画素が配列され、第１行第２列にＷ画素が配列され、第２行第２列にＹｅ画素が配列されるというように、Ｒ画素、ＩＲ画素、Ｗ画素，及びＹｅ画素は干鳥状に配列されている。但し、これは一例であり、他のパターンでＲ画素、ＩＲ画素、Ｗ画素、及びＹｅ画素を千鳥状に配列してもよい。
【００２７】
Ｙｅ画素はＹｅフィルタ（第１のカラーフィルタ）を備えているため、Ｙｅの可視カラー画像成分である画像成分Ｙｅ（原画像成分）および赤外画像成分を出力する。Ｒ画素はＲフィルタ（第２のカラーフィルタ）を備えているため、Ｒの可視カラー画像成分である画像成分Ｒ（原画像成分）および赤外画像成分を出力する。ＩＲ画素はＩＲフィルタ（赤外フィルタ）を備えているため、赤外画像成分である画像成分ＩＲ（原画像成分）を出力する。Ｗ画素はフィルタを備えていないため、可視輝度画像成分と画像成分ＩＲとを含む輝度画像成分である画像成分Ｗ（原画像成分）を出力する。
【００２８】
図３は、Ｙｅ、Ｒ、ＩＲフィルタの分光透過特性を示した図であり、縦軸は透過率（感度）を示し、横軸は波長（ｎｍ）を示している。なお、点線で示すグラフはフィルタが取り外された状態における画素の分光感度特性を示している。この分光感度特性は、６００ｎｍ付近でピークを有し、上に凸の曲線を描いて変化していることが分かる。また、図３では、４００ｎｍ〜７００ｎｍが可視波長領域とされ、７００ｎｍ〜１１００ｎｍが赤外波長領域とされ、４００ｎｍ〜１１００ｎｍが有感度波長帯域とされている。
【００２９】
図３に示すように、Ｙｅフィルタは、可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する特性を有する。よって、Ｙｅフィルタは主にイエローの光と赤外光とを透過する。
【００３０】
Ｒフィルタは、可視波長領域の青色領域及び緑色領域を除く有感度波長帯域の光を透過する特性を有する。よって、Ｒフィルタは主に赤の光と赤外光とを透過する。
【００３１】
ＩＲフィルタは、可視波長領域を除く有感度波長帯域、すなわち赤外波長帯域の光を透過する特性を有する。Ｗはフィルタを備えていない場合を示し、画素の有感度波長帯域の光が全て透過される。
【００３２】
他に似たような特性を実現するには、Ｙｅ、Ｒ、ＩＲの代わりにＹｅ、Ｍ（マゼンタ）＋ＩＲ、Ｃ（シアン）十ＩＲ（但し、Ｍ＋ＩＲは、グリーンのみを遮蔽し、Ｃ＋ＩＲはレッドのみを遮蔽する。）でも実現可能である。ただし、Ｒ画素、ＩＲ画素、Ｙｅ画素は、分光透過特性を急峻にすることができ、例えば、Ｍ＋ＩＲフィルタやＣ＋ＩＲフィルタに比べて、分光透過特性が良好である。つまり、Ｍ＋ＩＲフィルタ及びＣ＋ＩＲフィルタは、それぞれ、有感度波長帯域のうち、中央の一部の領域である緑色領域及び赤色領域のみを遮蔽する特性を有しており、このようなフィルタに、Ｒフィルタ、ＩＲフィルタ、Ｙｅフィルタのような急峻な分光透過特性を持たせることは困難である。そのため、Ｍ＋ＩＲフィルタ及びＣ＋ＩＲフィルタは、それぞれ、演算してもＲＧＢ画像成分を精度良く抽出することができない。よって、Ｒ画素、ＩＲ画素、Ｙｅ画素、Ｗ画素で撮像素子３を構成することで、撮像素子３の高性能化を図ることができる。
【００３３】
図４は、画像処理部４の詳細な構成を示すブロック図である。画像処理部４は、色補間部４１、色信号生成部４２、色空間変換部４３、及びＲＧＢ色信号生成部４４を備えている。
【００３４】
色補間部４１は、撮像素子３から出力された画像成分Ｙｅ、画像成分Ｒ、画像成分ＩＲ、及び画像成分Ｗのそれぞれに欠落画素データを補間するための補間処理を施し、画像成分Ｒ、画像成分ＩＲ、画像成分Ｗ、及び画像成分Ｙｅのそれぞれを撮像素子３の画素数と同一画素数からなる画像データにする。なお、画像成分Ｙｅ、Ｒ、ＩＲ、Ｗに欠落画素データが発生するのは、Ｒ画素、ＩＲ画素、Ｗ画素、及びＹｅ画素が千鳥状に配列されているためである。また。補間処理としては、例えば線形補間処理を採用すればよい。
【００３５】
色信号生成部４２は、色補間部４１により補間処理が施された画像成分Ｙｅと、画像成分Ｒと、画像成分ＩＲと、画像成分Ｗとを下記式（１）により合成して、色信号ｄＲ、ｄＧ、ｄＢ（ＲＧＢ色信号）を生成する。
ｄＲ＝Ｒ−ＩＲ
ｄＧ＝Ｙｅ−Ｒ      （１）
ｄＢ＝Ｗ−Ｙｅ
色空間変換部４３は、式（２）に示すように、色信号ｄＲ，ｄＧ，ｄＢを、輝度信号Ｙ（第２の強度信号の一例）と色差信号Ｃｂ、Ｃｒ（色度信号の一例）とを含む色空間に変換する、ここで、色差信号Ｃｂは青と輝度信号Ｙの色差信号を示し、色差信号Ｃｒは赤と輝度信号Ｙの色差信号を示す。
Ｙ＝０．３ｄＲ＋０．５９ｄＧ＋０．１１ｄＢ
Ｃｂ＝−０．１７ｄＲ−０．３３ｄＧ＋０．５ｄＢ        （２）
Ｃｒ＝０．５ｄＲ−０．４２ｄＧ−０．０８ｄＢ
また、色空間変換部４３は、式（３）に示すように、画像成分Ｙｅ、Ｒ、ＩＲ、Ｗを加算することで得られる輝度信号Ｙａｄｄ（第１の強度信号の一例）を、変換対象となる色空間の輝度信号として算出する。
Ｙａｄｄ＝（１／４）ｘ（Ｒ十ＩＲ十Ｗ十Ｙｅ）        （３）
ここで、輝度信号Ｙａｄｄは、加算処理により算出されているため。減算処理により輝度信号Ｙを算出した場合に比べてノイズ成分を低くすることができる。
【００３６】
図５は、ノイズ成分の分布を示すグラフである。図６（ａ）は、減算処理されたノイズ成分を示す表であり、図６（ｂ）は加算処理されたノイズ成分を示す表である。図５において、縦軸はノイズ成分の頻度を示し、横軸はノイズ成分の強度を示している。
【００３７】
例えば、ノイズ成分ａはある画像成分Ａのノイズ成分を示し、ノイズ成分ｂはある画像成分Ｂのノイズ成分を示しているものとする。ノイズ成分ａ、ｂは、例えば１０，９を平均値として、標準偏差が同一の正規分布を有しているものとする。
【００３８】
そして、ａ−ｂを簡略化して演算すると、図６（ａ）の結果が得られる。また、（１／２）ｘ（ａ＋ｂ）を簡略化して演算すると、図６（ｂ）の結果が得られる。
【００３９】
減算処理を行った場合、図６（ａ）に示すように。ａ−ｂの最大値は３であり。最小値は−１である。よって、ノイズ成分の範囲は４となる。一方、加算処理を行った場合、図６（ｂ）に示すように、（ａ＋ｂ）／２の最大値は１０．５であり、最小値は８．５であり、ノイズ成分の範囲は２となる，この結果から、加算処理を行った方が減算処理を行った場合に比べて、ノイズ成分の範囲が小さくなり、Ｓ／Ｎ比が大幅に向上していることが分かる。なお、図５及び図６は一例にすぎず、実際のノイズ成分の値を示したものではない。
【００４０】
図４に戻り、色空間変換部４３は、式（２）で求めた色差信号Ｃｂ、Ｃｒをスムージング処理してもよい。ここで，スムージング処理としては、例えば、５×５等の比較的小サイズのローパスフィルタを用いて繰り返し処理し、色差信号Ｃｂ、Ｃｒを多重解像度化するフィルタ処理であるカスケードフィルタ処理を採用してもよい。また、比較的サイズの大きな所定サイズのローパスフィルタを用いたフィルタ処理を採用してもよい。
【００４１】
また、発光する被写体に対してはぼけることなく、エッジ以外の領域を平滑化するエッジ保存フィルタ（画素間の信号レベル差がある基準値より小さい場含に平滑化し、基準値より大きい部分は平滑化しないフィルタ）処理を採用してもよい。なお、発光していることを検出するのは、赤外成分と可視光成分とを比較することにより推測できる。
【００４２】
このように、色差信号Ｃｂ，Ｃｒにスムージング処理を行うことで、色差信号Ｃｂ、Ｃｒに含まれるノイズ成分がぼかされ、色差信号Ｃｂ、ＣｒのＳ／Ｎ比を向上させることができる。
【００４３】
また、色空間変換部４３は、式（４）に示すように、式（２）で求めた輝度信号Ｙに対する式（３）で求めた輝度信号Ｙａｄｄの割合ＲＴ１（ＲＴ１＝Ｙａｄｄ／Ｙ）に応じて色差信号Ｃｒ、Ｃｂを補正し、色差信号Ｃｒｍ，Ｃｂｍを求める。
Ｃｂｍ＝Ｃｂ×Ｙａｄｄ／Ｙ      （４）
Ｃｒｍ＝Ｃｒ×Ｙａｄｄ／Ｙ
このように割合ＲＴ１を用いて色差信号Ｃｒ，Ｃｂを補正することで、変換対象となる色空間における色差信号と輝度信号とをバランス良く算出することができる。この処理を行なわないと、色信号ｄＲ’，ｄＧ’、ｄＢ’を計算したとき、輝度信号Ｙａｄｄが輝度信号Ｙよりも大きい場合には鮮やかさが矢われ、輝度信号Ｙａｄｄが輝度信号Ｙよりも小さい場合には鮮やかさが過剰になるという問題を引き起こす恐れがある。
【００４４】
更に、色空間変換部４３は、式（５）に示すように、式（４）で求めた色差信号Ｃｒｍ、Ｃｂｍを、所定の関数ｆ（Ｙ）を用いて修正し、色差信号Ｃｒｋ，Ｃｂｋを求める。
Ｃｂｋ＝ｆ（Ｙ）×Ｃｂｍ        （５）
Ｃｒｋ＝ｆ（Ｙ）×Ｃｒｍ
図７は、輝度信号Ｙに応じて０から１の間で変化する所定の関数ｆ（Ｙ）の例を示すグラフである。図７（ａ）に示す関数ｆ（Ｙ）は、ＹｍｉｎからＹｍａｘに向かうに連れて、Ｙｍｉｎ近傍では０に近く且つ増大率が低く、中間付近では増大率が高まり、Ｙｍａｘ近傍では１に近く且つ増大率が低くなるようなものである。図７（ｂ）に示す関数ｆ（Ｙ）は、ＹｍｉｎからＹｍａｘに向かうに連れて、Ｙｍｉｎから中央まではリニアに増大し、中央からＹｍａｘまでは一定（ｆ（Ｙ）＝１）となるものである。図７（ｃ）に示す関数ｆ（Ｙ）は、Ｙｍｉｎから中央まではｆ（Ｙ）＝０であり、中央からＹｍａｘまではｆ（Ｙ）＝１となるものである。尚、関数ｆ（Ｙ）はこれに限られず、例えばバイアスをかけて用いても良い。
【００４５】
例えば原画像成分において可視光輝度信号が比較的低く赤外成分が支配的になる場合は、加算輝度の色差信号Ｃｂｍ、Ｃｒｍを、可視光の強度を示す輝度信号Ｙに応じて変化する関数ｆ（Ｙ）を用いて修正することにより、加算輝度の色差信号が高くなりすぎることを防ぎ、本来の可視光に近い違和感の少ないより自然な色再現をすることができる。
【００４６】
ＲＧＢ色信号生成部４４は、式（２）を逆変換することで、輝度信号Ｙａｄｄと、色差信号Ｃｒｋ、Ｃｂｋとから色信号ｄＲ’，ｄＧ’，ｄＢ’を算出する。具休的には、式（２）のＹをＹａｄｄとし、ＣｂをＣｂｋとし、ＣｒをＣｒｋとし、ｄＲ、ｄＧ，ｄＢをｄＲ’、ｄＧ’，ｄＢ’として、式（２）を逆変換すればよい。
【００４７】
なお、色信号ｄＲ’、ｄＧ’、ｄＢ’は、上述の処理を経て算出されたものであるため、画像成分Ｙｅ，Ｒ、ＩＲ、Ｗを減算処理することで算出された色信号ｄＲ、ｄＧ，ｄＢに比べて遙かに精度の高い色信号となっている。
【００４８】
次に、画像入力装置１の動作について説明する。図８は、実施の形態１にかかる画像入力装置１の動作を示すフローチャートである。まず、制御部５は、撮像素子３に１フレームの原画像データを撮像させる。これにより、画像成分Ｙｅ，Ｒ、ＩＲ，Ｗが得られる。
【００４９】
ここで、撮像素子３は、Ｙｅ画素により画像成分Ｙｅを出力し、Ｒ画素により画像成分Ｒを出力し、ＩＲ画素により画像成分ＩＲを出力し、Ｗ画素により画像成分Ｗを出力する。なお、画像入力装置１が動画像を撮像する場合、制御部５は、３０ｆｐｓ、６０ｆｐｓ等のフレームレートで撮像素子３に原画像データを撮像させればよい。また、画像人力装置１が静止画像を撮像する場合、制御部５は、ユーザによりレリーズボタンが押されたときに、撮像素子３に原画像データを撮像させればよい。
【００５０】
次に、色補間部４１により、画像成分Ｙｅ，Ｒ，ＩＲ，Ｗに色補間処理が施される。次に、色信号生成部４２は、式（１）に示すｄＲ＝Ｒ−ＩＲ、ｄＧ＝Ｙｅ−Ｒ、ｄＢ＝Ｗ−Ｙｅの演算を行い色信号ｄＲ，ｄＧ、ｄＢを算出する（ステップＳ１）。
【００５１】
次に、色空間変換部４３は、式（２）に示すＹ＝０．３ｄＲ＋０．５９ｄＧ＋０．１１ｄＢ、Ｃｂ＝−０．１７ｄＲ−０．３３ｄＧ＋０．５ｄＢ、Ｃｒ＝０．５ｄＲ−０．４２ｄＧ−０．０８ｄＢの演算を行い、輝度信号Ｙ、色差信号Ｃｒ，Ｃｂを算出する（ステップＳ２）。
【００５２】
但し、色空間変換部４３は、色差信号Ｃｒ，Ｃｂにスムージング処理を行っても良い。
【００５３】
次に、色空間変換部４３は、式（３）に示すＹａｄｄ＝（１／４）×（Ｒ＋ＩＲ＋Ｗ＋Ｙｅ）の演算を行い、輝度信号Ｙａｄｄを算出する（ステップＳ３）。
【００５４】
尚、本実施の形態では、式（３）に示すように、Ｒ、ＩＲ，Ｗ、Ｙｅを加算することで輝度信号Ｙａｄｄを算出したが、これに限定されず、例えば式（３’）に示すように重み付け加算することで輝度信号Ｙａｄｄを算出してもよい。
Ｙａｄｄ＝α・Ｒ＋β・ＩＲ＋γ・Ｗ＋σ・Ｙｅ      （３’）
但し、α，β，γ，σは重み付け係数であり、α＋β＋γ＋σ＝１である。また、α，β，γ，σとしては、例えば予め定められた値を採用すればよい。
【００５５】
次に、色空間変換部４３は、式（４）に示す演算を行って色差信号Ｃｒｍ，Ｃｂｍを算出する（ステップＳ４）。
【００５６】
次に、色空間変換部４３は、式（５）に示す演算を行って、色差信号Ｃｒｍ，Ｃｂｍを、関数ｆ（Ｙ）を用いて修正して、色差信号Ｃｒｋ、Ｃｂｋを算出する（ステップＳ５）。但し、色空間変換部４３は、色差信号Ｃｒｋ、Ｃｂｋにスムージング処理を行っても良い。
【００５７】
次に、ＲＧＢ色信号生成部４４は、式（２）を逆変換することで、輝度信号Ｙａｄｄ、色差信号Ｃｒｋ、Ｃｂｋから色信号ｄＲ’，ｄＧ’，ｄＢ’を算出する（ステップＳ６）。以上で画像処理が完了する。
【００５８】
このように画像入力装置１によれば、式（３）を用いて輝度信号Ｙａｄｄを算出しているため、夜間であってもＳ／Ｎ比の高い輝度信号Ｙａｄｄを算出することができる。また、色差信号Ｃｒ、Ｃｂをスムージング処理すれば、夜間であってもＳ／Ｎ比の高い色差信号Ｃｒ、Ｃｂを算出することができる。
【００５９】
次に、本実施の形態の変形例を説明する。図１１は、変形例にかかる画像入力装置１の動作を示すフローチャートである。図１２は、入射光に基づく輝度信号Ｙと赤外光量ＩＲとをプロットした図であり、その相関関係を示す近似曲線をｆ（Ｙ、ＩＲ）とする。図１１のフローチャートにて、ステップＳ１〜Ｓ４は、実施の形態１と同じであるため説明を省略する。
【００６０】
暗い被写体に赤外投光が強くあたった場合など、可視成分が小さく、赤外成分が多い領域では、上述の式（４）で、Ｃｂｍ>>Ｃｂ、Ｃｒｍ>>Ｃｒとなり、Ｃｂ、Ｃｒに含まれるノイズが拡大され、目立つという問題がある。そこで、図１１のステップＳ５’にて、上述の式（４）で求めた色差信号Ｃｒｍ、Ｃｂｍを、所定の関数ｆ（Ｙ、ＩＲ）を用いて修正し、色差信号Ｃｒｋ，Ｃｂｋを求める。すなわち、入射した被写体像に含まれる可視光及び非可視光の強度に応じて、補正された前記色度信号を修正する。
Ｃｂｋ＝ｆ（Ｙ，ＩＲ）×Ｃｂｍ          （５’）
Ｃｒｋ＝ｆ（Ｙ，ＩＲ）×Ｃｒｍ
図１２は、実際の画像からノイズが拡大され目立つ領域の輝度信号Ｙ（可視光の強度の一例）と赤外光量ＩＲ（非可視光の強度の一例）をプロットしたものである。輝度信号Ｙと赤外光量ＩＲには相関がみられる。これを所定の関数ｆ（Ｙ、ＩＲ）で表す。ｆ（Ｙ，ＩＲ）の出力は、相関の高い領域（近似係数付近）の値を小さく、それ以外を１．０にするテーブルにすれば、ノイズが目立つ領域のみ色を落せるので、ノイズのみ目立たなくなり、それ以外の色は落ちない。
【００６１】
更に、ＲＧＢ色信号生成部４４は、式（２）を逆変換することで、輝度信号Ｙａｄｄ、色差信号Ｃｒｋ、Ｃｂｋから色信号ｄＲ’，ｄＧ’，ｄＢ’を算出する（ステップＳ６’）。以上で画像処理が完了する。
（実施の形態２）
次に、実施の形態２にかかる画像入力装置を説明する。図９は、実施の形態２にかかる画像入力装置１の動作を示すフローチャートである。
【００６２】
図９のフローチャートにて、ステップＳ１〜Ｓ４は、実施の形態１と同じであるため説明を省略する。ステップＳ４に続くステップＳ０５において、輝度信号Ｙは閾値と比較される。輝度信号Ｙが閾値未満であれば、赤外領域（赤外光が支配的になっている）であると判断し、ステップＳ０６において、式（４）の変換を行うことなくＹａｄｄ、Ｃｂ、Ｃｒから直接、色信号ｄＲ’，ｄＧ’，ｄＢ’を計算する。これにより処理時間を短縮できる。一方、輝度信号Ｙが閾値以上であれば、赤外領域でないと判断し、ステップＳ０７において、Ｙａｄｄ、Ｃｂｍ、Ｃｒｍから色信号ｄＲ’，ｄＧ’，ｄＢ’を計算する。
【００６３】
次に、本実施の形態の変形例を説明する。赤外領域で色差信号を修正する際に、赤外光の強度と可視光の強度とを比較し、赤外光の強度が高い場合、色差信号Ｃｂｍ、Ｃｒｍを修正する。赤外領域の色差信号Ｃｂｋ、Ｃｒｋは式（６）により算出する。即ち色空間変換部４３は、原画像成分を基に、入射した被写体像に含まれる赤外光の強度（例えば画像成分ＩＲ）と可視光の強度（例えば輝度信号Ｙ）とを比較し、可視光の強度に対して赤外光の強度が強い場合、かつ可視光の強度が闘値より小さい場合、色差信号を修正するのである。
【００６４】
また、可視光の強度が闘値より小さい場合、色差信号を修正し、可視光の強度が闘値以上である場合は色差信号を修正しないようにしてもよい。赤外成分が可視光より支配的になる場合は、色差信号を修正することにより、色差信号が高くなりすぎることを防ぎ、本来の可視光に近い違和感の少ないより自然な色再現をすることができ、また、赤外成分の低い領域に対し修正の処理をしないことにより、処理速度を向上することができる。
【００６５】
尚、（６）式と（５）式の修正を同時に行っても良い。
Ｃｂｋ＝ｆ（ＩＲＰ）×Ｃｂｍ      （６）
Ｃｒｋ＝ｆ（ＩＲＰ）×Ｃｒｍ
ここで、ＩＲＰは赤外成分比率であり、（７）式により算出する。図１０は、赤外成分ＩＲＰに応じて０から１の間で変化する関数ｆ（ＩＲＰ）の一例を示すグラフである。関数ｆ（ＩＲＰ）は赤外成分ＩＲＰが低ければ１に近づき、高ければ０に近づくように変化する。但し、関数ｆ（ＩＲＰ）は、図１０の例に限られない。
ＩＲＰ＝ＩＲ／（Ｗ＋Ｙｅ＋Ｒ＋ＩＲ）      （７）
【産業上の利用可能性】
【００６６】
本発明は、車載カメラや監視カメラ等に適用可能であるが、用途はそれに限られない。
【符号の説明】
【００６７】
１  画像入力装置
２  レンズ
３  撮像素子
４  画像処理部
５  制御部
４１  色補間部
４２  色信号生成部
４３  色空間変換部
４４  ＲＧＢ色信号生成部
【図１】
0005397788.tif 000002
【図２】
0005397788.tif 000003
【図４】
0005397788.tif 000004
【図６】
0005397788.tif 000005
【図８】
0005397788.tif 000006
【図９】
0005397788.tif 000007
【図１１】
0005397788.tif 000008
【図１２】
0005397788.tif 000009
【図３】
0005397788.tif 000010
【図５】
0005397788.tif 000011
【図７】
0005397788.tif 000012
【図１０】
0005397788.tif 000013