(57)【要約】【課題】可視光域及び近赤外光域に感度を持つ可視光画素と、近赤外光域に感度を持つ近赤外域画素からなる撮像部を用いてカラー画像を撮像する場合に、ハイライト付近において、輝度レベルが中央部ほど高く、周辺部では徐々に低くなるように処理可能な撮像装置の提供を目的とする。【解決手段】被写体を撮像する撮像装置であって、可視光域及び近赤外光域に感度を持つ可視光域画素と、近赤外光域に感度を持つ近赤外域画素とを有する撮像部と、前記可視光域画素の信号出力と前記近赤外域画素の信号出力を用いて輝度信号を生成する輝度信号生成部と、前記可視光域画素の信号出力と前記近赤外域画素の信号出力を用いて飽和度を検出する飽和度検出部と、を具備し、前記輝度信号生成部は、前記飽和度検出部より検出された飽和度を応じて、前記輝度信号を生成することを特徴とする撮像装置である。【選択図】  図１
2014216735.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像装置であって、
可視光域及び近赤外光域に感度を持つ可視光域画素と、近赤外光域に感度を持つ近赤外域画素とを有する撮像部と、
前記可視光域画素の信号出力と前記近赤外域画素の信号出力を用いて輝度信号を生成する輝度信号生成部と、
前記可視光域画素の信号出力と前記近赤外域画素の信号出力を用いて飽和度を検出する飽和度検出部と、
を具備し、
前記輝度信号生成部は、前記飽和度検出部より検出された飽和度に応じて、前記輝度信号を生成することを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置であって、
前記輝度信号生成部は、
前記可視光域画素の信号出力と前記近赤外域画素の信号出力を用いて第一の輝度信号を生成する第一の輝度信号生成部と、
前記可視光域画素の信号出力と前記近赤外域画素の信号出力を用いて第二の輝度信号を生成する第二の輝度信号生成部と、
前記飽和度に応じて、前記第一の輝度信号生成部により生成された第一の輝度信号と前記第二の輝度信号生成部により生成された第二の輝度信号とを合成して、前記輝度信号を生成する輝度信号合成部と、
を備えることを特徴とする撮像装置。
【請求項３】
請求項１記載の撮像装置であって、
前記輝度信号生成部は、
前記可視光域画素の信号出力と前記近赤外域画素の信号出力を用いて第一の輝度信号を生成する第一の輝度信号生成部と、
前記飽和度に応じて、前記第一の輝度信号生成部により生成された第一の輝度信号と前記近赤外域画素による出力信号とを合成して、前記輝度信号を生成する輝度信号合成部と、
を備えることを特徴とする撮像装置。
【請求項４】
請求項２記載の撮像装置であって、
さらに、輝度係数を設定する制御部を備え、
前記第一の輝度信号を生成する際に前記制御部から出力される輝度係数には負の値が含まれ、
前記第二の輝度信号を生成する際に前記制御部から出力される輝度係数には負の値が含まれていないことを特徴とする撮像装置。
【請求項５】
請求項１乃至４のいずれかに記載の撮像装置であって、
前記飽和度検出部は、局所領域内の前記近赤外域画素に基づく値を前記飽和度とすることを特徴とする撮像装置。
【請求項６】
請求項１乃至４のいずれかに記載の撮像装置であって、
前記飽和度検出部は、局所領域内の前記可視光域画素に基づく値を前記飽和度とすることを特徴とする撮像装置。
【請求項７】
可視光域及び近赤外光域に感度を持つ可視光域画素と、近赤外光域に感度を持つ近赤外域画素とを有する撮像部と、
前記可視光域画素の信号出力と前記近赤外域画素の信号出力を用いて飽和度を検出する飽和度検出部と、
前記飽和度検出部により検出された飽和度に応じて、前記可視光域画素の信号出力と前記近赤外域画素の信号出力とを用いて、輝度信号を生成する輝度信号生成部と、
を有する撮像装置と、
前記撮像装置が出力する画像を表示する表示装置と、
前記撮像装置及び前記表示装置を制御するシステム制御装置と、
を備えることを特徴とする撮像システム。
【請求項８】
請求項７記載の撮像システムであって、
前記撮像装置の輝度信号生成部は、
前記可視光域画素の信号出力と前記近赤外域画素の信号出力を用いて第一の輝度信号を生成する第一の輝度信号生成部と、
前記可視光域画素の信号出力と前記近赤外域画素の信号出力を用いて第二の輝度信号を生成する第二の輝度信号生成部と、
前記飽和度に応じて、前記第一の輝度信号生成部により生成された第一の輝度信号と前記第二の輝度信号生成部により生成された第二の輝度信号とを合成して、前記輝度信号を生成する輝度信号合成部と、
を備えることを特徴とする撮像システム。
【請求項９】
請求項７記載の撮像装置であって、
前記撮像装置の輝度信号生成部は、
前記可視光域画素の信号出力と前記近赤外域画素の信号出力を用いて第一の輝度信号を生成する第一の輝度信号生成部と、
前記飽和度に応じて、前記第一の輝度信号生成部により生成された第一の輝度信号と前記近赤外域画素による出力信号とを合成して、前記輝度信号を生成する輝度信号合成部と、
を備えることを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像システムに関する。
【背景技術】
【０００２】
本技術分野の背景技術として、特許文献１がある。該公報には、「固体撮像素子１０から出力される信号ＳＲ，ＳＧ，ＳＢには赤外領域の光による電荷がノイズとして含まれる。したがって、これらの信号ＳＲ，ＳＧ，ＳＢをそのまま用いてカラー画像を構成すると、正しいカラー再現性を得ることができない。本実施の形態の構成では、信号処理部１４では、近赤外光フィルタが設けられた画素からの出力信号ＳＩＲに基づいて、出力信号ＳＲ，ＳＧ，ＳＢから近赤外光領域の成分を除去する処理を行うことができる」と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−９２２４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
可視光域及び近赤外光域に感度を持つ可視光画素と、近赤外光域に感度を持つ近赤外域画素からなる撮像部を用いてカラー画像を撮像する場合には、光量が低い箇所は輝度レベルが低く、光量が高い箇所は輝度レベルが高く撮像されることが好ましい。例えば、中央部の光量が高く画素レベルが飽和となり、周辺部では徐々に光量が低くなり画素レベルが飽和しなくなる、ハイライトと呼ばれる箇所の付近では、輝度レベルが中央部ほど高く、周辺部では徐々に低くなるのが好ましい。
【０００５】
特許文献１では、近赤外光域の不要波長成分を除去する処理を実施した場合、ＳＲ画素・ＳＧ画素・ＳＢ画素・ＳＩＲ画素から、例えば、Ｒ’＝（ＳＲ−ＳＩＲ）、Ｇ’＝（ＳＧ−ＳＩＲ）、Ｂ’＝（ＳＢ−ＳＩＲ）とし、Ｙ＝ｋ１＊Ｒ’＋ｋ２＊Ｇ’＋ｋ３＊Ｂ’（ｋ１，ｋ２，ｋ３は任意係数）により、輝度信号Ｙを求める。このとき、特許文献１の手法では、光量を序々に高くした場合に、ＳＲ・ＳＧ・ＳＢがＳＩＲよりも先に飽和するため、ハイライトの中央部付近で、輝度信号Ｙが低下する現象が発生し、改善の余地がある。
【０００６】
本発明は、ハイライトの中央部付近で輝度信号が低下する現象の発生を抑制した撮像装置を提供するものである。
【課題を解決するための手段】
【０００７】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次の通りでえある。
（１）被写体を撮像する撮像装置であって、可視光域及び近赤外光域に感度を持つ可視光域画素と、近赤外光域に感度を持つ近赤外域画素とを有する撮像部と、前記可視光域画素の信号出力と前記近赤外域画素の信号出力を用いて輝度信号を生成する輝度信号生成部と、前記可視光域画素の信号出力と前記近赤外域画素の信号出力を用いて飽和度を検出する飽和度検出部と、を具備し、前記輝度信号生成部は、前記飽和度検出部より検出された飽和度を応じて、前記輝度信号を生成することを特徴とする撮像装置である。
（２）可視光域及び近赤外光域に感度を持つ可視光域画素と、近赤外光域に感度を持つ近赤外域画素とを有する撮像部と、前記可視光域画素の信号出力と前記近赤外域画素の信号出力を用いて飽和度を検出する飽和度検出部と、前記飽和度検出部により検出された飽和度に応じて、前記可視光域画素の信号出力と前記近赤外域画素の信号出力とを用いて、輝度信号を生成する輝度信号生成部と、を有する撮像装置と、前記撮像装置が出力する画像を表示する表示装置と、前記撮像装置及び前記表示装置を制御するシステム制御装置と、を備えることを特徴とする撮像システムである。
【発明の効果】
【０００８】
本発明によれば、ハイライトの中央部付近で輝度信号が低下する現象の発生を抑制した撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る撮像装置の第一の実施例を示す図である。
【図２】本発明に係る撮像装置の第二の実施例を示す図である。
【図３Ａ】（Ｒ＋Ｉ）・（Ｇ＋Ｉ）・（Ｂ＋Ｉ）・（Ｉ）それぞれの光量に対する画素レベルの特性を示す図である。
【図３Ｂ】光量に対する輝度信号レベルの制御特性を示す図である。
【図４】撮像素子の画素構成を示す図である。
【図５】各画素の光の波長に対する分光特性の一例を示す図である。
【図６】本発明に係る撮像装置を用いた撮像システム６００を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を図面を用いて説明する。
【実施例１】
【００１１】
図１は、本発明に係る撮像装置の第一の実施例を示す図である。
撮像装置１００は、レンズ１０１と、撮像部１０２と、同時化部１０３と、ホワイトバランス（ＷＢ）部１０４と、輝度信号生成部１１５と、輝度ガンマ部１１０と、飽和度検出部１１１と、色差信号生成部１１２と、色差ガンマ部１１３と、制御部１１４とを適宜用いて構成される。
【００１２】
レンズ１０１は、被写体から来る光を結像するレンズである。
撮像部１０２は、可視光域及び近赤外光域に感度を持つ可視光域画素と、近赤外光域のみに感度を持つ近赤外域画素を用いて構成される。各画素は、レンズ１０１により結像される光に光電変換及びＡ／Ｄ変換を施し、デジタル画像である、各画素からの信号を出力する。
【００１３】
同時化部１０３は、撮像部１０２から出力される各画素からの信号に補間処理を施し、カラーの画像信号を生成して出力する。
【００１４】
ＷＢ部１０４は、同時化部１０３から出力される画像信号に、光源の色温度に応じたゲインを積算し、画像信号を出力する。
【００１５】
輝度信号生成部１１５は、ＷＢ部１０４から出力される画像信号から、輝度信号を計算し出力する。輝度信号生成部１１５は、第１輝度係数出力部１０５と、第２輝度係数出力部１０６と、第１輝度信号積和部１０７と、第２輝度信号積和部１０８と、輝度信号合成部１０９とを適宜用いて構成される。
【００１６】
第１輝度係数出力部１０５は、制御部１１４から出力される輝度係数を設定し、第１輝度信号積和部１０７に対して出力する。
【００１７】
第２輝度係数出力部１０６は、制御部１１４から出力される輝度係数を設定し、第２輝度信号積和部１０８に対して出力する。
【００１８】
第１輝度信号積和部１０７は、ＷＢ部１０４から出力される画像信号と、第１輝度係数出力部１０５から出力される第１輝度係数を積和演算し、第１輝度信号を出力する。
【００１９】
第２輝度信号積和部１０８は、ＷＢ部１０４から出力される画像信号と、第２輝度係数出力部１０６から出力される第２輝度係数を積和演算し、第２輝度信号を出力する。
【００２０】
輝度信号合成部１０９は、第１輝度信号積和部１０７から出力される第１輝度信号と、第２輝度信号積和部１０８から出力される第２輝度信号とを、飽和度検出部１１１から出力される飽和度に応じて合成して、合成輝度信号を出力する。
【００２１】
輝度ガンマ部１１０は、輝度信号合成部１０９から出力される合成輝度信号に、ガンマ処理を施して、ガンマ処理後の合成輝度信号を撮像部１００の外部に出力する。
【００２２】
飽和度検出部１１１は、ＷＢ部１０４から出力される画像信号の飽和度を検出して出力する。
【００２３】
色差信号生成部１１２は、ＷＢ部１０４から出力される画像信号から、色差信号Ｐｒ，Ｐｂを生成して出力する。
【００２４】
色差ガンマ部１１３は、色差信号生成部１１２から出力される色差信号に、ガンマ処理を施して、ガンマ処理後の色差信号を撮像装置１００の外部に出力する。
【００２５】
制御部１１４は、撮像装置１００全体を制御し、撮像装置１００の外部から入力する制御信号に基づいて、レンズ１０１、撮像部１０２、同時化部１０３、ＷＢ部１０４、輝度ガンマ部１１０、飽和度検出部１１１、色差信号生成部１１２、色差ガンマ部１１３、輝度信号生成部１１５を適宜制御する。また、制御部１１４は、第１輝度係数出力部１０５、第２輝度係数出力部１０６に輝度係数を出力する。
【００２６】
本実施例によれば、上記構成により、後述するように、飽和度検出部１１１より検出された飽和度に応じて、輝度信号合成部１０９を制御することで、ハイライトの中央部付近で輝度信号が低下する現象の発生を抑制した撮像装置１００を提供できる。
【００２７】
次に、本実施例における撮像部１０２についてその詳細を説明する。図４は、撮像部１０２に用いられる撮像素子の画素構成の一例を示した図である。同一の撮像素子上に、可視光域の赤色域（Ｒ）と近赤外光域（Ｉ）に感度を持つ可視光域画素である（Ｒ＋Ｉ）画素４０１と、可視光域の緑色域（Ｇ）と近赤外光域（Ｉ）に感度を持つ可視光域画素である（Ｇ＋Ｉ）画素４０２と、近赤外光域（Ｉ）に感度を持つ近赤外画素である（Ｉ）画素４０３と、可視光域の青色域（Ｂ）と近赤外光域に感度を持つ可視光域画素である（Ｂ＋Ｉ）画素４０４の４種類の画素が２×２画素サイズの単位構成を成しており、その単位構成が縦・横それぞれに繰り返し配置され、図４のように構成される。
【００２８】
図５は、図４で示した各画素の光の波長に対する感度特性、すなわち分光特性を示したものであり、上記の通り、（Ｒ＋Ｉ）画素４０１は可視光域の赤色域（Ｒ）と近赤外光域（Ｉ）に感度を持ち、（Ｇ＋Ｉ）画素４０２は可視光域の緑色域（Ｇ）と近赤外光域（Ｉ）に感度を持ち、（Ｉ）画素４０３は近赤外光域（Ｉ）に感度を持ち、（Ｂ＋Ｉ）画素４０４は可視光域の青色域（Ｂ）と近赤外光域に感度を持つことを示す。
【００２９】
輝度信号を求める場合には、人間の目の輝度に対する感度特性の再現性の観点から、近赤外光域（Ｉ）の成分は不要波長成分とされる場合がある。そのような場合には、図５の各画素に含まれる近赤外光域（Ｉ）に対する感度はほぼ同じであると仮定すると、例えば、可視光域画素（Ｒ＋Ｉ）画素から近赤外画素（Ｉ）を減算すれば、赤色域（Ｒ）のみに感度を持つ信号を得ることができる。緑色域（Ｇ）・青色域（Ｂ）についても同様である。また、もし各画素に含まれる近赤外画素（Ｉ）の感度が異なる場合であったとしても、減算する際の係数（後述する輝度係数）を調整することで、近赤外画素（Ｉ）の成分を少なくすることができる。
【００３０】
次に、本実施例に係る撮像装置１００の具体的な動作について説明する。ＷＢ部１０４から出力する画像信号は色ごとに存在するが、ある座標における画像信号の画素レベルを、図１に示す通り、（Ｒ＋Ｉ）、（Ｇ＋Ｉ）、（Ｉ）、（Ｂ＋Ｉ）のように表記する。このとき、第１輝度信号積和部１０７の出力する第１輝度信号Ｙ１は下記（数１）のように計算される。
（数１）Ｙ１＝  ｋｒ１×（Ｒ＋Ｉ）＋ｋｇ１×（Ｇ＋Ｉ）
＋ｋｂ１×（Ｂ＋Ｉ）＋ｋｉ１×（Ｉ）
ここで、ｋｒ１，ｋｇ１，ｋｂ１，ｋｉ１は第１輝度係数出力部１０５に設定される任意の係数（Ｙ１の輝度係数）である。上式（数１）は、式変形により、下式（数２）のようになる。
（数２）Ｙ１＝  ｋｒ１×（（Ｒ＋Ｉ）−（Ｉ））
＋ｋｇ１×（（Ｇ＋Ｉ）−（Ｉ））
＋ｋｂ１×（（Ｂ＋Ｉ）−（Ｉ））
＋（ｋｒ１＋ｋｇ１＋ｋｂ１＋ｋｉ１）×（Ｉ）
つまり、（ｋｒ１＋ｋｇ１＋ｋｂ１＝−ｋｉ１）であれば、輝度信号を求めるにあたって、不要波長成分を除去していることと等価になる。また、ｋｒ１，ｋｇ１，ｋｂ１に関しては、例えばＩＴＵ−Ｒ  ＢＴ．７０９などの規格に基づいたＲＧＢ−輝度信号変換式に係数を設定することができる。例えば、下記（数３）のように設定することで、（Ｒ＋Ｉ）、（Ｇ＋Ｉ）、（Ｂ＋Ｉ）のいずれも飽和していないときには、Ｙ１に近赤外光域の不要波長成分が現れるのを防ぐことができる。
（数３）    ｋｒ１＝０．２１２６，  ｋｇ１＝０．７１５２，
ｋｂ１＝０．０７２２，  ｋｉ１＝−１．０
また、第２輝度信号積和部１０８の出力する第２輝度信号Ｙ２は下記（数４）のように計算される。
（数４）Ｙ２＝  ｋｒ２×（Ｒ＋Ｉ）＋ｋｇ２×（Ｇ＋Ｉ）
＋ｋｂ２×（Ｂ＋Ｉ）＋ｋｉ２×（Ｉ）
ここで、ｋｒ２，ｋｇ２，ｋｂ２，ｋｉ２は第２輝度係数出力部１０６に設定される任意の係数（Ｙ２の輝度係数）である。ただし、Ｙ２の輝度係数については、後述する弊害を発生させないようにｋｉ２≧０）という制約をつける。例えば、ｋｒ２＝ｋｒ１，ｋｇ２＝ｋｇ１，ｋｂ２＝ｋｂ１，ｋｉ２＝０に変更したものを設定する。具体的には例えば下記（数５）のように設定する。
（数５）    ｋｒ２＝０．２１２６，  ｋｇ１＝０．７１５２，
ｋｂ２＝０．０７２２，  ｋｉ１＝０．０
図３Ａ、図３Ｂは、本実施例における、光量に対する輝度信号レベルの制御特性の例を示す図である。この例では、図３Ａのように、（Ｒ＋Ｉ）・（Ｇ＋Ｉ）・（Ｂ＋Ｉ）・（Ｉ）の順に画素レベルが高く、早く光量を上げると早く飽和する場合を想定している。
【００３１】
図３Ｂで、第１輝度信号Ｙ１の特性は、折れ線３１２のようになる。すなわち、光量を０から序々に上げていくと、光量が低い区間（ａ）（ｂ）では光量に比例して輝度信号レベルが上がるが、光量が高くなった区間（ｃ）（ｄ）では輝度信号レベルが低下し、すべての画素が飽和した区間（ｅ）では輝度信号レベルが０となる。このため、被写体の中にハイライトがあった場合、ハイライトの中央部付近で第１輝度信号Ｙ１が低下する現象が発生し、もし第１輝度信号Ｙ１をそのまま輝度ガンマ部１１０の入力とした場合には、実際に明るい部分が暗く見える画像になる。この弊害は、第１輝度信号Ｙ１の輝度係数に、負の値が含まれているために発生する。
【００３２】
一方、第２輝度信号Ｙ２の特性は、図３Ｂの折れ線３１１のようになる。すなわち、光量を０から序々に上げていくと、区間（ａ）（ｂ）（ｃ）では輝度信号レベルは単調増加となり、画素（Ｒ＋Ｉ）・（Ｇ＋Ｉ）・（Ｂ＋Ｉ）が飽和した区間（ｄ）（ｅ）では、輝度レベルの最大値となる。この場合には、被写体の中にハイライトがあった場合であっても、ハイライトの中央部付近で輝度信号が低下する現象は発生しない。ただし、このＹ２には、赤外光域の不要波長成分が含まれる。
【００３３】
そこで、本実施例では、近赤外光域の不要波長成分を除去したＹ１と、ハイライトの中央部付近で輝度信号が低下する現象が発生しないＹ２を合成し、両方の利点を生かすために、飽和度検出部１１１と、輝度信号合成部１０９を導入している。本実施例において、飽和度とは、光量の増加に伴う、ＷＢ部１０４出力の画素レベルの高さを意味する。
【００３４】
飽和度検出部１１１は、図１に示す通り、（Ｒ＋Ｉ）（Ｇ＋Ｉ）（Ｂ＋Ｉ）（Ｉ）の４色を入力とし、例えば、（Ｉ）画素の画素レベルに応じて飽和度αを決定する。飽和度αは、注目画素の飽和度を示す０．０から１．０の間の値である。飽和度が高いほど、注目画素が飽和していることを示している。
【００３５】
例えば、飽和度αの計算式を下記（数６）とすることで、光量の増加に対応する可視光域画素の飽和の程度を輝度に反映することができる。
（数６）  α＝ｆ１（Ｒ＋Ｉ）＋ｆ２（Ｇ＋Ｉ）＋ｆ３（Ｂ＋Ｉ）
（ただし、ｆ１〜ｆ３は単調増加関数）
また、例えば、飽和度αの計算式を下記（数７）とすることで、光量が高く可視光域画素が飽和した区間（区間（ｄ））であっても、光量の増加を検出して輝度に反映することができる。
（数７）  α＝ｆ４（Ｉ）  （ただし、ｆ４は単調増加関数）
また、例えば、飽和度αの計算式を下記（数８）とすることで、光量の増加に対応する可視光域画素の飽和の程度と、可視光域画素が飽和した後の光量の増加の両方を検出して輝度に反映することができる。
（数８）  α＝ｆ１（Ｒ＋Ｉ）＋ｆ２（Ｇ＋Ｉ）＋ｆ３（Ｂ＋Ｉ）＋ｆ４（Ｉ）
また、例えば、飽和度αの計算式を下記（数９）とすることで、光量の増加に対応する可視光域画素の飽和の程度を、簡素な式で求めて、輝度に反映することができる。
（数９）  α＝Ｍａｘ（（Ｒ＋Ｉ），（Ｇ＋Ｉ），（Ｂ＋Ｉ））
（ただし、Ｍａｘは３値の最大値を求める関数）
輝度信号合成部１０９は以下（数１０）の計算をする。
（数１０）Ｙ＝（１−α）×Ｙ１＋α×Ｙ２
上式（数１０）は、輝度信号Ｙ１と輝度信号Ｙ２を、αの割合に基づいて、内分する計算となっている。
【００３６】
図３の折れ点線３１３は、輝度信号合成部１０９の出力する合成輝度信号Ｙの輝度レベルを示す。この輝度信号Ｙは、光量が低い区間（ａ）では、近赤外光域の不要波長成分が少なく、また、区間（ａ）から（ｄ）までで単調増加しているため、ハイライトの中央部付近で輝度信号が低下する現象の発生を抑制することができる。
【実施例２】
【００３７】
図２は、本発明に係る撮像装置の第二の実施例を示す図である。
撮像装置２００は、レンズ１０１と、撮像部１０２と、同時化部１０３と、ＷＢ部１０４と、輝度信号生成部２０２と、輝度ガンマ部１１０と、飽和度検出部１１１と、色差信号生成部１１２と、色差ガンマ部１１３と、制御部１１４とを適宜用いて構成される。
【００３８】
図２のレンズ１０１、撮像部１０２、同時化部１０３、ＷＢ部１０４、輝度ガンマ部１１０、飽和度検出部１１１、色差信号生成部１１２、色差ガンマ部１１３、制御部１１４は図１と同様であり、本実施例では適宜説明を省略し、図１と相違する輝度信号生成部２０２を主として説明する。
【００３９】
輝度信号生成部２０２は、ＷＢ部１０４から出力される画像信号から、輝度信号を計算し出力する。輝度信号生成部２０２は、第１輝度係数出力部１０５と、第１輝度信号積和部１０７と、輝度信号合成部２０１とを適宜用いて構成される。なお、図２の第１輝度係数出力部１０５、第１輝度信号積和部１０７は図１と同様であり、適宜説明を省略する。
【００４０】
輝度信号合成部２０２は、第１輝度信号積和部１０７から出力される第１輝度信号と、ＷＢ部１０４から出力される画像信号とを、飽和度検出部１１１から出力される飽和度に応じて合成して、合成輝度信号を出力する。
【００４１】
本実施例によれば、飽和度検出部１１１より検出された飽和度に応じて、輝度信号合成部２０１を制御することにより、ハイライトの中央部付近で輝度信号が低下する現象の発生を抑制した撮像装置２００を提供できる。
【００４２】
さらに、本実施例の図２では、実施例１の図１の構成と比較して、第２輝度係数出力部１０６及び第２信号積和部１０８が削減され、輝度信号合成部２０１も簡素化されているので、図１の場合よりも少ない回路規模で撮像装置２００を提供できる。
【００４３】
次に、本実施例に係る撮像装置２００の具体的な動作について説明する。本実施例では、実施例１の場合と同様に、第１輝度信号積和部１０７の出力する第１輝度信号Ｙ１は、下記（数１１）のように計算される。
（数１１）Ｙ１＝  ｋｒ１×（Ｒ＋Ｉ）＋ｋｇ１×（Ｇ＋Ｉ）
＋ｋｂ１×（Ｂ＋Ｉ）＋ｋｉ１×（Ｉ）
具体的には、例えば、Ｙ１の輝度係数に関しては、実施例１の場合と同様に、下記（数１２）のように設定することで、（Ｒ＋Ｉ）、（Ｇ＋Ｉ）、（Ｂ＋Ｉ）のいずれも飽和していないときには、Ｙ１に近赤外光域の不要波長成分が現れるのを防ぐことができる。
（数１２）ｋｒ１＝０．２１２６，  ｋｇ１＝０．７１５２，
ｋｂ１＝０．０７２２，  ｋｉ１＝−１．０
飽和度検出部１１１は、実施例１の場合と同様に、（Ｒ＋Ｉ）（Ｇ＋Ｉ）（Ｂ＋Ｉ）（Ｉ）の４色を入力とし、例えば、（Ｉ）画素の画素レベルに応じて飽和度αを決定する。飽和度αは、注目画素の飽和度を示す０．０から１．０の間の値である。飽和度が高いほど、注目画素が飽和していることを示している。
【００４４】
輝度信号合成部２０１は、以下（数１３）の計算を行う。
（数１３）Ｙ＝Ｙ１＋α×（Ｉ）
図２では、図１の場合と異なり、第２輝度係数出力部１０６及び第２輝度積算部１０８の出力ではなく、ＷＢ部１０４の出力する画像信号の（Ｉ）が輝度信号合成部２０１へ入力されるようになっている。
【００４５】
本実施例に係る撮像装置においても、実施例１と同様、輝度信号合成部２０１の出力する輝度信号Ｙの輝度レベルは、折れ点線３１３のように、光量が低い区間（ａ）では、近赤外光域の不要波長成分が少なく、また、区間（ａ）から（ｄ）までで単調増加するため、ハイライトの中央部付近で輝度信号が低下する現象が発生しない。
【００４６】
従って、本実施例に係る撮像装置によれば、輝度信号低下の抑制に加え、上記の通り、輝度信号合成部２０１も簡素化されているので、図１の場合よりも回路規模を少なくするという効果も奏する撮像装置を提供することができる。
【００４７】
また、本実施例の変形例として、本実施例において、ｋｉ１＝０に固定し、光量の増加に対して、飽和度αが単調に減少するように、飽和度αの計算式を設定しても同様の効果を得ることができる。この場合、第１輝度信号積和部１０７からｋｉ１×（Ｉ）の項を除去することができるので、より少ない回路規模で撮像装置２００を提供できる。
【実施例３】
【００４８】
図６は、本発明に係る撮像装置を用いた撮像システム６００を示す図である。
撮像システム６００は、撮像装置１００と、表示装置１０１と、システム制御部６０２とを用いて構成される。
【００４９】
撮像装置１００は、実施例１の図１で示した撮像装置１００と同様であるが、実施例２の図２で示した撮像装置２００を用いた構成としても良い。
【００５０】
表示装置６０１は、撮像部１００から出力される輝度信号及び色差信号を表示する、液晶モニタなどのカラー画像表示装置である。撮像装置１００と接続可能なインターフェースを持つパーソナルコンピュータやモニタテレビなど画像表示機能を持つものであれば制限はない。また、撮像装置１００から表示装置６０１への信号の送信は有線であっても無線であっても構わない。
システム制御部６０２は、撮像装置１００及び表示装置６０１を制御する。本システム制御部６０２は、パーソナルコンピュータなどにより表示装置と一体となっていても構わない。
【００５１】
本実施例によれば、撮像装置１００から出力される輝度信号に関して、ハイライトの中央部付近で輝度信号が低下する現象が発生しない、見栄えの良い画像を表示装置６０１に表示することができる、撮像システムを提供できる。
【００５２】
以上の通り、各実施例に記載した撮像装置並びに撮像システムによれば、ハイライト付近において、中央部ほど輝度レベルが高く、周辺部では輝度レベルが徐々に低くなるように処理可能な撮像装置並びに撮像システムを提供できる。
【００５３】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００５４】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００５５】
１００  撮像装置
１０１  レンズ
１０２  撮像部
１０３  同時化部
１０４  ＷＢ部
１０５  第１輝度係数出力部
１０６  第２輝度信号積和部
１０７  第１輝度係数出力部
１０８  第２輝度信号積和部
１０９  輝度信号合成部
１１０  輝度ガンマ部
１１１  飽和度検出部
１１２  色差信号生成部
１１３  色差ガンマ部
１１４  制御部
２００  撮像装置
２０１  輝度信号合成部
２０２  輝度信号生成部
３０１  区間（ａ）
３０２  区間（ｂ）
３０３  区間（ｃ）
３０４  区間（ｄ）
３０５  区間（ｅ）
３１１  第１輝度信号Ｙ１の光量−輝度信号レベル特性
３１２  第２輝度信号Ｙ２の光量−輝度信号レベル特性
３１３  合成輝度信号Ｙの光量−輝度信号レベル特性
４０１  （Ｒ＋Ｉ）画素
４０２  （Ｇ＋Ｉ）画素
４０３  （Ｉ）画素
４０４  （Ｂ＋Ｉ）画素
６００  撮像システム
６０１  表示装置
６０２  システム制御部
【図１】
2014216735.tif 000003
【図２】
2014216735.tif 000004
【図３Ａ】
2014216735.tif 000005
【図３Ｂ】
2014216735.tif 000006
【図４】
2014216735.tif 000007
【図５】
2014216735.tif 000008
【図６】
2014216735.tif 000009