(57)【特許請求の範囲】
【請求項１】
可視光と赤外光を含む波長領域において、異なる波長帯域の光束を透過させる少なくとも３種類の光学フィルタと、前記光学フィルタを透過した光束を受光して受光量に応じた信号を出力する複数の画素とを備えた撮像素子と、前記撮像素子からの信号を演算処理する演算手段とを有し、被写体から投射される光を受光して画像信号を入力する画像入力装置であって、
第１の画素群における赤外光の感度と、第２の画素群における赤外光の感度とを異ならせ、
連続的に被写体を撮像する場合において、前記第１の画素群からの信号と、前記第２の画素群からの信号とを交互に出力し、それにより主として可視光に基づく画像と、主として赤外光に基づく画像とを交互に含む複数のフレームからなる動画を形成することを特徴とする画像入力装置。
【請求項２】
前記第１の画素群における赤外光の感度は、前記第２の画素群における赤外光の感度より低く、前記第１の画素群の周囲に、前記第２の画素群が配置されていることを特徴とする請求項１に記載の画像入力装置。
【請求項３】
一画素毎に感度を異ならせることができることを特徴とする請求項１又は２に記載の画像入力装置。
【請求項４】
前記撮像素子は、境界波長未満の光を受光することによって発生した電荷を捕捉して信号に変換して出力する捕捉手段と、前記境界波長以上の光を受光することによって発生した電荷を排出する排出手段とを有する画素を含むことを特徴とする請求項１〜３のいずれかに記載の画像入力装置。
【請求項５】
前記排出手段は、前記捕捉手段よりも光の入射面から深い位置に設けられていることを特徴とする請求項４に記載の画像入力装置。
【請求項６】
前記排出手段が排出する電荷の排出量は、外部から入力されるバイアス電圧制御信号に応じて可変となっていることを特徴とする請求項４又は５に記載の画像入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像入力装置に関し、可視光から赤外光までを受光して、画像を形成するために用いられる画像入力装置に関するものである。
【背景技術】
【０００２】
例えば、夜間の監視用の監視カメラとして、赤外線を投射して被写体からの反射光を受光しモノクロ画像を形成するものが知られている。一方、昼間の監視用の監視カメラとしては、被写体から反射した自然光を受光してカラー画像を形成するものが知られている。しかるに、従来の監視カメラにおいては、夜間撮影用の撮像素子と昼間撮影用の撮像素子とで異なるものを用いているために、コストが高くなるという問題がある。
【０００３】
これに対し特許文献１には、ＲＧＢフィルタの他にＩＲフィルタを有し、可視光から赤外光までの広帯域の光を受光する撮像素子を用いて、１度の撮影で、ＲＧＢフィルタを透過した光を用いて色情報を取得し、同時にＩＲフィルタを通過した光を用いて輝度情報を取得できるカラー画像再生装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１８４８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の技術によれば、１つの撮像素子を用いて夜間撮影も昼間撮影も可能になり、モノクロ画像とカラー画像を重ね合わせることも可能になる。しかしながら、例えばハロゲンランプなどが被写体となる場合もあるが、図１に示すように、ハロゲンランプから投射されるハロゲン光は可視光成分に比べ赤外光成分が極端に多いため、同じ撮像素子で撮影を行うと、ハロゲンランプからの投射光を受光した画素において露光オーバーが生じる恐れがある。これを回避すべく全体の露光量を絞ると、可視光成分（ＲＧＢ）の信号量が顕著に低下してしまい、その結果として色度信号のＳ／Ｎ比が大きく低下し、ノイズの多いざらついた低品質の画像を形成する恐れがある。又、特許文献１に開示されたフィルタは、それぞれＲ＋ＩＲのみ、Ｇ＋ＩＲのみ、Ｂ＋ＩＲのみ、ＩＲのみ透過するという分光特性を有しているが、このような特性を有するフィルタを形成することは、現状ではかなり困難であるといえる。
【０００６】
本発明は、上述の問題に鑑みてなされたものであり、可視光から赤外光までの広帯域の光を受光する撮像素子を用いて、撮影条件に応じて適切な画像を得ることができる画像入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１の本発明の画像入力装置は、可視光と赤外光を含む波長領域において、異なる波長帯域の光束を透過させる少なくとも３種類の光学フィルタと、前記光学フィルタを透過した光束を受光して受光量に応じた信号を出力する複数の画素とを備えた撮像素子と、前記撮像素子からの信号を演算処理する演算手段とを有し、被写体から投射される光を受光して画像信号を入力する画像入力装置であって、
撮影条件に応じて、前記画素のうち特定画素において、赤外光が含まれる波長帯域の光束を受光する感度を変化させることを特徴とする。
【０００８】
第２の本発明の画像入力装置は、可視光と赤外光を含む波長領域において、異なる波長帯域の光束を透過させる少なくとも３種類の光学フィルタと、前記光学フィルタを透過した光束を受光して受光量に応じた信号を出力する複数の画素とを備えた撮像素子と、前記撮像素子からの信号を演算処理する演算手段とを有し、被写体から投射される光を受光して画像信号を入力する画像入力装置であって、
第１の画素群における赤外光の感度と、第２の画素群における赤外光の感度とを異ならせたことを特徴とする。
【発明の効果】
【０００９】
第１の本発明の画像入力装置によれば、撮影条件に応じて、前記画素のうち特定画素において、赤外光が含まれる波長帯域の光束を受光する感度を変化させるので、例えば昼間撮影の場合には一般的に可視光の入射が多いことから、特定画素としての全画素について、赤外光が含まれる波長帯域の光束を受光する感度を低下させ、それによりＳ／Ｎ比の良い高画質なカラー画像を形成し、一方、夜間撮影の場合には一般的に赤外光の入射が多いことから、特定画素としての全画素について、赤外光が含まれる波長帯域の光束を受光する感度を増大させ、それにより暗いシーンでも明瞭に被写体を撮影できる。更に、例えば夜間撮影において一部にハロゲンランプ等を含む被写体を撮影する場合もあるが、かかる場合、赤外光成分が多いハロゲン光を受光する画素を特定画素として、その特定画素のみ赤外光が含まれる波長帯域の光束を受光する感度を低減させることで適量の可視光を受光させ、他の画素については適量の赤外光を受光させることが出来、それにより単一の撮像素子を用いた場合でも、撮影条件に関わらず適正な色度情報と輝度情報とを得ることができる。
【００１０】
尚、「異なる波長帯域の光束を透過させる光学フィルタ」とは、透過させる光の波長帯域が完全に一致していない光学フィルタをいい、透過させる光の波長帯域が部分的に異なるものを含む。このような光学フィルタとしては、例えば可視光領域と赤外光領域全域を透過するＷフィルタ、可視光領域のうち緑色成分と赤色成分の領域と赤外光領域を透過するＹｅフィルタ、可視光領域のうち赤色成分の領域と赤外光領域を透過するＲｉフィルタ、赤外光領域のみを透過するＩＲフィルタの組み合わせがある。また例えば、通常の撮像素子で用いられるＲＧＢフィルタに、赤外光領域のみを透過するＩＲフィルタを組み合わせて用いることもできる。更に、「赤外光が含まれる波長帯域の光束を受光する感度を変化させる」とは、例えば赤外光が画素に入射して電荷に変換されるとき、かかる電荷の排出量（捨てる量）を受光面からの深さに応じて変化させることをいい、具体的にはより浅いところからの電荷を排出するようにすれば当該感度は低下する。
【００１１】
本発明の一態様によれば、被写体から投射される赤外光の量と可視光の量とを比較して評価値を算出し、前記評価値に基づいて前記特定画素の感度を変化させることができる。例えば上述のＷ、Ｙｅ、Ｒｉ、ＩＲフィルタを用いる場合、Ｗフィルタを通過した光を受光した画素から出力される可視光＋赤外光の量をＡとし、ＩＲフィルタを通過した光を受光した画素から出力される赤外光の量をＢとしたときに、Ｂ／Aを評価値として、かかる評価値が０．５より大きい場合には、ＩＲフィルタを通過した光を受光する画素（特定画素）の感度を、それ以外の画素の感度より低くし、一方、評価値が０．５より小さい場合には、特定画素の感度を、それ以外の画像の感度より高くすることができる。
【００１２】
本発明の一態様によれば、被写体の明るさの度合いに基づいて前記特定画素の感度を変化させることができる。例えば被写体の照度が高い場合、昼間の撮影であるとして、前記特定画素として全ての画素の前記感度を低下させ、一方、被写体の照度が低い場合、夜間の撮影であるとして、前記特定画素として全ての画素の前記感度を増大させることができる。又、被写体の一部の明るさの度合いが高い場合、明るさの度合いの高い被写体からの光束を受光する画素を前記特定画素として前記感度を低下させて、適量の可視光を受光させ、前記特定画素以外の画素においては、前記特定画素よりも高い前記感度により適量の赤外光を受光させることが出来る。被写体の明るさの度合いは、露出制御等を行う過程で推定でき、それにより評価値を算出することもできる。
【００１３】
本発明の一態様によれば、被写体から投射される光に含まれる自然光の量と人工光の量との割合を算出し、前記割合に基づいて前記特定画素の感度を変化させることができる。自然光の量と人工光の量との割合を表す値としては、前記評価値を用いることができるが、それに限られない。
【００１４】
本発明の一態様によれば、前記光学フィルタの種類に応じて前記特定画素の感度を変化させることができる。例えば赤外光のみを透過するＩＲフィルタを設けた画素の感度を変化させると好ましい。
【００１５】
本発明の一態様によれば、前記特定画素は、前記撮像素子の受光面における一部の領域に配置されることができる。例えば、定点監視カメラのような場合、ハロゲンランプが常に撮影画面上の特定位置にあるようなシーンを監視する場合もあるが、その場合、ハロゲン光が入射する画素の感度のみを低減させるようにすれば、夜間でも高画質なカラー画像を撮影できる。
【００１６】
本発明の一態様によれば、撮影条件に応じて、前記撮像素子の受光面上における前記特定画素の位置を変更可能とできる。例えば、パンやチルトが可能な監視カメラの場合、カメラの移動に応じて、ハロゲンランプなどが撮影画面上を移動するので、その移動に応じて特定画素を変えることで、ハロゲン光が入射する特定画素の感度のみを低減させることで、カメラの移動に関わらず高画質なカラー画像を撮影できる。
【００１７】
本発明の一態様によれば、前記特定画素の感度を変化させながら、連続的に被写体を撮像することにより複数のフレームからなる動画を形成することができる。前記感度の変化は連続的でも良いしステップ的でも良く、更に１枚もしくは複数のフレーム毎に周期的に全期間度を変化させても良い。
【００１８】
本発明の一態様によれば、前記特定画素の感度を変化させながら、連続的に被写体を撮像することにより、異なる条件で撮像した複数の画像から一つの画像を形成することを連続して行って動画を形成することができる。
【００１９】
本発明の一態様によれば、前記特定画素毎に、感度を異ならせることができる。かかる場合、特定画素は全画素であっても良く、また個々の特定画素毎に前記感度を変えても良く、或いは画素のグループ毎に前記感度を変えても良い。
【００２０】
本発明の一態様によれば、一画素毎に感度を異ならせることができる。
【００２１】
本発明の一態様によれば、前記撮像素子は、境界波長未満の光を受光することによって発生した電荷を捕捉して信号に変換して出力する捕捉手段と、前記境界波長以上の光を受光することによって発生した電荷を排出する排出手段とを有する画素を含むことができる。境界波長としては、赤外光と可視光とを区分する７００ｎｍ前後の波長がある。
【００２２】
本発明の一態様によれば、前記排出手段は、前記捕捉手段よりも光の入射面から深い位置に設けられている。
【００２３】
本発明の一態様によれば、前記排出手段が排出する電荷の排出量は、外部から入力されるバイアス電圧制御信号に応じて可変となっている。
【００２４】
第２の本発明によれば、第１の画素群における赤外光の感度と、第２の画素群における赤外光の感度とを異ならせたので、例えば固定された監視カメラ等でハロゲンランプ等を含む被写体を撮影する場合には、撮影画面上ハロゲンランプ等の位置が固定されるので、赤外光成分が多いハロゲン光を受光する画素を第１の画素群とし、それ以外の画素を第２の画素群として、第１の画素群のみの感度を低減させることで露出オーバーを抑制しつつ、他の画素については十分な露光量の可視光を受光させることが出来、それにより単一の撮像素子を用いた場合でも、撮影条件に関わらず適正な色度情報と輝度情報とを得ることができる。
【００２５】
本発明の一態様によれば、前記第１の画素群における赤外光の感度は、前記第２の画素群における赤外光の感度より低く、前記第１の画素群の周囲に、前記第２の画素群が配置されているようにできる。例えば監視カメラにおいて、夜間時被写体に対してライトを点灯する場合もあるが、かかる場合、被写体の中央からは可視光が反射されるが、周囲は暗いままであることが多い。そこで、被写体の中央からの可視光を受光する前記第１の画素群の感度を低くし、周囲からの光を受光する前記第２の画素群の感度を高くすることで、明るい被写体も暗い被写体も同時に監視することが可能になる。
【００２６】
本発明の一態様によれば、連続的に被写体を撮像する場合において、前記第１の画素群からの信号と、前記第２の画素群からの信号とを交互に出力し、それにより主として可視光に基づく画像と、主として赤外光に基づく画像とを交互に含む複数のフレームからなる動画を形成できるようになっている。
【発明を実施するための形態】
【００２７】
以下、図面を参照して本発明の実施の形態を詳細に説明する。図２は、本実施の形態に係る画像入力装置ＭＧの概略図である。かかる画像入力装置ＭＧは、監視カメラに用いることができるが、用途はそれに限られない。画像入力装置ＭＧは、レンズ１０１、撮像素子１０２、Ａ／Ｄ変換部１０３，画像処理部１０４、制御部１０５，電圧制御部１０６、及び電圧発生部１０７を備えている。レンズ１０１は、制御部１０５により制御される不図示の絞りやシャッタを備えている。
【００２８】
詳細は後述する撮像素子１０２は、ＰＤ（フォトダイオード）からなる受光部と、受光部により光電変換された信号を出力する出力回路と、撮像素子１０２を駆動する駆動回路とを含み、光量に応じたレベルを有する原画像データを生成する。ここで、撮像素子１０２としては、ＣＭＯＳイメージセンサ、ＶＭｌＳイメージセンサ、及びＣＣＤイメージセンサ等の種々の撮像センサを採用することができる。
【００２９】
本実施の形態において、撮像素子１０２は、カラーフィルタを備える画素により可視カラー画像成分を撮像し、赤外フィルタを備える画素により赤外画像成分を撮像し、素通しのフィルタを備えた又はフィルタのない画素により可視輝度画像成分と赤外画像成分とを含む輝度画像成分を撮像する機能を有する。
【００３０】
演算手段である画像処理部１０４は、演算回路及び演算回路の作業領域として用いられるメモリ等を含み、撮像素子１０２から出力されたアナログ信号をＡ／Ｄ変換部１０３でＡ／Ｄ変換したデジタル信号を入力して、後述する画像処理を実行した後、例えば図略のメモリや表示装置に出力する機能を有する。
【００３１】
制御部１０５は、ＣＰＵ及びＣＰＵが実行するプログラムを格納するメモリ等を含み、外部からの制御信号に応答し、画像入力装置ＭＧの全体制御を司る機能を有する。
【００３２】
画像入力装置ＭＧの動作を説明する。被写体光は、レンズ１０１を介して撮像素子１０２の受光面に受光される。被写体光は、撮像素子１０２の画素で光電変換され、入射光量に応じたアナログ信号となってＡ／Ｄ変換部１０３に入力され、デジタル信号に変換される。Ａ／Ｄ変換部１０３のデジタル信号は、画像処理部１０４に入力され、画像信号（ＲＧＢ、ＹＣＣ等）として出力され、不図示のモニタに表示されたり、メモリに記憶される。
【００３３】
一方、画像処理部１０４は、被写体の明るさ情報（明るさの度合い）や波長情報に基づいて、撮像素子のポテンシャルを制御するための露光データや光源データを作成し、制御部１０５に入力する。露光データや光源データに基づいて、制御部１０５は、電圧制御部１０６を駆動制御して、電圧発生部１０７に所定のバイアス電圧を発生させ、撮像素子に供給するようになっている。
【００３４】
図３は、本実施の形態に係る撮像素子１０２の１画素の断面構造を模式的に示す図である。この画素構造では、第１の導電体であるｐ型の基板２の表面において、素子分離領域３によって１画素分に区画された領域に、光電変換部となる第２の導電体であるｎ型のフォトダイオード４を形成したＣＭＯＳイメージセンサの例を示している。本実施の形態では、前記各フォトダイオード４の基板深部に、第２の導電体であるｎ型のキャリア排出領域５が埋込まれている。そのキャリア排出領域５は、バイアス電圧Ｂを印加するために、基板２の表面のコンタクト部６まで、垂直にｎ型領域７で接続されている。図３では、フォトダイオード４と転送ゲート８との境界部と、キャリア排出領域５の端部とが一致しているが、これに限らない。転送ゲート８によるキャリアのフローティングディフュージョン（以下、ＦＤと略称）９への完全転送が可能であれば、キャリア排出領域５は、図３よりも転送ゲート８方向に伸延されていてもよい。
【００３５】
図４は、撮像素子１０２の全体の電気的構成を示す図であり、図５はその１画素分の回路構成を示す図である。図６は、撮像素子１０２の有するフィルタＦの一部を示す概略図である。図７は、撮像素子の分光感度特性を含むフィルタＦの分光特性を示す図である。これら図３〜図７で示す構成と同等の機能を有するものであれば、図に示す構成に限らない。
【００３６】
図６に示すように、画素単位にマトリクス状に繰り返し配設される画素フィルタは、４種類のフィルタ（光学フィルタともいう）Ｗ、Ｙｅ、Ｒｉ、ＩＲからなっている。より具体的には、第１行第１列にフィルタＲｉが配列され、第２行第１列にフィルタＩＲが配列され、第１行第２列にフィルタＷが配列され、第２行第２列にフィルタＹｅが配列されるというように、フィルタＲ、フィルタＩＲ、フィルタＷ，及びフィルタＹｅは干鳥状に配列されている。但し、これは一例であり、他のパターンでフィルタＲ、フィルタＩＲ、フィルタＷ、及びフィルタＹｅを千鳥状に配列してもよい。尚、フィルタＷは素通しでもよく、その場合にはフィルタＦは３種類の光学フィルタからなる。
【００３７】
フィルタＷは、可視光と赤外光を全て透過し、フィルタＹｅは緑色光から赤外光までを透過し、フィルタＲｉは赤色と赤外光とを透過し、フィルタＩＲは赤外光のみを透過する。これらの各フィルタは、それぞれ一つの画素に対応している。図７において、フィルタ（Ｗ，Ｙｅ，Ｒｉ，ＩＲ）の分光特性の一例を示しているが、例えばフィルタＹｅは５００ｎｍ前後のカットオフ周波数を持ち、フィルタＲｉは６００ｎｍ前後にカットオフ周波数を持ち、フィルタＩＲは７００ｎｍ前後にカットオフ周波数を持つ。フィルタＷはカットオフ周波数を有していない。この様なフィルタＦは、通常、撮像装置のレンズと受光素子との間に挿入配置される。ここでは、４００ｎｍ〜７００ｎｍを可視光波長領域とし、７００ｎｍ〜１１００ｎｍを赤外光波長領域とする。
【００３８】
以上の構成のフィルタの代わりにＹｅ、Ｍ（マゼンタ）＋ＩＲ、Ｃ（シアン）十ＩＲ（但し、Ｍ＋ＩＲは、緑色光のみを遮蔽し、Ｃ＋ＩＲは赤色光のみを遮蔽する。）でも実現可能である。ただし、フィルタ（Ｙｅ，Ｒｉ，ＩＲ）は、分光透過特性が急峻にすることができ、例えば、Ｍ＋ＩＲフィルタやＣ＋ＩＲフィルタに比べて、分光透過特性が良好である。つまり、Ｍ＋ＩＲフィルタ及びＣ＋ＩＲフィルタは、それぞれ、可視光波長＋赤外光波長帯域のうち、中央の一部の領域である緑色光領域及び赤色光領域のみを遮蔽する特性を有しており、このようなフィルタに、フィルタ（Ｙｅ，Ｒｉ，ＩＲ）のような急峻な分光透過特性を持たせることは困難である。そのため、Ｍ＋ＩＲフィルタ及びＣ＋ＩＲフィルタは、それぞれ、演算してもＲＧＢ画像成分を精度良く抽出することができない。よって、フィルタ（Ｗ，Ｙｅ，Ｒｉ，ＩＲ）を用いて撮像素子１０２を構成することで、撮像素子１０２の高性能化を図ることができる。
【００３９】
図８は、画像処理部１０４の詳細な構成を示すブロック図である。画像処理部１０４は、露出補正部１０４ａ、色補間部１０４ｂ、色信号生成部１０４ｃ、色空間変換部１０４ｄ、及び光源検出部１０４ｅを備えている。
【００４０】
露出補正部１０４ａは、撮像素子１０２からの信号を入力して、露光データを生成して制御部１０５に出力する。制御部１０５（図２）は、露光データに基づき、露出が適正になるように撮像素子の露光時間等を調整する。
【００４１】
色補間部１０４ｂは、フィルタＹｅを通過した光束を受光した画素の出力信号である画像成分Ｙｅ、フィルタＲｉを通過した光束を受光した画素の出力信号である画像成分Ｒｉ、フィルタＩＲを通過した光束を受光した画素の出力信号である画像成分ＩＲ、及びフィルタＷを通過した光束を受光した画素の出力信号である画像成分Ｗのそれぞれに欠落画素データを補間するための補間処理を施し、画像成分Ｒｉ、画像成分ＩＲ、画像成分Ｗ、及び画像成分Ｙｅのそれぞれを撮像素子１０２の画素数と同一画素数からなる画像データにする。なお、画像成分Ｙｅ、Ｒｉ、ＩＲ、Ｗに欠落画素データが発生するのは、フィルタ（Ｗ，Ｙｅ，Ｒｉ，ＩＲ）が千鳥状に配列されているためである。また。補間処理としては、例えば線形補間処理を採用すればよい。
【００４２】
光源検出部１０４ｅは、色補間部１０４ｂにより補間処理が施された画像成分Ｙｅと、画像成分Ｒｉと、画像成分ＩＲと、画像成分Ｗとを入力して、これらを比較することで、評価値を算出し、これを光源データとして制御部１０５に出力する。一例として、例えば画像成分Ｗの値をＡとし、画像成分ＩＲの値をＢとしたときに、Ｂ／Ａを評価値とできる。制御部１０５は、評価値に基づき後述するバイアス電圧の値を変更して、撮像素子のポテンシャルを制御する。
【００４３】
色信号生成部１０４ｃは、色補間部１０４ｂにより補間処理が施された画像成分Ｙｅと、画像成分Ｒｉと、画像成分ＩＲと、画像成分Ｗとを式（１）により合成して、色信号ｄＲ、ｄＧ、ｄＢ（ＲＧＢ色信号）を生成する。
ｄＲ＝Ｒｉ−ＩＲ
ｄＧ＝Ｙｅ−Ｒｉ        ・・・・・（１）
ｄＢ＝Ｗ−Ｙｅ
【００４４】
色空間変換部１０４ｄは、式（２）に示すように、色信号ｄＲ，ｄＧ，ｄＢを、輝度信号Ｙ（第２の強度信号の一例）と色差信号Ｃｂ、Ｃｒ（色度信号の一例）とを含む色空間に変換する、ここで、色差信号Ｃｂは青の色差信号を示し、色差信号Ｃｒは赤の色差信号を示す。
Ｙ＝０．３ｄＲ＋０．５９ｄＧ＋０．１１ｄＢ
Ｃｂ＝ｄＢ−Ｙ                                  ・・・・・（２）
Ｃｒ＝ｄＲ−Ｙ
【００４５】
また、色空間変換部１０４ｄは、式（３）に示すように、画像成分Ｙｅ、Ｒｉ、ＩＲ、Ｗを加算することで得られ輝度信号Ｙａｄｄ（第１の強度信号の一例）を、変換対象となる色空間の輝度信号として算出する。
Ｙａｄｄ＝（１／４）ｘ（Ｒｉ十ＩＲ十Ｗ十Ｙｅ）  ・・・・・（３）
【００４６】
ここで、輝度信号Ｙａｄｄは、加算処理により算出されているため。減算処理により輝度信号Ｙを算出した場合に比べてノイズ成分を低くすることができる。
【００４７】
更に図８において、色空間変換部１０４ｄは、式（２）で求めた色差信号Ｃｂ、Ｃｒをスムージング処理し、色差信号Ｃｂｓ、Ｃｒｓを算出する。ここで，スムージング処理としては、例えば、５×５等の比較的小サイズのローパスフィルタを用いて繰り返し処理し、色差信号Ｃｂ、Ｃｒを多重解像度化するフィルタ処理であるカスケードフィルタ処理を採用してもよい。また、比較的サイズの大きな所定サイズのローパスフィルタを用いたフィルタ処理を採用してもよい。
【００４８】
また、発光する被写体に対してはぼけることなく、エッジ以外の領域を平滑化するエッジ保存フィルタ（画素間の信号レベル差がある基準値より小さい場合いに平滑化し、基準値より大きい部分は平滑化しないフィルタ）処理を採用してもよい。なお、発光していることを検出するのは、赤外成分と可視光成分とを比較することにより推測できる。
【００４９】
このように、色差信号Ｃｂ，Ｃｒにスムージング処理を行うことで、色差信号Ｃｂ、Ｃｒに含まれるノイズ成分がぼかされ、色差信号Ｃｂ、ＣｒのＳ／Ｎ比を向上させることができる。
【００５０】
また、色空間変換部１０４ｄは、式（４）に示すように、式（２）で求めた輝度信号Ｙに対する式（３）で求めた輝度信号Ｙａｄｄの割合ＲＴ１（第１の割合：ＲＴ１＝Ｙａｄｄ／Ｙ）に応じて色差信号Ｃｒｓ、Ｃｂｓを補正し、色差信号Ｃｒｍ、Ｃｂｍを求める。
Ｃｒｍ＝Ｃｒｓ×Ｙａｄｄ／Ｙ
Ｃｂｍ＝Ｃｂｓ×Ｙａｄｄ／Ｙ  ・・・・・（４）
【００５１】
このように割合ＲＴ１を用いて色差信号Ｃｒｓ，Ｃｂｓを補正することで、変換対象となる色空間における色差信号と輝度信号とをバランス良く算出することができる。この処理を行なわないと、色信号ｄＲ´、ｄＧ´、ｄＢ´を計算したとき、輝度信号Ｙａｄｄが輝度信号Ｙよりも大きい場合には鮮やかさが矢われ、輝度信号Ｙａｄｄが輝度信号Ｙよりも小さい場合には鮮やかさが過剰になる問題を引き起こす。
【００５２】
次に、画像入力装置ＭＧの動作について説明する。図９は、第１の実施の形態にかかる画像入力装置ＭＧの動作を示すフローチャートである。まず、制御部１０５は、撮像素子１０２に１フレームの原画像データを撮像させる。これにより。画像成分Ｙｅ、Ｒｉ、ＩＲ、Ｗが得られる（ステップＳ１）。
【００５３】
ここで、撮像素子１０２は、フィルタＹｅを通過した光束を受光する画素により画像成分Ｙｅを撮像し、フィルタＲｉを通過した光束を受光する画素により画像成分Ｒｉを撮像し、フィルタＩＲを通過した光束を受光する画素により画像成分ＩＲを撮像し、フィルタＷを通過した光束を受光する画素により画像成分Ｗを撮像する。なお、画像入力装置ＭＧが動画像を撮像する場合、制御部１０５は、３０ｆｐｓ、６０ｆｐｓ等のフレームレートで撮像素子１０２に原画像データを撮像させればよい。また、画像入力装置ＭＧが静止画像を撮像する場合、制御部１０５は、ユーザによりレリーズボタンが押されたときに、撮像素子１０２に原画像データを撮像させればよい。
【００５４】
次に、画像処理部１０４における色補間部１０４ｂにより、画像成分Ｙｅ，Ｒｉ，ＩＲ，Ｗに色補間処理が施される。次に、色信号生成部１０４ｃは、式（１）に示すｄＲ＝Ｒｉ−ＩＲ、ｄＧ＝Ｙｅ−Ｒｉ、ｄＢ＝Ｗ−Ｙｅの演算を行い色信号ｄＲ、ｄＧ、ｄＢを算出する（ステップＳ２）。
【００５５】
次に、色信号生成部１０４ｃは、式（２）に示すＹ＝０．３ｄＲ＋０．５９ｄＧ＋０．１１ｄＢ、Ｃｂ＝ｄＢ−Ｙ、Ｃｒ＝ｄＲ−Ｙの演算を行い、輝度信号Ｙ、色差信号Ｃｒ，Ｃｂを算出する（ステップＳ３）。
【００５６】
次に、色空間変換部１０４ｄは、色差信号Ｃｒ、Ｃｂにスムージング処理を行い、色差信号Ｃｒｓ、Ｃｂｓを算出する（ステップＳ４）。
【００５７】
次に、色空間変換部１０４ｄは、式（１）に示すＹａｄｄ＝（１／４）×（Ｒｉ＋ＩＲ＋Ｗ＋Ｙｅ）の演算を行い、輝度信号Ｙａｄｄを算出する（ステップＳ５）。
【００５８】
なお、本実施の形態では、式（１）に示すように、画像成分Ｒｉ、ＩＲ、Ｗ、Ｙｅを加算することで輝度信号Ｙａｄｄを算出したが、これに限定されず、例えば式（１）´に示すように重み付け加算することで輝度信号Ｙａｄｄを算出してもよい。
Ｙａｄｄ＝ａ・Ｒｉ＋β・ＩＲ＋γ・Ｗ＋ｓ・Ｙｅ  ・・・・（１）´
【００５９】
ここで、ａ、β、γ、ｓは重み付け係数であり、ａ＋β＋γ＋ｓ＝１である。また、ａ、β、γ、ｓとしては、例えば予め定められた値を採用すればよい。
【００６０】
次に、色空間変換部１０４ｄは、式（４）に示す演算を行って色差信号Ｃｒｍ、Ｃｂｍを算出する（ステップＳ６）。なお、図９では、色差信号Ｃｒｍ、Ｃｂｍを纏めてＣｍと表し、色差信号ＣｒＳ、Ｃｂｓを纏めてＣｓと表している。
【００６１】
尚、不図示のＲＧＢ色信号生成部が、式（２）を逆変換することで、輝度信号Ｙａｄｄ、色差信号Ｃｒｍ、Ｃｂｍから色信号ｄＲ´、ｄＧ´、ｄＢ´を算出する（ステップＳ７）。
【００６２】
このように画像入力装置ＭＧによれば、式（１）を用いて輝度信号Ｙａｄｄを算出しているため、夜間であってもＳ／Ｎ比の高い輝度信号Ｙａｄｄを算出することができる。また、色差信号Ｃｒ、Ｃｂをスムージング処理しているため、夜間であってもＳ／Ｎ比の高い色差信号Ｃｒｓ、Ｃｂｓを算出することができる。
【００６３】
更に図５を参照して、撮像素子１０２の構成を詳述する。前記フォトダイオード４で得られた電荷は、前記転送ゲート８にハイレベルの転送パルスφＴＸが与えられることで、転送トランジスタ１１がＯＮしてＦＤ９へ転送され、このＦＤ９における容量で電圧値に変換されて、増幅トランジスタ１２に入力される。増幅トランジスタ１２において、電源電圧ＶＤＤを用いて増幅された電圧は、行選択信号線ＬＨから行選択トランジスタ１３のゲートに選択信号φＶが与えられることで、該行選択トランジスタ１３がＯＮして、垂直信号線ＬＶへ出力される。一方、前記ＦＤ９に蓄積された電荷は、行選択信号線ＬＨからリセットトランジスタ１４のリセットゲート１９へハイレベルのリセットパルスφＲＳＴが与えられることで、該リセットトランジスタ１４がＯＮしてリセット電圧ＶＲＳＢにリセットされる。
【００６４】
図４を参照して、撮像素子１０２の中央部（受光面）には、多数の画素が二次元に配列されており、周縁部に配置された垂直走査回路１５が前記行選択信号線ＬＨに選択出力を与え、それによって各画素から前記垂直信号線ＬＶに出力された電圧は、水平走査回路１６の選択走査によって、読出し回路１７から順次読出される。前記垂直走査回路１５および水平走査回路１６は、シフトレジスタなどで実現される。
【００６５】
前記読出し回路１７は、各列、すなわち前記垂直信号線ＬＶに接続される２つのサンプルホールド回路ＳＨ１，ＳＨ２と、負荷トランジスタＱとを備えて構成される。前記サンプルホールド回路ＳＨ１，ＳＨ２は、スイッチＳ１，Ｓ２と、容量Ｃ１，Ｃ２と、アンプＡ１，Ａ２とを備えて構成される。前記各垂直信号線ＬＶは、スイッチＳ１，Ｓ２を介して容量Ｃ１，Ｃ２に接続され、そのホールド電圧がアンプＡ１，Ａ２を介して引算器１８に与えられる。前記各列の各アンプＡ１，Ａ２は、前記水平走査回路１６によって駆動される。
【００６６】
このような読出し回路１７において、相関二重サンプルを行うために、スイッチＳ１，Ｓ２の一方がＯＮし、各画素に前記転送パルスφＴＸが与えられることで容量Ｃ１，Ｃ２の一方に前記各画素からの出力電圧がホールドされる。また、前記スイッチＳ１，Ｓ２の他方は、各画素に前記リセットパルスφＲＳＴが与えられたときにＯＮし、各画素からの出力電圧がホールドされる。そのホールド電圧は、前記水平走査回路１６によって、各アンプＡ１，Ａ２が一対で選択されて引算器１８に与えられ、こうして引算器１８からは、ノイズの影響の少ない前記相関二重サンプル値が順次出力されてゆく。
【００６７】
図１０には、列選択期間内における上述のような画素駆動タイミングを詳細に示す。図１０（ａ）は、いわゆるローリングシャッタ駆動におけるタイミングを示す。列選択期間中は、先ずリセットゲート１９をＯＮすることで、ＦＤ９の電位がリセットされる。そのときの電位を、スイッチＳ１をＯＮすることで容量Ｃ１にサンプルホールドする。次に、転送ゲート８をＯＮすることでフォトダイオード４の蓄積時間を終了させ、蓄積電荷をＦＤ９に転送する。そのときのＦＤ９の電位を、スイッチＳ２をＯＮすることで容量Ｃ２にサンプルホールドする。電荷を転送するためにＯＮした転送ゲート８を転送後にＯＦＦしてから、次のフレームで再び電荷を転送するためにＯＮして再度ＯＦＦするまでの期間が、フォトダイオード４の電荷蓄積期間になる。
【００６８】
一方、図１０（ｂ）は、いわゆるグローバルリセット駆動におけるタイミングを示すものである。図１０（ａ）のローリングシャッタ駆動では、撮像期間のほぼ全期間がフォトダイオード４の電荷蓄積期間となるのに対して、このグローバルリセット駆動では、機械シャッタが併用され、図１０（ｂ）で示すように、撮像期間において、シャッタが開放している一部の期間が前記電荷蓄積期間となる。したがって、この電荷蓄積期間のみに前記バイアス電圧Ｂを印加することで、その電荷蓄積期間以降での転送動作や、画素部の回路特性を全画素で安定させることができる。このため、このローリングシャッタ駆動では、前記バイアス電圧Ｂの印加期間は、少なくともこの電荷蓄積期間とすればよい。
【００６９】
上述のように構成される撮像素子１０２において、ここでは各画素を複数のグループに分割するものとし、そのグループ間で、相互に異なるバイアス電圧Ｂを、前記コンタクト部６から与えるようにする。図１１は、そのグループ分けの様子を説明するための図である。この例は、可視光に基づくカラー画像と、赤外光に基づくモノクロ画像とを実現する場合の例を示しており、二次元配列が４ｎ行であり、４行毎の画素行がそれぞれグループを形成しており、コンタクト部６Ｗ，６Ｙｅ，６Ｒｉ、６ＩＲからは、バイアス電圧ＢＷ，ＢＹｅ，ＢＲｉ、ＢＩＲがそれぞれ与えられる。
【００７０】
図１２は、図３に示す１画素をＡ−Ａ’断面で切断した状態で、そのエネルギーポテンシャル分布を概略的に示す図である。実線はバイアス電圧Ｂの低いときのポテンシャル曲線であり、これに対して点線はバイアス電圧Ｂの高いときのポテンシャル曲線を示している。フォトダイオード４には、表面（入射光表面）付近のｎ型領域ポテンシャル井戸２１と、それより深い位置（入射光表面から遠い位置）のｎ型領域ポテンシャル井戸２３が設けられており、両者は、フォトダイオード４のｎ型領域とその下のｐ型領域２２との境界ｄ１で区分けされ、光電変換して発生した電荷はいずれかのポテンシャル井戸２１、２３に蓄積される。しかるに、波長の短い光は基板２の表面近くで吸収され、波長の長い光は基板２の深い部分まで浸透し吸収されるという特性があるので、ｎ型領域ポテンシャル井戸２１には主として可視光の電荷が蓄積され、ｎ型領域ポテンシャル井戸２３には主として赤外光の電荷が排出されることとなる。ここで、境界ｄ１は外部から供給されるバイアス電圧によって位置が変化する。境界ｄ１の位置が変化すると、より長波長側の光によって発生した電荷がポテンシャル井戸２１に蓄積されることになり、それにより分光感度が異なるようになる。尚、ポテンシャル井戸２１に電荷が蓄積される光束の波長と、ポテンシャル井戸２３に電荷が蓄積される光束の波長との境界を、境界波長といい、ここでは７００ｎｍ前後である。
【００７１】
図１２に示すように、分光感度に影響を与える境界は、バイアス電圧Ｂが低いときは比較的深いｄ１の位置となり、バイアス電圧Ｂが高いときは比較的浅いｄ２の位置となる。すなわち、バイアス電圧Ｂを高くすると境界がｄ１より浅いｄ２に移動し、それにより図１３で実線から点線に示すように、より長波長側の光によって発生した電荷がポテンシャル井戸23に蓄積されるようになり、分光感度における長波長側の感度が相対的に低くなる。従って、バイアス電圧Ｂを高くすることで、フィルタＦの分光特性は、図７に示すものから図１４に示すものへと変化する。尚、バイアス電圧は無段階に変化させることも出来、それによりポテンシャル井戸２１、２３の境界はｄ１〜ｄ２の間で無段階に変化する。
【００７２】
これを利用して、例えば可視光が支配的である昼間撮影時には、バイアス電圧Ｂを高く設定すれば、各画素の赤外光の感度が相対的に低くなるので、Ｓ／Ｎ比の良い高画質なカラー画像を得ることが出来、一方、撮影を赤外光に頼らざるを得ない夜間撮影時には、バイアス電圧Ｂを高く設定すれば、各画素の赤外光の感度を相対的に高めることが出来、暗い被写体も明瞭に撮影することができる。即ち、同一の撮像素子を可視光に基づくカラー画像と、赤外光を加えた感度の高いカラー画像の作成に用いることができ、コスト低減に寄与する。尚、昼間撮影か夜間撮影かは、以下のようにして判定できる。例えば画像処理部１０４の光源検出部１０４ｅが、全体の画素について、画像成分Ｗの値をＡとし、画像成分ＩＲの値をＢとしたときに、Ｂ／Ａを評価値として、制御部１０５に出力する。制御部１０５は、かかる評価値が０．５より大きい場合、赤外光が多いものとして夜間撮影であると判定し、かかる評価値が０．５以下である場合、比較的可視光が多いものとして昼間撮影であると判定できる。露出データを利用することも可能。
【００７３】
図１５は、別な実施の形態に係る撮像素子１０２の１画素の断面構造を模式的に示す図である。図１６は、図１５に示す１画素をＡ−Ａ’断面で切断した状態で、そのエネルギーポテンシャル分布を概略的に示す図である。実線はバイアス電圧Ｂの低いときのポテンシャル曲線であり、これに対して点線はバイアス電圧Ｂの高いときのポテンシャル曲線を示している。上述の実施の形態では、ｐ基板にｎ領域を形成して電荷排出領域を設けているが、本実施の形態では、ｎ基板の入射表面側に近い側にｐ層を形成すると共に、ｎ基板を電荷排出領域として利用している。尚、境界ｄ１（ｄ２）の位置を制御するバイアス電圧はｎ基板に印加するようになっている。それ以外は上述した実施の形態と同様であるため、説明を省略する。尚、ポテンシャル井戸２１が、バイアス電圧により変化する境界波長（例えば７００ｎｍ）未満の光を受光することによって発生した電荷を捕捉して信号に変換して出力する捕捉手段を構成し、ポテンシャル井戸２３が、境界波長以上の光を受光することによって発生した電荷を排出する排出手段を構成する。
【００７４】
本実施の形態におけるバイアス電圧Ｂの、更に別な制御例について説明する。例えば夜間撮影時に、赤外光成分を多く含むハロゲンランプなどの被写体が、撮影画面内に含まれるような場合がある。かかる場合、画像処理部１０４の光源検出部１０４ｅが、画素毎に評価値を求め、制御部１０５は、かかる評価値が０．５以下の画素（特定画素）には、夜間撮影でありながら比較的可視光が入射するものとして、制御部１０５は印加するバイアス電圧Ｂを高く設定し、特定画素の赤外光の感度を相対的に低めることで、ハロゲン光の色を再現したＳ／Ｎ比の良い高画質なカラー画像を得ることが出来る。一方、評価値が０．５より大きな画素（特定画素以外の画素）には、赤外光が多く入射するものとして、制御部１０５は印加するバイアス電圧Ｂを低く設定し、特定画素以外の画素の赤外光の感度を相対的に高めたままとできる。更に、光学フィルタの種類に応じて特定画素の感度を変化させることもできる。即ち赤外光のみを透過するＩＲフィルタを設けた特定画素の感度を、それ以外のフィルタを設けた画素の感度と異ならせても良い。評価値の値に応じた設定とすることも出来る。
【００７５】
更に別の制御例によれば、被写体の輝度又は照度に基づいて特定画素の感度を変化させることができる。例えば被写体の照度が高い場合、昼間の撮影であるとして、全ての画素の前記感度を低下させ、一方、被写体の照度が低い場合、夜間の撮影であるとして、全ての画素の前記感度を増大させることができる。又、被写体の一部の輝度が高い場合、輝度の高い被写体からの光束を受光する画素を特定画素として前記感度を低下させて、適量の可視光を受光させ、特定画素以外の画素においては、特定画素よりも高い前記感度により適量の赤外光を受光させることが出来る。被写体の輝度や照度は、露出制御等を行う過程で推定でき、それにより評価値を算出することもできる。
【００７６】
更に別の制御例によれば、被写体から投射される光に含まれる自然光の量と人工光の量との割合を算出し、この割合に基づいて前記特定画素の感度を変化させることができる。自然光の量と人工光の量との割合を表す値としては、上記評価値を用いることができる。例えば自然光の割合が高い場合、上記評価値の全画素についての総和が小さくなるから、特定画素としての全体の画素における赤外光感度を低くするようにバイアス電圧を変更する。一方、人工光の割合が高い場合、上記評価値の全画素についての総和が大きくなるから、特定画素としての全体の画素における赤外光感度を高くするようにバイアス電圧を変更する。
【００７７】
更に別の制御例によれば、特定画素として、撮像素子１０２の受光面における一部の領域に配置された画素の赤外光感度を、それ以外の画素の赤外光感度に対して異ならせるようにバイアス電圧を印加することができる。例えば、定点監視カメラのような場合、ハロゲンランプが常に撮影画面上の特定位置にあるようなシーンを監視する場合もあるが、その場合、ハロゲン光が入射する中央の画素を特定画素として、その赤外光感度のみを低減させるようにすれば、夜間でも高画質なカラー画像を撮影できる。
【００７８】
更に別の制御例によれば、撮影条件に応じて、撮像素子１０２の受光面上における特定画素の位置を変更可能とできる。例えば、パンやチルトが可能な監視カメラの場合、カメラの移動に応じて、ハロゲンランプなどが撮影画面上を移動する。そこで、上記評価値に基づいてハロゲン光等が入射する画素を特定画素として判断し、カメラの移動に応じて特定画素を変えることで、ハロゲン光等が入射する特定画素の赤外光感度のみを低減させることで、カメラの移動に関わらず高画質なカラー画像を撮影できる。
【００７９】
更に別の制御例によれば、連続的に被写体を撮像する場合において、赤外光感度を高めた特定画素からの信号と、特定画素よりも赤外光感度を低めた画素（特定画素以外の画素）からの信号とを交互に出力することができる。図１７において、ｎを自然数としたときに、２ｎ番目のフレームについては、赤外光感度を高めた特定画素からの信号に基づき主として赤外光に基づく画像とし、２ｎ＋１番目のフレームについては、特定画素以外の画素からの信号に基づき主として可視光に基づく画像とすることで、複数の画像からなる動画を形成できるようになっている。これにより可視光を受光した画素からの信号に基づくカラー画像と、赤外光を受光した画素からの信号に基づくモノクロ画像とを交互のフレームとする動画を形成できる。これらを合成することで、被写体毎に最適な分光感度特性で撮影した動画を提供できる。
【００８０】
更に別の実施の形態によれば、図１８に示すように、撮像素子１０２の画素を第１の画素群ＰＸ１と第２の画素群ＰＸ２の２つに分け、第１の画素群ＰＸ１における赤外光の感度を、第２の画素群ＰＸ２における赤外光の感度より低く、且つ第１の画素群ＰＸ１の周囲に、第２の画素群ＰＸ２が配置されているようにできる。例えば監視カメラにおいて、夜間時被写体に対してライトを点灯する場合もあるが、かかる場合、被写体の中央からは可視光が反射されるが、周囲は暗いままであることが多い。そこで、被写体の中央からの可視光を受光する第１の画素群ＰＸ１の感度を低くし、周囲からの光を受光する第２の画素群ＰＸ２の感度を高くすることで、明るい被写体も暗い被写体も同時に監視することが可能になる。尚、特定画素毎のみならず、一画素毎に感度を異ならせても良い。
【００８１】
更に別の実施の形態によれば、連続的に被写体を撮像する場合において、第１の画素群ＰＸ１からの信号と、第２の画素群ＰＸ２からの信号とを交互に出力し、それにより図１７に示すような、主として可視光に基づく画像と、主として赤外光に基づく画像とを交互に含む複数のフレームからなる動画を形成できる。特定画素の感度を変化させながら、連続的に被写体を撮像することにより、異なる条件で撮像した複数の画像から一つの画像を形成することを連続して行って動画を形成することもできる。
【００８２】
上述した実施の形態では、画素フィルタＷ、Ｙｅ、Ｒｉ、ＩＲからなるフィルタを示したが、このフィルタからR、G、B、IRを演算処理により求めた分光特性を図１９，２０に示す。バイアス電圧Ｂを高くすることで、フィルタの分光特性は、図１９に示すものから図２０に示すものへと変化する。
【００８３】
第２の実施の形態にかかる画像入力装置ＭＧは、色差信号Ｃｒｍ、Ｃｂｍの算出手法が、第１の実施の形態と相違する点を特徴としている。なお、第１の実施の形態と同様な構成は説明を省略する。また、画像処理部１０４の構成は第１の実施の形態と同一であるため、図８を用いて説明する。
【００８４】
本実施の形態において図８に示す色空間変換部１０４ｄは、式（２）で求めた輝度信号Ｙにスムージング処理を施し、輝度信号Ｙｓを求める。また、式（３）で求めた輝度信号Ｙａｄｄにスムージング処理を施し、輝度信号Ｙａｄｄｓを算出する。ここで、スムージング処理としては、カスケードフィルタ処理や、通常のフィルタ処理を採用すればよい、
【００８５】
そして、色空間変換部１０４ｄは、式（５）に示すように、スムージング処理を施した輝度信号Ｙａｄｄｓに対するスムージング処理を施した輝度信号Ｙｓの割合ＲＴ２（第２の割合：ＲＴ２＝Ｙｓ／Ｙａｄｄｓ）に応じて輝度信号Ｙａｄｄを補正し、補正した輝度信号Ｙａｄｄ´を変換対象となる色空間の輝度信号として算出する。
Ｙａｄｄ´＝Ｙａｄｄ×Ｙｓ／Ｙａｄｄｓ  ・・・・・（５）
【００８６】
輝度信号Ｙは、式（２）に示す色空間変換処理により求められているため、人間が視認する画像の輝度を精度良く再現した信号となっている。一方、輝度信号Ｙａｄｄは、式（３）に示す加算処理により算出されているため、式（２）に比べて人間が視認する画像の輝度を精度良く再現できていない。したがって、輝度信号Ｙ３に比べて輝度信号Ｙａｄｄｓが大きくなるにつれて、すなわち、割合ＲＴ２が１から小さくなるにつれて、輝度信号Ｙａｄｄは、人間が視認する画像の輝度を精度良く再現することができなくなってしまう。そこで、式（５）を用いて輝度信号Ｙａｄｄ´を求めることで、輝度信号Ｙａｄｄを人間が視認する画像の輝度を精度良く再現した信号にすることができる。なお、ここで、Ｙｓはスムージングされた値を用いているため、ノイズ成分が低減されている。ただし、絵柄によってはエッジ部で不自然なアーチファクトが発生する場合がある。
【００８７】
また、色空間変換部１０４ｄは。式（６）に示すように上述の割合ＲＴ１に応じて色差信号Ｃｒｓ、Ｃｂｓを補正し、色差信号Ｃｒｍ´、Ｃｂｍ´を算出する。なお、ここでは、Ｙａｄｄの代わりにＹａｄｄ´を用いるのがよい。
Ｃｒｍ´＝Ｃｒｓ×Ｙａｄｄ／Ｙ
Ｃｂｍ´＝Ｃｂｓ×Ｙａｄｄ／Ｙ  ・・・・・  （６）
【００８８】
これにより、変換対象となる色空間における輝度信号と色差信号とのバランスが保たれ、後段のＲＧＢ色信号生成部（不図示）により生成される色信号ｄＲ´、ｄＧ´、ｄＢ´の算出精度を高めることができる。
【００８９】
また、色空間変換部１０４ｄは、赤外光の強度と可視光の強度とを比較し、赤外光の強度が強い場合、輝度信号Ｙａｄｄの重み付けが小さくなるように、輝度信号Ｙａｄｄと画像成分Ｙｅ、Ｒｉ、ＩＲ、Ｗをそのまま用いた信号Ｙｔとを重み付け加算して色空間の輝度信号を算出してもよい。
【００９０】
この場合、色空間変換部１０４ｄは、上記の割合ＲＴ２が、輝度信号Ｙａｄｄｓが支配的であることを示す閾値Ｔｈ１より小さい場合、赤外光の強度が可視光の強度よりも強いと判定すればよい。そして、式（７）に示すように輝度信号Ｙ旦ｄｄの重み付けが小さくなるように、輝度信号Ｙａｄｄと信号Ｙｔとを重み付け加算することで、輝度信号Ｙａｄｄ´を算出すればよい。
Ｙａｄｄ´＝Ｙｔ×（１−Ｙｓ／Ｙａｄｄｓ）＋Ｙａｄｄ×（Ｙｓ／Ｙａｄｄｓ）  ・・・・（７）
【００９１】
但し、Ｙｔは、画像成分Ｙｅ、Ｒｉ、ＩＲ、Ｗのいずれかをそのまま用いた信号を表す。具体的には、ある画素の輝度信号Ｙａｄｄ´を算出する場合に当該画素が、Ｗフィルタに対応する場合はＹｔ＝Ｗとし、Ｙｅフィルタに対応する場合はＹｔ＝Ｙｅとし、Ｒｉフィルタに対応する場合はＹｔ＝Ｒｉとし、ＩＲフィルタに対応する場合はＹｔ＝ＩＲとする。
【００９２】
割合ＲＴ２において、輝度信号Ｙａｄｄｓが支配的である場合、輝度信号Ｙａｄｄ´は人間が目視する画像の輝度と大きく相違する可能性がある。そこで、輝度信号Ｙａｄｄ´が大きい場合は、輝度信号Ｙａｄｄに対して信号Ｙｔの割合が大きくなるように、輝度信号Ｙａｄｄ´を算出することで、輝度信号Ｙａｄｄ´を人間が目視する画像の輝度により近い信号にすることができる。
【００９３】
また、割合ＲＴ２において、輝度信号Ｙａｄｄｓが支配的である場合は、赤外光が支配的であることを示しているため、Ｙｅ、Ｒｉ、ＩＲ、Ｗの画素間での被写体の色による信号のレベル差が無視できる。すなわち、モノクロセンサの場合と同等とみなせる。したがって、Ｙｅ、Ｒｉ、ＩＲ、Ｗの画素を加算せず、それぞれ独立した信号として扱うことで、解像度（分解能）を最大とすることができる。
【００９４】
更に、色空間変換部１０４ｄは、画像成分Ｗと画像成分ＩＲとの差又は比を用いて、赤外光の強度と可視光の強度とを比較してもよい。この場合、ＩＲ／Ｗが、１に近い所定の値より大きいときは赤外光の強度が可視光の強度よりも強いと判定し、０に近い所定の値より小さいときは可視光の強度が赤外光の強度よりも強いと判定すればよい。
【００９５】
また、Ｗ−ＩＲがＤに近い所定の値より小さいときは赤外光の強度が可視光の強度よりも強いと判定し、ＩＲが０に近い所定の値より小さいときは可視光の強度が赤外光の強度よりも強いと判定すればよい。
【００９６】
更に、ＩＲ／Ｗ又はＩＲ−Ｗの値が大きくなるほど、赤外光の強度が可視光の強度より強くなるため、ＩＲ／Ｗ又はＩＲ−Ｗの値に応じて信号Ｙｔの重み付け係数を定め、式（７）´の演算を行い輝度信号Ｙａｄｄ´を算出してもよい。
Ｙａｄｄ´＝ｋ・Ｙｔ＋Ｙａｄｄ・（１−ｋ）  ・・・・・（７）´
【００９７】
但し、ｋ≦１であり、ｋはＩＲ／Ｗ又はＩＲ−Ｗが大きくなるにつれて値が大きくなる予め定められた信号Ｙｔの重み係数を示す。
【００９８】
次に、ＲＧＢ色信号生成部（不図示）は、式（２）を逆変換することで、輝度信号Ｙａｄｄ´と色差信号Ｃｒｍ´、Ｃｂｍ´とから色信号ｄＲ´、ｄＧ´、ｄＢ´を算出する。
【００９９】
次に、画像入力装置ＭＧの動作について説明する。図２１は、第２の実施の形態にかかる画像入力装置ＭＧの動作を示すフローチヤートである。
【０１００】
ステップＳ１１〜Ｓ１５は、図９に示すステップＳ１〜Ｓ５と同一であるため、説明を省く。ステップＳ１６において、色空間変換部１０４ｄは、輝度信号Ｙａｄｄにスムージング処理を施し、輝度信号Ｙａｄｄｓを算出すると共に、輝度信号Ｙにスムージング処理を施し、輝度信号Ｙｓを算出する。
【０１０１】
次に、色空間変換部１０４ｄは、割合ＲＴ２が閾値Ｔｈ１以上の場合、式（５）の演算により輝度信号Ｙａｄｄ´を算出し、割合ＲＴ２が閾値Ｔｈ１未満の場合、式（７）の演算により輝度信号Ｙａｄｄ´を算出する（ステップＳ１７）。
【０１０２】
次に、色空間変換部１０４ｄは、式（６）の演算により、色差信号Ｃｒｍ´、Ｃｂｍ´を求める（ステップＳ１８）。次に、ＲＧＢ色信号生成部（不図示）は、式（２）を逆変換し、色信号ｄＲ´、ｄＧ´、ｄＢ´を求める（ステップＳ１９）。
【０１０３】
このように、第２の実施の形態による画像入力装置ＭＧによれば、第１の実施の形態の効果に加え、割合ＲＴ２が閾値Ｔｈ１以上の場合は、式（５）を用いて輝度信号Ｙａｄｄ´を算出し、割合ＲＴ２が閾値Ｔｈ１未満の場合は、式（７）を用いて輝度信号Ｙａｄｄ´を算出しているため、人間が視認する画像の輝度を精度良く再現した輝度信号を生成することができる。
【０１０４】
また、式（６）を用いて色差信号Ｃｒｓ、Ｃｂｓを補正して。色差信号Ｃｒｍ´、Ｃｂｍ´を算出しているため、変換対象となる色空間において輝度信号と色差信号とをバランス良く求めることができる。
【０１０５】
なお，色空間変換部１０４ｄは、赤外光の強度が可視光の強度に近づくにつれて、色差信号Ｃｒｍ´、Ｃｂｍ´が低くなるように色差信号Ｃｒｍ´、Ｃｂｍ´を補正してもよい。
【０１０６】
この場合、色空間変換部１０４ｄは、例えば式（６）に代えて、式（８）により色差信号Ｃｒｍ´、Ｃｂｍ´を算出すればよい。
Ｃｒｍ´＝Ｃｒｓ×Ｙａｄｄ×ＲＴ２／Ｙ
Ｃｂｍ´＝Ｃｂｓ×Ｙａｄｄ×ＲＴ２／Ｙ  ・・・・・（８）
【０１０７】
つまり、割合ＲＴ２が閾値ＴＨ１より小さい場合は、輝度信号Ｙに対して輝度信号Ｙａｄｄ´が支配的となり、夜間を撮影している可能性が高く、色情報が不足するため色差信号が精度良く算出できていない可能性がある。そこで、式（８）を採用することで色差信号が低くなり、算出精度の低い色差信号の影響が低くなるように、色信号ｄＲ´、ｄＧ´、ｄＢ´を算出することができ、色信号ｄＲ´、ｄＧ´、ｄＢ´を視覚的に違和感なく算出することができる。さらに、色信号ｄＲ´、ｄＧ´、ｄＢ´は、標準的なディスプレイ（倒えば、ＩＥＣ  ６１９６６−２−１  ｓＲＧＢ規格）に合うようにさらに色変換されてもよい。
【０１０８】
また、割合ＲＴ２を閾値と比校することで使用する数式を（６）又は（８）に切り替えることに限定されず、割合ＲＴ２が小さくなるにつれて、色差信号Ｃｒｓ，Ｃｂｓを小さくするような予め定められた補正値を記憶しておき、この補正値を用いて色差信号Ｃｒｍ´、Ｃｂｍ´を算出してもよい。この場合、式（８）において、ＲＴ２に代えて、この補正値を採用すればよい。
【０１０９】
なお、上記実施の形態では、第２〜第３の画素として、Ｒｉ画素、ＩＲ画素を用いたが、これに限定されず、シアン（Ｃ）画素、及びマゼンタ（Ｍ）画素を採用してもよいことは前述の通りである。すなわち、第１−第４の画素をＹｅ、Ｍ、Ｃ、Ｗ画素としてもよい、この場合、入射光をより有効利用でき、ショットノイズが低くなり、原画像データに含まれるノイズ成分をより低くすることができる。
【０１１０】
また、この場合、Ｙｅ、Ｃ、Ｍ、Ｗ画索により得られる画像成分を画像成分Ｙｅ、Ｃ、Ｍ、Ｗとすると、ＲＧＢ色信号生成部は、式（１）に代えて、式（９）により色信号ｄＲ、ｄＧ、ｄＢを求めればよい。
ｄＲ＝Ｗ−Ｃ
ｄＧ＝Ｗ−Ｍ  ・・・・・（９）
ｄＢ＝Ｗ−Ｙｅ
【０１１１】
また、色空間変換部１０４ｄは、式（３）に代えて、式（１０）により輝度信号Ｙａｄｄを求めればよい。
Ｙａｄｄ＝（１／４）×（Ｙｅ＋Ｃ＋Ｍ＋Ｗ）  ・・・・・（１０）
【０１１２】
ここで、式（１０）のように単純加算平均ではなく、式（１）´と同様に重み付け加算を採用してもよい。また、上記実施の形態では、色空間変換部１０４ｄが色差信号Ｃｂ、Ｃｒをスムージング処理したが、これに限定されない。すなわち、色補間部１０４ｂの前段にスムージング処理部を設け、スムージング処理部に画像成分Ｙｅ、Ｒｉ、ＩＲ、Ｗをスムージング処理させることで、色空間変換部１０４ｄによるスムージング処理を省略してもよい。
【０１１３】
更にスムージング処理は、色信号ｄＲ、ｄＧ、ｄＢが算出されるまでであれば、どこで実施しても構わない。
【０１１４】
また、上記実施の形態では、撮像素子１０２は、第１〜第４の画素の４種類の画素を備えているが、これに限定されず、少なくとも３種類の画素を備えるものであればよい。
【０１１５】
この場合、撮像素子１０２を構成する画素の種類として、各画素の分光透過特性からＲ、Ｇ、Ｂの色信号を生成することができる種類のものを採用すればよい。
【０１１６】
図２２は、第２の実施の形態の変形例にかかるフローチャートである。この変形例では、赤外光が支配的（割合が高い）ときは、輝度信号に画素データをそのまま重み付けして加算し（１１）、色度信号のゲインを下げている（１２）。
Ｙａｄｄ’＝Ｙａｄｄｓ×Ｙｓ／Ｙａｄｄｓ
Ｙａｄｄ“＝Ｙｔ×（１−Ｙｓ／Ｙａｄｄｓ）＋Ｙａｄｄ‘×（Ｙｓ／Ｙａｄｄｓ）・・・（１１）
Ｃａｄｄ’＝Ｃａｄｄ×Ｙｓ／Ｙａｄｄｓ・・・（１２）
【産業上の利用可能性】
【０１１７】
本発明は、監視カメラ等に適用可能であるが、用途はそれに限られない。
【図面の簡単な説明】
【０１１８】
【図１】ハロゲンランプの分光特性を示す図であり、縦軸は発光強度、横軸は波長である。
【図２】本実施の形態に係る画像入力装置ＭＧの概略図である。
【図３】本実施の形態に係る撮像素子１０２の１画素の断面構造を模式的に示す図である。
【図４】撮像素子１０２の全体の電気的構成を示す図である。
【図５】撮像素子１０２の１画素分の回路構成を示す図である。
【図６】撮像素子１０２の有するフィルタＦの一部を示す概略図である。
【図７】フィルタＦの分光特性を示す図である。
【図８】画像処理部１０４の詳細な構成を示すブロック図である。
【図９】第１の実施の形態にかかる画像入力装置ＭＧの動作を示すフローチャートである。
【図１０】列選択期間内における画素駆動タイミングを示すタイミングチャートである。
【図１１】バイアス電圧を印加する画素グループ分けの様子を説明するための図である。
【図１２】図３に示す１画素をＡ−Ａ’断面で切断した状態で、そのエネルギーポテンシャル分布を概略的に示す図である。
【図１３】バイアス電圧変更による分光特性の変化を示す図である。
【図１４】バイアス変更後のフィルタＦの分光特性を示す図である。
【図１５】別な例に係る撮像素子１０２の１画素の断面構造を模式的に示す図である。
【図１６】図１５に示す１画素をＡ−Ａ’断面で切断した状態で、そのエネルギーポテンシャル分布を概略的に示す図である。
【図１７】複数のフレーム例を示す模式図である。
【図１８】撮影画面例を示す模式図である
【図１９】別なフィルタの分光特性を示す図である。
【図２０】バイアス変更後の別なフィルタの分光特性を示す図である。
【図２１】第２の実施の形態にかかる画像入力装置ＭＧの動作を示すフローチャートである。
【図２２】第２の実施の形態の変形例にかかる画像入力装置ＭＧの動作を示すフローチャートである。
【符号の説明】
【０１１９】
３ 素子分離領域
４ フォトダイオード
５ キャリア排出領域
６ コンタクト部
６Ｗ，６Ｙｅ，６Ｒｉ コンタクト部
７ ｎ型領域
８ 転送ゲート
１１ 転送トランジスタ
１２ 増幅トランジスタ
１３ 行選択トランジスタ
１４ リセットトランジスタ
１５ 垂直走査回路
１６ 水平走査回路
１７ 回路
１８ 引算器
１９ リセットゲート
２１ ポテンシャル井戸
２１ ｎ型領域ポテンシャル井戸
２３ ｎ型領域ポテンシャル井戸
１０１ レンズ
１０２ 撮像素子
１０３ 変換部
１０４ 画像処理部
１０４ａ 露出補正部
１０４ｂ 色補間部
１０４ｃ 色信号生成部
１０４ｄ 色空間変換部
１０４ｅ 光源検出部
１０５ 制御部
１０６ 電圧制御部
１０７ 電圧発生部
Ｆ フィルタ
ＬＨ 行選択信号線
ＬＶ 垂直信号線
ＭＧ 画像入力装置
ＰＸ１ 第１の画素群
ＰＸ２ 第２の画素群
ＳＨ１，ＳＨ２ サンプルホールド回路
ＶＤＤ 電源電圧
【図１】
0005464008.tif 000002
【図２】
0005464008.tif 000003
【図３】
0005464008.tif 000004
【図４】
0005464008.tif 000005
【図５】
0005464008.tif 000006
【図６】
0005464008.tif 000007
【図７】
0005464008.tif 000008
【図８】
0005464008.tif 000009
【図９】
0005464008.tif 000010
【図１０】
0005464008.tif 000011
【図１１】
0005464008.tif 000012
【図１２】
0005464008.tif 000013
【図１３】
0005464008.tif 000014
【図１４】
0005464008.tif 000015
【図１５】
0005464008.tif 000016
【図１６】
0005464008.tif 000017
【図１７】
0005464008.tif 000018
【図１８】
0005464008.tif 000019
【図１９】
0005464008.tif 000020
【図２０】
0005464008.tif 000021
【図２１】
0005464008.tif 000022
【図２２】
0005464008.tif 000023