(57)【特許請求の範囲】
【請求項１】
単板カラー２次元撮像素子を備える撮像装置において、
前記単板カラー２次元撮像素子は、
受光面の有効画素領域以外の部分に、光学フィルタが搭載されたモノクロ画素領域を有し、
前記有効画素領域からの信号と前記モノクロ画素領域からの信号を出力し、
受光面に構成された黒基準信号を得るためのオプティカルブラック画素領域を有し、
前記オプティカルブラック画素領域には遮光膜が施されており、前記有効画素領域および前記モノクロ画素領域には前記遮光膜が施されておらず、
前記有効画素領域からの信号と前記モノクロ画素領域からの信号に加えて前記オプティカルブラック画素領域を出力し、
前記光学フィルタは、連続干渉フィルタまたは透過波長帯域が異なる複数のバンドパスフィルタである、単板カラー２次元撮像素子であり、
前記単板カラー２次元撮像素子の前記モノクロ画素領域からの信号に基づいて色補正係数を決定し、該色補正係数により前記単板カラー２次元撮像素子の前記有効画素領域からの信号の色補正を行う撮像装置であって、
無彩色反射被写体を撮影したときの前記モノクロ画素領域の画素位置とその画素信号出力から、光源の分光強度分布を測定する分光特性測定手段と、
前記分光特性測定手段で測定された光源の分光強度分布と、既知のカラーチャートの反射分光特性と、あらかじめ測定した本撮像装置のカラー分光感度特性を積算し、第１のＲＧＢ値を計算するとともに、前記分光特性測定手段で測定された光源の分光強度分布と、既知のカラーチャートの反射分光特性と、あらかじめ測定した３板式カラーカメラのカラー分光感度特性を積算し、第２のＲＧＢ値を計算し、前記第１のＲＧＢ値と前記第２のＲＧＢ値を用いて色補正係数を算出する色補正係数算出手段と、
前記色補正係数算出手段により算出された色補正係数により、前記単板カラー２次元撮像素子の前記有効画素領域からの信号の色補正を行う色補正手段と、
を備えることを特徴とする撮像装置。
【請求項２】
単板カラー２次元撮像素子を備える撮像装置において、
前記単板カラー２次元撮像素子は、
受光面の有効画素領域以外の部分に、光学フィルタが搭載されたモノクロ画素領域を有し、
前記有効画素領域からの信号と前記モノクロ画素領域からの信号を出力し、
受光面に構成された黒基準信号を得るためのオプティカルブラック画素領域を有し、
前記オプティカルブラック画素領域には遮光膜が施されており、前記有効画素領域および前記モノクロ画素領域には前記遮光膜が施されておらず、
前記有効画素領域からの信号と前記モノクロ画素領域からの信号に加えて前記オプティカルブラック画素領域を出力し、
前記光学フィルタは、透過波長帯域が異なる複数のバンドパスフィルタである、単板カラー２次元撮像素子であり、
前記単板カラー２次元撮像素子の前記モノクロ画素領域からの信号に基づいて色補正係数を決定し、該色補正係数により前記単板カラー２次元撮像素子の前記有効画素領域からの信号の色補正を行う撮像装置であって、
前記透過波長帯域が異なる複数のバンドパスフィルタは、光源の分光特性の特徴を抽出するのに適当な透過波長帯域に選択された複数のバンドパスフィルタであり、
無彩色反射被写体を撮影したときの前記モノクロ画素領域からの前記複数のバンドパスフィルタに対応する複数の出力に基づいて光源の推定を行う光源特徴抽出手段と、
前記光源特徴抽出手段で推定された光源に基づいて、色補正係数を記憶手段に記憶された色補正係数から選択する色補正係数選択手段と、
前記色補正係数選択手段により選択された色補正係数により、前記単板カラー２次元撮像素子の前記有効画素領域からの信号の色補正を行う色補正手段と、
を備えることを特徴とする撮像装置。
【請求項３】
単板カラー２次元撮像素子を備える撮像装置において、
前記単板カラー２次元撮像素子は、
受光面の有効画素領域以外の部分に、光学フィルタが搭載されたモノクロ画素領域を有し、
前記有効画素領域からの信号と前記モノクロ画素領域からの信号を出力し、
受光面に構成された黒基準信号を得るためのオプティカルブラック画素領域を有し、
前記オプティカルブラック画素領域には遮光膜が施されており、前記有効画素領域および前記モノクロ画素領域には前記遮光膜が施されておらず、
前記有効画素領域からの信号と前記モノクロ画素領域からの信号に加えて前記オプティカルブラック画素領域を出力し、
前記光学フィルタは、透過波長帯域が異なる複数のバンドパスフィルタである、単板カラー２次元撮像素子であり、
前記単板カラー２次元撮像素子の前記モノクロ画素領域からの信号に基づいて色補正係数を決定し、該色補正係数により前記単板カラー２次元撮像素子の前記有効画素領域からの信号の色補正を行う撮像装置であって、
前記透過波長帯域が異なる複数のバンドパスフィルタは、３板式カラーカメラにおけるＲＧＢ分光特性と同等の分光特性を実現する複数のバンドパスフィルタであり、
撮影環境におかれたカラーチャートを撮影したときの前記有効画素領域からの信号から得られた第３のＲＧＢ値と前記モノクロ画素領域からの信号から得られた第４のＲＧＢ値を取得する手段と、
前記第３のＲＧＢ値と前記第４のＲＧＢ値を用いて色補正係数を算出する色補正係数算出手段と、
前記色補正係数算出手段により算出された色補正係数により、前記単板カラー２次元撮像素子の前記有効画素領域からの信号の色補正を行う色補正手段と、
を備えることを特徴とする撮像装置。
【請求項４】
請求項１ないし３のうちのいずれか１項に記載の撮像装置において、
前記オプティカルブラック画素領域からの信号を基準として、前記有効画素領域からの信号と前記モノクロ画素領域からの信号の黒レベルをクランプすることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単板カラー２次元撮像素子およびそれを備える撮像装置に関し、特に色補正機能を有する撮像素子およびそれに好適な撮像素子に関する。
【背景技術】
【０００２】
従来の技術として、光源の分光特性を測光する装置として特許文献１などがある。また、被写体の反射分光特性を測定する装置として特許文献２などがある。また、測定した照明光のスペクトルやカラーパッチの分光反射率から色補正を行う技術として特許文献３などがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開昭６２−１８５１２８号公報
【特許文献２】特開２００８−１３９０６２号公報
【特許文献３】特開２００８−２４４６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１や特許文献２などの測定装置では測定に用いるセンサは専用に用意され、例えば映像を取得する撮像素子と同時に使用する場合には、測定装置と撮像素子を別々に設置する課題があった。また特許文献３などの色補正装置では照明光の測定は分光放射計もしくは特許文献１や特許文献２のような測定手段を用い、やはり映像を取得する撮像素子と同時に使用する場合には測定装置と撮像素子を別々に設置する課題があった。
【０００５】
本発明の目的は、一つの撮像装置で画像取得と色補正用の測定を行うことにより、色補正に必要な測定を簡易にし、同時に色補正の精度を高められるような撮像装置およびそれに好適な撮像素子を実現することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するため本発明では、単板カラー２次元撮像素子の一部をモノクロ画素領域（モノクロ撮像領域）とし、当該モノクロ画素領域に適当な光学フィルタ処理を施すことにより、分光特性の測定または照明光源の分光特性特徴抽出または３板式カラー撮像装置と同等のＲＧＢ値を得ることを可能とする。またレンズデフォーカス回路を備え、測定時にレンズのフォーカス位置をＭＯＤ（最短撮影距離、最至近距離）または無限遠へ移動する。さらにレンズデフォーカス回路、分光特性測定回路、レンズ光量測定回路の動作は、白バランス調整開始または色補正調整開始と連動して行われることを特徴とするものである。
【発明の効果】
【０００７】
本発明により、単板カラー撮像装置において、被写体に照射している光源の条件に応じて適当な色補正を簡易に高精度で実現できる効果がある。とくに、画像出力を行う有効画素領域（カラーセンサ）と同じ撮像素子上にモノクロ画素領域を設けることにより、例えば同じ撮像素子特性、同じ素子温度、同じ黒基準信号が得られ、モノクロ画素領域においても、より安定した信号が得られる。さらに、同じ光学系を用いるため、レンズ交換などを行うカメラであっても、校正や測定が比較的容易に行える。レンズデフォーカス回路により、モノクロ画素領域等への入射光をできるだけ拡散光とし、また被写体の無彩色チャート表面の明度ムラの影響等を抑え、分光特性測定をより正確に行う効果がある。また白バランス調整スイッチと連動することにより、白バランス調整時に自動的に適当な色補正処理を行うことが可能となる効果がある。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施例
【図２】従来の固体撮像素子の有効領域およびＯＢ領域の構成例
【図３】本発明の実施例における撮像素子の構成
【図４】図３のモノクロセンサ領域に連続干渉フィルタを搭載した構成
【図５】図３のモノクロセンサ領域に複数のバンドパスフィルタを搭載した構成
【図６】本発明の第２の実施例
【図７】図３のモノクロセンサ領域に光源の特徴を抽出するための複数のバンドパスフィルタを搭載した構成
【図８】本発明の第３の実施例
【図９】図３のモノクロセンサ領域に放送用カメラに使用されている色分解光学プリズムと同じ分光特性を有するバンドパスフィルタを搭載した構成
【発明を実施するための形態】
【０００９】
以下、図面を参照して、本発明の実施例を詳細に説明する。なお、全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【実施例１】
【００１０】
本発明の第1の実施例について図１〜５を用いて説明する。
【００１１】
図１に本発明の第１の実施例の撮像装置（単板式カラーカメラ）を示す。図１において、１００はレンズ、１０１は撮像素子（単板カラー２次元撮像素子）である。１０２、１０３、１０４はそれぞれ撮像素子１０１の有効領域（カラーセンサ）、第１のＯＢ領域、第２のＯＢ領域（遮光なし）である。これらの詳細については後述する。１０５はペデスタル調整回路、１０６はレンズ周辺光量補正回路、１０７はＲＯＭ回路、１０８は有効／ＯＢ領域分離回路、１０９は色分離回路、１１０は白バランス調整回路、１１１は色補正回路、１１２は分光特性測定回路、１１３は色補正係数算出回路、１１４はＲＯＭ回路、１１５は白バランス調整開始スイッチ、１１６は色補正調整開始スイッチ、１１７はレンズ周辺光量測定回路、１１８は電子シャッター制御回路、１１９はセンサ駆動回路、１２０はレンズデフォーカス回路である。
【００１２】
撮像素子は有効領域１０２の表面上にオンチップカラーフィルター処理を施すことによって１枚の撮像素子でカラー信号が取得できる、単板カラー２次元撮像素子で構成されている。通常、撮像素子の受光面には、２次元の画像信号を取得し映像信号を構成するための有効画素領域（有効領域）と、黒基準信号を得るためのオプティカルブラック画素領域（以降ＯＢ領域と呼ぶ）がある。図２にこのような従来の撮像素子（固体撮像素子）を示す。２０１は従来の撮像素子、２０２は有効画素領域（有効領域）、２０３は第１のＯＢ領域、２０４は第２のＯＢ領域、２０５は遮光膜（アルミ膜等）である。
【００１３】
ここでは本実施例について、有効画素領域（有効領域）の両側に２つのＯＢ領域が備わる構成を例に説明する。図３に本発明の実施例における撮像素子１０１の構成を示す。３０５は遮光膜（アルミ膜等）であり、その他は図１に関して説明したとおりである。本発明の実施例によれば、２つのＯＢ領域の内のひとつ（第１のＯＢ領域１０３）は、通常の撮像素子と同様、遮光膜（アルミ膜等）３０５による遮光処理が施されている。一方、もうひとつのＯＢ領域（第２のＯＢ領域１０４）は通常行われるべき遮光膜が施されておらず、なおかつ、オンチップカラーフィルター処理も施されておらず、結果としてモノクロセンサとして用いることが可能なモノクロ画素領域（モノクロ撮像領域）となっている（以降この領域を、モノクロセンサ領域１０４、もしくはモノクロ領域１０４と呼ぶことがある）。
【００１４】
なお、ここではＯＢ領域は有効領域１０２の左右に２箇所ある構成で説明したが、ＯＢ領域は有効領域１０２の上下２箇所、もしくは左右・上下４箇所にあってもよく、また遮光するＯＢ領域と遮光しないＯＢ領域の選択は他の組み合わせでも良い。また複数の領域で分光特性を測定しそれらの測定結果を平均化処理することにより測定精度を向上させても良い。このように、本発明の実施例の特徴の一つとして、画像出力を行うカラーセンサと同じ撮像素子上にモノクロセンサ領域を設けていることがある。これにより、例えば同じ撮像素子特性、同じ素子温度、同じ黒基準信号が得られ、モノクロセンサ領域１０４においても、より安定した信号が得られる。さらに、同じ光学系を用いるため、レンズ交換などを行うカメラであっても、校正や測定が比較的容易に行える。
【００１５】
この撮像素子１０１はセンサ駆動回路１１９によって駆動され、受光面の有効領域１０２、第１のＯＢ領域１０３、および第２のＯＢ領域１０４のすべての画素信号は撮像素子外部へ読み出される。有効領域１０２および第２のＯＢ領域１０４を含んだ画素信号は、ペデスタル調整回路１０５（黒レベル調整回路、またはクランプ回路とも呼ばれる）において第１のＯＢ領域１０３の信号レベルを基準として画素信号の黒レベルをクランプし、温度の変化等に対して安定した特性を得る。ペデスタル調整回路１０５から出力された信号は、レンズ周辺光量補正回路１０６を経て、有効／ＯＢ領域分離回路１０８において、有効領域１０２からの映像信号が分離され、色分離回路１０９へ送られる。色分離回路１０９では、単板カラー２次元撮像素子１０１で得られた画素信号をＲ，Ｇ，Ｂなどのカラー信号に分離し、白バランス調整回路１１０および色補正回路１１１へ送る。
【００１６】
一方、有効／ＯＢ領域分離回路１０８で分離されたモノクロセンサ領域１０４からの出力信号（第２のＯＢ領域信号）は、分光特性測定回路１１２へと送られる。分光特性測定回路１１２では、モノクロセンサ領域１０４から得られた信号強度から、後述する手法によって、撮影画像における光源の分光特性を生成する。色補正係数算出回路１１３は、分光特性測定回路１１２で得られた情報に基づいて、適当な色補正係数を算出する。色補正係数算出回路１１３はまた、分光特性測定回路１１２からの情報に基づいて適当な光源条件を決定し、適当な色補正係数をあらかじめ保存してあったＲＯＭ回路１１４から読み出して色補正係数として用いてもよい。このようにして得られた、色補正係数算出回路１１３からの情報は、色補正回路１１１へ送られる。色補正回路１１１では、色補正係数算出回路１１３からの情報に基づき、色分離回路１０９からの画像信号に対して適当な色補正処理を施す。その結果、色補正回路１１１からは、色補正済みのカラー画像信号が出力される。
【００１７】
一方、色分離回路１０９からの信号は、レンズ周辺光量測定回路１１７へも送られる。レンズ周辺光量測定回路１１７はレンズの周辺光量を測定する回路であり、レンズ中心部に対して周辺部の光量が低下する場合にその量を測定する。このとき、レンズ周辺光量測定に適当な露光画像が得られるように、必要に応じて電子シャッター制御回路１１８へ制御信号を送り、センサの蓄積時間を調整してもよい。なお、レンズ周辺光量測定回路１１７の位置は、測定に適当であれば例えば色分離回路１０９の前や白バランス調整回路１１０の後などでもよい。
【００１８】
レンズ周辺光量補正回路１０６では、レンズ周辺光量測定回路１１７による測定の結果得られたレンズの周辺光量特性に対し、その低下量を補正するための関数（例えば２次元パラボラシェーディング補正関数）を生成し、撮像素子１０１で得られた画素信号の補正を行う。また、例えばレンズから出力されるレンズ補正データやレンズ識別信号（レンズＩＤ信号）などのレンズ情報や、人為的な手段による外部からのレンズ選択信号等により、あらかじめ測定等によって得られＲＯＭ回路１０７に保存してある適当な補正値を用いて補正処理を行ってもかまわない。このレンズ周辺光量補正回路１０６によって、撮影された有効領域画像に対してレンズで周辺の光量が落ちた撮影画像の画像補正を行うことが可能となるだけでなく、撮像素子１０１のモノクロセンサ領域１０４に相当する光量を補正しモノクロセンサ領域１０４からの信号出力を正しく校正することも可能となる。
【００１９】
レンズデフォーカス回路１２０は、白バランス調整開始スイッチ１１５または色補正調整開始スイッチ１１６と連動し、色補正調整開始と共にレンズ１００のフォーカス位置をＭＯＤ（最短撮影距離、最至近距離）または無限遠へ移動する。これにより、モノクロセンサ領域１０４等への入射光をできるだけ拡散光とし、また被写体の無彩色チャート表面の明度ムラの影響等を抑え、分光特性測定をより正確に行う効果がある。
【００２０】
次に、モノクロセンサ領域１０４を利用して分光特性を測定する原理について説明する。モノクロラインセンサを用いて分光特性を測定する手法は一般的であるが（例えば特許文献１や特許文献２など）、ここに図４を用いて簡単に説明する。撮像素子のモノクロセンサ領域１０４の画素の上には、分光特性を測定するため、図４に示すように連続干渉フィルタ４０１が搭載されている。連続干渉フィルタ４０１は、一般的にはくさび形のガラス板に生成された干渉分光フィルタで、ガラス板に生成する干渉膜の膜厚をくさび形にすることにより矩形のモノクロセンサ領域１０４の一方の端末から他方の端末へ（一つの辺から対向する辺へ）連続的に干渉膜厚が変化するように製作されている。こうすることにより、１枚の干渉フィルタで透過波長が端末からの距離によって連続的に変化する分光フィルタが形成される。従って、モノクロセンサ領域１０４の画素位置とその画素信号出力から、入射光の分光強度分布を算出することが可能となる。
【００２１】
図５は、図４の連続干渉フィルタの代わりに、透過波長帯域を適当に変化させた複数のバンドパスフィルタ５０１を搭載した例である。バンドパスフィルタ５０１には例えば、干渉フィルタやガラスカラーフィルタ、ゼラチンフィルタなどが考えられる。また例えば、撮像素子製造プロセスにおいて画素上に膜を形成し染色等の手段を用いてオンチップにカラーフィルタを形成しても良い。バンドパスフィルタの透過波長帯域をモノクロセンサ端末からの距離に応じて変化させることにより、図４と同様に、モノクロセンサの画素位置と出力信号強度から、入射光の分光強度分布を算出することが可能となる。
【００２２】
次に、撮影被写体に照射される光源の分光分布から色補正処理を行う原理について説明する。測定した照明光のスペクトルやカラーパッチの分光反射率から色補正を行う技術（例えば特許文献３など）は、色彩工学の考え方に基づいており一般的であるが、ここに簡単に説明する。カメラの被写体は、照明や太陽などの光源によって照らされ、その反射光がカメラのレンズを通して撮像素子に入射される。このとき、照明は光源によって決まった、光の波長λに応じた強度の分光強度分布Ｐ（λ）を持つ（以下、Ｐ（λ）を光源の分光特性ということがある）。また被写体も分光反射率ρ（λ）を持つ。両者の積が被写体からの反射光Ｃｓ（λ）としてテレビカメラへ入射する。テレビカメラはその反射光を、例えばＲ，Ｇ，Ｂに対応した撮像素子の画素がそれぞれ分光感度ＳＲ（λ），ＳＧ（λ），ＳＢ（λ）を持ったカラーセンサで撮像し、その積分値に応じた出力をＲ，Ｇ，Ｂの各色チャンネル出力信号として出力する。これを式で表すと以下に示す式１のようになる。
【００２３】
【数１】
0005409158.tif 000002
このとき、被写体の分光反射率ρ（λ）を標準白色板などを用いてなるべく平坦にする、もしくは可能であれば既知のデータで校正することにより、被写体からの反射光Ｃｓ（λ）は、光源の分光分布Ｐ（λ）をできるだけ反映した特性とすることができる。すなわち、Ｃｓ（λ）のスペクトルを測定することにより、撮影環境の光源の分光特性を推定することが可能となる。また、ＲＧＢセンサの分光撮像特性をあらかじめ測定しておけば、そのセンサ出力ＲＧＢ値を計算で求めることが可能となる。従って、例えばマクベスチャートなど反射分光特性ρ（λ）が既知のデータを用いると、光源の分光特性を測定するだけで、各照明条件におけるカメラで撮影した例えばマクベスチャートの再現色を計算で作成することができる。以下、本実施例や他の実施例において、マクベスチャートを用いた例について説明するが、他のカラーチャートを用いてもよいことはいうまでもない。
【００２４】
一般に放送用カメラでは撮影時に、その撮影環境に応じてカメラのホワイトバランスを調整するために、撮影前に灰色もしくは白色の標準反射チャート等の無彩色反射被写体を撮影し、そのときのＲＧＢ信号強度からＲＧＢそれぞれのアンプゲイン設定を調整する。
【００２５】
そこで、まず本実施例の撮像装置で無彩色の標準反射チャートを撮影する。モノクロセンサ領域１０４から出力された信号はペデスタル調整回路１０５、レンズ周辺光量補正回路１０６、有効／ＯＢ領域分離回路１０８を介して分光特性測定回路１１２に入力される。分光特性測定回路１１２ではモノクロセンサ領域１０４の画素位置とその画素信号出力から光源の分光特性Ｐ（λ）を求め、求めた光源の分光特性Ｐ（λ）を出力する。分光特性測定回路１１２から出力された光源の分光特性Ｐ（λ）は、色補正係数算出回路１１３に入力される。
【００２６】
色補正係数算出回路１１３では、分光特性測定回路１１２で求められた光源の分光特性Ｐ（λ）と、既知のマクベスチャート反射分光特性ρ（λ）と、あらかじめ測定した本実施例の単板カラー２次元撮像素子１０１を用いた単板式カラーカメラのカラー分光感度特性ＳＲ１（λ），ＳＧ１（λ），ＳＢ１（λ）とを積算し、本実施例の単板式カラーカメラで撮影したマクベスチャートの画像に相当するＲＧＢ値を計算で生成する（式１参照）。また、分光特性測定回路１１２で求められた光源の分光特性Ｐ（λ）と、既知のマクベスチャート反射分光特性ρ（λ）と、あらかじめ測定した一般的な放送用３板式カラーカメラのカラー分光感度特性ＳＲ２（λ），ＳＧ２（λ），ＳＢ２（λ）とを積算し、３板式カラーカメラで撮影したマクベスチャートの画像に相当するＲＧＢ値を計算で生成する（式１参照）。なお、この計算に使用するデータ（マクベスチャート反射分光特性ρ（λ）、本実施例の単板式カラーカメラのカラー分光感度特性ＳＲ１（λ），ＳＧ１（λ），ＳＢ１（λ）、一般的な放送用３板式カラーカメラのカラー分光感度特性ＳＲ２（λ），ＳＧ２（λ），ＳＢ２（λ））は、ＲＯＭ回路１１４に記憶させておくことができる。
【００２７】
色補正は例えばこの計算によって求められた２種類のマクベスチャートの画像に相当するＲＧＢ値を用いて行える。すなわち、上記の計算で求めた本実施例の単板式カラーカメラのマクベスチャートの２４色それぞれのＲＧＢ値を色補正係数で補正したＲＧＢ値が、上記の計算で求めた一般的な放送用３板式カラーカメラのそれぞれのＲＧＢ値に近づくように色補正係数を算出する。例えば色補正をリニアマトリクスで行う場合、本実施例の単板式カラーカメラのマクベスチャートの２４色それぞれのＲＧＢ値が、一般的な放送用３板式カラーカメラのそれぞれのＲＧＢ値と最も近づくように、リニアマトリクスの補正係数を最小二乗法で求める。
【００２８】
リニアマトリクス補正では、以下のようなＲＧＢ三原色の１次変換マトリクスで、ＲＧＢの混合比を変えることにより調整する。
【００２９】
【数２】
0005409158.tif 000003
ここで、Ｒ１，Ｇ１，Ｂ１は本実施例の単板式カラーカメラで撮影したマクベスチャートの画像に相当するＲＧＢ値、Ｒ２，Ｇ２，Ｂ２は３板式カラーカメラで撮影したマクベスチャートの画像に相当するＲＧＢ値である。
【００３０】
補正マトリクスＬＭは、
【００３１】
【数３】
0005409158.tif 000004
で算出する。実際には最小二乗法により最も近い行列を求める。具体的には例えば、いくつかの色票（例えばマクベスチャートの２４色）を選定し、補正処理後のＲＧＢ値をＲ２’，Ｇ２’，Ｂ２’とすると、補正ターゲット（Ｒ２，Ｇ２，Ｂ２）との差の二乗平均を、
【００３２】
【数４】
0005409158.tif 000005
とし、全ての色に対してその値が最も小さくなるようなＬＭを求める。このとき、任意の色票を選んだり、特定の色（例えば肌色）を重視して加重平均を行ってもよい。
【００３３】
色補正係数算出回路１１３はこのようにして算出した色補正係数（リニアマトリクス補正を行う場合はリニアマトリクス係数）を出力する。
【００３４】
色補正係数算出回路１１３により得られた色補正係数を用いて、本実施例の単板式カラーカメラ（撮像装置）の色補正回路１１１において色補正処理（リニアマトリク補正の場合はリニアマトリクス色補正処理）を行うことにより、本実施例の撮像装置（単板式カラーカメラ）の色再現特性を、３板式カラーカメラの色再現特性と近づけることが可能となる。
【００３５】
本実施例ではさらに、分光特性測定回路１１２、色補正係数算出回路１１３、レンズ周辺光量測定回路１１７、レンズデフォーカス回路１２０が白バランス調整開始スイッチ１１５または色補正調整開始スイッチ１１６と連動しており、白バランス調整と同時に、または色補正調整開始とともに、適当な色補正処理を行う。
【実施例２】
【００３６】
本発明を用いた第２の実施例について図６、図７を用いて説明する。
【００３７】
図６に本発明の第２の実施例の撮像装置（単板式カラーカメラ）を示す。図６において、６０１は撮像素子（単板カラー２次元撮像素子）である。６０２、６０３、６０４はそれぞれ撮像素子６０１の有効領域（カラーセンサ）、第１のＯＢ領域、第２のＯＢ領域（遮光なし）である。６１２は光源特徴抽出回路、６１３は色補正係数選択回路、６１４はＲＯＭ回路である。これら以外は第１の実施例と同様である。
【００３８】
図７は第２の実施例に用いる撮像素子の構成を示している。第１の実施例と同じくセンサの受光面上に形成されたモノクロセンサ領域６０４に対して、透過波長帯域が異なる複数のバンドパスフィルタ７０１〜７０６が搭載されている。７０７は有効領域６０２、バンドパスフィルタ７０１〜７０６以外の部分を覆う遮光膜（アルミ膜等）である。
【００３９】
ここで、一般にカメラ撮影の照明に用いられる光源としては、分光分布が短波長から長波長まで比較的平坦に広がっている太陽光、太陽光と同様分光分布が広がっているが色温度（黒体放射温度）が短波長や長波長に偏っている青空や朝日・夕日、またはフィラメントの発熱により発光するハロゲンランプ、人工光源としていくつかの波長に特徴的なピークを有する蛍光灯、など、様々な光源が考えられる。この中で、例えば蛍光灯は数種類のピーク波長によって分類できることが報告されている。（原口英大、富永昌治、“スペクトルカメラを用いた蛍光灯照明の分類“、情報処理学会ビジュアルインフォメーション研究会、Ａ−１１、２００４、など）。そこでこのバンドパスフィルタとして、光源の分光特性の特徴を抽出するのに適当な透過波長帯域を選択することにより、モノクロセンサ領域６０４からの信号出力強度が光源の分光分布に応じた特徴的な出力となり、光源推定を行うことが可能となる。なお、図７ではモノクロセンサ領域６０４に７０１〜７０６の７つのバンドパスフィルタを設けたものを例示しているが、バンドパスフィルタの個数は光源の分光特性の特徴を抽出することができる個数であればいくつでもよい。また、図７では遮光膜７０７で仕切られた７つの部分にそれぞれバンドパスフィルタを設けているが、例えば、図３に示すような１つの矩形のモノクロセンサ領域に必要な個数のバンドパスフィルタを設けてもよい。
【００４０】
図６では、ペデスタル調整回路１０５からの信号出力が光源特徴抽出回路６１２へ送られている。光源特徴抽出回路６１２では、モノクロセンサ領域６０４からの信号出力強度に基づき、照明に用いられている光源推定を行う。ＲＯＭ回路６１４には、様々な光源に対して適当な色補正係数が格納されている。色補正係数選択回路６１３は、光源特徴抽出回路６１２からの情報に基づいて適当な色補正係数をＲＯＭ回路６１４から選択し、色補正回路１１１で色補正処理を行う。
【実施例３】
【００４１】
本発明を用いた第３の実施例について図８、図９を用いて説明する。
【００４２】
図８に本発明の第３の実施例の撮像装置（単板式カラーカメラ）を示す。図８において、８０１は撮像素子（単板カラー２次元撮像素子）である。８０２、８０３、８０４はそれぞれ撮像素子８０１の有効領域（カラーセンサ）、第１のＯＢ領域、第２のＯＢ領域（遮光なし）である。８０９は色分離回路、８１２はメモリ回路、８１３は色補正係数算出回路、８１４はＲＯＭ回路である。色分離回路８０９は、第１、第２の実施例の色分離回路１０９とは異なり、白バランス調整回路１１０へ信号を出力するだけでなく、メモリ回路８１２へも信号を出力する。色分離回路８０９からメモリ回路８１２へ出力される信号（ａ）は単板式ＲＧＢ出力信号（有効領域信号）であり、有効／ＯＢ領域分離回路１０８からメモリ回路８１２へ出力される信号（ｂ）は３板式ＲＧＢ出力相当信号（ＯＢ領域信号）である。これら以外は第１の実施例と同様である。
【００４３】
図９は第３の実施例に用いる撮像素子の構成を示している。第１の実施例と同じくセンサの受光面上に形成されたモノクロセンサ領域８０４に対して、干渉フィルタなどを用いて、光学プリズムを用いた一般的な放送用３板式カラーカメラにおけるＲＧＢ分光特性と同等の分光特性を実現したＲＧＢバンドパスフィルタ９０１〜９０３が搭載されている。例えば、９０１はＲバンドパスフィルタ、９０２はＧバンドパスフィルタ、９０１はＢバンドパスフィルタである。図９では遮光膜９０４で仕切られた３つの部分にそれぞれＲＧＢのバンドパスフィルタを設けているが、例えば、図３に示すような１つの矩形のモノクロセンサ領域の異なった領域にＲＧＢのバンドパスフィルタを設けてもよい。
【００４４】
第１の実施例では、３板式カラーカメラで撮影したマクベスチャート画像に相当するＲＧＢ値を計算によって算出したが、第３の実施例では、撮影環境におかれた実際のマクベスカラーチャートを用い、本実施例の撮像装置で被写体（マクベスカラーチャート）上の２４色をそれぞれアップで撮影することにより、単板式カラーカメラおよび３板式カラーカメラで撮影したのと同じＲＧＢ信号が取得できる。
【００４５】
すなわち、本実施例の撮像装置でマクベスカラーチャートの２４色のうちのいずれか１色をアップで撮影すると、撮像素子８０１はセンサ駆動回路１１９によって駆動され、受光面の有効領域８０２、第１のＯＢ領域８０３、および第２のＯＢ領域（モノクロセンサ領域）８０４のすべての画素信号が撮像素子外部へ読み出される。有効領域８０２および第２のＯＢ領域（モノクロセンサ領域）８０４を含んだ画素信号は、ペデスタル調整回路１０５において第１のＯＢ領域８０３の信号レベルを基準として画素信号の黒レベルをクランプし、温度の変化等に対して安定した特性を得る。ペデスタル調整回路１０５から出力された信号は、レンズ周辺光量補正回路１０６を経て、有効／ＯＢ領域分離回路１０８において、有効領域８０２からの映像信号が分離され、色分離回路８０９へ送られる。色分離回路８０９では、単板カラー２次元撮像素子８０１の有効領域８０２で得られた画素信号をＲ，Ｇ，Ｂのカラー信号に分離し、白バランス調整回路１１０へ送ると共に、メモリ回路８１２へも送る（図８の（ａ））。メモリ回路８１２はＲ，Ｇ，Ｂのカラー信号強度を、それぞれ撮影中のマクベスチャートの１色についての単板式Ｒ，Ｇ，Ｂ値として記憶する。
【００４６】
一方、有効／ＯＢ領域分離回路１０８で分離されたモノクロセンサ領域８０４からの出力信号（第２のＯＢ領域信号）は、メモリ回路８１２へと送られる（図８の（ｂ））。メモリ回路８１２は、モノクロセンサ領域８０４のＲ，Ｇ，Ｂのバンドパスフィルタが搭載された画素領域からの信号強度を、それぞれ、撮影中のマクベスチャートの１色についての３板式Ｒ，Ｇ，Ｂ値として記憶する。ＲＧＢバンドパスフィルタ９０１〜９０３は、光学プリズムを用いた一般的な放送用３板式カラーカメラにおけるＲＧＢ分光特性と同等の分光特性を実現するものであるから、このようにしてメモリ回路８１２に記憶された３板式ＲＧＢ値は、一般的な放送用３板式カラーカメラによりマクベスチャートの同じ色をアップで撮影した時のＲＧＢ値に相当するＲＧＢ値であるといえる。
【００４７】
これをマクベスチャートの２４色全部について行うと、それぞれの色についての単板式ＲＧＢ値と３板式ＲＧＢ値がメモリ回路８１２に記憶される。得られた２４色のＲＧＢ値より、第１の実施例と同様の手法により色補正係数算出回路８１３で色補正係数を得て、色補正回路１１１で色補正処理を行う。
【００４８】
以上説明した各実施例において、回路のかわりにコンピュータとプログラムを用いてもよい。
【００４９】
以上、本発明の各実施例を詳細に説明したが、本発明の実施例の単板カラー２次元撮像素子は、受光面の有効画素領域以外の部分に、光学フィルタが搭載されたモノクロ画素領域を有し、前記有効画素領域からの信号と前記モノクロ画素領域からの信号を出力する単板カラー２次元撮像素子であればよく、本発明の実施例の撮像装置は、前記単板カラー２次元撮像素子の前記モノクロ画素領域からの信号に基づいて色補正係数を決定し、該色補正係数により前記単板カラー２次元撮像素子の前記有効画素領域からの信号の色補正を行う撮像装置であればよい。
【００５０】
また、前記単板カラー２次元撮像素子は、受光面に構成された黒基準信号を得るためのオプティカルブラック画素領域を有し、前記オプティカルブラック画素領域には遮光膜が施されており、前記有効画素領域および前記前記モノクロ画素領域には前記遮光膜が施されておらず、前記撮像装置は、前記有効画素領域からの信号と前記モノクロ画素領域からの信号に加えて前記オプティカルブラック画素領域からの信号を出力する単板カラー２次元撮像素子であってもよく、前記オプティカルブラック画素領域からの信号を基準として、前記有効画素領域からの信号と前記モノクロ画素領域からの信号の黒レベルをクランプする撮像装置であってもよい。
【００５１】
また、前記単板カラー２次元撮像素子の前記モノクロ画素領域に搭載された前記光学フィルタは、連続干渉フィルタまたは透過波長帯域が異なる複数のバンドパスフィルタであり、前記撮像装置は、無彩色反射被写体を撮影したときの前記モノクロ画素領域の画素位置とその画素信号出力から、光源の分光強度分布を測定する分光特性測定手段と、前記分光特性測定手段で測定された光源の分光強度分布と、既知のカラーチャートの反射分光特性と、あらかじめ測定した本撮像装置のカラー分光感度特性を積算し、第１のＲＧＢ値を計算するとともに、前記分光特性測定手段で測定された光源の分光強度分布と、既知のカラーチャートの反射分光特性と、あらかじめ測定した３板式カラーカメラのカラー分光感度特性を積算し、第２のＲＧＢ値を計算し、前記第１のＲＧＢ値と前記第２のＲＧＢ値を用いて色補正係数を算出する色補正係数算出手段と、前記色補正係数算出手段により算出された色補正係数により、前記単板カラー２次元撮像素子の前記有効画素領域からの信号の色補正を行う色補正手段と、を備える撮像装置であってもよい。
【００５２】
また、前記単板カラー２次元撮像素子の前記モノクロ画素領域に搭載された前記光学フィルタは、光源の分光特性の特徴を抽出するのに適当な透過波長帯域に選択された複数のバンドパスフィルタであり、前記撮像装置は、無彩色反射被写体を撮影したときの前記モノクロ画素領域からの前記複数のバンドパスフィルタに対応する複数の出力に基づいて光源の推定を行う光源特徴抽出手段と、前記光源特徴抽出手段で推定された光源に基づいて、色補正係数を記憶手段に記憶された色補正係数から選択する色補正係数選択手段と、前記色補正係数選択手段により選択された色補正係数により、前記単板カラー２次元撮像素子の前記有効画素領域からの信号の色補正を行う色補正手段と、を備える撮像装置であってもよい。
【００５３】
また、前記単板カラー２次元撮像素子の前記モノクロ画素領域に搭載された前記光学フィルタは、３板式カラーカメラにおけるＲＧＢ分光特性と同等の分光特性を実現するフィルタであり、前記撮像装置は、撮影環境におかれたカラーチャートを撮影したときの前記有効画素領域からの信号から得られた第３のＲＧＢ値と前記モノクロ画素領域からの信号から得られた第４のＲＧＢ値を取得する手段と、前記第３のＲＧＢ値と前記第４のＲＧＢ値を用いて色補正係数を算出する色補正係数算出手段と、前記色補正係数算出手段により算出された色補正係数により、前記単板カラー２次元撮像素子の前記有効画素領域からの信号の色補正を行う色補正手段と、を備える撮像装置であってもよい。
【００５４】
また、前記撮像装置は、レンズ周辺光量補正手段によって、前記モノクロ画素領域の信号出力も校正する撮像装置であってもよい。
【００５５】
また、前記撮像装置は、レンズのフォーカス位置をＭＯＤ（最短撮影距離、最至近距離）または無限遠へ移動するレンズデフォーカス手段を有する撮像装置であってもよい。
【００５６】
また、レンズの周辺光量を測定するレンズ周辺光量測定手段や前記レンズデフォーカス手段が白バランス調整開始スイッチまたは色補正調整開始スイッチと連動しており、白バランス調整または色補正調整の開始とともに、前記レンズ周辺光量測定手段による測定結果に基づいてレンズ周辺光量補正手段が前記モノクロ画素領域の信号出力も校正し、前記レンズデフォーカス手段がレンズのフォーカス位置をＭＯＤ（最短撮影距離、最至近距離）または無限遠へ移動し、前記色補正係数の決定を行う撮像装置であってもよい。
【００５７】
以上、本発明者によってなされた発明を、前記実施形態に基づき具体的に説明したが、本発明は、前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【符号の説明】
【００５８】
１００…レンズ、１０１…撮像素子（単板カラー２次元撮像素子）、１０２…有効画素領域（有効領域）、１０３…第１のＯＢ領域（オプティカルブラック画素領域）、１０４…第２のＯＢ領域（遮光なし）（モノクロ画素領域）、１０５…ペデスタル調整回路、１０６…レンズ周辺光量補正回路、１０７…ＲＯＭ回路、１０８…有効／ＯＢ領域分離回路、１０９…色分離回路、１１０…白バランス調整回路、１１１…色補正回路、１１２…分光特性測定回路、１１３…色補正係数算出回路、１１４…ＲＯＭ回路、１１５…白バランス調整開始スイッチ、１１６…色補正調整開始スイッチ、１１７…レンズ周辺光量測定回路、１１８…電子シャッター制御回路、１１９…センサ駆動回路、１２０…レンズデフォーカス回路、６０１…撮像素子（単板カラー２次元撮像素子）、６０２…有効画素領域（有効領域）、６０３…第１のＯＢ領域（オプティカルブラック画素領域）、６０４…第２のＯＢ領域（遮光なし）（モノクロ画素領域）、６１２…光源特徴抽出回路、６１３…色補正係数選択回路、６１４…ＲＯＭ回路、８０１…撮像素子（単板カラー２次元撮像素子）、８０２…有効画素領域（有効領域）、８０３…第１のＯＢ領域（オプティカルブラック画素領域）、８０４…第２のＯＢ領域（遮光なし）（モノクロ画素領域）、８０９…色分離回路、８１２…メモリ回路、８１３…色補正係数算出回路、８１４…ＲＯＭ回路、（ａ）…単板式ＲＧＢ出力信号（有効領域信号）、（ｂ）…３板式ＲＧＢ出力相当信号（ＯＢ領域信号）
【図１】
0005409158.tif 000006
【図２】
0005409158.tif 000007
【図３】
0005409158.tif 000008
【図４】
0005409158.tif 000009
【図５】
0005409158.tif 000010
【図６】
0005409158.tif 000011
【図７】
0005409158.tif 000012
【図８】
0005409158.tif 000013
【図９】
0005409158.tif 000014