(57)【要約】【課題】４以上の分光感度特性を有する撮像素子を用いた撮像装置にて、過補正を防止して精度よく輝度補正を行えるようにする。【解決手段】画素領域の各々に異なる分光感度特性を有する複数の画素を配置し、可視光領域の異なる３色にそれぞれ対応する画素領域と不可視光領域に対応する画素領域とが配列された撮像素子を有し、各画素の分光感度特性を示す特性情報と各画素から取得される輝度情報とを基に、輝度情報の補正係数を取得し、取得した補正係数に基づいて輝度情報を補正する。【選択図】図１
2020027979.tif 000002
【特許請求の範囲】
【請求項１】
画素領域の各々に異なる分光感度特性を有する複数の画素を配置し、可視光領域の異なる３色にそれぞれ対応する前記画素領域と不可視光領域に対応する前記画素領域とが配列された撮像素子と、
各画素の前記分光感度特性を示す特性情報を記憶する記憶手段と、
前記記憶手段に記憶された前記特性情報と各画素から取得される輝度情報とを基に、輝度情報の補正係数を取得する取得手段と、
前記取得手段から供給される前記補正係数に基づいて、前記輝度情報を補正する処理手段とを有することを特徴とする撮像装置。
【請求項２】
前記記憶手段に記憶された前記特性情報と各画素から取得される前記輝度情報とを比較する比較手段を有し、
前記取得手段は、前記比較手段での比較結果に基づいて、前記輝度情報の補正係数を取得することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記取得手段は、前記記憶手段に記憶された前記特性情報と前記不可視光領域に対応する前記画素領域の画素から取得される輝度情報とを基に、前記可視光領域に対応する前記画素領域の画素から取得される輝度情報の補正係数を取得することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記撮像素子は、
赤成分に係る前記分光感度特性を有する前記複数の画素を配置した第１の画素領域と、
緑成分に係る前記分光感度特性を有する前記複数の画素を配置した第２の画素領域と、
青成分に係る前記分光感度特性を有する前記複数の画素を配置した第３の画素領域と、
赤外光成分に係る前記分光感度特性を有する前記複数の画素を配置した第４の画素領域とが配列されていることを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記可視光領域に対応する前記画素領域の画素の前記不可視光領域における前記分光感度特性に合わせて、前記不可視光領域に対応する前記画素領域の画素の前記分光感度特性を調整したことを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項６】
前記取得手段は、前記可視光領域の所定の色に対応する前記画素領域の画素から取得される輝度情報の補正係数を、前記記憶手段に記憶された前記特性情報と前記可視光領域の前記所定の色とは異なる色に対応する前記画素領域の画素から取得される輝度情報とを基に取得することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
【請求項７】
前記取得手段は、前記可視光領域に対応する前記画素領域毎に当該画素領域内の画素から取得される輝度情報を合成して得られる合成輝度情報に対する前記補正係数を取得し、
前記処理手段は、前記合成輝度情報を補正することを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
【請求項８】
各画素の前記分光感度特性は、ベイヤー配列における各色の波長帯域よりも波長帯域が狭いことを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
【請求項９】
画素領域の各々に異なる分光感度特性を有する複数の画素を配置し、可視光領域の異なる３色にそれぞれ対応する前記画素領域と不可視光領域に対応する前記画素領域とが配列された撮像素子を有する撮像装置の撮像方法であって、
各画素の前記分光感度特性を示す特性情報と各画素から取得される輝度情報とを基に、輝度情報の補正係数を取得する取得工程と、
前記取得工程で取得した前記補正係数に基づいて、前記輝度情報を補正する処理工程とを有することを特徴とする撮像方法。
【請求項１０】
画素領域の各々に異なる分光感度特性を有する複数の画素を配置し、可視光領域の異なる３色にそれぞれ対応する前記画素領域と不可視光領域に対応する前記画素領域とが配列された撮像素子を有する撮像装置での処理をコンピュータに実行させるプログラムであって、
各画素の前記分光感度特性を示す特性情報と各画素から取得される輝度情報とを基に、輝度情報の補正係数を取得する取得ステップと、
前記取得ステップで取得した前記補正係数に基づいて、前記輝度情報を補正する処理ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
従来、マルチバンドイメージセンサー（多原色イメージセンサー）と呼ばれる、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光の三原色以外の分光特性を有するイメージセンサー（撮像素子）が開発されている。マルチバンドイメージセンサーは、様々な波長成分を単独で取得することによって、例えば霞がかった景色もくっきりと表示できたり、肉眼では同じ緑に見える植物の葉の色を見分けて育成度を判断できたりするなど、様々な分野で応用が期待されている。
【０００３】
この分光特性を実現する手法としては、撮像素子の画素毎に所望の波長帯のみを透過する分光感度特性を持つカラーフィルタを配置する手法が一般的である。例えば特許文献１には、従来のＲＧＢと組み合わせて、様々な波長帯域に対応するように分光特性を持たせたイメージセンサーの画素配列が提案されている。
【０００４】
また、マルチバンドイメージセンサーは、人間が視認できる可視光領域だけでなく、紫外光や赤外光等の不可視光領域まで含む分光特性を有するものがある。例えば特許文献２では、ＲＧＢに対応した画素に加えて赤外光に対応したＩＲ（Ｉｎｆｒａ  Ｒｅｄ）画素を設けた画素配列を形成し、ＩＲ画素の信号をシェーディングの防止等に利用している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−４４５１９号公報
【特許文献２】特開２０１１−２９８１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の撮像素子は、人間が視認できる可視光領域の光以外、例えばＲＧＢ（赤、緑、青）の光以外は不要であった。そのため、紫外光領域の成分は、ガラスレンズの特性により紫外光が吸収されるために結果的に除外でき、赤外光領域の成分は、撮像素子の前に赤外光（ＩＲ）カットフィルタを配置することで除外していた。しかしながら、不可視光領域を使用したい場合、例えば赤外光を利用しようとする場合には、赤外光カットフィルタを装着することができない。
【０００７】
ＲＧＢのカラーフィルタは、可視光領域の成分だけでなく赤外光領域の成分も透過する分光感度特性を有することが知られている。したがって、撮像素子の前に赤外光カットフィルタを配置しないと、ＲＧＢのカラーフィルタは、ＲＧＢに対応する領域の成分に加えて赤外光領域の成分も透過させてしまう。その結果、撮像素子の画素は、ＲＧＢの各波長成分についての正しい輝度値が取得できなくなるという課題がある。
【０００８】
それに対して特許文献２では、ＩＲ画素で得られた輝度成分をＲＧＢに対応した画素の輝度成分から差し引くことでＲＧＢの輝度補正を行っている。ＲＧＢのそれぞれのカラーフィルタにおける赤外光の透過量は波長によって特性が異なるが、従来技術では、ＲＧＢのカラーフィルタにおける赤外光領域での分光特性のバラツキまで加味されていない。
【０００９】
そのため、単純に広い波長領域をカバーするＩＲ画素の輝度成分を用いてＲＧＢの輝度補正を行うと、実際はＲやＧやＢのカラーフィルタでは全く感度のない波長の成分を検出していても、その成分を含めて補正してしまい過補正となることが起こり得る。本発明は、過補正となることを防止し、精度よく輝度補正を行えるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る撮像装置は、画素領域の各々に異なる分光感度特性を有する複数の画素を配置し、可視光領域の異なる３色にそれぞれ対応する前記画素領域と不可視光領域に対応する前記画素領域とが配列された撮像素子と、各画素の前記分光感度特性を示す特性情報を記憶する記憶手段と、前記記憶手段に記憶された前記特性情報と各画素から取得される輝度情報とを基に、輝度情報の補正係数を取得する取得手段と、前記取得手段から供給される前記補正係数に基づいて、前記輝度情報を補正する処理手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、輝度補正における過補正を防止して、精度よく輝度補正を行うことが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態における撮像装置の構成例を示す図である。
【図２】ベイヤー配列での画素配列の例を示す図である。
【図３】赤外光カットフィルタの配置例を示す図である。
【図４】ベイヤー配列での分光感度特性の例を示す図である。
【図５】ＲＧＢ＋ＩＲの画素配列の例を示す図である。
【図６】ＲＧＢ＋ＩＲの画素配列での分光感度特性の例を示す図である。
【図７】第１の実施形態における撮像素子の画素配列の一例を説明する図である。
【図８】第１の実施形態におけるＢ成分に係る分光感度特性の例を示す図である。
【図９】第１の実施形態におけるＩＲ成分に係る分光感度特性の例を示す図である。
【図１０】第１の実施形態における輝度補正の例を説明する図である。
【図１１】第１の実施形態におけるＢ成分及びＩＲ成分に係る分光感度特性の例を示す図である。
【図１２】第２の実施形態におけるＢ成分及びＩＲ成分に係る分光感度特性の例を示す図である。
【図１３】第３の実施形態におけるＲＧＢの各成分及びＩＲ成分に係る分光感度特性の例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態を図面に基づいて説明する。
【００１４】
（第１の実施形態）
本発明の第１の実施形態について説明する。図１は、本発明の一実施形態における撮像装置の構成例を示すブロック図である。本実施形態における撮像装置１００は、光学レンズ１０１、撮像素子１０２、映像エンジン１０３、映像表示素子１１４、映像記録媒体１１５、及び映像出力端子１１６を有する。また、撮像装置１００は、さらにモードマイコン１１７、ＲＯＭ（Read Only Memory）１１８、ＲＡＭ（Random Access Memory）１１９、操作部１２０、電源部１２１、及び発振部１２２等を有する。
【００１５】
撮像装置１００は、映像（被写体像）に係る入射光を光学レンズ１０１で集光し、撮像素子１０２で受像する。光学レンズ１０１は、ガラスや蛍石等の材料を使い、映像（被写体像）に係る入射光を撮像素子１０２のサイズに合わせて縮小する。撮像素子１０２は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等が用いられる。
【００１６】
撮像素子１０２は、光学的な信号から電気的な信号に変換する光電変換を行い、映像（被写体像）に係る入射光を電気信号に変換する。ここで得られる電気信号はアナログ値であるので、撮像素子１０２は、デジタル値に変換するアナログ−デジタル変換機能も合わせて有している。なお、撮像素子１０２がアナログ信号を出力し、撮像素子１０２の後段にアナログ−デジタル変換器を配置してデジタル値に変換するようにしてもよい。
【００１７】
映像エンジン１０３は、映像に係る制御や処理に特化したＬＳＩ（Large Scale Integration）であり、撮像装置１００を駆動制御する様々な機能を有する。映像エンジン１０３は、映像分配部１０４、可視映像処理部１０７、不可視映像処理部１０８、分光特性比較部１０９、分光特性保存部１１０、補正係数取得部１１１、映像合成部１１２、及び付加情報重畳部１１３を有する。また、映像エンジン１０３は、撮像素子１０２の駆動制御やアナログゲインをかける撮像素子制御部１０５、及び光学レンズ１０１を駆動し映像のズームやフォーカス等を制御するレンズ制御部１０６等を有する。
【００１８】
映像分配部１０４は、可視映像処理部１０７、不可視映像処理部１０８、及び分光特性比較部１０９に対して、撮像素子１０２で電気信号に変換された各画素の輝度情報をそれぞれ必要な波長毎に分配する。例えば、映像分配部１０４は、人間の眼で視認できる波長領域である可視光領域に対応する画素から得られる輝度情報を可視映像処理部１０７に供給する。また、映像分配部１０４は、人間の眼では視認できない波長領域である不可視光領域に対応する画素から得られる輝度情報を不可視映像処理部１０８に供給する。
【００１９】
可視映像処理部１０７は、映像分配部１０４から供給される可視光領域に対応する画素の輝度情報に係る処理を行う。可視映像処理部１０７は、例えば補正係数取得部１１１から供給される補正係数に基づいて輝度補正を行い、可視光領域に対応する画素の輝度情報を補正する。
【００２０】
不可視映像処理部１０８は、映像分配部１０４から供給される不可視光領域に対応する画素の輝度情報に係る処理を行う。不可視映像処理部１０８は、例えば補正係数取得部１１１から供給される補正係数に基づいて輝度補正を行い、不可視光領域に対応する画素の輝度情報を補正する。また、不可視映像処理部１０８は、例えば不可視光領域に対応する画素から得られた輝度情報を人間の眼で視認できるように可視化処理する。
【００２１】
分光特性比較部１０９は、各カラーフィルタに係るカラーフィルタ特性情報を分光特性保存部１１０から取得し、映像分配部１０４から供給される各画素の輝度情報とカラーフィルタ特性情報とを比較して比較結果を補正係数取得部１１１に出力する。分光特性保存部１１０は、予め取得した、撮像素子１０２の各画素に対して配置される各カラーフィルタの分光感度特性、すなわち撮像素子１０２の各画素の分光感度特性を示すカラーフィルタ特性情報を記憶する。
【００２２】
補正係数取得部１１１は、分光特性比較部１０９での比較結果に基づいて、撮像素子１０２の各画素の輝度情報についての補正係数を取得する。補正係数取得部１１１により取得された補正係数は、可視映像処理部１０７や不可視映像処理部１０８に供給される。
【００２３】
映像合成部１１２は、可視映像処理部１０７から出力される映像と不可視映像処理部１０８から出力される映像とを適宜合成して出力する。例えば、映像合成部１１２は、輝度補正が施された可視映像処理部１０７からの映像と、不可視映像処理部１０８で人間が視認できるように可視化処理された映像とを合成して出力する。
【００２４】
付加情報重畳部１１３は、映像合成部１１２から出力される映像に必要に応じてＯＳＤ（On Screen Display）等の情報を付与し、映像表示素子１１４や映像記録媒体１１５や映像出力端子１１６に送出する。
【００２５】
映像表示素子１１４は、撮影映像や設定メニュー等を表示する。ユーザーは映像表示素子１１４での表示によって撮像装置１００の動作状況等を視認することが可能である。映像表示素子１１４は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Organic Electroluminescence）といった小型で低消費電力の表示デバイスである。
【００２６】
映像記録媒体１１５は、映像を記録できる記録媒体である。映像記録媒体１１５は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量記録メディアである。映像出力端子１１６は、映像を外部に出力するインターフェースであり、例えばアナログコンポジット映像端子やデジタル映像端子である。デジタル映像端子としては、例えばＳＤＩ（Serial Digital Interface）規格に準拠した端子や、ＨＤＭI（登録商標）（High Definition Multimedia Interface）規格に準拠した端子等がある。
【００２７】
モードマイコン１１７は、撮像装置１００のモード制御を行う。ＲＯＭ１１８は、初期値等を保存しておく不揮発性のメモリであり、ＲＡＭ１１９は、プログラムや映像等を一時的に保存する揮発性のメモリである。操作部１２０は、メカニカルなボタンやスイッチ等の素子が用いられユーザーによる操作を受け付ける。電源部１２１は、撮像装置１００内の各機能部に電源を供給し、発振部１２２は、撮像装置１００内の各機能部に供給するクロックを生成するための基準クロックを発生させる。
【００２８】
次に、撮像素子とその分光感度特性について説明する。まず、本発明に至る参考技術について説明し、次に本実施形態における撮像素子とその分光感度特性について説明する。なお、以下の説明において、「Ｒ成分のカラーフィルタ」とは透過主波長帯がＲ成分（赤成分）であるフィルタを示し、「Ｇ成分のカラーフィルタ」とは透過主波長帯がＧ成分（緑成分）であるフィルタを示す。また、「Ｂ成分のカラーフィルタ」とは透過主波長帯がＢ成分（青成分）であるフィルタを示し、「ＩＲ成分のカラーフィルタ」とは透過主波長帯がＩＲ成分（赤外光成分）であるフィルタを示す。
【００２９】
図２は、第１の参考技術としての撮像素子の画素配列の一例を示す図である。図２に示す画素配列はベイヤー配列と呼ばれ、ＲＧＢの各色のカラーフィルタが市松模様のように配置されている。例えば、画素２０１にはＲ成分のカラーフィルタが配置され、画素２０２、２０３にはＧ成分のカラーフィルタが配置され、画素２０４にはＢ成分のカラーフィルタが配置されている。
【００３０】
周辺画素から必要な色の画素を補間する現像処理技術の発達とともに、ベイヤー配列は単板撮像素子カメラにおいてよく採用されている配列である。このＲＧＢの各成分のカラーフィルタは、それぞれの色に対応する波長の光だけでなく赤外光も透過する特性を持つため、通常は図３に示すように撮像素子の前面に赤外光（ＩＲ）カットフィルタ３０１を配置して使うのが一般的である。
【００３１】
ＲＧＢの各成分のカラーフィルタを用いたときの撮像素子の分光感度特性の例を図４に示す。図４（ａ）は、図３に示した構成、すなわち撮像素子の前面に赤外光（ＩＲ）カットフィルタ３０１を配置した状態における各成分のカラーフィルタでの透過率を示す図である。図４（ｂ）は、赤外光（ＩＲ）カットフィルタ３０１を配置していない状態における各成分のカラーフィルタでの透過率を示す図である。図４（ａ）及び図４（ｂ）には、それぞれＢ成分４０１、Ｇ成分４０２、Ｒ成分４０３で記してある。
【００３２】
図４（ａ）に示したように、撮像素子の前面に赤外光（ＩＲ）カットフィルタ３０１を配置すると、赤外光（ＩＲ）カットフィルタ３０１の効果によって、人間が視認できない７００ｎｍより長い波長の光が吸収され、不要な波長がカットされている。一方、図４（ｂ）に示したように、赤外光（ＩＲ）カットフィルタ３０１を配置しない場合、ＲＧＢの各成分のカラーフィルタは赤外光も透過しており、撮像素子が赤外光領域の光にも感度を持ってしまう。
【００３３】
ここで、赤外光領域での各成分のカラーフィルタの分光感度特性は、図４（ｂ）に示したように各波長によって特性が異なっている。例えば、波長が７００ｎｍの光に着目した場合と波長が８５０ｎｍの光に着目した場合とでは、ＲＧＢそれぞれの成分で分光感度特性は大きく異なる。７００ｎｍの波長帯では、Ｒ成分のカラーフィルタでの透過率は高いが、Ｂ成分のカラーフィルタでの透過率は低い。一方、８５０ｎｍの波長帯では、Ｂ成分のカラーフィルタでの透過率は高いが、Ｒ成分のカラーフィルタでの透過率は低い。つまり、波長帯によってカラーフィルタの特性は大きく違うことを意味する。
【００３４】
次に、第２の参考技術として、図５に示すような赤外光（ＩＲ）まで対応するＲＧＢ＋ＩＲの画素配列を採用した場合を考える。この画素配列は、ベイヤー配列において２つあるＧ成分のカラーフィルタの１つをＩＲ成分のカラーフィルタに代えて配置した画素配列となっている。図５には、図２に示した例においてＧ成分のカラーフィルタが配置される画素２０３を、ＩＲ成分のカラーフィルタが配置される画素５０１とした例を示している。
【００３５】
このようなＲＧＢ＋ＩＲの画素配列を採用する場合、赤外光領域を使用するために、撮像素子の前面に赤外光カットフィルタを配置することができない。そのため、撮像素子の分光感度特性は、図６に示すようになり、この画素配列ではＩＲ成分６０１が追加となる。また、赤外光カットフィルタを配置しないために、ＲＧＢの各成分のカラーフィルタが赤外光領域を透過する特性を持っていることも顕在化してしまう。
【００３６】
図５に示したようなＲＧＢ＋ＩＲの画素配列において、ＲＧＢの各成分のカラーフィルタが配置されたＲＧＢ画素の輝度成分に含まれる赤外光成分を、ＩＲ成分のカラーフィルタが配置されたＩＲ画素の輝度成分を用いて除去することを考える。図６に示したようにＩＲ成分のカラーフィルタの特性はＲＧＢの各成分のカラーフィルタと同様に広い波長領域をカバーしているため、ＩＲ画素で取得できる輝度成分は、どの波長成分によるものであるかはわからない。
【００３７】
例えば、波長が９００ｎｍの光が強かったとして、そのときのＩＲ画素の輝度成分を基にＲＧＢ画素に対しＩＲ成分を除去する輝度補正を行うものとする。ここで、ＩＲ成分を除去するための補正方法としては、例えば、特許文献２に記載されているような手法を用いればよい。この場合、図６に示したように、ＲＧＢの各成分のカラーフィルタは、波長が９００ｎｍの光にほとんど感度を持っていないにもかかわらず、ＲＧＢ画素に対して輝度補正してしまうことになる。これでは過補正となってしまい、ＲＧＢ画素の輝度成分から、それに含まれるＩＲ成分を精度よく除去することにはならない。
【００３８】
次に、本実施形態における撮像素子とその分光感度特性について説明する。本発明では、赤外光も含む４以上の分光感度特性を持つ撮像素子を有する撮像装置を前提とする。図７（ａ）は、本実施形態における撮像素子の画素配列の例を示す図である。本実施形態における撮像素子の画素配列は、図７（ａ）に示すように、異なる分光感度特性を持った、１から１６までのカラーフィルタ（ＣＦ）が配置されている。このカラーフィルタ（ＣＦ１〜ＣＦ１６）が配置された１６画素を１つのグループとして、上下左右に同様の配列でカラーフィルタを配置する。それぞれのカラーフィルタの分光感度特性を互いに異ならせ、さらに分光波長帯域も狭くすることで、本実施形態における撮像素子は、１６波長について輝度値を取得することが可能となる。
【００３９】
また、１６画素の内、４画素単位のグループに分けて、その４画素単位のカラーフィルタの分光感度特性を波長的に比較的近い成分でまとめておく。図７（ｂ）に、そのようにしてカラーフィルタを配置した撮像素子の画素配列の例を示す。図７（ｂ）に示した例の場合、４画素単位毎にＲ成分に近い波長（Ｒ１〜Ｒ４）、Ｇ成分に近い波長（Ｇ１〜Ｇ４）、Ｂ成分に近い波長（Ｂ１〜Ｂ４）、ＩＲ成分に近い波長（ＩＲ１〜ＩＲ４）の分光感度特性をそれぞれ持つフィルタをまとめている。
【００４０】
図７（ｃ）に、各画素の具体的な対応波長の例を記した画素配列を示す。すなわち、本実施形態における撮像素子は、可視光領域の３色（Ｒ成分、Ｇ成分、Ｂ成分）にそれぞれ対応する画素領域と不可視光領域のＩＲ成分に対応する画素領域を有し、画素領域の各々に分光感度特性の異なる複数の画素を配置した画素配列となっている。
【００４１】
このような画素配列とし、カラーフィルタ（Ｒ１〜Ｒ４）が配置されたＲ成分に近い４画素の輝度値を合成して使用することで、従来の画素配列でのＲ画素と同等の波長成分を有する画素を生成できる。また、Ｇ画素、Ｂ画素、及びＩＲ画素に関しても同様の処理を行うことで、従来の画素配列でのＧ画素、Ｂ画素、及びＩＲ画素のそれぞれと同等の波長成分を有する画素を生成でき、ＲＧＢ＋ＩＲの画素配列の撮像素子を実現することができる。このような構成は、従来のベイヤー配列において用いられる信号処理の概念を流用できるため、従来の映像エンジンと親和性が高くなるというメリットもある。
【００４２】
代表例として図８（ａ）にＢ成分を構成する４つの画素の分光感度特性を示す。例えば、カラーフィルタ（Ｂ１）が配置された画素の分光感度特性がＢ成分１（８０１）であり、カラーフィルタ（Ｂ２）が配置された画素の分光感度特性がＢ成分２（８０２）である。また、カラーフィルタ（Ｂ３）が配置された画素の分光感度特性がＢ成分３（８０３）であり、カラーフィルタ（Ｂ４）が配置された画素の分光感度特性がＢ成分４（８０４）である。
【００４３】
このように細かく分けられた波長成分をすべて使うことで、従来のＢ成分に近い広い波長範囲をカバーした画素を形成できる。これらの画素を形成するために、各色成分について、それぞれ通常の４倍である４画素ずつ使用している。現在の４Ｋ画素センサーや８Ｋ画素センサー等の超多画素センサーであれば、画素数は十分に余裕があり、映像としても実用可能な範囲内である。このように本実施形態における撮像素子は、従来と同様のＲＧＢ画像とＩＲ画像に加えて、さらには様々な波長を細かく観測することができる。
【００４４】
次に、図７（ｂ）に例示したような分光感度特性を持った画素配列の撮像素子を用いた輝度補正処理について説明する。前述したように、赤外光領域であるＩＲ成分を使うことを前提とした撮像装置では、赤外光カットフィルタは使用できない。その場合、ＲＧＢの各成分のカラーフィルタの中には赤外光を透過させてしまうものもある。一例として図８（ｂ）に、赤外光カットフィルタなしでのＢ成分を形成する４つの画素の分光感度特性を示す。図８（ｂ）に示したように、一部のカラーフィルタでは赤外光領域の光を透過させている。
【００４５】
以下、説明を簡単化するためにＢ成分で最も透過率の高いカラーフィルタを例にとって輝度補正を説明する。図９は、Ｂ成分を形成する狭帯域なカラーフィルタのひとつ（Ｂ３）が配置された画素の分光感度特性と、ＩＲ成分を形成するカラーフィルタ（ＩＲ１〜ＩＲ４）が配置された画素の分光感度特性とを合わせて示す図である。
【００４６】
図９においては、カラーフィルタ（Ｂ３）が配置された画素の分光感度特性がＢ成分３（８０３）であるものとする。また、カラーフィルタ（ＩＲ１）が配置された画素の分光感度特性がＩＲ成分１（９０１）であり、カラーフィルタ（ＩＲ２）が配置された画素の分光感度特性がＩＲ成分２（９０２）であるものとする。また、カラーフィルタ（ＩＲ３）が配置された画素の分光感度特性がＩＲ成分３（９０３）であり、カラーフィルタ（ＩＲ４）が配置された画素の分光感度特性がＩＲ成分４（９０４）であるものとする。
【００４７】
図９に示した例では、Ｂ成分に係るカラーフィルタ（Ｂ３）は、本来の波長が５００ｎｍ近辺の光だけでなく、赤外光領域である波長が８００ｎｍ付近の光も透過している。一方、ＩＲ成分に係るカラーフィルタの１つであるカラーフィルタ（ＩＲ２）は、Ｂ成分に係るカラーフィルタ（Ｂ３）での赤外光領域の透過波長に近いところに分光感度を持つ狭帯域なカラーフィルタとなっている。
【００４８】
例えば、撮像素子で受像した光が８００ｎｍ付近に強い成分を持つ光であるものとする。このとき、カラーフィルタ（Ｂ３）が配置されたＢ成分を形成する画素は光量があると検出する。また、波長が８００ｎｍ付近の光に分光感度を持つＩＲ成分のカラーフィルタが配置された画素（この例ではカラーフィルタ（ＩＲ２）が配置された画素）も光量があると検出する。
【００４９】
この場合、予め狭帯域なＢ成分のカラーフィルタの特性と狭帯域なＩＲ成分のカラーフィルタの特性とがわかっていれば、波長が８００ｎｍ付近の光に分光感度を持ったカラーフィルタの画素から得られた輝度値を用い、精度よく輝度補正を行うことができる。すなわち、８００ｎｍ付近の光に分光感度を持ったカラーフィルタの画素から得られた輝度値を利用して、Ｂ画素の輝度成分から、それに含まれるＩＲ成分を適切に除去することが可能となる。
【００５０】
具体的な補正手順を撮像装置１００の処理とともに説明する。撮像装置１００において、外部から入射する様々な波長の光は、光学レンズ１０１で集光され、図７（ｂ）に示したような画素配列の撮像素子１０２で受光される。撮像素子１０２で電気信号に変換された各波長の輝度情報は、映像分配部１０４により必要な波長毎に分配される。
【００５１】
例えば、人間の眼で視認できる波長領域である可視光領域に対応する画素の輝度情報は可視映像処理部１０７へ分けられ、人間の眼では視認できない波長領域である不可視光領域に対応する画素の輝度情報は不可視映像処理部１０８に分けられる。ここで、例えばＩＲ成分が強く検出された場合、ＲＧＢの各成分に余剰なＩＲ成分が含まれているおそれがある。
【００５２】
また、映像分配部１０４により入力される各波長の輝度値と、分光特性保存部１１０から取得したカラーフィルタ特性情報とが、分光特性比較部１０９で比較され、その比較結果が補正係数取得部１１１に送出される。そして、分光特性比較部１０９での比較結果に基づいて、補正係数取得部１１１により輝度補正処理に係る補正係数が算出される。算出された補正係数は、可視映像処理部１０７や不可視映像処理部１０８に出力され、可視映像処理部１０７や不可視映像処理部１０８が、補正係数に基づいて各成分の輝度補正処理を行う。
【００５３】
一連の処理を終えた後、輝度補正された可視映像処理部１０７の出力映像と、不可視映像処理部１０８で可視化処理された映像とが映像合成部１１２で適宜合成される。そして、必要に応じてＯＳＤ等の情報が付加情報重畳部１１３にて付与された後、映像表示素子１１４や映像記録媒体１１５や映像出力端子１１６に送出される。
【００５４】
具体的な輝度補正の例を、図１０を参照して説明する。ここでは、ＩＲ成分として、波長が８００ｎｍの光で光量を取得した場合の例を説明する。分光特性保存部１１０は、波長が８００ｎｍの光における、狭帯域なＢ成分のカラーフィルタの透過率特性１００２と狭帯域なＩＲ成分のカラーフィルタの透過率特性１００１とを記憶している。言い換えれば、分光特性保存部１１０は、波長が８００ｎｍの入射光の光量が同じである場合のＩＲ成分のカラーフィルタでの透過量とＢ成分のカラーフィルタでの透過量との比を示す情報を保持している。
【００５５】
ここで、Ｂ成分のカラーフィルタが配置された画素（Ｂ画素）から得られる輝度値は、Ｂ成分の光によるＢ輝度成分１０１１とＩＲ成分の光によるＩＲ輝度成分１０１２とを合算したものになる。また、ＩＲ成分のカラーフィルタが配置された画素（ＩＲ画素）では、赤外光領域のみ、すなわちＩＲ成分の光のみによる輝度値１０２１を取得している。
【００５６】
前述した狭帯域なＢ成分のカラーフィルタ及びＩＲ成分のカラーフィルタの透過率特性の比率（透過量の比）に基づいて、ＩＲ画素で取得した輝度値からＢ画素で取得した輝度値に含まれるＩＲ成分による輝度値１０３１を算出することができる。例えば、波長が８００ｎｍの光について、Ｂ成分のカラーフィルタでの透過率が、ＩＲ成分のカラーフィルタでの透過率の（１／２）であるものとする。この場合、ＩＲ画素で取得した輝度値が１００であれば、Ｂ画素で取得した輝度値に含まれるＩＲ成分による輝度値は５０である。
【００５７】
この算出したＩＲ成分による輝度値１０３１をＢ画素で取得された輝度値から減算することで、ＩＲ成分の光によるＩＲ輝度成分１０１２が適切に除去されたＢ画素の輝度値１０４１が得られる。このようにして、狭帯域なＢ成分のカラーフィルタが配置されたＢ画素に対して、過補正となることを防止して、精度よく輝度補正を行うことができる。ここでは、狭帯域なＢ成分のカラーフィルタが配置されたＢ画素を一例に説明したが、他の各画素についても同様である。
【００５８】
第１の実施形態によれば、異なる分光感度特性を有する狭波長帯域のカラーフィルタを複数配置した画素配列の撮像素子を用いることで、複数の波長帯の輝度情報を取得することが可能となる。また、各画素から取得される輝度情報に含まれるＩＲ成分を、過補正となることなく適切に除去することができ、精度よく輝度補正を行うことが可能となる。
【００５９】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。以下では、第２の実施形態における撮像装置において、前述した第１の実施形態と異なる点についてのみ説明する。前述したように、各成分のカラーフィルタの分光感度特性は様々である。図８（ｂ）に一例を示したように、Ｂ成分のカラーフィルタであっても赤外光領域に様々な透過特性を持ってしまうものがある。前述した輝度補正処理の精度をより向上させるために、ＩＲ成分のカラーフィルタの透過波長の中心をＲＧＢの各成分のカラーフィルタの赤外光領域の透過特性に合わせて設定することも可能である。
【００６０】
以下、Ｂ成分を一例として説明する。例えば、図１１（ａ）及び図１１（ｂ）に示すように、Ｂ成分１〜４（８０１〜８０４）の赤外光領域におけるピークの波長と、ＩＲ成分１〜４（９０１〜９０４）のピークの波長にはズレがある。このピークの波長のズレは輝度補正の精度に影響を及ぼし、ピークの波長のズレが大きいと輝度補正の精度が低下する。そこで、図１２（ａ）及び図１２（ｂ）に一例を示すように、Ｂ成分１〜４（８０１〜８０４）の赤外光領域におけるピークの波長と、ＩＲ成分１〜４（１２０１〜１２０４）のピークの波長が合うように予めフィルタ特性を選択する。
【００６１】
このようにＢ成分のカラーフィルタが配置された画素の赤外光領域における分光感度特性とＩＲ成分のカラーフィルタが配置された画素の分光感度特性とを合わせるように予め調整する。これにより、分光感度特性におけるピークの波長のズレがなくなり輝度補正の精度を向上させることができる。なお、Ｂ成分のカラーフィルタが配置された画素だけではないので、Ｒ成分やＧ成分のカラーフィルタが配置された画素の分光感度特性を鑑みてバランスをとることが重要であり、取得したい赤外光領域の波長も加味する必要はある。
【００６２】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。以下では、第３の実施形態における撮像装置において、前述した実施形態と異なる点についてのみ説明する。撮像素子１０２に配置するカラーフィルタの種類が増えると、それに伴って情報量も増える。その結果、撮像装置１００における映像分配部１０４、分光特性比較部１０９、分光特性保存部１１０、及び補正係数取得部１１１等での処理量が増大する。情報量及び処理量の増大は、撮像装置１００の処理能力や消費電力等に影響を及ぼす可能性がある。
【００６３】
そこで、処理を軽減するために、ＲＧＢのそれぞれについて、画素領域毎にその画素領域内の画素から取得される狭波長成分を予め合成して合成輝度情報を得て輝度補正処理を行うようにしてもよい。例えば、図１３（ａ）及び図１３（ｂ）に示すように、合成して得られたＲＧＢのそれぞれの成分（１３０１〜１３０３）に対して、狭波長のＩＲ成分１〜４（１３１１〜１３１４）を用いて輝度補正することも可能である。例えば、図７（ｂ）に示したような撮像素子において、以下のような合成結果に対してＩＲ画素（ＩＲ１〜ＩＲ４）の輝度情報を用いて補正処理を行うことも可能である。
Ｒ（合成）＝Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４
Ｇ（合成）＝Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４
Ｂ（合成）＝Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４
このように狭波長のＲ成分、Ｇ成分、及びＢ成分を予め合成することにより、撮像装置１００での処理量を低減することができ、有限のリソースで実施するには有効な手法である。
【００６４】
なお、前述した実施形態はそれぞれ単独で実現される場合に限らず、前述した実施形態の一部を適宜組み合わせてもよい。また、前述した実施形態では、各色成分を４画素ずつとした例を示したが、さらにカラーフィルタの種類を増やすことで補正精度の向上が望める。
【００６５】
また、前述した説明では、ＲＧＢ画素の輝度情報をＩＲ画素で取得されるＩＲ成分を用いて補正することを主として述べたが、ＩＲ画素の輝度情報をＲＧＢ画素で取得されるＲＧＢ成分を用いて補正することも可能である。また、ＲＧＢ画素の所定の色（例えばＲ成分）の輝度情報を補正するために、所定の色とは異なる他の色（例えばＧ成分及びＢ成分）等の輝度情報を用いて輝度補正を行うことも可能である。また、ＩＲ成分だけでなく紫外光領域であるＵＶ（Ultraviolet）成分にも展開可能である。また、各波長成分の情報を記録メディア等に記録させておき、撮影した後に画像処理ソフトウェア等で輝度補正を行うことも可能である。
【００６６】
（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６７】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００６８】
１００：撮像装置  １０１：光学レンズ  １０２：撮像素子  １０３：映像エンジン  １０４：映像分配部  １０５：撮像素子駆動部  １０６：レンズ制御部  １０７：可視映像処理部  １０８：不可視映像処理部  １０９：分光特性比較部  １１０：分光特性保存部  １１１：補正係数取得部  １１２：映像合成部  １１３：付加情報重畳部
【図１】
2020027979.tif 000003
【図２】
2020027979.tif 000004
【図３】
2020027979.tif 000005
【図４】
2020027979.tif 000006
【図５】
2020027979.tif 000007
【図６】
2020027979.tif 000008
【図７】
2020027979.tif 000009
【図８】
2020027979.tif 000010
【図９】
2020027979.tif 000011
【図１０】
2020027979.tif 000012
【図１１】
2020027979.tif 000013
【図１２】
2020027979.tif 000014
【図１３】
2020027979.tif 000015