(57)【要約】  本開示は、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができるようにする撮像装置、撮像方法、およびプログラムに関する。レベル補正部は、RGBW画素配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の撮像画像の最も感度の高い白色の画素の信号レベルである前レベルと、ベイヤ化処理後のRGB画像の、ベイヤ配列の画像の露光制御に用いられる緑色の画素の信号レベルである後レベルが同一になるように、撮像画像の信号レベルを補正する。本開示は、例えば、撮像装置等に適用することができる。
2016098641.tif 000002
【特許請求の範囲】
【請求項１】
非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部
を備える撮像装置。
【請求項２】
前記前レベルと前記後レベルに基づいて、前記前レベルと前記後レベルを同一にするために前記撮像画像の信号レベルに乗算する補正ゲインを算出する補正ゲイン算出部
をさらに備え、
前記レベル補正部は、前記補正ゲイン算出部により算出された前記補正ゲインを、前記撮像画像の信号レベルに乗算する
ように構成された
請求項１に記載の撮像装置。
【請求項３】
前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像のRGBの信号レベルの比と、ベイヤ化処理後の前記撮像画像のRGBの信号レベルの比が同一になるように、前記撮像画像のホワイトバランスを制御するホワイトバランス制御部
をさらに備える
請求項１に記載の撮像装置。
【請求項４】
前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、前記撮像画像に対してホワイトバランスゲインを乗算するホワイトバランス部
をさらに備え、
前記ホワイトバランス制御部は、前記ホワイトバランス部により前記ホワイトバランスゲインが乗算された前記撮像画像に対して、前記ホワイトバランスゲインの逆数を乗算することにより、前記撮像画像のホワイトバランスを制御する
ように構成された
請求項３に記載の撮像装置。
【請求項５】
前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、前記撮像画像に基づいて前記ホワイトバランスゲインを算出するホワイトバランスゲイン算出部
をさらに備える
請求項４に記載の撮像装置。
【請求項６】
前記ホワイトバランスゲインは、前記ベイヤ化処理後の撮像画像を用いて所定の信号処理を行う際に算出される
ように構成された
請求項４に記載の撮像装置。
【請求項７】
前記非ベイヤ配列の撮像画像の各画素の信号には、不可視光成分と可視光成分が含まれる
ように構成された
請求項１に記載の撮像装置。
【請求項８】
前記信号に含まれる前記不可視光成分と前記可視光成分を分離する分離部
をさらに備え、
前記レベル補正部は、前記分離部により分離された前記可視光成分の信号レベルを補正する
ように構成された
請求項７に記載の撮像装置。
【請求項９】
撮像装置が、
非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正ステップ
を含む撮像方法。
【請求項１０】
コンピュータを、
非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、撮像方法、およびプログラムに関し、特に、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができるようにした撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
RGBW画素配列のイメージセンサにおいて、不可視光である近赤外光と可視光の両方を透過させる光学帯域分離フィルタを介して入力された光に対応する画像を撮像し、撮像画像から不可視光成分と可視光成分を分離することが考案されている（例えば、特許文献１参照）。このようなイメージセンサにおいて、不可視光成分と可視光成分の分離を高精度で行うためには、適切な露光制御を行うことが必要である。【０００３】
そこで、分離の前後に積分器を設け、不可視光成分の量に応じて一方からの出力を選択して用いることにより、露光制御（ＡＥ（Automatic Exposure）制御）やホワイトバランス制御（ＡＷＢ（Automatic White-Balance）制御）を行うことが考えられている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2008-289000号公報
【特許文献２】特開2008-289001号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２に記載の露光制御方法のように、ベイヤ配列の撮像画像の露光制御方法とは大きく異なる方法を用いて露光制御を行う場合、既存のベイヤ配列の撮像画像の露光制御部では、露光制御を行うことができない。従って、新たな露光制御部を開発し、設置する必要があり、製造コストが増加する。【０００６】
よって、ベイヤ配列の撮像画像の露光制御方法で、不可視光成分と可視光成分を含むRGBW画素配列の撮像画像などの非ベイヤ配列の撮像画像の露光制御を行うことが望まれている。【０００７】
本開示は、このような状況に鑑みてなされたものであり、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の一側面の撮像装置は、非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部を備える撮像装置である。【０００９】
本開示の一側面の撮像方法およびプログラムは、本開示の一側面の撮像装置に対応する。【００１０】
本開示の一側面においては、非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルが補正される。
【発明の効果】
【００１１】
本開示の一側面によれば、撮像することができる。また、本開示の一側面によれば、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができる。【００１２】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１３】
【図１】本開示を適用した撮像装置を含む撮像システムの第１実施の形態の構成例を示すブロック図である。
【図２】図１の光学フィルタの各波長の光の透過率の例を示す図である。
【図３】ベイヤ化処理の前後の画像の画素配列を説明する図である。
【図４】図１のベイヤ化処理部の構成例を示すブロック図である。
【図５】出力信号の信号レベルを説明する概念図である。
【図６】露光制御が行われない場合の分離部からの出力信号を表す図である。
【図７】露光制御が行われた場合の分離部からの出力信号を表す図である。
【図８】図１の撮像装置の撮像処理を説明するフローチャートである。
【図９】図１の撮像装置の撮像処理を説明するフローチャートである。
【図１０】撮像装置のICチップの第１の構成例を示す図である。
【図１１】撮像装置のICチップの第２の構成例を示す図である。
【図１２】撮像装置のICチップの第３の構成例を示す図である。
【図１３】撮像装置のICチップの第４の構成例を示す図である。
【図１４】本開示を適用した撮像装置を含む撮像システムの第２実施の形態の構成例を示すブロック図である。
【図１５】図１４のベイヤ化処理部の構成例を示すブロック図である。
【図１６】図１４の撮像装置の撮像処理を説明するフローチャートである。
【図１７】図１４の撮像装置の撮像処理を説明するフローチャートである。
【図１８】RGBW画素配列以外の非ベイヤ配列の例を示す図である。
【図１９】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：撮像システム（図１乃至図１３）
２．第２実施の形態：撮像システム（図１４乃至図１７）
３．非ベイヤ配列の他の例（図１８）
４．第３実施の形態：コンピュータ（図１９）
【００１５】
＜第１実施の形態＞
（撮像装置の第１実施の形態の構成例）
図１は、本開示を適用した撮像装置を含む撮像システムの第１実施の形態の構成例を示すブロック図である。
【００１６】
図１の撮像システム１０は、撮像装置１１とＩＲ（赤外光）投光装置１２により構成される。撮像システム１０では、被写体によって反射された赤外光と可視光に対応する画像が撮像される。
【００１７】
具体的には、撮像装置１１は、レンズ２１、光学フィルタ２２、イメージセンサ２３、ベイヤ化処理部２４、および信号処理部２５により構成される。
【００１８】
撮像装置１１のレンズ２１には、被写体からの光が入射される。レンズ２１は、入射された光を、光学フィルタ２２を介してイメージセンサ２３に集光させる。光学フィルタ２２は、入射された光のうちの赤外光と可視光を透過させる。なお、光学フィルタ２２は設けられなくてもよい。
【００１９】
イメージセンサ２３は、CMOS（Complementary Metal-Oxide Semiconductor）イメージセンサまたはCCD(Charge Coupled Device)イメージセンサであり、RGBW画素配列の画素を有する。イメージセンサ２３は、画素ごとに、入射された赤外光と、可視光のうちの、その画素に対応する色（赤色（R）、緑色（G）、青色（B）、白色（W））の光とを受光し、受光量に応じた電気信号を画素信号として生成することにより、撮像を行う。従って、撮像の結果得られる各画素の画素信号には、不可視光成分としての赤外光成分と可視光成分とが含まれる。イメージセンサ２３は、撮像の結果得られる各画素の画素信号を、撮像画像としてベイヤ化処理部２４に供給する。
【００２０】
ベイヤ化処理部２４は、イメージセンサ２３から供給される非ベイヤ配列の撮像画像に対してベイヤ化処理（リモザイク処理）を行い、ベイヤ配列(RGB画素配列)のRGB画像を生成する。ベイヤ化処理部２４は、生成されたベイヤ配列のRGB画像を信号処理部２５に供給する。
【００２１】
信号処理部２５は、既存のベイヤ配列の撮像画像用の信号処理部である。信号処理部２５は、ベイヤ化処理部２４から供給されるRGB画像を用いて、ベイヤ配列の撮像画像に対する方法と同一の方法で、露光制御処理、ホワイトバランス制御処理、YCbCr変換処理などの信号処理を行う。信号処理部２５は、露光制御処理の結果得られる露光量を表すシャッタゲインをイメージセンサ２３に供給し、撮像画像の露光量を制御する。また、信号処理部２５は、RGB画像に対してホワイトバランス制御処理およびYCbCr変換処理を行った結果得られるYCbCr画像を出力する。
【００２２】
ＩＲ投光装置１２は、例えば、可視光が少ない夜間に、被写体に向けて赤外光を出射する。
【００２３】
（光学フィルタの各波長の光の透過率の例）
図２は、図１の光学フィルタ２２の各波長の光の透過率の例を示す図である。
【００２４】
図２のグラフにおいて、横軸は、光学フィルタ２２を通過する光の波長（nm）を表し、縦軸は、その光の透過率（％）を表す。
【００２５】
図２に示すように、光学フィルタ２２では、波長が約390nm〜660nmである可視光の透過率と、波長が約820nm〜910nmである赤外光の透過率が０％より大きい。従って、光学フィルタ２２では、波長が約390nm〜660nmである可視光と波長が約820nm〜910nmである赤外光が通過する。
【００２６】
（ベイヤ化処理の前後の画像の画素配列の説明）
図３は、図１のベイヤ化処理部２４によるベイヤ化処理の前後の画像の画素配列を説明する図である。
【００２７】
図３のＡに示すように、ベイヤ化処理前の画像、即ちイメージセンサ２３から出力される撮像画像の画素配列は、RGBW画素配列である。また、各画素の画素信号には赤外光（IR）成分が含まれる。
【００２８】
ベイヤ化処理部２４は、このようなベイヤ化処理前の画像に対して、ベイヤ化処理を行うことにより、図３のＢに示すRGB画素配列の画像を、ベイヤ化処理後の画像として生成する。
【００２９】
（ベイヤ化処理部の構成例）
図４は、図１のベイヤ化処理部２４の構成例を示すブロック図である。
【００３０】
ベイヤ化処理部２４は、低周波処理部４１、分離部４２、ゲイン算出部４３、ホワイトバランス部４４、レベル補正部４５、ＹＣ変換部４６、輝度合成部４７、飽和色消し部４８、クロマゲインアンプ４９、RGB変換部５０、高周波補完部５１、高周波抽出部５２、高周波復元処理部５３、逆ホワイトバランス部５４、およびベイヤ化部５５から構成される。ベイヤ化処理部２４は、図１のイメージセンサ２３から供給される撮像画像を高周波成分と低周波成分に分離して、ベイヤ化処理を行う。
【００３１】
具体的には、ベイヤ化処理部２４の低周波処理部４１は、イメージセンサ２３の画素の色ごとに、イメージセンサ２３から供給される撮像画像に対してLPF(Low Pass Filter)処理および補完処理を行う。低周波処理部４１は、その結果生成される赤外光成分を含む全画素の各色の同時刻の画素信号の低周波成分（W+IR）L，（R+IR）L，（G+IR）L、および（B+IR）Lを分離部４２に供給し、低周波成分（W+IR）Lをゲイン算出部４３、輝度合成部４７、高周波抽出部５２、および高周波復元処理部５３に供給する。
【００３２】
分離部４２は、低周波処理部４１から供給される低周波成分（W+IR）L，（R+IR）L，（G+IR）L、および（B+IR）Lに基づいて、低周波成分（R+IR）L，（G+IR）L，（B+IR）Lのそれぞれに含まれる赤外光成分と可視光成分を、以下の式（１）により分離する。
【００３３】
【数１】
2016098641.tif 000003
【００３４】
なお、ＩＲLは、低周波成分（R+IR）L，（G+IR）L，（B+IR）Lのそれぞれに含まれる赤外光成分である。また、ＲL，ＧL，ＢLは、低周波成分（R+IR）L，（G+IR）L，（B+IR）Lの可視光成分である。
【００３５】
分離部４２は、分離の結果得られる赤外光成分ＩＲLと可視光成分ＲL，ＧL、およびＢLとをゲイン算出部４３に供給し、可視光成分ＲL，ＧL、およびＢLをホワイトバランス部４４に供給する。
【００３６】
ゲイン算出部４３（ホワイトバランスゲイン算出部）は、分離部４２から供給される可視光成分ＲL，ＧL、およびＢLに基づいて、以下の式（２）により、可視光成分ＲL，ＧL、およびＢLのホワイトバランスゲインＣWR，ＣWG，ＣWBを算出し、ホワイトバランス部４４に供給する。
【００３７】
【数２】
2016098641.tif 000004
【００３８】
なお、ＡｖｅＲL，ＡｖｅＧL，ＡｖｅＢLは、それぞれ、１画面内の可視光成分ＲL，ＧL，ＢLの平均値である。また、ゲイン算出部４３は、ホワイトバランスゲインＣWR，ＣWG，ＣWBの逆数を算出し、逆ホワイトバランス部５４に供給する。
【００３９】
さらに、ゲイン算出部４３（補正ゲイン算出部）は、ベイヤ配列の撮像画像の露光制御に用いられる画素である緑色の画素の可視光成分（の信号レベル）ＧL（後レベル）と、低周波処理部４１から供給される、撮像画像のうちの最も感度の高い白色の画素の低周波成分（の信号レベル）（W+IR）L（前レベル）とに基づいて、以下の式（３）により、補正ゲインＣEを算出する。
【００４０】
【数３】
2016098641.tif 000005
【００４１】
なお、Ａｖｅ（W+IR）Lは、１画面内の低周波成分（W+IR）Lの平均値である。式（３）によれば、可視光成分ＧL（の平均値）を低周波成分（W+IR）L（の平均値）にするための補正ゲインＣEが算出される。従って、可視光成分ＧLと補正ゲインＣEを乗算することにより、乗算後の可視光成分ＧLは、低周波成分（W+IR）Lと同一になる。ゲイン算出部４３は、補正ゲインＣEをレベル補正部４５に供給する。
【００４２】
ホワイトバランス部４４は、以下の式（４）に示すように、分離部４２から供給される可視光成分ＲL，ＧL、およびＢLのそれぞれに対して、ゲイン算出部４３から供給されるホワイトバランスゲインＣWR，ＣWG，ＣWBを乗算する。これにより、可視光成分ＲL，ＧL、およびＢLの比率（ホワイトバランス）が補正される。
【００４３】
【数４】
2016098641.tif 000006
【００４４】
なお、ＲWL，ＧWL、およびＢWLは、それぞれ、補正後の可視光成分ＲL，ＧL、およびＢLである。ホワイトバランス部４４は、補正後の可視光成分ＲWL，ＧWL、およびＢWLをレベル補正部４５に供給する。
【００４５】
レベル補正部４５は、ベイヤ化処理後のRGB画像の緑色の画素の画素信号と低周波成分（W+IR）Lが同一になるように、ゲイン算出部４３からの補正ゲインＣEと、ホワイトバランス部４４からの可視光成分ＲWL，ＧWL、およびＢWLのそれぞれとを乗算することにより、可視光成分ＲWL，ＧWL、およびＢWLを補正する。レベル補正部４５は、補正後の可視光成分ＲWL，ＧWL、およびＢWLをＹＣ変換部４６に供給する。
【００４６】
ＹＣ変換部４６は、以下の式（５）により、レベル補正部４５から供給される可視光成分ＲWL，ＧWL、およびＢWLを、輝度信号ＹLと色差信号ＣｂLおよびＣｒLとに変換する。ＹＣ変換部４６は、輝度信号ＹLを輝度合成部４７に供給し、色差信号ＣｂLおよびＣｒLを飽和色消し部４８に供給する。
【００４７】
【数５】
2016098641.tif 000007
【００４８】
輝度合成部４７は、低周波処理部４１から供給される低周波成分（W+IR）Lに基づいて、ＹＣ変換部４６から供給される輝度信号ＹLを、以下の式（６）により補正する。
【００４９】
【数６】
2016098641.tif 000008
【００５０】
なお、ａは、輝度信号ＹLや赤外光成分ＩＲLに基づいて決定される係数である。例えば、１画面内の輝度信号ＹLの平均値が所定値より大きい場合や、１画面内の赤外光成分ＩＲLの平均値が所定値より小さい場合、係数ａは比較的大きい値にされる。一方、１画面内の輝度信号ＹLの平均値が所定値以下である場合や、１画面内の赤外光成分ＩＲLの平均値が所定値以上である場合、係数ａは比較的小さい値になる。
【００５１】
また、ＹL´は、補正後の輝度信号である。輝度合成部４７は、補正後の輝度信号ＹL´をRGB変換部５０に供給する。
【００５２】
飽和色消し部４８は、低周波成分（Ｗ+IR）Lが、画素に蓄積可能な電荷に対応する画素信号の最大レベルである飽和レベルを超えたかどうかを判定する。飽和色消し部４８は、低周波成分（Ｗ+IR）Lが飽和レベルを超えた場合、ＹＣ変換部４６から供給される色差信号ＣｂLおよびＣｒLに対して１未満のゲインを乗算し、色消しを行う。
【００５３】
即ち、低周波成分（Ｗ+IR）L，（Ｒ+IR）L，（Ｇ+IR）L，（Ｂ+IR）Lのいずれかが飽和レベルを超えると、分離部４２による分離の精度が低下し、色差信号ＣｂLおよびＣｒLの精度が低下する。従って、飽和色消し部４８は、最も感度の高い白色の画素の低周波成分（Ｗ+IR）Lが飽和レベルを超えた場合、低周波成分（Ｗ+IR）L，（Ｒ+IR）L，（Ｇ+IR）L，（Ｂ+IR）Lのいずれかが飽和レベルを超えたと判断し、色差信号ＣｂLおよびＣｒLを低減させる。飽和色消し部４８は、色消し後の色差信号ＣｂLおよびＣｒLをクロマゲインアンプ４９に供給する。
【００５４】
一方、低周波成分（Ｗ+IR）Lが飽和レベルを超えていない場合、飽和色消し部４８は、ＹＣ変換部４６から供給される色差信号ＣｂLおよびＣｒLを、そのままクロマゲインアンプ４９に供給する。
【００５５】
クロマゲインアンプ４９は、飽和色消し部４８から供給される色差信号ＣｂLおよびＣｒLのそれぞれに対して、クロマゲインを乗算する。クロマゲインは、１画面内の輝度信号ＹLの平均値が所定値より大きい場合や、１画面内の赤外光成分ＩＲLの平均値が所定値より小さい場合、１とされるが、１画面内の輝度信号ＹLの平均値が所定値以下である場合や、１画面内の赤外光成分ＩＲLの平均値が所定値以上である場合、０に近い値にされる。
【００５６】
これにより、被写体からの光の量が多いか、または、赤外光が少なく、色差信号ＣｂLおよびＣｒLの精度が良い場合、色差信号ＣｂLおよびＣｒLは補正されない。一方、被写体からの光の量が少ないか、または、赤外光が多く、色差信号ＣｂLおよびＣｒLの精度が悪い場合、色差信号ＣｂLおよびＣｒLは低減され、低周波成分が白黒化される。その結果、ベイヤ化処理後の画像のS/N（Signal/Noise）比を向上させることができる。クロマゲインアンプ４９は、クロマゲインが乗算された色差信号ＣｂLおよびＣｒLをRGB変換部５０に供給する。
【００５７】
RGB変換部５０は、以下の式（７）により、輝度合成部４７から供給される輝度信号ＹL´と色差信号色差信号ＣｂLおよびＣｒLを、赤色、緑色、青色の画素信号RL´，GL´，BL´に変換し、高周波復元処理部５３に供給する。
【００５８】
【数７】
2016098641.tif 000009
【００５９】
高周波補完部５１は、イメージセンサ２３から供給される撮像画像に基づいて、全画素の白色の可視光成分と赤外光成分を含む画素信号（W+IR）H+Lを補完する。具体的には、高周波補完部５１は、撮像画像のうちの白色の画素の画素信号を、そのまま、白色の画素の補完後の画素信号とする。また、高周波補完部５１は、白色の画素以外の画素を順に注目画素とし、注目画素の周辺の白色の画素の画素信号の平均値を、注目画素の補完後の画素信号として生成する。高周波補完部５１は、補完後の画素信号（W+IR）H+Lを高周波抽出部５２に供給する。
【００６０】
高周波抽出部５２は、高周波補完部５１から供給される画素信号（W+IR）H+Lから、低周波処理部４１から供給される低周波成分（W+IR）Lを減算し、その結果得られる全画素の白色の同時刻の画素信号の高周波成分（W+IR）Hを高周波復元処理部５３に供給する。
【００６１】
高周波復元処理部５３は、低周波処理部４１から供給される低周波成分（W+IR）L、RGB変換部５０から供給される画素信号RL´，GL´，BL´、および高周波抽出部５２から供給される高周波成分（W+IR）Hに基づいて、以下の式（８）により、全帯域の赤色、緑色、青色の画素信号R,G,Bを生成する。高周波復元処理部５３は、画素信号R,G,Bを逆ホワイトバランス部５４に供給する。
【００６２】
【数８】
2016098641.tif 000010
【００６３】
逆ホワイトバランス部５４（ホワイトバランス制御部）は、高周波復元処理部５３から供給される画素信号R,G,Bに対して、ゲイン算出部４３から供給されるホワイトバランスゲインＣWR，ＣWG，ＣWBの逆数を乗算する。これにより、イメージセンサ２３から出力されたベイヤ化処理前の撮像画像の１画面内の赤色、緑色、青色の画素信号の信号レベルの平均値の比と、ベイヤ化処理部２４から出力されるベイヤ化処理後のRGB画像の１画面内の赤色、緑色、青色の画素信号の信号レベルの平均値の比が同一になるように、画素信号R,G,Bのホワイトバランスが制御される。逆ホワイトバランス部５４は、ホワイトバランスが制御された画素信号R,G,Bをベイヤ化部５５に供給する。
【００６４】
ベイヤ化部５５は、画素ごとに、逆ホワイトバランス部５４から供給される画素信号R,G,Bから、ベイヤ配列においてその画素に割り当てられた色の画素信号を抽出する。ベイヤ化部５５は、抽出された各画素の画素信号を、ベイヤ配列のRGB画像として、図１の信号処理部２５に供給する。
【００６５】
（出力信号の信号レベルの説明）
図５は、低周波処理部４１、分離部４２、ホワイトバランス部４４、レベル補正部４５、および逆ホワイトバランス部５４から出力される信号の信号レベルを説明する概念図である。
【００６６】
図５に示すように、低周波処理部４１から出力される低周波成分（W+IR）Lは、白色の成分（Ｗ）と赤外光成分（ＩＲ）を含む画素信号の低周波成分であり、低周波成分（R+IR）Lは、赤色の成分（Ｒ）と赤外光成分（ＩＲ）を含む画素信号の低周波成分である。また、低周波成分（G+IR）Lは、緑色の成分（Ｇ）と赤外光成分（ＩＲ）を含む画素信号の低周波成分であり、低周波成分（B+IR）Lは、青色の成分（Ｂ）と赤外光成分（ＩＲ）を含む画素信号の低周波成分である。
【００６７】
イメージセンサ２３が有する画素のうち、白色の画素の感度が最も高いため、低周波成分（W+IR）Lの信号レベルは、低周波成分（R+IR）L，（G+IR）L、および（B+IR）Lの信号レベルに比べて高い。
【００６８】
この低周波成分（W+IR）L，（R+IR）L，（G+IR）L、および（B+IR）Lは、分離部４２において、図５に示すように、赤外光成分ＩＲLと可視光成分ＲL，ＧL、およびＢLとに分離され、出力される。ホワイトバランス部４４は、可視光成分ＲL，ＧL、およびＢLに対して、それぞれ、ホワイトバランスゲインＣWR，ＣWGとしての１，ＣWBを乗算し、出力する。これにより、図５に示すように、ホワイトバランス部４４から出力される可視光成分ＲWL，ＧWL、およびＢWLは略同一となる。
【００６９】
レベル補正部４５は、ホワイトバランス部４４から出力される可視光成分ＲWL，ＧWL、およびＢWLのそれぞれに対して、補正ゲインＣEを乗算し、出力する。これにより、図５に示すように、レベル補正部４５から出力される可視光成分ＲWL，ＧWL、およびＢWLは、低周波成分（W+IR）Lと同一になる。
【００７０】
逆ホワイトバランス部５４は、レベル補正部４５から出力される可視光成分ＲWL，ＧWL、およびＢWLに対応する画素信号Ｒ,Ｇ,Ｂに対して、それぞれ、ホワイトバランスゲインＣWR，ＣWG，ＣWBの逆数を乗算し、出力する。これにより、分離部４２から出力される可視光成分ＲL，ＧL、およびＢLのホワイトバランスと、逆ホワイトバランス部５４から出力される画素信号Ｒ,Ｇ、およびＢのホワイトバランスが等しくなる。即ち、ホワイトバランス部４４において変化した可視光成分ＲL，ＧL、およびＢLの比率が元に戻される。
【００７１】
従って、信号処理部２５は、画素信号Ｒ,Ｇ、およびＢに対応するベイヤ配列のＲＧＢ画像に基づいて、ベイヤ配列の撮像画像のホワイトバランス制御方法にしたがってホワイトバランス制御を行うことにより、イメージセンサ２３の撮像画像のホワイトバランス制御を行うことができる。
【００７２】
また、レベル補正部４５において、可視光成分ＲWL，ＧWL、およびＢWLが低周波成分（W+IR）Lと同一にされており、ホワイトバランスゲインＣWGの逆数は１である。従って、低周波処理部４１から出力される低周波成分（W+IR）Lと、逆ホワイトバランス部５４から出力される画素信号Ｇとは等しくなる。即ち、ベイヤ配列の撮像画像の露光制御方法において露光制御に用いられる緑色の画素の画素信号Ｇが、イメージセンサ２３が有する画素のうちの最も感度の高い白色の画素の低周波成分（W+IR）Lと等しくされる。
【００７３】
従って、信号処理部２５は、画素信号Ｒ,Ｇ、およびＢに対応するベイヤ配列のＲＧＢ画像のうちの緑色の画素の画素信号に基づいて、ベイヤ配列の撮像画像の露光制御方法にしたがって露光制御を行うことにより、イメージセンサ２３の撮像画像の露光制御を行うことができる。
【００７４】
以上のように、撮像装置１１では、ベイヤ配列の撮像画像の露光制御方法とホワイトバランス制御方法を用いて、イメージセンサ２３の撮像画像の露光制御とホワイトバランス制御を行うことができる。従って、撮像装置１１は、既存のベイヤ配列の撮像画像用の信号処理部２５を設けるだけで、新たな露光制御部やホワイトバランス制御部を開発せずに、イメージセンサ２３の撮像画像の露光制御とホワイトバランス制御を行うことができる。その結果、撮像装置１１の製造コストを削減することができる。
【００７５】
（露光制御による効果）
図６は、イメージセンサ２３の撮像画像の露光制御が行われない場合の分離部４２からの出力信号を表す図であり、図７は、露光制御が行われた場合の分離部４２からの出力信号を表す図である。
【００７６】
図６に示すように、イメージセンサ２３の撮像画像の露光制御が行われないと、低周波成分（W+IR）Lが飽和レベルを超える場合がある。この場合、低周波成分（W+IR）Lは、白色の画素で感知されるべき光の光量に対応する画素信号の低周波成分よりも小さくなるため、上述した式（１）が成立せず、分離後の可視光成分ＲL，ＧL、およびＢLには、赤外光成分ＩＲLが残る。
【００７７】
これに対して、イメージセンサ２３の撮像画像の露光制御が行われる場合、低周波成分（W+IR）L，（R+IR）L，（G+IR）L、および（B+IR）の全てが飽和レベルを超えず、上述した式（１）が成立する。従って、分離後の可視光成分ＲL，ＧL、およびＢLには、赤外光成分ＩＲLが含まれない。その結果、露光制御が行われない場合に比べて、ベイヤ化処理後のRGB画像の画質が向上する。
【００７８】
撮像装置１１では、イメージセンサ２３の撮像画像の露光制御が行われるので、露光制御が行われない場合に比べて、ベイヤ化処理後のRGB画像の画質が向上する。
【００７９】
（撮像装置の処理の説明）
図８および図９は、図１の撮像装置１１の撮像処理を説明するフローチャートである。この撮像処理は、例えば、イメージセンサ２３の撮像画像単位で行われる。
【００８０】
図８のステップＳ１１において、イメージセンサ２３は、前の撮像画像に対する撮像処理で、信号処理部２５から供給されたシャッタゲインを、現在のシャッタゲインとして設定する。なお、先頭の撮像画像に対する撮像処理では、まだシャッタゲインが決定されていないため、ステップＳ１１において、例えば、予め決められたシャッタゲインのデフォルト値が、現在のシャッタゲインとして設定される。
【００８１】
ステップＳ１２において、イメージセンサ２３は、現在のシャッタゲインに基づいて撮像を行い、その結果得られる非ベイヤ配列の撮像画像をベイヤ化処理部２４に供給する。
【００８２】
ステップＳ１３において、ベイヤ化処理部２４の低周波処理部４１（図４）は、イメージセンサ２３の画素の色ごとに、イメージセンサ２３から供給される撮像画像に対してLPF処理および補完処理を行う。低周波処理部４１は、その結果生成される低周波成分（W+IR）L，（R+IR）L，（G+IR）L、および（B+IR）Lを分離部４２に供給し、低周波成分（W+IR）Lをゲイン算出部４３、輝度合成部４７、高周波抽出部５２、および高周波復元処理部５３に供給する。
【００８３】
ステップＳ１４において、分離部４２は、低周波処理部４１から供給される低周波成分（W+IR）L，（R+IR）L，（G+IR）L、および（B+IR）Lに基づいて、上述した式（１）により、低周波成分（R+IR）L，（G+IR）L、および（B+IR）Lに含まれる赤外光成分ＩＲLと可視光成分ＲL，ＧL、およびＢLとを分離する。分離部４２は、赤外光成分ＩＲLと可視光成分ＲL，ＧL、およびＢLとをゲイン算出部４３に供給し、可視光成分ＲL，ＧL、およびＢLをホワイトバランス部４４に供給する。
【００８４】
ステップＳ１５において、ゲイン算出部４３は、分離部４２から供給される可視光成分ＲL，ＧL、およびＢLに基づいて、上述した式（２）により、ホワイトバランスゲインＣWR，ＣWG、およびＣWBを算出し、ホワイトバランス部４４に供給する。
【００８５】
ステップＳ１６において、ゲイン算出部４３は、ホワイトバランスゲインＣWR，ＣWG、およびＣWBのそれぞれの逆数を算出し、逆ホワイトバランス部５４に供給する。ステップＳ１７において、ゲイン算出部４３は、可視光成分ＧLと、低周波処理部４１から供給される低周波成分（W+IR）Lとに基づいて、上述した式（３）により、補正ゲインＣEを算出する。ゲイン算出部４３は、補正ゲインＣEをレベル補正部４５に供給する。
【００８６】
ステップＳ１８において、ホワイトバランス部４４は、上述した式（４）に示すように、分離部４２から供給される可視光成分ＲL，ＧL、およびＢLのそれぞれに対して、ゲイン算出部４３から供給されるホワイトバランスゲインＣWR，ＣWG，ＣWBを乗算する。ホワイトバランス部４４は、乗算後の可視光成分ＲWL，ＧWL、およびＢWLをレベル補正部４５に供給する。
【００８７】
ステップＳ１９において、レベル補正部４５は、ゲイン算出部４３から供給される補正ゲインＣEと、可視光成分ＲWL，ＧWL、およびＢWLのそれぞれとを乗算する。レベル補正部４５は、乗算後の可視光成分ＲWL，ＧWL、およびＢWLをＹＣ変換部４６に供給する。
【００８８】
ステップＳ２０において、ＹＣ変換部４６は、上述した式（５）により、レベル補正部４５から供給される可視光成分ＲWL，ＧWL、およびＢWLを、輝度信号ＹLと色差信号ＣｂLおよびＣｒLとに変換する。ＹＣ変換部４６は、輝度信号ＹLを輝度合成部４７に供給し、色差信号ＣｂLおよびＣｒLを飽和色消し部４８に供給する。
【００８９】
ステップＳ２１において、輝度合成部４７は、低周波処理部４１から供給される低周波成分（W+IR）Lに基づいて、上述した式（６）により、ＹＣ変換部４６から供給される輝度信号ＹLを補正し、その結果得られる輝度信号ＹL´をRGB変換部５０に供給する。
【００９０】
ステップＳ２２において、飽和色消し部４８は、低周波成分（Ｗ+IR）Lが飽和レベルを超えたかどうかを判定する。ステップＳ２２で低周波成分（Ｗ+IR）Lが飽和レベルを超えたと判定された場合、ステップＳ２３において、飽和色消し部４８は、ＹＣ変換部４６から供給される色差信号ＣｂLおよびＣｒLに対して１未満のゲインを乗算し、色消しを行う。飽和色消し部４８は、色消し後の色差信号ＣｂLおよびＣｒLをクロマゲインアンプ４９に供給し、処理をステップＳ２４に進める。
【００９１】
一方、ステップＳ２２で低周波成分（Ｗ+IR）Lが飽和レベルを超えていないと判定された場合、飽和色消し部４８は、ＹＣ変換部４６から供給される色差信号ＣｂLおよびＣｒLを、そのままクロマゲインアンプ４９に供給し、処理をステップＳ２４に進める。
【００９２】
ステップＳ２４において、クロマゲインアンプ４９は、飽和色消し部４８から供給される色差信号ＣｂLおよびＣｒLのそれぞれに対して、クロマゲインを乗算し、RGB変換部５０に供給する。
【００９３】
ステップＳ２５において、RGB変換部５０は、上述した式（７）により、輝度合成部４７から供給される輝度信号ＹL´と色差信号ＣｂLおよびＣｒLを、赤色、緑色、青色の画素信号RL´，GL´，BL´に変換し、高周波復元処理部５３に供給する。
【００９４】
ステップＳ２６において、高周波補完部５１は、イメージセンサ２３から供給される撮像画像に基づいて、全画素の白色の可視光成分と赤外光成分を含む画素信号（W+IR）H+Lを補完し、高周波抽出部５２に供給する。
【００９５】
図９のステップＳ２７において、高周波抽出部５２は、高周波補完部５１から供給される画素信号（W+IR）H+Lから、低周波処理部４１から供給される低周波成分（W+IR）Lを減算して、高周波成分（W+IR）Hを生成する。高周波抽出部５２は、高周波成分（W+IR）Hを高周波復元処理部５３に供給する。
【００９６】
ステップＳ２８において、高周波復元処理部５３は、低周波処理部４１からの低周波成分（W+IR）L、RGB変換部５０からの画素信号RL´，GL´，BL´、および高周波抽出部５２からの高周波成分（W+IR）Hに基づいて、上述した式（８）により、全帯域の赤色、緑色、青色の画素信号R,G,Bを生成する。高周波復元処理部５３は、画素信号R,G,Bを逆ホワイトバランス部５４に供給する。
【００９７】
ステップＳ２９において、逆ホワイトバランス部５４は、高周波復元処理部５３から供給される画素信号R,G,Bのそれぞれに対して、ゲイン算出部４３から供給されるホワイトバランスゲインＣWR，ＣWG，ＣWBの逆数を乗算し、ベイヤ化部５５に供給する。
【００９８】
ステップＳ３０において、ベイヤ化部５５は、画素ごとに、逆ホワイトバランス部５４から供給される画素信号R,G,Bから、ベイヤ配列においてその画素に割り当てられた色の画素信号を抽出する。ベイヤ化部５５は、抽出された各画素の画素信号を、ベイヤ化処理後のベイヤ配列のRGB画像として、図１の信号処理部２５に供給する。
【００９９】
ステップＳ３１において、信号処理部２５は、ベイヤ化部５５から供給されるベイヤ配列のRGB画像の緑色の画素信号の総和(積分値)に基づいて、そのRGB画像の緑色の画素信号の１画面内の平均値が飽和レベルを越さないようにシャッタゲインを決定する露光制御処理を行う。信号処理部２５は、決定されたシャッタゲインをイメージセンサ２３に供給する。このシャッタゲインは、次の撮像画像に対する撮像処理のステップＳ１１の処理で、現在のシャッタゲインとして設定される。
【０１００】
ステップＳ３２において、信号処理部２５は、ベイヤ配列のRGB画像の各色の画素信号の総和（積分値）に基づいて各色のホワイトバランスゲインを算出し、色ごとに画素信号にホワイトバランスゲインを乗算するホワイトバランス制御処理を行う。
【０１０１】
ステップＳ３３において、信号処理部２５は、ホワイトバランス制御処理後のRGB画像に対してYCbCr変換処理を行い、その結果得られるYCbCr画像を出力する。そして、処理は終了する。
【０１０２】
（撮像装置のICチップの構成例）
図１０乃至図１３は、撮像装置１１がIC（Integrated Circuit）チップに形成される場合のICチップの構成例を示す図である。
【０１０３】
撮像装置１１がICチップに形成される場合、例えば、図１０に示すように、イメージセンサ２３、ベイヤ化処理部２４、および信号処理部２５は、それぞれ異なるICチップ７１，７２，７３に形成されるようにすることができる。
【０１０４】
また、図１１に示すように、イメージセンサ２３とベイヤ化処理部２４が同一のICチップ８１に形成され、信号処理部２５が、ICチップ８１とは異なるICチップ８２に形成されるようにすることもできる。
【０１０５】
さらに、図１２に示すように、イメージセンサ２３が１つのICチップ９１に形成され、ベイヤ化処理部２４と信号処理部２５が、ICチップ９１とは異なるICチップ９２に形成されるようにすることもできる。また、図１３に示すように、イメージセンサ２３、ベイヤ化処理部２４、および信号処理部２５の全てが同一のICチップ１０１に形成されるようにすることもできる。
【０１０６】
なお、レンズ２１と光学フィルタ２２は、イメージセンサ２３が形成されるICチップ７１（８１，９１，１０１）のイメージセンサ２３上に形成される。
【０１０７】
以上のように、撮像装置１１は、非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の撮像画像の低周波成分（W+IR）Lの信号レベルと、ベイヤ化処理後のRGB画像の緑色の画素の画素信号の信号レベルが同一になるように、可視光成分ＧWLの信号レベルを補正する。従って、撮像装置１１は、既存のベイヤ配列の撮像画像用の信号処理部２５を用いて、ベイヤ化処理後のRGB画像に基づいて露光制御を行うことにより、非ベイヤ配列の撮像画像の露光制御を適切に行うことができる。
【０１０８】
また、撮像装置１１は、イメージセンサ２３により撮像された赤外光成分を含む非ベイヤ配列の撮像画像から赤外光成分を分離し、ベイヤ化処理を行う。従って、非ベイヤ配列の撮像画像が赤外光成分を含む場合であっても、撮像装置１１は、既存のベイヤ配列の撮像画像用の信号処理部２５を用いて、非ベイヤ配列の撮像画像の露光制御を適切に行うことができる。
【０１０９】
さらに、撮像装置１１は、非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の撮像画像の可視光成分ＲL，ＧL，ＢLの信号レベルの比と、ベイヤ化処理後のRGB画像の各色の画素信号の信号レベルの比が同一になるように、画素信号Ｒ，Ｇ，Ｂのホワイトバランスを制御する。従って、撮像装置１１は、既存のベイヤ配列の撮像画像用の信号処理部２５を用いて、ベイヤ化処理後のRGB画像に基づいてホワイトバランス制御を行うことにより、非ベイヤ配列の撮像画像のホワイトバランス制御を適切に行うことができる。
【０１１０】
＜第２実施の形態＞
（撮像装置の第２実施の形態の構成例）
図１４は、本開示を適用した撮像装置を含む撮像システムの第２実施の形態の構成例を示すブロック図である。
【０１１１】
図１４に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１１２】
図１４の撮像システム１２０の構成は、撮像装置１１の代わりに撮像装置１２１が設けられる点が、図１の撮像システム１０の構成と異なる。また、撮像装置１２１の構成は、ベイヤ化処理部２４の代わりにベイヤ化処理部１４１が設けられる点、信号処理部２５の代わりに信号処理部１４２が設けられる点が、図１の撮像装置１１の構成と異なる。撮像装置１２１は、ベイヤ化処理部１４１において、信号処理部１４２のホワイトバランス制御処理で算出されたホワイトバランスゲインを用いる。
【０１１３】
具体的には、撮像装置１２１のベイヤ化処理部１４１は、イメージセンサ２３から供給される非ベイヤ配列の撮像画像に対してベイヤ化処理を行い、ベイヤ配列のRGB画像を生成する。このとき、ベイヤ化処理部１４１は、信号処理部１４２から供給されるホワイトバランスゲインを用いてホワイトバランスを補正し、元に戻す。ベイヤ化処理部１４１は、生成されたベイヤ配列のRGB画像を信号処理部１４２に供給する。
【０１１４】
信号処理部１４２は、既存のベイヤ配列の撮像画像用の信号処理部である。信号処理部１４２は、ベイヤ化処理部１４１から供給されるRGB画像を用いて、ベイヤ配列の撮像画像に対する方法と同一の方法で、露光制御処理、ホワイトバランス制御処理、YCbCr変換処理などの信号処理を行う。信号処理部１４２は、露光制御処理の結果得られる露光量を表すシャッタゲインをイメージセンサ２３に供給し、撮像画像の露光量を制御する。
【０１１５】
また、信号処理部１４２は、ホワイトバランス制御処理において算出されたホワイトバランスゲインをベイヤ化処理部１４１に供給する。さらに、信号処理部１４２は、ホワイトバランス制御処理およびYCbCr変換処理の結果得られるYCbCr画像を出力する。
【０１１６】
（ベイヤ化処理部の構成例）
図１５は、図１４のベイヤ化処理部１４１の構成例を示すブロック図である。
【０１１７】
図１５に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１１８】
図１５のベイヤ化処理部１４１の構成は、ゲイン算出部４３、ホワイトバランス部４４、逆ホワイトバランス部５４の代わりに、ゲイン算出部１６１、ホワイトバランス部１６２、逆ホワイトバランス部１６３が設けられる点が、図４のベイヤ化処理部２４の構成と異なる。
【０１１９】
ベイヤ化処理部１４１のゲイン算出部１６１は、図４のゲイン算出部４３と同様に、分離部４２から供給される可視光成分ＧLと、低周波処理部４１から供給される低周波成分（W+IR）Lとに基づいて、上述した式（３）により、補正ゲインＣEを算出する。ゲイン算出部１６１は、補正ゲインＣEをレベル補正部４５に供給する。しかしながら、ゲイン算出部１６１は、ゲイン算出部４３のように、ホワイトバランスゲインＣWR，ＣWG，ＣWBや、その逆数を算出しない。
【０１２０】
ホワイトバランス部１６２は、分離部４２から供給される可視光成分ＲL，ＧL、およびＢLのそれぞれに対して、図４のホワイトバランス部４４と同様に、図１４の信号処理部１４２から供給されるホワイトバランスゲインを乗算し、可視光成分ＲL，ＧL、およびＢLの比率を補正する。ホワイトバランス部１６２は、補正後の可視光成分ＲWL，ＧWL、およびＢWLをレベル補正部４５に供給する。
【０１２１】
逆ホワイトバランス部１６３（ホワイトバランス制御部）は、図１の信号処理部１４２から供給されるホワイトバランスゲインの逆数を算出する。逆ホワイトバランス部１６３は、高周波復元処理部５３から供給される画素信号R,G,Bに対して、算出されたホワイトバランスゲインの逆数をそれぞれ乗算する。これにより、イメージセンサ２３から出力されたベイヤ化処理前の撮像画像の１画面内の赤色、緑色、および青色の画素信号の信号レベルの平均値の比と、ベイヤ化処理部１４１から出力されるベイヤ化処理後のRGB画像の１画面内の赤色、緑色、および青色の画素信号の信号レベルの平均値の比が同一になるように、画素信号R,G,Bのホワイトバランスが制御される。逆ホワイトバランス部１６３は、ホワイトバランスが制御された画素信号R,G,Bをベイヤ化部５５に供給する。
【０１２２】
（撮像装置の処理の説明）
図１６および図１７は、図１４の撮像装置１２１の撮像処理を説明するフローチャートである。この撮像処理は、例えば、イメージセンサ２３の撮像画像単位で行われる。
【０１２３】
図１６のステップＳ５１乃至Ｓ５４の処理は、図８のステップＳ１１乃至Ｓ１４の処理と同様であるので、説明は省略する。
【０１２４】
ステップＳ５５において、ベイヤ化処理部１４１のホワイトバランス部１６２（図１５）は、信号処理部１４２から供給されるホワイトバランスゲインを取得する。なお、先頭の撮像画像に対する撮像処理では、まだホワイトバランスゲインが算出されていないため、ステップＳ５５において、例えば、予め決められたホワイトバランスゲインのデフォルト値が、取得されたホワイトバランスゲインとされる。
【０１２５】
ステップＳ５６の処理は、図８のステップＳ１７の処理と同様であるので、説明は省略する。ステップＳ５７において、ホワイトバランス部１６２は、分離部４２から供給される可視光成分ＲL，ＧL、およびＢLのそれぞれに対して、取得されたホワイトバランスゲインを乗算する。ホワイトバランス部４４は、乗算後の可視光成分ＲWL，ＧWL、およびＢWLをレベル補正部４５に供給する。
【０１２６】
ステップＳ５８乃至Ｓ６７の処理は、図８および図９のステップＳ１９乃至Ｓ２８の処理と同様であるので、説明は省略する。
【０１２７】
ステップＳ６８において、逆ホワイトバランス部１６３は、信号処理部１４２から供給されるホワイトバランスゲインを取得し、その逆数を算出する。なお、先頭の撮像画像に対する撮像処理では、まだホワイトバランスゲインが算出されていないため、ステップＳ６８において、例えば、予め決められたホワイトバランスゲインのデフォルト値が、取得されたホワイトバランスゲインとされ、その逆数が算出される。
【０１２８】
ステップＳ６９において、逆ホワイトバランス部１６３は、高周波復元処理部５３から供給される画素信号R,G,Bに対して、算出されたホワイトバランスゲインの逆数を乗算し、ベイヤ化部５５に供給する。
【０１２９】
ステップＳ７０およびＳ７１の処理は、図９のステップＳ３０およびＳ３１の処理と同様であるので、説明は省略する。
【０１３０】
ステップＳ７２において、信号処理部１４２は、ベイヤ配列のRGB画像に基づいてホワイトバランス制御処理を行う。また、信号処理部１４２は、ホワイトバランス制御処理により算出されたホワイトバランスゲインを、ホワイトバランス部１６２と逆ホワイトバランス部１６３に供給する。
【０１３１】
ステップＳ７３の処理は、図９のステップＳ３３の処理と同様であるので、説明は省略する。
【０１３２】
なお、第２実施の形態においても、第１実施の形態と同様に、撮像装置１２１をICチップに形成することができる。
【０１３３】
＜非ベイヤ配列の他の例＞
本技術は、赤外光成分を含むRGBW画素配列の撮像画像以外の非ベイヤ配列の撮像画像に対してベイヤ化処理を行う画像処理装置にも適用することができる。ベイヤ化処理の対象となる撮像画像には、赤外光成分が含まれていてもよいし、含まれていなくてもよい。
【０１３４】
図１８は、RGBW画素配列以外の非ベイヤ配列の例を示す図である。
【０１３５】
図１８のＡの画素配列は、RGB+IR画素配列であり、各画素が、赤色（Ｒ）の光、緑色（Ｇ）の光、青色（Ｂ）の光、および赤外光（ＩＲ）のいずれかに対応する画像を撮像する。図１８のＢの画素配列は、補色W画素配列であり、各画素が、白色（Ｗ）、黄色（Ｙｅ）、シアン（Ｃｙ）、および緑色（Ｇ）の光のいずれかに対応する画像を撮像する。
【０１３６】
ベイヤ化処理の内容は、非ベイヤ配列の種類、非ベイヤ配列の撮像画像に赤外光成分が含まれているかどうか等によって異なる。従って、例えば、ベイヤ化処理において、RGB信号をYCbCr信号に変換する処理や赤外光成分を分離する処理が行われない場合がある。また、ベイヤ化処理部は、ホワイトバランス部４４と逆ホワイトバランス部５４を備えない場合もある。
【０１３７】
しかしながら、ベイヤ化処理を行う際、ベイヤ化処理前の撮像画像の最も感度の高い画素の信号レベルと、ベイヤ化処理後の画像の露光制御に用いられる画素の信号レベルが同一になるように、撮像画像の信号レベルが補正される。従って、信号処理部２５（１４２）は、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができる。
【０１３８】
＜第３実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１３９】
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１４０】
コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１４１】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、撮像部２０６、入力部２０７、出力部２０８、記憶部２０９、通信部２１０、及びドライブ２１１が接続されている。
【０１４２】
撮像部２０６は、レンズ２１、光学フィルタ２２、イメージセンサ２３などにより構成され、撮像を行う。入力部２０７は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０８は、ディスプレイ、スピーカなどよりなる。記憶部２０９は、ハードディスクや不揮発性のメモリなどよりなる。通信部２１０は、ネットワークインタフェースなどよりなる。ドライブ２１１は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１２を駆動する。
【０１４３】
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０９に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４４】
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１２に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１４５】
コンピュータ２００では、プログラムは、リムーバブルメディア２１２をドライブ２１１に装着することにより、入出力インタフェース２０５を介して、記憶部２０９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２１０で受信し、記憶部２０９にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０９に、あらかじめインストールしておくことができる。
【０１４６】
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４７】
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１４８】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１４９】
さらに、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５０】
例えば、信号処理部２５は、ベイヤ配列の撮像画像の露光制御方法にしたがう露光制御として、輝度信号に基づく露光制御を行うようにしてもよい。この場合、ゲイン算出部４３は、可視光成分ＲL，ＧL、およびＢLから輝度信号の１画面内の平均値を生成し、平均値Ａｖｅ（W+IR）Lを輝度信号の平均値で除算することにより、補正ゲインＣEを算出する。
【０１５１】
なお、本開示は、以下のような構成もとることができる。
【０１５２】
（１）
非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部
を備える撮像装置。
（２）
前記前レベルと前記後レベルに基づいて、前記前レベルと前記後レベルを同一にするために前記撮像画像の信号レベルに乗算する補正ゲインを算出する補正ゲイン算出部
をさらに備え、
前記レベル補正部は、前記補正ゲイン算出部により算出された前記補正ゲインを、前記撮像画像の信号レベルに乗算する
ように構成された
前記（１）に記載の撮像装置。
（３）
前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像のRGBの信号レベルの比と、ベイヤ化処理後の前記撮像画像のRGBの信号レベルの比が同一になるように、前記撮像画像のホワイトバランスを制御するホワイトバランス制御部
をさらに備える
前記（１）または（２）に記載の撮像装置。
（４）
前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、前記撮像画像に対してホワイトバランスゲインを乗算するホワイトバランス部
をさらに備え、
前記ホワイトバランス制御部は、前記ホワイトバランス部により前記ホワイトバランスゲインが乗算された前記撮像画像に対して、前記ホワイトバランスゲインの逆数を乗算することにより、前記撮像画像のホワイトバランスを制御する
ように構成された
前記（３）に記載の撮像装置。
（５）
前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、前記撮像画像に基づいて前記ホワイトバランスゲインを算出するホワイトバランスゲイン算出部
をさらに備える
前記（４）に記載の撮像装置。
（６）
前記ホワイトバランスゲインは、前記ベイヤ化処理後の撮像画像を用いて所定の信号処理を行う際に算出される
ように構成された
前記（４）に記載の撮像装置。
（７）
前記非ベイヤ配列の撮像画像の各画素の信号には、不可視光成分と可視光成分が含まれる
ように構成された
前記（１）乃至（６）のいずれかに記載の撮像装置。
（８）
前記信号に含まれる前記不可視光成分と前記可視光成分を分離する分離部
をさらに備え、
前記レベル補正部は、前記分離部により分離された前記可視光成分の信号レベルを補正する
ように構成された
前記（７）に記載の撮像装置。
（９）
撮像装置が、
非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正ステップ
を含む撮像方法。
（１０）
コンピュータを、
非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部
として機能させるためのプログラム。
【符号の説明】
【０１５３】
１１  撮像装置,  ４２  分離部,  ４３  ゲイン算出部,  ４４  ホワイトバランス部,  ４５  レベル補正部，  ５４  逆ホワイトバランス部,  １２１  撮像装置,  １６２  ホワイトバランス部
【図１】
2016098641.tif 000011
【図２】
2016098641.tif 000012
【図３】
2016098641.tif 000013
【図４】
2016098641.tif 000014
【図５】
2016098641.tif 000015
【図６】
2016098641.tif 000016
【図７】
2016098641.tif 000017
【図８】
2016098641.tif 000018
【図９】
2016098641.tif 000019
【図１０】
2016098641.tif 000020
【図１１】
2016098641.tif 000021
【図１２】
2016098641.tif 000022
【図１３】
2016098641.tif 000023
【図１４】
2016098641.tif 000024
【図１５】
2016098641.tif 000025
【図１６】
2016098641.tif 000026
【図１７】
2016098641.tif 000027
【図１８】
2016098641.tif 000028
【図１９】
2016098641.tif 000029
【国際調査報告】
2016098641.tif 000030
2016098641.tif 000031