(57)【要約】【課題】撮像画像をより正確に補正することが可能な、新規かつ改良された撮像装置を提供する。【解決手段】上記課題を解決するために、本発明のある観点によれば、赤外光及び可視光を単位画素毎に受光することで、赤外光及び可視光の受光強度を示す第１の色情報と、赤外光の受光強度を示す赤外光情報とを単位画素毎に有する撮像画像を生成する撮像部と、第１の色情報及び赤外光情報に基づいて、赤外光の可視光に対する混合率を示す赤外光混合係数を単位画素毎に算出し、赤外光混合係数に基づいて、第１の色情報から赤外光情報を減算することで、第２の色情報を生成する撮像画像補正部と、を備えることを特徴とする、撮像装置が提供される。【選択図】図１
2013121132.tif 000002
【特許請求の範囲】
【請求項１】
赤外光及び可視光を単位素子毎に受光することで、前記赤外光及び前記可視光の受光強度の総和を示す第１の色情報と、前記赤外光の受光強度を示す赤外光情報とを単位画素毎に有する撮像画像を生成する撮像部と、
前記第１の色情報及び前記赤外光情報に基づいて、前記赤外光の前記可視光に対する混合率を示す赤外光混合係数を前記単位画素毎に算出し、前記赤外光混合係数に基づいて、前記第１の色情報から前記赤外光情報を減算することで、第２の色情報を生成する撮像画像補正部と、を備えることを特徴とする、撮像装置。
【請求項２】
前記撮像画像補正部は、前記第１の色情報に基づいて、前記赤外光及び前記可視光の輝度の総和を示す輝度情報を前記単位画素の輝度情報として生成することを特徴とする、請求項１記載の撮像装置。
【請求項３】
前記撮像画像は、それぞれ異なる色に対応する複数の第１の色情報を前記単位画素毎に有し、
前記撮像画像補正部は、前記複数の第１の色情報に基づいて、前記赤外光及び前記可視光の輝度の総和を示す第１の輝度情報を前記単位画素の輝度情報として生成し、前記第２の色情報に基づいて、前記赤外光混合係数に応じた前記赤外光の輝度と、前記可視光の輝度との総和を示す第２の輝度情報を生成し、前記第１の輝度情報と、前記第２の輝度情報とに基づいて、前記第２の色情報を補正することで、第３の色情報を生成することを特徴とする、請求項２記載の撮像装置。
【請求項４】
前記撮像画像補正部は、前記第２の輝度情報と前記第２の色情報とに基づいて、色差情報を生成し、前記第２の輝度情報の前記第１の輝度情報に対する比を前記色差情報に乗じることで、前記第２の色情報を補正することを特徴とする、請求項３記載の撮像装置。
【請求項５】
前記撮像画像補正部は、前記可視光を出射する可視光光源に応じた可視光補正係数に前記第３の色情報を乗じることで、可視光補正値を算出し、前記赤外光を出射する赤外光光源に応じた赤外光補正係数に前記第３の色情報を乗じることで、赤外光補正値を算出し、前記赤外光混合係数に基づいて、前記可視光補正値と前記赤外光補正値とを混合することを特徴とする、請求項３または４記載の撮像装置。
【請求項６】
前記可視光補正係数は、前記可視光のホワイトバランスを調整するための可視光ホワイトバランス補正係数であり、前記赤外光補正係数は、前記赤外光のホワイトバランスを調整するための赤外光ホワイトバランス補正係数であることを特徴とする、請求項５記載の撮像装置。
【請求項７】
前記可視光補正係数は、前記可視光光源に応じた色再現を行うための色再現補正係数であり、前記赤外光補正係数は、前記第３の色情報を無彩色情報に変換するための無彩色変換補正係数であることを特徴とする、請求項５記載の撮像装置。
【請求項８】
赤外光及び可視光を単位素子毎に受光することで、前記赤外光及び前記可視光の受光強度の総和を示す第１の色情報と、前記赤外光の受光強度を示す赤外光情報とを単位画素毎に有する撮像画像を生成する撮像ステップと、
前記第１の色情報及び前記赤外光情報に基づいて、前記赤外光の前記可視光に対する混合率を示す赤外光混合係数を前記単位画素毎に算出し、前記赤外光混合係数に基づいて、前記第１の色情報から前記赤外光情報を減算することで、第２の色情報を生成する撮像画像補正ステップと、を含むことを特徴とする、撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
昼夜兼用の撮像装置として、昼間では可視光を受光することでカラー画像を生成し、夜間では赤外光を受光することで無彩色画像（白黒画像）を生成する撮像装置が知られている。
【０００３】
このような撮像装置では、撮像素子が赤外光に対して感度を有するので、昼間は赤外光を遮断する必要がある。そこで、赤外光を遮断するＩＲ遮断フィルタが撮像素子上に設けられている。そして、撮像装置は、昼間ではＩＲ遮断フィルタを撮像素子上に配置することで、可視光を撮像素子に入射させ、夜間では、ＩＲ遮断フィルタを撮像素子上から外すことで、赤外光を撮像素子に入射させている。
【０００４】
しかし、このような撮像装置は、ＩＲ遮断フィルタを撮像素子に着脱するための駆動機構を備えた部品が必要になる。このため、部品点数の増加によるコスト増、駆動機構の疲労による信頼性低下、ＩＲ遮断フィルタを駆動した直後の光学系と処理系とのミスマッチ、例えば露光ずれによる低品位画像生成といった問題があった。
【０００５】
このような問題を解決することを目的とした技術が特許文献１に開示されている。特許文献１に開示された技術は、可視光に対する赤外光の混合率を示す赤外光混合係数を算出し、この赤外光混合係数に基づいて、撮像画像から赤外光成分を除去する。この技術によれば、ＩＲ遮断フィルタがなくても、赤外光の影響が低減したカラー画像を生成することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−１５０８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１に開示された技術は、撮像画像全体に含まれる赤外光成分の平均値に基づいて赤外光混合係数を算出していたので、赤外光成分の大きさが単位画素毎にばらつく場合に、赤外光混合係数を正確に算出することが出来ないという問題があった。例えば、被写体の全領域に可視光が照射され、被写体の一部の領域に赤外光が照射されている場合、赤外光混合係数は、被写体のうち、可視光のみが照射されている領域の影響を強く受ける。このため、特許文献１に開示された技術は、赤外光が照射されている領域に対して赤外光混合係数を正確に算出することが出来ないという問題があった。このため、特許文献１に開示された技術は、撮像画像を正確に補正することができないという問題があった。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮像画像をより正確に補正することが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、赤外光及び可視光を単位素子毎に受光することで、赤外光及び可視光の受光強度の総和を示す第１の色情報と、赤外光の受光強度を示す赤外光情報とを単位画素毎に有する撮像画像を生成する撮像部と、第１の色情報及び赤外光情報に基づいて、赤外光の可視光に対する混合率を示す赤外光混合係数を単位画素毎に算出し、赤外光混合係数に基づいて、第１の色情報から赤外光情報を減算することで、第２の色情報を生成する撮像画像補正部と、を備えることを特徴とする、撮像装置が提供される。
【００１０】
この観点によれば、撮像画像補正部は、赤外光混合係数を単位画素毎に算出し、赤外光混合係数に基づいて、第１の色情報から赤外光情報を減算することで、第２の色情報を生成する。したがって、撮像画像補正部は、単位画素毎に赤外光混合係数を算出するので、被写体の全領域に可視光が照射され、被写体の一部に赤外光が照射されている場合であっても、赤外光が照射されている領域の赤外光混合係数を正確に算出することができる。これにより、撮像画像補正部は、撮像画像をより正確に補正することができる。
【００１１】
ここで、撮像画像補正部は、第１の色情報に基づいて、赤外光及び可視光の輝度の総和を示す輝度情報を単位画素の輝度情報として生成してもよい。
【００１２】
この観点によれば、撮像画像補正部は、補正後のダイナミックレンジを撮像画像のダイナミックレンジと同程度に維持することができる。したがって、撮像画像補正部は、Ｓ／Ｎの悪化を防止しつつ、撮像画像を補正することができる。
【００１３】
また、撮像画像は、それぞれ異なる色に対応する複数の第１の色情報を単位画素毎に有し、撮像画像補正部は、複数の第１の色情報に基づいて、赤外光及び可視光の輝度の総和を示す第１の輝度情報を単位画素の輝度情報として生成し、第２の色情報に基づいて、赤外光混合係数に応じた赤外光の輝度と、可視光の輝度との総和を示す第２の輝度情報を生成し、第１の輝度情報と、第２の輝度情報とに基づいて、第２の色情報を補正することで、第３の色情報を生成してもよい。
【００１４】
この観点によれば、撮像画像補正部は、赤外光による劣化が解消した第３の色情報を生成することができる。
【００１５】
また、撮像画像補正部は、第２の輝度情報と第２の色情報とに基づいて、色差情報を生成し、第２の輝度情報の第１の輝度情報に対する比を色差情報に乗じることで、第２の色情報を補正してもよい。
【００１６】
この観点によれば、撮像画像補正部は、赤外光による劣化が解消した第３の色情報を生成することができる。
【００１７】
また、撮像画像補正部は、可視光を出射する可視光光源に応じた可視光補正係数に第３の色情報を乗じることで、可視光補正値を算出し、赤外光を出射する赤外光光源に応じた赤外光補正係数に第３の色情報を乗じることで、赤外光補正値を算出し、赤外光混合係数に基づいて、可視光補正値と赤外光補正値とを混合してもよい。
【００１８】
この観点によれば、撮像画像補正部は、赤外光の可視光に対する混合率、即ち赤外光混合率に応じた撮像画像の調整を、単位画素毎に行なうことができるので、撮像画像の調整をより正確に行なうことができる。
【００１９】
また、可視光補正係数は、可視光のホワイトバランスを調整するための可視光ホワイトバランス補正係数であり、赤外光補正係数は、赤外光のホワイトバランスを調整するための赤外光ホワイトバランス補正係数であってもよい。
【００２０】
この観点によれば、撮像画像補正部は、赤外光混合率に応じた撮像画像のＷＢ調整を、単位画素毎に行なうことができるので、撮像画像のＷＢ調整をより正確に行なうことができる。
【００２１】
また、可視光補正係数は、可視光光源に応じた色再現を行うための色再現補正係数であり、赤外光補正係数は、第３の色情報を無彩色情報に変換するための無彩色変換補正係数であってもよい。
【００２２】
この観点によれば、撮像画像補正部は、赤外光混合率に応じた撮像画像の色再現調整を、単位画素毎に行なうことができるので、撮像画像の色再現調整をより正確に行なうことができる。
【００２３】
また、本発明の他の観点によれば、赤外光及び可視光を単位素子毎に受光することで、赤外光及び可視光の受光強度の総和を示す第１の色情報と、赤外光の受光強度を示す赤外光情報とを単位画素毎に有する撮像画像を生成する撮像ステップと、第１の色情報及び赤外光情報に基づいて、赤外光の可視光に対する混合率を示す赤外光混合係数を単位画素毎に算出し、赤外光混合係数に基づいて、第１の色情報から赤外光情報を減算することで、第２の色情報を生成する撮像画像補正ステップと、を含むことを特徴とする、撮像方法が提供される。
【００２４】
この観点によれば、撮像画像補正ステップでは、赤外光混合係数を単位画素毎に算出し、赤外光混合係数に基づいて、第１の色情報から赤外光情報を減算することで、第２の色情報を生成する。したがって、撮像画像補正ステップでは、単位画素毎に赤外光混合係数を算出するので、被写体の全領域に可視光が照射され、被写体の一部に赤外光が照射されている場合であっても、赤外光が照射されている領域の赤外光混合係数を正確に算出することができる。これにより、撮像画像補正ステップでは、撮像画像をより正確に補正することができる。
【発明の効果】
【００２５】
以上説明したように本発明によれば、撮像画像補正部は、単位画素毎に赤外光混合係数を算出するので、被写体の全領域に可視光が照射され、被写体の一部に赤外光が照射されている場合であっても、赤外光が照射されている領域の赤外光混合係数を正確に算出することができる。これにより、撮像画像補正部は、撮像画像をより正確に補正することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】赤外成分補正部の構成を示すブロック図である。
【図３】単位画素の構成を示す説明図である。
【図４】赤外光混合係数と減算係数との対応関係を示すグラフである。
【図５】赤外光混合係数と赤外光ＷＢ混合係数との対応関係を示すグラフである。
【図６】赤外光混合係数と無彩色混合係数との対応関係を示すグラフである。
【図７】撮像装置による処理の手順を示すフローチャートである。
【図８】撮像装置による処理の手順を示すフローチャートである。
【図９】撮像装置による処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２８】
＜１．特許文献１に開示された技術の考察＞
特許文献１に開示された技術には、上述した問題の他にも、いくつかの問題があり、本発明者は、これらの問題に着眼することで、本実施形態に係る撮像装置１０（図１参照）に想到するに至った。そこで、特許文献１に開示された技術が有する問題点について説明する。
【００２９】
上述したように、特許文献１に開示された技術は、撮像画像全体に含まれる赤外光成分の平均値に基づいて赤外光混合係数を算出していた。このため、特許文献１に開示された技術では、被写体の全領域に可視光が照射され、被写体の一部に赤外光が照射されている場合に、赤外光が照射されている領域に対して赤外光混合係数を正確に算出することが出来ないという問題があった。
【００３０】
さらに、特許文献１に開示された技術は、撮像装置の各単位画素の画素値（各単位画素の受光強度を示す値）から赤外光成分を除去し、除去後の画素値に基づいて、各単位画素の輝度及び色差を算出していた。このため、輝度及び色差のダイナミックレンジが減少するので、Ｓ／Ｎが悪化する、撮像画像のノイズが増加するという問題があった。
【００３１】
これに対し、本実施形態に係る撮像装置１０は、上記のいずれの問題も解決している。即ち、撮像装置１０は、被写体の全領域に可視光が照射され、被写体の一部に赤外光が照射されている場合であっても、赤外光が照射されている領域に対して赤外光混合係数を正確に算出することが出来る。さらに、撮像装置１０は、撮像画像から赤外光成分を除去しても、撮像画像のダイナミックレンジを維持することができる。
【００３２】
＜２．撮像装置の構成＞
次に、図１及び図２に示すブロック図に基づいて、本実施形態に係る撮像装置１０の構成について説明する。撮像装置１０は、撮像部２と、撮像画像補正部３と、赤外光制御部６と、赤外光光源６ａとを備える。なお、撮影装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、フラッシュメモリ等のハードウェアを有しており、ＣＰＵがＲＯＭに記憶されたプログラムを読みだして実行することによって、上記各機能ブロックによる処理が実現される。即ち、ＲＯＭには、撮像装置１０に、撮像部２と、撮像画像補正部３と、赤外光制御部６とを実現させるためのプログラムが記憶されている。
【００３３】
撮像部２は、概略的には、赤外光及び可視光を単位素子２２１（図３参照）毎に受光することで、撮像画像を生成する。撮像画像は、赤外光及び可視光の受光強度の総和を示す第１のＲＧＢ情報（第１の色情報）と、赤外光の受光強度を示すＩＲ情報（赤外光情報）とを単位画素毎に有する。
【００３４】
撮像部２は、レンズユニット２１と、撮像素子２２と、ＡＦＥ（アナログフロントエンド）回路２３と、ドライバ２４と、タイミングジェネレータ２５とを備える。レンズユニット２１は、撮影装置１０に対して着脱可能となっており、レンズＬ、絞り機構、及びシャッタ等を備える。レンズユニット２１は、撮影装置１０の外部の可視光及び赤外光を取り込み、取り込んだ光を、レンズＬを介して撮像素子２２に入射させる。
【００３５】
撮像素子２２は、マトリックス状に配置された複数の単位素子２２１と、図示しない撮像素子制御部とを備える。単位素子２２１は、撮像画像の単位画素に対応するものであり、Ｒ素子２２１Ｒと、Ｇ素子２２１Ｇと、Ｂ素子２２１Ｂと、ＩＲ素子２２１ＩＲとを備える。
【００３６】
Ｒ素子２２１Ｒは、赤色光波長（６２０〜７５０ｎｍ）及び赤外光波長（０．７〜１０００μｍ）に感度を有し、受光した赤色光及び赤外光の強度の総和、即ち受光強度に関する第１のＲ情報を撮像素子制御部に出力する。したがって、第１のＲ情報には、可視光成分と赤外光成分とが混在している。
【００３７】
Ｇ素子２２１Ｇは、緑色光波長（４９５〜５７０ｎｍ）及び赤外光波長（０．７〜１０００μｍ）に感度を有し、受光した緑色光及び赤外光の強度の総和、即ち受光強度に関する第１のＧ情報を撮像素子制御部に出力する。したがって、第１のＧ情報には、可視光成分と赤外光成分とが混在している。
【００３８】
Ｂ素子２２１Ｂは、青色光波長（４５０〜４９５ｎｍ）及び赤外光波長（０．７〜１０００μｍ）に感度を有し、受光した青色光及び赤外光の強度の総和、即ち受光強度に関する第１のＢ情報を撮像素子制御部に出力する。したがって、第１のＢ情報には、可視光成分と赤外光成分とが混在している。
【００３９】
ＩＲ素子２２１ＩＲは、赤外光波長（０．７〜１０００μｍ）に感度を有し、受光した赤外光の強度、即ち受光強度に関するＩＲ情報を撮像素子制御部に出力する。したがって、単位素子２２１は、第１のＲ情報、第１のＧ情報、及び第１のＢ情報と、ＩＲ情報とを撮像素子制御部に出力する。以下、Ｒ、Ｇ、Ｂをまとめて「ＲＧＢ」とも称する。例えば、第１のＲ情報、第１のＧ情報、及び第１のＢ情報をまとめて第１のＲＧＢ情報とも称する。なお、本実施形態では、１枚の撮像素子２２が撮像画像を生成するが、色毎に撮像素子を用意してもよい。また、撮像素子２２には、原色（赤、青、緑）を受光可能な受光素子を用いているが、上述した機能を有する受光素子であれば、補色を受光可能なものを用いてもよい。
【００４０】
撮像素子制御部は、各単位素子２２１から与えられた第１のＲＧＢ情報及びＩＲ情報に基づいて、第１のＲＧＢ情報及びＩＲ情報を単位画素毎に有する撮像画像を生成する。ここで、第１のＲＧＢ情報及びＩＲ情報は、具体的には、例えば受光強度に応じた電圧信号であり、各単位画素の画素値となる。撮像素子制御部は、生成された撮像画像をＡＦＥ回路２３に出力する。
【００４１】
ＡＦＥ回路２３は、撮像素子２２から与えられた撮像画像をアナログ・デジタル変換することで、基準撮像画像を生成し、撮像画像補正部３のＯＢ（オプティカルブラック）減算部４１に出力する。ドライバ２４は、レンズユニット２１のズーム率、フォーカス、及び絞り等を調整する。タイミングジェネレータ２５は、撮像素子２２の駆動タイミングを制御する。
【００４２】
撮像画像補正部３は、画像信号処理部４と、マイクロコントローラ部５とを備える。画像信号処理部４は、ＯＢ減算部４１と、画像積算部４２と、赤外光混合係数算出部４３と、赤外成分除去部４４と、赤外成分補正部４５と、色補正部４６と、ガンマ補正部４７とを備える。色補正部４６は、ＷＢ（ホワイトバランス）補正部４６１と、色再現補正部４６２とを備える。マイクロコントローラ部５は、ホワイトバランス補正係数算出部５１と、色補正係数算出部５２と、露出制御部５３とを備える。
【００４３】
ＯＢ減算部４１は、基準撮像画像から暗電流等のオフセットを除去し、オフセット除去後の基準撮像画像を画像積算部４２と、赤外光混合係数算出部４３と、赤外成分除去部４４と、赤外成分補正部４５とに出力する。
【００４４】
画像積算部４２は、１フレーム分の基準撮像画像の各画素値を色の種類毎に積算することで、積算情報を生成する。具体的には、画像積算部４２は、第１のＲ情報、第１のＧ情報、第１のＢ情報、ＩＲ情報をそれぞれ積算することで、Ｒ積算情報、Ｇ積算情報、Ｂ積算情報、及びＩＲ積算情報を生成する。そして、画像積算部４２は、ＲＧＢ積算情報及びＩＲ積算情報をＷＢ補正係数算出部５１及び露出制御部５３に出力する。
【００４５】
ここで、マイクロコントローラ部５及び赤外光制御部６の各構成について説明する。ＷＢ補正係数算出部５１は、Ｒ積算情報からＩＲ積算情報を減算することで、第１のＲ情報のうち、可視光成分のみが積算されたＲ可視光積算情報を生成する。同様に、ＷＢ補正係数算出部５１は、Ｇ可視光積算情報、Ｂ可視光積算情報を生成する。ＷＢ補正係数算出部５１は、ＲＧＢ可視光積算情報に基づいて、可視光のＷＢを調整するための可視光ＷＢ補正係数を算出する。ＷＢ補正係数算出部５１は、例えば、「撮像画像全体を積分すると無彩色になる」といった仮定を用いて、可視光ＷＢ補正係数を算出する。可視光ＷＢ補正係数を算出するための具体的な方法は特に限定されず、公知の技術が任意に適用される。ＷＢ補正係数算出部５１は、可視光ＷＢ補正係数に関する可視光ＷＢ補正係数情報を色補正係数算出部５２及びＷＢ補正部４６１に出力する。
【００４６】
色補正係数算出部５２は、可視光ＷＢ補正係数と色再現補正係数とが可視光光源の種類ごとに関連付けられた色再現補正係数テーブルを記憶しており、可視光ＷＢ補正係数情報と、当該色再現補正係数テーブルとに基づいて、色再現補正係数を特定する。ここで、色再現補正係数は、可視光光源に応じた色再現を行うための補正係数である。色補正係数算出部５２は、色再現補正係数に関する色再現補正係数情報を色再現補正部４６２に出力する。
【００４７】
露出制御部５３は、ＲＧＢ積算情報及びＩＲ積算情報に基づいて、赤外光制御部６、ドライバ２４、及びタイミングジェネレータ２５を制御する。赤外光制御部６は、露出制御部５３による制御により、赤外光光源６ａの点灯を制御する。これにより、所望の可視光及び赤外光がレンズユニット２１に入射される。露出制御部５３による具体的な制御内容は特に限定されず、公知の技術が任意に適用される。
【００４８】
赤外光混合係数算出部４３は、基準撮像画像に基づいて、単位画素毎に以下の処理を行なう。即ち、赤外光混合係数算出部４３は、以下の式（１）に基づいて、赤外光混合率を算出する。
【００４９】
【数１】
2013121132.tif 000003
【００５０】
式（１）中、ｋｉｒは赤外光混合率であり、ＩｒはＩＲ情報が示す値、Ｒ、Ｇ、Ｂはそれぞれ第１のＲ情報、第１のＧ情報、第１のＢ情報が示す値である。さらに、赤外光混合係数算出部４３は、赤外光混合率と、以下の式（２）〜（４）とに基づいて、赤外光混合係数を算出する。
【００５１】
【数２】
2013121132.tif 000004
【００５２】
式（２）〜（４）中、ｋは赤外光混合係数であり、ｋ１は、撮像装置１０が可視光色を再現可能な赤外光混合率ｋｉｒの最大値であり、ｋ２は、撮像装置１０が可視光色及び赤外光色（具体的には赤外光の受光強度に応じた無彩色）の混合色を再現可能な赤外光混合率ｋｉｒの最大値である。ｋ１、ｋ２の値は、撮像装置１０の性能に応じて予め設定される。したがって、赤外光混合係数は、赤外光混合率を示す（即ち、赤外光混合率に対応する）。
【００５３】
ｋ＝０となる場合、撮像画像補正部３は可視光色（即ち、有彩色）を再現し、０＜ｋ＜１となる場合、撮像画像補正部３は、可視光色及び赤外光色（即ち、無彩色）の混合色を再現する。ここで、混合色のうち、赤外光色の割合は、ｋの値が大きいほど大きくなる。したがって、混合色は、ｋの値が大きいほど、無彩色に近くなる。ｋ＝１となる場合、撮像画像補正部３は、赤外光色を再現する。ここで、赤外光混合係数算出部４３は、単位画素毎に赤外光混合係数を算出するので、撮像画像補正部３は、各単位画素の色をｋの値に応じて調整する。したがって、撮像画像補正部３は、ｋの値に応じて有彩色から無彩色にスムースに変化する撮像画像を生成することができる。具体的な処理内容については後述する。
【００５４】
赤外光混合係数算出部４３は、単位画素の座標と赤外光混合係数とが関連付けられた赤外光混合係数情報を生成し、赤外成分除去部４４、ＷＢ補正部４６１、及び色再現補正部４６２に出力する。
【００５５】
赤外成分除去部４４は、基準撮像画像と、赤外光混合係数情報とに基づいて、単位画素毎に以下の処理を行なう。まず、赤外成分除去部４４は、図４に示すグラフＬ１〜Ｌ３と、赤外光混合係数とに基づいて、ＲＧＢ減算係数を算出する。
【００５６】
ここで、図４中、グラフＬ１は、赤外光混合係数とＲ減算係数（α）との対応関係を示すグラフである。グラフＬ２は、赤外光混合係数とＧ減算係数（β）との対応関係を示すグラフである。グラフＬ３は、赤外光混合係数とＢ減算係数（γ）との対応関係を示すグラフである。
【００５７】
ＩＲは、撮像部２に赤外光のみが入射した時に生成されるＩＲ情報の値であり、Ｒは、撮像部２に赤外光のみが入射した時に生成される第１のＲ情報の値である。Ｇは、撮像部２に赤外光のみが入射した時に生成される第１のＧ情報の値である。Ｂは、撮像部２に赤外光のみが入射した時に生成される第１のＢ情報の値である。グラフＬ１〜Ｌ３は、撮像装置１０のＲＯＭ等に記憶される。
【００５８】
グラフＬ１〜Ｌ３は、ｋの値が増加するほど減少し、最終的には０になる。したがって、赤外光混合係数が小さい場合には、ＲＧＢ減算係数は、後述する第２のＲＧＢ情報の各成分のうち可視光成分の割合が大きくなるように、大きな値に設定される。一方、赤外光混合係数が大きい場合には、ＲＧＢ減算係数は、第２のＲＧＢ情報の各成分のうち赤外光成分の割合が大きくなるように、小さな値に設定される。
【００５９】
赤外成分除去部４４は、以下の式（５）に基づいて、第１のＲＧＢ情報からＩＲ情報を減算することで、第２のＲＧＢ情報を生成する。即ち、赤外成分除去部４４は、赤外光混合係数に基づいて、第１のＲＧＢ情報からＩＲ情報を減算することで、第２のＲＧＢ情報を生成する。
【００６０】
【数３】
2013121132.tif 000005
【００６１】
式（５）中、ｒ、ｇ、ｂは、それぞれ第２のＲ情報、第２のＧ情報、第２のＢ情報の値である。Ｒｉ、Ｇｉ、Ｂｉは、それぞれ第１のＲ情報、第１のＧ情報、第１のＢ情報の値である。Ｉｒｉは、ＩＲ情報の値である。図４のグラフＬ１〜Ｌ３及び式（５）によれば、赤外成分除去部４４は、ｋ＝０のとき、第１のＲＧＢ情報から赤外光成分、即ちＩＲ情報を全て除去する。赤外成分除去部４４は、単位画素毎に第２のＲＧＢ情報を有する赤外光減算画像を生成し、赤外成分補正部４５に出力する。
【００６２】
赤外成分補正部４５は、概略的には、赤外光による明るさ（輝度）及び色の変化量のうち、色の変化量についてのみ補正を行う。したがって、赤外成分補正部４５は、明るさの変化量については補正を行わないので、ダイナミックレンジを損なうことなく、基準撮像画像を補正することができる。
【００６３】
具体的には、赤外成分補正部４５は、図２に示すように、ＹＣｂＣｒ変換部４５１と、色差補正部４５５と、ＲＧＢ変換部４５６とを備える。ＹＣｂＣｒ変換部４５１は、混合光輝度計算部４５２と、可視光色差計算部４５３と、可視光輝度計算部４５４とを備える。
【００６４】
混合光輝度計算部４５２は、基準撮像画像と、以下の式（６）とに基づいて、単位画素毎に、第１の輝度情報を生成する。
【００６５】
【数４】
2013121132.tif 000006
【００６６】
式（６）中、Ｙｖｌ＋ｉｒは第１の輝度情報の値であり、Ｒ、Ｇ、Ｂはそれぞれ第１のＲ情報、第１のＧ情報、第１のＢ情報の値である。式（６）によれば、第１の輝度情報は、第１のＲＧＢ情報を混合することで算出されるので、赤外光及び可視光の輝度の総和を示す。混合光輝度計算部４５２は、第１の輝度情報に単位画素の座標を関連付けて、色差補正部４５５とＲＧＢ変換部４５６に出力する。
【００６７】
可視光色差計算部４５３は、赤外光減算画像と、以下の式（７）〜（８）とに基づいて、基準色差情報を単位画素毎に算出する。
【００６８】
【数５】
2013121132.tif 000007
【００６９】
式（７）〜（８）中、Ｃｂｖｌ、Ｃｒｖｌは基準色差情報の値であり、ｒ、ｇ、ｂは、それぞれ第２のＲ情報、第２のＧ情報、第２のＢ情報の値である。式（７）〜（８）によれば、基準色差情報は、第２のＲＧＢ情報を混合することで算出される。そして、第２のＲＧＢ情報は、第１のＲＧＢ情報から、赤外光混合係数に応じたＩＲ情報を減算したものである。したがって、基準色差情報は、赤外光混合係数に応じた赤外光の色差と、可視光の色差との総和を示す。可視光色差計算部４５３は、基準色差情報に単位画素の座標を関連付けて、色差補正部４５５に出力する。
【００７０】
可視光輝度計算部４５４は、赤外光減算画像と、以下の式（９）とに基づいて、第２の輝度情報を単位画素毎に算出する。
【００７１】
【数６】
2013121132.tif 000008
【００７２】
式（９）中、Ｙｖｌは第２の輝度情報の値であり、ｒ、ｇ、ｂは、それぞれ第２のＲ情報、第２のＧ情報、第２のＢ情報の値である。式（９）によれば、第２の輝度情報は、第２のＲＧＢ情報を混合することで算出される。そして、第２のＲＧＢ情報は、第１のＲＧＢ情報から、赤外光混合係数に応じたＩＲ情報を減算したものである。したがって、第２の輝度情報は、赤外光混合係数に応じた赤外光の輝度と、可視光の輝度との総和を示す。可視光輝度計算部４５４は、第２の輝度情報に単位画素の座標を関連付けて、色差補正部４５５に出力する。
【００７３】
色差補正部４５５は、第１の輝度情報と、第２の輝度情報と、基準色差情報と、以下の式（１０）〜（１１）とに基づいて、補正色差情報を単位画素毎に算出する。
【００７４】
【数７】
2013121132.tif 000009
【００７５】
式（１９）中、Ｃｂ０、Ｃｒ０は補正色差情報である。このように、色差補正部４５５は、第１の輝度情報と、第２の輝度情報とに基づいて、基準色差情報、即ち第２のＲＧＢ情報を補正する。具体的には、色差補正部４５５は、第２の輝度情報の第１の輝度情報に対する比を基準色差情報に乗じることで、第２のＲＧＢ情報を補正する。これにより、第１の輝度情報と、補正色差情報との比が、可視光の輝度と色差との比に一致することとなる。これにより、本実施形態では、ダイナミックレンジを維持しつつ、赤外光によるＲＧＢ情報の劣化を防止することができる。
【００７６】
即ち、第１のＲＧＢ情報は、赤外光により可視光成分のみのＲＧＢ情報よりも劣化している。具体的には、第１のＲＧＢ情報により算出された第１の輝度情報は、赤外光成分の混合分だけ可視光成分のみの輝度よりも大きくなる。しかし、第１のＲＧＢ情報の色差は、可視光成分のみの色差と同程度となる。このため、第１のＲＧＢ情報のＲＧＢ比は、可視光成分のみのＲＧＢ比と異なってしまう。一方、第２のＲＧＢ情報は、第１のＲＧＢ情報からＩＲ情報を減算したものなので、そのＲＧＢ比は可視光成分のみのＲＧＢ比に近づく。しかし、第２のＲＧＢ情報のダイナミックレンジは、第１のＲＧＢ情報のダイナミックレンジよりも低い。
【００７７】
そこで、本実施形態では、第１の輝度情報を単位画素の輝度情報とする。一方、本実施形態では、第２のＲＧＢ情報の色差、即ち基準色差情報を赤外光の分だけ増加させることで、補正色差情報を生成し、補正色差情報を単位画素の色差情報とする。そして、本実施形態では、単位画素の輝度情報及び色差情報をＲＧＢ情報に変換することで、第３のＲＧＢ情報を生成する。これにより、本実施形態では、第３のＲＧＢ情報のダイナミックレンジを第１のＲＧＢ情報のダイナミックレンジと同程度に維持しつつ、第３のＲＧＢ情報のＲＧＢ比を、可視光成分のみのＲＧＢ比に一致させることができる。すなわち、本実施形態では、第３のＲＧＢ情報の劣化を防止することができる。
【００７８】
色差補正部４５５は、補正色差情報に単位画素の座標を関連付けて、ＲＧＢ変換部４５６に出力する。ＲＧＢ変換部４５６は、第１の輝度情報と、補正色差情報と、以下の式（１２）とに基づいて、第３のＲＧＢ情報を生成する。
【００７９】
【数８】
2013121132.tif 000010
【００８０】
式（１２）中、ｒ’、ｇ’、ｂ’は、それぞれ第３のＲ情報、第３のＧ情報、第３のＢ情報の値である。したがって、第３のＲＧＢ情報は、第１の輝度及び補正色差情報を変換したものである。これにより、第３のＲＧＢ情報のＲＧＢ比は、可視光成分のみのＲＧＢ比に一致することとなる。したがって、ＲＧＢ変換部４５６は、第１の輝度情報を単位画素の輝度情報とし、補正色差情報を単位画素の色差情報とする。ＲＧＢ変換部４５６は、第３のＲＧＢ情報に単位画素の座標を関連付けて、ＷＢ補正部４６１に出力する。
【００８１】
ＷＢ補正部４６１は、第３のＲＧＢ情報と、赤外光混合係数情報と、可視光ＷＢ補正係数情報とに基づいて、単位画素毎に以下の処理を行なう。ＷＢ補正部４６１は、まず、赤外光混合係数情報と、図５に示すグラフＬ４とに基づいて、赤外光ＷＢ混合係数を算出する。ここで、赤外光ＷＢ混合係数は、可視光ＷＢ補正値に赤外光ＷＢ補正値をどの程度混合させるかを示すものである。
【００８２】
可視光ＷＢ補正値は、第３のＲＧＢ情報に可視光ＷＢ補正係数を乗じた値であり、第３のＲＧＢ情報のうち、可視光成分のＷＢを調整した値である。赤外光ＷＢ補正値は、第３のＲＧＢ情報に赤外光ＷＢ補正係数を乗じた値であり、第３のＲＧＢ情報のうち、赤外光成分のＷＢを調整した値である。赤外光ＷＢ補正係数は、赤外光のＷＢを調整するための補正係数であり、ＲＯＭに予め記憶される。
【００８３】
グラフＬ４は、赤外光混合係数と赤外光ＷＢ混合係数との対応関係を示すグラフである。図５に示すように、赤外光混合係数と赤外光ＷＢ混合係数との対応関係は、線形関係からわずかに外れたものになっている。これらの対応関係は線形関係であってもよいが、線形関係からわずかに外れたほうが、第３のＲＧＢ情報のＷＢが正確に調整される。赤外光ＷＢ混合係数は、可視光と赤外光との実際の混合率（上述した赤外光混合率）を反映した値であるが、赤外光混合係数は赤外光混合率と線形関係にならないからである（上述した式（２）〜（４）参照）。なお、赤外光混合係数と赤外光ＷＢ混合係数との対応関係は、図５に示したものに限られず、例えば、曲線の関係（例えば、赤外光ＷＢ混合係数が赤外光混合係数のべき乗に比例する関係）であってもよい。
【００８４】
グラフＬ４によれば、赤外光混合係数が小さい場合には、赤外光ＷＢ混合係数は、第４のＲＧＢ情報（即ちＷＢ調整後の第３のＲＧＢ情報）のＷＢが可視光のＷＢに近づく、即ち可視光ＷＢ補正係数の影響が大きくなるように、小さな値に設定される。一方、赤外光混合係数が大きい場合には、赤外光ＷＢ混合係数は、第４のＲＧＢ情報のＷＢが赤外光のＷＢに近づく、即ち赤外光ＷＢ補正係数の影響が大きくなるように、大きな値に設定される。
【００８５】
そして、ＷＢ補正部４６１は、以下の式（１３）に基づいて、第３のＲＧＢ情報のＷＢを調整することで、第４のＲＧＢ情報を生成する。
【００８６】
【数９】
2013121132.tif 000011
【００８７】
式（１３）中、Ｒｗｂは第４のＲ情報、Ｇｗｂは第４のＧ情報、Ｂｗｂは第４のＢ情報であり、ｋｗｂは赤外光ＷＢ混合係数であり、ｗｒ、ｗｇ、ｗｂは可視光ＷＢ補正係数であり、ｗｒｉｒ、ｗｇｉｒ、ｗｂｉｒは赤外光ＷＢ補正係数である。このように、ＷＢ補正部４６１は、赤外光ＷＢ混合係数、即ち赤外光混合係数に基づいて、可視光ＷＢ補正値と赤外光ＷＢ補正値とを混合することで、第４のＲＧＢ情報を生成する。ＷＢ補正部４６１は、第４のＲＧＢ情報に単位画素の座標を関連付けて、色再現補正部４６２に出力する。
【００８８】
色再現補正部４６２は、第４のＲＧＢ情報と、赤外光混合係数情報と、色再現補正係数情報とに基づいて、単位画素毎に以下の処理を行なう。色再現補正部４６２は、まず、赤外光混合係数情報と、図６に示すグラフＬ５とに基づいて、無彩色混合係数を算出する。ここで、無彩色混合係数は、色再現補正値に無彩色補正値をどの程度混合させるかを示すものである。
【００８９】
色再現補正値は、第４のＲＧＢ情報に色再現補正係数を乗じた値であり、第４のＲＧＢ情報を可視光光源の種類に応じて調整した値である。無彩色補正値は、第４のＲＧＢ情報に無彩色変換補正係数を乗じた値であり、第４のＲＧＢ情報を無彩色情報に変換した値である。無彩色変換補正係数は、第４のＲＧＢ情報を無彩色に変換するための補正係数であり、ＲＯＭに予め記憶される。
【００９０】
グラフＬ５は、赤外光混合係数と無彩色混合係数との対応関係を示すグラフである。図６に示すように、赤外光混合係数と無彩色混合係数との対応関係は、線形関係からわずかに外れたものになっている。これらの対応関係は線形関係であってもよいが、線形関係からわずかに外れたほうが、第４のＲＧＢ情報の色再現が正確に行われる。無彩色混合係数は、可視光と赤外光との実際の混合率（上述した赤外光混合率）を反映した値であるが、赤外光混合係数は赤外光混合率と線形関係にならないからである（上述した式（２）〜（４）参照）。なお、赤外光混合係数と無彩色混合係数との対応関係は、図６に示したものに限られず、例えば、曲線の関係（例えば、無彩色混合係数が赤外光混合係数のべき乗に比例する関係）であってもよい。
【００９１】
グラフＬ５によれば、赤外光混合係数が小さい場合には、無彩色混合係数は、第５のＲＧＢ情報（即ち色再現後の第４のＲＧＢ情報）が有彩色情報（可視光による色のみを再現したＲＧＢ情報）に近づく、即ち色再現補正係数の影響が大きくなるように、小さな値に設定される。一方、赤外光混合係数が大きい場合には、第５のＲＧＢ情報が無彩色情報に近づく、即ち無彩色変換係数の影響が大きくなるように、大きな値に設定される。
【００９２】
そして、色再現補正部４６２は、以下の式（１４）に基づいて、第４のＲＧＢ情報を調整することで、第５のＲＧＢ情報を生成する。
【００９３】
【数１０】
2013121132.tif 000012
【００９４】
式（１４）中、Ｒｃｃは第５のＲ情報、Ｇｃｃは第５のＧ情報、Ｂｃｃは第５のＢ情報であり、ｋｃｃは無彩色混合係数であり、ｃｃ００〜ｃｃ２２は色再現補正係数であり、ｃｃ００ｉｒ〜ｃｃ２２ｉｒは無彩色変換補正係数である。このように、色再現補正部４６２は、無彩色混合係数、即ち赤外光混合係数に基づいて、色再現補正値と無彩色補正値とを混合することで、第５のＲＧＢ情報を生成する。色再現補正部４６２は、第５のＲＧＢ情報に単位画素の座標を関連付けて、ガンマ補正部４７に出力する。ガンマ補正部４７は、第５のＲＧＢ情報をガンマ補正することで、調整済み撮像画像を生成し、図示しない記録媒体に記憶する。
【００９５】
＜３．撮像装置による処理の手順＞
次に、撮像装置１０による処理の手順を図７〜図９に示すフローチャートに沿って説明する。ステップＳ１０において、撮像素子２２は、第１のＲＧＢ情報及びＩＲ情報を単位画素毎に有する基準撮像画像を生成し、ＯＢ減算部４１に出力する。次いで、ＯＢ減算部４１は、基準撮像画像から暗電流等のオフセットを除去し、オフセット除去後の基準撮像画像を画像積算部４２と、赤外光混合係数算出部４３と、赤外成分除去部４４と、赤外成分補正部４５とに出力する。
【００９６】
次いで、ステップＳ２０において、赤外光混合係数算出部４３は、基準撮像画像に基づいて、単位画素毎に以下の処理を行なう。即ち、図８に示すステップＳ２１において、赤外光混合係数算出部４３は、上述した式（１）に基づいて、赤外光混合率を算出する。次いで、ステップＳ２２において、赤外光混合係数算出部４３は、赤外光混合率と、上述した式（２）〜（４）とに基づいて、赤外光混合係数を算出する。
【００９７】
赤外光混合係数算出部４３は、単位画素の座標と赤外光混合係数とが関連付けられた赤外光混合係数情報を生成し、赤外成分除去部４４、ＷＢ補正部４６１、及び色再現補正部４６２に出力する。
【００９８】
一方、画像積算部４２は、１フレーム分の基準撮像画像の各画素値を色の種類毎に積算することで、ＲＧＢ積算情報及びＩＲ積算情報を生成する。次いで、画像積算部４２は、ＲＧＢ積算情報及びＩＲ積算情報をＷＢ補正係数算出部５１及び露出制御部５３に出力する。
【００９９】
次いで、ＷＢ補正係数算出部５１は、Ｒ積算情報からＩＲ積算情報を減算することで、第１のＲＧＢ情報のうち、可視光成分のみが積算されたＲＧＢ可視光積算情報を生成する。次いで、ＷＢ補正係数算出部５１は、ＲＧＢ可視光積算情報に基づいて、可視光のＷＢを調整するための可視光ＷＢ補正係数を算出する。ＷＢ補正係数算出部５１は、可視光ＷＢ補正係数に関する可視光ＷＢ補正係数情報を色補正係数算出部５２及びＷＢ補正部４６１に出力する。
【０１００】
次いで、色補正係数算出部５２は、可視光ＷＢ補正係数情報と、上述した色再現補正係数テーブルとに基づいて、色再現補正係数を特定する。色補正係数算出部５２は、色再現補正係数に関する色再現補正係数情報を色再現補正部４６２に出力する。一方、露出制御部５３は、ＲＧＢ積算情報及びＩＲ積算情報に基づいて、赤外光制御部６、ドライバ２４、及びタイミングジェネレータ２５を制御する。赤外光制御部６は、露出制御部５３による制御により、赤外光光源６ａの点灯を制御する。これにより、所望の可視光及び赤外光がレンズユニット２１に入射される。
【０１０１】
マイクロコントローラ部５が上述した処理を行う一方、図７に示すステップＳ３０において、赤外成分除去部４４は、基準撮像画像と、赤外光混合係数情報とに基づいて、単位画素毎に以下の処理を行なう。まず、赤外成分除去部４４は、図４に示すグラフＬ１〜Ｌ３と、赤外光混合係数とに基づいて、ＲＧＢ減算係数を算出する。
【０１０２】
次いで、赤外成分除去部４４は、上述した式（５）に基づいて、第１のＲＧＢ情報からＩＲ情報を減算することで、第２のＲＧＢ情報を生成する。赤外成分除去部４４は、単位画素毎に第２のＲＧＢ情報を有する赤外光減算画像を生成し、赤外成分補正部４５に出力する。
【０１０３】
ステップＳ４０において、赤外成分補正部４５は、基準撮像画像及び赤外光減算画像に基づいて、単位画素毎に以下の処理を行なう。即ち、図９に示すステップＳ４１において、混合光輝度計算部４５２は、基準撮像画像と、上述した式（６）とに基づいて、単位画素毎に、第１の輝度情報を生成する。混合光輝度計算部４５２は、第１の輝度情報に単位画素の座標を関連付けて、色差補正部４５５とＲＧＢ変換部４５６に出力する。
【０１０４】
一方、ステップＳ４２において、可視光色差計算部４５３は、赤外光減算画像と、上述した式（７）〜（８）とに基づいて、基準色差情報を単位画素毎に算出する。可視光色差計算部４５３は、基準色差情報に単位画素の座標を関連付けて、色差補正部４５５に出力する。さらに、可視光輝度計算部４５４は、赤外光減算画像と、上述した式（９）とに基づいて、第２の輝度情報を単位画素毎に算出する。可視光輝度計算部４５４は、第２の輝度情報に単位画素の座標を関連付けて、色差補正部４５５に出力する。
【０１０５】
ステップＳ４３において、色差補正部４５５は、第１の輝度情報と、第２の輝度情報と、基準色差情報と、上述した式（１０）〜（１１）とに基づいて、補正色差情報を単位画素毎に算出する。色差補正部４５５は、補正色差情報に単位画素の座標を関連付けて、ＲＧＢ変換部４５６に出力する。
【０１０６】
ステップＳ４４において、ＲＧＢ変換部４５６は、第１の輝度情報と、補正色差情報と、上述した式（１２）とに基づいて、第３のＲＧＢ情報を生成する。ＲＧＢ変換部４５６は、第３のＲＧＢ情報に単位画素の座標を関連付けて、ＷＢ補正部４６１に出力する。
【０１０７】
図７に示すステップＳ５０において、ＷＢ補正部４６１は、第３のＲＧＢ情報と、赤外光混合係数情報と、可視光ＷＢ補正係数情報とに基づいて、単位画素毎に以下の処理を行なう。即ち、ＷＢ補正部４６１は、まず、赤外光混合係数情報と、図５に示すグラフＬ４とに基づいて、赤外光ＷＢ混合係数を算出する。次いで、ＷＢ補正部４６１は、上述した式（１３）に基づいて、第３のＲＧＢ情報のＷＢを調整することで、第４のＲＧＢ情報を生成する。ＷＢ補正部４６１は、第４のＲＧＢ情報に単位画素の座標を関連付けて、色再現補正部４６２に出力する。
【０１０８】
ステップＳ６０において、色再現補正部４６２は、第４のＲＧＢ情報と、赤外光混合係数情報と、色再現補正係数情報とに基づいて、単位画素毎に以下の処理を行なう。色再現補正部４６２は、まず、赤外光混合係数情報と、図６に示すグラフＬ５とに基づいて、無彩色混合係数を算出する。次いで、色再現補正部４６２は、上述した式（１４）に基づいて、第４のＲＧＢ情報を調整することで、第５のＲＧＢ情報を生成する。色再現補正部４６２は、第５のＲＧＢ情報に単位画素の座標を関連付けて、ガンマ補正部４７に出力する。
【０１０９】
ステップＳ７０において、ガンマ補正部４７は、第５のＲＧＢ情報をガンマ補正することで、調整済み撮像画像を生成し、図示しない記録媒体に記憶する。
【０１１０】
以上により、本実施形態では、撮像画像補正部３は、赤外光混合係数を単位画素毎に算出し、赤外光混合係数に基づいて、第１のＲＧＢ情報からＩＲ情報を減算することで、第２のＲＧＢ情報を生成する。したがって、撮像画像補正部３は、単位画素毎に赤外光混合係数を算出するので、被写体の全領域に可視光が照射され、被写体の一部に赤外光が照射されている場合であっても、赤外光が照射されている領域の赤外光混合係数を正確に算出することができる。これにより、撮像画像補正部３は、基準撮像画像をより正確に補正することができる。
【０１１１】
特に、撮像画像補正部３は、赤外光混合係数を０〜１の範囲内でスムースに変化させる。したがって、撮像画像補正部３は、可視光が照射された領域と赤外光が照射された領域との境界部分において、単位画素の色彩を有彩色から無彩色にスムースに変化させることができる。
【０１１２】
さらに、撮像画像補正部３は、第１のＲＧＢ情報に基づいて、赤外光及び可視光の輝度の総和を示す第１の輝度情報を単位画素の輝度情報として生成する。したがって、撮像画像補正部３は、補正後のダイナミックレンジを基準撮像画像のダイナミックレンジと同程度に維持することができる。したがって、撮像画像補正部３は、Ｓ／Ｎの悪化を防止しつつ、基準撮像画像を補正することができる。
【０１１３】
さらに、撮像画像補正部３は、第１の輝度情報と、第２の輝度情報とに基づいて、第２のＲＧＢ情報を補正することで、第３のＲＧＢ情報を生成する。したがって、撮像画像補正部３は、赤外光による劣化が解消した第３のＲＧＢ情報を生成することができる。
【０１１４】
具体的には、撮像画像補正部３は、第２の輝度情報と第２のＲＧＢ情報とに基づいて、基準色差情報を生成し、第２の輝度情報の第１の輝度情報に対する比を基準色差情報に乗じることで、第２のＲＧＢ情報を補正する。これにより、撮像画像補正部３は、赤外光による劣化が解消した第３のＲＧＢ情報を生成することができる。
【０１１５】
さらに、撮像画像補正部３は、可視光ＷＢ補正係数に第３のＲＧＢ情報を乗じることで、可視光ＷＢ補正値を算出し、赤外光ＷＢ補正係数に第３のＲＧＢ情報を乗じることで、赤外光ＷＢ補正値を算出する。そして、撮像画像補正部３は、赤外光混合係数に基づいて、可視光ＷＢ補正値と赤外光ＷＢ補正値とを混合することで、第４のＲＧＢ情報を生成する。したがって、撮像画像補正部３は、赤外光混合率に応じたＷＢ調整を、単位画素毎に行なうことができるので、ＷＢ調整をより正確に行なうことができる。
【０１１６】
さらに、撮像画像補正部３は、色再現補正係数に第３のＲＧＢ情報（具体的には、ＷＢ調整後の第３のＲＧＢ情報である第４のＲＧＢ情報。以下本段落で同じ）を乗じることで、色再現補正値を算出する。さらに、撮像画像補正部３は、無彩色変換補正係数に第３のＲＧＢ情報を乗じることで、無彩色補正値を算出する。そして、撮像画像補正部３は、赤外光混合係数に基づいて、色再現補正値と無彩色補正値とを混合することで、第５のＲＧＢ情報を生成する。したがって、撮像画像補正部３は、赤外光混合率に応じた色再現調整を、単位画素毎に行なうことができるので、色再現調整をより正確に行なうことができる。
【０１１７】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１１８】
１０    撮像装置
２    撮像部
２２    撮像素子
３    撮像画像補正部
４    画像信号処理部
４３    赤外光混合係数算出部
４４    赤外成分除去部
４５    赤外成分補正部
４６    色補正部
４６１    ＷＢ補正部
４６２    色再現補正部
５    マイクロコントローラ部
５１    ＷＢ補正係数算出部
５２    色補正係数算出部
【図１】
2013121132.tif 000013
【図２】
2013121132.tif 000014
【図３】
2013121132.tif 000015
【図４】
2013121132.tif 000016
【図５】
2013121132.tif 000017
【図６】
2013121132.tif 000018
【図７】
2013121132.tif 000019
【図８】
2013121132.tif 000020
【図９】
2013121132.tif 000021