(57)【要約】【課題】広く普及したカラーフィルタを有するイメージセンサを用いることによって安価に可視光画像と赤外光画像を分離し、あるいは合成するとともに、赤外光画像の解像度の向上をはかる。【解決手段】ＣＭＹＧ４色のカラーフィルタ付きの撮像素子で撮像された赤外光を含む色信号成分からＲＧＢを変数とする連立方程式の解を求め、ＲＧＢの可視光の信号成分と赤外光の信号成分とを分離する演算を、全ての画素に対して行ない、ＲＧＢの信号成分からなる可視光画像と、赤外光の信号成分からなる赤外光画像とを出力する。また、出力された可視光画像を、赤外光を含む輝度信号と色差信号に変換して合成出力してもよい。【選択図】図１
2013115679.tif 000002
【特許請求の範囲】
【請求項１】
ＣＭＹＧ補色カラーフィルタと、撮像素子と、
前記ＣＭＹＧ補色カラーフィルタを介して前記撮像素子で撮像した赤外光を含む色信号データＣ’、Ｍ’、Ｙ’、Ｇ’を入力し、予め記憶された下記の演算式（Ａ）を用いて可視光の色信号データＲ、Ｇ、Ｂおよび赤外光データIを演算し出力する赤外光分離部と、
これらを制御する制御部とを備えたことを特徴とする撮像装置。
演算式（Ａ）
Ｒ＝Ｙ’−Ｇ’
Ｇ＝Ｃ’＋Ｙ’−Ｍ’−Ｇ’
Ｂ＝Ｃ’ −Ｇ’
Ｉ＝２×Ｇ’−Ｃ’−Ｙ’＋Ｍ’
【請求項２】
前記可視光の色信号データＲ、Ｇ、Ｂを入力し可視光画像を生成して出力する第１の画像出力部を備えたことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記赤外光分離部から出力された可視光の色信号データＲ、Ｇ、Ｂを入力し、輝度信号データＬと色差信号データＣｂ、Ｃｒに変換し、予め記憶された以下の演算式（Ｂ）を用いて前記輝度信号データＬと赤外光信号データＩとゼロを含む任意の正の数tとから新たな輝度信号データＬ’を演算して出力する赤外線合成部と、
前記新たな輝度信号データＬ’と前記色差データＣｂ、Ｃｒから画像を生成して出力する第２の画像出力部を備えたことを特徴とする請求項１記載の撮像装置。
演算式（Ｂ）
Ｌ’＝Ｌ＋Ｉ×ｔ  （ｔはゼロを含む任意の正の数）
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、シアン（Ｃ）、マゼンタ（Ｍ）、黄（Ｙ）、緑（Ｇ）の４色のカラーフィルタを有する撮像素子により被写体からの反射光を受光して撮像する、撮像装置に関する。
【背景技術】
【０００２】
イメージセンサは、赤外光にも感度があるため、これをそのまま撮影してしまうと、可視光と赤外光とを同時に受光してしまい、画像の色再現性が悪化することが知られている。このため、レンズとイメージセンサとの間に赤外光カットフィルタを挿入し、赤外光を除去して色再現性を向上させるのが一般的である。
【０００３】
ところで、赤外光カットフィルタはプラスチックやガラスで構成されているため可視光成分も１％程度失われる。また、赤外光カットフィルタを使用しない場合に比べて赤外光成分が失われるため、２０〜３０％程度の光量減になる。このため、特許文献１では、赤外光カットフィルタの使用／不使用を切り替えることができ、明るいときには赤外光カットフィルタを使用して色再現性を向上させ、撮像範囲が暗いときには赤外光カットフィルタを使用しないことで光量を増加させる技術が提案されている。特に、人間の目では見ることのできない赤外光照明を併用すれば、可視光では全く捕らえることができないほど撮像範囲が暗い場合でも鮮明な画像を得ることができる。しかしながら、赤外光カットフィルタの不使用時には、色再現性が悪化するため、色を薄く表現し、あるいは色を完全に削除してモノクロの画像を出力することが行なわれる。
【０００４】
しかしながら、特許文献１に開示された技術によれば、赤外光カットフィルタの使用／不使用を切り替えるための機構がコスト高になり、また、そのための駆動機構は故障の原因になる。このため、特許文献２では、駆動機構を用いることなく赤外光を分離する技術が提案されている。また、特許文献２に開示された技術によれば、撮像範囲が暗いときには可視光画像と赤外光画像とを合成することも可能である。具体的に、図４に、カラーフィルタの構造が示されるように、イメージセンサに配置するカラーフィルタに、あらかじめ赤外光をカットする、赤、緑、青のカラーフィルタと、赤外光だけを透過するカラーフィルタの４つを使用することにより、可視光画像と赤外光画像の同時撮影を可能にしている。これによって、明るいときには色再現性の高い可視光画像を出力し、撮像範囲が暗いときには赤外光画像または可視光画像と赤外光画像とを合成した画像を出力する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−５９９７９８号公報
【特許文献２】特開２０１０−０６２６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に開示された技術によれば、特殊なカラーフィルタを持つイメージセンサの開発を必要とする。数マイクロメートルの径を持つ画素毎に異なる色のフィルタを必要とするため、既存のイメージセンサのカラーフィルタを交換することでの対応は困難である。また、赤外光を透過するフィルタは４個の画素につき１個の画素にしか配置されていないため、赤外光画像の解像度は４分の１になる。
【０００７】
本発明は上記した課題を解決するためになされたものであり、広く普及した従来のカラーフィルタを有するイメージセンサを用いることによって安価に可視光画像と赤外光画像を分離し、あるいは合成するとともに、赤外光画像の解像度の向上をはかった撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記した課題を解決するために本発明の撮像装置は、ＣＭＹＧ補色カラーフィルタと、撮像素子と、前記ＣＭＹＧ補色カラーフィルタを介して前記撮像素子で撮像した赤外光を含む色信号データＣ’、Ｍ’、Ｙ’、Ｇ’を入力し、予め記憶された下記の演算式（Ａ）を用いて可視光の色信号データＲ、Ｇ、Ｂおよび赤外光データIを演算し出力する赤外光分離部と、これらを制御する制御部とを備えたことを特徴とする。
演算式（Ａ）
Ｒ＝Ｙ’−Ｇ’
Ｇ＝Ｃ’＋Ｙ’−Ｍ’−Ｇ’
Ｂ＝Ｃ’ −Ｇ’
Ｉ＝２×Ｇ’−Ｃ’−Ｙ’＋Ｍ’
【０００９】
本発明によれば、赤外光分離部は、一般的なＣＭＹＧ補色イメージセンサにより取得された信号から、演算式（Ａ）に基づく演算により、Ｒ、Ｇ、Ｂの色信号データとともに赤外光データを算出することができる。
【００１０】
本発明の撮像装置において、前記可視光の色信号データＲ、Ｇ、Ｂを入力し可視光画像を生成して出力する第１の画像出力部を備えたことを特徴とする。
【００１１】
本発明の撮像装置において、前記赤外光分離部から出力された可視光の色信号データＲ、Ｇ、Ｂを入力し、輝度信号野データＬと色差信号データＣｂ、Ｃｒに変換し、予め記憶された以下の演算式（Ｂ）を用いて前記輝度信号データＬと赤外光信号データＩとゼロを含む任意の正の数tとから新たな輝度信号データＬ’を演算して出力する赤外線合成部と、
前記新たな輝度信号データＬ’と前記色差データＣｂ、Ｃｒから画像を生成して出力する第２の画像出力部を備えたことを特徴とする。
演算式（Ｂ）
Ｌ’＝Ｌ＋Ｉ×ｔ  （ｔはゼロを含む任意の正の数）
【００１２】
本発明によれば、赤外光合成部は、赤外光分離部により出力される可視光画像を演算式（Ｂ）にしたがい輝度信号データに赤外光データを含めることができる。
【発明の効果】
【００１３】
本発明によれば、広く普及した従来のＣＭＹＧ補色カラーフィルタを有するイメージセンサを用い、可視光データと赤外光データを分離する事で、可視光画像を生成して出力することができるため、赤外光カットフィルタが不要となり、安価に撮像装置を構成することが可能となる。また、輝度信号データと赤外光データを合成し、色差データと共に画像を生成して出力することより、色再現性を悪化させることなく撮像範囲が暗いときも鮮明なカラー映像を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態１に係る撮像装置の構成を示す図である。
【図２】本発明の実施の形態１に係る撮像装置で使用されるカラーフィルタの構造を示す図である。
【図３】本発明の実施の形態２に係る撮像装置の構成を示す図である。
【図４】従来のカラーフィルタの構造を示す図である。
【発明を実施するための形態】
【００１５】
以下、添付図面を参照して、本発明を実施するための形態（以下、実施形態）について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号を付している。
【００１６】
（実施形態１の構成）
図１は、本実施形態１に係る撮像装置１０Ａの構成を示すブロック図である。図１に示されるように、本実施形態１に係る撮像装置１０Ａは、レンズ１１と、イメージセンサ１２と、赤外光分離部１３と、画像出力部１４と、制御部１５ａと、により構成される。レンズ１１等の光学系を介して入射される被写体からの反射光である被写体像はイメージセンサ１２で光電変換され、赤外光分離部１３を介して画像出力部１４に供給されることによって信号処理される。
【００１７】
イメージセンサ１２は、被写体からの光を透過する、広く普及した一般的なＣＭＹＧ補色カラーフィルタ１２１と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）で構成される撮像素子１２２からなる。撮像素子１２２は、カラーフィルタ１２１を透過した反射光を受光して被写体を撮像する。
【００１８】
赤外光分離部１３は、撮像素子１２２で撮像された赤外光を含む色信号データから、後述する予め記憶されたＲ、Ｇ、Ｂを変数とする演算式を用いて、Ｒ、Ｇ、Ｂの可視光データと赤外光データとを分離する演算部を含む。赤外光分離部１３は、撮像素子１２２が有する画素の全ての色信号データに対して可視光データと赤外光データを分離する演算を実行し第１の画像出力部１４はこのデータを基に画像を生成する。制御部１５ａは、イメージセンサ１２、赤外光分離部１３、可視光画像出力部１４の制御を行う。
【００１９】
または、上記構成に赤外線合成部１６を更に備え、上記Ｒ、Ｇ、Ｂの可視光データを輝度データＬと色差データＣｂ、Ｃｒに変換し、輝度データＬに赤外線分離部１３で分離された赤外線データを加算し、新たな輝度データＬ’とする。この演算を撮像素子１２２が有する画素全ての色信号データに対して実行し、第２の画像出力部１４はこのデータを基に画像を生成する。制御部１５ｂは、イメージセンサ１２、赤外光分離部１３、可視光画像出力部１４の制御を行う。
【００２０】
ところで、カラーフィルタには、原色カラーフィルタと補色カラーフィルタの２種がある。一般的に、原色カラーフィルタは色再現に、補色カラーフィルタは解像度に優れる。原色カラーフィルタは赤・緑・青・緑の４つを一組としている。緑が２つ含まれているのは、人間の目が感じる明るさの多くは、緑によるものだからである。補色カラーフィルタは、シアン・マゼンダ・黄・緑の４つを一組としている。補色というのは、シアン・マゼンダ・黄色であるが、そこに緑を加えると、色再現性が高まる。
【００２１】
図２（ａ）は、シアン・マゼンダ・黄・緑の４つを一組とする補色カラーフィルタの構造を示している。本実施形態１に係る撮像装置１０Ａでは、このＣＭＹＧ補色カラーフィルタ１２１を使用する。ＣＭＹＧ補色カラーフィルタ１２１を通したそれぞれの画素では、透過されなかった色の光は認識できないため、補間処理が行われる。例えば、図２（ｂ）において、Ｇ１１の画素に注目すると、この画素からは緑の光の光量しか出力されない。この画素に対する他の色の光量は、周辺の画素に対するその色の光量と似通っていることが多いため、周辺の画素の他の色の光の光量の平均値をこの画素における緑以外の色の光の光量とする。これが補間である。
【００２２】
Ｍ００をその画素におけるマゼンダ色の光量、Ｃ０１をその画素におけるシアン色の光量、Ｙ１０をその画素における黄色の光量、Ｇ１１をその画素における緑色の光量とすれば、以下の演算式（１）により、Ｇ１１の画素における緑以外の光の光量を求めることができる。この演算式は赤外光分離部１３に記憶されており、演算自体もまた赤外光分離部１３で行われる。
【００２３】
演算式（１）
Ｍ１１＝（Ｍ００＋Ｍ０２＋Ｍ２０＋Ｍ２２）／４
Ｃ１１＝（Ｃ０１＋Ｃ２１）／２
Ｙ１１＝（Ｙ１０＋Ｙ１２）／２
【００２４】
この演算式（１）による色補間は最も簡単なものでありバイニリア法と呼ばれている。このバイリニア法を用いて色補間を行うと解像度が悪くなる等の理由から、さらに周囲の光量を用いて、これを改善した補間方法もあるが、以下に説明する本実施形態１に係る撮像装置１０Ａでは全ての画素について、Ｃ、Ｍ、Ｙ、Ｇの４つの色の光量が算出できれば、いかなる補間方法を用いても良い。この処理を全ての画素について行うものである。なお、端に位置する、例えば、Ｍ００の画素には左側に位置する画素がないため、シアン色の光量を求めるために、左側の画素値を用いることができない、このような場合に備えて、あらかじめ出力する画像の範囲よりも周囲に余分な画素を配置し、出力する画像の範囲では全て同じ補間処理が行えるようにするものが多い。もしくは、単に右側のＣ０１の値をコピーするなどの、特別な処理を適用しても良い。
【００２５】
（実施形態１の動作）
まず、赤外光分離部１３の動作から説明する。ＣＭＹＧ補色カラーフィルタ１２１は、シアン・マゼンダ・黄・緑の全てにおいて、シアン・マゼンダ・黄・緑の色データに赤外光データが加算されている。つまり、上記した演算式（Ａ）により赤外線分離部１３で演算された各画素の光量の値には、赤外光カットフィルタを用いていないため、赤外光データも加算され、これをそのまま第１の画像出力部１４にて画像を生成すると色再現性が悪化する。よって本実施形態１に係る撮像装置１０Ａでは、赤外光分離部１３にて演算式（Ａ）によって各画素の光量の値から赤外光成分を除き、赤・緑・青の色データを算出し、さらに赤外光データの算出も行う。
【００２６】
ここで、赤外光データを含む色信号データをＣ’、Ｍ’、Ｙ’、Ｇ’、としたときに、それぞれを赤外光データを含まないＲ、Ｇ、Ｂデータと赤外光データＩで表したものを演算式（２）に示す。尚、この演算式は補色系から原色系への色変換を行う演算式として公知である。
【００２７】
演算式（２）
Ｃ’＝    Ｇ＋Ｂ＋Ｉ
Ｍ’＝Ｒ＋    Ｂ＋Ｉ
Ｙ’＝Ｒ＋Ｇ    ＋Ｉ
Ｇ’＝    Ｇ    ＋Ｉ
【００２８】
上記した演算式（２）において、Ｃ’とＭ’とＹ’とＧ’はそれぞれ、ある画素における、その画素の、または補間された、赤外光データを含む、シアンとマゼンダと黄と緑のデータである。また、Ｒ、Ｇ、Ｂは、それぞれ、その画素における、赤外光データを含まない、赤と緑と青のデータである。また、Ｉは、その画素における、赤外光データである。シアンは、緑と青、マゼンダは、赤と青、黄は、赤と緑が含まれているが、ここではそれぞれに、赤外光データが含まれていることを示している。
【００２９】
この演算式（２）によって、Ｃ’とＭ’とＹ’とＧ’の４つの変数から、ＲとＧとＢとＩの４つの値を算出する演算式は、以下の演算式（３）、（４）、（５）、（６）によって示される。イメージセンサ１２から出力された全データは赤外光分離部１３内でこの演算式を用いＲ、Ｇ、Ｂの色データとして算出され、さらに赤外光データＩの算出も行われる。尚、ここでは本発明の説明のために演算式を導き出す過程も記載しているが、赤外光分離部１３内に格納され演算式として使われているのは先に記載した演算式（Ａ）、すなわち演算式(３)、（４）、（５）、（６）それぞれの最左辺と最右辺のみである。
【００３０】
演算式（３）
Ｒ＝Ｇ−Ｇ＋Ｒ＋Ｉ−Ｉ
＝（Ｇ＋Ｒ＋Ｉ）−（Ｇ＋Ｉ）
＝Ｙ’−Ｇ’
【００３１】
演算式（４）
Ｇ＝Ｇ＋Ｇ−Ｇ＋Ｂ−Ｂ＋Ｒ−Ｒ＋Ｉ＋Ｉ−Ｉ−Ｉ
＝(Ｇ＋Ｂ＋Ｉ)＋（Ｒ＋Ｇ＋Ｉ）−（Ｒ＋Ｂ＋Ｉ）−（Ｇ−Ｉ）
＝Ｃ’＋Ｙ’−Ｍ’−Ｇ’
【００３２】
演算式（５）
Ｂ＝Ｇ−Ｇ＋Ｂ＋Ｉ−Ｉ
＝(Ｇ＋Ｂ＋Ｉ)−(Ｇ＋Ｉ)
＝Ｃ’−Ｇ’
【００３３】
演算式（６）
Ｉ＝Ｇ−Ｇ＋Ｉ
＝(Ｇ＋Ｉ)−Ｇ
＝Ｇ’−(Ｃ’＋Ｙ’−Ｍ’−Ｇ’)
＝２×Ｇ’−Ｃ’−Ｙ’＋Ｍ’
【００３４】
このように、一般的なＣＭＹＧ補色イメージセンサから出力された信号から、簡単な演算により、赤と緑と青のデータとともに、赤外光のデータを算出することができる。赤外光分離部１３は、演算式（３）、（４）、（５）、（６）すなわち演算式（Ａ）に示される演算を全ての画素について行い、赤と緑と青の可視光データを出力する。そして、第１の画像出力部１４は、赤外光分離部１３で演算されたＲ、Ｇ、Ｂの各値から可視光画像を生成し出力する。
【００３５】
（実施形態１の効果）
以上説明のように本実施形態１に係る撮像装置１０Ａによれば、一般的なイメージセンサ１２によって取得された信号から、赤外光分離部１３は演算式（３）、（４）、（５）、（６）すなわち演算式（Ａ）に基づく演算を実行し、赤と緑と青のデータとともに、赤外光のデータを算出することができ、この演算を全ての画素について行なうことで、画像を構成できる分の赤と緑と青の要素を持つ可視光データを出力することが出来る。このため、特殊なカラーフィルタを持つイメージセンサを必要とすることなく、広く普及した一般的なカラーフィルタを持つイメージセンサを用いて安価に可視光データを得ることができ、このデータを基に第１の画像出力部１４では可視光画像を生成し出力することができる。また、赤外光カットフィルタを取り除くこと以外は通常のカメラの部品構成と同じ構成で実現できるため、赤外光カットフィルタとその駆動機構分のコストを削減でき、かつ、赤外光カットフィルタによる可視光の損失も防ぐことが出来る。
【００３６】
なお、本実施形態１に係る撮像装置１０Ａによれば、赤外光分離部１３は、制御部１５ａとは独立して存在する構成として説明したが、赤外光分離部１３が持つ機能をソフトウエアで実現して図示しない記憶部に演算式（Ａ）を格納し、制御部１５ａの中に組み込んでも同様の効果が得られる。
【００３７】
（実施形態２の構成）
図３は、本実施形態２に係る撮像装置１０Ｂの構成を示すブロック図である。図１に示す実施形態1との差異は、赤外光合成部１６が付加されたことにある。赤外光合成部１６は、赤外光分離部１３から出力される可視光データと赤外光データを、赤外光データを含む輝度データと色差データに変換して出力し、第２の画像出力部１４にて画像を生成し出力する。なお、制御部１５ｂは、赤外光合成部１６が、可視光画像を、赤外光を含む輝度信号と色差信号に変換して出力することができるように、イメージセンサ１２と、赤外光分離部１３と、画像出力部１４の制御を行う。他の構成は、図１に示す実施形態１と同様である。
【００３８】
（実施形態２の動作）
以下、赤外光合成方法について説明する。赤外光分離部１３から出力された可視光データと赤外光データは、赤外光合成部１６に入力される。赤外光合成部１６は、予め記憶された以下に示す一般的な輝度・色差演算式（７）にしたがい、まず可視光データについて赤と緑と青の値を、輝度データと色差データに変換する。
【００３９】
演算式（７）
Ｌ＝０．３×Ｒ＋０．６×Ｇ＋０．１×Ｂ
Ｃｂ＝Ｂ−Ｌ
Ｃｒ＝Ｒ−Ｌ
【００４０】
上記した演算式（７）において、Ｌは輝度を表している。ここで、輝度とは、人間の感じる明るさであり、通常、Ｙで表現されることが多いが、ここではＹを黄色のデータとして扱っているため、輝度（Luminance）の頭文字をとってＬで示すこととした。また、ＣｂとＣｒは色差で、青っぽさ、赤っぽさを表す。色差は、負の値を取ることもあり、Ｃｂが大きければ青っぽく、小さければ黄色っぽくなり、また、Ｃｒが大きければ赤っぽく、小さければシアンっぽくなり、また、ＣｂとＣｒが両方大きければマゼンダっぽく、小さければ緑っぽくなり、また、ＣｂとＣｒの絶対値が大きければ色が濃く、小さければ色は薄く、０であれば白、黒、または灰色になる。
【００４１】
一方、赤外光は、本来は人間の目に見えないものの、可視光と似た性質を持っている。よって可視光データに赤外光データを合成すれば光量が増えるため撮像範囲が暗くても被写体を捉えることが可能となる。そこで、本実施形態２に係る撮像装置１０Ｂでは、赤外線合成部１６で算出された輝度データと赤外線分離部１３から出力された赤外光データとを合成するために、先に記述した演算式（Ｂ）すなわち以下に示す演算式（８）を用いることとした。本実施形態に係る撮像装置１０Ｂでは、赤外光合成部１６で、予め記憶された赤外光を含む輝度データに変換する演算式（８）を用いて赤外光分離部１３から入力される全ての画素について演算を実行し、Ｌ’を新たな輝度データとして入れ替えて出力する。尚、赤外光データを合成しても色再現性が悪化しない様に、色差データについては演算式（７）で示したＣｂ、Ｃｒの式をそのまま使用する。Ｃｂ、Ｃｒは赤外線合成部１６にて算出され、全ての画素のＬ’、Ｃｂ、Ｃｒは第２の画像出力部１４に出力され、画像が生成されて出力される。
【００４２】
演算式（８）
Ｌ’＝Ｌ＋Ｉ×ｔ
【００４３】
上記した演算式（８）において、Ｌ’は赤外光データを含む輝度データを表している。また、パラメータｔは輝度データに赤外光データを合成する程度を表しており、０≦ｔ（ｔはゼロを含んだ任意の正の数）の範囲とする。なお、パラメータｔの値は、制御部１５ｂが撮像範囲の明るさを判断し、その状況に応じて変化させても良い。例えば、ｔに０〜１の範囲で示される係数を適用すれば、撮像範囲が明るいときはｔ＝０とすることでＬ’＝Ｌとなり、赤外光データを全く含まない場合と同じになる。また、撮像範囲が暗いときはｔ＝１とすることでＬ’＝Ｌ＋Ｉとなり、本来の輝度データと赤外光データが均等に含まれた値になる。
例えば、輝度データとパラメータｔの値を対応させた図示しないテーブルを予め赤外光合成部１６に記憶させる。撮像範囲の全画素について、赤外光合成部１６で演算式（７）に従って得た輝度データＬの平均値に対応するパラメータｔの値を上記のテーブルから選択し、演算式（８）に従って演算する様にする。
【００４４】
（実施形態２の効果）
上記した本実施形態に係る撮像装置１０Ｂによれば、赤外光合成部１６が、上記した演算式（８）にしたがい、輝度データを赤外光データを含む輝度データに変換し、これを全ての画素について行い、そのデータを基に第２の画像出力部１４にて画像として生成、出力することにより、撮像範囲が暗いときも被写体を捉えることが可能となる。特に、特許文献２に示される方法によれば、赤外光成分Ｉは、４個につき１個の画素にしか含まれないのに対し、本実施形態２で使用される一般的なＣＭＹＧ補色カラーフィルタ１２１では赤外光データＩは全ての画素に含まれているため、解像度においては特許文献２に開示された方法よりも優れる。また、赤外光分離部１３にて演算式（８）のｔの値を変化させることで赤外光データを使用する量を除々に変化させることができるため、特許文献１の様に赤外カットフィルタの出し入れの際に発生する可視光画像から赤外光画像に切り替わるときの突然の画像の変化を避けることができる。
【００４５】
一方で、Ｌ’がどのように変化しても色合いと色の濃さはＣｂとＣｒが示しているため、色再現はほとんど悪化しない。したがって、特許文献１に開示された技術とは異なり、色を濃くし、あるいはモノクロにする必要はない。ところで、色合いと色の濃さは変化しないが、可視光と赤外光で明るさが大きく異なる場合もある。例えば、植物の葉は赤外光を多く反射するため、葉の部分のＬ’の値はＬに対して大きくなる場合が多く、緑っぽさは保たれるものの、明るい緑になってしまう。これを軽減するために、赤外光成分Ｉの値からエッジ成分を取り出してエッジ部分だけをＬと合成したり、トーンカーブフィルタ等の加工処理を施したりしてから、Ｌと合成することが考えられる。
【００４６】
なお、本実施形態２に係る撮像装置１０Ｂによれば、赤外光合成部１６は、制御部１５ｂとは独立して存在する構成として説明したが、赤外光合成部１６が持つ機能をソフトウエアで実現して制御部１５ｂの中に組み込んでも同様の効果が得られる。
【００４７】
以上、本発明の好ましい実施形態について詳述したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【００４８】
１０Ａ、１０Ｂ・・・撮像装置、１２・・・イメージセンサ、１３・・・赤外光分離部、１４・・・画像出力部、１５ａ、１５ｂ・・・制御部、１６・・・赤外光合成部
【図１】
2013115679.tif 000003
【図２】
2013115679.tif 000004
【図３】
2013115679.tif 000005
【図４】
2013115679.tif 000006