(57)【要約】  本発明にかかる撮像装置および撮像方法では、第１および第２波長帯域でそれぞれ撮像して得られた第１および第２画像に基づいて合成画像が生成される。この画像合成の生成の際に前記第１画像中の合成対象画像に、前記第２画像中の前記対象物画像を合成する。このため、本発明にかかる撮像装置および撮像方法は、１つの画像では不足する画質を他の画像で補うことが可能となるから、対象物の視認性をより向上できる。
2014174765.tif 000002
【特許請求の範囲】
【請求項１】
第１波長帯域に含まれる波長領域の光を撮像して第１撮像データを出力する複数の第１光電変換素子と、
前記第１波長帯域と異なる波長帯域を含む第２波長帯域の光を撮像して第２撮像データを出力する複数の第２光電変換素子と、
前記第１撮像データによる第１画像と前記第２撮像データによる第２画像とに基づいて合成画像を生成する画像合成部とを備え、
前記画像合成部は、前記第２画像のうちの所定の種類の対象物を含む第２画像領域の対象物画像を、前記第１画像のうちの前記第２画像領域に対応する第１画像領域の合成対象画像に合成する、
撮像装置。
【請求項２】
前記第２波長帯域は、前記第１波長帯域より長い波長の帯域である、
請求項１に記載の撮像装置。
【請求項３】
前記第１撮像データは、輝度を表わす第１輝度データを含み、
前記第２撮像データは、輝度を表わす第２輝度データを含み、
前記画像合成部は、前記対象物画像の第２輝度データと、前記合成対象画像の第１輝度データとを合成する、
請求項１または請求項２に記載の撮像装置。
【請求項４】
前記第１波長帯域の光は、可視光であり、前記第１撮像データは、色度を表わす色度データを含み、
前記第２波長帯域の光は、赤外光であり、
前記画像合成部は、前記対象物画像の第２輝度データと前記合成対象画像の第１輝度データとの合成に応じて、前記第１撮像データの色度データを補正する、
請求項３に記載の撮像装置。
【請求項５】
前記第１波長帯域の光は、近赤外光であり、前記第１撮像データは、輝度を表わす第３輝度データを含み、
前記第２波長帯域の光は、遠赤外光であり、前記第２撮像データは、輝度を表わす第４輝度データを含み、
前記画像合成部は、前記対象物画像の第４輝度データと、前記合成対象画像の第３輝度データとを合成する、
請求項１または請求項２に記載の撮像装置。
【請求項６】
前記第２撮像データによる第２画像のうちの所定の種類の対象物を検出する対象物検出部をさらに備え、
前記画像合成部は、前記対象物検出部によって検出された前記対象物を含む前記第２画像領域の前記対象物画像を、前記第１画像のうちの前記第２画像領域に対応する前記第１画像領域の前記合成対象画像に合成する、
請求項１ないし請求項５のいずれか１項に記載の撮像装置。
【請求項７】
前記複数の第１光電変換素子および前記複数の第２光電変換素子を形成した１個のイメージセンサを備える、
請求項１ないし請求項６のいずれか１項に記載の撮像装置。
【請求項８】
前記複数の第１光電変換素子を形成した第１イメージセンサと、
前記複数の第２光電変換素子を形成した前記第１イメージセンサとは別体の第２イメージセンサとを備える、
請求項１ないし請求項６のいずれか１項に記載の撮像装置。
【請求項９】
第１波長帯域に含まれる波長領域の光を複数の第１光電変換素子によって撮像して第１撮像データを取得する第１撮像ステップと、
前記第１波長帯域と異なる波長帯域を含む第２波長帯域の光を複数の第２光電変換素子によって撮像して第２撮像データを取得する第２撮像ステップと、
前記第１撮像データによる第１画像と前記第２撮像データによる第２画像とに基づいて合成画像を生成する画像合成ステップとを備え、
前記画像合成ステップは、前記第２画像のうちの所定の種類の対象物を含む第２画像領域の対象物画像を、前記第１画像のうちの前記第２画像領域に対応する第１画像領域の合成対象画像に合成する、
撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１画像および第２画像を撮像して画像処理する撮像装置および撮像方法に関する。
【背景技術】
【０００２】
従来より、夜間、または、雨若しくは霧等の視認性が悪い環境下で、所定の被写体を撮像する撮像装置が、監視用途または車載用途等で使用されている。特許文献１には、上記環境下でドライバの運転を支援するために赤外光を撮像して得られた赤外線画像を用いることによって、歩行者等の対象物を検出し、当該赤外線画像において前記対象物を強調表示する技術が開示されている。【０００３】
上記従来技術に記載の技術では、対象物が強調表示されるが、対象物そのものの有する形状等が変更されて表示されるため、ドライバに不自然な印象を与える可能性がある。この従来技術には、例えばこの点で視認性に改善の余地がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−７６２９８号公報
【発明の概要】
【０００５】
本発明は、上記の事情に鑑みて為された発明であり、その目的は、対象物の視認性をより向上できる撮像装置および撮像方法を提供することである。
【０００６】
本発明にかかる撮像装置および撮像方法では、第１および第２波長帯域でそれぞれ撮像して得られた第１および第２画像に基づいて合成画像が生成される。この画像合成の生成の際に前記第１画像中の合成対象画像に、前記第２画像中の前記対象物画像を合成する。このため、本発明にかかる撮像装置および撮像方法は、１つの画像では不足する画質を他の画像で補うことが可能となるから、対象物の視認性をより向上できる。
【０００７】
上記並びにその他の本発明の目的、特徴および利点は、以下の詳細な記載と添付図面から明らかになるであろう。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態にかかる撮像装置の構成の一例を示すブロック図である。
【図２】実施形態にかかる光フィルタ群の部分図である。
【図３】第１実施形態にかかる撮像装置の動作フロー図である。
【図４】第１実施形態にかかる可視画像、近赤外画像および合成画像を説明するための図である。
【図５】第２実施形態にかかる撮像装置の構成の一例を示すブロック図である。
【図６】第２実施形態にかかる可視画像、近赤外画像および合成画像を説明するための図である。
【図７】第３実施形態にかかる撮像装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。なお、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
【００１０】
［第１実施形態］
図１は、第１実施形態にかかる撮像装置１０００の構成の一例を示すブロック図である。図２は、実施形態にかかる光フィルタ群の部分図である。図２では、各光フィルタは、所定の配列でマトリクス状に配列された光フィルタ群を入射側から見て部分的に示されている。図２Ａは、第１実施形態にかかるＲＧＢＩｒ態様の光フィルタ群１０３を示す図であり、図２Ｂは、第１実施形態にかかるＷＹＲＩｒ態様の光フィルタ群１０３を示す図である。図２Ｃは、後述の第２実施形態にかかるＷＹＲ型の光フィルタ群１０３ａを示す図であり、図２Ｄは、後述の第２実施形態にかかるＣＭＹＧ型の光フィルタ群１０３ａを示す図である。
【００１１】
図１において、本実施形態にかかる撮像装置１０００は、例えば撮像部１００と、画像処理部２００と、出力部３００と、入力部４００とを備える。撮像部１００から撮像データが画像処理部２００に入力され、画像処理部２００から画像処理後のデータが出力部３００に出力される。入力部４００は、画像処理部２００に接続される。
【００１２】
撮像部１００は、例えば監視用途または車載用途等で所定の被写体（物体）を撮像する装置である。撮像部１００は、例えば光学系１０１、光フィルタ群１０３およびイメージセンサ１０５を有する。前記所定の被写体からの光は、光学系１０１を経て光フィルタ群１０３に入射し、光フィルタ群１０３で所定の波長範囲の光だけが透過されてイメージセンサ１０５に入射する。より具体的には、光フィルタ群１０３で透過された所定の波長範囲の光が、イメージセンサ１０５に含まれる複数の光電変換素子に入射し、入射した光の強度に応じたアナログ電気信号がイメージセンサ１０５から画像処理部２００へ出力される。
【００１３】
光学系１０１は、１または複数のレンズ等の光学素子を有し、例えば前記所定の被写体からの光を、光フィルタ群１０３を介してイメージセンサ１０５の受光面上に結像する。光フィルタ群１０３は、互いに異なる中心波長で所定の波長範囲の光を透過する複数の光フィルタを有する。光フィルタ群１０３は、本実施形態では、例えば、赤色光を透過する赤色（Ｒ）フィルタ、緑色光を透過する緑色（Ｇ）フィルタ、青色光を透過する青色（Ｂ）フィルタ、および、赤外光を透過する赤外（Ｉｒ）フィルタ（本実施形態では近赤外フィルタ）の４種類の光フィルタを備え、これら４種類の光フィルタは、それぞれ複数、所定の配列で、例えば図２Ａに示すように、互いに直交するｘ方向およびｙ方向の２方向にマトリクス状に配列されている。本実施形態の光フィルタ群１０３は、所謂ベイヤー配列型の光フィルタ群と類似し、ベイヤー配列型光フィルタ群に含まれる２つの緑色フィルタのうちの１つが近赤外フィルタに置換されている。マトリクス状の配列において、例えばｓ行ｔ列の位置を（ｔ，ｓ）と表すと、光フィルタ群１０３の構成は、具体的には次のようになる。すなわち、光フィルタ群１０３は、例えばＧフィルタを（１，１）の位置に、Ｒフィルタを（２，１）の位置に、Ｂフィルタを（１，２）の位置におよびＩｒフィルタを（２，２）の位置に各々配置した基本パターン（図中のＡで示す矩形部分）がｘ方向およびｙ方向の２方向にマトリクス状に配列されることで、構成されている（以下、ＲＧＢＩｒ態様とも呼ぶ）。なお、光フィルタ群１０３は、図２Ｂに示すように、例えば白色光を透過する白色（Ｗ）フィルタお（１，１）の位置に、黄色光を透過する黄色（Ｙ）フィルタを（２，１）の位置に、Ｒフィルタを（１，２）の位置におよびＩｒフィルタを（２，２）の位置に各々配置した基本パターン（図中のＢで示す矩形部分）が前記ｘ方向およびｙ方向の２方向にマトリクス状に配列されることで、構成されてもよい（以下、ＷＹＲＩｒ態様とも呼ぶ）。
【００１４】
光フィルタ群１０３においてマトリクス状に配列された各光フィルタ（Ｒ、Ｇ、Ｂ、ＩｒまたはＷ、Ｙ、Ｒ、Ｉｒの各フィルタ）は、後述のイメージセンサ１０５に含まれるマトリクス状に配列された複数の光電変換素子の各々に１対１に対応する。ＲＧＢＩｒ態様の場合、イメージセンサ１０５の受光面において、緑色光を受光する光電変換素子を（１，１）の位置に、赤色光を受光する光電変換素子を（２，１）の位置に、青色光を受光する光電変換素子を（１，２）の位置に、そして、近赤外光を受光する光電変換素子を（２，２）の位置に各々配置した基本パターンが、前記ｘ方向およびｙ方向の２方向にマトリクス状に配列されている。このように、複数の光電変換素子それぞれは、単一の色の光を受光している。例えば、図２Ａにおいて（２，２）に位置する光電変換素子は、近赤外光のみを受光する。このように１個の光電変換素子は、単一の色の光を受光するため、当該色の画素値を生成するが、他の色の画素値を生成しない。このため、当該光電変換素子における前記他の色の画素値は、例えば当該光電変換素子の周囲に配置された、前記他の色の光を受光する光電変換素子によって生成された、前記他の色の画素値を用いた補間によって生成される。例えば、（２，２）に位置する近赤外光を受光する光電変換素子における青色の画素値は、これに隣接する（１，２）の位置および（３，２）の位置に存在する光電変換素子によって生成された青色の画素値を用いて補間演算されることで算出される。
【００１５】
イメージセンサ１０５は、入射した光を光電変換して入射した光の強度に応じた値を出力する、マトリクス状に配列された複数の光電変換素子を有する。イメージセンサ１０５における前記複数の光電変換素子のうち、前記Ｒフィルタ、ＧフィルタおよびＢフィルタの各フィルタをそれぞれ介して受光する複数の光電変換素子は、第１波長帯域に含まれる波長領域の光を撮像して第１撮像データＤ１を出力する複数の第１光電変換素子Ｌ１である。イメージセンサ１０５における前記複数の光電変換素子のうち、前記Ｉｒフィルタを介して受光する複数の光電変換素子は、前記第１波長帯域とは異なる波長帯域を含む第２波長帯域の光を撮像して第２撮像データＤ２を出力する複数の第２光電変換素子Ｌ２である。なお、本実施形態では例えば、第１波長帯域の光は、可視光であり、第１波長帯域に含まれる波長領域の光は、複数であって、赤色光、緑色光、青色光である。第２波長帯域の光は、赤外光（本実施形態では近赤外光）である。
【００１６】
本実施形態では、イメージセンサ１０５は、１個のイメージセンサであり、複数の第１光電変換素子Ｌ１および複数の第２光電変換素子Ｌ２は、１個のイメージセンサ１０５上に形成される。イメージセンサ１０５は、第１撮像データＤ１および第２撮像データＤ２それぞれをアナログ電気信号で画像処理部２００へ出力する。第１画像および第２画像は、各々１個のイメージセンサ１０５から出力された第１撮像データＤ１および第２撮像データＤ２による画像であり、同寸法（同画像サイズ）、同形状である。第１画像および第２画像の画素数は、上記のように補間演算等されて同数である。なお、本実施形態のイメージセンサ１０５は、例えば、入射光の強度に対する電気出力の特性を表す光電変換特性が線形特性または線形対数特性である、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型またはＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型等のイメージセンサである。イメージセンサ１０５が線形対数特性である場合、ダイナミックレンジが広いので、出力部３００のダイナミックレンジに応じて適宜にダイナミックレンジが圧縮される。このダイナミックレンジ圧縮は、公知の常套手段が用いられ、例えば特許第４７３６７９２号公報に開示されている。
【００１７】
画像処理部２００は、第２撮像データＤ２による第２画像から所定の種類の対象物を検出して、第１撮像データＤ１による第１画像と、前記所定の種類の対象物を含む前記第２撮像データＤ２による第２画像とに基づいて合成画像を生成する画像処理を行う。本実施形態では、第１撮像データＤ１による第１画像は、いわゆる可視画像であり、第２撮像データＤ２による第２画像は、いわゆる近赤外画像である。画像処理部２００は、例えば制御演算部２１１を備える。制御演算部２１１は、イメージセンサ１０５に接続され、制御演算部２１１からの出力は、出力部３００に出力される。
【００１８】
制御演算部２１１は、撮像部１００、画像処理部２００、出力部３００、入力部４００の全体の制御および画像合成等の各種演算を行う。制御演算部２１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）およびそれらの周辺回路を備えて構成される。また、制御演算部２１１は、ＲＯＭに記憶された画像処理プログラムを実行することにより、機能的に、制御部２１５、対象物抽出部２０９および画像合成部２０５を備える。対象物抽出部２０９は、イメージセンサ１０５から第２撮像データＤ２が入力され、対象物抽出部２０９の出力は、画像合成部２０５へ出力される。画像合成部２０５は、イメージセンサ１０５から第１撮像データＤ１が入力される。画像合成部２０５は、対象物抽出部２０９に接続され、画像合成部２０５の出力は、出力部３００へ出力される。
【００１９】
制御部２１５は、撮像部１００、画像処理部２００、出力部３００、入力部４００の全体の制御等を司る。対象物抽出部２０９は、近赤外画像から所定の種類の対象物Ｔ（以下、単に対象物Ｔと呼ぶ）を検出して、第２撮像データＤ２による近赤外画像から対象物Ｔを含む第２画像領域の対象物画像Ｇ２を抽出する。本実施形態では、例えば、対象物Ｔは、予め設定され、例えば人や動物等の恒温生物であり、複数であってもよい。また、対象物Ｔを含む対象物画像Ｇ２の形状は、所定の適宜な形状であり、例えば矩形形状である。なお、対象物画像Ｇ２の形状は、例えば対象物Ｔ自体の形状であってもよい。対象物抽出部２０９は、例えば、対象物検出部２０１と対象物画像領域抽出部２０３とを有する。対象物検出部２０１は、イメージセンサ１０５から第２撮像データＤ２が入力され、対象物検出部２０１の出力は、対象物画像領域抽出部２０３へ出力される。対象物画像領域抽出部２０３は、イメージセンサ１０５から第２撮像データＤ２が入力される。対象物画像領域抽出部２０３は、対象物検出部２０１に接続され、対象物画像領域抽出部２０３の出力は、画像合成部２０５へ出力される。
【００２０】
対象物検出部２０１は、第２撮像データＤ２による第２画像の中から所定の種類の対象物Ｔを検出する。より具体的には、対象物検出部２０１は、前記近赤外画像から対象物Ｔを検出する。対象物検出部２０１における対象物Ｔの検出方法は、例えば、対象物Ｔ（人や動物等の恒温生物）の形をした所定のテンプレートを用いて対象物Ｔを検出するいわゆるパターンマッチング法を使用した手法（例えば、特開２００４−１４５６６０号公報参照）等である。また、対象物Ｔの他の検出方法は、例えば、前記赤外画像の全画素について、画像のエッジの鋭さの程度を示すエッジ方向ヒストグラムを作成し、前記エッジの鋭さの程度とそれに対応する画素を勘案して形状を推定することで対象物Ｔを検出する手法（例えば、特開２０１０−１１７７７２号公報参照）等であってもよい。なお、当該手法において、検出精度向上のためにブースティング法の機械学習アルゴリズム等が使用されてもよい（例えば、山下隆義，藤吉弘亘，「特定物体認識に有効な特徴量」，情報処理学会研究報告，ＣＶＩＭ１６５，Ｎｏｖｅｍｂｅｒ，２００８，ｐｐ．２２１−２３６）。これらの手法により、人や動物等の恒温生物以外の、例えば熱源である自動車のエンジン等が近赤外画像から検出されることを回避でき、より精度よく対象物Ｔが検出できる。
【００２１】
対象物検出部２０１は、本実施形態では、上記のように対象物Ｔを検出し、この検出した対象物Ｔを含む、例えば第２撮像データＤ２による第２画像内における対象物画像Ｇ２の領域情報を対象物画像領域抽出部２０３へ出力する。領域情報は、第２画像内における対象物画像Ｇ２の範囲を表わす情報である。領域情報は、例えば対象物画像Ｇ２の矩形における４つの頂点それぞれに対応する各画素の各座標（以下、頂点座標とも呼ぶ）等である。ここで、撮像データによる撮像画像における画素の座標値は、例えば該撮像画像の矩形における４つの頂点のうちの一つの頂点の画素を原点とし、画像の長手方向をｘ軸方向とし、画像の短手方向をｙ軸方向としたｘｙ直行座標系等における座標値である。
【００２２】
対象物画像領域抽出部２０３は、第２撮像データＤ２による第２画像から対象物画像Ｇ２を抽出する。より具体的には、対象物画像領域抽出部２０３は、前記近赤外画像から対象物画像Ｇ２を抽出する。本実施形態では、対象物画像領域抽出部２０３は、例えば、前記領域情報に基づいて、近赤外画像において第２画像領域ｒ２（対象物画像Ｇ２）を除く領域の画素値を所定の一定値に変換することでマスク画像Ｍを作成する。これによって、対象物画像領域抽出部２０３は、近赤外画像から対象物画像Ｇ２を抽出し、対象物画像Ｇ２を含むマスク画像Ｍを画像合成部２０５へ出力する。なお、近赤外画像に含まれる対象物画像Ｇ２は、輝度値のみを画素値として有するので、本実施形態では前記所定の一定値は、例えばゼロである。前記マスク画像Ｍは、対象物画像Ｇ２の第２画像領域ｒ２を除く他の領域がマスク（黒色化）されることで、前記マスク画像Ｍに実質的に前記領域情報が重畳されている。なお、対象物画像領域抽出部２０３は、例えば前記領域情報に対応する近赤外画像を、前記領域情報が対象物検出部２０１から対象物画像領域抽出部２０３に入力されるまで記憶しておき、前記領域情報と前記領域情報に対応する近赤外画像とを同期させる。
【００２３】
画像合成部２０５は、第１撮像データＤ１による第１画像と前記第２撮像データによる第２画像とに基づいて合成画像を生成する。より具体的には、画像合成部２０５は、前記第２画像のうちの対象物Ｔを含む第２画像領域ｒ２の対象物画像Ｇ２を、前記第１画像のうちの前記第２画像領域ｒ２に対応する第１画像領域ｒ１の合成対象画像Ｇ１に合成する。
【００２４】
本実施形態における画像合成部２０５は、前記領域情報に基づき、合成対象画像Ｇ１に対象物抽出部２０９で抽出された対象物画像Ｇ２を合成し、合成後の画像データを出力部３００へ出力する。より具体的には、画像合成部２０５は、第１画像である可視画像に、前記マスク画像Ｍ（第１画像と同形状、同寸法、同画素数）を互いに対応する画素毎に画像合成することで、矩形形状の第２画像領域ｒ２と、第２画像領域ｒ２と同じ頂点座標である矩形形状の第１画像領域ｒ１との間で、合成対象画像Ｇ１に対象物画像Ｇ２を画像合成する。マスク画像Ｍが使用されることにより、画像合成部２０５において、可視画像とマスク画像Ｍとの間で同じ座標の画素の画素値同士が加算されて、可視画像に対象物画像Ｇ２が合成される。なお、画像合成部２０５は、例えばマスク画像Ｍに対応する可視画像を、マスク画像Ｍが対象物抽出部２０９から画像合成部２０５に入力されるまで記憶しておき、マスク画像Ｍとマスク画像Ｍに対応する可視画像とを同期させる。
【００２５】
画像合成部２０５は、本実施形態では、例えば、輝度合成部２０５ａと、色度補正部２０５ｂとを備える。画像合成部２０５は、第１画像と第２画像とに基づく画像合成において、第１撮像データＤ１に含まれる輝度を表わす第１輝度データと、第２撮像データＤ２に含まれる輝度を表わす第２輝度データとを、輝度合成部２０５ａにおいて合成する。本実施形態では、輝度データは、例えば後の（式１）で算出される輝度値であり、輝度合成部２０５ａは、対応する画素ごとに例えば第１画像内の合成対象画像Ｇ１の第１輝度値に対して、第２画像から抽出された対象物画像Ｇ２の第２輝度値を加算し、合成輝度値を算出する。画像合成部２０５は、対象物画像Ｇ２の第２輝度データと合成対象画像Ｇ１の第１輝度データとの合成に応じて、第１撮像データＤ１に含まれる色度を表わす色度データを、色度補正部２０５ｂにおいて補正する。本実施形態では、色度データは、例えば後の（式１）で算出される色度値であり、色度補正部２０５ｂは、対応する画素ごとに例えば可視画像である第１画像内の合成対象画像Ｇ１の第１色度値を、前記第１輝度値に対する前記合成輝度値の変化率に応じた第２色度値に変換（補正）する。より具体的に色度補正部２０５ｂは、例えば「第２色度値＝第１色度値×合成輝度値／第１輝度値」の演算式によって第２色度値を求める。
【００２６】
出力部３００は、画像合成部２０５で合成された画像を出力する表示装置である。当該表示装置は、例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等であり、車の運転席前方の例えばダッシュボードの上や、監視室等に配置される。また例えば、当該表示装置は、ヘッドマウントディスプレイである。入力部４００は、撮像装置１０００に対して情報入力するためのディップスイッチやプッシュスイッチ等の入力機器である。
【００２７】
図３は、第１実施形態にかかる撮像装置１０００の動作フロー図である。図４は、第１実施形態にかかる可視画像、近赤外画像および合成画像を説明するための図である。まず、所定の被写体（物体）からの光が撮像部１００に入射されると、光学系１０１は、光フィルタ群１０３を介してイメージセンサ１０５の受光面上に前記被写体の光学像を結像させる。そして、第１光電変換素子Ｌ１が可視光で前記被写体の光学像を撮像して第１撮像データＤ１を出力し、第２光電変換素子Ｌ２が近赤外光で前記被写体の光学像を撮像して第２撮像データＤ２を出力する。本実施形態では光フィルタ群１０３がＲＧＢＩｒ態様であるので、イメージセンサ１０５の複数の第１光電変換素子Ｌ１から第１撮像データＤ１として赤色光、緑色光および青色光の各信号（アナログ出力）が出力され、各々Ａ／Ｄ変換（アナログデジタル変換）される。輝度値（第１輝度値）Ｙおよび色度値（第１色度値）Ｃｂ、Ｃｒが、前記各デジタル値である赤色値Ｒ、緑色値Ｇおよび青色値Ｂを用いて、下の（式１）で表わされる変換式で変換される（ステップＳ１）。
【００２８】
【数１】
2014174765.tif 000003
【００２９】
なお、光フィルタ群１０３がＷＹＲＩｒ態様である場合には、下の（式２）〜（式４）で表わされる変換式で、白色光、黄色光、赤色光の各信号（アナログ出力）がＡ／Ｄ変換されたデジタル値ｗ、ｙ、ｒを用いて、赤色値Ｒ、緑色値Ｇ、および青色値Ｂが算出され、この後に、（式１）を用いて第１輝度値、第１色度値が算出される。
【００３０】
Ｒ＝ｒ−ｉｒ    （式２）
Ｇ＝ｙ−ｒ      （式３）
Ｂ＝ｗ−ｙ      （式４）
なお、ｉｒは、赤外光の検出信号（アナログ出力）がＡ／Ｄ変換されたデジタル値である。
【００３１】
次に、対象物検出部２０１は、近赤外画像から対象物Ｔを検出し、対象物画像領域抽出部２０３は、近赤外画像から対象物画像Ｇ２を除く領域を前記所定の一定値でマスクしたマスク画像Ｍを生成する。その後、画像合成部２０５は、可視画像にマスク画像Ｍを画像合成する。この画像合成では、輝度合成部２０５ａにおいて、前記合成輝度値が算出される（ステップＳ３）。すなわち、輝度合成部２０５ａにおいて、合成対象画像Ｇ１の輝度値と対象物画像Ｇ２の輝度値とが加算されることで（第１輝度データと第２輝度データとが合成されることで）、合成輝度値が算出される。例えば、合成輝度値Ｙ’は、「Ｙ’＝Ｒ＋Ｇ＋Ｂ＋ＩＲ」の式で算出される。なお、合成輝度値Ｙ’は、輝度値（第１輝度値）Ｙが算出されてから「Ｙ’＝Ｙ＋ＩＲ」の式で算出されてもよい。ここで、ＩＲは、イメージセンサ１０５から出力された近赤外光の信号（アナログ出力）がＡ／Ｄ変換されたデジタル値であり、より具体的には、マスク画像Ｍにおける輝度値である。なお、光フィルタ群１０３がＷＹＲＩｒ態様である場合には、合成輝度値Ｙ’は、「Ｙ’＝ｗ＋ｙ＋ｒ＋ｉｒ」の式で算出される。また、上記の合成輝度値Ｙ’の各算出式において、近赤外光のデジタル値（ＩＲ、ｉｒ）の加算に対して重み付けが実施されても良い。この場合、合成輝度値Ｙ’は、例えば、光フィルタ群１０３がＲＧＢＩｒ態様である場合には、「Ｙ’＝（１−ｔ）（Ｒ＋Ｇ＋Ｂ）＋ｔ・ＩＲ」の式で算出され、光フィルタ群１０３がＷＹＲＩｒ態様である場合には、「Ｙ’＝（１−ｔ）（ｗ＋ｙ＋ｒ）＋ｔ・ｉｒ」の式で算出されてもよい（０＜ｔ＜１）。
【００３２】
次に、合成後の画像の輝度が第１輝度値から合成輝度値へ変換されたことに伴い、色度補正部２０５ｂは、色度を補正する（ステップＳ５）。ステップＳ５では、上記「第２色度値＝第１色度値×合成輝度値／第１輝度値」の式で第２色度が演算される。具体的には、第２色度値をＣｂ’、Ｃｒ’とすると、「Ｃｂ’＝Ｃｂ×Ｙ’／Ｙ」、「Ｃｒ’＝Ｃｒ×Ｙ’／Ｙ」の式で第２色度が演算される。
【００３３】
次に、画像合成部２０５は、下の（式５）で表わされる変換式で、合成画像における輝度値Ｙ’、色度値Ｃｂ’、Ｃｒ’から赤色値Ｒ’、緑色値Ｇ’、および青色値Ｂ’へ変換する（ステップＳ７）。
【００３４】
【数２】
2014174765.tif 000004
【００３５】
その後、画像合成部２０５は、赤色値Ｒ’、緑色値Ｇ’および青色値Ｂ’の各値に対して表示装置（出力部３００）の表示特性に応じたガンマ補正を行ない（ステップＳ９）、ガンマ補正後の赤色値、緑色値、および青色値を出力部３００に出力する。
【００３６】
表示装置である出力部３００は、ガンマ補正後の赤色値、緑色値、および青色値の入力を受けて、合成画像を表示する（ステップＳ１１）。
【００３７】
図４に、第１撮像データＤ１による可視画像である第１画像（図４Ａおよび図４Ｄ）、対象物Ｔ（破線矩形部分（第２画像領域））が含まれる第２撮像データＤ２による近赤外画像である第２画像（図４Ｂおよび図４Ｅ）、および、画像合成部２０５において第１画像とマスク画像Ｍとが合成された画像（図４Ｃおよび図４Ｆ）が例示されている。図４Ａ〜４Ｃは、実際の撮像画像であり、図４Ｄ〜４Ｆは、図４Ａ〜４Ｃの撮像画像における特徴部分を抽出した模式図である。図４Ａは、第１波長帯域の光を撮像することによって得られた可視画像であるので、暗闇で道路と片側の道路脇の茂みが撮像された画像となっており、画像中央付近には照明が照らされている部分が撮像されている。図４Ｄは、図４Ａの撮像画像の特徴部分である、前記道路、前記茂みおよび前記照明が照らされている部分が実線で表されている。なお、図４Ｄには、暗闇を表すハッチングが付されている。図４Ｂは、第２波長帯域の光を撮像することによって得られた近赤外画像であるので、道路と両側の道路脇の茂みが薄暗く撮像された画像となっており、画像中央付近には人および動物の型が輝度良く撮像されている。図４Ｅは、図４Ｂの撮像画像の特徴部分である、前記道路、前記茂み、および前記人および動物の型が実線で表されている。なお、図４Ｂの薄暗い点は、図４Ｅには表されていない。図４Ｃは、図４Ａと、図４Ｂの破線矩形部分を除く領域を前記所定の一定値でマスクしたマスク画像Ｍ（不図示）とが合成された画像となっており、暗闇における道路および片側の道路脇の茂みと、画像中央付近の照明が照らされている部分とが現れている画像に、人および動物の型が輝度良く映し出されている。図４Ｆは、図４Ｃの撮像画像の特徴部分である、前記道路、前記茂み、前記照明が照らされている部分、および前記人および動物の型が実線で表されている。なお、図４Ｆには暗闇を表すハッチングが付されている。
【００３８】
図４Ｃおよび図４Ｆの合成画像には、図４Ａおよび図４Ｄの可視画像では視認性の悪かった対象物Ｔがより視認性良く表示されている（図４Ｃおよび図４Ｆ中の破線矩形部分（第１画像領域））。
【００３９】
次に、別の実施形態について説明する。
【００４０】
［第２実施形態］
図５は、第２実施形態にかかる撮像装置１０００ａの構成の一例を示すブロック図である。図６は、第２実施形態にかかる可視画像、近赤外画像および合成画像を説明するための図である。図５において、第２実施形態にかかる撮像装置１０００ａは、上述の第１実施形態にかかる撮像装置１０００に対し、例えば撮像部１００の代わりに撮像部１００ａを、画像処理部２００の代わりに画像処理部２００ａを備える。以下、第１実施形態と異なる点を中心に以下に説明する。なお、第２実施形態の各構成において第１実施形態の構成と同じものは同じ符号が付され、その説明は、特段理由がない限り適宜省略する。
【００４１】
本実施形態では、撮像部１００ａは、２つの別体のイメージセンサを有している。これに応じて、」撮像部１００ａは、例えば光学系１０１ａ、光学系１０１ｂ、光フィルタ群１０３ａ、第１イメージセンサ１０５ａおよび第２イメージセンサ１０５ｂを有する。前記所定の被写体からの光が光学系１０１ａを経て光フィルタ群１０３ａに入射し、光フィルタ群１０３ａで所定の波長範囲の光だけが透過されて第１イメージセンサ１０５ａに入射する。前記所定の被写体からの光が光学系１０１ｂを経て第２イメージセンサ１０５ｂに入射する。
【００４２】
光学系１０１ａは、前記光学系１０１と同様である。なお、光学系１０１ｂは、例えば、赤外線用のレンズである。光フィルタ群１０３ａは、本実施形態では例えば、ベイヤー配列のいわゆるＲＧＧＢ型の光フィルタ群である。なお、光フィルタ群１０３ａは、例えば、図２Ｃに示すいわゆるＷＹＲ型の光フィルタ群であってもよい。ＷＹＲ型の光フィルタ群は、例えば白色（Ｗ）フィルタを（１，１）の位置に、黄色（Ｙ）フィルタを（２，１）の位置に、赤色（Ｒ）フィルタを（１，２）の位置におよび白色（Ｗ）フィルタを（２，２）の位置に各々配置した基本パターン（図中のＣで示す矩形部分）を、前記ｘ方向およびｙ方向の２方向にマトリクス状に配列することで、構成されている。なお、光フィルタ群１０３ａは、例えば、図２Ｄに示すいわゆるＣＭＹＧ型の補色フィルター群であってもよい。Ｃは、シアン色を示し、Ｍは、マゼンダ色を示し、Ｙは、黄色を示し、Ｇは、緑色を示す。ＣＭＹＧ型の光フィルタ群は、例えばシアン色光を透過するシアン色（Ｃ）フィルタを（１，１）の位置に、マゼンダ色光を透過するマゼンダ色（Ｍ）フィルタを（２，１）の位置に、黄色（Ｙ）フィルタを（１，２）の位置におよび緑色（Ｇ）フィルタを（２，２）の位置に各々配置した基本パターン（図中のＤで示す矩形部分）を、前記ｘ方向およびｙ方向の２方向にマトリクス状に配列することで、構成されている。
【００４３】
第１イメージセンサ１０５ａに含まれる複数の光電変換素子は、光フィルタ群１０３ａを経由した第１波長帯域に含まれる波長領域の光を受光することで、前記波長領域の光を撮像して第１撮像データＤ１を出力する複数の第１光電変換素子Ｌ１である。第１イメージセンサ１０５ａは、例えば、イメージセンサ１０５と同様の、前記光電変換特性が線形特性または線形対数特性であるイメージセンサである。第２イメージセンサ１０５ｂに含まれる複数の光電変換素子は、前記赤外線用のレンズを経由した第１波長帯域とは異なる波長帯域を含む第２波長帯域の光を受光することで、前記第２波長帯域の光を撮像して第２撮像データＤ２を出力する複数の第２光電変換素子Ｌ２である。本実施形態では、第１イメージセンサ１０５ａから第１撮像データＤ１が、第２イメージセンサ１０５ｂから第２撮像データＤ２が、各々制御演算部２１１に出力される。なお、本実施形態では、第１波長帯域に含まれる波長領域の光は、可視光であり、第２波長帯域の光は、遠赤外光である。なお、複数の第１光電変換素子Ｌ１は、第１波長帯域に含まれる複数の波長領域の光（赤色、緑色、および青色）を撮像して第１撮像データＤ１を出力する。また、第２イメージセンサ１０５ｂは、いわゆる量子型または熱型遠赤外線イメージセンサである。第１イメージセンサ１０５ａと第２イメージセンサ１０５ｂとは、撮像対象が略同じであるが、例えば、各光軸が、互いに平行となるように、所定の距離（基線長）だけ間隔を空けて固定される。なお、第１イメージセンサ１０５ａの第１撮像データＤ１による第１画像、および、第２イメージセンサ１０５ｂの第２撮像データＤ２による第２画像は、本実施形態では、同寸法、同形状、同画素数である。
【００４４】
画像処理部２００ａは、対象物抽出部２０９の代わりに対象物抽出部２０９ａを有する。対象物抽出部２０９ａは、対象物抽出部２０９に対してさらに視差補正部２０７を有している。すなわち、対象物抽出部２０９ａは、例えば、対象物検出部２０１、対象物画像領域抽出部２０３および視差補正部２０７を有し、対象物画像領域抽出部２０３の出力が視差補正部２０７に入力され、視差補正部２０７の出力が画像合成部２０５へ入力される。この場合、制御演算部２１１は、ＲＯＭに記憶された視差補正に対応した画像処理プログラムを実行することにより、機能的に、さらに視差補正部２０７が構成される。
【００４５】
視差補正部２０７は、第２イメージセンサ１０５ｂと第１イメージセンサ１０５ｂとがいわゆるステレオカメラのように前記基線長だけ隔離されて固定されているために生じた第１撮像データＤ１による可視画像（第１画像）と第２撮像データＤ２による遠赤外画像（第２画像）との間の視差を、公知の常套手段によって補正する。なお、この視差補正は、例えば遠赤外画像を当該画像内で水平方向にシフトすることによって実行されてもよい。このシフト量は、基線長に応じて予め適宜設定される。視差補正部２０７は、対象物画像領域抽出部２０３が抽出した対象物画像Ｇ２を上記シフト量だけマスク画像Ｍ内において水平方向にシフトさせ、対象物画像Ｇ２以外の部分を黒色化して、水平方向のズレを補正した後のマスク画像Ｍ’を作成し、マスク画像Ｍに代えてマスク画像Ｍ’を画像合成部２０５へ出力する。
【００４６】
本実施形態にかかる撮像装置１０００ａは、第１実施形態の図４と同様に、図６に示すように、可視画像では、視認性の悪かった対象物Ｔがより視認性良く表示される。
【００４７】
より具体的には、図６に、第１撮像データＤ１による可視画像である第１画像（図６Ａおよび図６Ｄ）、対象物Ｔ（破線矩形部分（第２画像領域））が含まれる第２撮像データＤ２による遠赤外画像である第２画像（図６Ｂおよび図６Ｅ）、および、画像合成部２０５において第１画像とマスク画像Ｍとが合成された画像（図６Ｃおよび図６Ｆ）が例示されている。図６Ａ〜６Ｃは、実際の撮像画像であり、図６Ｄ〜６Ｆは、図６Ａ〜６Ｃの撮像画像における特徴部分を抽出した模式図である。図６Ａは、第１波長帯域の光を撮像することによって得られた可視画像であるので、暗闇で道路と片側の道路脇の茂みが撮像された画像となっており、画像中央付近には照明が照らされている部分が撮像されている。図６Ｄは、図６Ａの撮像画像の特徴部分である、前記道路、前記茂みおよび前記照明が照らされている部分が実線で表されている。なお、図６Ｄには、暗闇を表すハッチングが付されている。図６Ｂは、第２波長帯域の光を撮像することによって得られた遠赤外画像であるので、道路と両側の道路脇の茂みが薄暗く撮像された画像となっており、画像中央付近には人および動物の型が輝度良く撮像されている。図６Ｅは、図６Ｂの撮像画像の特徴部分である、前記道路、前記茂み、および前記人および動物の型が実線で表されている。なお、図６Ｂの薄暗い点は、図６Ｅには表されていない。なお、図６Ａと図６Ｂとを対比すると分かるように、図６Ａに示す第１画像と図６Ｂに示す第２画像とは、前記基線長に対応した視差だけずれている。図６Ｃは、図６Ａと、図６Ｂの破線矩形部分を除く領域を前記所定の一定値でマスクしたマスク画像Ｍ（不図示）とが合成された画像となっており、暗闇における道路および片側の道路脇の茂みと、画像中央付近の照明が照らされている部分とが現れている画像に、人および動物の型が輝度良く映し出されている。図６Ｆは、図６Ｃの撮像画像の特徴部分である、前記道路、前記茂み、前記照明が照らされている部分、および前記人および動物の型が実線で表されている。なお、図６Ｆには暗闇を表すハッチングが付されている。
【００４８】
このように図６Ｃおよび図６Ｆの合成画像には、図６Ａおよび図６Ｄの可視画像では視認性の悪かった対象物Ｔがより視認性良く表示されている（図６Ｃおよび図６Ｆ中の破線矩形部分（第１画像領域））。
【００４９】
次に、別の実施形態について説明する。
【００５０】
［第３実施形態］
図７は、第３実施形態にかかる撮像装置１０００ｂの構成の一例を示すブロック図である。図７において、第３実施形態にかかる撮像装置１０００ｂは、第１実施形態にかかる撮像装置１０００に対し、例えば撮像部１００の代わりに撮像部１００ｂを、画像処理部２００の代わりに画像処理部２００ｂを備える。以下、第１実施形態または第２実施形態と異なる点を中心に以下に説明する。なお、第３実施形態の各構成において第１実施形態または第２実施形態の構成と同じものは同じ符号が付され、その説明は、特段理由がない限り適宜省略する。
【００５１】
撮像部１００ｂは、例えば光学系１０１ｃ、光学系１０１ｄ、光フィルタ群１０３ｃ、第３イメージセンサ１０５ｃ、および第４イメージセンサ１０５ｄを有する。本実施形態では、撮像部１００ｂは、２つの別体のイメージセンサを有している。前記所定の被写体からの光が光学系１０１ｃを経て光フィルタ群１０３ｃに入射し、光フィルタ群１０３ｃで所定の波長範囲の光だけが透過されて第３イメージセンサ１０５ｃに入射する。また、前記所定の被写体からの光が光学系１０１ｄを経て第４イメージセンサ１０５ｄに入射する。
【００５２】
光学系１０１ｃは、近赤外用のレンズを有する撮像光学系である。光学系１０１ｄは、遠赤外用のレンズを有する撮像光学系である。光フィルタ群１０３ｃは、近赤外フィルタである。
【００５３】
第３イメージセンサ１０５ｃに含まれる複数の光電変換素子は、光フィルタ群１０３ｃを経由した第１波長帯域に含まれる波長領域の光を受光することで、前記波長領域の光を撮像して第１撮像データＤ１を出力する複数の第１光電変換素子Ｌ１である。第３イメージセンサ１０５ｃは、例えば、前記光電変換特性が線形特性または線形対数特性であるイメージセンサである。第４イメージセンサ１０５ｄに含まれる複数の光電変換素子は、前記遠赤外線用のレンズを経由した第１波長帯域とは異なる波長帯域を含む第２波長帯域の光を受光することで、前記第２波長帯域の光を撮像して第２撮像データＤ２を出力する複数の第２光電変換素子Ｌ２である。本実施形態では、第３イメージセンサ１０５ｃから第１撮像データＤ１が、第４イメージセンサ１０５ｄから第２撮像データＤ２が、各々制御演算部２１１に出力される。なお、本実施形態では、例えば第１波長帯域に含まれる波長領域の光は、近赤外光であり、第２波長帯域の光は、遠赤外光である。この場合、第４イメージセンサ１０５ｄは、いわゆる量子型または熱型遠赤外線イメージセンサである。第３イメージセンサ１０５ｃと第４イメージセンサ１０５ｄとは、第２実施形態と同様に、撮像対象が略同じであるが、例えば、各光軸が互いに平行となるように所定の距離（前記基線長）だけ間隔を空けて固定される。なお、第３イメージセンサ１０５ｃの第１撮像データＤ１、第４イメージセンサ１０５ｄの第２撮像データＤ２による第１画像および第２画像は、本実施形態では、同寸法、同形状、同画素数である。
【００５４】
画像処理部２００ｂは、例えば、画像合成部２０５の代わりに画像合成部２０５ｄと、対象物抽出部２０９の代わりに前記対象物抽出部２０９ａとを有する。画像合成部２０５ｄは、第２撮像データＤ２による遠赤外画像である第２画像から対象物画像Ｇ２を抽出して、第１撮像データＤ１による近赤外画像である第１画像にマスク画像Ｍ’を合成する画像処理を行う。
【００５５】
画像合成部２０５ｄは、輝度合成部２０５ａを備える。輝度合成部２０５ａは、より具体的には第１撮像データＤ１に含まれる輝度を表わす第３輝度データ（本実施形態では、具体的には近赤外画像の画素値すなわち輝度値）と、第２撮像データＤ２に含まれる輝度を表わす第４輝度データ（本実施形態では、具体的には遠赤外画像の画素値すなわち輝度値）とを合成して合成輝度値とする。なお、近赤外画像および遠赤外画像は、色度情報を有さないことから、画像合成部２０５ｄは、色度補正部２０５ｂを有さない。
【００５６】
なお、本実施形態において、撮像部１００ｂは、複数の第１光電変換素子Ｌ１と複数の第２光電変換素子Ｌ２とが１個のイメージセンサ上に存在していてもよい。この場合、撮像部１００ｂは、所定の配列でマトリクス状に配列された複数の前記近赤外フィルタおよび遠赤外光を透過する遠赤外フィルタを有する光フィルタ群を備える。前記１個のイメージセンサに含まれる複数の光電変換素子のうち、前記複数の近赤外フィルタを介して受光する複数の光電変換素子は、第１波長帯域に含まれる波長領域の近赤外光を撮像して第１撮像データＤ１を出力する複数の第１光電変換素子Ｌ１である。また、前記イメージセンサに含まれる前記複数の光電変換素子のうち、前記複数の遠赤外フィルタを介して受光する複数の光電変換素子は、前記第１波長帯域とは異なる波長帯域を含む第２波長帯域の遠赤外光を撮像して第２撮像データＤ２を出力する複数の第２光電変換素子Ｌ２である。
【００５７】
本実施形態にかかる撮像装置１０００ｂは、具体的に例示しないが、第１実施形態の図４や第２実施形態の図６と同様に、近赤外画像では視認性の悪かった対象物Ｔがより視認性良く表示される。
【００５８】
上記各実施形態で述べた撮像装置および撮像方法は、第１撮像データＤ１による第１画像中の前記合成対象画像Ｇ１に、第２撮像データＤ２による第２画像から抽出された対象物画像Ｇ２を合成する。このため、１つの画像では不足する画質を他の画像で補うことが可能となるから、対象物の視認性をより向上させることができる。
【００５９】
なお、第１および第２実施形態において、撮像部１００、１００ａは、近赤外光をより明確に撮像するために、近赤外光の投光装置を使用し、夜間に撮像対象に向けて近赤外光を照射してもよい。
【００６０】
また、対象物画像領域抽出部２０３からの出力は、上記マスク画像Ｍに限られず、例えば対象物画像Ｇ２および前記領域情報の出力であってもよい。この場合、画像合成部２０５は、前記領域情報である対象物画像Ｇ２の前記頂点座標などに基づき、第１撮像データＤ１による第１画像内の前記頂点座標と同じ座標における、矩形形状の第２画像領域ｒ２（対象物画像Ｇ２）と同じ寸法で表わされる矩形形状の部分を第１画像領域ｒ１（合成対象画像Ｇ１）として、対象物画像Ｇ２を合成対象画像Ｇ１に画像合成する。
【００６１】
本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
【００６２】
一態様にかかる撮像装置は、第１波長帯域に含まれる波長領域の光を撮像して第１撮像データを出力する複数の第１光電変換素子と、前記第１波長帯域と異なる波長帯域を含む第２波長帯域の光を撮像して第２撮像データを出力する複数の第２光電変換素子と、前記第１撮像データによる第１画像と前記第２撮像データによる第２画像とに基づいて合成画像を生成する画像合成部とを備え、前記画像合成部は、前記第２画像のうちの所定の種類の対象物を含む第２画像領域の対象物画像を、前記第１画像のうちの前記第２画像領域に対応する第１画像領域の合成対象画像に合成する。
【００６３】
そして、上述の撮像装置において、前記第２撮像データによる第２画像のうちの所定の種類の対象物を検出する対象物検出部をさらに備え、前記画像合成部は、前記対象物検出部によって検出された前記対象物を含む前記第２画像領域の前記対象物画像を、前記第１画像のうちの前記第２画像領域に対応する前記第１画像領域の前記合成対象画像に合成することが好ましい。
【００６４】
他の一態様にかかる撮像方法は、第１波長帯域に含まれる波長領域の光を複数の第１光電変換素子によって撮像して第１撮像データを取得する第１撮像ステップと、前記第１波長帯域と異なる波長帯域を含む第２波長帯域の光を複数の第２光電変換素子によって撮像して第２撮像データを取得する第２撮像ステップと、前記第１撮像データによる第１画像と前記第２撮像データによる第２画像とに基づいて合成画像を生成する画像合成ステップとを備え、前記画像合成ステップは、前記第２画像のうちの所定の種類の対象物を含む第２画像領域の対象物画像を、前記第１画像のうちの前記第２画像領域に対応する第１画像領域の合成対象画像に合成する。
【００６５】
このような撮像装置および撮像方法は、前記第１撮像データによる第１画像中の前記合成対象画像に、前記第２撮像データによる第２画像中の前記対象物画像を合成する。このため、前記撮像装置および撮像方法は、１つの画像では不足する画質を他の画像で補うことが可能となるから、対象物の視認性をより向上できる。
【００６６】
他の一態様では、上記撮像装置において、前記第２波長帯域は、前記第１波長帯域より長い波長の帯域であることが好ましい。このような撮像装置は、対象物が第２撮像データから精度良く抽出できる。
【００６７】
他の一態様では、これら上述の撮像装置において、前記第１撮像データは、輝度を表わす第１輝度データを含み、前記第２撮像データは、輝度を表わす第２輝度データを含み、前記画像合成部は、前記対象物画像の第２輝度データと、前記合成対象画像の第１輝度データとを合成することが好ましい。
【００６８】
この構成によれば、前記第１撮像データに含まれる前記第１輝度データと、前記第２撮像データに含まれる第２輝度データとが合成される。このため、このような撮像装置は、合成後の画像において前記対象物を明るく表示することが可能となり、対象物の視認性がより向上する。
【００６９】
他の一態様では、上述の撮像装置において、前記第１波長帯域の光は、可視光であり、前記第１撮像データは、色度を表わす色度データを含み、前記第２波長帯域の光は、赤外光であり、前記画像合成部は、前記対象物画像の第２輝度データと前記合成対象画像の第１輝度データとの合成に応じて、前記第１撮像データの色度データを補正することが好ましい。
【００７０】
この構成によれば、前記第１輝度データと前記第２輝度データとが合成され、さらに前記色度値が補正される。このため、このような撮像装置は、合成の前後において色相の変化を抑制できる。
【００７１】
他の一態様では、これら上述の撮像装置において、前記第１波長帯域の光は、近赤外光であり、前記第１撮像データは、輝度を表わす第３輝度データを含み、前記第２波長帯域の光は、遠赤外光であり、前記第２撮像データは、輝度を表わす第４輝度データを含み、前記画像合成部は、前記対象物画像の第４輝度データと、前記合成対象画像の第３輝度データとを合成することが好ましい。
【００７２】
この構成によれば、前記第１撮像データによる合成対象画像の第３輝度データと、前記第２撮像データによる前記対象物画像の第４輝度データとが合成される。このため、このような撮像装置は、１つの画像では不足する画質を他の画像で補うことが可能となるから、対象物の視認性をより向上できる。
【００７３】
他の一態様では、これら上述の撮像装置において、前記複数の第１光電変換素子および前記複数の第２光電変換素子を形成した１個のイメージセンサを備えることが好ましい。
【００７４】
この構成によれば、前記１個のイメージセンサに前記複数の第１光電変換素子および前記複数の第２光電変換素子が形成される。このため、このような撮像装置は、これらを小型化できる。
【００７５】
他の一態様では、これら上述の撮像装置において、前記複数の第１光電変換素子を形成した第１イメージセンサと、前記複数の第２光電変換素子を形成した前記第１イメージセンサとは別体の第２イメージセンサとを備えることが好ましい。
【００７６】
この構成によれば、別体の第１イメージセンサおよび第２イメージセンサが使用される。このため、このような撮像装置は、各波長帯域に適したイメージセンサを使用でき、より適切に各波長帯域の光を検出できる。
【００７７】
この出願は、２０１３年４月２６日に出願された日本国特許出願特願２０１３−９３５３５を基礎とするものであり、その内容は、本願に含まれるものである。
【００７８】
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
【産業上の利用可能性】
【００７９】
本発明によれば、撮像装置および撮像方法を提供できる。
【図１】
2014174765.tif 000005
【図２】
2014174765.tif 000006
【図３】
2014174765.tif 000007
【図４】
2014174765.tif 000008
【図５】
2014174765.tif 000009
【図６】
2014174765.tif 000010
【図７】
2014174765.tif 000011
【国際調査報告】
2014174765.tif 000012
2014174765.tif 000013
2014174765.tif 000014