(57)【要約】【課題】感度の向上と色再現性の向上とを両立させる。【解決手段】第１の撮像素子が、可視光線の波長より長い所定の波長帯の光を透過しない第１のフィルタを通して入射した被写体光を光電変換して、第１の画像信号を出力する。第２の撮像素子は、第１の撮像素子とは異なる位置に配置され、所定の波長帯の光の波長成分を含む被写体光を光電変換して、第２の画像信号を出力する。相関検出部は、第１の画像信号と第２の画像信号の相関を検出する。輝度信号生成部は、第２の画像信号から輝度信号を生成する。色信号生成部は、第１の画像信号及び／又は第２の画像信号から色信号を生成する。３次元画像生成部は、相関検出部で検出された相関の情報と、輝度信号と色信号とを用いて、３次元画像を生成する。【選択図】図１
2014230179.tif 000002
【特許請求の範囲】
【請求項１】
可視光線の波長より長い所定の波長帯の光を透過しない第１のフィルタを通して入射した被写体光を光電変換して、第１の画像信号を出力する第１の撮像素子と、
前記第１の撮像素子とは異なる位置に配置され、前記所定の波長帯の光の波長成分を含む被写体光を光電変換して、第２の画像信号を出力する第２の撮像素子と、
前記第１の画像信号と前記第２の画像信号の相関を検出する相関検出部と、
前記第２の画像信号から輝度信号を生成する輝度信号生成部と、
前記第１の画像信号及び／又は前記第２の画像信号から色信号を生成する色信号生成部と、
前記相関検出部で検出された前記相関の情報と、前記輝度信号と前記色信号とを用いて、３次元画像を生成する３次元画像生成部とを備えた
撮像装置。
【請求項２】
前記第１の撮像素子は、前記第１のフィルタを通して入射した、赤外線の波長帯の光を含まない被写体光を光電変換して、前記第１の画像信号を生成する
請求項１に記載の撮像装置。
【請求項３】
前記相関検出部は、正規化相関法を用いて前記第１の画像信号と前記第２の画像信号の相関を検出する
請求項２に記載の撮像装置。
【請求項４】
前記第１の撮像素子は、前記第１のフィルタとしての赤外カットフィルタを通して入射された被写体光から前記第１の画像信号を生成する
請求項３に記載の撮像装置。
【請求項５】
前記第２の撮像素子は、近赤外線の波長帯のうちの所定の波長帯の光を遮断する第２のフィルタを通して入射した被写体光から、前記第２の画像信号を生成する
請求項４に記載の撮像装置。
【請求項６】
前記第２の撮像素子は、前記第２のフィルタを通して入射した、Ｒ，Ｇ，Ｂの各波長における周波数が高い方の裾野がそれぞれに重なり合う波長帯の光を含まない被写体光を光電変換して、前記第２の画像信号を生成する
請求項５に記載の撮像装置。
【請求項７】
第１の撮像素子が、可視光線の波長より長い所定の波長帯の光を透過しない第１のフィルタを通して入射した被写体光を光電変換して、第１の画像信号を出力することと、
前記第１の撮像素子とは異なる位置に配置された第２の撮像素子が、前記所定の波長帯の光の波長成分を含む被写体光を光電変換して第２の画像信号を出力することと、
前記第１の画像信号と前記第２の画像信号の相関を検出することと、
前記第２の画像信号から輝度信号を生成することと、
前記第１の画像信号及び／又は前記第２の画像信号から色信号を生成することと、
前記検出された相関の情報と、前記輝度信号と前記色信号とを用いて、３次元画像を生成することとを含む
撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、３次元画像を撮像する撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
従来、異なる２つの位置から撮影されたステレオ画像を用いて、被写体の３次元空間上での位置を算出したり、３次元画像を生成したりすることができる撮像装置が知られている。このような撮像装置は、産業用として製造工場等で３次元物体認識用に使用されたり、立体視を可能とするシステムとして、放送用や家庭用の用途で広く使用されたりしている。
【０００３】
このような撮像装置では、撮像素子の受光面の前面に、Ｒ（赤），Ｇ（緑），Ｂ（青）の色フィルタ配置されている。この色フィルタにより、撮像素子の受光面に入射する光がＲ，Ｇ，Ｂの各色の波長成分を持つ光に分解され、分解されたＲ，Ｇ，Ｂの画像信号を用いたカラー画像が撮像装置により生成される。
【０００４】
しかし、レンズを通して入射した光はこの色フィルタを通過することで減衰するため、撮像素子に入射する光の光量もその分低下してしまう。つまり、撮像素子の感度が落ちてしまう。また、近年の画像の高精細化に伴って画素のサイズも小さくなり、これに伴って感度が低下するということも起きている。
【０００５】
このため、このようなカラー画像を撮影する撮像装置において、撮影の感度を向上させる様々な技術が考案されている。例えば特許文献１には、カラーフィルタの一部を透明フィルタに置き換えることで、撮像素子によって取り込まれる光の光量を増加させ、感度を向上させる技術が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−１７６７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、カラー画像を生成する撮像装置では、カラーフィルタとともに、赤外カットフィルタ（ＩＲＣＦ）が使用されることが一般的である。撮像素子の前面にＩＲＣＦを配置することで、撮影画像における色再現性を向上させることができる。しかし、撮像素子の前面にＩＲＣＦを配置した場合には、撮像素子の感度は低下してしまう。
【０００８】
本開示は、撮像素子の感度の向上と色再現性の向上とを両立させることを目的とする。
【課題を解決するための手段】
【０００９】
本開示の撮像装置は、第１の撮像素子と、第２の撮像素子と、相関検出部と、輝度信号生成部と、色信号生成部と、３次元画像生成部とを備える構成とし、各部の構成及び機能を次のようにする。第１の撮像素子は、可視光線の波長より長い所定の波長帯の光を透過しない第１のフィルタを通して入射した被写体光を光電変換して、第１の画像信号を出力する。第２の撮像素子は、第１の撮像素子とは異なる位置に配置され、所定の波長帯の光の波長成分を含む被写体光を光電変換して、第２の画像信号を出力する。相関検出部は、第１の画像信号と第２の画像信号の相関を検出する。輝度信号生成部は、第２の画像信号から輝度信号を生成する。色信号生成部は、第１の画像信号及び／又は第２の画像信号から色信号を生成する。３次元画像生成部は、相関検出部で検出された第１の画像信号と第２の画像信号の相関の情報と、輝度信号と色信号とを用いて、３次元画像を生成する。
【００１０】
本開示の撮像方法は、まず、第１の撮像素子が、可視光線の波長より長い所定の波長帯の光を透過しない第１のフィルタを通して入射した被写体光を光電変換して、第１の画像信号を出力する。また、第１の撮像素子とは異なる位置に配置された第２の撮像素子が、所定の波長帯の光の波長成分を含む被写体光を光電変換して第２の画像信号を出力する。そして、第１の画像信号と第２の画像信号の相関を検出する。続いて、第２の画像信号から輝度信号を生成。続いて、第１の画像信号及び／又は第２の画像信号から色信号を生成する。続いて、検出された相関の情報と、輝度信号と色信号とを用いて、３次元画像を生成する。
【００１１】
以上のように撮像装置を構成し、撮像を行うことで、赤外線の波長帯のうちの所定の波長帯の光の波長成分を持たない第１の画像信号と、この所定の波長帯の光の波長成分も含む第２の画像信号とを用いて、３次元画像が生成される。
【発明の効果】
【００１２】
本開示の撮像装置及び撮像方法によれば、撮像素子の感度の向上と色再現性の向上とを両立させることができる。
【図面の簡単な説明】
【００１３】
【図１】本開示の一実施形態例による撮像装置の構成を示すブロック図である。
【図２】本開示の一実施形態例による撮像素子の分光感度特性を示すグラフであり、図２ＡはＩＲＣＦが配置された場合の分光感度特性を示し、図２ＢはＩＲＣＦが配置されない場合の分光感度特性を示す。
【図３】本開示の一実施形態例による赤外線の波長成分を含む画素信号と、赤外線の波長成分を含まない画素信号の、一次元空間上での輝度値の分布を示すグラフである。
【図４】正規化相関法を説明する説明図である。
【図５】本開示の変形例による撮像素子の分光感度特性を示すグラフである。
【図６】本開示の変形例による撮像装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
本開示の一実施形態に係る撮像装置の一例を、図面を参照しながら説明する。
＜１．撮像装置の構成例＞
本実施の形態例にかかる撮像装置１０は、図１に示すように、撮像素子２ａと撮像素子２ｂの２つの撮像素子を有する。撮像素子２ａと撮像素子２ｂとは、それぞれ異なる位置から被写体を撮像できるように、所定の距離だけ離れた位置に配置されている。図１の下方に示す撮像素子２ａには、レンズ１１ａとＩＲＣＦ１２よりなる第１の光学系１ａが取り付けられており、図１の上方に示す撮像素子２ｂには、レンズ１１ｂよりなる第２の光学系１ｂが取り付けられている。また、撮像素子２ａと撮像素子２ｂには、それぞれ色フィルタ２１ａと色フィルタ２１ｂが取り付けられている。色フィルタ２１ａと色フィルタ２１ｂは、Ｒ，Ｇ，Ｂの各画素が例えばベイヤ配列等の配列方式で配列されてなる。撮像素子２ａと撮像素子２ｂの各画素には、色フィルタ２１ａと色フィルタ２１ｂを通過したＲ又はＧ又はＢの成分を有する光が入射する。
【００１５】
レンズ１１ａとレンズ１１ｂは、単一のレンズ、又は複数のレンズよりなるレンズ群で構成され、被写体光を撮像装置１０の内部に取り込む。ＩＲＣＦ１２は第１のフィルタとして構成され、レンズ１１ａを通過した光のうち、可視光線の波長よりも長い波長、例えば６５０ｎｍ以上の波長の赤外線を遮断する。なお、第１の光学系１ａと第２の光学系１ｂとでは、ＩＲＣＦ１２の有無による焦点位置のずれが発生する。このずれは、第１の光学系１ａと第２の光学系１ｂとにおいて、予めバックフォーカスを調整することにより解消することができる。
【００１６】
撮像素子２ａと撮像素子２ｂは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）のイメージセンサで構成される。撮像素子２ａと撮像素子２ｂの前面には、不図示の色フィルタが配置されているものとする。
【００１７】
撮像素子２ａは、レンズ１１ａとＩＲＣＦ１２と色フィルタ２１ａを通して入射された被写体光を光電変換して、画像信号（第１の画像信号Ｓ１）を生成する。撮像素子２ｂは、レンズ１１ｂと色フィルタ２１ｂを通して入射された被写体光を光電変換して、画像信号（第２の画像信号Ｓ２）を生成する。
【００１８】
図２に、撮像素子２ａと撮像素子２ｂの各分光感度特性をグラフで示す。図２Ａは、撮像素子２ａの分光感度特性を示し、図２Ｂは、撮像素子２ｂの分光感度特性を示す。図２Ａ及び図２Ｂの縦軸は撮像素子の感度を示し、横軸は波長（ｎｍ）を示す。
【００１９】
上述したように、撮像素子２ａには、レンズ１１ａとＩＲＣＦ１２を通過した光が入射される。ＩＲＣＦ１２は、図２Ａに示すように、赤外線の波長帯である６５０ｎｍ以上の波長を遮断するフィルタ特性Ｃを有する。このため、撮像素子２ａには、図２Ａ中に実線で示したＢ（青）と、一点鎖線で示したＧ（緑）と、二点差線で示したＲ（赤）の波長を含む可視光線のみが入射される。したがって、撮像素子２ａからは、赤外線の波長成分を含まず可視光線の波長成分のみを含む第１の画像信号Ｓ１が出力される。第１の画像信号Ｓ１は、後述する相関検出部３及び輝度信号生成部４に供給される。
【００２０】
一方、撮像素子２ｂには、レンズ１１ｂのみを通過した光が入射される。これにより、撮像素子２ｂには、Ｒ，Ｇ，Ｂを含む可視光線だけでなく、赤外線の波長帯に存在する赤外光ＩＲも入射する。したがって、撮像素子２ｂからは、可視光線と赤外線の両方の波長成分を有する第２の画像信号Ｓ２が出力される。第２の画像信号Ｓ２は、相関検出部３及び色信号生成部５に供給される。
【００２１】
図１に戻って説明を続けると、撮像装置１０は、さらに、相関検出部３と、輝度信号生成部４と、色信号生成部５と、３次元画像生成部６と、表示部７とを備える。相関検出部３は、第１の画像信号Ｓ１と第２の画像信号Ｓ２との相関を検出する。相関検出部３は、対応点探査部３１と、視差算出部３２とよりなる。なお、ここでは撮像装置１０が表示部７を備える場合を例にあげたが、これに限定されるものではなく、表示部７を備えない撮像装置１０に適用してもよい。
【００２２】
対応点探査部３１は、第１の画像信号Ｓ１と第２の画像信号Ｓ２のうちの一方の画像信号よりなる画像中の、特定の観測点に対応する対応点を、もう一方の画像信号よりなる画像中で探す処理を行う。本実施の形態例では、この対応点探査処理を、正規化相関法の手法を用いて行う。正規化相関法を用いた対応点探査部３１による対応点探査処理の詳細については、図３及び図４を参照して後述する。
【００２３】
視差算出部３２は、対応点探査部３１で検出された対応点の情報に基づいて、第１の画像信号Ｓ１よりなる画像Ｐ１と、第２の画像信号Ｓ２よりなる画像Ｐ２の視差を算出する。また、求めた視差の情報に基づいて、撮像装置１０から被写体までの距離（奥行きの深さ）も算出する。視差算出部３２は、算出した被写体までの距離の情報を、輝度信号生成部４に出力する。
【００２４】
輝度信号生成部４は、赤外線の波長成分を含む第２の画像信号Ｓ２から輝度信号を生成し、生成した輝度信号を３次元画像生成部６に供給する。これにより、輝度信号生成部４で生成される輝度信号が、被写体が有する波長成分のうちの、低照度の環境下では撮像できないような波長成分も含んだものとなる。
【００２５】
色信号生成部５は、可視光線の波長成分のみを含む第１の画像信号Ｓ１から色信号を生成し、生成した色信号を３次元画像生成部６に供給する。これにより、色信号生成部５で生成される色信号には、赤外線の波長成分が含まれなくなる。よって、このような色信号を用いて生成される３次元画像の色再現性が向上する。
【００２６】
３次元画像生成部６は、視差算出部３２から出力された被写体までの距離の情報と、輝度信号生成部４で生成された輝度信号及び色信号生成部５で生成された色信号を用いて、被写体の３次元画像を生成する。表示部７は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイ等よりなり、３次元画像生成部６で生成された３次元画像を表示する。
【００２７】
＜２．対応点探索処理の例＞
続いて、図３及び図４を参照して、対応点探査部３１による対応点探索処理の例について説明する。図３は、可視光線の波長成分のみを含む第１の画像信号Ｓ１の輝度値Ｉ１と、赤外線の波長成分も含む第２の画像信号Ｓ２の輝度値Ｉ２とを、１次元空間の座標上にプロットしたグラフである。ここでは、ｘ座標にプロットした例を示している。図３の縦軸は輝度値Ｉ（ｘ）を示し、横軸はｘ座標を示す。図３において、可視光線の波長成分のみを含む第１の画像信号Ｓ１の輝度値Ｉ１は実線で示してあり、赤外線の波長成分も含む第２の画像信号Ｓ２の輝度値Ｉ２は破線で示してある。
【００２８】
図３に示されるように、輝度値Ｉ１と輝度値Ｉ２とではほぼ同一の分布形状となっており、赤外線の波長成分も含む輝度値Ｉ２の分布形状が、赤外線の波長成分を含まない輝度値Ｉ１の分布形状に対して全体的に上方にずれている。すなわち、両輝度値Ｉは輝度値の方向にずれを有しているものの、互いに高い相関性を有していることが分かる。
【００２９】
このような輝度値Ｉ１と輝度値Ｉ２との対応点は、正規化相関法を用いて探査することが可能である。図４は、正規化相関法の概略を説明した図である。正規化相関法では、図４の上側に示す画像Ｐ１中の観測点ｐ１との相関が最も高い対応点ｐ２を、図４の下側に示す画像Ｐ２中から探査することを行う。
【００３０】
より詳細には、観測点ｐ１の周辺の局所画像と、対応点ｐ２の候補としての点ｘ２周辺の局所画像との類似度の度合いを示す相関係数ρを、点ｘ２の位置を動かしながら都度算出する。そして、相関関数ρの値が最も高かった点ｘ２を、対応点ｐ２として採用する。局所画像のサイズは、横（２ｎ＋１）×縦（２ｍ＋１）であるものとする。観測点ｐ１と点ｘ２（対応点ｐ２）との相関係数ρは、以下の数１に示す式で算出できる。
【００３１】
【数１】
2014230179.tif 000003
【００３２】
上記数１において、“ｕ１”，“ｖ１”はそれぞれ観測点ｐ１のｘ座標とｙ座標を示し、Ｉ１は、座標（ｕ１＋ｉ，ｖ１+ｊ）の画素の輝度値を示す。また、“ｕ２”，“ｖ２”はそれぞれ対応点ｐ２（点ｘ２）のｘ座標とｙ座標を示し、Ｉ２は、座標（ｕ２＋ｉ，ｖ２+ｊ）の画素の輝度値を示す。上記数１における“μｐ１”は観測点ｐ１の周辺の局所画像における輝度値Ｉ１の平均値を示す。“μｐ２”は対応点ｐ２の周辺の局所画像における各画素の輝度値Ｉ２の平均値を示す。“σｐ１”は観測点ｐ１の周辺の局所画像における各画素の輝度値Ｉ１の標準偏差を示す。“σｐ２”は対応点ｐ２の周辺の局所画像における輝度値Ｉ２の標準偏差を示す。
【００３３】
数１に示した正規化相関法を用いることで、輝度値のレベル方向にずれを有する、赤外線の波長成分を有する輝度値Ｉ２と、赤外線の波長成分を持たない輝度値Ｉ１との対応点ｐ２も、探査することができる。
【００３４】
上述した実施形態例によれば、ＩＲＣＦ１２が配置されない撮像素子２ｂで撮影された画像信号Ｓ２から、輝度信号が生成される。すなわち、低照度の環境下では撮影できないような被写体も、赤外線の波長成分として撮像素子２ｂ内に取り込むことができる。したがって、高感度な撮影を行えるようになる。
【００３５】
また、低照度環境下で撮影が行われた際には、赤外線の波長帯にも感度を有する撮像素子２ｂで生成される画像信号Ｓ２は、赤外光の分だけ輝度値が高くなる。これにより、輝度値を引き上げるための信号処理を行わずに済むため、画像信号Ｓ２のＳ／Ｎも良くなる。さらに、画像信号のＳ／Ｎが良くなることで、ノイズ除去フィルタを強くかける必要もなくなる。よって、高精細で低ノイズな３次元画像を得ることが可能となる。
【００３６】
また、上述した実施形態例によれば、赤外線の波長成分を含まない画像信号Ｓ１から色信号が生成されるため、生成される３次元画像の色再現性が良好に保たれる。すなわち、本実施形態例によれば、高感度で色再現性の高い３次元画像が提供される。
【００３７】
つまり、本実施の形態例によれば、外部に赤外ＬＥＤなどの投光装置を追加したり、三次元複眼カメラの構成を変更したりすることなく、撮像素子２ｂ（及び撮像素子２ａ）の構成と信号処理内容のみを変更することで、高感度で色再現性の高い３次元画像を得られるようになる。
【００３８】
また、上述した実施形態例によれば、撮像素子２ａの前面にはＩＲＣＦ１２が配置されないため、撮像素子２ａが赤外線の波長成分に対する感度を有するものとなる。これにより、低照度の環境下においても、被写体を撮影することが可能となる。
【００３９】
このとき、赤外ＬＥＤ（Light Emitting Diode）等の赤外線投射装置を用いて撮影時に被写体に補助光を照射することで、非常に低照度な環境下においても３次元画像の撮影を行えるようになる。赤外線投射装置としては、８５０ｎｍ近辺や９５０ｎｍ近辺の波長を照射する装置が比較的多く使用されており、例えば、このような赤外線投射装置を使用することができる。
【００４０】
＜３．各種変形例＞
なお、上述した実施形態例では、ＩＲＣＦ１２のカットオフ周波数を６５０ｎｍとしたが、この周波数に限定されるものではなく、撮像素子２ｂの分光感度特性や撮影環境に応じて他の周波数を適用してもよい。
【００４１】
また、上述した実施形態例では、撮像素子２ｂの前面にＩＲＣＦ１２を設けないことで、撮像素子２ｂの分光感度特性を、赤外線の帯域にも感度を有するものとした。しかし、これに限定されるものではなく、撮像素子２ｂの前面に、可視光線と、赤外線の所定の帯域の光の両方を通過させるＩＲＣＦ（第２のフィルタ）を設けてもよい。
【００４２】
図５は、第２のフィルタとしてのＩＲＣＦ１２αのフィルタ特性Ｃαと、撮像素子２ｂの分光感度特性を示すグラフである。ＩＲＣＦ１２αは、図５に示すように、例えば６５０ｎｍ以下の帯域と、８２０ｎｍ〜８７０ｎｍの赤外線の帯域の両方の光を通過させるフィルタ特性Ｃαを有する。このＩＲＣＦ１２αが取り付けられた撮像素子２ｂには、波長が６５０ｎｍ以下の可視光線と、８２０ｎｍ〜８７０ｎｍの帯域の赤外線が入射する。言い換えると、６５０ｎｍ〜８２０ｎｍの近赤外線の波長帯の光は、撮像素子２ｂには入射されない。
【００４３】
図５に示すように、この６５０ｎｍ〜８２０ｎｍの波長帯は、Ｒ，Ｇ，Ｂのすべての光に対して感度があり、かつその感度が低い波長帯である。この波長帯の光を遮断することで、撮像素子２ｂで生成される画像信号Ｓ２の色再現性は向上する。また、赤外ＬＥＤの補助光をすることを前提に、ＩＲＣＦ１２αが通過する波長帯を設定すれば、赤外ＬＥＤによる補助光を効果的に用いることが可能となる。つまり、ＩＲＣＦ１２αのフィルタ特性Ｃαを、撮像素子２ｂの分光感度特性や、使用する赤外ＬＥＤの発光スペクトルに応じて適切な特性に設定することができる。
【００４４】
図６は、ＩＲＣＦ１２αが使用される撮像装置１０αの構成例を示すブロック図である。図６において、図１と対応する箇所には同一の符号を付してあり、重複する説明は省略する。図６に示す構成では、ＩＲＣＦ１２αが取り付けられた撮像素子２ｂαで生成された画像信号Ｓ２も、色信号生成部４に入力される。つまり、撮像素子２ｂαの分光感度特性における、Ｒ，Ｇ，Ｂのすべての光に対して感度があり、かつその感度が低い波長帯の光がカットされた画像信号Ｓ２から色信号が生成されるため、色再現性が向上する。
【００４５】
また、撮像素子２ｂαの前面にもＩＲＣＦ１２αを設けることで、撮像素子２ａと撮像素子２ｂαの分光感度特性が、図１に示した構成におけるそれよりもさらに揃う。これにより、色再現性をさらに向上させることができる。
【００４６】
また、相関検出部３において、画像信号Ｓ２に対して赤外線の成分をキャンセルする減色信号補正処理（カラーマトリクス処理）をさらに施してもよい。この処理を行うことにより、画像信号Ｓ１よりなる画像Ｐ１と、画像信号Ｓ２よりなる画像Ｐ２におけるＲ，Ｇ，Ｂの色再現性をさらに揃えることが可能となるため、色再現性の更なる向上を図ることができる。
【００４７】
なお、本開示は以下のような構成も取ることができる。
（１）可視光線の波長より長い所定の波長帯の光を透過しない第１のフィルタを通して入射した被写体光を光電変換して、第１の画像信号を出力する第１の撮像素子と、
前記第１の撮像素子とは異なる位置に配置され、前記所定の波長帯の光の波長成分を含む被写体光を光電変換して、第２の画像信号を出力する第２の撮像素子と、
前記第１の画像信号と前記第２の画像信号の相関を検出する相関検出部と、
前記第２の画像信号から輝度信号を生成する輝度信号生成部と、
前記第１の画像信号及び／又は前記第２の画像信号から色信号を生成する色信号生成部と、
前記相関検出部で検出された前記相関の情報と、前記輝度信号と前記色信号とを用いて、３次元画像を生成する３次元画像生成部とを備えた撮像装置。
（２）前記第１の撮像素子は、前記第１のフィルタを通して入射した、赤外線の波長帯の光を含まない被写体光を光電変換して、前記第１の画像信号を生成する（１）に記載の撮像装置。
（３）前記相関検出部は、正規化相関法を用いて前記第１の画像信号と前記第２の画像信号の相関を検出する（１）又は（２）に記載の撮像装置。
（４）前記第１の撮像素子は、前記第１のフィルタとしての赤外カットフィルタを通して入射された被写体光から前記第１の画像信号を生成する。（１）〜（３）のいずれかに記載の撮像装置。
（５）前記第２の撮像素子は、近赤外線の波長帯のうちの所定の波長帯の光を遮断する第２のフィルタを通して入射した被写体光から、前記第２の画像信号を生成する（１）〜（４）のいずれかに記載の撮像装置。
（６）前記第２の撮像素子は、前記第２のフィルタを通して入射した、当該第２の撮像素子の分光感度特性におけるＲ，Ｇ，Ｂのすべての光に対して感度があり、かつその感度が低い波長帯の光を含まない被写体光から、前記第２の画像信号を生成する（５）に記載の撮像装置。
（７）第１の撮像素子が、可視光線の波長より長い所定の波長帯の光を透過しない第１のフィルタを通して入射した被写体光を光電変換して、第１の画像信号を出力することと、
前記第１の撮像素子とは異なる位置に配置された第２の撮像素子が、前記所定の波長帯の光の波長成分を含む被写体光を光電変換して第２の画像信号を出力することと、
前記第１の画像信号と前記第２の画像信号の相関を検出することと、
前記第２の画像信号から輝度信号を生成することと、
前記第１の画像信号及び／又は前記第２の画像信号から色信号を生成することと、
前記検出された相関の情報と、前記輝度信号と前記色信号とを用いて、３次元画像を生成することとを含む撮像方法。
【符号の説明】
【００４８】
１ａ…第１の光学系、１ｂ…第２の光学系、２ａ，２ｂ…撮像素子、３…相関検出部、４…輝度信号生成部、５…色信号生成部、６…３次元画像生成部、７…表示部、１０，１０α…撮像装置、１１ａ，１１ｂ…レンズ、１２，１２α…ＩＲＣＦ、３１…対応点探査部、３２…視差算出部
【図１】
2014230179.tif 000004
【図２】
2014230179.tif 000005
【図３】
2014230179.tif 000006
【図４】
2014230179.tif 000007
【図５】
2014230179.tif 000008
【図６】
2014230179.tif 000009