(57)【特許請求の範囲】
【請求項１】
被写体を撮像する第１の撮像部と、
前記被写体を撮像する第２の撮像部と、
前記第１の撮像部および前記第２の撮像部にて撮像された前記被写体の各画像を用いて、前記被写体までの距離を測定する測距部と、
前記測距部にて測定された前記距離を用いて、前記被写体の測色値を求める測色部とを備え、
前記第１の撮像部は、
光軸と垂直な方向に並んで配置され、同一の視野を持つ複数の第１の撮像光学系と、
前記複数の第１の撮像光学系と対応して配置され、複数の分光特性を有する複数の第１の光学フィルタと、
対応する位置関係にある前記第１の撮像光学系および前記第１の光学フィルタを介して前記被写体を撮像する複数の撮像領域を有する第１の撮像素子とを含んでおり、
前記第２の撮像部は、
第２の撮像光学系および第２の光学フィルタと、
前記第２の撮像光学系および前記第２の光学フィルタを介して前記被写体を撮像する第２の撮像素子とを有しており、
前記第２の撮像部は、前記第１の撮像部の外部に位置しており、
前記第２の光学フィルタは、前記複数の第１の光学フィルタのいずれかを基準フィルタとして、その基準フィルタとほぼ同じ分光特性を有しており、
前記測距部は、前記第２の撮像素子にて撮像された前記被写体の単眼画像と、前記基準フィルタを介して前記第１の撮像素子にて撮像された前記被写体の個眼画像とを用いて、前記被写体までの距離を測定し、
前記測色部は、前記測距部にて測定された前記距離と、前記第１の撮像素子にて、前記基準フィルタを介して撮像された前記被写体の前記個眼画像と、前記基準フィルタ以外の第１の光学フィルタを介して撮像された前記被写体の他の個眼画像とを用いて、前記基準フィルタ以外の前記第１の光学フィルタを透過する波長について前記被写体の測色値を求めることを特徴とする撮像装置。
【請求項２】
前記測距部は、前記基準フィルタを介して前記第１の撮像素子にて撮像された前記被写体の個眼画像における注目点と前記単眼画像上で対応する対応点の探索を、前記注目点をシフトさせながら行い、前記基準フィルタと対応した位置関係にある第１の撮像光学系と、前記第２の撮像光学系との距離と、前記第１の撮像光学系および前記第２の撮像光学系の各焦点距離と、前記第１の撮像光学系の光軸から前記第１の撮像素子における前記注目点に対応する画素までの距離と、前記第２の撮像光学系の光軸から前記第２の撮像素子における前記対応点に対応する画素までの距離とに基づいて、前記被写体上の各点の三次元位置を測定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記測色部は、前記測距部にて測定された前記被写体上の各点の三次元位置から、前記基準フィルタを介して前記第１の撮像素子にて撮像された前記被写体の個眼画像における注目点と、前記他の個眼画像上で対応する対応点を検出し、前記対応点の画素値を、前記基準フィルタ以外の第１の光学フィルタを透過する波長についての測色値とすることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記複数の第１の光学フィルタは、互いに離散的な分光特性を有していることを特徴とする請求項１から３のいずれかに記載の撮像装置。
【請求項５】
前記第２の光学フィルタは、赤、緑、青の波長の光を透過させる分光特性を有しており、そのうちのいずれかの波長についての分光特性が、前記基準フィルタの分光特性とほぼ同じであることを特徴とする請求項１から４のいずれかに記載の撮像装置。
【請求項６】
前記第２の光学フィルタを介して前記第２の撮像素子にて撮像された前記被写体の画像から、前記各波長について画素を補間して表示用のカラー画像を生成する画像生成部をさらに備えていることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記第２の撮像素子の画素数と前記第２の撮像光学系の焦点距離とで決まる前記第２の撮像部の空間分解能は、前記第１の撮像素子の画素数と前記第１の撮像光学系の焦点距離とで決まる前記第１の撮像部の各個眼の空間分解能とほぼ同じであることを特徴とする請求項１から６のいずれかに記載の撮像装置。
【請求項８】
前記第２の撮像部にて撮像される前記被写体の単眼画像と、前記第１の撮像部にて前記基準フィルタを介して撮像される前記被写体の個眼画像とがほぼ同じ明るさとなるように、前記第２の撮像部および前記第１の撮像部における露光を制御する露光制御部をさらに備えていることを特徴とする請求項１から７のいずれかに記載の撮像装置。
【請求項９】
前記第２の撮像部は、前記第１の撮像部とは離れて位置していることを特徴とする請求項１から８のいずれかに記載の撮像装置。
【請求項１０】
所望の被写体を撮像する第１の撮像部であって、
光軸と垂直な方向に並んで配置され、同一の視野を持ち前記被写体の像をそれぞれ形成する複数の第１の撮像光学系と、
前記複数の第１の撮像光学系と対応して配置され、複数の分光特性を有する複数の第１の光学フィルタと、
対応する位置関係にある前記第１の撮像光学系および前記第１の光学フィルタを介して形成された前記被写体の像をそれぞれ撮像する複数の撮像領域を有する第１の撮像素子とを含む、前記第１の撮像部を備えた撮像装置を用いた、被写体の測色値を求める測色方法であって、
前記撮像装置はさらに、
前記第１の撮像部の外部に位置する第２の撮像部であって、
前記被写体の像を形成する第２の撮像光学系および第２の光学フィルタと、
前記第２の撮像光学系および前記第２の光学フィルタを介して形成された前記被写体の像を撮像する第２の撮像素子とを有しており、前記第２の光学フィルタが、前記複数の第１の光学フィルタのいずれかを基準フィルタとして、その基準フィルタとほぼ同じ分光特性を有している前記第２の撮像部を備えており、
前記測色方法は、
前記第２の撮像素子にて撮像された前記被写体の単眼画像と、前記基準フィルタを介して前記第１の撮像素子にて撮像された前記被写体の個眼画像とを用いて、前記被写体までの距離を測定する工程と、
測定された前記距離と、前記第１の撮像素子にて、前記基準フィルタを介して撮像された前記被写体の前記個眼画像と、前記基準フィルタ以外の第１の光学フィルタを介して撮像された前記被写体の他の個眼画像とを用いて、前記基準フィルタ以外の前記第１の光学フィルタを透過する波長について前記被写体の測色値を求める工程とを有していることを特徴とする、被写体の測色方法。
【請求項１１】
前記被写体までの距離を測定する工程では、
前記基準フィルタを介して前記第１の撮像素子にて撮像された前記被写体の個眼画像における注目点と前記単眼画像上で対応する対応点の探索を、前記注目点をシフトさせながら行い、前記基準フィルタと対応した位置関係にある第１の撮像光学系と、前記第２の撮像光学系との距離と、前記第１の撮像光学系および前記第２の撮像光学系の各焦点距離と、前記第１の撮像光学系の光軸から前記第１の撮像素子における前記注目点に対応する画素までの距離と、前記第２の撮像光学系の光軸から前記第２の撮像素子における前記対応点に対応する画素までの距離とに基づいて、前記被写体上の各点の三次元位置を測定することにより、前記被写体までの距離を測定する、請求項１０に記載の被写体の測色方法。
【請求項１２】
前記被写体の測色値を求める工程では、
前記被写体までの距離を測定する工程において測定された前記被写体上の各点の三次元位置から、前記基準フィルタを介して前記第１の撮像素子にて撮像された前記被写体の個眼画像における注目点と、前記他の個眼画像上で対応する対応点を検出し、前記対応点の画素値を、前記基準フィルタ以外の第１の光学フィルタを透過する波長についての測色値とする、請求項１１に記載の被写体の測色方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光軸と垂直な方向に並んで配置される複数の撮像光学系を介して被写体を撮像する撮像部を備えた撮像装置と、その撮像装置を用いた被写体の測色方法とに関するものである。
【背景技術】
【０００２】
微小な光学レンズを２次元的に配置したレンズアレイと固体撮像素子とを用いて被写体を撮像する複眼の撮像装置では、各光学レンズによって固体撮像素子の受光面上に被写体の像（各個眼画像）が形成される。各光学レンズは２次元的に配置されているため、各個眼画像は、被写体に対して僅かずつ異なった角度から見た像（視差を有する像）となる。したがって、各個眼画像を集めた複眼画像には、被写体の３次元形状に関する情報のほか、高解像度化の情報が含まれている。そこで、少しずつ異なる個眼画像を多数用いることにより、より多くの情報量に基づいて再構成画像を生成することができ、各個眼画像の解像度以上に高精細の再構成画像を得ることができる。【０００３】
特に、特許文献１の撮像装置では、レンズアレイの微小光学レンズの少なくとも一部に対応して、所定の波長透過特性を持つ光学フィルタを配置するとともに、任意の２種の光学フィルタに、波長について相関性を持たせている。なお、上記の相関性とは、共通に透過する波長または波長帯域が存在することを意味している。このように任意の２種の光学フィルタに相関性を持たせることで、上記２種の光学フィルタを介して撮像した個眼画像同士では、少なくとも一部に共通する部分が現れる。このため、上記個眼画像同士の相関が高くなって、画像マッチングによる位置合わせを高精度で行うことが可能となり、被写体までの距離として、より真値に近い距離を推定することが可能となっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１８２２３７号公報（請求項１、段落〔０００３〕、〔０００５〕、〔００１６〕〜〔００１８〕、〔００７７〕〜〔００７９〕、図１、図２、図１９、図２０等参照）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、特許文献１では、レンズアレイの各個眼を構成する２つの光学レンズを介して撮像した画像を用いて測距を行っている。この場合、レンズアレイの２つの光学レンズ間の距離（基線長）が短いため、測距精度が低下するという問題が生ずる。なお、レンズアレイの２つの光学レンズ間の距離は、装置の小型化等の観点から、極力短くなるように予め設計で決まっている。測距精度等を向上させるべく、各光学レンズ間の距離を長くすることは、レンズアレイの設計変更が必要となり、コスト上昇を招くため、望ましくない。また、２つの光学レンズ間の距離を長くすると、レンズアレイ全体が大きくなり、装置の小型化が図れない。一方で、２つの光学レンズ間の距離が短いために測距精度が低下すると、測定した距離の誤差が大きくなる。その結果、撮像装置から測定した距離に位置する被写体上の任意の点の測色の精度も低下する。【０００６】
本発明は、上記の問題点を解決するためになされたもので、その目的は、各個眼画像を形成するための複数のレンズ（撮像光学系）間の距離を変更することなく、測距精度を向上させることができ、これによって、測色の精度も向上させることができる撮像装置と、その撮像装置を用いた被写体の測色方法とを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一側面に係る撮像装置は、被写体を撮像する第１の撮像部と、前記被写体を撮像する第２の撮像部と、前記第１の撮像部および前記第２の撮像部にて撮像された前記被写体の各画像を用いて、前記被写体までの距離を測定する測距部と、前記測距部にて測定された前記距離を用いて、前記被写体の測色値を求める測色部とを備え、前記第１の撮像部は、光軸と垂直な方向に並んで配置され、同一の視野を持つ複数の第１の撮像光学系と、前記複数の第１の撮像光学系と対応して配置され、複数の分光特性を有する複数の第１の光学フィルタと、対応する位置関係にある前記第１の撮像光学系および前記第１の光学フィルタを介して前記被写体を撮像する複数の撮像領域を有する第１の撮像素子とを含んでおり、前記第２の撮像部は、第２の撮像光学系および第２の光学フィルタと、前記第２の撮像光学系および前記第２の光学フィルタを介して前記被写体を撮像する第２の撮像素子とを有しており、前記第２の撮像部は、前記第１の撮像部の外部に位置しており、前記第２の光学フィルタは、前記複数の第１の光学フィルタのいずれかを基準フィルタとして、その基準フィルタとほぼ同じ分光特性を有しており、前記測距部は、前記第２の撮像素子にて撮像された前記被写体の単眼画像と、前記基準フィルタを介して前記第１の撮像素子にて撮像された前記被写体の個眼画像とを用いて、前記被写体までの距離を測定し、前記測色部は、前記測距部にて測定された前記距離と、前記第１の撮像素子にて、前記基準フィルタを介して撮像された前記被写体の前記個眼画像と、前記基準フィルタ以外の第１の光学フィルタを介して撮像された前記被写体の他の個眼画像とを用いて、前記基準フィルタ以外の前記第１の光学フィルタを透過する波長について前記被写体の測色値を求める。【０００８】
本発明の他の側面に係る被写体の測色方法は、所望の被写体を撮像する第１の撮像部であって、光軸と垂直な方向に並んで配置され、同一の視野を持ち前記被写体の像をそれぞれ形成する複数の第１の撮像光学系と、前記複数の第１の撮像光学系と対応して配置され、複数の分光特性を有する複数の第１の光学フィルタと、対応する位置関係にある前記第１の撮像光学系および前記第１の光学フィルタを介して形成された前記被写体の像をそれぞれ撮像する複数の撮像領域を有する第１の撮像素子とを含む、前記第１の撮像部を備えた撮像装置を用いた、被写体の測色値を求める測色方法であって、前記撮像装置はさらに、前記第１の撮像部の外部に位置する第２の撮像部であって、前記被写体の像を形成する第２の撮像光学系および第２の光学フィルタと、前記第２の撮像光学系および前記第２の光学フィルタを介して形成された前記被写体の像を撮像する第２の撮像素子とを有しており、前記第２の光学フィルタが、前記複数の第１の光学フィルタのいずれかを基準フィルタとして、その基準フィルタとほぼ同じ分光特性を有している前記第２の撮像部を備えており、前記測色方法は、前記第２の撮像素子にて撮像された前記被写体の単眼画像と、前記基準フィルタを介して前記第１の撮像素子にて撮像された前記被写体の個眼画像とを用いて、前記被写体までの距離を測定する工程と、測定された前記距離と、前記第１の撮像素子にて、前記基準フィルタを介して撮像された前記被写体の前記個眼画像と、前記基準フィルタ以外の第１の光学フィルタを介して撮像された前記被写体の他の個眼画像とを用いて、前記基準フィルタ以外の前記第１の光学フィルタを透過する波長について前記被写体の測色値を求める工程とを有している。
【発明の効果】
【０００９】
第１の撮像部の各撮像光学系同士の距離を変更することなく、測距および測色の精度を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の一形態に係る撮像装置の概略の構成を模式的に示す説明図である。
【図２】上記撮像装置の簡易的な構成を示す説明図である。
【図３】上記撮像装置の第１の撮像部に用いられる各フィルタの分光特性の一例を示すグラフである。
【図４】上記第１の撮像部にて撮像された被写体の個眼画像（基準画像）と、第２の撮像部２にて撮像された被写体の単眼画像（参照画像）とを模式的に示す説明図である。
【図５】空間上の注目点と、一方のカメラのレンズの主点と、他方のカメラのレンズの主点との位置関係を示す説明図である。
【図６】エピポーラ線上の位置と一致度との関係を示す説明図である。
【図７】２次関数による近似から対応点を求める手法を示す説明図である。
【図８】被写体と上記撮像装置の各部との位置関係を模式的に示す説明図である。
【図９】上記撮像装置における動作の流れを示すフローチャートである。
【図１０】上記第１の撮像部の各フィルタの分光特性の他の例を示すグラフである。
【図１１】本発明の他の実施の形態に係る撮像装置の構成を示す説明図である。
【図１２】上記撮像装置に用いられる各フィルタの分光特性を示すグラフである。
【発明を実施するための形態】
【００１１】
〔実施の形態１〕
本発明の実施の一形態について、図面に基づいて説明すれば、以下の通りである。
【００１２】
（撮像装置の概略の構成）
図１は、本実施形態の撮像装置１０の概略の構成を模式的に示す説明図である。撮像装置１０は、第１の撮像部１と、第２の撮像部２と、測距部３と、測色部４とを備えている。第１の撮像部１および第２の撮像部２は、被写体を撮像するものである。第２の撮像部２は、第１の撮像部１の外部に位置している。本実施形態では、第２の撮像部２は、第１の撮像部１と離れて位置しているが、第１の撮像部１と接していてもよい。
【００１３】
第１の撮像部１は、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）、黄（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）の各色の光を透過させるフィルタが配置される領域を有しており、各領域のフィルタと撮像光学系（例えばレンズ）とを介して被写体を撮像する。なお、フィルタの種類は上記の種類に限定されるわけでない。第２の撮像部２は、例えばＧの光を透過させるフィルタが配置される領域を有しており、このフィルタと撮像光学系とを介して被写体を撮像する。
【００１４】
測距部３は、第１の撮像部１の基準フィルタ（例えばＧのフィルタ）を介して撮像された被写体の画像と、第２の撮像部２のフィルタ（例えばＧのフィルタ）を介して撮像された被写体の画像とを用いて、被写体までの距離を測定（演算）する。測色部４は、測距部３で測定された被写体までの距離と、第１の撮像部１の各フィルタを介して撮像された被写体の各画像とを用いて、被写体の測色値を求める。測距部３および測色部４は、上記した所定の処理（演算）を行う演算回路で構成可能である。
【００１５】
図２は、撮像装置１０の簡易的な構成を示す説明図である。なお、同図では、第１の撮像部１を簡易的に３つの個眼（カメラ）で構成した場合を示している。撮像装置１０は、上記した第１の撮像部１、第２の撮像部２、測距部３、測色部４に加えて、全体制御部５、記憶部６および出力部７をさらに備えている。
【００１６】
全体制御部５は、撮像装置１０の各部の動作を制御するものであり、例えばＣＰＵ（Central  Processing  Unit）およびその周辺回路を備えて構成されている。なお、図２では、全体制御部５の制御信号を破線の矢印で示し、各種データの流れを実線の矢印で示している（他の図面でも同様とする）。
【００１７】
記憶部６は、測距部３にて測定された被写体までの距離、測色部４にて求められた被写体の測色値Ｚ、およびその測色値から得られる被写体のカラー画像（Ｒ／Ｇ／Ｂ）などの情報（データ）を記憶するメモリであり、例えばＲＡＭ（Random  Access  Memory）等の揮発性記憶素子や、ハードディスク等の大容量記憶装置で構成されている。
【００１８】
出力部７は、記憶部６に記憶された情報（被写体までの距離、測色値）および測色値に基づいて得られる被写体のカラー画像を出力するものであり、例えばＣＲＴディスプレイ、ＬＣＤ、有機ＥＬディスプレイなどの表示装置や、プリンタ等の印刷装置で構成されている。なお、出力部７は、撮像装置１０の外部に設けられていてもよい。つまり、記憶部６に記憶された情報を、撮像装置１０の外部の出力部７に有線または無線で送信し、そこで被写体のカラー画像等を表示または印刷するようにしてもよい。
【００１９】
次に、撮像装置１０の主要部の詳細について説明する。
【００２０】
（第１の撮像部）
第１の撮像部１は、複数の個眼レンズ１１（第１の撮像光学系）と、複数のフィルタ１２（第１の光学フィルタ）と、撮像素子１３（第１の撮像素子）とを有している。なお、図２では、個眼レンズ１１およびフィルタ１２の数をそれぞれ３つとしているが、それぞれ２つであってもよく、４つ以上であってもよい。また、各個眼レンズ１１は、光軸に垂直な方向に並べて配置されているが、アレイ状に（マトリクス状に）配置されていてもよい。
【００２１】
１個の個眼レンズ１１は、その光軸に沿って配置される１または複数の光学レンズで構成されている。各個眼レンズ１１は、同一の視野を持ち、各光軸が互いに略平行となるように、撮像素子１３の撮像領域（受光面）に平行な方向に並んで配置されている。なお、以下の説明の便宜上、光軸上に後述するフィルタ１２Ｒが位置する個眼レンズ１１を、個眼レンズ１１Ｒと称し、光軸上にフィルタ１２Ｇが位置する個眼レンズ１１を、個眼レンズ１１Ｇと称し、光軸上にフィルタ１２Ｂが位置する個眼レンズ１１を、個眼レンズ１１Ｂと称する。
【００２２】
複数のフィルタ１２は、複数の個眼レンズ１１の光入射側に、各個眼レンズ１１に対応して並んで配置されており、複数の分光特性を有している。なお、複数のフィルタ１２は、複数の個眼レンズ１１の光出射側に配置されていてもよい。
【００２３】
図３は、各フィルタ１２の分光特性の一例を示している。各フィルタ１２は、ＲＧＢのいずれかの波長域に透過波長のピークを有する分光特性を有している。ここでは、便宜上、Ｒの波長域に透過波長のピークを有するフィルタ１２を、フィルタ１２Ｒと称し、Ｇの波長域に透過波長のピークを有するフィルタ１２を、フィルタ１２Ｇと称し、Ｂの波長域に透過波長のピークを有するフィルタ１２を、フィルタ１２Ｂと称する。
【００２４】
図３のように、フィルタ１２Ｒ・１２Ｇ・１２Ｂは、互いに離散的な分光特性を有している。ここで、「互いに離散的な分光特性」とは、互いの分光特性を示すグラフが完全に離れている場合、および一部に重複する波長域があっても、その重複部分の波長域における透過率が、透過率のピークを１００％としたときの３０％以下（望ましくは２０％以下）である場合を指す。
【００２５】
撮像素子１３は、対応する位置関係にある個眼レンズ１１およびフィルタ１２を介して被写体を撮像する複数の撮像領域を有するモノクロのイメージセンサで構成されている。イメージセンサとしては、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの複数の画素を有する撮像素子を用いることができる。
【００２６】
ここで、撮像素子１３において、個眼レンズ１１Ｒおよびフィルタ１２Ｒを介して被写体を撮像する撮像領域を、撮像領域１３Ｒとし、個眼レンズ１１Ｇおよびフィルタ１２Ｇを介して被写体を撮像する撮像領域を、撮像領域１３Ｇとし、個眼レンズ１１Ｂおよびフィルタ１２Ｂを介して被写体を撮像する撮像領域を、撮像領域１３Ｂとする。各撮像領域１３Ｒ・１３Ｇ・１３Ｂからは受光量に応じた電気信号が出力されるが、その出力はＡ／Ｄ変換され、撮像された画像のデータとして、例えば８ビットで０〜２５５のデータがＲＧＢのそれぞれについて得られる。図２では、撮像素子１３から出力される画像データを、Ｉ１（Ｒ）、Ｉ１（Ｇ）、Ｉ１（Ｂ）で示している。
【００２７】
個眼レンズ１１Ｒ、フィルタ１２Ｒ、撮像領域１３Ｒによって、１つの個眼（カメラ）が構成されており、個眼レンズ１１Ｇ、フィルタ１２Ｇ、撮像領域１３Ｇによって、１つの個眼が構成されており、個眼レンズ１１Ｂ、フィルタ１２Ｂ、撮像領域１３Ｂによって、１つの個眼が構成されている。各個眼からは、同じ被写体について略視差だけずれた画像のデータが出力される。
【００２８】
（第２の撮像部）
第２の撮像部２は、単眼レンズ２１（第２の撮像光学系）と、フィルタ２２（第２の光学フィルタ）と、撮像素子２３（第２の撮像素子）とを有している。
【００２９】
１個の単眼レンズ２１は、その光軸に沿って配置される１または複数の光学レンズで構成されている。単眼レンズ２１の光軸は、第１の撮像部１の各個眼レンズ１１の各光軸と略平行となっている。
【００３０】
フィルタ２２は、単眼レンズ２１の光入射側に配置されているが、光出射側に配置されていてもよい。フィルタ２２は、第１の撮像部１のフィルタ１２のいずれかを基準フィルタとして、その基準フィルタとほぼ同じ分光特性を有している。なお、「ほぼ同じ分光特性」とは、完全に分光特性が同じである場合も含むし、分光特性が完全に同じでなくても、分光特性のずれ量（例えば透過ピーク波長のずれ量）が３０ｎｍ以下である場合も含む。ここでは、フィルタ２２は、フィルタ１２Ｇを基準フィルタとして、そのフィルタ１２Ｇと同じ分光特性を有している。フィルタ１２Ｇを基準フィルタとしているのは、Ｇが視感度の中心的な波長であることによる。なお、フィルタ１２Ｒまたはフィルタ１２Ｂを基準フィルタとし、フィルタ２２の分光特性を、フィルタ１２Ｒまたはフィルタ１２Ｂの分光特性と合わせてもよい。このようにほぼ同じ分光特性を有するフィルタ２２と基準フィルタをそれぞれ介して撮像された単眼画像と個眼画像を用いることにより、被写体までの距離を精度よく測定することができる。
【００３１】
撮像素子２３は、単眼レンズ２１およびフィルタ２２を介して被写体を撮像する撮像領域を有するモノクロのイメージセンサで構成されている。上記のイメージセンサとしては、撮像素子１３と同様に、例えばＣＣＤやＣＭＯＳなどの複数の画素を有する撮像素子を用いることができる。上記撮像領域からは受光量に応じた電気信号が出力されるが、その出力はＡ／Ｄ変換され、撮像された画像のデータとして、例えば８ビットで０〜２５５のデータが、フィルタ２２の透過波長の色（ここでは基準フィルタの透過波長と同じＧの色）について得られる。図２では、撮像素子２３から出力される画像データを、Ｉ２（Ｇ）で示している。
【００３２】
ここで、第２の撮像部２の空間分解能は、撮像素子２３の画素数と単眼レンズ２１の焦点距離とで決まり、第１の撮像部１の各個眼の空間分解能は、撮像素子１３の画素数と各個眼レンズ１１の焦点距離とで決まる。本実施形態では、撮像素子１３・２３の画素ピッチと、各レンズ（単眼レンズ２１、個眼レンズ１１）の焦点距離とを調整することにより、第２の撮像部２の空間分解能と、第１の撮像部１の各個眼ごとの空間分解能とをほぼ同じにしている。第１の撮像部１と第２の撮像部２とで空間分解能が異なると、後述する測距部３での測距や測色部４での測色における精度が、空間分解能が粗い側に律速されるため、上記のように空間分解能を揃えることで、空間分解能の相違による測距精度や測色精度の低下を回避することができる。
【００３３】
本実施形態では、第１の撮像部１および第２の撮像部２において、内部パラメータは、設計とは若干ずれるため、既知の方法によって事前に求めておく。なお、内部パラメータとしては、例えばレンズ（個眼レンズ１１、単眼レンズ２１）の焦点距離、撮像素子１３・２３における撮像画像の中心（レンズ光軸との交点）がある。
【００３４】
また、第２の撮像部２と、第１の撮像部１の少なくとも１つの個眼（特に基準フィルタを介して被写体を撮像する基準個眼）とおいて、外部パラメータは、設計とは若干ずれるため、既知の方法によって事前に求めておく。なお、外部パラメータとしては、例えば第２の撮像部２と第１の撮像部１の基準個眼との間での姿勢（光軸の向き、光軸方向の位置）がある。さらに、第１の撮像部１において、上記基準個眼と他の個眼との間でも、外部パラメータ（光軸の向き、光軸方向の位置）は既知の方法によって事前に求めておく。
【００３５】
上記した内部パラメータおよび外部パラメータの算出方法としては、例えば“A  Flexible  New  Technique  for  Camera  Calibration,  IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence,  VOL.22,  No.11,  1330-1334,  November  2000”に記載の方法を採用することができる。
【００３６】
また、本実施形態では、前述した全体制御部５は、第２の撮像部２にて撮像される被写体の画像（単眼画像）と、第１の撮像部１にて基準フィルタを介して撮像される被写体の画像（個眼画像）とがほぼ同じ明るさとなるように、第２の撮像部２および第１の撮像部１における露光を制御する露光制御部として機能している。より具体的には、全体制御部５は、上記の単眼画像と上記の個眼画像とで、各画像の画素値の平均が８ビットで１２８程度になるように、撮像素子１３・２３の積分時間を制御する。
【００３７】
第２の撮像部２で撮像される被写体の単眼画像と、第１の撮像部１で撮像される被写体の個眼画像とで明るさが異なると、これらの画像を用いた測距や測色の精度が低下するため、明るさに起因する測距精度等の低下を回避することができる。
【００３８】
（測距部）
次に、撮像装置１０の測距部３の詳細について説明する。測距部３は、第２の撮像部２の撮像素子２３にて撮像された被写体の単眼画像と、第１の撮像部１の基準フィルタ（例えばフィルタ１２Ｇ）を介して撮像素子１３にて撮像された被写体の個眼画像とを用いて、被写体までの距離を測定する。以下、より詳細に説明する。
【００３９】
＜対応点探索＞
図４は、基準フィルタを介して撮像素子１３にて撮像された被写体の個眼画像（基準画像）と、第２の撮像部２の撮像素子２３にて撮像された被写体の単眼画像（参照画像）とを模式的に示している。測距部３は、まず、上記基準画像における注目点と上記参照画像上で対応する対応点の探索を行う。つまり、参照画像においてエピポーラ線上を走査し、基準画像における注目点との一致度を算出することにより、参照画像上で上記注目点と対応する対応点を求める。そして、このような対応点探索を、基準画像上で注目点をシフトさせながら行う。
【００４０】
より具体的には、基準画像上で、対応点を探索したい所定の画素位置（注目点Ｐ）を中心に所定の大きさを持つウィンドウ（テンプレートＴ０）を設定する。同様に、参照画像上にも同じ大きさを持つウィンドウＷ０を、エピポーラ線Ｅ０上に複数設定する。そして、基準画像上におけるテンプレートＴ０に対する、参照画像上における各ウィンドウＷ０の一致度（相関度）を求め（テンプレートマッチング）、最も一致度の高いウィンドウＷ０における中心位置の画素を対応点Ｑとする。
【００４１】
ここで、上記のエピポーラ線Ｅ０について説明を補足しておく。図５は、空間上の注目点Ｘと、一方のカメラのレンズの主点ＯＬと、他方のカメラのレンズの主点ＯＲとの位置関係を示している。主点ＯＬと主点ＯＲとを結ぶ直線が、一方のカメラによって撮像される基準画像と交わる点をｅＬとし、他方のカメラによって撮像される参照画像と交わる点をｅＲとする。主点ＯＬと注目点Ｘとを結ぶ直線は、参照画像上に直線として投影される。この直線のことをエピポーラ線Ｅと呼ぶ。すなわち、主点ＯＬと注目点Ｘとを結ぶ直線上の複数の点Ｘ１、Ｘ２、Ｘ３、・・・ＸＬは、参照画像のエピポーラ線Ｅ上に並ぶ。したがって、参照画像においてエピポーラ線Ｅ上を走査し、基準画像における注目点との一致度を算出することにより、参照画像上で上記注目点と対応する対応点を求めることができる。
【００４２】
なお、エピポーラ線の算出方法としては、実際にエピポーラ線を測定する方法、画像上の点から数学的に求める方法、カメラパラメータから計算により求める方法、等があるが、いずれも公知の手法であるため、ここではその詳細な説明を省略する。
【００４３】
上記した一致度は、ＮＣＣ（Normalized  Cross  Correlation；正規化相互相関係数）、ＳＡＤ（Sum  of  Absolute  Difference）、ＳＳＤ（Sum  of  Squared  Difference）などを用いた公知の方法で求めることができる。例えばＮＣＣを用いて一致度を求める場合、以下の数１式によって求めることができる。なお、Ｔ（ｉ，ｊ）は、テンプレートＴ０の画素の輝度値であり、Ｉ（ｉ，ｊ）は、参照画像のウィンドウＷ０の画素の輝度値である。座標（ｉ，ｊ）は、テンプレートＴ０の幅をＭ画素、高さをＮ画素としたとき、テンプレートの左上の座標を（０，０）、右下を（Ｍ−１，Ｎ−１）とする場合の座標である。
【００４４】
【数１】
0005896090.tif 000002
【００４５】
図６は、エピポーラ線Ｅ０上の位置（座標）と一致度との関係を模式的に示している。一致度の最も高い点（対応点）を求めるにあたっては、図６の曲線の頂点に対応する位置を、対応点の位置とすればよい。このとき、図７に示すように、上記曲線における頂点付近の３点を抽出して２次関数による近似を行い、その頂点に対応する位置を、対応点の位置としてもよい。後者の場合、対応点をより高精度に求めることができる。
【００４６】
＜三次元位置測定＞
測距部３は、上記の対応点探索を行った後、注目点および対応点の各位置（座標）、上述した内部パラメータおよび外部パラメータを用いて、被写体上の各点の三次元位置を測定する。
【００４７】
図８は、ＸＹＺ直交座標系におけるＺＸ面での、被写体Ｏｂと、第１の撮像部１および第２の撮像部２の各部との位置関係を模式的に示している。ここで、基準フィルタと対応した位置関係にある個眼レンズ１１Ｇと単眼レンズ２１との距離（基線長）、すなわち、個眼レンズ１１Ｇの主点Ｏ０と単眼レンズ２１の主点Ｏ１との距離をｂとする。また、個眼レンズ１１Ｇおよび単眼レンズ２１の各焦点距離をｆとし、個眼レンズ１１Ｇの光軸ＡＸ１から撮像素子１３における注目点に対応する画素（注目画素）までの距離をｕとし、単眼レンズ２１の光軸ＡＸ２から撮像素子２３における対応点に対応する画素（対応画素）までの距離をｖとする。なお、光軸ＡＸ１・ＡＸ２は平行であるとする。
【００４８】
基準個眼の個眼レンズ１１Ｇの主点Ｏ０を三次元座標の原点とし、被写体Ｏｂ上の点の座標を（ｘ，ｙ，ｚ）としたとき、同図より、以下の関係式が得られる。
ｚ：ｘ＝ｆ：ｕ                （１）
ｚ：（ｂ−ｘ）＝ｆ：ｖ        （２）
【００４９】
上記の２式は、以下のように変形できる。
ｚ＝（ｆ／ｕ）・ｘ                （１’）
ｚ＝（ｆ／ｖ）・（ｂ−ｘ）        （２’）
【００５０】
各パラメータ（ｆ、ｕ、ｖ、ｂ）は予めわかっているため、上記の連立方程式を解くことにより、ｚおよびｘを求めることができる。そして、ＹＺ面についても同様に考えることにより、被写体Ｏｂ上の点の三次元座標（ｘ，ｙ，ｚ）を求めることができる。このような処理を、基準個眼の複数の画素を注目画素として行うことで、被写体Ｏｂ上の複数の点の三次元座標を求めることができ、これによって、被写体Ｏｂの三次元形状を求めることができる。
【００５１】
（測色部）
次に、撮像装置１０の測色部４の詳細について説明する。測色部４は、測距部３にて測定された被写体までの距離と、撮像素子１３にて、基準フィルタ（フィルタ１２Ｇ）を介して撮像された被写体の個眼画像と、基準フィルタ以外のフィルタ（フィルタ１２Ｒ・１２Ｂ）を介して撮像された被写体の他の個眼画像とを用いて、基準フィルタ以外のフィルタを透過する波長（例えばＲやＢ）について被写体の測色値を求める。なお、基準フィルタを透過する波長（例えばＧ）についての被写体の測色値は、基準フィルタを介して撮像素子１３（撮像領域１３Ｇ）にて被写体を撮像したときの画素値をそのまま用いればよい。以下、例として、被写体のＢの測色値を求める方法について説明する。
【００５２】
まず、測色部４は、測距部３にて測定された被写体上の各点の三次元位置から、基準フィルタであるフィルタ１２Ｇを介して撮像素子１３（撮像領域１３Ｇ）にて撮像された被写体の個眼画像における注目点と、フィルタ１２Ｂを介して撮像された被写体の個眼画像上で対応する対応点を検出する。
【００５３】
すなわち、図８において、フィルタ１２Ｇを介して撮像素子１３にて撮像された被写体Ｏｂの個眼画像を基準画像とし、フィルタ１２Ｂを介して撮像素子１３にて撮像された被写体Ｏｂの個眼画像を参照画像とする。測距部３により、被写体Ｏｂ上の点の座標（ｘ、ｙ、ｚ）がわかっているので、測色部４は、上述した（１’）（２’）の式から、基準画像における注目点（注目画素）と参照画像上で対応する対応点（対応画素）の位置（対応点の光軸ＡＸ２からのずれ量ｖ）を求めることができる。
【００５４】
上記対応点が求まると、測色部４は、求めた対応点の画素値を、フィルタ１２Ｂを透過する波長（Ｂ）についての測色値とする。つまり、図８では、被写体Ｏｂ上の点と主点Ｏ１とを結ぶ線の延長上の点の画素値が、Ｂの測色値となる。
【００５５】
なお、Ｒの測色値についても上記と同様にして求めることができる。つまり、基準画像はそのままとし（フィルタ１２Ｇを介して撮像された個眼画像とし）、フィルタ１２Ｒを介して撮像された被写体の個眼画像を参照画像として、上記と同様の処理を行うことにより、Ｒの測色値を求めることができる。
【００５６】
以上のように、本実施形態において、測距部３は、第２の撮像部２で撮像された被写体の単眼画像と、第１の撮像部１で撮像された被写体の個眼画像のうち、第２の撮像部２のフィルタ２２と分光特性が同じフィルタ１２Ｇを介して撮像された個眼画像とを用いて、被写体までの距離を測定する。第２の撮像部２は、第１の撮像部の外部に位置しているため、フィルタ１２Ｇに対応する個眼レンズ１１Ｇと、第２の撮像部２の単眼レンズ２１との距離（基線長）を、第１の撮像部１における隣り合う個眼レンズ１１Ｇ・１１Ｒ間の距離よりも容易に長くできる。基線長が長くなることで、測距精度の精度を向上させることができる。また、個眼レンズ１１Ｇ・１１Ｒ間の距離を短くするなど、レンズアレイの設計を変更することなく測距を行うことができるため、レンズアレイの設計変更によるコスト上昇や装置の大型化を回避することもできる。
【００５７】
特に、図２で示したように、第２の撮像部２は第１の撮像部１と離れて位置していていることで、上記の基線長を確実に長くできるので、測距精度を確実に向上させることができる。
【００５８】
また、測色部４は、測距部３にて測定された被写体までの距離と、基準フィルタ（フィルタ１２Ｇ）を介して撮像された個眼画像と、基準フィルタ以外のフィルタ１２（フィルタ１２Ｒ・１２Ｂ）を介して撮像された他の個眼画像とを用いて、基準フィルタ以外のフィルタ１２の透過波長について被写体の測色値を求める。上記した測距精度の向上により、測距誤差が小さくなるため、測定された距離に位置する被写体上の任意の点のＢやＲの測色の精度を向上させることが可能となる。
【００５９】
特に、測距部３は、基準フィルタを介して撮像された個眼画像における注目点と単眼画像上で対応する対応点の探索を、注目点をシフトさせながら行い、上述した関係式から被写体上の各点の三次元位置を測定するので、被写体全体の三次元形状を求めることができる。
【００６０】
また、測色部４は、被写体上の各点の三次元位置から、基準フィルタを介して撮像された個眼画像における注目点と他の個眼画像上で対応する対応点を検出し、対応点の画素値を測色値とするので、基準フィルタ以外のフィルタ１２を透過する波長についての測色値を精度高く得ることができる。
【００６１】
また、測色部４で得られる測色値（ＲやＢ）や撮像素子１３で得られるＧの画像データは、記憶部６を介して出力部７に出力され、出力部７にてＲＧＢのカラー画像が表示される。このとき、ＲＧＢの各画像は、被写体上の同じ点を表す画素がＲＧＢで一致するように重ね合わされる必要がある。つまり、撮像素子１３の各撮像領域１３Ｒ・１３Ｇ・１３Ｂで撮像されるＲＧＢの各画像は視差を持っているため、この視差を補正してＲＧＢの各画像を重ね合わせる必要がある。本実施形態では、測距精度の向上により、Ｇについて求めた距離の誤差が小さく、その求めた距離を用いてＧの注目画素と対応するＲおよびＢの画素の位置（図８の測色時のｖ）を精度よく求めることができるため、被写体上の同じ点を表す画素がＲＧＢで一致するように、ＲＧＢの各画像を精度よく重ね合わせて、視差補正の精度を向上させることができる。すなわち、基線長（図８のｂに相当）が長くなることは、測距精度の向上のみならず、視差補正精度の向上にもつながる。
【００６２】
また、図３で示したように、第１の撮像部１のフィルタ１２Ｒ・１２Ｇ・１２Ｂは、互いに離散的な分光特性を有しており、各分光特性にほとんど相関性がない（透過波長に共通する部分が少ない）。各分光特性に相関性を持たせた場合、ある波長範囲（４００ｎｍ〜７００ｎｍの波長域）で測色を行う際に、各分光特性に重なりが生じるため、用いるフィルタ１２の数（種類）を増大させる必要があるが、各分光特性が離散的であることにより、用いるフィルタ１２の数（種類）を少なくできる。これにより、対応する個眼レンズ１１の数（種類）も少なくすることができ、装置の小型化、低コスト化を図ることができる。また、少ない個眼数で測距できるため、１個眼あたりの画素数を増大させて分解能を向上させることもできる。
【００６３】
また、各分光特性に相関性を持たせた場合、例えばＧのフィルタがＧ以外にもＢの光を透過させることになり、Ｇの測色の精度が低下するため、被写体の画像を表示するときに色再現性が低下する。しかし、本実施形態では、各分光特性が離散的であるため、各色の測色精度の低下による色再現性の低下を抑えることができる。
【００６４】
なお、本実施形態では、測色可能な波長帯域を、可視域（４００ｎｍ〜７００ｎｍ）としているが、この範囲に限定されるわけではなく、紫外域から近赤外域など、イメージセンサの撮像可能範囲で任意に設定可能である。
【００６５】
＜動作＞
図９は、撮像装置１０において、測距処理及び測色処理を含む動作の流れを示すフローチャートである。図９及び図２を参照して、本実施形態の撮像装置１０の動作について説明する。
【００６６】
全体制御部５の指示により処理が開始されると、第１の撮像部１の各個眼及び第２の撮像部の単眼による被写体Ｏｂの撮像を行い（ステップ１０）、撮像画像を出力する（ステップ１１）。ステップ１１では、具体的に、第１の撮像部１の各撮像領域１３Ｒ・１３Ｇ・１３Ｂ及び第２の撮像部の撮像素子２３から、撮像された各画像データ（図２におけるＩ１（Ｒ），Ｉ１（Ｇ），Ｉ１（Ｒ））を、測距部３に出力する。
【００６７】
測距部３は、第１の撮像部１の基準フィルタを介して撮像素子１３にて撮像された被写体の個眼画像（基準画像。例えば、図２ではフィルタ１２Ｇを介して撮像された画像。）における注目点と、第２の撮像部２の撮像素子２３にて撮像された被写体の単眼画像（参照画像。図２ではフィルタ２２を介して撮像された画像。）における対応点の探索を、基準画像上の注目点をシフトさせながら行う（ステップ１２）。
【００６８】
測距部３は、上記対応点探索を行った後、被写体Ｏｂ上の各点の三次元位置を測定する（ステップ１３）。その後、測色部３は、上記の被写体Ｏｂ上の各点の三次元位置から、基準フィルタを介して撮像素子１３にて撮像された被写体の個眼画像における注目点と、基準フィルタ以外のフィルタ（図２ではフィルタ１２Ｂ）を介して撮像される他の個眼画像上で対応する対応点を検出し（ステップ１４）、求めた対応点の画素値を、基準フィルタ以外を透過する波長（図２では波長Ｂ）についての測色値とする（ステップ１５）。
【００６９】
（変形例）
図１０は、第１の撮像部１の各フィルタ１２の分光特性の他の例を示している。各フィルタ１２の透過波長は、ＲＧＢには限定されない。例えば、図１０の破線の曲線で示すように、各フィルタ１２として、透過波長のピークがＢのピークよりも短波長側にあるフィルタａ１と、透過波長のピークがＢのピークとＧのピークの間にあるフィルタａ２と、透過波長のピークがＲの波長域にあるフィルタａ３とを組み合わせて用いてもよい。また、第２の撮像部２のフィルタ２２としては、フィルタａ１・ａ２・ａ３のいずれかと同じ分光特性を有するものを用いてもよいが、例えば透過波長のピークがＧの波長域にあるフィルタａ４を用いてもよい。この場合、フィルタａ４に最も分光特性が近いフィルタａ２を基準フィルタとすればよい。さらに、各フィルタ１２に加えて、赤外光を吸収するＩＲカットフィルタａ５を設けてもよい。このように、必ずしも、各フィルタ１２及びフィルタ２２は、ＲＧＢフィルタに限らない。例えば、フィルタ１２としては特殊用途のフィルタを用い、フィルタ２２としては、汎用的で低コストのＲＧＢのいずれかのフィルタを用いることができ、かつ、実施の形態１と同等の測距精度、測色精度を得ることができる。
【００７０】
〔実施の形態２〕
本発明の他の実施の形態について、図面に基づいて説明すれば、以下の通りである。
【００７１】
図１１は、本実施形態の撮像装置１０の構成を示す説明図である。本実施形態では、撮像装置１０の第１の撮像部１の各フィルタ１２として、フィルタ１２Ｘ・１２Ｙ・１２Ｚを用い、第２の撮像部２のフィルタ２２として、フィルタ２２ａを用いている。なお、測距部３での測距および測色部４での測色の方法については、実施の形態１と全く同様である。
【００７２】
図１２は、フィルタ１２Ｘ・１２Ｙ・１２Ｚと、フィルタ２２ａの分光特性を示している。フィルタ２２ａは、ベイヤー配列のカラーフィルタであり、２×２の４画素のうち、Ｒを１画素、Ｇを２画素、Ｂを１画素に配置し、これを１セットにして規則的に並べたものである。したがって、撮像素子２３は、フィルタ２２ａを介して被写体を撮像することにより、ＲＧＢの画像データをＩ２として出力する。なお、カラーフィルタの色の配列は、上記のＲ／Ｇ／Ｇ／Ｂ以外にも、Ｃ（シアン）／Ｍ（マゼンタ）／Ｙ（イエロー）／Ｇや、Ｗ（白）／Ｙ／Ｒ／Ｉｒ（赤外）、等であってもよい。一方、撮像素子１３は、フィルタ１２Ｘ・１２Ｙ・１２Ｚを介して被写体を撮像することにより、ＸＹＺの画像データをＩ１（Ｘ）、Ｉ１（Ｙ）、Ｉ１（Ｚ）として出力する。
【００７３】
上記のように、フィルタ２２ａは、ＲＧＢの光を透過させる分光特性を有しているが、図１２より、フィルタ２２ａのＢの分光特性は、フィルタ１２Ｚの分光特性とほぼ同じである。そこで、本実施形態では、フィルタ１２Ｘ・１２Ｙ・１２Ｚのうち、フィルタ１２Ｚを基準フィルタとして用いる。
【００７４】
本実施形態のように、第２の撮像部２のフィルタ２２ａがＲＧＢの光を透過させる場合でも、そのうちのいずれかの波長（上記の例ではＢ）についての分光特性が、第１の撮像部１のフィルタ１２の基準フィルタ（フィルタ１２Ｚ）の分光特性とほぼ同じである。これにより、フィルタ１２Ｚを介して撮像される個眼画像と、フィルタ２２ａを介して撮像される単眼画像とを用いて、実施の形態１と同様に精度の高い測距および測色を行うことが可能となる。
【００７５】
また、本実施形態の撮像装置１０は、実施の形態１の構成に加えて画像生成部８をさらに備えている。画像生成部８は、第２の撮像部２のフィルタ２２ａを介して撮像素子２３にて撮像された被写体の画像から、フィルタ２２ａの透過波長（本実施形態ではＲＧＢの各波長）について画素を補間して表示用のカラー画像を生成する画像処理部である。このような画像生成部８は、上記の画像処理を行う画像処理回路で構成可能である。画像生成部８にて生成されたカラー画像のデータは、実施の形態１で示した記憶部６に出力され、必要に応じて出力部７にて出力（例えば表示）される。
【００７６】
画像生成部８にて表示用のカラー画像を生成するようにすると、第１の撮像部１にて撮像された画像から表示用のカラー画像を生成しなくても済む。したがって、第１の撮像部１で用いるフィルタ１２として、本実施形態のようにＸＹＺフィルタ（フィルタ１２Ｘ・１２Ｙ・１２Ｚ）を用いることができる。ＸＹＺフィルタを用いることで、測色の分野で一般的なＸＹＺの測色値を求めることができ、便利である。
【００７７】
なお、ＸＹＺの各画素ごとの測色値は、記憶部６に記憶される。したがって、出力部７にて被写体のカラー画像をＲＧＢのデータに基づいて表示し、カーソルを画像上の任意の点に合わせたとき、その点でのＸＹＺの測色値を表示させるようにすることもできる。
【００７８】
また、フィルタ１２としては、上記のＸＹＺフィルタの代わりに、ＲＧＢ以外のＮＢ（ナローバンド）フィルタを用いることもできる。しかし、出力部７での表示は、ＲＧＢのデータに基づいて行われるため、画像生成部８にて表示用のカラー画像を生成しない場合、ＮＢフィルタを介して撮像される画像からＲＧＢの画像データを得る必要がある。この場合、分光特性のずれたＮＢフィルタを数種類も用意し、得られるデータを加算してＲＧＢのデータを生成する必要があり、計算量が膨大となる。また、ＮＢフィルタの透過波長の帯域が狭く、表示用のＲＧＢの帯域に満たない場合には、表示用画像の色再現性が低下する場合がある。しかし、本実施形態では、画像生成部８にて表示用の画像（ＲＧＢの画像）が生成されるため、第１の撮像部１のフィルタ１２として、ＲＧＢ以外のＮＢフィルタを用いても、上記の不都合が生じることはない。すなわち、フィルタ１２として、ＮＢフィルタを用いることが可能となる。
【００７９】
以上の各実施の形態で説明した撮像装置は、以下のように表現することができ、これによって以下の作用効果を奏する。
【００８０】
上記の撮像装置は、被写体を撮像する第１の撮像部と、前記被写体を撮像する第２の撮像部と、前記第１の撮像部および前記第２の撮像部にて撮像された前記被写体の各画像を用いて、前記被写体までの距離を測定する測距部と、前記測距部にて測定された前記距離を用いて、前記被写体の測色値を求める測色部とを備え、前記第１の撮像部は、光軸と垂直な方向に並んで配置され、同一の視野を持つ複数の第１の撮像光学系と、前記複数の第１の撮像光学系と対応して配置され、複数の分光特性を有する複数の第１の光学フィルタと、対応する位置関係にある前記第１の撮像光学系および前記第１の光学フィルタを介して前記被写体を撮像する複数の撮像領域を有する第１の撮像素子とを含んでおり、前記第２の撮像部は、第２の撮像光学系および第２の光学フィルタと、前記第２の撮像光学系および前記第２の光学フィルタを介して前記被写体を撮像する第２の撮像素子とを有しており、前記第２の撮像部は、前記第１の撮像部の外部に位置しており、前記第２の光学フィルタは、前記複数の第１の光学フィルタのいずれかを基準フィルタとして、その基準フィルタとほぼ同じ分光特性を有しており、前記測距部は、前記第２の撮像素子にて撮像された前記被写体の単眼画像と、前記基準フィルタを介して前記第１の撮像素子にて撮像された前記被写体の個眼画像とを用いて、前記被写体までの距離を測定し、前記測色部は、前記測距部にて測定された前記距離と、前記第１の撮像素子にて、前記基準フィルタを介して撮像された前記被写体の前記個眼画像と、前記基準フィルタ以外の第１の光学フィルタを介して撮像された前記被写体の他の個眼画像とを用いて、前記基準フィルタ以外の前記第１の光学フィルタを透過する波長について前記被写体の測色値を求める。
【００８１】
測距部は、第２の撮像光学系および第２の光学フィルタを介して第２の撮像素子にて撮像された被写体の画像（単眼画像）と、基準フィルタを介して第１の撮像素子にて撮像された被写体の画像（個眼画像）とを用いて、つまり、ほぼ同じ分光特性を持つ光学フィルタを介して撮像された各画像を用いて、被写体までの距離を測定する。このとき、第１の撮像部の外部に第２の撮像部が位置しているので、第１の撮像部の基準フィルタに対応する第１の撮像光学系と、第２の撮像部の第２の撮像光学系との距離（基線長）を、例えば第１の撮像部における各第１の撮像光学系同士の距離よりも長く確保することが可能となる。これにより、測距精度を向上させることができる。また、各第１の撮像光学系同士の距離を変更する（例えば短くする）ことなく測距を行うことができるので、設計変更（各第１の撮像光学系の配置位置の変更）によるコスト上昇を回避することもできる。さらに、２つの第１の撮像光学系間の距離を長くすることなく、測距精度を向上させることができるため、装置の小型化を図ることが可能となる。
【００８２】
また、測色部は、測距部にて測定された被写体までの距離と、基準フィルタを介して第１の撮像素子にて撮像された被写体の個眼画像と、基準フィルタ以外の第１の光学フィルタを介して第１の撮像素子にて撮像された被写体の他の個眼画像とを用いて、基準フィルタ以外の第１の光学フィルタを透過する波長について被写体の測色値を求める。上記した測距精度の向上により、測定した距離の誤差が小さくなるため、その距離と複数の個眼画像とを用いて行われる被写体の測色の精度を向上させることができる。
【００８３】
前記測距部は、前記基準フィルタを介して前記第１の撮像素子にて撮像された前記被写体の個眼画像における注目点と前記単眼画像上で対応する対応点の探索を、前記注目点をシフトさせながら行い、前記基準フィルタと対応した位置関係にある第１の撮像光学系と、前記第２の撮像光学系との距離と、前記第１の撮像光学系および前記第２の撮像光学系の各焦点距離と、前記第１の撮像光学系の光軸から前記第１の撮像素子における前記注目点に対応する画素までの距離と、前記第２の撮像光学系の光軸から前記第２の撮像素子における前記対応点に対応する画素までの距離とに基づいて、前記被写体上の各点の三次元位置を測定してもよい。
【００８４】
測距部により被写体上の各点の三次元位置が求まるので、撮像装置から被写体上の各点までの距離のみならず、被写体の三次元形状を測定することができる。
【００８５】
前記測色部は、前記測距部にて測定された前記被写体上の各点の三次元位置から、前記基準フィルタを介して前記第１の撮像素子にて撮像された前記被写体の個眼画像における注目点と、前記他の個眼画像上で対応する対応点を検出し、前記対応点の画素値を、前記基準フィルタ以外の第１の光学フィルタを透過する波長についての測色値としてもよい。
【００８６】
この場合、第１の撮像素子にて得られる各個眼画像から、基準フィルタ以外の第１の光学フィルタを透過する波長についての測色値を確実に得ることができる。
【００８７】
前記複数の第１の光学フィルタは、互いに離散的な分光特性を有していることが望ましい。各第１の光学フィルタの分光特性がほとんど相関性を持たないようにする、つまり、透過波長に共通性をほとんど持たないようにすることにより、ある波長域（例えば４００ｎｍ〜７００ｎｍの波長域）を測色するにあたって、用いる第１の光学フィルタの数を少なくすることができる。これにより、用いる第１の撮像光学系の数も少なくすることができ、装置の小型化を図ることが可能となる。
【００８８】
前記第２の光学フィルタは、赤、緑、青の波長の光を透過させる分光特性を有しており、そのうちのいずれかの波長についての分光特性が、前記基準フィルタの分光特性とほぼ同じであってもよい。
【００８９】
第２の光学フィルタがＲＧＢの光を透過させる場合でも、そのうちのいずれかの波長についての分光特性が、第１の光学フィルタの基準フィルタの分光特性とほぼ同じであるので、測距精度や測色の精度を向上させることができる。
【００９０】
上記の撮像装置は、前記第２の光学フィルタを介して前記第２の撮像素子にて撮像された前記被写体の画像から、前記各波長について画素を補間して表示用のカラー画像を生成する画像生成部をさらに備えていてもよい。
【００９１】
この場合、画像生成部にて、第２の撮像素子にて撮像された画像から表示用のカラー画像が生成されるため、第１の撮像部にて撮像された画像から表示用のカラー画像を生成しなくても済む。このため、第１の撮像部で用いる第１の光学フィルタとして、第２の光学フィルタとは異なる分光特性を持つフィルタを用いることができる。したがって、例えば第１の光学フィルタとして、ＸＹＺフィルタを用いれば、測色の分野で一般的なＸＹＺの測色値を求めることが可能となる。
【００９２】
前記第２の撮像素子の画素数と前記第２の撮像光学系の焦点距離とで決まる前記第２の撮像部の空間分解能は、前記第１の撮像素子の画素数と前記第１の撮像光学系の焦点距離とで決まる前記第１の撮像部の各個眼の空間分解能とほぼ同じであることが望ましい。
【００９３】
第１の撮像部と第２の撮像部とで空間分解能が異なると、測距や測色の精度は、空間分解能が粗い側に律速されるため、空間分解能の相違による測距精度等の低下を回避することができる。
【００９４】
上記の撮像装置は、前記第２の撮像部にて撮像される前記被写体の単眼画像と、前記第１の撮像部にて前記基準フィルタを介して撮像される前記被写体の個眼画像とがほぼ同じ明るさとなるように、前記第２の撮像部および前記第１の撮像部における露光を制御する露光制御部をさらに備えていてもよい。
【００９５】
第２の撮像部で撮像される被写体の単眼画像と、第１の撮像部で撮像される被写体の個眼画像とで明るさが異なると、これらの画像を用いた測距や測色の精度が低下するため、明るさに起因する測距精度等の低下を回避することができる。
【００９６】
前記第２の撮像部は、前記第１の撮像部とは離れて位置していてもよい。この場合、第１の撮像部の基準フィルタに対応する第１の撮像光学系と、第２の撮像部の第２の撮像光学系との距離（基線長）を確実に長くして、測距精度等を確実に向上させることができる。
【００９７】
また、以上の各実施の形態で説明した被写体の測色方法は、以下のように表現することができ、これによって上述した撮像装置によって得られる効果と同様の効果を得ることができる。
【００９８】
以上で説明した被写体の測色方法は、所望の被写体を撮像する第１の撮像部であって、光軸と垂直な方向に並んで配置され、同一の視野を持ち前記被写体の像をそれぞれ形成する複数の第１の撮像光学系と、前記複数の第１の撮像光学系と対応して配置され、複数の分光特性を有する複数の第１の光学フィルタと、対応する位置関係にある前記第１の撮像光学系および前記第１の光学フィルタを介して形成された前記被写体の像をそれぞれ撮像する複数の撮像領域を有する第１の撮像素子とを含む、前記第１の撮像部を備えた撮像装置を用いた、被写体の測色値を求める測色方法であって、前記撮像装置はさらに、前記第１の撮像部の外部に位置する第２の撮像部であって、前記被写体の像を形成する第２の撮像光学系および第２の光学フィルタと、前記第２の撮像光学系および前記第２の光学フィルタを介して形成された前記被写体の像を撮像する第２の撮像素子とを有しており、前記第２の光学フィルタが、前記複数の第１の光学フィルタのいずれかを基準フィルタとして、その基準フィルタとほぼ同じ分光特性を有している前記第２の撮像部を備えており、前記測色方法は、前記第２の撮像素子にて撮像された前記被写体の単眼画像と、前記基準フィルタを介して前記第１の撮像素子にて撮像された前記被写体の個眼画像とを用いて、前記被写体までの距離を測定する工程（ステップ１２、ステップ１３）と、測定された前記距離と、前記第１の撮像素子にて、前記基準フィルタを介して撮像された前記被写体の前記個眼画像と、前記基準フィルタ以外の第１の光学フィルタを介して撮像された前記被写体の他の個眼画像とを用いて、前記基準フィルタ以外の前記第１の光学フィルタを透過する波長について前記被写体の測色値を求める工程（ステップ１４、ステップ１５）とを有している。
【００９９】
前記被写体までの距離を測定する工程では、前記基準フィルタを介して前記第１の撮像素子にて撮像された前記被写体の個眼画像における注目点と前記単眼画像上で対応する対応点の探索を、前記注目点をシフトさせながら行い（ステップ１２）、前記基準フィルタと対応した位置関係にある第１の撮像光学系と、前記第２の撮像光学系との距離と、前記第１の撮像光学系および前記第２の撮像光学系の各焦点距離と、前記第１の撮像光学系の光軸から前記第１の撮像素子における前記注目点に対応する画素までの距離と、前記第２の撮像光学系の光軸から前記第２の撮像素子における前記対応点に対応する画素までの距離とに基づいて、前記被写体上の各点の三次元位置を測定することにより、前記被写体までの距離を測定してもよい（ステップ１３）。
【０１００】
前記被写体の測色値を求める工程では、前記測距部にて測定された前記被写体上の各点の三次元位置から、前記基準フィルタを介して前記第１の撮像素子にて撮像された前記被写体の個眼画像における注目点と、前記他の個眼画像上で対応する対応点を検出し（ステップ１４）、前記対応点の画素値を、前記基準フィルタ以外の第１の光学フィルタを透過する波長についての測色値としてもよい（ステップ１５）。
【産業上の利用可能性】
【０１０１】
本発明の撮像装置は、例えば被写体の三次元形状の測定や、美容や医療分野での分光イメージングに利用可能である。
【符号の説明】
【０１０２】
１      第１の撮像部
２      第２の撮像部
３      測距部
４      測色部
５      全体制御部（露光制御部）
８      画像生成部
１０      撮像装置
１１、１１Ｒ、１１Ｇ、１１Ｂ      個眼レンズ（第１の撮像光学系）
１２、１２Ｒ、１２Ｇ、１２Ｂ、１２Ｘ、１２Ｙ、１２Ｚ      フィルタ（第１の光学フィルタ）
１３      撮像素子（第１の撮像素子）
１３Ｒ、１３Ｇ、１３Ｂ      撮像領域
２１      単眼レンズ（第２の撮像光学系）
２２、２２ａ      フィルタ（第２の光学フィルタ）
２３      撮像素子（第２の撮像素子）
【要約】
撮像装置（１０）は、被写体を撮像する第１の撮像部（１）と、第１の撮像部（１）の外部に位置して被写体を撮像する第２の撮像部（２）と、測距部（３）と、測色部（４）とを備える。測距部（３）は、第２の撮像部（２）の撮像素子（２３）にて撮像された被写体の単眼画像と、第１の撮像部（１）の基準フィルタを介して撮像素子（１３）にて撮像された被写体の個眼画像とを用いて、被写体までの距離を測定する。測色部（４）は、測距部（３）にて測定された距離と、上記撮像素子（１３）にて、基準フィルタを介して撮像された上記個眼画像と、基準フィルタ以外のフィルタを介して撮像された他の個眼画像とを用いて、基準フィルタ以外のフィルタを透過する波長について被写体の測色値を求める。【図１】
0005896090.tif 000003
【図２】
0005896090.tif 000004
【図３】
0005896090.tif 000005
【図４】
0005896090.tif 000006
【図５】
0005896090.tif 000007
【図６】
0005896090.tif 000008
【図７】
0005896090.tif 000009
【図８】
0005896090.tif 000010
【図９】
0005896090.tif 000011
【図１０】
0005896090.tif 000012
【図１１】
0005896090.tif 000013
【図１２】
0005896090.tif 000014