(57)【要約】【課題】  多視点画像を用いて被写体までの距離を高精度で安定的に判定することが可能な測距装置、方法及びプログラムを提供する。【解決手段】  測距装置１００は、第１の撮像部１０２−１及び第２の撮像部１０２−２を備えている。第１の撮像部１０２−１及び第２の撮像部１０２−２は、それぞれ広角画像と望遠画像を同時に撮像することが可能なライトフィールドカメラである。ステレオマッチング処理部１０６Ａは、第１の撮像部１０２−１により撮像された第１の広角画像データと第２の撮像部１０２−２により撮像された第２の広角画像データからなる広角ステレオ画像データと、第１の撮像部１０２−１により撮像された第１の望遠画像データと第２の撮像部１０２−２により撮像された第２の望遠画像データからなる望遠ステレオ画像データを用いて、測距装置１００から被写体までの距離の判定を含むステレオマッチング処理を行う。【選択図】  図１
2016045170.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点から被写体を撮像するための第１の撮像部及び第２の撮像部と、
画像取得手段と、
ステレオマッチング処理手段と、を備え、
前記第１の撮像部及び前記第２の撮像部は、
それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系であって、前記中央光学系と前記環状光学系のうちの一方の光学系は広角画像を撮像するための広角光学系であり、他方の光学系は望遠画像を撮像するための望遠光学系である撮影光学系と、
２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記広角光学系及び前記望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、
前記広角光学系を介して受光した広角画像を示す画像信号と前記望遠光学系を介して受光した望遠画像を示す画像信号とをそれぞれ前記指向性センサから取得する画像読み出し装置とを備え、
前記指向性センサは、像面位置における前記広角光学系及び前記望遠光学系の瞳形状に応じた指向特性のものを使用する撮像部であり、
前記画像取得手段は、前記第１の撮像部により撮像された第１の広角画像データと前記第２の撮像部により撮像された第２の広角画像データからなる広角ステレオ画像データと、前記第１の撮像部により撮像された第１の望遠画像データと前記第２の撮像部により撮像された第２の望遠画像データからなる望遠ステレオ画像データとを取得し、
前記ステレオマッチング処理手段は、前記広角ステレオ画像データと前記望遠ステレオ画像データをそれぞれ用いてステレオマッチング処理を行い、前記被写体までの距離を判定する測距装置。
【請求項２】
前記ステレオマッチング処理手段は、前記広角ステレオ画像データを用いたステレオマッチング処理の結果と、前記望遠ステレオ画像データを用いたステレオマッチング処理の結果とを比較して、前記ステレオマッチング処理の精度を判定する請求項１記載の測距装置。
【請求項３】
前記ステレオマッチング処理手段は、前記広角ステレオ画像データにおける距離の探索範囲が前記望遠ステレオ画像データにおける距離の探索範囲よりも、前記測距装置に対して近距離側になるように、探索対象の視差の範囲を設定する請求項１又は２記載の測距装置。
【請求項４】
前記ステレオマッチング処理手段は、前記広角ステレオ画像データ及び前記望遠ステレオ画像データの探索範囲の重複部分に対して、前記広角ステレオ画像データ及び前記望遠ステレオ画像データの両方を用いてステレオマッチング処理を行い、前記ステレオマッチング処理の結果が一致するか否かに基づいて前記ステレオマッチング処理の結果の精度を判定する請求項３記載の測距装置。
【請求項５】
前記ステレオマッチング処理手段は、探索対象の距離の範囲を設定し、前記設定された距離の範囲について前記広角ステレオ画像データを用いて探索を行い、前記広角ステレオ画像データを用いた探索の結果得られた距離に基づいて前記望遠ステレオ画像データを用いて探索を行う請求項１又は２記載の測距装置。
【請求項６】
複数の視点から被写体を撮像するための第１の撮像部と第２の撮像部とを備える測距装置を用いた測距方法であって、
第１及び第２の撮像部は、
それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系であって、前記中央光学系と前記環状光学系のうちの一方の光学系は広角画像を撮像するための広角光学系であり、他方の光学系は望遠画像を撮像するための望遠光学系である撮影光学系と、
２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記広角光学系及び前記望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、
前記広角光学系を介して受光した広角画像を示す画像信号と前記望遠光学系を介して受光した望遠画像を示す画像信号とをそれぞれ前記指向性センサから取得する画像読み出し装置とを備え、
前記指向性センサは、像面位置における前記広角光学系及び前記望遠光学系の瞳形状に応じた指向特性のものを使用する撮像部であり、
前記第１の撮像部により撮像された第１の広角画像データと前記第２の撮像部により撮像された第２の広角画像データからなる広角ステレオ画像データと、前記第１の撮像部により撮像された第１の望遠画像データと前記第２の撮像部により撮像された第２の望遠画像データからなる望遠ステレオ画像データとを取得する工程と、
前記広角ステレオ画像データと前記望遠ステレオ画像データをそれぞれ用いてステレオマッチング処理を行い、前記被写体までの距離を判定する工程と、
を備える測距方法。
【請求項７】
複数の視点から被写体を撮像するための第１の撮像部と第２の撮像部とを備える測距装置を用いた測距プログラムであって、
前記第１の撮像部及び前記第２の撮像部は、
それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系であって、前記中央光学系と前記環状光学系のうちの一方の光学系は広角画像を撮像するための広角光学系であり、他方の光学系は望遠画像を撮像するための望遠光学系である撮影光学系と、
２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記広角光学系及び前記望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、
前記広角光学系を介して受光した広角画像を示す画像信号と前記望遠光学系を介して受光した望遠画像を示す画像信号とをそれぞれ前記指向性センサから取得する画像読み出し装置とを備え、
前記指向性センサは、像面位置における前記広角光学系及び前記望遠光学系の瞳形状に応じた指向特性のものを使用する撮像部であり、
前記第１の撮像部により撮像された第１の広角画像データと前記第２の撮像部により撮像された第２の広角画像データからなる広角ステレオ画像データと、前記第１の撮像部により撮像された第１の望遠画像データと前記第２の撮像部により撮像された第２の望遠画像データからなる望遠ステレオ画像データとを取得する機能と、
前記広角ステレオ画像データと前記望遠ステレオ画像データをそれぞれ用いてステレオマッチング処理を行い、前記被写体までの距離を判定する機能と、
をコンピューターに実現させる測距プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は測距装置、方法及びプログラムに係り、特にステレオマッチング処理により被写体までの距離を判定する測距装置、方法及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、第１撮像部と第２撮像部を備えており、パノラマ画像や立体画像の撮影及び表示が可能なカメラが開示されている。特許文献１に記載のカメラでは、第１撮像部の第１ズームレンズを広角側に、第２撮像部の第２ズームレンズを望遠側に設定し、第１撮像部により得られたスルー画（第１スルー画）を表示部に表示する際に、第２撮像部の撮像範囲を表す枠の映像を第１スルー画に重畳表示することが可能となっている。この枠の合成位置と大きさは、カメラから被写体までの距離に基づいて決定されるようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２０６６４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の多眼カメラでは、各撮像部により得られた多視点画像中に対応点をそれぞれ設定し、この対応点を用いて被写体までの距離を判定すること（３次元計測処理）が行われている。しかしながら、従来の多眼カメラでは、多視点画像中の対応点の間の視差が十分でない場合等には、ステレオマッチング処理を正確に行うことができなかった。
【０００５】
本発明はこのような事情に鑑みてなされたもので、多視点画像を用いて被写体までの距離を高精度で安定的に判定することが可能な測距装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明の第１の態様に係る測距装置は、複数の視点から被写体を撮像するための第１の撮像部及び第２の撮像部と、画像取得手段と、ステレオマッチング処理手段と、を備え、第１の撮像部及び第２の撮像部は、それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系であって、中央光学系と環状光学系のうちの一方の光学系は広角画像を撮像するための広角光学系であり、他方の光学系は望遠画像を撮像するための望遠光学系である撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、広角光学系を介して受光した広角画像を示す画像信号と望遠光学系を介して受光した望遠画像を示す画像信号とをそれぞれ指向性センサから取得する画像読み出し装置とを備え、指向性センサは、像面位置における広角光学系及び望遠光学系の瞳形状に応じた指向特性のものを使用する撮像部であり、画像取得手段は、第１の撮像部により撮像された第１の広角画像データと第２の撮像部により撮像された第２の広角画像データからなる広角ステレオ画像データと、第１の撮像部により撮像された第１の望遠画像データと第２の撮像部により撮像された第２の望遠画像データからなる望遠ステレオ画像データとを取得し、ステレオマッチング処理手段は、広角ステレオ画像データと望遠ステレオ画像データをそれぞれ用いてステレオマッチング処理を行い、被写体までの距離を判定するようにしたものである。
【０００７】
本発明の第２の態様に係る測距装置は、第１の態様において、ステレオマッチング処理手段は、広角ステレオ画像データを用いたステレオマッチング処理の結果と、望遠ステレオ画像データを用いたステレオマッチング処理の結果とを比較して、ステレオマッチング処理の精度を判定するようにしたものである。
【０００８】
本発明の第３の態様に係る測距装置は、第１又は第２の態様において、ステレオマッチング処理手段は、広角ステレオ画像データにおける距離の探索範囲が望遠ステレオ画像データにおける距離の探索範囲よりも、測距装置に対して近距離側になるように、探索対象の視差の範囲を設定するようにしたものである。
【０００９】
本発明の第４の態様に係る測距装置は、第３の態様において、ステレオマッチング処理手段は、広角ステレオ画像データ及び望遠ステレオ画像データの探索範囲の重複部分に対して、広角ステレオ画像データ及び望遠ステレオ画像データの両方を用いてステレオマッチング処理を行い、ステレオマッチング処理の結果が一致するか否かに基づいてステレオマッチング処理の結果の精度を判定するようにしたものである。
【００１０】
本発明の第５の態様に係る測距装置は、第１又は第２の態様において、ステレオマッチング処理手段は、探索対象の距離の範囲を設定し、設定された距離の範囲について広角ステレオ画像データを用いて探索を行い、広角ステレオ画像データを用いた探索の結果得られた距離に基づいて望遠ステレオ画像データを用いて探索を行うようにしたものである。
【００１１】
本発明の第６の態様に係る測距方法は、複数の視点から被写体を撮像するための第１の撮像部と第２の撮像部とを備える測距装置を用いた測距方法であって、第１及び第２の撮像部は、それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系であって、中央光学系と環状光学系のうちの一方の光学系は広角画像を撮像するための広角光学系であり、他方の光学系は望遠画像を撮像するための望遠光学系である撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、広角光学系を介して受光した広角画像を示す画像信号と望遠光学系を介して受光した望遠画像を示す画像信号とをそれぞれ指向性センサから取得する画像読み出し装置とを備え、指向性センサは、像面位置における広角光学系及び望遠光学系の瞳形状に応じた指向特性のものを使用する撮像部であり、第１の撮像部により撮像された第１の広角画像データと第２の撮像部により撮像された第２の広角画像データからなる広角ステレオ画像データと、第１の撮像部により撮像された第１の望遠画像データと第２の撮像部により撮像された第２の望遠画像データからなる望遠ステレオ画像データとを取得する工程と、広角ステレオ画像データと望遠ステレオ画像データをそれぞれ用いてステレオマッチング処理を行い、被写体までの距離を判定する工程とを備える。
【００１２】
本発明の第７の態様は、複数の視点から被写体を撮像するための第１の撮像部と第２の撮像部とを備える測距装置を用いた測距プログラムであって、第１及び第２の撮像部は、それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系であって、中央光学系と環状光学系のうちの一方の光学系は広角画像を撮像するための広角光学系であり、他方の光学系は望遠画像を撮像するための望遠光学系である撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、広角光学系を介して受光した広角画像を示す画像信号と望遠光学系を介して受光した望遠画像を示す画像信号とをそれぞれ指向性センサから取得する画像読み出し装置とを備え、指向性センサは、像面位置における広角光学系及び望遠光学系の瞳形状に応じた指向特性のものを使用する撮像部であり、第１の撮像部により撮像された第１の広角画像データと第２の撮像部により撮像された第２の広角画像データからなる広角ステレオ画像データと、第１の撮像部により撮像された第１の望遠画像データと第２の撮像部により撮像された第２の望遠画像データからなる望遠ステレオ画像データとを取得する機能と、広角ステレオ画像データと望遠ステレオ画像データをそれぞれ用いてステレオマッチング処理を行い、被写体までの距離を判定する機能とをコンピューターに実現させる。
【発明の効果】
【００１３】
本発明によれば、第１の撮像部及び第２の撮像部により広角ステレオ画像データ及び望遠ステレオ画像データを同時に取得し、広角ステレオ画像データ及び望遠ステレオ画像データを用いて被写体距離の判定と、被写体距離の精度の判定を行うことができるので、より高精度で安定性の高いステレオマッチング処理を行うことが可能になる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の一実施形態に係る測距装置を示すブロック図である。
【図２】図２は、撮像部を示す断面図である。
【図３】図３は、マイクロレンズアレイ及びイメージセンサの要部拡大図である。
【図４】図４は、イメージセンサ１８に配設されたカラーフィルタ配列等を示す図である。
【図５】図５は、撮像部を示すブロック図である。
【図６】図６は、ステレオマッチング処理により被写体の距離情報を判定する工程の第１の実施形態を説明するためのグラフである。
【図７】図７は、ステレオマッチング処理により被写体距離の判定を行う処理の第１の実施形態を示すフローチャートである。
【図８】図８は、ステレオマッチング処理により被写体距離を判定する工程の第２の実施形態を説明するためのグラフである。
【図９】図９は、ステレオマッチング処理により被写体距離を判定する処理の流れの第２の実施形態を示すフローチャートである。
【図１０】図１０は、本発明に係る測距装置が適用された車載カメラを示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、添付図面に従って本発明に係る測距装置、方法及びプログラムの実施の形態について説明する。
【００１６】
［測距装置の構成］
図１は、本発明の一実施形態に係る測距装置を示すブロック図である。
【００１７】
図１に示すように、本実施形態に係る測距装置１００は、第１の撮像部１０２−１及び第２の撮像部１０２−２を備えている。第１の撮像部１０２−１及び第２の撮像部１０２−２は、水平方向に並べて配置されており、複数の（左右の）視点から同一の被写体を撮像することによりステレオ画像の撮像が可能となっている。第１の撮像部１０２−１及び第２の撮像部１０２−２は、それぞれ広角画像と望遠画像を同時に撮像することが可能なライトフィールドカメラ（Light Field Camera）である。なお、第１の撮像部１０２−１及び第２の撮像部１０２−２の構成については後述する。
【００１８】
さらに、測距装置１００は、画像取得部１０４、ＣＰＵ（Central Processing Unit）１０６、操作部１０８、メモリ（ＳＤＲＡＭ；Synchronous Dynamic Random Access Memory）１１０、画像処理部１１２、圧縮伸張処理部１１４、記録部１１６、ビデオエンコーダ１１８、表示部１２０及び外部接続インターフェース（外部接続Ｉ／Ｆ）１２２を備えている。
【００１９】
ＣＰＵ１０６は、操作部１０８を介して操作者からの指示入力を受け付けて、バスＢｕｓ１を介して測距装置１００の各部に指令を送信して各部を統括制御する。
【００２０】
メモリ１１０は、ＣＰＵ１０６が実行する制御プログラムの展開・作業領域や、第１の撮像部１０２−１、第２の撮像部１０２−２から入力される画像データが保存される一時記憶領域として使用される。
【００２１】
ＣＰＵ１０６は、第１の撮像部１０２−１を制御して、第１の広角画像データ及び第１の望遠画像データの撮像を行うとともに、第２の撮像部１０２−２を制御して、第２の広角画像データ及び第２の望遠画像データの撮像を行う。
【００２２】
第１の撮像部１０２−１により撮像された第１の広角画像データと第２の撮像部１０２−２により撮像された第２の広角画像データは、広角ステレオ画像データとして画像取得部（画像取得手段）１０４に一時保持される。また、第１の撮像部１０２−１により撮像された第１の望遠画像データと第２の撮像部１０２−２により撮像された第２の望遠画像データは、望遠ステレオ画像データとして画像取得部１０４に一時保持される。
【００２３】
ＣＰＵ１０６は、画像処理部１１２を制御して、各画像データを用いて所定の処理（後述）を行う。所定の処理が施された画像データは、圧縮伸張処理部１１４により所定の形式に圧縮されて記録部１１６に記録される。
【００２４】
ＣＰＵ１０６は、ステレオマッチング処理部（ステレオマッチング処理手段）１０６Ａを備えており、広角ステレオ画像データ及び望遠ステレオ画像データを用いて、測距装置１００から被写体までの距離（被写体距離）の判定を含むステレオマッチング処理ないし３次元計測処理を行う。ステレオマッチング処理部１０６Ａは、広角ステレオ画像データの第１の広角画像データと第２の広角画像データの間で対応する画素である対応点を探索し（ステレオマッチング）、対応する画素の間の（水平方向の）位置の差（視差）を算出し、この視差に三角測量の原理を適用することにより、第１の撮像部１０２−１又は第２の撮像部１０２−２から当該画素に対応する被写体上の点までの距離を計測することができる。また、ステレオマッチング処理部１０６Ａは、望遠ステレオ画像データの第１の望遠画像データと第２の望遠画像データの間で対応する画素である対応点を探索し（ステレオマッチング）、対応する画素の間の（水平方向の）位置の差（視差）を算出し、この視差に三角測量の原理を適用することにより、第１の撮像部１０２−１又は第２の撮像部１０２−２から当該画素に対応する被写体上の点までの距離を計測することができる。
【００２５】
［撮像部の構成］
次に、第１の撮像部１０２−１及び第２の撮像部１０２−２の構成について説明する。なお、第１の撮像部１０２−１及び第２の撮像部１０２−２はほぼ同じであるため、以下の説明では１つの撮像部１１として説明する。
【００２６】
図２は、撮像部を示す断面図である。
【００２７】
図２に示すように、撮像部１１は、撮影光学系１２と指向性センサ１７とを含んでいる。
【００２８】
＜撮影光学系＞
撮影光学系１２は、それぞれ同一の光軸上に配置された、第１の光学系としての中央部の中央光学系１３と、その周辺部の同心円状の第２の光学系としての環状光学系１４とを含んでいる。
【００２９】
中央光学系１３は、第１レンズ１３ａ、第２レンズ１３ｂ、第３レンズ１３ｃ、第４レンズ１３ｄ、及び共通レンズ１５から構成された広角光学系（広角レンズ）であり、指向性センサ１７を構成するマイクロレンズアレイ１６上に広角画像を結像させる。
【００３０】
環状光学系１４は、第１レンズ１４ａ、第２レンズ１４ｂ、反射光学系としての第１反射ミラー１４ｃ、第２反射ミラー１４ｄ、及び共通レンズ１５から構成された望遠光学系（望遠レンズ）であり、マイクロレンズアレイ１６上に望遠画像を結像させる。第１レンズ１４ａ、及び第２レンズ１４ｂを介して入射した光束は、第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより２回反射された後、共通レンズ１５を通過する。第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより光束が折り返されることにより、焦点距離の長い望遠光学系（望遠レンズ）の光軸方向の長さを短くしている。
【００３１】
＜指向性センサ＞
指向性センサ１７は、マイクロレンズアレイ１６とイメージセンサ１８とを含んでいる。
【００３２】
図３は、マイクロレンズアレイ及びイメージセンサの要部拡大図である。
【００３３】
マイクロレンズアレイ１６は、複数のマイクロレンズ（瞳結像レンズ）１６ａが２次元状に配列されて構成されている。各マイクロレンズの水平方向及び垂直方向の間隔は、イメージセンサ１８の光電変換素子である受光セル１８ａの３つ分の間隔に対応している。即ち、マイクロレンズアレイ１６の各マイクロレンズは、水平方向及び垂直方向の各方向に対して、２つ置きの受光セルの位置に対応して形成されたものが使用される。
【００３４】
また、マイクロレンズアレイ１６の各マイクロレンズ１６ａは、撮影光学系１２の中央光学系１３及び環状光学系１４に対応する、円形の中央瞳像（第１の瞳像）１７ａ及び環状瞳像（第２の瞳像）１７ｂを、イメージセンサ１８の対応する受光領域の受光セル１８ａ上に結像させる。
【００３５】
図３に示すマイクロレンズアレイ１６及びイメージセンサ１８によれば、マイクロレンズアレイ１６の１マイクロレンズ１６ａ当たりに付き、格子状（正方格子状）の３×３個の受光セル１８ａが割り付けられている。以下、１つのマイクロレンズ１６ａ及び１つのマイクロレンズ１６ａに対応する受光セル群（３×３個の受光セル１８ａ）を単位ブロックという。
【００３６】
中央瞳像１７ａは、単位ブロックの中央の受光セル１８ａのみに結像し、環状瞳像１７ｂは、単位ブロックの周囲の８個の受光セル１８ａに結像する。
【００３７】
上記構成の撮像部１１によれば、後述するように中央光学系１３に対応する広角画像と、環状光学系１４に対応する望遠画像とを同時に撮像することができる。
【００３８】
［イメージセンサの実施形態］
図４は、イメージセンサに配設されたカラーフィルタ配列等を示す図である。なお、図４上で、マイクロレンズアレイ１６は省略されているが、円形で示した領域は、マイクロレンズアレイ１６の各マイクロレンズ１６ａにより瞳像が結像される３×３個の受光セルを含む単位ブロックを示している。
【００３９】
図４（ａ）に示すようにイメージセンサ１８の撮像面上には、各受光セル上に配設されたカラーフィルタにより構成されるカラーフィルタ配列が設けられる。
【００４０】
このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各波長域の光を透過させる３原色のカラーフィルタ（以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタという）により構成されている。そして、各受光セル上には、ＲＧＢフィルタのいずれかが配置される。以下、Ｒフィルタが配置された受光セルを「Ｒ受光セル」、Ｇフィルタが配置された受光セルを「Ｇ受光セル」、Ｂフィルタが配置された受光セルを「Ｂ受光セル」という。
【００４１】
図４（ａ）に示すカラーフィルタ配列は、６×６個の受光セルを基本ブロックＢ（図４（ａ）の太枠で示したブロック、及び図４（ｂ）参照）とし、基本ブロックＢが水平方向及び垂直方向に繰り返し配置されて構成されている。
【００４２】
図４（ｂ）に示すように基本ブロックＢは、４個の単位ブロックＢ１〜Ｂ４により構成されている。
【００４３】
図４（ｃ１）及び（ｃ２）は、それぞれ４個の単位ブロックＢ１〜Ｂ４の中央の受光セル（図３に示した中央光学系１３を通過した光束が入射する受光セル）のグループと、周囲の８個の受光セル（図３に示した環状光学系１４を通過した光速が入射する受光セル）のグループとを示す。
【００４４】
図４（ｃ１）に示すように中央の受光セルのグループの画像は、ベイヤ配列のモザイク画像となる。これにより、ベイヤ配列のモザイク画像をデモザイク処理することにより、カラー画像を得ることができる。
【００４５】
一方、図４（ｃ２）に示すように、単位ブロックＢ１〜Ｂ４の各中央の受光セルの周囲の８個の受光セルのグループは、８個の受光セル内にＲＧＢの全ての受光セル（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）を含み、かつ単位ブロックＢ１〜Ｂ４にかかわらず、ＲＧＢの受光セルが同じパターンで配置されている。
【００４６】
具体的には、各単位ブロックＢ１〜Ｂ４の４隅の４つの受光セルは、Ｇ受光セルが配置され、中央の受光セルを挟んで上下の２個の受光セルは、Ｒ受光セルが配置され、中央の受光セルを挟んで左右の２個の受光セルは、Ｂ受光セルが配置されている。
【００４７】
また、Ｒ受光セル、Ｇ受光セル、及びＢ受光セルは、それぞれ単位ブロックの中央の受光セル（中心）に対して対称位置に配置されている。これにより、単位ブロック内のＲＧＢの受光セルの出力信号を使用して、その単位ブロック毎のデモザイク処理（同時化処理）後の、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。
【００４８】
即ち、単位ブロック内の４個のＧ受光セルの出力信号（画素値）の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置におけるＧ画素の画素値を取得することができ、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置におけるＲ画素及びＢ画素の画素値を取得することができる。
【００４９】
これにより、単位ブロックの周囲の８個の受光セルのグループにより生成される、環状光学系１４（望遠光学系）に対応する望遠画像については、単位ブロック内のＲＧＢの受光セルの画素値を使用してデモザイク処理を行うことができる。そして、周囲の単位ブロックの受光セルの画素値を補間して特定の波長域の画素の画素値を生成する必要がなく、出力画像の解像度（実質的な画素数）を低下させることがない。
【００５０】
図５は、撮像部を示すブロック図である。
【００５１】
図５に示すように、撮像部１１は、図２で説明した中央光学系１３及び環状光学系１４を有する撮影光学系１２と、図３及び図４で説明したマイクロレンズアレイ１６及びイメージセンサ１８を有する指向性センサ１７とを備えている。
【００５２】
この撮像部１１は、望遠光学系（環状光学系１４）の焦点調整を行う焦点調整部１９を備えることが好ましい。焦点調整部１９は、例えば、環状光学系１４の全体又は一部の光学系を光軸方向に移動させるボイスコイルモータ等により構成することができる。また、望遠画像の合焦の判断は、望遠画像の焦点検出領域のコントラストにより行うことができるが、焦点調整方法はこれに限定されない。なお、広角光学系（中央光学系１３）については、別途、焦点調整部を設けるようにしてよいし、パンフォーカスとしてもよい。
【００５３】
撮像部１１は、撮影光学系１２及び指向性センサ１７を介して時系列の広角画像及び望遠画像を撮像する。撮影光学系１２を介して指向性センサ１７（イメージセンサ１８）の各受光セル（光電変換素子）の受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。
【００５４】
イメージセンサ１８に蓄積された信号電圧（または電荷）は、受光セルそのもの若しくは付設されたキャパシタに蓄えられる。蓄えられた信号電圧（または電荷）は、Ｘ−Ｙアドレス方式を用いたＭＯＳ（Metal Oxide Semiconductor）型撮像素子（いわゆるＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ）の手法を用いて、受光セル位置の選択とともに読み出される。
【００５５】
これにより、イメージセンサ１８から中央光学系１３に対応する中央の受光セルのグループの広角画像を示す画素信号と、環状光学系１４に対応する周囲８個の受光セルのグループの望遠画像を示す画素信号とを読み出すことができる。なお、イメージセンサ１８からは、所定のフレームレート（例えば、１秒当たりのフレーム数２４ｐ，３０ｐ，又は６０ｐ）で、広角画像及び望遠画像を示す画素信号が連続して読み出される。
【００５６】
イメージセンサ１８から読み出された画素信号（電圧信号）は、相関二重サンプリング処理（センサ出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、受光セル毎の出力信号に含まれるフィードスルー成分レベルと信号成分レベルとの差をとることにより正確な画素データを得る処理）により受光セル毎の画素信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力する画素信号をデジタル信号に変換して画像取得部１０４に出力する。尚、ＭＯＳ型センサでは、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、イメージセンサ１８から直接デジタル信号が出力される。
【００５７】
画像取得部１０４は、イメージセンサ１８の受光セル位置を選択して画素信号を読み出すことにより、広角画像を示す画素信号と望遠画像を示す画素信号とを同時に、又は選択的に取得することができる。
【００５８】
即ち、イメージセンサ１８の中央瞳像１７ａが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり１個の受光セル（３×３の受光セルの中央の受光セル）の広角画像を示す画素信号（ベイヤ配列のモザイク画像を示す画素信号）を取得することができる。一方、イメージセンサ１８の環状瞳像１７ｂが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり８個の受光セル（３×３の受光セルの周囲の受光セル）の望遠画像を示す画素信号を取得することができる。
【００５９】
なお、イメージセンサ１８から全ての画素信号を読み出してバッファメモリに一時的に記憶させ、バッファメモリに記憶させた画素信号から、広角画像と望遠画像の２つ画像の画素信号のグループ分けを行ってもよい。
【００６０】
画像取得部１０４により取得された広角画像及び望遠画像を示す画素信号は画像処理部１１２に出力される。
【００６１】
画像処理部１１２は、入力するデジタルの画素信号（ＲＧＢの点順次のＲ信号、Ｇ信号、Ｂ信号）に対して、オフセット処理、ガンマ補正処理、及びＲＧＢのモザイク画像の信号に対するデモザイク処理等の所定の信号処理を行う。ここで、デモザイク処理とは、単板式のイメージセンサ１８のカラーフィルタ配列に対応したＲＧＢのモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなるイメージセンサ１８の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。
【００６２】
即ち、画像処理部１１２に含まれるデモザイク処理部は、広角画像（ベイヤ配列のモザイク画像）のＧ受光セルの位置には、Ｒ受光セル、Ｂ受光セルが無いため、そのＧ受光セルの周囲のＲ受光セル、Ｂ受光セルのＲ信号、Ｂ信号をそれぞれ補間して、Ｇ受光セルの位置におけるＲ信号、Ｂ信号を生成する。同様に、モザイク画像のＲ受光セルの位置には、Ｇ受光セル、Ｂ受光セルが無いため、そのＲ受光セルの周囲のＧ受光セル、Ｂ受光セルのＧ信号、Ｂ信号をそれぞれ補間してＲ受光セルの位置におけるＧ信号、Ｂ信号を生成し、また、モザイク画像のＢ受光セルの位置には、Ｇ受光セル、Ｒ受光セルが無いため、そのＢ受光セルの周囲のＧ受光セル、Ｒ受光セルのＧ信号、Ｒ信号をそれぞれ補間してＢ受光セルの位置におけるＧ信号、Ｒ信号を生成する。
【００６３】
一方、望遠画像は、図４（ｃ２）に示したように１マイクロレンズ１６ａ当たり８個（３×３の単位ブロックの周囲８個）のモザイク画像からなり、かつ８個の受光セル内には、ＲＧＢの全ての色情報（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）が含まれているため、画像処理部１１２は、単位ブロック内の８個の受光セルの出力信号を使用して単位ブロック毎にデモザイク処理した、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。
【００６４】
具体的には、望遠画像のモザイク画像をデモザイク処理するデモザイク処理部は、単位ブロック内の４個のＧ受光セルの画素値の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置における画素のＧの画素値を算出し、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置における画素のＲの画素値及びＢの画素値を算出する。
【００６５】
上記デモザイク処理部により生成される広角画像及び望遠画像の２つのデモザイク画像のうちの望遠画像のデモザイク画像は、単位ブロック内の８個の受光セルの出力信号を使用してデモザイク処理が行われるため、周囲の単位ブロックの受光セルの出力信号を使用（補間）してデモザイク処理が行われる広角画像のデモザイク画像よりも解像度が実質的に高いものとなる。
【００６６】
また、画像処理部１１２は、デモザイク処理部によりデモザイク処理されたＲＧＢの色情報（Ｒ信号、Ｇ信号、Ｂ信号）から輝度信号Ｙと色差信号Ｃｂ，Ｃｒを生成するＲＧＢ／ＹＣ変換等を行い、所定のフレームレートの広角画像及び望遠画像を示す動画記録用及び動画表示用の画像信号を生成する。
【００６７】
画像処理部１１２で処理された広角画像及び望遠画像を示す画像信号は、記録部１１６に出力される。記録部１１６は、広角画像及び望遠画像を示す記録用の画像信号を記録媒体（ハードディスク、メモリカード等）に記録する。
【００６８】
また、画像処理部１１２で処理された広角画像及び望遠画像を示す表示用の画像信号は、ビデオエンコーダ１１８を介して表示部１２０に出力することが可能である。表示部１２０としては、パララックスバリア表示層を備え、このパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させ、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで擬似的な立体視を可能にするものを採用することができる。また、表示用の画像信号は、外部接続Ｉ／Ｆ１２２を介して外部ディスプレイに表示させることも可能である。
【００６９】
［ステレオマッチング処理の第１の実施形態］
図６は、ステレオマッチング処理により被写体の距離情報を判定する工程の第１の実施形態を説明するためのグラフである。
【００７０】
図６において、横軸はステレオ画像における被写体の視差を示しており、縦軸は被写体距離を示している。図６の曲線Ｃ１は広角ステレオ画像データにおける被写体距離と視差の関係を示しており、曲線Ｃ２は望遠ステレオ画像データにおける被写体距離と視差の関係を示している。なお、被写体距離と視差との間には、（被写体距離）∝（焦点距離）×（カメラ間隔）／（視差）の関係がある。すなわち、被写体距離と視差は反比例の関係にある。
【００７１】
ステレオマッチング処理において同じ視差範囲Ｐ１０を探索したとき、広角ステレオ画像データと望遠ステレオ画像データでは探索対象となる距離範囲が異なる。図６に示すように、広角ステレオ画像データで探索対象となる第１の距離範囲Ｄ１０は望遠ステレオ画像データで探索対象となる第２の距離範囲Ｄ１２よりも近距離側になる。したがって、広角ステレオ画像データではより近距離にある被写体の探索を行い、望遠ステレオ画像データからはより遠距離の被写体の探索を行う。
【００７２】
なお、本実施形態では、広角ステレオ画像データと望遠ステレオ画像データにおける探索対象の視差範囲Ｐ１を同じにしたが、探索対象の視差範囲を異ならせてもよい。広角ステレオ画像データではより近距離にある被写体の距離の探索、望遠ステレオ画像データでは広角ステレオ画像データの場合よりも遠距離にある被写体の距離の探索がなされていればよい。
【００７３】
また、図６に示すように、第１の距離範囲Ｄ１０と第２の距離範囲Ｄ１２の重複部分Ｄ１４については、広角ステレオ画像データと望遠ステレオ画像データの両方でステレオマッチングを行い、両ステレオ画像データから得られた被写体距離が一致しているか否か（例えば、両ステレオ画像データから得られた被写体距離の差の被写体距離に対する比の値が所定値以下である否か）を判定することにより、ステレオマッチング処理の結果が適切であるかどうかを判定することもできる。
【００７４】
図７は、ステレオマッチング処理により被写体距離の判定を行う処理の第１の実施形態を示すフローチャートである。
【００７５】
まず、第１の撮像部１０２−１及び第２の撮像部１０２−２により広角ステレオ画像データ及び望遠ステレオ画像データを取得する（ステップＳ１０）。
【００７６】
次に、探索対象の視差範囲Ｐ１０を設定し（ステップＳ１２）、広角ステレオ画像データと望遠ステレオ画像データのそれぞれについて、視差範囲Ｐ１０に対応する距離範囲Ｄ１０、Ｄ１２の探索を行い、被写体ごとに当該被写体までの距離を判定する（ステップＳ１４）。
【００７７】
次に、距離範囲の重複部分Ｄ１４に対応する被写体について、広角ステレオ画像データ及び望遠ステレオ画像データに基づいて求めた被写体距離の一致度を算出し、この一致度に基づいて被写体距離の精度を判定する（ステップＳ１６）。なお、ステップＳ１６において被写体距離の精度に関する情報は、広角ステレオ画像データ及び望遠ステレオ画像データと関連付けられて（例えば、各画像データのタグ情報として）記録部１１６に記録される。
【００７８】
本実施形態によれば、第１の撮像部１０２−１及び第２の撮像部１０２−２により広角ステレオ画像データ及び望遠ステレオ画像データを同時に取得し、広角ステレオ画像データ及び望遠ステレオ画像データを用いて被写体距離の判定と、被写体距離の精度の判定を行うことができるので、より高精度で安定性の高いステレオマッチング処理を行うことが可能になる。
【００７９】
［ステレオマッチング処理の第２の実施形態］
図８は、ステレオマッチング処理により被写体距離を判定する工程の第２の実施形態を説明するためのグラフである。
【００８０】
図８に示すように、探索対象の距離範囲Ｄ２０については、望遠ステレオ画像データの場合の探索対象の視差範囲Ｐ２２が広角ステレオ画像データの視差範囲Ｐ２０よりも広く、計測距離の分解能が高くなる。このため、まず、広角ステレオ画像データにおいてステレオマッチング処理を行った後に、視差範囲Ｐ２０とＰ２２の重複部分Ｐ２４について望遠ステレオ画像データを用いてステレオマッチング処理を行う。重複部分Ｐ２４についてステレオマッチング処理を行う際には、広角ステレオ画像データにおけるステレオマッチング処理の結果判定された視差を用いて、この視差に対応する被写体距離の周辺（前後）の部分（例えば、被写体距離との比の値が数％以内の領域）のみについてステレオマッチング処理を行う。これにより、視差範囲Ｐ２２全体を望遠ステレオ画像データで探索するよりも高速に、広角ステレオ画像データから探索するよりも高分解能で探索することができる。
【００８１】
そして、重複部分Ｐ１４に対応する距離範囲に対して、広角ステレオ画像データと望遠ステレオ画像データの両方でステレオマッチングを行い、両ステレオ画像データから得られた被写体距離が一致しているか否かを判定することにより、ステレオマッチング処理の結果が適切であるかどうかを判定することもできる。
【００８２】
図９は、ステレオマッチング処理により被写体距離を判定する処理の第２の実施形態を示すフローチャートである。
【００８３】
まず、第１の撮像部１０２−１及び第２の撮像部１０２−２により広角ステレオ画像データ及び望遠ステレオ画像データを取得する（ステップＳ２０）。
【００８４】
次に、探索対象の距離範囲Ｄ２０を設定し（ステップＳ２２）、広角ステレオ画像データを用いて、距離範囲Ｄ２０に対応する視差範囲Ｐ２０の探索を行い、被写体までの距離を判定する（ステップＳ２４）。
【００８５】
次に、望遠ステレオ画像データを用いて、ステップＳ２４で求めた被写体距離及びこの被写体距離の前後の範囲に対応する視差範囲の探索を行い（ステップＳ２６）、被写体距離を判定する（ステップＳ２８）。
【００８６】
本実施形態によれば、広角ステレオ画像データで被写体距離を探索した結果を用いて、望遠ステレオ画像データを用いた被写体距離の探索を行うようにしたので、短時間かつ高精度で被写体距離を判定することができる。
【００８７】
［車載カメラ］
図１０は、本発明に係る測距装置が適用された車載カメラを示すブロック図である。
【００８８】
図１０に示す車載カメラ１００Ａは、第１の撮像部１０２−１及び第２の撮像部１０２−２を含んでいる。第１の撮像部１０２−１及び第２の撮像部１０２−２は、例えば、車両の運転席の天井に車両前方を左右の視点から撮像可能なように設置される。なお、図１０に示す車載カメラ１００Ａの構成であって、図１と同様の構成については同一の符号を付して説明を省略する。
【００８９】
図１０に示すように、車載カメラ１００Ａは、バスＢｕｓ２を介して車両制御部２００と接続している。車載カメラ１００Ａは、前方を走行する車両や、前方の障害物との間の距離を上記のステレオマッチング処理により、所定時間ごとに判定する。車載カメラ１００Ａによる距離の判定結果は、バスＢｕｓ２を介して車両制御部２００に送信される。
【００９０】
車両制御部２００は、運転制御部２０２、演算部２０４、アクセル／ブレーキ制御部２０６及び報知部２０８を備えている。
【００９１】
演算部２０４は、車載カメラ１００Ａから送信される測距結果に基づいて、前方を走行する車両等との間の相対速度を算出する。
【００９２】
運転制御部２０２は、車載カメラ１００Ａから送信される測距結果、及び演算部２０４による演算結果に基づいて、アクセル／ブレーキ制御部２０６及び報知部２０８に指令を送る。例えば、前方を走行する車両等との間の距離が所定値未満の場合、又は前方を走行する車両等との間の相対速度がマイナスの場合、運転制御部２０２は、アクセル／ブレーキ制御部２０６を制御して運転速度を落とすとともに、報知部２０８により運転者に対して光や音等の警告を報知する。また、例えば、前方を走行する車両等との間の距離が十分に離れている場合であって、前方を走行する車両等との間の相対速度がプラスの場合に、運転制御部２０２は、アクセル／ブレーキ制御部２０６を制御して運転速度を上げることができる。
【００９３】
本実施形態によれば、上記測距装置を用いることにより、前方を走行する車両等との間の距離をより正確かつ安定的に判定することができるので、前方を走行する車両等との運転間隔の制御をより正確に行うことが可能になる。
【００９４】
なお、第１の撮像部１０２−１及び第２の撮像部１０２−２の設置場所は上記に限定されるものではない。第１の撮像部１０２−１及び第２の撮像部１０２−２は、車両の運転席の天井に車両後方を撮像可能に設置されていてもよいし、運転席の外側に設置されていてもよい。また、撮像部は、車両前方と車両後方の両方を撮像して、前後の運転間隔を制御可能にするために２組設置されていてもよい。
【００９５】
また、第１の撮像部１０２−１及び第２の撮像部１０２−２の個数は左右２つに限定されるものではない。
【００９６】
また、本発明の各態様は、第１の撮像部１０２−１及び第２の撮像部１０２−２により撮像された画像が入力されたデバイスに、上記の処理を行わせるためのコンピューター読取可能なプログラムコード、該プログラムコードが格納される非一時的（non-transitory）かつコンピューター読取可能な記録媒体（例えば、光ディスク（例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc））、磁気ディスク（例えば、ハードディスク、光磁気ディスク）、ＵＳＢ（Universal Serial Bus）メモリ）、および該方法のための実行可能なコードを格納するコンピューター・プログラム・プロダクトとして提供することが可能である。
【符号の説明】
【００９７】
１００：測距装置、１０２−１、１０２−２：撮像部（ライトフィールドカメラ）、１０４：画像取得部、１０６：ＣＰＵ、１０６Ａ：ステレオマッチング処理部、１０８：操作部、１１０：メモリ（ＳＤＲＡＭ）、１１２：画像処理部、１１４：圧縮伸張処理部、１１６：記録部、１１８：ビデオエンコーダ、１２０：表示部、１２２：外部接続Ｉ／Ｆ、１００Ａ：車載カメラ、２００：車両制御部
【図１】
2016045170.tif 000003
【図２】
2016045170.tif 000004
【図３】
2016045170.tif 000005
【図４】
2016045170.tif 000006
【図５】
2016045170.tif 000007
【図６】
2016045170.tif 000008
【図７】
2016045170.tif 000009
【図８】
2016045170.tif 000010
【図９】
2016045170.tif 000011
【図１０】
2016045170.tif 000012