(57)【要約】【課題】低コストでｍｍ単位の超近距離から１００ｍ超の遠方測距までの距離測定を高精度に実現することができ、距離測定を効率的に行える撮像装置を実現する。【解決手段】本発明の撮像装置１０は、同一平面上に配置された複数のレンズを有するレンズアレイ２−１〜２−４を利用して構成した複眼カメラ１−１〜１−４を複数台、１台の筐体５に搭載し、それら複数台の複眼カメラ１−１〜１−４によって撮像された画像を利用して測距することができることを特徴とする。すなわち本発明の撮像装置１０では、同一平面上に配置された複数のレンズを有するレンズアレイを利用して１台のセンサでｍｍ単位を測距することができる複眼カメラを用い、この複眼カメラを一定の距離を置いて複数台、１つの筺体内に設置することでｍ単位の測距を実現するステレオカメラを構成することにより、超近傍から遠方までを１台の撮像装置１０で測距することができる。【選択図】図１
2011203238.tif 000002
【特許請求の範囲】
【請求項１】
１つの筐体に複数のカメラが固定して搭載され、前記複数のカメラのうちの任意の２つのカメラの組み合わせにより、視差を計算する前記基線長を変えて撮像された画像を利用して測距することを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記カメラが、同一平面上に配置された複数のレンズを有するレンズアレイとセンサとを備えた複眼カメラであり、前記基線長に、１つの複眼カメラにおける前記複数のレンズの組み合わせによる基線長を含むことを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記複眼カメラの他に、該複眼カメラとレンズ形状を異にする複眼カメラもしくは複眼でないカメラを含むことを特徴とする撮像装置。
【請求項４】
請求項２または３に記載の撮像装置において、
前記センサが、一つの基板に設けられた複数のセンサから構成されていることを特徴とする撮像装置。
【請求項５】
請求項１に記載の撮像装置において、
前記複数のカメラが、レンズとセンサとを備え画角・焦点距離が異なるカメラからなることを特徴とする撮像装置。
【請求項６】
請求項４に記載の撮像装置において、
前記複数のカメラの中の少なくとも１つが、同一平面上に配置された複数のレンズを有するレンズアレイとセンサとを備えた複眼カメラであり、前記基線長に、１つの複眼カメラにおける前記複数のレンズの組み合わせによる基線長を含むことを特徴とする撮像装置。
【請求項７】
請求項４または５に記載の撮像装置において、
それぞれのカメラで撮像された画像を、それぞれ理想化されたピンホール画像として出力する手段を有していることを特徴とする撮像装置。
【請求項８】
請求項４または５に記載の撮像装置において、
それぞれのカメラで撮像された画像を、統一された画像サイズに拡大・縮小処理を施すロジック部を有していることを特徴とする撮像装置。
【請求項９】
請求項４〜６のいずれか１つに記載の撮像装置において、
どのカメラの組み合わせに係る基線長でも、一つのアルゴリズムで距離の計算がなされることを特徴とする撮像装置。
【請求項１０】
請求項４〜７のいずれか１つに記載の撮像装置において、
各基線長を順に計算し、想定している距離範囲の結果が出た時点で距離を決定することを特徴とする撮像装置。
【請求項１１】
請求項４〜８のいずれか１つに記載の撮像装置において、
複数の基線長のカメラの距離計算結果を保存しておき、後段の処理で利用する同一物体の距離を、それらの結果の中から選択可能としたことを特徴とする撮像装置。
【請求項１２】
請求項４〜８のいずれか１つに記載の撮像装置において、
複数の基線長のカメラの距離計算結果を保存しておき、後段の処理で利用する距離を、それまでの結果の平均によって算出することを特徴とする撮像装置。
【請求項１３】
請求項１０に記載の撮像装置において、
複数の基線長の距離計算結果を選択するとき、基線長が長い方を採用することを特徴とする撮像装置。
【請求項１４】
請求項４〜８のいずれか１つに記載の撮像装置において、
緊急性を要することがある距離の基線長の測距計算は、頻度を多くすることを特徴とする撮像装置。
【請求項１５】
請求項１〜１３のいずれか１つに記載の撮像装置において、
前記複数のカメラのうち、１つ以上のカメラの設置方向が他のカメラと異なることを特徴とする撮像装置。
【請求項１６】
請求項１〜１４のいずれか１つに記載の撮像装置において、
取得される複数のカメラ画像の視差計算処理を、それぞれの画像を分離・統合する回路部と、視差計算を行う処理回路部とに分けて構成されて実行することを特徴とする撮像装置。
【請求項１７】
請求項１〜１５のいずれか１つに記載の撮像装置を備えたことを特徴とする距離測定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラを用いて距離測定を行うことができる撮像装置と、その撮像装置を備えた距離測定装置に関する。
【背景技術】
【０００２】
ステレオカメラを用いた距離測定装置は異なる視点位置から同じ物体を撮像し、それぞれのセンサ画像上での結像点が物体の距離によって変化することを利用して物体の距離や位置を測定する装置である。
近年、環境認識へのニーズは高まっており、例えば自動車にステレオカメラを搭載し、運転者に周囲の歩行者の有無などの情報を提供し、運転支援をするシステムが実用化されつつある。
【０００３】
図１８にステレオカメラの原理を示す。このステレオカメラでは、２台のカメラ３１，３２を用い、カメラ３１とカメラ３２のカメラ間の距離である基線長Ｂと、焦点距離ｆと、視差ｄ（視点による物体の結像点の位置の差）と、物体までの距離Ｚの関係、
Ｚ＝Ｂ×ｆ／ｄ        （式１）
を利用して、物体までの距離Ｚを算出する。
【０００４】
しかし、ステレオカメラの視差は遠くの物体ほど視差が小さくなるため測定誤差が大きくなってしまう。遠くの物体の距離を測定する場合、カメラ間の基線長Ｂを長くすれば視差が大きくなり測距精度が上がるが、図１９（ａ），（ｂ）に示すように、カメラ位置により対応点が離れてしまうため、対応点探索に時間がかかる。また、カメラ位置により物体の見え方が変わるため、対応点探索が難しくなるという問題がある。そのため、遠方〜近傍までをすべてカバーして測距することは困難な課題であり、それに対して、従来、長基線長のステレオカメラと短基線長のステレオカメラを組み合わせる方式や、短基線長時に対応点を探索し、撮像装置を個々に移動させながら対応点を追跡して、物体が映る範囲内で基線長を最大まで延長する方式が提案されている。
【０００５】
また、特許文献１（特開平１１−３９５９６号公報）には、車載前方検知用として、物体までの距離５ｍ〜１００ｍまでを測定する目的で、近距離用のステレオカメラと、遠距離用のステレオカメラとの２セットを独立で装備し、これらを同時に動作させて、それぞれのステレオカメラで得た距離情報から、近距離物体と遠距離物体とを後段のソフトウェアで検出する車外監視装置について開示されている。
特許文献２（特開２００８−１２９４３９号公報）には、特許文献１と同様のマルチカメラ方式において、１台の筐体に４つのカメラを搭載した構成が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来のように長基線長のステレオカメラと短基線長のステレオカメラを組み合わせる方式を用いた場合では、近傍用で５ｍから３０ｍ、遠方用で２０ｍから１００ｍの測距範囲というように、例えばｍｍ単位の超近距離から、１００ｍまでの測距を実現することは不可能であった。また、長基線長のステレオカメラと短基線長のステレオカメラを組み合わせる方式の場合、コストが高くなるという問題もある。
【０００７】
カメラを可動することによって基線長を延長させる方式でも同様で、ｍｍ単位から１００ｍまでの測距を実現することは不可能であった。また、カメラを移動させている間、対応点を探索し続けるため計算負荷が高い。また、物体が両カメラに映る限界まで基線長を延長するため、必要以上に基線長を延長してしまう可能性がある。カメラの移動時間が長い分、不必要に測定に時間がかかってしまう、さらにカメラが可動するために測距のためのキャリブレーションが非常に困難になる、という問題点がある。
【０００８】
特許文献１に記載の従来技術では、近距離用のステレオカメラと、遠距離用のステレオカメラとの２セットを独立で装備し、これらを同時に動作させて、それぞれのステレオカメラで得た距離情報から、近距離物体と遠距離物体とを後段のソフトウェアで検出している。しかし、上記と同様にｍｍ単位の超近傍から遠方までをカバーする測距を実現するという課題や、また、コスト高という問題は解決できていない。
【０００９】
なお、特許文献３（特許第４３７８４３４号公報）では、同一平面上に配置された複数のレンズを有するレンズアレイを利用して１つのセンサでｍｍ単位を測距する複眼カメラについて提案されている。しかし、１台の複眼カメラだけでは、上記とは逆に、ｍｍ単位の超近傍の測距は可能であるが、逆に遠方の測距ができないという問題がある。
【００１０】
本発明は上記事情に鑑みてなされたものであり、低コストで、ｍｍ単位の超近距離から１００ｍ超の遠方測距までの距離測定を高精度に実現することができ、距離測定を効率的に行える距離測定機能を備えた撮像装置を提供すること、及び、その撮像装置を用いた距離測定装置を提供すること、を目的とする。
【課題を解決するための手段】
【００１１】
本発明は、上記目的を達成するために、複数の基線長を任意に選択取得できるようにし、超近傍〜遠方までを高精度に測距することとした。
具体的には、請求項１に記載の発明は、１つの筐体に複数のカメラが固定して搭載され、前記複数のカメラのうちの任意の２つのカメラの組み合わせにより、視差を計算する前記基線長を変えて撮像された画像を利用して測距することを特徴とする撮像装置である。
【００１２】
請求項２に記載の発明は、
請求項１に記載の撮像装置において、前記カメラが、同一平面上に配置された複数のレンズを有するレンズアレイとセンサとを備えた複眼カメラであり、前記基線長に、１つの複眼カメラにおける前記複数のレンズの組み合わせによる基線長を含むことを特徴とする。
請求項３に記載の発明は、請求項２に記載の撮像装置において、前記複眼カメラの他に、該複眼カメラとレンズ形状を異にする複眼カメラもしくは複眼でないカメラを含むことを特徴とする。
請求項４に記載の発明は、請求項２または３に記載の撮像装置において、前記センサが、一つの基板に設けられた複数のセンサから構成されていることを特徴とする。
ここで、「レンズ形状を異にする」とは、「１つの内包するマルチレンズの個数が違う、焦点距離、画角が違う、などレンズ設計データが異なる」ことを意味する。
【００１３】
請求項４に記載の発明は、請求項１に記載の撮像装置において、前記複数のカメラが、レンズとセンサとを備え画角・焦点距離が異なるカメラからなることを特徴とする。
請求項５に記載の発明は、請求項４に記載の撮像装置において、前記複数のカメラの中の少なくとも１つが、同一平面上に配置された複数のレンズを有するレンズアレイとセンサとを備えた複眼カメラであり、前記基線長に、１つの複眼カメラにおける前記複数のレンズの組み合わせによる基線長を含むことを特徴とする。
請求項６に記載の発明は、請求項４または５に記載の撮像装置において、それぞれのカメラで撮像された画像を、それぞれ理想化されたピンホール画像として出力する手段を有していることを特徴とする。
【００１４】
請求項７に記載の発明は、請求項４または５に記載の撮像装置において、それぞれのカメラで撮像された画像を、統一された画像サイズに拡大・縮小処理を施すロジック部を有していることを特徴とする。
請求項８に記載の発明は、請求項４〜６のいずれか１つに記載の撮像装置において、どのカメラの組み合わせに係る基線長でも、一つのアルゴリズムで距離の計算がなされることを特徴とする。
請求項９に記載の発明は、請求項４〜７のいずれか１つに記載の撮像装置において、各基線長を順に計算し、想定している距離範囲の結果が出た時点で距離を決定することを特徴とする。
【００１５】
請求項１０に記載の発明は、請求項４〜８のいずれか１つに記載の撮像装置において、複数の基線長のカメラの距離計算結果を保存しておき、後段の処理で利用する同一物体の距離を、それらの結果の中から選択可能としたことを特徴とする。
請求項１１に記載の発明は、請求項４〜８のいずれか１つに記載の撮像装置において、複数の基線長のカメラの距離計算結果を保存しておき、後段の処理で利用する距離を、それまでの結果の平均によって算出することを特徴とする。
請求項１２に記載の発明は、請求項１０に記載の撮像装置において、複数の基線長の距離計算結果を選択するとき、基線長が長い方を採用することを特徴とする。
【００１６】
請求項１３に記載の発明は、請求項４〜８のいずれか１つに記載の撮像装置において、緊急性を要することがある距離の基線長の測距計算は、頻度を多くすることを特徴とする。
請求項１４に記載の発明は、請求項１〜１３のいずれか１つに記載の撮像装置において、前記複数のカメラのうち、１つ以上のカメラの設置方向が他のカメラと異なることを特徴とする。
請求項１５に記載の発明は、請求項１〜１４のいずれか１つに記載の撮像装置において、取得される複数のカメラ画像の視差計算処理を、それぞれの画像を分離・統合する回路部と、視差計算を行う処理回路部とに分けて構成されて実行することを特徴とする。
請求項１６に記載の発明は、距離測定装置において、請求項１〜１５のいずれか１つに記載の撮像装置を備えたことを特徴とする。
【発明の効果】
【００１７】
本発明では、同一平面上に配置された複数のレンズを有するレンズアレイを利用して１台のセンサでｍｍ単位を測距することができる複眼カメラを用い、この複眼カメラを一定の距離を置いて複数台、１つの筺体内に設置することでｍ単位の測距を実現するステレオカメラを構成する。以上の構成により、超近傍から遠方までを１台の撮像装置で測距することができる。また、撮像装置のセンサの台数を減らせること、１台の筐体（カメラユニット）で距離測定機能を有する撮像装置を実現できること等により、コストを低減することができる。
従って本発明によれば、従来は不可能であったｍｍ単位の超至近距離から１００ｍ超の遠方距離までを、低コストで、かつ高精度に距離測定ができる撮像装置と、その撮像装置を用いた距離測定装置を実現することができる。
【００１８】
一体化した筐体にカメラ（レンズ＋センサ）を複数（三つ以上）持ち、さらにその組み合わせを柔軟に設定可能（任意のペアリング）にすることによって、視差を計算する基線長を複数とることができ、精度のよい測距が可能な範囲を広くできる。さらに、それらのカメラに、同一平面上に配置された複数のレンズを有するレンズアレイを利用して1台のセンサでmm単位を測距する複眼カメラを利用することにより、超近傍から遠方までを1台のカメラユニットで測距できる。
また各々のカメラは、それぞれ画角や焦点距離が統一されていなくてもかまわない。それによって撮像される画像において、同一の物体でも、撮像される画像のサイズは異なることになるが、それぞれの画像サイズの違いを、拡大・縮小手段で統一のサイズに変更する。それによってどのようなカメラの組み合わせでも、シンプルな測距処理で計算可能になる。また１つの測距計算アルゴリズムを備え、それによって各カメラの組み合わせを時間的に切り替えて計算させることにより、低コスト化も実現できる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施例を示す図であって、複数の複眼カメラを利用した撮像装置の概略構成図である。
【図２】図１に示す撮像装置を車載用の距離測定装置に用いた場合の車の前方の測距範囲を示す図である。
【図３】レンズアレイによって構成される複眼カメラの構成例について説明する図である。
【図４】図１に示す構成の撮像装置を車室内のルームミラー部に搭載して車の前方を撮像した際の、２つの複眼カメラのセンサの撮像画像を使って測距を実現する例を示した図である。
【図５】本発明の別の実施例（実施例２）を示す図であって、１台の複眼カメラと、２台の複眼でないカメラとを利用して構成した撮像装置の概略構成図である。
【図６】本発明の別の実施例（実施例３）を示す図であって、１つの基板に複数のセンサが含まれる複眼カメラと、２台の複眼でないカメラを利用して構成した撮像装置の概略構成図である。
【図７】本発明の別の実施例（実施例４）を示す図であって、１つの筐体の両側に複数台の複眼カメラを配置した撮像装置の概略構成図である。
【図８】本発明の撮像装置により撮像された複数のカメラ画像を処理するための回路構成にかかるブロック図（実施例５）である。
【図９】本発明の実施例６における撮像装置の概略構成図である。
【図１０】各カメラの画角が異なることにより見える撮像範囲が異なることを説明するための図である。
【図１１】画角・焦点距離のことなるカメラによって撮像されたステレオカメラの画像ペア例である。
【図１２】図１１の画像を線形変換したステレオカメラの画像ペア例である。
【図１３】図１２の画像ペアに対して視差計算を施した視差画像例である。
【図１４】複数のカメラ画像を処理するための回路構成にかかるブロック図である。
【図１５】処理動作を示すフローチャートである。
【図１６】ステレオカメラ画像の選択動作を示すタイミングチャートである。
【図１７】ステレオカメラの測距範囲と画角との対応関係を示す図である。
【図１８】ステレオカメラの原理を示す図である。
【図１９】ステレオカメラのカメラ位置による物体の見え方の違いを示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態を説明する。
本発明は、距離測定装置に用いることができる撮像装置の「構成」に関するものであり、以下の特徴を有する。
本発明では、レンズアレイを利用した複眼カメラを複数台、１台の筐体（カメラユニット）内に搭載して構成することで、超近傍〜遠方までを高精度に測距できることが特徴になっている。
また、上述した複眼カメラと、レンズ形状を異にする複眼カメラもしくは複眼でないカメラを複数台、１台の筐体（カメラユニット）内に搭載することで、超近傍〜遠方までを高精度に測距できることが特徴になっている。
【００２１】
また、1台の筐体内に複数の画角・焦点距離が異なるカメラを備え、それらを統一された画像に変換するロジック部を備えることによって、いかなる基線長のカメラでも自由に選択して測距処理が可能になるために、超近傍〜遠方までを高精度に測距できることが特徴になっている。
また、複数の基線長の組み合わせを１つの測距計算アルゴリズムで計算できるようにすることにより低価格化が実現できることが特徴になっている。
【実施例】
【００２２】
以下、上記の本発明の特徴について、図示の実施例に基づいて詳細に説明する。
図３（ａ）は、レンズアレイによって構成される複眼カメラの構成例について説明する図である。図３（ａ）に示すように、この複眼カメラ１は、同一平面上に配置された複数のレンズを有するレンズアレイ２と、センサ３と、基板（プリント回路基板）４で構成されている。また、センサ３は格子状に領域分割された光学フィルタと、ＣＣＤやＣＭＯＳ等の撮像素子で構成されている。
図３（ａ）におけるセンサ３では、レンズアレイ２の複数のレンズから撮像された複数の像が、１つの撮像素子に結像される。
なお、図３（ａ）におけるレンズアレイ２のレンズ数は一例であり、２個以上の任意の個数で設定される。
【００２３】
ここで、図３（ｂ）は複眼カメラ１のレンズアレイ２のレンズ数が６個の場合のセンサ３による撮像画像の例を示したものであり、レンズアレイ２を利用してセンサ全体に結像された画像を複眼画像、センサ内の個々の画像を個眼像と呼ぶことにする。複眼カメラ１では、個々の個眼像が視差をもっているので、これらの個眼像に対して視差計算を行うことにより、距離の計測が可能となる。また、図３（ｃ）に示すように、それぞれの個眼像を合成し、センササイズの画像を合成した画像を合成画像と呼ぶことにする。
【００２４】
［実施例１］
図１は、図３（ａ）に示したような構成の複眼カメラを用い、２台の同じレンズ形状の複眼カメラ１−１，１−４のセットと、この複眼カメラとレンズ形状を異にする２台の複眼カメラ１−２，１−３のセットの２セットを１つの筺体（カメラユニット）５に搭載して、撮像装置（複眼ステレオカメラ）を構成した第１の実施例を示す図である。各複眼カメラ１−１，１−２，１−３，１−４は、図３（ａ）と同様に、レンズアレイ２−１，２−２，２−３，２−４と、センサ３−１，３−２，３−３，３−４を備えている（基板の図示は省略する）。
【００２５】
ここで、図３に示す複眼カメラ１台のみでは、前述した２台のカメラの視差により距離Ｚを計算する式、
Ｚ＝Ｂ×ｆ／ｄ        （式１）
における基線長Ｂを、センサ３のサイズ以上にすることは不可能である。また、複眼カメラの場合、センサの各ピクセルに別々に結像しなければならないため、焦点距離ｆも非常に小さくなる。そのため、式１のＢとｆの両方を大きくすることができず、超至近距離にある物体の測距は可能だが、遠方の測距を実現することはできない。
【００２６】
例えば、センサ内で３ｍｍほどの基線長を確保でき、２ｍｍ程度の焦点距離で実現した場合、
Ｂ×ｆ＝３×２＝６
となる。
これは、例えば視差ｄ＝５０、センサのピクセルサイズを３μｍとすると、距離Ｚ＝４０ｍｍに相当する。視差ｄ＝４９の場合で、４０．８ｍｍなので、１ピクセル誤差でｍｍ以下の高精度測距を実現することができる。
【００２７】
一方、遠距離測距を実現しようとすると、例えば１００ｍの測距をするためには、視差ｄ＝０．０２となり、視差を算出するためには２／１００画素の視差を算出できなければならず、実質不可能といえる。さらに、仮に視差ｄの誤差が０．０１あり、ｄ＝０．３になった場合、計測距離Ｚ＝約６７ｍ、ｄ＝０．１になった場合でＺ=約２００ｍとなり、とても実用化することができる測距精度は実現できない。
また一方、特許文献１に示すような、複眼カメラを利用しない通常のステレオカメラの構成では、近距離用と遠距離用とを分離したとしても、１〜５ｍが近傍の限界である。
【００２８】
これに対して、図１に示すような本発明で提案する第１の実施例の方式の場合、例えば２０ｍ〜１００ｍのエリアは基線長Ａの２台の複眼カメラ１−１、１−４のセンサ３−１，３−４で撮像した全体合成画像同士を使って測距を行い、５０ｃｍ〜５ｍのエリアは、基線長Ｅの複眼カメラ１−４のセンサ３−４で撮像した個眼像もしくは合成画像を利用して測距を行う。そして、この基線長ＡおよびＥを構成する複眼カメラ部１−１，１−４のレンズアレイ２−１，２−４とは形状を異にし、レンズ数を増やしてより細かな個眼像が撮像できるレンズアレイ２−２，２−３を利用した複眼カメラ１−２，１−３を同じ筺体（カメラユニット）５内に設置する。そして、この複眼カメラ１−２，１−３を用い、１ｍｍ〜５０ｃｍは基線長Ｄの複眼カメラ１−２のセンサ３−２で撮像した個眼像同士を使って測距を行い、５０ｃｍ〜２ｍのエリアは基線長Ｃの複眼カメラ１−２のセンサ３−２で撮像した個眼像同士を使って測距を行い、５〜２０ｍのエリアは基線長Ｂの２台の複眼カメラ１−２，１−３のセンサ３−２，３−３で撮像した全体合成画像同士を使って測距を行うということが可能になる。このような構成をとることにより、全距離範囲において、同等のパーセント換算での精度範囲を保った測距を行うことが可能になる。また、このとき、各複眼カメラにおいて焦点距離の異なるペアを利用する構成にしてもよい。
【００２９】
以上の図１に示す撮像装置１０を車載用の距離測定装置に用いた場合の車の前方の測距範囲を表したものを図２に示す。
図に示されるように、たとえば車載環境においては、遠方は狭角の画角だけ確認すればよく、近傍に行くほど画角を広くとりたい。そのため、各カメラではマイクロレンズの構成を変更したりして、画角が異なって設計されることが一般的である。
特許文献１に示す構成では、近傍用、遠方用はそれぞれカメラ設計値（画角・焦点距離など）が同じペアを利用することを前提としているが、本発明では、上述してきたように、それらが異なってもよく、より滑らかに測距範囲をカバーすることができる。
もちろん、図１における、Ａ〜Ｅで表現されてない基線長を持つレンズ−センサペアを利用し、より詳細な測距範囲をカバーする構成としてもよい。
【００３０】
図４は、図１に示す構成の撮像装置を車室内のルームミラー部に搭載して、図２のように車の前方を撮像した際の、複眼カメラ１−２のセンサ３−２の撮像画像と、複眼カメラ１−３のセンサ３−３の撮像画像を使って測距を実現する例を示したものである。この例の場合、レンズアレイとしてセンサ上部に３列、下部に３列の、６つのレンズを１つのセンサ上に構成し、１つのセンサで、６眼カメラを構成している。また、撮像画像は、車外前方の人物と、フロントガラスに付着した雨滴の例である。
【００３１】
ここで、センサ３−２の撮像画像における各個眼像は基線長Ｄのステレオ処理に実行される。この処理は、上述したように、１ｍｍ〜５０ｃｍ単位の測距を対象としており、例えばフロントガラスに付着した雨滴を検出すること等が目的となる。一般に、雨滴は単眼カメラによる形状認識手法などでは、検出が非常に困難であることが知られている。
以上のようにして雨滴の視差を検出することにより、フロントガラスの距離位置に物体（雨滴）が付着していることが分かるようになり、自動でワイパーを作動させること等が可能になる。
【００３２】
また、センサ３−２上における３つの上部画像、及びセンサ３−３上における３つの上部画像を、それぞれ基線長Ｄの視差計算を行うために合成処理する。合成処理は、例えば画像間での画素を足し合わせて平均化することなどにより作成することができるが、ここで一般的に知られるローパスフィルタによる合成処理を行うことで、各個眼像間で動きのある雨滴などの超近傍の物体を画像から除去することが可能になる。
【００３３】
このセンサ３−２とセンサ３−３の合成画像を使って視差計算を行うことで、例えばセンサ３−２の各個眼像同士では視差がほとんどない遠方の物体（図４の場合は車両前方に立つ人間）の視差を検出することが可能になる。
このとき、もちろん、センサ３−２の個眼像、センサ３−３の個眼像同士で視差計算を実施してもよいが、以上のように合成画像を作成してから処理することによって、超近傍に位置する対象を除外して視差計算することや、遠方の小さな物体を多くの画素でとらえること等が可能になる。また、これらの合成画像を使う、使わないなどの処理を動的に組み込んでもよい。
【００３４】
［実施例２］
図５は、図３（ａ）に示したような構成の１台の複眼カメラ１と、２台の複眼でないカメラ６−１，６−２を利用して構成した撮像装置１１の第２の実施例を示す図である。この場合、複眼でないレンズ７−１，７−２を有するカメラ６−１，６−２では合成画像を利用しないので、センサ８−１，８−２の撮像画像は、より解像度が高い画像が得られるために、図１の構成よりもセンサの個数を減らすことができる。図５の構成の場合、図１の構成と比較し、より遠方での測距精度と、超近傍の測距精度は図１と同等以上の精度を実現できるが、図１の基線長ＢやＥでカバーしている中間距離範囲の精度が粗くなると考えられる。また、この構成の場合は図１よりも近傍の画角が狭くなる傾向がある。ただし、この構成では、シンプルに低コストに構成できることがメリットである。このように、複眼カメラを利用する台数と複眼でないカメラを利用する台数は、測距を行う対象、目的や要求精度に応じて、柔軟に構成を決定してよい。
【００３５】
また、これらの撮像装置において、それぞれの複眼カメラによって撮像された複数の個眼像から、測距の要求精度に応じて、複数の解像度の異なる合成画像を作成し、それらの合成画像を切り替えて使って測距を行ってもよい。
【００３６】
［実施例３］
図６は、第３の実施例の撮像装置の構成例を示した図であり、１つの基板に複数のセンサ３ａ，３ｂ，３ｃ，３ｄ，３ｅが含まれる複眼カメラ１’と、２台の複眼でないカメラ６−１，６−２を利用して構成した撮像装置の概略構成図である。
図６に示す撮像装置１２の複眼カメラ１’では、同一平面上に配置された複数のレンズを有するレンズアレイ２からの像を撮像するセンサ３ａ，３ｂ，３ｃ，３ｄ，３が、それぞれ別に構成されているが、ウェハの状態で１つの基板に実装される図１や図５における基線長Ｂ〜Ｄを示す複眼カメラ部では、構造上、センササイズ以上の基線長を確保することは困難であった。
【００３７】
そこで本実施例では、図６のような構成の撮像装置１２にすることにより、図６における基線長Ｂ〜Ｄは、図１や図５における基線長Ｂ〜Ｄよりも長くとれるため、１〜１０ｍ程度までの測距範囲の精度向上が見込める。また、複数のセンサを用いる場合、キャリブレーションする際のコスト（時間的コスト、装置的コスト、部品コスト）が非常に大きな問題になるが、図６の構成におけるレンズアレイ２のカメラ部の場合、個々のレンズとセンサは一体となっているので、これらのキャリブレーション・コストを大幅に削減することが可能になる。特に、複眼カメラ１’のセンサとレンズのセットで構成される一つ一つのカメラの３軸回転、３方向の並進移動を表す外部パラメータについては、各カメラでセンサが一体、レンズが一体となっているため、カメラごとの独立なずれがなくなり、大幅にキャリブレーションの簡易化が可能になる。
【００３８】
［実施例４］
以上に説明してきた実施例１〜３の撮像装置は、１つ以上の複眼カメラと複眼でないカメラを、すべて同方向に向け、１つの筺体（カメラユニット）５に実装することで構成してきたものである。これに対して、図７に示す第４の実施例の撮像装置１３では、図１と同様の構成に加えて、別の方向にも、測距可能な複眼カメラ１−５，１−６を実装して１つの筺体（カメラユニット）５に構成したものである。これにより、例えば車載用の距離測定装置として用い、ルームミラー部に装着した場合に、基線長Ａ、Ｂで計算される測距データおよび画像は前方車両などの自車前方物体認識を行い、基線長Ｃ、Ｄで計算される測距データおよび画像はフロントガラス等に付着した雨滴認識を行い、基線長Ｅ、Ｆ、Ｇで計算される測距データおよび画像は自車内を向いて乗員認識を行う、といったことが可能になる。
【００３９】
［実施例５］
図８は、以上の実施例１〜４で説明してきた本発明の撮像装置により撮像された複数のカメラ画像を処理するための回路構成にかかるブロック図である。
通常、カメラ画像はＶＳＹＮＣ，ＨＳＹＮＣなどの垂直、水平同期信号とデータ線数本で構成される。そのために、複数のカメラ画像を１つのＬＳＩ（大規模集積回路）で受けようとすると、多数のピンが必要になり、通常のマイコン等では非常に大きなチップでなければ実装できない。
そこで、これらの画像を、画像の分離・統合を行う回路部である１つの専用ＬＳＩ（画像取込ＬＳＩ）２１で受け、その画像取込ＬＳＩ２１の内部で、メモリ（ＲＡＭ）２２に送信する画像を選択、もしくは複数の画像を統合し、視差計算に使用する２種類の画像データ（基準画像データ、比較画像データ）づつ、メモリ（ＲＡＭ）２２に書き込む構成とする。
【００４０】
ここで、視差計算は、例えば下記の式２で表わされるように、２つの画像をブロックに分け、その相関をとることで実現される。そのため、１回の視差計算としては撮像した画像から物体の位置を検出するための基準となる基準画像と、その基準画像との視差を計算するための比較画像があればよい。そのため、この１回の視差計算に使用する基準画像と比較画像とに分け、これらの視差計算を実行する単位として、画像のデータフロー整理を行い、メモリ（ＲＡＭ）２２に書き込むのが、画像取込ＬＳＩ２１の役割である。
【００４１】
【数１】
2011203238.tif 000003
【００４２】
図８においては、上記の２種類の画像データ（基準画像データ、比較画像データ）を、視差計算を実行する処理回路部である視差計算ＬＳＩ２３がリードして、視差計算を実行する構成となっている。このとき、視差計算ＬＳＩ２３に２ＣＨの画像入力があった場合で、内部に視差計算を行うに充分なラインメモリを実装していた場合などには、図８において図示されたようなメモリ（ＲＡＭ）２２を介せず、直接視差計算ＬＳＩ２３に、画像取込ＬＳＩ２１の処理結果の２ＣＨ画像を入力してもよい。
【００４３】
以上のように、画像の取り込みを実行する画像取込ＬＳＩ２１を、視差計算処理を行う視差計算ＬＳＩ２３と分離して専用で設けることで、従来より存在する視差計算ＬＳＩを利用したり、カメラ画像入力の増加等に柔軟に対応できることが可能になる。
【００４４】
以下、追加分
［実施例６］
図９は、一体化した筐体５に画角・焦点距離が異なるカメラ（レンズ＋センサ）を複数（三つ以上）持って構成される撮像装置の構成について説明する図である。
図に示すように、この例では１つの筐体５に３つのカメラ１Ａ、１Ｂ、１Ｃが備えられている。カメラ１Ａは、レンズ２Ａとセンサ３Ａとから、カメラ１Ｂは、レンズ２Ｂとセンサ３Ｂとから、カメラ１Ｃは、レンズ２Ｃとセンサ３Ｃとから、それぞれ構成されている。
これにより、視差計算をするためのステレオカメラの基線長を３種類持つことができる。
基線長が長いステレオカメラのセットは遠方をターゲットに、基線長が短いステレオカメラのセットは近傍をターゲットにして測距を行うことで、高精度に近傍〜遠方までをカバーした視差を計算することができる。つまり、図における基線長１のステレオカメラセットが近傍、基線長２のステレオカメラセットが中距離、基線長３のステレオカメラセットが遠方向けの測距を行う。
【００４５】
図１０は、焦点距離が異なるために、画角が異なるカメラを複数台つなげたことによって、それぞれの見える撮像範囲がことなることを説明する図である。
前方監視用途で車両に搭載された図１０における基線長１のカメラペアで撮像された画像は、たとえば図１１に示したようになり、それぞれの画像において、撮像されている物体（たとえば人）のサイズが異なることがわかる。
このような画像ペアに対して視差を計算するためには、エピポーラ幾何などを適用して計算しなければならず、処理時間が膨大にかかる。しかしながら、これらのカメラ画像が理想的なピンホール画像になっていた場合、焦点距離と画角、撮像センサのセンササイズから、設計値に基づく線形の外部パラメータ変換、もしくは拡大・縮小変換によって並行カメラ化することができる。
【００４６】
図１２は、そのような考え方で、一定のカメラ設計値（画角・焦点距離、センササイズ）の画像に、それぞれのカメラ画像を線形変換した例である。図に示したように、画像内で各物体（たとえば人）のサイズが一定になっていることがわかる。
このような場合、平行ステレオ視差計算というシンプルな手法によって、図１３のように高精度の視差データを得ることができる。
【００４７】
図１４は、本発明の撮像装置により撮像された複数のカメラ画像を処理するための回路構成にかかるブロック図の別例である。
図に示すように、各カメラごとに撮像画像をピンホール画像化するためのキャリブレーションデータをROMなどに持ち、それを利用して、取り込み時に画像をピンホール画像化する。ここで、画像取込ＬＳＩは、それぞれのカメラで撮像された画像を、それぞれ理想化されたピンホール画像として出力する手段である。
このピンホール画像化には、LUT(LookUpTable)を利用する、高次多項式を利用する方法などが考えられる。いずれも非線形の変換が必要になる。
【００４８】
図１４に基づいて本例における制御動作を説明する。
まず画像線形変換／タイミング制御LSIが、視差計算を実施するペアのカメラ画像をRAMからリードする。このとき、画像線形変換／タイミング制御LSIは、図に示すように、ROMから各カメラの設計データ（焦点距離・画角など）をリードして内部レジスタにリードしており、それに従って画像の線形変換を実施する。
このとき、設計データは、ROMからでなく、外部から内部のレジスタに直接設定する、などの方法をとってもよい。
この設計データに従って、基準となるカメラ設計値を利用した画像に線形変換を行う。線形変換は、3×3のシンプルな行列演算で実行されるのが最も一般的である。線形変換された各カメラの画像データは、それぞれが同じピンホールカメラ画像として扱うことが可能になるので、どのようなカメラペアでも、一つの視差計算アルゴリズムで処理を実行させることができる。
そのため、ロジック部としての視差計算制御LSIは１つのみでよい。本発明によれば、さまざまな画角・焦点距離をもって一つの筐体におさめられた複数のステレオ画像を、時間的な分割をすることで、共通の視差計算ロジックを用いて、計算を実行することができる。
【００４９】
このとき、視差計算制御LSIに2CHの画像入力があった場合で、内部に視差計算と画像線形変換を行うに充分なラインメモリを実装していた場合などには、図１４において図示されたようなRAMを介せず、直接、画像変形LSI、視差計算処理LSIに、画像取込LSIの処理結果の2CH画像を入力してもよい。
図１４の例のように、画像の取り込みを実行するLSI、画像線形変換、視差計算を行う処理LSIをそれぞれ分離して設けると、汎用で存在する視差計算制御LSIを利用したり、カメラ画像入力の増加等に柔軟に対応できることが可能になる。むろん、これらの処理LSIは要求コストとサイズなどに応じて、SOCやSIPなど、ひとつのLSIで構成してもよい。
【００５０】
図１４の例のような構成で、カメラが３台あった場合の、処理の概略フローを、図１５に示す。各カメラでの撮像・ピンホール画像化処理は、並列に実行され、それぞれの画像が順次DMA転送されてRAMに転送される。そして、図中網掛け部のリード画像転送部によって指示された２つのカメラ画像ペアが、ステレオ計算用としてRAMよりリードされる。
リードされた画像は、図１１〜図１３に示したような線形変換処理が施され、それぞれが一定のカメラ設計値の撮像画像化され、視差計算が実行される。
このとき、リードされる画像は、ステレオカメラのペアになる２つの画像である。このとき、最も簡単な方法は、すべてのステレオカメラのペアを同じ時間分割で処理させることである。たとえば、測距するステレオカメラのセットを３つ用意する。ステレオカメラ１は近傍、ステレオカメラ２は中距離、ステレオカメラ３は遠方、を測距するものとする。
このとき、同様に時間分割して視差計算を実行させると、図１６（Ａ）のようになる。しかし、一般に、近傍の距離の方が、緊急を有することが多いため、頻度を高く計算させなければならないことが多い。そのような場合は、図１６（Ｂ）のように処理を実行させてもよい。
【００５１】
また、図２に示したように、各ステレオカメラごとに測距範囲と画角が異なるが、それらには重複する部分ができる。これを図示したのが、図１７である。
ステレオカメラのセット（基線長のセット）が３つできるとし、それぞれの測距範囲の重複を表したのが、図１７の右部分の測距範囲における網掛け部である。また一般的に遠方に行くほど撮像される画角範囲は小さくなる。図１７の左部分は、線形変換前の各ステレオカメラの対応画角範囲を図示したものである。
ここで、この重複範囲に関して、どのようにして距離を出力するのか、が問題になる。
これに対しては、たとえば下記のような基準で、距離を決定することができる。
（１）重複エリアはどのステレオカメラが担当させるかを決定しておく：処理をシンプル化し、負荷低減できる。
（２）先に計算された距離を優先させる：距離をできる限りはやくに知りたい場合に有効
（３）計算された距離を、選択して決定させる：計算結果に信頼度や重みなどをつけ、より信用できる計算結果を利用したい場合に有効
（４）計算された距離の平均を使う：重複されたエリアは各ステレオカメラのペアが出るごとに平均化されて決定されるため、ノイズ成分を除去して安定して使うことができる。
（５）線形変換前の画像解像度の高い方のステレオカメラの結果を利用する：解像度が高いということは、物理的なつくりとして、理論的により信頼度が高く計算できるはずであり、そちらを優先する
【００５２】
また、このような距離計算を実行させておきつつ、各ステレオカメラの測距結果が計算されるごとに、たとえば車載の前方監視カメラとして使用している場合など、処理として非常に危険と設定されていた距離範囲に物体があると検出された場合、その計算結果を優先させてもよい。
たとえば、上記の（１）のような処理形態でステレオカメラ2に1m以上の距離を担当させておきつつ、ステレオカメラ２で数十センチの距離のものが画像の端エリアに突然出てきた場合などは、割り込み車や横断者などが現れたと考えられるので、そのような場合は、この結果を優先させるほうがよいと考えられる。
図７で示したカメラの向きが異なる構成は、本例においても同様に実施することができる。
【符号の説明】
【００５３】
１、１−１、１−２、１−３、１−４、１−５、１−６：複眼カメラ
１’：複数のセンサを含む複眼カメラ
２、２−１、２−２、２−３、２−４、２−５、２−６：レンズアレイ
３、３−１、３−２、３−３、３−４、３−５、３−６：センサ
３ａ，３ｂ，３ｃ，３ｄ，３ｅ：１つの基板に設けられた複数のセンサ
４：基板
５：筐体（カメラユニット）
６−１、６−２：複眼でないカメラ
７−１、７−２：レンズ
８−１、８−２：センサ
１０、１１、１２、１３：撮像装置
２１：画像取込ＬＳＩ
２２：メモリ（ＲＡＭ）
２３：視差計算ＬＳＩ
【先行技術文献】
【特許文献】
【００５４】
【特許文献１】特開平１１−３９５９６号公報
【特許文献２】特開２００８−１２９４３９号公報
【特許文献３】特許第４３７８４３４号公報
【図１】
2011203238.tif 000004
【図２】
2011203238.tif 000005
【図３】
2011203238.tif 000006
【図４】
2011203238.tif 000007
【図５】
2011203238.tif 000008
【図６】
2011203238.tif 000009
【図７】
2011203238.tif 000010
【図８】
2011203238.tif 000011
【図９】
2011203238.tif 000012
【図１０】
2011203238.tif 000013
【図１１】
2011203238.tif 000014
【図１２】
2011203238.tif 000015
【図１３】
2011203238.tif 000016
【図１４】
2011203238.tif 000017
【図１５】
2011203238.tif 000018
【図１６】
2011203238.tif 000019
【図１７】
2011203238.tif 000020
【図１８】
2011203238.tif 000021
【図１９】
2011203238.tif 000022