(57)【要約】本ステレオ光学モジュールは、前玉ユニット（２０ａ）の略後方であり、１次偏向ミラー（２１ａ）と２次偏向ミラー（２２ａ）の上方に存在する回路配置スペース（２７ａ）、又は前玉ユニット（２０ｂ）の略後方であり、１次偏向ミラー（２１ｂ）と２次偏向ミラー（２２ｂ）の下方に存在する回路配置スペース（２７ｂ）の少なくとも何れか一方の空間領域に構成部材を配置する。
2004106857.tif 000002
【特許請求の範囲】
【請求項１】
被写体に対して第１の視点から見た第１の被写体像を発生させる第１の光導入部と、
前記被写体に対して前記第１の視点とは異なる第２の視点から見た第２の被写体像を発生させるための第２の光導入部と、
前記第１の光導入部から入射した光束による第１の被写体像の全部分又は大部分を、前記第１の光導入部と前記第２の光導入部の各々の中心を結ぶ基準線と前記光束の入射方向とに対して直交する第１の方向にある第１の半面部に結像させる第１の光偏向機構と、
前記第２の光導入部から入射した光束による第２の被写体像の全部分又は大部分を、前記第１の方向とは前記基準線を跨いで反対側の第２の方向にある第２の半面部に結像させる第２の光偏向機構と、
を具備し、
第１の光導入部の略後方であり前記第１の光偏向機構に対して、前記基準線及び前記光束の入射方向と直交する方向であって前記第１の光偏向機構に対して前記第２の光偏向機構がずれた方向にある第１の空間領域又は前記第２の光導入部の略後方であり前記第２の光偏向機構に対して、前記基準線及び前記光束の入射方向と直交する方向であって前記第２の光偏向機構に対して前記第１の光偏向機構がずれた方向にある第２の空間領域の少なくとも何れか一方の空間領域に構成部材を配置することを特徴とするステレオ光学モジュール。
【請求項２】
被写体に対して第１の視点から見た第１の被写体像を発生させる第１の光導入部と、
前記被写体に対して前記第１の視点とは異なる第２の視点から見た第２の被写体像を発生させるための第２の光導入部と、
前記第１の光導入部から入射した光束による第１の被写体像の全部分又は大部分を、前記第１の光導入部と前記第２の光導入部の各々の中心を結ぶ基準線と前記光束の入射方向とに対して直交する第１の方向にある第１の半面部に存在する撮像素子に結像させる第１の光偏向機構と、
前記第２の光導入部から入射した光束による第２の被写体像の全部分又は大部分を、前記第１の方向とは前記基準線を跨いで反対側の第２の方向にある第２の半面部に存在する撮像素子に結像させる第２の光偏向機構と、
ステレオ光学モジュールの内部の機構を保護するためのケーシング部材と、
を具備し、
第１の光導入部の略後方であり前記第１の光偏向機構と前記ケーシング部材とに挟まれた第１の空間領域又は前記第２の光導入部の略後方であり前記第２の光偏向機構と前記ケーシング部材に挟まれた第２の空間領域の少なくとも何れか一方の空間領域に構成部材を配置することを特徴とするステレオ光学モジュール。
【請求項３】
被写体に対して第１の視点から見た第１の被写体像を発生させる第１の光導入部と、
前記被写体に対して前記第１の視点とは異なる第２の視点から見た第２の被写体像を発生させるための第２の光導入部と、
前記第１の光導入部から入射した光束による第１の被写体像の全部分又は大部分を、前記第１の光導入部と前記第２の光導入部の各々の中心を結ぶ基準線と前記光束の入射方向とに対して直交する第１の方向にある第１の半面部に存在する撮像素子に結像させる第１の光偏向機構と、
前記第２の光導入部から入射した光束による第２の被写体像の全部分又は大部分を、前記第１の方向とは前記基準線を跨いで反対側の第２の方向にある第２の半面部に存在する撮像素子に結像させる第２の光偏向機構と、
ステレオ光学モジュールの内部の機構を外部から遮断するためのケーシング部材と、
を具備し、
第１の光導入部の略後方であり前記第１の光偏向機構と前記第２の光偏向機構と前記ケーシング部材とに囲まれた第１の空間領域又は前記第２の光導入部の略後方であり前記第１の光偏向機構と前記第２の光偏向機構と前記ケーシング部材とに囲まれた第２の空間領域の少なくとも何れか一方の空間領域に構成部材を配置することを特徴とするステレオ光学モジュール。
【請求項４】
被写体に対して第１の視点から見た第１の被写体像を発生させる第１の光学レンズと、
前記被写体に対して前記第１の視点とは異なる第２の視点から見た第２の被写体像を発生させるための第２の光学レンズと、
前記第１の被写体像の全部分又は大部分を、前記第１の光学レンズと前記第２の光学レンズの各々の中心を結ぶ基準線と前記光束の入射方向とに対して直交する第１の方向にある第１の半面部に存在する撮像素子に結像させるために、前記第１の光学レンズを介して入射した光を反射する第１の反射部材と、この第１の反射部材で反射した光を更に反射する第２の反射部材とを含む第１の光偏向機構と、
前記第２の被写体像の全部分又は大部分を、前記第１の方向とは前記基準線を跨いで反対側の第２の方向にある第２の半面部に存在する撮像素子に結像させるために、前記第２の光学レンズを介して入射した光を反射する第３の反射部材と、この第３の反射部材で反射した光を更に反射する第４の反射部材とを含む第２の光偏向機構と、
前記第２の反射部材及び第４の反射部材により反射した光を上記撮像素子に結像する第３の光学レンズと、
を具備し、
前記第１の反射部材又は前記第２の反射部材に対して前記第１の方向に存在する第１の空間領域、又は前記第３の反射部材又は前記第４の反射部材に対して前記第２の方向に存在する第２の空間領域の少なくとも何れか一方の空間領域に構成部材を配置することを特徴とするステレオ光学モジュール。
【請求項５】
被写体に対して第１の視点から見た第１の被写体像を発生させる第１の光学レンズと、
この第１の光学レンズの近傍にあり、前記第１の光学レンズに入射する光束の一部を遮光する第１の遮光部材と、
前記被写体に対して前記第１の視点とは異なる第２の視点から見た第２の被写体像を発生させるための第２の光学レンズと、
この第２の光学レンズの近傍にあり、前記第２の光学レンズに入射する光束の一部を遮光する第２の遮光部材と、
前記第１の光学レンズに入射した前記第１の被写体像の全部分又は大部分を、前記第１の光学レンズと前記第２の光学レンズの各々の中心を結ぶ基準線と前記光束の入射方向とに対して直交する第１の方向にある第１の半面部に存在する撮像素子に結像させるために、前記第１の光学レンズを介して入射した光を反射する第１の反射部材と、この第１の反射部材で反射した光を更に反射する第２の反射部材とを含む第１の光偏向機構と、
前記第２の光学レンズに入射した前記第２の被写体像の全部分又は大部分を、前記第１の方向とは前記基準線を跨いで反対側の第２の方向にある第２の半面部に存在する撮像素子に結像させるために、前記第２の光学レンズを介して入射した光を反射する第３の反射部材と、この第３の反射部材で反射した光を更に反射する第４の反射部材とを含む第２の光偏向機構と、
前記第２の反射部材及び第４の反射部材により反射した光を上記撮像素子に結像する第３の光学レンズと、
を具備し、
前記第１の遮光部材の後方であり、前記第１の反射部材又は前記第２の反射部材に対して第１の方向に存在する第１の空間領域、又は前記第２の遮光部材の後方であり、前記第３の反射部材又は前記第４の反射部材に対して第２の方向に存在する第２の空間領域の少なくとも何れか一方の空間領域に構成部材を配置することを特徴とするステレオ光学モジュール。
【請求項６】
前記第１の光導入部は、第１の光学レンズを含み、前記第２の光導入部は、第２の光学レンズを含むことを特徴とする請求項１乃至３の何れか１つに記載のステレオ光学モジュール。
【請求項７】
前記第１の光偏向機構は、第１及び第２の反射部材を含み、前記第２の光偏向機構は、第３及び第４の反射部材を含むことを特徴とする請求項１に記載のステレオ光学モジュール。
【請求項８】
前記構成部材は、前記撮像素子の周辺回路であることを特徴とする請求項１に記載のステレオ光学モジュール。
【請求項９】
前記撮像素子の周辺回路は、撮像素子の駆動回路であることを特徴とする請求項８に記載のステレオ光学モジュール。
【請求項１０】
前記撮像素子の周辺回路は、前記撮像素子から出力された画像信号を画像処理するための画像処理回路であることを特徴とする請求項８に記載のステレオ光学モジュール。
【請求項１１】
前記撮像素子の周辺回路は、前記撮像素子から出力された画像信号に対して補正を行うための補正データを記憶するデジタルメモリであることを特徴とする請求項８に記載のステレオ光学モジュール。
【請求項１２】
前記構成部材は、温度センサであることを特徴とする請求項１に記載のステレオ光学モジュール。
【請求項１３】
前記構成部材は、雨滴センサであることを特徴とする請求項１に記載のステレオ光学モジュール。
【請求項１４】
前記構成部材は、照度センサであることを特徴とする請求項１に記載のステレオ光学モジュール。
【請求項１５】
前記構成部材は、ＧＰＳアンテナであることを特徴とする請求項１に記載のステレオ光学モジュール。
【請求項１６】
前記構成部材は、ＥＴＣカードシステムであることを特徴とする請求項１に記載のステレオ光学モジュール。
【請求項１７】
前記構成部材は、電気信号を出力する電気信号出力回路であることを特徴とする請求項１に記載のステレオ光学モジュール。
【請求項１８】
車内に設置されウインドガラスを挟んで前方を観察するためのステレオカメラであって、
同一被写体に対して、複数の視点から見た被写体像を発生させるステレオ光学系と、
このステレオ光学系で発生した前記複数の視点から見た被写体像に基づいてステレオ画像データを発生させる撮像素子と、
この撮像素子で発生したステレオ画像データに基づいて前記ウインドガラスの表面に付着した水滴量を検出するための水滴検出装置と、
を具備することを特徴とするステレオカメラ。
【請求項１９】
前記ステレオ光学系の複数の視点の中の第１の視点における視野と前記ステレオ光学系の複数の視点の中で前記第１の視点と異なる第２の視点における視野とが重なる領域内に前記ウインドガラスが配置されるように前記ステレオ光学系を配置することを特徴とする請求項１８に記載のステレオカメラ。
【請求項２０】
車内に設置されウインドガラスを挟んで前方を観察するためのステレオカメラであって、
同一被写体に対して、複数の視点から見た被写体像を発生させるステレオ光学系と、
このステレオ光学系で発生した前記複数の視点から見た被写体像に基づいてステレオ画像データを発生させる撮像素子と、
前記撮像素子から出力されるステレオ画像データの各々の画像データから距離演算を行い、対象物体の距離が所定の範囲内にある時に前記ウインドガラスの表面に付着物があると判断する付着物判断装置と、
を具備することを特徴とするステレオカメラ。
【請求項２１】
前記所定の距離範囲は、前記ステレオカメラと前記ウインドガラスとの位置関係に対応した距離範囲であることを特徴とする請求項２０に記載のステレオカメラ。
【請求項２２】
前記所定の距離範囲は、前記ウインドガラスの形状又は傾きに合せて、前記ステレオカメラの視野内の位置に応じて変化することを特徴とする請求項２１に記載のステレオカメラ。
【請求項２３】
前記付着物判断装置は、前記ウインドガラスの表面に付着した水滴を検出するための水滴検出装置であることを特徴とする請求項２０に記載のステレオカメラ。
【請求項２４】
車内に設置されウインドガラスを挟んで前方を観察するためのステレオカメラであって、
同一被写体に対して、複数の視点から見た被写体像を発生させるステレオ光学系と、
このステレオ光学系で発生した前記複数の視点から見た被写体像に基づいてステレオ画像データを発生させる撮像素子と、
前記撮像素子から出力されたステレオ画像データに基づいて画像評価を行うために、前記ウインドガラスの表面の水滴を検出して画像評価を行う第１の画像評価シーケンスと、前記ウインドガラスの前方の物体を検出して画像評価を行う第２の画像評価シーケンスとを有する画像評価装置と、
前記画像評価装置の前記１の画像評価シーケンスと前記第２の画像評価シーケンスとを切り換えて動作させる切り換え手段と、
を具備することを特徴とするステレオカメラ。
【請求項２５】
前記第１の画像評価シーケンスは、第１の距離探索範囲内で演算を行って前記ウインドガラスの表面に付着した水滴を検出するシーケンスであり、
前記第２の画像評価シーケンスは、前記第１の距離探索範囲とは異なる第２の距離探索範囲内で演算を行って前記ウインドガラスの前方の物体を検出するシーケンスであることを特徴とする請求項２４に記載のステレオカメラ。
【請求項２６】
前記第１の画像評価シーケンスは、前記ステレオ光学系の複数の視点の中の第１の視点から見た画像データに対して前記ステレオ光学系の複数の視点の中の前記第１の視点と異なる第２の視点側に近い所定の画像領域と前記第２の視点から見た画像に対して前記第１の視点側に近い所定の画像領域との間で演算を行うことを特徴とする請求項２４に記載のステレオカメラ。
【請求項２７】
前記第１の画像評価シーケンスは、前記ステレオ光学系の複数の視点の中の第１の視点から見た画像データと前記ステレオ光学系の複数の視点の中の前記第１の視点と異なる第２の視点から見た画像データとの間で演算を行う際に、当該ステレオカメラと前記ウインドガラスとの位置から決定される距離に対応したオフセットを設けて演算を行うことを特徴とする請求項２４に記載のステレオカメラ。
【請求項２８】
前記オフセットは、前記ウインドガラスの形状又は傾きに合せて、当該ステレオカメラの視野内の位置に応じて変化することを特徴とする請求項２７に記載のステレオカメラ。
【請求項２９】
前記第１の距離探索範囲は、前記ウインドガラスの形状又は傾きに合せて、当該ステレオカメラの視野内の位置に応じて変化することを特徴とする請求項２５に記載のステレオカメラ。
【請求項３０】
車内に設置されウインドガラスを挟んで前方を観察するためのステレオカメラであって、
同一被写体に対して、複数の視点から見た被写体像を発生させるステレオ光学系と、
このステレオ光学系で発生した前記複数の視点から見た被写体像に基づいてステレオ画像データを発生させる撮像素子と、
前記撮像素子から出力されたステレオ画像データに基づいて画像評価を行うために、前記ウインドガラスの表面の水滴を検出して画像評価を行う第１の画像評価演算部と、前記ウインドガラスの前方の物体を検出して画像評価を行う第２の画像評価演算部とを有する画像評価装置と、
を具備することを特徴とするステレオカメラ。
【請求項３１】
前記第１の画像評価演算部は、第１の距離探索範囲内で演算を行って前記ウインドガラスの表面に付着した水滴を検出して画像評価を行い、
前記第２の画像評価演算部は、前記第１の距離探索範囲とは異なる第２の距離探索範囲内で演算を行って前記ウインドガラスの前方の物体を検出して画像評価を行うことを特徴とする請求項３０に記載のステレオカメラ。
【請求項３２】
車内に設置されウインドガラスを挟んで前方を観察するためのステレオカメラであって、
同一被写体に対して、複数の視点から見た被写体像を発生させるステレオ光学系と、
このステレオ光学系で発生した前記複数の視点から見た被写体像に基づいてステレオ画像データを発生させる撮像素子と、
前記ステレオ光学系の複数の視点の中の第１の視点における第１の視野と前記ウインドガラスが重なる領域上のウインドガラスの表面上に光を照射する光照射装置と、
前記撮像素子で発生したステレオ画像データに基づいて前記ウインドガラスの表面に付着した水滴量を検出するための水滴検出装置と、
を具備することを特徴とするステレオカメラ。
【請求項３３】
前記光照射装置は、前記第１の視野と前記ウインドガラスとが重なる領域上のウインドガラスの表面上であって、前記第１の視野の中で周辺部の領域に光を照射することを特徴とする請求項３２に記載のステレオカメラ。
【請求項３４】
前記撮像素子から出力されるステレオ画像データに基づいて前記ウインドガラスの前方の物体を検出する物体検出装置と、
前記水滴検出装置を動作させる時には前記光照射装置を動作させ、前記物体検出装置を動作させる時には前記光照射装置を不動作にするように制御を行う制御回路と、
を更に具備する請求項３２に記載のステレオカメラ。
【請求項３５】
車内に設置されウインドガラスを挟んで前方を観察するためのステレオカメラであって、
同一被写体に対して、複数の視点から見た被写体像を発生させるステレオ光学系と、
このステレオ光学系で発生した前記複数の視点から見た被写体像に基づいてステレオ画像データを発生させる撮像素子と、
前記撮像素子から出力されるステレオ画像データの中から、前記ステレオ光学系の複数の視点の中の第１の視点における第１の視野と前記ウインドガラスとが重なる領域上のウインドガラスの表面上に設けられ、付着した水分を検出して色が変わる物質に対応する画像データの色情報に基づいて、所定の色情報を検知した時に信号を出力する水分検出装置と、
を具備することを特徴とするステレオカメラ。
【請求項３６】
前記ステレオ光学系は、パンフォーカスに構成されていることを特徴とする請求項１８に記載のステレオカメラ。
【発明の詳細な説明】
【技術分野】  本発明は、車両、船舶、航空機、及びロボット等の移動体や監視カメラシステム等の非移動体に搭載可能なステレオ光学モジュール及びステレオカメラに関する。
【背景技術】  従来、撮像装置の撮像光学系に接続することで、同一の被写体からの光を離間した２つの部位で受光し、各々の光を撮像装置の光学系に導くことで、ステレオ画像の撮像（ステレオ撮影）を可能にするステレオ光学モジュールが利用されており、そのようなステレオ光学モジュールの構成として各種提案されている。
例えば、被写体に所定のパターンを投影するパターン投影部を有するステレオ光学モジュール（例えば、特開平２０００−２３６３３２号公報参照）や、前面にシリンドリカルレンズやワイドコンバージョンレンズを着脱可能に設置するステレオ光学モジュールが提案されている（例えば、特開平９−３２７０４２号公報参照）。また、イメージガイドを用いて双眼視するための内視鏡も提案されている（例えば、特開平４−０１６８１２号公報参照）。また、ステレオ光学モジュールのミラー構成としては、例えば実開昭５３−１１２４２６号公報などで開示されている。更に３眼視ステレオ用のアダプタも提案されている（例えば、特開２００１−３０５６８２号公報参照）。
また、株式会社デンソーなどで提案されている従来の雨滴センサは、例えば、図２６に示すように、ウインドガラス７３に密着したガラスブロック７４に向けて、赤外光や可視光の発光ダイオード（投光ＬＥＤ）７５から投光を行う。この光を投光レンズ７６で集光し、この集光光線のガラス外側面における反射光を、反射ミラー７７等により受光レンズ７８に導く。そして、受光レンズ７８でその導かれた光を集光し、この集光光線をフォトダイオード等の受光センサ７９で検出する。このとき、ウインドガラス７３に雨滴が付着している場合には、光が散乱して光量が変化するので、雨滴量を計測することが可能である。
しかしながら、上記した特開平２０００−２３６３３２号公報参照〜特開２００１−３０５６８２号公報では、遠距離の被写体について広角画像を撮影するためには、投影装置やミラーが大きくなってしまい、ステレオ光学モジュールを小型軽量に構成することが困難である。
また、従来の雨滴センサでは、ガラス面に密着して、雨滴センサを設けなければならず、スペースやコスト上の制約となっていた。また、運転者の視野の妨げになったり、雨滴センサの他に車両の前方の障害物等を検出するためのステレオ光学モジュールを搭載する場合は、ステレオ光学モジュールの視野が遮蔽されてしまう問題やステレオ光学モジュールに対する雨滴センサの設置位置などの問題がある。
【発明の開示】
本発明の目的は、遠距離の被写体を広角に撮影できる小型軽量のステレオ光学モジュールを提供するである。
また、本発明の目的は、設置位置等を考慮する必要がない雨滴センサを有するステレオカメラを提供することである。
上記の目的を達成するために、本発明の第１の態様のステレオ光学モジュールは、被写体に対して第１の視点から見た第１の被写体像を発生させる第１の光導入部と、前記被写体に対して前記第１の視点とは異なる第２の視点から見た第２の被写体像を発生させるための第２の光導入部と、前記第１の光導入部から入射した光束による第１の被写体像の全部分又は大部分を、前記第１の光導入部と前記第２の光導入部の各々の中心を結ぶ基準線と前記光束の入射方向とに対して直交する第１の方向にある第１の半面部に結像させる第１の光偏向機構と、前記第２の光導入部から入射した光束による第２の被写体像の全部分又は大部分を、前記第１の方向とは前記基準線を跨いで反対側の第２の方向にある第２の半面部に結像させる第２の光偏向機構とを具備し、第１の光導入部の略後方であり前記第１の光偏向機構に対して、前記基準線及び前記光束の入射方向と直交する方向であって前記第１の光偏向機構に対して前記第２の光偏向機構がずれた方向にある第１の空間領域又は前記第２の光導入部の略後方であり前記第２の光偏向機構に対して、前記基準線及び前記光束の入射方向と直交する方向であって前記第２の光偏向機構に対して前記第１の光偏向機構がずれた方向にある第２の空間領域の少なくとも何れか一方の空間領域に構成部材を配置する。
また、上記の目的を達成するために、本発明の第２の態様のステレオ光学モジュールは、被写体に対して第１の視点から見た第１の被写体像を発生させる第１の光導入部と、前記被写体に対して前記第１の視点とは異なる第２の視点から見た第２の被写体像を発生させるための第２の光導入部と、前記第１の光導入部から入射した光束による第１の被写体像の全部分又は大部分を、前記第１の光導入部と前記第２の光導入部の各々の中心を結ぶ基準線と前記光束の入射方向とに対して直交する第１の方向にある第１の半面部に存在する撮像素子に結像させる第１の光偏向機構と、前記第２の光導入部から入射した光束による第２の被写体像の全部分又は大部分を、前記第１の方向とは前記基準線を跨いで反対側の第２の方向にある第２の半面部に存在する撮像素子に結像させる第２の光偏向機構と、ステレオ光学モジュールの内部の機構を保護するためのケーシング部材とを具備し、第１の光導入部の略後方であり前記第１の光偏向機構と前記ケーシング部材とに挟まれた第１の空間領域又は前記第２の光導入部の略後方であり前記第２の光偏向機構と前記ケーシング部材に挟まれた第２の空間領域の少なくとも何れか一方の空間領域に構成部材を配置する。
また、上記の目的を達成するために、本発明の第３の態様のステレオ光学モジュールは、被写体に対して第１の視点から見た第１の被写体像を発生させる第１の光導入部と、前記被写体に対して前記第１の視点とは異なる第２の視点から見た第２の被写体像を発生させるための第２の光導入部と、前記第１の光導入部から入射した光束による第１の被写体像の全部分又は大部分を、前記第１の光導入部と前記第２の光導入部の各々の中心を結ぶ基準線と前記光束の入射方向とに対して直交する第１の方向にある第１の半面部に存在する撮像素子に結像させる第１の光偏向機構と、前記第２の光導入部から入射した光束による第２の被写体像の全部分又は大部分を、前記第１の方向とは前記基準線を跨いで反対側の第２の方向にある第２の半面部に存在する撮像素子に結像させる第２の光偏向機構と、ステレオ光学モジュールの内部の機構を外部から遮断するためのケーシング部材とを具備し、第１の光導入部の略後方であり前記第１の光偏向機構と前記第２の光偏向機構と前記ケーシング部材とに囲まれた第１の空間領域又は前記第２の光導入部の略後方であり前記第１の光偏向機構と前記第２の光偏向機構と前記ケーシング部材とに囲まれた第２の空間領域の少なくとも何れか一方の空間領域に構成部材を配置する。
また、上記の目的を達成するために、本発明の第４の態様のステレオ光学モジュールは、被写体に対して第１の視点から見た第１の被写体像を発生させる第１の光学レンズと、前記被写体に対して前記第１の視点とは異なる第２の視点から見た第２の被写体像を発生させるための第２の光学レンズと、前記第１の被写体像の全部分又は大部分を、前記第１の光学レンズと前記第２の光学レンズの各々の中心を結ぶ基準線と前記光束の入射方向とに対して直交する第１の方向にある第１の半面部に存在する撮像素子に結像させるために、前記第１の光学レンズを介して入射した光を反射する第１の反射部材と、この第１の反射部材で反射した光を更に反射する第２の反射部材とを含む第１の光偏向機構と、前記第２の被写体像の全部分又は大部分を、前記第１の方向とは前記基準線を跨いで反対側の第２の方向にある第２の半面部に存在する撮像素子に結像させるために、前記第２の光学レンズを介して入射した光を反射する第３の反射部材と、この第３の反射部材で反射した光を更に反射する第４の反射部材とを含む第２の光偏向機構と、前記第２の反射部材及び第４の反射部材により反射した光を上記撮像素子に結像する第３の光学レンズとを具備し、前記第１の反射部材又は前記第２の反射部材に対して前記第１の方向に存在する第１の空間領域、又は前記第３の反射部材又は前記第４の反射部材に対して前記第２の方向に存在する第２の空間領域の少なくとも何れか一方の空間領域に構成部材を配置する。
また、上記の目的を達成するために、本発明の第５の態様のステレオ光学モジュールは、被写体に対して第１の視点から見た第１の被写体像を発生させる第１の光学レンズと、この第１の光学レンズの近傍にあり、前記第１の光学レンズに入射する光束の一部を遮光する第１の遮光部材と、前記被写体に対して前記第１の視点とは異なる第２の視点から見た第２の被写体像を発生させるための第２の光学レンズと、この第２の光学レンズの近傍にあり、前記第２の光学レンズに入射する光束の一部を遮光する第２の遮光部材と、前記第１の光学レンズに入射した前記第１の被写体像の全部分又は大部分を、前記第１の光学レンズと前記第２の光学レンズの各々の中心を結ぶ基準線と前記光束の入射方向とに対して直交する第１の方向にある第１の半面部に存在する撮像素子に結像させるために、前記第１の光学レンズを介して入射した光を反射する第１の反射部材と、この第１の反射部材で反射した光を更に反射する第２の反射部材とを含む第１の光偏向機構と、前記第２の光学レンズに入射した前記第２の被写体像の全部分又は大部分を、前記第１の方向とは前記基準線を跨いで反対側の第２の方向にある第２の半面部に存在する撮像素子に結像させるために、前記第２の光学レンズを介して入射した光を反射する第３の反射部材と、この第３の反射部材で反射した光を更に反射する第４の反射部材とを含む第２の光偏向機構と、前記第２の反射部材及び第４の反射部材により反射した光を上記撮像素子に結像する第３の光学レンズとを具備し、前記第１の遮光部材の後方であり、前記第１の反射部材又は前記第２の反射部材に対して第１の方向に存在する第１の空間領域、又は前記第２の遮光部材の後方であり、前記第３の反射部材又は前記第４の反射部材に対して第２の方向に存在する第２の空間領域の少なくとも何れか一方の空間領域に構成部材を配置する。
これら第１〜第５の態様によれば、ステレオ光学モジュール内の空き領域に撮像素子などの構成部材を配置するので、遠距離の被写体を広角に撮影でき、更に小型軽量化が可能である。
また、上記の目的を達成するために、本発明の第６の態様のステレオカメラは、車内に設置されウインドガラスを挟んで前方を観察するためのステレオカメラであって、同一被写体に対して、複数の視点から見た被写体像を発生させるステレオ光学系と、このステレオ光学系で発生した前記複数の視点から見た被写体像に基づいてステレオ画像データを発生させる撮像素子と、この撮像素子で発生したステレオ画像データに基づいて前記ウインドガラスの表面に付着した水滴量を検出するための水滴検出装置とを具備する。
また、上記の目的を達成するために、本発明の第７の態様のステレオカメラは、車内に設置されウインドガラスを挟んで前方を観察するためのステレオカメラであって、同一被写体に対して、複数の視点から見た被写体像を発生させるステレオ光学系と、このステレオ光学系で発生した前記複数の視点から見た被写体像に基づいてステレオ画像データを発生させる撮像素子と、前記撮像素子から出力されるステレオ画像データの各々の画像データから距離演算を行い、対象物体の距離が所定の範囲内にある時に前記ウインドガラスの表面に付着物があると判断する付着物判断装置とを具備する。
また、上記の目的を達成するために、本発明の第８の態様のステレオカメラは、車内に設置されウインドガラスを挟んで前方を観察するためのステレオカメラであって、同一被写体に対して、複数の視点から見た被写体像を発生させるステレオ光学系と、このステレオ光学系で発生した前記複数の視点から見た被写体像に基づいてステレオ画像データを発生させる撮像素子と、前記撮像素子から出力されたステレオ画像データに基づいて画像評価を行うために、前記ウインドガラスの表面の水滴を検出して画像評価を行う第１の画像評価シーケンスと、前記ウインドガラスの前方の物体を検出して画像評価を行う第２の画像評価シーケンスとを有する画像評価装置と、前記画像評価装置の前記１の画像評価シーケンスと前記第２の画像評価シーケンスとを切り替えて動作させる切り換え手段とを具備する。
また、上記の目的を達成するために、本発明の第９の態様のステレオカメラは、車内に設置されウインドガラスを挟んで前方を観察するためのステレオカメラであって、同一被写体に対して、複数の視点から見た被写体像を発生させるステレオ光学系と、このステレオ光学系で発生した前記複数の視点から見た被写体像に基づいてステレオ画像データを発生させる撮像素子と、前記撮像素子から出力されたステレオ画像データに基づいて画像評価を行うために、前記ウインドガラスの表面の水滴を検出して画像評価を行う第１の画像評価演算部と、前記ウインドガラスの前方の物体を検出して画像評価を行う第２の画像評価演算部とを有する画像評価装置とを具備する。
また、上記の目的を達成するために、本発明の第１０の態様のステレオカメラは、車内に設置されウインドガラスを挟んで前方を観察するためのステレオカメラであって、同一被写体に対して、複数の視点から見た被写体像を発生させるステレオ光学系と、このステレオ光学系で発生した前記複数の視点から見た被写体像に基づいてステレオ画像データを発生させる撮像素子と、前記ステレオ光学系の複数の視点の中の第１の視点における第１の視野と前記ウインドガラスが重なる領域上のウインドガラスの表面上に光を照射する光照射装置と、前記撮像素子で発生したステレオ画像データに基づいて前記ウインドガラスの表面に付着した水滴量を検出するための水滴検出装置とを具備する。
また、上記の目的を達成するために、本発明の第１１の態様のステレオカメラは、車内に設置されウインドガラスを挟んで前方を観察するためのステレオカメラであって、同一被写体に対して、複数の視点から見た被写体像を発生させるステレオ光学系と、このステレオ光学系で発生した前記複数の視点から見た被写体像に基づいてステレオ画像データを発生させる撮像素子と、前記撮像素子から出力されるステレオ画像データの中から、前記ステレオ光学系の複数の視点の中の第１の視点における第１の視野と前記ウインドガラスとが重なる領域上のウインドガラスの表面上に設けられ、付着した水分を検出して色が変わる物質に対応する画像データの色情報に基づいて、所定の色情報を検知した時に信号を出力する水分検出装置とを具備する。
これら第６〜第１１の態様によれば、雨滴の検出を画像処理によって行うので、専用のセンサを必要とせず、スペースの節約になる。
【図面の簡単な説明】  図１は、本発明の第１の実施形態に係るステレオカメラシステムの基本構成について示したブロック図であり、
図２は、第１の実施形態におけるステレオ光学モジュールの回路構成を示すブロック図であり、
図３Ａは、ステレオ光学モジュールのステレオ光学系の構造について示す上面図であり、
図３Ｂは、ステレオ光学モジュールの外観図であり、
図４Ａは、ステレオ光学モジュールの構造について示す斜視図であり、
図４Ｂは、ステレオ光学モジュール内の回路配置について説明するための上面図であり、
図５は、ステレオ画像の例を示す図であり、
図６は、本発明の第１の実施形態におけるステレオ光学モジュールにおける中央制御ユニットの回路構成を示すブロック図であり、
図７は、第１の実施形態のステレオカメラシステムを車両に搭載する場合の例を示す図であり、
図８Ａは、視野マスクの第１の変形例を示す図であり、
図８Ｂは、視野マスクの第２の変形例を示す図であり、
図９は、中央制御ユニットの変形例を示すブロック図であり、
図１０は、本発明の第２の実施形態におけるステレオ光学モジュールの回路構成を示すブロック図であり、
図１１は、本発明の第２の実施形態の中央制御ユニットの回路構成を示すブロック図であり、
図１２は、本発明の第３の実施形態におけるステレオ光学モジュールの回路構成を示すブロック図であり、
図１３は、ＤＶフォーマットやＮＴＳＣ規格等のビデオフォーマットを用いた通信内容例を示す図であり、
図１４は、本発明の第４の実施形態におけるステレオカメラシステムのメイン動作シーケンスのフローチャートであり、
図１５は、センサチェックシーケンスのフローチャートであり、
図１６は、キャリブレーションデータ補正シーケンスのフローチャートであり、
図１７は、運転支援シーケンスのフローチャートであり、
図１８は、車間距離警告の表示例を示す図であり、
図１９は、道路面認識結果の表示例であり、
図２０は、回避警告の表示例であり、
図２１は、レーン認識結果の表示例であり、
図２２は、メイン動作シーケンスのフローチャートの変形例について示すフローチャートであり、
図２３は、センサチェックシーケンスの第１の変形例について示すフローチャートであり、
図２４は、センサチェックシーケンスの第２の変形例について示すフローチャートであり、
図２５は、本発明の第５の実施形態におけるステレオカメラシステムの構成を示すブロック図であり、
図２６は、従来の雨滴センサの構成図であり、
図２７は、本発明の第６の実施形態としての雨滴検出時のステレオ画像例を示す図であり、
図２８は、オーバラップ領域について説明するための図であり、
図２９は、従来の対応点探索を模式的に示した図であり、
図３０は、第６の実施形態における雨滴検出時の対応点探索を模式的に示した図であり、
図３１は、オーバラップ領域外の領域に雨滴が付着した場合のステレオ画像例を示す図であり、
図３２は、オーバラップ領域外の領域の雨滴画像検出手法について説明するための図であり、
図３３は、光ビーム投光器を用いた雨滴検出について説明するための図であり、
図３４は、雨滴検出コーティングの例を示す図である。
【発明を実施するための最良の形態】  以下、本発明の実施の形態を図面を参照して説明する。
［第１の実施の形態］
図１は、本発明の第１の実施形態に係るステレオカメラシステムの基本的な構成を示すブロック図である。ここで、このステレオカメラシステムは、車両、船舶、航空機、ロボット等の移動体に搭載可能なシステムを想定している。以後図１〜図９を参照して、車両に搭載される例について説明する。
即ち、このカメラシステムは、基本的に、図１に示すように、ステレオ光学モジュール１と、通信回線２と、中央制御ユニット３とから構成されている。ステレオ光学モジュール１は、被写体の撮像を行ってステレオ画像を取得すると共にその取得したステレオ画像の補正を行うものである。通信回線２は、ステレオ光学モジュール１と中央制御ユニット３との間の通信回線である。中央制御ユニット３は、通信回線２を介してステレオ光学モジュール１から入力されたステレオ画像に基づいて、ステレオ光学モジュール１の撮影対象である被写体の評価を行う。具体的には、入力されたステレオ画像に基づいて後で説明する距離画像を求め、この求めた距離画像の評価を行う。
以下、これらの構成について更に詳しく説明する。
まず、ステレオ光学モジュール１について説明する。図２は、このステレオ光学モジュールの内部を詳細に示したブロック図である。即ち、ステレオ光学モジュール１は、図２に示すように、ステレオ光学系４と、撮像素子５と、撮像素子駆動回路６と、補正情報メモリ７と、画像出力処理回路８と、モジュール（Ｍ）側通信インタフェース９と、水滴検出装置又は付着物検出装置としての雨滴センサ１０と、温度センサ１１とから構成されている。
ステレオ光学系４は、図３Ａに示すように、視野マスク（右左）１９ａ，１９ｂと、前玉ユニット（右左）２０ａ，２０ｂと、第１及び第２の反射部材としての１次偏向ミラー（右左）２１ａ，２１ｂと、第３及び第４の反射部材としての２次偏向ミラー（右左）２２ａ，２２ｂと、後玉ユニット２３と、ローパスフィルタ２４とから構成されており、図示しない被写体からの像を撮像素子５に結像させる。
ここで、ステレオ光学モジュール１の外観は、図３Ｂに示すように、視野マスク開口２５ａ，２５ｂが設けられたケーシング部材２６に覆われており、これら視野マスク開口２５ａ，２５ｂからステレオ光学系４に光が入射するようになっている。ここで、ケーシング部材２６は、当該ステレオ光学モジュールの内部機構を外部から保護するための部材であり、外光を遮断する機能、防塵機能、及び内部機構を支持する機能等を有するカバー部材である。
また、図３Ａ、図３Ｂに示すように、視野マスク開口２５ａ，２５ｂからステレオ光学系４に入射した、一定距離離れた図示しない被写体からの光束は、その一部が視野マスク１９ａ，１９ｂにより遮光され、残りが右左の前玉ユニット２０ａ，２０ｂに入射する。ここで、視野マスク１９ａ，１９ｂは、前玉ユニット２０ａ，２０ｂの視野を絞るための絞りとして機能する。第１の実施形態では、図４Ａに示すように、視野マスク１９ａは前玉ユニット２０ａの上半分領域を遮蔽しており、視野マスク１９ｂは前玉ユニット２０ｂの下半分領域を遮蔽している。
なお、視野マスク１９ａ，１９ｂを有するこれら前玉ユニット２０ａ，２０ｂのレンズの実効的な光軸（以下、光軸と称する）は、被写体からの光束の中心、即ち視野マスク１９ａ，１９ｂが無い場合の中心軸とは一致しない。また、図４Ａに示すように、右左の前玉ユニット２０ａ，２０ｂの光軸は互いに同一平面上になく、捩れた状態となっている。
前玉ユニット２０ａ，２０ｂを介して入射した被写体からの光束は、１次偏向ミラー２１ａ，２１ｂで反射される。これら１次偏向ミラー２１ａ，２１ｂは、前玉ユニット２０ａ，２０ｂを透過した光束を、反射可能な程度のサイズを持っている。即ち、１次偏向ミラー２１ａ，２１ｂは、前玉ユニット２０ａの遮蔽されていない領域とほぼ同じかそれよりも少し大きい程度のサイズを持つ。また、１次偏向ミラー２１ａ，２１ｂは、水平方向には約４５度、垂直方向には撮像素子側に数度傾いて配置されている。このように配置することにより、１次偏向ミラー２１ａ，２１ｂで反射された光束が２次偏向ミラー２２ａ，２２ｂに入射する。
２次偏向ミラー２２ａ，２２ｂは、水平方向には１次偏向ミラー２１ａ，２１ｂと略直交するように、垂直方向には撮像素子側に数度傾いて配置されている。このように配置することにより、２次偏向ミラー２２ａ，２２ｂで反射された光束が後玉ユニット２３に入射する。図４Ｂに示すように、上面方向から見ると、２次偏向ミラー２２ａ，２２ｂは、互いに交差するように配置されている。即ち、１次偏向ミラー２１ａから入射してくる光束は、２次偏向ミラー２２ａで反射されて後玉ユニット２３の下方向に入射するように偏向される。一方、１次偏向ミラー２１ｂから入射してくる光束は、２次偏向ミラー２２ｂで反射されて後玉ユニット２３の上方向に入射するように偏向される。
ここで、１次偏向ミラー２１ａと２次偏向ミラー２２ａとからなる第１の光偏向機構は、前玉ユニット２０ａに入射する光束を前玉ユニット２０ａの中心部と前玉ユニット２０ｂの中心部とを結ぶ基準線と、光束の入射方向に対して直交する第１の方向にある第１の半面部、即ち撮像素子５の下半分の領域に導く機能を有する。
また、１次偏向ミラー２１ｂと２次偏向ミラー２２ｂとからなる第２の光偏向機構は、前玉ユニット２０ｂに入射する光束を、第１の方向とは基準線を跨いで反対側の第２の方向にある第２の半面部、即ち撮像素子５の上半分の領域に導く機能を有する。
このように偏向された光束は、後玉ユニット２３を介して、ローパスフィルタ２４に入射し、ローパスフィルタで高周波雑音成分が除去される。その後、右側の前玉ユニット２０ａを介して入射した光束は、撮像素子５の下半分の領域に結像し、左側の前玉ユニット２０ｂを介して入射した光束は、撮像素子５の上半分の領域に結像する。即ち、視野マスク１９ａ，１９ｂで視野を限定することにより、上下の画像はオーバラップせずに、撮像素子上に結像する。この結果、図５に示すような左右の視差を持ったステレオ画像が、撮像素子上に上下に並んで結像することになる。これにより、１台のステレオ光学モジュールをのみでステレオ画像を取得することが可能である。
ここで、２次偏向ミラー２２ａ，２２ｂは、撮像素子５に対して垂直方向に数度の角度をつけて配置されているので、像は、物界に対し傾いて結像することになる。そこで、入射光束を撮像素子５に効率的に結像させるために、撮像素子５は、図４Ａに示すように斜めに傾けて配置することが好ましい。
このようにして撮像素子５に結像したステレオ画像は、図２のブロック図で示す、撮像素子駆動回路６の働きにより、アナログ信号として画像出力処理回路８に順次出力される。ここで、画像出力処理回路８の内部は、Ａ／Ｄ変換部１２と、Ｃ−Ｙ変換部１３と、圧縮処理部１４と、レクティフィケーション処理部１５と、γ変換処理部１６と、シェーディング補正処理部１７と、フレームバッファメモリ１８とから構成されている。
また、画像出力処理回路８と、上記雨滴センサ１０及び温度センサ１１は、図４Ａ及び図４Ｂに示すように視野マスク１９ａ，１９ｂの後方、２次偏向ミラー２２ａ，２２ｂの裏面側の空きスペース、即ち第１及び第２の空間領域であるところの回路配置スペース２７ａ，２７ｂに設置される。図４Ａ及び図４Ｂに示すように、右側の光学系には１次偏向ミラー２１ａ及び２次偏向ミラー２２ａの上方に回路配置スペース２７ａが存在し、左側の光学系には１次偏向ミラー２１ｂ及び２次偏向ミラー２２ｂの下方に回路配置スペース２７ｂが存在する。これは、上述したように、右側前玉ユニット２０ａは上半分が視野マスク１９ａによりマスクされており、左側前玉ユニット２０ｂは下半分が視野マスク１９ｂによりマスクされているので、それら視野マスク１９ａ，１９ｂの後方には光学部材が配置されることはなく、空きスペースとなるからである。そこで、この空きスペースに画像出力処理回路８等の回路を設けるようにすれば、入射してくる光を遮ることなく、かつ、ステレオ光学モジュール内の空きスペースを有効利用することができ、ステレオ光学モジュールの小型化に繋がる。ここで、これらの空きスペースに設けることができる回路は、例えば電気信号を出力する電気信号出力回路であり、上記した画像出力処理回路の他に、例えば、撮像素子駆動回路など、補正データを記憶するデジタルメモリ（補正情報メモリ）等の撮像素子の周辺回路や、温度センサ、及び雨滴センサや、照度センサ、ＧＰＳアンテナ、ＥＴＣカードシステム等が含まれる。また、この空きスペースには、ステレオ光学モジュールの図示しない電源回路を設けても良いし、メカニカルな機構部材を設けても良い。この機構部材として、例えばステレオ光学系をメカニカルに調整するための図示しない調整機構を設けても良い。また、ステレオ光学系に入射する光量を調整するための図示しないＮＤフィルタを挿脱式にしておき、このＮＤフィルタの退避スペースとして上記した空きスペースを使用するようにしてもよい。
次に、図２の画像出力処理回路８の各部について説明する。画像出力処理回路８内部では、まず、Ａ／Ｄ変換部１２でアナログ信号であるステレオ画像がデジタルデータであるデジタルステレオ画像データに変換される。なお、撮像素子５の前面には、図示しない光学色フィルタが設けられており、この光学色フィルタによって撮像素子５はＲＧＢの各色に対応したステレオ画像データを出力するようになっている。Ｃ−Ｙ変換部１３では、これらのＲＧＢの原色信号が輝度信号と２つの色差信号に変換される。これは、圧縮処理部１４で、モーションＪＰＥＧ（Ｍｏｔｉｏｎ−ＪＰＥＧ）信号に変換するための準備の処理である。その後、これらの信号は、フレームバッファメモリ１８に記憶される。
このフレームバッファメモリ１８に記憶されたステレオ画像データは、シェーディング補正処理部１７に入力される。シェーディング補正処理部１７では、補正情報メモリ７に格納されたシェーディング補正データに基づきシェーディング補正処理が施される。次に、γ変換処理部１６において画像入出力特性を適正にするためにγ変換処理が施され、更にレクティフィケーション処理部１５で補正情報メモリ７に格納されたキャリブレーションデータに基づきレクティフィケーション処理が実施される。
なお、レクティフィケーション処理とは、ステレオ光学系４内部の光学部材などの機械ずれなどにより生じる左右画像のエピポーラ線のずれやレンズの歪曲（ディストーション）等による画像の歪みを画像処理によって補正する処理である。この様な処理では、例えば、左画像で選択された特徴点に対応する点が右画像のどこにあるかを検出し、この対応点が本来のっているべき直線（エピポーラ線）上から、どれだけずれているのかを検出し、この検出したずれに応じた画像変形を行う。このようにしてレクティフィケーション処理された左右画像（以後、レクティフィケーション画像と称する）は、規定の座標に正規化された後、図５に対応するように上下に配置された形でフレームバッファメモリ１８に書き戻される。
また、補正情報メモリ７に記憶されているキャリブレーションデータは、ステレオ光学モジュールの熱変形等を考慮するための複数のキャリブレーションデータが記憶されている。即ち、温度センサ１１で検出した温度値は、Ｍ側通信インタフェース９を介して画像出力処理回路８に入力され、この入力された温度に基づいて、レクティフィケーション処理部１５は、補正情報メモリ７に記憶されているキャリブレーションデータを選択してレクティフィケーション処理を実施することで、温度変化にロバストな処理を実現する。
その後、上記フレームバッファメモリ１８に書き戻されたデジタルステレオ画像データは、圧縮処理部１４に入力され、モーションＪＰＥＧのようなデータ圧縮方式を用いてデータ圧縮が施された後、Ｍ側通信インタフェース９を介して通信回線２に出力される。また、Ｍ側通信インタフェース９には、雨滴センサ１０及び温度センサ１１も接続されており、これらセンサの出力も通信回線２や画像出力処理回路８に出力可能である。
次に通信回線２について説明する。通信回線２は、第１の実施形態では、レクティフィケーション画像データ及びステレオ光学モジュールの制御を行うためのデータ信号を伝送する複数のＵＳＢ通信線を持つ。これらの通信線は、それぞれステレオ光学モジュール１のＭ側通信インタフェース９と中央制御ユニット３のユニット（ｕ）側通信インタフェース２８とに接続される。
ここで、レクティフィケーション画像はモーションＪＰＥＧ形式で圧縮された形でＵＳＢ信号線に伝送され、また、雨滴センサ１０で検出された雨滴センサ情報や温度センサ１１で検出された温度センサ情報等の環境情報や、被写体の測光情報などの情報も、ＵＳＢ通信線を介して伝送される。そして、これらの情報は、通信回線２を介して、中央制御ユニット３に伝送される。ここで、ステレオ画像データは、上述のように圧縮処理部１４で圧縮されているので、通信時の情報量を削減することができ、画像データの他のデータを送受信可能な情報量を増すことができる。ここで、通信同線２、即ちＵＳＢ通信線は、上述したように、レクティフィケーション画像のデータ、雨滴センサ情報、及び温度センサ情報等を、デジタルデータによりステレオ光学モジュール１から中央制御ユニット３に対して通信する。ここで、ステレオ光学モジュール１は、中央制御ユニット３から制御コマンドを受けて所定のデータを発生させる温度センサ、雨滴センサ、補正情報メモリなどを備えている。通信回線２は双方向のデジタル通信回線になっており、中央制御ユニット３からは、各種制御コマンドをこの通信回線２を介してステレオ光学モジュール１に対して送る。この制御コマンドは、第１の実施形態では、詳細な記述を省略するが、例えばステレオ光学モジュール１の電源制御コマンド（動作モードと省電力モードとを切り換えるコマンド）であるとか、温度センサ情報、雨滴センサ情報を中央制御ユニット側に読み出すための要求信号、あるいは補正情報メモリ７に記憶された情報を中央制御ユニット３側に読み出すための要求信号などである。このように１系統の通信線を用いてより効率よく相互のデータ通信を行うことができる。
また、第１の実施形態の変形例であるが、レクティフィケーション画像のデータをアナログの通信線を使用して送信することも可能である。例えば、撮像素子５の出力をモジュール側のＭ側通信インタフェース９にてＮＴＳＣ等のフォーマットに準拠したアナログ画像信号に変換した後に通信回線２に出力する。この場合には、ステレオ光学モジュール内で圧縮処理部１４は不要になる。この変形例の特徴としては、通信回線２がアナログの通信線とデジタルの通信線の２系統を持つ必要があり、通信回線を通す部分のスペースが余分に必要になる。また、通信コネクタの占有スペースが余計に必要になる等のデメリットはあるが、その反面、画像データを通信するスピードを高めることができるというメリットが発生する。
またレクティフィケーション画像をアナログの通信線で送信する場合に、ブランキング信号中に情報を重畳する文字放送用の領域などを利用して画像データ以外の制御データを伝送するようにしても良い。
次に中央制御ユニット３について説明する。図６に示すように、中央制御ユニット３は、ｕ側通信インタフェース２８と、画像入力装置２９と、フレームメモリ３０と、ＥＰＲＯＭ３１と、距離画像算出ユニット３２と、距離画像などを元に物体認識等を行う周辺環境判定ユニット及びシーケンスコントローラ（以下、周辺環境判定ユニットと称する）３３から構成されている。更に、中央制御ユニット３は、画像出力装置３４、ポインティング入力装置３６、オーディオ出力装置３７、オーディオ入力装置４０、及び表示灯出力装置４１も有している。以上の回路や装置はバスを介して接続されており、相互にデータの転送が可能になっている。
また、画像出力装置３４及びポインティング入力装置３６は表示入力装置３５に接続されている。また、オーディオ出力装置３７はスピーカ３８に接続されており、オーディオ入力装置４０はマイクロホン３９に接続されている。更に、表示灯出力装置４１は表示灯４２に接続されている。
通信回線２を介して中央制御ユニット３に入力されてきたレクティフィケーション画像は、ｕ側通信インタフェース２８、画像入力装置２９を介してフレームメモリ３０に一時格納され、その後、距離画像算出ユニット３２に入力される。
ここで、中央制御ユニット３に入力されてきたレクティフィケーション画像は、モーションＪＰＥＧの規格で圧縮されたデータであるので、上記した画像入力装置２９で、この圧縮されたデータを伸長して復元する。
距離画像算出ユニット３２は、ステレオ画像から左右別の画像を切り出すステレオ画像切り出し部４３と、ウインドーマッチング部４６とを持つ。即ち、距離画像算出ユニット３２に入力されてきたレクティフィケーション画像は、ステレオ画像切り出し部４３で左右画像４４，４５に切り出される。そして、これら切り出された左右画像４４，４５に対してウインドーマッチング部４６においてウインドーマッチングが行われ、それぞれの対応点のずれ、即ち視差量の検出が行われ、この結果、視差画像４７が生成される。その後、この視差量が、距離画像生成部４８において距離情報に変換され、この距離情報とＥＰＲＯＭ３１に記憶されているキャリブレーションデータ４９に基づいて距離画像が生成される。ここで、用語「距離画像」は、撮像された被写体画像の画素ごとに距離情報を有している画像のことを言うものとする。また、このキャリブレーションデータ４９は、通信回線２を介して入力されてきた雨滴センサ情報や温度センサ情報に従って選択される距離情報補正用のデータである。
その後、生成された距離画像は、周辺環境判定ユニット３３に送られる。
周辺環境判定ユニット３３は、一般のパーソナルコンピュータやマイクロコンピュータによる制御装置と同等に、通信バスに接続された、中央演算処理部（ＣＰＵ）５０、メインメモリ（ＲＡＭ）５１、デジタル信号処理部（ＤＳＰ）５２、ハードディスク（ＨＤＤ）５３などを持ち、距離画像を評価して物体を認識するシーケンスやその他の各種シーケンス制御などをソフトウェア的に実現するように構成されている。
即ち、距離画像が周辺環境判定ユニット３３に入力されてくると、ＣＰＵ５０がＨＤＤ５３に格納された物体認識処理のプログラムをＲＡＭ５１に展開して実行し、ステレオ光学モジュール１で得られた２次元のレクティフィケーション画像や距離画像算出ユニット３２で求められた距離画像に基づいて、障害物（例えば、道路上では、歩行者、車両、落下物など）の検出や、特徴的な環境情報（例えば、道路上では白線や、ガードレール、標識など）を認識する処理を行う。そして、ＣＰＵ５０は、この認識処理の結果に基づいて、例えば、画像出力装置３４を制御して表示入力装置３５に認識結果を表示したり、オーディオ出力装置３７を制御してスピーカ３８から車両が近づいている旨などを警告音により告知したり、表示灯出力装置４１を制御して表示灯４２を点灯したりして、運転者などの操作者の注意を促したりする運転支援に関する制御を実施する。また、逆に表示入力装置３５のようなマニュアル操作部材やマイクロホン３９などの音声入力装置により操作者からの指示があった場合には、その指示をポインティング入力装置３６やオーディオ入力装置４０を介して取り込み、その指示内容に応じた制御を実行する。
以上のようなステレオカメラシステムを車両に搭載した場合には、通信回線２に、図７に示すように、ステレオ光学モジュール１及び中央制御ユニット３に加えて、更に、レーダー装置が搭載されたレーダーモジュール５４、車両の速度を検出するための車速センサモジュール５５、車両の位置を運転者等に知らせるためのカーナビゲーションモジュール５６、エンジン制御を行うエンジンコントロールモジュール５７、車両の側方を監視するための側方カメラモジュール５８、車両内を監視するための室内監視モジュール５９、ブレーキを制御するためのブレーキセンサモジュール６１、車両の後方を監視するための後方カメラモジュール６２、車内の積載量を検出するための積載検出モジュール６３、超音波レーダー装置が搭載された後方超音波レーダーモジュール６４等を接続して、各種車載モジュール間の相互の連携がとれるように構成しても勿論構わない。なお、これらのモジュールは、従来のものがそのまま使用可能である。
このような車内ネットワークの一部として用いる場合のユニットやモジュール間の通信には、無線通信技術であるＢｌｕｅｔｏｏｔｈやＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１ｘなどを用いることも可能である。また、ＵＳＢ、ＩＥＥＥ１３９４、イーサネットなどの有線ネットワークや、ＶｏＩＰ（ボイスオーバーアイピー）などの音声データの伝送プロトコルや、リアルタイムメッセージング機能（ＲＴＣ／ＳＩＰ  ｃｌｉｅｎｔ）などを用いてもよく、ＩＰｖ６などにより各機器にＩＰアドレスを割り当てた車内ＬＡＮを構築してもよい。更に、車内ノイズ等に強い車載用光ネットワーク規格「ＭＯＳＴ」や「ＣＡＮ」などの、オープンスタンダード規格に対応した通信バスラインを用いるようにしてもよい。
以上説明したような、この第１の実施形態には、次のような特有の効果がある。
即ち、この第１の実施形態ではステレオ光学モジュール内でレクティフィケーション、γ補正、シェーディング補正、輝度信号と色差信号への分離などの当該ステレオ光学モジュールのために必要となる画像処理を行うようにしている。これによって、中央制御ユニット側での回路負荷を軽減でき、さらに中央制御ユニット側での仕様を簡略化できシステムの汎用性を高めることができる。
またデジタル画像データを圧縮してから通信するようにしているので、アナログ通信の場合に近いフレームレートでデジタル画像データを伝送することができる。
また、ステレオ光学モジュール１に温度センサ１１を設けているので、レクティフィケーション処理時の温度による補正が適切に行われる。このため、中央制御ユニット３で実施されるウインドーマッチングの探索領域をエピポーラ線上に限って実施すればよく、より高速な処理を実現できる。
なお、この第１の実施形態の各構成は、当然、各種の変形、変更が可能である。
例えば、以上説明したようなステレオ光学モジュール１を複数用いることも可能である。この場合には、各ステレオ光学モジュールから得られるレクティフィケーション画像に、カメラＩＤを埋め込むことにより、どのステレオ光学モジュールからのレクティフィケーション画像なのかを明確に識別できるようにしてもよい。
また、第１の実施形態において、ステレオ光学モジュール１は、γ変換処理や、Ｃ−Ｙ変換処理、圧縮処理などの処理回路が含まれているが、必ずしもこれらの機能は必要ではなく、一般的な、ビデオカメラやデジタルスチルカメラと同等の画像処理が行えればよい。
また、ステレオ光学モジュール１の補正情報メモリ７には、レクティフィケーション処理、シェーディング補正処理用の補正情報のほかに、各ステレオ光学モジュールが車両にどのように取り付けられているのかをキャリブレーションした補正情報を記憶させておくようにしてもよい。このようにすることにより、中央制御ユニット内のＥＰＲＯＭ３１の省略又は記憶容量の削減を行うこともできる。更に、キャリブレーションによって得られた中央制御ユニット３からの情報をステレオ光学モジュール１などに通信で送り、この情報をステレオ光学モジュール１に記憶させるようにしてもよい。また、中央制御ユニット３の距離画像算出ユニット３２で用いられるキャリブレーションデータも、ステレオ光学モジュール１の補正情報メモリ７に記憶させておき、距離画像算出時には、このキャリブレーションデータをステレオ光学モジュール１から中央制御ユニット３に通信できるようにしてもよい。
即ち、この変形例は、補正情報メモリ７に記憶させている補正情報の中で一部の補正情報（キャリブレーションデータ）をステレオ光学モジュール内での画像処理演算に使用し、その他の補正情報を通信回線２を介して中央制御ユニット３に送信して、中央制御ユニット側での距離演算等の補正に使用するようにしたものである。
また、中央制御ユニット３は、内部の各種処理回路が専用の特定用途向集積回路（ＡＳＩＣ）を用いたハードウェア的な結線で実現されてもよく、更には、これらをダイナミックに書き換えることができるリコンフィギュアラブルプロセッサなどによって構築されていても勿論よい。
また、ステレオカメラシステムの制御にとどまらず、温度センサや雨滴センサの情報、補正情報、切り出し領域の情報などを伝送するようにしてもよい。これは、ステレオ光学モジュール１、通信回線２、中央制御ユニット３だけでなく、各種車載モジュール間の通信に適応することができるのは勿論である。
また、各通信回線２と、ステレオ光学モジュール１、中央制御ユニット３間はフォトカプラなどで電気的に絶縁することで、ハーネスに印加される各種スパイクノイズなどの影響を回路が受けないように絶縁しておいても構わない。
また、通信回線２に流す映像のフォーマットとして、アナログ方式ならば、ＮＴＳＣ方式の他にＰＡＬ方式やＳＥＣＡＭ方式でもよく、またデジタル形式ならば各種圧縮フォーマット、例えば、静止画の圧縮方式であるＪＰＥＧ方式や動画の圧縮方式であるＭＰＥＧ方式、ＤＶ（デジタルビデオ）などの規格で伝送するようにしてもよい。
また、入力や表示については、例えば、マイクロソフト（登録商標）社のＡｕｔｏｍｏｔｉｖｅ  ＵＩ  Ｔｏｏｌｋｉｔなどの車載機器用のユーザーインタフェースデザインツールにより構築されたＧＵＩや音声インタフェースを用いてもよい。
更に、図４Ａにおいて、視野マスク１９ａ，１９ｂは、前玉ユニット２０ａ，２０ｂを半分覆う形に描かれているが、より効果的に視野を規制するために図８に示すように、方形の開口部２５を持つ視野マスク１９を前玉ユニット２０の光軸からオフセットした位置に配置してもよく、また、レンズ自体を４辺Ｄカットするなどして、視野マスクを配置したのと同等の効果を得るようにしてもよい。
また、図９に示すように、中央制御ユニット３内にステレオ光学系のキャリブレーションデータ６６を算出するためのステレオ光学系キャリブレーション装置６５や車両とステレオ光学モジュール１の位置関係を計測しシステムキャリブレーションデータ６８を算出する車両系キャリブレーションを実施する車両系キャリブレーション装置６７などを持つように構成してもよい。
更に、補正情報メモリ７に記憶される補正情報は、シェーディング補正処理やレクティフィケーション処理のためのキャリブレーションデータであるとしているが、画像の切り出し領域の情報や車体との位置関係のキャリブレーションデータなどを加えても勿論構わない。また、補正情報メモリ７を中央制御ユニット３側に配置してもよい。また、通信回線２を介して適宜読み書きすることができるように構成しておいてもよい。
［第２の実施の形態］
次に、本発明のステレオカメラシステムの第２の実施形態について説明する。なお、第１の実施形態と同様の構成については、同一の参照符号を付すことで説明を省略する。
即ち、この第２の実施形態においては、図１０に示すように、ステレオ光学モジュール１に、レクティフィケーション処理部１５、γ変換処理部１６、及びシェーディング補正処理部１７などの処理回路と、補正情報メモリ７を搭載せず、これらを図１１に示すように中央制御ユニット３に搭載する。
これにより、ステレオ光学モジュール内の電子回路の回路規模を小さくすることができる。即ち、ステレオ光学モジュール内で発生する熱を抑制して、ステレオ光学モジュール内の光学系等の熱変形によるキャリブレーションデータの変動を抑制することができる。また、撮像素子５の冷却が、他の発熱要素の減少により効率的に行えるので、熱雑音の発生を抑えることができ、より良好なステレオ画像を通信回線２に出力することが可能である。
なお、この第２の実施形態の各構成は、当然、第１の実施形態と同様に各種の変形、変更が可能である。
［第３の実施の形態］
次に、本発明のステレオカメラシステムの第３の実施形態について説明する。なお、第１及び第２の実施形態と同様の構成については、同一の参照符号を付すことで説明を省略する。即ち、第３の実施形態における中央制御ユニットは、図１２に示すように、図６で示す第１の実施形態の中央制御ユニットから距離画像算出ユニットを除いたものである。
即ち、この第３の実施形態においては、図１２に示すように、ステレオマッチング処理までをステレオ光学モジュール内で実施する。そのため、距離画像算出ユニット３２もステレオ光学モジュール１に内蔵している。この場合、通信回線２には、物体認識に用いる２次元画像と距離画像が出力される。なお、第３の実施形態において第１の実施形態と異なる点は、ステレオ光学モジュール内のＭ側通信インタフェース９から画像データをＮＴＳＣ準拠のアナログ方式で送り出す点も異なる。
これら２次元画像と距離画像とは、図１３に示すように、例えば１つのＮＴＳＣ方式の画面内に並べて再配置され、ビデオ信号として出力される。これにより、通信回線２を介して、距離画像と２次元画像とを、同期させた状態で中央制御ユニット３に送出することが可能である。また、これらの画像に、基準画像として左右どちらの画像を用いて出力したかや温度センサ１１で検出した温度や雨滴センサ１０で検出した情報等を、例えば文字放送などに用いられている信号領域にエンコーディングして送出することにより、画像と同期させた通信を行うことも可能である。
このようにして通信が行われた後は、中央制御ユニット３は、ｕ側通信インタフェース２８によりその画像をデコードして２次元画像、距離画像、及びセンサ情報として処理することにより、各種認識処理を実現する。具体的には、中央制御ユニット３は、ｕ側通信インタフェース２８を介して入力された距離画像データに基づいて、周辺環境判定ユニット３３にて図示しない被写体の評価を行う。
なお、これらのステレオ光学モジュールを複数用いることも可能であり、例えば、２つのステレオ光学モジュールを用いるときには、画面の上下画像にそれぞれのステレオ光学モジュールのカメラＩＤを示すコードと距離画像とを埋め込み、単一の映像に同期させて中央制御ユニット３に送信するようにしてもよい。
また、中央制御ユニット３は、内部の各種処理回路が専用のＡＳＩＣでハードウェア的な結線で実現されてもよく、さらにはこれらがダイナミックに書き換えることができるリコンフィギュアラブルプロセッサなどによって構築されていても勿論よい。
また、第３の実施形態では、物体認識に用いる２次元画像と距離画像とをＮＴＳＣ方式のアナログ信号線を使用して出力したが、上記した第１の実施形態と同じように、デジタルデータとしてデジタル通信回線に出力するようにしてもよい。この場合は、上記した第１の実施形態と同じようにモーションＪＰＥＧ、ＭＰＥＧ方式等のデータ圧縮方式を用いてデータ圧縮処理を施した後に通信回線２に出力するようにしてもよい。
特に車載用にした場合には、通信回線２に、図７に示すように、ステレオ光学モジュール１、中央制御ユニット３、運転状況検出モジュール等を接続して、各種車載モジュールの相互の連携がとれるように構成しても勿論構わない。ここで、運転状況検出モジュールとしては、例えば、図７に示すような車速センサモジュール５５、エンジンコントロールモジュール５７、ブレーキセンサモジュール６１等がある。また、環境監視モジュールとしては、図７に示すようなレーダーモジュール５４、カーナビゲーションモジュール５６、側方カメラモジュール５８、室内監視モジュール５９、後方カメラモジュール６２、積載検出モジュール６３、後方超音波レーダーモジュール６４等がある。このような車内ネットワークの一部として用いる場合のユニットやモジュール間の通信には、無線通信技術であるＢｌｕｅｔｏｏｔｈやＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１ｘなどを用いることも可能である。また、ＵＳＢ、ＩＥＥＥ１３９４、イーサネットなどの有線ネットワークや、ＶｏＩＰ（ボイスオーバーアイピー）などの音声データの伝送プロトコルや、リアルタイムメッセージング機能（ＲＴＣ／ＳＩＰ  ｃｌｉｅｎｔ）などを用いてもよく、ＩＰｖ６などにより各機器にＩＰアドレスを割り当てた車内ＬＡＮを構築してもよい。更に、車内ノイズ等に強い車載用光ネットワーク規格「ＭＯＳＴ」や「ＣＡＮ」などの、オープンスタンダード規格に対応した通信バスラインを用いるようにしてもよい。
また、通信回線２と、ステレオ光学モジュール１や中央制御ユニット３との間をフォトカプラなどで電気的に絶縁することで、ハーネスに印加される各種スパイクノイズなどの影響を回路が受けないように絶縁しておいてもかまわない。
また、入力や表示については、例えば、マイクロソフト（登録商標）社のＡｕｔｏｍｏｔｉｖｅ  ＵＩ  Ｔｏｏｌｋｉｔなどの車載機器用のユーザーインタフェースデザインツールにより構築されたＧＵＩや音声インタフェースを用いてもよい。
即ち、この第３の実施形態では、ステレオ光学モジュール内で得られたステレオ画像データに対して、レクティフィケーション、γ補正、シェーディング補正、輝度信号と色差信号への分離などの当該ステレオ光学モジュールのための必要となる画像処理だけでなく、距離画像の算出までもステレオ光学モジュール内で行うようにした。したがって、第１の実施形態と比べてさらに中央制御ユニット側における回路負荷を軽減でき、中央制御ユニット側での仕様をさらに簡略化でき、中央制御ユニットの汎用性を高めることができる。
［第４の実施形態］
次に、本発明の第４の実施形態について説明する。この第４の実施形態においては、より良好な距離画像算出を行うために実施するステレオカメラシステムの動作シーケンスを説明する。なお、ここでは、車載用途の場合のトリガ信号を例として挙げる。なお、第４の実施形態は、第１の実施形態で示すステレオカメラシステムの動作シーケンスを示すものである。第２又は第３の実施形態のような構成においても同様に適用可能なことは言うまでもない。
まず、図１４を参照してステレオカメラシステムにおけるメイン動作シーケンスについて説明する。即ち、運転者などの操作者によりドアキーのオープンや、イグニッションキーのＯＮを検出すると、スリープ状態にあった中央制御ユニット３がレジュームし（ステップＳ１）、起動する（ステップＳ２）。中央制御ユニット３は、起動すると同時に、ステレオ光学モジュール１の画像出力処理回路８及び撮像素子５を起動させる（ステップＳ３，Ｓ４）。ここでは、中央制御ユニット３から通信回線２を介してステレオ光学モジュール１に対して、ステレオ光学モジュール１を起動させるための「起動コマンド」が送信される。ステレオ光学モジュール１は、この「起動コマンド」を受けて内部の図示しない電源回路を省電力モードから動作モードに切り換え、それに引き続いて画像出力処理回路８及び撮像素子５を起動させる。これにより、撮像が開始される。また、同時に中央制御ユニット３は、図１５に示すセンサチェックシーケンスを開始させる（ステップＳ５）。このセンサチェックシーケンスの詳細については、後に述べる。
センサチェックシーケンスの結果、問題ない環境情報データ１００がレクティフィケーション処理部１５に出力されると、レクティフィケーション処理が開始される。即ち、レクティフィケーション処理部１５は、この環境情報データ１００や補正情報メモリ７に記憶されたキャリブレーションデータ１０１等に基づいてレクティフィケーション処理を行う（ステップＳ７）。そして、このレクティフィケーション処理が実施されたレクティフィケーション画像は、通信回線２を介して中央制御ユニット３に送られる。なお、中央制御ユニット３では、例えば周辺環境判定ユニット３３で、フレームメモリ３０に記憶されたこのレクティフィケーション処理に使用されたキャリブレーションデータ１０１が適正であるか否かをレクティフィケーション画像よりチェックし（ステップＳ８）、そのキャリブレーションデータ１０１に問題がある場合には、このときのレクティフィケーション画像は、以降の処理に使用しないように、フレームメモリ３０から削除する。そして、後に説明するキャリブレーションデータ補正処理を行い（ステップＳ９）、キャリブレーションこの補正処理によって補正されたキャリブレーションデータを通信回線２を介してステレオ光学モジュール１の補正情報メモリ７に上書きすることで、そこに記憶されているキャリブレーションデータ１０１を更新する（ステップＳ１０）。そして、ステップＳ７のレクティフィケーション処理において、この更新したキャリブレーションデータ１０１を使用してレクティフィケーション処理を行うことになる。これにより、常に最新且つ正しいキャリブレーションデータでレクティフィケーション処理が実行される。
レクティフィケーション処理が実施されたレクティフィケーション画像よりキャリブレーションデータに問題が無いと判別された場合には、中央制御ユニット３内の距離画像算出ユニット３２は、入力されたレクティフィケーション画像に基づいて、ウインドーマッチング処理を行った後（ステップＳ１２）、距離画像を生成し、この生成した距離画像を周辺環境判定ユニット３３に出力する（ステップＳ１３  第２の画像評価シーケンス）。この距離画像を用いて、中央制御ユニット３の周辺環境判定ユニット３３は、後に説明する運転支援を実施する（ステップＳ１４）。
ここで、ドアキーがオープンされたり、イグニッションキーがＯＦＦされるとステップＳ１５の判定をｙｅｓに分岐して、現在のキャリブレーションデータを記録させ（ステップＳ１６）、中央制御ユニット３はスリープ状態に入り、ステレオ光学モジュール１も動作を停止する。ここでも中央制御ユニット３から通信回線２を介してステレオ光学モジュール１に対して、ステレオ光学モジュール１の動作を停止させるための「動作停止コマンド」が送信される。ステレオ光学モジュール１は、この「動作停止コマンド」を受けて所定の動作を行った後に省電力モードに入る。
次に、図１４のステップＳ５におけるセンサチェックシーケンスについて図１５を参照して説明する。なお、ここでは、ステレオ光学モジュール１を、車内のルームミラーに取り付け、フロントウインドガラスを介して車体前方を撮像する場合を想定して説明する。
このセンサチェックにおいて、まず、中央制御ユニット３は、既知の手法によりフロントウインドガラスのクモリ・結露の検出を行って（ステップＳ２１）、車両のフロントウインドガラスにクモリや結露がないか否かを判定する（ステップＳ２２）。この判定においてクモリがあると判定した場合には、中央制御ユニット３は、図示しないデフロスタをＯＮしてクモリの除去を開始するとともに（ステップＳ２３）、表示入力装置３５にクモリ警告表示を行う（ステップＳ２４）。そして、デフロスタの効果によりクモリが除去された場合、中央制御ユニット３は、ステップＳ２２の判定においてクモリなしと判定し、上記クモリ警告表示を消灯する（ステップＳ２５）。
次に、中央制御ユニット３は、通信回線２を介して送られてきた雨滴センサ１０の出力により雨滴の検出を行い（ステップＳ２６  第１の画像評価シーケンス）、フロントウインドガラスに雨滴がついていないか否かを判定する（ステップＳ２７）。この判定において雨滴がついていると判定した場合には、中央制御ユニット３は、図示しないワイパーを動作させて雨滴の除去を開始するとともに（ステップＳ２８）、表示入力装置３５に雨警告表示を行う（ステップＳ２９）。そして、ワイパーの効果により、雨滴がなくなった場合、中央制御ユニット３は、ステップＳ２７の判定において雨滴なしと判定し、上記雨警告表示を消灯する（ステップＳ３０）。
次に、中央制御ユニット３は、温度センサ１１によりステレオ光学モジュール１周囲の温度検出を行い（ステップＳ３１）、検出した温度がステレオ光学モジュール１の動作に適正な範囲内であるか否かを判定する（ステップＳ３２）。この判定において検出した温度が適正範囲内でないと判定した場合には、中央制御ユニット３は、図示しないエアコンを動作させて温度調節を行うとともに（ステップＳ３３）、表示入力装置３５に温度警告表示を行う（ステップＳ３４）。そして、エアコンの効果により、温度が適正温度範囲内になった場合、中央制御ユニット３は、ステップＳ３２の判定において適正温度範囲内であると判定し、上記温度警告表示を消灯する（ステップＳ３５）。
これらのセンサチェックは、中央制御ユニット３が動作している間は実行される。即ち、中央制御ユニット３は、停止信号が入力されたか否かを判定し（ステップＳ３６）、停止信号が入力されたと判定した場合には、このセンサチェックを終了させる。一方、停止信号が入力されていないと判定した場合には、検出された、クモリ情報、雨滴センサ情報、及び温度センサ情報といった環境情報データ１００を、通信回線２を介してステレオ光学モジュール１のレクティフィケーション処理部１５に出力した後（ステップＳ３７）、ステップＳ２１に戻り、センサチェックを継続する。ここで、第４の実施形態では、第１の画像評価シーケンスと第２の画像評価シーケンスとを時分割的に切り換えながら行っているが、ユーザのマニュアル操作により、これらを切り換えるようにしても良い。
なお、このセンサチェックのフローチャートよりわかるように、上記環境情報データ１００は、クモリ・結露、雨滴、温度が所定の条件範囲内にあるときにのみ出力されるものであり、よって、この環境情報データ１００を使用するレクティフィケーション処理は、たとえ撮像素子５によりステレオ画像が撮像されていたとしても開始されることはない。従って、そのような場合には、故障により動作がされないのではなく、所定の条件が得られていないために動作しないのであることを運転者に知らせるための警告表示を、表示入力装置３５により行うことが好ましい。
図１６は、図１４のステップＳ９におけるキャリブレーションデータ補正のシーケンスを示すフローチャートである。
即ち、この図１６に示すように、周辺環境判定ユニット３３は、まず、通信回線２を介して入手した温度センサ１１で検出した温度情報等の環境条件が変化したか否かの判定を行い（ステップＳ４１）、例えば、温度変化などによる熱膨張などのためにキャリブレーションデータが変化する場合には、ＥＰＲＯＭ３１又はＨＤＤ５３に予め用意された温度別のキャリブレーションデータテーブル１０２から、その温度に対応するキャリブレーションデータ１０１を読み出し、それを通信回線２を介してステレオ光学モジュール１の補正情報メモリ７に書き込むことで（ステップＳ４７）、キャリブレーションデータ１０１を更新する。
次に、あるいは上記ステップＳ４１で環境条件変化なしと判別した場合には、既知形状物体画像（ここでは、通信回線２を介したステレオ光学モジュール１からのステレオ画像）を取得し（ステップＳ４２）、ステレオ光学モジュール１の取り付け位置などの取り付け条件が変化したか否かを判定し（ステップＳ４３）、取り付け条件が変化している場合には、その変化に応じてキャリブレーションデータを補正し（ステップＳ４４）、その補正した更新キャリブレーションデータ１０３を上記キャリブレーションデータテーブル１０２に追記すると共に、通信回線２を介してステレオ光学モジュール１の補正情報メモリ７に書き込むことで、レクティフィケーション処理に使用されるキャリブレーションデータ１０１を更新する。
このような補正を行うことにより、レクティフィケーション処理やウインドーマッチングが常に良好な状態で実施可能である。
図１７は、図１４のステップＳ１４の運転支援のシーケンスの一例を示すフローチャートである。
即ち、周辺環境判定ユニット３３は、この運転支援シーケンスに入ると、通常画像（ステレオ画像切り出し部４３で切り出した一方の画像）１０４、距離画像１０５を入力として用い、距離分布に基づくセグメンテーション処理を実施した後（ステップＳ５２）、先行車両認識（ステップＳ５４〜Ｓ５７）、道路面認識（ステップＳ５８〜Ｓ５９）、障害物認識（ステップＳ６１〜Ｓ７０）、及びレーン認識（ステップＳ７１〜Ｓ７３）などを実施する。
先行車両認識では、レーザレーダーなどを用いたレーダーモジュール５４により車両から反射したレーザーを検出することで認識された先行車両を通常画像１０４から抽出し、距離画像１０５のセグメンテーションと整合をつけて先行車両の領域を認識し（ステップＳ５４）、先行車両の車幅などの情報も含めて抽出することで、先行車両との車間距離を抽出する（ステップＳ５５）。次に、先行車両との距離をチェックし（ステップＳ５６）、先行車両との距離が適正でない（例えば、近すぎる）場合には、画像出力装置３４を介して表示入力装置３５に図１８に示すような画像表示を行うことにより、車間距離警告を実施する（ステップＳ５７）。
道路面検出では、距離画像１０５において、道路面があると想定される位置に距離画像１０５から認識できる平面を発見して（ステップＳ５８）、その平面の範囲を道路面と同一平面状のある平面として認識する。そして、この道路平面を基準面として設定する（ステップＳ５９）。この基準面のデータ１０６を各認識処理に用いることで、物体の認識や、先行車両の認識、レーンの認識などに利用できる。このときには、図１９に示すように、画像出力装置３４を介して表示入力装置３５に認識平面を表示してもよい。
障害物認識では、例えば、上記道路面検出された平面から立ち上がって距離画像１０５のセグメンテーション処理によって認識されている物体を認識し（ステップＳ６１）、障害物として、その距離、大きさなどをラベリングする。これに応じて、障害物の距離を抽出し（ステップＳ６２）、衝突コースか否かを判定し（ステップＳ６３）、衝突コースの場合には、画像出力装置３４を介して表示入力装置３５にて操作者に回避を促すような回避警告をする（ステップＳ６４）。次に、上記ステップＳ６２で抽出した距離が、操作者つまり運転者の自発的なブレーキ操作によって安全に停止できる距離か否かを判定し（ステップＳ６５）、安全に停止可能な場合には、操作者にブレーキを踏ませるように画像出力装置３４を介して表示入力装置３５にて警告する（ステップＳ６６）。一方、安全に停止することが出来ない距離である場合には、操作者にブレーキを踏むように画像出力装置３４を介して表示入力装置３５にて指示を行うと共に、アクセルを自動的に緩める（ステップＳ６７）。更に、ここで回避動作が可能である場合には（ステップＳ６８）、エマージングドライブとして画像出力装置３４を介して表示入力装置３５にてハンドル操作を促すなどして強制的に安全対策を講じる（ステップＳ６９）。
衝突が不可避の場合は、エアバックなどのパッシブセーフティのための前準備を行う（ステップＳ７０）。特に、車外通信システムなどが作動可能な場合などは、現在地や、事故発生の通報などの事故報告を自動的に実施するように構成してもよい。
レーン認識は、基準平面上にある白線を通常画像１０４の輝度値からの認識や、基準平面から一定高さに突出したガードレールなどを距離画像１０５から認識することなどから、レーンを認識する（ステップＳ７１）。これにより、走行可能域を認識するとともに、レーン内から外れていないことをチェックし（ステップＳ７２）、レーンから外れそうになったときは、図２１に示すように、画像出力装置３４を介して表示入力装置３５にレーン警告の表示などを行う（ステップＳ７３）。
なお、第４の実施形態では、上記警告として、図６に示した中央制御ユニット３に接続された表示入力装置３５の画面上に警告表示する例について示したが、当然の変形例として、スピーカ３８からの音声警告や、表示灯４２の点灯、また図示していないが、運転シートを振動させるなどの手段で操作者に注意を促す形で警告を行ってもよい。これは、特に、上記ステップＳ６４，Ｓ６６，Ｓ６７のように緊急性が高く、また操作者が前方から視線をそらすことが好ましくない場合に、有効である。
以上説明したように、第４の実施形態によれば、環境情報に適応させてキャリブレーションデータを適切に選択及び補正しながらステレオマッチングを実施することができる。
なお、この第４の実施形態の各構成もまた、当然、各種の変形、変更が可能である。
例えば、キャリブレーションデータの補正は、予め温度等により、テーブルを変換した複数のキャリブレーションデータテーブルから選択することで補正を行うようにしてもよい。
また、センサチェックで、センサが問題を発見した際の対応手段としては、第４の実施形態で示したデフロスタ、ワイパー、及びエアコンに限定されるものではなく、別の手段、例えば、デフロスタの代わりにクモリ防止コーティングや熱線ヒータを用いたり、ワイパーの代わりに超撥水ガラスコートやブロアを用いたり、エアコンの代わりにペルチェ素子や空冷ファンを用いてもよい。
また、図１４で示した動作シーケンスのフローチャートも各種の変更が可能である。例えば、センサチェックにおいてクモリ・結露、雨滴、温度が所定の条件範囲内にないときも環境情報データ１００を出力するようにし、図２２に示すように、その環境情報データ１００より環境情報の条件が不適切であり（ステップＳ８７：ｎｏ）、レクティフィケーション処理等が行えない場合には、センサチェックシーケンスを起動するとともに、距離画像の出力処理を停止し処理不能警告を画像出力装置３４を介して表示入力装置３５に表示する（ステップＳ８８）ことで、運転者などの操作者にその旨を伝達するようにしてもよい。
また、図１５におけるセンサチェックシーケンスでは、クモリ除去やワイパーなどを継続的に用いるようになっているが、図２３のようにデフロスタやワイパー、エアコンを、センサ情報が良好になった場合にＯＦＦする（ステップＳ１０５，Ｓ１１１，Ｓ１１７）ようにしても勿論よい。また、環境情報（温度センサ情報等）のデータを定期的に出力させる（ステップＳ１２０）ようにしてもよい。
また、図１５におけるセンサチェックシーケンスでは、全ての処理が直列的に実行される例を示したが、図２４のように、並列的に各環境条件のチェック（ステップＳ１２２，Ｓ１２８，Ｓ１３４）や、計測不能を解消するための動作（ステップＳ１２３，Ｓ１２９，Ｓ１３５）を実施するようにしてもよい。また、計測不能を解消するための動作はシステムが自動的に実施するようにしてもよく、操作者には、警告のみで、自らは、処理が不能である旨を表示したりするようにしてもよい。
また、第４の実施形態では、クモリ、雨滴、及び温度を代表的な環境情報として提示したが、霧、撮像素子のトラブル、昼夜間の切り替え、照度情報、枯葉や鳥の糞、車内に釣られたマスコットなどによるウインドガラスの汚れや遮蔽、又は対向車両の相対位置などの情報などを環境情報として用いてもよい。
更に、第４の実施形態は、複数の撮像素子を用いたステレオカメラの場合でも用いることが可能である。
［第５の実施形態］
次に、本発明の第５の実施形態について説明する。この第５の実施形態は、複数の光学モジュールを有するシステムに関して説明する。個々の光学モジュールの構成については、上記した第１から第４の実施形態に準ずる。
即ち、図２５のように複数のステレオ光学モジュール１ａ，１ｂ、単眼光学モジュール７１ａ，７１ｂが通信回線２に接続される。通信回線２には中央制御ユニット３が接続されるとともに、運転状況検出モジュール７２、環境監視モジュール６０などが接続される。
ここで、単眼光学モジュールとしては、図７に示す、側方カメラモジュール５８や、後方カメラモジュール６２が挙げられる。また、運転状況検出モジュール７２としては、図７に示す、エンジンコントロールモジュール５７、ブレーキセンサモジュール６１や、図示しないステアリング角検出モジュール、変速機監視モジュール等が挙げられる。更に、環境監視モジュール６０としては、図７に示す、レーダーモジュール５４、車速センサモジュール５５、カーナビゲーションモジュール５６、室内監視モジュール５９、積載検出モジュール６３、後方超音波レーダーモジュール６４等が挙げられる。
ここで、光学モジュールで得られた画像情報には、各光学モジュールのカメラＩＤや、それぞれの光学モジュールにおけるキャリブレーションデータ等の情報を付加して送受信を実施し、それを中央制御ユニット３が判別させるようにすれば、どの光学モジュールの情報をどのキャリブレーションデータを用いて処理すれば良いかを判定可能である。
また、通信回線２はやはり１系統の通信回線であり、この通信回線２を使用して中央制御ユニット３とステレオ光学モジュール１ａを始めとした各ユニットの間で効率よく相互の通信を行うことができるようになっている。即ち、この通信においては、中央制御ユニット３が、全体システムのシーケンス制御を統括して行い、中央制御ユニット３から各ユニットに対してはデータ要求コマンドを始めとした各種制御コマンドを、また各ユニットから中央制御ユニット３に対しては、要求されたデータ等を送り返す。
また、図２５に示すように、通信回線２を共通で用いることにより、車内ハーネスの削減に繋がる。このため、重量の軽減、ノイズ混信の影響削減等の効果も得られる。
［第６の実施形態］
次に本発明の第６の実施形態について説明する。この第６の実施形態は、ステレオ光学モジュールに搭載される雨滴センサ１０の一実施形態である。
従来の雨滴センサは、例えば、図２６に示すように、ウインドガラス７３に密着したガラスブロック７４に向けて、赤外光や可視光の発光ダイオード（投光ＬＥＤ）７５から投光を行う。この光を投光レンズ７６で集光し、この集光光線のガラス外側面における反射光を、反射ミラー７７等により受光レンズ７８に導く。そして、受光レンズ７８でその導かれた光を集光し、この集光光線をフォトダイオード等の受光センサ７９で検出する。このとき、ウインドガラス７３に雨滴が付着している場合には、光が散乱して光量が変化するので、雨滴量を計測することが可能である。
しかしながら、この従来の雨滴センサでは、ガラス面に密着して、雨滴センサを設けなければならず、スペースやコスト上の制約となっていた。また、運転者の視野の妨げになったり、雨滴センサの他に車両の前方の障害物等を検出するためのステレオ光学モジュールを搭載する場合は、ステレオ光学モジュールの視野が遮蔽されてしまう問題やステレオ光学モジュール１に対する雨滴センサの設置位置などの問題がある。
そこで、第６の実施形態における雨滴センサは、ステレオ光学モジュール１で撮像された画像を用いて雨滴を検出する。
上記した実施形態で説明したステレオ光学モジュール１では、左右視差の横長の画像を、図５のように上下に振り分けて撮像素子上に結像させるステレオ光学系が用いられており、この結果、図２７に示すような横長のステレオ画像が得られる。ここで、ステレオ計測の原理によると、一般に遠距離の物体は視差が小さく、近距離の物体は視差が大きい。即ち、上記した実施形態で説明した光学系では、計測できる視差範囲を広く取れるので、ステレオ画像のある領域では、基線長から考えると従来に比べ非常に近距離（例えば、十数センチの基線長で、十数センチから数十センチの近距離）から無限遠方まで対応することができる。
図２８は、第６の実施形態で用いるステレオ光学モジュール１の左右２視点のステレオ画像の画角について示した図である。即ち、第６の実施形態では、少なくとも雨滴検出対象である車両のウインドガラスが、左右視点における画角がオーバラップするオーバラップ領域８３に入るようにステレオ光学モジュール１を配置する。例えば、図２７の例における雨滴検出用探索範囲は、図２８のオーバラップ領域８３のうち、ウインドガラスの存在する距離域（図の斜線部）になる。
特に、車載用途を考えた場合には、障害物認識などは数メートルから数十、或いは数百メートルという遠距離を計測するので、視差量が小さい。このため、一般にウインドーマッチングをする場合は、処理の高速化を狙ってエピポーラ線上における対応点の探索幅を短くする。なお、近距離の場合には、探索幅が広くなるので、それだけ対応点の探索に時間がかかる。
しかしながら、近距離だけ、特に第６の実施形態のようにウインドガラスのある数十センチ以内の領域だけのウインドーマッチングを行うのであれば、視差量を大きくとれる。極端な例としては、図２７に示す雨滴検出用探索範囲のみを探索すれば、雨滴の検出が可能である。
これを図２９及び図３０を参照して更に詳しく説明すると、従来のように、遠距離から近距離までの物体を連続的に測距して距離画像を算出するときに、画面端の基準点から探索を開始した場合には、探索ウインドを、画面を横断して移動させながらウインドーマッチングを行う必要がある。これでは、探索に時間がかかり、特に車載など距離計測に時間的な制約がある用途では、致命的な欠陥になりかねない。
そこで、第６の実施形態では、水滴や雨滴を検出する第１の画像評価シーケンスと障害物や車両などの物体を検出する第２の画像評価シーケンスとをモードとして切り換える。即ち、水滴や雨滴を検出するモードでは、図２９に示すように、基準画像８０の内、近距離対応の範囲でウインドーマッチングを行う。一方、障害物や車両などの物体を検出するモードでは、探索範囲を限定し、例えば３ｍから１００ｍに相当する視差量分の探索を行う。これらの処理は、画像評価装置としての中央制御ユニット３により行われる。
また特に、雨滴検出を頻繁に行う場合には、探索画像８１側の探索範囲を、図３０に示すようにウインドガラス７３表面を含む限定した距離領域（例えば、ウインド形状又は傾き合わせた狭い領域）に対応する探索範囲（図中、斜線部）に限定するようにしてもよい。即ち、図２７に示す右画像の左端及び左画像の右端の雨滴検出用探索範囲のみを探索範囲とするように、探索範囲の値にオフセットをかけ、第１の画像評価シーケンスに基づいて演算してもよい。このように探索範囲を限定することで、より高速なウインドーマッチングによる雨滴検出が実現できる。
更に、図３０に示すように、ウインドガラス７３の傾斜に対応して探索範囲も傾斜している場合には、画面上端はより近距離であり、画面下端は上端に比べると遠距離であるので、図３０に射線部で示すように、探索範囲のオフセット量を画面上端側の探索から画面下端の探索にかけて、減少させつつウインドーマッチングをするようにしてもよい。
以上説明したように、第６の実施形態では、雨滴センサとしての機能を近距離限定のウインドーマッチングにより実現することで、中央制御ユニット３やステレオ光学モジュール１に新たな装置を追加せずに、雨滴やガラスの汚れ等を検出することが可能である。
また、通常の障害物の距離計測は、視差の小さな範囲でのマッチングで、雨滴検出は視差の大きな範囲でのマッチングで並列して行う、若しくは時分割で行うなどすることで、障害物の距離計測をしながら雨滴検出の機能を実現することもできる。
なお、この第６の実施形態の各構成は、当然、各種の変形、変更が可能である。
例えば、ウインドガラス表面の水滴や雨滴を検出する演算部と障害物や車両などのウインドガラス前方の物体を検出する演算部とは１つの演算部としておく必要は無く、中央制御ユニット３内にウインドガラス表面の水滴や雨滴を検出する第１の画像評価演算部と障害物や車両などのウインドガラス前方の物体を検出する第２の画像評価演算部とを別個に設けるようにしておいても良い。この場合には、状況に応じて第１の演算部と第２の演算部とを切り換え可能としておく。
また、第６の実施形態では、撮像画像をパッシブで処理する例を示したが、ウインドガラス７３に特定の波長の光を特定の周期で発光させるなどして、それによる雨滴からの散乱光を元に雨滴検出を行うようなアクティブな方式を併用してもよい。この場合、時系列的に、雨滴検出と距離計測とを切り換えてステレオ光学モジュールの右左いずれかの視野内に投光すればよい。また、並列して処理する場合には、図３１や図３２に示すように視野の周辺部であるところのオーバラップ領域外の画像を２次元の画像として撮影し、オーバラップ領域外の領域に、図３３に示すような光照射装置としての光ビーム投光器８２から、赤外光などの光ビームを投光して雨滴の検出を行うようにしてもよい。なお、この場合には、遠距離になっても、オーバラップしないので、輻輳角を外側に開いて視点を設置するようにしてもよい。また、オーバラップ領域外の領域は、ステレオ計測には用いられないので、この視野範囲のみに赤外光を投光して雨滴の検出を実施することもできる。
更には、図３４のようにオーバラップ領域外の領域に相当するウインドガラス表面に雨滴検出用のコーティング８４を施すようにしてもよく、例えば、ウインドガラス７３の表面にクモリガラスになるよう拡散面を設け、雨滴が付着した部分の透過性が上がるように構成してもよい。また、濡れ判定の発色シートの貼り込みなどをすることにより雨滴などを検出する水滴検出装置を構成しても良い。
また、撥水シートと親水シートのウインドへの張り込みにより、より明確な雨滴有無の判定ができるようにしてもよい。
また、より近距離撮影に適するように正のパワーを持つクローズアップレンズを、視野マスクの該当視野部に設置することにより、合焦域を近距離、少なくともウインドガラス面とステレオカメラシステムとの間の距離に限定して、雨滴の検出を、２次元画像からの検出、赤外光の撮影、形状抽出、色検出等で実施してもよい。これらの検出を距離計測に用いない領域で行えば、距離計測に悪影響を及ぼすことなく、単一の撮像素子だけで、雨滴の検出を実現できる。
また、赤外光を投影する場合は、予め、オーバラップ領域外の領域を撮影する撮像素子に設けられた赤外カットフィルタを除去するか、若しくはこの部分をバンドパスフィルタに置換することで、より効果的な計測を実現することができる。
更に、第６の実施形態では、オーバラップ領域外の領域に、投光や雨滴検出コートをするように構成したが、画面周辺部は測距に用いないのであれば、その部分に相当する、画面周囲のウインドガラスに対して、上記した雨滴の検出手段を設けるように構成しても勿論かまわない。
なお、上記した各実施形態について、ステレオ光学系にピント合わせ機構を設けることなく、ウインドガラスの近傍から前方の所定距離（例えば、５０〜３００ｍ）までを被写界深度とするような所謂パンフォーカスのステレオ光学系を構成してもよい。この場合には、ピント合わせ機構を設けなくとも、ウインドガラスに付着した雨滴又は付着物と前方の障害物の双方に概略ピント合わせが可能であり、双方の形状認識を同時に行うことが可能である。
以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上記した実施形態では、車両搭載型のステレオカメラシステムについて説明しているが、例えばロボットのような移動体において距離計測を行う場合等でも利用可能である。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図１】
2004106857.tif 000003
【図２】
2004106857.tif 000004
2004106857.tif 000005
2004106857.tif 000006
【図５】
2004106857.tif 000007
【図７】
2004106857.tif 000008
【図６】
2004106857.tif 000009
2004106857.tif 000010
【図９】
2004106857.tif 000011
【図１０】
2004106857.tif 000012
【図１１】
2004106857.tif 000013
【図１２】
2004106857.tif 000014
【図１３】
2004106857.tif 000015
【図１４】
2004106857.tif 000016
【図１５】
2004106857.tif 000017
【図１６】
2004106857.tif 000018
【図１７】
2004106857.tif 000019
【図１８】
2004106857.tif 000020
【図１９】
2004106857.tif 000021
【図２０】
2004106857.tif 000022
【図２１】
2004106857.tif 000023
【図２２】
2004106857.tif 000024
【図２３】
2004106857.tif 000025
【図２４】
2004106857.tif 000026
【図２５】
2004106857.tif 000027
【図２６】
2004106857.tif 000028
【図２７】
2004106857.tif 000029
【図２８】
2004106857.tif 000030
【図２９】
2004106857.tif 000031
【図３０】
2004106857.tif 000032
【図３１】
2004106857.tif 000033
【図３２】
2004106857.tif 000034
【図３３】
2004106857.tif 000035
【図３４】
2004106857.tif 000036
【国際調査報告】
2004106857.tif 000037
2004106857.tif 000038
2004106857.tif 000039
2004106857.tif 000040