(57)【特許請求の範囲】
【請求項１】
撮像レンズ系に魚眼レンズを有する撮像手段と、
上記撮像手段によって異なるタイミングで撮像した画像の一方を基準画像として２枚の画像間のオプティカルフローに基づく移動物検出を行うとともに当該移動物の代表点を路面上に設定する画像処理手段と、
画像上における上記代表点の光軸方向からの変位角に基づいて自車に対する上記移動物の相対位置を演算する演算手段とを備え、
上記画像処理手段は、上記移動物の接地点を通り且つ当該移動物の移動方向に平行な線分を上記画像上に設定するとともに、上記移動物の先端あるいは後端に位置し自車に最も近い点と視野中心とを結ぶ線分を設定し、これらの線分の交点を上記移動物の代表点として設定することを特徴とする車外監視装置。
【請求項２】
上記撮像手段を車体の左右両側にそれぞれ設けたことを特徴とする請求項１記載の車外監視装置。
【請求項３】
上記撮像レンズ系の光軸を車幅方向に対してやや後方に指向させたことを特徴とする請求項２記載の車外監視装置。
【請求項４】
自車と移動物との相対位置を表示する表示手段を有し、
上記表示手段は、自車に対する移動物の相対速度をベクトル表示することを特徴とする請求項１乃至請求項３記載の車外監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、魚眼レンズを通して撮像された画像に基づいて併走車等の移動物を検出する車外監視装置に関する。
【０００２】
【従来の技術】
近年、車両の安全性の向上を図るため、カメラにより捉えた車両前方の風景や物体の画像を処理して、道路や交通環境等を実用上十分な精度と時間で三次元的に認識する車外監視装置が数多く提案され実用化されている。例えば、本出願人による特開平１０−２８３４６１号公報には、一対のカメラ（ステレオカメラ）で捉えた画像をステレオ処理して先行車や障害物等を検出する技術が開示されている。
【０００３】
ところで、車両の更なる安全性の向上を図るためには、自車の前方の車外情報に加え、自車の側方を走行中の併走車等の情報をドライバに報知することが望ましい。この場合、自車側方の広範囲にわたる車外情報を得るためには、自車側方を魚眼レンズを用いた撮像装置で撮像することが好ましく、例えば特開平９−２０２１８０号公報には、魚眼カメラを車両側方に向けて設け、魚眼カメラで撮像した画像を座標変換回路によって正画像信号に変換し、歪み補正した画像中の任意の領域をモニタの表示画面に表示する技術が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記特開平９ー２０２１８０号公報に開示された技術は、単に所定の車外環境をモニタの表示画面に表示しているものにすぎないため、自車から併走車までの具体的な距離情報等をドライバに報知することは困難である。
【０００５】
これに対処し、例えば特許公報第２６１１１７３号に開示されているように、魚眼レンズを用いた複数の撮像装置により与えられる複数の魚眼画像に基づいて、移動目標物の３次元位置座標を算出することで自車から併走車までの距離情報等を求めることも考えられるが、自車前方に比べておおまかなもので事足りる側方の車外情報を得るために上述のような複雑な構成の装置を用いることはコスト面等で好ましくない。
【０００６】
本発明は上記事情に鑑みてなされたもので、簡単な構成で適切な車外情報を得ることのできる車外監視装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の発明による車外監視装置は、撮像レンズ系に魚眼レンズを有する撮像手段と、上記撮像手段によって異なるタイミングで撮像した画像の一方を基準画像として２枚の画像間のオプティカルフローに基づく移動物検出を行うとともに当該移動物の代表点を路面上に設定する画像処理手段と、画像上における上記代表点の光軸方向からの変位角に基づいて自車に対する上記移動物の相対位置を演算する演算手段とを備え、上記画像処理手段は、上記移動物の接地点を通り且つ当該移動物の移動方向に平行な線分を上記画像上に設定するとともに、上記移動物の先端あるいは後端に位置し自車に最も近い点と視野中心とを結ぶ線分を設定し、これらの線分の交点を上記移動物の代表点として設定することを特徴とする。
【０００８】
また、請求項２記載の発明による車外監視装置は、請求項１記載の発明において、上記撮像手段を車体の左右両側にそれぞれ設けたことを特徴とする。
【０００９】
また、請求項３記載の発明による車外監視装置は、請求項２記載の発明において、上記撮像レンズ系の光軸を車幅方向に対してやや後方に指向させたことを特徴とする。
【００１０】
また、請求項４記載の発明による車外監視装置は、請求項１乃至請求項３記載の発明において、自車と移動物との相対位置を表示する表示手段を有し、上記表示手段は、自車に対する移動物の相対速度をベクトル表示することを特徴とする。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図面は本発明の実施の一形態に係わり、図１は車外監視装置の機能ブロック図、図２は撮像装置による撮像領域の一例を示す説明図、図３は速度ベクトルの分布状態を簡略化して示す説明図、図４は光軸方向からの変位角の座標系を示す説明図、図５は自車と代表点との位置関係を示す説明図、図６は自車から代表点までの光軸方向の距離算出方法を示す説明図、図７は表示装置への表示例を示す説明図、図８は撮像装置による撮像領域の他の例を示す説明図である。
【００１２】
図１において符号１は自動車等の車体を示す。この車体１には、車外の設定範囲内の対象を撮像し、撮像画像から併走車や対向車等の車外の移動物を認識して監視する車外監視装置２が搭載されている。
【００１３】
車外監視装置２は、車体１の左右両側にそれぞれ設けられた撮像手段としての撮像装置５，６と、各撮像装置５，６で撮像された画像を処理して併走車や対向車等の移動物を検出するとともに検出された移動物の代表点を路面上に設定する画像処理手段としての画像処理ユニット７，８と、各画像上の代表点に対し当該代表点の光軸方向からの変位角に基づいて自車に対する移動物の相対位置を演算する演算手段としての演算ユニット９と、演算された自車と移動物との相対位置関係を表示する表示手段としての表示装置１０とを備えて構成されている。
【００１４】
撮像装置５，６は、魚眼レンズを有する撮像レンズ系５ａ，６ａと、撮像レンズ系５ａ，６ａから入射された光束を結像する固体撮像素子（図示せず）とを備えて構成され、車外の対象を１８０度の視野で撮像可能となっている。
【００１５】
ここで、図１，２に示すように、各撮像装置５，６は、例えば車体１の後方寄りにＨ（ｍ）の高さ位置で取り付けられるもので、各撮像レンズ系５ａ，６ａの光軸Ｏは、水平方向であって、車幅方向に対してやや後方に指向されている。すなわち、図２に示すように、各撮像装置５，６による撮像範囲は、車体１の左右両側から後方にかけての略全域を網羅するよう設定されている。なお、本実施の形態において車体１はワゴン車の車体であり、この場合、各撮像装置５，６は車体１のＤピラーに設けられることが望ましい。
【００１６】
画像処理ユニット７，８には、撮像装置５，６がそれぞれ接続され、各撮像装置５，６からの撮像画像が入力されるとともに、車速センサ１１及び舵角センサ１２が接続され、車速及び舵角が入力される。
【００１７】
各画像処理ユニット７，８では、先ず、撮像装置５，６において異なるタイミングで撮像した連続する２枚の画像間のオプティカルフローを生成することで併走車や対向車等の移動物を検出する。
【００１８】
すなわち、画像処理ユニット７，８では、今回撮像された画像（基準画像）と前回撮像された画像（比較画像）との間で所定の画素ブロック毎の輝度パターンのマッチングを行うことにより、各画素ブロックの速度ベクトルの分布状態を示すオプティカルフローを生成する。
【００１９】
ここで、図３に示すように、各速度ベクトルにおいて、路面等の固定物を示す速度ベクトルは自車の進行方向とは略逆方向に自車速度と略等しい大きさを有し、併走車や対向車等の移動物を示す速度ベクトルは自車速度とは異なる大きさを有する。そこで、画像処理ユニット７，８では、自車速度とは異なる大きさを有し互いに類似する速度ベクトルの一群を単一の移動物を表す速度ベクトル群としてとして認識する（移動物検出を行う）。
【００２０】
次いで、画像処理ユニット７，８では、検出した移動物の速度ベクトル群に基づき、当該移動物の代表点Ａを路面上に設定する。
【００２１】
すなわち、画像処理ユニット７，８では、移動物の下部で当該移動物の速度ベクトルが固定物の速度ベクトルと接している位置を移動物と路面との接地点として設定する。ここで、図３に示すように、移動物が併走車等の車両である場合には、一般に、移動物の接地点はタイヤの接地点に略一致する。
【００２２】
そして、画像処理ユニット７，８では、接地点を通り且つ移動物の速度ベクトル群に平行な線分Ｌ１を画像上に設定するとともに、速度ベクトル群の先端あるいは後端に位置し自車に最も近い速度ベクトルと視野中心（光軸Ｏ）とを結ぶ線分Ｌ２を設定し、これらの交点を移動物の代表点Ａとして設定する。なお、図示のように、代表点Ａは、必ずしも車体（移動物）の端部と一致しないが、その場合の誤差は自車寄り（安全側）となる。
【００２３】
演算ユニット９には、画像処理ユニット７，８が接続され、画像上における各移動物の代表点Ａに関する情報が入力される。
【００２４】
演算ユニット９では、先ず、画像上における代表点Ａの光軸Ｏに対する上下方向の変位角αと水平方向の変位角βとを算出する。すなわち、演算ユニット９には画像上における光軸Ｏ方向からの変位角に関する座標系が設定されており、演算ユニット９では、この座標系に基づき代表点Ａの上下方向の変位角α及び水平方向の変位角βを算出する。
【００２５】
そして、演算ユニット９では、変位角α，βに基づき、代表点Ａまでの光軸Ｏ方向の距離Ｄ１と光軸Ｏに垂直な方向の距離Ｄ２（図７参照）を算出することで、自車に対する代表点Ａの相対的な位置を算出する。
【００２６】
すなわち、図６に示すように、光軸Ｏは高さＨで路面に水平に指向されているので、代表点Ａが存在する路面が自車の接地面と同一平面上にあると仮定することにより、距離Ｄ１は、
Ｄ１＝Ｈ・ｔａｎ（９０−α）      …（１）
で算出される。また、算出された距離Ｄ１を用いて、距離Ｄ２は、
Ｄ２＝Ｄ１・ｔａｎβ              …（２）
で算出される。これらにより、自車に対する移動物の相対的な位置が求まる。
【００２７】
なお、図６に示すように、自車の車体１の一部が撮像レンズ系５ａ，６ａの視野内に写り込む場合には、例えば車体１と路面との境界部分の変位角α２を求め、この変位角α２を変位角αのリファレンス情報として用いてもよい。すなわち、変位角α２は、撮像装置５，６の取付位置や車体１の形状等によって一義的に決定されるものであるが、撮像装置５，６の取付誤差がある場合には、変位角α２にズレが生じる。従って、この変位角α２のズレ量に応じて変位角αを補正することにより、自車に対する移動物の相対的な位置の検出精度を向上することができる。
【００２８】
また、演算ユニット９では、各移動物の速度ベクトルや、各移動物の自車に対する相対位置情報等に基づき、表示装置１０に対する出力信号を生成する。
【００２９】
この場合、例えば図７に示すように、表示装置１０には、自車が表示装置１０の画面中心に表示され、自車に対する併走車や対向車等の移動物の相対位置が矩形のブロックで表示される。また、表示装置１０には、自車に対する移動物の相対速度がベクトル表示により表示される。なお、自車と移動物との相対距離が所定値以下となった際には、移動物を点滅表示する等してドライバに対する警報を行ってもよい。
【００３０】
このような実施の形態によれば、撮像レンズ系５ａ，６ａに魚眼レンズを有する撮像装置５，６よって車外の対象を対象を撮像することにより、少数の撮像装置で広範囲の領域を撮像することができる。
【００３１】
そして、車外監視装置２では、異なるタイミングで撮像した連続する２枚の画像間のオプティカルフローを生成することにより、併走車や対向車等の移動物を容易に検出することができる。
【００３２】
また、検出した移動物の代表点Ａを路面上に設定することにより、光軸Ｏからの変位角に基づいて自車と移動物との相対位置を容易に算出することができる。すなわち、撮像装置５，６の光軸Ｏを水平方向に指向させるとともに代表点Ａが自車の接地面と同一平面上にあると仮定することにより、自車から代表点Ａまでの距離を光軸Ｏからの変位角に基づいて容易に算出することができる。従って、ステレオ画像処理等を行う必要がなく、単一の撮像装置５，６で撮像した画像から自車と移動物との相対位置関係を認識することができ、簡単な構成で適切な車外情報を得ることができる。
【００３３】
この場合、撮像装置５，６を車体１の左右両側にそれぞれ設けることにより、小数の撮像装置で効果的に車外監視を行うことができる。
【００３４】
また、各撮像装置５，６の光軸Ｏを車幅方向に対してやや後方に指向させることで、ドライバにとって視認が困難な領域を効果的に撮像することができる。
【００３５】
また、表示装置１０に自車と移動物との相対速度をベクトル表示することにより、併走車や対向車等を効果的にドライバに認識させることができる。
【００３６】
ここで、上述の実施の形態においては、車体１の左右両側にそれぞれ撮像装置５，６を設けた一例について説明したが、本発明はこれに限定されるものではなく、例えば図８に示すように、車体１の左右両側に撮像装置１５，１６を設けるとともに、車体１の後部に撮像装置１７を設けて車外監視装置２を構成してもよい。この場合、撮像装置１５，１６の光軸Ｏは、車体１の略中心位置で車幅方向に指向されることが望ましい。
【００３７】
【発明の効果】
以上説明したように本発明によれば、単一の撮像手段を用いた簡単な構成で適切な車外情報を得ることができる。
【図面の簡単な説明】
【図１】車外監視装置の機能ブロック図
【図２】撮像装置による撮像領域の一例を示す説明図
【図３】速度ベクトルの分布状態を簡略化して示す説明図
【図４】光軸方向からの変位角の座標系を示す説明図
【図５】自車と代表点との位置関係を示す説明図
【図６】自車から代表点までの光軸方向の距離算出方法を示す説明図
【図７】表示装置への表示例を示す説明図
【図８】撮像装置による撮像領域の他の例を示す説明図
【符号の説明】
１  車体
２  車外監視装置
５  撮像装置（撮像手段）
６  撮像装置（撮像手段）
５ａ  撮像レンズ系
６ａ  撮像レンズ系
７  画像処理ユニット（画像処理手段）
８  画像処理ユニット（画像処理手段）
９  演算ユニット（演算手段）
１０  表示装置（表示手段）
１５  撮像装置（撮像手段）
１６  撮像装置（撮像手段）
１７  撮像装置（撮像手段）
Ｏ  光軸
α  変位角
β  変位角
【図１】
0004425495.tif 000002
【図２】
0004425495.tif 000003
【図３】
0004425495.tif 000004
【図４】
0004425495.tif 000005
【図５】
0004425495.tif 000006
【図６】
0004425495.tif 000007
【図７】
0004425495.tif 000008
【図８】
0004425495.tif 000009