(57)【特許請求の範囲】
【請求項１】
車両周辺の監視領域を撮像する撮像手段と、
前記撮像手段で撮像された画像を表示する表示手段と、
前記撮像手段で撮像された画像データより物体の位置を算出する物体位置算出手段と、
前記物体位置算出手段で算出された物体が車両の走行に障害となるか否かを判定する障害物判定手段と、
前記障害物判定手段で車両の走行に障害となると判定された場合、前記表示手段で表示されている撮像画像の障害となる物体にマーク付けを行なう障害物マーク手段とを備え、
前記撮像手段が投光器より照射される複数のスポットを撮像するものであり、  前記表示手段で表示する画像に対しては前記スポットの照射光の波長の光を通過する帯域フィルタを撮像経路より除去して前記撮像手段で撮像されたものである
ことを特徴とする車両周辺監視装置。
【請求項２】
車両周辺の監視領域を撮像する撮像手段と、
前記撮像手段で撮像された画像を表示する表示手段と、
前記撮像手段で撮像された画像データより物体の位置を算出する物体位置算出手段と、
前記物体位置算出手段で算出された物体が車両の走行に障害となるか否かを判定する障害物判定手段と、
前記障害物判定手段で車両の走行に障害となると判定された場合、前記表示手段で表示されている撮像画像の障害となる物体にマーク付けを行なう障害物マーク手段とを備え、
前記撮像手段が監視領域を左右２台のカメラで撮像するものであり、
一方のカメラで撮像した画像が全て路面上に画かれている画像であると仮定して、他方のカメラによる画像に投影した画像を演算し、
前記他方のカメラで撮像した画像から前記投影した画像を除去することにより路面画像を除去した差分画像を求め、
前記他方のカメラで撮像した画像の微分画像と前記差分画像とを重ねてアンドを取って抽出したエッジ部分を利用して、前記物体の位置を算出する、
ことを特徴とする車両周辺監視装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は自動車などの車両の周辺を監視して、車両運転におけるドライバの安全確認を支援するのに有効に適用される車両周辺監視装置に関する。
【０００２】
【従来の技術】
従来の車両周辺装置は、特願平４−１７０５５９号に記載されているように、路面に照射されたスポットの撮像輝点と同一スポットが物体で反射されて撮像された輝点位置の移動量より物体の位置を算出して障害物の存在を検出するようにしていた。
【０００３】
すなわち、図５に示すように、車両に取付られた投光器より、図６（Ａ）に示すように多数のスポットを物体が存在しない路面に照射して、その照射スポットをカメラで撮像して記録しておき、図６（Ｂ）に示すように、物体が存在する路面を撮像すると、物体に照射されたスポットに対しては、撮像されたスポット位置が変化する。
【０００４】
このスポット位置の変化量より物体の位置を算出して図１８に示すように表示部に表示している。
また、この他、前記投光器に替えてカメラを設置し、左右２台のカメラで撮像された両画像位置より物体の位置を算出し、物体位置を図１８に示すように表示部で表示していた。
【０００５】
【発明が解決しようとする課題】
前述したように、従来の車両周辺監視装置は、カメラで撮像したスポットの輝点位置の移動量、または両カメラで撮像した画像位置の差より高さのある物体の位置を算出し、車両の走行に障害となる障害物を表示部でグラフィック図形を用いて表示するようにしていた。
【０００６】
このため、表示部での表示は実際の監視領域を撮像した画像とは異なり、安全確認が十分でないためグラフィック図形と撮像画像を切替えて監視するようにしていたが、この場合もグラフィック図形で表示された物体が撮像画像のどれに対応するかを認識するのに長時間を要していた。
【０００７】
本発明はモニタに表示されている監視領域を撮像した画像に車両の走行に障害となる物体をマークさせて障害物の位置を直ちに認識できるように改良した車両周辺監視装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
前述した課題を解決するために本発明が採用した手段を図１を参照して説明する。図１は本発明の基本構成図である。
車両周辺の監視領域を撮像する撮像手段（１）と、
前記撮像手段（１）で撮像された画像を表示する表示手段（２）と、
前記撮像手段（１）で撮像された画像データより物体の位置を算出する物体位置算出手段（３）と、
前記物体位置算出手段（３）で算出された物体が車両の走行に障害となるか否かを判定する障害物判定手段（４）と、
前記障害物判定手段（４）で車両の走行に障害となると判定された場合、前記表示手段（２）で表示されている撮像画像の障害となる物体にマークを行なう障害物マーク手段（５）と、
を備える。
【０００９】
また、前記撮像手段（１）が投光器より照射される複数のスポットを撮像する。
また、前記表示手段（２）で表示する画像に対しては前記スポットの照射光の波長の光を通過する帯域フィルタを撮像経路より除去して前記撮像手段（１）で撮像する。
【００１０】
また、前記撮像手段（１）が監視領域を左右２台のカメラで撮像し、
一方のカメラで撮像した画像が全て路面上に画かれている画像であると仮定して、他方のカメラによる画像に投影した画像を演算し、
前記他方のカメラで撮像した画像から前記投影した画像を除去することにより路面画像を除去した差分画像を求め、
前記他方のカメラで撮像した画像の微分画像と前記差分画像とを重ねてアンドを取って抽出したエッジ部分を利用して、前記物体の位置を算出する。
【００１１】
【作用】
撮像手段１は車両の周辺の監視領域を撮像する。
物体位置算出手段３は撮像手段１で撮像された画像データより物体の位置を算出する。
【００１２】
障害物判定手段４は物体位置算出手段３で算出された物体が車両の走行に障害となるか否かを判定する。
障害物マーク手段５は、障害物判定手段４で車両の走行に障害と判定された場合、撮像手段１で撮像され表示手段２で表示されている画像の障害となる物体にマーク付けを行なう。
【００１３】
また、投光器より照射するスポットを撮像手段１が撮像して物体位置を算出する場合、撮像手段１に設置されている帯域フィルタを撮像経路外に除去して撮像した画像を表示手段２で表示して障害となる物体のマーク付けを行なう。
以上のように、車両周辺の監視領域を撮像して表示している画像の車両の走行に障害となる物体に対してマーク付けを行なうようにしたので、直ちに障害物の位置を認識することができ、安全にかつスムーズに車両の運転を行なうことができる。
【００１４】
また、投光器より照射するスポットを撮像して物体位置を算出する方法をとる場合は、帯域フィルタを除去して撮像した画像を表示するようにしたので、鮮明な画像が表示されマーク付けされた障害物を容易に認識することができる。
また、前記撮像手段（１）が監視領域を左右２台のカメラで撮像し、一方のカメラで撮像した画像が全て路面上に画かれている画像であると仮定して、他方のカメラによる画像に投影した画像を演算し、他方のカメラで撮像した画像から投影した画像を除去することにより路面画像を除去した差分画像を求め、他方のカメラで撮像した画像の微分画像と差分画像とを重ねてアンドを取って抽出したエッジ部分を利用して、物体の位置を算出するようにしているので、演算処理を大幅に低減させることができる。
【００１５】
【実施例】
本発明の第１の実施例を図２および図３を参照して説明する。図２は本発明の第１の実施例の構成図、図３は同実施例の動作フローチャートである。
図２において、１０は投光器、１１は撮像カメラ、１２はフレームメモリ、１３は参照データ記録部、１４は輝点抽出部、１５は移動輝点抽出部、１６は物体位置算出部、１７は障害物判定部、１８は障害物マーク部、１９は表示部、２０は帯域フィルタ、２１は帯域フィルタ２０を撮像経路内外に挿入または除去するフィルタ挿入除去部、２２はその他の処理を行なう処理部、２３はインタフェース（Ｉ／Ｏ）、２４は全ての処理を実行するプロセッサ（ＣＰＵ）である。
【００１６】
投光器１０はレーザ光を発するレーザ光源１０ｂとファイバグレイティング（ＦＧ）１０ａで構成され、車両周辺の監視領域に格子状のレーザ光のスポットを照射する。
ＦＧ１０ａは、図４に示すように、直径が数十μｍ、長さ１０ｍｍの光ファイバを１００本程度シート状に並べ、このシートを２枚直交して重ね合わせて構成される。
【００１７】
このＦＧ１ａにレーザ光源１０ｂより矢印で示すようにレーザ光が入射されると、レーザ光は個の光ファイバの焦点で集光した後、球面波となり干渉しつつ広がって行き、その結果、投影面には格子状のスポットが照射される。
カメラ１１は、投光器１０で照射されたスポットを撮像し、撮像された画像信号はフレームメモリ１２に一時記録される。
【００１８】
カメラ１１の前面に設置されている帯域フィルタ２０は、投光器１０のレーザ光源１０ｂが発光する、例えば赤外領域である８３０ｎｍ付近の波長の光を通過させる。
帯域フィルタ２０をカメラ１１の前面に設置する理由は、投光器１０が照射したスポットをカメラ１１が撮像する場合、カメラ１１にはスポットの他に太陽光や照明光が入射されてスポットがマスクされるようになる。帯域フィルタ２０は照射しているスポットの光を通過させ、太陽や照明光を除去してＳ／Ｎを改善し、確実にスポットの輝点を抽出できるようにするために設置される。
【００１９】
また、投光器１０とカメラ１１は、図５に示すように、車両の後部に、地面に法線に対して角度θで固定して設置される。
図６は照射されたスポットをカメラ１１で撮像された画像を表わしており、図６（Ａ）は路面に物体が無い場合を示しており、また図６（Ｂ）は物体が有る場合を示している。
【００２０】
投光器１０より照射されたスポットが物体に照射されると、カメラ１１で撮像された画像のスポット位置が移動する。すなわち、物体が存在しない所では図６（Ａ）の○印で示すスポット位置と図６（Ｂ）の●印で示すスポット位置は一致するが、物体にスポットが照射されると○印位置と●印位置が一致しなくなる。
【００２１】
車両周辺監視装置は、この○印位置と●印位置の移動量より物体位置を算出する。
参照データ記録部１３には、予め、図６（Ａ）で示したように、路面に物体が存在しない場合に撮像したスポットより得られる輝点位置を記録しておく。なお輝点位置は次に説明する輝点抽出部によって行なわれる。
【００２２】
輝点抽出部１４は、まず、カメラ１１で撮像され、フレームメモリ１２に記録されている水平方向（Ｖ軸）各画素を順次読出し、図７に示すように、背景輝度に基づいて決められるしきい値と比較して、しきい値より低い輝度の場合はその画素の輝度ＩをＯにする。
【００２３】
フレームメモリ１２に記録されている全ての画素に対して上記処理を実施すると、照射されたスポットを撮像した部分のみが図８に示すように抽出できる。なお図８は、１スポットを代表して示している。
輝点抽出部１４は、次に、図８に示すように、輝度値が○で囲まれ画素に対して、各画素の座標位置に輝度Ｉの重み付けを行なって重心位置を算出し、算出された重心位置を輝点位置として図示しないメモリに記録する。
【００２４】
参照データ記録部１３には、予め、物体が無い路面上を撮像し、前述した輝点抽出部１４で抽出された輝点位置が記録されている。
移動輝点抽出部１５は、参照データ記録部１３に記録されている輝点位置と、車両の周辺を撮像して得られた位置とを対比し、位置が移動している輝点を図示しないメモリに記録する。すなわち、投光器１０より照射したスポットの中で物体に照射されたスポットを撮像して得られた輝点を抽出する。
【００２５】
物体位置算出部１６は輝点位置より物体の位置を算出する。
図９は物体位置算出部１６の物体位置を算出するための説明図であって、図９（Ａ）は、カメラ１１のレンズの光軸が路面と交わる点を原点としたＸ，ＹおよびＺ直交座標で表わしたものであり、図９（Ｂ）はＹおよびＺ軸平面で表わしたものである。
【００２６】
また、Ｌはカメラ１１のレンズの焦点距離、Ｄはレンズの中心と投光器１０との距離、θは図５で説明したカメラの設置俯角、Ｈはレンズの中心の路面上高である。
また点Ｐ（ｘ，ｙ，ｚ）は投光器１０よりのスポットが物体に照射された点、点Ｐ（ｕ，ｖ＋δ）は物体に照射されたスポットＰ（ｘ，ｙ，ｚ）はカメラ１１が撮像して得られた輝点、点ＰＡ  （ｘＡ  ，ｙＡ  ，０）は物体が無い場合の路面を照射したスポット位置、点ＰＡ  （ｕ，ｖ）は点ＰＡ  （ｘＡ  ，ｙＡ  ，０）を照射して得られる輝点位置を示す。
【００２７】
図９（Ａ）より明らかなように、投光器１０より照射したスポットが物体に照射された場合は、その輝点位置は、物体が無い、すなわち路面上を照射した時得られた輝点位置よりｖ軸（水平方向）方向に移動する。また、溝のように、路面より低い地点にスポットが照射された場合は、逆方向に移動する。
【００２８】
したがって、点Ｐ（ｘ，ｙ，ｚ）は三角測量の原理より、
0003570635.tif 000002
で表わされ、物体位置算出部１６は式（１）によって物体位置ｘ，ｙおよびｚを算出する。
【００２９】
つぎに、図３を参照して、第１の実施例の動作を説明する。
処理Ｓ１では、処理部２２は、フィルタ挿入除去部２１に指令して、帯域フィルタ２０をカメラ１１の前面の撮像経路内に挿入する。
処理Ｓ２では、カメラ１１は車両周辺の監視領域を撮像し、処理Ｓ３で撮像された画像データがフレームメモリ１２に記録される。
【００３０】
処理Ｓ４では、輝点抽出部１４は、フレームメモリ１２に記録された輝度値より、前述した処理により輝点位置を抽出して図示しないメモリに記録する。
処理Ｓ５では、移動輝点抽出部１５は、参照データ記録部１３に記録されている路面に照射された輝点と、処理Ｓ４で抽出した輝点との位置を調べ、位置移動が有った輝点については図示しないメモリに記録する。
【００３１】
処理Ｓ６では、処理部２１は、処理Ｓ５で位置移動が有ったとして記録された輝点が有るか無いかを判定し、判定がＮＯの場合は処理Ｓ１に移り、ＹＥＳの場合は処理Ｓ７に移る。
処理Ｓ７では、物体位置算出部１６は、前述したように、式（１）の演算処理を行って、移動した輝点に対応する物体の３次元位置を算出する。
【００３２】
処理Ｓ８では、障害物判定部１７は、Ｉ／Ｏ２３より車両のハンドル舵角を取込み、車両の車行進路を予測する。
処理Ｓ９では、障害物判定部１７は、処理Ｓ７で算出された物体位置と処理Ｓ８で予測された進路予測より衝突の危険が有るか無いかを判定し、判定がＮＯの場合は処理Ｓ１に終り、ＹＥＳの場合は処理Ｓ１０に移って図示しないブザー等で警告する。
【００３３】
処理Ｓ１１では、障害物マーク部１８はフィルタ挿入除去部２１に指令して帯域フィルタ２０を撮像経路外に除去させる。
処理Ｓ１２ではカメラ１１は監視領域を撮像してフレームメモリ１２に記録する。
【００３４】
処理Ｓ１１で帯域フィルタ２０が除去されているので、処理Ｓ１２で撮像された画像は自然の撮像画像となる。
なお、処理Ｓ１１で帯域フィルタを除去するのと同時にレーザ光源１０ｂの発光を停止させるようにしても良い。レーザ光源１１ｂの発光を停止すると、処理Ｓ１２で撮像した画像にはスポットが現われず、より自然な画像となる。
【００３５】
処理Ｓ１３では、障害物マーク部１８は、フレームメモリ１２に記録されている画像を表示部１９に表示する。
処理Ｓ１４では、障害物マーク部１８は、処理Ｓ９で衝突の危険有りと判定された物体について、図１０に示すように、障害物マークを付ける。
【００３６】
障害物マーク付けの方法としては、処理Ｓ１２でフレームメモリ１２に記録した画像データ値を変更したり、記録されている画像データに重畳して行なう。
また、マーク付けには、図１０に示すように○印や、これらを連ねた棒状でマークし、またマーク色を障害物の高さで変化させる方法、また、検出された障害物の大きさ・形でマーク付けする等色々な方法が考えられる。
【００３７】
図１０は、図６（Ｂ）で示すスポットが移動した輝点位置に○印の障害物マークを付けるようにした例を示す。
つぎに、本発明の第２の実施例を図１１および図１２を参照して説明する。図１１は本発明の第２の実施例の構成図、図１２は同実施例の動作フローチャートである。
【００３８】
図１１において、３１および３２は車両の周辺を撮像するカメラ、３３および３４はカメラ３１および３２で撮像された画像信号を一時記録するフレームメモリ、３５はフレームメモリ３３および３４に記録されている画像データに対して、それぞれカメラ３１および３２のレンズの歪曲収差を補正して、それぞれメモリ（右）３８およびメモリ（左）３９に記録する歪曲収差補正部、３６はメモリ３８または３９に記憶されている画像信号の中の路面画像を除去する路面画像除去部、３７は物体のエッジを検出する物体エッジ検出部である。
【００３９】
また、４０は物体の位置を算出する物体位置算出部、４１は障害物判定部、４２は障害物マーク部、４３は表示部、４４はその他の処理を行なう処理部、４５はインタフェース（Ｉ／Ｏ）、４６は処理を実行するプロセッサ（ＣＰＵ）である。
【００４０】
まず歪曲収差補正部３５について説明する。
カメラ３１および３２で撮像された画像信号は、カメラ３１および３２のレンズに歪曲収差が有る場合は、以後説明する路面画像除去部３６、物体エッジ検出部３７、物体位置算出部４０の処理結果に誤差を発生する。
【００４１】
すなわち、カメラのレンズに収差が無い場合、格子状の模様を撮像した場合は図１３（Ａ）に示すように格子状の画像データがフレームメモリに記録される。しかし、レンズに収差が有る場合は、図１３（Ｂ）または（Ｃ）に示すように歪んだ格子状画像が記録される。
【００４２】
収差量は光軸の中心より点Ｐの距離の３乗に比例して大きくなる。
すなわち、図１３（Ｄ）に示すように、収差が無い時の点Ｐ（ｘ０  ，ｙ０  ）が収差によって点Ｐ′（ｘ，ｙ）に結像したものとすると、収差量Ｄは
Ｄ＝［（ｘ０  −ｘ）２  ＋（ｙ０  −ｙ）２  ］０．５              ・・・（３）
となり、このＤはレンズの中心点より点Ｐまでの距離の３乗に比例する。すなわち、
［（ｘ０  −ｘ）２  ＋（ｙ０  −ｙ）２  ］０．５  ＝ｋ［（ｘ０２−ｙ０２）０．５  ］３  ・・・（４）
ただしｋは比例定数
となる。
【００４３】
したがって、レンズに収差が存在する場合は、例えば
0003570635.tif 000003
なる演算を行って歪曲収差を補正する。
【００４４】
歪曲収差補正部３５は、フレームメモリ３３および３４に記録されている画素データについて式（５）の演算を行ってレンズ収差の補正を行なって、それぞれ、メモリ３８および３９に記録する。
また式（５）の演算を行ってフレームメモリの画素の補正を行なった場合、補正後のメモリ３８および３９にデータぬけが生ずる。このようなデータぬけの画素に対しては隣接する画素のデータを基にして補間を行なう。
【００４５】
カメラ３１および３２は、第１の実施例と同様に、図５に示すように、車両後部に路面よりＨなる高さに設置されて、車両後方を撮像する。
そこで、以後の説明を容易にするため、図１４に示すように、カメラ設置点での座標をＸ′，Ｙ′およびＺ′で表わし、路面での座標をＸ，ＹおよびＹで表わすものとする。したがって、カメラの設置俯角θＳ  ＝９０のときは、
Ｘ＝Ｘ′，Ｙ＝Ｙ′＋Ｈ，Ｚ＝Ｚ′                      ・・・（６）
となる。
【００４６】
カメラ３１および３２のレンズの光軸は、図１５に示すように、両光軸ともＺ′軸と一致させ、距離Ｌだけ離れて設置される。
まず、物体位置算出部３０での物体位置の算出方法について説明する。
図１５において、Ｘ′軸は両カメラのレンズの中心点を結ぶ方向にとり、Ｘ′軸は路面と平行になるようにカメラ３１および３２を設置する。
【００４７】
Ｙ′軸は、Ｚ′軸とＸ′軸とに垂直となる軸で、路面に垂直な軸である。
以後の説明を容易にするため、Ｘ′，Ｙ′およびＺ′軸のＯ点はカメラ（左）３２のレンズの中心にとる。
このように設置されたカメラ３１および３２によって撮像され、メモリ３８および３９に記録されている点Ｐ（ＸＰ  ′，ＹＰ  ′，ＺＰ  ′）の記録を、それぞれＰＬ  （ｘＬＰ，ｙＬＰ）およびＰＲ  （ｘＲＰ，ｙＲＰ）とすると、点Ｐまでの距離ＺＰ  ′は
ＺＰ  ′＝Ｌｆ／（ｘＬＰ−ｘＲＰ）                          ・・・（７）
ただし、Ｌは両レンズの間隔
ｆはレンズの焦点距離
で表わされる。
【００４８】
したがって、物体位置算出部３０は、メモリ３９よりｘＬＰを、またメモリ３８よりｘＲＰを読取ってＺＰ  ′を算出する。
また、点Ｐ（ＸＰ  ′，ＹＰ  ′，ＺＰ  ′）のＹＰ  ′は、図１５より、
0003570635.tif 000004
で表わされる。
【００４９】
また、点Ｐ（ＸＰ  ′，ＹＰ  ′，ＺＰ  ′）のＸＰ  ′は、図１５より、
0003570635.tif 000005
で表わされる。
【００５０】
カメラが図５で示すように、垂直方向よりθＳ  下方向に向けられている場合は補正が必要となる。
カメラの俯角がθＳ  である場合、図１４に示すようになる。
Ｘ′，Ｙ′およびＺ′座標で表わした点Ｐの位置ＸＰ  ′，ＹＰ  ′およびＺＰ  ′は路面座標Ｘ，ＹおよびＺで表わすと図１４で示すようになる。
【００５１】
したがって、式（７），（９）および（１１）で算出したＺＰ  ′，ＹＰ  ′およびＸＰ  ′を用いてＸ，ＹおよびＺ座標で表わした点Ｐの値をＸＰ  ，ＹＰ  およびＺＰ  とすると、
ＸＰ  ＝ＸＰ  ′                                          ・・・（１２）
ＹＰ  ＝Ｈ−ＺＰ  ′ｃｏｓ  θＳ  ＋ＹＰ  ′ｓｉｎ  θＳ                ・・・（１３）
ＺＰ  ＝ＺＰ  ′ｓｉｎ  θＳ  ＋ＹＰ  ′ｃｏｓ  θＳ                    ・・・（１４）
となる。
【００５２】
また、カメラの左右の撮像角がθＲ  の場合は、Ｙ軸を回転軸としてθＲ  回転する補正を行なう。
物体位置算出部３０は式（１２）〜（１４）の演算を行って物体位置を算出する。
【００５３】
つぎに路面画像除去部３６について説明する。
路面に白線や文字等が描かれている場合、この白線や文字は物体と判定されて距離が算出される。しかし、路面の白線や文字は車両の走行には何んら障害となるものでは無く、このような高さ０の物体は予め除去すれば物体の位置算出処理が簡単となる。
【００５４】
路面画像を除去する原理を図１６を参照して説明する。
図１６（Ａ）はカメラ３１で撮像され、メモリ３８に記録されている右画像を示す。図１６（Ａ）において、３０ａおよびｂは路面上に画かれた白線、また３０ｃは物体（ポール）を示している。
【００５５】
そこで、メモリ３８に記録されている右画像は全て高さ０、すなわち路面上に画かれている画像だと仮定する。この右画像を左カメラ３２が撮像したとして右画像を左画像に投影した画像を演算によって算出する（図１６（Ｂ））。
このようにして算出した投影画像を左画像（メモリ３９）に重畳すると図１６（Ｃ）のようになる。
【００５６】
すなわち、右側カメラ３１で撮像された画像を投影した場合、路面上に画かれている白線等の模様は左側カメラ３２で撮像された模様と位置、輝度共に一致し、物体が路面より高くなるに従って差が大きくなる。
したがって、図１６（Ｄ）に示すように、左画像データと投影画像データの差を求めることによって高さのある物体を構成する画素以外の路面を構成する画素の輝度値は０または０に近い値となり、所定しきい値以下を０とすれば、全て０となる。これにより高さのある部分のみが０以外の値として取り出されて路面画像を除去することができる。
【００５７】
そこで、次に右画像を全て高さ０とした投影画像の算出方法について説明する。
右画像の点ＰＲ  （ｘＲＰ，ｙＲＰ）に対応する投影画像の点をＰＬ  ′（ｘＬＰ′，ｙＬＰ′）とする。
【００５８】
図７に示すように、カメラ座標のＸ′軸と路面座標のＸ軸は平行であり、また、カメラによって撮像する掃査線のｘ軸（図１５のｘＬ  軸およびｘＲ  軸）も共に平行であるとすると、同一物体を撮像した場合の撮像画像のｙＬ  とｙＲ  値は一致する。
【００５９】
したがって、
ｙＬＰ′＝ｙＲＰ                                          ・・・（１５）
となる。
また、ｘＬＰ′は、画像の全てが路面上であるとすれば、式（１３）で示すＹＰ  の値は０となり、
０＝ＨＰ  −ＺＰ  ′ｃｏｓ  θＳ  ＋ＹＰ  ′ｓｉｎ  θＳ                ・・・（１６）
となる。
【００６０】
そこで、式（１６）のＺＰ  ′およびＹＰ  ′に式（７）のＺＰ  ′および式（９）のＹＰ  ′を代入してｘＬＰ′を求めると、
ｘＬＰ′＝（Ｌｆｃｏｓ  θＳ  −ＬｙＲＰｓｉｎ  θＳ  ）／Ｈ＋ｘＲＰ    ・・・（１７）
となる。
【００６１】
路面画像除去部３６は式（１５）および（１７）の演算を行なって投影画像（図１６（Ｂ））を算出する。
投影画像が作成されると左画像、すなわちメモリ３９に記録されているデータとの差を求めて路面画像を除去する（図１６（Ｄ））。
【００６２】
つぎに物体エッジ検出部３７について説明する。
図１７（Ａ）は、図１６（Ａ）で説明したと同様な路面上に画かれた白線３０ａおよびｂと路面上の物体（ポール）３０ｃを左側カメラ３２が撮像し、メモリ３９に記録されている画像データを示す。
【００６３】
メモリ３９に記録されているｍ行ｎ列の画像データの輝度値Ｉｍ，ｎ  を水平方向に掃査し、
0003570635.tif 000006
ただし、Ｅ０  はしきい値
なる処理を行なって微分画像を求めると、図１７（Ｂ）に示すように、物体や路面に画かれている文字等の縦方向エッジ部分が“１”に、その他の部分は“０”となる。
【００６４】
このようにして求めた微分画像（図１７（Ｂ））と、前述した路面画像除去部１６で求めた差分画像（図１６（Ｄ））と重ね合せてアンドを取ると、図１７（Ｃ）で示す物体のエッジ部分のみが抽出される。
したがって、この抽出された物体のエッジ部分について物体の３次元位置を算出させるようにすることによって、演算処理を大幅に低減させることができる。
【００６５】
つぎに、図１２を参照して実施例の動作を説明する。
処理Ｓ２１では、処理部４４は、カメラ３１および３２で撮像した画像データを、それぞれフレームメモリ３３および３４に記録する。
処理Ｓ２２では、歪曲収差補正部３５は、フレームメモリ３３および３４に記録されているデータに対して、カメラ３１および３２のレンズの収差に対応する補正を行なって、それぞれ、メモリ３８および３９に記録する。
【００６６】
処理Ｓ２３では、物体エッジ検出部３７は、メモリ３９に記録されている左画像データを水平方向に掃査して、式（１８）で示す演算を行なわせて左画像の微分画像（図１７（Ｂ））を作成して図示しないメモリに記録する。
処理Ｓ２４では、路面画像除去部３６は、メモリ３８に記録されている右画像を路面上画像と仮定して左画像に投影した投影画像（図１６（Ｂ））を作成して図示しないメモリに記録する。
【００６７】
処理Ｓ２５では、路面画像除去部３６は、メモリ３８に記録されている左画像より処理Ｓ２４で作成した投影画像データを減算した差分画像（図１６（Ｄ））を作成して図示しないメモリに記録する。
処理Ｓ２６では、物体エッジ検出部３７は、処理Ｓ２３で作成した微分画像（図１７（Ｂ））と処理Ｓ２５で作成した差分画像（図１６（Ｄ））より物体のエッジを表わす物体エッジ画像（図１７（Ｃ））を作成して図示しないメモリに記録する。
【００６８】
処理Ｓ２７では、処理部４４は、処理Ｓ２６で作成した物体エッジ画像データのエッジ部分について、測定すべき物体の左右画像の対応点をメモリ３８および３９より抽出する。
処理Ｓ２８では、物体位置算出部３０は、処理Ｓ２７で抽出された点に対応する物体位置を算出する。
【００６９】
処理Ｓ２９では、障害物判定部４１は、処理Ｓ２８の処理結果より障害物が有るか否かを判定し、判定がＮＯの場合は処理Ｓ３０に移って、図示しないモニタにフレーメモリ３３または３４に記録されている画像を表示す。
処理Ｓ３１では、障害物判定部４１は、Ｉ／Ｏ４５を介して舵角信号を読込み、処理Ｓ３２に移って読込んだ舵角より車両が走行する軌跡を推定する。
【００７０】
処理Ｓ３３では、障害物判定部４１は、検出された障害物に対して車両が衝突の可能性が有るか否かを処理Ｓ３２の走行軌跡と比較して判定し、判定がＹＥＳの場合は処理Ｓ３４に、また、衝突の可能性が無い場合は処理Ｓ３０に移ってモニタに撮像画像を表示して処理Ｓ２１に移る。
【００７１】
処理Ｓ３４では、障害物判定部４１はブザーを鳴らして警報を発する。
処理Ｓ３５では、障害物マーク部４２は、フレームメモリ３３または３４に記録されている画像を表示部４３に表示する。
処理Ｓ３６では、障害物マーク部４２は、処理Ｓ３３で衝突の可能性が有りと判定された物体について、図１０に示すように障害物マークを付けて処理Ｓ２１に移る。
【００７２】
なお、障害物のマーク方法は第１の実施例で説明したと同様な方法で行なわれる。
なお、処理Ｓ３５での画像の表示をフレームメモリ３４に記録されている画像データで表示を行ない、処理Ｓ２３で物体エッジ検出部３７が検出した物体エッジ（図１７（Ｃ））を表示画像に重畳するようにすれば、障害物のマーク付けを容易に行なうことができる。
【００７３】
なお、以上説明した実施例では、右側画像より投影画像を作成して左側画像に重畳したが、左側画像より投影画像を作成して右側画像に重畳するようにしてもよい。
【００７４】
【発明の効果】
以上説明したように、本発明によれば次の効果が得られる。
車両周辺の監視領域を撮像して表示している画像の車両の走行に障害となる物体に対してマーク付けを行なうようにしたので、直ちに障害物の位置を認識することができ、安全にかつスムーズに車両の運転を行なうことができる。
【００７５】
また、投光器より照射するスポットを撮像して物体位置を算出する方法をとる場合は、帯域フィルタを除去して撮像した画像を表示するようにしたので、鮮明な画像が表示されマーク付けされた障害物を容易に認識することができる。
【図面の簡単な説明】
【図１】本発明の基本構成図である。
【図２】本発明の第１の実施例の構成図である。
【図３】同実施例の動作フローチャートである。
【図４】実施例の投光器のファイバグレイティングの説明図である。
【図５】実施例の投光器およびカメラの設置例を示す図である。
【図６】撮像スポットの説明図である。
【図７】撮像画像信号の一走査線上の輝度分布を示す図である。
【図８】撮像画像信号より輝点位置を算出するための説明図である。
【図９】輝点位置より物体位置を算出するための説明図である。
【図１０】表示例を示す図である。
【図１１】本発明の第２の実施例の構成図である。
【図１２】同実施例の動作フローチャートである。
【図１３】同実施例のレンズ収差補正の説明図である。
【図１４】同実施例のカメラ俯角補正の説明図である。
【図１５】同実施例の３次元位置測定説明図である。
【図１６】同実施例の路面画像除去の説明図である。
【図１７】同実施例の物体エッジ検出の説明図である。
【図１８】従来の表示例を示す図である。
【符号の説明】
１                撮像手段
２                表示手段
３                物体位置算出手段
４                障害物判定手段
５                障害物マーク手段
１０              投光器
１１，３１，３２  カメラ
１０ａ            ファイバグレイティング（ＦＧ）
１０ｂ            レーザ光源
１２，３３，３４  フレームメモリ
１３              参照データ記録部
１４              輝点抽出部
１５              移動輝点抽出部
１６，４０        物体位置算出部
１７，４１        障害物判定部
１８，４２        障害物マーク部
１９，４３        表示部
２０              帯域フィルタ
２１              フィルタ挿入除去部
２２，４４        処理部
２３，４５        インタフェース（Ｉ／Ｏ）
２４，４６        プロセッサ（ＣＰＵ）
３５              歪曲収差補正部
３６              路面画像除去部
３７              物体エッジ検出部
３８，３９        メモリ
【図１】
0003570635.tif 000007
【図２】
0003570635.tif 000008
【図３】
0003570635.tif 000009
【図４】
0003570635.tif 000010
【図５】
0003570635.tif 000011
【図６】
0003570635.tif 000012
【図７】
0003570635.tif 000013
【図８】
0003570635.tif 000014
【図９】
0003570635.tif 000015
【図１０】
0003570635.tif 000016
【図１１】
0003570635.tif 000017
【図１２】
0003570635.tif 000018
【図１３】
0003570635.tif 000019
【図１４】
0003570635.tif 000020
【図１５】
0003570635.tif 000021
【図１６】
0003570635.tif 000022
【図１７】
0003570635.tif 000023
【図１８】
0003570635.tif 000024