(57)【特許請求の範囲】
【請求項１】
カメラからの画像を入力する画像入力手段と、
前記画像入力手段にて入力された画像から移動している物体を検出する動体検出手段と、
前記動体検出手段の検出した前記物体を追跡する動体追跡手段と、
前記動体追跡手段の動体追跡結果から前記物体が停止したか否かを判定し、前記物体が停止したと判定した場合に発報すると共に、停止した前記物体の位置を出力する物体停止判定手段と、
前記物体停止判定手段より出力された位置の画像情報を保持する障害物情報格納手段と、
前記障害物情報格納手段に保持された画像情報と入力画像との比較に基づいて、前記物体停止判定手段より出力された位置に障害物が存在するか否かを判定する障害物存在判定手段と、
前記障害物存在判定手段が障害物なしと判定した時に、前記物体停止判定手段による障害物の発報を自動解除する発報解除手段とを備えた障害物検出装置。
【請求項２】
障害物情報格納手段を、入力画像の障害物領域の画像情報により、保持する障害物画像情報の更新を行うものとしたことを特徴とする請求項１記載の障害物検出装置。
【請求項３】
障害物が他の物体に遮蔽された状態を検出する遮蔽判定手段を備え、
障害物情報格納手段を、前記遮蔽判定手段にて障害物が他の物体に遮蔽されたことが検出されると、保持する障害物画像情報の更新を停止するものとしたことを特徴とする請求項２記載の障害物検出装置。
【請求項４】
入力画像の障害物領域のエッジ画像を作成するエッジ画像生成手段を備え、
障害物存在判定手段を、前記エッジ画像生成手段の作成したエッジ画像のエッジ分布により、停止物体が存在するか否かを判定するものとしたことを特徴とする請求項１から請求項３のうちのいずれか１項記載の障害物検出装置。
【請求項５】
移動している物体の写っていない路面画像を蓄積する路面画像蓄積手段を備え、
障害物存在判定手段を、前記路面画像蓄積手段に蓄積された路面画像と入力画像との比較に基づいて、障害物の存在判定を行うものとしたことを特徴とする請求項１から請求項３のうちのいずれか１項記載の障害物検出装置。
【請求項６】
物体とカメラの間の距離よりその距離分布を求める距離計測手段を備え、
障害物存在判定手段を、前記距離計測手段によって求められた当該障害物位置の距離分布により障害物存在判定を行うものとしたことを特徴とする請求項１記載の障害物検出装置。
【請求項７】
動体追跡手段の動体追跡結果から移動している物体が車両であるか否かを判定する車両判定手段と、
前記車両判定手段で判定された車両の一定時間内での位置、速度、進行方向から、当該車両が障害物を回避する回避動作を行ったか否かを判定する物体回避動作判定手段とを備え、
発報解除手段を、前記物体回避動作判定手段において回避動作を行わなかったと判定された場合に障害物発報を自動的に解除するものとしたことを特徴とする請求項１から請求項６のうちのいずれか１項記載の障害物検出装置。
【請求項８】
障害物の位置および大きさから障害物の危険度を算出する危険度算出手段と、
前記障害物の存在を表示する警告表示装置とを備え、
前記危険度算出手段にて算出された危険度に基づいて、前記警告表示装置の表示を変更することを特徴とする請求項１から請求項６のうちのいずれか１項記載の障害物検出装置。
【請求項９】
物体回避動作判定手段を、車両が回避動作を行ったと判定した場合にその回避動作の大きさを出力するものとし、
前記物体回避動作判定手段の出力する車両の回避動作の大きさに基づいて障害物の危険度を算出する危険度算出手段と、
前記危険度算出手段にて算出された危険度に応じて障害物存在の表示を変更する警告表示装置とを備えたことを特徴とする請求項７記載の障害物検出装置。
【請求項１０】
物体回避動作判定手段を、車両が回避動作を行ったと判定した場合にその回避動作の大きさを出力するものとし、
障害物の位置および大きさと、前記物体回避動作判定手段の出力する車両の回避動作の大きさに基づいて、障害物の危険度を算出する危険度算出手段と、
前記危険度算出手段にて算出された危険度に応じて障害物存在の表示を変更する警告表示装置とを備えたことを特徴とする請求項７記載の障害物検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、路面上の落下物等の障害物を検出して車両の運転者に警告等を発する障害物検出装置に関するものである。
【０００２】
【従来の技術】
図２３は、例えば特開平４−３５５８９９号公報に開示された、従来の障害物検出装置の構成を示す構成図である。図において、１１００は路面を撮像するカメラであり、２０００はこのカメラ１１００から入力された入力画像を蓄積する入力画像蓄積手段である。２００１はカメラ１１００からの入力画像と、入力画像蓄積手段２０００が保持する１フレーム前の画像との間で、指定された画像演算を行う画像間演算手段である。２はこの画像間演算手段２００１の演算結果から移動している物体（動体）を抽出し、その面積、重心等を求める動体検出手段である。
また、図２４はその動体予測領域を説明するための説明図である。図において、２００２は代表点位置であり、２００３は動体予測領域である。
【０００３】
次に動作について説明する。
ここで、図２５は従来の障害物検出装置の動作を説明するためのフローチャートである。まず、ステップＳＴ２０００で入力画像蓄積手段２０００は、道路を撮像するカメラ１１００からの入力画像をデジタル画像として保存する。次にステップＳＴ２００１で画像間演算手段２００１は、入力画像蓄積手段２０００に保存されている１フレーム前の画像と、カメラ１１００からの入力画像との間でＥＸ−ＯＲ（排他的論理和）の演算を行い、それを差分画像として出力する。次にステップＳＴ２００２において、動体検出手段２は画像間演算手段２００１が出力した差分画像から、ラベリング処理によって１フレーム前の画像と入力画像間の差分領域を抽出し、その差分領域が所定範囲内の面積であるものを障害物候補領域とする。
【０００４】
障害物候補領域の発見時（１回目）には、処理はステップＳＴ２００３からステップＳＴ２００４へ進み、代表点位置２００２が抽出される。この代表点位置２００２には当該障害物候補領域の重心等を用いる。次にステップＳＴ２００６で当該障害物候補領域の移動範囲を予測する。移動範囲は図２４に示した当該障害物候補領域の代表点位置２００２から一定以内離れた動体予測領域２００３とする。
【０００５】
一方、障害物候補領域の追跡時（２回目以降）には、処理はステップＳＴ２００３よりステップＳＴ２００５へ進み、上記と同様にして代表点位置２００２を抽出する。更にステップＳＴ２００７において、当該障害物候補領域が予測範囲内に存在するか否かの判定を行い、存在する場合にはその障害物候補領域を障害物と判定してステップＳＴ２００８で警報を発する。また予測範囲外である場合はステップＳＴ２００９へ進んで障害物候補領域の移動範囲を予測し、さらに障害物候補領域の追跡を行う。
【０００６】
【発明が解決しようとする課題】
従来の障害物検出装置は以上のように構成されているので、動体が停止した場合にそれを障害物とみなして警報を発しているが、障害物が一度静止した後に撤去されても自動的に障害物が撤去されたか否かを判別することができず、また障害物を遮蔽して移動する車両等の動体がある場合には、障害物が存在するにもかかわらず、仮に障害物の再移動で発報を解除しようとした場合でも、障害物発報を自動的に解除することができないため、人手による障害物発報の解除が必要となって、装置運用コストが高くなるなどの課題があった。
【０００７】
この発明は上記のような課題を解決するためになされたもので、障害物発報解除を自動的に行うことのできる障害物検出装置を得ることを目的とする。
【０００８】
【課題を解決するための手段】
この発明に係る障害物検出装置は、動体検出手段が画像入力手段より入力された入力画像から検出した移動している物体（動体）を動体追跡手段で追跡し、その移動している物体（動体）の停止を物体停止判定手段で判定して発報すると共に停止物体の位置を出力し、その位置の画像情報を障害物情報格納手段に保持し、障害物存在判定手段にて障害物情報格納手段に保持された画像情報と入力画像との比較に基づいて、その位置における障害物の存在を判定して、障害物なしと判定された場合には発報解除手段によって、自動的に障害物発報を解除するようにしたものである。
【０００９】
この発明に係る障害物検出装置は、障害物情報格納手段に保持する障害物画像情報の更新を、入力画像の障害物領域の画像情報に基づいて行うようにしたものである。
【００１０】
この発明に係る障害物検出装置は、障害物が他の物体によって遮蔽されたことが遮蔽判定手段で検出されると、障害物情報格納手段に保持する障害物画像情報の更新を停止するようにしたものである。
【００１１】
この発明に係る障害物検出装置は、エッジ画像生成手段によって作成されたエッジ画像のエッジ分布に基づいて、停止物体の存在を判定するようにしたものである。
【００１２】
この発明に係る障害物検出装置は、障害物存在の判定を、路面画像蓄積手段に蓄積された移動している物体の写っていない路面画像と入力画像との比較に基づいて行うようにしたものである。
【００１３】
この発明に係る障害物検出装置は、障害物存在の判定を、距離計測手段が物体とカメラとの距離より求めた当該障害物の位置の距離分布に基づいて行うようにしたものである。
【００１４】
この発明に係る障害物検出装置は、車両判定手段で車両と判定された移動している物体（動体）について、それが障害物の回避動作を行ったか否かを、物体回避動作判定手段によって一定時間における位置、速度、進行方向から判定し、回避動作を行わなかったと判定された場合に、発報解除手段による障害物発報の自動解除を行うようにしたものである。
【００１５】
この発明に係る障害物検出装置は、障害物の位置と大きさから危険度算出手段にて算出された障害物の危険度に基づいて、障害物の存在を表示する警告表示装置の表示を変更するようにしたものである。
【００１６】
この発明に係る障害物検出装置は、危険度算出手段が、物体回避動作判定手段の出力する車両の回避動作の大きさに基づいて危険度の計算を行うようにしたものである。
【００１７】
この発明に係る障害物検出装置は、危険度算出手段が、障害物の位置と大きさ、および物体回避動作判定手段の出力する車両の回避動作の大きさに基づいて、危険度の計算を行うようにしたものである。
【００１８】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による障害物検出装置の構成を示す構成図である。図において、１は図示しないカメラからの画像を入力する画像入力手段であり、この実施の形態１では画素値を０〜２５５とする。２はこの画像入力手段１にて入力された画像から移動している物体（動体）を検出する動体検出手段であり、これは図２３に同一符号を付して示した従来のそれと同等のものである。３はこの動体検出手段２の検出した移動している物体（動体）の追跡を行って、当該動体の位置、速度、移動方向を出力する動体追跡手段である。４はこの動体追跡手段３の動体追跡結果から移動している物体（動体）が停止したか否かを判断し、停止物体を障害物と判定して発報すると共に、当該停止物体の位置を出力する物体停止判定手段である。５はこの物体停止判定手段４より出力される、障害物と判定された物体領域における物体の位置、大きさおよび画像情報を蓄積する障害物情報格納手段である。６はこの障害物情報格納手段５に保存された情報を用いて、当該障害物領域に障害物が存在するか否かを判定する障害物存在判定手段である。７はこの障害物存在判定手段６にて障害物が消失したと判定された場合に、物体停止判定手段４による障害物発報を自動的に解除する発報解除手段である。
【００１９】
図２は図１に示した動体検出手段２の機能を説明するための図である。図において、１０は時刻ｔ−１における撮像画像、１１は時刻ｔにおける撮像画像であり、１２は時刻ｔ−１と時刻ｔにおける撮像画像の差分２値画像である。各撮像画像中の、１３は道路であり、１４は時刻ｔ−１における移動する物体（動体）、１５は移動する物体（動体）１４の移動方向を示す矢印である。１６は時刻ｔにおける移動する物体（動体）であり、１７は検出された移動領域である。
【００２０】
図３は図１に示した動体追跡手段３の動作を説明するための図である。図において、２０は道路であり、２１は検出された動体の重心位置である。２２は時刻ｔ−１における動体の重心位置Ｘｔ−１、２３は時刻ｔにおける動体の重心位置Ｘｔである。
【００２１】
次に動作について説明する。
ここで、図４および図５はこの実施の形態１の動作を説明するためのフローチャートである。なお、これら図４および図５に示す処理は並行して動作するものであり、図４は動体検出と障害物検出の処理を、図５は障害物が存在するか否かの判定の処理をそれぞれ示している。まず、図４のフローチャートを用いて画像入力手段１、動体検出手段２、動体追跡手段３、物体停止判定手段４、障害物情報格納手段５の動作を説明する。
【００２２】
ステップＳＴ１００において、路上を撮像している図示しないカメラから出力される、時刻ｔにおける撮像画像１１を画像入力手段１によりデジタル画像として入力する。この画像入力手段１から入力された画像は動体検出手段２に送られて移動している物体（動体）が存在する領域の検出が行われる。この動体存在領域の検出は、例えば文献「画像の処理と認識」（昭晃堂、安居院  猛、長尾  智晴  共著、ＰＰ．１６２−１６３）に開示されている周知のフレーム間差分法によって行われる。すなわち、まずステップＳＴ１０１において、前回撮像した時刻ｔ−１における撮像画像１０と時刻ｔにおける撮像画像１１との間で差分絶対値演算を行い、所定のしきい値で２値化した差分２値画像１２を出力する。次にステップＳＴ１０２において、上記差分２値画像１２から動体領域を抽出する。なお、この動体領域の抽出は、例えば文献「コンピュータ画像処理入門」（総研出版、田村  秀行  監修、ＰＰ．７５−７６）に開示されている周知のラベリング処理により、差分２値画像１２から連結した画素を１つの領域として抽出することで行える。
【００２３】
次に動体追跡手段３はステップＳＴ１０３において、上記抽出された動体領域の代表点の位置（物体重心位置）２３を時刻ｔにおける動体位置として保存し、ステップＳＴ１０４で時刻ｔ−１において検出された動体位置（物体重心位置）２２との間で対応づけを行って、動体の追跡を行う。ここで、上記代表点は領域重心等を用いる。また、対応づけは例えば、時刻ｔにおける動体領域の代表点の位置２３に最も距離が近く、かつ距離が所定範囲内の時刻ｔ−１の動体位置２２の領域を求め、対応した動体領域を同一動体として保存する。次にステップＳＴ１０５において、この対応づけられた動体代表点間の距離から、移動している物体（動体）の速度および移動方向を求める。この速度および移動方向は、例えば次式により求める。
速度＝Ｄ（Ｏｔ，Ｏｔ−１）／Ｔ
移動方向＝ｔａｎ-1（｜Ｏｔ．ｘ−Ｏｔ−１．ｘ｜／｜Ｏｔ．ｙ−Ｏｔ−１．ｙ｜）
ただし、上式における、Ｄ（ａ，ｂ）は２点ａ，ｂ間のユークリッド距離、Ｔは時刻ｔと時刻ｔ−１の時間間隔、Ｏｔは時刻ｔにおける物体位置、Ｏｔ．ｘは物体のＸ座標、Ｏｔ．ｙは物体のＹ座標である。
【００２４】
その後、物体停止判定手段４はステップＳＴ１０６において、物体の速度が所定範囲内か否かの判定を行う。すなわち、上記対応づけられた領域間の距離が所定値より小さいか、対応づける移動している物体（動体）がない場合には当該動体が停止したと判断してステップＳＴ１０７へ進み、それ以外は停止していないと判断してステップＳＴ１００へ処理を戻す。ステップＳＴ１０７では障害物存在判定手段６が、その停止物体を障害物として発報すると共に、障害物情報格納手段５がその障害物とされた領域の画像情報、および物体の位置・大きさ等を保存する。なお、上記一連の動作は一定間隔、例えばビデオレート（３０ｍｓ）毎に実行される。
【００２５】
次に図５のフローチャートを用いて、障害物存在判定手段６と発報解除手段７の動作を説明する。
この図５のフローチャートに示す動作は、障害物がありとされている時に障害物存在判定手段６によって、所定の時間間隔で実行されるものである。障害物存在判定手段６は障害物を発見した時の画像情報と対応する入力画像とを比較することで、障害物が存在するか否かを判定する。すなわち、障害物存在判定手段６はステップＳＴ１５０でまず、何番目の障害物を処理しているか示す変数ｉを１に初期化する。次にステップＳＴ１５１において、障害物情報格納手段５からｉ番目の障害物の位置・大きさ・画像情報を取り出した後、変数ｉをインクリメントする。次にステップＳＴ１５２に進み、当該障害物位置に対応する入力画像から画像特徴を抽出する。なお、この実施の形態１においては、この画像特徴として、例えば輝度値が用いられる。次にステップＳＴ１５３で、上記障害物情報格納手段５から取り出されたｉ番目の障害物の画像情報と、それに対応する入力画像の画像情報との差分値Ｄを求める。この差分値Ｄは、例えば次式によって求められる。
【００２６】
【数１】
0003833424.tif 000002
【００２７】
ただし、上式における、Ｉｎ（ｘ，ｙ）は入力画像における座標ｘ，ｙの輝度値、Ｏｂｓ（ｘ，ｙ）は障害物情報格納手段５に保存した画像における座標ｘ，ｙの輝度値、Ｘ，Ｙは障害物座標、ｗ，ｈは障害物の幅および高さである。
【００２８】
次にステップＳＴ１５４において、上記差分値Ｄと予め定められたしきい値ｔｈとの比較を行う。その結果、差分値Ｄが所定のしきい値ｔｈより大きい場合には、当該領域から障害物が消失したと判定してステップＳＴ１５５へ進み、当該しきい値ｔｈ以下の場合には障害物が存在するものと判定して、そのままステップＳＴ１５６へ進む。ステップＳＴ１５５では障害物情報格納手段５から当該領域の障害物候補の情報を削除する。次にステップＳＴ１５６において、全障害物候補についての処理が終了したか否かを判定する。全障害物候補についての処理が終了している場合にはステップＳＴ１５７へ進み、終了していない場合にはステップＳＴ１５１へ戻って上記処理を繰り返す。ステップＳＴ１５７では障害物情報格納手段５に障害物発報すべき障害物情報がなくなったか否かを判定する。その結果、当該障害物情報がなくなったと判定された場合にはステップＳＴ１５８へ進み、発報解除手段７がこのステップＳＴ１５８において障害物発報を自動的に解除した後、この一連の処理を終了する。一方、ステップＳＴ１５７で当該障害物情報がまだ存在すると判定された場合には、障害物発報の解除を行わずにそのままこの一連の処理を終了する。
【００２９】
なお、上記実施の形態１においては、動体検出をフレーム間差分法によって行うものを示したが、前述の文献「画像の処理と認識」（昭晃堂、安居院  猛，長尾  智晴  共著、ＰＰ．１６１−１６２）に開示されている、周知の背景差分法を用いて行うようにしてもよい。
【００３０】
以上のように、この実施の形態１によれば、障害物存在判定手段６によって障害物を監視しているため、障害物が撤去されたり、障害物を遮って移動する物体があるような場合でも、障害物が消失したことを確実に判定することができ、人手によらず自動的に障害物発報を解除できるため、装置運用コストを低減することができるという効果が得られる。
【００３１】
実施の形態２．
なお、上記実施の形態１では、障害物を発見した時の画像情報と対応する入力画像とを比較することによって障害物が存在するか否かを判定するものについて説明したが、障害物情報格納手段５の画像情報を入力画像に応じて更新するようにしてもよい。この実施の形態２はそのような障害物検出装置に関するものであり、その構成は図１に示した実施の形態１の場合と同様であるため、その図示と説明は省略する。
【００３２】
次に動作について説明する。
ここで、図６はこの実施の形態２における障害物存在判定手段６の動作を説明するためのフローチャートである。以下、この図６に示すフローチャートに従って、障害物存在判定手段６の動作について説明する。ステップＳＴ２００〜ステップＳＴ２０３においては、図５のフローチャートに示した実施の形態１におけるステップＳＴ１５０〜ステップＳＴ１５３と同様に、変数ｉの初期化、ｉ番目の障害物候補の選択、入力画像の障害物候補領域内における画像特徴の抽出、登録時の画像特徴との差分値Ｄの算出が行われる。
【００３３】
次にステップＳＴ２０４において、算出された差分値Ｄと予め定められたしきい値ｔｈ１とを比較する。その結果、当該差分値Ｄが所定のしきい値ｔｈ１より大きい場合には、障害物が消失したと判定してステップＳＴ２０５へ進み、所定のしきい値ｔｈ１以下の場合には、障害物が存在すると判定してステップＳＴ２０９へ進む。ステップＳＴ２０５〜ステップＳＴ２０８においては、図５のフローチャートに示した実施の形態１におけるステップＳＴ１５５〜ステップＳＴ１５８と同様に、その領域の障害物候補の情報の、障害物情報格納手段５からの削除、全障害物候補について上記処理が実行終了したかの判定、障害物候補の情報の有無の判定、障害物発報の解除が行われる。
【００３４】
一方、ステップＳＴ２０９においては、その差分値Ｄと予め定められたしきい値ｔｈ２との比較が行われる。このしきい値ｔｈ２は日照変動による輝度変動を判定するためのものであり、比較の結果、差分値Ｄが所定のしきい値ｔｈ２よりも大きい場合には日照変動が生じたものとみなしてステップＳＴ２１０に進み、しきい値ｔｈ２以下の場合には日照変動が生じていないものとみなして直接ステップＳＴ２０６に進む。ステップＳＴ２１０では当該障害物の画像情報を更新し、更新後の画像情報を障害物情報格納手段５に格納した後、ステップＳＴ２０６に進む。なお、上記画像情報の更新は、例えば次式を用いて行われる。
Ｏｂｓ（ｘ，ｙ）’＝Ｏｂｓ（ｘ，ｙ）＋｛Ｉｎ（ｘ，ｙ）−Ｏｂｓ（ｘ，ｙ）｝・Δｄ
ただし、上式における、Ｉｎ（ｘ，ｙ）は入力画像における座標ｘ，ｙの輝度値、Ｏｂｓ（ｘ，ｙ）は障害物情報格納手段５に保存した画像における座標ｘ，ｙの輝度値、Ｏｂｓ（ｘ，ｙ）’は更新後の障害物画像情報、Δｄは予め定めた所定値である。
【００３５】
以上のように、この実施の形態２によれば、障害物存在判定手段６は入力画像に応じて障害物情報格納手段５の画像情報を更新しているため、日照変動などによる輝度変動の影響を極力抑えることができ、精度よく人手によらず自動的に障害物発報を解除することができるという効果が得られる。
【００３６】
実施の形態３．
また、上記実施の形態２では、障害物情報格納手段５の画像情報を入力画像に応じて更新するようにしたものについて説明したが、障害物を遮蔽する物体が存在する場合には更新を行わないようにすることも可能である。この実施の形態３はそのような障害物検出装置に関するものであり、その構成を図７に示す。図において、１は画像入力手段、２は動体検出手段、３は動体追跡手段、４は物体停止判定手段、５は障害物情報格納手段、７は発報解除手段であり、図１に同一符号を付して示した実施の形態２のそれらと同一のものである。１０００は障害物が他の物体に遮蔽されたか否かを判定する遮蔽判定手段である。６は障害物情報格納手段５に保持された情報を用いて当該障害物領域に障害物が存在するか否かを判定する、図１に同一符号を付して示した実施の形態２のそれに相当する障害物存在判定手段であるが、上記遮蔽判定手段１０００において障害物が他の物体で遮蔽されていることが検出された場合には、障害物情報格納手段５が保持している当該位置の画像情報の更新を行わない点で、実施の形態２におけるそれとは異なっている。
【００３７】
次に動作について説明する。
ここで、図８は遮蔽判定手段１０００の動作を説明するためのフローチャートである。以下、この実施の形態３における遮蔽判定手段１０００の動作を図８のフローチャートに基づいて説明する。まず、ステップＳＴ３００において、障害物情報格納手段５から登録されている障害物領域を１つ選択し、動体追跡手段３の検出した動体領域と領域が重なるか否かについて判定する。なお、この領域の重なりの判定法としては、例えば画像間差分２値画像の障害物領域に対応する各画素値に固定値２５５を加算し、２５６以上の輝度値となる領域が存在する場合には領域が重なると判定する。次にステップＳＴ３０１において、この領域の重なりの判定結果をもとに遮蔽があるか否かを判定し、当該領域の障害物を遮蔽する物体が存在する場合にはステップＳＴ３０２へ進み、遮蔽する物体が存在しない場合にはステップＳＴ３０３へ進む。ステップＳＴ３０２では障害物存在判定手段６に対して、障害物情報格納手段５への障害物画像情報の更新停止を指令し、ステップＳＴ３０３では障害物存在判定手段６に対して、障害物情報格納手段５への障害物画像情報の更新を指令する。
【００３８】
障害物存在判定手段６はこの遮蔽判定手段１０００から障害物画像情報の更新指令があった場合には、実施の形態２の場合と同一の動作を行って、障害物情報格納手段５に保持されている障害物画像情報を更新し、障害物画像情報更新停止指令があった場合には、障害物情報格納手段５に保持されている障害物画像情報の更新は行わない。
【００３９】
以上のように、この実施の形態３によれば、他の物体に障害物が遮られた場合には、障害物存在判定手段６は入力画像に応じて画像情報を更新しないようしているため、他の物体が障害物を長時間にわたって遮った後、遮蔽物体が移動したような場合でも、障害物が存在するか否かの確認を確実に行うことができるという効果が得られる。
【００４０】
実施の形態４．
なお、上記各実施の形態では、障害物情報格納手段５に保持される画像情報を輝度値とした場合について説明したが、入力画像のエッジ強度値とするようにしてもよい。この実施の形態４はそのような障害物検出装置に関するものであり、その構成を図９に示す。図において、１は画像入力手段、２は動体検出手段、３は動体追跡手段、４は物体停止判定手段、６は障害物存在判定手段、７は発報解除手段であり、図１に同一符号を付して示した実施の形態１のそれらと同一のものである。１００１は画像入力手段１からの入力画像からそのエッジ画像を生成するエッジ画像生成手段である。５は物体停止判定手段４が動体が停止し障害物と判定した障害物の位置および大きさと、エッジ画像生成手段１００１が出力する障害物領域に対応するエッジ画像を格納する点で、図１に同一符号を付して示した実施の形態１のそれとは異なる障害物情報格納手段である。
【００４１】
次に動作について説明する。
ここで、図１０および図１１はこの実施の形態４の動作を説明するためのフローチャートである。なお、これら図１０および図１１に示す処理は並行して動作するものであり、図１０は動体検出と障害物検出の処理を、図１１は障害物が存在するか否かの判定の処理をそれぞれ示している。まず、図１０のフローチャートを用いてエッジ画像生成手段１００１の動作を中心に、画像入力手段１、動体検出手段２、動体追跡手段３、物体停止判定手段４、障害物情報格納手段５の動作を説明する。
【００４２】
画像入力手段１、動体検出手段２、動体追跡手段３、および物体停止判定手段４は、図４のフローチャートに示した実施の形態１におけるステップＳＴ１００〜ステップＳＴ１０６と同様に、ステップＳＴ４００〜ステップＳＴ４０６において、画像の入力、画像間の差分絶対値の演算、動体領域の抽出、動体位置の保存、動体間の対応づけ、動体の速度と移動方向の算出、動体の速度判定の処理を行う。次にステップＳＴ４０７において、エッジ画像生成手段１００１が入力画像を微分してエッジ画像を生成する。なお、この微分法としては、例えば水平方向（走査線方向）に隣接する各画素の画素値の差分絶対値を、その点における微分値とする方法を用いる。次にステップＳＴ４０８に進み、障害物情報格納手段５が当該領域を障害物としてこの領域のエッジ画像、および物体の位置・大きさ等を保存すると共に、停止物体を障害物として発報する。
【００４３】
次に図１１のフローチャートを用いて、障害物存在判定手段６と発報解除手段７の動作を説明する。
この図１１のフローチャートに示す動作は、障害物がありとされている時に所定時間間隔で実行されるものである。障害物存在判定手段６はステップＳＴ４５０において、何番目の障害物を処理しているか示す変数ｉを１に初期化し、ステップＳＴ４５１でｉ番目の障害物の位置・大きさ・画像情報を障害物情報格納手段５から取り出した後、変数ｉをインクリメントする。次に、ステップＳＴ４５２において、当該障害物位置に対応する入力画像から画像特徴（この実施の形態４では、エッジ画像生成手段１００１で得たエッジ画像のエッジ強度値）を抽出する。次にステップＳＴ４５３において、障害物情報格納手段５から取り出したｉ番目のエッジ画像と、入力画像からエッジ画像生成手段１００１で生成したエッジ画像とのエッジ強度値の差分値Ｄ１を求める。この差分値Ｄ１は、例えば次式を用いて求める。
【００４４】
【数２】
0003833424.tif 000003
【００４５】
ただし、上式における、Ｉｎ（ｘ，ｙ）は入力画像における座標ｘ，ｙのエッジ強度値、Ｏｂｓ（ｘ，ｙ）は障害物情報格納手段５に保存した画像における座標ｘ，ｙのエッジ強度値、Ｘ，Ｙは障害物座標、ｗ，ｈは障害物の幅および高さである。
【００４６】
次にステップＳＴ４５４において、上記差分値Ｄ１と予め定めたしきい値ｔｈとの比較を行う。その結果、差分値Ｄ１が所定のしきい値ｔｈより大きい場合には、当該領域から障害物が消失したものと判定してステップＳＴ４５５へ進み、しきい値ｔｈ以下の場合には障害物が存在するものと判定して、直接ステップＳＴ４５６に進む。ステップＳＴ４５５では障害物情報格納手段５から当該領域の障害物情報を削除してステップＳＴ４５６に進む。ステップＳＴ４５６では全障害物候補についての実行が終了したか否かを判定し、全障害物候補について上記処理の実行が完了した場合にはステップＳＴ４５７へ進み、終了していない場合にはステップＳＴ４５１へ戻って上記処理を繰り返す。ステップＳＴ４５７では障害物情報格納手段５に障害物候補がまだあるか否かの判定を行い、障害物候補がない場合にはステップＳＴ４５８に進む。ステップＳＴ４５８では発報解除手段７が障害物発報を解除した後、この一連の処理を終了する。一方、障害物があると判定された場合には、障害物発報を継続したままこの一連の処理を終了する。
【００４７】
なお、上記説明では画像情報をエッジ強度値としたものを示したが、障害物情報格納手段５と入力画像をそのエッジ方向で比較したものを用いてもよい。また上記説明では、微分法として水平微分を用いたが、前述の文献「画像の処理と認識」（昭晃堂、安居院  猛、長尾  智晴  共著、ＰＰ．３５−３７）に開示されている、公知のソーベルフィルターを用いてもよい。さらに、多値のエッジ強度を２値化して、その２値画像で差分を取るようにしてもよい。
【００４８】
以上のように、この実施の形態４によれば、障害物存在判定手段６は障害物領域のエッジ強度に基づいて存在するか否かを判定するようにしたため、日照変動等によって障害物領域の輝度値が変化した場合でも、精度よく障害物が存在するか否かを判定することができるという効果が得られる。
【００４９】
実施の形態５．
図１２はこの発明の実施の形態５による障害物検出装置の構成を示す構成図である。図において、１は画像入力手段、２は動体検出手段、３は動体追跡手段、４は物体停止判定手段、５は障害物情報格納手段、７は発報解除手段であり、これらは図１に同一符号を付して示した実施の形態１におけるそれらと同一のものである。また、１００２は画像入力手段１にて入力された入力画像から、動体が写っていない路面画像を蓄積する路面画像蓄積手段である。６は当該障害物領域に障害物が存在するか否かの判定を、障害物情報格納手段５に保存された情報と路面画像蓄積手段１００２に格納された該領域の画像情報を用いて行っている点で、図１に同一符号を付して示した実施の形態１のそれとは異なった障害物存在判定手段である。
【００５０】
次に動作について説明する。
ここで、図１３は路面画像蓄積手段１００２の動作を説明するためのフローチャートであり、図１４は障害物存在判定手段６と発報解除手段７の動作を説明するためのフローチャートである。まず、画像入力手段１、動体検出手段２、路面画像蓄積手段１００２、動体追跡手段３、物体停止判定手段４、障害物情報格納手段５の動作を、図１３のフローチャートを用いて説明する。
【００５１】
この図１３のフローチャートにおけるステップＳＴ５００〜ステップＳＴ５０３では、図４に示した実施の形態１におけるフローチャートのステップＳＴ１００〜ステップＳＴ１０３と同一の、画像の入力、画像間の差分絶対値の演算、動体領域の抽出、動体位置の保存の処理が実行される。ステップＳＴ５０３で動体追跡手段３により動体位置が保存されると、次にステップＳＴ５０４において、路面画像蓄積手段１００２は画像入力手段１で入力した画像から、動体検出手段２で検出した動体領域および障害物領域を除いた画像である路面部分の画像を更新し蓄積する。なお、この路面画像の更新は次式を用いて行われる。
Ｒ（ｘ，ｙ）’＝｛Ｉｎ（ｘ，ｙ）＋Ｒ（ｘ，ｙ）｝／２
ただし、上式における、Ｒ（ｘ，ｙ）’は更新後の座標（ｘ，ｙ）における路面画像輝度値、Ｉｎ（ｘ，ｙ）は動体領域を除いた座標（ｘ，ｙ）の入力画像の輝度値、Ｒ（ｘ，ｙ）は現在の路面画像輝度値である。
【００５２】
路面画像の更新、蓄積が終了すると処理はステップＳＴ５０５に進む。このステップＳＴ５０５〜ステップＳＴ５０８においては、図４に示した実施の形態１のフローチャートにおけるステップＳＴ１０４〜ステップＳＴ１０７と同様に、動体間の対応づけ、動体の速度と移動方向の算出、動体の速度判定、画像情報の保存と発報の処理が実行される。
【００５３】
次に、図１４のフローチャートを用いて障害物存在判定手段６と、発報解除手段７の動作を説明する。
この図１４のフローチャートに示す動作は、障害物がありとされている時に障害物存在判定手段６によって、所定の時間間隔で実行されるものである。障害物存在判定手段６はステップＳＴ５５０においてまず、何番目の障害物を処理しているか示す変数ｉを１に初期化し、ステップＳＴ５５１、ステップＳＴ５５２でｉ番目の障害物を選択して、その位置・大きさ・画像情報を障害物情報格納手段５から取り出し、その路面画像の情報を路面画像蓄積手段１００２から取り出す。次にステップＳＴ５５３において、このｉ番目の障害物に対応する入力画像の画像情報と路面画像の画像情報の差分値Ｄ２を求める。なお、この差分値Ｄ２は、例えば次式を用いて求める。
【００５４】
【数３】
0003833424.tif 000004
【００５５】
ただし、上式における、Ｉｎ（ｘ，ｙ）は入力画像における座標ｘ，ｙの輝度値、Ｏｂｓ（ｘ，ｙ）は障害物情報格納手段５に保存した画像における座標ｘ，ｙの輝度値、Ｒ（ｘ，ｙ）は路面画像蓄積手段１００２に保存した画像における座標ｘ，ｙの輝度値、Ｘ，Ｙは障害物座標、ｗ，ｈは障害物の幅・高さである。
【００５６】
次にステップＳＴ５５４において、この差分値Ｄ２を所定のしきい値ｔｈ（例えば０）と比較する。比較の結果、差分値Ｄ２が０より大きい場合には、入力画像が路面画像に類似していることから、当該領域より障害物が消失したとものと判定してステップＳＴ５５５へ進む。ステップＳＴ５５５では障害物情報格納手段５から当該領域の障害物候補の情報を削除し、その後ステップＳＴ５５６に進む。一方、差分値Ｄ２が負値の場合には、入力画像が障害物画像と類似していることから、障害物が存在すると判定して直接ステップＳＴ５５６へ進む。ステップＳＴ５５６では全障害物候補について処理が終了したか否かを判定し、全障害物について上記処理の実行を終了した場合にはステップＳＴ５５７へ進み、終了していない場合にはステップＳＴ５５１へ戻って上記処理を繰り返す。ステップＳＴ５５７では障害情報格納手段５に障害物発報すべき障害物情報がなくなったか否かの判定を行う。当該障害物情報がなくなったと判定された場合には、ステップＳＴ５５８において発報解除手段７が障害物発報を解除した後、この一連の処理を終了する。一方、当該障害物情報がまだ存在すると判定された場合には、障害物発報の解除を行わずにそのままこの一連の処理を終了する。
【００５７】
なお、上記説明では、障害物領域と入力画像および路面画像との輝度値の差分値Ｄ２を求めて障害物が存在するか判定するものを示したが、実施の形態４におけるエッジ画像生成手段１００１を用いて生成したエッジ画像より、そのエッジ強度の差分値を求めて判定するようにしてもよい。また、次式に示すエッジ強度の比率（エッジ比率）Ｄ２’を求め、このエッジ比率Ｄ２’が１に近い時に障害物が消失したと判定するようにしてもよい。
【００５８】
【数４】
0003833424.tif 000005
【００５９】
ただし、上式における、Ｉｎ’（ｘ，ｙ）は入力画像における座標ｘ，ｙのエッジ強度値、Ｒ’（ｘ，ｙ）は路面画像蓄積手段１００２に保存した画像からエッジ抽出した画像における座標ｘ，ｙのエッジ強度値、Ｘ，Ｙは障害物座標、ｗ，ｈは障害物の幅・高さである。
【００６０】
以上のように、この実施の形態５によれば、障害物存在判定手段６により障害物を監視しているため、障害物が撤去されたり、障害物を遮って移動するような物体がある場合にも障害物が消失したことを判定でき、人手によらず自動的に障害物発報を解除できるという効果が得られる。
【００６１】
実施の形態６．
図１５はこの発明の実施の形態６による障害物検出装置の構成を示す構成図である。図において、１は画像入力手段、２は動体検出手段、３は動体追跡手段、４は物体停止判定手段、５は障害物情報格納手段、７は発報解除手段であり、これらは図１に同一符号を付して示した実施の形態１におけるそれらと同一のものである。また、１００３は図示しないカメラから障害物が存在する位置までの距離を計測して、障害物位置の距離分布を求める距離計測手段である。６は当該障害物領域に障害物が存在するか否かの判定を、この距離計測手段１００３にて得られた距離分布を用いて行っている点で、図１に同一符号を付して示した実施の形態１のそれとは異なった障害物存在判定手段である。
【００６２】
また、図１６は上記距離計測手段１００３の動作を説明するための説明図である。図において３０はカメラからの距離が計測される物体であり、３１は障害物領域に投影されたスリット光である。
【００６３】
次に動作について説明する。
ここで、図１７はこの実施の形態６の動作を説明するためのフローチャートであり、以下、この図１７のフローチャートを用いて距離計測手段１００３と、障害物存在判定手段６と、発報解除手段７の動作を説明する。障害物存在判定手段６は上記各実施の形態の場合と同様に、障害物があると判定されている時にある時間間隔で実行される。まず、ステップＳＴ６００において、障害物存在判定手段６より距離計測手段１００３に障害物領域の座標を出力して当該障害物領域にスリット光３１を照射させる。
【００６４】
次にステップＳＴ６０１において、距離計測手段１００３は、例えば文献「画像処理工学」（電機大出版局、村上  伸一  著、ＰＰ．１０５）に開示されている周知の繰り返しパターン投影法を用いて、カメラから障害物までの距離情報を求める。物体（障害物）が存在する場合にスリット光３１を照射すると、そのスリット光３１が物体３０の表面に投影されるため、物体３０が存在する点で折れ曲がることになる。距離計測手段１００３は当該障害物領域の入力画像より、このスリット光３１を追跡して、折れ曲がりがあるか否かを判定する。この追跡方法には、例えば文献「コンピュータ画像処理入門」（総研出版、田村  秀行  監修、ＰＰ．８３−８５）に開示されている周知の境界線追跡法を用いる。距離計測手段１００３はこのようにして、繰り返しパターン投影法により距離情報を計測し、境界線追跡法にて折れ曲がりの有無を判定することで、障害物位置の距離分布を得ている。
【００６５】
障害物存在判定手段６はこのようにして得られた障害物位置の距離分布に従って障害物存在判定を行う。すなわち、次にステップＳＴ６０２において、輪郭追跡時に所定以上の偏移がある場合には、障害物となる物体が存在すると判定して物体存在フラグを１とし、それ以外の場合には当該物体存在フラグを０とする。次にステップＳＴ６０３において、障害物存在判定手段６は障害物となる物体が存在しなければ、障害物情報格納手段５から当該領域の障害物情報を削除し、発報解除手段７は障害物発報を解除する。
【００６６】
以上のように、この実施の形態６によれば、障害物領域のみにおいて距離分布を検出することで障害物の存在判定を行うようにしたので、より高い精度で障害物の存在判定を行うことができ、また距離計測範囲が障害物位置のみに限定されているため、高速に処理することができるなどの効果が得られる。
【００６７】
実施の形態７．
図１８はこの発明の実施の形態７による障害物検出装置の構成を示す構成図である。図において、１は図示しないカメラからの画像（画素値を０〜２５５）を入力する画像入力手段、２は入力画像から動体を検出する動体検出手段、３は当該動体を追跡し、動体の位置、速度、移動方向を出力する動体追跡手段、４はこの動体追跡手段３の動体追跡結果から動体が停止したか否かを判断し、停止した物体を障害物と判定する物体停止判定手段であり、５は障害物と判定された物体領域の物体位置、大きさ、および画像情報を蓄積する障害物情報格納手段である。１００４は動体追跡手段３の動体追跡結果から動体が車両であるか否かを判定する車両判定手段であり、１００５はこの車両判定手段１００４で車両と判定された動体について、車両が障害物を回避する動作を行ったか否かを、動体追跡手段３が出力する移動量と移動方向に基づいて判定する物体回避動作判定手段である。６は障害物情報格納手段５に保存された情報とこの物体回避動作判定手段１００５の回避動作の大きさを用いて、当該障害物領域に障害物が存在するか否かを判定する障害物存在判定手段であり、７はこの障害物存在判定手段６にて障害物が消失したと判定した場合に障害物発報を自動的に解除する発報解除手段である。
【００６８】
次に動作について説明する。
ここで、図１９および図２０はこの実施の形態７の動作を説明するためのフローチャートである。なお、これら図１９および図２０に示す処理は並行して動作するものであり、図１９は動体検出と障害物検出の処理を、図２０は障害物が存在するか否かの判定の処理をそれぞれ示している。まず、図１９のフローチャートを用いて画像入力手段１、動体検出手段２、動体追跡手段３、物体停止判定手段４、車両判定手段１００４、物体回避動作判定手段１００５、障害物情報格納手段５の動作を説明する。
【００６９】
この図１９のフローチャートにおけるステップＳＴ７００〜ステップＳＴ７０５では、図４のフローチャートに示した実施の形態１におけるステップＳＴ１００〜ステップＳＴ１０５と同様に、画像の入力、画像間の差分絶対値の演算、動体領域の抽出、動体位置の保存、動体間の対応づけ、動体の速度と移動方向の算出の処理が行われる。次にステップＳＴ７０６において、車両判定手段１００４は動体追跡手段３の動体追跡結果を用いて動体が車両か否かを判定し、車両とされた場合には動体追跡結果を物体回避動作判定手段１００５に出力する。なお、上記車両判定手段１００４では、例えば動体面積が所定範囲内であり、かつ移動量が所定範囲内であるものを車両とする。物体回避動作判定手段１００５はステップＳＴ７０７において、動体追跡手段３からの動体追跡結果を用いて回避動作量を求め、その回避動作量が所定のしきい値より大きい場合に回避動作ありと判定する。なお、この回避動作量は、動体追跡手段３によりＸｔ，Ｘｔ−１，…，Ｘｔ−（ｎ−１）のｎ点で追跡されているものとすると、次式によって求めることかできる。
【００７０】
【数５】
0003833424.tif 000006
【００７１】
ただし、上式における，θｉは点Ｘｉ−１と点Ｘｉとを結ぶ直線と、点Ｘｉと点Ｘｉ＋１とを結ぶ直線のなす角度、ａｉは点Ｘｉ−１と点Ｘｉの間の距離と、点Ｘｉと点Ｘｉ＋１の間の距離の差分（移動量変化）である。
【００７２】
このステップＳＴ７０７による回避動作量の算出が終了すると、処理はステップＳＴ７０８に進む。一方、ステップＳＴ７０６で動体が車両でないと判定された場合には直接このステップＳＴ７０８に進む。ステップＳＴ７０８では、物体の速度が所定範囲内か否かの判定を行う。すなわち、上記対応づけられた領域間の距離が所定値より小さいか、対応づける動体がない場合には当該動体が停止したと判断してステップＳＴ７０９へ進み、それ以外は停止していないと判断してステップＳＴ７００へ処理を戻す。ステップＳＴ７０９では障害物存在判定手段６がその停止物体を障害物として発報すると共に、障害物情報格納手段５がその障害物とされた領域の画像情報、および物体の位置、大きさ等を保存する。
【００７３】
次に、図２０のフローチャートを用いて障害物存在判定手段６と、発報解除手段７の動作を説明する。
この図２０のフローチャートに示す動作は、障害物がありとされている時に所定の時間間隔で実行するものである。まずステップＳＴ７５０において、障害物存在判定手段６がある障害物の近傍領域で回避動作量を所定のしきい値ｔｈと比較する。その結果、回避動作量がこのしきい値ｔｈより小さい場合、障害物がなくなったと判断してステップＳＴ７５１に進んで、障害物情報格納手段５から当該領域の障害物候補の情報を削除する。次にステップＳＴ７５２において、発報解除手段７による障害物発報の自動解除を行い、一連の処理を終了する。なお、ステップＳＴ７５０にて回避動作量がしきい値以上であると判定された場合には、発報解除手段７による障害物発報の解除を行わずに、そのまま一連の処理を終了する。
【００７４】
以上のように、この実施の形態７によれば、障害物存在判定手段６は車両の回避動作によって障害物が存在するか否かを判定しているため、時刻経過に伴って障害物が背景と同程度の輝度になる場合にも、障害物が消失したことを判定することができ、人手によらず自動的に障害物発報の解除が可能になるという効果が得られる。
【００７５】
実施の形態８．
図２１はこの発明の実施の形態８による障害物検出装置の構成を示す構成図である。図において、１はカメラからの画像を入力する画像入力手段、２は入力画像から動体を検出する動体検出手段、３は当該動体を追跡し、動体の位置、速度、移動方向を出力する動体追跡手段、４はこの動体追跡手段３の動体追跡結果から動体が停止したか否かを判断し、停止した物体を障害物と判定する物体停止判定手段であり、５は障害物と判定された物体領域の物体位置、大きさ、および画像情報を蓄積する障害物情報格納手段、６は障害物情報格納手段５に保存された情報を用いて当該障害物領域に障害物が存在するか否かを判定する障害物存在判定手段、７はこの障害物存在判定手段６にて障害物が消失したと判定した場合に障害物発報を自動解除する発報解除手段である。また、１００６は障害物の位置と大きさより障害物の危険度を算出する危険度算出手段であり、１００７はこの危険度算出手段１００６が出力する危険度に応じて警告を表示する警告表示装置である。
【００７６】
次に動作について説明する。
なお、ここでは危険度算出手段１００６と警告表示装置１００７についてのみその動作を説明し、他の部分の動作については上記各実施の形態の場合と同様であるため、その説明は省略する。ここで、危険度算出手段１００６において、障害物情報格納手段５に格納された障害物の位置と大きさの情報から危険度１を求める場合、次式が用いられる。
危険度１＝Ｓ・｜ｘ − 車線中央ｘ｜
ただし、上式における、Ｓは障害物の大きさ、ｘは障害物のｘ座標、車線中央ｘは車線中央のＸ座標である。なお、この車線中央の位置は予め設定した値が用いられる。
【００７７】
上式によって得られた危険度１は警告表示装置１００７に送られ、警告表示装置１００７はその危険度１に応じた警告文を表示する。例えば、表示する警告文を、危険度が所定のしきい値以上の場合には“危険！障害物あり”とし、所定のしきい値より小さい場合には“障害物あり！徐行せよ”とする。
【００７８】
なお、上記説明では、危険度１に応じて警告文の内容を変更して表示するようにしたものを示したが、さらに、警告表示装置１００７の表示色を危険度１に応じて変更するようにしてもよい。例えば、危険度１が所定のしきい値以上の場合には、警告文の表示色を赤色として“危険！障害物あり”と表示し、所定のしきい値より小さい場合には、表示色を黄色として“障害物あり！徐行せよ”などと表示する。
【００７９】
以上のように、この実施の形態８によれば、危険度算出手段１００６は障害物の位置および大きさに応じた警告文を警告表示装置１００７に表示するようにしたので、運転者に適切な行動を指示することができ、事故を抑制することが可能になるという効果が得られる。
【００８０】
実施の形態９．
なお、上記実施の形態８では、危険度算出手段が障害物の位置と大きさに基づいて危険度の算出を行うものについて説明したが、物体回避動作判定手段で得られる車両の回避動作の大きさに基づいて危険度を算出するようにしてもよい。図２２はそのようなこの発明の実施の形態９による障害物検出装置の構成を示す構成図である。
【００８１】
図において、１はカメラからの画像を入力する画像入力手段、２は入力画像から動体を検出する動体検出手段、３は動体を追跡し、動体の位置、速度、移動方向を出力する動体追跡手段であり、４は動体追跡手段３の動体追跡結果から動体が停止したか否かの判断を行い、停止した物体を障害物と判定する物体停止判定手段である。１００４は動体追跡手段３の動体追跡結果から動体が車両であるか否かを判定する車両判定手段であり、１００５は動体追跡手段３から得られる動体追跡結果より回避動作量を算出する物体回避動作判定手段である。５は障害物とされた物体領域の物体位置、大きさ、および画像情報を蓄積する障害物情報格納手段、６はこの障害物情報格納手段５に保存された情報を用いて、当該障害物領域に障害物が存在するか否かを判定する障害物存在判定手段であり、７はこの障害物存在判定手段６にて障害物が消失したと判定された場合に障害物発報を自動解除する発報解除手段である。１００６は物体回避動作判定手段１００５の出力する車両の回避動作の大きさに基づいて危険度の計算を行う危険度算出手段であり、１００７はこの危険度算出手段１００６が出力する危険度に応じた警告を表示する警告表示装置である。
【００８２】
次に動作について説明する。
なお、ここでは危険度算出手段１００６についてのみ、その動作を説明し、他の部分についてはその説明を省略する。この危険度算出定手段１００６は、物体回避動作判定手段１００５の出力する車両の回避動作量より、次式を用いて危険度２を求める。
危険度２＝α・回避動作量＋β
ただし、上式における、回避動作量は実施の形態７で記述した物体回避動作判定手段１００５で得られる値、α，βは予め設定した定数である。
【００８３】
この危険度算出手段１００６で算出された危険度２は警告表示装置１００７に送られ、警告表示装置１００７はその危険度２に応じた警告文の表示を行う。なお、警告文の表示形態は実施の形態８で説明したものと同様である。
【００８４】
以上のように、この実施の形態９によれば、危険度算出手段１００６は物体回避動作判定手段１００５が出力する車両の回避動作の大きさに応じて警告文を表示するようにしたので、運転者に適切な行動を指示することができ、事故を抑制することができるという効果が得られる。
【００８５】
実施の形態１０．
また、上記実施の形態９では、危険度算出手段が回避動作判定手段で得られる車両の回避動作の大きさのみに基づいて危険度を算出するようにした場合について説明したが、この車両の回避動作の大きさと、障害物の位置および大きさに基づいて危険度３の算出を行うようにしてもよい。なお、そのようなこの発明の実施の形態１０による障害物検出装置も、実施の形態９の場合と同様に、図２２に示す構成となっているため、それについての説明は省略する。
【００８６】
次に動作について説明する。
なお、ここでは危険度算出手段１００６についてのみを説明し、他の部分の動作についてはその説明を省略する。この危険度算出手段１００６は、物体回避動作判定手段１００５の出力する車両の回避動作量と、物体停止判定手段４からの障害物の位置と大きさより、次式を用いて危険度３を求める。
危険度３＝ａ・（Ｓ・｜ｘ−車線中央ｘ｜）＋ｂ・（α・回避動作量＋β）ただし、上式における、Ｓは障害物の大きさ、ｘは障害物の位置（ｘ座標）、車線中央ｘは車線中央のＸ座標であり、回避動作量は物体回避動作判定手段１００５で得られる値、α，β，ａ，ｂは予め設定した定数である。なお、この車線中央の位置は予め設定した値が用いられる。
【００８７】
この危険度算出手段１００６で算出された危険度３は警告表示装置１００７に送られ、警告表示装置１００７はその危険度３に応じた警告文の表示を行う。なお、警告文の表示形態は実施の形態８の場合と同様である。
【００８８】
以上のように、この実施の形態１０によれば、危険度算出手段１００６は障害物情報格納手段５に格納された障害物の位置、大きさ、および物体回避動作判定手段１００５が出力する車両の回避動作の大きさに応じて警告文を表示するようにしたので、運転者により適切な行動を指示することができ、事故を抑制することができるという効果が得られる。
【００８９】
【発明の効果】
以上のように、この発明によれば、障害物存在判定手段にて障害物情報格納手段に保持された画像情報と入力画像との比較に基づいて、その位置における障害物の存在を判定して、障害物なしと判定された場合には発報解除手段にて、障害物発報を解除するように構成したので、障害物が撤去されたり、障害物を遮って移動する物体があるような場合でも、人手によらず障害物発報を自動的に解除可能な障害物検出装置が得られる効果がある。
【００９０】
この発明によれば、障害物情報格納手段に保持する障害物画像情報を、入力画像の障害物領域の画像情報に基づいて更新するように構成したので、輝度変動の影響を極力抑えることが可能となり、障害物発報を精度よく自動的に解除できるという効果がある。
【００９１】
この発明によれば、他の物体で障害物が遮蔽されたことが検出されると、障害物情報格納手段の保持する障害物画像情報の更新を停止するように構成したので、障害物を長時間にわたって遮っていた遮蔽物体が移動したような場合でも、障害物の存在の確認を確実に行うことが可能になるという効果がある。
【００９２】
この発明によれば、停止物体の存在を、エッジ画像のエッジ分布に基づいて判定するように構成したので、障害物領域の輝度値が変化した場合でも、障害物の存在を精度よく判定することが可能になるという効果がある。
【００９３】
この発明によれば、路面画像蓄積手段に蓄積された移動している物体の写っていない路面画像と入力画像との比較に基づいて、障害物存在の判定を行うように構成したので、障害物が撤去されたり、障害物を遮って移動する物体があるような場合でも、人手によらず障害物発報を自動的に解除可能な障害物検出装置が得られる効果がある。
【００９４】
この発明によれば、距離計測手段にて計測された当該障害物の位置の距離分布に基づいて、障害物存在の判定を行うように構成したので、障害物の存在判定を高精度で行うことができ、その処理も高速化できるなどの効果がある。
【００９５】
この発明によれば、車両と判定された動体が障害物の回避動作を行ったか否かを判定し、回避動作が行われない場合には障害物発報を解除するように構成したので、時刻経過に伴って障害物が背景と同程度の輝度になる場合でも障害物の消失を判定することができ、障害物発報が自動的に解除可能になるという効果がある。
【００９６】
この発明によれば、障害物の位置と大きさより算出された障害物の危険度に基づいて、警告文の表示を変更するように構成したので、運転者に適切な行動を指示することができ、事故の抑制が可能になるという効果がある。
【００９７】
この発明によれば、危険度の計算を車両の回避動作の大きさに基づいて行うように構成したので、車両の回避動作の大きさに応じて運転者に適切な行動を指示することができ、事故の抑制が可能になるという効果がある。
【００９８】
この発明によれば、危険度の計算を、障害物の位置、大きさ、および車両の回避動作の大きさに基づいて行うように構成したので、運転者により適切な行動を指示することができ、事故の抑制が可能になるという効果がある。
【図面の簡単な説明】
【図１】  この発明の実施の形態１、および実施の形態２による障害物検出装置の構成を示す構成図である。
【図２】  実施の形態１における動体検出手段を説明するための説明図である。
【図３】  実施の形態１における動体追跡手段を説明するための説明図である。
【図４】  実施の形態１における動体と障害物の検出動作を示すフローチャートである。
【図５】  実施の形態１における障害物の存在判定動作を示すフローチャートである。
【図６】  実施の形態２における障害物の存在判定動作を示すフローチャートである。
【図７】  この発明の実施の形態３による障害物検出装置の構成を示す構成図である。
【図８】  実施の形態３における障害物の遮蔽判定動作を示すフローチャートである。
【図９】  この発明の実施の形態４による障害物検出装置の構成を示す構成図である。
【図１０】  実施の形態４における動体と障害物の検出動作を示すフローチャートである。
【図１１】  実施の形態４における障害物の存在判定動作を示すフローチャートである。
【図１２】  この発明の実施の形態５による障害物検出装置の構成を示す構成図である。
【図１３】  実施の形態５における動体と障害物の検出動作を示すフローチャートである。
【図１４】  実施の形態５における障害物の存在判定動作を示すフローチャートである。
【図１５】  この発明の実施の形態６による障害物検出装置の構成を示す構成図である。
【図１６】  実施の形態６における距離計測動作を説明するための説明図である。
【図１７】  実施の形態６の動作を示すフローチャートである。
【図１８】  この発明の実施の形態７による障害物検出装置の構成を示す構成図である。
【図１９】  実施の形態７における動体と障害物の検出動作を示すフローチャートである。
【図２０】  実施の形態７における障害物の存在判定動作を示すフローチャートである。
【図２１】  この発明の実施の形態８による障害物検出装置の構成を示す構成図である。
【図２２】  この発明の実施の形態９、および実施の形態１０による障害物検出装置の構成を示す構成図である。
【図２３】  従来の障害物検出装置の構成を示す構成図である。
【図２４】  従来の障害物検出装置における動体予測領域を説明するための説明図である。
【図２５】  従来の障害物検出装置の動作を示すフローチャートである。
【符号の説明】
１  画像入力手段、２  動体検出手段、３  動体追跡手段、４  物体停止判定手段、５  障害物情報格納手段、６  障害物存在判定手段、７  発報解除手段、１０  時刻ｔ−１における撮像画像、１１  時刻ｔにおける撮像画像、１２  差分２値画像、１３  道路、１４  時刻ｔ−１における移動する物体（動体）、１５  移動方向を示す矢印、１６  時刻ｔにおける移動する物体（動体）、１７  移動領域、２０  道路、２１  動体の重心位置、２２  時刻ｔ−１における物体の重心位置、２３  時刻ｔにおける物体の重心位置、３０  物体、３１  スリット光、１０００  遮蔽判定手段、１１０１  エッジ画像生成手段、１００２  路面画像蓄積手段、１００３  距離計測手段、１００４  車両判定手段、１００５物体回避動作判定手段、１００６  危険度算出手段、１００７  警告表示装置。
【図１】
0003833424.tif 000007
【図２】
0003833424.tif 000008
【図３】
0003833424.tif 000009
【図４】
0003833424.tif 000010
【図５】
0003833424.tif 000011
【図６】
0003833424.tif 000012
【図７】
0003833424.tif 000013
【図８】
0003833424.tif 000014
【図９】
0003833424.tif 000015
【図１０】
0003833424.tif 000016
【図１１】
0003833424.tif 000017
【図１２】
0003833424.tif 000018
【図１３】
0003833424.tif 000019
【図１４】
0003833424.tif 000020
【図１５】
0003833424.tif 000021
【図１６】
0003833424.tif 000022
【図１７】
0003833424.tif 000023
【図１８】
0003833424.tif 000024
【図１９】
0003833424.tif 000025
【図２０】
0003833424.tif 000026
【図２１】
0003833424.tif 000027
【図２２】
0003833424.tif 000028
【図２３】
0003833424.tif 000029
【図２４】
0003833424.tif 000030
【図２５】
0003833424.tif 000031