(57)【特許請求の範囲】
【請求項１】
道路上の状況を観測するために道路に設置された複数種類のセンサからの障害物検出情報に基づき障害物を検出する障害物検出装置であって、
道路上に設置された複数種類のセンサと、
前記複数のセンサ種別毎に独立して障害物を探索した障害物検出情報が入力される入力手段と、
前記入力手段にて、前記複数のセンサ種別間で障害物の検出において、あるセンサ種別では障害物を検出し、該センサ種別以外のセンサ種別では障害物を検出しなかった場合、障害物を検出しなかったセンサ種別に対して障害物を再探索させる検出処理手段と、
前記検出処理手段の結果により障害物があると判断した場合、前記複数のセンサ種別間の情報を融合して障害物の属性を検出する第二の検出処理手段と
から構成されることを特徴とした障害物検出装置。
【請求項２】
前記検出処理手段で、障害物を再探索させる場合に、障害物を検出できなかったセンサについては障害物検出の閾値を下げて再探索させることを特徴とする請求項１記載の障害物検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、道路上等に設置したセンサにより、道路等の状況を観測して障害物を検出する障害物検出装置に関するものである。
【０００２】
現在、道路上の障害物（一時停止車両、低速車両、停車車両、駐車車両等も含む）を原因とする交通事故が頻繁に起こっている。また、この被害も重大化している。このため、道路上等の障害物を運転者等に知らせるために、障害物を確実に検出できるようにすることが望まれている。
【０００３】
【従来の技術】
従来、単体のセンサを道路上に設置して、障害物を検出することは、例えば、平成１０年特許願第３４３８８０号として提案されている。しかし、例えば１つのカメラを用いた画像処理方法では、位置精度が悪い、影などの影響で障害物認識率が悪い、といった問題があった。また、２つ以上のカメラを用いて、位置精度を高めた画像処理方法（立体的に見る）もあるが、例えば１つの障害物が他の物の陰になる場合などで、１つのカメラには写るが他のカメラには写らない部分ではカメラ間でどの部分を対応させればよいか判らない、このためカメラ間の対応を調べる必要があり、障害物の認識率が悪いという問題があった。
【０００４】
さらに、例えば、音波による計測方法では、音速が遅いため位置計測に時間がかかる、長距離の計測ができないといった問題があった。電波レーダによる計測方法では、位置は正確に計測でき、認識率も高いが、ビーム幅が広く大きさの計測ができないこと、障害物の色や模様が伝えられないことといった問題があった。レーザレーダによる計測方法では、位置、大きさの計測は正確にできるが、雨霧が発生すると認識率が極端に落ちるという問題があった。
【０００５】
【発明が解決しようとする課題】
前記従来の単センサであると、認識率の悪さ、位置精度の悪さ、障害物の色や模様などが伝わらない等のどれかの問題が出てくる課題があった。
【０００６】
本発明は、このような従来の課題を解決し、複数のセンサを用いることによって、道路等の安全性を高めることができる障害物検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
図１は本発明の原理説明図である。図１中、１０ａは表示手段、２１ａはセンサ（パッシブセンサ）、３１ａはセンサ（アクティブセンサ）、４０ａは検出処理手段である。
【０００８】
本発明は前記従来の課題を解決するため次のように構成した。
【０００９】
（１）：道路上の状況を観測するために道路に設置された複数種類のセンサ２１ａ、３１ａからの障害物検出情報に基づき障害物を検出する障害物検出装置であって、道路上に設置された複数種類のセンサ２１ａ、３１ａと、前記複数のセンサ種別毎に独立して障害物を探索した障害物検出情報が入力される入力手段と、前記入力手段にて、前記複数のセンサ種別間で障害物の検出において、あるセンサ種別では障害物を検出し、該センサ種別以外のセンサ種別では障害物を検出しなかった場合、障害物を検出しなかったセンサ種別に対して障害物を再探索させる検出処理手段と、前記検出処理手段の結果により障害物があると判断した場合、前記複数のセンサ種別間の情報を融合して障害物の属性を検出する第二の検出処理手段とから構成される。
【００１０】
（２）：前記（１）の障害物検出装置において、前記検出処理手段で、障害物を再探索させる場合に、障害物を検出できなかったセンサについては障害物検出の閾値を下げて再探索させる。
【００１１】
（作用）
前記構成に基づく作用を説明する。
【００１２】
道路上に設置された複数種類のセンサ２１ａ、３１ａで道路上の状況の観測を行い、入力手段に前記複数のセンサ種別毎に独立して障害物を探索した障害物検出情報が入力され、検出処理手段で前記入力手段にて、前記複数のセンサ種別間で障害物の検出において、あるセンサ種別では障害物を検出し、該センサ種別以外のセンサ種別では障害物を検出しなかった場合、障害物を検出しなかったセンサ種別に対して障害物を再探索させ、第二の検出処理手段で前記検出処理手段の結果により障害物があると判断した場合、前記複数のセンサ種別間の情報を融合して障害物の属性を検出する。このため、単センサであると、認識率の悪さ、位置精度の悪さ、障害物の色や模様などが伝わらない、といったどれかの問題点を解決することができる障害物検出装置を提供することができる。
【００１３】
また、前記検出処理手段で、障害物を再探索させる場合に、障害物を検出できなかったセンサについては障害物検出の閾値を下げて再探索させる。このため、単センサでは疑わしくて障害物と認識できないものも認識でき、認識率の悪さを改善できる。
【００１４】
【発明の実施の形態】
（１）：障害物検出装置の設置場所の説明
道路上にある障害物を、支柱などに取り付け設置された障害物検出装置で検出し、後続車に掲示板などで道路上に障害物があることを注意喚起し、事故を未然に防ぐものである。用いるセンサヘッドは、カメラ（パッシブセンサ）やレーダ（アクティブセンサ）である。カメラは、状況に応じて可視カメラか赤外カメラを用いる。レーダは、レーザ、音波、電波のどれでもよい。
【００１５】
図２は障害物検出装置の設置場所の説明図である。図２において、車道の近くに設けた支柱６に障害物検出装置が設けてあり、この障害物検出装置には画像センサ式障害物検出装置（センサヘッド）２とミリ波（電波）式障害物検出装置（センサヘッド）３が設けてある。なお、図２はあくまで例であり、それぞれのセンサヘッドは上記のようにどれでもよい。さらに、支柱６は、車道をまたぐガントリータイプでもかまわない。
【００１６】
画像センサ式障害物検出装置２は、可視カメラを用いて障害物を検出するものである。ミリ波式障害物検出装置３は、電波であるミリ波を用いて障害物を検出するものである。図２では、障害物４を移動車両５が道路上に落としたものである。
【００１７】
（２）：装置構成の説明
図３は装置構成図であり、図３（ａ）は分散処理型の説明、図３（ｂ）は集中管理型の説明である。図３（ａ）において、分散処理型の障害物検出装置は、上位制御コンピュータ１、画像センサ式障害物検出装置２、ミリ波式障害物検出装置３及びそれらをつなぐＬＡＮ（ローカルエリアネットワーク）からなる。なお、ＬＡＮは、リング系でもかまわない。上位制御コンピュータ１には、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）部１０が設けてある。画像センサ式障害物検出装置２には、カメラ２１と画像処理装置２２が設けてある。ミリ波式障害物検出装置３には、ミリ波レーダ３１とミリ波レーダ制御コンピュータ３２が設けてある。
【００１８】
上位制御コンピュータ１は、全体を制御するもので、ＬＡＮを装備したコンピュータである。画像センサ式障害物検出装置２は、可視カメラを用いて障害物を検出するものである。ミリ波式障害物検出装置３は、電波であるミリ波を用いて障害物を検出するものである。ＧＵＩ部１０は、文字だけでなくアイコンを用いてコンピュータと人が対話するインタフェースである。なお、ＧＵＩ部１０は、ＬＡＮに接続された別のコンピュータに設けることもできる。
【００１９】
カメラ２１は、可視カメラである。画像処理装置２２は、カメラ２１からの画像処理を行いＬＡＮと接続できるものである。ミリ波レーダ３１は、電波であるミリ波を用いるレーダである。ミリ波レーダ制御コンピュータ３２は、ミリ波レーダ３１の制御を行いＬＡＮと接続できるものである。
【００２０】
図３（ｂ）において、集中管理型の障害物検出装置には、カメラ２１、ミリ波レーダ３１、検出処理装置４０が設けてあり、検出処理装置４０には、ＧＵＩ部１０が設けている。カメラ２１とミリ波レーダ３１は、図３（ａ）のものと同じであり、検出処理装置４０は、図３（ａ）の上位制御コンピュータ１、ＬＡＮ、画像処理装置２２、ミリ波レーダ制御コンピュータ３２の処理を行うものである。
【００２１】
（３）：ミリ波レーダの構成と設置イメージの説明
図４はミリ波レーダの構成と設置イメージの説明図であり、図４（ａ）はミリ波レーダの構成の説明、図４（ｂ）は高所設置イメージの説明、図４（ｃ）は低所設置イメージの説明である。
【００２２】
▲１▼：ミリ波レーダの構成
図４（ａ）において、ミリ波レーダ３１には、ミリ波センサ３３、駆動機構３４、信号処理部・駆動コントローラ３５が設けてある。ミリ波センサ３３は、ミリ波の送受信を行うものである。駆動機構３４は、ミリ波センサ３３を１軸に走査するものである。なお、ここでは１軸走査について説明するが、２軸に走査する方法もある。また、走査は、機械的だけでなく複数の送受信装置ペアをアレイ状に並べて電子的に高速に走査することもできる。信号処理部・駆動コントローラ３５は、ミリ波の信号の処理と駆動機構３４の駆動制御を行うものである。
【００２３】
ミリ波レーダの原理は、ミリ波を送信し、測定対象物からの反射電波を受信し、その伝搬時間とドップラーシフトを信号処理で得る。この伝搬時間とドップラーシフト量により、計測対象までの距離と速さを得る。また、駆動機構３４より方向を得る。従って、ミリ波レーダ３１からの出力は、距離、速度、方向等である。このミリ波レーダの設置場所として、高所設置と低所設置が考えられる。
【００２４】
▲２▼：ミリ波レーダの設置イメージの説明
図４（ｂ）において、車道の近くの高い支柱６の高所にミリ波レーダ３１が設置されている。この高所設置には、物陰になる部分が少ないという長所があるが、使用する電波の型がファンビーム（楕円形のビーム）を用いる必要があるため、電波が弱くなり、大きな障害物しか認識できないという短所がある。
【００２５】
図４（ｃ）において、車道の近くの低い支柱６の頂部にミリ波レーダ３１が設置されている。この低所設置には、物陰になる部分が多いという短所があるが、使用する電波に細いビームを用いるため、小さい障害物をも検出できる長所がある。
【００２６】
これら図４（ｂ）、図４（ｃ）の高所設置と低所設置は、要求される条件、例えば、障害物の大きさ等に応じて使い分けるものである。
【００２７】
（４）：障害物検出方法の説明
図５は状態遷移の説明図である。図５において、障害物検出処理は、大きく分けて、▲１▼独立モードＡ、▲２▼主従モードＢ、▲３▼融合モードＣの３つのモードからなる。以下、図３（ａ）の構成の場合を例に取って障害物検出方法の説明をする。なお、図３（ｂ）の場合は、以下の処理を１台の検出処理装置４０で行うものである。
【００２８】
従来の認識率の悪さを改善するため、複数のセンサがそれぞれ独立に障害物を探索検出する（独立モードＡ）。また、検出した障害物データが、センサ間で矛盾している場合、その障害物を重点的に再探索する（例えば、探索範囲を限定して検出閾値を下げる等して再探索する）（主従モードＢ）。これにより、単センサでは疑わしくて障害物と認識できないものも認識でき、認識率の悪さを改善できる。重点的に再探索しても矛盾が解消できない場合は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）に表示し（ＧＵＩモードＤ）、人間の優れた判断を仰ぐものである。これにより、センサでは疑わしくて障害物と認識できないものも認識でき、認識率の悪さを改善できる。
【００２９】
従来の計測精度の悪さを改善するため、複数のセンサで障害物を検出する場合、自分から放射してその反射を見る距離計測が得意なアクティブセンサ（レーザレーダ、音波レーダ、電波レーダ等）と自分からは放射を行わない画像センサ等の形状抽出が得意なパッシブセンサ（可視カメラ、赤外カメラ等）の情報を融合して、正確な形状、大きさ、位置、速度等を検出する（融合モードＣ）。これにより、従来の計測精度の悪さを改善できる。
【００３０】
また、従来のアクティブセンサのみでは、障害物の色や模様などを伝えられないことを改善するため、複数のセンサで障害物を検出する融合した障害物検出結果をＧＵＩにて管理者等に通知（ＧＵＩモードＤ）する。これにより、従来のアクティブセンサのみでは、障害物の色や模様などを伝えられないことを改善できる。
【００３１】
▲１▼：独立モードの説明
独立モードＡは、個々のセンサが独立に障害物を探索検出するモードである。
【００３２】
（ａ）：上位制御コンピュータの処理の説明
上位制御コンピュータ１での主な処理は、障害物のデータが画像処理装置やミリ波レーダの制御コンピュータから送られてこないかを待つ処理と、送られてきたならば、各センサのデータが矛盾していないか、各センサデータの信頼度の総計が高いか、単体センサのデータでも信頼度が高いかを確認する処理である。矛盾がない場合または信頼度が高い場合、融合モードに遷移する。また、矛盾がある場合または信頼度が低い場合は、主従モードに遷移する。
【００３３】
なお、ここで障害物のデータおよびその属性とは、障害物の位置、速度、大きさ、発見時間、障害物の信頼度等からなる。矛盾があるとは、これらのデータ（信頼度以外）の違いがある範囲に入っていない、または、他のセンサは検出しているが、あるセンサは検出していないことをいう。
【００３４】
図６は上位制御コンピュータの独立モード時の処理フロー図である。以下、図６の処理Ｓ１〜処理Ｓ５に従って説明する。
【００３５】
Ｓ１：上位制御コンピュータ１は、障害物のデータが画像処理装置やミリ波レーダの制御コンピュータから送られてくるのを待ち、送られてきたならば、処理Ｓ２に移る。
【００３６】
Ｓ２：上位制御コンピュータ１は、画像処理装置２２とミリ波レーダ制御コンピュータ３２から送られてきたデータに矛盾がないかどうか確認する。この確認でデータに矛盾がない場合は処理Ｓ３に移り、もし矛盾がある場合は処理Ｓ４へ移る
Ｓ３：上位制御コンピュータ１は、融合モードの処理に遷移し、処理Ｓ５に移る。
【００３７】
Ｓ４：上位制御コンピュータ１は、主従モードの処理に遷移し、処理Ｓ５に移る。
【００３８】
Ｓ５：上位制御コンピュータ１は、融合モードまたは主従モードの処理終了を待ち、処理Ｓ１に戻る。
【００３９】
（ｂ）：ミリ波式障害物検出装置の処理の説明
ミリ波レーダ制御コンピュータ３２は、まず、１番目に上位制御コンピュータ１から命令が来ていないかを確認して、ミリ波レーダ（センサ）３１より距離、速さ、方向データ等が入力される。２番目に背景データを生成するとともに背景差分と２値化を行う。これにより、ガードレール等の背景部分が差分でなくなる。３番目にグループ化と追跡を行う。これは、障害物部分の計測結果と走行車部分の計測結果がグループ化され、走査毎にそのグループを追跡する。４番目に追跡結果を見て、移動量の少ない物を障害物と判断する。５番目にその障害物のデータを検出し、上位制御コンピュータ１の座標系に変換（この座標系の変換は上位制御コンピュータ１で行うようにすることもできる）して、上位制御コンピュータ１に障害物データを送信する。なお、周囲の状況（気温、雨、霧、明るさ等）をミリ波レーダ３１自身や外部センサで認知し、それらを加味して、データの信頼度を求め、これも上位（上位制御コンピュータ１）に送信する。
【００４０】
・ミリ波式障害物検出装置を用いた障害物検出場面の説明
図７はミリ波式障害物検出装置を用いた時の障害物検出の説明図である。図７において、道路にはガードレールがあり、車線は３車線であり、道路の路側にミリ波センサ３１が設置されている。右車線に走行車５があり、左車線に障害物４が落ちている。走行車５は左から右に走行して行くものとした。
【００４１】
太点線で表されるのはミリ波センサ３１の計測範囲である。また、太線はミリ波センサ３１で計測された距離であり、太矢印はミリ波センサ３１で計測された速度である。なお、前記太線は実際の物とは離れて示されているが、これは分かりやすくするためであり実際は一致するものである。また、障害物４の太線はミリ波センサ３１が物の角を検出するためＬ字状に示されている。
【００４２】
・フロー図による説明
図８は独立モード時のミリ波式障害物検出装置の処理フロー図である。以下、ミリ波式障害物検出装置３のミリ波レーダ制御コンピュータ３２の処理Ｓ１１〜処理Ｓ１８に従って説明する。
【００４３】
Ｓ１１：ミリ波レーダ制御コンピュータ３２は、上位制御コンピュータ１から命令が来ていないかを確認する。この確認で上位制御コンピュータ１からの命令が独立モード命令または命令無しの場合は処理Ｓ１２に移り、もし融合モード命令であれば融合モード処理へ、主従モード命令であれば主従モード処理へそれぞれ遷移する。
【００４４】
Ｓ１２：ミリ波レーダ制御コンピュータ３２は、ミリ波センサ（レーダ）３１より距離、速さ、方向のデータが入力され、処理Ｓ１４に移る。
【００４５】
Ｓ１３：ミリ波レーダ制御コンピュータ３２は、障害物のない背景データを生成して、処理Ｓ１４に移る。なお、背景データは、障害物の検出と平行して、計測データを用いて自動更新されるものである。
【００４６】
Ｓ１４：ミリ波レーダ制御コンピュータ３２は、ミリ波センサ３１からの計測データと背景データとの差分（背景差分）を取り（この差分で図７のガードレールの部分がなくなる）障害物候補を検出し、処理Ｓ１５に移る。
【００４７】
Ｓ１５：ミリ波レーダ制御コンピュータ３２は、障害物候補のグループ化（近くにあり、属性が同じもの等を同一化する）とミリ波センサ３１の走査毎にそのグループの追跡を行い、処理Ｓ１６に移る。なお、図７では、障害物４部分の計測結果と走行車５部分の計測結果がグループ化され、走査毎にそのグループを追跡する。
【００４８】
Ｓ１６：ミリ波レーダ制御コンピュータ３２は、追跡結果を見て、移動量の少ない物を障害物と判断する。この判断で障害物があった場合は処理Ｓ１７に移り、無かった場合は処理Ｓ１１に戻る。
【００４９】
Ｓ１７：ミリ波レーダ制御コンピュータ３２は、障害物の位置、速度などの属性を検出し、処理Ｓ１８に移る。
【００５０】
Ｓ１８：ミリ波レーダ制御コンピュータ３２は、上位制御コンピュータ１に障害物有りとその属性を、上位制御コンピュータ１の座標系に変換して送信する。なお、周囲の状況（気温、雨、霧、明るさ等）をミリ波レーダ３１自身や外部センサで認知し、それらを加味して、データの信頼度を求め、これも上位制御コンピュータ１に送信し、処理Ｓ１１に戻る。
【００５１】
（ｃ）：画像センサ式障害物検出装置の処理の説明
画像センサ式障害物検出装置２の画像処理装置２２の検出処理フローは前記ミリ波式障害物検出装置の処理フロー図（図８）と変わらないものである。図９は画像センサ式障害物検出装置を用いた障害物検出例の説明図であり、図９（ａ）は原画像の説明、図９（ｂ）は処理画像の説明である。
【００５２】
図９（ａ）の原画像には、街路樹、ガードレール、道路等があり、道路上には走行車５と落とされた障害物４がある。図９（ｂ）の処理画像には、画像センサ式障害物検出装置２の画像処理装置２２で検出処理を行い、障害物４のみが検出されている。
【００５３】
▲２▼：主従モードの説明
（ａ）：上位制御コンピュータの処理の説明
上位制御コンピュータ１は、矛盾があるデータが存在するセンサに再探索要求や矛盾がないセンサにｗａｉｔ（ウエイト）命令を作成し、各センサに命令する。各センサからの処理終了と結果転送を待ち、矛盾が解消されていれば、融合モードへ、解消されていなければ、管理者に通知を行う。なお、矛盾があるデータが存在するセンサとは、他のセンサと一致しない障害物データがある場合、他のセンサが検出できている障害物データを検出できていない場合である。
【００５４】
図１０は上位制御コンピュータの主従モード時の処理フロー図である。以下、図１０の処理Ｓ２１〜処理Ｓ２６に従って説明する。
【００５５】
Ｓ２１：上位制御コンピュータ１は、画像処理装置２２やミリ波レーダ制御コンピュータ３２から送られてくる障害物検出データの矛盾内容を確認し、処理Ｓ２２に移る。
【００５６】
Ｓ２２：上位制御コンピュータ１は、障害物検出データに矛盾があるセンサには再探索命令を行い、矛盾がないセンサにはウエイト命令を行い、処理Ｓ２３に移る。
【００５７】
Ｓ２３：上位制御コンピュータ１は、各センサの処理終了待ちをし、処理Ｓ２４に移る。
【００５８】
Ｓ２４：上位制御コンピュータ１は、矛盾があるセンサの矛盾が解消されたかどうか確認する。この確認で矛盾が解消された場合は処理Ｓ２５に移り、もし解消されなかった場合は処理Ｓ２６に移る。
【００５９】
Ｓ２５：上位制御コンピュータ１は、融合モードの処理へ遷移し、この処理を終了する。
【００６０】
Ｓ２６：上位制御コンピュータ１は、管理者に通知を行うＧＵＩモードへ遷移しこの処理を終了する。
【００６１】
（ｂ）：ミリ波式障害物検出装置の処理の説明
ミリ波レーダ制御コンピュータ３２は、まず、上位制御コンピュータ１からの命令を確認して、ウエイトならばそのまま終わる。矛盾する場合、上位制御コンピュータ１からの障害物データを自座標系に変換し、障害物周囲に探索範囲を設定して再探索を行う。これにより、単体では疑わしく、障害物と判定できなかったものも、検出可能になる。最後にその結果を上位制御コンピュータ１に送る。
【００６２】
・ミリ波式障害物検出装置を用いた障害物検出場面の説明
図１１は主従モード時の障害物検出装置の再探索の説明図であり、図１１  （ａ）は１次スキャンするアクティブセンサの説明である。図１１（ａ）において、道路にはガードレールがあり、車線は３車線であり、道路の路側にミリ波センサ３１が設置されている。左車線に矛盾の障害物検出データの属性を自座標に変換した矛盾の障害物４’がある。ミリ波式障害物検出装置３では、矛盾の障害物４’の周囲（近傍）に探索範囲（太一点鎖線の円）を設定して同様のものがないか探索する。
【００６３】
中央車線には障害物４があるが、この障害物４はミリ波センサ３１ではノイズか障害物か見分けられなかったものであるが、再探索では検出の閾値を下げる等で検出することができる（全体ではノイズが多くて閾値を下げられなくても近傍の探索範囲では閾値を下げられる場合がある）。
【００６４】
なお、太点線で表されるのは、ミリ波センサ３１の計測範囲である。また、楕円の一点鎖線は、探索範囲の別の例であり、このようにカメラで見つけてミリ波センサ３１で探す場合は後ろで見つける確率が多いので、後ろを広くするのが適している。
【００６５】
・フロー図による説明
図１２は主従モード時のミリ波式障害物検出装置の処理フロー図である。以下、図１２のミリ波式障害物検出装置３のミリ波レーダ制御コンピュータ３２の処理Ｓ３１〜処理Ｓ３４に従って説明する。
【００６６】
Ｓ３１：ミリ波レーダ制御コンピュータ３２は、上位制御コンピュータ１から命令が来ていないかを確認する。この確認で上位制御コンピュータ１からの命令がウエイトならばそのまま終了し、もし矛盾が有る場合は処理Ｓ３２に移る。
【００６７】
Ｓ３２：ミリ波レーダ制御コンピュータ３２は、矛盾する障害物検出データの属性を自座標系に変換し、処理Ｓ３３に移る。
【００６８】
Ｓ３３：ミリ波レーダ制御コンピュータ３２は、障害物の再探索を行い、処理Ｓ３４に移る。なお、障害物再探索は、図１１（ａ）に示すように範囲を設定して矛盾した障害物を重点的に探索する。
【００６９】
Ｓ３４：ミリ波レーダ制御コンピュータ３２は、障害物の再探索結果を上位制御コンピュータ１に転送して、この処理を終了する。
【００７０】
（ｃ）：画像センサ式障害物検出装置の処理の説明
画像センサ式障害物検出装置２の画像処理装置２２の検出処理フローは前記ミリ波式障害物検出装置の処理フロー図（図１２）と変わらないものである。図１１（ｂ）は再探索を行う場合のパッシブセンサの説明である。
【００７１】
図１１（ｂ）において、画像上には、矛盾する障害物検出データの属性を自座標系に変換した矛盾の障害物４’がある。画像センサ式障害物検出装置２では、矛盾の障害物４’の周囲（近傍）に探索範囲（太一点鎖線の円）を設定して同様のものがないか探索する。
【００７２】
矛盾の障害物４’の右には障害物４があるが、この障害物４は画像センサ（カメラ）２１の画像処理装置２２ではノイズか障害物か見分けられなかったものであるが、再探索では感度を上げる、検出の閾値を下げる等で検出することができる。
【００７３】
▲３▼：融合モードの説明
（ａ）：上位制御コンピュータの処理の説明
上位制御コンピュータ１は、画像センサ式障害物検出装置（パッシブセンサ）２に融合命令とミリ波式障害物検出装置（アクティブセンサ）３の障害物検出データを送信するとともに、ミリ波式障害物検出装置３にウエイト信号を送信する。次に、信号処理終了と融合結果転送を待ち、データが来たところで、ＧＵＩにそのデータを送信し、ＧＵＩ部は、管理者に通知する。最後に、各センサに独立モードに移行するように命令して、自己も独立モードに移る。
【００７４】
図１３は上位制御コンピュータの融合モード時の処理フロー図である。以下、図１３の処理Ｓ４１〜処理Ｓ４４に従って説明する。
【００７５】
Ｓ４１：上位制御コンピュータ１は、画像センサ式障害物検出装置（パッシブセンサ）２にデータの融合命令とミリ波式障害物検出装置（アクティブセンサ）３の障害物検出データを送信するとともに、ミリ波式障害物検出装置３にウエイト命令を送信し、処理Ｓ４２に移る。
【００７６】
Ｓ４２：上位制御コンピュータ１は、各センサの処理終了と融合結果のデータ転送を待ち、データが来たところで、処理Ｓ４３と処理Ｓ４４に移る。
【００７７】
Ｓ４３、Ｓ４４：上位制御コンピュータ１は、ＧＵＩモードへ移り、ＧＵＩ部により管理者に通知するとともに、各センサに独立モードに移行するように命令して、自己も独立モードに移り、この処理を終了する。
【００７８】
（ｂ）：ミリ波式障害物検出装置の処理の説明
ミリ波レーダ制御コンピュータ３２は、上位制御コンピュータ１からのウエイト命令により、ウエイトし、独立モードに移行する命令を待つ。
【００７９】
（ｃ）：画像センサ式障害物検出装置の処理の説明
画像センサ式障害物検出装置２の画像処理装置２２は、まず、障害物検出データを自座標系に変換して領域を抽出する。この領域の座標から上位制御コンピュータ１の座標系での大きさを算出する。この時、ミリ波式障害物検出装置（アクティブセンサ）３の距離情報を加味する。その結果を上位制御コンピュータ１に送信する。
【００８０】
・画像センサ式障害物検出装置の処理フローの説明
図１４は融合モード時の画像センサ式障害物検出装置の処理フロー図である。以下、図１４の処理Ｓ５１〜処理Ｓ５４に従って説明する。
【００８１】
Ｓ５１：画像センサ式障害物検出装置２の画像処理装置２２は、障害物検出データを自座標系に変換して、処理Ｓ５２に移る。
【００８２】
Ｓ５２：画像処理装置２２は、障害物検出データの領域を抽出して、処理５３に移る。
【００８３】
Ｓ５３：画像処理装置２２は、この領域の座標から上位制御コンピュータ１の座標系での大きさを算出し、処理Ｓ５４に移る。
【００８４】
Ｓ５４：画像処理装置２２は、障害物の大きさ検出結果を上位制御コンピュータ１に上位制御コンピュータ１の座標系に変換して送信し、この処理を終了する。
【００８５】
・上記処理Ｓ５２での領域の抽出例の説明
図１５は画像センサ式障害物検出装置の領域抽出例の説明図であり、図１５（ａ）は屋外実験の説明、図１５（ｂ）は実験結果の画像の説明である。
【００８６】
図１５（ａ）において、屋外の画像には、街路樹、ガードレール等がある道路上に落とされた障害物４がある。図１５（ｂ）において、実験結果の画像には、障害物検出データの領域を抽出した画像が示されている。
【００８７】
・上記処理Ｓ５３での大きさの算出例の説明
（距離、位置が分かる時の大きさの算出）
図１６は障害物の大きさの算出の説明図である。図１６において、仮定として、Ｙ軸を奥行き、カメラ（画像センサ）が高い位置にあり、カメラの画面上の領域抽出された障害物の画素アドレスを（Ｘｃｉ，Ｙｃｉ）、変数をＨｃ  とすると、画素アドレス（自座標）と上位の座標系の関係式は次のようになる。なお、Ｘ軸は紙面に垂直な方向とする。
【００８８】
【数１】
0003607841.tif 000002
【００８９】
なお、ｉは０からＮ個であり、領域抽出されたすべての画素に適用される。
【００９０】
いま、図１６のようにカメラからの距離Ｙ０  に障害物が立っているとすると、カメラ座標系からワールド座標（上位制御コンピュータの座標）への展開は次のようになる。なお、Ｙ０  はアクティブセンサ（ミリ波式障害物検出装置）で得られるものである。
【００９１】
0003607841.tif 000003
上記式を書き直すと、次のようになる
【００９２】
【数２】
0003607841.tif 000004
【００９３】
ここで、
【００９４】
【数３】
0003607841.tif 000005
【００９５】
とすると、上記式より
Ａ−１・Ｃで、障害物のそれぞれの画素のワールド座標系での座標（位置）が求められ、Ｘ方向の最大、最小、Ｚ方向の最大、最小から幅、高さを求めることができ、障害物の大きさを検出することができる。
【００９６】
▲４▼：ＧＵＩの処理の説明
図１７はＧＵＩの処理フロー図である。図１７において、ＧＵＩ部の処理Ｓ６１〜処理Ｓ６３に従って説明する。
【００９７】
Ｓ６１：ＧＵＩ部は、矛盾した障害物検出データの有無の確認かどうか判断する。この判断で矛盾した障害物検出データの有無の確認の場合は処理Ｓ６２に移り、有無の確認でない場合は処理Ｓ６３に移る。
【００９８】
Ｓ６２：ＧＵＩ部は、矛盾した障害物の位置等の表示を行い、この処理を終了する。
【００９９】
Ｓ６３：ＧＵＩ部は、検出した障害物の属性等の表示を行い、この処理を終了する。
【０１００】
図１８はＧＵＩの表示の説明図である。図１８において、障害物を検出した画像と障害物の属性の表示例が示されている。障害物の属性の表示例には、Ｏｂｓｔａｃｌｅ  Ｄｅｔｅｃｔｉｏｎ（Ｒｅｄ）  ：  Ｐｏｓｉｔｉｏｎ（５．５１，３５．０５）  Ｖｅｌ（０．００，０．００）  Ｓｉｚｅ（０．５２，０．７４）  がある。これは、検出した障害物（赤色）は、例えば管理者が決めた基準点からの距離である道路の左端より５．５１ｍで交差点からの距離３５．０５  ｍの位置にあり、Ｘ軸方向Ｚ軸方向の速度は共に時速０．００ｋｍ、大きさは幅が０．５２ｍ高さが０．７４ｍであることを示している。
【０１０１】
なお、前記実施の形態では、複数のセンサとしてパッシブセンサ（画像センサ式障害物検出装置）とアクティブセンサ（ミリ波式障害物検出装置）とを用いた例を説明したが、他の組み合わせでもよく、例えば種類の異なるアクティブセンサのみ、またはパッシブセンサのみを使用することもできる。また、３種類以上のセンサを用いてより確実な障害物検出を行うこともできる。
【０１０２】
また、前記実施の形態では、道路上の障害物の検出の説明をしたが、特定の敷地上の通路、特定の港湾の海上通路、鉄道等の障害物の検出に適用することもできる。
【０１０３】
従来、単センサによる障害物検出では、認識率の悪さ、位置精度の悪さ、障害物の色や模様などが伝わらない、といったどれかの問題があったが、以上実施の形態で説明したように、複数のセンサを用いることによって、これらの問題を解決し、道路の安全性を高めることができる。
【０１０４】
【発明の効果】
以上説明したように、本発明によれば次のような効果がある。
【０１０５】
（１）：道路上に設置された複数種類のセンサ２１ａ、３１ａで道路上の状況の観測を行い、入力手段に前記複数のセンサ種別毎に独立して障害物を探索した障害物検出情報が入力され、検出処理手段で前記入力手段にて、前記複数のセンサ種別間で障害物の検出において、あるセンサ種別では障害物を検出し、該センサ種別以外のセンサ種別では障害物を検出しなかった場合、障害物を検出しなかったセンサ種別に対して障害物を再探索させ、第二の検出処理手段で前記検出処理手段の結果により障害物があると判断した場合、前記複数のセンサ種別間の情報を融合して障害物の属性を検出するため、単センサであると、認識率の悪さ、位置精度の悪さ、障害物の色や模様などが伝わらない、といったどれかの問題点を複数の異種センサを用いることで解決することができる。
【０１０６】
（２）：検出処理手段で、障害物を再探索させる場合に、障害物を検出できなかったセンサについては障害物検出の閾値を下げて再探索させるため、単センサでは疑わしくて障害物と認識できないものも認識でき、認識率の悪さを改善できる。
【図面の簡単な説明】
【図１】本発明の原理説明図である。
【図２】実施の形態における障害物検出装置の設置場所の説明図である。
【図３】実施の形態における装置構成図である。
【図４】実施の形態におけるミリ波レーダの構成と設置イメージの説明図である。
【図５】実施の形態における状態遷移の説明図である。
【図６】実施の形態における上位制御コンピュータの独立モード時の処理フロー図である。
【図７】実施の形態におけるミリ波式障害物検出装置を用いた時の障害物検出の説明図である。
【図８】実施の形態における独立モード時のミリ波式障害物検出装置の処理フロー図である。
【図９】実施の形態における画像センサ式障害物検出装置を用いた障害物検出例の説明図である。
【図１０】実施の形態における上位制御コンピュータの主従モード時の処理フロー図である。
【図１１】実施の形態における主従モード時の障害物検出装置の再探索の説明図である。
【図１２】実施の形態における主従モード時のミリ波式障害物検出装置の処理フロー図である。
【図１３】実施の形態における上位制御コンピュータの融合モード時の処理フロー図である。
【図１４】実施の形態における融合モード時の画像センサ式障害物検出装置の処理フロー図である。
【図１５】実施の形態における画像センサ式障害物検出装置の領域抽出例の説明図である。
【図１６】実施の形態における障害物の大きさの算出の説明図である。
【図１７】実施の形態におけるＧＵＩの処理フロー図である。
【図１８】実施の形態におけるＧＵＩの表示の説明図である。
【符号の説明】
１０ａ  表示手段
２１ａ  センサ（パッシブセンサ）
３１ａ  センサ（アクティブセンサ）
４０ａ  検出処理手段
【図１】
0003607841.tif 000006
【図２】
0003607841.tif 000007
【図３】
0003607841.tif 000008
【図４】
0003607841.tif 000009
【図５】
0003607841.tif 000010
【図６】
0003607841.tif 000011
【図７】
0003607841.tif 000012
【図８】
0003607841.tif 000013
【図９】
0003607841.tif 000014
【図１０】
0003607841.tif 000015
【図１１】
0003607841.tif 000016
【図１２】
0003607841.tif 000017
【図１３】
0003607841.tif 000018
【図１４】
0003607841.tif 000019
【図１５】
0003607841.tif 000020
【図１６】
0003607841.tif 000021
【図１７】
0003607841.tif 000022
【図１８】
0003607841.tif 000023