(57)【要約】【課題】カメラを用いた物体検知装置において、検知精度の低下を抑制する。【解決手段】物体検知装置は、超音波センサ１０と、カメラシステム２０と、超音波センサ１０およびカメラシステム２０が同一の物体を検知したか否かを判定する物体判定部３０と、を備える。カメラシステム２０は、車両の周囲を撮像した複数の画像から輝度に特徴を有する画素を抽出する特徴画素抽出部２２と、特徴画素抽出部２２によって複数の画像から共通して抽出された画素を特徴点として、特徴点の位置を検出する特徴点検出部２３と、を備える。超音波センサ１０を通る平面において、超音波センサ１０の検出点を含む領域をＲとし、物体判定部３０は、領域Ｒに含まれる特徴点の数が所定数以上であるとき、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定する。【選択図】図１
2019086406.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されて、前記車両の外部の物体を検知する物体検知装置であって、
超音波の送受信により物体を検知し、物体の位置を検出する超音波センサ（１０）と、
前記車両の周囲を撮像して複数の画像を取得し、該複数の画像に基づいて物体を検知するカメラシステム（２０）と、
前記超音波センサおよび前記カメラシステムが同一の物体を検知したか否かを判定する物体判定部（３０）と、を備え、
前記カメラシステムは、
前記複数の画像から輝度に特徴を有する画素を抽出する特徴画素抽出部（２２）と、
前記特徴画素抽出部によって前記複数の画像から共通して抽出された画素を特徴点として、前記特徴点の位置を検出する特徴点検出部（２３）と、を備え、
前記超音波センサを通る平面において、前記超音波センサが検出した物体の位置を示す点をＰｓとし、前記点Ｐｓを含む領域をＲとし、
前記領域Ｒに含まれる前記特徴点の数をＮ１として、
前記物体判定部は、前記数Ｎ１が所定数以上であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する物体検知装置。
【請求項２】
前記カメラシステムが有するカメラ（２１）は、同時に２枚の画像を撮像可能なステレオカメラであるか、または、時間差を設けて２枚の画像を撮像する移動ステレオカメラである請求項１に記載の物体検知装置。
【請求項３】
前記領域Ｒは、長方形状とされている請求項１または２に記載の物体検知装置。
【請求項４】
前記領域Ｒは、台形状とされている請求項１または２に記載の物体検知装置。
【請求項５】
前記領域Ｒは、扇状とされている請求項１または２に記載の物体検知装置。
【請求項６】
前記物体判定部は、前記特徴点検出部が検出した特徴点のうち、前記領域Ｒに含まれ、かつ、高さが所定の範囲内にあるものの数をＮ２として、前記数Ｎ２が所定数以上であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項１ないし５のいずれか１つに記載の物体検知装置。
【請求項７】
前記所定の範囲の下限は、前記車両が備えるバンパの下端の高さの０．５倍以上２倍以下の高さである請求項６に記載の物体検知装置。
【請求項８】
前記所定の範囲の上限は、前記車両の高さより大きい値である請求項６または７に記載の物体検知装置。
【請求項９】
前記超音波センサとしての第１センサ（１０ａ）および第２センサ（１０ｂ）を備え、
前記平面に含まれる互いに垂直な２つの方向をそれぞれｘ方向、ｙ方向として、
前記ｘ方向は、前記第１センサおよび前記第２センサが並ぶ方向とされている請求項１ないし８のいずれか１つに記載の物体検知装置。
【請求項１０】
前記第１センサが超音波を送信し、前記第１センサおよび前記第２センサが該超音波の反射波を受信したときに、
前記第１センサの位置を示す点をＡ１とし、
前記第１センサが超音波を送信してから反射波を受信するまでの間に超音波が進んだ距離をＬＡ１とし、
前記第２センサの位置を示す点をＢ１とし、
前記第１センサが超音波を送信してから前記第２センサが反射波を受信するまでの間に超音波が進んだ距離をＬＢ１とし、
前記点Ａ１を中心とする半径ＬＡ１／２の円と、前記点Ｂ１を中心とする半径ＬＢ１−ＬＡ１／２の円との交点に対応する位置に物体が存在するものとして物体との距離が算出される請求項９に記載の物体検知装置。
【請求項１１】
前記第１センサが超音波を送信し、前記第１センサおよび前記第２センサが該超音波の反射波を受信したときに、
前記第１センサの位置を示す点をＡ１とし、
前記第１センサが超音波を送信してから反射波を受信するまでの間に超音波が進んだ距離をＬＡ１とし、
前記第２センサの位置を示す点をＢ１とし、
前記第１センサが超音波を送信してから前記第２センサが反射波を受信するまでの間に超音波が進んだ距離をＬＢ１とし、
前記点Ａ１を中心とする半径ＬＡ１の円と、前記点Ｂ１を中心とする半径ＬＢ１の円との交点をＯとし、
線分ＯＡ１の中点をＰｓ２とし、
前記中点Ｐｓ２を通る直線ＯＡ１の垂線と直線ＯＢ１との交点をＰｓ３とし、
線分Ｐｓ２Ｐｓ３に対応する位置に物体が存在するものとして物体との距離が算出される請求項９に記載の物体検知装置。
【請求項１２】
前記超音波センサは、前記車両の移動の前後で超音波の送受信を２回行い、
前記平面に含まれる互いに垂直な２つの方向をそれぞれｘ方向、ｙ方向として、
前記ｘ方向は、前記超音波センサが１回目に超音波を送信した位置と、２回目に超音波を送信した位置とを結ぶ方向とされている請求項１ないし８のいずれか１つに記載の物体検知装置。
【請求項１３】
前記超音波センサが１回目に超音波を送信した位置を示す点をＡ２とし、
前記超音波センサが１回目に超音波を送信してから該超音波の反射波を受信するまでの間に超音波が進んだ距離をＬＡ２とし、
前記超音波センサが２回目に超音波を送信した位置を示す点をＢ２とし、
前記超音波センサが２回目に超音波を送信してから該超音波の反射波を受信するまでの間に超音波が進んだ距離をＬＢ２とし、
前記点Ａ２を中心とする半径ＬＡ２／２の円と、前記点Ｂ２を中心とする半径ＬＢ２／２の円との交点に対応する位置に物体が存在するものとして物体との距離が算出される請求項１２に記載の物体検知装置。
【請求項１４】
前記超音波センサが１回目に超音波を送信した位置を示す点をＡ２とし、
前記超音波センサが１回目に超音波を送信してから該超音波の反射波を受信するまでの間に超音波が進んだ距離をＬＡ２とし、
前記超音波センサが２回目に超音波を送信した位置を示す点をＢ２とし、
前記超音波センサが２回目に超音波を送信してから該超音波の反射波を受信するまでの間に超音波が進んだ距離をＬＢ２とし、
前記点Ａ２を中心とする半径ＬＡ２／２の円と、前記点Ｂ２を中心とする半径ＬＢ２／２の円との共通接線をＬ２とし、
前記点Ａ２を中心とする半径ＬＡ２／２の円と前記共通接線Ｌ２との接点をＰｓ５とし、
前記点Ｂ２を中心とする半径ＬＢ２／２の円と前記共通接線Ｌ２との接点をＰｓ６とし、
線分Ｐｓ５Ｐｓ６に対応する位置に物体が存在するものとして物体との距離が算出される請求項１２に記載の物体検知装置。
【請求項１５】
前記領域Ｒに含まれる前記特徴点の平均位置を示す点をＰｃとし、
前記物体判定部は、前記点Ｐｓと前記点Ｐｃとの距離が所定値以下であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。
【請求項１６】
前記超音波センサが前記点Ｐｓとして複数の点を検出したとき、
前記物体判定部は、該複数の点の平均位置と前記点Ｐｃとの距離が所定値以下であるとき、または、該複数の点のうち前記車両に最も近い点と前記点Ｐｃとの距離が所定値以下であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項１５に記載の物体検知装置。
【請求項１７】
前記点Ｐｓと前記点Ｐｃとの距離は、前記ｘ方向の距離である請求項１５または１６に記載の物体検知装置。
【請求項１８】
前記点Ｐｓと前記点Ｐｃとの距離は、前記ｙ方向の距離である請求項１５または１６に記載の物体検知装置。
【請求項１９】
前記領域Ｒに含まれる前記特徴点の平均位置を示す点をＰｃとし、
前記物体判定部は、前記ｘ方向における前記点Ｐｓと前記点Ｐｃとの距離が第１の値以下であり、かつ、前記ｙ方向における前記点Ｐｓと前記点Ｐｃとの距離が前記第１の値よりも小さい第２の値以下であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。
【請求項２０】
前記物体判定部は、前記領域Ｒに含まれる前記特徴点と前記車両との前記ｙ方向における距離の標準偏差が所定値以下のとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。
【請求項２１】
前記物体判定部は、前記領域Ｒに含まれる前記特徴点と前記車両との前記ｘ方向における距離の標準偏差が所定値以下のとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。
【請求項２２】
前記物体判定部は、前記領域Ｒに含まれる前記特徴点と前記車両との前記ｘ方向における距離の標準偏差が第１の値以下であり、かつ、前記領域Ｒに含まれる前記特徴点と前記車両との前記ｙ方向における距離の標準偏差が前記第１の値よりも小さい第２の値以下であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。
【請求項２３】
前記点Ｐｓと前記車両との前記ｙ方向における距離をｄｓｙとし、
前記領域Ｒに含まれる前記特徴点と前記車両との前記ｙ方向における距離の平均値をｄｃｙ１とし、
前記領域Ｒに含まれる前記特徴点と前記車両との前記ｙ方向における距離の標準偏差をσｙとして、
前記物体判定部は、前記距離ｄｓｙと前記距離ｄｃｙ１との差の絶対値が、前記標準偏差σｙに所定の係数を掛けて得られる値以下であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。
【請求項２４】
前記点Ｐと前記車両との前記ｘ方向における距離をｄｓｘとし、
前記領域Ｒに含まれる前記特徴点と前記車両との前記ｘ方向における距離の平均値をｄｃｘ１とし、
前記領域Ｒに含まれる前記特徴点と前記車両との前記ｘ方向における距離の標準偏差をσｘとして、
前記物体判定部は、前記距離ｄｓｘと前記距離ｄｃｘ１との差の絶対値が、前記標準偏差σｘに所定の係数を掛けて得られる値以下であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。
【請求項２５】
前記点Ｐｓと前記車両との前記ｙ方向における距離をｄｓｙとし、
前記領域Ｒに含まれる前記特徴点の前記ｙ方向における分布について、該分布がピークとなる位置と前記車両との距離をｄｃｙ２として、
前記物体判定部は、前記距離ｄｓｙと前記距離ｄｃｙ２との差が所定値以下であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。
【請求項２６】
前記物体判定部は、前記車両との距離が前記距離ｄｃｙ２と等しい前記特徴点の数が所定数以上であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項２５に記載の物体検知装置。
【請求項２７】
前記点Ｐｓと前記車両との前記ｘ方向における距離をｄｓｘとし、
前記領域Ｒに含まれる前記特徴点の前記ｘ方向における分布について、該分布がピークとなる位置と前記車両との距離をｄｃｘ２として、
前記物体判定部は、前記距離ｄｓｘと前記距離ｄｃｘ２との差が所定値以下であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。
【請求項２８】
前記物体判定部は、前記車両との距離が前記距離ｄｃｘ２と等しい前記特徴点の数が所定数以上であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項２７に記載の物体検知装置。
【請求項２９】
前記点Ｐｓと前記車両との前記ｘ方向における距離をｄｓｘとし、
前記領域Ｒに含まれる前記特徴点の前記ｘ方向における分布について、該分布がピークとなる位置と前記車両との距離をｄｃｘ２とし、
前記点Ｐｓと前記車両との前記ｙ方向における距離をｄｓｙとし、
前記領域Ｒに含まれる前記特徴点の前記ｙ方向における分布について、該分布がピークとなる位置と前記車両との距離をｄｃｙ２として、
前記物体判定部は、前記距離ｄｓｘと前記距離ｄｃｘ２との差が第１の値以下であり、かつ、前記距離ｄｓｙと前記距離ｄｃｙ２との差が前記第１の値よりも小さい第２の値以下であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。
【請求項３０】
前記物体判定部は、前記特徴点を高さによって複数のグループに分け、各グループについて、前記超音波センサおよび前記カメラシステムが同一の物体を検知したか否かを判定する請求項１ないし２９のいずれか１つに記載の物体検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検知装置に関するものである。
【背景技術】
【０００２】
従来、車両に搭載されたカメラを用いて車両の周囲の物体を検知する技術が提案されている。例えば特許文献１では、車両の移動中にカメラによって車両の周囲を２回撮像し、これにより得られた２つの画像に基づいて障害物の位置を検出する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１８７５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、このようにカメラが撮像した画像に基づいて物体を検知する方法では、車両と物体との距離の測定精度にばらつきが生じやすいため、物体の検知精度が低下するおそれがある。
【０００５】
本発明は上記点に鑑みて、カメラを用いた物体検知装置において、検知精度の低下を抑制することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、請求項１に記載の発明では、車両に搭載されて、車両の外部の物体を検知する物体検知装置であって、超音波の送受信により物体を検知し、物体の位置を検出する超音波センサ（１０）と、車両の周囲を撮像して複数の画像を取得し、該複数の画像に基づいて物体を検知するカメラシステム（２０）と、超音波センサおよびカメラシステムが同一の物体を検知したか否かを判定する物体判定部（３０）と、を備え、カメラシステムは、複数の画像から輝度に特徴を有する画素を抽出する特徴画素抽出部（２２）と、特徴画素抽出部によって複数の画像から共通して抽出された画素を特徴点として、特徴点の位置を検出する特徴点検出部（２３）と、を備え、超音波センサを通る平面において、超音波センサが検出した物体の位置を示す点をＰｓとし、点Ｐｓを含む領域をＲとし、領域Ｒに含まれる特徴点の数をＮ１として、物体判定部は、数Ｎ１が所定数以上であるとき、超音波センサおよびカメラシステムが同一の物体を検知したと判定する。
【０００７】
このように、カメラシステムと超音波センサを組み合わせて用い、超音波センサの検出点に近い特徴点の数をカウントして物体の検知結果を確定させることにより、検知精度の低下を抑制することができる。
【０００８】
なお、上記各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係の一例を示すものである。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態にかかる物体検知装置の構成を示す図である。
【図２】第１実施形態における超音波センサの作動を説明するための図である。
【図３】カメラが撮像した画像を示す図である。
【図４】図３に示す画像の鳥瞰変換画像を示す図である。
【図５】第１実施形態における物体検知処理のフローチャートである。
【図６】第２実施形態における超音波センサの作動を説明するための図である。
【図７】第３実施形態における超音波センサの作動を説明するための図である。
【図８】第４実施形態における超音波センサの作動を説明するための図である。
【図９】第５実施形態における鳥瞰変換画像を示す図である。
【図１０】第６実施形態における鳥瞰変換画像を示す図である。
【図１１】第７実施形態における物体検知処理のフローチャートである。
【図１２】他の実施形態における特徴点の分布を示す図である。
【図１３】他の実施形態における特徴点の分布を示す図である。
【図１４】他の実施形態における特徴点の分布を示す図である。
【図１５】他の実施形態における特徴点の分布を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付して説明を行う。
【００１１】
（第１実施形態）
第１実施形態について説明する。本実施形態の物体検知装置は、車両に搭載された超音波センサとカメラによって車両の外部の物体を検知するものである。図１に示すように、物体検知装置は、超音波センサ１０と、カメラシステム２０と、ＥＣＵ３０とを備えている。なお、本実施形態では、物体検知装置は超音波センサ１０を複数備えており、図１では、物体検知装置が備える複数の超音波センサ１０のうちの１つを図示している。
【００１２】
超音波センサ１０は、超音波の送受信により物体を検知し、物体の位置を検出するものであり、マイクロホン１１と、送波部１２と、パルス生成部１３と、受波部１４と、距離算出部１５とを備えている。距離算出部１５、および、後述する特徴画素抽出部２２等は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏなどを備えた周知のマイクロコンピュータによって構成され、ＲＯＭなどに記憶されたプログラムに従って各種演算などの処理を実行する。
【００１３】
マイクロホン１１は、車両の外表面に面して配置されており、物体を検知するための超音波を車両の外側に向けて送信するものである。具体的には、マイクロホン１１は、互いに対向する２つの電極の間に圧電膜が配置された構成の図示しない圧電素子を備えている。そして、２つの電極は送波部１２に接続されており、送波部１２から交流電圧が印加されて圧電膜が変形することにより、マイクロホン１１から車両の外側へ超音波が送信される。
【００１４】
送波部１２は、入力された信号をＤ／Ａ変換し、これにより生成された電圧を出力するものである。送波部１２にはパルス信号を生成するパルス生成部１３が接続されており、送波部１２は、パルス生成部１３から入力されたパルス信号をＤ／Ａ変換し、これにより生成された交流電圧をマイクロホン１１に印加する。
【００１５】
また、マイクロホン１１は、超音波を受信し、受信した超音波の音圧に応じた電圧を出力するように構成されている。具体的には、マイクロホン１１が備える圧電素子の２つの電極は、受波部１４にも接続されており、超音波を受信して圧電膜が変形したときの２つの電極間の電圧が受波部１４に入力されるようになっている。受波部１４は、マイクロホン１１から入力された電圧をＡ／Ｄ変換し、これにより生成された信号を出力する。
【００１６】
距離算出部１５は、受波部１４がＡ／Ｄ変換によって生成した信号を用いて物体との距離を算出するものである。距離算出部１５は、受波部１４から信号が入力されると、この信号に対して直交復調を行い、受信波の振幅を検出する。そして、距離算出部１５は、受信波の振幅を所定の閾値と比較し、パルス生成部１３がパルス信号の生成を開始してから受信波の振幅が閾値以上となるまでの時間に基づいて、物体との距離を算出する。
【００１７】
カメラシステム２０は、車両の周囲を撮像して複数の画像を取得し、該複数の画像に基づいて物体を検知するものであり、カメラ２１と、特徴画素抽出部２２と、特徴点検出部２３とを備えている。
【００１８】
カメラ２１は、車両の周囲を撮像して複数の画像を取得するものである。カメラ２１としては、同時に２枚の画像を撮像可能なステレオカメラや、時間差を設けて２枚の画像を撮像する移動ステレオカメラを用いることができる。カメラ２１は、撮像した画像を特徴画素抽出部２２に送信する。
【００１９】
特徴画素抽出部２２は、カメラ２１が撮像した複数の画像から、輝度に特徴を有する画素を抽出するものである。
【００２０】
例えば、特徴画素抽出部２２は、画像を複数の領域に分割し、各領域の中で輝度がある程度大きく変化しているか否かを判定し、輝度がある程度大きく変化している場合には、領域内の１つの画素を輝度に特徴を有する画素として抽出する。特徴画素抽出部２２は、抽出した画素の情報を特徴点検出部２３に送信する。
【００２１】
特徴点検出部２３は、特徴画素抽出部２２が抽出した画素のうち、複数の画像から共通して抽出された画素を特徴点として、特徴点の位置を検出するものである。カメラシステム２０では、特徴点検出部２３が特徴点を１つ以上検出することにより、物体を検知する。
【００２２】
このように、物体検知装置では、超音波センサ１０およびカメラシステム２０がそれぞれ物体を検知する。そして、超音波センサ１０とカメラシステム２０の検知結果、すなわち、距離算出部１５が算出した距離、および、特徴点検出部２３が検出した特徴点の位置は、ＥＣＵ３０に送信される。
【００２３】
ＥＣＵ３０は、超音波センサ１０とカメラシステム２０が同一の物体を検知したか否かを判定するものであり、物体判定部に相当する。ＥＣＵ３０によって超音波センサ１０とカメラシステム２０が同一の物体を検知したと判定されると、物体の検知結果が確定し、検出された距離に応じて自動ブレーキングや運転者への報知が行われる。
【００２４】
物体検知装置の作動について説明する。物体検知装置では、ＥＣＵ３０が超音波センサ１０およびカメラシステム２０に定期的に物体検知指示を送信する。
【００２５】
超音波センサ１０は、ＥＣＵ３０からの物体検知指示を受信すると、三角測量によって物体との距離を検知する。ここでは、図２に示すように、車両４０に搭載された複数の超音波センサ１０のうちの２つを超音波センサ１０ａ、１０ｂとして、超音波センサ１０ａが超音波を送信するとともに、超音波センサ１０ａ、１０ｂが超音波を受信する場合について説明する。超音波センサ１０ａ、１０ｂは、それぞれ第１センサ、第２センサに相当する。
【００２６】
超音波センサ１０ａが超音波を送信してから超音波を受信するまでの時間をＴＡとし、 超音波センサ１０ａが超音波を送信してから超音波センサ１０ｂが超音波を受信するまでの時間をＴＢとする。そして、時間ＴＡ、ＴＢの間に超音波が進む距離をＬＡ１、ＬＢ１とすると、超音波センサ１０ａと物体との距離はＬＡ１／２、超音波センサ１０ｂと物体との距離はＬＢ１−ＬＡ１／２となる。
【００２７】
したがって、超音波センサ１０ａ、１０ｂの位置を示す点をＡ１、Ｂ１とし、物体の位置を示す点をＰｓ１とすると、点Ｐｓ１は、点Ａ１を中心とした半径ＬＡ１／２の円と、点Ｂ１を中心とした半径ＬＢ１−ＬＡ１／２の円との交点となる。
【００２８】
例えば、超音波センサ１０ａ、１０ｂのいずれか一方の距離算出部１５が、ＬＡ１、ＬＢ１を用いて点Ｐｓ１の位置を求め、点Ｐｓ１に物体が存在するものとして物体との距離を算出する。
【００２９】
なお、ここでは、後述する平面Ｓに物体が存在するものとして物体の位置を算出している。また、距離算出部１５は、例えば線分Ａ１Ｂ１の中点と点Ｐｓ１との距離を車両４０と物体との距離として算出する。距離算出部１５が算出した距離をｄｓとする。
【００３０】
カメラシステム２０は、ＥＣＵ３０からの物体検知指示を受信すると、カメラ２１によって車両の周囲を撮像する。これにより、例えば図３に示すような物体５０が撮像された画像が取得される。カメラ２１は、このような画像を複数撮像する。そして、特徴画素抽出部２２は、複数の画像それぞれから輝度に特徴を有する画素を抽出する。
【００３１】
特徴点検出部２３は、特徴画素抽出部２２が抽出した画素に基づいて特徴点を抽出し、特徴点の位置をＥＣＵ３０に送信する。なお、特徴点検出部２３は、カメラ２１が撮像した画像を図４に示すような鳥瞰画像に変換して特徴点の位置を算出する。
【００３２】
この画像は、超音波センサ１０を通る平面内の画像である。この平面を平面Ｓとする。平面Ｓは、例えば車両の前後左右方向を含む平面や、水平面とされる。平面Ｓに含まれる互いに垂直な２つの方向をそれぞれｘ方向、ｙ方向として、本実施形態では、ｘ方向は、超音波センサ１０ａ、１０ｂが並ぶ方向とされている。
【００３３】
特徴点検出部２３は、図４に示す画像での特徴点の位置、すなわち、平面Ｓ内での特徴点の位置、および、特徴点の高さを求め、ＥＣＵ３０に送信する。なお、図４において、ｈは特徴点の高さ［ｃｍ］である。
【００３４】
ＥＣＵ３０は、超音波センサ１０およびカメラシステム２０から送信された情報に基づいて、図５に示すステップＳ１１〜Ｓ１４によって物体の検知結果を確定させる。ＥＣＵ３０は、超音波センサ１０およびカメラシステム２０に定期的に物体検知指示を送信し、超音波センサ１０およびカメラシステム２０から検知結果を受信すると、図５に示す処理を行う。
【００３５】
ステップＳ１１では、ＥＣＵ３０は、平面Ｓにおいて、超音波センサ１０が検出した物体の位置を示す点Ｐｓを含むように、領域Ｒを設定する。前述したように、本実施形態では超音波センサ１０ａ、１０ｂによって点Ｐｓ１が検出されており、ＥＣＵ３０は、点Ｐｓとして点Ｐｓ１を用いて、領域Ｒを設定する。
【００３６】
図４に示すように、本実施形態では、領域Ｒは、点Ｐｓ１を中心としてｘ方向に平行な所定長さの２つの辺およびｙ方向に平行な所定長さの２つの辺を有する長方形状とされている。このように領域Ｒを簡単な形状とすることで、領域Ｒの設定や、ステップＳ１２における演算が容易になる。
【００３７】
ＥＣＵ３０は、ステップＳ１１からステップＳ１２に進み、特徴点検出部２３から送信された特徴点の位置に基づいて、特徴点検出部２３が検出した特徴点のうち領域Ｒに含まれるものの数Ｎ１を求め、Ｎ１が所定数以上であるか否かを判定する。
【００３８】
例えば、Ｎ１≧５であると判定すると、ＥＣＵ３０はステップＳ１３に進み、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定する。そして、ＥＣＵ３０は、超音波センサ１０およびカメラシステム２０が検出した物体の位置に基づいて、車両から所定距離以内に物体が存在するか否かを判定し、所定距離以内に物体が存在すると判定した場合には運転者への報知などを行い、処理を終了する。
【００３９】
一方、ステップＳ１２にてＮ１≧５でないと判定すると、ＥＣＵ３０はステップＳ１４に進み、所定距離以内に物体が存在するか否かの判定をせずに処理を終了する。
【００４０】
以上説明したように、本実施形態の物体検知装置は、超音波センサ１０とカメラシステム２０の検知結果を組み合わせて用いることにより、物体の検知結果を確定させている。
【００４１】
例えばカメラシステムのみで物体を検知する方法では、車両と物体との距離を測定する際に、特に奥行き方向の測定精度にばらつきが生じやすく、検知精度が低下するおそれがある。カメラシステムにおいて、クラスタリング処理などで精度を向上させることも可能であるが、処理負荷が増加する。また、例えばミリ波レーダとカメラの検知を組み合わせて判定する方法では、精度の高い距離検出が難しいため、特に駐車時のような高い距離分解能が求められるシーンには適していない。
【００４２】
これに対して、本実施形態では、カメラシステム２０に比べて奥行き方向の精度が良い超音波センサ１０をカメラシステム２０に組み合わせて用いることにより、検知精度の低下を抑制することができる。また、領域Ｒに含まれる特徴点の数をカウントするという簡易な方法で検知結果の一致判定を行うので、処理負荷の増加を抑制することができる。
【００４３】
また、カメラシステム２０が通常多数の特徴点を検出するのに対し、超音波センサ１０は物体の位置としてカメラシステム２０よりも少ない数、例えば１つの位置を検出する。そのため、超音波センサ１０をカメラシステム２０に組み合わせて用いることにより、複数の障害物が存在し特徴点の集合の分布が分かれる場合等に、車両と接触する可能性がより高い物体を優先的に検知することができる。
【００４４】
（第２実施形態）
第２実施形態について説明する。本実施形態は、第１実施形態に対して超音波センサ１０による物体の検知方法を変更したものであり、その他については第１実施形態と同様であるため、第１実施形態と異なる部分についてのみ説明する。
【００４５】
第１実施形態では、物体を点として考えて、物体の位置を示す点Ｐｓ１を検出したが、図６に示すような方法によれば、物体を幅がある面として考えて物体位置を検出することができる。
【００４６】
すなわち、超音波センサ１０ａに戻る超音波が反射する位置を示す点をＰｓ２とすると、点Ｐｓ２は、点Ａ１を中心とした半径ＬＡ１／２の円周上にある。そして、物体を面として考えるなら、この面は点Ｐｓ２を通り、直線Ｐｓ２Ａ１に垂直である。図６では、この面を直線Ｌ１で示している。
【００４７】
また、入射角と反射角の関係を考慮すれば、超音波センサ１０ｂに到達する超音波が反射する位置を示す点Ｐｓ３は、直線Ｌ１に対して点Ａ１に対称な点と点Ｂ１とを結ぶ直線と、直線Ｌ１との交点となる。直線Ｌ１に対して点Ａ１に対称な点をＯとすると、線分Ｐｓ３Ａ１の長さは線分ＯＰｓ３の長さに等しく、直線ＯＢ１の長さはＬＢ１となる。したがって、点Ｏは、点Ａ１を中心とする半径ＬＡ１の円と、点Ｂ１を中心とする半径ＬＢ１の円との交点である。
【００４８】
距離算出部１５は、超音波の送受信によって距離ＬＡ１、ＬＢ１が得られたとき、点Ａ１を中心とする半径ＬＡ１の円と点Ｂ１を中心とする半径ＬＢ１の円との交点をＯとし、線分ＯＡ１の中点をＰｓ２とし、点Ｐｓ２を通る直線ＯＡ１の垂線と直線ＯＢ１との交点をＰｓ３とする。そして、距離算出部１５は、線分Ｐｓ２Ｐｓ３上に物体があるものとして、物体との距離を算出する。ＥＣＵ３０は、点Ｐｓとして線分Ｐｓ２Ｐｓ３上の１つの点、あるいは複数の点を用いて、線分Ｐｓ２Ｐｓ３の一部または全体が含まれるように領域Ｒを設定する。
【００４９】
（第３実施形態）
第３実施形態について説明する。本実施形態は、第１実施形態に対して超音波センサ１０による物体の検知方法を変更したものであり、その他については第１実施形態と同様であるため、第１実施形態と異なる部分についてのみ説明する。
【００５０】
図７に示すように、本実施形態の超音波センサ１０は、車両の移動の前後で超音波の送受信を２回行う。なお、ここでは、１回目に超音波を送信してから反射波を受信するまでの間に超音波センサ１０が移動する距離、および、２回目に超音波を送信してから反射波を受信するまでの間に超音波センサ１０が移動する距離を無視して物体との距離を算出する。
【００５１】
本実施形態では、ｘ方向は、超音波センサが１回目に超音波を送信した位置と、２回目に超音波を送信した位置とを結ぶ方向とされている。
【００５２】
超音波センサ１０が１回目に超音波を送信した位置を示す点をＡ２とし、超音波センサ１０が１回目に超音波を送信してから反射波を受信するまでの間に超音波が進んだ距離をＬＡ２とすると、点Ａ２と物体との距離はＬＡ２／２となる。
【００５３】
また、超音波センサ１０が２回目に超音波を送信した位置を示す点をＢ２とし、超音波センサ１０が２回目に超音波を送信してから反射波を受信するまでの間に超音波が進んだ距離をＬＢ２とすると、点Ｂ２と物体との距離はＬＢ２／２となる。
【００５４】
距離算出部１５は、点Ａ２を中心とする半径ＬＡ２／２の円と、点Ｂ２を中心とする半径ＬＢ２／２の円との交点Ｐｓ４に対応する位置に物体があるものとして、物体との距離を算出する。ＥＣＵ３０は、点Ｐｓとして交点Ｐｓ４を用いて、交点Ｐｓ４が含まれるように領域Ｒを設定する。
【００５５】
（第４実施形態）
第４実施形態について説明する。本実施形態は、第１実施形態に対して超音波センサ１０による物体の検知方法を変更したものであり、その他については第１実施形態と同様であるため、第１実施形態と異なる部分についてのみ説明する。
【００５６】
第３実施形態では、物体を点として考えて、物体の位置を示す点Ｐｓ４を検出したが、図８に示すような方法によれば、超音波の送受信を車両の移動の前後で２回行う場合に、物体を幅がある面として考えて物体位置を検出することができる。
【００５７】
すなわち、１回目の送受信で超音波センサ１０に戻る超音波が反射する位置を示す点をＰｓ５とすると、点Ｐｓ５は、点Ａ２を中心とする半径ＬＡ２／２の円周上にある。また、２回目の送受信で超音波センサ１０に戻る超音波が反射する位置を示す点をＰｓ６とすると、点Ｐｓ６は、点Ｂ２を中心とする半径ＬＢ２／２の円周上にある。
【００５８】
そして、物体を面として考えるなら、この面は点Ｐｓ５および点Ｐｓ６を通り、かつ、直線Ｐｓ５Ａ２および直線Ｐｓ６Ｂ２に垂直である。したがって、上記の２つの円の共通接線をＬ２とすると、点Ｐｓ５および点Ｐｓ６は、上記の２つの円と接線Ｌ２の接点となる。
【００５９】
距離算出部１５は、距離ＬＡ２、ＬＢ２を用いて、上記の距離ＬＡ２、距離ＬＢ２、点Ｐｓ５、点Ｐｓ６、直線Ｌ２の関係に基づいて点Ｐｓ５および点Ｐｓ６の位置を求め、線分Ｐｓ５Ｐｓ６上に物体があるものとして、物体との距離を算出する。ＥＣＵ３０は、点Ｐｓとして線分Ｐｓ５Ｐｓ６上の１つの点、あるいは複数の点を用いて、線分Ｐｓ５Ｐｓ６の一部または全体が含まれるように領域Ｒを設定する。
【００６０】
（第５実施形態）
第５実施形態について説明する。本実施形態は、第１実施形態に対して領域Ｒの形状を変更したものであり、その他については第１実施形態と同様であるため、第１実施形態と異なる部分についてのみ説明する。
【００６１】
本実施形態では、領域Ｒが台形状とされている。具体的には、図９に示すように、領域Ｒの形状は、ｘ方向に平行な２つの辺を有する台形状とされており、この２つの辺のうち車両から遠い方が車両に近い方よりも長くされている。
【００６２】
カメラシステム２０による物体位置の検出では、カメラ２１を中心とする円周方向に誤差が生じやすい。したがって、検出誤差が生じやすい方向に沿って領域Ｒを広げ、特徴点をカウントすることにより、超音波センサ１０とカメラシステム２０の検知結果が関連づけされやすくなり、ＥＣＵ３０の判定精度が向上する。
【００６３】
（第６実施形態）
第６実施形態について説明する。本実施形態は、第１実施形態に対して領域Ｒの形状を変更したものであり、その他については第１実施形態と同様であるため、第１実施形態と異なる部分についてのみ説明する。
【００６４】
図１０に示すように、本実施形態の領域Ｒは、中心に対して車両とは反対側に広がる扇状とされている。領域Ｒをこのような形状とすることで、領域Ｒの広がる方向がカメラシステム２０の検出誤差が生じやすい方向にさらによく一致するようになり、ＥＣＵ３０の判定精度がさらに向上する。
【００６５】
（第７実施形態）
第７実施形態について説明する。本実施形態は、第１実施形態に対して検知結果の一致判定処理を変更したものであり、その他については第１実施形態と同様であるため、第１実施形態と異なる部分についてのみ説明する。
【００６６】
本実施形態では、ＥＣＵ３０は、図１１に示す処理によって検知結果の一致判定を行う。すなわち、ＥＣＵ３０は、ステップＳ１１からステップＳ２１に進み、特徴点検出部２３が検出した特徴点のうち、領域Ｒに含まれ、かつ、高さが所定の範囲内にあるものの数をＮ２として、Ｎ２が所定数以上であるか否かを判定する。ＥＣＵ３０は、例えば、領域Ｒに含まれる特徴点のうち２０≦ｈであるものの数が５以上であるか否かを判定する。
【００６７】
上記の所定の範囲については、物体の検知範囲と処理負荷を考慮して設定される。例えば、所定の範囲の下限を、車両が備えるバンパの下端の高さの０．５倍以上２倍以下の高さとし、上限を、車両の高さより大きい値とすることにより、必要な検知範囲の広さを確保しつつ処理負荷を軽減することができる。
【００６８】
ステップＳ２１にてＮ２が所定数以上であると判定すると、ＥＣＵ３０は、ステップＳ２２に進み、車両と特徴点との平均距離ｄｃ、および、車両と特徴点との距離の標準偏差σを算出する。例えば、距離ｄｃとして、領域Ｒに含まれる特徴点とカメラ２１とのｙ方向における距離の平均値ｄｃｙ１を用い、標準偏差σとして、領域Ｒに含まれる特徴点とカメラ２１とのｙ方向における距離の標準偏差σｙを用いる。また、距離ｄｃとして、領域Ｒに含まれる特徴点とカメラ２１とのｘ方向における距離の平均値ｄｃｘ１を用い、標準偏差σとして、領域Ｒに含まれる特徴点とカメラ２１とのｘ方向における距離の標準偏差σｘを用いてもよい。
【００６９】
ＥＣＵ３０は、ステップＳ２２からステップＳ２３に進み、所定の係数をｋとして、距離ｄｓと距離ｄｃとの差の絶対値がｋσ以下であるか否かを判定する。距離ｄｃとしてｄｃｙ１を用い、標準偏差σとしてσｙを用いる場合には、距離ｄｓとして、点Ｐｓと車両とのｙ方向における距離ｄｓｙを用いる。また、距離ｄｃとしてｄｃｘ１を用い、標準偏差σとしてσｘを用いる場合には、距離ｄｓとして、点Ｐｓと車両とのｘ方向における距離ｄｓｘを用いる。
【００７０】
｜ｄｓ−ｄｃ｜≦ｋσであると判定すると、ＥＣＵ３０は、ステップＳ１３に進み、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定する。
【００７１】
ステップＳ２１にてＮ２が所定数以上でないと判定するか、または、ステップＳ２３にて｜ｄｓ−ｄｃ｜≦ｋσでないと判定すると、ＥＣＵ３０はステップＳ１４に進む。
【００７２】
このように、検知結果の一致判定に複数の条件を用いることにより、物体の検知精度がさらに向上する。
【００７３】
（他の実施形態）
なお、本発明は上記した実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。
【００７４】
例えば、上記第１実施形態では２つの超音波センサ１０によって検出した物体の位置を判定に用いたが、３つ以上の超音波センサ１０によって検出した位置を判定に用いてもよい。
【００７５】
また、上記第７実施形態とは異なる高さの範囲について特徴点をカウントしてもよい。例えば、２０≦ｈ＜４０の特徴点のみをカウントしてもよい。
【００７６】
また、上記第７実施形態のステップＳ２３において、｜ｄｓ−ｄｃ｜≦ｋσとは別の条件を用いてもよい。また、上記第１実施形態において、Ｎ１が所定数以上であることに加え、｜ｄｓ−ｄｃ｜≦ｋσ、あるいは、｜ｄｓ−ｄｃ｜≦ｋσとは別の条件を用いて判定を行ってもよい。
【００７７】
例えば、領域Ｒに含まれる特徴点の平均位置を示す点をＰｃとし、点Ｐｓと点Ｐｃとの距離が所定値以下であるときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。
【００７８】
また、超音波センサが点Ｐｓとして複数の点を検出した場合に、複数の点の平均位置と点Ｐｃとの距離が所定値以下であるときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。また、超音波センサが点Ｐｓとして複数の点を検出した場合に、複数の点のうち車両に最も近い点と点Ｐｃとの距離が所定値以下であるときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。
【００７９】
超音波センサ１０が検出した複数の点の平均位置を用いることで、超音波センサ１０の検出誤差の影響を低減することができる。また、複数の点のうち車両に近いものを用いることで、車両により近い物体が優先的に検知されるようになり、車両と物体との接触を回避する性能が向上する。
【００８０】
また、点Ｐｓと点Ｐｃとを比較する場合には、点Ｐｓと点Ｐｃとのｘ方向の距離ｄｘを用いてもよいし、ｙ方向の距離ｄｙを用いてもよい。また、距離ｄｘおよび距離ｄｙの両方を用いてもよい。
【００８１】
なお、上記第１、第３実施形態のようにｘ方向を定めた場合、超音波センサ１０による位置の検出は、ｘ方向よりもｙ方向の精度が高くなる。そこで、物体の検知精度を向上させるために距離の判定の基準範囲を狭くする場合には、距離ｄｘよりも距離ｄｙについての基準範囲を狭くしてもよい。すなわち、所定の値をｋｘ１、ｋｙ１とし、ｋｘ１＞ｋｙ１として、距離ｄｘがｋｘ１以下であり、かつ、距離ｄｙがｋｙ１以下であるとき、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。ｋｘ１、ｋｙ１は第１の値、第２の値に相当する。
【００８２】
また、検知精度を向上させるために、特徴点の分布のばらつきが大きいときは検知結果を確定しないようにしてもよい。例えば、標準偏差σｘが所定値以下のとき、あるいは、標準偏差σｙが所定値以下のときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。
【００８３】
特徴点の分布のばらつきを用いる場合にも、特徴点の平均位置を用いる場合と同様に、ｘ方向の距離よりもｙ方向の距離についての基準範囲を狭くしてもよい。すなわち、所定の値をｋｘ２、ｋｙ２とし、ｋｘ２＞ｋｙ２として、標準偏差σｘがｋｘ２以下であり、かつ、標準偏差σｙがｋｙ２以下であるとき、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。ｋｘ２、ｋｙ２は第１の値、第２の値に相当する。
【００８４】
また、領域Ｒに含まれる特徴点のｙ方向における分布について、分布がピークとなる位置と車両との距離をｄｃｙ２として、距離ｄｓｙと距離ｄｃｙ２との差が所定値以下であるときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。例えば、図１２に示すように距離のピークが２つ存在する場合には、いずれか一方のピークと距離ｄｓｙとの差が所定値以下となればよい。
【００８５】
分布のピーク位置は平均位置よりも物体の実際の位置に近いので、ピーク位置を判定に用いることにより、平均位置を用いる場合に比べて、物体の検知精度をさらに向上させることができる。
【００８６】
また、車両との距離が距離ｄｃｙ２と等しい特徴点の数が所定数以上であるときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。なお、ここで、車両との距離が距離ｄｃｙ２と等しい特徴点には、車両との距離が距離ｄｃｙ２とほぼ等しい特徴点も含まれる。
【００８７】
また、領域Ｒに含まれる特徴点の分布について、分布がピークとなる位置と超音波センサとの距離をｄｃｘ２として、距離ｄｓｘと距離ｄｃｘ２との差が所定値以下であるときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。
【００８８】
また、車両との距離が距離ｄｃｘ２と等しい特徴点の数が所定数以上であるときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。ここで、車両との距離が距離ｄｃｘ２と等しい特徴点には、車両との距離が距離ｄｃｘ２とほぼ等しい特徴点も含まれる。
【００８９】
また、所定の値をｋｘ３、ｋｙ３とし、ｋｘ３＞ｋｙ３として、｜ｄｓｘ−ｄｃｘ２｜≦ｋｘ３であり、かつ、｜ｄｓｙ−ｄｃｙ２｜≦ｋｙ３であるとき、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。ｋｘ３、ｋｙ３は第１の値、第２の値に相当する。
【００９０】
また、｜ｄｓ−ｄｃ｜が所定値以下のときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。また、標準偏差σが所定値以下であるときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。
【００９１】
また、領域Ｒに含まれる特徴点を高さによって複数のグループに分け、各グループについてＥＣＵ３０による判定を行ってもよい。この場合に、１つ以上のグループについてＮ１等に関する条件が満たされたときに、超音波センサ１０とカメラシステム２０が同一の物体を検知したと判定してもよい。
【００９２】
例えば、｜ｄｓ−ｄｃ｜が所定値以下であるという条件を用いる場合に、３０≦ｈ、２０≦ｈ＜３０、ｈ＜２０の特徴点がそれぞれ図１３〜図１５に示すように分布することがある。すなわち、３０≦ｈ、２０≦ｈ＜３０の特徴点について、ｈ＜２０の特徴点に比べて｜ｄｓ−ｄｃ｜が大きくなることがある。このような場合、３０≦ｈ、２０≦ｈ＜３０の特徴点について｜ｄｓ−ｄｃ｜が所定値以下でなくても、ｈ＜２０の特徴点について｜ｄｓ−ｄｃ｜が所定値以下であれば、ＥＣＵ３０は、超音波センサ１０とカメラシステム２０が同一の物体を検知したと判定する。
【００９３】
例えば、幅の広い土台を有する柱や、直立せず斜めに立っている柵など、高さによって水平方向の幅や位置が異なる形状の物体が車両の周囲に存在すると、特徴点の分布ピークの奥行距離と超音波センサ１０が検出した距離とが異なる場合がある。このような場合に、特徴点の高さのグループごとに超音波センサ１０とカメラシステム２０の検知結果の一致判定を行うことで、物体を正しく検知することができる。また、点Ｐｓが物体のどの高さから検出されたかを調べることができるため、超音波センサ１０とカメラシステム２０の検知結果を精度よく対応させることができる。
【符号の説明】
【００９４】
１０  超音波センサ
２０  カメラシステム
２２  特徴画素抽出部
２３  特徴点検出部
３０  ＥＣＵ
【図１】
2019086406.tif 000003
【図２】
2019086406.tif 000004
【図３】
2019086406.tif 000005
【図４】
2019086406.tif 000006
【図５】
2019086406.tif 000007
【図６】
2019086406.tif 000008
【図７】
2019086406.tif 000009
【図８】
2019086406.tif 000010
【図９】
2019086406.tif 000011
【図１０】
2019086406.tif 000012
【図１１】
2019086406.tif 000013
【図１２】
2019086406.tif 000014
【図１３】
2019086406.tif 000015
【図１４】
2019086406.tif 000016
【図１５】
2019086406.tif 000017