(57)【要約】【課題】必要とされる情報提供のみが行われる装置を提供すること。【解決手段】画像取得手段１と、距離検出手段２と、コンピュータ３と、情報提供手段４と、を車両１０に備え、コンピュータ３が、画像データと距離データとを演算処理することにより車両の周囲に存在する物体に対して注意が必要か否かを判断する注意可否判断機能と、注意が必要であると判断されると情報提供手段４にて車両乗員に情報を提供するよう指令を出す情報提供機能と、を備え、画像取得手段１にて画像データを取得する範囲の中心に位置する画像取得用基準軸を設定すると共に、距離検出手段２にて距離データを検出する範囲に位置する距離検出用基準軸を設定し、画像取得用基準軸と距離検出用基準軸とが同一軸上に位置するよう画像取得手段１と距離検出手段２とを配設した。【選択図】図１
2005025692.tif 000002
【特許請求の範囲】
【請求項１】
車両周囲の画像データを取得する画像取得手段と、車両周囲に存在する物体までの距離データを検出する距離検出手段と、前記画像取得手段による画像データ取得動作及び前記距離検出手段による距離データ取得動作を制御すると共に前記画像データと前記距離データとを演算処理するコンピュータと、車両内の乗員に対して車両周囲の物体に対する情報提供を行う情報提供手段と、を前記車両に備え、
前記コンピュータが、前記画像データと前記距離データとを演算処理することにより車両の周囲に存在する物体に対して注意が必要か否かを判断する注意可否判断機能と、注意が必要であると判断されると前記情報提供手段にて車両乗員に情報を提供するよう指令を出す情報提供機能と、を備えた車両用情報提供装置において、
前記画像取得手段にて画像データを取得する範囲の中心に位置する画像取得用基準軸を設定すると共に、前記距離検出手段にて距離データを検出する範囲の中心に位置する距離検出用基準軸を設定し、
前記画像取得用基準軸と前記距離検出用基準軸とが同一軸上に位置するよう前記画像取得手段と前記距離検出手段とを配設したことを特徴とする車両用情報提供装置。
【請求項２】
前記コンピュータが、前記画像取得手段にて取得する画像データと前記距離検出手段にて検出する距離データとをそれぞれ複数の領域に分割すると共に、これら分割領域をそれぞれ対応させて設定する領域分割機能を備え、
前記注意可否判断機能は、前記所定の分割領域におけるデータに対して処理を行う機能を有する、ことを特徴とする請求項１記載の車両用情報提供装置。
【請求項３】
前記注意可否判断機能は、前記分割された距離データを用いて車両に対して所定の距離の範囲内に物体が存在するか否かを判断すると共に、当該所定の距離範囲に物体が存在する領域に対応した前記画像データの分割領域において注意を要する物体が存在するか否かを判断する機能を有する、ことを特徴とする請求項２記載の車両用情報提供装置。
【請求項４】
前記注意可否判断機能は、前記分割された画像データを用いて車両に接近する物体が存在するか否かを判断すると共に、当該接近する物体が存在する領域に対応した前記距離データの分割領域において注意を要する物体が存在するか否かを判断する機能を有する、ことを特徴とする請求項２記載の車両用情報提供装置。
【請求項５】
前記コンピュータが、前記画像取得手段にて取得する画像データと前記距離検出手段にて検出する距離データとをそれぞれ複数の領域に分割すると共に、これら分割領域をそれぞれ対応させて設定する領域分割機能と、前記画像データ及び前記距離データを前記分割領域毎に取得可能なよう前記画像取得手段及び前記距離検出手段の動作を制御する共に、これら分割領域をそれぞれ対応させて設定する分割データ取込機能を備え、
前記注意可否判断機能は、前記所定の分割領域におけるデータに対して処理を行う機能を有する、ことを特徴とする請求項１記載の車両用情報提供装置。
【請求項６】
前記注意可否判断機能は、前記距離データを用いて車両に対して所定の距離の範囲内に物体が存在するか否かを判断すると共に、当該所定の距離範囲に物体が存在する場合に当該物体が存在する前記距離データ上の分割領域に対応する前記画像データ上の分割領域を特定して前記分割データ取込機能に通知する取込領域特定機能と、前記分割データ取込機能にて取得された特定の分割領域にかかる画像データを用いて注意を要する物体が存在するか否かを判断する機能とを有し、
前記分割データ取込機能は、前記取込領域特定機能による通知に基づいて前記画像取得手段にて前記特定の分割領域にかかる前記画像データを取得する機能を有する、ことを特徴とする請求項５記載の車両用情報提供装置。
【請求項７】
前記注意可否判断機能は、前記画像データを用いて車両に接近する物体が存在するか否かを判断すると共に、当該接近する物体が存在する場合に当該物体が存在する前記画像データ上の分割領域に対応する前記距離データ上の分割領域を特定して前記分割データ取込機能に通知する取込領域特定機能と、前記分割データ取込機能にて取得された特定の分割領域にかかる距離データを用いて注意を要する物体が存在するか否かを判断する機能とを有し、
前記分割データ取込機能は、前記分割領域特定機能による通知に基づいて前記距離検出手段にて前記特定の分割領域にかかる前記距離データを検出する機能を有する、ことを特徴とする請求項５記載の車両用情報提供装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用情報提供装置にかかり、特に、車両周囲の画像データ及び距離データを用いて、車両周囲の物体に対して車両が注意すべきか否かを判断し、注意が必要である場合には、車両内の乗員に対して情報提供を行う、車両用情報提供装置に関する。
【背景技術】
【０００２】
従来より、車両周囲の状況を、カメラにて取得する画像データや、距離センサにて検出する距離データを用いて認識し、かかるデータを演算処理することにより、他の走行車両や他の物体に対して注意が必要であると判断した場合に車内に警報を発する、という車両用警報装置が開発されている。
【０００３】
例えば、以下に示す特許文献１乃至２には、カメラと距離センサとを備え、周囲状況を認識する装置が開示されている。そして、具体的に特許文献１に開示されている装置は、距離データと画像データとを組み合わせて、車両後方領域の状況を車内モニタに表示するというものである。また、特許文献２に開示されている装置では、まず、カメラにて取得した画像データからオプティカルフローを求め、当該算出したオプティカルフローから車両が接近してくることを認識する。そして、かかる接近車両の相対速度を距離センサから取得したデータにて検出する。これに基づいて、車両に注意が必要であれば、乗員に情報提供を行うというものである。
【０００４】
【特許文献１】特開平３−８５０６９号公報
【特許文献２】特開平２−２４１８５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来例における装置では、以下のような不都合があった。すなわち、カメラと距離センサとを同時に使用する場合には、これらによる取得データである画像データと距離データとの一致精度が問題となる。具体的には、カメラと距離センサとの取得範囲のずれによって、誤って車両周囲の物体を注意すべき物体と認識してしまう恐れがある。このため、車両内では不要な情報提供が行われる場合があり、乗員にとって煩わしさが生じる、という問題があった。
【０００６】
従って、車両用情報提供装置としては、車両周囲の物体が注意を要するものであるか否かを精度よく認識し、必要とされる情報提供のみがされることが望まれる。
【課題を解決するための手段】
【０００７】
そこで、本発明では、車両周囲の画像データを取得する画像取得手段と、車両周囲に存在する物体までの距離データを検出する距離検出手段と、画像取得手段による画像データ取得動作及び距離検出手段による距離データ取得動作を制御すると共に画像データと距離データとを演算処理するコンピュータと、車両内の乗員に対して車両周囲の物体に対する情報提供を行う情報提供手段と、を車両に備え、コンピュータが、画像データと距離データとを演算処理することにより車両の周囲に存在する物体に対して注意が必要か否かを判断する注意可否判断機能と、注意が必要であると判断されると情報提供手段にて車両乗員に情報を提供するよう指令を出す情報提供機能と、を備えている。そして、画像取得手段にて画像データを取得する範囲の中心に位置する画像取得用基準軸を設定すると共に、距離検出手段にて距離データを検出する範囲の中心に位置する距離検出用基準軸を設定し、画像取得用基準軸と距離検出用基準軸とが同一軸上に位置するよう画像取得手段と距離検出手段とを配設した、という構成を採っている。
【０００８】
また、コンピュータが、画像取得手段にて取得する画像データと距離検出手段にて検出する距離データとをそれぞれ複数の領域に分割すると共に、これら分割領域をそれぞれ対応させて設定する領域分割機能を備え、注意可否判断機能は、所定の分割領域におけるデータに対して処理を行う機能を有する、という構成にすると望ましい。
【０００９】
そして、注意可否判断機能は、分割された距離データを用いて車両に対して所定の距離の範囲内に物体が存在するか否かを判断すると共に、当該所定の距離範囲に物体が存在する領域に対応した画像データの分割領域において注意を要する物体が存在するか否かを判断する機能を有する、という構成にするとなお望ましい。
【００１０】
あるいは、注意可否判断機能は、分割された画像データを用いて車両に接近する物体が存在するか否かを判断すると共に、当該接近する物体が存在する領域に対応した距離データの分割領域において注意を要する物体が存在するか否かを判断する機能を有する、という構成にしてもよい。
【００１１】
さらに、コンピュータが、画像取得手段にて取得する画像データと距離検出手段にて検出する距離データとをそれぞれ複数の領域に分割すると共に、これら分割領域をそれぞれ対応させて設定する領域分割機能と、画像データ及び距離データを分割領域毎に取得可能なよう画像取得手段及び距離検出手段の動作を制御する共に、これら分割領域をそれぞれ対応させて設定する分割データ取込機能を備え、注意可否判断機能は、所定の分割領域におけるデータに対して処理を行う機能を有する、という構成にすると望ましい。
【００１２】
そして、上記構成において、注意可否判断機能は、距離データを用いて車両に対して所定の距離の範囲内に物体が存在するか否かを判断すると共に、当該所定の距離範囲に物体が存在する場合に当該物体が存在する距離データ上の分割領域に対応する画像データ上の分割領域を特定して分割データ取込機能に通知する取込領域特定機能と、分割データ取込機能にて取得された特定の分割領域にかかる画像データを用いて注意を要する物体が存在するか否かを判断する機能とを有し、分割データ取込機能は、取込領域特定機能による通知に基づいて画像取得手段にて特定の分割領域にかかる画像データを取得する機能を有する、という構成にするとなお望ましい。
【００１３】
あるいは、注意可否判断機能は、画像データを用いて車両に接近する物体が存在するか否かを判断すると共に、当該接近する物体が存在する場合に当該物体が存在する画像データ上の分割領域に対応する距離データ上の分割領域を特定して分割データ取込機能に通知する取込領域特定機能と、分割データ取込機能にて取得された特定の分割領域にかかる距離データを用いて注意を要する物体が存在するか否かを判断する機能とを有し、分割データ取込機能は、分割領域特定機能による通知に基づいて距離検出手段にて特定の分割領域にかかる距離データを検出する機能を有する、という構成にしてもよい。
【発明の効果】
【００１４】
上記のような構成にすることにより、画像取得手段と距離検出手段とが同一軸を中心として車両周囲の画像データ及び距離データを検出するため、これら検出されたデータは検出範囲が精度よく一致することとなる。従って、かかるデータに基づいて行われる車両周囲の物体に対して注意が必要か否かの判断の結果を、精度よく得ることができ、より確実な情報提供を行うことが可能となる。
【００１５】
また、画像データ及び距離データ共に、それぞれが対応した所定の領域において、注意を要する物体が存在するか否かが判断されるため、処理範囲を限定することができ、処理負担の軽減を図ることができる。また、距離データを用いて所定の距離の範囲内に物体が存在するか否かを判断して、存在する場合にはかかる領域のみの画像データを用いてに注意を要する物体が存在するか否かの判断を行うことで、さらなる処理負担の軽減を図ることができる。そして、逆に、画像データを用いて接近する物体が存在するか否かを判断し、存在する場合にはかかる領域のみの距離データを用いて注意を要する物体が存在するか否かの判断を行うことにより、上記同様に処理負担の軽減を図ることができる。このとき、処理を行う分割領域のみのデータを取得する構成とすると、データ取得におけるコンピュータの負担をさらに軽減することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を実施するための最良の形態を、実施例１乃至２を参照して説明する。
【実施例１】
【００１７】
本発明の実施例１を、図１乃至図８を参照して説明する。図１は、本発明である車両用情報提供装置の構成を示す機能ブロック図である。図２乃至図３は、画像取得手段及び距離検出手段の取付状態を示す説明図である。図４乃至図６は、画像データ及び距離データの処理の様子を示す説明図である。図７乃至図８は、装置の動作を示すフローチャートである。
【００１８】
（全体構成）
図１に示すように、実施例１における車両用情報提供装置は、車両１０周囲の画像データを取得する画像取得手段としてのカメラ１と、車両１０周囲に存在する物体までの距離データを検出する距離検出手段としての距離センサ２と、画像データ及び距離データを演算処理するコンピュータ３と、車両内の乗員に対して車両周囲の物体に対する情報提供を行う情報提供手段としての情報提供装置４と、を車両１０に備えている。
【００１９】
そして、コンピュータ３にて画像データ及び距離データを演算処理することにより車両周囲の物体に注意が必要か否かを判断し、注意が必要である場合には情報提供装置４を介して情報提供を行う、という装置である。以下、構成について詳述する。
【００２０】
（車両）
まず、本発明である車両用情報提供装置が配設される車両１０は、図２（ａ）に示すように４輪車両である。そして、後述するように、車両１０の前方あるいは後方の側部に、カメラ１（画像取得手段）及び距離センサ２（距離検出手段）が備えられている。そして、この図２（ａ）では、車両１０の左側側部にカメラ１等を備える例を示しているが、これに限定されない。本実施例１では、特に、当該車両１０の右側側部に配設し、右側後方に存在する他車両などの物体の認識を行う。なお、車両１０は、厳格に４輪のものであることに限定されず、６輪以上にて構成されるトラックなどの大型車両であってもよく、２輪、３輪にて構成される車両であってもよい。また、物体を認識する方向は、右側後方に限定されず、左側後方や、前方であってもよい。
【００２１】
（情報提供手段）
情報提供手段４は、車両１０の内部に備えられており、本実施形態では、運転者に注意を喚起する音を発する情報提供装置４である。この情報提供装置４は、後述するように、車両１０に備えられたコンピュータ３にてその動作が制御される。
【００２２】
また、情報提供装置４による情報提供方法は、複数のパターンが用意されている。例えば、２パターンの音が用意されており、後に説明するように検出された物体までの距離に応じて特定のパターンの音が出力されるようになっている。さらに具体的には、障害物までの距離が１０［ｍ］であって情報提供すべきと判断される場合には、第１のパターン音が発せられ、さらに５［ｍ］まで近づいたら第２のパターン音が発せられるようになる。そして、第１のパターン音よりも第２のパターン音の方が、音が大きく、運転者により注意を促す警告音となるよう設定されている。但し、情報提供装置４からの音は、上記のようなものに限定されない。
【００２３】
なお、情報提供装置４は、音により情報提供することに限定されず、インストルメントパネルなどに表示する点灯ランプにて障害物に注意すべき情報を提供してもよい。このとき、上述した音による情報提供装置を組み合わせたものや、他の構成により運転者に注意を喚起するものであってもよい。なお、表示による警報の場合には、障害物までの距離に応じて、表示の点灯パターンが変化する構成であってもよい。
【００２４】
（画像取得手段）
画像取得手段１は、本実施例１においては広角レンズを装着したＣＣＤカメラ１であり、所定の範囲の画像を撮影するものである。そして、所定のサンプリングタイム毎に撮影して、取得した画像データをコンピュータ３に伝送する。
【００２５】
ここで、図２にカメラ１及び後述する距離センサ２に関する説明図を示すが、図２（ａ）には、カメラ１及び距離センサ２の取り付け位置を、図２（ｂ）には、それらによる測定範囲を示す。
【００２６】
まず、図２（ａ）に示すように、カメラ１及び距離センサ２は符号Ａ１〜Ａ５の位置に備えるとよい。このとき、カメラ１及び距離センサ２を車両左側に取り付けるよう図示しているが、右側の同様の位置に取り付けることができる。例えば、車両右側の符号Ａ２に対応する位置、すなわち、車両右側のサイドミラーに撮影方向を後方に向けて（レンズを後方に向けて）備えることにより、図２（ｂ）の略扇形状（符号Ｒ１）に示す車両１０の右側後方の範囲を画像取得範囲として設定することができる。なお、後述するように、同様の範囲が距離センサ２による距離データ検出範囲ともなる。但し、カメラ１あるいは距離センサ２の取付位置はかかる位置に限定されるものではなく、また、測定範囲もこれらに限定されるものではない。ここで、カメラ１及び距離センサ２を車両１０に取り付けた状態の位置関係については、後述する。
【００２７】
そして、カメラ１にて取得される画像データは、例えば、１画素あたり２５６階調のモノクロ画像として取得され、ある時間における一枚の画像（フレーム）として撮影される。複数のフレームが撮影されると、これらのうち連続するフレームがわかるよう区別され、コンピュータ３にて一時保持される。ここで、画像取得手段は、ＣＣＤカメラ１に限定されず、画像を取得できるものであればよい。
【００２８】
なお、カメラ１の画像取得動作は、後述するように、コンピュータ３にてその動作が制御される。すなわち、コンピュータ３の指示に基づいて画像データを取得し、取得した画像データをコンピュータ３に送信する。例えば、所定の時間間隔毎に、距離データと共に取得されるよう設定されている。
【００２９】
（距離検出手段）
障害物検出手段２は、車両１０外部に存在する物体を検出し、当該物体の位置に関するデータである方向及び距離を検出する距離センサ２である。具体的には、レーザレーダにて構成されている。ここで、レーザレーダは、近赤外レーザビームを物体検出範囲に照射して、当該物体にて反射して戻ってくる光を受光し、そのときの時間差から物体までの距離を計測する、というものである。なお、レーザレーダである距離センサ２は、後述するように、コンピュータ３にてその動作が制御され、距離データの取得はコンピュータ３にて行われる。
【００３０】
ここで、上記ではレーザレーダを距離センサ２として説明したが、これに限定されるものではない。距離センサ２は、ミリ波レーダ、スキャン式光電管、スキャン式超音波センサ、画像と距離とを同時に測定可能なレンジファインダ、などであって、障害物の位置を検出できるものであればよい。また、二次元距離情報に限られず、三次元距離情報を取得できるものであってもよい。
【００３１】
そして、本実施形態では、距離センサ２は、上記カメラ１とほぼ同一の位置に備えられる。例えば、図２（ｂ）に示すよう、サイドミラーに備えられている場合には、車両１０の右側後方の扇形状に示す範囲Ｒ１の距離データを取得することができる。具体的には、距離センサ２では、レーザを車両１０の側面に沿って後方に所定の角度毎に一定の範囲をスキャンするよう照射される。そして、当該センサ２にて、かかる範囲内に存在する物体の二次元距離データが取得される。換言すると、車両側面に沿った後ろ方向を角度０度として当該側面と照射レーザの角度θと、かかる角度θ上に存在する物体までの距離Ｌとを計測する。そして、計測した角度と距離データを、後述するコンピュータ３に出力することで、コンピュータ３は、データ番号から同時刻における障害物までの距離Ｌと角度θを得ることができ、距離分布を生成することができる。
【００３２】
ここで、上記カメラ１と距離センサ２との取り付け位置について、図３を参照して説明する。まず、図３（ａ）に示すように、当然のことながら、距離センサ２の距離データ検出方向を車両外部方向に向けて配置して、車両１０内に備える。そして、距離センサ２の距離データ検出方向に、距離センサ２からのレーザを透過するハーフミラー１１を車両１０に配設する。このハーフミラー１１は、距離センサ２から出力されるレーザを車両外部方向に向けて透過すると共に、車両外部に存在する物体にて反射したレーザを当該車両外部から距離センサ２に戻るよう透過する（矢印Ｙ１参照）。これにより、図３（ａ）の網掛け範囲Ｒ１１に示すように、距離センサ２による距離データの検出範囲が設定される。ここで、距離データ検出範囲の中心に位置する距離検出用基準軸を符号Ｃ２にて示す。
【００３３】
一方、カメラ１は、図３（ｂ）に示すように、距離センサ２とは異なる位置に備える。そして、カメラ１による画像取得方向を、ハーフミラー１１の車両外部側の面に向かうよう設定する。これにより、車両外部の所定範囲Ｒ１０における画像がハーフミラー１１に反射してカメラ１に取得されることとなる（矢印Ｙ２及びＹ３参照）。ここで、画像データ取込範囲の中心に位置する画像取得用基準軸を符号Ｃ１に示す。
【００３４】
そして、これらを組み合わせた構成を図３（ｃ）に示す。この図に示すように、カメラによる画像データ取得範囲Ｒ１０と、距離センサ２による距離データ検出範囲Ｒ１１とをほぼ一致するよう、カメラ１及び距離センサ２の取り付け位置を調整して配置する。
【００３５】
このとき、特に、本発明においては、カメラ１及び距離センサ２の各データ取得範囲の中心となる基準軸、すなわち、画像取得用基準軸Ｃ１と距離検出用基準軸Ｃ２とが同一軸上に位置するよう、当該カメラ１及び距離センサ２の取り付け位置を設定する。これにより、各データの取込範囲の中心が一致することとなり、後述するようにこれらデータに基づいて注意すべき物体の検出を行う際に、誤検出を抑制することができる。そして、さらに、画像データ及び距離データとを同一スケールにて取得することで、全く同一範囲の各データを取得することができるため、位置のずれが抑制される。
【００３６】
（コンピュータ）
コンピュータ３は、車両１０の内部に備えられ、演算手段としてのＣＰＵと、記憶手段としてＲＯＭやＲＡＭなどのメモリとを備えた一般的なコンピュータである。そして、コンピュータ３は、カメラ１、距離センサ２、さらには、情報提供装置４に接続されていて、これらの動作を制御する。
【００３７】
ここで、コンピュータ３が有する各機能について説明する。なお、各機能は、所定のプログラムがＣＰＵに組み込まれることにより、当該ＣＰＵに各機能として作動する各処理部が構築されることで実現される。そして、ＣＰＵに組み込まれるプログラムは、あらかじめコンピュータ３内のメモリに記憶されていて、実行時に読み出され、あるいは、別の記憶媒体に記憶されており、当該媒体からプログラムデータがメモリに転送されて提供されても良い。
【００３８】
そして、コンピュータ３のＣＰＵ内に構築される処理部には、図１に示すように、まず、画像データ取得部３１と距離データ取得部３２とがある。これら各処理部３１，３２により、カメラ１及び距離センサ２の動作を制御し、カメラ１から画像データ、距離センサ２から距離データを取得する。すなわち、データ取得機能が実現される。特に、データ取得機能は、本発明である車両用情報提供装置が作動すると、所定の時間間隔毎に、常に画像データ及び距離データを取得するよう設定されている。そして、これらのデータは同時に取得される。但し、画像データ取得部３１及び距離データ取得部３２によるデータ取得機能は、上記のように各データを取得することに限定されない。所定のタイミングにて、別々にそれぞれのデータを取得するよう機能してもよい。
【００３９】
また、ＣＰＵ内には、画像処理部３３、距離判定部３４、マスク処理部３５、注意判断部３６が構築される。これら各処理部３３，３４，３５，３６と上記各データ取得部３１，３２とにより、コンピュータにて画像データ及び距離データが演算処理され、車両１０の周囲に存在する物体に対して注意が必要か否かを判断する注意可否判断機能が実現される。さらに、ＣＰＵ内には、情報提供指令部３７が構築され、これにより、注意が必要であると判断されると情報提供装置４にて車両乗員に情報を提供するよう指令を出す情報提供機能が実現される。
【００４０】
ここで、コンピュータにて処理される画像データ、距離データは、それぞれ複数の領域に分割されて設定されている。すなわち、コンピュータ３にて各データが分割設定されて、さらに、それぞれのデータにおける各領域が、一対一の対応関係にあるよう設定される。かかる様子を図４に示す。図４（ａ）には画像データＤ１の分割状態を示し、図４（ｂ）には距離データＤ２の分割状態を示す。かかる図に示すように、左上から横方向に、各領域番号として１−１，１−２，１−３と設定されると共に、縦方向には、１−１，２−１，３−１と設定されており、これら同一の領域番号においては、車両外の同一範囲を検出していることとなっている。具体的には、上述したように、画像データ及び距離データの中心付近の分割領域は、カメラ１及び距離センサ２の基準軸Ｃ１，Ｃ２が一致していることから、同一の場所の画像及び距離データを取得していることは当然である。そして、各データの取得範囲を同一範囲に設定することで、各データの分割領域を上述したように一対一に対応させることが可能となる。なお、図４（ａ）及び図４（ｂ）内で符号Ｌ１，Ｌ２に示されている点線は、車両１０が走行している道路の車線であって、画像データ及び距離データが同時に取得されたものであるとすると、これらはほぼ一致することとなる。
【００４１】
また、注意可否判断機能としての画像処理部３３、距離判定部３４、注意判断部３６等は、所定の分割領域に対して処理を行う機能をも有する。すなわち、データ取得範囲全体に対して注意を要する物体を認識する処理を行うことなく、所定の分割領域に限って物体認識処理を行うことも可能である。これについては後述する。
【００４２】
具体的に、各処理部の機能を説明すると、まず、距離判定部３４は、距離センサ２にて取得した距離データを、データ取得部３２を介して取得し、かかる距離データ内にあらかじめ定められた距離以内に物体が存在するか否かを調べる。例えば、あらかじめ定められた距離（以下、注意判断開始距離ともいう）とは、実験などにより設定されており、コンピュータ３内のメモリに記憶されている。例えば、２０［ｍ］という距離である。そして、かかる距離以内に物体が存在すると判断すると、その物体が存在する分割領域番号を特定し、マスク処理部３５に出力する。
【００４３】
マスク処理部３５は、分割領域番号を画像処理部３３に通知する。なお、マスク処理部３５は画像データ取得部３１に分割番号を通知してもよい（図１の点線参照）。かかる処理については変形例として後述する。
【００４４】
そして、画像処理部３３は、画像データ取得部３１にて距離データと同時に取得されたカメラ１からの画像データを取得し、かかる画像データにおいてオプティカルフローの算出を行う。このとき、コンピュータ３内のメモリ（図示せず）には、現在取得した画像データと時間的に前後する画像データが蓄積されており、これらを用いてオプティカルフローの算出処理を行う。ここで、オプティカルフローの算出処理は、マスク処理部３５にて通知された分割領域番号に対応する画像データ上の分割領域に対して行う。さらに図５を参照して詳述すると、距離データＤ２上で注意判断開始距離以下に物体が存在すると認識された領域Ｂ１１，１２に対応する画像データＤ１上の分割領域であって（矢印Ｙ１１，Ｙ１２参照）、かかる領域Ｂ１１，Ｂ１２を中心とした周囲の領域Ｂ１，Ｂ２をオプティカルフロー算出範囲とする（Ｂ１１，１２に示す塗りつぶし領域と、その周囲の斜線領域を参照）。但し、オプティカルフロー算出範囲は、図５に示すものに限定されるわけではない。
【００４５】
そして、画像処理部３３によるオプティカルフローの算出処理の一例を、図６に示す。まず、図６（ａ）（１），（２）は、時間的に連続して取得されたフレーム画像である。かかる画像内には、２つの物体Ｅ１，Ｅ２が存在していることとする。これら連続するフレーム画像からオプティカルフローを算出すると、図６（ａ）（３）の矢印Ｖ１〜Ｖ６に示すようなオプティカルフローを得ることができる。ここで、オプティカルフローとは、撮影画像上のある特徴点の動きベクトルであり、これを算出することにより、車両１０に対して相対的に動いている物体の移動方向、及び、速度を認識することができる。具体的には、連続するフレーム上で同一の特徴点を抽出することにより、オプティカルフローを算出することができる。
【００４６】
そして、これらオプティカルフローＶ１〜Ｖ６から、自車両１０に接近している物体を検出する。図６の例においては、オプティカルフローが自車両に向かっている物体Ｅ１を接近している物体として認識し、かかる物体Ｂ１が存在する画像データ上の分割領域を特定すると共に、その周囲の領域をも特定する。その例を、図６（ｂ）の符号Ｅ１０に示す。そして、かかる分割領域に関する情報を、注意判断部３６に通知する。
【００４７】
注意判断部３６では、この分割領域Ｅ１０に存在する物体に注意が必要か否かを判断するが、このとき、距離センサ２にて常に一定時間間隔毎に検出されている距離データを、距離データ取得部３２を介して取得する。そして、かかる分割領域Ｅ１０内の物体Ｅ１に対する距離を調べ、あらかじめ定められた注意が必要とされる距離（以下、注意距離ともいう）の範囲内に存在するようであれば、当該物体Ｂ１に注意が必要であると判断し、情報提供指令部３７に通知する。
【００４８】
そして、情報提供指令部３７は、かかる通知を受けると情報提供装置４に対して情報提供を出力するよう指令する。これにより、情報提供装置４からは、運転者等に注意を促す音による情報提供が出力される。
【００４９】
（動作）
次に、本実施例の動作を、図７乃至図８のフローチャートを参照して説明する。図７は、本装置の作動開始に関する動作を示すものであり、図８は、本装置による注意判断処理の具体的な動作を示すものである。
【００５０】
まず、車両１０のコンピュータ３では、車両１０のイグニッションがオン状態となるか、あるいは、本装置専用のスイッチがオン状態となるかが調べられ（ステップＳ１）、いずれかがオン状態となると（ステップＳ１にて肯定判断）、画像データ、距離データの取得動作が開始される（ステップＳ２）。すなわち、装置が作動状態となり、車両１０の右側後方を常に監視している状態となる。
【００５１】
その後、コンピュータ３では、車両１０の方向指示器が操作されるか否かが調べられ（ステップＳ３）、走行中や発進時に方向指示器が操作されると（ステップＳ３にて肯定判断）、注意判断処理が開始される（ステップＳ４）。これは、車線変更する際には、後方から接近してくる他の車両に注意を要するためである。
【００５２】
そして、注意判断処理の詳細な動作を、図８に示す。まず、直前に検出された距離データを用いて（ステップＳ１１）、検出された物体までの距離があらかじめ定められた注意判断開始距離以下であるかが調べられる（ステップＳ１２）。かかる距離以内であると、その物体が存在する距離データ上の分割領域が調べられ、かかる分割領域に対応する画像データ上の分割領域を特定する（ステップＳ１３）。そして、検出した画像データ上の特定分割領域において、当該領域内に存在している物体のオプティカルフローを算出する（ステップＳ１４）。なお、このとき用いられる画像データは、常時、連続して取り込まれている最新の連続フレーム画像である。
【００５３】
続いて、算出したオプティカルフローから、物体が車両１０に対して接近しているか否かを判断し（ステップＳ１５）、かかる物体が存在する場合には（ステップＳ１５にて肯定判断）、現在の距離データを取得する（ステップＳ１６）。そして、接近物体が存在する画像データ上の分割領域よりも広い範囲の距離データ上の分割領域において、物体までの距離があらかじめ定められた車両乗員が注意を要する距離以下であるか否かを判断する（ステップＳ１７）。物体距離が注意距離以下である場合に（ステップＳ１７にて肯定判断）、情報提供装置４に情報提供を発するよう指令を出す（ステップＳ１８）。すると、情報提供装置４から車内に警報たる音が発せられ、乗員は側後方から接近してくる他の車両に注意をすることができる。
【００５４】
ここで、ステップＳ１７では、物体までの距離をさらに具体的に調べてもよい。例えば、上述した注意距離には２つの値（第１、第２の注意距離）が設定されており、１つは１０［ｍ］、もう１つは５［ｍ］に設定されている。そして、第１の注意距離（１０［ｍ］）以内に物体が存在すると判断されると、通常の注意を促す警報音を発するよう情報提供装置４に指令を出す。一方、第２の注意距離（５［ｍ］）以内に物体が存在すると判断されると、より運転者に注意を促す大きい音の警報音を発するよう情報提供装置４に指令を出す。そして、情報提供装置４からは、それぞれの指示に応じた警報音が出力されることとなる。
【００５５】
また、接近物体を検出後（ステップＳ１５にて肯定判断、ステップＳ１７）、物体までの距離が注意距離に満たない場合には（ステップＳ１７にて否定判断）、物体距離が注意判断開始距離以下であるかを調べる（ステップＳ１９）。そして、注意判断開始距離以下である場合には（ステップＳ１９にて肯定判断）、再度、距離データを取得して、物体までの距離が注意距離以下であるか否かを調べる（ステップＳ１６，Ｓ１７）。なお、ステップＳ１９で否定判断された場合には、ステップＳ１１に戻る。
【００５６】
なお、上記動作中においても、コンピュータ１０は常に方向指示操作器の状態を監視し、操作されていない状態になると、注意判断処理を終了する。
【００５７】
このようにすることにより、カメラ１と距離センサ２とが同一軸を中心として車両周囲の画像データ及び距離データを検出するため、これら検出されたデータは検出範囲が精度よく一致することとなる。従って、かかるデータに基づいて行われる車両周囲の物体に対して注意が必要か否かの判断の結果を、精度よく得ることができ、より的確な情報提供を得ることができる。
【００５８】
また、画像データ及び距離データ共に、それぞれが対応した所定の領域において、注意を要する物体が存在するか否かが判断されるため、処理範囲を限定することができ、処理負担の軽減を図ることができる。また、距離データを用いて所定の距離の範囲内に物体が存在するか否かを判断して、存在する場合にはかかる領域のみの画像データを用いて注意を要する物体が存在するか否かの判断を行うことで、さらなる処理負担の軽減を図ることができる。
【００５９】
（変形例１）
ここで、上記実施例１においては、まず、距離データから物体が注意判断開始距離の範囲内に存在するか否かを調べ（ステップＳ１２）、その後、かかる物体が接近しているかどうかを画像データにて調べ（ステップＳ１５）、さらに、接近物体が注意距離に存在するか否かを距離データにて調べることにより（ステップＳ１７）、物体に注意が必要か否かを判断している。しかしながら、注意可否の判断処理は、上記の処理に限定されるものではない。
【００６０】
例えば、ステップＳ１２にて距離データから注意判断開始距離の範囲内に存在する物体を検出し、その後、画像データからオプティカルフローを算出することで、かかる物体が接近していると判断（ステップＳ１５にて肯定判断）した時点で、物体に注意を要すると判断して情報提供装置４に情報提供指令を出してもよい。また、注意可否の判断処理は、さらに別の手順にて行われてもよい。
【００６１】
（変形例２）
上記実施例１においては、カメラ１あるいは距離センサ２にて取得した画像データ及び距離データを、コンピュータ３において分割領域を設定し、必要に応じてかかる分割領域毎に所定の処理を行う、という構成としたが、これに限定されない。
【００６２】
例えば、コンピュータ３が、画像データ及び距離データをそれぞれ複数の領域に分割して、これら分割領域をそれぞれ対応させて設定する領域分割機能を有していることはもちろんのこと、画像データ及び距離データを分割領域毎に取得可能なよう画像取得手段及び距離検出手段の動作を制御する共に、これら分割領域をそれぞれ対応させて設定する分割データ取込機能を備えていてもよい。すなわち、画像データ取得部３１あるいは距離データ取得部３２が、一度に全範囲の画像データあるいは距離データを取得することに限られず、場合によっては、所定の分割領域のみの画像データあるいは距離データを取得するよう分割データ取込機能として作動してもよい。
【００６３】
具体的に図１のブロック図及び図８のフローチャートを用いて説明する。まず、上述した距離判定部３４にて、距離データを用いて車両１０に対して所定の距離（注意判断開始距離）の範囲内に物体が存在するか否かを判断し、当該所定の距離範囲に物体が存在する場合に当該物体が存在する距離データ上の分割領域が特定されるが、かかる特定分割領域の通知がマスク処理部３５にて、画像データ取得部３１に通知される（図１のマスク処理部３５から画像データ取得部３１に向かう点線矢印参照）。すなわち、距離判定部３４及びマスク処理部３５は、画像データ上の分割領域を特定して、画像データ取得部３１である分割データ取込機能に通知する取込領域特定機能を備えている。そして、これを受けた画像データ取得部３１は、分割データ取込機能が作動することにより、指定された分割領域部分の画像データのみを取得する。なお、距離判定部３４は、所定の距離に物体が存在する領域の周囲までを含めて取得する分割領域の特定を行ってもよい。あるいは、画像データ取得部３１の分割データ取込機能が、特定された周囲の領域まで取り込むよう作動してもよい。
【００６４】
その後、オプティカルフローの算出処理などの注意が必要か否かの判断処理は、取得された分割領域の画像データを用いて行われる。従って、図８のステップＳ１４，Ｓ１５の処理時には、ステップＳ１３のマスク設定により特定された領域のみの画像データが常に所定のサンプリングタイム毎に取得されることとなり、これを用いてオプティカルフローの算出処理が行われることとなる。
【００６５】
このようにすることにより、画像データの取得時のコンピュータ３にかかる負荷をも軽減することができる。特に、オプティカルフローの算出には連続するフレーム画像が必要となるため、かかるデータを記憶するメモリ領域の節約をも図ることができる。
【実施例２】
【００６６】
以下、本発明の実施例２を説明する。本実施例における車両用情報提供装置は、上述した実施例１記載の装置とほぼ同様の構成を採っている。具体的には、そのハード構成は同一である。すなわち、画像取得手段であるカメラ１と距離検出手段である距離センサ２との基準軸が一致するよう、これら機器を取り付け、また、取得された画像データ及び距離データの分割領域が、一対一に対応するよう設定されている点は同様である。但し、コンピュータ３内に構築される各処理部における処理内容が異なる。以下、これを詳述する。
【００６７】
本実施例における車両用情報提供装置は、注意可否を判断機能において、まず、分割された画像データを用いて車両１０に接近する物体が存在するか否かを判断すると共に、当該接近する物体が存在する領域に対応した距離データの分割領域において注意を要する物体が存在するか否かを判断する。すなわち、上述した実施例１とは逆に、まず、画像データにて画像範囲のオプティカルフローを算出し、自車両１０に接近する物体が存在するか否かを調べる。そして、接近する物体が存在すると判断されると、当該物体が存在する分割領域に対応する距離データ上の分割領域内に存在する物体の距離を調べるようマスク処理され、当該物体が注意距離以内にあるか否かが調べられる。
【００６８】
例えば、図８のフローチャートと比較して説明すると、ステップＳ１１〜Ｓ１３の処理は行われることなく、はじめに画像データの全範囲にてオプティカルフローの算出処理が行われる（ステップＳ１４）。そして、接近物体があると判断されると（ステップＳ１５にて肯定判断）、以前に取得した距離データが読み出されたり、あるいは、現在における距離データが取得されると共に、接近物体が存在する分割領域のマスク処理が行われて、距離データ内の物体が注意距離の範囲内に存在するか否かが調べられる（ステップＳ１６，Ｓ１７）。このようにしても、処理領域が制限されるため、コンピュータ３の処理負担の軽減を図ることができる。
【００６９】
（変形例）
ここで、上述した実施例２の変形例として、接近する物体が存在すると判断された分割領域のみの距離データを取得するという構成にしてもよい。すなわち、画像データにてオプティカルフローを算出した後に、接近物体が存在する分割領域が特定されるが、かかる特定領域を距離データ取得部３２に通知し、距離データを取得する段階でマスク処理してもよい。これにより、取得して処理するデータ量の軽減を図ることができるため、取得処理によりコンピュータ３にかかる負荷を軽減することができる。
【産業上の利用可能性】
【００７０】
本発明は、以上のように構成され機能するので、これによると、画像取得手段と距離検出手段とが同一軸を中心として車両周囲の画像データ及び距離データとを検出するため、これら検出されたデータは検出範囲が精度よく一致することとなり、これらデータに基づいて行われる車両注意の物体に対して注意が必要か否かの判断の結果を、精度よく得ることができ、より確実な情報提供を行うことが可能となる。換言すると、誤警報（情報提供）が多発することが抑制され、車両乗員は、誤警報の煩わしさから解放される。
【００７１】
また、画像データ及び距離データ共に、それぞれが対応した所定の領域において、注意を要する物体が存在するか否かが判断されるため、処理範囲を限定することができ、処理負担の軽減を図ることができる。
【００７２】
特に、距離データを用いて所定の距離の範囲内に物体が存在するか否かを判断して、存在する場合にはかかる領域のみの画像データを用いて注意を要する物体が存在するか否かの判断を行うことで、さらなる処理負担の軽減を図ることができる。そして、逆に、画像データを用いて接近する物体が存在するか否かを判断し、存在する場合にはかかる領域のみの距離データを用いて注意を要する物体が存在するか否かの判断を行うことにより、上記同様に処理負担の軽減を図ることができる。このとき、処理を行う分割領域のみのデータを取得する構成とすると、データ取得におけるコンピュータの負担をさらに軽減することができる。
【図面の簡単な説明】
【００７３】
【図１】本発明の実施例１における構成を示す機能ブロック図である。
【図２】図２は、画像取得手段及び距離検出手段の取り付け状態に関する説明図である。図２（ａ）は、車両における画像取得手段及び距離検出手段の取り付け位置を例を示す図であり、図２（ｂ）は、画像取得手段及び距離検出手段による各データの測定範囲を示す図である。
【図３】図３は、画像取得手段及び距離検出手段の取付位置を示す説明図である。図３（ａ）は距離検出手段、図３（ｂ）は画像取得手段、図３（ｃ）は距離検出手段と画像取得手段とを同時に取り付けた時の位置を示す図である。
【図４】図４は、取得データの分割状態を示す説明図である。図４（ａ）は画像データ、図４（ｂ）は距離データのものを示す。
【図５】オプティカルフロー算出領域の設定例を示す説明図である。
【図６】図６は、オプティカルフロー算出処理の様子を示す説明図である。図６（ａ）は、連続フレーム画像におけるオプティカルフローの算出例を示す図であり、図６（ｂ）は、オプティカルフロー算出後に物体の距離を測定する領域を示す図である。
【図７】本発明である装置の作動開始に関する動作を示すフローチャートである。
【図８】本装置による注意判断処理の具体的な動作を示すフローチャートである。
【符号の説明】
【００７４】
１  画像取得手段（カメラ）
２  距離検出手段（距離センサ）
３  コンピュータ
４  情報提供手段（情報提供装置）
１０  車両
１１  ハーフミラー
３１  画像データ取得部
３２  距離データ取得部
３３  画像処理部
３４  距離判定部
３５  マスク処理部
３６  注意判断部
３７  情報提供指令部
Ｃ１  画像取得用基準軸
Ｃ２  距離検出用基準軸
Ｄ１  画像データ
Ｄ２  距離データ
【図１】
2005025692.tif 000003
【図２】
2005025692.tif 000004
【図３】
2005025692.tif 000005
【図４】
2005025692.tif 000006
【図５】
2005025692.tif 000007
【図６】
2005025692.tif 000008
【図７】
2005025692.tif 000009
【図８】
2005025692.tif 000010