(57)【要約】【課題】車載カメラにより検知することができない物体の横断可能性を予測する。【解決手段】前方撮影用の車載カメラで撮影された画像を解析し、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物、及び障害物の裏側から車両前方の走行路に向かって移動する物体を認識した場合に、その認識した人物の動作及び物体の組み合わせを危険シーンのパターンとして特定する画像解析部１１と、特定した危険シーンのパターンに関する危険シーン・パターン情報を記憶する記憶部１２、２４と、カメラの撮影画像に含まれる人物の動作が、記憶した危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する判定部２１と、類似すると判定された危険シーン・パターン情報に含まれる物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起する運転支援部２２と、を備える。【選択図】図１
2019079413.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載される運転支援装置であって、
前記車両に搭載される前方撮影用のカメラで撮影された画像をサーバに送信する送信部と、
前記画像を解析して認識された、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物、及び前記障害物の裏側から車両前方の走行路に向かって移動する物体の組み合わせからなる危険シーンのパターンに関する危険シーン・パターン情報をサーバから受信する受信部と、
前記受信された危険シーン・パターン情報を記憶する記憶部と、
前記カメラで撮影された画像に基づいて認識される人物の動作が、前記記憶部により記憶された危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する判定部と、
前記判定部により類似すると判定された場合に、類似すると判定された危険シーン・パターン情報に含まれる前記物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起することで運転を支援する運転支援部と、
を備える運転支援装置。
【請求項２】
前記受信部は、少なくとも危険シーン・パターン情報がサーバにおいて記憶されるたび及び所定の周期ごとのいずれかのタイミングによりサーバから送信される危険シーン・パターン情報を受信する、
請求項１記載の運転支援装置。
【請求項３】
前記障害物の方向に動作を行っている人物は、少なくとも、前記障害物の方向に手を振る人物、及び前記障害物の方向に目線又は顔を向ける人物のいずれかである、
請求項１又は２記載の運転支援装置。
【請求項４】
前記運転支援部は、音声メッセージをスピーカから出力すること、及び文字を含むイメージによるメッセージをディスプレイに表示することのいずれかにより、運転者に注意喚起する、
請求項１から３のいずれか一項に記載の運転支援装置。
【請求項５】
車両に搭載される前方撮影用のカメラで撮影された画像を解析し、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物、及び前記障害物の裏側から車両前方の走行路に向かって移動する物体を認識した場合に、当該認識した人物の動作及び前記物体の組み合わせを、危険シーンのパターンとして特定する画像解析部と、
前記特定された危険シーンのパターンに関する危険シーン・パターン情報を記憶する記憶部と、
前記カメラで撮影された画像に基づいて認識される人物の動作が、前記記憶部により記憶された危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する判定部と、
前記判定部により類似すると判定された場合に、類似すると判定された危険シーン・パターン情報に含まれる前記物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起することで運転を支援する運転支援部と、
を備える運転支援システム。
【請求項６】
前記障害物の方向に動作を行っている人物は、少なくとも、前記障害物の方向に手を振る人物、及び前記障害物の方向に目線又は顔を向ける人物のいずれかである、
請求項５記載の運転支援システム。
【請求項７】
前記運転支援部は、少なくとも、音声メッセージをスピーカから出力すること、及び文字を含むイメージによるメッセージをディスプレイに表示することのいずれかにより、運転者に注意喚起する、
請求項５又は６記載の運転支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援装置及び運転支援システムに関する。
【背景技術】
【０００２】
下記特許文献１には、自車両が走行する走行車線の路側にいる歩行者の横断可能性をより早い段階で予測して、歩行者との衝突を防止するように支援する運転支援装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２３４４９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、自車両に搭載されたカメラにより検知された歩行者の横断可能性を予測することはできるが、例えば、走行路に面して存在する建物の裏側で走行路に向かって移動している人物等のように、車載カメラにより検知することができない物体の横断可能性を予測することはできない。
【０００５】
そこで、本発明は、車載カメラにより検知することができない物体の横断可能性を予測することができる運転支援装置及び運転支援システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る運転支援装置は、車両に搭載される運転支援装置であって、前記車両に搭載される前方撮影用のカメラで撮影された画像をサーバに送信する送信部と、前記画像を解析して認識された、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物、及び前記障害物の裏側から車両前方の走行路に向かって移動する物体の組み合わせからなる危険シーンのパターンに関する危険シーン・パターン情報をサーバから受信する受信部と、前記受信された危険シーン・パターン情報を記憶する記憶部と、前記カメラで撮影された画像に基づいて認識される人物の動作が、前記記憶部により記憶された危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する判定部と、前記判定部により類似すると判定された場合に、類似すると判定された危険シーン・パターン情報に含まれる前記物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起することで運転を支援する運転支援部と、を備える。
【０００７】
上記態様において、前記受信部は、少なくとも危険シーン・パターン情報がサーバにおいて記憶されるたび及び所定の周期ごとのいずれかのタイミングによりサーバから送信される危険シーン・パターン情報を受信することとしてもよい。
【０００８】
上記態様において、前記障害物の方向に動作を行っている人物は、少なくとも、前記障害物の方向に手を振る人物、及び前記障害物の方向に目線又は顔を向ける人物のいずれかであることとしてもよい。
【０００９】
上記態様において、前記運転支援部は、音声メッセージをスピーカから出力すること、及び文字を含むイメージによるメッセージをディスプレイに表示することのいずれかにより、運転者に注意喚起することとしてもよい。
【００１０】
本発明の他の態様に係る運転支援システムは、車両に搭載される前方撮影用のカメラで撮影された画像を解析し、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物、及び前記障害物の裏側から車両前方の走行路に向かって移動する物体を認識した場合に、当該認識した人物の動作及び前記物体の組み合わせを、危険シーンのパターンとして特定する画像解析部と、前記特定された危険シーンのパターンに関する危険シーン・パターン情報を記憶する記憶部と、前記カメラで撮影された画像に基づいて認識される人物の動作が、前記記憶部により記憶された危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する判定部と、前記判定部により類似すると判定された場合に、類似すると判定された危険シーン・パターン情報に含まれる前記物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起することで運転を支援する運転支援部と、を備える。
【００１１】
上記他の態様において、前記障害物の方向に動作を行っている人物は、少なくとも、前記障害物の方向に手を振る人物、及び前記障害物の方向に目線又は顔を向ける人物のいずれかであることとしてもよい。
【００１２】
上記他の態様において、前記運転支援部は、少なくとも、音声メッセージをスピーカから出力すること、及び文字を含むイメージによるメッセージをディスプレイに表示することのいずれかにより、運転者に注意喚起することとしてもよい。
【発明の効果】
【００１３】
本発明によれば、車載カメラにより検知することができない物体の横断可能性を予測することができる運転支援装置及び運転支援システムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】実施形態に係る運転支援装置を含む運転支援システムの構成を例示する図である。
【図２】危険シーンのパターンを例示する模式図である。
【図３】危険シーンのパターンを例示する模式図である。
【図４】危険シーン・パターン情報を蓄積する際の動作例を説明するシーケンスチャートである。
【図５】危険シーン・パターン情報を利用して運転者に注意を喚起する際の動作例を説明するフローチャートである。
【発明を実施するための形態】
【００１５】
添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは同一又は同様の構成を有する。
【００１６】
図１を参照し、実施形態に係る運転支援装置を含む運転支援システムの構成について説明する。運転支援システム１００は、例えば、データセンタ等に配置されるサーバ１と、車両に搭載される運転支援装置２とを含む。サーバ１及び運転支援装置２は、無線ネットワークを介して相互に通信できるように構成される。
【００１７】
サーバ１は、機能的な構成として、例えば、画像解析部１１と、記憶部１２と、通信部１３とを有する。サーバ１は、物理的な構成として、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）及びメモリを含む制御ユニット、記憶装置、通信装置等を備えて構成される。ＣＰＵがメモリに格納された所定のプログラムを実行することにより、画像解析部１１、記憶部１２及び通信部１３の各機能が実現する。各機能について、以下に説明する。
【００１８】
画像解析部１１は、運転支援装置２から受信する画像を解析する。運転支援装置２から受信する画像は、後述する車両に搭載される前方撮影用のカメラで撮影された画像である。
【００１９】
画像解析部１１は、画像を解析し、危険シーンのパターンを特定する。危険シーンのパターンは、例えば、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物と、障害物の裏側から車両前方の走行路に向かって移動する物体と、の組み合わせにより定まる。物体には、例えば、人物、動物、車両、自転車等の移動するものが含まれる。
【００２０】
つまり、画像解析部１１は、画像を解析し、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物、及び障害物の裏側から車両前方の走行路に向かって移動する物体をそれぞれ認識し、認識した人物と物体とに基づいて、危険シーンのパターンを特定する。図２及び図３を参照して、危険シーンのパターンについて具体的に説明する。
【００２１】
図２は、走行路Ｔを走行している車両Ｘに搭載されているカメラの撮影範囲Ｒに、人物Ｐと建築物Ｓとが納まっていることを示す模式図である。人物（例えば母親）Ｐは、車両Ｘの前方の走行路Ｔに面して存在する建築物Ｓの方向に手を振る動作を行っている。この後、建築物Ｓの裏側から車両前方の走行路Ｔに向かって移動する物体（例えば子供）が、車載カメラによって検知され、画像解析部１１により認識されることとなる。
【００２２】
この場合、建築物Ｓの方向に手を振る動作を行っている人物と、建築物Ｓの裏側から走行路Ｔに向かって移動する物体（人物）とが、危険シーンのパターンとして特定される。
【００２３】
図３は、走行路Ｔを走行している車両Ｘに搭載されているカメラの撮影範囲Ｒに、複数の人物Ｐと建築物Ｓとが納まっていることを示す模式図である。複数の人物（例えば通行人）Ｐは、車両Ｘの前方の走行路Ｔに面して存在する建築物Ｓの方向に目線や顔を向ける動作を行っている。この後、建築物Ｓの裏側から車両前方の走行路Ｔに向かって移動する物体（例えば消防車）が、車載カメラによって検知され、画像解析部１１により認識されることとなる。
【００２４】
この場合、建築物Ｓの方向に目線や顔を向ける動作を行っている複数の人物と、建築物Ｓの裏側から走行路Ｔに向かって移動する物体（車両）とが、危険シーンのパターンとして特定される。
【００２５】
図１の説明に戻る。サーバ１の記憶部１２は、画像解析部１１により特定された危険シーンのパターンに関する危険シーン・パターン情報を記憶する。
【００２６】
サーバ１の通信部１３は、他の装置との通信を制御する。例えば、通信部１３は、運転支援装置２により送信された画像を受信し、記憶部１２に記憶された危険シーン・パターン情報を運転支援装置２に送信する。危険シーン・パターン情報を運転支援装置２に送信するタイミングは、例えば、危険シーン・パターン情報を記憶するたびであってもよいし、所定の周期ごとであってもよく、任意に設定することができる。
【００２７】
図１に示す運転支援装置２は、機能的な構成として、例えば、判定部２１と、運転支援部２２と、通信部２３と、記憶部２４とを有する。運転支援装置２は、物理的な構成として、例えば、ＣＰＵ及びメモリを含む制御ユニット、通信装置、記憶装置、カメラ、操作部、ディスプレイ、スピーカ等を備えて構成される。ＣＰＵがメモリに格納された所定のプログラムを実行することにより、判定部２１、運転支援部２２、通信部２３及び記憶部２４の各機能が実現する。各機能について、以下に説明する。
【００２８】
判定部２１は、車両に搭載される前方撮影用のカメラで撮影された画像に基づいて認識される人物の動作が、記憶部２４により記憶された危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する。例えば、判定部２１は、カメラで撮影された画像に基づいて認識される人物部分と、記憶部２４により記憶された危険シーン・パターン情報に含まれるパターン画像とを照合し、類似度が所定値以上となるパターン画像が存在する場合に、類似すると判定する。以下に、具体的に説明する。
【００２９】
例えば、図２に示す人物Ｐが存在する場所に、建築物Ｓの方向に手を振る人物が認識された場合、判定部２１は、類似すると判定することになる。また、図３に示す複数の人物Ｐが存在する場所に、建築物Ｓの方向に目線や顔を向ける人物が認識された場合、判定部２１は、類似すると判定することになる。
【００３０】
図１の運転支援部２２は、判定部２１により類似すると判定された場合に、類似すると判定された危険シーン・パターン情報に対応する物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起することで運転を支援する。以下に、具体的に説明する。
【００３１】
例えば、図２に示す人物Ｐの位置に、建築物Ｓの方向に手を振る人物が存在する場合、運転支援部２２は、建築物Ｓの裏側から走行路Ｔに向かって移動する人物に注意するように、運転手に喚起する。また、図３に示す複数の人物Ｐの位置に、建築物Ｓの方向に目線や顔を向ける人物が存在する場合、運転支援部２２は、建築物Ｓの裏側から走行路Ｔに向かって移動する車両に注意するように、運転手に喚起する。
【００３２】
注意喚起する方法は、音声メッセージをスピーカから出力することとしてもよいし、文字等を含むイメージによるメッセージをディスプレイ等に表示することとしてもよい。
【００３３】
図１に示す運転支援装置２の通信部２３は、他の装置との通信を制御する。例えば、通信部２３は、車両に搭載される前方撮影用のカメラで撮影された画像をサーバ１に送信し、画像を解析した結果である危険シーン・パターン情報をサーバ１から受信する。
【００３４】
運転支援装置２の記憶部２４は、サーバ１から受信した危険シーン・パターン情報を記憶する。
【００３５】
なお、サーバ１及び運転支援装置２の構成要素は、前述した構成要素に限定されることなく、必要に応じて任意の構成要素を適宜追加することができる。
【００３６】
次に、実施形態に係る運転支援装置を含む運転支援システムの動作の一例について説明する。まず、図４を参照して、危険シーン・パターン情報を蓄積する際の動作について説明する。
【００３７】
最初に、運転支援装置２の通信部２３は、前方撮影用の車載カメラで撮影された画像をサーバ１に送信する（ステップＳ１０１）。
【００３８】
続いて、サーバ１の画像解析部１１は、上記ステップＳ１０１で受信した画像を解析し、危険シーンのパターンを特定する（ステップＳ１０２）。
【００３９】
続いて、サーバ１の記憶部１２は、上記ステップＳ１０２で特定した危険シーンのパターンを含む危険シーン・パターン情報を記憶する（ステップＳ１０３）。
【００４０】
続いて、サーバ１の通信部１３は、上記ステップＳ１０３で記憶した危険シーン・パターン情報を運転支援装置２に送信する（ステップＳ１０４）。
【００４１】
続いて、運転支援装置２の記憶部２４は、上記ステップＳ１０４でサーバ１から受信した危険シーン・パターン情報を記憶する（ステップＳ１０５）。そして、本動作を終了する。
【００４２】
次に、図５を参照して、運転支援装置２において、危険シーン・パターン情報を利用して運転者に注意を喚起する際の動作について説明する。
【００４３】
最初に、運転支援装置２の判定部２１は、前方撮影用の車載カメラで撮影された画像に基づいて認識される人物の動作が、記憶部２４に記憶された危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する（ステップＳ２０１）。この判定がＮＯである場合（ステップＳ２０１；ＮＯ）には、本動作を終了する。
【００４４】
上記ステップＳ２０１の判定で類似すると判定された場合（ステップＳ２０１；ＹＥＳ）に、運転支援装置２の運転支援部２２は、類似すると判定された危険シーン・パターン情報に含まれる物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起する（ステップＳ２０２）。そして、本動作を終了する。
【００４５】
前述したように、実施形態における運転支援システム１００によれば、前方撮影用の車載カメラで撮影された画像を解析し、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物と、その障害物の裏側から車両前方の走行路に向かって移動する物体とをそれぞれ認識した場合に、その認識した人物の動作及び物体の組み合わせを危険シーンのパターンとして特定し、危険シーン・パターン情報として記憶することができる。
【００４６】
加えて、車載カメラの撮影画像に基づいて認識される人物の動作が、記憶した危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定し、類似すると判定した場合に、その類似すると判定した危険シーン・パターン情報に対応する物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起することができる。
【００４７】
換言すると、実施形態における運転支援システム１００によれば、障害物の存在により運転者が予測できない危険シーンのパターンを予め蓄積しておき、車両で走行している際に、車載カメラを利用して通行人等の人物の動きを認識し、危険シーンのパターンと類似する動きが検知された場合に、障害物から走行路に物体が出現する可能性があることを、運転者に注意喚起することができる。これにより、事故を未然に防ぐことができる。
【００４８】
このように実施形態における運転支援システム１００によれば、車載カメラにより検知することができない物体の横断可能性を予測することが可能となる。
【００４９】
[変形例]
なお、本発明は、前述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。したがって、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、前述した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更し、又は並列に実行することができる。
【００５０】
また、前述した実施形態では、サーバ１及び運転支援装置２の双方において、危険シーン・パターン情報を記憶部で記憶しているが、いずれか一方、又は別途設けた記憶サーバ装置等で危険シーン・パターン情報を記憶することとしてもよい。この場合、危険シーン・パターン情報を記憶していない装置は、通信部を介して危険シーン・パターン情報を参照することとすればよい。
【符号の説明】
【００５１】
１…サーバ、２…運転支援装置、１１…画像解析部、１２…記憶部、１３…通信部、２１…判定部、２２…運転支援部、２３…通信部、２４…記憶部、１００…運転支援システム
【図１】
2019079413.tif 000003
【図２】
2019079413.tif 000004
【図３】
2019079413.tif 000005
【図４】
2019079413.tif 000006
【図５】
2019079413.tif 000007