(57)【要約】      （修正有）【課題】撮像装置から取得する交差点における様々な情報を用いて自車の環境に合わせた表示をユーザに提供する。【解決手段】撮像装置は、交差点の道路上の動体を撮像する撮像部１１と、撮像した動体を検出する動体検出・追跡部１５と、検出された動体の相対位置を計測する距離計測部１４と、検出された動体と計測結果から交差点状況に関する情報を車載装置へ送信する送信部１３とを有する。車載装置は、交差点状況に関する情報を受信する受信部２１と、地図データ記憶部２６と、自車位置と自車が進む方角とを含む情報を取得する自車情位置得部２２と、受信した情報と自車情報と地図データとに基づいて交差点状況を解析する解析部２３と、解析結果に基づいて交差点状況を可視化した情報を生成する情報生成部２４と、生成された情報を表示する表示部２５とを有する。【選択図】図５
2017126213.tif 000002
【特許請求の範囲】
【請求項１】
交差点につながる道路上の動体を撮像し、交差点状況に関する情報を周囲に送信する撮像装置と、当該撮像装置から交差点状況に関する情報を受信し、交差点状況を可視化する車載装置とを含む交差点状況確認システムであって、
前記撮像装置は、
撮像を行う撮像部と、
前記撮像部によって撮像した動体を検出する検出部と、
前記検出部で検出された動体に対して当該撮像装置からの動体の相対位置を計測する計測部と、
前記検出部で検出された動体と前記計測部によって計測された結果から交差点状況に関する情報を前記車載装置へ送信する送信部と、
を有し、
前記車載装置は、
前記撮像装置から送信された交差点状況に関する情報を受信する受信部と、
前記交差点状況を示すための地図データを記憶する記憶部と、
自車の位置と自車が進む方角とを含む情報を取得する自車情報取得部と、
前記受信部によって受信した交差点状況に関する情報と前記自車情報取得部によって取得した情報と前記地図データとに基づいて交差点状況を解析する解析部と、
前記解析部の解析結果に基づいて交差点状況を可視化した情報を生成する情報生成部と、
前記情報生成部により生成された情報を表示する表示部と、
を有することを特徴とする交差点状況確認システム。
【請求項２】
前記解析部は、
前記自車情報取得部で取得した自車の位置に関する情報と受信した交差点状況に関する情報とを比較することで、同一の交差点であるか否かを判定する
ことを特徴とする請求項１に記載の交差点状況確認システム。
【請求項３】
前記解析部は、
同一の交差点でないと判定したとき、受信した交差点状況に関する情報を破棄する
ことを特徴とする請求項２に記載の交差点状況確認システム。
【請求項４】
前記解析部は、
自車が走行中の道路が優先道路か否かを判断し、
優先道路であると判断した場合、非優先道路からの動体に対して危険か否かを判断し、
前記情報生成部は、
危険ありの場合、非優先道路の物体に注意する旨の情報を生成し、
危険なしの場合、ユーザ設定に基づいて、危険がない旨の情報を生成する
ことを特徴とする請求項１乃至３のいずれか一項に記載の交差点状況確認システム。
【請求項５】
前記解析部は、
自車が走行中の道路が優先道路か否かを判断し、
前記情報生成部は、
前記解析部が非優先道路であると判断した場合、優先道路から接近する動体の情報を生成する
ことを特徴とする請求項１乃至３のいずれか一項に記載の交差点状況確認システム。
【請求項６】
前記検出部は、動体を識別するための特徴量の情報を用い、それらの特徴量が動体の画像に含まれているか否かを判断することで、特徴の合致する種別を特定する
ことを特徴とする請求項１乃至５のいずれか一項に記載の交差点状況確認システム。
【請求項７】
前記検出部が接近する車両について大型の車両の種別を特定した場合、
前記情報生成部は、後続車への注意喚起の情報を生成する
ことを特徴とする請求項６に記載の交差点状況確認システム。
【請求項８】
前記表示部は、動体を図形で表示するとともに、通知すべき情報をポップアップメッセージの形式で表示する
ことを特徴とする請求項１乃至７のいずれか一項に記載の交差点状況確認システム。
【請求項９】
前記情報生成部は、ナビゲーションによるルートの表示が行われている場合、前記ルートに関連する接近車両についての情報を生成する
ことを特徴とする請求項１乃至８のいずれか一項に記載の交差点状況確認システム。
【請求項１０】
前記情報生成部は、前記撮像装置から受信した交差点状況に関する情報に自車を示す情報が含まれないと前記解析部が判断した場合、前記撮像装置が未設置である旨の情報を生成する
ことを特徴とする請求項１乃至９のいずれか一項に記載の交差点状況確認システム。
【請求項１１】
前記情報生成部は、プリセットされた、またはユーザにより設定された所定の距離の範囲内に入ったと前記解析部が判断した交差点につき情報を生成する
ことを特徴とする請求項１乃至１０のいずれか一項に記載の交差点状況確認システム。
【請求項１２】
前記撮像部は、全天球カメラであり、１台のカメラで全方向のアングルの映像を撮像する
ことを特徴とする請求項１乃至１１のいずれか一項に記載の交差点状況確認システム。
【請求項１３】
前記撮像部は、赤外線カメラである
ことを特徴とする請求項１乃至１２のいずれか一項に記載の交差点状況確認システム。
【請求項１４】
前記撮像装置は、画像処理により霧によるノイズを除去する機能
を備えることを特徴とする請求項１乃至１３のいずれか一項に記載の交差点状況確認システム。
【請求項１５】
交差点につながる道路上の動体を撮像し、交差点状況に関する情報を周囲に送信する撮像装置であって、
撮像を行う撮像部と、
前記撮像部によって撮像した動体を検出する検出部と、
前記検出部で検出された動体に対して当該撮像装置からの動体の相対位置を計測する計測部と、
前記検出部で検出された動体と前記計測部によって計測された結果から交差点状況に関する情報を送信する送信部と
を有することを特徴とする撮像装置。
【請求項１６】
撮像装置から交差点状況に関する情報を受信し、交差点状況を可視化する車載装置であって、
前記撮像装置から送信された交差点状況に関する情報を受信する受信部と、
前記交差点状況を示すための地図データを記憶する記憶部と、
自車の位置と自車が進む方角とを含む情報を取得する自車情報取得部と、
前記受信部によって受信した交差点状況に関する情報と前記自車情報取得部によって取得した情報と前記地図データとに基づいて交差点状況を解析する解析部と、
前記解析部の解析結果に基づいて交差点状況を可視化した情報を生成する情報生成部と、
前記情報生成部により生成された情報を表示する表示部と、
を有することを特徴とする車載装置。
【請求項１７】
交差点につながる道路上の動体を撮像し、交差点状況に関する情報を周囲に送信する撮像装置を構成するコンピュータを、
撮像を行う撮像手段、
前記撮像手段によって撮像した動体を検出する検出手段、
前記検出手段で検出された動体に対して当該撮像装置からの動体の相対位置を計測する計測手段、
前記検出手段で検出された動体と前記計測手段によって計測された結果から交差点状況に関する情報を送信する送信手段
として機能させることを特徴とする交差点状況確認プログラム。
【請求項１８】
撮像装置から交差点状況に関する情報を受信し、交差点状況を可視化する車載装置を構成するコンピュータを、
前記撮像装置から送信された交差点状況に関する情報を受信する受信手段、
前記交差点状況を示すための地図データを記憶する記憶手段、
自車の位置と自車が進む方角とを含む情報を取得する自車情報取得手段、
前記受信手段によって受信した交差点状況に関する情報と前記自車情報取得手段によって取得した情報と前記地図データとに基づいて交差点状況を解析する解析手段、
前記解析手段の解析結果に基づいて交差点状況を可視化した情報を生成する生成手段、
前記生成手段により生成された情報を表示する表示手段、
として機能させることを特徴とする交差点状況確認プログラム。
【請求項１９】
交差点につながる道路上の動体を撮像し、交差点状況に関する情報を周囲に送信する撮像装置と、当該撮像装置から交差点状況に関する情報を受信し、交差点状況を可視化する車載装置とが実行する方法であって、
前記撮像装置が、
撮像を行い、
撮像した動体を検出し、
検出された動体に対して当該撮像装置からの動体の相対位置を計測し、
検出された動体と計測された結果から交差点状況に関する情報を前記車載装置へ送信し、
前記車載装置が、
前記撮像装置から送信された交差点状況に関する情報を受信し、
自車の位置と自車が進む方角とを含む情報を取得し、
受信した交差点状況に関する情報と取得した自車の位置と自車が進む方角の情報と地図データとに基づいて交差点状況を解析する解析し、
解析結果に基づいて交差点状況を可視化した情報を生成し、
生成された情報を表示する
ことを特徴とする交差点状況確認方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、交差点状況確認システム、撮像装置、車載装置、交差点状況確認プログラムおよび交差点状況確認方法に関する。
【背景技術】
【０００２】
交差点は見通しが悪いところが多く、交通事故が発生しやすい。そのため、有効な対策が求められている。
【０００３】
図１（ａ）は信号がなく見通しの悪い交差点の例を平面図で示している。非優先道路Ｒ２から交差点に入ろうとしている自車Ｃ１からは、左右の建物等の障害物Ｈ１、Ｈ２によって死角Ｂ１、Ｂ２が発生し、優先道路Ｒ１に歩行者・自転車・車両が来ているかどうかわからない。「来ないだろう」とドライバが思い込み交差点に侵入すると、出合い頭の事故が起きてしまう。また、逆に慎重になりすぎて少しずつ頭を出して安全確認を行うと、後続車が待たされることになり、渋滞の発生に繋がってしまう。これを回避するべく、現状は、図１（ｂ）に示すように、見通しの悪い交差点等には道路反射鏡（カーブミラー）Ｍが設置されている。
【０００４】
しかしながら、道路反射鏡Ｍはドライバからの死角の全てをカバーしておらず、若干の死角Ｂ１'、Ｂ２'が残るため、道路反射鏡Ｍのみで安全確認を行なうことでは、出合い頭の事故を完全に防ぐことはできない。
【０００５】
そこで、交差点に撮像装置（カメラ）を設け、その映像を交差点の周辺の車に対して無線送信し、車内のカーナビ装置やヘッドアップディスプレイ（ＨＵＤ）等の表示デバイスに表示するシステムが提案されている（特許文献１、２等を参照）。図２（ａ）は交差点の一部に撮像装置を設けた状態を示しており、図２（ｂ）は自車における表示画面の例を示している。また、図３（ａ）は交差点につながる４本の道路のそれぞれにビデオカメラとアンテナを設けた状態を示しており、図３（ｂ）は自車における表示画面の例を示している。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した従来の方式は、撮影した映像をそのまま車内で表示するため、実際の目で見るよりも距離感・遠近感がつかみにくく、自車と他車のどちらが交差点に対して距離的に近い位置にあるのかが不明であった。そのため、表示された映像に基づいて事故防止のための判断が必ずしも容易に行えるものではなかった。また、映像を伝送するためのデータサイズが大きいため、通信帯域や処理性能の確保が難しいという問題があった。
【０００７】
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、映像をそのまま用いることなく、撮像装置から取得する交差点における様々な情報を用いて自車の環境に合わせた表示をユーザに提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明にあっては、交差点につながる道路上の動体を撮像し、交差点状況に関する情報を周囲に送信する撮像装置と、当該撮像装置から交差点状況に関する情報を受信し、交差点状況を可視化する車載装置とを含む交差点状況確認システムであって、前記撮像装置は、撮像を行う撮像部と、前記撮像部によって撮像した動体を検出する検出部と、前記検出部で検出された動体に対して当該撮像装置からの動体の相対位置を計測する計測部と、前記検出部で検出された動体と前記計測部によって計測された結果から交差点状況に関する情報を前記車載装置へ送信する送信部と、を有し、前記車載装置は、前記撮像装置から送信された交差点状況に関する情報を受信する受信部と、前記交差点状況を示すための地図データを記憶する記憶部と、自車の位置と自車が進む方角とを含む情報を取得する自車情報取得部と、前記受信部によって受信した交差点状況に関する情報と前記自車情報取得部によって取得した情報と前記地図データとに基づいて交差点状況を解析する解析部と、前記解析部の解析結果に基づいて交差点状況を可視化した情報を生成する情報生成部と、前記情報生成部により生成された情報を表示する表示部と、を有する。
【発明の効果】
【０００９】
本発明にあっては、映像をそのまま用いることなく、撮像装置から取得する交差点における様々な情報を用いて自車の環境に合わせた表示をユーザに提供することができる。
【図面の簡単な説明】
【００１０】
【図１】見通しの悪い交差点の例を示す平面図である。
【図２】従来の交差点状況認識システムの概要図である。
【図３】従来の交通状況表示システムの概要図である。
【図４】本発明の一実施形態にかかる交差点状況確認システムにおける各装置の配置例を示す図である。
【図５】撮像装置および車載装置のソフトウェア構成例を示す図である。
【図６】撮像装置のハードウェア構成例を示す図である。
【図７】車載装置のハードウェア構成例を示す図である。
【図８】実施形態の処理例を示すフローチャートである。
【図９】交差点状況データの例を示す図である。
【図１０】交差点状況通知情報生成の処理例を示すフローチャートである。
【図１１】非優先道路を走る自車に対する表示画面例を示す図である。
【図１２】非優先道路を走る自車に対するカーナビゲーションと連携した表示画面例を示す図である。
【図１３】後続車への注意喚起情報の提供のための処理例を示すフローチャートである。
【図１４】後続車への注意喚起情報を含む表示画面例を示す図である。
【図１５】優先道路を走る自車に対する飛び出し注意情報を含む表示画面例を示す図である。
【図１６】優先道路を走る自車に対する危険なし表示情報を含む表示画面例を示す図である。
【図１７】カメラ未設置の表示情報を含む表示画面例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の好適な実施形態につき説明する。
【００１２】
＜構成＞
図４は本発明の一実施形態にかかる交差点状況確認システムにおける各装置の配置例を示す図である。図４において、優先道路Ｒ１と非優先道路Ｒ２の交差点は、四隅に建物等の障害物Ｈ１〜Ｈ４があり、非優先道路Ｒ２の優先道路Ｒ１への侵入部分には一時停止等の標識Ｇ１、Ｇ２が設けられている。標識Ｇ２には自車Ｃ１がおり、優先道路Ｒ１には他車Ｃ２、Ｃ３が走行しており、歩行者Ｍ１が存在する。自車Ｃ１は非優先道路Ｒ２から交差点に侵入しようとしており、障害物Ｈ１、Ｈ３があるため交差点の左・右ともに見通しが悪い状況である。なお、あくまでも交差点の一例を示しており、他の形態（Ｔ字路、五差路等）にも適用できることはいうまでもない。
【００１３】
このような交差点において、支柱等により所定の高さに撮像装置１が設けられている。撮像装置１は、全天球カメラにより同時に交差点の全方位の撮像が可能なものとしてもよいし、複数のカメラにより交差点の全方位が撮像できるものとしてもよい。また、少なくとも自車Ｃ１には、車載装置２が搭載されており、光や電波等による無線通信により、撮像装置１から情報を受信できるようになっている。
【００１４】
図５は撮像装置１および車載装置２のソフトウェア構成例を示す図である。図５において、撮像装置１は、撮像部１１と画像処理部１２と送信部１３と距離計測部１４と動体検出・追跡部１５と設置位置１６と動体認識部１７と交差点状況統合部１８と動体特徴量１９とを備えている。
【００１５】
撮像部１１は、カメラのハードウェアを制御し、撮像された映像を取得する機能を有している。カメラのハードウェアには、レンズと撮像素子が含まれる。カメラのハードウェアは、魚眼レンズを２枚使った構成により１つのカメラで構成することもできるし、カメラを複数台使った構成としてもよい。また、夜間の撮影のため赤外線カメラを使用してもよい。
【００１６】
画像処理部１２は、撮像部１１からの映像信号に色補正処理や全天球イメージ形式（正距円筒図法）への変換処理を施す機能を有している。また、雨や雪等の悪天候下に備え、霧によるノイズを除去する霧除去機能を画像処理部１２に付け加えてもよい。
【００１７】
送信部１３は、交差点に進入する車両に交差点状況を無線で送信する機能を有している。
【００１８】
距離計測部１４は、撮像部１１により撮像された映像に映っている動体の距離を計測する機能を有している。距離計測部１４は、ステレオカメラ・ミリ波・レーザー・赤外線・超音波等を使い、組み合わせてもよい。
【００１９】
動体検出・追跡部１５は、撮像部１１により撮像された映像から背景差分や前の画像との差分などにより動体を検出し、画像上の特徴点の移動（オプティカルフロー）を追跡することにより動体を追跡する機能を有している。
【００２０】
設置位置１６は、撮像装置１の設置位置の情報である。設置位置１６は、あらかじめ記録しておいてもよいし、ＧＰＳセンサにより所定のタイミングで自動設定可能な構成としてもよい。
【００２１】
動体認識部１７は、動体が車両（色・大きさ）なのか歩行者・自転車なのかを識別する機能を有している。
【００２２】
交差点状況統合部１８は、動体の識別結果と距離情報から、交差点を中心としたエリア内に存在している全ての動体（検出可能な物体に限る）とその位置・速度を計算し統合する機能を有している。
【００２３】
動体特徴量１９は、動体を識別するための特徴量（動体種別（車両・歩行者・自転車・その他）、色、大きさ）の情報である。動体特徴量１９は、動体認識部１７による識別の処理において利用される。
【００２４】
一方、車載装置２は、受信部２１と自車位置取得部２２と解析部２３と情報生成部２４と表示部２５と地図データ２６とナビゲーション部２７とを備えている。
【００２５】
受信部２１は、撮像装置１から無線により送信される交差点状況に関する情報を受信する機能を有している。
【００２６】
自車位置取得部２２は、自車がどの位置をどの方角に向けて走行しているかを示す情報を取得する機能を有している。自車の位置と走行の方角は、ＧＰＳセンサや地磁気センサ（コンパス）により取得することができる。ＧＰＳセンサや地磁気センサは車載装置２内に設けられているものを用いてもよいし、他の装置（カーナビ装置等）に設けられているＧＰＳセンサや地磁気センサから検出信号を取得してもよい。
【００２７】
解析部２３は、撮像装置１から受信部２１によって受信した交差点状況に関する情報と、自車位置取得部２２によって取得した情報と、地図データ２６とに基づいて交差点状況を解析する機能を有している。解析としては、撮像装置１から受信した交差点状況に関する情報の中で自車の情報がどれかを解釈する機能を含む。自車の特定は、位置の一致判断（誤差を考慮した一致判断）に基づいて行うことができるが、更に、走行の方角やその他の種別を判断に用いてもよい。その他の解析として、自車の走行する道路が優先道路であるか非優先道路であるか、非優先道路からの危険があるか否か、接近車両の種別が何であるか、車両の車高が閾値以上であるか否か等がある。
【００２８】
情報生成部２４は、解析部２３の解析結果に基づいて交差点状況を可視化した情報を生成する機能を有している。例えば、交差点状況をアラウンドビュー表示形式（車両上方から見下ろしたような感覚の映像として表示する方式）に変換し、各種のアラートのメッセージを生成して重畳する。
【００２９】
表示部２５は、情報生成部２４により生成された情報を表示する機能を有している。例えば、交差点状況をアラウンドビュー表示し、各種のアラートのメッセージを重畳表示する。地図データ２６は、交差点状況を表示するための地図情報である。ナビゲーション部２７は、カーナビゲーションを行う機能を有している。
【００３０】
なお、図５では、車載装置２としてカーナビ装置と一体化したものを想定しているが、カーナビ装置とは別に交差点状況通知情報を生成する装置として構成し、交差点状況通知情報をカーナビ装置における表示に合成するようにしてもよい。この場合、表示部２５と地図データ２６は、専用に設けてもよいし、カーナビ装置に設けられたものを利用することもできる。
【００３１】
図６は撮像装置１のハードウェア構成例を示す図である。図６において、撮像装置１は、バス１０１を介して相互に接続されたＣＰＵ（Central Processing Unit）１０２、ＲＯＭ（Read Only Memory）１０３、ＲＡＭ（Random Access Memory）１０４、ＨＤＤ（Hard Disk Drive）／ＳＳＤ（Solid State Drive）１０５、接続Ｉ／Ｆ（Interface）１０６、通信Ｉ／Ｆ１０８を備えている。接続Ｉ／Ｆ１０６にはカメラ１０７が接続される。
【００３２】
ＣＰＵ１０２は、ＲＡＭ１０４をワークエリアとしてＲＯＭ１０３またはＨＤＤ／ＳＳＤ１０５等に格納されたプログラムを実行することで、撮像装置１の動作を統括的に制御する。通信Ｉ／Ｆ１０８は、無線通信により車載装置２と通信を行うためのインタフェースである。図５に示した撮像装置１の機能は、ＣＰＵ１０２において所定のプログラムが実行されることで実現される。プログラムは、記録媒体を経由して取得されるものでもよいし、ネットワークを経由して取得されるものでもよいし、ＲＯＭ組込でもよい。
【００３３】
図７は車載装置２のハードウェア構成例を示す図である。図７において、車載装置２は、バス２０１を介して相互に接続されたＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、ＨＤＤ／ＳＳＤ２０５、接続Ｉ／Ｆ２０６、ＧＰＳ２０８、通信Ｉ／Ｆ２０９を備えている。接続Ｉ／Ｆ２０６にはタッチパネル等を伴ったディスプレイ２０７が接続される。
【００３４】
ＣＰＵ２０２は、ＲＡＭ２０４をワークエリアとしてＲＯＭ２０３またはＨＤＤ／ＳＳＤ２０５等に格納されたプログラムを実行することで、車載装置２の動作を統括的に制御する。通信Ｉ／Ｆ２０９は、無線通信により撮像装置１と通信を行うためのインタフェースである。図５に示した車載装置２の機能は、ＣＰＵ２０２において所定のプログラムが実行されることで実現される。プログラムは、記録媒体を経由して取得されるものでもよいし、ネットワークを経由して取得されるものでもよいし、ＲＯＭ組込でもよい。
【００３５】
＜動作＞
図８は上記の実施形態の処理例を示すフローチャートであり、交差点状況確認システムの全体フローである。撮像装置１は交差点状況に関する情報の送信を行い、車載装置２は撮像装置１から交差点状況に関する情報の受信を行うが、基本的にそれぞれ並列に動作を行う。
【００３６】
図８において、撮像装置１では、まず撮像部１１で交差点の映像を撮像し（ステップＳ１０１）、画像処理部１２で前処理および全天球イメージへの変換の画像処理を行い（ステップＳ１０２）、動体検出・追跡部１５で動体検出・追跡処理を行う（ステップＳ１０３）。
【００３７】
動体がなければ（ステップＳ１０４のＮｏ）、以降の処理は何もせず、繰り返し撮像（ステップＳ１０１）から動体検出・追跡（ステップＳ１０３）までの処理を行う。
【００３８】
動体があれば（ステップＳ１０４のＹｅｓ）、動体検出・追跡部１５による追跡中であるか否か判断し（ステップＳ１０５）、追跡中でなければ（ステップＳ１０５のＮｏ）、動体認識部１７で動体認識を行って追跡を行う（ステップＳ１０６）。この動体認識により、動体の種別、色、大きさを判断する。種別とは、車両（乗用車、軽自動車、トラックなど）、歩行者、自転車、その他のことを意味する。種別の認識は、動体特徴量１９として保持された動体を識別するための特徴量の情報を用い、それらの特徴量が動体の画像に含まれているか否かを判断することで、特徴の合致する種別を特定することにより行う。
【００３９】
動体認識（ステップＳ１０６）は、検出時に１度のみ処理を行えばよいので、追跡中の動体（ステップＳ１０５のＹｅｓ）については行わない。
【００４０】
追跡中である場合（ステップＳ１０５のＹｅｓ）および新な動体認識（ステップＳ１０６）が完了した後、距離計測部１４で動体までの距離計測を行う（ステップＳ１０７）。
【００４１】
次いで、交差点状況統合部１８で前回の計測した時刻と距離から動体の位置・速度・方向を計算し（ステップＳ１０８）、交差点状況データとして統合する（ステップＳ１０９）。
【００４２】
次いで、検出された全ての動体について位置・速度・方向が計算できているか判定し（ステップＳ１１０）、全ての動体について計算できていなければ（ステップＳ１１０のＮｏ）、追跡中の判断（ステップＳ１０５）から処理を繰り返す。
【００４３】
全ての動体について計算が完了したら（ステップＳ１１０のＹｅｓ）、車載装置２に交差点状況に関する情報に相当する交差点状況データを送信する（ステップＳ１１１）。
【００４４】
図９は交差点状況データの例を示す図であり、ＸＭＬ（eXtensible Markup Language）形式で示したものであるが、所定の情報が伝達できれば情報の形式は限定されない。図９において、交差点状況データには、交差点状況データを送信した撮像装置１の設置位置（経度、緯度、高さ等）と動体リスト（動体ごとに、動体ｉｄ、種別、色、大きさ、経度、緯度、高さ、速度、方向等）とが含まれている。設置位置は、撮像装置１の設置時に既にわかっており、設置位置１６に記憶された情報に基づいている。動体リストは、動体認識部１７により得られる動体の種別、色、大きさと、距離計測部１４により得られる撮像装置１から各動体までの相対位置から得られる経度、緯度、高さと、動体の移動ベクトル（速度と方向）に基づいている。移動ベクトルは前回の測定位置と時刻を保持し、今回の測定位置と時刻との差分から求めることができる。
【００４５】
図８に戻り、車載装置２では、まず自車位置取得部２２で自車がどの位置をどの方角に向けて走行しているのかを取得（検出）する（ステップＳ２０１）。自車位置取得部２２は本システム専用の機能を用いてもよいが、既存のカーナビゲーションシステムを用いてもよい。自車位置と進行方向がわかると、これから進入する交差点を割り出すことができる。
【００４６】
撮像装置１からの交差点状況データを受信部２１で受信すると（ステップＳ２０２）、解析部２３と情報生成部２４で交差点状況通知情報生成の処理を行う（ステップＳ２０３）。交差点状況通知情報生成の処理の詳細については後述する。
【００４７】
交差点状況通知情報生成の後、生成した情報により表示部２５により表示更新を行い（ステップＳ２０４）、以上の処理を繰り返し行う。
【００４８】
図１０は交差点状況通知情報生成（図８のステップＳ２０３）の処理例を示すフローチャートである。図１０において、まず、解析部２３は、自車位置取得部２２で取得した情報が撮像装置１から受信した交差点状況データの動体リストの位置情報に存在するかを確認する（ステップＳ２１１）。すなわち、自車位置取得部２２で取得された位置情報（緯度・経度）と最も近いものを交差点状況データの動体リストから検索（マッチング）する。なお、ＧＰＳ等のセンサで検知した位置情報には誤差が含まれ、対象が同一であっても完全には一致しないので、誤差を許容できるよう幅を持たせて一致を判断する。
【００４９】
解析部２３は、位置情報が一致した場合には同一交差点であると判断し、現在走行中の道路が優先道路であるか非優先道路であるかを地図データ２６より判断する（ステップＳ２１２）。
【００５０】
非優先道路であった場合には、情報生成部２４は、接近車両情報を生成する（ステップＳ２１３）。接近車両情報には歩行者の情報を含めてもよい。なお、カーナビゲーションにより目的地までのルートが表示されている場合には、そのルートに関係する接近車両情報を生成する。すなわち、そのルート上に存在するか、そのルートに接近してくる車両等の情報以外は対象外とする。
【００５１】
図１１は非優先道路を走る自車に対する表示画面例を示す図である。図１１（ａ）は、今から進入する交差点をアラウンドビュー表示したものであり、自車Ｃ１は三角形で示している。この例では、交差点の右方向から他車が２台（他車Ｃ２、Ｃ３）、左方向から歩行者が１人（歩行者Ｍ１）接近中である状態を、矩形や丸等の図形により示している。交差点をアラウンドビュー表示により俯瞰的に見ることにより、自車と他車の交差点との位置関係がわかる。このため、他車Ｃ２、Ｃ３の通過を待つべきか否かの判断が容易にできる。図示の例では、優先道路Ｒ１を走る他車Ｃ２、Ｃ３と非優先道路Ｒ２にいる自車Ｃ１は交差点に対して同程度の距離にあり、自車Ｃ１の速度も速いため、優先道路Ｒ１の他車Ｃ２、Ｃ３の通過を待つことと判断されるであろう。
【００５２】
また、図では歩行者や他車・後続車の速度や注意の通知をポップアップメッセージの形式で行っている。これにより、注意すべき度合いをより正確に判断することができる。なお、接近車両情報の表示開始位置は、交差点のある所定距離前からとし、この距離はユーザにより事前に設定することができるようにしてもよい。
【００５３】
図１１（ｂ）は、自車Ｃ１の方が他車Ｃ２よりも明らかに交差点に近い位置にあり、他車Ｃ２も低速であることがわかるため、他車Ｃ２の通過を待たずに交差点に進入すると判断されるであろう。
【００５４】
図１２は非優先道路を走る自車に対するカーナビゲーションと連携した表示画面例を示す図であり、図１２（ａ）（ｂ）は図１１（ａ）（ｂ）と状況は同じにしてある。ナビゲーションにより、自車のルートがプラスされると、ルートに関係のある情報のみに絞って表示できるため、より快適に安全確認ができる。つまり、左折する場合には、右から進入する車両の状態がわかればよいので、左から進入する車両について詳細に情報を表示する必要がなくなる。また、カーナビゲーションと連動する場合と連動しない場合で表示がほぼ変わらないため違和感無く利用することができる。
【００５５】
一方、接近車両情報として、前方の車両が大きく、後続車両が隠れてしまうことで、後続車が判断できない場合に対応する情報を付加することができる。すなわち、大型トラックなどの場合、定点カメラで撮影するとどうしても前方車両に後続車両が隠れて検出ができない場合がある。このとき、何も表示しなければ、ドライバは大型トラックが通過した後に行けると判断し、後続車と出合い頭の事故になってしまう可能性がある。これを回避するため、大型トラックなど後続車の有無が判断できないケースでは、注意喚起の表示を行うものとする。
【００５６】
図１３は後続車への注意喚起情報の提供のための処理例を示すフローチャートであり、接近車両情報の生成（図１０のステップＳ２１３）に追加される処理の例である。図１３において、まず、解析部２３は、交差点に接近する車両の種別の判断を行う（ステップＳ２２１）。接近車両が軽自動車や普通車以外の場合（バス・トラック等）には、後ろに後続車が潜んでいる可能性があるため、情報生成部２４は、後続車への注意喚起情報を生成し、表示部２５により表示する（ステップＳ２２２）。図１４は、交差点の右から進入する車両が大きい場合に後続車両が隠れてしまう場合に、後続車への注意喚起情報として「注意！！  後続車要確認」のポップアップメッセージによる表示が行われている状態を示している。なお、カーナビゲーションによるルート表示が行われている例を図示したが、ルート表示が行われていなくてもよい。
【００５７】
図１３に戻り、解析部２３は、もし接近車両が軽自動車や普通車であった場合には、車高が閾値以上であるか否か判断し（ステップＳ２２３）、情報生成部２４は、車高が閾値以上だったら注意喚起情報を生成し（ステップＳ２２２）、そうでない場合には、後続車が判断できるものとして、注意喚起情報の生成は行わない。なお、車高は交差点状況の物体リストに含まれる「高さ」を用いることができるが、別にカメラ映像から車高を推定してもよい。
【００５８】
図１０に戻り、解析部２３は、自車のいる道路が優先道路であった場合には、非優先道路からの危険検知を行い（ステップＳ２１４）、もし非優先道路から突っ込んでくる車両や自転車・歩行者などが存在する場合には、危険ありとして、情報生成部２４は、非優先道路からの飛び出し注意情報を生成する（ステップＳ２１５）。非優先道路からの危険の判断については、交差点に向かって減速せずに向かってくる動体が存在した場合に危険と判断する。危険と判断する速度や距離に関しては、パラメータ化し各交差点で調整できるようにしてもよい。
【００５９】
図１５は優先道路を走る自車に対する飛び出し注意情報を含む表示画面例を示す図であり、交差点の右から進入する車両について、飛び出し注意情報として「飛び出し注意」のポップアップメッセージによる表示が行われている状態を示している。
【００６０】
図１０に戻り、非優先道路からの危険がない場合には、情報生成部２４は、表示設定を確認し（ステップＳ２１６）、表示設定がＯＦＦであれば表示情報の生成を行わず終了し、表示設定がＯＮの場合には、危険なし表示情報を生成する（ステップＳ２１７）。ここでの表示設定は、非優先道路からの危険なし表示を行うか行わないかについての、ユーザによる事前の設定である。図１６は優先道路を走る自車に対する危険なし表示情報を含む表示画面例を示す図であり、交差点の右側について、「危険なし」のポップアップメッセージによる表示が行われている状態を示している。
【００６１】
図１０に戻り、解析部２３は、位置情報が一致しない場合には、カメラが設置されていないと判断し、撮像装置１から受信した交差点状況データを破棄し（ステップＳ２１８）、情報生成部２４は、カメラ未設置の表示情報を生成する（ステップＳ２１９）。すなわち、本システムの搭載により、ドライバは常に死角からの車両情報が表示されるものだと思い込む可能性があるため、本システムの撮像装置１が設置されていない交差点に進入した場合には注意喚起するようにしている。図１７はカメラ未設置の表示情報を含む表示画面例を示す図であり、「この交差点にはカメラが設置されておりません」のポップアップメッセージによる表示が行われている状態を示している。
【００６２】
＜総括＞
以上説明したように、本実施形態によれば、映像をそのまま用いることなく、撮像装置から取得する交差点における様々な情報を用いて自車の環境に合わせた表示をユーザに提供することができる。
【００６３】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【００６４】
＜実施形態の用語と請求項の用語の対応＞
撮像装置１は「撮像装置」の一例である。車載装置２は「車載装置」の一例である。撮像部１１は「撮像部」の一例である。動体検出・追跡部１５および動体認識部１７は「検出部」の一例である。距離計測部１４は「計測部」の一例である。送信部１３は「送信部」の一例である。受信部２１は「受信部」の一例である。地図データ２６は「記憶部」の一例である。自車位置取得部２２は「自車情報取得部」の一例である。解析部２３は「解析部」の一例である。情報生成部２４は「情報生成部」の一例である。表示部２５は「表示部」の一例である。
【符号の説明】
【００６５】
１        撮像装置
１１      撮像部
１２      画像処理部
１３      送信部
１４      距離計測部
１５      動体検出・追跡部
１６      設置位置
１７      動体認識部
１８      交差点状況統合部
１９      動体特徴量
２        車載装置
２１      受信部
２２      自車位置取得部
２３      解析部
２４      情報生成部
２５      表示部
２６      地図データ
２７      ナビゲーション部
Ｃ３      他車
【先行技術文献】
【特許文献】
【００６６】
【特許文献１】特開２０１０−５５１５７号公報
【特許文献２】ＷＯ２００８／０６８８３７
【図１】
2017126213.tif 000003
【図２】
2017126213.tif 000004
【図３】
2017126213.tif 000005
【図４】
2017126213.tif 000006
【図５】
2017126213.tif 000007
【図６】
2017126213.tif 000008
【図７】
2017126213.tif 000009
【図８】
2017126213.tif 000010
【図９】
2017126213.tif 000011
【図１０】
2017126213.tif 000012
【図１１】
2017126213.tif 000013
【図１２】
2017126213.tif 000014
【図１３】
2017126213.tif 000015
【図１４】
2017126213.tif 000016
【図１５】
2017126213.tif 000017
【図１６】
2017126213.tif 000018
【図１７】
2017126213.tif 000019