(57)【要約】  【課題】  ドライバが車両周辺の画像を表示したいと思う場所において、適切に画像を表示する車両周辺表示装置を提供する。  【解決手段】  車両周辺表示装置１は、過去に表示した周辺画像と、その周辺画像を表示した地点の道路に関する道路データとを関連付けて記憶した表示履歴ＤＢ１７と、カメラにて撮影中の画像データを取得して周辺画像を生成する周辺画像生成部１２と、車両の現在位置のデータを取得する現在位置データ取得部１０と、地図ＤＢから車両の現在位置に対応する道路データを取得し、取得した道路データに関連付けられた周辺画像を表示履歴ＤＢ１７から探索する画像探索部１１と、探索された周辺画像と周辺画像生成部にて生成した周辺画像の類似度を計算する類似度計算部１４と、類似度が所定の閾値以上である場合に、周辺画像生成部にて生成した周辺画像をディスプレイ３８に表示する表示制御部１６とを備える。【選択図】  図１
2011075437.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されたカメラにて撮影された周辺画像を表示する車両周辺表示装置であって、
過去に表示した周辺画像と、その周辺画像を表示した地点の道路に関する道路データとを関連付けて記憶した表示履歴記憶部と、
前記カメラにて撮影中の画像データを取得して、周辺画像を生成する周辺画像生成部と、
車両の現在位置のデータを取得する現在位置データ取得部と、
道路データを含む地図データを記憶した地図記憶部から車両の現在位置に対応する道路データを取得し、取得した道路データに関連付けられた周辺画像を前記表示履歴記憶部から探索する画像探索部と、
前記画像探索部にて周辺画像が探索された場合に、探索された周辺画像と前記周辺画像生成部にて生成した周辺画像の類似度を計算する類似度計算部と、
前記類似度が所定の閾値以上である場合に、前記周辺画像生成部にて生成した周辺画像をディスプレイに表示する表示制御部と、
を備える車両周辺表示装置。
【請求項２】
車両に搭載されたセンサから車両の状態を示す車両データを取得する車両データ取得部を備え、
前記表示履歴記憶部は、前記周辺画像の表示時における車両データを、前記周辺画像に関連付けて記憶しており、
前記画像探索部は、車両の現在位置に対応する道路データおよび前記車両データ取得部にて取得した車両データに関連付けられた周辺画像を前記表示履歴記憶部から探索する請求項１に記載の車両周辺表示装置。
【請求項３】
現在位置から目的地までの経路のデータを取得する経路データ取得部と、
前記地図記憶部に記憶された地図データから前記経路上の道路データを取得し、取得した道路データと前記表示履歴記憶部に記憶された道路データとを比較して、前記表示履歴記憶部に記憶された道路データと同じ道路データを有する地点を周辺画像の表示候補地として前記経路上から求めて表示候補地記憶部に記憶する表示計画部と、
を備え、
前記画像探索部は、前記現在位置データ取得部にて取得した現在位置のデータに基づいて、車両が前記表示候補地を含む所定の範囲内に入ったと判定されたときに、その道路データに関連付けられた周辺画像を前記表示履歴記憶部から探索する請求項１または２に記載の車両周辺表示装置。
【請求項４】
前記表示履歴記憶部は、周辺画像の表示を停止したときの周辺画像のデータを記憶しており、
前記類似度計算部は、表示を停止したときの周辺画像と、前記周辺画像生成部にて生成した周辺画像の類似度を計算し、
前記表示制御部は、前記類似度が所定の閾値以上である場合に、周辺画像のディスプレイへの表示を停止する請求項１〜３のいずれかに記載の車両周辺表示装置。
【請求項５】
前記画像探索部は、取得した道路データのうちの一部の道路データを探索キーとして用い、当該一部の道路データに関連付けられた周辺画像の探索を行い、前記一部の道路データに関連付けられた画像が所定数以上存在する場合には、探索キーとなる道路データの数を増やして周辺画像の探索を行う請求項１〜４のいずれかに記載の車両周辺表示装置。
【請求項６】
前記表示履歴記憶部には、どの方向の周辺画像を表示したかを特定する方向特定データが記憶されており、
前記周辺画像生成部にて生成した周辺画像を用いて、前記方向特定データにて特定される周辺画像を生成する請求項１〜５のいずれかに記載の車両周辺表示装置。
【請求項７】
前記表示履歴記憶部は、過去に表示した周辺画像から検出された道路上にある物体の画像を記憶しており、
前記類似度計算部は、前記周辺画像から検出された道路上にある物体の画像と、前記表示履歴記憶部に記憶された物体の画像の類似度を計算する請求項１〜６のいずれかに記載の車両周辺表示装置。
【請求項８】
前記物体の画像から物体の幅を計算し、計算した物体幅と前記道路データに含まれる道路幅とに基づいて実道路幅を計算する実道路幅計算部を備え、
前記表示履歴記憶部は、過去に周辺画像を表示したときの実道路幅のデータを記憶し、
前記類似度計算部は、前記周辺画像から計算された実道路幅と、前記表示履歴記憶部に記憶された実道路幅とを比較し、
前記表示制御部は、前記実道路幅が一致したときに周辺画像を表示する請求項７に記載の車両周辺表示装置。
【請求項９】
車両に搭載されたカメラにて撮影された周辺画像を表示する車両周辺表示装置であって、
車両に搭載されたセンサから車両の状態を示す車両データを取得する車両データ取得部と、
過去に表示した周辺画像と、その周辺画像の表示時における車両データとを関連付けて記憶した表示履歴記憶部と、
前記車両データ取得部にて取得した車両データに関連付けられた周辺画像を前記表示履歴記憶部から探索する画像探索部と、
前記カメラにて撮影中の画像データを取得して周辺画像を生成する周辺画像生成部と、
前記画像探索部にて周辺画像が探索された場合に、探索された周辺画像と前記周辺画像生成部にて生成した周辺画像の類似度を計算する類似度計算部と、
前記類似度が所定の閾値以上である場合に、前記周辺画像生成部にて生成した周辺画像をディスプレイに表示する表示制御部と、
を備える車両周辺表示装置。
【請求項１０】
車両に搭載されたカメラにて撮影された周辺画像を表示する車両周辺表示方法であって、
前記カメラにて撮影中の画像データを取得して周辺画像を生成する周辺画像生成ステップと、
車両の現在位置のデータを取得する現在位置データ取得ステップと、
道路に関する道路データを含む地図データを記憶した地図記憶部から車両の現在位置に対応する道路データを取得し、取得した道路データに関連付けられた周辺画像を、過去に表示した周辺画像とその周辺画像を表示した地点の道路データとを関連付けて記憶した表示履歴記憶部から探索する画像探索ステップと、
前記画像探索ステップにて周辺画像が探索された場合に、探索された周辺画像と前記周辺画像生成ステップにて生成した周辺画像の類似度を計算する類似度計算ステップと、
前記類似度が所定の閾値以上である場合に、前記周辺画像生成ステップにて生成した周辺画像をディスプレイに表示する表示制御ステップと、
を備える車両周辺表示方法。
【請求項１１】
車両に搭載されたカメラにて撮影された周辺画像を表示するためのプログラムであって、コンピュータに、
前記カメラにて撮影中の画像データを取得して周辺画像を生成する周辺画像生成ステップと、
車両の現在位置のデータを取得する現在位置データ取得ステップと、
道路に関する道路データを含む地図データを記憶した地図記憶部から車両の現在位置に対応する道路データを取得し、取得した道路データに関連付けられた周辺画像を、過去に表示した周辺画像とその周辺画像を表示した地点の道路データとを関連付けて記憶した表示履歴記憶部から探索する画像探索ステップと、
前記画像探索ステップにて周辺画像が探索された場合に、探索された周辺画像と前記周辺画像生成ステップにて生成した周辺画像の類似度を計算する類似度計算ステップと、
前記類似度が所定の閾値以上である場合に、前記周辺画像生成ステップにて生成した周辺画像をディスプレイに表示する表示制御ステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の運転支援のために、車両周辺の様子を撮影して表示する車両周辺表示装置に関する。
【背景技術】
【０００２】
従来から、車両の周辺の様子を撮影した画像をドライバに提供し、運転を支援するシステムが知られていた。特許文献１は、車両の側方の監視画像を表示する装置の発明を開示している。特許文献１に記載された発明は、側方監視画像を表示させる必要のある場所をあらかじめ登録しておき、車両がその場所に差し掛かったときにディスプレイに側方監視画像を表示する。
【０００３】
特許文献２は、カメラにより撮影した車両周辺の撮影画像を切り替えて表示する装置の発明を開示している。特許文献２に記載された発明は、道路の構成に基づいて表示画面を切り替えるようにしている。なお、特許文献２において「道路の構成」とは、道路の位置、車線数、幅員、および道路の流入、分岐、交差等の各道路の接続関係の情報である。
【０００４】
特許文献３は、撮影予定位置においてドライバが見たい方向の状況を撮影して表示する装置の発明を開示している。特許文献３に記載された発明は、車両の現在位置が撮影予定位置またはその近傍であったとき、現在の状況と撮影条件とが一致するか否かを判定し、撮影条件に一致する場合に、指定されたカメラで撮影を行う。なお、特許文献３において「撮影条件」とは、進行方向、トランスミッションのシフトポジション、車速などの条件である。
【０００５】
また、特許文献３では、撮影予定位置を自動的に登録する態様を開示している。すなわち、車両の走行中にドライバが撮影を行ないたいと思った地点で、手動で撮影を指示すると、その地点の画像を撮影して表示装置に表示すると共に、その位置を撮影予定位置として登録する。さらに、特許文献３では、撮影された画像から障害物等を検出し、車体が障害物をこすりそうな状況にあるときに、その位置を撮影予定位置として自動登録を行うことも開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−２９３０９８号公報
【特許文献２】特開２００５−３０９８１２号公報
【特許文献３】特開２００５−３１８５１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された発明では、側方監視画像を表示させる必要のある場所をあらかじめ登録する必要があり、ドライバにとって使いやすいとは言えなかった。特許文献２に記載された発明は、道路構成に基づいて車両周辺の画像を撮影および表示するので、あらかじめ登録する必要はない。しかし、車両周辺の画像を見たいかどうかは、ドライバの熟練度合い、走行中の道路に対する慣れ具合、苦手なシーンによって異なる。例えば、大雨が苦手なドライバもいれば、夜間、人混みが苦手なドライバもいる。苦手ではないシーンにおいて、車両の周辺画像が表示されると、画像表示自体を煩わしく感じる場合もあった。
【０００８】
特許文献３に記載されているように、ドライバが過去に画像表示を指示した地点を登録する方法によれば、ドライバの要求に基づいた地点において画像を表示することが可能である。しかし、この方法は、過去に走行した道路にしか適用することができず、新しい道路を走行する場合には適用できなかった。
【０００９】
そこで、本発明は上記背景に鑑み、ドライバが車両周辺の画像を表示したいと思う場所において、適切に周辺画像を表示する車両周辺表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の車両周辺表示装置は、車両に搭載されたカメラにて撮影された周辺画像を表示する装置であって、過去に表示した周辺画像と、その周辺画像を表示した地点の道路に関する道路データとを関連付けて記憶した表示履歴記憶部と、前記カメラにて撮影中の画像データを取得して周辺画像を生成する周辺画像生成部と、車両の現在位置のデータを取得する現在位置データ取得部と、道路データを含む地図データを記憶した地図記憶部から車両の現在位置に対応する道路データを取得し、取得した道路データに関連付けられた周辺画像を前記表示履歴記憶部から探索する画像探索部と、前記画像探索部にて周辺画像が探索された場合に、探索された周辺画像と前記周辺画像生成部にて生成した周辺画像の類似度を計算する類似度計算部と、前記類似度が所定の閾値以上である場合に、前記周辺画像生成部にて生成した周辺画像をディスプレイに表示する表示制御部とを備える。
【００１１】
このように現在の周辺画像と表示履歴記憶部に記憶された過去に表示した周辺画像との類似度が所定の閾値以上の場合に、現在の周辺画像を表示する構成により、現在の周辺画像が過去に表示した周辺画像と同じシーンの場合に周辺画像を表示することができる。これにより、単に、道路データが同じというだけでむやみに周辺画像が表示されることがなく、画像表示を煩わしく感じさせないようにできる。また、道路データが一致する周辺画像が探索された場合に、周辺画像の類似度の計算を行う構成により、道路データが異なり類似しない可能性が高い周辺画像との類似度計算を行わないようにできる。
【００１２】
本発明の車両周辺表示装置は、車両に搭載されたセンサから車両の状態を示す車両データを取得する車両データ取得部を備え、前記表示履歴記憶部は、前記周辺画像の表示時における車両データを前記周辺画像に関連付けて記憶しており、前記画像探索部は、車両の現在位置に対応する道路データおよび前記車両データ取得部にて取得した車両データに関連付けられた周辺画像を前記表示履歴記憶部から探索してもよい。
【００１３】
このように車両データ取得部にて取得した車両データに関連付けられた周辺画像を探索することにより、類似する可能性のある周辺画像を効率良く探索することができる。
【００１４】
本発明の車両周辺表示装置は、現在位置から目的地までの経路のデータを取得する経路データ取得部と、前記地図記憶部に記憶された地図データから前記経路上の道路データを取得し、取得した道路データと前記表示履歴記憶部に記憶された道路データとを比較して、前記表示履歴記憶部に記憶された道路データと同じ道路データを有する地点を周辺画像の表示候補地として前記経路上から求めて表示候補地記憶部に記憶する表示計画部とを備え、前記画像探索部は、前記現在位置データ取得部にて取得した現在位置のデータに基づいて、車両が前記表示候補地を含む所定の範囲内に入ったと判定されたときに、その道路データに関連付けられた周辺画像を前記表示履歴記憶部から探索してもよい。
【００１５】
このように経路データに基づいて、表示履歴記憶部に記憶された道路データと同じ道路データを有する表示候補地を求めておくことにより、車両が表示候補地に到達したときに周辺画像を表示するか否かを判定する処理を行えばよい。これにより、走行時に道路データが一致する周辺画像が表示履歴記憶部に存在するか否かを常に判断する必要がなく、走行時における処理負担を軽減できる。
【００１６】
本発明の車両周辺表示装置において、前記表示履歴記憶部は、周辺画像の表示を停止したときの周辺画像のデータを記憶しており、前記類似度計算部は、表示を停止したときの周辺画像と前記周辺画像生成部にて生成した周辺画像の類似度を計算し、前記表示制御部は、前記類似度が所定の閾値以上である場合に、周辺画像のディスプレイへの表示を停止してもよい。
【００１７】
この構成により、過去の表示履歴に基づいて、適切なタイミングで画像表示を停止できる。
【００１８】
本発明の車両周辺表示装置において、前記画像探索部は、取得した道路データのうちの一部の道路データを探索キーとして用い、当該一部の道路データに関連付けられた周辺画像の探索を行い、前記一部の道路データに関連付けられた画像が所定数以上存在する場合には、探索キーとなる道路データの数を増やして周辺画像の探索を行ってもよい。
【００１９】
このように一部の道路データを探索キーとして用いることにより、探索キーから除外された道路データが一致しなくても、表示履歴記憶部に記憶された周辺画像と現在の周辺画像との類似度を計算する。これにより、比較対象の候補となる周辺画像を広く探索するので、過去の周辺画像と比較する前の段階で処理が終了してしまって、類似する周辺画像を見落としてしまう可能性を低減できる。また、探索キーとして用いた一部の道路データに関連付けられた画像が所定数以上存在する場合には、探索キーを増やすことにより、関連付けられた画像を減らし、類似度計算に要する処理負荷を軽減できる。なお、所定数以上の周辺画像が関連付けられている探索キー（道路データの組み合わせ）は頻出の道路データであるので、探索キーを増やしても、類似する可能性のある周辺画像を見落とす可能性は少ないと考えられる。
【００２０】
本発明の車両周辺表示装置において、前記表示履歴記憶部には、どの方向の周辺画像を表示したかを特定する方向特定データが記憶されており、前記周辺画像生成部にて生成した周辺画像を用いて、前記方向特定データにて特定される周辺画像を生成してもよい。
【００２１】
このように方向特定データを有することにより、同じ方向の周辺画像の類似度を適切に計算することができる。
【００２２】
本発明の車両周辺表示装置は、前記表示履歴記憶部は、過去に表示した周辺画像から検出された道路上にある物体の画像を記憶しており、前記類似度計算部は、前記周辺画像から検出された道路上にある物体の画像と、前記表示履歴記憶部に記憶された物体の画像の類似度を計算してもよい。
【００２３】
この構成により、表示履歴記憶部に記憶するデータ量を低減できると共に、ドライバの運転時における判断に大きい影響を与える道路上の物体の画像を比較するので、過去に周辺画像を表示したシーンか否かを適切に判定することができる。
【００２４】
本発明の車両周辺表示装置は、前記物体の画像から物体の幅を計算し、計算した物体幅と前記道路データに含まれる道路幅とに基づいて実道路幅を計算する実道路幅計算部を備え、前記表示履歴記憶部は、過去に周辺画像を表示したときの実道路幅のデータを記憶し、前記類似度計算部は、前記周辺画像から計算された実道路幅と、前記表示履歴記憶部に記憶された実道路幅とを比較し、前記表示制御部は、前記実道路幅が一致したときに周辺画像を表示してもよい。
【００２５】
この構成により、車種やドライバの熟練度によって異なる運転支援が必要な実道路幅を考慮して、周辺画像を表示するか否かを適切に判断することができる。
【００２６】
本発明の車両周辺表示装置は、車両に搭載されたカメラにて撮影された周辺画像を表示する装置であって、車両に搭載されたセンサから車両の状態を示す車両データを取得する車両データ取得部と、過去に表示した周辺画像と、その周辺画像の表示時における車両データとを関連付けて記憶した表示履歴記憶部と、前記車両データ取得部にて取得した車両データに関連付けられた周辺画像を前記表示履歴記憶部から探索する画像探索部と、前記カメラにて撮影中の画像データを取得して周辺画像を生成する周辺画像生成部と、前記画像探索部にて周辺画像が探索された場合に、探索された周辺画像と前記周辺画像生成部にて生成した周辺画像の類似度を計算する類似度計算部と、前記類似度が所定の閾値以上である場合に、前記周辺画像生成部にて生成した周辺画像をディスプレイに表示する表示制御部とを備える。
【００２７】
このように現在の周辺画像と表示履歴記憶部に記憶された過去に表示した周辺画像との類似度が所定の閾値以上の場合に、現在の周辺画像を表示する構成により、現在の周辺画像が過去に表示した周辺画像と同じシーンの場合に周辺画像を表示することができる。これにより、単に、操作の内容が同じというだけでむやみに周辺画像が表示されることがなく、画像表示を煩わしく感じさせないようにできる。また、車両データが一致する周辺画像が探索された場合に、周辺画像の類似度の計算を行う構成により、車両データが異なり類似しない可能性が高い周辺画像との類似度計算を行わないようにできる。
【００２８】
本発明の車両周辺表示方法は、車両に搭載されたカメラにて撮影された周辺画像を表示する方法であって、前記カメラにて撮影中の画像データを取得して周辺画像を生成する周辺画像生成ステップと、車両の現在位置のデータを取得する現在位置データ取得ステップと、道路に関する道路データを含む地図データを記憶した地図記憶部から車両の現在位置に対応する道路データを取得し、取得した道路データに関連付けられた周辺画像を、過去に表示した周辺画像とその周辺画像を表示した地点の道路データとを関連付けて記憶した表示履歴記憶部から探索する画像探索ステップと、前記画像探索ステップにて周辺画像が探索された場合に、探索された周辺画像と前記周辺画像生成ステップにて生成した周辺画像の類似度を計算する類似度計算ステップと、前記類似度が所定の閾値以上である場合に、前記周辺画像生成ステップにて生成した周辺画像をディスプレイに表示する表示制御ステップとを備える。
【００２９】
本発明のプログラムは、車両に搭載されたカメラにて撮影された周辺画像を表示するためのプログラムであって、コンピュータに、前記カメラにて撮影中の画像データを取得して周辺画像を生成する周辺画像生成ステップと、車両の現在位置のデータを取得する現在位置データ取得ステップと、道路に関する道路データを含む地図データを記憶した地図記憶部から車両の現在位置に対応する道路データを取得し、取得した道路データに関連付けられた周辺画像を、過去に表示した周辺画像とその周辺画像を表示した地点の道路データとを関連付けて記憶した表示履歴記憶部から探索する画像探索ステップと、前記画像探索ステップにて周辺画像が探索された場合に、探索された周辺画像と前記周辺画像生成ステップにて生成した周辺画像の類似度を計算する類似度計算ステップと、前記類似度が所定の閾値以上である場合に、前記周辺画像生成ステップにて生成した周辺画像をディスプレイに表示する表示制御ステップとを実行させる。
【００３０】
この構成により、本発明の車両周辺表示方法およびプログラムは、上記した車両周辺表示装置と同様に、単に、道路データが同じというだけでむやみに周辺画像が表示されることがなく、画像表示を煩わしく感じさせないようにできる。なお、本発明の車両周辺表示装置の各種の構成を本発明の車両周辺表示方法およびプログラムに適用することが可能である。
【発明の効果】
【００３１】
本発明は、現在の周辺画像が過去に表示した周辺画像と同じシーンの場合に周辺画像を表示することにより、単に、道路データが同じというだけでむやみに周辺画像が表示されることがなく、画像表示を煩わしく感じさせないようにできる。
【図面の簡単な説明】
【００３２】
【図１】第１の実施の形態の車両周辺表示装置の構成を示す図である。
【図２】（ａ）表示履歴ＤＢに記憶された周辺画像の表示開始時のデータの例を示す図である。（ｂ）表示履歴ＤＢに記憶された周辺画像の表示停止時のデータの例を示す図である。
【図３】（ａ）〜（ｅ）画像特徴量の計算処理について説明する図である。
【図４】（ａ）勾配値の計算について説明するための図である。（ｂ）勾配値の計算に用いる係数の例を示す図である。
【図５】車両周辺表示装置のハードウェア構成を示す図である。
【図６】（ａ）第１の実施の形態の車両周辺表示装置の表示履歴ＤＢにデータを蓄積する動作を示す図である。（ｂ）表示履歴記憶の詳細な動作を示す図である。
【図７】第１の実施の形態の車両周辺表示装置が周辺画像を表示する動作を示す図である。
【図８】第２の実施の形態の車両周辺表示装置の構成を示す図である。
【図９】第２の実施の形態の車両周辺表示装置が表示候補地を計画する動作を示す図である。
【図１０】第２の実施の形態の車両周辺表示装置によって周辺画像を表示する動作を示す図である。
【図１１】探索キーの数の変更について説明するための図である。
【発明を実施するための形態】
【００３３】
以下、本発明の実施の形態の車両周辺表示装置の構成について説明する。以下では、車両周辺表示装置がカーナビゲーション装置（以下、「カーナビ」という）と別体である場合を例として説明するが、車両周辺表示装置はカーナビに組み込まれていてもよい。
【００３４】
図１は、第１の実施の形態の車両周辺表示装置１の構成を示す図である。車両周辺表示装置１には、カーナビ３０、ＧＰＳ受信機３５、センサ群３６、カメラ群３７、ディスプレイ３８が接続されている。ディスプレイ３８は、カーナビ３０のディスプレイ３３を利用してもよい。
【００３５】
カーナビ３０は、通常のカーナビ３０と同様に、経路探索部３１、経路案内部３２、ディスプレイ３３、地図データベース（以下、「地図ＤＢ」という）３４を有する。地図ＤＢ３４には、道路の種別や道路のリンク種別等を示す道路データが記憶されている。ＧＰＳ受信機３５は、ＧＰＳ衛星からの信号を受信し、車両の現在位置を検出する。ＧＰＳ受信機３５は、現在位置データを車両周辺表示装置１に送信する。なお、本実施の形態では、車両の現在位置を検出する構成としてＧＰＳ受信機３５のみを示しているが、現在位置を検出するセンサとしては、例えば、車両の絶対方位を検出するための地磁気センサ、車両の相対方位を検出するためのジャイロスコープ、車両の走行距離を検出する距離センサ、ステアリングの回転センサ、各転動輪の車速センサ等を用いることも可能である。これらのセンサを用いることにより、現在位置の検出精度を高めることができる。
【００３６】
センサ群３６は、車両に搭載された各種のセンサであり、車両の状態を検出する。センサ群３６には、速度、ギアのシフトポジション、ウィンカー、ヘッドライト、ワイパー、ハンドル、ブレーキ、エアコン、窓、オーディオ等の状態を検知するセンサが含まれる。センサ群３６は、検知された車両データを車両周辺表示装置１に送信する。
【００３７】
カメラ群３７は、車両の周辺を撮影するために車両に搭載された複数台のカメラである。本実施の形態では、カメラ群３７として、車両の左右をそれぞれ撮影する２台のカメラ、車両の後方を撮影するカメラ、車両前方の死角を撮影するカメラを有する。カメラ群３７は、撮影によって得られた画像データを車両周辺表示装置１に送信する。なお、本実施の形態では、複数台のカメラを用いる例について説明しているが、カメラは必ずしも複数台である必要はなく、例えば後方を撮影するカメラのみを搭載することとしてもよい。
【００３８】
車両周辺表示装置１は、現在位置データ取得部１０と、画像探索部１１と、周辺画像生成部１２と、画像特徴量計算部１３と、類似度計算部１４と、画像表示判定部１５と、表示制御部１６と、表示履歴データベース（以下、「表示履歴ＤＢ」という）１７とを有している。
【００３９】
周辺画像生成部１２は、４台のカメラにて撮影された画像データを取得し、取得した画像を合成して周辺画像を生成する。本実施の形態では、周辺画像として、「ブラインドコーナー画像」「トップビュー画像」「後方ワイドビュー画像」「バックガイド画像」「すり抜け画像」「電子ミラー画像」を生成する。
【００４０】
「ブラインドコーナー画像」は、車両のバンパーによって死角になっている右斜め前または左斜め前の画像である。前方のカメラ画像に基づいて生成される。「トップビュー画像」は、車両を上方から見下ろした画像である。４台のカメラ画像を合成して生成される。「後方ワイドビュー画像」は、車両の後方を広角にとらえた画像である。後方と２台の側方のカメラ画像を合成して生成される。「バックガイド画像」は車両の後方の比較的近くを表示した画像である。後方のカメラ画像に基づいて生成される。「すり抜け画像」は、狭い道路においてすり抜けやすれ違いをサポートする画像である。２台の側方のカメラ画像に基づいて生成される。「電子ミラー画像」は、サイドミラーで確認できる方向の画像をサイドミラーより広い角度でとらえた画像である。側方のカメラ画像に基づいて生成される。なお、ここで示した周辺画像の種類は一例であり、上記以外の周辺画像を生成および表示することとしてもよい。
【００４１】
現在位置データ取得部１０は、ＧＰＳ受信機３５から現在位置データを取得する。現在位置データ取得部１０は、現在位置データを画像探索部１１に渡す。画像探索部１１は、表示履歴ＤＢ１７から過去に表示した周辺画像の特徴量を探索する。
【００４２】
図２（ａ）および図２（ｂ）は、表示履歴ＤＢ１７に記憶されたデータの例を示す図である。図２（ａ）は、周辺画像の表示を開始したときの周辺画像とその関連データ、図２（ｂ）は、周辺画像の表示を停止したときの周辺画像とその関連データである。説明の便宜上、図２（ａ）と図２（ｂ）の２つの図に分けて記載しているが、図２（ａ）、図２（ｂ）に示すデータは共に、表示履歴ＤＢ１７に記憶されている。
【００４３】
図２（ａ）に示すように、表示履歴ＤＢ１７には、周辺画像の表示を開始したときの位置と、道路データと、車両データと、周辺画像の画像データとが関連付けて記憶されている。また、図２（ｂ）に示すように周辺画像の表示を停止したときの位置と、道路データと、車両データと、周辺画像の画像データも同様に記憶されている。図２（ａ）、図２（ｂ）において、「Ｎｏ．」は対応しており、同じ「Ｎｏ．」の周辺画像の表示開始と表示停止のデータは組になっている。例えば、図２（ｂ）に示す「Ｎｏ．１」で表示が停止された周辺画像は、図２（ａ）に示す「Ｎｏ．１」で表示が開始された周辺画像である。
【００４４】
次に、表示履歴ＤＢ１７に記憶された各データについて説明する。周辺画像の表示を開始したときに周辺画像データに関連付けて記憶した各種データ（図２（ａ）参照）と周辺画像の表示を停止したときに周辺画像データに関連付けて記憶した各種データ（図２（ｂ）参照）は同じである。以下では、図２（ａ）を中心に説明する。位置は、緯度、経度によって表現されたデータである。周辺画像の表示を開始したときに、現在位置データ取得部１０にて取得したデータが記憶される。
【００４５】
道路データとしては、道路の「種別」と「リンク種別」が記憶されている。道路の「種別」は、例えば、「国道」「県道」「その他の一般道路」「高速自動車道路」「都市高速道路」「駐車場」等である。道路の「リンク種別」は、例えば、「交差点」「ランプ」「ロータリー」「トンネル」等である。なお、ここに挙げた道路データは一例であり、道路の構成等を特徴づける他のデータを用いることも可能である。例えば、「分岐」、「分岐属性」「信号」「車線数」「幅員」「一方通行」「法定速度」等を道路データとして用いてもよい。なお、「分岐属性」とは、「分岐なし」「ＩＣ」「ＳＡ，ＰＡ」「ＪＣＴ」等のように、道路が分岐している理由を示すデータである。
【００４６】
車両データとしては、周辺画像を表示したときにセンサ群３６から取得したデータが記憶されている。車両データは、具体的には、「速度」「ギア」「ウィンカー」「ヘッドライト」「ワイパー」の状態を示すデータである。なお、ここに挙げた車両データは一例であり、他の車両データを用いてもよい。「ヘッドライト」は「ＯＮ」のデータが記憶された場合には、「通常点灯」か「ハイビーム」かのデータも併せて記憶されている。「ワイパー」は、「０」のデータがワイパー停止を示し、「１〜３」のデータがワイパーの動作速度を示す。数値が大きくなるほど、ワイパーが高速に動作したことを示す。
【００４７】
画像データとしては、周辺画像の方向を特定する「方向」のデータと、周辺画像の「画像特徴量」のデータとが記憶されている。「方向」のデータは、「ブラインドコーナー画像」「トップビュー画像」「後方ワイドビュー画像」「後方ガイド画像」「すり抜け画像」「電子ミラー画像」のいずれの周辺画像であるかを特定する。「画像特徴量」は、画像を識別するためのデータである。画像自体ではなく、画像特徴量を用いることにより、表示履歴ＤＢ１７のデータ量を抑制することができる。なお、車両周辺表示装置１が大容量のメモリを有する場合には、画像自体を記憶してもよい。
【００４８】
次に、画像探索部１１の機能について説明する。本実施の形態の車両周辺表示装置１は、現在の周辺画像が過去に表示した周辺画像と類似している場合には、ドライバが過去に周辺画像を表示したシーンと類似するシーンであると判断し、現在の周辺画像を表示する。ここで、現在の周辺画像を、表示履歴ＤＢ１７に記憶されたすべての周辺画像と比較すると処理負担が大きい。そこで、比較対象の候補となる周辺画像を探索するのが画像探索部１１の機能である。
【００４９】
画像探索部１１は、現在位置データ取得部１０から渡された現在位置データに対応する道路データを地図ＤＢ３４から読み出す。また、画像探索部１１は、センサ群３６から送信された車両データを受信する。画像探索部１１は、地図ＤＢ３４から読み出した道路データと、センサ群３６から受信した車両データを探索キーとして用いて、表示履歴ＤＢ１７から探索キーに一致する周辺画像の画像特徴量を探索する。例えば、道路データが「国道」「トンネル」であって、車両データが「速度：３０ｋｍ／ｈ」「ギア：Ｄ」「ウィンカー：ＯＦＦ」の場合、これらを探索キーとして周辺画像の探索を行うと、「Ｎｏ．１」の画像の画像特徴量が探索される。なお、探索キーとしては、図２（ａ）に示すすべての道路データ、車両データを用いてもよいし、一部の道路データ、車両データを用いてもよい。
【００５０】
画像探索部１１は、探索キーの道路データ、車両データに合致する周辺画像が探索された場合には、その画像特徴量を出力する。探索キーに合致する周辺画像が存在しなかった場合には、画像探索部１１は、周辺画像が見つからなかった旨を出力する。
【００５１】
類似度計算部１４は、画像探索部１１にて探索された過去の周辺画像と、現在の周辺画像との類似度を計算する。類似度計算部１４は、画像特徴量計算部１３に対し、画像探索部１１にて探索された周辺画像と同じ方向の周辺画像の画像特徴量データを送信するように指示する。例えば、画像探索部１１にて、図２（ａ）に示す「Ｎｏ．１」のデータが探索された場合には、類似度計算部１４は、「後方ワイドビュー画像」の画像特徴量データの送信を指示する。
【００５２】
周辺画像生成部１２は、カメラ群３７から取得したカメラ画像を合成して、指定された周辺画像を生成する。周辺画像生成部１２は、生成した周辺画像を画像特徴量計算部１３に渡す。画像特徴量計算部１３は、周辺画像の画像特徴量を計算する。
【００５３】
図３（ａ）〜図３（ｅ）は、画像特徴量の計算処理について説明する図である。画像特徴量計算部１３は、図３（ａ）に示すように、周辺画像に対して特徴量計算の対象となる領域Ａを設定する。例えば、ドライバが運転の際に注視する視野を特徴量計算の対象領域Ａとして設定することにより、特徴量の計算精度を高めることができる。次に、画像特徴量計算部１３は、図３（ｂ）に示すように、対象領域Ａに対して複数の小領域Ｂを設定する。なお、小領域Ｂを設定する際に、それぞれの小領域Ｂが部分的に重なってもよい。
【００５４】
続いて、画像特徴量計算部１３は、図３（ｃ）に示すように小領域Ｂを１６分割して計算単位の領域Ｃを得る。画像特徴量計算部１３は、図３（ｄ）に示すように、計算単位領域Ｃのそれぞれにおいて８方向の勾配値を求める。
【００５５】
図４（ａ）及び図４（ｂ）は、勾配値の計算について説明するための図である。図４（ａ）に示すように、３×３画素で構成される計算単位領域Ｃの各画素値に、方向によって決まる特有の係数を掛けて合計することにより、勾配値を計算する。図４（ｂ）は、勾配値の計算に用いる係数の例を示す図である。
【００５６】
画像特徴量計算部１３は、小領域Ｂに含まれる１６個すべての計算単位の８方向の勾配値を合算し、図３（ｅ）に示すようなヒストグラムを求める。このヒストグラムが画像の小領域Ｂにおける特徴量である。以上の画像特徴量の計算処理は、安倍満、吉田悠一「VisualRankの多クラスへの拡張: 画像特徴量を用いた類似画像の自動分類とランキング付け手法」電子情報通信学会に詳しく記載されている。
【００５７】
類似度計算部１４は、画像探索部１１にて探索された過去の周辺画像と画像特徴量計算部１３にて計算された現在の周辺画像の画像特徴量に基づいて、両画像の類似度を計算する。類似度計算部１４は、比較対象の画像において、対応する位置にある小領域Ｂの特徴量どうしを比較して類似度を求め、その比較結果を合計して全体の類似度を計算する。類似度計算部１４は、計算によって求めた類似度の値を画像表示判定部１５に渡す。
【００５８】
画像表示判定部１５は、類似度が所定の閾値以上であるか否かを判定する。類似度が所定の閾値以上であると判定された場合に、画像表示判定部１５は現在の周辺画像を表示すると判定し、表示制御部１６に対し、現在の周辺画像を表示するように指示を出す。表示制御部１６は、画像表示判定部１５からの指示を受けると、周辺画像生成部１２にて生成した周辺画像のデータをディスプレイ３８に送信し、ディスプレイ３８に周辺画像を表示させる。
【００５９】
また、類似度計算部１４は、表示制御部１６にて周辺画像の表示が開始された後に、画像探索部１１にて探索された過去の周辺画像の表示を停止したときの周辺画像（すなわち、画像表示を停止する直前の周辺画像）と現在の周辺画像との類似度を計算し、計算によって求めた類似度の値を画像表示判定部１５に渡す。画像表示判定部１５は、類似度が所定の閾値以上であるか否かを判定し、類似度が所定の閾値以上であると判定された場合に、周辺画像の表示を停止すると判定する。表示制御部１６は、画像表示判定部１５から画像表示を停止するとの指示を受けた場合に、ディスプレイ３８に対し、周辺画像の表示を停止するように指示する制御信号を送信する。
【００６０】
図５は、上記に説明した車両周辺表示装置１のハードウェア構成を示す図である。車両周辺表示装置１は、ＥＣＵ４０、ＲＡＭ４１、ＲＯＭ４２、通信インターフェース４４、ハードディスク４５、操作部４６がデータバス４７によって接続されたコンピュータによって構成される。ＥＣＵ４０が、ＲＯＭ４２に書き込まれたプログラム４３に従って演算処理を実行することにより、上記した車両周辺表示装置１の機能が実現される。このようなプログラム４３は、本発明の範囲に含まれる。
【００６１】
図６（ａ）および図６（ｂ）は、第１の実施の形態の車両周辺表示装置１の表示履歴ＤＢ１７にデータを蓄積する動作を示す図である。図６（ａ）に示すように、車両周辺表示装置１は、車両の走行中に、ドライバからの周辺画像の表示指示があったか否かを判定する（Ｓ１０）。表示指示がない場合には（Ｓ１０でＮＯ）、表示指示があるまで、この判定を繰り返し行う。
【００６２】
ドライバから周辺画像の表示指示があった場合には（Ｓ１０でＹＥＳ）、車両周辺表示装置１は、撮影中の画像を送信するようにカメラ群３７に対して指示を出す。周辺画像の表示指示には、ドライバがどの方向の周辺画像を表示したいかを示すデータを含む。例えば、周辺画像の表示指示を行うスイッチを８個準備し、どのスイッチを押されたかに応じて、左右の「ブラインドコーナー画像」「トップビュー画像」「後方ワイドビュー画像」「バックガイド画像」「すり抜け画像」、左右の「電子ミラー画像」のいずれを表示したいかを識別できるようにしてもよい。車両周辺表示装置１は、カメラ群３７から撮影中の画像データを受信すると、受信したカメラ画像を合成して周辺画像を生成し（Ｓ１２）、生成した周辺画像をディスプレイ３８に表示する（Ｓ１４）。また、車両周辺表示装置１は、表示を開始したときの周辺画像の画像特徴量データを表示履歴ＤＢ１７に記憶する（Ｓ１６）。
【００６３】
図６（ｂ）は、表示履歴記憶（Ｓ１６）の詳細な動作を示す図である。図６（ｂ）に示すように、車両周辺表示装置１は、現在位置データ取得部１０にて、ドライバが周辺画像の表示指示を出したときの車両の現在位置のデータを取得する（Ｓ３０）。車両周辺表示装置１は、現在位置に対応する道路データを地図ＤＢ３４から読み出す（Ｓ３２）。また、車両周辺表示装置１は、ドライバが周辺画像の表示指示を出したときの車両データをセンサ群３６から取得する（Ｓ３４）。車両周辺表示装置１は、ドライバが周辺画像の表示指示を出したときにカメラ画像から生成された周辺画像の画像特徴量を計算する（Ｓ３６）。以上のように求めた道路データ、車両データおよび周辺画像の画像データを関連付けて、表示履歴ＤＢ１７に記憶する（Ｓ３８）。
【００６４】
車両周辺表示装置１は、周辺画像の表示中には、ドライバからの周辺画像表示の停止指示があったか否かを判定する（Ｓ１８）。周辺画像表示の停止指示がない場合には（Ｓ１８でＮＯ）、停止指示があるまで周辺画像を表示しながら、この判定を繰り返し行う。ドライバから周辺画像表示の停止指示があった場合には（Ｓ１８でＹＥＳ）、車両周辺表示装置１の表示制御部１６は、周辺画像の表示を停止する（Ｓ２０）。また、車両周辺表示装置１は、周辺画像の表示を停止したとき、すなわち表示を停止する直前の周辺画像のデータを表示履歴ＤＢ１７に記憶する（Ｓ２２）。周辺画像のデータの表示を停止する詳細な動作は、図６（ｂ）にて説明した動作と同じである。
【００６５】
図７は、第１の実施の形態の車両周辺表示装置１が周辺画像を表示する動作を示す図である。車両周辺表示装置１は、車両の走行中に、ＧＰＳ受信機３５から現在位置データを取得する（Ｓ４０）。車両周辺表示装置１は、現在位置に対応する道路データを地図ＤＢ３４から読み出す（Ｓ４２）。また、車両周辺表示装置１は、センサ群３６から車両データを取得する（Ｓ４４）。なお、現在位置データの取得（Ｓ４０）と車両データの取得（Ｓ４４）の順序は、図７に示す順序に限定されるものではなく、例えば、逆であってもよい。
【００６６】
車両周辺表示装置１は、取得した道路データおよび車両データと同じ道路データおよび車両データに関連付けられた過去の周辺画像が存在するか表示履歴ＤＢ１７内を探索する（Ｓ４６）。道路データおよび車両データが同一の周辺画像が見つからなかった場合には（Ｓ４８でＮＯ）、車両周辺表示装置１は、周辺画像の表示を行わないで現在位置データを取得する処理（Ｓ４０）に戻る。
【００６７】
道路データおよび車両データが同一の周辺画像が見つかった場合には（Ｓ４８でＹＥＳ）、車両周辺表示装置１は、カメラ群３７から取得した画像データを生成して周辺画像を生成し（Ｓ５０）、生成した周辺画像の特徴量を計算する（Ｓ５２）。続いて、車両周辺表示装置１は、表示履歴ＤＢ１７から読み出した画像特徴量と現在の周辺画像の画像特徴量との類似度を計算する（Ｓ５２）。類似度が所定の閾値未満の場合には（Ｓ５４でＮＯ）、車両周辺表示装置１は、周辺画像の表示を行わないで現在位置データを取得する処理（Ｓ４０）に戻る。
【００６８】
類似度が所定の閾値以上の場合には（Ｓ５４でＹＥＳ）、車両周辺表示装置１は、カメラ群３７にて撮影中の周辺画像のディスプレイ３８への表示を開始する（Ｓ５６）。周辺画像の表示中には、車両周辺表示装置１は、周辺画像の表示を停止する停止条件を満たすか否かを判定し（Ｓ５８）、停止条件を満たさないと判定されたときには（Ｓ５８でＮＯ）、周辺画像の表示を続けながら、停止条件を満たすか否かの判定を繰り返し行う。
【００６９】
車両周辺表示装置１は、停止条件を満たすと判定されたときに（Ｓ５８でＹＥＳ）、周辺画像の表示を停止する（Ｓ６０）。本実施の形態では、周辺画像の表示の停止条件は、現在の周辺画像と、表示履歴ＤＢ１７に記憶された周辺画像の表示を停止したときの周辺画像の類似度が所定の閾値以上となったときである。従って、車両周辺表示装置１は、撮影中のカメラ画像の画像特徴量と、表示履歴ＤＢ１７に記憶された表示停止時の画像特徴量（図２（ｂ）参照）とを比較して類似度を計算し、類似度が所定の閾値以上であるかを判定する。以上、第１の実施の形態の車両周辺表示装置１の構成および動作について説明した。
【００７０】
第１の実施の形態の車両周辺表示装置１は、現在の周辺画像と、表示履歴ＤＢ１７に記憶された過去に表示した周辺画像との類似度を計算し、類似度が所定の閾値以上のときに周辺画像を表示するので、過去に周辺画像を表示したときと同じか、あるいは似通ったシーンにおいて、周辺画像を表示することができる。これにより、ドライバが苦手とするシーンにおいて、自動的に周辺画像が表示され、適切に運転を支援することができる。また、道路データや車両データが同じであってもシーンが異なる場合には、周辺画像が表示されないので、ドライバが煩わしさを感じることが少なくなる。
【００７１】
第１の実施の形態の車両周辺表示装置１は、現在の周辺画像との比較対象となる過去の周辺画像の候補を道路データや車両データに基づいて選ぶので、比較対象の候補となる過去の周辺画像を減らし、周辺画像の類似度を計算する処理負担を軽減できる。
【００７２】
第１の実施の形態の車両周辺表示装置１は、過去に周辺画像の表示を停止したときの周辺画像と現在の周辺画像の類似度を計算し、類似度が所定の閾値以上のときに周辺画像の表示を停止するので、過去にドライバが周辺画像の表示が必要ないと判断したタイミングで、周辺画像の表示を停止できる。
【００７３】
第１の実施の形態の車両周辺表示装置１は、周辺画像生成部１２にて生成された周辺画像どうしの類似度を計算している。運転を支援するために生成された周辺画像に映る対象物はおおよそ決まっているので、周辺画像どうしの類似度計算を精度良く行うことができる。
【００７４】
（第２の実施の形態）
図８は、本発明の第２の実施の形態の車両周辺表示装置２の構成を示す図である。第２の実施の形態の車両周辺表示装置２の基本的な構成は、第１の実施の形態の車両周辺表示装置１と同じである。第２の実施の形態の車両周辺表示装置２は、第１の実施の形態の車両周辺表示装置１の構成に加え、経路データ取得部１８と、画像表示計画部１９と、表示候補地データベース（以下、「表示候補地ＤＢ」という）２０とを有している。経路データ取得部１８は、カーナビ３０にて探索された出発地から目的地までの経路データを取得する。経路データ取得部１８は、取得した経路データを画像表示計画部１９に渡す。
【００７５】
画像表示計画部１９は、カーナビ３０から受信した経路データの経路上において、周辺画像を表示する候補となる表示候補地を計画する。具体的には、画像表示計画部１９は、地図ＤＢ３４に記憶された地図データから経路上の道路データを取得する。画像表示計画部１９は、経路上の道路データと表示履歴ＤＢ１７に記憶された道路データとを比較し、同じ道路データを有する地点を周辺画像の表示候補地として求める。画像表示計画部１９は、求めた表示候補地を表示候補地ＤＢ２０に記憶する。
【００７６】
画像探索部１１は、基本的には、第１の実施の形態における画像探索部１１と同様に、撮影中のカメラ画像との比較対象となる過去の周辺画像の探索を行う。ただし、第１の実施の形態と異なり、画像探索部１１は、車両が表示候補地ＤＢ２０に記憶された表示候補地に近づいたときに、画像探索を行う点である。
【００７７】
図９は、第２の実施の形態の車両周辺表示装置２が表示候補地を計画する動作を示す図である。カーナビ３０は、ドライバから目的地の設定を受け付け（Ｓ７０）、現在位置から目的地までの経路を探索する（Ｓ７２）。カーナビ３０は、探索した経路データを車両周辺表示装置２に送信する（Ｓ７４）。車両周辺表示装置２は、カーナビ３０から送信された経路データを受信すると（Ｓ７６）、受信した経路データにて特定される経路の道路データを地図ＤＢ３４から読み出す（Ｓ７８）。
【００７８】
車両周辺表示装置２は、経路上の道路データと表示履歴ＤＢ１７に記憶された道路データとを比較し、表示履歴ＤＢ１７に経路上の道路データと同じ道路データが記憶されているか否かを判定する（Ｓ８０）。同じ道路データがある場合には（Ｓ８０でＹＥＳ）、その道路データにかかる地点を表示候補地とし、表示候補地ＤＢ２０に書き込む（Ｓ８２）。経路上にあるすべての道路データについて、上記の判定を行って、表示候補地ＤＢ２０に、経路上における周辺画像の表示候補地を記憶する。カーナビ３０は、表示候補地ＤＢ２０の準備が整った段階で、経路案内を開始する（Ｓ８４）。
【００７９】
図１０は、第２の実施の形態の車両周辺表示装置２によって周辺画像を表示する動作を示す図である。第２の実施の形態の車両周辺表示装置２は、車両の走行中に現在位置データを取得し（Ｓ９０）、現在位置データと表示候補地ＤＢ２０に記憶された表示候補地のデータとに基づいて、車両が表示候補地に到達したか否かを判定する（Ｓ９２）。ここで、表示候補地に到達したか否かの判定は、車両が表示候補地を含む所定の範囲（例えば、表示候補地を中心とする半径１００ｍの範囲）に進入したか否かによって判定する。車両が表示候補地に到達していない場合には（Ｓ９２でＮＯ）、車両周辺表示装置２は、現在位置データを取得する処理（Ｓ９０）に戻る。なお、表示候補地に到達したか否かを判定するための所定の範囲の大きさは、道路データに応じて変えてもよい。例えば、道路の種別が「国道」の場合には半径１００ｍに設定し、道路の種別が「駐車場」の場合には半径１０ｍに設定する等してもよい。
【００８０】
車両が表示候補地に到達したと判定した場合には（Ｓ９２でＹＥＳ）、車両周辺表示装置２は、センサ群３６から車両データを取得する（Ｓ９４）。車両周辺表示装置２は、表示候補地における周辺画像データおよびその関連データを表示履歴ＤＢ１７から読み出し、読み出したデータに含まれる車両データと、センサ群３６から受信した車両データが一致するか否かを判定する（Ｓ９６）。車両データが一致しない場合には（Ｓ９６でＮＯ）、車両周辺表示装置２は、その表示候補地では周辺画像を表示せず、現在位置データを取得する処理に戻る（Ｓ９０）。
【００８１】
車両データが一致する場合には（Ｓ９６でＹＥＳ）、車両周辺表示装置２は、カメラ群３７から取得した画像データから周辺画像を生成し、生成した画像の特徴量を求める。続いて、車両周辺表示装置２は、現在の周辺画像の画像特徴量と表示履歴ＤＢ１７から読み出した画像特徴量とを比較し、両画像の類似度を計算する（Ｓ１００）。類似度が所定の閾値未満の場合には（Ｓ１０２でＮＯ）、車両周辺表示装置２は、周辺画像の表示を行わないで現在位置データを取得する処理（Ｓ９０）に戻る。
【００８２】
類似度が所定の閾値以上の場合には（Ｓ１０２でＹＥＳ）、車両周辺表示装置２は、現在の周辺画像のディスプレイ３８への表示を開始する（Ｓ１０４）。周辺画像の表示中には、車両周辺表示装置２は、周辺画像の表示を停止する停止条件を満たすか否かを判定し（Ｓ１０６）、停止条件を満たさないと判定されたときには（Ｓ１０６でＮＯ）、周辺画像の表示を続けながら、停止条件を満たすか否かの判定を繰り返し行う。
【００８３】
車両周辺表示装置１は、停止条件を満たすと判定されたときに（Ｓ１０６でＹＥＳ）、周辺画像の表示を停止する（Ｓ１０８）。本実施の形態では、周辺画像の表示の停止条件は、現在の周辺画像と表示履歴ＤＢ１７に記憶された表示を停止したときの周辺画像との類似度が所定の閾値以上となったときである。従って、車両周辺表示装置２は、撮影中のカメラ画像の画像特徴量と、表示履歴ＤＢ１７に記憶された表示停止時の画像特徴量（図２（ｂ）参照）とを比較して類似度を計算し、類似度が所定の閾値以上であるかを判定する。以上、第２の実施の形態の車両周辺表示装置２の構成および動作について説明した。
【００８４】
第２の実施の形態の車両周辺表示装置２は、第１の実施の形態と同様に、過去に周辺画像を表示したときと同じか、あるいは似通ったシーンにおいて、周辺画像を表示することができる。また、道路データや車両データが同じであってもシーンが異なる場合には、周辺画像が表示されないので、ドライバが煩わしさを感じることが少なくなるという効果を有する。
【００８５】
また、第２の実施の形態の車両周辺表示装置２は、カーナビ３０にて設定された経路データに基づいて、周辺画像を表示する候補となる表示候補地を求めておき、車両が表示候補地に到達したときに周辺画像を表示するか否かの判定を行うので、常に、周辺画像を表示するか否かの判定を行う場合に比べて処理負担を軽減することができる。
【００８６】
以上、本発明の車両周辺表示装置および車両周辺表示方法の構成および動作について、実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
【００８７】
上記した実施の形態では、道路データ、車両データの一部を探索キーとして画像探索を行う例について説明したが、探索キーとして用いるパラメータは、そのパラメータの組み合わせに関連付けられた周辺画像の数に応じて変更してもよい。
【００８８】
図１１は、探索キーの数の変更について説明するための表示履歴ＤＢの例を示す図である。図１１に示す表示履歴ＤＢから、「道路の種別」、「速度」、「ギア」、「ウィンカー」を探索キーとして周辺画像を探索した場合、「Ｎｏ．１」〜「Ｎｏ．３」のデータはいずれも探索キーの値が同じであるので、周辺画像として「image07」〜「image09」の３つの周辺画像が探索される。ここで、３つの周辺画像のそれぞれとの類似度を計算する処理負荷が大きい場合、「ヘッドライト」「ワイパー」を探索キーに加えて周辺画像を探索する。この場合、「Ｎｏ．１」〜「Ｎｏ．３」の「ヘッドライト」及び「ワイパー」の値は異なるので、「image07」〜「image09」のいずれかの周辺画像が探索される。従って、車両周辺表示装置は、いずれか１つの周辺画像との類似度を計算すればよいので、計算の処理負担を軽減できる。いくつの周辺画像が探索された場合に、探索キーの数を増やすかは、車両周辺表示装置を構成するＥＣＵの処理能力に応じて適宜設定することができる。
【００８９】
上記した実施の形態では、画像特徴量計算部１３は、図３（ａ）に示すように、周辺画像に対して特徴量計算の対象となる領域Ａを設定し、当該領域での特徴量を計算する例について説明したが、特徴量計算対象の領域の形状は必ずしも矩形でなくてもよい。画像特徴量計算部１３は、例えば、道路上にある物体を検出し、検出した物体を特徴量計算対象としてもよい。これにより、特徴量を計算する領域を小さくできると共に、特徴量のデータも小さくできる。
【００９０】
また、検出された道路上の物体と道路データに含まれる道路幅とに基づいて、実際に道路として使用することが可能な実道路幅を求める実道路幅計算部を備えてもよい。実道路幅計算部は、物体の幅と物体のある位置に基づいて、物体の両側から道路端までの距離のうち長い方を求める。なお、道路上の物体のうち前方車両を除外する処理を行ってもよい。このような実道路幅計算部を備えることにより、道路上に置かれた障害物等により実際に通行できる可能性のない部分を除外した実道路幅に基づいて、周辺画像を表示するか否かを判断することができる。表示履歴記憶部に実道路幅のデータを記憶しておき、過去に周辺画像を表示したときの実道路幅のデータと現在の周辺画像から計算された実道路幅のデータとを比較し、両者が一致する場合に、周辺画像を表示する構成とすることもできる。
【００９１】
上記した実施の形態では、表示履歴ＤＢ１７から道路データおよび車両データの両方が一致する周辺画像を探索する例について説明したが、道路データまたは車両データのいずれかを用いて、過去の周辺画像の探索を行ってもよい。
【００９２】
上記した実施の形態では、表示履歴ＤＢ１７に記憶された表示を停止した直前の周辺画像と撮影中のカメラ画像との類似度が所定の閾値以上となったときに周辺画像の表示を停止する例について説明したが、表示を停止させる条件として、別の条件を用いてもよい。例えば、周辺画像の表示時間が所定の閾値を経過したときに画像表示を停止してもよいし、画像表示の開始時点から所定の距離だけ車両が移動したときに画像表示を停止してもよい。また、画像の特徴量が表示開始時の画像から所定の閾値だけ変化したときに画像表示を停止してもよい。また、例えば、渋滞中などには、時間が経過しても車両があまり進まないことが想定されるので、移動距離を停止条件とし、駐車場等においては、移動距離は小さいので、表示時間を停止条件とするなど、シーンに応じて停止条件を変更することも可能である。
【００９３】
上記した実施の形態では、図２（ａ）、図２（ｂ）にて道路データ、車両データの例を挙げたが、道路データ、車両データは上記実施の形態で挙げた例に限定されない。道路データ、車両データは、過去の周辺画像との類似度を求める前段階として比較対象の候補となる周辺画像を絞り込む役割を有するので、ドライブシーンに関わりがあり、類似する可能性の高い周辺画像を選択できるデータであればよい。例えば、車両データとして、車両の方位のデータと時刻のデータを用いてもよい。周辺画像の表示が日中である場合には、時刻から太陽のある方向が求まり、車両の方位によって車両が太陽に対して向いている方向が決まる。従って、車両の方位のデータは、ドライバがまぶしいと感じているか否かに関係しており、ドライブシーンに関わりがある。また、車両データ、道路データ以外のデータとして、「曜日」のデータを用いてもよい。曜日は道路の混み具合に影響する場合があるので、ドライブシーンに関わりがある。
【産業上の利用可能性】
【００９４】
本発明は、現在の車両周辺のシーンが過去に周辺画像を表示したシーンと類似しているか否かを判定し、適切なタイミングで周辺画像を表示できるという効果を有し、運転を支援するための車両周辺表示装置等として有用である。
【符号の説明】
【００９５】
１，２  車両周辺表示装置
１０  現在位置データ取得部
１１  画像探索部
１２  周辺画像生成部
１３  画像特徴量計算部
１４  類似度計算部
１５  画像表示判定部
１６  表示制御部
１７  表示履歴ＤＢ
１８  経路データ取得部
１９  画像表示計画部
２０  表示候補地ＤＢ
３０  カーナビゲーション装置
３１  経路探索部
３２  経路案内部
３３  ディスプレイ
３４  地図ＤＢ
３５  ＧＰＳ受信機
３６  センサ群
３７  カメラ群
３８  ディスプレイ
４０  ＥＣＵ
４１  ＲＡＭ
４２  ＲＯＭ
４３  プログラム
４４  通信Ｉ／Ｆ
４５  ハードディスク
４６  操作部
【図１】
2011075437.tif 000003
【図２】
2011075437.tif 000004
【図３】
2011075437.tif 000005
【図４】
2011075437.tif 000006
【図５】
2011075437.tif 000007
【図６】
2011075437.tif 000008
【図７】
2011075437.tif 000009
【図８】
2011075437.tif 000010
【図９】
2011075437.tif 000011
【図１０】
2011075437.tif 000012
【図１１】
2011075437.tif 000013