(57)【特許請求の範囲】
【請求項１】
複数の車輪を有する車両の進行方向の路面情報を記憶する第１記憶部と、
全ての前記車輪の少なくとも一部の領域を含む前記車両の床下領域に関する床下情報を、前記路面情報から生成する制御部と、
前記車両の駆動が終了すると、前記床下情報を記憶する不揮発性の第２記憶部と、
前記車両の駆動が開始すると、前記第２記憶部に記憶された前記床下情報を表示する表示部と、
を備え、
前記制御部は、
前記車両の進行方向に関して、前輪の後端部の領域から後輪の前端部の領域までを含む前記車両の床下領域に関する前記床下情報、及び、全ての前記車輪が接地した領域を含む前記車両の床下領域に関する前記床下情報のいずれか一方を少なくとも前記表示部に表示させる
周辺監視装置。
【請求項２】
前記制御部は、前記車両の駆動が開始した後に、前記第２記憶部に記憶された前記床下情報と、前記車両の現在の周囲の情報に対応する現在周囲情報とを合成した合成情報を前記表示部に表示させる
請求項１に記載の周辺監視装置。
【請求項３】
前記制御部は、前記床下情報と前記現在周囲情報とを異なる色の形式で前記表示部に表示させる
請求項２に記載の周辺監視装置。
【請求項４】
前記路面情報は、路面の撮像画像であり、
前記現在周囲情報は、現在の前記車両の周囲を撮像した撮像画像であり、
前記制御部は、
白黒画像、灰色画像及びセピア色画像の画像形式からなる群より選択された一の画像形式による前記床下情報の画像と、カラー画像の形式による前記現在周囲情報の画像とを合わせて前記表示部に表示させる
請求項３に記載の周辺監視装置。
【請求項５】
前記第２記憶部は、前記車両の駆動が終了する前の前記車両の周囲の情報に対応する過去周囲情報を記憶して、
前記制御部は、前記路面情報及び前記過去周囲情報を合わせて前記表示部に表示させる
請求項１から４のいずれか１項に記載の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周辺監視装置に関する。
【背景技術】
【０００２】
従来、自動車等の車両の床下の一部、例えば、後輪から後方の領域の画像を床下情報として表示装置に表示して、運転を支援する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３７９７３４３号公報
【特許文献２】特許第４７２４５２２号公報
【特許文献３】特許第５０６７６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、後輪から後方の領域の画像しか表示しないので、運転者への支援が十分でないといった課題がある。
【課題を解決するための手段】
【０００５】
本発明の実施形態にかかる周辺監視装置は、例えば、複数の車輪を有する車両の進行方向の路面情報を記憶する第１記憶部と、全ての車輪の少なくとも一部の領域を含む車両の床下領域に関する床下情報を、路面情報から生成する制御部と、車両の駆動が終了すると、床下情報を記憶する不揮発性の第２記憶部と、車両の駆動が開始すると、第２記憶部に記憶された床下情報を表示する表示部と、を備え、制御部は、車両の進行方向に関して、前輪の後端部の領域から後輪の前端部の領域までを含む車両の床下領域に関する床下情報、及び、全ての車輪が接地した領域を含む車両の床下領域に関する床下情報のいずれか一方を少なくとも表示部に表示させる。
【０００６】
上述したように、周辺監視装置は、車両の全ての車輪の領域を含む床下情報を表示する。これにより、周辺監視装置は、運転者に全ての車輪の近辺の床下情報を提供できる。また、周辺監視装置は、駆動が終了すると不揮発性の第２記憶部に床下情報を記憶させている。これにより、周辺監視装置では、駆動が開始した後、画像処理等の情報処理をほとんど必要とすることなく、床下情報を迅速に提供することができる。
【０００７】
また、上記周辺監視装置は、例えば、制御部は、車両の駆動が開始した後に、第２記憶部に記憶された床下情報と、車両の現在の周囲の情報に対応する現在周囲情報とを合成した合成情報を表示部に表示させてもよい。これにより、周辺監視装置は、駆動が開始した後の現在情報の提供時に取得できない床下情報の提供を実現しつつ、車両の周囲の情報については現在の状況を提供できる。
【０００８】
また、上記周辺監視装置は、例えば、制御部は、床下情報と現在周囲情報とを異なる色の形式で表示部に表示させてもよい。これにより、周辺監視装置は、床下情報と現在周囲情報とが異なる状況によるものであることを運転者に認識させることができる。
【０００９】
また、上記周辺監視装置は、例えば、路面情報は、路面の撮像画像であり、現在周囲情報は、現在の車両の周囲を撮像した撮像画像であり、制御部は、白黒画像、灰色画像及びセピア色画像の画像形式からなる群より選択された一の画像形式による床下情報の画像と、カラー画像の形式による現在周囲情報の画像とを合わせて表示部に表示させてもよい。このように、周辺監視装置は、床下情報の画像と、現在周囲情報の画像とを色の異なる画像形式で表示するので、運転者に両画像が異なる状況によるものであることを容易に認識させることができる。
【００１０】
また、上記周辺監視装置は、例えば、第２記憶部は、車両の駆動が終了する前の車両の周囲の情報に対応する過去周囲情報を記憶して、制御部は、路面情報及び過去周囲情報を合わせて表示部に表示させてもよい。これにより、周辺監視装置は、第２記憶部から床下情報及び過去周囲情報を取得することによって、駆動が開始してから周囲の情報を取得することなく、運転者に周囲情報を迅速に提供することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。
【図２】図２は、実施形態にかかる周辺監視装置を搭載する車両の一例が示された平面図（鳥瞰図）である。
【図３】図３は、実施形態にかかる周辺監視装置を含む周辺監視システムの一例が示されたブロック図である。
【図４】図４は、実施形態にかかる周辺監視装置の周辺監視ＥＣＵ内に実現される周辺監視部の構成を示すブロック図である。
【図５】図５は、実施形態にかかる車両の撮像部による撮像領域を示した側面図である。
【図６】図６は、本実施形態にかかる周辺監視装置を搭載する車両の撮像部による撮像領域を時刻毎に示した平面図である。
【図７】図７は、実施形態にかかる周辺監視装置のオプティカルフロー算出部により算出されるオプティカルフローの概念を示した図である。
【図８】図８は、実施形態にかかる周辺監視装置のリングバッファの構造を示した図である。
【図９】図９は、実施形態にかかる周辺監視装置が表示装置に表示させる画像の一例を示す図である。
【図１０】図１０は、実施形態にかかる周辺監視装置が表示装置に表示させる画像の別例を示す図である。
【図１１】図１１は、実施形態にかかる周辺監視装置における生成処理の手順を示すフローチャートである。
【図１２】図１２は、本実施形態にかかる周辺監視装置における画像の表示処理の手順を示すフローチャートである。
【図１３】図１３は、実施形態にかかる周辺監視装置が表示装置に表示させる床下画像の別例を示す図である。
【図１４】図１４は、実施形態にかかる周辺監視装置が表示装置に表示させる床下画像の別例を示す図である。
【発明を実施するための形態】
【００１２】
後述する実施形態では、複数の車輪（例えば、四輪）を有する車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良い。また、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
【００１３】
図１に示されるように、実施形態にかかる車体２は、乗員（図示されず）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、例えば、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルである。また、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーである。ただし、これらには限定されない。
【００１４】
また、車室２ａ内には、表示装置８（表示出力部）や、音声出力装置９（音声出力部）が設けられている。表示装置８は、例えば、ＬＣＤ（liquid  crystal  display）や、ＯＥＬＤ（organic  electroluminescent  display）等である。音声出力装置９は、例えば、スピーカである。また、本実施形態では、例えば、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、例えば、表示装置８や、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。また、本実施形態では、例えば、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、周辺監視装置用のモニタ装置を、これらシステムとは別に設けても良い。
【００１５】
また、図１、図２に示されるように、本実施形態では、例えば、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。そして、例えば前輪３Ｆのタイヤ角が操舵部４（ステアリングホイール）の操作に対応して変化（転舵）する。操舵システム１２（図３参照）は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer  by  wire）システム等である。操舵システム１２は、図３に示すように、アクチュエータ１２ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補って、前輪３Ｆを操舵する。
【００１６】
また、本実施形態では、例えば、図２に示されるように、車両１（車体２）には、複数（本実施形態では、例えば４つ）の撮像部１６（１６ａ〜１６ｄ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge  coupled  device）やＣＩＳ（CMOS  image  sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで撮像画像データ（動画データ、フレームデータ）を出力することができる。撮像部１６は、それぞれ、広角レンズを有し、水平方向には例えば１４０°〜２２０°の範囲（視野角）を撮影（撮像）することができる。また、撮像部１６の光軸は下方（例えば、鉛直方向や斜め下方）に向けて設定されている。よって、撮像部１６は、車両１が移動可能な路面と当該路面から上方の領域とを含む車体２の周辺の外部の環境を撮影することができる。
【００１７】
本実施形態では、例えば、撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントグリル等に設けられている。撮像部１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置され、左側のドアミラー２ｇ（突出部）に設けられている。また、第１撮像部として機能する撮像部１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置され、右側のドアミラー２ｇ（突出部）に設けられている。なお、本実施形態は、カメラの車載方法を制限するものではなく、車両に対してフロント方向の撮像画像データ、左右サイド方向の撮像画像データ、リア方向の撮像画像データを取得できるように設置されればよい。
【００１８】
周辺監視ＥＣＵ１４（図３参照）は、複数の撮像部１６で得られた撮像画像データに基づいて演算処理や画像処理を実行し、当該画像処理がなされた撮像画像データを表示装置８に表示できる。なお、後述するが、例えば車両前方を撮影（撮像）する撮像部１６ａが撮影した撮像画像データは、そのまま現在の車両周囲の状況を示す現在の画像として利用する。そして、その撮像画像データを記憶しておくことにより、現在の画像に利用した撮像画像データをそのまま過去の車両の床下及び周囲の状況を示す撮像画像データとして利用して、過去の画像を表示する。
【００１９】
また、本実施形態では、例えば、図３に示されるように、周辺監視システム（周辺監視装置）１００では、周辺監視ＥＣＵ１４（electronic  control  unit）や、モニタ装置１１等の他、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等が、車内ネットワーク２３（電気通信回線）を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller  area  network）として構成されている。周辺監視ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、ブレーキシステム１８等を制御することができる。また、周辺監視ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１２ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果を受け取ることができる、また、周辺監視ＥＣＵ１４は、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取ることができる。
【００２０】
本実施形態では、車両１に２個の加速度センサ２６（２６ａ、２６ｂ）が設けられているものとする。なお、本実施形態は、車両１をＥＳＣ（electronic  stability  control）搭載車両とする。そして、ＥＳＣ（electronic  stability  control）搭載車両に従来から搭載されている加速度センサ２６（２６ａ、２６ｂ）を用いる。なお、本実施形態は、加速度センサを制限するものではなく、車両１の左右方向の加速度を検出可能なセンサであれば良い。本実施形態では、前後方向の加速度及び左右方向の加速度を導出する。
【００２１】
周辺監視ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central  processing  unit）や、ＲＯＭ１４ｂ（read  only  memory）、ＲＡＭ１４ｃ（random  access  memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid  state  drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行する。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＲＡＭ１４ｃは、第１記憶部の一例である。ＳＳＤ１４ｆは、不揮発性の第２記憶部の一例である。
【００２２】
ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、周辺監視ＥＣＵ１４での演算処理のうち、主として、撮像部１６で得られた撮像画像データを用いた画像処理や、表示装置８で表示される撮像画像データの画像処理（例えば合成等）等を実行する。また、音声制御部１４ｅは、周辺監視ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、周辺監視ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、周辺監視ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital  signal  processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であっても良い。また、ＳＳＤ１４ｆに替えて不揮発性の第２記憶部としてＨＤＤ（hard  disk  drive）が設けられても良いし、ＳＳＤ１４ｆやＨＤＤは、周辺監視ＥＣＵ１４とは別に設けられても良い。
【００２３】
図４は、本実施形態にかかる周辺監視ＥＣＵ１４内に実現される周辺監視部４００の構成を示すブロック図である。図３の周辺監視ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ（コンピュータ読み取り可能な記録媒体）内に格納されたソフトウェアを実行することで、図４に示される、取得部４０１と、角度算出部４０２と、保存処理部４０３と、受付部４０５と、表示処理部４０６と、を実現する。なお、ソフトウェア（プログラム）は、コンピュータ読み取り可能な他の記録媒体を介して提供されてもよい。また、周辺監視部４００は、ＲＡＭ１４ｃ上にリングバッファ４０４を実現する。
【００２４】
図５は、本実施形態にかかる車両１の撮像部１６ａによる撮像領域を示した側面図である。図６は、本実施形態にかかる周辺監視システム１００を搭載する車両１の撮像部１６による撮像領域を時刻毎に示した平面図である。尚、図６における時刻ｔ＝４は、車両１が駐車した状態を示している。従って、図６における時刻ｔ＝４の状態は、駐車した車両１の過去の状態ともいえ、駐車した状態から発進する現在の車両１の状態ともいえる。また、図６における時刻ｔ＝０〜３は、前方に進行している車両１の駐車直前の状態である。
【００２５】
図５及び図６に示されるように、撮像部１６ａは、車両１の進行方向の路面と、当該路面から上方（重力方向の反対方向）の領域であり、少なくとも地平線を含む領域を撮像している。しかしながら、駐車または停車している車両１の車輪３付近の路面５０１は、撮像部１６ａが現在撮像している撮像領域５０２ｅに含まれていない。また、撮像領域を前輪３Ｆ付近の床下まで含めるのも、車両１のバンパーの配置等の影響（車両１の構造的に）で難しい。
【００２６】
このため、運転者（利用者）は、駐車している車両１において、現在撮像されている撮像画像データを視認しても、車両１の前輪３Ｆ付近に障害物５６０（図９参照）等が存在するか否かを確認するのが難しい。そこで、本実施形態において、制御部として機能する周辺監視部４００は、撮像部１６ａが過去に撮像した撮像画像データから生成した画像を表示可能とした。過去に撮像した撮像画像データとは、換言すれば、車両１の現在の位置より後方の位置で撮像した撮像画像データを意味し、例えば、図５及び図６の例において車両１の現在位置（例えば、駐車位置）における床下領域または床下領域の一部に対応する撮像画像データとすることができる。床下領域とは、車両１の鉛直下方の領域であって、換言すれば、車両１を路面に投影した領域である。従って、車両１が前方に進行している場合、撮像部１６ａが、路面を含む領域を撮像して生成した過去の撮像画像データは車両の進行方向の路面の情報である路面情報及び路面の撮像画像の一例である。
【００２７】
例えば、周辺監視部４００は、駐車直前に前方に進行している車両１の後方の位置（ｔ＝４で駐車している車両１の位置に至る前の位置）で撮像部１６ａが撮像した撮像画像データの画像として、時刻ｔ＝２の撮像領域５０２ｃの画像を、運転者に提示することが考えられる。撮像領域５０２ｃには、路面５０１ｃが含まれているため、運転者は前輪３Ｆ付近の路面５０１ｃを確認することができる。周辺監視部４００は、前方に進行している車両１の更に後方の位置で撮像部１６ａが撮像した撮像画像データの画像として、時刻ｔ＝０の撮像領域５０２ａの画像を、運転者に提示することが考えられる。撮像領域５０２ａには、路面５０１ａが含まれているため、運転者は後輪３Ｒ付近の路面５０１ａを確認することができる。周辺監視部４００は、前方に進行している車両１の後方の位置で撮像部１６ａが撮像した撮像画像データの画像として、時刻ｔ＝１の撮像領域５０２ｂの画像を、運転者に提示することが考えられる。撮像領域５０２ｂには、路面５０１ｂが含まれているため、運転者は前輪３Ｆと後輪３Ｒとの間の路面５０１ｂを確認することができる。周辺監視部４００は、前方に進行している車両１の後方の位置で撮像部１６ａが撮像した撮像画像データの画像として、時刻ｔ＝３の撮像領域５０２ｂの画像を、運転者に提示することが考えられる。撮像領域５０２ｂには、路面５０１ｄが含まれているため、運転者は前輪３Ｆの前方の路面５０１ｄを確認することができる。
【００２８】
また、周辺監視部４００は、左右の側方の周囲画像においても、駐車直前に前方に進行している車両１の過去の撮像画像データから画像を生成して、運転者に提供してもよい。周辺監視部４００は、前方に進行している車両１の後方の位置（駐車している車両１の位置に至る前の位置）で撮像部１６ｄが撮像した右方周辺の撮像画像データの画像として、時刻ｔ＝０、１、２、３、４の各時刻で撮像した撮像領域５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ、５０４ｅの画像を、運転者に提示することが考えられる。撮像領域５０４ａから５０４ｅには、撮像部１６ｄが一度に撮像できない領域も含まれるので、周辺監視部４００は、運転者に広い領域の周囲画像を提供できる。同様に、周辺監視部４００は、左方周辺の撮像画像データの画像として、時刻ｔ＝０、１、２、３、４の各時刻で撮像した撮像領域５０６ａ、５０６ｂ、５０６ｃ、５０６ｄ、５０６ｅの画像を、運転者に提示することが考えられる。ただし、処理負荷低減が必要な場合、撮像領域５０４ｅの画像のみを表示してもよい。
【００２９】
周辺監視部４００は、後方の周囲画像においても、駐車直前に前方に進行している車両１の過去の撮像画像データから画像を生成して、運転者に提供してもよい。周辺監視部４００は、前方に進行している車両１の後方の位置（駐車している車両１の位置に至る前の位置）で撮像部１６ｃが撮像した車両１の後方周辺の撮像画像データの画像として、時刻ｔ＝０、１、２、３、４の各時刻で撮像した撮像領域５０６ａ、５０６ｂ、５０６ｃ、５０６ｄ、５０６ｅの画像を、運転者に提示することが考えられる。撮像領域５０６ａから５０６ｅには、撮像部１６ｄが一度に撮像できない領域も含まれるので、周辺監視部４００は、運転者に広い領域の撮像画像データの画像を提供できる。これにより、運転者は路面５０１及び周辺の状況を確認した上で運転できるため、障害物５６０等を容易に認識して、運転者の負担を軽減できる。
【００３０】
次に、図４に戻り、周辺監視部４００の構成について説明する。取得部４０１は、車両１が備える各種センサ等から、様々な情報を取得する。本実施形態にかかる取得部４０１は、車両１に設けられ当該車両１の周辺を撮像する撮像部１６ａ〜１６ｄから出力された撮像画像データと、当該車両１に設けられた加速度センサ２６ａ、２６ｂから出力された加速度データと、を取得する。取得部４０１は、取得した情報を角度算出部４０２及び保存処理部４０３に出力する。
【００３１】
また、取得部４０１は、撮像された時刻と加速度が検出された時刻とが略一致する撮像画像データと加速度データとを対応付けておく。
【００３２】
角度算出部４０２は、加速度センサ２６ａ、２６ｂが取得した加速度データに基づいて、車両１の傾斜角度（ピッチ角及びロール角）を算出する。なお、ピッチ角とは、車両１の左右軸周りの傾きを示した角度とし、ロール角とは、車両１の前後軸周りの傾きを示した角度とする。
【００３３】
また、角度算出部４０２は、加速度データから算出したロール角及びピッチ角を、当該加速度データと対応付けられている撮像画像データと対応付けておく。これにより撮像画像データが撮像された時の車両１のロール角及びピッチ角を認識できる。
【００３４】
保存処理部４０３は、回転制御部４１１と、画像生成部４１２と、オプティカルフロー算出部４１３と、位置推定部４１４と、保存部４１５と、を備え、表示装置８に表示するための画像データを生成し、撮像部１６が撮影（撮像）した撮像画像データと共に保存する。
【００３５】
回転制御部４１１は、撮像部１６ａにより撮像された、車両１の前方（進行方向）周辺を写した撮像画像データに対して、回転補正を行う。
【００３６】
本実施形態にかかる回転制御部４１１は、撮像部１６ａが撮像に用いるレンズの中心に対応する、撮像画像データの表示領域内の位置座標を原点として、当該撮像画像データと対応付けられているロール角に応じた回転補正を行う。なお、回転補正の対象は、撮像部１６ａにより撮像された撮像画像データに制限するものではなく、例えば、撮像部１６ｃにより撮像された、車両１の後方周辺を写した撮像画像データであっても良い。
【００３７】
画像生成部４１２は、撮像画像データに基づいて、車両１の進行方向の地面であり且つ当該車両１周辺の地面を上方から俯瞰した床下画像等の鳥瞰図画像データを生成する。尚、画像生成部４１２は、回転補正された撮像画像データを用いて鳥瞰図画像データを生成してもよい。なお、撮像画像データから鳥瞰図画像データを生成する手法はどのような手法を用いても良く、例えばマッピングテーブルを用いて変換しても良い。また、画像生成部４１２は、鳥瞰図画像データから床下画像の平面画像データを合わせて作成してもよい。
【００３８】
鳥瞰図画像データの生成は、撮像画像データを取得する毎に行ってもよい。換言すれば、画像生成部４１２は、回転制御部４１１により回転補正された第１の撮像画像データに基づいて第１の鳥瞰図画像データを生成した後に、当該第１の撮像画像データを撮影（撮像）してから車両１が移動した後に撮像部１６により撮像され且つ回転制御部４１１により回転制御された第２の撮像画像データに基づいて、第２の鳥瞰図画像データを生成してもよい。
【００３９】
オプティカルフロー算出部４１３は、画像生成部４１２により算出された鳥瞰図画像データに基づいて、オプティカルフローを算出する。オプティカルフローは、鳥瞰図画像データに映っている物体の動きをベクトルで示した情報とする。オプティカルフローを算出することで、車両１の移動量を推定することができる。
【００４０】
本実施形態にかかるオプティカルフロー算出部４１３は、画像生成部４１２により生成された鳥瞰図画像データと、前回更新した際に用いた鳥瞰図画像データとを比較して、オプティカルフローを算出する。また、撮像部１６からの画像データまたはその一部を比較して、オプティカルフローを算出してもよい。
【００４１】
しかしながら、鳥瞰図画像データ全体で比較を行うと処理負担が大きくなる。そこで、本実施形態にかかるオプティカルフロー算出部４１３は、画像生成部４１２により生成された鳥瞰図画像データ内の予め定められたエリアについて比較を行うこととした。
【００４２】
具体的には、本実施形態にかかるオプティカルフロー算出部４１３は、前回更新した際に用いた第１の鳥瞰図画像データ及び、第１の鳥瞰図画像データより後に生成された第２の鳥瞰図画像データのそれぞれから、予め定められたエリアを切り出して、オプティカルフローを算出する。また、予め定められたエリアのみ鳥瞰図を作成してもよい。
【００４３】
図７は、オプティカルフロー算出部４１３により算出されるオプティカルフローの概念を示した図である。図７の（Ａ）を、前回更新した際に用いた第１の鳥瞰図画像データから予め定められた範囲で切り出された画像データとし、図７の（Ｂ）を、今回、画像生成部４１２により生成された第２の鳥瞰図画像データから予め定められた範囲で切り出された画像データとする。
【００４４】
そして、オプティカルフロー算出部４１３は、図７の（Ａ）で示した画像データと、図７の（Ｂ）で示した画像データとの間で、表示された物体（の特徴点）の遷移をベクトルで示したオプティカルフローを算出する。図７の（Ｃ）が算出されたオプティカルフローの例を示している。図７の（Ｃ）で示す例では、図７の（Ａ）内で示された特徴点（“×”で示される）が、図７の（Ｂ）内で示された特徴点（“×”で示される）まで移動したベクトルの長さが示されている。
【００４５】
そして、位置推定部４１４は、オプティカルフロー算出部４１３により算出されたオプティカルフローの平均値から、車両１の移動量を算出し、車両１の現在の位置を推定する。また、検出した各オプティカルフローから直接移動量を算出してもよい。
【００４６】
ところで、本実施形態では、オプティカルフローで車両１の現在の位置を推定している。これは、車両１の前輪３Ｆ付近などの車両１の床下の状況を把握したい場合、オフロード走行していることが多い。オフロード走行では、荒れた路面等の影響により車輪３の空転等が生じることが考えられる。この場合、車輪３の回転数に基づいて車両１の移動量を推定すると誤差が生じる可能性が大きい。そこで、本実施形態では、オプティカルフローに基づいて車両１の移動量、及び位置を推定することとした。車輪３がスリップしていない場合は、車輪３の回転と操舵角から移動量と方向を算出し、現在の位置を推定してもよい。
【００４７】
保存部４１５は、前回保存してから車両１の移動量が閾値距離以上の条件を満たした場合に、回転制御部４１１に補正された撮像画像データを、車両１の位置情報と共に、リングバッファ４０４に保存する。本実施形態は、閾値距離を制限するものではないが、例えば、０．３ｍ、０．５ｍ等が考えられる。
【００４８】
リングバッファ４０４は、撮像部１６から出力された現在の撮像画像データを、撮像時の情報と対応付けて記憶する。図８は、リングバッファ４０４の構造を示した図である。図８に示されるように、リングバッファ４０４は、撮像画像データと、当該撮像画像データの撮像時の車両１の傾き（進行方向）、及び車両１の位置情報と、を対応付けて各撮像部１６ａから１６ｄの撮像画像データ毎に記憶する。
【００４９】
図８に示されるように、リングバッファ４０４は、論理的にリング状に配置されたバッファとする。そして、リングバッファ４０４においては、保存部４１５の保存要求に応じて、最も古く更新された領域に対して、当該保存要求の撮像画像データ等を上書き保存していく。
【００５０】
図４に戻り、受付部４０５は、操作入力部１０等の指示信号（制御信号）を受け付ける。指示信号の一例は、後述する過去画像の表示と、現在画像の表示との切り替え指示に関する信号である。
【００５１】
表示処理部４０６は、画像選択部４２１と、出力部４２２と、を備え、受付部４０５が受け付けた操作に従って、表示装置８に対する表示処理を行う。
【００５２】
画像選択部４２１は、受付部４０５により、現在画像の表示を受け付けていない場合、表示する画像として、ＳＳＤ１４ｆに記憶されている過去画像を選択する。画像選択部４２１は、受付部４０５により、現在画像の表示を受け付けている場合、表示する画像として、ＳＳＤ１４ｆに記憶されている床下画像、及び、現在撮像中の撮像画像データから生成された現在画像を選択する。
【００５３】
出力部４２２は、画像選択部４２１によって選択された過去画像または現在画像を表示装置８に表示させる。
【００５４】
図９は、実施形態にかかる周辺監視システム１００が表示装置８に表示させる画像の一例を示す図である。尚、図９において、床下画像５２０には、ドットハッチングを付与している。図９に示すように、例えば、周辺監視部４００は、車両１の駆動状態がオンになると、床下画像５２０、及び、過去の周囲画像５２２、５２４、５２６、５２８とを合わせた過去画像５００を表示装置８に表示させて運転者に提供する。床下画像５２０は、床下情報の一例である。床下画像５２０は、駐車中の車両１の下方の路面５０１の床下領域５３０の画像である。過去の周囲画像５２２、５２４、５２６、５２８は、車両１の駆動状態がオフになる前の車両１の周囲の情報に対応する画像である。過去の周囲画像５２２、５２４、５２６、５２８は、過去周囲情報の一例である。図９に示す例では、床下画像５２０は、駐車中の現在の複数の車輪３の全ての領域を含む床下領域の画像である。車輪３の全ての領域とは、例えば、全ての車輪３を路面５０１に投影した領域のことである。図９に示す例では、周辺監視部４００は鳥瞰図による床下画像５２０を表示させているが、平面図等の他の図法による床下画像５２０を表示させてもよい。
【００５５】
駆動状態がオンとは、車両１の駆動が開始することの一例である。駆動状態がオンになるとは、例えば、車両１の各種メータ、ライト、エアコンディショナー及びカーナビゲーションシステム等の電子機器全般に電源を供給可能な状態であってイグニッションスイッチ等のスイッチをオンに設定した状態である。尚、駆動状態がオンになるとは、例えば、内燃機関（例えば、エンジン）または電動機（例えば、モータ）等の車両１を移動させる駆動源がオンになった状態であってもよい。
【００５６】
駆動状態がオフとは、車両１の駆動が終了することの一例である。駆動状態がオフになるとは、例えば、車両１の各種メータ、ライト、エアコンディショナー、及び、カーナビゲーションシステム等の電子機器全般への電源供給の停止を開始した状態であってイグニッションスイッチ等のスイッチをオフに設定した状態である。尚、駆動状態がオフになるとは、例えば、内燃機関（例えば、エンジン）または電動機（例えば、モータ）等の車両１を移動させる駆動源がオフになった状態であってもよい。
【００５７】
例えば、周辺監視部４００では、画像生成部４１２が、車両１の位置情報に基づいて、異なる時刻に撮像された複数の撮像領域５０２ａ〜５０２ｄの撮像画像データの画像を合成して、車両１の床下領域の全域が含まれる１枚の床下画像５２０を生成する。尚、周辺監視部４００は、車両１の位置情報と合わせて、舵角センサ１９から取得した操舵角のデータ等に基づいて、床下画像５２０を生成してもよい。ここで、画像生成部４１２は、床下画像５２０の領域内の現在の車輪３の位置に、当該車輪３の位置を示す車輪画像５１３を重ね合わせてもよい。図９に示す例では、車輪画像５１３Ｆが、前輪３Ｆの画像に対応して、車輪画像５１３Ｒが、後輪３Ｒの画像に対応する。車輪画像５１３Ｆは、舵角センサ１９により取得した情報に基づいて左右に傾けてもよい。
【００５８】
画像生成部４１２は、撮像領域５０２ｅの撮像画像データから前方の領域５３２の周囲画像５２２を生成する。画像生成部４１２は、車両１の位置情報に基づいて、撮像領域５０４ａから５０４ｅの撮像画像データを合成して、右方の領域５３６の周囲画像５２６を生成する。画像生成部４１２は、車両１の位置情報に基づいて、撮像領域５０６ａから５０６ｅの撮像画像データを合成して、左方の領域５３４の周囲画像５２４を生成する。画像生成部４１２は、車両１の位置情報に基づいて、撮像領域５０８ａから５０８ｅの撮像画像データを合成して、後方の領域５３８の周囲画像５２８を生成する。画像生成部４１２は、床下画像５２０と前後左右の周囲画像５２２、５２８、５２４、５２６とを合成して過去画像５００を生成する。尚、過去の周囲画像５２２、５２８、５２４、５２６の領域の大きさＡＲａは、例えば、実際の車両１の周囲から５０ｃｍである。画像生成部４１２は、床下画像５２０及び過去画像５００の生成条件として、車両１の速度が閾値未満、例えば、時速が数ｋｍ未満という条件を追加してもよい。これにより、画像生成部４１２は、車両１が駐車するとき以外の不要な画像生成処理を省略できる。
【００５９】
周辺監視部４００では、保存部４１５は、画像生成部４１２が生成した床下画像５２０及び過去画像５００を、ＲＡＭ１４ｃに記憶させる。保存部４１５は、車両１の駆動状態がオフになると、ＲＡＭ１４ｃに記憶させた床下画像５２０及び過去画像５００を、ＳＳＤ１４ｆに記憶させる。保存部４１５は、床下画像５２０及び過去画像５００をＳＳＤ１４ｆに記憶させた後、撮像画像データを消去してもよい。これにより、周辺監視部４００は、床下画像の生成等に必要な記憶容量を低減できる。
【００６０】
図１０は、実施形態にかかる周辺監視システム１００が表示装置８に表示させる画像の別例を示す図である。周辺監視部４００は、車両１の駆動状態がオンになった後に、床下画像５５０と、撮像部１６が現在撮像している周囲の撮像画像データに対応する現在の周囲画像５５２、５５４、５５６、５５８とを合成した画像を現在画像５４０として、表示装置８に表示させてもよい。撮像部１６が現在撮像している周囲の撮像画像データは、車両１の現在の周囲の情報の一例である。現在の周囲画像５５２、５５４、５５６、５５８は、現在周囲情報の一例である。現在画像５４０は、合成情報の一例である。尚、図１０に示す例では、周辺監視部４００は平面図による床下画像５５０を表示させているが、鳥瞰図等の他の図法による床下画像を表示させてもよい。床下画像５５０及び車輪画像５１４は、上述した床下画像５２０及び車輪画像５１３をそれぞれ平面図に変換した画像である。
【００６１】
図１０に示す現在画像５４０の例では、画像生成部４１２は、撮像部１６ａが現在撮像している周囲の撮像画像データから前方の領域の周囲画像５５２を生成している。画像生成部４１２は、撮像部１６ｄ、１６ｂが現在撮像している周囲の撮像画像データから、左右の側方の領域の周囲画像５５４、５５６を生成している。画像生成部４１２は、撮像部１６ｃが現在撮像している周囲の画像から後方の領域の周囲画像５５８を生成している。画像生成部４１２は、床下画像５５０と、周囲画像５５２、５５４、５５６、５５８とを合成して現在画像５４０を生成する。尚、周囲画像５５２、５５４、５５６、５５８の領域の大きさＡＲｂは、例えば、車両１の周囲から２ｍである。
【００６２】
図１０に示す現在画像５４０において、周辺監視部４００は、過去の画像である床下画像５５０と、現在の画像である周囲画像５５２、５５４、５５６、５５８とを異なる形式で表示装置８に表示させてもよい。例えば、周辺監視部４００は、表示する画像の色を変えることによって形式を異ならせてもよい。この場合、周辺監視部４００は、白黒画像、灰色画像、及び、セピア色画像の群から選択された一の画像形式による床下画像５５０を表示して、現在の周囲画像５５２、５５４、５５６、５５８をカラー画像（例えば、撮像された色を維持したカラー画像）の形式で表示する。
【００６３】
また、周辺監視部４００は、過去画像５００を表示している場合と、現在画像５４０を表示している場合で表示形式を異ならせてもよい。例えば、周辺監視部４００は、上述したように過去画像５００を表示する場合には鳥瞰図の画像を表示して、現在画像５４０を表示する場合には平面図で表示することが考えられる。また、別の例では、周辺監視部４００は、画像を表示する色を変えてもよい。例えば、周辺監視部４００は、白黒画像、灰色画像、及び、セピア色画像の群から選択された一の画像形式によって、過去画像５００を表示してもよい。
【００６４】
本実施形態にかかる周辺監視部４００における過去画像５００の生成処理について説明する。図１１は、実施形態にかかる周辺監視システム１００における生成処理の手順を示すフローチャートである。
【００６５】
図１１に示すように、過去画像５００の生成処理では、保存部４１５が、撮像部１６の撮像画像データをリングバッファ４０４に保存する（Ｓ１０１０）。
【００６６】
次に、保存部４１５は、車両１の速度が閾値速度未満か否かを判断する（Ｓ１０２０）。換言すれば、Ｓ１０２０の処理では、保存部４１５は、車両１が駐車直前か否かを判断している。保存部４１５は、車両１の速度が閾値速度未満でないと判断、即ち、まだ駐車直前でないと判断すると（Ｓ１０２０：Ｎｏ）、前回の撮像画像データを保存した位置から車両１が閾値距離以上移動したか否かを判断する（Ｓ１０３０）。閾値距離の一例は、少なくとも撮像部１６に撮像領域の進行方向の長さ以上である。保存部４１５は、例えば、オプティカルフロー算出部４１３が算出したオプティカルフローから推定される移動量と閾値距離とを比較して、Ｓ１０３０の判断を実行してもよい。
【００６７】
保存部４１５は、車両１が閾値距離以上移動したと判断するまで待機状態となる（Ｓ１０３０：Ｎｏ）。保存部４１５は、車両１が閾値距離以上移動したと判断すると（Ｓ１０３０：Ｙｅｓ）、再度ステップＳ１０１０に戻って、新たな撮像画像データを保存する。ここで、閾値距離は撮像部１６に撮像領域の進行方向の長さ以上なので、保存部４１５は、進行方向において、一部の領域が互いに重複する複数の撮像画像データを保存できる。保存部４１５は、既にリングバッファ４０４の全容量に撮像画像データが保存されている場合、最も古い撮像画像データを消去して、新たな撮像画像データを保存する。尚、保存部４１５は、閾値距離以外に、車両１の操舵角と予め定められた閾値角度（例えば、２ｄｅｇ）との比較結果を合わせて考慮して、新たな撮像画像データを保存してもよい。この後、保存部４１５は、速度が閾値速度未満と判断するまで、ステップＳ１０１０を繰り返す。
【００６８】
保存部４１５が、車両１の速度が閾値速度未満と判断、即ち、駐車直前であると判断すると（Ｓ１０２０：Ｙｅｓ）、画像生成部４１２は、リングバッファ４０４に保存されている複数の撮像画像データを取得する（Ｓ１０４０）。
【００６９】
次に、画像生成部４１２は、撮像部１６ａが撮像した時刻の異なる複数の路面５０１の撮像画像データを鳥瞰図に変換した後、当該複数の画像を合成して床下画像５２０を生成する（Ｓ１０５０）。次に、画像生成部４１２は、撮像部１６ａ〜１６ｄが撮像した撮像画像データを合成した画像を過去の周囲画像５２２、５２８、５２４、５２６として生成する（Ｓ１０６０）。画像生成部４１２は、床下画像５２０と過去の周囲画像５２２、５２８、５２４、５２６とを合成して、図９に示すような過去画像５００を生成する（Ｓ１０７０）。保存部４１５は、床下画像５２０及び過去画像５００を揮発性のＲＡＭ１４ｃに保存する（Ｓ１０８０）。
【００７０】
次に、保存部４１５は、駆動状態がオフか否かを判断する（Ｓ１０９０）。保存部４１５は、駆動状態がオフでないと判断すると（Ｓ１０９０：Ｎｏ）、Ｓ１０３０と同様に前回の撮像画像データを保存した位置から車両１が閾値距離以上移動したか否かを判断する（Ｓ１０９５）。保存部４１５は、車両１が閾値距離以上移動したと判断すると（Ｓ１０９５：Ｙｅｓ）、ステップＳ１０１０以降を繰り返す。一方、保存部４１５は、車両１が閾値距離以上移動していないと判断すると（Ｓ１０９５：Ｎｏ）、ステップＳ１０９０を繰り返す。保存部４１５は、駆動状態がオフであると判断すると（Ｓ１０９０：Ｙｅｓ）、ＲＡＭ１４ｃに保存した床下画像５２０及び過去画像５００を取得して、不揮発性のＳＳＤ１４ｆに床下画像５２０及び過去画像５００を保存する（Ｓ１１００）。
【００７１】
次に、本実施形態にかかる周辺監視部４００における床下画像５２０、５５０を含む画像の表示処理について説明する。図１２は、本実施形態にかかる周辺監視システム１００における画像の表示処理の手順を示すフローチャートである。
【００７２】
図１２に示すように、画像の表示処理では、画像選択部４２１は、駆動状態がオンか否かを判断する（Ｓ２０００）。画像選択部４２１は、駆動状態がオンであると判断すると（Ｓ２０００：Ｙｅｓ）、受付部４０５が現在の画像の表示を受け付けているか否かを判断する（Ｓ２０１０）。画像選択部４２１は、受付部４０５が現在の画像の表示を受け付けていないと判断すると（Ｓ２０１０：Ｎｏ）、ＳＳＤ１４ｆに保存されている過去画像５００を取得して、出力部４２２へ出力する（Ｓ２０２０）。出力部４２２は、取得した過去画像５００を表示装置８に表示させて（Ｓ２０３０）、表示処理を終了する。
【００７３】
一方、画像選択部４２１は、受付部４０５が現在の画像の表示を受け付けていると判断すると（Ｓ２０１０：Ｙｅｓ）、現在画像５４０を選択して表示させるために、画像生成部４１２から現在の撮像画像データを取得させる（Ｓ２０４０）。画像生成部４１２は、取得した撮像画像データから現在の周囲画像５５２、５５４、５５６、５５８を生成する（Ｓ２０５０）。画像生成部４１２は、ＳＳＤ１４ｆに保存されている床下画像５２０を取得して（Ｓ２０６０）、床下画像５２０と現在の周囲画像５５２、５５４、５５６、５５８とを合成して、図９に示すような現在画像５４０を生成して、出力部４２２へ出力する（Ｓ２０７０）。ここで、画像生成部４１２は、現在画像５４０に含まれる過去の画像である床下画像５５０の画像形式を周囲画像５５２、５５４、５５６、５５８とは異ならせた画像形式としてもよい。出力部４２２は、取得した現在画像５４０を表示装置８に表示させて（Ｓ２０３０）、表示処理を終了する。
【００７４】
上述したように、周辺監視システム１００は、車両１の全ての車輪３の少なくとも一部の領域を含む床下画像５２０、５５０を表示する。これにより、周辺監視システム１００は、運転者に広い領域の床下画像５２０、５５０を提供できる。特に、周辺監視システム１００は、床下画像５２０、５５０に全ての車輪３の全ての領域を含ませることで、車輪３の近傍の輪留め、フラップ、路面のくぼみ等の位置を運転者に提供することができる。
【００７５】
周辺監視システム１００では、駆動状態がオフになると、床下画像５２０をＳＳＤ１４ｆに記憶させている。これにより、周辺監視システム１００は、駆動状態がオンになると、ＳＳＤ１４ｆから床下画像５２０を取得して、床下画像５２０、５５０を含む画像を迅速に提供できる。
【００７６】
周辺監視システム１００は、過去の画像である床下画像５５０と、現在の画像である周囲画像５５２、５５４、５５６、５５８とを含む現在画像５４０を運転者に提供できる。これにより、周辺監視システム１００は、提供時に撮像できない床下画像５５０の提供を実現しつつ、周囲画像５５２、５５４、５５６、５５８については最新の状況を提供できる。
【００７７】
周辺監視システム１００では、過去の画像である床下画像５５０と、現在の画像である周囲画像５５２、５５４、５５６、５５８とが混在する現在画像５４０を表示する場合、床下画像５５０を周囲画像５５２、５５４、５５６、５５８と異なる画像形式で表示させるので、運転者に床下画像５５０が過去の状態であることを容易に認識させることができる。
【００７８】
周辺監視システム１００では、駆動状態がオフになる前の床下画像５２０と周囲画像５２２、５２４、５２６、５２８とを含む過去画像５００を生成して、駆動状態がオフになるとＳＳＤ１４ｆに記憶させている。これにより、周辺監視システム１００では、駆動状態がオンになった後、現在の周囲の情報を取得することなく、床下画像５２０を含む過去画像５００を迅速に提供することができる。
【００７９】
周辺監視システム１００では、車両１が駐車する前の撮像画像データから床下画像５２０、５５０を生成している。これにより、周辺監視システム１００は、床下画像５２０、５５０のみを撮像するための撮像部を別途設ける必要がないので、構成を簡略化できる。
【００８０】
上述した実施形態を部分的に変更した変形例について説明する。
【００８１】
上述した周辺監視システム１００では、周辺監視部４００が、車両１の床下の略全領域の画像を床下画像５２０、５５０としたが、床下画像はこれに限定されない。周辺監視部４００は、駆動状態がオンになった状態における複数の車輪３の全ての車輪３の少なくとも一部の領域を含む車両１の床下領域に関する床下画像を、路面情報である撮像画像データから生成してもよい。例えば、周辺監視部４００は、車両１の進行方向に関して、前輪３Ｆの後端部の領域から後輪３Ｒの前端部の領域までを含む車両１の床下領域に関する床下画像６２０を床下情報として表示装置８に表示させてもよい。この場合であっても、図１３に示すように、前輪の車輪画像５１３Ｆの後端部と後輪の車輪画像５１３Ｒの前端部との間の領域の床下画像６２０を運転者に提供できる。また、周辺監視部４００は、全ての車輪３が接地した領域を含む車両１の床下領域に関する床下画像６２１を床下情報として表示装置８に表示させてもよい。この場合であっても、図１４に示すように、全ての車輪３が接地した領域として車輪画像５１３の前後方向の中央部の領域を含む床下画像６２１を床下情報として運転者に提供できる。
【００８２】
上述した周辺監視システム１００は、撮像部１６によって撮像した撮像画像データから床下画像５２０、５５０等を含む過去画像５００及び現在画像５４０を生成したが、撮像部１６以外のセンサ等が生成した路面情報及び周囲の情報に基づいて、過去画像５００及び現在画像５４０を生成してもよい。センサの一例は、ソナーまたはレーダ等である。これらのセンサが生成した路面情報に基づいて、床下画像及び周囲画像を生成して表示してもよい。この場合、例えば、周辺監視システム１００は、輪留め、フラップ、路面のくぼみ等の路面の凹凸を線画、ポリゴン画像、及び、３Ｄマップ画像のいずれかによって床下画像５２０、５５０等を表示してもよい。路面情報及び周囲の情報を生成する他の装置の例は、周辺のＶ２Ｘ等の通信可能なモジュールであってもよい。更に、撮像部１６、レーダ、ソナー、及び、通信モジュールから選択された複数の装置によって、路面情報及び周囲の情報を生成してもよい。この場合、例えば、周辺監視システム１００は、撮像部１６によって撮像された撮像画像データから生成された床下画像５２０、５５０等に含まれる障害物５６０を、レーダ等によって検出して、当該障害物５６０の画像を強調表示してもよい。また、複数のセンサが路面情報及び周囲の情報を生成する場合、車両１の側方へ視点変換した床下画像、または、進行方向の周囲画像を拡大した画像等を、過去画像５００から切り替え可能に表示してもよい。
【００８３】
上述した周辺監視システム１００は、撮像画像データから生成した床下画像５２０及び過去画像５００を保存する例を示したが、床下画像５２０及び過去画像５００を、エッジまたは２値化した線画、もしくは、コーデックのストリーム等に変換して保存してもよい。これにより、周辺監視システム１００は、床下画像５２０及び過去画像５００に対応する情報の保存容量を低減できる。
【００８４】
上述した周辺監視システム１００は、現在画像５４０を表示する形態において、過去の画像である床下画像５５０を白黒画像等に変換して、現在の周囲画像５５２、５５４、５５６、５５８と異なる表示形式で表示する例を示したが、他の表示形式によって床下画像５５０を表示してもよい。例えば、床下画像５５０は、線画、透明画像、半透明画像、及び、コンピュータグラフィック情報等の表示形式で表示してもよい。
【００８５】
周辺監視システム１００は、車両１が開錠されたことを条件として、スマートフォンまたはタブレット端末等の携帯型高性能端末に、床下画像５２０または床下画像５２０を含む過去画像５００を提供してもよい。また、周辺監視システム１００は、予め（例えば、床下画像５２０及び過去画像５００をＳＳＤ１４ｆに保存するタイミング）床下画像５２０及び過去画像５００を携帯型端末へと提供してもよい。
【００８６】
上述した周辺監視システム１００は、運転者の指示に従って、床下画像５２０と過去の周囲画像５２２、５２４、５２６、５２８とを含む過去画像５００と、床下画像５５０と現在の周囲画像５５２、５５４、５５６、５５８とを含む現在画像５４０とを切り替え表示できる例を示したが、いずれか一方のみを表示するように構成してもよい。
【００８７】
上述した周辺監視システム１００は、床下画像５５０の保存とともに、駐車開始時刻または駆動状態がオフになった時刻を保存してもよい。この場合、周辺監視システム１００は、前回の駆動状態から長い時間（例えば、数年）経過していると、駆動状態がオンになっても、過去画像５００及び現在画像５４０の表示処理を省略してもよい。周辺監視システム１００は、前回の駆動状態から短い時間しか経過していないと、駆動状態がオンになったときの輝度情報を取得して、輝度情報を更新した過去画像５００を表示してもよく、床下画像５５０と現在の周囲画像５５２、５５４、５５６、５５８とを含む現在画像５４０を表示してもよい。
【００８８】
上述した周辺監視システム１００は、異なる時刻に撮像された複数の撮像画像データから車両１の床下領域の全域が含まれる１枚の床下画像を生成したが、撮像部１６の撮像領域が広い場合、１つの撮像画像データから１枚の床下画像を生成してもよい。
【００８９】
上述の周辺監視システム１００は、車両１の速度が閾値速度未満になると、床下画像５２０及び過去画像５００を生成する例を示したが、駆動状態がオフになってから床下画像５２０及び過去画像５００を生成してもよい。
【００９０】
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９１】
１…車両、３…車輪、８…表示装置、１４…周辺監視ＥＣＵ、１６…撮像部、２６…加速度センサ、１００…周辺監視システム、４００…周辺監視部、４０４…リングバッファ、４１２…画像生成部、４１５…保存部、４２１…画像選択部、５００…過去画像、５０１…路面、５０２…撮像領域、５０４…撮像領域、５０６…撮像領域、５０８…撮像領域、５１３…車輪画像、５１４…車輪画像、５２０…床下画像、５２２…周囲画像、５２４…周囲画像、５２６…周囲画像、５２８…周囲画像、５４０…現在画像、５５０…床下画像、５５２…周囲画像、５５４…周囲画像、５５６…周囲画像、５５８…周囲画像、６２０…床下画像、６２１…床下画像。
【図１】
0006609970.tif 000002
【図２】
0006609970.tif 000003
【図３】
0006609970.tif 000004
【図４】
0006609970.tif 000005
【図５】
0006609970.tif 000006
【図６】
0006609970.tif 000007
【図７】
0006609970.tif 000008
【図８】
0006609970.tif 000009
【図９】
0006609970.tif 000010
【図１０】
0006609970.tif 000011
【図１１】
0006609970.tif 000012
【図１２】
0006609970.tif 000013
【図１３】
0006609970.tif 000014
【図１４】
0006609970.tif 000015