(57)【要約】【課題】周辺に存在する物体が車体に隠れた場合、乗員が当該物体を認識できにくい。【解決手段】周辺監視装置は、移動体の周辺の物体に関する物体情報を生成する生成部と、前記物体情報から特定した前記物体の高さが予め定められた条件を満たす場合、前記物体の画像を含み、前記移動体の周辺の画像である周辺画像の視点を変更した表示画像を表示させる制御部と、を備える。【選択図】図４
2018050171.tif 000002
【特許請求の範囲】
【請求項１】
移動体の周辺の物体に関する物体情報を生成する生成部と、
前記物体情報から特定した前記物体の高さ又は前記物体の形状が予め定められた条件を満たす場合、前記物体の画像を含み、前記移動体の周辺の画像である周辺画像の視点を変更した表示画像を表示させる制御部と、
を備える周辺監視装置。
【請求項２】
前記予め定められた条件は、第一の条件と第二の条件の少なくともどちらかを有し、
前記第一の条件は、前記物体の高さが前記移動体の高さよりも低い閾値高さよりも低いであって、
前記第二の条件は、前記物体の形状が予め記憶された形状であることであって、
前記制御部は、前記第一の条件と前記第二の条件の少なくともどちらかを満たす場合、前記周辺画像の前記視点を変更して表示させる
請求項１に記載の周辺監視装置。
【請求項３】
前記制御部は、予め設定された前記物体の３次元のモデル画像を前記表示画像内の前記物体の位置に重畳させて表示させる
請求項１または２に記載の周辺監視装置。
【請求項４】
前記生成部は、前記物体情報を生成するために前記移動体の周辺を撮像して撮像画像を生成する少なくとも一つの撮像部を含み、
前記制御部は、前記撮像画像から算出した前記物体までの距離が予め定められた閾値距離より小さく、かつ、前記物体情報から特定した前記物体の高さ又は前記物体の形状が予め定められた条件を満たす場合、前記撮像画像から生成された前記周辺画像の視点を変更した前記表示画像を表示させる
請求項１から３のいずれか１項に記載の周辺監視装置。
【請求項５】
前記制御部は、前記物体情報から特定した前記物体の高さが予め定められた条件を満たす場合、表示中の前記表示画像の前記周辺画像の視点から変更した視点による周辺画像を含む前記表示画像を表示させる
請求項１から４のいずれか１項に記載の周辺監視装置。
【請求項６】
前記制御部は、前記物体情報から特定した前記物体の高さが予め定められた条件を満たす場合、前記移動体の床下の画像を含む表示画像を表示させる
請求項１から５のいずれか１項に記載の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周辺監視装置に関する。
【背景技術】
【０００２】
自動車等の移動体に設けられ、移動体の周辺の画像を表示する周辺監視装置が知られている。このような周辺監視装置において、移動体の周辺に存在する輪止め等の物体及び物体の周辺を他の領域と異なる表示形態で表示する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−２１６５３号公報
【特許文献２】特開２００７−４９２１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の周辺監視装置では、周辺に存在する物体が車体に隠れた場合、乗員が当該物体を認識できにくいといった課題がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、周辺の物体を乗員に容易に認識させることができる周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明の周辺監視装置は、移動体の周辺の物体に関する物体情報を生成する生成部と、前記物体情報から特定した前記物体の高さ又は前記物体の形状が予め定められた条件を満たす場合、前記物体の画像を含み、前記移動体の周辺の画像である周辺画像の視点を変更した表示画像を表示させる制御部と、を備える。
【０００７】
このように、周辺監視装置は、物体の高さ又は物体の形状が予め定められた条件を満たす場合、視点を変更した周辺画像を含む表示画像を表示させる。これにより、周辺監視装置は、移動体の車体等によって進行方向側の乗員等の死角となった領域に存在する周辺の物体を乗員に容易に認識させることができる。
【０００８】
本発明の周辺監視装置では、前記予め定められた条件は、第一の条件と第二の条件の少なくともどちらかを有し、前記第一の条件は、前記物体の高さが前記移動体の高さよりも低い閾値高さよりも低いであって、前記第二の条件は、前記物体の形状が予め記憶された形状であることであって、前記制御部は、前記第一の条件と前記第二の条件の少なくともどちらかを満たす場合、前記周辺画像の前記視点を変更して表示させてもよい。これにより、周辺監視装置は、特に乗員の死角に入りやすい物体及び認識させたい形状の物体等を乗員に容易に認識させることができる。
【０００９】
本発明の周辺監視装置では、前記制御部は、予め設定された前記物体の３次元のモデル画像を前記表示画像内の前記物体の位置に重畳させて表示させてもよい。これにより、周辺監視装置は、モデル画像によって乗員に物体をより容易に認識させることができる。
【００１０】
本発明の周辺監視装置では、前記生成部は、前記物体情報を生成するために前記移動体の周辺を撮像して撮像画像を生成する少なくとも一つの撮像部を含み、前記制御部は、前記撮像画像から算出した前記物体までの距離が予め定められた閾値距離より小さく、かつ、前記物体情報から特定した前記物体の高さ又は前記物体の形状が予め定められた条件を満たす場合、前記撮像画像から生成された前記周辺画像の視点を変更した前記表示画像を表示させてもよい。これにより、周辺監視装置は、撮像部によって生成された撮像画像から物体までの距離を算出するとともに周辺画像を生成するので、構成を簡略化できる。
【００１１】
本発明の周辺監視装置では、前記制御部は、前記物体情報から特定した前記物体の高さが予め定められた条件を満たす場合、表示中の前記表示画像の前記周辺画像の視点から変更した視点による周辺画像を含む前記表示画像を表示させてもよい。これにより、周辺監視装置は、表示中の表示画像の視点を変更した周辺画像を含む表示画像を表示させることにより、表示画像の切り替わりによる違和感を低減できる。
【００１２】
本発明の周辺監視装置では、前記制御部は、前記物体情報から特定した前記物体の高さが予め定められた条件を満たす場合、前記移動体の床下の画像を含む表示画像を表示させてもよい。これにより、周辺監視装置は、乗員に床下の状態を知らせることができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、第１実施形態の車両の車室の一部が透視された状態が示された例示的な斜視図である。
【図２】図２は、車両の例示的な平面図である。
【図３】図３は、車両の構成を説明するブロック図である。
【図４】図４は、ＥＣＵの機能を示すブロック図である。
【図５】図５は、制御部が実行する画像切替処理のフローチャートである。
【図６】図６は、視点変更した周辺画像を含む表示画像の一例の図である。
【図７】図７は、第２実施形態の表示画像の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下の例示的な実施形態等の同様の構成要素には共通の符号を付与して、重複する説明を適宜省略する。
【００１５】
＜第１実施形態＞
図１は、第１実施形態の車両１の車室２ａの一部が透視された状態が示された例示的な斜視図である。車両１は、移動体の一例である。車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。
【００１６】
図１に示すように、車両１は、車体２と、操舵部４と、加速操作部５と、制動操作部６と、変速操作部７と、モニタ装置１１とを備える。
【００１７】
車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４、加速操作部５、制動操作部６、変速操作部７、表示装置８、音声出力装置９、操作入力部１０等が設けられている。車体２は、前端部の下部に設けられたフロントバンパー及び後端部の下部に設けられたリアバンパー等を含む。
【００１８】
操舵部４は、例えば、ダッシュボードから突出したステアリングホイールである。加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、及び、変速操作部７は、これらには限定されない。
【００１９】
モニタ装置１１は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に設けられている。モニタ装置１１は、例えば、ナビゲーションシステムまたはオーディオシステム等の機能を有してもよい。モニタ装置１１は、表示装置８、音声出力装置９、及び、操作入力部１０を有する。モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、及び、押しボタン等の不図示の操作入力部を有してもよい。
【００２０】
表示装置８は、画像情報に基づいて画像を表示する。表示装置８は、例えば、ＬＣＤ（Liquid  Crystal  Display）、または、ＯＥＬＤ（Organic  Electroluminescent  Display）等である。
【００２１】
音声出力装置９は、音声データに基づいて音声を出力する。音声出力装置９は、例えば、スピーカである。音声出力装置９は、モニタ装置１１以外の異なる車室２ａ内の位置に設けられていてもよい。
【００２２】
操作入力部１０は、乗員の入力を受け付ける。操作入力部１０は、例えば、タッチパネルである。操作入力部１０は、表示装置８の表示画面に設けられている。操作入力部１０は、表示装置８が表示する画像を透過可能に構成されている。これにより、操作入力部１０は、表示装置８の表示画面に表示される画像を乗員に視認させることができる。操作入力部１０は、表示装置８の表示画面に表示される画像に対応した位置を乗員が触れることによって入力した指示を受け付ける。
【００２３】
図２は、車両１の例示的な平面図である。図１及び図２に示すように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。四つの車輪３の全てまたは一部は、転舵可能である。
【００２４】
車両１は、生成部の一例である複数の撮像部１５を備える。撮像部１５は、例えば、ＣＣＤ（Charge  Coupled  Device）、または、ＣＩＳ（CMOS  Image  Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで生成される複数のフレーム画像を含む動画、または、静止画のデータを撮像画像のデータとして出力できる。例えば、撮像部１５は、車両１の周辺に存在する物体を含む車両１の周辺を撮像して撮像画像を生成し、当該撮像画像のデータを出力する。撮像画像は、動画または静止画であってよい。撮像画像は、車両１の周辺の物体に関する物体情報の一例である。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向の１４０°〜１９０°の範囲を撮影することができる。撮像部１５の光軸は、斜め下方に向けて設定されている。従って、撮像部１５は、車両１が移動可能な路面、及び、車両１が駐車可能な領域を含む車両１の周辺の外部の環境を撮像した撮像画像データを出力する。
【００２５】
本実施形態では、６個の撮像部１５ａ、１５ｂ、１５ｃ、１５ｄ、１５ｅ、１５ｆが車両１に設けられている。車両１は、４個以下または７個以上の撮像部１５を有してもよい。撮像部１５ａは、例えば、車両１の前方の左側の端部２ｃに設置され、フロントバンパーの左側の上部に設けられている。撮像部１５ａは、車両１の前端の左側の一部、及び、車両１の前方の左側の周辺の環境を撮影する。撮像部１５ｂは、例えば、車両１の前方の右側の端部２ｄに設置され、フロントバンパーの右側の上部に設けられている。撮像部１５ｂは、車両１の前端の右側の一部、及び、車両１の前方の右側の周辺の環境を撮影する。撮像部１５ａ及び撮像部１５ｂは、前方に存在する同じ物体を撮像するステレオカメラとしても機能する。撮像部１５ｃは、例えば、車両１の後方の左側の端部２ｅに設置され、リアバンパーの左側の上部に設けられている。撮像部１５ｃは、車両１の後端の左側の一部、及び、車両１の後方の左側の周辺の環境を撮影する。撮像部１５ｄは、例えば、車両１の後方の右側の端部２ｆに設置され、リアバンパーの右側の上部に設けられている。撮像部１５ｄは、車両１の後端の右側の一部、及び、車両１の後方の右側の周辺の環境を撮影する。撮像部１５ｃ及び撮像部１５ｄは、後方に存在する同じ物体を撮像するステレオカメラとしても機能する。撮像部１５ｅは、車体２の左側の端部、例えば、左側のドアミラー２ｇに設けられている。撮像部１５ｅは、車両１の左側の周辺の環境を撮影する。撮像部１５ｆは、車体２の右側の端部、例えば、右側のドアミラー２ｈに設けられている。撮像部１５ｆは、車両１の右側の周辺の環境を撮影する。
【００２６】
車両１は、複数の測距部１６を備える。測距部１６は、例えば、レーザスキャナである。測距部１６は、レーザ光を照射しつつ照射方向と交差する方向で走査する。測距部１６は、物体に反射されたレーザ光を受光する。測距部１６は、レーザ光の照射から受光までの時間及び照射方向を、物体の方向を特定するとともに物体までの距離を測距する測距情報として出力する。
【００２７】
本実施形態では、車両１は、２個の測距部１６ａ、１６ｂを備える。測距部１６ａは、例えば、車両１の前端部の中央に設置されている。測距部１６ａは、前方の物体までの距離を測距する測距情報を出力する。測距部１６ｂは、例えば、車両１の後端部の中央に設置されている。測距部１６ｂは、後方の物体までの距離を測距する測距情報を出力する。
【００２８】
図３は、車両１の構成を説明するブロック図である。図３に示すように、車両１は、車輪速センサ２２と、ＥＣＵ（Electronic  Control  Unit）２４と、車内ネットワーク２５とを更に備える。モニタ装置１１、撮像部１５、及び、ＥＣＵ２４は、周辺監視装置５０として機能する。
【００２９】
車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。
【００３０】
ＥＣＵ２４は、例えば、コンピュータである。ＥＣＵ２４は、撮像部１５から撮像画像データを受信する。ＥＣＵ２４は、出力させる画像または音声に関するデータをモニタ装置１１へ送信する。ＥＣＵ２４は、ＣＰＵ（Central  Processing  Unit）２４ａと、ＲＯＭ（Read  Only  Memory）２４ｂと、ＲＡＭ（Random  Access  Memory）２４ｃと、表示制御部２４ｄと、音声制御部２４ｅと、ＳＳＤ（Solid  State  Drive）２４ｆとを備える。ＣＰＵ２４ａ、ＲＯＭ２４ｂ及びＲＡＭ２４ｃは、同一パッケージ内に集積されていてもよい。
【００３１】
ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムにしたがって各種の演算処理および制御を実行する。ＣＰＵ２４ａは、例えば、表示装置８に表示させる周辺監視用の画像等の画像処理を実行する。
【００３２】
ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ２４ｃは、ＣＰＵ２４ａでの演算で用いられる各種のデータを一時的に記憶する。表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、撮像部１５で得られた画像の画像処理、表示装置８に表示させる表示用の画像のデータ変換等を実行する。音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置９に出力させる音声の処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもデータを維持する。
【００３３】
本実施形態では、ＥＣＵ２４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、車両１の制御全般を司る。例えば、ＥＣＵ２４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量及び車速などを演算し、各種制御を実行する。ＥＣＵ２４は、撮像部１５が撮像した周辺の画像を含む撮像画像に基づいて、周辺画像を含む表示画像を生成して、表示装置８に表示させる。ＥＣＵ２４は、例えば、視点を変化させた周辺画像を含む表示画像を生成する。これにより、ＥＣＵ２４は、周辺監視装置５０としての機能を実現している。
【００３４】
車内ネットワーク２５は、例えば、ＣＡＮ（Controller  Area  Network）である。車内ネットワーク２５は、ＥＣＵ２４と、測距部１６と、操作入力部１０と、車輪速センサ２２とを互いに制御信号及び操作信号等の情報を送受信可能に電気的に接続する。
【００３５】
図４は、ＥＣＵ２４の機能を示すブロック図である。図４に示すように、ＥＣＵ２４は、制御部３０と、記憶部３２とを有する。制御部３０は、ＣＰＵ２４ａ、表示制御部２４ｄ、及び、音声制御部２４ｅの機能として実現される。記憶部３２は、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ、及び、ＳＳＤ２４ｆの機能として実現される。
【００３６】
制御部３０は、撮像部１５から取得した撮像画像から特定した車両１の周辺の物体の高さが予め定められた条件を満たす場合、物体の画像を含む表示画像であって、車両１の周辺の画像である周辺画像の視点を変更した表示画像を表示装置８に表示させる。制御部３０は、判定部５２と、出力部５４とを有する。制御部３０は、例えば、記憶部３２に格納された画像切替処理用のプログラムを読み込むことによって、判定部５２及び出力部５４として機能する。尚、判定部５２及び出力部５４の一部または全部は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）を含む回路等のハードウェアによって構成してもよい。
【００３７】
判定部５２は、車輪速センサ２２から取得するセンサ値から車速を算出する。判定部５２は、車速に基づいて、周辺画像を出力部５４に表示させる。例えば、判定部５２は、車速が予め定められた閾値車速未満の場合、第１切替指示を出力部５４へ出力することによって、道案内用のナビゲーション画像から周辺画像に切り替えさせる。
【００３８】
判定部５２は、撮像部１５が周辺を撮像した複数の撮像画像に基づいて、周辺の物体までの距離を算出する。例えば、判定部５２は、撮像部１５ａ、１５ｂから取得した前方の周辺の撮像画像に基づいて、前方の物体までの距離を算出する。判定部５２は、物体までの距離が予め定められた閾値距離よりも小さいか否かを判定する。
【００３９】
判定部５２は、物体までの距離が予め定められた閾値距離よりも小さいと判定した場合、撮像部１５が周辺を撮像した撮像画像に基づいて、周辺の物体の高さを特定する。例えば、判定部５２は、車両１が前方に移動している場合、撮像部１５ａ、１５ｂから取得した前方の周辺の撮像画像に基づいて、前方の物体の高さを特定する。また、判定部５２は、車両１が後方に移動している場合、撮像部１５ｃ、１５ｄから取得した後方の周辺の撮像画像に基づいて、後方の物体の高さを特定する。判定部５２は、特定した物体の高さが予め定められた条件を満たしているか否かを判定する。予め定められた条件は、車体２等によって乗員の死角に入る可能性のある物体を検出でき、かつ、車体２と接触する可能性のある物体を検出できる条件が好ましい。予め定められた条件の一例は、物体の高さが、車両１の高さよりも低い閾値高さよりも低く（第一の条件の一例）、かつ、車体２の底部の高さよりも高いである。閾値高さは、例えば、車高（即ち、車体２の最高部の高さ）、ボンネットの天面の高さ、乗員の視点よりも低い、及び、乗員から見て車体（例えば、ボンネット）の死角に入り込む高さ等の予め定められた高さである。従って、判定部５２は、物体の高さが、閾値高さよりも低く、かつ、車体２の底部より高いか否かを判定する。判定部５２は、物体の高さが閾値高さよりも低くかつ車体２の底部よりも高い場合、周辺画像の視点を変更させる第２切替指示を出力部５４へ出力する。換言すれば、判定部５２は、物体までの距離が予め定められた閾値距離よりも小さく、かつ、物体の高さが予め定められた条件を満たす場合、周辺画像の視点を変更させて表示させるための第２切替指示を出力部５４へ出力する。
【００４０】
出力部５４は、乗員へ情報を出力する。例えば、出力部５４は、表示装置８に画像を表示させて画像を出力するとともに、音声出力装置９に音声を出力させる。具体的には、出力部５４は、道案内用のナビゲーション画像を表示装置８に表示させる。また、出力部５４は、第１切替指示を取得すると、撮像部１５が撮像した撮像画像に基づいて、車両１の周辺の画像である周辺画像を撮像画像から生成して表示装置８に表示させる。ここで、出力部５４は、複数の撮像部１５が撮像した撮像画像を画像処理した後、合成して周辺画像を生成してもよい。例えば、出力部５４は、画像処理によって撮像画像の歪みを補正して周辺画像を生成してもよい。
【００４１】
また、出力部５４は、複数の撮像画像から視点が異なる複数の周辺画像を生成する。例えば、出力部５４は、記憶部３２に格納されたマッピングテーブルの変換情報によって、撮像画像を変換することにより、視点を変更して複数の周辺画像を生成する。具体的には、出力部５４は、車両１の前部または後部の視点から前方または後方の周辺及び車両１を見た周辺画像、及び、車両１の右方または左方の視点から周辺及び車両１を見た周辺画像を生成する。出力部５４は、判定部５２から第２切替指示を取得すると、物体の画像を含む表示画像であって、視点を変更した周辺画像を含む表示画像を自動で生成して表示装置８に表示させる。例えば、出力部５４は、判定部５２から第２切替指示を取得すると、車両１の前部または後部の視点から進行方向を見た周辺画像を含む表示画像を表示させている場合、表示中の表示画像の周辺画像の視点から変更した視点による周辺画像を含む表示画像を表示装置８に表示させる。具体的には、出力部５４は、車両１が前方に移動中であって、車両１の前部の視点から前方を見た周辺画像を含む表示画像を表示している場合、当該視点を車両１の左方の視点に変更する。この場合、出力部５４は、左方の視点から物体を含む車両１の周辺を見た周辺画像を含む表示画像を生成して、表示装置８に表示させる。ここで、出力部５４は、判定部５２から第２切替指示を取得して、視点を変更する場合、車両１の床下の画像を含む表示画像を表示させてもよい。また、出力部５４は、予め設定された３次元のモデル画像を表示画像内の物体の位置に重畳させて表示させてもよい。
【００４２】
記憶部３２は、制御部３０が実行するプログラム及びプログラムの実行に必要なパラメータ等を記憶する。例えば、記憶部３２は、画像切替処理用のプログラムを記憶する。記憶部３２は、画像切替処理用のプログラムの実行に必要な３次元のモデル画像、周辺画像を表示させるか否かを判定するための閾値車速、周辺画像の視点を切り替えるか否かを判定するための閾値距離、予め定められた条件の判定に用いられる閾値高さ、及び、車体２の底部の高さ等を記憶する。尚、記憶部３２はネットワーク上に設けられた記憶装置（例えば、クラウド）等であってもよい。
【００４３】
図５は、制御部３０が実行する画像切替処理のフローチャートである。制御部３０は、画像切替処理用のプログラムを読み込むことによって、判定部５２及び出力部５４として機能して、画像切替処理を実行する。
【００４４】
図５に示すように、判定部５２は、周辺画像を表示するか否かを判定する（Ｓ１０２）。例えば、判定部５２は、車輪速センサ２２から取得したセンサ値から算出した車両１の車速が閾値車速未満か否かによって周辺画像を表示するか否かを判定する。閾値車速の一例は、１０ｋｍ／ｈである。この場合、判定部５２は、車速が閾値車速未満の場合、周辺画像を表示すると判定する。一方、判定部５２は、車速が閾値車速以上の場合、周辺画像を表示しないと判定する。尚、判定部５２は、操作入力部１０を介して受け付けたユーザの操作指示等に基づいて、周辺画像を表示するか否かを判定してもよい。
【００４５】
判定部５２は、周辺画像を表示しないと判定した場合、待機状態となる（Ｓ１０２：Ｎｏ）。判定部５２は、周辺画像を表示すると判定すると（Ｓ１０２：Ｙｅｓ）、第１切替指示を出力部５４へ出力する。
【００４６】
出力部５４は、第１切替指示を取得すると、周辺画像を生成して、表示装置８に表示させる（Ｓ１０４）。例えば、出力部５４は、撮像画像から歪みを削除する画像処理を実行した周辺画像のうち、進行方向（例えば、前方）を中心とする周辺画像を表示装置８に表示させる。
【００４７】
判定部５２は、進行方向に存在する物体までの距離が閾値距離より小さいか否かを判定する（Ｓ１０６）。例えば、判定部５２は、測距部１６ａから取得した測距情報に基づいて、物体までの距離を算出する。尚、判定部５２は、撮像画像から物体までの距離を算出してもよい。例えば、判定部５２は、車両１が前方に進行している場合、撮像部１５ａ、１５ｂから撮像画像を取得する。判定部５２は、撮像部１５ａの撮像画像に含まれる物体の画像と撮像部１５ｂの撮像画像に含まれる物体の画像とから物体までの距離を算出する。判定部５２は、算出した距離が閾値距離未満か否かを判定する。閾値距離は、物体が運転者の死角となる距離等に基づいて設定することが好ましい。例えば、閾値距離は、車体２のルーフの前端部（または後端部）と車体２の前端部（または後端部）とを結ぶ直線が地面と交差するまでの距離等である。判定部５２は、当該距離が閾値距離より小さくないと判定すると（Ｓ１０６：Ｎｏ）、待機状態となる。尚、判定部５２は、当該距離が閾値距離未満であっても、物体を撮像部１５の撮像画像から認識して判定中（即ち、作動中）である旨を当該待機中に表示装置８に表示してもよい。
【００４８】
判定部５２は、算出した物体までの距離が閾値距離より小さいと判定すると（Ｓ１０６：Ｙｅｓ）、物体の高さが予め定められた条件を満たすか否かを判定する（Ｓ１０８）。例えば、判定部５２は、車両１が前方に進行している場合、撮像部１５ａ、１５ｂから取得した撮像画像に含まれる物体の画像の大きさ、撮像部１５ａ、１５ｂの拡大・縮小率、及び、物体までの距離等に基づいて、物体の高さを算出する。判定部５２は、算出した物体の高さが予め定められた条件を満たすか否かを判定する。本実施形態における予め定められた条件は、物体の高さが、閾値高さよりも低く、かつ、車体２の底部よりも高いである。当該条件を満たす物体の一例は、駐車場等に設置されている輪止め（または車輪止め）または縁石等である。
【００４９】
物体の高さが、閾値高さよりも高く、または、車体２の底部よりも低い場合、判定部５２は、物体の高さが当該条件を満たさないと判定して（Ｓ１０８：Ｎｏ）、表示画像の周辺画像の視点を変更することなく、表示中の表示画像の表示を継続して、画像切替処理を終了する。
【００５０】
物体の高さが、閾値高さよりも低く、かつ、車体２の底部よりも高い場合、判定部５２は、物体の高さが当該条件を満たすと判定して（Ｓ１０８：Ｙｅｓ）、第２切替指示を出力部５４へ出力する。
【００５１】
出力部５４は、第２切替指示を取得すると、視点を変更した周辺画像を生成して、当該周辺画像を含む表示画像を生成する（Ｓ１１０）。
【００５２】
図６は、視点変更した周辺画像を含む表示画像６０の一例の図である。例えば、出力部５４は、撮像部１５ｅから取得した撮像画像から歪みの削除等の画像処理を実行した後、当該撮像画像の視点を側方（例えば、左方）に変換した周辺画像に変換する。尚、出力部５４は、車両１の床下の画像を周辺画像に重畳させる場合、過去に撮像されてリングバッファ等の記憶部３２に格納された過去画像を適用してもよい。出力部５４は、図６に示すように、予め設定されて記憶部３２に格納された車両１の画像である車両画像６２を当該周辺画像の車両１の位置に重畳させる。この場合、出力部５４は、物体と車輪３との距離感を乗員に認識させるために、車両１の車輪３を含む車両画像６２を重畳させることが好ましい。更に、出力部５４は、予め設定されて記憶部３２に格納された物体の３次元のモデル画像６４を周辺画像の物体の位置に重畳させる。物体のモデル画像は、物体の形状及び大きさ等に対応付けて記憶部３２に複数格納されていることが好ましい。例えば、物体のモデル画像は、輪止め、縁石、及び、スピードブレーカ等の形状及び大きさに対応付けられていることが好ましい。この場合、出力部５４は、撮像部１５ａ、１５ｂの撮像画像から特定した物体の形状及び大きさに関連付けられたモデル画像６４を抽出して、周辺画像に重畳させる。出力部５４は、モデル画像６４の色を予め設定された色としてもよいが、物体の周辺の色と異なる色（例えば、補色または反対色）を選択してモデル画像６４を着色してもよい。尚、出力部５４は、車体２と接触するモデル画像６４の領域のみ着色してもよい。また、出力部５４は、色に代えてメッシュ等の模様をモデル画像６４に付与してもよい。
【００５３】
出力部５４は、図６に示すような生成した表示画像６０を表示装置８に表示させる（Ｓ１１２）。これにより、出力部５４は、画像切替処理を終了する。
【００５４】
上述したように、周辺監視装置５０は、物体の高さが予め定められた条件を満たす場合、視点を変換した周辺画像を含む表示画像６０を表示装置８に表示させている。これにより、周辺監視装置５０は、車体２等によって進行方向側の撮像部１５及び乗員の死角となった領域に存在する周辺の物体を乗員に容易に認識させることができる。また、予め定められた条件を、物体の高さが、閾値高さよりも高く、かつ、車体２の底部の高さよりも高いとすることにより、周辺監視装置５０は、特に乗員の死角に入りやすい物体を乗員に容易に認識させることができる。
【００５５】
周辺監視装置５０は、視点を切り替えた周辺画像の物体の位置に予め設定された３次元のモデル画像６４を重畳させるので、周辺画像に対して目立たせることができる。これにより、周辺監視装置５０は、乗員に物体をより容易に認識させることができる。
【００５６】
周辺監視装置５０は、撮像部１５によって物体までの距離を算出するとともに周辺画像を含む表示画像６０を生成するので、構成を簡略化できる。更に、周辺監視装置５０は、前方の同じ物体を撮影するステレオカメラとして機能する複数の撮像部１５ａ、１５ｂを有するので、超音波等を使用したソナー等によって検出できない低い物体等も検出して、当該物体の高さ及び物体までの距離を特定できる。これにより、周辺監視装置５０は、物体が条件を満たすか否かをより正確に判定して、より適切な状況で周辺画像の視点を切り替えることができる。
【００５７】
周辺監視装置５０は、車両１の前部の視点から前方を見た周辺画像を含む表示画像を表示中に、当該視点を変更した左方の視点から見た周辺画像を含む表示画像６０に切り替えるので、表示画像６０の切り替わりによる違和感を低減できる。
【００５８】
周辺監視装置５０は、視点の変更によって、車両１の床下の画像及び周辺画像を含む表示画像６０を表示させるので、乗員に床下の状態を知らせることができる。
【００５９】
＜第２実施形態＞
上述の実施形態では、物体の高さが条件を満たした場合、出力部５４は、視点を側方に変換した周辺画像を生成したが、これに限定されない。図７は、第２実施形態の表示画像７０の一例を示す図である。
【００６０】
第２実施形態では、判定部５２が、物体の高さが予め定められた条件を満たすと判定すると、出力部５４は、図７に示すように、視点を上方に変換した周辺画像を含む表示画像７０を生成して表示装置８に表示させる。ここで、出力部５４は、太線で囲むドット領域で示す車両１の進行方向側（例えば、前側）の車体２の車体画像７２、及び、点線で示す車輪３の一部を示す車輪画像７３を周辺画像に重畳させてもよい。この場合、出力部５４は、車体画像７２を透過させてもよい。更に、出力部５４は、車両１によって物体が死角に存在する場合、車体画像７２に物体のモデル画像７４を重畳させてもよい。
【００６１】
上述の実施形態の各構成の機能、接続関係、配置、及び、個数等は適宜変更してよい。
【００６２】
上述の実施形態では、視点を変更して側方からの周辺画像を含む表示画像６０、７０を表示装置８の全体に表示させたが、出力部５４は、当該周辺画像とともに、視点を変更していない周辺画像等の別の画像を合わせた表示画像を表示させてもよい。
【００６３】
上述の実施形態では、物体が輪止めであり物体の高さが予め定められた条件を満たすか否かを判定する例を挙げたが、これに限定されない。例えば、判定部５２は、物体情報（例えば、撮像画像）から特定した物体の形状が予め定められた条件を満たすか否かによって、周辺画像の視点を変更するか否かを判定するようにしてもよい。予め定められた条件は、例えば、物体の形状が予め記憶部３２に記憶された形状であることである（第二の条件の一例）。この場合、物体は蓄電池に電力を非接触で給電する非接触給電システムの存在を知らせるマーカであってもよい。判定部５２は、物体情報から特定した当該マーカの形状が予め定められた条件を満たす場合、周辺画像の視点を変更してよい。この場合、出力部５４は、車両１の床下の画像を周辺画像の一部として表示画像を表示させてもよい。また、判定部５２は、物体情報から特定した物体の高さ又は物体の形状が予め定められた条件を満たすか場合、周辺画像の視点を変更するようにしてもよい。
【００６４】
上述の実施形態では、前方または後方の物体に対して視点を変更した周辺画像を表示する例を挙げたが、これに限定されない。例えば、車両１が右方または左方へと操舵されて進行している場合、進路上に存在する物体の高さが上述の条件を満たしている場合、物体の色を変更して強調したモデル画像とともに視点を変更した周辺画像（例えば、俯瞰画像）を表示してもよい。
【００６５】
上述の実施形態で設定した予め定められた条件は適宜変更してよい。例えば、物体の高さが、予め定められた条件として閾値高さよりも低い場合（即ち、物体の高さが車体２の底部の高さより高くてもよい）、周辺画像の視点を変更するように構成してもよい。また、複数の条件を設定してもよい。例えば、上述の条件（以下、第１高さ条件と記載）に加えて、閾値高さよりも低く、かつ、バンパー等の車体２の底部よりも低いことを第２高さ条件としてもよい。この設定においては、物体の高さが第１高さ条件を満たす場合、出力部５４は、当該第１高さ条件を満たす旨の第２切替指示を判定部５２から取得して、物体が車体２（例えば、バンパー）に達する前に視点を変換した周辺画像を表示させる。この場合、出力部５４は、バンパー等の車体２の端部と物体との距離に応じて、警告を音声で出力してもよい。一方、物体の高さが第２高さ条件を満たす場合、出力部５４は、当該第２高さ条件を満たす旨の第３切替指示を判定部５２から取得して、物体が車体２に達してかつ車輪３に達する前に視点を変換した周辺画像を表示させる。この場合、出力部５４は、車輪３と物体との距離に応じて、警告を音声で出力してもよい。
【００６６】
上述の実施形態では、物体が上方に突出している例を挙げたがこれに限定されない。例えば、物体が下がる段差であってもよい。この場合、判定部５２は、段差の段の高さとして段差の凹み量が予め定められた条件を満たすか否かを判定して、当該条件を満たす場合、出力部５４は、視点を変換した周辺画像（例えば、車両１の床下を含む俯瞰画像）とともに、段差を表示してもよい。出力部５４は、段差の段の前後で色を変更してもよい。
【００６７】
上述の実施形態では、周辺画像を含む表示画像から当該周辺画像の視点を変更した周辺画像を含む表示画像に切り替える例を挙げたがこれに限定されない。例えば、制御部３０は、道案内用のナビゲーション画像から周辺画像の視点を撮像部１５の視点から変更した図６及び図７に示すような表示画像を表示させてもよい。
【００６８】
上述の実施形態では、撮像部１５が生成した撮像画像を物体情報とし、当該物体情報に基づいて物体の高さを算出する例を示したがこれに限定されない。例えば、測距部１６が物体までの距離を測距した測距情報及び測距した方向等を物体情報として出力し、判定部５２は、当該物体情報に基づいて物体の高さを算出してもよい。この場合、測距部１６は、生成部として機能する。
【００６９】
上述の実施形態では、判定部５２が複数の撮像部１５から取得した複数の撮像画像から物体の高さを算出する例を挙げたが、これに限定されない。判定部５２は１つの撮像部１５から取得した１枚の撮像画像から物体の高さを算出してもよい。例えば、判定部５２は撮像部１５が設置されている高さ、撮像部１５から取得した物体までの距離、撮像画像内における物体の大きさ、撮像部１５のレンズの光軸の向き及び撮像部１５のレンズの拡大率等によって、物体の高さを算出してよい。
【００７０】
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７１】
１…車両
２…車体
８…表示装置
１５…撮像部
１６…測距部
３０…制御部
３２…記憶部
５０…周辺監視装置
６０…表示画像
６２…車両画像
６４…モデル画像
７０…表示画像
７２…車体画像
７３…車輪画像
７４…モデル画像
【図１】
2018050171.tif 000003
【図２】
2018050171.tif 000004
【図３】
2018050171.tif 000005
【図４】
2018050171.tif 000006
【図５】
2018050171.tif 000007
【図６】
2018050171.tif 000008
【図７】
2018050171.tif 000009