(57)【要約】【課題】水面状態の表示や渡渉走行の適否情報をユーザに適切に提供することができる周辺監視装置を提供する。【解決手段】実施形態にかかる周辺監視装置は、車両の車体表面および当該車体表面の周辺を撮像範囲として撮像する撮像部から出力された撮像画像データに基づく画像を表示装置に表示させる制御部と、上記車両の渡渉走行時の水位限界情報に基づく水位限界線を上記画像上の上記車体表面の対応位置に重畳する画像処理部と、を備える。【選択図】図８
2018001899.tif 000002
【特許請求の範囲】
【請求項１】
車両の車体表面および当該車体表面の周辺を撮像範囲として撮像する撮像部から出力された撮像画像データに基づく画像を表示装置に表示させる制御部と、
前記車両の渡渉走行時の水位限界情報に基づく水位限界線を前記画像上の前記車体表面の対応位置に重畳する画像処理部と、
を備える周辺監視装置。
【請求項２】
前記制御部は、前記車両の側面が撮像された前記撮像画像データに補正を施した画像を表示させる請求項１に記載の周辺監視装置。
【請求項３】
前記制御部は、前記補正として、前記撮像画像データに視点変換処理を施す請求項２に記載の周辺監視装置。
【請求項４】
前記制御部は、前記補正として、前記撮像画像データに歪み補正処理を施す請求項２または請求項３に記載の周辺監視装置。
【請求項５】
前記制御部は、前記補正として、前記撮像画像データの一部を切出す切出し処理を施す請求項２から請求項４のいずれか１項に記載の周辺監視装置。
【請求項６】
前記画像処理部は、前記車両の表面形状に沿った形状の前記水位限界線を前記対応位置に重畳する請求項１から請求項５のいずれか１項に記載の周辺監視装置。
【請求項７】
前記画像処理部は、直線の前記水位限界線を前記対応位置に重畳する請求項１から請求項５のいずれか１項に記載の周辺監視装置。
【請求項８】
前記制御部は、前記水位限界線が表示される場合、前記画像における前記車体表面の表示領域を前記水位限界線が非表示の場合より大きくする請求項１から請求項７のいずれか１項に記載の周辺監視装置。
【請求項９】
前記画像処理部は、前記画像に重畳される前記水位限界線より車高方向の低い位置に水位参照線を重畳する請求項１から請求項８のいずれか１項に記載の周辺監視装置。
【請求項１０】
前記画像処理部は、前記水位参照線を前記水位限界線と異なる表示態様で重畳する請求項９に記載の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、周辺監視装置に関する。
【背景技術】
【０００２】
従来、渡渉（渡河）機能を備えた車両がある。例えば、オフロード車と称される車両は沼地や河川、冠水路等で渡渉走行（水中走行）が可能なように、防水対策が施されている場合がある。このような車両の中には、例えば超音波ソナー等のセンサを用いて水面までの距離を測定し、車室内に設けられた表示装置に水面と自車のグラフィック画像を表示して渡渉走行状態を擬似的に表示して運転者に提示するシステムを搭載するものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１５−５１２８２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、車両が渡渉走行を行う場合、水面が波打っていることが多々ある。上述した技術のように水面までの距離を超音波ソナー等のセンサで検出して水面を示すグラフィック画像を表示する場合、波打ちにより水面が上下して水面までの測距を正確に行うことが難しい場合がある。この場合、波打ち状態や水面までの高さがグラフィック画像で正確に表現できず、水面状態の表示や渡渉走行の適否情報をユーザに適切に提供し難いという問題があった。
【０００５】
そこで、本発明の課題の一つは、水面状態の表示や渡渉走行（水中走行）の適否情報をユーザに適切に提供することができる周辺監視装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の実施形態にかかる周辺監視装置は、例えば、車両の車体表面および当該車体表面の周辺を撮像範囲として撮像する撮像部から出力された撮像画像データに基づく画像を表示装置に表示させる制御部と、上記車両の渡渉走行時の水位限界情報に基づく水位限界線を上記画像上の上記車体表面の対応位置に重畳する画像処理部と、を備える。この構成によれば、例えば、表示装置には、撮像部で撮像した撮像画像データに基づく実画像が表示され、自車の実際の車体表面および渡渉走行（水中走行）時の周辺状況、つまり水面状況（水位や波打ち状況等）が表示される。また、水位限界線が画像上の車体表面の対応位置に重畳される。その結果、実際の状況、つまり水位が車体のどの辺りまできているのかという状況をより正確にユーザに伝え易く、ユーザに渡渉走行時の状況を直感的に把握させ易くすることができる。
【０００７】
また、上記周辺監視装置において、例えば、上記制御部は、上記車両の側面が撮像された上記撮像画像データに補正を施した画像を表示させてもよい。この構成によれば、例えば、画面内容（車両側面およびそこに重畳された水位限界線）の視認性がより向上し、実際の状況、つまり水位が車体のどの辺りまできているのかという状況をさらに正確にユーザに理解させ易くなる。
【０００８】
また、上記周辺監視装置において、例えば、上記制御部は、上記補正として、上記撮像画像データに視点変換処理を施してもよい。この構成によれば、例えば、車両の側方から車両の側面を見たような画像が提供可能となり、水位限界線と水面との関係、水面と車体との関係をより理解させやすい画像が提供できる。
【０００９】
また、上記周辺監視装置において、例えば、上記制御部は、上記補正として、上記撮像画像データに歪み補正処理を施してもよい。この構成によれば、例えば、車両の形状がより認識し易い形となり、水位限界線と水面との関係、水面と車体との関係をさらに理解させやすい画像が提供できる。
【００１０】
また、上記周辺監視装置において、例えば、上記制御部は、上記補正として、上記撮像画像データの一部を切出す切出し処理を施してもよい。この構成によれば、例えば、車両において、水位との関係に注意を払うべき特定部分の拡大表示が可能となり、車体と水位限界線との関係、水面と車体との関係をより理解させやすい画像が提供できる。
【００１１】
また、上記周辺監視装置において、例えば、上記車両の表面形状に沿った形状の上記水位限界線を上記対応位置に重畳してもよい。この構成によれば、例えば、車両の表面と水位限界線とのズレが軽減され、水位限界線と水面との関係、水面と車体との関係をさらに理解させやすい画像が提供できる。
【００１２】
また、上記周辺監視装置において、例えば、上記画像処理部は、直線の上記水位限界線を上記対応位置に重畳してもよい。この構成によれば、例えば、水位限界線の重畳処理が容易になり、処理負荷を軽減できる。また、車両に対して水位限界線がシンプルに表示され、直感的に車両、水位限界線、水面との関係を理解させやすい表示ができる。
【００１３】
また、上記周辺監視装置において、例えば、上記制御部は、上記水位限界線が表示される場合、上記画像における上記車体表面の表示領域を上記水位限界線が非表示の場合より大きくするようにしてもよい。この構成によれば、例えば、車体に重畳された水位限界線を認識させ易くできるとともに、画面が水位限界線の表示モードに切り替わっていることを認識させやすくすることができる。
【００１４】
また、上記周辺監視装置において、例えば、上記画像処理部は、上記画像に重畳される上記水位限界線より車高方向の低い位置に水位参照線を重畳してもよい。この構成によれば、水位参照線は、車体に対する水位の上昇の程度を段階的に示すことができるので、水位上昇に対する段階的な注意喚起を行うことができる。
【００１５】
また、上記周辺監視装置において、例えば、上記画像処理部は、上記水位参照線を上記水位限界線と異なる表示態様で重畳してもよい。この構成によれば、水位参照線による水位上昇に対する注意喚起をより明確に行うことができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。
【図２】図２は、実施形態にかかる周辺監視装置を搭載する車両の一例が示された平面図である。
【図３】図３は、実施形態にかかる周辺監視装置を搭載する車両のダッシュボードの一例であり、車両後方からの視野での図である。
【図４】図４は、実施形態にかかる周辺監視装置を含む画像制御システムの一例が示されたブロック図である。
【図５】図５は、実施形態にかかる周辺監視装置による水位限界線の表示例を示す説明図である。
【図６】図６は、実施形態にかかる周辺監視装置による表示例であり、歪み補正および視点変換後の画像に水位限界線と水位参照線を重畳した状態を示す説明図である。
【図７】図７は、実施形態にかかる周辺監視装置による表示例であり、歪み補正および視点変換後の他の画像に水位限界線と水位参照線を重畳した状態を示す説明図である。
【図８】図８は、実施形態にかかる周辺監視装置のＥＣＵ内に実現される水位限界線の表示を実現するためのＣＰＵの構成の一例を示すブロック図である。
【図９】図９は、実施形態にかかる周辺監視装置の表示装置の表示例であり、水位限界線の表示前である標準表示モード時の画面レイアウトおよび表示例である。
【図１０】図１０は、実施形態にかかる周辺監視装置の表示装置の表示例であり、水位限界線の表示後である特殊表示モード時の画面レイアウトおよび表示例である。
【図１１】図１１は、実施形態にかかる周辺監視装置による水位限界線の表示を含む周辺監視画像の表示処理の一例を説明するフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
【００１８】
本実施形態において、周辺監視装置（周辺監視システム）を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１は、例えば、いわゆる「オンロード」（主として舗装された道路やそれと同等の道路）の走行に加え、「オフロード」（主として舗装されていない不整地路等）の走行も好適に行える車両である。駆動方式としては、４つある車輪３すべてに駆動力を伝え、４輪すべてを駆動輪として用いる四輪駆動車両とすることができる。車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。例えば、「オンロード」の走行を主目的とする車両でもよい。また、駆動方式も四輪駆動方式に限定されず、例えば、前輪駆動方式や後輪駆動方式でもよい。
【００１９】
図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。
【００２０】
また、車室２ａ内には、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid  crystal  display）や、ＯＥＬＤ（organic  electroluminescent  display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等により操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
【００２１】
また、車室２ａ内には、表示装置８とは別の表示装置１２が設けられている。図３に例示されるように、表示装置１２は、例えば、ダッシュボード２４の計器盤部２５に設けられ、計器盤部２５の略中央で、速度表示部２５ａと回転数表示部２５ｂとの間に位置されている。表示装置１２の画面１２ａの大きさは、表示装置８の画面８ａ（図３）の大きさよりも小さい。この表示装置１２には、例えば車両１の周辺監視や他の機能が動作している場合に補助的な情報として、インジケータやマーク、文字情報を示す画像が表示されうる。表示装置１２で表示される情報量は、表示装置８で表示される情報量より少なくてもよい。表示装置１２は、例えば、ＬＣＤや、ＯＥＬＤ等である。なお、表示装置８に、表示装置１２で表示される情報が表示されてもよい。
【００２２】
また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図４に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic  control  unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer  by  wire）システム等である。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。
【００２３】
また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge  coupled  device）やＣＩＳ（CMOS  image  sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１５は、車両１が移動可能な路面や渡渉走行時の水面、その周辺の状況（水の有無、水面の状態、水面までの高さ等）や物体（障害物として、例えば、岩、樹木、人間、自転車、車両等）を含む車両１の周辺の外部の環境を逐次撮影し、撮像画像データとして出力する。
【００２４】
撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウインドウの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパやフロントグリル等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられている。ＥＣＵ１４は、複数の撮像部１５で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。また、ＥＣＵ１４は、撮像部１５で得られた広角画像のデータ（湾曲した画像のデータ）に演算処理や画像処理を施し歪みを補正する歪み補正処理を実行したり、特定の領域を切り出した画像を生成したり、特定の領域のみを示す画像データを生成したりする切出し処理が実行できる。また、ＥＣＵ１４は、撮像画像データを撮像部１５が撮像した視点とは異なる仮想視点から撮像したような仮想画像データに変換する視点変換処理が実行できる。例えば、車両１を上空から俯瞰したような俯瞰画像を示す仮想画像データに変換したり、車両１の側面を当該車両１から離れた位置から臨むような側視画像を示す仮想画像データに変換したりすることができる。ＥＣＵ１４は、取得した画像データを表示装置８に表示することで、例えば、車両１の右側方や左側方の安全確認や後述する渡渉走行時の水位の確認、車両１を俯瞰してその周囲の安全確認を実行できるような周辺監視情報を提供する。
【００２５】
また、ＥＣＵ１４は、渡渉走行時に、水面の状態とともに、車体２の一部を表示して渡渉走行時の車両１と水面の関係を表示して、渡渉走行支援（水中走行支援）を実行することもできる。この場合、ＥＣＵ１４は、後述するように、車両１の一部、例えば車体２の側面に水位限界線や水位参照線等を重畳した画像を表示させることができる。なお、ＥＣＵ１４は、撮像部１５から提供される撮像画像データから車両１の周辺の路面に示された区画線等を識別して走行支援を実行したり、駐車区画を検出（抽出）して駐車支援を実行したりすることもできる。
【００２６】
図１、図２に例示されるように、車体２には、複数の測距部１６，１７として、例えば四つの測距部１６ａ〜１６ｄと、八つの測距部１７ａ〜１７ｈとが設けられている。測距部１６，１７は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器、超音波ソナーとも称されうる。本実施形態において、測距部１６，１７は、車両１の車高方向において低い位置、例えば前後のバンパに設けられ、車両１の周辺の例えば障害物を検出し、その障害物までの距離を測定することができる。また、測距部１６，１７は、車両１が水中進入（走行）状態か否かを判定するセンサとして利用することができる。上述したように、測距部１６，１７は、車両１の車高方向において低い位置である前後のバンパに設けられているので、渡渉走行を行う場合、水位が渡渉走行不能となる高さ（水位限界線が重畳される高さ）に達する前の比較的早期の段階で水没する。例えば、測距部１６，１７が水没した場合、反射波の受信状態が不安定になり動作エラーとなる。したがって、車両１が河川や沼に進入して水没した場合、複数の測距部１６，１７でほぼ同時にエラー信号を出力することができる。例えば、車両１が前進走行しながら河川や沼に進入していく場合、測距部１７ｅ，１７ｆ，１７ｇ，１７ｈがほぼ同時に水没してエラー信号を出力し、続いて測距部１６ｃ，１６ｄがエラー信号を出力する。同様に、車両１が後進走行しながら河川や沼に進入していく場合、測距部１７ａ，１７ｂ，１７ｃ，１７ｄがほぼ同時に水没してエラー信号を出力し、続いて測距部１６ａ，１６ｂがエラー信号を出力する。つまり、測距部１６，１７のエラー信号の出力態様に基づいて、車両１が渡渉走行状態か否かを判定するための情報を得ることができる。なお、車両１が渡渉走行を完了した場合（上陸した場合）は、車両１が前進走行しながら河川や沼から脱出した場合、測距部１７ｅ，１７ｆ，１７ｇ，１７ｈがほぼ同時に復帰し、続いて測距部１６ｃ，１６ｄが復帰する。さらに上陸が進むと、測距部１６ａ，１６ｂが復帰し、最後に測距部１７ａ，１７ｂ，１７ｃ，１７ｄがほぼ同時に復帰する。このように、全ての測距部１６，１７が復帰した場合に、車両１が渡渉走行から脱出（完全上陸）したと判定するための情報を得ることができる。なお、測距部１６，１７は、防水構造とし、水没による破損等は生じないように構成されている。
【００２７】
また、図４に例示されるように、周辺監視システム１００（周辺監視装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller  area  network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６、測距部１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。
【００２８】
ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central  processing  unit）や、ＲＯＭ１４ｂ（read  only  memory）、ＲＡＭ１４ｃ（random  access  memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid  state  drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８，１２で表示される画像に関連した画像処理の演算処理および制御を実行することができる。例えば、陸上走行時に表示する標準表示モードの画像や渡渉走行時に表示する特殊表示モードの画像等を表示するための処理や演算を実行する。このほか、ＣＰＵ１４ａは、車両１の移動目標位置（駐車目標位置、目標位置）の決定、車両１の誘導経路（誘導経路、駐車経路、駐車誘導経路）の演算、物体との干渉の有無の判断、車両１の自動制御、自動制御の解除等の、各種の演算処理および制御を実行することができる。
【００２９】
ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital  signal  processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard  disk  drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。
【００３０】
ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock  brake  system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic  stability  control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake  by  wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。
【００３１】
舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。本実施形態では、車両１に２個の加速度センサ２６（２６ａ、２６ｂ）が設けられているものとする。なお、車両１がＥＳＣを搭載する場合、ＥＳＣに従来から搭載されている加速度センサ２６（２６ａ、２６ｂ）を用いる。なお、本実施形態は、加速度センサを制限するものではなく、車両１の左右方向の加速度を検出可能なセンサであればよい。本実施形態では、前後方向の加速度及び左右方向の加速度を導出する。
【００３２】
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
【００３３】
周辺監視システム１００を実現するＥＣＵ１４は、一例として、車両１の渡渉走行時に撮像部１５が撮像した撮像画像データに基づく実画像を用いて、車両１の周囲の水面と、「水位限界線」が重畳された車体２との関係を表示装置８に表示する。この場合、撮像部１５が撮像する撮像画像データは、車両１の車体２の表面および当該表面の周辺を撮像範囲として撮像したデータである。ここで、「水位限界線」とは、車両１が水没しても走行機能等車両１に備えられた機能を正常に動作させることができる水位および車室２ａ内への浸水を防ぐことが可能な水位の限界を示す指標である。
【００３４】
図５〜図７は、撮像画像データに基づく画像に「水位限界線Ｌ」を重畳した状態を示す説明図である。「水位限界線Ｌ」は、車輪３の接地位置から車高方向に例えば、６００ｍｍの位置に設定される線であり、車両１の設計段階での防水処理や止水処理等が施される高さと車両１の駆動性能等によって予め設定される高さに設定される。「水位限界線Ｌ」は、撮像部１５が撮像した撮像画像データに基づく画像に含まれる車体２のうち、例えばボディ側面２ｍに沿って（車体２の曲面に沿って）重畳表示することができる。例えばボディ側面２ｍが曲面の場合、水位限界線Ｌも車両１の表面形状（水平断面形状）に沿った形状（曲線）とすることが望ましい。また、水位限界線Ｌは、車体２の範囲内で重畳される。この場合、水位限界線Ｌは、車輪３部分も含んで重畳される。このように、水位限界線Ｌをボディ側面２ｍに沿わせかつ車体２の範囲内で重畳することにより、水位が車体２の何処まで上がってきたかを違和感なくユーザに認識させ易くすることができる。
【００３５】
前述したように、広角レンズまたは魚眼レンズを有した撮像部１５ｂおよび撮像部１５ｄはドアミラー２ｇに固定されている。したがって、撮像部１５ｂおよび撮像部１５ｄは、車両１のボディ側面２ｍの一部（前輪３Ｆ、後輪３Ｒを含む）およびその側方の風景を撮像範囲とする。つまり、車両１が河川や沼、冠水路等の水中に進入した場合、車両１のボディ側面２ｍと水中に進入したことにより上昇した水面とを同一の画面内に収めた画像を得ることができる。そして、ＥＣＵ１４は、水面とともに表示される車両１のボディ側面２ｍに「水位限界線Ｌ」を重畳表示した画像を表示装置８で表示することにより、車両１の渡渉走行中の水没状態および水没状態の遷移を視覚的にユーザ（運転者等）に確認させることができる。また、その画面には、実画像として水面が表示されているので、ユーザに水位の変化を直感的に把握させ易くすることができる。この場合、表示する画像は実画像なので、水面が波打っている場合でも、その水面変化をリアルタイムでユーザに認識させることが可能になり、渡渉走行時の状況判断をより適切に行わせ易くすることができる。
【００３６】
なお、ＥＣＵ１４は、図６、図７に示すように「水位限界線Ｌ」と類似する指標として「水位限界線Ｌ」より車高方向の低い位置に「水位参照線Ｋ」を重畳することができる。この「水位参照線Ｋ」は、水位限界線Ｌと略平行に重畳されて、水位限界線Ｌには到達していないが水位の上昇を予告的にユーザに報知する指標線である。「水位参照線Ｋ」が例えば２本重畳される場合、１本は、「水位限界線Ｌ」の下方例えば４００ｍｍ、すなわち車輪３の接地面から２００ｍｍの位置に「第１水位参照線Ｋ１」として重畳される。また、もう１本は、「水位限界線Ｌ」の下方例えば２００ｍｍ、すなわち車輪３の接地面から４００ｍｍの位置に「第２水位参照線Ｋ２」として重畳される。このように、「水位参照線Ｋ」を設けることにより、車体２に対する水位の上昇の程度を段階的に示すことができるので、水位上昇に対する段階的な注意喚起を行うことができる。なお、「水位参照線Ｋ」の表示の有無は、ユーザによって選択できるようにしてもよい。また、「水位参照線Ｋ」の本数や重畳位置（車輪３の接地位置からの高さ）は適宜設定可能である。
【００３７】
ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したような渡渉走行時の「水位限界線Ｌ」を含む画像の提供を実現するために、図８に示されるように、画像取得部３０、表示処理部３２（制御部）、画像処理部３４、出力部３６を含む。また、表示処理部３２は、歪み補正部３８、視点変換部４０、レイアウト調整部４２を含み、画像処理部３４は、水位限界線重畳部４４および水位参照線重畳部４６を含む。画像取得部３０、表示処理部３２、画像処理部３４、出力部３６、歪み補正部３８、視点変換部４０、レイアウト調整部４２、水位限界線重畳部４４、水位参照線重畳部４６は、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。
【００３８】
画像取得部３０は、車両１に設けられて当該車両１の周辺を撮像する撮像部１５から出力された撮像画像データを表示制御部１４ｄを介して取得する。なお、表示制御部１４ｄは、ＣＰＵ１４ａによる処理を介さずに、撮像部１５で撮像した撮像画像データをそのままの状態で表示装置８や表示装置１２に出力してもよい。また、ＣＰＵ１４ａは、操作入力部１０や操作部１４ｇ等の入力装置を用いてユーザに希望する表示内容を選択させるようにしてもよい。つまり、表示制御部１４ｄは、操作入力部１０や操作部１４ｇの操作により選択された画像を選択的に表示装置８に表示することができる。例えば撮像部１５ａで撮像した車両１の後方画像を表示装置８に表示させたり、撮像部１５ｄで撮像した左側方画像を表示装置８に表示させたりすることができる。
【００３９】
表示処理部３２は、車両１の車体２の表面および当該表面の周辺を撮像範囲として撮像する撮像部１５から出力された撮像画像データに種々の画像処理を施し、撮像画像データに基づく画像を「水位限界線Ｌ」や「水位参照線Ｋ」が認識し易い画像に変換して表示装置８に表示させる。
【００４０】
例えば、歪み補正部３８は、周知の歪み補正処理を撮像画像データまたは撮像画像データに基づく画像に施す。前述したように、撮像部１５ｂおよび撮像部１５ｄが広角レンズまたは魚眼レンズを備えている場合、撮像した撮像画像データに基づくオリジナル画像は図５に示すように湾曲した画像になる。この場合、湾曲した画像は、車両１および当該車両１の前方、後方、側方の広範囲の状況を撮像範囲に含む画像となる。つまり、車両１および車両１の周辺全体の状況をユーザに把握させ易い画像を提供できる。その一方で、この湾曲した画像に不慣れなユーザは、表示内容の理解に時間がかかってしまうことがある。また、本来直線に近いはずの「水位限界線Ｌ」が湾曲しているので、違和感を与えてしまう場合がある。そこで、歪み補正部３８（ＣＰＵ１４ａ）は、例えば、ＲＯＭ１４ｂに保持された補正情報に基づき、車両１の側面が撮像された撮像画像データに対して画素位置に応じた変位量を与えて補正することで湾曲を緩和または取り除く処理を施す。その結果、表示装置８に表示される車両１の形状を実際の形状に近づけることが可能になり、ユーザに表示内容の理解をより容易に行わせ易くなる。
【００４１】
視点変換部４０は、周知の視点変換処理を撮像画像データまたは撮像画像データに基づく画像に施す。例えば車体２のボディ側面２ｍに重畳される「水位限界線Ｌ」や「水位参照線Ｋ」と水面Ｗ（水面線）との関係をユーザにより理解させや易くするためには、水位限界線Ｌや水位参照線Ｋが重畳された車体２の表面（例えばボディ側面２ｍ）を視認し易い方向から視線を向けた画像で提供することが望ましい。例えば、図６、図７に示されるように、変換後の画像は、ボディ側面２ｍから離間した位置から当該ボディ側面２ｍに臨み、ボディ側面２ｍと水面Ｗとの接触部分（水面線）近傍を見下ろすような視線で得られる画像とする。その結果、変換後の画像は、ボディ側面２ｍと水面Ｗとの関係がより理解し易くなる。視点変換部４０（ＣＰＵ１４ａ）は、車両１の側面が撮像された撮像画像データに対して例えばＲＯＭ１４ｂ等に保持されたマッピングテーブルの変換情報を適用して、車両１から離間して当該車両１を臨む視点位置から見た場合の仮想画像データ（視点変換画像）を生成する。なお、図６、図７は、撮像画像データに基づく画像に歪み補正と視点変換処理を施した例を示すが、歪み補正処理を省略し視点変換処理を実行してもよい。この場合、図５に示すような画像をボディ側面２ｍから離間した位置から見た画像となる。また、視点変換部４０は、視点変換処理中に歪み補正を行ってもよい。また、歪み補正部３８と視点変換部４０とは、画像変換部としてまとめて構成されてもよい。
【００４２】
視点変換部４０は、視点の位置を適宜設定可能である。例えば、図６に示すように、ボディ側面２ｍの略中央部でボディ側面２ｍから離間した位置に視点を置き、車両１の前方側を臨むような視線変換画像にしてもよい。また、視点変換部４０は、図７に示すように、ボディ側面２ｍの略中央部でボディ側面２ｍから離間した位置に視点を置き、車両１のボディ側面２ｍを臨むような視線変換画像にしてもよい。同様に、ボディ側面２ｍの略中央部から車両１の後方側を臨むような視線変換画像にしてもよい。この場合、撮像画像データに基づく画像の一部を適宜切出す切出し処理を施してもよい。このように視点位置を適宜変更可能にしたり、切出し処理により適宜拡大表示を可能にしたりすることで、ユーザに注意を払わせたい部分の水位限界線Ｌ（水位参照線Ｋ）と水面Ｗとの関係を示す画像が提供可能となり、より渡渉走行状態の把握を容易に認識させやすくなる。また、例えば図７に示すようなボディ側面２ｍを臨む画像を表示する場合、運転席側とは逆側のボディ側面２ｍを臨む画像を表示装置８に表示してもよい。この場合、運転席側のボディ側面２ｍは運転者自ら目視で行い、反対側のボディ側面２ｍを表示装置８で確認することができる。これらの視点切り替えは、例えば、操作入力部１０や操作部１４ｇからの入力で選択することができる。
【００４３】
レイアウト調整部４２は、表示装置８に表示する画面のレイアウトを調整（変更）する。ＥＣＵ１４は、表示装置８に通常表示する走行支援画面として、図９に示すように、表示装置８の表示領域を複数に分割して種々の方向の画像や車両１の姿勢を示す傾斜計５０等を表示する。図９は、車両１が陸上を走行しているときに表示される標準表示モード時の画像例である。この場合、レイアウト調整部４２は、標準表示モードとして、例えば、表示装置８の表示領域の中央上部に前方表示領域ＦＶを配置し、その左右に左側表示領域ＳＶＬ、右側表示領域ＳＶＲを配置する。また、前方表示領域ＦＶの下方に、傾斜計５０を表示する姿勢表示領域ＰＶを配置する。なお、陸上走行時、前方表示領域ＦＶには、必要に応じて、車両１の進行推定方向を示す進路指標Ｒや車体２の前方側の端部２ｃからの距離の目安を示す前方参考線Ｑａ、車体２の側方の端部２ｄ，２ｆからの距離の目安を示す側方参考線Ｐａ等が表示され走行支援を行うようにしてもよい。また、左側表示領域ＳＶＬ、右側表示領域ＳＶＲには、歪み補正が行われて歪みが緩和された画像として、車体２と路面とが表示されている。なお、レイアウト調整部４２は、陸上走行時に主に表示する標準表示モードの場合、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲにおいて、車体２と路面の表示割合は、路面の方を多くしている。つまり、標準表示モードの場合、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲには、前輪３Ｆの周囲の路面状況を把握しやすくした画像が表示される。なお、傾斜計５０は、加速度センサ２６（２６ａ、２６ｂ）からの信号に基づき、車両１の左右方向の傾き（ロール角）や前後方向の傾き（ピッチ角）をシンボル５２の姿勢で表示する。
【００４４】
また、レイアウト調整部４２は、渡渉走行時には、水位限界線Ｌや水位参照線Ｋと水面Ｗとの関係がより分かり易くなるように、表示内容の変更（レイアウト変更）を行うことができる。図１０は、渡渉走行をしている場合に表示される特殊表示モード時の画像例である。なお、図１０の場合、前方表示領域ＦＶ、左側表示領域ＳＶＬ、右側表示領域ＳＶＲ、姿勢表示領域ＰＶのレイアウトは、図９の陸上走行時と同じであるが、左側表示領域ＳＶＬ、右側表示領域ＳＶＲの内部のレイアウトが図９の場合と異なる。図１０に示されるように、水位限界線Ｌ（水位参照線Ｋ）が表示される特殊表示モードの場合、左側表示領域ＳＶＬ、右側表示領域ＳＶＲに表示される画像における車体２の表面の表示領域を水位限界線Ｌ（水位参照線Ｋ）が非表示の場合より大きくしている。特殊表示モードの場合、水面Ｗが水位限界線Ｌ（水位参照線Ｋ）に対してどの程度上昇したかを主として表示する。そのため、特殊表示モードの場合、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲにおけるボディ側面２ｍの表示面積を増加させている。このように画像内のレイアウトを変更することで、水位限界線Ｌ（水位参照線Ｋ）と水面Ｗとの関係の視認性を向上することができる。また、表示装置８の画面が水位限界線Ｌの表示モードに切り替わっていることを認識させやすくすることができる。なお、撮像部１５で撮像されている撮像画像データは、左側表示領域ＳＶＬや右側表示領域ＳＶＲで表示する領域より大きな領域を撮像範囲として、例えば、そこから切出し処理を行うことで左側表示領域ＳＶＬや右側表示領域ＳＶＲに表示している。したがって。車体２の表面の表示領域を大きくするには、例えば元画像からの切出し範囲を調整することで実行できる。また、別の実施形態のおいては、車体２の表面の表示領域を図９のままとして、水位限界線Ｌ（水位参照線Ｋ）を表示するようにしてもよい。
【００４５】
また、レイアウト調整部４２は、レイアウト変更により、表示装置８の表示領域全てを用いて、図６や図７のような水位限界線Ｌ（水位参照線Ｋ）と水面Ｗとの関係を示す画像を表示してもよい。このような表示を行うことで、水位限界線Ｌ（水位参照線Ｋ）と水面Ｗとの関係の視認性がより向上するとともに、ユーザに水位限界線Ｌ（水位参照線Ｋ）と水面Ｗとの関係に特に注意を払わせるように強調することができる。
【００４６】
画像処理部３４は、車両１の渡渉走行時の水位限界情報に基づく水位限界線Ｌや水位参照線Ｋを表示装置８に表示する画像上の車体２の表面の対応位置に重畳する処理を行う。水位限界情報は、例えば、水位限界線Ｌや水位参照線Ｋを画像に重畳するための情報であり、画像上の画像を指定する情報でもよいし、基準線、例えば車輪３の接地位置からの高さ情報等でもよい。ＣＰＵ１４ａは、水位限界線Ｌを表示する条件が揃った場合に、水位限界線Ｌを車両１の設計段階で車高方向において定められた高さの位置に重畳する。前述したように各撮像部１５は車体２に固定され撮像範囲が定められている。したがって、撮像画像データまたは撮像画像データに基づく画像において車体２が表示範囲内の何処に表示されるかは算出できるので、その位置に水位限界線Ｌを重畳する。同様に、水位参照線重畳部４６は、水位参照線Ｋを車両１の設計段階で車高方向において定められた高さ位置に重畳する。なお、水位限界線重畳部４４および水位参照線重畳部４６は、水位限界線Ｌと水位参照線Ｋ（第１水位参照線Ｋ１、第２水位参照線Ｋ２）を識別し易いように、異なる表示態様で重畳してもよい。例えば、線種や線色を変えることができる。なお、線色を選択する場合、車体２の色に対して識別可能な色とすることが望ましい。例えば、水位限界線重畳部４４、水位参照線重畳部４６は、車体２の色情報を取得し自動で、識別可能な線色を選ぶようにしてもよいし、ユーザが選択できるようにしてもよい。また、水位限界線重畳部４４は、水位限界線Ｌを重畳表示する場合に、図６、図７に示すように、水位限界線Ｌであることを示す情報、例えば矢印等の「マーク」やＬｉｍｉｔ等の「文字情報」を付加してもよい。なお、「マーク」や「文字情報」等を付加する場合、水位限界線Ｌの上側に重畳し、水面Ｗが上昇した場合でも、「マーク」や「文字情報」が視認し易いようにすることが望ましい。水位参照線重畳部４６による水位参照線Ｋの重畳時も同様に「マーク」や「文字情報」を付加してもよい。また、図６、図７において、水位参照線Ｋは、水位限界線Ｌと平行に重畳する例を示したが、水位参照線Ｋは、水位限界線Ｌと直交する方向に重畳し、水深を示すスケールとともに表示してもよい。
【００４７】
ＣＰＵ１４ａは、水位限界線Ｌ（水位参照線Ｋ）の表示の有無、例えば、図９の表示状態から図１０の表示状態への切り替えおよびその逆の切り替えをユーザによる手動操作、例えば、操作入力部１０や操作部１４ｇによる入力操作によって行ってもよい。また、前述したように、測距部１６、測距部１７の動作状態（エラー信号の出力状態）によって切り替えてもよい。この他、音声認識やジェスチャ認識等による入力手段を用いて切り替え替え操作を行うようにしてもよい。
【００４８】
このように構成される周辺監視システム１００の制御例を図１１のフローチャートを用いて説明する。なお、図１１に示すフローは、所定の処理周期で繰り返し実行されるものとする。
【００４９】
まず、ＣＰＵ１４ａは、現在周辺監視中であるか判定し（Ｓ１００）、周辺監視中ではない場合（Ｓ１００のＮｏ）、例えば車両１の電源がＯＦＦの場合や表示装置８を他の用途（ナビゲーションやオーディオ等）で利用している場合には、一旦このフローを終了する。一方、ＣＰＵ１４ａは、現在周辺監視中であると判定した場合（Ｓ１００のＹｅｓ）、渡渉走行モード切替条件が成立したか判定する（Ｓ１０２）。ＣＰＵ１４ａは、上述したように、操作入力部１０や操作部１４ｇによる入力操作が行われた場合に渡渉走行モード切替条件が成立したと見なす。また、ＣＰＵ１４ａは、測距部１６や測距部１７が所定のパターンでエラー信号を出力した場合、例えば測距部１７ｅ〜１７ｈがほぼ同時（例えば２秒以内）にエラー信号を出力した場合に渡渉走行モード切替条件が成立したと見なす。
【００５０】
Ｓ１０２において、ＣＰＵ１４ａは、渡渉走行モード切替条件が成立した場合（Ｓ１０２のＹｅｓ）、画像取得部３０を介して、撮像部１５で現在撮像された撮像画像データ、例えば車両１の側方画像を取得する（Ｓ１０４）。続いて、ＣＰＵ１４ａは、取得した側方画像に対して画像変換処理を施す（Ｓ１０６）。画像変換処理では、ユーザによる表示画像の態様設定に基づき歪み補正部３８による歪み補正処理と視点変換部４０による視点変換処理の少なくとも一方を実行する。なお、ユーザによる選択や設定により図５に示すオリジナル画像に水位限界線Ｌ等を重畳して表示する場合は、Ｓ１０６の処理をスキップしてもよい。
【００５１】
続いて、ＣＰＵ１４ａは、水位限界線重畳部４４により「水位限界線Ｌ」を車体２のボディ側面２ｍに重畳するとともに、水位参照線重畳部４６により「水位参照線Ｋ」を車体２のボディ側面２ｍに重畳する（Ｓ１０８）。なお、この場合、ユーザによる選択や設定により「水位参照線Ｋ」を非表示とすることもできる。「水位参照線Ｋ」を非表示とすることで、水位限界線Ｌを重畳する画像のシンプル化が可能となる。つまり、シンプルな表示を好むユーザに対応した表示ができる。
【００５２】
続いて、レイアウト調整部４２は、周辺監視画面として表示されている図９の標準表示モードの画面から渡渉走行モードの画面に切り替える場合に、渡渉走行モードの画面が主画面に指定されているか否かを確認する（Ｓ１１０）。例えば、操作入力部１０や操作部１４ｇによる入力操作により、「主表示」が選択された場合（Ｓ１１０のＹｅｓ）、レイアウト調整部４２は、図９の標準表示モードの画面から図５〜図７で示すような水位限界線Ｌ（水位参照線Ｋ）と水面Ｗとの関係を強調するような画面に切り替えて、表示装置８の表示領域全体を用いた表示（主表示）とする処理を実行する（Ｓ１１２）。
【００５３】
一方、主表示選択が行われていない場合（Ｓ１１０のＮｏ）、レイアウト調整部４２は、図１０に示すように、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲに表示される画像における車体２の表面の表示領域を水位限界線Ｌ（水位参照線Ｋ）が非表示の場合より大きくなる特殊表示モードに切り替えて表示装置８に表示する処理を実行する（Ｓ１１４）。
【００５４】
ＣＰＵ１４ａは、水位限界線Ｌ（水位参照線Ｋ）と水面Ｗとの関係を示す渡渉走行モードによる表示が実行されている間、渡渉走行モードから陸上走行モードに復帰させるモード復帰条件が成立したか否か確認する（Ｓ１１６）。手動復帰の場合、ＣＰＵ１４ａは、操作入力部１０や操作部１４ｇ等を介した入力操作によりユーザから画面復帰要求（陸上走行モードの画面表示要求）があった場合にモード復帰条件が成立したと見なす。また、自動復帰の場合、ＣＰＵ１４ａは、測距部１６、測距部１７が全て復帰した場合（上陸によりエラー信号が全て解消された場合）で、その後、所定期間、例えば５秒経過した場合にモード復帰条件が成立したと見なす。モード復帰条件が成立した場合（Ｓ１１６のＹｅｓ）、レイアウト調整部４２は、表示装置８に表示する画像を標準表示モードの画像（図９の画面）に復帰させて（Ｓ１１８）、一連の渡渉走行モードによる水位限界線Ｌ（水位参照線Ｋ）の表示処理を終了する。
【００５５】
なお、Ｓ１１６において、モード復帰条件が成立していない場合（Ｓ１１６のＮｏ）、ＣＰＵ１４ａは、Ｓ１０４に移行して、Ｓ１０４以降の処理を実行することにより、渡渉走行中の表示画像を順次更新して、水面Ｗの変化（水位の変化）と水位限界線Ｌ（水位参照線Ｋ）の関係の推移をリアルタイムで表示装置８を介して表示する。また、Ｓ１０２において、渡渉走行モード切替条件が成立していない場合（Ｓ１０２のＮｏ）、つまり、水位限界線Ｌ（水位参照線Ｋ）の表示が不要な場合、Ｓ１１８に移行して標準表示モードの画面を表示装置８に表示する処理を継続する。
【００５６】
このように、本実施形態の周辺監視システム１００によれば、表示装置８には、撮像部１５で撮像した撮像画像データに基づく実画像が表示され、車両１の実際の車体２の表面および渡渉走行時の周辺、つまり水面Ｗが表示される。また、水位限界線Ｌが画像上の車体２表面の対応位置に重畳される。その結果、実際の状況、つまり水面Ｗが車体２のどの辺りまできているのかとか水面の状態がどのようになっているか等の状況をより正確に伝え、ユーザには、それらの情報を直感的に把握させ易くすることができる。
【００５７】
なお、上述した実施形態の場合、水位限界線Ｌや水位参照線Ｋをドアミラー２ｇに設けられた撮像部１５ｂや撮像部１５ｄで撮像した撮像画像データに基づきボディ側面２ｍに重畳する例を示した。別の実施形態では、他の撮像部１５で撮像した撮像画像データを用いてもよい。例えば、車体２の前部に設けた撮像部１５ｃの撮像範囲に車体２の前部（ボディ前面）が含まれる場合、ボディ前面の画像に水位限界線Ｌや水位参照線Ｋを重畳して表示装置８の前方表示領域ＦＶに表示してもよい。この場合、車両１を前進させる場合に、車体２に対する水位の変化が把握し易くなる。同様に、車体２の後部に設けた撮像部１５ａの撮像範囲に車体２の後部（ボディ後面）が含まれる場合、ボディ後面の画像に水位限界線Ｌや水位参照線Ｋを重畳して表示装置８に表示してもよい。この場合、変速操作部７（シフトレバー）のシフト位置に基づいて、前後の画像を切り替えてもよい。また、表示装置８の表示領域を四分割し、前後左右の画像にそれぞれ水位限界線Ｌ（水位参照線Ｋ）を重畳して表示してもよい。この場合、車両１の全周囲に対して水面Ｗと水位限界線Ｌ（水位参照線Ｋ）との関係を示すことができるので、例えば水底の凹凸が大きく車両１が大きく傾いているような場合でも、水位限界線Ｌ（水位参照線Ｋ）と水面Ｗとの関係をユーザに把握させやすくすることができる。
【００５８】
また、本実施形態では、水位限界線Ｌや水位参照線Ｋをボディ側面２ｍに沿って重畳する例を示した。つまり、ボディ側面２ｍが曲面の場合、その曲面に対応するように水位限界線Ｌや水位参照線Ｋも曲線となるように重畳したが、これに限らない。例えば、撮像画像データや撮像画像データに基づく画像に歪み補正を施して、車両１の実際の形状に近づけている場合、水位限界線Ｌや水位参照線Ｋが重畳される車体２の前後方向の形状は、直線的な形状になるので、水位限界線Ｌや水位参照線Ｋを簡易的に直線で表現してもよい。この場合、ＥＣＵ１４による画像処理負荷を軽減することができる。また、水位限界線Ｌや水位参照線Ｋがシンプルな直線で表示されることにより、水面との関係を直感的に理解させやすくすることができる。
【００５９】
また、上述の実施形態では、いわゆるオフロード車について説明したが、本実施形態の周辺監視装置は、いわゆるオンロード車（乗用車等）にも適用可能であり、同様な効果を得ることができる。また、水位参照線Ｋや水位限界線Ｌが重畳された画像を画像処理することで、水位参照線Ｋや水位限界線Ｌに対する水面Ｗの位置を検出し、音声等による警告メッセージを出力するようにしてもよい。
【００６０】
また、上述した実施形態において、渡渉走行モード（水中走行モード）に自動的に切り替える場合、測距部１６、測距部１７からの信号を用いる例を示したが、これに限らず、他のセンサからの信号を用いて切り替えてもよい。また、撮像部１５で撮像した画像に基づき、水面Ｗを検出し、切り替えるようにしてもよい。また、モード切替は、手動のみとしてもよい。
【００６１】
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６２】
１…車両、２…車体、２ｍ…ボディ側面、８…表示装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｄ…表示制御部、１４ｇ…操作部、１５，１５ａ，１５ｂ，１５ｃ，１５ｄ…撮像部、３０…画像取得部、３２…表示処理部、３４…画像処理部、３６…出力部、３８…歪み補正部、４０…視点変換部、４２…レイアウト調整部、４４…水位限界線重畳部、４６…水位参照線重畳部、Ｌ…水位限界線、Ｋ…水位参照線、Ｗ…水面、１００…周辺監視システム（周辺監視装置）。
【図１】
2018001899.tif 000003
【図２】
2018001899.tif 000004
【図３】
2018001899.tif 000005
【図４】
2018001899.tif 000006
【図５】
2018001899.tif 000007
【図６】
2018001899.tif 000008
【図７】
2018001899.tif 000009
【図８】
2018001899.tif 000010
【図９】
2018001899.tif 000011
【図１０】
2018001899.tif 000012
【図１１】
2018001899.tif 000013