(57)【要約】【課題】ユーザの普段の視認感覚に近い状態で周辺映像が提供できる周辺監視装置を提供する。【解決手段】車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する画像取得部と、車両の車室内に設けられ画像を表示する表示装置と、撮像画像データに基づき少なくとも車両を基準に一方の第１側方領域を臨む第１視線画像データと車両を基準に他方の第２側方領域を臨む第２視線画像データを取得し、表示装置に第１視線画像データに基づく画像を表示させた後に当該第１視線画像データに基づく画像に代えて第２視線画像データに基づく画像を表示する制御部と、を備える。【選択図】図５
2017094922.tif 000002
【特許請求の範囲】
【請求項１】
車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する画像取得部と、
前記車両の車室内に設けられ画像を表示する表示装置と、
前記撮像画像データに基づき少なくとも前記車両を基準に一方の第１側方領域を臨む第１視線画像データと前記車両を基準に他方の第２側方領域を臨む第２視線画像データを取得し、前記表示装置に前記第１視線画像データに基づく画像を表示させた後に当該第１視線画像データに基づく画像に代えて前記第２視線画像データに基づく画像を表示する制御部と、
を備える周辺監視装置。
【請求項２】
前記撮像画像データは、前記車両の進行方向を含む広角画像のデータであり、
前記制御部は、前記撮像画像データを前記車両の進行方向における車両先端位置から前記第１側方領域を臨む平面画像に変換して前記第１視線画像データを取得するとともに、前記第２側方領域を臨む平面画像に変換して前記第２視線画像データを取得する画像変換部を含む請求項１に記載の周辺監視装置。
【請求項３】
前記制御部は、前記第１視線画像データに基づく画像の表示から前記第２視線画像データに基づく画像の表示へ遷移させる間に前記車両の進行方向を含む正面領域を臨む第３視線画像データに基づく画像を表示する請求項１または請求項２に記載の周辺監視装置。
【請求項４】
前記制御部は、前記第１視線画像データに基づく画像の表示期間及び前記第２視線画像データに基づく画像の表示期間より前記第３視線画像データに基づく画像の表示期間を短くする請求項３に記載の周辺監視装置。
【請求項５】
前記画像取得部は、車両に設けられて当該車両の周辺の移動物体を検出する物体検出部から出力された物体画像データをさらに取得し、
前記制御部は、前記撮像画像データに基づく画像に前記物体画像データに基づく画像を重畳して前記移動物体の存在を報知する請求項１から請求項４のいずれか１項に記載の周辺監視装置。
【請求項６】
前記制御部は、前記第１視線画像データに基づく画像の表示、前記第２視線画像データに基づく画像の表示に続き、再度前記第１視線画像データに基づく画像の表示を行う請求項１から請求項５のいずれか１項に記載の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、周辺監視装置に関する。
【背景技術】
【０００２】
従来、車載カメラで撮像した車両の周辺映像を車室内に配置された表示装置に表示する技術が知られている。例えば、自車の走行路から交差点で交差する他の走行路に進入する場合に、他の走行路の状況を表示装置に表示する技術が知られている。このような周辺画像を表示する場合、より多くの情報が認識できるように、表示装置の表示領域を複数に分割して、種々の方向を撮影した画像を同時に表示したり、広角レンズや魚眼レンズを用いたカメラで撮影した広角画像を表示したり、それに歪み補正を施したりして表示していた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１３６２５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような表示領域を複数に分割した表示や広角画像を用いた表示は、ユーザ（運転者）が普段目視（視認）している現実世界の風景とは異なるため、その表示方式に慣れる必要がある。また、表示領域が分割されることで個々の方向の表示面積が小さくなったり、種々の方向の画像がマトリックス状に配置されたりして、現実とは異なる見え方となるため、注目すべき情報を見落とす可能性が高くなる場合があるという問題があった。
【０００５】
そこで、本発明の課題の一つは、ユーザの普段の視認感覚に近い状態で周辺映像を表示装置上で提供できる周辺監視装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の実施形態にかかる周辺監視装置は、例えば、車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する画像取得部と、上記車両の車室内に設けられ画像を表示する表示装置と、上記撮像画像データに基づき少なくとも上記車両を基準に一方の第１側方領域を臨む第１視線画像データと上記車両を基準に他方の第２側方領域を臨む第２視線画像データを取得し、上記表示装置に上記第１視線画像データに基づく画像を表示させた後に当該第１視線画像データに基づく画像に代えて上記第２視線画像データに基づく画像を表示する制御部と、を備える。この構成によれば、例えば、一般的によく行われる「左右確認」をしているような画像表示が提供できるので、ユーザに受け入れられやすい。また、第１側方領域（例えば車両の右側方領域）の画像と第２側方領域（例えば車両の左側方領域）の画像が別々のタイミングで表示されるので、限られた表示領域で個々の画像を最大限大きく表示できる。その結果、注目すべき情報を見落とす可能性が低減できる。
【０００７】
また、上記周辺監視装置において、例えば、上記撮像画像データは、上記車両の進行方向を含む広角画像のデータであり、上記制御部は、上記撮像画像データを上記車両の進行方向における車両先端位置から上記第１側方領域を臨む平面画像に変換して上記第１視線画像データを取得するとともに、上記第２側方領域を臨む平面画像に変換して上位第２視線画像データを取得する画像変換部を含んでもよい。この構成によれば、例えば、表示装置に表示される画像は、ユーザが車両の例えば前端部（後端部）に立って左右を視認したときと同様な情報が得られる画像の表示ができる。この場合、運転席が存在する位置（ユーザが側方を実際に見渡せる位置）まで車両を進めなくても、第１側方領域や第２側方領域の確認が現実と同様な状態で確認できる表示態様を提供できる。また、画像取得部によって、車両の進行方向を含む広範囲の画像データが効率的に取得される。また、画像変換部が例えば歪みが含まれる可能性のある広角画像から歪みの少ない視線画像に変換するため、表示内容をより認識させやすい第１視線画像データ及び第２視線画像データが提供できる。
【０００８】
また、上記周辺監視装置の上記制御部は、例えば、上記第１視線画像データに基づく画像の表示から上記第２視線画像データに基づく画像の表示へ遷移させる間に上記車両の進行方向を含む正面領域を臨む第３視線画像データに基づく画像を表示するようにしてもよい。この構成によれば、例えば、第１視線画像データに基づく画像と第２視線画像データに基づく画像との間にユーザ自身が現実に視認できる正面領域を示す第３視線画像データに基づく画像が介在するので、表示されている画像の遷移状況、すなわちこれから表示される画像が第１視線画像データに基づく画像なのか第２視線画像データに基づく画像なのかを識別させやすくすることができる。
【０００９】
また、上記周辺監視装置の上記制御部は、例えば、上記第１視線画像データに基づく画像の表示期間及び上記第２視線画像データに基づく画像の表示期間より上記第３視線画像データに基づく画像の表示期間を短くするようにしてもよい。この構成によれば、例えば、ユーザ自身では視認し難い（画像を介してしか視認できない）第１視線画像データに基づく画像の内容や第２視線画像データに基づく画像の内容の確認時間を長く確保することができる。その結果、注目すべき情報を見落とす可能性が低減できる。また、第３視線画像データに基づく画像の表示期間は、第１視線画像データに基づく画像や第２視線画像データに基づく画像の表示期間より短いので、第３視線画像データに基づく画像の内容に気をとられてしまう可能性が低減できて、第１視線画像データに基づく画像や第２視線画像データに基づく画像により集中させやすくすることができる。
【００１０】
また、上記周辺監視装置の上記画像取得部は、例えば、車両に設けられて当該車両の周辺の移動物体を検出する物体検出部から出力された物体画像データをさらに取得し、上記制御部は、上記撮像画像データに基づく画像に上記物体画像データに基づく画像を重畳して上記移動物体の存在を報知するようにしてもよい。この構成によれば、例えば、第１側方領域や第２側方領域に存在する移動物体、例えば歩行者や他の車両の存在をユーザにより認識させやすくすることができる。
【００１１】
また、上記周辺監視装置の上記制御部は、例えば、上記第１視線画像データに基づく画像の表示、上記第２視線画像データに基づく画像の表示に続き、再度上記第１視線画像データに基づく画像の表示を行うようにしてもよい。この構成によれば、例えば、一般的によく行われる、右左右の確認操作により近い表示となり、ユーザの安心感をより向上させることができるとともに、確認精度をより向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。
【図２】図２は、実施形態にかかる周辺監視装置を搭載する車両の一例が示された平面図である。
【図３】図３は、実施形態にかかる周辺監視装置を搭載する車両のダッシュボードの一例であり、車両後方からの視野での図である。
【図４】図４は、実施形態にかかる周辺監視装置を含む画像制御システムの一例が示されたブロック図である。
【図５】図５は、実施形態にかかる周辺監視装置のＥＣＵ内に実現される画像を表示するための制御部の構成の一例を示すブロック図である。
【図６】図６は、実施形態にかかる周辺監視装置の表示装置に表示される表示画像の遷移の一例を説明する説明図である。
【図７】図７は、実施形態にかかる周辺監視装置の表示処理の一例を説明するフローチャートである。
【図８】図８は、実施形態にかかる周辺監視装置の表示装置に表示される画像例を示した説明図である。
【図９】図９は、実施形態にかかる周辺監視装置の表示装置に表示される別の画像例を示した説明図である。
【発明を実施するための形態】
【００１３】
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
【００１４】
本実施形態において、周辺監視装置（周辺監視システム）を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
【００１５】
図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４や、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。
【００１６】
また、車室２ａ内には、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid  crystal  display）や、ＯＥＬＤ（organic  electroluminescent  display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
【００１７】
また、車室２ａ内には、表示装置８とは別の表示装置１２が設けられている。図３に例示されるように、表示装置１２は、例えば、ダッシュボード２４の計器盤部２５に設けられ、計器盤部２５の略中央で、速度表示部２５ａと回転数表示部２５ｂとの間に位置されている。表示装置１２の画面１２ａの大きさは、表示装置８の画面８ａ（図３）の大きさよりも小さい。この表示装置１２には、主として車両１の駐車支援に関する情報を示す画像が表示されうる。表示装置１２で表示される情報量は、表示装置８で表示される情報量より少なくてもよい。表示装置１２は、例えば、ＬＣＤや、ＯＥＬＤ等である。なお、表示装置８に、表示装置１２で表示される情報が表示されてもよい。
【００１８】
また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図４に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic  control  unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer  by  wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。
【００１９】
また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge  coupled  device）やＣＩＳ（CMOS  image  sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域、その周辺の物体（障害物、人間、自転車、車両等）を含む車両１の周辺の外部の環境を逐次撮影し、撮像画像データとして出力する。
【００２０】
撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパ等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側の突出部としてのドアミラー２ｇに設けられている。ＥＣＵ１４は、複数の撮像部１５で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。また、ＥＣＵ１４は、撮像部１５で得られた広角画像のデータに演算処理や画像処理を実行し、特定の領域を切り出した画像を生成したり、特定の領域のみを示す画像データを生成したりする。また、ＥＣＵ１４は、撮像画像データを撮像部１５が撮像した視点とは異なる仮想視点から撮像したような仮想画像データに変換することができる。例えば、車両１を上空から俯瞰したような俯瞰画像を示す仮想画像データに変換することができる。また、ＥＣＵ１４は、撮像部１５が取得した撮像画像データの視線方向とは異なる視線方向の視線画像データに変換することができる。例えば、視線を車両１の正面に向けたときの視線画像データや視線を側方に向けたときの視線画像データに変換することができる。ＥＣＵ１４は、取得した画像データを表示装置８に表示することで、例えば、車両１の右側方や左側方の安全確認や車両１を俯瞰してその周囲の安全確認を実行できるような周辺監視情報を提供する。
【００２１】
なお、ＥＣＵ１４は、撮像部１５から提供される撮像画像データから車両１の周辺の路面に示された区画線等を識別し、区画線等に示された駐車区画を検出（抽出）して、駐車支援を実行することもできる。
【００２２】
図１、図２に例示されるように、車体２には、複数の測距部１６，１７として、例えば四つの測距部１６ａ〜１６ｄと、八つの測距部１７ａ〜１７ｈとが設けられている。測距部１６，１７は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器、超音波ソナーとも称されうる。測距部１６は、本実施形態において、例えば車両１を駐車する際に、車両１と並ぶ第一の障害物（隣接車両）や駐車するためのスペースの奥側に存在する第二の障害物（例えば、縁石や段差、壁、フェンス等）を検出し、その障害物までの距離を測定することができる。また、測距部１７は、例えば車両１に対して障害物（物体）が所定距離を超えて接近した場合、その接近する障害物（物体）を検出し、その障害物までの距離を測定することができる。特に、車両１の後方両側に配置された測距部１７ａ，１７ｄは、車両１が後退しながら縦列駐車のスペースに進入する場合の車両１の後方コーナ部と第一の障害物（隣接車両）との距離や、進入後さらに後方コーナ部と第二の障害物（壁等）との距離を測定するセンサ（クリアランスソナー）として機能する。ＥＣＵ１４は、測距部１６，１７の検出結果により、車両１の周囲に位置された障害物等の物体の有無や当該物体までの距離を測定することができる。すなわち、測距部１６，１７は、車両１に周囲に存在する物体（静止物体や移動物体）を検出する物体検出部の一例である。静止物体としては、駐車車両、壁、縁石、街路樹等であり、移動物体としては、走行車両、自転車、歩行者、動物等である。なお、測距部１７は、例えば、比較的近距離の物体の検出に用いられ、測距部１６は、例えば、測距部１７よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部１７は、例えば、車両１の前方および後方の物体の検出に用いられ、測距部１６は、車両１の側方の物体の検出に用いられうる。測距部１７は、物体（障害物）が所定の距離まで接近したことを検出する接近センサとして機能しうる。
【００２３】
ＥＣＵ１４は、測距部１６や測距部１７で取得した情報に基づき、車両１の周囲に存在する物体の外形形状を示す画像の生成も可能である。つまり、ＥＣＵ１４が撮像画像データから種々の画像データを生成（変換）する際に、測距部１６や測距部１７で取得した情報を用いて、変換後の画像データを補間して、車両１の周囲の状況をより明確（詳細）に示すデータを生成することができる。例えば、より立体感を有する画像を形成することができる。また、測距部１６，１７で取得した情報（超音波による撮像画像データ）に基づき、形状認識を行い、静止物体や移動物体の種類を識別してユーザに提供するようにしてもよい。例えば、接近するものが何であるかをユーザに通知して、より注意を喚起するようにすることができる。なお、測距部１６，１７としてレーザスキャナを用いてもよい。この場合、より詳細にデータを取得可能で、物体の外形形状の精度向上に寄与することができる。例えば、視点変換や視線変換を行う場合、本来の物体の形状が歪んだり、一部欠落したりする場合がある。このような場合、レーザスキャナで取得した詳細なデータを用いることにより、歪みを軽減したり、欠落を補間して物体の三次元形状をより正確に再現することができる。
【００２４】
また、図４に例示されるように、周辺監視システム１００（周辺監視装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller  area  network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６、測距部１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。
【００２５】
ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central  processing  unit）や、ＲＯＭ１４ｂ（read  only  memory）、ＲＡＭ１４ｃ（random  access  memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid  state  drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８，１２で表示される画像に関連した画像処理や、車両１の移動目標位置（駐車目標位置、目標位置）の決定、車両１の誘導経路（誘導経路、駐車経路、駐車誘導経路）の演算、物体との干渉の有無の判断、車両１の自動制御、自動制御の解除等の、各種の演算処理および制御を実行することができる。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital  signal  processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard  disk  drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。
【００２６】
ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock  brake  system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic  stability  control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake  by  wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。
【００２７】
舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。
【００２８】
アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。
【００２９】
シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。
【００３０】
車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。
【００３１】
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
【００３２】
周辺監視システムを実現するＥＣＵ１４は、一例として、撮像部１５が撮像した撮像画像データに基づき車両１を基準に一方の第１側方領域（例えば、車両１を基準に右方向の領域）を臨む第１視線画像データを取得し表示装置８に表示する。同様に、ＥＣＵ１４は、撮像部１５が撮像した撮像画像データに基づき車両１を基準に他方の第２側方領域（例えば、車両１を基準に左方向の領域）を臨む第２視線画像データを取得し表示装置８に表示する。このとき、ＥＣＵ１４は、表示装置８に第１視線画像データに基づく画像を表示させた後に当該第１視線画像データに基づく画像に代えて第２視線画像データに基づく画像を表示する。ＥＣＵ１４は、例えば、交差点に車両１を進入させる際にユーザがよく行う右側方の安全確認及びそれに続く左側方の安全確認を行う動作を表示装置８上に各側方画像を表示することにより実現している。なお、ＥＣＵ１４は、ユーザが左右確認を行うときのように、「右」、「左」、「右」のように、再度右確認を行うような表示を行ってもよい。
【００３３】
例えば、車両１が現在の走行路から当該走行路と交差する道路との交差点に進入する場合や駐車している状態から走行路に進入する場合を考える。この場合、ユーザ（運転者）は、車両１のフロント部分を少しずつ交差点や道路に進入させながら運転席に着座した姿勢のまま前傾姿勢をとり、左右方向の確認をしようとすることがある。一方、本実施形態の車両１の場合、前述したように、車両前後方向の前方側の端部２ｃに撮像部１５ｃを備える。そして、この撮像部１５ｃは、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。つまり、少なくとも車両１の前方側の端部２ｃが交差点等に進入すれば、ユーザが交差点より手前の位置（交差点の左右方向が見えない位置）にいる場合でも撮像部１５ｃは、第１側方領域（例えば右側方領域）及び第２側方領域（例えば左側方領域）の情報を撮像することができる。そして、ＥＣＵ１４は、取得した撮像画像データに基づき、右側方領域の画像を表示装置８に表示し、それに続いて（代えて）左側方領域の画像を表示装置８に表示することで、ユーザの着座姿勢を変えさせることなく、前進進入する道路の左右確認を表示装置８の画面上で行わせることができる。なお、車両前後方向の後方側の端部２ｅに配置された撮像部１５ａが撮像する撮像画像データを用いることにより、車両１を後退走行させながら交差点に進入させる場合でも左右側方の画像を表示装置８に表示することができる。つまり、ユーザの着座姿勢を変えさせることなく、後退進入する道路の左右確認を表示装置８の画面上で行わせることができる。
【００３４】
ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したような左右確認用の第１視線画像データ及び第２視線画像データに基づく画像表示の提供を実現するために、図５に示されるように画像取得部３０、操作受付部３２、データ制御部３４（制御部）等を含む。データ制御部３４は、例えば画像変換部３６を含む。画像取得部３０、操作受付部３２、データ制御部３４、画像変換部３６は、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。
【００３５】
画像取得部３０は、車両１に設けられて当該車両１の周辺を撮像する撮像部１５から出力された撮像画像データを表示制御部１４ｄを介して取得する。なお、表示制御部１４ｄは、撮像部１５で撮像した撮像画像データをそのままの状態で表示装置８や表示装置１２に出力してもよい。この場合、操作部１４ｇ等の入力装置を用いてユーザに希望する表示内容を選択させるようにしてもよい。つまり、表示制御部１４ｄは、操作部１４ｇの操作により選択された画像を選択的に表示する。例えば撮像部１５ａで撮像した車両１の後方画像を表示させたり、撮像部１５ｄで撮像した左側方画像を表示させたりすることができる。
【００３６】
操作受付部３２は、操作入力部１０や操作部１４ｇの操作入力による信号を取得する。操作部１４ｇは、例えば、押しボタンやトグルスイッチ、ロータリスイッチ等であり、ユーザによる第１側方領域（例えば右側方領域）や第２側方領域（例えば左側方領域）を示す周辺監視画像（左右確認画像）の表示の要求やキャンセル、その他各種設定を行うことができる。また、操作受付部３２は、図示しないイグニッションスイッチのＯＮ信号を受け付け、そのＯＮ信号を契機に周辺監視画像（左右確認画像）の表示要求を取得したと見なしてもよい。例えば、ユーザが車両１に乗り込み、イグニッションスイッチをＯＮした場合に、車両１を発進させるのに先立ち、車両１の周囲の状況をユーザに通知するように左右確認画像を自動的に表示するようにしてもよい。また、操作受付部３２は、別の発進を示す信号を受け付けてもよい。例えば、操作受付部３２は、変速操作部７の「Ｄレンジ」への移動や「Ｒレンジ」への移動、パーキングブレーキのＯＦＦ操作等を示す信号を受け付けてもよい。これらの信号も車両１を発進させるときの意志を示す信号となりうるので、ユーザが車両１を発進させるのに先立ち、車両１の周囲の状況をユーザに通知するように左右確認画像を自動的に表示するようにしてもよい。
【００３７】
データ制御部３４に含まれる画像変換部３６は、画像取得部３０が取得した撮像画像データをユーザが左右確認を行う場合に見る光景と同様な内容の画像に変換する。例えば、車両１が前進走行により交差点に進入する場合を考える。この場合、撮像部１５ｃが撮像した撮像画像データが用いられる。前述したように、撮像部１５ｃは、広角レンズまたは魚眼レンズを搭載しているので、水平方向には例えば１９０°の範囲を撮影して、広角画像のデータを取得することができる。つまり、車両１の進行方向（例えば前方）を含む広範囲の画像データを効率的に取得できる。撮像部１５ｃが撮像した撮像画像データは、広範囲の情報を含むが、画像の周縁部分が大きく歪み、表示装置８に表示した場合に現実世界とは雰囲気の異なる内容が表示される。また、撮像部１５ｃの視線方向（光軸方向）は、車両１の正面方向を向いているので、撮像部１５ｃが撮像した撮像画像データにおける第１側方領域（右側方領域）や第２側方領域（左側方領域）の画像は、斜視したような画像になる。その結果、不慣れなユーザにとって、特に右側方領域や左側方領域の画像内容の理解が難しい場合がある。そこで、画像変換部３６は、撮像画像データに基づく画像の視点変換処理及び視線変換処理を行うとともに歪み補正処理を行う。また、ユーザが車両１の前端部に立ち右側方に目を向けた場合に視認できる範囲に対応する画像になるようにトリミング処理を行い第１視線画像データに変換する。画像変換部３６は、同様な処理を行いユーザが車両１の前端部に立ち左側方に目を向けた場合に視認できる範囲に対応する第２視線画像データに変換する。視点変換処理や視線変換処理は、周知の種々の処理手法で実行することができる。一例として、画像変換部３６は、撮像部１５ｃにより撮像された車両１の右側方領域、左側方領域、前方領域を含む撮像画像データに、例えばＲＯＭ１４ｂ等に保持されたマッピングテーブルの変換情報を適用して変換画像データを生成する。例えば、画像変換部３６は、撮像画像データを車両１の進行方向における車両先端位置から第１側方領域を臨む平面画像（第１平面画像データと称する場合もある）を生成して第１視線画像データとする。同様に、第２側方領域を臨む平面画像（第２平面画像データと称する場合もある）を生成する。
【００３８】
本実施形態の場合、ＲＯＭ１４ｂは、例えば、車両１のフロント左コーナ部の近傍にユーザが立ち、車両１の右側方側を臨んだ場合に視認できる内容を表示できる第１視線画像データ（第１平面画像データ）が撮像画像データから生成できるようなマッピングテーブルを予め保持している。同様に、車両１のフロント右コーナ部の近傍にユーザが立ち、車両１の左側方側を臨んだ場合に視認できる内容を表示できる第２視線画像データ（第２平面画像データ）が撮像画像データから生成できるようなマッピングテーブルを予め保持している。なお、ＥＣＵ１４は、第１視線画像データ（第１平面画像データ）による画像の表示を実行した後、これに代えて第２視線画像データ（第２平面画像データ）による画像の表示を実行するが、この切り替えは、第１視線画像データによる画像の表示後、直ちに第２視線画像データによる画像の表示に切り替えるようにしてもよい。また、第１視線画像データに基づく画像の表示から第２視線画像データに基づく画像の表示へ切り替える間に車両１の進行方向を含む正面領域を臨む第３視線画像データに基づく画像を表示するようにしてもよい。つまり、ＥＣＵ１４は、第１視線画像データに基づく画像の表示から第２視線画像データに基づく画像の表示へ徐々に遷移させながら表示の切り替えを行うようにしてもよい。この場合、ＲＯＭ１４ｂは、例えば、車両１のフロント中央部の近傍にユーザが立ち、車両１の前方を臨んだ場合に視認できる内容を表示できる第３視線画像データが撮像画像データから生成できるようなマッピングテーブルを予め保持している。なお、マッピングテーブルの変換情報は、視線方向ごとに準備することが望ましい。この場合、第３視線画像データによる画像を含む遷移表示を行う場合、連続性のあるスムーズな動画で表示されることが望ましい。そのため、マッピングテーブルの変換情報は、視線方向が例えばＡ°変化するごと視線画像データが生成できるように準備される。なお、マッピングテーブルの変換情報の数を増やせば、生成される視線画像データの数（フレーム数）は増加して滑らかな動画が作成できるが、ＣＰＵ１４ａの処理負荷が増加する傾向がある。逆に、マッピングテーブルの変換情報の数を少なくすれば生成される視線画像データの数も減少し遷移画像（動画）の品質が低下する場合があるが、ＣＰＵ１４ａの処理負荷は軽減可能となる。したがって、要求される画像（実質的な動画）の品質に応じて、マッピングテーブルの変換情報の数を決定することができる。なお、マッピングテーブルの変換情報の数を少なくする場合は、動画を作成する際に前後の視線画像データに基づく補間処理を行い動画の修正（コマ落ち補正）を行うようにしてもよい。以下の説明では、ＥＣＵ１４は、第１視線画像データに基づく画像の表示と第２視線画像データに基づく画像の表示との間に第３視線画像データによる画像の表示を挟み、徐々に視線方向を遷移させながら表示の切り替えを行う場合を示す。
【００３９】
データ制御部３４は、画像変換部３６が生成した複数の視線画像データを、視線方向が車両１の右から左または左から右へ移動しているような動画になるように配列し、表示制御部１４ｄに供給して表示装置８に表示させる。図６は、表示装置８に表示される左右確認のための動画を簡易的にコマ送り形式で示した表示例である。なお、図６は、説明のために、車両１の左右斜め前方に例えば立方体の物体４０，４２（障害物）が存在する模式的な場面を示している。
【００４０】
ＥＣＵ１４は、表示装置８に、まず、俯瞰状態で車両１の全体及びその周囲全体を表示する（画面Ｐ１〜画面Ｐ３）。この画像は、撮像部１５ａ〜１５ｄで得られる撮像画像データに周知の視点変換処理及び歪み補正処理を施すことにより得ることができる。このような俯瞰画像を表示することで、車両１の周囲の状況の大まかな概要をユーザに提示することができる。また、この俯瞰画像の表示は左右確認のための画像表示がこれから開始されることをユーザに通知するための開始デモ（画面Ｐ１〜画面Ｐ４）として利用することができる。なお、撮像部１５ａ〜１５ｄの撮像画像データでは、俯瞰画像に表示する車両１の外形の全てに関する情報は取得できない。そのため、俯瞰画像で利用する車両１の外形データは、予めＲＯＭ１４ｂやＳＳＤ１４ｆに記憶しておくことが望ましい。
【００４１】
続いて、ＥＣＵ１４は、第３視線画像データに基づく車両１の正面領域の画像を表示した後（画面Ｐ４）、第１側方領域の表示、つまり車両１の右側方の拡大表示（右方向の状況確認画像）を行う（画面Ｐ５〜画面Ｐ７）。この画像は、撮像部１５ｃで得られる撮像画像データに周知の視点変換処理及び視線変換処理を施すとともに歪み補正処理を施すことで得ることができる。つまり、ユーザが車両１の前端部に立って正面から右方向を向いて周囲状況の確認を行う場合と同様な情報を表示装置８に表示することができる。この場合、表示領域は、主として車両１の右側方に限定されるため、表示装置８に車両１の左右及び正面の情報を一度に表示する場合に比べて、右側方の情報を拡大表示可能となり、右側方に関するより詳細な情報をユーザに提供できるとともに、表示内容に集中させることができる。また、正面領域から第１側方領域（右側方領域）へ遷移することを示す動画表示を行うことにより、ユーザに現在どちらの方向の画像が表示されようとしているかを認識させやすくすることができる。なお、本実施形態の場合、第１側方領域の表示を行う場合、仮想視点位置を車両１の左フロントコーナ付近に設定している。このような位置に仮想視点位置の設定を行うことにより、第１側方領域の表示範囲内に、車両１の右側方領域及び撮像部１５ｃが配置された位置より左側の前方領域も併せて表示可能となり、右側方限定表示による拡大表示倍率をほとんど低下させることなく、より多くの情報、特に、ユーザが目視では確認し難いフロントバンパに接近した位置の情報をユーザに提供することができる。例えば、フロントバンパの直近に猫等の小動物が存在していた場合や、子供等が屈んでいた場合等でもその状況を容易にユーザに認識させることができる。なお、ＥＣＵ１４は、第１側方領域の画像を表示する場合、視線がほぼ真横を向いたとき（例えば画面Ｐ６）の状態で視線方向が変化しない視線固定画像を表示してもよい。この視線固定画像の表示期間は適宜設定可能であるが、数秒（例えば２秒）とすることができる。視線固定画像を表示することにより、車両１の右側方領域及び正面領域の一部の周辺状況の確認を詳細に行わせることができる。なお、この視線固定画像の表示中でも、第１視線画像データの更新が行われる。例えば、物体（他車両や歩行者等）が移動する状態がリアルタイムで表示装置８に表示される。また、視線固定画像は動画に比べ視線の移動を伴わないので、表示内容の確認が容易であるとともに、眼精疲労の軽減にも寄与できる。
【００４２】
ところで、ユーザ（運転者）は、目視により正面領域（少なくとも車両１の前方数ｍ先以降）をフロントウインドウ越しに確認することができる。そのため前方領域の内容（第３視線画像データの表示内容）を表示装置８に表示する画像で認識させる優先順位は、ユーザが直接目視し難い車両先端部から見た場合の側方領域の内容（第１視線画像データの表示内容、第２視線画像データの表示内容）に比べて低いと考えられる。そこで、本実施形態においては、ＥＣＵ１４は、第１視線画像データに基づく画像の表示期間及び第２視線画像データに基づく画像の表示期間より第３視線画像データに基づく画像の表示期間を短くしている。つまり、正面領域から右側方領域に至るまでの画像の遷移速度（動画表示速度）を右側方領域の表示を行う画面Ｐ５〜画面Ｐ７の画像遷移速度より早くしている。つまり、画面Ｐ４〜画面Ｐ５までが早送り表示となり、画面Ｐ５〜画面Ｐ６に至る期間及び画面Ｐ６の視線固定画像の表示を経て、画面Ｐ６〜画面Ｐ７に至る期間が第１速度より遅い遷移速度である第２速度（例えばスロー表示）で表示される。そして、表示場面が第３視線画像データを用いた表示範囲に達した場合（画面Ｐ７以降）に、第２速度より早い第１速度で画面Ｐ８〜画面Ｐ９までの動画表示を実行する。そして、画面Ｐ９〜画面Ｐ１０に至る期間及び画面Ｐ１０の視線固定画像の表示を経て、画面Ｐ１０〜画面Ｐ１１に至る期間が第１速度より遅い画像の遷移速度である第２速度（例えばスロー表示）で表示される。つまり、ＥＣＵ１４（データ制御部３４）は、表示装置８に表示する車両１の側方領域の状況（表示内容）を十分詳細に認識させるために、側方領域の画像を視線固定画像を含めてゆっくりとした動画で表示する。一方、ユーザがフロントウインドウ越しに目視できる内容に対応する前方領域に関しては、側方領域の種類（右側方領域か左側方領域か）の確認や左右の側方領域の画像表示が連続的に行われるように見せるために利用することができる。このような、表示領域ごとに画像の遷移速度を変化させることにより、ユーザが実際に左右確認を行うときの動作、例えば、正面から首を右に回し右側方を確認した後、首を左に回し左側方を確認するという現実動作に近い表示を表示装置８上で行うことができる。その結果、表示装置８に表示された内容で周辺状況の確認を行うことに不慣れなユーザにも受け入れられやすい表示が実現できる。また、一連の動画表示の間で認識優先度の低い表示期間に関して早送り表示を行うことで表示装置８を目視するユーザの負担（疲労）の軽減ができる。その結果、逆に視線固定画像やゆっくりと表示されている部分の表示に集中させやすくなり、表示内容の認識度の向上に寄与できる。
【００４３】
なお、別の実施形態では、画面Ｐ４〜画面Ｐ６までを第１速度で動画表示を行い、画面Ｐ６で視線固定画像を表示した後、画面Ｐ６〜画面Ｐ７に至る期間を第２速度（例えばスロー表示）で表示するようにしてもよい。つまり、正面から右側方の端部まで首を早く振り、そこからゆっくりと右側方の状況確認を行いながら左方向を向くというユーザの動作を再現するように表示制御を行ってもよい。同様に、画面Ｐ７〜画面Ｐ１０までを第１速度で動画表示を行い、画面Ｐ１０で視線固定画像を表示した後、画面Ｐ１０〜画面Ｐ１１に至る期間を第２速度（例えばスロー表示）で表示するようにしてもよい。つまり、右側方領域の確認後に正面を経て左側方の端部まで首を早く振り、そこからゆっくりと左側方の状況確認を行いながら右方向を向くというユーザの動作を再現するように表示制御を行ってもよい。
【００４４】
なお、図６の例の場合、ＥＣＵ１４は、第１視線画像データに基づく画像の表示（第１側方領域の表示、右側方領域の表示、画面Ｐ５〜画面Ｐ７の表示）、第２視線画像データに基づく画像の表示（第２側方領域の表示、左側方領域の表示，画面Ｐ９〜画面Ｐ１１の表示）に続き、画面Ｐ１２を経て再度第１視線画像データに基づく画像の表示（第１側方領域の表示、右側方領域の表示、画面Ｐ１３〜画面Ｐ１５の表示）を行う。このような表示を行うことで、例えば、一般的によくユーザが行う、「右」、「左」、「右」の順の確認動作により近い表示が実現可能となり、ユーザの安心感をより向上させることができるとともに、側方領域の確認精度をより向上させることができる。
【００４５】
ＥＣＵ１４は、「右」、「左」、「右」の順の確認動作に対応する表示か完了したら、画像遷移速度を第１速度に設定し、正面領域の表示から車両１の俯瞰表示に遷移させる終了デモ（画面Ｐ１６〜画面Ｐ１８）を表示して、一連の側方監視（周辺監視）のための表示が終了したことをユーザに通知する。
【００４６】
このような周辺監視システム１００によれば、ユーザが一般的によく行う「左右確認」を再現するような画像表示が提供できる。その結果、表示装置８を用いた周辺監視画像をユーザに受け入れられやすい態様で提供できる。また、第１側方領域（例えば車両１の右側方）の画像と第２側方領域（例えば車両１の左側方）の画像が別々に表示されるので、表示装置８の限られた表示領域で個々の画像を最大限大きく表示できる。その結果、注目すべき情報を見落とす可能性を低減させることができる。
【００４７】
なお、図６に示す例では、車両１のフロント側の撮像部１５ｃが撮像した撮像画像データを用いて、車両１のフロント側にユーザが立ち左右側方を確認したときと同様な画像を表示する例を示した。別の実施形態では、車両１のリア側の撮像部１５ａが撮像した撮像画像データを用いて、車両１のリア側にユーザが立ち左右側方を確認したときと同様な画像を表示してもよい。例えば、車両１が後退走行で駐車領域から出庫する場合や、後退走行で路地からその路地と交差する走行路に進入する場合等に有効な側方領域の画像の提供ができる。この場合、ユーザは、運転席で通常の着座姿勢のまま表示装置８の確認が可能で姿勢を捻る必要がないためユーザの負担軽減効果が大きい。
【００４８】
上述のような表示を行う周辺監視システム１００の動作を図７のフローチャートを用いて説明する。なお、図７のフローチャートは、主として「右」、「左」、「右」の順に側方領域の画像を表示する例である。
【００４９】
ＣＰＵ１４ａ（ＥＣＵ１４）は、まず、側方領域画像の表示要求があるか否かを判定する（Ｓ１００）。例えば、ＣＰＵ１４ａは、操作入力部１０や操作部１４ｇを用いた入力操作によりユーザからの側方領域画像の表示要求があるか否か確認する。この場合、車両１の進行方向をユーザに入力させ、側方領域の表示に利用する撮像画像データ（撮像部１５）を決定する（手動表示モード）。また、別の実施形態では、例えば、駐車支援システムを備えている場合、駐車したときの姿勢をＥＣＵ１４が記憶することができる。つまり、前進走行で出庫するか後退走行で出庫するかの情報が予め取得可能である。したがって、ＥＣＵ１４は、利用する撮像画像データ（撮像部１５）を駐車支援時の情報に基づいて決定してもよい。また、ＥＣＵ１４は、変速操作部７の操作状態情報を利用してもよい。例えば、変速操作部７が「Ｐレンジ」の場合、前進走行で発進または交差点に進入しようとしていると見なすことができる。また、「Ｒレンジ」の場合、後退走行で発進または交差点に進入しようとしていると見なすことができる。また、低速で交差点に進入しようとしている場合、ナビゲーションシステムから車両１の位置や進行方向の情報を取得してもよい。そして、ＥＣＵ１４は、車両１が所定速度以下（例えば、５ｋｍ／ｈ以下）で走行し、交差点に進入しようとしている場合に、表示要求があったと見なし、車両１の進行方向に応じて利用する撮像画像データ（撮像部１５）を決定するようにしてもよい（自動表示モード）。この他、表示要求は音声認識装置を用いて入力させるようにしてもよい。なお、撮像部１５ａ〜１５ｄ及び測距部１６，１７は常時周囲状況を示す情報の取得を行っていてもよいし、必要な部分（方向）の情報を取得するようにしてもよい。
【００５０】
ＣＰＵ１４ａは、「表示要求なし」と判定した場合（Ｓ１００のＮｏ）、このフローを一旦終了する。一方、ＣＰＵ１４ａが「表示要求あり」と判定した場合（Ｓ１００のＹｅｓ）、画像取得部３０は、表示制御部１４ｄを介して各撮像部１５ａ〜１５ｄが撮像した車両１の周辺の撮像画像データ（現在画像）を取得する（Ｓ１０２）。そして、画像変換部３６は、取得された撮像画像データをＲＯＭ１４ｂが記憶するマッピングテーブルの変換情報を用いて、各視線方向の視線画像データ（俯瞰画像データも含む）を生成（変換）する（Ｓ１０４）。
【００５１】
データ制御部３４は、後述する側方領域の再表示要求を操作受付部３２が受け付けたか否かを確認する（Ｓ１０６）。そして、再表示要求が受け付けられていない場合（Ｓ１０６のＮｏ）、データ制御部３４は、表示要求のあったフロント側またはリア側の側方領域画像の表示が開始されることを示す開始デモの表示を開始する（Ｓ１０８）。図６の場合、画面Ｐ１〜画面Ｐ３がデモ画面の遷移を説明する図である。なお、図７のフローチャートは、ユーザが車両１のフロント側に立った場合に確認できる側方領域に相当する画像を表示する例を示す。図６の場合、開始デモの画像は、車両１の俯瞰状態から、車両１の後方に仮想視点位置が移動するとともに、ユーザの視線高さへ降下するように遷移する例を示している。このような俯瞰画像を表示することにより、デモ画像の表示中に車両１の周囲の大雑把な状況把握をユーザにさせることができる。なお、デモ画像は、このような俯瞰画像に限らず、例えば、画面Ｐ１〜画面Ｐ３のような俯瞰画像の表示を省略し、メッセージにより側方領域画像の表示を開始する旨をユーザに伝えるようにしてもよい。
【００５２】
デモ画像の表示が進み、第３視線画像データに基づく正面画像（画面Ｐ４、正面領域）が表示済みの場合（Ｓ１１０のＹｅｓ）、データ制御部３４は、第１速度で表示画像を右画像（第１視線画像データによる第１側方領域の画像）へ遷移させる（Ｓ１１２）。つまり、ユーザが車両１のフロントバンパの位置で首を右に回したような状態を再現する遷移画像（動画）の表示を実行する（画面Ｐ４〜画面Ｐ６）。そして、右側方の終端位置の画像（画面Ｐ６）で遷移画像を所定期間だけ（例えば、２秒）停止させて視線固定画像を表示する（Ｓ１１４）。視線固定画像を表示することにより画面Ｐ６の内容をユーザに詳細に確認させることができる。また、画面Ｐ６は、右側方領域に限定した表示になるので、右側方領域を拡大表示可能となり、表示装置８の限られた表示面積で右側方領域の画像内容の確認を詳細にユーザに行わせることができる。なお、Ｓ１１０で、まだ正面領域の画像表示が行われていない場合（Ｓ１１０のＮｏ）、データ制御部３４は、まだ開始デモが完了していないと判定し、Ｓ１０８に戻り、開始デモ用の俯瞰画像データを用いた表示を継続する。なお、デモ画像の遷移速度は、第１速度でもよいし、第１速度より遅い速度でもよい。
【００５３】
所定期間（例えば、２秒）の視線固定画像（画面Ｐ６）の表示が完了した場合、データ制御部３４は、遷移速度が第１速度より遅い第２速度で視線方向が正面方向に徐々に移動するように、視線方向が異なる複数の第１視線画像データを順次表示する（Ｓ１１６）。つまり、データ制御部３４は、第２速度で動画表示を行う（画面Ｐ６〜画面Ｐ７）。この場合も画像の遷移速度は、正面領域から右側方領域に遷移する場合に比べて遅いため、ユーザに遷移している間の画像内容の確認を容易かつ詳細に行わせることができるとともに、確認時の負担（視点移動にともなう眼精疲労等）を軽減させることができる。
【００５４】
続いて、データ制御部３４は、遷移画像が正面領域の画像（正面画像領域）に到達したか否か確認する（Ｓ１１８）。つまり、第３視線画像データの表示範囲にまだ遷移していない場合（Ｓ１１８のＮｏ）、Ｓ１１６に戻り、第２速度での第１視線画像データの遷移表示を継続する。一方、遷移画像が正面領域の画像（正面画像領域）に到達した場合（Ｓ１１８のＹｅｓ）、データ制御部３４は、遷移速度を第１速度に切り替え、第３視線画像データを用いた正面領域の画像及び左画像（第２視線画像データによる第２側方領域の画像）へ遷移させる（Ｓ１２０）。つまり、ユーザが車両１のフロントバンパの位置で首を左に回したような状態を再現する遷移画像（動画）の表示を実行する（画面Ｐ７〜画面Ｐ１０）。そして、左側方の終端位置の画像（画面Ｐ１０）で遷移画像を所定期間だけ（例えば、２秒）停止させて視線固定画像を表示する（Ｓ１２２）。左側方領域においても視線固定画像を表示することにより画面Ｐ１０の内容をユーザに詳細かつ容易に確認させることができる。また、画面Ｐ１０は、左側方領域に限定した表示になるので、左側方領域を拡大表示可能となり、表示装置８の限られた表示面積で左側方領域の画像内容の詳細な確認をユーザに行わせることができる。
【００５５】
所定期間（例えば、２秒）の視線固定画像（画面Ｐ１０）の表示が完了した場合、データ制御部３４は、左側方に視線を遷移させる場合と同様に、遷移速度が第１速度より遅い第２速度で視線方向が徐々に正面方向に移動するように、視線方向が異なる複数の第２視線画像データを順次表示する（Ｓ１２４）。つまり、データ制御部３４は、第２速度での動画表示を行う（画面Ｐ１０〜画面Ｐ１１）。この場合も画像の遷移速度は、正面領域から左側方領域に遷移する場合に比べて遅いため、ユーザに遷移している間の画像内容の確認を容易かつ詳細に行わせることができるとともに、確認時の負担（視点移動にともなう眼精疲労等）を軽減させることができる。
【００５６】
続いて、データ制御部３４は、再度右側方領域の画像を表示させるための処理を実行する。つまり、遷移画像が正面領域の画像（正面画像領域）に到達したか否か確認する（Ｓ１２６）。そして、第３視線画像データの表示範囲にまだ遷移していない場合（Ｓ１２６のＮｏ）、Ｓ１２４に戻り、第２速度での第２視線画像データの遷移表示を継続する。一方、遷移画像が正面領域の画像（正面画像領域）に到達した場合（Ｓ１２６のＹｅｓ）、データ制御部３４は、遷移速度を第１速度に切り替え、第３視線画像データを用いた正面領域の画像及び右画像（第１視線画像データによる第１側方領域の画像）へ遷移させる（Ｓ１２８）。つまり、ユーザが車両１のフロントバンパの位置で首を右に回したような状態を再現する遷移画像（動画）の表示を実行する（画面Ｐ１１〜画面Ｐ１４）。そして、右側方の終端位置の画像（画面Ｐ１４）で遷移画像を所定期間だけ（例えば、２秒）停止させて視線固定画像を表示する（Ｓ１３０）。再度右側方領域において視線固定画像を表示することにより、画面Ｐ１４の内容をユーザに詳細に確認させることができるとともに、最初に確認した右側方領域の状況を再確認させることが可能になり、ユーザの安心感を向上させることができるとともに、より信頼性の高い車両１の周辺状況を示す情報が提供できる。
【００５７】
２回目に表示する右側方領域の画像は、その時点で新たに撮像部１５ｃが取得した撮像画像データに基づく第１視線画像データを用いて表示してもよい。また、別の実施例においては、１回目に表示した右側方領域の画像を再度表示するようにしてもよい。第１視線画像データや第２視線画像データを用いた側方画像は、前述したように拡大表示されているので、遠方までの情報を提供できる。例えば、遠方から接近する車両等の物体を早い段階でユーザに認識させることができる。つまり、１回目の右側方領域の画像と左側方領域の表示を経た２回目の右側方領域の画像の表示内容との間には、大きな差異が生じないと考えられる。そのため、１回目の右側方領域の表示を再確認用の画像として表示することも可能である。この場合、ＣＰＵ１４ａにおける画像処理の負担が軽減できるというメリットがある。
【００５８】
データ制御部３４は、２回目の右側方領域の画像（画面Ｐ１４）の表示を所定期間（例えば、２秒）実行して視線固定画像の表示を完了させたら、遷移速度が第１速度より遅い第２速度で視線方向が徐々に正面方向に移動するように、視線方向が異なる複数の第２視線画像データを順次表示する（Ｓ１３２）。つまり、データ制御部３４は、第２速度で動画表示を行う（画面Ｐ１４〜画面Ｐ１５）。この場合も画像の遷移速度は、正面領域から右側方領域に遷移する場合に比べて遅いため、ユーザに遷移している間の画像内容の確認を容易に行わせることができるとともに、確認時の負担（視点移動にともなう眼精疲労等）を軽減させることができる。
【００５９】
続いて、データ制御部３４は、側方領域の再表示要求があるか否か確認する（Ｓ１３４）。例えば、ユーザによる操作入力部１０や操作部１４ｇの操作が行われず、側方領域画像の再表示の要求が入力されていない場合（Ｓ１３４のＮｏ）、データ制御部３４は、第３視線画像データによる正面領域の画像（画面Ｐ１６）で遷移画像の表示を停止させる（Ｓ１３６）。そして、側方領域画像の表示が終了されることを示す終了デモを表示する（Ｓ１３８）。つまり、ユーザの視線高さの正面領域の画像である画面Ｐ１６から車両１を俯瞰する俯瞰画像へ表示内容を切り替え（画面Ｐ１７、画面Ｐ１８）、一連の側方領域を確認するための画像表示処理を終了する。
【００６０】
一方、Ｓ１３４において、ユーザによる操作入力部１０や操作部１４ｇの操作による側方領域画像の再表示の要求が入力されたことを操作受付部３２が受け付けた場合（Ｓ１３４のＹｅｓ）、Ｓ１０２の処理に移行する。つまり、再度周辺の撮像画像データの取得を行い、各視線方向の視線画像データを生成（変換）する（Ｓ１０４）。この場合、俯瞰画像データの生成を省略してもよい。Ｓ１３４において、再表示要求が成されているので、Ｓ１０６の処理では、再表示要求中となり（Ｓ１０６のＹｅｓ）、Ｓ１１８の処理に移行して、それ以降の処理を実行する。つまり、再度、第２視線画像データにより第２側方領域（左側方領域）の画像を表示し、さらに、第１視線画像データによる第１側方領域（右側方領域）の画像を表示して左右の状況を確認するための処理を継続する。例えば、ユーザは、交通量の多い走行路に出る場合、安全な発進ができるまで左右の確認を繰り返すことがある。本実施形態の周辺監視システム１００によれは、このような、継続した再確認動作も再現する表示ができる。その結果、よりユーザの確認動作に近い表示が実現できる。
【００６１】
なお、再表示の要求は運転操作姿勢のまま行える方が望ましいので、例えば、ステアリングホイールに再表示要求用のスイッチを設けたり、音声認識システムにより再表示の要求を受け付けるようにしてもよい。また、側方領域の表示内容によっては、左側方領域の視線固定画像や右側方領域の視線固定画像の表示期間を変化させたい場合がある。例えば、交通量が多い場合には、標準的な視線固定画像の表示期間である例えば２秒を越えて視線固定画像を表示させて、交通量の変化を確認できるようにしてもよい。逆に、交通量が少なく瞬時に側方領域の状況が把握できるような場合には、標準的な視線固定画像の表示期間である例えば２秒より表示期間を短縮して、逆方向の側方領域の表示を迅速に行えるようにしてもよい。このように視線固定画像の表示期間を変更可能とすることにより、ユーザが普段行っている左右確認動作により近い表示を実現することができる。なお、この視線固定画像の表示期間の調整も運転操作姿勢のまま行える方が望ましいので、例えば、ステアリングホイールに設けた再表示要求用のスイッチや音声認識システムにより変更設定ができるようにしてもよい。同様に、画面Ｐ６〜画面Ｐ７に画像を遷移させる場合の第２速度も側方領域の表示内容によって変化できるようにしてもよい。例えば、側方領域の画像に注目すべき物体が存在しないとユーザが判断した場合には、他方の側方領域の表示に早く遷移できるようにしてもよい。逆に詳細に側方領域の確認がしたい場合には、遷移速度を遅くできるようにしてもよい。また、遷移途中で視線固定できるようにしてもよい。例えば、遷移途中で注目物体を発見した場合には、その視線方向で、視線固定画像を表示できるようにしてもよい。また、視線固定画像を表示中にその画像上の任意の位置を中心に拡大表示できるようにしてもよい。このように、視線固定画像の表示タイミングの選択や表示期間の長さや画像の遷移速度の調整を可能にすることで、ユーザが自身で車両１の周囲状況の確認を行う場合により近い状態の画像表示が可能になり、表示装置８を用いた側方領域の認識性の向上に寄与することができる。
【００６２】
図８、図９は、表示装置８に表示される画像の表示例である。図８は、右側方領域に静止物体（例えば自車両である車両１）のみが存在する場合であり、図９は、左側方領域に静止物体（例えば自車両である車両１）に加え、移動物体４４（例えば、歩行者）が存在する場合である。本実施形態の周辺監視システム１００の場合、超音波を利用する測距部１６，１７を備えている。したがって、測距部１６，１７は前述したように移動物体４４の検出やその外形等を検出する物体検出部として機能する。そこで、画像取得部３０は、測距部１６，１７から提供される情報に基づき、車両１の周辺の移動物体４４を示す物体画像データを取得できる。そして、データ制御部３４は、撮像部１５ｃ等が撮像した撮像画像データに基づく画像に物体画像データに基づく画像を重畳する。さらに、移動物体４４を強調表示するための強調枠４６で移動物体４４を囲み、その存在をユーザに報知するようにしてもよい。強調枠４６は、移動物体４４の移動に追従するように表示して、常時ユーザに注意を喚起するようにすることが望ましい。また、ＣＰＵ１４ａは、移動物体４４及び強調枠４６の表示に併せて、音声制御部１４ｅを介して注意喚起の音声メッセージを出力するようにしてもよい。例えば、「左方向から移動物体が接近中です。注意してください。」等の音声メッセージを出力してもよい。また、測距部１６，１７から取得した物体画像データにパターン認識処理を施して具体的に、移動物体の種類を提供してもよい。例えば、「車両が接近中です」とか、「歩行者が接近中です」と等の音声メッセージを出力してもよい。このように、移動物体４４や強調枠４６表示及び音声メッセージ等の提供を行うことにより、ユーザに対し注意喚起をより確実に行うことができる。なお、移動物体４４の表示は、その存在を示すためのアイコンやキャラクタの表示でもよく、同様の効果を得ることができる。また、強調枠４６は、移動物体４４のみならず、静止物体に適用してもよい。例えば、駐車車両や街路樹、路面設置物等を強調してもよい。この場合、パターン認識処理により静止物体の種類を識別して、強調枠４６を重畳する否か、つまり、特に注意を喚起するものと、そうでないものとを区別して表示してもよい。
【００６３】
なお、上述した実施形態では、側方領域画像の表示を「右」、「左」、「右」の順で表示する例を示したが、「左」、「右」、「左」の順で表示してもよい。また、これらの順序は操作入力部１０や操作部１４ｇを用いて選択できるようにしてもよい。このように表示順序を選択可能とすることで、ユーザの好み（癖）に応じた画像表示が可能になり、ユーザに受け入れられやすい表示ができる。
【００６４】
また、図６に示す表示例では、例えば画面Ｐ６の視線固定画像の表示を行った後、遅い遷移速度（第２速度）で第１側方領域内で視線方向を徐々に正面領域に移動させる例を示した。別の実施形態においては、画面Ｐ６の視線固定画像の表示の行った後、直ちに速い遷移速度（第１速度）で逆方向の側方領域、つまりＰ１０の視線固定画像の表示を行うようにしてもよい。この場合、図６に示すように視線方向を第２速度で遷移させる場合より側方領域の表示範囲が狭くなる場合があるが、側方領域の内容の確認は視線が固定された状態で行わせることができるので、ユーザの負担の軽減や表示内容の見落とし低減をさらに行うことができる。なお、上述したように視線方向を第２速度で遷移させる場合より側方領域の表示範囲が狭くなることが懸念される場合は、視線固定画像を表示する際の拡大率を調整することにより、表示範囲が狭くなる不都合を解消することができる。
【００６５】
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６６】
１…車両、２…車体、８…表示装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｄ…表示制御部、１４ｇ…操作部、１５，１５ａ，１５ｂ，１５ｃ，１５ｄ…撮像部、３０…画像取得部、３２…操作受付部、３４…データ制御部、３６…画像変換部、４０，４２…物体、４４…移動物体、４６…強調枠、１００…周辺監視システム（周辺監視装置）。
【図１】
2017094922.tif 000003
【図２】
2017094922.tif 000004
【図３】
2017094922.tif 000005
【図４】
2017094922.tif 000006
【図５】
2017094922.tif 000007
【図６】
2017094922.tif 000008
【図７】
2017094922.tif 000009
【図８】
2017094922.tif 000010
【図９】
2017094922.tif 000011