(57)【要約】【課題】自車画像により隠される部分の視認性を向上するとともに、自車と周囲との関係を直感的に把握させやすい表示ができる、周辺監視装置を提供する。【解決手段】実施形態の周辺監視装置は、車両の周辺を撮像する撮像部から撮像画像を取得する取得部と、撮像画像に基づき車両の周囲の状況を仮想空間で示した車両周囲画像を生成する生成部と、車両を構成する面を表した構成面の透過状態が当該構成面の向きに応じて決定された、車両を示す自車画像を、仮想空間で車両を臨んだ仮想視点に基づいて表された車両周囲画像に、重畳した画像を表示装置に表示させる処理部と、を含む。【選択図】図３
2020088697.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺を撮像する撮像部から撮像画像を取得する取得部と、
前記撮像画像に基づき前記車両の周囲の状況を仮想空間で示した車両周囲画像を生成する生成部と、
前記車両を構成する面を表した構成面の透過状態が当該構成面の向きに応じて決定された、前記車両を示す自車画像を、前記仮想空間で前記車両を臨んだ仮想視点に基づいて表された前記車両周囲画像に、重畳した画像を表示装置に表示させる処理部と、
を含む、周辺監視装置。
【請求項２】
前記処理部は、複数のポリゴンで前記構成面を形成する前記自車画像を前記車両周囲画像に重畳する、請求項１に記載の周辺監視装置。
【請求項３】
前記処理部は、前記車両周囲画像における水平面に対する、前記ポリゴンごとに規定される個別面の向きに応じて、前記個別面の透過状態を決定する、請求項２に記載の周辺監視装置。
【請求項４】
前記処理部は、前記自車画像として表される前記車両の表面の三次元形状を構成する前記ポリゴンごとに、当該ポリゴンの法線ベクトルにおける、前記水平面の法線方向のベクトル成分が小さくなるにしたがって、当該ポリゴンの透過度を低くして表示させる、請求項３に記載の周辺監視装置。
【請求項５】
前記処理部は、前記車両周囲画像に前記自車画像を重畳する場合、前記自車画像を直上から見た場合の前記自車画像に対応する影画像を前記自車画像の直下の前記車両周囲画像に重畳する、請求項１から請求項４のいずれか１項に記載の周辺監視装置。
【請求項６】
前記処理部は、前記自車画像を前記車両周囲画像に重畳する場合、前記仮想視点に対して前記自車画像の裏面側となる前記構成面を非描画とする、請求項１から請求項５のいずれか１項に記載の周辺監視装置。
【請求項７】
前記処理部は、前記構成面の法線が前記車両周囲画像における水平面の法線と略直交となる場合に、当該構成面を透過させずに表示する、請求項１から請求項６のいずれか１項に記載の周辺監視装置。
【請求項８】
前記処理部は、前記構成面の透過状態が決定された前記自車画像を前記車両周囲画像に重畳した画像を前記車両の外部の表示装置に送信して表示させる、請求項１から請求項７のいずれか１項に記載の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、周辺監視装置に関する。
【背景技術】
【０００２】
従来、車両に設けられた複数の撮像部（カメラ）により車両周囲の状況をそれぞれ異なる方向で撮像し、撮像した複数の画像に対して画像処理を行うとともに、各画像を繋げて、例えば俯瞰画像を生成する技術が知られている。このような俯瞰画像に、自車の位置を示すための自車画像（自車アイコン）を重畳して表示することにより、周囲の状況（例えば障害物等）に対する自車の位置を利用者に把握させやすくする周辺監視装置が提案されている。ところで、俯瞰画像とともに自車画像が表示される場合、自車画像によって俯瞰画像の一部が遮られ、遮蔽領域（死角領域）が生じる。つまり、自車の周囲の状況を十分に利用者に提供できない場合がある。そこで、自車画像全体の透過度を高めたり、自車画像をワイヤーフレームモデルで表現したりすることで、遮蔽領域となる領域を見えているかのように表示する技術の提案がある。また、仮想視点の位置を変化させて遮蔽領域を移動させることで、自車の周囲の状況を総合的に判断させる表示を行う技術の提案がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３３００３３４号公報
【特許文献２】特許第５６２７２５３号公報
【特許文献３】特開２０１４−１９７８１７号公報
【特許文献４】特開２０１４−６８３０８号公報
【特許文献５】特開２０１８−１１０３２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
自車画像全体の透過度を高めることにより、自車画像で遮られていた遮蔽領域に写っている内容を利用者に認識させやすくなるが、その反面、自車画像の視認性が低下して、自車と周囲との関係、例えば、障害物が存在する場合、自車と障害物との位置関係が把握し難くなることある。また、ワイヤーフレームモデルを用いる場合は、遮蔽領域に写っている内容は見えるが、ワイヤーが重なっているため、画像内容が煩雑になり、やはり自車画像と周囲との関係（例えば、障害物との関係）が把握し難くなることある。また、仮想視点を移動させて利用者に総合的な判断を行わせる場合、周囲状況の把握まで時間がかかり、直感的な判断がし難くなるという問題がある。
【０００５】
そこで、実施形態の課題の一つは、自車画像により隠される部分の視認性を向上するとともに、自車と周囲との関係を直感的に把握させやすい表示ができる、周辺監視装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の実施形態にかかる周辺監視装置は、例えば、車両の周辺を撮像する撮像部から撮像画像を取得する取得部と、上記撮像画像に基づき上記車両の周囲の状況を仮想空間で示した車両周囲画像を生成する生成部と、上記車両を構成する面を表した構成面の透過状態が当該構成面の向きに応じて決定された、上記車両を示す自車画像を、上記仮想空間で上記車両を臨んだ仮想視点に基づいて表された上記車両周囲画像に、重畳した画像を表示装置に表示させる処理部と、を含む。この構成によれば、例えば、構成面の向きに応じて、自車画像が部分的に高い透過状態で表示される。その結果、自車画像で遮られる領域を見やすくすることができると共に、自車画像の透過状態が低い部分に基づき、自車画像の形状を把握させやすく、車両（自車画像）と周囲との関係を把握させやすくすることができる。
【０００７】
また、実施形態のかかる周辺監視装置の上記処理部は、例えば、複数のポリゴンで上記構成面を形成する上記自車画像を上記車両周囲画像に重畳してもよい。この構成によれば、例えば、ポリゴンごとに透過状態を細かく決定することができるので、自車画像によって遮られた領域の視認性の向上と、車両(自車画像)と周囲との関係の把握容易性の向上の両方をバランスよく実現できる。
【０００８】
また、実施形態のかかる周辺監視装置の上記処理部は、例えば、上記車両周囲画像における水平面に対する、上記ポリゴンごとに規定される個別面の向きに応じて、上記個別面の透過状態を決定してもよい。この構成によれば、例えば、ポリゴンごとに透過状態の決定ができるので、滑らかな透過状態の変化が可能になり、違和感の少ない見やすい自車画像の表示が可能になる。
【０００９】
また、実施形態のかかる周辺監視装置の上記処理部は、例えば、上記自車画像として表される上記車両の表面の三次元形状を構成する上記ポリゴンごとに、当該ポリゴンの法線ベクトルにおける、上記水平面の法線方向のベクトル成分が小さくなるにしたがって、当該ポリゴンの透過度を低くして表示させるようにしてもよい。この構成によれば、例えば、ポリゴンごとに透過状態を水平面の法線方向のベクトル成分の大きさにしたがい決定できるので、処理が容易になる。また、仮想視点の位置が変更されても構成面の透過状態は一定に保たれる。その結果、仮想視点の位置によって、自車画像における同一の構成面の透過状態が変化することが抑制され、自車画像および自車画像で遮られる領域の表示を違和感の少ない見やすい状態で行うことができる。
【００１０】
また、実施形態のかかる周辺監視装置の上記処理部は、例えば、上記車両周囲画像に上記自車画像を重畳する場合、上記自車画像を直上から見た場合の上記自車画像に対応する影画像を上記自車画像の直下の上記車両周囲画像に重畳するようにしてもよい。この構成によれば、例えば、車両周囲画像において、車両が存在する領域（特に車両の縁部）を明確に示すことが可能になり、車両（自車画像）の周囲に障害物が存在する場合、その障害物と車両（自車画像）との関係（例えば距離関係）をより明確に表示することができる。
【００１１】
また、実施形態のかかる周辺監視装置の上記処理部は、例えば、上記自車画像を上記車両周囲画像に重畳する場合、上記仮想視点に対して上記自車画像の裏面側となる上記構成面を非描画としてもよい。この構成によれば、例えば、裏面側のポリゴンの表示が行われないため、表面側（仮想視点側）の構成面の透過状態を変化させるのみで、自車画像によって隠される領域を鮮明に表示することができる。
【００１２】
また、実施形態のかかる周辺監視装置の上記処理部は、例えば、上記構成面の法線が上記車両周囲画像における水平面の法線と略直交となる場合に、当該構成面を透過させずに表示するようにしてもよい。この構成によれば、構成面の法線が車両周囲画像における水平面の法線と略直交となる場合の構成面、例えば、自車画像の側面部分は、車両周囲画像のうち車両の床下に対応する領域に重畳されることが多い。この場合、撮像部によって撮像された、車両の周囲に存在する障害物は、側面部分によって隠される可能性は低くなる。したがって、構成面の法線が車両周囲画像における水平面の法線と略直交となる場合に、当該構成面を透過させずに表示ことにより、自車画像（車両）の認識し易さを向上させることができるとともに、車両の周囲に存在する障害物の認識のし易さの向上と両立できる。
【００１３】
また、実施形態のかかる周辺監視装置の上記処理部は、例えば、上記構成面の透過状態が決定された上記自車画像を上記車両周囲画像に重畳した画像を上記車両の外部の表示装置に送信して表示させるようにしてもよい。この構成によれば、例えば、車外にいる利用者が、当該利用者が操作可能な表示装置（例えば、スマートフォン等の携帯端末等）に自車画像とともに車両周辺画像を表示させることができる。その結果、車外にいる利用者に、自車画像で遮られる領域、および実際に車両で遮られる領域を認識させ易くすることができる。また、この場合も、自車画像の透過状態が低い部分に基づき、自車画像の形状を把握させやすく、車両（自車画像）と周囲との関係を、車外でも把握させやすくすることができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、実施形態にかかる周辺監視装置を搭載可能な車両の車室の一部が透視された状態を示す例示的かつ模式的な斜視図である。
【図２】図２は、実施形態にかかる周辺監視装置を含む車両の表示機能の構成を示す例示的かつ模式的なブロック図である。
【図３】図３は、実施形態にかかる周辺監視装置をＣＰＵで実現する場合の構成を例示的かつ模式的に示すブロック図である。
【図４】図４は、実施形態にかかる周辺監視装置において、各撮像部により撮像される被撮像領域とその重複領域を説明する例示的かつ模式的な俯瞰図である。
【図５】図５は、実施形態にかかる周辺監視装置における車両と仮想投影面と仮想視点の位置とを示す模式的かつ例示的な説明図である。
【図６】図６は、実施形態にかかる周辺監視装置において、ポリゴンで構成される自車画像の例示的な模式図である。
【図７】図７は、実施形態のかかる周辺監視装置におけるポリゴンの個別面の法線ベクトルを説明する例示的かつ模式的な説明図である。
【図８】図８は、実施形態のかかる周辺監視装置において、表示装置に表示される、車両周囲画像に自車画像を重畳した例示的かつ模式的な表示画面を示す図である。
【図９】図９は、実施形態のかかる周辺監視装置において、表示装置に表示される、車両周囲画像に自車画像を重畳した例示的かつ模式的な他の表示画面を示す図である。
【図１０】図１０は、実施形態のかかる周辺監視装置において、表示装置に表示される、車両周囲画像に自車画像を重畳した例示的かつ模式的な他の表示画面を示す図である。
【図１１】図１１は、実施形態のかかる周辺監視装置において、表示装置に表示される、車両周囲画像に自車画像を重畳した例示的かつ模式的な他の表示画面を示す図である。
【図１２】図１２は、実施形態にかかる周辺監視装置における、画像表示処理の流れの一例を示すフローチャートである。
【図１３】図１３は、実施形態にかかる周辺監視装置が表示可能な、自車画像を重畳した車両周囲画像を、車外の表示装置に表示する場合を示す例示的かつ模式的な説明図である。
【発明を実施するための形態】
【００１５】
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
【００１６】
図１は、本実施形態の周辺監視装置が搭載される車両１０の模式的な平面図である。車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１２（前輪１２Ｆ、後輪１２Ｒ）の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。
【００１７】
図１に例示されるように、車両１０には、複数の撮像部１４として、例えば四つの撮像部１４ａ〜１４ｄが設けられている。撮像部１４は、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＩＳ（CMOS  image  sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで動画データ（撮像画像データ、画像情報）を出力することができる。撮像部１４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲（被撮像領域）を撮影することができる。また、撮像部１４の光軸は斜め下方に向けて設定され得る。よって、撮像部１４は、車両１０が移動可能な路面や路面に付されたマーク（矢印や区画線、駐車スペースを示す線、車線分離線等を含む）や物体（例えば、歩行者、車両等の障害物）を含む車両１０の外部の周辺状況を逐次撮影し、撮像画像データとして出力する。
【００１８】
撮像部１４は、車両１０の外周部に設けられている。撮像部１４ａは、例えば、車両１０の前側、すなわち車両前後方向の前方側で車幅方向のほぼ中央の端部、例えばフロントバンパ１０ａやフロントグリル等に設けられて、車両１０の前端部（例えばフロントバンパ１０ａ）を含む前方画像（前方の被撮像領域）を撮像可能である。また、撮像部１４ｂは、例えば、車両１０の左側の端部、例えば左側のドアミラー１０ｂに設けられて、車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像（左側方の被撮像領域）を撮像可能である。また、撮像部１４ｃは、例えば、車両１０の右側の端部、例えば右側のドアミラー１０ｃに設けられて、車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像（右側方の被撮像領域）を撮像可能である。また、撮像部１４ｄは、車両１０の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ１０ｄの上方位置に設けられて、車両１０の後端部（例えばリヤバンパ１０ｄ）を含む後方画像（後方の被撮像領域）を撮像可能である。
【００１９】
本実施形態の周辺監視装置は、複数の撮像部１４で得られた撮像画像データ(撮像画像)に基づいて、演算処理や画像処理を実行することで、より広い視野角の画像を生成したり、車両１０を上方や前方、側方等から見た仮想的な画像（俯瞰画像（平面画像）や側方視画像、正面視画像等）を生成したりすることができる。
【００２０】
図２は、車両１０に搭載される周辺監視装置を含む周辺監視システム１００の構成の例示的なブロック図である。車両１０の車室内には、表示装置１６や、音声出力装置１８が設けられている。表示装置１６は、例えば、ＬＣＤ（liquid  crystal  display）や、ＯＥＬＤ（organic  electroluminescent  display）等である。音声出力装置１８は、例えば、スピーカである。また、表示装置１６は、例えば、タッチパネル等、透明な操作入力部２０で覆われている。利用者（例えば、運転者）は、操作入力部２０を介して表示装置１６の表示画面に表示される画像を視認することができる。また、利用者は、表示装置１６の表示画面に表示される画像に対応した位置で、手指等で操作入力部２０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置１６や、音声出力装置１８、操作入力部２０等は、例えば、車両１０のダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２２に設けられている。モニタ装置２２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置２２は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
【００２１】
また、図２に例示されるように、周辺監視システム１００（周辺監視装置）は、撮像部１４（１４ａ〜１４ｄ）やモニタ装置２２に加え、ＥＣＵ２４（electronic  control  unit）が含まれる。周辺監視システム１００では、ＥＣＵ２４やモニタ装置２２は、電気通信回線としての車内ネットワーク２６を介して電気的に接続されている。車内ネットワーク２６は、例えば、ＣＡＮ（controller  area  network）として構成されている。ＥＣＵ２４は、車内ネットワーク２６を通じて制御信号を送ることで、各種システムの制御が実行できる。また、ＥＣＵ２４は、車内ネットワーク２６を介して、操作入力部２０や各種スイッチの操作信号等や図示を省略している各種センサの検出信号等を、受け取ることができる。
【００２２】
ＥＣＵ２４は、撮像部１４から取得した撮像画像データに基づいて生成した車両周囲画像や音声に関するデータをモニタ装置２２へ送信する。ＥＣＵ２４は、例えば、ＣＰＵ２４ａ（central  processing  unit）や、ＲＯＭ２４ｂ（read  only  memory）、ＲＡＭ２４ｃ（random  access  memory）、表示制御部２４ｄ、音声制御部２４ｅ、ＳＳＤ２４ｆ（solid  state  drive、フラッシュメモリ）等を有している。
【００２３】
ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＣＰＵ２４ａは、例えば、ＲＯＭ２４ｂに記憶されたプログラムを実行することにより、図３に示すような各種モジュールを実現し、表示装置１６で表示される画像に関連した処理を実行する。例えば、ＣＰＵ２４ａは、処理の一例として、撮像部１４が撮像した撮像画像データに補正処理や演算処理、画像処理等を実行して、複数の画像を繋ぎ合わせた車両周囲画像（例えば、俯瞰画像）を生成する。ＣＰＵ２４ａの詳細は後述する。
【００２４】
ＲＡＭ２４ｃは、ＣＰＵ２４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、表示装置１６で表示させる表示用の画像のデータ変換等を実行する。また、音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置１８で出力される音声データの処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ２４ａや、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ２４は、ＣＰＵ２４ａに替えて、ＤＳＰ（digital  signal  processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ２４ｆに替えてＨＤＤ（hard  disk  drive）が設けられてもよいし、ＳＳＤ２４ｆやＨＤＤは、ＥＣＵ２４とは別に設けられてもよい。
【００２５】
本実施形態において、ＥＣＵ２４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、表示装置１６に表示する画像の画像生成処理を司る。ＥＣＵ２４は、撮像部１４が撮像した撮像画像データ（撮像画像）に画像処理、例えば視点変換処理等を施して生成した車両周囲画像に車両１０の位置および仮想視点から車両１０を臨む場合の車両１０の向きや姿勢を示す自車画像を重畳して表示装置１６に表示させる。その場合に、自車画像により隠されてしまう車両周囲画像の領域（遮蔽領域、死角領域）に写っている内容を表示できるように、自車画像を構成する構成面の透過状態を仮想視点の位置と構成面の向きに応じて決定する。つまり、遮蔽領域に対応する自車画像の部分の透過度を高めて、自車画像で隠されている領域を見えるようにする。ただし、自車画像の全ての部分において透過度を高めるのではなく、例えば、車両周囲画像における水平面に対して自車画像の構成面が平行に近いほど透過度を高くする。逆に、自車画像が水平面に対して垂直に近くなるほど透過度を低くする。この場合、例えば、車両１０の天井に対応する自車画像の天井部分の透過度が高くなる。その結果、例えば、仮想視点が自車画像の右側面側にある場合、自車画像の左側面側で自車画像によって遮られた車両周囲画像の遮蔽領域が透けて表示されることになる。
【００２６】
図３は、ＣＰＵ２４ａで周辺監視装置を実現する場合の構成の例示的かつ模式的に示すブロック図である。ＣＰＵ２４ａは、ＲＯＭ２４ｂから読み出した周辺監視プログラムを実行することにより周辺監視部３０を実現する。周辺監視部３０（周辺監視装置）は、その機能を実現するための各種モジュールを含む。周辺監視部３０は、例えば、取得部３２、生成部３４、設定部３６、処理部３８等を含む。また、処理部３８は、自車画像取得部３８ａ、表示態様変更部３８ｂ、透過度取得部３８ｃ、色合成部３８ｄ、重畳部３８ｅ、出力部３８ｆ等の詳細モジュールを含む。
【００２７】
取得部３２は、各撮像部１４が撮像した撮像画像データ（撮像画像）を、表示制御部２４ｄを介して取得する。各撮像部１４(１４ａ〜１４ｄ)は、図４に示すような被撮像領域４０を撮像可能である。各被撮像領域４０は、隣接する被撮像領域４０の一部が互いに重なった重複領域４２を含む。重複領域４２を形成することにより被撮像領域４０を繋ぎ合わせるときに欠落領域が生じないようにしている。例えば、被撮像領域４０のうち撮像部１４ａが撮像した車両１０の前方の被撮像領域４０Ｆの車幅方向左側と、撮像部１４ｂが撮像した車両１０の左側方の被撮像領域４０ＳＬの車両前方側とは、重複領域４２ＦＬを形成する。被撮像領域４０のうち被撮像領域４０ＳＬの車両後方側と、撮像部１４ｄが撮像した車両１０の後方の被撮像領域４０Ｒの車幅方向左側とは、重複領域４２ＲＬを形成する。被撮像領域４０のうち被撮像領域４０Ｒの車幅方向右側と、撮像部１４ｃが撮像した車両１０の右側方の被撮像領域４０ＳＲの車両後方側とは、重複領域４２ＲＲを形成する。そして、被撮像領域４０のうち被撮像領域４０ＳＲの車両前方側と被撮像領域４０Ｆの車幅方向右側とは、重複領域４２ＦＲを形成する。各撮像部１４は、撮像した撮像画像データに撮像部１４ごとの識別符号を添付して取得部３２に出力してもよいし、取得部３２側で取得した撮像画像データごとに出力元を識別する識別符号を添付するようにしてもよい。
【００２８】
生成部３４は、取得部３２は取得した撮像画像データ（撮像画像）に基づき車両１０の周囲の状況を仮想空間で示した車両周囲画像を生成する。具体的には、図４で説明したように各被撮像領域４０が重複領域４２を形成するように繋ぎ合わせて、車両１０の周囲（３６０°）を示す二次元合成画像データを作成する。なお、重複領域４２においては、重複する撮像画像データのブレンド処理を実行してもよい。例えば、重複領域４２ＦＬにおいて、前方の被撮像領域４０Ｆの撮像画像データと左側方の被撮像領域４０ＳＬの撮像画像データのそれぞれａ％を利用して画像をブレンドするブレンド処理を実行する。ブレンド処理を実行することにより、前方の被撮像領域４０Ｆと左側方の被撮像領域４０ＳＬとが、徐々に変化するように合成され、明るさや色合いの違いによって生じる境界線を目立ちにくくすることができる。同様に、他の重複領域４２についてもブレンド処理を施すことで、合成した二次元合成画像データ全体において境界線を目立ちにくくすることができる。続いて、生成部３４は、ＲＯＭ２４ｂ等に予め記憶された、図５に示すような、三次元形状モデルである仮想投影面Ｓｐを読み出す。仮想投影面Ｓｐは、座標（Ｘ，Ｙ，Ｚ）が規定されるメッシュ構造のデータで、合成した二次元合成画像データの各画素のデータが、メッシュの交点（座標Ｘ，Ｙ，Ｚで規定される交点）に投影される。
【００２９】
仮想投影面Ｓｐは、例えば、図５に示すように、地面Ｇｒに沿った底面Ｓｐｇと、底面Ｓｐｇすなわち地面Ｇｒから立ち上がった側面Ｓｐｓと、を有している。地面Ｇｒは、車両１０の高さ方向（上下方向）と直交する水平面であり、車輪１２の接地面でもある。底面Ｓｐｇは、例えば略円形の平坦面であり、車両１０を基準とする水平面である。側面Ｓｐｓは、底面Ｓｐｇと接して底面Ｓｐｇの一部から高さ方向に立ち上り底面Ｓｐｇの一部を取り囲む、例えば曲面である。図５に示されるように、側面Ｓｐｓについて、垂直方向（車両１０の上下方向）に断面を取った場合の仮想断面の形状は、例えば、楕円状の一部あるいは放物線状である。側面Ｓｐｓは、例えば、車両１０を中心として高さ方向に沿う中心線周りの回転面として構成される。つまり、側面Ｓｐｓは、車両１０の周囲を取り囲んでいる。二次元合成画像データを仮想投影面Ｓｐに投影することにより、車両１０を中心として周囲状況を示す三次元の車両周囲画像（データ）を生成することができる。なお、別の例では、二次元合成画像データ生成することなく、仮想投影面Ｓｐに撮像部１４の撮像した撮像画像データを投影するようにしてもよい。車両周囲画像の生成手法は、一例であり、周知の周辺画像生成技術を利用することができる。
【００３０】
続いて、設定部３６は、図５に示すように、車両周囲画像に車両１０を示す自車画像Ｍを重畳する場合に、自車画像Ｍを臨む仮想視点Ｋの位置を設定する。まず、自車画像Ｍについて説明する。本実施形態において、自車画像Ｍは、図６に示すように、車両１０の形状を示す画像であり、車両１０の構成面（表面）は、例えば、複数のポリゴンＰＬで構成することができる。つまり、自車画像Ｍは、複数のポリゴンＰＬ（本実施形態では、主として三角形のポリゴンＰＬ）により表示された立体的な形状（三次元の形状）である。これにより、よりリアリティのある自車画像Ｍを表示することができる。また、複数のポリゴンＰＬで構成される自車画像Ｍは、Ｘ軸、Ｙ軸、Ｚ軸それぞれに対して回転可能であり、自車画像Ｍを所望の方向に向けることができる。なお、Ｘ軸は、自車画像Ｍの車幅方向に対応する軸であり、Ｚ軸は、自車画像Ｍの進行方向に対応する軸であり、Ｙ軸は、自車画像Ｍの高さ(上下)方向に対応する軸である。したがって、図５に示すように、生成された三次元の車両周囲画像に自車画像Ｍを重畳した場合に、自車画像Ｍを臨む仮想視点Ｋの位置の移動に対応して、自車画像Ｍの向きを仮想視点Ｋから見たような方向に向けることができる。仮想視点Ｋの位置は、例えば、周辺監視装置の利用者(例えば、運転者)が、操作入力部２０やモニタ装置２２に設けられたジョイスティック等を用いて連続的に変化させることができるとともに、特定の位置に仮想視点Ｋを設定することができる。図５には、仮想視点Ｋの設定位置の例が示されている。仮想視点Ｋは、例えば、自車画像Ｍの上方位置や側方位置、前方位置等のように、自車画像Ｍを中心とする全周域（３６０°）で、底面Ｓｐｇ（地面Ｇｒ）より高い位置に設定することができる。
【００３１】
処理部３８は、車両１０を構成する面を表した構成面の透過状態が当該構成面の向きに応じて決定された、車両１０を示す自車画像を、仮想空間で車両１０を臨んだ仮想視点に基づいて表された車両周囲画像に、重畳した画像を表示装置１６に表示させる。このような処理を実行するため、前述したように処理部３８は、自車画像取得部３８ａ、表示態様変更部３８ｂ、透過度取得部３８ｃ、色合成部３８ｄ、重畳部３８ｅ、出力部３８ｆ等を備える。
【００３２】
自車画像取得部３８ａは、ＲＯＭ２４ｂ等の記憶部から図６に示すような自車画像Ｍ（三次元形状モデル）を読み出す。自車画像Ｍは、周知の技術で作成可能な画像で、車両１０の形状に対応する表面（構成面）をポリゴンＰＬ(三角形や四角形のポリゴン)で形成したものである。
【００３３】
表示態様変更部３８ｂは、設定部３６で設定された仮想視点Ｋの位置にしたがい自車画像Ｍの表示サイズを決定する。つまり、表示態様変更部３８ｂは、仮想視点Ｋの位置に基づくズーム状態に対応する表示サイズに自車画像Ｍを拡縮調整する。また、表示態様変更部３８ｂは、仮想視点の位置に応じて自車画像Ｍの表示姿勢を決定する。自車画像Ｍの表示姿勢はＸ軸、Ｙ軸、Ｚ軸について、それぞれ回転調整することにより決定することができる。なお、表示態様変更部３８ｂは、仮想視点Ｋに対して自車画像Ｍの裏面側となる構成面を非描画とする。つまり、表示態様変更部３８ｂは、仮想視点Ｋから自車画像Ｍを見た場合に、見える部分の構成面のみを描画して自車画像Ｍの表示態様を決定する。
【００３４】
前述したように、車両周囲画像に自車画像Ｍを重畳すると、自車画像Ｍによって車両周囲画像の一部が遮られる。つまり、遮られた遮蔽領域に存在する物体等が表示されず、周囲状況の十分な確認が不能になる。そこで、透過度取得部３８ｃは、自車画像Ｍを構成する構成面（各ポリゴンＰＬの個別面）の透過状態を構成面の向きに応じて決定する。具体的には、透過度取得部３８ｃは、自車画像Ｍにおいて、ある位置を構成する構成面のポリゴンＰＬが、図７に示すように三角形の場合、ポリゴンＰＬの個別面は、例えば、頂点Ｖ１，Ｖ２，Ｖ３で囲まれた閉じた領域で定義される。そして、ポリゴンＰＬの個別面に垂直な法線ベクトルｎのＹ軸の方向（図６参照）における値（車両周囲画像における水平面の法線方向のベクトル成分：以下、Ｙ成分と言う）を取得する。そして、透過度取得部３８ｃは、法線ベクトルｎのＹ成分に基づいて、ポリゴンＰＬの透過度を決定する。
【００３５】
具体的には、透過度取得部３８ｃは、ポリゴンＰＬの個別面の向いている方向が、例えば、路面の向きに近い程、個別面の透過状態を高くする。逆に路面に対して垂直な向きに近いほど、個別面の透過状態を低くする。例えば、ポリゴンＰＬの個別面は、透過度が「０」の場合に、車両１０のボディカラー等で着色された場合に着色が反映されて不透明状態（不透過状態）となるとする。逆に、ポリゴンＰＬの個別面は、透過度が「１」の場合は、着色されても着色が反映されず透明状態（透過状態）になるとする。したがって、ポリゴンＰＬの個別面の透過度をポリゴンＰＬの個別面の法線ベクトルｎのＹ成分によって変化させれば、ポリゴンＰＬの個別面の向く方向に応じて透過状態を変化させることができる。例えば、透過度は、法線ベクトルｎ（単位ベクトル）のＹ軸方向のベクトル値から求める（式１）。
透過度＝｜Ｙベクトル値｜５・・・式１
例えば、自車画像Ｍの天井部分は路面の向きに近いため、法線ベクトルｎのＹベクトル値は、「１」に近くなる。その結果、透過度＝｜Ｙベクトル値≒１｜５≒１となる。したがって、ポリゴンＰＬの個別面の透過度は、「１」に近い値となり、高い透過状態となり、透けることになる。同様に、自車画像Ｍのボンネット部分はなだらかに傾斜しているものの天井部分と同様に、路面の向きに近いため、透過度は、「１」に近い値となり、ボンネット部分のポリゴンＰＬの個別面は、透過状態となり透ける。フロントウインドウ部分も同様である。
【００３６】
逆に、自車画像Ｍの仮想視点Ｋ側の側面部分は、路面に対して垂直な向きに近い状態になるため、ポリゴンＰＬの個別面の法線ベクトルｎのＹベクトル値は、「０」に近くなる。その結果、透過度＝｜Ｙベクトル値≒０｜５≒０となる。したがって、ポリゴンＰＬの個別面の透過度は、「０」に近い値となり、低い透過状態となり、自車画像Ｍの表面の構成面が表示されることになる。同様に、自車画像Ｍのリヤ部分のリヤバンパ付近は、路面に対して垂直な向きに近いためポリゴンＰＬの個別面の透過度は、「０」に近い値となり、低い透過状態となり、自車画像Ｍの構成面が表示されることになる。例えば、透過度取得部３８ｃは、個別面の法線方向のベクトル成分が車両周囲画像における水平面の法線（ベクトル）と、例えば略直交となる場合に、当該個別面を透過させずに表示する。なお、仮想視点Ｋから見えている側面部分やリヤ部分、つまり、仮想視点Ｋに近い側に存在する自車画像Ｍの側面等は、透過状態が低いが、その部分で遮蔽される領域は、概ね自車画像Ｍ（車両１０）が存在する地面部分である。すなわち、その遮蔽部分には、車両１０の運転者が留意する必要のある物体は存在し得ないと見なすことができる。したがって、利用者が留意する必要性が低い部分に関しては、自車画像Ｍを不透過状態とすることで、自車画像Ｍの形状を明確にすることができる。その結果、周囲状況と自車画像Ｍ（車両１０）との位置関係（距離関係）をより認識させやすくすることができる。なお、天井部分と側面部分との接続部分は、ポリゴンＰＬの個別面の向きが徐々に変化するため、透過度も徐々に変化する。その結果、接続部分の透過状態が変化し、自車画像Ｍの輪郭を表示することができる。このように、自車画像Ｍの形状（輪郭）を利用者（運転者）に明確に把握させることができるため、車両１０の向いている方向も理解させやすい表示ができる。
【００３７】
なお、上述した透過度＝｜Ｙベクトル値｜５の式は、一例であり、Ｙベクトル値の変化でポリゴンＰＬの個別面の透過度が上述のように変化させることができれば、例えば、乗数を変化させてもよいし、他の式を適宜用いてもよい。なお、自車画像Ｍの構成面を形成する複数のポリゴンＰＬの個別面の法線ベクトルｎは、自車画像Ｍの形状に対応して予め定めることができる。したがって、自車画像Ｍにおける各ポリゴンＰＬの個別面の法線ベクトルｎに対する透過度を予め算出してＲＯＭ２４ｂ等の記憶部に記憶しておいてもよい。そして、透過度取得部３８ｃは、自車画像Ｍにおいて、各ポリゴンＰＬの個別面の透過状態を決定する場合に、透過度をＲＯＭ２４ｂから読み出して用いてもよい。また、別の実施形態において、透過度取得部３８ｃは、各ポリゴンＰＬの個別面の透過状態を決定する場合に、その都度算出してもよい。また、ドアミラーのような小さな突起物は透過度を一定にしてもよい。また、仮想視点Ｋの位置と各ポリゴンＰＬとの間の距離が遠い程さらに透過度を高くしてもよい。
【００３８】
色合成部３８ｄは、透過状態が決定された自車画像Ｍに所定の色を着色する。例えば、車両１０のボディカラーに対応する色を着色する。上述したように、ポリゴンＰＬの個別面は、透過度が「０」の場合に、色合成部３８ｄにより着色処理が実行されると着色が反映され不透明状態（不透過状態）となる。逆に、透過度が「１」の場合に、色合成部３８ｄにより着色処理が実行されると着色が反映されず透明状態（透過状態）となる。自車画像Ｍの構成面は連続した面であり、ポリゴンＰＬの個別面の向きは連続的に変化する。したがって、ポリゴンＰＬの個別面の法線ベクトルｎのＹ成分も連続的に変化し、透過度も連続的に変化する。その結果、自車画像Ｍの透過状態も連続的に滑らかに変化する。なお、色合成部３８ｄは、車両１０の周囲の明るさに応じて、自車画像Ｍに着色する色を変化させてもよい。例えば、夜間の場合、生成部３４が生成する車両周囲画像も暗くなりがちである。その場合、車両１０の車色に拘わらず、車両周囲画像と識別し易い色に着色してもよい。また、例えば操作入力部２０の操作により、利用者が着色する色を変更できるようにしてもよい。
【００３９】
なお、色合成部３８ｄは、車両周囲画像に自車画像Ｍを重畳する場合、自車画像Ｍを直上から見た場合の自車画像Ｍに対応する影画像を自車画像Ｍの直下の車両周囲画像に重畳表示する。この場合、この影画像は、自車画像Ｍ（車両１０）の存在する範囲、すなわち、車両１０が存在するため、障害物等のような運転者が留意する必要のあるものが存在し得ない範囲を明確にすることができる。色合成部３８ｄは、例えば、設定部３６の設定した仮想視点Ｋの位置に対応して、影画像を表示する領域を決定し、その部分を、例えば黒色で着色して表示するようにする。また、この影画像を表示することにより、自車画像Ｍの縁部（例えば、コーナー部分等）が明確になり、自車画像Ｍの周囲に存在する物体との位置関係を、利用者により明確に理解させやすくすることができる。
【００４０】
重畳部３８ｅは、表示態様変更部３８ｂで表示態様が決定され、透過度取得部３８ｃで透過状態が決定され、色合成部３８ｄで着色処理が実行された自車画像Ｍを生成部３４が生成した車両周囲画像に重畳して、合成画像を生成する。そして、出力部３８ｆは、生成された合成画像を表示制御部２４ｄを介して表示装置１６に出力し表示装置１６に表示させる。
【００４１】
図８〜図１１は、表示装置１６に表示される、車両周囲画像に自車画像Ｍを重畳した例示的かつ模式的な表示画面４４である。図８〜図１１は、仮想視点Ｋの位置をそれぞれ変化させた場合の表示画面４４の例である。
【００４２】
図８は、仮想視点Ｋを自車画像Ｍの右斜め後方の上方位置に設定した場合の表示画面４４である。車両周囲画像Ｐには、影画像４６を伴う自車画像Ｍが表示されているとともに、自車画像Ｍ（車両１０）の周囲の存在する、蓋付き側溝４８、他車両５０、ポール５２、ガードレール５４等が写っている。そして、自車画像Ｍは、上述した処理部３８の処理により、ポリゴンＰＬの個別面ごとに透過状態が決定され表示されている。例えば、路面の向きに近い、天井部分Ｍｔ、ボンネット部分Ｍｆ、フロンドウインドウＭｇｆ、リヤウインドウＭｇｒ等がそれぞれ決定された透過状態で表示されている。図８の場合、透過状態は透過度が高い順に、例えば、Ｍｔ＞Ｍｆ＞Ｍｇｒ＞Ｍｇｆになっている。その結果、本来、自車画像Ｍを車両周囲画像Ｐに重畳したことにより隠されている自車画像Ｍの左側の蓋付き側溝４８が透けた状態で表示されている。また、路面に対して垂直な向きに近い、自車画像Ｍの右側の側面部分Ｍｓやリヤ部分Ｍｒ(リヤバンパ付近)は、低い透過状態（実質的に非透過状態）で表示され、自車画像Ｍの外形が明確に表示されるようになっている。なお、天井部分Ｍｔと自車画像Ｍの左側の側面部分との接続部分は、法線ベクトルｎのＹ成分が、左側の側面部分に向かって徐々に変化し、Ｙ成分が小さくなるので、側部輪郭線Ｍｓ１として低い透過状態が表示され、自車画像Ｍの左側輪郭を表示している。同様に、ボンネット部分Ｍｆと自車画像Ｍの前方部分との接続部分は、法線ベクトルｎのＹ成分が、前方部分に向かって徐々に変化し、Ｙ成分が小さくなるので、前部輪郭線Ｍｆ１として低い透過状態が表示され、自車画像Ｍの前方側輪郭を表示している。
【００４３】
したがって、本実施形態の周辺監視装置によれば、図８に示すように、自車画像Ｍによって隠される遮蔽領域（例えば、自車画像Ｍの左側の蓋付き側溝４８の部分等）を十分に表示しつつ、自車画像Ｍの形状（輪郭）を十分に表示することができる。その結果、自車画像Ｍ（車両１０）と周囲との関係を直感的に把握させやすい表示を実現している。また、例えば、ソナー等の障害物検出センサ等を用いることなく、つまり、障害物検出を行うことなく、車両１０の周囲の状況を利用者（運転者）に提供できるとともに、障害物の有無を利用者に正確に認識させやすくなる。なお、自車画像Ｍの下には、自車画像Ｍの大きさを示す投影画像である影画像４６が表示されているため、自車画像Ｍの左側端部と例えば、ガードレール５４との隙間の大きさも表示可能となり、ガードレール５４に対に対する車両１０の距離感を利用者に把握にさせやすい表示ができる。
【００４４】
なお、車両周囲画像Ｐの下端には、当該車両周囲画像Ｐのズームを行うアイコン５６ａやズームアウトを行うアイコン５６ｂが表示され、利用者の希望に応じた表示サイズで表示できるようにしてもよい。
【００４５】
図９は、設定部３６により仮想視点Ｋの位置が、自車画像Ｍの右側方の上方位置に設定された場合の表示画面４４の例である。図９の場合も図８の場合と同様に、自車画像Ｍは、処理部３８の処理により、ポリゴンＰＬの個別面ごとに透過状態が決定され表示されている。例えば、路面の向きに近い、天井部分Ｍｔ、ボンネット部分Ｍｆ、フロンドウインドウＭｇｆ、リヤウインドウＭｇｒ等がそれぞれ決定された透過状態で表示されている。図９の場合も、透過状態は透過度が高い順に、例えば、Ｍｔ＞Ｍｆ＞Ｍｇｒ＞Ｍｇｆになっている。その結果、本来、自車画像Ｍを車両周囲画像Ｐに重畳したことにより隠されている自車画像Ｍの左側の蓋付き側溝４８が透けた状態で表示されている。図９の場合、自車画像Ｍよって隠される自車画像Ｍの左側の遮蔽領域が広くなるが、透過状態で表示することにより、遮蔽領域に含まれる蓋付き側溝４８が明確に表示される。また、仮想視点Ｋ側の側面部分Ｍｓの透過度の低い表示や側部輪郭線Ｍｓ１やリヤ輪郭線Ｍｒ１等により自車画像Ｍの形状（輪郭）が十分に表示され、自車画像Ｍ（車両１０）と周囲との関係を直感的に把握させやすい表示を実現している。また、影画像４６の表示によっても自車画像Ｍの端部と周囲との関係（蓋付き側溝４８、他車両５０、ガードレール５４等との関係）を直感的に把握させやすい表示を実現している。このように、図９に示す表示画面４４の場合も、例えば、ソナー等の障害物検出センサ等を用いることなく(障害物の検出を行うことなく)、車両１０の周囲の状況、特に仮想視点Ｋとは反対側（自車画像Ｍ（車両１０）の左側において、障害物の有無や、障害物が存在する場合は、障害物との距離関係等を明確に表示して、利用者（運転者）に提供できる。その結果、利用者に車両１０の周囲状況の判断をより適切に行わせ易くなる。
【００４６】
図１０は、設定部３６により仮想視点Ｋの位置が、自車画像Ｍの右斜め前方の上方位置に設定された場合で、かつ、アイコン５６ａによって、図８や図９の表示例よりズームアップした状態の表示画面４４の例である。図１０の場合も図８や図９の場合と同様に、自車画像Ｍは、処理部３８の処理により、ポリゴンＰＬの個別面ごとに透過状態が決定され表示されている。例えば、路面の向きに近い、天井部分Ｍｔ、ボンネット部分Ｍｆ、フロンドウインドウＭｇｆ、リヤウインドウＭｇｒ等がそれぞれ決定された透過状態で表示されている。図１０の場合も、透過状態は透過度が高い順に、例えば、Ｍｔ＞Ｍｆ＞Ｍｇｒ＞Ｍｇｆになっている。その結果、本来、自車画像Ｍを車両周囲画像Ｐに重畳したことにより隠されている自車画像Ｍの左側の蓋付き側溝４８が透けた状態で表示されている。また、リヤウインドウＭｇｒが透過状態になっているため、自車画像Ｍの後方に存在する他車両５０のナンバープレート５８の表示を明確に行うことが可能で、利用者に認識させやすい。また、仮想視点Ｋ側の側面部分Ｍｓの非透過表示や側部輪郭線Ｍｓ１やリヤ輪郭線Ｍｒ１等により自車画像Ｍの形状（輪郭）が十分に表示されるとともに、影画像４６によって自車画像Ｍ（車両１０）の占有する領域が明確に表示されるため、自車画像Ｍ（車両１０）と周囲との関係、特に後方に他車両５０との位置関係を直感的に把握させやすい表示を実現している。このように、表示画面４４を拡大表示することにより、例えば、ソナー等の障害物検出センサ等を用いることなく(障害物検出を行うことなく)、自車画像Ｍ（車両１０）の周囲の状況（蓋付き側溝４８、他車両５０、ガードレール５４等の状況）をより詳細に分かりやすく表示することができる。
【００４７】
自車画像Ｍのうち側面部分Ｍｓは、他の部分と比べて低い透過状態で表示される。図８〜図１０に示されるように、側面部分Ｍｓは、車両周囲画像Ｐのうち車両１０の床下に対応する領域に重畳されることが多い。このため、各撮像部１４によって撮像された、車両１０の周囲に存在する障害物は、側面部分Ｍｓによって隠される可能性は低くなる。したがって、本実施形態においては、車両１０の認識しやすさと、車両１０の周囲に存在する障害物の認識のしやすさと、を両立できる。
【００４８】
図１１は、設定部３６により仮想視点Ｋの位置が、自車画像Ｍの前方の上方位置に設定された場合の表示画面４４の例である。図１１の場合も他の表示例と同様に、自車画像Ｍは、処理部３８の処理により、ポリゴンＰＬの個別面ごとに透過状態が決定され表示されている。例えば、路面の向きに近い、天井部分Ｍｔ、ボンネット部分Ｍｆ、フロンドウインドウＭｇｆ、リヤウインドウＭｇｒ等がそれぞれ決定された透過状態で表示されている。図１１の場合も、透過状態は透過度が高い順に、例えば、Ｍｔ＞Ｍｆ＞Ｍｇｒ＞Ｍｇｆになっている。その結果、本来、自車画像Ｍを車両周囲画像Ｐに重畳したことにより隠されている自車画像Ｍの後方の他車両５０が透けた状態で表示されている。図１１の場合、後方の撮像画像データを三次元形状モデルである仮想投影面Ｓｐに投影しているため、他車両５０が左右上下に延びた状態で表示されているが、車両１０が接触する可能性のある部分が透過によって表示可能になるので、自車画像Ｍ（車両１０）と他車両５０との関係を直感的に把握させやすい表示を実現している。
【００４９】
なお、図８〜図１１の表示画面４４は一例であり、操作入力部２０等の操作により設定部３６で設定する仮想視点Ｋの位置を移動させることにより、様々な方向から自車画像Ｍを表示することが可能で、かつ、自車画像Ｍにより隠される遮蔽領域を透過した状態で表示することができる。また、上述した実施形態では、設定部３６により仮想視点Ｋの位置を指定の位置に設定する、いわゆる「手動表示モード」で周辺監視部３０を運用する例を示した。他の実施形態では、設定部３６は、仮想視点Ｋを予め設定した移動パターンにしたがって移動させ、自車画像Ｍの周囲を旋回しながら周囲状況の確認を行わせるような「自動表示モード」を実行してもよい。
【００５０】
このように構成される周辺監視装置（周辺監視部３０）による、画像表示処理の流れの一例を図１２のフローチャートを用いて説明する。なお、図１２のフローチャートは、車両１０の電源がＯＮされている場合に、所定の処理周期で繰り返し実行されるものとする。
【００５１】
まず、周辺監視部３０は、利用者が操作入力部２０等を操作して、自車画像Ｍの透過表示の要求をしているか否かを確認する（Ｓ１００）。要求がない場合（Ｓ１００のＮｏ）、一旦このフローを終了する。一方、周辺監視部３０が、自車画像Ｍの透過表示の要求を確認した場合（Ｓ１００のＹｅｓ）、取得部３２は、各撮像部１４が撮像する車両１０の周囲の撮像画像データ（撮像画像）を取得する（Ｓ１０２）。続いて、生成部３４は、取得部３２が取得した現在の撮像画像データ(撮像画像）を、ＲＯＭ２４ｂから読み出した三次元形状モデルである仮想投影面Ｓｐに投影して、車両１０の周囲の状況を示す車両周囲画像Ｐを生成する（Ｓ１０４）。
【００５２】
続いて、透過度取得部３８ｃは、自車画像Ｍの透過状態が決定済みか判定する（Ｓ１０６）。まだ、自車画像Ｍの透過状態が決定されていない場合（Ｓ１０６のＮｏ）、設定部３６は、例えば、表示装置１６に仮想視点Ｋの位置を指定させる旨のメッセージ等を表示し、仮想視点Ｋの位置を操作入力部２０等により利用者に指定させて、仮想視点Ｋの位置を設定する（Ｓ１０８）。なお、仮想視点Ｋの位置は、デフォルト値として、以降の処理を実行して、図８に示すような表示画面４４を表示した上で、仮想視点Ｋの位置を変更させるようにしてもよい。設定部３６は、設定した仮想視点Ｋの位置にしたがい、車両周囲画像Ｐの表示方向を決定する（Ｓ１１０）。例えば、図８のように自車画像Ｍを右後方の上方から見下ろすように表示するか、図１１のように、自車画像Ｍを前方の上方から見下ろすように表示するか等を決定する。
【００５３】
続いて、自車画像取得部３８ａは、ＲＯＭ２４ｂ等の記憶部から自車画像Ｍのデータを取得し（Ｓ１１２）、設定部３６が設定した仮想視点Ｋの位置にしたがって、自車画像Ｍの表示姿勢を決定する（Ｓ１１４）。この場合、表示態様変更部３８ｂは、操作入力部２０等を用いて利用者がズーム状態等を指定している場合、その指定にしたがい、自車画像Ｍの表示サイズや車両周囲画像Ｐのズーム状態を決定する。
【００５４】
そして、透過度取得部３８ｃは、設定部３６が設定した各ポリゴンＰＬの個別面の透過度にしたがい、自車画像Ｍの透過状態を決定する（Ｓ１１６）。そして、色合成部３８ｄは、例えば車両１０のボディカラーに対応する色で自車画像Ｍを着色する色合成を実行する（Ｓ１１８）。そして、重畳部３８ｅは、色合成された自車画像Ｍを生成部３４が生成した車両周囲画像Ｐに重畳して（Ｓ１２０）、表示装置１６に表示させる図８〜図１１に示すような表示画面４４を完成させる。そして、出力部３８ｆは、利用者が操作入力部２０等を介して仮想視点Ｋの変更操作を行っているか否かを確認し（Ｓ１２２）、変更操作がない場合（Ｓ１２２のＮｏ）、Ｓ１２０で完成した表示画面４４を表示制御部２４ｄに出力し（Ｓ１２４）、表示装置１６で表示させて、一旦このフローを終了する。Ｓ１２２において、出力部３８ｆが、仮想視点Ｋの位置の変更操作が行われたと判定した場合（Ｓ１２２のＹｅｓ）、Ｓ１０６に移行する。この場合、仮想視点Ｋの位置の変更に伴い、自車画像Ｍの透過状態が変化するので、再度、設定部３６は、仮想視点Ｋの位置の設定を行い、Ｓ１０８以降の処理を繰り返し実行する。なお、次の処理周期において、Ｓ１０６において、前回処理で、自車画像Ｍの透過状態が決定済みの場合（Ｓ１０６のＹｅｓ）、Ｓ１２０に移行して、現在の車両周囲画像Ｐに透過状態が決定済みの自車画像Ｍを重畳する。つまり、最新の車両周囲画像Ｐに自車画像Ｍを重畳したリアルタイムの周辺監視画像（表示画面４４）を表示装置１６に表示するようにする。
【００５５】
このように、実施形態の周辺監視装置によれば、障害物検出センサ等を用いた障害物検出を行うことなく、自車画像Ｍにより隠される部分の視認性を向上するとともに、自車画像Ｍ（車両１０）と周囲との関係を直感的に把握させやすい表示を行うことができる。
【００５６】
なお、上述した実施形態では、構成面の透過状態が決定された自車画像Ｍを車両周囲画像Ｐに重畳した画像を車両１０に車載された表示装置１６に表示し、車両１０に搭乗している利用者が表示内容を確認できる構成を説明した。他の実施形態では、車両１０の車外に存在する外部表示装置に、車載の表示装置１６で表示する画像と実質的に同じ内容の画像を表示するようにしてもよい。図１３は、外部表示装置６０に表示する場合を示す例示的かつ模式的な説明図である。外部表示装置６０としては、例えば、表示装置を備えるスマートフォンやタブレット端末等の携帯端末等である。この場合、例えば、処理部３８の出力部３８ｆ（図３参照）は、外部表示装置６０との間で表示要求の送受信や仮想視点Ｋの位置選択や移動、画像内容の拡縮操作等を指示するための制御信号の送受信、処理部３８で生成した画像の送信等を行う送受信モジュールを含む。送受信モジュールは、例えば、外部表示装置６０との間で認証が確立した場合に、外部表示装置６０に画像を送信する。
【００５７】
例えば、車両１０の車外にいる利用者が、当該利用者が所持するスマートフォンやタブレット等の携帯端末を操作して車両１０を遠隔自動駐車させる、自動駐車システムを備える車両１０であったとする。このような車両１０において、利用者が車両１０の車外で、遠隔自動駐車を実行する場合に、利用者が所持する外部表示装置６０に表示される画像を確認させることにより、利用者にとって死角となる領域、例えば、車両１０の向こう側の状況を把握させることができる。その結果、利用者は、車両１０の周囲を移動しながら安全確認を行うことなく、外部表示装置６０の画面を確認しながら遠隔自動駐車等の操作を行うことができる。したがって、自動駐車システムを、より安全に、より容易に利用させることができる。なお、外部表示装置６０も、車載の表示装置１６と同様に画面上に示される各種アイコン（例えば、アイコン５６ａ，５６ｂ等）や操作スイッチ等を用いて、仮想視点Ｋの設定や位置変更、画像の拡縮等が可能である。
【００５８】
また、別の実施形態において、外部表示装置６０は、車外設けられる別システムの表示装置でもよい。例えば、車両１０が自動走行システムを備える場合、車両１０の走行を管理する管制センタ等に設置された表示装置に本実施形態の周辺監視システム１００の生成した、構成面の透過状態が決定された自車画像Ｍを車両周囲画像Ｐに重畳した画像を表示してもよい。この場合、遠隔地においても、車両１０の周囲状況の確認や車両１０と周囲に存在する物体との位置関係の確認を容易に行うことができる。その結果、自動走行システム等、遠隔操作が可能なシステムをより安全に、より容易に利用させることができる。
【００５９】
なお、上述した実施形態において、ポリゴンＰＬの個別面に垂直な法線ベクトルｎのＹ軸の方向の値（Ｙ成分）の大きさに基づき透過度を算出して、路面の向きに近い面ほど透過度が高くなる例を説明した。別の実施形態では、例えば、ポリゴンＰＬの個別面に垂直な法線ベクトルｎのＺ軸の方向の値（Ｚ成分）の大きさに基づき透過度を算出してもよい。この場合、Ｚ軸方向の透過状態を変化させることができる。例えば、仮想視点Ｋが、自車画像Ｍの前方または後方において車高以下の位置で設定された場合、自車画像Ｍを前方から見た場合に前後方向の構成面（フロングリルやリヤドア等）が透過し、後方の例えば、自車画像Ｍ越しに他車両５０を表示することができる。同様に、ポリゴンＰＬの個別面に垂直な法線ベクトルｎのＸ軸の方向の値（Ｘ成分）の大きさに基づき透過度を算出してもよい。この場合、Ｘ軸方向の透過状態を変化させることができる。例えば、仮想視点Ｋが自車画像Ｍの側方において車高以下の位置で設定された場合、自車画像Ｍを側方から見た場合に車幅方向の構成面（左右に側面）が透過し、自車画像Ｍ越しにガードレール５４等を表示することができる。また、仮想視点Ｋが予め決められている場合、自車画像Ｍを予め二次元画像として用意しておき、重畳させてもよい。これにより、低性能のＣＰＵでも本実施形態と同様に、自車画像Ｍにより隠される部分の視認性を向上するとともに、自車画像Ｍ（車両１０）と周囲との関係を直感的に把握させやすい表示を行うことができる。
【００６０】
また、上述した実施形態では、撮像部１４の撮像した撮像画像（データ）を図５に示すような三次元形状モデルである仮想投影面Ｓｐに投影して、三次元の車両周囲画像Ｐを生成し、そこに三次元形状の自車画像Ｍを重畳する例を説明した。別の実施形態では、撮像部１４の撮像した撮像画像（データ）を平面モデルに投影してもよい。つまり、図４のような撮像画像を繋ぎ合わせた平面画像に、三次元形状の自車画像Ｍを重畳してもよい。この場合、車両周囲画像に含まれる物体が縁部に向かう程延びるが、車両周囲画像の生成のための演算負荷が軽減され、低性能のＣＰＵ２４ａでも、本実施形態のように、透過状態を構成面の向きに応じて決定した自車画像Ｍを用いた表示が可能であり、自車画像Ｍにより遮られる遮蔽領域を表示可能とすることができる。
【００６１】
なお、上述した実施形態では、自車画像Ｍを構成する構成面の透過状態を、当該構成面の向きに応じて決定する例を示した。別の実施形態では、構成面の透過状態を仮想視点Ｋの位置と構成面の向きに応じて決定してもよい。例えば、仮想視点Ｋの位置が車両１０の側面や前面、後面等と同じ高さまで下がった場合、つまり、車両１０を側方や前方、後方等から水平視に近い状態で臨む場合、透過度を高くする面が路面の向きに近い面（例えば、天井部分）に代えて、路面に対して垂直な向きに近い側面や前面、後面を透過状態にする場合がある。このような場合に仮想視点Ｋの位置を考慮して、透過度を決定することにより、より実用性の高い表示を行うことができる。
【００６２】
実施形態のＣＰＵ２４ａで実行される周辺監視処理のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００６３】
さらに、周辺監視処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施形態で実行される周辺監視処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００６４】
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６５】
１０…車両、１４，１４ａ，１４ｂ，１４ｃ，１４ｄ…撮像部、１６…表示装置、２０…操作入力部、２２…モニタ装置、２４…ＥＣＵ、２４ａ…ＣＰＵ、２４ｂ…ＲＯＭ、３０…周辺監視部、３２…取得部、３４…生成部、３６…設定部、３８…処理部、３８ａ…自車画像取得部、３８ｂ…表示態様変更部、３８ｃ…透過度取得部、３８ｄ…色合成部、３８ｅ…重畳部、３８ｆ…出力部、４４…表示画面、４６…影画像、４８…蓋付き側溝、５０…他車両、５４…ガードレール、６０…外部表示装置、１００…周辺監視システム、Ｍ…自車画像、Ｐ…車両周囲画像。
【図１】
2020088697.tif 000003
【図２】
2020088697.tif 000004
【図３】
2020088697.tif 000005
【図４】
2020088697.tif 000006
【図５】
2020088697.tif 000007
【図６】
2020088697.tif 000008
【図７】
2020088697.tif 000009
【図８】
2020088697.tif 000010
【図９】
2020088697.tif 000011
【図１０】
2020088697.tif 000012
【図１１】
2020088697.tif 000013
【図１２】
2020088697.tif 000014
【図１３】
2020088697.tif 000015