(57)【要約】【課題】牽引車両が被牽引車両を連結する場合に、被牽引車両や被牽引車両の周囲がより自然で認識しやすい状態で表示できる周辺監視装置を提供する。【解決手段】周辺監視装置は、被牽引車両を連結可能な牽引車両の周囲の状況を撮像する撮像部から得られる画像を取得する画像取得部と、画像を投影可能で、牽引車両の接地面から高さ方向に立ち上がる側面を備える三次元の仮想投影面を取得する投影面取得部と、画像を仮想投影面に投影する投影処理部と、仮想投影面に対する視点位置と注視点位置と、を設定する視点設定部と、仮想投影面に対する視点位置から注視点位置を見た映像を表示装置に表示させる画像表示部と、牽引車両に被牽引車両が連結されているか否かを判定する判定部と、を備え、判定部の判定結果に応じて、仮想投影面の形状と視点位置と注視点位置と視点位置を移動させる視点移動速度のうち、少なくとも一つを変更する。【選択図】図４
2019097077.tif 000002
【特許請求の範囲】
【請求項１】
被牽引車両を連結可能な牽引車両の周囲の状況を撮像する撮像部から得られる画像を取得する画像取得部と、
前記画像を投影可能で、前記牽引車両の接地面から高さ方向に立ち上がる側面を備える三次元の仮想投影面を取得する投影面取得部と、
前記画像を前記仮想投影面に投影する投影処理部と、
前記仮想投影面に対する視点位置と注視点位置と、を設定する視点設定部と、
前記仮想投影面に対する前記視点位置から前記注視点位置を見た映像を表示装置に表示させる画像表示部と、
前記牽引車両に前記被牽引車両が連結されているか否かを判定する判定部と、
を備え、
前記判定部の判定結果に応じて、前記仮想投影面の形状と前記視点位置と前記注視点位置と前記視点位置を移動させる視点移動速度のうち、少なくとも一つを変更する周辺監視装置。
【請求項２】
前記投影面取得部は、前記被牽引車両が箱形形状の車両の場合、前記牽引車両の後方側の前記仮想投影面の前記側面が前記被牽引車両の前面壁の近傍で立ち上がるような形状に変更する請求項１に記載の周辺監視装置。
【請求項３】
前記投影面取得部は、前記被牽引車両が平面形状の荷台車両の場合、前記牽引車両の後方側の前記仮想投影面の前記側面が前記被牽引車両の車輪の近傍で立ち上がるような形状に変更する請求項１に記載の周辺監視装置。
【請求項４】
前記視点設定部は、前記被牽引車両が連結されている場合、前記注視点位置を前記被牽引車両のホイールベースの長さに基づき前記牽引車両の後端部と前記被牽引車両の車輪との間のいずれかの位置に変更する請求項１から請求項３のいずれか１項に記載の周辺監視装置。
【請求項５】
前記視点設定部は、前記被牽引車両が連結されている場合、前記被牽引車両が連結されていない場合より前記視点位置を高くする請求項２から請求項４のいずれか１項に記載の周辺監視装置。
【請求項６】
前記視点設定部は、前記視点位置を少なくとも前記牽引車両の上空で当該牽引車両の周囲を旋回するような旋回軌道に沿って移動させる場合、前記被牽引車両が連結されている場合は、前記被牽引車両が連結されていない場合より前記旋回軌道の半径を広げる請求項２から請求項５のいずれか１項に記載の周辺監視装置。
【請求項７】
前記視点設定部は、前記被牽引車両が連結されている場合で、前記視点位置を少なくとも前記牽引車両の上空で当該牽引車両の周囲を旋回するような旋回軌道に沿って移動させる場合は、前記被牽引車両が視野に含まれるときの前記旋回軌道に沿う前記視点移動速度を前記被牽引車両が視野に含まれないときより遅くする請求項２から請求項６のいずれか１項に記載の周辺監視装置。
【請求項８】
前記画像取得部は、少なくとも前記牽引車両の後方画像と側方画像とを取得し、
前記投影処理部は、前記後方画像と前記側方画像とを接続して周辺合成画像を形成する場合、前記被牽引車両が連結されている場合は、前記被牽引車両が連結されていない場合よりも前記側方画像による表示領域が前記後方画像による表示領域より広くなるように前記側方画像と前記後方画像との境界位置を決定する請求項１から請求項７のいずれか１項に記載の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、周辺監視装置に関する。
【背景技術】
【０００２】
従来、車両の周囲の状況を複数のカメラで撮像して得られた撮像画像を用いて、仮想視点から見たような合成画像を生成する画像処理装置が提案されている。この画像処理装置の場合、仮想視点の位置、視線の向き、および焦点距離のうち少なくともいずれか一つを車両の走行状態に応じて変更するように構成されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３３００３３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、車両の中には、牽引車両（トラクタ）として機能して被牽引車両（トレーラ）を牽引可能なものがある。また、牽引車両には、運搬専用に用いる専用車両の他、通常は乗用車として用い、レジャー等の際にキャンピングトレーラや小型ボート等を牽引したり、不定期に資材等の荷物を運搬したりする場合に用いる兼用車両がある。このような被牽引車両を連結した牽引車両の場合、周囲状況を示す画像の提供は有効である。被牽引車両が連結された牽引車両の運転に不慣れな場合には、特に有効である。しかしながら、従来の技術の場合、自車両を中心とした表示になるため、被牽引車両を連結した場合の被牽引車両の表示に関しては、歪みを伴う違和感のあるものになったり、被牽引車両の周囲の確認がし難い表示になったりする場合があった。
【０００５】
そこで、本発明の課題の一つは、牽引車両が被牽引車両を連結する場合に、被牽引車両や被牽引車両の周囲がより自然で認識しやすい状態で表示できる周辺監視装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の実施形態にかかる周辺監視装置は、例えば、被牽引車両を連結可能な牽引車両の周囲の状況を撮像する撮像部から得られる画像を取得する画像取得部と、上記画像を投影可能で、上記牽引車両の接地面から高さ方向に立ち上がる側面を備える三次元の仮想投影面を取得する投影面取得部と、上記画像を上記仮想投影面に投影する投影処理部と、上記仮想投影面に対する視点位置と注視点位置と、を設定する視点設定部と、上記仮想投影面に対する上記視点位置から上記注視点位置を見た映像を表示装置に表示させる画像表示部と、上記牽引車両に上記被牽引車両が連結されているか否かを判定する判定部と、を備え、上記判定部の判定結果に応じて、上記仮想投影面の形状と上記視点位置と上記注視点位置と上記視点位置を移動させる視点移動速度のうち、少なくとも一つを変更する。この構成によれば、例えば、牽引車両に被牽引車両が連結されていない場合と連結されている場合とで、それぞれ最適な仮想投影面の形状と視点位置と注視点位置と視点位置を移動させる視点移動速度の少なくとも一つが選択され、それぞれで車両やその周囲の状況が見やすい画像を提供することができる。
【０００７】
また、実施形態にかかる周辺監視装置の上記投影面取得部は、例えば、上記被牽引車両が箱形形状の車両の場合、上記牽引車両の後方側の上記仮想投影面の上記側面が上記被牽引車両の前面壁の近傍で立ち上がるような形状に変更してもよい。この態様によれば、例えば、箱形形状の被牽引車両の前面壁部分が、仮想投影面の立ち上がった側面に投影されるので、被牽引車両の前面壁の投影像も立ち上がり、より実物に近い状態で表示されやすくなる。
【０００８】
また、実施形態にかかる周辺監視装置の上記投影面取得部は、例えば、上記被牽引車両が平面形状の荷台車両の場合、上記牽引車両の後方側の上記仮想投影面の上記側面が上記被牽引車両の車輪の近傍で立ち上がるような形状に変更してもよい。この構成によれば、例えば、平面形状の荷台車両の車輪より手前（牽引車両側）が仮想投影面の立ち上がった側面より手前で表示されるので、平面形状の部分の投影像が立ち上がらず、より実物に近い状態で表示されやすくなる。
【０００９】
また、実施形態にかかる周辺監視装置の上記視点設定部は、例えば、上記被牽引車両が連結されている場合、上記注視点位置を上記被牽引車両のホイールベースの長さに基づき上記牽引車両の後端部と上記被牽引車両の車輪との間のいずれかの位置に変更してもよい。この構成によれば、例えば、注視点が常に被牽引車両に向けられるとともに、注視点の位置が被牽引車両のホイールベースの長さに応じて決められるので、表示画像に被牽引車両が常時表示されるようにすることができる。
【００１０】
また、実施形態にかかる周辺監視装置の上記視点設定部は、例えば、上記被牽引車両が連結されている場合、上記被牽引車両が連結されていない場合より上記視点位置を高くしてもよい。この構成によれば、例えば、被牽引車両が連結されている場合には、見下ろし範囲が広くなり、牽引車両に連結された被牽引車両のより多くの部分を表示することが可能になる。
【００１１】
また、実施形態にかかる周辺監視装置の上記視点設定部は、例えば、上記視点位置を少なくとも上記牽引車両の上空で当該牽引車両の周囲を旋回するような旋回軌道に沿って移動させる場合、上記被牽引車両が連結されている場合は、上記被牽引車両が連結されていない場合より上記旋回軌道の半径を広げるようにしてもよい。この構成によれば、例えば、被牽引車両が連結されている場合には、見下ろし範囲が広くなり、牽引車両に連結された被牽引車両のより多くの部分を表示することが可能になる。
【００１２】
また、実施形態にかかる周辺監視装置の上記視点設定部は、例えば、上記被牽引車両が連結されている場合で、上記視点位置を少なくとも上記牽引車両の上空で当該牽引車両の周囲を旋回するような旋回軌道に沿って移動させる場合は、上記被牽引車両が視野に含まれるときの上記旋回軌道に沿う上記視点移動速度を上記被牽引車両が視野に含まれないときより遅くしてもよい。この構成によれば、例えば、被牽引車両を含む領域がゆっくりと表示されるため、被牽引車両およびその周囲の状況の視認性を向上しやすくなる。
【００１３】
また、実施形態にかかる周辺監視装置において、例えば、上記画像取得部は、少なくとも上記牽引車両の後方画像と側方画像とを取得し、上記投影処理部は、上記後方画像と上記側方画像とを接続して周辺合成画像を形成する場合、上記被牽引車両が連結されている場合は、上記被牽引車両が連結されていない場合よりも上記側方画像による表示領域が上記後方画像による表示領域より広くなるように上記側方画像と上記後方画像との境界位置を決定するようにしてもよい。この構成によれば、例えば、被牽引車両が連結されている場合、被牽引車両の側方の状況を示す側方画像が、周辺合成画像においてより多く利用されることにより、被牽引車両の側方を含め、被牽引車両の後方領域を臨むような画像が生成可能となり、被牽引車両の周囲の視認性を向上しやすくなる。
【図面の簡単な説明】
【００１４】
【図１】図１は、実施形態にかかる周辺監視装置を搭載する牽引車両と被牽引車両の連結状態の一例を模式的に示す側面図である。
【図２】図２は、実施形態にかかる周辺監視装置を搭載する牽引車両と被牽引車両の連結状態の一例を模式的に示す上面図である。
【図３】図３は、実施形態にかかる周辺監視装置を含む周辺監視システムの構成の例示的なブロック図である。
【図４】図４は、実施形態にかかる周辺監視装置のＣＰＵの構成の例示的なブロック図である。
【図５】図５は、実施形態にかかる周辺監視装置を含む周辺監視システムにおける仮想投影面の形状、視点軌道、注視点の位置の一例を示す図であり、被牽引車両が連結されていない場合を示す模式図である。
【図６】図６は、実施形態にかかる周辺監視装置を含む周辺監視システムにおける仮想投影面の形状、視点軌道、注視点の位置の一例を示す図であり、被牽引車両が連結されている場合を示す模式図である。
【図７】図７は、実施形態にかかる周辺監視装置を含む周辺監視システムにおいて、箱形形状の被牽引車両が連結されている場合に、一例として仮想投影面の側面を被牽引車両の前面壁の近傍で立ち上がるように変更する場合を示す模式図である。
【図８】図８は、実施形態にかかる周辺監視装置を含む周辺監視システムにおいて、荷台形状の被牽引車両が連結されている場合に、一例として仮想投影面の側面を被牽引車両の車輪の近傍で立ち上がるように変更する場合を示す模式図である。
【図９】図９は、実施形態にかかる周辺監視装置を含む周辺監視システムにおいて、被牽引車両が連結されている場合に、一例として視点軌道の半径を拡大変更する場合を示す模式図である。
【図１０】図１０は、実施形態にかかる周辺監視装置を含む周辺監視システムにおいて、被牽引車両が連結されている場合に、一例として視点軌道の高さを上昇変更する場合を示す模式図である。
【図１１】図１１は、実施形態にかかる周辺監視装置を含む周辺監視システムにおいて、被牽引車両が連結されている場合に、一例として視点軌道を移動する視点移動速度を部分的に変更する場合を示す模式図である。
【図１２】図１２は、実施形態にかかる周辺監視装置を含む周辺監視システムにおいて、被牽引車両が連結されている場合に、一例として注視点の位置を変更する場合を示す模式図である。
【図１３】図１３は、実施形態にかかる周辺監視装置を含む周辺監視システムにおいて、被牽引車両が連結されていない場合と連結されている場合とで、後方画像と側方画像とを合成する際の境界位置を変更する場合を示す模式図である。
【図１４】図１４は、実施形態にかかる周辺監視装置を含む周辺監視システムにおいて、被牽引車両が連結されていないときの投影形態で、被牽引車両が連結された牽引車両を投影した場合の表示例を示す模式図である。
【図１５】図１５は、実施形態にかかる周辺監視装置を含む周辺監視システムにおいて、被牽引車両が連結されているときに、仮想投影面の形状を変更した場合の表示例を示す模式図である。
【図１６】図１６は、実施形態にかかる周辺監視装置を含む周辺監視システムにおいて、被牽引車両が連結されているときに、仮想投影面の形状と注視点の位置を変更した場合の表示例を示す模式図である。
【図１７】図１７は、実施形態にかかる周辺監視装置を含む周辺監視システムにおいて、被牽引車両が連結されているときに、仮想投影面の形状、注視点の位置および視点位置を変更した場合の表示例を示す模式図である。
【図１８】図１８は、実施形態にかかる周辺監視装置による表示処理の一例を説明するフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
【００１６】
図１は、実施形態の周辺監視装置を搭載する牽引車両１０および牽引車両１０に牽引される被牽引車両１２が示された側面図である。図１では、紙面左方向を牽引車両１０を基準とする前方、紙面右方向を牽引車両１０を基準とする後方としている。図２は、図１に示す牽引車両１０および被牽引車両１２の上面図である。
【００１７】
牽引車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。牽引車両１０は図１に示されるようなスポーツ用多目的車両（Sport  Utility  Vehicle：ＳＵＶ）であってもよいし、車両の後ろ側に荷台が設けられている、いわゆる「ピックアップトラック」であってもよい。また、一般的な乗用車であってもよい。牽引車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、牽引車両１０における車輪１４（前輪１４Ｆ、後輪１４Ｒ）の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
【００１８】
牽引車両１０のリヤバンパ１６の例えば車幅方向の中央部の下部からは、被牽引車両１２を牽引するための牽引装置１８（ヒッチ）が突出している。牽引装置１８は牽引車両１０の例えばフレームに固定されている。牽引装置１８は、一例として、垂直方向（車両上下方向）に立設された先端部が球状のヒッチボール１８ａを備え、このヒッチボール１８ａに、被牽引車両１２に固定された連結部材２０の先端部に設けられたカプラ２０ａが覆い被さる。その結果、牽引車両１０と被牽引車両１２とが連結されるとともに、牽引車両１０に対して被牽引車両１２が車幅方向に揺動（旋回）可能となっている。つまり、ヒッチボール１８ａは、被牽引車両１２（連結部材２０）に前後左右の動きを伝え、また加速や減速のパワーを受け止めることになる。
【００１９】
被牽引車両１２は、例えば、図１に示すように、搭乗空間、居住区間、収納空間等のうち少なくとも一つを含む箱形タイプであってもよいし、荷物（例えば、コンテナやボート等）を搭載する荷台タイプであってもよい。図１に示す被牽引車両１２は、駆動輪や操舵輪を含まない従動輪として一対のトレーラ車輪２２を備える従動車両である。
【００２０】
また、図１、図２に例示されるように、牽引車両１０には、複数の撮像部２４として、例えば四つの撮像部２４ａ〜２４ｄが設けられている。撮像部２４は、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＩＳ（CMOS  image  sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部２４は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部２４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮像することができる。また、撮像部２４の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部２４は、牽引車両１０が移動可能な路面や物体（障害物として、例えば、歩行者、車両等）を含む牽引車両１０の外部の周辺環境を逐次撮像し、撮像画像データとして出力する。
【００２１】
撮像部２４ａ（後方撮像部）は、例えば、牽引車両１０の後側のリヤハッチ１０ａの下方の壁部に位置される。撮像部２４ａは、牽引車両１０の後端部（リヤバンパ１６）、牽引装置１８、連結部材２０および被牽引車両１２の少なくとも前端部を含む領域（例えば、撮像部２４ａを起点とする二点鎖線で示す範囲、図１、図２参照）を撮像可能である。撮像部２４ａによって撮像された撮像画像データは、被牽引車両１２の認識および、牽引車両１０と被牽引車両１２の連結状態（例えば、連結角度、連結の有無等）の検出に用いることができる。この場合、撮像部２４ａの撮像した撮像画像データに基づき牽引車両１０と被牽引車両１２との連結状態や連結角度が取得できるので、システム構成が簡略化できるとともに、演算処理や画像処理の負荷が軽減できる。
【００２２】
また、撮像部２４ｂ（左側方撮像部）は、例えば、牽引車両１０の左側の端部、例えば左側のドアミラー１０ｂに設けられて、牽引車両１０の左側方を中心とする領域（例えば図２において、撮像部２４ｂを起点に二点鎖線で示す左前方から左後方の領域）を含む左側方画像を撮像する。したがって、撮像部２４ｂは、被牽引車両１２の左側方から当該被牽引車両１２の左後方領域を臨む画像も撮像可能である。撮像部２４ｃ（前方撮像部）は、例えば、牽引車両１０の前側、すなわち車両前後方向の前方側の端部、例えばフロントグリル１０ｃやフロントバンパ等に設けられて、牽引車両１０の前方を含む前方画像（例えば図２において、撮像部２４ｃを起点に二点鎖線で示す領域）を撮像する。撮像部２４ｄ（右側方撮像部）は、例えば、牽引車両１０の右側の端部、例えば右側のドアミラー１０ｄに設けられて、牽引車両１０の右側方を中心とする領域（例えば図２において、撮像部２４ｄを起点に二点鎖線で示す右前方から右後方の領域）を含む右側方画像を撮像する。したがって、撮像部２４ｄは、被牽引車両１２の右側方から当該被牽引車両１２の右後方領域を臨む画像も撮像可能である。複数の撮像部２４で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、牽引車両１０を上方から見た仮想的な俯瞰画像（平面画像）を生成したりすることができる。また、撮像部２４で撮像した画像は、被牽引車両１２の有無の判定、被牽引車両１２の形状の判定等にも利用することができる。
【００２３】
図３は、牽引車両１０に搭載される周辺監視装置を含む周辺監視システム１００の構成の例示的なブロック図である。牽引車両１０の車室内には、図３に示されるように、表示装置２６や、音声出力装置２８が設けられている。表示装置２６は、例えば、ＬＣＤ（liquid  crystal  display）や、ＯＥＬＤ（organic  electroluminescent  display）等である。音声出力装置２８は、例えば、スピーカである。また、表示装置２６は、例えば、タッチパネル等、透明な操作入力部３０で覆われている。乗員（例えば、運転者）は、操作入力部３０を介して表示装置２６の表示画面に表示される画像を視認することができる。また、乗員は、表示装置２６の表示画面に表示される画像に対応した位置で手指等で操作入力部３０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置２６や、音声出力装置２８、操作入力部３０等は、例えば、牽引車両１０のダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置３２に設けられている。モニタ装置３２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置３２は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
【００２４】
また、図３に例示されるように、周辺監視システム１００（周辺監視装置）は、撮像部２４（２４ａ〜２４ｄ）やモニタ装置３２に加え、ＥＣＵ（electronic  control  unit）３４が含まれる。
【００２５】
ＥＣＵ３４は、例えば、ＣＰＵ（central  processing  unit）３４ａや、ＲＯＭ（read  only  memory）３４ｂ、ＲＡＭ（random  access  memory）３４ｃ、表示制御部３４ｄ、音声制御部３４ｅ、ＳＳＤ（solid  state  drive、フラッシュメモリ）３４ｆ等を有している。ＣＰＵ３４ａは、ＲＯＭ３４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＣＰＵ３４ａは、例えば、図４に示すような各種モジュールを備え、表示装置２６で表示される画像に関連した画像処理を実行する。例えば、ＣＰＵ３４ａは、撮像部２４が撮像した撮像画像データに演算処理や画像処理を実行して、周辺画像（例えば、俯瞰画像）を生成する。ＣＰＵ３４ａの詳細は後述する。
【００２６】
ＲＡＭ３４ｃは、ＣＰＵ３４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部３４ｄは、ＥＣＵ３４での演算処理のうち、主として、表示装置２６で表示される画像データの合成等を実行する。また、音声制御部３４ｅは、ＥＣＵ３４での演算処理のうち、主として、音声出力装置２８で出力される音声データの処理を実行する。ＳＳＤ３４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ３４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ３４ａや、ＲＯＭ３４ｂ、ＲＡＭ３４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ３４は、ＣＰＵ３４ａに替えて、ＤＳＰ（digital  signal  processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ３４ｆに替えてＨＤＤ（hard  disk  drive）が設けられてもよいし、ＳＳＤ３４ｆやＨＤＤは、ＥＣＵ３４とは別に設けられてもよい。
【００２７】
以下の説明では、周辺監視システム１００は、牽引車両１０に搭載された撮像部２４で撮像された撮像画像データに基づく画像を、図５に示すような、例えばお椀形状の三次元形状モデルである仮想投影面Ｓｐに投影することで三次元合成画像を表示装置２６に表示する。本実施形態において、周辺監視システム１００は、牽引車両１０に被牽引車両１２が連結されていない場合と、連結されている場合とで、撮像部２４が撮像した画像を表示するときに仮想投影面Ｓｐの形状と視点位置と注視点位置と視点位置を移動させる視点移動速度の少なくとも一つを変更することで、表示装置２６に表示される三次元画像をより認識しやすい形態で提供することができる。
【００２８】
仮想投影面Ｓｐを用いた投影は、周知の種々の技術が利用可能であり、詳細な説明は省略するが、仮想投影面Ｓｐは、例えば、図５に示すように、地面Ｇｒに沿った底面Ｓｐｇと、底面Ｓｐｇから立ち上がった側面Ｓｐｓと、を有している。地面Ｇｒは、牽引車両１０（被牽引車両１２）の高さ方向（上下方向）と直交する水平面であり、牽引車両１０の車輪１４の接地面でもある。底面Ｓｐｇは、例えば略円形の平坦面であり、牽引車両１０を基準とする水平面である。側面Ｓｐｓは、底面Ｓｐｇと接して底面Ｓｐｇの一部から高さ方向に立ち上り底面Ｓｐｇを取り囲む、例えば曲面である。仮想投影面Ｓｐは、座標（Ｘ，Ｙ，Ｚ）が規定されるメッシュ構造のデータである。また、各撮像部２４（２４ａ〜２４ｄ）が撮像した撮像画像データの各画素のデータにもそれぞれ座標（Ｘ，Ｙ，Ｚ）が定められ、撮像画像データの各画素の座標を、例えば、予め定められた対応にしたがいメッシュの交点（座標Ｘ，Ｙ，Ｚで規定される交点）に投影することにより、撮像画像（データ）から三次元合成画像（データ）が生成される。そして、生成された三次元合成画像に対して、仮想視点の位置を変更することにより、牽引車両１０を直上から見下ろすような画像や、牽引車両１０を右前方や左後方等任意の位置から見たような画像を表示することができる。また、注視点（視線の方向）を変更することで、注目したい領域を設定することができる。例えば、注視点を固定した状態で、視点を移動させるムービングビューを表示することにより、注視点で注目する部分を様々な方向から観察できるような表示が可能になる。
【００２９】
図５の場合、仮想投影面Ｓｐを被牽引車両１２が連結されていない牽引車両１０を中心として設定し、仮想投影面Ｓｐの底面Ｓｐｇと平行で牽引車両１０の中心を軌道中心とする軌道高さＨ１の視点軌道Ｒで視点Ｖｐが移動し、注視点Ｔｐを臨む状態が示されている。この場合、牽引車両１０を中心とする周辺画像が仮想投影面Ｓｐの底面Ｓｐｇおよび側面Ｓｐｓに投影される三次元合成画像が得られる。なお、三次元合成画像上では、牽引車両１０に対応する自車アイコンが表示されるとともに、仮想投影面Ｓｐ（底面Ｓｐｇおよび側面Ｓｐｓ）は視認されないような態様で表示装置２６に表示される。
【００３０】
ＥＣＵ３４に含まれるＣＰＵ３４ａは、上述したような三次元合成画像を生成する場合に、牽引車両１０に被牽引車両１２が連結されていない場合と連結されている場合とで、撮像部２４が撮像した画像の投影形態を変更する処理を実行するための各種モジュールを備える。各種モジュールは、ＣＰＵ３４ａがＲＯＭ３４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される。例えば、ＣＰＵ３４ａは、図４に示されるように、取得部３６、連結判定部３８、視点設定部３９、投影処理部４０、画像表示部４２等のモジュールを備える。
【００３１】
取得部３６は、周辺監視処理を実現するための各種情報を取得するモジュールとして、モード取得部３６ａ、画像取得部３６ｂ、投影面取得部３６ｃ、アイコン取得部３６ｄ、被牽引車両情報取得部３６ｅ等を含む。
【００３２】
モード取得部３６ａは、例えば、表示装置２６に表示可能なナビゲーション画面やオーディオ画面等の通常表示モードと、撮像部２４の画像を用いた周辺監視表示モードと、の切り替えを要求する表示モード切替信号を、例えば運転者が操作入力部３０等を介して入力した場合に取得する。また、モード取得部３６ａは、牽引車両１０に被牽引車両１２が連結されていないときの周辺監視画像（三次元合成画像）を表示する非牽引表示モードと、被牽引車両１２が連結されているときの三次元合成画像を表示する牽引表示モードと、の切り替えを要求する監視モード切替信号を、例えば運転者が操作入力部３０等を介して入力した場合や撮像部２４が撮像した撮像画像データに基づいて被牽引車両１２の有無が判定されて、判定信号が出力された場合に取得する。また、三次元合成画像を視点を変更しながら表示するムービングビューとするか、静止画で表示するかを指定する表示態様切替信号も取得することができる。なお、モード取得部３６ａは、三次元合成画像の表示を終了させることを示す終了信号を取得することもできる。終了信号は、例えは運転者が操作入力部３０を介して入力した場合に出力される。また、三次元合成画像を表示装置２６に表示するには適さない車両状態になったりしたとき、例えば、牽引車両１０が走行を開始した場合（例えば時速５ｋｍ／ｈ以上）に自動的に出力されたりする。
【００３３】
画像取得部３６ｂは、モード取得部３６ａが周辺監視表示モードへの切り替えを要求する表示モード切替信号を取得した場合に、牽引車両１０の周囲状況を表示するために必要な画像情報を取得する。例えば、画像取得部３６ｂは、牽引車両１０の周辺を撮像する撮像部２４ａ〜２４ｄから、複数の撮像画像データ（例えば、前方画像、左側方画像、右側方画像、後方画像等のデータ）を取得する。取得した画像は、実画像としてそのままの態様（例えば、後方画像のみ）で表示装置２６に逐次表示される場合と、図５で説明したような三次元合成画像が生成されて表示される場合と、その両方が表示される場合とがある。なお、撮像部２４ａが撮像した後方画像は、牽引車両１０に被牽引車両１２が連結されているか否かの判定に利用することもできる。また、撮像部２４ａが撮像した後方画像は、連結された被牽引車両１２の形状を判定する場合にも利用することができる。
【００３４】
投影面取得部３６ｃは、例えば、ＲＯＭ３４ｂやＳＳＤ３４ｆ等に予め記憶された三次元形状モデルとしての仮想投影面Ｓｐを取得する（図５、図６等参照）。仮想投影面Ｓｐは、例えば、被牽引車両１２が牽引車両１０に連結されていない場合に用いる、牽引車両１０の周囲を取り囲む基準の仮想投影面Ｓｐの他、主として被牽引車両１２が牽引車両１０に連結されている場合に用いる、側面Ｓｐｓの形成態様が異なる複数の仮想投影面Ｓｐが予め準備され記憶されていてもよい。例えば、底面Ｓｐｇからの側面Ｓｐｓの立上り位置を底面Ｓｐｇの中心から遠ざかる方向に段階的に移動させたような仮想投影面Ｓｐや底面Ｓｐｇに対する側面Ｓｐｓの立上り角度（側面Ｓｐｓの勾配）を段階的に異ならせた仮想投影面Ｓｐ等が複数準備されうる。また、別の実施形態では、投影面取得部３６ｃは、ＣＰＵ３４ａが取得した各種情報に基づき基準の仮想投影面Ｓｐに対する変形率等を算出して形成された変形後の仮想投影面Ｓｐを取得してもよい。
【００３５】
アイコン取得部３６ｄは、三次元合成画像を表示するときに、撮像部２４で撮像した撮像画像データに基づいて表示できない自車（牽引車両１０）を示す自車アイコンを取得する。自車アイコンは、牽引車両１０の形状に対応する三次元データで構成され、三次元合成画像を表示する場合に、仮想投影面Ｓｐの中に図５で示す牽引車両１０に対応するように表示され、視点Ｖｐの位置に応じて表示される面や向きを変化させることができる。なお、自車アイコンは、牽引車両１０に対応する形状や色彩のアイコンであってもよいし、簡易的なアイコンであったり抽象的なアイコンであったりしてもよい。
【００３６】
ところで、牽引車両１０には、種々の仕様（長さ）の被牽引車両１２が連結可能であり、被牽引車両１２は、その仕様によりホイールベースの長さ（カプラ２０ａからトレーラ車輪２２の車軸までの長さ）や連結部材２０の長さ（カプラ２０ａから被牽引車両１２の前面壁１２ａまでの長さ）が異なる。そこで、被牽引車両情報取得部３６ｅは、例えば、操作入力部３０を介して入力された被牽引車両１２のホイールベースの長さや、連結部材２０の長さ等の情報を取得する。また、被牽引車両情報取得部３６ｅは、被牽引車両情報として被牽引車両１２の形状情報（例えば、箱形タイプの箱形車両や荷台タイプの荷台車両等）を取得してもよい。運転者がこれらの被牽引車両情報を入力する場合は、例えば被牽引車両１２の仕様書等を参考に行うことができる。被牽引車両情報は、仮想投影面Ｓｐの形状や注視点の位置を決定する際に利用することができる。なお、被牽引車両情報取得部３６ｅは、後方画像を画像処理することにより被牽引車両１２の形状情報を取得してもよい。
【００３７】
連結判定部３８は、例えば、牽引車両１０の運転者が被牽引車両１２を連結した場合に操作入力部３０等を操作することで入力した入力情報に基づき連結判定を行うことができる。また、画像取得部３６ｂが取得した牽引車両１０の後方画像に画像処理を施して被牽引車両１２が認識できた場合に、その認識情報に基づき連結判定を行ってもよい。また、牽引装置１８にセンサを設け、牽引装置１８と連結部材２０との連結が検出できた場合の検出情報に基づき連結判定を行ってもよい。また、牽引車両１０と被牽引車両１２とが連結された場合、牽引車両１０の制御に基づき被牽引車両１２の後端部に設けられたストップランプや方向指示器、車幅灯等の点灯制御が行われる。この場合、牽引車両１０と被牽引車両１２との間で制御線の接続が行われる。連結判定部３８は、この制御線の接続が成立したことを示す信号に基づき連結判定を行ってもよい。なお、連結判定部３８は、被牽引車両１２の連結判定を行った場合、被牽引車両情報を入力させる画面を表示装置２６に表示し、被牽引車両情報取得部３６ｅが入力された被牽引車両情報を取得できるようにしてもよい。
【００３８】
視点設定部３９は、牽引車両１０に被牽引車両１２が連結されていない場合と連結されている場合とで、画像取得部３６ｂが取得した画像を表示するときの仮想投影面Ｓｐに対する視点位置と注視点位置と、を設定する。視点設定部３９は、そのためのモジュールとして、例えば、視点変更部３９ａと注視点変更部３９ｂを含む。
【００３９】
視点変更部３９ａは、牽引車両１０に被牽引車両１２が連結されていない場合と連結されている場合とで、視点Ｖｐの位置を変更する。例えば、図９は、視点変更部３９ａが視点Ｖｐの軌道半径を変化させることにより視点Ｖｐの位置を変更させる例である。図９の場合、視点変更部３９ａは、牽引車両１０に被牽引車両１２が連結されていない場合の視点軌道Ｒから牽引車両１０に被牽引車両１２が連結されている場合の視点軌道Ｒ１に変更する。このように、視点軌道Ｒから視点軌道Ｒ１に広げることにより、俯瞰視する場合の見下ろし領域が広がり、被牽引車両１２の投影像が三次元合成画像に表示されている場合に被牽引車両１２の多くの部分を表示させることができる。
【００４０】
また、図１０に示すように視点変更部３９ａは、視点Ｖｐの軌道高さを変化させることにより視点Ｖｐの位置を変更させることができる。図１０の場合、牽引車両１０に被牽引車両１２が連結されていない場合の視点軌道Ｒの軌道高さＨ１より牽引車両１０に被牽引車両１２が連結されている場合の視点軌道Ｒ２の軌道高さＨ２を高くするように変更する。このように、視点軌道Ｒから視点軌道Ｒ２に軌道の高さを高くすることにより、俯瞰視する場合の見下ろし領域が広がり、被牽引車両１２の投影像が三次元合成画像に表示されている場合に被牽引車両１２の多くの部分を表示させることができる。
【００４１】
また、視点変更部３９ａは、図６に示すように、牽引車両１０に被牽引車両１２が連結されている場合、視点軌道Ｒの中心を視点軌道Ｒ３のように被牽引車両１２側に移動させることで視点Ｖｐの位置を変更するようにしてもよい。この場合、視点Ｖｐが視点軌道Ｒ３に沿って移動する際に、被牽引車両１２を捕らえる期間が長くなり、三次元合成画像上で被牽引車両１２の投影像の視認性を向上させることができる。
【００４２】
視点変更部３９ａは、図１１に示すように、被牽引車両１２が連結されている場合で、視点Ｖｐの位置を少なくとも牽引車両１０の上空で当該牽引車両１０の周囲を旋回するような視点軌道Ｒに沿って移動させる場合（注視点Ｔｐは例えば牽引車両１０の中心位置）は、被牽引車両１２が視野に含まれるときの視点軌道Ｒに沿う視点移動速度Ｖａを被牽引車両１２が視野に含まれないときの視点移動速度Ｖｂより遅くするように視点Ｖｐの位置を変更してもよい。この場合、被牽引車両１２が視野に含まれる場合に視点Ｖｐが視点移動速度Ｖａでゆっくりと移動するため、被牽引車両１２が視界に入っている場合は、入っていない場合に比べて、表示期間が長くなり被牽引車両１２の投影像の視認性が向上する。例えば、被牽引車両１２の周辺の状況を詳細に検討する時間を得ることができる。
【００４３】
注視点変更部３９ｂは、牽引車両１０に被牽引車両１２が連結されていない場合と連結されている場合とで、視点Ｖｐから臨む方向である注視点Ｔｐの位置を変更する。例えば、注視点変更部３９ｂは牽引車両１０に被牽引車両１２が連結されていない場合、例えば、図１２に示すように、牽引車両１０の中心位置に注視点Ｔｐの位置を設定し、牽引車両１０に被牽引車両１２が連結されている場合は、注視点Ｔｐの位置を被牽引車両１２のホイールベースの長さに基づき牽引車両１０の後端部と被牽引車両１２のトレーラ車輪２２との間のいずれかの位置（例えばＴｐ１〜Ｔｐ２）に変更する。このように、被牽引車両１２が連結されている場合に、注視点Ｔｐの位置を牽引車両１０より後の位置に変更することにより、視点Ｖｐを視点軌道Ｒに沿って移動させる際に、被牽引車両１２を表示領域の中に捕らえている期間が長くなり、被牽引車両１２や被牽引車両１２の周囲状況をより理解させやすい表示が可能になる。なお、図１２に示すように、被牽引車両１２が荷台１２ｃで構成される被牽引車両１２Ｆの場合は、注視点Ｔｐは注視点Ｔｐ２に変更する。その結果、荷台１２ｃの状態や荷台１２ｃに搭載する荷物の状態を表示しやすくなる。一方、被牽引車両１２が図７に示すような箱形の車体１２ｂの被牽引車両１２Ｂの場合は、注視点Ｔｐは注視点Ｔｐ１に変更する。その結果、被牽引車両１２Ｂの連結姿勢や被牽引車両１２Ｂの連結状態等を表示することができる。なお、被牽引車両１２が荷台１２ｃの態様の被牽引車両１２Ｆの場合でも注視点Ｔｐを注視点Ｔｐ１に変更してもよく、被牽引車両１２Ｆの連結姿勢や連結状態を表示するようにしてもよい。
【００４４】
投影処理部４０は、牽引車両１０に被牽引車両１２が連結されていない場合と連結されている場合とで、撮像部２４の撮像した撮像画像データに基づく画像を仮想投影面Ｓｐに投影する処理を実行するためのモジュールとして、投影面変更部４０ａ、境界位置変更部４０ｂ等を含む。
【００４５】
投影面変更部４０ａは、牽引車両１０に被牽引車両１２が連結されていない場合と連結されている場合とで、仮想投影面Ｓｐの底面Ｓｐｇから側面Ｓｐｓが立ち上がる位置を変更する。例えば、図５に示す状態から図６に示す状態に変更する。図６の場合、側面Ｓｐｓが立ち上がる位置が牽引車両１０に接近する方向に変更されている例である。牽引車両１０に被牽引車両１２が連結されていない場合には、図５に示すように、牽引車両１０を中心に置くような仮想投影面ＳｐをＲＯＭ３４ｂ等から取得する。このような仮想投影面Ｓｐに撮像画像を投影することにより、牽引車両１０を中心として所定距離離れた位置（底面Ｓｐｇから側面Ｓｐｓが立ち上がる位置）から遠方の画像が側面Ｓｐｓに投影される。その結果、牽引車両１０の周囲の状況が立体化され、自然に近い状態で遠方まで表示される三次元合成画像が生成できる。図５の場合、注視点Ｔｐは牽引車両１０の中心位置（車長方向および車幅方向の略中央位置）に設定されている例であり、視点Ｖｐを視点軌道Ｒに沿って移動させることにより、牽引車両１０（三次元合成画像では、牽引車両１０に対応する位置に表示された自車アイコン）の周囲から牽引車両１０（自車アイコン）越しに奥側の状況が視認しやすいムービングビューが表示できる。
【００４６】
一方、牽引車両１０に被牽引車両１２が連結されている場合には、図６に示すように、例えば、牽引車両１０の後方側の仮想投影面Ｓｐの側面Ｓｐｓが被牽引車両１２の前面壁１２ａの近傍で立ち上がるように仮想投影面ＳｐをＲＯＭ３４ｂ等から取得する。図５と比較すると、被牽引車両１２が存在する側の側面Ｓｐｓ（Ｓｐｓ１）が牽引車両１０に近づく方向に移動している。このような仮想投影面Ｓｐに撮像画像を投影することにより、牽引車両１０に連結された被牽引車両１２の前面壁１２ａが丁度底面Ｓｐｇから立ち上がった側面Ｓｐｓ（Ｓｐｓ２）に投影されやすくなる。つまり、底面Ｓｐｇに対して車高方向に立ち上がる被牽引車両１２の前面壁１２ａが、底面Ｓｐｇ（地面Ｇｒ）に張り付くように投影されるのではなく、底面Ｓｐｇから立ち上がる側面Ｓｐｓ（Ｓｐｓ２）に投影される。その結果、被牽引車両１２の前面壁１２ａは本来の姿勢に近い姿勢で表示され、被牽引車両１２の投影像の不自然さが軽減される。
【００４７】
このように、投影面変更部４０ａは、モード取得部３６ａが取得する非牽引表示モードまたは牽引表示モードにしたがって、仮想投影面Ｓｐの形状を変更することができる。
【００４８】
また、投影面変更部４０ａは、図７、図８に示すように、牽引車両１０に連結される被牽引車両１２の形状に応じて仮想投影面Ｓｐの形状を変更してもよい。図７は、牽引車両１０に箱形形状の車体１２ｂで構成される被牽引車両１２Ｂが連結されている場合である。図７は図５の場合と同様に、投影面変更部４０ａは、仮想投影面Ｓｐの牽引車両１０の後方側の側面Ｓｐｓが被牽引車両１２Ｂの前面壁１２ａの近傍で立ち上がるような仮想投影面ＳｐをＲＯＭ３４ｂ等から取得する。この場合も底面Ｓｐｇに対して車高方向に立ち上がる被牽引車両１２Ｂの前面壁１２ａが、底面Ｓｐｇ（地面Ｇｒ）に投影されて底面Ｓｐｇに張り付くように表示されるのではなく、側面Ｓｐｓ２に投影され、前面壁１２ａが本来の姿勢に近い姿勢で表示される。その結果、被牽引車両１２Ｂの前面壁１２ａは本来の姿勢に近い姿勢で表示され、被牽引車両１２Ｂの投影像の不自然さが軽減される。
【００４９】
一方、図８は、牽引車両１０に平面形状の荷台１２ｃで構成される被牽引車両１２Ｆが連結されている場合である。図８の場合、投影面変更部４０ａは、仮想投影面Ｓｐの牽引車両１０の後方側の側面Ｓｐｓ２が被牽引車両１２Ｆのトレーラ車輪２２の近傍で立ち上がるような仮想投影面ＳｐをＲＯＭ３４ｂ等から取得する。この場合、底面Ｓｐｇに対して平行に延びる平面形状の荷台１２ｃが、側面Ｓｐｓに投影されて立ち上がっているように表示されるのではなく、平面形状の荷台１２ｃの大部分は、底面Ｓｐｇ（地面Ｇｒ）に投影される。つまり、被牽引車両１２Ｆの荷台１２ｃが本来の姿勢に近い姿勢で表示される。その結果、被牽引車両１２Ｆの投影像の不自然さが軽減される。
【００５０】
また、別の実施形態では、仮想投影面Ｓｐの底面Ｓｐｇから側面Ｓｐｓが立ち上がる場合に姿勢（立上り角度）を変更してもよい。例えば、図５に示すように外側に傾いた側面Ｓｐｓをさらに外側に傾けたり、逆に鉛直方向に起き上がらせたりして、牽引車両１０に連結された被牽引車両１２の形状に応じた投影面を形成するようにしてもよい。
【００５１】
境界位置変更部４０ｂは、画像取得部３６ｂが少なくとも撮像部２４ａによって牽引車両１０の後方画像を取得するとともに撮像部２４ｂ（撮像部２４ｄ）で牽引車両１０の側方画像を取得している場合、後方画像と側方画像とを接続して周辺合成画像を生成する際の接続部分の位置、すなわち境界位置を変更することができる。境界位置変更部４０ｂは、牽引車両１０に被牽引車両１２が連結されている場合は、被牽引車両１２が連結されていない場合よりも側方画像による表示領域が後方画像による表示領域より広くなるように側方画像と後方画像との境界位置を決定する。例えば、図１３において、牽引車両１０に被牽引車両１２が連結されていない場合には、後方画像と側方画像の境界位置を例えば牽引車両１０の側面を基準とする境界角度θ１に基づいて決定する。また、牽引車両１０に被牽引車両１２が連結されている場合には、後方画像と側方画像の境界位置を例えば牽引車両１０の側面を基準とする境界角度θ２に基づいて決定する。この場合、牽引車両１０に被牽引車両１２が連結されていない場合には、後方画像による表示領域が側方画像による表示領域より多く利用された周辺合成画像となる。例えば、撮像部２４ａは、牽引車両１０の後方をほぼ正面から撮像するため、牽引車両１０の側面に設置された撮像部２４ｂ（撮像部２４ｄ）によって後方を撮像した場合よりは、歪みが少ない画像となる。したがって、牽引車両１０に被牽引車両１２が連結されていない場合、つまり、牽引車両１０の後方を遮る被牽引車両１２が存在しない場合には、後方画像を主として利用した周辺合成画像を生成する。このような周辺合成画像を仮想投影面Ｓｐに投影することにより、比較的歪みの少ない状態で牽引車両１０の後方の広範囲の状況を表示することができる。
【００５２】
一方、牽引車両１０に被牽引車両１２が連結されている場合には、撮像部２４ａが撮像する後方画像の大部分が被牽引車両１２によって遮られ、被牽引車両１２の周囲状況を得ることは難しくなる。そのため、後方画像の利用範囲を狭くすることにより後方画像では、被牽引車両１２の前面壁１２ａを主として表示するようにして、その他の領域は、利用領域を拡大させた側方画像を用いた周辺合成画像を生成する。この場合、周辺合成画像は、被牽引車両１２の側方を含め、被牽引車両１２の後方領域を臨むような画像となる。このような周辺合成画像を仮想投影面Ｓｐに投影することにより、被牽引車両１２が連結されている場合でも、被牽引車両１２の周囲の視認性を向上させることができる。なお、前方画像、右側方画像および左側方画像との合成を行う場合の境界位置は、例えば予め定めておいた境界位置を用いて右前方および左前方が違和感なく表示できるようにしてもよいし、周囲の状況に応じて境界位置変更部４０ｂが変更するようにしてもよい。
【００５３】
なお、視点変更部３９ａ、注視点変更部３９ｂ、投影面変更部４０ａ、境界位置変更部４０ｂにおいて、牽引車両１０に被牽引車両１２が連結されているか否かは、モード取得部３６ａが取得する各切替信号や画像取得部３６ｂが取得する後方画像を画像処理することによって判定することができる。また、被牽引車両１２の形状は、例えば、画像取得部３６ｂが取得する後方画像を画像処理することにより判定したり、被牽引車両情報取得部３６ｅが取得する被牽引車両情報等に基づいて判定したりすることができる。
【００５４】
画像表示部４２は、仮想投影面Ｓｐに対する視点位置から注視点位置を見た映像を表示装置２６に表示させる。つまり、画像表示部４２は、視点設定部３９が変更した視点位置や注視点位置、投影処理部４０が変更した仮想投影面Ｓｐの形状や境界位置にしたがい画像取得部３６ｂが取得した画像を仮想投影面Ｓｐに投影して表示装置２６に表示させるためのモジュールとして、画像生成部４２ａ、三次元処理部４２ｂ、表示処理部４２ｃ等を含む。
【００５５】
画像生成部４２ａは、画像取得部３６ｂで取得された後方の撮像画像データ、左側方の撮像画像データ、前方の撮像画像データおよび右側方の撮像画像データを境界位置変更部４０ｂが決定した境界位置に基づき合成することで繋ぎ、一つの撮像画像データを生成する。なお、後方の撮像画像データと右側方および左側方の撮像画像データを合成する場合、および前方の撮像画像データと右側方および左側方の撮像画像データを合成する場合、境界部分をそのまま合成すると境界線が明確に現れてしまう場合がある。例えば、撮像部２４ａの撮像した後方画像と、撮像部２４ｂの撮像した左側方画像とで、日光やライトの当たり方等によって画像の明るさや色合いが異なる場合がある。この場合、明るさや色合いの違いによる境界線が現れ、合成された一つの撮像画像データに基づく画像の品質が低下してしまう場合がある。そこで、画像生成部４２ａは、例えば、後方画像の水平方向の端部と右側方画像（左側方画像）の水平方向の端部とが重なる重複領域を設定する。そして、画像生成部４２ａは、重複領域においては、後方画像の撮像画像データと右側方画像（左側方画像）の撮像画像データのそれぞれａ％を利用して画像を合成する、いわゆるブレンド処理を実行してもよい。ブレンド処理を実行することにより、後方画像と右側方画像（左側方画像）とが、徐々に変化するように合成され、明るさや色合いの違いによって生じる境界線を目立ちにくくすることができる。前方画像と右側方画像（左側方画像）とにおいても同様なブレンド処理を施すことができる。
【００５６】
三次元処理部４２ｂは、投影面取得部３６ｃで取得した仮想投影面Ｓｐ（三次元形状モデル）に、画像生成部４２ａで合成した撮像画像データを投影して三次元合成画像のデータを生成する。前述したように、仮想投影面Ｓｐは、座標（Ｘ，Ｙ，Ｚ）が規定されたメッシュ構造のデータである。また、画像生成部４２ａで合成した撮像画像データの各画素にも座標（Ｘ，Ｙ，Ｚ）が割り付けられている。したがって、撮像画像データの各画素の座標（Ｘ，Ｙ，Ｚ）を予め定められた対応関係にしたがい仮想投影面Ｓｐのメッシュの交点（座標Ｘ，Ｙ，Ｚで規定される交点）に投影することで三次元合成画像を生成することができる。また、三次元処理部４２ｂは、アイコン取得部３６ｄが取得した自車アイコンの各画素の座標（Ｘ，Ｙ，Ｚ）も仮想投影面Ｓｐの座標に投影して三次元合成画像に自車アイコンを反映させる。
【００５７】
表示処理部４２ｃは、三次元処理部４２ｂで生成された三次元合成画像に対して、視点Ｖｐの位置や視点軌道Ｒ、視点Ｖｐの視点移動速度、注視点Ｔｐの位置等を変更して表示装置２６に表示させる。その結果、周辺監視システム１００は、牽引車両１０に被牽引車両１２が連結されていない場合には、牽引車両１０（自車アイコン）を上空から見下ろすような画像や、自車アイコンの周囲を確認させるような画像を提供することができる。視点Ｖｐを視点軌道Ｒによって移動させれば、表示装置２６上で自車アイコン（牽引車両１０）の周囲を一周または複数周見渡すような画像（ムービングビュー）を提供することができる。また、周辺監視システム１００は、牽引車両１０に被牽引車両１２が連結されている場合には、被牽引車両１２の投影像を違和感が軽減された状態にしつつ、牽引車両１０や被牽引車両１２を上空から見下ろすような画像や、牽引車両１０と被牽引車両１２の連結部を確認させるような画像、牽引車両１０や被牽引車両１２の周囲を確認させるような画像等を提供することができる。この場合も視点Ｖｐを視点軌道Ｒによって移動させれば、表示装置２６上で自車アイコン（牽引車両１０）や被牽引車両１２の投影像の周囲を一周または複数周見渡すようなムービングビューを提供することができる。特に、注視点Ｔｐを牽引車両１０より後方に変更することや、視点軌道Ｒの中心を被牽引車両１２側に移動させることにより、表示中に常に被牽引車両１２の投影像が表示領域に含まれるようなムービングビューの提供も可能になる。
【００５８】
図１４は、牽引車両１０に被牽引車両１２が連結されている場合に、被牽引車両１２が連結されていない場合の表示態様で三次元合成画像を生成した場合の表示例（比較例）である。また、図１５〜図１７は、被牽引車両１２が連結されている場合の表示態様の変更を段階的に施した場合の三次元合成画像の表示例である。
【００５９】
図１４は、牽引車両１０に被牽引車両１２が連結されている状態で、図５に示す仮想投影面Ｓｐの形状、視点Ｖｐの高さ、視点軌道Ｒ、注視点Ｔｐの位置で三次元合成画像を生成したときの表示装置２６に表示される表示画像の一例である。この場合、仮想投影面Ｓｐは図７で破線で示される側面Ｓｐｓ１を備えるもので、被牽引車両１２の高さ方向に起立する前面壁１２ａが底面Ｓｐｇおよび側面Ｓｐｓ１に跨がって投影される状態となる。つまり、実際は起立している前面壁１２ａに対応する前面壁像４６ａの自車アイコン４４側が底面Ｓｐｇに投影され、途中から起立するように投影される。その結果、前面壁像４６ａ（被牽引車両投影像４６）の歪みが大きく違和感を伴う画像になる。なお、図１４は、視点Ｖｐが視点軌道Ｒ上の牽引車両１０の左前方の位置にある場合の三次元合成画像である。
【００６０】
図１５は、投影面変更部４０ａにより仮想投影面Ｓｐを被牽引車両１２が連結されている場合の表示態様に変更したときの例であり、例えば投影面変更部４０ａは図６に実線で示されるような側面Ｓｐｓ２を備える仮想投影面Ｓｐに変更した表示例である。この場合、被牽引車両１２に対応する被牽引車両投影像４６の前面壁１２ａは、側面Ｓｐｓ２にほぼ全体が投影されるため、三次元合成画像上の前面壁像４６ａは起立した状態で表示され、違和感が軽減された状態となる。
【００６１】
図１６は、投影面変更部４０ａによる仮想投影面Ｓｐの形状変更に加え、注視点変更部３９ｂによる注視点Ｔｐの位置を被牽引車両１２が連結されている場合の態様に変更したときの表示例である。例えば図１２において二点鎖線で示す被牽引車両１２が連結されていない場合に主として利用する注視点Ｔｐ（牽引車両１０の中央位置）から実線で示す注視点Ｔｐ１の位置（牽引車両１０と被牽引車両１２間の連結部材２０の位置）に変更した表示例である。この場合、自車アイコン４４と被牽引車両投影像４６との間で連結部材２０に対応する接続部像４８が視認しやすくなる。
【００６２】
図１７は、投影面変更部４０ａによる仮想投影面Ｓｐの形状変更、注視点変更部３９ｂによる注視点Ｔｐの位置変更に加え、視点変更部３９ａによる視点Ｖｐを被牽引車両１２が連結されている場合の態様に変更をしたときの表示例である。例えば、図６に示すように、視点軌道Ｒを被牽引車両１２側に移動するように変更した表示例である。この場合、視点Ｖｐが視点軌道Ｒを移動中に被牽引車両投影像４６が表示される期間が長くなる。例えば、視点Ｖｐが視点軌道Ｒを移動中、被牽引車両投影像４６が常時表示されるようにすることが可能であり、被牽引車両投影像４６（被牽引車両１２）の状態および周囲の状態がさらに視認しやすくなる。
【００６３】
上述のように構成される周辺監視装置（周辺監視システム１００）による表示処理の詳細を図１８のフローチャートに基づいて説明する。図１８に示す処理は、例えば、牽引車両１０のイグニッションスイッチがＯＮされ、かつ牽引車両１０が停車している場合に所定の処理周期で実行される。
【００６４】
まず、ＣＰＵ３４ａは、モード取得部３６ａにより周辺監視表示モードへの切り替えを要求する表示モード切替信号が取得されたか否かを確認する（Ｓ１００）。なお、表示モード切替信号は、例えば、牽引車両１０の停車中に運転者が操作入力部３０を操作することにより出力される。したがって、牽引車両１０の走行中には表示モード切替信号を出力させるための操作入力部３０の操作は無効化される。表示モード切替信号がモード取得部３６ａによって取得されない場合（Ｓ１００のＮｏ）、このフローを一旦終了する。したがって、表示装置２６では、通常画面として例えばナビゲーション画面やオーディオ画面等の表示が継続される。
【００６５】
Ｓ１００において、モード取得部３６ａが表示モード切替信号を取得した場合（Ｓ１００のＹｅｓ）、画像取得部３６ｂは、各撮像部２４（２４ａ〜２４ｄ）により牽引車両１０の周辺の画像の取得を開始する（Ｓ１０２）。続いて、連結判定部３８は、被牽引車両１２の連結があるか否かを判定する（Ｓ１０４）。例えば、操作入力部３０を介して運転者が入力した監視モード切替信号の内容を参照し、非牽引表示モードを要求したか、牽引表示モードを要求したかを判定する。そして、牽引表示モードが要求された場合、つまり被牽引車両１２の連結がある場合には（Ｓ１０４のＹｅｓ）、被牽引車両情報取得部３６ｅは、被牽引車両１２に関する被牽引車両情報を取得する（Ｓ１０６）。被牽引車両情報は、例えば、被牽引車両１２の形状や被牽引車両１２のホイールベースの長さ、連結部材２０の長さ等であり、操作入力部３０を介して運転者が入力した情報に基づいて取得することができる。なお、被牽引車両１２の形状は、画像取得部３６ｂが取得した後方画像を画像解析することによって取得してもよい。Ｓ１０４において、牽引車両１０に被牽引車両１２が連結されていないと判定された場合（Ｓ１０４のＮｏ）、Ｓ１０６の処理をスキップする。
【００６６】
続いて、投影面変更部４０ａは、投影面取得部３６ｃを介して、被牽引車両１２が連結されている場合は、被牽引車両情報取得部３６ｅが取得した被牽引車両情報（例えば、被牽引車両１２の形状情報やホイールベースの長さ）に基づき、仮想投影面Ｓｐの形状を例えばＲＯＭ３４ｂから取得する（Ｓ１０８）。例えば、被牽引車両１２が箱形タイプの場合、図７に示すように被牽引車両１２Ｂの前面壁１２ａの近傍で側面Ｓｐｓが立ち上がるような仮想投影面Ｓｐを取得する。また、投影面変更部４０ａは、被牽引車両１２が荷台タイプの場合、図８に示すように被牽引車両１２Ｆのトレーラ車輪２２近傍で側面Ｓｐｓが立ち上がるような仮想投影面Ｓｐを取得する。また、投影面変更部４０ａは、牽引車両１０に被牽引車両１２が連結されていない場合には、図５に示すように、牽引車両１０を中心として牽引車両１０全体を取り囲むように側面Ｓｐｓが立ち上がる仮想投影面Ｓｐを取得する。
【００６７】
そして、境界位置変更部４０ｂは、画像生成部４２ａが周辺合成画像のデータを生成する場合に用いる境界位置を被牽引車両１２の連結の有無により決定する（Ｓ１１０）。例えば、図１３に示すように、被牽引車両１２が連結されていない場合には、境界角度θ１に基づく境界位置を決定し、被牽引車両１２が連結されている場合には、境界角度θ２に基づく境界位置を決定する。そして、画像生成部４２ａは、画像取得部３６ｂが取得した各画像と境界位置変更部４０ｂが決定した境界位置に基づき繋ぎ合わせた撮像画像データ（周辺合成画像データ）を生成する（Ｓ１１２）。続いて、三次元処理部４２ｂは、投影面取得部３６ｃで取得した仮想投影面Ｓｐ（三次元形状モデル）に、画像生成部４２ａで合成した周辺合成画像データを投影して三次元合成画像データを生成する（Ｓ１１４）。
【００６８】
注視点変更部３９ｂは、被牽引車両１２の連結の有無に基づき、注視点Ｔｐの位置を決定するとともに（Ｓ１１６）、視点変更部３９ａは、視点軌道Ｒ（視点Ｖｐ）を決定する（Ｓ１１８）。被牽引車両１２が連結されていない場合には、例えば図５に示すような視点Ｖｐ、視点軌道Ｒ、注視点Ｔｐを決定する。また、被牽引車両１２が連結されている場合には、例えば、図６に示すような視点Ｖｐ、視点軌道Ｒ、注視点Ｔｐを決定する。
【００６９】
そして、表示処理部４２ｃは、三次元合成画像を表示する場合に視点Ｖｐを移動させることが要求されているか否かを判定する（Ｓ１２０）。例えば、運転者が視点Ｖｐを移動させることを要求する表示態様切替信号を操作入力部３０を介して入力し、モード取得部３６ａがその表示態様切替信号を取得した場合（Ｓ１２０のＹｅｓ）、視点Ｖｐを視点軌道Ｒに沿って移動させる（Ｓ１２２）。そして、表示処理部４２ｃは、表示装置２６に周辺監視画像としての三次元合成画像をムービングビューの態様で表示する（Ｓ１２４）。Ｓ１２０において、表示処理部４２ｃは、モード取得部３６ａが視点Ｖｐを移動させないことを示す表示態様切替信号を取得していた場合（Ｓ１２０のＮｏ）、表示処理部４２ｃは、表示装置２６に三次元合成画像を静止画の態様で表示する（Ｓ１２６）。
【００７０】
表示装置２６において、三次元合成画像が表示されたらＣＰＵ３４ａは、表示終了条件が成立したか否かを判定する（Ｓ１２８）。例えば、運転者が操作入力部３０を操作して三次元合成画像の表示の停止を要求する停止信号入力し、モード取得部３６ａが取得した場合に表示終了条件が成立したと判定する。また、他の例では、牽引車両１０が走行を開始した場合に出力される速度信号（例えば、５ｋｍ／ｈ以上）をモード取得部３６ａが取得した場合や、三次元合成画像が所定期間表示された場合（例えば、視点軌道Ｒに沿って車両周囲を２回旋回し終わった場合）等でも同様に表示終了条件が成立したと判定する。表示終了条件が成立したと判定された場合（Ｓ１２８のＹｅｓ）、表示処理部４２ｃは、表示装置２６の表示状態を三次元合成画像から通常画面であるナビゲーション画面やオーディオ画面に切り替えて、このフローを一旦終了する。一方、表示終了条件が成立していないと判定された場合（Ｓ１２８のＮｏ）、Ｓ１１６に戻り、Ｓ１１６以降の処理を繰り返す。このとき、例えば、運転者により視点Ｖｐや視点軌道Ｒの変更、注視点Ｔｐの変更等が要求された場合には、それらの要求に対応する表示態様に変更して引き続き三次元合成画像の表示を継続する。例えば、ムービングビューの表示中に操作入力部３０等を用いて注視点Ｔｐの位置や視点Ｖｐの位置等を変更することができる。同様に、ムービングビューを途中で止めて静止画を表示させることもできる。逆に静止画からムービングビューに変更することもできる。その結果、三次元合成画像の表示中に運転者が気になる部分を発見した場合、その部分を静止画で提供したり、拡大表示して提供したりすることが可能で、より正確な周辺状況を把握させやすくすることができる。また、表示処理部４２ｃは、牽引車両１０や被牽引車両１２の周囲に障害物等が発見された場合、その部分を自動的に静止画で表示したり、拡大表示したりしてもよい。
【００７１】
図１８に示すフローチャートは一例であり、牽引車両１０に被牽引車両１２が連結されているか否かに応じて、撮像部２４で撮像した画像を仮想投影面Ｓｐに投影して表示する際に、表示態様を変更して表示することができればよく、処理ステップの入れ替えや処理ステップの増減等が適宜可能で、同様の効果を得ることができる。
【００７２】
このように、本実施形態の周辺監視装置（周辺監視システム１００）によれば、牽引車両１０が被牽引車両１２を連結する場合に、被牽引車両１２や当該被牽引車両１２の周囲がより自然で認識しやすい状態で表示することができる。
【００７３】
なお、上述した実施形態において、仮想投影面Ｓｐの底面Ｓｐｇの形状は、側面Ｓｐｓの位置に拘わらず円形とした場合を示したが、被牽引車両１２の投影像が適切に投影できればよい。例えば、側面Ｓｐｓの位置を変更することにより、底面Ｓｐｇの形状が楕円になったり、不規則な形状になったりしてもよく、上述した実施形態と同様の効果を得ることができる。また、上述した実施形態において、ムービングビューを表示する際の視点軌道Ｒは円軌道である場合を示したが、ムービングビューのための軌道は適宜変更可能である。例えば、ムービングビューの開始時に高所から牽引車両１０および被牽引車両１２の両方を俯瞰視して、そこから降下してきて牽引車両１０や被牽引車両１２の周囲を旋回した後、再び高所に上昇しムービングビューを終了するよう軌道を取ってもよい。
【００７４】
また、上述した実施形態では、表示態様を変更する場合、仮想投影面Ｓｐの形状と、投影する場合の注視点Ｔｐの位置と、投影する場合の視点Ｖｐの位置（視点軌道Ｒ）を全て変更する例を示した。別の実施形態では、いずれか一つまたは、複数を組み合わせて変更してもよく、この場合も三次元合成画像の表示の改善に寄与することができる。
【００７５】
本実施形態のＣＰＵ３４ａで実行される周辺監視のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００７６】
さらに、周辺監視プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される周辺監視プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００７７】
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７８】
１０…牽引車両、１２，１２Ｂ，１２Ｆ…被牽引車両、１２ａ…前面壁、１２ｂ…車体、１２ｃ…荷台、１８…牽引装置、２０…連結部材、２４，２４ａ，２４ｂ，２４ｃ，２４ｄ…撮像部、２６…表示装置、３０…操作入力部、３４…ＥＣＵ、３４ａ…ＣＰＵ、３４ｂ…ＲＯＭ、３４ｃ…ＲＡＭ、３６…取得部、３６ａ…モード取得部、３６ｂ…画像取得部、３６ｃ…投影面取得部、３６ｄ…アイコン取得部、３６ｅ…被牽引車両情報取得部、３８…連結判定部、３９…視点設定部、３９ａ…視点変更部、３９ｂ…注視点変更部、４０…投影処理部、４０ａ…投影面変更部、４０ｂ…境界位置変更部、４２…画像表示部、４２ａ…画像生成部、４２ｂ…三次元処理部、４２ｃ…表示処理部、４４…自車アイコン、４６…被牽引車両投影像、４８…接続部像、１００…周辺監視システム、Ｒ…視点軌道、Ｓｐ…仮想投影面、Ｔｐ…注視点、Ｖｐ…視点。
【図１】
2019097077.tif 000003
【図２】
2019097077.tif 000004
【図３】
2019097077.tif 000005
【図４】
2019097077.tif 000006
【図５】
2019097077.tif 000007
【図６】
2019097077.tif 000008
【図７】
2019097077.tif 000009
【図８】
2019097077.tif 000010
【図９】
2019097077.tif 000011
【図１０】
2019097077.tif 000012
【図１１】
2019097077.tif 000013
【図１２】
2019097077.tif 000014
【図１３】
2019097077.tif 000015
【図１４】
2019097077.tif 000016
【図１５】
2019097077.tif 000017
【図１６】
2019097077.tif 000018
【図１７】
2019097077.tif 000019
【図１８】
2019097077.tif 000020