(57)【要約】      （修正有）【課題】牽引車と被牽引車の周囲を監視して、周囲状況をわかりやすく表示する。【解決手段】連結検出部２２ａが、牽引車１０と被牽引車３０が連結したことを検出したとき、画像変換部１６ｂが、牽引車１０の周囲の撮像部１２ａ，１２ｂ，１２ｃ，１２ｄで撮像された各画像を、牽引車１０を俯瞰した複数の第１俯瞰画像に変換し、被牽引車３０の周囲の撮像部３２ａ，３２ｂ，３２ｃで撮像された各画像を、被牽引車３０を俯瞰した複数の第２俯瞰画像に変換し、画像合成部１６ｃが、牽引車１０に対する被牽引車３０の姿勢に基づいて、複数の第１俯瞰画像と、複数の第２俯瞰画像と、を合成して第３合成画像を生成し、画像表示部２６ａに表示する。【選択図】図４
2015154406.tif 000002
【特許請求の範囲】
【請求項１】
車体の周囲に、複数の撮像部からなる第１周囲監視部を有する牽引車と、
車体の周囲に、複数の撮像部からなる第２周囲監視部を有する、前記牽引車に連結されて牽引される被牽引車と、
前記牽引車および前記被牽引車が有する複数の前記撮像部の各設置位置，各設置方向，各校正データ、および前記牽引車と前記被牽引車の連結位置を記憶した情報記憶部と、
前記牽引車と前記被牽引車が連結されたことを検出する連結検出部と、
前記牽引車に対する前記被牽引車の姿勢を検出する姿勢検出部と、
前記牽引車の前輪の向きを算出するタイヤ方向算出部と、
前記牽引車と前記被牽引車の予測進路を算出する予測進路算出部と、
前記第１周囲監視部で撮像された各画像を、前記第１周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて、第１仮想視点から俯瞰した複数の第１俯瞰画像に変換するとともに、前記第２周囲監視部で撮像された各画像を、前記第２周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて、第２仮想視点から俯瞰した複数の第２俯瞰画像に変換する画像変換部と、
前記複数の第１俯瞰画像と前記複数の第２俯瞰画像とを前記牽引車と前記被牽引車の連結位置において１枚の合成画像に合成する画像合成部と、
前記牽引車の運転者が視認可能な位置に、前記合成画像を表示する画像表示部と、を有して、前記連結検出部が前記牽引車と前記被牽引車の連結を検出したときに、前記画像変換部は複数の前記第１俯瞰画像と複数の前記第２俯瞰画像を生成して、前記画像合成部は前記姿勢検出部で検出された姿勢に基づいて前記合成画像を生成して、前記合成画像に前記牽引車の前輪の向きと前記牽引車、および前記被牽引車の予測進路を重畳して前記画像表示部に表示することを特徴とする牽引車用周囲監視装置。
【請求項２】
前記被牽引車は、前記第２周囲監視部が有する複数の前記撮像部の各設置位置，各設置方向，各校正データ、および前記牽引車との連結位置を記憶した第２情報記憶部と、
前記第２周囲監視部で撮像された各画像と前記第２情報記憶部に記憶された情報をそれぞれ前記牽引車に送信する情報送信部と、を備えて、
前記牽引車は、前記第１周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データ、および前記被牽引車との連結位置を記憶した第１情報記憶部と、
前記情報送信部から送信された情報を受信する情報受信部と、
前記第１周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて複数の前記第１俯瞰画像を生成し、前記第２周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて複数の前記第２俯瞰画像を生成する画像変換部と、
前記第１周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて複数の前記第１俯瞰画像を１枚の第１合成画像に合成し、前記第２周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて複数の前記第２俯瞰画像を１枚の第２合成画像に合成して、さらに、前記牽引車と前記被牽引車の連結位置、および、前記姿勢検出部で検出された姿勢に基づいて前記第１合成画像と前記第２合成画像を１枚の第３合成画像に合成する画像合成部と、を備えて、
前記連結検出部が前記牽引車と前記被牽引車の連結を検出したときに、前記情報受信部は前記情報送信部から送信された情報を受信して、前記画像変換部は複数の前記第１俯瞰画像と複数の前記第２俯瞰画像を生成して、前記画像合成部は前記第３合成画像を生成することを特徴とする請求項１に記載の牽引車用周囲監視装置。
【請求項３】
前記被牽引車は、前記被牽引車を特定する識別情報を記憶した識別情報記憶部と、前記第２周囲監視部で撮像された各画像と前記識別情報記憶部に記憶された識別情報をそれぞれ前記牽引車に送信する情報送信部と、を備えて、
前記牽引車は、前記第１周囲監視部が有する複数の撮像部の各設置位置、各設置方向，各校正データ、および前記被牽引車との連結位置を記憶した第１情報記憶部と、
前記送信部から送信された情報を受信する情報受信部と、
前記牽引車と連結される複数の被牽引車をそれぞれ特定する識別情報と複数の被牽引車がそれぞれ有する複数の撮像部の各設置位置、各設置方向，各校正データ、および前記牽引車と複数の被牽引車それぞれとの連結位置を記憶した第３情報記憶部と、
前記第１周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて複数の前記第１俯瞰画像を生成し、前記第２周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて複数の前記第２俯瞰画像を生成する画像変換部と、
前記第１周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて複数の前記第１俯瞰画像を１枚の第１合成画像に合成し、前記第２周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて複数の前記第２俯瞰画像を１枚の第２合成画像に合成して、さらに、前記牽引車と前記被牽引車の連結位置、および、前記姿勢検出部で検出された姿勢に基づいて前記第１合成画像と前記第２合成画像を１枚の第３合成画像に合成する画像合成部と、を備えて、
前記連結検出部が前記牽引車と前記被牽引車の連結を検出したときに、前記情報受信部は前記情報送信部から送信された情報を受信して、前記画像変換部は前記識別情報に基づいて前記牽引車に連結された前記被牽引車を特定して複数の前記第１俯瞰画像と複数の前記第２俯瞰画像を生成して、前記画像合成部は前記第３合成画像を生成することを特徴とする請求項１に記載の牽引車用周囲監視装置。
【請求項４】
前記画像合成部は、前記第１合成画像と前記第２合成画像の中から、同一位置が撮像される重複撮像領域を検出して、検出された前記重複撮像領域の中においては、前記第１周囲監視部と前記第２周囲監視部のうち、より高い解像度で撮像された情報を前記第３合成画像に反映させることを特徴とする請求項２または請求項３に記載の牽引車用周囲監視装置。
【請求項５】
前記画像合成部は、前記重複撮像領域の中で、前記第１周囲監視部と前記第２周囲監視部のうち、より近くから撮像された画像を前記第３合成画像に反映させることを特徴とする請求項４に記載の牽引車用周囲監視装置。
【請求項６】
前記第３合成画像は、同一位置に同一方向に向けて配置した前記第１合成画像の中の前記被牽引車との連結位置を示す位置に、前記第２合成画像の中の前記牽引車との連結位置を示す位置を合致させて、さらに、前記第２合成画像を、前記姿勢検出部が検出した姿勢に応じた量だけ回転して合成したものであることを特徴とする請求項２から請求項５のいずれか１項に記載の牽引車用周囲監視装置。
【請求項７】
前記第１合成画像は、前記牽引車の前方が上部に位置する向きに配置されることを特徴とする請求項６に記載の牽引車用周囲監視装置。
【請求項８】
前記連結検出部が前記牽引車と前記被牽引車の連結を検出したときには、前記第１周囲監視部が有する複数の撮像部のうち、前記被牽引車の陰となって前記牽引車の周囲が監視できない状態となる撮像部の出力を使用しないことを特徴とする請求項１から請求項７のいずれか１項に記載の牽引車用周囲監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、牽引車、および牽引車に牽引される被牽引車に搭載されて、車両の周囲状況を画像化して運転者に提示する牽引車用周囲監視装置に関するものである。
【背景技術】
【０００２】
近年、車両の周囲に複数のカメラを設置して、これらの複数のカメラで撮影した画像を、それぞれ座標変換して合成し、車両周囲の状況を１枚の俯瞰画像で表現して運転者に提示する周囲監視システムが実用化されている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２２１８６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された周囲監視装置は、１両の車両に搭載されることを前提とした周囲監視装置であった。このような周囲監視装置では、複数のカメラで撮像されたそれぞれの画像を、予め決められた規則に基づいて座標変換して、座標変換された各画像を１枚の画像に合成して表示している。したがって、牽引車とそれに連結された被牽引車のように、複数の車両が連結されて、なおかつ、前方の車両と後方の車両とで姿勢（向き）が変化する車両にあっては、座標変換された複数の画像を１枚の画像に合成する際の規則が、車両の姿勢に応じて変化するため、従来の周囲監視装置をそのまま適用することができなかった。
【０００５】
本発明は、上記課題に鑑みてなされたもので、牽引車、および牽引車に牽引される被牽引車に搭載されて、連結された複数の車両の姿勢に関わらず、車両の周囲状況を画像化して運転者に提示し、車両の周囲に存在する障害物の方向や位置を容易に認識させることができる牽引車用周囲監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る牽引車用周囲監視装置は、牽引車の周囲に存在する障害物と牽引車との位置関係を容易に確認することができるものである。
【０００７】
すなわち、本発明に係る牽引車用周囲監視装置は、車体の周囲に、複数の撮像部からなる第１周囲監視部を有する牽引車と、車体の周囲に、複数の撮像部からなる第２周囲監視部を有する、前記牽引車に連結されて牽引される被牽引車と、前記牽引車および前記被牽引車が有する複数の前記撮像部の各設置位置，各設置方向，各校正データ、および前記牽引車と前記被牽引車の連結位置を記憶した情報記憶部と、前記牽引車と前記被牽引車が連結されたことを検出する連結検出部と、前記牽引車に対する前記被牽引車の姿勢を検出する姿勢検出部と、前記牽引車の前輪の向きを算出するタイヤ方向算出部と、前記牽引車と前記被牽引車の予測進路を算出する予測進路算出部と、前記第１周囲監視部で撮像された各画像を、前記第１周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて、第１仮想視点から俯瞰した複数の第１俯瞰画像に変換するとともに、前記第２周囲監視部で撮像された各画像を、前記第２周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて、第２仮想視点から俯瞰した複数の第２俯瞰画像に変換する画像変換部と、前記複数の第１俯瞰画像と前記複数の第２俯瞰画像とを前記牽引車と前記被牽引車の連結位置において１枚の合成画像に合成する画像合成部と、前記牽引車の運転者が視認可能な位置に、前記合成画像を表示する画像表示部と、を有して、前記連結検出部が前記牽引車と前記被牽引車の連結を検出したときに、前記画像変換部は複数の前記第１俯瞰画像と複数の前記第２俯瞰画像を生成して、前記画像合成部は前記姿勢検出部で検出された姿勢に基づいて前記合成画像を生成して、前記合成画像に前記牽引車の前輪の向きと前記牽引車、および前記被牽引車の予測進路を重畳して前記画像表示部に表示することを特徴とする。
【０００８】
このように構成された本発明に係る牽引車用周囲監視装置によれば、連結検出部が、牽引車と被牽引車が連結したことを検出したときに、画像変換部が、牽引車の周囲に設置された第１周囲監視部を構成する複数の撮像部で撮像された各画像を、情報記憶部に記憶された、第１周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて第１仮想視点から俯瞰した複数の第１俯瞰画像に変換して、被牽引車の周囲に設置された第２周囲監視部を構成する複数の撮像部で撮像された各画像を、情報記憶部に記憶された、第２周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて第２仮想視点から俯瞰した複数の第２俯瞰画像に変換する。そして、画像合成部が、牽引車と被牽引車の連結位置と姿勢検出部が検出した姿勢に基づいて、複数の第１俯瞰画像と複数の第２俯瞰画像を合成して合成画像を生成する。さらに、生成された合成画像に、タイヤ方向算出部が算出した牽引車の前輪の向きと、予測進路算出部が算出した牽引車および被牽引車の予測進路を重畳して画像表示部に表示する。したがって、牽引車と被牽引車の周囲にある障害物の位置と方向を、牽引車と被牽引車の姿勢によらずに、容易に認識することができる。
【発明の効果】
【０００９】
本発明に係る牽引車用周囲監視装置によれば、牽引車が被牽引車を牽引しているときであっても、牽引車の周囲における障害物の位置と方向を容易に認識することができる。
【図面の簡単な説明】
【００１０】
【図１】（ａ）は代表的な牽引車の概略構造を示す上面図である。（ｂ）は図１（ａ）に示した牽引車の側面図である。
【図２】（ａ）は代表的な被牽引車の概略構造を示す上面図である。（ｂ）はコンテナ一体型の被牽引車の側面図である。（ｃ）はコンテナ別体型の被牽引車の側面図である。
【図３】本発明の一実施形態である実施例１のハードウェア構成要素を示すブロック図である。
【図４】本発明の一実施形態である実施例１の機能構成要素を示す機能ブロック図である。
【図５】（ａ）は、牽引車が被牽引車を牽引した状態で、上空に仮想視点を設置した様子を示す図である。（ｂ）は仮想視点を図５（ａ）の状態に設置したときに生成される合成画像の一例を示す図である。
【図６】複数の俯瞰画像同士を合成する際に行う画像の重ね合わせ処理について説明する図である。
【図７】実施例１において、牽引車が前進している際に生成される合成画像の一例を示す図である。
【図８】実施例１において、牽引車が後退している際に生成される合成画像の一例を示す図である。
【図９】実施例１において、画像表示部に表示される画像の一例を示す図である。
【図１０】実施例１で行う処理全体の流れを示すフローチャートである。
【図１１】図１０のフローチャートの中で行われる俯瞰画像の重ね合わせ処理の流れを示すフローチャートである。
【図１２】本発明の一実施形態である実施例２の機能構成要素を示す機能ブロック図である。
【図１３】実施例２で行う処理全体の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態である実施例１について、図面を参照して説明する。
【実施例１】
【００１２】
本実施例は、本発明を、牽引車と、その牽引車に牽引された被牽引車の周囲の画像を撮像して、運転者に、車両の周囲の画像を表示する、牽引車用周囲監視装置に適用したものである。
【００１３】
（牽引車と被牽引車の概略構造の説明）
まず、牽引車と被牽引車の概略構造について、図１（ａ），（ｂ）と図２（ａ），（ｂ），（ｃ）を用いて説明する。
【００１４】
牽引車１０は、図１（ａ），（ｂ）に示す概略構造を有している。すなわち、牽引車１０は図示しない動力源を有して、運転者の操作に応じて走行する。牽引車１０の前方には前方カメラ１２ａ（撮像部）が設置されて、牽引車１０の左側方には左側方カメラ１２ｂ（撮像部）が設置され、牽引車１０の後方には後方カメラ１２ｃ（撮像部）が設置されて、牽引車１０の右側方には右側方カメラ１２ｄ（撮像部）が設置されている。各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）は、それぞれ、牽引車１０の周囲に向けて設置されて、第１周囲監視部１２を構成し、牽引車１０の周囲の地面を含む画像を撮像する。
【００１５】
牽引車１０には、孔部を有する牽引車側連結部１４が設けられており、後述するように、この牽引車側連結部１４において被牽引車３０（４０）（図２（ｂ），（ｃ））と連結される。
【００１６】
各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）の設置位置，設置方向，校正データであるカメラ内部パラメータ（焦点距離，画像中心位置，歪収差係数等）と、牽引車側連結部１４の位置は予め計測されて、後述するメモリ１７（図３）に記憶されている。
【００１７】
被牽引車３０（４０）は、図２（ａ），（ｂ），（ｃ）に示す概略構造を有している。被牽引車３０（４０）は、前述した牽引車１０（図１（ｂ））に連結されて荷物の運搬等に使用され、その形態の違いによって様々なバリエーションを有している。図２（ｂ）は、被牽引車の一例であるコンテナ一体型被牽引車３０の側面図を示し、図２（ｃ）は、被牽引車の別の例であるコンテナ別体型被牽引車４０の側面図を示す。
【００１８】
被牽引車３０（４０）の左側方には左側方カメラ３２ａ（４２ａ）（撮像部）が設置されて、被牽引車３０（４０）の後方には後方カメラ３２ｂ（４２ｂ）（撮像部）が設置されて、被牽引車３０（４０）の右側方には右側方カメラ３２ｃ（４２ｃ）（撮像部）が設置されている。各カメラ（３２ａ，３２ｂ，３２ｃ）は、それぞれ、被牽引車３０（４０）の周囲に向けて設置されて、第２周囲監視部３２（４２）を構成し、被牽引車３０（４０）の周囲の地面を含む画像を撮像する。
【００１９】
被牽引車３０（４０）には、棒状の被牽引車側連結部３４（４４）が設けられており、この被牽引車側連結部３４（４４）が前述した牽引車側連結部１４と嵌合することによって、牽引車１０と被牽引車３０（４０）とが連結される。
【００２０】
各カメラ（３２ａ，３２ｂ，３２ｃ（４２ａ，４２ｂ，４２ｃ））の設置位置，設置方向，校正データであるカメラ内部パラメータ（焦点距離，画像中心位置，歪収差係数等）、および、被牽引車側連結部３４（４４）の位置は予め計測されて、後述するメモリ３７（図３）に記憶されている。
【００２１】
牽引車１０が被牽引車３０（４０）を連結して走行するときには、牽引車１０の向きと被牽引車３０（４０）の向きが牽引車側連結部１４または被牽引車側連結部３４（４４）を支点として変化するため、牽引車１０が単独で走行しているときと比べて、内輪差が大きくなる。したがって、交差点等においては、旋回時に歩行者や他の車両の巻き込みにより一層注意する必要がある。
【００２２】
なお、以後の説明は、コンテナ一体型被牽引車３０が牽引車１０に牽引される例を用いて行う。
（実施例１のシステム構成の説明）
【００２３】
次に、図３を用いて、実施例１に係る牽引車用周囲監視装置１００のハードウェア構成について説明する。牽引車用周囲監視装置１００は、牽引車側連結部１４と被牽引車側連結部３４において連結された、牽引車１０と、被牽引車３０と、からなり、牽引車１０には、第１周囲監視部１２を構成する前方カメラ１２ａ，左側方カメラ１２ｂ，後方カメラ１２ｃ，右側方カメラ１２ｄが設置されている。また、被牽引車３０には、第２周囲監視部３２を構成する左側方カメラ３２ａ，後方カメラ３２ｂ，右側方カメラ３２ｃが設置されている。なお、各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ，３２ａ，３２ｂ，３２ｃ）には、それぞれ約１８０度の画角を有する超広角レンズが装着されており、上記した各カメラによって、牽引車１０と被牽引車３０の全周囲を網羅する画像が撮像される。
【００２４】
被牽引車３０は、さらに、第２カメラＥＣＵ３６と、メモリ３７と、第２ＣＡＮコントローラ３８を有する。
【００２５】
第２カメラＥＣＵ３６は、各カメラから出力されたコンポジット信号（アナログ信号）をデジタル化された画像信号に変換するＡＤ変換器と、デジタル化された画像信号をＲＧＢ信号、または、輝度色差信号であるＹＣｂＣｒ，Ｈ−Ｓｙｎｃ，Ｖ−Ｓｙｎｃ信号に変換するデコーダを有している。
【００２６】
メモリ３７には、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）の設置位置，設置方向，校正データであるカメラ内部パラメータ（焦点距離，画像中心位置，歪収差係数等）と、被牽引車側連結部３４の位置が記憶されている。
【００２７】
第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）で撮像された画像は、第２カメラＥＣＵ３６でデジタル画像に変換されて、第２ＣＡＮコントローラ３８を経て、ＣＡＮ通信線５０を介して牽引車１０に送信される。また、メモリ３７に記憶された情報も、第２ＣＡＮコントローラ３８を経て、ＣＡＮ通信線５０を介して牽引車１０に送信される。
【００２８】
牽引車１０は、前述した各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）の他に、第１カメラＥＣＵ１６と、メモリ１７と、第１ＣＡＮコントローラ１８と、姿勢センサ２０と、連結検出センサ２２と、タイヤ切れ角センサ２４と、タッチパネル付モニタ２６と、ＥＣＵ２８を有する。
【００２９】
第１カメラＥＣＵ１６は、第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）から出力されたコンポジット信号（アナログ信号）をデジタル化された画像信号に変換するＡＤ変換器と、デジタル化された画像信号をＲＧＢ信号、または、輝度色差信号であるＹＣｂＣｒ，Ｈ−Ｓｙｎｃ，Ｖ−Ｓｙｎｃ信号に変換するデコーダを有している。
【００３０】
メモリ１７には、第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）の設置位置，設置方向，校正データであるカメラ内部パラメータ（焦点距離，画像中心位置，歪収差係数等）、および牽引車側連結部１４の位置が記憶されている。
【００３１】
ＣＡＮ通信線５０を介して被牽引車３０から送信された情報は、第１ＣＡＮコントローラ１８を経て、第１カメラＥＣＵ１６とＥＣＵ２８で受信される。
【００３２】
姿勢センサ２０は、例えば角度センサで構成されて、牽引車１０と被牽引車３０の連結角度（姿勢）を検出する。
【００３３】
連結検出センサ２２は、例えば接触による通電を検出することによって、牽引車１０と被牽引車３０が連結されたことを検出する。
【００３４】
タイヤ切れ角センサ２４は、牽引車１０の前輪の向きを検出する。
【００３５】
タッチパネル付モニタ２６は、生成された画像を表示するとともに、タッチパネル機能を有しており、画面切り替え等の操作指示を検出する。
【００３６】
ＥＣＵ２８は、牽引車用周囲監視装置１００の全体の動きを制御するとともに、第１周囲監視部１２と第２周囲監視部３２がそれぞれ撮影した画像を合成する際に、重複する領域の合成方法を決定する。また、牽引車１０と被牽引車３０の予測進路の算出を行う
（実施例１の機能構成の説明）
【００３７】
次に、図４を用いて、牽引車用周囲監視装置１００の機能構成について説明する。図４は牽引車用周囲監視装置１００の機能構成を示す機能ブロック図である。
【００３８】
被牽引車３０は、それぞれ前述した、第２周囲監視部３２を構成する複数のカメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）と、第２カメラＥＣＵ３６（図３）で構成された画像入力部３６ａと、メモリ３７（図３）で構成された被牽引車情報記憶部３７ａ（第２情報記憶部，情報記憶部）と、第２ＣＡＮコントローラ３８（図３）で構成された情報送信部３８ａからなる。
【００３９】
牽引車１０は、それぞれ前述した、第１周囲監視部１２を構成する複数のカメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）（撮像部）と、第１カメラＥＣＵ１６（図３）で構成された画像入力部１６ａと画像変換部１６ｂと画像合成部１６ｃと、メモリ１７（図３）で構成された牽引車情報記憶部１７ａ（第１情報記憶部，情報記憶部）と、第１ＣＡＮコントローラ１８（図３）で構成された情報受信部１８ａと、姿勢センサ２０（図３）で構成された姿勢検出部２０ａと、連結検出センサ２２（図３）で構成された連結検出部２２ａと、タイヤ切れ角センサ２４（図３）で構成されたタイヤ切れ角検出部２４ａと、ＥＣＵ２８（図３）で構成された画像境界位置算出部２８ａと予測進路算出部２８ｂとタイヤ方向算出部２８ｃと、タッチパネル付モニタ２６（図３）で構成された画像表示部２６ａからなる。
【００４０】
画像入力部１６ａは、第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）（撮像部）で撮像された画像をデジタル化する。
【００４１】
画像変換部１６ｂは、第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）で撮像された画像を、それぞれ第１仮想視点から俯瞰した複数の第１俯瞰画像ＩＶＡ，ＩＶＢ，ＩＶＤ（詳しくは後述する）に変換するとともに、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）で撮像された画像を、それぞれ第２仮想視点から俯瞰した複数の第２俯瞰画像ＩＶＥ，ＩＶＦ，ＩＶＧ（詳しくは後述する）に変換する。
【００４２】
画像合成部１６ｃは、複数の第１俯瞰画像ＩＶＡ，ＩＶＢ，ＩＶＤを合成して第１合成画像ＩＶ１（詳しくは後述する）を生成し、複数の第２俯瞰画像ＩＶＥ，ＩＶＦ，ＩＶＧを合成して第２合成画像ＩＶ２（詳しくは後述する）を生成する。さらに、第１合成画像ＩＶ１と第２合成画像ＩＶ２を第３合成画像ＩＶ（合成画像）（詳しくは後述する）に合成する。
【００４３】
画像境界位置算出部２８ａは、第１周囲監視部１２で撮像された各画像から生成された複数の第１俯瞰画像ＩＶＡ，ＩＶＢ，ＩＶＤと、第２周囲監視部３２で撮像された各画像から生成された複数の第２俯瞰画像ＩＶＥ，ＩＶＦ，ＩＶＧと、を重ね合わせる際の境界線の位置を算出する。
【００４４】
予測進路算出部２８ｂは、牽引車１０のタイヤの向き（前輪の向き）と、牽引車１０、および被牽引車３０のサイズを利用して牽引車１０、被牽引車３０の予測進路を算出する。
【００４５】
タイヤ方向算出部２８ｃは、タイヤ切れ角検出部２４ａで検出された牽引車１０の前輪の切れ角に基づいて、牽引車１０の前輪の向きを算出する。
（合成画像の構成の説明）
【００４６】
次に、図５（ａ），（ｂ）を用いて、牽引車用周囲監視装置１００によって生成される第３合成画像ＩＶ（合成画像）の構成を説明する。
【００４７】
第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）（撮像部）で撮像された各画像は、牽引車１０の上空の第１仮想視点Ｖ１に仮想的に設置された第１仮想カメラから観測されると予測される第１合成画像ＩＶ１に変換される。
【００４８】
また、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）で撮像された各画像は、被牽引車３０の上空の第２仮想視点Ｖ２に仮想的に設置された第２仮想カメラから観測されると予測される第２合成画像ＩＶ２に変換される。
【００４９】
第１仮想カメラの設置位置である第１仮想視点Ｖ１と第２仮想カメラの設置位置である第２仮想視点Ｖ２は、それぞれ自由な位置に設置することができるが、第１仮想視点Ｖ１は牽引車１０の真上に設置するのが望ましい。そして、第２仮想視点Ｖ２は被牽引車３０の真上に、第１仮想視点Ｖ１と同じ高さに、第１仮想視点Ｖ１の観測範囲と第２仮想視点Ｖ２の観測範囲が重複するように設置するのが望ましい。
【００５０】
これは、最終的に牽引車１０と被牽引車３０の周囲を見渡した１枚の第３合成画像ＩＶ（合成画像）を生成するため、この第３合成画像ＩＶに途切れが生じず、なおかつ均一な画質の第３合成画像ＩＶを得るためである。図５（ａ）は、このようにして第１仮想視点Ｖ１と第２仮想視点Ｖ２を設置した様子を示している。
【００５１】
第１仮想視点Ｖ１から観測されると予測される第１合成画像ＩＶ１は、第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）で撮像された各画像を、それぞれ、第１仮想視点Ｖ１から観測されると予測される複数の第１俯瞰画像ＩＶＡ，ＩＶＢ，ＩＶＤに変換して、さらに、それらの画像を１枚の画像に合成することによって生成される。
【００５２】
ここで、牽引車１０に設置された後方カメラ１２ｃの観測範囲には、連結された被牽引車３０の像が映り込んでしまい、本来観測したい牽引車１０の後方が映らないため、以後の処理では、後方カメラ１２ｃで撮像された画像は使用しない。なお、後方カメラ１２ｃで撮像された画像は、牽引車１０が単独で（被牽引車を連結しないで）走行するときに、牽引車１０の後方を監視する目的で利用される。
【００５３】
なお、第２仮想視点Ｖ２から観測されると予測される第２合成画像ＩＶ２は、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）で撮像された各画像を、それぞれ、第２仮想視点Ｖ２から観測されると予測される複数の第２俯瞰画像ＩＶＥ，ＩＶＦ，ＩＶＧに変換して、さらに、それらの画像を１枚の画像に合成することによって生成される。
【００５４】
第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｃ）で撮影した各画像を、第１仮想視点Ｖ１から観測されると予測される複数の第１俯瞰画像ＩＶＡ，ＩＶＢ，ＩＶＤに変換する手法には様々なものがあり、そのいずれを用いてもよい。例えば、各カメラ（１２ａ，１２ｂ，１２ｃ）で撮影された各画像に、全て平坦な地面（高さ０の平面）が映っているものと仮定して、その地面の点が、第１仮想視点Ｖ１から見て、複数の第１俯瞰画像ＩＶＡ，ＩＶＢ，ＩＶＤ上でどの位置（座標）に観測されるかを逐次計算することによって生成することができる。複数の第２俯瞰画像ＩＶＥ，ＩＶＦ，ＩＶＧについても同様にして生成することができる。
【００５５】
そして、複数の第１俯瞰画像ＩＶＡ，ＩＶＢ，ＩＶＤは第１合成画像ＩＶ１に合成されて、複数の第２俯瞰画像ＩＶＥ，ＩＶＦ，ＩＶＧは第２合成画像ＩＶ２に合成されて、第１合成画像ＩＶ１と第２合成画像ＩＶ２は、境界線Ｌ１，Ｌ２の位置で１枚の第３合成画像ＩＶに合成される。
【００５６】
このとき、第１合成画像ＩＶ１と第２合成画像ＩＶ２は、第１合成画像ＩＶ１の中で牽引車１０の牽引車側連結部１４の位置に対応する画素と、第２合成画像ＩＶ２の中で被牽引車３０の被牽引車側連結部３４の位置に対応する画素とを合致させることによって合成する。すなわち、図５（ｂ）に示す点Ｃ８の位置で第１合成画像ＩＶ１と第２合成画像ＩＶ２を合成する。
【００５７】
なお、点Ｃ８を合致させただけでは、２枚の画像の向きが特定されない。そのため、牽引車１０と被牽引車３０のなす角度（姿勢）を検出して、この姿勢に応じた角度で第１合成画像ＩＶ１と第２合成画像ＩＶ２を合成する。図５（ａ），（ｂ）の場合、牽引車１０と被牽引車３０は直進状態にあるため、第１合成画像ＩＶ１と第２合成画像ＩＶ２は、図５（ｂ）に示すように、同じ向きで合成される。
【００５８】
次に、第１俯瞰画像ＩＶＡ，ＩＶＢ，ＩＶＤと第２俯瞰画像ＩＶＥ，ＩＶＦ，ＩＶＧを生成する方法について説明する。第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｃ）で撮影した画像を、第１仮想視点Ｖ１から観測されると予測される複数の第１俯瞰画像ＩＶＡ，ＩＶＢ，ＩＶＤに変換して、さらに第１合成画像ＩＶ１に合成するためには、各カメラ（１２ａ，１２ｂ，１２ｃ）の設置位置，設置方向と、各カメラ（１２ａ，１２ｂ，１２ｃ）のカメラ内部パラメータ（焦点距離，画像中心位置，歪収差係数等）が必要である。このうち、各カメラ（１２ａ，１２ｂ，１２ｃ）の設置位置と設置方向は予め計測しておくことができる。またカメラ内部パラメータは、各カメラ（１２ａ，１２ｂ，１２ｃ）の校正（キャリブレーション）を行って推定することができる。このようにして予め取得された値は、牽引車情報記憶部１７ａ（第１情報記憶部，情報記憶部）（図４）に記憶しておく。なお、必要な座標変換、合成の演算は、牽引車情報記憶部１７ａに記憶された値を用いてその都度行ってもよいが、演算をより効率的に行うために、座標変換、合成の規則を、予めＬＵＴ（ルックアップテーブル）で構成された座標変換合成テーブルの形式で用意しておいてもよい。
【００５９】
同様に、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）で撮像された各画像を、それぞれ、第２仮想視点Ｖ２から観測されると予測される複数の第２俯瞰画像ＩＶＥ，ＩＶＦ，ＩＶＧに変換して、さらに第２合成画像ＩＶ２に合成するためには、各カメラ（３２ａ，３２ｂ，３２ｃ）の取付位置，設置方向と、各カメラ（３２ａ，３２ｂ，３２ｃ）のカメラ内部パラメータが必要である。これらの値は、前述したように、予め測定して被牽引車情報記憶部３７ａ（第２情報記憶部，情報記憶部）（図４）に記憶しておく。また、必要な座標変換、合成の演算をより効率的に行うために、前述したように、座標変換、合成の規則を、予めＬＵＴ（ルックアップテーブル）で構成された座標変換合成テーブルの形式で用意しておいてもよい。
【００６０】
このようにして生成された第１合成画像ＩＶ１と第２合成画像ＩＶ２を合成して第３合成画像ＩＶ（合成画像）を生成するためには、前述した点Ｃ８の位置、および、牽引車１０と被牽引車３０の姿勢が必要である。
【００６１】
このうち、点Ｃ８の位置は、牽引車情報記憶部１７ａに記憶された牽引車側連結部１４の位置と、被牽引車情報記憶部３７ａに記憶された被牽引車側連結部３４の位置を参照することによって取得することができる。また、牽引車１０と被牽引車３０の姿勢は、姿勢検出部２０ａで検出することができる。
【００６２】
ここで、図５（ｂ）に示す境界線Ｌ１，Ｌ２の位置は、牽引車１０に対する被牽引車３０の姿勢（牽引車１０と被牽引車３０のなす角度）に応じて変化する。したがって、牽引車１０と被牽引車３０の姿勢が変化すると、境界線Ｌ１，Ｌ２の位置が変化して、それに応じて第３合成画像ＩＶ（合成画像）の形態も変化する。姿勢変化に応じた第３合成画像ＩＶの具体的な形態については後述する。
【００６３】
第３合成画像ＩＶ（合成画像）には、さらに、図５（ｂ）に示すように、牽引車１０を真上から俯瞰した牽引車アイコンＲ１と、被牽引車３０を真上から俯瞰した被牽引車アイコンＲ２がそれぞれ重畳される。
【００６４】
さらに、第３合成画像ＩＶ（合成画像）には、牽引車１０の左前輪ＴＬと右前輪ＴＲの向きが描画されて、牽引車１０の左前輪ＴＬの予測進路Ｔraと、牽引車１０の右前輪ＴＲの予測進路Ｔrbと、被牽引車３０の左後輪の予測進路Ｔrcと、被牽引車３０の右後輪の予測進路Ｔrdが、それぞれ描画される。牽引車１０の左前輪ＴＬと右前輪ＴＲの向きは、タイヤ切れ角検出部２４ａ（図４）で検出されたタイヤ切れ角に基づいて、タイヤ方向算出部２８ｃ（図４）で算出される。また、各予測進路Ｔra，Ｔrb，Ｔrc，Ｔrdは、牽引車１０と被牽引車のサイズとタイヤ設置位置を用いて、予測進路算出部２８ｂにおいて算出される。なお、必要な車両情報は、予め記憶されて、必要に応じて使用されるものとする。
【００６５】
このようにして生成された第３合成画像ＩＶ（合成画像）は、牽引車１０に設置された画像表示部２６ａ（図４）に出力される。そして、牽引車１０の運転者は、この第３合成画像ＩＶを確認して、牽引車１０，被牽引車３０の周囲の障害物の存在や牽引車１０，被牽引車３０の予測進路を把握して運転を行う。
【００６６】
なお、以後の説明を簡単にするため、第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｄ）（図１（ａ））は、それぞれ点Ｃ１，点Ｃ２，点Ｃ４の位置に設置されているものとする。また、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）（図２（ａ））は、それぞれ点Ｃ５，点Ｃ６，点Ｃ７の位置に設置されているものとする。
（第１合成画像と第２合成画像の合成方法の説明）
【００６７】
次に、第１合成画像ＩＶ１と第２合成画像ＩＶ２の合成方法について、図６を用いて説明する。
【００６８】
図６は、図５（ｂ）に示した第３合成画像ＩＶ（合成画像）の右半分の領域のみを、説明のために拡大して示したものである。図６に示すように、第１仮想視点Ｖ１（図５（ａ））から観測されると予測される第１合成画像ＩＶ１と、第２仮想視点Ｖ２（図５（ａ））から観測されると予測される第２合成画像ＩＶ２は、境界線Ｌ１の位置で合成される。
【００６９】
ここで、点Ｃ４の位置に設置された、牽引車１０の右側方カメラ１２ｄ（図１（ａ））の撮像領域Ｚ０４と、点Ｃ７の位置に設置された、被牽引車３０の右側方カメラ３２ｃ（図２（ａ））の撮像領域Ｚ０７と、は重複撮像領域Ｚ０を有するように配置されているものとする。
【００７０】
したがって、例えば、図６に示す点Ａの位置，点Ｂの位置は、それぞれ、牽引車１０の右側方カメラ１２ｄ（図１（ａ））と被牽引車３０の右側方カメラ３２ｃ（図２（ａ））の両方で観測される。そのため、第１合成画像ＩＶ１と第２合成画像ＩＶ２を合成する際、重複撮像領域Ｚ０については、右側方カメラ１２ｄ，３２ｃのうちいずれか一方のカメラで観測された情報を選択する必要がある。
【００７１】
本実施例１では、重複撮像領域Ｚ０の中の着目した点Ａ，点Ｂから見て、牽引車１０の右側方カメラ１２ｄと被牽引車３０の右側方カメラ３２ｃのうち、より近いカメラで撮像された情報を選択する。これは、カメラから近い位置で撮像された、より解像度の高い情報を選択して利用することによって、より高画質な第３合成画像ＩＶ（合成画像）を生成するためである。
【００７２】
例えば、図６に示す例では、点Ａにおいて、線分ＡＣ４の長さ＜線分ＡＣ７の長さとなるため、牽引車１０の点Ｃ４に設置された右側方カメラ１２ｄで撮像された情報が選択される。また、点Ｂにおいては、線分ＢＣ４の長さ＞線分ＢＣ７の長さとなるため、被牽引車３０の点Ｃ７に設置された右側方カメラ３２ｃで撮像された情報が選択される。
【００７３】
すなわち、点Ｃ４と点Ｃ７を結ぶ線分の垂直２等分線を境界線Ｌ１として、境界線Ｌ１よりも上方では、牽引車１０の右側方カメラ１２ｄで撮像された情報が選択される。また、境界線Ｌ１よりも下方では、被牽引車３０の右側方カメラ３２ｃで撮像された情報が選択される。そして、第１合成画像ＩＶ１と第２合成画像ＩＶ２が合成されて第３合成画像ＩＶ（合成画像）が生成される。
（第３合成画像（合成画像）の実例の説明）
【００７４】
次に、図７，図８，図９を用いて、本実施例１で生成される第３合成画像ＩＶ（合成画像）の実例について説明する。
【００７５】
図７は、牽引車１０が被牽引車３０を連結した状態で前進しながら右旋回している際に生成される第３合成画像ＩＶ（合成画像）の例である。牽引車１０と被牽引車３０が図７の状態にあるとき、牽引車１０は被牽引車３０に対して、牽引車側連結部１４（被牽引車側連結部３４）を支点として右方向を向いている。その角度は姿勢検出部２０ａ（図４）で検出される。そして、第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｄ）（図１（ａ））で撮像された複数の第１俯瞰画像ＩＶＡ，ＩＶＢ，ＩＶＤから生成された第１合成画像ＩＶ１と、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）（図２（ａ））で撮像された複数の第２俯瞰画像ＩＶＥ，ＩＶＦ，ＩＶＧから生成された第２合成画像ＩＶ２と、が検出された角度に応じて合成される。なお、このとき、第３合成画像ＩＶ（合成画像）の視認性を高めるために、牽引車１０を含む第１合成画像ＩＶ１は、常に同じ位置に、真上を向いた状態で表示される。
【００７６】
第１合成画像ＩＶ１の一部である第１俯瞰画像ＩＶＤと第２合成画像ＩＶ２の一部である第２俯瞰画像ＩＶＧを合成する際の境界線Ｌ１は、前述したように、点Ｃ４と点Ｃ７を結ぶ線分の垂直２等分線として設定される。同様にして、第１合成画像ＩＶ１の一部である第１俯瞰画像ＩＶＢと第２合成画像ＩＶ２の一部である第２俯瞰画像ＩＶＥを合成する際の境界線Ｌ２は、牽引車１０の左側方カメラ３２ａが設置された点Ｃ２と被牽引車３０の左側方カメラ３２ａが設置された点Ｃ５を結ぶ線分の垂直２等分線として設定される。
【００７７】
牽引車１０と被牽引車３０のなす角度が大きくなると、各カメラ（１２ａ，１２ｂ，１２ｄ，３２ａ，３２ｂ，３２ｃ）から死角となる領域が発生する。この死角領域ＺＰに対応する位置には、図７に示すように所定の値（例えば０）を格納して、情報がないことを示す。
【００７８】
また、牽引車１０の左前輪ＴＬと右前輪ＴＲの向き、および牽引車１０，被牽引車３０の予測進路Ｔra，Ｔrb，Ｔrc，Ｔrdが、それぞれ第３合成画像ＩＶ（合成画像）の上に重畳されて、牽引車１０，被牽引車３０の今後の動きが可視化される。
【００７９】
図８は、牽引車１０が被牽引車３０を連結した状態で、左に操舵しながら後退している際に生成される第３合成画像ＩＶ（合成画像）の例である。
【００８０】
この場合も、前述した通り、牽引車１０と被牽引車３０の姿勢に応じた角度で第１合成画像ＩＶ１と第２合成画像ＩＶ２が合成される。そして、境界線Ｌ１，Ｌ２の位置も、前述した通りに計算されて、第１合成画像ＩＶ１と第２合成画像ＩＶ２の合成が行われる。
【００８１】
図９は、図８に示す第３合成画像ＩＶ（合成画像）が得られたときに、画像表示部２６ａ（図４）に表示される表示情報ＩＰの例である。画像表示部２６ａはタッチパネル機能を併せ持っており、図９に示すように、第３合成画像ＩＶと、被牽引車３０の後方カメラ３２ｂ（図２（ａ））で撮像された後方画像ＩＢと、表示情報ＩＰを必要に応じて切り換える操作スイッチである情報操作アイコンＱ１，Ｑ２がそれぞれ表示される。それぞれの画像およびアイコンは、表示画面ＩＣの上に、予め設定された位置に配置される。牽引車１０の運転者は、この表示情報ＩＰを確認して、周囲の状況を認識した上で運転を行う。
（実施例１の処理の流れの説明）
【００８２】
次に、実施例１の具体的な処理の流れについて、図１０，図１１のフローチャートを用いて説明する。
【００８３】
図１０は、実施例１で行う処理の全体の流れを示したフローチャートである。以下、順を追って説明する。なお、図１０のフローチャートは、所定の周期で自動的に繰り返して実行される。
【００８４】
（ステップＳ１０）牽引車１０と被牽引車３０が連結したか否かを検出する。連結したことが確認されたらステップＳ１５に進み、連結が確認できないときは図１０の処理を終了する。
【００８５】
（ステップＳ１５）被牽引車３０にカメラ（撮像部）が設置されているか否かを、画像入力部３６ａを構成する第２カメラＥＣＵ３６（図３）が設置されているか否かを判定することによって判断する。被牽引車３０に第２カメラＥＣＵ３６が設置されていることが確認されたときはステップＳ２０に進み、それ以外のときは図１０の処理を終了する。
【００８６】
（ステップＳ２０）ステップＳ２０を以前に実行したか否かを判断する。ステップＳ２０を初めて実行したときはステップＳ２５に進み、それ以外のときはステップＳ３５に進む。
【００８７】
（ステップＳ２５）被牽引車情報記憶部３７ａ（第２情報記憶部，情報記憶部）に記憶された情報を牽引車１０に転送する。これによって、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）の設置位置，設置方向，カメラ内部パラメータ、および被牽引車側連結部３４の位置が、それぞれ牽引車１０に転送される。
【００８８】
（ステップＳ３０）牽引車１０に設置された第１周囲監視部１２を構成するカメラ（撮像部）の中で、被牽引車３０が連結されたときに不要となるカメラの有無を判断する。本実施例１の場合、前述したように後方カメラ１２ｃが不要と判断されて、後方カメラ１２ｃへの電源供給を停止し、後方カメラ１２ｃは以降の処理には使用しない。なお、不要になるカメラは、連結される被牽引車の形式によって異なるため、予め、例えば牽引車情報記憶部１７ａ（第１情報記憶部，情報記憶部）に、該当する被牽引車が連結されたときには所定のカメラの電源供給を切断する旨（例えば、被牽引車３０が連結されたときには、後方カメラ１２ｃを停止する）の規則を記憶しておき、この規則に基づいて判断すればよい。
【００８９】
（ステップＳ３５）被牽引車３０に設置された第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）で撮像された画像を牽引車１０に転送する。
【００９０】
（ステップＳ４０）画像変換部１６ｂにおいて、第１俯瞰画像ＩＶＡ，ＩＶＢ，ＩＶＤと第２俯瞰画像ＩＶＥ，ＩＶＦ，ＩＶＧを生成する。
【００９１】
（ステップＳ４５）画像合成部１６ｃにおいて、第１俯瞰画像ＩＶＡ，ＩＶＢ，ＩＶＤを合成して第１合成画像ＩＶ１を生成し、第２俯瞰画像ＩＶＥ，ＩＶＦ，ＩＶＧを合成して第２合成画像ＩＶ２を生成する。
【００９２】
（ステップＳ５０）第１合成画像ＩＶ１と第２合成画像ＩＶ２を重ね合わせて、第３合成画像ＩＶ（合成画像）を生成する。この処理の詳細な流れは後述する。
【００９３】
（ステップＳ５５）タイヤ切れ角センサ２４によって牽引車１０の前輪ＴＬ，ＴＲの向きを検出して、検出された前輪ＴＬ，ＴＲの向きに基づいて、牽引車１０の前輪を描画する。また、牽引車１０と被牽引車３０の予測進路Ｔra，Ｔrb，Ｔrc，Ｔrdを推定して、推定された予測進路Ｔra，Ｔrb，Ｔrc，Ｔrdを第３合成画像ＩＶ（合成画像）に重畳表示する。
【００９４】
（ステップＳ６０）第３合成画像ＩＶ（合成画像）を画像表示部２６ａに表示する。
【００９５】
なお、図１０のフローチャートには記載していないが、牽引車１０のエンジンが停止したとき，牽引車１０と被牽引車３０の連結が解除されたとき、または、運転者の操作によって第３合成画像ＩＶ（合成画像）の表示が消去されたときには、図１０の処理が中止される。
【００９６】
次に、図１１を用いて、ステップＳ５０で行う第１合成画像ＩＶ１と第２合成画像ＩＶ２の重ね合わせ処理の流れについて、詳しく説明する。
【００９７】
（ステップＳ８０）姿勢検出部２０ａにおいて、牽引車１０と被牽引車３０のなす角度に基づいて、牽引車１０と被牽引車３０の姿勢を算出する。
【００９８】
（ステップＳ８２）画像境界位置算出部２８ａにおいて、第１合成画像ＩＶ１と第２合成画像ＩＶ２を重ね合わせる際の境界線Ｌ１，Ｌ２の位置を算出する。
【００９９】
（ステップＳ８４）画像合成部１６ｃにおいて、第１合成画像ＩＶ１と第２合成画像ＩＶ２を重ね合わせて第３合成画像ＩＶ（合成画像）を生成する。具体的には、前述した通り、境界線Ｌ１，Ｌ２を境にして、必要な画像情報を選択して重ね合わせる。その後、メインルーチン（図１０のフローチャート）に戻る。
【実施例２】
【０１００】
次に、本発明の別の実施形態である牽引車用周囲監視装置１１０について説明する。
（実施例２のシステム構成の説明）
【０１０１】
実施例２は、本発明を、被牽引車３０が連結された牽引車１０の周囲状況を監視する牽引車用周囲監視装置１１０に適用したものである。図１２は、牽引車用周囲監視装置１１０の機能構成を示す機能ブロック図である。以下、牽引車用周囲監視装置１００（図４）との相違点についてのみ簡単に説明する。
（実施例２の機能，作用の説明）
【０１０２】
牽引車用周囲監視装置１１０は、実施例１で説明した牽引車用周囲監視装置１００と同じ機能を有するが、内部の機能構成が異なっている。なお、牽引車用周囲監視装置１１０によって生成される第１俯瞰画像ＩＶＡ，ＩＶＢ，ＩＶＤ，第２俯瞰画像ＩＶＥ，ＩＶＦ，ＩＶＧ，第１合成画像ＩＶ１，第２合成画像ＩＶ２，第３合成画像ＩＶ（合成画像）は、いずれも、実施例１で説明したものと同じである。
【０１０３】
牽引車用周囲監視装置１１０と牽引車用周囲監視装置１００の構成上の違いは、牽引車用周囲監視装置１００では、被牽引車３０が、被牽引車情報記憶部３７ａ（第２情報記憶部）に、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）の設置位置，設置方向，カメラ内部パラメータと牽引車側連結部１４の位置を記憶しており、牽引車１０と被牽引車３０が連結したときに、これらの情報を牽引車１０に転送しているのに対し、牽引車用周囲監視装置１１０では、被牽引車３０は、被牽引車３０を識別することができる識別情報のみを記憶している点である。この識別情報は、図１２に示す識別情報記憶部３９ａに記憶されている。
【０１０４】
そして、牽引車１０に設置された被牽引車情報記憶部１９ａ（第３情報記憶部）には、牽引車１０に連結される可能性のある複数の被牽引車（３０，４０，…）のそれぞれの識別情報と、それぞれの被牽引車に設置された各カメラの設置位置，設置方向，カメラ内部パラメータと、各被牽引車（３０，４０，…）の被牽引車側連結部（３４，４４，…）の位置が記憶されている。
【０１０５】
牽引車１０と被牽引車３０が連結されたときには、被牽引車３０に記憶された識別情報が、牽引車１０に転送される。
【０１０６】
牽引車１０は、被牽引車３０の識別情報を受信すると、被牽引車情報記憶部１９ａ（第３情報記憶部）に記憶された識別情報と照合して、連結された被牽引車３０を特定する。そして、牽引車１０に転送された、被牽引車３０に設置されたカメラの設置位置，設置方向，カメラ内部パラメータと、被牽引車側連結部３４の位置を読み出す。
【０１０７】
読み出された情報を基づいて、被牽引車３０から逐次送信される、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）で撮像された複数の画像が、それぞれ俯瞰画像に変換されるとともに、変換された複数の俯瞰画像が、牽引車１０と被牽引車３０の姿勢に応じて合成されて、実施例１で説明した第３合成画像ＩＶ（合成画像）が生成される。
【０１０８】
牽引車１０には様々な形式の被牽引車（３０，４０，…）が連結されるため、このような構成を採ることによって、実施例１において被牽引車３０に設置していた被牽引車情報記憶部３７ａ（図４）の記憶容量を削減することができる。また、被牽引車が連結されたときに識別情報のみを送信すればよいため、連結後、即座に牽引車用周囲監視装置１１０が第３合成画像ＩＶ（合成画像）を出力することができ、運用の効率化を図ることができる。
（実施例２の処理の流れの説明）
【０１０９】
次に、実施例２の具体的な処理の流れについて、図１３のフローチャートを用いて説明する。なお、図１３のフローチャートは、所定の周期で自動的に繰り返して実行される。
【０１１０】
（ステップＳ１００）牽引車１０と被牽引車３０が連結したか否かを検出する。連結したことが確認されたらステップＳ１０５に進み、連結が確認できないときは図１３の処理を終了する。
【０１１１】
（ステップＳ１０５）被牽引車３０にカメラ（撮像部）が設置されているか否かを、画像入力部３６ａを構成する第２カメラＥＣＵ３６（図３）が設置されているか否かを用いて判断する。被牽引車３０に第２カメラＥＣＵ３６が設置されていることが確認されたときはステップＳ１１０に進み、それ以外のときは図１３の処理を終了する。
【０１１２】
（ステップＳ１１０）ステップＳ１１０を以前に実行したか否かを判断する。ステップＳ１１０を初めて実行したときはステップＳ１１５に進み、それ以外のときはステップＳ１２５に進む。
【０１１３】
（ステップＳ１１５）識別情報記憶部３９ａに記憶されている被牽引車３０の識別情報を牽引車１０に転送する。そして、牽引車１０側で、連結された被牽引車３０を特定する。
【０１１４】
（ステップＳ１２０）牽引車１０に設置された第１周囲監視部１２を構成するカメラ（撮像部）の中で、被牽引車３０が連結されたときに不要となるカメラの有無を判断する。本実施例２の場合、後方カメラ１２ｃが不要と判断されて、カメラ１２ｃへの電源供給を停止し、カメラ１２ｃは以降の処理には使用しない。
【０１１５】
（ステップＳ１２５）被牽引車３０に設置された第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）で撮像された画像を牽引車１０に転送する。
【０１１６】
（ステップＳ１３０）画像変換部１６ｂにおいて、第１俯瞰画像ＩＶＡ，ＩＶＢ，ＩＶＤと第２俯瞰画像ＩＶＥ，ＩＶＦ，ＩＶＧを生成する。
【０１１７】
（ステップＳ１３５）画像合成部１６ｃにおいて、第１俯瞰画像ＩＶＡ，ＩＶＢ，ＩＶＤを合成して第１合成画像ＩＶ１を生成し、第２俯瞰画像ＩＶＥ，ＩＶＦ，ＩＶＧを合成して第２合成画像ＩＶ２を生成する。
【０１１８】
（ステップＳ１４０）第１合成画像ＩＶ１と第２合成画像ＩＶ２を重ね合わせて、第３合成画像ＩＶ（合成画像）を生成する。この処理の流れは、図１１のフローチャートで説明した通りである。
【０１１９】
（ステップＳ１４５）タイヤ切れ角センサ２４によって牽引車１０の前輪ＴＬ，ＴＲの向きを検出して、検出された前輪ＴＬ，ＴＲの向きに基づいて、牽引車１０の前輪を描画する。また、牽引車１０と被牽引車３０の予測進路Ｔra，Ｔrb，Ｔrc，Ｔrdを推定して、推定された予測進路Ｔra，Ｔrb，Ｔrc，Ｔrdを第３合成画像ＩＶ（合成画像）に重畳表示する。
【０１２０】
（ステップＳ１５０）第３合成画像ＩＶ（合成画像）を画像表示部２６ａに表示する。
【０１２１】
なお、図１３のフローチャートには記載していないが、牽引車１０のエンジンが停止したとき，牽引車１０と被牽引車３０の連結が解除されたとき、または、運転者の操作によって第３合成画像ＩＶ（合成画像）の表示が消去されたときには、図１３の処理が中止される。
【０１２２】
以上説明したように、このように構成された本発明の実施例１に係る牽引車用周囲監視装置１００によれば、連結検出部２２ａが、牽引車１０と被牽引車３０が連結したことを検出したときに、画像変換部１６ｂが、牽引車１０の周囲に設置された第１周囲監視部１２を構成する複数のカメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）（撮像部）で撮像された各画像を、牽引車情報記憶部１７ａ（情報記憶部）に記憶された、第１周囲監視部１２が有する複数のカメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）（撮像部）の各設置位置，各設置方向，各校正データに基づいて第１仮想視点Ｖ１から俯瞰した複数の第１俯瞰画像（ＩＶＡ，ＩＶＢ，ＩＶＤ）に変換して、被牽引車３０の周囲に設置された第２周囲監視部３２を構成する複数のカメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）で撮像された各画像を、被牽引車情報記憶部３７ａ（情報記憶部）に記憶された、第２周囲監視部３２が有する複数のカメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）の各設置位置，各設置方向，各校正データに基づいて第２仮想視点Ｖ２から俯瞰した複数の第２俯瞰画像（ＩＶＥ，ＩＶＦ，ＩＶＧ）に変換する。そして、画像合成部１６ｃが、牽引車１０と被牽引車３０の連結位置と姿勢検出部２０ａが検出した姿勢に基づいて、複数の第１俯瞰画像（ＩＶＡ，ＩＶＢ，ＩＶＤ）と複数の第２俯瞰画像（ＩＶＥ，ＩＶＦ，ＩＶＧ）を合成して第３合成画像ＩＶ（合成画像）を生成する。さらに、生成された第３合成画像ＩＶに、タイヤ方向算出部２８ｃが算出した牽引車１０の前輪ＴＬ，ＴＲの向きと、予測進路算出部２８ｂが算出した牽引車１０および被牽引車３０の予測進路Ｔra，Ｔrb，Ｔrc，Ｔrdを重畳して画像表示部２６ａに表示する。したがって、牽引車１０と被牽引車３０の周囲にある障害物の位置と方向を、牽引車１０と被牽引車３０の姿勢によらずに、容易に認識することができる。
【０１２３】
特に、本発明の実施例１に係る牽引車用周囲監視装置１００によれば、連結検出部２２ａが、牽引車１０と被牽引車３０が連結したことを検出したときに、被牽引車情報記憶部３７ａ（第２情報記憶部）に記憶された、複数のカメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）の各設置位置，各設置方向，各校正データと、牽引車１０との連結位置と、第２周囲監視部３２で撮像した各画像を情報送信部３８ａによって牽引車１０に送信する。そして、牽引車１０の情報受信部１８ａは、送信された情報を受信して、受信した情報に基づいて、複数のカメラ（３２ａ，３２ｂ，３２ｃ）で撮像された各画像を画像変換部１６ｂで複数の第２俯瞰画像（ＩＶＥ，ＩＶＦ，ＩＶＧ）に変換する。さらに、牽引車１０に備えられた第１周囲監視部１２で撮像した各画像を、牽引車情報記憶部１７ａ（第１情報記憶部）に記憶された、複数のカメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）（撮像部）の各設置位置，各設置方向，各校正データに基づいて複数の第１俯瞰画像（ＩＶＡ，ＩＶＢ，ＩＶＤ）に変換する。そして、画像合成部１６ｃで、牽引車情報記憶部１７ａに記憶された、カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）（撮像部）の各設置位置と、被牽引車３０との連結位置と、被牽引車情報記憶部３７ａに記憶された、複数のカメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）の各設置位置と、牽引車１０との連結位置と、に基づいて、複数の第１俯瞰画像（ＩＶＡ，ＩＶＢ，ＩＶＤ）を合成した第１合成画像ＩＶ１と複数の第２俯瞰画像（ＩＶＥ，ＩＶＦ，ＩＶＧ）を合成した第２合成画像ＩＶ２をそれぞれ生成し、さらに、第１合成画像ＩＶ１と第２合成画像ＩＶ２を合成して第３合成画像ＩＶ（合成画像）を生成する。したがって、牽引車１０に、形態が異なる複数種の被牽引車が連結する場合であっても、牽引車と被牽引車の周囲を俯瞰した画像を容易に生成することができる。
【０１２４】
また、このように構成された本発明の実施例１に係る牽引車用周囲監視装置１００によれば、画像合成部１６ｃは、第１合成画像ＩＶ１と第２合成画像ＩＶ２の中から、同一位置が撮像される重複撮像領域Ｚ０を検出して、検出された重複撮像領域Ｚ０の中においては、第１周囲監視部１２と第２周囲監視部３２のうち、より高い解像度で撮像された情報を第３合成画像ＩＶに反映させる。したがって、視認性が高い第３合成画像ＩＶを生成することができる。
【０１２５】
そして、このように構成された本発明の実施例１に係る牽引車用周囲監視装置１００によれば、画像合成部１６ｃは、重複撮像領域Ｚ０の中で、第１周囲監視部１２と第２周囲監視部３２のうち、より近くから撮像された情報を第３合成画像ＩＶに反映させる。したがって、簡単な演算で、より一層視認性が高い第３合成画像ＩＶを生成することができる。
【０１２６】
さらに、このように構成された本発明の実施例１に係る牽引車用周囲監視装置１００によれば、第３合成画像ＩＶは、同一位置に同一方向に向けて配置した第１合成画像ＩＶ１の中の被牽引車３０との連結位置を示す位置に、第２合成画像ＩＶ２の中の牽引車１０との連結位置を示す位置を合致させて、さらに、第２合成画像ＩＶ２を、姿勢検出部２０ａが検出した姿勢に応じた量だけ回転して合成する。したがって、牽引車１０と被牽引車３０の周囲状況を認識しやすい第３合成画像ＩＶを得ることができる。
【０１２７】
また、このように構成された本発明の実施例１に係る牽引車用周囲監視装置１００によれば、第１合成画像ＩＶ１は、牽引車１０の前方が上部に位置する向きに配置される。したがって、牽引車１０の前方が、常に画像表示部２６ａの上部に表示されるため、周囲状況をより一層認識しやすい第１合成画像ＩＶ１を得ることができる。
【０１２８】
そして、このように構成された本発明の実施例１に係る牽引車用周囲監視装置１００によれば、連結検出部２２ａが牽引車１０と被牽引車３０の連結を検出したときに、第１周囲監視部１２が有する複数のカメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）（撮像部）のうち、被牽引車３０の陰となって牽引車１０の周囲が監視できない状態となる撮像部の出力は使用しない。したがって、第３合成画像ＩＶの中に不要な情報が表示されないため、第３合成画像ＩＶの質を向上させることができる。また、不要な撮像部を使用しないため、牽引車用周囲監視装置１００の消費電力を節約することができる。
【０１２９】
また、このように構成された本発明の実施例２に係る牽引車用周囲監視装置１１０によれば、連結検出部２２ａが、牽引車１０と被牽引車３０が連結したことを検出したときに、被牽引車３０が識別情報記憶部３９ａに記憶した、被牽引車３０を特定する識別情報と、第２周囲監視部３２で撮像した各画像を情報送信部３８ａによって牽引車１０に送信する。牽引車１０の情報受信部１８ａは、送信された情報を受信して、画像変換部１６ｂが、識別情報を参照して被牽引車３０を特定して、受信した各画像を、被牽引車情報記憶部１９ａ（第３情報記憶部）に記憶された、複数のカメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）の各設置位置，各設置方向，各校正データと、牽引車１０との連結位置と、に基づいて複数の第２俯瞰画像（ＩＶＥ，ＩＶＦ，ＩＶＧ）に変換する。さらに、画像変換部１６ｂが牽引車１０に備えられた第１周囲監視部１２で撮像した各画像を、牽引車情報記憶部１７ａ（第１情報記憶部）に記憶された、複数のカメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）（撮像部）の各設置位置，各設置方向，各校正データに基づいて複数の第１俯瞰画像（ＩＶＡ，ＩＶＢ，ＩＶＤ）に変換する。そして、画像合成部１６ｃで、牽引車情報記憶部１７ａに記憶された、複数のカメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）の各設置位置と、被牽引車３０との連結位置と、被牽引車情報記憶部１９ａに記憶された、複数のカメラ（３２ａ，３２ｂ，３２ｃ）の各設置位置と、牽引車１０との連結位置と、に基づいて、複数の第１俯瞰画像（ＩＶＡ，ＩＶＢ，ＩＶＤ）を合成した第１合成画像ＩＶ１と複数の第２俯瞰画像（ＩＶＥ，ＩＶＦ，ＩＶＧ）を合成した第２合成画像ＩＶ２をそれぞれ生成し、さらに、第１合成画像ＩＶ１と第２合成画像ＩＶ２を合成して第３合成画像ＩＶを生成する。したがって、被牽引車３０の識別情報記憶部３９ａには被牽引車３０の識別情報のみを記憶すればよいため、被牽引車３０に記憶しておくべき記憶容量を削減することができ、ハードウェア構成の簡素化を図ることができる。さらに、被牽引車３０が連結されたときに識別情報のみを送信すればよいため、牽引車１０と被牽引車３０の連結後、即座に牽引車用周囲監視装置１１０が第３合成画像ＩＶを出力することができ、運用の効率化を図ることができる。
【０１３０】
なお、実施例１，実施例２では、各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ，３２ａ，３２ｂ，３２ｃ）（撮像部）から出力されたアナログ信号をデジタル変換して、必要な変換合成処理を行った後、再びアナログ信号に変換して画像表示部２６ａに表示する構成としたが、その構成に限定されるものではなく、デジタル出力が可能なカメラを用いたシステム構成を採り、カメラから出力されたデジタル信号をそのまま画像処理する構成を採ってもよい。
【０１３１】
また、実施例１，実施例２では、ＣＡＮ通信線５０を用いて、牽引車１０と被牽引車３０の間で情報のやり取りを行ったが、この通信手段はＣＡＮ通信線５０に限定されるものではなく、他の通信線、例えば一般的なシリアル通信線等を用いて行ってもよい。
【０１３２】
また、実施例１，実施例２では、画像境界位置算出部２８ａにて第１合成画像ＩＶ１と第２合成画像ＩＶ２を重ね合わせる際の境界線Ｌ１，Ｌ２の位置を算出したが、この方法は、複数の第１俯瞰画像ＩＶＡ，ＩＶＢ，ＩＶＤを合成して第１合成画像ＩＶ１を生成する際、また、複数の第２俯瞰画像ＩＶＥ，ＩＶＦ，ＩＶＧを合成して第２合成画像ＩＶ２を生成する際にも、同様に適用することができる。
【０１３３】
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
【符号の説明】
【０１３４】
１０  牽引車
１２  第１周囲監視部
１２ａ      前方カメラ（撮像部）
１２ｂ      左側方カメラ（撮像部）
１２ｃ      後方カメラ（撮像部）
１２ｄ      右側方カメラ（撮像部）
１４  牽引車側連結部
１６  第１カメラＥＣＵ
１６ａ      画像入力部
１６ｂ      画像変換部
１６ｃ      画像合成部
１７ａ      牽引車情報記憶部（第１情報記憶部）
１８ａ      情報受信部
２０ａ      姿勢検出部
２２ａ      連結検出部
２４ａ      タイヤ切れ角検出部
２６ａ      画像表示部
２８ａ      画像境界位置算出部
２８ｂ      予測進路算出部
２８ｃ      タイヤ方向算出部
３０  被牽引車
３２  第２周囲監視部
３２ａ      左側方カメラ（撮像部）
３２ｂ      後方カメラ（撮像部）
３２ｃ      右側方カメラ（撮像部）
３４  被牽引車側連結部
３６  第２カメラＥＣＵ
３６ａ      画像入力部
３７ａ      被牽引車情報記憶部（第２情報記憶部）
３８ａ      情報送信部
５０  ＣＡＮ通信線
１００      牽引車用周囲監視装置
【図１】
2015154406.tif 000003
【図２】
2015154406.tif 000004
【図３】
2015154406.tif 000005
【図４】
2015154406.tif 000006
【図５】
2015154406.tif 000007
【図６】
2015154406.tif 000008
【図７】
2015154406.tif 000009
【図８】
2015154406.tif 000010
【図９】
2015154406.tif 000011
【図１０】
2015154406.tif 000012
【図１１】
2015154406.tif 000013
【図１２】
2015154406.tif 000014
【図１３】
2015154406.tif 000015