(57)【要約】【課題】車両周辺の安全確認の容易化及び連結角把握の容易化に寄与する車両周辺視界支援装置を提供する。【解決手段】トラクタ２１の左右後端部に水平方向に視野角の広いカメラ（２Ｌ、２Ｒ）を１台ずつ設置する。カメラ２Ｌの視野には、トラクタ２１及びトレーラ２２の左側の路面等が含まれる。カメラ２Ｒの視野には、トラクタ２１及びトレーラ２２の右側の路面等が含まれる。カメラ２Ｌと２Ｒは、トレーラ２２の後部側にて共通視野を有する。カメラ２Ｌと２Ｒから得られた各画像を合成したパノラマ画像を、トラクタ２１の車室内の表示装置に表示する。【選択図】図７
2008077628.tif 000002
【特許請求の範囲】
【請求項１】
第１車両側に設置され、その第１車両に連結される第２車両側に共通視野を有する第１及び第２撮像部からの撮像信号を受ける画像処理装置であって、
前記第１撮像部からの撮像信号に基づく第１画像と、前記第２撮像部からの撮像信号に基づく第２画像と、を合成した合成画像を生成する画像合成手段と、
前記合成画像に基づく表示画像を表示装置に表示させるための映像信号を出力する映像信号出力手段と、を備えた
ことを特徴とする画像処理装置。
【請求項２】
第１車両側に設置され、その第１車両に連結される第２車両側に共通視野を有する第１及び第２撮像部からの撮像信号を受けると共に、前記第２車両の後方を撮影する第３撮像部からの撮像信号を受ける画像処理装置であって、
前記第１撮像部からの撮像信号に基づく第１画像と前記第２撮像部からの撮像信号に基づく第２画像とを合成することによって得られる合成画像内の、前記第２車両の画像部分に、前記第３撮像部からの撮像信号に基づく第３画像を反映させ、これによって、前記合成画像に更に前記第３画像を合成した多重合成画像を生成する画像合成手段と、
前記多重合成画像に基づく表示画像を表示装置に表示させるための映像信号を出力する映像信号出力手段と、を備えた
ことを特徴とする画像処理装置。
【請求項３】
前記第１車両と前記第２車両が一直線上にある場合において、前記第１撮像部の視野に前記第２車両の左側と前記第２車両の車輪又はタイヤとが入るように、且つ、前記第２撮像部の視野に前記第２車両の右側と前記第２車両の車輪又はタイヤとが入るように、前記第１撮像部及び前記第２撮像部は前記第１車両側に設置され、
前記共通視野には少なくとも前記第２車両の車輪又はタイヤが含まれており、
前記画像合成手段は、前記合成画像内に、前記共通視野に対応する一部画像として少なくとも前記第２車両の車輪又はタイヤの画像を生成する
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記画像合成手段は、前記第１画像内の前記共通視野に対応する画像領域の各画素の輝度と、前記第２画像内の前記共通視野に対応する画像領域の各画素の輝度と、を比較し、
輝度の大きい方の画素の画素信号を用いて、前記合成画像内の、前記共通視野に対応する一部画像を生成する
ことを特徴とする請求項１〜請求項３の何れかに記載の画像処理装置。
【請求項５】
前記画像合成手段は、
前記第１画像上及び前記第２画像上における、前記第２車両の所定部位の位置を検出する部位検出手段を備え、
前記部位検出手段の検出結果に基づきつつ前記第１画像と前記第２画像を合成する
ことを特徴とする請求項１〜請求項３の何れかに記載の画像処理装置。
【請求項６】
前記第１車両と前記第２車両の連結角を検出する連結角検出手段を更に備え、
前記画像合成手段は、検出された前記連結角に基づきつつ前記第１画像と前記第２画像を合成する
ことを特徴とする請求項１〜請求項３の何れかに記載の画像処理装置。
【請求項７】
請求項１〜請求項６の何れかに記載の画像処理装置と、
前記第１及び第２撮像部を有する撮像ユニット、並びに、前記表示装置、の内の少なくとも一方と、
を備えた
ことを特徴とする車両周辺視界支援装置。
【請求項８】
請求項２に記載の画像処理装置と、
前記第１、第２及び第３撮像部を有する撮像ユニット、並びに、前記表示装置、の内の少なくとも一方と、
を備えた
ことを特徴とする車両周辺視界支援装置。
【請求項９】
第１車両と該第１車両に連結される第２車両とから成る車両であって、
請求項１〜請求項６の何れかに記載の画像処理装置並びに第１及び第２撮像部が設置された
ことを特徴とする車両。
【請求項１０】
第１車両側に設置され、その第１車両に連結される第２車両側に共通視野を有する第１及び第２撮像部からの撮像信号を受け、
前記第１撮像部からの撮像信号に基づく第１画像と、前記第２撮像部からの撮像信号に基づく第２画像と、を合成した合成画像を生成し、
前記合成画像に基づく表示画像を表示装置に表示させる
ことを特徴とする車両周辺視界支援方法。
【請求項１１】
第１車両側に設置され、その第１車両に連結される第２車両側に共通視野を有する第１及び第２撮像部からの撮像信号を受けると共に、前記第２車両の後方を撮影する第３撮像部からの撮像信号を受け、
前記第１撮像部からの撮像信号に基づく第１画像と前記第２撮像部からの撮像信号に基づく第２画像とを合成することによって得られる合成画像内の、前記第２車両の画像部分に、前記第３撮像部からの撮像信号に基づく第３画像を反映させ、これによって、前記合成画像に更に前記第３画像を合成した多重合成画像を生成し、
前記多重合成画像に基づく表示画像を表示装置に表示させる
ことを特徴とする車両周辺視界支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺視界支援装置及び方法に関し、特にトラクタとトレーラで構成される連結車両の周辺視界を表す画像をトラクタの車室内の表示装置に表示する車両周辺視界支援装置及び方法に関する。また本発明は、車両周辺視界支援装置に用いられる画像処理装置に関する。
【背景技術】
【０００２】
トラクタ及び該トラクタによって牽引されるトレーラから構成される連結車両では、車体の旋回時にトラクタとトレーラが連結部で折れ曲がり、折れ曲がる角度（連結角）は旋回状態に応じて刻々と変化する。
【０００３】
この種の連結車両の運転操作は比較的難しく、例えば、連結車両を右に旋回しながら後退させる場合は、一旦、左に操舵して連結角を或る程度つけてから右に操舵する、という運転操作を行う必要がある。このように、運転手は連結角を把握しながら車両を旋回させる必要があり、これと同時に周囲の安全確認を行う必要がある。しかしながら、この種の連結車両においては、死角領域が大きく且つ死角領域は旋回に伴って変化するため、連結角把握と安全確認の確実なる遂行は熟練者でも容易ではなく、大きな負担となる。
【０００４】
この種の連結車両の視界を支援する技術として、幾つかの従来技術が存在する。例えば、下記特許文献１に記載の技術では、トレーラの左右後端部にカメラを設置し、トレーラの屈曲角に応じてトレーラの屈曲方向と反対側の後端部のカメラを回動させて死角になるトレーラ側方を撮影する。そして、その撮影によって得られる映像に進路予想線を重畳して表示するようにしている。
【０００５】
また例えば、下記特許文献２に記載の技術では、トラクタの左右後端部にカメラ方向を制御できるカメラを設置し、トレーラの屈曲角に応じてカメラ方向を制御するようにしている。
【０００６】
尚、トレーラの連結角を検出する手法が、例えば、特許文献３及び４に記載されている。連結角を検出する手法としては、特許文献３及び４にも記載されているように、古くから数多くの手法が存在する。また、下記特許文献５及び６には、複数の画像を合成してパノラマ画像を生成する画像合成処理に関する技術が開示されている。下記特許文献７には、カメラのチルト角を考慮した円筒面投影変換処理に関する技術が開示されている。
【０００７】
【特許文献１】特開２００２−４６５３３号公報
【特許文献２】実開平７−１３５８８号公報
【特許文献３】特開２００２−１２０７７５号公報
【特許文献４】特開２００２−１８１５１８号公報
【特許文献５】特開２０００−３３１１５１号公報
【特許文献６】特開２００１−１８４４８４号公報
【特許文献７】特開２００４−４６５７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記特許文献１及び２に記載の従来技術では、カメラ視点が急に切り替わったり、カメラ方向が大きく変化したりする場合があり、どこを映し出しているのか混乱が生じやすい。また、カメラ方向を制御する駆動部が必要であり、装置が複雑になってしまう。更に、カメラ方向の制御に誤差が生じやすく、また、連結角の検出誤差（推定誤差）がカメラ方向の制御に大きく影響するため、撮影領域がずれやすいという問題もある。
【０００９】
このように、従来の技術では、車両周辺視界に対する支援は不十分である。また、安全確認支援及び運転操作支援のためには、運転手に連結角を容易に把握させるための工夫も肝要である。
【００１０】
そこで本発明は、車両周辺の安全確認の容易化及び連結角把握の容易化に寄与する画像処理装置、車両周辺視界支援装置、車両周辺視界支援方法及び車両を提供することも目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために本発明に係る第１の画像処理装置は、第１車両側に設置され、その第１車両に連結される第２車両側に共通視野を有する第１及び第２撮像部からの撮像信号を受ける画像処理装置であって、前記第１撮像部からの撮像信号に基づく第１画像と、前記第２撮像部からの撮像信号に基づく第２画像と、を合成した合成画像を生成する画像合成手段と、前記合成画像に基づく表示画像を表示装置に表示させるための映像信号を出力する映像信号出力手段と、を備えたことを特徴とする。
【００１２】
上記目的を達成するために本発明に係る第２の画像処理装置は、第１車両側に設置され、その第１車両に連結される第２車両側に共通視野を有する第１及び第２撮像部からの撮像信号を受けると共に、前記第２車両の後方を撮影する第３撮像部からの撮像信号を受ける画像処理装置であって、前記第１撮像部からの撮像信号に基づく第１画像と前記第２撮像部からの撮像信号に基づく第２画像とを合成することによって得られる合成画像内の、前記第２車両の画像部分に、前記第３撮像部からの撮像信号に基づく第３画像を反映させ、これによって、前記合成画像に更に前記第３画像を合成した多重合成画像を生成する画像合成手段と、前記多重合成画像に基づく表示画像を表示装置に表示させるための映像信号を出力する映像信号出力手段と、を備えたことを特徴とする。
【００１３】
そして具体的には例えば、第１又は第２の画像処理装置において、前記第１車両と前記第２車両が一直線上にある場合に、前記第１撮像部の視野に前記第２車両の左側と前記第２車両の車輪又はタイヤとが入るように、且つ、前記第２撮像部の視野に前記第２車両の右側と前記第２車両の車輪又はタイヤとが入るように、前記第１撮像部及び前記第２撮像部は前記第１車両側に設置され、前記共通視野には少なくとも前記第２車両の車輪又はタイヤが含まれており、前記画像合成手段は、前記合成画像内に、前記共通視野に対応する一部画像として少なくとも前記第２車両の車輪又はタイヤの画像を生成する。
【００１４】
これにより、第２車両の左側から右側に至る広範囲の車両周辺画像が表示され、車両周辺の安全確認の容易化及び連結角の把握の容易化が期待できる。
【００１５】
第１の画像処理装置を用いれば、例えば、第２車両の車輪又はタイヤの部分が連結角に応じて表示画像上を移動するため、バックミラーを見る感覚で連結角を直感的に把握することが可能となる。第２の画像処理装置を用いれば、第２車両の後方の画像をも表示装置で確認することが可能となり、安全確認の容易化に資する。
【００１６】
また例えば、第１又は第２の画像処理装置において、前記画像合成手段は、前記第１画像内の前記共通視野に対応する画像領域の各画素の輝度と、前記第２画像内の前記共通視野に対応する画像領域の各画素の輝度と、を比較し、輝度の大きい方の画素の画素信号を用いて、前記合成画像内の、前記共通視野に対応する一部画像を生成する。
【００１７】
安全上確認が必要となるのは、第２車両の車体や底面ではなく第２車両の外周部分である。外周部分の画像は比較的高い輝度を有する。このため、上記の如く構成することにより、確認の必要な部分が優先的に表示されるようになる。
【００１８】
また例えば、第１又は第２の画像処理装置において、前記画像合成手段は、前記第１画像上及び前記第２画像上における、前記第２車両の所定部位の位置を検出する部位検出手段を備え、前記部位検出手段の検出結果に基づきつつ前記第１画像と前記第２画像を合成するようにしてもよい。
【００１９】
また例えば、第１又は第２の画像処理装置において、前記第１車両と前記第２車両の連結角を検出する連結角検出手段を更に備え、前記画像合成手段は、検出された前記連結角に基づきつつ前記第１画像と前記第２画像を合成するようにしてもよい。
【００２０】
上記目的を達成するために本発明に係る第１の車両周辺視界支援装置は、上記の第１の画像処理装置と、前記第１及び第２撮像部を有する撮像ユニット、並びに、前記表示装置、の内の少なくとも一方と、を備えたことを特徴とする。
【００２１】
上記目的を達成するために本発明に係る第２の車両周辺視界支援装置は、上記の第２の画像処理装置と、前記第１、第２及び第３撮像部を有する撮像ユニット、並びに、前記表示装置、の内の少なくとも一方と、を備えたことを特徴とする。
【００２２】
上記目的を達成するために本発明に係る車両は、第１車両と該第１車両に連結される第２車両とから成る車両であって、上記の画像処理装置並びに第１及び第２撮像部が設置されたことを特徴とする。
【００２３】
上記目的を達成するために本発明に係る第１の車両周辺視界支援方法は、第１車両側に設置され、その第１車両に連結される第２車両側に共通視野を有する第１及び第２撮像部からの撮像信号を受け、前記第１撮像部からの撮像信号に基づく第１画像と、前記第２撮像部からの撮像信号に基づく第２画像と、を合成した合成画像を生成し、  前記合成画像に基づく表示画像を表示装置に表示させることを特徴とする。
【００２４】
上記目的を達成するために本発明に係る第２の車両周辺視界支援方法は、第１車両側に設置され、その第１車両に連結される第２車両側に共通視野を有する第１及び第２撮像部からの撮像信号を受けると共に、前記第２車両の後方を撮影する第３撮像部からの撮像信号を受け、前記第１撮像部からの撮像信号に基づく第１画像と前記第２撮像部からの撮像信号に基づく第２画像とを合成することによって得られる合成画像内の、前記第２車両の画像部分に、前記第３撮像部からの撮像信号に基づく第３画像を反映させ、これによって、前記合成画像に更に前記第３画像を合成した多重合成画像を生成し、前記多重合成画像に基づく表示画像を表示装置に表示させることを特徴とする。
【発明の効果】
【００２５】
本発明は、車両周辺の安全確認の容易化及び連結角把握の容易化に寄与する
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２７】
図１は、本発明の実施の形態に係る車両周辺視界支援装置（以下、「視界支援装置」と略記する）１の全体構成ブロック図である。視界支援装置１は、カメラ２Ｌ及び２Ｒ、パノラマ画像生成部３Ｌ及び３Ｒ、画像合成部４、映像信号出力部５、並びに、表示装置６を備えている。
【００２８】
カメラ２Ｌ及び２Ｒの夫々は、所謂パノラマカメラであり、例えば、図２に示す如く２００°以上の視野角を有する。カメラカメラ２Ｌ及び２Ｒの夫々は、例えば、一般に普及している、１００°〜１４０°の画角を有する広角カメラを、複数台、組み合わせることによって形成される。
【００２９】
図３に、カメラ２Ｌの構成例を示す。カメラ２Ｌは、１００°〜１４０°の画角を有する広角カメラ１１及び１２を用いて形成される。広角カメラ１１及び１２は個別に撮影を行い、広角カメラ１１及び１２の夫々の撮影によって得られた画像を表す撮像信号は、図１のパノラマ画像生成部３Ｌに送られる。広角カメラ１１及び１２は、水平方向に異なる視野を有するように配置され、各広角カメラの視野の一部同士は重複している。
【００３０】
パノラマ画像生成部３Ｌは、広角カメラ１１及び１２から得た各画像を合成することにより、パノラマ画像を生成する。パノラマ画像を生成するに当たっての画像の合成方法としては、上記特許文献５又は６に記載されているような公知の技術を用いればよい。図３に示す如く、カメラ２Ｌを形成する各広角カメラ（今の場合、広角カメラ１１及び１２）の光軸が１点で交わるように各広角カメラを水平に並べて配置することにより、パノラマ画像の合成が容易となり、また、カメラ２Ｌの水平方向の視野角を２００°以上とすることができる。尚、図３では、２個の広角カメラを用いてカメラ２Ｌを構成する例を示しているが、３個以上のカメラを用いてカメラ２Ｌを構成してもよい。
【００３１】
カメラ２Ｒ及びパノラマ画像生成部３Ｒの構成及び機能は、カメラ２Ｌ及びパノラマ画像生成部３Ｌのそれらと同様である。即ち、カメラ２Ｒは、例えば、広角カメラ１１及び１２のような複数のカメラから構成され、その複数のカメラの夫々の撮影によって得られた画像を表す撮像信号は、パノラマ画像生成部３Ｒに送られる。パノラマ画像生成部３Ｒは、その複数のカメラから得た各画像を合成することにより、パノラマ画像を生成する。
【００３２】
尚、レンズ設計や構造が複雑になってしまうが、カメラ２Ｌ及び２Ｒの夫々を、１つのカメラにて構成するようにしても構わない。但し、カメラ２Ｌ及び２Ｒの夫々を１つのカメラにて構成する場合、現状、２００°以上の視野角を確保するのが困難であるため、その場合は、適宜、視野角を２００°未満とする。
【００３３】
以下、パノラマ画像生成部３Ｌにて生成されたパノラマ画像を左パノラマ画像と呼び、パノラマ画像生成部３Ｒにて生成されたパノラマ画像を右パノラマ画像と呼ぶ。図１において、画像合成部４は、左パノラマ画像と右パノラマ画像とを合成する。この合成によって得られた画像をワイドパノラマ画像という。このワイドパノラマ画像の合成手法については後述する。ワイドパノラマ画像を表す信号は、映像信号出力部５に送られる。映像信号出力部５は、画像合成部４からの該信号に基づき、ワイドパノラマ画像に基づく表示画像が表示装置６の表示画面上に表示されるように、映像信号を生成して該映像信号を表示装置６に送る。
【００３４】
表示装置６は、液晶ディスプレイパネル等から形成され、上記の表示画像を表示画面上に表示する。トラクタ２１の運転手が表示装置６の表示画像を視認できるように、表示装置６はトラクタ２１の車室内に設置される。尚、カーナビゲーションシステムなどに含まれる表示装置を、視界支援装置１における表示装置６として流用しても良い。
【００３５】
視界支援装置１は、車両に取り付けられて用いられる。図４は、視界支援装置１が取り付けられる車両の側面外観図である。符号２１は、トラクタを表す。符号２２は、トラクタ２１に連結され、トラクタ２１によって牽引されるトレーラを表す。符合２４は、トレーラ２２に設けられたタイヤを表す。一般的に、タイヤ２４は、トレーラ２２の後輪と呼ばれる。符号２５は、トレーラ２２の後端を表す。符号２６は、後端２５に設置された、トレーラ２２の後方を撮影するためのリアカメラを表す。符号２７は、タイヤ２４が設けられた、トレーラ２２の底面を表す。
【００３６】
尚、リアカメラ２６を視界支援装置１の構成要素に含めることもでき、その場合における、リアカメラ２６の撮影画像の利用法については後述する。
【００３７】
本明細書において、トレーラ２２側から見てトラクタ２１側を「前」とし、トラクタ２１側から見てトレーラ２２側を「後」とする。また、当然ではあるが、前後方向に直交する方向を左右方向とする。
【００３８】
図５及び図６は、トラクタ２１及びトレーラ２２を上方から見た図であり、図５はトラクタ２１とトレーラ２２の成す角（以下、「連結角」という）が０°である場合を示し、図６は連結角が０°でない場合を示している。図７は、トラクタ２１及びトレーラ２２を上方から見た透視上面図である。連結角が０°である時、トラクタ２１とトレーラ２２は一直線上に並ぶ（トラクタ２１とトレーラ２２の各車体は一直線上に並ぶ）。
【００３９】
図７において、符号２３は連結部である。トレーラ２２は、連結部２３にてトラクタ２１と連結される。トレーラ２２は、連結部２３を支点にして、トラクタ２１に対して屈曲する。トラクタ２１及びトレーラ２２を水平面上に射影した二次元平面において、トラクタ２１の中心線３５とトレーラ２２の中心線３６との成す角が、上記の連結角に相当する。図７では、連結角がθで表されている。トラクタ２１及びトレーラ２２を上方から見た場合において、連結部２３を支点にしてトレーラ２２が時計回り方向に屈曲する場合の連結角θを正とする。従って、トラクタ２１及びトレーラ２２が直進している状態から左折しようとする際に表れる連結角θは、正となる。
【００４０】
カメラ２Ｌは、トラクタ２１の後端部の左側に設置される。カメラ２Ｒは、トラクタ２１の後端部の右側に設置される。図４では、カメラ２Ｒはカメラ２Ｌの裏側に隠れているため、図示されていない。カメラ２Ｌ及び２Ｒは、共に、タイヤ２４及び底面２７を撮影できるようにトラクタ２１の比較的低い位置に設置される。
【００４１】
連結角が図５に示す状態にある場合において、カメラ２Ｌの視野（撮影領域）には半楕円状の斜線領域３１が含まれ、カメラ２Ｒの視野（撮影領域）には半楕円状の斜線領域３２が含まれる。この場合、カメラ２Ｌは斜線領域３１を含む視野内の被写体を撮影し、カメラ２Ｒは斜線領域３２を含む視野内の被写体を撮影する。斜線領域３１は、トラクタ２１及びトレーラ２２の左側に位置する領域であり、斜線領域３２は、トラクタ２１及びトレーラ２２の右側に位置する領域である。尚、斜線領域３１内の矢印はカメラ２Ｌの視野の広がり方向を表し、斜線領域３２内の矢印はカメラ２Ｒの視野の広がり方向を表している。
【００４２】
連結角が図６に示す状態にある場合において、カメラ２Ｌの視野（撮影領域）には変形した扇型形状を有する斜線領域３３が含まれ、カメラ２Ｒの視野（撮影領域）には変形した扇型形状を有する斜線領域３４が含まれる。この場合、カメラ２Ｌは斜線領域３３を含む視野内の被写体を撮影し、カメラ２Ｒは斜線領域３４を含む視野内の被写体を撮影する。斜線領域３３は、トラクタ２１及びトレーラ２２の左側に位置する領域であり、斜線領域３４は、トラクタ２１及びトレーラ２２の右側に位置する領域である。尚、斜線領域３３内の矢印はカメラ２Ｌの視野の広がり方向を表し、斜線領域３４内の矢印はカメラ２Ｒの視野の広がり方向を表している。また、図５及び図６において、リアカメラ２６の撮影方向は紙面右方向（トレーラ２２の前方から後方へ向かう方向）である。
【００４３】
図７では、カメラ２Ｌ及び２Ｒの視野の共通部分が明示的に示されている。カメラ２Ｌの視野には変形した扇型形状を有する斜線領域３７が含まれ、カメラ２Ｒの視野には変形した扇型形状を有する斜線領域３８が含まれる。斜線領域３７と３８は、連結部２３よりもトレーラ２２の後端に近い部分で重なり合う。
【００４４】
カメラ２Ｌ及び２Ｒは、共に、トレーラ２２の一部を含む領域を共通して撮影する。つまり、カメラ２Ｌ及び２Ｒは、トレーラ２２側で共通視野を有する。図７において、斜線領域３７と３８とが重なり合う、符合３９が付された網掛け領域は、この共通視野を示している（斜線領域３７と３８は共に網掛け領域３９を含む）。この共通視野には、タイヤ２４と、底面２７の一部と、が含まれる。タイヤ２４は少なくとも２個存在するが、連結角θによっては、共通視野に全てのタイヤ２４は含まれない場合もある。トラクタ２１との関係における共通視野は、カメラ２Ｌ及び２Ｒの視野角（画角）と、カメラ２Ｌ及び２Ｒの設置位置及び設置方向と、に依存して定まり、この共通視野にトレーラ２２の何れの部分が含まれるかは、連結角θ及びトレーラ２２の長さなどによって特定される。
【００４５】
図５〜図７に示す如く、カメラ２Ｌは、水平方向に広い視野角を有するように設置される。具体的には、カメラ２Ｌは、水平方向に２００°以上の視野角を有するように、トラクタ２１の後端部の左側に設置される。カメラ２Ｌの視野には、トラクタ２１の左の側面、トラクタ２１及びトレーラ２２の左側路面、並びに、トレーラ２２の底面２７が含まれ、連結角θによっては、更にトレーラ２２の右側路面をも含みうる。
【００４６】
図８（ｂ）に、カメラ２Ｌの撮影によって得られる左パノラマ画像の例を示す。この左パノラマ画像には、トラクタ２１の左の側面４１Ｌ、トラクタ２１の左側に設けられたバックミラー４２Ｌ、トラクタ２１及びトレーラ２２の左側路面４３Ｌ、トレーラ２２のタイヤ２４及び底面２７、並びに、トレーラ２２の右側路面４４が、表れている。図８（ｂ）及び左パノラマ画像を表す後述の各図において、紙面右方向はトラクタ２１の左の側面４１Ｌに近づく方向に対応する。
【００４７】
カメラ２Ｒも、カメラ２Ｌと同様、水平方向に広い視野角を有するように設置される。具体的には、カメラ２Ｒは、水平方向に２００°以上の視野角を有するように、トラクタ２１の後端部の右側に設置される。カメラ２Ｒの視野には、トラクタ２１の右の側面、トラクタ２１及びトレーラ２２の右側路面、並びに、トレーラ２２の底面２７が含まれ、連結角θによっては、更にトレーラ２２の左側路面をも含みうる。
【００４８】
図８（ａ）に、カメラ２Ｒの撮影によって得られる右パノラマ画像の例を示す。この右パノラマ画像には、トラクタ２１の右の側面４１Ｒ、トラクタ２１の右側に設けられたバックミラー４２Ｒ、トラクタ２１及びトレーラ２２の右側路面４３Ｒ、トレーラ２２のタイヤ２４及び底面２７、並びに、トレーラ２２の左側路面４５が、表れている。図８（ａ）及び右パノラマ画像を表す後述の各図において、紙面左方向はトラクタ２１の右の側面４１Ｒに近づく方向に対応する。
【００４９】
図１の、パノラマ画像生成部３Ｌ及び３Ｒ、画像合成部４、映像信号出力部５及び表示装置６も、トラクタ２１側に設置される。画像合成部４は、図８（ａ）に示すような右パノラマ画像と図８（ｂ）に示すような左パノラマ画像とを合成して、図９に示すようなワイドパノラマ画像を生成する。図９及びワイドパノラマ画像を表す後述の各図において、紙面左側は実空間におけるトラクタ２１等の右側に対応している。このため、画像合成部４又は映像信号出力部５によって、このワイドパノラマ画像の左右を反転し、反転した画像（即ち、左右方向にミラー反転した画像）を表示画像として表示装置６に表示させるようにする。
【００５０】
図１０に、図９のワイドパノラマ画像に対応する表示画像を示す。図１０に示す表示画像は、連結角θが０°である場合の表示画像である。図１１に、左折時（例えばθ＝６０°）における表示画像の例を示す（これらの表示画像の基となるワイドパノラマ画像の合成手法については後述する）。これらの表示画像を参照することにより、運転手はバックミラーを見るような感覚で車両後方と側面を確認することができ、駐車、発車、左折などの様々な運転状況において車両周辺の安全確認や運転操作が支援される。また、図１０から図１１に遷移するように、トレーラ２２の後部は連結角θに応じてワイドパノラマ画像及び表示画像上を左右することになり、運転手は、表示画像を参照することによって、連結角θを直感的に把握することができる。また、カメラ２Ｌ及び２Ｒはトラクタ２１側に設置されるため、牽引するトレーラ２２が変わっても視界支援装置１は有効に機能する。
【００５１】
また、図１０及び図１１に示す如く、表示画像に連結角θを表す目盛りを添付することで、運転手は、より詳細に連結角θを把握することが可能となる。該目盛りを、ワイドパノラマ画像に添付しておいても良い。表示画像（ワイドパノラマ画像）上における目盛りの添付位置、即ち、表示画像（ワイドパノラマ画像）上のどの部分に如何なる値の目盛りを添付するかは、トレーラ２２の長さ等に応じた三角関数による演算を介して、決定することができる。また、後述するように連結角θが検出されているなら、例えば、表示画像（ワイドパノラマ画像）上における左右の２つのタイヤ２４間の中心位置をパターンマッチング等を用いて求め、その中心位置と連結角θの検出結果から、表示画像（ワイドパノラマ画像）上における目盛りの添付位置を定めるようにしてもよい。
【００５２】
尚、ワイドパノラマ画像又は表示画像を表す各図（図９〜図１１等）において、ワイドパノラマ画像又は表示画像を二分するように画像中央部に設けられた破線は、ワイドパノラマ画像又は表示画像の中心線である。この中心線は、連結角θを表す目盛りの０°に対応する（図１０等参照）。このような中心線は、実際のワイドパノラマ画像及び表示画像にも設けられる（但し、設けないようにしてもよい）。
【００５３】
次に、図１の画像合成部４による、ワイドパノラマ画像の合成手法について説明する。上述したように、カメラ２Ｌ及び２Ｒの共通視野は、カメラ２Ｌ及び２Ｒの視野角とカメラ２Ｌ及び２Ｒの設置位置及び設置方向とで定まるため、その共通視野に対応する、左パノラマ画像内の一部画像と右パノラマ画像内の一部画像とをブレンディングする（混合する）ことで、一応、ワイドパノラマ画像を生成することは可能である。
【００５４】
しかしながら、カメラ２Ｌと２Ｒとの間には視差が存在するため、カメラ２Ｌと２Ｒに映し出されたトレーラ２２の底面等は、連結角θが０°であっても完全には一致しない。図１２（ａ）及び（ｂ）に、夫々、連結角θが０°である場合における、右パノラマ画像及び左パノラマ画像を示す。
【００５５】
図１２（ａ）の右パノラマ画像における太線四角枠内の画像領域５１Ｒ、及び、図１２（ｂ）の左パノラマ画像における太線四角枠内の画像領域５１Ｌは、共に、共通視野の撮影画像領域である。例えば、右パノラマ画像における底面２７の端５３と左パノラマ画像における底面２７の端５４は、実空間において同じものであるが、視差によって画像上では異なって見える。このため、画像領域５１Ｒと５１Ｌを単純に平均化処理などによってブレンディングすると、ワイドパノラマ画像上において、像が二重になったりする。
【００５６】
更に、連結角θが大きくなるにつれ、図１３（ａ）及び（ｂ）に示す如く、カメラ２Ｌと２Ｒ間におけるトレーラ２２の映り方の差異が大きくなり、単純なブレンディングでは対応できない。図１３（ａ）及び（ｂ）は、夫々、連結角θが正（例えばθ＝６０°）の場合における右パノラマ画像及び左パノラマ画像を表している。図１３（ａ）の右パノラマ画像における太線四角枠内の画像領域５６Ｒ、及び、図１３（ｂ）の左パノラマ画像における太線四角枠内の画像領域５６Ｌは、共に、共通視野の撮影画像領域である。
【００５７】
尚、図１２（ａ）の右パノラマ画像において、画像領域５１Ｒ以外の画像領域を非共通画像領域５２Ｒと呼び、図１２（ｂ）の左パノラマ画像において、画像領域５１Ｌ以外の画像領域を非共通画像領域５２Ｌと呼ぶ。尚、図１３（ａ）の右パノラマ画像において、画像領域５６Ｒ以外の画像領域を非共通画像領域５７Ｒと呼び、図１３（ｂ）の左パノラマ画像において、画像領域５６Ｌ以外の画像領域を非共通画像領域５７Ｌと呼ぶ。
【００５８】
図１の画像合成部４は、このような事情を考慮した、ワイドパノラマ画像の合成を行う。画像合成部４による、ワイドパノラマ画像の合成手法として、以下に、第１〜第３合成手法を例示する。
【００５９】
［第１合成手法］
まず、第１合成手法を説明する。第１合成手法では、共通視野の輝度の大小関係を利用して画像合成を行う。これにより、図１２（ａ）及び（ｂ）に示す右パノラマ画像及び左パノラマ画像から図１４に示すワイドパノラマ画像が得られ、図１３（ａ）及び（ｂ）に示す右パノラマ画像及び左パノラマ画像から図１５に示すワイドパノラマ画像が得られる。
【００６０】
図１４に示すワイドパノラマ画像は、図１４の紙面左側に表れる、図１２（ａ）の非共通画像領域５２Ｒの画像と、図１４の紙面右側に表れる、図１２（ｂ）の非共通画像領域５２Ｌの画像と、それらの両者に挟まれた共通画像領域６１の画像と、から形成される。尚、図１４には、共通画像領域６１を表す四角枠が示されているが、実際のワイドパノラマ画像において、このような四角枠は表れない。また、図１４において、ＯWは、共通画像領域６１における原点である。また、上述したように、ワイドパノラマ画像を表す図面において、紙面左側は、実空間におけるトラクタ２１等の右側に対応する。
【００６１】
図１５に示すワイドパノラマ画像は、図１５の紙面左側に表れる、図１３（ａ）の非共通画像領域５７Ｒの画像と、図１５の紙面右側に表れる、図１３（ｂ）の非共通画像領域５７Ｌの画像と、それらの両者に挟まれた共通画像領域６６と、から形成される。図１５には、共通画像領域６６を表す四角枠が示されているが、実際のワイドパノラマ画像において、このような四角枠は表れない。
【００６２】
図１６（ａ）及び（ｂ）を参照する。図１２（ａ）及び（ｂ）に示したものと同じ画像領域５１Ｒ及び５１Ｌを、夫々、図１６（ａ）及び（ｂ）に拡大して示している。画像領域５１Ｒにおいて原点ＯRを定め、それに対応する画像領域５１Ｌの原点をＯLとする。画像領域５１Ｒ及び５１Ｌは、夫々、Ｍ×Ｎの画素（垂直方向にＭ画素、水平方向にＮ画素）によって形成されているものとする。Ｍ及びＮは、２以上の整数である。
【００６３】
図１７は、画像領域５１Ｒ及び５１Ｌの夫々の画素配列を示すと共に、共通画像領域６１及び６６（図１４及び図１５参照）の夫々の画素配列を示す。それらの画像領域を形成する画素をＰ（ｍ，ｎ）にて表記する。ここで、ｍは、画像の垂直方向の位置を表し、１〜Ｍの間の各整数をとる。ｎは、画像の水平方向の位置を表し、１〜Ｎの間の各整数をとる。原点ＯR及びＯL並びに図１４に示す原点ＯWは、画素Ｐ（１，１）に対応する。
【００６４】
図１の画像合成部４は、画像領域５１Ｒと５１Ｌとの間で、画素ごとに、輝度を比較する。この比較は、同一の画素位置に対応する画素同士で行われる。つまり、画像領域５１Ｒと画像領域５１Ｌとの間で、例えば、画素Ｐ（１，１）同士の輝度を比較し、画素Ｐ（１，２）同士の輝度を比較する。その比較の結果、輝度が大きい方の画素Ｐ（ｍ，ｎ）の画素信号を、共通画像領域６１における画素Ｐ（ｍ，ｎ）の画素信号とする。
【００６５】
即ち例えば、図１６（ａ）の画像領域５１Ｒ内の符号７１に対応する画素Ｐ（１００，２００）の輝度が、図１６（ｂ）の画像領域５１Ｌ内の符号７２に対応する画素Ｐ（１００，２００）のそれよりも大きい場合、画像領域５１Ｒの画素Ｐ（１００，２００）の画素信号を、共通画像領域６１における画素Ｐ（１００，２００）の画素信号とする。また例えば、図１６（ａ）の画像領域５１Ｒ内の符号７３に対応する画素Ｐ（１００，５０）の輝度が、図１６（ｂ）の画像領域５１Ｌ内の符号７４に対応する画素Ｐ（１００，５０）のそれよりも小さい場合、画像領域５１Ｌの画素Ｐ（１００，５０）の画素信号を、共通画像領域６１における画素Ｐ（１００，５０）の画素信号とする。このような比較処理を、画像領域５１Ｒ及び５１Ｌを形成する全画素について行い、共通画像領域６１の全画素の画素信号を決定する。
【００６６】
上記の如く、共通視野に対応する共通画像領域６１（図１４）の画像を形成するに際し、輝度の大きいほうの画素の画素信号を優先的に用いるようにする。これにより、図１４に示すようなワイドパノラマ画像が得られる。同様にして、図１３（ａ）及び（ｂ）の画像領域５６Ｒ及び５６Ｌの各画像から、図１５に示す共通画像領域６６の画像も合成される。
【００６７】
一般的にトレーラ２２の底部は暗く外周は明るいため、この処理によって、外周が優先的にワイドパノラマ画像に表れることになる。トラクタ２１を運転している際において、安全上確認が必要となるのは、トレーラ２２の底部ではなく外周である。このため、第１合成手法では、外周を優先的にマッピングしてワイドパノラマ画像及び表示画像を生成する。これにより、確認の必要な映像が優先的に表示された、妥当なワイドパノラマ画像及び表示画像が得られる。また、ワイドパノラマ画像上で像が二重に表れたりする不具合の発生も回避される。
【００６８】
尚、或る画素に関する画素信号は、例えば、その画素の輝度を表す輝度信号と、その画素の色を表す色信号（色差信号など）と、から形成される。
【００６９】
［第２合成手法］
次に、第２合成手法について説明する。第２合成手法では、画像上におけるトレーラ２２の所定部位の位置を検出し、その検出結果を利用して画像合成を行う。
【００７０】
具体的には例えば、図１８に示すような、タイヤ２４の画像パターンを登録しておく。この登録された画像パターンを登録画像パターンＲＰ１と呼ぶ。トレーラ２２の後方に設けられるべき左右の２つのタイヤ２４についての、左パノラマ画像又は右パノラマ画像上における標準的な画像パターンが、登録画像パターンＲＰ１とされる。
【００７１】
図８（ａ）及び（ｂ）に示すような右パノラマ画像及び左パノラマ画像が得られた際、図１の画像合成部４は、右パノラマ画像及び左パノラマ画像の夫々と登録画像パターンＲＰ１とのパターンマッチング（特に例えばテンプレートマッチング）を行い、登録画像パターンＲＰ１との相関が最大となる右パノラマ画像内の一部画像の位置及び登録画像パターンＲＰ１との相関が最大となる左パノラマ画像内の一部画像の位置を特定する。
【００７２】
例えば、図１９（ａ）に示す右パノラマ画像においては、登録画像パターンＲＰ１と一部画像７１との相関が最大となり、右パノラマ画像内における該一部画像７１の位置が特定される。そして、右パノラマ画像において、左右のタイヤ２４を二分する一部画像７１の中心線を合成境界７２とする。同様に、図１９（ｂ）に示す左パノラマ画像においては、登録画像パターンＲＰ１と一部画像７３との相関が最大となり、左パノラマ画像内における該一部画像７３の位置が特定される。そして、左パノラマ画像において、左右のタイヤ２４を二分する一部画像７３の中心線を合成境界７４とする。
【００７３】
そして、画像合成部４は、図１９（ａ）の右パノラマ画像と図１９（ｂ）の左パノラマ画像を、合成境界７２及び７４にて結合する（即ち、繋ぎ合わせる）ことにより、ワイドパノラマ画像を生成する。つまり、ワイドパノラマ画像は、右パノラマ画像における合成境界７２より紙面左側の一部画像７５と、左パノラマ画像における合成境界７４より紙面右側の一部画像７６と、を結合することによって形成される。これによって、図９に示すようなワイドパノラマ画像が得られる。
【００７４】
尚、右パノラマ画像と左パノラマ画像を合成境界にて単純に結合するのではなく、トレーラ２２の底面２７及びタイヤ２４に相当する画像部分を右パノラマ画像と左パノラマ画像間でブレンディングすることによって、ワイドパノラマ画像における該画像部分の画素信号を生成するようにしてもよい。これにより、ワイドパノラマ画像上において、画像の結合部分が滑らかに表現される。ブレンディングの対象となる画像範囲は、例えば、合成境界を中心として定められる。ここで、ブレンディングとは、ブレンディングの対象画素の画素信号を所定の比率で混合することを意味し、例えば、画素信号の平均化を意味する。
【００７５】
右パノラマ画像及び左パノラマ画像の双方に左右の２つのタイヤ２４が表れている場合を例示したが、連結角θによっては、左右の２つのタイヤ２４の内、一方のタイヤ２４しか画像に表れない場合も発生しうる。このような場合に対応すべく、左右の２つのタイヤ２４の内、右側のタイヤ２４だけの登録画像パターンＲＰ２（図２０参照）及び左側のタイヤ２４だけの登録画像パターンＲＰ３（図２１参照）を、用意しておくとよい。
【００７６】
そして、図２２（ａ）及び（ｂ）に示すような右パノラマ画像及び左パノラマ画像が得られた場合、図１の画像合成部４は、右パノラマ画像と図２０の登録画像パターンＲＰ２とのパターンマッチング（特に例えばテンプレートマッチング）を行い、登録画像パターンＲＰ２との相関が最大となる右パノラマ画像内の一部画像８１の位置を特定すると共に、左パノラマ画像と図１８の登録画像パターンＲＰ１とのパターンマッチング（特に例えばテンプレートマッチング）を行い、登録画像パターンＲＰ１との相関が最大となる左パノラマ画像内の一部画像８３の位置を特定する。
【００７７】
続いて、図２２（ａ）の右パノラマ画像において、一部画像８１の位置から図１９（ａ）の合成境界７２に相当する合成境界８２を特定する。図２２（ａ）に示す例では、合成境界８２が右パノラマ画像の端と略一致している。合成境界８２は、右パノラマ画像において、左右のタイヤ２４を二分する中心線を推測したものに相当する。また、図２２（ｂ）の左パノラマ画像において、左右のタイヤ２４を二分する一部画像８３の中心線を合成境界８４とする。最終的に、図２２（ａ）の右パノラマ画像と図２２（ｂ）の左パノラマ画像を、合成境界８２及び８４にて結合することにより、ワイドパノラマ画像を生成する。
【００７８】
仮に、図２２（ａ）の右パノラマ画像において、一部画像８１の位置が更に紙面右方向に移動し、左右のタイヤ２４を二分する中心線の推測線が線８２ａのように右パノラマ画像の外に出てしまう場合は、その外に出てしまった画像の幅ΔＷ1（今の例の場合、合成境界８２と線８２ａとの水平距離に等しい）だけ、左パノラマ画像における合成境界８４を紙面左側に移動させる。そして、この移動によって得られた合成境界８４ａにて右パノラマ画像と左パノラマ画像を結合することにより、ワイドパノラマ画像を生成すればよい。この場合、ワイドパノラマ画像上にて、右パノラマ画像の全体が表れることになる。
【００７９】
尚、図２０の登録画像パターンＲＰ２を用いる場合を説明したが、図２１の登録画像パターンＲＰ３を用いる場合も同様である。
【００８０】
また、タイヤ２４以外のものを登録画像パターンとして用いて画像合成を行うようにしてもよい。例えば、トレーラ２２の底面２７又は後端２５の予め定められた位置（例えば、図７の中心線３６上の位置）にマーカ（目印）を設けておく。このマーカは、図７の共通視野３９内に収まるように設置される。そして、右パノラマ画像及び左パノラマ画像上において、そのマーカの位置を特定し、その特定された位置を基準にして合成境界を求めて、右パノラマ画像と左パノラマ画像を合成するようにしてもよい。
【００８１】
第２合成手法を用いることによっても、ワイドパノラマ画像上で像が二重に表れたりする不具合の発生が回避でき、適切なワイドパノラマ画像を生成することが可能となる。
【００８２】
尚、第２合成手法においては、トレーラ２２の所定部位（タイヤ２４や上記マーカなど）の画像上の位置を特定する部位検出手段が有効に機能する。この部位検出手段は、図１の画像合成部４に備えられていると解釈することができる。また、登録画像パターン（ＲＰ１〜ＲＰ３など）は、図１の画像合成部４が参照可能なように、画像合成部４の内部又は外部に設けられたメモリに予め登録される。
【００８３】
［第３合成手法］
次に、第３合成手法について説明する。第３合成手法では、連結角θを検出し、連結角θの検出結果を利用して画像合成を行う。このため、第３合成手法を採用する場合、図１の視界支援装置１に連結角検出部７が追加されて、視界支援装置の構成ブロック図は、図２３のようになる。図２３の視界支援装置は、図１の視界支援装置１に連結角検出部７を追加した点において相違しており、他の点において両者は一致している。両者の一致点についての重複する説明を割愛する。
【００８４】
連結角検出部７は、上記の特許文献３又は４に記載されているような公知の技術を用いて、連結角θを検出する。連結角θの検出結果は、画像合成部４に伝達される。画像合成部４は、連結角検出部７により検出された連結角θに基づいて右パノラマ画像及び左パノラマ画像上の合成境界を求め、これによってワイドパノラマ画像を生成する。
【００８５】
ここで、連結角θが０°である場合における合成境界を基準合成境界とする。図２４（ａ）及び（ｂ）は、連結角θが０°である場合における右パノラマ画像及び左パノラマ画像を表す。これらの画像において、基準合成境界は、符号９１及び９２にて表される。連結角θが０°である場合、基準合成境界９１及び９２がそのまま合成境界とされ、それらの合成境界にて右パノラマ画像と左パノラマ画像とを結合する（即ち、繋ぎ合わせる）ことにより、ワイドパノラマ画像が生成される。
【００８６】
図２５（ａ）及び（ｂ）は、連結角θが６０°である場合における右パノラマ画像及び左パノラマ画像を表す。基準合成境界９１及び９２の画像上の位置は、連結角θに拘らず固定されている。そして、連結角θが６０°である場合は、その６０°相当分だけ基準合成境界から移動させた境界を実際の合成境界とする。即ち、図２５（ａ）に示す右パノラマ画像上では、基準合成境界９１から紙面右側に６０°相当分だけ移動した境界を合成境界９３とし、図２５（ｂ）に示す左パノラマ画像上では、基準合成境界９２から紙面右側に６０°相当分だけ移動した境界を合成境界９４とする。
【００８７】
そして、画像合成部４は、図２５（ａ）の右パノラマ画像と図２５（ｂ）の左パノラマ画像を、合成境界９３及び９４にて結合する（即ち、繋ぎ合わせる）ことにより、図２６に示すようなワイドパノラマ画像を生成する。図２６において、符号９５は、合成境界９３及び９４に一致する、ワイドパノラマ画像上の合成境界を表す。尚、図２６のワイドパノラマ画像では、連結角θを表す目盛りが明示されている。
【００８８】
また、右パノラマ画像と左パノラマ画像を合成境界にて単純に結合するのではなく、トレーラ２２の底面２７及びタイヤ２４に相当する画像部分を右パノラマ画像と左パノラマ画像間でブレンディングすることによって、ワイドパノラマ画像における該画像部分の画素信号を生成するようにしてもよい。これにより、ワイドパノラマ画像上において、画像の結合部分が滑らかに表現される。ブレンディングの対象となる画像範囲は、例えば、合成境界を中心として定められる。
【００８９】
また、連結角θが例えば正の方向に大きくなると、図２５（ａ）の右パノラマ画像において、合成境界が更に紙面右方向に移動して右パノラマ画像の外に出てしまう場合がある。この場合における、右パノラマ画像の合成境界を符号９３ａにて表す。この場合は、その外に出てしまった画像の幅ΔＷ2（今の例の場合、合成境界９３と合成境界９３ａとの水平距離に等しい）だけ、左パノラマ画像における合成境界９４を紙面左側に移動させる。そして、この移動によって得られた合成境界９４ａにて右パノラマ画像と左パノラマ画像を結合することにより、ワイドパノラマ画像を生成すればよい。この場合、ワイドパノラマ画像上にて、右パノラマ画像の全体が表れることになる。尚、連結角θが正である場合を説明したが、連結角θが負である場合も同様である。
【００９０】
第３合成手法を用いることによっても、ワイドパノラマ画像上で像が二重に表れたりする不具合の発生が回避でき、適切なワイドパノラマ画像を生成することが可能となる。
【００９１】
尚、基準合成境界９１及び９２の画像上の位置、および、連結角θに応じて定められる合成境界（９３等）の画像上の位置は、カメラ２Ｌ及び２Ｒの視野角（画角）並びにカメラ２Ｌ及び２Ｒの設置位置及び設置方向などに基づいて、予め設定される。
【００９２】
また、以下のようにして連結角θを求めてもよい。例えば、図７に示す連結部２３にセンサ（不図示）を設けることによって連結角θを求めるようにする。連結部２３を支点としてトレーラ２２がトラクタ２１に対して折れ曲がるので、その折れ曲がり量や折れ曲がり角を該センサにて検出することにより連結角θを求めることが可能である。
【００９３】
また、例えば、トレーラ２２の底面２７又は後端２５の予め定められた位置（例えば、図７の中心線３６上の位置）にマーカ（目印）を設けておく。このマーカは、図７の共通視野３９内に収まるように設置される。そして、右パノラマ画像及び左パノラマ画像上において、そのマーカの位置を特定し、その特定された位置から連結角θを求めるようする。画像上におけるマーカの位置と連結角θの関係は、上記マーカの実空間における設置位置などに応じて、予め求められる。
【００９４】
［リアカメラの利用］
図１の視界支援装置１において、図４〜図７に示されるリアカメラ２６を利用するか否かは任意であるが、リアカメラ２６を利用する場合の例を、以下に説明する。
【００９５】
リアカメラ２６は、上述の如く、トレーラ２２の後方を撮影する。リアカメラ２６の撮影によって得られた画像を表す撮像信号は、図１の画像合成部４に供給される。リアカメラ２６の撮影によって得られた画像（リアカメラ２６の撮影画像）を、以下、リア画像という。リアカメラ２６からのリア画像を利用する場合、画像合成部４は、上記の如く生成されたワイドパノラマ画像内のトレーラ２２の画像部分にリア画像に嵌め込むことによって、最終的なワイドパノラマ画像（多重合成画像）を生成する。この最終的なワイドパノラマ画像の左右を反転した画像（即ち、左右方向にミラー反転した画像）は、図１の映像信号出力部５を介して表示装置６に送られ、表示画像として表示装置６に表示される。
【００９６】
例えば、図２６に示すワイドパノラマ画像内のトレーラ２２の画像部分にリア画像に嵌め込んだ場合、生成される最終的なワイドパノラマ画像は、図２７のようになる。図２７中、符号１００は、嵌め込まれたリア画像を表している。このように、リア画像をワイドパノラマ画像に嵌め込むことによって、車両周辺の３６０度視界の殆どを表示装置６にて確認することができ、高い安全性が確保されると共に運転手の負担が軽減される。
【００９７】
リア画像が嵌め込まれるべき、ワイドパノラマ画像内のトレーラ２２の画像部分とは、リア画像が嵌め込まれる前のワイドパノラマ画像においてトレーラ２２の構成要素（タイヤ２４や底面２７など）が表れている部分であり、典型的には、例えば、リア画像が嵌め込まれる前のワイドパノラマ画像においてトレーラ２２の構成要素（タイヤ２４や底面２７など）が表れている部分を含む矩形領域である。
【００９８】
ワイドパノラマ画像中のどの部分にリア画像を嵌め込むかは、第２合成手法において説明した部位検出手段の検出結果、又は、第３合成手法において説明した連結角θの検出結果を利用して決定すればよい。上記の部位検出手段は、トレーラ２２の所定部位（タイヤ２４や上記マーカなど）の画像上の位置を特定することができるため、その特定された内容を参照すれば、ワイドパノラマ画像上におけるトレーラ２２の位置が特定される。また、連結角θが分かれば合成境界（図２５（ａ）の合成境界９３など）が特定されるため、その特定された内容を参照すれば、ワイドパノラマ画像上におけるトレーラ２２の位置が特定される。
【００９９】
また、第１〜第３合成手法の何れかを用いて、一旦、リア画像を含まないワイドパノラマ画像を生成してから、そのワイドパノラマ画像を用いて、そのワイドパノラマ画像内におけるトレーラ２２の画像部分を特定するようにしてもよい。例えば、リア画像を含まないワイドパノラマ画像と図１８に示すような登録画像パターンＲＰ１とのパターンマッチング（特に例えばテンプレートマッチング）を行うことによって、リア画像を含まないワイドパノラマ画像内におけるトレーラ２２の画像部分を特定する。また、リア画像を含まないワイドパノラマ画像の濃淡の変化成分（エッジ成分）に基づいて輪郭検出を行うことにより、トレーラ２２の画像部分を検出するようにしてもよい。
【０１００】
また、トレーラ２２の画像部分にリア画像を単に嵌め込んだ場合、図２７に示す如く、実空間では連続している路面に画像上では段差が生じることになる。この段差の発生を抑制すべく、左パノラマ画像及び右パノラマ画像を生成した円筒面と同じ円筒面にリア画像を投影することによって、リア画像をカメラ２Ｌ及び２Ｒの中間点を視点としてトレーラ２２の後方を見た画像に変換し、この変換後のリア画像をワイドパノラマ画像内におけるトレーラ２２の画像部分に嵌め込むようにしてもよい。これにより、リア画像の嵌め込み部分の画像連続性が担保される。
【０１０１】
尚、通常、トレーラ２２の近くを撮影すべく、リアカメラ２６は傾いた状態（チルトした状態）で設置される。このため、上記変換に際し、リアカメラ２６の傾き角度を考慮する必要があるが、これを考慮した変換処理として、上記特許文献７に開示されているような公知の円筒面投影変換処理を用いればよい。
【０１０２】
＜＜変形等＞＞
上述した実施形態では、まず、左パノラマ画像及び右パノラマ画像を個別に生成し、次に、生成された左パノラマ画像と右パノラマ画像からワイドパノラマ画像を生成する手法を例示したが、これらの画像の生成手順は変更可能である。例えば、図２８に示す如く、カメラ２Ｌ及び２Ｒの夫々が広角カメラ１１及び１２によって形成され、カメラ２Ｌの広角カメラ１１の視野とカメラ２Ｒの広角カメラ１２の視野の重なり部分によって、図７の共通視野３９が形成される場合を考える。
【０１０３】
この場合、図１（又は図２３）におけるパノラマ画像生成部３Ｌ及び３Ｒを省略し、カメラ２Ｌを形成する広角カメラ１１及び１２の各撮影画像、及び、カメラ２Ｒを形成する広角カメラ１１及び１２の各撮影画像を、そのまま、画像合成部４に送るようにする。そして、画像合成部４は、カメラ２Ｌの広角カメラ１１の撮影画像とカメラ２Ｒの広角カメラ１２の撮影画像とを上記の同様の手法を用いて合成し、その合成によって得られた画像と、カメラ２Ｌの広角カメラ１２の撮影画像と、カメラ２Ｒの広角カメラ１１の撮影画像と、を結合することによってワイドパノラマ画像を生成するようにする。
【０１０４】
また、図１又は図２３の視界支援装置は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。パノラマ画像生成部３Ｌ及び３Ｒ並びに画像合成部４なら成る部分（以下、部分αという）の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。
【０１０５】
ソフトウェアを用いて上記部分αの機能を実現する場合、部分αにて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。また、部分αの機能をソフトウェアを用いて実現する場合、図１又は図２３の一部は、部分αの機能ブロック図を示すことになる。
【０１０６】
また、上述の実施形態では、カメラ２Ｌと２Ｒの夫々の視野角を２００°以上とし、トラクタ２１の側面をも視野に含めるようにしているが、視野の範囲は、適宜、変更可能である。例えば、トラクタ２１の側面及びトラクタ２１の側面近傍を視野から除外することも可能である。但し、図７の共通視野３９と同等の共通視野は確保されるべきである。
【０１０７】
また、上述の実施形態では、トラクタ２１とトラクタ２１に連結されたトレーラ２２とから成る車両を想定し、この車両に本発明に係る視界支援装置（例えば、図１の視界支援装置１又は図２３の視界支援装置）を適用した。しかし、本発明に係る視界支援装置を適用可能な車両は、トラクタ２１とトレーラ２２とから成る車両に限定されない。例えば、第１車両と第１車両に連結されて牽引される第２車両とから成る任意の車両（以下、「連結型車両」と呼ぶ）に対して、本発明に係る視界支援装置を適用可能である。上述の実施形態では、第１車両がトラクタ２１に相当し且つ第２車両がトレーラ２２に相当する。
【０１０８】
連結型車両は、牽引自動車と一般的に呼ばれる車両を含む（或いは、連結型車両は、牽引自動車である）。連結型車両は、例えば、第１車両と第２車両とから成る、連節バス（連接バス）、連結バス及びトロッコバスを含む。例えば、連接バスに本発明に係る視界支援装置を適用する場合、連節バスにおける第１車両及び第２車両を上述のトラクタ２１及びトレーラ２２と見立てて上述してきた処理を実施すればよい。
【０１０９】
また、トラクタ２１及びトレーラ２２から成る車両に対して述べたタイヤとは、その車両における車輪のリムを囲む、ゴム等から成る輪である。仮に、本発明に係る視界支援装置が適用される連結型車両に、タイヤに分類される部位が備え付けられていない場合は、上述してきたタイヤを車輪に読み替えて考えればよい。
【図面の簡単な説明】
【０１１０】
【図１】本発明の実施形態に係る車両周辺視界支援装置の全体構成ブロック図である。
【図２】図１のカメラの視野角を表す図である。
【図３】図１のカメラの構成例を表す図である。
【図４】図１の車両周辺視界支援装置が取り付けられるトラクタ及び該トラクタに牽引されるトレーラの側面外観図である。
【図５】図４のトラクタ及びトレーラを上方から見た図である（連結角が０°の場合）。
【図６】図４のトラクタ及びトレーラを上方から見た図である（連結角が０°でない場合）。
【図７】図４のトラクタ及びトレーラを上方から見た図であり、トラクタとトレーラの連結角、及び、図１に示す２つのカメラの視野の関係を説明するための図である。
【図８】図１のカメラの撮影によって生成される左及び右パノラマ画像の例を表す図であり、左及び右パノラマ画像に表れる路面などを説明するための図である。
【図９】図８の左及び右パノラマ画像から合成されるワイドパノラマ画像を表す図である。
【図１０】図９のワイドパノラマ画像に基づく表示画像を表す図である。
【図１１】図１の表示装置にて表示される表示画像の他の例を表す図である。
【図１２】図１のカメラの撮影によって生成される左及び右パノラマ画像の例を表す図であり（連結角が０°の場合）、左及び右パノラマ画像の第１合成手法を説明するための図である。
【図１３】図１のカメラの撮影によって生成される左及び右パノラマ画像の例を表す図であり（連結角が正の場合）、左及び右パノラマ画像の第１合成手法を説明するための図である。
【図１４】図１２に示す左及び右パノラマ画像から合成されるワイドパノラマ画像を表す図である。
【図１５】図１３に示す左及び右パノラマ画像から合成されるワイドパノラマ画像を表す図である。
【図１６】左及び右パノラマ画像の第１合成手法を説明するための図であり、該第１合成手法における合成の対象画像を表す図である。
【図１７】左及び右パノラマ画像の第１合成手法を説明するための図であり、該第１合成手法における合成の対象画像等の画素配列を表す図である。
【図１８】左及び右パノラマ画像の第２合成手法を説明するための図であり、該第２合成手法におけるパターンマッチングにて用いられる登録画像パターンの一例を表す図である。
【図１９】図１８の登録画像パターンを用いた、左及び右パノラマ画像の合成手法を説明するための図である。
【図２０】左及び右パノラマ画像の第２合成手法を説明するための図であり、該第２合成手法におけるパターンマッチングにて用いられる登録画像パターンの他の例を表す図である。
【図２１】左及び右パノラマ画像の第２合成手法を説明するための図であり、該第２合成手法におけるパターンマッチングにて用いられる登録画像パターンの他の例を表す図である。
【図２２】図１８と図２０の登録画像パターンを用いた、左及び右パノラマ画像の合成手法を説明するための図である。
【図２３】左及び右パノラマ画像のワイドパノラマ画像の第３合成手法を採用する際の車両周辺視界支援装置の全体構成ブロック図であり、図１のそれの変形例を示す図である。
【図２４】左及び右パノラマ画像の第３合成手法を説明するための図であり、図１のカメラの撮影によって生成される左及び右パノラマ画像の一例を表す図である（連結角が０°の場合）。
【図２５】左及び右パノラマ画像の第３合成手法を説明するための図であり、図１のカメラの撮影によって生成される左及び右パノラマ画像の一例を表す図である（連結角が６０°の場合）。
【図２６】図２５に示す左及び右パノラマ画像から合成されるワイドパノラマ画像を表す図である。
【図２７】図４等のリアカメラにて取得されるリア画像を、図２６のワイドパノラマ画像に嵌め込むことによって得られる画像を表す図である。
【図２８】図１の２つのカメラの夫々の構成例を示す図である。
【符号の説明】
【０１１１】
１  車両周辺視界支援装置
２Ｌ、２Ｒ  カメラ
３Ｌ、３Ｒ  パノラマ画像生成部
４  画像合成部
５  映像信号出力部
６  表示装置
７  連結角検出部
１１、１２  広角カメラ
２１  トラクタ
２２  トレーラ
２３  連結部
２４  タイヤ
２５  後端（トレーラの後端）
２６  リアカメラ
２７  底面
３９  共通視野
θ  連結角
【図１】
2008077628.tif 000003
【図２】
2008077628.tif 000004
【図３】
2008077628.tif 000005
【図４】
2008077628.tif 000006
【図１７】
2008077628.tif 000007
【図２３】
2008077628.tif 000008
【図２７】
2008077628.tif 000009
【図２８】
2008077628.tif 000010
【図５】
2008077628.tif 000011
【図６】
2008077628.tif 000012
【図７】
2008077628.tif 000013
【図８】
2008077628.tif 000014
【図９】
2008077628.tif 000015
【図１０】
2008077628.tif 000016
【図１１】
2008077628.tif 000017
【図１２】
2008077628.tif 000018
【図１３】
2008077628.tif 000019
【図１４】
2008077628.tif 000020
【図１５】
2008077628.tif 000021
【図１６】
2008077628.tif 000022
【図１８】
2008077628.tif 000023
【図１９】
2008077628.tif 000024
【図２０】
2008077628.tif 000025
【図２１】
2008077628.tif 000026
【図２２】
2008077628.tif 000027
【図２４】
2008077628.tif 000028
【図２５】
2008077628.tif 000029
【図２６】
2008077628.tif 000030