(57)【要約】【課題】サイドミラーの展開／格納のいずれの状態においても適切な合成画像を生成する。【解決手段】画像表示システムでは、画像取得部が車両のサイドミラーに設けられたサイドカメラを含む複数のカメラで得られた複数の撮影画像を取得し、画像合成部が複数の撮影画像それぞれの対象領域ＴＡを用いて、仮想視点からみた車両の周辺を示す合成画像を生成する。また、状態取得部がサイドミラーの展開／格納の状態を取得し、画像合成部はサイドミラーの展開／格納の状態に応じて対象領域ＴＡを変更する。このようにサイドミラーの状態に応じてサイドカメラで得られた撮影画像ＳＬ中の対象領域ＴＡを変更するため、サイドミラーの展開／格納のいずれの状態であっても適切な合成画像を生成することができる。【選択図】図９
2014049848.tif 000002
【特許請求の範囲】
【請求項１】
車両において用いられる画像生成装置であって、
前記車両のサイドミラーに設けられたサイドカメラを含む複数のカメラで得られた複数の撮影画像を取得する画像取得手段と、
前記複数の撮影画像それぞれの対象領域を用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する生成手段と、
前記車両のサイドミラーの展開／格納の状態を取得する状態取得手段と、
を備え、
前記生成手段は、前記サイドミラーの展開／格納の状態に応じて、前記サイドカメラで得られた前記撮影画像中の前記対象領域を変更することを特徴とする画像生成装置。
【請求項２】
請求項１に記載の画像生成装置において、
前記生成手段は、
前記サイドミラーを展開した状態では、該サイドミラーを展開した状態における前記サイドカメラの光軸の方向の誤差を示す第１パラメータに基づく前記対象領域を用い、
前記サイドミラーを格納した状態では、該サイドミラーを格納した状態における前記サイドカメラの光軸の方向の誤差を示す第２パラメータに基づく前記対象領域を用いることを特徴とする画像生成装置。
【請求項３】
請求項２に記載の画像生成装置において、
前記サイドミラーを実際に展開した状態において、前記第１パラメータを取得する第１パラメータ取得手段と、
前記サイドミラーを実際に格納した状態において、前記第２パラメータを取得する第２パラメータ取得手段と、
をさらに備えることを特徴とする画像生成装置。
【請求項４】
請求項２または３に記載の画像生成装置において、
前記生成手段は、前記合成画像における前記撮影画像同士の境界部分を、該境界部分を挟む２つの撮影画像をブレンドして生成することを特徴とする画像生成装置。
【請求項５】
請求項１に記載の画像生成装置において、
前記生成手段は、
前記サイドミラーの展開及び格納の一方の状態では、前記合成画像における前記撮影画像同士の境界部分を、該境界部分を挟む２つの撮影画像をブレンドして生成し、
前記サイドミラーの展開及び格納の他方の状態では、前記合成画像における前記撮影画像同士の境界部分を、前記撮影画像を用いないラインとすることを特徴とする画像生成装置。
【請求項６】
車両において用いられる画像表示システムであって、
請求項１ないし５のいずれかに記載の画像生成装置と、
前記画像生成装置から出力される前記合成画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。
【請求項７】
車両に設けられたカメラに関するパラメータを取得するパラメータ取得装置であって、
サイドカメラが設けられた前記車両のサイドミラーの展開／格納の状態を取得する取得手段と、
前記サイドミラーを実際に展開した状態において、前記サイドカメラの光軸の方向の誤差を示す第１パラメータを取得する第１パラメータ取得手段と、
前記サイドミラーを実際に格納した状態において、前記サイドカメラの光軸の方向の誤差を示す第２パラメータを取得する第２パラメータ取得手段と、
を備えることを特徴とするパラメータ取得装置。
【請求項８】
車両において用いられる画像生成方法であって、
（ａ）前記車両のサイドミラーに設けられたサイドカメラを含む複数のカメラで得られた複数の撮影画像を取得する工程と、
（ｂ）前記複数の撮影画像それぞれの対象領域を用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する工程と、
（ｃ）前記車両のサイドミラーの展開／格納の状態を取得する工程と、
を備え、
前記工程（ｂ）は、前記サイドミラーの展開／格納の状態に応じて、前記サイドカメラで得られた前記撮影画像中の前記対象領域を変更することを特徴とする画像生成方法。
【請求項９】
車両に設けられたカメラに関するパラメータを取得するパラメータ取得方法であって、
（ａ）サイドカメラが設けられた前記車両のサイドミラーの展開／格納の状態を取得する工程と、
（ｂ）前記サイドミラーを実際に展開した状態において、前記サイドカメラの光軸の方向の誤差を示す第１パラメータを取得する第１パラメータ工程と、
（ｃ）前記サイドミラーを実際に格納した状態において、前記サイドカメラの光軸の方向の誤差を示す第２パラメータを取得する第２パラメータ工程と、
を備えることを特徴とするパラメータ取得方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺を示す画像を生成する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両の周辺を示す画像を生成し、この画像を車両内の表示装置に表示する画像表示システムが知られている。このような画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は、車両の周辺の様子をほぼリアルタイムに確認することができる。
【０００３】
また、近年では、複数の撮影画像を合成して仮想視点からみた車両の周辺を示す合成画像を生成し、その合成画像を表示する画像表示システムも提案されている（例えば、特許文献１参照。）。このような画像表示システムでは、例えば、車両の上部から車両の周辺を見下ろすような合成画像である俯瞰画像を生成することができる。ユーザは、このような合成画像を視認することで、車両の周辺の全体の様子を確認することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１５１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、複数の撮影画像のうち車両の側方を示す撮影画像を取得するサイドカメラは、一般に、展開した状態から格納した状態に移行できるサイドミラーに設けられる。このため、サイドミラーを展開した状態から格納した状態に移行した場合には、そのサイドミラーに設けられたサイドカメラの光軸の方向も変更される。
【０００６】
したがって、サイドミラーを展開した場合と同様の手法で、サイドミラーを格納した場合に得られた撮影画像に基づいて合成画像を生成したとすると、被写体の像が不整合に合成された不適切な合成画像が生成されることになる。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、サイドミラーの展開／格納のいずれの状態においても適切な合成画像を生成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１の発明は、車両において用いられる画像生成装置であって、前記車両のサイドミラーに設けられたサイドカメラを含む複数のカメラで得られた複数の撮影画像を取得する画像取得手段と、前記複数の撮影画像それぞれの対象領域を用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する生成手段と、前記車両のサイドミラーの展開／格納の状態を取得する状態取得手段と、を備え、前記生成手段は、前記サイドミラーの展開／格納の状態に応じて、前記サイドカメラで得られた前記撮影画像中の前記対象領域を変更する。
【０００９】
また、請求項２の発明は、請求項１に記載の画像生成装置において、前記生成手段は、前記サイドミラーを展開した状態では、該サイドミラーを展開した状態における前記サイドカメラの光軸の方向の誤差を示す第１パラメータに基づく前記対象領域を用い、前記サイドミラーを格納した状態では、該サイドミラーを格納した状態における前記サイドカメラの光軸の方向の誤差を示す第２パラメータに基づく前記対象領域を用いる。
【００１０】
また、請求項３の発明は、請求項２に記載の画像生成装置において、前記サイドミラーを実際に展開した状態において、前記第１パラメータを取得する第１パラメータ取得手段と、前記サイドミラーを実際に格納した状態において、前記第２パラメータを取得する第２パラメータ取得手段と、をさらに備えている。
【００１１】
また、請求項４の発明は、請求項２または３に記載の画像生成装置において、前記生成手段は、前記合成画像における前記撮影画像同士の境界部分を、該境界部分を挟む２つの撮影画像をブレンドして生成する。
【００１２】
また、請求項５の発明は、請求項１に記載の画像生成装置において、前記生成手段は、前記サイドミラーの展開及び格納の一方の状態では、前記合成画像における前記撮影画像同士の境界部分を、該境界部分を挟む２つの撮影画像をブレンドして生成し、前記サイドミラーの展開及び格納の他方の状態では、前記合成画像における前記撮影画像同士の境界部分を、前記撮影画像を用いないラインとする。
【００１３】
また、請求項６の発明は、車両において用いられる画像表示システムであって、請求項１ないし５のいずれかに記載の画像生成装置と、前記画像生成装置から出力される前記合成画像を表示する表示装置と、を備えている。
【００１４】
また、請求項７の発明は、車両に設けられたカメラに関するパラメータを取得するパラメータ取得装置であって、サイドカメラが設けられた前記車両のサイドミラーの展開／格納の状態を取得する取得手段と、前記サイドミラーを実際に展開した状態において、前記サイドカメラの光軸の方向の誤差を示す第１パラメータを取得する第１パラメータ取得手段と、前記サイドミラーを実際に格納した状態において、前記サイドカメラの光軸の方向の誤差を示す第２パラメータを取得する第２パラメータ取得手段と、を備えている。
【００１５】
また、請求項８の発明は、車両において用いられる画像生成方法であって、（ａ）前記車両のサイドミラーに設けられたサイドカメラを含む複数のカメラで得られた複数の撮影画像を取得する工程と、（ｂ）前記複数の撮影画像それぞれの対象領域を用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する工程と、（ｃ）前記車両のサイドミラーの展開／格納の状態を取得する工程と、を備え、前記工程（ｂ）は、前記サイドミラーの展開／格納の状態に応じて、前記サイドカメラで得られた前記撮影画像中の前記対象領域を変更する。
【００１６】
また、請求項９の発明は、車両に設けられたカメラに関するパラメータを取得するパラメータ取得方法であって、（ａ）サイドカメラが設けられた前記車両のサイドミラーの展開／格納の状態を取得する工程と、（ｂ）前記サイドミラーを実際に展開した状態において、前記サイドカメラの光軸の方向の誤差を示す第１パラメータを取得する第１パラメータ工程と、（ｃ）前記サイドミラーを実際に格納した状態において、前記サイドカメラの光軸の方向の誤差を示す第２パラメータを取得する第２パラメータ工程と、を備えている。
【発明の効果】
【００１７】
請求項１ないし６及び８の発明によれば、サイドミラーの状態に応じてサイドカメラで得られた撮影画像中の対象領域を変更するため、サイドミラーの展開／格納のいずれの状態であっても適切な合成画像を生成することができる。
【００１８】
また、特に請求項２の発明によれば、サイドミラーの展開／格納の２つの状態それぞれでの光軸の方向の誤差に基づく対象領域を用いるため、サイドミラーの展開／格納のいずれの状態であっても被写体の像が整合して合成された合成画像を生成することができる。
【００１９】
また、特に請求項３の発明によれば、サイドミラーの展開／格納の２つの状態のそれぞれで適切な合成画像を生成するために必要な第１パラメータと第２パラメータとを適切に取得することができる。
【００２０】
また、特に請求項４の発明によれば、合成画像における撮影画像同士の境界部分を２つの撮影画像をブレンドして生成する場合において、合成画像において被写体の像を適切に重ね合わせることができる。
【００２１】
また、特に請求項５の発明によれば、サイドミラーの一方の状態では、合成画像における撮影画像同士の境界部分を２つの撮影画像をブレンドして生成するため、自然な画像を生成することができる。また、サイドミラーの他方の状態では、合成画像における撮影画像同士の境界部分をラインとすることで、被写体の像が不整合に重ねられることを防止できる。
【００２２】
また、請求項７及び９の発明によれば、サイドミラーの展開／格納の２つの状態のそれぞれで適切な合成画像を生成するために必要な第１パラメータと第２パラメータとを適切に取得することができる。
【図面の簡単な説明】
【００２３】
【図１】図１は、第１の実施の形態の画像表示システムの構成を示す図である。
【図２】図２は、カメラが撮影する方向を示す図である。
【図３】図３は、画像合成部が合成画像を生成する手法を説明する図である。
【図４】図４は、立体曲面の部分と撮影画像との対応関係を示す図である。
【図５】図５は、表示画像の例を示す図である。
【図６】図６は、サイドミラーを格納した状態を示す図である。
【図７】図７は、左サイドカメラによって取得された撮影画像の例を示す図である。
【図８】図８は、図７の撮影画像を取得した状況を説明する図である。
【図９】図９は、左サイドカメラの撮影画像中の対象領域を示す図である。
【図１０】図１０は、第１の実施の形態の画像表示システムの動作の流れを示す図である。
【図１１】図１１は、第２の実施の形態の画像表示システムの構成を示す図である。
【図１２】図１２は、キャリブレーション処理を実行する場合の車両の様子を示す図である。
【図１３】図１３は、標識体の外観を示す図である。
【図１４】図１４は、キャリブレーション処理の流れを示す図である。
【図１５】図１５は、キャリブレーション処理用の撮影画像の例を示す図である。
【図１６】図１６は、第２の実施の形態の画像表示システムの動作の流れを示す図である。
【図１７】図１７は、左サイドカメラの撮影画像中の対象領域を示す図である。
【図１８】図１８は、左サイドカメラの撮影画像中の対象領域を示す図である。
【図１９】図１９は、立体曲面の部分と撮影画像との対応関係を示す図である。
【図２０】図２０は、合成画像の例を示す図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２５】
＜１．第１の実施の形態＞
＜１−１．構成＞
図１は、第１の実施の形態の画像表示システム１０の構成を示す図である。この画像表示システム１０は、車両（本実施の形態では、自動車）において用いられるものであり、車両の周辺の領域を示す画像を生成して車室内に表示する機能を有している。画像表示システム１０のユーザ（代表的にはドライバ）は、この画像表示システム１０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。
【００２６】
図に示すように、画像表示システム１０は、複数のカメラ５、画像生成装置２、表示装置３及び操作ボタン４を主に備えている。複数のカメラ５はそれぞれ、車両の周辺を撮影して撮影画像を取得し、取得した撮影画像を画像生成装置２に入力する。画像生成装置２は、車両の周辺を示す撮影画像を用いて、表示装置３に表示するための表示画像を生成する。表示装置３は、画像生成装置２で生成された表示画像を表示する。また、操作ボタン４は、ユーザの操作を受け付ける。
【００２７】
複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、車両の周辺を示す撮影画像を電子的に取得する。複数のカメラ５は、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、車両９において互いに異なる位置に配置され、車両９の周辺の異なる方向を撮影する。
【００２８】
図２は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒがそれぞれ撮影する方向を示す図である。フロントカメラ５Ｆは、車両９の前端に設けられ、その光軸５Ｆａは車両９の直進方向に向けられる。リアカメラ５Ｂは、車両９の後端に設けられ、その光軸５Ｂａは車両９の直進方向の逆方向に向けられる。
【００２９】
また、左サイドカメラ５Ｌは、車両９の左側面に配置された左サイドミラー９３Ｌに設けられる。一方、右サイドカメラ５Ｒは、車両９の右側面に配置された右サイドミラー９３Ｒに設けられる。これらのサイドミラー９３Ｌ，９３Ｒは、展開した状態（ドライバが車両９の側面後方を確認可能な状態）から格納した状態に移行することができる。左サイドミラー９３Ｌが展開した状態において、左サイドカメラ５Ｌの光軸５Ｌａは車両９の左側方（直進方向の略直交方向）に向けられる。また、右サイドミラー９３Ｒが展開した状態において、右サイドカメラ５Ｒの光軸５Ｒａは車両９の右側方（直進方向の略直交方向）に向けられる。
【００３０】
これらのカメラ５のレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５は１８０度以上の画角θを有している。このため、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、車両９の全周囲を撮影することが可能である。車両９の左前方、右前方、左後方、及び、右後方の各領域Ａ１，Ａ２，Ａ３，Ａ４は、４つのカメラ５のうちの２つのカメラ５によって重複して撮影可能となっている。
【００３１】
図１に戻り、表示装置３は、例えば、液晶などの薄型の表示パネルを備えており、各種の情報や画像を表示する。表示装置３は、ユーザが表示パネルの画面を視認できるように、車両９のインストルメントパネルなどに配置される。表示装置３は、画像生成装置２と同一のハウジング内に配置されて画像生成装置２と一体化されていてもよく、画像生成装置２とは別体の装置であってもよい。また、表示装置３は、表示パネルに重ねてタッチパネル３１を備えており、ユーザの操作を受け付けることが可能である。
【００３２】
操作ボタン４は、ユーザの操作を受け付ける操作部材である。操作ボタン４は、例えば、車両９のステアリングホイールに設けられており、主にドライバからの操作を受け付ける。ユーザは、この操作ボタン４、及び、表示装置３のタッチパネル３１を介して画像表示システム１０に対する各種の操作を行うことができる。操作ボタン４及びタッチパネル３１のいずれかにユーザの操作がなされた場合は、その操作の内容を示す操作信号が画像生成装置２に入力される。
【００３３】
画像生成装置２は、各種の画像処理が可能な電子装置であり、画像取得部２１と、画像合成部２２と、画像調整部２３と、画像出力部２４とを備えている。
【００３４】
画像取得部２１は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた撮影画像を取得する。画像取得部２１は、アナログの撮影画像をデジタルの撮影画像に変換する機能などの画像処理機能を有している。画像取得部２１は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を画像合成部２２及び画像調整部２３に入力する。
【００３５】
画像合成部２２は、合成画像を生成するための画像処理を行うハードウェア回路である。画像合成部２２は、複数のカメラ５で取得された複数の撮影画像を合成して、仮想視点からみた車両９の周辺を示す合成画像を生成する。この合成画像を生成する手法の詳細については後述する。
【００３６】
画像調整部２３は、表示装置３で表示するための表示画像を生成する。画像調整部２３は、画像合成部２２で生成された合成画像、及び、画像取得部２１が取得した撮影画像を用いて、合成画像及び撮影画像を含む表示画像を生成する。
【００３７】
画像出力部２４は、画像調整部２３で生成された表示画像を表示装置３に出力して、表示画像を表示装置３に表示させる。これにより、仮想視点からみた車両９の周辺を示す合成画像が表示装置３に表示される。
【００３８】
また、画像生成装置２は、制御部２０と、操作受付部２５と、信号受信部２６と、記憶部２７とをさらに備えている。制御部２０は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータであり、画像生成装置２の全体を統括的に制御する。
【００３９】
操作受付部２５は、ユーザが操作を行った場合に操作ボタン４及びタッチパネル３１から送出される操作信号を受信する。これにより、操作受付部２５はユーザの操作を受け付ける。操作受付部２５は、受信した操作信号を制御部２０に入力する。
【００４０】
信号受信部２６は、画像生成装置２とは別に車両９に設けられる他の装置から送出される信号を受信して、制御部２０に入力する。信号受信部２６は、例えば、シフトセンサ９１及びミラー駆動部９２から送出される信号を受信する。
【００４１】
シフトセンサ９１は、車両９の変速装置のシフトレバーの位置であるシフトポジションを検出し、そのシフトポジションを示す信号を画像生成装置２に送出する。この信号に基づいて、制御部２０は、車両９の進行方向が前方あるいは後方のいずれであるかを判定することができる。
【００４２】
また、ミラー駆動部９２は、ユーザの指示に従って左右双方のサイドミラー９３Ｌ，９３Ｒを回転駆動し、サイドミラー９３Ｌ，９３Ｒを展開した状態及び格納した状態の一方から他方へ移行させる。ミラー駆動部９２は、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態を示す信号を画像生成装置２に送出する。
【００４３】
記憶部２７は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２７は、ファームウェアとしてのプログラム２７ａや、画像合成部２２が合成画像を生成するために用いる各種のデータを記憶する。このような合成画像の生成に用いるデータとして複数の対応テーブル２７ｂが含まれる。
【００４４】
制御部２０の各種の機能は、記憶部２７に記憶されたプログラム２７ａに従ってＣＰＵが演算処理を行うことで実現される。図中に示す画像制御部２０ａ及び状態取得部２０ｂは、プログラム２７ａに従ってＣＰＵが演算処理を行うことで実現される機能部の一部である。
【００４５】
画像制御部２０ａは、合成画像を生成する画像合成部２２、及び、表示画像を生成する画像調整部２３を制御する。画像制御部２０ａは、画像合成部２２及び画像調整部２３を制御して、車両９の状態やユーザの操作に応じた合成画像及び表示画像を生成させる。
【００４６】
また、状態取得部２０ｂは、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態を取得する。状態取得部２０ｂは、ミラー駆動部９２から送出される信号に基づいて、サイドミラー９３Ｌ，９３Ｒが展開した状態あるいは格納した状態のいずれであるかを取得する。
【００４７】
＜１−２．合成画像の生成＞
次に、画像合成部２２が、仮想視点からみた車両９の周辺の様子を示す合成画像を生成する手法について説明する。図３は、画像合成部２２が合成画像を生成する手法を説明する図である。
【００４８】
フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒのそれぞれで撮影が行われると、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲが取得される。これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲには、車両９の全周囲のデータが含まれている。
【００４９】
画像合成部２２は、まず、これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータ（画素の値）を、仮想的な三次元空間における立体曲面ＴＳに投影する。立体曲面ＴＳは、車両９の周辺の領域に相当する仮想の投影面である。
【００５０】
立体曲面ＴＳは、例えば、略半球状（お椀形状）をしており、その中心領域（お椀の底部分）は車両９の位置となる車両領域Ｒ０として定められている。画像合成部２２は、立体曲面ＴＳのうち車両領域（車両９の位置）Ｒ０には撮影画像のデータを投影せず、車両領域Ｒ０の外側の領域である投影領域Ｒ１に撮影画像のデータを投影する。投影領域Ｒ１の各位置は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのいずれかのデータと対応付けられる。画像合成部２２は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのデータをそれぞれ投影領域Ｒ１の対応する位置に投影する。
【００５１】
図４に示すように、画像合成部２２は、投影領域Ｒ１において車両９の前方に相当する部分ＧＦに、フロントカメラ５Ｆの撮影画像ＳＦのデータを投影する。また、画像合成部２２は、投影領域Ｒ１において車両９の後方に相当する部分ＧＢに、リアカメラ５Ｂの撮影画像ＳＢのデータを投影する。さらに、画像合成部２２は、投影領域Ｒ１において車両９の左側方に相当する部分ＧＬに左サイドカメラ５Ｌの撮影画像ＳＬのデータを投影し、投影領域Ｒ１において車両９の右側方に相当する部分ＧＲに右サイドカメラ５Ｒの撮影画像ＳＲのデータを投影する。
【００５２】
投影領域Ｒ１には、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲの全領域のデータが投影されるわけではなく、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲそれぞれの一部の対象領域ＴＡのデータが投影される。すなわち、画像合成部２２は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲそれぞれの対象領域ＴＡを用いて合成画像ＣＰを生成する。
【００５３】
撮影画像中のデータと、そのデータを投影すべき投影領域Ｒ１の各位置とは、記憶部２７に予め記憶されたテーブルデータである対応テーブル２７ｂによって対応付けられる。したがって、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲそれぞれの対象領域（合成画像ＣＰの生成に用いられる領域）ＴＡは、対応テーブル２７ｂによって規定される。４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲそれぞれの対象領域ＴＡは、当該撮影画像において車両９の周辺の被写体の像が含まれる領域に定められる。
【００５４】
図３に戻り、このように立体曲面ＴＳの投影領域Ｒ１に撮影画像のデータを投影すると、次に、画像合成部２２は、車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両９のモデルは、立体曲面ＴＳが設定される三次元空間における車両９の位置である車両領域Ｒ０に配置される。
【００５５】
次に、画像合成部２２は、画像制御部２０ａの制御により、三次元空間に対して仮想視点ＶＰを設定する。画像合成部２２は、三次元空間における任意の視点位置に任意の視野方向に向けて仮想視点ＶＰを設定できる。そして、画像合成部２２は、立体曲面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域に投影されたデータを画像として切り出す。また、画像合成部２２は、設定した仮想視点ＶＰに応じて車両９のモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を、切り出した画像に対して重畳する。これにより、画像合成部２２は、仮想視点ＶＰからみた車両９及び車両９の周辺の領域を示す合成画像ＣＰを生成する。
【００５６】
例えば図に示すように、視点位置を車両９の直上、視野方向を直下とした仮想視点ＶＰａを設定した場合には、車両９及び車両９の周辺の領域を俯瞰する合成画像（俯瞰画像）ＣＰａが生成される。また、視点位置を車両９の左後方、視野方向を車両９の前方とした仮想視点ＶＰｂを設定した場合には、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の領域を示す合成画像ＣＰｂが生成される。本実施の形態の画像合成部２２は、仮想視点ＶＰとして、車両９の直上から見下ろすような仮想視点ＶＰａを主に設定する。これにより、画像合成部２２は、車両９及び車両９の周辺を俯瞰する合成画像である俯瞰画像を生成するようになっている。
【００５７】
このような合成画像ＣＰの生成の過程において、図４に示すように、立体曲面ＴＳの投影領域Ｒ１における部分ＧＦ，ＧＢ，ＧＬ，ＧＲ同士の境界部分ＢＡ１〜ＢＡ４については、当該境界部分を挟む２つの部分にそれぞれ投影すべき２つの撮影画像の双方のデータが投影される。そして、その境界部分ＢＡ１〜ＢＡ４のデータは、投影される２つの撮影画像のデータを同じ割合でアルファブレンドした値とされる。例えば、車両９の前方に相当する部分ＧＦと、投影領域Ｒ１において車両９の左側方に相当する部分ＧＬとの境界部分ＢＡ１のデータは、フロントカメラ５の撮影画像ＳＦのデータと左サイドカメラ５Ｌの撮影画像ＳＬのデータとをアルファブレンドした値となる。
【００５８】
画像合成部２２は、この立体曲面ＴＳのデータを切り出して合成画像ＣＰを生成することから、立体曲面ＴＳの境界部分ＢＡ１〜ＢＡ４は、合成画像ＣＰに用いられた撮影画像同士の境界部分に相当する。したがって、画像合成部２２は、合成画像ＣＰにおける撮影画像同士の境界部分を、該境界部分を挟む２つの撮影画像をブレンドして生成することになる。
【００５９】
＜１−３．表示画像＞
次に、画像調整部２３が生成する表示画像について説明する。図５は、画像調整部２３が生成する表示画像ＤＰの例を示す図である。図５に示す表示画像ＤＰは、ユーザが視認できるように表示装置３において表示される。
【００６０】
図５に示すように、表示画像ＤＰは、合成画像ＣＰと撮影画像ＳＰとを含んでいる。表示画像ＤＰに含まれる合成画像ＣＰは、車両９の直上から車両９の周辺を俯瞰する合成画像である俯瞰画像となっている。
【００６１】
また、表示画像ＤＰに含まれる撮影画像ＳＰは、車両９の進行方向に基いて選択される。車両９の進行方向が前方の場合は、フロントカメラ５Ｆで取得された撮影画像ＳＦが表示画像ＤＰの撮影画像ＳＰとして用いられる。一方、車両９の進行方向が後方の場合は、リアカメラ５Ｂで取得された撮影画像ＳＢが表示画像ＤＰの撮影画像ＳＰとして用いられる。車両９の進行方向は、シフトセンサ９１から送出される信号に基いて画像制御部２０ａが判定する。
【００６２】
ユーザは、このような表示画像ＤＰを視認することで、撮影画像ＳＰに基いて車両９の進行方向の様子が把握できるとともに、合成画像ＣＰに基いて車両９の周囲全体の様子を併せて把握できることになる。画像表示システム１０は、このような表示画像ＤＰに含まれる合成画像ＣＰを、サイドミラー９３Ｌ，９３Ｒを展開した状態だけでなく、サイドミラー９３Ｌ，９３Ｒを格納した状態においても生成できるようになっている。
【００６３】
＜１−４．サイドミラーの状態の移行＞
前述のように、サイドカメラ５Ｌ，５Ｒは、サイドミラー９３Ｌ，９３Ｒにそれぞれ設けられる。このため、サイドミラー９３Ｌ，９３Ｒが展開した状態から格納した状態へ移行すると、それに伴ってサイドカメラ５Ｌ，５Ｒの位置や光軸の方向も変化する。
【００６４】
図６は、サイドミラー９３Ｌ，９３Ｒを格納した状態を示している。前述のように、サイドミラー９３Ｌ，９３Ｒを展開した状態では、サイドカメラ５Ｌ，５Ｒの光軸５Ｌａ，５Ｌｂの方向は車両９の直進方向の略直交方向に向けられていた（図２参照。）。一方、図６に示すように、サイドミラー９３Ｌ，９３Ｒを格納した状態では、展開した状態と比較して、サイドカメラ５Ｌ，５Ｒの光軸５Ｌａ，５Ｌｂの方向は車両９の後方側へ向けられる。
【００６５】
また、サイドカメラ５Ｌ，５Ｒが設けられる位置は、サイドミラー９３Ｌ，９３Ｒの回転駆動における回転軸ではない。このため、サイドミラー９３Ｌ，９３Ｒが展開した状態から格納した状態へ移行すると、車両９に対する相対的なサイドカメラ５Ｌ，５Ｒの位置自体も変化することになる。
【００６６】
これらにより、サイドミラー９３Ｌ，９３Ｒが展開した状態から格納した状態へ移行すると、それに伴ってサイドカメラ５Ｌ，５Ｒによって得られる撮影画像に含まれる被写体の像の向きや範囲が変化する。
【００６７】
図７は、左サイドカメラ５Ｌによって取得された撮影画像ＳＬの例を示している。図７に示す２つの撮影画像ＳＬは、図８に示す同一の状況下で取得されたものである。図７の上側は左サイドミラー９３Ｌを展開した状態で取得された撮影画像ＳＬを示しており、図７の下側は左サイドミラー９３Ｌを格納した状態で取得された撮影画像ＳＬを示している。
【００６８】
これらの２つの撮影画像ＳＬは、図８に示すように、二色の正方形を交互に配した市松模様のパターンＰが車両９の左側の床面に存在する状況下で取得されている。このパターンＰは、車両９の前端よりも前方の位置から車両９の後端よりも後方の位置まで、車両９の前後方向に沿って延びている。
【００６９】
図７に示す２つの撮影画像ＳＬの双方には、このパターンＰの像Ｐａが含まれている。ただし、２つの撮影画像ＳＬにおいては、パターンＰの像Ｐａの向きや範囲が異なっている。図７の上側に示すように、左サイドミラー９３Ｌを展開した状態の撮影画像ＳＬでは、パターンＰの像Ｐａは撮影画像ＳＬ中を略水平方向に沿って延びている。これと比較して、図７の下側に示すように、左サイドミラー９３Ｌを格納した状態の撮影画像ＳＬでは、パターンＰの像Ｐａは撮影画像ＳＬ中を右側を下にした状態で傾斜して延びている。この例では、左サイドカメラ５Ｌについて説明したが、右サイドカメラ５Ｒについても同様である。
【００７０】
このように、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態が変化すると、サイドカメラ５Ｌ，５Ｒによって得られる撮影画像に含まれる被写体の像の向きや範囲が変化する。このため、仮にサイドミラー９３Ｌ，９３Ｒを格納した状態において、展開した状態と同じ手法で合成画像ＣＰを生成したとすると、被写体の像が不整合に合成された不適切な合成画像ＣＰが生成されることになる。
【００７１】
このような問題に対応するため、本実施の形態の画像表示システム１０は、サイドミラー９３Ｌ，９３Ｒを展開した状態と格納した状態とで、サイドカメラ５Ｌ，５Ｒで得られた撮影画像中の対象領域ＴＡ（すなわち、合成画像ＣＰの生成に用いる領域）を変更する。
【００７２】
図９は、左サイドカメラ５Ｌの撮影画像ＳＬ中の対象領域ＴＡを示している。図９の上側は左サイドミラー９３Ｌを展開した状態における対象領域ＴＡａを示している。一方、図９の下側は左サイドミラー９３Ｌを格納した状態における対象領域ＴＡｂを示している。図に示すように、これらの２つの撮影画像ＳＬでは、撮影画像ＳＬ中の対象領域ＴＡが異なっている。
【００７３】
このように、左サイドミラー９３Ｌを展開した状態と格納した状態とで撮影画像ＳＬ中の対象領域ＴＡを変更することで、いずれの状態においても、撮影画像ＳＬにおいて車両９の周辺の被写体の像が含まれる領域を対象領域ＴＡとすることができる。その結果、いずれの状態においても、被写体の像が整合して合成された適切な合成画像ＣＰを生成できる。なお、この例では、左サイドカメラ５Ｌに関して説明したが、右サイドカメラ５Ｒの撮影画像ＳＲ中の対象領域ＴＡについても、右サイドミラー９３Ｒの状態に応じて同様に変更される。
【００７４】
サイドミラー９３Ｌ，９３Ｒを格納した状態の対象領域ＴＡｂは、展開した状態の対象領域ＴＡａに対して単純な座標変換（回転、平行移動など）をすることでは適切に定めることはできない。これは、サイドミラー９３Ｌ，９３Ｒの状態の移行に伴いサイドカメラ５Ｌ，５Ｒの位置自体が変化することや、魚眼レンズなどの広角レンズを介して得られる撮影画像には大きな歪曲収差（被写体の像が歪む現象）が生じるためである。このため、サイドミラー９３Ｌ，９３Ｒを展開した状態の対象領域ＴＡａ、及び、格納した状態の対象領域ＴＡｂはそれぞれ個別に、記憶部２７に予め記憶された対応テーブル２７ｂによって定められる。
【００７５】
画像表示システム１０の画像合成部２２は、サイドミラー９３Ｌ，９３Ｒを展開した状態では、その状態に応じた対応テーブル２７ｂである「展開時テーブル」を用いる。そして、画像合成部２２は、展開時テーブルによって定められる撮影画像中の対象領域ＴＡａを用いて合成画像ＣＰを生成する。一方、画像合成部２２は、サイドミラー９３Ｌ，９３Ｒを格納した状態では、その状態に応じた対応テーブル２７ｂである「格納時テーブル」を用いる。そして、画像合成部２２は、格納時テーブルによって定められる撮影画像中の対象領域ＴＡｂを用いて合成画像ＣＰを生成する。
【００７６】
このように画像表示システム１０の画像合成部２２は、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態に応じて、合成画像ＣＰの生成に用いる対象領域ＴＡを変更する。これにより、画像表示システム１０は、サイドミラー９３Ｌ，９３Ｒの展開／格納のいずれの状態であっても適切な合成画像ＣＰを生成することができる。
【００７７】
＜１−５．表示画像の表示＞
次に、画像表示システム１０の動作の流れについて説明する。図１０は、表示画像ＤＰを表示するための画像表示システム１０の動作の流れを示す図である。図１０に示す動作は、ユーザによって動作の開始を指示する操作が操作ボタン４を介してなされた場合に開始される。また、図１０に示す動作は、ユーザによって動作の停止を指示する操作が操作ボタン４を介してなされるまで、所定の周期（例えば、１／３０秒周期）で繰り返し実行されることになる。
【００７８】
まず、車両９に設けられた４つのカメラ５のそれぞれが車両９の周辺を撮影する。そして、画像取得部２１が、４つのカメラ５でそれぞれ得られた４つの撮影画像を取得する（ステップＳ１１）。
【００７９】
次に、状態取得部２０ｂが、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態を取得する。状態取得部２０ｂは、サイドミラー９３Ｌ，９３Ｒを回転駆動するミラー駆動部９２から送出される信号に基づいて、サイドミラー９３Ｌ，９３Ｒが展開した状態あるいは格納した状態のいずれであるかを判断する（ステップＳ１２）。
【００８０】
サイドミラー９３Ｌ，９３Ｒが展開した状態の場合は（ステップＳ１２にてＹｅｓ）、画像合成部２２が、画像制御部２０ａの制御により、合成画像ＣＰの生成に用いる対応テーブルとして展開時テーブルを選択する（ステップＳ１３）。そして、画像合成部２２は、記憶部２７に記憶された複数の対応テーブル２７ｂの一つである展開時テーブルを記憶部２７から読み出す。
【００８１】
次に、画像合成部２２が、展開時テーブルを用いて、仮想視点からみた車両９の周辺の様子を示す合成画像ＣＰを生成する（ステップＳ１５）。画像合成部２２は、展開時テーブルに基いて４つの撮影画像それぞれの対象領域ＴＡを定める。そして、画像合成部２２は、４つの撮影画像それぞれの対象領域ＴＡを用いて合成画像ＣＰを生成する。
【００８２】
次に、画像調整部２３が、表示装置３で表示するための表示画像ＤＰを生成する（ステップＳ１６）。画像調整部２３は、画像合成部２２が生成した合成画像ＣＰと、画像取得部２１が取得した撮影画像とを用いて表示画像ＤＰを生成する。画像調整部２３は、画像制御部２０ａの制御により、車両９の進行方向に応じた撮影画像を選択して表示画像ＤＰの生成に用いる。
【００８３】
次に、画像出力部２４が、画像調整部２３に生成された表示画像ＤＰを表示装置３に出力する（ステップＳ１７）。これにより、合成画像ＣＰを含む表示画像ＤＰが、表示装置３に表示される。
【００８４】
また、ステップＳ１２において、サイドミラー９３Ｌ，９３Ｒが格納した状態の場合は（ステップＳ１２にてＮｏ）、画像合成部２２が、画像制御部２０ａの制御により、合成画像ＣＰの生成に用いる対応テーブルとして格納時テーブルを選択する（ステップＳ１４）。そして、画像合成部２２は、記憶部２７に記憶された複数の対応テーブル２７ｂの一つである格納時テーブルを記憶部２７から読み出す。
【００８５】
次に、画像合成部２２が、格納時テーブルを用いて、仮想視点からみた車両９の周辺の様子を示す合成画像ＣＰを生成する（ステップＳ１５）。画像合成部２２は、格納時テーブルに基いて４つの撮影画像それぞれの対象領域ＴＡを定める。これにより、サイドミラー９３Ｌ，９３Ｒを格納した状態であっても、サイドカメラＳＬ，ＳＲの撮影画像において、車両９の周辺の被写体の像が含まれる領域が対象領域ＴＡとして定められる。そして、画像合成部２２は、４つの撮影画像それぞれの対象領域ＴＡを用いて合成画像ＣＰを生成する。その結果、被写体の像が整合して合成された適切な合成画像ＣＰが生成される。
【００８６】
次に、画像調整部２３が、表示装置３で表示するための表示画像ＤＰを生成する（ステップＳ１６）。画像調整部２３は、画像合成部２２が生成した合成画像ＣＰと、画像取得部２１が取得した撮影画像とを用いて表示画像ＤＰを生成する。画像調整部２３は、画像制御部２０ａの制御により、車両９の進行方向に応じた撮影画像を選択して表示画像ＤＰの生成に用いる。
【００８７】
次に、画像出力部２４が、画像調整部２３に生成された表示画像ＤＰを表示装置３に出力する（ステップＳ１７）。これにより、合成画像ＣＰを含む表示画像ＤＰが、表示装置３に表示される。
【００８８】
以上のように第１の実施の形態の画像表示システム１０では、画像取得部２１が車両９のサイドミラー９３Ｌ，９３Ｒに設けられたサイドカメラ５Ｌ，５Ｒを含む複数のカメラ５で得られた複数の撮影画像を取得し、画像合成部２２が複数の撮影画像それぞれの対象領域ＴＡを用いて、仮想視点からみた車両９の周辺を示す合成画像ＣＰを生成する。また、状態取得部２０ｂがサイドミラー９３Ｌ，９３Ｒの展開／格納の状態を取得し、画像合成部２２はサイドミラー９３Ｌ，９３Ｒの展開／格納の状態に応じて対象領域ＴＡを変更する。このようにサイドミラー９３Ｌ，９３Ｒの状態に応じてサイドカメラ５Ｌ，５Ｒで得られた撮影画像中の対象領域ＴＡを変更するため、サイドミラー９３Ｌ，９３Ｒの展開／格納のいずれの状態であっても適切な合成画像ＣＰを生成することができる。
【００８９】
＜２．第２の実施の形態＞
＜２−１．概要＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システム１０の構成及び動作は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第２の実施の形態の画像表示システム１０は、キャリブレーション処理によって取得される各カメラ５の光軸の方向の誤差を示す光軸パラメータを用いて合成画像ＣＰを生成する。
【００９０】
カメラ５を車両９に設置した場合においては、車両９に対する相対的なカメラ５の光軸の方向に関して設計上の方向に対し僅かに誤差（設置誤差）が生じる。このような誤差に起因して、カメラ５で取得された撮影画像に含まれる被写体の像の位置は、設計上想定される位置からズレることになる。このため、このようなズレを考慮せずに、撮影画像中の設計上で定められた対象領域ＴＡを用いて合成画像ＣＰを生成した場合には、被写体の像が不整合に合成される可能性がある。
【００９１】
特に、合成画像ＣＰにおける撮影画像同士の境界部分を該境界部分を挟む２つの撮影画像をブレンドして生成する場合においては、被写体の像が不整合に合成されると、合成画像ＣＰのブレンドした部分において同一の物体の像が異なる位置に表れることがある。このような合成画像ＣＰを視認したユーザは、車両９の周辺に存在する物体の数や位置を誤解する可能性がある。
【００９２】
このため、第２の実施の形態の画像表示システム１０は、キャリブレーション処理を実行して、各カメラ５の実際の光軸の方向に関する光軸パラメータを取得する。光軸パラメータは、車両９に対する相対的なカメラ５の光軸の方向の設計上の方向に対する誤差を示しており、例えば、ロール角、チルト角及びパン角などである。そして、画像表示システム１０は、取得した光軸パラメータを用いて、合成画像ＣＰの生成に用いる対象領域ＴＡの撮影画像中の位置を補正する。これにより、画像表示システム１０は適切な合成画像ＣＰを生成するようになっている。
【００９３】
また、サイドカメラ５Ｌ，５Ｒは、サイドミラー９３Ｌ，９３Ｒの回転駆動に伴ってその位置及び光軸の方向が変化する。このようなサイドミラー９３Ｌ，９３Ｒの回転駆動においても回転角度等に個体差がある。このため、サイドカメラ５Ｌ，５Ｒの光軸の方向に関しては、サイドミラー９３Ｌ，９３Ｒを展開した状態と格納した状態とでそれぞれ独立した誤差が生じる。したがって、画像表示システム１０は、サイドミラー９３Ｌ，９３Ｒに関しては、サイドミラー９３Ｌ，９３Ｒを実際に展開した状態と実際に格納した状態とのそれぞれで、サイドカメラ５Ｌ，５Ｒの光軸の方向の誤差を示す光軸パラメータを取得する。
【００９４】
第２の実施の形態の画像表示システム１０の画像生成装置２は、キャリブレーション処理において光軸パラメータを導出する機能を有している。このため、画像生成装置２は、車両９に設けられたカメラ５に関するパラメータを取得するパラメータ取得装置であるともいえる。画像表示システム１０は、車両工場や車両整備場などで車両９に複数のカメラ５が取り付けられた際に、キャリブレーション処理を実行する。キャリブレーション処理で得られた光軸パラメータは、画像生成装置２に記憶され、以降、画像生成装置２は合成画像ＣＰを生成する場合に利用する。
【００９５】
図１１は、第２の実施の形態の画像表示システム１０の構成を示す図である。第２の実施の形態の画像表示システム１０は、図１に示す第１の実施の形態の構成に加えて、光軸パラメータを導出するパラメータ導出部２０ｃをさらに備えている。パラメータ導出部２０ｃは、プログラム２７ａに従って制御部２０のＣＰＵが演算処理を行うことで実現される機能部の一部である。
【００９６】
また、記憶部２７には、プログラム２７ａ及び複数の対応テーブル２７ｂとともに、複数の光軸パラメータ２７ｃが記憶されている。光軸パラメータ２７ｃは、キャリブレーション処理によって取得されるため、キャリブレーション処理の実行前は記憶部２７に記憶されていない。
【００９７】
光軸パラメータ２７ｃは、各カメラ５ごとに存在している。また、サイドカメラ５Ｌ，５Ｒに関しては、サイドミラー９３Ｌ，９３Ｒを展開した状態と格納した状態とのそれぞれの光軸パラメータ２７ｃが個別に存在している。
【００９８】
＜２−２．キャリブレーション処理＞
図１２は、キャリブレーション処理を実行する場合における車両９の様子を示す図である。図１２に示すように、車両工場や車両整備場などキャリブレーション処理を実行する作業場には、４つの標識体７が配置される。
【００９９】
図１３に示すように、４つの標識体７はそれぞれ、直立可能な立体形状を有している。標識体７は、直立させたプラスチック板などの板状体７９を有している。板状体７９における車両９に対向する側の主面には、所定の模様のマーク７０が形成されている。マーク７０の模様は、例えば、市松模様である。この模様を形成する二色のうちの一方は相対的に暗い色（例えば、黒）、他方は相対的に明るい色（例えば、白）となっている。
【０１００】
キャリブレーション処理を実行する場合には、図１２に示すように、作業場の所定位置に略正確に車両９が正対装置などにより停車される。これにより、車両９に対する４つの標識体７の相対的な位置は一定となる。４つの標識体７は、車両９の左前方、右前方、左後方、及び、右後方の各領域Ａ１，Ａ２，Ａ３，Ａ４にそれぞれ配置される。したがって、４つの標識体７は全て、４つのカメラ５のうちの２つのカメラ５によって重複して撮影可能となっている（図２参照。）。
【０１０１】
キャリブレーション処理は、図１２に示す状態で、作業員がタッチパネル３１等を介して所定の操作を行うことで実行される。キャリブレーション処理では、車両９に搭載されたカメラ５が、標識体７を含む車両９の周囲を撮影して撮影画像を取得する。画像生成装置２は、このようにして得られた撮影画像に基づいて、カメラ５の光軸の方向の誤差を示す光軸パラメータを取得する。
【０１０２】
図１４は、画像表示システム１０のキャリブレーション処理の流れを示す図である。以下、キャリブレーション処理の流れについて説明する。このキャリブレーション処理においては、サイドミラー９３Ｌ，９３Ｒを実際に展開した状態と実際に格納した状態とのそれぞれにおいて光軸パラメータが取得される。
【０１０３】
まず、画像生成装置２の状態取得部２０ｂが、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態を取得し、サイドミラー９３Ｌ，９３Ｒが実際に展開した状態であることを確認する（ステップＳ２１）。この際、サイドミラー９３Ｌ，９３Ｒが格納した状態の場合は、サイドミラー９３Ｌ，９３Ｒが展開した状態となるまで、画像表示システム１０は処理を待機する。
【０１０４】
なお、サイドミラー９３Ｌ，９３Ｒが格納した状態の場合は、表示装置３が警告等を表示して、サイドミラー９３Ｌ，９３Ｒを展開した状態にするように作業員を促してもよい。また、サイドミラー９３Ｌ，９３Ｒが格納した状態の場合は、画像生成装置２の制御部２０が、所定の信号をミラー駆動部９２へ送出して、サイドミラー９３Ｌ，９３Ｒを展開した状態に自動的に移行させてもよい。
【０１０５】
サイドミラー９３Ｌ，９３Ｒが実際に展開した状態である場合は（ステップＳ２１にてＹｅｓ）、次に、パラメータ導出部２０ｃが、４つのカメラ５のうち一のカメラ５を処理の対象とする「注目カメラ」として選択する（ステップＳ２２）。
【０１０６】
次に、注目カメラ５が、２つの標識体７のマーク７０を含む車両９の周辺の領域を撮影して撮影画像を取得する（ステップＳ２３）。図１５は、このようにして取得されたキャリブレーション処理用の撮影画像ＧＣの一例を示す図である。図に示すように、撮影画像ＧＣには、２つのマーク７０の像（以下、「マーク像」という。）７１ａ，７２ａが含まれている。
【０１０７】
次に、パラメータ導出部２０ｃが、撮影画像ＧＣに基いて、注目カメラ５の光軸の方向の誤差を示す光軸パラメータを取得する（ステップＳ２４）。パラメータ導出部２０ｃは、まず、撮影画像ＧＣに含まれる２つのマーク像７１ａ，７２ａの位置を特定し、これらの位置に基づいて、パン角、チルト角及びロール角等の光軸パラメータを導出する。
【０１０８】
パラメータ導出部２０ｃは、例えば、ハリスオペレータなどの周知のコーナ検出法を用いて、撮影画像ＧＣ中の２つのマーク像７１ａ，７２ａの位置を特定する。また、パラメータ導出部２０ｃは、例えば、撮影画像ＧＣ中の２つのマーク像７１ａ，７１ｂの左右の位置に基づいてパン角、２つのマーク像７１ａ，７１ｂの上下の位置に基づいてチルト角、撮影画像ＧＣ中の２つのマーク像７１ａ，７１ｂの高さの差に基づいてロール角をそれぞれ導出する。なお、撮影画像ＧＣ中の２つのマーク像７１ａ，７２ａの位置は、作業員が手動で指定してもよい。
【０１０９】
パラメータ導出部２０ｃは、このようにして取得した光軸パラメータを、注目カメラ５に関連付けて記憶部２７に記憶する。
【０１１０】
次に、パラメータ導出部２０ｃは、４つのカメラ５の全てについて光軸パラメータを取得したか否かを判定する（ステップＳ２５）。そして、光軸パラメータの取得が完了していないカメラ５がある場合は（ステップＳ２５にてＮｏ）、注目カメラ５に設定されていない他のカメラ５が新たな注目カメラ５に設定されて、上述した処理が繰り返される。
【０１１１】
このような処理が繰り返されることにより、４つのカメラ５の全ての光軸パラメータが取得され、記憶部２７に記憶される。この過程で取得された２つのサイドカメラ５Ｌ，５Ｒの光軸パラメータは、サイドミラー９３Ｌ，９３Ｒを実際に展開した状態において取得された光軸パラメータであり、以下、「展開時パラメータ」という。「展開時パラメータ」は、サイドミラー９３Ｌ，９３Ｒを実際に展開した状態における、サイドカメラ５Ｌ，５Ｒの光軸の方向の設計上の方向に対する誤差を示す。
【０１１２】
このように４つのカメラ５の光軸パラメータが取得されると（ステップＳ２５にてＹｅｓ）、次に、状態取得部２０ｂが、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態を取得する。そして、サイドミラー９３Ｌ，９３Ｒが実際に格納した状態となるまで、画像表示システム１０は処理を待機する（ステップＳ２６）。
【０１１３】
なお、この際、表示装置３が警告等を表示して、サイドミラー９３Ｌ，９３Ｒを格納した状態にするように作業員を促してもよい。また、画像生成装置２の制御部２０が、所定の信号をミラー駆動部９２へ送出して、サイドミラー９３Ｌ，９３Ｒを格納した状態に自動的に移行させてもよい。
【０１１４】
サイドミラー９３Ｌ，９３Ｒが実際に格納した状態となった場合は（ステップＳ２６にてＹｅｓ）、次に、パラメータ導出部２０ｃが、左右２つのサイドカメラ５Ｌ，５Ｒのうちの一方を処理の対象とする「注目カメラ」として選択する（ステップＳ２７）。
【０１１５】
次に、注目カメラ５が、２つの標識体７のマーク７０を含む車両９の周辺の領域を撮影して撮影画像を取得する（ステップＳ２８）。このとき取得された撮影画像ＧＣにも、２つのマーク像７１ａ，７２ａが含まれている。
【０１１６】
次に、パラメータ導出部２０ｃが、撮影画像ＧＣに基いて、注目カメラ５の光軸の方向の誤差を示す光軸パラメータを取得する（ステップＳ２９）。パラメータ導出部２０ｃは、撮影画像ＧＣに含まれる２つのマーク像７１ａ，７２ａの位置を特定し、これらの位置に基づいて光軸パラメータを導出する。パラメータ導出部２０ｃは、取得した光軸パラメータを、注目カメラ５に関連付けて記憶部２７に記憶する。
【０１１７】
次に、パラメータ導出部２０ｃは、左右２つのサイドカメラ５Ｌ，５Ｒの双方について光軸パラメータを取得したか否かを判定する（ステップＳ３０）。光軸パラメータの取得が完了していないサイドカメラ５がある場合は（ステップＳ３０にてＮｏ）、注目カメラ５に設定されていない他方のサイドカメラ５が新たな注目カメラ５に設定されて、上述した処理が繰り返される。
【０１１８】
このような処理により、左右２つのサイドカメラ５Ｌ，５Ｒの双方の光軸パラメータが取得され、記憶部２７に記憶される。この過程で取得された２つのサイドカメラ５Ｌ，５Ｒの光軸パラメータは、サイドミラー９３Ｌ，９３Ｒを実際に格納した状態において取得された光軸パラメータであり、以下、「格納時パラメータ」という。「格納時パラメータ」は、サイドミラー９３Ｌ，９３Ｒを実際に格納した状態における、サイドカメラ５Ｌ，５Ｒの光軸の方向の設計上の方向に対する誤差を示す。
【０１１９】
以上のキャリブレーション処理により、２つのサイドカメラ５Ｌ，５Ｒに関しては「展開時パラメータ」と「格納時パラメータ」との双方が取得されることになる。
【０１２０】
＜２−３．表示画像の表示＞
このようにして取得された光軸パラメータは、合成画像ＣＰを生成する際に利用される。図１６は、第２の実施の形態における、表示画像ＤＰを表示するための画像表示システム１０の動作の流れを示す図である。図１６に示す動作は、図１０に示す第１の実施の形態の動作におけるステップＳ１３の後にステップＳ１３ａを加えるとともに、ステップＳ１４の後にステップＳ１４ａを加えたものとなっている。
【０１２１】
まず、画像取得部２１が４つのカメラ５でそれぞれ得られた４つの撮影画像を取得する（ステップＳ１１）。次に、状態取得部２０ｂが、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態を取得する（ステップＳ１２）。
【０１２２】
サイドミラー９３Ｌ，９３Ｒが展開した状態の場合は（ステップＳ１２にてＹｅｓ）、画像合成部２２が、合成画像ＣＰの生成に用いる対応テーブルとして展開時テーブルを選択し、展開時テーブルを記憶部２７から読み出す（ステップＳ１３）。
【０１２３】
次に、画像合成部２２が、展開時テーブルに基いて定められる４つの撮影画像それぞれの対象領域ＴＡを、４つのカメラ５それぞれの光軸の方向の誤差を考慮して修正する（ステップＳ１３ａ）。画像合成部２２は、４つのカメラ５それぞれの光軸パラメータ２７ｃを記憶部２７から読み出す。この際、画像合成部２２は、２つのサイドカメラ５Ｌ，５Ｒに関しては「展開時パラメータ」を記憶部２７から読み出す。そして、画像合成部２２は、展開時テーブルに基いて定められる４つの撮影画像それぞれの対象領域ＴＡを、４つのカメラ５それぞれの光軸パラメータ２７ｃを用いて修正する。これにより、サイドカメラ５Ｌ，５Ｒの撮影画像の対象領域ＴＡについては、サイドカメラ５Ｌ，５Ｒそれぞれの「展開時パラメータ」を用いて修正される。
【０１２４】
図１７は、左サイドミラー９３Ｌを展開した状態における、左サイドカメラ５Ｌの撮影画像ＳＬ中の対象領域ＴＡの例を示している。仮に左サイドカメラ５Ｌの光軸の方向に関して誤差がないとした場合は、合成画像ＣＰの生成に用いる対象領域ＴＡは、展開時テーブルのみに基づく初期領域ＴＡ１となる。画像合成部２２は、左サイドミラー９３Ｌを実際に展開した状態における左サイドカメラ５Ｌの光軸の方向の誤差を示す展開時パラメータを用いて、対象領域ＴＡを初期領域ＴＡ１から修正領域ＴＡ２に修正する。
【０１２５】
次に、画像合成部２２が、このように修正された４つの撮影画像それぞれの対象領域ＴＡを用いて合成画像ＣＰを生成する（ステップＳ１５）。これにより、４つのカメラ５それぞれの光軸の方向の誤差が考慮されて合成画像ＣＰが生成されることになるため、被写体の像が整合して合成された適切な合成画像ＣＰが生成される。２つの撮影画像をブレンドして生成される合成画像ＣＰにおける撮影画像同士の境界部分においても、被写体の像を適切に重ね合わせることができる。
【０１２６】
次に、画像調整部２３が、表示装置３で表示するための表示画像ＤＰを生成し（ステップＳ１６）、画像出力部２４が、画像調整部２３に生成された表示画像ＤＰを表示装置３に出力する（ステップＳ１７）。これにより、合成画像ＣＰを含む表示画像ＤＰが、表示装置３に表示される。
【０１２７】
また、ステップＳ１２において、サイドミラー９３Ｌ，９３Ｒが格納した状態の場合は（ステップＳ１２にてＮｏ）、画像合成部２２が、合成画像ＣＰの生成に用いる対応テーブルとして格納時テーブルを記憶部２７から読み出す（ステップＳ１４）。
【０１２８】
次に、画像合成部２２が、格納時テーブルに基いて定められる４つの撮影画像それぞれの対象領域ＴＡを、４つのカメラ５それぞれの光軸の方向の誤差を考慮して修正する（ステップＳ１４ａ）。画像合成部２２は、４つのカメラ５それぞれの光軸パラメータ２７ｃを記憶部２７から読み出す。この際、画像合成部２２は、２つのサイドカメラ５Ｌ，５Ｒに関しては「格納時パラメータ」を記憶部２７から読み出す。そして、画像合成部２２は、格納時テーブルに基いて定められる４つの撮影画像それぞれの対象領域ＴＡを、４つのカメラ５それぞれの光軸パラメータ２７ｃを用いて修正する。これにより、サイドカメラ５Ｌ，５Ｒの撮影画像の対象領域ＴＡについては、サイドカメラ５Ｌ，５Ｒそれぞれの「格納時パラメータ」を用いて修正される。
【０１２９】
図１８は、左サイドミラー９３Ｌを格納した状態における、左サイドカメラ５Ｌの撮影画像ＳＬ中の対象領域ＴＡの例を示している。仮に左サイドカメラ５Ｌの光軸の方向に関して誤差がないとした場合は、合成画像ＣＰの生成に用いる対象領域ＴＡは、格納時テーブルのみに基づく初期領域ＴＡ３となる。画像合成部２２は、左サイドミラー９３Ｌを実際に格納した状態における左サイドカメラ５Ｌの光軸の方向の誤差を表す格納時パラメータを用いて、対象領域ＴＡを初期領域ＴＡ３から修正領域ＴＡ４に修正する。
【０１３０】
次に、画像合成部２２が、このように修正された４つの撮影画像それぞれの対象領域ＴＡを用いて合成画像ＣＰを生成する（ステップＳ１５）。これにより、４つのカメラ５それぞれの光軸の方向の誤差が考慮されて合成画像ＣＰが生成されることになるため、被写体の像が整合して合成された適切な合成画像ＣＰが生成される。２つの撮影画像をブレンドして生成される合成画像ＣＰにおける撮影画像同士の境界部分においても、被写体の像を適切に重ね合わせることができる。
【０１３１】
次に、画像調整部２３が、表示装置３で表示するための表示画像ＤＰを生成し（ステップＳ１６）、画像出力部２４が、画像調整部２３に生成された表示画像ＤＰを表示装置３に出力する（ステップＳ１７）。これにより、合成画像ＣＰを含む表示画像ＤＰが、表示装置３に表示される。
【０１３２】
以上のように第２の実施の形態の画像表示システム１０では、画像合成部２２は、サイドミラー９３Ｌ，９３Ｒを展開した状態では、展開時パラメータに基づく対象領域ＴＡを用いて合成画像ＣＰを生成する。また、画像合成部２２は、サイドミラー９３Ｌ，９３Ｒを格納した状態では、格納時パラメータに基づく対象領域ＴＡを用いて合成画像ＣＰを生成する。展開時パラメータは、サイドミラー９３Ｌ，９３Ｒを実際に展開した状態におけるサイドカメラ５Ｌ，５Ｒの光軸の方向の誤差を示している。一方、格納時パラメータは、サイドミラー９３Ｌ，９３Ｒを実際に格納した状態におけるサイドカメラ５Ｌ，５Ｒの光軸の方向の誤差を示している。
【０１３３】
このように画像合成部２２は、サイドミラー９３Ｌ，９３Ｒの展開／格納の２つの状態それぞれでの光軸の方向の誤差に基づく対象領域ＴＡを用いて合成画像ＣＰを生成する。このため、サイドミラー９３Ｌ，９３Ｒの展開／格納のいずれの状態であっても被写体の像が適切に配置された合成画像ＣＰを生成することができる。また、合成画像ＣＰにおける撮影画像同士の境界部分を２つの撮影画像をブレンドして生成する場合であっても、合成画像ＣＰのブレンドした部分において被写体の像を適切に重ね合わせることができる。
【０１３４】
また、キャリブレーション処理において、パラメータ導出部２０ｃは、サイドミラー９３Ｌ，９３Ｒを実際に展開した状態において展開時パラメータを取得し、サイドミラー９３Ｌ，９３Ｒを実際に格納した状態において格納時パラメータを取得する。このため、サイドミラー９３Ｌ，９３Ｒの展開／格納の２つの状態のそれぞれで適切な合成画像ＣＰを生成するために必要な展開時パラメータと格納時パラメータとを適切に取得することができる。
【０１３５】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の画像表示システム１０の構成及び動作は、第２の実施の形態とほぼ同様であるため、以下、第２の実施の形態との相違点を中心に説明する。
【０１３６】
第２の実施の形態の画像表示システム１０は、キャリブレーション処理において、サイドミラー９３Ｌ，９３Ｒを展開／格納の２つの状態それぞれにおいて光軸パラメータを取得していた。適切な合成画像ＣＰを生成するには、このように２つの状態の双方において光軸パラメータを取得することが望ましいが、キャリブレーション処理に比較的長い時間が必要となる。
【０１３７】
このため、第３の実施の形態の画像表示システム１０は、キャリブレーション処理において、サイドミラー９３Ｌ，９３Ｒを展開した状態のみにおいて光軸パラメータ（展開時パラメータ）を取得して、キャリブレーション処理に必要な時間を短縮している。そして、第３の実施の形態の画像表示システム１０は、格納時パラメータについては、取得した展開時パラメータに基づき所定の演算により導出するようにしている。
【０１３８】
ただし、前述のようにサイドカメラ５Ｌ，５Ｒの光軸の方向に関しては、サイドミラー９３Ｌ，９３Ｒを展開した状態と格納した状態とでそれぞれ独立した誤差が生じる。このため、このように格納時パラメータを演算で導出した場合には、光軸の方向の誤差を正確に示す格納時パラメータを取得することは難しい。したがって、演算で導出した格納時パラメータを用いて合成画像ＣＰを生成した場合には、被写体の像が不整合に合成される可能性がある。
【０１３９】
特に、合成画像ＣＰにおける撮影画像同士の境界部分を該境界部分を挟む２つの撮影画像をブレンドして生成する場合においては、被写体の像が不整合に合成されると、合成画像ＣＰのブレンドした部分において同一の物体の像が異なる位置に表れることがある。このような合成画像ＣＰを視認したユーザは、車両９の周辺に存在する物体の数や位置を誤解する可能性がある。
【０１４０】
このため、第３の実施の形態の画像表示システム１０は、サイドミラー９３Ｌを展開した状態（キャリブレーション処理で取得した展開時パラメータを用いる場合）では、第２の実施の形態と同様に、合成画像ＣＰにおける撮影画像同士の境界部分を、該境界部分を挟む２つの撮影画像をブレンドして生成する。その一方で、画像表示システム１０は、サイドミラー９３Ｌを格納した状態（演算で導出した格納時パラメータを用いる場合）では、合成画像ＣＰにおける合成画像における撮影画像同士の境界部分を、撮影画像を用いないラインとするようにしている。
【０１４１】
第３の実施の形態の画像表示システム１０の構成は、図１１に示す第２の実施の形態と同様である。ただし、パラメータ導出部２０ｃは、キャリブレーション処理においてサイドミラー９３Ｌ，９３Ｒを展開した状態のみにおいて光軸パラメータ（展開時パラメータ）を取得する。そして、パラメータ導出部２０ｃは、取得した展開時パラメータに基づき、所定の演算により格納時パラメータを導出する。このような演算式は設計値により予め定められ、記憶部２７に記憶されている。
【０１４２】
また、第３の実施の形態における、表示画像ＤＰを表示するための画像表示システム１０の動作の流れは、図１６に示す動作と同様である。ただし、ステップＳ１５において画像合成部２２が合成画像ＣＰを生成する際に、合成画像ＣＰにおける撮影画像同士の境界部分を生成する手法が、サイドミラー９３Ｌ，９３Ｒを展開した状態の場合と格納した状態の場合とで異なっている。
【０１４３】
サイドミラー９３Ｌ，９３Ｒを展開した状態の場合では、画像合成部２２は、上述した実施の形態と同様に、合成画像ＣＰにおける撮影画像同士の境界部分を、該境界部分を挟む２つの撮影画像をブレンドして生成することになる（図４参照。）。
【０１４４】
これに対して、サイドミラー９３Ｌ，９３Ｒを格納した状態の場合では、画像合成部２２は、合成画像ＣＰにおける撮影画像同士の境界部分を、撮影画像をブレンドして生成しない。この場合は、図１９に示すように、立体曲面ＴＳの投影領域Ｒ１において４つの撮影画像が投影される部分ＧＦ，ＧＢ，ＧＬ，ＧＲは互いに重ならずに、一定の間隔を開けて分断されている。このため、部分ＧＦ，ＧＢ，ＧＬ，ＧＲ同士の境界部分ＢＢ１〜ＢＢ４には、いずれの撮影画像のデータも投影されない隙間が形成されている。したがって、画像合成部２２は、合成画像ＣＰにおける撮影画像同士の境界部分を、撮影画像を用いないラインとすることになる。
【０１４５】
図２０は、サイドミラー９３Ｌ，９３Ｒを展開した状態と格納した状態とのそれぞれで生成される合成画像ＣＰの例を示している。図２０の左側はサイドミラー９３Ｌ，９３Ｒを展開した状態で生成される合成画像ＣＰを示しており、図２０の右側はサイドミラー９３Ｌ，９３Ｒを格納した状態で生成される合成画像ＣＰを示している。図２０中では、合成画像ＣＰにおける撮影画像同士の境界部分に、図４または図１９において立体曲面ＴＳの部分ＧＦ，ＧＢ，ＧＬ，ＧＲ同士の境界部分に付した符号と同じ符号を付している。
【０１４６】
図２０の左側に示すように、サイドミラー９３Ｌ，９３Ｒを展開した状態の合成画像ＣＰでは、合成画像ＣＰにおける撮影画像同士の境界部分ＢＡ１〜ＢＡ４がブレンドして生成される。このため、この境界部分ＢＡ１〜ＢＡ４にも被写体の像が含まれており、合成画像ＣＰは自然な画像となっている。この場合は、キャリブレーション処理で取得した展開時パラメータを用いて合成画像ＣＰを生成するため、合成画像ＣＰのブレンドした部分において被写体の像を適切に重ね合わせることができる。
【０１４７】
これに対して、図２０の右側に示すように、サイドミラー９３Ｌ，９３Ｒを格納した状態の合成画像ＣＰでは、合成画像ＣＰにおける撮影画像同士の境界部分ＢＢ１〜ＢＢ４には撮影画像のデータが用いられておらず、無彩色のラインとなっている。このため、このラインＢＢ１〜ＢＢ４には被写体の像が含まれていない。
【０１４８】
この場合は、演算で導出した格納時パラメータを用いて合成画像ＣＰを生成するため、被写体の像が不整合に合成されるおそれがある。このため、合成画像ＣＰにおける撮影画像同士の境界部分を被写体の像を含まないラインとすることで、被写体の像が不整合に重ねられることを防止することができる。また、合成画像ＣＰにおける撮影画像同士をラインで区切ることで、撮影画像間において被写体の像が不連続となることでユーザが感じる違和感を軽減することができる。
【０１４９】
以上のように第３の実施の形態の画像表示システム１０では、画像合成部２２は、サイドミラー９３Ｌ，９３Ｒを展開した状態では、合成画像ＣＰにおける撮影画像同士の境界部分を該境界部分を挟む２つの撮影画像をブレンドして生成する。その一方で、画像合成部２２は、サイドミラー９３Ｌ，９３Ｒを格納した状態では、合成画像ＣＰにおける撮影画像同士の境界部分を撮影画像を用いないラインとする。
【０１５０】
サイドミラー９３Ｌ，９３Ｒを展開した状態では、サイドカメラ５Ｌ，５Ｒの光軸の方向の誤差を正確に考慮して合成画像ＣＰを生成できる。このため、合成画像ＣＰにおけるブレンドした部分において被写体の像を適切に重ね合わせることができ、自然な合成画像ＣＰを生成することができる。これに対し、サイドミラー９３Ｌ，９３Ｒを格納した状態では、サイドカメラ５Ｌ，５Ｒの光軸の方向の誤差が不正確となる。このため、合成画像ＣＰにおける撮影画像同士の境界部分をラインとすることで、被写体の像が不整合に重ねられることを防止できる。
【０１５１】
なお、この第３の実施の形態では、キャリブレーション処理で展開時パラメータを取得し、取得した展開時パラメータに基づき所定の演算により格納時パラメータを導出すると説明した。これとは逆に、キャリブレーション処理で格納時パラメータを取得し、取得した格納時パラメータに基づき所定の演算により展開時パラメータを導出してもよい。この場合は、画像合成部２２は、サイドミラー９３Ｌ，９３Ｒを展開した状態では、合成画像ＣＰにおける撮影画像同士の境界部分を撮影画像を用いないラインとする。その一方で、画像合成部２２は、サイドミラー９３Ｌ，９３Ｒを格納した状態では、合成画像ＣＰにおける撮影画像同士の境界部分を該境界部分を挟む２つの撮影画像をブレンドして生成することになる。
【０１５２】
＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１５３】
上記実施の形態では、状態取得部２０ｂは、ミラー駆動部９２から送出される信号に基づいて、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態を取得していた。これに対して、状態取得部２０ｂは、ユーザの入力操作に基いて、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態を取得するようにしてもよい。この場合は、ユーザが、サイドミラー９３Ｌ，９３Ｒが展開した状態、及び、格納した状態のいずれであるかを、操作ボタン４やタッチパネル３１を介して入力することになる。
【０１５４】
また、第２及び第３の実施の形態では、マーク７０は直立可能な標識体７に形成されていた。これに対して、マーク７０は、例えば、直立できない板状の標識体の主面に形成してもよく、また、作業場の床面に形成してもよい。
【０１５５】
また、第２及び第３の実施の形態では、画像生成装置２は、光軸パラメータを取得するパラメータ取得装置としての機能を備えていなくてもよい。この場合、画像生成装置２は、別のパラメータ取得装置によって取得された光軸パラメータを記憶部２７に記憶しておき、合成画像ＣＰを生成する場合に利用すればよい。
【０１５６】
また、画像表示システム１０は、上記で説明した車両９の周辺を示す表示画像を表示する機能以外に、目的地までのルート案内を行うナビゲーション機能などの他の機能を有していてもよい。画像表示システム１０がナビゲーション機能を備える場合は、通常はナビゲーション機能が有効化され、ユーザによって所定の操作がなされた場合に、上記の表示画像を表示する機能を有効化すればよい。ナビゲーション機能は、画像生成装置２が有していてもよく表示装置３が有していてもよい。
【０１５７】
また、上記実施の形態の画像表示システム１０は、車両９の直上の仮想視点からみた合成画像（俯瞰画像）を生成するものであったが、他の位置の仮想視点からみた合成画像を生成するものであってもよい。
【０１５８】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能部が実現されると説明したが、これら機能部のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１５９】
１０    画像表示システム
２    画像生成装置
２０ｂ    状態取得部
２０ｃ    パラメータ導出部
２２    画像合成部
２７ｂ    対応テーブル
２７ｃ    光軸パラメータ
５    カメラ
９    車両
【図１】
2014049848.tif 000003
【図２】
2014049848.tif 000004
【図３】
2014049848.tif 000005
【図４】
2014049848.tif 000006
【図５】
2014049848.tif 000007
【図６】
2014049848.tif 000008
【図７】
2014049848.tif 000009
【図８】
2014049848.tif 000010
【図９】
2014049848.tif 000011
【図１０】
2014049848.tif 000012
【図１１】
2014049848.tif 000013
【図１２】
2014049848.tif 000014
【図１３】
2014049848.tif 000015
【図１４】
2014049848.tif 000016
【図１５】
2014049848.tif 000017
【図１６】
2014049848.tif 000018
【図１７】
2014049848.tif 000019
【図１８】
2014049848.tif 000020
【図１９】
2014049848.tif 000021
【図２０】
2014049848.tif 000022