(57)【要約】【課題】車両と障害物との位置関係をユーザが直感的に把握できる画像処理システムを提供する。【解決手段】複数のカメラで撮影された画像の各画素を仮想的な立体曲面に投影し、立体曲面のうちケラレによる光量低下が生じている周辺領域を除いた略半球状の領域を用いて、任意の仮想視点に応じた車両を見下ろした状態の複数の合成画像を生成し、生成された合成画像を表示部で連続表示する。これにより、車両の周囲を周回するように表示がなされ、ユーザは車両と障害物との位置関係を直感的に把握できる。【選択図】図７
2011135253.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、
前記車両の周辺を複数のカメラで撮影して得られる複数の画像の各画素を仮想的な立体曲面に投影し、前記立体曲面のうち光量低下が生じている周辺領域を除いた略半球状の領域を用いて、任意の仮想視点に応じた合成画像を生成する合成画像生成手段と、
生成された前記合成画像を前記表示装置に出力する出力手段と、
所定の開始信号を受信する信号受信手段と、
を備え、
前記合成画像生成手段は、前記開始信号の受信に応答して、前記仮想視点の位置を連続的に変更し、連続表示により前記車両を見下ろした状態で前記車両の周囲を周回するように示す複数の第１合成画像を生成することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記合成画像生成手段は、前記開始信号の受信に応答して、
前記車両の略中心の直上の仮想視点からみた第２合成画像と、
連続表示により、前記複数の第１合成画像と前記第２合成画像との相互間において仮想視点の位置が連続的に変化するように示す複数の合成画像と、
を生成することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記合成画像生成手段は、前記複数の第１合成画像を、前記車両の位置が略中心となるように生成することを特徴とする画像処理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像処理装置において、
前記開始信号は、前記画像処理装置の起動時に発生することを特徴とする画像処理装置。
【請求項５】
車両に搭載される画像処理システムであって、
請求項１ないし４のいずれかに記載の画像処理装置と、
前記車両の周辺を撮影する前記車両に備えられた複数のカメラと、
を備えることを特徴とする画像処理システム。
【請求項６】
車両に搭載された表示装置に表示させる画像を生成する画像処理方法であって、
前記車両の周辺を複数のカメラで撮影して得られる複数の画像の各画素を仮想的な立体曲面に投影し、前記立体曲面のうち光量低下が生じている周辺領域を除いた略半球状の領域を用いて、任意の仮想視点に応じた合成画像を生成する合成画像生成工程と、
生成された前記合成画像を前記表示装置に出力する出力工程と、
所定の開始信号を受信する信号受信工程と、
を備え、
前記合成画像生成工程は、前記開始信号の受信に応答して、前記仮想視点の位置を連続的に変更し、連続表示により前記車両を見下ろした状態で前記車両の周囲を周回するように示す複数の第１合成画像を生成することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された表示装置に画像を表示する技術に関する。
【背景技術】
【０００２】
一般に、車両に搭載した複数のカメラにより車両の周辺の画像を取得し、自動的に、または、ユーザの操作によって、表示装置に表示することで車両周辺の監視を可能とする装置がある。また、車両の真上を仮想視点として見下ろした画像を画面に表示し、ユーザに車両全周囲の安全確認の手段を提供する装置がある。さらに、車両に搭載した複数のカメラを使用して所定の高さの視点で撮影し、カメラが撮影した画像の視点位置を車両の全体図とともに表示する第１画面と、この第１画面に表示されるOLE_LINK1視点位置の移動に対応させて、それぞれのカメラ画像を表示するOLE_LINK1第２画面との２つの画面で車両周囲の安全確認を行う技術がある（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２１９５５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のカメラによる車両周辺の画像表示は、複数のカメラのうち個々のカメラからの画像が車両のどの方向に対応しているのかを確認をする必要があり、画面にユーザの車両が映らないので車両と車両の周辺に存在する障害物との距離などの位置関係をユーザが把握するのは困難であった。
【０００５】
また、車両の真上を仮想視点として見下ろした画像を画面に表示した場合、ユーザは車両の全周囲の広い範囲をいちどに確認する必要があり、ユーザにとっては情報量が多すぎて、どこを注意すべきかのポイントを絞ることが困難であった。
【０００６】
さらに、特許文献１に開示されている技術では、カメラが撮影した画像の視点の位置を車両の全体図とともに示す画面と、視点位置の移動に対応させて、それぞれのカメラ画像を表示する画面とを別々の画面で表示しており、２つの画面に表示された情報の対応付けをユーザ自身で行わなければならず、車両と障害物との位置関係をユーザが把握しにくいという問題があった。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、車両と車両周辺の障害物との位置関係をユーザが直感的に把握できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１の発明は、車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、前記車両の周辺を複数のカメラで撮影して得られる複数の画像の各画素を仮想的な立体曲面に投影し、前記立体曲面のうち光量低下が生じている周辺領域を除いた略半球の領域を用いて、任意の仮想視点に応じた合成画像を生成する合成画像生成手段と、生成された前記合成画像を前記表示装置に出力する出力手段と、所定の開始信号を受信する信号受信手段と、を備え、前記合成画像生成手段は、前記開始信号の受信に応答して、前記仮想視点の位置を連続的に変更し、連続表示により前記車両を見下ろした状態で前記車両の周囲を周回するように示す複数の第１合成画像を生成する。
【０００９】
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記合成画像生成手段は、前記開始信号の受信に応答して、前記車両の略中心の直上の仮想視点からみた第２合成画像と、連続表示により、前記複数の第１合成画像と前記第２合成画像との相互間において仮想視点の位置が連続的に変化するように示す複数の合成画像と、を生成する。
【００１０】
また、請求項３の発明は、  請求項１または２に記載の画像処理装置において、前記合成画像生成手段は、前記複数の第１合成画像を、前記車両の位置が略中心となるように生成する。
【００１１】
また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記開始信号は、前記画像処理装置の起動時に発生する。
【００１２】
また、請求項５の発明は、車両に搭載される画像処理システムであって、請求項１ないし４のいずれかに記載の画像処理装置と、前記車両の周辺を撮影する前記車両に備えられた複数のカメラと、を備える。
【００１３】
また、請求項６の発明は、車両に搭載された表示装置に表示させる画像を生成する画像処理方法であって、前記車両の周辺を複数のカメラで撮影して得られる複数の画像の各画素を仮想的な立体曲面に投影し、前記立体曲面のうち光量低下が生じている周辺領域を除いた略半球状の領域を用いて、任意の仮想視点に応じた合成画像を生成する合成画像生成工程と、生成された前記合成画像を前記表示装置に出力する出力工程と、所定の開始信号を受信する信号受信工程と、を備え、前記合成画像生成工程は、前記開始信号の受信に応答して、前記仮想視点の位置を連続的に変更し、連続表示により前記車両を見下ろした状態で前記車両の周囲を周回するように示す複数の第１合成画像を生成する。
【発明の効果】
【００１４】
請求項１ないし６の発明によれば、合成画像を略半球状とすることで、ユーザがお椀を上から覗き込んだように立体的に表示された車両と障害物との位置関係を把握できる画像を提供できる。また、車両を見下ろした状態で前記車両の周囲を周回するように示す複数の合成画像を生成することで、ユーザが直感的に車両と障害物との位置関係を把握できる。
【００１５】
また、特に請求項２の発明によれば、車両の周囲を周回するように示す複数の合成画像と車両の略中心の直上の仮想視点からみた合成画像との相互間において、仮想視点の位置が連続的に変化するように示すことで、車両の周囲を経時的に確認した後に車両の全周囲を１画面で確認できる。また、車両の周囲を周回して表示した際に見落とした障害物などの情報があっても、車両の略中心の略直上の位置から再度安全確認を行える。
【００１６】
また、特に請求項３の発明によれば、車両の位置を略中心として車両の周囲を周回するように示す複数の合成画像を生成することで、ユーザは１つの画面で車両の全周囲の障害物を確認できる。
【００１７】
また、特に請求項４の発明によれば、画像処理の開始信号が画像処理装置の起動時に発生することにより、画像処理装置の起動時にユーザは１つの画面で車両の全周囲の障害物を確認できる。
【図面の簡単な説明】
【００１８】
【図１】図１は、画像処理システムの構成を示した図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、車両の左側のサイドカメラがハウジング内に収容されたサイドカメラユニットの外観構成を示す図である。
【図４】図４は、合成画像を生成する手法を説明するための図である。
【図５】図５は、画像処理システムの動作モードの遷移を示す図である。
【図６】図６は、車両の周辺を周回するように仮想視点が連続的に移動されることを示す図である。
【図７】図７は、車両を見下ろした状態で車両の周囲を周回することを示す図である。
【図８】図８は、フロントモードにおける表示モードの遷移を示す図である。
【図９】図９は、バックモードにおける表示モードの繊維を示す図である。
【図１０】図１０は、ドアミラー格納時の光軸の方向を示す図である。
【図１１】図１１は、周囲確認モードにおける画像処理システムの制御部の処理の流れについて示す図である。
【図１２】図１２は、バックモードにおける画像処理システムの制御部の処理の流れについて示す図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２０】
＜１−１．システム構成＞
図１は、画像処理システム１２０の構成を示すブロック図である。この画像処理システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成し、その生成した画像を車室内のナビゲーション装置２０などの表示装置に出力する機能を有している。画像処理システム１２０のユーザ（代表的にはドライバ）は、この画像処理システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【００２１】
図１に示すように、画像処理システム１２０は、車両の周辺を示す周辺画像を生成してナビゲーション装置２０などの表示装置に画像情報を出力する画像処理装置１００と、車両の周囲を撮影するカメラを備えている撮影部５とを主に備えている。
【００２２】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００２３】
ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００で生成された車両の周辺の様子を示す周辺画像が表示される。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
【００２４】
画像処理装置１００は、その本体部１０が周辺画像を生成する機能を有するＥＣＵ（Electronic Control Unit）として構成され、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。これらの撮影部５が備える複数の車載カメラ５１，５２，５３は、本体部１０とは別の車両の適位置に配置されるが詳細は後述する。
【００２５】
画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
【００２６】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、画像処理装置１００は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ４３を備えている。この切替スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像処理装置１００は、ナビゲーション装置２０に対するユーザの操作、及び、切替スイッチ４３に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ４３は、ユーザが操作しやすいように、本体部１０とは別に車両の適位置に配置される。
【００２７】
画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、合成画像生成部３１、画像範囲選択部３２、及び、画像情報出力部３３を主な機能として備えている。
【００２８】
合成画像生成部３１は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３１が仮想視点からみた合成画像を生成する手法については後述する。
【００２９】
画像範囲選択部３２は、撮影部５のサイドカメラ５３で取得された撮影画像に基づいて、画像の所定範囲を選択して切り出す。ここで画像の所定範囲とは、ドアミラーが収納されている場合は、ドアミラーが展開している際にドアミラーに映る範囲と略同一の被写体の像が含まれる画像範囲である。換言すれば、画像の所定範囲とは、車両の側方領域のうちの後方を示す画像範囲である。これにより、車両が狭い場所を通過する場合などにドアミラーを格納した状態であっても、ユーザはドアミラーが展開している場合と略同一の範囲の画像を確認できる。
【００３０】
また、ドアミラー９３が展開されている場合、画像の所定範囲とは車両９のフロントフェンダの外側を含む画像範囲である。これにより、ユーザは道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。
【００３１】
画像情報出力部３３は、画像範囲選択部３２で選択された画像情報をナビ通信部４２を介してナビゲーション装置２０に出力する。なお、画像情報の出力は制御部１に基づいて行われる。また、画像の所定範囲を選択する場合に、後述する不揮発性メモリ４０に記憶されている車種ごとのパラメータ（車種ごとに左右のドアミラーに取り付けられたサイドカメラ５３のドアミラーの開閉に応じて変化する位置、および、ドアミラーの開閉に応じて変化する光軸の角度のデータなど）を用いる。
【００３２】
また、画像情報出力部３３は合成画像生成部３１において生成された合成画像情報をナビゲーション装置２０へ出力する。これにより、車両の周辺を示す周辺画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
【００３３】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１は、このようにして実現される制御部１の機能のうちの一部を示している。
【００３４】
画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３１が生成する合成画像の生成に必要な各種パラメータなどを指示する。また、画像範囲選択部３２がサイドカメラ５３により撮影した画像の所定範囲を選択するための指示をドアミラーの開閉状態、および、車種ごとのパラメータの情報に基づいて行う。
【００３５】
また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００３６】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、合成画像生成部３１が合成画像を生成する際に必要となる車両の種別に応じたデータや、画像範囲選択部３２が画像の所定範囲を選択する際に必要となる車種ごとに左右のドアミラーに取り付けられたサイドカメラ５３のドアミラーの開閉に応じて変化する位置、および、ドアミラーの開閉に応じて変化する光軸の角度のデータなどである。
【００３７】
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。
【００３８】
メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカードＭＣに不揮発性メモリ４０に記憶された車種別データ４ａとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像処理システム１２０を異なる種別の車両に対応させることも可能である。
【００３９】
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速度センサ８２、方向指示器８３、及び、ミラー駆動装置８４などから、各種情報を示す信号が制御部１に入力される。
【００４０】
シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
【００４１】
方向指示器８３からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
【００４２】
また、ミラー駆動装置８４は、ドライバの操作に応答して車両のドアミラーを格納／展開（開閉）する。ミラー駆動装置８４からは、ドアミラーの状態（格納／展開）が入力される。
【００４３】
＜１−２．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
【００４４】
撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５１，５２，５３はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００４５】
図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を上側とする。
【００４６】
フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００４７】
これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。
【００４８】
図３は、車両９の左側のサイドカメラ５３がハウジング内に収容されたサイドカメラユニット７０の外観構成を示す図である。なお、サイドカメラユニット７０の構成や配置は車両９の左右で対称としているため、以降の説明では車両９の左側を例に具体的に説明するが、右側についても同様である。図に示すように、サイドカメラユニット７０は、ブラケット７９を介してドアミラー９３の下側に配置される。
【００４９】
サイドカメラ５３は、レンズと撮像素子とを備えて構成されている。サイドカメラ５３は、ハウジング内に配置され、光軸が車両９の外側に向けられている。サイドカメラ５３は、この光軸の方向が鉛直方向に対して所定の角度（例えば、約４５度）となるようにハウジングに固定される。
【００５０】
＜１−３．画像変換処理＞
次に、画像生成部３の合成画像生成部３１が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図４は、合成画像を生成する手法を説明するための図である。
【００５１】
撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。  
【００５２】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰ２に投影される。立体曲面ＳＰ２は、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰ２の各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰ２の各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
【００５３】
なお、撮影画像Ｐ１〜Ｐ４の撮影は、上記のとおり車載カメラ５１，５２，５３は１８０度以上の画角αを有している広角カメラを用いている。このように広角カメラで撮影を行った場合、画像の一部がカメラのフードやフィルター枠などの障害物に遮られて周辺領域の光量低下がおこることにより、画面内に撮影者が意図しない陰りが生じることがある。このように陰りが生じている現象を一般に「ケラレ」という。
【００５４】
図４に示す立体曲面ＳＰ１は、撮影画像Ｐ１〜Ｐ４の一部のケラレの発生により、それらの画像を投影した立体曲面ＳＰ１の周辺の所定領域に光量低下による陰りが生じている状態を示している。このように陰りが生じている立体曲面をそのままナビゲーション装置２０に表示すると、所定の仮想視点からみた合成画像が略半球状（お椀形状）とはならない。
【００５５】
そのため、立体曲面ＳＰ１のうちケラレによる光量低下が生じている周辺領域を除いた中央の略半球状（お椀形状）の領域である立体曲面ＳＰ２を用いて、任意の仮想視点に応じた合成画像を生成する。たとえば図４に示すように、立体曲面ＳＰ１の破線部分を境界として、ケラレによる光量低下が生じている周辺領域を取り除いて、立体曲面ＳＰ２とする。これにより、略半球状（お椀形状）の被写体の画像を形成でき、ユーザがお椀を上から覗き込んだように立体的に表示された車両と障害物との位置関係を把握できる画像を提供できる。
【００５６】
なお、上記では一例としてケラレによる光量低下の場合の処理について述べたが、ケラレ以外の光量低下（たとえば、口径食による光量低下など）が発生した場合にも適用可能である。
【００５７】
また、撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。
【００５８】
また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００５９】
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００６０】
そして、設定された仮想視点ＶＰに応じて、上記のように立体曲面ＳＰ２における必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【００６１】
例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
【００６２】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰ２の全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００６３】
＜１−４．動作モード＞
次に、画像処理システム１２０の動作モードについて説明する。図５は、画像処理システム１２０の動作モードの遷移を示す図である。画像処理システム１２０は、ナビモードＭ０、周囲確認モードＭ１、フロントモードＭ２、及び、バックモードＭ３の４つの動作モードを有している。これらの動作モードは、ドライバの操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
【００６４】
ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。ナビモードＭ０では、画像処理装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。このため、ナビゲーション装置２０が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。
【００６５】
これに対して、周囲確認モードＭ１、フロントモードＭ２及びバックモードＭ３は、画像処理装置１００の機能を利用して、車両９の周辺の状況をリアルタイムで示す表示用画像をディスプレイ２１に表示する動作モードである。
【００６６】
周囲確認モードＭ１は、車両９を見下ろした状態で車両９の周囲を周回するようなアニメーション表現を行う動作モードである。フロントモードＭ２は、前進時に必要となる車両９の前方や側方を主に示す表示用画像を表示する動作モードである。また、バックモードＭ３は、後退時に必要となる車両９の後方を主に示す表示用画像を表示する動作モードである。
【００６７】
画像処理システム１２０は起動すると、最初に周囲確認モードＭ１となる。周囲確認モードＭ１の場合には、車両９の周囲を周回するようなアニメーション表現がなされた後に所定時間（例えば、６秒）が経過すると、自動的にフロントモードＭ２に切り替えられる。また、フロントモードＭ２の場合において、走行速度が例えば０ｋｍ／ｈの状態（停止状態）で切替スイッチ４３が所定時間以上継続して押下されると、周囲確認モードＭ１に切り替えられる。なお、ドライバからの所定の指示で、周囲確認モードＭ１からフロントモードＭ２に切り替えるようにしてもよい。
【００６８】
また、フロントモードＭ２の場合に走行速度が例えば１０ｋｍ／ｈ以上になったときは、ナビモードＭ０に切り替えられる。逆に、ナビモードＭ０の場合に車速度センサ８２から入力される走行速度が例えば１０ｋｍ／ｈ未満になったときは、フロントモードＭ２に切り替えられる。
【００６９】
車両９の走行速度が比較的高い場合においては、ドライバを走行に集中させるためにフロントモードＭ２が解除される。逆に、車両９の走行速度が比較的低い場合においては、ドライバは車両９の周辺の状況をより考慮した運転、具体的には、見通しの悪い交差点への進入、方向変更、あるいは、幅寄せなどを行っている場面が多い。このため、走行速度が比較的低い場合においては、ナビモードＭ０からフロントモードＭ２に切り替えられる。なお、ナビモードＭ０からフロントモードＭ２に切り替える場合は、走行速度が１０ｋｍ／ｈ未満という条件に、ドライバからの明示的な操作指示があるという条件を加えてもよい。
【００７０】
また、ナビモードＭ０の場合において、走行速度が例えば０ｋｍ／ｈの状態（停止状態）で切替スイッチ４３が所定時間以上継続して押下されると、周囲確認モードＭ１に切り替えられる。そして、車両９の周囲を周回するようなアニメーション表現がなされた後に所定時間（例えば、６秒）が経過すると、自動的にもとのモードであるナビモードＭ２に切り替える。
【００７１】
また、ナビモードＭ０あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトレバーの位置が”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、車両９の変速装置が”Ｒ（後退）”の位置に操作されているときには、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。
【００７２】
一方、バックモードＭ３の場合に、シフトレバーの位置が”Ｒ（後退）”以外となったときは、その時点の走行速度を基準として、ナビモードＭ０あるいはフロントモードＭ２に切り替えられる。すなわち、走行速度が１０ｋｍ／ｈ以上であればナビモードＭ０に切り替えられ、走行速度が１０ｋｍ／ｈ未満であればフロントモードＭ２に切り替えられる。
【００７３】
以下、周囲確認モードＭ１、フロントモードＭ２及びバックモードＭ３のそれぞれにおける、車両９の周辺の表示態様について詳細に説明する。
【００７４】
＜１−５．周囲確認モード＞
まず、周囲確認モードＭ１における車両９の周辺の表示態様について説明する。周囲確認モードＭ１においては、図６に示すように、車両９を見下ろすように仮想視点ＶＰが設定され、車両９の周辺を周回するように仮想視点ＶＰが連続的に移動される。仮想視点ＶＰは、最初に車両９の後方に設定された後、右回りで車両９の周辺を周回する。このようにして仮想視点ＶＰが、車両９の左側、前方及び右側を経由して再び後方まで移動すると、車両９の直上まで移動する。
【００７５】
このように仮想視点ＶＰが移動されている状態で、複数の合成画像が時間連続して生成される。生成された複数の合成画像は、ナビゲーション装置２０に順次に出力されて、ディスプレイ２１に時間連続して表示される。
【００７６】
このため図７に示すように、車両９を見下ろした状態で車両９の周囲を周回するようなアニメーション表現がなされることになる。図７の示す例では、状態ＳＴ１〜ＳＴ６の順で合成画像ＲＰが順次連続的に表示される。各合成画像ＲＰは、立体曲面ＳＰ１のうちケラレによる光量低下が生じている周辺領域を除いた略半球状の立体曲面ＳＰ２に基づいて生成された合成画像であり、ユーザがお椀を上から覗き込んだように立体的に表示されている。そのため、車両と障害物との位置関係を把握しやすいような画像となっている。また、車両９は画像の中心付近に配置されており、車両９とともに車両９の周辺の様子を確認できるようになっている。
【００７７】
また、図７では、車両９の後方から車両９を見下ろしたような合成画像ＳＴ１（ＳＴ５）、車両９の左側面から車両９を見下ろしたような合成画像ＳＴ２、車両９の前方から車両９を見下ろしたような合成画像ＳＴ３、車両９の右側面から車両９を見下ろしたような合成画像ＳＴ４、車両９の略中心の直上（真上）から車両９を見下ろしたような合成画像ＳＴ６がそれぞれ撮影部５の車載カメラ５１，５２，５３から入力される画像に基づいて合成画像生成部３１により生成される。
【００７８】
そして、図７に示すようにたとえばＳＴ１→ＳＴ２→ＳＴ３→ＳＴ４→ＳＴ５→ＳＴ６の順に連続的にユーザが車両を見下ろした状態で車両の周囲を周回するように示す複数の画像をナビゲーション装置２０に連続表示することで、１つの画面で直感的に車両と障害物との位置関係を把握できる。
【００７９】
また、仮想視点の位置が連続性を持って移動しつつ、車両の周囲を旋回するように示す複数の合成画像と車両の略中心の直上（真上）からみた合成画像との双方が表示されることで、ユーザは１つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両の周囲と車両の略中心の直上（真上）との複数の視点から車両周囲の安全性を確認できる。
【００８０】
また、車両の周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両の周囲の画像の後に連続性をもって表示される車両の上方の画像により再度安全確認を行うことができる。
【００８１】
また、ユーザが車両の全周囲の広い範囲をいちどに確認する必要は無く、車両周囲の限られた範囲の画像のごとに車両の略中心の直上（真上）の広い範囲の車両全体の画像を連続して表示することで、ユーザは１つの画面で車両周囲の安全確認をより確実に行える。
【００８２】
また、車両の位置を中心として車両の周囲を順に移動する仮想視点からみた合成画像を生成することで、ユーザは１つの画面で直感的に車両の全周囲の障害物を確認することができる。
【００８３】
なお、ここで示した合成画像は一例であり、合成画像の車両を見下ろす高さ、方向、合成画像の連続表示の一時停止、連続表示の回転速度の調整、連続表示の回転を逆回転とすることなどの設定はユーザの任意の変更が可能である。
【００８４】
また、連続表示を一時停止して表示部の画面の任意の部分をユーザ操作により選択することで選択した部分を拡大表示させることもできる。さらに、本実施形態では車両周囲を表示する合成画像を連続表示した後に、車両の略中心の直上（真上）の合成画像を連続表示させる場合を述べたが、この順序に限ることなく車両の略中心の直上（真上）の合成画像を表示した後に車両周囲の合成画像を連続表示させてもよい。
また、本実施形態では車両の後方の仮想視点の位置から周囲を１周する場合について述べたが、画像を遷移させる開始位置は特定されるものではなく任意の位置でもよい。さらに、周囲を周回する回数は１回に限らず２回以上または半周など任意の回数でもよい。
【００８５】
また、本実施形態では車両周囲確認処理の開始条件を画像処理部１０または表示部２１が車両電源制御装置８４からのＡＣＣ−ＯＮ信号を受信したことを開始条件とすることで、これにより画像処理装置の起動時にユーザが車両の周辺を確認することができる。通常、画像処理装置は車両の走行前にＡＣＣ−ＯＮに応答して起動するため、車両の走行前にユーザが車両の周辺を確認できるという効果を有する。このような車両周囲確認処理の開始条件は、ＡＣＣ−ＯＮ信号の受信のみではなく、切替スイッチ８３を所定時間以上（例えば３秒以上）継続して押下することとしてもよい。これによりユーザが車両周囲を自動で確認したい場合にはいつでも確認を行うことができる。
【００８６】
さらに、複数の合成画像を連続表示している際に、表示部２１に図示しない完了ボタンを設けて、連続表示の途中であってもこの完了ボタンを押下することで、合成画像の連続表示を終了させたり、図示しない設定ボタンを設けて予め、ＡＣＣ−ＯＮや切替えスイッチ８３を所定時間以上押下することによる車両周囲確認処理の開始を行わないようにすることもできる。
【００８７】
ユーザは、周囲確認モードＭ１のこのようなアニメーション表現を視認することで、車両９を目の前にした視点から車両９の全周囲の状況を確認することができ、直感的に車両９の全周囲の障害物と車両９との位置関係を把握できることになる。
【００８８】
＜１−６．フロントモード＞
次に、フロントモードＭ２における車両９の周辺の表示態様について詳細に説明する。図８は、フロントモードＭ２における表示モードの遷移を示す図である。フロントモードＭ２では、走行俯瞰モードＭ２１、自車確認モードＭ２２、サイドカメラモードＭ２３、および、ナビモードＭ２４の４つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。これらの画面のうちＭ２１、Ｍ２２、および、Ｍ２３の画面には、各表示態様における視野範囲を示す視野ガイド９０が表示され、ユーザに対して車両９の周辺のいずれの領域を表示しているかが示されるようになっている。また、ナビモードＭ２４では、車両９の周辺の地図画像が表示され、車両９の現在位置の表示なども行われる。
【００８９】
これらの表示モードは、ユーザが切替スイッチ４３を押下するごとに、走行俯瞰モードＭ２１、自車確認モードＭ２２、サイドカメラモードＭ２３、ナビモードＭ２４の順で制御部１の制御により切り替えられる。ナビモードＭ２４の場合に切替スイッチ４３を押下すると、再び、走行俯瞰モードＭ２１に戻るようになっている。
【００９０】
走行俯瞰モードＭ２１は、車両９の直上の仮想視点ＶＰからみた車両９の様子を示す合成画像ＦＰ１と、フロントカメラ５１での撮影により得られるフロント画像ＦＰ２とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、走行俯瞰モードＭ２１では、車両９の周辺全体を示す合成画像ＦＰ１と、車両９の前方を示すフロント画像ＦＰ２との二つの画像が同一画面上に示される。
【００９１】
走行俯瞰モードＭ２１においては、このような二つの画像ＦＰ１，ＦＰ２を閲覧することができるため、ユーザは、車両９の周囲全体とともに、車両９の進行方向である前方の状況を一目で確認できる。走行俯瞰モードＭ２１は、前進中のさまざまな場面で汎用性高く利用できる表示モードであるといえる。
【００９２】
また、自車確認モードＭ２２は、フロントカメラ５１での撮影により得られるフロント画像ＦＰ３と、車両９の後方の仮想視点ＶＰからみた車両９の様子を示す合成画像ＦＰ４とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、自車確認モードＭ２２では、車両９の前方を示すフロント画像ＦＰ３と、車両９の側方を示す合成画像ＦＰ４との二つの画像が同一画面上に示される。
【００９３】
自車確認モードＭ２２のフロント画像ＦＰ３は、走行俯瞰モードＭ２１のフロント画像ＦＰ２と比較して、左右方向の視野範囲が広く設定されている。このため、見通しの悪い交差点に進入する場合に死角となりやすい車両９の前端より前方かつ左右方向に存在する物体を確認できる。
【００９４】
また、自車確認モードＭ２２の合成画像ＦＰ４は、走行俯瞰モードＭ２１の合成画像ＦＰ１と比較して仮想視点ＶＰの位置が車両９の後方に移動されているため、車両９の後方を示す領域は狭くなるものの、車両９の側方が確認しやすくなっている。このため、対向車とすれ違う場合などに、対向車とのクリアランスを容易に確認できる。
【００９５】
自車確認モードＭ２２においては、このような二つの画像ＦＰ３，ＦＰ４を閲覧することができるため、ユーザは、見通しの悪い交差点に進入する場合や対向車とすれ違う場合などの慎重な運転を必要とする状況において、確認すべき領域の状況を一目で確認できる。
【００９６】
また、サイドカメラモードＭ２３は、左右のサイドカメラ５３での撮影によりそれぞれ得られるサイド画像ＦＰ５，ＦＰ６を並べて含む画面をディスプレイ２１に表示する表示モードである。サイド画像ＦＰ５，ＦＰ６は、運転席から死角となりやすいフロントフェンダ９４の外側のみを示している。
【００９７】
サイドカメラモードＭ２３においては、このような二つの画像ＦＰ３，ＦＰ４を閲覧することができるため、ユーザは、道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。
【００９８】
ナビモードＭ２４は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。ナビモードＭ２４では、画像処理装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。このため、ナビゲーション装置２０が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。
【００９９】
＜１−７．バックモード＞
次に、バックモードＭ３における車両９の周辺の表示態様について詳細に説明する。図９は、バックモードＭ３における表示モードの遷移を示す図である。バックモードＭ３では、駐車俯瞰モードＭ３１、前方ドアミラーモードＭ３２、および、後方ドアミラーモードＭ３３の３つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。これらの画面にも、各表示態様における視野範囲を示す視野ガイド９０が表示され、ユーザに対して車両９の周辺のいずれの領域を表示しているかが示されるようになっている。
【０１００】
前方ドアミラーモードＭ３２、および、後方ドアミラーモードＭ３３の表示モードは、ミラー駆動装置８６から入力されるドアミラー９３の状態に応じて制御部１の制御により駐車俯瞰モードＭ３１から切り替えられる。具体的には、シフトレバーの位置が”Ｒ（後退）”の位置に操作されているときには、駐車俯瞰モードＭ３１となる。駐車俯瞰モードＭ３１の状態で、ドアミラー９３が通常状態に展開されており、車両９の車速が１０ｋｍ/ｈ未満の場合に、ユーザにより切替えスイッチ４３が押下されると、前方ドアミラーモードＭ３２となる。
【０１０１】
前方ドアミラーモードＭ３２では、ドアミラー９３に備えられたサイドカメラ５３によって撮影された画像のうち、車両９のフロントフェンダの外側を含む画像範囲が画像生成部３の画像範囲選択部３２により選択される。そして、画像情報出力部３３により画像情報がナビ通信部４２を介して出力され、ナビゲーション装置２０に表示される。これにより、ユーザは道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。
【０１０２】
また、駐車俯瞰モードＭ３１の状態で、ドアミラー９３が格納されており、車両９の車速が１０ｋｍ／ｈ未満の場合に、ユーザにより切替えスイッチ４３が押下されると、後方ドアミラーモードＭ３３となる。
【０１０３】
後方ドアミラーモードＭ３３では、ドアミラー９３に備えられたサイドカメラ５３によって撮影された画像のうち、ドアミラーが展開している際にドアミラーに映る範囲と略同一の画像範囲が選択される。具体的には、車両の側方領域のうちの後方を示す画像範囲が選択される。これにより、車両が狭い場所を通過する場合などにドアミラーを格納した状態であっても、ユーザはドアミラーが展開している場合と略同一の範囲の画像（被写体の様子）を確認できる。
【０１０４】
また、駐車俯瞰モードＭ３１は、車両９の直上の仮想視点ＶＰからみた車両９の様子を示す合成画像ＢＰ１と、バックカメラ５２での撮影により得られるバック画像ＢＰ２とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、駐車俯瞰モードＭ３１では、車両９の周辺全体を示す合成画像ＢＰ１と、車両９の後方を示すバック画像ＢＰ２との二つの画像が同一画面上に示される。
【０１０５】
さらに、駐車俯瞰モードＭ３１においては、このような二つの画像ＢＰ１，ＢＰ２を閲覧することができるため、ユーザは、車両９の周囲全体とともに、車両９の進行方向である後方の状況を一目で確認できる。駐車俯瞰モードＭ３１は、後退中のさまざまな場面で汎用性高く利用できる表示モードであるといえる。
【０１０６】
なお、バックモードＭ３では上記の駐車俯瞰モードＭ３１の他に、車両９が縦列駐車を行う際の車両後方の所定の仮想視点からみた合成画像を表示する縦列ガイドモード、車両９の後方を示すバック画像ＢＰ２に駐車ガイド線を表示したバックガイドモードなどのその他のモードを設け、これらのいずれかのモードから、ドアミラーの開閉状態に応じて前方ドアミラーモードＭ３２、および、後方ドアミラーモードＭ３３に切替えがなされるようにしてもよい。
【０１０７】
また、前方ドアミラーモードＭ３２は、左右サイドカメラ５３での撮影によりそれぞれ得られるサイド画像ＦＰ５，ＦＰ６を並べて含む画面をディスプレイ２１に表示する表示モードである。前方ドアミラーモードＭ３２においては、一画面でこのような二つの画像Ｆ５，ＦＦ６を閲覧することができるため、ユーザは、車両後退の際にユーザが車両を後退させる場合に、衝突の危険性のある左右のフロントフェンダの外側を含む画像を確認できる。
【０１０８】
また、後方ドアミラーモードＭ３３は、左右のサイドカメラ５３での撮影によりそれぞれ得られるサイド画像ＢＰ３，ＢＰ４を並べて含む画面をディスプレイ２１に表示する表示モードである。後方ドアミラーモードＭ３３においては、このような二つの画像ＢＰ３，ＢＰ４を閲覧することができるため、車両９の後方左右を同一画面上で確認しながら、車両の後退が可能となる。
【０１０９】
図１０に示すように、サイドカメラ５３はドアミラー９３に設けられるため、ドアミラー９３が格納された状態となると、その光軸５３ａの方向が車両９の後方に向けられることになる。この状態では、サイドカメラ５３において車両９の側方全体を示す画像を取得できないため、任意の仮想視点からみた合成画像を生成することは難しくなる。しかしながら、光軸５３ａが車両９の後方へ移動するため、車両９の側方領域の後方については比較的歪が少ない撮影画像を取得することができる。ドアミラーモードＭ３２では、このようなサイドカメラ５３で取得された撮影画像を利用して、車両９の側方領域の後方を示す二つの画像ＢＰ３，ＢＰ４を生成して表示する。
【０１１０】
後方ドアミラーモードＭ３３においては、このような二つの画像ＢＰ３，ＢＰ４を閲覧することができるため、ユーザは、駐車環境によってドアミラー９３を格納せざるを得ない場合であっても、ドアミラー９３に映る範囲とほぼ同様の範囲を確認することができる。
【０１１１】
＜２．動作＞
＜２−１．周囲確認モードにおける動作＞
次に、周囲確認モードにおける画像処理システムの制御部の処理の流れについて図１１を用いて説明する。画像処理装置１０の制御部１が図示しない車両電源制御装置からのＡＣＣ−ＯＮ信号を信号入力部４１を介して受信する（ステップＳ１０１がＹｅｓ）と、制御部１はナビ通信部４２を介してナビゲーション装置２０との初期通信を開始する（ステップＳ１０２）。ここで初期通信とは画像処理装置１０の制御部１とナビゲーション装置２０との間で通信可能か否かを確認する処理をいう。制御部１が車両電源制御装置からのＡＣＣ−ＯＮ信号を受信していない場合（ステップS１０１がNo）は、処理を終了する。
【０１１２】
制御部１とナビゲーション装置２０との初期通信が正常に終了すれば（ステップＳ１０３がＹｅｓ）、制御部１は不揮発メモリ４０から車両周囲確認処理を行うためのデータを読み出す（ステップＳ１０４）。車両周囲確認処理データの例としては、車両のビットマップデータ、視点の移動データ（時間ごとの視点位置や視点の方向のデータ）などがあげられる。
【０１１３】
初期通信が正常に終了していない場合（ステップＳ１０３がＮｏ）は再度、制御部１はナビゲーション装置２０との通信を行ったり、複数回の通信を試みても通信できない場合は処理を終了する。なお、ここで初期通信が正常に終了しない場合としては、故障などの原因で制御部１が正常に動作していないことがあげられる。このような場合はナビゲーション装置２０に車両周囲の画像表示のシステムが故障している旨の警告を表示するようにできる。
【０１１４】
不揮発性メモリ４０から車両周辺確認処理のデータを読み出した後に、制御部１の画像生成部３は読み出したデータに基づいて、車両周囲の合成画像を生成する（ステップＳ１０５）。合成画像の生成では、上述の図４に示す立体曲面ＳＰ１のうちケラレによる光量低下が生じている周辺領域を除いた略半球状（お椀形状）の領域である立体曲面SP2を用いて、任意の仮想視点に応じた合成画像を生成する処理が行われる。そして。生成された合成画像のデータはナビゲーション装置２０に送信される（ステップＳ１０６）。
【０１１５】
画像生成部３は仮想視点の位置を段階的に変更しつつ（ステップS１０７a）、複数の合成画像を生成する（ステップS１０５）。そして、制御部１は、複数の合成画像が連続性を有するように順番にナビゲーション装置２０にデータを送信する。これにより仮想視点の位置が連続的に変更され、連続表示により車両９を見下ろした状態で、車両９の周囲を周回する画像をナビゲーション装置２０に表示させることができる。
【０１１６】
複数の合成画像のナビゲーション装置２０への送信が終了する（ステップＳ１０７がＹｅｓ）と、車両９の略中心の直上（真上）の合成画像を上記車両周辺の合成画像と同様の処理で生成し（ステップＳ１０８）、生成した車両９の略中心の直上（真上）の合成画像をナビゲーション装置２０へ送信する（ステップS１０９）。これにより、車両を見下ろした状態で車両の周囲を周回するように示す複数の合成画像が表示装置に表示されるため、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、１つの画面で直感的に車両と障害物との位置関係を把握できる。
【０１１７】
＜２−２．バックモードにおける動作＞
次に、上記のようなドアミラー９３の開閉状態に応じて撮影画像の画像範囲を選択して画像情報を出力する処理の流れについて説明する。図１２はバックモードにおける画像処理システムの制御部の処理の流れについて示す図である。最初に画像処理システムのモードがバックモードか否かを判定するために、シフトレバーの操作位置が”Ｒ（後退）”のシフトポジションとなっているか否かを判定する（ステップＳ２０１）。
【０１１８】
シフトレバーの操作位置が”Ｒ（後退）”となっている場合（ステップＳ２０１がＹｅｓ）は、バックモードＭ３の制御部１は画像生成部３に駐車俯瞰モードＭ３１の画像の生成、および、その画像情報をナビゲーション装置２０へ出力するための指示信号を画像生成部３に送信する。なお、シフトレバーの操作の位置が”Ｒ（後退）”のシフトポジションとなっていない場合（ステップＳ２０１がＮｏ）は、処理を終了する。
【０１１９】
そして、ナビゲーション装置２０に駐車俯瞰モードＭ３１の画像が表示されている場合にユーザが切替スイッチ４３を押下した場合（ステップＳ２０３がＹｅｓ）は、車速度センサ８２を用いて、車両９の車速が１０ｋｍ／ｈ未満か否かを判定する（ステップＳ２０４）。なお、ユーザが切替スイッチ４３を押下しなかった場合（ステップＳ２０３がＮｏ）は、制御部１はナビゲーション装置２０に駐車俯瞰モードＭ３１を表示するための処理を継続して行う（ステップＳ２０９）。
【０１２０】
ステップＳ２０４において、車速が１０ｋｍ／ｈ未満の場合（ステップＳ２０４がＹｅｓ）の場合は、車両９のドアミラー９３が展開しているか否かを判定する（ステップＳ２０５）。
【０１２１】
ステップＳ２０５において、ドアミラー９３が展開している場合（ステップＳ２０５がＹｅｓ）、制御部１は前方ドアミラーモードＭ３２の処理を行う指示信号を画像生成部３に送信し（ステップＳ２０６）、次の処理に進む。具体的には、サイドカメラ５３を用いて撮影された画像のうち、フロントフェンダの外側を含む画像範囲を選択して、この選択した範囲の画像情報を出力する指示信号を画像生成部３に送信する。これにより、ユーザは道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。
【０１２２】
なお、車両９の車速が１０ｋｍ／ｈ未満ではない場合（ステップＳ２０４がＮｏ）は、制御部１はナビゲーション装置２０に駐車俯瞰モードＭ３１を表示するための処理を継続して行う（ステップＳ２０９）。
【０１２３】
また、ドアミラー９３が収納されている場合（ステップＳ２０５がＮｏ）、制御部１は後方ドアミラーモードＭ３３の処理を行う指示信号を画像生成部３に送信し（ステップＳ２０７）、次の処理に進む。サイドカメラ５３を用いて撮影された画像のうち、車両９のドアミラーが展開している際にドアミラーに映る範囲と略同一の画像範囲を選択する指示信号を送信して、選択した範囲の画像情報を出力する指示信号を画像生成部３に送信する。具体的には、車両の側方領域のうちの後方を示す画像範囲が選択する指示信号を送信して、この選択した範囲の画像情報を出力する指示信号を画像生成部３に送信する。これにより、車両が狭い場所を通過する場合などにドアミラーを格納した状態であっても、ユーザはドアミラーが展開している場合と略同一の範囲の画像（被写体の様子）を確認できる。
【０１２４】
次に、ステップＳ２０８において、切替スイッチ４３が押下されていなければ、ステップＳ２０５の処理に戻って、ドアミラー９３の開閉状態に応じて、前方ドアミラーモードＭ３２、または、後方ドアミラーモード３３のいずれかのモードに対応した画像選択と画像情報出力の処理を画像生成部３に指示する信号を送信する。
【０１２５】
なお、切替スイッチ４３がユーザにより押下された場合（ステップＳ２０８がＹｅｓ）は、ステップＳ２０２で述べた処理と同様に、制御部１は、駐車俯瞰モードＭ３１の画像を生成し、その画像情報をナビゲーション装置２０へ出力するための指示信号を画像生成部３に送信する（ステップＳ２０９）。
【０１２６】
なお、上記処理では、ステップＳ２０３の切替スイッチの押下判定の後に、ステップＳ２０４の車両９の車速が１０ｋｍ／ｈ未満か否かの判定を行ったが、これとは逆に最初に車両９の車速が１０ｋｍ／ｈ未満か否かの判定を行い、その後に切替スイッチの押下判定を行ってもよい。
【０１２７】
また、本実施形態では、画像処理システム１２０のモードがバックモードの場合、つまり、車両９が後退する際にドアミラー９３の開閉状態に応じて、前方ドアミラーモードＭ３２と後方ドアミラーモードＭ３３とのいずれかを表示する場合について述べたが、画像処理システム１２０のモードがフロントモードの場合、つまり車両９が前進する場合にドアミラー９３の開閉状態に応じて、前方ドアミラーモードＭ３２と後方ドアミラーモードＭ３３とのいずれかを表示するようにしてもよい。
＜３．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１２８】
上記実施の形態では、画像処理装置１００とナビゲーション装置２０とは別の装置であるとして説明したが、画像処理装置１００とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。
【０１２９】
また、上記実施の形態では、画像処理装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
【０１３０】
また、上記実施の形態において、画像処理装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。
【０１３１】
また、上記実施の形態において、信号入力部４１を介して画像処理装置１００の制御部１に入力されると説明した信号の一部または全部は、ナビゲーション装置２０に入力されるようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像処理装置１００の制御部１に当該信号を入力すればよい。
【０１３２】
また、上記実施の形態では、車両９のドライバが意図する方向指示を方向指示器８５から入力していたが、他の手段によって入力してもよい。例えば、ドライバの目を撮影した画像からドライバの視点の動きを検出し、その検出結果からドライバが意図する方向指示を入力するようなものであってもよい。
【０１３３】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１３４】
１      制御部    
３      画像生成部
５      撮影部
２０    ナビゲーション装置
４０    不揮発性メモリ
４１    信号入力部
４２    ナビ通信部
８１    シフトセンサ
８２    車速度センサ
８３    方向指示器
８４    ミラー駆動装置
【図１】
2011135253.tif 000003
【図２】
2011135253.tif 000004
【図３】
2011135253.tif 000005
【図４】
2011135253.tif 000006
【図５】
2011135253.tif 000007
【図６】
2011135253.tif 000008
【図７】
2011135253.tif 000009
【図８】
2011135253.tif 000010
【図９】
2011135253.tif 000011
【図１０】
2011135253.tif 000012
【図１１】
2011135253.tif 000013
【図１２】
2011135253.tif 000014