(57)【要約】【課題】車両周辺を撮像する複数の撮像手段を備えたシステムにおいていずれかの撮像手段が故障した場合でも車両周辺の状況を確認できるようにし、障害物等の存在の確認及び安全な駐車に寄与することができる「車両周辺画像提供装置」を提供すること。【解決手段】表示手段と、車両周辺の画像を取得可能な複数の撮像手段と、当該車両の画像のデータと共に各撮像手段により取得された画像のデータを時系列的に逐次格納する記憶手段と、当該車両の画像と車両周辺の画像を合成して表示手段の画面に表示させるよう制御する制御手段とを備えた車両周辺画像提供装置において、いずれかの撮像手段が故障していると判定したときに（Ｓ３）、記憶手段を参照して、当該撮像手段によって得られるはずであった欠損部分の画像を他のいずれかの撮像手段により取得された画像により補完し（Ｓ４〜Ｓ８）、画像合成して表示手段に供給する（Ｓ９，Ｓ１０）。【選択図】図３
2007158642.tif 000002
【特許請求の範囲】
【請求項１】
画面を通して情報を提供する表示手段と、
各々協働して車両周辺の画像を取得可能に設置された複数の撮像手段と、
当該車両の画像のデータを予め格納すると共に、前記複数の撮像手段により取得された車両周辺の画像のデータを時系列的に逐次格納する記憶手段と、
前記記憶手段に格納されているデータから当該車両の画像と車両周辺の画像を合成して前記表示手段の画面に表示させるよう制御する制御手段とを備え、
前記制御手段は、いずれかの撮像手段が故障していると判定したときに、前記記憶手段に格納されているデータを参照して、当該撮像手段によって得られるはずであった欠損部分の画像を他のいずれかの撮像手段により取得された画像により補完し、画像合成して前記表示手段に供給することを特徴とする車両周辺画像提供装置。
【請求項２】
前記制御手段は、いずれかの撮像手段が故障していると判定したときに、当該撮像手段の設置箇所と当該車両の進行方向とから、当該撮像手段によって得られるはずであった欠損部分の画像を補完するのに使用すべき他の撮像手段を選択し、該選択した撮像手段により取得された画像のデータを前記記憶手段から読み出して画像合成を行うことを特徴とする請求項１に記載の車両周辺画像提供装置。
【請求項３】
前記複数の撮像手段は、それぞれ当該車両の前方、後方、左方及び右方を撮影する車載カメラであり、各車載カメラは、レンズを下方に向けて広角範囲で画像を取得可能に、かつ、協働して当該車両の全周囲を撮影可能に配置されていることを特徴とする請求項２に記載の車両周辺画像提供装置。
【請求項４】
前記制御手段は、左方撮影用の車載カメラ及び右方撮影用の車載カメラの少なくとも一方が故障していると判定したときに、当該車両の進行方向に応じて後方撮影用の車載カメラ又は前方撮影用の車載カメラを選択し、該選択した車載カメラにより取得された画像により、故障した車載カメラによって得られるはずであった欠損部分の画像を補完し、画像合成を行うことを特徴とする請求項３に記載の車両周辺画像提供装置。
【請求項５】
前記記憶手段に時系列的に逐次格納された車両周辺の画像のデータは、それぞれ一定時間保存され、該一定時間は、前記制御手段により、故障した撮像手段によって得られるはずであった欠損部分の画像を、当該欠損部分の画像の補完に使用する他の撮像手段により取得された画像によってカバーできるタイミングとなるまでに要する時間に設定されていることを特徴とする請求項２に記載の車両周辺画像提供装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、駐車場や車庫等において運転者の便宜（駐車支援）を図るのに有用な技術に関し、より詳細には、駐車の際に当該車両の画像とその周辺の画像を合成して運転者に提供するための車両周辺画像提供装置に関する。
【背景技術】
【０００２】
上述した車両周辺画像提供装置は、多くの場合、ナビゲーション装置を搭載した車両に搭載されている。典型的な車載用ナビゲーション装置には、ナビゲーションに係る一切の処理を制御するＣＰＵ、地図データを格納したＤＶＤ−ＲＯＭやＨＤＤ等の記憶装置、画面を通して案内情報を提供するディスプレイ装置、自車の現在位置を検出するためのＧＰＳ (Global Positioning System ) 受信機、自車の進行方位や走行速度等を検出するためのジャイロや車速センサ等が設けられている。そして、ＣＰＵにより、自車の現在位置を含む地図データを記憶装置から読み出し、この地図データに基づいて自車位置の周囲の地図画像をディスプレイ画面に描画すると共に、自車の現在位置を指示する自車位置マークをディスプレイ画面に重ね合わせて表示し、自車の移動に応じて地図画像をスクロール表示したり、あるいは地図画像を画面に固定して自車位置マークを移動させたりして、自車が現在何処を走行しているのかを一目で判るようにしている。さらにナビゲーション装置には、ユーザが設定した目的地に向けて道路を間違うことなく容易に走行できるように案内する機能（経路誘導機能）が搭載されている。
【０００３】
かかるナビゲーション装置の地図データベースには駐車場の情報も含まれており、当然のことながら、その駐車場を目的地として設定すれば上記の経路誘導機能に基づいて自車両を当該駐車場の場所まで誘導することができる。あるいは、ナビゲーション装置による経路誘導機能に頼らずに、運転者が車両を走行中にたまたま駐車場を見つけて立ち寄る場合もある。いずれにせよ、駐車場に到着後は、その駐車場内で適当な空きスペース（駐車スペース）を見つけてその場所に自車両を停めることになる。
【０００４】
その際、従来の駐車の仕方では、運転者がルームミラー等を見ながら、もしくは窓から顔を出して後ろを確認しながら、あるいは同乗者もしくは第三者の誘導に基づき、車両を後ろ向きに移動させて当該駐車スペースに収まるようにしていた。しかし、このような方法では、駐車スペース内にきっちり収まるように車両を操作するのは非常に難しく、かなりの熟練を必要とする。また、窓から顔を出して車両を操作する方法では、安全性の面から好ましいとはいえない。
【０００５】
そこで、かかる不都合に対処するための技術として、車両の前後左右の所要箇所にそれぞれカメラを搭載し、各カメラで取得した車両周辺の画像（動画像）を車載ディスプレイの画面に表示することで、運転者が車両の全周囲を確認できるようにした方法が提案されている。この技術では、各カメラはそれぞれレンズを下方に向けて広角範囲（理想的には１８０°の撮像範囲）で画像を取得できるように設置されており、また、各カメラで撮影された画像の視点を車両上方からの視点に変換し、視点変換後の画像（俯瞰画像）を合成して車両周辺の画像を生成し、画面に表示している。その際、画面上で自車両に相当する部分は「空いた」ままであるので、この「空いた」部分に自車両の画像を表示するようにしている。
【０００６】
現状の技術において、画面上で自車両を真上から見た表示を行う場合、予め自車両の画像（自車画像）をメモリ等に準備しておき、駐車時など必要なときにこの自車画像を視点変換後の車両周辺の画像に合成して、ディスプレイの画面に表示するようにしている。なお、以下の記述において、視点変換後の車両周辺の画像（俯瞰画像）に自車画像を合成して画面に表示したものは、自車両を真上から見ているという意味で、便宜上、「トップビュー画像（表示）」ともいう。
【０００７】
このように従来の技術では、駐車支援を図るためにトップビュー画像を運転者に提供するようにした機能が提案されているが、このトップビュー画像を画面に表示するためには車載カメラがすべて正常に機能していることが前提となっている。例えば、車両を後ろ向きに移動させて駐車するときに、図５（ａ）に例示するように車両右側後方に障害物ＯＢが存在する場合でも、各車載カメラにより取得された映像（図中、破線の枠で囲まれた各部分の俯瞰画像３１ａ，３１ｂ，３１ｃ，３１ｄ）を組み合わせることで障害物ＯＢをトップビュー画像３０内に映し出すことができる。このため、運転者は、ディスプレイの画面上でトップビュー画像３０を確認しながら障害物ＯＢを回避するようにして、自車両を所定のスペース内に安全に停めることができる。なお、トップビュー画像３０内には自車画像３２も含まれている。
【０００８】
上記のトップビュー表示に関連する技術としては、例えば、特許文献１に記載されるように、車両の周辺を撮影してモニタに表示できる車両周辺画像処理装置において、カメラの視野の外に出た部分を描画するとともに、演算処理の負担を軽減できるようにしたものがある。
【特許文献１】特開２００２−３７３３２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述したように従来の技術では、トップビュー画像を画面に表示するためには車載カメラがすべて正常に機能していることが前提となっており、車載カメラが正常に機能していれば、駐車の際に車両周辺に障害物等があった場合でもその存在を画面上で確認することができるので、特に問題は生じない。
【００１０】
しかしながら、いずれかの車載カメラが故障した場合、あるいは故障している場合に以下の不都合が生じる。
【００１１】
図５（ｂ）はその場合のトップビュー画像の一例を示したものである。図示の例では、車両の右方の画像を取得するためのカメラ（右方カメラ）が故障している場合の表示例を示している。この場合、車両の前方、後方及び左方を撮像する各車載カメラによって取得された映像（俯瞰画像３１ａ，３１ｂ，３１ｃ）が組み合わされて映し出されるが、故障した右方カメラによって得られるはずであった映像（すなわち、正常に機能していれば当該カメラがカバーすべき部分であった映像３１ｄ）は取得できないので、画面に表示されるトップビュー画像３０ａは、車両周辺の画像の一部分が欠けたもの（画像が表示されない部分（欠損部分）ＤＰを含んだもの）となり、そのため車両周辺の状況確認が困難となる。特に、画像が表示されない部分ＤＰに障害物ＯＢが含まれている場合には、その障害物ＯＢが見えないので問題がある。
【００１２】
このようにいずれかの車載カメラが故障していると、駐車の際に車両周辺に障害物等があった場合でもその存在を確認できない場合があり、安全性の面で問題がある。
【００１３】
本発明は、かかる従来技術における課題に鑑み創作されたもので、車両周辺を撮像する複数の撮像手段を備えたシステムにおいていずれかの撮像手段が故障した場合でも車両周辺の状況を確認できるようにし、ひいては障害物等の存在の確認及び安全な駐車に寄与することができる車両周辺画像提供装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記の従来技術の課題を解決するため、本発明によれば、画面を通して情報を提供する表示手段と、各々協働して車両周辺の画像を取得可能に設置された複数の撮像手段と、当該車両の画像のデータを予め格納すると共に、前記複数の撮像手段により取得された車両周辺の画像のデータを時系列的に逐次格納する記憶手段と、前記記憶手段に格納されているデータから当該車両の画像と車両周辺の画像を合成して前記表示手段の画面に表示させるよう制御する制御手段とを備え、前記制御手段は、いずれかの撮像手段が故障していると判定したときに、前記記憶手段に格納されているデータを参照して、当該撮像手段によって得られるはずであった欠損部分の画像を他のいずれかの撮像手段により取得された画像により補完し、画像合成して前記表示手段に供給することを特徴とする車両周辺画像提供装置が提供される。
【００１５】
本発明に係る車両周辺画像提供装置によれば、複数の撮像手段によりそれぞれ取得された車両周辺の画像のデータを記憶手段に時系列的に逐次格納する一方で、いずれかの撮像手段が故障した場合には、制御手段により、記憶手段に格納されたデータを参照して、その故障している撮像手段によって得られるはずであった欠損部分の画像を、他の（正常に機能している）いずれかの撮像手段により取得された画像により補完し、画像合成して表示手段の画面に表示するようにしている。これにより、従来は画面上で見ることができなかった車両周辺の画像の一部分（欠損部分に相当する画像）を見ることができるので、車両の全周囲の状況を確認することができる。特に、駐車の際に車両周辺に障害物等があった場合でもその存在を画面上で確認することができるので、運転者は、その障害物等を回避するようにして車両を所定のスペース内に安全に停めることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について、添付の図面を参照しながら説明する。
【００１７】
図１は本発明の一実施形態に係る車両周辺画像提供装置の構成を概略的に示したものである。本実施形態では、本発明に係る車両周辺画像提供装置を車載用ナビゲーションシステムの一部として組み込んだ場合の構成例を示している。
【００１８】
本実施形態に係る車両周辺画像提供装置１０は、基本的には、パーキングエリアでの駐車や車庫入れ等の際に車両周辺の画像と自車画像を合成（トップビュー画像を生成）して運転者に提供するものであり、本発明に関連する処理としては、後述するように複数の車載カメラのうちいずれかの車載カメラが故障したときにその故障カメラによって取得されるはずであった欠損部分の画像を他の車載カメラにより取得された画像により補完して画像合成を行い、画面に表示するものである。
【００１９】
本実施形態の車両周辺画像提供装置１０は、図示のように４台の車載カメラ１１ａ，１１ｂ，１１ｃ及び１１ｄと、各車載カメラ１１ａ〜１１ｄで取得されたアナログの画像データをデジタルデータに変換するコンバータ（Ａ／Ｄ）１２と、俯瞰画像生成部１３と、撮影画像メモリ１４と、周辺画像生成部１５と、車両画像メモリ１６と、画像合成部１７と、ディスプレイ装置１８と、制御部１９と、操作部２０とを備えている。
【００２０】
各車載カメラ１１ａ，１１ｂ，１１ｃ及び１１ｄは、それぞれ自車両の前方、後方、左方及び右方の画像を取得するためのものであり、自車両外部の適当な箇所に設置されている。図２はその設置例を模式的に示したものであり、図示のように前方カメラ１１ａは車両の前部に、後方カメラ１１ｂは車両の後部に、左方カメラ１１ｃ及び右方カメラ１１ｄはそれぞれ車両の左側部及び右側部（図示の例では、ドアミラーの下部）にそれぞれ設置されている。また、各車載カメラ１１ａ〜１１ｄは、各々のレンズが若干下方を向くように位置決めされ、図中破線で示すように広角範囲（理想的には１８０°の撮像範囲）で画像を取得できるように設置されている。つまり、各車載カメラ１１ａ〜１１ｄが協働して自車両の全周囲（車両周辺）を撮影できるように配置されている。また、各車載カメラ１１ａ〜１１ｄのうち少なくとも一つの車載カメラは、自車両の一部（車体）の画像を取得できるように設置されている。図示の例では、左方カメラ１１ｃ又は右方カメラ１１ｄにより車体を撮影することができる。各車載カメラ１１ａ〜１１ｄは光学撮像系を内蔵しており、この光学撮像系には、特に図示はしないが当業者には周知の一般的な光学部材、例えば、外部からの光を透過させるレンズ、このレンズを通して入射された光から映像（電気信号）を検出するＣＣＤ(Charge Coupled Device) イメージセンサ等の撮像素子、レンズと撮像素子の間に介在された赤外線カットフィルタ等が含まれている。
【００２１】
俯瞰画像生成部１３は、各車載カメラ１１ａ〜１１ｄで撮影された各方向（自車両の前方、後方、左方及び右方）の画像の視点をそれぞれ自車両の上方からの視点に変換した画像（俯瞰画像）を生成するものである。撮影画像メモリ１４は、例えば、フラッシュメモリ等の半導体メモリからなる。この撮影画像メモリ１４には、制御部１９からの制御に基づき、各車載カメラ１１ａ〜１１ｄで撮影して得られた車両周辺の画像のＡ／Ｄ変換及び視点変換後のデータ（俯瞰画像のデータ）が所定のタイミングで時系列的に逐次格納されるようになっている。このようにして格納された車両周辺の俯瞰画像のデータは、各タイミング毎に一定時間保存される。本実施形態では、この一定時間は、後述するように故障した車載カメラによって取得されるはずであった欠損部分の画像を、その欠損画像の補完に使用する車載カメラの取得映像（保存画像）によってカバーできるタイミングとなるまでに要する時間に設定されている。
【００２２】
周辺画像生成部１５は、制御部１９からの制御に基づき、撮影画像メモリ１４から読み出された各方向（自車両の前方、後方、左方及び右方）の俯瞰画像を合成して、車両周辺の画像を生成するものである。車両画像メモリ１６は、撮影画像メモリ１４と同様にフラッシュメモリ等の半導体メモリからなり、予め準備された自車両の画像（自車画像）のデータを格納しておくためのものである。
【００２３】
画像合成部１７は、制御部１９からの制御に基づいて、周辺画像生成部１５で生成された車両周辺の画像（俯瞰画像）に、車両画像メモリ１６に予め記憶させておいた自車画像を合成する。その際、必要に応じて、少なくとも一つの車載カメラ（例えば、左方カメラ１１ｃ）で撮影された自車両の一部（車体）の画像から車体色の情報を抽出し、自車画像の色をその抽出した車体色に修正するための画像処理を行い、その画像処理後の自車画像を車両周辺の画像に合成するようにしてもよい。
【００２４】
ディスプレイ装置１８は、例えば、ＬＣＤ（液晶ディスプレイ）等からなり、運転席から表示画面を見ることができるように車室内のセンターコンソールのほぼ中間位置に設置されている。このディスプレイ装置１８の表示画面には、本発明に関連する情報として、画像合成部１７で合成された画像（トップビュー画像）が表示される。さらにこの表示画面には、ナビゲーションに係る案内情報（自車の現在位置の周囲の地図、出発地から目的地までの誘導経路、自車の現在位置を示すマーク等）も表示される。
【００２５】
制御部１９は、例えば、マイクロコンピュータ等により構成され、後述するように車両周辺画像の欠損部分の補完及びそれに基づくトップビュー画像の表示に係る処理を制御する機能を有している。また、このトップビュー表示機能を「オン」させるためのトリガとして、制御部１９には車両運転状態検知信号が入力されている。例えば、シフト位置検出センサから出力される信号や、自立航法センサ（ジャイロ等の角度センサや距離センサなど）から出力される車速信号やヨーレイト(yaw-rate)信号、エンジン起動／停止信号などが含まれる。さらに制御部１９は、ナビゲーションに係る種々の処理（ＧＰＳ受信機の出力から自車の現在位置を検出したり、自立航法センサの出力から自車の方位や走行速度を検出したり、地図データベースを参照して設定された探索条件で自車の現在位置から目的地までの誘導経路を探索するなど）を制御する機能も有している。
【００２６】
操作部２０は、ユーザが指示した情報を入力するためのものであり、例えば、リモコン送信機の形態を有しており、特に図示はしないが、ディスプレイ装置１８の画面上の各種メニュー、各種項目等を選択したり、選択したメニュー等を実行させるための各種操作ボタン、ジョイスティックなどを備えている。この操作部２０は、本発明に関連する入力指示として、ディスプレイ装置１８の画面に「トップビュー表示」を行わせるための入力指示を与える。
【００２７】
以上のように構成された本実施形態の車両周辺画像提供装置１０において、各車載カメラ１１ａ〜１１ｄは「撮像手段」に、撮影画像メモリ１４及び車両画像メモリ１６は「記憶手段」に、ディスプレイ装置１８は「表示手段」に、画像合成部１７及び制御部１９は「制御手段」に、それぞれ対応している。
【００２８】
以下、本実施形態に係る車両周辺画像提供装置１０において行う車両周辺画像の欠損部分の補完及びそれに基づくトップビュー画像の表示に係る処理について、その処理フローの一例を示す図３を参照しながら説明する。併せて、図４に示す画面表示例も参照しながら補足説明する。
【００２９】
先ず、初期状態として、本装置１０を搭載した車両は、ナビゲーションシステムによる経路誘導機能に基づいて設定された目的地（この場合、駐車場）に到着し、その駐車場内で適当な空きスペースを見つけてその場所に駐車すべく、車両を後ろ向きに移動させようとしている状態にあるものとする。
【００３０】
このように車両を後ろ向き（バック）で駐車しようとしている状態で、最初のステップＳ１では、制御部１９により、車両運転状態検知信号（この場合、シフト位置検出センサから出力される、シフト位置が「バック」の位置にあることを指示する信号）に基づいてトップビュー表示機能を「オン」する。これにより、各車載カメラ１１ａ〜１１ｄは起動し、それぞれ自車両の前方、後方、左方及び右方の撮像（図２参照）を開始する。本実施形態では、車両運転状態検知信号をトリガとして使用しているが、これに代えて、操作部２０からのユーザ指示に基づいてトップビュー表示機能を「オン」させてもよい。
【００３１】
次のステップＳ２では、制御部１９からの制御に基づき、各車載カメラ１１ａ〜１１ｄで撮影して得られた車両周辺の画像のＡ／Ｄ変換及び視点変換後のデータ（俯瞰画像のデータ）を、撮影画像メモリ１４に所定のタイミングで時系列的に逐次格納する。このようにして格納された画像データは、制御部１９により、後述するように故障した車載カメラによって取得されるはずであった欠損部分の画像を、その欠損画像の補完に使用する車載カメラの取得映像によってカバーできるタイミングとなるまでに要する時間が経過するまでの間、保存される。
【００３２】
次のステップＳ３では、制御部１９において、各車載カメラ１１ａ〜１１ｄのうち故障しているカメラが有る（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ４に進み、判定結果がＮＯの場合にはステップＳ１１に進む。
【００３３】
ステップＳ４では、制御部１９において、当該故障している車載カメラは自車両のいずれの箇所に設置されているかを判定する。例えば、図４に示す例では、故障している車載カメラは車両の右側部に設置されたものである（図２のカメラ１１ｄ）と判定する。
【００３４】
次のステップＳ５では、制御部１９において、車両運転状態検知信号（この場合、シフト位置が「バック」の位置にあることを指示する信号）に基づいて自車両の進行方向は後方向（バック）であると判定する。あるいは、操作部２０からのユーザ指示（「バック」である旨）に基づいて進行方向を判定するようにしてもよい。
【００３５】
次のステップＳ６では、制御部１９において、ステップＳ４で判定した「故障カメラの設置箇所」とステップＳ５で判定した「車両進行方向」とから、その故障した車載カメラによって得られるはずであった欠損部分の画像を補完するのに使用すべき他の車載カメラを選択する。図４に示す例では、故障している車載カメラは右方カメラ１１ｄ（図２）であり、車両進行方向は後方向（バック）であるので、正常に機能している他の車載カメラ１１ａ〜１１ｃのうち、その車両進行方向の画像を最も広範囲で取得できる後方カメラ１１ｂを「画像補完用のカメラ」として選択する。
【００３６】
次のステップＳ７では、制御部１９により、撮影画像メモリ１４に所定のタイミングで時系列的に逐次格納され保存されている車両周辺の画像（俯瞰画像）のデータの中から、画像補完用のカメラとして選択した車載カメラ（この場合、後方カメラ１１ｂ）により取得された画像（データ）を所定のタイミングで読み出す。
【００３７】
次のステップＳ８では、制御部１９からの制御に基づき周辺画像生成部１５において、撮影画像メモリ１４から読み出された当該画像（データ）により、故障した車載カメラによって得られるはずであった欠損部分の画像を補完する。すなわち、正常に機能している車載カメラ（この場合、前方、後方及び左方の各カメラ１１ａ〜１１ｃ）によって取得された各方向の画像（俯瞰画像）と、撮影画像メモリ１４から読み出された画像補完用カメラ（この場合、後方カメラ１１ｂ）による取得画像（俯瞰画像）を合成して、車両周辺の画像を生成する。
【００３８】
ただし、車両は移動しており、撮影画像メモリ１４から読み出される補完用画像データは所定のタイミング毎に周辺画像生成部１５に入力されるため、１回の画像読み出しによって補完される画像は、当該欠損部分の画像の一部のみである。従って、このような画像データの読み出し及びそれに基づく欠損部分の補完処理は、後述するように駐車が完了する（つまり、エンジンが停止する）まで、何回か繰り返されることになる。
【００３９】
次のステップＳ９では、制御部１９からの制御に基づき画像合成部１７において、周辺画像生成部１５で生成された車両周辺の画像（俯瞰画像）に、車両画像メモリ１６に予め記憶させておいた自車画像を合成し（トップビュー画像の生成）、さらに画像合成部１７を介してディスプレイ装置１８の画面に、そのトップビュー画像を表示する。
【００４０】
次のステップＳ１０では、制御部１９において、車両運転状態検知信号（この場合、エンジン停止信号）に基づいてエンジンが停止した（ＹＥＳ）か否（ＮＯ）か、つまり、駐車を完了したか否かを判定する。判定結果がＹＥＳの場合には本処理フローは「終了」となり、判定結果がＮＯの場合にはステップＳ７に戻って上記の処理を繰り返す。
【００４１】
一方、ステップＳ１１では（各車載カメラ１１ａ〜１１ｄがすべて正常に機能している場合）、制御部１９からの制御に基づき画像合成部１７において、周辺画像生成部１５で生成された車両周辺の画像（俯瞰画像）に、車両画像メモリ１６に予め記憶させておいた自車画像を合成してトップビュー画像を生成し、ディスプレイ装置１８の画面にそのトップビュー画像を表示する。
【００４２】
次のステップＳ１２では、ステップＳ１０で行った処理と同様にして、制御部１９により、エンジンが停止した（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合には本処理フローは「終了」となり、判定結果がＮＯの場合にはステップＳ１１に戻って上記の処理を繰り返す。
【００４３】
図４は、本装置１０において行う「車両周辺画像の欠損部分の補完」に基づいたトップビュー画像の提供に係る画面表示例を概略的に示したものである。図中、３０はトップビュー画像、３１ａ、３１ｂ及び３１ｃはそれぞれ前方カメラ、後方カメラ及び左方カメラにより取得された車両周辺の画像（俯瞰画像）、３２は自車画像、３３，３４は補完された部分の画像、ＤＰ１，ＤＰ２，ＤＰ３は欠損部分（画像が表示されない部分）、ＯＢは障害物（画像）を示している。また、各トップビュー画像３０及び車両周辺画像３１ａ〜３１ｃに付されている（ｔ１）、（ｔ２）及び（ｔ３）は、時間の経過を表している。つまり、車両の移動に伴って行う、撮影画像メモリ１４からの補完用画像データの読み出し及びそれに基づく欠損部分の補完処理の様子を時系列的に示している。
【００４４】
以上説明したように、本実施形態に係る車両周辺画像提供装置１０によれば、各車載カメラ１１ａ〜１１ｄで撮影して得られた車両周辺の画像のＡ／Ｄ変換及び視点変換後のデータ（俯瞰画像のデータ）を撮影画像メモリ１４に所定のタイミングで時系列的に逐次格納し、一定時間保存する一方で、いずれかの車載カメラ（図４に示す例では、右方カメラ１１ｄ（図２））が故障していることが検知された場合に、制御部１９により、撮影画像メモリ１４に格納（保存）されているデータを参照して、その故障している右方カメラ１１ｄによって取得されるはずであった欠損部分（図４のＤＰ１，ＤＰ２，ＤＰ３）の画像を、正常に機能している後方カメラ１１ｂにより取得された画像（図４の３３，３４で示す部分の画像）により補完（画像合成）し、さらに自車画像を合成して（トップビュー画像の生成）、ディスプレイ装置１８の画面にそのトップビュー画像（図４の３０(t1)、３０(t2)、３０(t3)で示す画像）を表示するようにしている。
【００４５】
これによって、従来は画面上で見ることができなかった車両周辺の「欠損部分に相当する画像」を見ることができるので、駐車の際に車両の全周囲の状況を確認することができる。従って、図４に例示するように車両周辺に障害物ＯＢがあった場合でもその存在を画面上で確認することができるので、運転者は、その障害物ＯＢを回避するようにして車両を白線内（駐車スペース内）に安全に停めることができる。つまり、安全な駐車に大いに寄与する。
【００４６】
上述した実施形態では、欠損部分ＤＰ１〜ＤＰ３（図４）の画像を補完するのに使用する車載カメラとして後方カメラ１１ｂを選択した場合を例にとって説明したが、本発明の要旨からも明らかなように、欠損画像の補完に使用するカメラが後方のカメラに限定されないことはもちろんである。
【００４７】
要は、駐車の際の車両進行中にいずれかの車載カメラが故障していることが検知されたときに、正常に機能している他の車載カメラのうち、その車両進行方向の画像を広範囲で取得できるカメラであれば十分である。例えば、前向きに駐車する際に左方カメラ１１ｃ又は右方カメラ１１ｄが故障している場合には、前方カメラ１１ａを選択し、その故障したカメラ１１ｃ又は１１ｄによって得られるはずであった欠損部分の画像を、前方カメラ１１ａにより取得された画像を用いて補完することができる。
【００４８】
また、後ろ向きに駐車する際に後方カメラ１１ｂが故障している場合でも、移動の際の車両の向きによっては左方カメラ１１ｃ又は右方カメラ１１ｄによって車両進行方向の画像を取得することは可能であり、その場合、後方カメラ１１ｂによって得られるはずであった欠損部分の画像を、左方カメラ１１ｃ又は右方カメラ１１ｄにより取得された画像を用いて補完することも可能である。前向きに駐車する際に前方カメラ１１ａが故障している場合も、同様である。
【００４９】
また、上述した実施形態では、車両周辺画像提供装置１０を搭載する車両にナビゲーションシステムも搭載され、このナビゲーションシステムの一部として組み込んだ場合を例にとって説明したが、本発明に係る車両周辺画像提供装置は、その要旨からも明らかなように、必ずしもナビゲーションシステムを搭載した車両に搭載される必要がないことはもちろんである。
【図面の簡単な説明】
【００５０】
【図１】本発明の一実施形態に係る車両周辺画像提供装置の構成を概略的に示すブロック図である。
【図２】図１の装置における各車載カメラの設置例を模式的に示す図である。
【図３】図１の装置において行う車両周辺画像の欠損部分の補完及びそれに基づくトップビュー画像の表示に係る処理の一例を示すフロー図である。
【図４】図１の装置において行う「車両周辺画像の欠損部分の補完」に基づいたトップビュー画像の提供に係る画面表示例を概略的に示す図である。
【図５】車載カメラが正常に機能している場合と故障している場合のトップビュー画像の提供に係る画面表示例を概略的に示す図である。
【符号の説明】
【００５１】
１０…車両周辺画像提供装置、
１１ａ，１１ｂ，１１ｃ，１１ｄ…車載カメラ（撮像手段）、
１３…俯瞰画像生成部、
１４…撮影画像メモリ（記憶手段）、
１５…周辺画像生成部、
１６…車両画像メモリ（記憶手段）、
１７…画像合成部（制御手段）、
１８…ディスプレイ装置（表示手段）、
１９…制御部（制御手段）、
２０…操作部、
３０，３０ａ…トップビュー画像、
３１ａ，３１ｂ，３１ｃ，３１ｄ…車両周辺の画像、
３２…自車画像、
３３，３４…補完された部分の画像、
ＤＰ，ＤＰ１，ＤＰ２，ＤＰ３…欠損部分（画像が表示されない部分）、
ＯＢ…障害物（画像）。
【図１】
2007158642.tif 000003
【図２】
2007158642.tif 000004
【図３】
2007158642.tif 000005
【図４】
2007158642.tif 000006
【図５】
2007158642.tif 000007