(57)【要約】【課題】車両外部に取り付けられたカメラの画像を車両外部に設定した仮想視点からの画像に変換するにあたり、自車両によって生じる死角部分の画像を透過合成によって把握し易くする。【解決手段】車両周囲画像表示システムは、少なくとも前記死角領域を含む車両周囲の領域の画像を撮影する撮影部１と、撮影部１により撮影された画像を車両周辺の予め設定された仮想視点からの俯瞰画像に変換する俯瞰画像変換部２２と、予め設定された仮想視点からの画像に対応した車両イラストを指定したブレンド比率で俯瞰画像にブレンド合成する画像合成部２４と、画像合成部２４により車両イラストがブレンド合成された俯瞰画像を表示する表示装置３とを備える。【選択図】図１
2010093567.tif 000002
【特許請求の範囲】
【請求項１】
自車両により視界が遮られることによって生じる死角領域の画像を表示する車両用周辺画像表示システムにおいて、
少なくとも前記死角領域を含む車両周囲の領域の画像を撮影する撮影手段と、
前記撮影手段により撮影された画像を車両周辺の予め設定された仮想視点からの俯瞰画像に変換する俯瞰画像生成手段と、
前記予め設定された仮想視点からの画像に対応した車両イラストを指定したブレンド比率で前記俯瞰画像にブレンド合成する画像合成手段と、
前記画像合成手段により車両イラストがブレンド合成された俯瞰画像を表示する表示手段と、
を備えることを特徴とする車両周囲画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周囲を撮影する複数のカメラを用いた車両周囲画像表示システムに関するものであり、特に、それぞれのカメラ画像を合成して、ユーザにとって車両の周囲の状況が分かりやすい画像を提示する技術に属する。
【背景技術】
【０００２】
乗用車などの車両を運転する際、運転者にとって、車両の後方および側方の障害物の有無は確認しにくい。そこで、近年、車両の後方および側方をカメラで撮像し、撮像画像をモニタに表示することで、運転者の周囲監視や運転を補助する車両周囲画像表示システムの普及が進んでいる。このような車両周囲画像表示システムを用いることにより、例えば、駐車場に前向きに停車している車両を、後退させつつ駐車場から出す際に、後方の状況をモニタ上で容易に確認することができ、運転者はより安全に運転を行うことができる。
【０００３】
このような車両周囲画像表示システムを発展させたものとして、例えば特許文献１のように、それぞれ異なる位置にされ、異なる方向を向いた複数のカメラを用いて車両周囲を撮像し、複数の撮像画像を合成して、車両の上方の仮想視点から車両の周囲を見下ろした画像を生成することで、自車両の状態を客観的に把握しやすくする方法が知られている。
【０００４】
また、例えば特許文献２のように、運転者の視点位置に視点変換した画像を生成し、車体の輪郭線（スケルトン）を画像上に合成することで、車両と外部の位置関係がわかりやすくする方法が知られている。
【特許文献１】特許第３３８１３５１号公報
【特許文献２】特開２００４−３５０３０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のように車両の上方の仮想視点から車両の周囲を見下ろした画像は、画像としてカバーできる範囲が狭いため、遠方に存在する障害物を確認する用途には向かないという問題がある。
【０００６】
また、特許文献２においては車体が透けるイメージで死角を減らすことは可能であるが、得られる画像はあくまでもドライバー視線のものであり、車両全体を客観的に捉えることはできないという問題がある。
【０００７】
本発明は、かかる点に鑑みてなされたもので、車両から遠方の領域と車両近接領域との双方を含み且つ車両を客観的に捉えた視界を、死角を形成することなく確保することができる車両周囲画像表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の車両周囲画像表示システムは、自車両により視界が遮られることによって生じる死角領域の画像を表示するために、少なくとも前記死角領域を含む車両周囲の領域の画像を撮影する撮影手段と、前記撮影手段により撮影された画像を車両周辺の予め設定された仮想視点からの俯瞰画像に変換する俯瞰画像生成手段と、前記予め設定された仮想視点からの画像に対応した車両イラストを指定したブレンド比率で前記俯瞰画像にブレンド合成する画像合成手段と、前記画像合成手段により車両イラストがブレンド合成された俯瞰画像を表示する表示手段とを備える。
【発明の効果】
【０００９】
この構成により、例えば車両の上方から斜めに見下ろした視線に変換することで遠方の視界を確保し、自車両と周辺状況との位置関係を示すための車両イラストが死角を作らないように透過合成することで車両近接領域においても視界を確保することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１１】
図１は本発明の一実施形態に係る車両周囲画像表示システムの全体構成を示すブロック図である。図１において、車両周囲画像表示システムは、撮像部１と、撮像部１に接続可能な画像処理装置２、画像処理装置２に接続された表示装置３およびモード入力部４とを備えている。
【００１２】
撮像部１はＣＣＤ、ＣＭＯＳデバイス等の固体撮像素子を有するカラーまたはモノクロのデジタルカメラ１１０によって構成される。本発明では例示的に、Ｎ個のカメラ１１０−１〜１１０−Ｎが車両に設置される。ここで、Ｎは２以上の自然数である。各カメラ１１０としては、例えば魚眼レンズなどの高視野角のレンズを使って広範囲が撮像できるものが利用される。
【００１３】
画像処理装置２は、複数のカメラ１１０からの撮影画像を入力し、これらの撮影画像を加工して、表示装置３へ出力する。ここでの加工は、視点変換画像の作成やイラスト画像を俯瞰画像と合成する演算である。
【００１４】
表示装置３は、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスを用いる。ここでいうディスプレイは、車両搭載型のＧＰＳ端末ディスプレイ（いわゆるカーナビゲーションシステムのディスプレイ）と共用したものであってもよい。
【００１５】
モード入力部４は、ユーザが予め登録されているモードの切り替えのために使用するスイッチ、ボタン、または入力デバイスである。本発明のモード入力部４は、車両の外に設定した仮想視点から俯瞰した画像に変換した際、自車両の存在する位置に表示する車両イラストを透過させるかどうか、すなわちイラスト表示モード／透過モードの２つの状態を切り替えるためのボタンである。
【００１６】
イラスト格納部２１は、予め設定されている仮想視点から俯瞰した自車両のイラストが格納されている。ここで車両イラストは例えばビットマップ形式で保存された画像ファイルである。
【００１７】
俯瞰画像変換部２２は、各カメラ１１０から出力されたカメラ画像を、予め設定されている仮想視点から俯瞰した画像に変換する。この仮想視点からの俯瞰画像に変換する処理は、予め入力と出力の関係を対応づけたマッピングテーブルを参照する方法を用いる。本発明の俯瞰画像変換部２２は、マッピングテーブルを参照する方法で、例えば車両後方の上空から斜め前方を見下ろした俯瞰画像を生成する。複数のカメラ入力が存在する場合は、俯瞰画像の生成のため、各カメラ入力画像に対して別々に俯瞰画像変換処理を行う。
【００１８】
ブレンド比率制御部２３は、モード入力部４で切り替えがあった場合、俯瞰画像と車両イラストとを合成するときに必要なブレンド比率を決定する。俯瞰画像と車両イラストに割り当てられるブレンド比率は合計１００％となるように設定される。
【００１９】
画像合成部２４は、ブレンド比率制御部２３で決定したブレンド比率に応じて、俯瞰画像と車両イラストとを合成し、１フレーム分の画像を生成する。
【００２０】
次に、このように構成された車両周囲画像表示システムの全体の動作について説明する。図２は、車両周囲画像表示システムの動作の一例を示すフロー図である。
【００２１】
ここでは、イラスト表示モードから透過モードへの切り替えを行うに伴って車両イラストのブレンド比率をフレーム毎に徐々に低減させる場合を例に挙げて説明する。
【００２２】
ステップＳ１０１では、俯瞰画像変換部２２にて１つの仮想視点を設定し、その仮想視点で俯瞰画像を合成するためのマッピングテーブルを生成する。仮想視点からの俯瞰画像を生成する方法としては、例えば特許第３３００３３４号公報に開示された方法を使用する。
【００２３】
カメラ入力が複数ある場合は、各カメラ１１０の画像が１つの仮想視点から見た画像に変換されるように、各カメラ入力に対して画像変換用のマッピングテーブルを作成する。
【００２４】
ステップＳ１０２では、ブレンド比率制御部２３は、ブレンド比率の初期化を行う。本例はイラスト表示モードから透過モードへの切り替えであるため、ブレンド比率の初期値は、車両イラストが１００％であり、俯瞰画像は０％である。
【００２５】
ステップＳ１０３では、俯瞰画像変換部２２は、撮像部１における複数のカメラ１１０からそれぞれ画像を獲得する。画像は各カメラ１１０について同じタイミングに取得される。
【００２６】
図３は、Ｎ個のカメラ１１０の例示として、４つのカメラ１１０−１、１１０−２、１１０−３、１１０−４を車両２００に設置し、車両の全周囲の視界１１０ａ−１、１１０ａ−２、１１０ａ−３、１１０ａ−４がカメラ画像によって確認できるようにした例である。
【００２７】
４つのカメラ１１０−１、１１０−２、１１０−３、１１０−４がそれぞれ実際に撮像した画像は図４に示すような画像となる。
【００２８】
ステップＳ１０４では、俯瞰画像変換部２２は、各カメラ１１０−１〜１１０−４から得た画像を仮想視点からの俯瞰画像に変換する。複数のカメラ１１０−１〜１１０−４がある場合は、カメラ１１０ごとに変換して得た俯瞰画像を合成して１つの画像が生成される。
【００２９】
図５は２つのカメラ１１０−２、１１０−３の画像を仮想視点からの俯瞰画像に変換し、この２つの俯瞰画像を貼り合わせて１つの俯瞰画像を作成した例である。
【００３０】
ステップＳ１０５では、画像合成部２４は、現在のブレンド比率に応じて俯瞰画像と車両イラストとを合成する。車両イラストはイラスト格納部２１に保存されている。例えば車両イラストのブレンド比率が１００％の場合、車両イラストの存在する領域の画素は、車両イラストの画素を１．００倍し、俯瞰画像の画素を０．００倍して加算合成することで生成する。また、例えば車両イラストのブレンド比率が５０％の場合、車両イラストの存在する領域の画素は、車両イラストの画素を０．５０倍し、俯瞰画像の画素を０．５０倍して加算合成することで生成される。なお、車両イラストの存在しない領域に関してはブレンド比率に関係なく俯瞰画像の画素をそのまま使用する。
【００３１】
図６に仮想視点から俯瞰した車両イラストの例（図６（ａ））と、車両イラストのブレンド比率を１００％で俯瞰画像と合成した例（図６（ｂ））を示す。
【００３２】
ステップＳ１０６では、表示装置３は、車両イラストと俯瞰画像とを合成して得た画像を表示する。
【００３３】
ステップＳ１０７では、ブレンド比率制御部２３は、車両イラストのブレンド比率が０％になったか否かを判断する。車両イラストのブレンド比率が０％の場合は、透過モードへの切り替えが完了しているため、画像処理装置２は動作を終了する。車両イラストのブレンド比率が０％でない場合は、透過モードへの切り替えが未だ完了していないため、ブレンド比率制御部２３は、ステップＳ１０８に進み、ブレンド比率の変更を行う。
【００３４】
ステップＳ１０８では、ブレンド比率制御部２３は、予め設定された変更幅（−５０％）に従ってブレンド比率の変更を行う。本例はイラスト表示モードから透過モードへの切り替えであるため、ブレンド比率制御部２３は、車両イラストのブレンド比率を低減させる処理を行う。つまり、例えば、現在の車両イラストのブレンド比率が１００％の場合は、変更後の車両イラストのブレンド比率は５０％となる。このとき、車両イラストと俯瞰画像とに割り当てられるブレンド比率の合計は１００％に維持されるため、俯瞰画像のブレンド比率は０％から５０％に変更される。
【００３５】
ちなみに、イラスト表示モードから透過モードへの切り替えを−５０％の変更幅で行う場合には、３フレームで切り替えが完了することとなる。したがって、仮想視点が車両の右前方上空から車両の左後方を見下ろすものである場合は、図７に示すように３つの異なる合成画像が矢印で表された順番で表示される。また、仮想視点が車両の中央前方上空から車両の中央後方を見下ろすものである場合は、図８に示すように３つの異なる合成画像が矢印で表された順番で表示される。また、仮想視点が車両左側から車両右側を見るものである場合は、図９に示すように３つの異なる画像が矢印で表された順番で表示される。なお、透過モードからイラスト表示モードへの切り替えの場合、図７、図８および図９において画像表示順を表す矢印の向きは逆となる。
【００３６】
ステップＳ１０８でのブレンド比率変更が行われた後は、処理はステップＳ１０３に戻る。
【００３７】
以上のようにして、イラスト表示モードから透過モードへの切り替えが行われる。
【００３８】
イラスト表示モードと透過モードの切り替え時は、ブレンド比率が少しずつ変わるので、車両イラストのフェードイン、フェードアウトの効果が得られる。
【００３９】
本発明の車両周囲画像表示装置では、上述の一連の動作を例えばＮＴＳＣ規格の２９．９７ｆｐｓ（ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）で処理することにより、一般的な動画像を取り扱うことが可能となる。
【００４０】
以上、本発明の実施形態について説明した。
【００４１】
なお、以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されない。つまり、上記装置の構成および動作等についての説明は例であり、本発明の範囲においてこれらの例に対する様々な変更および追加が可能であることは明らかである。
【００４２】
例えば、図２を用いて説明した例では、１つの仮想視点を設定しているが、複数の仮想視点を設定し当該複数の仮想視点から俯瞰した画像を用意しても良い。この場合、スイッチ等で仮想視点を切り替えられるようにしても良い。
【００４３】
また、スイッチで切り替えてイラスト表示モードと透過モードを切り替える例を示したが、車両の走行状況などをトリガーにして自動的にイラスト表示モードと透過モードを切り替えるようにしても良い。
【００４４】
また、イラスト表示モードと透過モードの切り替え時にブレンド合成を用いる例を示したが、例えばモードはイラスト表示モードと透過モードの中間のモードが複数あっても良い。
【００４５】
また、ブレンド比率の変更幅は−５０％の例を示したが、フェードイン、フェードアウトの効果にあわせて、例えば−５％などの別の値に自由に設定して良い。透過モードからイラスト表示モードへの切り替えの場合は、変更幅は正の値となる。
【００４６】
また、車両イラスト全体を透過合成する例を示したが、車両イラストの中でも透過が必要領域のみブレンド合成をするように設定しても良い。
【００４７】
また、カメラ１１０の数Ｎ（図１参照）に制限はない。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施の形態における車両周囲画像表示システムの構成図
【図２】図１に示す車両周囲画像表示システムの動作を示すフロー図
【図３】車体へのカメラ１１０の取付け位置例を示す図
【図４】各カメラ１１０から撮像した画像例を示す図
【図５】仮想視点からの俯瞰画像変換例を示す図
【図６】（ａ）は仮想視点から俯瞰した車両イラスト例を示す図、（ｂ）は仮想視点から俯瞰した車両イラストと俯瞰画像とのブレンド合成例を示す図
【図７】１つの仮想視点を設定した場合におけるイラスト表示モードと透過モードの切り替え例を示す図
【図８】別の仮想視点を設定した場合におけるイラスト表示モードと透過モードの切り替え例を示す図
【図９】さらに別の仮想視点を設定した場合におけるイラスト表示モードと透過モードの切り替え例を示す図
【符号の説明】
【００４９】
１  撮像部
１１０−１、１１０−２、１１０−３、１１０−４  カメラ
２  画像処理装置
２１  イラスト格納部
２２  俯瞰画像変換部
２３  ブレンド比率制御部
２４  画像合成部
３  表示装置
４  モード入力部
２００  車両
【図１】
2010093567.tif 000003
【図２】
2010093567.tif 000004
【図３】
2010093567.tif 000005
【図４】
2010093567.tif 000006
【図５】
2010093567.tif 000007
【図６】
2010093567.tif 000008
【図７】
2010093567.tif 000009
【図８】
2010093567.tif 000010
【図９】
2010093567.tif 000011
【手続補正書】
【提出日】平成20年11月11日(2008.11.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両周囲の領域の画像を撮影する撮影部、及び該撮像手段による撮影画像に基づく俯瞰画像を表示する表示部と接続された画像処理装置であって、
前記画像処理装置は、
前記撮影部により撮影された画像を車両周辺の予め設定された仮想視点からの俯瞰画像に変換する俯瞰画像生成部と、
前記俯瞰画像に合成すべき車両イラストのブレンド比率を、所定の初期値から、所定の変更幅に従って順次決定するブレンド比率決定部と、
前記ブレンド比率決定部によりブレンド比率が決定される度に、前記予め設定された仮想視点からの画像に対応した車両イラストを、設定されたブレンド比率で前記俯瞰画像にブレンド合成して、前記表示部に順次的に送る画像合成部とを備え、
前記表示部は、前記画像合成部から順次的に送られてくる合成俯瞰画像を更新して表示する、画像処理装置。
【請求項２】
前記ブレンド比率決定部は、前記車両イラストのブレンド比率を、所定の初期値から、所定の変更幅に従って順次減少させる、請求項１に記載の画像処理装置。
【請求項３】
前記ブレンド比率決定部は、前記車両イラストのブレンド比率を、所定の初期値から、所定の変更幅に従って順次増加させる、請求項１に記載の画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周囲を撮影する複数のカメラを用いた車両周囲画像表示システムに関するものであり、特に、それぞれのカメラ画像を合成して、ユーザにとって車両の周囲の状況が分かりやすい画像を提示する技術に属する。
【背景技術】
【０００２】
乗用車などの車両を運転する際、運転者にとって、車両の後方および側方の障害物の有無は確認しにくい。そこで、近年、車両の後方および側方をカメラで撮像し、撮像画像をモニタに表示することで、運転者の周囲監視や運転を補助する車両周囲画像表示システムの普及が進んでいる。このような車両周囲画像表示システムを用いることにより、例えば、駐車場に前向きに停車している車両を、後退させつつ駐車場から出す際に、後方の状況をモニタ上で容易に確認することができ、運転者はより安全に運転を行うことができる。
【０００３】
このような車両周囲画像表示システムを発展させたものとして、例えば特許文献１のように、それぞれ異なる位置にされ、異なる方向を向いた複数のカメラを用いて車両周囲を撮像し、複数の撮像画像を合成して、車両の上方の仮想視点から車両の周囲を見下ろした画像を生成することで、自車両の状態を客観的に把握しやすくする方法が知られている。
【０００４】
また、例えば特許文献２のように、運転者の視点位置に視点変換した画像を生成し、車体の輪郭線（スケルトン）を画像上に合成することで、車両と外部の位置関係がわかりやすくする方法が知られている。
【特許文献１】特許第３３８１３５１号公報
【特許文献２】特開２００４−３５０３０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のように車両の上方の仮想視点から車両の周囲を見下ろした画像は、画像としてカバーできる範囲が狭いため、遠方に存在する障害物を確認する用途には向かないという問題がある。
【０００６】
また、特許文献２においては車体が透けるイメージで死角を減らすことは可能であるが、得られる画像はあくまでもドライバー視線のものであり、車両全体を客観的に捉えることはできないという問題がある。
【０００７】
本発明は、かかる点に鑑みてなされたもので、車両から遠方の領域と車両近接領域との双方を含み且つ車両を客観的に捉えた視界を、死角を形成することなく確保することができる車両周囲画像表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、車両周囲の領域の画像を撮影する撮影部、及び該撮像手段による撮影画像に基づく俯瞰画像を表示する表示部と接続された画像処理装置であって、撮影部により撮影された画像を車両周辺の予め設定された仮想視点からの俯瞰画像に変換する俯瞰画像生成部と、俯瞰画像に合成すべき車両イラストのブレンド比率を、所定の初期値から、所定の変更幅に従って順次決定するブレンド比率決定部と、ブレンド比率決定部によりブレンド比率が決定される度に、予め設定された仮想視点からの画像に対応した車両イラストを、設定されたブレンド比率で俯瞰画像にブレンド合成して、表示部に順次的に送る画像合成部とを備える。表示部は、画像合成部から順次的に送られてくる合成俯瞰画像を更新して表示する。
【発明の効果】
【０００９】
この構成により、例えば車両の上方から斜めに見下ろした視線に変換することで遠方の視界を確保し、自車両と周辺状況との位置関係を示すための車両イラストが死角を作らないように透過合成することで車両近接領域においても視界を確保することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１１】
図１は本発明の一実施形態に係る車両周囲画像表示システムの全体構成を示すブロック図である。図１において、車両周囲画像表示システムは、撮像部１と、撮像部１に接続可能な画像処理装置２、画像処理装置２に接続された表示装置３およびモード入力部４とを備えている。
【００１２】
撮像部１はＣＣＤ、ＣＭＯＳデバイス等の固体撮像素子を有するカラーまたはモノクロのデジタルカメラ１１０によって構成される。本発明では例示的に、Ｎ個のカメラ１１０−１〜１１０−Ｎが車両に設置される。ここで、Ｎは２以上の自然数である。各カメラ１１０としては、例えば魚眼レンズなどの高視野角のレンズを使って広範囲が撮像できるものが利用される。
【００１３】
画像処理装置２は、複数のカメラ１１０からの撮影画像を入力し、これらの撮影画像を加工して、表示装置３へ出力する。ここでの加工は、視点変換画像の作成やイラスト画像を俯瞰画像と合成する演算である。
【００１４】
表示装置３は、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスを用いる。ここでいうディスプレイは、車両搭載型のＧＰＳ端末ディスプレイ（いわゆるカーナビゲーションシステムのディスプレイ）と共用したものであってもよい。
【００１５】
モード入力部４は、ユーザが予め登録されているモードの切り替えのために使用するスイッチ、ボタン、または入力デバイスである。本発明のモード入力部４は、車両の外に設定した仮想視点から俯瞰した画像に変換した際、自車両の存在する位置に表示する車両イラストを透過させるかどうか、すなわちイラスト表示モード／透過モードの２つの状態を切り替えるためのボタンである。
【００１６】
イラスト格納部２１は、予め設定されている仮想視点から俯瞰した自車両のイラストが格納されている。ここで車両イラストは例えばビットマップ形式で保存された画像ファイルである。
【００１７】
俯瞰画像変換部２２は、各カメラ１１０から出力されたカメラ画像を、予め設定されている仮想視点から俯瞰した画像に変換する。この仮想視点からの俯瞰画像に変換する処理は、予め入力と出力の関係を対応づけたマッピングテーブルを参照する方法を用いる。本発明の俯瞰画像変換部２２は、マッピングテーブルを参照する方法で、例えば車両後方の上空から斜め前方を見下ろした俯瞰画像を生成する。複数のカメラ入力が存在する場合は、俯瞰画像の生成のため、各カメラ入力画像に対して別々に俯瞰画像変換処理を行う。
【００１８】
ブレンド比率制御部２３は、モード入力部４で切り替えがあった場合、俯瞰画像と車両イラストとを合成するときに必要なブレンド比率を決定する。俯瞰画像と車両イラストに割り当てられるブレンド比率は合計１００％となるように設定される。
【００１９】
画像合成部２４は、ブレンド比率制御部２３で決定したブレンド比率に応じて、俯瞰画像と車両イラストとを合成し、１フレーム分の画像を生成する。
【００２０】
次に、このように構成された車両周囲画像表示システムの全体の動作について説明する。図２は、車両周囲画像表示システムの動作の一例を示すフロー図である。
【００２１】
ここでは、イラスト表示モードから透過モードへの切り替えを行うに伴って車両イラストのブレンド比率をフレーム毎に徐々に低減させる場合を例に挙げて説明する。
【００２２】
ステップＳ１０１では、俯瞰画像変換部２２にて１つの仮想視点を設定し、その仮想視点で俯瞰画像を合成するためのマッピングテーブルを生成する。仮想視点からの俯瞰画像を生成する方法としては、例えば特許第３３００３３４号公報に開示された方法を使用する。
【００２３】
カメラ入力が複数ある場合は、各カメラ１１０の画像が１つの仮想視点から見た画像に変換されるように、各カメラ入力に対して画像変換用のマッピングテーブルを作成する。
【００２４】
ステップＳ１０２では、ブレンド比率制御部２３は、ブレンド比率の初期化を行う。本例はイラスト表示モードから透過モードへの切り替えであるため、ブレンド比率の初期値は、車両イラストが１００％であり、俯瞰画像は０％である。
【００２５】
ステップＳ１０３では、俯瞰画像変換部２２は、撮像部１における複数のカメラ１１０からそれぞれ画像を獲得する。画像は各カメラ１１０について同じタイミングに取得される。
【００２６】
図３は、Ｎ個のカメラ１１０の例示として、４つのカメラ１１０−１、１１０−２、１１０−３、１１０−４を車両２００に設置し、車両の全周囲の視界１１０ａ−１、１１０ａ−２、１１０ａ−３、１１０ａ−４がカメラ画像によって確認できるようにした例である。
【００２７】
４つのカメラ１１０−１、１１０−２、１１０−３、１１０−４がそれぞれ実際に撮像した画像は図４に示すような画像となる。
【００２８】
ステップＳ１０４では、俯瞰画像変換部２２は、各カメラ１１０−１〜１１０−４から得た画像を仮想視点からの俯瞰画像に変換する。複数のカメラ１１０−１〜１１０−４がある場合は、カメラ１１０ごとに変換して得た俯瞰画像を合成して１つの画像が生成される。
【００２９】
図５は２つのカメラ１１０−２、１１０−３の画像を仮想視点からの俯瞰画像に変換し、この２つの俯瞰画像を貼り合わせて１つの俯瞰画像を作成した例である。
【００３０】
ステップＳ１０５では、画像合成部２４は、現在のブレンド比率に応じて俯瞰画像と車両イラストとを合成する。車両イラストはイラスト格納部２１に保存されている。例えば車両イラストのブレンド比率が１００％の場合、車両イラストの存在する領域の画素は、車両イラストの画素を１．００倍し、俯瞰画像の画素を０．００倍して加算合成することで生成する。また、例えば車両イラストのブレンド比率が５０％の場合、車両イラストの存在する領域の画素は、車両イラストの画素を０．５０倍し、俯瞰画像の画素を０．５０倍して加算合成することで生成される。なお、車両イラストの存在しない領域に関してはブレンド比率に関係なく俯瞰画像の画素をそのまま使用する。
【００３１】
図６に仮想視点から俯瞰した車両イラストの例（図６（ａ））と、車両イラストのブレンド比率を１００％で俯瞰画像と合成した例（図６（ｂ））を示す。
【００３２】
ステップＳ１０６では、表示装置３は、車両イラストと俯瞰画像とを合成して得た画像を表示する。
【００３３】
ステップＳ１０７では、ブレンド比率制御部２３は、車両イラストのブレンド比率が０％になったか否かを判断する。車両イラストのブレンド比率が０％の場合は、透過モードへの切り替えが完了しているため、画像処理装置２は動作を終了する。車両イラストのブレンド比率が０％でない場合は、透過モードへの切り替えが未だ完了していないため、ブレンド比率制御部２３は、ステップＳ１０８に進み、ブレンド比率の変更を行う。
【００３４】
ステップＳ１０８では、ブレンド比率制御部２３は、予め設定された変更幅（−５０％）に従ってブレンド比率の変更を行う。本例はイラスト表示モードから透過モードへの切り替えであるため、ブレンド比率制御部２３は、車両イラストのブレンド比率を低減させる処理を行う。つまり、例えば、現在の車両イラストのブレンド比率が１００％の場合は、変更後の車両イラストのブレンド比率は５０％となる。このとき、車両イラストと俯瞰画像とに割り当てられるブレンド比率の合計は１００％に維持されるため、俯瞰画像のブレンド比率は０％から５０％に変更される。
【００３５】
ちなみに、イラスト表示モードから透過モードへの切り替えを−５０％の変更幅で行う場合には、３フレームで切り替えが完了することとなる。したがって、仮想視点が車両の右前方上空から車両の左後方を見下ろすものである場合は、図７に示すように３つの異なる合成画像が矢印で表された順番で表示される。また、仮想視点が車両の中央前方上空から車両の中央後方を見下ろすものである場合は、図８に示すように３つの異なる合成画像が矢印で表された順番で表示される。また、仮想視点が車両左側から車両右側を見るものである場合は、図９に示すように３つの異なる画像が矢印で表された順番で表示される。なお、透過モードからイラスト表示モードへの切り替えの場合、図７、図８および図９において画像表示順を表す矢印の向きは逆となる。
【００３６】
ステップＳ１０８でのブレンド比率変更が行われた後は、処理はステップＳ１０３に戻る。
【００３７】
以上のようにして、イラスト表示モードから透過モードへの切り替えが行われる。
【００３８】
イラスト表示モードと透過モードの切り替え時は、ブレンド比率が少しずつ変わるので、車両イラストのフェードイン、フェードアウトの効果が得られる。
【００３９】
本発明の車両周囲画像表示装置では、上述の一連の動作を例えばＮＴＳＣ規格の２９．９７ｆｐｓ（ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）で処理することにより、一般的な動画像を取り扱うことが可能となる。
【００４０】
以上、本発明の実施形態について説明した。
【００４１】
なお、以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されない。つまり、上記装置の構成および動作等についての説明は例であり、本発明の範囲においてこれらの例に対する様々な変更および追加が可能であることは明らかである。
【００４２】
例えば、図２を用いて説明した例では、１つの仮想視点を設定しているが、複数の仮想視点を設定し当該複数の仮想視点から俯瞰した画像を用意しても良い。この場合、スイッチ等で仮想視点を切り替えられるようにしても良い。
【００４３】
また、スイッチで切り替えてイラスト表示モードと透過モードを切り替える例を示したが、車両の走行状況などをトリガーにして自動的にイラスト表示モードと透過モードを切り替えるようにしても良い。
【００４４】
また、イラスト表示モードと透過モードの切り替え時にブレンド合成を用いる例を示したが、例えばモードはイラスト表示モードと透過モードの中間のモードが複数あっても良い。
【００４５】
また、ブレンド比率の変更幅は−５０％の例を示したが、フェードイン、フェードアウトの効果にあわせて、例えば−５％などの別の値に自由に設定して良い。透過モードからイラスト表示モードへの切り替えの場合は、変更幅は正の値となる。
【００４６】
また、車両イラスト全体を透過合成する例を示したが、車両イラストの中でも透過が必要領域のみブレンド合成をするように設定しても良い。
【００４７】
また、カメラ１１０の数Ｎ（図１参照）に制限はない。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施の形態における車両周囲画像表示システムの構成図
【図２】図１に示す車両周囲画像表示システムの動作を示すフロー図
【図３】車体へのカメラ１１０の取付け位置例を示す図
【図４】各カメラ１１０から撮像した画像例を示す図
【図５】仮想視点からの俯瞰画像変換例を示す図
【図６】（ａ）は仮想視点から俯瞰した車両イラスト例を示す図、（ｂ）は仮想視点から俯瞰した車両イラストと俯瞰画像とのブレンド合成例を示す図
【図７】１つの仮想視点を設定した場合におけるイラスト表示モードと透過モードの切り替え例を示す図
【図８】別の仮想視点を設定した場合におけるイラスト表示モードと透過モードの切り替え例を示す図
【図９】さらに別の仮想視点を設定した場合におけるイラスト表示モードと透過モードの切り替え例を示す図
【符号の説明】
【００４９】
１  撮像部
１１０−１、１１０−２、１１０−３、１１０−４  カメラ
２  画像処理装置
２１  イラスト格納部
２２  俯瞰画像変換部
２３  ブレンド比率制御部
２４  画像合成部
３  表示装置
４  モード入力部
２００  車両