(57)【要約】【課題】映像の歪みが目立たない表示映像を表示する車両用映像表示装置を提供する。【解決手段】車両に設けられた複数のカメラと１ａ、１ｂが撮像した映像に基づいて、車両上空の所定の視点から、車両の進行方向に略直交するとともに、その一部又は全部が縮小又は拡大された第１座標軸（ｘ座標軸）を少なくとも含む投射座標系（変形座標系）により規定された投射面に、車両を投射させた表示映像を作成する表示映像作成手段２と、作成された表示映像を表示するディスプレイ４とを備える。【選択図】　図１
2004007299.tif 000002
【特許請求の範囲】
【請求項１】
車両に設けられ、当該車両の周辺を撮像する複数のカメラと、
前記各カメラにより撮像された撮像データに基づいて、前記車両上空の所定の視点から、前記車両の進行方向に略直交するとともに、その一部又は全部が縮小又は拡大された第１座標軸を少なくとも含む投射座標系により規定された投射面に、前記車両を投射させた表示映像を作成する表示映像作成手段と、
前記表示映像作成手段により作成された表示映像を表示する表示手段とを備えた車両用映像表示装置。
【請求項２】
前記表示映像作成手段は、
前記各カメラにより撮像された撮像データから前記車両周辺の全体映像を合成する合成部と、
前記合成部により合成された全体映像を、前記車両上空の所定の視点から、前記車両の進行方向に略直交するとともに、その一部又は全部が縮小又は拡大された第１座標軸を少なくとも含む投射座標系で規定された投射面に前記車両を投射した投射映像へ変換する変換部とを有する請求項１記載の車両用映像表示装置。
【請求項３】
前記第１座標軸は、任意区間の単位長さが前記投射座標系の原点から離れるにしたがって漸減するように一部又は全部が縮小又は拡大された請求項１又は２記載の車両用映像表示装置。
【請求項４】
前記投射座標系は、前記車両の進行方向に沿うとともに、その一部又は全部が縮小又は拡大された第２座標軸をさらに含む請求項１〜３の何れかに記載の車両用映像表示装置。
【請求項５】
前記第１座標軸の任意区間の単位長さと前記第２座標軸の任意区間の単位長さとの比が一定である請求項４記載の車両用映像表示装置。
【請求項６】
前記比が１である請求項５記載の車両用映像表示装置。
【請求項７】
前記表示映像作成手段は、予め記憶された、前記所定の視点から前記投射面上に見える車両の立体的グラフィックデータを、前記車両上空の所定の視点から前記投射面に前記車両を投射させた投射映像に重畳させて前記表示映像を作成する請求項１〜６の何れかに記載の車両用映像表示装置。
【請求項８】
前記表示映像作成手段は、予め記憶された、前記所定の視点から前記投射面上に見えるグリッド線のグラフィックデータを、前記車両上空の所定の視点から前記投射面に前記車両を投射させた投射映像に重畳させて前記表示映像を作成する請求項１〜７の何れかに記載の車両用映像表示装置。
【請求項９】
車両搭載のコンピュータに、
車両に設けられた複数のカメラにより当該車両の周辺の撮像データを取得させるステップと、
前記取得した撮像データに基づいて、前記車両上空の所定の視点から、前記車両の進行方向に略直交するとともにその一部又は全部が縮小又は拡大された第１座標軸を少なくとも含む投射座標系により規定された投射面に前記車両を投射させた表示映像を作成させるステップと、
前記表示映像を表示手段へ出力させるステップと、
を実行させるための車両の映像表示用プログラム。
【請求項１０】
前記表示映像を作成させるステップは、
前記各カメラの撮像データから前記車両周辺の全体映像を合成させるステップと、
前記合成された全体映像を、前記車両上空の所定の視点から前記車両の進行方向に略直交するとともにその一部又は全部が縮小又は拡大された第１座標軸を少なくとも含む投射座標系で規定された投射面に前記車両を投射した投射映像へ変換するステップとを含む請求項９記載の車両の映像表示用プログラム。
【請求項１１】
前記第１座標軸は、任意区間の単位長さが前記投射座標系の原点から離れるにしたがって漸減するように一部又は全部が縮小又は拡大された請求項９又は１０記載の車両用映像表示装置。
【請求項１２】
前記投射座標系は、前記車両の進行方向に沿うとともに、その一部又は全部が縮小又は拡大された第２座標軸をさらに含む請求項９〜１１の何れかに記載の車両用映像表示装置。
【請求項１３】
前記第１座標軸の任意区間の単位長さと前記第２座標軸の任意区間の単位長さとの比が一定である請求項１２記載の車両用映像表示装置。
【請求項１４】
前記比が１である請求項１３記載の車両の映像表示用プログラム。
【請求項１５】
前記表示映像を作成するステップは、
予め記憶され、前記所定の視点から前記投射面上に見える車両の立体的グラフィックデータを、前記車両上空の所定の視点から前記投射面に前記車両を投射させた投射映像に重畳させて前記表示映像を作成するステップを含む請求項９〜１４の何れかに記載の車両の映像表示用プログラム。
【請求項１６】
前記表示映像を作成するステップは、
予め記憶され、前記所定の視点から前記投射面上に見えるグリッド線のグラフィックデータを、前記車両上空の所定の視点から前記投射面に前記車両を投射させた投射映像に重畳させて前記表示映像を作成する請求項９〜１５記載の何れかに記載の車両の映像表示用プログラム。
【発明の詳細な説明】
【０００１】
【技術分野】
本発明は、上空から見た車両及び車両周辺の映像を表示する、車両用映像表示装置及び車両の映像表示用プログラムに関する。
【０００２】
【背景技術】
車両に装備したカメラが撮像した車両周辺の映像を、駐車又は車庫入れ等の操作を補助するために車両室内で表示することが行われている（特開平１１−１５１９７５号公報参照）。この映像の表示において、カメラが撮像した映像をそのままディスプレイに表示することも可能であるが、視点を車両上空に移して上空から車両を見下ろした映像をディスプレイに表示することが試みられている。
【０００３】
しかし、視点をカメラ位置から車両上空へ移動させるため、この種の映像は視点のずれによる歪みを含んでしまうという問題があった。特に、撮像時の視点であるカメラから比較的離れた位置にある物の変形が大きくなりがちで、たとえば、自車両周囲にある他車両のタイヤが横倒し（寝かせた状態）見えてしまうという不都合があった。
【０００４】
【発明の開示】
本発明は、映像の歪みを補正し、ドライバの操作を補助する映像を表示する車両用映像表示装置及び車両の映像表示用プログラムを提供することを目的とする。
【０００５】
本発明では、車両に設けられた複数のカメラにより取得させた車両周辺の撮像データに基づいて、車両上空の所定の視点から、車両の進行方向に略直交するとともにその一部又は全部が縮小又は拡大された第１座標軸を少なくとも含む投射座標系により規定された投射面に車両を投射させた表示映像を作成して表示させる。この表示映像は、第１座標軸における縮小又は拡大に応じて、一部又は全部が縮小又は拡大されたものであるため、撮像データの合成や投射面への投射変換において生じる映像の歪みが補正され、映し出される映像の変形を目立たなくさせることができる。
【０００６】
これにより、ドライバが車両及び車両周辺の物の距離感が把握しやすい映像を表示することができる。
【０００７】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
本実施形態の車両用映像表示装置１００は、車両上空の視点から見下ろした車両及び車両の周辺の映像を車両室内のディスプレイ４に表示する装置である。
【０００８】
図１は本発明の車両用映像表示装置の実施形態を示すブロック図、図２及び図３は上面全体映像（全体映像）から鳥瞰投射映像への変換処理を説明するための図（図２はＹ軸方向の変換処理に対応、図３はＸ軸方向の変換処理に対応）である。
【０００９】
図１に示すように、本実施形態は、車両及び車両の周辺の映像を撮像する複数のカメラ１（１ａ、１ｂ）と、カメラ１が撮像した撮像データから表示映像を作成する表示映像作成手段２と、作成された表示映像を表示するディスプレイ４とを有している。
【００１０】
カメラ１は、車両の外側に設けられ、車両の周囲を撮像し、撮像データを取得する。カメラ１の配置及び配置するカメラの数は特に限定されない。カメラ１（１ａ、１ｂ）は、レンズ系を備えた光学式カメラでもよいが、本実施形態ではＣＣＤ素子を備えたディジタルカメラを採用する。取得した撮像データは表示映像作成手段２へ送出される。
【００１１】
表示映像作成手段２は、カメラ１から取得した撮像データに基づいて、車両上空の所定の視点から車両を投射した鳥瞰投射映像（投射映像）を作成する。本実施形態における「上面全体映像」とは、「全体映像」一態様であり、車両上空の所定の視点から略垂直に車両の一部又は全部を見下ろした映像である。他方「鳥瞰投射映像」とは、車両上空の他の視点から車両を斜め方向に斜めに見下ろした投射映像であり、具体的には車両上空の他の視点から所定の見下ろし角をもって所定の投射面へ車両を投射した映像である。
【００１２】
この表示映像作成手段２は、ＣＰＵと、ＲＯＭと、ＲＡＭとを備えたマイクロコンピュータである。プログラム又はファームウェアが格納されたＲＯＭと、このＲＯＭに格納されたプログラムを実行することで表示映像作成手段２として機能するＣＰＵと、記憶部３０となるＲＡＭとを備えている。もちろん、ＣＰＵ、ＲＯＭ、ＲＡＭとを論理回路により構成してもよい。
【００１３】
具体的に、表示映像作成手段２は記憶部３０を有し、さらに、この記憶部３０はカメラ情報３１を記憶する領域、座標変換式３２を記憶する領域、グラフィックデータ３３を記憶する領域とを有している。この「カメラ情報３１」は、合成部２１が撮像データから上面全体映像を合成する際に必要な情報であり、例えば、カメラ１の取付け位置、撮像方向、撮像角度に関する情報、レンズ、ＣＣＤ素子に関する情報である。「座標変換式３２」は、変換部２２が上面全体映像を鳥瞰投射映像（投射映像）へ変換する際に必要な変換式である。この変換式は、上面全体映像に関する情報、鳥瞰投射映像（投射映像）の視点の位置、視点からの見下ろし角度、投射面の位置（投射面と車両の載置面との角度を含む）その他の変換に必要な情報又は座標変換式３２を導くために必要な情報を含む。「グラフィックデータ３３」は、所定の視点から所定の投射角で見た車両を所定の投射面に立体的に且つ視覚的に表現した車両グラフィックデータｐ，ｐ´、映像の基準線網を平面的又は立体的に表現したグリッド線ｇ，ｇ´を含む。
【００１４】
また、表示映像作成手段２は、カメラ１ａ、１ｂから取得した複数の「撮像データ」より車両上空の所定の視点から略垂直に車両を見下ろした「上面全体映像」を合成する合成部２１と、この上面全体映像の視点とは異なる視点から所定の見下ろし角をもって所定の投射面へ車両を投射した「鳥瞰投射映像（投射映像）」へ変換する変換部２２と、この変換部２２にて変換された鳥瞰投射映像にグラフィックデータ３３を重畳させる重畳部２３とを有している。必要な合成、変換、又は重畳の処理がされた表示映像はディスプレイ４によりドライバへ表示される。
【００１５】
「表示映像」はディスプレイ４により表示される映像であって、その態様は限定されることはない。すなわち、全体映像、投射映像、上面全体映像、鳥瞰投射映像のいずれも「表示映像」に含まれる。また、重畳処理がされている映像、重畳処理がされていない映像、車両グラフィックデータのみが重畳された映像、グリッド線のみが重畳された映像、これら両方が重畳された映像のいずれも「表示映像」に含まれる。すなわち、変換処理前の全体映像や上面全体映像が表示映像として表示されてもよいし、重畳処理前の投射映像や鳥瞰投射映像が表示映像として表示されてもよい。
【００１６】
以下、表示映像の作成を行う表示映像作成手段２の合成部２１、変換部２２、及び重畳部２３について、それぞれ説明する。
【００１７】
＜合成部＞
合成部２１は、各カメラ１ａ、１ｂが撮像した各撮像データを取得する。合成部２１は各カメラ１ａ，１ｂの撮像範囲に応じた撮像データを、車両周辺の一部又は全部を表す１つのまとまった上面全体映像に合成する。この上面全体映像は所定の第１の視点から略垂直に車両（一部又は全部）を見下ろした映像である。この場合、合成部２１は記憶部３０からカメラ情報３１を読み出し、このカメラ情報３１と取得した撮像データとに基づいて上面全体映像を合成する。なお、この予め設定される上面全体映像の視点は車両の上空であれば特に限定されない。
【００１８】
＜変換部＞
変換部２２は、合成部２１にて合成された上面全体映像を鳥瞰投射映像へ変換する。鳥瞰投射映像は、車両上空の視点から所定の見下ろし角をもって車両を見下ろした映像である。この鳥瞰投射映像の視点の位置は特に限定されないが、上面全体映像の視点に対して車両の進行方向の前方又は後方に移動させた位置である。また、見下ろした車両が投射される投射面は、車両の進行方向に対して略直交するとともに、その一部又は全部が縮小又は拡大された第１座標軸を少なくとも含む投射座標系により規定される面である。投射面は第１座標軸を含む面であればよいが、車両の載置面に対して所定の角度α（０＜α≦９０°）を有し、車両の載置面（路面、地面、駐車面を含む）に対して傾きをもった面であることが好ましい。鳥瞰投射映像における車両の高さ方向の歪みを軽減させるためである。この角度αは、特に限定されず視点の位置に応じて決定される。本実施形態では、所定の視点からの見下ろし方向に垂直に交わる面を投射面とした。具体的には、所定の視点からの見下ろし方向が車両の載置面に対して角度θであるとき、投射面は車両の載置面に対してα＝９０°−θの角度をなす。また、第１座標軸の縮小又は拡大の態様は特に限定されず、第１座標軸に直交する第２座標軸との関係も特に限定されない。投射面を規定する投射座標系については後に詳述する。
【００１９】
ここで、変換部２２による上面全体映像から鳥瞰投射映像への変換処理の一例を図２、図３を参照しつつ説明する。
この変換例では、車両上空の所定の位置を視点として合成された上面全体映像（車両上空から略垂直に車両を見下ろした映像）を、同じく車両上空にある他の所定の位置を視点から所定の見下ろし角をもって所定の投射面へ車両を投射した鳥瞰投射映像へ変換する。
【００２０】
図２に示す上面全体映像の座標（上面座標）上の任意の点Ｂを鳥瞰投射映像の座標（投射座標）上の点Ｃに変換するために、上面座標系の点と投射座標系の点との関係を導いた。
【００２１】
まず、Ｙ軸方向の変換を、図２を参照しつつ説明する。Ｙで示された軸は上面座標系におけるＹ座標軸である。図２に示す点Ａは鳥瞰投射映像の視点の位置を示す。ｈは視点の上面座標における高さである。θは視点からの見下ろし角度を示す。
【００２２】
ｙで示された軸は投射座標におけるｙ座標軸であり、上面全体映像が変換されて投射される投射面（鳥瞰投射映像が映し出される面であって、投射座標系によって定義される）のｙ軸を規定する。この投射面は車両の載置面に対して所定の角度α（０＜α≦９０°）を有するように設定されている。また投射面は、視点Ａから所定の距離ＤＳだけ離れた位置に設定されている。この距離ＤＳは、ディスプレイ４を介して表示する表示映像の大きさに応じて決定される。
【００２３】
上面座標系の任意の点Ｂを、投射座標系に投射させた点Ｃのｙ座標値Ｃ（ｙ）は、Ｃ（ｙ）＝−ＤＳ・ｔａｎθ−ＤＳ・ｔａｎω　…（１）
＝−ＤＳ（ｔａｎθ＋ｔａｎω）…（２）
ＤＳ：視点Ａから投射面までの距離
θ：視点Ａからの見下ろし角度
ω：視点Ａから角度θで見下ろした視線と線分ＡＢのなす角度
となる。
【００２４】
一方、上面座標系における任意の点ＣのＹ座標値Ｂ（Ｙ）は、
Ｂ（Ｙ）＝｛ｈ／ｓｉｎ（θ＋ω）｝・（ｃｏｓω／ｃｏｓθ）＋ｃ…（３）
となる。
ｈ：カメラの高さ
ｃ：映像のマージン（予め設定された値）
（３）式を整理すると、
Ｂ（Ｙ）＝｛ｈ／（ｔａｎθ＋ｔａｎω）｝・（１／ｃｏｓ２θ）＋ｃ…（４）
を満たす。
【００２５】
（１）式と（４）式とから、
Ｂ（Ｙ）＝（−ｈ・ＤＳ／ｃｏｓ２θ）・（１／Ｃ（ｙ））＋ｃ…（５）を得る。
【００２６】
ここで、ｂ＝ｈ・ＤＳ／ｃｏｓ２θ…（６）とおけば、
（５）式は、
Ｂ（Ｙ）＝（−ｂ／Ｃ（ｙ））＋ｃ…（７）
と整理でき、上面座標系の点Ｂ（Ｙ）と投射座標系の点Ｃ（ｙ）との相互の変換式を得ることができる。
【００２７】
続いて、Ｘ軸方向の変換を、図３を参照しつつ説明する。Ｘで示された軸は上面全体映像の上面座標におけるＸ座標軸である。ｘで示された軸は鳥瞰投射映像の投射座標におけるｘ座標軸である。
【００２８】
上面座標系の任意の点Ｂを投射座標系に投射させた投射点Ｃのｘ座標値Ｃ（ｘ）を求める。視点Ａから任意の点Ｂを含む上面座標のＸ軸までの距離ｑと任意の点ＢのＸ座標値（上面座標）との比は、ＤＳと投射点Ｃのｘ座標値Ｃ（ｘ）との比に等しい。
【００２９】
よって、Ｂ（Ｘ）／ｑ＝Ｃ（ｘ）／ＤＳ…（８）となる。
ｑは図２の視点Ａと点Ｄ間の距離に相当する。このＡＤの距離は、任意の点Ｂと点Ｅ間の距離と同じであり、ｑ＝（Ｂ（Ｙ）−ｃ）ｃｏｓθで表せる。ｑを代入して、式を整理すると、
Ｂ（Ｘ）＝（ｃｏｓθ／ＤＳ）・Ｃ（ｘ）・（Ｂ（Ｙ）−ｃ）…（９）
（７）式：Ｂ（Ｙ）＝（−ｂ／Ｃ（ｙ））＋ｃを用いて、
Ｂ（Ｘ）＝（ｃｏｓθ／ＤＳ）・Ｃ（ｘ）・（−ｂ／Ｃ（ｙ））
Ｂ（Ｘ）＝−ｂ・（ｃｏｓθ／ＤＳ）・（Ｃ（ｘ）／Ｃ（ｙ））…（１０）
ここで、ａ＝ｂ・（ｃｏｓθ／ＤＳ）とおけば、
Ｂ（Ｘ）＝−ａ・（Ｃ（ｘ）／Ｃ（ｙ））…（１１）
となり、上面座標系の任意の点Ｂ（Ｘ）を、投射座標系の点Ｃ（ｘ）へ変換することができる。すなわち、（７）式、（１１）式の各定数ａ，ｂ，ｃに具体的な数値を代入して、Ｂ（Ｘ，Ｙ）から投射座標系のＣ（ｘ，ｙ）を求める。
【００３０】
以上のとおり、座標軸の一部又は全部が縮小又は拡大されないＸ座標軸及びｙ座標軸により規定される正座標系に関し（以下、Ｘ及びＹ座標軸が縮小又は拡大されていない座標系を正座標系、正上面座標系、正投射座標系という）、正上面座標系と正投射座標との関係式、すなわち変換式が求められた。
【００３１】
続いて、正座標系からその一部又は全部が縮小又は拡大されたｘ座標軸を含む座標系（以下、「変形座標系」という）へ変換する手法について説明する。
【００３２】
まず、変形座標系について図４〜図６を参照して説明する。
図４は第１変形座標系により規定された投射面に車両を投射した表示映像である。この表示映像に自車両１０の映像と車両の載置面に引かれた白線Ｌの映像とともに、表示映像の投射面を規定する投射座標系（第１変形座標系）の第１座標軸（ｘ座標軸）を映像に重ねて示した。
【００３３】
図４に示す映像を規定する第１変形座標系は、第１座標軸としてのｘ座標軸の一部又は全部が拡大又は縮小されたものである。ｘ座標軸は少なくとも車両の進行方向ｆに対して略直交している。図４に示すように変形座標系は車両の横方向（進行方向に対して略直交方向）に縮小又は拡大されている。この縮小又は拡大の手法は特に限定されないが、本実施形態では投射座標系の原点０から離れるにしたがって任意区間の単位長さが漸減するようにｘ座標軸の一部又は全部を縮小又は拡大する。すなわち、原点０を基準に区切られた任意区間の単位長さａ１〜ａ４及び任意区間の単位長さａ´１〜ａ´４が縮小又は拡大されている。図４に示すように、ａ１からａ４へ向かうにしたがい（原点０から離れるにしたがい）、任意区間は（例えば１目盛に対する長さ）縮小され、その任意区間の単位長さは漸減している。ちなみに、縮小であるか拡大であるかは、相対的に定められるので、区間ａ２を基準とすれば、区間ａ１は拡大されたといえるとともに区間ａ３、ａ４は縮小されたといえる。
【００３４】
このように、ｘ座標軸の一部又は全部を縮小または拡大させることにより、表示映像に生じる歪みの位置及び広さに応じてｘ座標軸の一部を縮小又は拡大をすることができるため、部分的に生じる歪みを適切に補正することができる。
【００３５】
たとえば、ｘ座標軸を、原点０から離れるにしたがって任意区間の単位長さを漸減させたことにより、車両進行方向の横方向の離れた位置の映像に生じる変形を目立たなくすることができる。具体的には、正座標系の映像では横倒しされたように映し出されていた隣接車両のタイヤの映像を、本例の変形座標系の映像では肉眼で見た映像と同じように立体的に映し出すことができる。
【００３６】
加えて、変形座標系のｘ座標軸は、原点０から離れるにしたがって任意区間の単位長さが漸減するため、原点０近傍（映像中心近傍）の映像が映像端部付近の映像よりも大きく表示される。よって、細部まで明瞭に表示させたい自車両を表示映像の中心に大きく表示させることができるとともに、ディスプレイ４の表示映像に映し出せる範囲を拡大させることができる。このため、表示映像の中心部分を比較的大きく表示しつつ、自車両周辺の比較的広い範囲の映像も表示映像に含ませることができる。
【００３７】
図５は第２変形座標系により規定された投射面に車両を投射した表示映像である。図４と同様、この表示映像に自車両１０と白線Ｌの映像に加えて、表示映像の投射面を規定する投射座標系（第１変形座標系）の第１座標軸（ｘ座標軸）及び第２座標軸（ｙ座標軸）を映像に重ねて示した。
【００３８】
第２変形座標系は、車両の進行方向に沿うとともに、その一部又は全部が縮小又は拡大された第２座標軸（ｘ座標軸に直交するｙ座標軸）を含む。このｙ座標軸はｘ座標軸と同様にその一部又は全部が縮小又は拡大されている。そして、第２変形座標系のｙ座標軸の任意区間の単位長さとｘ座標軸の任意区間の単位長さとの比は、一定である。図５を参照して説明すると、ｘ座標軸の任意区間の単位長さをａ１、ａ２、ａ３とし、ｙ座標軸の任意区間の単位長さをｂ１、ｂ２、ｂ３とした場合、本例の第２変形座標系には、ａ１：ｂ１＝ａ２：ｂ２＝ａ３：ｂ３＝ａｎ：ｂｎの関係が成立する。言い換えると、（ａ１、ｂ１）の方形と、（ａ２、ｂ２）の方形と、（ａ３、ｂ３）の方形と、（ａｎ、ｂｎ）の方形とは相似関係を有する。もちろん、ａ１＝ａ２＝ａ３、ｂ１＝ｂ２＝ｂ３として、（ａ１、ｂ１）の方形と、（ａ２、ｂ２）の方形と、（ａ３、ｂ３）の方形と、（ａｎ、ｂｎ）の方形とは同じ方形であってもよい。
【００３９】
このように、ｘ座標軸（第１座標軸）の任意区間の単位長さと、ｙ座標軸（第２座標軸）の任意区間の単位長さとの比を一定としたことにより、第２変形座標系により規定された投射面に投射させた表示映像は、ｘ座標軸方向の距離が把握しやすい映像となる。
【００４０】
図６は第３変形座標系により規定された投射面に車両を投射した表示映像である。図４と同様、この表示映像に自車両１０と白線Ｌの映像に加えて、表示映像の投射面を規定する投射座標系（第１変形座標系）の第１座標軸（ｘ座標軸）及び第２座標軸（ｙ座標軸）を映像に重ねて示した。
【００４１】
第３変形座標系は、第２変形座標系と同様に第２座標軸（ｙ座標軸）を含み、その一部又は全部が縮又は拡大される。そして、第３変形座標系のｙ座標軸の任意区間の単位長さとｘ座標軸の任意区間の単位長さとの比は、「１」である。図６を参照して説明すると、ｘ座標軸の任意区間の単位長さをａ１、ａ２、ａ３とした場合、ｙ座標軸の任意区間の単位長さはａ１、ａ２、ａ３となる。すなわち、本例の第３変形座標系には、
ａ１＝ｂ１、ａ２＝ｂ２、ａ３＝ｂ３、ａｎ＝ｂｎの関係が成立する。
言い換えると、（ａ１、ｂ１）の方形と、（ａ２、ｂ２）の方形と、（ａ３、ｂ３）の方形と、（ａｎ、ｂｎ）の方形とは相似関係を有する正方形である。
【００４２】
このように、ｘ座標軸（第１座標軸）の任意区間の単位長さと、ｙ座標軸（第２座標軸）の任意区間の単位長さとの比を「１」としたことにより、第２変形座標系により規定された投射面に投射させた表示映像は、ｘ座標軸方向及びｙ座標軸方向の距離が把握しやすい映像となる。
【００４３】
以上のように、本実施形態の表示映像の基準となる投射座標系は、正座標系ではなく、ｘ座標軸及び／又はｙ座標軸の一部又は全部が縮小又は拡大された変形座標系である。
【００４４】
正座標系により規定された上面全体映像から変形座標系により規定された鳥瞰投射映像に変換するためには、先に説明した正座標系から正座標系への変換に追加の処理が必要である。
【００４５】
以下に、第１変形座標系、第２変形座標系及び第３変形座標系における変換処理について説明を加える。
（１）第１変形座標系（投射座標系）に含まれるｘ座標軸の一部又は全部を縮小又は拡大する手法として、本実施形態ではｘ座標軸の原点０からプラス方向（図４で示す＋ｘ方向）とマイナス方向（図４で示す−ｘ方向）に離れるにしたがって、ｘ座標軸の任意区間の単位長さが漸減するように、ｘ座標軸を縮小又は拡大する。先に説明した式（１１）の具体的な補正式として、
Ｘ＝−ａ・（ｘ／ｙ）−ｄ・ｘ２…（１２）
を例示する。このｘ座標軸を漸減させる手法は特に限定されない。もちろん、ｙ座標軸の式（７）に適用することもできる。
【００４６】
（２）第２変形座標系（投射座標系）に含まれるｘ座標軸の任意区間の単位長さと、同じく第２変形座標系に含まれるｙ座標軸の任意区間の単位長さとの比とを等しくする手法を以下に説明する。
【００４７】
変換前の上面座標系の座標（Ｘ，Ｙ）と変換後の第２変形座標系の座標（ｘ，ｙ）が以下の式を満たすと仮定する。
Ｙ＝（−ｂ／ｙ）−ｄ・ｘ・ｙ＋ｃ…（１３）
Ｘ＝…ｆ（ｘ）（１４）
このとき、
ｄＹ／ｄｙ＝ｂ／ｙ２−ｄ・ｘ…（１５）
ｄＸ／ｄｘ＝ｆ´（ｘ）…（１６）　となる。
【００４８】
すなわち、式（１５）はＹ座標軸とｙ座標軸との任意区間の単位長さの比に対応する（ｄＹ／ｄｙ）の値が、ｂ／ｙ２−ｄ・ｘとなり、式（１６）はｘ座標軸の任意区間の単位長さの比に対応する（ｄＸ／ｄｘ）の値が、ｆ´（ｘ）となることを示す。よって、ｘ座標軸の任意区間の単位長さと第２座標軸の任意区間の単位長さの比を一定にするには、
（ｄＹ／ｄｙ）・ｋ＝（ｄＸ／ｄｘ）…（１７）
が成立すればよい。（１６）式から、
ｆ´（ｘ）＝ｋ・ｂ／ｙ２−ｋ・ｄ・ｘ…（１８）
ｆ（ｘ）＝ｋ・ｂ（ｘ／ｙ２）−（ｋ・ｄ・ｘ２／２）…（１９）
よって、下記（２０）（２１）式によれば、図５に示す（ａ１，ｂ１）（ａ２，ｂ２）（ａ３，ｂ３）に囲まれる任意区間に相当する領域において、上面座標系から、ｘ座標軸の単位長さとｙ座標軸の単位長さの比が一定の第２座標系への変換ができる。
Ｙ＝（−ｂ／ｙ）＋ｃ…（２０）
Ｘ＝ｋ・ｂ（ｘ／ｙ２）−（ｋ・ｄ・ｘ２／２）…（２１）
すなわち、上面座標系の任意の座標（Ｘ，Ｙ）を、第２変形座標系（投射座標系）の座標（ｘ，ｙ）へ変換することができる。式（２０）、式（２１）の各定数ｂ，ｃ，ｄに具体的な数値を代入して、（Ｘ，Ｙ）から第２変形座標系（投射座標系）の（ｘ，ｙ）を求めることができる。
【００４９】
これにより、ｘ座標軸及びｙ座標軸の任意区間に相当する領域において、表示映像の縦方向（ｙ座標軸方向）及び横方向（ｘ座標軸方向）の映像の尺度が一定となるため、特に横方向の距離感を把握しやすい表示映像を提供することができる。
【００５０】
（３）第３変形座標は、ｘ座標軸の任意区間の単位長さとｙ座標軸の任意区間の単位長さが同じ、すなわち、第２変形座標における「比」が１である座標である。よって、（２０）、（２１）に基づく変換処理においてｋ＝１とすればよい。
【００５１】
これにより、ｘ座標軸及びｙ座標軸の任意区間に相当する領域において、表示映像の縦方向（ｙ座標軸方向）及び横方向（ｘ座標軸方向）の映像の尺度が同じとなるため、横方向及び縦方向の距離感を把握しやすい表示映像を提供することができる。
【００５２】
以上のように変換部２２は上面座標系に投射された上面全体映像を、投影座標系（第１〜第３変形座標系）により規定された投射面に投射された鳥瞰投射映像へ変換する。
【００５３】
＜重畳部＞
重畳部２３は、変換部２２から取得した鳥瞰投射映像にグラフィックデータ３３（立体的な車両グラフィックデータ、グリッド線を含む、以下同じ）を重畳する。記憶部３０は、所定の視点から略垂直に車両を投射した車両グラフィックデータｐ（上面全体映像への重畳用），所定の視点から所定の見下ろし角をもって車両を投射した車両グラフィックデータｐ´（鳥瞰投射映像への重畳用）、表示映像の基準線網を示すグリッド線ｇ（上面全体映像への重畳用），ｇ´（鳥瞰投射映像への重畳用）を、グラフィックデータ３３として記憶部３０に記憶する。
【００５４】
重畳処理に際して、重畳部２３は所定のグラフィックデータ３３を記憶部３０から読み出し、上面全体映像又は鳥瞰投射映像に重畳させる。グラフィックデータ３３のうち、車両グラフィックデータｐ，ｐ´は所定の視点又は所定の視点及び所定の投射面に応じて車両を立体的に表す映像データであるため、視点及び／又は投射面を基準として重畳する。車両グラフィックデータ、グリッド線等のグラフィックデータ３３を重畳させることにより、車両及び車両周辺が立体的に示され、ドライバは車両周辺の位置関係を容易に把握できる。
【００５５】
また、車両グラフィックデータｐ，ｐ´を重畳することにより、表示映像上におけるカメラ１の死角部分の撮像データを補うことができる。すなわち、車両に装備されたカメラ１は車両の陰の死角となる部分の撮像データを取得することができず、カメラ１の死角は撮像データの欠けとなる。この撮像データに基づいて作成される表示映像にも欠けが生じてしまうが、車両グラフィックデータｐ，ｐ´は所定の視点から車両を実際に見た場合と同じように陰の映像を含むため、この陰の部分にカメラ１の死角部分が隠されてしまえば、表示映像において撮像データの欠けは問題とならない。このように、車両グラフィックデータｐ，ｐ´を重畳することにより表示映像の欠けを補うことができる。
【００５６】
また、この表示映像を構成する鳥瞰投射映像と車両グラフィックデータｐ´は、同じ視点から同じ投射面へ投射された映像であるため重畳しても映像に歪みがない。さらに、車両グラフィックデータｐ，ｐ´により車両全体が立体的に表現されるためユーザは車両の位置を確認しやすい。特に、カメラ１の死角となりやすい車両の低い部分をより正確に表示することができる。
【００５７】
なお、本実施形態では表示映像作成手段２に設けられた合成部２１が上面全体映像の作成を行い、変換部２２が鳥瞰投射映像への変換を行い、重畳部２３がグラフィックデータの重畳を行うというようにしたが、これら処理の順序や手法はこれに限定されない。たとえば、表示映像作成手段２は、合成部２１の合成処理と変換部２２の変換処理とを一括で処理することができる。また、合成部２１の合成処理の後に重畳部２３が重畳処理を行い、その後変換部２２が変換処理を行ってもよい。さらには合成部２１の合成処理と重畳部２３の重畳処理及び／又は変換部２２の変換処理と重畳部２３の重畳処理とを一括で処理してもよい。もちろん、合成処理、変換処理、重畳処理のすべてを一括で、すなわち撮像データから合成、変換、重畳のされた表示映像をワンステップで作成することも可能である。
【００５８】
続いて、図７〜図１０を参照しつつ動作について説明する。
図７は本実施形態の動作を説明するためのフローチャート図、図８は図７のステップＳ３で合成された上面全体映像の表示例を示す図、図９は図７のステップＳ６で変換された鳥瞰投射映像の表示例を示す図、図１０は図７のステップＳ９で重畳された表示映像の表示例を示す図である。
【００５９】
図７に示すように、車両用映像表示装置１００が起動すると、複数のカメラ１のそれぞれが車両及び車両周辺の映像を撮像する（ステップ１）。カメラ１は、撮像した撮像データを表示映像作成手段２へ送出する（ステップ２）。
【００６０】
表示映像作成手段２の合成部２１は撮像データと記憶部３０から読み出したカメラ情報３１とに基づいて、車両周辺の上面全体映像を合成する（ステップ３）。本例では、ここで上面映像重畳用の車両グラフィックデータｐを重畳させる（ステップ４）。この表示映像（上面全体映像に車両グラフィックデータｐを重畳）の表示例を図８に示した。もちろん、この重畳処理は変換部２２の変換処理後（Ｓ７）に行ってもよい。
【００６１】
続いて、変換部２２は鳥瞰投射映像の座標変換式３３を記憶部３０から読み出す（ステップ５）。変換部２２は読み出した座標変換式３３を参照し、上面全体映像を変形座標系で規定された投射面へ投射された鳥瞰投射映像へ変換する（ステップ６）。変換された鳥瞰投射映像は、重畳部２３へ送出され、鳥瞰投射映像重畳用のグラフィックデータｐ´が重畳される（ステップ７）。この表示映像（鳥瞰投射映像に車両グラフィックデータｐ´を重畳）の表示例を図９に示した。
【００６２】
さらに、グリッド線ｇを重畳する場合、重畳部２３は記憶部３０のグリッド線ｇのグラフィックデータを読み込む（ステップ８）。重畳部２３は鳥瞰投射映像へ鳥瞰映像用のグリッド線ｇ´のグラフィックデータを重畳して表示映像を作成する（ステップ９）。表示映像はディスプレイ４へ出力され（ステップ１０）、表示映像が表示される（ステップ１１）。この表示映像（鳥瞰投射映像に車両グラフィックデータｐ´及びグリッド線ｇ´を重畳）の表示例を図１０に示した。
【００６３】
この実施形態は、以上のように構成され動作するので以下の効果を奏する。　表示映像が投射される投射面を規定する座標系の第１座標軸としてのｘ座標軸の一部又は全部を縮小又は拡大させたことにより、表示映像の部分的に生じる映像の歪みを、その歪みの発生に応じて部分的に補正することができる。これにより、車両及び車両周囲の距離感を把握しやすく、ドライバの操作を適切に補助することができる表示映像を作成し、表示することができる。
【００６４】
また、第１座標軸としてのｘ座標軸を、原点０から離れるにしたがって任意区間の単位長さが漸減するようにしたことにより、車両進行方向の横方向の離れた位置にある物体に対して生じる変形を目立たなくすることができる。具体的には、正座標系の映像では横倒しされたように映し出されてしまう他車両のタイヤの映像が、本例の変形座標系の映像では肉眼で見た映像と同じように立体的に映し出すことができる。
【００６５】
加えて、第１座標軸としてのｘ座標軸は、原点０から離れるにしたがって任意区間の単位長さが漸減するため、原点０近傍（映像中心近傍）の映像が映像端部付近の映像よりも大きく表示される。よって、細部まで明瞭に表示させたい自車両を表示映像の中心に大きく表示させることができるとともに、表示映像に映し出せる範囲を拡大させることができる。このため、表示映像の中心部分を比較的大きく表示しつつ、自車両周辺の比較的広い範囲の映像も表示映像に含ませることができる。これにより、ドライバの操作の補助に役立つ映像を表示させることができる。
【００６６】
さらに、第１座標軸としてのｘ座標軸の任意区間の単位長さと、第２座標軸のｙ座標軸の任意区間の単位長さとの比を一定としたことにより、投射座標系としての第２変形座標系により規定された投射面に投射させた表示映像は、第１座標系としてのｘ座標軸方向の距離が把握しやすい映像となる。さらにまた、この「比」を「１」とすることによって、第１座標軸（ｘ座標軸）及び第２座標軸（ｙ座標軸）の距離が把握しやすい映像となる。
【００６７】
加えて、上面全体映像又は鳥瞰投射映像に車両グラフィックデータｐ，ｐ´を重畳させることにより、車両に設けられたカメラ１の死角となって得ることのできない部分を立体的な車両グラフィックデータｐ，ｐ´によって補うことができる。さらに、立体的に車両を表現した立体的な車両グラフィックデータｐ，ｐ´を重畳することにより、表示映像において遠近感を含めた実際の車両の形を示すことができる。すなわち、車両上空から実際に車両を見下ろしたかのように、車両の高さ方向の立体感を表現することができる。加えて、カメラ１の死角となりやすいタイヤ周囲、リヤバンパー周囲、フロントバンパー周囲、シルアウター周囲等の車両の近傍の映像も車両グラフィックデータｐ，ｐ´により補うことができる。
【００６８】
また、上面全体映像又は鳥瞰投射映像（投射映像）に映像の基準線網を示すグリッド線ｇ，ｇ´を重畳することにより、立体的な距離感を把握しやすくなるとともに、上面全体映像と鳥瞰投射映像の表示形態の違いを容易に認識することができる。
【００６９】
本実施形態では車両用映像表示装置について説明したが、本発明の車両用映像表示方法を使用した場合又は車両の映像表示用プログラムにより動作するコンピュータも同様に作用し、同様の効果を奏する。
【００７０】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【図１】本発明の車両用映像表示装置の実施形態を示すブロック図である。
【図２】上面全体映像から鳥瞰投射映像への変換処理を説明するための第１の図である。
【図３】上面全体映像から鳥瞰投射映像への変換処理を説明するための第２の図である。
【図４】第１座標軸の第１の例を説明するための図である。
【図５】第１座標軸の第２の例を説明するための図である。
【図６】第１座標軸の第３の例を説明するための図である。
【図７】表示映像の作成の動作を説明するためのフローチャート図である。
【図８】図７のステップＳ３で合成された上面全体映像の例を示す図である。
【図９】図７のステップＳ６で変換された鳥瞰投射映像の例を示す図である。
【図１０】図７のステップＳ９で重畳処理された表示映像の例を示す図である。
【符号の説明】
１００…車両用映像表示装置
１，１ａ，１ｂ，…カメラ
２…表示映像作成手段、ＣＰＵ
２１…合成部
２２…変換部
２３…重畳部
３０…記憶部、ＲＡＭ、ＲＯＭ
３１…カメラ情報記憶領域
３２…座標変換式記憶領域
３３…グラフィックデータ記憶領域
４…ディスプレイ（表示手段）
１０…自車両
１１…他車両
【図１】
2004007299.tif 000003
【図２】
2004007299.tif 000004
【図３】
2004007299.tif 000005
【図４】
2004007299.tif 000006
【図５】
2004007299.tif 000007
【図６】
2004007299.tif 000008
【図７】
2004007299.tif 000009
【図８】
2004007299.tif 000010
【図９】
2004007299.tif 000011
【図１０】
2004007299.tif 000012