(57)【要約】【課題】水平線の位置がずれない状態で表示可能な俯瞰画像を生成することができる俯瞰画像生成装置を提供する。【解決手段】自車両の車体に取り付けられる複数のカメラと、カメラの映像を取り込んで、カメラのキャリブレーションデータおよび仮想の視点視線情報に基づいて視点変換処理を行った俯瞰画像をカメラごとに生成し、俯瞰画像同士を境界でつないだ合成俯瞰画像を生成する画像処理部と、この画像処理部で生成した合成俯瞰画像を表示する表示部とを備え、俯瞰画像は、各カメラの高さに比例させて、形状の高さ方向の割合を変化させる。【選択図】図１
2016225865.tif 000002
【特許請求の範囲】
【請求項１】
自車両の車体に取り付けられる複数のカメラと、
前記カメラの映像を取り込んで、前記カメラのキャリブレーションデータおよび仮想の視点視線情報に基づいて視点変換処理を行った俯瞰画像を前記カメラごとに生成し、前記俯瞰画像同士を境界でつないだ合成俯瞰画像を生成する画像処理部と、
この画像処理部で生成した前記合成俯瞰画像を表示する表示部とを備え、
前記俯瞰画像は、前記各カメラの高さに比例させて、形状の高さ方向の割合を変化させる俯瞰画像生成装置。
【請求項２】
予め標準とするカメラの高さを基準として定め、前記各カメラの高さに応じて前記俯瞰画像の形状の高さ方向を比例させる請求項１に記載の俯瞰画像生成装置。
【請求項３】
前記カメラは、
車体前方に取り付けられ自車両の前方を撮像する前方カメラと、
車体後方に取り付けられ自車両の後方を撮像する後方カメラと、
車体左方に取り付けられ自車両の左方を撮像する左側カメラと、
車体右方に取り付けられ自車両の右方を撮像する右側カメラである請求項１又は請求項２に記載の俯瞰画像生成装置。
【請求項４】
前記カメラキャリブレーションデータは、レンズの歪みおよび焦点距離を含むカメラの特性に加えて、車体上での前記カメラの取付位置情報である請求項１乃至請求項３のいずれか１項に記載の俯瞰画像生成装置。
【請求項５】
前記視点視線情報において、視点は、３次元座標系で、視点の座標（ｘ、ｙ、ｚ）および基準視線ベクトルを任意の回転軸ベクトル（ｖｘ、ｖｙ、ｖｚ）の回りにθラジアン回転させた視線方向（ｖｘ、ｖｙ、ｖｚ、θ）で定義される請求項１乃至請求項４のいずれか１項に記載の俯瞰画像生成装置。
【請求項６】
前記画像処理部は、
事前に取得しておいた前記カメラのキャリブレーションデータを格納するカメラキャリブレーションデータ格納部と、
前記視点視線情報を格納する視点視線情報格納部と、
前記カメラキャリブレーションデータと前記視点視線情報を取り込んで、前記カメラで取得した映像について視点変換するための座標変換用のルックアップテーブルを作成する俯瞰LUT作成部と、
前記カメラの撮像した映像を取り込み、前記ルックアップテーブルの情報を入力し、水平線の位置合わせを行った合成俯瞰画像を生成する俯瞰画像作成部とから構成される請求項１乃至請求項５のいずれか１項に記載の俯瞰画像生成装置。
【請求項７】
前記ルックアップテーブルは、
予め限定した視点視線を仮想して作成したものである請求項６に記載の俯瞰画像生成装置。
【請求項８】
前記ルックアップテーブルは、現在の視点、視線から限定した変化量とその変化量を複数に分割した分を予め作成しておき、視点、視線の変更があった場合、その変更の範囲内で動作し、変更後の視点、視線から変化量とその変化量を複数に分割した分を再作成する請求項６に記載の俯瞰画像生成装置。
【請求項９】
変更する仮想視点、仮想視線の変更する量が決まってから、その仮想視点、仮想視線の変化量を複数に分割した前記ルックアップテーブルを作成し、それが作成し終わってから仮想視点、仮想視線の変更する請求項６に記載の俯瞰画像生成装置。
【請求項１０】
前記各カメラの映像に基づく前記俯瞰画像は、車体中心から半径方向に地面の平面領域を有し、縦横比を変えて作成する請求項１乃至請求項９のいずれか１項に記載の俯瞰画像生成装置。
【請求項１１】
前記各カメラの映像に基づく前記俯瞰画像は、車体中心から縦方向、横方向に地面の平面領域を有し、縦横比を変えて作成する請求項１乃至請求項９のいずれか１項に記載の俯瞰画像生成装置。
【請求項１２】
前記各カメラの映像に基づく前記俯瞰画像は、任意に距離と高さでプロットされた点を線形補間あるいはスプライン補間することにより作成する請求項１乃至請求項９のいずれか１項に記載の俯瞰画像生成装置。
【請求項１３】
前記カメラのうち、基準となるカメラを定め、当該前記カメラでの境界となる水平線上の１点を決めておき、前記基準となるカメラとの境界でのもう一つ側の前記カメラの水平線の位置を、視線方向で同じ位置に見えるように合わせる請求項１に記載の俯瞰画像生成装置。
【請求項１４】
前記カメラのうち、２つのカメラの重なる領域の両端の水平線の位置を、視線方向で同じ位置に見えるように合わせる請求項１に記載の俯瞰画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、俯瞰画像生成装置に関する。
【背景技術】
【０００２】
近年、車両周辺を監視する複数のカメラを使用して車両上方の仮想視点からの俯瞰画像を表示する装置に関する技術開発が提案されている。
【０００３】
例えば、得られた映像により補正を行うもの（例えば、特許文献１参照）であったり、地面平面範囲をカメラの高さによって変えるもの（例えば、特許文献２参照）であったり、２平面をつなげるもの（例えば、特許文献３参照）であったり、一つの表示面上にカメラのデータをそのまま描画するもの（例えば、特許文献４参照）である。
【０００４】
しかしながら、これらの技術では、各カメラの俯瞰画像同士の水平線位置が合わないという問題があった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４９５６７９９号公報
【特許文献２】特開２０１０−２０４８２１号公報
【特許文献３】特開２００８−１４１６４３号公報
【特許文献４】特開２０１０−１２８９５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、水平線の位置がずれない状態で表示可能な俯瞰画像を生成することができる俯瞰画像生成装置を提供することである。
【課題を解決するための手段】
【０００７】
実施形態の俯瞰画像生成装置は、自車両の車体に取り付けられる複数のカメラと、前記カメラの映像を取り込んで、前記カメラのキャリブレーションデータおよび仮想の視点視線情報に基づいて視点変換処理を行った俯瞰画像を前記カメラごとに生成し、前記俯瞰画像同士を境界でつないだ合成俯瞰画像を生成する画像処理部と、この画像処理部で生成した前記合成俯瞰画像を表示する表示部とを備え、前記俯瞰画像は、前記各カメラの高さに比例させて、形状の高さ方向の割合を変化させる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態に係る俯瞰画像生成装置の構成例を示す図である。
【図２】本実施形態における車体画像と各カメラと俯瞰画像との基本的な位置関係を示す図である。
【図３】各カメラの映像に基づく俯瞰画像同士の水平線の位置ずれを説明する図である。
【図４】カメラの高さによって俯瞰画像の形状の高さ方向を比例させた俯瞰画像を説明する図である。
【図５】車体中心から半径方向に地面の平面領域を有し、縦横比を変えた俯瞰画像を説明する図である。
【図６】車体中心から縦方向、横方向に地面の平面領域を有し、縦横比を変えた俯瞰画像を説明する図である。
【図７】俯瞰画像形状を任意に指定する例を説明する図である。
【図８】俯瞰画像表示までの処理の流れを示すフローチャートである。
【図９】ルックアップテーブル作成処理の流れを示すフローチャートである。
【図１０】本発明の第２の実施形態における視点位置を任意に設定する場合の俯瞰画像を説明する図である。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施の形態について、図面を参照して説明する。尚、各図において同一箇所については同一の符号を付すとともに、重複した説明は省略する。
【００１０】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る俯瞰画像生成装置の構成例を示す図である。図１に示すように、俯瞰画像生成装置１は、主として、前方カメラ１０と、後方カメラ２０と、左側カメラ３０と、右側カメラ４０と、画像処理部５０と、表示部６０から構成されている。
【００１１】
前方カメラ１０は、車両の外部を撮像するもので、車体前方に取り付けられる。前方カメラ１０によって、車両の前方を撮像した映像が取得される。
【００１２】
後方カメラ２０は、車両外部を撮像するもので、車体後方に取り付けられる。後方カメラ２０によって、車両の後方を撮像した映像が取得される。
【００１３】
左側カメラ３０は、車両外部を撮像するもので、車体左方に取り付けられる。左側カメラ３０によって、車両の左方を撮像した映像が取得される。
【００１４】
右側カメラ４０は、車両外部を撮像するもので、車体右方に取り付けられる。右側カメラ４０によって、車両の右方を撮像した映像が取得される。
【００１５】
俯瞰画像は、カメラで撮像した映像について車両の真上から鉛直下向きに見た状態に視点変換処理を行った画像である。複数の俯瞰画像同士を合成することで車両の真上から周囲を見下ろした合成俯瞰画像が生成される。これにより、ユーザである車両の運転者は車両周囲を１画面上で連続的に視認することが可能となる。本実施形態に係る画像処理部５０は、複数の俯瞰画像について水平線の位置合わせを行った合成俯瞰画像（以下、単に俯瞰画像ということもある）を生成する。俯瞰画像同士の水平線の位置合わせについては後述する。
【００１６】
画像処理部５０は、カメラキャリブレーションデータ格納部５１と、視点視線情報格納部５２と、俯瞰LUT作成部５３と、俯瞰画像作成部５４とから構成されている。
【００１７】
カメラキャリブレーションデータ格納部５１は、事前に取得しておいた各カメラのカメラキャリブレーションデータを格納する。カメラを通して撮影した映像は、カメラのレンズの歪みや焦点距離などによって歪みが生じることがある。また、カメラの特性(レンズの歪み、焦点距離)に加えて、車体上での取付位置の影響も受ける。カメラキャリブレーションデータは、これらカメラの特性等に係る諸元をまとめたものである。
【００１８】
ユーザは、合成俯瞰画像をいずれの視点視線方向から見たものとするかを設定することができる。視点は、３次元座標系で、視点の座標（ｘ、ｙ、ｚ）および基準視線ベクトルを任意の回転軸ベクトル（ｖｘ、ｖｙ、ｖｚ）の回りにθラジアン回転させた視線方向（ｖｘ、ｖｙ、ｖｚ、θ）で定義される。視点視線情報格納部５２は、視点視線方向に係る視点視線情報を格納するものである。
【００１９】
俯瞰LUT作成部５３は、カメラキャリブレーションデータと視点視線情報を取り込んで、カメラで取得した映像について視点変換するための座標変換用のルックアップテーブルを作成する。ルックアップテーブルは、各カメラの撮像する画素に対して、座標変換後の画素値を予め計算し、配列に格納しておき、都度の計算を行うことなく、 配列（テーブル）を参照することで効率的に座標変換を行うためのテーブルである。
【００２０】
尚、仮想の視点や視線を変更してルックアップテーブルを再作成するときに処理に多大の時間を要する場合がある。そのような場合には、予め限定した視点や視線でのルックアップテーブルを用意しておくのが好適である。これにより、スムーズな動きで画像を切り替えることができる。
【００２１】
また、現在の視点、視線から限定した変化量とその変化量を複数に分割した分のルックアップテーブルを予め作成しておき、視点、視線の変更があった場合その変更の範囲内で動作し、変更後の視点、視線から変化量とその変化量を複数に分割した分のルックアップテーブルを再作成してもよい。これにより、演算のためのバッファを減らして、スムーズな動きで画像を切り替えることができる。
【００２２】
また、変更する視点、視線の変更する量が決まってから、その視点、視線の変化量を複数に分割したルックアップテーブルを作成し、それが作成し終わってから視点、視線の変更を行ってもよい。これにより、スムーズな動きで合成俯瞰画像を切り替えることができる。
【００２３】
俯瞰画像作成部５４は、前方カメラの撮像した車両外部の前方映像、後方カメラの撮像した車両外部の後方映像、左側カメラの撮像した車両外部の左側映像、右側カメラの撮像した車両外部の右側映像を取り込み、俯瞰LUT作成部５３からルックアップテーブルの情報を入力し、各カメラの高さに比例させて、形状の高さ方向の割合を変化させる俯瞰画像をカメラごとに生成して、俯瞰画像同士を境界でつないで水平線の位置合わせを行った合成俯瞰画像を生成する。俯瞰画像の生成、俯瞰画像同士の水平線の位置合わせの詳細については、後述する。
【００２４】
表示部６０は、画像処理部５０で生成した合成俯瞰画像を表示する。
【００２５】
本実施形態に係る俯瞰画像生成装置１の画像処理部５０は、汎用のＣＰＵと、同ＣＰＵ上で動作するソフトウェアとを用いて実現することができる。本実施形態はこのようなＣＰＵに、各カメラ映像の取得、カメラキャリブレーションデータと視点視線情報の取り込みによる画像の視点変換処理のための座標変換用ルックアップテーブルの作成、ルックアップテーブル情報による俯瞰画像の生成と俯瞰画像同士の合成に係る一連の処理手続きを実行させるプログラムとして実施することもできる。
【００２６】
以上のように構成した俯瞰画像生成装置１における俯瞰画像の生成、俯瞰画像同士の水平線の位置合わせについて詳述する。
【００２７】
＜俯瞰画像の生成＞
まず、前方カメラ１０によって、車両の前方映像が得られる。前方映像には、自車両の車体と、車両の前側の地面領域とが映っている。また、後方カメラ２０によって、車両の後方映像が得られる。後方映像には、自車両の車体と車両の後側の地面領域とが映っている。また、左側カメラ３０によって左側映像が得られ、右側カメラ４０によって右側映像が得られる。左側映像には、自車両の車体と車両の左側の地面領域とが映っており、右側映像には、自車両の車体と車両の右側の地面領域とが映っている。
【００２８】
俯瞰画像作成部５４は、各カメラからの映像情報を取り込み、俯瞰LUT作成部５３に記憶されているルックアップテーブルに基づいて、それぞれ視点視線方向を車両の真上から鉛直下向きとするよう座標変換する。すなわち、俯瞰画像作成部５４は、前方映像を座標変換して自車両前方側を真上から眺めた座標変換画像を生成し、同様に、後方映像から自車両後方側を真上から眺めた座標変換画像を生成する。また、左側映像から自車両左側方側を真上から眺めた座標変換画像を生成し、右側映像から自車両右側方側を真上から眺めた座標変換画像を生成する。
【００２９】
そして、俯瞰画像作成部５４は、それぞれが俯瞰画像である各座標変換画像を合成し、自車両周辺を真上から鉛直下向きに眺めた俯瞰画像を生成する。尚、俯瞰画像作成部５４は、俯瞰画像の中央部に自車両の車体を配置する。
【００３０】
＜水平線の位置合わせ＞
図２は、本実施形態における自車両の車体画像と各カメラと俯瞰画像との基本的な位置関係を示す図である。図２に示すようなｘ、ｙ、ｚ座標系において、車体中心を基準としてそこからの半径方向をｒ、半径に対して俯瞰画像の配置高さをｚとすると、基本的な俯瞰画像の形状は、ｚ＝ｆ（ｒ）となる。尚、図２において、Ｒは、俯瞰画像の配置高さｚでの最大半径である。
【００３１】
図３は、各カメラの映像に基づく俯瞰画像同士の水平線の位置ずれを説明する図である。俯瞰画像ｆ（ｒ）は、ｃ＝比例定数とすると、ｆ（ｒ）＝ｃ＊ｒ２やｆ（ｒ）＝ｃ＊ｒ３で表すことができるが、ここでは、図３に示すように、ｆ（ｒ）＝ｃ＊（Ｒ−√（Ｒ２−ｒ２）で表すようにする。上述したように、各カメラで取得される映像には、自車両の車体と、車両が位置する地面領域の一部が映っている。この場合、図３に示すように、仮想の視点が真上から真下への平行投影（第２の実施形態において詳述する）の場合、各カメラの高さがばらばらだと、各カメラの高さに応じて、表示される水平線の位置が俯瞰画像間で異なる。この状態では、２つの重なるカメラ映像の境界で水平線の位置が異なってしまい、互いに水平線の位置がずれた俯瞰画像となってしまう。図３に示す例では、前方カメラ１０と後方カメラ２０間の高さに最も違いがあるので、前方カメラ１０による俯瞰画像の水平線の位置と後方カメラ２０による俯瞰画像の水平線の位置が最もずれている。
【００３２】
そこで、本実施形態では、それぞれのカメラごとに表示面を別に用意する。図４は、カメラの高さによって俯瞰画像の形状の高さ方向を比例させた俯瞰画像を説明する図である。本実施形態では、図４に示すように、俯瞰画像ｆ（ｒ）をカメラの高さＣＺに比例させた計算式で表すものである。具体的には、ｆ（ｒ）＝ＣＺ＊ｇ（ｒ）、ｇ（ｒ）＝（１／ＤｅｆＣＺ＊（Ｒ−√（Ｒ２−ｒ２）で表すこととする。ここで、ＤｅｆＣＺは標準とするカメラ高さである。そうすると、カメラ毎の俯瞰画像の表示面はそれぞれ別の計算式となるが、水平線位置が俯瞰画像の中心に対して同じ距離となる。これにより、図４に示すように、合成した俯瞰画像においては、水平線の位置がずれていない画像とすることができる。    
（変形例１）
各カメラの映像に基づく俯瞰画像の表示の際、自由な視点視線の変更ではなく、形状を変更することによって違和感を軽減させる変形例について説明する。
【００３３】
図５は、車体中心から半径方向に地面の平面領域を有し、縦横比を変えた俯瞰画像を説明する図である。図５に示す例において、車体中心を基準とした半径方向ｒは、ｒ＝√（ｘ２／ａ２＋ｙ２／ｂ２）となる。ここで、ａ，ｂは比例定数である。
【００３４】
また、半径方向ｒにｗの距離まで平面（ｚ＝０）領域であるとして、ｇ（ｒ）＝０（ｒ＜ｗ）、ｆ（ｒ）＝ＣＺ＊ｃ＊（Ｒ−√（Ｒ２−（ｒ−ｗ）２）と表してもよい。このような表示手法によれば、車体近くの地面平面は車体画像との距離感が一致するため、違和感が軽減される。
【００３５】
（変形例２）
ここで、地面の平面領域は車体中心から半径方向ｒに有するのではなく、縦方向、横方向に有してもよい。図６は、車体中心から縦方向、横方向に地面の平面領域を有し、縦横比を変えた俯瞰画像を説明する図である。図６に示す例では、ｘ方向にｖの距離まで、ｙ方向にｕの距離までそれぞれに、平面（ｚ＝０）とする領域を持たせて表示している。図６に示す例において、車体中心を基準とした半径方向ｒは、ｒ＝√（（ｘ−ｕ）２／ａ２＋（ｙ−ｖ）２／ｂ２））となる。ここで、ａ，ｂは比例定数、ｘ＞０、ｙ＞０である。尚、ｘ＜０、ｙ＜０の場合、車体中心を基準とした半径方向ｒは、ｒ＝√（（ｘ＋ｕ）２／ａ２＋（ｙ＋ｖ）２／ｂ２））と表される。
【００３６】
また、半径方向ｒと、ｘ方向、ｙ方向を組み合わせて地面平面としてもよい。また、俯瞰画像形状の中心を車体中心からずらしてもよい。
【００３７】
変形例２によっても、近くの地面平面は車体画像との距離感が一致するため、違和感が軽減される。
【００３８】
（変形例３）
俯瞰画像の形状を一様に表わさずに、任意に指定することもできる。図７は、俯瞰画像形状を任意に指定する例を説明する図である。図７（ａ）に示す例では、任意に俯瞰画像形状ｇ（ｒ）を半径方向ｒの変化ごとにプロットして、線形補間やスプライン補間として指定するものである。また、図７（ｂ）に示す例のように、プロットされる順番を決めておき、半径方向ｒの変化ごとではなく、任意に半径方向の距離とカメラの高さの関係をプロットして線形補間やスプライン補間として指定してもよい。図７（ｂ）では、プロットした点ごと（ｎ＝０，１，２，・・・）に半径方向の距離ｒｎとカメラの高さｇ（ｎ）を決定する。
【００３９】
これらの俯瞰画像の形状を指定する手法によれば、カメラの高さが上がるにつれて半径方向の距離を長くした後に短くするように、任意の俯瞰画像の形状を表現できる。
【００４０】
また、車体中心を基準とした半径方向ｒは、ｒ＝√（ｘ２／ａ２＋ｙ２／ｂ２）となるように、縦方向と横方向の変化割合を変えてもよい。ａ，ｂは比例定数である。この場合の俯瞰画像ｆ（ｒ）も、カメラの高さに比例して値が変わることになる。
【００４１】
次に、以上のように構成した俯瞰画像生成装置１における処理の流れについて説明する。図８は、俯瞰画像表示までの処理の流れを示すフローチャートである。
【００４２】
まず、俯瞰画像表示までの処理の初回であるか或いは視点視線方向が変化したか否か判定する（ステップＳ８１）。
【００４３】
次に、ステップＳ８１でＹｅｓであれば、視点、視線方向の情報を取得する（ステップＳ８２）。尚、ステップＳ８１でＮｏであれば、ステップＳ８５に移行する。
【００４４】
次いで、カメラキャリブレーションデータ格納部５１に格納されているカメラキャリブレーションの情報を取得する（ステップＳ８３）。
【００４５】
続いて、俯瞰LUT作成部５３において、カメラキャリブレーションデータと視点視線情報に基づいて、カメラで取得した映像について視点変換するための座標変換用のルックアップテーブルを作成する（ステップＳ８４）。ルックアップテーブル作成処理の詳細は後述する。
【００４６】
次に、俯瞰画像作成部５４は、各カメラからの映像を取得する（ステップＳ８５）。
【００４７】
続いて、俯瞰画像作成部５４は、ルックアップテーブルに基づいて各カメラからの映像をそれぞれ座標変換し、各座標変換画像を合成して俯瞰画像を生成する（ステップＳ８６）。本実施形態では、水平線の位置合わせを行った俯瞰画像が生成される。
【００４８】
次に、表示部６０に水平線の位置合わせを行った俯瞰画像を表示する（ステップＳ８７）。
【００４９】
図９は、ルックアップテーブル作成処理の流れを示すフローチャートである。
【００５０】
まず、後方カメラの投影面の式を作成する（ステップＳ９１）。ここで、RearCz：後方カメラの高さとすると、後方カメラの投影面の式は、f(r)=RearCz*g(r)で表される。
【００５１】
次に、後方カメラのルックアップテーブルを作成する（ステップＳ９２）。
【００５２】
続いて、前方カメラの投影面の式を作成する（ステップＳ９３）。ここで、FrontCz：前方カメラの高さとすると、前方カメラの投影面の式は、f(r)=FrontCz*g(r) で表される。
【００５３】
次に、前方カメラのルックアップテーブルを作成する（ステップＳ９４）。
【００５４】
続いて、左側カメラの投影面の式を作成する（ステップＳ９５）。ここで、LeftCz：左側カメラの高さとすると、左側カメラの投影面の式は、f(r)=LeftCz*g(r) で表される。
【００５５】
次に、左側カメラのルックアップテーブルを作成する（ステップＳ９６）。
【００５６】
続いて、右側カメラの投影面の式を作成する（ステップＳ９７）。ここで、RightCz：右側カメラの高さとすると、右側カメラの投影面の式は、f(r)=RigthCz*g(r) で表される。
【００５７】
次に、右側カメラのルックアップテーブルを作成（ステップＳ９８）し、ルックアップテーブル作成処理を終了する。
【００５８】
＜第２の実施形態＞
次に、第２の実施形態について説明する。第２の実施形態に係る俯瞰画像生成装置１の構成は、第１の実施形態に係る俯瞰画像生成装置１の構成と基本的には同様である。第２の実施形態は、視点位置を任意に設定する場合における俯瞰画像の水平線の位置合わせに関する。図１０は、第２の実施形態における視点位置を任意に設定する場合の俯瞰画像を説明する図である。
【００５９】
３次元世界を２次元の投影面に投影（表示）するには、投影変換が必要であり、大別すると、平行投影と透視投影とに分類できる。平行投影では、同じ大きさの物体は視点からの距離に関係なく同じ大きさで表示される。例えば、ｘ−ｙ平面を投影面とすると、ｚ座標を０として表示する。透視投影では、同じ大きさの物体でも遠くのものは小さく、近くのものは大きく表示される。透視投影では、一般に互いに平行な稜線を延長すると全て同じ点（消失点）で交差し、視線の方向によって消失点の数が１から３まで変化する。視点が自由にコントロールできる場合には、一般的に消失点は３個になる。
【００６０】
視点が真上から真下に向かう場合に透視投影変換する場合や、真上から真下ではなく斜めからの視点の場合、第１の実施形態をそのまま適用しても水平線位置が合わない。
【００６１】
そこで、第２の実施形態では、基準となるカメラとそのカメラでの境界となる水平線上の１点を決めておき、その基準となるカメラとの境界でのもう一つ側のカメラの水平線の位置を、透視投影変換では仮想視点から見て同じ位置に見えるように合わせる。一方、平行投影変換では視線方向で同じ位置に見えるように合わせる。つまり、視線方向と境界となる水平線上の１点の延長線上に、もう一つ側のカメラの水平線の位置になるように合わせる。図１０に示す例では、基準となるカメラを前方カメラとし、基準となるカメラとの境界でのもう一つ側のカメラを右側カメラとしている。
【００６２】
第２の実施形態における水平線の位置合わせの手法として、ｒ＝ａ*ｓのように、車体中心を基準とした半径方向ｒの倍率を変えて対応する。ここで、aは比例定数、ｓはrの代わりの変数である。
【００６３】
また、ｒ＝√（ｘ２／ａ２＋ｙ２／ｂ２）（ａ、ｂは比例定数)のように、縦横の比率を変えている場合は、前方カメラおよび後方カメラは縦の比率であるbを変えて対応し、左側カメラおよび右側カメラは横の比率であるaを変えて対応してもよい。さらに、２つのカメラの境界になる位置が前方カメラおよび後方カメラ寄りならば、縦の比率であるbを変えて対応し、左側カメラおよび右側カメラ寄りならば横の比率であるaを変えて対応してもよい。
【００６４】
また、視線の向きに応じてその横方向と縦方向の割合に応じでaとbの比率を変えてもよい。その場合、視線方向を（ｄ，ｅ，ｆ）とすると、ａ＝ａ０＊ｄ＊ｔ、ｂ＝ｂ０＊ｅ＊ｔとして計算式を作成し、水平線の位置が一致するようにtを計算すればよい。
【００６５】
また、仮想の視点から見て、合わせる側の水平線の横位置が変わらないように計算してもよい。その場合、視点を（ｘ０、ｙ０、ｚ０）、視線方向を（ｘｌ、ｙｌ、ｚｌ）とすると、（ｘ−ｘ０）／ｘｌ＝（ｙ−ｙ０）／ｙｌが維持されるように計算すればよい。
【００６６】
また、２つのカメラの重なる領域をαブレンドで重ね合わせて表示する場合、２つのカメラの重なる領域の両端の水平線の位置が、同じ位置に見えるように計算してもよい。その場合、片側のカメラのｒ＝√（ｘ２／ａ２＋ｙ２／ｂ２）（ａ、ｂは比例定数)の計算式のaとbを決めておき、もう一つ側のカメラのaとbを変えて水平線の位置が一致するように、カメラごとに半径方向rの計算式が異なる俯瞰画像の形状にして計算してもよい。
【００６７】
また、片側のカメラのaともう一つ側のカメラのbを決めておき、片側のカメラのbともう一つ側のカメラのaを変えて水平線の位置が一致するようにカメラごとに半径方向rの計算式が異なる俯瞰画像の形状にして計算してもよい。また、逆に片側のカメラのbともう一つ側のカメラのaを決めておき、片側のカメラのaともう一つ側のカメラのbを変えて水平線の位置が一致するようにカメラごとに半径方向rの計算式が異なる俯瞰画像の形状にして計算してもよい。また、仮想の視点から見て、合わせる側の水平線の横位置が変わらないように計算してもよい。その場合、視点を（ｘ０、ｙ０、ｚ０）、視線方向を（ｘｌ、ｙｌ、ｚｌ）とすると、（ｘ−ｘ０）／ｘｌ＝（ｙ−ｙ０）／ｙｌが維持されるようにカメラごとに半径方向rの計算式が異なる俯瞰画像の形状にして計算すればよい。
【００６８】
また、第２の実施形態においても、図５に示すように、車体中心から半径方向に地面の平面領域を持たせてもよい。その場合、ｒ＝ａ＊（ｓ−ｗ）(aは比例定数)のように、縦横の比率は地面の平面領域分だけ減らした状態から割合を計算してもよい。
【００６９】
また、第２の実施形態においても、図６に示すように、横方向縦方向それぞれに対して地面の平面領域を持たせてもよい。その場合、ｒ＝√（（ｘ−ｕ）２／ａ２＋（ｙ−ｖ）２／ｂ２））  (ａ，ｂは比例定数)のように、縦横の比率は地面の平面領域分だけ減らした状態から割合を計算してもよい。
【００７０】
第２の実施形態により、地面領域と水平線領域の画像を同時に表示する場合に、カメラの高さが異なっていても、水平線の表示位置を合わせることができる。
【００７１】
尚、上述してきた第１の実施形態および第２の実施形態の説明では、前方カメラ、後方カメラ、右側カメラ、左側カメラの４台を車体に搭載することで説明してきたが、これに限られることはなく、少なくとも２台以上のカメラを車体に取り付けることでもよい。
【００７２】
本実施形態によれば、地面領域と水平線領域の画像を同時に表示する場合に、複数のカメラを合成して表示する際違和感の出やすい水平線の位置ずれを、表示画像上で補正した位置になるようにすることにより、水平線の位置がずれない状態で表示できる。
【００７３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７４】
１・・・俯瞰画像生成装置
１０・・・前方カメラ
２０・・・後方カメラ
３０・・・左側カメラ
４０・・・右側カメラ
５０・・・画像処理部
５１・・・カメラキャリブレーションデータ格納部
５２・・・視点視線情報格納部
５３・・・俯瞰LUT作成部
５４・・・俯瞰画像作成部
６０・・・表示部
【図１】
2016225865.tif 000003
【図２】
2016225865.tif 000004
【図３】
2016225865.tif 000005
【図４】
2016225865.tif 000006
【図５】
2016225865.tif 000007
【図６】
2016225865.tif 000008
【図７】
2016225865.tif 000009
【図８】
2016225865.tif 000010
【図９】
2016225865.tif 000011
【図１０】
2016225865.tif 000012