(57)【要約】【課題】  複数の映像を用いた生成映像データを複数パターン生成することができる映像処理装置を提供する。【解決手段】  生成映像データに使用する各映像データの使用部分を示す使用部分情報と、結合映像データを座標変換して生成映像データを生成するときの画素の拡大が少なく、かつ、結合映像データの予め定義されたサイズ内に収まるように算出された各映像データの使用部分の縮小率情報を含む配置情報とを記憶する設定情報保持部２５２と、生成する生成映像データのパターンを選択する制御部２７１と、複数の映像と配置情報とに基づいて、各映像データの使用部分を縮小して記憶部に記憶させて結合映像データを生成する加工処理部２２０と、生成された結合映像データを座標変換データを用いて座標変換し、生成映像データを生成して表示部３５２に出力する映像生成部２７０とを有している。【選択図】        図１
2010239596.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置と表示装置と連携可能であり、前記複数の撮像装置で撮像された複数の映像データを入力して、複数種類の生成映像データを生成して前記表示装置に出力可能な映像処理装置であって、
前記複数種類の生成映像データのパターン毎にあらかじめ算出しておいた座標変換データを参照して算出された、前記生成映像データに使用する各映像データの使用部分を示す使用部分情報と、前記各映像データの使用部分を結合して結合映像データを生成する際に、該結合映像データを座標変換して前記生成映像データを生成するときの画素の拡大が少なく、かつ、前記結合映像データの予め定義されたサイズ内に収まるように算出された前記各映像データの使用部分の縮小率情報を含む配置情報とを記憶するパターン情報記憶部と、
生成する生成映像データのパターンを選択する生成映像パターン選択部と、
前記複数の映像と、選択された生成映像データのパターンに応じた配置情報とに基づいて、前記各映像データの使用部分を縮小して記憶部に記憶させて前記結合映像データを生成する加工部と、
生成された前記結合映像データを前記座標変換データを用いて座標変換し、前記生成映像データを生成して前記表示装置に出力する映像出力部と、
を有する、映像処理装置。
【請求項２】
更に、前記座標変換データを参照して、前記生成映像データに使用する各映像データの使用部分を示す使用部分情報を算出する座標値算出部と、
前記結合映像データを座標変換して前記生成映像データを生成する際の画素の拡大が少なく、かつ、前記結合映像データの予め定義されたサイズ内に収まるように前記各映像データの使用部分の縮小率情報を含む配置情報を求める配置算出部とを有し、
前記加工部は、前記複数の映像データを、前記使用部分情報と前記配置情報とに基づいて、各映像データの使用部分を縮小して前記記憶部に記憶させて前記結合映像データを生成する、請求項１に記載の映像処理装置。
【請求項３】
前記配置情報の算出は、前記結合映像データから前記生成映像データへの座標変換の際に、該座標変換の処理単位または画素単位の画素拡大率の平均値と、中間値と、最大値または最小値とのいずれか１つが前記各映像データの使用部分間で同等となり、かつ、あらかじめ定義された前記結合映像データのサイズ内に収まるように、各映像データの使用部分の縮小率と前記結合映像データ上の配置とを算出する、請求項１乃至２に記載の映像処理装置。
【請求項４】
前記配置情報の算出は、前記複数の映像のうち、予め設定された優先度の高い映像の使用部分の映像の縮小率を固定した後に行うことを特徴とする請求項１乃至３に記載の映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラで撮影された画像の映像処理装置に関する。特に、本発明は、車両に搭載された複数のカメラからの映像信号を合成処理する映像処理装置に関する。
【背景技術】
【０００２】
近年、車両に搭載されたカメラによって運転者の死角となる車両周辺を映し出し、車室内に搭載されたモニタに表示することで運転者の安全運転を支援する装置が提供されている。
【０００３】
特許文献１には、複数のカメラで撮影された撮影画像から合成映像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２７４４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、複数のカメラで撮影された映像から合成される合成映像のパターンは、事前に決められた１つのパターンであった。このため、例えば、運転者の運転状況に応じて、合成映像を切り替えることができなかった。
【０００６】
本発明は、複数の映像を用いた生成映像データを複数パターン生成することができる映像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本明細書に開示の映像処理装置は、複数の撮像装置と表示装置と連携可能であり、前記複数の撮像装置で撮像された複数の映像データを入力して、複数種類の生成映像データを生成して前記表示装置に出力可能な映像処理装置であって、前記複数種類の生成映像データのパターン毎にあらかじめ算出しておいた座標変換データを参照して算出された、前記生成映像データに使用する各映像データの使用部分を示す使用部分情報と、前記各映像データの使用部分を結合して結合映像データを生成する際に、該結合映像データを座標変換して前記生成映像データを生成するときの画素の拡大が少なく、かつ、前記結合映像データの予め定義されたサイズ内に収まるように算出された前記各映像データの使用部分の縮小率情報を含む配置情報とを記憶するパターン情報記憶部と、生成する生成映像データのパターンを選択する生成映像パターン選択部と、前記複数の映像と、選択された生成映像データのパターンに応じた配置情報とに基づいて、前記各映像データの使用部分を縮小して記憶部に記憶させて前記結合映像データを生成する加工部と、生成された前記結合映像データを前記座標変換データを用いて座標変換し、前記生成映像データを生成して前記表示装置に出力する映像出力部とを備えている。
【発明の効果】
【０００８】
本明細書に開示の映像処理装置によれば、入力した複数の映像から複数種類の生成映像データを生成し、表示装置に表示することができる。
【図面の簡単な説明】
【０００９】
【図１】映像処理装置の構成の一例を示す図である。
【図２】車両へのカメラの取付け位置を示す図である。
【図３】図３Ａ及び図３Ｂは、表示部に表示される生成映像データの例を示す図である。
【図４】図４Ａ及び図４Ｂは、表示部に表示される生成映像データの例を示す図である。
【図５】図５Ａ及び図５Ｂは、表示部に表示される生成映像データの例を示す図である。
【図６】図６Ａ〜図６Ｈは、生成映像の生成に用いられる結合映像データのパターンを示す図である。
【図７】撮像部、映像入力部、加工処理部の構成の一例を示す図である。
【図８】キャプチャ前段処理部の映像結合・映像出力・制御部分の構成の一例を示す図である。
【図９】図９Ａ及び図９Ｂは、キャプチャ前段処理部の設定保持部に記録される設定情報の例を示す図である。
【図１０】図１０Ａ〜図１０Ｃは、加工処理部の処理例を示す図である。
【図１１】図１１Ｃ〜図１１Ｅは加工処理部の処理例（図１０の続き）を示す図である。
【図１２】映像生成部の構成の一例を示す図である。
【図１３】映像生成部の制御部の構成の一例を示す図である。
【図１４】図１４Ａ及び図１４Ｂは、仮生成映像変換パターンデータと、生成映像変換パターンデータの例を示す図である。
【図１５】制御部の処理手順を示すフローチャートである。
【図１６】配置情報と生成映像変換パターンデータを生成するための制御部の処理手順を示すフローチャートである。
【図１７】映像投影面の形状と、視点ベクトルと、表示範囲を説明するための図である。
【図１８】図１８Ａは、前方映像の使用部分を示す部分映像範囲を示す図であり、図１８Ｂは、後方映像の使用部分を示す部分映像範囲を示す図であり、図１８Ｃは、左方映像の使用部分を示す部分映像範囲を示す図であり、図１８Ｄは、右方映像の使用部分を示す部分映像範囲を示す図である。
【図１９】ポリゴン単位で算出される画素拡大率を示す図である。
【図２０】カメラ映像ごとの画素拡大率代表値を示す図である。
【図２１】部分映像データが結合映像データのサイズ内に収まるか否かを判定する様子を示す図である。
【図２２】図２２Ａは、前後左右の映像データの部分映像データを示し、図２２Ｂは、結合映像データの縦横比に近づくように部分映像データを配置する様子を示す図である。
【図２３】図２３Ａ〜図２３Ｄは、拡大予定の部分映像データの縮小率を１に変更して、部分映像データを結合映像データ内で再配置する手順を示す図である。
【図２４】部分映像データを自由形状で切り出した場合の結合映像データの一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照しながら本発明の好適な実施例を説明する。
【実施例】
【００１１】
まず、図１を参照しながら本実施例の構成の一例を説明する。図１に示すように本実施例の映像処理装置１は、撮影部１００と、映像処理部２００と、操作部３５１と、表示部３５２とを備えている。撮影部１００は、第１撮影部１１０と、第２撮影部１２０と、第３撮影部１３０と、第４撮影部１４０とを備えている。また、映像処理部２００は、映像入力部２１０と、加工処理部２２０と、映像生成部２７０とを備えている。なお、加工処理部２２０のキャプチャ前段処理部２５０と、映像生成部２７０とは１つのボード上に搭載されている。
【００１２】
まず、撮影部１００について説明する。
第１撮影部１１０〜第４撮影部１４０は、車両に搭載されたカメラを備え、各カメラによって撮影した映像を映像入力部２１０にそれぞれ出力する。なお、以下では、第１撮影部１１０〜第４撮影部１４０を単にカメラ１１０〜１４０と呼ぶ。本実施例においては、図２に示すようにカメラ１１０は、車両の前方に配置され、車両前方の映像を撮影する。カメラ１２０は、車両の左側方に配置され、車両左側方の映像を撮影する。カメラ１３０は、車両の右側方に配置され、車両右側方の映像を撮影する。カメラ１４０は、車両の後方に配置され、車両後方の映像を撮影する。なお、本実施例では、車両に４つのカメラを搭載しているが、カメラの数は４つに限定されるものではなく、３つでも５つや６つであってもよい。また、カメラは、最初から車に搭載されているものでも連携動作可能であれば問題ない。
【００１３】
操作部３５１は、操作者からの操作入力を受け付ける。表示部３５２には、カメラ１１０〜１４０で撮影された映像から生成される生成映像が表示される。操作者は、表示部３５２に表示させる生成映像のパターンを切り替える操作を操作部３５１から行う。
表示部３２に表示される生成映像の表示例（パターン）を図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、図５Ａ、図５Ｂに示す。また、図６Ａ〜図６Ｈには、カメラ１１０〜１４０で撮影された４つの映像を結合した結合映像のパターンを示す。
例えば、図６Ａ〜図６Ｃに示すように２つの映像を結合した映像や、図６Ｄ、図６Ｅに示すように３つの映像を結合した映像や、図６Ｆ、図６Ｇに示すように４つの映像を結合した映像や、図６Ｈに示すように単体の映像が映像処理部２００で映像処理され、表示部３５２に表示される。表示部３５２に表示される映像は、立体表示となるように加工された生成映像である。カメラ１１０〜１４０で撮影された複数の映像を結合して座標変換することで、立体的な生成映像が生成される（詳細は後述する）。図６Ａ〜図６Ｃに示す結合映像は、例えば左折巻き込み有無を確認するために左方と後方の２つのカメラ映像のみを用いて生成映像を生成する場合などに用いられる。図６Ｄ、図６Ｅに示すように３つの映像を結合した映像は、例えば車線変更時の後側方を確認するため、前方を除く３つのカメラ映像から生成映像を生成する場合などに用いられる。図６Ｆ、図６Ｇに示すように４つの映像を結合した映像は、車両の全周囲を確認できる映像の生成に用いられるが、生成映像を生成する際の視点の位置などにより、生成映像がどのカメラ映像を多く使って生成しているかが異なるため、分割を変更している。
【００１４】
次に、映像入力部２１０について説明する。映像入力部２１０は、第１映像入力部２１１、第２映像入力部２１２、第３映像入力部２１３、第４映像入力部２１４を備えている。
第１映像入力部２１１は、カメラ１１０で撮影された映像を入力するブロックである。第１映像入力部２１１は、入力した映像にＡＤ変換を施し、ＡＤ変換後の映像データを、映像加工部２３０の第１映像加工部２３１に出力する。
同様に、第２映像入力部２１２は、カメラ１２０で撮影された映像を入力するブロックである。第２映像入力部２１２は、入力した映像にＡＤ変換を施し、ＡＤ変換後の映像データを、映像加工部２３０の第２映像加工部２３５に出力する。
同様に、第３映像入力部２１３は、カメラ１３０で撮影された映像を入力するブロックである。第３映像入力部２１３は、入力した映像にＡＤ変換を施し、ＡＤ変換後の映像データを、映像加工部２３０の第３映像加工部２４１に出力する。
同様に、第４映像入力部２１４は、カメラ１４０で撮影された映像を入力するブロックである。第４映像入力部２１４は、入力した映像にＡＤ変換を施し、ＡＤ変換後の映像データを、映像加工部２３０の第４映像加工部２４５に出力する。
【００１５】
次に、図７を参照しながら加工処理部２２０について説明する。加工処理部２２０は、映像加工部２３０と、キャプチャ前段処理部２５０とを備えている。
映像加工部２３０は、第１映像加工部２３１と、第２映像加工部２３５と、第３映像加工部２４１と、第４映像加工部２４５とを備えている。また、第１映像加工部２３１は、第１映像切出部２３２と、第１拡大縮小部２３３とを備えている。第２映像加工部２３５は、第２映像切出部２３６と、第２拡大縮小部２３７とを備えている。第３映像加工部２４１は、第１映像切出部２４２と、第１拡大縮小部２４３とを備えている。第４映像加工部２４５は、第４映像切出部２４６と、第４拡大縮小部２４７とを備えている。なお、第１映像加工部２３１〜第４映像加工部２４５は、同様の構成を備えているので、以下では、代表して第１映像加工部２３１について説明する。
【００１６】
第１映像切出部２３２は、第１映像入力部２１１から出力された映像データを入力する。また、第１映像切出部２３２は、キャプチャ映像部分管理部（後述する）２５３から映像の切出位置を指示する指示信号を入力する。第１映像切出部２３２は、指示信号に従って映像の所定領域を切り出し、切り出した映像（以下、部分映像データと呼ぶ）を第１拡大縮小部２３３に出力する。
【００１７】
第１拡大縮小部２３３は、第１映像切出部２３２から出力された部分映像データを入力する。また、第１拡大縮小部２３３は、キャプチャ映像部分管理部２５３から映像の拡大率又は縮小率を指示する指示信号を入力する。第１拡大縮小部２３３は、キャプチャ映像部分管理部２５３から指示された拡大率、又は縮小率で部分映像データを拡大処理、又は縮小処理する。第１拡大縮小部２３３は、拡大処理、又は縮小処理した部分映像データを書き込み制御部２５４に出力する。
【００１８】
なお、本実施例では、映像入力部２１０、映像加工部２３０を車両に搭載されたカメラ１１０〜１４０の数に合わせて４つずつ設けているが、映像入力部２１０、映像加工部２３０の数も４つに限定されるものではない。例えば、６台のカメラを使用するシステムで、６つの映像入力部２１０、映像加工部２３０を備えていても良い。また、１つの映像入力部２１０、映像加工部２３０により４つのカメラ１１０〜１４０で撮影された映像データを順次入力して処理するものであってもよい。
【００１９】
次に、図８を参照しながらキャプチャ前段処理部２５０について説明する。
キャプチャ前段処理部２５０は、ホストＩＦ部２５１、設定保持部２５２、キャプチャ映像部分管理部２５３、書き込み制御部２５４、バッファ切替管理部２５５、結合映像フレームバッファ２５６（本実施例では、結合映像フレームバッファ２５６Ａ〜Ｃの３つを備えている）、読み出し制御部２５７、映像出力ＩＦ部２５８を備えている。なお、図８に点線で示す矢印は、制御信号線を意味し、実線で示す矢印は、データ線を意味する。
【００２０】
ホストＩＦ部２５１は、映像生成部２６０とのインターフェースとして機能する。ホストＩＦ部２５１は、部分映像データを結合して生成される結合映像データの生成パターンの変更指示を映像生成部２６０から入力する。ホストＩＦ部２５１は、入力した生成パターンの変更指示をキャプチャ映像部分管理部２５３に出力する。また、ホストＩＦ部２５１は、生成パターンの変更が完了した場合にキャプチャ映像部分管理部２５３から出力される切り替え完了通知を映像生成部２６０（制御部２７１）に出力する。
【００２１】
設定保持部２５２には、カメラ１１０〜カメラ１４０によって撮影された映像を結合して結合映像データを生成するための設定情報が生成パターンごとに複数記録されている。設定情報の一例を図９Ａに示す。カメラ１１０〜１４０の各カメラごとに、映像切出位置情報、縮小率、結合映像フレームバッファ２５６の書き込み開始座標とを記録した設定情報が記録されている。この設定情報は、生成映像データの生成パターンごとに設けられている。
また、設定情報は、図９Ｂに示すように、カメラ１１０〜１４０の各カメラごとに、映像切出位置と、書き込み開始座標とを記録したものであってもよい。図９Ｂに示す設定情報も各生成映像データの生成パターンごとに設けられている。
【００２２】
キャプチャ映像部分管理部２５３は、ホストＩＦ部２５１から生成パターンの指示情報を取得する。キャプチャ映像部分管理部２５３は、入力した生成パターンの指示情報に応じた設定情報を設定保持部２５２から取り出す。キャプチャ映像部分管理部２５３は取り出した設定情報に基づいて、第１映像切出部２３２〜第４映像切出部２４６に映像の切り出し位置を指示する指示信号を出力する。また、キャプチャ映像部分管理部２５３は、取り出した設定情報に基づいて、第１拡大縮小部２３３〜第４拡大縮小部２４７に部分映像の拡大率、又は縮小率を指示する指示信号を出力する。また、キャプチャ映像部分管理部２５３は、部分映像を書き込む結合映像フレームバッファ２５６Ａ〜２５６Ｃのアドレスを書き込み制御部２５４に指示する。
【００２３】
書き込み制御部２５４は、第１映像加工部２３１〜第４映像加工部２４５から入力した部分映像をキャプチャ映像部分管理部２５３から指示された書き込みアドレスに書き込む。
【００２４】
バッファ切替管理部２５５は、書き込み制御部２５４の制御に従って、部分映像を書き込む結合映像フレームバッファ２５６Ａ〜２５６Ｃを切り替える。また、バッファ切替管理部２５５は、読み出し制御部２５７の制御に従って、結合映像データを読み出す結合映像フレームバッファ２５６Ａ〜２５６Ｃを切り替える。
【００２５】
結合映像フレームバッファ２５６Ａ〜２５６Ｃは、３つのバッファを備えている。第１映像入力部２１１〜第４映像入力部２１４と、第１映像加工部２３１〜第４映像加工部２４５は、各カメラ１１０〜カメラ１４０で撮影された映像を非同期で処理する。このため、書き込み制御部２５４が映像を書き込む結合映像フレームバッファは２つ用意される。
【００２６】
読み出し制御部２５７は、バッファ切替管理部２５５への読み出し要求により、結合映像フレームバッファに書き込みが完了している最新の結合映像データを読み出して映像出力ＩＦ部２５８に出力する。
【００２７】
映像出力ＩＦ部２５８は、映像生成部２７０に接続している。映像出力ＩＦ部２５８は、読み出し制御部２５７によって読み出された部分映像データを映像生成部２７０の映像キャプチャ部２６５に出力する。
【００２８】
ここで、図１０及び図１１を参照しながらキャプチャ映像部分管理部２５３の指示により行われる加工処理部２２０の処理について具体例を挙げて説明する。
図１０Ａに、カメラ１１０〜１４０でそれぞれ撮影された前方映像データ、後方映像データ、左方映像データ、右方映像データを示す。図１０Ｂに、キャプチャ映像部分管理部２５３からの指示信号によって、各映像データに部分映像の切り出し範囲を設定した様子を示す。また、図１０Ｃに、設定した切り出し範囲に従って部分映像データを切り出した様子を示す。さらに、図１１Ｃ〜図１１Ｄに、キャプチャ映像部分管理部２５３からの指示信号に従って、部分映像を縮小した様子を示す。図１１Ｄに示す例では、後方映像のＸ軸方向のサイズを１／２に縮小した様子を示す。図１１Ｅに、４つの部分映像データを結合して結合映像データを生成する様子を示す。書き込み制御部２５４は、キャプチャ映像部分管理部２５３から指示された結合映像フレームバッファ２５６のアドレスに各部分映像データを書き込むことで、図１１Ｅに示す結合映像データが結合映像フレームバッファ２５６内にでき上がる。
【００２９】
次に、図１２を参照しながら映像生成部２７０について説明する。
映像生成部２７０は、制御部２７１、描画処理部２７２、仮生成映像変換パターンデータ保持部２７３、生成映像変換パターンデータ保持部２７４、映像キャプチャ部２７５、映像キャプチャバッファ２７６、バッファ管理部２７７、生成映像バッファ２７８、映像出力部２７９を備えている。なお、図１２に点線で示す矢印は、制御信号線を意味し、実線で示す矢印は、データ線を意味する。
【００３０】
制御部２７１は、図１３に示すようにハードウェアとしてＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３、入出力部３０４を備えている。
ＲＯＭ３０２には、ＣＰＵ３０１が制御に使用するプログラムが記録されている。ＣＰＵ３０１は、ＲＯＭ３０２に記録されたプログラムを読み込んで、読み込んだプログラムに従った処理を行う。また、ＲＡＭ３０３には、ＣＰＵ３０１が演算に使用するデータや、演算結果のデータが記憶される。
入出力部３０４は、操作部３１からの入力を受け付けたり、不図示の入出力ポートとして、例えば、後述する仮生成映像変換パターンデータを外部から入力して、ＣＰＵ３０１の制御によって仮生成映像変換パターンデータ保持部２７３に記録する。
【００３１】
制御部２７１は、キャプチャ前段処理部２５０、描画処理部２７２、バッファ管理部２７７、映像出力部２７９と制御信号線で接続されている。
制御部２７１は、操作部３５１によって生成映像の生成パターンの変更指示を入力すると、描画処理部２７２と、キャプチャ前段処理部２５０とに生成映像の生成パターンの変更を指示する。なお、制御部２７１は、車両情報を入出力部３０４を介して車両側から取得して、取得した車両情報に基づいて生成映像の生成パターンの変更を描画処理部２７２と、キャプチャ前段処理部２５０とに指示してもよい。例えば、ギアがバックに入れられた場合には、後方を広く表示する生成映像に切り替える指示を描画処理部２７２と、キャプチャ前段処理部２５０とに指示して、結合映像における後方画像の面積を大きくし、広く表示された後方の解像度を確保する。
【００３２】
また、制御部２７１は、生成映像データの生成タイミングを１フレームごとに管理する。制御部２７１は、１フレーム分の生成映像データが描画処理部２７２によって生成映像バッファ２７８に書き込まれると、描画処理部２７２から１フレーム処理完了通知を受け取る。描画処理部２７２から１フレーム処理完了通知を受け取ると、制御部２７１は、描画処理部２７２に次の１フレームの生成映像データの描画開始を指示する（この処理の詳細については、フローチャートを参照しながら後ほど説明する）。
【００３３】
また、制御部２７１は、生成映像データを書き込む生成映像バッファ２７８の切替え指示信号をバッファ管理部２７７に出力する。本実施例では、生成映像バッファ２７８は、生成映像バッファ２７８Ａと、生成映像バッファ２７８Ｂの２つを備えている。制御部２７１は、描画処理部２７２が生成映像データを書き込む生成映像バッファを選択する。また、制御部２７１は、生成映像データを読み出す生成映像バッファ２７８の切替え指示信号をバッファ管理部２７７に出力する。また、制御部２７１は、映像出力部２７９が１フレーム分の生成映像を出力すると、映像出力部２７９から１フレーム分の生成映像の出力を完了したことを示す１フレーム出力完了通知を入力する。
【００３４】
キャプチャ前段処理部２５０の映像出力ＩＦ部２５８から出力された結合映像データは、映像キャプチャ部２７５に入力される。映像キャプチャ部２７５は、映像出力ＩＦ部２５８から出力された結合映像データを入力して、映像キャプチャバッファ２７６に出力する。
【００３５】
映像キャプチャバッファ２７６は、映像キャプチャ部２７５から出力された結合映像データを格納することで、映像をキャプチャする。映像キャプチャバッファ２７６に格納された結合映像データは、描画処理部２７２の読み出し指示に従って映像キャプチャバッファ２７６から描画処理部２７２に出力される。
【００３６】
仮生成映像変換パターンデータ記憶部２７３には、図１４Ａに示す仮生成映像変換パターンデータ（座標変換データ）が記憶されている。仮生成映像変換パターンは、各カメラ映像を生成映像データに変換するための座標変換のデータである。このデータは、パソコン等の情報処理装置によって作成され、制御部２７１の制御によって仮生成映像変換パターンデータ保持部２７３に記録される。なお、仮生成映像変換パターンデータとは、キャプチャ前段処理部により各カメラ映像を切り出し・縮小・結合する前の映像から生成映像を生成するためのデータであり、制御部２７１により座標値を補正したデータは、生成映像変換パターンデータとして生成映像変換パターンデータ保持部２７４に記録される。仮生成映像変換パターンデータは、例えば、図１４Ａに示すようにポリゴン番号と、ポリゴン番号が示すポリゴンの頂点番号と、各頂点の変換前の座標値情報と、各頂点の変換後の生成映像データの座標値情報とを含む。なお、ポリゴンとは、結合映像データから生成映像データに変換するときの座標変換の処理単位となる映像上の区画であり、ポリゴン番号とは、ポリゴンを識別する番号である。なお、ポリゴン番号と頂点番号は必ずしも必要ではない。
また、仮生成映像変換パターンは、図１４Ｂに示すパターンデータであってもよい。図１４Ｂに示す仮生成映像変換パターンは、ポリゴン番号と、ポリゴン番号が示すポリゴンの頂点番号と、各頂点の変換前の映像データ上での座標値情報と、３次元映像処理空間に定義された映像投影面上の座標値と、３次元映像処理空間の視点ベクトルデータとを含む。視点ベクトルデータとは、映像投影面をどこから見て生成映像データを作成するのかを決定するデータである（図１７参照）。
【００３７】
描画処理部２７２は、生成映像変換パターンデータ保持部２７４に記憶された生成映像変換パターンを参照して、映像キャプチャバッファ２７６から読み出した結合映像データを生成映像データに変換していく。変換方法には、例えば、テクスチャマッピング等の方法が用いられる。描画処理部２７２は、生成した生成映像データを生成映像バッファ２７８に記録する。
【００３８】
生成映像バッファ２７８に記憶された生成映像データは、映像出力部２７９によって読み出され、表示部３５２に表示される。
【００３９】
次に、結合映像データから生成映像データを生成するための制御部２７１の処理手順について図１５に示すフローチャートを参照しながら説明する。
まず、制御部２７１は、生成映像データの生成パターンの変更指示が操作部３５１より入力されたか否かを判定する（ステップＳ１）。生成パターンの変更指示を入力した場合（ステップＳ１：ＹＥＳ）、制御部２７１は、描画処理部２７２に生成パターンの変更を指示する（ステップＳ２）。次に、制御部２７１は、キャプチャ前段処理部２５０にも結合映像の生成パターンの変更指示を出力する（ステップＳ３）。次に、制御部２７１は、キャプチャ前段処理部２５０から結合映像の生成パターンの変更完了通知があったか否かを判定する（ステップＳ４）。制御部２７１は、キャプチャ前段処理部２５０から変更完了通知を受信するまで次の処理を待機する（ステップＳ４：ＮＯ）。キャプチャ前段処理部２５０のキャプチャ映像部分管理部２５３は、制御部２７１によって指示された生成パターンに該当する設定情報を設定保持部２５２から取り出す。そして、キャプチャ映像部分管理部２５３は、設定情報を参照して、指示された生成パターンに使用される各映像データの使用範囲を第１映像切出部２３２〜第４映像切出部２４６にそれぞれ指示する。また、キャプチャ映像部分管理部２５３は、設定情報を参照して、指示された生成パターンの縮小率を第１拡大縮小部２３３〜第４拡大縮小部２４７にそれぞれ指示する。
【００４０】
キャプチャ前段処理部２５０から変更完了通知を受信すると（ステップＳ４：ＹＥＳ）、制御部２７１は、バッファ管理部２６７から１フレームの生成映像データの処理終了通知があったか否かを判定する（ステップＳ５）。制御部２７１は、バッファ管理部２７７から処理終了通知を受信するまで次の処理を待機する（ステップＳ５）。バッファ管理部２７７から処理終了通知を受信すると（ステップＳ５：ＹＥＳ）、制御部２７１は映像出力部２７９から１フレームの生成映像データの出力終了通知があったか否かを判定する（ステップＳ６）。制御部２７１は、映像出力部２７９から出力終了通知を受信するまで次の処理を待機する（ステップＳ６）。映像出力部２７９から出力終了通知を受信すると（ステップＳ６：ＹＥＳ）、制御部２７１は、生成映像バッファ２７８の切り替え指示をバッファ管理部２７７に出力する（ステップＳ７）。生成映像バッファ２７８の切り替え指示をバッファ管理部２７７に出力すると、制御部２７１は、次の１フレームの生成映像データの生成開始を描画処理部２７２に指示する（ステップＳ８）。
【００４１】
次に、仮生成映像変換パターンデータを用いて、生成映像変換パターンデータと、キャプチャ前段処理部２５０の設定保持部２５２に保存される設定情報とを生成する制御部２７１の処理手順を図１６に示すフローチャートを参照しながら説明する。なお、以降の処理は、カメラ映像データを実際に入力して処理を行っているわけではなく、制御部２７１の計算上での処理、または生成映像の設計時にＰＣ等で行う処理となる。
まず、事前の準備として、パソコン等の情報処理装置にインストールされたアプリケーションソフトウェアを用いて生成映像を設計する。
ユーザは、アプリケーションソフトウェアに、映像投影面形状のデータ、視点ベクトル、映像の表示範囲等のデータを入力する。アプリケーションソフトウェアは、入力されたデータに基づいて、カメラ映像から生成映像に変換するための座標変換データ（仮生成映像変換パターンデータ）を生成する。アプリケーションソフトウェアによって生成された仮生成映像変換パターンデータは、入出力部３０４を介して制御部２７１内に取り込まれ、制御部２７１の制御により仮生成映像変換パターンデータ保持部２７３に記録される。
なお、映像投影面形状のデータとは、カメラ１１０〜１４０によって撮影された複数の映像を投影させる投影面の形状を示すデータであり、カメラ映像を生成映像に変換するためのデータである（図１７参照）。また、視点ベクトルデータとは、図１７に示す映像投影面をどこから見て生成映像を作成するかを示すデータである。この映像投影面と視点ベクトルデータにより各カメラ１１０〜１４０によって撮影された映像の部分毎の表示時の倍率が変化する。また、映像の表示範囲のデータは、図１７に示すように映像を表示させる範囲を示すデータである。
【００４２】
まず、制御部２７１は、仮生成映像変換パターンデータ保持部２７３に記憶した仮生成映像変換パターンデータを参照して、各カメラ映像の使用部分の座標値を算出する（ステップＳ１１）。
仮生成映像変換パターンデータは、複数のカメラ映像から生成映像に変換するための変換データであるので、制御部２７１は、仮生成映像変換パターンデータからカメラ映像の使用範囲（座標値）を算出する。具体的には、仮生成映像変換パターンデータに基づいて、生成映像データ側の表示範囲に対応する各カメラ映像の頂点座標を検出し、頂点座標の最大値と最小値（Ｘｍｉｎ，Ｙｍｉｎ）とを算出する。制御部２７１は、算出した頂点座標の最大値と最小値（Ｘｍｉｎ，Ｙｍｉｎ）を対角頂点とする長方形の座標値を使用範囲として出力する。図１８Ａ〜１８Ｄに前方映像、後方映像、左方映像、右方映像の各使用範囲を決定する様子を示す。なお、図１８Ａ〜１８Ｄに点線で示すように、使用範囲を自由形状で取り出す場合には、使用する部分の最外縁の辺を結ぶ形状として使用範囲を算出する。
【００４３】
次に、制御部２７１は、各カメラ映像を生成画像に変換したときの画素拡大率を算出する（ステップＳ１２）。
制御部２７１は、このステップＳ１２における処理を各カメラ映像に行う。制御部２７１は、生成映像を構成するすべての映像処理単位（ポリゴン）について、カメラ映像上でのポリゴンの座標値と比較し、座標変換した際の画素拡大率を求める（ステップＳ１２）。ポリゴンが座標変換の際の処理単位（画素）であり、制御部２７１は、ポリゴンの座標変換前の座標値と座標変換後の座標値とを求めて画素拡大率を求める。画素拡大率の算出方法は、例えば、カメラ映像のＸ軸方向、Ｙ軸方向でそれぞれに算出する方法や、変換前のカメラ映像側のポリゴンの面積と、変換後の生成映像側のポリゴンの面積との比で算出する方法などが挙げられる。図１９に算出結果の一例を示す。
【００４４】
次に、制御部２７１は、各カメラ映像の画素拡大率代表値を決定する（ステップＳ１３）。上述したステップＳ１２でポリゴンごとに求めた画素拡大率を用いて、制御部２７１は、各カメラ映像の画素拡大率代表値を決定する。制御部２７１は、各ポリゴンの画素拡大率のうち、最大のものを選択して該当するカメラ映像の画素拡大率代表値とする。この他に、各ポリゴンの画素拡大率のうち、最小のものを選択して画素拡大率代表値としてもよいし、各ポリゴンの画素拡大率の平均値や中間値を求めて、この平均値や中間値を画素拡大率代表値としてもよい。
図２０に、各カメラ映像ごとの画素拡大率代表値の一例を示す。図２０に示す例では、Ｘ方向、Ｙ方向での画素拡大率代表値を各カメラ映像にそれぞれ求めている。
【００４５】
次に、制御部２７１は、ステップＳ１１で取り出した各カメラ映像の使用部分（部分映像という。なお、実際の映像データではないので部分映像データとは呼ばない）の座標値を用いて、画素拡大率代表値が１未満のカメラ映像について、部分映像を画素拡大率代表値倍に縮小（画素拡大率代表値が１となるように縮小する）する（ステップＳ１４）。具体的には、部分映像に画素拡大率代表値をかけ、部分映像を画素拡大率代表値倍に縮小し、画素拡大率代表値倍をかけた部分映像のＸ軸方向、Ｙ軸方向の画素数（ΔＸｔｅｍｐ，ΔＹｔｅｍｐ）をそれぞれ求める。また、制御部２７１は、画素拡大率代表値が１以上のカメラ映像については、なんら処理を行わず、そのままＸ軸方向、Ｙ軸方向の画素数をそれぞれ求める。
【００４６】
次に、制御部２７１は、すべての部分映像が規定の結合映像サイズ内に収まるか否かを判定する（ステップＳ１５）。結合映像とは、複数のカメラ映像を結合した映像をいい、この結合映像に対して映像生成部２７０で変換処理を施して生成映像を作成するため、結合映像のサイズが規定サイズ（予め定義されたサイズ）として決められている。制御部２７１は、図２１に示すようにすべての部分映像を結合映像内に配置して、結合映像内に部分映像が配置可能であるか否かを判定する。
【００４７】
結合映像内に部分映像が配置可能であった場合には（ステップＳ１６：ＹＥＳ）、制御部２７１は、画素拡大率代表値倍をかけた部分映像の画像サイズ情報を記録してステップＳ２０に移行する。
また、結合映像内に部分映像が配置可能でなかった場合（ステップＳ１６：ＮＯ）、制御部２７１は、画素拡大率代表値が１以上のカメラ映像について、部分映像を画素拡大率代表値倍に拡大する（ステップＳ１７）。すなわち、拡大後の使用部分映像の画素拡大率代表値が１となるように拡大する。そして、制御部２７１は、画素拡大率代表値に拡大した部分映像の画素数をＸ軸方向、Ｙ軸方向でそれぞれ求める（ステップＳ１７）。
【００４８】
次に、制御部２７１は、全ての部分映像の組み合わせのうち、画素の縦横比が結合映像の縦横比に最も近く、結合映像の画像サイズに縮小する際の縮小率が最も小さい部分映像の組み合わせと、そのときの縮小率とを算出する（ステップＳ１８）。
すなわち、制御部２７１は、ステップＳ１４で求めた画素拡大率代表値倍に縮小した部分映像と、ステップＳ１７で求めた画素拡大率代表値倍に拡大した部分映像（以下、これらを仮のサイズの部分映像と呼ぶ）とを図２２Ａ、図２２Ｂに示すように結合映像の画像サイズ内で並び替える。そして、制御部２７１は、画素の縦横比が結合映像の縦横比に最も近く、結合映像の画像サイズに縮小する際の縮小率が最も小さい部分映像の組み合わせと、そのときの縮小率とを算出する。図２２Ａには、前後左右方向の仮のサイズの部分映像を示している。また、図２２Ｂには、これら仮のサイズの部分映像を組み換えている様子を示す。
【００４９】
次に、制御部２７１は、ステップＳ１８で求めた縮小率と、画素拡大率代表値とに基づいて、各部分映像の実際の縮小率を算出する（ステップＳ１９）。具体的には、制御部２７１は、各部分映像ごとに縮小率と画素拡大率代表値との積を求める。
【００５０】
次に、制御部２７１は、ステップＳ１９で算出した縮小率が１未満（すなわち、拡大）になっている部分映像があるか否かを判定する（ステップＳ２０）。縮小率が１未満の部分映像がある場合には、制御部２７１は、縮小率が１未満の部分映像の縮小率を１に置き換え、結合映像上での組み合わせ位置を変更せずに、部分映像の再配置を行う。再配置によって結合映像の画像サイズ内で余裕が生じた場合には、制御部２７１は、縮小率が１以上（すなわち、縮小する）部分映像の縮小率が１に近づくように部分映像ごとに均等に縮小率を変更する（ステップＳ２１）。図２３Ａ〜図２３Ｄに示す例では、まず、制御部２７１は、図２３Ａに示すＣ、Ｄの部分映像の縮小率が１未満であるので、これらの部分映像の縮小率を１とするサイズ変換を行う。サイズ変換の結果を図２３Ｂに示す。次に、制御部２７１は、部分映像Ａ、Ｂの縮小率が１以上（すなわち縮小）であるので、これらの部分映像の縮小率を１とするサイズ変換を行い、これらの部分映像を再配置する。サイズ変換と、再配置の結果を図２３Ｃ、図２３Ｄに示す。
【００５１】
このような手順を経て制御部２７１は結合映像パターンを決定する。制御部２７１は、決定した結合映像パターンデータを設定情報として、キャプチャ前段処理部２５０に出力し、設定保持部２５２に記録させる（ステップＳ２２）。
次に、制御部２７１は、カメラ映像の結合映像への配置情報（設定情報）を用いて仮生成映像変換パターンデータを補正する（ステップＳ２３）。制御部２７１は補正した仮生成映像変換パターンデータを生成映像変換パターンデータとして生成映像変換パターンデータ保持部２６４に保存する。なお、仮生成映像変換パターンデータから生成映像変換パターンデータに補正する際に、カメラの車両への設置条件情報、カメラ特性データ等を用いて、カメラの設置条件に対応するための補正を合わせて行っても良い。カメラの設置条件情報には、カメラの位置座標（Ｘ，Ｙ，Ｚ）、取り付け角度（ヨー角、俯角、ロール角）などが含まれる。また、カメラ特性データには、カメラ映像の画素数（水平、垂直）、画角（水平、垂直）、レンズディストーションデータ等が含まれる。
【００５２】
なお、ステップＳ１４とステップＳ１７で画素拡大率代表値が１未満の部分映像と、画素拡大率代表値が１以上の部分映像とを画素拡大率代表値が１になるように部分映像の画像サイズを変更している。このため、実際のデータ処理において、結合映像データから生成映像データへの座標変換に伴って拡大される部分映像データの画素拡大率の代表値は各部分映像間で同等となる。
【００５３】
なお、上述した処理手順以外に、例えば、カメラ映像の中に優先度を設定している場合には、この優先度の高いカメラ映像の縮小率を最初に決定してから、他のカメラ映像の縮小率を決定してもよい。例えば、前方映像を優先指定する場合には、前方のカメラ映像から部分映像データを切り出し、この部分映像データのサイズは、変更せずに固定とする。そして、他のカメラ映像から切り出した部分映像データのサイズを結合映像データのサイズ内に収まるように縮小するとよい。また、各カメラ映像から部分映像データを切り出した後に、全ての部分映像データの縮小率を算出した後に、優先度の高い映像データの縮小率を５０％削減し、残りの部分映像データの縮小率を結合映像データのサイズ内に入るように変更してもよい。
【００５４】
このように本実施例によれば、生成映像を生成するための座標変換データを用意しておけば、映像処理装置１でカメラ映像の切り出し範囲や、縮小率を計算して、実際に入力したカメラ映像から結合映像データを生成し、それを用いて生成映像データを生成することができる。また、座標変換データを複数用意しておけば、例えば、車両の走行状態に応じて映像パターンを変更した生成映像データを生成することもできる。
【００５５】
また、部分映像の画素拡大率の代表値が各部分映像間で同等となるように各部分映像のサイズを調整しているので、生成映像を生成するための座標変換を行った時にほぼ均等に部分映像を拡大することができる。
【００５６】
また、優先度の高い映像データが縮小されないように部分映像のサイズを調整しているので、優先度の高い映像データが生成映像の生成時に縮小されてしまうことがない。
【００５７】
上述した実施例は、本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。
例えば、上述した実施例では、すべてのポリゴンについて画素拡大率を算出していたが、車両から離れた周辺部のポリゴンについては画素拡大率を算出しないようにしてもよい。車両の近傍の映像だけが運転支援には重要と考え、それ以外の映像については高解像度化が不要と考えて処理の対象から外す。
また、図２４に示すようにカメラ映像から部分映像を切り出すときに、部分映像を自由形状で切り出すようにしてもよい。図２４には、自由形状で切り出された部分映像を結合した結合映像データの例を示す。
【符号の説明】
【００５８】
１１０  第１撮影部
１２０  第２１撮影部
１３０  第３撮影部
１４０  第４撮影部
２００  映像処理部
２１０  映像入力部
２２０  加工処理部
２３０  映像加工部
２５０  キャプチャ前段処理部
２５２  設定保持部
２５３  キャプチャ映像部分管理部
２５４  書き込み制御部
２５６  結合映像フレームバッファ
２５７  読み出し制御部
２７０  映像生成部
２７１  制御部
２７２  描画処理部
２７３  仮生成映像変換パターンデータ保持部
２７４  生成映像変換パターンデータ保持部
２７７  バッファ管理部
２７８  生成映像バッファ
２７９  映像出力部
３５１  操作部
３５２  表示部
【図１】
2010239596.tif 000003
【図２】
2010239596.tif 000004
【図３】
2010239596.tif 000005
【図４】
2010239596.tif 000006
【図５】
2010239596.tif 000007
【図６】
2010239596.tif 000008
【図７】
2010239596.tif 000009
【図８】
2010239596.tif 000010
【図９】
2010239596.tif 000011
【図１０】
2010239596.tif 000012
【図１１】
2010239596.tif 000013
【図１２】
2010239596.tif 000014
【図１３】
2010239596.tif 000015
【図１４】
2010239596.tif 000016
【図１５】
2010239596.tif 000017
【図１６】
2010239596.tif 000018
【図１７】
2010239596.tif 000019
【図１８】
2010239596.tif 000020
【図１９】
2010239596.tif 000021
【図２０】
2010239596.tif 000022
【図２１】
2010239596.tif 000023
【図２２】
2010239596.tif 000024
【図２３】
2010239596.tif 000025
【図２４】
2010239596.tif 000026