(57)【要約】【課題】  高品質な生成映像を生成することができる映像処理システムを提供する。【解決手段】  複数の撮影部１１０〜１４０は、それぞれ、カメラ１１１、１２１、１３１、１４１と、各生成映像データに使用する各映像データの使用部分を示す使用部分情報と、各生成映像データの生成の際に使用部分に要求される解像度に基づいて使用部分ごとに算出された重要度とを記憶した送信映像変換パターン記憶部１１５、１２５、１３５、１４５と、使用部分情報を参照して、撮影された映像データから生成する生成映像データの使用部分となる映像データを切り出すと共に、切り出された使用部分の映像データに、使用部分の重要度に応じた映像処理を施して送信映像データを生成する送信映像変換部１１２、１２２、１３２、１４２と、送信映像データを映像処理装置２００に送信する送信速度調整部１１３、１２３、１３３、１４３とを備えている。【選択図】        図３
2010263499.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された複数の撮影装置と、該複数の撮影装置と車内ネットワーク経由で接続され、前記複数の撮影装置で撮影された複数の映像データから複数種類の生成映像データを生成して表示装置に表示させる映像処理装置とを有する映像処理システムであって、
前記複数の撮影装置は、それぞれ、
前記車両の周囲を撮影する撮影部と、
前記複数種類の生成映像データのパターン毎に算出された座標変換データを参照して算出された、各生成映像データに使用する各映像データの使用部分を示す使用部分情報と、各生成映像データの生成の際に前記使用部分に要求される解像度に基づいて前記使用部分ごとに算出された重要度とを記憶した記憶部と、
前記使用部分情報を参照して、撮影された映像データから生成する生成映像データの使用部分となる映像データを切り出す映像切り出し部と、
前記重要度を参照して、前記切り出された使用部分の映像データに、該使用部分の重要度に応じた映像処理を施して送信映像データを生成する送信映像データ生成部と、
前記送信映像データを前記映像処理装置に送信する送信部とを備え、
前記映像処理装置は、
前記複数の撮影装置から送信された複数の送信映像データを入力するネットワークインターフェース部と、
当該入力した複数の送信映像データに基づいて生成映像データを生成する映像生成部と、
前記生成映像データを前記表示装置に出力する出力部と
を備えることを特徴とする映像処理システム。
【請求項２】
前記記憶部に記憶した前記重要度は、生成映像データを生成する際の、映像データの処理単位となる該映像データの各画素が、前記生成映像データに変換される際の画素拡大率に基づいて算出された情報であることを特徴とする請求項１記載の映像処理システム。
【請求項３】
前記記憶部に記憶した前記重要度は、映像データの映像範囲の車両からの距離に応じて補正した情報であることを特徴とする請求項１又は２記載の映像処理システム。
【請求項４】
前記記憶部に記憶した前記使用部分情報と前記重要度は、前記複数の撮影装置の前記車両での搭載位置を示す座標情報と、前記複数の撮影装置の設置角度を示す角度情報と、前記複数の撮影装置の備えるレンズのレンズ特性データとを含む情報から生成された情報であることを特徴とする請求項１から３のいずれか一項記載の映像処理システム。
【請求項５】
前記送信部は、前記送信映像データ生成部によって映像処理された前記使用部分の映像データのデータ量に応じて、前記使用部分の映像データを分割して前記映像処理装置に送信するパケットデータのデータサイズを変更することを特徴とする請求項１から４のいずれか一項記載の映像処理システム。
【請求項６】
車両に搭載された複数の撮影装置と、該複数の撮影装置と車内ネットワーク経由で接続され、前記複数の撮影装置で撮影された複数の映像データから複数種類の生成映像データを生成して表示装置に表示させる映像処理装置とを有する映像処理システムであって、
前記複数の撮影装置は、それぞれ、
前記車両の周囲を撮影する撮影部と、
撮影された映像データ全体を前記映像処理装置に送信する送信部とを備え、
前記映像処理装置は、
前記複数種類の生成映像データのパターン毎に算出された座標変換データを参照して算出された、各生成映像データに使用する各映像データの使用部分を示す使用部分情報と、各生成映像データの生成の際に前記使用部分に要求される解像度に基づいて前記使用部分ごとに算出された重要度とを記憶した記憶部と、
前記複数の撮影装置から送信された複数の映像データを入力するネッワークインターフェース部と、
前記使用部分情報を参照して、入力した複数の映像データから生成映像データの使用部分となる映像データをそれぞれ切り出す映像切り出し部と、
前記重要度を参照して、それぞれ切り出された使用部分の映像データに、該使用部分の重要度に応じた映像処理を施し、使用部分の解像度に合わせた映像データをそれぞれ生成する映像データ生成部と、
生成された複数の映像データに基づいて、前記表示装置の画面に表示する生成映像データを生成する映像生成部と、
生成した生成映像データ前記表示装置に出力する出力部と
を備えることを特徴とする映像処理システム。
【請求項７】
車両に搭載された複数の撮影装置と、該複数の撮影装置と車内ネットワーク経由で接続され、前記複数の撮影装置で撮影された複数の映像データから複数種類の生成映像データを生成して表示装置に表示させる映像処理装置とを有する映像処理システムにおける映像処理方法であって、
前記複数の撮影装置において、
前記車両の周囲を撮影するステップと、
前記複数種類の生成映像データのパターン毎に算出された座標変換データを参照して算出された、各生成映像データに使用する各映像データの使用部分を示す使用部分情報を参照して、撮影された映像データから生成する生成映像データの使用部分となる映像データを切り出すステップと、
各生成映像データの生成の際に前記使用部分に要求される解像度に基づいて前記使用部分ごとに算出された重要度を参照して、前記切り出された使用部分の映像データに、該使用部分の重要度に応じた映像処理を施して送信映像データを生成するステップと、
前記送信映像データを前記映像処理装置に送信するステップとを実行し、
前記映像処理装置において、前記複数の撮影装置から送信された複数の送信映像データをネットワークインターフェース部を介して入力するステップと、
当該入力した複数の送信映像データに基づいて生成映像データを生成するステップと、
前記生成映像データを前記表示装置に出力するステップとを実行することを特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮影装置（例えば、カメラ）で周辺の映像を撮影し、撮影した映像を合成処理して表示装置に表示させる映像処理システム及び映像処理方法に関する。
【背景技術】
【０００２】
近年、車両に搭載された複数台のカメラによって、運転者の死角となる車両の周辺部を映し出し、車室内に搭載された表示装置（モニタ）に表示することで運転者の安全運転を支援する装置が提案されている。
【０００３】
しかしながら、より高精細な映像を表示するため、カメラの解像度を上げると、カメラの映像を処理する映像処理装置に送信するデータ量が大幅に増加する。また、車両に搭載するカメラの台数を増やしても同様のことが言える。このため、各カメラと映像処理装置とをつなぐ伝送路の帯域幅によって送信可能なデータ量が制限される場合がある。
【０００４】
特許文献１及び２には、画像取込み装置又はカメラ制御装置から、画像受信装置へ送信されるデータ量を削減する技術が開示されている。特許文献１では、画像受信装置側で、生成する画像のレイアウト情報を作成して画像取込み装置に送信する。画像取込み装置は、取得したレイアウト情報に従って、取り込んだ画像データの切り出しを行い、切り出した画像を画像受信装置に送信している。また、特許文献２では、カメラ制御装置が、カメラの撮影方向とズーム倍率を検出して、カメラによって撮影された映像を所望の解像度およびフレームレートの映像に変換している。変換した映像は、カメラ制御装置から端末に送信される。端末は、各カメラ制御装置から送信された映像を合成してモニタに表示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−８３１９３号公報
【特許文献２】特開平１０−１３６３４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
右左折、車線変更、車庫入れ等、運転者の運転状況に応じて生成する生成映像のパターンを切り替えることで運転者の利便性が向上するが、生成映像のパターンに応じて、各カメラ映像の使用部分や、必要な映像の解像度が異なってくる。例えば、図１に示すようにカメラに近い側では、映像の画素当たりの地面の面積が狭いが、カメラから離れるに従って、映像の画素当たりの地面の面積が広くなってくる。従って、例えば、俯瞰映像を生成すると、カメラから遠くなるに従い、少ない画素から広い映像を生成する必要があり、映像が粗くなる。
このため、映像処理装置に送信するデータ量を削減しつつ、複数種類の生成映像を高精細に生成するためには、生成映像に使用される映像の使用部分を、使用部分に要求される解像度を満たすように処理して送信しなければならない。また、現在の車内ＬＡＮの速度では、複数のカメラで撮影された画像全体をそのままで送るのは、難しいため、必要な部分だけ切り出して送ることにより、送信するデータ量を削減することが望ましい。
【０００７】
本発明は上記事情に鑑みてなされたものであり、高品質な生成映像を生成することができる映像処理システム及び映像処理方法を提供することを目的とする。また、車内ＬＡＮの速度に応じて、必要ならば、撮影装置からのデータ伝送量を削減することができる映像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本明細書に開示の映像処理システムは、車両に搭載された複数の撮影装置と、該複数の撮影装置と車内ネットワーク経由で接続され、前記複数の撮影装置で撮影された複数の映像データから複数種類の生成映像データを生成して表示装置に表示させる映像処理装置とを有する映像処理システムであって、前記複数の撮影装置は、それぞれ、前記車両の周囲を撮影する撮影部と、前記複数種類の生成映像データのパターン毎に算出された座標変換データを参照して算出された、各生成映像データに使用する各映像データの使用部分を示す使用部分情報と、各生成映像データの生成の際に前記使用部分に要求される解像度に基づいて前記使用部分ごとに算出された重要度とを記憶した記憶部と、前記使用部分情報を参照して、撮影された映像データから生成する生成映像データの使用部分となる映像データを切り出す映像切り出し部と、前記重要度を参照して、前記切り出された使用部分の映像データに、該使用部分の重要度に応じた映像処理を施して送信映像データを生成する送信映像データ生成部と、前記送信映像データを前記映像処理装置に送信する送信部とを備え、前記映像処理装置は、前記複数の撮影装置から送信された複数の送信映像データを入力するネットワークインターフェース部と、当該入力した複数の送信映像データに基づいて生成映像データを生成する映像生成部と、前記生成映像データを前記表示装置に出力する出力部とを備えている。
【発明の効果】
【０００９】
本明細書に開示の映像処理システムによれば、高品質な生成映像を生成することができる。
【図面の簡単な説明】
【００１０】
【図１】撮影範囲と映像の解像度との関係を示す図である。
【図２】映像処理システムの構成の一例を示す図である。
【図３】第１撮影部〜第４撮影部の構成の一例を示す図である。
【図４】カメラの車両搭載位置の一例を示す図である。
【図５】送信映像変換パターンデータの一例を示す図である。
【図６】送信映像変換パターンデータに従って映像データから切り出される部分映像データを示す図である。
【図７】送信映像変換部によって変換される映像データの一例を示す図である。
【図８】送信映像変換部によって変換される映像データの一例を示す図である。
【図９】送信映像変換部によって変換される映像データの一例を示す図である。
【図１０】映像処理装置の制御部のハードウェア構成の一例を示す図である。
【図１１】１１Ａ及び１１Ｂは、表示部に表示される表示の例を示す図である。
【図１２】１２Ａ及び１２Ｂは、表示部に表示される表示の例を示す図である。
【図１３】１３Ａ及び１３Ｂは、表示部に表示される表示の例を示す図である。
【図１４】制御部による生成映像変換パターンデータと送信映像変換パターンデータの生成手順を示すフローチャートである。
【図１５】制御部による送信映像変換パターンデータの生成手順を示すフローチャートである。
【図１６】１６Ａは、車両を鉛直方向（Ｚ軸方向）から見た座標系を示し、１６Ｂは、車両を幅方向（Ｘ軸方向）から見た座標系を示す図である。
【図１７】カメラの取り付け角度を説明するための図である。
【図１８】生成映像構成パターンデータを説明するための図である。
【図１９】１９Ａ及び１９Ｂは生成映像変換パターンデータの一例を示す図である。
【図２０】２０Ａ及び２０Ｂは、映像データの重要度分布の補正範囲の例を説明する図である。
【図２１】２１Ａ〜２１Ｄは、カメラで撮影された映像データの重要度分布を示す図である。
【図２２】映像データの重要度分布を矩型領域で切り出した状態を示す図である。
【図２３】第１撮影部〜第４撮影部ごとに生成された送信映像変換パターンデータの一例を示す図である。
【図２４】撮影部の処理手順を示すフローチャートである。
【図２５】映像処理装置の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照しながら本発明の好適な実施例を説明する。
【実施例】
【００１２】
本実施例の映像処理システム１は、図２に示すように撮影装置１００と、映像処理装置２００と、操作部３１０と、表示部３２０とを備えている。撮影装置１００は、第１撮影部１１０と、第２撮影部１２０と、第３撮影部１３０と、第４撮影部１４０とを備えている。また、映像処理装置２００は、ネットワークインターフェース部（以下、インターフェースをＩ／Ｆと略記する）２１０と、映像生成部２２０と、制御部２３０と、記憶部２４０と、表示制御部２５０とを備えている。また、撮影装置１００と、映像処理装置２００とは車内ＬＡＮ等のネットワーク１５０で接続されている。
【００１３】
図３を参照しながら撮影装置１００の詳細について説明する。なお、第１撮影部１１０〜第４撮影部１４０は、ほぼ同一の構成を備えているため、以下では代表して第１撮影部１１０について説明する。第１撮影部１１０は、カメラ１１１と、送信映像変換部１１２と、送信速度調整部１１３と、ネットワークＩ／Ｆ部１１４と、送信映像変換パターン記憶部１１５とを備えている。
【００１４】
カメラ１１１は、車両周辺の映像を撮影し、撮影した映像データを送信映像変換部１１２に出力する。図４に第１撮影部１１０のカメラ１１１、第２撮影部１２０のカメラ１２１、第３撮影部１３０のカメラ１３１、第４撮影部１４０のカメラ１４１の車両での設置位置の一例を示す。カメラ１１１は、車両の前方に配置され、車両前方の映像を撮影する。カメラ１２１は、車両の左側方に配置され、車両左側方の映像を撮影する。カメラ１３１は、車両の右側方に配置され、車両右側方の映像を撮影する。カメラ１４１は、車両の後方に配置され、車両後方の映像を撮影する。なお、本実施例では、車両に４つのカメラを搭載しているが、カメラの数は４つに限定されるものではなく、３つでも５つや６つであってもよい。また、カメラのレンズを広角レンズとすることで、カメラの設置数を削減することもできる。さらに、カメラは、車両に最初から搭載されているものであっても連係動作可能であれば問題はない。
【００１５】
送信映像変換部１１２は、映像処理装置２００（の制御部２３０）から生成する生成映像データの指示を受け付けて、指示された生成映像データを生成するための送信映像変換パターンを送信映像変換パターン記憶部１１５から取得する。そして、送信映像変換部１１２は、取得した送信映像変換パターンに従って、カメラ１１１で撮影された映像データから使用部分を切り出したり、切り出した映像データを縮小して映像加工の処理を行う。なお、送信映像変換部１１２で映像加工の処理を施されたカメラの映像データを部分映像データと呼ぶ。送信映像変換部１１２は、映像加工の処理を施した部分映像データを送信速度調整部１１３に出力する。
【００１６】
送信速度調整部１１３は、バッファ（不図示）を備え、送信映像変換部１１２から出力された部分映像データをバッファに一旦蓄積する。送信速度調整部１１３は、送信映像変換部１１２から取得した部分映像データを所定サイズのデータに分割する。送信速度調整部１１３は、分割したデータに映像処理装置２００宛てのヘッダ情報等を付加してパケットデータとし、映像処理装置２００に送信する。各撮影部（第１撮影部１１０〜第４撮影部１４０）１００から映像処理装置２００に送信されるパケットデータのデータ数は、一定時間内に一定数と規定されている。従って、送信速度調整部１１３は、送信映像変換部１１２から取得した部分映像データのデータサイズが小さくなると、１パケットデータのデータサイズもそれに応じて小さくする。送信速度調整部１１３で生成されたパケットデータは、ネットワークＩ／Ｆ部１１４を介して映像処理装置２００に送信される。
【００１７】
送信映像変換パターン記憶部１１５には、送信映像変換パターンデータが記憶されている。図５に、第１撮影部１１０の送信映像変換パターン記憶部１１５に記憶される送信映像変換パターンデータの一例を示す。送信映像変換パターンデータは、カメラ１１１で撮影された映像データの切出位置を示す映像切出位置情報と、切り出した映像データを縮小する縮小率を規定する情報とを含んでいる。映像切出位置情報は、図６に示すように切り出される部分映像データの左上と右下の位置座標である。また、縮小率は、映像データの水平方向と、垂直方向との縮小率を含む。なお、図６に示すように１つの映像データから切り出される部分映像データは１つであるとは限らず、複数であってもよい。また、送信映像変換パターンデータは、映像生成部２２０で生成される生成映像データのパターン数だけ用意され、送信映像変換パターン記憶部１１５に記憶される。他の撮影部（第２撮影部１２０〜第４撮影部１４０）についても同様に、各撮影部の送信映像変換パターン記憶部１２５、１３５、１４５に生成映像データのパターン数だけ送信映像変換パターンデータを記憶している。なお、図５に示す例では、送信映像変換パターンデータとして、映像切出位置情報と縮小率とを記憶しているが、縮小率に変えて重要度を記憶しておくこともできる。重要度の詳細については後述する。また、縮小率は、重要度に基づいて決定された縮小率である。
【００１８】
ここで、図７〜図９を参照しながら送信映像変換部１１２の処理についてさらに詳細に説明する。
図７には、送信映像変換部１１２がカメラ映像データから使用部分となる部分映像データを切り出した後に、部分映像データに対して縮小処理を行わずにそのまま映像処理装置２００に送信する場合を示す。図７に示すように使用部分を含む部分映像データを切り出して映像処理装置２００に送信するので、映像処理装置２００に送信されるデータ量を削減することができる。従って、ネットワーク１５０の伝送帯域幅の上限値以内でのデータ送信速度が実現できる。
複数のカメラ１１１、１２１、１３１、１４１で撮影した映像をそのまま送るのは、高精細な映像だとデータ量が多く、車内ＬＡＮのデータ転送速度ではデータの転送に時間がかかってしまう。そこで、本実施例では、撮影したカメラ映像データの使用する部分を、表示する解像度に合わせて切り出した部分映像データを送信映像変換部１１２、１２２、１３２、１４２でそれぞれ作成する。また、送信速度調整部１１３、１２３、１３３、１４３は、送信映像変換部１１２、１２２、１３２、１４２で生成した各部分映像データに、送信に使用する帯域を割り当てて、車内ＬＡＮで送信可能な速度に合わせて送信している。そのため、カメラ毎に処理が必要なため、カメラのコストがかかるが、今後、車内ＬＡＮの速度が向上すると、カメラ側に設定している送信映像変換パターン部１５や送信映像変換部１１２を映像処理装置側に移して、送信速度調整部１１３や、映像毎の送信帯域幅の割り当てをなくしてもよい。この場合は、カメラで複雑な映像処理をしなくてもよいため、安価なカメラで対応することが可能になる。
【００１９】
図８には、送信映像変換部１１２がカメラ映像データから使用部分となる部分映像データを切り出した後に、部分映像データに対して縮小処理を行って映像処理装置２００に送信する場合を示す。なお、図８に示す部分映像データには、分割された領域ごとに重要度が設定されている。重要度は、分割された各領域の映像データが生成映像データに変換されるときの解像度に基づいて決定される。より具体的には、重要度は、各カメラ１１１、１２１、１３１、１４１によって撮影された映像データを座標変換して生成映像データを生成するときに、座標変換に伴って拡大される映像データの拡大率に応じて設定されている。すなわち、重要度の高い領域ほど、生成映像データに座標変換した際の表示面積が広くなる。図８に示す例では、高重要度、中重要度、低重要度の３つの領域に分割されているが、重要度は３段階に限られるものではなく、さらに重要度に応じて複数の領域に分割してもよい。
送信映像変換部１１２は、例えば、高重要度に設定された映像範囲に対して縮小処理を行わず、そのまま映像処理装置２００に送信する。また、送信映像変換部１１２は、中重要度に設定された部分映像データの映像範囲に対して、例えば、水平方向にデータサイズを縮小し、縮小した部分映像データをネットワークＩ／Ｆ部１１４を介して映像処理装置２００に送信する。
また、送信映像変換部１１２は、低重要度に設定された部分映像データの映像範囲に対して、例えば、水平、垂直方向にデータサイズを縮小する。送信映像変換部１１２は、縮小した部分映像データをネットワークＩ／Ｆ１１４を介して映像処理装置２００に送信する。なお、送信映像変換部１１２は、送信映像変換パターン記憶部１１５から取得した送信映像変換パターンデータに従って部分映像データを縮小処理し、縮小した部分映像データを送信速度調整部１１３に出力している。
【００２０】
また、図９に示す例では、送信映像変換部１１２は、部分映像データを矩型領域で切り出すのではなく、生成映像データに実際に使用する部分だけを切り出している。さらに、送信映像変換部１１２は、切り出した部分映像データのうち、低重要度の映像範囲に縮小処理を施して、映像処理装置２００に送信している。これらのカメラ側での映像処理に必要なデータや処理のプログラムは、始めからカメラの機能として載せておく様にしてもよいし、事前に映像処理装置に蓄えておいて車を始動した時に、各カメラに転送するようにしてもよい。
【００２１】
図２に戻って、映像処理装置２００について説明する。
ネットワークＩ／Ｆ部２１０は、第１撮影部１１０〜第４撮影部１４０から送信されたパケットデータを受信する。ネットワークＩ／Ｆ部２１０は、受信したパケットデータを部分映像データに戻し、ブランキングデータを付加して映像生成部２２０に出力する。また、ネットワークＩ／Ｆ部２１０は、第１撮影部１１０〜第４撮影部１４０からパケットデータを受信すると、受信したパケットデータを部分映像データに戻すことなく、データ列のまま映像生成部２２０に出力してもよい。この場合、映像生成部２２０でデータ列から部分映像データに変換することになる。
【００２２】
映像生成部２２０は、第１撮影部１１０〜第４撮影部１４０から送信された部分映像データを座標変換して、生成映像データを生成する。記憶部２４０には、後述する生成映像変換パターンデータが記憶されている。映像生成部２２０は、制御部２３０から指示された生成映像データを生成するための生成映像変換パターンデータを記憶部２４０から取得する。映像生成部２２０は取得した生成映像変換パターンデータに従って、第１撮影部１１０〜第４撮影部１４０から送信された部分映像データを座標変換し、生成映像データを生成する。
【００２３】
表示制御部２５０は、映像生成部２２０で生成された生成映像データを表示部３２０に表示させる表示制御を行う。
【００２４】
次に、制御部２３０について説明する。図１０には、制御部２３０のハードウェア構成の一例を示す。制御部２３０は、ハードウェアとしてＣＰＵ（Central Processing Unit）２３１、ＲＯＭ（Read Only Memory）２３２、ＲＡＭ（Random Access Memory）２３３、入出力部２３４を備えている。
ＲＯＭ２３２には、ＣＰＵ２３１が制御に使用するプログラムが記録されている。ＣＰＵ２３１は、ＲＯＭ２３２に記録されたプログラムを読み込んで、読み込んだプログラムに従った処理を行う。また、ＲＡＭ２３３には、ＣＰＵ２３１が演算に使用するデータや、演算結果のデータが記憶される。入出力部２３４は、ユーザによって操作部３１０から入力された操作入力を受け付け、ＣＰＵ２３１に出力する。また、入出力部２３４は、ＣＰＵ２３１から出力される指示信号をネットワークＩ／Ｆ部２１０に出力する。ネットワークＩ／Ｆ部２１０は、入出力部２３４から出力された指示信号を、ネットワーク１５０を介して第１撮影部１１０〜第４撮影部１４０に送信する。
【００２５】
制御部２３０は、後述する送信映像変換パターンデータを生成映像データのパターンごとに複数生成する。送信映像変換パターンデータは、第１撮影部１１０〜第４撮影部１４０ごとに生成される。制御部２３０は、生成した送信映像変換パターンデータをネットワーク１５０を介して、撮影装置１００に送信する。第１撮影部１１０〜第４撮影部１４０は、制御部２３０から送られた、該当する送信映像変換パターンデータを送信映像変換パターン記憶部１１５、１２５、１３５、１４５にそれぞれ記憶する。
また、制御部２３０は、後述する生成映像変換パターンデータを生成し、生成した生成映像変換パターンデータを記憶部２４０に記憶する。この生成映像変換パターンデータも生成映像データのパターンごとに複数生成される。
【００２６】
操作部３１０は、操作者からの操作入力を受け付ける。表示部３２０には、カメラ１１１〜１４１で撮影された映像データから生成される生成映像が表示される。操作者は、表示部３２０に表示させる生成映像のパターンを切り替える操作を操作部３１０から行う。表示部３２０に表示される生成映像の例（パターン）を図１１Ａ、図１１Ｂ、図１２Ａ、図１２Ｂ、図１３Ａ、図１３Ｂに示す。
【００２７】
次に、図１４、図１５に示すフローチャートを参照しながら制御部２３０が送信映像変換パターンデータと、生成映像変換パターンデータとを生成する手順を説明する。
まず、事前の準備として、カメラ１１１、１２１、１３１、１４１を車両に設置し、各カメラ１１１、１２１、１３１、１４１の位置座標と取り付け角度とを算出する。位置座標と取り付け角度を車両一台毎に算出する理由は、各カメラの座標と取り付け角度は、固定で決まっていても、実際にカメラを設置すると、微妙にずれるため、カメラを取り付けた後で調整する必要があるからである。位置座標と取り付け角度との算出作業は、作業員が機器を使用して行う。図１６Ａ、１６Ｂに示すように車両の中心を原点として、車両の幅方向をＸ軸、車両の前後軸方向をＹ軸、鉛直方向をＺ軸とする。図１６Ａには、車両を鉛直方向（Ｚ軸方向）から見た座標系を示し、図１６Ｂには、車両を幅方向（Ｘ軸方向）から見た座標系を示す。また、カメラの取り付け角度には、ヨー角、俯角、ロール角が含まれる。ヨー角とは、図１７に示すように鉛直軸周りの回転角度をいう。また、カメラの光軸周りの回転角度をロール角といい、カメラの上下方向の傾きをピッチ角という。なお、以下では、カメラの位置座標と取付り角け度とを総称してカメラの設置条件情報と呼ぶ。カメラの設置条件情報は、操作部３１０から入力され、制御部２３０の制御に従って、記憶部２４０に記憶される。
【００２８】
事前に記憶部２４０に記憶させるデータには、カメラの設置条件情報の他に、カメラ１１１、１２１、１３１、１４１の特性データと、生成映像構成パターンデータとが含まれる。特性データは、各カメラ１１１、１２１、１３１、１４１の水平、垂直方向の画素数及び画角（各カメラ１１１、１２１、１３１、１４１の視野角）と、レンズディストーションデータ（レンズの歪曲収差データ）とを含む。また、生成映像構成パターンデータには、映像投影面の形状データと、視点ベクトルのデータと、映像の表示範囲を示すデータ等が含まれる。映像投影面の形状データは、図１８に示すように、各カメラ１１１、１２１、１３１、１４１で撮影された複数の映像データから生成映像データを生成するために、複数の映像データを投影させる投影面の形状データである。また、視点ベクトルのデータとは、映像データを投影させた映像投影面をどこから見た生成映像データとするかを規定するデータである。この映像投影面の形状データと、視点ベクトルとにより各カメラ１１１〜１４１によって撮影された映像の部分ごとの表示倍率が変化する。また、映像の表示範囲を示すデータは、図１８に示すように生成映像データとして表示させる範囲を示すデータである。
【００２９】
制御部２３０は、記憶部２４０に記憶されたカメラの設置条件情報と、カメラの特性データと、生成映像構成パターンデータとを使用して、まず、生成映像直接変換データを生成する（ステップＳ１）。生成映像直接変換データは、各カメラ１１１、１２１、１３１、１４１の映像データを生成映像データに変換するための座標変換データである。生成映像直接変換データは、例えば、図１９Ａに示すようにポリゴン番号と、ポリゴン番号が示すポリゴンの各頂点の番号と、頂点番号が示す各頂点の座標変換前の座標値情報と、頂点番号が示す各頂点の座標変換後の生成映像データ上での座標値データとを含む。なお、ポリゴンとは、カメラの映像データから生成映像データに座標変換するときの座標変換の処理単位となる区画であり、ポリゴン番号は、各ポリゴンを識別する識別番号である。なお、生成映像直接変換データは、図１９Ｂに示すデータ形式であってもよい。図１９Ｂに示す生成映像直接変換データは、ポリゴン番号と、ポリゴン番号が示すポリゴンの頂点番号と、頂点番号が示す頂点の座標変換前の映像データ上の座標値のデータと、映像投影面上での座標値のデータと、視点ベクトルデータとを含む。
【００３０】
次に、制御部２３０は、生成映像直接変換データを用いて送信映像変換パターンデータを生成する（ステップＳ２）。送信映像変換パターンデータとは、各カメラ１１１、１２１、１３１、１４１によって撮影された映像データのうち、生成映像データに使用される使用範囲を示すデータや、この使用範囲の映像データを縮小する縮小率のデータが含まれる。生成映像直接変換データから送信映像変換パターンデータを生成する手順については、図１５に示すフローチャートを参照しながら後述する。
【００３１】
次に、制御部２３０は、生成した各送信映像変換パターンデータを、対応する撮影部（第１撮影部１１０〜第４撮影部１４０）に送信する（ステップＳ３）。第１撮影部１１０〜第４撮影部１４０は、制御部２３０から送信された送信映像変換データを各送信映像変換パターン記憶部１１５、１２５、１３５、１４５に記憶する。
【００３２】
次に、制御部２３０は、送信映像変換パターンデータによって生成映像直接変換データを補正し、生成映像変換パターンデータを生成する（ステップＳ４）。すなわち、第１撮影部１１０〜第４撮影部１４０から送信されてくる映像データは、カメラ１１１〜１４１で撮影されたままの映像データではなく、生成映像データに使用される使用部分だけを含んだデータである。このため、制御部２３０は、縮小され、使用部分だけとなった部分映像データから生成映像データを生成するために、送信映像変換パターンデータによって生成映像直接変換データを補正する。制御部２３０は、生成した生成映像変換パターンデータを記憶部２４０に記憶する（ステップＳ５）。
【００３３】
次に、図１５に示すフローチャートを参照しながら制御部２３０が生成映像直接変換データから送信映像変換パターンデータを生成する手順について説明する。
まず、制御部２３０は、生成映像変換パターンデータを参照して、各カメラ１１１、１２１、１３１、１４１の映像データから生成映像データに使用される使用範囲を算出する。また、制御部２３０は、使用範囲の映像データの各画素の座標変換による拡大率（縮小を含む：以下、画素拡大率という）を算出する（ステップＳ１１）。さらに、制御部２３０は、算出した各画素の画素拡大率に基づいて画素拡大率の分布を算出する。制御部２３０は、使用範囲の映像データの各画素が座標変換に伴って拡大（又は縮小される）画素拡大率を算出する。画素拡大率の算出は、Ｘ軸方向、Ｙ軸方向でそれぞれ算出してもよいし、各画素の座標変換前と変換後の面積比で求めてもよい。
【００３４】
次に、制御部２３０は、車両からの距離に基づいて画素拡大率を補正する範囲を求め、画素拡大率を補正する（ステップＳ１２）。例えば、運転支援に効果のない遠方や空の部分は、運転支援のための生成映像データには必要のない部分と判定し、制御部２３０は対象外のデータ、又は重要度を下げる対象のデータに設定する。図２０Ａに示す例では、Ｚ軸（鉛直）方向の座標値が一定値Ｚ１よりも大きい生成映像データの画素の画素拡大率を所定値に修正する。又は、画素拡大率を所定値下げる補正を行う。また、図２０Ｂに示す例では、Ｘ軸方向、Ｙ軸方向について、自車両の近傍の一定範囲内だけが運転支援に重要な範囲と判定する。例えば、制御部２３０は、図２０Ｂに示すように車両の全幅、全長（Ｘ２、Ｙ４）に一定値を加算した範囲（Ｘ２＋Ｘ３、Ｙ４＋Ｙ５）よりも外側の画素の画素拡大率を所定値に修正したり、画素拡大率を所定値下げる補正を行う。
【００３５】
次に、制御部２３０は、ステップＳ１２で補正した各画素の画素拡大率に対してクラスタリング（又は正規化）等の処理を行い、画素拡大率をクラス分けする。制御部２３０は、クラス分けした画素拡大率に基づいて重要度分布を求める（ステップＳ１３）。例えば、画素拡大率が５以上の画素の分布、画素拡大率が２以上５未満の画素の分布、画素拡大率が０よりも大きく２未満の画素の分布、画素拡大率が０の画素の分布をそれぞれ求める。そして、画素拡大率が５以上の画素の分布を重要度高の画素分布とする。また、画素拡大率が２以上５未満の画素の分布を重要度中の画素分布とする。また、画素拡大率が０以上で２未満の画素の分布を重要度低の画素分布とする。画素拡大率の大きい画素は、生成映像データに変換したときの表示面積が広いため、重要度の高いデータであると判断できる。また、画素拡大率の低い画素は、生成映像データに変換したときの表示面積が狭いため、重要度の低いデータであると判断できる。
図２１Ａにカメラ１１１で撮影された車両前方の映像データの使用範囲と、使用範囲内の映像データの重要度分布とを示す。同様に、図２１Ｂに、カメラ１２１で撮影された車両左側方の映像データの使用範囲と、使用範囲内の映像データの重要度分布とを示す。図２１Ｃに、カメラ１３１で撮影された車両右方の映像データの使用範囲と、使用範囲内の映像データの重要度分布とを示す。図２１Ｄに、カメラ１４１で撮影された車両後方の映像データの使用範囲と、使用範囲内の映像データの重要度分布とを示す。
【００３６】
次に、制御部２３０は、ステップＳ１３で求めた使用範囲と重要度分布とに基づいて、使用範囲を含む矩型領域を切り出す。すなわち、使用範囲の映像データは、重要度分布によって重要度ごとに分割されている。制御部２３０は、重要度で分割された使用範囲の映像データを含む矩型領域を求め、この矩型領域を送信範囲に設定する。図２２Ａにカメラ１１１で撮影された車両前方の映像データから切り出された使用範囲の映像データを含む矩型領域を示す。同様に、図２２Ｂ〜図２２Ｄに、カメラ１２１、１３１、１４１で撮影された映像データから切り出された使用範囲の映像データを含む矩型領域をそれぞれ示す。なお、図２２Ａ〜図２２Ｄに示すように矩型領域は、１つの映像データに複数設定される。また、送信範囲とは、第１撮影部１１０〜第４撮影部１４０が映像処理装置２００に送信する映像データの範囲を示している。
また、制御部２３０は、重要度分布に基づいて、送信範囲の映像データを縮小する縮小率を決定する。例えば、制御部２３０は、重要度の高い送信範囲の映像データは、縮小を行わないように設定する。また、制御部２３０は、重要度が中の送信範囲の映像データと、重要度が低の送信範囲の映像データには、所定の縮小率を設定する。図２３に、生成された第１撮影部１１０〜第４撮影部１４０の送信映像変換パターンデータの一例を示す。
【００３７】
制御部２３０は、以上の処理を行い、送信映像変換パターンデータと、生成映像変換パターンデータとを生成する。制御部２３０は、各カメラの映像データごとに生成した送信映像変換パターンデータを、第１撮影部１１０〜第４撮影部１４０にそれぞれ送信する。第１撮影部１１０〜第４撮影部１４０の送信映像変換パターン記憶部１１５、１２５、１３５、１４５には、生成映像データのパターンごとの送信映像変換パターンデータが記憶される。
【００３８】
次に、図２４、図２５に示すフローチャートを参照しながら、映像処理システム１の動作手順を説明する。
まず、制御部２３０は、操作部３１０から生成映像の変更指示が入力されたか否かを判定する（ステップＳ２１）。生成映像の変更指示が入力された場合には（ステップＳ２１／ＹＥＳ）、制御部２３０は、変更指示を撮影装置１００に通知する。通知を受けた第１撮影部１１０〜第４撮影部１４０は、生成映像の変更指示をメモリに記録する（ステップＳ２２）。
【００３９】
次に、カメラ１１１〜１４１で映像を撮影し、映像データを入力すると（ステップＳ２３／ＹＥＳ）、送信映像変換部１１２〜１４２は、制御部２３０から指示された生成映像を生成するための送信映像変換パターンデータを取得する。送信映像変換部１１２〜１４２は、取得した送信映像変換パターンデータを参照して、カメラ１１１〜１４１で撮影された映像データから使用部分となる映像データを切り取り、縮小して部分映像データを生成する（ステップＳ２４）。送信映像変換部１１２〜１４２で映像加工の処理を施された部分映像データは、送信速度調整部１１３〜１４３にそれぞれ出力される。送信速度調整部１１３〜１４３は、縮小された部分映像データのデータ量に応じたサイズのパケットデータを生成し、映像処理装置２００に送信する（ステップＳ２５）。
【００４０】
次に、図２５に示すフローチャートを参照しながら映像処理装置２００の処理手順を説明する。
映像処理装置２００は、ネットワーク１５０を介して第１撮影部１１０〜第４撮影部１４０から送信されたパケットデータをネットワークＩ／Ｆ部２１０で受信する。ネットワークＩ／Ｆ部２１０は、パケットデータを入力すると（ステップＳ３１／ＹＥＳ）、入力したパケットデータを部分映像データに戻し、ブランキングデータを付加して映像生成部２２０に出力する。映像生成部２２０は、ネットワークＩ／Ｆ部２１０から映像データを入力すると、記憶部２４０に記憶した生成映像変換パターンデータを参照して、複数の映像データから生成映像データに変換する（ステップＳ３３）。
【００４１】
このように本実施例は、送信映像変換パターンデータとして記録された使用範囲及び縮小率となるように映像データを加工し、加工した部分映像データを映像処理装置２００に送信している。従って、撮影装置からのデータ伝送量の削減と、高品質な生成映像の生成とを両立させることができる。
【００４２】
上述した実施例は、本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【符号の説明】
【００４３】
１  映像処理システム
１００  撮影装置
１１０  第１撮影部
１１１、１２１、１３１、１４１  カメラ
１１２、１２２、１３２、１４２  送信映像変換部
１１３、１２３、１３３、１４３  送信速度調整部
１１４、１２４、１３４、１４４  ネットワークＩ／Ｆ部
１１５、１２５、１３５、１４５  送信映像変換パターン記憶部
１２０  第２撮影部
１３０  第３撮影部
１４０  第４撮影部
２００  映像処理装置
２１０  ネットワークＩ／Ｆ部
２２０  映像生成部
２３０  制御部
２４０  記憶部
２５０  表示制御部
３１０  操作部
３２０  表示部
【図１】
2010263499.tif 000003
【図２】
2010263499.tif 000004
【図３】
2010263499.tif 000005
【図４】
2010263499.tif 000006
【図５】
2010263499.tif 000007
【図６】
2010263499.tif 000008
【図７】
2010263499.tif 000009
【図８】
2010263499.tif 000010
【図９】
2010263499.tif 000011
【図１０】
2010263499.tif 000012
【図１１】
2010263499.tif 000013
【図１２】
2010263499.tif 000014
【図１３】
2010263499.tif 000015
【図１４】
2010263499.tif 000016
【図１５】
2010263499.tif 000017
【図１６】
2010263499.tif 000018
【図１７】
2010263499.tif 000019
【図１８】
2010263499.tif 000020
【図１９】
2010263499.tif 000021
【図２０】
2010263499.tif 000022
【図２１】
2010263499.tif 000023
【図２２】
2010263499.tif 000024
【図２３】
2010263499.tif 000025
【図２４】
2010263499.tif 000026
【図２５】
2010263499.tif 000027