(57)【要約】【課題】近年の画像処理能力の向上に伴い、メモリバス２３を介して送受信される画像データの容量が増え、メモリバス２３の負荷が増大するようになってきた。メモリバス２３の負荷が増大すると、フレームメモリ２１に記憶された画像データの読み出し処理が滞り、円滑な画像生成が妨げられる恐れがある。【解決手段】画像表示システム１００は、撮影画像の少なくとも一部の領域をメモリバス２３を介してフレームメモリ２１に記憶させ、記憶された撮影画像を用いて表示画像を生成する際、撮影画像のうち表示画像の生成に用いない非使用領域はフレームメモリ２１に送信しない。このように、撮影画像のうち表示のための画像の生成に用いない非使用領域はフレームメモリ２１に送信されず、メモリバス２３を伝送しないので、メモリバス２３の負荷を低減することができる。【選択図】図２
2014150328.tif 000002
【特許請求の範囲】
【請求項１】
車両において用いられる画像生成装置であって、
前記車両の周辺を撮影するカメラで得られた撮影画像を取得する取得手段と、
前記撮影画像の少なくとも一部の領域をメモリバスを介して記憶手段に送信して記憶させる送信手段と、
前記記憶手段に記憶された撮影画像を用いて表示のための表示画像を生成する生成手段と、
を備え、
前記送信手段は、前記撮影画像のうち前記表示画像の生成に用いない非使用領域は前記記憶手段に送信しないことを特徴とする画像生成装置。
【請求項２】
請求項１に記載の画像生成装置において、
前記送信手段は、前記撮影画像の前記非使用領域以外の使用領域を被写体に応じて複数の部分に区分し、前記複数の部分ごとに前記記憶手段に送信する頻度を異ならせることを特徴とする画像生成装置。
【請求項３】
請求項２に記載の画像生成装置において、
前記送信手段は、前記複数の部分のうち前記車両が前記被写体となる車両部分は、他の部分よりも前記記憶手段に送信する頻度を低下させることを特徴とする画像生成装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像生成装置において、
前記メモリバスの負荷の周期的な変化を検出する負荷検出手段、
をさらに備え、
前記生成手段は、検出した前記負荷の周期的な変化に基づいて予測した負荷に応じて、前記表示画像の詳細度を変化させることを特徴とする画像生成装置。
【請求項５】
請求項３に記載の画像生成装置において、
前記生成手段は、複数の視点のうちから選択される選択視点からみた前記車両の周辺を示す前記表示画像を生成し、
前記送信手段は、前記車両部分を前記記憶手段に送信する頻度を、前記選択視点に応じて変化させることを特徴とする画像生成装置。
【請求項６】
請求項３に記載の画像生成装置において、
前記車両は、複数の前記カメラを備え、
前記生成手段は、前記複数のカメラでそれぞれ得られた複数の撮影画像の少なくとも一つを用いて、前記表示画像を生成し、
前記送信手段は、前記車両部分を前記記憶手段に送信する頻度を、前記複数の撮影画像のうち生成手段が用いる撮影画像に応じて変化させることを特徴とする画像生成装置。
【請求項７】
車両において用いられる画像生成方法であって、
（ａ）前記車両の周辺を撮影するカメラで得られた撮影画像を取得する工程と、
（ｂ）前記撮影画像の少なくとも一部の領域をメモリバスを介して記憶手段にして記憶させる工程と、
（ｃ）前記記憶手段に記憶された撮影画像を用いて表示画像を生成する工程と、
を備え、
前記工程（ｂ）は、前記撮影画像のうち前記表示画像の生成に用いない非使用領域は前記記憶手段に送信しないことを特徴とする画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を処理する技術に関する。
【背景技術】
【０００２】
近年、複数のカメラを車両に搭載し、車両の全周囲を画像表示システムで表示する技術が知られている。この画像表示システムでは、カメラで取得された画像データをメモリへ書き込み、メモリから画像データを読み出して周囲画像の生成を行う。そして、このような画像データのメモリへの書き込みと読み出しは、バスを介する画像データの送受信により行われていた。
【０００３】
本明細書で説明する技術に関する文献として、下記の特許文献１がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−５２０５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、画像生成装置における画像処理能力の向上に伴い、バスを介して送受信される画像データの容量が増加し、バスの負荷が増大するようになってきた。バスの負荷が増大すると、メモリに記憶された画像データの読み出し処理が滞り、円滑な画像生成が妨げられる恐れがあった。
【０００６】
本発明は、上記課題に鑑み、バスの負荷を低減する画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、請求項１の発明は、車両において用いられる画像生成装置であって、前記車両の周辺を撮影するカメラで得られた撮影画像を取得する取得手段と、前記撮影画像の少なくとも一部の領域をメモリバスを介して記憶手段に送信して記憶させる送信手段と、前記記憶手段に記憶された撮影画像を用いて表示のための表示画像を生成する生成手段と、を備え、前記送信手段は、前記撮影画像のうち前記表示画像の生成に用いない非使用領域は前記記憶手段に送信しない。
【０００８】
また、請求項２の発明は、請求項１に記載の画像生成装置において、前記送信手段は、前記撮影画像の前記非使用領域以外の使用領域を被写体に応じて複数の部分に区分し、前記複数の部分ごとに前記記憶手段に送信する頻度を異ならせる。
【０００９】
また、請求項３の発明は、請求項２に記載の画像生成装置において、前記送信手段は、前記複数の部分のうち前記車両が前記被写体となる車両部分は、他の部分よりも前記記憶手段に送信する頻度を低下させる。
【００１０】
また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像生成装置において、前記メモリバスの負荷の周期的な変化を検出する負荷検出手段、をさらに備え、前記生成手段は、検出した前記負荷の周期的な変化に基づいて予測した負荷に応じて、前記表示画像の詳細度を変化させる。
【００１１】
また、請求項５の発明は、請求項３に記載の画像生成装置において、前記生成手段は、複数の視点のうちから選択される選択視点からみた前記車両の周辺を示す前記表示画像を生成し、前記送信手段は、前記車両部分を前記記憶手段に送信する頻度を、前記選択視点に応じて変化させる。
【００１２】
また、請求項６の発明は、請求項３に記載の画像生成装置において、前記車両は、複数の前記カメラを備え、前記生成手段は、前記複数のカメラでそれぞれ得られた複数の撮影画像の少なくとも一つを用いて、前記表示画像を生成し、前記送信手段は、前記車両部分を前記記憶手段に送信する頻度を、前記複数の撮影画像のうち生成手段が用いる撮影画像に応じて変化させる。
【００１３】
また、請求項７の発明は、車両において用いられる画像生成方法であって、（ａ）前記車両の周辺を撮影するカメラで得られた撮影画像を取得する工程と、（ｂ）前記撮影画像の少なくとも一部の領域をメモリバスを介して記憶手段にして記憶させる工程と、（ｃ）前記記憶手段に記憶された撮影画像を用いて表示画像を生成する工程と、を備え、前記工程（ｂ）は、前記撮影画像のうち前記表示画像の生成に用いない非使用領域は前記記憶手段に送信しない。
【発明の効果】
【００１４】
請求項１ないし７の発明によれば、撮影画像のうち表示のための画像の生成に用いない非使用領域は記憶手段に送信しないので、メモリバスの負荷を低減することができる。
【００１５】
また、特に請求項２の発明によれば、撮影画像を記憶手段に送信する頻度を異ならせるので、メモリバスの負荷を低減することができる。
【００１６】
また、特に請求項３の発明によれば、車両が被写体となる車両部分を記憶手段に送信する頻度を低下させるので、メモリバスの負荷を低減することができる。
【００１７】
また、特に請求項４の発明によれば、メモリバスの負荷の周期的な変化に基づいて予測した負荷に応じて、表示画像の詳細度を変化させるので、適切な詳細度で表示のための画像を生成することができる。
【００１８】
また、特に請求項５の発明によれば、車両部分を記憶手段に送信する頻度を選択視点に応じて変化させるので、メモリバスの負荷を低減することができる。
【００１９】
また、特に請求項６の発明によれば、車両部分を記憶手段に送信する頻度を、生成手段が用いる撮影画像に応じて変化させるので、メモリバスの負荷を低減することができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、実施の形態で採用される技術の概要を示す図である。
【図２】図２は、実施の形態で採用される技術の概要を示す図である。
【図３】図３は、画像表示システムの構成を示す図である。
【図４】図４は、車載カメラの配置を示す図である。
【図５】図５は、フレームメモリの構成を示す図である。
【図６】図６は、判定グリッドを示す図である。
【図７】図７は、後方画像の例を示す図である。
【図８】図８は、任意視点画像の生成手法を説明する図である。
【図９】図９は、画像生成装置の処理手順を示す図である。
【図１０】図１０は、パラメータ設定の処理手順を示す図である。
【図１１】図１１は、判定テーブルを示す図である。
【図１２】図１２は、画像を取得する処理手順を示す図である。
【図１３】図１３は、負荷予測テーブルを示す図である。
【図１４】図１４は、メモリバスの負荷を予測する処理手順を示す図である。
【図１５】図１５は、第２の実施の形態における画像表示システムの構成を示す図である。
【図１６】図１６は、第２の実施の形態における画像生成装置の処理手順を示す図である。
【図１７】図１７は、判定テーブルの書換え処理を説明する図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照しつつ、本発明の実施の形態について説明する。
【００２２】
＜１．第１の実施の形態＞
＜１−１．概要＞
まず、本発明の実施の形態の概要について説明する。図１は、画像表示システム１００の概要を示す。
【００２３】
画像表示システム１００は、自動車等の車両１に搭載され、車両１の周辺の様子を示す画像を生成し、車室内に表示する機能を備える。画像表示システム１００は、映像信号にフレームとして周期的に含まれる画像データを処理する画像生成装置２と、４つのカメラ３１〜３４を備える撮影部３と、表示装置４とを備える。画像生成装置２は撮影部３が撮影した画像に基づき、表示用の画像を生成する。生成された表示画像は表示装置４に表示され、車両１に乗車したユーザ（代表的にはドライバ）により参照される。
【００２４】
図２は、画像表示システム１００の構成を簡略的に示す。画像生成装置２は、映像信号に含まれる一の画像（一のフレーム）全体を記憶可能な記憶容量を有するメモリであるフレームメモリ２１を備える。また、画像生成装置２は、画像取得部２２、メモリバス２３、画像読出部２４、及び、画像生成部２５を備え、各構成は以下のように動作する。
【００２５】
画像取得部２２は、撮影部３により取得された車両１周辺を示す画像データを、メモリバス２３を介してフレームメモリ２１の所定の記憶領域に周期的に書き込む。周期的な書き込みが行われるため、画像データは、フレームメモリ２１の記憶領域に所定周期で上書きされる。
【００２６】
画像読出部２４は、フレームメモリ２１に記憶された画像データを、メモリバス２３を介して周期的に読み出し、後述の画像生成部２５へ送信する。
【００２７】
画像生成部２５は、画像読出部２４がフレームメモリ２１から読み出した画像データに基づき表示画像を生成し、生成した表示画像を表示装置４に所定周期で出力する。これにより、表示装置４に車両１の周辺を示す画像が表示される。
【００２８】
このような画像表示システム１００では、フレームメモリ２１、画像取得部２２、及び、画像読出部２４は相互にメモリバス２３に接続され、画像データはメモリバス２３を介してフレームメモリ２１への書き込みと読み出しが行われる。したがって、メモリバス２３で送受信される画像データの容量が大きくなると、メモリバス２３の伝送量が増大し、画像データの読み出し処理が滞ることとなる。この結果、画像生成部２５へ画像データの入力が滞り、円滑な表示画像の生成が困難となる。
【００２９】
＜１−２．構成＞
画像表示システム１００の構成について詳細に説明する。図３は、第１の実施の形態における画像表示システム１００の構成を示す。
【００３０】
前述の通り、画像表示システム１００は、表示用の画像を生成する画像生成装置２、車両１の周辺を撮影する撮影部３、及び、ユーザに対して画像を表示する表示装置４を備える。
【００３１】
画像生成装置２は、画像を生成する機能を有するＥＣＵ（Electronic Control Unit）により構成される。画像生成装置２は、撮影部３で車両１の周辺を撮影して得られる画像データに基づき、表示装置４に表示するための表示画像を生成する。画像生成装置２の配置される位置は、表示装置４とは異なる車両１内の位置である。
【００３２】
撮影部３は、画像生成装置２に電気的に接続され、画像生成装置２からの制御信号に基づき動作する。撮影部３は、複数の車載カメラを備える。具体的には、フロントカメラ３１、左サイドカメラ３２、右サイドカメラ３３、及び、バックカメラ３４である。車載カメラ３１〜３４は、レンズと撮像素子とを備え、電子的に画像を取得し、車両１の前後左右にそれぞれ配置される。
【００３３】
図４は、車載カメラ３１〜３４が車両１に配置される位置を示す。フロントカメラ３１は、車両１前端に設けられ、その光軸３１ａは平面視で車両１の前後方向に沿って車両１前方に向けられる。バックカメラ３４は、車両１後端に設けられ、その光軸３４ａは平面視で車両１の前後方向に沿って車両１後方に向けられる。フロントカメラ３１及びバックカメラ３４の取付位置は、左右中央であることが望ましい。ただし、左右中央から左右方向に多少ずれた位置であってもよい。
【００３４】
また、左サイドカメラ３２は、左側のドアミラー３２ａに設けられ、その光軸３２ｂは平面視で車両１の左右方向に沿って車両１左側に向けられる。右サイドカメラ３３は、右側のドアミラー３３ａに設けられ、その光軸３３ｂは平面視で車両１の左右方向に沿って車両１右側に向けられる。
【００３５】
車載カメラ３１〜３４のレンズには、魚眼レンズや超広角レンズが採用される。このため、各車載カメラ３１〜３４が撮影可能な水平方向の角度θは、１８０度以上となる。４つの車載カメラ３１〜３４を利用することで、車両１の全周囲を撮影できる。
【００３６】
図３を参照する。表示装置４は、液晶ディスプレイ等を備え、後述の画像生成装置２で生成された車両１の周辺の様子を示す画像を表示する。表示装置４は、ユーザから視認できるよう、車両１のインストルメントパネル等に配置される。
【００３７】
画像生成装置２は、各種の画像処理を行う機能を有し、撮影部３から画像データを取得し、表示装置４に表示するための表示画像を生成する。また、画像生成装置２は、システム全体を制御する制御部２０、不揮発性メモリ２０ａ、計時部２０ｂ、フレームメモリ２１、画像取得部２２、メモリバス２３、画像読出部２４、及び、画像生成部２５を備える。
【００３８】
制御部２０は、ＣＰＵ、ＲＡＭ、及び、ＲＯＭなどを備えたコンピュータである。制御部２０の各種の制御機能は、所定のプログラムに従ってＣＰＵが演算処理を行うことで実現される。例えば、制御部２０は画像処理に必要な各種のパラメータなどを画像生成部２５に指示する。
【００３９】
不揮発性メモリ２０ａは、電源オフ時においても記憶した内容を維持可能なフラッシュメモリ等である。不揮発性メモリ２０ａには、制御部２０の機能を実現するプログラム（ファームウェア）や、車体寸法など車両１固有の情報を示す車両データが記憶される。
【００４０】
計時部２０ｂは、時間を計測し、時刻データを送信するタイマーである。
【００４１】
フレームメモリ２１は、撮影部３が備える４つの車載カメラ３１〜３４で得られた４つの画像データを一時的に記憶するバッファメモリである。図５は、フレームメモリ２１の構成を示す。図に示すように、フレームメモリ２１は３つのバッファメモリＢＭ１、ＢＭ２、及び、ＢＭ３を備える。各バッファメモリは、矢印で示す順序で画像データが順次上書きされる、いわゆるリングバッファＲＢを形成する。すなわち、まずバッファメモリＢＭ１に車載カメラ３１〜３４で得られた４つの画像データが書き込まれた後、バッファメモリＢＭ２に書き込みが行われ、その後、バッファメモリＢＭ３に書き込みが行われる。バッファメモリＢＭ３へ書き込みが行われると、再度、バッファメモリＢＭ１へ上書きが行われ、順次ＢＭ２及びＢＭ３へ上書きが行われる。
【００４２】
画像取得部２２は、４つの画像取得系統２ａ〜２ｄを備え、ＡＳＩＣ等の集積回路により実現される。４つの画像取得系統２ａ〜２ｄはそれぞれ、車載カメラで得られた撮影画像をフレームメモリ２１に書き込む処理系統である。４つの画像取得系統２ａ〜２ｄは４つの車載カメラ３１〜３４にそれぞれ対応し、対応する車載カメラで得られた画像データをフレームメモリ２１に書き込む。なお、これら４つの画像取得系統２ａ〜２ｄは、互いに独立して動作する。また、各画像取得系統２ａ〜２ｄは、Ａ／Ｄ変換部２２ａ、キャプチャ部２２ｂ、キャプチャ判定部２２ｃ、判定グリッド２２ｄ、及び、判定テーブル２２ｅを備える。
【００４３】
Ａ／Ｄ変換部２２ａは、車載カメラからアナログの撮影画像を所定周期で取得し、その撮影画像をデジタルの画像データに変換（Ａ／Ｄ変換）する。これにより、Ａ／Ｄ変換部２２ａは、デジタルの画像データを所定の周期（例えば１／３０秒）で含む映像信号を生成する。
【００４４】
キャプチャ部２２ｂは、車載カメラ３１〜３４で得られた４つの画像データを取得し、取得した画像データをメモリバス２３を介してフレームメモリ２１に送信し、フレームメモリ２１の所定の記憶領域に記憶させる。すなわち、Ａ／Ｄ変換部２２ａから送信される画像データをキャプチャ部２２ｂの備えるバッファに一時的に記憶させ、フレームメモリ２１のそれぞれ異なる記憶領域に画像データを書き込む。上述のフレームメモリ２１のバッファメモリＢＭ１、ＢＭ２、及び、ＢＭ３は、４つの画像取得系統２ａ〜４ｄのそれぞれに対して設定される。したがって、フレームメモリ２１には、４つの車載カメラ３１〜３４で得られた４つの画像データが記憶される。
【００４５】
キャプチャ判定部２２ｃは、キャプチャ部２２ｂがフレームメモリ２１へ画像データを送信するか、非送信とするかを判定する。キャプチャ判定部２２ｃが送信すると判定した画像データについて、キャプチャ部２２ｂはフレームメモリ２１に送信し、所定の記憶領域に書き込みを行う。キャプチャ部２２ｂは、キャプチャ判定部２２ｃの判定に従うことで、画像データをフレームメモリ２１に送信する場合、非送信とする場合、及び、送信と非送信を交互に行い送信する頻度を異ならせる場合とがある。
【００４６】
判定グリッド２２ｄは、画像データを格子状に分割する区切りを示す。図６は、判定グリッド２２ｄを示す図である。画像データは図に示すように（ｉ１、ｊ１）から（ｉｘ、ｊｙ）までのグリッドに区切られる。また、各グリッドは３つの領域Ａ、Ｂ、及び、Ｃのいずれかに分類される。領域Ａは、画像の周辺部であり被写体の映らない領域である。領域Ｂは、車両１の周辺が被写体となり車両１周辺の様子を示す領域である。領域Ｃは、車両１が被写体となる車両部分（ボディー）が映り込んだ領域である。このように画像を領域に分けることにより、キャプチャ判定部２２ｃは、グリッドに分割された領域毎に画像データのフレームメモリ２１への送信可否を判断する。被写体の映らない領域は、合成画像の生成に使用されない非使用領域のため、かかる画像データをフレームメモリ２１へ送信しないことにより、メモリバスの負荷を低減できるからである。
【００４７】
図７は、バックカメラ３４により撮影された車両１の後方を示す撮影画像ＧＢである。撮影画像のうち、領域Ａは画像の周辺部であり被写体の映らない領域である。領域Ｂは、車両１周辺の様子を示す領域である。領域Ｃは、車両１が被写体となる車両部分（ボディー）が映り込んだ領域である。撮影画像に含まれるこれらの画像領域は、判定グリッド２２ｄで区切られた領域Ａ、Ｂ、及び、Ｃに対応する。
【００４８】
図３を参照する。判定テーブル２２ｅは、判定グリッド２２ｄにより分割された画像データの領域毎の送信可否の判定基準となるデータが入力され、キャプチャ判定部２２ｃにより参照されるデータテーブルである。
【００４９】
負荷予測部２２ｆは、計時部２０ｂ及び負荷予測テーブル２２ｇに基づき、メモリバス２３の負荷を検出し、負荷が継続する時間を予測する。そして、検出した負荷及び予測した負荷が継続する時間を負荷が継続する時間を負荷予測テーブル２２ｇに入力する。負荷予測テーブル２２ｇに入力されたこれらのデータは、後述の画像処理部２５ｂにより参照され、画像の詳細度の決定に利用される。なお、メモリバス２３の負荷は、メモリバス２３を伝送する画像データの伝送容量で決定される。
【００５０】
負荷予測テーブル２２ｇは、画像データの容量、画像データの送信開始時刻、画像データの送信終了時刻、及び、送信開始と終了との時間差等からなる項目で構成されるデータテーブルである。
【００５１】
メモリバス２３は、フレームメモリ２１、画像取得部２２、及び、後述の画像読出部２４が接続され、画像取得部２２及び画像読出部２４との間で画像データを送受信するための共通の伝送経路である。
【００５２】
画像読出部２４は、フレームメモリ２１に記憶された４つの画像データを所定の周期で読み出し、４つの画像データを結合することで一の画像データを生成する。そして、画像読出部２４は、結合された画像データを所定の周期（例えば１／３０秒）で含む映像信号を生成する。
【００５３】
画像生成部２５は、表示のための表示画像を生成し、視点変換部２５ａ、画像処理部２５ｂ、及び、画像合成方法データ２５ｃを備える。画像生成部２５が備えるこれらの処理部は、例えばＡＳＩＣ等の集積回路で実現される。
【００５４】
視点変換部２５ａは、画像読出部２４で生成された結合された画像データを用いて任意に選択された任意視点からみた車両１の周辺の領域を示す任意視点画像を生成する。この任意視点画像を生成する手法は、後に詳述する。
【００５５】
画像処理部２５ｂは、視点変換部２５ａに生成された任意視点画像を含む、表示装置４の表示に用いる表示画像を生成する。そして、画像処理部２５ｂは、生成した表示画像を表示装置４に出力する。これにより、任意視点画像を含む表示画像が表示装置４に表示される。
【００５６】
画像合成方法データ２５ｃは、各任意視点における画像データの合成方法を示すデータである。例えば、俯瞰視点や後方視点、側面視点を生成する際に、各視点において画像処理部２５ｂにより使用される画像を示すデータである。
【００５７】
＜１−３．任意視点画像の生成＞
次に、任意の視点からみた車両１周辺の領域を示す任意視点画像を生成する手法について説明する。図８は、任意視点画像を生成する手法を説明するための図である。
【００５８】
撮影部３のフロントカメラ３１、左サイドカメラ３２、右サイドカメラ３３、及び、バックカメラ３４が、車両１周辺の領域を撮影することで、車両１の前方、左側方、右側方、及び、後方をそれぞれ示す４つの撮影画像ＧＦ、ＧＬ、ＧＲ、及び、ＧＢ（以下、ＧＦ等という。）が取得される（第１ステップ）。撮影画像ＧＦ等は、車両１の全周囲を示す情報を含み、フレームメモリ２１に記憶される。
【００５９】
次に、画像読出部２４が、４つの撮影画像ＧＦ等をフレームメモリ２１からメモリバス２３を介して読み出し、４つの撮影画像ＧＦ等を結合する。これにより、４つの撮影画像ＧＦ等を縦２×横２に配列して含む結合画像ＵＰが生成される（第２ステップ）。この結合画像ＵＰは、画像読出部２４から視点変換部２５ａに送信される。
【００６０】
次に、視点変換部２５ａが、結合画像ＵＰの各画素を、仮想的な三次元空間における立体曲面ＴＳに投影する（第３ステップ）。立体曲面ＴＳは例えば略半球状（お椀形状）をなし、その中心部分（お椀の底部分）が車両１の存在位置として定められる。結合画像ＵＰに含まれる各画素の位置と、この立体曲面ＴＳの各画素の位置とは予め対応関係が定められる。このため、立体曲面ＴＳの各画素の値は、この対応関係と結合画像ＵＰに含まれる各画素の値とに基づき決定できる。
【００６１】
結合画像ＵＰの各画素の位置と立体曲面ＴＳの各画素の位置との対応関係は、車両１における４つの車載カメラ３１〜３４の配置（相互間距離、地上高さ、光軸角度等）に依存する。この対応関係を示すデータは、不揮発性メモリ２０ａに車両データとして予め記憶される。
【００６２】
視点変換部２５ａは、この車両データに含まれる車体の形状や容量を利用し、車両１の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両１のモデルは、立体曲面ＴＳが設定される三次元空間において、車両１の存在位置と定められた略半球状の中心部分に配置される。
【００６３】
さらに、視点変換部２５ａは、立体曲面ＴＳが存在する三次元空間に対し、制御部２０からの指示に基づき任意視点ＶＰを設定する。任意視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両１近傍に相当する任意の視点位置に任意の視野方向に向けて設定される。任意視点ＶＰは、車両１の直上や後方等予め複数の視点が用意され、ユーザにより選択される。制御部２０は、ユーザにより選択された任意視点ＶＰの位置を視点変換部２５ａに指示する。なお、任意視点ＶＰは、車両１が駐停車した位置や走行状況に応じて選択されてもよい。例えば、発進直前は車両１の直上からの視点が選択され、交差点での右左折の際には車両１の側方を示す視点が選択され、駐車場に進入時は車両１の後方を示す視点が選択されてもよい。
【００６４】
そして、視点変換部２５ａは、選択された任意視点ＶＰに応じて、立体曲面ＴＳにおける必要な領域を画像として切り出す。任意視点ＶＰと、立体曲面ＴＳにおける必要な領域との関係は予め定められ、不揮発性メモリ２０ａに予め記憶される。また、視点変換部２５ａは、設定した任意視点ＶＰに応じ、ポリゴンのモデルに対してレンダリングを行い、二次元の車両１の像を切り出した画像に重畳する。これにより、視点変換部２５ａは、車両１及び車両１の周辺を任意の任意視点ＶＰからみた様子を示す任意視点画像ＣＰを生成する（第４、第５、第６ステップ）。
【００６５】
例えば、視点位置が車両１の略中央の直上、視野方向が直下方向とした任意視点ＶＰ１を設定した場合、視点変換部２５ａは、車両１の略直上から車両１を見下ろすように車両１及び周辺領域を示す任意視点画像ＣＰ１を生成する（第４ステップ）。
【００６６】
また、視点位置が車両１の左後方、視野方向が車両１の略前方方向とした任意視点ＶＰ２を設定した場合、視点変換部２５ａは、車両１の左後方からその周辺全体を見渡すように車両１及び周辺領域を示す任意視点画像ＣＰ２を生成する（第５ステップ）。
【００６７】
また、視点位置が車両１の後方、視野方向が車両１の略後方方向とした任意視点ＶＰ３を設定した場合、視点変換部２５ａは、車両１の後方からその周辺全体を見渡すように車両１及び周辺領域を示す任意視点画像ＣＰ３を生成する（第６ステップ）。
【００６８】
画像表示システム１００は、このような画像生成部２５の機能により、車両１周辺の任意の視点からみた画像を生成し、表示装置４で表示を行う。
【００６９】
＜１−４．処理手順＞
次に、画像表示システム１００の処理手順について説明する。画像表示システム１００は、所定周期で任意視点画像を生成する。生成された任意視点画像は、表示装置４において表示画像として所定周期で更新及び表示される。画像表示システム１００のユーザは、この表示装置４に表示された表示画像を視認することで、車両１周辺の様子をほぼリアルタイムに把握できる。
【００７０】
＜１−４−１．画像生成装置の処理＞
図９は、画像生成装置２の処理手順を示す。画像生成装置２は、図に示される処理を所定の周期（例えば１／３０秒）で繰り返し実行する。
【００７１】
まず、制御部２０が各種パラメータの設定を行う（ステップＳ１１）。
【００７２】
制御部２０による各種パラメータの設定が行われると、画像取得部２２が、撮影画像を取得し、メモリバス２３を介してフレームメモリ２１へ記憶させる処理を行う（ステップＳ１２）。画像取得部２２が撮影画像を取得する処理等については、後に詳述する。
【００７３】
画像取得部２２により撮影画像が取得されると、負荷予測部２２ｆが、メモリバス２３の負荷を予測する処理を行う（ステップＳ１３）。メモリバス２３の負荷を予測する処理についても、後に詳述する。
【００７４】
次に、画像生成部２５が、表示画像を生成する処理を行う（ステップＳ１４）。この際、画像生成部２５は、カメラ３１〜３４でそれぞれ得られた複数の画像データの少なくとも一つを用い、複数の任意視点のうちから選択される視点からみた車両１周辺を示す表示画像を生成する。また、画像生成部２５は、負荷予測テーブル２２ｇからメモリバス２３の負荷及び負荷の継続時間の予測値を参照し、負荷及び負荷の継続時間の予測値に応じて表示画像の詳細度を異ならせる。すなわち、メモリバス２３の負荷が高く、かつ高い負荷が長時間継続すると予測される場合には詳細度を低下させ、メモリバス２３の負荷が低い場合、及び、高い負荷が長時間継続しないと予測される場合には、詳細度を向上させる。これにより、メモリバス２３の負荷が高まった場合でも円滑に画像生成の処理と表示を行うことができ、またメモリバス２３の負荷が低い場合には詳細な画像を生成することができる。なお、詳細度とは画像生成に使用されるポリゴンの数により決定される。すなわち、画像生成部２５は、詳細度を低下させる場合にはポリゴン数を減少させ、詳細度を向上させる場合にはポリゴン数を増加させる。
【００７５】
次に、画像生成部２５が、表示装置４へ生成した表示画像を出力する処理を行う（ステップＳ１５）。表示画像が表示装置４へ表示されることにより、ユーザは車両１周辺の様子を視認し、安全確認等を行うことができる。画像生成部２５により表示画像が出力されると、本処理は終了する。
【００７６】
＜１−４−２．パラメータ設定の処理＞
次に、ステップＳ１１におけるパラメータの設定処理について説明する。図１０は、制御部２０によるパラメータ設定の詳細な処理手順を示し、図９のステップＳ１１の詳細を示す。
【００７７】
まず、制御部２０が、画像合成方法パラメータの設定を行う（ステップＳ３１）。画像合成方法パラメータとは任意視点の位置を示すパラメータである。すなわち、前述の結合画像を生成する際の俯瞰視点や後方視点等を示すデータである。視点変換部２５ａが画像合成方法パラメータを参照し、任意視点の変換を行う。なお、画像合成方法パラメータは、画像生成部２５の画像合成方法データ２５ｃに記憶されている。画像合成方法パラメータは、画像表示システムの起動初期においては、俯瞰視点を示すよう設定されることが好ましい。車両周辺の確認が特に必要となる車両始動時において、ドライバが車両１周辺を確認できるからである。
【００７８】
次に、制御部２０はカメラ依存パラメータの設定を行う（ステップＳ３２）。カメラ依存パラメータとは、撮影画像のうち画像生成に使用されない画像領域であって、車載カメラ３１〜３４毎に決定される画像領域（図６及び図７における領域Ａ）を示すパラメータである。制御部２０がグリッド単位での領域を設定することで、カメラ依存パラメータは設定される。なお、設定される領域は、判定グリッド２２ｄでのグリッド単位のほか、その倍数でもよい。したがって、垂直画素方向に１ライン単位でもよく、また数ライン単位でもよい。
【００７９】
次に、制御部２０は合成画像依存パラメータの設定を行う（ステップＳ３３）。合成画像依存パラメータとは、撮影画像のうち画像生成に使用される画像領域（図６及び図７における領域Ｂ及び領域Ｃ）を示すパラメータである。任意視点の位置により画像生成に使用される画像領域は異なるため、合成画像依存パラメータの設定が行われる。例えば、画像合成方法に俯瞰視点が設定されている場合には、合成画像依存パラメータとして前後左右の画像において自車のボディが映り込んでいない画像領域が画像生成の使用領域として設定される。また、画像合成方法に後方視点が設定されている場合には、後方カメラ画像の全体領域が画像生成の使用領域として設定され、前方及び左右カメラの画像は非使用領域として設定される。なお、合成画像依存パラメータは、カメラ依存パラメータと同様に、制御部２０がグリッド単位での領域を設定することで、設定される。
【００８０】
次に、制御部２０は負荷予測テーブル２２ｇの初期化を行う（ステップＳ３４）。初期化が行われることで、負荷予測テーブル２２ｇへのデータ入力が可能となる。負荷予測テーブル２２ｇに対する処理は後に詳述する。
【００８１】
＜１−４−３．画像取得の処理＞
次に、ステップＳ１２における画像取得の処理の詳細について、図１１及び図１２を参照して説明する。図１１は、判定テーブル２２ｅを示す。図に示すように、判定テーブル２２ｅは、領域、グリッド座標、遷移条件、判定値、及び、カウンタの項目を含む複数のレコードからなるデータテーブルである。領域には、図６及び図７で示したＡ、Ｂ、及び、Ｃのいずれかが示される。グリッド座標は、図６で示したｉ及びｊの座標が（ｉ１、ｊ１）から（ｉｘ、ｊｙ）まで全て示される。遷移条件は、Ｓ及びＴの項目からなり１又は０の数値が入力される。判定値は、Ｓ又はＴが入力され、キャプチャ部２２ｂはかかる判定値を参照して画像データの送信、非送信を決定する。カウンタは、０以上の数値が入力され、所定条件で１づつ増加し、また０にリセットされる。
【００８２】
図１２は、画像取得部２２による撮影画像を取得する処理手順を示し、図９のステップＳ１２の詳細を示す。４つの画像取得系統２ａ〜２ｄのそれぞれは、画像取得部２２による撮影画像を取得する処理を、独立して所定周期で繰り返し実行する。
【００８３】
まず、キャプチャ部２２ｂが、Ａ/Ｄ変換部２２ａから判定グリッド単位のデジタルの画像データを（ｉ１、ｊ１）から（ｉｘ、ｊｙ）まで順次受信し、キャプチャ部２２ｂが備えるバッファに記憶する（ステップＳ５１）。
【００８４】
次に、グリッド（ｉ１、ｊ１）から（ｉｙ、ｊｘ）までの全てのグリッドに対する画像データについて、フレームメモリ２１へ送信するか否かを判定する送信判定処理を行う。送信判定処理は、以下のステップＳ５２からステップＳ５８により、判定テーブル２２ｅの値を更新しつつ実行される。なお、送信判定処理の結果により、キャプチャ部２２ｂは、判定テーブル２２ｅの判定値がＳとなった場合に画像データをフレームメモリ２１へ送信し、判定テーブル２２ｅの判定値がＴとなった場合には画像データをフレームメモリ２１へ送信しない（非送信）。
【００８５】
まず、キャプチャ判定部２２ｃは、バッファに入力された画像データ（以下、「エントリ」という場合がある。）の判定グリッド２２ｄにおけるｉ及びｊで示される座標に対応する、判定テーブル２２ｅのレコードを特定する（エントリの特定）（ステップＳ５２）。
【００８６】
判定テーブル２２ｅにおける参照すべきレコードが特定されると、キャプチャ判定部２２ｃは、フレームメモリ２１のリングバッファＲＢの備える３つのバッファメモリＢＭ１、ＢＭ２、及び、ＢＭ３のうち、バッファメモリＢＭ１（リングバッファＲＢの先頭）に画像データを書き込み又は上書きするタイミングか否か判断する（ステップＳ５３）。
【００８７】
キャプチャ判定部２２ｃは、リングバッファＲＢの先頭で画像データを書き込み又は上書きするタイミングであると判断すると（ステップＳ５３でＹｅｓ）判定テーブル２２ｅの判定値の項目を遷移させるか否か判定する（ステップＳ５４）。判定値の遷移とは、判定値がＳである場合にＴに、Ｔである場合にＳに変更する処理である。具体的には、キャプチャ判定部２２ｃは、判定テーブル２２ｅのカウンタの値を参照し、カウンタ値が２つの遷移条件（Ｓ及びＴ）のうち現在の判定値と同一の方に入力されている値以上か否かを判定する。なお、リングバッファＲＢの先頭でないバッファメモリＢＭ２及び第３バッファメモリＢＭ３に画像データを書き込み又は上書きするタイミングにおいては（ステップＳ５３でＮｏ）、判定値の項目を遷移させるか否か判定は行われない。
【００８８】
キャプチャ判定部２２ｃは、判定テーブル２２ｅのカウンタ値が遷移条件の値以上と判定した場合（ステップＳ５４でＹｅｓ）、現在の判定値の値がＳであればＴ、ＴであればＳに変更する（ステップＳ５５）。
【００８９】
キャプチャ判定部２２ｃは、判定値の値を変更すると、判定テーブル２２ｅのカウンタ値を０にリセットする（ステップＳ５６）。そして、キャプチャ判定部２２ｃは、カウンタ値を０にリセットすると、判定テーブル２２ｅの判定値の項目を遷移させるか否かの判定を再度行う（ステップＳ５４に戻る）。
【００９０】
一方、キャプチャ判定部２２ｃは、ステップＳ５４の処理において、判定テーブル２２ｅのカウンタ値が現在の判定値の項目に示される遷移条件の値以上でないと判定すると、カウンタ値に１を加算する（ステップＳ５７）。
【００９１】
キャプチャ判定部２２ｃは、カウンタ値への加算を実行した場合、及び、ステップＳ５３の判断でリングバッファＲＢの先頭でないと判断した場合（ステップＳ５３でＮｏ）、判定テーブル２２ｅの判定値がＳ及びＴのいずれかであるかを取得し、この値をキャプチャ部２２ｂへ送信する（ステップＳ５８）。キャプチャ部２２ｂはキャプチャ判定部２２ｃより送信された判定値の値に基づき、画像データをフレームメモリ２１へ送信するか否かを判断する。すなわち、判定値がＳである場合には画像データをフレームメモリ２１へ送信し、判定値がＴである場合には画像データをフレームメモリ２１へ送信しない。
【００９２】
なお、判定テーブル２２ｅの判定値及びカウンタ値は、次回の送信判定処理まで持ち越される。すなわち、ステップＳ５７を実行後の判定テーブル２２ｅの判定値及びカウンタ値が、次回の送信判定処理で用いられる。ただし、画像表示システム１００の制御が終了した後、再度起動した場合には、初期化処理によりカウンタ値は０に設定され、かつ判定値はＳに設定される。なお、次回の送信判定処理とは、今回、画像データを送信する対象となったバッファメモリの次に画像データを送信する対象となるバッファメモリに対して、画像データを書き込み又は上書きするタイミングにおいて実行される送信判定処理である。バッファメモリＲＢ１からＲＢ３へ画像データを書き込み又は上書きする順序は、図５の矢印で示す通りである。
【００９３】
また、前述の通り、バッファメモリＢＭ２及びバッファメモリＢＭ３に画像データを書き込み又は上書きするタイミングにおいては（ステップＳ５３でＮｏ）、判定値の項目を遷移させるか否か判定は行われない。したがって、バッファメモリＢＭ２及びバッファメモリＢＭ３に画像データを書き込み又は上書きするタイミングにおいては、リングバッファＲＢの先頭での送信判定処理で設定された判定値Ｓ及びＴのいずれかが送信される。
【００９４】
ここで、ステップＳ５２からステップＳ５８による送信判定処理について、図１１をも参照し、具体的なエントリを用いて説明する。ここで説明するエントリは、（ｉ１、ｊ１）、（ｉ１、ｊ４）、（ｉ１１、ｊ２）であり、リングバッファＲＢの先頭である場合（ステップＳ５３でＹｅｓ）とする。
【００９５】
まず、エントリが（ｉ１、ｊ１）の場合（領域Ａの場合）について、判定値Ｓ及びＴのいずれかがキャプチャ部２２ｂへ送信されるか説明する。エントリが（ｉ１、ｊ１）である判定テーブル２２ｅにおけるレコードは、遷移条件Ｓが０、Ｔが１、判定値はＳ、カウンタ値は０である（図１１のレコードＲ１を参照。）（ステップＳ５２）。この場合、カウンタの初期値０と遷移条件Ｓの値０を対比すると（ステップＳ５４）、カウンタ値は遷移条件の値以上であるため（ステップＳ５４でＹｅｓ）、判定値をＳからＴへ遷移させ、カウンタ値を０にリセットする（ステップＳ５５、Ｓ５６）。
【００９６】
ステップＳ５４に戻り、この判定値とカウンタ値を用いて、判定値の遷移を判定する。カウンタ値はＴの遷移条件の値である１以上でないため、遷移は発生しない（ステップＳ５４でＮｏ）。そして、カウンタ値は１となり、判定値Ｔがキャプチャ部２２ｂへ送信され（ステップＳ５７、Ｓ５８）、送信判定処理は終了する。
【００９７】
次回の送信判定処理においては、判定値Ｔ及びカウンタ値１が持ち越されて参照される。判定値の遷移の判定では（ステップＳ５４）、カウンタ値はＴの遷移条件の値である１以上のため、遷移が発生し判定値はＳになり、カウンタ値が０にリセットされる（ステップＳ５５、Ｓ５６）。
【００９８】
ステップＳ５４に戻り、この判定値とカウンタ値を用いて、判定値の遷移を判定すると（ステップＳ５４）、Ｓの遷移条件の値は０のため、遷移が発生し判定値はＳから再度Ｔになり、カウンタ値は０にリセットされる（ステップＳ５５、Ｓ５６）。さらに、判定値の遷移が判定されると（ステップＳ５４）、カウンタ値が１加算され判定値Ｔが送信されて（ステップＳ５７、Ｓ５８）、送信判定処理は終了する。
【００９９】
すなわち、遷移条件Ｓが０、Ｔが１である場合には、いずれの送信判定処理においても判定値Ｔがキャプチャ部２２ｂへ送信され、該当する判定グリッドの画像データは、常にフレームメモリ２１へ送信されることがない。
【０１００】
次に、エントリが（ｉ１、ｊ４）である場合（領域Ｂの場合）の送信判定処理について説明する。この場合、判定テーブル２２ｅにおけるレコードは、遷移条件Ｓが１、Ｔが０、判定値はＳ、カウンタ値は０である（図１１のレコードＲ２を参照。）（ステップＳ５３）。
【０１０１】
ＳをＴへ遷移させる条件の値が１以上でない０であるため、判定値の遷移は発生せず（ステップＳ５４でＮｏ）、カウンタ値は１となり、判定値Ｓがキャプチャ部２２ｂへ送信され（ステップＳ５７、Ｓ５８）、送信判定処理は終了する。
【０１０２】
次回の送信判定処理においては、遷移条件の判定値Ｓの遷移条件の値が１以上のため（ステップＳ５４でＹｅｓ）、判定値はＳからＴへ遷移し、カウンタ値が０にリセットされる（ステップＳ５５、Ｓ５６）。この条件で、ステップＳ５４に戻り、判定値の遷移を判断する。Ｔの遷移条件の値は０のため、判定値の遷移が発生し、判定値はＴから再度Ｓになり、カウンタ値は０にリセットされる（ステップＳ５５、Ｓ５６）。再度ステップＳ５４に戻り、判定値の遷移を判定すると、ＳをＴへ遷移させる条件の値が１以上でない０であるため、判定値の遷移は発生しない（ステップＳ５４でＮｏ）。そして、カウンタ値を１加算した後、判定値Ｓがキャプチャ部２２ｂへ送信され（ステップＳ５７、Ｓ５８）、送信判定処理は終了する。
【０１０３】
すなわち、遷移条件Ｓが１、Ｔが０である場合には、いずれの送信判定処理においても判定値Ｓがキャプチャ部２２ｂへ送信され、該当する判定グリッドの画像データは、常にフレームメモリ２１へ送信される。
【０１０４】
さらに、エントリが（ｉ１１、ｊ２）である場合（領域Ｃの場合）の送信判定処理について説明する。この場合、判定テーブル２２ｅにおけるレコードは、遷移条件Ｓが１、Ｔが１、判定値はＳ、カウンタ値は０である（図１１のレコードＲ３を参照。）（ステップＳ８３）。最初の遷移判定では、Ｓの遷移条件の値が１以上でないため、遷移は発生せず、カウンタは１となり、判定値Ｓが送信され、送信判定処理は終了する。次回の送信判定処理における判定値の遷移判定では、カウンタ値がＳの遷移条件の値１以上のため、遷移が発生し判定値はＴになり、カウンタが０にリセットされる。ステップＳ８３に戻り、この条件で判定値の遷移を判定する。判定値の遷移では、カウンタ値がＴの遷移条件の値である１以上でないため、遷移は発生せず、カウンタ値は１となり、判定値Ｔが送信される。次回の送信判定処理の遷移判定では、カウンタ値がＴの遷移条件の値１以上のため、遷移が発生し判定値はＳになり、カウンタが０にリセットされる。ステップＳ８４に戻り、この条件で判定値の遷移を判定する。判定値の遷移判定では、Ｓの遷移条件の値である１以上でないため、遷移は発生せず、カウンタは１となり、判定値Ｓが送信され、送信判定処理は終了する。
【０１０５】
すなわち、遷移条件Ｓが１、Ｔが１である場合には、判定値ＳとＴがキャプチャ部２２ｂへ交互に送信され、該当する判定グリッドの画像データは、交互にフレームメモリ２１へ送信される。つまり、本実施の形態においては、領域Ｃの判定グリッド（ｉ１１、ｊ２）に該当する画像データは、領域Ｂの判定グリッド（ｉ１、ｊ４）に該当する画像データよりも、フレームメモリ２１へ送信される頻度が低い。
【０１０６】
以上のように、送信判定処理においてキャプチャ部２２ｂは、キャプチャ判定部２２ｃから送信された判定値に基づき、画像データをフレームメモリ２１へ送信するか否か判断する。すなわち、キャプチャ判定部２２ｃから送信された判定値がＳである場合には画像データをフレームメモリ２１へ送信し、同様にＴである場合には画像データをフレームメモリ２１へ送信しない。したがって、常に画像データをフレームメモリ２１へ送信する場合には、遷移条件Ｓを１、Ｔを０に設定すればよい。また、常に画像データをフレームメモリ２１へ送信しない場合（非送信）には、遷移条件Ｓを０、Ｔを１に設定すればよい。また、画像データをフレームメモリ２１への送信と非送信を交互に行う場合（交互送信）には、遷移条件Ｓを１、Ｔを１に設定すればよい。これにより、画像データの複数の領域のうち、車両１の周辺の様子を示す領域Ｂを「送信」に設定し、かつ車両１が被写体となる車両部分である領域Ｃを「交互送信」に設定することで、領域Ｃの画像データについて領域Ｂの画像データよりもフレームメモリ２１に送信する頻度を低下させることができる。
【０１０７】
次に、ステップＳ５８以下の処理について説明する。ステップＳ５８において、キャプチャ判定部２２ｃから判定値Ｓが送信されると、キャプチャ部２２ｂは、画像データの記憶アドレスの算出を行う（ステップＳ５９）。記憶アドレスは、フレームメモリ２１において画像データを記憶するアドレスであり、画像データのグリッド位置とリングバッファＲＢのバッファ番号とに関連付けられ算出される。
【０１０８】
記憶アドレスの算出を行うと、キャプチャ部２２ｂは、算出したアドレスを指定して、メモリバス２３を介してフレームメモリ２１に画像データへ送信し、記憶する（ステップＳ６０）。
【０１０９】
次に、フレームメモリ２１のリングバッファＲＢへ画像データを記憶する手法について説明する。図７の領域Ａは図６における（ｉ１、ｊ１）、同様に領域Ｂは（ｉ１、ｊ４）、同様に領域Ｃは（ｉ１１、ｊ２）と遷移条件が同一の設定がなされている。すなわち、領域Ａは常にフレームメモリ２１のリングバッファＲＢに送信しない領域となり、領域Ｂは常に送信する領域となり、領域Ｃは送信と非送信を交互に遷移する領域となる。このため、領域ＢとＣが送信される場合と、領域Ｂのみ送信される場合とが生じる。フレームメモリ２１のリングバッファＲＢの数が３である場合、領域Ｂと領域Ｃとが送信される場合と、領域Ｂのみが送信される場合との双方が、交互に現れる。送信されなかった画像データに対するメモリ領域は、上書きされずに以前に書き込まれた画像データが保持される。すなわち、領域Ｃについては、前回記憶時に書き込まれた画像データが保持されている。これにより、領域Ｃは画像データの送信が行われない場合でも、前回に記憶した画像データを参照することで、低頻度で更新された画像データで画像生成を行うことが可能となる。
【０１１０】
キャプチャ部２２ｂによりフレームメモリ２１に画像データが送信されると、キャプチャ判定部２２ｃは、全ての判定グリッド（ｉ１、ｊ１）から（ｉx、ｊｙ）について送信判定処理が行われたか判断する（ステップＳ６１）。
【０１１１】
キャプチャ判定部２２ｃが、全ての判定グリッドについて送信判定処理が行われたと判断すると（ステップＳ６１でＹｅｓ）、本処理は図９の画像生成装置の処理へ戻る。
【０１１２】
一方、キャプチャ判定部２２ｃは、全ての判定グリッドについて送信判定処理が行われていないと判断すると（ステップＳ６１でＮｏ）、次に送信判定処理が行われるべき判定グリッドを特定する（ステップＳ６２）。処理はステップＳ５２に戻り、特定された判定グリッドに対応するエントリの特定が行われる。以後、全ての判定グリッドについて送信判定処理が行われるまで、処理は繰り返し実行される。
【０１１３】
このように、ｉとｊで特定される各グリッド座標に対し、判定テーブル２２ｅにおけるＳ及びＴの値を予め設定しておくことで、フレームメモリ２１への送信と非送信とを設定することができる。すなわち、判定テーブル２２ｅにおけるＳの値を１、Ｔの値を０と設定すれば、該当するグリッド座標の画像データは常に送信される。また、判定テーブル２２ｅにおけるＳの値を０、Ｔの値を１と設定すれば、該当するグリッド座標の画像データは常に送信されることがない。さらに、判定テーブル２２ｅにおけるＳの値を１、Ｔの値を１と設定すれば、該当するグリッド座標の画像データは送信と非送信が交互に行われる。なお、ユーザが車載カメラの画像と判定グリッドを対比し、判定テーブルの遷移条件の値を予め設定することで、判定グリッド毎に画像データの送信、非送信、及び、交互送信のいずれかを任意に設定してもよい。
【０１１４】
このように、キャプチャ部２２ｂは、判定テーブル２２ｅに設定されたデータに基づき、撮影画像データのうち表示のための画像生成に用いない非使用領域に該当するデータをフレームメモリ２１に送信しないよう処理することができる。したがって、メモリバス２３に入出力される画像データの容量を減少させることができ、メモリバス２３の負荷を低減することが可能となる。
【０１１５】
また、キャプチャ部２２ｂは、車両部分を被写体とする画像領域（領域Ｃ）をフレームメモリ２１に送信する頻度を、選択された任意視点に応じて変化させることで、メモリバス２３の負荷をより低減することができる。例えば、任意視点に俯瞰視点が選択されている場合には、車両部分を被写体とするグリッド領域は画像生成に利用されないので、かかるグリッド領域をフレームメモリ２１に送信する頻度を低下させるか、非送信とすればよい。また、任意視点に後方視点が選択されている場合は、車両部分を被写体とするグリッド領域は画像生成に利用されるので、かかるグリッド領域をフレームメモリ２１に送信する頻度を向上させればよい。
【０１１６】
また、キャプチャ部２２ｂは、車両部分を被写体として含む画像領域（領域Ｃ）をフレームメモリ２１に送信する頻度を、画像生成部２５が画像生成に利用する撮影画像に応じて変化させることで、メモリバス２３の負荷をより低減することができる。例えば、画像生成部２５が画像生成に後方画像を利用する場合は、車外の障害物と車両との間隔を表示することが重要となるため、車両部分を含む画像領域をフレームメモリ２１に送信する頻度を向上させるが、前方画像を画像生成に利用する場合は頻度を低下させればよい。車両１前方はユーザにより目視可能だからである。
【０１１７】
＜１−４−４．負荷予測の処理＞
次に、メモリバス２３の負荷を予測する処理について、図１３及び図１４を参照して説明する。図１３は、負荷予測テーブル２２ｇを示す。負荷予測テーブル２２ｇは、状態、画像容量、開始時刻、終了時刻、及び、時間差からなる項目で構成されるデータテーブルであり、負荷予測部２２ｆにより各データの入力及び更新が行われる。なお、負荷予測テーブル２２ｇは、図３に示すように、撮影部３のカメラ毎に画像取得部２２に備えられている。
【０１１８】
状態（ｉ）は、キャプチャ部２２ｂからフレームメモリ２１へ領域Ｂと領域Ｃとの画像が送信される状態である。状態（ｉｉ）は、キャプチャ部２２ｂからフレームメモリ２１へ領域Ｂのみの画像が送信される状態である。なお、状態（ｉ）及び（ｉｉ）は、リングバッファＲＢの先頭における送信判定処理が実行された場合に、互いの状態が遷移する。
【０１１９】
画像容量Ｐ１は、領域Ｂを示す画像の容量と、領域Ｃを示す画像の容量とを合わせた画像容量である。画像容量Ｐ２は、領域Ｂを示す画像の容量のみの画像容量である。画像容量Ｐ１及びＰ２の画像データが、メモリバス２３を伝送した場合に、メモリバス２３の負荷となる。したがって、画像容量Ｐ１は画像容量Ｐ２よりも容量が大きいため、容量Ｐ１の画像データがメモリバス２３を伝送すると、容量Ｐ２の画像データがメモリバス２３を伝送した場合よりも、高負荷となる。画像容量Ｐ１と画像容量Ｐ２とが周期的にメモリバス２３を伝送することにより、メモリバス２３の負荷は周期的に変化する。
【０１２０】
開始時刻Ｓ１は、キャプチャ部２２ｂからフレームメモリ２１へ領域Ｂと領域Ｃとの画像送信の開始時刻である。開始時刻Ｓ２は、キャプチャ部２２ｂからフレームメモリ２１へ領域Ｂのみの画像送信の開始時刻である。
【０１２１】
終了時刻Ｅ１は、キャプチャ部２２ｂからフレームメモリ２１へ領域Ｂと領域Ｃとの画像送信の終了時刻である。終了時刻Ｅ２は、キャプチャ部２２ｂからフレームメモリ２１へ領域Ｂのみの画像送信の終了時刻である。
【０１２２】
時間差Ｄ１は、キャプチャ部２２ｂからフレームメモリ２１へ領域Ｂと領域Ｃとの画像送信の開始時刻と終了時刻との時間差である。時間差Ｄ２は、キャプチャ部２２ｂからフレームメモリ２１へ領域Ｂのみの画像送信の開始時刻と終了時刻との時間差である。
【０１２３】
図１４は、メモリバス２３の負荷を検出し、負荷が継続する時間を予測する処理手順を示し、図９のステップＳ１３の詳細を示す。この処理は、バッファメモリＢＭ１からＢＭ３のいずれかのバッファメモリへ画像データの送信が完了した時点で実行される。
【０１２４】
まず、負荷予測部２２ｆが、負荷予測テーブル２２ｇが初期化されているか否か判断する（ステップＳ７１）。負荷予測テーブル２２ｇを初期化する処理は、状態（ｉ）（ｉｉ）毎に、画像容量、開始時刻、終了時刻、及び、時間差の各項目に対し、所定の値を入力することで行われる。入力される値は、判定テーブルのＳ及びＴに基づいて設計時に決定しておけばよい。なお、開始時刻及び終了時刻は初期化時点の時刻を入力すればよく、時間差は０を入力すればよい。負荷予測テーブル２２ｇを初期化する処理は、パラメータ設定処理（図１０）のステップＳ３４にて実行される。
【０１２５】
負荷予測部２２ｆは、負荷予測テーブル２２ｇが初期化されていないと判断する場合（ステップＳ７１でＮｏ）、画像処理部２５ｂへ初期化されていない旨の信号を送信する（ステップＳ７２）。なお、画像処理部２５ｂは、負荷予測テーブル２２ｇが初期化されていない旨の信号を受信すると、画像の詳細度を決定する際の負荷予測テーブル２２ｇの参照を行わない。本ステップが実行されると、負荷予測テーブル２２ｇへのデータの入力及び更新を行わず、処理は、図９に示す画像生成装置の処理手順に戻る。
【０１２６】
一方、負荷予測部２２ｆは、負荷予測テーブル２２ｇが初期化されていると判断する場合（ステップＳ７１でＹｅｓ）、キャプチャ部２２ｂからフレームメモリ２１へ送信された画像データの容量（Ｐ１及びＰ２）を検出する。（ステップＳ７３）。
【０１２７】
次に、負荷予測部２２ｆは、負荷予測テーブル２２ｇの各欄にデータの入力を行う（ステップＳ７４）。すなわち、送信状態が（ｉ）及び（ｉｉ）のそれぞれにおいて、ステップＳ７３で検出されたキャプチャ部２２ｂから送信された画像データの容量（Ｐ１及びＰ２）、送信の開始時刻（Ｓ１及びＳ２）、送信の終了時刻（Ｅ１及びＥ２）、及び、開始時刻と終了時刻との時間差（Ｄ１及びＤ２）を取得し、負荷予測テーブル２２ｇの各欄に入力する。
【０１２８】
以下に説明するステップＳ７５からステップＳ８３までの処理は、ステップＳ７４で入力された負荷予測テーブル２２ｇのデータを更新する処理である。なお、ステップＳ７９及びステップＳ８３で更新される終了時刻の値は、メモリバス２３の負荷の継続時間の予測値となる。
【０１２９】
負荷予測部２２ｆは、送信状態が（ｉ）から（ｉｉ）へ遷移した時点か、又は（ｉｉ）から（ｉ）へ遷移した時点のいずれであるか判断する（ステップＳ７５）。送信状態が遷移した時点で負荷予測テーブル２２ｇのデータの更新を行うためである。いずれの時点でもないと判断する場合（ステップＳ７５でＮｏ）には、送信状態が遷移するまで本ステップの判断を繰り返し実行する。なお、送信状態が遷移した時点の判断は、今回の画像データの送信が完了したバッファメモリがバッファメモリＢＭ１（リングバッファＲＢの先頭）であるか否かにより判断すればよい。前述の通り、リングバッファＲＢの先頭における送信判定処理が実行された場合に、画像データの送信状態が遷移するからである。
【０１３０】
一方、負荷予測部２２ｆは、送信状態が（ｉ）から（ｉｉ）へ遷移した時点と判断する場合、送信状態（ｉ）の終了時刻の欄に計時部２０ｂから取得した現在時刻を入力する（ステップＳ７６）。本ステップは、送信状態が（ｉ）から（ｉｉ）へ遷移した時点に実行されるので、送信状態（ｉ）の終了時刻は現在時刻となるからである。
【０１３１】
次に、負荷予測部２２ｆは、送信状態（ｉ）の時間差の欄に終了時刻と開始時刻との時間差を入力する（ステップＳ７７）。本ステップで入力した時間差が、直前の送信状態（ｉ）における画像送信の処理時間となる。
【０１３２】
次に、負荷予測部２２ｆは、送信状態（ｉｉ）の開始時刻の欄に計時部２０ｂから取得した現在時刻を入力する（ステップＳ７８）。本ステップは、送信状態が（ｉ）から（ｉｉ）へ遷移した時点に実行されるので、送信状態（ｉｉ）の開始時刻は現在時刻となるからである。
【０１３３】
次に、負荷予測部２２ｆは、送信状態（ｉｉ）の終了時刻の欄に開始時刻に時間差を加算した時刻を入力する（ステップＳ７９）。本ステップで入力した送信状態（ｉｉ）の終了時刻は、画像送信処理の終了時刻の予測値となる。すなわち、負荷予測部２２ｆは、メモリバス２３の負荷の周期的な変化に基づいて、負荷（画像容量と継続時間）の予測を行う。
【０１３４】
なお、画像処理部２５ｂは、本処理で負荷予測テーブル２２ｇに入力された画像容量（Ｐ１、Ｐ２）の値、及び、終了時刻（Ｅ１、Ｅ２）の値、すなわち画像容量と継続時間とを参照し、生成する画像の詳細度を決定する。これにより、画像処理部２５ｂは、適切な詳細度で表示のための画像を生成することができる。具体的には、画像処理部２５ｂは、領域Ｂと領域Ｃとを合わせた画像容量Ｐ１の送信状態が長時間継続する状態、すなわちメモリバス２３の高負荷が長時間に渡って継続する状態と判断する場合は、生成する画像のポリゴン数を減少させ詳細度を低くし、画像生成の円滑な処理を行うことができる。また、領域Ｂと領域Ｃとを合わせた画像容量Ｐ１の送信状態が短時間継続する状態、すなわちメモリバス２３の高負荷が短時間で終了する状態と判断する場合は、生成する画像のポリゴン数を増加させ、詳細度の高い画像の生成処理を行うことができる。また、画像処理部２５ｂは、領域Ｂのみの画像容量Ｐ２の送信状態が長時間又は短時間継続する状態、すなわちメモリバス２３の低負荷が継続する状態と判断した場合も、生成する画像のポリゴン数を増加させ、詳細度の高い画像の生成処理を行うことができる。
【０１３５】
一方、負荷予測部２２ｆは、送信状態が（ｉｉ）から（ｉ）へ遷移した時点と判断する場合、上記ステップＳ７６からステップＳ７９までと同様の処理を、送信状態（ｉ）と（ｉｉ）とを逆順序にして実行する（ステップＳ８０からステップＳ８３）。
【０１３６】
ステップＳ７９又はステップＳ８３の処理が実行されると、図９に示す画像生成装置の処理に戻り、本処理は終了する。
【０１３７】
このように、状態（ｉ）と（ｉｉ）とにおいて、画像容量、開始時刻、終了時刻、及び、時間差は交互に周期的に変化する。負荷予測部２２ｆは、メモリバス２３の負荷の周期的な変化に基づいて負荷（画像容量と継続時間）の予測を行う。画像処理部２５ｂは、負荷予測部２２ｆが予測した負荷に応じて表示画像の詳細度を変化させる。このため、画像処理部２５ｂは、適切な詳細度で表示のための画像を生成することができる。
【０１３８】
以上、説明したように、本実施の形態における画像表示システム１００は、撮影画像の少なくとも一部の領域をメモリバス２３を介してフレームメモリ２１に記憶させ、記憶された撮影画像を用いて表示画像を生成する際、撮影画像のうち表示画像の生成に用いない非使用領域はフレームメモリ２１に送信しない。このように、撮影画像のうち表示のための画像の生成に用いない非使用領域はフレームメモリ２１に送信されず、メモリバス２３を伝送しないので、メモリバス２３の負荷を低減することができる。
【０１３９】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態における画像表示システム２００は、第１の実施の形態と同様の構成及び処理を含むため、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では判定テーブル２２ｅの初期値は一定であったが、第２の実施の形態では判定テーブル２２ｅの初期値は任意視点の位置に基づく表示態様に応じて変更される。特に、車両１のボディ部分に該当する画像データの送信と非送信の頻度を変更する。例えば、ボディ部分と障害物（例えば、ガードレール）とが接近して表示されるような表示態様や、ボディが映り込んだ画像部分と突出した障害物（例えば、街路樹）とが重なって表示される恐れのある表示態様では、ボディが映り込んだ画像部分の更新頻度を高めて表示する。これにより、ユーザは、ボディ部分と障害物との接近具合や重なり度合いを直ちに判別することができ、障害物との接触や過度な接近を回避することができる。
【０１４０】
図１５は、第２の実施の形態における画像表示システム２００の構成を示す。画像表示システム２００において画像生成装置２は、判定テーブル書換え部２６を備える。
【０１４１】
判定テーブル書換え部２６は、視点変換部２５ａから送信される任意視点の位置情報に基づき、判定グリッド２２ｄのうち所定のグリッドの送信頻度を変更する。
【０１４２】
例えば、図８に示したように、視点変換部２５ａが車両１の後方からその周辺全体を見渡すような表示態様で車両１及び周辺領域を示す任意視点画像ＣＰ３を生成する場合、判定テーブル書換え部２６は、判定グリッド２２ｄのうちボディが映り込んだグリッド部分、すなわち領域Ｃの送信頻度を高める。具体的には、判定テーブル書換え部２６は、判定テーブル２２ｅの遷移条件を変更することにより、送信頻度を高める。例えば、領域Ｃに遷移条件（Ｓ１、Ｔ１）が設定されている場合に、遷移条件（Ｓ１、Ｔ０）に変更することで、送信頻度を高める。
【０１４３】
図１６は、第２の実施の形態における画像表示システム２００の処理手順を示すフローチャートである。第１の実施の形態との相違点は、ステップＳ１６及びステップＳ１７が加えられた点である。
【０１４４】
ステップＳ１５において、画像生成部２５により表示画像の出力が行われると、判定テーブル書換え部２６は、視点変換部２５ａから送信される任意視点の位置情報に基づき、任意視点の位置が変更されたか否か判断する（ステップＳ１６）。
【０１４５】
判定テーブル書換え部２６は、任意視点の位置が変更されたと判断する場合、特に車両１のボディが画像に映り込むような位置へ任意視点が変更されたと判断する場合は（ステップＳ１６でＹｅｓ）、判定テーブル２２ｅの遷移条件を書換える（ステップＳ１７）。具体的には、判定テーブル書換え部２６は、判定テーブル２２ｅのうち領域Ｃに該当する座標（ｉ及びｊ）の遷移条件Ｓを１とし、Ｔを０に書換えることで、領域Ｃの送信頻度を高める。例えば、図１７上段のレコードＲ３に示すように、判定テーブル２２ｅのグリッド座標（ｉ１１、ｊ２）に遷移条件（Ｓ１、Ｔ１）が設定されて送信と非送信が交互に行われている場合に、図１７下段のレコードＲ３に示すように遷移条件（Ｓ１、Ｔ０）を設定し、送信のみ行われるようにすることで送信頻度を高める。
【０１４６】
ステップＳ１７を実行すると、処理はステップＳ１１に戻り、パラメータ設定を再度実行する。
【０１４７】
一方、判定テーブル書換え部２６が、任意視点の位置が変更されていないと判断する場合（ステップＳ１６でＮｏ）、本処理は終了する。
【０１４８】
以上、説明したように、第２の実施の形態における画像表示システム２００は、任意視点の位置に応じて判定テーブル２２ｅを書き換えるので、任意視点の位置に応じた適切な画像表示を行うとともに、メモリバス２３の負荷を低減することができる。
【０１４９】
＜３．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１５０】
上記実施の形態では、画像生成部２５が、画像読出部２４がフレームメモリ２１から読み出した領域Ｂ及びＣの画像データに基づき、任意視点に応じた合成画像を生成したが、必ずしもこのような構成に限定されるものではない。すなわち、画像読出部２４が任意視点に応じ、領域Ｂ及びＣのうち合成画像に使用される一部分の画像データのみフレームメモリ２１から読み出して画像生成部２５へ送信し、画像生成部２５がその一部分の画像データに基づいて合成画像を生成してもよい。これにより、画像生成部２５は、合成画像に使用する画像データのみ受信して画像合成を行うので、領域Ｂ及びＣの画像データを受信していた場合に比較し、画像処理の負荷を低減することができる。
【０１５１】
また、上記実施の形態では、車両１に搭載された画像表示システムについて説明したが、特定の場所に配置される監視カメラ等で得られた画像を表示装置に表示する画像表示システムであってもよい。すなわち、車両１に搭載されない画像表示システムであってもよい。
【符号の説明】
【０１５２】
１    車両
２    画像生成装置
３    撮影部
４    表示装置
２１    フレームメモリ
２２    画像取得部
２３    メモリバス
２４    画像読出部
２５    画像生成部
１００    画像表示システム
【図１】
2014150328.tif 000003
【図２】
2014150328.tif 000004
【図３】
2014150328.tif 000005
【図４】
2014150328.tif 000006
【図５】
2014150328.tif 000007
【図６】
2014150328.tif 000008
【図７】
2014150328.tif 000009
【図８】
2014150328.tif 000010
【図９】
2014150328.tif 000011
【図１０】
2014150328.tif 000012
【図１１】
2014150328.tif 000013
【図１２】
2014150328.tif 000014
【図１３】
2014150328.tif 000015
【図１４】
2014150328.tif 000016
【図１５】
2014150328.tif 000017
【図１６】
2014150328.tif 000018
【図１７】
2014150328.tif 000019