(57)【要約】【課題】  車両、店舗、あるいは住宅の周辺、若しくは街中等の監視対象を、３次元空間における任意の仮想視点から見た画像として表示する際、車両等と撮影した監視対象の画像との関係が直感的に分かるように表示することが可能な画像生成装置、画像生成方法、および画像生成プログラムを提供すること。【解決手段】  視点変換手段によって生成された視点変換画像データ、撮像画像を表わす撮像画像データ、空間モデル、およびマッピングされた空間データの何れかに基づいて、撮像手段配置物体の移動に関連する移動情報を算出する移動情報算出手段をさらに備え、表示手段が、撮像手段配置物体に対応した撮像手段配置物体モデルの画像とともに移動情報算出手段によって算出された移動情報を表示する。【選択図】      図３
2005268847.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像手段と、
前記撮像手段によって撮像された撮像画像を空間モデルにマッピングする空間再構成手段と、
前記空間再構成手段によってマッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する視点変換手段と、
前記視点変換手段によって生成された視点変換画像データに基づいて、前記３次元空間における任意の仮想視点から見た画像を表示する表示手段と、
を備えた画像生成装置において、
前記視点変換手段によって生成された視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて、前記撮像手段配置物体の移動に関連する移動情報を算出する移動情報算出手段をさらに備え、
前記表示手段は、前記撮像手段配置物体に対応した撮像手段配置物体モデルの画像とともに前記移動情報算出手段によって算出された移動情報を表示することを特徴とする画像生成装置。
【請求項２】
前記移動情報は、移動する方向を示す移動方向情報、予測される移動軌跡を示す移動軌跡情報、移動する速度を示す移動速度情報、予測される移動先の方位、地名、ランドマーク等に関する移動先情報の何れかであることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
夫々異なる時刻に対応した、前記視点変換手段によって生成された視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて、前記撮像手段配置物体モデルと前記空間モデルとが衝突する可能性を算出する衝突可能性算出手段をさらに備え、
前記表示手段は、前記視点変換手段によって生成された前記視点変換画像データによる画像に重畳して表示する撮像手段配置物体モデルの画像のうち、前記衝突可能性算出手段によって算出された衝突可能性を有する部分の表示形態を異ならせて表示することを特徴とする請求項１または２に記載の画像生成装置。
【請求項４】
前記表示形態は、色、縁取り、警告アイコンの少なくともいずれか１つであることを特徴とする請求項３に記載の画像生成装置。
【請求項５】
前記撮像手段配置物体に対応したデータによって表わされる撮像手段配置物体モデルに基づいて、前記撮像手段配置物体の所定の場所にとっての死角となる領域を示す死角情報を算出する死角算出手段をさらに備え、
前記表示手段は、前記撮像手段配置物体モデルとともに前記死角算出手段によって算出された死角情報を表示することを特徴とする請求項１乃至４の何れか１項に記載の画像生成装置。
【請求項６】
前記視点変換手段によって変換された視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて、前記撮像手段配置物体とは異なる他物体を認識する他物体認識手段と、
所定の他物体に関するデータを示す他物体データに基づいて、前記他物体認識手段によって認識され他物体の死角となる領域を示す他物体死角情報を算出する他物体死角算出手段をさらに備え、
前記表示手段は、前記撮像手段配置物体モデルとともに前記他物体死角算出手段によって算出された当該他物体に係る死角情報を表示することを特徴とする請求項１乃至５の何れか１項に記載の画像生成装置。
【請求項７】
撮像手段配置物体に取り付けられた、画像を撮像する１または複数の撮像手段と、
前記撮像手段によって撮像された撮像データに基づいて、前記撮像手段配置物体と異なる他物体を認識する他物体認識手段と、
所定の他物体に関するデータを示す他物体データに基づいて、前記他物体認識手段によって認識された他物体の死角となる領域を示す他物体死角情報を算出する他物体死角算出手段と、
前記撮像手段配置物体モデルとともに前記他物体死角算出手段によって算出された他物体死角情報を表示する表示手段と、
を備えたことを特徴とする画像生成装置。
【請求項８】
前記撮像手段配置物体、または、他物体は、車両、歩行者、建築物、道路構造物などの少なくとも１つであることを特徴とする請求項１乃至７何れか１項に記載の画像生成装置。
【請求項９】
撮像手段配置物体に取り付けられた、１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングし、
前記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成し、
前記生成された視点変換画像データに基づいて、前記３次元空間における任意の仮想視点から見た画像を表示する、コンピュータが実行する画像生成方法であって、
前記生成された視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて、前記撮像手段配置物体の移動に関連する移動情報をさらに算出し、
前記表示は、前記視点変換画像に前記撮像手段配置物体モデルの画像とともに前記移動情報を表示することを特徴とする画像生成方法。
【請求項１０】
コンピュータに対して、
撮像手段配置物体に取り付けられた、１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングする手順と、
前記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する手順と、
前記生成された視点変換画像データに基づいて、前記３次元空間における任意の仮想視点から見た画像を表示する手順と、
を実行させるための画像生成プログラムであって、
前記生成された視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて、前記撮像手段配置物体の移動に関連する移動情報を算出する手順をさらに備え、
前記表示は、前記視点変換画像に前記撮像手段配置物体モデルの画像とともに前記移動情報を表示することを特徴とする画像生成プログラム。
【請求項１１】
撮像手段配置物体に取り付けられた、１または複数の撮像装置によって画像を撮像し、
前記撮像された撮像データに基づいて、前記撮像手段配置物体と異なる他物体を認識し、
所定の他物体に関するデータを示す他物体データに基づいて、前記認識された他物体の死角となる領域を示す他物体死角情報を算出し、
前記撮像手段配置物体モデルとともに前記算出された他物体死角情報を表示する、
コンピュータが実行する画像生成方法。
【請求項１２】
コンピュータに対して、
撮像手段配置物体に取り付けられた、１または複数の撮像装置によって画像を撮像する手順と、
前記撮像された撮像データに基づいて、前記撮像手段配置物体と異なる他物体を認識する手順と、
所定の他物体に関するデータを示す他物体データに基づいて、前記認識された他物体の死角となる領域を示す他物体死角情報を算出する手順と、
前記撮像手段配置物体モデルとともに前記算出された他物体死角情報を表示する手順と、
を実行させるための画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両等の物体に取り付けられた１台または複数台のカメラで撮影した複数枚の画像に基づいて、上記物体が移動する場合にその移動に関する情報が直感的に分かるように表示するための画像データを生成する画像生成装置、画像生成方法、および画像生成プログラムに関する。
【背景技術】
【０００２】
従来、車両、店舗、あるいは住宅の周辺、若しくは街中等の監視対象を監視する監視カメラ装置は、１台または複数台のカメラで監視対象を撮影し、その画像をモニタ装置に表示していた。このような監視カメラ装置において、カメラが複数台あるにも関わらずモニタ装置がカメラ台数よりも少ない場合、例えば、カメラが２台あるにも関わらずモニタ装置が１台の場合、撮影した複数のカメラ画像を統合して１台のモニタ装置に表示したり、順次切り替えて表示したりしていた。しかし、このような監視カメラ装置では、それぞれのカメラからの画像を監視するには、独立に表示されている画像の連続性を管理者が考慮する必要があるなどの問題があった。
【０００３】
この問題を解決する方法として、車両等に取り付けられた１台もしくは複数台のカメラからの入力画像を、３次元空間の予め定められた空間モデルにマッピングし、そのマッピングされた空間データを参照して、上記３次元空間における任意の仮想視点から見た画像を作成して表示することにより、あたかも仮想視点から実際に見ているような感覚を持つ合成画像を表示する監視カメラ装置に関する技術が開示されている（例えば、特許文献１参照。）。
【特許文献１】特許第３２８６３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような従来の監視カメラ装置においては、カメラを取り付けた車両等の撮像手段配置物体とそのカメラが撮影した監視対象との関係が分かり難いという問題点があった。
本発明は、上記従来技術の欠点に鑑みてなされたもので、車両、店舗、あるいは住宅の周辺、若しくは街中等の監視対象の画像を表示する際、上記車両等の撮像手段配置物体と撮影した監視対象の画像との関係が直感的に分かるように表示することが可能な画像生成装置、画像生成方法、および画像生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明の画像生成装置は、撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像手段と、上記撮像手段によって撮像された撮像画像を空間モデルにマッピングする空間再構成手段と、上記空間再構成手段によってマッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する視点変換手段と、上記視点変換手段によって生成された視点変換画像データに基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する表示手段とを備えた画像生成装置であって、上記視点変換手段によって生成された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて、上記撮像手段配置物体の移動に関連する移動情報を算出する移動情報算出手段をさらに備え、上記表示手段が、上記撮像手段配置物体に対応した撮像手段配置物体モデルの画像とともに上記移動情報算出手段によって算出された移動情報を表示することを特徴とする。
【０００６】
また、本発明の画像生成装置は、上記移動情報が、移動する方向を示す移動方向情報、予測される移動軌跡を示す移動軌跡情報、移動する速度を示す移動速度情報、予測される移動先の方位、地名、ランドマーク等に関する移動先情報の何れかであることが望ましい。
【０００７】
また、本発明の画像生成装置は、夫々異なる時刻に対応した、上記視点変換手段によって生成された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて、上記撮像手段配置物体モデルと上記空間モデルとが衝突する可能性を算出する衝突可能性算出手段をさらに備え、上記表示手段が、上記視点変換手段によって生成された上記視点変換画像データによる画像に重畳して表示する撮像手段配置物体モデルの画像のうち、上記衝突可能性算出手段によって算出された衝突可能性を有する部分の表示形態を異ならせて表示することが望ましい。
【０００８】
また、本発明の画像生成装置は、上記表示形態が、色、縁取り、警告アイコンの少なくともいずれか１つであることが望ましい。
また、本発明の画像生成装置は、上記撮像手段配置物体に対応したデータによって表わされる撮像手段配置物体モデルに基づいて、上記撮像手段配置物体の所定の場所にとっての死角となる領域を示す死角情報を算出する死角算出手段をさらに備え、上記表示手段が、上記撮像手段配置物体モデルとともに上記死角算出手段によって算出された死角情報を表示するが望ましい。
【０００９】
また、本発明の画像生成装置は、上記視点変換手段によって変換された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて、上記撮像手段配置物体とは異なる他物体を認識する他物体認識手段と、所定の他物体に関するデータを示す他物体データに基づいて、上記他物体認識手段によって認識され他物体の死角となる領域を示す他物体死角情報を算出する他物体死角算出手段をさらに備え、上記表示手段が、上記撮像手段配置物体モデルとともに上記他物体死角算出手段によって算出された当該他物体に係る死角情報を表示することが望ましい。
【００１０】
また、本発明の画像生成装置は、上記撮像手段配置物体、または他物体が、車両、歩行者、建築物、道路構造物などの少なくとも１つであることが望ましい。
また、本発明の一態様によれば、本発明の画像生成装置は、撮像手段配置物体に取り付けられた、画像を撮像する１または複数の撮像手段と、上記撮像手段によって撮像された撮像データに基づいて、上記撮像手段配置物体と異なる他物体を認識する他物体認識手段と、所定の他物体に関するデータを示す他物体データに基づいて、上記他物体認識手段によって認識された他物体の死角となる領域を示す他物体死角情報を算出する他物体死角算出手段と、上記撮像手段配置物体モデルとともに上記他物体死角算出手段によって算出された他物体死角情報を表示する表示手段とを備えたことを特徴とする。
【００１１】
また、本発明の画像生成装置は、上記撮像手段配置物体、または他物体が、車両、歩行者、建築物、道路構造物などの少なくとも１つであることが望ましい。
また、本発明の一態様によれば、本発明の画像生成方法は、撮像手段配置物体に取り付けられた、１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングし、上記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成し、上記生成された視点変換画像データに基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する、コンピュータが実行する画像生成方法であって、上記生成された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて、上記撮像手段配置物体の移動に関連する移動情報をさらに算出し、上記表示が、上記視点変換画像に上記撮像手段配置物体モデルの画像とともに上記移動情報を表示することを特徴とする。
【００１２】
また、本発明の一態様によれば、本発明の画像生成プログラムは、コンピュータに対して、撮像手段配置物体に取り付けられた、１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングする手順と、上記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する手順と、上記生成された視点変換画像データに基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する手順とを実行させるための画像生成プログラムであって、上記生成された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて、上記撮像手段配置物体の移動に関連する移動情報を算出する手順をさらに備え、上記表示が、上記視点変換画像に上記撮像手段配置物体モデルの画像とともに上記移動情報を表示することを特徴とする。
【００１３】
また、本発明の一態様によれば、本発明の画像生成方法は、撮像手段配置物体に取り付けられた、１または複数の撮像装置によって画像を撮像し、上記撮像された撮像データに基づいて、上記撮像手段配置物体と異なる他物体を認識し、所定の他物体に関するデータを示す他物体データに基づいて、上記認識された他物体の死角となる領域を示す他物体死角情報を算出し、上記撮像手段配置物体モデルとともに上記算出された他物体死角情報を表示する、コンピュータが実行する画像生成方法である。
【００１４】
また、本発明の一態様によれば、本発明の画像生成プログラムは、コンピュータに対して、撮像手段配置物体に取り付けられた、１または複数の撮像装置によって画像を撮像する手順と、上記撮像された撮像データに基づいて、上記撮像手段配置物体と異なる他物体を認識する手順と、所定の他物体に関するデータを示す他物体データに基づいて、上記認識された他物体の死角となる領域を示す他物体死角情報を算出する手順と、上記撮像手段配置物体モデルとともに上記算出された他物体死角情報を表示する手順とを実行させるための画像生成プログラムである。
【発明の効果】
【００１５】
本発明によれば、車両等の撮像手段配置物体に取り付けられた１台または複数台のカメラで撮影した複数枚の画像に基づく画像を表示するに際し、上記物体と撮影した画像との関係が直感的に分かるように表示することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照しながら本発明の実施の形態について述べる。
まず、図１および図２を用いて、複数台のカメラで撮影した画像データに基づいて仮想的な視点から見る画像を生成し、その仮想視点からの画像を表示する画像生成装置について説明する。なお、図示の例では複数台のカメラを用いているが、１台のカメラの設置位置を順次移動して複数台のカメラが備えられた場合と同様の撮像データを得るようにしてもよい。また、この乃至これらのカメラは、撮像装置配置物体としての車両、部屋（その特定の部位等）、歩行者、建築物、道路構造物等に設置される。この点は、以下に述べる各実施の形態について同様である。
【００１７】
図１は、測距装置により空間モデルを生成し、視点変換画像を生成する画像生成装置のブロック図である。
図１において、画像生成装置１００は、測距装置１０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、および表示装置１１４を備える。
【００１８】
測距装置１０１は、距離を計測する距離センサを用いて目標物体（障害物）までの距離を計測する。例えば、車両に取り付けられた場合は、車両周囲の状況として、少なくとも車両周囲に存在する障害物までの距離を、上記距離センサを用いて計測する。
空間モデル生成装置１０３は、上記測距装置１０１が計測した距離画像データ１０２に基づいて、３次元空間の空間モデル１０４を生成し、それをデータベース（概念を実体の如く図示。以下同様。）に格納する。なお、空間モデル１０４は、上述のように別途のセンサによる計測データに基づいて生成されたもの、あるいは、予め決められた所定のもの、乃至は、その場で複数の入力画像から生成されたものであり、それらのデータがデータベースに格納される。
【００１９】
撮像装置１０７は、例えば、カメラであり、撮像装置配置物体に取り付けられ画像を撮像し、撮影画像データ１０８としてデータベースに格納する。撮像装置配置物体が車両であれば、撮像装置１０７は、車両周囲の画像を撮影する。
空間再構成装置１０９は、上記撮像装置１０７によって撮像された撮像画像データ１０８を、上記空間モデル生成装置１０３で生成した空間モデル１０４にマッピングする。そして、空間モデル１０４に撮影画像データ１０８をマッピングしたデータは、空間データ１１１としてデータベースに格納する。
【００２０】
キャリブレーション装置１０５は、例えば、温度によるレンズ歪みの補正を行うために、撮像装置１０７の取り付け位置、取り付け角度、レンズ歪み補正値、レンズの焦点距離などといったパラメータを、入力することによって、あるいは計算することによって得る。すなわち、撮像装置１０７がカメラであれば、カメラキャリブレーションを行う。カメラキャリブレーションとは、３次元実世界に配置されたカメラについての、その３次元実世界における、カメラの取り付け位置、カメラの取り付け角度、カメラのレンズ歪み補正値、カメラのレンズの焦点距離などといった、上記カメラ特性を表すカメラパラメータを決定、補正することである。
【００２１】
視点変換装置１１２は、上記空間再構成装置１０９によってマッピングされた空間データ１１１に基づいて、３次元空間における任意の仮想視点から見た視点変換画像データ１１３を生成し、それをデータベースに格納する。
表示装置１１４は、上記視点変換装置１１２によって生成された視点変換画像データ１１３に基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する。
【００２２】
図２は、撮像装置により空間モデルを生成し、視点変換画像を生成する画像生成装置のブロック図である。
図２において、画像生成装置２００は、測距装置２０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、および表示装置１１４を備える。
【００２３】
画像生成装置２００が、図１を用いて説明した画像生成装置１００と異なるのは、測距装置１０１の代わりに測距装置２０１を備えている点である。以下、測距装置２０１を中心とした説明をし、その他の構成要素については図１を用いた説明と同様であるので省略する。
【００２４】
測距装置２０１は、撮影装置１０７で撮影した撮影画像データ１０８に基づいて、障害物までの距離を計測する。これは、同一視野を撮影した複数台のカメラの画像の対応点を探索し、画像間の視差を算出し、三角測量の原理により距離を算出するステレオ測距を用いる方法が一般的である。また、測距装置１０１と同様、距離を計測する距離センサを用いて障害物までの距離を計測したデータと合わせて距離画像データ２０２としても良い。
【００２５】
そして、空間モデル生成装置１０３は、上記測距装置２０１が計測した距離画像データ２０２に基づいて、３次元空間の空間モデル１０４を生成し、それをデータベースに格納する。
次に、図３乃至図１３を用いて、車両等の物体に取り付けられた１台または複数台のカメラで撮影した複数枚の画像に基づいて仮想視点からの画像を表示する際に、上記物体が移動する場合にその移動に関する情報が直感的に分かるように表示するための画像データを生成することができる画像生成装置について説明する。この画像生成装置は、図１または図２を用いて説明した画像生成装置に適用することができる。
【００２６】
図３は、測距装置により空間モデルを生成し、視点変換画像において移動情報を表示するための画像生成装置のブロック図である。
図３において、画像生成装置３００は、測距装置１０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、表示装置３１４、移動情報算出装置３１５、衝突可能性算出装置３１６、死角算出装置３１７、他物体認識装置３１８、および他物体死角算出装置３１９を備える。
【００２７】
画像生成装置３００が、図１を用いて説明した画像生成装置１００と異なるのは、さらに移動情報算出装置３１５、衝突可能性算出装置３１６、死角算出装置３１７、他物体認識装置３１８、および他物体死角算出装置３１９を備えている点、および表示装置１１４の代わりに表示装置３１４を備えている点である。以下、移動情報算出装置３１５、衝突可能性算出装置３１６、死角算出装置３１７、他物体認識装置３１８、他物体死角算出装置３１９および表示装置３１４を中心とした説明をし、その他の構成要素については図１を用いた説明と同様であるので省略する。
【００２８】
移動情報算出装置３１５は、上記視点変換装置１１２によって生成された視点変換画像データ１１３、上記撮像画像を表わす撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、上記撮像装置配置物体の移動に関連する移動情報を算出する。上記撮像装置配置物体の移動に関連する移動情報としては、例えば移動する方向を示す移動方向情報、予測される移動軌跡を示す移動軌跡情報、移動する速度を示す移動速度情報、予測される移動先の方位、地名、ランドマーク等に関する移動先情報等がある。
【００２９】
そして、表示装置３１４は、上記撮像装置配置物体に対応した撮像装置配置物体モデルの画像とともに上記移動情報算出装置３１５によって算出された移動情報を表示する。
ここで、図４乃至図８を用いて、画像生成装置３００を車両の周辺を監視するシステムとして適用した場合について説明する。
【００３０】
図４は、車両を運転するドライバーから観察され得る視野の様子を示す図である。
ドライバーからは、道路上に車両Ａ、車両Ｂ、および車両Ｃの３台の車両が見えている。
車両には、車両周囲に存在する障害物までの距離を計測する距離センサ（測距装置１０１）と、車両周囲の画像を撮影する複数台のカメラ（撮像装置１０７）とが取り付けられている。
【００３１】
空間モデル生成装置１０３は、距離センサが計測した距離画像データ１０２に基づいて、３次元空間の空間モデル１０４を生成し、それをデータベースに格納する。そして、カメラは、車両周辺の画像を撮像し、撮影画像データ１０８としてデータベースに格納する。
【００３２】
空間再構成装置１０９は、カメラによって撮像された撮像画像データ１０８を、上記空間モデル生成装置１０３で生成した空間モデル１０４にマッピングし、空間データ１１１としてデータベースに格納する。
視点変換装置１１２は、上記空間再構成装置１０９によってマッピングされた空間データ１１１に基づいて、例えば、車両後方上空を仮想視点とし、その仮想視点から見た視点変換画像データ１１３を生成し、それをデータベースに格納する。
【００３３】
移動情報算出装置３１５は、上記視点変換装置１１２によって生成された視点変換画像データ１１３、上記撮像画像を表わす撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、上記撮像装置配置物体の移動に関連する移動情報、例えば移動する方向を示す移動方向情報、予測される移動軌跡を示す移動軌跡情報、移動する速度を示す移動速度情報、予測される移動先の方位、地名、ランドマーク等に関する移動先情報等を算出する。
【００３４】
そして、表示装置３１４は、通常車両内に設置され、例えば、カーナビゲーションシステムのモニタと共用して、上記視点変換装置１１２によって生成された視点変換画像データ１１３に基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する際に、上記撮像装置配置物体に対応した撮像装置配置物体モデル１１０の画像とともに上記移動情報算出装置３１５によって算出された移動方向情報等の移動情報を表示する。
【００３５】
図５は、移動方向情報を表示した表示例を示す図である。
図５において、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂ、物体Ｃは車両Ｃの視点変換画像である。そして、自車両の移動方向を示す移動方向情報が、撮像装置配置物体モデル１１０に格納されているデータに基づいた自車両対応モデルとともに表示されている。
【００３６】
図６は、移動軌跡情報を表示した表示例を示す図である。
図６も視点変換画像の表示例であるが、図５とは異なる仮想視点の例である。すなわち、図５の表示例は、仮想視点が自車両の後方上空にありそこから前方を見る俯瞰図となっているのに対して、図６の表示例は、仮想視点が自車両上空にありそこから真下を見た図となっている。
【００３７】
図６において、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂの視点変換画像であるが、車両Ｃに相当する物体は表示されていない。そして、自車両の予測される移動軌跡を示す移動軌跡情報が、撮像装置配置物体モデル１１０に格納されているデータに基づいた自車両対応モデルとともに表示されている。
【００３８】
図７は、移動速度情報を表示した表示例を示す図である。
図７は、図５と同様、自車両の後方上空にある仮想視点から前方を見る俯瞰図となっており、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂ、物体Ｃは車両Ｃの視点変換画像である。そして、自車両の移動する速度を示す移動速度情報が、撮像装置配置物体モデル１１０に格納されているデータに基づいた自車両対応モデルとともに表示されている。
【００３９】
図８は、移動先情報を表示した表示例を示す図である。
図８も、図５と同様、自車両の後方上空にある仮想視点から前方を見る俯瞰図となっており、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂ、物体Ｃは車両Ｃの視点変換画像である。そして、自車両の予測される移動先の方位、地名、ランドマーク等に関する移動先情報が、撮像装置配置物体モデル１１０に格納されているデータに基づいた自車両対応モデルとともに表示されている。
【００４０】
なお、図５乃至図８に示した移動情報は、同時に表示されるようにしてもよい。
図３の説明に戻る。
衝突可能性算出装置３１６は、夫々異なる時刻に対応した、上記視点変換装置１１２によって生成された視点変換画像データ１１３、上記撮像画像を表わす撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、上記撮像装置配置物体モデル１１０と上記空間モデル１０４とが衝突する可能性を算出する。衝突する可能性は、例えば、２つの物体のそれぞれの移動方向および移動速度から容易に求めることができる。
【００４１】
そして、表示装置３１４は、上述の移動情報の表示に加え、上記視点変換装置１１２によって生成された上記視点変換画像データ１１３による画像に重畳して表示する撮像装置配置物体モデル１１０の画像のうち、上記衝突可能性算出装置３１６によって算出された衝突可能性を有する部分の表示形態を、衝突可能性に応じて異ならせて表示する。例えば、色、縁取りの有無や太さ等、警告アイコンの有無や形態等を異ならせて表示する。
【００４２】
なお、上記表示装置３１４は、上記衝突可能性算出装置３１６によって算出した衝突可能性が所定値以下の場合、その画像を一体化した背景モデルとして表示してもよいし、その画像をぼかして表示してもよい。また、当該表示形態として色によって表示情報の意味が認識されるような形態をとりうるようにしてもよい。
【００４３】
図９は、移動情報の表示とともに、２物体が衝突する可能性に応じて画像の表示形態を異ならせて表示した表示例を示す図である。
図９も、図５と同様、自車両の後方上空にある仮想視点から前方を見る俯瞰図となっており、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂ、物体Ｃは車両Ｃの視点変換画像である。
【００４４】
そして、自車両の移動情報のうち、移動する方向を示す移動方向情報、移動する速度を示す移動速度情報、予測される移動先の方位、地名、ランドマーク等に関する移動先情報が、撮像装置配置物体モデル１１０に格納されているデータに基づいた自車両対応モデルとともに表示され、さらに、自車両と、車両Ａ、車両Ｂおよび車両Ｃのそれぞれとが衝突する可能性に応じて、物体Ａ、物体Ｂ、物体Ｃの表示形態が異なって表示されている。例えば、自車両と衝突する可能性が３台の他の車両の中で最も高い車両Ｃの視点変換画像である物体Ｃは赤色で表示され、車両Ｃに比べて衝突の可能性がそれほど高くない車両Ａの視点変換画像である物体Ａ、および車両Ｂの視点変換画像である物体Ｂは黄色で表示される。なお、表示色を異ならせて表示する場合、当該表示に係る色の色相又は彩度若しくは明度のうちの少なくとも一のものを異ならせて表示するような形態を採り得る。
【００４５】
図３の説明に戻る。
死角算出装置３１７は、上記撮像装置配置物体に対応したデータによって表わされる撮像装置配置物体モデル１１０に基づいて、上記撮像装置配置物体の所定の場所にとっての死角となる領域を示す死角情報を算出する。例えば、撮像装置配置物体が車両であれば、車両の運転者にとっての死角となる領域を算出する。
【００４６】
図１０は、死角を説明するための図である。
図１０において、撮像装置配置物体は車両であり、（ａ）は車両を上方から見た図であり、（ｂ）は車両を横方向から見た図である。そして、車両の所定の場所としての運転者（より厳密には運転者の視点）にとっての死角となる領域（ピラーなどによる死角および車体による死角）を、網掛けで示している。
【００４７】
そして、表示装置３１４は、上記撮像装置配置物体モデル１１０とともに上記死角算出装置３１７によって算出された死角情報を表示する。ここでの死角情報は、前記運転者の視点にとって死角となる領域のことを示す。
図１１は、死角情報を表示した表示例を示す図である。
【００４８】
図１１において、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂの視点変換画像であるが、車両Ｃに相当する物体は表示されていない。そして、死角情報として自車両の死角となる領域が、撮像装置配置物体モデル１１０に格納されているデータに基づいた自車両対応モデルおよび移動情報の１つである移動軌跡情報とともに表示されている。
【００４９】
図３の説明に戻る。
他物体認識装置３１８は、上記視点変換装置１１２によって変換された視点変換画像データ１１３、上記撮像画像を表わす撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、上記撮像装置配置物体とは異なる他物体を認識する。例えば、撮像装置配置物体が車両であれば、先行する車両、対向する車両、歩行者等を認識する。
【００５０】
さらに、他物体死角算出装置３１９は、所定の他物体に関するデータを示す他物体データに基づいて、上記他物体認識装置３１８によって認識され他物体の死角となる領域を示す他物体死角情報を算出する。例えば、撮像装置配置物体が車両であり、撮像装置配置物体とは異なる他物体も車両であれば、算出される死角領域は、他物体である車両の運転者にとっての死角となる領域である。また、領域他物体データは、撮像装置配置物体モデル１１０が格納されたデータベースを用いることもできる。
【００５１】
そして、上記表示装置３１４は、上記撮像装置配置物体モデル１１０とともに上記他物体死角算出装置３１９によって算出された当該他物体に係る死角情報を表示する。
図１２は、他物体死角情報を表示した表示例を示す図である。
図１２において、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂの視点変換画像であるが、車両Ｃに相当する物体は表示されていない。そして、物体Ａが他物体認識装置３１８によって認識された他物体であり、他物体の死角情報として物体Ａの死角となる領域が、自車両対応モデルおよび移動情報の１つである移動軌跡情報とともに表示されている。これにより、自車両は物体Ａの死角に入っていることが認識できる。
【００５２】
図１３は、撮像装置により空間モデルを生成し、視点変換画像において移動情報を表示するための画像生成装置のブロック図である。
図１３において、画像生成装置１３００は、測距装置２０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、表示装置３１４、移動情報算出装置３１５、衝突可能性算出装置３１６、死角算出装置３１７、他物体認識装置３１８、および他物体死角算出装置３１９を備える。
【００５３】
画像生成装置１３００が、図３を用いて説明した画像生成装置３００と異なるのは、測距装置１０１の代わりに測距装置２０１を備えている点である。なお、測距装置２０１については、図２を用いているので説明は省略する。
次に、車両等の物体に取り付けられた１台または複数台のカメラで撮影した複数枚の画像に基づいて仮想視点からの画像を表示する際に、上記物体が移動する場合にその移動に関する情報が直感的に分かるように表示するための画像データを生成するための画像生成処理の流れを説明する。
【００５４】
図１４は、視点変換画像において移動情報、衝突可能性、死角情報、他物体死角情報を表示するための画像生成処理の流れを示すフローチャートである。
まず、ステップＳ１４０１において、車両等に物体に取り付けられているカメラを用いて、当該車両の周囲の画像を撮像する。
【００５５】
ステップＳ１４０２において、ステップＳ１４０１で撮像した画像のデータである撮像画像データ１０８を、空間モデル１０４にマッピングして、空間データ１１１を生成する。
ステップＳ１４０３において、ステップＳ１４０２でマッピングされた空間データ１１１に基づいて、３次元空間における任意の仮想視点から見た視点変換画像データ１１３を生成する。
【００５６】
次に、ステップＳ１４０４において、上記生成された視点変換画像データ１１３、上記撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、上記撮像装置配置物体の移動に関連する移動情報を算出する。
【００５７】
そして、ステップＳ１４０５において、３次元空間における任意の仮想視点から見た画像を表示する際に、ステップＳ１４０４で算出した移動情報、例えば、移動する方向を示す移動方向情報、予測される移動軌跡を示す移動軌跡情報、移動する速度を示す移動速度情報、予測される移動先の方位、地名、ランドマーク等に関する移動先情報等を表示する。
【００５８】
次に、ステップＳ１４０６において、撮像装置配置物体モデル１１０と空間モデル１０４とが衝突する可能性を表示するか否かを判断する。例えば、車両の運転者等のユーザーから指示があるか否かにより、表示するか否かを判断する。
ステップＳ１４０６で表示すると判断された場合（ＹＥＳ）は、ステップＳ１４０７において、夫々異なる時刻に対応した、生成された視点変換画像データ１１３、上記撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、上記撮像装置配置物体モデル１１０と上記空間モデル１０４とが衝突する可能性を算出する。
【００５９】
そして、ステップＳ１４０８において、ステップＳ１４０５での移動情報の表示に加え、上記視点変換装置１１２によって生成された上記視点変換画像データ１１３による画像に重畳して表示する撮像装置配置物体モデル１１０の画像のうち、上記衝突可能性算出装置３１６によって算出された衝突可能性を有する部分の表示形態を、衝突可能性に応じて異ならせて表示する。例えば、色、縁取り、警告アイコン等を異ならせて表示する。
【００６０】
ステップＳ１４０８での衝突可能性の表示の後、あるいはステップＳ１４０６で衝突可能性を表示しないと判断された場合（ステップＳ１４０６：ＮＯ）、ステップＳ１４０９において、撮像装置配置物体の所定の場所にとっての死角となる領域を示す死角情報を表示するか否かを判断する。例えば、車両の運転者等のユーザーから指示があるか否かにより、表示するか否かを判断する。
【００６１】
ステップＳ１４０９で表示すると判断された場合（ＹＥＳ）は、ステップＳ１４１０において、撮像装置配置物体に対応したデータによって表わされる撮像装置配置物体モデル１１０に基づいて、上記撮像装置配置物体の所定の場所にとっての死角となる領域を示す死角情報、例えば、撮像装置配置物体が車両であれば、車両の運転者にとっての死角となる領域を算出する。
【００６２】
そして、ステップＳ１４１１において、ステップＳ１４０５での移動情報の表示に加え、さらに場合によっては、ステップＳ１４０８での衝突可能性の表示も加え、撮像装置配置物体モデルとともに上記死角算出装置３１７によって算出された死角情報を表示する。
ステップＳ１４１１での死角情報の表示の後、あるいはステップＳ１４０９で死角情報を表示しないと判断された場合（ステップＳ１４０９：ＮＯ）、ステップＳ１４１２において、他物体の死角となる領域を示す他物体死角情報を表示するか否かを判断する。例えば、車両の運転者等のユーザーから指示があるか否かにより、表示するか否かを判断する。
【００６３】
ステップＳ１４１２で表示すると判断された場合（ＹＥＳ）は、ステップＳ１４１３において、生成された視点変換画像データ１１３、上記撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、上記撮像装置配置物体とは異なる他物体、例えば、先行する車両等を認識し、ステップＳ１４１４において、他物体に関するデータを示す他物体データに基づいて、上記他物体認識装置３１８によって認識され他物体の死角となる領域を示す他物体死角情報を算出する。例えば、撮像装置配置物体が車両であり、撮像装置配置物体とは異なる他物体も車両であれば、算出される死角領域は、他物体である車両の運転者にとっての死角となる領域である。また、領域他物体データは、撮像装置配置物体モデル１１０が格納されたデータベースを用いることもできる。
【００６４】
そして、ステップＳ１４１５において、ステップＳ１４０５での移動情報の表示に加え、さらに場合によっては、ステップＳ１４０８での衝突可能性、あるいはステップＳ１４１１での死角情報の表示も加え、撮像装置配置物体モデルとともに上記他物体死角算出装置３１９によって算出された当該他物体に係る死角情報を表示する。
【００６５】
このような画像生成処理の流れにより、視点変換画像において移動方向情報等の移動情報を表示することができ、さらには衝突可能性、死角情報、あるいは他物体死角情報も併せて表示することができる。
次に、図１５乃至図１７を用いて、車両等の物体に取り付けられた１台または複数台のカメラで撮影した画像に基づいて、その画像中の物体にとっての死角が直感的に分かるように表示するための画像データを生成することができる画像生成装置について説明する。
【００６６】
図１５は、他物体死角情報を表示するための画像生成装置のブロック図である。
図１５において、画像生成装置１５００は、１つまたは複数の撮像装置１５０１、他物体認識装置１５０３、他物体死角算出装置１５０５、および表示装置１５０６を備える。
撮像装置１５０１は、例えば、カメラであり、撮像装置配置物体に取り付けられ画像を撮像し、撮影画像データ１５０２としてデータベースに格納する。撮像装置配置物体が車両であれば、撮像装置１５０１は、車両周囲の画像を撮影する。
【００６７】
他物体認識装置１５０３は、上記撮像装置１５０１によって撮像された撮像データに基づいて、上記撮像装置配置物体と異なる他物体を認識する。例えば、撮像装置配置物体が車両であれば、先行する車両、対向する車両、歩行者等を認識する。
さらに、他物体死角算出装置１５０５は、所定の他物体に関するデータを示す他物体データ１５０４に基づいて、上記他物体認識装置１５０３によって認識された他物体の死角となる領域を示す他物体死角情報を算出する。例えば、撮像装置配置物体が車両であり、撮像装置配置物体とは異なる他物体も車両であれば、算出される死角領域は、他物体である車両の運転者にとっての死角となる領域である。また、領域他物体データ１５０４は、撮像装置配置物体モデル１５０４が格納されたデータベースを用いることが望ましい。
【００６８】
そして、表示装置１５０６は、他物体である上記撮像装置配置物体モデル１５０４とともに上記他物体死角算出装置１５０５によって算出された他物体死角情報を表示する。
図１６は、他物体死角情報を表示した表示例を示す図である。
図１６において、他物体は、カメラで撮像した画像に基づき認識し、他物体データ１５０４に基づいて、先行する車両であると認識したものである。そして、他物体データ１５０４に基づいて算出された他物体死角情報が表示されている。これにより、自車両が他物体の死角に入ってしまうことが認識できる。
【００６９】
図１７は、他物体死角情報を表示するための画像生成処理の流れを示すフローチャートである。
まず、ステップＳ１７０１において、車両等に物体に取り付けられているカメラを用いて、当該車両の周囲の画像を撮像する。
【００７０】
そして、ステップＳ１７０２において、撮像された撮像データに基づいて、上記撮像装置配置物体と異なる他物体、例えば、先行する車両、対向する車両、歩行者等を認識する。
次に、ステップＳ１７０３において、所定の他物体に関するデータを示す他物体データ１５０４に基づいて、上記認識された他物体である車両等の死角となる領域を示す他物体死角情報を算出する。
【００７１】
そして、他物体である上記撮像装置配置物体モデル１５０４とともに上記他物体死角算出装置１５０５によって算出された他物体死角情報を表示する。また、前記衝突危険度を自車両が、他物体の死角に入っている場合にはより危険な状態としてその衝突可能性の表示形態をさらに変化させても良い。
【００７２】
また、これらの実施の形態は、次に述べるように拡張することが可能である。
これまで述べてきた実施の形態においては、車両を撮像装置配置物体とし、これに搭載された撮像装置１０７、１５０１による画像を用いていたが、これは、カメラパラメータが既知、もしくは算出、計測可能である場合において、道路に面した構造物や、店舗内等に設置された監視カメラの画像を含めても同様に扱うことができる。測距装置１０１、１０２についてもカメラと同様に配置し、その位置、姿勢が既知もしくは算出、計測可能である場合において、道路に面した構造物や、店舗内等に設置された測距装置１０１、１０２からの距離情報（距離画像データ２０２）を用いることができる。
【００７３】
すなわち、視点変換画像を表示する表示装置１１４、３１４、１５０６と、撮像装置１０７、１５０１が必ずしも同一の撮像装置配置物体上に設置されている必要はなく、相対的に移動している障害物が存在すればよい。
また、装置構成上、複数の画像生成装置１００、２００、３００、１３００、１５００（同種の画像生成装置が複数で構成されていてもよいし、異種の画像生成装置が複数で構成されていてもよい。例えば画像生成装置１００が複数であってもよいし、画像生成装置１００と画像生成装置２００とにより構成されていてもよい。以下、同様。）が相互にデータのやり取りを実施するようにしてもよい。
【００７４】
これらの場合は、上述の実施形態の各データ、モデルを、各々の視点を利用する形態に応じて座標変換を実施する座標変換装置を備えた通信装置によりそれぞれの画像生成装置１００、２００、３００、１３００、１５００との間を通信すると共に、その基準座標を算出する座標姿勢算出装置を有する。
【００７５】
座標姿勢算出装置は、視点変換画像を生成する位置姿勢を算出する装置であり、これは、例えばＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）などによる緯度経度高度方位のデータを用いて仮想視点の座標を設定しても良く、他の画像生成装置１００、２００、３００、１３００、１５００との相対位置座標を算出することにより、本画像生成装置１００、２００、３００、１３００、１５００群内での相対位置座標を求めることにより、座標変換を実施し、所定の視点変換画像を生成するようにしても良い。それらの座標系内で、所望の仮想視点を設定することに相当する。
【００７６】
また、観察者が人物である場合は、例えばＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）などを装着しており視点変換画像を観察できると共に、撮像装置配置物体のカメラによって捉えられた観察者自らの位置、姿勢、方向が計測され得るようにしても良い。観察者である人物に装着するＧＰＳやジャイロセンサー、カメラ装置、人物の視線検出装置などで計測した座標姿勢情報を併用しても良い。
【００７７】
この観察者の視点を仮想視点として設定することにより、観察者にとっての移動情報、衝突可能性、死角等を算出できる。これにより人物は、自らにとっての障害物をＨＭＤなどに表示された仮想視点画像上で把握することが出来、自らに対する脅威、例えば物陰に隠れていたり、観察者の後方に潜んでいたりする不審者、犬、車両などを認知することができ、さらには、遠方の物体であってもそれに近接した撮像装置配置物体や画像生成装置の画像と空間モデルを用いることによりより正確に、精度良く生成された多視点変換画像を用いることができる。
【００７８】
また、上述した各実施の形態において、上述のように２眼のステレオカメラである場合に加え、複数の撮像装置は、それらによって、いわゆる３眼ステレオカメラを構成するように用いても、あるいは４眼ステレオカメラを構成するように用いてもよい。このように３眼あるいは４眼ステレオカメラを用いると、３次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られることが知られている（富田文明：情報処理学会発行「情報処理」第４２巻第４号の「高機能３次元視覚システム」等）。特に複数カメラを２方向の基線長を持つように配置すると、より複雑なシーンで３次元再構成が可能になることが知られている。また１つの基線長方向にカメラを複数台配置するといわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度のステレオ計測が可能となる。
【００７９】
当然ながら、人物ではなくこれが車両などの移動物体の場合でも適応可能である。
上述のように、本発明の各実施の形態を、図面を参照しながら説明してきたが、本発明が適用される画像生成装置は、その機能が実行されるのであれば、上述の各実施の形態に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ、ＷＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。
【００８０】
また、バスに接続されたＣＰＵ、ＲＯＭやＲＡＭのメモリ、入力装置、出力装置、外部記録装置、媒体駆動装置、可搬記録媒体、ネットワーク接続装置で構成されるシステムでも実現できる。すなわち、前述してきた各実施の形態のシステムを実現するソフトェアのプログラムコードを記録したＲＯＭやＲＡＭのメモリ、外部記録装置、可搬記録媒体を、画像生成装置に供給し、その画像生成装置のコンピュータがプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００８１】
この場合、可搬記録媒体等から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記録した可搬記録媒体等は本発明を構成することになる。
プログラムコードを供給するための可搬記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置（言い換えれば、通信回線）を介して記録した種々の記録媒体などを用いることができる。
【００８２】
また、コンピュータがメモリ上に読み出したプログラムコードを実行することによって、前述した各実施の形態の機能が実現される他、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行ない、その処理によっても前述した各実施の形態の機能が実現される。
【００８３】
さらに、可搬型記録媒体から読み出されたプログラムコードやプログラム（データ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した各実施の形態の機能が実現され得る。
【００８４】
すなわち、本発明は、以上に述べた各実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。
【図面の簡単な説明】
【００８５】
【図１】測距装置により空間モデルを生成し、視点変換画像を生成する画像生成装置のブロック図である。
【図２】撮像装置により空間モデルを生成し、視点変換画像を生成する画像生成装置のブロック図である。
【図３】測距装置により空間モデルを生成し、視点変換画像において移動情報を表示するための画像生成装置のブロック図である。
【図４】車両を運転するドライバーから観察され得る視野の様子を示す図である。
【図５】移動方向情報を表示した表示例を示す図である。
【図６】移動軌跡情報を表示した表示例を示す図である。
【図７】移動速度情報を表示した表示例を示す図である。
【図８】移動先情報を表示した表示例を示す図である。
【図９】移動情報の表示とともに、２物体が衝突する可能性に応じて画像の表示形態を異ならせて表示した表示例を示す図である。
【図１０】死角を説明するための図である。
【図１１】死角情報を表示した表示例を示す図である。
【図１２】他物体死角情報を表示した表示例を示す図である。
【図１３】撮像装置により空間モデルを生成し、視点変換画像において移動情報を表示するための画像生成装置のブロック図である。
【図１４】視点変換画像において移動情報、衝突可能性、死角情報、他物体死角情報を表示するための画像生成処理の流れを示すフローチャートである。
【図１５】他物体死角情報を表示するための画像生成装置のブロック図である。
【図１６】他物体死角情報を表示した表示例を示す図である。
【図１７】他物体死角情報を表示するための画像生成処理の流れを示すフローチャートである。
【符号の説明】
【００８６】
１００        画像生成装置
１０１        測距装置
１０２        距離画像データ
１０３        空間モデル生成装置
１０４        空間モデル
１０５        キャリブレーション装置
１０６        キャリブレーションデータ
１０７        撮像装置
１０８        撮像画像データ
１０９        空間再構成装置
１１０        撮像装置配置物体モデル
１１１        空間データ
１１２        視点変換装置
１１３        視点変換画像データ
１１４        表示装置
２００        画像生成装置
２０１        測距装置
２０２        距離画像データ
３００        画像生成装置
３１４        表示装置
３１５        移動情報算出装置
３１６        衝突可能性算出装置
３１７        死角算出装置
３１８        他物体認識装置
３１９        他物体死角算出装置
１３００      画像生成装置
１５００      画像生成装置
１５０１      撮像装置
１５０２      撮像画像データ
１５０３      他物体認識装置
１５０４      他物体データ
１５０５      他物体死角算出装置
１５０６      表示装置
【図１】
2005268847.tif 000003
【図２】
2005268847.tif 000004
【図３】
2005268847.tif 000005
【図４】
2005268847.tif 000006
【図５】
2005268847.tif 000007
【図６】
2005268847.tif 000008
【図７】
2005268847.tif 000009
【図８】
2005268847.tif 000010
【図９】
2005268847.tif 000011
【図１０】
2005268847.tif 000012
【図１１】
2005268847.tif 000013
【図１２】
2005268847.tif 000014
【図１３】
2005268847.tif 000015
【図１４】
2005268847.tif 000016
【図１５】
2005268847.tif 000017
【図１６】
2005268847.tif 000018
【図１７】
2005268847.tif 000019