(57)【要約】【課題】対象領域の現況を遠隔地でリアルタイムに再現する。【解決手段】画像生成システム１０は、対象領域３０の少なくとも一部の３次元形状を保持するデータ管理装置６０と、対象領域３０の少なくとも一部を撮像する撮像装置４０と、撮像装置４０により撮像された撮像画像と、第１の形状データとを用いて、対象領域３０の画像を生成する画像生成装置１００を含む。画像生成装置１００は、データ管理装置６０から取得した第１の形状データと、撮像装置４０から取得した撮像画像とを用いて、対象領域３０の画像を生成する。【選択図】        図１
2004264907.tif 000002
【特許請求の範囲】
【請求項１】
対象領域の少なくとも一部を含む第１領域の３次元形状を表す第１の形状データを保持するデータベースと、
前記対象領域の少なくとも一部を含む第２領域を撮像する撮像装置と、
前記撮像装置により撮像された撮像画像と、前記第１の形状データとを用いて、前記対象領域の画像を生成する画像生成装置と、を含み、
前記画像生成装置は、
前記データベースから前記第１の形状データを取得するデータ取得部と、
前記撮像装置から前記撮像画像を取得する画像取得部と、
所定の視点位置および視線方向を設定し、前記第１の形状データをレンダリングすることにより、前記第１領域の画像を生成する第１生成部と、
前記撮像画像を用いて、前記視点位置から前記視線方向に見たときの前記第２領域の画像を生成する第２生成部と、
前記第１領域の画像と前記第２領域の画像とを合成することにより、前記対象領域の画像を生成する合成部と、を備えることを特徴とする画像生成システム。
【請求項２】
該画像生成システムは、異なる複数の位置に配置された複数の撮像装置を含み、
前記画像生成装置は、前記複数の撮像装置から取得した複数の撮像画像を用いて、前記第２領域の３次元形状を表す第２の形状データを算出する算出部をさらに備え、
前記第２生成部は、前記視点位置および前記視線方向を設定し、前記第２の形状データをレンダリングすることにより、前記第２領域の画像を生成することを特徴とする請求項１に記載の画像生成システム。
【請求項３】
前記合成部は、前記対象領域のうち、前記第２の形状データにより表現されていない領域を、前記第１の形状データから生成された前記第１領域の画像で補完することにより、前記対象領域の画像を生成することを特徴とする請求項２に記載の画像生成システム。
【請求項４】
前記第２生成部は、前記第２の形状データをレンダリングする際に、前記第２の形状データにより表現されていない領域を透明色で描画し、前記合成部は、前記第１領域の画像に前記第２領域の画像を上書きすることにより、前記対象領域の画像を生成することを特徴とする請求項２に記載の画像生成システム。
【請求項５】
前記データベースは、前記対象領域のうち、短期的に変化しない領域を予めモデリングすることにより得られた第１の形状データを保持することを特徴とする請求項１から４のいずれかに記載の画像生成システム。
【請求項６】
前記データベースは、前記第１領域の色を表す第１の色データをさらに保持し、
前記画像生成装置は、
前記データベースから取得した前記第１の色データと、前記撮像画像の色データとを比較することにより、前記撮像画像における照明の状況を取得する照明算出部をさらに備えることを特徴とする請求項１から５のいずれかに記載の画像生成システム。
【請求項７】
前記第１生成部は、前記照明の状況を考慮して、前記第１領域の画像に前記撮像画像における照明と同様の照明の効果を付加することを特徴とする請求項６に記載の画像生成システム。
【請求項８】
前記第１生成部は、前記第１領域の画像に所定の照明の効果を付加し、
前記第２生成部は、前記第２領域の画像からいったん照明の効果を除去した上で、前記所定の照明の効果を付加することを特徴とする請求項６に記載の画像生成システム。
【請求項９】
前記撮像画像を蓄積する記録装置をさらに含み、
前記データベースは、異なる複数の時期の前記対象領域に対応する複数の前記第１の形状データを保持し、
前記画像生成装置は、
前記記録装置に蓄積された撮像画像の中から、前記画像取得部が取得すべき撮像画像を選択する第１選択部と、
前記データベースに保持された複数の第１の形状データの中から、前記データ取得部が取得すべき第１の形状データを選択する第２選択部と、をさらに備えることを特徴とする請求項１から８のいずれかに記載の画像生成システム。
【請求項１０】
前記第２選択部は、前記第１選択部が選択した撮像画像が撮像された時期に対応する第１の形状データを選択することを特徴とする請求項９に記載の画像生成システム。
【請求項１１】
対象領域の少なくとも一部を含む第１領域の３次元形状を表す第１の形状データを保持するデータベースから、前記第１の形状データを取得するデータ取得部と、
異なる複数の位置に配置された複数の撮像装置から、前記対象領域の少なくとも一部を含む第２領域の撮像画像を取得する画像取得部と、
所定の視点位置および視線方向を設定して、前記第１の形状データをレンダリングすることにより、前記第１領域の画像を生成する第１生成部と、
前記撮像画像を用いて、前記視点位置から前記視線方向に見たときの前記第２領域の画像を生成する第２生成部と、
前記第１領域の画像と前記第２領域の画像とを合成することにより、前記対象領域の画像を生成する合成部と、を備えることを特徴とする画像生成装置。
【請求項１２】
対象領域の少なくとも一部を含む第１領域の３次元形状を表す第１の形状データを予め保持したデータベースから前記第１の形状データを取得する工程と、
異なる複数の位置から撮像された、前記対象領域の少なくとも一部を含む第２領域の撮像画像を取得する工程と、
所定の視点位置および視線方向を設定して、前記第１の形状データをレンダリングすることにより、前記第１領域の画像を生成する工程と、
前記撮像画像を用いて、前記視点位置から前記視線方向に見たときの前記第２領域の画像を生成する工程と、
前記第１領域の画像と前記第２領域の画像とを合成することにより、前記対象領域の画像を生成する工程と、を含むことを特徴とする画像生成方法。
【請求項１３】
複数の撮像装置から、対象領域の複数の撮像画像をリアルタイムに取得して、所定の視点位置から所定の視線方向に見た前記対象領域の画像を生成する際に、前記対象領域の少なくとも一部を予めモデリングすることにより得られた３次元形状データを用いて生成された画像で、前記対象領域の画像を適宜補完することにより、前記対象領域の現状を擬似的に示す画像を生成することを特徴とする画像生成方法。
【請求項１４】
対象領域の少なくとも一部を含む第１領域の３次元形状を表す第１の形状データを予め保持したデータベースから前記第１の形状データを取得する機能と、
異なる複数の位置から撮像された、前記対象領域の少なくとも一部を含む第２領域の撮像画像を取得する機能と、
所定の視点位置および視線方向を設定して、前記第１の形状データをレンダリングすることにより、前記第１領域の画像を生成する機能と、
前記撮像画像を用いて、前記視点位置から前記視線方向に見たときの前記第２領域の画像を生成する機能と、
前記第１領域の画像と前記第２領域の画像とを合成することにより、前記対象領域の画像を生成する機能と、をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項１５】
対象領域の少なくとも一部を含む第１領域の３次元形状を表す第１の形状データを予め保持したデータベースから前記第１の形状データを取得する機能と、
異なる複数の位置から撮像された、前記対象領域の少なくとも一部を含む第２領域の撮像画像を取得する機能と、
所定の視点位置および視線方向を設定して、前記第１の形状データをレンダリングすることにより、前記第１領域の画像を生成する機能と、
前記撮像画像を用いて、前記視点位置から前記視線方向に見たときの前記第２領域の画像を生成する機能と、
前記第１領域の画像と前記第２領域の画像とを合成することにより、前記対象領域の画像を生成する機能と、をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像生成技術に関し、とくに、実写画像と形状データとを利用して対象領域の画像を生成する画像生成システム、画像生成装置、および画像生成方法に関する。
【０００２】
【従来の技術】
近年、２次元の静止画や動画のみならず、３次元の仮想現実世界がユーザに提供されるようになっている。たとえば、建物を紹介するウェブページにその建物の内部のウォークスルー画像を掲載するなど、臨場感のあふれる魅力的なコンテンツが提供されるようになった。
【０００３】
このような３次元仮想現実世界は、通常、現実世界または仮想世界の３次元空間の形状を予めモデリングすることにより構築される。コンテンツ提供装置は、構築されたモデリングデータをストレージに保持し、ユーザから視点および視線方向を指定されると、そのモデリングデータをレンダリングしてユーザに提示する。ユーザが視点または視線方向を変更するたびに、モデリングデータを再レンダリングして提示することにより、ユーザが３次元仮想現実世界の中を自由に動き回って映像を取得可能な環境を提供することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の例では、予めモデリングされた形状データにより３次元仮想現実世界を構築しているため、実世界の現況をリアルタイムに再現することはできない。
【０００５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、実世界の３次元画像を生成する技術の提供にある。本発明の別の目的は、実世界の現況をリアルタイムに再現する技術の提供にある。
【０００６】
【課題を解決するための手段】
本発明のある態様は、画像生成システムに関する。この画像生成システムは、対象領域の少なくとも一部を含む第１領域の３次元形状を表す第１の形状データを保持するデータベースと、対象領域の少なくとも一部を含む第２領域を撮像する撮像装置と、撮像装置により撮像された撮像画像と、第１の形状データとを用いて、対象領域の画像を生成する画像生成装置と、を含み、画像生成装置は、データベースから第１の形状データを取得するデータ取得部と、撮像装置から撮像画像を取得する画像取得部と、所定の視点位置および視線方向を設定し、第１の形状データをレンダリングすることにより第１領域の画像を生成する第１生成部と、撮像画像を用いて、視点位置から視線方向に見たときの第２領域の画像を生成する第２生成部と、第１領域の画像と第２領域の画像とを合成することにより対象領域の画像を生成する合成部と、を備える。
【０００７】
画像生成装置は、複数の撮像装置から取得した複数の撮像画像を用いて、第２領域の３次元形状を表す第２の形状データを算出する算出部をさらに備え、第２生成部は、視点位置および視線方向を設定し、第２の形状データをレンダリングすることにより、第２領域の画像を生成してもよい。合成部は、対象領域のうち、第２の形状データにより表現されていない領域を、第１の形状データから生成された第１領域の画像で補完することにより、対象領域の画像を生成してもよい。
【０００８】
データベースは、第１領域の色を表す第１の色データをさらに保持し、画像生成装置は、データベースから取得した第１の色データと、撮像画像の色データとを比較することにより、撮像画像における照明の状況を取得する照明算出部をさらに備えてもよい。第１生成部は、照明の状況を考慮して、第１領域の画像に撮像画像における照明と同様の照明の効果を付加してもよい。第１生成部は、第１領域の画像に所定の照明の効果を付加し、第２生成部は、第２領域の画像からいったん照明の効果を除去した上で、所定の照明の効果を付加してもよい。
【０００９】
この画像生成システムは、撮像画像を蓄積する記録装置をさらに含み、データベースは、異なる複数の時期の対象領域に対応する複数の第１の形状データを保持し、画像生成装置は、記録装置に蓄積された撮像画像の中から、画像取得部が取得すべき撮像画像を選択する第１選択部と、データベースに保持された複数の第１の形状データの中から、データ取得部が取得すべき第１の形状データを選択する第２選択部と、をさらに備えてもよい。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【００１１】
【発明の実施の形態】
（第１の実施の形態）
図１は、第１の実施の形態に係る画像生成システム１０の全体構成を示す。本実施の形態の画像生成システム１０は、対象領域３０を所定の視点から所定の視線方向に見た画像をリアルタイムに生成して表示するために、撮像装置４０により撮像された対象領域３０の実写画像と、データ管理装置６０に格納されている対象領域３０の３次元形状データとを取得し、それらを利用して対象領域３０の３次元仮想現実世界を構築する。対象領域３０は、繁華街、店舗、競技場など室内外を問わず任意の領域であってよく、たとえば、繁華街や店舗の現況を配信したり、野球などの競技を実況中継したりするために本実施の形態の画像生成システム１０を利用してもよい。競技場の設備や建物の外観など、短期的に時間変化しない、または時間変化が少ないオブジェクトを、予めモデリングして３次元形状データとしてデータ管理装置６０に登録しておき、その３次元形状データを用いてレンダリングした画像と、撮像装置４０により撮像されたリアルタイムな実写画像をもとに生成された画像とを合成する。予めモデリングした３次元形状データのみでは、対象領域３０の状況をリアルタイムに再現することはできないし、実写画像のみでは、死角となって撮像されなかった領域を再現することができない。また、死角を減らすために多くの撮像装置を設置するには膨大なコストがかかる。本実施の形態の画像生成システム１０は、両者を利用して互いに補完することにより、再現不可能な領域を最小限に抑えるとともに、リアルタイムでかつ精度の高い画像を生成することができる。
【００１２】
画像生成システム１０において、対象領域３０の少なくとも一部を撮像する撮像装置４０ａ、４０ｂ、および４０ｃのそれぞれに接続され、撮像装置４０が撮像した画像を処理してネットワークへ送出するＩＰＵ（Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５０ａ、５０ｂ、および５０ｃと、対象領域３０の少なくとも一部の３次元形状を表す第１の形状データ（以下、「モデリングデータ」ともいう）を保持するデータベースの一例としてのデータ管理装置６０と、対象領域３０の画像を生成する画像生成装置１００とは、ネットワークの一例としてのインターネット２０により接続されている。画像生成装置１００により生成された画像は表示装置１９０に表示される。
【００１３】
図２は、画像生成システム１０における一連の処理を、ユーザ、画像生成装置１００、データ管理装置６０、およびＩＰＵ５０の間でのやり取りで記述する。
詳細は後述することとし、ここでは概要に触れる。まず、画像生成装置１００は、撮像装置４０およびＩＰＵ５０などの設備と、モデリングデータとが用意されていて、画像の生成が可能な対象領域３０の候補をユーザに提示し（Ｓ１００）、ユーザは、画像生成装置１００が提示した対象領域の候補の中から所望の領域を選択して画像生成装置１００に指示する（Ｓ１０２）。画像生成装置１００は、データ管理装置６０に、ユーザが選択した対象領域３０に関するデータの送信を要求する（Ｓ１０４）。データ管理装置６０は、その対象領域３０のモデリングデータ、その対象領域３０を撮像中の撮像装置４０またはＩＰＵ５０を特定するための情報（たとえば、ＩＤ番号またはＩＰアドレス）などを画像生成装置１００に送信する（Ｓ１０６）。ユーザは、画像生成装置１００に視点および視線方向を指示する（Ｓ１０７）。画像生成装置１００は、対象領域３０を撮像中の撮像装置４０またはＩＰＵ５０に対して撮像画像の送信を要求し（Ｓ１０８）、要求を受けた撮像装置４０またはＩＰＵ５０は、画像生成装置１００に撮像した撮像画像を送信する（Ｓ１１０）。撮像画像は、所定の間隔で連続的に送られる。画像生成装置１００は、ユーザから指定された視点および視線方向を設定して、取得したモデリングデータおよび撮像画像をもとに、対象領域３０の３次元仮想現実世界を構築し、指定された視点から視線方向に見た対象領域３０の画像を生成する（Ｓ１１４）。画像生成装置１００は、ユーザから随時視点および視線方向の変更要求を受け付けて画像を更新することにより、ユーザが対象領域３０の３次元仮想現実世界の中を自由に移動し、見回すことができるようにしてもよい。また、撮像装置４０の位置または撮像方向が可変である場合、画像生成装置１００は、ユーザから指定された視点および視線方向にしたがって、撮像装置４０の位置または撮像方向を変更するよう撮像装置４０に指示してもよい。生成された画像は、表示装置１９０によりユーザに提示される（Ｓ１１６）。
【００１４】
図３は、画像生成装置１００の内部構成を示す。この構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされた画像生成機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。画像生成装置１００は、主に、画像生成機能を制御する制御部１０４、およびインターネット２０を介した外部と制御部１０４との通信を制御する通信部１０２を備える。制御部１０４は、データ取得部１１０、画像取得部１２０、３次元形状算出部１３０、第１生成部１４０、第２生成部１４２、画像合成部１５０、照明算出部１６０、およびインタフェイス部１７０を備える。
【００１５】
インタフェイス部１７０は、ユーザに対して対象領域３０の候補を提示し、表示すべき対象領域３０の指示をユーザから受け付ける。また、ユーザから視点および視線方向や、照明などの効果の設定および変更の指示を受け付ける。また、インタフェイス部１７０は、他のソフトウェア等から視点および視線方向などを受け付けてもよい。対象領域３０の候補は、予め図示しない保持部に登録しておいてもよいし、データ管理装置６０に問い合わせて取得してもよい。データ取得部１１０は、ユーザなどから指定された対象領域３０に関する情報の送信をデータ管理装置６０に要求し、対象領域３０の少なくとも一部を含む第１領域を予めモデリングして得られた３次元形状を表すモデリングデータや、その対象領域３０を撮像中の撮像装置４０またはＩＰＵ５０を特定するための情報などをデータ管理装置６０から取得する。この第１領域は、主に、対象領域３０のうち短期的に変化しないオブジェクトにより構成される。第１生成部１４０は、ユーザから指定された視点位置および視線方向を設定し、このモデリングデータをレンダリングすることにより第１領域の画像を生成する。
【００１６】
画像取得部１２０は、対象領域３０の少なくとも一部を含む第２領域の撮像画像を撮像装置４０から取得する。この第２領域は、撮像装置４０の撮像範囲に対応する。対象領域３０を撮像中の撮像装置４０が複数ある場合は、それらの撮像装置４０から撮像画像を取得する。３次元形状算出部１３０は、取得した撮像画像を用いて、第２領域の３次元形状を表す第２の形状データ（以下、「実写形状データ」ともいう）を算出する。３次元形状算出部１３０は、ステレオビジョン法などを利用して、複数の撮像画像からピクセルごとに奥行き情報を生成することにより、実写形状データを生成してもよい。第２生成部１４２は、ユーザにより指定された視点位置および視線方向を設定し、この実写形状データをレンダリングすることにより第２領域の画像を生成する。照明算出部１６０は、モデリングデータと実写形状データの色情報を比較することにより、撮像画像における照明の状況を取得する。この照明に関する情報は、後述するように、第１生成部１４０または第２生成部１４２におけるレンダリングの際に利用されてもよい。画像合成部１５０は、第１領域の画像と第２領域の画像とを合成することにより、対象領域３０の画像を生成し、表示装置１９０に出力する。
【００１７】
図４は、データ管理装置６０の内部構成を示す図である。データ管理装置６０は、主に、通信部６２、データ登録部６４、データ送信部６５、３次元形状データベース６６、管理テーブル６７を備える。通信部６２は、インターネット２０を介した外部との通信を制御する。データ登録部６４は、予め対象領域３０のモデリングデータを外部から取得して３次元形状データベース６６に登録する。また、撮像装置４０の位置および向き、時間などのデータを、インターネット２０を介して取得し、管理テーブル６７に登録する。３次元形状データベース６６は、対象領域３０のモデリングデータを保持する。モデリングデータは、既知のデータ構造により保持されてもよく、たとえば、ポリゴンデータ、ワイヤフレームモデル、サーフェイスモデル、ソリッドモデルなどであってもよい。３次元形状データベース６６は、オブジェクトの形状データの他に、面のテクスチャ、材質、硬度、反射率などを保持してもよいし、オブジェクトの名称、種別などの情報を保持してもよい。管理テーブル６７は、撮像装置４０の位置、向き、時間、識別情報、ＩＰＵ５０の識別情報など、モデリングデータや撮像画像の送受信の管理に必要なデータを保持する。データ送信部６５は、画像生成装置１００からのデータ要求に応じて必要なデータを送信する。
【００１８】
図５は、管理テーブル６７の内部データを示す。管理テーブル６７には、複数の対象領域を一意に識別するための対象領域ＩＤ欄３００、および対象領域３０に設けられた撮像装置４０の情報を格納する撮像装置情報欄３１０が設けられている。撮像装置情報欄３１０は、対象領域３０に配置されている撮像装置４０の数だけ設けられる。撮像装置情報欄３１０には、それぞれ、撮像装置４０のＩＤを格納するＩＤ欄３１２、撮像装置４０に接続されたＩＰＵ５０のＩＰアドレスを格納するＩＰアドレス欄３１４、撮像装置４０の位置を格納する位置欄３１６、撮像装置４０の撮像方向を格納する方向欄３１８、撮像装置４０の撮像倍率を格納する倍率欄３２０、および撮像装置４０の焦点距離を格納する焦点距離欄３２２が設けられている。撮像装置４０の位置、撮像方向、倍率、焦点距離などが変更されると、その旨がデータ管理装置６０に通知され、管理テーブル６７が更新される。
【００１９】
以下、モデリングデータおよび実写形状データから対象領域３０の画像を生成する具体的な手順について説明する。
【００２０】
図６は、対象領域３０の実際の様子を示す。対象領域３０には、ビル３０ａ、３０ｂ、および３０ｃ、自動車３０ｄ、人３０ｅが存在している。このうち、ビル３０ａ、３０ｂ、および３０ｃは、ほとんど時間変化しないオブジェクトであり、自動車３０ｄおよび人３０ｅは、時間変化するオブジェクトである。
【００２１】
図７は、データ管理装置６０に登録されたモデリングデータによる第１領域３２の画像を示す。図７は、図６との対応を分かりやすくするために、図６と同様に、対象領域３０の斜め上方に視点をおき、その視点から対象領域３０を見下ろす方向に視線方向を設定して、モデリングデータをレンダリングしたときの画像を示している。この例では、データ管理装置６０に、モデリングデータとして、短期的に時間変化しないオブジェクトであるビル３２ａ、３２ｂ、および３２ｃが登録されている。画像生成装置１００は、このモデリングデータをデータ取得部１１０によりデータ管理装置６０から取得し、第１生成部１４０によりレンダリングして、第１領域３２の画像を生成する。
【００２２】
図８、図９、および図１０は、撮像装置４０により撮像された第２領域の撮像画像３４ａ、３４ｂ、および３４ｃを示し、図１１は、撮像画像をもとに算出された実写形状データによる第２領域３６の画像を示す。図８、図９、および図１０では、３台の撮像装置４０による撮像画像を示しているが、死角になって撮像されない領域をできる限り少なくするために、また、ステレオビジョン法などを利用してオブジェクトの奥行き情報を得るために、異なる複数の位置に配置された複数の撮像装置４０により対象領域３０を撮像するのが好ましい。１台の撮像装置４０のみで対象領域３０を撮像する場合は、奥行き情報が取得可能な測距機能を有する撮像装置４０を用いるのが好ましい。画像生成装置１００は、画像取得部１２０により撮像装置４０から撮像画像を取得し、３次元形状算出部１３０により実写形状データを算出し、第２生成部１４２により第２領域３６の画像を生成する。
【００２３】
図８では、対象領域３０に存在する、ビル３０ａ、３０ｂ、および３０ｃ、自動車３０ｄ、人３０ｅが撮像されているが、図９および図１０では、ビル３０ａおよび３０ｂの側面が、ビル３０ｃの影に隠れており一部しか撮像されていない。これらの画像からステレオビジョン法などにより対象領域３０の３次元形状データを算出した場合、撮像されていない領域はマッチングがとれないので、実写形状データが生成されないことになる。すなわち、図１１において、ビル３６ａの側面および上面、ビル３６ｂの側面は、全体が撮像されていないため、正確に再現することができない。本実施の形態では、上記のように再現できず空白となる領域を最小限に抑えるため、撮像画像から生成された画像にモデリングデータから生成された画像を合成する。
【００２４】
図１２は、図７に示した第１領域の画像と図１１に示した第２領域の画像を合成した画像を示す。画像合成部１５０は、第１生成部１４０が生成したモデリングデータによる第１領域の画像３２と、第２生成部１４２が生成した実写形状データによる第２領域の画像３６とを合成し、対象領域３０の画像３８を生成する。画像３８では、実写形状データによる画像３６において再現できなかったビル３０ａの側面および上面、ビル３０ｂの側面が、モデリングデータによる画像によって補完されている。このように、モデリングデータによる画像を利用することで、少なくともモデリングされた領域については画像を生成することが可能であるから、背景の破綻を最小限に抑えることができる。また、実写画像を利用することで、対象領域３０の現状をより正確かつ精細に再現することができる。
【００２５】
第１領域の画像と第２領域の画像を合成するために、まず、第２生成部１４２は、第２領域を生成するときに、データが欠落した領域を透明色で描画し、画像合成部１５０は、第１領域の画像に第２領域の画像を上書きすることにより対象領域の画像を生成してもよい。第２領域の画像のうち、情報不足によりデータが欠落した領域を検知するには、複数の組合せによるステレオビジョンの結果を比較して、誤差があるしきい値を超えた場合に、その領域が、データが欠落した領域であると判定するなどの方法がある。これにより、実写画像から画像が生成された領域については、その画像を用い、実写画像においてデータが欠落した領域については、モデリングデータによる画像で補完することができる。その他、第１領域の画像と第２領域の画像とを所定の割合で混合してもよい。実写画像を形状認識してオブジェクトに分割し、オブジェクトごとに３次元形状を算出し、モデリングデータと比較することにより、オブジェクト単位で合成してからレンダリングしてもよい。
【００２６】
モデリングデータによる第１領域の画像に、実写画像による第２領域の画像を合成する際、陰面消去を適切に行うために、Ｚバッファ法などの技術を用いてもよい。たとえば、第１領域の画像の各画素の奥行き情報ｚをバッファに保持しておき、第１領域の画像に第２の領域の画像を上書きするときに、第２領域の画像の画素の奥行きがバッファに保持されている奥行き情報ｚよりも近い場合は、第２領域の画像の画素で置き換える。このとき、撮像画像から得られる第２領域の画像の奥行き情報には、ある程度の誤差が含まれることが予想されるので、Ｚバッファに保持された奥行き情報ｚとの比較を行うときに、この誤差を考慮してもよい。たとえば、所定の誤差の分だけマージンをとってもよい。陰面消去をオブジェクト単位で行う場合は、モデリングデータのオブジェクトと撮像画像内のオブジェクトの位置関係などから同一のオブジェクト同士の対応をとり、既知のアルゴリズムにより陰面消去を行ってもよい。
【００２７】
第１生成部１４０は、撮像装置４０が対象領域３０の撮像したときの視点および視線方向を取得し、その視点および視線方向を用いてモデリングデータをレンダリングし、第１領域の画像を生成してもよい。このとき、撮像装置４０から取得した撮像画像をそのまま第２領域の画像としてもよい。これにより、撮像装置４０が撮像した画像に、モデリングデータに登録されたオブジェクトを追加したり、削除したりすることができる。たとえば、建設予定のビルなどをモデリングデータとして登録しておき、そのビルの画像を撮像画像に合成することにより、ビルが完成したときの予想図を生成することができる。
【００２８】
また、撮像画像からあるオブジェクトを削除したいときは、削除したいオブジェクトのモデリングデータをもとに、そのオブジェクトが撮像画像中のどの画素に対応するかを判定し、それらの画素を書き換えることによりオブジェクトを削除することができる。ここで、オブジェクトの対応は、たとえば、オブジェクトの位置や色などを参照して判定してもよい。削除したオブジェクトを構成していた領域は、そのオブジェクトが存在しなかったと仮定したときに見えるはずの背景画像に書き換えられることが好ましい。この背景画像は、モデリングデータのレンダリングにより生成してもよい。
【００２９】
つづいて、照明効果の除去および付加について説明する。上述のように、実写形状データによる画像とモデリングデータによる画像を合成するとき、実写形状データによる画像には、撮像時における実照明が当たっているので、照明効果の付加されていないモデリングデータによる画像を合成すると、不自然な画像になる恐れがある。また、たとえば、朝に撮像された撮像画像を用いて、夕方の状況を再現するなど、合成された画像に仮想の照明を付加したい場合がある。このような用途のために、実写画像における照明の効果を算出し、それをキャンセルしたり、仮想の照明を付加したりする手順について説明する。
【００３０】
図１３は、照明の状況を算出する方法を説明するための図である。ここでは、照明モデルとして平行光源を仮定し、反射モデルとして完全散乱反射モデルを仮定する。このとき、実写画像に撮像されたオブジェクト４００の面４０２における画素値Ｐ＝（Ｒ１，Ｇ１，Ｂ１）は、素材のカラー（色データ）Ｃ＝（Ｓｒ１，Ｓｇ１，Ｓｂ１）、法線ベクトルＮ１＝（Ｎｘ１，Ｎｙ１，Ｎｚ１）、光源ベクトルＬ＝（Ｌｘ，Ｌｙ，Ｌｚ）、環境光データＢ＝（Ｂｒ，Ｂｇ，Ｂｂ）を用いて、
2004264907.tif 000003
と表せる。光源ベクトルＬが撮像装置に対して順光であればＬｉｍｉｔははずしてよい。順光の場合、実写画像における画素値Ｐは、素材の色データＣと環境光データＢとの積よりも大きくなるので、Ｒ＞Ｓｒ＊ＢｒかつＧ＞Ｓｇ＊ＢｇかつＢ＞Ｓｂ＊Ｂｂであるようなオブジェクトを選択するのが好ましい。ここで、色データＣはオブジェクト４００の面４０２の画素の画素値、法線ベクトルＮ１は面４０２の正規化された法線ベクトルであり、それぞれ、データ管理装置６０から取得される。データ管理装置６０から直接法線ベクトルＮ１が取得できない場合は、オブジェクト４００の形状データから演算により算出してもよい。環境光Ｂは、たとえば、対象領域３０に置かれた半透明球などにより測定することができ、Ｂｒ、Ｂｇ、Ｂｂは、それぞれ、０から１までの値をとる係数である。
【００３１】
上式を用いて、実写画像の画素値Ｐから光源ベクトルＬを求めるためには、法線ベクトルが１次独立な３つの面について立式し、方程式を解けばよい。３つの面は、同じオブジェクトの面であってもよいし、異なるオブジェクトの面であってもよいが、上述のように、光源ベクトルＬが撮像装置に対して順光となる面を選択するのが好ましい。方程式を解いて、光源ベクトルＬが得られると、実写画像に撮像されたオブジェクトのうち、データ管理装置６０に登録されていないオブジェクトについて、下式により、照明が当たっていないときの素材の色データＣを算出することができる。
Ｓｒ＝Ｒ／（Ｎ・Ｌ＋Ｂｒ）
Ｓｇ＝Ｇ／（Ｎ・Ｌ＋Ｂｇ）
Ｓｂ＝Ｂ／（Ｎ・Ｌ＋Ｂｂ）
これにより、実写画像から生成される第２領域の画像から、照明の効果を除去することができる。
【００３２】
図１４は、照明の状況を算出する別の方法を説明するための図である。ここでは、照明モデルとして点光源を仮定し、反射モデルとして鏡面反射モデルを仮定する。このとき、実写画像に撮像されたオブジェクト４１０の面４１２における画素値Ｐ＝（Ｒ１，Ｇ１，Ｂ１）は、素材の色データＣ＝（Ｓｒ１，Ｓｇ１，Ｓｂ１）、法線ベクトルＮ１＝（Ｎｘ１，Ｎｙ１，Ｎｚ１）、光源ベクトルＬ＝（Ｌｘ，Ｌｙ，Ｌｚ）、環境光データＢ＝（Ｂｒ，Ｂｇ，Ｂｂ）、視線ベクトルＥ＝（Ｅｘ，Ｅｙ，Ｅｚ）、反射光ベクトルＲ＝（Ｒｘ，Ｒｙ，Ｒｚ）を用いて、
2004264907.tif 000004
と表せる。ここで、「×」は外積を表す。平行光源と完全散乱反射モデルの場合と同様に、異なる３つの視点から撮像した撮像画像を用いて３つの式を作り、その方程式を解くと、反射光ベクトルＲを求めることができる。このとき、Ｒ＞Ｓｒ＊ＢｒかつＧ＞Ｓｇ＊ＢｇかつＢ＞Ｓｂ＊Ｂｂであるような面について立式するのが好ましく、３つの視線ベクトルは１次独立でなければならない。
【００３３】
Ｒが算出されれば、（Ｌ＋Ｒ）×Ｎ＝０、および、｜Ｌ｜＝｜Ｒ｜、という関係から、光源ベクトルＬを求めることができる。具体的には、下式により算出される。
Ｌ＝２（Ｎ・Ｒ）Ｎ−Ｒ
２点について光源ベクトルＬを算出すれば、光源の位置を決定することができる。光源の位置および光源ベクトルＬが算出されると、図１３の例と同様にして、実写画像から生成される第２領域の画像から、照明の効果を除去することができる。
【００３４】
つづいて、Ｆｏｇがかかっている状況を仮定する。視点から距離Ｚの点の色データを（Ｒ，Ｇ，Ｂ）、Ｆｏｇ値をｆ（Ｚ）、Ｆｏｇカラーを（Ｆｒ，Ｆｇ，Ｆｂ）とすると、表示されるカラー（Ｒ０、Ｇ０、Ｂ０）は下式で表される。
Ｒ０＝Ｒ＊（１．０−ｆ（Ｚ））＋Ｆｒ＊ｆ（Ｚ）
Ｇ０＝Ｇ＊（１．０−ｆ（Ｚ））＋Ｆｇ＊ｆ（Ｚ）
Ｂ０＝Ｂ＊（１．０−ｆ（Ｚ））＋Ｆｂ＊ｆ（Ｚ）
ここで、ｆ（Ｚ）は、たとえば、図１５に示すように、次式で近似することができる（特開平７−２１４０７号公報参照）。
ｆ（Ｚ）＝１−ｅｘｐ（−ａ＊Ｚ）
ここで、ａはＦｏｇの濃さを表す。
【００３５】
撮像装置の前に色データが既知のオブジェクトを置いて実写画像を取得し、２点について上式を立式し、その方程式をａについて解く。具体的には、
Ｒ０＝Ｒ＊（１．０−ｆ（Ｚ０））＋Ｆｒ＊ｆ（Ｚ０）
Ｒ１＝Ｒ＊（１．０−ｆ（Ｚ１））＋Ｆｒ＊ｆ（Ｚ１）
であるから、これをａについて解いて、
2004264907.tif 000005
図１６に示したように、左辺および右辺の２つの指数関数の交点からａを求めることができる。
【００３６】
実写画像においてＦｏｇがかかっているオブジェクトについて、データ管理装置６０よりそのオブジェクトの位置を取得し、撮像装置４０からの距離Ｚを算出すれば、上式よりＦｏｇがかかる前の色データを算出することができる。
【００３７】
上述のように、実写画像とモデリングデータとを用いて、実写画像における照明の状況を取得することができるので、実写画像から生成される第２領域の画像から、照明の効果を除去することができる。また、第２領域の画像から照明の効果を除去した上で、第１領域の画像および第２領域の画像をレンダリングする際に任意の照明効果を付加することができる。
【００３８】
図１７は、本実施の形態に係る画像生成方法の手順を示すフローチャートである。画像生成装置１００は、ユーザにより指定された対象領域３０の少なくとも一部を含む第１領域の３次元形状データをデータ管理装置６０から取得する（Ｓ１００）。さらに、対象領域３０の少なくとも一部を含む第２領域の撮像画像をＩＰＵ５０から取得し（Ｓ１０２）、３次元形状算出部１３０により実写形状データを算出する（Ｓ１０４）。必要であれば、照明算出部１６０により撮像画像における照明の状況を算出しておく（Ｓ１０６）。第１生成部１４０は、モデリングデータをレンダリングすることにより第１領域の画像を生成し（Ｓ１０８）、第２生成部１４２は、実写形状データをレンダリングすることにより第２領域の画像を生成する（Ｓ１１０）。このときに、照明算出部１６０により算出された照明効果を考慮して、照明を除去したり、所定の照明効果を付加したりしてもよい。画像合成部１５０は、第１領域の画像と第２領域の画像を合成して、対象領域３０の画像を生成する（Ｓ１１２）。
【００３９】
図１８は、照明効果を算出する手順を示すフローチャートである。照明算出部１６０は、実写画像における照明の状況を算出するために、データ管理装置６０に登録され、かつ実写画像に撮像されているオブジェクトを選択し（Ｓ１２０）、照明に関するデータ、たとえば、そのオブジェクトの色情報、位置情報などを取得する（Ｓ１２２）。そして、対象領域３０の照明の状況を算出するために適当な照明モデルを同定し（Ｓ１２４）、そのモデルにしたがって照明の状況を算出する（Ｓ１２６）。
【００４０】
（第２の実施の形態）
図１９は、第２の実施の形態に係る画像生成システムの全体構成を示す。本実施の形態の画像生成システム１０は、図１に示した第１の実施の形態の画像生成システム１０の構成に加えて、ＩＰＵ５０ａ、５０ｂ、および５０ｃのそれぞれと、インターネット２０に接続された画像記録装置８０を備える。画像記録装置８０は、撮像装置４０が撮像した対象領域３０の撮像画像をＩＰＵ５０から取得し、それを時系列的に保持する。そして、画像生成装置１００からの要求に応じて、要求された日時の対象領域３０の撮像画像を画像生成装置１００に送出する。また、本実施の形態のデータ管理装置６０の３次元形状データベース６６は、過去から現在までの所定の時期に対応する対象領域３０のモデリングデータを保持し、画像生成装置１００からの要求に応じて、要求された日時に対応する対象領域３０のモデリングデータを画像生成装置１００に送出する。これにより、対象領域３０の現状のみならず、過去の対象領域３０の状況を再現することができる。以下、第１の実施の形態と異なる点を中心に説明する。
【００４１】
図２０は、本実施の形態に係る画像生成装置１００の内部構成を示す。本実施の形態の画像生成装置１００は、図３に示した第１の実施の形態の画像生成装置１００の構成に加えて、第１選択部２１２および第２選択部２２２を備える。その他の構成については、第１の実施の形態と同様であり、同様の構成には同じ符号を付している。本実施の形態に係るデータ管理装置６０の内部構成は、図４に示した第１の実施の形態のデータ管理装置６０の内部構成と同様である。
【００４２】
図２１は、本実施の形態の管理テーブル６７の内部データを示す。本実施の形態の管理テーブル６７には、画像記録装置８０に蓄積された撮像画像を管理するために、図６に示した管理テーブル６７の内部データに加えて、撮像画像蓄積情報欄３０２が設けられている。撮像画像蓄積情報欄３０２には、画像記録装置８０が保持している撮像画像の蓄積期間を格納する蓄積期間欄３０４および画像記録装置８０にアクセスするためのＩＰアドレスを格納する記録装置ＩＰアドレス欄３０６が設けられている。
【００４３】
ユーザが、インタフェイス部１７０を介して、画像の生成を希望する対象領域３０と、日時を選択したとき、指定された日時が過去であれば、第１選択部２１２は、データ管理装置６０に保持された対象領域３０の複数のモデリングデータの中から、データ取得部１１０が取得すべきモデリングデータを選択して、データ取得部１１０に指示する。また、第２選択部２２２は、画像記録装置８０に蓄積された撮像画像の中から、画像取得部１２０が取得すべき撮像画像を選択して、画像取得部１２０に指示する。このとき、第１選択部２１２は、第２選択部２２２が選択した撮像画像が撮像された時期に対応するモデリングデータを選択してもよい。これにより、過去の対象領域３０の画像を再現することができる。モデリングデータと実写画像を用いて対象領域３０の画像を生成する手順については、第１の実施の形態と同様である。
【００４４】
第１選択部２１２が選択したモデリングデータに対応する時期と、第２選択部２２２が選択した撮像画像の撮像時期は、必ずしも一致していなくてもよく、たとえば、過去のモデリングデータと現在の撮像画像とを合成してもよい。過去の対象領域３０の風景をモデリングデータにより再現し、そこに現在の撮像画像から抽出した通行人などの画像を合成するなどして、異なる時期の対象領域３０の状況を融合した画像を生成してもよい。このとき、撮像画像からあるオブジェクトの画像を抽出する場合、形状認識などの技術を利用して所望のオブジェクトを抽出してもよい。また、撮像画像と、その撮像画像の撮像時期と同時期に対応するモデリングデータから生成された画像とを比較して差分をとることにより、撮像画像に撮像されているがモデリングデータには存在しないオブジェクトを抽出してもよい。
【００４５】
図２２は、画像生成装置１００のインタフェイス部１７０がユーザに提示する選択画面５００の例を示す。選択画面５００では、対象領域３０の候補として、「Ａ地域」、「Ｂ地域」、「Ｃ地域」が挙げられており、それぞれ、現況を表示するか、過去の状況を表示するかを選択することが可能となっている。ユーザが対象領域および時期を選択して表示ボタン５０２をクリックすると、インタフェイス部１７０は、第１選択部２１２および第２選択部２２２に選択された対象領域および時期を通知する。管理テーブル６７に、対象領域３０に関する情報、たとえば、「スポーツ施設」、「繁華街」などの情報を登録しておき、ユーザがそれらのキーワードから対象領域を選択できるようにしてもよい。画像の生成を希望する領域を視点位置と視線方向などにより指定させ、その領域を撮像している撮像装置４０を管理テーブル６７から検索してもよい。ユーザが指定した領域のモデリングデータがデータ管理装置６０に登録されているが、その領域を撮像している撮像装置４０が存在しない場合、モデリングデータから生成した画像をユーザに提供してもよい。逆に、ユーザが指定した領域を撮像している撮像装置４０が存在するが、モデリングデータがデータ管理装置６０に登録されていない場合、撮像画像をユーザに提供してもよい。
【００４６】
図２３は、画像生成装置１００により生成された対象領域３０の画像をユーザに提示する画面５１０の例を示す。画面５１０の左側には、対象領域３０の地図５１２が表示されており、現在の視点の位置および視線方向が示されている。画面５１０の右側には、対象領域３０の画像５１４が表示されている。ユーザはインタフェイス部１７０などを介して、視点および視線方向を任意に変更可能であり、第１生成部１４０および第２生成部１４２は、指定された視点および視線方向を設定して画像を生成する。データ管理装置６０にオブジェクトに関する情報、たとえばビルの名称などを登録しておき、ユーザがオブジェクトをクリックしたときに、そのオブジェクトの情報を提示してもよい。
【００４７】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００４８】
実施の形態では、画像生成装置１００が表示装置１９０に生成した画像を表示したが、画像生成装置１００は、生成した画像を、インターネットなどを介してユーザ端末などに配信してもよい。このとき、画像生成装置１００は、ウェブサーバの機能を有していてもよい。
【００４９】
【発明の効果】
本発明によれば、撮像画像とモデリングデータとを利用して対象領域の３次元画像を生成する技術を提供することができる。
【図面の簡単な説明】
【図１】第１の実施の形態に係る画像生成システムの全体構成を示す図である。
【図２】第１の実施の形態に係る画像生成方法の手順を概略的に示す図である。
【図３】第１の実施の形態に係る画像生成装置の内部構成を示す図である。
【図４】第１の実施の形態に係るデータ管理装置の内部構成を示す図である。
【図５】３次元形状データベースの内部データを示す図である。
【図６】管理テーブルの内部データを示す図である。
【図７】対象領域の実際の様子を示す図である。
【図８】データ管理装置に登録されたモデリングデータによる第１領域の画像を示す図である。
【図９】撮像装置により撮像された第２領域の撮像画像を示す図である。
【図１０】撮像装置により撮像された第２領域の撮像画像を示す図である。
【図１１】撮像画像をもとに算出された実写形状データによる第２領域の画像を示す図である。
【図１２】図７に示した第１領域の画像と図１１に示した第２領域の画像を合成した画像を示す図である。
【図１３】照明の状況を算出する方法を説明するための図である。
【図１４】照明の状況を算出する別の方法を説明するための図である。
【図１５】Ｆｏｇ値の近似式を示す図である。
【図１６】２つの指数関数の交点からＦｏｇ値の近似式中の定数ａを求める方法を説明するための図である。
【図１７】第１の実施の形態に係る画像生成方法の手順を示すフローチャートである図である。
【図１８】照明効果を算出する手順を示すフローチャートである図である。
【図１９】第２の実施の形態に係る画像生成システムの全体構成を示す図である。
【図２０】第２の実施の形態に係る画像生成装置の内部構成を示す図である。
【図２１】第２の実施の形態の管理テーブルの内部データを示す図である。
【図２２】画像生成装置のインタフェイス部がユーザに提示する選択画面の例を示す図である。
【図２３】画像生成装置により生成された対象領域の画像をユーザに提示する画面の例を示す図である。
【符号の説明】
１０  画像生成システム、  ４０  撮像装置、  ６０  データ管理装置、  ６６  ３次元形状データベース、  ６７  管理テーブル、  ８０  画像記録装置、１００  画像生成装置、  １０４  制御部、  １１０  データ取得部、  １２０  画像取得部、  １３０  ３次元形状算出部、  １４０  第１生成部、  １４２  第２生成部、  １５０  画像合成部、  １６０  照明算出部、  １７０  インタフェイス部、  １９０  表示装置、  ２１２  第１選択部、  ２２２  第２選択部。
【図１】
2004264907.tif 000006
【図２】
2004264907.tif 000007
【図３】
2004264907.tif 000008
【図４】
2004264907.tif 000009
【図５】
2004264907.tif 000010
【図６】
2004264907.tif 000011
【図７】
2004264907.tif 000012
【図８】
2004264907.tif 000013
【図９】
2004264907.tif 000014
【図１０】
2004264907.tif 000015
【図１１】
2004264907.tif 000016
【図１２】
2004264907.tif 000017
【図１３】
2004264907.tif 000018
【図１４】
2004264907.tif 000019
【図１５】
2004264907.tif 000020
【図１６】
2004264907.tif 000021
【図１７】
2004264907.tif 000022
【図１８】
2004264907.tif 000023
【図１９】
2004264907.tif 000024
【図２０】
2004264907.tif 000025
【図２１】
2004264907.tif 000026
【図２２】
2004264907.tif 000027
【図２３】
2004264907.tif 000028
【手続補正書】
【提出日】平成16年4月5日(2004.4.5)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象領域の少なくとも一部を含む第１領域の３次元形状を表す第１の形状データを保持するデータベースと、
前記対象領域の少なくとも一部を含む第２領域を撮像する撮像装置と、
前記撮像装置により撮像された撮像画像と、前記第１の形状データとを用いて、前記対象領域の画像を生成する画像生成装置と、を含み、
前記画像生成装置は、
前記データベースから前記第１の形状データを取得するデータ取得部と、
前記撮像装置から前記撮像画像を取得する画像取得部と、
所定の視点位置および視線方向を設定し、前記第１の形状データをレンダリングすることにより、前記第１領域の画像を生成する第１生成部と、
前記撮像画像を用いて、前記視点位置から前記視線方向に見たときの前記第２領域の画像を生成する第２生成部と、
前記第１領域の画像と前記第２領域の画像とを合成することにより、前記対象領域の画像を生成する合成部と、
を備えることを特徴とする画像生成システム。
【請求項２】
該画像生成システムは、異なる複数の位置に配置された複数の撮像装置を含み、
前記画像生成装置は、前記複数の撮像装置から取得した複数の撮像画像を用いて、前記第２領域の３次元形状を表す第２の形状データを算出する算出部をさらに備え、
前記第２生成部は、前記視点位置および前記視線方向を設定し、前記第２の形状データをレンダリングすることにより、前記第２領域の画像を生成することを特徴とする請求項１に記載の画像生成システム。
【請求項３】
前記合成部は、前記対象領域のうち、前記第２の形状データにより表現されていない領域を、前記第１の形状データから生成された前記第１領域の画像で補完することにより、前記対象領域の画像を生成することを特徴とする請求項２に記載の画像生成システム。
【請求項４】
前記第２生成部は、前記第２の形状データをレンダリングする際に、前記第２の形状データにより表現されていない領域を透明色で描画し、
前記合成部は、前記第１領域の画像に前記第２領域の画像を上書きすることにより、前記対象領域の画像を生成することを特徴とする請求項２に記載の画像生成システム。
【請求項５】
前記データベースは、前記対象領域のうち、短期的に変化しない領域を予めモデリングすることにより得られた第１の形状データを保持することを特徴とする請求項１から４のいずれかに記載の画像生成システム。
【請求項６】
前記データベースは、前記第１領域の色を表す第１の色データをさらに保持し、
前記画像生成装置は、
前記データベースから取得した前記第１の色データと、前記撮像画像の色データとを比較することにより、前記撮像画像における照明の状況を取得する照明算出部をさらに備えることを特徴とする請求項１から５のいずれかに記載の画像生成システム。
【請求項７】
前記第１生成部は、前記照明の状況を考慮して、前記第１領域の画像に前記撮像画像における照明と同様の照明の効果を付加することを特徴とする請求項６に記載の画像生成システム。
【請求項８】
前記第１生成部は、前記第１領域の画像に所定の照明の効果を付加し、
前記第２生成部は、前記第２領域の画像からいったん照明の効果を除去した上で、前記所定の照明の効果を付加することを特徴とする請求項６に記載の画像生成システム。
【請求項９】
前記撮像画像を蓄積する記録装置をさらに含み、
前記データベースは、異なる複数の時期の前記対象領域に対応する複数の前記第１の形状データを保持し、
前記画像生成装置は、
前記データベースに保持された複数の第１の形状データの中から、前記データ取得部が取得すべき第１の形状データを選択する第１選択部と、
前記記録装置に蓄積された撮像画像の中から、前記画像取得部が取得すべき撮像画像を選択する第２選択部と、
をさらに備えることを特徴とする請求項１から８のいずれかに記載の画像生成システム。
【請求項１０】
前記第２選択部は、前記第１選択部が選択した撮像画像が撮像された時期に対応する第１の形状データを選択することを特徴とする請求項９に記載の画像生成システム。
【請求項１１】
対象領域の少なくとも一部を含む第１領域の３次元形状を表す第１の形状データを保持するデータベースから、前記第１の形状データを取得するデータ取得部と、
異なる複数の位置に配置された複数の撮像装置から、前記対象領域の少なくとも一部を含む第２領域の撮像画像を取得する画像取得部と、
所定の視点位置および視線方向を設定して、前記第１の形状データをレンダリングすることにより、前記第１領域の画像を生成する第１生成部と、
前記撮像画像を用いて、前記視点位置から前記視線方向に見たときの前記第２領域の画像を生成する第２生成部と、
前記第１領域の画像と前記第２領域の画像とを合成することにより、前記対象領域の画像を生成する合成部と、
を備えることを特徴とする画像生成装置。
【請求項１２】
対象領域の少なくとも一部を含む第１領域の３次元形状を表す第１の形状データを予め保持したデータベースから前記第１の形状データを取得する工程と、
異なる複数の位置から撮像された、前記対象領域の少なくとも一部を含む第２領域の撮像画像を取得する工程と、
所定の視点位置および視線方向を設定して、前記第１の形状データをレンダリングすることにより、前記第１領域の画像を生成する工程と、
前記撮像画像を用いて、前記視点位置から前記視線方向に見たときの前記第２領域の画像を生成する工程と、
前記第１領域の画像と前記第２領域の画像とを合成することにより、前記対象領域の画像を生成する工程と、
を含むことを特徴とする画像生成方法。
【請求項１３】
複数の撮像装置から、対象領域の複数の撮像画像をリアルタイムに取得して、所定の視点位置から所定の視線方向に見た前記対象領域の画像を生成する際に、前記対象領域の少なくとも一部を予めモデリングすることにより得られた３次元形状データを用いて生成された画像で、前記対象領域の画像を適宜補完することにより、前記対象領域の現状を擬似的に示す画像を生成することを特徴とする画像生成方法。
【請求項１４】
対象領域の少なくとも一部を含む第１領域の３次元形状を表す第１の形状データを予め保持したデータベースから前記第１の形状データを取得する機能と、
異なる複数の位置から撮像された、前記対象領域の少なくとも一部を含む第２領域の撮像画像を取得する機能と、
所定の視点位置および視線方向を設定して、前記第１の形状データをレンダリングすることにより、前記第１領域の画像を生成する機能と、
前記撮像画像を用いて、前記視点位置から前記視線方向に見たときの前記第２領域の画像を生成する機能と、
前記第１領域の画像と前記第２領域の画像とを合成することにより、前記対象領域の画像を生成する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項１５】
対象領域の少なくとも一部を含む第１領域の３次元形状を表す第１の形状データを予め保持したデータベースから前記第１の形状データを取得する機能と、
異なる複数の位置から撮像された、前記対象領域の少なくとも一部を含む第２領域の撮像画像を取得する機能と、
所定の視点位置および視線方向を設定して、前記第１の形状データをレンダリングすることにより、前記第１領域の画像を生成する機能と、
前記撮像画像を用いて、前記視点位置から前記視線方向に見たときの前記第２領域の画像を生成する機能と、
前記第１領域の画像と前記第２領域の画像とを合成することにより、前記対象領域の画像を生成する機能と、
をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
この画像生成システムは、撮像画像を蓄積する記録装置をさらに含み、データベースは、異なる複数の時期の対象領域に対応する複数の第１の形状データを保持し、画像生成装置は、データベースに保持された複数の第１の形状データの中から、データ取得部が取得すべき第１の形状データを選択する第１選択部と、記録装置に蓄積された撮像画像の中から、画像取得部が取得すべき撮像画像を選択する第２選択部と、をさらに備えてもよい。