(57)【要約】【課題】  実用的な撮影枚数でイメージベースの動画像を滑らかに見せる技術を提供する【解決手段】  被写体を様々な方向から撮影した複数の画像を用いて動画像を生成する動画像生成システムにおいて、カメラパスを含む３次元仮想空間情報を生成する仮想空間情報生成手段と、前記３次元仮想空間情報から撮影条件を抽出する撮影条件抽出手段と、前記撮影条件に基づき被写体の撮影を行い、複数の２次元画像を得る被写体撮影手段と、前記複数の２次元画像を用いて、３次元オブジェクトを生成する３次元オブジェクト生成手段と、前記３次元オブジェクトから、前記３次元仮想空間情報を用いて２次元の動画像を生成する動画像生成手段とを備える。【選択図】  図４
2006244306.tif 000002
【特許請求の範囲】
【請求項１】
被写体を様々な方向から撮影した複数の画像を用いて動画像を生成する動画像生成システムであって、
カメラパスを含む３次元仮想空間情報を生成する仮想空間情報生成手段と、
前記３次元仮想空間情報から撮影条件を抽出する撮影条件抽出手段と、
前記撮影条件に基づき被写体の撮影を行い、複数の２次元画像を得る被写体撮影手段と、
前記複数の２次元画像を用いて、３次元オブジェクトを生成する３次元オブジェクト生成手段と、
前記３次元オブジェクトから、前記仮想空間情報生成手段により生成した３次元仮想空間情報を用いて２次元の動画像を生成する動画像生成手段と
を備えることを特徴とする動画像生成システム。
【請求項２】
前記仮想空間情報生成手段は、
前記被写体の概略の形状を表した仮オブジェクトを生成する仮オブジェクト生成手段と、
前記仮オブジェクトを撮影する仮想的なカメラの位置の移動情報を前記カメラパスとして生成するカメラパス生成手段と
を備えることを特徴とする請求項１に記載の動画像生成システム。
【請求項３】
前記仮想空間情報生成手段は、
前記３次元オブジェクトが生成される前に、前記仮オブジェクトから、前記３次元仮想空間情報を用いて２次元の動画像を生成するプレビュー画像生成手段を備えることを特徴とする請求項２に記載の動画像生成システム。
【請求項４】
前記撮影条件抽出手段は、
前記移動情報に基づき、前記仮オブジェクトに対する前記仮想的なカメラの相対的な位置を複数の座標データに変換する座標変換手段を有することを特徴とする請求項２に記載の動画像生成システム。
【請求項５】
前記３次元オブジェクトは、被写体の寸法、被写体の複数の２次元画像、２次元画像上の被写体部分を表す複数のマスク画像、及び、被写体を撮影したときの撮影条件を有することを特徴とする請求項１に記載の動画像生成システム。
【請求項６】
被写体を様々な方向から撮影した複数の画像を用いて動画像を生成する動画像生成システムが実行する動画像生成方法であって、
カメラパスを含む３次元仮想空間情報を生成する仮想空間情報生成ステップと、
前記３次元仮想空間情報から撮影条件を抽出する撮影条件抽出ステップと、
前記撮影条件に基づき被写体の撮影を行い、複数の２次元画像を得る被写体撮影ステップと、
前記複数の２次元画像を用いて、３次元オブジェクトを生成する３次元オブジェクト生成ステップと、
前記３次元オブジェクトから、前記仮想空間情報生成ステップにより生成した３次元仮想空間情報を用いて２次元の動画像を生成する動画像生成ステップと
を有することを特徴とする動画像生成方法。
【請求項７】
被写体を様々な方向から撮影した複数の画像から生成された３次元オブジェクトを用いて動画像を生成するための動画像生成装置であって、
カメラパスを含む３次元仮想空間情報を生成する仮想空間情報生成手段と、
前記３次元仮想空間情報から撮影条件を抽出する撮影条件抽出手段と、
前記撮影条件に基づき被写体を撮影して得た複数の２次元画像から生成された３次元オブジェクトから、前記仮想空間情報生成手段により生成した３次元仮想空間情報を用いて２次元の動画像を生成する動画像生成手段と
を備えることを特徴とする動画像生成装置。
【請求項８】
前記仮想空間情報生成手段は、
前記被写体の概略の形状を表した仮オブジェクトを生成する仮オブジェクト生成手段と、
前記仮オブジェクトを撮影する仮想的なカメラの位置の移動情報を前記カメラパスとして生成するカメラパス生成手段と
を備えることを特徴とする請求項７に記載の動画像生成装置。
【請求項９】
前記撮影条件抽出手段は、
前記移動情報に基づき、前記仮オブジェクトに対する前記仮想的なカメラの相対的な位置を複数の座標データに変換する座標変換手段を有することを特徴とする請求項８に記載の動画像生成装置。
【請求項１０】
請求項７ないし９のうちいずれか１項に記載の動画像生成装置における各手段をコンピュータに実現させるためのコンピュータプログラム。
【請求項１１】
請求項１０に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を予め様々な方向から撮影した複数の画像を用いて、滑らかな動画像を生成するための技術に関するものである。
【背景技術】
【０００２】
近年、コンピュータのマルチメディア処理能力の向上やブロードバンドの普及に伴って商品等のプレゼンテーションに３次元ＣＧが積極的に活用されるようになってきた。米Ｖｉｅｗｐｏｉｎｔ社のＭｅｄｉａＰｌａｙｅｒなどはその好例である。利用者は、見たい製品をコンピュータの画面上で好きな方向や角度から閲覧できる。この時、対象物を眺める方向の変化に応じて、画像を滑らかに表示することが最も重要である。
【０００３】
一般的な３次元ＣＧは、ポリゴンベースの方法で生成されている。この方法により、幾何形状モデルを生成することによって、任意の位置や方向から眺めた滑らかな動画像を得ることができる。しかし、ポリゴンベースでリアリティの高い動画像を生成する場合、モデリングにコストと時間がかかりすぎるという問題がある。
【０００４】
一般に３次元ＣＧは複数のポリゴンで形状を表すジオメトリベースのデータが用いられている。この方法により、任意の位置や方向から眺めた滑らかな動画像を得ることができる。
【０００５】
このジオメトリベースのデータを自動生成する手法として、Ｓｈａｐｅ ｆｒｏｍ Ｓｉｌｈｏｕｅｔｔｅという手法がある。この手法は、図１に示すように、被写体物体をｎ個所から撮影し、その撮影画像からｎ枚の被写体物体のシルエット（２値データ）を抽出する。このシルエット（１，…，ｌ，…，ｍ，…，ｎ）を、仮想空間上で撮影したポイントから投影し、重なりあった部分を求めることにより、被写体物体の３次元形状データを得ることができる。この形状に、撮影画像から得られる被写体物体の表面の色彩データを加えることにより、３次元モデルデータを得ることができる。
【０００６】
しかし、この手法では、被写体の細部まで正確に表すことができず、また、くぼみを表現することもできない。そのため、品質の高いデータを得るには手作業が必要であり、モデリングにコストと時間がかかってしまう。
【０００７】
そのため、予め複数の方向から被写体を撮影して得た２次元画像を利用して３次元空間のシーンの再構成を行うイメージベース手法の３次元ＣＧが注目されている。この手法では、モデリング作業が不要であるため、簡便かつ比較的短時間でリアリティの高い３次元ＣＧを生成ずることができる。米Ａｐｐｌｅ社のＱｕｉｃｋＴｉｍｅＶＲはこの代表的な例である。
【０００８】
また、特許文献２には、正確にセグメンテーションを行うことができる３次元モデル生成方法が記載されている。また、特許文献３には、半透明性や反射性を再現し、自然な画像を得る画像処理方法が記載されている。
【０００９】
上記の方法において、３次元ＣＧを刻々と変化する視点の位置や方向に追従した滑らかな動画像として見せるには、予め被写体をあらゆる方向から撮影しなければならないため、形状モデリングに比べて扱うデータ量が膨大になる。例えば、滑らかに感じられる５°間隔で全方向から被写体を撮影する場合、６００枚程度の画像を撮影する必要があり、撮影枚数ばかりでなくデータの容量や撮影に要する時間から考えても実用的なものとは言えなくなってしまう。
【００１０】
図２に、従来のイメージベース手法での処理手順を示す。図２に示すように、従来のイメージベース手法においては、まず初めに被写体の撮影を行い、その後、画像処理、編集を行って動画像を生成する。この場合、どの程度の間隔で撮影を行うか等の撮影条件は、手動で指定する。しかしながら、上記のように滑らかに感じられる動画像を作成するには多数の画像を撮影する必要があり、３０分程度の所要時間では、元となる実写画像の枚数がどうしても不足するためぎくしゃくした表示になるという問題があり、従来のイメージベース手法は滑らかな動画像として再生する用途には適さなかった。
【００１１】
一方、イメージベース手法を用いた３次元ＣＧ生成方法の別の例として、２枚の実写画像から、その間の画像を補間して描画する手法が提案されている。非特許文献１はその代表的な研究例である。また、特許文献１に記載された画像合成表示方法ではこの技術が用いられており、この技術について説明されている。この２枚の実写画像を用いる方法では、図３に示すように、２枚の実写画像Ｉ０とＩ１で共通する対応点を予め求め、その対応点をもとに２枚の画像を変形し、間から見た中割り画像Ｉｓを合成する。この方法は、任意の視点からの画像を正確に描画することができ、必要となる実写画像の枚数を減らすことができる。
【００１２】
しかし、この手法では、対応点を手動で指定しなければならず、これを求める有効なアルゴリズムが未だ確立されていない。また、特徴点が得難い複雑な被写体にはこの手法は不向きであり、被写体によっては生成する補間画像の品質が低下する恐れがある。さらに、計算量が膨大で処理に相当な時間を要するため、リアルタイムで表示できない。従って、この手法でも滑らかな動画像を生成するのは難しく実用化に至っていない。
【特許文献１】特開２００１−３４７８８号公報
【特許文献２】特開２００１−１４８０２１号公報
【特許文献３】特開２００４−４６７７６号公報
【非特許文献１】Ｓｔｅｖｅｎ  Ｍ．Ｓｅｉｔｚ，Ｃｈａｒｌｅｓ  Ｒ．  Ｄｙｅｒ，  “Ｖｉｅｗ  Ｍｏｒｐｈｉｎｇ”，  ＳＩＧＧＲＡＰＨ’９６，ｐｐ．２１−２９
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明は上記の点に鑑みてなされたものであり、上記従来技術の問題を解決し、実用的な撮影枚数でイメージベースの動画像を滑らかに見せる技術を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記の課題は、被写体を様々な方向から撮影した複数の画像を用いて動画像を生成する動画像生成システムであって、カメラパスを含む３次元仮想空間情報を生成する仮想空間情報生成手段と、前記３次元仮想空間情報から撮影条件を抽出する撮影条件抽出手段と、前記撮影条件に基づき被写体の撮影を行い、複数の２次元画像を得る被写体撮影手段と、前記複数の２次元画像を用いて、３次元オブジェクトを生成する３次元オブジェクト生成手段と、前記３次元オブジェクトから、前記仮想空間情報生成手段により生成した３次元仮想空間情報を用いて２次元の動画像を生成する動画像生成手段とを備えることを特徴とする動画像生成システムにより解決できる。
【００１５】
前記仮想空間情報生成手段は、前記被写体の概略の形状を表した仮オブジェクトを生成する仮オブジェクト生成手段と、前記仮オブジェクトを撮影する仮想的なカメラの位置の移動情報を前記カメラパスとして生成するカメラパス生成手段とを備えて構成することができ、また、前記３次元オブジェクトが生成される前に、前記仮オブジェクトから、前記３次元仮想空間情報を用いて２次元の動画像を生成するプレビュー画像生成手段を備えるようにしてもよい。
【００１６】
また、前記撮影条件抽出手段は、前記移動情報に基づき、前記仮オブジェクトに対する前記仮想的なカメラの相対的な位置を複数の座標データに変換する座標変換手段を有してもよい。
【００１７】
また、前記３次元オブジェクトは、被写体の寸法、被写体の複数の２次元画像、２次元画像上の被写体部分を表す複数のマスク画像、及び、被写体を撮影したときの撮影条件により構成することができる。
【００１８】
また本発明は、被写体を様々な方向から撮影した複数の画像を用いて動画像を生成する動画像生成システムが実行する動画像生成方法であって、カメラパスを含む３次元仮想空間情報を生成する仮想空間情報生成ステップと、前記３次元仮想空間情報から撮影条件を抽出する撮影条件抽出ステップと、前記撮影条件に基づき被写体の撮影を行い、複数の２次元画像を得る被写体撮影ステップと、前記複数の２次元画像を用いて、３次元オブジェクトを生成する３次元オブジェクト生成ステップと、前記３次元オブジェクトから、前記仮想空間情報生成ステップにより生成した３次元仮想空間情報を用いて２次元の動画像を生成する動画像生成ステップとを有することを特徴とする動画像生成方法として構成することもできる。
【００１９】
また、本発明は、被写体を様々な方向から撮影した複数の画像から生成された３次元オブジェクトを用いて動画像を生成するための動画像生成装置であって、カメラパスを含む３次元仮想空間情報を生成する仮想空間情報生成手段と、前記３次元仮想空間情報から撮影条件を抽出する撮影条件抽出手段と、前記撮影条件に基づき被写体を撮影して得た複数の２次元画像から生成された３次元オブジェクトから、前記仮想空間情報生成手段により生成した３次元仮想空間情報を用いて２次元の動画像を生成する動画像生成手段とを備えることを特徴とする動画像生成装置として構成することも可能である。また、本発明は、コンピュータを上記動画像生成装置として機能されるプログラムや、当該プログラムを記録したコンピュータ読み取り可能な記録媒体として構成することもできる。
【発明の効果】
【００２０】
本発明によれば、まずカメラパスを含む３次元仮想空間情報を生成し、その３次元仮想空間情報から撮影条件を抽出し、抽出した撮影条件に基づき被写体の撮影を行い、得られた複数の２次元画像を用いて生成された３次元オブジェクトから、３次元仮想空間情報を用いて２次元の動画像を生成することとしたので、実用的な撮影枚数でイメージベースの動画像を滑らかに見せることが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して本発明の実施の形態について説明する。仮想空間上での注視点を固定とする場合を第１の実施の形態とし、仮想空間上の注視点を可変とする場合を第２の実施の形態として説明する。
（第１の実施の形態）
［システム構成］
図４に、第１の実施の形態における動画像生成システムの構成に示す。図４に示すように、この動画像生成システムは、編集装置ＡＤ、撮影装置ＣＤ、表示装置ＤＤを有している。
【００２２】
編集装置ＡＤは、仮想空間構築部ＶＰと、撮影条件抽出部ＥＰと、動画像生成部ＭＰとを有する。撮影装置ＣＤは、被写体撮影部ＳＰと、３次元オブジェクト合成部ＩＰとを有する。表示装置ＤＤは、動画像表示部ＤＰを有している。編集装置ＡＤと表示装置ＤＤはそれぞれコンピュータシステムを用いて実現できる。また、撮影装置ＣＤにおける被写体撮影部ＳＰは、撮影位置制御を行うためのコンピュータシステム、カメラ、被写体を置くテーブル、及び背景装置等により実現でき、３次元オブジェクト合成部ＩＰは、３次元オブジェクト合成等のためのプログラムを搭載したコンピュータシステムにより実現できる。
【００２３】
各装置は図４に示すようにネットワークを介して相互にやりとりする双方向システムとして構成することができるが、例えば編集装置ＡＤと表示装置ＤＤとを一つのコンピュータシステムとして構築してもよいし、撮影装置ＣＤの３次元オブジェクト合成部ＩＰと編集装置ＡＤと表示装置ＤＤとを一つのコンピュータシステム上に構築することもできる。
【００２４】
図５に、コンピュータシステムの一例を示す。図５に示すように、このコンピュータシステムは、ＣＰＵ１、メモリー２、ハードディスク３、入力装置４、出力装置５、ＣＤ−ＲＯＭドライブ６を有する一般的なコンピュータシステムである。このコンピュータシステムに、例えば上記の編集装置ＡＤの処理を実行するプログラムを搭載することにより編集装置ＡＤを実現できる。当該プログラムは、コンピュータが読み取りできる記録媒体、例えば、ＦＤ（フレキシブルディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ−ＲＯＭ、ＤＶＤ、リムーバブルディスクなどに記録して保存したり、配布したりすることが可能である。また、そのプログラムは、インターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００２５】
［処理概要］
図６に、本実施の形態の動画像生成システムにおける処理フローを示す。以下、図６の処理フローを参照して本実施の形態における動画像生成処理の概要について説明する。
【００２６】
まず、編集装置ＡＤの仮想空間構築部ＶＰが、利用者からの操作に応じて、仮オブジェクトを生成し、仮オブジェクトに対するカメラパスを空間情報として生成する（ステップ１）。このとき、利用者は、カメラパスに沿って見た仮オブジェクトの映像を確認することができる。すなわち、最終的に出来上がる映像のプレビューを行うことができる。
【００２７】
次に、撮影条件抽出部ＥＰは、仮想空間の空間情報におけるカメラパスの座標変換等を行ことにより、実際に被写体を撮影する際の撮影条件を抽出する（ステップ２）。そして、撮影装置ＣＤの被写体撮影部ＳＰは、抽出された撮影条件に従って複数の方向から被写体の撮影を行い、複数の２次元画像を出力する（ステップ３）。
【００２８】
続いて、撮影装置ＣＤの３次元オブジェクト合成部ＩＰは、前記複数の２次元画像から３次元オブジェクトを合成する（ステップ４）。合成された３次元オブジェクトは編集装置ＡＤに送られ、編集装置ＡＤにおいて、動画像生成部ＭＰは、受信した３次元オブジェクトと、仮想空間構築部ＶＰで作成したカメラパス等の空間情報を用いて２次元の動画像を生成する（ステップ５）。２次元の動画像は表示装置ＤＤに送られ、表示装置ＤＤの動画像表示部ＤＰが２次元の動画像を表示する（ステップ６）。
【００２９】
従来のように、被写体を３６０度全ての方向から撮影した細かい角度刻みの２次元画像を作成するとなると、データ量が非常に大きくなるとともに撮影時間も非常に長くなる。一方、上記のような本システムにおける処理によれば、３６０度全ての方向でなく、仮想空間上で定めたカメラパス上の各時間位置に対応するカメラ位置から撮影した細かい角度刻みの２次元画像を取得することにより滑らかな動画像を作成でき、データ量を削減できるとともに撮影時間も短縮できる。
【００３０】
［詳細処理］
以下、図４に示した本実施の形態の動画像生成システムの各処理部の機能と処理について詳細に説明する。なお、以下で説明する各手段は、コンピュータシステム上でプログラムが実行されることにより実現される手段である。
（１）仮想空間構築部ＶＰ
図７は、仮想空間構築部ＶＰの機能構成を示す図である。図７に示すように、仮想空間構築部ＶＰは、仮オブジェクト生成手段１０、カメラパス生成手段１１、空間情報編集手段１２、及び映像確認手段１３を有している。また、図７には、各手段により生成される情報が示されている。仮想空間構築部ＶＰにおける処理は以下の通りである。なお、以下の処理は利用者の操作に基づいて行われるものである。
【００３１】
まず、仮オブジェクト生成手段１０により３次元仮想空間上の仮オブジェクトを生成する。また、カメラパス生成手段１１によりカメラパスを３次元仮想空間上に生成する。この仮オブジェクトとカメラパスによって空間情報が構成される。また、生成された空間情報は記憶装置に格納される。
【００３２】
更に、空間情報編集手段１２が空間情報を映像として表示できる形に編集し、映像確認手段１３が、空間情報に基づくプレビュー映像をディスプレイ等に表示する。利用者は、プレビュー映像を見て、完成前に出来上がりのイメージを掴むことができる。プレビューで確認を行った際に、オブジェクトの動きが想定していたものと異なっていれば、カメラパスを変更する等して適宜修正することができる。
【００３３】
上記の仮オブジェクトとは、被写体の概形を表すと同時に、被写体の位置と占有範囲を表現する大まかな直方体のデータである。仮オブジェクトは、被写体の正確なサイズを表していないため、後述する動画像生成処理において補正が必要となるが、この時点では被写体を撮影する以前にラフな完成映像のイメージが掴めれば十分なので、簡単な直方体を生成することとしている。
【００３４】
この仮オブジェクトとして、上記のような被写体の概形を表す直方体を用いることの他、同じ程度の大きさの他の物体のデータを用いたり、予め撮影装置で簡単に被写体の撮影を行いラフな３次元オブジェクトのデータを作成し、それを仮オブジェクトとして利用してもよい。
【００３５】
また、カメラパスとは、３次元仮想空間上の３次元オブジェクトをどのような視点位置から撮影するかを示すパスであり、３次元仮想空間上の仮想的なカメラの移動の軌跡・経路を任意の線分や曲線・図形などで表し、同じ３次元仮想空間上に配置したものである。なお、本実施の形態では、仮オブジェクトを１つだけとしているので、カメラの注視点は固定の位置（例えば仮オブジェクトの中心位置）に設定される。図８に、操作インターフェース画面上のカメラパスの設定例を示す。
【００３６】
３次元仮想空間内でカメラパスを設定する技術は、ポリゴンベースの３次元ＣＧにおけるシーンの映像を構築する際の従来からある標準的な技術であり、イメージベースのシステムにおいても同様に実現することができる。カメラパスの形状や数・組み合わせなどは、形状の入力手段を用いることで自由に定義できる。
【００３７】
また、カメラパスはカメラ位置の変化を３次元仮想空間上の形状情報として表現したものであるため、位置情報の他に時間情報も含む。３次元仮想空間上のカメラパスの時間情報の編集をサポートするために、一般的にはタイムライン等のインターフェースが用いられている。タイムラインとは、時間属性を持つオブジェクトをレイヤー毎に時間軸で管理する２次元のインターフェースであり、３次元ＣＧにおけるシーンの映像を構築する際に従来から一般的に用いられるものである。タイムラインを用いることでカメラパスの管理を容易に行うことができる。本実施の形態では、そうしたタイムラインインターフェースの利用を想定する。
【００３８】
図９に、タイムライン設定画面の一例を示す。図９に示すように、カメラパス毎に、カメラパスの時間長（カメラパス時間）が設定される。また、カメラパスにおける１秒あたりフレーム数（ＦＰＳ）を設定でき、本実施の形態では１≦ＦＰＳ≦３０である。つまり、１秒間で最大３０フレームの時間情報を持たせることができる。図９の例では、カメラパス１のカメラパス時間は１０秒であり、ＦＰＳは１２と設定されている。この場合、カメラパス１の全フレーム数は１２０となる。
【００３９】
仮オブジェクトの位置情報、及びカメラパスが有する位置情報と時間情報により空間情報が構成される。ここで本実施の形態における仮オブジェクトとカメラパスとの関係について説明する。本実施の形態は、空間情報としての仮オブジェクトが１つのみの場合であるので、仮想的なカメラが仮オブジェクトを眺める方向として、常に仮オブジェクトの中心を眺めることとしている。この場合、利用パターンは限定されるが、例えば博物館の作品や、宝石類などの個別性の高い商品をひとつひとつ独立した高品質な映像として見せたい場合に、迅速に空間情報の構築ができる。
（２）撮影条件抽出部ＥＰ
次に、仮想空間構築部ＶＰで生成された空間情報を撮影条件に変換する撮影条件抽出部ＥＰについて説明する。図１０に示すように、撮影条件抽出部ＥＰは、座標変換手段２０、撮影距離計算手段２１、垂直角度計算手段２２、水平角度計算手段２３、撮影手順生成手段２４を有している。これらの手段を有する撮影条件抽出部ＥＰは、３次元仮想空間上に形状として配置されたカメラパスを複数の座標値に変換し、撮影装置ＣＤにおける撮影距離（Ｄ）・撮影角度（Ｖ）（Ｈ）・撮影手順（ＡＬ）を条件として抽出する。以下、撮影条件抽出部ＥＰにおける処理内容を詳細に説明する。
【００４０】
まず、座標変換手段２０により、仮オブジェクトの中心を表す座標に対するカメラパスの各時間における相対的な位置を複数の座標データとして求める。例えば、仮オブジェクトの中心、すなわちオブジェクト座標系の原点を仮想空間座標系における（２，２，２）とするとき、カメラパスのある２点におけるカメラ座標が（１０，２，１０）、（１２，２，８）ならば、座標変換手段２０による出力は（８，０，８）（１２，０，６）となる。
【００４１】
カメラパスにおけるカメラ座標は、フレーム時間位置毎に存在するので、総フレーム数分の座標データが出力される。また、フレーム間隔（ＦＩ）を指定することにより求める座標データの数を調節することもできる。ここでのフレーム間隔とは、あるカメラパスの総フレーム数に対し、どの割合で座標データを抽出するかの指標となるものである。この場合、フレーム間隔毎に座標データを出力するので、カメラパスの総フレーム数をフレーム間隔数で割った値が、出力される座標データの数となる。即ち、座標変換手段２０により求められる座標データの数を（ｎ）、カメラパスの時間の長さを（Ｔ）とすると、ｎ＝（Ｔ×ＦＰＳ）／ＦＩとなる。ただし、Ｔは秒単位である。
【００４２】
例えば、カメラパス時間が１０秒でＦＰＳが１２のカメラパスでは総フレーム数が１２０となり、このカメラパスにおいてフレーム間隔を１２と指定すれば、求められる座標データ数は１２０／１２＝１０となる。
【００４３】
映像をより滑らかに生成したい場合は、フレーム間隔の値を小さくして座標変換数を増やせばよい。カメラパスは３次元仮想空間における空間の一部を切り取ったものなので、従来の手法において被写体を全方向から撮影する場合の総撮影数を（Ｐｍ）としたとき、本実施の形態の総撮影数（Ｐｎ）との間には、Ｐｍ≧Ｐｎが成り立つ。よって、滑らかな動画像を生成する場合に、従来に比べて必要な画像の枚数を少なく済ませることができる。
【００４４】
図１１に、座標変換手段によって求められたカメラ座標の例を示す。図１１に示すように、手動で設定していた従来の整数ベースの撮影条件と異なり、視点ごとの座標の変化量が実数ベースで精徴に数値化されている。そのため、カメラ座標の変化をより柔軟に記述できる。
【００４５】
座標変換手段２０により座標データが求められたら、その座標データに基づき撮影距離計算手段２１がｍｍ単位の撮影距離を計算する。撮影距離はカメラと被写体中心との距離である。
【００４６】
なお、仮想空間上に配置したカメラパスは自由な形状なので、仮オブジェクトに対して様々な可変距離を取る。３次元仮想空間上においては、距離の変数はむろん自由な任意の値をとることができるが、一方、実際の撮影装置においてはカメラを支えるアームの可動範囲等の物理的な制約があり、撮影距離に制約が生じる（例えば固定距離で撮影しなければならなかったりする）場合がある。従って、そのような制約をデータとして予め入力しておくことにより、必要に応じて距離補正を行う。
【００４７】
なお、実際の撮影における３次元距離計測は、一般に用いられている方法である同一方向から複数の画像をステレオ処理することによって距離情報計測してもよいし、レンジファインダ等、光学的な方法によって対象物体上に投光されたパターン光の位置を計測し、幾何学的な位置関係から距離情報を得てもよい。これらは求める撮影距離の補正の精度による。
【００４８】
次に、座標変換手段２０で求められた３次元仮想空間上のカメラ座標毎に、そのカメラ座標と、オブジェクト座標系における仮オブジェクトの原点に基づきべクトル計算を行って、垂直角度計算手段２２が垂直角度を求める。また、水平角度計算手段２３が水平角度を求める。
【００４９】
垂直角度は、カメラ及び被写体中心を結んだ線と水平面とのなす角度であり、水平角度は、水平面上において、被写体中心及び被写体の所定の位置を結ぶ線と、被写体中心及びカメラ位置を結ぶ線とのなす角度である。
【００５０】
なお、これら撮影距離・垂直角度・水平角度といったパラメータの数値計算を行うことは、既存の技術で容易に実現できる。
【００５１】
上記のようにして撮影距離・垂直角度・水平角度を求めた後、撮影手順生成手段２４により撮影手順が生成される。撮影手順は、図１２に示すように、撮影距離・垂直角度・水平角度からなる撮影条件を１セットとして、撮影する順番に撮影条件を記述したものとして生成される。撮影装置ＣＤはこの撮影条件を上から順に読み込むことで撮影を行う。一般に、一続きの撮影経路の最短時間を求めることは困難であり、最適解を求める手法は未だに確立されていないが、一般的に公知のアルゴリズムを用いることで近似解を求め、撮影条件の並び順を決める。
【００５２】
従来は、これらのパラメータは撮影前に手動で逐一設定を行っていた。しかし、撮影手順に配慮しつつ、各種の条件をマニュアル指定することは手間がかかる上に難しく、多様な撮影パターンを作ることも困難だった。一方、本実施の形態における手段を用いることにより、仮想空間での設定に基づく実数をベースとした座標データから、撮影条件を全て計算で求めることができるので、撮影装置ＣＤに与える柔軟な条件を自動的に求めることができる。
（３）被写体撮影部ＳＰ
続いて、被写体撮影部ＳＰが上記の撮影手順を受信し、これに基づき被写体の撮影を行う。被写体撮影部ＳＰはカメラを有し、受信した撮影手順に従って、カメラと被写体との相対位置を変更しながら撮影を実行する手段を備えたものである。
【００５３】
例えば、図１３に示すように、画像撮影装置ＣＭと、テーブルＴＢと、背景表示装置ＢＤと、スイッチＳと、制御装置Ｃとからなる構成を被写体撮影部ＳＰとして用いることができる（この構成における被写体の撮影方法については特許文献３を参照）。図１３の構成において、制御装置Ｃが撮影手順に従った制御を行う。なお、図１３の構成は、垂直角度を固定とした場合の例であり、撮影手順に従ってテーブルを回転させることにより水平角度を変えながら撮影を行う。これにより、多数の方向から撮影した複数の２次元画像を生成することができる。
（４）３次元オブジェクト合成部ＩＰ
３次元オブジェクト合成部ＩＰは、図１３の例では制御装置Ｃに３次元オブジェクト合成のプログラムを搭載することにより実現できる。
【００５４】
３次元オブジェクトは、被写体の寸法、被写体の複数の２次元画像、２次元画像上の被写体部分を表す複数のマスク画像、及び、被写体を撮影したときの撮影条件（被写体との距離、角度、解像度、画角等）からなり、３次元オブジェクト合成部ＩＰはこれらのデータを生成する。被写体寸法は、Ｓｈａｐｅ ｆｒｏｍ Ｓｉｌｈｏｕｅｔｔｅ法を用いて求めることもでき、また、被写体の正面画像及び真横からの画像を推測することもできる。マスク画像はクロマキー手法や特許文献３の手法を用いることにより生成できる。
（５）動画像生成部ＭＰ
動画像生成部ＭＰには、仮想空間構築部ＶＰで作成された空間情報と、撮影装置ＣＤの３次元オブジェクト合成部ＩＰにより作成された３次元オブジェクトが入力される。３次元オブジェクトが入力されると仮オブジェクトは削除され、カメラパスのずれが補正される。必要に応じてプレビューを行い、空間情報を画像シーケンスとして出力することで動画像を生成する。
【００５５】
図１４に、動画像生成部ＭＰの機能構成を示す。図１４に示すように、動画像生成部ＭＰは、比較手段３０、補正手段３１、画像シーケンス処理手段３２を有している。以下、このような手段を有する動画像生成部ＭＰの処理について説明する。
【００５６】
まず、比較手段３０により、仮想空間構築部ＶＰで作成された仮オブジェクトと３次元オブジェクトとのサイズの比較処理を行う。本実施の形態では、仮オブジェクトとして大まかなサイズの直方体を用いているため、この直方体が３次元オブジェクトに外接するように３次元オブジェクトのリサイズを行うために上記の比較処理を行う。なお、仮オブジェクトとして被写体をラフに撮影したデータを用いる場合は、既にサイズは同じなので比較処理を行う必要はない。仮オブジェクトは役目を終えると削除される。
【００５７】
次に、比較処理の結果、仮オブジェクトと３次元オブジェクトのサイズが異なる場合、リサイズを行うと共に、３次元オブジェクト作成前にプレビューしたときと本処理段階におけるプレビューとのずれを抑えるために、カメラパスを補正手段３１により補正する。必要であれば、利用者による操作によってカメラパス自身をもう一度編集してもよい。
【００５８】
最後に、画像シーケンス処理手段３２により、タイムラインで設定したフレーム間隔を用いて、３次元オブジェクトを含む空間情報を画像シーケンスに変換する処理を行い、動画像を出力する。なお、画像シーケンス処理手段３２は、動画像としてまとめて１つのデータを出力することもできるし、画像フレーム単位で１枚ずつ出力することもできる。
（６）動画像表示部ＤＰ
生成された動画像は、動画像表示部ＤＰに送られ、動画像表示部ＤＰに表示された動画像を利用者が見ることができる。動画像表示部ＤＰは、例えばＣＲＴモニタや液晶ディスプレイ、プラズマディスプレイ、テレビ等の表示装置である。
【００５９】
動画像表示部ＤＰに表示される動画像は、本システムの処理によって生成した柔軟な空間情報と撮影条件による３次元オブジェクトがベースとなっているため、フレームレートが高い高品質なビデオ画像として利用できる。また、ｅコマース等の用途に、レートを落とした軽量なマルチメディアフォーマットとして利用することもできる。
【００６０】
（第２の実施の形態）
第１の実施の形態では仮想空間上でのカメラの注視点を固定としていたが、第２の実施の形態ではカメラの注視点を可変とする。注視点を可変とすることにより複数のオブジェクトがある場合に、各々のオブジェクトに対して注視点を向けることができる。
【００６１】
第２の実施の形態における動画像生成システムの構成と全体処理フローは第１の実施の形態と同様である。第１の実施の形態と異なる点は、仮想空間構築部ＶＰにおいて、カメラが自由に向きを変えるために、もう一つのパラメータを増やしている点である。すなわち、第１の実施の形態では、図１５（ａ）に示すように、カメラの注視点を固定としていたが、第２の実施の形態では、図１５（ｂ）に示すように、オブジェクトが複数存在する場合に、各オブジェクト毎に注視点を設定することが可能となる。オブジェクトのない３次元空間上の任意の点を眺めることもできる。
【００６２】
第２の実施の形態における仮想空間構築部ＶＰの構成を図１６に示す。図１６に示すように、第１の実施の形態における仮想空間構築部ＶＰの構成に、注視点処理手段４０が追加された構成をとる。
【００６３】
第１の実施の形態では、仮オブジェクトを生成し、カメラパスを生成することにより空間情報を作成していたが、第２の実施の形態では、注視点処理手段４０により取得した注視点情報を含む空間情報が生成される。
【００６４】
例えば、カメラパスを編集する段階において、第１の注視点を用いて第１のカメラパスを作成し、続いて、注視点処理手段４０により注視点を第１の注視点から第２の注視点に変更し、第２のカメラパスを作成する。空間情報としては、例えば、第１の注視点に対する空間情報と第２の注視点に対する空間情報が作成される。これにより、複数オブジェクトに対応した空間情報を構成することが可能である。映像確認手段１３は、第１の実施の形態と同様にして空間情報に基づいて完成前のプレビュー映像を提供できる。
【００６５】
実際の被写体撮影は第１の実施の形態と同様に行うことが可能である。すなわち、注視点情報を含む空間情報から撮影手順が生成され、その撮影手順に従ってカメラの位置、角度、向き等が制御されて複数の２次元画像が生成される。
【００６６】
なお、１つの被写体向けに構成された図１３に示したような撮影装置の場合でも、注視点毎に被写体を置き変えて２次元画像を取得し、3次元オブジェクトを被写体毎に生成し、動画像生成部ＭＰにおいて複数の３次元オブジェクトを合成することにより、複数の注視点を持つ動画像を生成できる。
【００６７】
第２の実施の形態では、注視点を可変としたので、カメラが仮オブジェクトを眺める方向は任意となる。すなわち、カメラの注視点が３次元仮想空間内の任意の位置をとることができるため、仮オブジェクトが複数存在する場合でも自由に仮想空間を構築することができ、単品の商品だけに限らず、商品同士を複数組み合わせて眺めるような用途や部屋の中の様子といった、より現実の空間に即した表現が可能となる。
【００６８】
（本システムの効果について）
上記のような本実施の形態に係る動画像生成システムによれば、被写体を撮影する前に最終的に目的とする映像をイメージして３次元仮想空間を構築し、３次元仮想空間情報に基づき撮影条件を自動的に抽出し、その撮影条件を用いて被写体の撮影を行うこととしたので、あらゆる方向から被写体を撮影することなく、表示のために必要な分の撮影を行うだけで滑らかな動画像を得ることが可能になる。これにより、手動で撮影条件を指定する手間が省けるだけでなく、３次元オブジェクトを実用的な所要時間で得ることができる。従って、イメージベースに基づいた滑らかな３次元動画像を実用的な所要時間で生成することができる。
【００６９】
図１７に、従来の処理手順と、本システムでの処理手順とを示す。図１７に示すように、従来の処理手順には、本システムにおける仮想空間構築部ＶＰの処理が存在しない。従来は、仮想空間を構築するために3次元オブジェクトを編集するフェーズは被写体の撮影や画像処理が終了した後に行い、３次元仮想空間レイアウトシステム上において、3次元オブジェクトに対する配置変更・回転・ロール・ズーム等を行うことしかできなかった。
【００７０】
そのため、従来方法では、比較的撮影枚数が少なくても実用上の問題にはならなかったが、ビデオ用途に使える動画像を得るには、撮影段階で条件を手動指定するしかなく、動画像を得るのに非常に手間がかかるだけでなく、品質の高い動画像を実現することは困難であった。
【００７１】
それに対し、本システムに係る処理方法では、仮想空間を構築するフェーズを被写体の撮影より前にしたため、編集装置ＡＤと撮影装置ＣＤで双方向的フィードバックを得ることができる。すなわち、仮想空間の構築フェーズを最初に行うことにより装置間でインタラクティブに入出力のやりとりをすることを可能とした構成が本システムにおいて従来技術には存在しない際立った特徴となっている。これにより、より柔軟な撮影条件を自動的に抽出することができ、滑らかな動画像の生成を実用的な所要時間で実現することができる。
【００７２】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【図面の簡単な説明】
【００７３】
【図１】ジオメトリベースのデータを自動生成する方法の例を説明するための図である。
【図２】従来のイメージベース手法での処理手順を示す図である。
【図３】中割り画像を生成するビューモーフィング法を示す図である。
【図４】本発明の実施の形態における動画像生成システムの構成図である。
【図５】コンピュータシステムの一例を示す図である。
【図６】本発明の実施の形態の動画像生成システムにおける処理フローである。
【図７】仮想空間構築部ＶＰの機能構成を示す図である。
【図８】操作インターフェース画面上のカメラパスの設定例を示す図である。
【図９】タイムライン設定画面の一例を示す図である。
【図１０】撮影条件抽出部ＥＰの機能構成を示す図である。
【図１１】座標変換手段によって求められたカメラ座標の例を示す図である。
【図１２】図１１のカメラ座標から生成された撮影条件の例を示す図である。
【図１３】被写体撮影部ＳＰの一例を示す図である。
【図１４】動画像生成部ＭＰの機能構成を示す図である。
【図１５】注視点を説明するための図である。
【図１６】本発明の第２の実施の形態における仮想空間構築部ＶＰの機能構成を示す図である。
【図１７】従来の処理手順と本発明に係るシステムでの処理手順とを示す図である。
【符号の説明】
【００７４】
ＡＤ  編集装置
ＶＰ  仮想空間構築部
ＥＰ  撮影条件抽出部
ＭＰ  動画像生成部
ＣＤ  撮影装置
ＳＰ  被写体撮影部
ＩＰ  ３次元オブジェクト合成部
ＤＤ  表示装置
ＤＰ  動画像表示部
ＣＭ  画像撮影装置
Ｃ  制御装置
ＴＢ  テーブル
Ｏ  被写体
ＢＤ  背景装置
Ｓ  スイッチ
【図１】
2006244306.tif 000003
【図２】
2006244306.tif 000004
【図３】
2006244306.tif 000005
【図４】
2006244306.tif 000006
【図５】
2006244306.tif 000007
【図６】
2006244306.tif 000008
【図７】
2006244306.tif 000009
【図８】
2006244306.tif 000010
【図９】
2006244306.tif 000011
【図１０】
2006244306.tif 000012
【図１１】
2006244306.tif 000013
【図１２】
2006244306.tif 000014
【図１３】
2006244306.tif 000015
【図１４】
2006244306.tif 000016
【図１５】
2006244306.tif 000017
【図１６】
2006244306.tif 000018
【図１７】
2006244306.tif 000019