(57)【要約】【課題】  実写画像とＣＧ画像の合成画像を自動生成し、リアリティの高い合成画像を得る。【解決手段】  撮像部１０で実写画像を撮影する。また、撮影環境を示す環境パラメータを環境パラメータ獲得部１２で獲得し、付加部１４で実写画像に環境パラメータを付加して記憶する。環境パラメータとしては、ＧＰＳ等で得られた位置情報を用いる。画像合成時には、実写画像に付加された環境パラメータを読み出してＣＧ画像を作成し、実写画像に合成する。【選択図】        図１
2008041107.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段の撮影条件を含めた撮影環境を示す環境パラメータを前記撮像手段で得られた画像に付加する付加手段と、を有し、
前記環境パラメータが、撮影時の絶対位置情報であることを特徴とする撮像装置。  
【請求項２】
実写画像と素材画像とを合成する画像合成装置であって、
前記実写画像に付加されている環境パラメータを抽出する抽出手段と、
抽出された前記環境パラメータに基づいて前記素材画像を作成する作成手段と、
前記実写画像と前記素材画像を合成する合成手段と、を有し、
前記環境パラメータが、撮影時の絶対位置情報であることを特徴とする画像合成装置。
【請求項３】
実写画像をデータベース化する画像データベース構築方法であって、
撮影手段の撮影環境及び撮影条件を示す環境パラメータを、前記実写画像のインデックスに記録してデータベース化することを特徴とする画像データベース構築方法。
【請求項４】
合成画像をデータベース化する画像データベース構築方法であって、
画像合成パラメータを前記合成画像のインデックスに記録してデータベース化
することを特徴とする画像データベース構築方法。
【請求項５】
音源の３次元位置を決定する３次元音源位置決定装置であって、
音情報を入力する音入力部と、
入力された音を各周波数に分解する周波数分解部と、
各周波数毎に、音源の方向を決定する音方向決定部と、を有することを特徴とする３次元音源位置決定装置。
【請求項６】
請求項５記載の装置において、
前記音入力部は３個以上あり、かつ、これら３個以上の音入力部は３次元的に異なる位置に配置されることを特徴とする３次元音源位置決定装置。
【請求項７】
請求項５、６のいずれかに記載の装置において、
前記音入力部は、非直線的な位置に配置されることを特徴とする３次元音源位置決定装置。
【請求項８】
光源の３次元位置を決定する３次元光源位置決定装置であって、
画像を入力する撮像部と、
前記画像内に存在する、予め形状及び位置が既知である参照物体像から、前記光源からの光の参照物体における反射情報を検出する検出部と、を有する３次元光源位置決定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び画像合成装置ならびに方法、特に実写画像と合成用画像（コンピュータグラフィックス（ＣＧ）画像など）を合成する装置及び方法に関する。
【背景技術】
【０００２】
近年、テレビ放送などでクロマキー技術を用いてＣＧなどで作成した画像素材に実写画像から切り出した出演者を合成して多様な演出を行う技術が用いられている。特に、近年のＣＧ技術の進歩により、カメラの動きにＣＧ画像が同期し、出演者がＣＧの世界であたかも自由に動き回っているような画像を作り出せるシステムも開発されている。このシステム（バーチャルスタジオ）を用いることで、スタジオセットを実際に制作する必要がなくなり、コストの削減や演出効果の増大、さらには作業時間の短縮を図ることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、このような実写画像とＣＧ画像の合成においては、一見して明らかに合成画像であると分かるようなリアリティに欠ける画像が生ずることがしばしばある。これは、実写画像における種々のパラメータとＣＧ画像におけるパラメータの不一致に起因するものが多いと考えられる。
【０００４】
例えば、リアリティに欠ける画像の一例として画像内の人間の足の接地問題がある。これは、ＣＧ画像で作成した背景に実写画像から切り出した人物を立たせた場合、常に人物が地面から浮いているような印象を与える問題である。この原因は、主として実写画像の影付けの不自然さであり、実写画像における光源パラメータ（光源の位置や強度）とＣＧ背景の光源パラメータとが一致していないために生じる。
【０００５】
このような不自然な合成画像の生成を防止するためには、従来においては合成段階において実写画像におけるパラメータを合成作業者（エデイタ）が注意深く観察してＣＧ画像に反映させる必要があり、作業者に高い熟練が要求されるとともに、合成作業にも長時間を要する問題があった。
【０００６】
本発明は、上記従来技術の有する課題に鑑みなされたものであり、その目的は、作業者の高い熟練を要することなく、リアリティの極めて高い合成画像を容易に生成することができる装置及び方法を提供し、さらには合成画像生成の自動化機能を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、撮像手段と、前記撮像手段の撮影条件を含めた撮影環境を示す環境パラメータを前記撮像手段で得られた画像に付加する付加手段とを有することを特徴とする。
【０００８】
ここで、前記付加手段から出力された、前記環境パラメータが付加された画像を記憶する記憶手段をさらに有するのが好適であり、前記環境パラメータを取得する取得手段をさらに有することも好適である。
【０００９】
また、本発明は、実写画像と素材画像（合成用の画像）とを合成する画像合成装置であって、前記実写画像に付加されている環境パラメータを抽出する抽出手段と、抽出された前記環境パラメータに基づいて前記素材画像を作成する作成手段と、前記実写画像と前記素材画像を合成する合成手段とを有することを特徴とする。前記素材画像は、例えばＣＧ画像である。
【００１０】
また、本発明は、実写画像と素材画像とを合成する画像合成方法であって、前記実写画像に実写環境を示す環境パラメータを付加するステップと、前記実写画像と前記素材画像を合成する際に、前記実写画像に付加されている前記環境パラメータに基づいて前記素材画像を作成して合成するステップとを有することを特徴とする。実写画像に付加された環境パラメータを用いて合成することで、従来のように合成作業者が実写画像からパラメータを読み取って素材画像に反映させるという作業が不要となり、合成作業者の技量に依存せずに容易にリアリティの高い合成画像を得ることができる。
【００１１】
本発明において、前記環境パラメータとしては、前記撮像手段の内部パラメータ、前記撮像手段の移動情報、光源の位置情報、音源の位置情報などを用いることが好適である。これにより、実写画像の主要なパラメータを素材画像に反映させることが可能となり、リアリティの高い合成画像を得ることができる。なお、環境パラメータとしては、これ以外に、少なくとも、大気の状態、天候、時刻のいずれかを含むことも好適である。これらをパラメータとして用いることで、より実写画像に合致する素材画像を得ることができる。
【００１２】
前記光源の位置情報は、表面形状及び表面特性が既知である基準物体の表面反射ピーク位置に基づき算出することができ、音源の位置情報は、複数の音入力部から入力された音を周波数分解し、各周波数毎の位相差及び強度差に基づき算出することができる。音源の位置情報は、さらに実写画像の３次元モデルに基づいて修正することが好適であり、これにより音源の位置精度が向上し、合成画像のリアリティ性が一層向上する。
【００１３】
また、本発明は、実写画像を記録する画像記録方法を提供する。この方法では、撮像手段の撮影環境及び撮影条件を示す環境パラメータを、前記実写画像と関連づけて記録する。これにより、画像合成時に環境パラメータを容易に用いることができる。
【００１４】
また、本発明は、実写画像を記録する記録媒体を提供する。記録媒体には、撮影手段の撮影環境及び撮影条件を示す環境パラメータが、前記実写画像と関連づけて記録される。記録媒体には、コンピュータ読み取り可能なＣＤ−ＲＯＭやＤＶＤなど任意の媒体が含まれ、コンピュータで環境パラメータを読み込むことで画像合成を効率化、さらには自動化できる。
【００１５】
また、本発明は、合成画像を記録する画像記録方法を提供する。この方法では、画像生成パラメータを前記合成画像と関連づけて記録する。
【００１６】
また、本発明は、合成画像を記録する記録媒体を提供する。記録媒体には、画像生成パラメータが前記合成画像と関連づけて記録される。合成作業時に得られた画像生成パラメータをいわば経験値として記録しておくことで、合成画像の再利用が可能となり、次回の合成作業が簡易化される。
【００１７】
また、本発明は、実写画像をデータベース化する画像データベース構築方法を提供する。この方法では、撮影手段の撮影環境及び撮影条件を示す環境パラメータを、前記実写画像のインデックスに記録してデータベース化する。環境パラメータと併せて実写画像をデータベース化することで、データベースを用いた合成作業の効率化、さらには自動化が可能となる。
【００１８】
また、本発明は、合成画像をデータベース化する画像データベース構築方法を提供する。この方法では、画像合成パラメータを前記合成画像のインデックスに記録してデータベース化する。合成時の画像合成パラメータと併せて合成画像をデータベース化することで、合成画像データベースを用いた合成作業の効率化、さらには自動化が可能となる。
【００１９】
また、本発明は、音源の３次元位置を決定する３次元音源位置決定装置を提供する。この装置は、音情報を入力する音入力部と、入力された音を各周波数に分解する周波数分解部と、各周波数毎に、音源の方向を決定する音方向決定部とを有する。音源の３次元位置を特定することで、例えば画像合成時に音源の３次元位置を考慮して合成することが可能となり、合成画像のリアリティ性を一層向上できる。
【００２０】
また、本発明は、音源の３次元位置を決定する３次元音源位置決定方法を提供する。この方法は、音情報を入力するステップと、入力された音を各周波数毎に分解するステップと、各周波数毎に、音源の方向を決定するステップとを有する。
【００２１】
また、本発明は、光源の３次元位置を決定する３次元光源位置決定装置を提供する。この装置は、画像を入力する撮像部と、前記画像内に存在する、予め形状及び位置が既知である参照物体像から、前記光源からの光の参照物体における反射情報を検出する検出部とを有する。光源の３次元位置を特定することで、例えば画像合成時に光源の３次元位置を考慮して合成することが可能となり、合成画像のリアリティ性を向上できる。なお、光源位置を正確に特定するためには、参照物体は複数必要であり、また形状としては球であることが好ましい。
【発明の効果】
【００２２】
本発明によれば、実写画像のパラメータとＣＧ画像などの合成用画像のパラメータを自動的に一致させることができるので、高い熟練を要することなくリアリティの高い合成画像を容易に得ることができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面に基づき本発明の実施形態について説明する。
【００２４】
図１には、本実施形態における撮像装置１の構成ブロック図が示されている。本実施形態の撮像装置１は、撮像部１０、環境パラメータ獲得部１２及び付加部１４を含んで構成される。
【００２５】
撮像部１０は、公知の２次元カメラ（アナログあるいはデジタル）を用いることができ、ＣＣＤセンサで構成することができる。もちろん、ステレオカメラを用いることもでき、さらには３次元センシング機能を有する３次元カメラでもよい。撮像部１０で得られた実写画像は付加部１４に供給される。
【００２６】
環境パラメータ獲得部１２は、撮像部１０で得られた実写画像の撮影環境を示す環境パラメータを獲得するもので、各種センサから構成される。獲得した環境パラメータは付加部１４に供給される。なお、環境パラメータの具体例については後述する。
【００２７】
付加部１４は、撮像部１０から供給された実写画像に環境パラメータ獲得部１２から供給された環境パラメータを付加し、記憶手段に出力する。
【００２８】
ここで、記憶手段は撮像装置１と別体で構成することもできるが、ビデオカメラのように撮像装置１内に組み込むことも可能である。記憶手段としては、磁気テープや磁気ディスク、光学ディスクなど任意の媒体を用いることができる。
【００２９】
また、図１に示された構成では環境パラメータ獲得部１２が撮像装置１に組み込まれているが、環境パラメータ獲得部１２を撮像装置１と別体で構成し、得られた環境パラメータを撮像装置１に供給することも可能である。
【００３０】
環境パラメータ獲得部１２で環境パラメータを獲得するタイミングとしては、撮像部１０で実写画像を撮影するタイミングと同一であることが好適であるが、撮像部１０で実写画像を撮影するに先立って、環境パラメータのみを獲得して付加部１４に供給するか、あるいは撮像部１０で実写画像を撮影した後に別途環境パラメータ獲得部１２で環境パラメータを獲得し、付加部１４に供給することも可能である。いずれにしても、撮像部１０で実写画像を撮影した撮影環境を高精度に環境パラメータ獲得部１２で獲得することが好ましく、獲得すべき環境パラメータが時間とともに変化するようなパラメータである場合には、可能な限り撮像部１０で撮影するタイミングと同一タイミングで獲得することが好ましい。環境パラメータの獲得の態様も、好適には上述したようにセンサで自動検知することが望ましいが、撮影者が手動でパラメータを入力することも可能である。
【００３１】
実写画像に付加される環境パラメータとしては、例えば以下のものがある。
【００３２】
＜カメラ内部パラメータ＞
撮像部１０固有のパラメータであり、具体的にはレンズの焦点距離やＣＣＤサイズ、レンズ歪みなどである。ズームワークを含めることもできる。カメラ内部パラメータは、撮像部１０から一意に決定されるため、予めデータとして付加部１４が有することも可能である。このカメラ内部パラメータにより、実写画像にＣＧ画像を合成する際に、ＣＧ画像のパースパラメータ（透視投影歪み）を実写画像と一致させることが可能となる。
【００３３】
＜カメラワークパラメータ＞
このパラメータは、撮像装置１の移動に関するパラメータであり、このパラメータを用いることで実写画像に合成したＣＧ部品が実写画像のカメラワークにしたがって見え方が変化し、ＣＧ部品が静止物体であればあたかも実際の背景に固定されているかのようなリアリティのある合成画像を得ることができる。カメラワークパラメータを取得するためには、例えば撮像装置１にジャイロセンサやＧＰＳなどの位置センサを設けてもよく、あるいは、Ｒ．Ｙ．Ｔｓａｉ  ａｎｄ  Ｔ．Ｓ．Ｈｕａｎｇ，「Ｕｎｉｑｕｅｎｅｓｓ  ａｎｄ  Ｅｓｔｉｍａｔｉｏｎ  ｏｆ  Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ  Ｍｏｔｉｏｎ  Ｐａｒａｍｅｔｅｒｓ  ｏｆ  Ｒｉｇｉｄ  Ｏｂｊｅｃｔｓ  ｗｉｔｈ  Ｃｕｒｖｅｄ  Ｓｕｒｆａｃｅｓ」  ＩＥＥＥ  Ｔｒａｎｓ．Ｖｏｌ  ＰＡＭＩ−６，ｐｐ．１３−２６，１９８４に記載されているように動画像から得ることもできる。オプティカルフローから算出するのも一法である。カメラワークパラメータの具体例としては、撮像装置１の移動速度や回転角、回転速度である。
【００３４】
＜画像ノイズパラメータ＞
実写画像には、通常ホワイトノイズが含まれており、これにノイズの全くないＣＧ画像を合成した場合、合成部分だけ不自然な印象を与えることになる。そこで、ホワイトノイズの標準偏差などを画像ノイズパラメータとして用い、実写画像に含まれるノイズを強制的にＣＧ画像にも付加することで、実写画像との自然な合成を得ることができる。この画像ノイズパラメータも撮像部１０に多く依存し、特定のパターンを多数撮影して各々の画素毎にデータのばらつきを統計的に調べ、その分散値をパラメータとすることもできる。なお、画像ノイズが撮影時の気温に大きく依存する可能性がある場合には、実写画像撮影時にこの画像ノイズパラメータを獲得するのが好ましい。
【００３５】
＜光源パラメータ＞
昼間の屋外撮影においては、太陽の位置に応じて実写画像に影が生ずる。また、屋内や夜間の屋外撮影においても、様々な照明器具の位置により影が生ずる。光源パラメータは、このような光源の位置や強度に関するパラメータであり、このパラメータを用いることで実写画像とＣＧ画像の影を一致させることができ、リアリティの高い合成が可能となる。
【００３６】
図２には、実写画像とＣＧ画像の合成が模式的に示されている。図２（ａ）は実写画像であり、太陽（あるいは他の光源）１００の影響により実写画像の物体１０２及び１０４にそれぞれ影１０２ａ及び１０４ａが生じている状態が示されている。一方、図２（ｂ）には、コンピュータで作成した、実写画像に合成すべきＣＧ画像２００が示されている。この図では、ＣＧ画像をコップとして表現している。そして、図２（ａ）に示された実写画像に図２（ｂ）で示されたＣＧ画像を合成すると、図２（ｃ）に示された画像となる。ここで、リアリティのある合成画像を作成するためには、実写画像に含まれる物体１０２、１０４の影１０２ａ、１０４ａと同様の影がＣＧ画像２００にも生じている必要があり、ＣＧ像２００の影２００ａをどの位置にどの程度生成するかが重要となる。この影２００ａの付け方を制御するのが光源パラメータであり、実写画像（図２（ａ））における太陽（あるいは他の光源）１００がどの位置に存在するかを知ることで可能となる。
【００３７】
以下、この光源パラメータの決定方法について説明する。
【００３８】
図３には、光源パラメータを決定するための方法が示されている。まず、表面形状及び表面特性が既知である参照物体３００を用意する。図３（ａ）では、この参照物体を球としている。そして、この参照物体３００を撮像装置１で撮影し、参照物体３００の表面反射のピーク位置を算出する。そして、図３（ａ）に示されるように、表面反射のピーク点における参照物体３００の面法線ベクトル及び撮像装置１とピーク点を結ぶカメラ視線方向を算出する。ピーク点における面法線ベクトルと光源方向ベクトルとのなす角度は、面法線ベクトルとカメラ視線ベクトルとのなす角度に等しく、かつ、これら３ベクトルは平面をなすという拘束条件から、光源方向ベクトルを算出することができる。
【００３９】
そして、以上の処理を複数の参照物体３００、３０２について行うことで複数の光源方向ベクトルを算出し、これら複数の光源方向ベクトルの交わる点を光源の３次元位置とすることができる。また、光源の３次元位置と参照物体３００の反射光量から、光源の光量を計算することもできる。
【００４０】
もちろん、光源パラメータの決定方法としてこれに限らず、例えば椎谷秀一他「三次元情報を用いた画像内の影除去」情報処理学会第５７回全国大会ｐｐ．２：１８５−１８６，１９９８に記載されている方法を用いることもできる。これは、実写画像に立体情報を手動で付加した後、画像内の立体物の一点と、その点に対応した影の部分を指定することで、光源方向を特定する方法である。また、従来のＣＧ画像との合成作業中に試行錯誤的に得たパラメータをそのまま用いることもできる。
【００４１】
＜音パラメータ＞
一般に、実写画像撮影時には音も同時に獲得するが、ここでは特にモデリングされた音情報を意味する。具体的には、騒音環境であるか、非常に静かな環境であるかなどのシンボリックな情報である。
【００４２】
また、単なるステレオ録音された音ではなく、音源モデリングにより、３次元位置が特定された音源も含まれる。これにより、実写画像において視点を変えた際にＣＧ画像もこの音源の３次元位置変化に基づいて変化させることで、極めて臨場感の高い合成画像を得ることができる。
【００４３】
図４には、音パラメータとして音源の３次元位置を決定するための構成ブロック図が示されている。音パラメータを獲得する環境パラメータ獲得部１２は、マイクなどの音入力部１２ａと３次元音源モデリング部１２ｂを含んで構成される。音入力部１２ａは、複数設けられてそれぞれの位置で音を入力する。３次元音源モデリング部１２ｂは、複数の音入力部１２ａからの音を入力して三角測量の原理により音源の３次元位置を特定する。
【００４４】
図５には、３次元音源モデリング部１２ｂにおける処理フローチャートが示されている。まず、３次元音源モデリング部１２ｂは、複数の音入力部１２ａから音信号を入力し（Ｓ１０１）、デジタル信号に変換する（Ｓ１０２）。次に、入力した音を高速フーリエ変換（ＦＦＴ）などにより周波数分解し（Ｓ１０３）、各周波数毎に複数の音入力部１２ａの位相差を検出する（Ｓ１０４）。位相差は音源と各音入力部１２ａとの距離差に相当する。また、複数の音入力部１２ａからの音の各周波数毎の強度差を検出する（Ｓ１０５）。強度及びその差は、音源と音入力部１２ａとの距離及び方向に相当する。検出された各周波数毎の位相差及び強度差に基づき、音源の３次元位置を特定する（Ｓ１０６）。
【００４５】
図６及び図７には、以上述べた処理が模式的に示されている。図６に示すように、複数の音入力部Ａ、Ｂが離間して設けられ、それぞれの地点において音源４００からの音を入力する。各地点において入力した音波の位相及び強度は音源４００からの距離に依存し、図７に示されるように音入力部Ａ、Ｂでの位相差並びに強度差が生ずる。この位相差及び強度差、並びに各音入力部Ａ、Ｂの位置関係から音源４００の３次元位置を特定することができる。なお、図６、７では説明の都合上、２個の音入力部を示しているが、実際には２個の音入力部１２ａでは音源を２次元的にしか特定できないので、音入力部１２ａは少なくとも３個以上設ける必要がある。
【００４６】
また、これらの入力部が１直線を成すように配置した場合、やはり音源は２次元的にしか特定できないので、これらが直線を成さないように配置することが好ましい。
【００４７】
なお、音入力部を２個のみ持つ場合、上記のように音源が２次元的にしか特定できないだけでなく、複数の候補を持つことになる。すなわち、周期ｔの波については、位相距離差ｎ×ｔ＋ｄ（ｎは任意の整数）を満たす地点は全て位相差ｄと判断される。しかし、音入力部を３個持つことで、この問題は以下のように解決される。
【００４８】
３個の音入力部をａ，ｂ，ｃとし、ａ−ｂのペアで観測される位相差をｄ（ａ，ｂ）、ｂ−ｃのペアで観測される位相差をｄ（ｂ，ｃ）、ａ−ｃのペアで観測される位相差をｄ（ａ，ｃ）とする。音源候補はｎ０×ｔ＋ｄ（ａ，ｂ）、ｎ１×ｔ＋ｄ（ｂ，ｃ）、ｎ２×ｔ＋ｄ（ａ，ｃ）を全て満たす地点となり、一般に１地点に特定できる。但し、当然ながら誤差の影響も考慮する必要があり、このため上記の位置誤差に加え強度差も考慮することで、より精度良く音源の３次元位置を特定することができる。
【００４９】
また、音入力部１２ａとしては、図８に示されるように複数の指向性マイクアレイを用いることができる。各指向性マイクで入力された音は上述した処理と同様に周波数分解され、各周波数毎に最強の入力があった指向性マイクの方向及びその近傍のマイクとの強度の差から音源の３次元方向を特定することができる。
【００５０】
さらに、このようにして算出された音源の３次元位置を実写画像を用いて修正することで、３次元位置検出の精度を向上させることも可能である。図９にはこの場合の処理が模式的に示されている。図９（ａ）に示されるように、実写画像から音源の可能性がある物体Ａ、Ｂ、Ｃ、Ｄの３次元配置モデルを生成し、上述した方法で特定された音源の３次元位置をこの３次元配置モデルにプロットする。図９（ｂ）は３次元配置に算出した音源位置をプロットした状態を表しており、算出した音源位置を符号５００、５０２、５０４、５０６で表している。実際の音源は物体Ａ、Ｂ、Ｃ、Ｄから発せられると考えられるので、推定した音源位置５００、５０２、５０４、５０６を物体Ａ、Ｂ、Ｃ、Ｄの配置位置に応じて修正し（例えば、物体の中心位置に引き込む）、図９（ｃ）に示されるように音源位置６００、６０２、６０４、６０６とする。
【００５１】
このようにして実写画像における音源の３次元位置を音パラメータとして用いることで、実写画像にＣＧ画像を合成する場合に、実写画像中において音源の変化に起因して物体の様子が変化しても、音源の３次元位置が既知であるため、合成されるＣＧ画像もこの音源の変化に従った変化を起こさせることが可能となり、極めてリアリティの高い合成画像を得ることができる。
【００５２】
なお、以上では入力された音情報をデジタル変換した後、周波数分解する方法について述べたが、複数のバンドパスフィルタを用いることでアナログ的に周波数分解してもよい。
【００５３】
＜大気パラメータ＞
大気の曇り具合（霧や水粒子密度）に関係するパラメータであり、これにより光源の散乱具合が決定される。したがって、この大気パラメータを用いることで、実写と同様の霧効果をＣＧ画像にも生成することができ、合成した場合でもリアリティの高い画像を得ることができる。大気パラメータを獲得するには、例えば湿度計を用いればよい。
【００５４】
＜天候パラメータ＞
このパラメータには、雨、曇り、雪など一般的な天候情報の他、気温、風速／風向、気圧なども含めることができる。天候パラメータとして雪、風速、風向を有する実写画像にＣＧ画像を合成する場合、ＣＧ画像に対して同様な風速などを与えることで、違和感のない合成画像が得られる。天候パラメータを獲得するには、例えば温度計、気圧計、風速計、風向計を用いることができる。
【００５５】
＜時刻パラメータ＞
撮影部１０で実写画像を取得した時刻に関するパラメータであり、撮影時が早朝であるか、昼間であるか、夕方であるかを示すパラメータである。このパラメータを用いることで、例えば夕方の合成画像を作成する際に朝の実写画像を用いてしまい、合成画像間で光源パラメータが一致していても「なんとなく不自然」な印象を与えてしまうことを確実に防止できる。
【００５６】
＜感情パラメータ＞
実写画像が人物を撮影したものである場合、その人物が「悲しい」、「楽しい」、「怒った」などどんな感情を持っているかに関するパラメータである。これらのパラメータを有することで、合成すべき画像の選択をより適切に行うことができる。例えば、悲しいシーンの合成画像を作成する場合、楽しい雰囲気の実写画像を背景部品として選択してしまい、「なんとなく不自然」な印象を与えることを防止できる。
【００５７】
＜プロローグ／エピローグパラメータ＞
実写画像において実際に得られた画像の前後の状況に関するパラメータである。例えば、実写画像が泣いている人物に関する画像である場合、その原因である交通事故発生に関するデータである（交通事故自体は、実写画像には存在しない）。あるいは、実写画像が多数の人物が上を見ている画像である場合、低空飛行している飛行機に関するデータである（飛行機の画像自体は、実写画像には存在しない）。これらのパラメータを２次的に用いることで、より適切な合成画像を選択することも可能となる。
【００５８】
以上、環境パラメータの具体例について説明したが、もちろんこれらの全てを用いる必要はなく、任意に選択すればよい。そして、付加部１４では、撮像部１０から供給された実写画像と環境パラメータ獲得部１２で獲得した各種獲得パラメータを付加して記憶手段に出力する。以下、付加部１４で実写画像に環境パラメータを付加するフォーマットについて説明する。
【００５９】
図１０には、実写画像のヘッダ部のフォーマット例が示されている。まず、実写画像である映像部品名が先頭に配置され、次に映像のモデル形式、すなわち２次元か３次元かを識別するための情報が配置される。そして、映像情報へのポインタと環境パラメータへのポインタが配置され、さらにその他の付随情報が配置される。
【００６０】
図１１には、図１０における映像情報へのポインタで指定される映像情報部分のフォーマット例が示されている。映像情報は、オブジェクト数、オブジェクト情報＃１、＃２、＃３、・・・から構成され、オブジェクト情報には映像の形状情報、色彩情報、材質情報及び動き情報が含まれる。
【００６１】
一方、図１２には、映像情報に付加される環境情報（環境パラメータ）のフォーマット例が示されている。なお、環境パラメータとして上述した各種パラメータのうち、カメラ内部パラメータ、カメラワークパラメータ、画像ノイズパラメータ、光源パラメータ、大気パラメータ、天候パラメータ、音パラメータ、時刻パラメータのみを示しているが、他のパラメータを含むことができるのは言うまでもない。図１２において、環境パラメータはカメラ内部パラメータが先頭に配置され、次にカメラワークパラメータへのポインタ情報が付加される。そして、画像ノイズパラメータが配置され、さらに光源パラメータへのポインタが配置される。大気パラメータ及び天候パラメータが光源パラメータへのポインタに続き、さらに音パラメータへのポインタ及び時刻パラメータが付加される。もちろん、全てのパラメータをポインタで指定することも可能である。
【００６２】
図１３には図１２におけるカメラワークパラメータへのポインタで指定されるカメラワークパラメータのフォーマット例が示されている。カメラワークパラメータは、モーションセグメント数（移動数）及び＃１開始点（ｘ、ｙ、ｚ）と動き速度ベクトル、＃２開始点（ｘ、ｙ、ｚ）と動き速度ベクトル、・・・から構成される。なお、カメラワークに回転が含まれる場合には、例えば回転速度ベクトルなどを付加することも可能である。
【００６３】
図１４には図１２において光源パラメータへのポインタで指定される光源パラメータのフォーマット例が示されている。光源パラメータは、光源数及び各光源毎に光源位置（ｘ、ｙ、ｚ）、光源光スペクトル、光源強度、光源動き、・・・から構成される。光源光スペクトルは、太陽光や蛍光灯などの光源の種類で代用することができる。光源光スペクトルは、例えば分光器などを用いて獲得することができる。
【００６４】
さらに、図１５には、図１２の音パラメータへのポインタで指定される音パラメータのフォーマット例が示されている。音パラメータは、音源数及び各音源毎の位置（ｘ、ｙ、ｚ）、音波シーケンス、音源動き、・・・から構成される。音波シーケンスは音の種類を示すものである。
【００６５】
本実施形態における撮像装置１は、以上のようにして実写画像に撮影環境を示す環境パラメータを付加して記憶手段に出力する。そして、実際に実写画像と素材画像（合成用の画像）としてのＣＧ画像を合成する際には、記憶手段から実写画像を読み出し、実写画像に付加されている環境パラメータを用いてＣＧ画像を自動合成する。
【００６６】
図１６には、本実施形態における画像合成装置２０の構成ブロック図が示されている。画像合成装置２０は、環境パラメータ抽出部１５、ＣＧ作成部２２及び合成部２４を含んで構成される。
【００６７】
環境パラメータ抽出部１５は、記憶手段に格納されている環境パラメータが付加された実写画像を読み出し、読み出した画像データから環境パラメータデータを抽出してＣＧ作成部２２に供給する。また、実写画像自体は合成部２４に出力する。
【００６８】
ＣＧ作成部２２は、公知のＣＧ処理機能を有するコンピュータで構成され、環境パラメータ抽出部１５から供給された環境パラメータを用いて実写画像のパラメータに合致したパラメータでＣＧ部品を作成する。具体的には、例えば環境パラメータ中の光源パラメータを用いて実写画像に含まれる影と同一の影をＣＧ部品に付加する。作成したＣＧ部品は、合成部２４に供給される。
【００６９】
合成部２４は、ＣＧ作成部２２で作成されたＣＧ部品と環境パラメータ抽出部１５から供給された実写画像を合成し、例えばモニタなどに出力する。環境パラメータに基づいて自動的にＣＧ部品を作成して合成するので、操作者は環境パラメータを独自に観察してＣＧ部品に反映させる必要がなくなり、リアリティの高い合成画像を容易に得ることができる。
【００７０】
なお、ＣＧ作成部２２でＣＧを作成するに際し、環境パラメータ抽出部１５から供給された環境パラメータの全てを考慮してＣＧを作成する必要はない。例えば、意図的に不自然な画像を生成する場合には、必要に応じて環境パラメータのいくつかを考慮せずＣＧを作成することもできる。
【００７１】
また、図１６の構成においては、環境パラメータ抽出部１５から供給された環境パラメータに基づき新たにＣＧ画像を作成したが、一度合成用に作成されたＣＧ画像については、合成時に使用した環境パラメータとともにデータベースに格納しておき、新たに実写画像と合成する必要が生じた場合には、このＣＧ画像に付加された環境パラメータと合成すべき実写画像に含まれている環境パラメータとを比較し、ＣＧ画像を修正して再使用することも考えられる。
【００７２】
図１７には、このような場合の構成ブロック図が示されている。実写画像データベース３０及びＣＧ画像データベース３２が用いられる。実写画像にＣＧ画像を合成する場合、ＣＧ画像データベース３２に格納されているＣＧ画像はＣＧ修正部３４に供給される。そして、実写画像に付加されている環境パラメータをＣＧ修正部３４に供給し、ＣＧ修正部３４では、ＣＧ画像に付加されている環境パラメータと実写画像に付加されている環境パラメータを比較し、環境パラメータの相違に基づいてＣＧ画像を修正する。例えば、光源パラメータＡを有する実写画像に合成されたＣＧ画像ａが存在するとする。このＣＧ画像ａを用いて別の実写画像Ｂに合成する場合、合成すべき実写画像Ｂに付加されている光源パラメータＢを用いてＣＧ画像ａの影の部分を修正してＣＧ画像ｂを得る。これにより、ＣＧ修正部３４は、実写画像のパラメータに一致したＣＧ画像を効率的かつ迅速に作成することができる。
【００７３】
以上、本発明の実施形態について、特に実写画像とＣＧ画像との合成を例にとり説明したが、本発明はこれに限定されるものではなく、実写画像と実写画像の合成にも適用することが可能である。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施形態の撮像装置の構成ブロック図である。
【図２】光源パラメータの説明図である。
【図３】光源パラメータの算出説明図である。
【図４】本実施形態における環境パラメータ獲得部の構成ブロック図である。
【図５】音パラメータの算出処理フローチャートである。
【図６】音パラメータ算出の説明図（その１）である。
【図７】音パラメータの算出説明図（その２）である。
【図８】図４における音入力部の一構成図である。
【図９】本実施形態における他の音パラメータ算出説明図である。
【図１０】環境パラメータが付加された実写画像データのフォーマット図である。
【図１１】図１０における映像情報部分のフォーマット図である。
【図１２】図１０における環境パラメータ部のフォーマット図である。
【図１３】図１２におけるカメラワークパラメータ部のフォーマット図である。
【図１４】図１２における光源パラメータ部のフォーマット図である。
【図１５】図１２における音パラメータ部のフォーマット図である。
【図１６】本実施形態における画像合成装置の構成ブロック図である。
【図１７】本実施形態における画像合成装置の他の構成ブロック図である。
【符号の説明】
【００７５】
１  撮像装置、１０  撮像部、１２  環境パラメータ獲得部、１４  付加部、１５  環境パラメータ抽出部、２０  画像合成装置、２２  ＣＧ作成部、２４  合成部、３０  実写画像データベース、３２  ＣＧ画像データベース、３４  ＣＧ修正部。
【図１】
2008041107.tif 000003
【図２】
2008041107.tif 000004
【図３】
2008041107.tif 000005
【図４】
2008041107.tif 000006
【図５】
2008041107.tif 000007
【図６】
2008041107.tif 000008
【図７】
2008041107.tif 000009
【図８】
2008041107.tif 000010
【図９】
2008041107.tif 000011
【図１０】
2008041107.tif 000012
【図１１】
2008041107.tif 000013
【図１２】
2008041107.tif 000014
【図１３】
2008041107.tif 000015
【図１４】
2008041107.tif 000016
【図１５】
2008041107.tif 000017
【図１６】
2008041107.tif 000018
【図１７】
2008041107.tif 000019