(57)【要約】【課題】自然な感じで実写画像とＣＧを合成すること目的とする。【解決手段】立体モデルＯＢ、投影面ＰＬ、光源Ｌ、基準視点Ｏを計算上の空間に設定する。そして、基準視点Ｏから立体モデルＯＢ、光源Ｌを追跡する追跡視線ＬＣを決めるに際し、実写画像を撮影したカメラの撮像画素への入射光線に合わせるように、投影画素ＰＰごとに、基準始点Ｏから変位量ＶＤだけずれた位置から追跡視線ＬＣを決めた。【選択図】      図２
2004318612.tif 000002
【特許請求の範囲】
【請求項１】
立体モデル、投影面、視点を計算上の空間に設定し、前記視点から前記投影面上の投影画素に向かう方向を追跡し、前記立体モデルの属性を取得して、前記投影面上に前記立体モデルの二次元画像を生成するとともに、カメラで撮影した実写画像に前記二次元画像を重ねて合成画像を生成する画像合成方法であって、
前記視点から前記投影画素に向かう追跡視線を、前記投影画素に相当する前記カメラの撮像画素への入射光線に合わせて設定することを特徴とする画像合成方法。
【請求項２】
カメラで撮影した実写画像と、立体モデルを投影面上に投影して生成した二次元画像とを重ねて合成画像を生成する画像合成装置であって、前記カメラで撮影される実写画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを蓄積した較正テーブル蓄積手段と、
投影面上の投影画素ごとに、その投影画素の画素位置から、前記較正テーブルを参照して前記入射光線の方向及び位置を取得し、これらの入射光線の方向及び位置に基づき、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出する追跡視線算出手段と、
前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段と、
前記実写画像に、前記二次元画像生成手段で生成した二次元画像を重ねる画像合成手段とを備えることを特徴とする画像合成装置。
【請求項３】
前記較正テーブルの入射光線の方向及び位置を特定する情報は、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする請求項２に記載の画像合成装置。
【請求項４】
前記較正テーブルの入射光線の方向及び位置を特定する情報は、前記入射光線上の２点の座標であることを特徴とする請求項２に記載の画像合成装置。
【請求項５】
カメラで撮影した実写画像と、立体モデルを投影面上に投影して生成した二次元画像とを重ねて合成画像を生成するため、前記カメラで撮影される画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを用い、コンピュータを、
投影面上の投影画素ごとに、その投影画素の画素位置から、前記較正テーブルを参照して前記入射光線の方向及び位置を取得し、これらの入射光線の方向及び位置に基づき、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出する追跡視線算出手段と、
前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段と、
前記実写画像に、前記二次元画像生成手段で生成した二次元画像を重ねる画像合成手段として機能させることを特徴とする画像合成プログラム。
【請求項６】
カメラで撮影した実写画像にコンピュータグラフィクスを合成するため、立体モデルを二次元画像に投影する立体モデルのレンダリング方法であって、
立体モデル、投影面、視点を計算上の空間に設定するステップと、
前記視点から前記投影面上の投影画素に向かう追跡視線を、前記投影画素に相当する前記カメラの撮影画素への入射光線に合わせて設定するステップと、
前記視点から前記投影面上の投影画素に向かう方向を追跡し、前記立体モデルの色を取得するステップと、
取得した立体モデルの色を前記投影面上の前記投影画素に配置して二次元画像を生成するステップとを有することを特徴とする立体モデルのレンダリング方法。
【請求項７】
カメラで撮影した実写画像にコンピュータグラフィクスを合成するため、立体モデルを二次元画像に投影する立体モデルのレンダリング装置であって、
前記カメラで撮影される画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを蓄積した較正テーブル蓄積手段と、
投影面上の投影画素ごとに、その投影画素の画素位置から、前記較正テーブルを参照して前記入射光線の方向及び位置を取得し、これらの入射光線の方向及び位置に基づき、追跡視線を算出する追跡視線算出手段と、
前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段とを備えることを特徴とする立体モデルのレンダリング方法。
【請求項８】
カメラで撮影した実写画像にコンピュータグラフィクスを合成するため、前記カメラで撮影される画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを用いて、立体モデルを二次元画像に投影する立体モデルのレンダリングプログラムであって、コンピュータを、
投影面上の投影画素ごとに、その投影画素の画素位置から、前記較正テーブルを参照して前記入射光線の方向及び位置を取得し、これらの入射光線の方向及び位置に基づき、追跡視線を算出する追跡視線算出手段と、
前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段として機能させることを特徴とする立体モデルのレンダリングプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラによる実写画像と、立体モデルとを合成する画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置およびプログラムに関する
【０００２】
【従来の技術】
従来より、計算機（コンピュータ）で生成した立体モデルから二次元画像を生成する（これを「レンダリング」という。）方法として、レイトレーシング法が知られている（例えば、特許文献１参照）。
レイトレーシング法は、図５に示すように、計算機の仮想空間上に立体モデル１０１を生成し、この立体モデル１０１を視点１０３から見たときの二次元画像を生成する方法である。レイトレーシングを行う際には、視点１０３から立体モデル１０１を見た方向に投影面１０２を設定し、空間の適当な位置に光源１０４を設定する。そして、投影面１０２上に、画面と同様の画素１０５を設定し、画素１０５から視点１０３に入ってくる光線１０６を逆に追跡し、立体モデル１０１の色を画素１０５の色に決定する。この操作をすべての画素１０５について行うことにより、投影面１０２上に立体モデル１０１が投影される。
【０００３】
そして、近年ではコンピュータの性能向上により、映画やテレビの映像において、カメラで撮影した実写画像とコンピュータグラフィクス（ＣＧ：Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）で作ったキャラクタや商品などの画像とを合成して、新たな映像表現が行われている。
このような合成画像を作るためには、まず、計算機内で立体モデルを生成し、この立体モデルをレイトレーシング法で二次元画像にする際に、実写画像を撮影したカメラと、同じ撮影角度（チルト角など）、画角になるように視点と投影面、投影面上の画素を設定する。そして、投影面上にできあがった二次元画像を実写画像と重ね合わせる。
【０００４】
【特許文献１】
特開２０００−２０７５７６号公報（図７、段落０００２〜０００４等）
【０００５】
【発明が解決しようとする課題】
しかし、前記したような画像合成方法は、カメラがピンホールカメラモデルに基づいていることを前提としており、実写画像とＣＧを重ね合わせたときに、微妙なズレが生じる。
ここで、ピンホールカメラモデルと、実際のレンズ系を有するカメラの違いについて説明する。
ピンホールカメラモデルとは、図６に示すように、基点位置（針穴：ピンホールＨ）を通して入射する光（入射光）のみが、画像面上に到達して、三次元空間が、画像面上の二次元空間に対応付けられるモデルを言う。このようにピンホールカメラモデルは、入射光線が一点のピンホールを通って画像が形成されることを想定している。ところが、ピンホールカメラではなく、レンズ系を有するカメラでは入射光線を延長しても１点に収束しない。そのため、レンズ系を有するカメラで撮像した画像には、非線形の歪みが存在し、周辺視野ほどその歪みが大きい。
【０００６】
一方、立体モデルのレンダリングの際に、一点の固定された視点から光線を追跡することは、立体モデルをピンホールカメラモデルで撮影するのと同様の関係にあり、実際のカメラに入射してくる光線と比較すると、微妙に異なる方向から光線が入射するような計算方法になる。
【０００７】
このように、従来の画像合成方法では、実写画像に対するＣＧの見え方が微妙にずれていることから、静止している画像では気にならなくても、動画にすると、ＣＧが僅かに揺れ動き、違和感を与える。
たとえば、自動車の運転席からインスツルメントパネルとフロントガラスの外の景色が見えるようにカメラで撮影し、この実写画像に、ＣＧのメータ類をインスツルメントパネルに合成したとする。そして、カメラのパンを変えるシーンを作ると、本来、ＣＧのメータ類はインスツルメントパネルと一体に動かなければならないが、従来の画像合成方法では、インスツルメントパネルに対し、相対的に揺れながら動いてしまう。
このような現象は、実写画像の撮影距離が近距離から遠距離まで広範囲に渡り、かつカメラ（視点）に対して設定されたＣＧ（立体モデル）の距離が近いと顕著になる。このような問題から、従来の合成映像作成の際には、人手で、ＣＧの位置などを修正する必要があった。
【０００８】
本発明は、以上のような問題点に鑑みてなされたものであり、従来の実写画像とＣＧの画像合成において、ピンホールカメラモデルを前提とした誤差の根本原因を除去し、自然な感じの合成画像を作ることが可能な画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置、およびプログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の画像合成方法は、立体モデル、投影面、視点を計算上の空間に設定し、前記視点から前記投影面上の投影画素に向かう方向を追跡し、前記立体モデルの属性を取得して、前記投影面上に前記立体モデルの二次元画像を生成するとともに、カメラで撮影した実写画像に前記二次元画像を重ねて合成画像を生成する画像合成方法であって、前記視点から前記投影画素に向かう追跡視線を、前記投影画素に相当する前記カメラの撮像画素への入射光線に合わせて設定することを特徴とする。
【００１０】
このように、本発明は計算上の空間で、視点から立体モデルを見て、投影面の投影画素に立体モデルの二次元画像を投影する方法（いわゆるレイトレーシング法）において、視点を、合成する実写画像を撮影したカメラに合わせて、投影画素ごとに設定するものである。つまり、カメラで撮影した画面中の画素位置（撮影画素）に応じて、その画素に入ってくる入射光線の方向を予め測定しておき、投影画素に立体モデルの色を投影する追跡視線を、その投影画素に相当する撮影画素への入射光線に合わせるようにする。
この投影画素の色を決める際には、立体モデルの属性、例えば、色（色合い、明るさなど）や、反射率、透明度、及び基準視点Ｏからの距離などが考慮される。
こうすることで、カメラで撮影した実際の空間と実写画像の光学的関係と、計算上の空間（立体モデル）と二次元画像の光学的関係とが正確に一致するので、これらの実写画像と、二次元画像を合成したときに自然な画像または映像となる。
【００１１】
請求項２に記載の画像合成装置は、カメラで撮影した実写画像と、立体モデルを投影面上に投影して生成した二次元画像とを重ねて合成画像を生成する画像合成装置であって、前記カメラで撮影される実写画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを蓄積した較正テーブル蓄積手段と、投影面上の投影画素ごとに、その投影画素の画素位置から、前記較正テーブルを参照して前記入射光線の方向及び位置を取得し、これらの入射光線の方向及び位置に基づき、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出する追跡視線算出手段と、前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段と、前記実写画像に、前記二次元画像生成手段で生成した二次元画像を重ねる画像合成手段とを備えることを特徴とする。
【００１２】
このように、較正テーブル蓄積手段に較正テーブルを用意しておき、追跡視線算出手段が、投影画素ごとに、入射光線の方向及び位置を特定する情報を取得し、追跡視線、つまり、立体モデルを投影面に投影するための視線を算出する。そして、二次元画像生成手段が、前記追跡視線と立体モデルとの関係から投影画素の色を決定すれば、カメラで撮影した実際の空間と実写画像の光学的関係と同じ関係で、立体モデルから二次元画像を生成することができる。そのため、画像合成手段で、実写画像と二次元画像を重ねると、自然な合成画像もしくは合成映像となる。
【００１３】
前記した較正テーブルの入射光線の方向及び位置を特定する情報としては、例えば、前記入射光線の方向と、基準位置から前記入射光線への変位量とから構成することができる（請求項３）。また、これに限らず、例えば、カメラと一定の関係にある位置を原点として、前記入射光線上の２点の座標により特定してもよい（請求項４）。
【００１４】
また、このような画面合成装置の各手段は、カメラで撮影した実写画像と、立体モデルを投影面上に投影して生成した二次元画像とを重ねて合成画像を生成するため、前記カメラで撮影される画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを用い、コンピュータを、投影面上の投影画素ごとに、その投影画素の画素位置から、前記較正テーブルを参照して前記入射光線の方向及び位置を取得し、これらの入射光線の方向及び位置に基づき、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出する追跡視線算出手段と、前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段と、前記実写画像に、前記二次元画像生成手段で生成した二次元画像を重ねる画像合成手段として機能させるように構成することもできる（請求項５）。
【００１５】
そして、請求項６に記載の発明は、カメラで撮影した実写画像にコンピュータグラフィクスを合成するため、立体モデルを二次元画像に投影する立体モデルのレンダリング方法であって、立体モデル、投影面、視点を計算上の空間に設定するステップと、前記視点から前記投影面上の投影画素に向かう追跡視線を、前記投影画素に相当する前記カメラの撮影画素への入射光線に合わせて設定するステップと、前記視点から前記投影面上の投影画素に向かう方向を追跡し、前記立体モデルの色を取得するステップと、取得した立体モデルの色を前記投影面上の前記投影画素に配置して二次元画像を生成するステップとを有することを特徴とする。
【００１６】
また、請求項７に記載の発明は、カメラで撮影した実写画像にコンピュータグラフィクスを合成するため、立体モデルを二次元画像に投影する立体モデルのレンダリング装置であって、前記カメラで撮影される画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを蓄積した較正テーブル蓄積手段と、投影面上の投影画素ごとに、その投影画素の画素位置から、前記較正テーブルを参照して前記入射光線の方向及び位置を取得し、これらの入射光線の方向及び位置に基づき、追跡視線を算出する追跡視線算出手段と、前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段とを備えることを特徴とする。
【００１７】
また、このようなレンダリング装置の各手段は、カメラで撮影した実写画像にコンピュータグラフィクスを合成するため、前記カメラで撮影される画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを用いて、立体モデルを二次元画像に投影する立体モデルのレンダリングプログラムであって、コンピュータを、投影面上の投影画素ごとに、その投影画素の画素位置から、前記較正テーブルを参照して前記入射光線の方向及び位置を取得し、これらの入射光線の方向及び位置に基づき、追跡視線を算出する追跡視線算出手段と、前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段として機能させるように構成することもできる（請求項８）。
【００１８】
【発明の実施の形態】
次に、図面を参照しながら本発明の実施形態について説明する。
まず、一般にピンホールカメラモデルと呼ばれるカメラにおいて、画像の歪みの原因となる、入射光線が一点で交わらないカメラの非ピンホール性について説明し、その非ピンホール性を有するカメラの特性を数値化したキャリブレーションデータについて説明する。そして、カメラの撮像画素毎のキャリブレーションデータを測定して較正テーブルを生成する方法について説明し、この較正テーブルを有する画像合成装置（レンダリング装置）について順次説明する。
【００１９】
［カメラの非ピンホール性について］
まず、図７を参照して、レンズ系を有するカメラで撮像した画像において、歪みが発生する原因について説明する。図７は、レンズ系を有するカメラの模式図である。ここでは、説明を簡略化するため、レンズ系を板ガラスＧとし、絞りＦによってピンホールＨが生成されているものとする。このカメラＣの板ガラスＧに垂直に入射する入射光線ｒ１は、ピンホールＨを通って撮影画像Ｉ上の画素Ｒ１に撮像される。また、板ガラスＧに斜めに入射した入射光線ｒ２及びｒ３は、板ガラスＧ内で屈折した後にピンホールＨを通って撮影画像Ｉ上の画素Ｒ２及びＲ３に撮像される。
【００２０】
しかし、このカメラＣは、板ガラスＧを通過する前の入射光線ｒ２及びｒ３の延長線であるｒ２´及びｒ３´と、入射光線ｒ１とは、一点では交わらず、実際にはピンホールカメラモデルとはなっていないことがわかる。このため、撮影画像Ｉ上の画素Ｒ３には、ピンホールカメラモデルで想定している入射光線ｒｒとは、距離Ｄ分だけずれた入射光線ｒ３が撮像されることになる。
【００２１】
このように、レンズ系（ここでは板ガラスＧ）に入射される入射光線によって像を撮像するカメラは、ピンホール性が崩れていることになる（非ピンホール性）。以下、レンズ系を有するカメラを「非ピンホールカメラ」と呼ぶこととする。
【００２２】
［キャリブレーションデータについて］
次に、図８を参照して、非ピンホールカメラの特性を数値化したキャリブレーションデータについて説明する。図８は、キャリブレーションデータの内容を説明するための説明図である。図８に示すように、レンズｌに入射する入射光線Ｒは２点で特定することができる。ここでは、第１の光源位置Ｐ１と、第２の光源位置Ｐ２とから発光される光が同一の画素（図示せず）に撮像されたときに、入射光線Ｒがその画素に対応する入射光線であると特定する。
【００２３】
ここで、すべての入射光線との距離の自乗和が最小となる点を光学中心Ｏと定義し、各撮像画素に対応する入射光線Ｒと光学中心Ｏとの距離が最小となる点を、その入射光線Ｒの入射光基点Ｋと定義する。
【００２４】
すなわち、光学中心Ｏ（ｘ０，ｙ０，ｚ０）は、すべての入射光線において、光源位置Ｐ１（ｘ１，ｙ１，ｚ１）と光源位置Ｐ２（ｘ２，ｙ２，ｚ２）とで特定される、入射光線Ｒからの距離ｄの自乗（（１）式）和が最小になる位置を、最小自乗法によって求めた位置となる。
【００２５】
ｄ２＝−（Ａ２／Ｂ）＋Ｃ    ・・・（１）
【００２６】
ただし、
Ａ＝（ｘ２−ｘ１）（ｘ１−ｘ０）＋（ｙ２−ｙ１）（ｙ１−ｙ０）＋（ｚ２−ｚ１）（ｚ１−ｚ０）
Ｂ＝（ｘ２−ｘ１）２＋（ｙ２−ｙ１）２＋（ｚ２−ｚ１）２、
Ｃ＝（ｘ１−ｘ０）２＋（ｙ１−ｙ０）２＋（ｚ１−ｚ０）２
とする。
【００２７】
これによって、入射光線の方向（光源位置Ｐ１及びＰ２で特定される方向）と、光学中心Ｏから入射光基点Ｋへの変位量（三次元ベクトルＶＤ（ｄｘ，ｄｙ，ｄｚ）で表現）とを対応付けたデータをキャリブレーションデータとすることで、非ピンホールカメラの特性を数値化することができる。
【００２８】
なお、キャリブレーションデータは、これに限定されるものではない。例えば、前記した例では、光学中心Ｏを基準位置とし、光学中心Ｏから入射光線に降ろした垂線の足までのベクトルを変位量としているが、基準位置は、光学中心に限らず、カメラと一定関係にある固定点であれば、どのような点でも構わない。そして、変位量ＶＤは、基準位置から入射光線上の任意の一点へ向かうベクトルであればよく、基準位置から入射光線へ降ろした垂線の足には限られない。
【００２９】
［較正テーブルの生成方法］
次に、図９を参照して、非ピンホールカメラの特性を数値化したキャリブレーションデータをカメラの撮影画素（投影画素に相当）毎に関連付けた較正テーブルを生成する方法について説明する。図９は、較正テーブルを生成する方法の原理を示す概念図である。なお、図９（ａ）は、特定の入射光線に対して、カメラのパン及びチルトを変化させることで、キャリブレーションデータを測定する原理を示す概念図であり、図９（ｂ）は、固定したカメラに対して、入射光線を変化させることで、キャリブレーションデータを測定する原理を示す概念図である。
【００３０】
図９（ａ）に示すように、キャリブレーションデータを撮影画素毎に関連付けた較正テーブルを生成するには、非ピンホール性を有するカメラＣに対して、光源位置をＰ１及びＰ２の１方向に移動させ（１軸移動）、光源位置Ｐ１及びＰ２で特定される入射光線Ｒを決定し、光源位置Ｐ１及びＰ２から発光される光が共に、測定を行う撮像画素に入射されるように、カメラＣのパン及びチルトを調整（２軸回転）することで、カメラＣの撮像画素毎に入射される入射光線Ｒの方向を特定する。
【００３１】
また、図９（ｂ）に示すように、カメラＣは固定しておき、光源位置Ｐ１及びＰ２の２点で発光した入射光線Ｒが、測定画素に入射されるように、光源位置Ｐ１及びＰ２をＸＹＺ方向に移動（３軸移動）させることで、その測定画素に入射される光源位置Ｐ１及びＰ２の２点で定まる入射光線Ｒの方向を特定することとしてもよい。
【００３２】
図９（ａ）又は（ｂ）で、測定を行った各撮像画素毎に特定された入射光線Ｒに基づいて、入射光線Ｒの方向と、光学中心Ｏから入射光基点Ｋ（図８参照）への変位量とをキャリブレーションデータとして撮像画素（投影画素）毎に関連づけることで較正テーブルを生成することができる。
なお、較正テーブルは、画素毎の入射光線の方向と位置を、カメラに対して特定できればいいものなので、例えば、入射光線を２つの点の座標により特定してテーブル化することもできる。
【００３３】
［画像合成装置の構成］
次に、図１及び図２を参照して、画像構成装置について説明を行う。図１は、本発明の実施形態である画像合成装置の構成を示したブロック図であり、図２は、実施形態に係る画像合成装置で使用されるレンダリング方法を説明する図である。図１に示した画像合成装置１は、カメラ（図示せず）で撮影した実写画像と、計算機で生成した立体モデルとを合成する装置である。
ここでは、画像合成装置１を、モデル設定手段１０と、較正テーブル蓄積手段２０と、追跡視線算出手段３０と、二次元画像生成手段４０と、画像合成手段５０とを備えて構成した。なお、画像合成装置１から画像合成手段５０を除いた、モデル設定手段１０、較正テーブル蓄積手段２０、追跡視線算出手段３０、二次元画像生成手段４０が特許請求の範囲にいうレンダリング装置１´に相当する。これらの各手段は、ＣＰＵ、入出力装置、記憶装置を有するコンピュータに、コンピュータプログラムを実行させ、または記憶装置にデータを記憶させることで構成できる。
【００３４】
モデル設定手段１０は、画像合成装置１（計算機）内の空間座標に、立体モデルＯＢ、投影面ＰＬ、基準視点Ｏ、光源Ｌの位置やモデルの位置、姿勢を設定する手段である。具体的には、これらを画像合成装置１に入力するための入力インタフェースに相当する。この各値は、ＣＧの合成対象となる背景などの実写画像（映像）をカメラで撮影した際の状況に合わせて設定される。例えば、地面に対するカメラのチルト角や、カメラに対する光源Ｌの位置などを設定する。
【００３５】
ここで、立体モデルＯＢは、三次元ＣＡＤなどにより生成され、若しくは実測に基づいて生成した計算機上のモデルであり、画像合成装置１の外部から入力し、若しくは画像合成装置１が有する記憶装置から読み出して設定する。
【００３６】
投影面ＰＬは、計算上の空間内で立体モデルＯＢを投影する面である。投影面ＰＬと基準視点Ｏの関係は、すべての視線が投影面ＰＬを通過するように設定する。また、投影面ＰＬ上に設定する投影画素ＰＰは、撮影画素ごとに生成される視線が通過する位置に設定する。また、投影画素ＰＰのフレームは、カメラの画角に合った画像フレームとなるように設定する。
【００３７】
基準視点Ｏは、投影面ＰＬに立体モデルＯＢを投影するための始点となる位置であり、その位置から各投影画素ＰＰに向かって追跡視線ＬＣを伸ばし、立体モデルＯＢの色を取得するのに使用される。なお、後記するように、追跡視線ＬＣの始点は、正確には基準視点Ｏと同一ではなく、変位量ＶＤ分だけ変位した位置の変位視点ＯＰとなる。また、請求項１及び請求項６にいう視点は、基準視点Ｏ及び変位視点ＯＰを含む。
【００３８】
光源Ｌは、計算上の空間内の仮想の光源であり、カメラで撮影する時の状況に合わせて設定される。例えば、カメラ撮影が外で行われれば、太陽の位置に合わせて明るさ、色、位置などが決定される。なお、光源Ｌは一つとは限らず、カメラ撮影時の状況に合わせて複数設定しても構わない。
【００３９】
較正テーブル蓄積手段２０は、追跡視線ＬＣを決定するための較正テーブル２１を蓄積する記憶装置である。較正テーブル２１は、図３に示すように、投影面ＰＬ上の座標（画素位置）（ｘ，ｙ）ごとに、変位視点ＯＰの基準視点Ｏからの変位量ＶＤ（ｄｘ，ｄｙ，ｄｚ）、方向ベクトルＶＣ（Ｃｘ，Ｃｙ，Ｃｚ）を対応づけて記憶している。
変位量ＶＤは、基準視点Ｏから変位視点ＯＰまでの三次元ベクトルである。基準視点Ｏは、任意の固定点であるが、カメラの光学中心に相当する点を基準視点Ｏとするのが簡便でよい。また、変位量ＶＤの終点位置は、カメラに入ってくる光線の延長線上の点であれば、どの点でも構わないが、カメラの入射光線に降ろした垂線の足に相当する点にすると簡便である。
方向ベクトルＶＣは、変位視点ＯＰから、投影画素ＰＰに向かうベクトルである。
すなわち、基準視点Ｏ、変位量ＶＤ、及び方向ベクトルＶＣにより、追跡視線ＬＣを特定することができる。
【００４０】
追跡視線算出手段３０は、前記した較正テーブル蓄積手段２０（較正テーブル２１）から、投影画素ＰＰの位置に応じた変位量ＶＤと方向ベクトルＶＣを読み出して、追跡視線ＬＣを算出する手段である。具体的には、基準視点Ｏの座標に変位量ＶＤの値を足して変位視点ＯＰの座標を計算し、変位視点ＯＰの座標と、方向ベクトルＶＣから追跡視線ＬＣの式を求めればよい。
【００４１】
二次元画像生成手段４０は、追跡視線算出手段３０が算出した追跡視線ＬＣに基づき、立体モデルＯＢの色を取得し、投影画素ＰＰの色を決定する手段である。具体的には、追跡視線ＬＣを変位視点ＯＰから立体モデルＯＢに向かって追跡し、例えば立体モデルＯＢの表面の色や反射率を取得し、光源Ｌまで追跡して、投影画素ＰＰの色を含むモデル情報（明るさ、色合い、基準視点Ｏからの距離など）を決定する。なお、立体モデルＯＢが透明体の場合には、立体モデルＯＢの内部まで追跡して色を決定する。また、前記基準視点Ｏからの距離は、実写画像への合成の際に必要になることがあるので、これを付加して記憶しておくのが望ましい。
そして、すべての投影画素ＰＰについて色を決定することで、二次元画像を投影面ＰＬ上に生成する。
【００４２】
画像合成手段５０は、二次元画像生成手段４０が生成した二次元画像と実写画像を合成する手段である。実写画像は、適宜な入力手段により、画像合成装置１の外部から入力しても良いし、画像合成装置１が有する記憶装置内から読み込んでも良い。画像の合成は、基本的に、実写画像の上に基準視点Ｏからの距離に応じて二次元画像を重ねることで生成される。つまり、実写画像の中で、立体モデルＯＢが実写画像内の構成物より近くに写っている画素の色を二次元画像の色で置き換えればよい。
なお画像フレームの大きさを合わせていなかった場合には、両者の画像フレームを合わせた上で重ね合わせを行う。
【００４３】
次に、図４のフローチャートを参照しながら実施形態に係る画像合成装置１（レンダリング装置１´）の動作について説明する。
画像合成装置１に、まずモデル設定手段１０により、立体モデルＯＢ、投影面ＰＬ、投影画素ＰＰ及びそのフレーム、基準視点Ｏ、光源Ｌを設定する（ステップＳ１）。すなわち、立体モデルＯＢのデータや、その計算上の空間内の位置を設定し、基準視点Ｏをカメラ撮影時のカメラの位置に、そして、投影面ＰＬ、投影画素ＰＰを撮像面の位置に、光源Ｌや、基準視点Ｏ、投影面ＰＬ、投影画素ＰＰの位置関係をカメラ撮影時に合わせて設定する。
そして、較正テーブル２１を参照して、投影画素ＰＰに対応する変位量ＶＤ及び方向ベクトルＶＣを取得する（ステップＳ２）。
次に、追跡視線算出手段３０が、変位量ＶＤ及び方向ベクトルＶＣに基づいて、追跡視線ＬＣを算出する（ステップＳ３）。
追跡視線ＬＣを算出したら、二次元画像生成手段４０が、変位視点ＯＰから追跡視線ＬＣに沿って立体モデルＯＢの属性（例えば、表面・内部の色や、反射率、透明度等）、光源Ｌを追跡して（ステップＳ４）、投影画素ＰＰの色を決定する（ステップＳ５）。
そして、すべての投影画素ＰＰについて色を決定していなければ（ステップＳ６，Ｎｏ）、ステップＳ２〜ステップＳ５を繰り返し、すべての投影画素ＰＰについて色を決定したならば（ステップＳ６，Ｙｅｓ）、二次元画像が完成する（ステップＳ７）。
最後に、実写画像に完成した二次元画像を重ね合わせれば（ステップＳ８）、合成画像が完成する。
【００４４】
以上のような実施形態の画像合成装置１（レンダリング装置１´）によれば、実写画像を撮影したカメラの入射光線と同じ追跡視線で立体モデルを投影面に投影できる。そのため、投影面で生成した二次元画像を実写画像に重ねて合成画像を作成すると、実写画像上の正確な位置、向きで二次元画像（ＣＧ）が合成される。そのため、この画像合成装置１（レンダリング装置１´）を使用してＣＧと実写画像を合成し、各コマを生成すれば、実写映像とＣＧ映像が自然に融合した映像を容易に作ることができる。
【００４５】
【発明の効果】
以上説明したとおり、本発明に係る画像合成方法、画像合成装置、または画像合成プログラムによれば、カメラの非ピンホール性を考慮して、光学中心と実際にカメラのレンズ系に入射する光のズレを補正し、実写画像とＣＧ画像を自然に融合した画像を得ることができる。
また、本発明に係るレンダリング方法、レンダリング装置、またはレンダリングプログラムによれば、実写画像と合成するための二次元画像を容易かつ正確に生成することができる。
【図面の簡単な説明】
【図１】実施形態に係る画像合成装置の構成を示すブロック図である。
【図２】実施形態に係る画像合成装置で使用されるレンダリング方法を説明する図である。
【図３】較正テーブルの一例を示す図である。
【図４】実施形態に係る画像合成装置の処理を示すフローチャートである。
【図５】一般的なレイトレーシング法の概念を説明する図である。
【図６】ピンホールカメラモデルの概念を説明する図である。
【図７】レンズ系を有するカメラの模式図である。
【図８】キャリブレーションデータの内容を説明する図である。
【図９】キャリブレーションデータの生成方法を説明する図である。
【符号の説明】
１      画像合成装置
１´    レンダリング装置
１０    モデル設定手段
２０    較正テーブル蓄積手段
２１    較正テーブル
３０    追跡視線算出手段
４０    二次元画像生成手段
５０    画像合成手段
【図１】
2004318612.tif 000003
【図２】
2004318612.tif 000004
【図３】
2004318612.tif 000005
【図４】
2004318612.tif 000006
【図５】
2004318612.tif 000007
【図６】
2004318612.tif 000008
【図７】
2004318612.tif 000009
【図８】
2004318612.tif 000010
【図９】
2004318612.tif 000011