(57)【要約】【課題】  実際に撮影された立体画像と仮想空間上に配置された仮想空間画像とを、利用者が容易かつ違和感無く融合し、高品位な立体写真を得ることができる立体写真プリントシステム等を提供する。【解決手段】  実写画像の被写体までの奥行き情報から三次元モデルの移動可能な範囲を決定する仮想空間構築手段と、前記で決定された範囲内で三次元モデルの移動、回転、拡大、縮小等を行う操作手段と、三次元モデルから生成された仮想空間画像を前記操作手段で決定した位置等において実写画像と合成する多視点画像シーケンス生成手段と、前記で合成された合成多視点シーケンス画像を三次元画像に統合する三次元画像統合手段と、を有することを特徴とする画像合成装置を提供する。【選択図】  図１
2005165614.tif 000002
【特許請求の範囲】
【請求項１】
実写画像と仮想空間上に配置された三次元モデル画像から生成された仮想空間画像とを合成して立体写真を生成する画像合成装置であって、
被写体までの奥行き情報から仮想空間と三次元モデルの移動可能な範囲を決定する仮想空間構築手段と、
前記三次元モデルを前記仮想空間構築手段によって決定された範囲内で少なくとも移動、回転、拡大、縮小の何れかを行う三次元モデル操作手段と、
前記三次元モデル操作手段で決定した仮想空間内に配置された三次元モデルから生成された仮想空間画像と実写画像を合成して合成多視点画像シーケンスを生成する多視点画像シーケンス生成手段と、
前記多視点画像シーケンス生成手段で生成された合成多視点シーケンス画像を三次元画像に統合する三次元画像統合手段と、
を有することを特徴とする画像合成装置。
【請求項２】
前記多視点画像シーケンス生成手段は、実写多視点画像と仮想空間多視点画像それぞれを生成してから合成することを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記多視点画像シーケンス生成手段は、仮想空間多視点画像を生成する際に、奥行き情報を参照し、奥行き情報からある画素が三次元モデルを描画しているか否かを判定し、三次元モデルを描画していると判定した場合は仮想空間多視点画像の該画素と同一画素情報を用い、三次元モデルを描画していないと判断した場合は実写多視点画像の該画素と同一画素情報を用いて合成画像を生成することを特徴とする請求項１記載の画像合成装置。
【請求項４】
前記多視点画像シーケンス生成手段は、仮想空間多視点画像を生成する際に、奥行き情報を参照し、奥行き情報からある画素が三次元モデルを描画しているか否かを判定し、三次元モデルを描画していると判定した場合は仮想空間多視点画像の該画素と同一画素情報を用い、三次元モデルを描画していないと判断した場合は立体画像情報より該画素と同一画素情報を生成し、合成画像を生成することを特徴とする請求項１または請求項３記載の画像合成装置。
【請求項５】
前記多視点画像シーケンス生成手段において、実写多視点画像と仮想空間多視点画像シーケンスは同一の視点順序で多視点画像を生成し合成することを特徴とする請求項１または請求項２または請求項３または請求項４記載の画像合成装置。
【請求項６】
前記三次元モデル移動手段において、前記仮想空間構築手段において決定した三次元モデルの移動範囲に接したり超えたりした場合、その旨を操作者に呈示することを特徴とする請求項１記載の画像合成装置。
【請求項７】
複数の撮影位置で撮影されたあるいは生成された実写多視点画像シーケンスと仮想空間上に配置された三次元モデルから生成された仮想空間画像とを合成して立体写真を作成する画像合成装置において、
立体画像観察パラメータから仮想空間画像を生成するための仮想空間画像生成パラメータ決定手段と、
前記仮想空間画像生成パラメータ決定手段によって決定されたパラメータに基づいて仮想空間多視点画像シーケンスを生成する仮想空間多視点画像シーケンス生成手段と、
前記仮想空間多視点画像シーケンス生成手段で生成されたと仮想空間多視点画像シーケンスと前記多視点画像シーケンスとを合成する画像合成手段と、
前記実写仮想空間画像合成手段によって合成された合成画像を三次元画像として統合する三次元画像統合手段と、
を有することを特徴とする画像合成装置。
【請求項８】
前記仮想空間画像生成パラメータ決定手段において、仮想空間の三次元モデルを実空間の手前側に配置することを特徴とする請求項７記載の画像合成装置。
【請求項９】
前記仮想空間画像生成パラメータ決定手段において、仮想空間に配置された三次元モデルの最近距離と最遠距離を再現する仮想空間領域としてパラメータを決定することを特徴とする請求項７記載の画像合成装置。
【請求項１０】
実写画像と仮想空間上に配置された三次元モデル画像から生成された仮想空間画像とを合成して立体写真を生成する画像合成方法であって、
被写体までの奥行き情報から仮想空間と三次元モデルの移動可能な範囲を決定する仮想空間構築工程と、
前記三次元モデルを前記仮想空間構築手段によって決定された範囲内で少なくとも移動、回転、拡大、縮小の何れかを行う三次元モデル操作工程と、
前記三次元モデル操作工程で決定した仮想空間内に配置された三次元モデルから生成された仮想空間画像と実写画像を合成して合成多視点画像シーケンスを生成する多視点画像シーケンス生成工程と、
前記多視点画像シーケンス生成手段で生成された合成多視点シーケンス画像を三次元画像に統合する三次元画像統合工程と、
を有することを特徴とする画像合成方法。
【請求項１１】
前記多視点画像シーケンス生成工程は、実写多視点画像と仮想空間多視点画像それぞれを生成してから合成することを特徴とする請求項１０記載の画像合成方法。
【請求項１２】
前記多視点画像シーケンス生成工程は、仮想空間多視点画像を生成する際に、奥行き情報を参照し、奥行き情報からある画素が三次元モデルを描画しているか否かを判定し、三次元モデルを描画していると判定した場合は仮想空間多視点画像の該画素と同一画素情報を用い、三次元モデルを描画していないと判断した場合は実写多視点画像の該画素と同一画素情報を用いて合成画像を生成することを特徴とする請求項１０記載の画像合成方法。
【請求項１３】
前記多視点画像シーケンス生成工程は、仮想空間多視点画像を生成する際に、奥行き情報を参照し、奥行き情報からある画素が三次元モデルを描画しているか否かを判定し、三次元モデルを描画していると判定した場合は仮想空間多視点画像の該画素と同一画素情報を用い、三次元モデルを描画していないと判断した場合は立体画像情報より該画素と同一画素情報を生成し、合成画像を生成することを特徴とする請求項１０または請求項１２記載の画像合成方法。
【請求項１４】
前記多視点画像シーケンス生成工程は、実写多視点画像と仮想空間多視点画像シーケンスは同一の撮影視点順序で多視点画像を生成し合成することを特徴とする請求項１０または請求項１１または請求項１２または請求項１３記載の画像合成方法。
【請求項１５】
前記三次元モデル移動工程は、前記仮想空間構築工程において決定した三次元モデルの移動範囲に接したり超えたりした場合、その旨を操作者に呈示することを特徴とする請求項１０記載の画像合成方法。
【請求項１６】
複数の撮影位置で撮影されたあるいは生成された実写多視点画像シーケンスと仮想空間上に配置された三次元モデルから生成された仮想空間画像とを合成して立体写真を作成する画像合成方法において、
立体画像観察パラメータから仮想空間画像を生成するための仮想空間画像生成パラメータ決定工程と、
前記仮想空間画像生成パラメータ決定工程によって決定されたパラメータに基づいて仮想空間多視点画像シーケンスを生成する仮想空間多視点画像シーケンス生成工程と、
前記仮想空間多視点画像シーケンス生成工程で生成されたと仮想空間多視点画像シーケンスと前記多視点画像シーケンスとを合成する画像合成工程と、
前記実写仮想空間画像合成工程によって合成された合成画像を三次元画像として統合する三次元画像統合工程と、
を有することを特徴とする画像合成方法。
【請求項１７】
前記仮想空間画像生成パラメータ決定工程において、仮想空間の三次元モデルを実空間の手前側に配置することを特徴とする請求項１６記載の画像合成方法。
【請求項１８】
前記仮想空間画像生成パラメータ決定工程において、仮想空間に配置された三次元モデルの最近距離と最遠距離を再現する仮想空間領域としてパラメータを決定することを特徴とする請求項１７記載の画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像形成に利用される画像合成装置及び画像合成方法に関する。
【背景技術】
【０００２】
従来、被写体撮影を用意にでき、且つ、高品質な立体画像を容易に得ることが可能で、立体画像をレンチキュラー板等の光学部材を重ね合わせることにより、良好な被写体立体像を観察することができる立体写真プリントシステムが特開２００１−３４６２２６に開示されている。この提案では、ステレオアダプタを装着したカメラから複数の視点位置のステレオ画像を入力し、そのステレオ画像から被写体の奥行き分布を示す視差マップを抽出する視差マップ抽出手段と、前記ステレオ画像と前記視差マップとに基づいて、複数視点から被写体の多視点画像シーケンスを生成する多視点画像シーケンス生成手段と、前記多視点画像シーケンスに基づいて三次元画像を合成する三次元画像合成手段とを備えた画像処理装置で、撮影したステレオ画像から多視点画像を自動的に生成することができるため、高品位な立体画像を得ることが出来る。以下、この提案内容の概略を説明する。
【０００３】
図９は、特開２００１−３４６２２６に記載の立体写真プリントシステムの構成を表すブロック図である。９０１、９０２、９０３はそれぞれ被写体、ステレオアダプタ、カメラである。ステレオアダプタ９０２を装着したカメラ９０３の一例を図１０に示す。同図中の９０１、９０２、９０３は図９と同様の被写体、ステレオアダプタ、カメラである。１００２はカメラの撮影レンズ、１００３は撮影面、１００４はプリズム、１００５、１００６はミラーである。また、ｏは撮影レンズ１００２のレンズ中心、ｌは撮影レンズ１００２の光軸、ｍ、ｎはそれぞれ撮影面１００３で左眼用画面、右眼用画面の中心を通る光束の主光線である。図に示すように、撮影レンズの光軸ｌを中心に左右対称である。
【０００４】
次に、図１１を用いて、特開２００１−３４６２２６に記載の処理の流れを説明する。
【０００５】
まず、ステップＳ１１０１ではステレオ画像を処理プログラムで扱えるデータにするため、画像処理装置であるＰＣのメモリに取り込む。この時、ステレオ画像のファイルの指示は不図示のキーボードやマウス等の入力装置により行い、指定されたファイルをプログラムに読み込む。
【０００６】
次に、ステップＳ１１０２ではステレオ画像の撮影時に発生した台形歪を補正する。まず、取得された画像をステレオ画像左右画像データに分割する。即ち、ステレオ画像データのＲＧＢ各チャンネルの画像が幅、高さがＭ×Ｎ画素の２次元配列である場合、画像中心を通る垂直ラインを境界として、それぞれ幅、高さＭ／２×Ｎの画像データに分割する。そして、カメラおよびアダプタの撮影パラメータに従い、左右それぞれの画像データの画面中心を中心として、台形歪補正後の仮想的な撮影面が互いに平行に成るように、左右同じ角度だけ反対方向に台形歪補正を行う。台形歪補正処理は、よく知られた画像の３次元の回転行列による幾何学変換である。
【０００７】
次に、ステップＳ１１０３では、それぞれ補正された左右画像データから所定サイズの左右ステレオ像対を取得する。まず、左右画像データの位置ずれ量を求める。これは左右画像データの被写体の同一部分が撮影されていることが望ましいが、撮影時のカメラと被写体との距離やその奥行き方向の分布に応じて水平方向のずれ量が異なるため、台形歪補正された各々の画像データでの画像位置の調整が必要であることから行う。また、ステップＳ１１０２の台形歪補正処理は、所定のカメラおよびアダプタの撮影パラメータに従って行っているため、カメラとアダプタの装着状態やアダプタの各構成要素とのずれなどの影響により完全に平行視の状態の左右画像が得られない可能性があるので、垂直方向の調整も必要であることから実施する。
【０００８】
ステップＳ１１０４では、取得したステレオ画像対の画像間で同一な被写体部分を点対点の対応として表す対応点を抽出する。対応点の抽出は各点に対しテンプレートマッチングを適用して行う。
【０００９】
次に、ステップＳ１１０５では、対応点から視差マップを抽出する。ここで、視差マップはステレオ画像対の左画像を基準画像とし、その左画像の各画素に対して、右画像の対応点位置との水平方向の位置ずれ（視差）を表すものである。対応点抽出により、その水平位置の差から直接求められる画素もあるが、未対応の点や、元々対応点の探索を行わなかった点に対しても視差を補間により求める。このように、全画素について視差が求まったものを視差マップとする。
【００１０】
次に、ステップＳ１１０７では上記の視差マップを用いて多視点画像シーケンスの生成を行う。ここで生成する画像は、三次元ストライプ画像を構成する多視点画像であり、それぞれの画像サイズは画像数と印刷する解像度及び大きさに依存する。
【００１１】
生成する画像は、左画像と視差マップを用いて変形することにより生成する。生成する画像の視点位置は、所定の視差量が発生するように決定する。また、各視点が左画像の視点位置を中心として等間隔且つ対称に並ぶように視点位置を決める。これは、画像シーケンスの視点位置が等間隔に並ぶことで安定した立体像を観察するためと、左画像の視点位置を中心として視点位置を対称に並べることによって画像の変形量を最小に抑え、被写体や撮影条件により視差マップに誤差が生じても安定して高品位な立体像を得るためである。
【００１２】
ステップＳ１１０６で求めた視差マップから、撮影位置から最も近い被写体位置に相当する視差と最も遠い被写体位置に相当する視差を求める。そして、最も近い被写体が所定の観察位置において、観察時の印刷面から所定の距離だけ手前に観察され、最も遠い被写体が印刷面から所定の距離だけ奥に観察されるように視点位置を決める。
【００１３】
次に、各視点画像を生成する方法について説明する。
【００１４】
まず、新規視点画像の生成を左画像の画素を用いてフォワードマッピングにより生成する。即ち、まず、左画像の各画素をマッピングする新規視点画像中の位置（ｘＮ，ｙＮ）を左画像の画素位置（ｘ、ｙ）での視差ｄ、視点位置を表す比率ｒ、左画像のサイズと新規視点画像サイズにより、式（１）より求める。
【００１５】
ｘＮ＝Ｈ／ｈ×（ｘ＋ｒ×（ｄ−ｓｈ））、ｙＮ＝ｙ  ---- （１）
そして、左画像の画素位置（ｘ、ｙ）での画素を新規視点画像の（ｘＮ，ｙＮ）の位置にコピーする。この処理を左画像の全画素について繰り返す。次に、新規視点画像の画素のうち、左画像から画素が割り当てられなかった画素に対して穴埋め処理を行う。この穴埋め処理は、求める画素から所定距離だけ離れた有効な画素を探索し、その画素値の距離をパラメータとして加重平均値を割り当てる。有効な画素が存在しないときは、探索する範囲を拡げて探索を繰り返す。
【００１６】
以上の処理で全画素有効な新規視点画像が生成される。この処理を視点数分繰り返して多視点画像シーケンスとする。
【００１７】
次に、ステップＳ１１０８では、多視点画像シーケンスから三次元ストライプ画像を合成する。この時、多視点画像シーケンスの各画像の同一座標画素を画像の視点配列に従い隣接画素として配列するように三次元画像を合成する。ｊ番目視点の画素値をＰｊｍｎ（ただし、ｍ、ｎはそれぞれ水平、垂直方向の画素配列のインデックス）としたとき、ｊ番目の画像データは以下のような２次元配列として表される。
【００１８】
Ｐｊ００Ｐｊ１０Ｐｊ２０・・・・
Ｐｊ０１Ｐｊ１１Ｐｊ２１・・・・
Ｐｊ０２Ｐｊ１２Ｐｊ２２・・・・
合成は、それぞれの視点の画像を垂直方向に１ライン毎に短冊状に分解し、視点位置の逆順の視点数分だけ合成する。したがって、合成後の画像は以下に示すようなストライプ画像となる。
【００１９】
ＰＮ００・・Ｐ２００Ｐ１００ＰＮ１０・・Ｐ２１０Ｐ１１０ＰＮ２０・・Ｐ２２０Ｐ１２０・・
ＰＮ０１・・Ｐ２０１Ｐ１０１ＰＮ１１・・Ｐ２１１Ｐ１１１ＰＮ２１・・Ｐ２２１Ｐ１２１・・
ＰＮ０２・・Ｐ２０２Ｐ１０２ＰＮ１２・・Ｐ２１２Ｐ１１２ＰＮ２２・・Ｐ２２２Ｐ１２２・・
但し、視点１が左端、Ｎが右端の画像を表す。ここで、視点位置の配列順を逆にするのはレンチキュラー板により観察する際、レンチキュラー１ピッチ内で画像が左右逆に観察されるためである。この三次元ストライプ画像は、元の多視点画像がＨ×ｖのサイズのＮ視点画像である場合、Ｘ（＝Ｎ×Ｈ）×ｖのサイズとなる。
【００２０】
次に、この三次元ストライプ画像に対して、レンチキュラー板とピッチを合せる。１ピッチにＲＰｄｐｉの画素がＮ画素分存在するので、１ピッチＮ／ＲＰｉｎｃｈとなるが、レンチキュラー板のピッチがＲＬｉｎｃｈであるので、画像を水平方向にＲＬ×ＲＰ／Ｎ倍してピッチを合せる。また、垂直方向の画素数は、そのとき（ＲＬ×ＲＰ／Ｎ）×Ｙ画素となる必要があるので、垂直方向に（ＲＬ×ＲＰ×Ｙ）／（Ｎ×ｖ）倍にして倍率を合せる。従って、三次元ストライプ画像に以上のような水平・垂直方向の変倍処理を行い印刷用の画像データとする。
【００２１】
次に、ステップＳ１１０９では、ステップＳ１１０９の出力画像に対して印刷を行う。
【００２２】
以上、ステップＳ１１０１〜ステップＳ１１０９の処理により、印刷した画像にレンチキュラー板を重ね合わせること良好な立体像を観察することが可能となる。
【００２３】
一方、コンピュータグラフィックス（以下、ＣＧと略す）技術の進展により、仮想空間内に配置された幾何情報および表面属性情報から構成される三次元モデルの複数の仮想視点位置からの仮想空間画像を生成し、それらの複数の仮想空間画像から三次元画像を生成し印刷する技術として、米国特許：５７６４２３１に開示されている技術がある。この技術は、実際に撮影された実写画像を利用せず、コンピュータ上で生成した複数の視点位置の仮想画像のみで立体写真を生成する方法で、実写画像を用いて立体写真を生成するよりもＣＧを用いたほうが安定した立体写真を得ることが可能であるとしている。
【発明の開示】
【発明が解決しようとする課題】
【００２４】
以上、述べてきたように、実際に撮影された実写画像あるいはＣＧで生成・表現された仮想空間画像のそれぞれから立体写真を得るシステムが提案されている。しかし、昨今の技術進展により、デジタルカメラやスキャナ、デジタルビデオに代表されるように、容易にデジタル画像を取得する装置が一般的に利用されており、ＣＧに関しても、一般的なパーソナルコンピュータやゲーム機器上で高品位な仮想空間画像が生成・表示可能なようになってきている。しかし、仮想空間で生成できる三次元モデルの種類には限りがあり、また、実在する全てのものをＣＧで取り扱えるよう三次元モデル化することは事実上不可能である。このような背景から、立体的に実写画像に仮想空間画像を簡便に合成することでより写実性・娯楽性の高い画像を生成したいという要求があったが、利用者が容易にかつ高品位に合成することができる画像合成装置は未だ実現されていなかった。
【００２５】
本発明は、上記問題点に鑑み、実際に撮影された立体画像と仮想空間上に配置された三次元モデルから生成された仮想空間画像とを、利用者が容易かつ三次元的に違和感無く融合し、高品位な立体写真を得ることができる立体写真プリントシステム等を提供することを目的とする。
【課題を解決するための手段】
【００２６】
上記目的を達するために、請求項１に記載の画像合成装置では、被写体までの奥行き情報から仮想空間と三次元モデルの移動可能な範囲を決定する仮想空間構築手段と、三次元モデルを前記仮想空間構築手段によって決定された範囲内を移動する三次元モデル移動手段と、前記三次元モデルを前記仮想空間構築手段によって決定された範囲内で少なくとも移動・回転・拡大・縮小の何れかを行う三次元モデル操作手段と、前記三次元モデル操作手段で決定した仮想空間内に配置された三次元モデルから生成された仮想空間画像と実写画像を合成して合成多視点画像シーケンスを生成する多視点画像シーケンス生成手段と、前記多視点画像シーケンス生成手段で生成された合成多視点シーケンス画像を三次元画像に統合する三次元画像統合手段とを有することを特徴とする。
【００２７】
請求項２に記載の発明に係る画像合成装置では、請求項１記載の画像合成装置において、前記多視点画像シーケンス生成手段は、実写多視点画像と仮想空間多視点画像それぞれを生成してから合成することを特徴とする。
【００２８】
請求項３に記載の発明に係る画像合成装置では、請求項１記載の画像合成装置において、前記仮想空間多視点画像を生成する際に、奥行き情報を参照し、奥行き情報からある画素が三次元モデルを描画しているか否かを判定し、三次元モデルを描画していると判定した場合は仮想空間多視点画像の該画素と同一画素情報を用い、三次元モデルを描画していないと判断した場合は実写多視点画像の該画素と同一画素情報を用いて合成画像を生成することを特徴とする。
【００２９】
請求項４に記載の発明に係る画像合成装置では、請求項１または請求項３記載の画像合成装置において、前記多視点画像シーケンス生成手段は、仮想空間多視点画像を生成する際に、奥行き情報を参照し、奥行き情報からある画素が三次元モデルを描画しているか否かを判定し、三次元モデルを描画していると判定した場合は仮想空間多視点画像の該画素と同一画素情報を用い、三次元モデルを描画していないと判断した場合は立体画像情報より該画素と同一画素情報を生成し、合成画像を生成することを特徴とする。
【００３０】
請求項５に記載の発明に係る画像合成装置では、請求項１または請求項２または請求項３または請求項４記載の画像合成装置において、前記多視点画像シーケンス生成手段において、実写多視点画像と仮想空間多視点画像シーケンスは同一の撮影視点順序で多視点画像を生成し合成することを特徴とする。
【００３１】
請求項６に記載の発明に係る画像合成装置では、請求項１記載の画像合成装置において、前記三次元モデル移動手段において、前記仮想空間構築手段において決定した三次元モデルの移動範囲に接したり超えたりした場合、その旨を操作者に呈示することを特徴とする。
【００３２】
請求項７に記載の発明に係る画像合成装置では、立体画像観察パラメータから仮想空間画像を生成するための仮想空間画像生成パラメータ決定手段と、前記仮想空間画像生成パラメータ決定手段によって決定されたパラメータに基づいて仮想空間多視点画像シーケンスを生成する仮想空間多視点画像シーケンス生成手段と、前記仮想空間多視点画像シーケンス生成手段で生成されたと仮想空間多視点画像シーケンスと前記多視点画像シーケンスとを合成する画像合成手段と、前記実写仮想空間画像合成手段によって合成された合成画像を三次元画像として統合する三次元画像統合手段とを有することを特徴とする。
【００３３】
請求項８に記載の発明に係る画像合成装置では、請求項７記載の画像合成装置において、前記仮想空間画像生成パラメータ決定手段において、仮想空間の三次元モデルを実空間の手前側に配置することを特徴とする。
【００３４】
請求項９に記載の発明に係る画像合成装置では、請求項７記載の画像合成装置において、前記仮想空間画像生成パラメータ決定手段において、仮想空間に配置された三次元モデルの最近距離と最遠距離を再現する仮想空間領域としてパラメータを決定することを特徴とする。
【００３５】
請求項１０に記載の発明に係る画像処理方法では、被写体までの奥行き情報から仮想空間と三次元モデルの移動可能な範囲を決定する仮想空間構築工程と、三次元モデルを前記仮想空間構築工程によって決定された範囲内を移動する三次元モデル移動工程と、前記三次元モデルを前記仮想空間構築工程によって決定された範囲内で少なくとも移動・回転・拡大・縮小の何れかを行う三次元モデル操作工程と、前記三次元モデル操作工程で決定した仮想空間内に配置された三次元モデルから生成された仮想空間画像と実写画像を合成して合成多視点画像シーケンスを生成する多視点画像シーケンス生成工程と、前記多視点画像シーケンス生成工程で生成された合成多視点シーケンス画像を三次元画像に統合する三次元画像統合工程とを有することを特徴とする。
【００３６】
請求項１１に記載の発明に係る画像処理方法では、請求項１０記載の画像処理方法において、前記多視点画像シーケンス生成工程は、実写多視点画像と仮想空間多視点画像それぞれを生成してから合成することを特徴とする。
【００３７】
請求項１２に記載の発明に係る画像処理方法では、請求項１０記載の画像処理方法において、前記多視点画像シーケンス生成工程は、仮想空間多視点画像を生成する際に、作成する奥行き情報を参照し、奥行き情報からその画素が三次元モデルか否かを判定し、三次元モデルの場合は仮想空間多視点画像を用い、三次元モデルで無い場合は実写多視点画像を用いて合成画像を生成することを特徴とする。
【００３８】
請求項１３に記載の発明に係る画像処理方法では、請求項１０または請求項１２記載の画像処理方法において、前記多視点画像シーケンス生成工程は、仮想空間多視点画像を生成する際に作成する奥行き情報を参照し、算出したい画素と同一座標の奥行き情報が三次元モデルか否かを判定し、三次元モデルの場合は仮想空間多視点画像を利用し、該画素が三次元モデルで無い場合は立体画像情報より該画素を生成し合成画像を生成することを特徴とする。
【００３９】
請求項１４に記載の発明に係る画像処理方法では、請求項１０または請求項１１または請求項１２または請求項１３記載の画像処理方法において、前記多視点画像シーケンス生成工程は、実写多視点画像と仮想空間多視点画像シーケンスは同一の撮影視点順序で多視点画像を生成し合成することを特徴とする。
【００４０】
請求項１５に記載の発明に係る画像処理方法では、請求項１０記載の画像処理方法において、前記三次元モデル移動工程は、前記仮想空間構築工程において決定した三次元モデルの移動範囲に接したり超えたりした場合、その旨を操作者に呈示することを特徴とする。
【００４１】
請求項１６に記載の発明に係る画像処理方法では、立体画像観察パラメータから仮想空間画像を生成するための仮想空間画像生成パラメータ決定工程と、前記仮想空間画像生成パラメータ決定工程によって決定されたパラメータに基づいて仮想空間多視点画像シーケンスを生成する仮想空間多視点画像シーケンス生成工程と、前記仮想空間多視点画像シーケンス生成工程で生成されたと仮想空間多視点画像シーケンスと前記多視点画像シーケンスとを合成する画像合成工程と、前記実写仮想空間画像合成工程によって合成された合成画像を三次元画像として統合する三次元画像統合工程とを有することを特徴とする。
【００４２】
請求項１７に記載の発明に係る画像処理方法では、請求項１６に記載の画像処理方法において、前記仮想空間画像生成パラメータ決定工程において、仮想空間の三次元モデルを実空間の手前側に配置することを特徴とする。
【００４３】
請求項１８に記載の発明に係る画像処理方法では、請求項１６に記載の画像処理方法において、前記仮想空間画像生成パラメータ決定工程において、仮想空間に配置された三次元モデルの最近距離と最遠距離を再現する仮想空間領域としてパラメータを決定することを特徴とする。
【発明の効果】
【００４４】
以上詳説したように、請求項１乃至請求項６記載の発明に係る画像合成装置によれば、実写立体画像と仮想空間上に構成した三次元モデルから生成した仮想画像を立体的に違和感なくかつ容易な三次元画像を合成することが可能となる。
【００４５】
請求項７乃至請求項９記載の画像合成装置によれば、実写画像に整合した仮想空間を構築しない場合においても立体的に違和感なく容易に三次元画像を合成することができる。
【００４６】
請求項１０乃至請求項１５記載の発明に係る画像合成方法によれば、実写立体画像と仮想空間上に構成した三次元モデルから生成した仮想画像を立体的に違和感なくかつ容易な三次元画像を合成することが可能となる。
【００４７】
請求項１６乃至請求項１８記載の画像合成装置によれば、実写画像に整合した仮想空間を構築しない場合においても立体的に違和感なく容易に三次元画像を合成することができる。
【発明を実施するための最良の形態】
【００４８】
（第一の実施例）
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００４９】
図１は、本発明の実施形態に係る画像合成システムの構成を示すブロック図である。１００は立体画像入力装置で、複数の視点位置で撮影されたステレオ画像を入力する装置で、例えば、特開２００１−３４６２２６に記載のカメラにステレオアダプタを装着したもので構成してもよいし、被写体が動かないような場合は左右にスライドする雲台にカメラを取り付けて左右２画像出力してもよい。図２に左右２系統の画像を取得した場合の概略を示す。２０１は被写体で、Ｌ２０２、Ｒ２０３はそれぞれ基線長ｂだけ離れた左右の視点中心であり、焦点距離ｆだけ離れた画像面ＩＬ、ＩＲを本来結像する焦点面とは逆にカメラ前面に模式的に表している。１０３は画像合成装置を示しており、立体画像入力装置１００から複数の視点位置から撮影されたステレオ画像と、仮想空間上に配置された三次元モデルから生成された仮想空間画像とを合成し三次元統合画像を生成する装置で、例えば汎用のパーソナルコンピュータにより構成される。１０１は２次元表示装置で、立体画像入力装置１００より入力された画像や画像合成装置１０３で処理あるいは合成された画像を表示するＣＲＴディスプレイ等で構成される。１０５は操作入力装置で、操作者が画像合成装置１０３に操作コマンドを指示したり、２次元表示装置１０１に表示されている三次元モデルを回転・移動・拡大・縮小させたりするポインティングデバイスであるマウスやジョイスティック等で構成される。１０４は印刷装置であり、画像合成装置１０３で生成・表示されている画像データ等を印刷するように構成されている。なお、立体画像入力装置１００、印刷装置１０４、操作入力装置１０５と画像合成装置との接続はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインターフェースを用いることにより行われている。
【００５０】
次に画像合成装置１０３内の内部ブロック図の構成を説明する。
【００５１】
１０３１は立体画像入力装置１００から入力されたステレオ画像から視差マップ等を生成する回路で構成される。１０３２は仮想空間画像生成部で、仮想空間内に配置された三次元モデルから生成した画像と立体画像入力装置１００から入力され、後段で説明する立体画像情報生成部１０３１で設定された基準画像とを合成し、２次元表示装置１０１に合成画像を表示する回路で構成される。１０３３は三次元モデル記憶部で、幾何形状情報と表面属性情報あるいは表面用のテクスチャ画像情報などを記憶しておく補助記憶装置で構成される。１０３５は仮想空間構築で、立体画像情報生成部１０３１からの視差マップ等のパラメータを用いて仮想空間を構築する回路で構成される。１０３６は三次元モデル操作部で、操作者からの三次元モデルに対する操作を入力する操作入力部１０５から入力された情報を実際の仮想空間における三次元モデルへの移動・回転・拡大・縮小などの操作量に変換し、所定の操作範囲を超えた際には操作者にその旨を呈示したりなどを行う回路で構成される。１０３４は多視点画像シーケンス生成部で、後述するように立体画像入力装置１００から入力されたステレオ画像を利用して実写多視点画像シーケンスを生成し、また、仮想空間多視点画像シーケンスを生成する回路で構成される。１０３７は三次元画像合成部で、多視点画像シーケンス生成部で生成された実写多視点画像シーケンスと仮想空間多視点画像シーケンスを三次元画像として合成する回路から構成されている。
【００５２】
次に図３を用いて、本実施形態における画像合成装置１０３における処理プログラムの流れを詳細に説明する。
【００５３】
Ｓ３０１は立体画像情報生成ステップで、立体画像入力装置１００で入力したステレオ画像と撮影した際のカメラパラメータ（視点間の基線長や焦点距離等）を入力し、被写体までの奥行き分布を表す視差マップを生成する。この際にステレオ画像のうち左画像を基準画像として決定する。右画像を基準画像としても問題ないが、その際、視差マップの視差を算出する基準画像を右画像として再計算する必要がある。立体画像情報生成ステップＳ３０１は、特開２００１−３４６２２６に記載の手法で構成される。
【００５４】
Ｓ３０２は仮想空間構築ステップで、立体画像情報生成ステップＳ３０１で生成された視差マップおよびステレオカメラからカメラパラメータから仮想空間を構築する。構築される仮想空間の例を図４（ａ）に示す。４０１は被写体を表しており、４０２は仮想空間内の仮想カメラ中心を表している。立体画像入力装置から入力したカメラパラメータと、立体画像情報生成部１０１で算出した視差マップより、最大／最小距離を算出する。最大視差ｄｍａｘまでの距離をＺｎｒ、最小視差ｄｍｉｎまでの距離をＺｆｒとして、視差とカメラ基線長の関係より式（２）で算出する。
【００５５】
Ｚｎｒ＝ｂ・ｆ／ｄｍａｘ       、    Ｚｆｒ＝ｂ・ｆ／ｄｍｉｎ ---- （２）
次に仮想カメラに対し透視投影を行う領域を立体画像情報生成部１０１で決定した基準画像の縦横比Ａ＝Ｗ／Ｈに一致させる。ここで、Ｗ、Ｈは実際に立体画像情報生成部の基準画像の横画素数、縦画素数を表す。この時、仮想カメラへの透視投影中心４０２と透視投影領域で張られる四角錐を最遠距離Ｚｆｒまで延長した空間において、仮想カメラから奥行き方向にＺｎｒ〜Ｚｆｒまでの領域を仮想空間のビューボリューム４０５として構築する。このビューボリューム４０５に配置される三次元モデルが仮想空間画像として描画される。
【００５６】
Ｓ３０３は実写・ＣＧ合成表示ステップで、三次元モデルを仮想空間構築ステップＳ３０２で構築した仮想空間上に配置した画像と、立体画像情報生成ステップＳ３０１の決定された基準画像との合成画像を生成し、２次元表示装置１０１に合成画像を表示する。その合成時の鳥瞰図を図４（ｂ）に示す。これは図４（ａ）にて構築された仮想空間に三次元モデル４０６が配置された様子を示している。このビューモデル内を透視投影して合成した画像を図５に示す。合成画像を生成するには、まず、背景５０１として立体画像情報生成部１０１で基準画像として決定した実写画像を背景として仮想空間上に生成し、その後に三次元モデル５０２、５０３を透視投影していくという順序で画像を生成していく。このことで、２次元画像表示装置１０６に図５に示されるような実写・ＣＧ合成画像が表示される。
【００５７】
Ｓ３０４はＣＧモデルレイアウトステップで、操作入力装置１０５を介して２次元表示装置１０１に表示されている合成画像の三次元モデルを選択し、移動・回転・拡大・縮小などの操作を介して行う。その概要の図５を用いて説明すると、今、複数ある三次元モデルの中で、三角錐５０２を選択した場合、選択された三角錐５０２の三次元モデルの外接四角形５０４が表示されることで、操作者に選択されている三次元モデルが明示され、この選択されている三次元モデルに対して操作を行う。図６（ａ）で奥行き方向への移動について説明する。図６（ａ）は、図５のように透視投影される画像で、図４（ｂ）に表示されているビューボリュームのＸ−Ｚ平面の概略を示しており、６０１が実写で撮影された主被写体、６０２、６０３が三次元モデルであり、６０４が選択されている三次元モデル６０２の外接矩形を表している。ここで、三次元モデル６０２を奥行き方向に移動させているとき、図５のような編集画面では主被写体６０１よりも奥に配置することは可能である。そのため、最終的に立体合成画像を生成した際に、奥側に位置されているはずの三次元モデル像が手前にいる主被写体と重なって立体視されてしまい、正しい奥行き情報を再現できなくなる。そこで、図６（ａ）の斜線で囲まれた領域、即ち、主被写体の手前側までの距離Ｚｌｒからビューボリュームの最近距離Ｚｎまでの空間を三次元モデル移動可能空間６０５として、その領域から三次元モデルの外接矩形６０４が領域外に出るようなことが無いようにチェックする。もし、選択した三次元モデルが三次元モデル移動可能空間６０５の境界に衝突したような場合、画面を光らせたりあるいは音を出力するなどで三次元モデルを奥行き方向に移動できないことを通知してもよい。また、図６（ｂ）の斜線で示されている領域６０６のように、撮影位置に対して主被写体６０１の奥側に隠れない領域も加えた領域も三次元モデルを移動可能な領域としてもよい。ここでは、三次元モデル移動可能空間の奥行き方向を主被写体までの距離Ｚｌｒまでとしたが、主被写体より前に様々な被写体が存在するような場合は、その被写体までの距離としてもよい。また、図６に示すような図を利用者に提示して、三次元モデル移動可能空間６０５を編集あるいは操作することができてもよい。
【００５８】
Ｓ３０５は多視点画像シーケンス生成ステップで、立体画像情報生成ステップＳ３０１で算出された基準画像と視差マップ等から実写画像多視点画像シーケンスと、仮想空間構築ステップＳ３０２で構築された仮想空間に配置され表示装置１０６に表示されていると三次元モデルから生成される仮想空間から生成する仮想空間多視点画像シーケンスとを合成した多視点画像シーケンスを生成する。
【００５９】
図７は、多視点画像シーケンス生成ステップＳ３０５の処理の流れを示している。ステップＳ７０１は実写多視点画像シーケンス生成部で、立体画像情報生成ステップＳ３０１の基準画像および生成された視差マップから多視点画像シーケンスを生成する。多視点画像シーケンス生成部の処理は、特開２００１−３４６２２６に記載の多視点画像シーケンスを生成する手法を用いて実現することができる。
【００６０】
ステップＳ７０２は仮想空間多視点画像生成パラメータ決定ステップで、２次元表示装置１０１に表示されている状態の仮想空間のパラメータおよび立体画像情報生成ステップＳ３０１で生成された視差マップ等を用いて多視点画像を生成するための仮想空間内のパラメータを決定する。
【００６１】
図８を用いて仮想空間でのパラメータ生成を説明する。図８は図４（ｂ）のようにレイアウトされているビューボリュームのＸ−Ｚ平面を示しており、三次元モデル８０１、８０２が図のように配置されており、その際の仮想カメラ８０４は位置Ｘ０に配置されているとする。また、一般的にレンチキュラー板などで観察するような立体画像を生成する際、主被写体付近を視差０になるよう視差を調整する場合が多いため、主被写体が存在する奥行きＺ０ｒ付近を視差０になるように仮想空間多視点画像シーケンスを生成する必要がある。まず、ビューボリュームのＺｎｒ、Ｚｆｒおよび視差を０に調整したい距離Ｚ０ｒとする。また、立体画像入力装置１００で実際に撮影された際のカメラ基線長ｂは、所定の固定値として記憶していてもよいし、仮想空間生成時に操作者に典型的な値を選択してもらってもよい。仮想カメラの移動範囲は、位置Ｘ０を中心として左右対称に、また、等間隔に仮想カメラを配置あるいは移動して画像を生成するよう仮想カメラ位置パラメータを設定する。
【００６２】
ステップＳ７０３は仮想空間多視点画像シーケンス生成ステップで、仮想空間の多視点画像シーケンスを生成する。この際は、前述の２次元表示装置１０６に表示される場合（図３のステップＳ３０３）とは異なり、背景として基準画像を描画せず、直接仮想空間のみを透視変換することで投影像を生成していく。この時、後段の画像合成ステップＳ７０４において、実写多視点画像シーケンス生成ステップで生成された実写多視点画像シーケンスと仮想空間多視点画像シーケンス生成ステップＳ７０３で生成された仮想空間多視点画像シーケンスとを合成するため、ステップＳ７０３で生成する仮想空間多視点画像の背景は所定の色あるいは所定の輝度値で初期化しておくことで、クロマキー合成を行うことが可能となる。また、生成した仮想空間多視点画像それぞれについて、奥行き距離Ｚ０ｒで視差が０となるよう画像を平行移動して調整しておく。仮想空間多視点画像シーケンスを生成する順序は、特開２００１−３４６２２６にも記載があるように、レンチキュラー板で観察する場合を考慮して、逆順にストライプ上に画像を並べることを考慮して逆順（右側→左側）で生成してもよいし、あるいはその逆でもよい。即ち実写多視点画像シーケンス生成手段と同じ順序で生成することで、後段の画像合成Ｓ７０４での制御を容易にすることができる。
【００６３】
ステップＳ７０４は画像合成ステップで、実写多視点画像シーケンス生成ステップＳ７０１および仮想空間多視点画像シーケンス生成ステップＳ７０４で生成された各多視点画像シーケンスを合成する。具体的には、前述のとおり、仮想空間画像で所定の色などで初期化された画素の部分は実写多視点画像から、それ以外は仮想空間画像から複製することで容易に合成画像を得ることができる。あるいは、仮想空間多視点画像シーケンス生成ステップＳ７０３で仮想空間画像を生成する際に、各視点位置での奥行き情報を保存しておき、画像合成ステップＳ７０４において奥行き情報の最遠点である部分のみ実写画像から複製し、それ以外は仮想空間画像から複製するというふうに構成すれば、クロマキー合成のように三次元モデル内に所定の色あるいは輝度が存在した場合に、その部分に実写画像が誤って合成されるような問題は発生しなくなるといった効果がある。あるいは、多視点画像シーケンス生成部において、仮想空間画像を生成する際に、各視点位置での奥行き情報を保存しておき、その奥行き情報のなかで最遠点にある画素の部分を立体画像情報生成ステップＳ３０１で生成された基準画像と奥行きマップから直接フォワードマッピングするようにしてもよい。このことで、実写画像多視点画像シーケンスを視点位置毎に生成する必要がなく、必要な位置の実写画像のみを生成することができ、記憶メモリの容量削減や処理の高速化が達成できるといった効果がある。
【００６４】
Ｓ３０６は三次元画像統合ステップで、多視点画像シーケンス生成ステップＳ３０７で生成した多視点画像シーケンスを三次元画像に合成し、印刷装置１０４にて印刷する。三次元画像統合ステップＳ３０６は、先に本出願人より提案されている特開２００１−３４６２２６に記載の三次元画像合成手段により実現可能である。
【００６５】
ステップＳ３０７は印刷ステップで、三次元画像統合ステップＳ３０６で合成された三次元画像を印刷する。印刷結果にレンチキュラー板等の光学部材を重ね合わせて観察することで、良好な立体画像を観察することが可能となる。
【００６６】
以上のように、利用者は撮影した立体画像とを実際に印刷することなく２次元表示装置上でレイアウトすることが可能となり、立体的に違和感の無い高品位な立体画像を得ることができる。
【００６７】
（第二の実施例）
第一の実施例において、仮想空間を構築する仮想空間構築ステップＳ３０２では、立体画像情報生成ステップＳ３０１で生成された視差マップ等、被写体までの奥行き情報を利用して仮想空間を生成するようにしていたが、この生成される視差マップ等を利用せずに構成することも可能である。即ち、最終的に観察するレンチキュラー板によって構成される三次元空間で整合性を保つよう画像を合成するというアプローチで、実写画像と仮想空間画像を合成することも可能である。以下、この方法について説明する。
【００６８】
本実施例では、第一の実施例との装置構成の変更はなく、図７における仮想空間多視点画像生成パラメータ決定ステップＳ７０２を変更することで実現可能である。図１２を用いてこの変更概要を説明する。図１２（ａ）はレンチキュラー板で再生される三次元空間のＸ−Ｚ平面を示しており、観察するレンチキュラー板で観察する際の最適な最大／最小視差ｄｍａｘ、ｄｍｉｎを表している。観察に最適な最大／最小よりも視差を大きくしたり小さくした画像を観察した場合は、適切な立体感が得られなかったり、観察者が疲れやすかったりするなどの不具合が発生する可能性が高いため、最適な最大／最小視差といった制限を設けることは一般的である。図中のｄ０は、印刷面で沈み込みも浮き出しもない視差０を意味している。ここで、第一の実施例においても記述したように実写空間と仮想空間との奥行き方向の整合性を保つため、図にあるようにレンチキュラー板で再現される三次元空間のうち、ｄｍａｘ〜ｄｍｉｎ’１２０２を仮想空間に、ｄｍｉｎ’〜ｄｍｉｎ１２０１を実写空間に割り当てるようにすることで、再生された場合にも立体的に間違いが発生しない立体写真を合成することが可能となる。
【００６９】
次に、図１２（ｂ）を用いて、仮想空間多視点内で所定の視差を持つように仮想空間画像を生成するための仮想カメラ移動範囲を決定する方法を説明する。図において、Ｚｎｖ、Ｚｆｖはそれぞれ仮想空間にレイアウトされた最近／最遠距離でここでは、三次元モデルが配置されている最近面／最遠面としている。これは、仮想空間内の三次元モデルの配置情報から容易に算出できる。また、Ｚ０ｖは、図１２（ａ）のｄ０、即ち、視差が０となって欲しい距離を表している。この配置において、ＺｎｖからＺｆｖまでの空間を図１２（ａ）に示すように視差ｄｍａｘ、ｄｍｉｎ’として表現されるような仮想カメラ移動範囲Ｂと、仮想カメラ移動範囲Ｂで画像を生成した際に奥行きＺ０ｖで視差を０とするための仮想画像を平行移動させる移動量Δｐを算出する。
【００７０】
今、仮想空間内での焦点距離をｆ’、奥行きＺｎｖ、Ｚｆｖ，Ｚ０ｖでの本来の視差をそれぞれｄｎ、ｄｆ、ｄ０とすると、各視差は式（３）のように表現できる。
【００７１】
ｄｎ＝Ｂｆ’／Ｚｎｖ、ｄｆ＝Ｂｆ’／Ｚｆｖ、ｄ０＝Ｂｆ’／Ｚ０ｖ ---- （３）
また、Ｚ０ｖでの視差が０となるよう生成した仮想画像を適当に平行移動させるので、各位置の実際の視差からｄ０を減算すればよいので,式（４）のように表現できる。
【００７２】
ｄｎ’＝ｄｎ−ｄ０   、 ｄｆ’＝ｄｆ−ｄ０   、  ｄ０’＝０  ---- （４）
今、ｄｎ’＝ｄｍａｘ、ｄｆ’＝ｄｍｉｎ’として与えられ、かつ、仮想空間のＺｎｖ、Ｚｆｖが与えられ時のカメラの移動量Ｂ、Ｚ０を計算する。今、Ｚ０ｖ＝αＺｎｖ、Ｚｆｖ＝ＡＺｎｖ（α、Ａ：定数）とおくと、式（５）のようになる。
【００７３】
ｄｎ’＝Ｂｆ’／Ｚｎｖ  −Ｂｆ’／αＺｎｖ＝Ｂｆ’（１−１／α）／Ｚｎｖ
ｄｆ’＝Ｂｆ’／ＡＺｎｖ−Ｂｆ’／αＺｎｖ＝Ｂｆ’（１／Ａ−１／α）／Ｚｎｖ ---- （５）
上記の関係から、カメラ撮影位置の距離Ｂは式（６）で算出できる。
【００７４】
Ｂ＝Ｚｎｖ×ｄｎ’／（ｆ’（１−１／α））
＝Ｚｎｖ×ｄｎ’／（ｆ’（１／Ａ−１／α）） ---- （６）
ただし、αは式（７）で算出する。
【００７５】
α＝（ｄｎ’−ｄｆ’）／（ｄｎ’／Ａ−ｄｆ’）
＝（ｄｎ’−ｄｆ’）／（ｄｎ’Ｚｎｖ／Ｚｆｖ−ｄｆ’）- --- （７）
ここで、生成する画像数がＮ点の場合は、カメラ撮影間隔ΔＢ＝Ｂ／（Ｎ−１）なので、ｉ番目の撮影位置（ｉ：０〜Ｎ−１）における平行移動量Δｐは式（８）で算出可能である（ただし、Ｚ０ｖ＝αＺｎｖで算出する。）。
【００７６】
Δｐ＝Δｂｆ’×ｉ／Ｚ０ｖ ---- （８）
上記で説明したパラメータを設定して生成した仮想多視点画像シーケンスと実写多視点画像シーケンスとを第一の実施例と同様に三次元画像として合成して印刷し、印刷結果にレンチキュラー板を重ね合わせることで、仮想空間多視点画像シーケンス生成パラメータを実写画像の三次元空間情報に整合させなくても、最終的に違和感のない立体写真を得ることができる。
【００７７】
また、本実施例の仮想空間多視点画像生成パラメータ決定手段を用いれば、実写多視点画像シーケンスのみを入力した場合においても仮想空間多視点画像シーケンスが可能であり、かつ、立体的に違和感のない三次元画像を得ることができることを意味している。よって、本画像合成装置内で実写ステレオ画像から視差マップなど生成したり保存したり、良好な三次元合成画像を生成することが可能で、処理速度や内部的な装置構成が簡略化を図ることができる効果が得られる。
【００７８】
今まで述べた実施形態では、三次元モデルを移動・回転・拡大・縮小など幾何学的操作のみを実行可能なように構成したが、画質的に自然な仮想空間画像を生成するために、仮想空間内の光源の種類やパラメータを実写との合成画像を観察しながら変更できるようにするようにしてもよい。
【００７９】
また、本実施形態では、三次元モデル記憶部に三次元モデルを記憶するようにしたが、三次元モデルをネットワークから入力するようにしてもよい。
【００８０】
また、本発明は、上述した実施形態の装置に限定されず、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用してもよい。前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、完成されることは言うまでもない。
【００８１】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭを用いることが出来る。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、次のプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵなどが処理を行って実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００８３】
【図１】本発明の第一の実施形態に係る画像合成装置の構成を示すブロック図である。
【図２】ステレオカメラの画像取得の概略を示す図である。
【図３】実施形態に係る画像合成装置の処理プログラムのフローチャートである。
【図４】実写画像の三次元空間（ａ）および仮想空間と合成した三次元空間（ｂ）の鳥瞰を示した図である。
【図５】実写画像および仮想空間画像を合成し、２次元画像装置１０６に表示する透視投影画像を示した図である。
【図６】三次元モデル操作部１０５で三次元モデルを移動できる領域を説明するＸ−Ｚ面の図である。
【図７】多視点画像シーケンス生成ステップの詳細を示すフローチャートである。
【図８】仮想空間における仮想画像生成の概略を示すＸ−Ｚ面の図である。
【図９】従来例での処理の概要を示すブロック図である。
【図１０】従来例でのステレオアダプタを説明する図である。
【図１１】従来例での処理流れを示すフローチャートである。
【図１２】仮想空間画像生成パラメータ決定部を説明するための図である。
【符号の説明】
【００８４】
１００  立体画像入力装置
１０１  ２次元表示装置
１０２  画像合成装置
１０３  印刷装置
１０４  操作入力装置
【図１】
2005165614.tif 000003
【図２】
2005165614.tif 000004
【図３】
2005165614.tif 000005
【図４】
2005165614.tif 000006
【図５】
2005165614.tif 000007
【図６】
2005165614.tif 000008
【図７】
2005165614.tif 000009
【図８】
2005165614.tif 000010
【図９】
2005165614.tif 000011
【図１０】
2005165614.tif 000012
【図１１】
2005165614.tif 000013
【図１２】
2005165614.tif 000014