(57)【要約】【課題】現実世界に存在する物体が変化した画像を違和感なく観察できるようにする。【解決手段】撮像部によって現実世界を撮影して得られた現実画像を、指定された編集に応じて処理するための画像処理方法において、例えば消去編集を行なう場合、現実世界に対応したモデルデータを用いて、撮像部の位置及び姿勢からみたモデル画像を生成する（ステップＳ２０２、Ｓ２０４）。このモデル画像に基づいて、指定された編集の実現に必要な部分画像、すなわち消去されたモデルの表示領域に対応する部分画像を生成するために、現実画像より画像情報を抽出すべき部分が決定される（ステップＳ２０５、Ｓ２０６）。そして、現実画像中の上記決定された抽出部分に対応する画像情報を用いて部分画像を生成し（ステップＳ２０６）、生成された部分画像を現実画像中に合成する（ステップＳ２０７）。【選択図】  図１１
2004310686.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段によって現実世界を撮影して得られた現実画像を、指定された編集に応じて処理するための画像処理方法であって、
前記現実世界に対応したモデルデータを用いて、前記撮像手段の位置及び姿勢からみたモデル画像を生成する第１生成工程と、
前記モデル画像において、指定された編集の実現に必要な部分画像を生成するために、前記現実画像より画像情報を抽出すべき部分を決定する決定工程と、
前記現実画像中の前記決定工程で決定された抽出部分に対応する画像情報を用いて部分画像を生成する第２生成工程と、
前記第２生成工程で生成された部分画像を前記現実画像中に合成する合成工程とを備えることを特徴とする画像処理方法。
【請求項２】
前記指定された編集は前記現実世界における所望の物体の削除であり、
前記生成工程で生成される部分画像は、削除対象物体の占めていた領域に対応する形状を有することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記決定工程は、前記削除対象物体の占めていた領域を、その背後のモデルの領域によって分割し、各分割領域毎に抽出部分を決定することを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記分割領域の各々に対応する抽出部分は、分割領域が属する背後のモデルの領域内であって、該分割領域の近傍の部分とすることを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記指定された編集は、前記現実世界における所望の物体を変形して貼り付けるものであり、
前記決定工程は、前記所望の物体に対応するモデルを変形させ、変形後のモデルの各部に対応した前記抽出部分を決定し、
前記生成工程は前記抽出部分の画像を前記変形後のモデルの各部に対応するように変換して用いることにより、前記物体の変形後の状態を表す部分画像を生成することを特徴とする請求項１に記載の画像処理方法。
【請求項６】
前記変形は、前記所望の物体の拡大、縮小、回転のいずれかを含むことを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記モデルデータは２．５次元モデルであることを特徴とする請求項１乃至６のいずれかに記載の画像処理方法。
【請求項８】
前記モデルデータは３次元モデルであることを特徴とする請求項１乃至６のいずれかに記載の画像処理方法。
【請求項９】
前記第１生成工程、決定工程、第２生成工程及び合成工程は前記撮像手段による撮影画像をリアルタイムに処理し、部分画像が実写映像にリアルタイムに合成されることを特徴とする請求項１乃至８のいずれかに記載の画像処理方法。
【請求項１０】
撮像手段によって現実世界を撮影して得られた現実画像を、指定された編集に応じて処理するための画像処理装置であって、
前記現実世界に対応したモデルデータを用いて、前記撮像手段の位置及び姿勢からみたモデル画像を生成する第１生成手段と、
前記モデル画像において、指定された編集の実現に必要な部分画像を生成するために、前記現実画像より画像情報を抽出すべき部分を決定する決定手段と、
前記現実画像中の前記決定手段で決定された抽出部分に対応する画像情報を用いて部分画像を生成する第２生成手段と、
前記第２生成手段で生成された部分画像を前記現実画像中に合成する合成手段とを備えることを特徴とする画像処理装置。
【請求項１１】
請求項１乃至９のいずれかに記載の画像処理方法をコンピュータに実行させるための制御プログラムを格納する記憶媒体。
【請求項１２】
請求項１乃至９のいずれかに記載の画像処理方法をコンピュータに実行させるための制御プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、現実世界の映像にＣＧ映像を合成する映像合成技術に関する。
【０００２】
【従来の技術】
近年、現実世界の映像にＣＧ映像を合成することで現実世界にはない情報を使用者に提示するシステムの開発がなされており、それらはＡＲ（Ａｕｇｕｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：拡張現実感）システムやＭＲ（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ：複合現実感）システムと呼ばれている。こうしたＡＲ／ＭＲシステムでは、現実世界に予め用意した画像を合成することが可能であり、たとえばテレビ番組においては、スタジオに実際には存在しないＣＧキャラクタを登場させるといったことがなされている。
【０００３】
また、実際には存在しない物体を登場させるのとは逆に、現実に存在している物体の上にあらかじめ用意した映像を合成することで、現実に存在する物体を当該映像上から消去することも可能である。たとえば、スポーツ中継において球場内を写した映像から特定の看板だけを消去して放送したい場合には、あらかじめ看板と同じ形をした真っ白なＣＧモデルを用意しておけば、看板を消去することが可能である。
【０００４】
特許文献１には、複合現実感を実現するための現実映像と仮想物体との位置合わせを行なうためのマーカを消去するために、上記技術を用いることが開示されている。特許文献１によれば、位置指標として設けられるマーカ部分の画像を、マーカを設ける前の現実物体画像などあらかじめ用意した画像によって置き換えたり、仮想画像を重畳することによって観察者が観察する複合現実空間画像からマーカを消去する。
【０００５】
【特許文献１】
特開２０００−３５０８６０号公報
【０００６】
【発明が解決しようとする課題】
上記のように、あらかじめ用意した映像を合成することによって現実世界の映像から特定の部分を消去するという手法は広く用いられているが、このような手法が有効でない場合が存在する。例えば、屋外のように照明環境が時間によって変化するような場合には意図した効果が得られない状況が起こる。
【０００７】
一例を示すと、図１のような映像からビル１０１を消去したいといった場合、ただ単にビル１０１の上にあらかじめ用意した映像（たとえば空を撮影した写真など）を合成してしまうと、映像中の空１０２との色合いの差異が生じてしまい、不自然な映像となってしまう。
【０００８】
また、従来の手法では、あらかじめ用意した映像を現実世界の映像の所望の部分に貼り付けるので、現実世界の映像から特定の部分を消去することはできても、現実世界の物体が違う位置にあるかのような映像をつくりだしたり、現実世界の物体が変形したかのような映像をつくりだすことはできない。
【０００９】
本発明は、上記の課題に鑑みてなされたものであり、現実世界に存在する物体が変化した画像を違和感なく観察できるようにすることを目的とする。
例えば、現実世界に存在する物体があたかも消去されたかのような映像に関して、違和感のない映像を生成可能としたり、現実世界にある物体が実際の位置とは異なる位置に移動したかのような映像を生成したり、実際とは異なる形状となったかのような映像を生成したりすることを可能とすることを目的とする。
【００１０】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像処理方法は、
撮像手段によって現実世界を撮影して得られた現実画像を、指定された編集に応じて処理するための画像処理方法であって、
前記現実世界に対応したモデルデータを用いて、前記撮像手段の位置及び姿勢からみたモデル画像を生成する第１生成工程と、
前記モデル画像において、指定された編集の実現に必要な部分画像を生成するために、前記現実画像より画像情報を抽出すべき部分を決定する決定工程と、
前記現実画像中の前記決定工程で決定された抽出部分に対応する画像情報を用いて部分画像を生成する第２生成工程と、
前記第２生成工程で生成された部分画像を前記現実画像中に合成する合成工程とを備える。
【００１１】
また、上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。すなわち、
撮像手段によって現実世界を撮影して得られた現実画像を、指定された編集に応じて処理するための画像処理装置であって、
前記現実世界に対応したモデルデータを用いて、前記撮像手段の位置及び姿勢からみたモデル画像を生成する第１生成手段と、
前記モデル画像において、指定された編集の実現に必要な部分画像を生成するために、前記現実画像より画像情報を抽出すべき部分を決定する決定手段と、
前記現実画像中の前記決定手段で決定された抽出部分に対応する画像情報を用いて部分画像を生成する第２生成手段と、
前記第２生成手段で生成された部分画像を前記現実画像中に合成する合成手段とを備える。
【００１２】
【発明の実施の形態】
以下、添付の図面を参照して本発明の実施形態について説明する。
【００１３】
本実施形態では、現実世界の映像に、撮影中の映像からリアルタイムに生成したＣＧ映像を合成する。たとえば、図１のような映像からビル１０１を消去したいような場合、当該映像中の空１０２や地上部分から映像を切り出して生成したＣＧ映像をビル１０１の上に合成することで、図２のようにビル１０１を消去する効果を実現する。
【００１４】
また、図１のような映像からビル１０１を移動させたいような場合、ビル１０１の位置に、当該映像の空１０２や地上部分から映像を切り出して合成し、さらに映像中のビル１０１を切り出して移動、合成する。この結果、図４のようにビル１０１が移動したかのような効果を実現する。
【００１５】
図３は、実施形態による映像合成装置の構成例を示すブロック図である。以下では、図３の各部の説明を行う。
【００１６】
３０１は撮像部であり、たとえばＣＣＤカメラからなる。撮像部３０１は現実世界の映像の撮影を行い、撮影した実写映像をＣＧ映像生成部３０５および映像合成部３０６に送出する。３０２は姿勢センサであり、撮像部３０１の位置や向きの情報を取得し、取得した姿勢情報（位置及び方向）を射影変換部３０４に送る。姿勢センサ３０２は撮像部３０１の姿勢を検知できるものであれば何で構成されてもよく、たとえばジャイロやＧＰＳ、ロータリーエンコーダ、光学センサ、またそれらの組み合わせから構成することができる。なお、撮像部３０１の位置が固定され、向きのみが変化する場合には、姿勢センサ３０２は撮像部３０１の向きのみを検知できればよい。
【００１７】
３０３はモデルデータ格納部であり、たとえばハードディスクから構成され、現実世界のモデルおよびＣＧモデルを格納する。モデルデータ格納部３０３に格納されるデータは、現実世界およびＣＧを表現できるものであれば何でもよく、たとえば３次元モデルやパノラマ画像からなる。現実世界において、本実施形態による映像合成装置を持つ観察者５０３、ビルＡ５０１、ビルＢ５０２が図５のように存在し、観察者５０３が５０４の方向を向いているものとする。この場合、モデルデータ格納部３０３に格納される３次元モデルはたとえば図６のように表現することができる。
【００１８】
図６において、６０７は原点を観察者５０３の位置に、Ｙ軸を重力方向と逆向きにとった３次元モデルの座標軸であり、６０１はビルＡ５０１の３次元モデル、６０２はビルＢ５０２の３次元モデルである。また、６０３は観察者５０３の３次元的位置、６０４は観察者５０３が本実施形態による映像合成装置の撮像部３０１が向いている方向を表すベクトルである。また、６０５は天球を表す３次元モデルであり、原点を中心とした半球で表現される。また、６０６は地面を表す３次元モデルであり、近似的にＸＺ平面で表現する。このような３次元モデルは、たとえば地図データなどから作ることができる。
【００１９】
また、図５に表される現実世界において観察者５０３の位置が大きく変わらないときには、現実世界のモデルを２次元モデルに奥行を加えた２．５次元モデルとして表現することも可能である。図１６は、図５に表される現実世界の２．５次元モデルである。図１６において、１６０１はビルＡを表す矩形領域、１６０２はビルＢを表す矩形領域、１６０３は空を表す矩形領域、１６０４は地面を表す矩形領域である。それぞれの矩形領域は奥行情報を持ち、１６０１の奥行をｄ１６０１、１６０２の奥行をｄ１６０２などとして表現すると、その奥行は手前にあるものほど小さく、
ｄ１６０１＜ｄ１６０２＜ｄ１６０４＜ｄ１６０３
となる。このような２．５次元モデルは、たとえば撮像部３０１で撮影したパノラマ画像から作ることが可能である。
【００２０】
３０４は射影変換部であり、姿勢センサ３０２から姿勢情報を受け取り、撮像部３０１の視界に現実世界がどのように捉えられるか、またＣＧモデルがどのように捉えられるかを計算する。そのため、射影変換部３０４にはあらかじめ撮像部３０１の焦点距離や画角といった情報（カメラパラメータ）が格納されている。射影変換部３０４で行われた射影変換の結果はＣＧ映像生成部３０５に送られる。
【００２１】
３０５はＣＧ映像生成部であり射影変換の結果をもとに撮像部３０１から送られる映像を加工し、ＣＧ映像を生成する。生成されたＣＧ映像は映像生成部３０６に送られる。３０６は映像合成部であり、撮像部３０１から送られた実写映像とＣＧ映像生成部３０６で作られたＣＧ映像３０５を合成し、合成映像を表示部３０７に送る。表示部３０７はたとえば液晶ディスプレイから構成され、映像合成部３０６より送られてきた合成映像を表示する。
【００２２】
以上の様な構成を備えた本実施形態の制御について、以下説明する。本実施形態では、実写映像中の消去すべく指定した物体（以下、消去物体と呼ぶ）を消去する処理（以下、物体消去処理と呼ぶ）が可能である。また、同様に、実写映像中の変形対象として指定した物体（以下、変形物体と呼ぶ）を変形（移動、回転等）する処理（以下、物体変形処理と呼ぶ）が可能である。以下で、それぞれの処理について説明する。
【００２３】
図１１は物体消去処理の手順を説明するフローチャートである。
【００２４】
ステップＳ２０１では、姿勢センサ３０２が撮像部３０１の現在の姿勢（位置および向き）を取得する。取得した姿勢情報は射影変換部３０４に送られる。この際、撮像部３０１の位置が固定されている場合には、送られる姿勢情報は向きの情報だけでよい。
【００２５】
ステップＳ２０２では、射影変換部３０４が射影変換を実行する。今、現実世界が図５のようになっており、観察者５０３が映像合成装置の撮像部３０１で図７のような映像を捉えているものとする。射影変換部３０４は姿勢センサ３０２からの姿勢情報、モデルデータ格納部３０３からのモデルデータ情報、またあらかじめ与えられている撮像部３０１のカメラパラメータを用いて、モデルデータの射影変換を行い、図８のような映像を生成する。このとき、射影変換が正確に行われていれば、図７の現実世界の物体の輪郭と図８の射影変換された現実世界のモデルの輪郭は一致する。
【００２６】
ステップＳ２０３では、射影変換部３０４で撮像部３０１の視界に消去物体が含まれるかどうかを判定する。ステップＳ２０３で射影変換された画像中に消去物体が含まれる場合にはステップＳ２０４に、含まれない場合にはステップＳ２０８に進む。
【００２７】
ステップＳ２０４では二度目の射影変換が行われる。ここで、モデルデータから消去物体を除いたデータを作成し、このデータを用いて射影変換部３０４で射影変換を行う。この結果、消去物体をビルＡ５０１とすると、射影変換した結果の画像は図９のようになる。
【００２８】
ステップＳ２０５では、ＣＧ映像生成部３０５により、射影変換した画像中の消去物体の存在した領域について、小領域への分割が行われる。まず、ＣＧ映像生成部３０５は、ステップＳ２０２で射影変換した結果の画像（図８）から、消去物体の占める領域を記録する。次に、消去物体の占める領域をステップＳ２０４で得られた画像（図９）と重ねて、消去物体の占める領域がステップＳ２０４で得られた画像においてはどのモデルによって占められているかを判断する（図１０）。たとえば図１０だと、消去物体ビルＡの占めていた領域９０４は、ビルＢのモデルで占められる領域９０１と、地面のモデルで占められる領域９０２と、天球のモデルで占められる領域９０３に分割される。以上のようにして消去物体の占める領域がどのモデルによって分割されるかを判定したら、ステップＳ２０６にすすむ。
【００２９】
ステップＳ２０６では、ＣＧ映像生成部３０５が、ステップＳ２０５で求めた領域ごとに撮影映像からＣＧ映像を生成する。領域ごとにＣＧ映像を生成する方法には様々な方法があるが、ここではモデルデータ格納部３０３に格納されているモデルデータが２．５次元のものである場合のＣＧ映像生成方法を図２１に示されるフローチャートを使って説明する。
【００３０】
まず、図１７のように、撮影映像中の領域２０２のＣＧ映像を生成するものとする。領域２０２は図１０の領域９０１に対応する。すなわち、射影変換された現実世界のモデルの画像中の領域９０１を撮影映像に投影したものである。また、領域２０１はビルＢのモデル６０２（図１０）に対応する領域である。従って、領域２０２のＣＧ映像は、領域２０１の撮影映像中から取得されなければならない。
【００３１】
ステップＳ４０１で、姿勢センサ３０２より撮像部３０１の姿勢情報を取得する。次に、ステップＳ４０２で、取得された姿勢情報に応じて撮影画像を回転し、撮影対象の水平線が撮影画像においても水平に表現されるようにする（図１８）。次にステップＳ４０３で水平方向の領域探索を行う。撮影画像中の領域２０２を水平方向に移動し、領域２０１の中に領域２０２の全体が納まるところがあるか探索する。もし図１８の領域２０３のように全体が納まる領域が発見されたらステップＳ４０７に、発見されなかったらステップＳ４０４に進む。ステップＳ４０７では、発見された領域２０３の画像を領域２０２にコピーすることにより、領域２０２のＣＧ映像を生成する。ＣＧ映像を生成したらステップＳ４０８に進む。
【００３２】
ステップＳ４０４では、垂直方向の領域探索を行う。領域２０２を垂直方向に移動し、領域２０１の中に領域２０２の全体が納まるところがないかどうかを探索する。もし全体が納まる領域が発見されたらステップＳ４０７に、発見されなかったらステップＳ４０５に進む。
【００３３】
ステップＳ４０５では、全領域での領域探索を行う。領域２０２を領域２０１全体で移動し、領域２０１の中に領域２０２の全体が納まるところがないかどうかを探索する。もし全体が納まる領域が発見されたらステップＳ４０７に、発見されなかったらステップＳ４０６に進む。
【００３４】
ステップＳ４０６では、まず全領域の中から最も一致度の高い領域を選び出す。ここで、一致度とは、次のような尺度で計算される。
・  面積が広ければ広いほど大きい
・  領域２０２と水平方向の距離が近いほど大きい
・  領域２０２と垂直方向の距離が近いほど大きい
・  垂直方向の距離よりも水平方向の距離が近い方が大きい。
この際、垂直方向よりも水平方向を優先するのは、現実世界の建造物の構造が通常、水平方向に対して高い類似度を持つことによる。従って、どちらの方向を優先するかは撮影の対象に応じて異なっていてもよく、また、撮影対象に応じて設定可能としてもい。
【００３５】
以上のような尺度で計算を行うと、たとえば図１９のように領域２０２が領域２０１の中に納まる領域がない場合に、領域２０４のように領域２０２よりも小さい領域が選び出される。領域２０４が選び出されたら、領域２０４の画像を領域２０２の上に複数回コピーし、領域２０２のＣＧ映像を生成する。ＣＧ映像を生成したらステップＳ４０８に進む。ステップＳ４０８では、姿勢情報を使って、ＣＧ映像を回転する。この時の回転角は、ステップＳ４０２での回転角とちょうど反対である。
【００３６】
以上のようにして、ステップＳ２０５で求めた各領域（領域９０１、９０２、９０３）ごとに撮影映像からＣＧ映像を生成することが可能である。なお、ここでは、モデルデータ格納部に格納されるモデルデータが２．５次元のものである場合を例にとって説明したが、上記で述べた方法はモデルデータが３次元である場合にも適用可能である。その場合、ステップＳ４０２およびステップＳ４０８において、画像を姿勢情報で回転させるのではなく、姿勢情報および３次元モデルデータを使って対象とする領域２０２を持つ面が正面を向くような変換をかければよい（図２０）。
【００３７】
図１１に戻り、ステップＳ２０７では、ステップＳ２０６で生成したＣＧ映像と撮像部３０１で撮影された実写映像の合成を行う。この映像合成処理により、実写映像中の消去物体を写した領域に、ステップＳ２０６で生成したＣＧ映像が重なるように合成される。そのため、映像中から消去物体の映像は消え去り、そのかわりに消去物体の背後にある物体の映像からつくられたＣＧが残ることになる。合成された映像は表示部３０７に送られる。
【００３８】
ステップＳ２０８では表示部３０７で映像表示が行われ、合成映像が観察者に提示される。映像表示後は再びステップＳ２０１に戻り、以上の過程が繰り返される。
【００３９】
以上、本実施形態の映像合成装置における物体消去処理の手順を説明した。以下では、本実施形態の映像合成装置における物体変形処理の手順を説明する。なお、ここでいう変形とは、物体の拡大・縮小・移動・回転のことを指す。また、ここで、変形物体のモデルは３次元ポリゴンモデルで表現されているものとする。
【００４０】
図１２は本実施形態による物体変形処理の手順を説明するフローチャートである。
【００４１】
ステップＳ３０１では、姿勢センサ３０２が撮像部３０１の現在の姿勢（位置および向き）を取得する。取得した姿勢情報は射影変換部３０４に送られる。この際、撮像部３０１の位置が固定されている場合には、送られる姿勢情報は向きの情報だけでよい。
【００４２】
ステップＳ３０２では、ステップＳ２０２と同様に射影変換部３０４で現実世界のモデルの射影変換が行われる。ステップＳ３０３では、射影変換部３０４で撮像部３０１の視界に変形物体が含まれるかどうかを判定する。ステップＳ３０２で射影変換された画像中に変形物体が含まれる場合にはステップＳ３０４に、含まれない場合にはステップＳ３０７に進む。
【００４３】
ステップＳ３０４では射影変換部３０４で二度目の射影変換が行われる。ここでは、現実世界のモデルを表すモデルデータに変形後の物体のデータを加え、再び射影変換を行う。これにより、変形後の物体が画面上でどのように表示されるかが分かる。
【００４４】
ステップＳ３０５ではＣＧ映像生成部３０５で変形後の物体の各面のＣＧ映像の生成が行われる。ここで、たとえばステップＳ３０２の射影変換で得られた変形前の物体の画像を図１３、ステップＳ３０４の射影変換で得られた変形後の物体の画像を図１４とする。ここで、変形前の物体１３０１の映像から変形後の物体１３０２のＣＧ映像を作り出すことができれば、物体をあたかも変形したかのような映像をつくりだすことが可能である。
【００４５】
変形前の物体１３０１の映像から変形後の物体１３０２のＣＧ映像を作り出す方法にはさまざまなものが考えられるが、本実施形態ではアフィン変換を用いる例を挙げる。変形物体のそれぞれの面について、図１５のようにステップＳ３０２の変形前の物体のある面１５０１の射影変換時の各頂点座標を（ｘ１，ｙ１），（ｘ２，ｙ２），・・・、ステップＳ３０４の変形後の物体のある面１５０２の射影変換時の各頂点座標を（Ｘ１，Ｙ１），（Ｘ２，Ｙ２），・・・とする。両者の間にアフィン変換、
Ｘ＝ａｘ＋ｂｙ＋ｃ
Ｙ＝ｄｘ＋ｅｙ＋ｆ
が成り立つものとすると、一つの頂点から二つの式が成り立ち、各面は必ず三つ以上の頂点を持つため、アフィン係数ａ〜ｆは必ず求まる。以上のようにして、変形物体の各面でアフィン係数を求める。
【００４６】
アフィン係数を求めたら、変形前の物体の各面の映像をアフィン変換する。アフィン変換は高速に行うことが可能であるため、動画像の変換も容易に行うことができる。変形物体の各面についてアフィン変換を行えば、変形前の物体１３０１の映像から変形後の物体１３０２のＣＧ映像を作り出すことができる。
【００４７】
ステップＳ３０６では、ステップＳ３０５で生成したＣＧ映像と撮像部３０１で撮影された実写映像の合成を行う。ここでは実写映像に重ねて、ステップＳ３０５で生成したＣＧ映像が合成される。合成された映像は表示部３０７に送られる。ステップＳ３０７では表示部３０７で映像表示が行われ、合成映像が観察者に提示される。映像表示後は再びステップＳ３０１に戻り、以上の過程が繰り返される。
【００４８】
以上、本実施形態の映像合成装置における物体変形の手順を説明した。この物体変形の処理では合成映像中に変形前の物体と変形後の物体の両方が存在することになるが、先に説明した物体消去の処理と組み合わせて処理を行うことで、あたかも物体を移動したかのような効果を映像にもたらすことが可能である。
【００４９】
以上のように、本実施形態によれば、撮像部（３０１）によって現実世界を撮影して得られた現実画像を、指定された編集に応じて処理するための画像処理方法（画像処理装置）が提供される。この方法によれば、現実世界に対応したモデルデータ（モデルデータ格納部３０３）を用いて、撮像部の位置及び姿勢からみたモデル画像が生成され（射影変換部３０３、ステップＳ２０２、Ｓ２０４、Ｓ３０２、Ｓ３０４）、このモデル画像に基づいて、指定された編集の実現に必要な部分画像を生成するために、現実画像より画像情報を抽出すべき部分が決定される（ＣＧ映像生成部３０５、ステップＳ２０５、Ｓ２０６、Ｓ３０４、Ｓ３０５、Ｓ４０１〜Ｓ４０５）。そして、現実画像中の上記決定された抽出部分に対応する画像情報を用いて部分画像を生成し（ＣＧ映像生成部３０５、ステップＳ２０６、Ｓ３０５、Ｓ４０６）、生成された部分画像を現実画像中に合成する（映像合成部３０６、ステップＳ２０７、Ｓ３０６）。
【００５０】
以上のような構成により、例えば現実世界の映像にＣＧ映像を合成するような映像合成装置において、現実世界に存在する物体があたかも消去されたかのような映像を違和感なく生成することができる。また、現実世界にある物体が実際の位置とは異なる位置に移動したかのような映像を生成したり、実際とは異なる形状となったかのような映像を生成することができる。
【００５１】
また、上記実施形態によれば、指定された編集として、前記現実世界における所望の物体の削除が示されている。この場合、生成される部分画像は、削除対象物体の占めていた領域に対応する形状を有することになる（図１０の領域９０４）。また、更に、その削除対象物体の占めていた領域を、その背後のモデルの領域によって分割し、各分割領域毎に抽出部分が決定される（図１０）。そして、分割領域の各々に対応する抽出部分は、分割領域が属する背後のモデルの領域内であって、該分割領域の近傍の部分が選ばれる（ステップＳ４０３〜Ｓ４０７）。
【００５２】
或いは、上記実施形態によれば、指定された編集として、現実世界における所望の物体を変形（変形した物体の貼り付け）が開示されている。この場合、所望の物体に対応するモデルを変形させ、変形後のモデルの各部に対応した抽出部分を決定し、抽出部分の画像を変形後のモデルの各部に対応するように変換して用いることにより、物体の変形後の状態を表す部分画像が生成される（図１３〜図１５）。なお、指定される変形としては、所望の物体の拡大、縮小、回転が含まれる。なお、図１３〜図１５の実施形態では回転編集を示してあるが、拡大や縮小においても、編集対象の物体の各面に対応する画像情報を実写画像から取得して、変形後の各面に適応させることになる。
【００５３】
また、上記実施形態において、モデルデータは２．５次元モデル、或いは３次元モデルを利用することができる。
【００５４】
なお、本実施形態では、３次元モデルや２．５次元モデルについて説明したが、格納されるデータは現実世界およびＣＧを表現できるものであれば何でもよく、たとえばパノラマ画像であってもよい。そうした場合にもここで述べた手順を用いることで、求める効果を得ることができる。
【００５５】
また、撮影画像をリアルタイムに処理して合成のための部分画像を生成し、これを実写映像にリアルタイムに合成することで、編集の施された映像をリアルタイムに観察することが可能となる。
【００５６】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００５７】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５８】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００５９】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６０】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６１】
【発明の効果】
以上説明したように、本発明によれば、現実世界に存在する物体が変化した画像を違和感なく観察できる。
【図面の簡単な説明】
【図１】撮像装置で撮影される実写映像を表す図である。
【図２】実写映像にＣＧ映像を合成することでつくられる、ビルが消去されたかのような映像を表す図である。
【図３】本実施形態による映像合成装置の構成例を示すブロック図である。
【図４】実写映像にＣＧ映像を合成することでつくられる、ビルが移動したかのような映像を表す図である。
【図５】本実施形態による現実世界の一例を表す図である。
【図６】本実施形態における現実世界の３次元モデルを表す図である。
【図７】観察者の持つ映像合成装置の撮像部が捉えた実写映像の一例を表す図である。
【図８】現実世界に対応したモデルを射影変換した映像を表す図である。
【図９】現実世界に対応したモデルから消去物体を除いて射影変換した映像を表す図である。
【図１０】消去物体の占める領域が消去後にはどのモデルによって占められるかを説明した図である。
【図１１】本実施形態における、物体消去の手順について説明したフローチャートである。
【図１２】本実施形態における、物体変形の手順について説明したフローチャートである。
【図１３】本実施形態において、変形前の物体を射影変換した映像を表す図である。
【図１４】本実施形態において、物体を３次元モデル上で変形した後に射影変換した映像を表す図である。
【図１５】本実施形態において、アフィン変換により変形後の物体のＣＧ映像を作り出す方法を説明する図である。
【図１６】本実施形態における現実世界に対応した２．５次元モデルを表す図である。
【図１７】ある領域のＣＧ映像を他の領域の映像を参照して生成する方法を説明する図である。
【図１８】ある領域のＣＧ映像を他の領域の映像を参照して生成する方法を説明する図である。
【図１９】ある領域のＣＧ映像を他の領域の映像を参照して生成する方法を説明する図である。
【図２０】ある領域のＣＧ映像を他の領域の映像を参照して生成する方法を説明する図である。
【図２１】ある領域のＣＧ映像を他の領域の映像を参照して生成する方法を説明するフローチャートである。
【図１】
2004310686.tif 000003
【図２】
2004310686.tif 000004
【図３】
2004310686.tif 000005
【図４】
2004310686.tif 000006
【図５】
2004310686.tif 000007
【図６】
2004310686.tif 000008
【図７】
2004310686.tif 000009
【図８】
2004310686.tif 000010
【図９】
2004310686.tif 000011
【図１０】
2004310686.tif 000012
【図１１】
2004310686.tif 000013
【図１２】
2004310686.tif 000014
【図１３】
2004310686.tif 000015
【図１４】
2004310686.tif 000016
【図１５】
2004310686.tif 000017
【図１６】
2004310686.tif 000018
【図１７】
2004310686.tif 000019
【図１８】
2004310686.tif 000020
【図１９】
2004310686.tif 000021
【図２０】
2004310686.tif 000022
【図２１】
2004310686.tif 000023