(57)【特許請求の範囲】
【請求項１】
前景画像データにライティング効果を施し、背景画像データに合成を行う映像処理装置であって、
前記背景画像データと、当該背景画像データを撮像した際の撮像装置に対する少なくとも１つの光源の位置を表す光源情報と、前記前景画像データとしての被写体の動画像データを記憶する記憶手段と、
前記背景画像データにおける、前記被写体の初期の合成位置を取得する合成位置取得手段と、
取得した前記初期の合成位置を前記動画像データにおける前記被写体の初期配置位置とする、前記被写体と前記背景画像データとの合成フレームを順に生成することで、合成動画像データを生成する合成動画像生成手段とを備え、
前記合成動画像生成手段は、
前記合成フレームを生成する毎に、前記背景画像データにおける前記被写体の前記合成位置の空間座標を取得する空間座標取得手段と、
該空間座標取得手段で取得した前記被写体の前記空間座標と、前記記憶手段から取得した前記光源情報が示す各光源との距離を算出する算出手段と、
前記記憶手段から取得した前記光源情報が示す光源のうち、前記算出手段で算出した距離が予め設定された閾値を超える光源の位置は変更せず、前記算出手段で算出した距離が前記閾値以下となる光源については前記被写体から見た光源の位置を求め、前記取得した光源情報における該当する光源の位置を、前記求めた位置により変更する変更手段と、
該変更手段による変更処理後の光源情報が示す各光源の位置を用いて、前記被写体にライティング効果を施すライティング手段と、
該ライティング手段によるライティング効果が施された前記被写体を、前記背景画像データにおける前記被写体の配置位置に合成することで前記合成フレームを生成する合成手段とを含む
ことを特徴とする映像処理装置。
【請求項２】
前景画像データにライティング効果を施し、背景画像データに合成を行う映像処理装置であって、
前記背景画像データと、当該背景画像データを撮像した際の撮像装置に対する少なくとも１つの光源の位置を表す光源情報と、前記前景画像データとしての被写体の動画像データを記憶する記憶手段と、
前記背景画像データにおける、前記被写体の初期の合成位置を取得する合成位置取得手段と、
取得した前記初期の合成位置を前記動画像データにおける前記被写体の初期配置位置とする、前記被写体と前記背景画像データとの合成フレームを順に生成することで、合成動画像データを生成する合成動画像生成手段とを備え、
前記合成動画像生成手段は、
前記合成フレームを生成する毎に、前記背景画像データにおける前記被写体の前記合成位置の空間座標を取得する空間座標取得手段と、
該空間座標取得手段で取得した前記被写体の前記空間座標と直前のフレームにおける前記被写体の空間座標との差分を算出し、当該差分が予め設定された第１の閾値以上であるか否かを判定する判定手段と、
該判定手段によって前記差分が前記第１の閾値以上であると判定された場合、前記合成フレームにおける前記被写体の前記空間座標と、前記記憶手段から取得した前記光源情報が示す各光源との距離を算出する算出手段と、
前記記憶手段から取得した前記光源情報が示す光源のうち、前記算出手段で算出した距離が予め設定された第２の閾値を超える光源の位置は変更せず、前記算出手段で算出した距離が前記第２の閾値以下となる光源については前記被写体から見た光源の位置を求め、前記取得した光源情報における該当する光源の位置を、前記求めた位置により変更する変更手段と、
前記判定手段によって前記差分が前記第１の閾値以上ではないと判定された場合には、直前のフレームで用いた前記光源情報が示す各光源の位置を用いて前記被写体にライティング効果を施し、
前記判定手段によって前記差分が前記第１の閾値以上であると判定された場合には、前記変更手段により得られた光源情報が示す各光源の位置を用いて前記被写体にライティング効果を施すライティング手段と、
該ライティング手段によるライティング効果が施された前記被写体を、前記背景画像データにおける前記被写体の配置位置に合成することで前記合成フレームを生成する合成手段とを含む
ことを特徴とする映像処理装置。
【請求項３】
背景画像データと、当該背景画像データを撮像した際の撮像装置に対する少なくとも１つの光源の位置を表す光源情報と、前景画像データとしての被写体の動画像データを記憶する記憶手段を有し、前記前景画像データにライティング効果を施し、前記背景画像データに合成を行う映像処理装置の制御方法であって、
合成位置取得手段が、前記背景画像データにおける、前記被写体の初期の合成位置を取得する合成位置取得工程と、
合成動画像生成手段が、取得した前記初期の合成位置を前記動画像データにおける前記被写体の初期配置位置とする、前記被写体と前記背景画像データとの合成フレームを順に生成することで、合成動画像データを生成する合成動画像生成工程とを備え、
前記合成動画像生成工程は、
空間座標取得手段が、前記合成フレームを生成する毎に、前記背景画像データにおける前記被写体の前記合成位置の空間座標を取得する空間座標取得工程と、
算出手段が、該空間座標取得工程で取得した前記被写体の前記空間座標と、前記記憶手段から取得した前記光源情報が示す各光源との距離を算出する算出工程と、
変更手段が、前記記憶手段から取得した前記光源情報が示す光源のうち、前記算出工程で算出した距離が予め設定された閾値を超える光源の位置は変更せず、前記算出工程で算出した距離が前記閾値以下となる光源については前記被写体から見た光源の位置を求め、前記取得した光源情報における該当する光源の位置を、前記求めた位置により変更する変更工程と、
ライティング手段が、該変更工程による変更処理後の光源情報が示す各光源の位置を用いて、前記被写体にライティング効果を施すライティング工程と、
合成手段が、該ライティング工程によるライティング効果が施された前記被写体を、前記背景画像データにおける前記被写体の配置位置に合成することで前記合成フレームを生成する合成工程とを含む
ことを特徴とする映像処理装置の制御方法。
【請求項４】
背景画像データと、当該背景画像データを撮像した際の撮像装置に対する少なくとも１つの光源の位置を表す光源情報と、前景画像データとしての被写体の動画像データを記憶する記憶手段を有し、前記前景画像データにライティング効果を施し、前記背景画像データに合成を行う映像処理装置の制御方法であって、
合成位置取得手段が、前記背景画像データにおける、前記被写体の初期の合成位置を取得する合成位置取得工程と、
合成動画像生成手段が、取得した前記初期の合成位置を前記動画像データにおける前記被写体の初期配置位置とする、前記被写体と前記背景画像データとの合成フレームを順に生成することで、合成動画像データを生成する合成動画像生成工程とを備え、
前記合成動画像生成工程は、
空間座標取得手段が、前記合成フレームを生成する毎に、前記背景画像データにおける前記被写体の前記合成位置の空間座標を取得する空間座標取得工程と、
判定手段が、該空間座標取得工程で取得した前記被写体の前記空間座標と直前のフレームにおける前記被写体の空間座標との差分を算出し、当該差分が予め設定された第１の閾値以上であるか否かを判定する判定工程と、
算出手段が、該判定工程によって前記差分が前記第１の閾値以上であると判定された場合、前記合成フレームにおける前記被写体の前記空間座標と、前記記憶手段から取得した前記光源情報が示す各光源との距離を算出する算出工程と、
変更手段が、前記記憶手段から取得した前記光源情報が示す光源のうち、前記算出工程で算出した距離が予め設定された第２の閾値を超える光源の位置は変更せず、前記算出工程で算出した距離が前記第２の閾値以下となる光源については前記被写体から見た光源の位置を求め、前記取得した光源情報における該当する光源の位置を、前記求めた位置により変更する変更工程と、
ライティング手段が、
前記判定工程によって前記差分が前記第１の閾値以上ではないと判定された場合には、直前のフレームで用いた前記光源情報が示す各光源の位置を用いて前記被写体にライティング効果を施し、
前記判定工程によって前記差分が前記第１の閾値以上であると判定された場合には、前記変更工程により得られた光源情報が示す各光源の位置を用いて前記被写体にライティング効果を施すライティング工程と、
合成手段が、該ライティング工程によるライティング効果が施された前記被写体を、前記背景画像データにおける前記被写体の配置位置に合成することで前記合成フレームを生成する合成工程とを含む
ことを特徴とする映像処理装置の制御方法。
【請求項５】
コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項３または４に記載の映像処理装置の制御方法の各工程として機能させるためのプログラム。
【請求項６】
請求項５に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理技術に関し、特に画像合成の際、背景用画像および合成位置に応じて前景用画像にライティング効果を施す映像処理技術に関する。
【背景技術】
【０００２】
前景用画像から被写体を切り出し背景用へ合成することは、映像編集において良く行われている。たとえばブルーバックで撮影した映像から被写体をクロマキーで切り出した後、異なる映像に合成するなどがその典型である。その際、合成後の映像を自然なものとするためには、背景用映像のライティングと前景用映像のライティングが一致している必要がある。ライティングを一致させるために、ＣＧを用いて実写画像にライティング効果を施すことが行われている。
【０００３】
ＣＧを用いたライティングとして、ライティング環境を３Ｄモデル化し、光の経路を計算するレイトレーシングやラジオシティを用いてライティングすることが良く行われている。
【０００４】
また、背景用画像を撮影した現場の全周囲画像を撮影し、撮影した全周囲画像を光源画像として用いライティング効果を施す、イメージベースドライティングが良く行われている（非特許文献１、非特許文献２）。また、遠方の光源をイメージベースドライティングで行い、近傍の光源については３Ｄモデルを利用し、ライティング効果を施すことも行われている。（非特許文献３）
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Peter-Pike Sloan and Ben Luna and John Snyder”Local, Deformable Precomputed Radiance Transfer” SIGGRAPH ACM ACM SIGGRAPH 2005 Papers
【非特許文献２】Zhong Ren and Rui Wang and John Snyder and Kun Zhou and Xinguo Liu and Bo Sun and Peter-Pike Sloan and Hujun Bao and Qunsheng Peng and Baining Guo”Real-time Soft Shadows in Dynamic Scenes using Spherical Harmonic Exponentiation”, SIGGRAPH ACM SIGGRAPH 2006 Papers
【非特許文献３】古矢志帆、伊藤貴之”近傍光源を含むシーンのイメージベースドライティグ”情報処理学会全国大会講演論文集
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記従来件のイメージベースドライティングを用いた手法では、合成位置を変更した場合、合成位置に応じた全周囲画像をあらかじめ用意しておく必要がある。これは合成位置が変化すると、近傍光源と合成位置との位置関係が大きく変化し、ライティングが大きく変化してしまうためである。合成位置に応じた全周囲画像を用いない場合、不自然なライティング効果が施されてしまう。あらかじめ合成する位置が決まっていれば、有限個の全周囲画像を用意すればよい。合成位置は無数にあるため、合成位置に応じたすべての全周囲画像をあらかじめ用意することは不可能である。
【０００７】
また、上記従来件のレイトレーシングやラジオシティを用いた手法では、背景用画像を撮影した現場の照明環境を手作業で３Ｄモデル化しなければならず手間がかかってしまう。また、レイトレーシングやラジオシティは、光線の経路を計算してライティングを行うが、より自然なライティングを実現されるためには、光線の経路が何度も分岐するため計算量が多くなってしまう。
【０００８】
本発明は、上記問題を解決し、容易に合成位置に応じたライティング効果を施すことを可能とする技術を提供しようとするものである。
【課題を解決するための手段】
【０００９】
この課題を解決するため、例えば本発明の映像処理装置は以下の構成を備える。すなわち、
前景画像データにライティング効果を施し、背景画像データに合成を行う映像処理装置であって、
前記背景画像データと、当該背景画像データを撮像した際の撮像装置に対する少なくとも１つの光源の位置を表す光源情報と、前記前景画像データとしての被写体の動画像データを記憶する記憶手段と、
前記背景画像データにおける、前記被写体の初期の合成位置を取得する合成位置取得手段と、
取得した前記初期の合成位置を前記動画像データにおける前記被写体の初期配置位置とする、前記被写体と前記背景画像データとの合成フレームを順に生成することで、合成動画像データを生成する合成動画像生成手段とを備え、
前記合成動画像生成手段は、
前記合成フレームを生成する毎に、前記背景画像データにおける前記被写体の前記合成位置の空間座標を取得する空間座標取得手段と、
該空間座標取得手段で取得した前記被写体の前記空間座標と、前記記憶手段から取得した前記光源情報が示す各光源との距離を算出する算出手段と、
前記記憶手段から取得した前記光源情報が示す光源のうち、前記算出手段で算出した距離が予め設定された閾値を超える光源の位置は変更せず、前記算出手段で算出した距離が前記閾値以下となる光源については前記被写体から見た光源の位置を求め、前記取得した光源情報における該当する光源の位置を、前記求めた位置により変更する変更手段と、
該変更手段による変更処理後の光源情報が示す各光源の位置を用いて、前記被写体にライティング効果を施すライティング手段と、
該ライティング手段によるライティング効果が施された前記被写体を、前記背景画像データにおける前記被写体の配置位置に合成することで前記合成フレームを生成する合成手段とを含むことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、容易に合成位置に応じたライティング効果を前景用画像に施すことができ、映像を合成しても自然な映像とすることができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態における、映像編集装置のハードウエア構成図。
【図２】第１の実施形態における、フォトフレームの外観の図。
【図３】第１の実施形態における、映像編集画面で被写体の合成位置を変更した前後のスクリーンショットを示す図。
【図４】第１の実施形態における、映像編集装置の機能ブロック図。
【図５】第１の実施形態における、光源パラメータテーブルを表す図。
【図６】第１の実施形態における、合成位置座標データを表す図。
【図７】第１の実施形態における、投影情報のデータを表す図。
【図８】第１の実施形態における、映像編集装置の処理のフローチャート。
【図９】第１の実施形態における、映像編集処理のフローチャート。
【図１０】第１の実施形態における、光源パラメータ変更処理のフローチャート。
【図１１】第１の実施形態における、ライティング処理のフローチャート。
【図１２】第１の実施形態における、合成処理のフローチャート。
【図１３】第２の実施形態における、光源パラメータテーブルを表す図。
【図１４】第２の実施形態における、映像編集装置のフローチャート。
【図１５】第２の実施形態における、映像編集処理のフローチャート。
【図１６】第２の実施形態における、光源パラメータ変更処理のフローチャート。
【図１７】第３の実施形態における、映像編集処理のフローチャート。
【図１８】第４の実施形態における、準備処理のフローチャート。
【図１９】第４の実施形態における、光源パラメータテーブルを表す図。
【図２０】第４の実施形態における、映像編集処理のフローチャート。
【発明を実施するための形態】
【００１２】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００１３】
［第１の実施形態］
以下、図面を用いて本実施形態について説明する。
【００１４】
図１に本実施形態を実現するためのハードウエア構成図を示す。ＣＰＵ１０１は、各構成の全ての処理にかかわり、ＲＯＭ１０２やＲＡＭ１０３に格納された命令を順に読み込み、解釈し、その結果に従って処理を事項する。また、ＲＯＭ１０２とＲＡＭ１０３は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ１０１に提供する。記憶媒体１０４は、画像データなどを記憶する記憶媒体（もしくはデバイス）であって、例えばハードディスク、ＣＦカード、ＳＤカード、ＵＳＢメモリ、メモリーカードなどである。入力装置１０５は、タッチスクリーン、キーボード、マウスなどの入力機器であり、ユーザからの指示を受け取る。出力装置１０６は、一般的には液晶ディスプレイが広く用いられており、画像や文字の表示を行う。また、タッチパネル機能を有していても良く、その場合は、入力装置１０５として扱うことも可能である。
【００１５】
本実施形態では、上記映像編集装置の一形態としてフォトフレームに適用した例を説明する。
【００１６】
図２は、本実施形態における映像処理装置であるフォトフレームの正面図である。タッチスクリーンディスプレイ２０１は、画像を表示するためのディスプレイであり、かつ、ユーザの入力を受け取る入力機器である。このタッチスクリーンディスプレイ２０１は、図１における出力装置１０６と入力装置１０５に相当することになり、同時に複数の入力の座標を個々に検出することが可能である。２０２は、電源ボタンである。
【００１７】
図３に、本実施形態における映像編集画面で被写体の合成位置を変更した前後のスクリーンショットを示す。３０１は背景用画像、３０２は合成されている前景用画像である。記憶媒体１０４に、背景用画像、前景用画像それぞれが区別されて、多数格納されていて、図示の背景用画像３０１、前景用画像３０２はその中からユーザが指定したものである。前景用画像にはα値（透明度）が付加されてあり、所望の被写体が切り抜かれている。本実施形態では、前景用画像３０２は動画像であり、再生されることにより、被写体が動き、その合成位置が変化する。合成位置の変更に伴い、前景用画像３０３に、合成位置に応じたライティング効果を施す。尚、本実施形態では、前景用画像が動画像のため合成位置が変化しているが、これは一例であり、これに限るものではない。例えば、ユーザが前景用画像をドラッグすることにより、前景用画像の合成位置を変更してもよい。またはユーザ操作に応じて、前景用画像のスケールを変更や、背景用画像を移動またはスケールを変更するなどしてもよい。
【００１８】
図４に本実施形態の装置の機能ブロック図を示している。図示において、４０１は、前景用画像である。４０２は、背景用画像である。４０３は、背景用画像４０２の各画素の奥行きを表す背景用画像奥行き情報である。奥行き情報は、背景用画像４０２と同じ解像度の画像形式で、各画素のＲＧＢ成分に奥行き情報を記録する。また、背景画像をステレオ画像として撮影し、ステレオマッチング法を用いることにより、背景用画像奥行き情報を生成する。尚、ステレオマッチング法を用いて奥行き情報を生成することは一例であり、これに限るものではない。例えば、背景用画像の直線および消失点を検出し、奥行き情報を推定してもよい。また、ユーザが指定してもよい。４０４は、背景用画像を撮影した位置から見た光源の位置情報または照度情報を表す光源パラメータである。光源の位置情報は、特開２０１０−１８１８２６号公報などを用いて、背景用画像を撮影した位置の全周囲画像およびその奥行き情報を生成することによって、取得する。光源の照度情報は、背景用画像を撮影した位置の全周囲画像をＨＤＲ画像で撮影し、その画像の輝度値を照度情報として取得する。尚、これらは一例であり、これに限るものではない。例えば、光源の位置情報は、ユーザが指定してもよいし、測距センサーを用いて光源までの知情報を取得してもよい。また、光源の照度情報は、ユーザが指定しても良いし、照度計で測定してもよい。
【００１９】
図５に光源パラメータのテーブルの一例を示す。５０１は、各光源を識別するためのＩＤである。全周囲画像中で一定以上の輝度値がある領域を光源とし、その重心を光源の位置とする。５０２は、背景画像撮影位置から光源までの距離情報である。単位はメートルである。距離情報が取得できなかった場合は、無限遠に存在するとして「−１」を保持する。５０３および５０４は背景画像撮影位置からみた光源の方向で、方位角および仰角である。単位は度である。尚、本実施形態では、全周囲画像で一定上の輝度値を持つ領域を光源の領域とみなしているが、これは一例であり、これに限るものではない。例えば、各画素それぞれを光源として扱ってもよい。また、本実施形態では、光源位置を極座標系で保持しているが、これは一例でありこれに限るものではない。例えば、直交座標系で保持してもよい。
【００２０】
図４の説明に戻る。図示の４０５は、光の伝搬をあらかじめ算出した結果である。光伝搬事前計算結果である。算出には、先に示した非特許文献１や非特許文献２などを用いて行う。４０６は、本実施形態における映像編集装置の編集結果である合成画像である。前景用画像４０１、背景用画像４０２、背景用画像奥行き情報４０３、光源パラメータ４０４、光伝搬事前計算結果４０５および合成画像４０６は、記録媒体１０４に記録される。４１０は、本実施形態における映像編集装置である。４１１は、合成位置として背景用画像上の座標を取得する合成位置取得部である。入力装置１０５を用いてユーザが指定した背景用画像上の座標を合成位置として取得する。また、あらかじめユーザが指定した合成の基準点となる前景用画像上の画素の、背景用画像上の座標を合成位置として取得する。尚、合成の基準点をユーザが指定しているが、これは一例であり、これに限るものではない。例えば、顔検出を行い顔の位置を合成位置の基準としてもよい。また、前景用画像の不透明部分の最下部を合成位置の基準としてもよい。
【００２１】
図６に合成位置情報の一例を示す。６０１は、合成位置の背景用画像上のＸ座標、６０２はＹ座標である。
【００２２】
引き続き図４に基づき、本実施形態の説明を行う。４１２は、背景用画像の奥行き情報から生成した空間の座標を、背景用画像上の二次元の座標に投影した投影情報を生成する投影部である。透視投影法を用いて、投影を行う。
【００２３】
図７に投影情報の一例を示す。７０１は、背景用画像上の二次元の座標である。７０２はＸ座標である。７０３はＹ座標である。７１１は、背景用画像の奥行き情報から生成した空間上の座標である。７１２はＸ座標である。７１３はＹ座標である。７１４はＺ座標である。尚、これは一例であり、これに限るものではない。例えば、背景用画像上の各画素に対応するＸ座標、Ｙ座標、Ｚ座標をＲ、Ｇ、Ｂ情報とし画像情報として保持してもよい。
【００２４】
引き続き図４に基づき、本実施形態について説明する。４１３は、投影部４１２が生成した投影情報に基づき、合成位置取得部４１１で取得した背景用画像上の座標に対応する空間座標を取得する、空間座標取得部である。
【００２５】
４１４は、合成位置の空間座標と光源との距離または合成位置の空間座標から見た光源の照度を算出する光源距離または照度算出部である。詳細は後述する。４１５は、光源パラメータを変更する光源パラメータ変更手段である。詳細は後述する。４１６は、光源パラメータ変更部４１５が変更した光源パラメータに基づき、前景用画像にライティング効果を施すライティング部である。詳細は後述する。尚、ここで前景用画像に、陰影部分を除去する処理を行ってから、ライティング効果を施してもよい。陰影部分の除去は、特開２０１０−１３５９９６号公報などに開示された技術を用いて行う。４１７は、４１１が取得した合成位置に、ライティング部４１６よってライティング効果を施された前景用画像を背景用画像に合成する合成部である。合成部４１６の合成結果は、記録媒体１０４および出力装置１０６へ出力される。
【００２６】
図８に、本実施形態における映像編集装置のＣＰＵ１０１が実行する制御処理手順のフローチャートを示す。映像編集装置が起動されると、記録媒体１０４からユーザが選択した前景用画像を取得する（Ｓ８０１）。本実施形態では、動画像を取得する。次に、記録媒体１０４からユーザが選択した背景用画像を取得する（Ｓ８０２）。入力装置１０５からのユーザ入力から、初期合成位置を取得する（Ｓ８０３）。記録媒体１０４から、Ｓ８０２で取得した背景用画像に応じた奥行き情報を取得する（Ｓ８０４）。記録媒体１０４から、Ｓ８０２で取得した背景用画像に応じた光源パラメータのテーブルを取得する（Ｓ８０５）。映像編集処理を開始する（Ｓ８０６）。この映像編集処理の詳細については後述する。編集が完了した画像を記録媒体１０４へ記録する（Ｓ８０７）。終了操作が行われたか否かを判定する（Ｓ８０８）。終了操作が行われていないと判定した場合（Ｓ８０８）、前景用画像を取得する（Ｓ８０１）。終了操作が行われたと判定した場合（Ｓ８０８）、映像編集装置を終了する。
【００２７】
図９に、本実施形態における上記のＳ８０６の映像編集処理のフローチャートを示す。映像編集処理が開始されると、Ｓ８０４で取得した背景用画像奥行き情報から生成した空間の座標を、背景用画像上の二次元の座標に投影し、投影情報を生成する（Ｓ９０１）。Ｓ８０１で取得した前景用画像の先頭フレームを取得する（Ｓ９０２）。光源パラメータ変更処理を行う（Ｓ９０３）。光源パラメータ変更処理の詳細は後述する。ライティング処理を行う（Ｓ９０４）。ライティング処理の詳細は後述する。合成処理を行う（Ｓ９０５）。合成処理の詳細は後述する。合成画像を表示装置１０６へ表示する（Ｓ９０６）。映像編集終了操作が行われたか否か判定する（Ｓ９０７）。終了操作がされたと判定した場合（Ｓ９０７）、映像編集処理を終了する。終了操作がされていないと判定した場合（Ｓ９０７）、前景用画像として用いた動画像に次のフレームがあるか否か判定する（Ｓ９０８）。次のフレームが有ると判定された場合（Ｓ９０８）、前景用画像として動画像の次のフレーム画像を取得する（Ｓ９０９）。前景のあらかじめ定めた画素を検出し、前のフレームとの位置の変化だけ、合成位置を変更する（Ｓ９１０）。次のフレームが無いと判定された場合（Ｓ９０８）、映像編集処理を終了する。
【００２８】
図１０に、本実施形態における光源パラメータ変更処理９０３のフローチャートを示す。光源パラメータ変更処理が開始されると、Ｓ９０１で生成した投影情報から合成位置の空間座標を取得する（Ｓ１００１）。Ｓ８０５で取得した光源パラメータテーブルから光源パラメータを取得する（Ｓ１００２）。Ｓ１００１で取得した合成位置の空間座標およびＳ１００２で取得した光源パラメータから、光源の距離を式１、式２に基づき算出する（Ｓ１００３）。
【００２９】
光源パラメータの距離情報５０２をＲ、方位角５０３をθ、仰角５０４をφとする。合成位置の空間座標のｘ座標をＸc、ｙ座標をＹc、ｚ座標をＺcとする。算出する距離をＲlとする。
Ｘl＝Ｒ・ｃｏｓ（θ）ｃｏｓ（φ）−Ｘc
Ｙl＝Ｒ・ｓｉｎ（θ）ｃｏｓ（φ）−Ｙc
Ｚl＝Ｒ・ｓｉｎ（θ）−Ｚc    …（１）
Ｒl＝｛Ｘl2＋Ｙl2＋Ｚl2｝1/2  …（２）
【００３０】
そして、Ｓ１００４にて、Ｓ１００３で算出した値が、閾値以下か否かを判定する。閾値以下と判定された時のみ、Ｓ１００１で取得した合成位置の空間座標およびＳ１００２で取得した光源パラメータに基づき、光源パラメータ変更処理を行う（Ｓ１００５）。パラメータの変更は、式（３）、式（４）に基づき行う。
【００３１】
光源パラメータの距離情報５０２をＲ、方位角５０３をθ、仰角５０４をφとする。合成位置の空間座標のｘ座標をＸc、ｙ座標をＹc、ｚ座標をＺcとする。光源パラメータ変更後の光源のｘ座標をＸl、ｙ座標をＹl、ｚ座標をＺlとする。光源パラメータ変更後の距離情報５０２をＲl、方位角５０３をθl、仰角５０４をφlとする。
Ｘl＝Ｒ・ｃｏｓ（θ）ｃｏｓ（φ）−Ｘc
Ｙl＝Ｒ・ｓｉｎ（θ）ｃｏｓ（φ）−Ｙc
Ｚl＝Ｒ・ｓｉｎ（θ）−Ｚc    …（３）
Ｒl＝｛Ｘl2＋Ｙl2＋Ｚl2｝1/2
θl＝arccos｛Ｘl／{（Ｘl2+Ｙl2）1/2}｝
φl＝arcsin｛Ｚl／{（Ｘl2+Ｙl2）1/2}｝    …（４）
【００３２】
すべての光源パラメータを処理したか否かを判定する（Ｓ１００６）。すべての光源パラメータを処理していないと判定された場合（Ｓ１００６）。次の光源パラメータを取得する（Ｓ１００１）。すべての光源パラメータを処理した場合（Ｓ１００６）、光源パラメータ変更処理を終了する。尚、この光源パラメータ変更処理は一例であり、これに限るものではない。例えば、光源パラメータを全周囲画像およびその奥行き情報を画像情報として保持する。光源ごとに画像を分割する。合成位置から見た各光源の方向が一致するように、分割した各光源の画像に回転、平行移動、拡大および縮小処理を行う。このように処理してもよい。
【００３３】
図１１に、本実施形態における、ライティング処理Ｓ９０４のフローチャートを示す。前景用画像の形状に基づき、事前に計算していた自己遮蔽情報や遮蔽情報などの光伝搬情報を取得する（Ｓ１１０１）。前景用画像の形状は、ステレオ撮影した前景用画像しておき、ステレオマッチングを用いて取得した奥行き情報に基づき推定する。Ｓ９０３で変更処理を行った光源パラメータのテーブルを取得する（Ｓ１１０２）。取得した光源パラメータおよび光伝搬情報に基づき、各画素の放射輝度を算出する（Ｓ１１０３）。算出した放射輝度に基づき、前景用画像の各画素の色を変更する（Ｓ１１０４）。尚、光伝搬の算出および放射輝度の算出は、非特許文献１や非特許文献２などを用いて行う。
【００３４】
図１２に、本実施形態における、合成処理Ｓ９０５のフローチャートを示す。前景用画像の画素を取得する（Ｓ１２０１）。取得した画素が合成される位置の背景用画素を取得する（Ｓ１２０２）。前景用画像の画素値をＦ、前景用画像のα値をα、背景用画像の画素値をＢ、合成後の画素値Ｃとすると、式（５）に基づき合成処理を行う（Ｓ１２０３）。
Ｃ＝Ｆα＋Ｂ（１−α）    …（５）
【００３５】
このように構成し処理することにより、容易に合成位置に応じたライティング効果を前景用画像に施すことができ、映像を合成しても自然な映像とした合成画像４０６として生成される。後は、ユーザの指定により、この合成画像４０６を再生処理を行うことになる。
【００３６】
［第２の実施形態］
次の第２の実施形態を説明する。尚、第１の実施形態に準ずる箇所は、説明を割愛する。本第２の実施形態では、前景用画像として静止画を利用し、ユーザがドラッグ操作など行い所望の合成位置を指定する。その際、合成位置の変化に応じて、前景用画像には、ライティング効果が施される。また、光源の強度に基づき、光源パラメータを変更するか否かを判定する。
【００３７】
図１３に、第２の実施形態における光源パラメータの一例を示す。第１の実施形態に準ずる箇所は説明を割愛する。１３０１は、光源の照度情報である。本実施形態では、式（６）を用いて、全周囲画像の各画素のＲＧＢ値からＸＹＺ値に変換し、Ｙの値を照度として取得する。
Ｘ＝０．４１２４５３Ｒ＋０．３５７５８Ｇ＋０．１８０４２３Ｂ
Ｙ＝０．２１２６７１Ｒ＋０．７１５１６Ｇ＋０．０７２１６９Ｂ
Ｚ＝０．０１９３３４Ｒ＋０．１１９１９３Ｇ＋０．９５０２２７Ｂ  …（６）
尚、これは一例であり、これに限るものではない。例えば、ＨＳＶに変換しＶの値を照度としてもよい。
【００３８】
図１４に、第２の実施形態における映像編集装置のフローチャートを示す。第１の実施形態に準ずる箇所は説明を割愛する。記録媒体１０４から、前景用画像としてユーザが選択した静止画を取得する（Ｓ１４０１）。
【００３９】
図１５に、第２の実施形態における、映像編集処理Ｓ８０６のフローチャートを示す。第１の実施形態に準ずる箇所は説明を割愛する。入力装置１０５からのユーザ入力から、合成位置を取得する（Ｓ１５０１）。
【００４０】
図１６に、第２の実施形態における、光源パラメータ変更処理Ｓ９０３のフローチャートを示す。第１の実施形態に準ずる箇所は説明を割愛する。式（１）、式（２）を用いて、Ｓ９０６で取得した合成位置の空間座標から光源まで距離を算出する。算出した距離および光源パラメータから、合成位置の空間座標から見た照度を、式（７）を用いて算出する（Ｓ１６０１）。光源パラメータの照度をＥ、算出する照度をＥlとする。
Ｅl＝Ｅ・（Ｒ・Ｒ）／（Ｒl・Ｒl） …（７）
尚、これは一例であり、これに限るものではない。光源パラメータの照度Ｅを判定基準として用いてもよい。算出した照度があらかじめ定めた閾値以上か否かを判定する（Ｓ１６０２）。算出した照度が閾値以上の場合（Ｓ１６０２）、光源パラメータを変更する（Ｓ１００５）。尚、Ｓ１００５では、光源パラメータの位置情報を変更しているが、これは一例であり、これに限るものではない。光源パラメータの照度情報を式（５）に基づき変更してもよい。算出した照度が閾値未満の場合（Ｓ１６０２）、すべての光源パラメータを処理したか判定する（Ｓ１００６）。
【００４１】
このように構成し処理することにより、容易に合成位置に応じたライティング効果を前景用画像に施すことができ、映像を合成しても自然な映像とすることができる。
【００４２】
［第３の実施形態］
次に第３の実施形態を説明する。尚、第１の実施形態および第２の実施形態に準ずる箇所は説明を割愛する。第３の実施形態では、合成位置の変化量に応じて、Ｓ９０７の算出処理、Ｓ９０８の判定処理、Ｓ９０９の光源パラメータ変更処理を行うか否かを決定する。
【００４３】
図１７に、本第３の実施形態における、映像編集処理のフローチャートを示す。尚、第１の実施形態および第２の実施形態に準ずる箇所は説明を割愛する。図示のように、本第３の実施形態では、合成位置の変化量が閾値以上か否か（合成位置の変化量があらかじめ定めた範囲以上か否か）を判定する工程（Ｓ１７０１）を有する。そして、閾値未満、すなわち、合成位置の変化量があらかじめ定めた範囲内であると判定された場合（Ｓ１７０１がＮｏ）には、ライティング処理を行う（Ｓ９０４）。そして、閾値以上と判定された場合（Ｓ１７０１がＹｅｓ）に、光源パラメータ変更処理を行う（Ｓ９０３）。
【００４４】
このように構成し処理することにより、容易に合成位置に応じたライティング効果を前景用画像に施すことができ、映像を合成しても自然な映像とすることができる。
【００４５】
［第４の実施形態］
次に第４の実施形態を説明する。尚、第１乃至３の実施形態に準ずる箇所は説明を割愛する。本第４の実施形態では、映像編集を行う前に準備処理として、あらかじめ合成位置に応じた光源パラメータを多数作成する。映像編集処理時には、合成位置に応じた光源パラメータを取得し、ライティング効果を施す。
【００４６】
図１８に、本第４の実施形態における、準備処理のフローチャートを示す。尚、第１乃至３の実施形態に準ずる箇所は説明を割愛する。背景用画像上の一定間隔でサンプリングした位置を、光源パラメータをあらかじめ生成する候補位置として取得する（Ｓ１８０１）。尚、これは一例であり、これに限るものではない。例えば、ユーザがあらかじめ指定した位置を作成候補位置としてもよい。また、距離が一定以下の地点のみ作成してもよい。変更した光源パラメータを記録媒体へ記録する（Ｓ１８０２）。
【００４７】
図１９に、本第４の実施形態における、記録媒体へ記録された光源パラメータの一例を示す。同図（ａ）は、合成位置に応じた光源パラメータのテーブルを関連付けたテーブルである。１９０１は、合成位置の背景画像上のｘ座標である。単位はピクセルである。１９０２は、合成位置の背景画像上のｙ座標である。単位はピクセルである。１９０３は、光源パラメータのテーブルを一意に判別するためのテーブルＩＤである。同図（ｂ）は光源パラメータのテーブルである。
【００４８】
引き続き図１８を用いて、本実施形態における準備処理について説明する。全候補位置で光源パラメータを生成したか判定する（Ｓ１８０３）。全候補位置で光源パラメータを生成していないと判定した場合（Ｓ１８０３がＮｏ）、次の候補位置を取得する（Ｓ１８０１）。全候補位置で光源パラメータを作成したと判定した場合（Ｓ１８０３がＹｅｓ）、準備処理を終了する。
【００４９】
図２０に、本第４の実施形態における、映像編集処理のフローチャートを示す。尚、第１乃至３の実施形態に準ずる箇所は説明を割愛する。準備処理で作成した光源パラメータの中から、合成位置に最も近い地点で作成した光源パラメータを記録媒体から取得する（Ｓ２００１）。尚、本第４の実施形態では、合成位置に最も近い光源パラメータを記録媒体から取得しているが、これは一例であり、これに限るものではない。例えば、合成位置近傍で作成された光源パラメータを複数取得し、各光源パラメータへの距離に応じて、光源パラメータを線形補間し生成してもよい。
【００５０】
このように構成し処理することにより、容易に合成位置に応じたライティング効果を前景用画像に施すことができ、映像を合成しても自然な映像とすることができる。
【００５１】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005956756.tif 000002
【図２】
0005956756.tif 000003
【図３】
0005956756.tif 000004
【図４】
0005956756.tif 000005
【図５】
0005956756.tif 000006
【図６】
0005956756.tif 000007
【図７】
0005956756.tif 000008
【図８】
0005956756.tif 000009
【図９】
0005956756.tif 000010
【図１０】
0005956756.tif 000011
【図１１】
0005956756.tif 000012
【図１２】
0005956756.tif 000013
【図１３】
0005956756.tif 000014
【図１４】
0005956756.tif 000015
【図１５】
0005956756.tif 000016
【図１６】
0005956756.tif 000017
【図１７】
0005956756.tif 000018
【図１８】
0005956756.tif 000019
【図１９】
0005956756.tif 000020
【図２０】
0005956756.tif 000021