(57)【要約】【課題】擬似的な３次元画像を容易に生成できるようにする。【解決手段】入力画像取得部１１は、入力画像と入力画像のオブジェクト領域を指定する２値マスク画像とを取得する。フレーム図形合成部１６は、方形状のフレーム図形における対辺を構成する一対の辺においては、一方の辺がオブジェクト領域境界との交点を含み、他方の辺がオブジェクト領域境界との交点を含まない方形状のフレーム図形の位置を決定し、入力画像の方形状のフレーム図形の内側領域部分の画素と、入力画像の２値マスク画像のオブジェクト領域部分の画素とを抽出して、合成画像を生成する。本発明は、擬似３次元画像生成装置に適用することができる。【選択図】図１
2011048586.tif 000002
【特許請求の範囲】
【請求項１】
画像の奥行き感を向上させる疑似的な３次元画像を生成する画像処理装置であって、
入力画像と前記入力画像のオブジェクト領域を指定する２値マスク画像とを取得する入力画像取得手段と、
前記入力画像の方形状のフレーム図形の内側領域部分の画素と、前記入力画像の前記２値マスク画像の前記オブジェクト領域部分の画素とを抽出して、合成画像を生成する合成手段と、
前記方形状のフレーム図形における対辺を構成する一対の辺の、一方の辺が前記オブジェクト領域境界との交点を含み、他方の辺が前記オブジェクト領域境界との交点を含まない位置に前記方形状のフレーム図形の前記合成画像内の位置を決定するフレーム図形合成位置決定手段と
を含む画像処理装置。
【請求項２】
前記方形状のフレーム図形は、
前記オブジェクト領域との交点を有しない辺の長さが、交点を有する辺の長さよりも長い
請求項１に記載の画像処理装置。
【請求項３】
前記方形状のフレーム図形は、所定の位置を中心として回転させることにより位置が決定される
請求項１に記載の画像処理装置。
【請求項４】
前記方形状のフレーム図形は、所定の方形状のフレーム図形を３次元アフィン変換させることにより形成される
請求項１に記載の画像処理装置。
【請求項５】
前記合成手段は、前記方形状のフレーム図形の形状を連続的に変形し、前記入力画像の方形状のフレーム図形の内側領域部分の画素と、前記入力画像の前記２値マスク画像の前記オブジェクト領域部分の画素とを抽出して、合成画像を生成する
請求項１に記載の画像処理装置。
【請求項６】
前記合成手段は、
複数の種類の形状に形成され、または、位置が決定された前記方形状のフレーム図形の内側領域部分の画素と、前記入力画像の前記２値マスク画像の前記オブジェクト領域部分の画素とを抽出して、複数の合成画像を生成する
請求項１に記載の画像処理装置。
【請求項７】
前記合成手段は、
前記合成画像を生成するのに用いた、前記入力画像または前記２値マスク画像と、前記方形状のフレーム図形の回転角度、３次元アフィン変換パラメータ、および位置からなるフレーム形状パラメータとを対応付けて蓄積し、
前記入力画像取得手段により取得された前記入力画像または前記２値マスク画像と、蓄積された前記入力画像または前記２値マスク画像との比較により、最も類似する、蓄積された前記入力画像または前記２値マスク画像に対応付けて蓄積されたフレーム形状パラメータに基づいて、所定の方形状のフレーム図形を形成し、
前記入力画像の方形状のフレーム図形の内側領域部分の画素と、前記入力画像の前記２値マスク画像の前記オブジェクト領域部分の画素とを抽出して、合成画像を生成する
請求項１に記載の画像処理装置。
【請求項８】
画像の奥行き感を向上させる疑似的な３次元画像を生成する画像処理装置の画像処理方法であって、
入力画像と前記入力画像のオブジェクト領域を指定する２値マスク画像とを取得する入力画像取得ステップと、
前記入力画像の方形状のフレーム図形の内側領域部分の画素と、前記入力画像の前記２値マスク画像の前記オブジェクト領域部分の画素とを抽出して、合成画像を生成する合成ステップと、
前記方形状のフレーム図形における対辺を構成する一対の辺の、一方の辺が前記オブジェクト領域境界との交点を含み、他方の辺が前記オブジェクト領域境界との交点を含まない位置に前記方形状のフレーム図形の前記合成画像内の位置を決定するフレーム図形合成位置決定ステップと
を含む画像処理方法。
【請求項９】
画像の奥行き感を向上させる疑似的な３次元画像を生成する画像処理装置を制御するコンピュータに、
入力画像と前記入力画像のオブジェクト領域を指定する２値マスク画像とを取得する入力画像取得ステップと、
前記入力画像の方形状のフレーム図形の内側領域部分の画素と、前記入力画像の前記２値マスク画像の前記オブジェクト領域部分の画素とを抽出して、合成画像を生成する合成ステップと
前記方形状のフレーム図形における対辺を構成する一対の辺の、一方の辺が前記オブジェクト領域境界との交点を含み、他方の辺が前記オブジェクト領域境界との交点を含まない位置に前記方形状のフレーム図形の前記合成画像内の位置を決定するフレーム図形合成位置決定ステップと
を含む処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、入力画像と、その入力画像におけるオブジェクト領域を指定する２値マスク画像とから得られるオブジェクト画像に、写真枠や額を模した平面的な画像を合成し、擬似的な３次元画像を容易に生成できるようにした画像処理装置および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
３次元画像を手軽に生成する方法として、３次元画像を入力するのではなく、２次元画像に奥行きデータを付与することにより、擬似的な３次元画像を生成する方法が提案されている。
【０００３】
例えば、オブジェクト分割されたテクスチャデータにレリーフ状の奥行きを付与することで擬似的な３次元画像を生成するものが提案されている（特許文献１参照）。
【０００４】
また、画像中のオブジェクトを切り抜いた画像と平面的なオブジェクトを合成して、疑似３次元画像を生成する技術が提案されている（非特許文献１参照）。
【０００５】
さらに、疑似３次元画像生成を補助するソフトウェアのアルゴリズムとして、合成するオブジェクトをユーザがマウス等のポインタにより変形、移動したり、写真オブジェクトやＣＧ（Computer Graphics）オブジェクトの影を編集して合成することができるものが提案されている（非特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−０８４３３８号公報
【非特許文献】
【０００７】
【非特許文献１】http://www.flickr.com/groups/oob/pool/
【０００８】
【非特許文献２】3D-aware Image Editing for Out of Bounds Photography, Amit Shesh et al., Graphics Interface, 2009
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１の方法では分割されたオブジェクトの各中心をユーザが与えて奥行きを設定していく必要があり操作が煩雑である。
【００１０】
また、非特許文献１においては、パーソナルコンピュータの画像処理ツールを駆使して加工を行う必要があり、実際に画像処理ツールを使用するユーザには作成が難しいことがある。
【００１１】
さらに、非特許文献２においては、フレームの形状は位置の指定は、ユーザがマウスで入力するため、煩雑であり、精密な疑似３次元画像を生成するにはユーザの技術が要求される。
【００１２】
本発明はこのような状況に鑑みてなされたものであり、特に、入力画像と、その入力画像におけるオブジェクト領域を指定する２値マスク画像とから得られるオブジェクト画像に、写真枠や額を模した平面的な画像を合成し、擬似的な３次元画像を容易に生成できるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面の情報処理装置は、画像の奥行き感を向上させる疑似的な３次元画像を生成する画像処理装置であって、入力画像と前記入力画像のオブジェクト領域を指定する２値マスク画像とを取得する入力画像取得手段と、前記入力画像の方形状のフレーム図形の内側領域部分の画素と、前記入力画像の前記２値マスク画像の前記オブジェクト領域部分の画素とを抽出して、合成画像を生成する合成手段と、前記方形状のフレーム図形における対辺を構成する一対の辺の、一方の辺が前記オブジェクト領域境界との交点を含み、他方の辺が前記オブジェクト領域境界との交点を含まない位置に前記方形状のフレーム図形の前記合成画像内の位置を決定するフレーム図形合成位置決定手段とを含む。
【００１４】
前記方形状のフレーム図形は、前記オブジェクト領域との交点を有しない辺の長さが、交点を有する辺の長さよりも長くすることができる。
【００１５】
前記方形状のフレーム図形は、所定の位置を中心として回転させることにより位置が決定されるようにすることができる。
【００１６】
前記方形状のフレーム図形は、所定の方形状のフレーム図形を３次元アフィン変換させることにより形成されるようにすることができる。
【００１７】
前記合成手段には、前記方形状のフレーム図形の形状を連続的に変形し、前記入力画像の方形状のフレーム図形の内側領域部分の画素と、前記入力画像の前記２値マスク画像の前記オブジェクト領域部分の画素とを抽出して、合成画像を生成させるようにすることができる。
【００１８】
前記合成手段には、複数の種類の形状に形成され、または、位置が決定された前記方形状のフレーム図形の内側領域部分の画素と、前記入力画像の前記２値マスク画像の前記オブジェクト領域部分の画素とを抽出して、複数の合成画像を生成させるようにすることができる。
【００１９】
前記合成手段には、前記合成画像を生成するのに用いた、前記入力画像または前記２値マスク画像と、前記方形状のフレーム図形の回転角度、３次元アフィン変換パラメータ、および位置からなるフレーム形状パラメータとを対応付けて蓄積し、前記入力画像取得手段により取得された前記入力画像または前記２値マスク画像と、蓄積された前記入力画像または前記２値マスク画像との比較により、最も類似する、蓄積された前記入力画像または前記２値マスク画像に対応付けて蓄積されたフレーム形状パラメータに基づいて、所定の方形状のフレーム図形を形成し、前記入力画像の方形状のフレーム図形の内側領域部分の画素と、前記入力画像の前記２値マスク画像の前記オブジェクト領域部分の画素とを抽出して、合成画像を生成させるようにすることができる。
【００２０】
本発明の一側面の画像処理方法は、画像の奥行き感を向上させる疑似的な３次元画像を生成する画像処理装置の画像処理方法であって、入力画像と前記入力画像のオブジェクト領域を指定する２値マスク画像を取得する入力画像取得ステップと、前記入力画像の方形状のフレーム図形の内側領域部分の画素と、前記入力画像の前記２値マスク画像の前記オブジェクト領域部分の画素とを抽出して、合成画像を生成する合成ステップと、前記方形状のフレーム図形における対辺を構成する一対の辺の、一方の辺が前記オブジェクト領域境界との交点を含み、他方の辺が前記オブジェクト領域境界との交点を含まない位置に前記方形状のフレーム図形の前記合成画像内の位置を決定するフレーム図形合成位置決定ステップとを含む。
【００２１】
本発明の一側面のプログラムは、画像の奥行き感を向上させる疑似的な３次元画像を生成する画像処理装置を制御するコンピュータに、入力画像と前記入力画像のオブジェクト領域を指定する２値マスク画像とを取得する入力画像取得ステップと、前記入力画像の方形状のフレーム図形の内側領域部分の画素と、前記入力画像の前記２値マスク画像の前記オブジェクト領域部分の画素とを抽出して、合成画像を生成する合成ステップと、前記方形状のフレーム図形における対辺を構成する一対の辺の、一方の辺が前記オブジェクト領域境界との交点を含み、他方の辺が前記オブジェクト領域境界との交点を含まない位置に前記方形状のフレーム図形の前記合成画像内の位置を決定するフレーム図形合成位置決定ステップとを含む。
【００２２】
本発明の一側面においては、入力画像と前記入力画像のオブジェクト領域を指定する２値マスク画像とが取得され、前記入力画像の方形状のフレーム図形の内側領域部分の画素と、前記入力画像の前記２値マスク画像の前記オブジェクト領域部分の画素とが抽出されて、合成画像が生成され、前記方形状のフレーム図形における対辺を構成する一対の辺の、一方の辺が前記オブジェクト領域境界との交点を含み、他方の辺が前記オブジェクト領域境界との交点を含まない位置に前記方形状のフレーム図形の前記合成画像内の位置が決定される。
【発明の効果】
【００２３】
本発明によれば、入力画像と、その入力画像におけるオブジェクト領域を指定する２値マスク画像とから得られるオブジェクト画像に、写真枠や額を模した平面的な画像を合成し、擬似的な３次元画像を容易に生成することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】本発明を適用した擬似３次元画像生成装置の一実施の形態の構成例を示す図である。
【図２】図１のフレーム図形合成パラメータ計算部の構成例を示す図である。
【図３】擬似３次元画像生成処理を説明するフローチャートである。
【図４】入力画像と、その２値マスク画像を説明する図である。
【図５】フレーム図形テクスチャ画像を説明する図である。
【図６】３次元アフィン変換のパラメータを説明する図である。
【図７】３次元アフィン変換を説明する図である。
【図８】フレーム図形合成パラメータ計算処理を説明するフローチャートである。
【図９】フレーム図形合成パラメータ計算処理を説明する図である。
【図１０】フレーム図形合成パラメータ計算処理を説明する図である。
【図１１】オブジェクトレイヤ画像とフレームレイヤ画像を説明する図である。
【図１２】合成画像の例を説明する図である。
【図１３】フレーム図形とオブジェクト画像の関係を説明する図である。
【図１４】他の合成画像の例を説明する図である。
【図１５】他の合成画像の例を説明する図である。
【図１６】他の合成画像の例を説明する図である。
【図１７】汎用のパーソナルコンピュータの構成例を示す図である。
【発明を実施するための最良の形態】
【００２５】
［擬似３次元画像生成装置の構成例］
図１は、本発明を適用した一実施の形態の構成例を示す擬似３次元画像生成装置である。
図１の擬似３次元画像生成装置１は、入力画像、入力画像に対応するオブジェクト領域を切り出した２値マスク画像、およびフレーム図形テクスチャ画像を合成して、疑似的に３次元の立体画像に見える画像を生成するものである。
【００２６】
より詳細には、擬似３次元画像生成装置１は、入力画像より、対応する２値マスク画像に基づいてオブジェクト領域を切り出した画像と、フレーム図形テクスチャ画像を射影変形した画像とを合成することにより、擬似的な立体画像を生成する。
【００２７】
疑似３次元画像生成装置１は、入力画像取得部１１、フレーム図形テクスチャ取得部１２、３次元アフィン変換パラメータ取得部１３、矩形３次元アフィン変換部１４、フレーム図形合成パラメータ計算部１５、フレーム図形合成部１６、および出力部１７を備える。
【００２８】
入力画像取得部１１は、入力画像と入力画像に対応するオブジェクト領域を指定する２値マスク画像を取得し、フレーム図形合成パラメータ計算部１５へ供給する。入力画像は、例えば、ＲＧＢ（Red Green Blue）のカラー画像である。また、２値マスク画像は、例えば、入力画像と同じ解像度であって、各画素がオブジェクト領域に含まれるか否かを、１または０といった２値のいずれかの情報として保持する画像である。尚、入力画像、および２値マスク画像は、ユーザにより任意に選択されるか、または供給されるものである。ただし、入力画像と２値マスク画像とは、当然のことながら相互に対応したものである必要がある。
【００２９】
フレーム図形テクスチャ取得部１２は、四角形などの方形状のフレーム図形に貼り付けられるテクスチャ画像を取得して、フレーム図形合成部１６に供給する。このテクスチャ画像の一例としては、例えば、印刷された写真の白い枠縁を模したような画像であって、視覚的に平面的なものである。
【００３０】
３次元アフィン変換パラメータ取得部１３は、フレーム図形テクスチャ画像を３次元アフィン変換するためのパラメータである３次元アフィン変換パラメータを取得して矩形３次元アフィン変換部１４に供給する。尚、これらの３次元アフィン変換パラメータは、数値を直接指定するようにしても良いし、マウスのドラッグやスクロールバーなどのＧＵＩ（Graphical User Interface）を用意し、ユーザの入力操作に基づいて任意に設定できるようにしてもよい。
【００３１】
矩形３次元アフィン変換部１４は、３次元アフィン変換パラメータ取得部１３より３次元アフィン変換パラメータを取得して、矩形パラメータを計算し、フレーム図形合成パラメータ計算部１５に供給する。矩形パラメータとは、３次元アフィン変換後のフレーム図形テクスチャ画像の四頂点および矩形の中心位置の２次元座標位置である。尚、変換元の矩形のアスペクト比はユーザが図示せぬ操作部を操作して指定しても良いし、操作部を操作して入力したフレーム図形テクスチャ画像のアスペクト比を利用してもよい。
【００３２】
フレーム図形合成パラメータ計算部１５は、入力画像取得部１１より供給された入力画像と２値マスク画像と合成するフレーム図形の位置とスケールを計算して、入力画像および２値マスク画像と共に、フレーム図形パラメータをフレーム図形合成部１６に供給する。フレーム図形合成部１６に供給されるフレーム図形パラメータは、画像座標における方形状のフレーム図形の４つの２次元頂点座標である。尚、フレーム図形合成パラメータ計算部１５の詳細な構成については、図２を参照して後述する。
【００３３】
フレーム図形合成部１６は、フレーム図形合成パラメータに基づいて、入力画像、２値マスク画像、およびフレーム形状ストラクチャ画像を合成し、オブジェクトを視覚的に立体的な画像に見える擬似３次元画像を生成して、出力部１７に供給する。より詳細には、フレーム図形合成部１６は、オブジェクトレイヤ画像生成部１６ａ、およびフレームレイヤ画像生成部１６ｂを備えている。オブジェクトレイヤ画像生成部１６ａは、フレーム図形合成パラメータに基づいて、入力画像、２値マスク画像、およびフレーム形状ストラクチャ画像から、オブジェクトとなる領域の画像、すなわち、オブジェクトレイヤ画像を生成する。フレームレイヤ画像生成部１６ｂは、フレーム図形合成パラメータに基づいて、入力画像、２値マスク画像、およびフレーム形状ストラクチャ画像から、フレーム図形テクスチャ領域の画像、すなわち、フレームレイヤ画像を生成する。フレーム図形合成部１６は、このように生成されたオブジェクトレイヤ画像およびフレームレイヤ画像を合成することにより擬似３次元画像となる合成画像を生成する。
【００３４】
出力部１７は、フレーム図形合成部１６より供給されてきた擬似３次元画像として生成された合成画像を出力する。
【００３５】
［フレーム図形合成パラメータ計算部について］
次に、図２を参照して、フレーム図形合成パラメータ計算部１５の詳細な構成について説明する。
【００３６】
フレーム図形合成パラメータ計算部１５は、マスク重心計算部５１、フレーム図形スケール計算部５２、およびフレーム図形頂点計算部５３を備えている。そして、フレーム図形合成パラメータ計算部１５は、入力２値マスク画像からフレーム図形の形状を求めるのに必要な拘束条件を決めて、フレーム図形の位置とスケールを決定する。
【００３７】
マスク重心計算部５１は、２値マスク画像からオブジェクト形状の重心位置を求めるために、２値マスク画像の全画素のうち、すなわち、オブジェクト領域の画素の画素位置の平均位置を求めて重心位置とし、フレーム図形スケール計算部５２に供給する。
【００３８】
フレーム図形スケール計算部５２は、中心位置計算部５２ａ、スケール計算部５２ｂ、およびスケール判定部５２ｃを備えている。フレーム図形スケール計算部５２は、重心位置と入力パラメータであるフレーム設置角度θｇからフレーム図形中心位置Ｐ＿ＦＲＡＭＥとスケールＳ＿ＦＲＡＭＥを計算してフレーム図形頂点計算部５３に供給する。尚、フレーム図形中心位置Ｐ＿ＦＲＡＭＥとスケールＳ＿ＦＲＡＭＥについては、詳細を後述する。
【００３９】
フレーム図形頂点計算部５３は、フレーム図形スケール計算部５２より受信したフレーム図形中心位置Ｐ＿ＦＲＡＭＥとフレーム図形スケールＳ＿ＳＣＡＬＥ受信してフレーム図形合成パラメータである四角形の四頂点を出力する。
【００４０】
［擬似３次元画像生成処理について］
次に、図３のフローチャートを参照して、擬似３次元画像生成処理について説明する。
【００４１】
ステップＳ１１において、入力画像取得部１１は、入力画像、および入力画像に対応する２値マスク画像を取得し、フレーム図形合成パラメータ計算部１５に供給する。入力画像、および入力画像に対応する２値マスク画像とは、例えば、図４で示される画像である。図４においては、左部に入力画像が示されており、右部に２値マスク画像が示されている。図４においては、入力画像中の蝶がオブジェクト画像とされているので、２値マスク画像においては、蝶が表示されている領域の画素は、白色とされ、それ以外の領域の画素が黒色とされている。
【００４２】
ステップＳ１２において、フレーム図形テクスチャ取得部１２は、図示せぬマウスやキーボードなどからなる操作部が操作されることにより選択されるフレーム図形テクスチャ画像を取得し、フレーム図形合成部１６に供給する。フレーム図形テクスチャ画像は、例えば、図５で示されるような画像である。図５においては、画素値αからなる画像であり、枠縁を構成する最外縁部は画素値αが０とされ黒色に設定されており、その内側の縁が画素値αが１とされ白色に設定されており、さらに、中央部分の画素値に対応する値αが０とされ黒色に設定されている。すなわち、図５においては、黒色と白色の枠縁からなるフレーム図形テクスチャ画像が構成されている。
【００４３】
ステップＳ１３において、３次元アフィン変換パラメータ取得部１３は、図示せぬ操作部が操作されて、フレーム図形テクスチャ画像を３次元アフィン変換するためのパラメータである３次元アフィン変換パラメータを取得して矩形３次元アフィン変換部１４に供給する。
【００４４】
この３次元アフィン変換パラメータは、視覚的に立体形状に見えるように方形状のフレーム図形をアフィン変換するためのパラメータである。より具体的には、図６で示されるように、水平方向であるｘ軸の回転量θｘ、視線方向のｚ軸の回転量θｚ、撮像位置Ｐから被写体であるフレーム図形テクスチャ画像である枠縁までの距離ｆ、画像の水平方向であるｘ方向の移動量ｔｘ、画像の垂直方向であるｙ方向の移動量ｔｙである。
【００４５】
ステップＳ１４において、矩形３次元アフィン変換部１４は、３次元アフィン変換パラメータ取得部１３より供給されてくる３次元アフィン変換パラメータを取得して、矩形パラメータを計算し、フレーム図形合成パラメータ計算部１５に供給する。
【００４６】
より具体的には、矩形３次元アフィン変換部１４は、矩形のフレーム図形の中心位置を常に原点（０，０）の位置とし、ｘ方向またはｙ方向の長い方の幅に合わせて正規化した座標を用いて、変換後の座標を求める。すなわち、矩形のフレーム図形の形状が正方形である場合、矩形３次元アフィン変換部１４は、出力する変換前の矩形の４つの頂点座標ｐ０（−１，−１），ｐ１（１，−１），ｐ２（１，１），ｐ３（−１，１）および矩形中心ＲＣを設定する。そして、矩形３次元アフィン変換部１４は、この頂点座標ｐ０乃至ｐ３および矩形中心ＲＣと、３次元アフィン変換パラメータとを以下の式（１）に代入して、３次元アフィン変換による変換後の頂点座標ｐ０'乃至ｐ３'および矩形中心ＲＣ'を計算する。
【００４７】
【数１】
2011048586.tif 000003
【００４８】
ここで、Ｒθｚは以下の式（２）で示されるｚ軸の回転量θｚに対応する回転変換行列であり、Ｒθｘは以下の式（３）で示されるｘ軸の回転量θｘに対応する回転変換行列である。また、Ｔｓは以下の式（４）で示される移動量ｔｘ，ｔｙに対応する変換行列であり、Ｔｆは以下の式（５）で示される距離ｆに対応する変換行列である。
【００４９】
【数２】
2011048586.tif 000004
【００５０】
【数３】
2011048586.tif 000005
【００５１】
【数４】
2011048586.tif 000006
【００５２】
【数５】
2011048586.tif 000007
【００５３】
この結果、図７の上部のような頂点座標ｐ０乃至ｐ３および矩形中心ＲＣで表現されるフレーム図形テクスチャ画像は、例えば、図７の右部のような頂点座標ｐ０'乃至ｐ３'および矩形中心ＲＣ'で表現されるフレーム図形テクスチャ画像に変換される。尚、この処理においては、４頂点座標を求めるのみであり、フレーム図形テクスチャ画像そのものは扱われていない。
【００５４】
ステップＳ１５において、フレーム図形合成パラメータ計算部１５は、フレーム図形合成パラメータ計算処理を実行し、フレーム図形合成パラメータを計算し、フレーム図形合成部１６に供給する。
【００５５】
［フレーム図形合成パラメータ計算処理について］
ここで、図８のフローチャートを参照して、フレーム図形合成パラメータ計算処理について説明する。
【００５６】
ステップＳ３１において、マスク重心計算部５１は、２値マスク画像からオブジェクトの形状のマスク重心位置ＢＣを求め、フレーム図形スケール計算部５２に供給する。より詳細には、マスク重心計算部５１は、図９で示されるように、２値マスク画像の全画素のうち蝶のオブジェクトを示す値α＝１の画素値を持つ画素（図中の白色の画素）を抽出し、それら画素位置の平均座標位置をマスク重心位置ＢＣとして求める。
【００５７】
ステップＳ３２において、フレーム図形スケール計算部５２は、中心位置計算部５２ａを制御して、マスク重心計算部５１から受信したマスク重心位置ＢＣおよび入力パラメータであるフレーム設置角度θｇからフレーム図形中心位置Ｐ＿ＦＲＡＭＥを計算する。
【００５８】
より詳細には、中心位置計算部５２ａは、まず、フレーム図形の位置を決定するために輪郭点ＣＰを計算する。すなわち、中心位置計算部５２ａは、図９で示されるように、画像の下方向を基準ベクトルとしてフレーム設置角度θｇだけ時計回りに回転したベクトルＲＶを求める。さらに、中心位置計算部５２ａは、図９で示されるように、マスク重心位置ＢＣからベクトルＲＶ方向へ進んで最初に画素値αが１から０へ変わる、すなわち、オブジェクト領域の輪郭（オブジェクト領域の境界）にあたる２次元位置を輪郭点ＣＰとして求める。この輪郭点ＣＰが、フレーム図形テクスチャの中心位置Ｐ＿ＦＲＡＭＥとなる。
【００５９】
ステップＳ３３において、スケール計算部５２ｂは、フレーム図形のスケールであるスケールＳ＿ＦＲＡＭＥを計算するに当たり、フレーム図形テクスチャ画像を設定する。すなわち、スケール計算部５２ｂは、３次元アフィン変換後の頂点座標ｐ０'乃至ｐ３'と矩形中心ＲＣ'とからなるフレーム図形テクスチャ画像を、フレーム設置角度θｇだけ回転させ、頂点座標ｐ０''乃至ｐ３''に更新する。すなわち、フレーム図形テクスチャ画像は、矩形中心ＲＣ'を中心として時計回りに回転され、頂点座標ｐ０'乃至ｐ３'が頂点座標ｐ０''乃至ｐ３''に更新される。
【００６０】
このため、例えば、フレーム設置角度θｇが０度であれば、オブジェクトの下部にフレーム図形テクスチャが配置され、９０度であればオブジェクトの左脇に立ったようなフレーム図形テクスチャが配置される。
【００６１】
ステップＳ３４において、スケール計算部５２ｂは、頂点座標ｐ０''乃至ｐ３''から長辺ＬＥと短辺ＳＥとを決定し、各辺の直線を求める。すなわち、例えば、図１０で示されるように、長辺ＬＥは、フレーム図形テクスチャの最長となる辺であり、短辺ＳＥは、長辺ＬＥと対向する辺とする。また、フレーム図形テクスチャの辺を時計回りにたどるときに、長辺ＬＥの次に配置された辺を左辺Ｌ０とし、短辺ＳＥの次に配置された辺を右辺Ｌ１とする。
【００６２】
そして、スケール計算部５２ｂは、長辺ＬＥが２値マスク画像のベクトルＲＶ方向の最遠点を通る時のスケールを長辺スケールＳ＿ＬＥとして計算する。より具体的には、スケール計算部５２ｂは、図１０の場合、マスク重心位置ＢＣを通ってベクトルＲＶに直交する直線Ｔ３からベクトルＲＶ方向側でオブジェクト画像との最遠点である交点Ｆ１（直線Ｔ４上）を通るときのスケールを長辺スケールＳ＿ＬＥとして計算する。すなわち、長辺スケールＳ＿ＬＥは、フレーム図形を中心位置Ｐ＿ＦＲＡＭＥ（輪郭点ＣＰ）を中心として、拡大、または縮小する場合、長辺ＬＥが直線Ｔ４上に位置するときの拡大率、または縮小率として求められる。
【００６３】
ステップＳ３５において、スケール計算部５２ｂは、短辺ＬＥが２値マスク画像のベクトルＲＶ方向とは逆方向の最遠点を通るときのスケールを短辺スケールＳ＿ＳＥとして計算する。より具体的には、スケール計算部５２ｂは、図１０の場合、マスク重心位置ＢＣを通ってベクトルＲＶに直交する直線Ｔ３からベクトルＲＶ方向の逆側で最も遠いオブジェクト画像との交点Ｆ３（直線Ｔ５上）を通るときのスケールを短辺スケールＳ＿ＳＥとして計算する。すなわち、短辺スケールＳ＿ＳＥは、フレーム図形を中心位置Ｐ＿ＦＲＡＭＥ（輪郭点ＣＰ）を中心として、拡大、または縮小する場合、短辺ＳＥが直線Ｔ５上に位置するときの拡大率、または縮小率として求められる。
【００６４】
ステップＳ３６において、スケール計算部５２ｂは、図１０で示されるように、左辺Ｌ０がマスク重心位置ＢＣを通ってベクトルＲＶに垂直な直線Ｔ３よりベクトルＲＶ方向側で、かつ、マスク重心位置ＢＣを通って、左辺Ｌ０に平行な左辺Ｌ０側の領域Ｒ０内のオブジェクト画像との交点Ｆ１（直線Ｔ１上）で、マスク重心位置ＢＣを通って、左辺Ｌ０に平行な直線Ｒ０Ｒから最も遠い位置にあるオブジェクト画像との交点Ｆ１を左辺Ｌ０が通るときのスケールを左辺スケールＳ＿Ｌ０として計算する。すなわち、左辺スケールＳ＿Ｌ０は、フレーム図形を中心位置Ｐ＿ＦＲＡＭＥ（輪郭点ＣＰ）を中心として、拡大、または縮小する場合、左辺Ｌ０が直線Ｔ１上に位置するときの拡大率、または縮小率として求められる。
【００６５】
ステップＳ３７において、スケール計算部５２ｂは、右辺Ｌ１が、マスク重心位置ＢＣを通ってベクトルＲＶに垂直な直線Ｔ３よりベクトルＲＶ方向側で、かつマスク重心位置ＢＣを通って右辺Ｌ１に平行な直線Ｒ１Ｌの右辺Ｌ１側の領域Ｒ１内のオブジェクト画像との交点Ｆ２（直線Ｔ２上）で、マスク重心位置ＢＣを通って右辺Ｌ１に平行な直線Ｒ１Ｌから最も遠い位置にあるオブジェクト画像との交点Ｆ２を右辺Ｌ１が通るときのスケールを右辺スケールＳ＿Ｌ１として計算する。すなわち、右辺スケールＳ＿Ｌ１は、フレーム図形を中心位置Ｐ＿ＦＲＡＭＥ（輪郭点ＣＰ）を中心として、拡大、または縮小する場合、右辺Ｌ１が直線Ｔ２上に位置するときの拡大率、または縮小率として求められる。
【００６６】
ステップＳ３８において、スケール判定部５２ｃは、長辺スケールＳ＿ＬＥ、短辺スケールＳ＿ＳＥ、左辺スケールＳ＿Ｌ０、および右辺スケールＳ＿Ｌ１を用いて、以下の式（６）を計算し、フレーム図形テクスチャのスケールＳ＿ＦＲＡＭＥを決定する。
【００６７】
Ｓ＿ＦＲＡＭＥ＝ＭＩＮ（β×ＭＡＸ（Ｓ＿ＬＥ，Ｓ＿Ｌ０，Ｓ＿Ｌ１），Ｓ＿ＳＥ）
・・・（６）
【００６８】
ここで、βは１以上でありフレーム図形の大きさを調整する任意の係数であり、ＭＡＸ（Ａ，Ｂ，Ｃ）は、値Ａ乃至Ｃの最大値を選択する関数を示し、ＭＩＮ（Ｄ，Ｅ）は、値Ｄ，Ｅの最小値を選択する関数を示している。従って、スケール判定部５２ｃは、長辺スケールＳ＿ＬＥ、左辺スケールＳ＿Ｌ０、および右辺スケールＳ＿Ｌ１の最大値を求め、その最大値と短辺スケールＳ＿ＳＥの最小値をフレーム図形テクスチャのスケールＳ＿ＦＲＡＭＥとして決定する。そして、フレーム図形スケール計算部５２は、計算されたスケールＳ＿ＦＲＡＭＥおよび中心位置Ｐ＿ＦＲＡＭＥをフレーム図形頂点計算部５３に供給する。
【００６９】
尚、式（６）において、短辺スケールＳ＿ＳＥとの比較のみがＭＩＮ（Ｄ，Ｅ）となっているのは、図１０で示されるように、短辺スケールＳ＿ＳＥでは、中心位置Ｐ＿ＦＲＡＭＥ（輪郭点ＣＰ）から、オブジェクトの最遠点が他の最遠点よりも遠くなるからである。すなわち、短辺スケールＳ＿ＳＥは、他のスケールと比べて極端に大きくなるためである。
【００７０】
ステップＳ３９において、フレーム図形頂点計算部５３は、フレーム図形スケール計算部５２より供給されたフレーム図形テクスチャの中心位置Ｐ＿ＦＲＡＭＥおよびフレーム図形スケールＳ＿ＦＲＡＭＥに基づいて、フレーム図形テクスチャの中心位置ＲＣ''がオブジェクトの重心位置ＣＰである中心位置Ｐ＿ＦＲＡＭＥとなるよう平行移動させる。
【００７１】
ステップＳ４０において、フレーム図形頂点計算部５３は、フレーム図形テクスチャの中心位置を中心として、スケールＳ＿ＦＲＡＭＥ分だけ各辺を拡大処理する。
【００７２】
ステップＳ４１において、フレーム図形頂点計算部５３は、拡大処理されたフレーム図形テクスチャの４頂点の２次元座標位置ＦＰ０乃至ＦＰ３を求める。そして、フレーム図形頂点計算部５３は、求めた４頂点の２次元座標位置ＦＰ０乃至ＦＰ３を、フレーム図形合成パラメータとして後段のフレーム図形合成部１６に供給する。
【００７３】
以上の処理によりフレーム図形テクスチャの４頂点の２次元座標位置が、フレーム図形テクスチャの長辺、短辺、左辺、および右辺とオブジェクト領域の最遠点距離に基づいて、オブジェクト領域に対して最適なフレーム図形合成パラメータを設定することが可能となる。
【００７４】
ここで、図３のフローチャートの説明に戻る。
【００７５】
ステップＳ１５において、フレーム図形合成パラメータ計算処理が実行されて、フレーム図形合成パラメータが計算されると、処理は、ステップＳ１６に進む。
【００７６】
ステップＳ１６において、フレーム図形合成部１６は、オブジェクトレイヤ画像生成部１６ａを制御して、入力画像と２値マスク画像とに基づいて、オブジェクトレイヤ画像を生成させる。より詳細には、オブジェクトレイヤ画像生成部１６ａは、例えば、図１１の左下部で示されるように、オブジェクト領域については、入力画像の画素値を出力する値α＝１と、入力画像の画素値を０、すなわち、黒色にする値α＝０とからなる２値マスク画像により、図１１の左上部で示されるようなオブジェクトレイヤ画像を生成する。
【００７７】
ステップＳ１７において、フレーム図形合成部１６は、フレームレイヤ画像生成部１６ｂを制御して、フレーム図形合成パラメータによって射影変形したフレーム図形テクスチャに、フレーム図形テクスチャ画像をマッピングしてレンダリングしたフレームレイヤ画像を生成する。より詳細には、フレームレイヤ画像生成部１６ｂは、フレーム図形パラメータとして与えられる２次元頂点座標に基づいて、例えば、図１１の右下部で示されるような方形状のフレーム図形の２値マスク画像を生成する。このフレーム図形の２値マスク画像は、フレーム図形が描画された領域を入力画像の画素値が出力される値α＝１とし、それ以外の領域は、画素値を全て０とする値α＝０とされている。そして、フレームレイヤ画像生成部１６ｂは、生成したフレーム図形の２値マスク画像と入力画像とから図１１の右上部で示されるようなフレームレイヤ画像を生成する。
【００７８】
ステップＳ１８において、フレーム図形合成部１６は、フレームレイヤ画像とフレームレイヤ画像とを合成し、図１２で示されるような擬似３次元合成画像を生成し、出力部１７に供給する。
【００７９】
ステップＳ１９において、出力部１７は、生成した擬似３次元合成画像を出力する。
【００８０】
以上の処理により、人の奥行き知覚のうち、射影変換した矩形の物体の遠近感や、フレーム図形テクスチャ画像の重なりを利用した疑似３次元画像が生成される。
【００８１】
すなわち、人間の視覚は、一般に射影変換された矩形から透視投影法や消失点のような手がかりを得ることで奥行き感を得ることができる。また、人間の視覚は、オブジェクト画像やフレーム画像の重なり順により前後関係を得ることができる。このような遠近感と重なりによる前後関係を視覚により認識させるには、例えば、図１３のような条件が満たされればよいと考えられる。
【００８２】
すなわち、第１の条件として、フレーム図形の奥側の辺、すなわち、短辺がオブジェクトと重なってオブジェクトの後ろにある。すなわち、第１の条件は、例えば、図１３で示されるように、フレーム図形Ｖ２の短辺がオブジェクト領域Ｖ１の境界において交点を備えており、かつ、オブジェクト領域Ｖ１においてはオブジェクトだけが表示される。
【００８３】
第２の条件としては、フレーム図形の手前側の辺、すなわち長辺がオブジェクト領域の境界において交点を備えていないことである。すなわち、第２の条件は、例えば、図１３で示されるように、フレーム図形Ｖ２の長辺がオブジェクト領域Ｖ１の境界において交点がないことである。
【００８４】
第３の条件として、フレーム図形が３次元的に存在しうる形状である。すなわち、第３の条件としてフレーム図形Ｖ２が３次元的に存在しうる球状の形状となっていることである。
【００８５】
これらのうち第１の条件と第２の条件については、図１３で示されるように、手前からフレーム図形Ｖ２の長辺Ｂ、オブジェクト領域最下点を通る直線Ｃ、およびフレーム図形Ｖ２の短辺Ａの順序で配置されることで満たされることになる。すなわち、フレーム図形Ｖ２の短辺がオブジェクト領域の境界と交点を備えており、交点間はオブジェクト画像が表示され、フレーム図形Ｖ２の短辺がオブジェクト領域の境界と交点を備えていなければよいことになる。
【００８６】
ところで、図８のフレーム図形合成パラメータ計算処理では、長辺、短辺、右辺、または左辺がオブジェクト領域のそれぞれの最遠点を通るように、中心位置Ｐ＿ＦＲＡＭＥを中心として拡大縮小したいずれかのスケールがスケールＳ＿ＦＲＡＭＥとして設定される。このため、長辺はオブジェクト領域境界に対して必ず交点を持たず、また、短辺はオブジェクト領域境界に対して交点を持つようにフレーム図形のスケールが決定される。
【００８７】
結果として、オブジェクト画像は、このように拡大、または縮小されたフレーム図形と合成されることにより、視覚的に立体的に見える擬似的な３次元画像を生成することが可能となる。
【００８８】
以上の如く、本発明によれば、入力画像と、その入力画像におけるオブジェクト領域を指定する２値マスク画像とから得られるオブジェクト画像に、写真枠や額を模した平面的な画像を合成し、擬似的な３次元画像を容易に生成することが可能となる。
【００８９】
尚、フレーム図形は、３次元アフィン変換のみによって変形することで３次元的な形状を維持することができる。また、フレーム図形自体にテクスチャを射影変換するなどしてマッピングすることで、遠近感の手がかりとなる情報を与えることができ、奥行き感を向上させることができる。
【００９０】
また、例えば、図１４で示されるように方形状のフレーム図形の対辺が共に飛行機型の遊具のオブジェクト領域と交差してもユーザが楽しめる疑似３次元画像を生成することができる。この場合、フレーム図形の形状としては、例えば、オブジェクト領域の重心を求めておいて、その重心を中心として、幅をオブジェクト領域のＸ方向の最大値と最小値の２倍の長さとし、高さはオブジェクト領域のＹ方向の最大値と最小値の半分の長さとして計算できる。このようにすることで、単にオブジェクトの後ろにフレーム図形を配置するだけでも奥行きの強調効果を得ることができる。
【００９１】
さらに、フレーム図形合成パラメータ計算部１５は、フレーム回転角度θｇを調整することでフレーム図形が地面に敷設されるように配置するのではなく、倒立していたり正対しているように配置することができる。すなわち、図１５で示されるように、オブジェクトである飛行機型の遊具のの背景に配置したり、平行に倒立するようにフレーム図形を配置することができる。
【００９２】
また、フレーム図形合成パラメータ計算部１５は、フレーム図形の形状計算のためのパラメータを２値マスク画像のＮ次のモーメントやバウンディングボックスの中心、または外接円の中心を計算して使ってもよい。すなわち、中心位置は、単純な重心位置とするのみではなく、マスク画像の分散を考慮した中心位置としてもよい。
【００９３】
さらに、フレーム図形合成パラメータ計算部１５は、フレーム図形の形状計算のためのパラメータを２値マスク画像からだけではなく入力画像そのものから求めても良い。すなわち、画像の消失点や地面を検出して、フレーム図形の辺が入力画像の消失線に沿って配置したり地面領域に配置したりするようにフレーム図形形状や位置を決定するようにしても良い。尚、画像から消失点を自動で検出する手法としては、「A new Approach for Vanishing Point Detection in Architectural Environments, Carsten Rother, BMVC2000」を参照されたい。
【００９４】
この手法においては、建築物のエッジを検出して、平行なエッジの方向を統計処理して消失点を計算している。この方法で求めた２つの消失点を使って、フレーム図形合成パラメータを計算することができる。すなわち、フレーム図形位置と形状の決定に、フレーム図形の対辺がそれぞれ２つの消失点に収束するという拘束を加えるものである。
【００９５】
また、機械学習に基づいたオブジェクト分類によっておおよそのオブジェクトの大きさを知り、フレーム図形の射影変換パラメータｆを求めても良い。
【００９６】
すなわち、コップのような小さいオブジェクトであればマクロ撮影用のカメラパラメータを用いてパラメータを決定したり、ビルのように大きなものであれば望遠撮影用のカメラパラメータを用いたりすることで、より自然な立体感を持った疑似３次元画像を生成するようにしてもよい。オブジェクト分類する手法については、「局所特徴量の関連性に着目したJoint 特徴による物体検出、藤吉弘亘」を参照されたい。この手法では物体の局所特徴量の関連性に注目した特徴をあらかじめ機械学習しておいて、画像の中からから物体を発見する方法を紹介している。
【００９７】
また、フレーム図形合成パラメータ計算部１５において、フレームレイヤ画像生成時にテクスチャ画像をマップしないオブジェクト図形をレンダリングしてもよい。その際に単にフレーム図形の色を指定して四角形を描画してもよいし、入力画像のピクセル色を描画するようにしてもよい。
【００９８】
さらに、フレーム図形合成部１６において計算された疑似３次元画像結果を見て、ユーザがフレーム図形の形状を修正するユーザインターフェースを備えるようにしてもよい。すなわち、ユーザがユーザインターフェースを操作することにより、フレーム図形の四頂点を移動させたり、フレーム図形全体を移動させたりするようにしてもよい。また、同様に、消失点位置を変更することでフレーム図形の変形を行うようなインターフェースを備えるようにしても良い。
【００９９】
さらに、ユーザ入力を３次元アフィン変換パラメータ取得部１３へ供給して、フレーム図形の形状パラメータを直接更新してもよい。
【０１００】
また、フレーム図形合成部１６は、２値マスク画像そのものを変形するようにしてもよい。すなわち、例えば、２値マスク画像で指定されるオブジェクト領域が画像下端まで連続していて、そのオブジェクトの足下にフレーム図形オブジェクトを合成したいような場合に、２値マスク画像をフレーム図形から手前にはみ出さないように削って修正することで、自然な立体感を持つ疑似３次元画像を作成できる。
【０１０１】
すなわち、図１６の左上部で示されるような入力画像に対して、図１６の右上部で示されるような、対応する２値マスク画像が入力された場合、オブジェクトである人形が乗った噴水台の部分を、図１６の左下部で示されるようにフレーム図形に対応してカットする。これにより、図１６の左下部の２値マスク画像を用いて、入力画像を処理すると、図１６の右下部で示されるような、噴水台がフレーム図形状にカットされた疑似３次元画像を作成することができる。
【０１０２】
さらに、入力画像は静止画だけに限定されておらず動画であってもよい。動画の場合、代表の動画フレームとマスク画像からフレーム図形パラメータを求めてフレーム図形の形状を決定しても良い。また、各動画フレームごとにフレーム図形の形状パラメータを求めてフレーム図形形状を決定するようにしても良い。
【０１０３】
また、フレーム図形は静止画でなくてもよく、３次元アフィン変換パラメータやフレーム設置角度パラメータを変化させて、画像を生成し、アニメーション動画とするようにしても良い。
【０１０４】
さらに、１種類のパラメータの組み合わせにより処理結果を提示するだけではなく、複数のパラメータの組み合わせによって複数の結果を出力しても良い。すなわち、疑似３次元画像生成装置は、既定のパラメータ範囲においては、複数のパラメータの組み合わせによる疑似３次元画像を提示し、ユーザが、その結果を見て、複数の結果画像から好みのものを選択するようにしてもよい。
【０１０５】
また、フレーム図形合成部１６は、フレーム図形やオブジェクト以外の領域、すなわち、背景を背景色で塗りつぶすのではなく、入力画像をぼかした画像やグレースケールに変換した画像、または明度を落とした画像など、入力画像を加工したものを利用しても良い。
【０１０６】
さらに、入力される２値マスク画像は、アルファマップ画像やトライマップ画像でもよい。
【０１０７】
また、３次元アフィン変換パラメータ取得部１３により取得される３次元アフィン変換パラメータは、予めデータベースに蓄積しておいた複数のものから適切なものを選択して３次元アフィン変換パラメータとして入力するようにしてもよい。
【０１０８】
より具体的には、３次元アフィン変換パラメータ取得部１３は、参照２値マスク画像とその参照２値マスク画像に対してフレーム図形形状が適切な変形となるような３次元アフィン変換パラメータを事前に作成し、それらを対応付けてデータベースに蓄積する。そして、３次元アフィン変換パラメータ取得部１３は、入力された２値マスク画像と類似度の高い参照２値マスク画像をデータベースから選択し、その参照２値マスク画像と対応付けて登録されている３次元アフィン変換パラメータを取得して３次元アフィン変換パラメータとして出力する。
【０１０９】
これにより、データベース内から適切な３次元アフィン変換パラメータを取得してフレーム図形オブジェクトを変形、合成することができる。
【０１１０】
尚、画像の類似度を計算する手法については、「Zhong Wu, Qifa Ke, Michael Isard, and Jian Sun. Bundling Features for Large Scale Partial-Duplicate Web Image Search. CVPR 2009 (oral).」を参照されたい。この方法ではＳＩＦＴと呼ばれるキーポイントにおける特徴量とＭＳＥＲと呼ばれる領域特徴量を用いて画像の特徴を表現し、画像の類似度をそれらの特徴量の特徴空間での距離を計算することで計算している。つまり、予め計算しておいたデータベース内の２値マスク画像特徴量と参照２値マスク画像の特徴量が求められて比較され、最大の類似度を持つ画像を検索して、対応付けて登録されている３次元アフィン変換パラメータを使用しても良い。
【０１１１】
また、この類似度の計算を２値マスク画像間に加えて画像間で行ってもよい。すなわち、入力画像と２値マスク画像の両方の特徴量を合わせたものを新たな特徴量として類似度計算しても良い。
【０１１２】
さらに、フレーム図形は２次元のテクスチャではなく３次元の３Ｄオブジェクトでもよい。この場合、３ＤオブジェクトをＸＹ平面へ写像し、写像した３Ｄオブジェクトの境界矩形を入力矩形として計算する。この境界矩形を通常の２次元矩形として位置やスケールを求めておく。３Ｄオブジェクトは、境界矩形と同じ３次元アフィン変換処理した後、位置とスケールを適用して入力画像のオブジェクト合成する。このようにすることにより、曲面を持つフレームや厚みを持ったフレームとオブジェクト画像とを合成することができ、奥行き知覚をより強調する効果を高めた擬似３次元画像を生成することができる。
【０１１３】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１１４】
図１７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１１５】
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１１６】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１１７】
尚、本明細書において、処理工程を記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【符号の説明】
【０１１８】
１１  入力画像取得部，  １２  フレーム図形テクスチャ取得部，  １３  ３次元アフィン変換パラメータ取得部，  １４  矩形３次元アフィン変換部，  １５  フレーム図形合成パラメータ計算部，  １６  フレーム図形合成部，  １７  出力部，  ５１  マスク重心計算部，  ５２  フレーム図形スケール計算部，  ５３  フレーム図形オブジェクト頂点計算部
【図１】
2011048586.tif 000008
【図２】
2011048586.tif 000009
【図３】
2011048586.tif 000010
【図４】
2011048586.tif 000011
【図５】
2011048586.tif 000012
【図６】
2011048586.tif 000013
【図７】
2011048586.tif 000014
【図８】
2011048586.tif 000015
【図９】
2011048586.tif 000016
【図１０】
2011048586.tif 000017
【図１１】
2011048586.tif 000018
【図１２】
2011048586.tif 000019
【図１３】
2011048586.tif 000020
【図１４】
2011048586.tif 000021
【図１５】
2011048586.tif 000022
【図１６】
2011048586.tif 000023
【図１７】
2011048586.tif 000024