(57)【特許請求の範囲】
【請求項１】
実空間に配置された被写体の撮影画像に基づくポリゴンモデルが配置されている仮想空間内の仮想カメラから前記仮想空間を見た様子を表す仮想空間画像を生成する画像生成装置であって、
複数の前記撮影画像のそれぞれについて、当該撮影画像を撮影した実カメラの前記実空間内における位置である撮影位置に相当する前記仮想空間内における位置である対応カメラ位置を特定する対応カメラ位置特定部と、
複数の前記撮影画像のそれぞれについて、前記ポリゴンモデルに含まれる頂点又はポリゴン上の点である描画点から当該撮影画像に対応する前記対応カメラ位置に向かう向きと、当該描画点から前記仮想カメラの位置に向かう向きと、の間の角度に基づいて、当該描画点における仮想カメラ方向影響度パラメータの値を決定する仮想カメラ方向影響度パラメータ決定部と、
複数の前記撮影画像のそれぞれについて、前記描画点から前記対応カメラ位置に向かう向きと、当該描画点に対応付けられる法線方向と、の間の角度に基づいて、当該描画点における法線方向影響度パラメータの値を決定する法線方向影響度パラメータ決定部と、
複数の前記撮影画像のそれぞれについて、前記仮想カメラ方向影響度パラメータの値と前記法線方向影響度パラメータの値に係数を乗じた値との和に基づいて、当該描画点における、当該対応カメラ位置に相当する前記撮影位置の前記実カメラにより撮影された前記撮影画像が前記仮想空間画像に与える影響度を決定する影響度決定部と、
複数の前記撮影画像についての、当該撮影画像内における前記描画点に対応付けられる画素の画素値の、当該撮影画像に対応付けられる当該描画点における前記影響度に基づく重み付き平均値を、当該描画点に対応付けられる前記仮想空間画像内の画素の画素値として決定する画素値決定部と、
前記仮想空間画像内の複数の画素について決定される前記画素値に基づいて、前記仮想空間画像を生成する仮想空間画像生成部と、を含み、
複数の前記撮影画像のそれぞれについて決定される前記仮想カメラ方向影響度パラメータの値の合計が大きいほど、前記係数は小さい、
ことを特徴とする画像生成装置。
【請求項２】
実空間に配置された被写体の撮影画像に基づくポリゴンモデルが配置されている仮想空間内の仮想カメラから前記仮想空間を見た様子を表す仮想空間画像を生成する画像生成方法であって、
複数の前記撮影画像のそれぞれについて、当該撮影画像を撮影した実カメラの前記実空間内における位置である撮影位置に相当する前記仮想空間内における位置である対応カメラ位置を特定する対応カメラ位置特定ステップと、
複数の前記撮影画像のそれぞれについて、前記ポリゴンモデルに含まれる頂点又はポリゴン上の点である描画点から当該撮影画像に対応する前記対応カメラ位置に向かう向きと、当該描画点から前記仮想カメラの位置に向かう向きと、の間の角度に基づいて、当該描画点における仮想カメラ方向影響度パラメータの値を決定する仮想カメラ方向影響度パラメータ決定ステップと、
複数の前記撮影画像のそれぞれについて、前記描画点から前記対応カメラ位置に向かう向きと、当該描画点に対応付けられる法線方向と、の間の角度に基づいて、当該描画点における法線方向影響度パラメータの値を決定する法線方向影響度パラメータ決定ステップと、
複数の前記撮影画像のそれぞれについて、前記仮想カメラ方向影響度パラメータの値と前記法線方向影響度パラメータの値に係数を乗じた値との和に基づいて、当該描画点における、当該対応カメラ位置に相当する前記撮影位置の前記実カメラにより撮影された前記撮影画像が前記仮想空間画像に与える影響度を決定する影響度決定ステップと、
複数の前記撮影画像についての、当該撮影画像内における前記描画点に対応付けられる画素の画素値の、当該撮影画像に対応付けられる当該描画点における前記影響度に基づく重み付き平均値を、当該描画点に対応付けられる前記仮想空間画像内の画素の画素値として決定する画素値決定ステップと、
前記仮想空間画像内の複数の画素について決定される前記画素値に基づいて、前記仮想空間画像を生成する仮想空間画像生成ステップと、を含み、
複数の前記撮影画像のそれぞれについて決定される前記仮想カメラ方向影響度パラメータの値の合計が大きいほど、前記係数は小さい、
ことを特徴とする画像生成方法。
【請求項３】
実空間に配置された被写体の撮影画像に基づくポリゴンモデルが配置されている仮想空間内の仮想カメラから前記仮想空間を見た様子を表す仮想空間画像を生成するプログラムであって、
複数の前記撮影画像のそれぞれについて、当該撮影画像を撮影した実カメラの前記実空間内における位置である撮影位置に相当する前記仮想空間内における位置である対応カメラ位置を特定する対応カメラ位置特定手順、
複数の前記撮影画像のそれぞれについて、前記ポリゴンモデルに含まれる頂点又はポリゴン上の点である描画点から当該撮影画像に対応する前記対応カメラ位置に向かう向きと、当該描画点から前記仮想カメラの位置に向かう向きと、の間の角度に基づいて、当該描画点における仮想カメラ方向影響度パラメータの値を決定する仮想カメラ方向影響度パラメータ決定手順、
複数の前記撮影画像のそれぞれについて、前記描画点から前記対応カメラ位置に向かう向きと、当該描画点に対応付けられる法線方向と、の間の角度に基づいて、当該描画点における法線方向影響度パラメータの値を決定する法線方向影響度パラメータ決定手順、
複数の前記撮影画像のそれぞれについて、前記仮想カメラ方向影響度パラメータの値と前記法線方向影響度パラメータの値に係数を乗じた値との和に基づいて、当該描画点における、当該対応カメラ位置に相当する前記撮影位置の前記実カメラにより撮影された前記撮影画像が前記仮想空間画像に与える影響度を決定する影響度決定手順、
複数の前記撮影画像についての、当該撮影画像内における前記描画点に対応付けられる画素の画素値の、当該撮影画像に対応付けられる当該描画点における前記影響度に基づく重み付き平均値を、当該描画点に対応付けられる前記仮想空間画像内の画素の画素値として決定する画素値決定手順、
前記仮想空間画像内の複数の画素について決定される前記画素値に基づいて、前記仮想空間画像を生成する仮想空間画像生成手順、をコンピュータに実行させ、
複数の前記撮影画像のそれぞれについて決定される前記仮想カメラ方向影響度パラメータの値の合計が大きいほど、前記係数は小さい、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置、画像生成方法及びプログラムに関する。
【背景技術】
【０００２】
実空間に配置された被写体を撮影した撮影画像に基づいてポリゴンモデルを生成する技術が存在する。【０００３】
またこのようにして生成されるポリゴンモデルが配置されている仮想空間において仮想カメラから当該ポリゴンモデルを見た様子を表す仮想空間画像を生成して表示させる技術も存在する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のようにして撮影画像に基づくポリゴンモデルを生成する際には、一般的には、実空間の光環境に依存しないポリゴンモデルを生成するために、実空間の光環境が被写体に与える影響を抑制する工夫がされている。具体的には例えば、撮影画像を撮影する際に白色光を被写体に照らしたり拡散板を配置したりすることが行われている。【０００５】
そしてこのようにして生成されるポリゴンモデルを見た様子を表す仮想空間画像における光環境の表現は、例えば仮想空間内に配置される光源による光などといったコンピュータグラフィックスの技術によって行われていた。そのため従来技術では、撮影画像を実際に撮影した際における実空間の自然な光環境を仮想空間画像に反映させることができなかった。【０００６】
本発明は上記課題に鑑みてなされたものであって、その目的の１つは、撮影画像を実際に撮影した際における実空間の自然な光環境を仮想空間画像に反映させることができる画像生成装置、画像生成方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係る画像生成装置は、実空間に配置された被写体の撮影画像に基づくポリゴンモデルが配置されている仮想空間内の仮想カメラから前記仮想空間を見た様子を表す仮想空間画像を生成する画像生成装置であって、前記撮影画像を撮影した実カメラの前記実空間内における位置である撮影位置に相当する前記仮想空間内における位置である対応カメラ位置を特定する対応カメラ位置特定部と、前記仮想カメラの位置と前記対応カメラ位置とに基づいて、当該対応カメラ位置に相当する前記撮影位置の前記実カメラにより撮影された前記撮影画像が前記仮想空間画像に与える影響度を決定する影響度決定部と、前記撮影画像と当該撮影画像が前記仮想空間画像に与える前記影響度とに基づいて、前記仮想空間画像を生成する仮想空間画像生成部と、を含む。【０００８】
本発明の一態様では、前記影響度決定部は、前記ポリゴンモデルに含まれる頂点又はポリゴン上の点である描画点から前記対応カメラ位置に向かう向きと、当該描画点から前記仮想カメラの位置に向かう向きと、に基づいて、当該描画点における前記影響度を決定し、前記撮影画像内における前記描画点に対応付けられる画素の画素値と、当該描画点における前記影響度と、に基づいて、当該描画点に対応付けられる前記仮想空間画像内の画素の画素値を決定する画素値決定部、をさらに含み、前記仮想空間生成部は、前記仮想空間画像内の複数の画素について決定される前記画素値に基づいて、前記仮想空間画像を生成する。【０００９】
この態様では、前記対応カメラ位置特定部は、複数の前記撮影画像のそれぞれについて、当該撮影画像の前記対応カメラ位置を特定し、前記影響度決定部は、複数の前記撮影画像のそれぞれについて、前記描画点から当該撮影画像の前記対応カメラ位置に向かう向きと、当該描画点から前記仮想カメラの位置に向かう向きと、に基づいて、当該撮影画像に対応付けられる当該描画点における前記影響度を決定し、前記画素値決定部は、複数の前記撮影画像についての、当該撮影画像内における前記描画点に対応付けられる画素の画素値の、当該撮影画像に対応付けられる前記影響度に基づく重み付き平均値を、当該描画点に対応付けられる前記仮想空間画像内の画素の画素値として決定してもよい。【００１０】
あるいは、前記影響度決定部は、前記描画点から前記対応カメラ位置に向かう向きと、当該描画点から前記仮想カメラの位置に向かう向きと、当該描画点に対応付けられる法線方向と、に基づいて、当該描画点における前記影響度を決定してもよい。【００１１】
また、本発明に係る画像生成方法は、実空間に配置された被写体の撮影画像に基づくポリゴンモデルが配置されている仮想空間内の仮想カメラから前記仮想空間を見た様子を表す仮想空間画像を生成する画像生成方法であって、前記撮影画像を撮影した実カメラの前記実空間内における位置である撮影位置に相当する前記仮想空間内における位置である対応カメラ位置を特定する対応カメラ位置特定ステップと、前記仮想カメラの位置と前記対応カメラ位置とに基づいて、当該対応カメラ位置に相当する前記撮影位置の前記実カメラにより撮影された前記撮影画像が前記仮想空間画像に与える影響度を決定する影響度決定ステップと、前記撮影画像と当該撮影画像が前記仮想空間画像に与える前記影響度とに基づいて、前記仮想空間画像を生成する仮想空間画像生成ステップと、を含む。【００１２】
また、本発明に係るプログラムは、実空間に配置された被写体の撮影画像に基づくポリゴンモデルが配置されている仮想空間内の仮想カメラから前記仮想空間を見た様子を表す仮想空間画像を生成するプログラムであって、前記撮影画像を撮影した実カメラの前記実空間内における位置である撮影位置に相当する前記仮想空間内における位置である対応カメラ位置を特定する対応カメラ位置特定手順、前記仮想カメラの位置と前記対応カメラ位置とに基づいて、当該対応カメラ位置に相当する前記撮影位置の前記実カメラにより撮影された前記撮影画像が前記仮想空間画像に与える影響度を決定する影響度決定手順、前記撮影画像と当該撮影画像が前記仮想空間画像に与える前記影響度とに基づいて、前記仮想空間画像を生成する仮想空間画像生成手順、をコンピュータに実行させる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る画像生成装置の構成図である。
【図２】被写体が実空間内に配置されている様子の一例を模式的に示す図である。
【図３Ａ】撮影画像の一例を示す図である。
【図３Ｂ】撮影画像の一例を示す図である。
【図３Ｃ】撮影画像の一例を示す図である。
【図３Ｄ】撮影画像の一例を示す図である。
【図４】被写体を模したポリゴンモデルが仮想空間内に配置されている様子の一例を模式的に示す図である。
【図５】仮想空間画像の一例を示す図である。
【図６】本発明の一実施形態に係る画像生成装置で実装される機能の一例を示す機能ブロック図である。
【図７Ａ】点データの一例を示す図である。
【図７Ｂ】ポリゴンデータの一例を示す図である。
【図８】ポリゴン、対応カメラ位置、及び、仮想カメラの位置の関係の一例を示す図である。
【図９】本発明の一実施形態に係る画像生成装置で行われる処理の流れの一例を示すフロー図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態について図面に基づき詳細に説明する。
【００１５】
図１は、本発明の一実施形態に係る画像生成装置１０の構成図である。本実施形態に係る画像生成装置１０は、例えば、ゲームコンソールやパーソナルコンピュータなどのコンピュータである。図１に示すように、本実施形態に係る画像生成装置１０は、例えば、プロセッサ１２、記憶部１４、操作部１６、表示部１８、通信部２０を含んでいる。
【００１６】
プロセッサ１２は、例えば画像生成装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施形態に係るプロセッサ１２には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
【００１７】
記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１４には、プロセッサ１２によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部１４には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
【００１８】
操作部１６は、キーボード、マウス、ゲームコンソールのコントローラ等のユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２に出力する。
【００１９】
表示部１８は、液晶ディスプレイ等の表示デバイスであって、プロセッサ１２の指示に従って各種の画像を表示する。
【００２０】
通信部２０は、ネットワークボードなどの通信インタフェースである。
【００２１】
なお、画像生成装置１０は、ＤＶＤ−ＲＯＭやＢｌｕ−ｒａｙ（登録商標）ディスクなどの光ディスクを読み取る光ディスクドライブ、ＵＳＢ（Universal Serial Bus）ポートなどを含んでいてもよい。
【００２２】
図２は、本実施形態に係る被写体３０が実空間３２内に配置されている様子の一例を模式的に示す図である。図２には、スタンフォードバニーのような形状の実オブジェクトが被写体３０の一例として示されている。
【００２３】
そして本実施形態では、例えば、実空間３２に配置された実カメラ３４が図２に例示する被写体３０を撮影した撮影画像３６を生成する。図２に示すように、本実施形態では、例えば、実カメラ３４ａ，３４ｂ，３４ｃ，３４ｄの４つを含む複数の実カメラ３４のそれぞれが撮影画像３６を生成する。なお、撮影画像３６を生成する実カメラ３４の数は４つに限定されず、より多い数あるいはより少ない数の実カメラ３４のそれぞれによって撮影画像３６が生成されてもよい。また１の実カメラ３４が、互いに異なる複数の位置のそれぞれにおいて被写体３０を撮影した撮影画像３６を生成してもよい。
【００２４】
図３Ａ〜図３Ｄはそれぞれ、撮影画像３６の一例を示す図である。図３Ａは、実カメラ３４ａによって生成される撮影画像３６ａの一例を示す図である。図３Ｂは、実カメラ３４ｂによって生成される撮影画像３６ｂの一例を示す図である。図３Ｃは、実カメラ３４ｃによって生成される撮影画像３６ｃの一例を示す図である。図３Ｄは、実カメラ３４ｄによって生成される撮影画像３６ｄの一例を示す図である。
【００２５】
本実施形態では例えば、Ｘ１Ｙ１Ｚ１座標系で表現される３次元空間に配置された被写体３０をＸ２Ｙ２座標系で表現される２次元平面に投影した像が撮影画像３６に配置される。この場合、撮影画像３６のなかには、被写体３０の表面上の点Ｐの像が配置されているものがある。ここでは例えば、点Ｐの像が、撮影画像３６ａ内における画素Ｑａ、撮影画像３６ｂ内における画素Ｑｂ、及び、撮影画像３６ｃ内における画素Ｑｃとして配置されていることとする。
【００２６】
そして本実施形態では例えば、撮影画像３６と、撮影画像３６を撮影した際の実カメラ３４の位置、撮影方向、及び、画角などに基づいて、図４に例示するポリゴンモデル４０が生成される。
【００２７】
図４は、被写体３０を模したポリゴンモデル４０が仮想空間４２内に配置されている様子の一例を模式的に示す図である。本実施形態に係る仮想空間４２は、実空間３２をモデリングした空間となっている。本実施形態では実空間３２内における被写体３０の位置や向きは、仮想空間４２内のポリゴンモデル４０の位置や向きに反映される。以下、実空間３２内における位置はＸ１Ｙ１Ｚ１座標系で表現され、仮想空間４２内における位置はＸ３Ｙ３Ｚ３座標系で表現されることとする。
【００２８】
図４に例示するポリゴンモデル４０には、複数の頂点４４を有するポリゴン４６が複数含まれている。頂点４４やポリゴン４６上の点の位置のなかには、被写体３０の表面上の点の位置に対応付けられるものがある。そして本実施形態では例えば、実空間３２のＸ１Ｙ１Ｚ１座標系における座標値（ｘ，ｙ，ｚ）が、仮想空間４２内のＸ３Ｙ３Ｚ３座標系における座標値（ｔ・ｘ，ｔ・ｙ，ｔ・ｚ）（ｔは定数）にマッピングされる。そのため本実施形態では、図４に示すポリゴンモデル４０が表す立体の形状は、図２に示す被写体３０の形状と概ね同じになる。以下の説明では、ｔの値は１であることとする。すなわち、実空間３２のＸ１Ｙ１Ｚ１座標系における座標値（ｘ，ｙ，ｚ）が、仮想空間４２内のＸ３Ｙ３Ｚ３座標系における座標値（ｘ，ｙ，ｚ）にマッピングされることとする。ここでは例えば、被写体３０の表面上の点Ｐが、頂点４４又はポリゴン４６上の点である点Ｒにマッピングされることとする。
【００２９】
ここで例えば、撮影画像３６に基づいて公知の手法により頂点４４の位置が特定されてもよい。そして特定された複数の頂点４４に基づいて、複数のポリゴン４６を含むポリゴンモデル４０が生成されてもよい。
【００３０】
そして本実施形態では、仮想空間４２内に配置される仮想カメラ４８からポリゴンモデル４０の方向を見た様子を表す、図５に例示する仮想空間画像５０が生成される。そして仮想空間画像５０が表示部１８に表示される。ここで例えば、ポリゴンモデル４０における点Ｒの像が、仮想空間画像５０における画素Ｓとして配置されることとする。
【００３１】
ここで本実施形態では、仮想空間画像５０内の画素Ｓの画素値は、撮影画像３６内の、画素Ｑａや画素Ｑｂや画素Ｑｃの画素値に基づいて設定される。ここで画素値とは、例えば画素の色や明るさを表す値であり、その表現は特に問わない。そして本実施形態では以下のようにして仮想空間画像５０内の各画素の画素値を設定することで、撮影画像３６を実際に撮影した際における実空間３２の自然な光環境が反映された仮想空間画像５０が生成されるようにした。
【００３２】
以下、本実施形態に係る画像生成装置１０の機能、及び、画像生成装置１０で実行される処理についてさらに説明する。
【００３３】
図６は、本実施形態に係る画像生成装置１０で実装される機能の一例を示す機能ブロック図である。図６に示すように、画像生成装置１０は、機能的には例えば、撮影画像受信部６０、実カメラデータ受信部６２、ポリゴンモデル生成部６４、ポリゴンモデルデータ記憶部６６、対応カメラ配置特定部６８、仮想カメラ配置部７０、ウエイトデータ記憶部７２、実カメラ選択部７４、デプス画像生成部７６、描画点特定部７８、影響度決定部８０、デプスカリング部８２、画素値決定部８４、仮想空間画像生成部８６、表示制御部８８を含んでいる。
【００３４】
撮影画像受信部６０、実カメラデータ受信部６２は、通信部２０を主として実装される。ポリゴンモデル生成部６４、対応カメラ配置特定部６８、実カメラ選択部７４、デプス画像生成部７６、描画点特定部７８、影響度決定部８０、デプスカリング部８２、画素値決定部８４は、プロセッサ１２を主として実装される。ポリゴンモデルデータ記憶部６６、ウエイトデータ記憶部７２は、記憶部１４を主として実装される。仮想カメラ配置部７０は、プロセッサ１２及び操作部１６を主として実装される。仮想空間画像生成部８６は、プロセッサ１２及び記憶部１４を主として実装される。表示制御部８８は、プロセッサ１２、記憶部１４、及び、表示部１８を主として実装される。
【００３５】
以上の機能は、コンピュータである画像生成装置１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して画像生成装置１０に供給されてもよい。
【００３６】
撮影画像受信部６０は、本実施形態では例えば、実カメラ３４から撮影画像３６を受信する。
【００３７】
実カメラデータ受信部６２は、本実施形態では例えば、実カメラ３４から、撮影画像３６を撮影した実カメラ３４の実空間３２内における位置、向き、画角、などといった実空間３２における実カメラ３４の配置を示す実カメラデータを受信する。
【００３８】
ポリゴンモデル生成部６４は、本実施形態では例えば、図４に例示するポリゴンモデル４０を生成する。ここでポリゴンモデル生成部６４は、撮影画像受信部６０が受信した撮影画像３６に基づいて、ポリゴンモデル４０を示すポリゴンモデルデータを生成してもよい。またポリゴンモデル生成部６４が、撮影画像受信部６０が受信した撮影画像３６と、実カメラデータ受信部６２が受信する実カメラデータと、に基づいて、ポリゴンモデルデータを生成してもよい。そしてポリゴンモデル生成部６４は、本実施形態では例えば、生成されるポリゴンモデルデータをポリゴンモデルデータ記憶部６６に記憶させる。なお、本実施形態ではポリゴンモデル４０の生成手法は特に問わない。
【００３９】
ポリゴンモデルデータ記憶部６６は、ポリゴンモデル生成部６４が生成するポリゴンモデルデータを記憶する。ポリゴンモデルデータには、図７Ａに示す点データや、図７Ｂに示すポリゴンデータなどが含まれる。
【００４０】
図７Ａは、１の頂点４４である点に対応付けられる点データの一例を示す図である。図７Ａに示す点データには、当該点データに対応付けられる頂点４４である点の識別情報である点ＩＤと当該点のＸ３Ｙ３Ｚ３座標系で表現された位置の３次元座標値を示す座標データと、当該点に対応付けられる法線方向を示す法線方向データとの組合せが含まれる。ここで法線方向データは、例えば、Ｘ３Ｙ３Ｚ３座標系で表現された法線方向を表す単位ベクトルの３次元座標値などを示す。そして本実施形態では例えば、ポリゴン４６上の点における法線方向を示す値は、当該ポリゴン４６を構成する頂点４４である点に対応付けられる点データに含まれる法線方向データの値を補間することで決定される。また頂点４４である点に対応付けられる点データに含まれる法線方向データの値が、当該頂点４４における法線方向を示す値として決定される。
【００４１】
図７Ｂは、１のポリゴン４６に対応付けられるポリゴンデータの一例を示す図である。ポリゴンデータには、例えば、当該ポリゴンデータに対応付けられるポリゴン４６の識別情報であるポリゴンＩＤと、当該ポリゴン４６を構成する頂点４４の点ＩＤの順序付きリストである頂点データと、が含まれる。またポリゴンデータによって当該ポリゴンデータに対応付けられるポリゴン４６の法線方向（表裏）が定義されてもよい。例えばポリゴン４６を表側から見た際において反時計回りとなるような頂点４４の順序である、各頂点４４に対応付けられる点の順序付きリストが頂点データとしてポリゴンデータに含まれるようにしてもよい。そしてこの場合にポリゴン４６の裏側から表側に向かう方向が法線方向として定義されてもよい。
【００４２】
対応カメラ配置特定部６８は、本実施形態では例えば、実カメラデータ受信部６２が受信する実カメラデータに基づいて、当該実カメラデータが示す実空間３２における実カメラ３４の配置に相当する、仮想空間４２内の配置を特定する。
【００４３】
以下、撮影画像３６を撮影した実カメラ３４の配置に相当する、仮想空間４２内の位置、向き、画角などといった配置を、当該撮影画像３６の対応カメラ配置と呼ぶこととする。特に、撮影画像３６を撮影した実カメラ３４の位置に相当する、仮想空間４２内の位置を、当該撮影画像３６の対応カメラ位置５２と呼ぶこととする。図４には、撮影画像３６ａの対応カメラ位置５２ａ、撮影画像３６ｂの対応カメラ位置５２ｂ、撮影画像３６ｃの対応カメラ位置５２ｃ、及び、撮影画像３６ｄの対応カメラ位置５２ｄが示されている。例えばこのように、複数の撮影画像３６のそれぞれについて、当該撮影画像３６の対応カメラ位置５２が特定されてもよい。
【００４４】
また、以下、撮影画像３６を撮影した実カメラ３４の実空間３２内における位置を、撮影位置と呼ぶこととする。
【００４５】
仮想カメラ配置部７０は、本実施形態では例えば、仮想空間４２内における仮想カメラ４８の位置、向き、画角などといった、仮想カメラ４８の配置を決定する。ここで例えば、仮想カメラ配置部７０は、ユーザによる操作部１６の操作に応じて、仮想カメラ４８の配置を変更してもよい。そして、仮想カメラ配置部７０は、ユーザの決定操作に応じて、仮想カメラ４８の配置を決定してもよい。ここで例えば、仮想カメラ４８の画角は予め定められており、仮想カメラ配置部７０が、仮想カメラ４８の位置及び撮影方向を決定してもよい。また仮想カメラ４８の画角が可変であり、仮想カメラ配置部７０が、仮想カメラ４８の位置、撮影方向、及び、画角を決定してもよい。
【００４６】
ウエイトデータ記憶部７２は、本実施形態では例えば、実カメラ３４又は撮影画像３６のウエイトを示すウエイトデータを記憶する。ここでウエイトデータが示すウエイトの値は、例えば、ユーザによって設定可能な、複数の実カメラ３４のそれぞれに対応付けられる相対的な重みを表す値であってもよい。ここで例えば、被写体３０との間の距離が短い実カメラ３４ほど当該実カメラ３４のウエイトの値が大きくなるようウエイトの値が設定されてもよい。また例えば、実カメラ３４が撮影する撮影画像３６の解像度が高いほど当該実カメラ３４のウエイトの値が大きくなるようウエイトの値が設定されてもよい。
【００４７】
なおウエイトの値として、ユーザによる設定値ではなく測定値に応じた値が設定されてもよい。例えば実カメラ３４がデプスカメラである場合などにおいて、実カメラ３４が、被写体３０までの距離を示すデータを生成してもよい。そしてこのデータが実カメラデータに含まれるようにしてもよい。そしてこの距離に基づいて、当該実カメラのウエイトの値が決定されてもよい。
【００４８】
実カメラ選択部７４は、本実施形態では例えば、仮想空間画像５０に含まれる各画素の画素値の決定の基礎となる実カメラ３４を選択する。ここで例えば、仮想カメラ配置部７０により決定される仮想カメラ４８の配置と、対応カメラ配置特定部６８により特定される複数の実カメラ３４のそれぞれに対応付けられる対応カメラ配置と、に基づいて、実カメラ３４が選択されてもよい。またウエイトデータに基づいて実カメラ３４が選択されてもよい。
【００４９】
例えば、実カメラ３４に対応付けられる対応カメラ配置と仮想カメラ４８の配置との近さ、及び、当該実カメラ３４のウエイトの値に基づいて、評価値が決定されてもよい。ここで例えば、対応カメラ位置５２と仮想カメラ４８の位置とが近いほど評価値が大きくなるようにしてもよい。また、対応カメラ配置によって示されている仮想空間４２内における向きと仮想カメラ４８の向きとが近いほど評価値が大きくなるようにしてもよい。またウエイトの値が大きいほど評価値が大きくなるようにしてもよい。そして評価値が高いものから順に所定数の実カメラ３４が選択されてもよい。以下、実カメラ選択部７４により選択された実カメラ３４を選択実カメラと呼ぶこととする。
【００５０】
デプス画像生成部７６は、本実施形態では例えば、ポリゴンモデル４０と実カメラ３４に対応付けられる対応カメラ配置とに基づいて、当該実カメラ３４が撮影した撮影画像３６に対応付けられるデプス画像を生成する。ここでデプス画像生成部７６は、実カメラ選択部７４による選択実カメラの選択に応じて、選択実カメラが撮影した撮影画像３６に対応付けられるデプス画像を生成してもよい。ここでデプス画像は、例えば、撮影画像３６に含まれる画素のそれぞれに対応付けられる、実カメラ３４から被写体３０までの距離の分布を示す画像である。デプス画像に基づいて、撮影画像３６内に含まれる画素に対応付けられる被写体３０の表面上の点と、当該撮影画像３６を撮影した実カメラ３４までの距離が特定可能である。
【００５１】
描画点特定部７８は、本実施形態では例えば、仮想空間画像５０内の画素に対応付けられる、ポリゴンモデル４０における頂点４４又はポリゴン４６上の点である描画点を特定する。例えばＧＰＵの機能を用いることにより、仮想空間４２内における仮想カメラ４８の配置とポリゴンモデル４０とに基づいて、描画点を特定することは可能である。
【００５２】
影響度決定部８０は、本実施形態では例えば、仮想カメラ４８の位置と対応カメラ位置５２とに基づいて、当該対応カメラ位置５２に相当する撮影位置の実カメラ３４により撮影された撮影画像３６が仮想空間画像５０に与える影響度を決定する。例えば、描画点から対応カメラ位置５２に向かう向きと、当該描画点から仮想カメラ４８の位置に向かう向きと、に基づいて、当該描画点における影響度が決定されてもよい。
【００５３】
また例えば、描画点から対応カメラ位置５２に向かう向きと、当該描画点から仮想カメラ４８の位置に向かう向きと、当該描画点に対応付けられる法線方向と、に基づいて、当該描画点における影響度が決定されてもよい。例えば描画点から対応カメラ位置５２に向かう向きと、当該描画点から仮想カメラ４８の位置に向かう向きと、に基づいて、当該描画点における第１の影響度を示す仮想カメラ方向影響度パラメータの値が算出されてもよい。そして例えば、描画点から対応カメラ位置５２に向かう向きと、当該描画点に対応付けられる法線方向と、に基づいて、当該描画点における第２の影響度を示す法線方向影響度パラメータの値が算出されてもよい。
【００５４】
ここで例えば、図４に示す点Ｒが描画点である場合の撮影画像３６ａに対応付けられる影響度パラメータの値の算出例について、図８を参照しながら説明する。図８では、対応カメラ位置５２ａがＡで表現されており、仮想カメラ４８の位置はＢで表現されている。
【００５５】
この場合例えば、位置Ａと位置Ｂとが近いほど、撮影画像３６ａに対応付けられる仮想カメラ方向影響度パラメータの値が大きくなるようにしてもよい。例えば、点Ｒの位置から位置Ａに向かう単位ベクトルＶと、点Ｒの位置から位置Ｂに向かう単位ベクトルＷと、がなす角度が小さいほど、仮想カメラ方向影響度パラメータの値が大きくなるようにしてもよい。また例えば、ベクトルＶとベクトルＷとの内積の値をｎ１乗（例えば３２乗）した値を、撮影画像３６ａに対応付けられる仮想カメラ方向影響度パラメータの値としてもよい。この場合、ベクトルＶとベクトルＷとの内積の値が０以下である場合は、撮影画像３６ａに対応付けられる仮想カメラ方向影響度パラメータの値は０としてもよい。
【００５６】
また、点Ｒに対応付けられる法線方向のベクトルＮとベクトルＶとのなす角度が小さいほど、法線方向影響度パラメータの値が大きくなるようにしてもよい。例えば、ベクトルＶとベクトルＮとの内積の値をｎ２乗（例えば４乗）した値を、撮影画像３６ａに対応付けられる法線方向影響度パラメータの値としてもよい。この場合、ベクトルＶとベクトルＮとの内積の値が０以下である場合は、撮影画像３６ａに対応付けられる法線方向影響度パラメータの値は０としてもよい。なお上述のように値ｎ１が値ｎ２よりも大きくてもよい。
【００５７】
デプスカリング部８２は、本実施形態では例えば、描画点に対応付けられる仮想空間画像５０内の画素の画素値に影響を与えないと判定される撮影画像３６に対応付けられる影響度パラメータの値を０に変更する。以下、描画点に対応付けられる仮想空間画像５０内の画素の画素値に影響を与えないと判定される撮影画像３６を、無影響撮影画像と呼ぶこととする。
【００５８】
ここでは例えば、デプスカリング部８２は、Ｘ３Ｙ３Ｚ３座標系で表現される描画点の３次元座標値に、対応カメラ配置に応じたプロジェクション行列を乗じることで、当該対応カメラ配置に対応付けられるプロジェクション座標系における３次元座標値を算出する。
【００５９】
ここで撮影画像３６ａの対応カメラ配置に対応付けられるプロジェクション座標系におけるＸ座標値は、撮影画像３６ａにおけるＸ２座標値に相当する。例えば撮影画像３６ａの対応カメラ配置に対応付けられるプロジェクション座標系における、図８に示す点ＲのＸ座標値は、画素ＱａのＸ座標値と同じとなる。また撮影画像３６ａの対応カメラ配置に対応付けられるプロジェクション座標系におけるＹ座標値は、撮影画像３６ａにおけるＹ２座標値に相当する。例えば撮影画像３６ａの対応カメラ配置に対応付けられるプロジェクション座標系における、図８に示す点ＲのＹ座標値は、画素ＱａのＹ座標値と同じとなる。そのため、プロジェクション座標系におけるＸ座標値及びＸ座標値に基づいて、これらの座標値の組合せに相当する撮影画像３６ａ内の画素の位置、及び、デプス画像内の画素の位置が特定可能である。
【００６０】
また、撮影画像３６ａの対応カメラ配置に対応付けられるプロジェクション座標系における図８に示す点ＲのＺ座標値は、図８に示す点Ｒと位置Ａとの間の長さＬ１に相当する。
【００６１】
そしてデプスカリング部８２は、描画点に対応付けられるデプス画像内における画素の画素値に対応付けられる長さＬ２と上述の長さＬ１との差が所定長より長い場合は、撮影画像３６ａを当該描画点における無影響撮影画像として判定する。そして、デプスカリング部８２は、無影響撮影画像として判定された撮影画像３６ａに対応付けられる影響度パラメータの値を０に変更する。
【００６２】
例えば、点Ｒに対応付けられる撮影画像３６ａ内の画素として、画素Ｑａが特定される。ここで例えば画素ＱａのＸ２Ｙ２座標値が（ｘ１，ｙ１）であることとする。この場合は、Ｘ２Ｙ２座標値が（ｘ１，ｙ１）である、撮影画像３６ａに対応付けられるデプス画像の画素値に対応付けられる長さＬ２が特定される。
【００６３】
ここで上述の長さＬ２と上述の長さＬ１との差が所定長より長い場合には、画素Ｑａは、点Ｒに対応付けられる画素とは言えない。この場合は例えば、点Ｐよりも実カメラ３４ａに近い位置に存在する被写体３０の面や他のオブジェクトなどの像が画素Ｑａとして撮影画像３６ａに配置されている可能性が高い。そのためこの場合は、画素Ｑａの画素値が仮想空間画像５０における画素Ｓの画素値に反映されるべきではない。
【００６４】
このことを踏まえて本実施形態では例えば、上述のように上述の長さＬ２と上述の長さＬ１との差が所定長より長い場合は、撮影画像３６ａが描画点における無影響撮影画像として判定される。そして撮影画像３６ａに対応付けられる仮想カメラ方向影響度パラメータの値及び法線方向影響度パラメータの値が０に変更される。
【００６５】
なお例えば実カメラ３４がデプスカメラである場合などには、デプス画像生成部７６が生成するデプス画像の代わりに実カメラ３４によって生成されるデプス画像が、上述の長さＬ２の特定に用いられてもよい。
【００６６】
画素値決定部８４は、本実施形態では例えば、撮影画像３６内における描画点に対応付けられる画素の画素値と、当該描画点における影響度と、に基づいて、当該描画点に対応付けられる仮想空間画像５０内の画素の画素値を決定する。
【００６７】
ここで画素値の決定の一例として、描画点である点Ｒに対応付けられる画素Ｓの画素値の決定の場面について以下に説明する。またここでは、実カメラ選択部７４によって、実カメラ３４ａ、実カメラ３４ｂ、及び、実カメラ３４ｃが選択実カメラとして選択されたとする。
【００６８】
また撮影画像３６ａに対応付けられる点Ｒにおける仮想カメラ方向影響度パラメータの値、法線方向影響度パラメータの値、をそれぞれ、ａ１、ａ２とする。また撮影画像３６ｂに対応付けられる点Ｒにおける仮想カメラ方向影響度パラメータの値、法線方向影響度パラメータの値、をそれぞれ、ｂ１、ｂ２とする。また撮影画像３６ｃに対応付けられる点Ｒにおける仮想カメラ方向影響度パラメータの値、法線方向影響度パラメータの値、をそれぞれ、ｃ１、ｃ２とする。そして、実カメラ３４ａ、実カメラ３４ｂ、実カメラ３４ｃのウエイトの値を、それぞれ、ｗａ、ｗｂ、ｗｃとする。
【００６９】
この場合、画素値決定部８４は、まず、ａ１＋ｂ１＋ｃ１の値を１から引いた値ｔを算出する。ここでａ１＋ｂ１＋ｃ１の値が１以上である場合は、値ｔは０となる。
【００７０】
そして、画素値決定部８４は、仮想カメラ方向影響度パラメータの値と、法線カメラ方向影響度パラメータの値に値ｔを乗じた値と、の和に、ウエイトの値を乗じた値を、最終影響度値として算出する。ここで例えば、（ａ１＋ｔ・ａ２）・ｗａの値が、撮影画像３６ａに対応付けられる点Ｒにおける最終影響度値ａｘとして算出される。また（ｂ１＋ｔ・ｂ２）・ｗｂの値が、撮影画像３６ｂに対応付けられる点Ｒにおける最終影響度値ｂｘとして算出される。また（ｃ１＋ｔ・ｃ２）・ｗｃの値が、撮影画像３６ｃに対応付けられる点Ｒにおける最終影響度値ｃｘとして算出される。
【００７１】
ここで点Ｒに対応付けられる、撮影画像３６ａ内の画素Ｑａの画素値をｐｑａ、撮影画像３６ｂ内の画素Ｑｂの画素値をｐｑｂ、撮影画像３６ｃ内の画素Ｑｃの画素値をｐｑｃとする。この場合、値ｐｑａと値ａｘとの積と、値ｐｑｂと値ｂｘとの積と、値ｐｑｃと値ｃｘとの積と、の合計を、値ａｘと値ｂｘと値ｃｘの和で割った値が、画素Ｓの画素値ｐｓとして決定される。すなわち（（ｐｑａ・ａｘ＋ｐｑｂ・ｂｘ＋ｐｑｃ・ｃｘ）／（ａｘ＋ｂｘ＋ｃｘ））との計算式で算出される値が画素Ｓの画素値ｐｓとして決定される。このように、複数の撮影画像３６についての、当該撮影画像３６内における描画点に対応付けられる画素の画素値の、撮影画像３６に対応付けられる影響度に基づく重み付き平均値が算出されてもよい。そして算出された重み付き平均値が、当該描画点に対応付けられる仮想空間画像５０内の画素の画素値として決定されてもよい。
【００７２】
仮想空間画像生成部８６は、本実施形態では例えば、撮影画像３６と当該撮影画像３６が仮想空間画像５０に与える影響度とに基づいて、仮想空間画像５０を生成する。ここで例えば、仮想空間画像５０内の複数の画素について画素値決定部８４により決定される画素値に基づいて仮想空間画像５０が生成されてもよい。
【００７３】
表示制御部８８は、本実施形態では例えば、仮想空間画像生成部８６が生成する仮想空間画像５０を表示部１８に表示させる。
【００７４】
描画点に対応する被写体３０の表面に対して正面から撮影された撮影画像３６には、斜めから撮影された撮影画像３６よりも、当該表面の色や明るさが的確に表現されているものと考えられる。そのため本実施形態では、法線方向影響度パラメータによって、描画点の法線方向に沿った撮影方向で撮影された撮影画像３６の画素の画素値が描画点に対応付けられる仮想空間画像５０内の画素の画素値に強い影響を与えるようになっている。
【００７５】
しかし法線方向影響度パラメータだけでは、撮影画像３６が撮影された際の撮影位置に相当する対応カメラ位置５２と仮想カメラ４８の位置とが同じあるいは近い場合であっても当該撮影画像３６が仮想空間画像５０に与える影響度にはこのことが反映されない。そのため例えば、実空間３２の自然な光環境が的確に表現された撮影画像３６があっても、仮想空間画像５０にはその自然な光環境が反映されない。そこで本実施形態では、仮想カメラ方向影響度パラメータによって、仮想カメラ４８の位置に近い対応カメラ位置５２に相当する撮影位置の実カメラ３４により撮影された撮影画像３６の画素値が仮想空間画像５０内の画素の画素値に強い影響を与えるようにした。
【００７６】
以上のようにして本実施形態によれば、撮影画像３６を実際に撮影した際における実空間３２の自然な光環境を仮想空間画像５０に反映させることができる。
【００７７】
ここで、本実施形態に係る画像生成装置１０で行われる仮想空間画像の生成処理の流れの一例を、図９に例示するフロー図を参照しながら説明する。本処理例では、以下のＳ１０１〜Ｓ１１５に示す処理のループは、繰り返し実行されることとする。また本処理例では、複数の実カメラ３４による撮影画像３６の撮影タイミングや撮影画像３６の送信タイミングは同期がとられていることとする。
【００７８】
まず、複数の実カメラ３４のそれぞれから、撮影画像受信部６０が、撮影画像３６を受信するとともに、実カメラデータ受信部６２が、当該撮影画像３６を撮影した際の実カメラ３４の配置等を示す実カメラデータを受信する（Ｓ１０１）。
【００７９】
そしてポリゴンモデル生成部６４が、Ｓ１０１に示す処理で受信した撮影画像３６及びカメラデータに基づいて、ポリゴンモデルデータを生成して、生成されたポリゴンモデルデータをポリゴンモデルデータ記憶部６６に記憶させる（Ｓ１０２）。
【００８０】
そして対応カメラ配置特定部６８が、Ｓ１０１に示す処理で受信した実カメラデータに基づいて、複数の実カメラ３４のそれぞれに対応付けられる対応カメラ配置を特定する（Ｓ１０３）。Ｓ１０３に示す処理で特定される対応カメラ配置には、対応カメラ位置５２が含まれている。
【００８１】
そして仮想カメラ配置部７０が、当該ループにおける仮想カメラ４８の配置を特定する（Ｓ１０４）。
【００８２】
そして実カメラ選択部７４が、それぞれの実カメラ３４についての評価値を算出して、算出された評価値に基づいて、撮影画像３６を撮影した複数の実カメラ３４のうちの一部を、選択実カメラとして選択する（Ｓ１０５）。
【００８３】
そしてデプス画像生成部７６が、Ｓ１０５に示す処理で選択された選択実カメラが撮影した撮影画像３６に対応付けられるデプス画像を生成する（Ｓ１０６）。
【００８４】
そして描画点特定部７８が、Ｓ１０４に示す処理で特定された配置の仮想カメラ４８から仮想空間４２を見た様子を表す仮想空間画像５０に含まれる、以下のＳ１０８〜Ｓ１１２に示す処理が実行されていない画素を１つ選択する（Ｓ１０７）。
【００８５】
そして描画点特定部７８は、Ｓ１０７に示す処理で選択された画素に対応付けられる頂点４４又はポリゴン４６上の点である描画点の有無を確認する（Ｓ１０８）。
【００８６】
Ｓ１０８に示す処理で描画点の存在が確認されなかった場合は（Ｓ１０８：Ｎ）、画素値決定部８４が、所定の画素値をＳ１０７に示す処理で選択された画素の画素値として決定する（Ｓ１０９）。ここでは例えば、背景の画素値として予め定められた画素値が決定されてもよい。
【００８７】
一方、Ｓ１０８に示す処理で描画点の存在が確認されたとする（Ｓ１０８：Ｙ）。この場合は、影響度決定部８０が、Ｓ１０５に示す処理で選択された選択実カメラのそれぞれについて、当該選択実カメラが撮影した撮影画像３６に対応付けられる影響度パラメータの値を算出する（Ｓ１１０）。ここでは例えば上述のように仮想カメラ方向影響度パラメータの値と法線方向影響度パラメータの値が算出される。
【００８８】
そしてデプスカリング部８２が、上述のようにして、Ｓ１０７に示す処理で選択された画素の画素値に影響を与えない無影響撮影画像を特定して、当該無影響撮影画像に対応付けられる影響度パラメータの値を０に更新する（Ｓ１１１）。Ｓ１１１に示す処理では例えば、Ｓ１０６に示す処理で生成されるデプス画像に基づいて、Ｓ１０７に示す処理で選択された画素の画素値に影響を与えない無影響撮影画像が特定されてもよい。
【００８９】
そして画素値決定部８４が、Ｓ１０７に示す処理で選択された画素の画素値を決定する（Ｓ１１２）。ここでは例えば、撮影画像３６に対応付けられる仮想カメラ方向影響度パラメータの値と法線方向影響度パラメータの値との組合せ、及び、当該撮影画像３６に対応付けられる選択実カメラのウエイトの値に基づいて、画素値が決定される。
【００９０】
Ｓ１０９又はＳ１１２に示す処理が終了されると、描画点特定部７８が、仮想空間画像５０に含まれるすべての画素について上述のＳ１０８〜Ｓ１１２に示す処理が実行されたか否かを確認する（Ｓ１１３）。すべての画素についてＳ１０８〜Ｓ１１２に示す処理が実行されていないことが確認された場合は（Ｓ１１３：Ｎ）、Ｓ１０７に示す処理に戻る。
【００９１】
すべての画素についてＳ１０８〜Ｓ１１２に示す処理が実行されたことが確認された場合は（Ｓ１１３：Ｎ）、仮想空間画像生成部８６が、Ｓ１１２に示す処理で決定された画素値が仮想空間画像５０内のすべての画素について設定された仮想空間画像５０を生成する（Ｓ１１４）。
【００９２】
そして表示制御部８８が、Ｓ１１４に示す処理で生成された仮想空間画像５０を表示部１８に表示させる（Ｓ１１５）。
【００９３】
上述のように、本処理例では、Ｓ１０１〜Ｓ１１５に示す処理が繰り返し実行されることとなる。
【００９４】
ここで例えば複数の実カメラ３４が所定のサンプリングレートで撮影画像３６を繰り返し撮影してもよい。またＳ１０１〜Ｓ１１５に示す処理が複数のプロセスやスレッドによって互いに実行タイミングをずらして並行に処理されてもよい。そして上述のサンプリングレートでいずれかのプロセスやスレッドによりＳ１０１に示す処理が実行されるようにしてもよい。例えばこのようにすれば、Ｓ１０１〜Ｓ１１５に示す処理の実行時間程度の遅れを許容すれば、任意の仮想カメラ４８の位置から仮想空間４２を見た様子を表す仮想空間画像５０のリアルタイムでのレンダリングが可能となる。
【００９５】
なお、例えば実カメラ３４の配置及び被写体３０の配置が固定されており、当該実カメラ３４が撮影した撮影画像３６に対応付けられるデプス画像の生成が前回までのループで既に終わっている場合がある。例えばこのような場合には、Ｓ１０６に示す処理は実行されなくてもよい。
【００９６】
また例えば実カメラ３４がデプス画像を生成可能なデプスカメラである場合に、Ｓ１０１に示す処理で、撮影画像受信部６０がデプス画像を併せて受信してもよい。そしてこの場合は、Ｓ１１１に示す処理で、Ｓ１０１に示す処理で受信したデプス画像に基づいてＳ１０７に示す処理で選択された画素の画素値に影響を与えない選択実カメラが特定されてもよい。
【００９７】
また上述の処理例に示す処理において、Ｓ１１１に示す処理が実行されなくてもよい。
【００９８】
なお、本発明は上述の実施形態に限定されるものではない。
【００９９】
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
【図１】
0006726358.tif 000002
【図２】
0006726358.tif 000003
【図３Ａ】
0006726358.tif 000004
【図３Ｂ】
0006726358.tif 000005
【図３Ｃ】
0006726358.tif 000006
【図３Ｄ】
0006726358.tif 000007
【図４】
0006726358.tif 000008
【図５】
0006726358.tif 000009
【図６】
0006726358.tif 000010
【図７Ａ】
0006726358.tif 000011
【図７Ｂ】
0006726358.tif 000012
【図８】
0006726358.tif 000013
【図９】
0006726358.tif 000014