(57)【要約】【課題】ストロボ画像の動画のコンテンツを容易に制作する。【解決手段】ストロボモデル生成部は、複数の視点から撮影された複数の視点画像から生成される複数の時刻の被写体の3Dモデルが3次元空間に配置されたストロボモデルを生成する。カメラワーク設定部は、ストロボモデルを仮想カメラで撮影することによりストロボ画像を生成するときの仮想カメラのカメラワークを、ストロボモデルに配置された3Dモデルの状態に応じて設定する。本技術は、ストロボ画像の生成に適用することができる。【選択図】図２
2020095465.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点から撮影された複数の視点画像から生成される複数の時刻の被写体の3Dモデルが3次元空間に配置されたストロボモデルを生成するストロボモデル生成部と、
前記ストロボモデルを仮想カメラで撮影することによりストロボ画像を生成するときの前記仮想カメラのカメラワークを、前記ストロボモデルに配置された前記3Dモデルの状態に応じて設定するカメラワーク設定部と
を備える画像処理装置。
【請求項２】
前記カメラワークは、前記ストロボモデルを撮影する前記仮想カメラの撮影位置及び姿勢を含む
請求項１に記載の画像処理装置。
【請求項３】
前記撮影位置ごとに、前記ストロボ画像のフレームが生成される
請求項２に記載の画像処理装置。
【請求項４】
前記カメラワーク設定部は、前記ストロボモデルに配置された前記3Dモデルのモデル分布に応じて、前記カメラワークを設定する
請求項１に記載の画像処理装置。
【請求項５】
前記カメラワーク設定部は、前記ストロボモデルに配置された前記3Dモデルの軌跡に応じて、前記カメラワークを設定する
請求項４に記載の画像処理装置。
【請求項６】
前記カメラワーク設定部は、前記仮想カメラの撮影位置を、前記ストロボモデルに配置された前記3Dモデルの軌跡に沿った撮影ルートである平行撮影ルート以外の撮影ルートに、前記平行撮影ルートの場合よりも疎に設定する
請求項５に記載の画像処理装置。
【請求項７】
前記カメラワーク設定部は、前記モデル分布に応じて、前記仮想カメラの撮影開始位置及び撮影終了位置を設定する
請求項４に記載の画像処理装置。
【請求項８】
前記カメラワーク設定部は、前記ストロボモデルに配置された前記3Dモデルの軌跡に応じて、前記仮想カメラの撮影開始位置及び撮影終了位置を設定する
請求項７に記載の画像処理装置。
【請求項９】
前記カメラワーク設定部は、前記3Dモデルの軌跡に垂直な方向の位置を、前記仮想カメラの撮影開始位置に設定する
請求項８に記載の画像処理装置。
【請求項１０】
前記カメラワーク設定部は、前記ストロボモデルに配置された前記3Dモデルのすべてを囲む囲み線上に、前記撮影位置を設定する
請求項２に記載の画像処理装置。
【請求項１１】
前記カメラワーク設定部は、動物の被写体の3Dモデルが配置された前記ストロボモデルについて、前記動物の顔に応じて、カメラワークを設定する
請求項２に記載の画像処理装置。
【請求項１２】
前記カメラワーク設定部は、前記動物の顔に正対する方向から、前記ストロボモデルを撮影するように、前記撮影位置及び姿勢を設定する
請求項１１に記載の画像処理装置。
【請求項１３】
前記カメラワーク設定部は、前記視点画像を撮影したカメラの位置と姿勢とを、前記仮想カメラの撮影開始位置又は撮影終了位置と、前記撮影開始位置又は前記撮影終了位置での前記仮想カメラの姿勢とに設定する
請求項２に記載の画像処理装置。
【請求項１４】
前記カメラワーク設定部は、x軸、y軸、又は、z軸に関する前記仮想カメラの動きを制限し、ユーザの操作に応じて、前記カメラワークを変更する
請求項１に記載の画像処理装置。
【請求項１５】
前記カメラワーク設定部は、前記仮想カメラから見た前記ストロボモデルに配置された前記3Dモデルの状態に応じて、前記ストロボモデルに配置する前記3Dモデルを選択する
請求項１に記載の画像処理装置。
【請求項１６】
前記カメラワーク設定部は、前記仮想カメラから見て、少なくとも、手前側の3Dモデルに重なる奥側の3Dモデル以外の3Dモデルを、前記ストロボモデルに配置する3Dモデルとして選択する
請求項１５に記載の画像処理装置。
【請求項１７】
ユーザの操作に応じて、前記ストロボモデルに配置する前記3Dモデルを選択するモデル選択部をさらに備える
請求項１に記載の画像処理装置。
【請求項１８】
前記モデル選択部は、前記ストロボモデル生成部により生成された前記ストロボモデルに配置された3Dモデルの一部を選択し、その選択した前記3Dモデルが配置された前記ストロボモデルを生成する
請求項１７に記載の画像処理装置。
【請求項１９】
複数の視点から撮影された複数の視点画像から生成される複数の時刻の被写体の3Dモデルが3次元空間に配置されたストロボモデルを生成することと、
前記ストロボモデルを仮想カメラで撮影することによりストロボ画像を生成するときの前記仮想カメラのカメラワークを、前記ストロボモデルに配置された前記3Dモデルの状態に応じて設定することと
を含む画像処理方法。
【請求項２０】
複数の視点から撮影された複数の視点画像から生成される複数の時刻の被写体の3Dモデルが3次元空間に配置されたストロボモデルを生成するストロボモデル生成部と、
前記ストロボモデルを仮想カメラで撮影することによりストロボ画像を生成するときの前記仮想カメラのカメラワークを、前記ストロボモデルに配置された前記3Dモデルの状態に応じて設定するカメラワーク設定部と
して、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、例えば、ストロボ画像の動画のコンテンツを容易に制作することができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
複数の時刻に撮影された被写体（像）が映るストロボ画像を生成する方法が提案されている（例えば、特許文献１を参照）。ストロボ画像には、複数の時刻の被写体が映るので、被写体の動きや軌跡を、容易に把握することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2007-259477号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１は1つの方向から見た被写体の動きや軌跡を把握できるが、ユーザが見たい任意の視点に変更することができない。
【０００５】
本技術は、このような状況に鑑みてなされたものであり、ストロボ画像の動画のコンテンツを容易に制作することができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の画像処理装置又はプログラムは、複数の視点から撮影された複数の視点画像から生成される複数の時刻の被写体の3Dモデルが3次元空間に配置されたストロボモデルを生成するストロボモデル生成部と、前記ストロボモデルを仮想カメラで撮影することによりストロボ画像を生成するときの前記仮想カメラのカメラワークを、前記ストロボモデルに配置された前記3Dモデルの状態に応じて設定するカメラワーク設定部とを備える画像処理装置、又は、そのような画像処理装置としてコンピュータを機能させるためのプログラムである。
【０００７】
本技術の画像処理方法は、複数の視点から撮影された複数の視点画像から生成される複数の時刻の被写体の3Dモデルが3次元空間に配置されたストロボモデルを生成することと、前記ストロボモデルを仮想カメラで撮影することによりストロボ画像を生成するときの前記仮想カメラのカメラワークを、前記ストロボモデルに配置された前記3Dモデルの状態に応じて設定することとを含む画像処理方法である。
【０００８】
本技術の画像処理装置、画像処理方法、及び、プログラムにおいては、複数の視点から撮影された複数の視点画像から生成される複数の時刻の被写体の3Dモデルが3次元空間に配置されたストロボモデルが生成される。そして、前記ストロボモデルを仮想カメラで撮影することによりストロボ画像を生成するときの前記仮想カメラのカメラワークが、前記ストロボモデルに配置された前記3Dモデルの状態に応じて設定される。
【０００９】
なお、画像処理装置や表示装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１０】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【図２】画像処理部１３の構成例を示すブロック図である。
【図３】画像処理システムが行う、自由視点画像としての3Dストロボ画像を表示する自由視点画像表示処理の例を説明するフローチャートである。
【図４】不自然な3Dストロボ画像の例を示す図である。
【図５】自然な3Dストロボ画像の例を示す図である。
【図６】ストロボ区間の視点画像のフレームの例を示す図である。
【図７】ストロボ区間としての時刻t1ないしt9のフレームを用いたストロボモデルの生成の例を示す図である。
【図８】仮想カメラによるストロボモデルの撮影により生成される3Dストロボ画像の表示の例を示す図である。
【図９】ストロボモデルに最終的に配置する3Dモデルを選択するUI(User Interface)の例を示す図である。
【図１０】ノーマルモデル及びスパースモデルの例を示す図である。
【図１１】ストロボモデルに配置された3Dモデルに行うエフェクト処理を選択するUIの例を示す図である。
【図１２】エフェクト処理前のストロボモデルと、エフェクト処理後のストロボモデルとの例を示す図である。
【図１３】ストロボモデルにおいて、エフェクト処理部２３でのエフェクト処理の対象となる3Dモデルを説明する図である。
【図１４】エフェクト処理の具体例を説明する図である。
【図１５】カメラワーク設定部２４の構成例を示すブロック図である。
【図１６】位置設定部６１により行われるモデル分布に応じた撮影開始位置及び撮影終了位置の設定の第１の例を示す図である。
【図１７】位置設定部６１により行われるモデル分布に応じた撮影開始位置及び撮影終了位置の設定の第２の例を示す図である。
【図１８】位置設定部６１により行われるモデル分布に応じた撮影開始位置及び撮影終了位置の設定の第３の例を示す図である。
【図１９】カメラワーク生成部６２によるデフォルトカメラワークの生成の例を示す図である。
【図２０】ユーザの操作に応じたカメラワークの変更を説明する図である。
【図２１】ユーザの操作に応じたカメラワークの変更の例を示す図である。
【図２２】視点画像に映る被写体が人等の動物である場合のカメラワークの生成の例を説明する図である。
【図２３】仮想カメラで撮影されるストロボモデルに配置された3Dモデルの状態に応じた、ストロボモデルに配置する3Dモデルの選択の例を説明する図である。
【図２４】3Dストロボ画像の前後に、実画像をつなげる場合の撮影開始位置及び撮影終了位置の設定の例を説明する図である。
【図２５】ストロボモデルへの、オーバーレイ画像のオーバレイの例を示す図である。
【図２６】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】
＜本技術を適用した画像処理システム＞
【００１３】
図１は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【００１４】
図１の画像処理システムでは、実写の画像から生成された自由視点データを用いて、任意の視点から３次元空間の被写体を見た時の見え方に相当する自由視点画像を生成する。そして、任意の表示装置に自由視点画像を表示する。ここで、任意の視点から選択された１つの視点を、本明細書では仮想的な視点（仮想視点）と称する。
【００１５】
図１の画像処理システムは、撮影部１１、自由視点データ生成部１２、画像処理部１３、自由視点画像生成部１４、表示部１５、操作部１６、及び、制御部１７を有する。
【００１６】
撮影部１１は、少なくとも複数のカメラで構成され、複数の視点から、被写体を撮影する。例えば、撮影部１１を構成する複数のカメラは、被写体を囲むように配置され、各カメラは、そのカメラが配置された位置としての視点から、被写体を撮影する。各カメラにより、そのカメラの位置から撮影された2D(Dimensional)画像、すなわち、複数の視点から撮影された2D画像である複数の視点の視点画像（動画）は、フレーム単位で、撮影部１１から自由視点データ生成部１２に供給される。
【００１７】
ここで、撮影部１１には、複数のカメラの他、複数の測距装置を設けることができる。測距装置は、カメラと同一の位置（視点）に配置することもできるし、カメラと異なる位置に配置することもできる。測距装置は、その測距装置が配置された位置（視点）から、被写体までの距離を測定し、その距離に関する情報であるデプスを画素値とする2D画像であるデプス画像を生成する。デプス画像は、撮影部１１から自由視点データ生成部１２に供給される。
【００１８】
なお、撮影部１１に、測距装置が設けられていない場合には、複数の視点の視点画像のうちの２視点の視点画像を用いて、三角測量の原理により、被写体までの距離を測定し、デプス画像を生成することができる。
【００１９】
自由視点データ生成部１２は、撮影部１１からの複数の視点の視点画像とデプス画像とから、3D画像の自由視点データを、フレーム単位で生成する。
【００２０】
ここで、自由視点データとは、自由視点画像を生成することができる3D画像のデータである。自由視点データとしては、例えば、撮影部１１からの複数の視点の視点画像とデプス画像とのセットを、そのまま採用することができる。また、自由視点データとしては、その他、例えば、3Dモデル（や背景画像等を含む3Dデータ）や、複数の視点の2D画像とデプス画像とのセットを採用することができる。3Dモデルは、複数の視点の視点画像とデプス画像とのセットや複数の視点の2D画像とデプス画像とのセットから生成することができるので、複数の視点の視点画像とデプス画像とのセットや複数の視点の2D画像とデプス画像とのセットは、広義には、3Dモデルであるということができる。
【００２１】
自由視点データとして、撮影部１１からの複数の視点の視点画像とデプス画像とのセットを採用する場合、自由視点データ生成部１２は、撮影部１１からの複数の視点の視点画像とデプス画像とのセットを、自由視点データとして、画像処理部１３に供給する。
【００２２】
自由視点データとして、3Dモデルを採用する場合、自由視点データ生成部１２は、撮影部１１からの複数の視点の視点画像と、その複数の視点のデプス画像とを用いて、Visual Hull等によりモデリングを行って、視点画像に映る被写体の3Dモデルを生成し、その3Dモデル（を含む3Dデータ）を、自由視点データとして、画像処理部１３に供給する。なお、撮影部１１からのデプス画像の視点が、撮影部１１からの視点画像の視点と異なる場合、自由視点データ生成部１２は、撮影部１１からの複数の視点のデプス画像を用いて、撮影部１１からの視点画像の視点のデプス画像を生成することができる。
【００２３】
自由視点データとして、複数の視点の2D画像とデプス画像とのセットを採用する場合、自由視点データ生成部１２は、上述したように、視点画像に映る被写体の3Dモデルを生成し、その3Dモデルを、複数の視点（撮影部１１を構成するカメラと同一の視点でも良いし、異なる視点でも良い）から見た2D画像とデプス画像とのセットを生成する。そして、自由視点データ生成部１２は、3Dモデルから生成した複数の視点の2D画像とデプス画像とのセットを、自由視点データとして、画像処理部１３に供給する。
【００２４】
以下では、説明を簡単にするため、特に断らない限り、自由視点データとして、3Dモデル（を含む3Dデータ）を採用することとする。
【００２５】
なお、自由視点データとしては、3Dモデルよりも、その3Dモデルから生成された複数の視点の2D画像とデプス画像とのセットを採用することにより、自由視点データのデータ量を少なくすることができる。3Dモデルから複数の視点の2D画像とデプス画像とのセットを生成して伝送する技術については、本出願人が先に提案した国際公開2017/082076号に記載されている。3Dモデルから複数の視点の2D画像とデプス画像とのセットを生成する場合、その複数の視点の2D画像とデプス画像とのセットは、例えば、MVCD（Multiview and depth video coding）や、AVC(Advanced Video Coding)、HEVC(High Efficiency Video Coding)等の2D画像を対象とする符号化方式により符号化することができる。
【００２６】
ここで、3Dモデル（の表現形式）には、大きく分けて、View Independentと呼ばれるモデル（以下、VIモデルともいう）と、View Dependentと呼ばれるモデル（以下、VDモデルともいう）とがある。
【００２７】
VDモデルは、３次元の形状の情報である3D形状モデルと、テクスチャとなる画像の情報とが別になっている3Dモデルである。VDモデルでは、3D形状モデルに、テクスチャとなる画像がマッピング（テクスチャマッピング）されることにより、色が付される。VDモデルによれば、（仮想）視点によって異なる被写体の表面の反射の具合等を表現することができる。
【００２８】
VIモデルは、3D形状モデルの構成要素としてのポリゴンや点が、色の情報を有している3Dモデルである。VIモデルとしては、例えば、色付きのポイントクラウドや、3D形状モデルと、3D形状モデルの色の情報としてのUVマップとのセットがある。VIモデルによれば、どの（仮想）視点から見ても、ポリゴンや点が有する色が観測される。
【００２９】
画像処理部１３は、自由視点データ生成部１２からの3D画像の自由視点データとしての3Dモデルを用い、例えば、撮影部１１で撮影された3次元空間に、視点画像の複数のフレーム（時刻）の同一の被写体の3Dモデルが配置されたストロボモデルを生成するとともに、ストロボモデルを、仮想カメラで撮影するときのカメラワークを設定する。
【００３０】
仮想カメラのカメラワークとは、仮想カメラで撮影を行うときの、その撮影の一切の作業（手順）に関する情報であり、例えば、仮想カメラの位置（撮影位置）や、姿勢（撮影姿勢）（撮影方向）、ズーム倍率等のカメラパラメータ等を含む。仮想カメラの撮影位置は、例えば、ワールド座標系としてのxyz座標系の座標等で表すことができ、仮想カメラの撮影姿勢は、xyz座標系の各軸回りの回転角等で表すことができる。ここで、仮想カメラとは、３次元空間に配置された被写体の３Ｄモデルに対して、任意の視点からの２次元画像を生成する場合に使用される視点に相当する。最終的にあたかもその視点に配置されたカメラで撮影されたような２次元画像を生成できるので、本明細書では仮想視点に相当する内容を仮想カメラと称している。カメラワークとは、上記２次元画像を生成する場合の視点を移動させることをいう。カメラを動かして撮影しているような画像が生成できるため、本明細書では仮想カメラのカメラワークと称している。
【００３１】
画像処理部１３は、ストロボモデルの生成後、必要に応じて、ストロボモデルに配置された3Dモデルにエフェクト処理等を行い、ストロボモデルとしての自由視点データ及びカメラワークを、自由視点画像生成部１４に供給する。
【００３２】
ここで、自由視点データが、複数の視点の視点画像及びデプス画像、又は、複数の視点の2D画像及びデプス画像である場合、画像処理部１３では、ストロボモデルの生成に用いる複数のフレームそれぞれごとにモデリングを行って、複数のフレームに映る被写体の3Dモデルを個別に生成することができる。そして、複数のフレームそれぞれの3Dモデルを背景としての3次元空間に配置（合成）することにより、ストロボモデルを生成することができる。又は、複数のフレームに映る被写体のシルエット画像を合成し、その合成により得られる合成シルエット画像を用いてモデリングを行って、複数のフレームそれぞれに映る被写体の3Dモデルを合成した、いわば合成3Dモデルを生成することができる。そして、その合成3Dモデルを背景としての3次元空間に配置することにより、ストロボモデルを生成することができる。
【００３３】
さらに、画像処理部１３では、ストロボモデルに配置された3Dモデルのうちの、例えば、最新の時刻の3Dモデルや、ユーザの操作に応じて指定された3Dモデルを基準3Dモデルとして、基準3Dモデルより過去及び未来のうちの一方又は両方の3Dモデルにエフェクト処理を行うことができる。
【００３４】
また、画像処理部１３では、例えば、ユーザの操作等に応じて、エフェクト処理を行わずに、ストロボモデルとしての自由視点データを、自由視点画像生成部１４に供給することができる。さらに、画像処理部１３は、例えば、ユーザの操作等に応じて、ストロボモデルを生成せずに、自由視点データ生成部１２からの自由視点データを、自由視点画像生成部１４に供給することができる。
【００３５】
自由視点画像生成部１４は、画像処理部１３からのストロボモデルを、画像処理部１３からのカメラワークに応じて仮想カメラで撮影することにより得られる2D画像（ここでは、左目用の2D画像及び右目用の2D画像のセットを含む）である3Dストロボ画像の動画を、自由視点画像（のデータ）として生成する。すなわち、自由視点画像生成部１４は、ストロボモデルを、画像処理部１３からのカメラワークに含まれる撮影位置から見た画像をレンダリングすることにより、自由視点画像としての3Dストロボ画像の動画を生成する。ここで、仮想カメラにより撮影するストロボモデルは、テクスチャマッピングを行ったストロボモデルであってもよいし、テクスチャマッピングを行っていないストロボモデルであってもよい。
【００３６】
ここで、ストロボ画像とは、複数の時刻に撮影された１つ以上の同一の被写体（像）が映る画像である。2D画像に映る被写体が映るストロボ画像を、2Dストロボ画像ともいい、被写体の3Dモデルが映る2D画像、すなわち、ストロボモデルを所定の視点から見た2D画像を、3Dストロボ画像ともいう。自由視点画像生成部１４では、3Dストロボ画像が生成される。
【００３７】
自由視点画像生成部１４は、3Dストロボ画像を、表示部１５に供給する。
【００３８】
表示部１５は、例えば、2Dのヘッドマウントディスプレイや、2Dのモニタ、3Dのヘッドマウントディスプレイ、3Dのモニタ等で構成され、自由視点画像生成部１４からの自由視点画像としての3Dストロボ画像の動画を表示する。3Dのヘッドマウントディスプレイやモニタは、例えば、左目用の2D画像及び右目用の2D画像を表示することにより立体視を実現する表示装置である。
【００３９】
操作部１６は、ユーザの操作に応じた操作信号を、制御部１７に供給する。なお、操作部１６は、タッチパネル等によって、表示部１５と一体的に構成することができる。
【００４０】
制御部１７は、画像処理システムを構成する各ブロックを制御する。また、制御部１７は、操作部１６からの操作信号、すなわち、ユーザによる操作部１６の操作に応じて、各種の処理を行う。
【００４１】
なお、画像処理システムは、例えば、クライアントとクラウドサーバ等とで構成されるサーバクライアントシステムで構成することができる。この場合、クラウドサーバには、自由視点データ生成部１２ないし自由視点画像生成部１４のうちの一部又は全部を設けることができる。クライアントには、自由視点データ生成部１２ないし自由視点画像生成部１４のうちの残りと、表示部１５とを設けることができる。撮影部１１は、任意の場所に配置し、撮影部１１が出力する視点画像等は、自由視点データ生成部１２に伝送することができる。
【００４２】
また、自由視点データ生成部１２ないし制御部１７の一部又は全部は、例えば、スマートフォン等のアプリケーションプログラムにより実現することができる。
【００４３】
以上のように構成される画像処理システムでは、例えば、サッカーや、ラグビー、野球、レスリング、ボクシング、柔道、ゴルフ、テニス、体操等の各種のスポーツを、視点画像として撮影し、特定の選手等の所定の被写体の3Dモデルが配置されたストロボモデルを生成することができる。この場合、特定の選手の3Dモデルが配置されたストロボモデルから生成される3Dストロボ画像は、その特定の選手の運動の解析等のスポーツ解析に用いることができる。画像処理システムにおいて視点画像を撮影する対象は、上述のようなスポーツに限定されるものではない。
【００４４】
＜画像処理部１３の構成例＞
【００４５】
図２は、図１の画像処理部１３の構成例を示すブロック図である。
【００４６】
図２において、画像処理部１３は、ストロボモデル生成部２１、モデル選択部２２、エフェクト処理部２３、カメラワーク設定部２４、及び、オーバレイ画像処理部２５を有する。
【００４７】
ストロボモデル生成部２１は、自由視点データ生成部１２からの3D画像の自由視点データとしての3Dモデルを用い、3次元空間に、視点画像の複数のフレームの同一の被写体の3Dモデルが配置されたストロボモデルを生成する。
【００４８】
モデル選択部２２は、例えば、ユーザ（による操作部１６）の操作に応じて、ストロボモデルに最終的に配置する3Dモデルを選択し、その3Dモデルが配置されたストロボモデルを生成する。
【００４９】
エフェクト処理部２３は、例えば、ユーザの操作に応じて、ストロボモデルに配置された3Dモデルにエフェクト処理を行う。
【００５０】
カメラワーク設定部２４は、仮想カメラによりストロボモデルを撮影することにより3Dストロボ画像を生成するときの仮想カメラのカメラワーク、すなわち、例えば、仮想カメラの撮影位置や、撮影姿勢（撮影方向）、ズーム倍率等のカメラパラメータ等を、ストロボモデルに配置された3Dモデルの状態に応じて設定する。
【００５１】
オーバレイ画像処理部２５は、ユーザの操作に応じて、ストロボモデルにオーバレイするオーバレイ画像としての、例えば、2D画像又は3D画像の線や、文字、図形、スタンプ等を、ストロボモデルにオーバレイする。
【００５２】
図３は、図１の画像処理システムが行う、自由視点画像としての3Dストロボ画像を表示する自由視点画像表示処理の例を説明するフローチャートである。
【００５３】
自由視点画像表示処理では、ステップＳ１１において、撮影部１１は、複数の視点から、被写体を撮影し、複数の視点の視点画像及びデプス画像をフレーム単位で得る。撮影部１１は、複数の視点の視点画像及びデプス画像を、自由視点データ生成部１２に供給し、処理は、ステップＳ１１からステップＳ１２に進む。
【００５４】
ステップＳ１２では、自由視点データ生成部１２は、撮影部１１からの複数の視点の視点画像及びデプス画像等を用いて、視点画像に映る被写体のモデリングを行い、自由視点データとしての、例えば、被写体の3Dモデル等を、フレーム単位で生成する。自由視点データ生成部１２は、自由視点データとしての被写体の3Dモデル（及び背景画像を含む3Dデータ）を、画像処理部１３に供給して、処理は、ステップＳ１３に進む。
【００５５】
ステップＳ１３では、画像処理部１３（図２）において、ストロボモデル生成部２１が、自由視点データ生成部１２からの自由視点データとしての3Dモデルとなった被写体の動きを判定し、処理は、ステップＳ１４に進む。
【００５６】
ステップＳ１４では、ストロボモデル生成部２１は、ストロボモデルを生成するかどうかを判定する。
【００５７】
ここで、ステップＳ１４での、ストロボモデルを生成するかどうかの判定は、例えば、ステップＳ１３で判定された被写体の動きに応じて行われる。被写体に動きがない場合、動きがない複数の時刻の被写体の3Dモデルが配置されたストロボモデルは、ほぼ同じ位置に、複数の時刻の被写体の3Dモデルが配置され、見にくいストロボモデルとなることがある。そこで、ステップＳ１４では、被写体の動きがない場合には、ストロボモデルを生成しないと判定し、被写体の動きがある場合には、ストロボモデルを生成すると判定することができる。
【００５８】
なお、ステップＳ１４での、ストロボモデルを生成するかどうかの判定は、その他、例えば、ユーザの操作に応じて行うことができる。
【００５９】
ステップＳ１４において、ストロボモデルを生成しないと判定された場合、画像処理部１３は、自由視点データ生成部１２からの自由視点データを、自由視点画像生成部１４に供給する。そして、処理は、ステップＳ１４から、ステップＳ１５ないしＳ２０をスキップして、ステップＳ２１に進む。
【００６０】
この場合、ステップＳ２１では、自由視点画像生成部１４は、画像処理部１３からの自由視点データを用いて、ユーザの操作に応じた仮想視点から自由視点データとしての3Dモデルを見た2D画像を、自由視点画像として生成する。そして、自由視点画像生成部１４は、自由視点画像を、表示部１５に供給して、処理は、ステップＳ２１からステップＳ２２に進む。
【００６１】
ステップＳ２２では、表示部１５は、自由視点画像生成部１４からの自由視点画像を表示する。この場合、表示部１５では、仮想視点から見た被写体の3Dモデルが映る2D画像が表示される。
【００６２】
一方、ステップＳ１４において、ストロボモデルを生成すると判定された場合、処理は、ステップＳ１５に進む。
【００６３】
ステップＳ１５では、ストロボモデル生成部２１は、自由視点データ生成部１２から供給される3Dモデルのフレームの中で、ストロボモデルの生成に用いるフレーム（以下、生成フレームともいう）を選択し、処理は、ステップＳ１６に進む。
【００６４】
ここで、ストロボモデルの生成にあたっては、例えば、ユーザの操作等に応じて、3Dモデルとなる被写体が映る視点画像のフレームの系列について、ストロボモデルに3Dモデルを配置する被写体の先頭のフレーム（時刻）と終わりのフレームとが設定される。ストロボモデルに3Dモデルを配置する被写体が映る先頭のフレームから終わりのフレームまでの区間を、ストロボ区間ということとすると、ストロボ区間の全フレームを生成フレームとして、ストロボモデルの生成に用いると、ストロボモデルには、ストロボ区間のフレーム数と同一の数の、同一の被写体の3Dモデルが重なって配置され、3Dストロボ画像が見にくい画像となることがある。
【００６５】
そこで、ストロボモデル生成部２１は、ストロボ区間のフレームから、幾つかのフレームを生成フレームとして選択し、その生成フレーム（に映る被写体の3Dモデル）を用いて、ストロボモデル（の自由視点データ）を生成する。
【００６６】
ストロボモデル生成部２１は、例えば、ストロボ区間のフレームから、3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択することができる。すなわち、ストロボモデル生成部２１は、ストロボ区間のフレームに映る被写体の3Dモデルを、3次元空間に配置した状態での、3Dモデルどうしの重なり具合を表す干渉度を算出する。干渉度は、例えば、3次元空間において、任意の２フレームの3Dモデルが完全に重なる場合を100％とするとともに、まったく重ならない場合を0％として算出される。そして、ストロボモデル生成部２１は、干渉度が所定の閾値以下のフレームを、生成フレームとして選択する。以上のように、ストロボ区間のフレームから、3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択し、その生成フレームに映る被写体の3Dモデルが配置されたストロボモデルを生成することにより、ストロボモデルにおいて、3Dモデルが重なって配置され、3Dストロボ画像が見にくい画像となることを抑制することができる。
【００６７】
なお、生成フレームの選択では、その他、例えば、単純に、ストロボ区間のフレームを、所定のフレーム数ごとに、生成フレームとして選択することができる。
【００６８】
ステップＳ１６では、ストロボモデル生成部２１は、ストロボ区間のフレームから選択された複数の生成フレーム（に映る被写体）の3Dモデルが、例えば、その3Dモデルの被写体が撮影されたときの3次元空間としての背景に配置されたストロボモデルを生成する。そして、処理は、ステップＳ１６からステップＳ１７に進む。
【００６９】
ここで、以下、ストロボモデル生成部２１が生成するストロボモデルを、デフォルトモデルともいう。
【００７０】
なお、複数の生成フレームそれぞれに、１つの被写体だけが映る場合には、ストロボモデル生成部２１は、その１つの被写体の3Dモデルが配置されたストロボモデルを生成する。また、複数の生成フレームそれぞれに、複数の被写体が映る場合には、ストロボモデル生成部２１は、その複数の被写体それぞれの3Dモデルが配置されたストロボモデルを生成することができる。但し、複数の生成フレームそれぞれに、複数の被写体が映る場合には、ストロボモデル生成部２１は、複数の生成フレームに映る複数の被写体のうちの、例えば、ユーザによって指定された１つ又は２つ以上の被写体の3Dモデルが配置されたストロボモデルを生成することができる。
【００７１】
ステップＳ１７では、モデル選択部２２は、ユーザの操作に応じて、デフォルトモデルに配置された3Dモデルから、ストロボモデルに最終的に配置する3Dモデルを選択し、その選択した3Dモデルが配置されたストロボモデル、すなわち、3Dモデルの密度が調整されたストロボモデルを生成し、処理は、ステップＳ１８に進む。以降の処理は、モデル選択部２２で生成されたストロボモデルを対象に行われる。
【００７２】
ステップＳ１８では、エフェクト処理部２３は、ユーザの操作に応じて、ストロボモデルの3Dモデル（ストロボモデルに配置された3Dモデル）に、エフェクト処理を行う。例えば、エフェクト処理部２３は、ストロボモデルに配置された複数の時刻（生成フレーム）の3Dモデルのうちの、ユーザの操作等に応じて指定された基準3Dモデルより過去及び未来のうちの一方又は両方の3Dモデルにエフェクト処理を行う。
【００７３】
ステップＳ１９では、オーバレイ画像処理部２５が、ユーザの操作に応じて、オーバレイ画像を、ストロボモデルにオーバレイし、処理は、ステップＳ２０に進む。
【００７４】
ステップＳ２０では、カメラワーク設定部２４が、ストロボモデルに配置された3Dモデルの状態に応じて、仮想カメラのカメラワークを設定する。ここで、カメラワーク設定部２４が、ストロボモデルに配置された3Dモデルの状態に応じて設定するカメラワークを、デフォルトカメラワークともいう。
【００７５】
カメラワーク設定部２４は、デフォルトカメラワークの設定後、ユーザの操作に応じて、デフォルトカメラワークを変更する。
【００７６】
オーバレイ画像処理部２５でのオーバレイ後のストロボモデル、及び、カメラワーク設定部２４でのデフォルトカメラワークを変更することにより得られるカメラワークは、画像処理部１３から自由視点画像生成部１４に供給され、処理は、ステップＳ２０からステップＳ２１に進む。
【００７７】
ステップＳ２１では、自由視点画像生成部１４は、画像処理部１３からのストロボモデルを、同じく画像処理部１３からのカメラワークに応じて仮想カメラにより撮影した3Dストロボ画像としての自由視点画像をレンダリングすることにより生成する。そして、自由視点画像生成部１４は、3Dストロボ画像を、表示部１５に供給して、処理は、ステップＳ２１からステップＳ２２に進む。
【００７８】
ステップＳ２２では、表示部１５は、自由視点画像生成部１４からの3Dストロボ画像を表示する。この場合、表示部１５では、3Dストロボ画像としての、仮想カメラによるストロボモデルの撮影位置から見た複数の生成フレームに映る被写体の3Dモデルが映る2D画像が表示される。
【００７９】
以上のように、カメラワーク設定部２４において、ストロボモデルに配置された3Dモデルの状態に応じて、仮想カメラのカメラワークとしてのデフォルトカメラワークを設定することにより、3Dストロボ画像の動画コンテンツを容易に制作することができる。
【００８０】
なお、ここでは、説明を分かりやすくするために、ストロボモデルを生成し、その後、ストロボモデルに配置された3Dモデルにエフェクト処理を行うこととしたが、ストロボモデルの生成と、そのストロボモデルに配置される3Dモデルに対するエフェクト処理とは、並列的に、又は、適宜順番を前後して行うことができる。例えば、画像処理部１３では、3Dモデルに対するエフェクト処理を行った後に、そのエフェクト処理後の3Dモデルが配置されたストロボモデルを生成することができる。
【００８１】
＜3Dストロボ画像の生成＞
【００８２】
図４は、不自然な3Dストロボ画像の例を示す図である。
【００８３】
図４は、手前側から奥側に被写体としてのボールが転がっている様子を撮影した視点画像のフレームのうちの５フレームを生成フレームとして用いて生成されたストロボモデルから生成された3Dストロボ画像の例を示している。
【００８４】
図４では、５フレームの生成フレームに映るボールの3Dモデルが、時間的に後の3Dモデルを優先するように配置（レンダリング）されている。そのため、時間的に後の（ボールの）3Dモデルが、奥側に位置するのにもかかわらず、時間的に前の手前側の3Dモデルを隠すように配置されている。その結果、図４の3Dストロボ画像は、不自然な画像になっている。
【００８５】
図５は、自然な3Dストロボ画像の例を示す図である。
【００８６】
図５は、手前側から奥側に被写体としてのボールが転がっている様子を撮影した視点画像のフレームのうちの５フレームを生成フレームとして用いて生成されたストロボモデルから生成された3Dストロボ画像の例を示している。
【００８７】
図５では、５フレームの生成フレームに映るボールの3Dモデルが、手前側の3Dモデルを優先するように配置されている。そのため、手前側の3Dモデルが奥側の3Dモデルを隠すように、すなわち、手前側の3Dモデルが優先的に映るように配置されている。その結果、自由視点画像は、自然な画像になっている。
【００８８】
自由視点画像生成部１４は、ストロボモデルに配置された3Dモデルのデプス（奥行）を用いて、以上のような、手前側の3Dモデルが優先的に映る3Dストロボ画像を生成する（仮想カメラにより撮影する）。
【００８９】
図６は、ストロボ区間の視点画像のフレームの例を示す図である。
【００９０】
図６では、時刻t1ないしt9の９フレームが、ストロボ区間の視点画像のフレームになっている。時刻t1ないしt9のフレームには、被写体としてのボールが左から右に転がっていく様子が映っている。
【００９１】
図７は、ストロボ区間としての時刻t1ないしt9のフレームを用いたストロボモデルの生成の例を示す図である。
【００９２】
図７では、ストロボ区間としての時刻t1ないしt9のフレームのうちの、時刻t1，t3，t5，t7、及び、t9のフレームが生成フレームに選択され、複数の視点の視点画像の生成フレームとしての時刻t1，t3，t5，t7、及び、t9のフレームに映る被写体としてのボールの3Dモデルが生成される。そして、生成フレームとしての時刻t1，t3，t5，t7、及び、t9のフレームに映るボールの3Dモデルが配置されたストロボモデルが生成される。
【００９３】
図８は、仮想カメラによるストロボモデルの撮影により生成される3Dストロボ画像の表示の例を示す図である。
【００９４】
3Dストロボ画像の動画としては、図７のストロボモデルから、時刻t1のフレームに映る被写体としてのボールの3Dモデルが映るフレーム、時刻t1及びt3のフレームに映る被写体としてのボールの3Dモデルが映るフレーム、時刻t1，t3、及び、t5のフレームに映る被写体としてのボールの3Dモデルが映るフレーム、時刻t1，t3，t5、及び、t7のフレームに映る被写体としてのボールの3Dモデルが映るフレーム、並びに、時刻t1，t3，t5，t7、及び、t9のフレームに映る被写体としてのボールの3Dモデルが映るフレームを生成し、順次表示することができる。
【００９５】
図８の3Dストロボ画像では、ストロボモデルを撮影する仮想カメラの撮影位置が変更されていないが、仮想カメラの撮影位置は、カメラワークに応じて変更することができる。例えば、時刻t1，t3，t5，t7、及び、t9のフレームに映る被写体としてのボールの3Dモデルが配置されたストロボモデルを、撮影位置を変更しながら、仮想カメラで撮影することができる。撮影位置が変更される場合には、ストロボモデルを見る視点が変更され、カメラアングルが変化する3Dストロボ画像が表示される。
【００９６】
＜ストロボモデルに配置する3Dモデルを選択するUI＞
【００９７】
図９は、ストロボモデルに配置する3Dモデルを選択するUI(User Interface)の例を示す図である。
【００９８】
図９は、ストロボモデルに配置する3Dモデルを選択するUIとしてのモデル選択ウインドウの例を示している。
【００９９】
モデル選択部２２は、自由視点画像生成部１４を介して表示部１５に、モデル選択ウインドウを表示させる。
【０１００】
モデル選択ウインドウは、表示部３１及び操作部３２を有する。
【０１０１】
表示部３１には、操作部３２の操作により選択された3Dモデルが配置されたストロボモデル（に対応するストロボ画像）が、プレビューとして表示される。
【０１０２】
操作部３２は、例えば、ノーマルボタン（アイコン）、スパースボタン、及び、デンスボタンで構成され、ストロボモデルに配置する3Dモデルを選択するときに操作される。ノーマルボタン、スパースボタン、及び、デンスボタンが操作されたときに選択される3Dモデルが配置されたストロボモデルを、それぞれ、ノーマルモデル、スパースモデル、及び、デンスモデルということとする。ノーマルモデルの3Dモデルの分布の疎密を基準とすると、スパースモデルでは、3Dモデルの分布が、ノーマルモデルよりも疎になり、デンスモデルでは、3Dモデルの分布が、ノーマルモデルより密になる。
【０１０３】
モデル選択部２２では、デンスモデルは、デフォルトモデルに配置された3Dモデルの全部又は一部を選択して生成される。ノーマルモデルは、デフォルトモデルに配置された3Dモデルから、デンスモデルよりも少ない数の一部の3Dモデルを選択して生成される。スパースモデルは、デフォルトモデルに配置された3Dモデルから、ノーマルモデルよりも少ない数の一部の3Dモデルを選択して生成される。
【０１０４】
表示部３１には、デフォルトで、例えば、ノーマルモデルが表示される。
【０１０５】
ユーザは、操作部３２のノーマルボタン、スパースボタン、及び、デンスボタンを操作することにより、ストロボモデルに配置する3Dモデル（の数）を選択し、表示部３１に表示されるストロボモデル（ノーマルモデル、スパースモデル、及び、デンスモデル）を確認しながら、ストロボモデルに配置される3Dモデルの疎密を、好みの疎密に調整することができる。
【０１０６】
モデル選択部２２において、ストロボモデルに配置する3Dモデルは、3Dモデルの総数や、3Dモデルの干渉度、時間方向に間引く3Dモデルの数等によって選択することができる。
【０１０７】
ストロボモデルに配置する3Dモデルを、3Dモデルの総数によって選択する場合、ノーマルモデル、及び、スパースモデルについては、デフォルトモデルに配置された3Dモデルから、例えば、等間隔に、10個、及び、5個の3Dモデルが、ストロボモデルに配置する3Dモデルとして、それぞれ選択される。デンスモデルについては、例えば、デフォルトモデルに配置された3Dモデルの全部が、ストロボモデルに配置する3Dモデルとして選択される。
【０１０８】
ストロボモデルに配置する3Dモデルを、3Dモデルの干渉度によって選択する場合、ノーマルモデル、及び、スパースモデルについては、デフォルトモデルに配置された3Dモデルから、例えば、3Dモデルの干渉度が、50%、及び、30%となるように、ストロボモデルに配置する3Dモデルが、それぞれ選択される。デンスモデルについては、例えば、デフォルトモデルに配置された3Dモデルの全部が、ストロボモデルに配置する3Dモデルとして選択される。
【０１０９】
ストロボモデルに配置する3Dモデルを、時間方向に間引く3Dモデルの数によって選択する場合、ノーマルモデル、及び、スパースモデルについては、デフォルトモデルに配置された3Dモデルから、例えば、2フレーム、及び、5フレームおきの3Dモデルが、ストロボモデルに配置する3Dモデルとして、それぞれ選択される。デンスモデルについては、例えば、デフォルトモデルに配置された3Dモデルの全部が、ストロボモデルに配置する3Dモデルとして選択される。
【０１１０】
なお、ストロボモデルに配置する3Dモデルの選択については、その他、例えば、デフォルトモデルを表示部３１に表示し、その表示部３１に表示されたデフォルトモデルに配置された3Dモデルから、ユーザの指定する3Dモデルを、ストロボモデルに配置する3Dモデルとして選択することができる。
【０１１１】
図１０は、ノーマルモデル及びスパースモデルの例を示す図である。
【０１１２】
ユーザは、操作部３２のノーマルボタンやスパースボタンを操作することにより、ストロボモデルを、図１０に示すように、ノーマルモデルやスパースモデルに、容易に切り替えることができる。
【０１１３】
＜ストロボモデルに配置された3Dモデルに行うエフェクト処理を選択するUI＞
【０１１４】
図１１は、ストロボモデルに配置された3Dモデルに行うエフェクト処理を選択するUIの例を示す図である。
【０１１５】
図１１は、ストロボモデルに配置された3Dモデルに行うエフェクト処理を選択するUIとしてのエフェクト選択ウインドウの例を示している。
【０１１６】
エフェクト処理部２３は、自由視点画像生成部１４を介して表示部１５に、エフェクト選択ウインドウを表示させる。
【０１１７】
モデル選択ウインドウは、表示部４１及び操作部４２を有する。
【０１１８】
表示部４１には、操作部４２の操作により選択されたエフェクト処理が行われた3Dモデルが配置されたストロボモデル（に対応するストロボ画像）が、プレビューとして表示される。
【０１１９】
操作部４２は、例えば、エフェクト処理A，B，C，D、及び、Eのボタン（アイコン）で構成され、ストロボモデルに配置された3Dモデルに行うエフェクト処理を選択するときに操作される。
【０１２０】
エフェクト処理Aは、例えば、3Dモデルのテクスチャを変更するエフェクトをかける処理であり、エフェクト処理Bは、例えば、3Dモデルの色を変更するエフェクトをかける処理である。エフェクト処理Cは、例えば、3Dモデルをぼかすエフェクトをかける処理であり、エフェクト処理Dは、例えば、ポイントクラウドの3Dモデルのポイントの数を少なくしていくことにより、3Dモデルが徐々に消滅するようなエフェクトをかける処理である。エフェクト処理Eは、3Dモデルを透明にするエフェクトをかける処理である。
【０１２１】
エフェクト処理A，B，C，D、又は、Eのボタンが操作されると、エフェクト処理部２３は、ストロボモデルに配置された3Dモデルに、操作がされたボタンに対応するエフェクト処理を行い、表示部４１には、エフェクト処理後の（3Dモデルが配置された）ストロボモデルが表示される。
【０１２２】
したがって、ユーザは、操作部４２のエフェクト処理A，B，C，D、又は、Eのボタンを操作することにより、ストロボモデルに配置された3Dモデルに行うエフェクト処理を選択し、表示部４１に表示されるエフェクト処理後のストロボモデルを確認しながら、ストロボモデルに配置された3Dモデルに行うエフェクト処理を決定することができる。
【０１２３】
図１２は、エフェクト処理前のストロボモデルと、エフェクト処理後のストロボモデルとの例を示す図である。
【０１２４】
ユーザは、例えば、操作部４２のエフェクト処理Bのボタンを操作することにより、図１２に示すように、ストロボモデルに配置された3Dモデルの色を変更することができる。
【０１２５】
なお、モデル選択部２２によるストロボモデルに配置する3Dモデルの選択と、エフェクト処理部２３によるストロボモデルに配置された3Dモデルに対するエフェクト処理とを行う順番は、特に限定されるものではない。すなわち、モデル選択部２２によるストロボモデルに配置する3Dモデルの選択と、エフェクト処理部２３によるストロボモデルに配置された3Dモデルに対するエフェクト処理とについては、前者の3Dモデルの選択を行い、その後、後者のエフェクト処理を行うこともできるし、後者のエフェクト処理を行い、その後、前者の3Dモデルの選択を行うこともできる。また、前者の3Dモデルの選択と後者のエフェクト処理とは、同時に行うこともできる。
【０１２６】
＜エフェクト処理の対象となる3Dモデル＞
【０１２７】
図１３は、ストロボモデルにおいて、エフェクト処理部２３でのエフェクト処理の対象となる3Dモデルを説明する図である。
【０１２８】
エフェクト処理部２３は、ストロボモデルにおいて、ストロボ区間のフレームから選択された複数の時刻としての複数の生成フレームの3Dモデルのうちの、基準3Dモデルより過去及び未来のうちの一方又は両方の3Dモデルにエフェクト処理を行うことができる。
【０１２９】
エフェクト処理を行う対象の3Dモデルである対象モデルは、基準3Dモデルに対する時間方向（過去方向及び未来方向）を表すエフェクト方向と、基準3Dモデルからの離れ具合を表すエフェクト距離とで特定される。
【０１３０】
エフェクト方向としては、過去方向past、未来方向future、又は、過去方向past及び未来方向futureの両方を設定することができる。
【０１３１】
エフェクト方向として、過去方向pastが設定された場合、基準3Dモデルから、過去方向の3Dモデルに、エフェクト処理が行われる。エフェクト方向として、未来方向futureが設定された場合、基準3Dモデルから、未来方向の3Dモデルに、エフェクト処理が行われる。エフェクト方向として、過去方向past及び未来方向futureが設定された場合、基準3Dモデルから、過去方向の3Dモデルと未来方向の3Dモデルとに、エフェクト処理が行われる。
【０１３２】
エフェクト距離は、基準3Dモデルからの3Dモデルのモデル数number、距離distance、又は、時間timeで指定することができる。
【０１３３】
モデル数numberによれば、ストロボモデルに配置された3Dモデル、すなわち、ストロボモデルの生成に用いられた生成フレームに映る（被写体の）3Dモデルのうちの、基準3Dモデルから、モデル数number以上離れた3Dモデルを、対象モデルとして指定することができる。
【０１３４】
距離distanceによれば、ストロボモデルに配置された3Dモデルのうちの、基準3Dモデルから、距離distance以上離れた3Dモデルを、対象モデルとして指定することができる。
【０１３５】
時間timeによれば、ストロボモデルに配置された3Dモデルのうちの、基準3Dモデルから、時間time以上離れた3Dモデルを、対象モデルとして指定することができる。
【０１３６】
エフェクト処理部２３は、ストロボモデルにおいて、基準3Dモデルから、モデル数number、距離distance、又は、時間time以上だけ、過去方向、未来方向、又は、過去と未来との両方向に離れた3Dモデルを対象モデルとして、エフェクト処理を行う。
【０１３７】
以下では、説明を簡単にするため、特に断らない限り、エフェクト処理は、基準3Dモデルから過去方向の3Dモデルに行うこととする。
【０１３８】
ここで、ストロボ区間が長く、多数のフレームが生成フレームとして選択される場合、ストロボモデルは、多数の3Dモデルを用いて生成される。
【０１３９】
多数の3Dモデルを用いて生成されるストロボモデルは、見にくい画像になることがある。
【０１４０】
例えば、多数の3Dモデルを用いて生成されるストロボモデルでは、そのストロボモデルに配置された所定の被写体の3Dモデルのうちの、基準3Dモデルから一定時間以上前の時刻の3Dモデルが、時間的に後行する（未来の）3Dモデルや、他の被写体の3Dモデルの（視聴の）妨げになることがある。
【０１４１】
また、多数の3Dモデルを用いて生成されるストロボモデルでは、被写体が同じような軌跡を描くように移動する場合、例えば、被写体が、鉄棒で、いわゆる大車輪（後方車輪又は前方車輪）を行っている場合、時間的に先行する（過去の）3Dモデルと、時間的に後行する3Dモデルとが、同じような軌跡を描くため、時間経過が分かりにくくなることがある。
【０１４２】
さらに、多数の3Dモデルを用いて生成されるストロボモデルでは、3Dモデルのデータ量が大になり、ストロボモデル（から生成される自由視点画像）を表示するのに要する処理量が大になる。
【０１４３】
エフェクト処理部２３において、ストロボモデルに配置された3Dモデルにエフェクト処理を行うことで、見やすいストロボモデルを提供し、また、ストロボモデルのデータ量や、ストロボモデルの表示に要する処理量を削減することができる。
【０１４４】
＜エフェクト処理の具体例＞
【０１４５】
図１４は、エフェクト処理の具体例を説明する図である。
【０１４６】
図１４では、エフェクト処理として、エフェクトモード0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14で表されるエフェクト処理がある。エフェクトモード1ないし14については、図１３で説明したエフェクト方向及びエフェクト距離を設定することができる。
【０１４７】
なお、エフェクト方向が設定されていない場合、エフェクト方向としては、デフォルトで、例えば、過去方向pastが設定されることとして、エフェクト処理が行われる。
【０１４８】
エフェクト距離は、図１３で説明したように、基準3Dモデルからの3Dモデルのモデル数number、距離distance、又は、時間timeで指定される。例えば、エフェクト方向が過去方向pastに設定され、エフェクト距離が、モデル数number=1に設定されている場合、基準3Dモデルから、モデル数number=1以上だけ、過去方向に離れた3Dモデルを対象モデルとして、エフェクトモードが表すエフェクト処理が行われる。
【０１４９】
エフェクトモード0は、エフェクト処理を行わないこと表す。
【０１５０】
エフェクトモード1は、3Dモデルを透明にするエフェクト処理を表す。エフェクトモード1のエフェクト処理では、対象モデルを、すべて同一の透明度の透明にすることもできるし、徐々に透明にすること、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデル（対象モデル）ほど、透明度の高い透明にすることもできる。3Dモデルを、どのように透明にするかは、例えば、エフェクトモード1に付随するパラメータを定義し、そのパラメータによって指定することができる。なお、透明度を100％とする場合には、対象モデルは完全に透明になり、この場合、エフェクトモード1のエフェクト処理の結果は、実質的に、後述するエフェクトモード4と同様になる。
【０１５１】
エフェクトモード2は、3Dモデルを、徐々に消滅させるエフェクト処理を表す。
【０１５２】
エフェクトモード3は、3Dモデルのテクスチャ数（テクスチャとして使用する2D画像の数）を減らすエフェクト処理を表す。エフェクトモード3のエフェクト処理では、対象モデルのテクスチャ数を、すべて同一の数に減らすこともできるし、徐々に減らすこと、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデルほど、テクスチャ数を減らすこともできる。3Dモデルのテクスチャ数をどのように減らすかは、例えば、エフェクトモード3に付随するパラメータを定義し、そのパラメータによって指定することができる。
【０１５３】
なお、エフェクトモード3のエフェクト処理については、テクスチャマッピングが行われる3Dモデル、すなわち、VDモデルが対象となり、テクスチャマッピングが行われないVIモデルは対象とならない。
【０１５４】
エフェクトモード4は、3Dモデルを消去するエフェクト処理を表す。
【０１５５】
エフェクトモード5は、3Dモデルの輝度及び彩度の少なくとも一方を小さくするエフェクト処理を表す。エフェクトモード5のエフェクト処理では、対象モデルの輝度及び彩度を、すべて同一の割合だけ小さくすることもできるし、徐々に小さくすること、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデルほど、輝度及び彩度を小さくする割合をより大きくすることもできる。3Dモデルの輝度及び彩度をどのように小さくするかや、輝度及び彩度のいずれを小さくするかは、例えば、エフェクトモード5に付随するパラメータを定義し、そのパラメータによって指定することができる。
【０１５６】
エフェクトモード6は、ストロボモデルに配置される3Dモデルの数を制限するエフェクト処理を表す。エフェクトモード6のエフェクト処理では、ストロボモデルに配置する3Dモデルが、生成フレームの3Dモデルのうちの、対象モデル以外の3Dモデルだけに制限される。
【０１５７】
エフェクトモード7は、3Dモデルをローポリゴンにするエフェクト処理、すなわち、3Dモデルのメッシュ数（ポリゴン数）を減らすエフェクト処理を表す。エフェクトモード7のエフェクト処理では、対象モデルのメッシュ数を、すべて同一の数に減らすこともできるし、徐々に減らすこと、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデルほど、メッシュ数を減らすこともできる。3Dモデルのメッシュ数をどのように減らすかは、例えば、エフェクトモード7に付随するパラメータを定義し、そのパラメータによって指定することができる。
【０１５８】
なお、エフェクトモード7のエフェクト処理については、ポリゴンで構成される3Dモデルが対象となり、ポリゴンで構成されない3Dモデル、すなわち、例えば、ワイヤーフレームは対象とならない。
【０１５９】
エフェクトモード8及び9は、3Dモデルの表現形式を変更するエフェクト処理を表す。
【０１６０】
すなわち、エフェクトモード8は、ポリゴンで構成される3Dモデルを、ワイヤーフレームに変更するエフェクト処理を表す。
【０１６１】
エフェクトモード9は、3Dモデルの表現形式をView DependentからView Independentに変更するエフェクト処理、すなわち、VDモデルをVIモデル（例えば、ポイントクラウド）に変更するエフェクト処理を表す。
【０１６２】
エフェクトモード10は、3Dモデルを消去し、3Dモデルがあった形跡を残すエフェクト処理を表す。
【０１６３】
エフェクトモード11は、3Dモデルのテクスチャ（テクスチャマテリアル）を変更するエフェクト処理を表す。3Dモデルのテクスチャを、どのようなテクスチャに変更するかは、例えば、エフェクトモード11に付随するパラメータを定義し、そのパラメータによって指定することができる。
【０１６４】
エフェクトモード12は、3Dモデルの（形状）をぼかすエフェクト処理を表す。3Dモデルぼかす程度は、例えば、エフェクトモード12に付随するパラメータを定義し、そのパラメータによって指定することができる。
【０１６５】
エフェクトモード13は、3Dモデルの色を変更するエフェクト処理を表す。3Dモデルの色を、どのような色に変更するかは、例えば、エフェクトモード13に付随するパラメータを定義し、そのパラメータによって指定することができる。
【０１６６】
エフェクトモード14は、3Dモデルのサイズを変更するエフェクト処理を表す。3Dモデルのサイズを変更する程度は、例えば、エフェクトモード14に付随するパラメータを定義し、そのパラメータによって指定することができる。
【０１６７】
エフェクトモード1ないし14については、エフェクト方向及びエフェクト距離を設定することができるが、必要に応じて、デフォルトのエフェクト方向及びエフェクト距離を定義しておくことができる。
【０１６８】
例えば、エフェクトモード1ないし10のデフォルトのエフェクト方向としては、過去方向pastを定義しておくことができる。
【０１６９】
また、例えば、エフェクトモード1のデフォルトのエフェクト距離としては、モデル数number=1を定義しておくことができる。
【０１７０】
この場合、エフェクトモード1のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に１モデル以上離れた3Dモデル、すなわち、基準3Dモデルの過去方向の次の3Dモデル以前の3Dモデルを対象モデルとして、エフェクトモード1のエフェクト処理が行われる。
【０１７１】
さらに、例えば、エフェクトモード4のデフォルトのエフェクト距離としては、距離distance=5[m]を定義しておくことができる。
【０１７２】
この場合、エフェクトモード4のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に5m以上離れた3Dモデルを対象モデルとして、エフェクトモード4のエフェクト処理が行われる。
【０１７３】
また、例えば、エフェクトモード5のデフォルトのエフェクト距離としては、時間time=10[sec]を定義しておくことができる。
【０１７４】
この場合、エフェクトモード5のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に10秒以上離れた3Dモデルを対象モデルとして、エフェクトモード5のエフェクト処理が行われる。
【０１７５】
さらに、例えば、エフェクトモード7のデフォルトのエフェクト距離としては、モデル数number=3を定義しておくことができる。
【０１７６】
この場合、エフェクトモード7のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に３モデル以上離れた3Dモデル、すなわち、基準3Dモデルの過去方向の３番目の3Dモデル以前の3Dモデルを対象モデルとして、エフェクトモード7のエフェクト処理が行われる。
【０１７７】
なお、エフェクト処理部２３が行うエフェクト処理については、複数のエフェクトモードを設定することができる。例えば、エフェクト処理について、エフェクトモード1及び3が設定された場合、3Dモデルを透明にし、かつ、テクスチャ数を減らすエフェクト処理が行われる。
【０１７８】
＜カメラワーク設定部２４の構成例＞
【０１７９】
図１５は、図２のカメラワーク設定部２４の構成例を示すブロック図である。
【０１８０】
図１５において、カメラワーク設定部２４は、位置設定部６１、カメラワーク生成部６２、及び、カメラワーク記憶部６３を有する。
【０１８１】
位置設定部６１は、仮想カメラで、ストロボモデルの撮影を開始する撮影開始位置と、撮影を終了する撮影終了位置とを設定する。例えば、位置設定部６１は、撮影開始位置及び撮影終了位置を、ストロボモデルに配置された3Dモデルの分布（以下、モデル分布ともいう）の3Dモデルの状態に応じて設定する。例えば、位置設定部６１では、ストロボモデルに配置された3Dモデルのうちの、時間的に最も先行する3Dモデルが目立つように（例えば、最も手前側に表示されるように）、ストロボモデルが撮影される位置を、撮影開始位置に設定することができる。さらに、例えば、位置設定部６１では、ストロボモデルに配置された3Dモデルのうちの、時間的に最も後行する3Dモデルが目立つように、ストロボモデルが撮影される位置を、撮影終了位置に設定することができる。
【０１８２】
ストロボモデル（に配置された3Dモデル）のモデル分布としては、例えば、ストロボモデルを生成するときに認識することができる、ストロボモデルに配置される3Dモデルの位置の軌跡を採用することができる。ストロボモデルに配置される3Dモデルの位置の軌跡は、ストロボモデルのメタデータとして保持することができる。
【０１８３】
また、ストロボモデルのモデル分布は、位置設定部６１において、ストロボモデルを解析することにより認識することができる。
【０１８４】
位置設定部６１は、撮影開始位置及び撮影終了位置とともに、その撮影開始位置及び撮影終了位置を設定したストロボモデルを、カメラワーク生成部６２に供給する。
【０１８５】
カメラワーク生成部６２は、位置設定部６１からの撮影開始位置から撮影終了位置まで、さらには、必要に応じて、撮影終了位置から撮影開始位置まで、仮想カメラを移動しながら、位置設定部６１からのストロボモデルを撮影するデフォルトカメラワークを、ストロボモデルに配置された3Dモデルの状態に応じて生成する（ことにより設定する）。
【０１８６】
その他、カメラワーク生成部６２は、ユーザの操作に応じて、カメラワークを新たに生成し、又は、デフォルトカメラワークを変更することができる。
【０１８７】
カメラワーク生成部６２で生成されたカメラワークは、カメラワーク記憶部６３に供給される。
【０１８８】
カメラワーク記憶部６３は、カメラワーク生成部６２からのカメラワークを一時記憶し、自由視点画像生成部１４（図１）に供給する。
【０１８９】
図１６は、位置設定部６１により行われるモデル分布に応じた撮影開始位置及び撮影終了位置の設定の第１の例を示す図である。
【０１９０】
図１６は、ストロボモデルに配置された3Dモデルを、上側（xyz座標系のy軸のプラス側）から見た様子を模式的に示している。
【０１９１】
位置設定部６１は、ストロボモデルについて、モデル分布に応じて、ストロボモデルに配置された3Dモデルを囲む囲み線を求める。例えば、ストロボモデルに配置された3Dモデルのモデル分布の水平方向（xyz座標系のxy平面が広がる方向）の周囲を囲む楕円の円周状の線が、囲み線として求められる。
【０１９２】
そして、撮影開始位置及び撮影終了位置の設定の第１の例では、位置設定部６１において、ストロボモデルに配置された3Dモデルの軌跡に応じて、ストロボモデルに配置された3Dモデルの軌跡（モデル軌跡）の中点付近から、モデル軌跡に垂直な方向の囲み線上の位置が、撮影開始位置に設定され、撮影開始位置に対して、ストロボモデルのモデル分布を挟むように対向する囲み線上の位置が、撮影終了位置に設定される。
【０１９３】
以上のように、撮影開始位置及び撮影終了位置を設定することにより、ストロボモデルに配置された各3Dモデルがなるべく均一な密度で3Dストロボ画像に映るように、ストロボモデルの撮影を開始すること、及び、終了することができる。
【０１９４】
図１７は、位置設定部６１により行われるモデル分布に応じた撮影開始位置及び撮影終了位置の設定の第２の例を示す図である。
【０１９５】
図１７は、図１６と同様に、ストロボモデルに配置された3Dモデルを、上側から見た様子を模式的に示している。
【０１９６】
撮影開始位置及び撮影終了位置の設定の第２の例では、位置設定部６１は、撮影開始位置及び撮影終了位置の設定の第１の例と同様に、ストロボモデルについて、モデル分布に応じて、ストロボモデルに配置された3Dモデルを囲む囲み線を求める。
【０１９７】
そして、撮影開始位置及び撮影終了位置の設定の第２の例では、位置設定部６１において、ストロボモデルに配置された3Dモデルの軌跡に応じて、時間的に最も先行する3Dモデルから、モデル軌跡に垂直な方向の囲み線上の位置が、撮影開始位置に設定され、撮影開始位置に対して、時間的に最も先行する3Dモデルを挟むように対向する囲み線上の位置が、撮影終了位置に設定される。
【０１９８】
以上のように、撮影開始位置及び撮影終了位置を設定することにより、時間的に最も先行する3Dモデルに近い位置から、ストロボモデルに配置された複数の3Dモデルが、なるべく均一な密度で3Dストロボ画像に映るように、ストロボモデルの撮影を開始すること、及び、終了することができる。
【０１９９】
図１８は、位置設定部６１により行われるモデル分布に応じた撮影開始位置及び撮影終了位置の設定の第３の例を示す図である。
【０２００】
図１８は、図１６と同様に、ストロボモデルに配置された3Dモデルを、上側から見た様子を模式的に示している。
【０２０１】
撮影開始位置及び撮影終了位置の設定の第３の例では、位置設定部６１は、撮影開始位置及び撮影終了位置の設定の第１の例と同様に、ストロボモデルについて、モデル分布に応じて、ストロボモデルに配置された3Dモデルを囲む囲み線を求める。
【０２０２】
そして、撮影開始位置及び撮影終了位置の設定の第２の例では、位置設定部６１において、ストロボモデルに配置された3Dモデルの軌跡に応じて、モデル軌跡の始点に（最も）近い囲み線上の位置が、撮影開始位置に設定され、モデル軌跡の終点に（最も）近い囲み線上の位置が、撮影終了位置に設定される。
【０２０３】
以上のように、撮影開始位置及び撮影終了位置を設定することにより、ストロボモデルに配置された複数の3Dモデルのうちの時間的に最も先行する3Dモデルが、3Dストロボ画像に目立つように映るカメラアングルで、ストロボモデルの撮影を開始し、時間的に最も後行する3Dモデルが、3Dストロボ画像に目立つように映るカメラアングルで、ストロボモデルの撮影を終了することができる。
【０２０４】
＜デフォルトカメラワークの生成＞
【０２０５】
図１９は、カメラワーク生成部６２によるデフォルトカメラワークの生成の例を示す図である。
【０２０６】
カメラワーク生成部６２は、撮影開始位置から撮影終了位置まで、囲み線上を、左回り及び右回りのうちの一方である、例えば、左回りに回るルートを、仮想カメラを移動する撮影ルートに設定する。さらに、カメラワーク生成部６２は、必要に応じて、撮影終了位置から撮影開始位置まで、囲み線上を戻るルートを、撮影ルートに設定する。
【０２０７】
そして、カメラワーク生成部６２は、撮影ルート上に、仮想カメラで、3Dモデルが配置されたストロボモデルを撮影する撮影位置を設定する。例えば、仮想カメラが撮影位置でストロボモデルを撮影して得られる画像が、１フレームの3Dストロボ画像となる。したがって、撮影位置を密に設定すると、3Dストロボ画像は、スロー再生されているような画像となり、撮影位置を疎に設定すると、3Dストロボ画像は、早送り再生されているような画像となる。
【０２０８】
ストロボモデルの3Dモデルの軌跡に比較的沿った撮影ルート（以下、平行撮影ルートともいう）には、撮影位置を、比較的密に設定し、他の撮影ルート、すなわち、3Dモデルの軌跡に比較的垂直な撮影ルートには、撮影位置を、平行撮影ルートの場合によりも疎に設定することができる。この場合、ストロボモデルに配置された複数の3Dモデルの全体が比較的見えるシーンの3Dストロボ画像は、スロー再生又は通常再生（1倍速再生）され、ストロボモデルに配置された複数の3Dモデルが重なって見にくいシーンの3Dストロボ画像は、早送り再生される。
【０２０９】
カメラワーク生成部６２は、各撮影位置について、仮想カメラの撮影姿勢と、ズーム倍率等のカメラパラメータとを、必要に応じて設定する。そして、撮影位置、撮影姿勢、及び、カメラパラメータを含むデータを、デフォルトカメラワークとして生成する。
【０２１０】
なお、カメラワーク生成部６２では、撮影開始位置から撮影終了位置まで、囲み線上を撮影ルートに設定し、さらに、撮影終了位置から撮影開始位置まで、囲み線上を戻るルートを、撮影ルートに設定する場合には、ストロボ画像について、ループ再生（繰り返し再生）を行うことができる。
【０２１１】
＜カメラワークの変更＞
【０２１２】
図２０は、ユーザの操作に応じたカメラワークの変更を説明する図である。
【０２１３】
カメラワーク生成部６２は、ユーザの操作に応じて、デフォルトカメラワークを含む過去に生成されたカメラワークを変更（編集）することができる。なお、カメラワーク生成部６２は、カメラワークの変更と同様にして、ユーザの操作に応じて、カメラワークを新たに生成することもできる。ここでは、デフォルトカメラワークを変更する場合について説明する。
【０２１４】
カメラワーク生成部６２は、自由視点画像生成部１４を介して、表示部１５にストロボモデル（に対応する3Dストロボ画像）を表示させる。ユーザは、表示部１５に表示されたストロボモデルに対して、タッチ操作やマウスポインタの操作を行うことにより、表示部１５に表示されたストロボモデルについて生成（設定）されたデフォルトカメラワークを変更することができる。
【０２１５】
例えば、ユーザは、スワイプ操作によって、カメラワークとしての撮影位置を、平行移動することができる。また、例えば、ユーザは、ピンチ操作によって、仮想カメラのズーム倍率を変更することができる（仮想カメラをズームイン又はズームアウトさせることができる）。さらに、例えば、ユーザは、２本の指を、タッチパネルとしての表示部１５にタッチした状態で回転することにより、仮想カメラの撮影姿勢を、x軸、y軸、又は、z軸回りに回転させることができる。
【０２１６】
なお、ユーザが、デフォルトカメラワークを変更する場合には、3Dモデルが配置された3次元空間の方向を分かりやすくし、変更の操作を補助するために、表示部１５において、xyz座標系の座標軸を表示することができる。
【０２１７】
ここで、仮想カメラの撮影位置については、x軸、y軸、及び、z軸の方向への移動が可能であり、仮想カメラの撮影姿勢については、x軸、y軸、及び、z軸回りの回転が可能である。したがって、仮想カメラの撮影位置及び撮影姿勢については、6DoF(Degree of Freedom)の自由度がある。
【０２１８】
6DoFの自由度がある仮想カメラの撮影位置及び撮影姿勢については、細かな変更が可能であるが、その反面、操作に慣れていないユーザにとっては、自由度が多すぎで、変更の操作がしにくいことがある。
【０２１９】
そこで、カメラワーク生成部６２では、x軸、y軸、又は、z軸に関する仮想カメラの動きを制限し、ユーザの操作に応じて、カメラワークとしての仮想カメラの撮影位置や撮影姿勢を変更することができる。
【０２２０】
例えば、x軸回りの回転が制限された場合、仮想カメラの撮影姿勢を、見上げるような、又は、見下げるようなカメラアングルとする変更等が制限される。例えば、y軸方向の移動が制限された場合、仮想カメラの撮影位置を、上下方向に移動する変更が制限される。
【０２２１】
以上のように、x軸、y軸、又は、z軸に関する仮想カメラの動きを制限することにより、操作に慣れていないユーザがデフォルトカメラワークの変更を行うときの操作性を向上させることができる。
【０２２２】
図２１は、ユーザの操作に応じたカメラワークの変更の例を示す図である。
【０２２３】
カメラワーク生成部６２は、例えば、ストロボモデルを所定の視点（例えば、ストロボモデルに配置された3Dモデルすべてがなるべく見える視点）から見た3Dストロボ画像を、表示部１５に表示させる。さらに、カメラワーク生成部６２は、ユーザがカメラワーク（デフォルトカメラワーク）を変更しやすいように、仮想カメラを模したガイドアイコンvc#iを、表示部１５に表示させることができる。
【０２２４】
ガイドアイコンvc#iは、仮想カメラの撮影位置及び撮影姿勢（撮影方向）を表す。ガイドアイコンvc#iを、すべての撮影位置に表示すると、ガイドアイコンvc#iが多すぎて見にくくなるおそれがある場合には、ガイドアイコンvc#iは、デフォルトカメラワークとしての撮影位置のうちの代表的な撮影位置にだけ表示することができる。
【０２２５】
ユーザは、ガイドアイコンvc#iの変更、追加、削除の操作を行うことで、カメラワークを変更することができる。
【０２２６】
ガイドアイコンvc#iを追加して、撮影位置を増加させると、3Dストロボ画像は、スロー再生されているような画像となる。一方、ガイドアイコンvc#iを削除して、撮影位置を減少させると、3Dストロボ画像は、早送り再生されているような画像となる。
【０２２７】
ユーザによるガイドアイコンvc#iの変更、追加、削除が行われた後、カメラワーク生成部６２は、ガイドアイコンvc#iの間を滑らかにつなぐ（補間する）ように、撮影位置を補間したカメラワークを生成し直す。
【０２２８】
なお、ユーザは、ガイドアイコンvc#iの間を移動する仮想カメラの移動速度を指定することができる。カメラワーク生成部６２は、ユーザにより指定された移動速度に応じて、移動速度が遅いほど、ガイドアイコンvc#iの間に、多くの数の撮影位置を補間し、移動速度が速いほど、ガイドアイコンvc#iの間に、少ない数の撮影位置を補間することができる。
【０２２９】
図２１では、デフォルトカメラワークとしての代表的な撮影位置を表すガイドアイコンvc11，vc12，vc13，vc14が表示されている。ユーザが、例えば、ガイドアイコンvc14の削除、ガイドアイコンvc13の変更、及び、ガイドアイコンvc21の追加の操作を行った場合、以下のようにカメラワークが変更される。
【０２３０】
すなわち、カメラワーク生成部６２は、ユーザの操作に応じて、デフォルトカメラワークの、ガイドアイコンvc14に対応する撮影位置を削除し、ガイドアイコンvc13に対応する撮影位置及び撮影姿勢を、ガイドアイコンvc13の変更に応じて変更する。さらに、カメラワーク生成部６２は、カメラワークとして、ガイドアイコンvc21に対応する撮影位置を追加する。
【０２３１】
以上のように、カメラワークは、ユーザの操作に応じて、ユーザの好みのカメラワークに変更することができる。
【０２３２】
＜被写体が人等の動物である場合のカメラワークの生成＞
【０２３３】
図２２は、視点画像に映る被写体が人等の動物である場合のカメラワークの生成の例を説明する図である。
【０２３４】
視点画像に映る被写体が人等の動物である場合、カメラワーク生成部６２は、被写体の顔に応じて、その被写体の3Dモデルが配置されたストロボモデルについて、デフォルトカメラワークを生成することができる。例えば、カメラワーク生成部６２は、各時刻（生成フレーム）の被写体の顔に正対する方向から、ストロボモデルを撮影することができる仮想カメラの撮影位置及び撮影姿勢を求め、その撮影位置及び撮影姿勢を含むカメラワークを、デフォルトカメラワークとして生成することができる。
【０２３５】
この場合、カメラワーク生成部６２は、ストロボモデルに配置された3Dモデルを対象に、顔の特徴点を抽出すること等により、顔を検出する。顔の検出は、ストロボモデルに配置された3Dモデルのすべてを対象として行うこともできるし、1個おきの3Dモデル等のように、一部の3Dモデルを対象として行うこともできる。
【０２３６】
カメラワーク生成部６２は、顔が検出された3Dモデルについて、顔に正対する方向を求める。そして、カメラワーク生成部６２は、顔に正対する方向の所定の位置を、撮影位置として求めるとともに、その撮影位置において、顔を正面から撮影することができる仮想カメラの姿勢を、撮影姿勢として求め、その撮影位置及び撮影姿勢を含むカメラワークを、デフォルトカメラワークとして生成する。
【０２３７】
なお、カメラワーク生成部６２は、ストロボモデルに配置された3Dモデルに、テクスチャマッピングを行った後に、その3Dモデルとなった被写体の顔の検出を行う。
【０２３８】
以上のようにデフォルトカメラワークを生成することにより、3Dモデルとなった被写体の顔が正面から映る3Dストロボ画像を再生することができる。
【０２３９】
＜仮想カメラで撮影されるストロボモデルに配置された3Dモデルの状態に応じた、ストロボモデルに配置する3Dモデルの選択＞
【０２４０】
図２３は、仮想カメラで撮影されるストロボモデルに配置された3Dモデルの状態に応じた、ストロボモデルに配置する3Dモデルの選択の例を説明する図である。
【０２４１】
ストロボモデルに配置する3Dモデルは、図９で説明したように、ユーザの操作に応じて選択する他、仮想カメラから見たストロボモデルに配置された3Dモデルの状態に応じて選択する（増減させる）ことができる。
【０２４２】
例えば、仮想カメラにおいて、カメラワークに従って撮影位置p#jからストロボモデルを撮影する場合の、3Dモデルの重なり具合に応じて、ストロボモデルに配置する3Dモデルを選択することができる。
【０２４３】
具体的には、撮影位置p#jからのストロボモデルの撮影において、仮想カメラから見て、奥側の3Dモデルが、手前側の3Dモデルに重なる場合、手前側の3Dモデルに重なる奥側の3Dモデル以外の3Dモデルを、ストロボモデルに配置する3Dモデルとして選択することができる。
【０２４４】
この場合、奥側の3Dモデルが、手前側の3Dモデルに重なり、見にくいストロボ画像が生成されることを抑制することができる。
【０２４５】
各撮影位置p#jからのストロボモデルの撮影において、ストロボモデルに配置する3Dモデルとして選択される3Dモデルは、例えば、カメラワークとして、撮影位置p#jと対応付けて保持することができる。
【０２４６】
この場合、自由視点画像生成部１４は、ストロボモデルを、カメラワークに含まれる撮影位置p#jから見た画像のレンダリングを、その撮影位置p#jと対応付けられた3Dモデルが配置されたストロボモデルを対象に行う。
【０２４７】
図２３では、撮影位置p11からのストロボモデルの撮影については、ストロボモデルに配置された12個の3Dモデルすべてが選択され、撮影位置p12からのストロボモデルの撮影については、ストロボモデルに配置された12個の3Dモデルのうちの、9個の3Dモデルが選択され、撮影位置p13からのストロボモデルの撮影については、ストロボモデルに配置された12個の3Dモデルのうちの、4個の3Dモデルが選択されている。
【０２４８】
したがって、仮想カメラが、撮影位置p11，p12，p13の順で移動しながら、ストロボモデルを撮影する場合、ストロボモデルに配置される3Dモデルは、12個、9個、4個の順に減少する。
【０２４９】
ここで、3Dモデルが、12個から9個や、9個から4個に、突然減少すると、違和感のある3Dストロボ画像が得られるおそれがある。そこで、ストロボモデルに配置される3Dモデルを減少させる場合には、エフェクト処理部２３において、減少対象の3Dモデルがフェードアウトするようにエフェクト処理を行うことができる。
【０２５０】
逆に、仮想カメラが、撮影位置p13，p12，p11の順で移動しながら、ストロボモデルを撮影する場合、ストロボモデルに配置される3Dモデルは、4個、9個、12個の順に増加する。
【０２５１】
ここで、3Dモデルが、4個から9個や、9個から12個に、突然増加すると、やはり、違和感のある3Dストロボ画像が得られるおそれがある。そこで、ストロボモデルに配置される3Dモデルを増加させる場合には、エフェクト処理部２３において、増加対象の3Dモデルがフェードインするようにエフェクト処理を行うことができる。
【０２５２】
ストロボモデルに配置する3Dモデルを減少させる場合や増加させる場合は、3Dモデルのフェードアウトやフェードインを行う他、3Dモデルが統合し、又は、分裂するような、モデル数を徐々に変化させるエフェクト処理を行うことができる。
【０２５３】
＜3Dストロボ画像の前後に、実画像をつなげる場合の撮影開始位置及び撮影終了位置の設定＞
【０２５４】
図２４は、3Dストロボ画像の前後に、実画像をつなげる場合の撮影開始位置及び撮影終了位置の設定の例を説明する図である。
【０２５５】
ここで、実画像とは、実際のカメラで撮影された画像を意味し、ここでは、例えば、撮影部１１のカメラで撮影された視点画像である。
【０２５６】
ストロボモデルの生成に用いられる生成フレームのうちの、視点vp#Aの視点画像の時間的に最も先行するフレームを、フレームpicAとし、視点vp#Bの視点画像の時間的に最も後行するフレームを、フレームpicBとする。なお、視点vp#Aと視点vp#Bとは、同一の視点であってもよいし、異なる視点であってもよい。
【０２５７】
視点vp#Aの視点画像のフレームpicAまでを再生した後、生成フレームを用いて生成されたストロボモデルを仮想カメラで撮影することにより得られる3Dストロボ画像としてのフレームpic1ないしpic#Nからなる動画を再生し、その後、視点vp#Bの視点画像のフレームpicBから再生する動画を制作する場合、カメラワーク設定部２４では、フレームpicAを撮影した実際のカメラの位置（視点vp#A）と姿勢を、仮想カメラの撮影開始位置とその撮影開始位置での撮影姿勢に設定するとともに、フレームpicBを撮影した実際のカメラの位置（視点vp#B）と姿勢を、仮想カメラの撮影終了位置とその撮影終了位置での撮影姿勢に設定し、デフォルトカメラワークを生成することができる。
【０２５８】
この場合、フレームpicAと、3Dストロボ画像の先頭のフレームpic1とには、同一のカメラアングルで撮影された同一のシーンが映る。さらに、3Dストロボ画像の最後のフレームpic#Nと、フレームpicBとには、同一のカメラアングルで撮影された同一のシーンが映る。
【０２５９】
したがって、実画像としての視点画像と3Dストロボ画像とが滑らかにつながった動画を容易に制作することができる。このような動画は、スポーツのビデオ判定や、サッカーのゴールシーンのリプレイ等に有用である。
【０２６０】
＜オーバーレイ画像のオーバレイ＞
【０２６１】
図２５は、ストロボモデルへの、オーバーレイ画像のオーバレイの例を示す図である。
【０２６２】
オーバレイ画像処理部２５は、ストロボモデル（に対応する3Dストロボ画像）を、表示部１５に表示させる。
【０２６３】
そして、オーバレイ画像処理部２５は、ユーザの操作に応じて、ストロボモデルにオーバレイするオーバレイ画像としての、例えば、2D画像又は3D画像の線や、文字、図形、スタンプ等を、ストロボモデルにオーバレイする。
【０２６４】
なお、2D画像の線（2Dライン）やスタンプ（2Dスタンプ）等のオーバレイ画像は、仮想カメラの撮影位置等にかかわらず、仮想カメラの正面に配置されているような状態で、3Dストロボ画像に映る。
【０２６５】
一方、3D画像のスタンプ（3Dスタンプ）等のオーバレイ画像は、ストロボモデルと同様に、仮想カメラの撮影位置等に応じて見え方が変化する（3Dストロボ画像に映る状態が変化する）。
【０２６６】
図２５では、3D画像のオーバレイ画像として、風船の画像（3Dモデル）が示されている。3D画像のオーバレイ画像としては、例えば、色付きのポイントクラウドを採用することができる。
【０２６７】
＜本技術を適用したコンピュータの説明＞
【０２６８】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２６９】
図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０２７０】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
【０２７１】
あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２７２】
なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２７３】
コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
【０２７４】
CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
【０２７５】
これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
【０２７６】
なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２７７】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２７８】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２７９】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２８０】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２８１】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２８２】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２８３】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２８４】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０２８５】
なお、本技術は、以下の構成をとることができる。
【０２８６】
＜１＞
複数の視点から撮影された複数の視点画像から生成される複数の時刻の被写体の3Dモデルが3次元空間に配置されたストロボモデルを生成するストロボモデル生成部と、
前記ストロボモデルを仮想カメラで撮影することによりストロボ画像を生成するときの前記仮想カメラのカメラワークを、前記ストロボモデルに配置された前記3Dモデルの状態に応じて設定するカメラワーク設定部と
を備える画像処理装置。
＜２＞
前記カメラワークは、前記ストロボモデルを撮影する前記仮想カメラの撮影位置及び姿勢を含む
＜１＞に記載の画像処理装置。
＜３＞
前記撮影位置ごとに、前記ストロボ画像のフレームが生成される
＜２＞に記載の画像処理装置。
＜４＞
前記カメラワーク設定部は、前記ストロボモデルに配置された前記3Dモデルのモデル分布に応じて、前記カメラワークを設定する
＜１＞ないし＜３＞のいずれかに記載の画像処理装置。
＜５＞
前記カメラワーク設定部は、前記ストロボモデルに配置された前記3Dモデルの軌跡に応じて、前記カメラワークを設定する
＜４＞に記載の画像処理装置。
＜６＞
前記カメラワーク設定部は、前記仮想カメラの撮影位置を、前記ストロボモデルに配置された前記3Dモデルの軌跡に沿った撮影ルートである平行撮影ルート以外の撮影ルートに、前記平行撮影ルートの場合よりも疎に設定する
＜５＞に記載の画像処理装置。
＜７＞
前記カメラワーク設定部は、前記モデル分布に応じて、前記仮想カメラの撮影開始位置及び撮影終了位置を設定する
＜４＞に記載の画像処理装置。
＜８＞
前記カメラワーク設定部は、前記ストロボモデルに配置された前記3Dモデルの軌跡に応じて、前記仮想カメラの撮影開始位置及び撮影終了位置を設定する
＜７＞に記載の画像処理装置。
＜９＞
前記カメラワーク設定部は、前記3Dモデルの軌跡に垂直な方向の位置を、前記仮想カメラの撮影開始位置に設定する
＜８＞に記載の画像処理装置。
＜１０＞
前記カメラワーク設定部は、前記ストロボモデルに配置された前記3Dモデルのすべてを囲む囲み線上に、前記撮影位置を設定する
＜２＞又は＜３＞に記載の画像処理装置。
＜１１＞
前記カメラワーク設定部は、動物の被写体の3Dモデルが配置された前記ストロボモデルについて、前記動物の顔に応じて、カメラワークを設定する
＜２＞又は＜３＞に記載の画像処理装置。
＜１２＞
前記カメラワーク設定部は、前記動物の顔に正対する方向から、前記ストロボモデルを撮影するように、前記撮影位置及び姿勢を設定する
＜１１＞に記載の画像処理装置。
＜１３＞
前記カメラワーク設定部は、前記視点画像を撮影したカメラの位置と姿勢とを、前記仮想カメラの撮影開始位置又は撮影終了位置と、前記撮影開始位置又は前記撮影終了位置での前記仮想カメラの姿勢とに設定する
＜２＞又は＜３＞に記載の画像処理装置。
＜１４＞
前記カメラワーク設定部は、x軸、y軸、又は、z軸に関する前記仮想カメラの動きを制限し、ユーザの操作に応じて、前記カメラワークを変更する
＜１＞ないし＜１３＞のいずれかに記載の画像処理装置。
＜１５＞
前記カメラワーク設定部は、前記仮想カメラから見た前記ストロボモデルに配置された前記3Dモデルの状態に応じて、前記ストロボモデルに配置する前記3Dモデルを選択する
＜１＞ないし＜１４＞のいずれかに記載の画像処理装置。
＜１６＞
前記カメラワーク設定部は、前記仮想カメラから見て、少なくとも、手前側の3Dモデルに重なる奥側の3Dモデル以外の3Dモデルを、前記ストロボモデルに配置する3Dモデルとして選択する
＜１５＞に記載の画像処理装置。
＜１７＞
ユーザの操作に応じて、前記ストロボモデルに配置する前記3Dモデルを選択するモデル選択部をさらに備える
＜１＞ないし＜１６＞のいずれかに記載の画像処理装置。
＜１８＞
前記モデル選択部は、前記ストロボモデル生成部により生成された前記ストロボモデルに配置された3Dモデルの一部を選択し、その選択した前記3Dモデルが配置された前記ストロボモデルを生成する
＜１７＞に記載の画像処理装置。
＜１９＞
複数の視点から撮影された複数の視点画像から生成される複数の時刻の被写体の3Dモデルが3次元空間に配置されたストロボモデルを生成することと、
前記ストロボモデルを仮想カメラで撮影することによりストロボ画像を生成するときの前記仮想カメラのカメラワークを、前記ストロボモデルに配置された前記3Dモデルの状態に応じて設定することと
を含む画像処理方法。
＜２０＞
複数の視点から撮影された複数の視点画像から生成される複数の時刻の被写体の3Dモデルが3次元空間に配置されたストロボモデルを生成するストロボモデル生成部と、
前記ストロボモデルを仮想カメラで撮影することによりストロボ画像を生成するときの前記仮想カメラのカメラワークを、前記ストロボモデルに配置された前記3Dモデルの状態に応じて設定するカメラワーク設定部と
して、コンピュータを機能させるためのプログラム。
【符号の説明】
【０２８７】
１１  撮影部，  １２  自由視点データ生成部，  １３  画像処理部，  １４  自由視点画像生成部，  １５  表示部，  ２１  ストロボモデル生成部，  ２２  モデル選択部，  ２３  エフェクト処理部，  ２４  カメラワーク設定部，  ２５  オーバレイ画像処理部，  ３１  表示部，  ３２  操作部，  ４１  表示部，  ４２  操作部，  ６１  位置設定部，  ６２  カメラワーク生成部，  ６３  カメラワーク記憶部，  ９０１  バス，  ９０２  CPU，  ９０３  ROM，  ９０４  RAM，  ９０５  ハードディスク，  ９０６  出力部，  ９０７  入力部，  ９０８  通信部，  ９０９  ドライブ，  ９１０  入出力インタフェース，  ９１１  リムーバブル記録媒体
【図１】
2020095465.tif 000003
【図２】
2020095465.tif 000004
【図３】
2020095465.tif 000005
【図４】
2020095465.tif 000006
【図５】
2020095465.tif 000007
【図６】
2020095465.tif 000008
【図７】
2020095465.tif 000009
【図８】
2020095465.tif 000010
【図９】
2020095465.tif 000011
【図１０】
2020095465.tif 000012
【図１１】
2020095465.tif 000013
【図１２】
2020095465.tif 000014
【図１３】
2020095465.tif 000015
【図１４】
2020095465.tif 000016
【図１５】
2020095465.tif 000017
【図１６】
2020095465.tif 000018
【図１７】
2020095465.tif 000019
【図１８】
2020095465.tif 000020
【図１９】
2020095465.tif 000021
【図２０】
2020095465.tif 000022
【図２１】
2020095465.tif 000023
【図２２】
2020095465.tif 000024
【図２３】
2020095465.tif 000025
【図２４】
2020095465.tif 000026
【図２５】
2020095465.tif 000027
【図２６】
2020095465.tif 000028