(57)【要約】【課題】見やすい画像を提供する。【解決手段】画像処理システムは、複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行い、所定の視点からエフェクト処理後の複数の3Dモデルを見た2D画像を生成する。本技術は、例えば、自由視点画像を表示する場合等に適用することができる。【選択図】図１
2020086700.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行うエフェクト処理部と、
所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成する生成部と
を備える画像処理装置。
【請求項２】
前記エフェクト処理部は、前記複数の3Dモデルのうちの所定の3Dモデルを透明にする前記エフェクト処理を行う
請求項１に記載の画像処理装置。
【請求項３】
前記エフェクト処理部は、前記複数の視点画像から生成される複数の時刻の所定の被写体の3Dモデルに前記エフェクト処理を行う
請求項１に記載の画像処理装置。
【請求項４】
前記エフェクト処理部は、前記複数の時刻の所定の被写体の3Dモデルのうちの１つの基準モデルからの3Dモデルの数、距離、又は、時間で指定される前記所定の被写体の3Dモデルに前記エフェクト処理を行う
請求項３に記載の画像処理装置。
【請求項５】
前記エフェクト処理部は、複数のエフェクト処理から、前記3Dモデルに行う前記エフェクト処理を設定する
請求項１に記載の画像処理装置。
【請求項６】
前記2D画像を表示する表示部をさらに備える
請求項１に記載の画像処理装置。
【請求項７】
前記3Dモデルは、View Independentである
請求項１に記載の画像処理装置。
【請求項８】
前記エフェクト処理部は、
前記3Dモデルのサイズを変更する前記エフェクト処理を行い、
前記サイズの変更前の前記3Dモデルが面に接する場合、前記サイズの変更後の前記3Dモデルが前記面に接するように、前記3Dモデルを移動する
請求項１に記載の画像処理装置。
【請求項９】
複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行うことと、
所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成することと
を含む画像処理方法。
【請求項１０】
複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行うエフェクト処理部と、
所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成する生成部と
して、コンピュータを機能させるためのプログラム。
【請求項１１】
複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行い、
所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成する
ことにより得られる前記2D画像を受信する受信部と、
前記2D画像を表示する表示部と
を備える表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、プログラム、及び、表示装置に関し、特に、例えば、見やすい画像を提供することができるようにする画像処理装置、画像処理方法、プログラム、及び、表示装置に関する。
【背景技術】
【０００２】
複数の時刻に撮影された被写体（像）が映るストロボ画像を生成する方法が提案されている（例えば、特許文献１を参照）。ストロボ画像には、複数の時刻の被写体が映るので、被写体の動きや軌跡を、容易に把握することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2007-259477号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、特に、長時間のフレーム（系列）に映る被写体を対象に、ストロボ画像を生成する場合、ストロボ画像が見にくい画像になることがある。
【０００５】
本技術は、このような状況に鑑みてなされたものであり、見やすい画像、例えば、見やすいストロボ画像等を提供することができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の画像処理装置、又は、プログラムは、複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行うエフェクト処理部と、所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成する生成部とを備える画像処理装置、又は、そのような画像処理装置としてコンピュータを機能させるためのプログラムである。
【０００７】
本技術の画像処理方法は、複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行うことと、所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成することとを含む画像処理方法である。
【０００８】
本技術の画像処理装置、画像処理方法、及び、プログラムにおいては、複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理が行われ、所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像が生成される。
【０００９】
本技術の表示装置は、複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行い、所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成することにより得られる前記2D画像を受信する受信部と、前記2D画像を表示する表示部とを備える表示装置である。
【００１０】
本技術の表示装置においては、複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行い、所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成することにより得られる前記2D画像が受信されて表示される。
【００１１】
なお、画像処理装置や表示装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１２】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【図２】画像処理システムが行う、自由視点画像を表示する自由視点画像表示処理の例を説明するフローチャートである。
【図３】不自然な自由視点画像の例を示す図である。
【図４】自然な自由視点画像の例を示す図である。
【図５】ストロボ区間のフレームを、所定のフレーム数ごとに、生成フレームに選択して生成されるストロボ画像の例を示す図である。
【図６】撮影部１１で得られる複数の視点の視点画像の例を模式的に示す図である。
【図７】ストロボ画像生成部１３での被写体の動きの判定の第１の判定方法を説明する図である。
【図８】ストロボ画像生成部１３での被写体の動きの判定の第１の判定方法を説明する図である。
【図９】ストロボ画像生成部１３での被写体の動きの判定の第２の判定方法を説明する図である。
【図１０】ストロボ画像生成部１３での被写体の動きの判定の第３の判定方法を説明する図である。
【図１１】ストロボ画像生成部１３での生成フレームの選択の例を説明する図である。
【図１２】複数の生成フレームに映る被写体の3Dモデルを、本来の位置からずらして配置することにより生成されたストロボ画像の例を示す図である。
【図１３】ストロボ画像において、エフェクト処理部１４でのエフェクト処理の対象となる3Dモデルを説明する図である。
【図１４】エフェクト処理の具体例を説明する図である。
【図１５】エフェクトモード1のエフェクト処理の例を示す図である。
【図１６】２つの被写体の3Dモデルが映るストロボ画像の例を示す図である。
【図１７】エフェクトモード1のエフェクト処理の他の例を示す図である。
【図１８】エフェクトモード2のエフェクト処理の例を示す図である。
【図１９】エフェクトモード3のエフェクト処理の例を示す図である。
【図２０】エフェクトモード4のエフェクト処理の例を示す図である。
【図２１】エフェクトモード5のエフェクト処理の例を示す図である。
【図２２】エフェクトモード6のエフェクト処理の例を示す図である。
【図２３】エフェクトモード7ないし9のエフェクト処理の例を示す図である。
【図２４】エフェクトモード10のエフェクト処理の例を示す図である。
【図２５】画像処理システムを適用した伝送システムの構成例を示すブロック図である。
【図２６】送信装置１０１の処理の例を説明するフローチャートである。
【図２７】受信装置１０２の処理の例を説明するフローチャートである。
【図２８】画像処理システムを適用した伝送システムの他の構成例を示すブロック図である。
【図２９】送信装置１０１の処理の第１の例を説明するフローチャートである。
【図３０】受信装置１０２の処理の第１の例を説明するフローチャートである。
【図３１】送信装置１０１の処理の第２の例を説明するフローチャートである。
【図３２】受信装置１０２の処理の第２の例を説明するフローチャートである。
【図３３】本技術を適用した画像処理システムの他の一実施の形態の構成例を示すブロック図である。
【図３４】自由視点画像を表示する自由視点画像表示処理の例を説明するフローチャートである。
【図３５】画像処理システムを適用した伝送システムの構成例を示すブロック図である。
【図３６】3Dモデルのサイズを変更するエフェクト処理を説明する図である。
【図３７】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
＜本技術を適用した画像処理システム＞
【００１５】
図１は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【００１６】
図１の画像処理システムでは、実写の画像から、仮想的な視点（仮想視点）から３次元空間の被写体を見たときの見え方が再現された自由視点画像を生成することができる自由視点データが生成される。そして、その自由視点データから、仮想視点から被写体を見たときの自由視点画像が生成されて表示される。
【００１７】
図１の画像処理システムは、撮影部１１、自由視点データ生成部１２、ストロボ画像生成部１３、エフェクト処理部１４、自由視点画像生成部１５、及び、表示部１６を有する。
【００１８】
撮影部１１は、少なくとも複数のカメラで構成され、複数の視点から、被写体を撮影する。例えば、撮影部１１を構成する複数のカメラは、被写体を囲むように配置され、各カメラは、そのカメラが配置された位置としての視点から、被写体を撮影する。各カメラにより、そのカメラの位置から撮影された2D(Dimensional)画像、すなわち、複数の視点から撮影された2D画像である複数の視点の視点画像（動画）は、フレーム単位で、撮影部１１から自由視点データ生成部１２に供給される。
【００１９】
ここで、撮影部１１には、複数のカメラの他、複数の測距装置を設けることができる。測距装置は、カメラと同一の位置（視点）に配置することもできるし、カメラと異なる位置に配置することもできる。測距装置は、その測距装置が配置された位置（視点）から、被写体までの距離を測定し、その距離に関する情報であるデプスを画素値とする2D画像であるデプス画像を生成する。デプス画像は、撮影部１１から自由視点データ生成部１２に供給される。
【００２０】
なお、撮影部１１に、測距装置が設けられていない場合には、複数の視点の視点画像のうちの２視点の視点画像を用いて、三角測量の原理により、被写体までの距離を測定し、デプス画像を生成することができる。
【００２１】
自由視点データ生成部１２は、撮影部１１からの複数の視点の視点画像とデプス画像とから、3D画像の自由視点データを、フレーム単位で生成する。
【００２２】
ここで、自由視点データとは、自由視点画像を生成することができる3D画像のデータである。自由視点データとしては、例えば、撮影部１１からの複数の視点の視点画像とデプス画像とのセットを、そのまま採用することができる。また、自由視点データとしては、その他、例えば、3Dモデル（や背景画像等を含む3Dデータ）や、複数の視点の2D画像とデプス画像とのセットを採用することができる。
【００２３】
自由視点データとして、撮影部１１からの複数の視点の視点画像とデプス画像とのセットを採用する場合、自由視点データ生成部１２は、撮影部１１からの複数の視点の視点画像とデプス画像とのセットを、自由視点データとして、ストロボ画像生成部１３に供給する。
【００２４】
自由視点データとして、3Dモデルを採用する場合、自由視点データ生成部１２は、撮影部１１からの複数の視点の視点画像と、その複数の視点のデプス画像とを用いて、Visual Hull等によりモデリングを行って、視点画像に映る被写体の3Dモデルを生成し、その3Dモデル（を含む3Dデータ）を、自由視点データとして、ストロボ画像生成部１３に供給する。なお、撮影部１１からのデプス画像の視点が、撮影部１１からの視点画像の視点と異なる場合、自由視点データ生成部１２は、撮影部１１からの複数の視点のデプス画像を用いて、撮影部１１からの視点画像の視点のデプス画像を生成する。
【００２５】
自由視点データとして、複数の視点の2D画像とデプス画像とのセットを採用する場合、自由視点データ生成部１２は、上述したように、視点画像に映る被写体の3Dモデルを生成し、その3Dモデルを、複数の視点（撮影部１１を構成するカメラと同一の視点でも良いし、異なる視点でも良い）から見た2D画像とデプス画像とのセットを生成する。そして、自由視点データ生成部１２は、3Dモデルから生成した複数の視点の2D画像とデプス画像とのセットを、自由視点データとして、ストロボ画像生成部１３に供給する。
【００２６】
以下では、説明を簡単にするため、特に断らない限り、自由視点データとして、3Dモデル（を含む3Dデータ）を採用することとする。
【００２７】
なお、自由視点データとしては、3Dモデルよりも、その3Dモデルから生成された複数の視点の2D画像とデプス画像とのセットを採用することにより、自由視点データのデータ量を少なくすることができる。3Dモデルから複数の視点の2D画像とデプス画像とのセットを生成して伝送する技術については、本出願人が先に提案した国際公開2017/082076号に記載されている。3Dモデルから複数の視点の2D画像とデプス画像とのセットを生成する場合、その複数の視点の2D画像とデプス画像とのセットは、例えば、MVCD（Multiview and depth video coding）や、AVC(Advanced Video Coding)、HEVC(High Efficiency Video Coding)等の2D画像を対象とする符号化方式により符号化することができる。
【００２８】
ここで、3Dモデル（の表現形式）には、大きく分けて、View Independentと呼ばれるモデル（以下、VIモデルともいう）と、View Dependentと呼ばれるモデル（以下、VDモデルともいう）とがある。
【００２９】
VDモデルは、３次元の形状の情報である3D形状モデルと、テクスチャとなる画像の情報とが別になっている3Dモデルである。VDモデルでは、3D形状モデルに、テクスチャとなる画像がマッピング（テクスチャマッピング）されることにより、色が付される。VDモデルによれば、（仮想）視点によって異なるVDモデルとしての被写体の表面の反射の具合等を表現することができる。
【００３０】
VIモデルは、3D形状モデルの構成要素としてのポリゴンや点が、色の情報を有している3Dモデルである。VIモデルとしては、例えば、色付きのポイントクラウドや、3D形状モデルと、3D形状モデルの色の情報としてのUVマップとのセットがある。VIモデルによれば、どの（仮想）視点から見ても、ポリゴンや点が有する色が観測される。
【００３１】
ストロボ画像生成部１３は、自由視点データ生成部１２からの3D画像の自由視点データとしての3Dモデルを用い、複数の時刻（フレーム）の同一の被写体の3Dモデルが映る（配置された）3D画像のストロボ画像の自由視点データを生成し、エフェクト処理部１４に供給する。
【００３２】
ここで、ストロボ画像とは、複数の時刻に撮影された１つ以上の同一の被写体（像）が映る画像である。2D画像に映る被写体が映るストロボ画像を、2Dストロボ画像ともいい、被写体の3Dモデルが映る3D画像のストロボ画像を、3Dストロボ画像ともいう。ストロボ画像生成部１３は、3Dストロボ画像を生成する。ここでは、3D画像とは、3次元の広がりを持つ画像、すなわち、横及び縦の他、奥行にも広がりを持った画像を意味する。
【００３３】
なお、自由視点データが、複数の視点の視点画像及びデプス画像、又は、複数の視点の2D画像及びデプス画像である場合、ストロボ画像の生成では、その生成に用いる複数のフレームそれぞれごとにモデリングを行って、複数のフレームに映る被写体の3Dモデルを個別に生成することができる。そして、複数のフレームそれぞれの3Dモデルを背景画像（としての３次元空間）に合成することにより、ストロボ画像を生成することができる。又は、複数のフレームに映る被写体のシルエット画像を合成し、その合成により得られる合成シルエット画像を用いてモデリングを行って、複数のフレームそれぞれに映る被写体の3Dモデルを合成した、いわば合成3Dモデルを生成することができる。そして、その合成3Dモデルを背景画像に合成することにより、ストロボ画像を生成することができる。
【００３４】
エフェクト処理部１４は、ストロボ画像生成部１３から自由視点データが供給されるストロボ画像に映る3Dモデルにエフェクト処理を行い、そのエフェクト処理後のストロボ画像の自由視点データを、自由視点画像生成部１５に供給する。
【００３５】
ここで、画像処理システムでは、ユーザの操作に応じて、仮想視点が設定され、エフェクト処理部１４及び自由視点画像生成部１５、その他の必要なブロックに供給される。エフェクト処理部１４は、ストロボ画像に映る複数の時刻（フレーム）の3Dモデルのうちの、所定の時刻の3Dモデル、例えば、最新の仮想視点が設定された時刻の3Dモデルを基準3Dモデルとして、基準3Dモデルより過去及び未来のうちの一方又は両方の3Dモデルにエフェクト処理を行うことができる。基準3Dモデルとしては、最新の仮想視点が設定された時刻の3Dモデルの他、ユーザが指定した3Dモデル等を採用することができる。
【００３６】
なお、エフェクト処理部１４は、例えば、ユーザの操作等に応じて、エフェクト処理を行わずに、ストロボ画像生成部１２１からの自由視点データを、自由視点画像生成部１５に供給することができる。また、ストロボ画像生成部１３は、例えば、ユーザの操作等に応じて、ストロボ画像を生成せずに、自由視点データ生成部１２からの自由視点データを、エフェクト処理部１４に供給することができる。ストロボ画像生成部１３において、ストロボ画像が生成されない場合、エフェクト処理部１４は、エフェクト処理を行わずに、ストロボ画像生成部１２１からの自由視点データを、自由視点画像生成部１５に供給する。
【００３７】
自由視点画像生成部１５は、エフェクト処理部１４からの自由視点データを用いて、例えば、3Dモデルにエフェクト処理が行われたストロボ画像に映る３次元空間を仮想視点から見た2D画像（ここでは、左目用の2D画像及び右目用の2D画像のセットを含む）等の、撮影部１１で撮影された３次元空間を仮想視点から見た2D画像（のデータ）を、自由視点画像（のデータ）として生成し、表示部１６に供給する。
【００３８】
表示部１６は、例えば、2Dのヘッドマウントディスプレイや、2Dのモニタ、3Dのヘッドマウントディスプレイ、3Dのモニタ等で構成され、自由視点画像生成部１５からの自由視点画像を表示する。3Dのヘッドマウントディスプレイやモニタは、例えば、左目用の2D画像及び右目用の2D画像を表示することにより立体視を実現する表示装置である。
【００３９】
なお、画像処理システムは、例えば、クライアントとクラウドサーバ等とで構成されるサーバクライアントシステムで構成することができる。この場合、クラウドサーバには、自由視点データ生成部１２ないし自由視点画像生成部１５のうちの一部又は全部を設けることができる。クライアントには、自由視点データ生成部１２ないし自由視点画像生成部１５のうちの残りと、表示部１６とを設けることができる。撮影部１１は、任意の場所に配置し、撮影部１１が出力する視点画像等は、自由視点データ生成部１２に伝送することができる。
【００４０】
以上のように構成される画像処理システムによれば、例えば、サッカーや、ラグビー、野球、レスリング、ボクシング、柔道、ゴルフ、テニス、体操等の各種のスポーツを、視点画像として撮影し、特定の選手等の所定の被写体の3Dモデルが映るストロボ画像を生成することができる。この場合、特定の選手の3Dモデルが映るストロボ画像は、その特定の選手の運動の解析等のスポーツ解析に用いることができる。
【００４１】
図２は、図１の画像処理システムが行う、自由視点画像を表示する自由視点画像表示処理の例を説明するフローチャートである。
【００４２】
自由視点画像表示処理では、ステップＳ１１において、撮影部１１は、複数の視点から、被写体を撮影し、複数の視点の視点画像及びデプス画像をフレーム単位で得る。撮影部１１は、複数の視点の視点画像及びデプス画像を、自由視点データ生成部１２に供給し、処理は、ステップＳ１１からステップＳ１２に進む。
【００４３】
ステップＳ１２では、自由視点データ生成部１２は、撮影部１１からの複数の視点の視点画像及びデプス画像等を用いて、視点画像に映る被写体のモデリングを行い、自由視点データとしての、例えば、被写体の3Dモデル等を、フレーム単位で生成する。自由視点データ生成部１２は、自由視点データとしての被写体の3Dモデル（及び背景画像を含む3Dデータ）を、ストロボ画像生成部１３に供給して、処理は、ステップＳ１３に進む。
【００４４】
ステップＳ１３では、ストロボ画像生成部１３は、自由視点データ生成部１２からの自由視点データとしての3Dモデルとなった被写体の動きを判定し、処理は、ステップＳ１４に進む。
【００４５】
ステップＳ１４では、ストロボ画像生成部１３は、ストロボ画像を生成するかどうかを判定する。
【００４６】
ここで、ステップＳ１４での、ストロボ画像を生成するかどうかの判定は、例えば、ステップＳ１３で判定された被写体の動きに応じて行われる。被写体に動きがない場合、動きがない複数の時刻の被写体の3Dモデルが映るストロボ画像は、ほぼ同じ位置に、複数の時刻の被写体の3Dモデルが映り、見にくいストロボ画像となることがある。そこで、ステップＳ１４では、被写体の動きがない場合には、ストロボ画像を生成しないと判定し、被写体の動きがある場合には、ストロボ画像を生成すると判定することができる。
【００４７】
なお、ステップＳ１４での、ストロボ画像を生成するかどうかの判定は、その他、例えば、ユーザの操作に応じて行うことができる。
【００４８】
ステップＳ１４において、ストロボ画像を生成しないと判定された場合、ストロボ画像生成部１３及びエフェクト処理部１４は、処理を行わずに、自由視点データを、自由視点画像生成部１５に供給する。そして、処理は、ステップＳ１４から、ステップＳ１５ないしＳ１８をスキップして、ステップＳ１９に進む。
【００４９】
この場合、ステップＳ１９では、自由視点画像生成部１５は、エフェクト処理部１４からの自由視点データを用いて、仮想視点から自由視点データとしての3Dモデルを見た2D画像を、自由視点画像として生成する。そして、自由視点画像生成部１５は、自由視点画像を、表示部１６に供給して、処理は、ステップＳ１９からステップＳ２０に進む。
【００５０】
ステップＳ２０では、表示部１６は、自由視点画像生成部１５からの自由視点画像が表示される。この場合、表示部１６では、仮想視点から見た被写体の3Dモデルが映る画像が表示される。
【００５１】
一方、ステップＳ１４において、ストロボ画像を生成すると判定された場合、処理は、ステップＳ１５に進む。
【００５２】
ステップＳ１５では、ストロボ画像生成部１３は、自由視点データ生成部１２から供給される3Dモデルのフレームの中で、ストロボ画像の生成に用いるフレーム（以下、生成フレームともいう）を選択し、処理は、ステップＳ１６に進む。
【００５３】
ここで、ストロボ画像の生成にあたっては、ユーザの操作等に応じて、3Dモデルとなる被写体が映る視点画像のフレームの系列について、ストロボ画像に映り得る被写体の先頭のフレーム（時刻）と終わりのフレームとが設定される。ストロボ画像に映り得る被写体の先頭のフレームから終わりのフレームまでの区間を、ストロボ区間ということとすると、ストロボ区間の全フレームを生成フレームとして、ストロボ画像の生成に用いると、ストロボ画像には、ストロボ区間のフレーム数と同一の数の、同一の被写体の3Dモデルが重なって映り、見にくい画像となることがある。
【００５４】
そこで、ストロボ画像生成部１３は、ストロボ区間のフレームから、幾つかのフレームを生成フレームとして選択し、その生成フレーム（に映る被写体の3Dモデル）を用いて、ストロボ画像（の自由視点データ）を生成する。
【００５５】
ストロボ画像生成部１３は、例えば、ストロボ区間のフレームから、3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択することができる。すなわち、ストロボ画像生成部１３は、ストロボ区間のフレームに被写体が映る３次元空間での、その被写体の3Dモデルの重なり具合を表す干渉度を算出する。干渉度は、例えば、３次元空間において、任意の２フレームの3Dモデルが完全に重なる場合を100％とするとともに、まったく重ならない場合を0％として算出される。そして、ストロボ画像生成部１３は、干渉度が0ないし10%等の所定の閾値以下のフレームを、生成フレームとして選択する。以上のように、ストロボ区間のフレームから、3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択し、その生成フレームの3Dモデルが映るストロボ画像を生成することにより、ストロボ画像において、3Dモデルが重なって映り、見にくい画像となることを抑制することができる。
【００５６】
なお、生成フレームの選択では、その他、例えば、単純に、ストロボ区間のフレームを、所定のフレーム数ごとに選択することができる。
【００５７】
ステップＳ１６では、ストロボ画像生成部１３は、ストロボ区間のフレームから選択された複数の生成フレームの3Dモデルが、その3Dモデルの被写体が映る３次元空間としての背景画像に映るストロボ画像を生成する。そして、ストロボ画像生成部１３は、ストロボ画像を、エフェクト処理部１４に供給し、処理は、ステップＳ１６からステップＳ１７に進む。ここで、複数の生成フレームに、１つの被写体だけが映る場合には、ストロボ画像生成部１３は、その１つの被写体の3Dモデルが映るストロボ画像を生成する。また、複数の生成フレームに、複数の被写体が映る場合には、ストロボ画像生成部１３は、その複数の被写体それぞれの3Dモデルが映るストロボ画像を生成することができる。但し、複数の生成フレームに、複数の被写体が映る場合には、ストロボ画像生成部１３は、複数の生成フレームに映る複数の被写体のうちの、例えば、ユーザによって指定された１つ又は２つ以上の被写体の3Dモデルが映るストロボ画像を生成することができる。
【００５８】
ステップＳ１７では、エフェクト処理部１４は、ストロボ画像生成部１３からのストロボ画像の3Dモデル（ストロボ画像に映る3Dモデル）に、エフェクト処理を行うかどうかを判定する。ステップＳ１７での、ストロボ画像を生成するかどうかの判定は、例えば、ユーザの操作に応じて行うことができる。
【００５９】
ステップＳ１７において、エフェクト処理を行わないと判定された場合、エフェクト処理部１４は、エフェクト処理を行わずに、ストロボ画像生成部１３からのストロボ画像を、自由視点画像生成部１５に供給する。そして、処理は、ステップＳ１７から、ステップＳ１８をスキップして、ステップＳ１９に進む。
【００６０】
この場合、ステップＳ１９では、自由視点画像生成部１５は、エフェクト処理部１４からのストロボ画像を仮想視点から見た2D画像を、自由視点画像として生成する。そして、自由視点画像生成部１５は、自由視点画像を、表示部１６に供給して、処理は、ステップＳ１９からステップＳ２０に進む。
【００６１】
ステップＳ２０では、表示部１６は、自由視点画像生成部１５からの自由視点画像が表示される。この場合、表示部１６では、仮想視点から見た複数の生成フレームの被写体の3Dモデルが映る2D画像（3Dストロボ画像を仮想視点から見た2D画像）が表示される。
【００６２】
一方、ステップＳ１７において、エフェクト処理を行うと判定された場合、処理は、ステップＳ１８に進む。
【００６３】
ステップＳ１８では、エフェクト処理部１４は、ストロボ画像生成部１３からのストロボ画像に映る複数の時刻（生成フレーム）の3Dモデルのうちの、最新の仮想視点が設定された時刻の基準3Dモデルより過去及び未来のうちの一方又は両方の3Dモデルにエフェクト処理を行う。そして、エフェクト処理部１４は、エフェクト処理後の（3Dモデルが映る）ストロボ画像を、自由視点画像生成部１５に供給して、処理は、ステップＳ１８からステップＳ１９に進む。
【００６４】
この場合、ステップＳ１９では、自由視点画像生成部１５は、エフェクト処理部１４からのエフェクト処理後のストロボ画像を仮想視点から見た2D画像を、自由視点画像として生成する。そして、自由視点画像生成部１５は、自由視点画像を、表示部１６に供給して、処理は、ステップＳ１９からステップＳ２０に進む。
【００６５】
ステップＳ２０では、表示部１６は、自由視点画像生成部１５からの自由視点画像が表示される。この場合、表示部１６では、仮想視点から見た複数の生成フレームの被写体の3Dモデルが映り、かつ、その3Dモデルの幾つかにエフェクトがかかった2D画像（エフェクト処理が行われた3Dストロボ画像を仮想視点から見た2D画像）が表示される。
【００６６】
以上のように、3Dモデルにエフェクト処理を行うことにより、見やすい画像を提供することができる。特に、例えば、ストロボ画像に映る、複数の時刻の同一の被写体の3Dモデルの一部、又は、全部のそれぞれにエフェクト処理を行うことにより、見やすいストロボ画像を提供することができる。なお、ここでは、説明を分かりやすくするために、(3D)ストロボ画像を生成し、その後、ストロボ画像に映る3Dモデルにエフェクト処理を行うこととしたが、ストロボ画像の生成と、そのストロボ画像に映る3Dモデルに対するエフェクト処理とは、並列的に、又は、適宜順番を前後して行うことができる。例えば、画像処理システムでは、3Dモデルに対するエフェクト処理を行った後に、そのエフェクト処理後の3Dモデルが映るストロボ画像を生成することができる。
【００６７】
＜ストロボ画像の生成＞
【００６８】
図３は、不自然な自由視点画像の例を示す図である。
【００６９】
図３は、手前側から奥側に被写体としてのボールが転がっている様子を撮影した視点画像のフレームのうちの５フレームを生成フレームとして用いて生成された(3D)ストロボ画像から生成された自由視点画像の例を示している。
【００７０】
図３では、５フレームの生成フレームに映るボールの3Dモデルが、時間的に後の3Dモデルを優先するように配置（描画）されている。そのため、時間的に後の（ボールの）3Dモデルが、奥側に位置するのにもかかわらず、時間的に前の手前側の3Dモデルを隠すように配置されている。その結果、図３の自由視点画像は、不自然な画像になっている。
【００７１】
図４は、自然な自由視点画像の例を示す図である。
【００７２】
図４は、手前側から奥側に被写体としてのボールが転がっている様子を撮影した視点画像のフレームのうちの５フレームを生成フレームとして用いて生成された(3D)ストロボ画像から生成された自由視点画像の例を示している。
【００７３】
図４では、５フレームの生成フレームに映るボールの3Dモデルが、手前側の3Dモデルを優先するように配置されている。そのため、手前側の3Dモデルが奥側の3Dモデルを隠すように、すなわち、手前側の3Dモデルが優先的に映るように配置されている。その結果、自由視点画像は、自然な画像になっている。
【００７４】
ストロボ画像生成部１３は、3Dモデルをデプス（奥行）を用いて、以上のような、自由視点画像において手前側の3Dモデルが優先的に映るストロボ画像を生成する。
【００７５】
図５は、ストロボ区間のフレームを、所定のフレーム数ごとに、生成フレームに選択して生成されるストロボ画像の例を示す図である。
【００７６】
図５は、手前側から奥側に被写体としてのボールが転がっている様子を撮影した視点画像のフレームのうちの８フレームを生成フレームとして用いて生成されたストロボ画像の例を示している。
【００７７】
ストロボ区間のフレームを、所定のフレーム数ごとに、生成フレームに選択し、その生成フレームを用いてストロボ画像を生成する場合、被写体の移動速度が変化すると、ストロボ画像に映る被写体の3Dモデルの間隔が変化する。例えば、図５に示すように、被写体の移動速度が、ある一定速度から低下すると、3Dモデルの間隔が狭くなり、3Dモデルどうしの重なり具合が大きくなって、見にくいストロボ画像になることがある。
【００７８】
図２で説明したように、ストロボ区間のフレームのうちの、3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択することにより、被写体の移動速度の変化によって被写体の3Dモデルの間隔が狭くなり、ストロボ画像が見にくくなることを抑制することができる。
【００７９】
なお、ストロボ区間のフレームのうちの、3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択するか、又は、所定のフレーム数ごとのフレームを、生成フレームとして選択するかは、例えば、ユーザの操作に応じて設定することができる。
【００８０】
＜視点画像＞
【００８１】
図６は、撮影部１１で得られる複数の視点の視点画像の例を模式的に示す図である。
【００８２】
図６では、撮影部１１は、６台のカメラで構成され、その６台のカメラが、被写体としての人物を取り囲むように配置されている。カメラは、被写体の周囲や天井に配置することができる。６台のカメラそれぞれは、被写体を同期して撮影し、その撮影の結果得られる2D画像を、カメラの位置を視点vp#iとする視点画像として出力する。視点vp#iは、撮影部１１を構成する６台のカメラのうちのｉ番目のカメラの位置である。
【００８３】
図６では、６台のカメラから出力される６視点vp1ないしvp6の視点画像の８フレーム（時刻）が示されている。
【００８４】
自由視点データ生成部１２では、例えば、以上のような６視点vp1ないしvp6の視点画像（のフレーム）の他、例えば、その６視点vp1ないしvp6のデプス画像、及び、撮影部１１を構成する６台のカメラのカメラパラメータを用いて、視点画像に映る被写体の3Dモデルが生成される。
【００８５】
すなわち、自由視点データ生成部１２は、例えば、視点vp#iの視点画像の前景背景差分を用いて、視点vp#iの視点画像に映る被写体のシルエット画像を求める。そして、自由視点データ生成部１２は、視点vp#iのシルエット画像、視点vp#iの視点画像及びデプス画像、並びに、カメラパラメータを用い、Visual Hull等により、視点画像に映る被写体のモデリングを行い、その被写体の3Dモデルを生成する。
【００８６】
ここで、撮影部１１を構成する６台のカメラのカメラパラメータは、カメラの焦点距離や、カメラどうしの位置関係、カメラの姿勢、カメラが有するレンズの歪み等の情報を含む。
【００８７】
また、シルエット画像を求めるための前景背景差分は、視点vp#iの視点画像の背景と、視点vp#iの視点画像との差分をとることにより求めることができる。視点vp#iの視点画像の背景は、被写体が存在しない状態で３次元空間を撮影することや、被写体の位置が異なる視点vp#iの視点画像の複数フレームを用いることにより生成することができる。
【００８８】
＜被写体の動きの判定＞
【００８９】
図７及び図８は、ストロボ画像生成部１３での被写体の動きの判定の第１の判定方法を説明する図である。
【００９０】
図７は、第１の判定方法において、被写体の動きがあると判定される場合を示している。図８は、第１の判定方法において、被写体の動きがないと判定される場合を示している。
【００９１】
図７及び図８では、被写体としてのスケータが、スケートリンク内を滑っている。
【００９２】
撮影部１１が、複数のカメラの他、測距装置としての、例えば、TOF(Time Of Fright)センサやLiDAR(Light Detection and Ranging)センサ等のアクティブセンサを有する場合には、そのアクティブセンサで測定（測距）された被写体までの距離d#jに応じて、被写体の動きを判定することができる。距離d#jは、複数のアクティブセンサのうちのｊ番目のアクティブセンサで測定された被写体までの距離を表す。
【００９３】
図７及び図８では、４台のアクティブセンサがスケートリンクの周囲に設けられている。被写体の動きの判定では、ストロボ画像生成部１３は、４台のアクティブセンサが時刻（フレーム）tに測定した距離d1, d2, d3, d4と、時刻tとは異なる、例えば、時刻tの後の時刻t'に測定した距離d1, d2, d3, d4とを比較する。
【００９４】
そして、図７に示すように、距離d1ないしd4のうちの１つ以上の距離が、時刻tと時刻t'とで、所定の閾値以上異なる（変化している）場合、ストロボ画像生成部１３は、被写体の動きがあると判定する。
【００９５】
一方、図８に示すように、距離d1ないしd4のいずれもが、時刻tと時刻t'とで、所定の閾値以上異ならない場合、ストロボ画像生成部１３は、被写体の動きがないと判定する。
【００９６】
ここで、図７及び図８では、４台のアクティブセンサが設けられているが、アクティブセンサは、４台以外の複数台であっても良いし、１台であっても良い。
【００９７】
図９は、ストロボ画像生成部１３での被写体の動きの判定の第２の判定方法を説明する図である。
【００９８】
第２の判定方法は、撮影部１１が、アクティブセンサを有しない場合の被写体の動きを判定する方法の１つである。
【００９９】
第２の判定方法では、ストロボ画像生成部１３は、撮影部１１を構成するいずれかのカメラで撮影された視点画像の、例えば、ストロボ区間等の所定の区間のフレームを、数フレームだけ残すように間引く。さらに、ストロボ画像生成部１３は、フレームの間引きを行った結果残った数フレームを、被写体の動きの判定に用いる判定フレームとして、判定フレームのシルエット画像を生成する。図９では、５フレームを判定フレームとして、シルエット画像が生成されている。
【０１００】
ストロボ画像生成部１３は、複数の判定フレームのうちの任意の２フレームの判定フレームのシルエット画像の重なりを検出する。そして、例えば、２フレームの判定フレームの任意の１以上の組み合わせにおいて、シルエット画像に重なりがない場合、ストロボ画像生成部１３は、被写体の動きがあると判定する。
【０１０１】
一方、例えば、２フレームの判定フレームのすべての組み合わせにおいて、シルエット画像に重なりがある場合、ストロボ画像生成部１３は、被写体の動きがないと判定する。
【０１０２】
図９のＡは、複数の判定フレームのうちの任意の２フレームのすべての組み合わせにおいて、シルエット画像に重なりがない場合を示している。図９のＢは、複数の判定フレームのうちの任意の２フレームのすべての組み合わせにおいて、シルエット画像に重なりがある場合を示している。
【０１０３】
図９のＡに示すように、シルエット画像に重なりがない場合、被写体の動きがあると判定され、図９のＢに示すように、シルエット画像に重なりがある場合、被写体の動きがないと判定される。
【０１０４】
図１０は、ストロボ画像生成部１３での被写体の動きの判定の第３の判定方法を説明する図である。
【０１０５】
第３の判定方法は、撮影部１１が、アクティブセンサを有しない場合の被写体の動きを判定する方法の他の１つである。
【０１０６】
撮影部１１（のカメラ）において、視点画像が、透視投影で撮影されるとすると、視点画像において、奥側の被写体は小さいサイズで映り、手前側の被写体は大きいサイズで映る。したがって、例えば、被写体が手前側から奥側に移動している場合、その被写体のシルエット画像のサイズは、図１０に示すように、被写体が奥側に移動するほど小さくなる。
【０１０７】
第３の判定方法では、ストロボ画像生成部１３は、複数の判定フレームに映る被写体のシルエット画像のサイズを検出する。そして、例えば、２フレームの判定フレームの任意の１以上の組み合わせにおいて、シルエット画像のサイズの変化が閾値以上である場合、ストロボ画像生成部１３は、被写体の動きがあると判定する。
【０１０８】
一方、例えば、２フレームの判定フレームのすべての組み合わせにおいて、シルエット画像のサイズの変化が閾値以上でない場合、ストロボ画像生成部１３は、被写体の動きがないと判定する。
【０１０９】
なお、第１ないし第３の判定方法によれば、被写体の3Dモデルを生成する前に、被写体の動きを判定することができる。被写体の動きの判定は、その他、例えば、デプス画像を生成した後や、ポイントクラウドやポリゴン等の3Dモデルを生成した後に、そのデプス画像や、3Dモデルの３次元空間内の位置に関する位置情報を用いて行うことができる。
【０１１０】
また、被写体が人である場合には、視点画像から、顔検出等に用いられる人の顔の特徴点を検出し、ストロボ区間等の所定の区間のフレームに亘る特徴点の位置に応じて、被写体の動きを判定することができる。
【０１１１】
さらに、被写体の動きベクトルを検出し、その動きベクトルに応じて、被写体の動きを判定することができる。
【０１１２】
また、撮影部１１で撮影される複数の視点の視点画像のうちの一部の視点の視点画像、例えば、３０台のカメラで撮影された３０視点の視点画像のうちの、４台のカメラで撮影された４視点の視点画像を用い、視点画像に映る被写体について、いわば簡易的な3Dモデルを生成し、その3Dモデル（の位置）を用いて、被写体の動きを判定することができる。
【０１１３】
さらに、画像処理システムにおいて、視点画像に映る１又は複数の被写体を囲むバンディングボックスが設定される場合には、ストロボ区間等の所定の区間のフレームに亘るバンディングボックスの位置に応じて、被写体の動きを判定することができる。
【０１１４】
＜生成フレームの選択＞
【０１１５】
図１１は、ストロボ画像生成部１３での生成フレームの選択の例を説明する図である。
【０１１６】
図２で説明したように、ストロボ画像（から生成される自由視点画像）が、3Dモデルが重なって見にくい画像となることを抑制するため、ストロボ画像生成部１３は、ストロボ区間のフレームから、3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択し、その生成フレームの3Dモデルが映るストロボ画像を生成することができる。
【０１１７】
図１１のＡは、閾値として0%が設定された場合の、スケータがスケートリンク内を滑っている様子のストロボ画像を示している。図１１のＡでは、閾値が0%であるため、ストロボ画像において、各時刻（生成フレーム）の被写体の3Dモデルは、重なりを有しない。
【０１１８】
図１１のＢは、閾値として0%より大の小さい値（例えば、10%等）が設定された場合の、スケータがスケートリンク内を滑っている様子のストロボ画像を示している。図１１のＢでは、閾値が0%より大の値であるため、ストロボ画像において、各時刻の被写体の3Dモデルのうちの一部の3Dモデルは、隣の3Dモデルと多少の重なりを有している。
【０１１９】
ここで、図１の画像処理システムは、自由視点データを送信側から受信側に伝送し、受信側において、ストロボ画像を生成して表示する伝送システムに適用することができる。この場合、送信側から受信側に、ストロボ画像での3Dモデルどうしの重なりである干渉を表す干渉フラグを送信することができる。そして、受信側では、干渉フラグに応じて、干渉（重なり）を有する3Dモデルが映るストロボ画像、又は、干渉を有しない3Dモデルが映るストロボ画像を生成することができる。干渉フラグとしては、例えば、干渉の有無を表す１ビットのフラグや、干渉度の閾値を採用することができる。
【０１２０】
なお、画像処理システムでは、被写体の動きがない（と判定された）場合でも、ユーザの操作に応じて、ストロボ画像を生成することができる。被写体の動きがない場合、ストロボ区間のフレームに映る被写体の3Dモデルの干渉度は、どのフレームであっても大きくなって閾値以下にならないことがある。そこで、被写体の動きがない場合に、ストロボ画像を生成するときには、ストロボ区間のフレームから、所定のフレーム数ごとの（複数の）フレームを、生成フレームとして選択することができる。
【０１２１】
但し、この場合、複数の生成フレームに映る被写体の3Dモデルをそのまま配置したストロボ画像は、3Dモデルが大きく重なって見にくい画像となる。
【０１２２】
そこで、被写体の動きがない場合に、ストロボ画像を生成するときには、ストロボ画像生成部１３において、複数の生成フレームに映る被写体（複数の時刻の被写体）の3Dモデルを、本来の位置（被写体の３次元空間内の位置）に配置するのではなく、干渉度が閾値以下となるように、本来の位置からずらして配置することができる。
【０１２３】
図１２は、複数の生成フレームに映る被写体の3Dモデルを、本来の位置からずらして配置することにより生成されたストロボ画像の例を示す図である。
【０１２４】
図１２では、被写体としてのスケータが、スケートリンクの中央でスピンを行っている様子を示しており、被写体としてのスケータは、ほとんど移動していない。
【０１２５】
この場合、ストロボ画像生成部１３は、3Dモデルの干渉度が閾値以下となるように、複数の生成フレームに映る被写体の3Dモデル（複数の時刻の3Dモデル）を、本来の位置からずらして配置し、ストロボ画像を生成することができる。
【０１２６】
図１２では、複数の生成フレームに映る被写体の3Dモデルが（生成フレームの）時刻順に円形状に配置されたストロボ画像や、直線状に配置されたストロボ画像が生成されている。
【０１２７】
以上のように、ストロボ画像の生成において、3Dモデルの干渉度が閾値以下となるように、複数の生成フレームに映る被写体の3Dモデルを、本来の位置からずらして配置することにより、3Dモデルどうしが大きく重なり合って、ストロボ画像が見にくい画像になることを抑制することができる。
【０１２８】
＜エフェクト処理の対象となる3Dモデル＞
【０１２９】
図１３は、ストロボ画像において、エフェクト処理部１４でのエフェクト処理の対象となる3Dモデルを説明する図である。
【０１３０】
エフェクト処理部１４は、ストロボ画像において、ストロボ区間のフレームから選択された複数の時刻としての複数の生成フレームの3Dモデルのうちの、最新の仮想視点が設定された時刻の基準3Dモデルより過去及び未来のうちの一方又は両方の3Dモデルにエフェクト処理を行うことができる。
【０１３１】
エフェクト処理を行う対象の3Dモデルである対象モデルは、基準3Dモデルに対する時間方向（過去方向及び未来方向）を表すエフェクト方向と、基準3Dモデルからの離れ具合を表すエフェクト距離とで特定される。
【０１３２】
エフェクト方向としては、過去方向past、未来方向future、又は、過去方向past及び未来方向futureの両方を設定することができる。
【０１３３】
エフェクト方向として、過去方向pastが設定された場合、基準3Dモデルから、過去方向の3Dモデルに、エフェクト処理が行われる。エフェクト方向として、未来方向futureが設定された場合、基準3Dモデルから、未来方向の3Dモデルに、エフェクト処理が行われる。エフェクト方向として、過去方向past及び未来方向futureが設定された場合、基準3Dモデルから、過去方向の3Dモデルと未来方向の3Dモデルとに、エフェクト処理が行われる。
【０１３４】
エフェクト距離は、基準3Dモデルからの3Dモデルのモデル数number、距離distance、又は、時間timeで指定することができる。
【０１３５】
モデル数numberによれば、ストロボ画像に映る3Dモデル、すなわち、ストロボ画像の生成に用いられる生成フレームに映る3Dモデルのうちの、基準3Dモデルから、モデル数number以上離れた3Dモデルを、対象モデルとして指定することができる。
【０１３６】
距離distanceによれば、ストロボ画像に映る3Dモデルのうちの、基準3Dモデルから、距離distance以上離れた3Dモデルを、対象モデルとして指定することができる。
【０１３７】
時間timeによれば、ストロボ画像に映る3Dモデルのうちの、基準3Dモデルから、時間time以上離れた3Dモデルを、対象モデルとして指定することができる。
【０１３８】
エフェクト処理部１４は、ストロボ画像において、基準3Dモデルから、モデル数number、距離distance、又は、時間time以上だけ、過去方向、未来方向、又は、過去と未来との両方向に離れた3Dモデルを対象モデルとして、エフェクト処理を行う。
【０１３９】
以下では、説明を簡単にするため、特に断らない限り、エフェクト処理は、基準3Dモデルから過去方向の3Dモデルに行うこととする。
【０１４０】
ここで、ストロボ区間が長く、多数のフレームが生成フレームとして選択される場合、ストロボ画像は、多数の3Dモデルを用いて生成される。
【０１４１】
多数の3Dモデルを用いて生成されるストロボ画像は、見にくい画像になることがある。
【０１４２】
例えば、多数の3Dモデルを用いて生成されるストロボ画像では、そのストロボ画像に映る所定の被写体の3Dモデルのうちの、基準3Dモデルから一定時間以上前の時刻の3Dモデルが、時間的に後行する（未来の）3Dモデルや、他の被写体の3Dモデルの（視聴の）妨げになることがある。
【０１４３】
また、多数の3Dモデルを用いて生成されるストロボ画像では、被写体が同じような軌跡を描くように移動する場合、例えば、被写体が、鉄棒で、いわゆる大車輪（後方車輪又は前方車輪）を行っている場合、時間的に先行する（過去の）3Dモデルと、時間的に後行する3Dモデルとが、同じような軌跡を描くため、時間経過が分かりにくくなることがある。
【０１４４】
さらに、多数の3Dモデルを用いて生成されるストロボ画像では、3Dモデルのデータ量が大になり、ストロボ画像（から生成される自由視点画像）を表示するのに要する処理量が大になる。
【０１４５】
エフェクト処理部１４は、ストロボ画像に映る3Dモデルにエフェクト処理を行うことで、見やすいストロボ画像を提供し、また、ストロボ画像のデータ量や、ストロボ画像の表示に要する処理量を削減する。
【０１４６】
＜エフェクト処理の具体例＞
【０１４７】
図１４は、エフェクト処理の具体例を説明する図である。
【０１４８】
図１４では、エフェクト処理として、エフェクトモード0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10で表されるエフェクト処理がある。エフェクトモード1ないし10については、図１３で説明したエフェクト方向及びエフェクト距離を設定することができる。
【０１４９】
なお、エフェクト方向が設定されていない場合、エフェクト方向としては、デフォルトで、例えば、過去方向pastが設定されることとして、エフェクト処理が行われる。
【０１５０】
エフェクト距離は、図１３で説明したように、基準3Dモデルからの3Dモデルのモデル数number、距離distance、又は、時間timeで指定される。例えば、エフェクト方向が過去方向pastに設定され、エフェクト距離が、モデル数number=1に設定されている場合、基準3Dモデルから、モデル数number=1以上だけ、過去方向に離れた3Dモデルを対象モデルとして、エフェクトモードが表すエフェクト処理が行われる。
【０１５１】
エフェクトモード0は、エフェクト処理を行わないこと表す。
【０１５２】
エフェクトモード1は、3Dモデルを透明にするエフェクト処理を表す。エフェクトモード1のエフェクト処理では、対象モデルを、すべて同一の透明度の透明にすることもできるし、徐々に透明にすること、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデル（対象モデル）ほど、透明度の高い透明にすることもできる。3Dモデルを、どのように透明にするかは、例えば、エフェクトモード1に付随するパラメータを定義し、そのパラメータによって指定することができる。なお、透明度を100％とする場合には、対象モデルは完全に透明になり、この場合、エフェクトモード1のエフェクト処理の結果は、実質的に、後述するエフェクトモード4と同様になる。
【０１５３】
エフェクトモード2は、3Dモデルを、徐々に消滅させるエフェクト処理を表す。
【０１５４】
エフェクトモード3は、3Dモデルのテクスチャ数（テクスチャとして使用する2D画像の数）を減らすエフェクト処理を表す。エフェクトモード3のエフェクト処理では、対象モデルのテクスチャ数を、すべて同一の数に減らすこともできるし、徐々に減らすこと、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデルほど、テクスチャ数を減らすこともできる。3Dモデルのテクスチャ数をどのように減らすかは、例えば、エフェクトモード3に付随するパラメータを定義し、そのパラメータによって指定することができる。
【０１５５】
なお、エフェクトモード3のエフェクト処理については、テクスチャマッピングが行われる3Dモデル、すなわち、VDモデルが対象となり、テクスチャマッピングが行われないVIモデルは対象とならない。
【０１５６】
エフェクトモード4は、3Dモデルを消去するエフェクト処理を表す。
【０１５７】
エフェクトモード5は、3Dモデルの輝度及び彩度の少なくとも一方を小さくするエフェクト処理を表す。エフェクトモード5のエフェクト処理では、対象モデルの輝度及び彩度を、すべて同一の割合だけ小さくすることもできるし、徐々に小さくすること、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデルほど、輝度及び彩度を小さくする割合をより大きくすることもできる。3Dモデルの輝度及び彩度をどのように小さくするかや、輝度及び彩度のいずれを小さくするかは、例えば、エフェクトモード5に付随するパラメータを定義し、そのパラメータによって指定することができる。
【０１５８】
エフェクトモード6は、ストロボ画像に映る3Dモデルの数を制限するエフェクト処理を表す。エフェクトモード6のエフェクト処理では、ストロボ画像に映る3Dモデルが、生成フレームの3Dモデルのうちの、対象モデル以外の3Dモデルだけに制限される。
【０１５９】
エフェクトモード7は、3Dモデルをローポリゴンにするエフェクト処理、すなわち、3Dモデルのメッシュ数（ポリゴン数）を減らすエフェクト処理を表す。エフェクトモード7のエフェクト処理では、対象モデルのメッシュ数を、すべて同一の数に減らすこともできるし、徐々に減らすこと、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデルほど、メッシュ数を減らすこともできる。3Dモデルのメッシュ数をどのように減らすかは、例えば、エフェクトモード7に付随するパラメータを定義し、そのパラメータによって指定することができる。
【０１６０】
なお、エフェクトモード7のエフェクト処理については、ポリゴンで構成される3Dモデルが対象となり、ポリゴンで構成されない3Dモデル、すなわち、例えば、ワイヤーフレームは対象とならない。
【０１６１】
エフェクトモード8及び9は、3Dモデルの表現形式を変更するエフェクト処理を表す。
【０１６２】
すなわち、エフェクトモード8は、ポリゴンで構成される3Dモデルを、ワイヤフレームに変更するエフェクト処理を表す。
【０１６３】
エフェクトモード9は、3Dモデルの表現形式をView DependentからView Independentに変更するエフェクト処理、すなわち、VDモデルをVIモデル（例えば、ポイントクラウド）に変更するエフェクト処理を表す。
【０１６４】
エフェクトモード10は、3Dモデルを消去し、3Dモデルがあった形跡を残すエフェクト処理を表す。
【０１６５】
エフェクトモード1ないし10については、エフェクト方向及びエフェクト距離を設定することができるが、必要に応じて、デフォルトのエフェクト方向及びエフェクト距離を定義しておくことができる。
【０１６６】
例えば、エフェクトモード1ないし10のデフォルトのエフェクト方向としては、過去方向pastを定義しておくことができる。
【０１６７】
また、例えば、エフェクトモード1のデフォルトのエフェクト距離としては、モデル数number=1を定義しておくことができる。
【０１６８】
この場合、エフェクトモード1のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に１モデル以上離れた3Dモデル、すなわち、基準3Dモデルの過去方向の次の3Dモデル以前の3Dモデルを対象モデルとして、エフェクトモード1のエフェクト処理が行われる。
【０１６９】
さらに、例えば、エフェクトモード4のデフォルトのエフェクト距離としては、距離distance=5[m]を定義しておくことができる。
【０１７０】
この場合、エフェクトモード4のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に5m以上離れた3Dモデルを対象モデルとして、エフェクトモード4のエフェクト処理が行われる。
【０１７１】
また、例えば、エフェクトモード5のデフォルトのエフェクト距離としては、時間time=10[sec]を定義しておくことができる。
【０１７２】
この場合、エフェクトモード5のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に10秒以上離れた3Dモデルを対象モデルとして、エフェクトモード5のエフェクト処理が行われる。
【０１７３】
さらに、例えば、エフェクトモード7のデフォルトのエフェクト距離としては、モデル数number=3を定義しておくことができる。
【０１７４】
この場合、エフェクトモード7のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に３モデル以上離れた3Dモデル、すなわち、基準3Dモデルの過去方向の３番目の3Dモデル以前の3Dモデルを対象モデルとして、エフェクトモード7のエフェクト処理が行われる。
【０１７５】
なお、エフェクト処理部１４が行うエフェクト処理については、複数のエフェクトモードを設定することができる。例えば、エフェクト処理について、エフェクトモード1及び3が設定された場合、3Dモデルを透明にし、かつ、テクスチャ数を減らすエフェクト処理が行われる。
【０１７６】
ここで、図１の画像処理システムは、自由視点データを送信側から受信側に伝送し、受信側において、ストロボ画像を生成して表示する伝送システムに適用することができる。この場合、送信側から受信側に、エフェクトモードと、必要なエフェクト方向及びエフェクト距離とを、エフェクト処理に関するエフェクトフラグ（エフェクト情報）として送信することができる。そして、受信側では、エフェクトフラグとしてのエフェクトモード、エフェクト方向、及び、エフェクト距離に従って、エフェクト処理を行うことができる。
【０１７７】
図１５は、エフェクトモード1のエフェクト処理の例を示す図である。
【０１７８】
図１５は、直線状に移動する被写体の3Dモデルが映るストロボ画像の例を示している。図１５では、ストロボ画像には、５フレームの生成フレームの3Dモデルが映り、最新の時刻の3Dモデル（時刻が最も後の生成フレームの3Dモデル）が基準3Dモデルになっている。そして、ストロボ画像に映る3Dモデルに、エフェクトモード1のエフェクト処理が行われ、基準3Dモデルより過去の3Dモデルが、徐々に透明になっている。
【０１７９】
したがって、エフェクトモード1のエフェクト処理が行われたストロボ画像によれば、ユーザは、時間経過を直感的に認識することができる。さらに、ストロボ画像のデータ量を削減することができる。また、時間的に先行する（過去の）3Dモデルが、時間的に後行する（未来の）3Dモデルの妨げ（邪魔）になることを抑制し、見やすいストロボ画像を提供することができる。
【０１８０】
図１６は、２つの被写体の3Dモデルが映るストロボ画像の例を示す図である。
【０１８１】
図１６では、２つの被写体A及びBの複数の時刻（生成フレーム）の3Dモデルが、ストロボ画像に映っている。そして、被写体Aの3Dモデルについては、図１５の場合と同様に、エフェクトモード1のエフェクト処理が行われ、基準3Dモデルより過去の3Dモデルが、徐々に透明になっている。
【０１８２】
図１６において、被写体Bは、被写体Aの移動の軌跡に交差するように移動している。そのため、被写体Bの3Dモデルは、被写体Aの基準3Dモデルより過去の3Dモデルと重なることがある。
【０１８３】
しかしながら、被写体Aの基準3Dモデルより過去の3Dモデルは、徐々に透明になっているため、被写体Bの3Dモデルが、被写体Aの基準3Dモデルより過去の3Dモデルと重なっても、その過去の3Dモデルが、被写体Bの3Dモデルの妨げになることを抑制することができる。
【０１８４】
なお、図１６では、被写体Aの3Dモデルのみに、エフェクト処理が行われ、被写体Bの3Dモデルには、エフェクト処理が行われていないが、エフェクト処理は、被写体Aの3Dモデル及び被写体Bの3Dモデルの両方に行うことが可能である。
【０１８５】
図１７は、エフェクトモード1のエフェクト処理の他の例を示す図である。
【０１８６】
図１７は、円形状に移動する被写体の3Dモデルが映るストロボ画像の例を示している。図１７では、ストロボ画像に映る3Dモデルに、エフェクトモード1のエフェクト処理が行われ、基準3Dモデルより過去の3Dモデルが、徐々に透明になっている。
【０１８７】
ここで、被写体が、円形状に、同じような軌跡を周回する場合、その被写体の3Dモデルが映るストロボ画像においては、例えば、１周目の3Dモデルと、２周目の3Dモデルとが映ることがある。エフェクト処理を行わない場合、ストロボ画像に映る１周目の3Dモデルと、２周目の3Dモデルとは、区別することが困難であり、ストロボ画像は、見にくい画像となる。
【０１８８】
エフェクトモード1のエフェクト処理を行う場合には、例えば、最新の時刻の3Dモデルが基準3Dモデルであれば、ストロボ画像に映る3Dモデルは、基準3Dモデルから離れるほど透明になる。したがって、ユーザが１周目の3Dモデルと２周目の3Dモデルとを、容易に区別することができるような、見やすいストロボ画像を提供することができる。
【０１８９】
また、エフェクトモード1のエフェクト処理によれば、同じような軌跡を周回する被写体の3Dモデルが映るストロボ画像において、最新の周回の3Dモデルが、過去の周回の3Dモデルに入り込む（ジャックインする）ように、被写体（の3Dモデル）が表現される。したがって、ユーザが、最新の周回時の被写体と過去の周回時の被写体とを、容易に比較することができるFVV(Free View video)を提供することができる。
【０１９０】
なお、被写体が、同じような軌跡を周回する場合としては、例えば、被写体としての陸上選手がトラックを周回する場合や、被写体としての自動車やバイクがサーキットを周回する場合、被写体としての体操選手が鉄棒を中心に回転する場合等がある。
【０１９１】
ここで、仮想視点は、任意の位置に設定することができるので、被写体を俯瞰するような位置の他、被写体の位置に設定することができる。仮想視点を、被写体を俯瞰するような位置に設定した場合、ユーザは、いわば第三者の立場で、被写体（の3Dモデル）を視聴することができる。仮想視点を、被写体の位置（一人称視点）に設定した場合、ユーザは、被写体の立場で、エフェクト処理により透明になった過去の被写体（の3Dモデル）を、その被写体を追いかけるような形で視聴することができる。
【０１９２】
図１８は、エフェクトモード2のエフェクト処理の例を示す図である。
【０１９３】
図１８は、直線状に移動する被写体の3Dモデルが映るストロボ画像の例を示している。図１８では、ストロボ画像には、５フレームの生成フレームの3Dモデルが映り、最新の時刻の3Dモデルが基準3Dモデルになっている。そして、ストロボ画像に映る3Dモデルに、エフェクトモード2のエフェクト処理が行われ、基準3Dモデルより過去の3Dモデルが、徐々に（ふわっと）消滅している。
【０１９４】
したがって、エフェクトモード2のエフェクト処理が行われたストロボ画像によれば、ユーザは、時間経過を直感的に認識することができる。さらに、ストロボ画像のデータ量を削減することができる。また、時間的に先行する3Dモデルが、時間的に後行する3Dモデルの妨げになることを抑制し、見やすいストロボ画像を提供することができる。
【０１９５】
なお、3Dモデルがポリゴンで構成される場合、3Dモデルを徐々に消滅させるエフェクトモード2のエフェクト処理は、例えば、基準3Dモデルから離れた3Dモデルほど、ポリゴン数を少なくすることにより行うことができる。また、3Dモデルを徐々に消滅させるエフェクトモード2のエフェクト処理は、例えば、基準3Dモデルから離れた3Dモデルほど、ポリゴン数を少なくし、元のポリゴン数から所定の割合のポリゴン数になった3Dモデルについては、ポイントクラウドに変更し、基準3Dモデルから離れた3Dモデルほど、ポイント数（ポイントクラウドのポイントの数）を少なくすることにより行うことができる。さらに、3Dモデルを徐々に消滅させるエフェクトモード2のエフェクト処理は、例えば、3Dモデルを、ポイントクラウドに変更し、基準3Dモデルから離れた3Dモデルほど、ポイント数を少なくすることにより行うことができる。
【０１９６】
3Dモデルがポイントクラウドで構成される場合、3Dモデルを徐々に消滅させるエフェクトモード2のエフェクト処理は、基準3Dモデルから離れた3Dモデルほど、ポイント数を少なくすることにより行うことができる。
【０１９７】
以上のようなエフェクトモード2のエフェクト処理によれば、基準3Dモデルから離れた3Dモデルは、霧のように、疎らな粒子（パーティクル）の集まりとして表現される。
【０１９８】
図１９は、エフェクトモード3のエフェクト処理の例を示す図である。
【０１９９】
図１９は、直線状に移動する被写体の3Dモデルが映るストロボ画像の例を示している。図１９では、ストロボ画像には、５フレームの生成フレームの3Dモデルが映り、最新の時刻の3Dモデルが基準3Dモデルになっている。そして、ストロボ画像に映る3Dモデルに、エフェクトモード3のエフェクト処理が行われ、基準3Dモデルより過去の3Dモデルのテクスチャ数が徐々に減っている。
【０２００】
したがって、エフェクトモード3のエフェクト処理が行われたストロボ画像によれば、3Dモデルのテクスチャの質は低下するが、ストロボ画像のデータ量、及び、ストロボ画像を表示するのに要する処理量を削減することができる。
【０２０１】
なお、エフェクトモード3のエフェクト処理において、基準3Dモデルから離れた3Dモデルほど、テクスチャ数を減らす場合、テクスチャ数を減らす割合としては、例えば、100%を、ストロボ画像に映る3Dモデルの数で除算した値を採用することができる。この場合、５フレームの生成フレームの3Dモデルが映るストロボ画像については、テクスチャ数を減らす割合は、20%=100/5になる。したがって、ストロボ画像に映る基準3Dモデルが、例えば、１０視点の視点画像でテクスチャマッピングされる場合、基準3Dモデルの過去方向の１番目の3Dモデルは、基準3Dモデルのテクスチャマッピングについての１０視点から20%だけ減った８視点の視点画像でテクスチャマッピングされる。基準3Dモデルの過去方向の２番目の3Dモデルは、過去方向の１番目の3Dモデルのテクスチャマッピングについての８視点から20%だけ減った６視点の視点画像でテクスチャマッピングされる。以下、同様に、基準3Dモデルの過去方向の３番目の3Dモデルは、過去方向の２番目の3Dモデルのテクスチャマッピングについての６視点から20%だけ減った４視点の視点画像でテクスチャマッピングされ、基準3Dモデルの過去方向の４番目の3Dモデルは、過去方向の３番目の3Dモデルのテクスチャマッピングについての４視点から20%だけ減った２視点の視点画像でテクスチャマッピングされる。
【０２０２】
図２０は、エフェクトモード4のエフェクト処理の例を示す図である。
【０２０３】
図２０は、直線状に移動する被写体の3Dモデルが映るストロボ画像の例を示している。図２０では、ストロボ画像には、５フレームの生成フレームの3Dモデルが映り、最新の時刻の3Dモデルが基準3Dモデルになっている。そして、ストロボ画像に映る3Dモデルに、エフェクトモード4のエフェクト処理が行われ、基準3Dモデルより過去の3Dモデルのうちの、例えば、基準3Dモデルから４番目の3Dモデルを対象モデルとして、対象モデルが表示されてから一定時間経過後に消去されている。
【０２０４】
したがって、エフェクトモード4のエフェクト処理が行われたストロボ画像によれば、ストロボ画像のデータ量、及び、ストロボ画像を表示するのに要する処理量を削減することができる。
【０２０５】
なお、エフェクトモード4のエフェクト処理において、対象モデルを表示してから消去するまでの一定時間は、例えば、エフェクトモード4に付随するパラメータを定義し、そのパラメータによって指定することができる。
【０２０６】
また、エフェクトモード4のエフェクト処理では、対象モデルを、一定時間経過後に消去する他、ストロボ画像に映る3Dモデルが一定数になった場合に、対象モデルを消去することができる。対象モデルを消去するときの3Dモデルの一定数は、例えば、上述の一定時間と同様に、エフェクトモード4に付随するパラメータによって指定することができる。
【０２０７】
図２１は、エフェクトモード5のエフェクト処理の例を示す図である。
【０２０８】
図２１は、直線状に移動する被写体の3Dモデルが映るストロボ画像の例を示している。図２１では、ストロボ画像には、５フレームの生成フレームの3Dモデルが映り、最新の時刻の3Dモデルが基準3Dモデルになっている。そして、ストロボ画像に映る3Dモデルに、エフェクトモード5のエフェクト処理が行われ、基準3Dモデルより過去の3Dモデルの輝度や彩度が徐々に小さくなっている。
【０２０９】
したがって、エフェクトモード5のエフェクト処理が行われたストロボ画像によれば、ストロボ画像のデータ量、及び、ストロボ画像を表示するのに要する処理量を削減することができる。
【０２１０】
なお、エフェクトモード5のエフェクト処理において、基準3Dモデルから離れた3Dモデルほど、輝度や彩度を小さくする場合、輝度や彩度を小さくする割合としては、例えば、エフェクトモード3の場合と同様の割合を採用することができる。すなわち、輝度や彩度を小さくする割合としては、100%を、ストロボ画像に映る3Dモデルの数で除算した値を採用することができる。この場合、５フレームの生成フレームの3Dモデルが映るストロボ画像については、輝度や彩度を小さくする割合は、20%=100/5になり、基準3Dモデルより過去の3Dモデルの輝度や彩度は、基準3Dモデルから１モデル離れるごとに、20%ずつ小さくされる。
【０２１１】
また、3Dモデルの輝度や彩度は、基準3Dモデルから１モデル離れるごとに小さくする他、基準3Dモデルから一定時間だけ離れるごとに小さくすることができる。
【０２１２】
図２２は、エフェクトモード6のエフェクト処理の例を示す図である。
【０２１３】
図２２は、直線状に移動する被写体の3Dモデルが映るストロボ画像の例を示している。図２２では、ストロボ画像には、５フレームの生成フレームの3Dモデルが映り、最新の時刻の3Dモデルの１モデル前の3Dモデルが基準3Dモデルになっている。そして、ストロボ画像に映る3Dモデルに、エフェクトモード6のエフェクト処理が行われ、ストロボ画像に映る3Dモデルが、基準3Dモデルを含む３モデル、すなわち、基準3Dモデルと、基準3Dモデルの過去方向に隣接する２個の3Dモデルとに制限されている。
【０２１４】
したがって、エフェクトモード6のエフェクト処理が行われたストロボ画像によれば、ストロボ画像のデータ量を削減することができる。また、例えば、時間的に先行する3Dモデルが、時間的に後行する3Dモデルの妨げになることを抑制し、見やすいストロボ画像を提供することができる。
【０２１５】
図２３は、エフェクトモード7ないし9のエフェクト処理の例を示す図である。
【０２１６】
図２３は、直線状に移動する被写体の3Dモデルが映るストロボ画像の例を示している。図２３では、ストロボ画像には、５フレームの生成フレームの3Dモデルが映り、最新の時刻の3Dモデルが基準3Dモデルになっている。そして、ストロボ画像に映る3Dモデルに、エフェクトモード7ないし9のいずれかのエフェクト処理が行われている。
【０２１７】
すなわち、図２３のＡは、ストロボ画像に映る3Dモデルに、エフェクトモード7のエフェクト処理が行われ、ポリゴンで構成される3Dモデルのメッシュ数（ポリゴン数）が減っている様子を示している。
【０２１８】
図２３のＢは、ストロボ画像に映る3Dモデルに、エフェクトモード8のエフェクト処理が行われ、ポリゴンで構成される3Dモデルがワイヤーフレームに変更されている様子を示している。
【０２１９】
なお、エフェクトモード9のエフェクト処理では、ストロボ画像に映るVDモデルである3Dモデルが、ポイントクラウド等のVIモデルに変更されるが、その図示は省略する。
【０２２０】
エフェクトモード7ないし9のエフェクト処理が行われたストロボ画像によれば、ストロボ画像のデータ量を削減することができる。また、例えば、時間的に先行する3Dモデルが、時間的に後行する3Dモデルの妨げになることを抑制し、見やすいストロボ画像を提供することができる。
【０２２１】
なお、データ量をより削減することが要求される場合には、例えば、エフェクトモード9のエフェクト処理では、3Dモデルを、ポイントクラウドに変更した後、形状の質は低下するが、ポイントクラウドのポイント数を削減することや、ポイントが有する色の情報を削除することができる。ポイントクラウド以外のVIモデルについても、同様である。
【０２２２】
図２４は、エフェクトモード10のエフェクト処理の例を示す図である。
【０２２３】
図２４は、直線状に移動する被写体の3Dモデルが映るストロボ画像の例を示している。図２４では、ストロボ画像には、５フレームの生成フレームの3Dモデルが映り、最新の時刻の3Dモデルが基準3Dモデルになっている。そして、ストロボ画像に映る3Dモデルに、エフェクトモード10のエフェクト処理が行われ、基準3Dモデルより過去の3Dモデルのうちの、基準3Dモデルから３番目と４番目との3Dモデルが消去され、3Dモデルがあった形跡としての影が残されている。
【０２２４】
したがって、エフェクトモード10のエフェクト処理が行われたストロボ画像によれば、ユーザは、時間経過を直感的に認識することができる。さらに、ストロボ画像のデータ量を削減することができる。また、時間的に先行する（過去の）3Dモデルが、時間的に後行する（未来の）3Dモデルの妨げ（邪魔）になることを抑制し、見やすいストロボ画像を提供することができる。
【０２２５】
なお、3Dモデルの形跡としては、影の他、例えば、3Dモデルがあった位置を表す点や、3Dモデルの動きの軌跡を表す線等を採用することができる。
【０２２６】
また、エフェクトモード10のエフェクト処理において、3Dモデルの形跡は、３次元空間における3Dモデルの位置を記憶しておき、その位置に応じて、影等を描画することにより残すことができる。
【０２２７】
＜伝送システム＞
【０２２８】
図２５は、図１の画像処理システムを適用した伝送システムの構成例を示すブロック図である。
【０２２９】
図２５において、伝送システムは、送信装置１０１と受信装置１０２とを有する。伝送システムでは、自由視点データが、送信装置１０１から受信装置１０２に送信（伝送）される。そして、受信装置１０２において、送信装置１０１からの自由視点データを用いて、ストロボ画像が生成されて表示される。
【０２３０】
送信装置１０１は、撮影部１１１、自由視点データ生成部１１２、画像処理部１１３、符号化部１１４、及び、送信部１１５を有する。
【０２３１】
撮影部１１１は、図１の撮影部１１と同様に構成され、複数の視点から被写体を撮影し、複数の視点の視点画像を、自由視点データ生成部１１２に供給する。
【０２３２】
自由視点データ生成部１１２は、図１の自由視点データ生成部１２と同様に、例えば、撮影部１１１からの複数の視点の視点画像を用いて、自由視点データを生成し、画像処理部１１３に供給する。
【０２３３】
画像処理部１１３は、ストロボ画像生成部１２１及びエフェクト処理部１２２を有し、自由視点データ生成部１１２からの自由視点データを用い、必要に応じて、撮影部１１１で撮影された視点画像の複数の時刻（フレーム）に映る被写体の3Dモデルが映るストロボ画像(3Dストロボ画像）を生成し、そのストロボ画像にエフェクト処理を行う。
【０２３４】
ストロボ画像生成部１２１は、図１のストロボ画像生成部１３と同様に、自由視点データ生成部１２からの自由視点データを用い、複数の時刻の3Dモデルが映るストロボ画像を生成し、そのストロボ画像の自由視点データを、エフェクト処理部１２２に供給する。
【０２３５】
エフェクト処理部１２２は、図１のエフェクト処理部１４と同様に、ストロボ画像生成部１２１から自由視点データが供給されるストロボ画像に映る3Dモデルにエフェクト処理を行い、そのエフェクト処理後のストロボ画像の自由視点データを、符号化部１１４に供給する。
【０２３６】
なお、画像処理部１１３では、例えば、ユーザの操作等に応じて、エフェクト処理部１２２でのエフェクト処理を行わずに、ストロボ画像生成部１２１からの自由視点データを、符号化部１１４に供給することができる。さらに、画像処理部１１３では、例えば、ユーザの操作等に応じて、ストロボ画像生成部１２１でのストロボ画像の生成、及び、エフェクト処理部１２２でのエフェクト処理を行わずに、自由視点データ生成部１１２からの自由視点データを、符号化部１１４に供給することができる。また、画像処理部１１３では、ストロボ画像の生成と、エフェクト処理とを並列的に行うこと、すなわち、自由視点データから、3Dモデルにエフェクト処理を行ったエフェクト処理後の(3D)ストロボ画像を生成することができる。
【０２３７】
符号化部１１４は、画像処理部１１３（のエフェクト処理部１２２）から供給される自由視点データを所定の符号化方式で符号化し、符号化により得られる符号化データを、送信部１１５に供給する。
【０２３８】
送信部１１５は、有線通信又は無線通信により、符号化部１１４からの符号化データを送信する。
【０２３９】
受信装置１０２は、受信部１３１、復号部１３２、自由視点画像生成部１３３、及び、表示部１３４を有する。
【０２４０】
受信部１３１は、送信装置１０１（の送信部１１５）から送信されてくる符号化データを受信し、復号部１３２に供給する。
【０２４１】
復号部１３２は、受信部１３１からの符号化データを、符号化部１１４の符号化方式に従って、自由視点データに復号し、自由視点画像生成部１３３に供給する。
【０２４２】
自由視点画像生成部１３３は、図１の自由視点画像生成部１５と同様に、復号部１３２からの自由視点データを用いて、例えば、3Dモデルにエフェクト処理が行われたストロボ画像に映る３次元空間を受信装置１０２のユーザの操作等に応じて設定された仮想視点から見た2D画像等の、撮影部１１１で撮影された３次元空間を仮想視点から見た2D画像を、自由視点画像として生成し、表示部１３４に供給する。
【０２４３】
表示部１３４は、図１の表示部１６と同様に、2Dのヘッドマウントディスプレイや、2Dのモニタ、3Dのヘッドマウントディスプレイ、3Dのモニタ等で構成され、自由視点画像生成部１３３からの自由視点画像を表示する。
【０２４４】
図２６は、図２５の送信装置１０１の処理の例を説明するフローチャートである。
【０２４５】
ステップＳ１１１において、送信装置１０１の撮影部１１１は、複数の視点から被写体を撮影し、その撮影により得られる複数の視点の視点画像を、自由視点データ生成部１１２に供給して、処理は、ステップＳ１１２に進む。
【０２４６】
ステップＳ１１２では、自由視点データ生成部１１２は、例えば、撮影部１１１からの複数の視点の視点画像を用いて、自由視点データを生成する。
【０２４７】
例えば、自由視点データ生成部１１２は、撮影部１１１からの複数の視点の視点画像を用いて、Visual Hull等により、視点画像に映る被写体の3Dモデルを生成することにより、その3Dモデル（や背景画像等を含む3Dデータ）を、自由視点データとして生成することができる。3Dモデルは、例えば、3D形状モデルと、テクスチャとなる複数の視点の視点画像とを有するVDモデルであっても良いし、例えば、色付きのポイントクラウドや、3D形状モデルと、3D形状モデルの色の情報としてのUVマップとのセット等のVIモデルであっても良い。
【０２４８】
また、例えば、自由視点データ生成部１１２は、複数の視点の視点画像を用いて生成した、視点画像に映る被写体の3Dモデルを、複数の視点（視点画像の視点と一致する視点でも良いし、異なる視点でも良い）から見た2D画像及びデプス画像に変換することにより、その複数の視点の2D画像及びデプス画像を、自由視点データとして生成することができる。なお、3Dモデルを、複数の視点の2D画像及びデプス画像に変換する処理は、自由視点データ生成部１１２で行う他、例えば、符号化部１１４で、自由視点データを符号化する前に行うことができる。
【０２４９】
自由視点データ生成部１１２は、自由視点データを、画像処理部１１３のストロボ画像生成部１２１に供給し、処理は、ステップＳ１１２からステップＳ１１３に進む。
【０２５０】
ステップＳ１１３では、ストロボ画像生成部１２１は、ストロボ画像を生成するかどうかを判定する。
【０２５１】
ここで、ステップＳ１１３での、ストロボ画像を生成するかどうかの判定は、例えば、図２のステップＳ１４と同様に、被写体の動きに応じて行うことができる。また、ステップＳ１１３での、ストロボ画像を生成するかどうかの判定は、例えば、送信装置１０１のユーザの操作に応じて行うことができる。
【０２５２】
ステップＳ１１３において、ストロボ画像を生成しないと判定された場合、ストロボ画像生成部１２１及びエフェクト処理部１２２は、処理を行わずに、自由視点データを、符号化部１１４に供給する。そして、処理は、ステップＳ１１３から、ステップＳ１１４ないしＳ１１７をスキップして、ステップＳ１１８に進む。
【０２５３】
また、ステップＳ１１３において、ストロボ画像を生成すると判定された場合、処理は、ステップＳ１１４に進む。
【０２５４】
ステップＳ１１４では、ストロボ画像生成部１２１は、自由視点データ生成部１１２からの自由視点データを用いて、ストロボ画像を生成する。
【０２５５】
すなわち、ストロボ画像生成部１２１は、自由視点データ生成部１１２からの自由視点データのフレームの中から、複数の生成フレームを選択する。さらに、ストロボ画像生成部１２１は、複数の生成フレームに映る被写体の3Dモデル（複数の時刻の3Dモデル）が映るストロボ画像を生成する。
【０２５６】
ストロボ画像生成部１２１は、ストロボ画像の自由視点データを、エフェクト処理部１２２に供給し、処理は、ステップＳ１１４からステップＳ１１５に進む。
【０２５７】
ステップＳ１１５では、エフェクト処理部１２２は、ストロボ画像生成部１２１から自由視点データが供給されるストロボ画像の3Dモデルに、エフェクト処理を行うかどうかを判定する。ステップＳ１１５での、ストロボ画像を生成するかどうかの判定は、例えば、送信装置１０１のユーザの操作等に応じて行うことができる。
【０２５８】
ステップＳ１１５において、エフェクト処理を行わないと判定された場合、エフェクト処理部１２２は、エフェクト処理を行わずに、ストロボ画像生成部１２１からのストロボ画像の自由視点データを、符号化部１１４に供給する。そして、処理は、ステップＳ１１５から、ステップＳ１１６及びＳ１１７をスキップして、ステップＳ１１８に進む。
【０２５９】
また、ステップＳ１１５において、エフェクト処理を行うと判定された場合、処理は、ステップＳ１１６に進む。
【０２６０】
ステップＳ１１６では、エフェクト処理部１２２は、例えば、送信装置１０１のユーザの操作等に応じてエフェクトフラグ（図１４）、すなわち、エフェクトモード、エフェクト方向、及び、エフェクト距離を設定し、処理は、ステップＳ１１７に進む。
【０２６１】
ステップＳ１１７では、エフェクト処理部１２２は、エフェクトフラグに従い、ストロボ画像生成部１２１から自由視点データが供給されたストロボ画像に映る複数の時刻（生成フレーム）の3Dモデルにエフェクト処理を行う。
【０２６２】
例えば、エフェクトモードがエフェクトモード1に、エフェクト方向がpastに、エフェクト距離が時間time=10に、それぞれ設定されている場合、エフェクト処理部１２２は、ストロボ画像において、基準3Dモデルから過去方向に10秒以上離れた3Dモデルを透明にするエフェクト処理を行う。
【０２６３】
そして、エフェクト処理部１２２は、エフェクト処理後のストロボ画像の自由視点データを、符号化部１１４に供給して、処理は、ステップＳ１１７からステップＳ１１８に進む。
【０２６４】
ステップＳ１１８では、符号化部１１４は、エフェクト処理部１２２からの自由視点データを符号化し、その符号化により得られる符号化データを、送信部１１５に供給して、処理は、ステップＳ１１９に進む。
【０２６５】
ステップＳ１１９では、送信部１１５は、符号化部１１４からの符号化データを送信し、処理は終了する。
【０２６６】
以上のように、送信装置１０１では、送信装置１０１のユーザの操作等に応じて設定されたエフェクトフラグに従って、エフェクト処理が行われる。したがって、送信装置１０１のユーザは、エフェクトフラグの設定によって、ストロボ画像に映る被写体の3Dモデルに、所望のエフェクトをかけることができる。
【０２６７】
図２７は、図２５の受信装置１０２の処理の例を説明するフローチャートである。
【０２６８】
ステップＳ１３１において、受信装置１０２の受信部１３１は、送信装置１０１の送信部１１５から送信されてくる符号化データを受信し、復号部１３２に供給して、処理は、ステップＳ１３２に進む。
【０２６９】
ステップＳ１３２では、復号部１３２は、受信部１３１からの符号化データを復号し、その復号により得られる自由視点データを、自由視点画像生成部１３３に供給して、処理は、ステップＳ１３３に進む。ここで、復号部１３２は、復号により得られる自由視点データが、複数の視点の2D画像及びデプス画像である場合、その複数の視点の2D画像及びデプス画像を、3Dモデルに変換し、その3Dモデル（を含む3Dデータ）を、自由視点データとして、自由視点画像生成部１３３に供給することができる。
【０２７０】
ステップＳ１３３では、自由視点画像生成部１３３は、復号部１３２からの自由視点データを用いて、送信装置１０１の撮影部１１１で撮影された３次元空間を受信装置１０２のユーザの操作等に応じて設定された仮想視点から見た2D画像を、自由視点画像として生成する。すなわち、自由視点画像生成部１３３は、例えば、3Dモデルにエフェクト処理が行われたストロボ画像に映る３次元空間を仮想視点から見た2D画像を、自由視点画像として生成する。そして、自由視点画像生成部１３３は、自由視点画像（のデータ）を、表示部１３４に供給し、処理は、ステップＳ１３３からステップＳ１３４に進む。
【０２７１】
ステップＳ１３４では、表示部１３４は、自由視点画像生成部１３３からの自由視点画像を表示し、処理は終了する。
【０２７２】
以上のように、受信装置１０２では、送信装置１０１からの符号化データを復号することにより得られる自由視点データを用いて生成された自由視点画像が表示される。したがって、送信装置１０１において、ストロボ画像が生成され、そのストロボ画像に映る被写体にエフェクト処理が行われている場合には、受信装置１０２のユーザは、エフェクトがかけられた3Dモデルが映るストロボ画像（から生成された自由視点画像）を視聴することができる。
【０２７３】
図２８は、図１の画像処理システムを適用した伝送システムの他の構成例を示すブロック図である。
【０２７４】
なお、図中、図２５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２７５】
図２８において、伝送システムは、送信装置１０１と受信装置１０２とを有する。送信装置１０１は、撮影部１１１、自由視点データ生成部１１２、符号化部１１４、及び、送信部１１５を有する。受信装置１０２は、受信部１３１、復号部１３２、自由視点画像生成部１３３、表示部１３４、及び、画像処理部１４１を有する。
【０２７６】
したがって、図２８の伝送システムは、送信装置１０１と受信装置１０２とを有する点、送信装置１０１が、撮影部１１１、自由視点データ生成部１１２、符号化部１１４、及び、送信部１１５を有する点、並びに、受信装置１０２が、受信部１３１、復号部１３２、自由視点画像生成部１３３、及び、表示部１３４を有する点で、図２５の場合と共通する。
【０２７７】
但し、図２８の伝送システムは、送信装置１０１が画像処理部１１３を有していない点、及び、受信装置１０２が画像処理部１４１を新たに有する点で、図２５の場合と相違する。
【０２７８】
画像処理部１４１は、ストロボ画像生成部１５１及びエフェクト処理部１５２を有する。画像処理部１４１には、復号部１３２から自由視点データが供給される。画像処理部１４１は、復号部１３２からの自由視点データを用い、必要に応じて、撮影部１１１で撮影された視点画像の複数の時刻（フレーム）に映る被写体の3Dモデルが映るストロボ画像を生成し、そのストロボ画像にエフェクト処理を行う。
【０２７９】
すなわち、ストロボ画像生成部１５１は、図２５のストロボ画像生成部１２１と同様に、復号部１３２からの自由視点データを用い、複数の時刻の3Dモデルが映るストロボ画像を生成し、そのストロボ画像の自由視点データを、エフェクト処理部１５２に供給する。
【０２８０】
エフェクト処理部１５２は、図２５のエフェクト処理部１２２と同様に、ストロボ画像生成部１５１から自由視点データが供給されるストロボ画像に映る3Dモデルにエフェクト処理を行い、そのエフェクト処理後のストロボ画像の自由視点データを、自由視点画像生成部１３３に供給する。
【０２８１】
なお、画像処理部１４１では、例えば、ユーザの操作等に応じて、エフェクト処理部１５２でのエフェクト処理を行わずに、ストロボ画像生成部１５１からの自由視点データを、自由視点画像生成部１３３に供給することができる。さらに、画像処理部１４１では、例えば、ユーザの操作等に応じて、ストロボ画像生成部１５１でのストロボ画像の生成、及び、エフェクト処理部１５２でのエフェクト処理を行わずに、復号部１３２からの自由視点データを、自由視点画像生成部１３３に供給することができる。また、画像処理部１４１では、ストロボ画像の生成と、エフェクト処理とを並列的に行うこと、すなわち、自由視点データから、3Dモデルにエフェクト処理を行ったエフェクト処理後の(3D)ストロボ画像を生成することができる。
【０２８２】
図２９は、図２８の送信装置１０１の処理の第１の例を説明するフローチャートである。
【０２８３】
ステップＳ１５１及びＳ１５２において、図２６のステップＳ１１１及びＳ１１２とそれぞれ同様の処理が行われる。これにより、自由視点データ生成部１１２で生成された自由視点データが、符号化部１１４に供給され、処理は、ステップＳ１５２からステップＳ１５３に進む。
【０２８４】
ステップＳ１５３では、符号化部１１４は、例えば、送信装置１０１のユーザの操作等に応じてエフェクトフラグ（図１４）、すなわち、エフェクトモード、エフェクト方向、及び、エフェクト距離を設定し、処理は、ステップＳ１５４に進む。
【０２８５】
ステップＳ１５４では、符号化部１１４は、自由視点データ生成部１１２からの自由視点データを符号化し、エフェクトフラグを含む符号化データを生成する。そして、符号化部１１４は、符号化データを、送信部１１５に供給して、処理は、ステップＳ１５４からステップＳ１５５に進む。
【０２８６】
ステップＳ１５５では、送信部１１５は、符号化部１１４からの符号化データを送信し、処理は終了する。
【０２８７】
以上のように、送信装置１０１では、送信装置１０１のユーザの操作等に応じて設定されたエフェクトフラグを含む符号化データを生成して送信することができる。
【０２８８】
図３０は、図２８の受信装置１０２の処理の第１の例を説明するフローチャートである。
【０２８９】
ステップＳ１６１において、受信装置１０２の受信部１３１は、送信装置１０１の送信部１１５から送信されてくる符号化データを受信し、復号部１３２に供給して、処理は、ステップＳ１３２に進む。
【０２９０】
ステップＳ１６２では、復号部１３２は、受信部１３１からの符号化データを復号し、その復号により得られる自由視点データ及びエフェクトフラグを、画像処理部１４１に供給して、処理は、ステップＳ１６３に進む。
【０２９１】
ステップＳ１６３では、画像処理部１４１のストロボ画像生成部１５１は、ストロボ画像を生成するかどうかを判定する。
【０２９２】
ここで、ステップＳ１６３での、ストロボ画像を生成するかどうかの判定は、例えば、受信装置１０２のユーザの操作に応じて行うことができる。
【０２９３】
ステップＳ１６３において、ストロボ画像を生成しないと判定された場合、ストロボ画像生成部１５１及びエフェクト処理部１５２は、処理を行わずに、自由視点データを、自由視点画像生成部１３３に供給する。そして、処理は、ステップＳ１６３から、ステップＳ１６４ないしＳ１６６をスキップして、ステップＳ１６７に進む。
【０２９４】
また、ステップＳ１６３において、ストロボ画像を生成すると判定された場合、処理は、ステップＳ１６４に進む。
【０２９５】
ステップＳ１６４では、ストロボ画像生成部１５１は、復号部１３２から画像処理部１４１に供給される自由視点データを用いて、ストロボ画像を生成する。
【０２９６】
すなわち、ストロボ画像生成部１５１は、復号部１３２からの自由視点データのフレームの中から、複数の生成フレームを選択する。さらに、ストロボ画像生成部１５１は、複数の生成フレームに映る被写体の3Dモデル（複数の時刻の3Dモデル）が映るストロボ画像を生成する。
【０２９７】
ストロボ画像生成部１５１は、ストロボ画像の自由視点データを、エフェクト処理部１５２に供給し、処理は、ステップＳ１６４からステップＳ１６５に進む。
【０２９８】
ステップＳ１６５では、エフェクト処理部１５２は、ストロボ画像生成部１５１から自由視点データが供給されるストロボ画像の3Dモデルに、エフェクト処理を行うかどうかを判定する。ステップＳ１６５での、ストロボ画像を生成するかどうかの判定は、例えば、受信装置１０２のユーザの操作等に応じて行うことができる。
【０２９９】
ステップＳ１６５において、エフェクト処理を行わないと判定された場合、エフェクト処理部１５２は、エフェクト処理を行わずに、ストロボ画像生成部１５１からのストロボ画像の自由視点データを、自由視点画像生成部１３３に供給する。そして、処理は、ステップＳ１６５から、ステップＳ１６６をスキップして、ステップＳ１６７に進む。
【０３００】
また、ステップＳ１６５において、エフェクト処理を行うと判定された場合、処理は、ステップＳ１６６に進む。
【０３０１】
ステップＳ１６６では、エフェクト処理部１５２は、復号部１３２から画像処理部１４１に供給されるエフェクトフラグに従い、ストロボ画像生成部１５１から自由視点データが供給されたストロボ画像に映る複数の時刻（生成フレーム）の3Dモデルにエフェクト処理を行う。
【０３０２】
例えば、エフェクトモードがエフェクトモード1に、エフェクト方向がpastに、エフェクト距離が時間time=10に、それぞれ設定されている場合、エフェクト処理部１５２は、ストロボ画像において、基準3Dモデルから過去方向に10秒以上離れた3Dモデルを透明にするエフェクト処理を行う。
【０３０３】
そして、エフェクト処理部１５２は、エフェクト処理後のストロボ画像の自由視点データを、自由視点画像生成部１３３に供給して、処理は、ステップＳ１６６からステップＳ１６７に進む。
【０３０４】
ステップＳ１６７では、自由視点画像生成部１３３は、画像処理部１４１（のエフェクト処理部１５２）からの自由視点データを用いて、送信装置１０１の撮影部１１１で撮影された３次元空間を受信装置１０２のユーザの操作等に応じて設定された仮想視点から見た2D画像を、自由視点画像として生成する。すなわち、自由視点画像生成部１３３は、例えば、3Dモデルにエフェクト処理が行われたストロボ画像に映る３次元空間を仮想視点から見た2D画像を、自由視点画像として生成する。そして、自由視点画像生成部１３３は、自由視点画像（のデータ）を、表示部１３４に供給し、処理は、ステップＳ１６７からステップＳ１６８に進む。
【０３０５】
ステップＳ１６８では、表示部１３４は、自由視点画像生成部１３３からの自由視点画像を表示し、処理は終了する。
【０３０６】
以上の処理により、受信装置１０２では、送信装置１０１のユーザの操作に応じて設定されたエフェクトフラグに従ってエフェクト処理が行われた3Dモデルが映るストロボ画像を表示することができる。
【０３０７】
図３１は、図２８の送信装置１０１の処理の第２の例を説明するフローチャートである。
【０３０８】
ステップＳ１８１及びＳ１８２において、図２９のステップＳ１５１及びＳ１５２とそれぞれ同様の処理が行われる。これにより、自由視点データ生成部１１２で生成された自由視点データが、符号化部１１４に供給され、処理は、ステップＳ１８２からステップＳ１８３に進む。
【０３０９】
ステップＳ１８３では、符号化部１１４は、自由視点データ生成部１１２からの自由視点データを符号化し、符号化データを生成する。そして、符号化部１１４は、符号化データを、送信部１１５に供給して、処理は、ステップＳ１８３からステップＳ１８４に進む。
【０３１０】
ステップＳ１８４では、送信部１１５は、符号化部１１４からの符号化データを送信し、処理は終了する。
【０３１１】
以上のように、図３１では、図２９の場合と異なり、送信装置１０１において、エフェクトフラグを含まない符号化データが生成されて送信される。
【０３１２】
図３２は、図２８の受信装置１０２の処理の第２の例を説明するフローチャートである。
【０３１３】
ステップＳ１９１において、受信装置１０２の受信部１３１は、送信装置１０１の送信部１１５から送信されてくる符号化データを受信し、復号部１３２に供給して、処理は、ステップＳ１３２に進む。
【０３１４】
ステップＳ１９２では、復号部１３２は、受信部１３１からの符号化データを復号し、その復号により得られる自由視点データを、画像処理部１４１に供給して、処理は、ステップＳ１９３に進む。
【０３１５】
ステップＳ１９３ないしＳ１９５では、図３０のステップＳ１６３ないしＳ１６５とそれぞれ同様の処理が行われる。
【０３１６】
そして、ステップＳ１９５において、エフェクト処理を行わないと判定された場合、エフェクト処理部１５２は、エフェクト処理を行わずに、ストロボ画像生成部１５１からのストロボ画像の自由視点データを、自由視点画像生成部１３３に供給する。そして、処理は、ステップＳ１９５から、ステップＳ１９６及びＳ１９７をスキップして、ステップＳ１９８に進む。
【０３１７】
また、ステップＳ１９５において、エフェクト処理を行うと判定された場合、処理は、ステップＳ１９６に進む。
【０３１８】
ステップＳ１９６では、エフェクト処理部１５２は、例えば、受信装置１０２のユーザの操作等に応じてエフェクトフラグ（図１４）、すなわち、エフェクトモード、エフェクト方向、及び、エフェクト距離を設定し、処理は、ステップＳ１９７に進む。
【０３１９】
ここで、受信装置１０２のユーザが、エフェクトフラグとしてのエフェクトモード、エフェクト方向、及び、エフェクト距離それぞれを個別に設定するように操作を行うことは、ユーザに煩わしさを感じさせることがある。そこで、エフェクト処理部１５２では、エフェクトフラグとしてのエフェクトモード、エフェクト方向、及び、エフェクト距離について、複数の組み合わせをエフェクト用のフィルタとして用意しておき、ステップＳ１９６では、受信装置１０２のユーザに、複数のエフェクト用のフィルタから、所望のフィルタを選択してもらい、その所望のフィルタを、エフェクトフラグとしてのエフェクトモード、エフェクト方向、及び、エフェクト距離として設定することができる。
【０３２０】
ステップＳ１９７では、エフェクト処理部１５２は、受信装置１０２のユーザの操作に応じて設定されたエフェクトフラグに従い、ストロボ画像生成部１５１から自由視点データが供給されたストロボ画像に映る複数の時刻（生成フレーム）の3Dモデルにエフェクト処理を行う。
【０３２１】
そして、エフェクト処理部１５２は、エフェクト処理後のストロボ画像の自由視点データを、自由視点画像生成部１３３に供給して、処理は、ステップＳ１９７からステップＳ１９８に進む。
【０３２２】
ステップＳ１９８及びＳ１９９では、図３０のステップＳ１６７及びＳ１６８とそれぞれ同様の処理が行われ、処理は終了する。
【０３２３】
以上の処理により、受信装置１０２では、受信装置１０２のユーザの操作に応じて設定されたエフェクトフラグに従ってエフェクト処理が行われた3Dモデルが映るストロボ画像を表示することができる。
【０３２４】
＜本技術を適用した画像処理システム＞
【０３２５】
図３３は、本技術を適用した画像処理システムの他の一実施の形態の構成例を示すブロック図である。
【０３２６】
なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３２７】
図３３において、画像処理システムは、撮影部１１、自由視点データ生成部１２、エフェクト処理部１４、自由視点画像生成部１５、及び、表示部１６を有する。
【０３２８】
したがって、図３３の画像処理システムは、撮影部１１、自由視点データ生成部１２、エフェクト処理部１４、自由視点画像生成部１５、及び、表示部１６を有する点で、図１の場合と共通する。但し、図３３の画像処理システムは、ストロボ画像生成部３３を有していない点で、図１の場合と相違する。
【０３２９】
以上のように、図３３の画像処理システムは、ストロボ画像生成部３３を有しないので、エフェクト処理部１４には、自由視点データ生成部１２から3D画像の自由視点データが供給される。
【０３３０】
そして、エフェクト処理部１４は、自由視点データ生成部１２から自由視点データが供給される3D画像に映る被写体の3Dモデルにエフェクト処理を行う。
【０３３１】
例えば、エフェクト処理部１４は、自由視点データ生成部１２から自由視点データが供給される3D画像に複数の被写体が映る場合、その複数の被写体のうちの１以上の被写体の3Dモデルそれぞれにエフェクト処理を行うことができる。
【０３３２】
したがって、エフェクト処理部１４では、例えば、自由視点データ生成部１２からエフェクト処理部１４に自由視点データが供給される3D画像が、サッカーの試合のコンテンツの画像である場合に、その3D画像に映る複数の被写体としての、例えば、複数のサッカー選手や、ボールとそのボールの近くにいる１人以上のサッカー選手等の3Dモデルにエフェクト処理を行うことができる。
【０３３３】
以上のように、エフェクト処理部１４では、ストロボ画像以外の任意の3D画像に映る複数の被写体の3Dモデルのうちの１つ又は２つ以上の3Dモデル（3D画像に映る複数の被写体の3Dモデルの全部を含む）を対象に、エフェクト処理を行うことができる。
【０３３４】
図３４は、図３３の画像処理システムが行う、自由視点画像を表示する自由視点画像表示処理の例を説明するフローチャートである。
【０３３５】
自由視点画像表示処理では、ステップＳ２１１及びＳ２１２において、図２のステップＳ１１及びＳ１２とそれぞれ同様の処理が行われ、これにより、自由視点データ生成部１２では、3D画像のフレーム単位の自由視点データとしての、例えば、被写体の3Dモデル（及び背景画像を含む3Dデータ）が生成される。3D画像の（フレーム単位の）自由視点データは、自由視点データ生成部１２からエフェクト処理部１４に供給され、処理は、ステップＳ２１２からステップＳ２１３に進む。
【０３３６】
ステップＳ２１３では、エフェクト処理部１４は、自由視点データ生成部１２から自由視点データが供給された3D画像に映る3Dモデルに、エフェクト処理を行うかどうかを判定する。ステップＳ２１７での、ストロボ画像を生成するかどうかの判定は、例えば、ユーザの操作に応じて行うことができる。
【０３３７】
ステップＳ２１３において、エフェクト処理を行わないと判定された場合、エフェクト処理部１４は、エフェクト処理を行わずに、自由視点データ生成部１２からの3D画像の自由視点データを、自由視点画像生成部１５に供給する。そして、処理は、ステップＳ２１３から、ステップＳ２１４をスキップして、ステップＳ２１５に進む。
【０３３８】
この場合、ステップＳ２１５では、自由視点画像生成部１５は、エフェクト処理部１４からの3D画像（の自由視点データ）を仮想視点から見た2D画像を、自由視点画像として生成する。そして、自由視点画像生成部１５は、自由視点画像を、表示部１６に供給して、処理は、ステップＳ２１５からステップＳ２１６に進む。
【０３３９】
ステップＳ２１６では、表示部１６は、自由視点画像生成部１５からの自由視点画像が表示される。この場合、表示部１６では、仮想視点から見た被写体の3Dモデルが映る2D画像（3D画像を仮想視点から見た2D画像）が表示される。
【０３４０】
一方、ステップＳ２１３において、エフェクト処理を行うと判定された場合、処理は、ステップＳ２１４に進む。
【０３４１】
ステップＳ２１４では、エフェクト処理部１４は、自由視点データ生成部１２から自由視点データが供給された3D画像に映る被写体の3Dモデルにエフェクト処理を行う。
【０３４２】
ここで、エフェクト処理部１４は、3D画像に、１つの被写体が映る場合、その１つの被写体の3Dモデルにエフェクト処理を行う。また、エフェクト処理部１４は、3D画像に、複数の被写体が映る場合、その複数の被写体の3Dモデルから、１以上の被写体の3Dモデルを選択し、その１以上の被写体の3Dモデルそれぞれにエフェクト処理を行うことができる。エフェクト処理を行う3Dモデルは、例えば、ユーザの操作等に応じて選択することができる。
【０３４３】
エフェクト処理部１４は、エフェクト処理後の3Dモデルが映る3D画像を、自由視点画像生成部１５に供給して、処理は、ステップＳ２１４からステップＳ２１５に進む。
【０３４４】
この場合、ステップＳ２１５では、自由視点画像生成部１５は、エフェクト処理部１４からのエフェクト処理後の3Dモデルが映る3D画像を仮想視点から見た2D画像を、自由視点画像として生成する。そして、自由視点画像生成部１５は、自由視点画像を、表示部１６に供給して、処理は、ステップＳ２１５からステップＳ２１６に進む。
【０３４５】
ステップＳ２１６では、表示部１６は、自由視点画像生成部１５からの自由視点画像が表示される。この場合、表示部１６では、仮想視点から見た１以上の被写体の3Dモデルにエフェクトがかかった2D画像（エフェクト処理が行われた2D画像）が表示される。
【０３４６】
以上のように、ストロボ画像以外の3D画像に映る複数の被写体の3Dモデルのうちの１以上の3Dモデルにエフェクト処理を行うことによっても、見やすい画像を提供することができる。例えば、上述したように、3D画像が、サッカーの試合のコンテンツの画像である場合に、その3D画像に映る複数の被写体としての、例えば、ゴールに絡んだ複数のサッカー選手や、ボールとそのボールの近くにいる１人以上のサッカー選手、ボールとパスを出したサッカー選手とパスを受けたサッカー選手等の3Dモデルにエフェクトがかかった画像を提供することができる。
＜伝送システム＞
【０３４７】
図３５は、図３３の画像処理システムを適用した伝送システムの構成例を示すブロック図である。
【０３４８】
なお、図中、図２５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３４９】
図３５において、伝送システムは、送信装置１０１と受信装置１０２とを有する。送信装置１０１は、撮影部１１１、自由視点データ生成部１１２、画像処理部１１３、符号化部１１４、送信部１１５、及び、自由視点画像生成部２１１を有する。画像処理部１１３は、エフェクト処理部１２２を有する。受信装置１０２は、受信部１３１、復号部１３２、及び、表示部１３４を有する。
【０３５０】
したがって、図３５の伝送システムは、送信装置１０１と受信装置１０２とを有する点、送信装置１０１が、撮影部１１１、自由視点データ生成部１１２、画像処理部１１３、符号化部１１４、及び、送信部１１５を有する点、並びに、受信装置１０２が、受信部１３１、復号部１３２、及び、表示部１３４を有する点で、図２５の場合と共通する。
【０３５１】
但し、図２８の伝送システムは、送信装置１０１の画像処理部１１３が、ストロボ画像生成部１２１を有していない点、送信装置１０１が、自由視点画像生成部２１１を新たに有する点、及び、受信装置１０２が、自由視点画像生成部１３３を有しない点で、図２５の場合と相違する。
【０３５２】
送信装置１０１では、撮影部１１１、自由視点データ生成部１１２、画像処理部１１３のエフェクト処理部１２２、及び、自由視点画像生成部２１１が、図３３の撮影部１１、自由視点データ生成部１２、エフェクト処理部１４、及び、自由視点画像生成部１５とそれぞれ同様の処理を行う。
【０３５３】
これにより、自習視点画像生成部２１１から符号化部１１４には、仮想視点から見た被写体の3Dモデルにエフェクトがかかった2D画像又はエフェクトがかかっていない2D画像が、自由視点画像として供給される。
【０３５４】
符号化部１１４は、画像処理部１１３のエフェクト処理部１２２から供給される自由視点画像を所定の符号化方式で符号化し、符号化により得られる符号化データを、送信部１１５に供給する。送信部１１５は、有線通信又は無線通信により、符号化部１１４からの符号化データを送信する。
【０３５５】
受信装置１０２（表示装置）では、受信部１３１が送信装置１０１（の送信部１１５）から送信されてくる符号化データを受信し、復号部１３２に供給する。
【０３５６】
復号部１３２は、受信部１３１からの符号化データを自由視点画像に復号し、表示部１３４に供給する。表示部１３４は、復号部１３２からの自由視点画像を表示する。
【０３５７】
受信装置１０２のユーザは、例えば、受信装置１０２を操作すること等により、仮想視点を指定することができる。受信装置１０２は、ユーザが指定した仮想視点を送信装置１０１に送信することができる。送信装置１０１では、自由視点画像生成部２１１が、受信装置１０２からの仮想視点に応じて、その仮想視点から見た2D画像としての自由視点画像を生成することができる。
【０３５８】
＜エフェクト処理のバリエーション＞
【０３５９】
エフェクト処理部１４（並びにエフェクト処理部１２２及び１５２）が行うエフェクト処理としては、図１４に示したエフェクトモード1ないし10のエフェクト処理以外の様々なエフェクト処理を採用することができる。
【０３６０】
例えば、3Dモデルのサイズを変更する処理や、3Dモデルのテクスチャ（テクスチャマテリアル）を変更する処理、3Dモデルのテクスチャを削除する処理等を、エフェクト処理部１４が行うエフェクト処理として採用することができる。さらに、例えば、3Dモデルの形状（3D形状モデル）をぼかす処理や、3Dモデルの色を変更する処理等を、エフェクト処理部１４が行うエフェクト処理として採用することができる。これらのエフェクト処理についても、図１４に示したエフェクトモード1ないし10のエフェクト処理と同様に、エフェクト方向及びエフェクト距離並びに必要なパラメータを設定することができる。
【０３６１】
図３６は、3Dモデルのサイズを変更するエフェクト処理を説明する図である。
【０３６２】
3Dモデルのサイズを変更するエフェクト処理では、例えば、3Dモデルの重心等の所定の点を基準として、その3Dモデルのサイズを縮小又は拡大することができる。
【０３６３】
ここで、サイズの変更前の3Dモデルが面に接する場合に、3Dモデルの重心を基準として、その3Dモデルのサイズを縮小又は拡大するだけでは、サイズの変更後の3Dモデルが、面から離れて空中に浮いたような状態になることや、面の中にめり込んだ状態になる。
【０３６４】
すなわち、図３６は、例えば、サッカーのグランドを転がるサッカーボールの3Dモデルが映る(3D)ストロボ画像を示している。
【０３６５】
エフェクト処理において、サッカーボールの3Dモデルの重心を基準として、3Dモデルのサイズを縮小するエフェクト処理を行った場合、図３６に示すように、サッカーボールの3Dモデルが、グランドから宙に浮かんだ状態となり、エフェクト処理後のストロボ画像が不自然な画像となる。
【０３６６】
なお、エフェクト処理において、サッカーボールの3Dモデルの重心を基準として、3Dモデルのサイズを拡大するエフェクト処理を行った場合には、サッカーボールの3Dモデルが、グランドにめり込んだ状態となり、やはり、エフェクト処理後のストロボ画像が不自然な画像となる。
【０３６７】
そこで、エフェクト処理部１４は、3Dモデルのサイズを変更するエフェクト処理を行う場合において、サイズの変更前の3Dモデルが面に接するときには、図３６に示すように、サイズの変更後の3Dモデルが面に接するように、サイズの変更後の3Dモデルを移動することができる。
【０３６８】
これにより、エフェクト処理後のストロボ画像が不自然な画像となることを防止することができる。
【０３６９】
（サイズの変更前の）3Dモデルが面に接する場合としては、上述のように、サッカーボールの3Dモデルがグランド等の地面に接する場合の他、3Dモデルが、床面やテーブルの天板に接する場合、壁や天井に接する場合等がある。
【０３７０】
サイズの変更後の3Dモデルの移動は、サイズの変更前の3Dモデルが接する面に対して垂直方向に行われる。また、3Dモデルのサイズがs倍にされた場合、サイズの変更後の3Dモデルの重心と面との距離が、サイズの変更前のs倍になるように、サイズの変更後の3Dモデルが移動される。
【０３７１】
＜本技術を適用したコンピュータの説明＞
【０３７２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０３７３】
図３７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０３７４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
【０３７５】
あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０３７６】
なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０３７７】
コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
【０３７８】
CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
【０３７９】
これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
【０３８０】
なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０３８１】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０３８２】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０３８３】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０３８４】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３８５】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３８６】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３８７】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３８８】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０３８９】
なお、本技術は、以下の構成をとることができる。
【０３９０】
＜１＞
複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行うエフェクト処理部と、
所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成する生成部と
を備える画像処理装置。
＜２＞
前記エフェクト処理部は、前記複数の3Dモデルのうちの所定の3Dモデルを透明にする前記エフェクト処理を行う
＜１＞に記載の画像処理装置。
＜３＞
前記エフェクト処理部は、前記複数の視点画像から生成される複数の時刻の所定の被写体の3Dモデルに前記エフェクト処理を行う
＜１＞又は＜２＞に記載の画像処理装置。
＜４＞
前記エフェクト処理部は、前記複数の時刻の所定の被写体の3Dモデルのうちの１つの基準モデルからの3Dモデルの数、距離、又は、時間で指定される前記所定の被写体の3Dモデルに前記エフェクト処理を行う
＜３＞に記載の画像処理装置。
＜５＞
前記エフェクト処理部は、複数のエフェクト処理から、前記3Dモデルに行う前記エフェクト処理を設定する
＜１＞ないし＜４＞のいずれかに記載の画像処理装置。
＜６＞
前記2D画像を表示する表示部をさらに備える
＜１＞ないし＜５＞のいずれかに記載の画像処理装置。
＜７＞
前記3Dモデルは、View Independentである
＜１＞ないし＜６＞のいずれかに記載の画像処理装置。
＜８＞
前記エフェクト処理部は、
前記3Dモデルのサイズを変更する前記エフェクト処理を行い、
前記サイズの変更前の前記3Dモデルが面に接する場合、前記サイズの変更後の前記3Dモデルが前記面に接するように、前記3Dモデルを移動する
＜１＞に記載の画像処理装置。
＜９＞
複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行うことと、
所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成することと
を含む画像処理方法。
＜１０＞
複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのそれぞれにエフェクト処理を行うエフェクト処理部と、
所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成する生成部と
して、コンピュータを機能させるためのプログラム。
＜１１＞
複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行い、
所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成する
ことにより得られる前記2D画像を受信する受信部と、
前記2D画像を表示する表示部と
を備える表示装置。
【０３９１】
＜Ａ１＞
被写体が映る複数の視点の視点画像から生成される複数の時刻の被写体の3Dモデルが映るストロボ画像を生成するストロボ画像生成部と、
前記ストロボ画像に映る前記3Dモデルにエフェクト処理を行うエフェクト処理部と
を備える画像処理装置。
＜Ａ２＞
前記ストロボ画像生成部は、手前側の3Dモデルが優先的に映るように、前記ストロボ画像を生成する
＜Ａ１＞に記載の画像処理装置。
＜Ａ３＞
前記エフェクト処理部は、前記3Dモデルを透明にする前記エフェクト処理を行う
＜Ａ１＞又は＜Ａ２＞に記載の画像処理装置。
＜Ａ４＞
前記エフェクト処理部は、前記3Dモデルを徐々に消滅させる前記エフェクト処理を行う
＜Ａ１＞又は＜Ａ２＞に記載の画像処理装置。
＜Ａ５＞
前記エフェクト処理部は、前記3Dモデルのテクスチャ数を減らす前記エフェクト処理を行う
＜Ａ１＞又は＜Ａ２＞に記載の画像処理装置。
＜Ａ６＞
前記エフェクト処理部は、前記3Dモデルを消去する前記エフェクト処理を行う
＜Ａ１＞又は＜Ａ２＞に記載の画像処理装置。
＜Ａ７＞
前記エフェクト処理部は、前記3Dモデルの輝度又は彩度を小さくする前記エフェクト処理を行う
＜Ａ１＞又は＜Ａ２＞に記載の画像処理装置。
＜Ａ８＞
前記エフェクト処理部は、前記ストロボ画像に映る3Dモデルの数を制限する前記エフェクト処理を行う
＜Ａ１＞又は＜Ａ２＞に記載の画像処理装置。
＜Ａ９＞
前記エフェクト処理部は、前記3Dモデルのメッシュ数を減らす前記エフェクト処理を行う
＜Ａ１＞又は＜Ａ２＞に記載の画像処理装置。
＜Ａ１０＞
前記エフェクト処理部は、前記3Dモデルの表現形式を変更する前記エフェクト処理を行う
＜Ａ１＞又は＜Ａ２＞に記載の画像処理装置。
＜Ａ１１＞
前記エフェクト処理部は、ポリゴンで構成される前記3Dモデルを、ワイヤフレームに変更する前記エフェクト処理を行う
＜Ａ１０＞に記載の画像処理装置。
＜Ａ１２＞
前記エフェクト処理部は、前記3Dモデルの表現形式をView DependentからView Independentに変更する前記エフェクト処理を行う
＜Ａ１０＞に記載の画像処理装置。
＜Ａ１３＞
前記エフェクト処理部は、前記3Dモデルを消去し、前記3Dモデルがあった形跡を残す前記エフェクト処理を行う
＜Ａ１＞又は＜Ａ２＞に記載の画像処理装置。
＜Ａ１４＞
前記エフェクト処理部は、前記ストロボ画像に映る前記3Dモデルのうちの、最新の仮想視点が設定された時刻の基準3Dモデルより過去又は未来の前記3Dモデルに前記エフェクト処理を行う
＜Ａ１＞ないし＜Ａ１３＞のいずれかに記載の画像処理装置。
＜Ａ１５＞
前記エフェクト処理部は、前記ストロボ画像に映る前記3Dモデルのうちの、最新の仮想視点が設定された時刻の基準3Dモデルから所定のモデル数以上離れた前記3Dモデルに前記エフェクト処理を行う
＜Ａ１＞ないし＜Ａ１４＞のいずれかに記載の画像処理装置。
＜Ａ１６＞
前記エフェクト処理部は、前記ストロボ画像に映る前記3Dモデルのうちの、最新の仮想視点が設定された時刻の基準3Dモデルから所定の距離以上離れた前記3Dモデルに前記エフェクト処理を行う
＜Ａ１＞ないし＜Ａ１４＞のいずれかに記載の画像処理装置。
＜Ａ１７＞
前記エフェクト処理部は、前記ストロボ画像に映る前記3Dモデルのうちの、最新の仮想視点が設定された時刻の基準3Dモデルから所定の時間以上離れた時刻の前記3Dモデルに前記エフェクト処理を行う
＜Ａ１＞ないし＜Ａ１４＞のいずれかに記載の画像処理装置。
＜Ａ１８＞
被写体が映る複数の視点の視点画像から生成される複数の時刻の被写体の3Dモデルが映るストロボ画像を生成することと、
前記ストロボ画像に映る前記3Dモデルにエフェクト処理を行うことと
を含む画像処理方法。
＜Ａ１９＞
被写体が映る複数の視点の視点画像から生成される複数の時刻の被写体の3Dモデルが映るストロボ画像を生成するストロボ画像生成部と、
前記ストロボ画像に映る前記3Dモデルにエフェクト処理を行うエフェクト処理部と
して、コンピュータを機能させるためのプログラム。
＜Ａ２０＞
被写体が映る複数の視点の視点画像から生成される複数の時刻の被写体の3Dモデルが映るストロボ画像の前記3Dモデルに行うエフェクト処理に関するエフェクトフラグを送信する送信部
を有する送信装置と、
前記エフェクトフラグを受信する受信部と、
前記ストロボ画像を生成するストロボ画像生成部と、
前記エフェクトフラグに従って、前記ストロボ画像に映る前記3Dモデルに前記エフェクト処理を行うエフェクト処理部と
を有する受信装置と
を備える伝送システム。
【０３９２】
＜Ｂ１＞
被写体が映る複数の視点の視点画像から生成される複数の時刻の被写体の3Dモデルが映るストロボ画像に映る前記3Dモデルにエフェクト処理を行ったエフェクト処理後のストロボ画像を生成する
画像処理装置。
【符号の説明】
【０３９３】
１１  撮影部，  １２  自由視点データ生成部，  １３  ストロボ画像生成部，  １４  エフェクト処理部，  １５  自由視点画像生成部，  １６  表示部，  １０１  送信装置，  １０２  受信装置，  １１１  撮影部，  １１２  自由視点データ生成部，  １１３  画像処理部，  １１４  符号化部，  １１５  送信部，  １３１  受信部，  １３２  復号部，  １３３  自由視点画像生成部，  １３４  表示部，  １４１  画像処理部，  １５１  ストロボ画像生成部，  １５２  エフェクト処理部，  ９０１  バス，  ９０２  CPU，  ９０３  ROM，  ９０４  RAM，  ９０５  ハードディスク，  ９０６  出力部，  ９０７  入力部，  ９０８  通信部，  ９０９  ドライブ，  ９１０  入出力インタフェース，  ９１１  リムーバブル記録媒体
【図１】
2020086700.tif 000003
【図２】
2020086700.tif 000004
【図３】
2020086700.tif 000005
【図４】
2020086700.tif 000006
【図５】
2020086700.tif 000007
【図６】
2020086700.tif 000008
【図７】
2020086700.tif 000009
【図８】
2020086700.tif 000010
【図９】
2020086700.tif 000011
【図１０】
2020086700.tif 000012
【図１１】
2020086700.tif 000013
【図１２】
2020086700.tif 000014
【図１３】
2020086700.tif 000015
【図１４】
2020086700.tif 000016
【図１５】
2020086700.tif 000017
【図１６】
2020086700.tif 000018
【図１７】
2020086700.tif 000019
【図１８】
2020086700.tif 000020
【図１９】
2020086700.tif 000021
【図２０】
2020086700.tif 000022
【図２１】
2020086700.tif 000023
【図２２】
2020086700.tif 000024
【図２３】
2020086700.tif 000025
【図２４】
2020086700.tif 000026
【図２５】
2020086700.tif 000027
【図２６】
2020086700.tif 000028
【図２７】
2020086700.tif 000029
【図２８】
2020086700.tif 000030
【図２９】
2020086700.tif 000031
【図３０】
2020086700.tif 000032
【図３１】
2020086700.tif 000033
【図３２】
2020086700.tif 000034
【図３３】
2020086700.tif 000035
【図３４】
2020086700.tif 000036
【図３５】
2020086700.tif 000037
【図３６】
2020086700.tif 000038
【図３７】
2020086700.tif 000039