(57)【要約】【課題】  仮想視点画像の生成に係る仮想視点が移動する場合において、仮想視点画像のより適切な領域に仮想オブジェクトを表示させる。【解決手段】  画像処理システム１０は、複数のカメラによりそれぞれ異なる方向から被写体が撮影されることで得られる複数の撮影画像と、仮想視点の指定に応じた情報とに基づいて、仮想視点画像を生成する。そして、画像処理システム１０に含まれる画像処理装置２は、仮想視点画像の生成に係る仮想視点の移動経路を特定するための視点情報を取得する。また画像処理装置２は、該移動経路上の第１時点の仮想視点に対応する仮想視点画像における仮想オブジェクトを表示させる表示領域を、第１時点の仮想視点と、該移動経路上の仮想視点であって第１時点とは異なる第２時点の仮想視点とに基づいて決定する。【選択図】  図５
2018142164.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラによりそれぞれ異なる方向から被写体が撮影されることで得られる複数の撮影画像と仮想視点の指定に応じた情報とに基づいて、前記複数の撮影画像には含まれない仮想オブジェクトが挿入された仮想視点画像が生成されるシステムに含まれる画像処理装置であって、
仮想視点画像の生成に係る仮想視点の移動経路を特定するための視点情報を取得する取得手段と、
前記取得手段により取得される視点情報から特定される前記移動経路上の第１時点の仮想視点に対応する仮想視点画像における表示領域であって前記仮想オブジェクトを表示させる表示領域を、前記第１時点の仮想視点と、前記移動経路上の仮想視点であって前記第１時点とは異なる第２時点の仮想視点とに基づいて決定する制御手段とを有することを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記第１時点の仮想視点に対応する仮想視点画像における前記仮想オブジェクトの位置、大きさ、形状及び向きの少なくとも何れかを、前記第１時点の仮想視点と前記第２時点の仮想視点とに基づいて決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、３次元空間における前記第１時点の前記仮想オブジェクトの位置を前記第１時点の仮想視点と前記第２時点の仮想視点とに基づいて決定し、且つ、当該決定された位置に基づいて前記表示領域を決定し、
前記３次元空間における前記第１時点の前記仮想オブジェクトの位置と前記第２時点の前記仮想オブジェクトの位置とは同一であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記制御手段は、３次元空間における固定位置であって仮想視点の移動に伴って変化しない固定位置を、前記仮想オブジェクトの位置として前記移動経路に基づいて決定し、且つ、当該決定された固定位置に基づいて前記表示領域を決定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記制御手段は、前記移動経路上の複数の仮想視点に基づいて生成される複数の仮想視点画像であって時間的に連続する複数の仮想視点画像すべてに前記仮想オブジェクトが表示されるように、前記表示領域を決定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記制御手段は、前記３次元空間における複数の候補領域のうち、前記移動経路上の複数の仮想視点に基づいて生成される複数の仮想視点画像であって時間的に連続する複数の仮想視点画像に最も長い期間表示される候補領域を、前記仮想オブジェクトの位置として決定することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記制御手段は、前記移動経路上の仮想視点に対応する仮想視点画像の仮想オブジェクト非表示領域に前記仮想オブジェクトが表示されないように、前記表示領域を決定することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記仮想オブジェクト非表示領域は、仮想視点画像における所定の被写体が表示されるべき領域であることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記仮想オブジェクトは、仮想視点画像に広告を表示させるための仮想オブジェクトであることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
前記制御手段は、前記移動経路上の仮想視点に対応する仮想視点画像に、前記仮想オブジェクトの面であって広告が表示される面が含まれるように、前記仮想オブジェクトの向きを決定することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記取得手段により取得される視点情報は、視点の位置を特定するための情報及び視線の方向を特定するための情報を含むことを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記仮想オブジェクトを含む仮想視点画像を前記制御手段による決定に基づいて生成する生成手段を有することを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
【請求項１３】
前記制御手段による決定に基づいて、前記仮想オブジェクトの位置、大きさ、形状及び向きの少なくとも何れかに関する情報を、前記仮想視点画像を生成する画像生成装置へ出力する出力手段を有することを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
【請求項１４】
複数のカメラによりそれぞれ異なる方向から被写体が撮影されることで得られる複数の撮影画像と仮想視点の指定に応じた情報とに基づいて、前記複数の撮影画像には含まれない仮想オブジェクトが挿入された仮想視点画像が生成されるシステムに含まれる画像処理装置であって、
仮想視点画像の生成に係る仮想視点の移動経路を特定するための視点情報を取得する取得手段と、
前記取得手段により取得される視点情報から特定される移動経路上を移動する仮想視点に対応する複数の仮想視点画像であって時間的に連続する複数の仮想視点画像のすべてに前記仮想オブジェクトが含まれるように、前記複数の仮想視点画像における前記仮想オブジェクトを表示させる表示領域を制御する制御手段とを有することを特徴とする画像処理装置。
【請求項１５】
複数のカメラによりそれぞれ異なる方向から被写体が撮影されることで得られる複数の撮影画像と仮想視点の指定に応じた情報とに基づいて、前記複数の撮影画像には含まれない仮想オブジェクトが挿入された仮想視点画像が生成されるシステムに含まれる画像処理装置であって、
仮想視点画像の生成に係る仮想視点の移動経路を特定するための視点情報を取得する取得手段と、
前記取得手段により取得される視点情報から特定される移動経路上を移動する仮想視点に対応する複数の仮想視点画像であって時間的に連続する複数の仮想視点画像において所定の被写体が前記仮想オブジェクトに遮蔽されないように、前記複数の仮想視点画像における前記仮想オブジェクトを表示させる表示領域を制御する制御手段とを有することを特徴とする画像処理装置。
【請求項１６】
複数のカメラによりそれぞれ異なる方向から被写体が撮影されることで得られる複数の撮影画像と仮想視点の指定に応じた情報とに基づいて、前記複数の撮影画像には含まれない仮想オブジェクトが挿入された仮想視点画像を生成する画像生成方法であって、
仮想視点画像の生成に係る仮想視点の移動経路を特定するための視点情報を取得する取得工程と、
前記取得工程において取得される視点情報から特定される前記移動経路上の第１時点の仮想視点に対応する仮想視点画像における表示領域であって前記仮想オブジェクトを表示させる表示領域を、前記第１時点の仮想視点と、前記移動経路上の仮想視点であって前記第１時点とは異なる第２時点の仮想視点とに基づいて決定する制御工程とを有することを特徴とする画像生成方法。
【請求項１７】
前記制御工程は、前記第１時点の仮想視点に対応する仮想視点画像における前記仮想オブジェクトの位置、大きさ、形状及び向きの少なくとも何れかを、前記第１時点の仮想視点と前記第２時点の仮想視点とに基づいて決定することを特徴とする請求項１６に記載の画像生成方法。
【請求項１８】
前記制御工程は、３次元空間における固定位置であって仮想視点の移動に伴って変化しない固定位置を、前記仮想オブジェクトの位置として前記移動経路に基づいて決定し、且つ、当該決定された固定位置に基づいて前記表示領域を決定することを特徴とする請求項１６又は１７に記載の画像生成方法。
【請求項１９】
コンピュータを、請求項１乃至１５の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想視点画像を生成する技術に関するものである。
【背景技術】
【０００２】
従来、異なる位置に設置された複数のカメラにより複数の方向から被写体を撮影し、当該撮影により得られた複数の撮影画像（複数視点画像）を用いて仮想視点画像を生成する技術が提案されている。このように複数視点画像から仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが可能になり、通常の撮影画像よりも視聴者に高臨場感を与えることが出来る。
【０００３】
特許文献１には、複数視点画像には含まれない仮想オブジェクトとしての広告を、複数視点画像に含まれる現実の対象物に貼り付けるように、仮想視点画像に挿入して表示させることが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−４８６３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、仮想視点画像の生成に係る仮想視点が移動する場合に、仮想視点画像の適切な領域に仮想オブジェクトが表示されない場合が考えられる。例えば、仮想視点画像に含まれるべき仮想オブジェクトが仮想視点の移動に伴って仮想視点画像に含まれなくなってしまう虞がある。また例えば、仮想視点画像に含まれる重要度の高い被写体が、仮想視点の移動に伴って仮想オブジェクトにより遮蔽されてしまう虞がある。
【０００６】
本発明は上記の課題に鑑みてなされたものであり、仮想視点画像の生成に係る仮想視点が移動する場合において、仮想視点画像のより適切な領域に仮想オブジェクトを表示させることを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、本発明に係る画像処理装置は、例えば以下の構成を有する。すなわち、複数のカメラによりそれぞれ異なる方向から被写体が撮影されることで得られる複数の撮影画像と仮想視点の指定に応じた情報とに基づいて、前記複数の撮影画像には含まれない仮想オブジェクトが挿入された仮想視点画像が生成されるシステムに含まれる画像処理装置であって、仮想視点画像の生成に係る仮想視点の移動経路を特定するための視点情報を取得する取得手段と、前記取得手段により取得される視点情報から特定される前記移動経路上の第１時点の仮想視点に対応する仮想視点画像における表示領域であって、前記仮想オブジェクトを表示させる表示領域を、前記第１時点の仮想視点と、前記移動経路上の仮想視点であって前記第１時点とは異なる第２時点の仮想視点とに基づいて決定する制御手段とを有する。
【発明の効果】
【０００８】
本発明によれば、仮想視点画像の生成に係る仮想視点が移動する場合において、仮想視点画像のより適切な領域に仮想オブジェクトを表示させることができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理システム１０の構成を説明するための図である。
【図２】画像処理装置２のハードウェア構成について説明するための図である。
【図３】仮想オブジェクトの配置及び仮想視点の移動経路について説明するための図である。
【図４】制御装置３による仮想視点画像の生成に係る処理について説明するためのフローチャートである。
【図５】画像処理装置２による仮想オブジェクトの挿入に係る処理について説明するためのフローチャートである。
【図６】画像処理装置２による仮想オブジェクトの位置決定に係る処理について説明するためのフローチャートである。
【図７】仮想オブジェクトの位置の決定方法について説明するための図である。
【図８】仮想オブジェクトの向き及び形状の決定方法について説明するための図である。
【図９】仮想視点画像における仮想オブジェクトの表示例について説明するための図である。
【図１０】仮想オブジェクトを複数配置する場合における、仮想オブジェクトの位置の決定方法について説明するための図である。
【図１１】画像処理装置２による仮想オブジェクトの調整に係る処理について説明するためのフローチャートである。
【図１２】仮想オブジェクトの調整方法について説明するための図である。
【発明を実施するための形態】
【００１０】
［システム構成］
図１は、本実施形態に係る画像処理システム１０の全体構成の例を表す図である。画像処理システム１０は、複数視点画像保持部１（以降、保持部１）、画像処理装置２、制御装置３及び仮想視点画像保持部４（以降、保持部４）を有する。
【００１１】
なお、本実施形態における仮想視点画像は、仮想的な視点から被写体を撮影した場合に得られる画像である。言い換えると、仮想視点画像は、指定された視点における見えを表す画像である。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。なお、本実施形態において仮想視点画像は、画像処理システム１０において生成される動画の各フレームに対応する。すなわち画像処理システム１０は、時間的に連続する複数の仮想視点画像から構成される動画を生成する。また、本実施形態におけるユーザは、制御装置３を操作して仮想視点画像の生成を制御する操作者であり、画像処理システム１０から配信される仮想視点画像を見る視聴者とは区別されるものとする。ただし、操作者と視聴者が同一のユーザであってもよい。
【００１２】
保持部１は、複数のカメラによりそれぞれ異なる方向から被写体が撮影されることで得られる複数の撮影画像（複数視点画像）を保持し、画像処理装置２に送信する。複数のカメラは、例えば競技場のフィールドやライブステージなどを取り囲むように設置され、同期して撮影を行う。ただし、複数のカメラはフィールドやステージなどの被写体を複数の方向から撮影できるように設置されていればよく、被写体の周囲全体にわたって設置されていなくてもよい。本実施形態では、複数のカメラそれぞれから保持部１に撮影画像が送信され、保持部１がそれらの撮影画像を画像処理装置２に送信するものとする。ただしこれに限らず、複数のカメラから画像処理装置２へ撮影画像が直接送信されてもよい。また、保持部１が保持する画像や画像処理装置２へ送信される画像が、撮影画像そのものではなく、例えば複数の撮影画像の差分に基づいて生成された画像などであってもよい。
【００１３】
画像処理装置２は、仮想視点画像生成部２０１（以降、画像生成部２０１）、仮想オブジェクト配置決定部２０２（以降、配置決定部２０２）及び仮想オブジェクトモデル化部２０３（以降、モデル化部２０３）を有する。
【００１４】
画像生成部２０１は、保持部１から取得した複数視点画像から、被写体の形状を表す３次元モデルを生成する。そして画像生成部２０１は、制御装置３の仮想カメラパス生成部３０２（以降、パス生成部３０２）から取得した仮想カメラパスに応じて、被写体の３次元モデルに色や質感を表すテクスチャをマッピングし、仮想視点画像を生成する。なお、画像処理装置２が仮想視点画像を生成する方法はこれに限らず、例えば、画像処理装置２は３次元モデルを生成せず撮影画像を変形したり合成したりすることで仮想視点画像を生成してもよい。
仮想カメラパスとは、仮想視点画像の生成に係る仮想視点の移動経路を特定するための視点情報であり、ユーザによる仮想視点の指定に応じて制御装置３により生成される。なお、本実施形態の仮想カメラパスには、視点の位置を特定するための情報と視線の方向を特定するための情報が含まれるものとする。ただしこれに限らず、仮想カメラパスには視線の方向に関する情報が含まれなくてもよい。この場合には例えば、仮想カメラパスから特定される視点の位置と、予め定められた注視点の位置とに基づいて、仮想視点に係る視線の方向が決定されてもよい。また仮想カメラパスには、画角などその他のパラメータが含まれていてもよい。
【００１５】
また、画像生成部２０１は、モデル化部２０３から取得した仮想オブジェクトのモデルを被写体の３次元モデルと合成し、仮想オブジェクトのテクスチャをモデルにマッピングすることで、仮想オブジェクトを含む仮想視点画像を生成する。そして画像生成部２０１は、生成した仮想視点画像を制御装置３の仮想視点画像編集部３０１（編集部３０１）に出力する。仮想オブジェクトとは、複数視点画像には含まれず仮想視点画像に含まれる仮想的なオブジェクトである。なお本実施形態では、仮想オブジェクトが、仮想視点画像に広告を表示させるための面状のオブジェクトである場合を中心に説明する。ただし、仮想オブジェクトの形状や使用目的はこれに限らない。例えば仮想オブジェクトには、試合の途中経過に関する情報が表示されてもよいし、人物などの被写体を説明する文字や画像が表示されてもよい。また、仮想オブジェクトは例えば直方体や球体など立体形状のオブジェクトであってもよい。
【００１６】
配置決定部２０２は、パス生成部３０２から取得した仮想カメラパスと制御装置３の仮想オブジェクト情報保持部３０３（以降、情報保持部３０３）から取得した配置候補情報から、仮想オブジェクトの配置情報を生成する。そして配置決定部２０２は、生成した配置情報をモデル化部２０３に出力する。ここで、配置候補情報とは、被写体が存在する３次元空間（例えばスタジアム内）における仮想オブジェクトを配置する候補となる領域を示す情報である。また、仮想オブジェクトの配置情報とは、仮想オブジェクトの位置、大きさ、形状及び向きの少なくとも何れかに関する情報である。なお、仮想オブジェクトの位置、大きさ、形状及び向きのすべてが配置情報により特定されてもよいし、仮想オブジェクトの位置、大きさ、形状及び向きの少なくとも何れかが配置情報に依らない既定の値として設定されていてもよい。配置決定部２０２が仮想オブジェクトの配置を決定する方法の詳細については後述する。
【００１７】
ここで図３を用いて、仮想オブジェクトの配置候補について説明する。図３に示す例では、サッカー用のフィールドの周囲に仮想オブジェクトの配置候補領域５が存在する。配置候補領域５は領域５ａから領域５ｅの複数の領域により構成されており、領域５ａはさらにサブ領域５１ａからサブ領域５１ｎの複数の領域に分割されている。配置候補領域５は、領域５ａや領域５ｂのようにフィールドの側面全体にわたって配置されていてもよいし、領域５ｃや領域５ｄで示したようにサッカーゴールなどの所定の被写体の近傍を避けて配置されていてもよい。なお、領域５ａから領域５ｄは３次元領域であり、領域５ｅはフィールド面に垂直な２次元領域である。なお、配置候補領域５は図３に示すものに限らず、例えばフィール内や上空であってもよい。
【００１８】
モデル化部２０３は、配置決定部２０２から取得した仮想オブジェクトの配置情報と情報保持部３０３から取得した仮想オブジェクト情報から、仮想オブジェクトの３次元モデルを生成する。仮想オブジェクト情報には、仮想オブジェクトの形状やテクスチャに関する情報などが含まれる。また仮想オブジェクト情報には、当該仮想オブジェクトにより表示される広告を識別するための識別子などが含まれてもよい。そしてモデル化部２０３は、生成した仮想オブジェクトのモデルと、そのモデルにマッピングするためのテクスチャとを、画像生成部２０１に出力する。
【００１９】
制御装置３は、編集部３０１、パス生成部３０２及び情報保持部３０３を有する。編集部３０１は、ユーザによる操作を受け付け、受け付けた操作に応じて画像処理装置２に対する指示を行う。例えば、編集部３０１はジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウスなどの操作部を有し、当該操作部によりユーザの操作を受け付ける。また編集部３０１は表示部を有し、ユーザに対してＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）や画像処理装置２により生成された仮想視点画像などを表示する。
【００２０】
編集部３０１は具体的には、仮想視点画像を生成する画像処理装置２に対して、どのシーン（撮影時点）の複数視点画像に基づく仮想視点画像を生成するかを指示したり、生成される動画の再生速度の調整や一時停止を指示したりする。また編集部３０１は、ユーザによる仮想視点の指定に基づいてパス生成部３０２に仮想カメラパスの生成を指示し、仮想視点画像への仮想オブジェクトの挿入を配置決定部２０２に指示する。また編集部３０１は、指示に基づいて画像生成部２０１が生成した仮想視点画像を取得し、ユーザに対してプレビューを行う。また、編集部３０１は、プレビューした仮想視点画像をユーザの指示に応じて破棄したり保持部４へ出力したりする。
【００２１】
パス生成部３０２は、編集部３０１から仮想カメラパス生成指示を受けると、指示に基づいて仮想視点の移動経路上における視点の位置や視線の向きを決定し、時間的に連続する複数の仮想カメラパラメータからなる仮想カメラパスを生成する。各仮想カメラパラメータは、仮想視点の位置や向きを表すパラメータであり、フレーム番号やタイムコードなど、どのシーンに対応するパラメータであるかを特定するための情報に関連づけられている。また、パス生成部３０２は、生成した仮想カメラパスを配置決定部２０２に渡す。なお、仮想カメラパスの情報の形式はこれに限らない。
【００２２】
ここで図３を用いて、仮想視点の移動経路の例を示す。図３に示す例では、ゴールに向かって軌跡８に沿って移動するボール等の注目オブジェクトを後方から追うように、仮想視点の移動経路７が設定されている。パス生成部３０２により生成される仮想カメラパスは、例えばこの移動経路７を特定する情報である。仮想カメラパスには、移動経路７上の仮想視点６ａから仮想視点６ｆまでのそれぞれに対応する仮想カメラパラメータが含まれる。すなわちこの例では、６フレーム分の仮想視点を特定する仮想カメラパスが生成される。ユーザが編集部３０１を介して移動経路７を指定する際には、移動経路７を示す線を指定してもよいし、移動経路上のいくつかの仮想視点（例えば仮想視点６ａ、仮想視点６ｄ及び仮想視点６ｆ）を点として指定してもよい。点が指定された場合には、パス生成部３０２は、例えばスプライン補間などの方法により残りの仮想視点（仮想視点６ｂ、仮想視点６ｃ及び仮想視点６ｅ）を算出してもよい。スプライン補間とは、指定された点またはその近傍を通る曲線を生成する方法である。
【００２３】
情報保持部３０３は、仮想オブジェクトの配置候補情報および仮想オブジェクト情報を保持する。そして情報保持部３０３は、配置決定部２０２からの要求に従い、保持している配置候補情報を配置決定部２０２に出力する。また情報保持部３０３は、モデル化部２０３からの要求に従い、保持している仮想オブジェクト情報をモデル化部２０３に出力する。
【００２４】
保持部４は、画像処理装置２により生成された仮想視点画像を、編集部３０１を介して取得し保持する。そして保持部４により保持された仮想視点画像は、視聴者が有する再生装置などに対して出力される。なお、保持部４により保持された仮想視点画像はさらなる編集処理が行われてから視聴者に配信されてもよい。また、画像処理システム１０により生成された仮想視点画像はリアルタイムに配信されてもよい。
【００２５】
なお、本実施形態では、仮想オブジェクトの配置を決定する配置決定部２０２と、配置決定部２０２による決定に応じて仮想視点画像を生成する画像生成部２０１とがいずれも画像処理装置２に含まれるものとする。ただしこれに限らず、例えば画像生成部２０１が画像処理装置２とは異なる画像生成装置の内部に存在してもよい。そしてこの場合、配置決定部２０２は仮想オブジェクトの位置、大きさ、形状及び向きの少なくとも何れかに関する情報をその画像生成装置へ出力することで、仮想視点画像における仮想オブジェクトを表示させる領域を制御してもよい。また、配置決定部２０２やモデル化部２０３などが制御装置３の内部に存在してもよい。
【００２６】
［ハードウェア構成］
続いて、画像処理装置２のハードウェア構成について、図２を用いて説明する。なお、制御装置３のハードウェア構成も画像処理装置２と同様である。画像処理装置２は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信部２１７、及びバス２１８を有する。ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて画像処理装置２の全体を制御する。なお、画像処理装置２がＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を有し、ＣＰＵ２１１による処理の少なくとも一部をＧＰＵが行ってもよい。ＲＯＭ２１２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信部２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、静止画や動画などのコンテンツデータを記憶する。
【００２７】
表示部２１５は、例えば液晶ディスプレイ等で構成され、ユーザが画像処理装置２を操作するためのＧＵＩなどを表示する。操作部２１６は、例えばキーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。通信部２１７は、保持部１や制御装置３などの外部の装置と通信を行う。例えば、画像処理装置２が外部の装置と有線で接続される場合には、ＬＡＮケーブル等が通信部２１７に接続される。なお、画像処理装置２が外部の装置と無線通信する機能を有する場合、通信部２１７はアンテナを備える。バス２１８は、画像処理装置２の各部を繋いで情報を伝達する。
【００２８】
なお、本実施形態では表示部２１５と操作部２１６は画像処理装置２の内部に存在するが、画像処理装置２は表示部２１５及び操作部２１６の少なくとも一方を備えていなくてもよい。また、表示部２１５及び操作部２１６の少なくとも一方が画像処理装置２の外部に別の装置として存在していて、ＣＰＵ２１１が、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作してもよい。
【００２９】
［動作フロー］
次に図４を用いて、制御装置３による仮想視点画像の生成に係る処理について説明する。図４に示す処理は、仮想視点画像の生成を開始するためのユーザによる操作を編集部３０１が受け付けたタイミングで開始される。ユーザによる操作は、例えば、競技中に撮影された撮影画像からリプレイ画像としての仮想視点画像を生成する際に行われる。ユーザは制御装置３の表示部２１５を見ながら操作部２１６を介して操作を行う。ただし、図４に示す処理の開始タイミングは上記タイミングに限定されない。図４に示す処理は、制御装置３のＣＰＵ２１１がＲＯＭ２１２に格納されたプログラムをＲＡＭ２１３に展開して実行することで実現される。なお、図４に示す処理の少なくとも一部を、ＣＰＵ２１１とは異なる専用のハードウェアにより実現してもよい。
【００３０】
Ｓ１において、編集部３０１は、ユーザによるシーン決定操作に応じて、生成対象となる仮想視点画像の動画の開始フレームと終了フレームを決める。Ｓ２において、編集部３０１は、ユーザによる仮想視点の指定に基づいてパス生成部３０２を制御し、仮想カメラパスを生成して画像処理装置２へ出力する。なお編集部３０１は、動画の再生速度の指定をユーザから受け付け、再生速度に関する情報を仮想カメラパスに含めてもよい。
【００３１】
Ｓ３において、編集部３０１は、ユーザによる操作に基づいて、仮想視点画像に仮想オブジェクトを挿入するか否かを判断する。例えばユーザは、仮想オブジェクトとしての広告を仮想視点画像に挿入する場合、制御装置３により表示されるＧＵＩ上の広告挿入項目にチェックを入れてから仮想視点画像を生成するボタンをクリックする。一方、仮想視点画像に広告を挿入しない場合、ユーザは、広告挿入項目にチェックを入れずに仮想視点画像を生成するボタンをクリックする。
【００３２】
仮想オブジェクトを挿入すると判断された場合（Ｓ３のＹＥＳ）、編集部３０１はＳ４において、画像処理装置２に仮想オブジェクトの挿入を指示し、情報保持部３０３を制御して仮想オブジェクト情報と配置候補情報を画像処理装置２へ出力する。そして編集部３０１は、Ｓ５において、画像処理装置２により生成された仮想オブジェクトを含む仮想視点画像を取得する。画像処理装置２による仮想オブジェクトの挿入処理については、図５を用いて後述する。一方、仮想オブジェクトを挿入しないと判断された場合（Ｓ３のＮＯ）、編集部３０１はＳ５において、画像処理装置２により生成された仮想オブジェクトを含まない仮想視点画像を取得する。
【００３３】
Ｓ６において、編集部３０１は、画像処理装置２から取得した仮想視点画像を、ユーザが確認できるようにプレビューする。ユーザはプレビューを確認して、必要に応じて仮想カメラパスの修正などの調整を行うことができる。Ｓ７において、編集部３０１は、ユーザが所望する仮想視点画像の生成に成功したか否かを、ユーザによる操作に基づいて判断する。生成に成功したと判断された場合（Ｓ７のＹＥＳ）、編集部３０１はＳ１０において、生成された仮想視点画像の動画を保持部４に出力して記憶させ、処理を終了する。
【００３４】
一方、生成に失敗したと判断された場合（Ｓ７のＮＯ）、編集部３０１はＳ８において、仮想カメラパスの修正を行うか否かをユーザ操作に基づいて判断する。仮想カメラパスを修正すると判断された場合（Ｓ８のＹＥＳ）、Ｓ２に戻って新たな仮想カメラパスを生成し、仮想視点画像の生成指示をやり直す。また仮想カメラパスを修正しないと判断された場合（Ｓ８のＮＯ）、編集部３０１はＳ９において仮想視点画像を破棄し、処理を終了する。
【００３５】
次に図５を用いて、画像処理装置２による仮想オブジェクトの挿入に係る処理について説明する。図５に示す処理は、配置決定部２０２が制御装置３から仮想オブジェクトの挿入指示を受け付けたタイミングで開始される。ただし、図５に示す処理の開始タイミングは上記タイミングに限定されない。図５に示す処理は、画像処理装置２のＣＰＵ２１１がＲＯＭ２１２に格納されたプログラムをＲＡＭ２１３に展開して実行することで実現される。なお、図５に示す処理の少なくとも一部を、ＣＰＵ２１１とは異なる専用のハードウェアにより実現してもよい。
【００３６】
Ｓ４１において、モデル化部２０３は、情報保持部３０３から仮想オブジェクト情報を取得する。Ｓ４２において、配置決定部２０２は、情報保持部３０３から仮想オブジェクトの配置候補情報を取得する。なお、図４のＳ８における判断に基づいて仮想視点画像の生成がやり直されている場合などには、Ｓ４１およびＳ４２の処理が省略されてもよい。Ｓ４３において、画像生成部２０１および配置決定部２０２は、パス生成部３０２から仮想カメラパスを取得する。なお、Ｓ４１、Ｓ４２およびＳ４３の処理は実行される順番が図５に示すものと異なっていてもよいし、これらの処理が並行して行われてもよい。
【００３７】
Ｓ４４において、配置決定部２０２は、取得した配置候補情報及び仮想カメラパスに基づいて仮想オブジェクトの配置を決定し、決定結果に応じて配置情報を生成する。仮想オブジェクトの配置決定方法の詳細については、図６等を用いて後述する。配置決定部２０２により生成される配置情報は、モデル化部２０３に出力される。Ｓ４５において、モデル化部２０３は、取得した仮想オブジェクト情報および配置情報に基づいて、仮想視点画像に挿入する仮想オブジェクトの３次元モデルを生成し画像生成部２０１へ出力する。Ｓ４６において、モデル化部２０３は、取得した仮想オブジェクト情報に基づくテクスチャを画像生成部２０１に出力する。なお、Ｓ４５の処理とＳ４６の処理の順番は逆であってもよいし、これらの処理が並行して行われてもよい。Ｓ４７において、画像生成部２０１は、仮想オブジェクトのモデル及びテクスチャを用いて仮想視点画像を生成し、生成した仮想視点画像を制御装置３へ出力して処理を終了する。
【００３８】
以上のように、配置決定部２０２により生成される配置情報に基づいて仮想オブジェクトのモデルが生成され、画像生成部２０１において仮想視点画像に仮想オブジェクトが合成される。すなわち配置決定部２０２は、取得した仮想カメラパスに基づいて仮想オブジェクトの位置に関する配置情報を生成し出力することで、仮想視点画像における仮想オブジェクトを表示させる表示領域を、仮想視点の移動経路に応じて制御することができる。
【００３９】
［処理の詳細］
図６を用いて、画像処理装置２による仮想オブジェクトの位置決定に係る処理について説明する。図６（ａ）は、図５のＳ４４における処理の詳細を表している。Ｓ４４１において、配置決定部２０２は、配置候補情報が示す複数の候補領域のうち、仮想カメラパスに応じて移動する仮想視点の視界に長く映る領域（仮想視点画像の動画に長い期間表示される領域）を、仮想オブジェクトを配置する領域として特定する。
【００４０】
すなわち配置決定部２０２は、仮想カメラパスから特定される移動経路上の複数の仮想視点それぞれに対応する複数の仮想視点画像のうち所定数以上の仮想視点画像に仮想オブジェクトが含まれるように、配置を決定する。この所定数は、仮想カメラパスに含まれる仮想カメラパラメータの数などに基づいて決まる値であってもよいし、ユーザにより指定された値であってもよい。また所定値は、各候補領域が上記複数の仮想視点画像のうちいくつの仮想視点画像に含まれるかに基づいて決まる値であってもよい。本実施形態では、最も多くの仮想視点画像に含まれる候補領域が、仮想オブジェクトが配置される領域として特定される場合を中心に説明する。なお、上記複数の仮想視点画像のすべてに仮想オブジェクトが表示されるような候補領域が存在する場合には、その候補領域を仮想オブジェクトの配置領域として特定する。本実施形態において、このようにして決定される仮想オブジェクトの位置は、３次元空間における固定位置であり、仮想視点の移動に伴って変化しない。
【００４１】
Ｓ４４２において、配置決定部２０２は、特定された領域に配置される仮想オブジェクトの向きや形状などを、仮想視点の移動経路に基づいて決定する。なお、仮想オブジェクトの向きや形状は、仮想視点に依らず予め設定されていてもよい。また、図３の領域５ｅのように候補領域が２次元領域である場合などには、仮想オブジェクトの向きは一意に決まる。
【００４２】
次に、仮想オブジェクトを配置する領域を特定する処理について、図６（ｂ）および図７を用いて説明する。図６（ｂ）は、図６（ａ）のＳ４４１における処理の詳細を表している。Ｓ４４１１において、配置決定部２０２は、仮想カメラパスの先頭の仮想カメラパラメータを解析して、動画の開始フレームにおける仮想視点６ａの視界を特定する。Ｓ４４１２において、配置決定部２０２は、仮想オブジェクトの配置候補領域５に含まれるサブ領域５１のそれぞれが、仮想視点６ａの視界に含まれるか否かを判定する。
【００４３】
Ｓ４４１３において、配置決定部２０２は、サブ領域５１それぞれについて、当該サブ領域が仮想視点６の視界内となったフレーム数を示すカウンタの値を更新する。開始フレームにおける仮想視点６ａが図７（ａ）に示す視界６１ａを有する場合、領域５ａのうち太枠で囲まれた部分に含まれるサブ領域５１が仮想視点６ａの視界内となるので、これらのサブ領域５１のカウンタの値が０から１に更新される。Ｓ４４１４において、配置決定部２０２は、未処理の仮想カメラパラメータがあるか否かを判定する。未処理の仮想カメラパラメータがあると判定されると（Ｓ４４１４のＹＥＳ）、配置決定部２０２は次の仮想カメラパラメータを解析対象とし（Ｓ４４１５）、Ｓ４４１１に戻る。
【００４４】
仮想視点６が図７（ｂ）に示すように仮想視点６ｂに移動した場合、太枠で囲まれた部分に含まれるサブ領域５１が仮想視点６ｂの視界６１ｂ内となるので、これらのサブ領域５１のそれぞれについてカウンタの値が更新される。図７（ｂ）の例では、視界内から視界外に変化したサブ領域５１のカウンタの値は１のままであり、視界内のままのサブ領域５１のカウンタの値は１から２に更新される。同様に、図７（ｃ）、図７（ｄ）、図７（ｅ）及び図７（ｆ）に示すように仮想視点６が移動し、仮想視点６ｆが動画の終了フレームにおける仮想視点である場合、全仮想カメラパラメータを解析した時点でのカウンタは、図７（ｆ）に示すような値となる。Ｓ４４１４において未処理の仮想カメラパラメータがないと判定されると（Ｓ４４１４のＮＯ）、Ｓ４４１６へ進む。
【００４５】
Ｓ４４１６において、配置決定部２０２は、カウンタの値が最大となったサブ領域５１を特定する。図７（ｆ）の例では、カウンタの値が６となったサブ領域５１ｆ、サブ領域５１ｇ及びサブ領域５１ｈが特定される。Ｓ４４１７において、配置決定部２０２は、特定されたサブ領域５１のうち隣接するサブ領域５１の数から、仮想オブジェクトを配置する領域として十分なサイズの領域が特定されているか否かを判定する。この判定は具体的には、特定された隣接するサブ領域５１の数が、仮想オブジェクトの既定の大きさに対応する閾値以上であるか否かの判定である。なおこれに限らず、例えば特定された隣接するサブ領域５１の数の、サブ領域５１の総数に対する割合が閾値と比べられてもよい。
【００４６】
特定されたサブ領域５１の数と比較される閾値を５とした場合、図７（ｆ）の例では、特定されたサブ領域５１の数が３となるので、仮想オブジェクトを配置する領域として十分なサイズの領域が特定されていないと判定される（Ｓ４４１７のＹＥＳ）。この場合、Ｓ４４１８において、配置決定部２０２は、特定されたサブ領域５１に隣接するサブ領域５１のうちカウンタの値が大きいサブ領域５１を追加で特定する。図７（ｆ）の例では、サブ領域５１ｅおよび５１ｉが特定されたサブ領域５１に隣接しており、どちらもカウンタの値が５であるので、新たに特定されたサブ領域は５１ｅから５１ｉまでの５つとなる。
【００４７】
サブ領域５１が追加で特定されることにより、図７（ｆ）の例では特定されたサブ領域５１の数が５となるので、仮想オブジェクトを配置する領域として十分なサイズの領域が特定されていると判定される（Ｓ４４１７のＮＯ）。この場合、Ｓ４４１９において、配置決定部２０２は、特定されたサブ領域５１を仮想オブジェクトの配置領域５２として決定し、配置情報を生成する。仮想視点の移動経路７に基づいて決定された配置領域５２を図７（ｇ）に示す。配置決定部２０２が生成した配置情報には、競技場など被写体が存在する３次元空間における仮想オブジェクトの位置（配置領域５２）を特定するための情報が含まれる。例えば、配置領域５２を表す矩形の頂点や中央の座標、当該矩形の縦や横の長さなどが配置情報に含まれる。
【００４８】
次に、仮想オブジェクトの形状を決定する処理について、図６（ｃ）および図８を用いて説明する。図６（ｃ）は、図６（ａ）のＳ４４２における処理の詳細を表している。Ｓ４４２１において、配置決定部２０２は、仮想カメラパスの先頭の仮想カメラパラメータを解析し、仮想視点６と配置領域５２との位置関係に対応する仮想オブジェクトの形状５３を特定する。開始フレームにおける仮想視点６ａが図８（ａ）に示す位置および向きである場合、仮想視点６ａの視線に垂直となるような仮想オブジェクト形状５３ａが特定される。Ｓ４４２２において、配置決定部２０２は、未処理の仮想カメラパラメータがあるか否かを判定する。未処理の仮想カメラパラメータがあると判定されると（Ｓ４４２２のＹＥＳ）、配置決定部２０２は次の仮想カメラパラメータを解析対象とし（Ｓ４４２３）、Ｓ４４２１に戻る。
【００４９】
仮想視点６が図８（ｂ）に示すように仮想視点６ｂに移動した場合、仮想視点６ｂの視線に垂直な仮想オブジェクト形状５３ｂが特定される。同様に、仮想視点６が図８（ｃ）および図８（ｄ）に示す仮想視点６ｃおよび仮想視点６ｄに移動した場合、それぞれ、仮想視点６ｃの視線および仮想視点６ｄの視線に垂直な仮想オブジェクト形状５３ｃおよび仮想オブジェクト形状５３ｄが特定される。一方、仮想視点６が図８（ｅ）および図８（ｆ）に示す仮想視点６ｅおよび仮想視点６ｆに移動した場合、配置領域５２内に仮想オブジェクトが収まるようにすると、仮想視点６の視線に垂直な仮想オブジェクト形状５３はサイズが小さくなってしまう。そこで、仮想オブジェクトのサイズが小さくなり過ぎないように、仮想視点６ｅの視線および仮想視点６ｆの視線に垂直ではない仮想オブジェクト形状５３ｅおよび仮想オブジェクト形状５３ｆが特定される。Ｓ４４２２において未処理の仮想カメラパラメータがないと判定されると（Ｓ４４２２のＹＥＳ）、Ｓ４４２４へ進む。
【００５０】
Ｓ４４２４において、配置決定部２０２は、Ｓ４４２１において特定された仮想オブジェクト形状５３の変化に基づいて、実際に配置される仮想オブジェクトの形状５３を決定する。例えば、仮想オブジェクト形状５３ａから仮想オブジェクト形状５３ｆまでのように特定された仮想オブジェクト形状５３が大きく変化する場合に、実際に配置される形状５３を図８（ｇ）の仮想オブジェクト形状５３ｇのような円弧状に決定してもよい。また、形状５３ａから形状５３ｃまでのように特定された仮想オブジェクト形状５３が大きく変化しない場合に、実際に配置される形状５３を図８（ｂ）の仮想オブジェクト形状５３ｂのように中間となる形状５３に決定してもよい。あるいは、形状５３ｅおよび形状５３ｆのように複数の仮想カメラパラメータに対して同じ形状５３が特定された場合に、実際に配置される仮想オブジェクト形状５３を図８（ｈ）の仮想オブジェクト形状５３ｈのように決定してもよい。すなわち、最も多くの仮想カメラパラメータに対して特定された形状５３が実際に配置される形状５３として決定されてもよい。このように決定された実際のオブジェクト形状５３に基づいて仮想視点画像が生成され、３次元空間における仮想オブジェクトの形状は仮想視点の移動に伴って変化しない。  図９は、配置決定部２０２が決定した仮想オブジェクト形状５３が図８（ｇ）の仮想オブジェクト形状５３ｇであった場合における、仮想視点画像における仮想オブジェクトの表示例を表している。図９（ａ）、図９（ｂ）および図９（ｃ）はそれぞれ、仮想視点６ａ、仮想視点６ｃおよび仮想視点６ｆに対応する表示例である。
【００５１】
以上のように配置決定部２０２は、取得した仮想カメラパスに基づいて仮想オブジェクトの位置や向き、形状などを制御することで、仮想視点画像における仮想オブジェクトを表示させる表示領域を制御する。特に本実施形態では、仮想カメラパスから特定される移動経路上の第１時点の仮想視点に対応する仮想視点画像における仮想オブジェクトを表示させる表示領域が、第１時点の仮想視点と、当該移動経路上の第２時点の仮想視点とに基づいて決定される。
【００５２】
図７や図８の例では、３次元空間における第１時点（仮想視点６が仮想視点６ｆに位置する時点）の仮想オブジェクトの位置が、第１時点の仮想視点（仮想視点６ｆ）と第２時点の仮想視点（仮想視点６ａなど）とに基づいて決定される。そして、当該決定された位置に基づいて、仮想視点画像における仮想オブジェクトを表示させる領域が決定される。ここで、３次元空間における第１時点の仮想オブジェクトの位置と第２時点の仮想オブジェクトの位置とは同一である。このような配置決定処理により、第１時点の仮想視点に対応する仮想視点画像の適切な領域に仮想オブジェクトを表示させ、且つ、第２時点の仮想視点に対応する仮想視点画像の適切な領域に仮想オブジェクトを表示させることができる。
【００５３】
なお、仮想オブジェクトの位置や形状、向きの決定方法は上述したものに限らない。例えば、仮想オブジェクトの一方の面に広告が表示され、他方の面には広告が表示されない場合を考える。この場合、広告が表示される面が、仮想カメラパスに応じて移動する仮想視点の視界に長く映ることが望ましい。そのため、配置決定部２０２は、仮想カメラパスから特定される移動経路上の仮想視点に対応する仮想視点画像に、仮想オブジェクトの面のうち広告が表示される面が含まれるように、仮想オブジェクトの向きを決定してもよい。この所定数は、仮想カメラパスに含まれる仮想カメラパラメータの数などに基づいて決まる値であってもよいし、ユーザにより指定された値であってもよい。
【００５４】
また、本実施形態では、仮想視点の移動経路に応じて仮想オブジェクトの位置、形状及び向きが配置決定部２０２により決定される場合を中心に説明した。ただしこれに限らず、仮想オブジェクトの位置、大きさ、形状及び向きの少なくとも何れかが仮想視点の移動経路に応じて決定されればよい。また、仮想オブジェクトにより表示される広告の内容などが仮想視点の移動経路に応じて決定されてもよい。
【００５５】
［仮想オブジェクトの複数配置］
次に図１０を用いて、仮想オブジェクトを複数配置する場合における、仮想オブジェクトの位置の決定方法について説明する。仮想視点６が仮想視点６ａから仮想視点６ｆまで移動する場合の移動経路７に応じて仮想オブジェクトを２つ配置する場合、配置決定部２０２は、移動経路７の前半と後半のそれぞれに対応する２つの配置領域５２を特定する。図１０の例では、仮想視点６ａ、仮想視点６ｂ及び仮想視点６ｃが移動経路７の前半に対応し、仮想視点６ｄ、仮想視点６ｅ及び仮想視点６ｆが移動経路７の後半に対応する。
【００５６】
移動経路７の前半において、図１０（ａ）、図１０（ｂ）および図１０（ｃ）に示すように、サブ領域５１のそれぞれについてカウンタの値が決まる。また移動経路７の後半において、図１０（ｄ）、図１０（ｅ）および図１０（ｆ）に示すように、サブ領域５１のそれぞれについて、前半のカウンタとは独立してカウンタの値が決まる。その結果、移動経路７の前半のカウンタ値に対応する配置領域５２としては図９（ｇ）に示す配置領域５２ａが特定され、移動経路７の後半のカウンタ値に対応する配置領域５２としては図９（ｈ）に示す配置領域５２ｄが特定される。配置決定部２０２は、特定した２つの配置領域５２が重複するサブ領域５１については、２つの仮想オブジェクトそれぞれのサイズが均等に近づくよう割り振る。その結果、仮想オブジェクトの実際の配置としては、図９（ｉ）に示すように、配置領域５２ａ’に一方の仮想オブジェクトが配置され配置領域５２ｄ’に他方の仮想オブジェクトが配置されるように決定される。このように決定された仮想オブジェクトの実際の配置に基づいて仮想視点画像が生成され、３次元空間における複数の仮想オブジェクトの配置は仮想視点の移動に伴って変化しない。
【００５７】
［仮想オブジェクトの配置調整］
以上の説明では、仮想視点の移動経路に基づいて仮想オブジェクトの配置が自動で決定されるものとしたが、決定された仮想オブジェクトの配置をユーザがさらに調整できるようにしてもよい。以下ではこの場合の画像処理システム１０について説明する。
【００５８】
編集部３０１によりプレビューされた仮想視点画像に対して、仮想オブジェクトを調整するための操作がユーザにより行われると、編集部３０１は、配置決定部２０２に対して仮想オブジェクトの調整指示を行う。そして配置決定部２０２は、編集部３０１から仮想オブジェクトの調整指示を受け付けると、生成済みの配置情報と調整指示に基づいて、仮想オブジェクトの配置を調整して配置情報を更新する。ここで調整指示には、例えばサイズの調整や位置の調整といった調整種別を示す情報と、１．１倍の拡大や１メートルの移動といった調整量を示す情報が含まれる。更新された配置情報は画像生成部２０１に出力され、仮想オブジェクトの配置が調整された仮想視点画像が生成される。
【００５９】
次に、仮想オブジェクトの調整に係る処理フローについて説明する。仮想オブジェクトの調整を行う場合のフローは、上述した図４の処理フローを一部修正したフローになる。具体的には、図４のＳ７において編集部３０１は、ユーザの所望する仮想視点画像の生成に失敗したと判断すると、仮想オブジェクトの調整を行うか否かを選択するための画像を表示部に表示し、ユーザによる操作を受け付ける。調整のためのユーザ操作が行われたと判断された場合には、編集部３０１は画像処理装置２に対して、調整種別や調整量を指定するユーザ操作に応じた調整指示を行い、Ｓ５に戻る。一方、調整のためのユーザ操作が行われないと判断された場合には、Ｓ８に進み、上述した図４の処理フローを実行する。
【００６０】
編集部３０１により調整指示が行われた場合、画像処理装置２は、図１１に示す処理を実行して配置情報を更新したのち、図５のＳ４５からＳ４７の処理を行う。これにより、調整された仮想オブジェクトを含む仮想視点画像が出力される。ここで図１１及び図１２を用いて、画像処理装置２による仮想オブジェクトの調整処理について説明する。図１１に示す処理は、画像処理装置２が制御装置３からの調整指示を受け付けたタイミングで開始される。ただし、図１１に示す処理の開始タイミングは上記タイミングに限定されない。図１１に示す処理は、画像処理装置２のＣＰＵ２１１がＲＯＭ２１２に格納されたプログラムをＲＡＭ２１３に展開して実行することで実現される。なお、図１１に示す処理の少なくとも一部を、ＣＰＵ２１１とは異なる専用のハードウェアにより実現してもよい。
【００６１】
Ｓ４０１において、配置決定部２０２は、編集部３０１から受け付けた調整指示の調整種別を特定する。Ｓ４０２において、配置決定部２０２は、特定された調整種別が仮想オブジェクトのサイズ調整であるか否かを判定する。調整種別がサイズ調整である場合（Ｓ４０２のＹＥＳ）、配置決定部２０２は、Ｓ４０３において調整量を特定し、Ｓ４０４において仮想オブジェクトのサイズを調整する。サイズの調整としては、例えば、仮想オブジェクトの幅及び高さを１０％増加させるような調整であってもよいし、仮想視点画像の仮想オブジェクトが占める領域の割合の最大値や最小値を指定するような調整であってもよい。
【００６２】
調整種別がサイズ調整でない場合（Ｓ４０２のＮＯ）、Ｓ４０５において配置決定部２０２は、調整種別が仮想オブジェクトの位置調整であるか否かを判定する。調整種別が位置調整であれば（Ｓ４０５のＹＥＳ）、配置決定部２０２は、Ｓ４０６において調整量を特定し、Ｓ４０７において仮想オブジェクトの位置を調整する。位置の調整としては、例えば、配置領域５２を仮想視点６から１メートル遠ざけるような調整であってもよいし、仮想視点画像の仮想オブジェクトが占める領域の割合が閾値以下となるように配置領域５２を仮想視点６から遠ざけるような調整であってもよい。Ｓ４０５において調整種別が位置調整でないと判定された場合（Ｓ４０５のＮＯ）又はＳ４０７の位置調整処理が終了した場合、配置決定部２０２は、Ｓ４０８において仮想オブジェクトの配置情報を更新し、図１１の処理を終了する。
【００６３】
ここで、例えば図１２（ａ）のように、仮想視点６ｇから仮想視点６ｈに移動するような移動経路７が指定され、それに応じて配置領域５２ｈおよび仮想オブジェクト形状５３ｈが決定されたとする。図１２（ｂ）はこの場合の仮想視点６ｈに対応する仮想視点画像を表している。このように仮想視点６と仮想オブジェクトとの距離が遠い場合、仮想視点画像における仮想オブジェクトが占める領域の割合が小さくなってしまう。そこで、例えば仮想オブジェクトにより広告が表示される場合には、視聴者が広告を視認しやすくなるように、仮想オブジェクトのサイズを調整することが有効である。
【００６４】
ユーザは、仮想視点画像のプレビューを確認して、仮想視点画像の仮想オブジェクトが占める領域の割合が小さすぎると判断した場合、制御装置３が表示するＧＵＩ等を介して、仮想オブジェクトのサイズを拡大する操作を行う。図１２（ａ）の例において、仮想オブジェクトの幅を仮想視点６から見て左側に２０％増やす操作が行われた場合、配置決定部２０２による調整により配置領域５２ｈが配置領域５２ｈ’のように変更される。これに伴い、仮想オブジェクト形状５３ｈは仮想オブジェクト形状５３ｈ’のように変更される。そして、仮想視点６ｈに対応する調整後の仮想視点画像は図１２（ｃ）のようになり、視聴者による仮想オブジェクトの視認性が向上する。
【００６５】
また別の例として、図１２（ｄ）のように、仮想視点６ｉから仮想視点６ｊに移動するような移動経路７が指定され、それに応じて配置領域５２ｊおよび仮想オブジェクト形状５３ｊが決定されたとする。図１２（ｅ）はこの場合の仮想視点６ｊに対応する仮想視点画像を表している。このように仮想視点６と仮想オブジェクトとの距離が近すぎる場合、仮想視点画像における仮想オブジェクトが占める領域の割合が大きくなりすぎてしまう。そこで、仮想オブジェクトが必要以上に目立ってしまい視聴者が現実の被写体に集中できなくなる虞を低減するために、仮想オブジェクトの位置を調整することが有効である。
【００６６】
ユーザは、仮想視点画像のプレビューを確認して、仮想視点画像の仮想オブジェクトが占める領域の割合が大きすぎると判断した場合、制御装置３が表示するＧＵＩ等を介して、仮想オブジェクトの位置を変更する操作を行う。図１２（ｄ）の例において、仮想オブジェクトの位置を仮想視点６から見て奥に１０メートル動かす操作が行われた場合、配置決定部２０２による調整により配置領域５２ｊが配置領域５２ｊ’のように変更される。そして、仮想視点６ｊに対応する調整後の仮想視点画像は図１２（ｆ）のようになり、仮想オブジェクトが必要以上に目立つことが抑制される。
【００６７】
以上のように、画像処理装置２は、仮想視点の移動経路に基づいて配置された仮想オブジェクトが仮想視点画像において小さすぎたり大きすぎたりした場合に、仮想オブジェクトのサイズや位置をユーザ操作に応じて調整する。これにより画像処理装置２は、視聴者に対して適切な視認性の仮想オブジェクトを含む仮想視点画像を提供することができる。
【００６８】
なお本実施形態では、配置決定部２０２が、被写体が存在する３次元空間における固定位置を仮想オブジェクトの位置として決定する場合について説明した。また仮想オブジェクトの３次元空間における形状や向きも、仮想視点の移動に伴って変化しないものとした。このように仮想オブジェクトを固定的に配置することにより、仮想視点画像に仮想オブジェクトが自然に溶け込むため、生成される仮想視点画像のユーザにとっての見やすさを向上することができる。ただしこれに限らず、仮想オブジェクトの３次元空間上における位置や大きさ、形状、向きなどが、時間の経過や仮想視点の移動に伴って変化してもよい。また、配置決定部２０２は、３次元空間における仮想オブジェクトの位置や大きさ、形状、向きなどを決定せず、２次元画像である仮想視点画像における仮想オブジェクトの位置や大きさ、形状、向きなどを、仮想視点の移動経路に応じて直接制御してもよい。
【００６９】
また本実施形態では、仮想視点画像の動画において仮想オブジェクトができるだけ長い時間表示されるように、仮想オブジェクトの配置が決定される場合を中心に説明した。このような配置決定方法によれば、例えば仮想オブジェクトが広告である場合には、視聴者に対する広告効果を高くすることができる。ただし、仮想オブジェクトの配置決定方法はこれに限らない。例えば、配置決定部２０２は、仮想カメラパスに対応する移動経路上の仮想視点に対応する仮想視点画像の仮想オブジェクト非表示領域に仮想オブジェクトが含まれないように、仮想オブジェクトの配置を決定してもよい。仮想オブジェクト非表示領域は例えば、仮想視点画像の中心部などユーザが指定できる領域であってもよいし、仮想視点画像における所定の被写体が表示されるべき領域であってもよい。これにより、仮想視点画像において視聴者にとって注目すべき被写体が見づらくなってしまう虞を低減することができる。
【００７０】
以上説明したように、本実施形態に係る画像処理システム１０は、複数のカメラによりそれぞれ異なる方向から被写体が撮影されることで得られる複数の撮影画像と、仮想視点の指定に応じた情報とに基づいて、仮想視点画像を生成する。そして、画像処理システム１０に含まれる画像処理装置２は、仮想視点画像の生成に係る仮想視点の移動経路を特定するための視点情報を取得する。また画像処理装置２は、該移動経路上の第１時点の仮想視点に対応する仮想視点画像における仮想オブジェクトを表示させる領域を、第１時点の仮想視点と、該移動経路上の仮想視点であって第１時点とは異なる第２時点の仮想視点に応じて異ならせる制御を行う。
【００７１】
このような構成によれば、例えば、仮想視点画像に含まれるべき仮想オブジェクトが仮想視点の移動に伴って仮想視点画像に含まれなくなってしまう虞が低減するように、仮想オブジェクトの配置を制御することができる。また例えば、仮想視点画像に含まれる重要度の高い被写体が、仮想視点の移動に伴って仮想オブジェクトにより遮蔽されてしまう虞が低減するように、仮想オブジェクトの配置を制御することもできる。すなわち、本実施形態に係る画像処理装置２によれば、仮想視点画像の生成に係る仮想視点が移動する場合において、仮想視点画像のより適切な領域に仮想オブジェクトを表示させることができる。
【００７２】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。
【符号の説明】
【００７３】
２  画像処理装置
３  制御装置
１０  画像処理システム
２０１  仮想視点画像生成部
２０２  仮想オブジェクト配置決定部
３０２  仮想カメラパス生成部
【図１】
2018142164.tif 000003
【図２】
2018142164.tif 000004
【図３】
2018142164.tif 000005
【図４】
2018142164.tif 000006
【図５】
2018142164.tif 000007
【図６】
2018142164.tif 000008
【図７】
2018142164.tif 000009
【図８】
2018142164.tif 000010
【図９】
2018142164.tif 000011
【図１０】
2018142164.tif 000012
【図１１】
2018142164.tif 000013
【図１２】
2018142164.tif 000014