(57)【要約】【課題】複数のカメラで撮影して得られた複数視点画像に基づいて、複数の異なる形式の仮想視点画像をユーザに提供できるようにする。【解決手段】画像生成サーバ１０４は、オブジェクトを複数の方向から撮影した複数視点画像を取得し、複数の所定の投影方式のうち指定された１以上の投影方式を示す指示情報を取得し、仮想視点を特定する視点情報を取得する。そして、画像生成サーバ１０４は、指示情報が示す１以上の投影方式に応じた１以上の仮想視点画像を、取得された複数視点画像と視点情報とに基づいて生成する。【選択図】図７
2020080101.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトを複数の方向から撮影した複数視点画像を取得する画像取得手段と、
複数の所定の投影方式のうち指定された１以上の投影方式を示す指示情報を取得する情報取得手段と、
仮想視点を特定する視点情報を取得する視点取得手段と、
前記情報取得手段により取得された指示情報が示す前記１以上の投影方式に応じた１以上の仮想視点画像を、前記画像取得手段により取得された複数視点画像と前記視点取得手段により取得された視点情報とに基づいて生成する生成手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記複数の投影方式は、２Ｄ方式、３Ｄ方式、パノラマ方式、及び３Ｄパノラマ方式の少なくともいずれかを含むことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記指示情報に、２Ｄ方式、３Ｄ方式、パノラマ方式、３Ｄパノラマ方式のうち２つ以上の投影方式の指定を含む場合、前記生成手段は、指定されたそれぞれの投影方式に従った仮想視点画像を生成することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記生成手段は、前記指示情報で、３Ｄ方式、パノラマ方式、３Ｄパノラマ方式が指定されていた場合、当該指定に係る投影方式において必要となる別の仮想視点を、前記視点情報で特定される仮想視点に基づき補完して、仮想視点画像を生成することを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記生成手段は、前記視点情報で特定される仮想視点の移動と回転を組み合わせることによって、前記別の仮想視点を補完することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記生成手段は、各投影方式に応じて予め定められた移動量と回転量を用いて、前記別の仮想視点を補完することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記生成手段は、各投影方式に応じて予め定められた、前記撮影を行う対象の３次元空間内における複数の位置と移動量及び回転量とを対応付けたＬＵＴを用いて、前記別の仮想視点を補完することを特徴とする請求項５に記載の情報処理装置。
【請求項８】
前記視点情報が複数である場合、前記生成手段は、各視点情報で特定される仮想視点のそれぞれに対応する仮想視点画像を生成することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
前記視点情報は、仮想カメラを操縦するコントローラから入力され、
前記複数の視点情報は、それぞれ異なるコントローラから入力される、
ことを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記生成手段は、前記指示情報において仮想視点画像の配信先が指定されていた場合、生成した仮想視点画像を、当該指定された配信先へ出力することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記複数視点画像には、撮影時のタイムコードが付されており、
前記生成手段は、
前記指示情報でオンデマンド配信による出力が指定されている場合は、ユーザ指示に基づくタイムコードを指定して取得した複数視点画像を用いて仮想視点画像を生成し、
前記指示情報でライブ配信による出力が指定されている場合は、自動で最新のタイムコードを順次指定して取得した複数視点画像を用いて仮想視点画像を生成する、
ことを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
請求項１乃至１１のいずれか１項に記載の情報処理装置に対し、前記指示情報を提供するための装置であって、
ユーザが前記指示情報を作成するためのユーザインタフェースと、
前記ユーザインタフェースにて作成された前記指示情報を、前記情報処理装置に送信する送信手段と、
を備えたことを特徴とする装置。
【請求項１３】
前記ユーザインタフェースは、前記指示情報において、複数の異なる投影方式を指定して、複数の仮想視点画像の生成を指定できるように構成されていることを特徴とする請求項１２に記載の装置。
【請求項１４】
前記ユーザインタフェースは、前記指示情報において、１つの仮想視点画像に対し複数の配信先を指定できるように構成されていることを特徴とする請求項１２に記載の装置。
【請求項１５】
請求項１乃至１１のいずれか１項に記載の情報処理装置と、請求項１１乃至１４のいずれか１項に記載の装置とを含むシステム。
【請求項１６】
複数台の前記情報処理装置を含み、前記指示情報で指定された内容に応じて、当該複数台の情報処理装置の中から使用する情報処理装置が決定されることを請求項１５に記載のシステム。
【請求項１７】
オブジェクトを複数の方向から撮影した複数視点画像を取得する画像取得手段と、
生成すべき仮想視点画像の投影方式及び生成すべき仮想視点画像の数の少なくとも何れかを示す指示情報を取得する情報取得手段と、
前記情報取得手段により取得された指示情報が示す投影方式の数及び仮想視点画像の数の少なくとも何れかに応じた数のデータベースに、前記画像取得手段により取得された前記複数視点画像を格納させる格納手段と、
仮想視点を特定する視点情報を取得する視点取得手段と、
前記格納手段により格納された前記複数視点画像と前記視点取得手段により取得された視点情報とに基づいて前記指示情報に応じた１以上の仮想視点画像を生成する生成手段であって、前記格納手段により前記複数視点画像が格納されたデータベースの数に対応する数の情報処理装置を用いて前記１以上の仮想視点画像を生成する生成手段と、
を有することを特徴とするシステム。
【請求項１８】
前記生成手段により複数の仮想視点画像が生成された場合に、当該複数の仮想視点画像をそれぞれ異なる出力先へ出力する出力手段を有することを特徴とする請求項１７に記載のシステム。
【請求項１９】
オブジェクトを複数の方向から撮影した複数視点画像を取得するステップと、
複数の所定の投影方式のうち指定された１以上の投影方式を示す指示情報を取得するステップと、
仮想視点を特定する視点情報を取得するステップと、
前記指示情報が示す前記１以上の投影方式に応じた１以上の仮想視点画像を、取得した前記複数視点画像及び前記視点情報に基づいて生成するステップと、を有する
ことを特徴とする情報処理方法。
【請求項２０】
コンピュータを、請求項１乃至１１のいずれか１項に記載の情報処理装置として機能させるためのプログラム。
【請求項２１】
コンピュータを、請求項１２乃至１４のいずれか１項に記載の装置として機能させるためのプログラム。
【請求項２２】
コンピュータを、請求項１５乃至１８のいずれか１項に記載のシステムの一部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は仮想視点画像の生成及び配信に関する。
【背景技術】
【０００２】
複数台の実カメラで撮影した映像を用いて、３次元空間内に仮想的に配置した実際には存在しないカメラ（仮想カメラ）からの映像を再現する技術として、仮想視点画像生成技術がある。
【０００３】
仮想視点画像は、例えば、サッカー等のスポーツにおけるハイライトシーンなどを様々な角度から閲覧可能とし、実際のカメラで撮影した通常画像と比較して、ユーザへ高臨場感を与えることが出来るという特徴がある。特許文献１には、複数のユーザそれぞれにより指定された仮想視点に応じた複数の仮想視点画像を生成し、それを複数のユーザ間で共有する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２１５８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に記載の技術において生成・配信される複数の仮想視点画像は、仮想視点が異なるだけですべて共通の形式（投影方式）による仮想視点画像である。しかしながら、近年はより多様な形式の画像を提供することが求められている。例えばカメラにより撮影された撮影画像を配信する際の画像の形式として、一般的な二次元方式（以降、「２Ｄ方式」と表記）に限らず、視差のある２枚の画像を用いて立体視を実現する三次元方式（以降、「３Ｄ方式」と表記）がある。その他にも、最大３６０度の範囲で視線方向を変更可能なパノラマ方式や、パノラマ方式で得た２枚の画像を用いて立体視を実現する３Ｄパノラマ方式等がある。通常の撮影画像だけではなく、視点を任意に指定可能な仮想視点画像についても上述したような多様な形式の画像をユーザに提供することができれば、目新しい視聴体験が可能となって、ユーザの満足度を向上させることができる。
【０００６】
本発明は上記の課題に鑑みなされたもので、複数のカメラで撮影して得られた複数視点画像に基づいて、複数の異なる形式の仮想視点画像をユーザに提供できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る情報処理装置は、オブジェクトを複数の方向から撮影した複数視点画像を取得する画像取得手段と、複数の所定の投影方式のうち指定された１以上の投影方式を示す指示情報を取得する情報取得手段と、仮想視点を特定する視点情報を取得する視点取得手段と、前記情報取得手段により取得された指示情報が示す前記１以上の投影方式に応じた１以上の仮想視点画像を、前記画像取得手段により取得された複数視点画像と前記視点取得手段により取得された視点情報とに基づいて生成する生成手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数のカメラで撮影して得られた複数視点画像に基づいて、複数の異なる形式の仮想視点画像をユーザに提供することができる。
【図面の簡単な説明】
【０００９】
【図１】仮想視点画像を生成・配信する画像処理システムの構成の一例を示す図
【図２】センサシステムの設置例を示す図
【図３】（ａ）は画像生成サーバのハードウェア構成、（ｂ）はそのソフトウェア構成を示す図
【図４】（ａ）は座標系を示す図、（ｂ）フィールド上のオブジェクトを示す図
【図５】（ａ）〜（ｃ）は仮想視点を説明する図
【図６】仮想視点画像の生成・配信を指示するためのＵＩ画面の一例を示す図
【図７】（ａ）及び（ｂ）は仮想視点画像の生成・配信処理の流れを示すフローチャート
【図８】各投影方式による仮想視点画像の生成処理の流れを示すフローチャート
【図９】（ａ）は仮想カメラの位置を説明する図、（ｂ）〜（ｅ）は仮想視点画像の一例を示す図
【図１０】仮想視点画像を生成・配信する画像処理システムの構成の一例を示す図
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面を参照し説明する。なお、説明する実施形態は、本発明を具体的に実施した場合の一例を示すものであり、これに限るものではない。
【００１１】
本実施形態では、撮影対象となる３次元空間を囲むように複数のカメラを配置し、当該複数のカメラで撮像して得られた画像に基づき、投影方式の異なる複数の仮想視点画像を生成・配信する態様を説明する。なお、仮想視点画像とは、エンドユーザ及び／又は選任のオペレータ等が仮想視点に対応するカメラ（仮想カメラ）の位置及び姿勢（向き）を操作することによって生成される画像であり、自由視点画像や任意視点画像などとも呼ばれる。仮想視点画像は、動画であっても、静止画であってもよいが、本実施形態では動画の場合を例に説明を行うものとする。
【００１２】
（システム構成）
図１は、仮想視点画像を生成・配信する画像処理システムの構成の一例を示す図である。画像処理システム１００は、センサシステム１０１ａ〜１０１ｎ、画像記録装置１０２、データベースサーバ１０３、画像生成サーバ１０４、クライアントＰＣ１０５、コントローラ１０６ａ〜１０６ｍで構成される。以下、画像処理システム１００を構成する各部について説明する。
【００１３】
センサシステム１０１ａ〜１０１ｎは、スタジアムなど撮影対象となる３次元空間を囲む様に設置される。１台のセンサシステムは少なくとも１台のカメラを有する。図２にセンサシステム１０１ａ〜１０１ｎの設置例を示す。図２の例は、スタジアム内のフィールドとその中にいる選手やボールを被写体（オブジェクト）とし、それらを囲む様にＮ台のセンサシステム１０１ａ〜１０１ｎを設置したものである。センサシステム１０１ａ〜１０１ｎは、それぞれカメラとマイク（不図示）を有する。各センサシステム１０１ａ〜１０１ｎが有する各カメラは同期して同一のオブジェクトを撮影する。各カメラで撮影して得られた視点の異なる複数の画像のまとまりが複数視点画像である。また、不図示の各マイクは同期し音声を集音する。なお、説明の簡略化のため音声についての記載を省略するが、基本的に画像と音声は共に処理されるものとする。
【００１４】
画像記録装置１０２は、センサシステム１０１ａ〜１０１ｎから、複数視点画像と、音声と、撮影時に付されるタイムコードを取得し、データベースサーバ１０３へ保存する。複数視点画像については、例えば前景・背景分離処理などの画像処理を施し、その結果と合わせてデータベースサーバ１０３へ保存してもよい。
【００１５】
コントローラ１０６ａ〜１０６ｍは、仮想カメラ２１０ａ〜２１０ｍを各ユーザが操作するための入力デバイスであり、例えば、ジョイスティック、タブレット、ヘッドマウントディスプレイ（ＨＭＤ）等が使用される。コントローラ１０６ａ〜１０６ｍを用いてユーザが指定した仮想視点に従って、画像生成サーバ１０４において仮想視点画像が生成される。本実施形態では、複数のコントローラ１０６ａ〜１０６ｍを複数のオペレータが同時に使用し、それぞれ独立して異なる仮想視点を設定する構成としている。しかし、例えば１つのタブレットで、複数の異なる仮想視点を指定できるような構成でも構わない。なお、以下の説明では、コントローラ１０６ａ〜１０６ｍのうち任意の１つを示す場合は「コントローラ１０６」と表記し、仮想カメラ２１０ａ〜２１０ｍのうち任意の１つを示す場合は「仮想カメラ２１０」と表記するものとする。
【００１６】
クライアントＰＣ１０５は、オペレータ等が、仮想視点画像の生成や配信に必要な情報を、画像生成サーバ１０４に提供するための情報処理装置である。オペレータは、後述のユーザインタフェースを使用して、仮想視点画像の生成数及び生成時に適用する投影方式、生成した仮想視点画像の配信先などを指定した情報（以下、「指示情報」と呼ぶ。）を作成し、画像生成サーバ１０４に送る。
【００１７】
画像生成サーバ１０４は、クライアントＰＣ１０５から送られてくる指示情報に従い、データベースサーバ１０３から取得した複数視点画像から、様々な投影方式による仮想視点画像を生成する。その際、コントローラ１０６ａ〜１０６ｍにて設定された仮想視点を用いる。そして、画像生成サーバ１０４は、生成した１つ以上の仮想視点画像を、指定された配信先Ａ〜Ｚへ出力する。配信先の例としては、例えば、動画共有サイト、ＳＮＳ、放送センター、パブリックビューイング等がある。ここで、動画共有サイトやＳＮＳの場合は、ライブ配信とオンデマンド配信の両方の配信形式に対応しており、オペレータは配信態様に応じた投影方式を指定することになる。ライブ配信とはリアルタイムに生中継される配信であり、オンデマンド配信とは蓄積されたデータをユーザが必要な時に視聴可能とする配信である。視聴者は、ライブ配信でもオンデマンド配信であっても、スマートフォン等を使用して動画共有サイトやＳＮＳへ接続し、簡単に視聴することができる。
【００１８】
以上が、画像処理システム１００を構成する各要素の概要である。なお、上記のシステム構成は一例であり、例えばクライアントＰＣ１０５と画像生成サーバ１０４とが１つのコンピュータで実現されていてもよい。また例えば、クライアントＰＣ１０５とコントローラ１０６とが一体となって構成されていてもよい。
【００１９】
（画像生成サーバの構成・機能）
続いて、画像生成サーバ１０４の構成・機能について詳しく説明する。図３（ａ）は画像生成サーバ１０４のハードウェア構成を示し、同（ｂ）は画像生成サーバ１０４のソフトウェア構成を示す。まず、ハードウェア構成を説明し、次にソフトウェア構成を説明する。
【００２０】
画像生成サーバ１０４は、一般的な情報処理装置が有するハードウェア、すなわち、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ＨＤＤ３０４、通信Ｉ／Ｆ３０５、入力デバイス３０６、出力デバイス３０７で構成される。ＣＰＵ３０１は、ＲＡＭ３０２をワークメモリとして、ＲＯＭ３０３に格納された各種プログラムを実行し、画像生成サーバ１０４の各部を統括的に制御するプロセッサである。ＣＰＵ３０１が、各種プログラムを実行することによって、図３（ｂ）に示す各処理モジュールの機能が実現される。ＲＡＭ３０２は、ＲＯＭ３０３から読み出されたプログラムや演算結果などを一時的に記憶する。ＲＯＭ３０３は、変更を必要としないＯＳなどのプログラムやデータを保持する。ＨＤＤ３０４は、データベースサーバ１０３から読み出した複数視点画像や、生成した仮想視点画像などを格納する大容量記憶装置であり、例えばＳＳＤなどでもよい。通信Ｉ／Ｆ３０５は、ＥｔｈｅｒｎｅｔやＵＳＢなどの通信規格に対応し、データベースサーバ１０３やクライアントＰＣ１０５やコントローラ１０６ａ〜１０６ｍとの通信を行う。入力デバイス３０６は、オペレータが各種入力操作を行うためのキーボードやマウスなどである。出力デバイス３０７は、オペレータに必要な情報（ＵＩ画面等）を表示するモニタ等の表示デバイスである。出力デバイス１１７として例えばタッチパネルディスプレイを採用した場合は、上述の入力デバイス１１６を兼ねることになる。なお、上述したハードウェア構成を、例えばクライアントＰＣ１０５も備えている。
【００２１】
続いて、図３（ｂ）を参照しつつ、画像生成サーバ１０４の主要なソフトウェア構成を説明する。画像生成サーバ１０４は、主制御モジュール３１１、描画前処理モジュール３１２と、仮想視点補完モジュール３１３と、描画モジュール３１４と、配信モジュール３１５の５つの処理モジュールを有する。本実施形態の画像生成サーバ１０４では、前述した２Ｄ方式、３Ｄ方式、パノラマ方式、３Ｄパノラマ方式の４種類の所定の投影方式のうち、指定された１以上の投影方式に応じた仮想視点画像を生成するものとして説明を行う。なお、指定可能な投影方式は上記４種類に限定されるものではない。
【００２２】
主制御モジュール３１１は、前述の指示情報に従って仮想視点画像を生成する際に中心的な役割を担うモジュールであり、他の処理モジュールに対して各種指示を行う。例えば３Ｄ方式が指定された場合、コントローラ１０６にて設定された仮想視点だけでは足りないので、当該足りない分の仮想視点の補完を仮想視点補完モジュール３１３に指示する。そして、描画モジュール３１４に対し、２つの仮想視点（コントローラ１０６でユーザが設定した仮想視点と上記補完によって得られた仮想視点）を用いた描画処理の実行を指示する。そして、描画モジュール３１４から受け取った描画処理結果（２つの仮想視点に対応した２枚の画像）に対し合成処理を行って、３Ｄ方式による１枚の仮想視点画像を生成する。主制御モジュール３１１は、この様な一連の処理を、クライアントＰＣ１０５からの指示情報で指定された生成数に応じて同時並行的に行い、複数の仮想視点画像を生成・配信することができる。
【００２３】
描画前処理モジュール３１２は、データベースサーバ１０３から、撮影時のタイムコードを指定して複数視点画像を取得する。この複数視点画像は、センサシステム１０１ａ〜１０１ｎの各カメラによって同期撮影され、画像記録装置１０２によってデータベースサーバ１０３へ保存されたものである。また、描画前処理モジュール３１２は、描画モジュール３１４における描画処理（レンダリング）で用いる前景や背景の三次元形状を表すデータ（三次元モデル）を複数視点画像から生成する処理も行う。この三次元モデルは、形状推定法（例えばVisual Hull等）を用いて生成され、例えば点群で構成される。なお、三次元モデルの生成を例えば画像記録装置１０２など他の装置で行なうようにし、描画前処理モジュール３１２は他の装置で生成された三次元モデルを複数視点画像と合わせて取得するような構成でもよい。
【００２４】
仮想視点補完モジュール３１３は、コントローラ１０６ａ〜１０６ｍそれぞれが出力する仮想カメラ２１０ａ〜２１０ｍの位置と姿勢を特定する視点情報（以下、「仮想カメラパラメータ」とも表記）を取得する。この視点情報には、仮想カメラ２１０ａ〜２１０ｍの位置及び姿勢だけでなく、例えば倍率（ズーム）などの情報を含んでもよい。１つの仮想視点画像の生成に必要な仮想視点の数はその投影方式よって異なる。例えば、指定された投影方式が２Ｄ方式の場合は１つの仮想視点のみで足りる。これに対し３Ｄ方式の場合は、コントローラ１０６から取得した視点情報で特定される仮想視点と両眼視差の関係となるもう１つ別の仮想視点が必要となる。そこで、仮想視点補完モジュール３１３は、指示情報で指定された投影方式に応じて必要な数の仮想視点を、コントローラ１０６から入力された視点情報に係る仮想視点を基に補完する。こうして足りない分の視点情報が生成される。この仮想視点の補完については後述する。
【００２５】
描画モジュール３１４は、仮想視点補完モジュール３１３から受け取った視点情報で特定される１つ又は複数の仮想視点に基づき、前景や背景の三次元モデルを透視投影して描画する。具体的には、三次元モデルを構成する点毎に使用する複数視点画像を選択し、当該選択した複数視点画像における適切な画素値を仮想視点に基づき取得して、色付けする処理を行う。描画結果は、主制御モジュール３１３に送られる。
【００２６】
配信モジュール３１５は、上述のようにして生成された仮想視点画像を、指定された配信先へ送信する。本実施形態の場合は、後述のとおり、１つの仮想視点画像を複数の配信先へ出力することも可能である。本明細書では、画像生成サーバ１０４が配信する仮想視点画像を「ストリーム」、配信数を「ストリーム数」と表現することもある。
【００２７】
以上のとおり、本実施形態の画像生成サーバ１０４は、共通の複数視点画像から様々な投影方式を適用して１つ又は複数の仮想視点画像を生成し、それらを１つ又は複数の配信先へ送信（マルチストリーム出力）する点を特徴とする。このような方法によれば、様々なユーザの要求に効率的に応えることできる。例えば、従来の方法により、仮想視点画像でない通常の撮影画像を用いて３Ｄ方式の画像とパノラマ方式の画像を提供する場合、それぞれ必要となる撮影画像が異なる。３Ｄ方式の画像を提供するためには、右目用と左目用の撮影画像、すなわち撮影位置が数ｃｍ異なり撮影方向がほぼ同一の２枚の画像が必要となる。一方、３６０°のパノラマ画像を提供するためには、撮影方向がそれぞれ異なる多数の撮影画像か、又は超広角（魚眼）の撮影画像が必要となる。したがって、複数の異なる形式の画像をユーザに提供するためには、その形式の数に応じた撮影の手間が必要であった。これに対し、本実施形態の画像生成サーバ１０４は、提供すべき画像の形式に依らない共通の複数視点画像を取得しておき、これを用いて様々な形式の画像を生成して提供することができる。さらに、通常の撮影画像では実現不可能な、ユーザにより任意に指定された仮想視点に応じた様々な形式の画像を提供することができる。
【００２８】
（仮想視点の設定）
続いて、スタジアムでのサッカーの試合を撮影シーンとした場合を例に、オペレータが設定する仮想視点について説明する。まず、仮想視点を設定する際の基準となる、撮影対象の３次元空間を表す座標系について説明する。
【００２９】
図４（ａ）は、本実施形態で用いる、３次元空間をＸ軸・Ｙ軸・Ｚ軸の３軸で表した直交座標系を示している。この直交座標系を、図４（ｂ）に示す各オブジェクト、すなわち、フィールド４００、その上に存在するボール４０１、選手４０２等に設定する。さらに、観客席や看板などのスタジアム内の設備に設定してもよい。具体的には、まず、原点（０、０、０）をフィールド４００の中心へ設定する。そして、Ｘ軸をフィールド４００の長辺方向へ、Ｙ軸をフィールド４００の短辺方向へ、Ｚ軸をフィールド４００に対して鉛直方向へ設定する。なお、各軸の方向は、これらに限定されない。この様な座標系を使用し、仮想カメラ２１０の位置と姿勢が指定される。
【００３０】
図５（ａ）に示す四角錐５００において、頂点５０１が仮想カメラ２１０の位置を表し、頂点５０１を起点とする視線方向のベクトル５０２が仮想カメラ２１０の姿勢を表す。仮想カメラの位置は、各軸の成分（ｘ，ｙ，ｚ）で表現され、仮想カメラ２１０の姿勢は、各軸の成分をスカラーとする単位ベクトルで表現される。仮想カメラ２１０の姿勢を表すベクトル５０２は、前方クリップ面５０３と後方クリップ面５０４の中心点を通るものとする。三次元モデルの投影範囲（描画範囲）となる仮想視点の視錐台は、前方クリップ面５０３と後方クリップ面５０４に挟まれた空間５０５である。次に、仮想視点の移動（仮想カメラ２１０の位置の変更）と回転（仮想カメラ２１０の姿勢の変更）について説明する。
【００３１】
仮想視点は、三次元座標で表現された空間内において、移動及び回転させることができる。図５（ｂ）は、仮想視点の移動を説明する図である。図５（ｂ）において、破線の矢印５１１が仮想視点の移動を表し、破線の矢印５１２が当該移動した仮想視点の回転を表している。仮想視点の移動は各軸の成分（ｘ、ｙ、ｚ）で表現され、仮想視点の回転は、Ｚ軸回りの回転であるヨー（Yaw）、Ｘ軸回りの回転であるピッチ（Pitch）、Ｙ軸回りの回転であるロール（Roll）で表現される。このような仮想視点の移動と回転は、コントローラ１０６ａ〜１０６ｍでの仮想カメラの操縦において使用される他、次に説明する仮想視点の補完にも使用される。
【００３２】
（仮想視点の補完）
仮想視点の補完とは、投影方式が３Ｄ方式やパノラマ方式である場合に必要な２以上の仮想視点のうち、足りない分の仮想視点を、コントローラ１０６にて設定された仮想視点に基づき生成する処理である。これにより、例えば３Ｄ方式の場合には、両眼視差の関係にある２つの仮想視点を得る。この補完によって得られる仮想視点は、複数のコントローラ１０６ａ〜１０６ｍによって設定される複数の仮想視点のいずれとも異なる仮想視点である。
【００３３】
図５（ｃ）は、３Ｄ方式が指定された場合における、仮想視点の補完を説明する図である。いま、コントローラ１０６によって、仮想カメラの位置を四角錐５００の頂点５０１、その姿勢をベクトル５０２とする仮想カメラパラメータが、仮想視点補完モジュール３１３に入力されたものとする。３Ｄ方式の場合、入力仮想カメラパラメータで特定される仮想視点に対し、前述の移動と回転を行って、当該仮想視点と両眼視差の関係となるような別の仮想視点を生成する。すなわち、仮想カメラ２１０の位置を四角錐５００’の頂点５０１’その姿勢をベクトル５０２’とする仮想視点が新たに生成される。この際の移動量と回転量は、ユーザが不図示のＵＩ画面を介して両眼視差を実現する適切な値を指定してもよいし、予め用意した所定値を適用してもよい。或いは、対象３次元空間内の複数の位置（例えばＸ、Ｙ、Ｚの各軸において所定間隔でずらした位置）における両眼視差を実現する適切な移動量と回転量を事前に求めておき、当該複数の位置と求めた移動量及び回転量とを対応付けたＬＵＴを用意しておく。そして、コントローラ１０６で設定された仮想視点の位置に対応する移動量と回転量を、当該ＬＵＴを参照して補間処理によって決定してもよい。こうして得られた２つの仮想視点のうち、四角錐５００が表す仮想視点を左目用、四角錐５００’が表す仮想視点を右目用とした描画処理がなされ、それぞれの描画結果を例えば左右に並べて合成することで３Ｄ方式の１枚の仮想視点画像が得られる。
【００３４】
このように仮想視点補完モジュール３１３は、任意のコントローラ１０６にて設定された仮想視点から、指定された投影方式において必要な数の仮想視点を補完する。仮想視点の補完方法は投影方式毎に異なる。３Ｄ方式の場合の補完方法は上述のとおりであるが、パノラマ方式の場合は、コントローラ１０６にて設定された仮想視点を基準に最大３６０度の範囲を網羅するために必要な数の仮想視点を補完することになる。例えば、３６０度全周囲を網羅するために必要な仮想視点の数が６つであった場合は、残り５つ分の仮想視点を、各仮想視点の描画範囲が隣接する様にコントローラ１０６にて設定された基準の仮想視点を移動及び回転させて補完する。この際の移動量と回転量も、３Ｄ方式の場合と同様、ユーザが不図示のＵＩ画面を介して適切な値を指定してもよいし、予め用意した所定値を適用してもよい。また、予め用意したＬＵＴを用いて適切な移動量と回転量を求めてもよい。また、３Ｄパノラマ方式は、３Ｄ方式とパノラマ方式の組み合わせとなる。つまり、両眼視差となる様に、上記パノラマ方式の画像を２つ生成することになる。例えば、３６０度の全周囲を網羅するために６つの仮想視点を使用する場合であれば、全部で６×２＝１２の仮想視点が必要となる。よって、コントローラ１０６にて設定された仮想視点に基づき、残り１１個分の仮想視点を補完する。この際、１１個の内５つはパノラマ方式の手法で各仮想視点の描画範囲が隣接する様に求め、残りの６つは３Ｄ方式の手法で両眼視差に適切な移動量と回転量を用いて先の６つから求めればよい。
【００３５】
この様に、各投影方式に応じた仮想視点の補完を自由に行えるのは、複数のカメラによってオブジェクトをあらゆる方向から撮影した複数視点画像が得られているためである。スタジアムのフィールドといった広い範囲に拡がるオブジェクトを対象とした場合であっても、対象３次元空間内の任意の位置に任意の姿勢で設定された仮想カメラの情報を基に、指定された投影方式において要求される別の仮想視点を補完することができる。このように、足りない分の仮想視点を基準の仮想視点の移動及び／又は回転によって得ることができるので、例えばパノラマ方式の仮想視点画像を生成する場合でも、それに要求される仮想視点数と同じ数のコントローラ１０６を用意しなくても済む。
【００３６】
（投影方式及び配信先の指定）
次に、クライアンＰＣ１０５における、仮想視点画像の生成・配信を画像生成サーバ１０４に対し指示するためのユーザインタフェース（ＵＩ）について説明する。図６（ａ）及び（ｂ）は、クライアントＰＣ１０５のモニタ等に表示される、ユーザが投影方式や配信先を指定して指示情報を作成するためのＵＩ画面の一例を示す図である。図６（ａ）がメイン画面６００、同（ｂ）が詳細設定のためのサブ画面を示している。まず、メイン画面６００から説明する。
【００３７】
＜メイン画面＞
指示情報を作成するオペレータは、まず、メイン画面６００において、新規作成ボタン６０１を押下する。これにより、１つの仮想視点画像の生成及び配信に必要な情報を入力するための設定リスト６１０がメイン画面６００上に表示される。図６（ａ）のメイン画面６００には、３つの設定リスト６１０、６２０及び６３０が表示されており、これは、新規作成ボタン６０１が３回押下されたことを意味している。削除ボタン６０２は任意の設定リストを削除する際に使用し、ＯＫボタン６０３は設定リストの作成が完了した際に使用し、キャンセルボタン６０４は設定の入力操作をやめる際に使用する。ここでは一例として、３つの仮想視点画像をそれぞれ異なる投影方式にて生成し、それらを４つの異なる配信先へ出力する場合を例に説明を行うものとする。
【００３８】
すべての設定リストについての設定が完了し、オペレータがＯＫボタン６０３を押下すると、仮想視点画像の生成や配信の詳細を指定した指示情報が、画像生成サーバ１０４に送信される。なお、各設定リストをメイン画面６００とは別のサブ画面として表示してもよい。また、ＯＫボタン６０３は、複数の設定リストのそれぞれに設けられていてもよい。この場合、設定リスト単位で仮想視点画像の生成・配信指示を行うことができる。各設定リスト６１０〜６３０には、各仮想視点画像の生成に要求される主要パラメータを指定するための設定項目６１１〜６１５、詳細設定用ボタン６１６、状態表示欄６１７、及びサムネイル表示欄６１８がそれぞれ存在する。以下、設定リストを構成する各要素について順に説明する。
【００３９】
設定項目６１１においては、投影方式を指定する。本実施形態では、２Ｄ方式、３Ｄ方式、パノラマ方式、３Ｄパノラマ方式の４種類の投影方式がプルダウン表示され、その中からオペレータは１つを選択することになる。いま、設定リスト６１０の設定項目６１１では「３Ｄ方式」が指定され、設定リスト６２０の設定項目６１１では「パノラマ方式」が指定され、設定リスト６３０の設定項目６１１では「３Ｄパノラマ方式」が指定されている。
【００４０】
設定項目６１２においては、配信先を指定する。前述のとおり配信先としては、動画共有サイト、ＳＮＳ、ＴＶ局の放送センター、パブリックビューイング等がある。予め作成した配信先候補の内容をプルダウン表示し、その中からオペレータに１つを選択させる構成でもよいし、ＵＲＬ等の配信先アドレスをオペレータが直接入力できるように構成してもよい。また、例えば動画共有サイトは特定の１つに限定されず、複数の異なる動画共有サイトを指定可能である。また、同じ動画共有サイトであっても、異なるＵＲＬ等を指定することも可能である。その際には、それぞれが識別できるような名称を用いて表示を行なう。ここでは、便宜上、「動画共有サイト１」、「動画共有サイト２」として識別可能にしている。なお、ＳＮＳやパブリックビューイングなど他の配信先の場合も同様である。いま、設定リスト６１０の設定項目６１２では「動画共有サイト１」が指定され、設定リスト６２０の設定項目６１２では「ＳＮＳ１」が指定され、設定リスト６３０の設定項目６１２では「動画共有サイト２」が指定されている。
【００４１】
設定項目６１３においては、配信形式とタイムコードを指定する。前述のとおり、データベースサーバ１０３に格納されている複数視点画像には撮影時のタイムコードが付されている。このタイムコードを指定してデータベースサーバ１０３に対し複数視点画像を要求することで、対象のデータを一意に識別して取得することができる。本実施形態では、まず、配信形式の選択肢として、オンデマンド配信とライブ配信がプルダウン表示され、その中からオペレータは１つを選択する。そして、オンデマンド配信の場合はさらに、開始タイムコードと終了タイムコードを指定する。こうしたユーザ指示に基づき、開始タイムコードと終了タイムコードとで識別される複数視点画像を用いてオンデマンド配信用の仮想視点画像が生成される。この際のタイムコードは、例えば「2018/08/30 15:00:00:00-2018/08/30 15:30:00:20」といったフォーマットで指定され、年月日、時間、フレーム番号等から構成される。タイムコードに従って生成されオンデマンド配信される仮想視点画像は、例えばハイライトシーンのリプレイ再生等の用途に供される。一方、ライブ配信の場合は、各カメラによる撮影から仮想視点画像の生成及び配信までをリアルタイムで処理することになる。このため、オペレータが手動でタイムコードを指定する方法は現実的ではない。そこでライブ配信が選択された場合は、「Ｌｉｖｅ」といったライブ配信である旨の文字表記の選択で指定終了となり、開始及び終了のタイムコードの指定は不要としている。ライブ配信が指定された場合、画像生成サーバ１０４は記録直後の最新のタイムコードを自動で順次指定してデータベースサーバ１０３から複数視点画像を取得する。ライブ配信の場合は、各カメラで撮影された複数視点画像が順次取得されてリアルタイムに仮想視点画像が生成され、指定された配信先に順次出力される。なお、ライブ配信中に途中から、別ストリームでオンデマンド配信を追加することもできる。
【００４２】
設定項目６１４においては、画像生成サーバ１０４から出力されるストリームのデータ形式、具体的には、配信プロトコルの種類やビデオファイルフォーマットの種類を指定する。この設定項目６１４は、上述の設定項目６１３とリンクさせるのが望ましい。すなわち、各設定リストの設定項目６１３にて、ライブ配信が指定された場合には、例えばＲＴＭＰ（Real Time Message Protocol）やＨＬＳ（HTTP Live Streaming）といったストリーミング用のプロトコルを選択肢として表示し、その中からオペレータに選択させるようにする。また、オンデマンド配信が指定された場合には、ＭＰ４、ＡＶＩ、ＭＯＶといったビデオファイルフォーマットを選択肢として表示し、その中からオペレータに選択させるようにする。図６（ａ）の例では、ライブ配信が指定された設定リスト６１０と６２０では「ＲＴＭＰ」が指定され、オンデマンド配信が指定された設定リスト６３０では「ＭＰ４」が指定されている。
【００４３】
設定項目６１５には、どのコントローラ１０６で設定した仮想視点を使用して仮想視点画像を生成するのかを指定するための情報（コントローラ識別情報）を指定する。オペレータは、選択肢として表示されたジョイスティックやタブレットといった入力デバイスの中から１つを選択する。コントローラ１０６ａ〜１０６ｍのそれぞれには識別子が付与されており、ここでは当該識別子を指定することによって、どのコントローラを仮想視点画像の生成に使用するのかを指定する。図６（ａ）の例では、「ジョイスティックＡ」や「タブレットＡ」のようにコントローラの種類名にアルファベットを付記することで識別可能にしている。なお、複数の仮想視点画像の生成に対し、同じ識別子を指定することもできる。いま、設定リスト６２０では「タブレットＡ」、設定リスト６３０では「タブレットＢ」がそれぞれ指定されているが、例えば両方を「タブレットＡ」にすることもできる。この場合、「タブレットＡ」にて設定される仮想視点を用いて、異なる投影方式による２枚の仮想視点画像が生成されることになる。なお、設定項目６１１で指定される投影方式によってコントローラの種類が限定されることはなく、同機種の異なるデバイスも指定可能である。
【００４４】
詳細設定用ボタン６１６は、図６（ｂ）に示す詳細設定用のサブ画面を表示させるためのボタンである。詳細設定用のサブ画面については後述する。
【００４５】
状態表示欄６１７には、仮想視点画像の生成及び配信の処理状態を表す文字列（例えば、「配信中」、「完了」、「エラー」等）が表示される。ここで、「配信中」は仮想視点画像を指定された配信先に出力中であることを示し、「完了」は生成及び配信処理が完了したことを示し、「エラー」は生成及び配信中にエラーが発生していることを示す。なお、状態表示の内容は上記３つに限定されない。
【００４６】
サムネイル表示欄６１８には、処理中の仮想視点画像のサムネイル画像が表示される。オペレータはサムネイル画像を見ることで、各設定項目で指定した内容が意図した通りのものであるかどうかや、正常に処理されているかどうかを直感的に把握することができる。なお、エラー時には、エラー中である旨を示す文言等が表示される。
【００４７】
なお、図６（ａ）に示したＵＩ画面は一例にすぎず、所望の投影方式を指定して、１つ又は複数の仮想視点画像の生成とその配信先を指定できるものであれば、どのようなＵＩ画面でもよい。例えば、設定項目６１１〜６１５において、予め定めた選択肢の中から選択するのに代えて、任意の文字列や数値等をオペレータが直接入力できるように構成してもよい。
【００４８】
＜サブ画面＞
続いて、メイン画面６００における詳細設定用ボタン６１６が押下された場合に表示される、図６（ｂ）に示す詳細設定用のサブ画面６４０について説明する。サブ画面６４０では、仮想画像視点の生成及び配信に関する詳細な情報を設定する。
【００４９】
設定欄６４１においては、生成する仮想視点画像の解像度を指定する。例えば、ＦＨＤ（Full HD）、４Ｋ、８Ｋ等を指定可能であり、選択肢として表示されたこれらの中からオペレータが１つを選択する。設定欄６４２においては、生成する仮想視点画像のフレームレートを指定する。例えば、２９．９７、３０ｆｐｓ、５９．９４ｆｐｓ、６０ｆｐｓ等を指定可能であり、選択肢として表示されたこれらの中からオペレータが１つを選択する。設定欄６４３においては、出力する仮想視点画像に対するエンコード方法を指定する。例えば、Ｈ．２６４、Ｈ．２６５、ＨＥＶＣなどを指定可能であり、選択肢として表示されたこれらの中からオペレータが１つを選択する。なお、設定欄６４１〜６４３において、選択肢の中からの指定に代えて、任意の数値をオペレータが直接入力できるように構成してもよい。
【００５０】
設定欄６４４は、前述のメイン画面６００における設定項目６１４（出力データ形式）で指定された内容が設定される。例えば、設定項目６１４において「ＲＴＭＰ」が指定された場合は、設定欄６４４も「ＲＴＭＰ」となる。そして、隣の入力欄６４５にはその出力先となるＲＴＭＰサーバのＵＲＬを入力する。また、メイン画面の設定項目６１４において「ＭＰ４」が指定されていれば、設定欄６４４も「ＭＰ４」となる。そして、隣の入力欄６４５にはその出力先となるファイルサーバのパスやＡＰＩ等を入力する。さらにその隣にある追加ボタン６４６を押下することで配信先の追加が可能となる。これにより、設定リストに従って生成される１つの仮想視点画像を、異なる複数の配信先へ出力することができるようになる。図６（ｂ）の例では、追加ボタン６４６が１回押下され、もう１つの配信先に関する設定欄６４４’に「ＲＴＭＰ」、その入力欄６４５’にはそのＵＲＬが入力されている。なお、サブ画面６４０の設定欄６４４とメイン画面６００の設定項目６１４とはリンクしており、設定欄６４４の内容を変更すると、設定項目６１４の内容が合わせて変更される。また、追加する配信先の出力データ形式は、同じにする必要はなく、例えば「ＲＴＭＰ」に代えて「ＨＬＳ」を指定することも可能である。なお、詳細設定項目は仮想視点画像を生成するパラメータであれば上記に限定されない。
【００５１】
以上説明したようなＵＩ画面によって、オペレータは、仮想視点画像の生成と配信に関する各種項目についての指定を行なって上述の指示情報を作成し、それを画像生成サーバ１０４に送信する。そして、図６（ａ）の例では、合計で３つの仮想視点画像が、それぞれ異なる投影方式にて、それぞれ異なるコントローラ１０６からの仮想視点に基づき生成され、それぞれ異なる配信先へ出力されることになる。この他、仮想視点を設定するコントローラ１０６には異なるものを使用し、投影方式は同じものを用いた複数の仮想視点画像を生成することも可能である。この際は、各設定リストの設定項目６１１において共通の投影方式を指定し、設定項目６１５において異なるコントローラ１０６の識別子を指定すればよい。また、図６（ａ）の例では、ライブ配信とオンデマンド配信とを組み合わせていたが、全ストリームをライブ配信することも可能である。また、ライブ配信中に同じ設定内容で生成した仮想視点画像をアーカイブしておき、ライブ配信中或いは完了後にオンデマンド配信として出力するように設定することも可能である。
【００５２】
（仮想点画像の生成・配信処理）
続いて、画像生成サーバ１０４における、仮想視点画像の生成処理と当該生成した仮想視点画像の配信処理について説明する。図７（ａ）は、仮想視点画像の生成・配信処理の大まかな流れを示すフローチャートである。この一連の処理は、ＣＰＵ３０１が所定のプログラムを実行して、図３（ｂ）に示した各処理モジュールを動作させることで実現される。
【００５３】
Ｓ７０１では、主制御モジュール３１１が、前述の設定リスト単位で作成された指示情報を、クライアントＰＣ１０５から受信する。続くＳ７０２では、主制御モジュール３１１が受信した指示情報に基づき、描画前処理モジュール３１２に対し、複数視点画像の取得を指示する。この際、各設定リストで指定されたタイムコードに対応する複数視点画像の取得が指示されることになる。当該指示を受けた描画前処理モジュール３１２は、設定リスト内の設定項目６１３の内容に基づきタイムコードを指定して、データベースサーバ１０３から複数視点画像を取得する。そして、Ｓ７０３では、主制御モジュール３１１の制御下で各処理モジュールが動作して、指示情報に従い、指定された数の仮想視点画像を生成し、指定された配信先に出力する。指示情報が複数の設定リストで構成される場合、各設定リストに基づく一連の処理は、同時並行的に実行してもよいし、逐次的に実行してもよい。本ステップにおける仮想視点画像の生成と配信の詳細について、図７（ｂ）に示す別フローを参照して説明することとする。なお、本実施形態では動画を前提としているため、図７（ｂ）に示すフローはフレーム単位で実行されることになる。
【００５４】
Ｓ７１１では、主制御モジュール３１１が、処理対象の設定リストにて指定された投影方式に従って、次に進むステップを判定する。具体的には、２Ｄ方式が指定されていた場合はＳ７１２へ、３Ｄ方式が指定されていた場合はＳ７１４へ、パノラマ方式が指定されていた場合はＳ７１６へ、３Ｄパノラマ方式が指定されていた場合はＳ７１８へ、それぞれ進む。
【００５５】
そして、Ｓ７１２では２Ｄ方式の仮想視点画像を生成する処理が実行される。そして、続くＳ７１３では、生成された２Ｄ方式の仮想視点画像が、設定リストで指定された配信先に出力される。同様に、Ｓ７１４では３Ｄ方式の仮想視点画像を生成する処理が実行され、Ｓ７１５では当該３Ｄ方式の仮想視点画像が設定リストで指定された配信先に出力される。同様に、Ｓ７１６ではパノラマ方式の仮想視点画像を生成する処理が実行され、Ｓ７１７では当該パノラマ方式の仮想視点画像が設定リストで指定された配信先に出力される。同様に、Ｓ７１８では３Ｄパノラマ方式の仮想視点画像を生成する処理が実行され、Ｓ７１９では当該３Ｄパノラマ方式の仮想視点画像が設定リストで指定された配信先に出力される。Ｓ７１２、Ｓ７１４、Ｓ７１６、Ｓ７１８における各投影方式に従った仮想視点画像の生成については図８（ａ）〜（ｄ）に示す別フローを参照して説明することとする。
【００５６】
（各投影方式による仮想視点画像の生成）
＜２Ｄ方式＞
まず、２Ｄ方式の場合について説明する。図８（ａ）は、２Ｄ方式による仮想視点画像生成の詳細を示すフローチャートである。
【００５７】
Ｓ８０１では、仮想視点補完モジュール３１３が、設定リストで指定された識別子に対応するコントローラ１０６から仮想カメラパラメータを取得する。この仮想カメラパラメータには、仮想カメラの位置と姿勢を特定する情報が少なくとも含まれている。図９（ａ）に、シュートシーンを対象として設定される仮想視点の一例を示す。いま、前述の図４（ｂ）に示す図において、マーク９０１で示すように、ペナルティエリアの外からボール４０１の方向を向いた位置に仮想カメラ２１０が設定されたものとし、当該マーク９０１に対応する仮想カメラパラメータが取得されたものとする。なお、図９（ａ）に示す図において設定される仮想視点のＺ軸は、いずれも選手目線となる高さに固定されているものとする。
【００５８】
Ｓ８０２では、描画モジュール３１４が、描画前処理モジュール３１２から提供される前景や背景の三次元モデルを用いて、Ｓ８０１で取得した仮想カメラパラメータが表す仮想視点からの透視投影による描画処理を行う。２Ｄ方式の場合、描画結果に対し合成処理・変換処理は不要であるので、描画結果がそのまま配信用の仮想視点画像として出力される。図９（ｂ）は、上述のマーク９０１の仮想視点に対応する、２Ｄ方式の仮想視点画像を示している。この場合、ペナルティエリアの外に居る選手目線からの仮想視点画像が得られることになる。
【００５９】
＜３Ｄ方式＞
次に、３Ｄ方式の場合について説明する。図８（ｂ）は、３Ｄ方式による仮想視点画像生成の詳細を示すフローチャートである。３Ｄ方式では、両眼視差の関係にある２枚の画像を生成するために、仮想視点を２つ使用する。
【００６０】
Ｓ８１１では、Ｓ８０１と同様、仮想視点補完モジュール３１３が、設定リストで指定された識別子に対応するコントローラ１０６から仮想カメラパラメータを取得する。いま、上述の図９（ａ）において、マーク９０２で示すように、ゴールキーパの居る位置からボール４０１の方向を向いた仮想カメラ２１０が設定されたものとし、当該マーク９０２に対応する仮想カメラパラメータが取得されたものとする。
【００６１】
Ｓ８１２では、仮想視点補完モジュール３１３が、Ｓ８１１で取得した仮想カメラパラメータに基づき、両眼視差を実現するための、もう一つ別の仮想視点を補完する。この際の補完方法に関しては既に説明した通りである。
【００６２】
Ｓ８１３では、描画モジュール３１４が、描画前処理モジュール３１２から提供される前景や背景の三次元モデルを用いて、Ｓ８１１で取得した仮想視点とＳ８１２で補完した仮想視点それぞれについて、透視投影による描画処理を行う。
【００６３】
Ｓ８１４では、主制御モジュール３１１が、Ｓ８１３での描画結果（視差のある２つの仮想視点に対応する２枚の画像）を左右に並べて合成処理し、３Ｄ方式の１枚の仮想視点画像を生成する。両眼視差のある２枚の画像が左右に並んだ形式は、Side by Side形式と呼ばれる。こうして得られた３Ｄ方式の仮想視点画像が配信されることになる。図９（ｃ）は、上述のマーク９０２の仮想視点に対応する、３Ｄ方式の仮想視点画像を示している。この場合、ゴールキーパと同じ様な目線でみた仮想視点画像となる。３Ｄ表示対応のスマートフォンを使用したヘッドセットや、ヘッドマウントディスプレイを装着すれば、ユーザは立体的に仮想視点画像を視聴することができる。図９（ｃ）の例では、あたかもゴールキーパになった様な感覚で、シュートされたボールを眼前にする迫力のあるシーンをユーザは体験することができる。
【００６４】
＜パノラマ方式＞
次に、パノラマ方式の場合について説明する。図８（ｃ）は、パノラマ方式による仮想視点画像生成の詳細を示すフローチャートである。前述のとおりパノラマ方式では、最大で３６０度全周囲を網羅するために３Ｄ方式よりも多くの仮想視点を使用する。
【００６５】
Ｓ８２１では、Ｓ８０１と同様、仮想視点補完モジュール３１３が、設定リストで指定された識別子に対応するコントローラ１０６から仮想カメラパラメータを取得する。いま、上述の図９（ａ）において、マーク９０３で示すように、ペナルティエリア内でボール４０１の方向を向いた位置に仮想カメラ２１０が設定されたものとし、当該マーク９０３に対応する仮想カメラパラメータが取得されたものとする。
【００６６】
Ｓ８２２では、仮想視点補完モジュール３１３が、Ｓ８２１で取得した仮想カメラパラメータに基づき、パノラマ方式による全周囲画像の生成に必要な数の仮想視点を補完する。この際の補完方法に関しては既に説明した通りである。なお、補完する仮想視点の数が少なければ、その分だけ全周囲よりも狭い範囲のパノラマ画像が出来上がることになる。
【００６７】
Ｓ８２３では、描画モジュール３１４が、描画前処理モジュール３１２から提供される前景や背景の三次元モデルを用いて、Ｓ８２１で取得した仮想視点とＳ８２２で補完した１つ以上の仮想視点それぞれについて、透視投影による描画処理を行う。
【００６８】
Ｓ８２４では、主制御モジュール３１１が、Ｓ８２３での描画結果（複数の仮想視点に対応する複数の画像）を正距円筒図法へ変換処理し、パノラマ方式の１枚の仮想視点画像を生成する。こうして得られたパノラマ方式の仮想視点画像が配信されることになる。図９（ｄ）は、上述のマーク９０３の仮想カメラ２１０に対応する、パノラマ方式の仮想視点画像を示している。この場合、ペナルティエリア内の位置９０３を中心とした３６０度全周囲の仮想視点画像となる。パノラマ画像の表示に対応するスマートフォン等を用いれば、ユーザはコントローラ１０６で設定した仮想視点位置を中心とする３６０度全周囲のうち見たい方向のシーンを視聴できる。
【００６９】
＜３Ｄパノラマ方式＞
次に、３Ｄパノラマ方式の場合について説明する。図８（ｄ）は、３Ｄパノラマ方式による仮想視点画像生成の詳細を示すフローチャートである。３Ｄパノラマ方式では、３６０度全周囲を網羅し、かつ、両眼視差を実現するために、パノラマ方式に対して２倍の数の仮想視点を使用する。
【００７０】
Ｓ８３１では、Ｓ８０１と同様、仮想視点補完モジュール３１３が、設定リストで指定された識別子に対応するコントローラ１０６から仮想カメラパラメータを取得する。いま、前述のパノラマ方式のときと同様、マーク９０３で示す位置（図９（ａ）を参照）に仮想カメラ２１０が設定されたものとし、当該マーク９０３に対応する仮想カメラパラメータが取得されたものとする。
【００７１】
Ｓ８３２では、仮想視点補完モジュール３１３が、Ｓ８３１で取得した仮想カメラパラメータに基づき、３Ｄパノラマ方式による全周囲を網羅し、かつ、両眼視差の画像の生成に必要な数の仮想視点を補完する。この際の補完方法に関しては既に説明した通りである。
【００７２】
Ｓ８３３では、描画モジュール３１４が、描画前処理モジュール３１２から提供される前景や背景の三次元モデルを用いて、Ｓ８３１で取得した仮想視点とＳ８３２で補完した複数の仮想視点それぞれについて、透視投影による描画処理を行う。
【００７３】
Ｓ８３４では、主制御モジュール３１１が、Ｓ８３３での描画結果（複数の仮想視点に対応する複数の画像）を、左目用と右目用に分け、それぞれの画像群を正距円筒図法へ変換処理する。これによりパノラマ方式の画像が、左目用と右目用に１枚ずつ得られる。
【００７４】
Ｓ８３５では、主制御モジュール３１１が、Ｓ８３４での描画結果（視差のある２枚のパノラマ方式の画像）を上下に並べて合成処理し、３Ｄパノラマ方式の１枚の仮想視点画像を生成する。両眼視差のある２枚の画像が上下に並んだ形式は、Top and Bottom形式と呼ばれる。こうして得られた３Ｄパノラマ方式の仮想視点画像が配信されることになる。図９（ｅ）は、上述のマーク９０３の仮想カメラ２１０に対応する、３Ｄパノラマ方式の仮想視点画像を示している。この場合も、前述の図９（ｄ）と同様にペナルティエリア内の位置９０３を中心とした３６０度全周囲の画像であって、かつ、両眼視差のある仮想視点画像となる。ユーザは、前述のヘッドセット等を装着して、３６０度の全周囲を含む仮想視点画像を立体視で視聴することができる。これにより、ユーザ自身がペナルティエリア内にあたかも立った様な臨場感で、自身の頭を見たい方向へ向けるだけで、シュートシーンを追うことができる。
【００７５】
以上が、各投影方式による仮想視点画像の生成処理である。なお、上述した各投影方式による仮想視点画像の生成処理は一例であって、上記の内容に限定されない。各投影方式に応じた仮想視点画像を生成できればよく、処理順序や画像形式などは適宜変更可能である。
【００７６】
（変形例）
上述した実施形態に従って仮想視点画像を生成・配信する処理は、その生成数や複数視点画像の容量等によっては過負荷になる場合がある。例えば、４Ｋや８Ｋ等の高解像度の複数視点画像を使用する場合、複数視点画像の容量は大きくなり、仮想視点画像の生成数によっては１台の画像生成サーバ１０４で滞りなく生成することが困難となり得る。そうなると、複数のライブ配信要求に対して同時並行的にリアルタイム出力できなくなるなど、システムとして十分に機能し得なくなる。この様な場合に対応するため、例えば図１０に示すような分散構成を採用してもよい。図１０のシステム構成では、複数台の画像生成サーバ１０４ａ〜１０４ｍと複数台のデータベースサーバ１０３ａ〜１０３ｍを予め用意し、その中から、指示情報で指定された生成数への対応に必要なデータベースサーバと画像生成サーバを使用する。
【００７７】
図１０の例では、各画像生成サーバ１０４ａ〜１０４ｍが、各データベースサーバ１０３ａ〜１０３ｍと一対一で接続されている。そして、画像記録装置１０２によって同じ複数視点画像が各データベースサーバ１０３ａ〜１０３ｍに対し格納され、各画像生成サーバ１０４ａ〜１０４ｍは当該仮想視点画像をそれぞれ取得する。そして、クライアントＰＣ１０５から受け取った指示情報に従った１つの仮想視点画像を各画像生成サーバ１０４ａ〜１０４ｍは生成し、指定された配信先へ出力する。データベースサーバ１０３ａ〜１０３ｍは、どれも同じ複数視点画像を格納することから、キャッシュサーバで構成してもよい。なお、図１０の例でも、各画像生成サーバ１０４ａ〜１０４ｍへの指示情報の作成は、１台のクライアントＰＣ１０５で行う構成としているが、複数台であってもよい。
【００７８】
また、画像生成サーバ１０４ａ〜１０４ｍとデータベースサーバ１０３ａ〜１０３ｍを制御する専用の管理装置を設け、各画像生成サーバ１０４に割り振る処理を、図７（ｂ）のフローにおけるＳ７１１の判定処理に代えて実行するように構成してもよい。例えば、この管理装置の機能を、コントローラ１０６ａ〜１０６ｍとしてのタブレットに持たせてもよい。生成した仮想視点画像の配信は、各画像生成サーバ１０４ａ〜１０４ｍが行ってもよいし、管理装置が代わって配信処理を行うように構成してもよい。なお、処理負荷などに応じ、複数の画像生成サーバ１０４ａ〜１０４ｍのうち一部の画像生成サーバにおいて複数の仮想視点画像の生成・配信を行なうようにしてもよい。例えば管理装置は、生成及び配信すべき仮想視点画像の形式（投影方式）又は仮想視点画像の数に基づいて、使用する画像生成サーバの数を決定する。そして管理装置は、使用される画像生成サーバの数に対応する数のデータベースサーバに同じ複数視点画像が格納されるように、画像記録装置１０２による複数視点画像の複製及び出力を制御する。複数の画像生成サーバにより生成された複数の仮想視点画像は、それぞれ異なる配信先に出力されてもよい。
【００７９】
この変形例の場合、複数視点画像が高解像度等で容量が大きい場合であっても、仮想視点画像の生成数に応じて、柔軟に使用するデータベースサーバ数や画像生成サーバ数を設定することができる。このような分散構成を採用することによって、高画質の仮想視点画像を多数の配信先にライブ配信するようなケースにも対応可能となる。
【００８０】
以上のとおり本実施形態によれば、１つの複数視点画像から投影方式の異なる複数の仮想視点画像を生成し、それらを異なる配信先へ出力することができる。その際、投影方式は自由に選択できる。また、各仮想視点画像に対応する仮想視点は独立に設定することができる。これにより、撮影シーンの３次元空間における様々な視点から見た様々な種類の仮想視点画像の生成と配信を可能としている。例えば、スタジアムでのサッカーの試合を対象に、ボールに追従する仮想視点の２Ｄ形式の画像をＴＶ局の放送センターへ配信しつつ、ゴールキーパ等の選手目線による仮想視点の３Ｄ形式の画像を映画館等のパブリックビューイングへ同時配信することができる。さらには、シュートシーン等のハイラインシーンをペナルティエリア内で３６０度自由に見渡せるパノラマ形式や３Ｄパノラマ形式の画像を、動画配信サイトやＳＮＳへ同時配信することもできる。本実施形態の適用対象はスポーツシーンに限定されるものではなく、例えば有名アーティストのコンサートなど幅広く適用可能であり、仮想視点画像を用いた様々な新しい視聴体験をユーザへ提供することが可能となる。
【００８１】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８２】
１０４  画像生成サーバ
３１１  主制御モジュール
３１２  描画前処理モジュール
３１４  描画モジュール
【図１】
2020080101.tif 000003
【図２】
2020080101.tif 000004
【図３】
2020080101.tif 000005
【図４】
2020080101.tif 000006
【図５】
2020080101.tif 000007
【図６】
2020080101.tif 000008
【図７】
2020080101.tif 000009
【図８】
2020080101.tif 000010
【図９】
2020080101.tif 000011
【図１０】
2020080101.tif 000012