(57)【要約】      （修正有）【課題】仮想視点映像の画質劣化を抑えつつ、仮想カメラの設定の自由度を向上させるシステムを提供する。【解決手段】設定装置は、仮想視点の位置及び向きに関する第１パラメータの設定に関するユーザ操作を受け付けＳ５０９、第１パラメータに基づいて、仮想視点に関する第２パラメータの設定可能範囲を決定しＳ５１０、第１パラメータと、設定可能範囲の第２パラメータとを仮想視点に関するパラメータとして設定するＳ５１２。【選択図】図５
2019102907.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラの撮影画像に基づいて生成される仮想視点映像に関する仮想視点のパラメータを設定する設定装置であって、
仮想視点の位置に関する第１パラメータに関するユーザ操作を受け付ける受付手段と、
前記受付手段により受け付けられたユーザ操作に基づく前記第１パラメータに基づいて、前記仮想視点の第２パラメータの設定可能範囲を決定する決定手段と、
前記受付手段により受け付けられた前記第１パラメータと、前記決定手段により決定された設定可能範囲で前記受付手段により受け付けられた第２パラメータとを前記仮想視点のパラメータとして設定する設定手段とを有することを特徴とする設定装置。
【請求項２】
前記決定手段により決定された前記第２パラメータの設定可能範囲を示す設定範囲画像を表示デバイスに表示させる表示制御手段を有し、
前記受付手段は、前記表示デバイスにより表示された前記設定範囲画像に対するユーザ操作を、前記第２パラメータの設定に関するユーザ操作として受け付けることを特徴とする請求項１に記載の設定装置。
【請求項３】
前記第２パラメータは仮想視点映像の再生速度、前記仮想視点映像に対応するシャッタ速度、前記仮想視点映像に対応する焦点距離、前記仮想視点映像に対応する絞り値、及び、前記仮想視点映像に重畳表示させる画像の数のうち、少なくとも何れか１つであることを特徴とする請求項１又は２に記載の設定装置。
【請求項４】
前記第１パラメータに基づいて生成される仮想視点映像に、閾値未満の画質の領域が含まれるか判定する判定手段を有し、
前記決定手段は、前記仮想視点映像に閾値未満の画質の領域が含まれると判定された場合は、前記仮想視点映像に前記閾値未満の画質の領域が含まれないと判定された場合よりも、前記仮想視点映像の再生速度の設定可能範囲が制限されるように前記第２パラメータの設定可能範囲を決定することを特徴とする請求項１乃至３のうち、何れか１項に記載の設定装置。
【請求項５】
前記第１パラメータに基づいて生成される仮想視点映像に、閾値未満の画質の領域が含まれるか判定する判定手段を有し、
前記決定手段は、前記仮想視点映像に閾値未満の画質の領域が含まれると判定された場合は、前記仮想視点映像に前記閾値未満の画質の領域が含まれないと判定された場合よりも、前記仮想視点に対応するシャッタ速度の設定可能範囲が制限されるように前記第２パラメータの設定可能範囲を決定することを特徴とする請求項１乃至３のうち、何れか１項に記載の設定装置。
【請求項６】
前記第１パラメータに基づいて生成される仮想視点映像に、閾値未満の画質の領域が含まれるか判定する判定手段を有し、
前記決定手段は、前記仮想視点映像に閾値未満の画質の領域が含まれると判定された場合は、前記仮想視点映像に前記閾値未満の画質の領域が含まれないと判定された場合よりも、前記仮想視点に対応する焦点距離の設定可能範囲が制限されるように前記第２パラメータの設定可能範囲を決定することを特徴とする請求項１乃至３のうち、何れか１項に記載の設定装置。
【請求項７】
前記第１パラメータに基づいて生成される仮想視点映像に、閾値未満の画質の領域が含まれるか判定する判定手段を有し、
前記決定手段は、前記仮想視点映像に閾値未満の画質の領域が含まれると判定された場合は、前記仮想視点映像に前記閾値未満の画質の領域が含まれないと判定された場合よりも、前記仮想視点に対応する絞り値の設定可能範囲が制限されるように前記第２パラメータの設定可能範囲を決定することを特徴とする請求項１乃至３のうち、何れか１項に記載の設定装置。
【請求項８】
前記第１パラメータに基づいて生成される仮想視点映像に、閾値未満の画質の領域が含まれるか判定する判定手段を有し、
前記決定手段は、前記仮想視点映像に閾値未満の画質の領域が含まれると判定された場合は、前記仮想視点映像に前記閾値未満の画質の領域が含まれないと判定された場合よりも、前記仮想視点映像に重畳表示させる画像数の設定可能範囲が制限されるように前記第２パラメータの設定可能範囲を決定することを特徴とする請求項１乃至３のうち、何れか１項に記載の設定装置。
【請求項９】
前記仮想視点画像に重畳表示される画像とは、前記仮想視点映像における人物に関する情報、及び、前記仮想視点映像に重畳される広告のうち、少なくとも何れかであることを特徴とする請求項３又は８に記載の設定装置。
【請求項１０】
前記画質は、前記第１パラメータに基づいて生成される仮想視点映像における人物の密集の度合いに応じて決定されることを特徴とする請求項４乃至９のうち、何れか１項に記載の設定装置。
【請求項１１】
前記画質は、前記第１パラメータとして設定される仮想視点の位置と、前記仮想視点映像に含まれるオブジェクトとの距離に基づいて決定されることを特徴とする請求項４乃至１０のうち、何れか１項に記載の設定装置。
【請求項１２】
前記画質は、前記第１パラメータに基づいて生成される仮想視点映像における人物のテクスチャと移動速度とに基づいて決定されることを特徴とする請求項４乃至１１のうち、何れか１項に記載の設定装置。
【請求項１３】
複数のカメラの撮影画像に基づいて生成される仮想視点映像に関する仮想視点のパラメータを設定するための設定方法であって、
仮想視点の位置及び向きに関する第１パラメータの設定に関するユーザ操作を受け付け、
前記受け付けられた第１パラメータに基づいて決定される前記仮想視点の第２パラメータの設定可能範囲を示す設定範囲画像を表示デバイスに表示させ、
前記第１パラメータと、前記設定範囲画像に対するユーザ操作に基づいて決定された第２パラメータとを、前記仮想視点のパラメータとして設定することを特徴とする設定方法。
【請求項１４】
コンピュータを請求項１乃至１２のうち何れか１項に記載の設定装置の各手段として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想視点映像に関する仮想視点のパラメータの設定方法に関する。
【背景技術】
【０００２】
複数台の実カメラ映像を用いて、３次元空間内に配置した仮想的なカメラ（以下、仮想カメラ）からの映像を再現する技術として、仮想視点映像技術がある（自由視点映像などとも呼ばれる）。仮想視点映像の生成に際しては、仮想カメラの位置、姿勢、及び画角を時間軸に沿って適切に設定する（以降、仮想カメラパスと呼ぶ）。しかし、仮想カメラパスによっては、仮想視点映像の画質劣化が発生するケースがある。これは、撮影カメラの特性や仮想視点映像を生成するアルゴリズムに起因するものであり、仮想カメラパスを設定する際には、これら画質劣化要因に注意を払わなければならない。このような課題に対して、特許文献１には、仮想カメラの設置位置に制限を設ける手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４６７１８７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、引用文献１の方法を用いると、仮想カメラの設置位置が制約される。そこで本発明では、仮想視点映像の画質劣化を抑えつつ、仮想カメラの設定の自由度を向上させることを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の設定装置は、例えば以下の構成を有する。すなわち、複数のカメラの撮影画像に基づいて生成される仮想視点映像に関する仮想視点のパラメータを設定する設定装置であって、仮想視点の位置及び向きに関する第１パラメータに関するユーザ操作を受け付ける受付手段と、前記受付手段により受け付けられたユーザ操作に基づく前記第１パラメータに基づいて、前記仮想視点の第２パラメータの設定可能範囲を決定する決定手段と、前記受付手段により受け付けられた前記第１パラメータと、前記決定手段により決定された設定可能範囲で前記受付手段により受け付けられた第２パラメータとを前記仮想視点のパラメータとして設定する設定手段とを有する。
【発明の効果】
【０００６】
本発明によれば、仮想視点映像の画質劣化を抑えつつ、仮想カメラの設定の自由度を向上させる。
【図面の簡単な説明】
【０００７】
【図１】実施形態に係るシステムの構成を説明するための図。
【図２】カメラ装置の配置を説明するための概要図。
【図３】仮想カメラパスを設定するＧＵＩを説明するための図。
【図４】仮想視点映像生成の処理を説明するためのフローチャート。
【図５】仮想カメラパス設定処理を説明するためのフローチャート。
【図６】映像生成難易度算出処理を説明するためのフローチャート。
【図７】画質劣化度算出処理を説明するためのフローチャート。
【図８】パラメータ制限値の算出手法を示すフローチャート図。
【図９】映像生成難易度の可視化手法を説明するための図。
【図１０】画質劣化度の可視化手法を説明するための図。
【図１１】各種パラメータの制限手法を説明するための図。
【図１２】エフェクト・広告数の制限手法を説明するための図。
【図１３】エフェクト数・広告数の制限値算出手法を説明するためのフローチャート図。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【０００９】
図１は、本実施形態のシステム構成を示すブロック図である。設定装置１００は、ＣＰＵ１０１、メインメモリ１０２、記憶部１０３、入力部１０４、表示部１０５、外部Ｉ／Ｆ部１０６、及びバス１０７を備える。ＣＰＵ１０１は、演算処理や各種プログラムの実行を行う。メインメモリ１０２は、処理に必要なプログラム、データ、作業領域などをＣＰＵ１０１に提供する。記憶部１０３は、画像処理プログラムやＧＵＩ表示に必要な各種データを蓄積する装置で、例えばハードディスクやシリコンディスク等の不揮発性メモリが用いられる。入力部１０４は、キーボードやマウス、電子ペン、タッチパネル等のデバイスであり、ユーザからの操作入力を受け付ける。表示部１０５はＧＵＩの表示を行う。外部Ｉ／Ｆ部１０６はカメラ装置と接続し、映像データや制御信号データの送受信をＬＡＮ１０８経由で行う。バス１０７は上述の各部を接続し、データ転送を行う。なお、本実施形態では設定装置１００が表示部１０５を備える場合の例を中心に説明するが、設定装置１００と表示部１０５が別体の装置として構成されていても良い。ＣＰＵ１０１は、表示部１０５に画像を表示させるための表示制御部として動作する。
【００１０】
カメラ群１０９は、複数台のカメラ２０３を備える。カメラ群１０９はＬＡＮ１０８経由で設定装置１００と接続されており、設定装置１００からの制御信号をもとに、撮影の開始と停止、カメラ設定（シャッタースピード、焦点距離、絞値など）の変更、撮影データの転送を行う。なお、設定装置１００とは別の制御装置が、カメラ１０９の撮影を制御するようにしても良い。システム構成については、上記以外にも、様々な変形例が存在するが、その説明は省略する。
【００１１】
図２は、カメラ群１０９が備える複数台のカメラ２０３の配置を示した図である。ここでは、スポーツなどを行う競技場に複数台のカメラ２０３を設置するケースを説明する。競技を行うフィールド２０１上にオブジェクト２０２が存在し、複数台のカメラ２０３がフィールド２０１を取り囲むように配置される。複数台のカメラ２０３のそれぞれの撮影方向と焦点距離は、フィールド２０１が画角内に収まるように設定されている。
【００１２】
図３は、仮想視点映像の生成時の仮想カメラパス設定を行うＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を示した図である。ＧＵＩは、俯瞰図プレビューウィンドウ３０１、操作ボタン類３０２、及び、カメラパス設定ダイアログ３０３を有する。このＧＵＩは、表示部１０５により表示される。俯瞰図プレビューウィンドウ３０１は、仮想カメラパスの設定のためのユーザ操作や、仮想カメラパスの確認のために利用される。操作ボタン類３０２は、必要な入力データの読み込み等に利用される。カメラパス設定ダイアログは、仮想カメラパスの設定を詳細に行う際に利用される。また、操作ボタン類３０２の映像確認ボタンが押下されることにより、俯瞰図プレビューウィンドウ３０１が、仮想視点映像プレビューウィンドウ３０４に切り替わり、仮想カメラから見た映像である、仮想視点映像が表示される。
【００１３】
図４は、仮想視点映像を生成する処理過程を説明するためのフローチャート図である。本実施形態の設定装置１００は、ＣＰＵ１０１が記憶部１０３に記憶された所定のプログラムを読み出して実行することにより、フローチャートが示す各種処理を実行する。なお、本実施形態のフローチャートが示す各種処理のうち、少なくとも一部がＣＰＵ１０１以外のハードウェアにより実行されるようにしても良い。
【００１４】
Ｓ４０１では、設定装置１００からカメラ群１０９に対して、撮影時の露光が適切となるようなカメラ設定の変更と、撮影開始の信号を送信する。カメラ群１０９は撮影を開始し、映像データをＬＡＮ１０８経由で設定装置１００へ送信する。Ｓ４０２では、カメラ群１０９から取得した映像データのうち、仮想視点映像の生成の対象となる時刻情報（仮想視点映像の開始時刻から終了時刻までの情報）が設定される。時刻情報の設定は、ユーザ操作に基づいて行われるものとするが、例えば、撮影開始から撮影終了までがデフォルトで仮想視点映像の開始時刻から終了時刻となるようにしても良い。
【００１５】
Ｓ４０３では、時刻情報により特定される複数の撮影画像（映像フレーム）を用いて、オブジェクト２０２の位置と３次元形状を推定する。具体的には、開始時刻が１で、終了時刻が９であった場合、時刻１に相当する全カメラの撮影画像から０以上のオブジェクトの形状推定を行い、次に、時刻２に相当する全カメラの撮影画像から０以上のオブジェクトの形状推定を行う。この処理を時刻９まで繰り返す。オブジェクトの位置や形状を推定する手法としては、オブジェクトの輪郭情報を用いるＶｉｓｕａｌ−ｈｕｌｌ手法や、三角測量を用いたＭｕｌｔｉ−ｖｉｅｗ  ｓｔｅｒｅｏ手法などの既存の手法を用いる。推定したオブジェクトの位置及び形状は記憶部１０３に保存される。
【００１６】
Ｓ４０４では、仮想カメラパスの設定を行う。本処理に関しては、後に詳述する。Ｓ４０５では、仮想カメラパスを用いて、仮想視点映像を生成する。仮想視点映像の生成は、オブジェクトの３次元形状に対して、仮想カメラから見た映像をコンピュータグラフィックスの技術を用いて生成する。Ｓ４０６では、操作ボタン類３０２の映像確認ボタンをユーザが押下することにより、生成した仮想視点映像の画質確認を行う。仮想視点映像は仮想視点映像プレビューウィンドウに表示され、映像に問題がなければ処理を終了し、問題がある場合は、Ｓ４０４に戻り、ユーザが仮想カメラパスを編集する。なおユーザが映像確認ボタンを押下しなければ、Ｓ４０６は省略可能である。また、ユーザ操作の有無に関わらず、仮想カメラパスが設定されたタイミングで仮想視点映像のプレビュー表示が自動で行われるようにしても良い。
【００１７】
図５は、図４のＳ４０４の詳細を説明するためのフローチャート図である。Ｓ５０１では、図３に示したＧＵＩを表示部１０５に表示する。Ｓ５０２では、ユーザによって被写体情報読み込みボタンとフィールド情報読み込みボタンが順に押下される。そして、フィールドの３次元マップやＳ４０３で推定されたオブジェクトの位置及び形状が記憶部１０３からＲＡＭ１０２に読み込まれ、俯瞰図プレビューウィンドウ３０１上に表示される。なお、ユーザが被写体情報読み込みボタンとフィールド情報読み込みボタンを押下したか否かに関わらず、自動で３次元マップやオブジェクトの位置及び形状が読み込まされるようにしても良い。
【００１８】
俯瞰図プレビューウィンドウ３０１上の表示例を図９の俯瞰図９０１に示す。Ｓ５０３では、推定したオブジェクト形状に多視点撮影映像を投影し、オブジェクトの顔、ユニフォーム、及び背番号などのテクスチャを付加する。本実施形態では、オブジェクト形状が、Ｖｉｓｕａｌ−ｈｕｌｌ法などを用いることによって実映像から推定されたデータを用いている例を中心に説明するが、これに限らない。例えば、オブジェクト形状として、事前に準備したジェネリックな３Ｄ形状データを用いても良い。Ｓ５０４では、フィールドの３次元マップを規定サイズの領域に分割する。本実施形態では一例として、ブロック分割を用いる。ブロックは直方体形状で、例えば２ｍ×２ｍ×２ｍのサイズとすることができる。ブロック分割の結果を図９のブロック分割結果９０２に示す。
【００１９】
Ｓ５０５では分割ブロック毎に映像生成難易度Ｄ（ｔ，ｉ）を算出する。本処理は後で詳述する。Ｓ５０６では、各ブロックを映像生成難易度に基づき、色付けを行う。色付け結果を図９の難易度可視化結果９０３に示す。映像生成難易度に比例して色が濃くなっている。Ｓ５０７では、ユーザが色付け結果を鑑みて、仮想カメラの注視点位置を設定する。本実施形態において注視点位置とは、仮想カメラの光軸（仮想的な光軸）と、仮想カメラの撮影対象面との交点に基づく位置である。注視点設定結果を図１０の注視点設定結果１００１に示す。注視点位置は３次元の座標値として、すべての映像フレームで設定され、その軌跡が注視点軌跡１００５として表示している。また、カレントフレームでの注視点位置１００６が×印で表示されており、１番目（ｔ＝１）の映像フレームでの注視点位置を注視点設定結果１００１に、２番目（ｔ＝２）の映像フレームでの注視点位置を注視点設定結果１００３に示す。
【００２０】
Ｓ５０８では、注視点位置に基づいて仮想視点映像のブロック毎に画質劣化度Ｑ（ｔ，ｉ）を算出し、色付けで再現する。図１０の画質劣化度可視化結果１００２及び１００４に示す通り、画質劣化度に比例して色が濃くなっている。Ｓ５０９では、画質劣化度に基づいて仮想カメラの位置や姿勢（第１パラメータ）をユーザが設定する。すなわち、設定装置１００は、Ｓ５０９において仮想視点の位置に関する第１パラメータに関するユーザ操作を受付る。仮想カメラの位置は３次元の座標値として、仮想視点映像に含まれるすべての映像フレームについて設定される。Ｓ５１０では、仮想カメラに設定するパラメータ（第２パラメータ）である、映像再生速度、シャッタ速度、焦点距離、絞値、表示エフェクト数、及び／又は、表示広告数の設定可能範囲（上限値、及び／又は、下限値）を決定する。この処理は後で詳述する。
【００２１】
Ｓ５１１では、設定可能範囲をＵＩに反映させる。この結果を図１１に示す。カメラ設定ダイアログ３０３に表示している各種スライダバーが、制限値反映前１１０１、１１０３、１１０５、及び１１０７に対して、反映後１１０２、１１０４、１１０６、及び１１０８では、設定可能な値が制限されている。このように設定装置１００は、仮想カメラのパラメータについての設定可能範囲を示す設定範囲画像を表示デバイスに表示させる。Ｓ５１２ではユーザが設定可能範囲を反映したＵＩを用いて、各種仮想カメラパラメータを設定し、一連の処理を終了する。
【００２２】
図６は、図５のＳ５０５の詳細を説明するためのフローチャート図である。本実施形態では、すべての映像フレーム（ｔＭａｘ枚）およびフィールドの全ブロック（ｉＭａｘ個）について処理を実施する例を説明する。また、以下では、フレーム番号を変数ｔ、ブロック番号を変数ｉとして説明する。変数ｔ及び変数ｉは共に０で初期化しておく。Ｓ６０１では、フレーム番号ｔを１だけインクリメントする。Ｓ６０２では、ブロック番号ｉを１だけインクリメントする。Ｓ６０３では、オブジェクトの位置情報からフレーム番号ｔ、ブロック番号ｉのブロックＢ（ｔ，ｉ）でのオブジェクト（例えば人物）の密集度Ｅを算出する。密集度はブロック内のオブジェクト数に基づいて決定される。
【００２３】
Ｓ６０４では、ブロックＢ（ｔ，ｉ）内のオブジェクト（例えば人物）からオブジェクトの色を抽出し、背景色との類似度Ｓを算出する。より具体的には、Ｓ５０３で投影したオブジェクトのテクスチャから色情報を抽出し、その色が占める面積（画素数）と、背景色との色差を内積することで類似度Ｓを算出する。競技がサッカーの場合、テクスチャからユニフォーム、髪、肌の色と、その面積を抽出し、背景である芝生の色との色差が算出される。色差はＲＧＢ値の差分やＬａｂ値の差分を用いる。なお、オブジェクトの色と背景色との類似度Ｓを算出する方法には、種々の変形例が存在する点に留意されたい。
【００２４】
Ｓ６０５では、多視点映像のモーションブラー発生率Ｍを算出する。モーションブラー発生率Ｍは、オブジェクトの移動速度とカメラ群１０９の撮影時のシャッタ速度より決定される。シャッタ速度が１／１００［ｓ］とすると、１／１００［ｓ］の間にオブジェクトが移動する映像内の画素数を、移動速度から算出し、その値をＭとする。なお、モーションブラー発生率Ｍを算出する方法は上記に限らず、例えば、オブジェクトの移動速度のみから算出することも可能であるし、オブジェクトの移動速度に加えて移動加速度に基づいて算出することも可能である。
【００２５】
Ｓ６０６では、密集度Ｅ、類似度Ｓ、及びモーションブラー発生率Ｍを積算し、映像生成難易度Ｄ（ｔ，ｉ）を算出する。なお、映像生成難易度Ｄの算出方法はこれに限らず、密集度Ｅ、類似度、モーションブラー発生率Ｍのうち何れか１つの値を映像生成難易度Ｄとしても良いし、何れか２つの値を組み合わせることによって映像生成難易度Ｄとしても良い。また、密集度Ｅ、類似度Ｓ、及びモーションブラー発生率Ｍに所定の重みづけをした上で積算して、映像生成難易度Ｄを算出するようにしても良い。
【００２６】
Ｓ６０７では、ｉ≧ｉＭａｘを評価し、ＹｅｓならＳ６０８に進み、ＮｏならＳ６０２に進む。Ｓ６０８では、ｔ≧ｔＭａｘを評価し、ＮｏならＳ６０１に進み、Ｙｅｓなら一連の処理を終了する。
【００２７】
以上の処理によって算出した映像生成難易度Ｄを可視化した結果を図９に示す。難易度可視化結果９０３は、フレーム番号１におけるブロックごとの映像生成難易度を表している。色の濃さと映像生成難易度Ｄは比例関係にあり、オブジェクトが密集しているブロックや背景色（この場合は白色）と似た色のオブジェクトを含むブロックでは、色が濃いことが確認できる。また、フレーム番号２では難易度可視化結果９０４のようになる。なお、本実施形態では、図４のＳ４０２において設定された期間内のすべての時刻について、映像生成難易度Ｄを決定する場合の例を中心に説明するが、これに限らず、例えば、一定時間ごとに映像生成難易度Ｄが決定されるようにしても良い。このようにすれば、図６に係る処理負荷を低減できる。
【００２８】
図７は、図５のＳ５０８の詳細を説明するためのフローチャート図である。本実施形態では、すべての映像フレーム（ｔＭａｘ枚）およびフィールドの全ブロック（ｉＭａｘ個）について処理を実施する例を説明する。また、以下では、フレーム番号を変数ｔ、ブロック番号を変数ｉとして説明する。変数ｔ及び変数ｉは共に０で初期化しておく。Ｓ７０１では、フレーム番号ｔを１だけインクリメントする。Ｓ７０２では、ブロック番号ｉを１だけインクリメントする。Ｓ７０３では、仮想カメラの位置と注視点の位置の距離Ｒを算出する。Ｓ７０４では、フレーム番号ｔとブロック番号ｉに対応する映像生成難易度Ｄ（ｔ，ｉ）を取得する。Ｓ７０５では、距離Ｒと映像生成難易度Ｄ（ｔ，ｉ）から、画質劣化度Ｑ（ｔ，ｉ）を算出する。画質劣化度Ｑの算出方法は種々考えられるが、単純な方法としては、映像生成難易度Ｄ（ｔ，ｉ）を距離Ｒで割ることによって算出できる。他の方法として、画質劣化度Ｄ又は距離Ｒに対して所定の係数を乗算してから除算をしても良いし、距離Ｒと映像生成難易度Ｄの組み合わせと、画質劣化度Ｑとの関係を予め規定したテーブルを用いても良い。
【００２９】
Ｓ７０７では、ｉ≧ｉＭａｘを評価し、ＹｅｓならＳ７０８に進み、ＮｏならＳ７０２に進む。Ｓ７０８では、ｔ≧ｔＭａｘを評価し、ＮｏならＳ７０１に進み、Ｙｅｓなら一連の処理を終了する。以上の処理によって算出された画質劣化度Ｑを可視化した結果を図１０に示す。画質劣化度可視化結果１００２は、フレーム番号１における画質劣化度Ｑを表している。色の濃さと画質劣化度Ｑは比例関係にあり、注視点１００６に近いブロックでは、色が濃いことが確認できる。また、画質劣化度可視化結果１００４は、フレーム番号２における画質劣化度Ｑの可視化結果を表している。フレーム番号２では、密集したオブジェクト近辺に注視点１００７が設定されているため、フレーム番号１と比較して、色の濃いブロックが広範囲に分布している。
【００３０】
図８は、図５のＳ５１０の詳細を説明するためのフローチャート図である。本実施形態では、すべての映像フレーム（ｔＭａｘ枚）について処理を実施する例を説明する。またフレーム番号は変数ｔとして説明する。ｔは０で初期化しておく。Ｓ８０１では、フレーム番号ｔを１だけインクリメントする。Ｓ８０２では、フレーム番号ｔにおける仮想カメラの３次元位置から、仮想カメラを含有するブロック番号ｉを取得する。Ｓ８０３では、ブロック番号ｉにおける画質劣化度Ｑ（ｔ，ｉ）を取得する。
【００３１】
Ｓ８０４では、画質劣化度Ｑを用いて仮想視点映像の再生速度の設定可能範囲を制限する。仮想視点映像の再生速度は、図１１の１１０１に示すように、スライダバーを用いて設定する。このスライダバー１１０１は、カメラパス設定ダイアログ３０３に表示されており、スライダバー１００１の数値である”１”は、等速再生を示し、右に行くほど再生速度が速くなる。逆に左に行くほど、再生速度は低下する。仮想視点映像は、再生速度を上げると画質劣化が視覚的に目立たなくなる特性がある。そのため、通常はスライダバー１１０１のように広範囲に設定可能な再生速度を、画質劣化度Ｑが大きい場合には、スライダバー１１０２のように、高速領域にのみ限定するよう制限する。このときの制限速度は画質劣化度Ｑの値に応じた適切な値があらかじめテーブルとして保持しているものとする。すなわち、設定装置１００は、仮想視点映像に閾値未満の画質の領域が含まれると判定された場合は、当該閾値未満の画質の領域が含まれないと判定された場合よりも、仮想視点映像の再生速度の設定可能範囲を狭くする。ユーザは、当該狭くなった設定可能範囲内で再生速度を設定する。
【００３２】
Ｓ８０５では、画質劣化度Ｑを用いて仮想カメラのシャッタ速度の設定範囲に制限を加える。仮想カメラのシャッタ速度は、図１１の１１０３に示すように、スライダバーを用いて設定する。このスライダバー１１０３は、カメラパス設定ダイアログ３０３に表示されており、スライダバー１１０３の数値はシャッタ速度であり、右に行くほどシャッタ速度が遅くなる。逆に左に行くほど、シャッタ速度が速くなる。仮想カメラのシャッタ速度を下げると、モーションブラーが発生しやすくなり、画質劣化が視覚的に目立たなくなる特性がある。そのため、通常はスライダバー１１０３のように広範囲に設定可能なシャッタ速度を、画質劣化度Ｑが大きい場合には、スライダバー１１０４のように、高速領域にのみ限定するよう制限する。すなわち、設定装置１００は、仮想視点映像に閾値未満の画質の領域が含まれると判定された場合は、当該閾値未満の画質の領域が含まれないと判定された場合よりも、仮想視点映像のシャッタ速度の設定可能範囲を狭くする。このときの制限速度は画質劣化度Ｑの値に応じた適切な値があらかじめテーブルとして保持しているものとする。
【００３３】
Ｓ８０６では、画質劣化度Ｑを用いて仮想カメラの焦点距離の設定範囲に制限を加える。仮想カメラの焦点距離は、図１１の１１０５に示すように、スライダバーを用いて設定する。このスライダバー１１０５は、カメラパス設定ダイアログ３０３に表示されており、スライダバー１１０５の数値は焦点距離値であり、右に行くほど焦点距離が長くなる（望遠になる）。逆に左に行くほど、焦点距離が短くなる（広角になる）。仮想視点映像では、仮想カメラの焦点距離を短くすると（広角映像にすると）、画質劣化が視覚的に目立たなくなる特性がある。そのため、通常はスライダバー１１０５のように広範囲に設定可能な焦点距離を、画質劣化度Ｑが大きい場合には、スライダバー１１０６のように、短距離領域にのみ限定するよう制限する。すなわち、設定装置１００は、仮想視点映像に閾値未満の画質の領域が含まれると判定された場合は、当該閾値未満の画質の領域が含まれないと判定された場合よりも、仮想視点映像の焦点距離の設定可能範囲を狭くする。このときの制限距離は画質劣化度Ｑの値に応じた適切な値があらかじめテーブルとして保持しているものとする。
【００３４】
Ｓ８０７では、画質劣化度Ｑを用いて仮想カメラの絞値の設定範囲を制限する。仮想カメラの絞値は、図１１の１１０７に示すように、スライダバーを用いて設定する。このスライダバー１１０７は、カメラパス設定ダイアログ３０３に表示されており、スライダバー１１０７の数値は絞値であり、右に行くほど絞値が大きくなる（絞り穴が小さくなる）。逆に左に行くほど、絞値が小さくなる（絞り穴が大きくなる）。仮想視点映像では、仮想カメラの絞値を小さくすると、被写界深度ボケが発生するため、画質劣化が視覚的に目立たなくなる特性がある。そのため、通常はスライダバー１１０７のように広範囲に設定可能な絞値を、画質劣化度Ｑが大きい場合には、スライダバー１１０８のように、低領域にのみ限定するよう制限する。すなわち、設定装置１００は、仮想視点映像に閾値未満の画質の領域が含まれると判定された場合は、当該閾値未満の画質の領域が含まれないと判定された場合よりも、仮想視点映像の絞値の設定可能範囲を狭くする。このときの制限絞値は画質劣化度Ｑの値に応じた適切な値があらかじめテーブルとして保持しているものとする。
【００３５】
Ｓ８０８では、ｔ≧ｔＭａｘを評価し、ＮｏならＳ８０１に進み、Ｙｅｓなら一連の処理を終了する。本実施形態の構成によれば、仮想視点映像の画質劣化を抑えつつ、仮想カメラの設定の自由度を向上させることができる。
【００３６】
＜変形例＞
上記の説明では画質劣化度Ｑに基づいて仮想カメラの設定を制御する例を中心に説明した。以下では、画質劣化度Ｑに基づいてエフェクト画像や広告画像の表示数を制御する例を説明する。一般的に、仮想視点映像に重畳するエフェクト画像や広告画像は、頻繁に切り替わると、視聴者に不快感をもたらす。そのため、本変形例は、すべての映像フレームに対して適用されるパラメータの決定方法と言うこともできる。ただし、エフェクト画像や広告画像の表示数が途中で変化しても良い。以下、エフェクト画像や広告画像などの仮想視点映像に重畳表示される画像のことを総称して、メタ画像と呼ぶ。
【００３７】
図１３は、メタ画像の数の設定に関する、Ｓ５１０の処理を説明するためのフローチャート図である。フレーム番号は変数ｔで表し、０で初期化しておく。Ｓ１３０１では、フレーム番号ｔを１だけインクリメントする。Ｓ１３０２では、フレーム番号ｔにおける仮想カメラの３次元位置から、仮想視点画像に含まれるブロック番号ｉを取得する。Ｓ１３０３では、ブロック番号ｉにおける画質劣化度Ｑ（ｔ，ｉ）を取得する。Ｓ１３０４では、フレームｔにおいて最低限表示すべきエフェクト数Ｅｎ（ｔ）を算出する。エフェクト画像には、エフェクト概念図１２０１に示すように、選手の移動軌跡をグラフィカルに表現するもの、選手名や選手情報を表示するものなどが存在する。エフェクト画像が多く表示されるほど、仮想視点映像の劣化が目立ちにくくなる。そこで、画質の劣化の度合いが高いほど、エフェクト画像数が多くなるように、エフェクト画像数Ｅｎを決定する。なおエフェクト数Ｅｎ（ｔ）は、画質劣化度Ｑ（ｔ，ｉ）に応じた適切な値をあらかじめテーブルとして保持しているものとする。
【００３８】
Ｓ１３０５では、フレームｔにおいて最低限表示すべき広告数Ａｎ（ｔ）を算出する。広告画像とは、エフェクト概念図１２０４に示すように、スポンサーのロゴなどであり、広告画像が多く表示されるほど、仮想視点映像の劣化が目立ちにくくなる。そこで、画質の劣化の度合いが高いほど、広告画像数が多くなるように、広告数Ａｎを決定する。Ａｎ（ｔ）は、Ｑ（ｔ，ｉ）に応じた適切な値をあらかじめテーブルとして保持しているものとする。Ｓ１３０６では、ｔ≧ｔＭａｘを評価し、ＮｏならＳ１３０１に進み、ＹｅｓならＳ１３０７に進む。Ｓ１３０７では、エフェクト数Ｅｎ（ｔ）（１≦ｔ≦ｔＭａｘ）の中での最大値を算出し、それをエフェクト数Ｅｎとする。エフェクト数は、図１２の１２０２に示すように、スライダバーを用いて設定する。このスライダバー１２０２は、カメラパス設定ダイアログ３０３に表示されており、スライダバーの数値はエフェクト数を示し、右に行くほどエフェクト数が多くなる。本実施形態では、通常はスライダバー１２０２のように広範囲に設定可能なエフェクト数を、画質劣化度Ｑが大きい場合には、スライダバー１２０３のように制限する（この場合は、Ｅｎ≦エフェクト数≦３０）。すなわち、設定装置１００は、仮想視点映像に閾値未満の画質の領域が含まれると判定された場合は、当該閾値未満の画質の領域が含まれないと判定された場合よりも、仮想視点映像に重畳表示させるエフェクト画像数の設定可能範囲を狭くする。
【００３９】
Ｓ１３０８では、広告数Ａｎ（ｔ）（１≦ｔ≦ｔＭａｘ）の中での最大値を算出し、それを広告数Ａｎとする。広告数は、図１２の１２０５に示すように、スライダバーを用いて設定する。このスライダバー１２０５は、カメラパス設定ダイアログ３０３に表示されており、スライダバー１２０５の数値は広告数を示し、右に行くほど広告数が多くなる。本実施形態では、通常はスライダバー１２０５のように広範囲に設定可能な広告数を、画質劣化度Ｑが大きい場合には、スライダバー１２０６のように制限する（この場合は、Ａｎ≦広告数≦３０）。すなわち、設定装置１００は、仮想視点映像に閾値未満の画質の領域が含まれると判定された場合は、当該閾値未満の画質の領域が含まれないと判定された場合よりも、仮想視点映像に重畳表示させる広告画像数の設定可能範囲を狭くする。このようにしても、仮想視点映像の画質劣化を抑えつつ、仮想カメラの設定の自由度を向上させることができる。
【００４０】
なお、上述の実施形態では、各種パラメータをスライダバーによって設定する例を説明したが、これに限らない。例えば、プルダウンメニューを用いて設定してもよいし、テキストボックスにユーザが数値を入力するようにしても良い。テキストボックスを用いる場合、制限範囲外の値が入力された場合は、エラーを表示すればよい。
【００４１】
また、上述の実施形態では、映像生成難易度Ｄに基づいて画質劣化度Ｑを求め、画質劣化度Ｑから仮想カメラパラメータの制限範囲を求める例を中心に説明したが、これに限らない。例えば、映像生成難易度Ｄから直接、仮想カメラパラメータの制限範囲を求めても良いし、画質劣化度Ｑが映像生成難易度Ｄ以外のパラメータに基づいて求められるようにしても良い。
【００４２】
また、上述の変形例においては、エフェクト画像数と広告画像数をそれぞれ別々に設定する場合の例を説明したが、これに限らない。例えば、エフェクト画像数と広告画像数の総数について設定可能範囲を算出するようにしても良い。また、画像の数ではなく、画像のサイズを考慮するようにしても良い。また、仮想視点画像に重畳される画像は、エフェクト画像と広告画像に限らず、日時を表す画像や、天気を表す画像など、種々のものが考えられる。
【００４３】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2019102907.tif 000003
【図２】
2019102907.tif 000004
【図３】
2019102907.tif 000005
【図４】
2019102907.tif 000006
【図５】
2019102907.tif 000007
【図６】
2019102907.tif 000008
【図７】
2019102907.tif 000009
【図８】
2019102907.tif 000010
【図９】
2019102907.tif 000011
【図１０】
2019102907.tif 000012
【図１１】
2019102907.tif 000013
【図１２】
2019102907.tif 000014
【図１３】
2019102907.tif 000015