(57)【要約】【課題】仮想視点コンテンツの画質の低下が視聴者に認識される虞を低減することである。【解決手段】映像生成装置は、複数のカメラによる撮影に基づく画像を基に仮想視点コンテンツを生成する映像生成装置であって、仮想視点と前記仮想視点に対応する時間情報とが時系列に関連付けられた仮想カメラパスを生成する第１の生成手段（１１４）と、前記第１の生成手段により生成される仮想カメラパスに基づいて生成される仮想視点画像の画質が低下する場合には、前記仮想カメラパスを修正する修正手段（１１５）と、前記修正手段により修正された仮想カメラパスと前記複数のカメラによる撮影に基づく画像を基に仮想視点コンテンツを生成する第２の生成手段（１１７）とを有する。【選択図】図１
2019191915.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラによる撮影に基づく画像を基に仮想視点コンテンツを生成する映像生成装置であって、
仮想視点と前記仮想視点に対応する時間情報とが時系列に関連付けられた仮想カメラパスを生成する第１の生成手段と、
前記第１の生成手段により生成される仮想カメラパスに基づいて生成される仮想視点画像の画質が低下する場合には、前記仮想カメラパスを修正する修正手段と、
前記修正手段により修正された仮想カメラパスと前記複数のカメラによる撮影に基づく画像を基に仮想視点コンテンツを生成する第２の生成手段と
を有することを特徴とする映像生成装置。
【請求項２】
前記修正手段は、対象時点の仮想視点コンテンツの画質が、前記対象時点の前の時点の仮想視点画像の画質より低下する場合には、前記仮想カメラパスを修正することを特徴とする請求項１に記載の映像生成装置。
【請求項３】
前記修正手段は、対象時点の仮想視点コンテンツの画質が基準画質より低下する場合には、前記仮想カメラパスを修正することを特徴とする請求項１に記載の映像生成装置。
【請求項４】
前記修正手段は、対象時点の前記撮影に基づく画像の符号量が、前記対象時点の前の時点の前記撮影に基づく画像の符号量より少ない場合には、前記仮想カメラパスを修正することを特徴とする請求項１又は２に記載の映像生成装置。
【請求項５】
前記修正手段は、対象時点の前記撮影に基づく画像の符号量が基準符号量より少ない場合には、前記仮想カメラパスを修正することを特徴とする請求項１又は３に記載の映像生成装置。
【請求項６】
前記修正手段は、対象時点の前記撮影に基づく画像のデータ欠損が発生している場合には、前記仮想カメラパスを修正することを特徴とする請求項１に記載の映像生成装置。
【請求項７】
前記修正手段は、第１の静的仮想視点コンテンツの仮想カメラパスを、前記第１の静的仮想視点コンテンツの再生時間を短くした第２の静的仮想視点コンテンツの仮想カメラパスに修正し、
前記第２の生成手段は、前記修正された仮想カメラパスを基に前記第２の静的仮想視点コンテンツを生成することを特徴とする請求項１〜６のいずれか１項に記載の映像生成装置。
【請求項８】
前記修正手段は、静的仮想視点コンテンツの仮想カメラパスを動的仮想視点コンテンツの仮想カメラパスに修正し、
前記第２の生成手段は、前記修正された仮想カメラパスを基に前記動的仮想視点コンテンツを生成することを特徴とする請求項１〜６のいずれか１項に記載の映像生成装置。
【請求項９】
前記修正手段は、第１の動的仮想視点コンテンツの仮想カメラパスを、前記第１の動的仮想視点コンテンツより仮想視点の軌道半径が大きい第２の動的仮想視点コンテンツの仮想カメラパスに修正し、
前記第２の生成手段は、前記修正された仮想カメラパスを基に前記第２の動的仮想視点コンテンツを生成することを特徴とする請求項１〜６のいずれか１項に記載の映像生成装置。
【請求項１０】
前記修正手段は、第１の仮想視点コンテンツの仮想カメラパスを第２の仮想視点コンテンツの仮想カメラパスに修正し、さらに、前記第２の仮想視点コンテンツの一部を単一のカメラ画像に変更するように仮想カメラパスを修正し、
前記第２の生成手段は、前記修正された仮想カメラパスを基に、前記一部が単一のカメラ画像に変更された第２の仮想視点コンテンツを生成することを特徴とする請求項１〜９のいずれか１項に記載の映像生成装置。
【請求項１１】
複数のカメラによる撮影に基づく画像を基に仮想視点コンテンツを生成する映像生成装置の制御方法であって、
仮想視点と前記仮想視点に対応する時間情報とが時系列に関連付けられた仮想カメラパスを生成する第１の生成ステップと、
前記第１の生成ステップで生成される仮想カメラパスに基づいて生成される仮想視点画像の画質が低下する場合には、前記仮想カメラパスを修正する修正ステップと、
前記修正ステップで修正された仮想カメラパスと前記複数のカメラによる撮影に基づく画像を基に仮想視点コンテンツを生成する第２の生成ステップと
を有することを特徴とする映像生成装置の制御方法。
【請求項１２】
コンピュータを、請求項１〜１０のいずれか１項に記載された映像生成装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像生成装置、映像生成装置の制御方法及びプログラムに関するものである。
【背景技術】
【０００２】
昨今、複数のカメラを異なる位置に設置し、被写体を多視点で同期撮影し、その撮影により得られた複数視点画像を用いて仮想視点コンテンツ（仮想視点画像）を生成する技術が注目されており、一般的に自由視点と称されている。複数視点画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な視点から視聴することができる。その結果、仮想視点コンテンツは、単一のカメラが撮影した画像コンテンツと比較して、ユーザに高臨場感を与えることができる。
【０００３】
一方、仮想視点コンテンツの生成には、複数のカメラが撮影した画像が必要であるため、単一のカメラが撮影した画像コンテンツより、コンテンツ生成時のデータ伝送量や機材の数が増加する。そこで、生成する仮想視点コンテンツに応じてカメラを選択する技術が考案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２２８８４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
仮想視点コンテンツを生成するシステムにおいて、生成される仮想視点コンテンツの画質の低下が視聴者に認識されると、視聴者の満足度が低下してしまう。画質の低下の要因としては、例えば、仮想視点コンテンツを生成するシステムにおけるデータ伝送量や機材の数の増加から、伝送路の破綻や機器の故障による様々な障害が起きる可能性があり、その影響で撮影画像の一部が欠損する場合がある。また例えば、システムに障害が起きた場合や障害が起きそうなことを把握した場合に、仮想視点コンテンツの生成に用いる撮影画像の数を減らしたり、フレームレートを低下させたり、画像のビット精度を削減したりする。これにより、システム内におけるデータ伝送量を抑制することでシステムの破綻を回避することがある。このように仮想視点コンテンツの生成に用いる画像のデータ量が減少した場合には、その画像を用いて生成される仮想視点コンテンツの画質も低下する虞がある。
【０００６】
本発明の目的は、仮想視点コンテンツの画質の低下が視聴者に認識される虞を低減することである。
【課題を解決するための手段】
【０００７】
本発明の映像生成装置は、複数のカメラによる撮影に基づく画像を基に仮想視点コンテンツを生成する映像生成装置であって、仮想視点と前記仮想視点に対応する時間情報とが時系列に関連付けられた仮想カメラパスを生成する第１の生成手段と、前記第１の生成手段により生成される仮想カメラパスに基づいて生成される仮想視点画像の画質が低下する場合には、前記仮想カメラパスを修正する修正手段と、前記修正手段により修正された仮想カメラパスと前記複数のカメラによる撮影に基づく画像を基に仮想視点コンテンツを生成する第２の生成手段とを有する。
【発明の効果】
【０００８】
本発明によれば、仮想視点コンテンツの画質の低下が視聴者に認識される虞を低減することができる。
【図面の簡単な説明】
【０００９】
【図１】映像生成装置の構成例を示すブロック図である。
【図２】映像生成装置の制御方法を示すフローチャートである。
【図３】映像生成装置の制御方法を示すタイムチャートである。
【図４】軌道半径の修正前後の関係を示す図である。
【図５】映像生成装置の制御方法を示すフローチャートである。
【図６】映像生成装置の制御方法を示すタイムチャートである。
【図７】映像生成装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面を参照して詳細に説明する。本実施形態では、仮想視点コンテンツ（仮想視点画像）は動画コンテンツであるものとする。そして、仮想視点コンテンツは、静的仮想視点コンテンツと動的仮想視点コンテンツの２種類に大別されるものとする。静的仮想視点コンテンツは、複数のカメラがそれぞれ異なる方向から略同一の時刻に撮影した複数の画像に基づいて生成される仮想視点コンテンツである。すなわち、静的仮想視点コンテンツは、止まったままの被写体を指定された仮想視点から見たような画像である。なお、静的仮想視点コンテンツにおいて仮想視点の位置や方向は変化してよい。一方、動的仮想視点コンテンツは、複数のカメラがそれぞれ異なる方向から或る期間にわたって撮影した複数の画像に基づいて生成されるコンテンツである。すなわち、動的仮想視点コンテンツは、時間の経過に応じて変化する被写体を指定された仮想視点から見たような画像である。なお、動的仮想視点コンテンツにおいても仮想視点の位置や方向は変化してよい。
【００１１】
図１は、本実施形態による映像生成システムの構成例を示す図である。映像生成システムは、映像生成装置１００と、カメラ群１０１と、映像配信機器１０２とを有する。カメラ群１０１は、複数のカメラを有し、複数のカメラの多視点の画像に対して、時刻情報（時間情報）、データ欠損及び冗長に関する情報、ビット精度、フレームレート、撮影カメラ台数を含むメタデータを対応付けて、映像生成装置１００に送信する。映像生成装置１００は、カメラ群１０１が同期撮影した多視点の画像を連続して受信し、仮想視点を基にした仮想視点コンテンツや単一のカメラを選択した画像の生成を行う。また、映像生成装置１００は、仮想視点コンテンツと単一のカメラ画像を織り交ぜて、映像配信機器１０２に送信する。
【００１２】
次に、映像生成装置１００の構成を説明する。映像生成装置１００は、カメラ画像受信部１１０と、カメラ画像蓄積部１１１と、カメラ画像取得部１１３とを有し、画像を取得及び伝送する。また、映像生成装置１００は、メタデータ取得部１１２と、仮想視点生成部１１４と、仮想視点修正部１１５と、コンテンツ選択部１１６とを有し、画像に対応する情報を取り扱う。また、映像生成装置１００は、仮想視点コンテンツ生成部１１７と、出力部１２１とを有し、画像と画像に対応する情報の両方を扱う。仮想視点コンテンツ生成部１１７は、動的仮想視点コンテンツ生成部１１８と、静的仮想視点コンテンツ生成部１１９と、単一カメラ画像生成部１２０とを有する。
【００１３】
カメラ画像受信部１１０は、カメラ群１０１から時刻毎の撮影画像及びその撮影画像に対応する情報を受信し、カメラ画像蓄積部１１１に送信する。カメラ画像蓄積部１１１は、カメラ画像受信部１１０から画像及びその画像に対応するメタデータを受信し、カメラ画像蓄積部１１１の内部にある記憶装置に記憶する。そして、カメラ画像蓄積部１１１は、カメラ画像取得部１１３の要求に応じて、画像及びその画像に対応するメタデータを送信する。カメラ画像蓄積部１１１は、カメラ画像取得部１１３が要求する画像の時刻情報と記憶装置に記憶する時刻が近接している場合は、その記憶装置に記憶せずに送信するか、その記憶装置に記憶すると同時にカメラ画像取得部１１３に送信してもよい。
【００１４】
カメラ画像取得部１１３は、カメラ画像蓄積部１１１から必要な画像と、その画像に対応するメタデータを取得する。そして、カメラ画像取得部１１３は、画像をコンテンツ選択部１１６に送信し、その画像に対応するメタデータをメタデータ取得部１１２に送信する。メタデータは、カメラ台数、ビット精度、フレームレート、及びデータ欠損情報を有する。メタデータ取得部１１２は、カメラ画像取得部１１３から受信したカメラ台数、ビット精度、フレームレート、データ欠損情報を保持し、仮想視点修正部１１５の要求に応じてそれらを送信する。
【００１５】
仮想視点生成部１１４は、ユーザ（コンテンツ制作者）の指示に応じて、仮想カメラパスを生成する。仮想カメラパスは、カメラ群１０１を設置する位置に関係なく、ユーザが要求する仮想視点と、その仮想視点に対応する時刻情報を時系列に関連付けて仮想視点の動作を示すものである。
【００１６】
仮想視点修正部１１５は、メタデータ取得部１１２から受信した情報を基に、仮想視点生成部１１４が生成した仮想カメラパスを修正し、その修正した仮想カメラパスをコンテンツ選択部１１６に送信する。修正方法の詳細については、図２のフローチャートを用いて後述する。
【００１７】
コンテンツ選択部１１６は、仮想視点修正部１１５から受信した仮想カメラパスを基に、仮想視点コンテンツ生成部１１７に対して、仮想視点コンテンツ選択要求を送信する。また、コンテンツ選択部１１６は、同時に、カメラ画像取得部１１３から受信したカメラ群１０１の画像と仮想視点修正部１１５から受信した仮想カメラパスを仮想視点コンテンツ生成部１１７に送信する。
【００１８】
仮想視点コンテンツ生成部１１７は、コンテンツ選択部１１６からカメラ群１０１の画像と仮想カメラパスを受信する。仮想視点コンテンツ生成部１１７は、コンテンツ選択部１１６の仮想視点コンテンツ選択要求を基に、動的仮想視点コンテンツ生成部１１８、静的仮想視点コンテンツ生成部１１９、単一カメラ画像生成部１２０の何れかを動作させ、仮想視点コンテンツを生成する。そして、仮想視点コンテンツ生成部１１７は、その生成した仮想視点コンテンツを出力部１２１に送信する。ただし、仮想視点コンテンツ生成部１１７は、コンテンツ選択部１１６の仮想視点コンテンツ選択要求が単一カメラ画像生成部１２０の動作である場合には、仮想視点コンテンツではなく、単一のカメラ画像を出力部１２１に送信する。動的仮想視点コンテンツ生成部１１８は、動的仮想視点コンテンツを生成し、動的仮想視点コンテンツを出力部１２１に送信する。静的仮想視点コンテンツ生成部１１９は、静的仮想視点コンテンツを生成し、静的仮想視点コンテンツを出力部１２１に送信する。単一カメラ画像生成部１２０は、単一のカメラ画像を生成し、単一のカメラ画像を出力部１２１に送信する。以上のように、仮想視点コンテンツ生成部１１７は、カメラ群１０１を構成する複数のカメラが撮影した画像と仮想視点修正部１１５が出力する仮想カメラパスとを基に、仮想視点コンテンツを生成することができる。
【００１９】
出力部１２１は、仮想視点コンテンツ生成部１１７から受信した仮想視点コンテンツ又は単一のカメラ画像を映像配信機器１０２に出力する。映像配信機器１０２は、仮想視点コンテンツ又は単一のカメラ画像を表示することができる。
【００２０】
図２は、映像生成装置１００の制御方法を示すフローチャートである。以下、仮想視点修正部１１５が仮想視点生成部１１４から取得する仮想カメラパスを修正する動作について説明する。
【００２１】
ステップＳ２００では、仮想視点修正部１１５は、仮想視点生成部１１４から仮想カメラパスを取得し、ステップＳ２０１に進む。ステップＳ２０１では、仮想視点修正部１１５は、メタデータ取得部１１２からメタデータを取得し、ステップＳ２０２に進む。このメタデータは、カメラ台数、ビット精度、フレームレート、及びデータ欠損情報を含む。
【００２２】
ステップＳ２０２では、仮想視点修正部１１５は、ステップＳ２０１で取得したメタデータから、撮影しているカメラの台数を確認し、ステップＳ２０３に進む。ステップＳ２０３では、仮想視点修正部１１５は、ステップＳ２０１で取得したメタデータから、撮影した画像の符号量（データ量）に係る情報を確認し、ステップＳ２０４に進む。画像の符号量に係る情報は、例えば、ビット精度、フレームレート、データ欠損情報を含む。
【００２３】
ステップＳ２０４では、仮想視点修正部１１５は、ステップＳ２０２及びステップＳ２０３の確認情報から、撮影に基づく画像の符号量が削減されているか否かを判断する。撮影に基づく画像の符号量が削減されている場合とは、例えば、撮影しているカメラの台数が減少した場合や、撮影している複数のカメラによる複数の撮影画像のうち仮想視点コンテンツの生成に用いられる撮影画像の数が減少した場合、もしくは撮影画像のビット精度やフレームレートが低下した場合である。仮想視点修正部１１５は、画像の符号量が削減されていない場合にはステップＳ２１８に進み、画像の符号量が削減されている場合にはステップＳ２０５に進む。なお、符号量の判定に係る撮影に基づく画像は、撮影画像そのものであってもよいし、撮影画像に所定の画像処理を行うことで得られる画像であってもよい。
【００２４】
例えば、仮想視点修正部１１５は、対象時刻（対象時点）の撮影に基づく画像の符号量が、その対象時刻の前の時刻（時点）の撮影に基づく画像の符号量より少ない場合には、ステップＳ２０５に進み、そうでない場合には、ステップＳ２１８に進む。または、仮想視点修正部１１５は、対象時刻の撮影に基づく画像の符号量がユーザ設定の基準符号量より少ない場合には、ステップＳ２０５に進み、そうでない場合には、ステップＳ２１８に進む。または、仮想視点修正部１１５は、対象時刻の撮影に基づく画像のデータ欠損が発生している場合には、ステップＳ２０５に進み、そうでない場合には、ステップＳ２１８に進む。仮想視点修正部１１５は、上記の複数の判断のうちの１つ以上を用いて、画像の符号量が削減されているか否かを判断する。ただし、画像の符号量が削減されているか否かの判断方法はこれに限定されるものではない。
【００２５】
ステップＳ２０５では、仮想視点修正部１１５は、仮想視点生成部１１４から取得した仮想カメラパスを確認し、仮想カメラパスが静的仮想視点コンテンツを示しているか否かを判断する。仮想視点修正部１１５は、仮想カメラパスが静的仮想視点コンテンツを示している場合には、ステップＳ２０６に進み、仮想カメラパスが静的仮想視点コンテンツを示していない場合には、ステップＳ２１２に進む。
【００２６】
ステップＳ２０６では、仮想視点修正部１１５は、ユーザの設定に応じて、静的仮想視点コンテンツの再生速度を向上するか、動的仮想視点コンテンツに切り替えるかを選択する。仮想視点修正部１１５は、静的仮想視点コンテンツの再生速度向上を選択する場合には、ステップＳ２０７に進み、動的仮想視点コンテンツへの切り替えを選択する場合には、ステップＳ２１０に進む。
【００２７】
ステップＳ２０７では、仮想視点修正部１１５は、ユーザの設定に応じて、静的仮想視点コンテンツの再生速度の修正率を取得し、ステップＳ２０８に進む。例えば、再生速度の修正率は、２００％であり、１００％より大きい。
【００２８】
ステップＳ２０８では、仮想視点修正部１１５は、ステップＳ２０７で取得した再生速度の修正率から削減率を算出し、ステップＳ２０９に進む。例えば、仮想視点修正部１１５は、再生速度の修正率が２００％である場合には、削減率を５０％（２フレームのうち１フレームを削除）にする。
【００２９】
ステップＳ２０９では、仮想視点修正部１１５は、削減率に応じて、静的仮想視点コンテンツのフレームを削除するように、仮想カメラパスの修正を実施し、ステップＳ２１５に進む。仮想視点修正部１１５は、第１の静的仮想視点コンテンツの仮想カメラパスを、その第１の静的仮想視点コンテンツの再生時間を短くした第２の静的仮想視点コンテンツの仮想カメラパスに修正する。例えば、第２の静的仮想視点コンテンツの再生時間は、第１の静的仮想視点コンテンツの再生時間の１／２である。修正後の仮想カメラバスについては、図６のタイムチャートを用いて後述する。その後、仮想視点コンテンツ生成部１１７は、静的仮想視点コンテンツ生成部１１９により、その修正された仮想カメラパスを基に第２の静的仮想視点コンテンツを生成する。
【００３０】
ステップＳ２１０では、仮想視点修正部１１５は、仮想カメラパスで修正が必要な時間を取得し、ステップＳ２１１に進む。修正が必要な時間は、静的仮想視点コンテンツの時間を指す。
【００３１】
ステップＳ２１１では、仮想視点修正部１１５は、ステップＳ２１０で取得した修正が必要な時間に対して、静的仮想視点コンテンツの仮想カメラパスを動的仮想視点コンテンツの仮想カメラパスに修正し、ステップＳ２１５に進む。その修正の詳細については、図３のタイムチャートを用いて後述する。その後、仮想視点コンテンツ生成部１１７は、動的仮想視点コンテンツ生成部１１８により、その修正された仮想カメラパスを基に動的仮想視点コンテンツを生成する。
【００３２】
ステップＳ２１２では、仮想視点修正部１１５は、仮想視点の軌道半径を算出し、ステップＳ２１３に進む。軌道半径の算出は、仮想カメラパスに記載の仮想視点から算出する。図４は、軌道半径を修正する前後の仮想カメラパスを示す図である。修正前の仮想視点の軌道半径は、Ｒ１である。
【００３３】
ステップＳ２１３では、仮想視点修正部１１５は、ユーザの設定に応じて、修正後の仮想視点の軌道半径を取得し、ステップＳ２１４に進む。修正後の仮想視点の軌道半径は、倍率と半径の最大値で設定することができる。図４において、修正後の仮想視点の軌道半径は、Ｒ２である。軌道半径Ｒ２は、軌道半径Ｒ１より大きい。
【００３４】
ステップＳ２１４では、仮想視点修正部１１５は、ステップＳ２１２及びステップＳ２１３で取得した軌道半径の情報を基に、図４に示すように、仮想カメラパスの仮想視点を修正し、ステップＳ２１５に進む。仮想視点修正部１１５は、第１の動的仮想視点コンテンツの仮想カメラパスを、その第１の動的仮想視点コンテンツより仮想視点の軌道半径が大きい第２の動的仮想視点コンテンツの仮想カメラパスに修正する。その後、仮想視点コンテンツ生成部１１７は、動的仮想視点コンテンツ生成部１１８により、その修正された仮想カメラパスを基に第２の動的仮想視点コンテンツを生成する。
【００３５】
ステップＳ２１５では、仮想視点修正部１１５は、動的仮想視点コンテンツ又は静的仮想視点コンテンツの開始と終了時刻について修正するか否かを判断する。仮想視点修正部１１５は、修正すると判断した場合には、ステップＳ２１６に進み、修正しないと判断した場合には、ステップＳ２１８に進む。
【００３６】
ステップＳ２１６では、仮想視点修正部１１５は、オフセット時間を算出し、オフセット時間を基に、動的仮想視点コンテンツ又は静的仮想視点コンテンツの開始と終了時刻を修正し、ステップＳ２１６に進む。ステップＳ２１６の処理の詳細は、図５のフローチャートを用いて後述する。ステップＳ２１７では、仮想視点修正部１１５は、ステップＳ２１６の修正を基に、仮想カメラパスを修正し、ステップＳ２１８に進む。
【００３７】
ステップＳ２１８では、仮想視点修正部１１５は、修正後の仮想カメラパスを採用するか修正前の仮想カメラパスを採用するかを選択する。選択は、コンテンツ制作者が実施するためにユーザの設定である。仮想視点修正部１１５は、修正前の仮想カメラパスを採用する場合には、ステップＳ２１９に進み、修正後の仮想カメラパスを採用する場合には、上記の修正後の仮想カメラパスをコンテンツ選択部１１６に送信して終了する。ステップＳ２１９では、仮想視点修正部１１５は、修正前の仮想カメラパスに差し替えて、修正前の仮想カメラパスをコンテンツ選択部１１６に送信して終了する。
【００３８】
図３は、映像生成装置１００の制御方法を示すタイムチャートであり、ステップＳ２１５において、仮想視点修正部１１５が、変更しないと判断し、ステップＳ２１８に進む場合の処理を示す。図３は、図２の動作を行った場合の映像生成装置１００の出力画像と、仮想視点及び時刻情報から成る仮想カメラパスとを、図２の動作を行わない場合と比較して、時系列で表したタイムチャートである。
【００３９】
横軸は、時刻を示す。縦軸では、Ｅ１〜Ｅ３は、それぞれ、図２の動作を行わない場合の修正前の映像生成装置１００の出力画像、仮想視点、時刻情報（カメラ画像タイムコード）を示す。Ｅ４〜Ｅ６は、それぞれ、図２の動作を行った場合の修正後の映像生成装置１００の出力画像、仮想視点、時刻情報（カメラ画像タイムコード）を示す。
【００４０】
時刻Ｔ０〜ＴＫでは、仮想視点生成部１１４は、単一のカメラ画像を生成するように、仮想カメラパスを生成する。時刻ＴＫ〜ＴＬでは、仮想視点生成部１１４は、静的仮想視点コンテンツを生成するように、仮想カメラパスを生成する。時刻ＴＬ〜ＴＭでは、仮想視点生成部１１４は、動的仮想視点コンテンツを生成するように、仮想カメラパスを生成する。時刻ＴＭ〜ＴＮでは、仮想視点生成部１１４は、単一のカメラ画像を生成するように、仮想カメラパスを生成する。そして、時刻ＴＫ〜ＴＭでは、仮想視点修正部１１５は、符号量の削減が行われたと判断する。
【００４１】
仮想視点修正部１１５は、図２の処理により、時刻ＴＫ〜ＴＬの出力画像Ｅ１における静的仮想視点コンテンツを、時刻ＴＫ〜（ＴＫ＋ＴＬ）／２の出力画像Ｅ４における動的仮想視点コンテンツに置き換えるように、仮想カメラパスを修正する。また、仮想視点修正部１１５は、時刻ＴＫ〜（ＴＫ＋ＴＬ）／２の出力画像Ｅ４における動的仮想視点コンテンツに応じて、仮想視点Ｅ２と時刻情報Ｅ３を仮想視点Ｅ５と時刻情報Ｅ６に修正するように、仮想カメラパスを修正する。
【００４２】
コンテンツ選択部１１６は、仮想視点修正部１１５が修正した仮想カメラパスを取得し、修正後の仮想カメラパスを仮想視点コンテンツ生成部１１７に送信する。仮想視点コンテンツ生成部１１７は、修正後の仮想カメラパスに応じて動的仮想視点コンテンツを生成する。これにより、静的仮想視点コンテンツを動的仮想視点コンテンツに置き換えることができる。
【００４３】
次に、仮想視点修正部１１５は、図２の処理により、時刻ＴＬ〜ＴＭの出力画像Ｅ１における動的仮想視点コンテンツを、時刻（ＴＫ＋ＴＬ）／２〜ＴＭの出力画像Ｅ４における軌道半径を修正した動的仮想視点コンテンツに置き換える。図４の通り、修正前の軌道半径はＲ１であり、修正後の軌道半径はＲ２である。そして、仮想視点修正部１１５は、時刻（ＴＫ＋ＴＬ）／２〜ＴＭの出力画像Ｅ４における動的仮想視点コンテンツに応じて、仮想視点Ｅ２と時刻情報Ｅ３を仮想視点Ｅ５と時刻情報Ｅ６に修正する。
【００４４】
図３及び図４に示すように、修正前の仮想視点Ｅ２における動的仮想視点コンテンツは、仮想視点ＣＰＬ、ＣＰＬ＋１、ＣＰＭ−２、ＣＰＭ−１を含む。修正後の仮想視点Ｅ５における動的仮想視点コンテンツは、仮想視点ＣＰＬ、ＣＰＬ＋１Ａ、ＣＰＭ−２Ａ、ＣＰＭ−１を含む。
【００４５】
これにより、映像生成装置１００は、仮想カメラパスを修正し、修正された仮想カメラパスに応じた仮想視点コンテンツを生成することができる。その結果、仮想視点コンテンツの再生期間のうち符号量が削減された画像が用いられている時間では、動画の変化量を大きくすることや、被写体の動きを早くすることや、仮想視点から被写体までの距離を長くすることで、視聴者に画質の劣化を気付き難くさせる効果を得ることができる。また、画質の低下を認識させにくくしつつも、コンテンツ制作者が指示した仮想カメラパスと修正済みのカメラパスとの差を小さくすることができ、コンテンツ製作者の意図にそった仮想視点コンテンツを生成することができる。
【００４６】
図５は、図２のステップＳ２１６のオフセット時間算出処理の詳細を示すフローチャートであり、仮想カメラパスの開始又は終了時刻を変更する動作を説明する。ステップＳ５００では、仮想視点修正部１１５は、仮想視点生成部１１４から取得した修正前の仮想カメラパスの再生開始及び終了時刻を抽出し、修正前の仮想カメラパスの再生時間を算出し、ステップＳ５０１に進む。例えば、仮想視点修正部１１５は、図３の修正前の出力画像Ｅ１における動的仮想視点コンテンツの再生時間ＴＬ〜ＴＭを算出する。
【００４７】
ステップＳ５０１では、仮想視点修正部１１５は、修正後の仮想カメラパスの再生開始及び終了時刻を抽出し、修正後の仮想カメラパスの再生時間を算出し、ステップＳ５０２に進む。例えば、仮想視点修正部１１５は、図３の修正後の出力画像Ｅ４における動的仮想視点コンテンツの再生時間（ＴＫ＋ＴＬ）／２〜ＴＭを算出する。
【００４８】
ステップＳ５０２では、仮想視点修正部１１５は、ステップＳ５００で算出した修正前の再生時間と、ステップＳ５０１で算出した修正後の再生時間との差をオフセット時間として算出し、ステップＳ５０３に進む。例えば、仮想視点修正部１１５は、図３の修正前の出力画像Ｅ１における動的仮想視点コンテンツの再生時間ＴＬ〜ＴＭと、３の修正後の出力画像Ｅ４における動的仮想視点コンテンツの再生時間（ＴＫ＋ＴＬ）／２〜ＴＭとの差をオフセット時間として算出する。
【００４９】
ステップＳ５０３では、仮想視点修正部１１５は、開始及び終了位置の調整が自動か手動かの設定を確認する。設定はユーザが行う。仮想視点修正部１１５は、手動である場合にはステップＳ５０７に進み、自動である場合にはステップＳ５０４に進む。
【００５０】
ステップＳ５０４では、仮想視点修正部１１５は、所定の条件又はユーザの設定に応じて、仮想カメラパスの再生開始時刻を修正するか再生終了時刻を修正するかを判断する。仮想視点修正部１１５は、仮想カメラパスの再生開始時刻を修正する場合には、ステップＳ５０５に進み、仮想カメラパスの再生終了時刻を修正する場合には、ステップＳ５０６に進む。
【００５１】
ステップＳ５０６では、仮想視点修正部１１５は、仮想視点生成部１１４が作成した再生終了時刻を、ステップＳ５０２で算出したオフセット時間だけ早い時刻に修正し、ステップＳ５０７に進む。例えば、仮想視点修正部１１５は、図３の出力画像Ｅ４における動的仮想視点コンテンツの再生終了時刻ＴＭを、図６の出力画像Ｅ４における動的仮想視点コンテンツの再生終了時刻ＴＭ−（ＴＬ−ＴＫ）／２に修正する。
【００５２】
ステップＳ５０５では、仮想視点修正部１１５は、仮想視点生成部１１４が作成した再生開始時刻を、ステップＳ５０２で算出したオフセット時間だけ遅い時刻に修正し、ステップＳ５０７に進む。
【００５３】
ステップＳ５０７では、仮想視点修正部１１５は、上記の修正により空いたオフセット時間を単一のカメラ画像の再生時間に変更する。例えば、仮想視点修正部１１５は、図６の出力画像Ｅ４の時刻ＴＭ−（ＴＬ−ＴＫ）／２から時刻ＴＭまでを単一のカメラ画像の再生時間に変更する。
【００５４】
以上のように、仮想視点修正部１１５は、図２のステップＳ２０９、Ｓ２１１又はＳ２１４で、第１の仮想視点コンテンツの仮想カメラパスを第２の仮想視点コンテンツの仮想カメラパスに修正する。さらに、仮想視点修正部１１５は、ステップＳ２１６及びＳ２１７で、第２の仮想視点コンテンツの一部を単一のカメラ画像に変更するように仮想カメラパスを修正する。その後、仮想視点コンテンツ生成部１１７は、その修正された仮想カメラパスを基に、一部が単一のカメラ画像に変更された第２の仮想視点コンテンツを生成する。
【００５５】
図６は、映像生成装置１００の制御方法を示すタイムチャートであり、図２のステップＳ２１５において、仮想視点修正部１１５が、変更すると判断し、ステップＳ２１６に進む場合の処理を示す。図６は、図２の動作を行った場合の映像生成装置１００の出力画像と、仮想視点及び時刻情報から成る仮想カメラパスとを、図２の動作を行わない場合と比較して、時系列で表したタイムチャートである。仮想視点修正部１１５が、仮想カメラパスの再生開始時刻又は再生終了時刻を修正し、単一のカメラ画像に変更する処理を説明する。
【００５６】
横軸は、時刻を示す。縦軸では、Ｅ１〜Ｅ３は、それぞれ、図２の動作を行わない場合の映像生成装置１００の出力画像、仮想視点、時刻情報を示す。Ｅ４〜Ｅ６は、それぞれ、図２の動作を行った場合の映像生成装置１００の出力画像、仮想視点、時刻情報を示す。図６のＥ１〜Ｅ３は、図３のＥ１〜Ｅ３と同じである。
【００５７】
仮想視点修正部１１５は、時刻ＴＫ〜ＴＬの出力画像Ｅ１における静的仮想視点コンテンツを、時刻ＴＫ〜（ＴＫ＋ＴＬ）／２の出力画像Ｅ４における静的仮想視点コンテンツに置き換えるように、仮想カメラパスを修正する。
【００５８】
仮想視点修正部１１５は、時刻ＴＬ〜ＴＭの出力画像Ｅ１における動的仮想視点コンテンツの軌道半径を修正し、時刻（ＴＫ＋ＴＬ）／２〜ＴＭ−（ＴＬ−ＴＫ）／２の出力画像Ｅ４における動的仮想視点コンテンツに置き換えるように、仮想カメラパスを修正する。そして、仮想視点修正部１１５は、上記の動的仮想視点コンテンツの置き換えに応じて、仮想カメラパスを構成する仮想視点Ｅ２及び時刻情報Ｅ３を仮想視点Ｅ５及び時刻情報Ｅ６に修正する。
【００５９】
次に、仮想視点修正部１１５は、画像コンテンツの指定が無いため、図５のフローチャートの動作を行い、時刻ＴＭ−（ＴＬ−ＴＫ）／２〜ＴＭの出力画像Ｅ４における単一のカメラ画像の再生に変更するように、仮想カメラパスを修正する。
【００６０】
以上のように、映像生成装置１００は、動的仮想視点コンテンツの再生開始時刻又は再生終了時刻を修正し、単一のカメラ画像の再生を追加することにより、視聴者に違和感のない画像を提供できる。また、符号量の削減に伴う画像の劣化に気付き難い効果を得ることができる。
【００６１】
図７は、図１に示した機能構成をソフトウェア処理によって実現するための映像生成装置１００のハードウェア構成例を示すブロック図である。映像生成装置１００は、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、補助記憶装置７０４、表示部７０５、操作部７０６、通信部７０７、及びバス７０８を有する。
【００６２】
ＣＰＵ７０１は、ＲＯＭ７０２又はＲＡＭ７０３に格納されているコンピュータプログラム及びデータを用いて、映像生成装置１００の全体を制御する。ＲＯＭ７０２は、変更を必要としないプログラム及びパラメータを格納する。ＲＡＭ７０３は、補助記憶装置７０４から供給されるプログラム及びデータと、通信部７０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置７０４は、例えばハードディスクドライブ等で構成され、静止画及び動画などのコンテンツデータを記憶する。
【００６３】
表示部７０５は、例えば液晶ディスプレイ等で構成され、ユーザが映像生成装置１００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部７０６は、例えばキーボード及びマウス等で構成され、ユーザによる操作を受けて、各種の指示をＣＰＵ７０１に入力する。通信部７０７は、図１のカメラ群１０１及び映像配信機器１０２などの外部の装置と通信を行う。例えば、映像生成装置１００が外部の装置と有線で接続される場合には、ＬＡＮケーブル等が通信部７０７に接続される。なお、映像生成装置１００が外部の装置と無線通信する機能を有する場合、通信部７０７はアンテナを備える。バス７０８は、映像生成装置１００の各部を繋いで情報を伝達する。
【００６４】
なお、例えば映像生成装置１００の処理のうち一部をＦＰＧＡで行い、別の一部の処理を、ＣＰＵを用いたソフトウェア処理によって実現するようにしても良い。また、図７に示した映像生成装置１００の各構成要素は、単一の電子回路で構成されていてもよいし、複数の電子回路で構成されていてもよい。例えば、映像生成装置１００は、ＣＰＵ７０１として動作する電子回路を複数備えていてもよい。これら複数の電子回路がＣＰＵ７０１としての処理を並行して行うことで、映像生成装置１００の処理速度を向上することができる。
【００６５】
また、本実施形態では表示部７０５と操作部７０６は映像生成装置１００の内部に存在するが、映像生成装置１００は表示部７０５及び操作部７０６の少なくとも一方を備えていなくてもよい。また、表示部７０５及び操作部７０６の少なくとも一方が映像生成装置１００の外部に別の装置として存在していて、ＣＰＵ７０１が、表示部７０５を制御する表示制御部、及び操作部７０６を制御する操作制御部として動作してもよい。
【００６６】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６７】
なお、図２のステップＳ２０４では、仮想視点修正部１１５は、仮想視点コンテンツの生成に用いられる画像の符号量が削減されているか否かを判断しているが、それに限定されず、生成される仮想視点コンテンツの画質が低下するか否かを判断してもよい。仮想視点修正部１１５は、仮想視点コンテンツの画質が低下する場合には、ステップＳ２０５に進み、仮想視点コンテンツの画質が低下していない場合には、ステップＳ２１８に進む。
【００６８】
例えば、映像生成装置１００は、ユーザにより指定された仮想カメラパスに従って暫定的に仮想視点コンテンツを生成し、生成された暫定的な仮想視点コンテンツの画質を判定して、画質が低下している場合には仮想カメラパスを修正して仮想視点コンテンツを再生成してもよい。具体的には、仮想視点修正部１１５は、対象時刻の暫定的な仮想視点コンテンツの画質が、その対象時刻の前の時刻の画質より低下している場合には、ステップＳ２０５に進み、そうでない場合には、ステップＳ２１８に進む。
【００６９】
また、仮想視点修正部１１５は、対象時刻の暫定的な仮想視点コンテンツの画質が基準画質より低下している場合には、ステップＳ２０５に進み、そうでない場合には、ステップＳ２１８に進むようにしてもよい。仮想視点コンテンツの画質の判定方法としては、学習に基づく画像解析などの既知の方法を用いることができる。また、表示部に表示された暫定的な仮想視点コンテンツの画質をコンテンツ製作者が評価して評価結果を映像生成装置１００に入力してもよい。
【００７０】
本実施形態によれば、仮想視点コンテンツの画質が低下しうる場合でも、画質の低下が認識されにくいように仮想カメラパスを修正して、コンテンツ制作者の意図を反映したまま、仮想視点コンテンツを生成するため、視聴者は違和感を受けずに、仮想視点コンテンツを視聴することができる。
【００７１】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００７２】
１００  映像生成装置、１１０  カメラ画像受信部、１１１  カメラ画像蓄積部、１１２  メタデータ取得部、１１３  カメラ画像取得部、１１４  仮想視点生成部、１１５  仮想視点修正部、１１６  コンテンツ選択部、１１７  仮想視点コンテンツ生成部、１１８  動的仮想視点コンテンツ生成部、１１９  静的仮想視点コンテンツ生成部、１２０  単一カメラ画像生成部、１２１  出力部
【図１】
2019191915.tif 000003
【図２】
2019191915.tif 000004
【図３】
2019191915.tif 000005
【図４】
2019191915.tif 000006
【図５】
2019191915.tif 000007
【図６】
2019191915.tif 000008
【図７】
2019191915.tif 000009