(57)【要約】【課題】  複数のカメラの撮影に基づく複数の画像のうち、時間的に一致する画像が提供されるようにすることである。【解決手段】  録画装置２１０は、録画開始時刻の指定に関する指定情報を含む録画指示を受信し（Ｓ１０１）、録画指示に基づいて撮影画像の録画を開始する（Ｓ１０７）。また、録画装置２１０は、録画指示に含まれる指定情報により示される第１時刻よりも、録画が開始される第２時刻のほうが後である場合において、第１及び第２時刻の間の期間の画像データの要求に対して提供すべき提供データを取得する（Ｓ１０４）。そして、録画装置２１０は、他の装置からの要求に応じて提供データが提供されるように制御する（Ｓ１０５）。【選択図】  図２
2019080184.tif 000002
【特許請求の範囲】
【請求項１】
録画開始時刻の指定に関する指定情報を含む録画指示を受信する受信手段と、
前記受信手段により受信された録画指示に基づいて撮影画像の録画を制御する録画制御手段と、
前記受信手段により受信された録画指示に含まれる指定情報により示される第１時刻よりも、前記録画指示に基づいて前記録画制御手段により録画が開始される第２時刻のほうが後である場合において、前記第１時刻と第２時刻の間の期間の画像データの要求に対して提供すべき提供データを取得する取得手段と、
前記取得手段により取得される提供データが前記第１時刻と第２時刻の間の期間の画像データの要求に対して提供され、前記録画制御手段による制御に基づいて録画される画像データが前記第２時刻よりも後の画像データの要求に対して提供されるように制御する制御手段とを有することを特徴とするデータ提供装置。
【請求項２】
前記録画制御手段による制御に基づいて録画される画像データと、前記取得手段により取得される提供データを記憶する記憶手段を有し、
前記制御手段は、前記記憶手段に記憶された画像データ及び提供データが、他の装置からの要求に応じて提供されるように制御する請求項１に記載のデータ提供装置。
【請求項３】
前記制御手段は、他の装置へデータを提供するサーバに対して、前記取得手段により取得された提供データと、前記録画制御手段による制御に基づいて録画される画像データとを提供する請求項１に記載のデータ提供装置。
【請求項４】
非録画期間中における撮影画像を一定期間記憶するためのバッファメモリを有し、
前記取得手段は、前記バッファメモリから前記提供データを取得することを特徴とする請求項１乃至３のうち、何れか１項に記載のデータ提供装置。
【請求項５】
前記制御手段は、他の装置へデータを提供するサーバに対して、前記録画制御手段による制御に基づいて録画される画像データを提供し、その後、前記バッファメモリから得られた提供データを提供することを特徴とする請求項４に記載のデータ提供装置。
【請求項６】
前記取得手段は、前記提供データとして予め定められた形式の画像データを取得することを特徴とする請求項１に記載のデータ提供装置。
【請求項７】
前記予め定められた形式の画像データとは、０×０画素の画像データであることを特徴とする請求項６に記載のデータ提供装置。
【請求項８】
前記予め定められた形式の画像データとは、前記録画制御手段による制御に基づいて録画される画像データよりも画素数が少ない画像データであることを特徴とする請求項６に記載のデータ提供装置。
【請求項９】
前記予め定められた形式の画像データとは、諧調値が均一の画像データであることを特徴とする請求項６に記載のデータ提供装置。
【請求項１０】
前記制御手段は、仮想的な視点の位置と姿勢に基づいて仮想視点画像を生成する生成装置からデータ要求を受信し、当該データ要求に応じた提供データ又は画像データを提供することを特徴とする請求項１乃至９のうち、いずれか１項に記載のデータ提供装置。
【請求項１１】
前記取得手段は、前記第１時刻と前記第２時刻の間の期間に対応する画像数に関する情報を取得し、
前記制御手段は、他の装置へデータを提供するサーバに対して、前記取得手段により取得された画像数に関する情報と、前記録画制御手段による制御に基づいて録画される画像データとを提供する請求項１に記載のデータ提供装置。
【請求項１２】
録画開始時刻の指定に関する指定情報を含む録画指示を受信する受信工程と、
前記受信された録画指示に基づいて撮影画像の録画を制御する録画制御工程と、
前記受信された録画指示に含まれる指定情報により示される第１時刻よりも、前記録画指示に基づいて録画が開始される第２時刻のほうが後である場合において、前記第１時刻と第２時刻の間の期間の画像データの要求に対して提供すべき提供データを取得する取得工程と、
前記取得工程において取得される提供データが前記第１時刻と第２時刻の間の期間の画像データの要求に対して提供され、前記録画される画像データが前記第２時刻よりも後の画像データの要求に対して提供されるように制御する制御工程とを有することを特徴とするデータ提供方法。
【請求項１３】
コンピュータに請求項１２に記載のデータ提供方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを含むデータの提供方法に関する。
【背景技術】
【０００２】
仮想視点画像（自由視点画像とも呼ばれる）は、複数のカメラによって同期撮影された複数の画像に基づいて生成される。各カメラが同一時刻から撮影を開始していれば、仮想視点画像を生成する生成装置は、例えば、「Ｎ枚目の画像」といった指定方法によって各カメラから同一時刻に撮影された画像を取得できる。
【０００３】
複数のカメラに同一時刻から撮影を開始させる手法は、特許文献１に記載されている。特許文献１には、各カメラに送る撮影開始指示に撮影開始時刻を付加し、各カメラがその撮影開始時刻から撮影を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１８３６０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の引用文献１の方法では、各カメラの撮影開始時刻（録画開始時刻）を同期させることができない恐れがあった。
【０００６】
例えば、通信ネットワークにおいて遅延が発生した場合、カメラに撮影指示（録画指示）が到達するタイミングが遅れる場合がある。撮影指示（録画指示）により指定される指定時刻よりも後にカメラが撮影指示を受信した場合、各カメラの撮影開始時刻を一致させられない恐れがある。また、一部のカメラの一時的な故障によって、各カメラの撮影開始時刻を一致させられないケースも考えられる。
【０００７】
各カメラの撮影開始時刻（録画開始時刻）を一致させられなかった場合に、例えば「Ｎ枚目の画像」を要求すると、カメラごとに異なる撮影時刻の画像が提供されてしまう恐れがある。このような場合には、高い品質の仮想視点画像を生成することは困難である。なお、この課題は、仮想視点画像の生成のみならず、同時に撮影された複数の撮影画像に基づいて実施される種々の画像処理において共通の課題である。
【０００８】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、複数のカメラの撮影に基づく複数の画像のうち、時間的に一致する画像が提供されるようにすることである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために本発明のデータ提供装置は、例えば以下の構成を有する。すなわち、録画開始時刻の指定に関する指定情報を含む録画指示を受信する受信手段と、前記受信手段により受信された録画指示に基づいて撮影画像の録画を制御する録画制御手段と、前記受信手段により受信された録画指示に含まれる指定情報により示される第１時刻よりも、前記録画指示に基づいて前記録画制御手段により録画が開始される第２時刻のほうが後である場合において、前記第１時刻と第２時刻の間の期間の画像データの要求に対して提供すべき提供データを取得する取得手段と、前記取得手段により取得される提供データが前記第１時刻と第２時刻の間の期間の画像データの要求に対して提供され、前記録画制御手段による制御に基づいて録画される画像データが前記第２時刻よりも後の画像データの要求に対して提供されるように制御する制御手段とを有する。
【発明の効果】
【００１０】
本発明によれば、複数のカメラの撮影に基づく複数の画像のうち、時間的に一致する画像が提供されるようになる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態のシステムの構成を示した図である。
【図２】録画装置２１０の構成を示した図である。
【図３】画像バッファ２１２の構成を示した図である。
【図４】録画制御部２１３の動作を説明するためのフローチャートである。
【図５】第２実施形態のシステムの構成を示した図である。
【図６】録画装置２１０Ｂの構成を示した図である。
【図７】録画制御部２１３Ｂの動作を説明するためのフローチャートである。
【図８】録画装置２１０Ｃの構成を示した図である。
【図９】録画制御部２１３Ｃの動作を説明するためのフローチャートである。
【図１０】画像生成装置４００の動作を説明するためのフローチャートである。
【図１１】録画装置２１０Ｄの構成を示した図である。
【図１２】録画制御部２１３Ｄの動作を説明するためのフローチャートである。
【図１３】記憶装置１１０Ｄの構成を示した図である。
【図１４】記憶装置１１０Ｄの動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００１２】
＜第１実施形態＞
図１を用いて本実施形態のシステム構成を説明する。なお、本実施形態では、仮想視点画像生成システムに発明を適用する場合の例を中心に説明する。仮想視点画像生成システムとは、仮想的な視点の位置と姿勢に基づく仮想視点画像を、複数のカメラの撮影に基づく複数の撮影画像を用いて生成するシステムである。ただし、本発明は、仮想視点画像生成システムに限らず、３次元モデルデータ生成システムなど、種々のシステムに適用することが可能である。
【００１３】
図１示すように、本実施形態のシステムは、録画指示装置１００、録画装置２１０〜２６０、カメラ３１０〜３６０、及び画像生成装置４００を有する。図１に示す通り、録画指示装置１００、録画装置２１０〜２６０、及び画像生成装置４００は、通信ネットワークにより相互に接続されている。
【００１４】
なお本実施形態では、データ提供装置としての録画装置２１０〜２６０のそれぞれがデイジーチェーン型の通信ネットワークにより接続される例を中心に説明する。ただしこれに限らず、スター型など別のトポロジを採用しても良い。また、図１ではカメラ３１０と録画装置２１０が別々の装置であることを示しているが、これらが一体型の装置により構成されていても良い。
【００１５】
録画指示装置１００は録画装置２１０〜２６０に対して録画指示を送る。そして、録画装置２１０〜２６０は、その録画指示に基づきカメラ３１０〜３６０の撮影に基づく画像データを録画する。なお、録画装置２１０〜２６０が録画する画像は、カメラ３１０〜３６０により撮影された撮影画像である場合の例を中心に説明するが、撮影画像に対して何らかの画像処理が行われた後の画像データが録画されるようにしても良い。
【００１６】
カメラ３１０〜３６０は、録画指示装置１００が発するＧＥＮＬＯＣＫ信号に基づいて同期撮影を行う。仮想視点画像の生成のためには、カメラ３１０〜３６０のそれぞれが同一時刻に撮影した画像を用いる必要がある。本実施形態の画像生成装置４００は、同一時刻の撮影画像を取得するために、「ｎ枚目の撮影画像」といった画像番号を指定したデータ要求を録画装置２１０〜２６０へ送信するものとする。このように画像番号を指定して同一時刻の撮影画像を取得するシステムにおいては、カメラ３１０〜３６０の録画開始時刻を一致させる必要がある。
【００１７】
本実施形態では、録画指示装置１００が送信する録画指示に、録画開始の指定時刻に関する指定情報を含める。これによりカメラ３１０〜３６０は、同一時刻から録画を開始できる。しかしながら、通信ネットワークの遅延等により、録画指示により指定される指定時刻を過ぎてから、録画装置２１０〜２６０のうち少なくとも１台が録画指示を受信する可能性がある。このようなケースにおいては、録画装置２１０〜２６０による録画開始の時刻が一致しなくなり、「Ｎ枚目の撮影画像」という指定の方法では、同一時刻に撮影された撮影画像が取得できない恐れがある。
【００１８】
そこで、本実施形態の録画装置２１０〜２６０は、非録画期間中の撮影画像を一定期間記憶するための画像バッファ（バッファメモリ）を有する。そして、録画指示により指定される録画開始の指定時刻を過ぎてから、録画装置が録画指示を受信した場合、その録画装置、画像バッファから読み出した画像データを画像生成装置４００へ提供する。
【００１９】
図２を用いて録画装置２１０の構成を説明する。録画装置２２０〜２６０の構成は、録画装置２１０と同様である。なお本実施形態では、図２に示す各ブロックがそれぞれ専用のハードウェアにより実現される場合の例を中心に説明する。しかしながら、例えば録画制御部２１３の機能はＣＰＵなどの１又は複数のプロセッサーによりソフトウェア処理により実現されるようにしても良い。録画装置２１０は、録画指示装置１００からの録画指示に基づき、カメラ３１０による撮影に基づく撮影画像を録画し、他の装置（画像生成装置４００）へ提供するデータ提供装置である。録画装置２１０は、画像入力部２１１、画像バッファ２１２、録画制御部２１３、時計２１４、及び記憶部２１５を有する。
【００２０】
画像入力部２１１は、カメラ３１０による撮影に基づく撮影画像を取得し、その撮影画像を画像バッファ２１２と録画制御部２１３へ送る。なお必要に応じ、撮影画像に対して何らかの画像処理が行われても構わない。
【００２１】
画像バッファ２１２は、画像入力部２１１から送られてきた撮影画像を一定時間分バッファリングする。画像バッファ２１２の構成を図３に示す。画像バッファ２１２は、バッファ２１２１及び循環カウンタ２１２２を有する。
【００２２】
画像バッファ２１２は、時計２１４から現在時刻を取得すると共に、画像入力部２１１から最新の撮影画像（現在画像）を取得する。そして、画像バッファ２１２は、バッファ２１２１のうち循環カウンタ２１２２が示すメモリ領域に、現在時刻と最新の撮影画像を書き込み、循環カウンタ２１２２を１つ進める。上記のような動作により、画像バッファ２１２は一定時間（バッファ２１２１のサイズにより決まる）分の画像データを記憶する。
【００２３】
録画制御部２１３は、録画指示装置１００から録画指示を受信し、時計２１４からの現在時刻を参照しながら、画像入力部２１１からの現在画像もしくは画像バッファ２１２に記憶されている画像（過去画像）を、記憶部２１５に書き込む。本実施形態では、記憶部２１５に現在画像又は過去画像を書き込む処理のことを録画と称する。
【００２４】
実施形態１の録画制御部２１３の動作を図４のフローチャートを用いて詳細に説明する。図４の処理は、仮想視点画像生成システムの起動と共に開始されるものとする。録画制御部２１３は、録画指示装置１００からの録画指示を待つ（Ｓ１０１）。録画制御部２１３は、録画指示を受信すると、時計２１４から現在時刻を取得する（Ｓ１０２）。そして録画制御部２１３は、録画指示に含まれる録画開始の指定時刻と、取得した現在時刻とを比較する（Ｓ１０３）。現在時刻が指定時刻を過ぎていたら、過去画像（指定時刻からＳ１０２において取得された現在時刻までの撮影画像）を画像バッファ２１２から読み出し（Ｓ１０４）、その過去画像を記憶部２１５に書き込む（Ｓ１０５）。一方、現在時刻が指定時刻よりも前ならば、指定時刻になるまで待つ（Ｓ１０６）。そして録画制御部２１３は、現在時刻が指定時刻に達すると、画像入力部２１１から現在画像を取得し（Ｓ１０７）、その現在画像を記憶部２１５に書き込む（Ｓ１０８）。
【００２５】
記憶部２１５に書き込まれた過去画像及び現在画像は、他の装置（画像生成装置４００）からのデータ要求に応じて提供される。即ち、録画制御部２１３は、録画指示に含まれる指定時刻（第１時刻）よりも録画の開始時刻（第２時刻）のほうが後である場合、第１時刻と第２時刻の間の期間の画像データの要求に対して提供すべき過去画像（提供データ）を記憶部２１５から取得する。そして、録画制御部２１３は、第１時刻と第２時刻の間の期間の画像データの要求に対しては過去画像が提供され、第２時刻よりも後の画像データの要求に対しては現在画像が提供されるように制御する。
【００２６】
また、録画制御部２１３は、録画指示装置１００から録画停止指示を受信したか否かを判定する（Ｓ１０９）。録画停止指示を受信していないと判定された場合は、Ｓ１０７に戻って録画を続行する。一方、録画停止指示を受信したと判定された場合は、録画を停止する。録画を停止する場合、典型的にはＳ１０１に戻るが、図４の処理自体を終了しても良い。
【００２７】
以上、本実施形態の録画装置２１０〜２６０によれば、録画指示により指定される録画開始の指定時刻を過ぎてから、録画装置２１０が録画指示を受信するような場合においても、同一時刻の撮影に基づく画像データを提供できる。
【００２８】
なお、本実施形態では、「Ｎ枚目の撮影画像」といった指定方法で画像データを要求する場合の例を中心に説明したが、画像データの指定方法は、この方法に限らない。例えば、「１０枚目〜５０枚目の撮影画像」というように、範囲を指定するようにしても良いし、「指定時刻から５秒目〜１０秒目の撮影画像」というように、録画開始の指定時刻からの経過時間に基づいて画像データを指定するようにしてもよい。
【００２９】
＜第２実施形態＞
第２実施形態について、第１実施形態との差異を中心に説明する。第２実施形態の全体構成を図５に示す。図５に示す通り、本実施形態においては記憶装置１１０が存在する。本実施形態の録画装置２１０Ｂ〜２６０Ｂは、録画対象となる画像データを記憶装置１１０へ送信し、記憶装置１１０に録画させる。記憶装置１１０は、画像生成装置４００に対して画像データを提供するサーバとして動作する。
【００３０】
第２実施形態では録画対象となる画像データが通信ネットワークを介して送信される。そのため、録画指示により指定される録画開始の指定時刻を過ぎてから、録画装置が録画指示を受信した場合に、即座に現在画像と過去画像を送信すると、通信ネットワークの通信帯域を超えてしまう恐れがある。
【００３１】
そこで第２実施形態の録画装置２１０Ｂ〜２６０Ｂは、通信ネットワークの通信帯域に余裕がある期間に過去画像を送信する。このような動作によれば、録画の開始時刻が指定時刻を過ぎてしまった場合においても、通信ネットワークがあふれる可能性を低減できる。従って、通信ネットワークの帯域超過に起因する種々の不具合を防ぐことができる。
【００３２】
録画装置２１０Ｂの構成を図６に示す。録画装置２２０Ｂ〜２６０Ｂの構成は録画装置２１０Ｂと同様である。第２実施形態の録画装置２１０Ｂは、録画対象となる画像データを記憶装置１１０へ送信する点において第１実施形態とは異なる。また、第２実施形態の録画装置２１０Ｂは、指定時刻を過ぎてから録画指示を受信した場合、画像バッファ２１２Ｂによる画像データのバッファリングを停止する。このようにすることで、通信ネットワークの通信帯域に余裕ができるまで過去画像を画像バッファ２１２Ｂに保持させることができる。
【００３３】
第２実施形態の録画制御部２１３Ｂの動作を図７のフローチャートを用いて詳細に説明する。図７の処理は、仮想視点画像生成システムの起動と共に開始されるものとする。録画制御部２１３Ｂは、画像バッファ２１２Ｂに対して撮影画像のバッファ開始指示を出す（Ｓ２０１）。なお図４においてはこのステップが省略されている。
【００３４】
Ｓ２０２〜Ｓ２０４の動作は図４におけるＳ１０１〜Ｓ１０３と同様である。Ｓ２０４において現在時刻が指定時刻を過ぎていると判定された場合、録画制御部２１３Ｂは画像バッファ２１２Ｂに対してバッファ停止指示を出す（Ｓ２０５）。これにより、画像バッファ２１２Ｂは画像バッファに記憶させる画像の更新を停止する。また、録画制御部２１３Ｂは、現在時刻が指定時刻よりも後であった場合、頭切れが発生したことを記憶し、（Ｓ２０６）、指定時刻と頭切れ時刻（Ｓ２０３において取得された現在時刻）を記憶する（Ｓ２０７）。本実施形態において「頭切れ」とは、録画制御部２１３Ｂの制御による録画開始の時刻が指定時刻よりも遅い状態を示す。Ｓ２０８〜Ｓ２０９はＳ１０６〜Ｓ１０７と同様である。
【００３５】
Ｓ２１０において、録画制御部２１３Ｂは、Ｓ２０９において取得された画像データ（現在画像）を記憶装置１１０（サーバ）に対して送信する。また、録画制御部２１３は、録画指示装置１００から録画停止指示を受信したか否かを判定する（Ｓ２１１）。録画停止指示を受信していないと判定された場合は、Ｓ２０９に戻る。一方、録画停止指示を受信したと判定された場合は、Ｓ２１２に進む。
【００３６】
録画制御部２１３Ｂは、頭切れの発生有無を判定する（Ｓ２１２）。Ｓ２１２において頭切れが発生したと判定していないと判定された場合、典型的には、Ｓ２０２に戻り、録画指示の待ち受けが開始されるが、図７の処理自体を終了するようにしても良い。一方、Ｓ２１２において頭切れが発生したと判定された場合、指定時刻から頭切れ時刻までの画像データ（過去画像）を画像バッファ２１２Ｂから読み出し（Ｓ２１３）、その画像データを通信ネットワーク経由で記憶装置１１０（サーバ）へ送信する（Ｓ２１４）。
【００３７】
以上、本実施形態の録画装置２１０Ｂ〜２６０Ｂ（データ提供装置）によれば、録画指示により指定される録画開始の指定時刻を過ぎてから、録画装置２１０Ｂが録画指示を受信するような場合においても、同一時刻の撮影に基づく画像データを取得できる。
【００３８】
また、本実施形態の録画装置２１０Ｂ〜２６０Ｂは、録画を停止することがＳ２１１にて判定されてから記憶装置１１０へ過去画像を送信する。これにより通信ネットワークの通信帯域を超えたデータ送信が行われる可能性を低減できる。ただし、この処理は必須ではない。例えば、過去画像と現在画像が同時並行的に送信されるようにしても良い。また、過去画像の送信完了後に現在画像が記憶装置１１０へ送信されるようにしても良い。この場合は現在画像を保存する機構が別途必要となる。
【００３９】
＜第３実施形態＞
第３実施形態について、第２実施形態との差異を中心に説明する。第３実施形態の全体構成は図５に示した通りである。ただし、図５における録画装置２１０Ｂ〜２６０Ｂを、それぞれ録画装置２１０Ｃ〜２６０Ｃに読み替える。第３実施形態の録画装置２１０Ｃ〜２６０Ｃは、画像バッファ２１２Ｂを持たない点が第２実施形態との主な差異である。
【００４０】
本実施形態の録画装置２１０Ｃ〜２６０Ｃは、録画指示により指定される録画開始の指定時刻を過ぎてから録画を開始した場合、予め定められた形式の画像（ダミー画像）を指定時刻から録画開始時刻までの間の画像データとして録画する。ダミー画像の一例として、諧調値が均一の画像（例えば黒画像）や、通常の撮影画像よりも画素数が少ない画像（例えば０×０画素の画像）などがある。
【００４１】
録画装置２１０Ｃ〜２６０Ｃがダミー画像を録画することで擬似的に指定時刻から録画を開始することができる。これにより、例えば画像生成装置４００が「Ｎ枚目の撮影画像」という指定をして画像データを要求した場合において、同一時刻の撮影画像を提供できるようになる。
【００４２】
なお、録画装置２１０Ｃ〜２６０Ｃは、ダミー画像を画像生成装置４００へ提供する場合に、ダミー画像であることを示すフラグを画像データに付加しても良い。このようにすれば、画像生成装置４００は、ダミー画像を用いずに仮想視点画像の生成することができる。これにより、ダミー画像を用いて仮想視点画像を生成することによる画質劣化を防ぐことができる。
【００４３】
図８を用いて本実施形態の録画装置２１０Ｃの構成を説明する。録画装置２２０Ｃ〜２６０Ｃの構成は録画装置２１０Ｃと同様である。上述の通り、本実施形態の録画装置２１０Ｃは、画像バッファ２１２Ｂを持たない。録画装置２１０Ｃの録画制御部２１３Ｃは、録画指示により指定される指定時刻を過ぎてから録画指示を受信した場合、ダミー画像を生成し、指定時刻から実際の録画開始の時刻までの画像データとして記憶装置１１０に録画させる。記憶装置１１０は、録画装置２１０Ｃから受信した画像データ（撮影画像及びダミー画像）を録画する。
【００４４】
第３実施形態の録画制御部２１３Ｃの動作を図９のフローチャートを用いて詳細に説明する。図９の処理は、仮想視点画像生成システムの起動と共に開始されるものとする。図９のＳ３０１〜Ｓ３１１は、図７のＳ２０２〜Ｓ２１２と同様である。
【００４５】
図９のＳ３１１において、頭切れが発生したと判定された場合、録画制御部２１３Ｃは、過去画像（指定時刻からＳ３０２において取得された現在時刻までの画像）として、ダミー画像を記憶装置１１０へ送信する（Ｓ３１２）。
【００４６】
次に画像生成装置４００について説明する。図１０は本実施形態の画像生成装置４００の動作を説明するためのフローチャートである。なお、本実施形態の画像生成装置４００は、仮想的に設定された視点（仮想視点）の位置と姿勢に基づいて、仮想視点画像を生成する装置である。しかしながらこの例に限らず、画像生成装置４００は、複数カメラにより同期撮影された複数の撮影画像を用いて画像処理を行う装置であれば良い。
【００４７】
画像生成装置４００は、カメラＮによる撮影に基づく画像データを取得する（Ｓ４０１、Ｓ４０２）。Ｎはカメラ番号である。そして画像生成装置４００は、Ｓ４０２において取得された画像がダミー画像であるか否かを判定する（Ｓ４０３）。本実施形態においては、通常の画像が４０９６ピクセル×２０１６ピクセルの画像であり、ダミー画像はそれよりも画素数の小さい画像である場合の例を説明する。Ｓ４０２において取得された画像の画素数が小さい（ダミー画像である）と判定された場合、画像生成装置４００は、当該画像を仮想視点画像の生成に用いないことを決定する。一方、Ｓ４０２において取得された画像の画素数が正常（ダミー画像でない）と判定された場合、画像生成装置４００は、当該画像を仮想視点画像の生成に用いることを決定する。
【００４８】
画像生成装置４００は、カメラの台数分だけ上記の処理を繰り返す（Ｓ４０６、Ｓ４０７）。そして、画像生成装置４００は、仮想視点画像の生成に用いることが決定された画像を用いて仮想視点画像を生成する（Ｓ４０８）。
【００４９】
以上の処理によれば、録画指示により指定される録画開始の指定時刻を過ぎてから、録画装置２１０Ｃが録画指示を受信した場合においても、画像生成装置４００は「Ｎ枚目の撮影画像」といった指定方法を用いて同一時刻の撮影に基づく画像データを取得できる。
【００５０】
また、本実施形態の画像生成装置４００は、ダミー画像であると判定された画像データを用いずに仮想視点画像を生成する。これにより、従来よりも高画質の（より仮想視点からの見え方を忠実に再現した）仮想視点画像を生成することができる。
【００５１】
＜第４実施形態＞
第４実施形態について、第３実施形態との差異を中心に説明する。第４実施形態の全体構成は図５に示した通りである。ただし、図５における録画装置２１０Ｂ〜２６０Ｂを、それぞれ録画装置２１０Ｄ〜２６０Ｄに読み替える。第４実施形態では、ダミー画像が記憶装置１１０Ｄにおいて生成される。
【００５２】
具体的には、録画装置２１０Ｄ〜２６０Ｄは、指定時刻よりも後に録画指示を受信した場合に、頭切れ画像の枚数を特定し、それを記憶装置１１０Ｄに通知する。そして、記憶装置１１０Ｄは、画像生成装置４００からＮ番目に対応する画像のデータ要求を受けた場合、必要に応じてダミー画像を提供する。本実施形態において録画装置２１０Ｄ〜２６０Ｄは、頭切れ画像数を提供データとして取得し、その情報を記憶装置１１０Ｄ（サーバ）に対して送信することで、記憶装置１１０Ｄによるデータの提供を制御する。
【００５３】
録画装置２１０Ｄの構成を図１１に示す。録画装置２２０Ｄ〜２６０Ｄの構成は録画装置２１０Ｄと同様である。上述の通り、本実施形態の録画装置２２０Ｄは、記憶装置１１０Ｄに対してダミー画像を送信する代わりに、頭切れ画像数を送信することが第３実施形態との主な差異である。
【００５４】
第４実施形態における録画制御部２１３Ｄの動作を図１２のフローチャートを用いて詳細に説明する。図１２の処理は、仮想視点画像生成システムの起動と共に開始されるものとする。
【００５５】
図１２のＳ５０１〜Ｓ５０３は、図９のＳ３０１〜Ｓ３０３と同様である。Ｓ５０３において頭切れが発生したと判定された場合（つまり、現在時刻が指定時刻よりも遅いと判定された場合）は、頭切れ画像数を記憶する（Ｓ５０４）。
【００５６】
各カメラが６０ｆｐｓで撮影しているとすると、頭切れ画像数Ａは式１で求められる。
【００５７】
頭切れした画像数Ａ＝（現在時刻−指定時刻）×６０：時刻の単位は秒（式１）
一方、頭切れが発生していないと判定された場合は、頭切れ画像数として０を記憶し（Ｓ５０５）、指定時刻になるまで待つ（Ｓ５０６）。
そして録画制御部２１３Ｄは、頭切れ画像数を記憶装置１１０Ｄへ送信する（Ｓ５０７）。なお、頭切れ画像数を記憶装置１１０Ｄへ送信するタイミングは、Ｓ５０５及びＳ５０４であっても良い。その場合、Ｓ５０７は不要である。また、頭切れ画像数が０である場合は、頭切れ画像数が記憶装置１１０Ｄへ送信されなくても良い。図１２のＳ５０８〜Ｓ５１０は、図９のＳ３０８〜Ｓ３１０と同様である。
【００５８】
次に、記憶装置１１０Ｄの構成を図１３に基づいて詳細に説明する。記憶装置１１０Ｄは、画像生成装置４００から要求された画像データを提供するサーバとして動作する。記憶装置１１０Ｄは、枚数記憶部１１１Ｄと画像記憶部１１２Ｄとを有する。記憶装置１１０Ｄは、録画装置２１０Ｄ〜２６０Ｄから受信した画像データ群と、頭切れ画像数に関する情報とを記憶する。
【００５９】
本実施形態における記憶装置１１０Ｄの動作を図１４のフローチャートを用いて詳細に説明する。図１４の処理は、仮想視点画像生成システムの起動と共に開始されるものとする。記憶装置１１０Ｄは、他の装置（画像生成装置４００）からのデータ要求を待つ（Ｓ６０１）。本実施形態においてデータ要求は、「Ｎ枚目の画像」という指定方法で行われるものとする。ただしこの例に限らず、例えば、「Ｎ秒目の画像」という指定方法を用いても良いし、「Ｎ枚目〜Ｍ枚目の画像」という指定方法を用いても良い。
【００６０】
記憶装置１１０Ｄは、画像生成装置４００から画像の要求を受信すると、頭切れ枚数に関する情報を、枚数記憶部１１１Ｄから読み出す（Ｓ６０２）。そして、画像生成装置４００により指定された画像番号が、頭切れ画像に該当するか否かを判定する（Ｓ６０３）。要求された画像が頭切れ画像であると判定された場合、記憶装置１１０Ｄは、画像生成装置４００に対し、ダミー画像を提供する（Ｓ６０４）。一方、要求された画像が頭切れ画像でないと判定された場合、記憶装置１１０Ｄは、要求された画像を画像生成装置４００に対して提供する（Ｓ６０５）。なお、Ｓ６０５において、記憶装置１１０Ｄは、（Ｎ−頭切れ枚数）番目の画像を画像生成装置４００に対して送信する。
【００６１】
以上の処理によれば、録画指示により指定される録画開始の指定時刻を過ぎてから、録画装置２１０Ｄが録画指示を受信した場合においても、画像生成装置４００は「ｎ枚目の撮影画像」といった指定方法を用いて同一時刻の撮影に基づく画像データを取得できる。
【００６２】
また記憶装置１１０Ｄは、録画装置２１０Ｄ〜２６０Ｄから取得した頭切れ画像数の情報に基づいてダミー画像を生成する。したがって、録画装置２１０Ｄ〜２６０Ｄが記憶装置１１０Ｄに対してダミー画像を送信する場合よりも、通信ネットワークの負荷を軽減できる。なお、上記の説明では、同一時刻という言葉を用いてきたが、同一とみなせる時刻も同一時刻の範疇に含まれる。
【００６３】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６４】
２１１  画像入力部
２１２  画像バッファ
２１３  録画制御部
２１４  時計
２１５  記憶部
【図１】
2019080184.tif 000003
【図２】
2019080184.tif 000004
【図３】
2019080184.tif 000005
【図４】
2019080184.tif 000006
【図５】
2019080184.tif 000007
【図６】
2019080184.tif 000008
【図７】
2019080184.tif 000009
【図８】
2019080184.tif 000010
【図９】
2019080184.tif 000011
【図１０】
2019080184.tif 000012
【図１１】
2019080184.tif 000013
【図１２】
2019080184.tif 000014
【図１３】
2019080184.tif 000015
【図１４】
2019080184.tif 000016