(57)【要約】      （修正有）【課題】処理負荷の増大を低減しつつ、素材データを適切に生成することができる素材生成装置、素材生成方法を提供する。【解決手段】撮影システムにおいて、素材生成装置１０は、画像取得部１００により複数のカメラ画像を取得し、前景背景分離部１０２により、その画像のうち、選択されたカメラにより撮影されたカメラ画像に基づいて前景画像と背景画像のうち少なくともいずれか一方を、指定された視点に対応する画像の生成に用いられる素材データとして生成する。【選択図】図２
2020134973.tif 000002
【特許請求の範囲】
【請求項１】
指定された視点に対応する画像の生成に用いられる素材データを生成する素材生成装置であって、
複数の撮影装置により撮影された画像を取得する取得手段と、
前記取得手段により取得された画像のうち、選択された撮影装置により撮影された画像に基づいて前景画像と背景画像のうち少なくともいずれか一方を前記素材データとして生成する素材データ生成手段と、
を有することを特徴とする素材生成装置。
【請求項２】
前記複数の撮影装置のうち、所定の情報に基づいて撮影装置を選択する第１の選択手段を有し、
前記素材データ生成手段は、
前記第１の選択手段により選択された撮影装置により撮影された画像に基づいて前景画像を生成することを特徴とする請求項１に記載の素材生成装置。
【請求項３】
前記所定の情報は、前記複数の撮影装置それぞれの位置の情報であることを特徴とする請求項２に記載の素材生成装置。
【請求項４】
前記第１の選択手段は、前記複数の撮影装置それぞれの位置の情報に基づいて、前記複数の撮影装置を一つ以上おきに撮影装置を選択することを特徴とする請求項３に記載の素材生成装置。
【請求項５】
前記指定された視点に対応する画像を生成するための素材データとして前記素材データ生成手段により生成された前景画像を記憶する記憶手段を、さらに有することを特徴とする請求項２ないし４の何れか１項に記載の素材生成装置。
【請求項６】
前記第１の選択手段により選択された撮影装置の情報は、前記素材データ生成手段により生成された前景画像と対応付けられて前記記憶手段に記憶されることを特徴とする請求項５に記載の素材生成装置。
【請求項７】
前記複数の撮影装置のうち、所定の情報に基づいて撮影装置を選択する第２の選択手段を有し、
前記素材データ生成手段は、
前記第２の選択手段により選択された撮影装置により撮影された画像に基づいて背景画像を生成することを特徴とする請求項２ないし６の何れか１項に記載の素材生成装置。
【請求項８】
前記所定の情報は、前記複数の撮影装置それぞれの焦点距離の情報あるいは撮影対象までの距離の情報であることを特徴とする請求項７に記載の素材生成装置。
【請求項９】
前記第２の選択手段は、前記複数の撮影装置それぞれの焦点距離の情報あるいは撮影対象までの距離の情報に基づいて、前記第１の選択手段により選択される撮影装置よりも焦点距離が短い撮影装置、あるいは、前記第１の選択手段により選択される撮影装置よりも撮影対象までの距離が長い撮影装置を選択することを特徴とする請求項８に記載の素材生成装置。
【請求項１０】
指定された視点に対応する画像を生成するための素材データとして前記素材データ生成手段により生成された背景画像を記憶する記憶手段を、さらに有することを特徴とする請求項７ないし９の何れか１項に記載の素材生成装置。
【請求項１１】
前記第２の選択手段により選択された撮影装置の情報は、前記素材データ生成手段により生成された前景画像と対応付けられて前記記憶手段に記憶されることを特徴とする請求項１０に記載の素材生成装置。
【請求項１２】
前記取得手段により取得された画像に基づいて３次元形状データを生成する形状データ生成手段と、
前記形状データ生成手段により生成された３次元形状データを構成する要素が撮影装置から可視されるか否かを判定する判定手段と、を有し、
前記判定手段は、
前記第１の選択手段により選択された撮影装置を対象にして判定することを特徴とする請求項２ないし１１の何れか１項に記載の素材生成装置。
【請求項１３】
前記取得手段により取得された画像に基づいて３次元形状データを生成する形状データ生成手段と、
前記複数の撮影装置のうち、所定の情報に基づいて撮影装置を選択する第３の選択手段と、を有し、
前記形状データ生成手段は、
前記第３の選択手段により選択された撮影装置により撮影された画像に基づいて３次元形状データを生成することを特徴とする請求項２ないし１１の何れか１項に記載の素材生成装置。
【請求項１４】
前記形状データ生成手段は、
前記取得手段により取得される画像と背景画像とを用いて生成された前景シルエット画像に基づいて、３次元形状データを生成することを特徴とする請求項１３に記載の素材生成装置。
【請求項１５】
前記所定の情報は、前記複数の撮影装置それぞれの撮影範囲の情報であることを特徴とする請求項１３または１４に記載の素材生成装置。
【請求項１６】
前記第３の選択手段は、前記複数の撮影装置それぞれの撮影範囲の情報に基づいて、前記第１の選択手段により選択される撮影装置よりも撮影範囲が広い撮影装置を選択することを特徴とする請求項１５に記載の素材生成装置。
【請求項１７】
指定された視点に対応する画像を生成するための素材データとして前記形状データ生成手段により生成された３次元形状データを記憶する記憶手段を、さらに有することを特徴とする請求項１６に記載の素材生成装置。
【請求項１８】
前記第３の選択手段により選択された撮影装置の情報は、前記形状データ生成手段により生成された３次元形状データと対応付けられて前記記憶手段に記憶されることを特徴とする請求項１７に記載の素材生成装置。
【請求項１９】
前記所定の情報は、
撮影装置の姿勢、撮影装置の位置、撮影装置の画角、撮影対象までの距離、焦点距離、画像の幅、画像の高さ、絞り値、シャッタースピード、ＩＳＯ感度、撮影装置が有するレンズ性能の情報、撮影装置のセンサー情報のうち少なくとも何れか一つの情報であることを特徴とする請求項２、７、１３の何れか１項に記載の素材生成装置。
【請求項２０】
指定された視点に対応する画像の素材データと、前記素材データを生成する際に使用した撮影装置の情報とを取得するデータ取得手段と、
前記データ取得手段により取得された素材データに基づいて、指定された視点に対応する画像を生成する生成手段と、
前記生成手段により生成された画像に前記データ取得手段により取得された撮影装置の情報を付与する付与手段と、を有することを特徴とする画像生成装置。
【請求項２１】
前記撮影装置の情報は、
前記素材データを生成する際に使用した撮影装置の数、撮影装置の姿勢、撮影装置の位置、撮影装置の画角、撮影対象までの距離、焦点距離、画像の幅、画像の高さ、絞り値、シャッタースピード、ＩＳＯ感度、色温度、撮影装置が有するレンズの焦点距離、撮影装置が有するレンズの型番、撮影装置の型番の少なくとも何れか一つの情報であることを特徴とする請求項２０に記載の画像生成装置。
【請求項２２】
撮影装置により撮影された画像を取得する取得手段と、
前記取得手段により取得された画像に基づいて、指定された視点に対応する画像を生成するための素材データを生成する生成手段と、
前記素材データを生成するために選択された撮影装置の識別情報を受信する受信手段と、
前記取得手段が画像を取得する撮影装置の識別情報が、前記受信手段により受信された識別情報と一致する場合に、前記生成手段により生成された素材データを外部装置に伝送する伝送手段と、を有することを特徴とする画像処理装置。
【請求項２３】
前記素材データは、前景画像と背景画像のうち少なくともいずれか一方を含むことを特徴とする請求項２２に記載の画像処理装置。
【請求項２４】
素材データを生成するために撮影する撮影装置として選択された撮影装置の識別情報を外部装置に送信する送信手段と、
前記外部装置において画像を取得する撮影装置の識別情報が、前記送信手段により送信された識別情報と一致することに応じて前記外部装置から伝送された素材データを受信する受信手段と、
前記受信手段により受信された素材データを、指定された視点に対応する画像を生成するために記憶する記憶手段と、を有することを特徴とする素材生成装置。
【請求項２５】
前記素材データは、前景画像と背景画像のうち少なくともいずれか一方を含むことを特徴とする請求項２４に記載の素材生成装置。
【請求項２６】
指定された視点に対応する画像の生成に用いられる素材データを生成する素材生成方法であって、
複数の撮影装置により撮影された画像を取得する取得ステップと、
前記取得ステップにより取得された画像のうち、選択された撮影装置により撮影された画像に基づいて前景画像と背景画像のうち少なくともいずれか一方を前記素材データとして生成する生成ステップと、
を有することを特徴とする素材生成方法。
【請求項２７】
指定された視点に対応する画像の素材データと、前記素材データを生成する際に使用した撮影装置の情報を取得するデータ取得ステップと、
前記データ取得ステップにより取得された素材データに基づいて指定された視点に対応する画像を生成する生成ステップと、
前記生成ステップにより生成された指定された視点に対応する画像に前記データ取得ステップにより取得された撮影装置の情報を付与する付与ステップと、を有することを特徴とする画像生成方法。
【請求項２８】
撮影装置により撮影された画像を取得する取得ステップと、
前記取得ステップにより取得された画像に基づいて、指定された視点に対応する画像を生成するための素材データを生成する生成ステップと、
前記素材データを生成するために選択された撮影装置の識別情報を受信する受信ステップと、
前記取得ステップで画像を取得する撮影装置の識別情報が、前記受信ステップにより受信された識別情報と一致する場合に、前記生成ステップにより生成された素材データを外部装置に伝送する伝送ステップと、を有することを特徴とする画像処理方法。
【請求項２９】
素材データを生成するために撮影する撮影装置として選択された撮影装置の識別情報を外部装置に送信する送信ステップと、
前記外部装置において画像を取得する撮影装置の識別情報が、前記送信ステップにより送信された識別情報と一致することに応じて前記外部装置から伝送された素材データを受信する受信ステップと、
前記受信ステップにより受信された素材データを、指定された視点に対応する画像を生成するために記憶する記憶ステップと、を有することを特徴とする素材生成方法。
【請求項３０】
コンピュータを、請求項１ないし２５の何れか１項に記載の装置の各手段として機能させるためのプログラム。
【請求項３１】
コンピュータを、請求項１ないし２５の何れか１項に記載の装置の各手段として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、素材生成装置、画像生成装置、画像処理装置、素材生成方法、画像生成方法、画像処理方法、プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
撮影システムを構成する複数のカメラにより撮影された画像からユーザが指定した仮想視点から見た仮想視点画像を生成する装置が提案されている。
特許文献１に開示された画像処理システムは、複数のカメラにより撮影された画像から、前景画像、背景画像、３次元形状データ等を生成する。前景画像、背景画像、３次元形状データは、仮想視点画像を生成するための素材データである。画像処理システムはユーザが指定した仮想視点に基づいて素材データを取得し、仮想視点画像を再生する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−２１１８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
仮想視点画像の画質を向上させるには、前景画像の画質や３次元形状データの精度を向上させる必要がある。それにはカメラ解像度、カメラ数を増やすことが求められる。しかしながら、カメラ解像度やカメラ数を増やすことにより、前景画像や３次元形状データなどの素材データの生成の処理負荷が増えてしまうという問題がある。
本発明は、上述したような問題点に鑑みてなされたものであり、処理負荷の増大を低減しつつ、素材データを適切に生成することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、指定された視点に対応する画像の生成に用いられる素材データを生成する素材生成装置であって、複数の撮影装置により撮影された画像を取得する取得手段と、前記取得手段により取得された画像のうち、選択された撮影装置により撮影された画像に基づいて前景画像と背景画像のうち少なくともいずれか一方を前記素材データとして生成する素材データ生成手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、処理負荷の増大を低減しつつ、素材データを適切に生成することができる。
【図面の簡単な説明】
【０００７】
【図１】撮影システムの概要の一例を示す図である。
【図２】第１実施形態の素材生成装置の構成の一例を示す図である。
【図３】素材生成装置による処理の一例を示すフローチャートである。
【図４】第２実施形態の素材生成装置の構成の一例を示す図である。
【図５】第３実施形態の画像処理システムの構成の一例を示す図である。
【図６】第４実施形態の画像処理システムの構成の一例を示す図である。
【図７】各処理使用カメラ情報の一例を示す図である。
【図８】各処理使用カメラ情報を付与する例を示す図である。
【図９】各処理使用カメラ情報のタグ情報の一例を示す図である。
【図１０】ＩＳＯ  ＢＭＦＦで規定されるボックスの構造の一例を示す図である。
【図１１】ＩＳＯ  ＢＭＦＦファイルの構造の一例を示す図である。
【図１２】ＭｏｖｉｅＢｏｘに各処理使用カメラ情報を付与する例を示す図である。
【図１３】第１実施形態の素材生成装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【０００８】
以下、本発明に係る実施形態について図面を参照して説明する。
（第１実施形態）
第１実施形態に係る素材生成装置１０について説明する。素材生成装置１０は、複数のカメラから取得したカメラ画像を用いて、仮想視点画像の素材データとなる前景画像、背景画像、３次元形状データ（以下、３Ｄモデルという）等を生成する。
一般的に、３Ｄモデルを生成するためには多くのカメラのカメラ画像を用いることでより高精度な３Ｄモデルを生成することができる。一方、多くのカメラのカメラ画像を全て記憶すると、記憶するデータが増えてしまい、ディスクアクセス帯域が大きくなってしまう。本実施形態の素材生成装置１０は、３Ｄモデルの生成には全てのカメラからのカメラ画像を用いて高精度に生成しつつ、素材データとして記憶する前景画像および背景画像を撮影するカメラを複数のカメラから選択することで記憶するデータを削減する。
【０００９】
図１は、複数のカメラで構成される撮影システムの概要の一例を示す図である。
撮影システムでは、複数のカメラ１Ａ〜１Ｔは、仮想視点画像の素材データを生成するために対象空間を撮影する。ここでは、複数のカメラ１Ａ〜１Ｔが対象空間を囲むように楕円形に配置される。ただし、カメラの数、カメラの配置は限定されない。各カメラ１Ａ〜１Ｔで撮影された画像は素材生成装置１０に入力される。なお、撮影システムにおけるカメラの姿勢、カメラの位置、カメラの画角、撮影対象までの距離、焦点距離、画像の幅、画像の高さ、絞り値、シャッタースピード、ＩＳＯ感度等のカメラに関する情報は、予め素材生成装置１０に設定されている。
【００１０】
図２は、素材生成装置１０の構成の一例を示す図である。図２に示す構成は、素材生成装置１０のＣＰＵが不揮発性メモリに記録されたプログラムを実行することにより実現される。
素材生成装置１０は、画像取得部１００、記憶対象カメラ選択部１０１、前景背景分離部１０２、３Ｄモデル生成部１０３、データ記憶部１０４、データ出力部１０５を有する。
画像取得部１００は、各カメラからカメラ画像を取得する。画像取得部１００は、取得したカメラ画像を前景背景分離部１０２に出力する。
【００１１】
記憶対象カメラ選択部１０１は、予め設定されたカメラに関する情報に基づいて、素材データとして記憶する前景画像を撮影するカメラと、素材データとして記憶する背景画像を撮影するカメラとを選択する。本実施形態では、素材データとして記憶する前景画像を撮影するカメラを前景記憶対象カメラといい、素材データとして記憶する背景画像を撮影するカメラを背景記憶対象カメラという。
記憶対象カメラ選択部１０１は、前景記憶対象カメラの識別情報および背景記憶対象カメラの識別情報を前景背景分離部１０２に出力する。識別情報は、カメラを一意に特定するための情報であって、例えば、撮影システムにおけるカメラＩＤ等を用いることができる。
【００１２】
ここで、記憶対象カメラ選択部１０１がカメラを選択する方法について説明する。
本実施形態の撮影システムのように対象空間を撮影するために楕円の円周状上に配置されている場合、記憶対象カメラ選択部１０１は、複数のカメラのうち位置や向き（姿勢）の近いカメラ同士を重複して選択しないようにする。具体的には、図１に示すように並べられたカメラのうち前景記憶対象カメラを選択する場合、カメラの位置に基づいてカメラ１Ａ、１Ｃ、１Ｅ・・・のように一つおき（あるいは一つ以上おき）に選択し、隣り合うカメラ同士を選択しないことが好ましい。また、前景記憶対象カメラを選択する場合、カメラの焦点距離が異なるカメラ同士あるいは解像度が異なるカメラ同士を選択してもよい。
【００１３】
一方、背景記憶対象カメラを選択する場合には、背景は色や輝度の一致性が重要であることから、焦点距離が短く、対象空間のできるだけ広い領域を撮影できるカメラを選択する。具体的に、図１に示すカメラのうち背景記憶対象カメラを選択する場合、カメラ１Ｃ、１Ｉ、１Ｍ、１Ｓの４つ角に配置されたカメラを選択することが好ましい。この４つのカメラは焦点距離が短く、かつ撮影対象までの距離も長いものであって、背景画像を撮影するのに適切なカメラである。したがって、背景記憶対象カメラとして、前景記憶対象カメラよりも焦点距離が短いカメラあるいは前景記憶対象カメラよりも撮影対象の中心までの距離が長いカメラが選択される。
【００１４】
記憶対象カメラ選択部１０１は、カメラに関する情報に基づいてカメラを選択することが好ましいが、このような方法に限定されない。例えば、レンズの解像度、収差の少なさ、色再現性等のレンズ性能の情報、高感度カメラであるかを示すセンサー情報等のうち少なくとも何れか一つに基づいて選択してもよい。
例えば、記憶対象カメラ選択部１０１は、カメラの位置に大きな差がない場合にはレンズ性能を比較して解像度、収差等のより性能が高いレンズのカメラを選択することができる。また、対象空間に仮想的においた直方体を３次元計算によりカメラ画像に投影して、各カメラの撮影領域の重複度等から選択してもよい。
【００１５】
前景背景分離部１０２は、画像取得部１００から出力されたカメラ画像に基づいて前景と背景とを分離する。
具体的には、前景背景分離部１０２は、全てのカメラ画像において複数フレームを用いて背景画像を生成する。例えば、前景背景分離部１０２は、複数フレームの画像を比較して動きのある領域と、動きのない領域を検出し、動きのない領域のみで背景画像を更新して最新の背景画像を生成する。
また、前景背景分離部１０２は、全てのカメラについて、カメラごとに出力されたカメラ画像と、そのカメラ画像から生成した背景画像とを比較し、画素値が予め設定された閾値以上の差がある画素を前景画素と判定する。前景背景分離部１０２は、前景画素に基づいて前景領域か否かを示す２値の前景シルエット画像を生成し、３Ｄモデル生成部１０３に出力する。前景シルエット画像は、カメラから出力された画像サイズと同一である。
【００１６】
また、前景背景分離部１０２は、記憶対象カメラ選択部１０１で選択された前景記憶対象カメラの識別情報を取得し、前景記憶対象カメラのカメラ画像から生成した前景画像をデータ記憶部１０４に出力する。データ記憶部１０４は、前景背景分離部１０２から出力された前景画像を記憶する。ここで前景画像は、生成した前景シルエット画像に基づいて、一続きの前景画素を結合した前景領域を矩形に切り出した画像群である。
また、前景背景分離部１０２は、記憶対象カメラ選択部１０１で選択された背景記憶対象カメラの識別情報を取得し、背景記憶対象カメラのカメラ画像から生成した背景画像をデータ記憶部１０４に出力する。データ記憶部１０４は、前景背景分離部１０２から出力された背景画像を記憶する。
【００１７】
３Ｄモデル生成部１０３は、前景背景分離部１０２から出力された前景シルエット画像に基づいて３Ｄモデルを生成する。本実施形態では、視体積交差法を用いて３Ｄモデルを生成する。視体積交差法は、３Ｄモデルの生成対象空間に一定の大きさをもった直方体を敷き詰め、各直方体を３次元的に各カメラの前景シルエット画像に投影し、前景画素と重なるか否かを判定する。前景画素との重なりを判定し、３Ｄモデルを形成する直方体であるかを判定する処理を繰り返すことで３Ｄモデルを生成する。
例えば、３Ｄモデル生成部１０３は、ある直方体について全てのカメラで３Ｄモデルを形成する直方体であると判定した場合に３Ｄモデルとして残す。３Ｄモデル生成部１０３は、全ての直方体を判断して生成対象空間に３Ｄモデルを構築する直方体を残し、その座標情報で示される３Ｄモデルを構築する点群データをデータ記憶部１０４に出力する。また、３Ｄモデル生成部１０３は、前景シルエット画像をデータ記憶部１０４に出力する。データ記憶部１０４は、点群データおよび前景シルエット画像を記憶する。ただし、３Ｄモデル生成部１０３は点群データの代わりに領域またはボクセル等の要素を出力してもよい。
【００１８】
データ出力部１０５は、外部装置の要求に応じてデータ記憶部１０４から必要なデータを取得して出力する。ここで、外部装置の要求とは、データ記憶部１０４に記憶された、前景画像、３Ｄモデル等のデータおよびデータに紐づく時間情報に対する出力要求である。時間情報には、データの元となったカメラ画像が撮影された時間が含まれる。
【００１９】
次に、素材生成装置１０のハードウェア構成について、図１３を用いて説明する。なお、後述する画像処理装置および画像生成装置のハードウェア構成も、以下で説明する素材生成装置１０の構成と同様である。
素材生成装置１０は、ＣＰＵ１３１１、ＲＯＭ１３１２、ＲＡＭ１３１３、補助記憶装置１３１４、通信Ｉ／Ｆ１３１５およびバス１３１６を有する。
【００２０】
ＣＰＵ１３１１は、ＲＯＭ１３１２やＲＡＭ１３１３に格納されているコンピュータプログラムやデータを用いて素材生成装置１０の全体を制御することで、図２に示す素材生成装置１０の各機能を実現する。なお、素材生成装置１０がＣＰＵ１３１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ１３１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）およびＤＳＰ（デジタルシグナルプロセッサ）等がある。
【００２１】
ＲＯＭ１３１２は、変更を必要としないプログラム等を格納する。ＲＡＭ１３１３は、補助記憶装置１３１４から供給されるプログラムやデータ、及び、通信Ｉ／Ｆ１３１５を介して外部から供給されるデータ等を一時記憶する。補助記憶装置１３１４は、例えばハードディスクドライブ等で構成され、画像データや音声データ等の種々のデータを記憶する。
通信Ｉ／Ｆ１３１５は、素材生成装置１０の外部の装置との通信に用いられる。例えば、素材生成装置１０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１３１５に接続される。素材生成装置１０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１３１５はアンテナを備える。バス１３１６は、素材生成装置１０の各部をつないで情報を伝達する。
【００２２】
次に、素材生成装置１０による処理の一例について図３のフローチャートを参照して説明する。図３のフローチャートは、素材生成装置１０のＣＰＵが不揮発性メモリに記録されたプログラムを実行することにより実現される。
Ｓ１０１では、前景背景分離部１０２は、カメラ画像に基づいて前景と背景とを分離して、前景画像、背景画像および前景シルエット画像を生成し、前景シルエット画像を３Ｄモデル生成部１０３に出力する。
【００２３】
Ｓ１０２では、前景背景分離部１０２は、記憶対象カメラ選択部１０１によって選択された前景記憶対象カメラのカメラ画像から生成した前景画像をデータ記憶部１０４に出力する。データ記憶部１０４は前景画像を記憶する。
Ｓ１０３では、前景背景分離部１０２は、記憶対象カメラ選択部１０１によって選択された背景記憶対象カメラのカメラ画像から生成した背景画像をデータ記憶部１０４に出力する。データ記憶部１０４は背景画像を記憶する。
Ｓ１０４では、３Ｄモデル生成部１０３は、前景シルエット画像に基づいて３Ｄモデルを生成して、３Ｄモデルと前景シルエット画像とをデータ記憶部１０４に出力する。データ記憶部１０４は３Ｄモデルと前景シルエット画像とを記憶する。
【００２４】
このように、データ記憶部１０４は、全ての前景画像および背景画像を記憶するのではなく、複数のカメラのうち選択されたカメラにより撮影された画像から得られる前景画像および背景画像を記憶する。したがって、記憶するデータを削減でき、ディスクアクセス帯域が小さくすることができる。また、記憶対象カメラ選択部１０１は、カメラに関する情報等に基づいて、前景画像および背景画像を得るのに適したカメラを選択することで、処理負荷の増大を低減しつつ、素材データを適切に生成することができる。
また、３Ｄモデル生成部１０３が３Ｄモデルを生成するときには前景記憶対象カメラよりも多くのカメラ、ここでは全てのカメラのカメラ画像から３Ｄモデルを生成するので、より高精度に３Ｄモデルを生成することができる。なお、３Ｄモデルは、前景記憶対象カメラのカメラ画像から生成した前景シルエット画像のみに基づいて生成されてもよい。
【００２５】
なお、３Ｄモデル生成部１０３は、出力した点群データが各カメラから可視されるか否かを判定し、可視判定情報を予め生成して、データ記憶部１０４が可視判定情報を記憶してもよい。可視判定情報を記憶して、仮想視点画像を生成するときに用いることで仮想視点画像を高速で生成することができる。
ここで、３Ｄモデル生成部１０３が生成した点群データの各点が、前景処理に使用する各カメラから可視されるか否かを判定する方法を説明する。３Ｄモデル生成部１０３は、３Ｄモデルを構成する点を３次元的に各カメラ画像又は前景シルエット画像に投影し、前景画素を示す画素と重なった場合は可視であると判定する。仮想視点画像を生成する場合、ユーザが指定した仮想視点からの３Ｄモデルを描画する。具体的には、前景画像に色を付ける。仮想視点から３Ｄモデルを描画するには、３Ｄモデルがカメラから見えているかを示す可視判定情報、および、仮想視点とカメラの位置・向きに基づいて、色付けを行う前景画像を撮影するカメラを選択する。したがって、本実施形態では、３Ｄモデル生成部１０３が可視判定を行う場合に、前景記憶対象カメラのみを可視判定の対象とすることで、可視判定にかかる処理負荷を低減できると共に、可視判定情報を記憶するときのデータを削減することができる。
【００２６】
また、本実施形態では、記憶対象カメラ選択部１０１が判断してカメラを選択する場合について説明したが、この場合に限られない。例えば、上述した撮影システムおよび素材生成装置１０を構成するときに予め、前景記憶対象カメラ、背景記憶対象カメラ、３Ｄモデルを生成するためのカメラを設定し、記憶対象カメラ選択部１０１は予め設定された情報に基づいてカメラを選択してもよい。
また、本実施形態では、３Ｄモデルを生成するのに前景シルエット画像を用いる場合について説明したが、この場合に限られない。例えば、距離計測を行うデプスカメラを用いて別途モデルを生成し、上述した前景記憶対象カメラにより撮影されて得られた前景画像を用いて色付けを行ってもよい。
【００２７】
（第２実施形態）
次に、第２実施形態に係る素材生成装置２０について説明する。
一般的に、３Ｄモデルを生成する場合、カメラ数が増えるほど処理負荷が増大する。上述した視体積交差法では、各カメラに前景が映っているか否かの判定処理を行うため、判定処理の負荷はカメラ数に比例して大きくなる。一方、カメラ数が少なすぎると、３Ｄモデルを生成する場合にカメラに映らない範囲が増え、本当に存在する被写体に対して、３Ｄモデルが異なる形で生成されてしまい、３Ｄモデルの品質が落ちてしまう。
【００２８】
また、前景として映る被写体の画像解像度を高めるために、撮影システムの一部のカメラを焦点距離の長いレンズを装着したカメラにして、解像度の高いオブジェクトを生成する場合がある。この場合、該カメラは撮影範囲の狭いカメラである。３Ｄモデルを生成するとき、ある点を３次元計算によりカメラのカメラ画像上に投影する処理を含む。撮影範囲の狭いカメラは、計算の結果により映っていないと判定される場合が増えてしまい、処理負荷が増えてしまう。本実施形態の素材生成装置２０は、３Ｄモデルを生成するために撮影するカメラを複数のカメラから選択することで、３Ｄモデルを生成するときの処理負荷を低減する。
【００２９】
図４は、素材生成装置２０の構成の一例を示す図である。なお、第１実施形態と同様の構成は、同一符号を付して説明を省略する。
３Ｄモデル生成部２０３は、モデル生成カメラ選択部２０７によって選択されたカメラのカメラ画像を用いて３Ｄモデルの生成を行う。以下では、モデル生成カメラ選択部２０７によって選択されたカメラを３Ｄモデル生成対象カメラという。
視体積交差法では、３Ｄモデルを形成する直方体であるかを判定する際に、３次元計算により直方体の代表点等を各カメラの前景シルエット画像に投影する。本実施形態では、３Ｄモデル生成対象カメラのみを投影する処理の対象とする。したがって、前景シルエット画像に投影する処理および直方体であるかを判定する判定処理を削減でき、３Ｄモデルを生成するときの処理負荷を低減することができる。
【００３０】
モデル生成カメラ選択部２０７は、予め設定されたカメラに関する情報に基づいて、３Ｄモデルを生成する処理に用いるためのカメラを選択する。
ここで、モデル生成カメラ選択部２０７がカメラを選択する方法について説明する。
第１実施形態と同様の撮影システムのように、対象空間を撮影するためにカメラが楕円形に配置されている場合、モデル生成カメラ選択部２０７は、複数のカメラのうち位置や姿勢の近いカメラ同士を重複して選択しないようにする。すなわち、モデル生成カメラ選択部２０７はカメラの位置および姿勢に基づいてカメラを選択する。
また、モデル生成カメラ選択部２０７は、３Ｄモデルを生成する処理負荷を低減することを考慮して、焦点距離および撮影対象までの距離の情報に基づいて撮影範囲の評価を行い、撮影範囲の広いカメラを選択してもよい。例えば、前景記憶対象カメラよりも撮影範囲の広いカメラを選択することができる。更に、モデル生成カメラ選択部２０７は、第１実施形態と同様の情報に基づいてカメラを選択してもよい。
モデル生成カメラ選択部２０７によりカメラを選択する方法は、上述した方法に限られず、上述した方法を単独で用いたり、組み合せたりして選択してもよい。例えば、モデル生成カメラ選択部２０７は、撮影範囲の情報のみに基づいてカメラを選択してもよい。
【００３１】
次に、素材生成装置２０による処理の一例について図３のフローチャートを参照して説明する。第１実施形態と異なる処理はＳ１０４であるために、Ｓ１０４について説明する。
Ｓ１０４では、３Ｄモデル生成部１０３は、モデル生成カメラ選択部２０７によって選択された３Ｄモデル生成対象カメラにより撮影されたカメラ画像から３Ｄモデルを生成する。つまり、本実施形態では、３Ｄモデル生成部１０３は、Ｓ１０４において、３Ｄモデル生成対象カメラにより撮影されたカメラ画像から生成されたシルエット画像と、そのシルエット画像から生成された３Ｄモデルを記憶する。
【００３２】
このように、３Ｄモデル生成部１０３は、モデル生成カメラ選択部２０７により選択されたカメラにより撮影された画像から３Ｄモデルを生成することにより３Ｄモデルを生成するときの処理負荷を低減することができる。すなわち、３Ｄモデル生成部１０３は、モデル生成カメラ選択部２０７により選択されていないカメラにより撮影された画像に対する処理等を省略することで、３Ｄモデルを生成するときの処理負荷を低減することができる。また、モデル生成カメラ選択部２０７は、カメラに関する情報等に基づいて、３Ｄモデルを生成するのに適したカメラを選択することで３Ｄモデルの品質の低下を抑制することができる。
なお、第１実施形態で説明した前景記憶対象カメラ、背景記憶対象カメラと、本実施形態で説明した３Ｄモデル生成対象カメラは、それぞれ独立して選択してもよく、重複して選択してもよい。
【００３３】
（第３実施形態）
次に、第３実施形態に係る画像処理システム１について説明する。画像処理システム１は、複数のカメラにそれぞれに接続される画像処理装置３０と、画像処理装置３０から出力されたカメラ画像を用いて仮想視点画像の素材データを生成する素材生成装置４０とを有する。
本実施形態の画像処理装置３０は、カメラ画像に基づいて前景と背景とを分離して、前景として抽出された領域のみを素材生成装置４０に伝送することで伝送量を削減する。また、本実施形態の素材生成装置４０は、素材データとして記憶する前景画像を撮影するカメラ、素材データとして記憶する背景画像を撮影するカメラを選択して、画像処理装置３０ごとに前景画像あるいは背景画像を伝送させることで伝送量を削減する。
【００３４】
図５は、画像処理装置３０と素材生成装置４０とを有する画像処理システム１の構成の一例を示す図である。なお、第１実施形態と同様の構成は、同一符号を付して説明を省略する。各装置の構成は、ＣＰＵが不揮発性メモリに記録されたプログラムを実行することにより実現される。
画像処理装置３０は複数で構成され、それぞれ撮影システムのカメラに接続される。したがって、画像処理システム１ではカメラの数と同数の画像処理装置３０がある。画像処理装置３０は、カメラ画像を処理して、素材生成装置４０に各種データを伝送する。
画像処理装置３０は、画像取得部３０１、前景背景分離部３０２、データ伝送部３０３を有する。
画像取得部３０１は、１台のカメラからカメラ画像を取得する。画像取得部３０１は、取得したカメラ画像を前景背景分離部３０２に出力する。
【００３５】
前景背景分離部３０２は、カメラ画像から、背景画像、矩形に切り出された前景画像、前景シルエット画像を生成する。この処理は、第１実施形態の前景背景分離部１０２と同様である。前景背景分離部３０２は、前景シルエット画像をデータ伝送部３０３に出力する。
ここで、前景背景分離部３０２は、素材生成装置４０の伝送カメラ選択部４０１から素材データとして記憶する前景画像を撮影するカメラの識別情報および素材データとして記憶する背景画像を撮影するカメラの識別情報を受信する。本実施形態では、素材データとして記憶する前景画像を撮影するカメラを前景伝送対象カメラといい、素材データとして記憶する背景画像を撮影するカメラを背景伝送対象カメラという。また、識別情報は、カメラを一意に特定するための情報であって、例えば撮影システムにおけるカメラＩＤ等を用いることができる。
前景背景分離部３０２は、受信した前景伝送対象カメラの識別情報が、接続されたカメラの識別情報と一致する場合には生成した前景画像をデータ伝送部３０３に出力する。また、前景背景分離部３０２は、受信した背景伝送対象カメラの識別情報が、接続されたカメラの識別情報と一致する場合には生成した背景画像をデータ伝送部３０３に出力する。
なお、伝送カメラ選択部４０１による選択方法によっては前景画像と背景画像との両方を出力する場合がある。
【００３６】
データ伝送部３０３は、前景背景分離部３０２から出力されたデータを素材生成装置４０に伝送する。データ伝送部３０３から素材生成装置４０までは、例えばＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）ケーブル等で接続してもよい。また、データ伝送部３０３は、Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ（ＴＣＰ）とＩｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ（ＩＰ）を組み合わせたＴＣＰ／ＩＰに規定されるＴＣＰパケットデータとしてネットワークを用いて伝送する。ただし、伝送に用いる物理ケーブルおよびプロトコルは限定されず、例えばＳｅｒｉａｌ Ｄｅｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ等を用いてもよい。また、データ伝送部３０３は、ＩＥＥＥ８０２．１１規格で定められるＷｉ−Ｆｉ等の無線通信によって伝送してもよい。
【００３７】
素材生成装置４０は、伝送カメラ選択部４０１、受信データ処理部４０２、３Ｄモデル生成部１０３、データ記憶部１０４、データ出力部１０５を有する。
伝送カメラ選択部４０１は、撮影システムのカメラから、前景伝送対象カメラおよび背景伝送対象カメラを選択する。伝送カメラ選択部４０１は、各画像処理装置３０に前景伝送対象カメラの識別情報および背景伝送対象カメラの識別情報を送信する。
ここで、伝送カメラ選択部４０１がカメラを選択する方法は、第１実施形態と同様の情報に基づいて選択することができる。
受信データ処理部４０２は、各画像処理装置３０から、前景画像、背景画像、前景シルエット画像を受信する。受信データ処理部４０２は、前景画像および背景画像をデータ記憶部１０４に出力する。データ記憶部１０４は、受信データ処理部４０２から出力された前景画像および背景画像を記憶する。また、受信データ処理部４０２は、前景シルエット画像を３Ｄモデル生成部１０３に出力する。３Ｄモデル生成部１０３は、受信データ処理部４０２から出力された前景シルエット画像に基づいて３Ｄモデルを生成する。
【００３８】
このように、画像処理装置３０のデータ伝送部３０３は、伝送カメラ選択部４０１により選択されたカメラによる画像から生成された前景画像および背景画像を伝送する。したがって、画像処理システム全体としてデータの伝送量を削減することができる。なお、伝送カメラ選択部４０１はカメラに関する情報等に基づいて、前景画像および背景画像を撮影するのに適したカメラを選択することで、データ伝送部３０３はより有効なデータを伝送することができる。
【００３９】
（第４実施形態）
次に、第４実施形態に係る画像処理システム２について説明する。
本実施形態では、前景記憶対象カメラ、背景記憶対象カメラ、３Ｄモデル生成対象カメラのカメラ情報を記憶し、仮想視点画像を生成するときに、各処理に使用したカメラのカメラ情報をメタデータとして付与する。仮想視点画像を見るユーザは、各処理に使用したカメラ情報を確認することで仮想視点画像の品質を推測することができる。例えば、より多くのカメラを使用して３Ｄモデル生成を行っている画像は精度の高い３Ｄモデルが生成され、より画質が良いと推測できる。したがって、ユーザはカメラ情報を利用することで所望するデータを検索し易くなる。
【００４０】
図６は、素材生成装置５０と画像生成装置６０とを有する画像処理システム２の構成の一例を示す図である。なお、第１実施形態、第２実施形態と同様の構成は、同一符号を付して説明を省略する。各装置の構成は、ＣＰＵが不揮発性メモリに記録されたプログラムを実行することにより実現される。
素材生成装置５０は、画像取得部１００、前景背景分離部１０２、データ記憶部１０４、データ出力部１０５、３Ｄモデル生成部２０３、記憶対象カメラ選択部５０１、モデル生成カメラ選択部５０２を有する。
【００４１】
記憶対象カメラ選択部５０１は、第１実施形態の記憶対象カメラ選択部１０１の機能に加えて、前景記憶対象カメラのカメラ情報、背景記憶対象カメラのカメラ情報をデータ記憶部１０４に出力する。データ記憶部１０４は、記憶対象カメラ選択部５０１から出力されたカメラ情報を記憶する。この場合、データ記憶部１０４は、前景記憶対象カメラから出力された前景画像と前景記憶対象カメラのカメラ情報とを対応付けて記憶し、背景記憶対象カメラから出力された背景画像と背景記憶対象カメラのカメラ情報とを対応付けて記憶する。
モデル生成カメラ選択部５０２は、第２実施形態のモデル生成カメラ選択部２０７の機能に加えて、３Ｄモデル生成対象カメラのカメラ情報をデータ記憶部１０４に出力する。データ記憶部１０４は、モデル生成カメラ選択部５０２から出力されたカメラ情報を記憶する。この場合、データ記憶部１０４は、３Ｄモデル生成対象カメラから出力された３Ｄモデルと３Ｄモデル生成対象カメラのカメラ情報とを対応付けて記憶する。
ここで、カメラ情報には、上述したカメラに関する情報に加えて、レンズ性能の情報、レンズ性能の情報、センサー情報が含まれる。
【００４２】
画像生成装置６０は、データ取得部６０１、仮想視点画像ファイル生成部６０２、使用カメラメタデータ付与部６０３、ファイル出力部６０４を有する。
データ取得部６０１は、素材生成装置５０から仮想視点画像の素材データを取得し、仮想視点画像ファイル生成部６０２に出力する。また、データ取得部６０１は、素材生成装置５０から素材データにそれぞれ対応付けられた、前景記憶対象カメラ、背景記憶対象カメラ、３Ｄモデル生成対象カメラのカメラ情報を取得し、使用カメラメタデータ付与部６０３に出力する。データ取得部６０１は素材データを取得する場合、データ出力部１０５に対して素材データに紐づいた時間情報およびデータ種別を指定する。ここで、時間情報として、例えば、日付、時、分、秒、フレーム等を指定する。また、データ種別として、前景画像、背景画像、３Ｄモデルを指定する。したがって、データ取得部６０１はあるフレームの前景画像、背景画像、３Ｄモデルを取得することができ、仮想視点画像ファイル生成部６０２はそのフレームにおける仮想視点画像を生成することができる。
【００４３】
仮想視点画像ファイル生成部６０２は、入力された仮想視点情報に基づいて仮想視点画像を生成して、動画ファイル化する。仮想視点画像ファイル生成部６０２は生成した動画ファイルを使用カメラメタデータ付与部６０３に出力する。なお、仮想視点情報は、仮想視点の位置及び向きに関する情報を少なくとも含んでいる。仮想視点情報は、ユーザやオペレータが不図示のＵＩを用いて入力される。ただし、仮想視点情報は、画像生成装置６０により自動的に設定されるようにしてもよい。
ここで、仮想視点画像を生成する方法の一例について説明する。
仮想視点画像ファイル生成部６０２は、入力された仮想視点から見える３Ｄモデルについて、モデルを構成する点を仮想視点画像上に投影する。投影した点の色は、仮想視点と角度の近いカメラの前景画像を用いて色付けする。これにより仮想視点から見た前景画像が生成できる。また、仮想視点画像ファイル生成部６０２は、背景画像を背景用のモデルを用いて、３Ｄモデルを仮想視点画像上に投影することで、仮想視点から見た背景画像を生成する。仮想視点画像ファイル生成部６０２は、背景画像と前景画像とを合成し、仮想視点画像を生成する。
【００４４】
次に、動画ファイル化する方法の一例について説明する。
まず、仮想視点画像ファイル生成部６０２は、Ｈ．２６５（ＩＳＯ／ＩＥＣ  ２３００８−２  ＨＥＶＣ）の規格によって仮想視点画像から動画圧縮する。更に、仮想視点画像ファイル生成部６０２は、ＩＳＯ／ＩＣＥ  １４４９６−１４：２００３、ＩＳＯ／ＩＣＥ  ＪＴＣ１で規定されるＭＰＥＧ−４  Ｐａｒｔ１４形式のｍｐ４ファイルとして動画ファイル化する。
【００４５】
使用カメラメタデータ付与部６０３は、各処理に使用されたカメラのカメラ情報が含まれる各処理使用カメラ情報をファイルのメタデータとして付与する。各規格における付与方法については、後述する。
ファイル出力部６０４は、生成された動画ファイルを出力する。
【００４６】
図７は、各処理使用カメラ情報７００の一例を示す図である。
各処理使用カメラ情報７００には、先頭に使用カメラ情報数と各使用カメラ情報へのポインタ７０１を有し、その後に各処理ごとの使用カメラ情報７０２が並ぶ。ここで、使用カメラ情報７０２には、例えば、素材データとしての前景画像を生成するときに使用した全てのカメラのカメラ情報が含まれる。
使用カメラ情報７０２は、処理ＩＤ７０３、処理に使用したカメラ数７０４、カメラ情報７０５で構成される。カメラ情報７０５は、一つのカメラに対する情報であって、次の情報の少なくとも一つが含まれる。すなわち、姿勢パラメータ７０６、位置パラメータ７０７、画角パラメータ７０８、撮影対象までの距離７０９、焦点距離７１０、画像の幅７１１、画像の高さ７１２、絞り値７１３、シャッタースピード７１４、ＩＳＯ感度（スピードレート）７１５等が含まれる。
姿勢パラメータ７０６は、例えば次の（１）式で表現されるクォータニオンで表現される。
【００４７】
【数１】
2020134973.tif 000003
【００４８】
ここで、セミコロンの左が実数部であり、ｘ，ｙ，ｚが虚数部を表現している。
位置パラメータ７０７は、世界座標上の原点を（０，０，０）とした３次元座標の座標（ｘ，ｙ，ｚ）であるとする。
画角パラメータ７０８は、仮想視点の水平画角であるとする。水平画角についての表現は限定されない。例えば、０度〜１８０度の範囲の角度で表現してもよく、３５ｍｍフィルムカメラで標準を５０ｍｍとした場合の焦点距離で表現してもよい。
また、その他にカメラ情報には、色温度、レンズの焦点距離、レンズの型番、カメラの型番等の情報を含めてもよい。ただし、カメラ情報は上述した情報に限定されない。
【００４９】
次に、各規格におけるメタデータの付与方法の一例について説明する。
ここでは、カメラ画像機器工業会規格  ＤＣ−００８−２０１２  デジタルスチルカメラ用画像ファイルフォーマット規格  Ｅｘｉｆ２．３の場合の付与方法について説明する。
図８（ａ）は、Ｅｘｉｆ規格で規定されたフォーマットに、各処理使用カメラ情報７００を付与する場合の一例を示す図である。
図８（ａ）は、Ｐｒｏｃｅｓｓｉｎｇ  Ｕｓｉｎｇ  Ｃａｍｅｒａ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｄｉｒｅｃｔｏｒｙ（以下、ＰＵＣ  ＩＦＤという）８０２を定義し、各処理使用カメラ情報７００を格納している。ＰＵＣ  ＩＦＤ  Ｐｏｉｎｔｅｒ８０１は、ＰＵＣ  ＩＦＤ８０２を指し示すポインタである。
【００５０】
図９は、ＰＵＣ  ＩＦＤのタグ情報の一例を示す図である。
ＰＵＣのタグのバージョンは、１から始まる値であり、以下に続くデータのフォーマットのバージョンを表している。
姿勢パラメータは、クォータニオンで表現され、上述した実数部、虚数部の各値が４バイトの符号付き整数で表される。
位置パラメータは、競技場原点からの座標ｘ，ｙ，ｚの各値が４バイトの符号付き浮動小数点数で表される。
画角パラメータは、水平角度を表し、４バイトの符号付き浮動小数点数で表される。
撮影対象までの距離は、距離を単位ミリメートルで示し、４バイト符号なし整数で表される。
焦点距離は、ミリメートルで表し、４バイト符号なし整数の分数で表される。一つ目が分子、二つ目が分母である。
画像の幅は、カメラの撮影画像の幅を示し、４バイトの符号整数で表される。
画像の高さは、カメラの撮影画像の高さを示し、４バイトの符号なし整数で表される。
絞り値は、カメラの撮影パラメータの絞り値を示し、４バイト符号なし整数の分数で表される。一つ目が分子、二つ目が分母である。
シャッタースピードは、カメラの撮影パラメータのシャッタースピードを示し、４バイト符号付整数の分数で表される。一つ目が分子、二つ目が分母である。
ＩＳＯ感度（スピードレート）は、カメラの撮影パラメータのＩＳＯ感度を示し、２バイトの符号なし整数で表される。ただし、上述した情報の順序、データ長は限定されない。また、上述した情報の一部から構成されていてもよい。
【００５１】
図８（ｂ）は、Ｅｘｉｆ規格では定義されていないが、ベンダーあるいは業界団体が任意に利用することができる未定義のＡＰＰｎマーカであるＡＰＰ３（８１１）を利用して、各処理使用カメラ情報７００を格納した場合の一例を示す図である。
このように、既存の静止画フォーマットであるＥｘｉｆ規格に、各処理使用カメラ情報７００を格納するための領域を追加して定義して、仮想視点パラメータ付き仮想視点画像を生成することができる。
【００５２】
次に、ＩＳＯ／ＩＥＣ  １４４９６−１２（ＭＰＥＧ−４  Ｐａｒｔ１２）  ＩＳＯ  ｂａｓｅ  ｍｅｄｉａ  ｆｉｌｅ ｆｏｒｍａｔ（以下、ＩＳＯ  ＢＭＦＦ）規格の場合の付与方法について説明する。
ＩＳＯ  ＢＭＦＦは、サイズとタイプを示す情報およびデータが格納されるボックスという単位でファイルを扱う。図１０（ａ）はボックスの構造の一例を示す図である。なお、図１０（ｂ）のように、ボックスの中にデータとしてボックスを含む構造とすることも可能である。
【００５３】
図１１は、ＩＳＯ  ＢＭＦＦファイルのデータ構造の一例を示す図である。
ＩＳＯ  ＢＭＦＦファイルは、ｆｔｙｐ１１０１（Ｆｉｌｅ  Ｔｙｐｅ  Ｃｏｍｐａｔｉｂｉｌｉｔｙ  Ｂｏｘ）、ｍｏｏｖ１１０２（Ｍｏｖｉｅ  Ｂｏｘ）、ｍｄａｔ１１０３（Ｍｅｄｉａ  Ｄａｔａ  Ｂｏｘ）のボックスから構成される。ボックスｆｔｙｐ１１０１にはファイルフォーマットの情報、例えばファイルがＩＳＯ  ＢＭＦＦファイルであることや、ボックスのバージョン、ファイルを作成したメーカ名称等が記載される。
ボックスｍｏｏｖ１１０２には、メディアデータを管理するための時間軸、アドレス等のメタデータが含まれる。ボックスｍｄａｔ１１０３には、実際に動画として再生されるメディアデータが含まれる。
【００５４】
図１２は、ボックスｍｏｏｖ１１０２に、各処理使用カメラ情報７００を付与する一例を示す図である。図１２（ａ）のように、ファイル全体のメタ情報を示すボックスｍｅｔａ１２０１に各処理使用カメラ情報７００を付与することができる。また、トラックごとに異なる画像をつなぎ合わせて編集された動画ファイルの場合は、図１２（ｂ）に示すように、各トラックのボックスｍｅｔａ１２０２に各処理使用カメラ情報７００を付与することも可能である。
【００５５】
例えば、
aligned(8) class MetaBox (handler_type)
extends FullBox('meta', version = 0, 0) {
HandlerBox(handler_type) theHandler;
PrimaryItemBox primary_resource; // optional
DataInformationBox file_locations; // optional
ItemLocationBox item_locations; // optional
ItemProtectionBox protections; // optional
ItemInfoBox item_infos; // optional
IPMPControlBox IPMP_control; // optional
ItemReferenceBox item_refs; // optional
ItemDataBox item_data; // optional
Virtual_ViewPoint_Camera_Info   // optional
Box other_boxes[]; // optional
}
においてVirtual_ViewPoint_Camera_Infoが各処理使用カメラ情報７００を表す。
このボックスは
Box Type:      'vvci'
Container:      Meta box ('meta')
Mandatory:    No
Quantity:       Zero or one
そのシンタックスは
aligned(8) class ItemLocationBox extends FullBox('vvci',version,0) {
unsigned int(32) offset_size;
unsigned int(32) length_size;
unsigned int(32) base_offset_size;
if (version == 1) {
unsigned int(32) index_size;
} else {
unsigned int(32) reserved;
}
for (i=0, i<4; i++) {
int(32) Rotetion Quaternion[i];      //姿勢パラメータ
}
for (i=0, i<3; i++) {
float(32) Translation_Vector[i];      //位置パラメータ
}
float(32) Horizontal_Angle;                  //画角パラメータ
unsigned int(32) Distance_to_Target;       //撮影対処までの距離
unsigned int(32) Focal_Length_Numerator         //焦点距離  分子
unsigned int(32) Focal_Length_Denominator  //焦点距離  分母
unsigned int(32) Image_Width;                 //画像の幅
unsigned int(32) Image_Length;               //画像の高さ
unsigned int(32) Aperture_Value_Numerator      //絞り値  分子
unsigned int(32) Aperture_Value_Denominator    //絞り値  分母
int(32) Shutter_Speed_Numerator      //シャッタースピード  分子
int(32) Shutter_Speed_Denominator    //シャッタースピード  分母
short(16) ISO_Speed_Rating                    //ISO感度
}
となる。
【００５６】
このように、素材生成装置５０のデータ記憶部１０４は、仮想視点画像の素材データを生成するときに各処理に使用したカメラのカメラ情報を記憶する。したがって、画像生成装置６０は各処理に使用したカメラのカメラ情報をファイルのメタデータとして付与することができる。このように、ファイルに各処理に使用したカメラのカメラ情報を付与することで、ユーザは付与されたカメラ情報に基づいて仮想視点画像の品質を確認することができる。例えば、ユーザが各処理に使用したカメラのカメラ情報が付与された動画を再生する場合に、図示しない画像再生装置で動画に付与されたカメラ情報をプロパティ等で確認することで、動画品質を確認することができる。また、ユーザがファイルを検索する場合にも、３Ｄモデル生成に使用したカメラ数が３０台以上のような検索条件にも用いることができ、より高品質な動画を検索することができる。
なお、本実施形態では、静止画フォーマットがＥｘｉｆ規格、ＩＳＯ  ＢＭＦＦ規格である場合について説明したが、この場合に限られず、他の規格であっても、独自のフォーマットであってもよい。また、それぞれのパラメータの値、表現は上述した場合に限られない。
【００５７】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。すなわち上述した実施形態の機能を実現するプログラムをネットワークまたは各種記録媒体を介してシステムあるいは装置に供給し、システムあるいは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行して制御する処理である。この場合、そのプログラムおよび該プログラムを記録した記録媒体は本発明を構成する。
【００５８】
以上、本発明を上述した実施形態に基づいて詳細に説明したが、本発明は上述した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の様々な形態も含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることができる。
【符号の説明】
【００５９】
１０：素材生成装置  １００：画像取得部  １０２：前景背景分離部
【図１】
2020134973.tif 000004
【図２】
2020134973.tif 000005
【図３】
2020134973.tif 000006
【図４】
2020134973.tif 000007
【図５】
2020134973.tif 000008
【図６】
2020134973.tif 000009
【図７】
2020134973.tif 000010
【図８】
2020134973.tif 000011
【図９】
2020134973.tif 000012
【図１０】
2020134973.tif 000013
【図１１】
2020134973.tif 000014
【図１２】
2020134973.tif 000015
【図１３】
2020134973.tif 000016