(57)【要約】【課題】仮想視点映像に関するユーザビリティを向上できる。【解決手段】複数のカメラでオブジェクトを複数の方向から撮影した画像データに基づいて生成される仮想視点映像データを格納したメディアファイルを生成する生成装置であって、仮想視点映像データの生成に使用される仮想視点パラメータを取得する取得手段と、取得手段により取得された仮想視点パラメータと、該仮想視点パラメータに基づいて生成された仮想視点映像データと、を格納したメディアファイルを生成する生成手段と、を有する。【選択図】図１
2019159594.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラでオブジェクトを複数の方向から撮影した画像データに基づいて生成される仮想視点映像データを格納したメディアファイルを生成する生成装置であって、
仮想視点映像データの生成に使用される仮想視点パラメータを取得する取得手段と、
前記取得手段により取得された仮想視点パラメータと、該仮想視点パラメータに基づいて生成された仮想視点映像データと、を格納したメディアファイルを生成する生成手段と、を有する
ことを特徴とする生成装置。
【請求項２】
前記取得手段は、
仮想視点映像データが複数のフレームからなる場合には、各フレームに対応する仮想視点パラメータをそれぞれ取得する
ことを特徴とする請求項１に記載の生成装置。
【請求項３】
前記メディアファイルは、静止画フォーマットのファイルであり、
前記生成手段は、
前記取得手段により取得された仮想視点パラメータを、前記メディアファイルのメタデータの領域に格納する
ことを特徴とする請求項１または請求項２に記載の生成装置。
【請求項４】
前記静止画フォーマットは、Ｅｘｉｆであり、
前記取得手段により取得された仮想視点パラメータは、前記メディアファイルのメタデータの領域のうち、Ｅｘｉｆ規格で定義されるＩＦＤ領域に格納される
ことを特徴とする請求項３に記載の生成装置。
【請求項５】
前記静止画フォーマットは、Ｅｘｉｆであり、
前記取得手段により取得された仮想視点パラメータは、前記メディアファイルのメタデータの領域のうち、Ｅｘｉｆ規格で定義されていないＡＰＰｎマーカセグメントに格納される
ことを特徴とする請求項３に記載の生成装置。
【請求項６】
前記メディアファイルは、動画フォーマットのファイルであり、
前記生成手段は、
前記各フレームに対応する仮想視点パラメータを、前記メディアファイルのヘッダ領域に格納する
ことを特徴とする請求項２に記載の生成装置。
【請求項７】
前記メディアファイルは、動画フォーマットのファイルであり、
前記生成手段は、
前記各フレームに対応する仮想視点映像データ及び仮想視点パラメータを、フレームの時系列順に前記メディアファイルに格納する
ことを特徴とする請求項２に記載の生成装置。
【請求項８】
前記動画フォーマットは、Ｏｇｇ  Ｖｏｒｂｉｓである
ことを特徴とする請求項６または請求項７に記載の生成装置。
【請求項９】
前記仮想視点パラメータは、仮想視点の位置、姿勢、及び画角情報のうちのいずれか１つ以上を含む
ことを特徴とする請求項１から請求項８のうちのいずれか１項に記載の生成装置。
【請求項１０】
複数のカメラでオブジェクトを複数の方向から撮影した画像データに基づいて生成される仮想視点映像データを格納したメディアファイルを生成する生成方法であって、
仮想視点映像データの生成に使用される仮想視点パラメータを取得し、
前記取得された仮想視点パラメータと、該仮想視点パラメータに基づいて生成された仮想視点映像データと、を格納したメディアファイルを生成することを特徴とする生成方法。
【請求項１１】
コンピュータを、請求項１から請求項９のうちのいずれか１項に記載の生成装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想視点映像に関する。
【背景技術】
【０００２】
昨今、複数のカメラを異なる位置に設置して複数視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、任意の仮想カメラ（仮想視点）からの映像（仮想視点映像）を生成する技術が注目されている。このような技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが可能となり、通常の映像コンテンツと比較してユーザに高臨場感を与えることが可能となる。
【０００３】
特許文献１には、複数のカメラで同一の範囲を取り囲むように配置して、その同一の範囲を撮影した画像を用いて、仮想視点画像を生成、表示することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２１５８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、仮想視点映像の取扱いには種々の課題がある。例えば、複数の仮想視点映像が生成された場合に特定の仮想視点映像を検索することが容易でない恐れがあった。この課題は、特に同一時刻、同一シーンにおいて複数の仮想視点映像が生成された場合に特に顕著である。また別の課題として、例えば、１つのフォルダ（ディレクトリ）内に複数の仮想視点映像ファイルが存在する場合に、ユーザの意図に沿った並び替えが困難となる恐れがあった。また別の課題として、例えば、仮想視点映像の表示中に当該仮想視点映像に関する視点情報を表示させたいというニーズに応えられない恐れがあった。さらに別の課題として、仮想視点映像を視聴するユーザが、その仮想視点を編集したいと考えたとしても、それを実現することが困難である恐れがあった。このように、仮想視点映像の取扱いには種々の課題があった。
【０００６】
本発明は、仮想視点映像の取扱いに関する種々の不都合のうち少なくとも１つを改善するためになされたものであり、その目的は、仮想視点映像に関するユーザビリティを向上させることである。
【課題を解決するための手段】
【０００７】
本発明による生成装置は、複数のカメラでオブジェクトを複数の方向から撮影した画像データに基づいて生成される仮想視点映像データを格納したメディアファイルを生成する生成装置であって、仮想視点映像データの生成に使用される仮想視点パラメータを取得する取得手段と、取得手段により取得された仮想視点パラメータと、該仮想視点パラメータに基づいて生成された仮想視点映像データと、を格納したメディアファイルを生成する生成手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、仮想視点映像に関するユーザビリティを向上できる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態における画像処理システムの構成の一例を示すブロック図である。
【図２】仮想視点パラメータ付き仮想視点映像データのフォーマットを示す説明図である。
【図３】静止画ファイルフォーマットの仮想視点映像データに仮想視点パラメータを付与する方法を説明するための図である。
【図４】ＶＶＰ  ＩＦＤのタグ情報の構成の一例を示す図である。
【図５】第１実施形態における画像処理装置の処理の流れを示すフローチャートである。
【図６】動画ファイルフォーマットの仮想視点映像データに仮想視点パラメータを付与する方法を説明するための図である。
【図７】Ｏｇｇ  ＶｏｒｂｉｓのＶｏｒｂｉｓに仮想視点パラメータを付与する方法を説明するための図である。
【図８】仮想視点パラメータが付与された仮想視点映像データの表示例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について詳細に説明する。なお、以下の実施の形態に記載されている構成要素は、本発明の例としての形態を示すものであり、本発明の範囲をそれらのみに限定するものではない。
［第１実施形態］
【００１１】
まず、第１実施形態の画像処理システムの構成を説明する。図１は、第１実施形態における画像処理システムの構成の一例を示すブロック図である。本実施形態における画像処理システムは、仮想視点映像データを生成する画像処理装置（生成装置ともいう）１００と、ユーザが仮想視点を操作するための仮想視点操作部１１０とを備える。画像処理装置１００は、複数視点画像データ１２０を入力する。また、画像処理装置１００は、仮想視点パラメータ付き仮想視点映像データ（以下、第二の仮想視点映像データと呼ぶ）１３０を出力する。複数視点画像データ１２０は、複数のカメラを異なる位置に設置して複数視点で同期撮影して得られる画像データである。複数視点画像データ１２０には、それぞれの視点で撮影された画像を表現するデータに加えて、撮影時刻やカメラに関する情報等が含まれていても良い。
【００１２】
画像処理装置１００は、図１に示すように、撮影時刻指定部１０１、仮想視点パラメータ指定部１０２、画像データ取得部１０３、仮想視点映像生成部１０４、及び仮想視点パラメータ付与部１０５を有する。画像処理装置１００は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ＷＳ（Ｗｏｒｋ  Ｓｔａｔｉｏｎ）、各種サーバなどのコンピュータである。なお、画像処理装置１００は、汎用コンピュータではなく、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発メモリ等を備えた専用コンピュータであっても構わない。また、上記各構成要素を別のコンピュータで機能させ、これらをネットワーク等で接続しても構わない。また、上記各構成要素のそれぞれが専用のハードウェアで構成されていても構わない。その場合、各ハードウェアのそれぞれはメモリ等に格納されたプログラムを起動することで処理を実行する。
【００１３】
撮影時刻指定部１０１は、撮影時刻を画像データ取得部１０３に指定する。撮影時刻は、絶対時刻でも良いし、撮影開始時刻を０とした相対時刻であっても良い。なお、相対時刻の表現形式として一般的な規格であるタイムコード、またはそれに類するものであってもよい。
【００１４】
仮想視点パラメータ指定部１０２は、仮想視点パラメータを仮想視点映像生成部１０４に指定する。本実施形態では、仮想視点パラメータに、仮想視点の姿勢、位置、画角情報のうち１つ以上のパラメータが含まれるものとする。
【００１５】
画像データ取得部１０３は、複数視点画像データ１２０の中から、撮影時刻指定部１０１によって指定された撮影時刻の画像データを取得する。ここで、複数視点画像データ１２０は、複数のカメラ（図示せず）が直接生成する画像データでも構わないし、コンピュータ（図示せず）に蓄えられた画像データでも構わない。
【００１６】
仮想視点映像生成部１０４は、画像データ取得部１０３が取得した画像データを用いて、仮想視点パラメータ指定部１０２から指定された仮想視点パラメータに従って、仮想視点映像データを生成する。仮想視点映像データの生成方法については特に限定されない。例えば、被写体（オブジェクト）の３次元モデルを構築して画像データをマッピングする方法を用いてもよい。
【００１７】
仮想視点パラメータ付与部１０５は、仮想視点映像生成部１０４が生成した仮想視点映像データに、仮想視点パラメータ指定部１０２から指定された仮想視点パラメータを付与して、第二の仮想視点映像データ１３０を生成して出力する。第二の仮想視点映像データ１３０は、１フレームからなる静止画であってもよいし、１フレーム以上の静止画の画像データであってもよいし、動画の画像データであってもよい。
【００１８】
また、本実施形態では、仮想視点映像データの生成時に使用する撮影時刻情報と仮想視点パラメータとを、画像処理装置１００の外部の仮想視点操作部１１０から取得している。しかし、仮想視点映像データの生成時に使用する撮影時刻情報と仮想視点パラメータとのどちらか一方または両方を、画像処理装置１００内に予め保持しておいてもよいし、それらの情報を自動生成するようにしても良い。なお、仮想視点操作部１１０の一例としては、各種の３Ｄシミュレータや３Ｄゲームで行われているように、対象となる仮想空間上にユーザが存在するものとして該ユーザが見ている方向をユーザインタフェース画面に表示する装置などが想定される。そのような形態によれば、ユーザは、ジョイスティックなどを操作して、仮想空間上を自由に移動したり、仮想空間上で見たい方向を向いたりすることで、所望の仮想視点を仮想視点操作部１１０に対して入力することができる。また、画像処理装置１００と仮想視点操作部１１０は、外部インタフェースを介して接続されている。なお、本実施形態では、画像処理装置１００と仮想視点操作部１１０とを接続するインタフェースとしてＥｔｈｅｒｎｅｔ（登録商標）を用いることとするが、ＵＳＢ等、その他のインタフェースを用いてもよい。また、画像処理装置１００と仮想視点操作部１１０は、同じ筐体内に格納されていてもよい。その場合、画像処理装置１００と仮想視点操作部１１０は、コンピュータ内の内部バスによって接続されるものとする。
【００１９】
次に、第二の仮想視点映像データ１３０のデータ構造の概略を説明する。図２は、第二の仮想視点映像データのフォーマットを示す説明図である。図２に示すように、仮想視点映像データ２０２には、メタデータ２０１が付与されていて、メタデータ２０１は、仮想視点パラメータ２１１と、映像付属情報２１２とを含む。映像付属情報２１２は、例えば、撮影時刻情報や映像の解像度や色空間といった、映像に一般的に付与されるメタデータである。なお、この撮影時刻情報は、対象となる仮想視点映像データの元となる複数視点画像データ１２０の撮影時刻であるとし、絶対時刻であっても良いし、撮影開始時刻を０とした相対時刻であっても良い。なお、相対時刻の表現形式は上述したとおり、一般的な規格であるタイムコード、またはそれに類するものであってもよい。また、本実施形態では、画像データ取得部１０３に入力される複数視点画像データ１２０に映像付属情報２１２が付与されているものとする。
【００２０】
仮想視点パラメータ２１１は、姿勢パラメータ２２１、位置パラメータ２２２、及び画角パラメータ２２３のうち１つ以上のパラメータを含む。ここで、仮想視点パラメータ２１１について説明する。仮想視点パラメータ２１１の姿勢パラメータ２２１は、仮想カメラの姿勢を示すパラメータである。本実施形態では、仮想カメラの姿勢をクォータニオンで表現するものとする。クォータニオンは、以下の式（１）で表現される。
【００２１】
【数１】
2019159594.tif 000003
式（１）において、セミコロンの左側は実数部を表現していて、ｘ,ｙ,ｚは虚数部を表現している。クォータニオン表現を用いることによって、任意の方向を軸とする任意の回転を容易に表現することが可能となる。具体的には、以下の手順となる。
【００２２】
まず、回転させたい点Ｐを以下の式（２）と置く。
【００２３】
【数２】
2019159594.tif 000004
次に、回転軸の方向を表すベクトルをｖ=（ｘｖ，ｙｖ，ｚｖ）と表し、回転させたい角度をθと表し、以下の式（３）（４）を用いてこのベクトルｖから２つのクォータニオンＱ，Ｒを求める。なお、ベクトルｖは正規化されていることとする。
【００２４】
【数３】
2019159594.tif 000005
【００２５】
【数４】
2019159594.tif 000006
最後に、以下の式（５）に示すような演算を実行する。
【００２６】
【数５】
2019159594.tif 000007
この結果、ベクトルｖを向いた軸まわりに点Ｐをθ回転させた点が、座標（ｘ，ｙ，ｚ）として得られる。なお、姿勢パラメータ２２１の表現方法はこれに限定されず、例えば回転行列表現でもよい。
【００２７】
位置パラメータ２２２は、仮想カメラの位置を示すパラメータである。世界座標上の原点を（０，０，０）とした３次元座標（ｘ，ｙ，ｚ）であるとする。このように、本実施形態では、位置パラメータ２２２を３次元ベクトルで表現する。
【００２８】
画角パラメータ２２３は、仮想視点の水平画角であるとする。なお、水平画角の表現方法については限定されない。例えば、０度〜１８０度の範囲の角度表現でもよいし、３５ｍｍフィルムカメラで標準を５０ｍｍとした場合の焦点距離で表現してもよい。また、水平画角の値は、整数や浮動小数点で表すようにしてもよい。また、画面のアスペクト比を画角パラメータとしてもよい。その場合、アスペクト比を値として表現してもよいし、４：３や１６：９など決まったアスペクト比については符号を割り当てて該符号として表現してもよい。
【００２９】
図３は、「カメラ映像機器工業会規格  ＤＣ−００８−２０１２  デジタルスチルカメラ用画像ファイルフォーマット規格  Ｅｘｉｆ２．３」（以下、Ｅｘｉｆ規格）に、仮想視点パラメータを付与した場合の例である。
【００３０】
図３（ａ）には、Ｅｘｉｆ規格で定義されるメタデータの領域に新たにＩＦＤ領域（ＶＶＰ  ＩＦＤ３０２）を定義して、ＶＶＰ  ＩＦＤ３０２に仮想視点パラメータを格納する例が示されている。なお、ＶＶＰ  ＩＦＤは、Ｖｉｒｔｕａｌ  Ｖｉｅｗｐｏｉｎｔ  Ｐａｒａｍｅｔｅｒ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｄｉｒｅｃｔｏｒｙの略である。０ｔｈ  ＩＦＤ内のＶＶＰ  ＩＦＤ  Ｐｏｉｎｔｅｒ３０１は、ＶＶＰ  ＩＦＤ３０２を指し示すポインタである。図４は、ＶＶＰ  ＩＦＤのタグ情報の構成の一例を示す図である。図４（ａ）に示すように、ＶＶＰ  ＩＦＤには、「バージョン」タグ、「姿勢パラメータ」タグ、「位置パラメータ」タグ、及び「画角パラメータ」タグが含まれる。図中における「Ｆｉｌｅｄ  Ｎａｍｅ」は各タグの名称を示し、「タイプ」は各タグのデータ型を示し、「カウント」は各タグのデータ個数を示す。図４（ｂ）には、姿勢パラメータ、位置パラメータ、及び画角パラメータに設定される値の一例が示されている。姿勢パラメータの左端の値は、クォータニオンの実数部の値であり、右側３つの値は、クォータニオンの虚数部の値である。位置パラメータの各値は、３次元座標値である。画角パラメータの値は、水平画角である。
【００３１】
図３（ｂ）には、Ｅｘｉｆ規格では定義されていないが、ベンダーあるいは業界団体が任意に利用することができる未定義のＡＰＰｎマーカセグメントであるＡＰＰ３（図中の領域３１１）を利用して、該領域に仮想視点パラメータを格納する例が示されている。
【００３２】
以上のように、既存の静止画ファイルフォーマット（以下、単に静止画フォーマットと呼ぶ）であるＥｘｉｆ規格に、仮想視点パラメータ２１１を格納するための領域を追加定義することで、第二の仮想視点映像データを生成することが可能となる。なお、上記の例では、静止画フォーマットとしてＥｘｉｆ規格を例に説明したが、フォーマットはこれに限るものではなく、他の規格であってもよいし、独自のフォーマットであってもよい。また、それぞれのパラメータの値や、表現はこれに限定されない。
【００３３】
ここで、図５を用いて、画像処理装置１００の処理を説明する。図５は、第１実施形態における画像処理装置１００の処理の流れを示すフローチャートである。図５に示すフローチャートの一連の処理は、例えば、画像処理装置１００のＣＰＵ（不図示）がＲＯＭ（不図示）に記憶されているプログラムコードをＲＡＭ（不図示）に展開し実行することにより行われる。また例えば、図５におけるステップの一部または全部をＡＳＩＣや電子回路等のハードウェアで実現してもよい。図５に示すフローは、例えば、ユーザによる開始操作に応じて実行される。
【００３４】
Ｓ５０１において、撮影時刻指定部１０１は、撮影時刻を画像データ取得部１０３に指定する。より具体的には、撮影時刻指定部１０１は、仮想視点操作部１１０から入力された撮影時刻情報（以下、単に時刻情報と記す）を画像データ取得部１０３に渡す。Ｓ５０２において、仮想視点パラメータ指定部１０２は、仮想視点パラメータを仮想視点映像生成部１０４に指定する。より具体的には、仮想視点パラメータ指定部１０２は、仮想視点操作部１１０から入力された仮想視点パラメータを仮想視点映像生成部１０４に渡す。Ｓ５０３において、画像データ取得部１０３は、複数視点画像データ１２０の中から、撮影時刻指定部１０１によって指定された撮影時刻を示す撮影時刻情報を有する画像データを取得する。Ｓ５０４において、仮想視点映像生成部１０４は、画像データ取得部１０３が取得した画像データをもとにして、仮想視点パラメータ指定部１０２が指定した仮想視点パラメータに従って仮想視点映像データを生成する。Ｓ５０５において、仮想視点パラメータ付与部１０５は、仮想視点映像生成部１０４が生成した仮想視点映像データに、仮想視点パラメータ指定部１０２が指定した仮想視点パラメータを付与して、第二の仮想視点映像データを生成する。Ｓ５０６において、仮想視点パラメータ付与部１０５は、生成した第二の仮想視点映像データを出力する。
【００３５】
なお、上記の説明では、仮想視点パラメータを、静止画フォーマットの仮想視点映像データに付与する場合を例にした。しかし、例えばＳ５０１〜Ｓ５０６の処理を、生成したい仮想視点映像データのフレーム数分繰り返すことで、仮想視点パラメータを動画ファイルフォーマット（以下、単に動画フォーマットと呼ぶ）の仮想視点映像データに付与することも可能である。以下では、仮想視点パラメータを動画フォーマットの仮想視点映像データに付与する場合について説明する。
【００３６】
図６は、仮想視点パラメータを付与した動画フォーマットの一例を示す図である。ここでは、ｎ＋１個のフレーム（フレームｍ〜ｍ＋ｎ）からなる動画データを例にして説明する。
【００３７】
図６（ａ）には、各フレームの仮想視点映像データ６０６〜６０９それぞれに対応する仮想視点パラメータ６０２〜６０５を、ファイル先頭のヘッダ領域にまとめて格納するフォーマットが示されている。図６（ａ）に示すフォーマットは、例えば、ファイル化された動画に適している。図６（ｂ）には、仮想視点映像データ６０６〜６０９それぞれのデータの直前に、対応する仮想視点パラメータ６０２〜６０５を格納するフォーマットが示されている。図６（ｂ）に示すフォーマットは、例えば、ストリーム系の動画に適している。なお、図６（ｂ）に示す例では、各仮想視点映像データの直前に、対応する仮想視点パラメータを格納する例が示されていが、図６（ｂ）に示される格納方法に限定されない。例えば、各仮想視点映像データの直後に、対応する仮想視点パラメータを格納するようにしてもよい。また、図６（ｂ）に示す例では、各仮想視点映像データと、該各仮想視点映像データに対応する各仮想視点パラメータとをフレームの時系列順に格納する例が示されているが、必ずしもフレームの時系列順でなくてもよい。
【００３８】
図７は、Ｏｇｇ  ＶｏｒｂｉｓのＶｏｒｂｉｓに仮想視点パラメータを付与する方法を説明するための図である。Ｏｇｇ  Ｖｏｒｂｉｓ（ｈｔｔｐ：／／ｗｗｗ．ｖｏｒｂｉｓ．ｃｏｍ／）は、動画フォーマットの一つである。図７には、ＶｏｒｂｉｓＣｏｍｍｅｎｔとして仮想視点パラメータ（仮想視点映像データのフレーム０〜ｎに対応する仮想視点パラメータ）を付与する場合の例が示されている。図７において、＜ｄｉｖ  ｃｌａｓｓ＝“ｒｏｔａｔｉｏｎ＿ｑｕａｔｅｒｎｉｏｎ”＞セクションの値ｔはクォータニオンの実数部を表し、ｘ，ｙ，ｚは虚数部を表している。また、＜ｄｉｖ  ｃｌａｓｓ＝“ｔｒａｎｓｉａｔｉｏｎ＿ｖｅｃｔｏｒ”＞セクションの値ｘ，ｙ，ｚは３次元座標値を表し、＜ｄｉｖ  ｃｌａｓｓ＝“ｈｏｒｉｚｏｎｔａｌ＿ａｎｇｌｅ”＞セクションの値ｘは水平画角を表している。なお、各フレームの仮想視点パラメータの表現方法については、図７に示す例に限定されない。すなわち、その他の表現が用いられてもよい。また、上記の例では、動画フォーマットとしてＶｏｒｂｉｓを例に説明したが、フォーマットはこれに限るものではなく、他のフォーマットであってもよいし、独自のフォーマットであってもよい。例えば、ＩＳＯ／ＩＥＣ  １４４９６−１２（いわゆるＩＳＯＢＭＦＦ（ベースメディアファイルフォーマット））やＩＳＯ／ＩＥＣ  １４４９６−１４（いわゆるＭＰ４ファイル）やＩＳＯ／ＩＥＣ  １４４９６−１５等の動画フォーマットを採用してもよい。そのような場合には、例えば、Ｕｓｅｒ  Ｄａｔａ  Ｂｏｘ（ｕｄｔａ）やＦｒｅｅ  Ｓｐａｃｅ  Ｂｏｘ（ｆｒｅｅ，ｓｋｉｐ）などのフリー記述用の領域（Ｂｏｘ）に仮想視点パラメータを記述するようにしてもよい。また例えば、ムービーボックス（ｍｏｏｖ）内に仮想視点パラメータを記述するようにしてもよい。また、将来的にファイルフォーマットにおいて、仮想視点映像のパラメータやそれを格納するための領域（Ｂｏｘ）が定義される可能性もある。そのような場合には、ムービーボックス内のｍｖｈｄ（ムービーヘッダーボックス）や、同じくムービーボックス内のｔｒａｋ（トラックボックス）などの中に仮想視点パラメータを記述するようにすればよい。
【００３９】
さらには、静止画フォーマット、動画フォーマットだけでなく、例えばＩＳＯ／ＩＥＣ  ２３００８−１２（いわゆるＨＥＩＦ）といったイメージシーケンスを格納することができるフォーマットにも適用可能である。
【００４０】
図８は、仮想視点パラメータが付与された仮想視点映像データの表示例を示す図である。
図８には、仮想視点の軌跡（図中の破線の矢印線８０１）を仮想視点映像に重ねて表示した場合の表示例が示されている。例えば、仮想視点パラメータ付与部１０５が、第二の仮想視点映像データ１３０、すなわち仮想視点パラメータが付与された仮想視点映像データを、不図示の表示装置に出力する。そして、不図示の表示装置が、仮想視点映像データによって示される仮想視点映像を表示する際に、該仮想視点映像データに付与された仮想視点パラメータに基づき、仮想視点の軌跡８０１を仮想視点映像に重ねて表示する。それにより、図８に示されるような仮想視点映像の表示を行うことが可能となる。
【００４１】
以上のように、本実施形態における画像処理装置１００は、生成した仮想視点映像データに仮想視点パラメータを付与して、第二の仮想視点映像データを生成する。これにより、仮想視点画像データから仮想視点に関する情報を簡便に取得することが可能となる。よって、本実施形態によれば、複数の仮想視点画像データから所望の仮想視点画像データを容易に特定することが可能となる。また、図８に示すように、仮想視点画像データから取得される仮想視点に関する情報を基に、該仮想視点映像データの生成時に使用された仮想視点パラメータを可視化することが可能となる。また、第二の仮想視点映像データに付与された仮想視点パラメータの一部を修正して、新たな第二の仮想視点映像データを生成することが可能となる。つまり、仮想視点映像における仮想視点を後から編集することが可能となる。さらに、仮想視点パラメータを付した状態で仮想視点映像データを記憶装置等に保存させておくことで、記憶装置等に記憶された仮想視点映像データ群の中から、所望の仮想視点映像データを抽出することが可能となる。例えば、各仮想視点映像データに付与された仮想視点パラメータを参照して、所望の仮想視点パラメータを有する仮想視点映像データを検索することが可能となる。また例えば、各仮想視点映像データに付与された仮想視点パラメータを参照して、同じような仮想視点の仮想視点映像をグループ化することが可能となる。
【００４２】
また、本実施形態では、仮想視点の位置、姿勢、画角を示す情報を仮想視点パラメータとして格納する場合を例にした。しかし、上述のパラメータに代えて、又は、上述のパラメータに加えて、その他の情報が仮想視点パラメータとして格納されるようにしてもよい。例えば、仮想視点を設定したユーザの識別情報（ユーザ名など）や、仮想視点を設定した日時や、仮想視点映像データの生成日時などを格納するようにしてもよい。また例えば、仮想視点映像データのコーデックに関する情報や、仮想視点の移動距離に関する情報や、仮想視点映像データの再生時間に関する情報を格納するようにしてもよい。また例えば、仮想視点映像データの再生の制限に関する情報（再生可能ユーザの識別情報、再生可能回数に関する情報等）を格納するようにしてもよい。
【００４３】
また、仮想視点パラメータの用途は、上述の方法に限られない。すなわち、仮想視点パラメータの可視化、仮想視点映像データの検索、及び、仮想視点映像データのグループ化に限られない。例えば、おすすめコンテンツの選定、コンテンツリストの並べ替え、個別ファイルの確認（例えば、いつ仮想視点を設定したかを思い出したいときにプロパティから参照する）することも想定される。
【００４４】
また、本実施形態では、１つのデータまたはファイル内に仮想視点パラメータを含めて記述したが、これに限定されない。例えば、それぞれの仮想視点映像データの仮想視点パラメータを、それぞれの仮想視点映像データに関連付けられた別々のファイルで管理を行っても構わない。
【００４５】
さらに、本実施形態では、仮想視点映像データを生成する際に仮想視点パラメータを付与する装置を例にした。しかし、仮想視点映像データを生成した後に別途仮想視点パラメータを付与するようにしても構わない。例えば、仮想視点映像データの生成時にユーザが操作した仮想カメラの位置や姿勢の記録から仮想視点パラメータを生成して、仮想視点映像データに付与するような制御を行うことも可能である。
【００４６】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４７】
１０２  仮想視点パラメータ指定部
１０４  仮想視点映像生成部
１０５  仮想視点パラメータ付与部
【図１】
2019159594.tif 000008
【図２】
2019159594.tif 000009
【図３】
2019159594.tif 000010
【図４】
2019159594.tif 000011
【図５】
2019159594.tif 000012
【図６】
2019159594.tif 000013
【図７】
2019159594.tif 000014
【図８】
2019159594.tif 000015