(57)【要約】【課題】仮想視点映像の検索に関する利便性を向上させる。【解決手段】複数のカメラでオブジェクトを複数の方向から撮影した画像データに基づいて生成される仮想視点映像データと、該仮想視点映像データの生成に使用される仮想視点パラメータとを関連づけて蓄積する蓄積手段と、検索条件を入力する入力手段と、蓄積手段から、入力された検索条件に対応する仮想視点パラメータに関連づけられた仮想視点映像データを抽出する抽出手段と、抽出手段が抽出した仮想視点映像データの情報を検索結果として提示する提示手段と、を備える。【選択図】  図１
2019159593.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラでオブジェクトを複数の方向から撮影した画像データに基づいて生成される仮想視点映像データと、該仮想視点映像データの生成に使用される仮想視点パラメータとを関連づけて蓄積する蓄積手段と、
検索条件を入力する入力手段と、
前記蓄積手段から、前記入力された検索条件に対応する仮想視点パラメータに関連づけられた仮想視点映像データを抽出する抽出手段と、
前記抽出手段が抽出した仮想視点映像データの情報を検索結果として提示する提示手段と、を備える
ことを特徴とする画像検索システム。
【請求項２】
前記入力手段は、前記検索条件として視点情報を入力し、
前記抽出手段は、
前記蓄積手段から、前記検索条件に一致または類似する視点情報を含む仮想視点パラメータに関連づけられた仮想視点映像データを抽出する
ことを特徴とする請求項１に記載の画像検索システム。
【請求項３】
視点情報には、仮想視点の位置を示す情報または仮想視点の姿勢を示す情報のいずれかが少なくとも含まれる
ことを特徴とする請求項２に記載の画像検索システム。
【請求項４】
仮想視点映像データが複数フレームからなる場合には、各フレームに対応する仮想視点パラメータがそれぞれ前記蓄積手段に蓄積される
ことを特徴とする請求項１から請求項３のうちのいずれか１項に記載の画像検索システム。
【請求項５】
前記複数フレームの一部または全部に、同時刻の複数フレームが含まれる
ことを特徴とする請求項４に記載の画像検索システム。
【請求項６】
前記抽出手段は、
前記入力された視点情報と、前記蓄積手段に蓄積された仮想視点映像データの各フレームの仮想視点パラメータから導出される代表値とを比較し、
前記比較の結果に基づき、前記入力された視点情報と前記代表値との差が閾値以下である仮想視点映像データを抽出する
ことを特徴とする請求項４または請求項５に記載の画像検索システム。
【請求項７】
前記代表値が、仮想視点映像データの各フレームの仮想視点パラメータに含まれる視点情報によって示される値の、平均値または中央値である
ことを特徴とする請求項６に記載の画像検索システム。
【請求項８】
前記抽出手段は、
前記検索条件に一致または類似する視点情報を含む仮想視点パラメータが最初のフレームに設定されている仮想視点映像データの情報を抽出する
ことを特徴とする請求項４または請求項５に記載の画像検索システム。
【請求項９】
前記抽出手段は、
前記検索条件に一致または類似する視点情報を含む仮想視点パラメータが最後のフレームに設定されている仮想視点映像データの情報を抽出する
ことを特徴とする請求項４または請求項５に記載の画像検索システム。
【請求項１０】
前記入力手段は、前記検索条件として仮想視点の経路を示すカメラパスを入力し、
前記抽出手段は、
前記検索条件に一致または類似するカメラパスを示す仮想視点パラメータが設定されている仮想視点映像データを抽出する
ことを特徴とする請求項４または請求項５に記載の画像検索システム。
【請求項１１】
前記提示手段は、
仮想視点映像データの情報として、前記抽出手段が抽出した仮想視点映像データの各フレームの仮想視点パラメータによって示される仮想視点の経路を示すカメラパスを提示する
ことを特徴とする請求項４から請求項１０のうちのいずれか１項に記載の画像検索システム。
【請求項１２】
前記提示手段は、
前記オブジェクトを含む画像上に、前記抽出手段が抽出した仮想視点映像データの各フレームの仮想視点パラメータによって示されるカメラパスを描画し、該カメラパスが描画された前記画像を表示装置に表示する
ことを特徴とする請求項１１に記載の画像検索システム。
【請求項１３】
前記提示手段は、
前記抽出手段が抽出した仮想視点映像データに関する情報を、文字情報により提示する
ことを特徴とする請求項１から請求項１０のうちのいずれか１項に記載の画像検索システム。
【請求項１４】
前記蓄積手段は、
複数の仮想視点映像データと、該複数の仮想視点映像データのそれぞれの生成に使用される複数の仮想視点パラメータとを関連づけて蓄積する
ことを特徴とする請求項１から請求項１３のうちのいずれか１項に記載の画像検索システム。
【請求項１５】
前記入力手段は、仮想視点パラメータの頻度による検索の実行指示をさらに入力し、
前記抽出手段は、
前記入力手段に前記実行指示が入力された場合には、前記蓄積手段に蓄積されている各仮想視点パラメータを解析して、各仮想視点パラメータについて仮想視点映像データの生成時に使用される頻度を導出し、
前記導出した頻度に基づいて、前記蓄積手段に蓄積されている各仮想視点映像データをグルーピングし、
前記提示手段は、
前記グルーピングされた仮想視点映像データの各グループのうち、前記頻度が所定値より高いグループに属する仮想視点映像データの情報を提示する
ことを特徴とする請求項１４に記載の画像検索システム。
【請求項１６】
仮想視点映像データの検索条件に関するユーザ操作を受け付ける受付手段と、
前記受付手段により受け付けられたユーザ操作に基づいて識別される仮想視点パラメータに関連付けられた仮想視点映像データを検索する検索手段と、
前記検索手段による検索結果を提示する提示手段と、を備えることを特徴とする画像検索装置。
【請求項１７】
画像検索方法であって、
仮想視点映像データの検索条件に関するユーザ操作を受け付け、
前記受け付けられたユーザ操作に基づいて識別される仮想視点パラメータに関連づけられた仮想視点映像データを検索し、
前記検索の結果を提示することを特徴とする画像検索方法。
【請求項１８】
コンピュータを、請求項１６に記載の画像検索装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想視点映像を検索するための画像検索システム、画像検索装置、画像検索方法、及びプログラムに関する。
【背景技術】
【０００２】
昨今、複数のカメラを異なる位置に設置して複数視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、任意の仮想カメラ（仮想視点）からの映像（仮想視点映像）を生成する技術が注目されている。このような技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが可能となり、通常の映像コンテンツと比較してユーザに高臨場感を与えることが可能となる。
【０００３】
複数の映像から所望の映像を検索する場合、撮影日時やシーンといった情報を検索要素とすることができる。特許文献１には、複数のカメラで撮影された映像から、ユーザが指定したシーン（例えば警報検出場面）や時間帯に対応する映像を検索して、検索により得られた映像をユーザに提示する装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１４５５６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のような技術によれば、同一のシーンに対して、視点が異なる複数の仮想視点映像が生成される場合がある。そのため、従来のように撮影日時やシーンを指定しても、複数の仮想視点映像の中から所望の仮想視点映像を特定することが難しいケースが予想される。
【０００６】
そこで、本発明は、仮想視点映像の検索に関する利便性を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本発明による画像検索システムは、複数のカメラでオブジェクトを複数の方向から撮影した画像データに基づいて生成される仮想視点映像データと、該仮想視点映像データの生成に使用される仮想視点パラメータとを関連づけて蓄積する蓄積手段と、検索条件を入力する入力手段と、蓄積手段から、入力された検索条件に対応する仮想視点パラメータに関連づけられた仮想視点映像データを抽出する抽出手段と、抽出手段が抽出した仮想視点映像データの情報を検索結果として提示する提示手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、仮想視点映像の検索に関する利便性を向上できる。
【図面の簡単な説明】
【０００９】
【図１】実施形態における画像検索システムの構成の一例を示すブロック図である。
【図２】実施形態における仮想視点映像データを蓄積する際のデータフォーマットの一例を示す図である。
【図３】ユーザが視点情報を入力するためのＵＩ画面の一例を示す図である。
【図４】実施形態における仮想視点映像の検索処理を示すフローチャートである。
【図５】実施形態における検索処理を説明するための図である。
【図６】実施形態における検索処理を説明するための図である。
【図７】実施形態における検索処理を説明するための図である。
【図８】実施形態における検索処理を説明するための図である。
【図９】実施形態における検索処理を説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について詳細に説明する。なお、以下の実施の形態に記載されている構成要素は、本発明の例としての形態を示すものであり、本発明の範囲をそれらのみに限定するものではない。
［第１実施形態］
【００１１】
図１は、第１実施形態における画像検索システムの構成の一例を示すブロック図である。第１実施形態における画像検索システムは、図１に示すように、仮想視点映像を検索する仮想視点映像検索装置（以下、画像検索装置、または単に検索装置と呼ぶ）１０を備える。また、画像検索システムは、ユーザが視点情報を入力する視点情報入力部３０と、仮想視点映像を示す仮想視点映像データが蓄積される仮想視点映像蓄積部（以下、単に蓄積部と呼ぶ）２０とを備える。
【００１２】
検索装置１０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ＷＳ（Ｗｏｒｋ  Ｓｔａｔｉｏｎ）、各種サーバなどのコンピュータである。なお、コンピュータは、タブレットＰＣやスマートフォンであってもよい。検索装置１０は、本実施形態の特徴的な処理を行う。検索装置１０の処理の詳細については、図４を用いて後述する。
【００１３】
蓄積部２０は、１または複数の仮想視点映像データを蓄積する。蓄積部２０は、例えば、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ（ＨＤＤ）やＳｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ（ＳＳＤ）、フラッシュメモリなどのストレージデバイスである。なお、蓄積部２０は、単一のデバイスで構成されていてもよいし、複数のデバイスの集合体で構成されていてもよいし、複数種類のデバイスが混在していてもよい。また、蓄積部２０は、物理デバイスではなく、ネットワーク上に仮想化されたクラウド上のデバイスで構成されていてもよい。また、蓄積部２０に蓄積される仮想視点映像データは、どのような生成手段によって生成されてもよい。さらに、仮想視点映像データは、どのようなデータフォーマットで蓄積部２０に蓄積されてもよい。ただし、蓄積部２０に蓄積される仮想視点映像データのそれぞれには、視点情報が付与されるものとする。蓄積部２０に蓄積される仮想視点映像データのデータフォーマットの詳細については、図２を用いて後述する。
【００１４】
検索装置１０と蓄積部２０は、ネットワークを介して接続されている。なお、本実施形態では、検索装置１０と蓄積部２０とを接続するネットワークとしてＥｔｈｅｒｎｅｔ（登録商標）を用いることとするが、その他のネットワークを用いてもよい。また、検索装置１０と蓄積部２０は、同じ筐体内に格納されていてもよい。その場合、検索装置１０と蓄積部２０は、コンピュータ内の内部バスによって接続されるものとする。
【００１５】
図２は、第１実施形態において蓄積部２０に蓄積される仮想視点映像データのデータフォーマットの一例を示す図である。図２に示すように、本実施形態における仮想視点映像データ２０２は、メタデータ２０１が付与された状態で蓄積部２０に格納される。メタデータ２０１は、仮想視点パラメータ２１１と映像付属情報２１２とを含む。このように、本実施形態では、仮想視点映像データ２０２に、視点情報として仮想視点パラメータ２１１が付与されるものとする。なお、データ２０１，２０２は互いに関連づけられて蓄積されていればよく、それぞれの配置や順序は図２に示す形態に限定されない。また、メタデータ２０１内におけるパラメータや情報の配置や順序は図２に示す形態に限定されない。
【００１６】
仮想視点パラメータ２１１は、姿勢パラメータ２２１と位置パラメータ２２２とを含む。仮想視点パラメータ２１１の詳細については後述する。映像付属情報２１２は、例えば、撮影時刻情報（以下、単に時刻情報と記す）や、映像の解像度や色空間といった映像データに一般的に付与される、メタデータである。なお、時刻情報は、対象となる仮想視点映像の撮影時刻を示す情報であり、より具体的には、該仮想視点映像の生成元である撮影映像の撮影時刻を示す情報である。なお、撮影時刻は、絶対時刻であってもよいし、撮影開始時刻を０とした相対時刻であってもよい。なお、相対時刻の表現形式として一般的な規格であるタイムコード、またはそれに類するものであってもよい。
【００１７】
ここで、仮想視点パラメータ２１１について説明する。仮想視点パラメータ２１１の姿勢パラメータ２２１は、仮想カメラの姿勢を示すパラメータである。本実施形態では、仮想カメラの姿勢をクォータニオンで表現するものとする。クォータニオンは、以下の式（１）で表現される。
【００１８】
【数１】
2019159593.tif 000003
式（１）において、セミコロンの左側は実数部を表現していて、ｘ,ｙ,ｚは虚数部を表現している。クォータニオン表現を用いることによって、任意の方向を軸とする任意の回転を容易に表現することが可能となる。具体的には、以下の手順となる。
【００１９】
まず、回転させたい点Ｐを以下の式（２）と置く。
【００２０】
【数２】
2019159593.tif 000004
次に、回転軸の方向を表すベクトルをｖ=（ｘｖ，ｙｖ，ｚｖ）と表し、回転させたい角度をθと表し、以下の式（３）（４）を用いてこのベクトルｖから２つのクォータニオンＱ，Ｒを求める。なお、ベクトルｖは正規化されていることとする。
【００２１】
【数３】
2019159593.tif 000005
【００２２】
【数４】
2019159593.tif 000006
最後に、以下の式（５）に示すような演算を実行する。
【００２３】
【数５】
2019159593.tif 000007
この結果、ベクトルｖを向いた軸まわりに点Ｐをθ回転させた点が、座標（ｘ，ｙ，ｚ）として得られる。なお、姿勢パラメータ２２１の表現方法はこれに限定されず、例えば回転行列表現でもよい。
【００２４】
位置パラメータ２２２は、仮想カメラの位置を示すパラメータである。世界座標上の原点を（０，０，０）とした３次元座標（ｘ，ｙ，ｚ）であるとする。このように、本実施形態では、位置パラメータ２２２を３次元ベクトルで表現する。
【００２５】
なお、図２には、仮想視点映像データ２０２がメタデータ２０１と連続したデータ領域に格納される例が示されているが、仮想視点映像データ２０２は、メタデータ２０１と連続したデータ領域に格納されていなくてもよい。また、仮想視点映像データ２０２とメタデータ２０１とは、同一ファイル内に格納されている必要はなく、それぞれが別のファイルに格納されていてもよい。
【００２６】
また、仮想視点映像データ２０２が動画像、すなわち複数フレームで構成される映像である場合は、フレームの数と同じだけの仮想視点パラメータ２１１が、仮想視点映像データ２０２に付与されるものとする。なお、フレームの数に関わらず、代表的な仮想視点パラメータ２１１を仮想視点映像データ２０２に付与するようにしてもよい。その場合、仮想視点パラメータ２１１の代表値の求め方については特に限定しない。例えば、全フレーム分の仮想視点パラメータの平均値や中央値を代表値としてもよい。また例えば、仮想視点映像データを生成したユーザが指定した値を代表値としてもよい。
【００２７】
視点情報入力部３０は、視点情報を入力する。視点情報入力部３０が入力する視点情報は、仮想視点映像を検索するための情報である。例えば、後述する仮想カメラの位置である。本実施形態における視点情報入力部３０は、タッチパネル等の入力手段を有する液晶ディスプレイ等の表示装置で構成されているものとする。視点情報入力部３０は、後述する図３に示すようなユーザインターフェース（ＵＩ）画面を表示する。そして、ユーザは、ＵＩ画面に対してタッチ操作などの入力操作を行うことで視点情報を指定する。視点情報入力部３０は、ユーザが指定した視点情報を、図２に示す仮想視点パラメータ２１１のデータ形式で検索装置１０に送付する。なお、視点情報入力部３０は、マウスやジョイスティックなどの入力デバイスからの信号を受け付け可能に構成されていてもよい。
【００２８】
図３は、ユーザが視点情報を入力するためのＵＩ画面の一例を示す図である。図３に示すＵＩ画面には、サッカーのグラウンド３００を俯瞰した画像（２次元の空間情報）が表示されていて、該２次元の空間情報に対してユーザが視点情報を指定する。
【００２９】
まず、ユーザは、タッチパネルを操作したり、マウスやジョイスティックのような入力デバイスを使用したりして、希望する視点の位置をカーソル（例えばマウスポインタ）で指定する。カーソルは、初期状態ではグラウンド３００の中央に位置しているものとする。図３に示す例では、ユーザ操作によってグラウンド３００右下の位置３０１にカーソルが移動されている。
【００３０】
視点の位置を確定すると、次にユーザは、姿勢を指定する。本実施形態では、図３に示す矢印３０２を回転させることによって姿勢を指定可能である。ここでは、位置３０１は、（ｘ，ｙ）の２次元で表現されている。また、姿勢すなわち矢印３０２の方向は最初の状態では右向き（図３における右方向）であり、グラウンド３００の長手方向と並行であるとする。図３には、最初の状態から矢印３０２を反時計回りに９０度回転させた姿勢θをユーザが指定したときの状態が示されている。
【００３１】
図３に示すＵＩ画面にてユーザが指定した位置（位置３０１）及び姿勢（矢印３０２）は、サッカーの試合の状況に照らし合わせると、図３右側の陣地に攻め入ったチームがセンタリングを上げる場面などに対応する。また、通常の動画像コンテンツを検索する際に時刻情報を指定するように、仮想視点映像コンテンツが複数フレームから構成される動画像データである場合は、目盛り指定部３０３を使用して時刻指定を行うことができる。ユーザは、目盛り指定部３０３上のつまみ（黒丸）の位置を指定することで、時刻情報を指定することができる。図３に示す例では、試合開始後１５分あたりをユーザが選択していることになる。なお、本実施形態では説明を容易にするため、２次元で表現された画像上で検索が行われる場合を例にしたが、３次元空間のｚ方向、すなわちグラウンド３００の物理空間での高さ方向を検索条件に含めるようにしてもよい。つまり、３次元上の位置や姿勢をユーザが指定可能なようにしてもよい。その場合、ユーザに位置や姿勢を指定させるＵＩとしては、３次元の画像（空間情報）をユーザに提示し、ユーザに位置や姿勢を指定させるＵＩが想定される。例えば、各種の３Ｄシミュレータや３Ｄゲームで行われているように、対象となる仮想空間（仮想的な３次元空間）上にユーザが存在するものとして、該ユーザが見ている方向を視点情報入力部３０の画面上に表示するＵＩが想定される。このようなＵＩを用いることで、ユーザは、ジョイスティックなどを操作して、仮想空間上を自由に移動したり、仮想空間上で見たい方向を向いたりすることにより、所望の位置および姿勢を仮想視点パラメータとして容易に指定することが可能となる。
【００３２】
なお、ユーザに位置や姿勢を指定させるＵＩの表現形式は、上述した例に限定されない。例えば、キーボードを使用して具体的な数値で位置や姿勢を指定可能なＵＩを採用してもよい。また、上述したマウスやジョイスティック等の操作デバイスを複数組み合わせて位置や姿勢を指定するＵＩを採用してもよい。さらに、動画再生アプリケーションにおいて動画像コンテンツを検索する際に一般的に採用されている、ハイライトシーンを提示するようなインターフェースを採用してもよい。例えば、図３に示す目盛り指定部３０３上にカーソルが置かれたときに、該カーソルが置かれた位置に、該位置に対応する時間帯のハイライトシーンを重畳して表示するようにしてもよい。そのような形態によれば、ユーザは、表示されるハイライトシーンを確認しながら、特定のイベントが起こった時間帯を把握することが可能となる。したがって、ユーザは、単純に時間を指定するのではなく、特定のイベントが起こった時間の周辺の時間帯を指定することが可能となる。
【００３３】
また、姿勢パラメータ、位置パラメータ、及び時刻情報の全てのパラメータを指定する必要はなく、いずれかのパラメータのみ、またはいずれか任意のパラメータを組み合わせて指定するようにしてもよい。その他、時刻情報に限らず、映像付属情報２１２に含まれている他の情報を検索条件として利用してもよい。例えば、色空間や解像度といった映像フォーマットに関する情報を利用してもよい。また例えば、仮想視点映像データの生成時に付与されるカテゴリ情報を示すメタデータを利用してもよい。カテゴリ情報としては、例えばスポーツの種別（サッカーやラグビーなど）を示す情報や、そのサブカテゴリ（コーナーキックやフリーキックやペナルティーキックやゴールシーンなど）を示す情報が想定される。また、一般的にトリックプレーと呼ばれるようなフレームの早回し、スロー再生など、映像編集に関する情報をカテゴリ情報として指定するようにしてもよい。また、仮想視点映像には、あるフレームで静止した状態の被写体（オブジェクト）の周囲を複数フレームかけてぐるりと回転するような停止回転と呼ばれるトリックプレーが存在する。このような仮想視点映像特有の映像編集に関する情報をカテゴリ情報として指定するようにしてもよい。
【００３４】
また、映像に関するパラメータとして画角がある。例えば、あるシーンを同じ視点から撮影した映像であったとしても、特定の選手に注目してズームした望遠の映像と、そのシーンを俯瞰して見た広角の映像とでは映像の見え方が異なる。したがって、仮想視点パラメータ２１１または映像付属情報２１２に画角情報を含ませるようにして、検索条件として画角情報をユーザに指定させるようにしてもよい。このとき、「望遠」「広角」といったある程度カテゴライズされた画角情報をユーザに指定させるようにしてもよいし、０〜１８０度内の任意の角度を画角情報としてユーザに指定させるようにしてもよい。なお、ユーザに画角情報を指定させるＵＩとして、画角情報を直観的に指定できるようなＵＩを採用してもよい。例えば、先に述べたような仮想的な３次元空間上においてユーザの視野を変更するとこで、該視野に応じた画角情報を仮想視点パラメータとして指定可能なようにしてもよい。
【００３５】
検索装置１０と視点情報入力部３０とは、ネットワーク接続されているとする。なお、本実施形態では、検索装置１０と視点情報入力部３０とを接続するネットワークとしてＥｔｈｅｒｎｅｔ（登録商標）を用いることとするが、その他のネットワークを用いてもよい。また、検索装置１０と視点情報入力部３０とは、同じ筐体内に格納されていてもよい。その場合、検索装置１０と視点情報入力部３０とは、コンピュータ内の内部バスによって接続されるものとする。
【００３６】
次に、検索装置１０の構成及び動作を説明する。検索装置１０は、図１に示すように、視点情報取得部１０１、視点情報比較部１０２、検索結果生成部１０３、及び検索結果提示部１０４を有する。視点情報取得部１０１は、蓄積部２０から、蓄積部２０に蓄積されている仮想視点映像データに付与されている仮想視点パラメータ２１１及び映像付属情報２１２を取得する。視点情報比較部１０２は、視点情報入力部３０から受け取った仮想視点パラメータと、視点情報取得部１０１から受け取った仮想視点パラメータとを比較する。検索結果生成部１０３は、視点情報比較部１０２の比較結果から検索結果を生成する。検索結果提示部１０４は、検索結果生成部１０３から受け取った検索結果をユーザに提示する。
【００３７】
ここで、図４を用いて、検索装置１０における仮想視点映像の検索処理について説明する。図４は、第１実施形態の検索装置１０における仮想視点映像の検索処理を示すフローチャートである。図４に示すフローチャートの一連の処理は、例えば、検索装置１０のＣＰＵ（不図示）がＲＯＭ（不図示）に記憶されているプログラムコードをＲＡＭ（不図示）に展開し実行することにより行われる。また例えば、図４におけるステップの一部または全部をＡＳＩＣや電子回路等のハードウェアで実現してもよい。
【００３８】
ステップＳ４０１（以下、単にＳ４０１と表記する。他のステップについても同様に表記する）において、視点情報入力部３０が、ユーザが視点情報を入力したかどうかを監視する。視点情報が入力されると（Ｓ４０１のＹＥＳ）、視点情報入力部３０は、入力された視点情報を視点情報比較部１０２に渡す。なお、ここでは、視点情報とともに時刻情報が入力されるものとする。したがって、視点情報入力部３０は、入力された時刻情報も視点情報比較部１０２に渡す、処理はＳ４０２に進む。視点情報が入力されていない場合には（Ｓ４０１のＮＯ）、処理はＳ４０１に戻る。
【００３９】
Ｓ４０２において、視点情報取得部１０１が、蓄積部２０から、蓄積部２０に蓄積されている仮想視点映像データに付与されている仮想視点パラメータ２１１及び映像付属情報２１２を取得する。なお、ここでは、映像付属情報２１２として少なくとも時刻情報が取得されるものとする。そして、視点情報取得部１０１は、取得した仮想視点パラメータ２１１および時刻情報を視点情報比較部１０２に渡す。
【００４０】
Ｓ４０３において、視点情報比較部１０２が、視点情報入力部３０から受け取った視点情報および時刻情報と、視点情報取得部１０１から受け取った仮想視点パラメータ２１１および時刻情報とを比較する。Ｓ４０４において、検索結果生成部１０３が、視点情報比較部１０２の比較結果から検索結果を生成する。Ｓ４０５において、検索結果提示部１０４が、検索結果生成部１０３から受け取った検索結果を視点情報入力部３０の液晶ディスプレイ等に表示する。
【００４１】
次に、具体例を用いて、上述したＳ４０３の比較処理、Ｓ４０４の検索結果の生成処理、及びＳ４０５の検索結果の提示処理について説明する。図５は、第１実施形態における検索処理を説明するための図である。ここでは、あるサッカーの試合における一シーンについて生成された仮想視点映像Ａ，Ｂ，及びＣが、蓄積部２０に蓄積されているものとする。図５には、上記仮想視点映像Ａ，Ｂ，及びＣに対応するカメラパスが、矢印線５０２，５０３，及び５０４で模式的に示されている。矢印線の始点はカメラパスの始点（最初のフレーム）を表し、矢印線の先端はカメラパスの終点（最終フレーム）を表す。カメラパスは、仮想視点パラメータを画像のフレーム分連続させて得られるパスであり、仮想視点の経路を示す。なお、先に述べた停止回転のように、同時刻のフレームが複数生成されるような映像編集が行われた場合、画像のフレーム数が実時間のフレーム数と一致しない仮想視点映像データが生成され得る。しかし、そのような仮想視点映像データによって示される仮想視点映像についても、同様にしてカメラパスで表現することができる。白抜き矢印５０１（以下、仮想視点入力５０１と記す）は、図３に示すＵＩ画面にてユーザが検索条件として指定した視点情報を模式的に示したものである。
【００４２】
ユーザが指定した検索条件（仮想視点入力５０１で示される仮想カメラの位置）と、仮想視点映像Ａ，Ｂ，及びＣそれぞれの位置パラメータ２２２とが、上記Ｓ４０３の処理において比較される。そして、仮想視点映像Ａの位置パラメータ２２２の平均値が仮想視点入力５０１と最も近いため、検索結果として仮想視点映像Ａが提示される。
【００４３】
なお、位置パラメータ２２２は３次元ベクトルで表現されるため、位置パラメータ２２２の平均値は、仮想視点映像の各フレームにおける仮想カメラの位置を示すベクトルの平均値として算出される。ベクトルの各要素は直交した軸の座標値であるため、位置パラメータ２２２の平均値は、結果として各座標それぞれの平均値になる。また、ある仮想視点映像について算出された平均値とユーザが指定した仮想視点入力５０１との差（類似度）が予め定められた閾値以下である場合に、該仮想視点映像の情報を検索結果としてユーザに提示するものとする。なお、Ｓ４０３の比較処理に用いる値は平均値に限定されず、位置パラメータ２２２の中央値や頻度の高い値でもよい。また、Ｓ４０３の比較処理に、位置パラメータ２２２ではなく、姿勢パラメータ２２１を使用するようにしてもよいし、位置パラメータ２２２と姿勢パラメータ２２１との両方を使用するようにしてもよい。また、Ｓ４０３の比較処理に、時刻情報を追加使用するようにしてもよい。また、位置パラメータ２２２と姿勢パラメータ２２１とのどちらか一方のパラメータで検索して得られた結果に対して、他方のパラメータを使用してさらに検索結果を絞り込むようにしてもよい。さらに、検索結果の絞り込みに時刻情報を使用するようにしてもよい。姿勢パラメータ２２１の類似度は、一般的なベクトルの内積値で判断すればよい。なお、内積値以外の尺度を用いて、姿勢パラメータ２２１の類似度を判断するようにしてもよい。また、Ｓ４０３の比較処理を行う際の位置パラメータ２２２や姿勢パラメータ２２１の閾値を、ユーザが設定できるようにしてもよい。さらに、検索結果として、類似している順に一定の数の仮想視点映像をユーザに提示するようにしてもよい。
【００４４】
以上のように、本実施形態によれば、視点情報を指定することで、ユーザは所望の仮想視点映像の検索を行うことが可能となる。したがって、ユーザは、蓄積部２０に蓄積されている仮想視点映像データによって示される仮想視点映像をひとつずつ見ながら所望の仮想視点映像を検索する必要がなくなる。よって、蓄積部２０に膨大な量の仮想視点映像データが蓄積されている場合であっても、所望の仮想視点映像を容易に抽出することが可能となる。また、所望の仮想視点映像を検索する際に要する検索時間を低減させることが可能となる。
【００４５】
また、ユーザが自ら所望の仮想視点映像データを生成しようとする場合にも本実施形態は有効である。その理由は、所望の仮想視点映像データが蓄積部２０に蓄積されていれば、ユーザは、該所望の仮想視点映像データを蓄積部２０から取得することができるからである。したがって、本実施形態によれば、ユーザが所望の仮想視点映像データを生成する手間を省くことができる。
【００４６】
なお、本実施形態では仮想視点映像が動画像である場合を例にして説明したが、本実施形態は、仮想視点映像が１フレームのみで構成されている場合、すなわち仮想視点映像が静止画像である場合にも適用可能である。
【００４７】
また、本実施形態では、仮想視点パラメータ２１１を用いて所望の仮想視点映像を検索する装置を例にした。しかし、仮想視点パラメータ２１１を、その他の用途に用いるようにしてもよい。例えば、仮想視点映像の再生装置において、仮想視点映像データに付与された仮想視点パラメータを用いて、仮想視点パラメータから導出される情報を仮想視点映像とともに再生時に表示させるようにしてもよい。
【００４８】
また、Ｓ４０３の比較処理に平均値、中央値、またはその他の代表値のいずれを用いるかをユーザが指定可能であってもよい。例えば、図３に示すＵＩ画面に「平均値検索」ボタンや「中央値検索」ボタン等を設けるようにしてもよい。そして、「平均値検索」ボタンが押下された場合には、Ｓ４０３で平均値を用いた比較処理が行われ、「中央値検索」ボタンが押下された場合には、Ｓ４０３で中央値を用いた比較処理が行われるようにしてもよい。
【００４９】
また、検索結果は、文字情報で提示してもよいし、検索結果を何らかの方法で画像として表示してもよい。例えば、図５に示すような画像（オブジェクトを含む画像上にカメラパスを描画した画像）を検索結果として提示してもよい。また、検索結果として画像を表示する場合には、代表的なフレームを何らかの手段で選択して表示してもよい。例えば、ハイライトとなる時間帯のフレームを繰り返し表示したり、検索条件の合致度がわかりやすいフレームを選択して表示したりするなど、動画再生アプリケーションにおいて一般的に用いられる、静止画像や動画像の検索結果の提示方法を採用してもよい。なお、検索結果の提示方法については上記の表示方法以外であってもよいし、表示以外の提示方法であってもよい。
［第２実施形態］
【００５０】
第２実施形態では、蓄積部２０に蓄積された仮想視点映像のカメラパスの一部を参照して、該仮想視点映像が、ユーザが所望する仮想視点映像であるか否かを判断する例を説明する。なお、第２実施形態における画像検索システムの構成及び動作は、第１実施形態の構成及び動作は同様である。ただし、視点情報比較部１０２および検索結果生成部１０３の処理が異なる。以下では、第２実施形態における視点情報比較部１０２および検索結果生成部１０３の処理について説明する。図６〜９は、第２実施形態における検索処理を説明するための図である。なお、図６〜８に示す仮想視点映像Ａ、Ｂ，及びＣは図５に示す仮想視点映像Ａ、Ｂ，及びＣと同様であるため、各仮想視点映像には同じ符号が付されている。
【００５１】
まず、図６を用いて、仮想視点映像Ａ、Ｂ，及びＣのカメラパスの始点を参照して、各仮想始点映像が、ユーザが所望する仮想始点映像であるか否かを判断する検索処理を説明する。図６に示す白抜き矢印６０１（以下、仮想視点入力６０１と記す）は、図３に示すＵＩ画面にてユーザが検索条件として指定した視点情報を模式的に示したものである。ここでは、ユーザが指定した検索条件（仮想視点入力６０１で示される仮想カメラの位置及び姿勢）と、各仮想視点映像の最初のフレームの位置パラメータ２２２及び姿勢パラメータ２２１とが、上記Ｓ４０３の処理において比較されるものとする。図６には、検索の結果、実線で示される仮想視点映像Ｂが抽出された様子が示されている。図中における、仮想視点入力６０１の始点（黒丸）と仮想視点映像Ｂの始点（黒丸）とを囲う丸枠は、カメラパスの始点を参照して検索が行われたことを表している。このように、仮想視点入力６０１は図５における仮想視点入力５０１と異なり、「指定したフレームから開始される仮想視点映像」を検索するための条件として使用される。
【００５２】
次に、図７を用いて、仮想視点映像Ａ、Ｂ，及びＣのカメラパスの終点を参照して、該仮想始点映像が、ユーザが所望する仮想始点映像であるか否かを判断する検索処理を説明する。図７に示す白抜き矢印７０１（以下、仮想視点入力７０１と記す）は、図３に示すＵＩ画面にてユーザが検索条件として指定した視点情報を模式的に示したものである。ここでは、ユーザが指定した検索条件（仮想視点入力７０１で示される仮想カメラの位置及び姿勢）と、各仮想視点映像の最終フレームの位置パラメータ２２２及び姿勢パラメータ２２１とが、上記Ｓ４０３の処理において比較されるものとする。図７には、検索の結果、実線で示される仮想視点映像Ａが抽出された様子が示されている。図中における、仮想視点入力７０１の始点（黒丸）と仮想視点映像Ａの終点（黒丸）とを囲う丸枠は、カメラパスの終点を参照して検索が行われたことを表している。これにより、仮想視点映像Ａが、検索条件に一致または類似する位置パラメータ及び姿勢パラメータを有するフレームで終了する仮想視点映像であることを、ユーザは認識することができる。このように、仮想視点入力７０１は図５における仮想視点入力５０１と異なり、「指定したフレームで終了する仮想視点映像」を検索するための条件として使用される。
【００５３】
図６や図７に示す例のように、仮想視点映像Ａ、Ｂ及びＣのカメラパスの一部を検索対象とすることで、一部のフレーム（ここでは最初または最後のフレーム）の仮想視点パラメータが検索条件に一致または類似する仮想視点映像を抽出することが可能となる。なお、検索条件との類似度の算出処理や、該類似度を用いた比較処理については第１実施形態と同様にして行えばよい。
【００５４】
次に、図８を用いて、ユーザが検索条件としてカメラパスを指定する例を説明する。図８に示す一点鎖線の矢印線８０１（以下、カメラパス８０１と記す）は、図３に示すＵＩ画面にてユーザが検索条件として指定した視点情報を模式的に示したものである。カメラパスの指定方法としては、例えば、視点情報入力部３０に対してカメラパス８０１に対応する視点情報、すなわち連続した視点情報を入力する方法が想定される。また、カメラパスを指定するＵＩとしては、例えば、サッカーのグラウンドを俯瞰した画像上において、始点から終点までカーソルを移動させて、その軌跡をカメラパスとして指定するＵＩが想定される。そのようなＵＩでは、指定したカメラパス上の各位置における座標（ｘ，ｙ）が視点情報（仮想カメラの位置）として視点情報入力部３０に入力される。仮想カメラの姿勢については、カメラパスを指定した後に、視点情報入力部３０に対して別途入力するようにすればよい。仮想カメラの姿勢の決定方法としては、最も簡便な方法として、固定の場所を注視点として指定する方法が想定される。固定の場所を注視点として指定した場合、仮想カメラがカメラパスにおける各位置においてその注視点を向くように、仮想カメラの姿勢が決定される。
【００５５】
また、より自由度の高いカメラパスの指定を行いたい場合には、仮想カメラの位置と同時に姿勢を入力するようにしてもよい。具体的には、第１実施形態の説明で述べたように、３次元空間上におけるユーザの視点を視点情報として取得するようにしてもよい。例えば、仮想的な３次元空間上で表現されたサッカースタジアムの中で実際に仮想カメラを動かすことによって、仮想カメラの位置と、仮想カメラの方向（姿勢）とを視点情報として取得する方法が想定される。
【００５６】
上記Ｓ４０３の処理では、ユーザが指定したカメラパスと仮想視点映像Ａ，Ｂ，及びＣのそれぞれのカメラパスとが比較される。図８に示す例では、ユーザが指定したカメラパス８０１と最も類似するカメラパスを有する仮想視点映像Ｃが抽出されている。カメラパスは上述したように連続した複数の仮想視点パラメータで構成されている。したがって、図８に示す例では、Ｓ４０３の処理において、ユーザが指定したカメラパス８０１と仮想視点映像Ａ，Ｂ，及びＣのカメラパスとの間で、同じ撮影時刻の仮想視点パラメータ同士が比較される。なお、撮影時刻は、絶対時刻であってもよいし、相対時刻であってもよい。また、姿勢パラメータの比較については、位置パラメータの比較と同時に行われてもよいし、位置パラメータで検索して得られた候補を絞り込むために、位置パラメータの比較の後に行うようにしてもよい。なお、連続する仮想視点パラメータで構成されるカメラパスについて、それら仮想視点パラメータの平均値や中央値を代表値として求めて、該代表値を検索処理に用いるようにしてもよい。すなわち、カメラパス８０１の平均値や中央値と、仮想視点映像Ａ，Ｂ，及びＣのカメラパスの平均値や中央値とを比較するようにしてもよい。
【００５７】
図８に示す例のように、検索条件としてカメラパスを指定することで、仮想視点パラメータの遷移、すなわち視点の遷移を考慮した仮想視点映像の検索を実現することが可能となる。
【００５８】
最後に、図９を用いて、検索条件を指定せずに検索処理を行う例を説明する。ここでは、特定のシーンについて生成された仮想視点映像データが蓄積部２０に蓄積されているものとする。図９には、上記仮想視点映像データによって示される仮想視点映像９０１〜９０７のカメラパスが模式的に示されている。例えば、図３に示すＵＩ画面上に、不図示の「よく見られている視点」ボタンが設けられていて、該ボタンをユーザが押下することで、検索条件を指定しない設定がなされるものとする。このとき、視点情報入力部３０から視点情報取得部１０１に対して、仮想視点パラメータの頻度による検索の実行指示が送付され、仮想視点映像９０１〜９０７の仮想視点パラメータの全てが視点情報比較部１０２によって解析される。
【００５９】
視点情報比較部１０２は、仮想視点映像９０１〜９０６それぞれの全フレームに渡る姿勢パラメータ２２１や位置パラメータ２２２について頻度を導出し、導出した頻度に基づき仮想視点映像９０１〜９０６をグルーピングする。このとき、姿勢パラメータ２２１のみ、または、位置パラメータ２２２のみ、または両パラメータを使用して頻度を導出してもよい。また、その他のパラメータ、例えば映像付属情報２１２を使用してグルーピングを行ってもよい。なお、全フレームのパラメータを用いるのではなく、姿勢パラメータ２２１や位置パラメータ２２２の平均値や中央値を使用してもよいし、あらかじめ設定されている代表値を使用してもよい。
【００６０】
なお、姿勢パラメータ２２１や位置パラメータ２２２を全フレーム分まとめて扱った場合には、姿勢パラメータ２２１や位置パラメータ２２２を、各パラメータを要素として有するベクトルのまとまりとして見ることができる。したがって、仮想視点映像のグルーピングには、一般的なベクトルの類似度比較や、クラスタリング、グルーピング、カテゴライズなどに用いられる手法を使用することができる。具体的には、Ｋ平均法や、コサイン類似度、相関係数などを使用することが想定される。また、連続した仮想視点パラメータは、ベクトルではなく、値の集合としても捉えることもできる。したがって、集合としての類似度算出やグルーピングの手法を用いて、グルーピングを行うようにしてもよい。例えば、ジャッカード係数やダイス係数などを使用する方法が想定される。
【００６１】
図９に示す楕円の枠９１０は、検索結果として抽出された仮想視点映像のグループを模式的に表している。図９に示す例では、仮想視点パラメータの頻度による検索の結果、枠９１０で囲われた仮想視点映像９０２，９０３，９０４，及び９０５が、頻度が高い仮想視点パラメータが付与された仮想視点映像として抽出されている。このように各仮想視点映像に指定されている仮想視点パラメータの頻度を導出することで、頻度が高い仮想視点パラメータが付与された仮想視点映像を抽出することが可能となる。頻度が高い仮想視点パラメータとは、例えば頻度が所定値以上である仮想視点パラメータである。図９に示すような検索処理によって、特定のシーンについてよく使用される仮想視点パラメータやカメラパスを特定することができ、特定した仮想視点パラメータやカメラパスが設定された仮想視点映像を抽出することが可能となる。
【００６２】
これにより、特定のシーンについて生成された複数の仮想視点映像の中から、よく見られる視点やカメラパスの仮想視点映像を抽出することが可能となる。このようにして抽出される仮想視点映像は、特定のシーンについてそのシーンをわかりやすく表現できる視点やカメラパスで生成された映像や、映像表現として視聴ユーザに強く印象付ける視点やカメラパスで生成された映像であることが想定される。したがって、図９に示すような検索処理は、よく見られている視点やカメラパスの仮想視点映像を検索する際に効果的である。
【００６３】
また、図９に示すような検索処理は、類似した仮想視点映像を検索する際にも効果的である。例えば、検索装置１０は、ユーザが指定した仮想視点映像と蓄積部２０に蓄積された各仮想視点映像データによって示される仮想視点映像との間で、姿勢パラメータや位置パラメータを比較する。そして、比較の結果に応じて、ユーザが指定した仮想視点映像と蓄積部２０に蓄積された各仮想視点映像データによって示される仮想視点映像との類似度をユーザに提示したり、類似度の高い仮想視点映像から順にユーザに提示したりすることが可能となる。
【００６４】
また、図６〜９を用いて説明した各検索処理で得られる検索結果の提示については、第１の実施形態で説明した提示方法を用いて行えばよい。
【００６５】
また、上述した各実施形態では、仮想カメラの位置、姿勢、画角を示す情報を仮想視点パラメータに格納する場合を例にした。しかし、仮想視点パラメータにはその他の情報を格納するようにしてもよい。例えば、仮想視点を設定したユーザの識別情報（ユーザ名など）や、仮想視点を設定した日時や、仮想視点映像の生成日時などを仮想視点パラメータに格納するようにしてもよい。また例えば、仮想視点映像のコーデックに関する情報や、仮想視点の移動距離に関する情報を仮想視点パラメータに格納するようにしてもよい。また例えば、仮想視点映像の再生時間に関する情報や、仮想視点映像の再生の制限に関する情報（再生可能ユーザの識別情報、再生可能回数に関する情報等）を仮想視点パラメータに格納するようにしてもよい。これらの情報を仮想視点パラメータに格納することで、記憶装置等に記憶された仮想視点映像データ群の中から、より高度に又はより柔軟に仮想視点映像を検索することが可能となる。また、検索以外にも、例えば、おすすめコンテンツの選定を行ったり、コンテンツリストの並べ替えを行ったり、個別ファイルの確認に使ったり（例えば、いつ仮想視点を設定したかを思い出したいときにプロパティから参照する）することが可能となる。
【００６６】
また、画像検索システムの構成は、図１により示されるものに限らない。例えば、検索装置１０と、視点情報入力部３０と、蓄積部２０とがそれぞれ通信ネットワーク（例えばインターネット）を介して接続されていても良い。例えば、視点情報入力部３０（スマートフォン）は、仮想視点映像の検索条件に関するユーザ操作を受け付け、当該ユーザ操作に基づいて仮想視点パラメータを識別し、当該仮想視点パラメータに基づく検索メッセージを検索装置１０へ送信できる。そして、検索装置１０は、視点情報入力部３０からの検索メッセージに基づいて検索処理を実行する。具体的な検索方法は上述の通りである。そして、検索装置１０は、検索処理の結果を視点情報入力部３０に送ることができる。この場合、仮想視点情報入力部３０において、検索の結果が提示される。なお、上述の実施形態では、検索装置１０と蓄積部２０が別の装置である場合の例を中心に説明したが、これらの機能が１つの装置によって実現されるようにしても良い。このように、図１の構成や機能分担には種々の変形例が存在することに留意されたい。
【００６７】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６８】
１０  仮想視点映像検索装置
２０  仮想視点映像蓄積部
３０  視点情報入力部
【図１】
2019159593.tif 000008
【図２】
2019159593.tif 000009
【図３】
2019159593.tif 000010
【図４】
2019159593.tif 000011
【図５】
2019159593.tif 000012
【図６】
2019159593.tif 000013
【図７】
2019159593.tif 000014
【図８】
2019159593.tif 000015
【図９】
2019159593.tif 000016