(57)【要約】【課題】映像データとセンサデータとからロバストにカメラの位置姿勢あるいは互いの位置関係を推定し、それらを可視化することができる映像データ処理装置を提供する。【解決手段】撮像した映像の映像データと、該映像を撮像した撮像手段の位置姿勢を推定可能なセンサデータとの組を複数入力するデータ入力手段と、複数のセンサデータから複数の撮像手段それぞれの位置姿勢を推定する位置姿勢推定手段と、推定した位置姿勢から複数の撮像手段それぞれの位置姿勢を示す位置姿勢図を作成して出力する位置姿勢図作成手段と、位置姿勢図と、映像データとを画面に表示する表示手段と、位置姿勢図の図上から選択された撮像手段の映像データを選択して表示手段に出力する映像選択手段とを備える。【選択図】図１
2016070891.tif 000002
【特許請求の範囲】
【請求項１】
撮像した映像の映像データと、該映像を撮像した撮像手段の位置姿勢を推定可能なセンサデータとの組を複数入力するデータ入力手段と、
複数の前記センサデータから複数の前記撮像手段それぞれの位置姿勢を推定する位置姿勢推定手段と、
推定した前記位置姿勢から複数の前記撮像手段それぞれの位置姿勢を示す位置姿勢図を作成して出力する位置姿勢図作成手段と、
前記位置姿勢図と、前記映像データとを画面に表示する表示手段と、
前記位置姿勢図の図上から選択された前記撮像手段の前記映像データを選択して前記表示手段に出力する映像選択手段と
を備えることを特徴とする映像データ処理装置。
【請求項２】
前記映像データから、前記撮像手段の相対位置姿勢を推定する相対位置姿勢推定手段をさらに備え、
位置姿勢推定部は、前記相対位置姿勢と、前記センサデータに基づき推定した前記撮像手段の位置姿勢との間に不整合が生じた際に、前記センサデータに基づき推定した前記撮像手段の位置姿勢を修正することを特徴とする請求項１に記載の映像データ処理装置。
【請求項３】
前記データ入力手段により入力した複数の前記映像データ間及び複数の前記センサデータ間を同期させる処理を行うデータ処理部をさらに備えたことを特徴とする請求項１または２に記載の映像データ処理装置。
【請求項４】
前記データ処理部は、前記同期させる処理を行う前に前記センサデータのノイズ除去を行うことを特徴とする請求項３に記載の映像データ処理装置。
【請求項５】
前記データ処理部は、前記同期させる処理を行う前に前記センサデータの獲得できていない時刻の値を補間することを特徴とする請求項３または４に記載の映像データ処理装置。
【請求項６】
コンピュータを、請求項１から５のいずれか１項に記載の映像データ処理装置として機能させるための映像データ処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データ処理装置及び映像データ処理プログラムに関する。
【背景技術】
【０００２】
スマートフォンを始めとするセンサ付きカメラデバイスの普及に伴い、ライブや路上パフォーマンスといったイベントを聴衆が撮影した映像がウェブ上で共有されるようになってきている。そして、あるイベントの様々な視点から撮影された膨大な数の映像を誰もが自由に視聴することが可能になっている。これらの膨大な数の映像に対し、より快適な視聴を目的としてイベントごとに映像をまとめて視聴させる多視点視聴サービスなども登場してきている。こうした多視点視聴サービスの多くは、撮影された映像群をサムネイル画像（あるいは映像）として複数表示し、ユーザがその中から任意の視点の映像を選んで試聴するという方式をとっている。
【０００３】
しかし、こうした形でユーザがサムネイル群から所望の視点の映像を選択するためには、ユーザ自身がそのサムネイル画像群がそれぞれどの視点から撮影されているかを一つ一つ推定する必要がある。そのため、例えば対象の映像群が数十、数百に上る場合、所望の視点の映像を素早く選択することは困難である。このような問題に対し、システム側でどの映像がどの位置からどういう姿勢で撮影されているか、あるいはそれぞれのカメラがどういった位置関係にあるのかといった「視点の位置関係・位置姿勢の可視化」を行うことが試みられている。
【０００４】
これは、ユーザが映像から視点を推定する手間を省くため、有効な解決策であると考えられる。なお、ここで言う位置関係とはどのカメラ同士が隣接しており、どちら側にあるのかといった、いわゆるカメラをノードと見立てたネットワークトポロジーも含む。また、位置とはカメラの持つ座標系の原点の世界座標系における位置を意味し、並進ベクトルで表される。姿勢とはカメラの持つ座標系の各軸の向きを意味し、回転行列で表される。位置姿勢とはこれらの並進ベクトルおよび回転行列のことを指す。
【０００５】
また、一方で非特許文献１のように映像から各カメラデバイスの位置姿勢を推定する手法が提案されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Photo Tourism: Exploring Photo Collections in 3DNoah Sanvely, Steven M.Seitz, Richard Szeliski SIGGRAPH Conference Proceedings, 2006, 1-59593-364-6, pp:835-846, ACM Press
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、これらの手法には各カメラデバイスの撮影領域が重複していなければならないという制約がある。任意に撮影された映像が全てのフレームにおいて重複領域を持つことは難しい。また、映像にブラー（被写体のぶれ）または符号化ノイズなどの劣化が生じることがある。これらの状況が生じると位置姿勢の推定に必要な特徴点対応を取れない場合が多い。すなわち、任意に撮影された映像では、この位置姿勢推定手法が適用できないフレームが大半を占めるという問題がある。
【０００８】
本発明は、このような事情に鑑みてなされたもので、映像データとセンサデータとからロバストにカメラの位置姿勢あるいは互いの位置関係を推定することができる映像データ処理装置及び映像データ処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、撮像した映像の映像データと、該映像を撮像した撮像手段の位置姿勢を推定可能なセンサデータとの組を複数入力するデータ入力手段と、複数の前記センサデータから複数の前記撮像手段それぞれの位置姿勢を推定する位置姿勢推定手段と、推定した前記位置姿勢から複数の前記撮像手段それぞれの位置姿勢を示す位置姿勢図を作成して出力する位置姿勢図作成手段と、前記位置姿勢図と、前記映像データとを画面に表示する表示手段と、前記位置姿勢図の図上から選択された前記撮像手段の前記映像データを選択して前記表示手段に出力する映像選択手段とを備えたことを特徴とする。
【００１０】
本発明は、前記映像データから、前記撮像手段の相対位置姿勢を推定する相対位置姿勢推定手段をさらに備え、位置姿勢推定部は、前記相対位置姿勢と、前記センサデータに基づき推定した前記撮像手段の位置姿勢との間に不整合が生じた際に、前記センサデータに基づき推定した前記撮像手段の位置姿勢を修正することを特徴とする。
【００１１】
本発明は、前記データ入力手段により入力した複数の前記映像データ間及び複数の前記センサデータ間を同期させる処理を行うデータ処理部をさらに備えたことを特徴とする。
【００１２】
本発明は、前記データ処理部は、前記同期させる処理を行う前に前記センサデータのノイズ除去を行うことを特徴とする。
【００１３】
本発明は、前記データ処理部は、前記同期させる処理を行う前に前記センサデータの獲得できていない時刻の値を補間することを特徴とする。
【００１４】
本発明は、コンピュータを、前記映像データ処理装置として機能させるための映像データ処理プログラムである。
【発明の効果】
【００１５】
本発明によれば、カメラにより得られた映像データと、それに対応するセンサデータを用い、各カメラの位置姿勢あるいは互いの位置関係をロバストに推定することができるという効果が得られる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態による映像データ処理装置１の構成を示すブロック図である。
【図２】図１に示す映像データ処理装置の動作を示すフローチャートである。
【図３】映像データおよびセンサデータを用いてデータ獲得装置の位置姿勢を推定する方法の概念図である。
【図４】映像データおよびセンサデータを用いてデータ獲得装置間の位置姿勢を推定する処理動作を示すフローチャートである。
【図５】図１に示す表示部１５の詳細な構成を示すブロック図である。
【図６】図５に示す表示部１５の動作を示すフローチャートである。
【図７】表示装置に表示する映像を提示するウインドウと、データ獲得装置Ｄｉの位置関係（鳥瞰図）を提示するウインドウの一例を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本発明の一実施形態による映像データ処理装置を説明する。図１は同実施形態による映像データ処理装置１の構成を示すブロック図である。映像データ処理装置１は、図１に示すように、データ入力部１１、データ蓄積部１２、データ処理部１３、位置姿勢推定部１４、表示部１５を備えている。
【００１８】
データ入力部１１は、処理対象である映像データと、この映像を撮像したときのセンサデータとを入力する。データ蓄積部１２は入力された映像データおよびセンサデータを記憶する。データ処理部１３は映像データ及びセンサデータに対してノイズ除去や補間や同期といった前処理を適用する。位置姿勢推定部１４では映像データ及びセンサデータを用いて、これらの映像データ及びセンサデータを取得したデータ獲得装置の位置姿勢を推定する。ここで、データ獲得装置とは、映像データを取得する画像センサ及びジャイロセンサや加速度センサといった各種センサを同一の筐体内に備える装置のことである。具体的にはスマートフォンやタブレット端末などが例として挙げられる。表示部１５は、推定されたデータ獲得装置の位置姿勢を示す模式図と映像とを表示する。
【００１９】
次に、図２を参照して、図１に示す映像データ処理装置１の処理動作を説明する。図２は図１に示す映像データ処理装置の動作を示すフローチャートである。なお、本実施形態では映像データ及びセンサデータは同一シーンを複数のデータ獲得装置で記録したものであり、映像とはカメラおよびマイクが獲得した画像列及び音声を有するデータを指し、センサデータとは加速度センサ、ジャイロセンサ、地磁気センサなどのカメラ以外のセンサが獲得したカメラの位置姿勢を推定することができるデータを指す。本実施形態では、各映像と各センサデータは１対１に対応しているものとし、対応する両者は同一のデータ獲得装置で記録されたものでありその位置姿勢は完全に一致しているものとする。
【００２０】
まず、データ入力部１１は、複数のデータ獲得装置によって獲得された映像データおよびセンサデータを入力し、データ蓄積部１２に記憶する（ステップＳ１）。ここでは、全時刻全データ獲得装置の映像データ及びセンサデータを全て入力し記憶することとするが、数フレームずつ区切って入力し記憶して処理しても構わない。また、いくつかのデータ獲得装置ごとに区切っても構わない。
【００２１】
映像データおよびセンサデータの記憶が終了したら、データ処理部１３は、データ獲得装置それぞれについてのセンサデータに対してノイズ除去処理、および時間方向に補間処理を施す（ステップＳ２）。なお、得られるセンサデータは時刻を示すタイムスタンプと、その時刻におけるセンサの値（センサデータ）が離散的に記録されたものである。一般に、センサが記録する値はノイズを含んでいることが多い。そこで、これらの値に対してノイズ除去フィルタを施すことでノイズの少ない値を得る。ここで用いるノイズ除去フィルタはどのような処理で行っても構わない。一般的な手法として、ローパスフィルタをかけてスパイクのような値の変動を取り除く、あるいは移動平均フィルタをかけることで平滑化を行ってもよい。もし、センサデータのノイズを許容していい場合は、ノイズ除去の処理を施さなくても構わない。
【００２２】
また、これらセンサデータを記録するレートは映像及び音声のフレームレートとは一致していない。そのため、センサデータの映像の各フレームの時刻におけるセンサデータの値を、記録されたセンサデータの値から補間処理によって生成する（ステップＳ３）。ここで用いる補間処理はどのような手法で行っても構わない。一般的な手法としては、線形補間やスプライン補間が挙げられる。もし、センサデータのフレームレートが映像および音声のフレームレートと一致する場合、またはフレームレートは一致しないが映像の各フレーム時刻に対応するセンサデータが記録できている場合、または時刻は一致しないがズレを許容して構わない場合には、補間処理を行わずに近い時刻のセンサデータをそのまま使用しても構わない。
【００２３】
次に、データ処理部は、映像データおよびセンサデータを獲得したデータ獲得装置間で時刻の同期を行う（ステップＳ４）。予め同期して記録している場合、既に同期処理されている場合は行わなくてもよい。ここで用いる同期処理はどのような手法で行っても構わない。一般的な手法としては、音声と画像は同期して記録されていることとして、映像の音声データを用いて同期を行う手法が挙げられる（例えば、参考文献１参照）。
参考文献１：Markerless Motion Capture with Unsynchronized Moving Cameras Nils Hasler1, Bodo Rosenhahn1, Thorsten Thormahlen ¨, Michael Wand, Juergen Gall1, Hans-Peter Seidel Computer Vision and Pattern Recognition, 2009. CVPR2009. IEEE Conference on,pp:224-231, ISSN:1063-6919
【００２４】
また、記録時にストロボが炊かれている場合などには画像処理により同期を行う手法も存在する。また、映像の画像データを見て手動で同期を行ってもよい。
【００２５】
次に、位置姿勢推定部１４は、映像データおよびセンサデータから全ての時刻における各データ獲得装置の世界座標系での位置姿勢を求める（ステップＳ５）。ここでいう世界座標系での位置姿勢とは、全データ獲得装置からなる系を世界座標系とした時の位置姿勢であり、必ずしも物理的な量と対応している必要はない。ここで用いる位置姿勢を求める手法はどのような手法を用いても構わない。
【００２６】
一般的な手法としては、各映像が重複領域を持つ場合には、Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ（例えば、非特許文献１参照）の手法を用いることで、複数のカメラ間の相対的な位置姿勢を推定することができる。各カメラについて１つ以上の他のカメラとの相対位置姿勢が推定でき、全てのカメラについて間接的に他のカメラとの相対位置が判明すれば、どれか一つのカメラを基準にすることで、基準カメラを中心とした世界座標系における全カメラの位置姿勢を決定できる。
【００２７】
しかしながら、任意に撮影された映像が必ずしも全ての時刻において重複領域を持つとは限らない。そこで、映像が重複領域を持たない場合にはセンサデータを用いて位置姿勢を求める。ある一つのデータ獲得装置に関しては、ジャイロセンサを用いて、ある時刻からの姿勢の変位を求めることが可能である。地磁気センサや加速度センサを用いれば、Ｅａｓｔ−Ｎｏｒｔｈ−Ｕｐ座標系における姿勢を常に求めることができるので、こちらを利用してもよい。
【００２８】
映像では位置姿勢推定を行うことのできないフレームについてこれらを利用して位置姿勢の推移を推定することで、全ての時刻においてデータ獲得装置の位置姿勢を求めることが可能である。しかしながら、これらのセンサデータは累積誤差を発生しやすいため、長時間センサデータのみを用いて位置姿勢を推定すると推定精度が著しく低下する場合がある。そのため、定期的にセンサデータの累積誤差をリフレッシュすることが望ましい。例えば、あるフレームにおいて映像から位置姿勢が推定できる場合には、その位置姿勢にセンサデータを用いて求められた位置姿勢を一致させることでリフレッシュすることも可能である。また、データ獲得装置の位置に関しては、数十メートル規模の誤差を許容するならば、ＧＰＳセンサを利用してもよい。
【００２９】
次に、表示部１５は、得られた各データ獲得装置の位置姿勢を模式図（位置姿勢図）として提示する（ステップＳ６）。また、表示部１５は、選択されたデータ獲得装置の映像を提示する（ステップＳ７）。これらの提示が、映像データ処理装置１の出力となる。
【００３０】
次に、図３、図４を参照して、データ獲得装置の位置姿勢を推定する方法（ステップＳ５の処理）について説明する。図３は、映像データおよびセンサデータを用いてデータ獲得装置の位置姿勢を推定する方法の概念図である。Ｄ０、Ｄ１、Ｄ２、Ｄ３は各データ獲得装置を表し（４つのデータ獲得装置の場合）、Ｄ０は基準となるデータ獲得装置を表す。また、ｔは時間を表す。Ｄｉ（ｉ＝０，１，…）間およびｔ方向の点線はその時刻におけるＤｉ間の相対的な位置姿勢が未推定であることを表し、実線は推定が完了したことを表す。位置姿勢推定部の目的は映像データおよびセンサデータを用いてＤｉ間に存在する全ての点線を実線にすることである。
【００３１】
図４は、映像データおよびセンサデータを用いてデータ獲得装置間の位置姿勢を推定する処理動作を示すフローチャートである。まず、基準であるＤ０となるデータ獲得装置を定める（ステップＳ１１）。Ｄ０はどのような方法で定めても構わない。例えば、手動で定める、あるいはセンサデータを基に、時間方向への変位が最も少なかったデータ獲得装置を自動的に選択するなどの方法が挙げられる。
【００３２】
次に、映像を用いて基準であるＤ０に対する各Ｄｉ（ｉ＝１，２…）の相対位置姿勢を求める（ステップＳ１２）。映像から相対位置姿勢を求める手法として、Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎを用いてもよい。しかしながら、Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎでは映像間の特徴点の対応を利用しているため、映像が重複領域を持たない場合、あるいはブラーや符号化ノイズなどにより正しい特徴点対応が取得できない場合には位置姿勢の推定精度が著しく低下するか、推定ができない場合がある。これは図３のある時刻においてＤ０−Ｄｉ間の実線が求まらないことに相当する。
【００３３】
ステップＳ１２の処理を全ての時刻に対して行う（ステップＳ１３）ことで、Ｄ０−Ｄｉ間の一部の時刻において相対位置姿勢を求めることができる。すなわち、図３においてＤ０−Ｄｉ間の点線が一部実線になったことを意味する。また、図３におけるＤ２のように、直接Ｄ０に対する相対位置姿勢が求まらない場合でも、Ｄ０に対して相対位置姿勢が直接求まっているＤ１との相対位置姿勢が求まっていれば、Ｄ１を経由することでＤ０に対する相対位置姿勢を求めることが可能である。どのデータ獲得装置を経由してもＤ０に対する相対位置姿勢が求められなかったデータ獲得装置に関しては、本実施形態では除外する。
【００３４】
次に、各Ｄｉについて時間方向の位置姿勢の変化を求める（ステップＳ１４）。これは映像データやセンサデータを用いて推定が可能である。推定する手法はどのような手法を用いても構わない。映像を用いる場合は時間方向にＳｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎを用いてもよい。センサデータを用いる場合はジャイロセンサなどを用いてもよい。ジャイロセンサはセンサが持つ座標系における単位時間あたりの各軸に対する変位を記録する。これらに実際の時間をかけ、積算することである時刻に対する相対的な姿勢の変化を求めることが可能である。また、加速度センサでは単位時間あたりの各軸に対する加速度が求まる。これらに実際の時間をかけ、積算することである時刻に対する相対的な位置の変化を求めることが可能である。この処理を全ての時刻および全てのＤｉに対して行う（ステップＳ１５）ことで、Ｄｉの時間方向の位置姿勢の変位を求めることができる。すなわち、図３においてはｔ方向の点線が実線になったことを意味する。
【００３５】
なお、これらのセンサデータを用いることで求められる位置姿勢はセンサの持つ座標系に対する位置姿勢であり、必ずしもカメラの持つ座標系とは一致しない。しかしながら、スマートフォンのようにカメラとセンサが同一の筐体に搭載され、その相対位置が不変かつ相対位置の差が無視できる程度の系であれば、センサデータの位置姿勢の変化をカメラの位置姿勢の変化と見てもよい。
【００３６】
次に、位置姿勢の不一致を修正する（ステップＳ１６）。図３に示すように時刻ｔｉとｔｊにおいてＤ０とＤ１の位置姿勢が映像から求まっている場合、時刻ｔｊに映像から求まった位置姿勢と、時刻ｔｉに映像から求まった位置姿勢からセンサデータを用いて推定された値が一致するとは限らない。これはセンサの累積誤差によるものが大きい。これらの値を必ずしも一致させる必要はないが、一致させることによってセンサの累積誤差をリフレッシュすることが可能になる。なお、これらの値を一致させる手法としてどのような手法を用いても構わない。例えば以下のような手法を用いて一致させてもよい。
【００３７】
時刻ｔにおいて映像から求められる姿勢の角度表記を（ｘｍ（ｔ），ｙｍ（ｔ），ｚｍ（ｔ））とし、時刻ｔ０から時刻ｔ１までのセンサデータから求められる時間方向の相対姿勢の角度表記を（ｘｓ（ｔ０，ｔ１），ｙｓ（ｔ０，ｔ１），ｚｓ（ｔ０，ｔ１））とする。時刻ｔｉにおいて映像から位置姿勢（ｘｍ（ｔｉ），ｙｍ（ｔｉ），ｚｍ（ｔｉ））が求まった後、時刻ｔｊ（＞ｔｉ）において映像からの位置姿勢（ｘｍ（ｔｊ），ｙｍ（ｔｊ），ｚｍ（ｔｊ））が求められた時、（ｘｍ（ｔｊ），ｙｍ（ｔｊ），ｚｍ（ｔｊ））と（ｘｍ（ｔｉ），ｙｍ（ｔｉ），ｚｍ（ｔｉ））＋（ｘｓ（ｔｉ，ｔｊ），ｙｓ（ｔｉ，ｔｊ），ｚｓ（ｔｉ，ｔｊ））は一致させるため、各時刻の（ｘｓ（ｔｉ，ｔ），ｙｓ（ｔｉ，ｔ），ｚｓ（ｔｉ，ｔ））に対して以下の係数をかければよい。
ａｘ＝（ｘｍ（ｔｊ）−ｘｍ（ｔｉ））／ｘｚ（ｔｉ，ｔｊ）
ａｙ＝（ｙｍ（ｔｊ）−ｙｍ（ｔｉ））／ｙｚ（ｔｉ，ｔｊ）
ａｚ＝（ｚｍ（ｔｊ）−ｚｍ（ｔｉ））／ｚｚ（ｔｉ，ｔｊ）
【００３８】
最後に、各係数をかけた（ｘｓ（ｔｉ，ｔ），ｙｓ（ｔｉ，ｔ），ｚｓ（ｔｉ，ｔ））を回転行列に変化すればよい。なお、位置に関しても同様の修正方法が適用可能である。この処理を全ての不一致に対して行う（ステップＳ１７）。
【００３９】
次に、各時刻におけるＤ０に対するＤｉ間の相対的な位置姿勢を求める（ステップＳ１８）。今、各ＤｉはＤ０といずれかの時刻において位置姿勢が求まっており、かつ各Ｄｉ内での位置姿勢の変位が求まっている。そのため、ある時刻においてＤ０とＤｉの位置姿勢が映像から求まっていなくても、映像から位置姿勢が求まっている時刻まで遡り、その位置姿勢を基にして各時刻の位置姿勢の変位を追加すればよい。この処理を全ての時刻、Ｄｉに対して行う（ステップＳ１９）。以上が位置姿勢を求める処理動作である。
【００４０】
次に、表示部１５が、得られた各データ獲得装置の位置姿勢図および映像を多視点映像視聴システムの出力として提示する処理動作（ステップＳ６、Ｓ７の処理動作）を図５、図６、図７を参照して説明する。始めに、図５を参照して、図１に示す表示部１５の詳細な構成を説明する。図５は、図１に示す表示部１５の詳細な構成を示すブロック図である。表示部１５は、図５に示すように表示部データ入力部１５１、位置姿勢図作成部１５２、提示映像決定部１５３、外部入力受付部１５４を備える。表示部データ入力部１５１はデータ獲得装置の獲得した映像（データ処理部１３の出力）および位置姿勢（位置姿勢推定部１４の出力）を入力する。位置姿勢図作成部１５２はデータ獲得装置の位置姿勢を表す模式図を作成する。提示映像決定部１５３は提示する映像を決定する。外部入力受付部１５４はユーザの操作内容を外部入力として受け付ける。
【００４１】
次に、図６を参照して、図５に示す表示部１５の動作を説明する。図６は、図５に示す表示部１５の動作を示すフローチャートである。まず、表示部データ入力部１５１はデータ獲得装置の獲得した映像およびデータ獲得装置Ｄｉの位置姿勢を入力する（ステップＳ２１）。続いて、位置姿勢図作成部１５２は入力された位置姿勢データから各時刻において各データ獲得装置がどのような位置に配置されているかを表す位置姿勢図（模式図）を生成する（ステップＳ２２）。位置姿勢図の図示方法はどのような方法でも構わない。例えば図７（ｂ）にあるようにデータ獲得装置の鳥瞰図を作成する。図７は、表示装置に表示する映像を提示するウインドウ（図７（ａ））と、データ獲得装置Ｄｉの位置関係（鳥瞰図、図７（ｂ））を提示するウインドウの一例を示す図である。
【００４２】
次に、選択されたデータ獲得装置（以下、視点とも言う）の映像および位置姿勢図を提示する（ステップＳ２３）。提示する方法はどのような方法でも構わない。例えば、図７に示すように２つのウィンドウを提示し、そのそれぞれに対して映像および位置姿勢図を提示する。視点が選択されていない場合（初期状態など）では自動で視点を与えてもよい。
【００４３】
次に、外部入力受付部１５４は、視点選択を受け付ける（ステップＳ２４）。視点選択の方法としてはユーザ操作により外部入力から受け付けるものと、自動的に選択するものが考えられるが、本実施例ではどちらでも構わない。自動であれば、一定時間すぎれば選択する視点を変化させるようにしてもよい。また、トラッキングの手法を用いることで、ある人物が常に写っているように視点を自動選択するようにしてもよい。外部入力に関しては、キーボードやマウスなどの外部インタフェース用いて、位置姿勢図上において所望のカメラを選択入力するようにしてもよい。そして、視点選択が入力されたかを判定し（ステップＳ２５）、入力された場合、ステップＳ２３に戻って処理を繰り返す。一方、視点選択が入力されず、終了条件が入力された場合にはシステムの処理動作を終了する（ステップＳ２６）。
【００４４】
このように、複数のデータ獲得装置が取得した映像およびセンサデータを用いて、ロバストに位置姿勢を推定し、より快適な視聴を提供する多視点映像視聴システムを作成することが可能である。
【００４５】
なお、前述した実施形態では各カメラについてそれぞれ回転行列と並進ベクトルからなる位置姿勢を推定し可視化に使用したが、各カメラの間の関係を別の方法で記述することとし、その関係を推定することとしてもよい。例えば各カメラをノードとしたグラフ構造を構成し、各ノード間の距離として物理的距離を与えることとして、その物理的距離を推定するなどである。表示装置はグラフを可視化し、グラフ上のノード位置を指定したり隣接ノードへエッジにそって遷移したりすることで視点切り替えを実現するなどしてもよい。
【００４６】
以上説明したように、スマートフォンなどのカメラデバイスの映像およびデバイスに付属するセンサのデータを活用することでロバストにカメラの位置姿勢あるいは互いの位置関係を推定し、それらを可視化する多視点映像視聴システムを実現することを目的とする。
【００４７】
本発明によれば、カメラにより得られた映像データと、それに対応するセンサデータを用い、各カメラの位置姿勢あるいは互いの位置関係をロバストに推定することができる。また、本発明ではそれらの位置姿勢を可視化し視聴に利用する多視点映像視聴システムを提供することができる。これらはユーザが大量の映像の中から所望の視点の映像を素早く選択することを可能にする。
【００４８】
前述した実施形態における映像データ処理装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００４９】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００５０】
映像データとセンサデータとからロバストにカメラの位置姿勢あるいは互いの位置関係を推定し、それらを可視化することが不可欠な用途に適用できる。
【符号の説明】
【００５１】
１・・・映像データ処理装置、１１・・・データ入力部、１２・・・データ蓄積部、１３・・・データ処理部、１４・・・位置姿勢推定部、１５・・・表示部、１５１・・・表示部データ入力部、１５２・・・位置姿勢図作成部、１５３・・・提示映像決定部、１５４・・・外部入力受付部
【図１】
2016070891.tif 000003
【図２】
2016070891.tif 000004
【図３】
2016070891.tif 000005
【図４】
2016070891.tif 000006
【図５】
2016070891.tif 000007
【図６】
2016070891.tif 000008
【図７】
2016070891.tif 000009