(57)【要約】      （修正有）【課題】３次元画像データを生成するために用いる複数フレームの選択の処理負荷を小さくした３次元形状復元システム及び方法を提供する。【解決手段】対象物の周囲を移動して所定のフレームレートで撮像する動画撮像部と、動画像データを記憶する動画像データ記憶部と、動画撮像部の姿勢を検出する姿勢センサ部と、撮像開始と開始時刻情報を取得し、姿勢センサ情報を所定のタイミングで、その時刻情報と共に取得し、動画撮像装置の対象物に対する合焦を、その時刻情報と共に取得するイベント情報取得部と、撮像開始と撮像開始時刻を対応付けたイベント情報と、イベント情報を記憶するイベント情報記憶部と、所定の条件を満たすイベント情報を選択するイベント情報選択部と、選択されたイベント情報に対応する時刻のフレームを選択するフレーム選択部と、選択されたフレームに基づいて、３次元画像データを生成する３次元画像データ生成部と、を含むシステム。【選択図】図１
2017049052.tif 000002
【特許請求の範囲】
【請求項１】
対象物の３次元画像データを生成するシステムであって、
前記対象物の周囲の全部又は一部を移動させられて前記対象物を所定のフレームレートで撮像する動画撮像部と、
撮像された動画像データを記憶する動画像データ記憶部と、
前記動画撮像部の姿勢を検出し、姿勢センサ情報を出力する姿勢センサ部と、
撮像開始を検出すると共に撮像を開始した時刻情報を取得し、更に、前記姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像装置の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得するイベント情報取得部と、
撮像開始情報と前記撮像を開始した時刻情報を対応付けたイベント情報と、前記姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記合焦した時刻情報を対応付けたイベント情報を記憶するイベント情報記憶部と、
所定の条件を満たす複数の前記イベント情報を選択するイベント情報選択部と、
前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するフレーム選択部と、
選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成する３次元画像データ生成部と、
を含むシステム。
【請求項２】
生成された前記対象物の３次元画像データに基づいて前記対象物の３次元画像を表示する３次元画像表示部を更に含む請求項１に記載のシステム。
【請求項３】
表示された前記対象物の３次元画像の所定の位置に対応する前記フレームを表示する詳細画像表示部を更に含む請求項２に記載の方法。
【請求項４】
前記所定の条件は、（１）前記イベント情報の前記姿勢センサ情報が、所定の軸に対する第１の所定の複数の回転角度のいずれかに対応すること、（２）前記イベント情報が合焦検出情報を含むこと、及び（３）前記イベント情報の前記時刻情報が、所定の複数の時刻のいずれかに対応すること、の少なくとも１つである請求項１〜３のいずれか１項に記載のシステム。
【請求項５】
前記（１）の条件は、前記イベント情報の前記姿勢センサ情報が、前記所定の軸に対する第１の所定の複数の回転角度のいずれか、又は前記対象物から前記所定の軸の方向に離れた位置に対応することである請求項４に記載のシステム。
【請求項６】
前記所定の軸に対する第２の所定の複数の回転角度のうち、撮像が終了した回転角度を示す情報を表示する撮像終了方向表示部及び／又は前記所定の軸に対する第２の所定の複数の回転角度のうち、撮像が未了の回転角度を示す情報を表示する撮像未了方向表示部を更に含む請求項１〜５のいずれか１項に記載のシステム。
【請求項７】
対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物が所定のフレームレートで撮像された動画像データと、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記動画撮像部が前記対象物に対して合焦した時刻情報を対応付けたイベント情報に基づいて、対象物の３次元画像データを生成するサーバであって、
所定の条件を満たす複数の前記イベント情報を選択するイベント情報選択部と、
前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するフレーム選択部と、
選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成する３次元画像データ生成部と、
を含むサーバ。
【請求項８】
対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物が所定のフレームレートで撮像された動画像データと、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記動画撮像部が前記対象物に対して合焦した時刻情報を対応付けたイベント情報から選択された所定の条件を満たす複数のイベント情報に基づいて、対象物の３次元画像データを生成するサーバであって、
前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するフレーム選択部と、
選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成する３次元画像データ生成部と、
を含むサーバ。
【請求項９】
対象物の３次元画像データを生成する方法であって、
前記対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物を所定のフレームレートで撮像し、撮像された動画像データを動画像データ記憶部に記憶するステップと、
撮像開始を検出すると共に撮像を開始した時刻情報を取得し、撮像開始情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、
前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像部の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得し、前記姿勢センサ情報及び／又は合焦検出情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、
所定の条件を満たす複数の前記イベント情報を選択するステップと、
前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するステップと、
選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するステップと、
を含む方法。
【請求項１０】
請求項９に記載の方法をコンピュータに実行させるためのプログラム。
【請求項１１】
対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物が所定のフレームレートで撮像された動画像データと、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記動画撮像部が前記対象物に対して合焦した時刻情報を対応付けたイベント情報に基づいて、対象物の３次元画像データを生成するためのプログラムであって、
所定の条件を満たす複数の前記イベント情報を選択するステップと、
前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するステップと、
選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するステップと、
をコンピュータに実行させるためのプログラム。
【請求項１２】
対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物が所定のフレームレートで撮像された動画像データと、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記動画撮像部が前記対象物に対して合焦した時刻情報を対応付けたイベント情報から選択された所定の条件を満たす複数のイベント情報に基づいて、対象物の３次元画像データを生成するためのプログラムであって、
前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するステップと、
選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するステップと、
をコンピュータに実行させるためのプログラム。
【請求項１３】
所定の条件を満たす複数のイベント情報を選択し、対象物の動画像データを構成するフレームから、選択された複数の前記イベント情報の時刻情報に対応する時刻のフレームをそれぞれ選択し、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するために用いられる前記動画像データ及び前記イベント情報を生成するためのプログラムであって、
前記対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物を所定のフレームレートで撮像し、撮像された動画像データを動画像データ記憶部に記憶するステップと、
撮像開始を検出すると共に撮像を開始した時刻情報を取得し、撮像開始情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、
前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像部の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得し、前記姿勢センサ情報及び／又は合焦検出情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、
をコンピュータに実行させるためのプログラム。
【請求項１４】
対象物の動画像データを構成するフレームから、選択された複数のイベント情報の時刻情報に対応する時刻のフレームをそれぞれ選択し、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するために用いられる前記動画像データを生成し、前記イベント情報を選択するためのプログラムであって、
前記対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物を所定のフレームレートで撮像し、撮像された動画像データを動画像データ記憶部に記憶するステップと、
撮像開始を検出すると共に撮像を開始した時刻情報を取得し、撮像開始情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、
前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像部の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得し、前記姿勢センサ情報及び／又は合焦検出情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、
所定の条件を満たす複数の前記イベント情報を選択するステップと、
をコンピュータに実行させるためのプログラム。
【請求項１５】
対象物の動画像データを構成するフレームから選択された複数のフレームに基づいて、前記対象物の３次元画像データを生成するために用いられる前記動画像データを生成し、前記複数のフレームを選択するためのプログラムであって、
前記対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物を所定のフレームレートで撮像し、撮像された動画像データを動画像データ記憶部に記憶するステップと、
撮像開始を検出すると共に撮像を開始した時刻情報を取得し、撮像開始情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、
前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像部の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得し、前記姿勢センサ情報及び／又は合焦検出情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、
所定の条件を満たす複数の前記イベント情報を選択するステップと、
前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物を撮像した動画像データに基づいて、対象物の３次元画像データを生成するためのシステム、方法、プログラムに関する。
【背景技術】
【０００２】
対象物を撮像した動画像データを構成するフレーム（２次元の静止画像）から複数のフレームを選択し、選択された複数のフレームに基づいて、対象物の３次元画像データを生成する３次元復元方法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−７７９４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載されている３次元形状復元方法においては、対象物の３次元画像データを生成するために用いる複数のフレームを適切に選択するために、各フレームを撮像したときのビデオカメラの位置間の距離又はビデオカメラの向きの間の角度を計算する等の計算処理を要するため、フレーム選択の処理負荷が大きかった。
【０００５】
そこで、本発明は、対象物の３次元画像データを生成するために用いる複数のフレームの選択の処理負荷を小さくした３次元形状復元システム及び方法を提供することを目的の１つとする。
【課題を解決するための手段】
【０００６】
本発明の１つの態様は、対象物の３次元画像データを生成するシステムであって、前記対象物の周囲の全部又は一部を移動させられて前記対象物を所定のフレームレートで撮像する動画撮像部と、撮像された動画像データを記憶する動画像データ記憶部と、前記動画撮像部の姿勢を検出し、姿勢センサ情報を出力する姿勢センサ部と、撮像開始を検出すると共に撮像を開始した時刻情報を取得し、更に、前記姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像装置の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得するイベント情報取得部と、撮像開始情報と前記撮像を開始した時刻情報を対応付けたイベント情報と、前記姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記合焦した時刻情報を対応付けたイベント情報を記憶するイベント情報記憶部と、所定の条件を満たす複数の前記イベント情報を選択するイベント情報選択部と、前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するフレーム選択部と、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成する３次元画像データ生成部と、を含むシステムを提供するものである。
【０００７】
前記システムは、生成された前記対象物の３次元画像データに基づいて前記対象物の３次元画像を表示する３次元画像表示部を更に含むことができる。
【０００８】
前記システムは、表示された前記対象物の３次元画像の所定の位置に対応する前記フレームを表示する詳細画像表示部を更に含むことができる。
【０００９】
前記所定の条件は、（１）前記イベント情報の前記姿勢センサ情報が、所定の軸に対する第１の所定の複数の回転角度のいずれかに対応すること、（２）前記イベント情報が合焦検出情報を含むこと、及び（３）前記イベント情報の前記時刻情報が、所定の複数の時刻のいずれかに対応すること、の少なくとも１つとすることができる。
【００１０】
前記（１）の条件は、前記イベント情報の前記姿勢センサ情報が、前記所定の軸に対する第１の所定の複数の回転角度のいずれか、又は前記対象物から前記所定の軸の方向に離れた位置に対応することとすることができる。
【００１１】
前記システムは、前記所定の条件を設定する条件設定部を更に含むことができる。
【００１２】
前記所定の軸の方向は、前記姿勢センサ部の検出軸の１つの方向と同じとすることができる。
【００１３】
前記所定の軸の方向は、重力方向とすることができる。
【００１４】
前記所定の複数の時刻は、選択されるべき前記複数のフレームに基づいて決定されるものとすることができる。
【００１５】
前記システムは、前記所定の軸に対する第２の所定の複数の回転角度のうち、撮像が終了した回転角度を示す情報を表示する撮像終了方向表示部を更に含むことができる。
【００１６】
前記システムは、前記所定の軸に対する第２の所定の複数の回転角度のうち、撮像が未了の回転角度を示す情報を表示する撮像未了方向表示部を更に含むことができる。
【００１７】
前記動画撮像部、前記動画像データ記憶部、前記イベント情報取得部、及び前記イベント情報記憶部が動画撮像装置に備えられ、前記イベント情報選択部、前記フレーム選択部、前記３次元画像データ生成部がサーバに備えられ、前記動画撮像装置は、３次元画像データ生成処理要求、前記動画像データ、及び前記イベント情報を前記サーバへ送信する第１の送受信部を含むものとすることができる。
【００１８】
前記サーバは、前記３次元画像データ生成処理要求、前記動画像データ、及び前記イベント情報を前記動画撮像装置から受信し、生成された前記対象物の３次元画像データを前記動画撮像装置へ送信する第２の送受信部を含むことができる。
【００１９】
本発明の１つの態様は、対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物が所定のフレームレートで撮像された動画像データと、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記動画撮像部が前記対象物に対して合焦した時刻情報を対応付けたイベント情報に基づいて、対象物の３次元画像データを生成するサーバであって、所定の条件を満たす複数の前記イベント情報を選択するイベント情報選択部と、前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するフレーム選択部と、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成する３次元画像データ生成部と、を含むサーバを提供するものである。
【００２０】
本発明の１つの態様は、対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物が所定のフレームレートで撮像された動画像データと、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記動画撮像部が前記対象物に対して合焦した時刻情報を対応付けたイベント情報から選択された所定の条件を満たす複数のイベント情報に基づいて、対象物の３次元画像データを生成するサーバであって、前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するフレーム選択部と、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成する３次元画像データ生成部と、を含むサーバを提供するものである。
【００２１】
本発明の１つの態様は、所定の条件を満たす複数のイベント情報を選択し、対象物の動画像データを構成するフレームから、選択された複数の前記イベント情報の時刻情報に対応する時刻のフレームをそれぞれ選択し、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するために用いられる前記動画像データ及び前記イベント情報を生成する装置であって、前記対象物の周囲の全部又は一部を移動させられて前記対象物を所定のフレームレートで撮像する動画撮像部と、撮像された動画像データを記憶する動画像データ記憶部と、前記動画撮像部の姿勢を検出し、姿勢センサ情報を出力する姿勢センサ部と、撮像開始を検出すると共に撮像を開始した時刻情報を取得し、更に、前記姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像装置の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得するイベント情報取得部と、撮像開始情報と前記撮像を開始した時刻情報を対応付けたイベント情報と、前記姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記合焦した時刻情報を対応付けたイベント情報を記憶するイベント情報記憶部と、
を含む装置を提供するものである。
【００２２】
本発明の１つの態様は、対象物の動画像データを構成するフレームから、選択された複数のイベント情報の時刻情報に対応する時刻のフレームをそれぞれ選択し、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するために用いられる前記動画像データを生成し、前記イベント情報を選択する装置であって、
前記対象物の周囲の全部又は一部を移動させられて前記対象物を所定のフレームレートで撮像する動画撮像部と、撮像された動画像データを記憶する動画像データ記憶部と、前記動画撮像部の姿勢を検出し、姿勢センサ情報を出力する姿勢センサ部と、撮像開始を検出すると共に撮像を開始した時刻情報を取得し、更に、前記姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像装置の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得するイベント情報取得部と、撮像開始情報と前記撮像を開始した時刻情報を対応付けたイベント情報と、前記姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記合焦した時刻情報を対応付けたイベント情報を記憶するイベント情報記憶部と、所定の条件を満たす複数の前記イベント情報を選択するイベント情報選択部と、を含む装置提供するものである。
【００２３】
本発明の１つの態様は、対象物の動画像データを構成するフレームから選択された複数のフレームに基づいて、前記対象物の３次元画像データを生成するために用いられる前記動画像データを生成し、前記複数のフレームを選択する装置であって、前記対象物の周囲の全部又は一部を移動させられて前記対象物を所定のフレームレートで撮像する動画撮像部と、撮像された動画像データを記憶する動画像データ記憶部と、前記動画撮像部の姿勢を検出し、姿勢センサ情報を出力する姿勢センサ部と、撮像開始を検出すると共に撮像を開始した時刻情報を取得し、更に、前記姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像装置の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得するイベント情報取得部と、撮像開始情報と前記撮像を開始した時刻情報を対応付けたイベント情報と、前記姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記合焦した時刻情報を対応付けたイベント情報を記憶するイベント情報記憶部と、所定の条件を満たす複数の前記イベント情報を選択するイベント情報選択部と、前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するフレーム選択部と、を含む装置を提供するものである。
【００２４】
本発明の１つの態様は、対象物の３次元画像データを生成する方法であって、前記対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物を所定のフレームレートで撮像し、撮像された動画像データを動画像データ記憶部に記憶するステップと、撮像開始を検出すると共に撮像を開始した時刻情報を取得し、撮像開始情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像部の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得し、前記姿勢センサ情報及び／又は合焦検出情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、所定の条件を満たす複数の前記イベント情報を選択するステップと、前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するステップと、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するステップと、を含む方法を提供するものである。
【００２５】
前記方法は、生成された前記対象物の３次元画像データに基づいて前記対象物の３次元画像を表示するステップを更に含むことができる。
【００２６】
前記方法は、表示された前記対象物の３次元画像上の指定された点に対して、該指定された点に対応する前記フレームを表示するステップを更に含むことができる。
【００２７】
前記所定の条件は、（１）前記イベント情報の前記姿勢センサ情報が、所定の軸に対する第１の所定の複数の回転角度のいずれかに対応すること、（２）前記イベント情報が合焦検出情報を含むこと、及び（３）前記イベント情報の前記時刻情報が、所定の複数の時刻のいずれかに対応すること、の少なくとも１つとすることができる。
【００２８】
前記（１）の条件は、前記イベント情報の前記姿勢センサ情報が、前記所定の軸に対する第１の所定の複数の回転角度のいずれか、又は前記対象物から前記所定の軸の方向に離れた位置に対応することとすることができる。
【００２９】
前記（１）の条件は、前記イベント情報の前記姿勢センサ情報が、前記所定の軸に対する第１の所定の複数の回転角度のいずれか、又は前記対象物から前記所定の軸の方向に離れた位置に対応することとすることができる。
【００３０】
前記方法は、前記所定の条件を設定するステップを更に含むことができる。
【００３１】
前記所定の軸は、前記姿勢センサ部の検出軸の１つの方向と同じとすることができる。
【００３２】
前記所定の軸の方向は、重力方向とすることができる。
【００３３】
前記所定の複数の時刻は、選択されるべき前記複数のフレームに基づいて決定されるものとすることができる。
【００３４】
前記方法は、前記所定の軸に対する第２の所定の複数の回転角度のうち、撮像が終了した回転角度を示す情報を表示するステップを更に含むことができる。
【００３５】
前記方法は、前記所定の軸に対する第２の所定の複数の回転角度のうち、撮像が未了の回転角度を示す情報を表示するステップを更に含むことができる。
【００３６】
３次元画像データ生成処理要求、前記動画像データ、及び前記イベント情報が前記動画撮像装置から前記サーバに送信され、該動画像データと該イベント情報に基づいて、前記サーバにより前記対象物の３次元画像データが生成されることができる。
【００３７】
生成された前記対象物の３次元画像データが前記サーバから前記動画撮像装置へ送信されることができる。
【００３８】
本発明の１つの態様は、対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物が所定のフレームレートで撮像された動画像データと、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記動画撮像部が前記対象物に対して合焦した時刻情報を対応付けたイベント情報に基づいて、対象物の３次元画像データを生成する方法であって、所定の条件を満たす複数の前記イベント情報を選択するステップと、前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するステップと、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するステップと、を含む方法を提供するものである。
【００３９】
本発明の１つの態様は、対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物が所定のフレームレートで撮像された動画像データと、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報及び／又は合焦検出情報と前記姿勢センサ情報を取得した時刻情報及び／又は前記動画撮像部が前記対象物に対して合焦した時刻情報を対応付けたイベント情報から選択された所定の条件を満たす複数のイベント情報に基づいて、対象物の３次元画像データを生成する方法であって、前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するステップと、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するステップと、を含む方法を提供するものである。
【００４０】
本発明の１つの態様は、前記方法をコンピュータに実行させるためのプログラムを提供するものである。
【００４１】
本発明の１つの態様は、前記プログラムを記録したコンピュータ読み取り可能な記録媒体を提供するものである。
【００４２】
本発明の１つの態様は、所定の条件を満たす複数のイベント情報を選択し、対象物の動画像データを構成するフレームから、選択された複数の前記イベント情報の時刻情報に対応する時刻のフレームをそれぞれ選択し、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するために用いられる前記動画像データ及び前記イベント情報を生成する方法であって、前記対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物を所定のフレームレートで撮像し、撮像された動画像データを動画像データ記憶部に記憶するステップと、撮像開始を検出すると共に撮像を開始した時刻情報を取得し、撮像開始情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像部の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得し、前記姿勢センサ情報及び／又は合焦検出情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、
を含む方法を提供するものである。
【００４３】
本発明の１つの態様は、対象物の動画像データを構成するフレームから、選択された複数のイベント情報の時刻情報に対応する時刻のフレームをそれぞれ選択し、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成するために用いられる前記動画像データを生成し、前記イベント情報を選択する方法であって、前記対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物を所定のフレームレートで撮像し、撮像された動画像データを動画像データ記憶部に記憶するステップと、撮像開始を検出すると共に撮像を開始した時刻情報を取得し、撮像開始情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像部の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得し、前記姿勢センサ情報及び／又は合焦検出情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、所定の条件を満たす複数の前記イベント情報を選択するステップと、を含む方法を提供するものである。
【００４４】
本発明の１つの態様は、対象物の動画像データを構成するフレームから選択された複数のフレームに基づいて、前記対象物の３次元画像データを生成するために用いられる前記動画像データを生成し、前記複数のフレームを選択する方法であって、前記対象物の周囲の全部又は一部を移動させられる動画撮像部により前記対象物を所定のフレームレートで撮像し、撮像された動画像データを動画像データ記憶部に記憶するステップと、撮像開始を検出すると共に撮像を開始した時刻情報を取得し、撮像開始情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、前記動画撮像部の姿勢を検出する姿勢センサ部から出力された前記動画撮像部の姿勢センサ情報を複数の所定のタイミングで取得すると共に前記姿勢センサ情報を取得した時刻情報を取得し、及び／又は前記動画撮像部の前記対象物に対する合焦を検出すると共に合焦した時刻情報を取得し、前記姿勢センサ情報及び／又は合焦検出情報と前記時刻情報を対応付けたイベント情報としてイベント情報記憶部に記憶するステップと、所定の条件を満たす複数の前記イベント情報を選択するステップと、前記動画像データを構成するフレームから、選択された複数の前記イベント情報の前記時刻情報に対応する時刻のフレームをそれぞれ選択するステップと、を含む方法を提供するものである。
【００４５】
本発明の１つの態様は、前記方法をコンピュータに実行させるためのプログラムを提供するものである。
【００４６】
本発明の１つの態様は、前記プログラムを記録したコンピュータ読み取り可能な記録媒体を提供するものである。
【００４７】
本明細書及び特許請求の範囲において、「サーバ」は、１つ又はそれ以上のサーバを意味し、複数のサーバにより構成されるものも含む。
【発明の効果】
【００４８】
上記構成を有する本発明によれば、対象物の３次元画像データを生成するために用いる複数のフレームの選択の処理負荷を小さくすることができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の１つの実施形態に係る３次元画像データシステムの構成図である。
【図２】本発明の１つの実施形態に係る３次元画像データシステムの３次元画像データ生成処理のフローチャートである。
【図３】イベント情報の一例を示す図である。
【図４】選択されたフレームの一部の一例を示す図である。
【図５】生成された対象物の３次元画像データによる３次元画像の一例を示す図である。
【図６】表示された３次元画像の所定の位置に関する詳細画像の表示の一例を示す図である。
【図７】所定の軸に対する第２の所定の複数の回転角度のうち、撮像が終了した回転角度を示す情報の表示の一例を示す図である。
【図８】所定の軸に対する第２の所定の複数の回転角度のうち、撮像が未了の回転角度を示す情報の表示の一例を示す図である。
【図９】撮像未了方向があること、及び追加の撮像を行うか否かの確認メッセージの表示を示す図である。
【発明を実施するための形態】
【００５０】
以下、本発明の実施形態について図面を参照して説明する。
【００５１】
図１は、本発明の１つの実施形態に係る生成システムの全体構成を示す図である。３次元画像データ生成システム１は、動画撮像装置１０とサーバ２０を含む。
【００５２】
動画撮像装置１０は、例えばスマートフォン、タブレット型コンピュータ、デジタルビデオカメラであり、ＣＰＵ、通信機能、ストレージ機能（内部記録媒体並びに外部記録媒体に対するドライブユニット及び／又は入出力インタフェース）、入力機能（キーボード、マウス等）、表示機能（ディスプレイ）を備えたコンピュータ装置と、所定のコンピュータプログラムとで構成される。このコンピュータプログラムは、コンピュータ装置を、動画撮像部１０１、動画像データ記憶部１０３、姿勢センサ部１０４、イベント情報取得部１０５、イベント情報記憶部１０７、３次元画像表示部１０９、詳細画像表示部１１１、条件設定部１１３、撮像終了方向表示部１１５、撮像未了方向表示部１１７、第１の送受信部１１９、操作入力／表示部１２１、音声出力部１２３、時計部１２５として機能させる。
【００５３】
動画撮像部１０１は、撮像素子（図示しない）、被写体像を撮像素子に結像するためのレンズ部１０１ａ、それらを制御する制御部（図示しない）等を含み、被写体を所定のフレームレートで動画撮像するものであり、対象物３の周囲の全部又は一部を移動させられることにより対象物３を所定のフレームレートで撮像することができる。また、動画撮像部１０１は、オートフォーカス機能を有し、対象物３に対して合焦すると、オートフォーカス完了信号を出力する。
【００５４】
動画像データ記憶部１０３は、撮像された動画像データを記憶する。動画像データ記憶部１０３は、ハードディスクや半導体メモリ等の任意の数の記憶部品から構成されるが、これらに限定されるものではない。
【００５５】
姿勢センサ部１０４は、動画撮像部１０１の姿勢を検出し、姿勢センサ情報を出力する。姿勢センサ部１０４は、例えば、ジャイロセンサ、加速度センサ、それらの組み合わせ等であり、動画撮像部１０１の各軸回りの角速度や加速度といった動画撮像部１０１の姿勢に関する情報を出力する。姿勢センサ部は、動画撮像装置１０に内蔵されていてもよいし、取り付けられていてもよい。本実施形態においては、姿勢センサ部１０４は、Ｘ軸、Ｙ軸、Ｚ軸の３軸のジャイロセンサであり、Ｙ軸の方向は重力方向（鉛直方向）であるが、このＹ軸の方向は他の方向とすることもできる。
【００５６】
イベント情報取得部１０５は、撮像開始を検出すると共に撮像を開始した時刻情報を取得する。また、イベント情報取得部１０５は、姿勢センサ部１０４から出力された動画撮像部１０１の姿勢センサ情報を、例えば１ミリ秒から１０ミリ秒間隔といった複数の所定のタイミングで取得すると共に姿勢センサ情報を取得した時刻情報を取得し、また動画撮像装置１０の対象物３に対する合焦を検出すると共に合焦した時刻情報を取得する。
【００５７】
イベント情報記憶部１０７は、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報と、姿勢センサ情報及び／又は合焦検出情報と姿勢センサ情報を取得した時刻情報及び／又は合焦した時刻情報を対応付けたイベント情報を記憶する。イベント情報記憶部１０７は、ハードディスクや半導体メモリ等の任意の数の記憶部品から構成されるが、これらに限定されるものではない。
【００５８】
３次元画像表示部１０９は、生成された対象物３の３次元画像データに基づいて対象物３の３次元画像を後述の操作入力／表示部１２１に表示する。
【００５９】
詳細画像表示部１１１は、操作入力／表示部１２１に表示された対象物３の３次元画像の所定の位置に対応するフレームを操作入力／表示部１２１に表示する。
【００６０】
条件設定部１１３は、イベント情報選択のための後述の所定の条件を設定する。
【００６１】
撮像終了方向表示部１１５は、所定の軸に対する第２の所定の複数の回転角度のうち、撮像が終了した回転角度を示す情報を、操作入力／表示部１２１に表示する。
【００６２】
撮像未了方向表示部１１７は、所定の軸に対する第２の所定の複数の回転角度のうち、撮像が未了の回転角度を示す情報を、操作入力／表示部１２１に表示する。
【００６３】
第１の送受信部１１９は、データを外部の装置と送受信するものであり、３次元画像データ生成処理要求、動画像データ、イベント情報をサーバ２０に送信し、生成された３次元画像データを受信することができる。
【００６４】
操作入力／表示部１２１は、例えばタッチパネル、キーボードやマウス等から構成されるが、これらに限定されるものではない。
【００６５】
音声出力部１９は、スピーカ等から構成されるが、これに限定されるものではない。
【００６６】
時計部１２５は、時刻情報を生成し、出力する。
【００６７】
サーバ２０は、ＣＰＵ、通信機能、ストレージ機能（内部記録媒体並びに外部記録媒体に対するドライブユニット及び／又は入出力インタフェース）、入力機能（キーボード、マウス等）、表示機能（ディスプレイ）を備えたコンピュータ装置と、所定のコンピュータプログラムとで構成される。このコンピュータプログラムは、コンピュータ装置を、イベント情報選択部２０１、フレーム選択部２０３、３次元画像データ生成部２０５、第２の送受信部２０７、記憶部２０９として機能させる。サーバ２０は、複数のサーバにより構成されるものであってもよい。
【００６８】
イベント情報選択部２０１は、後述の所定の条件を満たす複数の前記イベント情報を選択する。
【００６９】
フレーム選択部２０３は、動画像データを構成するフレームから、選択された複数のイベント情報の時刻情報に対応する時刻のフレームをそれぞれ選択する。
【００７０】
３次元画像データ生成部２０５は、選択された複数の前記フレームに基づいて、前記対象物の３次元画像データを生成する。
【００７１】
第２の送受信部２０７は、データを外部の装置と送受信するものであり、３次元画像データ生成処理要求、動画像データ、イベント情報を受信し、生成された３次元画像データを送信することができる。
【００７２】
記憶部２０９は、受信した動画像データ、イベント情報を記憶する。記憶部２０９は、ハードディスクや半導体メモリ等の任意の数の記憶部品から構成されるが、これらに限定されるものではない
【００７３】
以上の装置構成を前提に、本発明の１つの実施形態に係る３次元画像データ生成システムの３次元画像データ生成処理の例を、図２〜９等を参照して、以下に説明する。
【００７４】
＜動画撮像処理＞
まず、操作入力／表示部１２１であるタッチパネル上に表示された録画開始ボタンが、ユーザによってタッチされることによって、対象物３である落とし物の動画撮像が開始される（Ｓ１）。ここで、動画の撮像は所定のフレームレート、本実施形態においては３０ｐｆｓで行われる。このとき、イベント情報取得部１０５は、動画撮像部１０１からの撮像開始信号を受信することにより、撮像開始を検出すると共に時計部１２５から撮像を開始した時刻情報を取得し、撮像開始を表す撮像開始情報と撮像を開始した時刻情報を、撮像開始情報と撮像を開始した時刻情報を対応付けたイベント情報として、イベント情報記憶部１０７に記憶させる（Ｓ２）。図３は、イベント情報の一例であり、１行目の「3418.660」は、撮像を開始した時刻情報である「３４分１８秒６６０ミリ秒」を表し、撮像開始時に時計部１２５から取得した時刻の「１時３４分１８秒６６０ミリ秒」を分以下の時刻情報としたものである。また同じ１行目の「RECORDER START」が撮像開始を表す撮像開始情報である。
【００７５】
対象物３の撮像開始後、ユーザは対象物３の周り一周と対象物３の正面方向から対象物３の上部が撮像されるように、動画撮像装置１０を移動させ、所定のフレームレート、（本実施形態においては３０ｐｆｓ）で対象物３を撮像し、撮像された動画像データを動画像データ記憶部１０３に記憶させる（Ｓ３）。このとき、イベント情報取得部１０５は、動画撮像部１０１の姿勢を検出し、姿勢センサ情報を出力する姿勢センサ部１０４であるジャイロセンサから、例えば１ミリ秒から１０ミリ秒間隔といった所定のタイミングで動画撮像部１０１の姿勢センサ情報を取得すると共に、姿勢センサ部１０４からの姿勢センサ情報を取得した時刻情報を時計部１２５から取得し、姿勢センサ部１０４からの姿勢センサ情報とそれを取得した時刻情報を、それらが対応付けられたイベント情報として、イベント情報記憶部１０７に記憶させる（Ｓ４）。
【００７６】
図３を再び参照すると、４行目のイベント情報の「3418.681」は、「３４分１８秒６８１ミリ秒」を表す。また、同じ４行目の「GYROSCOPE,X(-0.061201),Y(0.177304),Z(0.299057)」は、姿勢センサ部１０４からの出力情報であり、図４に示されるようなローカル座標におけるＸ軸、Ｙ軸、Ｚ軸それぞれの軸回りの角速度（ｒａｄ／ｓ）を表す。
【００７７】
また、イベント情報取得部１０５は、動画撮像部１０１からのオートフォーカス完了信号を受信することにより、動画撮像部１０１の対象物３に対する合焦を検出すると共に、動画撮像部１０１の対象物３に対する合焦を検出した時刻情報を時計部１２５から取得し、合焦検出を表す合焦検出情報と合焦を検出を受信した時刻情報を、それらが対応付けられたイベント情報として、イベント情報記憶部１０７に記憶させる（Ｓ５）。
【００７８】
図３を再び参照すると、２行目のイベント情報の「3418.662」は、「３４分１８秒６６２ミリ秒」を表す。また、同じ２行目の「ON_AUTO_FOCUS」は、合焦検出を表す合焦検出情報である。
【００７９】
操作入力／表示部１２１であるタッチパネル上に表示されている録画終了ボタンが、ユーザによってタッチされると、対象物３の動画撮像が終了する（Ｓ６）。
【００８０】
＜３次元画像データ生成処理＞
その後、動画撮像装置１０の操作入力／表示部１２１であるタッチパネルに表示されたメニューから、ユーザによって、「３Ｄデータ生成実行」がタッチされると、３次元画像データ生成処理が開始される（Ｓ７）。
【００８１】
まず、３次元画像データ生成処理要求、動画像データ記憶部に記憶された動画像データ、及びイベント情報記憶部１０７に記憶されたイベント情報が、第１の送受信部１１９から、サーバ２０に送信される（Ｓ８）。
【００８２】
送信された３次元画像データ生成処理要求、動画像データ、及びイベント情報は、サーバ２０の第２の送受信部２０７によって受信され、動画像データとイベント情報は、サーバ２０の記憶部２０９に記憶される（Ｓ９）。また、受信された３次元画像データ生成処理要求にしたがって、サーバ２０側で３次元画像データ生成処理が開始される（Ｓ１０）。
【００８３】
まず、３次元画像データ生成処理に使用する２次元静止画像であるフレームをどのような条件で選択するかが、ユーザの入力により指定され、条件設定部１１３が条件を設定する（Ｓ１１）。条件はユーザの入力によらず、条件設定部１１３が設定することもできる。その条件としては、（１）「角度」、（２）「合焦」、（３）「時間」、（４）「枚数」の４つが用意されている。これらの条件のうちの１つ、又はこれらの条件を組み合わせて指定することができる。
【００８４】
（１）の条件は、所定の軸に対する第１の所定の複数の回転角度と、対象物３の上部又は下部のフレーム、すなわち対象物３から所定の軸の方向に離れた位置のフレームを選択するか否かを指定するものである。対象物３から所定の軸の方向に離れた位置のフレームを選択するか否かは、フレームが、例えば、所定の軸に直交する軸回りの回転角度が９０°又は２７０°を中心に所定の角度範囲内にあるか否かで判断することができる。すなわち、例えば、対象物３の上部から撮像したフレームである、Ｘ軸回りの回転角度であるピッチ角が例えば７５°以上といった所定の値以上であるフレームと、ピッチ角が７５°未満であり、重力方向（鉛直方向）の軸であるＹ軸（ヨー軸）回りの回転方向に、例えば１０°といった所定の一定の角度間隔のフレームと、を選択するものである。なお、所定の角度間隔としては、一定でない角度間隔とすることもできる。本実施形態においては、（１）の条件の指定においては、ヨー軸回りの回転角度間隔と、対象物３の上部のフレームに加えて下部のフレームも選択するか否かを指定する。本実施形態においては、所定の軸の方向は、重力方向で、姿勢センサ部１０４であるジャイロセンサの検出軸の１つであるＹ軸の方向と一致しているが、他の任意の方向とすることもできる。
【００８５】
ここで、取得された姿勢センサ情報又は姿勢センサ情報から算出された回転角度が、指定された回転角度と完全に一致しない場合があるため、本実施形態においては、まず所定の角度間隔の回転角度に対応する姿勢センサ情報を含むイベント情報を選択し、次いで後述のように選択されたイベント情報に対応するフレームを選択する。イベント情報の選択基準としては、所定の角度間隔に替えて、直接指定された複数の回転角度等、イベント情報の姿勢センサ情報が、所定の軸に対する第１の所定の複数の回転角度のいずれかに対応するものであれば、他の適切な基準を用いることができる。また、所定の角度間隔の回転角度に対応する姿勢センサ情報としては、本実施形態においては、所定の角度間隔の回転角度に最も近い回転角度に相当する姿勢センサ情報を用いるが、所定の角度間隔の回転角度よりも小さな回転角度のうちで最も近い回転角度に相当する姿勢センサ情報等、所定の角度間隔の回転角度と一定の関係にある他の適切な姿勢センサ情報を用いることもできる。
【００８６】
（２）の条件は、ピントのあったフレームから３次元画像データを生成するものである。すなわち、フレーム選択に際して選択されるイベント情報が合焦検出情報を含むことである。
【００８７】
（３）の条件は、所定の複数の時刻を指定するものである。例えば、所定の一定の時間間隔のフレームを選択するものである。本実施形態においては、（３）の条件の指定においては、時間間隔を指定する。ここで、取得された時刻情報が指定された時間間隔の時刻と完全に一致しない場合があるため、本実施形態においては、まず所定の時間間隔に対応する時刻情報を含むイベント情報を選択し、次いで後述のように選択されたイベント情報に対応するフレームを選択する。所定の時間間隔としては、一定でない時間間隔とすることもできる。イベント情報の選択基準としては、所定の時間間隔に替えて、直接指定された複数の撮像開始時刻からの経過時間等、イベント情報の時刻情報が、所定の複数の時刻のいずれかに対応するものであれば、他の適切な基準を用いることができる。
【００８８】
（４）の条件は、（３）の条件の一形態であるが、所定の時間間隔を指定のフレーム枚数に基づいて決定するものである。すなわち、動画の撮像開始時刻から終了時刻までの時間を、指定のフレーム枚数で除した時間間隔でフレームを選択するものである。（４）の条件の指定においては、フレーム枚数を指定する。
【００８９】
本実施形態においては、（１）の条件について、角度間隔が１０°、対象物の上部と下部のうち上部のフレームのみが指定され、かつ（２）の条件が指定されたもの、すなわち、角度間隔が１０°に対応するフレーム、対象物の上部のフレーム、及び合焦したフレームを選択するものとして説明する。
【００９０】
サーバ２０において、指定された所定の条件を満たす複数のイベント情報が選択される（Ｓ１２）。具体的には、動画撮像装置１０から送信されたイベント情報に含まれる姿勢センサ情報は、ローカル座標におけるＸ軸、Ｙ軸、Ｚ軸それぞれの軸回りの角速度であるので、平滑化等のノイズ除去処理を行い、撮像開始時の姿勢を基準として、Ｘ軸、Ｙ軸、Ｚ軸それぞれの軸回りの回転角度であるピッチ角、ヨー角、ロール角を算出する。ここで、図４も参照すると、対象物３の周りを一周撮像すると、動画撮像装置１０のレンズ部１０１ａは対象物３に常に向けられているので、動画撮像装置１０は、Ｙ軸の周りに３６０°回転することになり、ヨー角が０〜３６０°まで変化する。また、動画撮像装置１０のレンズ部１０１ａは対象物３に常に向けられているので、例えば動画撮像装置１０を対象物３の真上まで移動させると、Ｘ軸回りに回転することになり、ピッチ角が０〜９０°まで変化する。算出されたピッチ各、ヨー角、ロール角は、記憶部２０９に時刻情報と対応付けて記憶される。そして、対象物３の上部でないとみなせるピッチ角が７５°未満で、Ｙ軸の周りの回転方向に１０°の角度間隔の回転角度、すなわちヨー角が、０°、１０°、２０°、・・・、３５０°のそれぞれに最も近い回転角度に相当する姿勢センサ情報を含むイベント情報と、対象物３の上部とみなせるピッチ角が７５°以上である姿勢センサ情報を含むイベント情報を選択する。また、（２）の条件に対応して、合焦検出情報を含むイベント情報を選択する。以上の選択された複数のイベント情報の時刻情報を読み出し、それぞれのイベント情報について、撮像開始時刻からの経過時間を算出する。
【００９１】
次いで、動画像データを構成するフレームから、選択された複数の前記イベント情報の時刻情報に対応する時刻のフレームをそれぞれ選択する（Ｓ１３）。具体的には、以下のようにして選択する。動画像は、所定のフレームレートで撮影されているので、各フレームについて、撮像開始時刻からの経過時間を求めることができる。すなわち、ｎ枚目のフレームの撮像開始時刻からの経過時間をｔｎ（秒）、フレームレートをｆｒ（ｆｐｓ）とすると、ｔｎ＝（１／ｆｒ）×（ｎ−１）となる。この式を変形すると、ｎ＝ｔｎ×ｆｒ＋１となる。そこで、本実施形態においては、フレーム選択部２０３が、選択されたイベント情報の各々について、撮像開始時刻からの経過時間にフレームレートを乗じた値に１を加えた値を小数点以下を四捨五入することによって、選択されたイベント情報の撮像開始時刻からの経過時間に最も近い撮像開始時刻からの経過時間のフレームを選択する。ここで、本実施形態においては、選択されたイベント情報の時刻情報に対応する時刻のフレームとして、選択されたイベント情報の撮像開始時刻からの経過時間に最も近い撮像開始時刻からの経過時間のフレームを選択したが、その他の適切な手法によって選択することができることは言うまでもない。
【００９２】
ここで、（２）の条件以外の条件のみが指定された場合、選択されたフレームがぼけているか否かを判定して、ぼけていると判定されたフレームを、該フレームに時間的に近いフレームで置き換えてもよい。
【００９３】
図４は、選択されたフレームの一部の例を示す。Ｆ１は、撮像開始時刻のフレームであり、ヨー角が０°、ピッチ角が１０°に対応する。Ｆ２は、ヨー角が３０°、ピッチ角が３０°に対応する。Ｆ３は、ヨー角が１５０°、ピッチ角が４０°に対応する。Ｆ４は、ヨー角が２４０°、ピッチ角が４０°に対応する。Ｆ５は、ヨー角が３２０°、ピッチ角が２０°に対応する。Ｆ６は、ヨー角が０°、ピッチ角が８０°に対応し、対象物３の正面方向における対象物３の上部のフレームに対応する。
【００９４】
続いて、３次元画像データ生成部２０５は、フレーム選択部２０３によって選択された複数のフレームに基づいて、対象物３の３次元復元画像の３次元画像データを生成する（Ｓ１４）。対象物の異なる複数の静止画像から３次元復元を行う技術は公知であり（例えば、八木康史他、コンピュータビジョン最先端ガイド５、アドコム・メディア社、２０１２年１２月５日、ｐｐ．３３−７０、特開２０１４−１８５９４７号等参照）、説明は省略する。生成された３次元画像データによる３次元画像の例を図５に示す。
【００９５】
生成された３次元画像データは、記憶部２０９に記憶される。動画撮像装置１０は、記憶部２０９に記憶された３次元画像データをダウンロードすることができる。そして、動画撮像装置１０にインストールされた専用ビューアやブラウザによって、３次元画像データによる３次元画像を閲覧することができる。また、記憶部２０９に記憶された３次元画像データは、動画撮像装置１０に限らず、他のコンピュータ装置でもダウンロードし、インストールされた専用ビューアやブラウザによって、３次元画像データによる３次元画像を閲覧することができる。
【００９６】
以上のような本実施形態の構成によれば、対象物の３次元画像データを生成するために用いる複数のフレームの選択の処理負荷を小さくすることができる。
【００９７】
＜詳細画像表示機能＞
生成された３次元画像データは精度が低い場合がある。そこで、本実施形態においては、表示された３次元画像の所定の位置に対応するフレームを表示することができる。具体的には、以下のとおりである。
【００９８】
上述の３次元画像データのダウンロードの際に、３次元画像データに加えて、３次元画像データ生成処理に用いられた選択されたフレームもダウンロードされる。
【００９９】
動画撮像装置１０の３次元画像表示部１０９は、ダウンロードした３次元画像データに基づいて３次元画像を操作入力／表示部１２１であるタッチパネルに表示することができる。表示された３次元画像は、ユーザの操作により、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれの軸の周りに回転させることができる。表示された３次元画像がユーザの操作により回転させられると、３次元画像表示部１０９は、それぞれの軸回りの回転角度を検出する。
【０１００】
ユーザが、表示された３次元画像上でダブルタップすると、３次元画像表示部１０９は、検出された３次元画像の回転角度に最も近い回転角度のフレームを選択し、図６に示すように、操作入力／表示部１２１であるタッチパネル上に表示する。これにより、本実施形態においては、対象物３である落とし物の詳細画像を閲覧することができ、落とし物が自分のものか否かの判断に資することができる。
【０１０１】
このような構成によって、生成された３次元画像データは精度が低い場合でも、表示された３次元画像の詳細を確認することができ、処理負荷が高い高精度の３次元画像データを生成せずとも、対象物の詳細を確認することができる。
【０１０２】
＜撮像完了方向表示機能及び撮像未了方向表示機能＞
例えば車といった対象物が大きい場合等においては、動画を撮像中にどの方向について撮像済みであるかが分からなくなってしまう場合がある。そこで、本実施形態においては、動画の撮像中に、前記所定の軸に対する所定の複数の回転角度のうち、撮像が終了した回転角度を示す情報が表示される。また、動画の撮像終了後に、前記所定の軸に対する所定の複数の回転角度のうち、撮像が未了の回転角度を示す情報が表示される。以下、それぞれについて説明する。
【０１０３】
まず、上述の条件（１）と同様の、３次元画像データの生成に最低限使用したいと考えるフレームの条件が、撮像開始前に、ユーザからの入力によって指定される。本実施形態においては、対象物３はテーブルに載置されており、底面を撮像することは困難で、また角度間隔を１０°と指定して、これにより選択されたフレームにより３次元画像データが生成されるので、３次元画像データの生成に最低限使用したいと考えるフレームの条件は、角度間隔が１０°以下、かつ対象物の上部／下部については、上部のみということになる。
【０１０４】
上述のイベント選択処理と同様にして、撮像終了方向表示部１１５は、イベント情報記憶部１０７に記憶されたイベント情報に含まれる姿勢センサ情報から、ロール角、ピッチ角、ヨー角を算出する。そして、算出されたピッチ角が７５°未満であり、かつ算出されたヨー角が、指定された回転角度間隔の整数倍の角度を超える毎に、またピッチ角が７５°以上となった場合に、撮像方向に対応した表示を行う。本実施形態においては、図７に示すように、対象物を表す正二十面体に対して、撮像済みの方向が、該当するロール角、ピッチ角、ヨー角の方向に直交する、所定の色で塗りつぶされた正方形の平面としてそれぞれ表示される。また、動画の撮影終了後に、撮像未了方向表示部１１７は、撮像終了方向表示部１１５によって撮像済みとされなかった方向に対応した表示を行う。本実施形態においては、図８に示すように、対象物を表す正二十面体に対して、撮像未了の方向が、該当するロール角、ピッチ角、ヨー角の方向に直交する、撮像済みを表す正方形とは異なる色の正方形の平面としてそれぞれ表示される。撮像が終了した回転角度を示す情報の表示は動画の撮像中ではなく動画の撮像後に行ってもよい。また、撮像が未了の回転角度を示す情報の表示は、動画の撮像後ではなく動画の撮像中に行ってもよい。これに替えて又はこれに加えて、図９に示すように撮像未了方向があること、及び追加の撮像を行うか否かの確認メッセージを表示してもよい。
【０１０５】
このような構成によって、３次元画像データの生成に必要なフレームを確実に撮像することができる。
【０１０６】
上記実施形態においては、動画撮像装置１０が、動画撮像部１０１、動画像データ記憶部１０３、姿勢センサ部１０４、イベント情報取得部１０５、イベント情報記憶部１０７、３次元画像表示部１０９、詳細画像表示部１１１、条件設定部１１３、撮像終了方向表示部１１５、撮像未了方向表示部１１７、第１の送受信部１１９、操作入力／表示部１２１、音声出力部１２３、時計部１２５を含み、サーバ２０が、イベント情報選択部２０１、フレーム選択部２０３、３次元画像データ生成部２０５、第２の送受信部２０７、記憶部２０９を含むものであったが、例えば、動画撮像装置１０が、動画撮像部１０１、動画像データ記憶部１０３、姿勢センサ部１０４、イベント情報取得部１０５、イベント情報記憶部１０７、イベント情報選択部２０１、３次元画像表示部１０９、詳細画像表示部１１１、条件設定部１１３、撮像終了方向表示部１１５、撮像未了方向表示部１１７、第１の送受信部１１９、操作入力／表示部１２１、音声出力部１２３、時計部１２５を含み、サーバ２０が、フレーム選択部２０３、３次元画像データ生成部２０５、第２の送受信部２０７、記憶部２０９を含む構成、動画撮像装置１０が、動画撮像部１０１、動画像データ記憶部１０３、姿勢センサ部１０４、イベント情報取得部１０５、イベント情報記憶部１０７、イベント情報選択部２０１、フレーム選択部２０３、３次元画像表示部１０９、詳細画像表示部１１１、条件設定部１１３、撮像終了方向表示部１１５、撮像未了方向表示部１１７、第１の送受信部１１９、操作入力／表示部１２１、音声出力部１２３、時計部１２５を含み、サーバ２０が、フレーム選択部２０３、３次元画像データ生成部２０５、第２の送受信部２０７、記憶部２０９を含む構成といったように、動画撮像装置１０とサーバ２０は、それぞれ、３次元画像データ生成システム１の各機能の任意の機能を含む構成とすることができる。また、３次元画像データ生成システムをスタンドアローンの１つの装置として構成することもできる。
【０１０７】
以上、本発明について、例示のためにいくつかの実施形態に関して説明してきたが、本発明はこれに限定されるものでなく、本発明の範囲及び精神から逸脱することなく、形態及び詳細について、様々な変形及び修正を行うことができることは、当業者に明らかであろう。
【符号の説明】
【０１０８】
１  ３次元画像データ生成システム
１０  動画撮像装置
１０１  動画撮像部
１０１ａ  レンズ部
１０３  動画像データ記憶部
１０４  姿勢センサ部
１０５  イベント情報取得部
１０７  イベント情報記憶部
１０９  ３次元画像表示部
１１１  詳細画像表示部
１１３  条件設定部
１１５  撮像終了方向表示部
１１７  撮像未了方向表示部
１１９  第１の送受信部
１２１  操作入力／表示部
１２３  音声出力部
１２５  時計部
２０  サーバ
２０１  イベント情報選択部
２０３  フレーム選択部
２０５  ３次元画像データ生成部
２０７  第２の送受信部
２０９  記憶部
３  対象物
【図１】
2017049052.tif 000003
【図２】
2017049052.tif 000004
【図３】
2017049052.tif 000005
【図４】
2017049052.tif 000006
【図５】
2017049052.tif 000007
【図６】
2017049052.tif 000008
【図７】
2017049052.tif 000009
【図８】
2017049052.tif 000010
【図９】
2017049052.tif 000011