(57)【特許請求の範囲】
【請求項１】
カメラを、被写体を中心とした円周または直線上一方向に相対的に移動させ、時間的に連続して撮影した動画像ストリームから、撮影時刻が等間隔になるように複数の第１のフレームを抽出する動作と、
前記複数の第１のフレームそれぞれの撮影時刻における撮影位置を前記複数の第１のフレームから特定する動作と、
前記複数の第１のフレームそれぞれの撮影時刻および撮影位置に基づき、距離が等間隔の複数の撮影位置で撮影することによって得られる複数のフレームそれぞれの撮影時刻を推定する動作と、
推定された複数の撮影時刻それぞれに対応する複数の第２のフレームそれぞれを、静止画像として前記動画像ストリームから抽出する動作とを行うことを特徴とする静止画像抽出方法。
【請求項２】
前記複数の第１のフレームの数は、前記動画像ストリームに含まれるフレームの数よりも少ないことを特徴とする請求項１に記載の静止画像抽出方法。
【請求項３】
前記動画像ストリームは、前記カメラを、前記被写体を中心として相対的に略一定の速さで移動させ、時間的に連続して撮影された動画像ストリームであることを特徴とする請求項１に記載の静止画像抽出方法。
【請求項４】
画像抽出部と撮影位置算出部とを備えた画像処理装置であって、
前記画像抽出部は、カメラを、被写体を中心とした円周または直線上一方向に相対的に移動させ、時間的に連続して撮影した動画像ストリームから、撮影時刻が等間隔になるように複数の第１のフレームを抽出する動作を行い、
前記撮影位置算出部は、前記複数の第１のフレームそれぞれの撮影時刻における撮影位置を前記複数の第１のフレームから特定し、前記複数の第１のフレームそれぞれの撮影時刻および撮影位置に基づき、距離が等間隔の複数の撮影位置で撮影することによって得られる複数のフレームそれぞれの撮影時刻を推定する動作を行い、
前記画像抽出部は、前記撮影位置算出部により推定された複数の撮影時刻それぞれに対応する複数の第２のフレームそれぞれを、静止画像として前記動画像ストリームから抽出する動作を行うことを特徴とする画像処理装置。
【請求項５】
カメラを、被写体に対して相対的に移動させ、時間的に連続して撮影した動画像ストリームから、複数の第１のフレームを抽出する動作と、
前記複数の第１のフレームそれぞれの撮影時刻を取得する動作と、
前記複数の第１のフレームそれぞれの撮影位置を前記複数の第１のフレームから特定する動作と、
前記複数の第１のフレームそれぞれの撮影時刻および撮影位置に基づき、距離が等間隔の複数の撮影位置で撮影することによって得られる複数のフレームそれぞれの撮影時刻を推定する動作と、
推定された複数の撮影時刻それぞれに対応する複数の第２のフレームを抽出する動作と、
前記複数の第２のフレームそれぞれの撮影位置を前記複数の第２のフレームに基づいて特定する動作と、
前記複数の第２のフレームそれぞれの撮影位置と、距離が等間隔の撮影位置との位置ずれが所定の範囲内であるか否かを判定する動作と、
前記位置ずれが前記所定の範囲内でない場合には、前記複数の第２のフレームそれぞれの撮影位置および撮影時刻を用いて、距離が等間隔の撮影位置となる撮影時刻を再度推定する動作と、
再度推定された複数の撮影時刻それぞれに対応する複数の第２のフレームそれぞれを、静止画像として前記動画像ストリームから抽出する動作とを行うことを特徴とする静止画像抽出方法。
【請求項６】
画像抽出部と撮影位置算出部とを備えた画像処理装置であって、
前記画像抽出部は、カメラを被写体に対して相対的に移動させ、時間的に連続して撮影した動画像ストリームから、複数の第１のフレームを抽出し、前記複数の第１のフレームそれぞれの撮影時刻を取得する動作を行い、
前記撮影位置算出部は、前記複数の第１のフレームそれぞれの撮影時刻における撮影位置を前記複数の第１のフレームから特定し、前記複数の第１のフレームそれぞれの撮影時刻および撮影位置に基づき、距離が等間隔の複数の撮影位置で撮影することによって得られる複数のフレームそれぞれの撮影時刻を推定する動作を行い、
前記画像抽出部は、前記撮影位置算出部により推定された複数の撮影時刻それぞれに対応する複数の第２のフレームを抽出する動作を行い、
前記撮影位置算出部は、前記複数の第２のフレームそれぞれの撮影時刻における撮影位置を前記複数の第２のフレームから特定し、前記複数の第２のフレームそれぞれの撮影位置と、距離が等間隔の撮影位置との位置ずれが所定の範囲内であるか否かを判定し、前記位置ずれが前記所定の範囲内でない場合には、前記複数の第２のフレームそれぞれの撮影位置および撮影時刻を用いて、距離が等間隔の撮影位置となる撮影時刻の再度推定を行い、
前記画像抽出部は、再度推定された複数の撮影時刻それぞれに対応する複数の第２のフレームそれぞれを、静止画像として前記動画像ストリームから抽出する動作を行うことを特徴とする画像処理装置。
【請求項７】
カメラを、被写体に対して相対的に移動させ、時間的に連続して撮影した動画像ストリームから、複数の第１のフレームを抽出する動作と、
前記複数の第１のフレームそれぞれの撮影時刻を取得する動作と、
前記複数の第１のフレームそれぞれの撮影位置を前記複数の第１のフレームから特定する動作と、
前記複数の第１のフレームそれぞれの撮影時刻および撮影位置に基づく線形補完により、距離が等間隔の複数の撮影位置で撮影することによって得られる複数のフレームそれぞれの撮影時刻を推定する動作と、
推定された複数の撮影時刻それぞれに対応する複数の第２のフレームそれぞれを静止画像として前記動画像ストリームから抽出する動作とを行うことを特徴とする静止画像抽出方法。
【請求項８】
画像抽出部と撮影位置算出部とを備えた画像処理装置であって、
前記画像抽出部は、カメラを被写体に対して相対的に移動させ、時間的に連続して撮影した動画像ストリームから、複数の第１のフレームを抽出し、前記複数の第１のフレームそれぞれの撮影時刻を取得する動作を行い、
前記撮影位置算出部は、前記複数の第１のフレームそれぞれの撮影時刻における撮影位置を前記複数の第１のフレームから特定し、前記複数の第１のフレームそれぞれの撮影時刻および撮影位置に基づく線形補完により、距離が等間隔の複数の撮影位置で撮影することによって得られる複数のフレームそれぞれの撮影時刻を推定する動作を行い、
前記画像抽出部は、前記撮影位置算出部により推定された複数の撮影時刻それぞれに対応する複数の第２のフレームそれぞれを、静止画像として前記動画像ストリームから抽出する動作を行うことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、動画像ストリームから複数のフレームを静止画像として抽出する静止画像抽出方法及びその方法を実現する画像処理装置に関する。
【背景技術】
【０００２】
物体の全周囲のデータを得るために、その物体の周辺の各位置から、カメラでその物体を被写体として撮影することが行われている。ここで、物体の全周囲の静止画像をインタラクティブに表示・閲覧するために撮影が行われるカメラの位置（以下、撮影位置という）のそれぞれは、距離が等間隔に離れていることが望ましい。
【０００３】
従来、上述の各撮影位置における静止画像を得るために、各撮影位置での静止画像の撮影を順に行う（特許文献１参照）。つまり、カメラを撮影位置に固定して、その撮影位置でカメラが撮影する処理動作を、カメラを移動させながらそれぞれの撮影位置で繰り返し行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−７２５３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本技術は、距離が等間隔に離れた適切な撮影位置における静止画像を短時間で抽出することができる静止画像抽出方法及び画像処理装置を提供する。
【課題を解決するための手段】
【０００６】
本技術の静止画像抽出方法は、カメラを、被写体を中心とした円周または直線上一方向に相対的に移動させ、時間的に連続して撮影した動画像ストリームから、撮影時刻が等間隔になるように複数の第１のフレームを抽出する動作と、複数の第１のフレームそれぞれの撮影時刻における撮影位置を複数の第１のフレームから特定する動作と、複数の第１のフレームそれぞれの撮影時刻および撮影位置に基づき、距離が等間隔の複数の撮影位置で撮影することによって得られる複数のフレームそれぞれの撮影時刻を推定する動作と、推定された複数の撮影時刻それぞれに対応する複数の第２のフレームそれぞれを、静止画像として動画像ストリームから抽出する動作とを行うことを特徴とする静止画像抽出方法。
【発明の効果】
【０００７】
本技術によれば、距離が等間隔に離れた適切な撮影位置における静止画像を短時間で抽出することができる。
【図面の簡単な説明】
【０００８】
【図１】本技術の実施の形態における画像処理システムを示す構成図である。
【図２】実施の形態による撮影部において、被写体の撮影方法を説明するための説明図である。
【図３】実施の形態における画像処理システム１の動作を示すフローチャートである。
【図４】実施の形態における静止画像抽出方法の動作を示すフローチャートである。
【図５】実施の形態におけるカメラ２１の撮影位置の特定方法を示すフローチャートである。
【図６】実施の形態における初期サンプリング点を示す説明図である。
【図７】実施の形態における再サンプリング点のタイムスタンプを推定する方法の動作を示すフローチャートである。
【図８】実施の形態における初期サンプリング点のタイムスタンプと基準点からの角度との関係を示す説明図ある。
【図９】実施の形態における再サンプリング点を示す説明図である。
【図１０】再サンプリング点での撮影によって得られる複数のフレームのそれぞれのタイムスタンプを推定する方法を示す説明図である。
【図１１】本技術による他の実施の形態による静止画像抽出方法の動作を示すフローチャートである。
【図１２】本技術の他の実施の形態による被写体の撮影方法を示す説明図である。
【発明を実施するための形態】
【０００９】
以下、本技術の実施の形態による画像処理装置について、図面を参照しながら説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１０】
なお、発明者は、当業者が本技術を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１１】
［１−１．構成］
図１は、本技術の実施の形態における画像処理システムを示す構成図である。
【００１２】
本実施の形態における画像処理システム１は、カメラを被写体に対して相対的に移動させながら、被写体を連続して撮影することにより動画像ストリームを取得し、前記動画像ストリームから複数のフレームをそれぞれ静止画像として抽出するシステムである。画像処理システム１は、画像処理装置１０、撮影部２０、制御部３０、撮影画像記憶部４０及び多視点画像データベース（ＤＢ）５０を備える。
【００１３】
本実施の形態における画像処理システム１では、動画像ストリームは、例えば６０ｆｐｓ（ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）のフレームレートの撮影によって生成されたもので、時間的に等間隔の撮影、つまり１／６０秒ごとの撮影によって得られた複数のフレームを含んでいる。また、フレームそれぞれには、撮影により生成されるごとに、「１」が加算されるタイムスタンプが付されている。タイムスタンプは、タイムスタンプが付されたフレームの撮影時刻を示すこととなる。例えば、動画像ストリームのフレームレートが６０ｆｐｓの場合、動画撮影の開始から１秒後のタイムスタンプは、動画撮影開始時のタイムスタンプに、「６０」を加算した値を示す。動画撮影開始時のタイムスタンプが「１０」だった場合に、動画撮影の開始から１秒後のタイムスタンプは「７０」となる。
【００１４】
なお、本実施の形態では、動画像ストリームは、等時間間隔で撮影されたフレームから生成される動画であるが、これに限らない。例えば、等時間間隔で連写された静止画像の集まりであってもよい。等時間間隔で連写された静止画像には、例えば画像ＩＤが対応付けられ、画像ＩＤは、タイムスタンプと同じように扱うことができる。従って、本実施の形態では、タイムスタンプが静止画像抽出方法に用いられるが、動画像ストリームが等時間間隔で連写された静止画像の集まりの場合は、画像ＩＤが静止画像抽出方法に用いられる。
【００１５】
画像処理装置１０は、撮影画像記憶部４０に記憶された動画像ストリームから、複数のフレームをそれぞれ静止画像として抽出する動作を行う。複数のフレームの静止画像は、等間隔に離れた距離の複数の撮影位置で撮影された画像となる。動画像ストリームは、カメラを被写体に対して相対的に移動させながら、前記被写体を時間的に連続して撮影することにより得られる。例えば、画像処理装置１０は、被写体を中心とした円周上を移動しているカメラで撮影することによって得られた動画像ストリームから、１０度毎の等間隔な角度を形成する３６個の撮影位置で撮影された静止画像を抽出する。
【００１６】
画像処理装置１０は、画像抽出部１１及び撮影位置算出部１２を備える。
【００１７】
画像抽出部１１は、動画像ストリームに含まれる複数の第１のフレームを抽出し、抽出した複数の第１のフレームそれぞれの撮影時刻を取得する。また、画像抽出部１１は、初期サンプリング動作と再サンプリング動作とを行う。
【００１８】
撮影位置算出部１２は、複数の第１のフレームそれぞれで取得された撮影時刻におけるカメラの撮影位置に関する情報を複数の第１のフレームから特定する。撮影位置算出部１２は、第１のフレームそれぞれで取得された撮影時刻と、第１のフレームそれぞれで特定された撮影位置に関する情報とに基づき、距離が等間隔に離れた複数の撮影位置におけるカメラによる撮影によって得られる複数のフレームそれぞれの撮影時刻を推定する動作を行う。
【００１９】
前記画像抽出部１１は、初期サンプリングにおいて、動画像ストリームに含まれる複数の第１のフレームを抽出し、抽出した複数の第１のフレームそれぞれの撮影時刻を示すタイムスタンプを取得する。初期サンプリングによって抽出される第１のフレームを初期サンプリングフレームという。このとき、画像抽出部１１は、取得するタイムスタンプが等間隔になるように複数の初期サンプリングフレームを抽出する。
【００２０】
前記画像抽出部１１は、再サンプリングにおいて、撮影位置算出部１２により推定されたそれぞれの撮影時刻（タイムスタンプ）に対応する第２のフレームを動画像ストリームから抽出する。動画像ストリームから抽出する第２のフレームは、距離が等間隔に離れた複数の撮影位置で撮影することによって得られる複数のフレームとして抽出される。以下、画像抽出部１１で再サンプリングによって抽出される第２のフレームを再サンプリングフレームという。例えば、画像抽出部１１は、１０度毎の等間隔な角度にある撮影位置でのカメラによる撮影によって得られるフレームとして、３６個の再サンプリングフレームを抽出する。
【００２１】
撮影位置算出部１２は、カメラの撮影位置を、初期サンプリングフレームそれぞれのタイムスタンプから特定する。つまり、撮影位置算出部１２は、被写体が撮影された時の被写体に対する相対的なカメラの位置を特定することができる。以下、初期サンプリングフレームそれぞれが特定した撮影位置を初期サンプリング点という。
【００２２】
撮影位置算出部１２は、さらに、初期サンプリング点と、初期サンプリングによって取得されたタイムスタンプとに基づいて、複数の撮影位置で撮影することによって得られる複数のフレームそれぞれのタイムスタンプを推定する。以下、再サンプリングフレームそれぞれが特定した撮影位置を再サンプリング点という。
【００２３】
図２は、実施の形態による撮影部において、被写体の撮影方法を説明するための説明図である。
【００２４】
図２に示すように、撮影部２０は、カメラ２１、ロボットアーム２２及びターンテーブル２３を備える。ターンテーブル２３は、被写体２４が載せられて回転するテーブルであり、ターンテーブル２３の回転軸（図２のＺ軸）を回転中心として回転する。なお、ターンテーブル２３の回転速度は、ターンテーブル２３に載せられる被写体２４の重心位置、又はターンテーブル２３の機械的な構造の精度等の影響により、一定の速度になるとは限らない。カメラ２１は、ターンテーブル２３上に載っている被写体２４を撮影することにより、回転している被写体２４の動画像ストリームを生成する。つまり、カメラ２１は、被写体２４を中心とした円周上を被写体２４に対して相対的に移動しながら、被写体２４を撮影することにより動画像ストリームを生成する。ロボットアーム２２は、カメラ２１が取り付けられ、被写体２４を中心とした図２のＸＺ平面上の円周方向にカメラ２１を移動可能にする。
【００２５】
被写体２４は、ターンテーブル２３の回転中心上に載せられて、カメラ２１で撮影される物体である。被写体２４は、画像処理装置１０で抽出されるとともに、距離が等間隔に離れた（つまり、等間隔の角度にある）複数の撮影位置でのカメラ２１による撮影によって得られる被写体２４の静止画像により、例えば、３次元のコンピュータグラフィック（ＣＧ）で表現される。
【００２６】
なお、本実施の形態では、ターンテーブル２３が回転することにより、カメラ２１は被写体２４に対して相対的に移動しながら被写体２４を撮影しているが、これに限定されない。例えば、カメラ２１が被写体２４を中心とした円周上を実際に移動しながら、被写体２４を撮影してもよい。
【００２７】
また、本実施の形態では、カメラ２１は被写体２４を中心とした円周上を被写体２４に対して相対的に移動しながら被写体２４を撮影したが、これに限定されない。例えば、カメラ２１が直線上に沿って移動しながら被写体２４を撮影してもよい。これにより、等間隔の距離にある複数の撮影位置でのカメラ２１による撮影によって得られる複数のフレームとして、再サンプリングフレームのそれぞれが抽出されてもよい。
【００２８】
制御部３０は、撮影部２０による撮影の制御を行う。具体的には、制御部３０は、カメラ２１による動画撮影の開始及び終了、ターンテーブル２３の回転、及び、ロボットアーム２２によるカメラ２１の移動の制御を行う。これにより、制御部３０は、ターンテーブル２３を回転させることで、ターンテーブル２３のテーブル面と平行な面にあり被写体２４を中心とした円周上の位置からカメラ２１に被写体２４を撮影させる。さらに、制御部３０はロボットアーム２２の制御を行い、被写体２４を中心とした図２のＸＺ平面上の円周方向にカメラ２１を移動させる。つまり、制御部３０は、ターンテーブル２３の回転、及び、ロボットアーム２２によるカメラ２１の移動の制御を繰り返し行うことで、被写体２４を中心とした球面上の位置からカメラ２１に被写体２４を撮影させる。
【００２９】
撮影画像記憶部４０は、撮影部２０により生成された動画像ストリームを記憶する、例えば不揮発性メモリである。また、撮影画像記憶部４０は、動画像ストリームに含まれるフレームのそれぞれの撮影時刻を示すタイムスタンプを記憶する。
【００３０】
多視点画像ＤＢ５０は、例えば不揮発性メモリなどにより構成され、画像処理装置１０で抽出されるとともに、距離が等間隔と推定された複数の撮影位置において、カメラ２１で撮影することによって得られる、複数の再サンプリングフレームを静止画像として保存する。
【００３１】
［１−２．動作］
以上のように構成された本実施の形態における画像処理システム１について、動作を説明する。
【００３２】
図３は、実施の形態における画像処理システム１の動作を示すフローチャートである。
【００３３】
まず、図３に示すように、撮影部２０は、制御部３０の制御に応じて被写体２４を撮影する（ステップＳ２０１）。具体的には、制御部３０がターンテーブル２３の回転の制御を行うことで、カメラ２１はターンテーブル２３に載せられた被写体２４を、被写体２４の３６０度周囲から撮影する。さらに制御部３０がロボットアーム２２によるカメラ２１の移動の制御を行うことで、カメラ２１は、ターンテーブル２３のテーブル面と垂直な面において、被写体２４を中心とした円周方向に移動する。カメラ２１は、移動した位置から再度、被写体２４を被写体２４の３６０度周囲から撮影する。制御部３０がターンテーブル２３の回転及びロボットアーム２２によるカメラ２１の移動の制御を繰り返し行うことで、カメラ２１は被写体２４を中心とした球面上の位置から被写体２４を撮影した動画像ストリームを生成する。生成された動画像ストリームは撮影画像記憶部４０に記憶される。この時、動画像ストリームに含まれるフレームのそれぞれの撮影時刻を示すタイムスタンプも記憶される。つまり、動画像ストリームに含まれる複数のフレームと当該複数のフレームのそれぞれに対応するタイムスタンプとが撮影画像記憶部４０に記憶される。
【００３４】
次に、画像処理装置１０は、距離が等間隔と推定された複数の撮影位置（再サンプリング点）において、カメラ２１で撮影することによって得られる複数のフレーム（再サンプリングフレーム）を、撮影画像記憶部４０に記憶された動画像ストリームから抽出する（ステップＳ２０２）。
【００３５】
最後に、画像処理装置１０は、抽出された複数の再サンプリングフレームを静止画像として多視点画像ＤＢ５０に保存する（ステップＳ２０３）。
【００３６】
図４は、実施の形態における静止画像抽出方法の動作を示すフローチャートである。図４は、図３のステップステップＳ２０２の処理を詳細に示すフローチャートである。
【００３７】
まず、画像抽出部１１は、撮影画像記憶部４０に記憶された動画像ストリームから、複数の初期サンプリングフレームを抽出し、抽出した複数の初期サンプリングフレームのそれぞれに対応するタイムスタンプを取得する初期サンプリングを行う（ステップＳ３０１）。例えば、画像抽出部１１は、８個の初期サンプリングフレームを抽出し、抽出した８個の初期サンプリングフレームのそれぞれに対応する８個のタイムスタンプを取得する。ここで、抽出された８個の初期サンプリングフレームは、初期サンプリングフレームそれぞれに対応する８個のタイムスタンプが等間隔なフレームとする。つまり、画像抽出部１１は、一定の時間間隔で初期サンプリングフレームを抽出する。なお、初期サンプリングフレームは８個に限らず、２〜７個でもよく、また、９個以上でもよい。初期サンプリングフレームの数が増えることにより、後述する再サンプリング点でのカメラ２１による撮影によって得られる複数のフレームのそれぞれのタイムスタンプの推定の精度が高くなる。
【００３８】
次に、撮影位置算出部１２は、画像抽出部１１で８個の初期サンプリングフレームそれぞれのタイムスタンプにおけるカメラ２１の撮影位置（初期サンプリング点）を特定する（ステップＳ３０２）。
【００３９】
さらに、撮影位置算出部１２は、特定した８個の初期サンプリング点と、画像抽出部１１で取得した８個の初期サンプリングフレームのそれぞれのタイムスタンプとに基づいて、再サンプリング点でのカメラ２１による撮影によって得られる複数のフレームのそれぞれのタイムスタンプを推定する（ステップＳ３０３）。
【００４０】
最後に、画像抽出部１１は、撮影画像記憶部４０に記憶された動画像ストリームから、再サンプリングフレームを、再サンプリング点でのカメラ２１による撮影によって得られる複数のフレームのそれぞれとして抽出する再サンプリングを行う（ステップＳ３０４）。
【００４１】
図５は、実施の形態におけるカメラ２１の撮影位置の特定方法を示すフローチャートである。図５は、図４のステップＳ３０２の処理を詳細に示すフローチャートである。
【００４２】
まず、撮影位置算出部１２は、８個の初期サンプリングフレームそれぞれの特徴点（特徴量）を抽出する（ステップＳ４０１）。特徴点は、ＳＩＦＴ又はＨａｒｒｉｓのコーナー検出等で抽出される。なお、特徴点の抽出方法はこれらの方法に限定されない。
【００４３】
次に、撮影位置算出部１２は、抽出した８個の初期サンプリングフレームそれぞれの特徴点のマッチングにより、フレーム間の対応する点を算出する（ステップＳ４０２）。
【００４４】
最後に、撮影位置算出部１２は、算出したフレーム間の対応する点のそれぞれからＳＦＭ（Ｓｔｒｕｃｔｕｒｅ  Ｆｒｏｍ  Ｍｏｔｉｏｎ）アルゴリズムを用いて撮影位置を特定する（ステップＳ４０３）。
【００４５】
このように、８個の初期サンプリングフレームそれぞれのタイムスタンプにおけるカメラ２１の撮影位置である初期サンプリング点が特定される。初期サンプリング点は、例えば原点を任意とした座標（Ｘｉ，Ｙｉ，Ｚｉ）で表される。本実施の形態では、８個の初期サンプリングフレームが初期サンプリングによって抽出されたので、ｉ＝０〜７となる。
【００４６】
図６は、実施の形態における初期サンプリング点を示す説明図である。図６に示されるＳ０（Ｘ０，Ｙ０，Ｚ０）〜Ｓ７（Ｘ７，Ｙ７，Ｚ７）は、各初期サンプリング点及びその座標である。本実施の形態では、画像抽出部１１は、一定の時間間隔で８個の初期サンプリングフレームを抽出する。図６に示すように、各初期サンプリング点は距離が等間隔な位置に存在しない。つまり、画像抽出部１１は、初期サンプリングによって取得するタイムスタンプが等間隔になるように８個の初期サンプリングフレームを抽出するが、抽出した８個の初期サンプリングフレームの初期サンプリング点は、距離が等間隔な位置とはならない。これは、ターンテーブル２３が一定の速度で回転していないためである。従って、画像抽出部１１が、初期サンプリングによって取得するタイムスタンプが等間隔になるように複数の初期サンプリングフレームを抽出する場合でも、初期サンプリング点は、位置決めが不完全な撮影位置となる。
【００４７】
図７は、実施の形態における再サンプリング点のタイムスタンプを推定する方法の動作を示すフローチャートである。図７は、図４のステップＳ３０３の処理を詳細に示すフローチャートである。
【００４８】
まず、撮影位置算出部１２は、被写体２４が載っているターンテーブル２３の回転中心の位置を算出する（ステップＳ５０１）。具体的には、ターンテーブル２３の回転中心の位置は、次式１〜７を用いた最小二乗法により算出される。
【００４９】
次式１は球の中心点と半径との関係を示す式である。
【００５０】
【数１】
0006476414.tif 000002
【００５１】
式１に示されるＸｉ，Ｙｉ，Ｚｉは初期サンプリング点の座標のそれぞれｘ成分、ｙ成分、ｚ成分である。Ｘ，Ｙ，Ｚはターンテーブル２３の回転中心の座標のそれぞれｘ成分、ｙ成分、ｚ成分である。また、ｒはターンテーブル２３の回転中心と初期サンプリング点との距離である。つまり、ｒはターンテーブル２３の回転中心を中心とした球の半径である。
【００５２】
次式２及び３は、式１の左辺と右辺との差の累積二乗誤差を示す式である。
【００５３】
【数２】
0006476414.tif 000003
【００５４】
ここでＡ＝−２Ｘ、Ｂ＝−２Ｙ、Ｃ＝−２Ｚ、Ｄ＝Ｘ２＋Ｙ２＋Ｚ２−ｒ２とすると、式２は次式３のようにまとめられる。
【００５５】
【数３】
0006476414.tif 000004
【００５６】
次式４〜７は、式３を変数Ａ〜Ｄで偏微分した値が０になるときの方程式である。式３を変数Ａ〜Ｄで偏微分した値が０になるとき、式３で示される累積二乗誤差が最小となる球の中心点及び半径が算出される。具体的には、初期サンプリング点の座標（Ｘ０，Ｙ０，Ｚ０）〜（Ｘ７，Ｙ７，Ｚ７）を次式４〜７の（Ｘｉ，Ｙｉ，Ｚｉ）に代入して解くことで、ターンテーブル２３の回転中心の座標は算出される。
【００５７】
【数４】
0006476414.tif 000005
【００５８】
【数５】
0006476414.tif 000006
【００５９】
【数６】
0006476414.tif 000007
【００６０】
【数７】
0006476414.tif 000008
【００６１】
このようにして、ターンテーブル２３の回転中心の位置は算出される。
【００６２】
なお、ターンテーブル２３の回転中心の座標は式１〜７に示されるように最小二乗法を用いて算出されたが、これに限らない。例えば、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）アルゴリズムを適応したロバスト推定法が用いられてもよい。
【００６３】
次に、撮影位置算出部１２は、初期サンプリング点のうちの１つを基準点として、ターンテーブル２３の回転中心から基準点へのベクトルと、ターンテーブル２３の回転中心から基準点を除く初期サンプリング点へのベクトルとの間のなす角を算出する（ステップＳ５０２）。例えば、図６に示される点Ｓ０を基準点として点Ｓｂとする。また、ターンテーブル２３の回転中心を原点Ｏとした場合に、点Ｓｂの座標を（ｘｂ，ｙｂ，ｚｂ）とし、他の７個の初期サンプリング点の座標を（ｘｉ，ｙｉ，ｚｉ）とする（ｉ＝１〜７）。ターンテーブル２３の回転中心Ｏから基準点Ｓｂへのベクトルと、ターンテーブル２３の回転中心Ｏから他の７個の初期サンプリング点Ｓｉそれぞれへのベクトルとの間のなす角θｉを算出する式を次式８及び９に示す。
【００６４】
【数８】
0006476414.tif 000009
【００６５】
【数９】
0006476414.tif 000010
【００６６】
このようにして、初期サンプリング点の位置は、基準点からの角度として算出される。また、画像抽出部１１は８個の初期サンプリングフレームそれぞれのタイムスタンプを取得している（ステップＳ３０１）。従って、８個の初期サンプリング点の基準点からの角度は、８個の初期サンプリングフレームそれぞれのタイムスタンプと対応している。
【００６７】
次に、撮影位置算出部１２は、再サンプリング点でのカメラ２１による撮影によって得られる複数のフレームのそれぞれのタイムスタンプを推定する。（ステップＳ５０３）。
【００６８】
図８は、実施の形態における初期サンプリング点のタイムスタンプと基準点からの角度との関係を示す説明図ある。各初期サンプリング点のタイムスタンプｓｉと基準点からの角度θｉとが対応している。
【００６９】
図８において、基準点からの角度θｉは、ステップＳ５０２で撮影位置算出部１２により算出された角度の例である。本実施の形態では、画像抽出部１１は、１秒間隔で初期サンプリングフレームを抽出しており、動画像ストリームのフレームレートを６０ｆｐｓとしているので、タイムスタンプｓｉは、６０（１秒）毎の等間隔なタイムスタンプである。一方、基準点からの角度θｉは等間隔な角度となっていない。これは、前述したようにターンテーブル２３が一定の速度で回転していないためである。従って、画像抽出部１１が、タイムスタンプが等間隔になるように複数の初期サンプリングフレームを抽出する場合でも、初期サンプリング点は、位置決めが不完全な撮影位置となる。
【００７０】
なお、動画像ストリームのフレームレートは６０ｆｐｓとしたが、これに限らない。動画像ストリームのフレームレートは、６０ｆｐｓよりも小さい、例えば３０ｆｐｓでもよく、６０ｆｐｓよりも大きい、例えば１２０ｆｐｓでもよい。
【００７１】
図９は、実施の形態における再サンプリング点を示す説明図である。図９に示すように、撮影位置算出部１２は、例えば、２２．５度毎の等間隔な角度にある再サンプリング点でのカメラ２１による撮影によって得られる１６個のフレームのそれぞれのタイムスタンプを推定する。図９において、点Ｔｘは（ｘ＝０〜１５）、再サンプリング点である。
【００７２】
なお、本実施の形態では、再サンプリング点は１６個であるが、これに限らない。再サンプリング点は１６個よりも少なくてもよく、例えば４５度毎の等間隔な角度にある再サンプリング点は８個になる。また、再サンプリング点は１６個よりも多くてもよく、例えば１０度毎の等間隔な角度にある再サンプリング点は３６個になる。
【００７３】
撮影位置算出部１２は、再サンプリング点Ｔｘでのカメラ２１による撮影によって得られるフレームのタイムスタンプｔｘを推定する。具体的には、再サンプリング点Ｔｘの近傍の初期サンプリング点Ｓｍ及びＳｍ−１の基準点からの角度θｍ及びθｍ−１と、対応するタイムスタンプｓｍ及びｓｍ−１とから、再サンプリング点Ｔｘでのカメラ２１による撮影によって得られるフレームのタイムスタンプｔｘは推定される。つまり、初期サンプリング点Ｓｍ及びＳｍ−１の基準点からの角度θｍ及びθｍ−１と、タイムスタンプｓｍ及びｓｍ−１とに基づく線形補完により、再サンプリング点Ｔｘでのカメラ２１による撮影によって得られるフレームのタイムスタンプｔｘは推定される。本実施の形態では、再サンプリング点は１６個としているので、ｘ＝０〜１５となる。また、初期サンプリング点は８個としているので、ｍ＝１〜７となる。再サンプリング点Ｔｘでのカメラ２１による撮影によって得られるフレームのタイムスタンプｔｘの算出式は次式１０となる。
【００７４】
【数１０】
0006476414.tif 000011
【００７５】
式１０において、θは距離が等間隔に離れた再サンプリング点の間の角度を示す。つまり、図９に示すように、本実施の形態では、２２．５度毎の等間隔な角度にある再サンプリング点でのカメラ２１による撮影によって得られる複数のフレームのそれぞれのタイムスタンプを推定するので、θ＝２２．５となる。
【００７６】
図１０は、再サンプリング点での撮影によって得られる複数のフレームのそれぞれのタイムスタンプを推定する方法を示す説明図である。図１０に示すように、再サンプリング点Ｔ２（ｘ＝２）の近傍の初期サンプリング点Ｓ２及びＳ１（ｍ＝２）の基準点からの角度θ２及びθ１と、タイムスタンプｓ２及びｓ１とに基づく線形補完により、再サンプリング点Ｔ２でのカメラ２１による撮影によって得られるフレームのタイムスタンプｔ２が推定される。図８に示す初期サンプリング点Ｓ２及びＳ１に対応するタイムスタンプと基準点からの角度とを式１０に代入することで、タイムスタンプｔ２を推定できる。本実施の形態では、θ２＝７５、θ１＝３０、ｓ２＝１８０及びｓ１＝１２０からタイムスタンプｔ２は１４０と推定される。
【００７７】
図８に示すように、８個の初期サンプリング点でのカメラ２１による撮影によって得られた８個の初期サンプリングフレームは、６０（１秒）毎のような等間隔なタイムスタンプのフレームである。こうすることで、図６に示されるように、初期サンプリング点は円周上に広く分散して位置することができる。従って、再サンプリング点Ｔｘでのカメラ２１による撮影によって得られる複数のフレームのそれぞれのタイムスタンプｔｘの推定の精度が高くなる。一方、例えば、初期サンプリング点が円周上の１部に偏った場合、再サンプリング点でのカメラ２１による撮影によって得られるフレームのタイムスタンプの推定の精度は、円周上の１部に偏った初期サンプリング点群から再サンプリング点が離れるほど低くなる。
【００７８】
なお、本実施の形態では、複数の初期サンプリングフレームは、それぞれ時間的に等間隔なタイムスタンプのフレームであるが、これに限らない。例えば、複数の初期サンプリングフレームは、それぞれ等間隔なタイムスタンプのフレームでなくてもよい。
【００７９】
次に、１４０と推定されたタイムスタンプｔ２と同様に、他の再サンプリング点でのカメラ２１による撮影によって得られるフレームのタイムスタンプは推定される。これにより、複数の再サンプリング点でのカメラ２１による撮影によって得られる複数のフレームのそれぞれのタイムスタンプが推定される。
【００８０】
最後に、画像抽出部１１は、撮影画像記憶部４０に記憶された動画像ストリームから、撮影位置算出部１２で推定されたそれぞれのタイムスタンプの再サンプリングフレームを、再サンプリング点でのカメラ２１による撮影によって得られる複数のフレームのそれぞれとして、再サンプリングによって抽出する。そして、画像抽出部１１は、抽出した再サンプリングフレームを静止画像として多視点画像ＤＢ５０に保存する。
【００８１】
［１−３．効果等］
以上のように、本技術は、カメラを被写体に対して相対的に移動させながら時間的に連続して撮影した動画像ストリームから複数のフレームをそれぞれ静止画像として抽出する静止画像抽出方法である。前記動画像ストリームに含まれる複数の第１のフレームを抽出するとともに、抽出した複数の第１のフレームそれぞれの撮影時刻を取得する動作と、複数の第１のフレームそれぞれの前記撮影時刻におけるカメラの撮影位置を複数の第１のフレームから特定する動作と、複数の第１のフレームそれぞれで特定された前記カメラの撮影位置と、取得された前記撮影時刻とに基づいて、距離が等間隔の複数の撮影位置で撮影することによって得られる複数のフレームそれぞれの撮影時刻を推定する動作と、推定されたそれぞれの前記撮影時刻の第２のフレームを、距離が等間隔の複数の撮影位置で撮影することによって得られる複数のフレームそれぞれとして前記動画像ストリームから抽出する動作とを行う。
【００８２】
これによれば、距離が等間隔に離れた適切な撮影位置における静止画像を短時間の撮影で抽出することができる。
【００８３】
すなわち、本実施の形態において、初期サンプリングによって動画像ストリームに含まれる複数の初期サンプリングフレームを抽出し、当該複数の初期サンプリングフレームに対応するタイムスタンプを取得する。そして、抽出した複数の初期サンプリングフレームのそれぞれの初期サンプリング点を特定し、特定した初期サンプリング点と、当該複数の初期サンプリングフレームに対応するタイムスタンプとに基づいて、再サンプリング点でのカメラによる撮影によって得られる複数のフレームのそれぞれのタイムスタンプを推定する。最後に、推定したそれぞれのタイムスタンプに対応する再サンプリングフレームを、再サンプリング点でのカメラ２１による撮影によって得られる複数のフレームのそれぞれとして、前記動画像ストリームから抽出する。
【００８４】
これにより、カメラを被写体に対して移動させながら被写体を撮影した場合、時間的に等間隔であっても距離は等間隔でない撮影位置での撮影によって得られる画像群から、距離が等間隔に離れた複数の撮影位置での撮影によって得られる静止画像を抽出することができる。そのため、距離が等間隔に離れた適切な撮影位置における静止画像を短時間の撮影で抽出することができる。
【００８５】
また、前記動画像ストリームから抽出された第２のフレームの撮影位置を当該第２のフレームに基づいて特定し、前記第２のフレームの撮影位置と、前記距離が等間隔に離れた複数の撮影位置のうちの１つの等間隔位置との間の位置ずれが所定の範囲内であるか否かを判定する。前記位置ずれが所定の範囲内でない場合には、抽出された前記第２のフレームの撮影位置及び前記撮影時刻を用いて、前記等間隔位置でのカメラによる撮影によって得られるフレームの撮影時刻を再度推定し、再度推定された前記撮影時刻の第２のフレームを、距離が等間隔に離れた複数の撮影位置での前記カメラによる撮影によって得られるフレームとして、前記動画像ストリームから抽出する動作を行う。
【００８６】
これによれば、距離が等間隔に離れた撮影位置における静止画像を高精度に抽出することができる。
【００８７】
また、前記撮影時刻を推定する際は、複数の第１のフレームそれぞれの特定された撮影位置及び取得された撮影時刻に基づく線形補完により、距離が等間隔の複数の撮影位置で撮影することによって得られる複数のフレームのそれぞれの撮影時刻を推定する。
【００８８】
これによれば、距離が等間隔に離れた複数の撮影位置でのカメラによる撮影によって得られる複数のフレームについて、それぞれの撮影時刻を推定することができる。
【００８９】
また、前記複数の第１のフレームのそれぞれの撮影位置を特定する際は、前記複数の第１のフレームのそれぞれから抽出された複数の特徴点のマッチングにより、フレーム間の対応する点を算出し、算出したフレーム間の対応する点のそれぞれからＳＦＭ（Ｓｔｒｕｃｔｕｒｅ  Ｆｒｏｍ  Ｍｏｔｉｏｎ）アルゴリズムを用いて前記撮影位置を特定する。
【００９０】
これによれば、動画像ストリームに含まれる複数のフレームのそれぞれの取得された撮影時刻におけるカメラの撮影位置を特定することができる。
【００９１】
また、推定されたそれぞれの前記撮影時刻の第２のフレームを抽出する際は、被写体を中心とした円周上でカメラを移動させながら撮影することにより得られる動画像ストリームから、等間隔の角度にある複数の撮影位置でのカメラによる撮影によって得られる複数のフレームとして、第２のフレームそれぞれを抽出する。
【００９２】
これによれば、被写体を中心とした円周上の位置における撮影によって得られる動画像ストリームから等間隔に配置された撮影位置からの全周囲画像を抽出することができる。
【００９３】
さらに、推定されたそれぞれの前記撮影時刻の第２のフレームを抽出する際は、被写体を中心とした円周の接線方向にカメラを移動させて撮影することにより得られる動画像ストリームから、視差のある３次元画像を生成するための複数の第２のフレームを抽出する。
【００９４】
これによれば、奥行き方向からの撮影によって得られる動画像ストリームから視差のある３次元画像を生成することができる。
【００９５】
また、推定されたそれぞれの前記撮影時刻の第２のフレームを抽出する際は、直線上にカメラを移動させながら撮影することにより得られる動画像ストリームから、等間隔の距離にある複数の撮影位置でのカメラによる撮影によって得られる複数のフレームとして、第２のフレームそれぞれを抽出する。
【００９６】
また、本技術の画像処理装置は、カメラを被写体に対して相対的に移動させながら時間的に連続して撮影した動画像ストリームから複数のフレームをそれぞれ静止画像として抽出する。前記画像処理装置は、画像抽出部と撮影位置算出部とを備える。前記画像抽出部は、動画像ストリームに含まれる複数の第１のフレームを抽出し、抽出した複数の第１のフレームそれぞれの撮影時刻を取得する動作を行う。前記撮影位置算出部は、複数の第１のフレームそれぞれで取得された撮影時刻におけるカメラの撮影位置に関する情報を複数の第１のフレームから特定し、第１のフレームそれぞれで取得された撮影時刻と、第１のフレームそれぞれで特定された撮影位置に関する情報とに基づき、距離が等間隔に離れた複数の撮影位置で撮影することによって得られる複数のフレームそれぞれの撮影時刻を推定する動作を行う。さらに、前記画像抽出部は、撮影位置算出部により推定されたそれぞれの撮影時刻に対応する第２のフレームを、距離が等間隔に離れた複数の撮影位置で撮影することによって得られる複数のフレームそれぞれとして動画像ストリームから抽出する動作を行うものである。
【００９７】
これによれば、距離が等間隔に離れた適切な撮影位置における静止画像を短時間の撮影で抽出することができる。
【００９８】
図１１は、本技術による他の実施の形態による静止画像抽出方法の動作を示すフローチャートである。
【００９９】
本実施の形態の画像処理システムの画像処理装置１０は、再サンプリングによって抽出された再サンプリングフレームの撮影位置を検証し、その撮影位置が再サンプリング点から外れていれば、再サンプリングをもう一度行う。
【０１００】
図１１に示すように、図４に示す処理と同様、ステップＳ３０１〜Ｓ３０４の処理を行う。ステップＳ３０４において、画像抽出部１１は、再サンプリングフレームを、再サンプリング点でのカメラ２１による撮影によって得られる複数のフレームのそれぞれとして、動画像ストリームから再サンプリングによって抽出する。ステップＳ３０３で推定されたそれぞれのタイムスタンプに対応する再サンプリングフレームは、再サンプリング点でのカメラ２１による撮影によって得られる複数のフレームとは限らない。具体的には、再サンプリング点近傍の２つの初期サンプリング点の間で、タイムスタンプと基準点からの角度との関係が比例関係になっていないと、ステップＳ３０３での推定は間違ってしまう。
【０１０１】
ターンテーブル２３の回転速度が一定でない場合、初期サンプリング点の間のタイムスタンプと基準点からの角度との関係が比例関係にならない。これにより、比例関係でないタイムスタンプと基準点からの角度とに基づく線形補完により推定されたタイムスタンプは、再サンプリング点に対応するタイムスタンプとならない。
【０１０２】
本実施の形態では、ステップＳ３０４において再サンプリングによって抽出した複数の再サンプリングフレームを静止画像として多視点画像ＤＢ５０に直接保存せず、画像抽出部１１は、ステップＳ３０４において動画像ストリームから再サンプリングによって抽出した複数の再サンプリングフレームの撮影位置を、当該フレーム及び初期サンプリングフレームから特定する（ステップＳ３０５）。つまり、再サンプリングによって抽出された複数の再サンプリングフレームに対して、ステップＳ３０２での動作が行われる。これにより、ステップＳ３０３での推定が正しいか否かがわかる。
【０１０３】
次に、画像抽出部１１は、再サンプリングによって抽出した再サンプリングフレームのステップＳ３０５で特定した撮影位置と、距離が等間隔に離れた複数の撮影位置のうちの１つの撮影位置である等間隔位置、つまり再サンプリング点との間の位置ずれが所定の範囲内であるか否かを判定する（ステップＳ３０６）。例えば、画像抽出部１１は、再サンプリングによって抽出した再サンプリングフレームのステップＳ３０５で特定した撮影位置と、２２．５度毎の等間隔な角度にある複数の撮影位置のうちの１つの撮影位置である４５度の再サンプリング点との間の位置ずれが、所定の範囲内であるか否かを判定する。
【０１０４】
画像抽出部１１は、再サンプリングによって抽出した複数の再サンプリングフレームすべての位置ずれが所定の範囲内である場合には（ステップＳ３０６でＹｅｓ）、再サンプリングによって抽出した複数の再サンプリングフレームを静止画像として多視点画像ＤＢ５０に保存する。
【０１０５】
画像抽出部１１は、再サンプリングによって抽出した複数の再サンプリングフレームの位置ずれが所定の範囲内でない場合には（ステップＳ３０６でＮｏ）、再サンプリングによって抽出した再サンプリングフレームの撮影位置及びタイムスタンプを用いて、再度、再サンプリング点でのカメラ２１による撮影によって得られるフレームのタイムスタンプを推定する。つまり、再サンプリングによって抽出された複数の再サンプリングフレームの撮影位置及びタイムスタンプが、複数の初期サンプリングフレームの撮影位置に加えられて、推定の精度が高くなったステップＳ３０３での動作が行われる。そして、画像抽出部１１は、推定されたタイムスタンプのフレームを、再サンプリング点でのカメラ２１による撮影によって得られるフレームとして、動画像ストリームから抽出する。つまり、画像抽出部１１は、抽出した複数の再サンプリングフレームの位置ずれが所定の範囲内になるまで、直前の再サンプリングによって抽出された再サンプリングフレームを用いて再サンプリングを繰り返し実行する。これにより、確実に所定の範囲内に位置ずれが収まるフレームを抽出することができる。言い換えれば、再サンプリング点でのフレームを高い精度で抽出することができる。
【０１０６】
以上のように、動画像ストリームから再サンプリングによって抽出した複数の再サンプリングフレームの撮影位置を、当該再サンプリングフレームに基づいて特定する。そして、再サンプリングによって抽出した再サンプリングフレームの撮影位置と、再サンプリング点との間の位置ずれが所定の範囲内であるか否かを判定する。再サンプリングによって抽出した複数の再サンプリングフレームの位置ずれが所定の範囲内でない場合には、再サンプリングによって抽出した再サンプリングフレームの撮影位置及びタイムスタンプを用いて、再サンプリング点でのカメラ２１による撮影によって得られるフレームのタイムスタンプを推定する。そして、推定したタイムスタンプにより抽出した複数の再サンプリングフレームの位置ずれが所定の範囲内になるまで、直前の再サンプリングによって抽出した再サンプリングフレームを用いて再サンプリングを繰り返し実行する。
【０１０７】
これにより、再サンプリングによって抽出した複数の再サンプリングフレームの位置ずれが所定の範囲内に収まるまで再サンプリングが行われるので、距離が等間隔に離れた適切な撮影位置における静止画像を抽出することができる。
【０１０８】
図１２は、本技術の他の実施の形態による被写体の撮影方法を示す説明図である。図１２に示すように、撮影部２０は、ロボットアーム２２とは別に、スライダー２５を備え、スライダー２５にカメラ２１が取り付けられる。
【０１０９】
図１２の一点鎖線で囲んだように（矢印Ａで示す部分）、ロボットアーム２２は、被写体２４を中心とした図１２のＸＺ平面上の円周方向にスライダー２５及びスライダー２５に取り付けられたカメラ２１を移動可能に保持している。スライダー２５は、図１２の矢印Ａに示すように、スライダー２５に取り付けられたカメラ２１を図１２のｙ軸方向に移動可能に保持している。図１２の一点鎖線で囲んだ部分は、カメラ２１を正面から見たときのスライダー２５によりカメラ２１がｙ軸方向へ移動する様子を示した図である。
【０１１０】
上記実施の形態では、カメラ２１は、被写体２４を中心とした円周上を被写体２４に対して相対的に移動しながら、被写体２４を撮影することにより動画像ストリームを生成した。一方、本実施の形態では、カメラ２１はさらに、被写体２４を中心とした円周の接線方向（ｙ軸方向）にも移動し、移動後に再度、被写体２４を中心とした円周上を被写体２４に対して相対的に移動しながら、被写体２４を撮影する。具体的には制御部３０は以下の制御を行う。
【０１１１】
制御部３０は、上記実施の形態と同様に、ターンテーブル２３の回転、及び、ロボットアーム２２によるカメラ２１の移動の制御を繰り返し行うことで、被写体２４を中心とした球面上の位置からカメラ２１に被写体２４を撮影させる。そして、制御部３０は、スライダー２５によるカメラ２１の移動の制御を行い、被写体２４を図１２のｙ軸方向にカメラ２１を移動させる。制御部３０は、カメラ２１をｙ軸方向に移動させた後に、再度、カメラ２１に被写体２４を中心とした球面上の位置からカメラ２１に被写体２４を撮影させる。これにより、被写体２４の奥行き方向についても撮影されるので、被写体２４を中心とした球面上の位置から被写体２４を撮影した視差のある３次元画像を生成するための動画像ストリームが得られる。
【０１１２】
以上のように、本変形例において、被写体２４を中心とした円周の接線方向にカメラ２１を移動させて撮影する。
【０１１３】
これにより、視差のある３次元画像を生成するためのフレームを含む動画像ストリームが得られる。そのため、視差のある３次元画像を生成するための複数のフレームを抽出することができる。
【０１１４】
以上のように、本技術における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
【０１１５】
したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１１６】
また、上述の実施の形態は、本技術における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１１７】
本技術は、例えばインタラクティブに物体の全周囲画像を表示するための静止画像を抽出する画像処理装置に適用可能である。
【符号の説明】
【０１１８】
１  画像処理システム
１０  画像処理装置
１１  画像抽出部
１２  撮影位置算出部
２０  撮影部
２１  カメラ
２２  ロボットアーム
２３  ターンテーブル
２４  被写体
２５  スライダー
３０  制御部
４０  撮影画像記憶部
５０  多視点画像ＤＢ
【図１】
0006476414.tif 000012
【図２】
0006476414.tif 000013
【図３】
0006476414.tif 000014
【図４】
0006476414.tif 000015
【図５】
0006476414.tif 000016
【図６】
0006476414.tif 000017
【図７】
0006476414.tif 000018
【図８】
0006476414.tif 000019
【図９】
0006476414.tif 000020
【図１０】
0006476414.tif 000021
【図１１】
0006476414.tif 000022
【図１２】
0006476414.tif 000023