【手続補正書】
【提出日】平成26年3月12日(2014.3.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】撮像装置及びその制御方法、並びに情報処理装置
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明に係る撮像装置は、複数の撮像部と、同時撮像を行なう２つ以上の撮像部を備える第一の撮像部群と、同時撮像を行い前記第一の撮像部群に含まれない２つ以上の撮像部を備える第二の撮像部群と、を含む、前記複数の撮像部中の複数の撮像部群の撮像タイミングを制御する撮像タイミング制御部であって、前記第一の撮像部群は前記第二の撮像部群と異なるタイミングで撮像を行なう、撮像タイミング制御部と、前記同時撮像によって得られた画像データから前記第一の撮像部群の撮像タイミングと前記第二の撮像部群の撮像タイミングとにおける被写体の距離情報を推定する距離推定部と、前記複数の撮像部によって撮像された画像データと前記距離推定部で推定された距離情報とから仮想視点画像データを合成する仮想視点画像合成部とを有することを特徴とする。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の撮像部と、
同時撮像を行なう２つ以上の撮像部を備える第一の撮像部群と、同時撮像を行い前記第一の撮像部群に含まれない２つ以上の撮像部を備える第二の撮像部群と、を含む、前記複数の撮像部中の複数の撮像部群の撮像タイミングを制御する撮像タイミング制御部であって、前記第一の撮像部群は前記第二の撮像部群と異なるタイミングで撮像を行なう、撮像タイミング制御部と、
前記同時撮像によって得られた画像データから前記第一の撮像部群の撮像タイミングと前記第二の撮像部群の撮像タイミングとにおける被写体の距離情報を推定する距離推定部と、
前記複数の撮像部によって撮像された画像データと前記距離推定部で推定された距離情報とから仮想視点画像データを合成する仮想視点画像合成部と
を有することを特徴とする撮像装置。
【請求項２】
前記距離推定部で推定された距離情報に基づいて、前記第一の撮像部群及び前記第二の撮像部群の各撮像タイミングにおける前記複数の撮像部の位置を推定する位置推定部をさらに有し、
前記仮想視点画像合成部は、前記位置推定部で推定された位置に基づいて前記仮想視点画像データを合成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
異なる動きを表す複数の被写体を前記距離推定部で推定された距離情報に応じて分類する分類部をさらに有し、
前記仮想視点画像合成部は、前記分類部で分類された前記複数の被写体に対応する複数の仮想視点画像データを合成することを特徴とする、請求項１または２に記載の撮像装置。
【請求項４】
前記複数の仮想視点画像データを統合することにより統合された画像データを生成する仮想視点画像統合部をさらに有することを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
【請求項５】
前記仮想視点画像合成部は、
前記第一の撮像部群によって撮像された画像データと、前記第一の撮像部群の撮像タイミングにおける被写体の前記距離情報とに基づいて、前記第一の撮像部群の撮像タイミングに対応する第一の仮想視点画像データを合成し、
前記第二の撮像部群によって撮像された画像データと、前記第二の撮像部群の撮像タイミングにおける前記被写体の前記距離情報とに基づいて、前記第二の撮像部群の撮像タイミングに対応する仮想視点画像データを合成することを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
【請求項６】
前記仮想視点画像合成部は、前記複数の撮像部の各々によって撮像された最新の画像データから前記仮想視点画像データを合成することを特徴とする請求項１から５のいずれか一項に記載の撮像装置。
【請求項７】
前記第一の撮像部群の撮像タイミングと前記第二の撮像部群の撮像タイミングとの間の撮像間隔は、前記第一の撮像部群及び前記第二の撮像部群に備えられている各カメラのフレーム間隔よりも短いことを特徴とする請求項１から６のいずれか一項に記載の撮像装置。
【請求項８】
前記仮想視点画像合成部によって合成される前記仮想視点画像データは、一定のサイズの開口を有する撮像部によって撮像された画像を表すことを特徴とする請求項１から７のいずれか一項に記載の撮像装置。
【請求項９】
第一のタイミングにおいて互いに異なる視点からの同時撮像を行なう複数の撮像部を備える第一の撮像部群と、
前記第一の撮像部群に含まれない複数の撮像部を備え、前記第一のタイミングと異なる第二のタイミングにおいて互いに異なる視点からの同時撮像を行なう第二の撮像部群と、
前記第一のタイミングにおいて前記第一の撮像部群によって同時撮像された複数の画像を含む第一の画像群を用いることによって前記第一のタイミングにおける被写体の距離を示す第一の距離情報を推定し、前記第二のタイミングにおいて前記第二の撮像部群によって同時撮像された複数の画像を含む第二の画像群を用いることによって前記第二のタイミングにおける前記被写体の距離を示す第二の距離情報を推定する、距離推定部と、
前記第一の距離情報及び前記第一の画像群を用いることによって前記第一のタイミングに対応する第一の仮想視点画像データを合成し、前記第二の距離情報及び前記第二の画像群を用いることによって前記第二のタイミングに対応する第二の仮想視点画像データを合成する、仮想視点画像合成部とを有し、
前記第一の撮像部群は前記第二の撮像部群と共に同時撮像を行なわず、かつ、前記第一の撮像部群と前記第二の撮像部群との間の撮像間隔は、前記第一の撮像部群及び前記第二の撮像部群に含まれる各撮像部の個々のフレーム間隔よりも短いことを特徴とする撮像装置。
【請求項１０】
複数の撮像部を制御する情報処理装置であって、
同時撮像を行なう２つ以上の撮像部を備える第一の撮像部群と、同時撮像を行い前記第一の撮像部群に含まれない２つ以上の撮像部を備える第二の撮像部群と、を含む、前記複数の撮像部中の複数の撮像部群の撮像タイミングを制御する撮像タイミング制御部であって、前記第一の撮像部群は前記第二の撮像部群と異なるタイミングで撮像を行なう、撮像タイミング制御部と、
前記同時撮像によって得られた画像データから前記第一の撮像部群の撮像タイミングと前記第二の撮像部群の撮像タイミングとにおける被写体の距離情報を推定する距離推定部と、
前記複数の撮像部によって撮像された画像データと前記距離推定部で推定された距離情報とから仮想視点画像データを合成する仮想視点画像合成部と
を有することを特徴とする情報処理装置。
【請求項１１】
複数の撮像部を有する撮像装置の制御方法であって、
同時撮像を行なう２つ以上の撮像部を備える第一の撮像部群と、同時撮像を行い前記第一の撮像部群に含まれない２つ以上の撮像部を備える第二の撮像部群と、を含む、前記複数の撮像部中の複数の撮像部群の撮像タイミングを制御する撮像タイミング制御
ステップであって、前記第一の撮像部群は前記第二の撮像部群と異なるタイミングで撮像を行なう、撮像タイミング制御ステップと、
前記同時撮像によって得られた画像データから前記第一の撮像部群の撮像タイミングと前記第二の撮像部群の撮像タイミングとにおける被写体の距離情報を推定する距離推定ステップと、
前記複数の撮像部によって撮像された画像データと前記距離推定ステップで推定された距離情報とから仮想視点画像データを合成する仮想視点画像合成ステップと
を有することを特徴とする撮像装置の制御方法。
【請求項１２】
コンピュータを請求項１から９のいずれか一項に記載の撮像装置として機能させるためのプログラム。