(57)【要約】  三次元再構成方法は、第１多視点画像から第１三次元モデルを再構成し、前記第１多視点画像と同一の実空間を異なる時刻に撮影した第２多視点画像から第２三次元モデルを再構成する再構成ステップ（Ｓ１１６）と、前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる座標合せステップ（Ｓ１１８）とを含む。例えば、前記座標合せステップ（Ｓ１１８）では、前記第１三次元モデルの信頼度、及び前記第２三次元モデルの信頼度の少なくとも一方に基づき座標合せ方法を選択し（Ｓ１２２）、選択した座標合せ方法を用いて、前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる（Ｓ１２３）。
2018135510.tif 000002
【特許請求の範囲】
【請求項１】
第１多視点画像から第１三次元モデルを再構成し、前記第１多視点画像と同一の実空間を異なる時刻に撮影した第２多視点画像から第２三次元モデルを再構成する再構成ステップと、
前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる座標合せステップとを含む
三次元再構成方法。
【請求項２】
前記座標合せステップでは、前記第１三次元モデルの信頼度、及び前記第２三次元モデルの信頼度の少なくとも一方に基づき座標合せ方法を選択し、選択した座標合せ方法を用いて、前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる
請求項１記載の三次元再構成方法。
【請求項３】
前記三次元モデルの信頼度は、前記多視点画像を撮影したカメラのカメラパラメータを用いて、三次元モデル内の三次元点を多視点画像の撮像面へ再投影した再投影点と、前記三次元点に対応する前記多視点画像上の二次元点との誤差を指標とする
請求項２記載の三次元再構成方法。
【請求項４】
前記座標合せステップでは、
前記信頼度が基準値より高い場合は、前記第１三次元モデルの一部と前記第２三次元モデルの一部との誤差に基づき前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる第１座標合せ方法を選択し、
前記信頼度が前記基準値より低い場合は、前記第１三次元モデル全体と前記第２三次元モデル全体との誤差に基づき前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる第２座標合せ方法を選択する
請求項２又は３記載の三次元再構成方法。
【請求項５】
前記第１三次元モデルは、前記第１多視点画像の被写体を示す複数の三次元点と、前記第１多視点画像を撮影した複数のカメラの位置及び姿勢を含み、
前記第２三次元モデルは、前記第２多視点画像の被写体を示す複数の三次元点と、前記第２多視点画像を撮影した複数のカメラの三次元位置及び向きを含み、
前記座標合せステップでは、前記複数の被写体の前記三次元点及び前記複数のカメラの前記三次元位置及び向きの世界座標を合せる
請求項４記載の三次元再構成方法。
【請求項６】
前記座標合せステップでは、前記第１座標合せ方法が選択された場合、
前記複数の三次元点と前記複数のカメラの前記三次元位置とのうち２点を選択し、
前記第１三次元モデル及び前記第２三次元モデルの各々における、選択した前記２点の距離に基づき、前記第１三次元モデルと前記第２三次元モデルとのスケールのずれを補正する
請求項５記載の三次元再構成方法。
【請求項７】
前記座標合せステップでは、前記第１座標合せ方法が選択された場合、
前記複数のカメラのうち一つを選択し、
前記第１三次元モデル及び前記第２三次元モデルの各々における、選択した前記カメラの前記三次元位置及び向きに基づき、前記第１三次元モデルと前記第２三次元モデルとの回転又は並進のずれを補正する
請求項５又は６記載の三次元再構成方法。
【請求項８】
前記座標合せステップでは、前記第２座標合せ方法が選択された場合、
前記第１三次元モデル内の前記複数の三次元点と前記複数のカメラの前記三次元位置の相対関係、及び、前記第２三次元モデル内の前記複数の三次元点と前記複数のカメラの前記三次元位置の相対関係を維持しつつ、前記第１三次元モデルと前記第２三次元モデルとにおける前記複数の三次元点の位置、及び前記複数のカメラの前記三次元位置の誤差が低減されるように、前記第１三次元モデル又は前記第２三次元モデルの回転、並進及びスケールのうち少なくとも一つを補正する
請求項５〜７のいずれか１項に記載の三次元再構成方法。
【請求項９】
前記再構成ステップでは、前記第２三次元モデルを含み、前記同一の実空間を互いに異なる時刻に撮影した複数の多視点画像の各々から複数の三次元モデルを再構成し、
前記座標合せステップでは、
前記複数の三次元モデルの信頼度に基づき、前記複数の三次元モデルから、前記第１三次元モデルのための参照モデルとして前記第２三次元モデルを選択し、
前記第１三次元モデルの世界座標を前記第２三次元モデルの世界座標に合せる
請求項１〜８のいずれか１項に記載の三次元再構成方法。
【請求項１０】
前記再構成ステップでは、前記第２三次元モデルを含み、前記同一の実空間を互いに異なる時刻に撮影した複数の多視点画像の各々から複数の三次元モデルを再構成し、
前記座標合せステップでは、
前記第１三次元モデルの時刻と、前記複数の三次元モデルの各々の時刻との差に基づき、前記複数の三次元モデルから、前記第１三次元モデルのための参照モデルとして前記第２三次元モデルを選択し、
前記第１三次元モデルの世界座標を前記第２三次元モデルの世界座標に合せる
請求項１〜８のいずれか１項に記載の三次元再構成方法。
【請求項１１】
第１多視点画像から第１三次元モデルを再構成し、前記第１多視点画像と同一の実空間を異なる時刻に撮影した第２多視点画像から第２三次元モデルを再構成する再構成部と、
前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる座標合せ部とを含む
三次元再構成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、多視点画像から三次元モデルを再構成する三次元再構成方法及び三次元再構成装置に関する。
【背景技術】
【０００２】
コンピュータビジョンの分野における三次元再構成技術では、複数の二次元画像間で対応付けを行い、カメラの位置、向き、及び被写体の三次元位置を推定する。また、カメラキャリブレーション及び三次元点群再構成が行われる。例えば、このような三次元再構成技術は、次世代広域監視システム、又は自由視点映像生成システムで用いられる。【０００３】
特許文献１に記載の装置は、３台以上の複数カメラ間でキャリブレーションを行い、取得したカメラパラメータにより各カメラ座標系を任意視点の仮想カメラ座標系へ変換する。当該装置は、その仮想カメラ座標系において、座標変換後の画像間のブロックマッチングによる対応付けを行い、距離情報を推定する。当該装置は、推定した距離情報を基に仮想カメラ視点の画像を合成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２５０４５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このような、三次元再構成方法又は三次元再構成装置では、三次元モデルを精度を向上できることが望まれている。【０００６】
そこで本開示は、三次元モデルの精度を向上できる三次元再構成方法又は三次元再構成装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本開示の一態様に係る三次元再構成方法は、第１多視点画像から第１三次元モデルを再構成し、前記第１多視点画像と同一の実空間を異なる時刻に撮影した前記第２多視点画像から第２三次元モデルを再構成する再構成ステップと、前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる座標合せステップとを含む。【０００８】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００９】
本開示は、三次元モデルの精度を向上できる三次元再構成方法又は三次元再構成装置を提供できる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施の形態に係る自由視点映像生成システムの概要を示す図である。
【図２】図２は、実施の形態に係る三次元再構成処理を説明するための図である。
【図３】図３は、実施の形態に係る同期撮影を説明するための図である。
【図４】図４は、実施の形態に係る同期撮影を説明するための図である。
【図５】図５は、実施の形態に係る三次元再構成システムのブロック図である。
【図６】図６は、実施の形態に係る三次元再構成装置による処理を示すフローチャートである。
【図７】図７は、実施の形態に係る多視点フレームセットの一例を示す図である。
【図８】図８は、実施の形態に係る三次元再構成部のブロック図である。
【図９】図９は、実施の形態に係る三次元再構成部による処理を示すフローチャートである。
【図１０】図１０は、実施の形態に係るカメラパラメータの推定方法及び三次元モデルの再構成方法を説明するための図である。
【図１１】図１１は、実施の形態に係る座標合せ部のブロック図である。
【図１２】図１２は、実施の形態に係る座標合せ部による処理を示すフローチャートである。
【図１３】図１３は、実施の形態に係る座標合せ方法１を説明するための図である。
【図１４】図１４は、実施の形態に係る座標合せ方法２を説明するための図である。
【発明を実施するための形態】
【００１１】
（本開示の基礎となった知見）
時系列に同期撮影された多視点映像を用いて時系列に三次元モデルを再構成する場合、特許文献１の方法により各時刻で独立したキャリブレーション及び距離情報推定を行うと、三次元モデルの座標軸が時刻毎に異なり、時間方向の三次元情報の推移を利用できないという問題が生じる。具体的には、時刻間でカメラの位置又は向きが異なる場合、又は、被写体が動く場合には、三次元モデルの座標軸も時刻毎に異なることがある。これにより、例えば、仮想カメラ視点を固定している場合でも、シーン全体がぶれ続ける自由視点映像が生成される場合がある。
【００１２】
そこで本開示では、各時刻の三次元モデルの位置関係の精度を向上できる三次元再構成方法又は三次元再構成装置について説明する。
【００１３】
本開示の一態様に係る三次元再構成方法は、第１多視点画像から第１三次元モデルを再構成し、前記第１多視点画像と同一の実空間を異なる時刻に撮影した第２多視点画像から第２三次元モデルを再構成する再構成ステップと、前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる座標合せステップとを含む。
【００１４】
これによれば、当該三次元再構成方法は、各時刻の三次元モデルの位置関係の精度を向上できるので、三次元モデルの精度を向上できる。
【００１５】
例えば、前記座標合せステップでは、前記第１三次元モデルの信頼度、及び前記第２三次元モデルの信頼度の少なくとも一方に基づき座標合せ方法を選択し、選択した座標合せ方法を用いて、前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せてもよい。
【００１６】
これによれば、当該三次元再構成方法は、信頼度に応じた適切な座標合せ方法を用いることができる。
【００１７】
例えば、前記三次元モデルの信頼度は、前記多視点画像を撮影したカメラのカメラパラメータを用いて、三次元モデル内の三次元点を多視点画像の撮像面へ再投影した再投影点と、前記三次元点に対応する前記多視点画像上の二次元点との誤差を指標としてもよい。
【００１８】
例えば、前記座標合せステップでは、前記信頼度が基準値より高い場合は、前記第１三次元モデルの一部と前記第２三次元モデルの一部との誤差に基づき前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる第１座標合せ方法を選択し、前記信頼度が前記基準値より低い場合は、前記第１三次元モデル全体と前記第２三次元モデル全体との誤差に基づき前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる第２座標合せ方法を選択してもよい。
【００１９】
これによれば、当該三次元再構成方法は、信頼度に応じた適切な座標合せ方法を用いることができる。
【００２０】
例えば、前記第１三次元モデルは、前記第１多視点画像の被写体を示す複数の三次元点と、前記第１多視点画像を撮影した複数のカメラの位置及び姿勢を含み、前記第２三次元モデルは、前記第２多視点画像の被写体を示す複数の三次元点と、前記第２多視点画像を撮影した複数のカメラの三次元位置及び向きを含み、前記座標合せステップでは、前記複数の被写体の前記三次元点及び前記複数のカメラの前記三次元位置及び向きの世界座標を合せてもよい。
【００２１】
例えば、前記座標合せステップでは、前記第１座標合せ方法が選択された場合、前記複数の三次元点と前記複数のカメラの前記三次元位置とのうち２点を選択し、前記第１三次元モデル及び前記第２三次元モデルの各々における、選択した前記２点の距離に基づき、前記第１三次元モデルと前記第２三次元モデルとのスケールのずれを補正してもよい。
【００２２】
例えば、前記座標合せステップでは、前記第１座標合せ方法が選択された場合、前記複数のカメラのうち一つを選択し、前記第１三次元モデル及び前記第２三次元モデルの各々における、選択した前記カメラの前記三次元位置及び向きに基づき、前記第１三次元モデルと前記第２三次元モデルとの回転又は並進のずれを補正してもよい。
【００２３】
例えば、前記座標合せステップでは、前記第２座標合せ方法が選択された場合、前記第１三次元モデル内の前記複数の三次元点と前記複数のカメラの前記三次元位置の相対関係、及び、前記第２三次元モデル内の前記複数の三次元点と前記複数のカメラの前記三次元位置の相対関係を維持しつつ、前記第１三次元モデルと前記第２三次元モデルとにおける前記複数の三次元点の位置、及び前記複数のカメラの前記三次元位置の誤差が低減されるように、前記第１三次元モデル又は前記第２三次元モデルの回転、並進及びスケールのうち少なくとも一つを補正してもよい。
【００２４】
例えば、前記再構成ステップでは、前記第２三次元モデルを含み、前記同一の実空間を互いに異なる時刻に撮影した複数の多視点画像の各々から複数の三次元モデルを再構成し、前記座標合せステップでは、前記複数の三次元モデルの信頼度に基づき、前記複数の三次元モデルから、前記第１三次元モデルのための参照モデルとして前記第２三次元モデルを選択し、前記第１三次元モデルの世界座標を前記第２三次元モデルの世界座標に合せてもよい。
【００２５】
これによれば、当該三次元再構成方法は、例えば、信頼度の高い第２三次元モデルに第１三次元モデルの世界座標を合せることができるので、座標合せの精度を向上できる。
【００２６】
例えば、前記再構成ステップでは、前記第２三次元モデルを含み、前記同一の実空間を互いに異なる時刻に撮影した複数の多視点画像の各々から複数の三次元モデルを再構成し、前記座標合せステップでは、前記第１三次元モデルの時刻と、前記複数の三次元モデルの各々の時刻との差に基づき、前記複数の三次元モデルから、前記第１三次元モデルのための参照モデルとして前記第２三次元モデルを選択し、前記第１三次元モデルの世界座標を前記第２三次元モデルの世界座標に合せてもよい。
【００２７】
これによれば、当該三次元再構成方法は、例えば、第１三次元モデルに時刻が近い第２三次元モデルに、当該第１三次元モデルの世界座標を合せることができるので、座標合せの精度を向上できる。
【００２８】
本開示の一態様に係る三次元再構成装置は、第１多視点画像から第１三次元モデルを再構成し、前記第１多視点画像と同一の実空間を異なる時刻に撮影した第２多視点画像から第２三次元モデルを再構成する再構成部と、前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる座標合せ部とを含む。
【００２９】
これによれば、当該三次元再構成方法は、各時刻の三次元モデルの位置関係の精度を向上できるので、三次元モデルの精度を向上でき。
【００３０】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【００３１】
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００３２】
（実施の形態）
本実施の形態に係る三次元再構成装置は、時刻間で座標軸の一致した時系列三次元モデルを再構成できる。具体的には、まず、三次元再構成装置２００は、時刻毎に独立して三次元再構成を行うことで、各時刻の三次元モデルを取得する。次に、三次元再構成装置は、時刻間で三次元モデルの座標合せを行い、座標軸の一致した時系列三次元モデルを生成する。
【００３３】
これにより、三次元再構成装置は、カメラの固定／非固定又は被写体の移動／静止に関わらず、各時刻の被写体及びカメラの相対位置関係が高精度であり、かつ時間方向の推移情報を利用可能な時系列三次元モデルを生成できる。
【００３４】
図１は、自由視点映像生成システムの概要を示す図である。例えば、校正済みのカメラ（例えば固定カメラ）を用いて同一空間を多視点から撮影することにより撮影する空間を三次元再構成できる（三次元空間再構成）。この三次元再構成されたデータを用いて、トラッキング、シーン解析、及び映像レンダリングを行うことで、任意の視点（自由視点カメラ）から見た映像を生成できる。これにより、次世代広域監視システム、及び自由視点映像生成システムを実現できる。
【００３５】
本開示における三次元再構成を定義する。実空間上に存在する被写体を複数のカメラにより異なる視点で撮影した映像又は画像を多視点映像又は多視点画像と呼ぶ。つまり、多視点画像は、同一の被写体を異なる視点から撮影した複数の二次元画像を含む。また、時系列に撮影された多視点画像を多視点映像と呼ぶ。この多視点画像を用いて被写体を三次元空間に再構成することを三次元再構成と呼ぶ。図２は、三次元再構成の仕組みを示す図である。
【００３６】
三次元再構成装置は、カメラパラメータを用いて、画像面の点を世界座標系に再構成する。三次元空間に再構成された被写体を三次元モデルと呼ぶ。被写体の三次元モデルは、多視点の二次元画像に映る被写体上の複数の点それぞれの三次元位置を示す。三次元位置は、例えば、ＸＹＺ軸からなる三次元座標空間のＸ成分、Ｙ成分、Ｘ成分からなる三値情報で表される。なお、三次元モデルは、三次元位置のみだけでなく、各点の色又は各点及びその周辺の表面形状を表す情報を含んでもよい。
【００３７】
この時、三次元再構成装置は、各カメラのカメラパラメータを、予め取得してもよいし、三次元モデルの作成と同時に推定してもよい。カメラパラメータは、カメラの焦点距離及び画像中心などからなる内部パラメータと、カメラの三次元位置及び向きを示す外部パラメータとを含む。
【００３８】
図２は、代表的なピンホールカメラモデルの例を示している。このモデルではカメラのレンズ歪みは考慮されていない。レンズ歪みを考慮する場合は、三次元再構成装置は、画像面座標における点の位置を歪みモデルにより正規化した補正位置を用いる。
【００３９】
次に、多視点映像の同期撮影について説明する。図３及び図４は同期撮影を説明するための図である。図３及び図４の横方向は時間を示し、矩形信号が立っている時間はカメラが露光していることを示す。カメラにより画像を取得する際、シャッタが開放されている時間を露光時間と呼ぶ。
【００４０】
露光時間中、レンズを通して撮像素子にさらされたシーンが画像として得られる。図３では、視点の異なる２台のカメラで撮影されたフレームでは、露光時間が重複している。これにより２台のカメラにより取得したフレームは、同一時刻のシーンを含んでいる同期フレームと判定される。
【００４１】
一方、図４では、２台のカメラで露光時間の重複が無いため、２台のカメラにより取得したフレームは、同一時刻のシーンを含まない非同期フレームと判定される。図３のように、同期フレームを複数のカメラで撮影することを同期撮影と呼ぶ。
【００４２】
次に、本実施の形態に係る三次元再構成システムの構成を説明する。図５は、本実施の形態に係る三次元再構成システムのブロック図である。図５に示す三次元再構成システムは、複数のカメラ１００−１〜１００−ｎと、三次元再構成装置２００とを含む。
【００４３】
複数のカメラ１００−１〜１００−ｎは被写体を撮影し、撮影された複数の映像である多視点映像を出力する。多視点映像の送信は、インターネットなどの公衆通信網、又は専用通信網のいずれを介してもよい。あるいは、多視点映像は、一度ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）などの外部記憶装置に記憶され、必要な時に三次元再構成装置２００へ入力されてもよい。あるいは、多視点映像は、クラウドサーバ等の外部記憶装置に一旦ネットワークを介して送信され、記憶される。そして、必要な時に三次元再構成装置２００へ送信されてもよい。
【００４４】
また、複数のカメラ１００−１〜１００−ｎの各々は、監視カメラなどの固定カメラであっても、ビデオカメラ、スマートフォンまたはウェアラブルカメラなどのモバイルカメラであっても、撮影機能付きドローンなどの移動カメラであってもよい。
【００４５】
また、多視点映像には、映像又はフレームのヘッダ情報として、撮影したカメラを特定するカメラＩＤなどのカメラ特定情報が付加されてもよい。
【００４６】
複数のカメラ１００−１〜１００−ｎを用いて、毎フレームで同じ時刻の被写体を撮影する同期撮影が行われてもよい。あるいは、複数のカメラ１００−１〜１００−ｎに内蔵された時計の時刻を合せ、同期撮影せずに、映像又はフレーム毎に撮影時刻情報が付加されてもよし、撮影順序を示すインデックス番号が付加されてもよい。
【００４７】
多視点映像の映像セット毎、映像毎、又はフレーム毎に、同期撮影されたか、非同期撮影されたかを示す情報がヘッダ情報として付加されてもよい。
【００４８】
また、三次元再構成装置２００は、受信部２１０と、記憶部２２０と、取得部２３０と、三次元再構成部２４０と、送信部２５０とを備える。
【００４９】
次に、三次元再構成装置２００の動作を説明する。図６は、本実施の形態に係る三次元再構成装置２００の動作を示すフローチャートである。
【００５０】
まず、受信部２１０は、複数のカメラ１００−１〜１００−ｎで撮影された多視点映像を受信する（Ｓ１０１）。記憶部２２０は、受信された多視点映像を記憶する（Ｓ１０２）。
【００５１】
次に、取得部２３０は、多視点映像からフレームを選択し、多視点フレームセットとして三次元再構成部２４０へ出力する（Ｓ１０３）。
【００５２】
例えば、多視点フレームセットは、全ての視点の映像から１フレームずつ選択した複数フレームにより構成されてもよいし、全ての視点の映像から少なくとも１フレーム選択した複数フレームにより構成されてもよいし、多視点映像のうち２つ以上の視点の映像を選択し、選択された各映像から１フレームずつ選択した複数フレームにより構成されてもよいし、多視点映像のうち２つ以上の視点の映像を選択し、選択された各映像から少なくとも１フレーム選択した複数フレームにより構成されてもよい。
【００５３】
また、多視点フレームセットの各フレームにカメラ特定情報が付加されていない場合は、取得部２３０は、カメラ特定情報を、各フレームのヘッダ情報に個別に付加してもよいし、多視点フレームセットのヘッダ情報に一括して付加してもよい。
【００５４】
また、多視点フレームセットの各フレームに撮影時刻又は撮影順を示すインデックス番号が付加されていない場合は、取得部２３０は、撮影時刻又はインデックス番号を、各フレームのヘッダ情報に個別に付加してもよいし、フレームセットのヘッダ情報に一括して付加してもよい。
【００５５】
次に、三次元再構成部２４０は、多視点フレームセットを用いて、各カメラのカメラパラメータを推定し、各フレームに映る被写体の三次元モデルを再構成する（Ｓ１０４）。
【００５６】
また、ステップＳ１０３及びＳ１０４の処理は、多視点フレームセット毎に繰り返し行われる。
【００５７】
最後に、送信部２５０は、カメラパラメータ、及び被写体の三次元モデルの一方又は両方を外部へ送信する（Ｓ１０５）。
【００５８】
次に、多視点フレームセットの詳細について説明する。図７は、多視点フレームセットの一例を示す図である。ここでは、取得部２３０が、５台のカメラ１００−１〜１００−５から１フレームずつを選択することで多視点フレームセットを決定する例を説明する。
【００５９】
また、複数のカメラが同期撮影することを仮定している。各フレームのヘッダ情報には、撮影されたカメラを特定するカメラＩＤがそれぞれ１００−１〜１００−５として付与されている。また、各フレームのヘッダ情報には、各カメラ内での撮影順序を示すフレーム番号００１〜Ｎが付与されており、カメラ間で同じフレーム番号を持つフレームは同時刻の被写体が撮影されたことを示す。
【００６０】
取得部２３０は、多視点フレームセット２００−１〜２００−ｎを三次元再構成部２４０へ順次出力する。三次元再構成部２４０は、繰り返し処理により多視点フレームセット２００−１〜２００−ｎを用いて、順次三次元再構成を行う。
【００６１】
多視点フレームセット２００−１は、カメラ１００−１のフレーム番号００１、カメラ１００−２のフレーム番号００１、カメラ１００−３のフレーム番号００１、カメラ１００−４のフレーム番号００１、カメラ１００−５のフレーム番号００１の５枚のフレームから構成される。三次元再構成部２４０は、この多視点フレームセット２００−１を、多視点映像の最初のフレームの集合として、繰り返し処理１で使用することにより、フレーム番号００１を撮影した時刻の三次元モデルを再構成する。
【００６２】
多視点フレームセット２００−２では、全てのカメラでフレーム番号が更新される。多視点フレームセット２００−２は、カメラ１００−１のフレーム番号００２、カメラ１００−２のフレーム番号００２、カメラ１００−３のフレーム番号００２、カメラ１００−４のフレーム番号００２、カメラ１００−５のフレーム番号００２の５枚のフレームから構成される。三次元再構成部２４０は、おの多視点フレームセット２００−２を繰り返し処理２で使用することにより、フレーム番号００２を撮影した時刻の三次元モデルを再構成する。
【００６３】
以下、繰り返し処理３以降でも同様に全てのカメラでフレーム番号が更新される。これにより、三次元再構成部２４０は、各時刻の三次元モデルを再構成できる。
【００６４】
ただし、各時刻で独立して三次元再構成を行うため、再構成された複数の三次元モデルの座標軸とスケールが一致しているとは限らない。つまり、動く被写体の三次元モデルを取得するためには、各時刻の座標軸及びスケールを合せる必要がある。
【００６５】
その場合、各フレームには撮影時刻が付与されており、その撮影時刻を基に取得部２３０は、同期フレームと非同期フレームを組み合わせた多視点フレームセットを作成する。以下、２台のカメラ間での撮影時刻を用いた同期フレームと非同期フレームの判定方法を説明する。
【００６６】
カメラ１００−１から選択したフレームの撮影時刻をＴ１とし、カメラ１００−２から選択したフレームの撮影時刻をＴ２とし、カメラ１００−１の露光時間をＴＥ１とし、カメラ１００−２の露光時間をＴＥ２とする。ここで、撮影時刻Ｔ１、Ｔ２は、図３及び図４の例で露光が開始された時刻、つまり矩形信号の立ち上がりの時刻を指している。
【００６７】
この場合、カメラ１００−１の露光終了時刻はＴ１＋ＴＥ１である。この時、（式１）又は（式２）が成立していれば、２台のカメラは、同じ時刻の被写体を撮影していることになり、２枚のフレームは同期フレームと判定される。
【００６８】
Ｔ１≦Ｔ２≦Ｔ１＋ＴＥ１    （式１）
Ｔ１≦Ｔ２＋ＴＥ２≦Ｔ１＋ＴＥ１    （式２）
【００６９】
次に、三次元再構成部２４０の詳細について説明する。図８は三次元再構成部２４０の構造を示すブロック図である。図８に示すように三次元再構成部２４０は、検出部３１０と、抽出部３１１と、対応部３１２と、選択部３１３と、推定部３１４と、復元部３１５と、最適化部３１６と、記憶部３１７と、座標合せ部３１８とを備える。
【００７０】
図９は、三次元再構成部２４０の動作を示すフローチャートである。なお、図９に示す処理は、例えば、多視点フレームセット毎に行われる。
【００７１】
まず、検出部３１０は、多視点フレームセットに含まれる全フレームの特徴点を検出する（Ｓ１１１）。特徴点は、フレームに含まれる物体の輪郭、物体或いは空間の角、又はフレーム平面における物体同士の交差点のような、点、エッジ、又は一定領域とその周囲との輝度又は色合いの差が大きい点、辺、又は一定領域のことを示す。
【００７２】
次に、抽出部３１１は、検出部３１０で検出された全ての特徴点の特徴ベクトルを算出する（Ｓ１１２）。特徴ベクトルは、特徴点を含む特定領域に含まれる画素の輝度又は色の勾配方向の分布をベクトルで表現したものである。なお、特徴点及び特徴ベクトルは、他の画像情報であってもよい。例えば、特徴点及び特徴ベクトルは、テクスチャ情報又は周波数変換後の情報を用いて検出されるものでも構わない。
【００７３】
次に、対応部３１２は、抽出部３１１が抽出した特徴ベクトルを用いてフレームペアの対応点を決定する（Ｓ１１３）。例えば、対応部３１２は、あるフレームに含まれる特徴点の特徴ベクトルに類似する特徴ベクトルを有する他のフレームの特徴点を探索し、この２つの特徴点を対応点に決定する。つまり、対応点は、異なるフレームに含まれる、同一の三次元点を示す２つの特徴点を示す。また、対応部３１２は、各フレームの各特徴点に対して同様の処理を行うことで複数の対応点を決定する。
【００７４】
次に、選択部３１３は、対応部３１２が決定した対応点、又は、後述する最適化部３１６が算出した三次元点を用いて、三次元再構成の対象である対象カメラを未推定カメラから選択する（Ｓ１１４）。ここで未推定カメラとは、複数のカメラのうち、後述するカメラパラメータの推定処理を行っていないカメラである。なお、ステップＳ１１４〜Ｓ１１７の処理は、カメラ毎に繰り返し行われ、全てのカメラに対して処理が行われた場合、ステップＳ１１８に進む。
【００７５】
次に、推定部３１４は、対応部３１２が決定した対応点を用いて、対象カメラのカメラパラメータを推定する（Ｓ１１５）。
【００７６】
次に、復元部３１５は、推定部３１４が推定したカメラパラメータを用いてフレーム内の特徴点を三次元点として再構成する（Ｓ１１６）。具体的には、復元部３１５は、対象カメラで撮影されたフレーム内の各特徴点を三次元座標上に逆投影することにより、被写体の三次元モデルを再構成する。
【００７７】
次に、最適化部３１６は、推定部３１４が推定したカメラパラメータと、復元部３１５が復元した複数の三次元点を、三次元モデル全体が最適となるように補正し、補正した三次元モデルを記憶部３１７に格納する（Ｓ１１７）。
【００７８】
ステップＳ１１４〜Ｓ１１７の処理が全てのカメラに対して行われることで、ある時刻の多視点フレームセットに基づく三次元モデルが生成される。
【００７９】
次に、座標合せ部３１８は、得られた三次元モデルの座標を、再構成済みの他の時刻の三次元モデルの座標に合せる座標合せ処理を行う（Ｓ１１８）。
【００８０】
このように、三次元再構成装置２００は、第１多視点画像から第１三次元モデルを再構成し、第１多視点画像と同一の実空間を異なる時刻に撮影した第２多視点画像から第２三次元モデルを再構成する。次に、三次元再構成装置２００は、第１三次元モデルと第２三次元モデルとの世界座標系を合せる。これにより、三次元再構成装置２００は、各時刻の三次元モデルの位置関係の精度を向上できるので、三次元モデルの精度を向上できる。
【００８１】
以下、対応点を用いたカメラパラメータの推定方法（Ｓ１１５）及び三次元モデルの再構成方法（Ｓ１１６）の一例を説明する。三次元再構成部２４０は、エピポーラ幾何を拘束条件として、世界座標系におけるカメラの座標及び姿勢を算出し、さらに、カメラにより撮影した画像上の点の世界座標系における三次元位置を算出する。
【００８２】
図１０は、カメラパラメータの推定方法及び三次元モデルの再構成方法を説明するための図である。カメラの内部パラメータは既知であり、３枚のフレーム（画像１、画像２、及び画像３）を用いて、カメラの外部パラメータを推定し、被写体の三次元モデルを再構成する例を説明する。
【００８３】
各カメラのカメラパラメータを取得するには、０を原点とする世界座標系におけるカメラの回転行列Ｒ１、Ｒ２、Ｒ３及び並進ベクトルＴ１、Ｔ２、Ｔ３を算出する必要がある。まず、画像１と画像２を撮影したカメラの回転行列及び並進ベクトルを算出する方法を述べる。画像１上の点ｍ１＝（ｕ１、ｖ１、１）と画像２上の点ｍ２が対応している時、両者には（式３）を満たすエピポーラ方程式が成り立つ。
【００８４】
【数１】
2018135510.tif 000003
【００８５】
ここで、ＦをＦｕｎｄａｍｅｎｔａｌ  ｍａｔｒｉｘ（Ｆ行列）と呼ぶ。推定部３１４は、各カメラの内部パラメータＫを用いて、（式４）に示す変換式によりそれぞれの点を各カメラ座標系の点ｍ１＝（ｘ１、ｙ１、ｚ１）及びｍ２＝（ｘ２、ｙ２、ｚ２）として取得できる。エピポーラ方程式は（式５）のように書き換えられる。
【００８６】
【数２】
2018135510.tif 000004
【００８７】
【数３】
2018135510.tif 000005
【００８８】
ここで、ＥをＥｓｓｅｎｔｉａｌ  ｍａｔｒｉｘ（Ｅ行列）と呼ぶ。推定部３１４は、複数の対応点を用いてＥ行列の各要素を算出できる。また、推定部３１４は、画像間の点ｍ１及びｍ２のような対応点を複数用いてＦ行列の各要素を算出した後、（式６）の変換式によりＥ行列を取得してもよい。
【００８９】
Ｅ＝Ｋ−１ＦＫ    （式６）
【００９０】
推定部３１４は、このＥ行列を分解することにより、世界座標系において画像１から画像２への回転行列及び並進ベクトルを取得できる。世界座標系におけるカメラ１の位置及び世界座標系の各軸に対するカメラ１の傾きが既知の場合は、推定部３１４は、カメラ１とカメラ２との相対関係を用いて、世界座標系におけるカメラ１及びカメラ２の位置及び姿勢を取得できる。推定部３１４は、世界座標系におけるカメラ１の位置及び姿勢を、映像以外のカメラの情報（例えば、カメラが備えるジャイロセンサ又は加速度センサ等のセンサで得られた情報）を用いて算出してもよいし、予め計測しておいてもよい。また、カメラ１のカメラ座標系を世界座標系として、他のカメラの位置及び姿勢を算出してもよい。
【００９１】
なお、カメラのレンズ歪みを考慮する場合、推定部３１４は、歪みモデルを用いて、画像上の点の位置を補正し、補正された位置を用いてＦ行列又はＥ行列を取得する。推定部３１４は、一例として（式７）に示すレンズの半径方向の歪みモデルなどを使用する。
【００９２】
ｕｕｎｄｉｓｔｏｒｔｅｄ＝ｕ（１＋ｋ１ｒ２＋ｋ２ｒ４＋ｋ３ｒ６）
ｖｕｎｄｉｓｔｏｒｔｅｄ＝ｖ（１＋ｋ１ｒ２＋ｋ２ｒ４＋ｋ３ｒ６）
ｒ２＝ｕ２＋ｖ２    （式７）
【００９３】
また、復元部３１５は、画像１と画像２の回転行列及び並進ベクトルを用いて形成される三角形により、対応点の世界座標系上の対応点の三次元座標Ｍを取得できる。
【００９４】
また、上記の幾何学的関係は３視点に拡張できる。画像１と画像２に対し画像３を追加する場合、推定部３１４は、画像２と画像３、及び画像１と画像３についてもそれぞれＥ行列を算出し、各カメラ間の相対的な回転行列及び並進ベクトルを取得する。推定部３１４は、これらを統合することにより、画像３のカメラの世界座標系における回転行列及び並進ベクトルを算出できる。
【００９５】
また、画像３と画像１、画像３と画像２のそれぞれで対応点から画像３の回転行列及び並進ベクトルを算出してもよい。詳細には、画像１と画像３、及び画像２と画像３で対応点を求める。ここで、画像１上の点ｍ１、及び画像２上の点ｍ２に対応する画像３上の点ｍ３が得られたとすると、この対応点の三次元座標Ｍは取得できているため、画像３上の点と三次元空間内の座標の対応関係を取得できる。この時、（式８）が成り立つ。
【００９６】
【数４】
2018135510.tif 000006
【００９７】
ここでＰをＰｅｒｓｐｅｃｔｉｖｅ  ｍａｔｒｉｘ（Ｐ行列）と呼ぶ。Ｐ行列、Ｅ行列、及び内部行列には（式９）の関係が成り立つため、推定部３１４は、画像３のＥ行列を取得でき、これにより回転行列及び並進ベクトルを求めることができる。
【００９８】
Ｐ＝ＫＥ    （式９）
【００９９】
なお、内部パラメータが未知の場合でも、推定部３１４は、Ｆ行列又はＰ行列を算出した後、内部行列は上三角行列であり、Ｅ行列は正定値対称行列であるという制約の下にＦ行列及びＰ行列を分割することで、内部行列及びＥ行列を求めることが可能である。
【０１００】
以下、座標合せ部３１８の構成及び座標合せ処理（Ｓ１１８）の詳細を説明する。図１１は、座標合せ部３１８の構造を示すブロック図である。図１２は、座標合せ処理のフローチャートである。
【０１０１】
座標合せ部３１８は、現時刻の三次元モデルの座標系を記憶部３１７に格納されている再構成済みの三次元モデルの座標系に合せる座標合せ処理を行う。前者を対象モデルと呼び、後者を参照モデルと呼ぶ。
【０１０２】
座標合せ部３１８は、参照モデル選択部４１０と、座標合せ方法選択部４１１と、座標合せ処理部４１２とを備える。
【０１０３】
まず、参照モデル選択部４１０は、最適化部３１６により出力された対象モデルの座標系を、再構成済みの三次元モデルの座標系に合せるために、記憶部３１７に格納されている再構成済みの三次元モデルのなかから参照モデルを選択する（Ｓ１２１）。具体的には、参照モデル選択部４１０は、信頼度の高いモデルを参照モデルとして選択する。例えば、参照モデル選択部４１０は、再投影誤差が少ないモデルを参照モデルとして選択する。再投影誤差とは、カメラパラメータを用いて三次元モデルを各カメラの画像面に再投影した点と、三次元モデルを算出する基となった画像上の特徴点との誤差である。言い換えると、再投影誤差は、多視点画像を撮影したカメラのカメラパラメータを用いて、三次元モデル内の三次元点を多視点画像の撮像面へ再投影した再投影点と、当該三次元点に対応する多視点画像上の二次元点との誤差である。なお、参照モデル選択部４１０は、対象モデルに時刻が近いモデルを参照モデルとして選択してもよいし、時刻と信頼度とを組み合わせて参照モデルを選択してもよい。
【０１０４】
次に、座標合せ方法選択部４１１は、対象モデルと参照モデルとの座標系を合せるための方法を選択する（Ｓ１２２）。具体的には、座標合せ方法選択部４１１は、カメラパラメータ及び三次元モデルのうちの一部の位置パラメータの誤差を最小化する方法１と、カメラ及び三次元点の全ての位置パラメータの誤差を最小化する方法２とから、一方を選択する。例えば、座標合せ方法選択部４１１は、カメラ及び三次元モデルの相対関係の信頼度が高い場合は、方法１を選択し、信頼度が低い場合は、方法２を選択する。
【０１０５】
次に、座標合せ処理部４１２は、座標合せ方法選択部４１１により選択された方法を用いて、対象モデルと参照モデルとの座標系を合せる（Ｓ１２３）。座標合せ処理部４１２は、カメラ及び三次元モデルの相対関係は維持したまま、対象モデルの世界座標を回転、移動、及びスケーリング処理することで、対象モデルと参照モデルとの誤差を最小化する。
【０１０６】
このように、三次元再構成装置２００は、第２三次元モデルを含み、同一の実空間を互いに異なる時刻に撮影した複数の多視点画像の各々から複数の三次元モデルを再構成する。三次元再構成装置２００は、複数の三次元モデルの信頼度に基づき、複数の三次元モデルから、第１三次元モデルのための参照モデルとして第２三次元モデルを選択する。例えば、三次元再構成装置２００は、信頼度が最も高い、又は信頼度が基準値より高い三次元モデルを選択する。または、三次元再構成装置２００は、第１三次元モデルの時刻と、複数の三次元モデルの各々の時刻との差に基づき、複数の三次元モデルから、第１三次元モデルのための参照モデルとして第２三次元モデルを選択する。例えば、三次元再構成装置２００は、上記時刻の差が最も小さい、又は上記時刻の差が基準値より小さい三次元モデルを選択する。そして、三次元再構成装置２００は、第１三次元モデルの世界座標を第２三次元モデルの世界座標に合せる。
【０１０７】
これにより、三次元再構成装置２００は、信頼度の高い、又は第１三次元モデルに時刻が近い第２三次元モデルに第１三次元モデルの世界座標を合せることができるので、座標合せの精度を向上できる。
【０１０８】
また、三次元再構成装置２００は、第１三次元モデルの信頼度、及び第２三次元モデルの信頼度の少なくとも一方に基づき座標合せ方法を選択し、選択した座標合せ方法を用いて、第１三次元モデルと第２三次元モデルとの世界座標系を合せる。例えば、信頼度は、再投影誤差を指標する。
【０１０９】
例えば、三次元再構成装置２００は、信頼度が基準値より高い場合は、第１三次元モデルの一部と第２三次元モデルの一部との誤差に基づき第１三次元モデルと第２三次元モデルとの世界座標系を合せる第１座標合せ方法（座標合せ方法１）を選択する。また、三次元再構成装置２００は、信頼度が基準値より低い場合は、第１三次元モデル全体と第２三次元モデル全体との誤差に基づき第１三次元モデルと第２三次元モデルとの世界座標系を合せる第２座標合せ方法（座標合せ方法２）を選択する。
【０１１０】
これにより、三次元再構成装置２００は、信頼度に応じた適切な座標合せ方法を用いることができるので、座標合せの精度を向上できる。
【０１１１】
以下、座標合せ方法１及び方法２について説明する。まず、座標合せ方法１について説明する。図１３は、座標合せ方法１を説明するための図である。
【０１１２】
座標合せ処理部４１２は、カメラ及び三次元点のうち２点を選択し、２点間距離を用いて対象モデルと参照モデルの世界座標系のスケールの比率を算出し、対象モデルのスケールが参照モデルのスケールに近づくように対象モデルを補正する。また、座標合せ処理部４１２は、カメラ１台を選択し、選択したカメラの外部パラメータを用いて対象モデルと参照モデルとの世界座標系の回転及び並進のずれを算出し、算出したずれが最小になるように対象モデルを補正する。
【０１１３】
具体的には、座標合せ処理部４１２は、対象モデルと参照モデルとに含まれる複数のカメラ及び複数の三次元点から２点を選択する。例えば、座標合せ処理部４１２は、信頼度が高い（例えば再投影誤差が小さい）点を選択する。選択された２点の位置情報を対象モデルについてＰＴ１＝（ｘＴ１、ｙＴ１、ｚＴ１）、ＰＴ２＝（ｘＴ２、ｙＴ２、ｚＴ２）とし、参照モデルについてＰＲ１＝（ｘＲ１、ｙＲ１、ｚＲ１）、ＰＲ２＝（ｘＲ２、ｙＲ２、ｚＲ２）とする。点ＰＴ１と点ＰＴ２との距離は（式１０）で表され、点ＰＲ１と点ＰＲ２との距離は（式１１）で表される。
【０１１４】
【数５】
2018135510.tif 000007
【０１１５】
このとき、２つのモデルのスケールの比率は（式１２）で表わされる。
【０１１６】
Ｓ＝ＤＲ／ＤＴ    （式１２）
【０１１７】
座標合せ処理部４１２は、この比率Ｓを（式１３）に示すように対象モデルの全てのカメラ及び三次元点の位置情報ＰＴＫに乗算することでスケールを補正する。
【０１１８】
Ｐ’ＴＫ＝ＳＰＴＫ    （式１３）
【０１１９】
また、座標合せ処理部４１２は、回転行列、並進ベクトル、及び三次元位置の関係式Ｔ＝−ＲＰより、（式１４）に示すように対象モデルの各カメラの並進ベクトルＴＴＣｎもスケール補正する。
【０１２０】
Ｔ’ＴＣｎ＝ＳＴＴＣｎ    （式１４）
【０１２１】
次に、座標合せ処理部４１２は、対象モデルと参照モデルとで対応するカメラを１台選択する。対象モデルにおける選択されたカメラを対象カメラＴＣ１とし、参照モデルにおける選択されたカメラを参照カメラＲＣ１とする。また、対象カメラの回転行列をＲＴＣ１とし、並進ベクトルをＴＴＣ１とし、三次元位置をＰ’ＴＣ１とする。参照カメラの回転行列をＲＲＣ１とし、並進ベクトルをＴＲＣ１とし、三次元位置をＰＲＣ１とする。座標合せ処理部４１２は、対象カメラの回転行列ＲＴＣと参照カメラの回転行列ＲＲＣとの相対回転行列Ｒｄｉｆを（式１５）を用いて算出する。
【０１２２】
【数６】
2018135510.tif 000008
【０１２３】
座標合せ処理部４１２は、算出された相対回転行列Ｒｄｉｆを（式１６）に示すように対象モデルの全てのカメラの回転行列ＲＴｎに乗算することで、座標系の傾きを補正する。
【０１２４】
【数７】
2018135510.tif 000009
【０１２５】
次に、座標合せ処理部４１２は、対象カメラの三次元位置ＰＴＣ１と参照カメラの三次元位置ＰＲＣ１の相対三次元位置Ｐｄｉｆを（式１７）を用いて算出する。
【０１２６】
Ｐｄｉｆ＝ＰＲＣ１−Ｐ’ＴＣ１    （式１７）
【０１２７】
座標合せ処理部４１２は、算出された相対三次元位置Ｐｄｉｆを（式１８）に示すように対象モデルの全てのカメラ及び三次元点の位置情報Ｐ’ＴＣｋに加算することで、位置を補正する。また、座標合せ処理部４１２は、カメラについては（式１９）に示すように並進ベクトルＴ’ＴＣｎも補正する。
【０１２８】
Ｐ’’ＴＫ＝Ｐ’ＴＫ＋Ｐｄｉｆ    （式１８）
Ｔ’’ＴＣｎ＝−Ｒ’ＴＣｎ＋Ｐ’’ＴＣｎ    （式１９）
【０１２９】
なお、座標合せ処理部４１２は、回転行列、並進ベクトル、及びスケールの全ての座標合せを行う必要はなく、いずれか１つを行ってもよい。
【０１３０】
このように、第１三次元モデル（対象モデル）は、第１多視点画像の被写体を示す複数の三次元点と、第１多視点画像を撮影した複数のカメラの位置及び姿勢を含む。同様に、第２三次元モデル（参照モデル）は、第２多視点画像の被写体を示す複数の三次元点と、第２多視点画像を撮影した複数のカメラの三次元位置及び向きを含む。三次元再構成装置２００は、第１三次元モデルと第２三次元モデルとで、複数の被写体の三次元点及び複数のカメラの三次元位置及び向きの世界座標を合せる。なお、カメラの三次元位置及び向きは、三次元モデルに含まれてもよいし、カメラパラメータ又はその他の形式で出力されてもよい。
【０１３１】
また、三次元再構成装置２００は、第１座標合せ方法が選択された場合、複数の三次元点と複数のカメラの三次元位置とのうち２点を選択し、第１三次元モデル及び第２三次元モデルの各々における、選択した２点の距離に基づき、第１三次元モデルと第２三次元モデルとのスケールのずれを補正する。また、三次元再構成装置２００は、複数のカメラのうち一つを選択し、第１三次元モデル及び第２三次元モデルの各々における、選択したカメラの三次元位置及び向きに基づき、第１三次元モデルと第２三次元モデルとの回転又は並進のずれを補正する。
【０１３２】
次に、座標合せ方法２について説明する。図１４は、座標合せ方法２を説明するための図である。
【０１３３】
座標合せ方法２では、座標合せ処理部４１２は、対象モデルと参照モデルそれぞれの内部の相関関係を維持しつつ、全てのカメラ及び三次元点の位置情報の誤差が最小になるように、対象モデルの世界座標系の回転行列Ｒ、並進ベクトルＴ、及びスケールｓを調整する。
【０１３４】
具体的には、座標合せ処理部４１２は、（式２０）を用いてＩｔｅｒａｔｉｖｅ  ｃｌｏｓｅｓｔ  ｐｏｉｎｔにより誤差最小化を行う。対象モデルのカメラ及び三次元点の位置情報をＰＴＫとし、参照モデルのカメラ及び三次元点の位置情報をＰＲＫとする。
【０１３５】
【数８】
2018135510.tif 000010
【０１３６】
なお、座標合せ処理部４１２は、Ｉｔｅｒａｔｉｖｅ  ｃｌｏｓｅｓｔ  ｐｏｉｎｔを行う時に、全てのカメラ及び三次元を使用するのではなく、一部のカメラ及び三次元点を使用してもよい。この時、座標合せ処理部４１２は、各三次元点の再投影誤差に基づき各三次元点の信頼度を算出し、信頼度が高い点のみを使用してもよい。
【０１３７】
なお、座標合せ処理部４１２は、回転行列、並進ベクトル、及びスケールの全ての座標合せを行う必要はなく、いずれか１つを行ってもよい。
【０１３８】
このように、三次元再構成装置２００は、第２座標合せ方法が選択された場合、第１三次元モデル内の複数の三次元点と複数のカメラの三次元位置の相対関係、及び、第２三次元モデル内の複数の三次元点と複数のカメラの三次元位置の相対関係を維持しつつ、第１三次元モデルと第２三次元モデルとにおける複数の三次元点の位置、及び複数のカメラの三次元位置の誤差が低減されるように、第１三次元モデル又は第２三次元モデルの回転、並進及びスケールのうち少なくとも一つを補正する。
【０１３９】
以下、本実施の形態の変形例について説明する。
【０１４０】
例えば、上記説明では、１つの参照モデルが用いられる例を説明したが、複数の参照モデルが用いられてもよい。例えば、対象モデルの時刻をｔとすると、参照モデル選択部４１０は、時刻ｔ−１の三次元モデル及び時刻ｔ−２の２つ三次元モデルを参照モデルとして選択してもよい。つまり、参照モデル選択部４１０は、対象モデルより時間的に前で、かつ対象モデルに時間的に最も近い２つの三次元モデルを選択してもよい。または、参照モデル選択部４１０は、時刻０の三次元モデル及び時刻ｔ−１の２つ三次元モデルを参照モデルとして選択してもよい。つまり、参照モデル選択部４１０は、時間的に最初の三次元モデルと、対象モデルよりも時間的に前で、かつ対象モデルに時間的に最も近い１つの三次元モデルを選択してもよい。または、参照モデル選択部４１０は、時刻ｔ−１の三次元モデル及び時刻ｔ＋１の２つ三次元モデルを参照モデルとして選択してもよい。つまり、参照モデル選択部４１０は、対象モデルよりも時間的に前で、かつ対象モデルに時間的に最も近い１つの三次元モデルと、対象モデルよりも時間的に後で、かつ対象モデルに時間的に最も近い１つの三次元モデルとを選択してもよい。
【０１４１】
また、参照モデル選択部４１０は、対象モデルの時間的に前又は後の三次元モデルから３つ以上の三次元モデルを参照モデルとして選択してもよい。
【０１４２】
また、記憶部３１７には座標合せ後の対象モデルが格納され、当該座標合せ後の対象モデルが以降の座標合せの参照モデルとして使用されてもよい。
【０１４３】
また、座標合せ部３１８は、カメラのパン及びチルトなどカメラの移動により、対象モデルの再構成に用いた多視点画像が以前の時刻の多視点画像と異なるシーンを含む場合、座標合せを行わなくてもよい。つまり、座標合せ部３１８は、シーンの切り替わりを判定し、シーンが切り替わった場合には、座標合せを行わなくてもよい。
【０１４４】
以上、本開示の実施の形態に係る三次元再構成システムについて説明したが、本開示は、この実施の形態に限定されるものではない。
【０１４５】
また、上記実施の形態に係る三次元再構成システムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０１４６】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１４７】
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０１４８】
また、本開示は、三次元再構成システムにより実行される各種方法として実現されてもよい。
【０１４９】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【０１５０】
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【０１５１】
以上、一つまたは複数の態様に係る三次元再構成システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０１５２】
本開示は、三次元再構成方法及び三次元再構成装置に適用でき、例えば、三次元空間認識システム、自由視点映像生成システム、及び次世代監視システム等に適用できる。
【符号の説明】
【０１５３】
１００−１、１００−２、１００−ｎ  カメラ
２００  三次元再構成装置
２００−１、２００−２、２００−３、２００−４、２００−５、２００−６、２００−ｎ  多視点フレームセット
２１０  受信部
２２０  記憶部
２３０  取得部
２４０  三次元再構成部
２５０  送信部
３１０  検出部
３１１  抽出部
３１２  対応部
３１３  選択部
３１４  推定部
３１５  復元部
３１６  最適化部
３１７  記憶部
３１８  座標合せ部
４１０  参照モデル選択部
４１１  座標合せ方法選択部
４１２  座標合せ処理部
【図１】
2018135510.tif 000011
【図２】
2018135510.tif 000012
【図３】
2018135510.tif 000013
【図４】
2018135510.tif 000014
【図５】
2018135510.tif 000015
【図６】
2018135510.tif 000016
【図７】
2018135510.tif 000017
【図８】
2018135510.tif 000018
【図９】
2018135510.tif 000019
【図１０】
2018135510.tif 000020
【図１１】
2018135510.tif 000021
【図１２】
2018135510.tif 000022
【図１３】
2018135510.tif 000023
【図１４】
2018135510.tif 000024
【国際調査報告】
2018135510.tif 000025
2018135510.tif 000026