(57)【要約】  共通する三次元空間を撮像する複数の撮像装置からそれぞれ得られた複数の画像を用いて三次元点群を含む三次元モデルを生成する三次元再構成方法であって、対応するタイミングで撮像された複数の画像を取得し（Ｓ１０１）、取得された複数の画像に基づいて複数の三次元点を生成し（Ｓ１０４）、複数の三次元点の生成では、複数の撮像装置のうちの視野の類似度が所定の閾値より大きい２以上の第１撮像装置によりそれぞれ得られた２以上の第１画像それぞれにおける点について行われた第１マッチングの結果に基づいて、１以上の第１三次元点を生成し、複数の撮像装置のうちの類似度が所定の閾値未満の２以上の第２撮像装置によりそれぞれ得られた２以上の第２画像それぞれにおける点について行われた第２マッチングの結果に基づいて、１以上の第２三次元点を生成する。
2019230813.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる位置に配置されており、共通する三次元空間を撮像する複数の撮像装置から得られた複数の画像を用いて三次元点群により構成される三次元モデルを生成する三次元再構成方法であって、
前記複数の撮像装置により互いに対応するタイミングで撮像された前記複数の画像を取得し、
取得された前記複数の画像に基づいて複数の三次元点を生成し、
前記複数の三次元点の生成では、
前記複数の画像のうちの２以上の第１画像であって、前記複数の撮像装置のうちの視野の類似度が所定の閾値以上である２以上の第１撮像装置によりそれぞれ得られた２以上の第１画像それぞれにおける点について、第１マッチングを前記２以上の第１画像間で行い、得られた第１マッチング結果に基づいて、１以上の第１三次元点を生成し、
前記複数の画像のうちの２以上の第２画像であって、前記複数の撮像装置のうちの前記類似度が前記所定の閾値未満の２以上の第２撮像装置によりそれぞれ得られた２以上の第２画像それぞれにおける点について、前記第１マッチングよりも精度の低い第２マッチングを前記２以上の第２画像間で行い、得られた第２マッチング結果に基づいて、１以上の第２三次元点を生成する
三次元再構成方法。
【請求項２】
前記複数の三次元点の生成では、取得された前記複数の画像にそれぞれ含まれる複数の特徴点のマッチングを前記複数の画像間で行うことにより前記複数の三次元点を生成する第１生成を行い、
前記第１生成では、
取得された前記複数の画像のそれぞれについて、複数の特徴点を検出し、
前記２以上の第１画像のそれぞれにおける前記複数の特徴点について、前記第１マッチングを前記２以上の第１画像間で行い、得られた前記第１マッチング結果に基づいて、前記１以上の第１三次元点を生成し、
前記２以上の第２画像のそれぞれにおける前記複数の特徴点について、前記第２マッチングを前記２以上の第２画像間で行い、得られた前記第２マッチング結果に基づいて、前記１以上の第２三次元点を生成する
請求項１に記載の三次元再構成方法。
【請求項３】
前記複数の三次元点のそれぞれは、被写体の表面上の点の三次元位置、および、当該点における当該表面に垂直な法線方向を示す三次元パッチであり、
前記第１生成の前記１以上の第１三次元点の生成では、
前記２以上の第１画像のうちの２つの第１画像を含む、処理対象の第１の組み合わせのうちの一方の第１画像の複数の特徴点のそれぞれについて、前記第１マッチングを行うことで、処理対象の特徴点に対応する第１対応点を、前記処理対象の第１の組み合わせのうちの他方の第１画像から算出し、
前記処理対象の特徴点と、算出された前記第１対応点と、前記一方の第１画像が得られた第３撮像装置のカメラパラメータと、前記他方の第１画像が得られた第４撮像装置のカメラパラメータとを用いて、第１三次元パッチを算出し、
前記第１三次元パッチと、前記第１三次元パッチが映り込んでいる１以上の第１可視画像のそれぞれに前記第１三次元パッチが投影された１以上の第１二次元点とを用いて、投影一貫性を表す評価値が最小となるように、前記第１三次元パッチの法線方向を補正し、補正後の第１三次元パッチを前記第１三次元点として生成する
請求項２に記載の三次元再構成方法。
【請求項４】
前記第１生成の前記１以上の第２三次元点の生成では、
前記２以上の第２画像のうちの２つの第２画像を含む、処理対象の第２の組み合わせのうちの一方の第２画像の複数の特徴点のそれぞれについて、前記第２マッチングを行うことで、前記処理対象の特徴点に対応する第２対応点を、前記処理対象の第２の組み合わせのうちの他方の第２画像から算出し、
前記処理対象の特徴点と、算出された前記第２対応点と、前記一方の第２画像が得られた第６撮像装置のカメラパラメータと、前記他方の第２画像が得られた第７撮像装置のカメラパラメータとを用いて、第２三次元パッチを算出し、
前記第２三次元パッチと、前記第２三次元パッチが映り込んでいる１以上の第２可視画像のそれぞれに前記第２三次元パッチが投影された１以上の第２二次元点とを用いて、投影一貫性を表す評価値が最小となるように、前記第２三次元パッチの三次元位置および法線方向と前記１以上の第２二次元点の位置とを補正し、補正後の第２三次元パッチを前記第２三次元点として生成する
請求項３に記載の三次元再構成方法。
【請求項５】
前記複数の三次元点の生成では、さらに、前記複数の画像と、前記第１生成で生成された前記１以上の第１三次元点および前記１以上の第２三次元点により構成される第１三次元点群とを用いて新たな三次元点を生成し、生成された前記新たな三次元点を前記第１三次元点群に追加する第２生成を行い、
前記第２生成では、
前記第１三次元点群を構成する複数の第３三次元点の近傍にある複数の近傍三次元点のそれぞれについて、当該近傍三次元点および前記２以上の第１画像に基づいて、前記第１マッチングを前記２以上の第１画像間で行い、得られた第１マッチング結果に基づいて、１以上の新たな第１三次元点を生成し、
前記第１三次元点群を構成する複数の第３三次元点の近傍にある複数の近傍三次元点のそれぞれについて、当該近傍三次元点および前記２以上の第２画像に基づいて、前記第２マッチングを前記２以上の第２画像間で行い、得られた第２マッチング結果に基づいて、１以上の新たな第２三次元点を生成し、
前記第１三次元点群に、前記１以上の新たな第１三次元点、および、前記１以上の新たな第２三次元点を追加することにより、三次元点が追加された第２三次元点群を生成し、
前記第２三次元点群を用いて第２三次元モデルを再構成する
請求項２から４のいずれか１項に記載の三次元再構成方法。
【請求項６】
前記第２生成の前記１以上の新たな第１三次元点の生成では、
前記複数の第３三次元点のそれぞれについて、処理対象の第１の組み合わせのうちの一方の第１画像に、処理対象の第３三次元点を投影することで当該一方の第１画像における第３二次元点を算出し、
前記第１マッチングを行うことで、前記一方の第１画像を構成する複数のセルのうち、特定された前記第３二次元点を含む第１セルに隣接する第２セル内の第４二次元点に対応する第３対応点を、前記処理対象の前記第１の組み合わせのうちの他方の第１画像から算出し、
前記第４二次元点と、算出された前記第３対応点と、前記一方の第１画像が得られた第９撮像装置のカメラパラメータと、前記他方の第１画像が得られた第１０撮像装置のカメラパラメータとを用いて、前記近傍三次元点である第３三次元パッチを算出し、
前記第３三次元パッチと、前記第３三次元パッチが映り込んでいる１以上の第３可視画像に前記第３三次元パッチが投影された１以上の第５二次元点とを用いて、投影一貫性を表す評価値が最小となるように、前記第３三次元パッチの法線方向を補正し、補正後の第３三次元パッチを前記新たな第１三次元点として生成する
請求項５に記載の三次元再構成方法。
【請求項７】
前記第２生成の前記１以上の新たな第２三次元点の生成では、
前記複数の第３三次元点のそれぞれについて、処理対象の第２の組み合わせのうちの一方の第２画像に、処理対象の第３三次元点を投影することで当該一方の第２画像における第６二次元点を算出し、
処理対象の第３三次元点の第４三次元パッチの基準パッチ平面と、前記一方の第２画像を構成する複数のセルのうち、特定された前記第６二次元点を含む第３セルに隣接する第４セル内の第７二次元点を通過し、かつ、前記一方の第２画像が得られた第１２撮像装置の光軸との交点の三次元位置を、前記近傍三次元点である第４三次元パッチの三次元位置として算出し、
前記第４三次元パッチと、前記第４三次元パッチが映り込んでいる１以上の第４可視画像に前記第４三次元パッチが投影された１以上の第８二次元点とを用いて、投影一貫性を表す評価値が最小となるように、前記第４三次元パッチの三次元位置および法線方向と前記１以上の第８二次元点の位置とを補正し、補正後の第４三次元パッチを前記新たな第２三次元点として生成する
請求項６に記載の三次元再構成方法。
【請求項８】
前記複数の三次元点の生成では、さらに、前記複数の画像と、記憶部に記憶されている第１三次元点群とを用いて新たな三次元点を生成し、生成された前記新たな三次元点を前記第１三次元点群に追加する第２生成を行い、
前記第２生成では、
前記第１三次元点群を構成する複数の第３三次元点の近傍にある複数の近傍三次元点のそれぞれについて、当該近傍三次元点および前記２以上の第１画像に基づいて、前記第１マッチングを前記２以上の第１画像間で行い、得られた第１マッチング結果に基づいて、１以上の新たな第１三次元点を生成し、
前記第１三次元点群を構成する複数の第３三次元点の近傍にある複数の近傍三次元点のそれぞれについて、当該近傍三次元点および前記２以上の第２画像に基づいて、前記第２マッチングを前記２以上の第２画像間で行い、得られた第２マッチング結果に基づいて、１以上の新たな第２三次元点を生成し、
前記第１三次元点群に、前記１以上の新たな第１三次元点、および、前記１以上の新たな第２三次元点を追加することにより、三次元点が追加された第２三次元点群を生成し、
前記第２三次元点群を用いて第２三次元モデルを再構成する
請求項１に記載の三次元再構成方法。
【請求項９】
前記第２生成の前記１以上の新たな第１三次元点の生成では、
前記複数の第３三次元点のそれぞれについて、処理対象の第１の組み合わせのうちの一方の第１画像に、処理対象の第３三次元点を投影することで当該一方の第１画像における第３二次元点を算出し、
前記第１マッチングを行うことで、前記一方の第１画像を構成する複数のセルのうち、特定された前記第３二次元点を含む第１セルに隣接する第２セル内の第４二次元点に対応する第３対応点を、前記処理対象の前記第１の組み合わせのうちの他方の第１画像から算出し、
前記第４二次元点と、算出された前記第３対応点と、前記一方の第１画像が得られた第９撮像装置のカメラパラメータと、前記他方の第１画像が得られた第１０撮像装置のカメラパラメータとを用いて、前記近傍三次元点である第３三次元パッチを算出し、
前記第３三次元パッチと、前記第３三次元パッチが映り込んでいる１以上の第３可視画像に前記第３三次元パッチが投影された１以上の第５二次元点とを用いて、投影一貫性を表す評価値が最小となるように、前記第３三次元パッチの法線方向を補正し、補正後の第３三次元パッチを前記新たな第１三次元点として生成する
請求項８に記載の三次元再構成方法。
【請求項１０】
前記第２生成の前記１以上の新たな第２三次元点の生成では、
前記複数の第３三次元点のそれぞれについて、処理対象の第２の組み合わせのうちの一方の第２画像に、処理対象の第３三次元点を投影することで当該一方の第２画像における第６二次元点を算出し、
処理対象の第３三次元点の第４三次元パッチの基準パッチ平面と、前記一方の第２画像を構成する複数のセルのうち、特定された前記第６二次元点を含む第３セルに隣接する第４セル内の第７二次元点を通過し、かつ、前記一方の第２画像が得られた第１２撮像装置の光軸との交点の三次元位置を第４三次元パッチの三次元位置として算出し、
前記第４三次元パッチと、前記第４三次元パッチが映り込んでいる１以上の第４可視画像に前記第４三次元パッチが投影された１以上の第８二次元点とを用いて、投影一貫性を表す評価値が最小となるように、前記第４三次元パッチの三次元位置および法線方向と前記１以上の第８二次元点の位置とを補正し、補正後の第４三次元パッチを前記新たな第２三次元点として生成する
請求項９に記載の三次元再構成方法。
【請求項１１】
前記第１マッチングでは、２以上の画像の一方の画像における点に対応する、他方の画像における対応点を小数画素精度で特定し、
前記第２マッチングでは、２以上の画像の一方の画像における点に対応する、他方の画像における対応点を整数画素精度で特定する
請求項１から１０のいずれか１項に記載の三次元再構成方法。
【請求項１２】
前記第１マッチングは、位相限定相関法を用いたマッチングである
請求項１から１１のいずれか１項に記載の三次元再構成方法。
【請求項１３】
前記第１マッチングは、位相限定相関法を用いたマッチングであり、
前記第２マッチングは、Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎを用いたマッチングである
請求項１から１１のいずれか１項に記載の三次元再構成方法。
【請求項１４】
互いに異なる位置に配置されており、共通する三次元空間を撮像する複数の撮像装置から得られた複数の画像を用いて三次元点群を含む三次元モデルを生成する三次元再構成装置であって、
対応するタイミングで前記複数の撮像装置により撮像された前記複数の画像を取得する取得部と、
取得された前記複数の画像に基づいて複数の三次元点を生成する生成部と、を備え、
前記生成部は、
前記複数の画像のうちの２以上の第１画像であって、前記複数の撮像装置のうちの視野の類似度が所定の閾値より大きい２以上の第１撮像装置によりそれぞれ得られた２以上の第１画像それぞれにおける点について、第１マッチングを前記２以上の第１画像間で行い、得られた第１マッチング結果に基づいて、１以上の第１三次元点を生成し、
前記複数の画像のうちの２以上の第２画像であって、前記複数の撮像装置のうちの前記類似度が前記所定の閾値未満の２以上の第２撮像装置によりそれぞれ得られた２以上の第２画像それぞれにおける点について、前記第１マッチングよりも精度の低い第２マッチングを前記２以上の第２画像間で行い、得られた第２マッチング結果に基づいて、１以上の第２三次元点を生成する
三次元再構成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数のカメラにより得られた複数の画像を用いて三次元モデルを生成する三次元再構成方法および三次元再構成装置に関する。
【背景技術】
【０００２】
コンピュータビジョンの分野における三次元再構成技術では、複数の二次元画像間で対応付けを行い、カメラの位置、向き、及び被写体の三次元位置を推定する。また、カメラキャリブレーション及び三次元点群再構成が行われる。【０００３】
例えば、特許文献１には、三次元点を中心とした小平面で法線ベクトルを有する三次元パッチに基づく多視点ステレオ法による三次元モデリングについて開示されている。【０００４】
非特許文献１には、位相限定相関法による画像対の小領域マッチングについて開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２０１３／００８３９６６号明細書
【非特許文献】
【０００６】
【非特許文献１】K. TAKITA, M A MUQUIT, T AOKI, T HIGUCHI, “A Sub-Pixel Correspondence Search Technique for Computer Vision Applications”, IEICE TRANS. FUNDAMENTALS, VOL.E87-A. Aug. 2004.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このような、三次元再構成方法または三次元再構成装置では、三次元モデルの精度を向上させること、および、三次元モデルを再構成する処理速度を向上させることが望まれている。【０００８】
そこで本開示は、高精度な三次元モデルを高速に生成することができる三次元再構成方法または三次元再構成装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、三次元再構成方法は、互いに異なる位置に配置されており、共通する三次元空間を撮像する複数の撮像装置から得られた複数の画像を用いて三次元点群により構成される三次元モデルを生成する三次元再構成方法であって、前記複数の撮像装置により互いに対応するタイミングで撮像された前記複数の画像を取得し、取得された前記複数の画像に基づいて複数の三次元点を生成し、前記複数の三次元点の生成では、前記複数の画像のうちの２以上の第１画像であって、前記複数の撮像装置のうちの視野の類似度が所定の閾値以上である２以上の第１撮像装置によりそれぞれ得られた２以上の第１画像それぞれにおける点について、第１マッチングを前記２以上の第１画像間で行い、得られた第１マッチング結果に基づいて、１以上の第１三次元点を生成し、前記複数の画像のうちの２以上の第２画像であって、前記複数の撮像装置のうちの前記類似度が前記所定の閾値未満の２以上の第２撮像装置によりそれぞれ得られた２以上の第２画像それぞれにおける点について、前記第１マッチングよりも精度の低い第２マッチングを前記２以上の第２画像間で行い、得られた第２マッチング結果に基づいて、１以上の第２三次元点を生成する。【００１０】
なお、これらの全般的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１１】
本開示の三次元再構成方法または三次元再構成装置は、高精度な三次元モデルを生成することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施の形態に係る三次元再構成システムの概要を示す図である。
【図２】図２は、実施の形態に係る三次元再構成処理を説明するための図である。
【図３】図３は、実施の形態に係る同期撮影を説明するための図である。
【図４】図４は、実施の形態に係る同期撮影を説明するための図である。
【図５】図５は、実施の形態に係る三次元再構成システムの一例を示すブロック図である。
【図６】図６は、実施の形態に係る三次元再構成装置による処理の一例を示すフローチャートである。
【図７】図７は、実施の形態に係る多視点フレームセットの一例を示す図である。
【図８】図８は、実施の形態に係る三次元再構成部の構造の一例を示すブロック図である。
【図９】図９は、実施の形態に係る三次元再構成部の動作の一例を示すフローチャートである。
【図１０】図１０は、三次元モデリング部の構造の一例を示すブロック図である。
【図１１】図１１は、三次元パッチについて説明するための図である。
【図１２】図１２は、三次元モデリング部の動作の一例を示すフローチャートである。
【図１３】図１３は、初期生成部の構造の一例を示すブロック図である。
【図１４】図１４は、初期生成部の動作の一例を示すフローチャートである。
【図１５Ａ】図１５Ａは、２台のカメラ間の視野の類似度に用いられる指標について説明するための図である。
【図１５Ｂ】図１５Ｂは、２台のカメラ間の視野の類似度に用いられる指標について説明するための図である。
【図１６】図１６は、特徴点対応部による処理について説明するための図である。
【図１７】図１７は、パッチ算出部による処理について説明するための図である。
【図１８】図１８は、フレーム選択部による処理について説明するための図である。
【図１９】図１９は、最適化部による処理について説明するための図である。
【図２０】図２０は、対応点候補選択部および候補パッチ算出部による処理について説明するための図である。
【図２１】図２１は、フレーム選択部による処理について説明するための図である。
【図２２】図２２は、最適化部による処理を説明するための図である。
【図２３】図２３は、最適化部による処理を説明するための図である。
【図２４】図２４は、拡張部の構造の一例を示すブロック図である。
【図２５】図２５は、拡張部の動作の一例を示すフローチャートである。
【図２６】図２６は、拡張部による処理について説明するための図である。
【図２７】図２７は、対応部による処理について説明するための図である。
【図２８】図２８は、評価部およびパッチ算出部による処理について説明するための図である。
【図２９】図２９は、フレーム選択部による処理について説明するための図である。
【図３０】図３０は、最適化部による処理について説明するための図である。
【図３１】図３１は、拡張部による処理について説明するための図である。
【図３２】図３２は、候補パッチ算出部による処理について説明するための図である。
【図３３】図３３は、フレーム選択部による処理について説明するための図である。
【図３４】図３４は、最適化部による処理について説明するための図である。
【図３５】図３５は、評価部による処理について説明するための図である。
【発明を実施するための形態】
【００１３】
（本開示の基礎となった知見）
特許文献１では、二次元画像間で特徴点同士を対応づけることにより、疎な三次元点を算出し、疎な三次元点を拡張することにより三次元点を増加させることで蜜な三次元点を算出している。三次元点の拡張では、まず、三次元点候補を算出し、その三次元候補点の評価値が閾値より小さい時のみ密な三次元点に追加する処理を行う。ここで用いられる評価値は、三次元候補点の映る複数視点画像中の画像対の小領域の不一致度合いから構成される。
【００１４】
しかしながら、特許文献１の方法では、疎な三次元点に基づいて三次元点を拡張する処理を行うため、元の疎な三次元点に誤差が生じていれば、拡張されて追加された三次元点にも誤差が伝搬してしまうという課題がある。
【００１５】
このため、非特許文献１のような高精度の手法を用いて三次元点を生成することが考えられる。非特許文献１では、位相限定相関法による画像対の小領域マッチングを行うことで、小数画素精度で対応点を算出することが開示されている。具体的には、画像対の小領域をそれぞれフーリエ変換し、振幅信号と位相信号に変換し、このうち画像対の位相信号を合成し、逆変換することにより、１／１００画素精度の対応点を算出している。
【００１６】
しかしながら、非特許文献１の方法では、画像対が得られた撮像装置同士の視野の類似度が高いほど高精度の結果が得られるが、視野の類似度が低い画像対では精度が低下するという課題がある。また、視野の類似度が低い画像対に対して、非特許文献１の方法による処理を実行すると、処理に多くの時間を要するという課題がある。
【００１７】
そこで本開示では、高精度な三次元モデルを高速に生成することができる三次元再構成方法または三次元再構成装置について説明する。
【００１８】
本開示の一態様に係る三次元再構成方法は、互いに異なる位置に配置されており、共通する三次元空間を撮像する複数の撮像装置から得られた複数の画像を用いて三次元点群により構成される三次元モデルを生成する三次元再構成方法であって、前記複数の撮像装置により互いに対応するタイミングで撮像された前記複数の画像を取得し、取得された前記複数の画像に基づいて複数の三次元点を生成し、前記複数の三次元点の生成では、前記複数の画像のうちの２以上の第１画像であって、前記複数の撮像装置のうちの視野の類似度が所定の閾値以上である２以上の第１撮像装置によりそれぞれ得られた２以上の第１画像それぞれにおける点について、第１マッチングを前記２以上の第１画像間で行い、得られた第１マッチング結果に基づいて、１以上の第１三次元点を生成し、前記複数の画像のうちの２以上の第２画像であって、前記複数の撮像装置のうちの前記類似度が前記所定の閾値未満の２以上の第２撮像装置によりそれぞれ得られた２以上の第２画像それぞれにおける点について、前記第１マッチングよりも精度の低い第２マッチングを前記２以上の第２画像間で行い、得られた第２マッチング結果に基づいて、１以上の第２三次元点を生成する。
【００１９】
これによれば、視野の類似度が類似している２以上の第１撮像装置によって得られた２以上の第１画像については、精度の高い第１マッチングを行うことで１以上の第１三次元点を生成しているため、高精度な三次元点を高速で得ることができる。一方で、視野の類似度が類似していない２以上の第２撮像装置によって得られた２以上の第２画像については、精度の低い第２マッチングを行うことで１以上の第２三次元点を生成しているため、低精度な三次元点が生成されること、および、処理に多くの時間を要してしまうことを低減することができる。このように、視野の類似度に応じて、第１マッチングおよび第２マッチングの一方を選択的に実行するため、高精度な三次元モデルを高速に生成することができる。
【００２０】
また、前記複数の三次元点の生成では、取得された前記複数の画像にそれぞれ含まれる複数の特徴点のマッチングを前記複数の画像間で行うことにより前記複数の三次元点を生成する第１生成を行い、前記第１生成では、取得された前記複数の画像のそれぞれについて、複数の特徴点を検出し、前記２以上の第１画像のそれぞれにおける前記複数の特徴点について、前記第１マッチングを前記２以上の第１画像間で行い、得られた前記第１マッチング結果に基づいて、前記１以上の第１三次元点を生成し、前記２以上の第２画像のそれぞれにおける前記複数の特徴点について、前記第２マッチングを前記２以上の第２画像間で行い、得られた前記第２マッチング結果に基づいて、前記１以上の第２三次元点を生成してもよい。
【００２１】
これによれば、疎な三次元点群の生成において、視野の類似度に応じて、第１マッチングおよび第２マッチングの一方を選択的に実行するため、高精度な三次元モデルを高速に生成することができる。
【００２２】
また、前記複数の三次元点のそれぞれは、被写体の表面上の点の三次元位置、および、当該点における当該表面に垂直な法線方向を示す三次元パッチであり、前記第１生成の前記１以上の第１三次元点の生成では、前記２以上の第１画像のうちの２つの第１画像を含む、処理対象の第１の組み合わせのうちの一方の第１画像の複数の特徴点のそれぞれについて、前記第１マッチングを行うことで、処理対象の特徴点に対応する第１対応点を、前記処理対象の第１の組み合わせのうちの他方の第１画像から算出し、前記処理対象の特徴点と、算出された前記第１対応点と、前記一方の第１画像が得られた第３撮像装置のカメラパラメータと、前記他方の第１画像が得られた第４撮像装置のカメラパラメータとを用いて、第１三次元パッチを算出し、前記第１三次元パッチと、前記第１三次元パッチが映り込んでいる１以上の第１可視画像のそれぞれに前記第１三次元パッチが投影された１以上の第１二次元点とを用いて、投影一貫性を表す評価値が最小となるように、前記第１三次元パッチの法線方向を補正し、補正後の第１三次元パッチを前記第１三次元点として生成してもよい。
【００２３】
これによれば、疎な三次元点群の生成において、視野の類似度が類似している場合に得られた第１の組み合わせについて、第１マッチングを用いて三次元点群を生成するため、高精度な三次元モデルを高速に生成することができる。
【００２４】
また、前記第１生成の前記１以上の第２三次元点の生成では、前記２以上の第２画像のうちの２つの第２画像を含む、処理対象の第２の組み合わせのうちの一方の第２画像の複数の特徴点のそれぞれについて、前記第２マッチングを行うことで、前記処理対象の特徴点に対応する第２対応点を、前記処理対象の第２の組み合わせのうちの他方の第２画像から算出し、前記処理対象の特徴点と、算出された前記第２対応点と、前記一方の第２画像が得られた第６撮像装置のカメラパラメータと、前記他方の第２画像が得られた第７撮像装置のカメラパラメータとを用いて、第２三次元パッチを算出し、前記第２三次元パッチと、前記第２三次元パッチが映り込んでいる１以上の第２可視画像のそれぞれに前記第２三次元パッチが投影された１以上の第２二次元点とを用いて、投影一貫性を表す評価値が最小となるように、前記第２三次元パッチの三次元位置および法線方向と前記１以上の第２二次元点の位置とを補正し、補正後の第２三次元パッチを前記第２三次元点として生成してもよい。
【００２５】
これによれば、疎な三次元点群の生成において、視野の類似度が類似していない場合に得られた第２の組み合わせについて、幾何学的な整合性に基づく第２マッチングを用いて三次元点群を生成するため、低精度な三次元点が生成されること、および、処理に多くの時間を要してしまうことを低減することができる。
【００２６】
また、前記複数の三次元点の生成では、さらに、前記複数の画像と、前記第１生成で生成された前記１以上の第１三次元点および前記１以上の第２三次元点により構成される第１三次元点群とを用いて新たな三次元点を生成し、生成された前記新たな三次元点を前記第１三次元点群に追加する第２生成を行い、前記第２生成では、前記第１三次元点群を構成する複数の第３三次元点の近傍にある複数の近傍三次元点のそれぞれについて、当該近傍三次元点および前記２以上の第１画像に基づいて、前記第１マッチングを前記２以上の第１画像間で行い、得られた第１マッチング結果に基づいて、１以上の新たな第１三次元点を生成し、前記第１三次元点群を構成する複数の第３三次元点の近傍にある複数の近傍三次元点のそれぞれについて、当該近傍三次元点および前記２以上の第２画像に基づいて、前記第２マッチングを前記２以上の第２画像間で行い、得られた第２マッチング結果に基づいて、１以上の新たな第２三次元点を生成し、前記第１三次元点群に、前記１以上の新たな第１三次元点、および、前記１以上の新たな第２三次元点を追加することにより、三次元点が追加された第２三次元点群を生成し、前記第２三次元点群を用いて第２三次元モデルを再構成してもよい。
【００２７】
これによれば、密な三次元点群の生成において、視野の類似度に応じて、第１マッチングおよび第２マッチングの一方を選択的に実行するため、高精度な三次元モデルを高速に生成することができる。
【００２８】
また、前記第２生成の前記１以上の新たな第１三次元点の生成では、前記複数の第３三次元点のそれぞれについて、処理対象の第１の組み合わせのうちの一方の第１画像に、処理対象の第３三次元点を投影することで当該一方の第１画像における第３二次元点を算出し、前記第１マッチングを行うことで、前記一方の第１画像を構成する複数のセルのうち、特定された前記第３二次元点を含む第１セルに隣接する第２セル内の第４二次元点に対応する第３対応点を、前記処理対象の前記第１の組み合わせのうちの他方の第１画像から算出し、前記第４二次元点と、算出された前記第３対応点と、前記一方の第１画像が得られた第９撮像装置のカメラパラメータと、前記他方の第１画像が得られた第１０撮像装置のカメラパラメータとを用いて、前記近傍三次元点である第３三次元パッチを算出し、前記第３三次元パッチと、前記第３三次元パッチが映り込んでいる１以上の第３可視画像に前記第３三次元パッチが投影された１以上の第５二次元点とを用いて、投影一貫性を表す評価値が最小となるように、前記第３三次元パッチの法線方向を補正し、補正後の第３三次元パッチを前記新たな第１三次元点として生成してもよい。
【００２９】
これによれば、密な三次元点群の生成において、視野の類似度が類似している場合に得られた第１の組み合わせについて、第１マッチングを用いて三次元点群を生成するため、高精度な三次元モデルを高速に生成することができる。
【００３０】
また、前記第２生成の前記１以上の新たな第２三次元点の生成では、前記複数の第３三次元点のそれぞれについて、処理対象の第２の組み合わせのうちの一方の第２画像に、処理対象の第３三次元点を投影することで当該一方の第２画像における第６二次元点を算出し、処理対象の第３三次元点の第４三次元パッチの基準パッチ平面と、前記一方の第２画像を構成する複数のセルのうち、特定された前記第６二次元点を含む第３セルに隣接する第４セル内の第７二次元点を通過し、かつ、前記一方の第２画像が得られた第１２撮像装置の光軸との交点の三次元位置を、前記近傍三次元点である第４三次元パッチの三次元位置として算出し、前記第４三次元パッチと、前記第４三次元パッチが映り込んでいる１以上の第４可視画像に前記第４三次元パッチが投影された１以上の第８二次元点とを用いて、投影一貫性を表す評価値が最小となるように、前記第４三次元パッチの三次元位置および法線方向と前記１以上の第８二次元点の位置とを補正し、補正後の第４三次元パッチを前記新たな第２三次元点として生成してもよい。
【００３１】
これによれば、密な三次元点群の生成において、視野の類似度が類似していない場合に得られた第２の組み合わせについて、幾何学的な整合性を用いて三次元点群を生成するため、低精度な三次元点が生成されること、および、処理に多くの時間を要してしまうことを低減することができる。
【００３２】
また、前記複数の三次元点の生成では、さらに、前記複数の画像と、記憶部に記憶されている第１三次元点群とを用いて新たな三次元点を生成し、生成された前記新たな三次元点を前記第１三次元点群に追加する第２生成を行い、前記第２生成では、前記第１三次元点群を構成する複数の第３三次元点の近傍にある複数の近傍三次元点のそれぞれについて、当該近傍三次元点および前記２以上の第１画像に基づいて、前記第１マッチングを前記２以上の第１画像間で行い、得られた第１マッチング結果に基づいて、１以上の新たな第１三次元点を生成し、前記第１三次元点群を構成する複数の第３三次元点の近傍にある複数の近傍三次元点のそれぞれについて、当該近傍三次元点および前記２以上の第２画像に基づいて、前記第２マッチングを前記２以上の第２画像間で行い、得られた第２マッチング結果に基づいて、１以上の新たな第２三次元点を生成し、前記第１三次元点群に、前記１以上の新たな第１三次元点、および、前記１以上の新たな第２三次元点を追加することにより、三次元点が追加された第２三次元点群を生成し、前記第２三次元点群を用いて第２三次元モデルを再構成してもよい。
【００３３】
これによれば、密な三次元点群の生成において、視野の類似度に応じて、第１マッチングおよび第２マッチングの一方を選択的に実行するため、高精度な三次元モデルを高速に生成することができる。
【００３４】
また、前記第２生成の前記１以上の新たな第１三次元点の生成では、前記複数の第３三次元点のそれぞれについて、処理対象の第１の組み合わせのうちの一方の第１画像に、処理対象の第３三次元点を投影することで当該一方の第１画像における第３二次元点を算出し、前記第１マッチングを行うことで、前記一方の第１画像を構成する複数のセルのうち、特定された前記第３二次元点を含む第１セルに隣接する第２セル内の第４二次元点に対応する第３対応点を、前記処理対象の前記第１の組み合わせのうちの他方の第１画像から算出し、前記第４二次元点と、算出された前記第３対応点と、前記一方の第１画像が得られた第９撮像装置のカメラパラメータと、前記他方の第１画像が得られた第１０撮像装置のカメラパラメータとを用いて、前記近傍三次元点である第３三次元パッチを算出し、前記第３三次元パッチと、前記第３三次元パッチが映り込んでいる１以上の第３可視画像に前記第３三次元パッチが投影された１以上の第５二次元点とを用いて、投影一貫性を表す評価値が最小となるように、前記第３三次元パッチの法線方向を補正し、補正後の第３三次元パッチを前記新たな第１三次元点として生成してもよい。
【００３５】
これによれば、密な三次元点群の生成において、視野の類似度が類似している場合に得られた第１の組み合わせについて、第１マッチングを用いて三次元点群を生成するため、高精度な三次元モデルを高速に生成することができる。
【００３６】
また、前記第２生成の前記１以上の新たな第２三次元点の生成では、前記複数の第３三次元点のそれぞれについて、処理対象の第２の組み合わせのうちの一方の第２画像に、処理対象の第３三次元点を投影することで当該一方の第２画像における第６二次元点を算出し、処理対象の第３三次元点の第４三次元パッチの基準パッチ平面と、前記一方の第２画像を構成する複数のセルのうち、特定された前記第６二次元点を含む第３セルに隣接する第４セル内の第７二次元点を通過し、かつ、前記一方の第２画像が得られた第１２撮像装置の光軸との交点の三次元位置を第４三次元パッチの三次元位置として算出し、前記第４三次元パッチと、前記第４三次元パッチが映り込んでいる１以上の第４可視画像に前記第４三次元パッチが投影された１以上の第８二次元点とを用いて、投影一貫性を表す評価値が最小となるように、前記第４三次元パッチの三次元位置および法線方向と前記１以上の第８二次元点の位置とを補正し、補正後の第４三次元パッチを前記新たな第２三次元点として生成してもよい。
【００３７】
これによれば、密な三次元点群の生成において、視野の類似度が類似していない場合に得られた第２の組み合わせについて、幾何学的な整合性を用いて三次元点群を生成するため、低精度な三次元点が生成されること、および、処理に多くの時間を要してしまうことを低減することができる。
【００３８】
また、前記第１マッチングでは、２以上の画像の一方の画像における点に対応する、他方の画像における対応点を小数画素精度で特定し、前記第２マッチングでは、２以上の画像の一方の画像における点に対応する、他方の画像における対応点を整数画素精度で特定してもよい。
【００３９】
これによれば、疎な三次元点群の生成において、視野の類似度に応じて、小数画素精度の第１マッチング、および、整数画素精度の第２マッチングの一方を選択的に実行するため、高精度な三次元モデルを高速に生成することができる。
【００４０】
また、前記第１マッチングは、位相限定相関法を用いたマッチングであってもよい。
【００４１】
このため、第１マッチングの結果を小数画素精度で求めることができる。
【００４２】
また、前記第１マッチングは、位相限定相関法を用いたマッチングであり、前記第２マッチングは、Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎを用いたマッチングであってもよい。
【００４３】
このため、第１マッチングの結果を小数画素精度で求めることができ、第２マッチングの結果を第１マッチングの結果よりも低い精度で求めることができる。
【００４４】
なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【００４５】
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４６】
（実施の形態）
本実施の形態に係る三次元再構成装置は、時刻間で座標軸の一致した時系列三次元モデルを再構成できる。具体的には、まず、三次元再構成装置は、時刻毎に独立して三次元再構成を行うことで、各時刻の三次元モデルを取得する。次に、三次元再構成装置は、静止カメラ及び静止物体（静止三次元点）を検出し、検出した静止カメラ及び静止物体を用いて、時刻間で三次元モデルの座標合せを行い、座標軸の一致した時系列三次元モデルを生成する。
【００４７】
図１は、三次元再構成システムの概要を示す図である。例えば、校正済みのカメラ（例えば固定カメラ）を用いて同一空間を多視点から撮影することにより、複数のカメラで共通して撮影する空間である撮影空間１０００を三次元再構成できる（三次元空間再構成）。撮影空間１０００は、三次元空間の一例である。この三次元再構成されたデータを用いて、トラッキング、シーン解析、及び映像レンダリングを行うことで、任意の視点（自由視点カメラ）から見た映像を生成できる。これにより、次世代広域監視システム、及び三次元再構成システムを実現できる。
【００４８】
本開示における三次元再構成を定義する。実空間上に存在する被写体を複数のカメラにより異なる視点で撮影した映像又は画像を多視点映像又は多視点画像と呼ぶ。つまり、多視点画像は、同一の被写体を異なる視点から撮影した複数の二次元画像を含む。また、時系列に撮影された多視点画像を多視点映像と呼ぶ。この多視点画像を用いて被写体を三次元空間に再構成することを三次元再構成と呼ぶ。図２は、三次元再構成の仕組みを示す図である。
【００４９】
三次元再構成装置は、カメラパラメータを用いて、画像面の点を世界座標系に再構成する。三次元空間に再構成された被写体を三次元モデルと呼ぶ。被写体の三次元モデルは、多視点の二次元画像に映る被写体上の複数の点それぞれの三次元位置を示す。三次元位置は、例えば、ＸＹＺ軸からなる三次元座標空間のＸ成分、Ｙ成分、Ｘ成分からなる三値情報で表される。なお、三次元モデルは、三次元位置のみだけでなく、各点の色又は各点及びその周辺の表面形状を表す情報を含んでもよい。
【００５０】
この時、三次元再構成装置は、各カメラのカメラパラメータを、予め取得してもよいし、三次元モデルの作成と同時に推定してもよい。カメラパラメータは、カメラの焦点距離及び画像中心などからなる内部パラメータと、カメラの三次元位置及び向きを示す外部パラメータとを含む。
【００５１】
図２は、代表的なピンホールカメラモデルの例を示している。このモデルではカメラのレンズ歪みは考慮されていない。レンズ歪みを考慮する場合は、三次元再構成装置は、画像面座標における点の位置を歪みモデルにより正規化した補正位置を用いる。
【００５２】
三次元再構成の中では、カメラパラメータの算出をカメラ校正といい、三次元モデルの生成を三次元モデリングという。Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ等の３次元再構成方式では、カメラ校正および三次元モデリングを同時に行い、カメラパラメータ、および疎な三次元点群からなる三次元モデルを算出できる。また、多視点ステレオでは、予め算出されたカメラパラメータを用いて、密な三次元点群からなる三次元モデルを算出できる。
【００５３】
次に、多視点映像の同期撮影について説明する。図３及び図４は同期撮影を説明するための図である。図３及び図４の横方向は時間を示し、矩形信号が立っている時間はカメラが露光していることを示す。カメラにより画像を取得する際、シャッタが開放されている時間を露光時間と呼ぶ。
【００５４】
露光時間中、レンズを通して撮像素子にさらされたシーンが画像として得られる。図３では、視点の異なる２台のカメラで撮影された画像（以下、「フレーム」とも言う。）では、露光時間が重複している。これにより２台のカメラにより取得したフレームは、同一時刻のシーンを含んでいる同期フレームと判定される。
【００５５】
一方、図４では、２台のカメラで露光時間の重複が無いため、２台のカメラにより取得したフレームは、同一時刻のシーンを含まない非同期フレームと判定される。図３のように、同期フレームを複数のカメラで撮影することを同期撮影と呼ぶ。
【００５６】
次に、本実施の形態に係る三次元再構成システムの構成を説明する。図５は、本実施の形態に係る三次元再構成システムの一例を示すブロック図である。図５に示す三次元再構成システム１は、複数のカメラ１００−１〜１００−ｎと、三次元再構成装置２００とを含む。
【００５７】
複数のカメラ１００−１〜１００−ｎは被写体を撮影し、撮影された複数の映像である多視点映像を出力する。多視点映像の送信は、インターネットなどの公衆通信網、又は専用通信網のいずれを介してもよい。複数のカメラ１００−１〜１００−ｎは、複数の撮像装置の一例である。あるいは、多視点映像は、一度ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）などの外部記憶装置に記憶され、必要な時に三次元再構成装置２００へ入力されてもよい。あるいは、多視点映像は、クラウドサーバ等の外部記憶装置に一旦ネットワークを介して送信され、記憶される。そして、必要な時に三次元再構成装置２００へ送信されてもよい。
【００５８】
また、ｎ台のカメラ１００−１〜１００−ｎの各々は、監視カメラなどの固定カメラである。つまり、ｎ台のカメラ１００−１〜１００−ｎは、例えば、それぞれ、互いに異なる位置において、互いに異なる姿勢で固定されている固定カメラである。また、なお、ｎは、２以上の整数である。ｎ台のカメラ１００−１〜１００−ｎは、全てが固定カメラでなくてもよく、固定されておらず移動することが可能な非固定カメラを含んでいてもよい。
【００５９】
また、多視点映像には、映像又はフレームのヘッダ情報として、撮影したカメラを特定するカメラＩＤなどのカメラ特定情報が付加されてもよい。
【００６０】
複数のカメラ１００−１〜１００−ｎを用いて、毎フレームで同じ時刻の被写体を撮影する同期撮影が行われてもよい。あるいは、複数のカメラ１００−１〜１００−ｎに内蔵された時計の時刻を合せ、同期撮影せずに、映像又はフレーム毎に撮影時刻情報が付加されてもよし、撮影順序を示すインデックス番号が付加されてもよい。
【００６１】
多視点映像の映像セット毎、映像毎、又はフレーム毎に、同期撮影されたか、非同期撮影されたかを示す情報がヘッダ情報として付加されてもよい。
【００６２】
また、三次元再構成装置２００は、受信部２１０と、記憶部２２０と、取得部２３０と、三次元再構成部２４０と、送信部２５０とを備える。
【００６３】
次に、三次元再構成装置２００の動作を説明する。図６は、本実施の形態に係る三次元再構成装置２００の動作の一例を示すフローチャートである。
【００６４】
まず、受信部２１０は、複数のカメラ１００−１〜１００−ｎで撮影された多視点映像を受信する（Ｓ１０１）。記憶部２２０は、受信された多視点映像を記憶する（Ｓ１０２）。
【００６５】
次に、取得部２３０は、多視点映像からフレームを選択し、多視点フレームセットとして三次元再構成部２４０へ出力する（Ｓ１０３）。
【００６６】
例えば、多視点フレームセットは、全ての視点の映像から１フレームずつ選択した複数フレームにより構成されてもよいし、全ての視点の映像から少なくとも１フレーム選択した複数フレームにより構成されてもよいし、多視点映像のうち２つ以上の視点の映像を選択し、選択された各映像から１フレームずつ選択した複数フレームにより構成されてもよいし、多視点映像のうち２つ以上の視点の映像を選択し、選択された各映像から少なくとも１フレーム選択した複数フレームにより構成されてもよい。
【００６７】
また、多視点フレームセットの各フレームにカメラ特定情報が付加されていない場合は、取得部２３０は、カメラ特定情報を、各フレームのヘッダ情報に個別に付加してもよいし、多視点フレームセットのヘッダ情報に一括して付加してもよい。
【００６８】
また、多視点フレームセットの各フレームに撮影時刻又は撮影順を示すインデックス番号が付加されていない場合は、取得部２３０は、撮影時刻又はインデックス番号を、各フレームのヘッダ情報に個別に付加してもよいし、フレームセットのヘッダ情報に一括して付加してもよい。
【００６９】
次に、三次元再構成部２４０は、多視点フレームセットを用いて、カメラ校正処理および三次元モデリング処理を実行することで三次元モデルを生成する（Ｓ１０４）。
【００７０】
また、ステップＳ１０３及びＳ１０４の処理は、多視点フレームセット毎に繰り返し行われる。
【００７１】
最後に、送信部２５０は、カメラパラメータおよび被写体の三次元モデルの少なくとも１つを外部装置へ送信する（Ｓ１０５）。
【００７２】
次に、多視点フレームセットの詳細について説明する。図７は、多視点フレームセットの一例を示す図である。ここでは、取得部２３０が、５台のカメラ１００−１〜１００−５から１フレームずつを選択することで多視点フレームセットを決定する例を説明する。
【００７３】
また、複数のカメラが同期撮影することを仮定している。各フレームのヘッダ情報には、撮影されたカメラを特定するカメラＩＤがそれぞれ１００−１〜１００−５として付与されている。また、各フレームのヘッダ情報には、各カメラ内での撮影順序を示すフレーム番号００１〜Ｎが付与されており、カメラ間で同じフレーム番号を持つフレームは同時刻の被写体が撮影されたことを示す。
【００７４】
取得部２３０は、多視点フレームセット２００−１〜２００−ｎを三次元再構成部２４０へ順次出力する。三次元再構成部２４０は、繰り返し処理により多視点フレームセット２００−１〜２００−ｎを用いて、順次三次元再構成を行う。
【００７５】
多視点フレームセット２００−１は、カメラ１００−１のフレーム番号００１、カメラ１００−２のフレーム番号００１、カメラ１００−３のフレーム番号００１、カメラ１００−４のフレーム番号００１、カメラ１００−５のフレーム番号００１の５枚のフレームから構成される。三次元再構成部２４０は、この多視点フレームセット２００−１を、多視点映像の最初のフレームの集合として、繰り返し処理１で使用することにより、フレーム番号００１を撮影した時刻の三次元モデルを再構成する。
【００７６】
多視点フレームセット２００−２では、全てのカメラでフレーム番号が更新される。多視点フレームセット２００−２は、カメラ１００−１のフレーム番号００２、カメラ１００−２のフレーム番号００２、カメラ１００−３のフレーム番号００２、カメラ１００−４のフレーム番号００２、カメラ１００−５のフレーム番号００２の５枚のフレームから構成される。三次元再構成部２４０は、多視点フレームセット２００−２を繰り返し処理２で使用することにより、フレーム番号００２を撮影した時刻の三次元モデルを再構成する。
【００７７】
以下、繰り返し処理３以降でも同様に全てのカメラでフレーム番号が更新される。これにより、三次元再構成部２４０は、各時刻の三次元モデルを再構成できる。
【００７８】
ただし、各時刻で独立して三次元再構成を行うため、再構成された複数の三次元モデルの座標軸とスケールが一致しているとは限らない。つまり、動く被写体の三次元モデルを取得するためには、各時刻の座標軸及びスケールを合せる必要がある。
【００７９】
その場合、各フレームには撮影時刻が付与されており、その撮影時刻を基に取得部２３０は、同期フレームと非同期フレームを組み合わせた多視点フレームセットを作成する。以下、２台のカメラ間での撮影時刻を用いた同期フレームと非同期フレームの判定方法を説明する。
【００８０】
カメラ１００−１から選択したフレームの撮影時刻をＴ１とし、カメラ１００−２から選択したフレームの撮影時刻をＴ２とし、カメラ１００−１の露光時間をＴＥ１とし、カメラ１００−２の露光時間をＴＥ２とする。ここで、撮影時刻Ｔ１、Ｔ２は、図３及び図４の例で露光が開始された時刻、つまり矩形信号の立ち上がりの時刻を指している。
【００８１】
この場合、カメラ１００−１の露光終了時刻はＴ１＋ＴＥ１である。この時、（式１）又は（式２）が成立していれば、２台のカメラは、同じ時刻、つまり互いに対応するタイミングの被写体を撮影していることになり、２枚のフレームは同期フレームと判定される。
【００８２】
Ｔ１≦Ｔ２≦Ｔ１＋ＴＥ１    （式１）
【００８３】
Ｔ１≦Ｔ２＋ＴＥ２≦Ｔ１＋ＴＥ１    （式２）
【００８４】
なお、ある時刻ｔ１のタイミングに対応するフレームとは、時刻ｔ１を基準として数十ｍｓｅｃの幅の時間に含まれるタイミングで撮像されたフレームであってもよい。
【００８５】
次に、三次元再構成部２４０の詳細について説明する。図８は、三次元再構成部２４０の構造の一例を示すブロック図である。図８に示すように三次元再構成部２４０は、制御部２４１と、カメラ校正部３１０と、三次元モデリング部３１１とを備える。
【００８６】
制御部２４１は、カメラ校正部３１０および三次元モデリング部３１１における各処理で最適な視点数を決定する。ここで決定する視点数とは、互いに異なる視点の数を示す。
【００８７】
制御部２４１は、三次元モデリング部３１１における三次元モデリング処理において用いる多視点フレームセットの視点数を、例えば、ｎ台のカメラ１００−１〜１００−ｎと同じ数、つまり、ｎに決定する。そして、制御部２４１は、三次元モデリング処理における視点数ｎを基準として、他の処理であるカメラ校正処理に用いる多視点フレームセットの視点数を決定する。
【００８８】
図９は、三次元再構成部２４０の動作の一例を示すフローチャートである。なお、図９に示す処理では、制御部２４１において決定された視点数の多視点フレームセットが用いられる。
【００８９】
まず、カメラ校正部３１０は、互いに異なる位置に配置されるｎ台のカメラ１００−１〜１００−ｎによって異なるｎ視点において撮像されたｎ枚のフレームを用いて複数のカメラ１００−１〜１００−ｎのカメラパラメータを算出する（Ｓ３１０）。なお、ここでのｎ視点は、制御部２４１において決定された視点数に基づく。
【００９０】
カメラ校正部３１０は、具体的には、複数のカメラ１００−１〜１００−ｎのそれぞれの内部パラメータ、外部パラメータ及びレンズ歪み係数をカメラパラメータとして算出する。内部パラメータとは、カメラの焦点距離、収差、画像中心等の光学系の特性を示す。外部パラメータとは、三次元空間におけるカメラの位置及び姿勢を示す。
【００９１】
カメラ校正部３１０は、複数のカメラ１００−１〜１００−ｎがチェッカボードの白黒の交点を撮影することにより得られたｎ枚のフレームを用いて内部パラメータ、外部パラメータ及びレンズ歪み係数を別々に算出してもよいし、Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎのようにｎ枚のフレーム間の対応点を用いて内部パラメータ、外部パラメータ及びレンズ歪み係数を一括して算出し、全体最適化を行ってもよい。後者の場合のｎ枚のフレームは、チェッカボードが撮像された画像でなくてもよい。
【００９２】
なお、カメラ校正部３１０は、ｎ台のカメラ１００−１〜１００−ｎによって得られたｎ枚のフレームを用いてカメラ校正処理を行う。カメラ校正処理では、カメラの数が多いほどカメラ間の距離が近くなり、距離が近い複数のカメラの視野が近くなるため、距離が近い複数のカメラから得られる複数のフレームの対応付けが容易になる。
【００９３】
なお、カメラ校正部３１０は、三次元再構成部２４０における三次元再構成処理において、ステップＳ３１０のカメラ校正処理を常に行われなくてもよく、三次元再構成処理が所定の回数行われる毎に１回行われてもよい。
【００９４】
次に、三次元モデリング部３１１は、ｎ台のカメラ１００−１〜１００−ｎのそれぞれによって撮像されたｎ枚のフレーム、および、カメラ校正処理において得られたカメラパラメータを用いて、撮影空間１０００における被写体を、三次元点の集合である三次元点群により構成される三次元モデルとして再構成する（Ｓ３１１）。三次元モデリング処理において用いられるｎ枚のフレームは、任意のタイミングでｎ台のカメラ１００−１〜１００−ｎのそれぞれによって撮像された画像である。つまり、ｎ枚のフレームが構成するｎ視点の多視点フレームセットは、同期撮影により得られた多視点フレームセットである。
【００９５】
次に、三次元モデリング部３１１の詳細について、図１０〜図１２を用いて説明する。図１０は、三次元モデリング部３１１の構造の一例を示すブロック図である。図１１は、三次元パッチについて説明するための図である。図１２は、三次元モデリング部３１１の動作の一例を示すフローチャートである。
【００９６】
ここでは、三次元モデリング部３１１の各ブロックについて図１０を用いて説明すると共に、各ブロックで行われる処理の流れについて図１２を用いて説明する。
【００９７】
三次元モデリング部３１１は、初期生成部４１０と、拡張部４１１と、フィルタリング部４１２とを備える。
【００９８】
初期生成部４１０は、フレーム間の特徴点を対応付けることにより疎な三次元点群により構成される初期三次元モデルを生成する第１生成を行う（Ｓ４１１）。なお、フレーム間において特徴点を対応付ける処理をマッチングとも言う。このように、初期生成部４１０は、複数のフレームにそれぞれ含まれる複数の特徴点のマッチングを複数のフレーム間で行うことにより複数の三次元点を生成する。これにより、初期生成部４１０は、生成された複数の三次元点を含む、疎な三次元点群により構成される初期三次元モデルを生成する。初期生成部４１０は、複数の三次元点として、被写体の表面上の点の三次元位置、および、当該点における当該表面に垂直な法線方向をそれぞれが示す複数の三次元パッチを生成する。疎な三次元点群は、第１三次元点群の一例である。
【００９９】
複数の三次元点のそれぞれは、三次元位置と、法線方向と、当該三次元点が見えているフレームである可視フレーム、および、当該三次元点が可視フレームへ投影された投影点（二次元点）を含んでいてもよい。複数の三次元パッチのそれぞれは、ｘ座標、ｙ座標およびｚ座標により構成される三次元位置と、法線方向とを有する三次元ベクトルで表されてもよい。三次元パッチは、図１１に示されるように、具体的には、三次元位置ｃを基準とし、三次元位置ｃにおける被写体（物体）表面の小領域ｃを中心とした小平面で近似され、当該小平面の法線を示すベクトルとして、三次元空間内での向きとして表されてもよい。
【０１００】
なお、ステップＳ４１１の第１生成の詳細な処理は、図１３〜図２３を用いて後述する。
【０１０１】
次に、三次元モデリング部３１１は、任意の回数でループ１を繰り返し行う。ループ１では、ステップＳ４１２およびステップＳ４１３が行われる。
【０１０２】
拡張部４１１は、初期三次元モデルを構成する疎な三次元点群を拡張して、三次元点を増加させることにより、密な三次元点群により構成される拡張三次元モデルを生成する（Ｓ４１２）。拡張部４１１は、複数のフレームと、第１生成で生成された初期三次元モデルの三次元点群とを用いて新たな三次元点を生成し、生成された三次元点を初期三次元モデルの三次元点群に追加する第２生成を行う。密な三次元点群は、第２三次元点群の一例である。
【０１０３】
なお、ステップＳ４１２の第２生成の詳細な処理は、図２４〜図３５を用いて後述する。
【０１０４】
そして、フィルタリング部４１２は、拡張部４１１で生成された拡張三次元モデルを構成する密な三次元点群から所定の方法を用いて外れ点を除去する（Ｓ４１３）。
【０１０５】
これにより、三次元モデリング部３１１は、外れ点が除去された三次元モデルを出力する。このようにして、三次元モデルは、三次元モデリング部３１１により再構成される。
【０１０６】
次に、第１生成の詳細な処理について、図１３〜図２３を用いて説明する。
【０１０７】
図１３は、初期生成部４１０の構造の一例を示すブロック図である。図１４は、初期生成部４１０の動作の一例を示すフローチャートである。
【０１０８】
ここでは、初期生成部４１０の各ブロックについて図１３を用いて説明すると共に、各ブロックで行われる処理の流れについて図１４を用いて説明する。
【０１０９】
初期生成部４１０は、類似度算出部５１０と、特徴点検出部５１１と、切替部５１２と、特徴点対応部５１３と、評価部５１４と、パッチ算出部５１５と、フレーム選択部５１６と、最適化部５１７と、対応点候補選択部５１８と、候補パッチ算出部５１９と、フレーム選択部５２０と、最適化部５２１と、評価部５２２とを備える。
【０１１０】
第１生成では、まず、特徴点検出部５１１は、ｎ台のカメラ１００−１〜１００−ｎのそれぞれによって撮像されたｎ枚のフレームのそれぞれの特徴点を検出する（Ｓ５１１）。ｎ枚のフレームのそれぞれについて検出された特徴点は、図示しないメモリに一時的に記憶されてもよい。
【０１１１】
次に、対応するタイミングで撮像されたｎ枚のフレームのそれぞれについてステップＳ５１２〜Ｓ５２２の処理を繰り返すループ２が行われる。ループ２は、具体的には、ｎ枚のフレームのうちの１枚のフレームを参照フレームとして選択し、選択された参照フレームと、ｎ枚のフレームから参照フレームを除いたｎ−１枚のフレームのそれぞれとの組を複数生成し、生成された複数の組のそれぞれについて、実行される。つまり、ｎ枚のフレームをのうちの２枚のフレームを選んだときに取り得る全ての組み合わせそれぞれについて、ループ２が実行される。ループ２は、第１ループの一例である。
【０１１２】
切替部５１２は、処理対象の組み合わせの２枚のフレームをそれぞれ撮像した２台のカメラの視野が互いに類似しているか否かを判定する（Ｓ５１２）。なお、この判定で用いられる２台のカメラ間の視野の類似度は、大きい値であるほど両者がより類似していることを示す。なお、類似度の算出には、小さい値であるほど両者がより類似していることを示す指標が用いられてもよい。この場合の類似度には、例えば、当該指標の逆数が用いられてもよい。また、類似度の算出には、１に近いほど両者が類似していることを示す指標が用いられてもよい。この場合の類似度には、例えば、当該指標が０より小さければ１００を乗じた値が用いられてもよいし、当該指標が１より大きければ当該指標の逆数の１００を乗じた値が用いられてもよい。類似度は、類似度算出部５１０により算出される。
【０１１３】
２台のカメラ間の類似度について図１５Ａおよび図１５Ｂを用いて説明する。図１５Ａおよび図１５Ｂは、２台のカメラ間の視野の類似度に用いられる指標について説明するための図である。
【０１１４】
図１５Ａに示されるように、２台のカメラ間の視野の類似度に用いられる指標は、当該２台のカメラがそれぞれ有する２つの光軸の為す角の角度である輻輳角θであってもよい。また、２台のカメラ間の視野の類似度に用いられる指標は、当該２台のカメラ間の距離ｄであってもよい。輻輳角θおよび距離ｄのそれぞれは、値が小さいほど両者がより類似していることが示される指標として用いることができる。
【０１１５】
また、図１５Ｂに示されるように、２台のカメラ間の視野の類似度に用いられる指標は、当該２台のカメラそれぞれの画角φ１、φ２の第１の比率φ１／φ２であってもよい。また、２台のカメラ間の視野の類似度に用いられる指標は、２台のカメラそれぞれのセンササイズｓ１、ｓ２の第２の比率ｓ１／ｓ２であってもよい。また、２台のカメラ間の視野の類似度に用いられる指標は、２台のカメラそれぞれの焦点距離ｆ１、ｆ２の第３の比率ｆ１／ｆ２であってもよい。第１の比率φ１／φ２、第２の比率ｓ１／ｓ２および第３の比率ｆ１／ｆ２のそれぞれは、値が１に近いほど両者がより類似していることが示される指標として用いることができる。
【０１１６】
このように、２台のカメラ間の視野の類似度は、当該２台のカメラのカメラパラメータを用いて算出することができる。
【０１１７】
また、２台のカメラ間の視野の類似度は、輻輳角θ、距離ｄおよび比率φ１／φ２の組み合わせにより示されてもよい。２台のカメラ間の視野の類似度が複数の指標の組み合わせにより算出される場合、当該類似度は、各指標を大きい値であるほど両者がより類似していることを示す値に変換し、変換された各値の重み付け加算することにより得られた値としてもよい。
【０１１８】
切替部５１２は、例えば、２台のカメラの視野の類似度が所定の閾値以上である場合、２台のカメラが類似していると判定する。一方で、切替部５１２は、類似度が所定の閾値未満である場合、２台のカメラが類似していないと判定する。以下では、視野の類似度が所定の閾値以上である２台のカメラにより得られた２枚のフレームの組み合わせを第１の組み合わせとし、視野の類似度が所定の閾値未満である２台のカメラにより得られた２枚のフレームの組み合わせを第２の組み合わせとする。
【０１１９】
ステップＳ５１２において２台のカメラの視野が互いに類似していると判定された場合、ループ３が実行される。ループ３は、複数の第１の組み合わせのそれぞれについて実行される。ループ３の処理は、ｎ枚のフレームのうちの２以上の第１フレームであって、複数のカメラ１００−１〜１００−ｎのうちの視野の類似度が所定の閾値以上である２以上の第１カメラによりそれぞれ得られた２以上の第１フレームそれぞれにおける複数の特徴点について、第１マッチングを２以上の第１フレーム間で行い、得られた第１マッチング結果に基づいて、１以上の第１三次元点を生成する処理の一例である。第１カメラは、第１撮像装置の一例であり、第１フレームは、第１画像の一例である。
【０１２０】
一方で、ステップＳ５１２において２台のカメラが互いに類似していないと判定された場合、ループ４が実行される。ループ４は、複数の第２の組み合わせのそれぞれについて実行される。ループ４の処理は、ｎ枚のフレームのうちの２以上のフレームであって、複数のカメラ１００−１〜１００−ｎのうちの視野の類似度が所定の閾値未満の２以上の第２カメラによりそれぞれ得られた２以上の第２フレームそれぞれにおける複数の特徴点について、第１マッチングよりも精度の低い第２マッチングを２以上の第２フレーム間で行い、得られた第２マッチング結果に基づいて、１以上の第２三次元点を生成する処理の一例である。第２カメラは、第２撮像装置の一例であり、第２フレームは、第２画像の一例である。
【０１２１】
以下、ループ３の具体例について図１６〜図１９を用いて説明する。図１６は、特徴点対応部５１３による処理について説明するための図である。図１７は、パッチ算出部５１５による処理について説明するための図である。図１８は、フレーム選択部５１６による処理について説明するための図である。図１９は、最適化部５１７による処理について説明するための図である。
【０１２２】
ループ３では、処理対象の第１の組み合わせの２枚のフレームのうちの一方のフレームである参照フレームに含まれる複数の特徴点のそれぞれについて行われ、ステップＳ５１３〜Ｓ５１７が行われる。ループ３は、第２ループの一例である。ここで用いられる複数の特徴点は、ｎ枚のフレーム毎に特徴点検出部５１１により検出された複数の特徴点である。
【０１２３】
ステップＳ５１３では、図１６に示されるように、特徴点対応部５１３は、処理対象の特徴点Ｐ１に対応する対応点Ｐ２を、処理対象の第１の組み合わせのうちの他方のフレーム（つまり、参照フレームＩ１とは異なる他のフレームＩ２）から小数画素精度で算出する（Ｓ５１３）。特徴点対応部５１３は、例えば、非特許文献１に記載されている位相限定相関法のように小数画素精度の高精度な第１マッチングを行うことで、参照フレームＩ１の特徴点Ｐ１に対応する対応点Ｐ２を他のフレームＩ２から算出する。対応点Ｐ２は、第１対応点の一例である。
【０１２４】
ステップＳ５１４では、評価部５１４は、特徴点対応部５１３において算出された対応点Ｐ２を評価する（Ｓ５１４）。評価部５１４は、評価することで得られた評価値が第１評価値以上であるか否かを判定し、評価値が第１評価値以上である場合に、当該対応点Ｐ２を用いて後でパッチ算出部５１５により算出される三次元パッチを三次元点群に追加すると決定する。この場合、この後で、次のステップＳ５１５が実行される。一方で、評価値が第１評価値未満である場合に、その後のステップＳ５１５〜Ｓ５１７の処理を実行せずに、次の特徴点についてステップＳ５１３〜Ｓ５７１を実行する。なお、評価部５１４は、具体的には、位相限定相関法の評価関数のピーク値を評価値として算出する。
【０１２５】
ステップＳ５１５では、図１７に示されるように、パッチ算出部５１５は、処理対象の特徴点Ｐ１と、特徴点対応部５１３により算出された対応点Ｐ２と、参照フレームＩ１が得られたカメラのカメラパラメータと、他のフレームＩ２が得られたカメラのカメラパラメータとを用いて、三角測量により、三次元パッチｐ１の三次元位置を算出する（Ｓ５１５）。パッチ算出部５１５は、参照フレームＩ１が得られたカメラの三次元位置と三次元パッチｐ１の三次元位置とを結んだ直線と平行な方向を、三次元パッチｐ１の仮の法線方向として一時的に決定する。なお、一方のフレームＩ１が得られたカメラは、第３撮像装置の一例である。他方のフレームＩ２が得られたカメラは、第４撮像装置の一例である。ここで算出された三次元パッチｐ１は、第１三次元パッチの一例である。
【０１２６】
ステップＳ５１６では、図１８に示されるように、フレーム選択部５１６は、複数の第１フレームのうち、処理対象の第１の組み合わせのフレームＩ１、Ｉ２を除く複数のフレームから、パッチ算出部５１５により算出された三次元パッチｐ１が映り込んでいる１以上の第１可視フレームＩ３を特定する。そして、フレーム選択部５１６は、特定された１以上の第１可視フレームＩ３のそれぞれについて、当該第１可視フレームＩ３が得られたカメラのカメラパラメータを用いて三次元パッチｐ１を投影することで当該第１可視フレームＩ３における二次元点である投影点Ｐ３を算出する（Ｓ５１６）。なお、図１８では、１枚の第１可視フレームＩ３が示されているが、複数の第１可視フレームＩ３が特定される場合もあり、この場合には、複数の第１可視フレームＩ３のそれぞれについて投影点Ｐ３が算出される。なお、第１可視フレームＩ３は、第１可視画像の一例である。また、第１可視フレームＩ３が得られたカメラは、第５撮像装置の一例である。また、投影点Ｐ３は、第１二次元点の一例である。
【０１２７】
ステップＳ５１７では、図１９に示されるように、最適化部５１７は、パッチ算出部５１５により算出された三次元パッチｐ１と、フレーム選択部５１６により算出された１以上の投影点Ｐ３とを用いて、投影一貫性を表す評価値が最小となるように、三次元パッチｐ１の法線方向を補正し、補正後の三次元パッチｐ２を第１三次元点として生成する（Ｓ５１７）。最適化部５１７は、具体的には、参照フレームＩ１の特徴点Ｐ１の位置および三次元パッチｐ１の三次元位置を固定したまま、三次元パッチｐ１の法線方向、他のフレームＩ２上の対応点Ｐ２の位置および第１可視フレームＩ３の投影点Ｐ３の位置を最適化する。最適化部５１７は、例えば、参照フレームＩ１と、他のフレームＩ２および１以上の第１可視フレームＩ３のそれぞれとの組み合わせにおいて特徴点周辺の小領域間のＮｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ（ＮＣＣ）をＮ（Ｉ，Ｊ，ｐ）とし、式３を用いて算出する。そして、算出されたＮＣＣの合計値を三次元パッチｐ２の可視カメラへの投影一貫性を示す評価値とする。なお、可視カメラとは、他のフレームＩ２および１以上の第１可視フレームＩ３のそれぞれのフレームが得られたカメラであり、三次元パッチｐ２が撮像されるカメラである。
【０１２８】
【数１】
2019230813.tif 000003
【０１２９】
これにより、算出された三次元パッチｐ２は、三次元位置と、法線方向と、当該三次元パッチｐ２が撮影される可視フレームである他のフレームＩ２および１以上の第１可視フレームＩ３を示す可視フレーム情報とを含む。算出された三次元パッチｐ２は、第１三次元点としてメモリに記憶される。
【０１３０】
第１生成におけるループ３では、視野の類似度が所定の閾値以上の関係にある２台のカメラにより得られた第１の組み合わせの２つのフレームについて、高精度に特徴点をマッチングする第１マッチングを用いて三次元点の三次元位置を算出する。このため、三次元位置の誤差を低減することができる。また、最適化部５１７の処理の開始時の誤差が少なく、かつ、パラメータの数も少なくすることができるため、最適化による収束を早めることができ、処理時間を短縮することができる。
【０１３１】
次に、ループ４の具体例について図２０〜図２３を用いて説明する。図２０は、対応点候補選択部５１８および候補パッチ算出部５１９による処理について説明するための図である。図２１は、フレーム選択部５２０による処理について説明するための図である。図２２および図２３は、最適化部５２１による処理を説明するための図である。
【０１３２】
ループ４では、処理対象の第２の組み合わせの２枚のフレームのうちの一方のフレームである参照フレームに含まれる複数の特徴点のそれぞれについて行われ、ステップＳ５１８〜Ｓ５２２が行われる。ループ４は、第３ループの一例である。ここで用いられる複数の特徴点は、ｎ枚のフレーム毎に特徴点検出部５１１により検出された複数の特徴点である。
【０１３３】
ステップＳ５１８では、図２０に示されるように、対応点候補選択部５１８は、第２マッチングを行うことで、処理対象の特徴点Ｐ１１に対応する１以上の対応点候補を、処理対象の第２の組み合わせのうちの他方のフレーム（つまり、参照フレームＩ１１とは異なる他のフレームＩ１２）から整数画素精度で算出する（Ｓ５１８）。第２マッチングは、処理対象の第２の組み合わせの２つのフレーム間において、２つのフレームのそれぞれで算出された複数の特徴点を、２つのフレームが得られた２台のカメラのカメラパラメータを用いて、参照フレームＩ１１と他のフレームＩ１２との間の幾何学的な整合性に基づいてマッチングする処理である。対応点候補選択部５１８は、具体的には、参照フレームＩ１１が得られたカメラのカメラパラメータ、および、他のフレームＩ１２が得られたカメラのカメラパラメータを用いて、参照フレームＩ１１の特徴点Ｐ１１に対するエピポーラ線Ｌ１を他のフレームＩ１２上に引く。このとき、参照フレームＩ１１の特徴点Ｐ１１に対する他のフレームＩ１２上の対応点は、他のフレームＩ１２上に引かれたエピポーラ線Ｌ１上に存在する。他のフレームＩ２上で検出された複数の特徴点のうち、エピポーラ線Ｌ１との距離が任意の閾値以下である１以上の特徴点を対応点候補Ｐ１２として算出する。対応点候補Ｐ１２は、第２対応点の一例である。
【０１３４】
次に、ステップＳ５１８で得られた１以上の対応点候補のそれぞれについてループ５が実行される。ループ５では、ステップＳ５１９〜Ｓ５２２が行われる。
【０１３５】
ステップＳ５１９では、図２０に示されるように、候補パッチ算出部５１９は、処理対象の特徴点Ｐ１１と、処理対象の対応点候補Ｐ１２と、参照フレームＩ１１が得られたカメラのカメラパラメータと、他のフレームＩ１２が得られたカメラのカメラパラメータとを用いて、三次元パッチｐ１１の三次元位置および法線方向を算出する（Ｓ５１９）。候補パッチ算出部５１９は、参照フレームＩ１１の特徴点Ｐ１１と、他のフレームＩ１２の対応点候補Ｐ１２とについて、上記カメラパラメータを用いた三角測量により、三次元パッチｐ１１の三次元位置を算出する。また、候補パッチ算出部５１９は、参照フレームＩ１１を撮像したカメラの三次元位置座標と、三次元パッチｐ１１の三次元位置とを結んだ直線の方向を、三次元パッチｐ１１の仮の法線方向として一時的に決定する。なお、一方のフレームＩ１１が得られたカメラは、第６撮像装置の一例である。他方のフレームＩ１２が得られたカメラは、第７撮像装置の一例である。ここで算出された三次元パッチｐ２は、第２三次元パッチの一例である。
【０１３６】
ステップＳ５２０では、図２１に示されるように、フレーム選択部５２０は、複数の第２フレームのうち、処理対象の第２の組み合わせのフレームＩ１１、Ｉ１２を除く複数のフレームから、候補パッチ算出部５１９により算出された三次元パッチｐ１１が映り込んでいる１以上の第２可視フレームＩ１３を特定する。そして、フレーム選択部５２０は、特定された１以上の第２可視フレームＩ１３のそれぞれについて、当該第２可視フレームＩ１３が得られたカメラのカメラパラメータを用いて三次元パッチｐ１１を投影することで当該第２可視フレームＩ１３における二次元点である投影点Ｐ１３を算出する（Ｓ５２０）。なお、図２１では、１枚の第２可視フレームＩ１３が示されているが、複数の第２可視フレームＩ１３が特定される場合もあり、この場合には、複数の第２可視フレームＩ１３のそれぞれについて投影点Ｐ１３が算出される。なお、第２可視フレームＩ１３は、第２可視画像の一例である。また、第２可視フレームＩ１３が得られたカメラは、第８撮像装置の一例である。また、投影点Ｐ１３は、第２二次元点の一例である。
【０１３７】
ステップＳ５２１では、図２２および図２３に示されるように、最適化部５２１は、候補パッチ算出部５１９により算出された三次元パッチｐ１１と、フレーム選択部５２０により算出された１以上の投影点Ｐ１３とを用いて、投影一貫性を示す評価値が最小となるように、三次元パッチｐ１１の三次元位置および法線方向と対応点候補Ｐ１２の位置と１以上の投影点Ｐ１３の位置とを補正し、補正後の三次元パッチｐ１２を第２三次元点として生成する（Ｓ５２１）。最適化部５２１は、具体的には、参照フレームＩ１１の特徴点Ｐ１１の位置を固定したまま、三次元パッチｐ１１の三次元位置および法線方向、他のフレームＩ１２上の対応点候補Ｐ１２の位置および第２可視フレームＩ１３の投影点Ｐ１３の位置を最適化する。最適化部５２１は、三次元パッチｐ１１の三次元位置を、参照フレームＩ１１が得られたカメラの三次元位置と、三次元パッチｐ１１の三次元位置とを結んだ直線上から外れないように移動させながら最適化する。最適化部５２１は、例えば、参照フレームＩ１１と、他のフレームＩ１２および１以上の第２可視フレームＩ１３のそれぞれとの組み合わせにおいて特徴点周辺の小領域間のＮｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ（ＮＣＣ）をＮ（Ｉ，Ｊ，ｐ）とし、上述した式３を用いて算出する。そして、算出されたＮＣＣの合計値を三次元パッチｐ１２の可視カメラへの投影一貫性を示す評価値とする。なお、可視カメラとは、他のフレームＩ１２および１以上の第２可視フレームＩ１３のそれぞれのフレームが得られたカメラであり、三次元パッチｐ１２が撮像されるカメラである。
【０１３８】
これにより、算出された三次元パッチｐ１２は、三次元位置と、法線方向と、当該三次元パッチｐ１２が撮影される可視フレームである他のフレームＩ１２および１以上の第２可視フレームＩ１３を示す可視フレーム情報とを含む。
【０１３９】
なお、最適化では、三次元パッチｐ１１の三次元位置および法線方向、他のフレームＩ１２上の対応点候補Ｐ１２の位置、および、１以上の第２可視フレームＩ１３上の１以上の投影点Ｐ１３の位置を微小に変位させながら、Ｎ（Ｉ，Ｊ，ｐ）の合計値が最大化、または、１−｛Ｎ（Ｉ，Ｊ，ｐ）の合計値｝が最小化される各パラメータの値を算出する。これにより、三次元パッチｐ１１の三次元位置および法線方向が最適化された三次元パッチｐ１２が得られ、他のフレームＩ１２上の対応点候補Ｐ１２の位置が最適化された対応点候補Ｐ１２ａが得られ、１以上の第２可視フレームＩ１３上の１以上の投影点Ｐ１３の位置が最適化された投影点Ｐ１３ａが得られる。
【０１４０】
ステップＳ５２２では、評価部５２２は、最適化後のＮ（Ｉ，Ｊ，ｐ）の合計値が任意の閾値以上、または、１−｛Ｎ（Ｉ，Ｊ，ｐ）の合計値｝が任意の閾値以下であるか否かを判定し、最適化後のＮ（Ｉ，Ｊ，ｐ）の合計値が任意の閾値以上、または、１−｛Ｎ（Ｉ，Ｊ，ｐ）の合計値｝が任意の閾値以下である場合、算出された三次元パッチｐ１２を第２三次元点としてメモリに記憶する。
【０１４１】
第１生成におけるループ４では、視野の類似度が所定の閾値未満の関係にある２台のカメラにより得られた第２の組み合わせの２つのフレームについて、幾何学的な整合性に基づく第２マッチングを用いて三次元点群を生成するため、低精度な三次元点が生成されること、および、処理に多くの時間を要してしまうことを低減することができる。
【０１４２】
このように、第１生成では、ループ３が行われることにより三次元パッチｐ１が生成され、ループ４が行われることにより三次元パッチｐ１２が生成される。これにより、第１生成では、疎な三次元点群が生成され、疎な三次元点群から構成される初期三次元モデルが生成される。
【０１４３】
次に、第２生成の詳細な処理について、図２４〜図３５を用いて説明する。
【０１４４】
図２４は、拡張部４１１の構造の一例を示すブロック図である。図２５は、拡張部４１１の動作の一例を示すフローチャートである。
【０１４５】
ここでは、拡張部４１１の各ブロックについて図２４を用いて説明すると共に、各ブロックで行われる処理の流れについて図２５を用いて説明する。
【０１４６】
拡張部４１１は、切替部６１１と、対応部６１２と、評価部６１３と、パッチ算出部６１４と、フレーム選択部６１５と、最適化部６１６と、候補パッチ算出部６１７と、フレーム選択部６１８と、最適化部６１９と、評価部６２０とを備える。
【０１４７】
第２生成では、まず、対応するタイミングで撮像されたｎ枚のフレームのそれぞれについてステップＳ６１１〜Ｓ６２０の処理を繰り返すループ６が行われる。ループ６では、以下を実行する。ループ６は、具体的には、ｎ枚のフレームのうちの１枚のフレームを参照フレームとして選択し、選択された参照フレームと、ｎ枚のフレームから参照フレームを除いたｎ−１枚のフレームのそれぞれとの組を複数生成し、生成された複数の組のそれぞれについて、実行される。つまり、ｎ枚のフレームをのうちの２枚のフレームを選んだときに取り得る全ての組み合わせそれぞれについて、ループ６が実行される。ループ６は、第５ループの一例である。
【０１４８】
切替部６１１は、処理対象の組み合わせの２枚のフレームをそれぞれ撮像した２台のカメラの視野が互いに類似しているか否かを判定する（Ｓ６１１）。なお、この判定で用いられる２台のカメラ間の視野の類似度は、ステップＳ５１２において用いられる類似度と同じ値が用いられる。つまり、類似度算出部５１０により算出された類似度が用いられる。切替部６１１は、初期生成部４１０の類似度算出部５１０において算出された類似度を初期生成部４１０から取得し、取得された類似度を用いてステップＳ６１１の判定を行う。
【０１４９】
ステップＳ６１１において２台のカメラが互いに類似していると判定された場合、ループ７が実行される。ループ７は、疎な三次元点群を構成する複数の第３三次元点のそれぞれについて実行される。ループ７の処理は、複数の第３三次元点の近傍にある複数の近傍三次元点のそれぞれについて、当該近傍三次元点および２以上の第１フレームに基づいて、第１マッチングを２以上の第１フレーム間で行い、得られた第１マッチングの結果に基づいて、１以上の新たな第１三次元点を生成する処理の一例である。
【０１５０】
一方で、ステップＳ６１１において２台のカメラが互いに類似していないと判定された場合、ループ８が実行される。ループ８は、疎な三次元点群を構成する複数の第３三次元点の近傍にある複数の近傍三次元点のそれぞれについて、当該近傍三次元点および２以上の第２フレームに基づいて、第２マッチングを２以上の第２フレーム間で行い、得られた第２マッチング結果に基づいて、１以上の新たな第２三次元点を生成する処理の一例である。
【０１５１】
以下、ループ７の具体例について、図２６〜図３０を用いて説明する。図２６は、拡張部４１１による処理について説明するための図である。図２７は、対応部６１２による処理について説明するための図である。図２８は、評価部６１３およびパッチ算出部６１４による処理について説明するための図である。図２９は、フレーム選択部６１５による処理について説明するための図である。図３０は、最適化部６１６による処理について説明するための図である。
【０１５２】
ループ７では、図２６に示されるように、複数の第３三次元点のそれぞれについて行われ、当該第３三次元点である基準パッチｐ２１に基づいて、三次元点を拡張する（増加させる）処理が行われる。ループ７は、第６ループの一例である。また、ループ７の処理は、処理対象の基準パッチｐ２１が映り込んでいる１以上の可視フレームそれぞれにおいて行われる。ループ７の処理は、各フレームの画素単位で行われてもよいし、例えば２×２画素で構成される小領域単位で行われてもよい。つまり、処理単位に対し、１つの三次元点が生成されてもよい。この処理単位は、セルと呼ばれる。セルは、図２６〜図３０におけるフレームＩ２１〜Ｉ２３において、１マスで示される。ここでは、フレームＩ２２を参照フレームとして拡張を例に説明する。
【０１５３】
対応部６１２は、図２７に示されるように、処理対象の第１の組み合わせのうちの参照フレームＩ２２に、処理対象の基準パッチｐ２１を投影することで当該参照フレームＩ２２における投影点Ｐ２２を算出する。そして、対応部６１２は、第１マッチングを行うことで、参照フレームＩ２２を構成する複数のセルのうち、特定された投影点Ｐ２２を含む第１セルＣ２２に隣接する第２セルＣ２２ａ内の二次元点Ｐ２２ａに対応する対応点Ｐ２３ａを、処理対象の第１の組み合わせのうちの他のフレームＩ２３から小数画素精度で算出する（Ｓ６１２）。対応部６１２は、例えば、非特許文献１に記載されている位相限定相関法のように小数画素精度の高精度な第１マッチングを行うことで、参照フレームＩ２２の二次元点Ｐ２２ａに対応する対応点Ｐ２３ａを他のフレームＩ２３から算出する。対応点Ｐ２３ａは、第３対応点の一例である。
【０１５４】
ステップＳ６１２では、第１の組み合わせにおいて、参照フレームＩ２２と組となる他のフレームＩ２３について対応点を算出するとしたが、これに限らない。参照フレームＩ２２の第２セルＣ２２ａ内の二次元点Ｐ２２ａに対応する対応点の算出は、基準パッチｐ２１が映り込んでいる複数の可視フレームの全てについて行われてもよいし、参照フレームＩ２２が撮像されたカメラの近傍にあるカメラにより撮像された近傍フレームについて行われてもよいし、参照フレーム以外の全フレームの中で参照フレームＩ２２が撮像されたカメラとの間で視野の類似度の高いカメラにより撮像されたフレームについて行われてもよい。
【０１５５】
ステップＳ６１３では、評価部６１３は、対応部６１２において算出された対応点Ｐ２３ａを評価する（Ｓ６１３）。評価部６１３は、評価することで得られた評価値が第１評価値以上であるか否かを判定し、評価値が第２評価値以上である場合に、当該対応点Ｐ２３ａを用いて後でパッチ算出部６１４により算出される三次元パッチを三次元点群に追加すると決定する。この場合、この後で、次のステップＳ６１４が実行される。一方で、評価値が第１評価値未満である場合に、その後のステップＳ６１４〜Ｓ６１６の処理を実行せずに、次の第１セルおよび第２セルとは異なるセル内の二次元点についてステップＳ６１２〜Ｓ６１６を実行する。なお、評価部６１３は、具体的には、位相限定相関法の評価関数のピーク値を評価値として算出する。
【０１５６】
ステップＳ６１４では、図２８に示されるように、パッチ算出部６１４は、二次元点Ｐ２２ａと、対応部６１２により算出された対応点Ｐ２３ａと、参照フレームＩ２２が得られたカメラのカメラパラメータと、他のフレームＩ２３が得られたカメラのカメラパラメータとを用いて、三角測量により、三次元パッチｑ２１の三次元位置を算出する（Ｓ６１４）。三次元パッチｑ２１は、近傍三次元点の一例である。パッチ算出部６１４は、参照フレームＩ２２が得られたカメラの三次元位置と三次元パッチｑ２１の三次元位置とを結んだ直線と平行な方向を、三次元パッチｑ２１の仮の法線方向として一時的に決定する。ここで、得られた三次元パッチｑ２１は、既に密な三次元点群として追加することが決定しているため、新たな第１三次元点としてメモリに記憶されてもよい。なお、参照フレームＩ２２が得られたカメラは、第９撮像装置の一例である。他方のフレームＩ２３が得られたカメラは、第１０撮像装置の一例である。ここで算出された三次元パッチｑ２１は、第３三次元パッチの一例である。
【０１５７】
ステップＳ６１５では、図２９に示されるように、フレーム選択部６１５は、複数の第１フレームのうち、処理対象の第１の組み合わせのフレームＩ２２、Ｉ２３を除く複数のフレームから、パッチ算出部６１４により算出された三次元パッチｑ２１が映り込んでいる１以上の第３可視フレームＩ２１を特定する。そして、フレーム選択部６１５は、特定された１以上の第３可視フレームＩ２１のそれぞれについて、当該第３可視フレームＩ２１が得られたカメラのカメラパラメータを用いて三次元パッチｑ２１を投影することで当該第３可視フレームＩ２１における二次元点である投影点Ｐ２１ａを算出する（Ｓ６１５）。なお、図２９では、１枚の第３可視フレームＩ２１が示されているが、複数の第３可視フレームＩ２１が特定される場合もあり、この場合には、複数の第３可視フレームＩ２１のそれぞれについて投影点Ｐ２１ａが算出される。なお、第３可視フレームＩ２１は、第３可視画像の一例である。また、第３可視フレームＩ２１が得られたカメラは、第１１撮像装置の一例である。また、投影点Ｐ２１ａは、第５二次元点の一例である。
【０１５８】
ステップＳ６１６では、図３０に示されるように、最適化部６１６は、パッチ算出部６１４により算出された三次元パッチｑ２１と、フレーム選択部６１５により算出された１以上の投影点Ｐ２１ａとを用いて、投影一貫性を表す評価値が最小となるように、三次元パッチｑ２１の法線方向を補正し、補正後の三次元パッチｑ２２を新たな第１三次元点として生成する（Ｓ６１６）。最適化部６１６は、具体的には、参照フレームＩ２２の二次元点Ｐ２２ａの位置および三次元パッチｑ２１の三次元位置を固定したまま、三次元パッチｑ２１の法線方向、他のフレームＩ２３上の対応点Ｐ２３ａの位置および第３可視フレームＩ２１の投影点Ｐ２１ａの位置を最適化する。最適化部６１６は、例えば、参照フレームＩ２２と、他のフレームＩ２３および１以上の第３可視フレームＩ２１のそれぞれとの組み合わせにおいて特徴点周辺の小領域間のＮｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ（ＮＣＣ）をＮ（Ｉ，Ｊ，ｐ）とし、式３を用いて算出する。そして、算出されたＮＣＣの合計値を三次元パッチｑ２２の可視カメラへの投影一貫性を示す評価値とする。なお、可視カメラとは、他のフレームＩ２３および１以上の第３可視フレームＩ２１のそれぞれのフレームが得られたカメラであり、三次元パッチｑ２２が撮像されるカメラである。
【０１５９】
これにより、算出された三次元パッチｑ２２は、三次元位置と、法線方向と、当該三次元パッチｑ２２が撮影される可視フレームである他のフレームＩ２３および１以上の第３可視フレームＩ２１を示す可視フレーム情報とを含む。算出された三次元パッチｑ２２は、新たな第１三次元点としてメモリに記憶される。
【０１６０】
第２生成におけるループ７では、視野の類似度が所定の閾値以上の関係にある２台のカメラにより得られた第１の組み合わせの２つのフレームについて、高精度に特徴点をマッチングする第１マッチングを用いて三次元点の三次元位置を算出する。ため、三次元位置の誤差を低減することができる。また、最適化部６１６の処理の開始時の誤差が少なく、かつ、パラメータの数も少なくすることができるため、最適化による収束を早めることができ、処理時間を短縮することができる。
【０１６１】
次に、ループ８の具体例について図３１〜図３５を用いて説明する。図３１は、拡張部４１１による処理について説明するための図である。図３２は、候補パッチ算出部６１７による処理について説明するための図である。図３３は、フレーム選択部６１８による処理について説明するための図である。図３４は、最適化部６１９による処理について説明するための図である。図３５は、評価部６２０による処理について説明するための図である。
【０１６２】
ループ８では、図３１に示されるように、複数の第３三次元点のそれぞれについて行われ、当該第３三次元点である基準パッチｐ３１に基づいて、三次元点を拡張する（増加させる）処理が行われる。ループ８は、第７ループの一例である。また、ループ８の処理は、処理対象の基準パッチｐ３１が映り込んでいる１以上の可視フレームそれぞれにおいて行われる。ループ８の処理は、各フレームの画素単位で行われてもよいし、例えば２×２画素で構成される小領域単位で行われてもよい。つまり、処理単位に対し、１つの三次元点が生成されてもよい。この処理単位は、セルと呼ばれる。セルは、図３１〜図３５におけるフレームＩ３１〜Ｉ３３において、１マスで示される。ここでは、フレームＩ３２を参照フレームとして拡張を例に説明する。
【０１６３】
ステップＳ６１７では、図３２に示されるように、候補パッチ算出部６１７は、処理対象の第２の組み合わせのうちの参照フレームＩ３２に、処理対象の基準パッチｐ３１を投影することで参照フレームＩ３２における投影点Ｐ３２を算出する。そして、候補パッチ算出部６１７は、処理対象の基準パッチｐ３１の基準パッチ平面と、参照フレームＩ３２を構成する複数のセルのうち、特定された投影点Ｐ３２を含む第３セルＣ３２に隣接する第４セルＣ３２ａ内の二次元点Ｐ３２ａを通過し、かつ、参照フレームＩ３２が得られたカメラの光軸ｒとの交点の三次元位置を三次元パッチｑ３１の三次元位置として算出する（Ｓ６１７）。三次元パッチｑ３１は、近傍三次元点の一例である。参照フレームＩ３２が得られたカメラの光軸ｒは、当該カメラのカメラパラメータを用いて算出される。候補パッチ算出部６１７は、基準パッチｐ３１の法線方向を、三次元パッチｑ３１の法線方向として一時的に決定する。投影点Ｐ３２は、第６二次元点の一例である。参照フレームＩ３２が得られたカメラは、第１２撮像装置の一例である。
【０１６４】
ステップＳ６１８では、図３３に示されるように、フレーム選択部６１８は、複数の第２フレームのうち、処理対象の第２の組み合わせのフレームＩ３２、Ｉ３３を除く複数のフレームから、候補パッチ算出部６１７により算出された三次元パッチｑ３１が映り込んでいる１以上の第４可視フレームＩ３１を特定する。そして、フレーム選択部６１８は、特定された１以上の第４可視フレームＩ３１、Ｉ３３のそれぞれについて、当該第４可視フレームＩ３１、Ｉ３３が得られたカメラのカメラパラメータを用いて三次元パッチｑ３１を投影することで当該第４可視フレームＩ３１、Ｉ３３における二次元点である投影点Ｐ３１ａ、Ｐ３３ａを算出する（Ｓ６１８）。なお、図３３では、２枚の第４可視フレームＩ３１、Ｉ３３が示されているが、３以上の第４可視フレームが特定される場合もあり、この場合には、３以上の第４可視フレームのそれぞれについて投影点が算出される。なお、第４可視フレームＩ３１、Ｉ３３は、第４可視画像の一例である。また、第４可視フレームＩ３１、Ｉ３３が得られたカメラは、第１３撮像装置の一例である。また、投影点Ｐ３１ａ、Ｐ３３ａは、第８二次元点の一例である。
【０１６５】
ステップＳ６１９では、図３４および図３５に示されるように、最適化部６１９は、候補パッチ算出部６１７により算出された三次元パッチｑ３１と、フレーム選択部６１８により算出された１以上の投影点Ｐ３１ａとを用いて、投影一貫性を示す評価値が最小となるように、三次元パッチｑ３１の三次元位置および法線方向と１以上の投影点Ｐ３１ａ、Ｐ３３ａの位置とを補正し、補正後の三次元パッチｑ３２を新たな第２三次元点として生成する（Ｓ６１９）。最適化部６１９は、具体的には、参照フレームＩ３２の二次元点Ｐ３２ａの位置を固定したまま、三次元パッチｑ３１の三次元位置および法線方向、第４可視フレームＩ３１、Ｉ３３の投影点Ｐ３１ａ、Ｐ３３ａの位置を最適化する。最適化部６１９は、三次元パッチｑ３１の三次元位置を、光軸ｒ上から外れないように移動させながら最適化する。最適化部６１９は、例えば、参照フレームＩ３２と、１以上の第４可視フレームＩ３１、Ｉ３３のそれぞれとの組み合わせにおいて特徴点周辺の小領域間のＮｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ（ＮＣＣ）をＮ（Ｉ，Ｊ，ｐ）とし、上述した式３を用いて算出する。そして、算出されたＮＣＣの合計値を三次元パッチｑ３２の可視カメラへの投影一貫性を示す評価値とする。なお、可視カメラとは、１以上の第４可視フレームＩ３１、Ｉ３３のそれぞれのフレームが得られたカメラであり、三次元パッチｑ３２が撮像されるカメラである。
【０１６６】
これにより、算出された三次元パッチｑ３２は、三次元位置と、法線方向と、当該三次元パッチｑ３２が撮影される可視フレームである１以上の第４可視フレームＩ３１、Ｉ３３を示す可視フレーム情報とを含む。
【０１６７】
なお、最適化では、三次元パッチｑ３１の三次元位置および法線方向と、１以上の第４可視フレームＩ３１、Ｉ３３上の１以上の投影点Ｐ３１ａ、Ｐ３３ａの位置を微小に変位させながら、Ｎ（Ｉ，Ｊ，ｐ）の合計値が最大化、または、１−｛Ｎ（Ｉ，Ｊ，ｐ）の合計値｝が最小化される各パラメータの値を算出する。これにより、三次元パッチｑ３１の三次元位置および法線方向が最適化された三次元パッチｑ３２が得られ、１以上の第４可視フレームＩ３１、Ｉ３３上の１以上の投影点Ｐ３１ａ、Ｐ３３ａの位置が最適化された投影点Ｐ３１ｂ、Ｐ３３ｂが得られる。
【０１６８】
ステップＳ６２０では、評価部６２０は、最適化後のＮ（Ｉ，Ｊ，ｐ）の合計値が任意の閾値以上、または、１−｛Ｎ（Ｉ，Ｊ，ｐ）の合計値｝が任意の閾値以下であるか否かを判定し、最適化後のＮ（Ｉ，Ｊ，ｐ）の合計値が任意の閾値以上、または、１−｛Ｎ（Ｉ，Ｊ，ｐ）の合計値｝が任意の閾値以下である場合、算出された三次元パッチｑ３２を新たな第２三次元点としてメモリに記憶する。
【０１６９】
このように、第２生成では、ループ７が行われることにより新たな三次元パッチｑ２２が生成され、ループ８が行われることにより新たな三次元パッチｑ３２が生成される。これにより、第２生成では、疎な三次元点群に基づいて密な三次元点群が生成され、密な三次元点群から構成される三次元モデルが生成される。
【０１７０】
第２生成におけるループ４では、視野の類似度が所定の閾値未満の関係にある２台のカメラにより得られた第２の組み合わせの２つのフレームについて、幾何学的な整合性に基づく第２マッチングを用いて三次元点群を生成するため、低精度な三次元点が生成されること、および、処理に多くの時間を要してしまうことを低減することができる。
【０１７１】
（効果など）
本実施の形態に係る三次元再構成方法によれば、視野の類似度が類似している２以上のカメラによって得られた第１の組み合わせのフレームについては、精度の高い第１マッチングを行うことで１以上の第１三次元点を生成しているため、高精度な三次元点を高速で得ることができる。一方で、視野の類似度が類似していない２以上のカメラによって得られた第２の組み合わせのフレームについては、幾何学的な整合性に基づく第２マッチングを行うことで１以上の第２三次元点を生成しているため、低精度な三次元点が生成されること、および、処理に多くの時間を要してしまうことを低減することができる。このように、視野の類似度に応じて、第１マッチングおよび第２マッチングの一方を選択的に実行するため、高精度な三次元モデルを高速に生成することができる。
【０１７２】
（その他）
上記実施の形態では、高精度の第１マッチングはＳ５１３およびＳ６１２のように小数画素精度でのマッチングであり、それより精度の低い第２マッチングはＳ５１８およびＳ６１７のように整数画素精度のマッチングとしているが、これに限らない。第１マッチングおよび第２マッチングは、共に小数画素精度のマッチングでも構わない。このとき、上記実施の形態で例に挙げたように、Ｓ５１３およびＳ６１２では位相限定相関法を使用し、Ｓ５１８およびＳ６１７ではＮｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎを使用する。一般に、視野の類似度の高い画像間でマッチングを行う際は、少数画素精度のマッチング方式の中では位相限定相関法の精度が高い。上記実施の形態では、三次元モデリング部３１１の初期生成部４１０において生成した複数の三次元点を基にして、拡張部４１１において三次元点を追加するが、初期生成部４１０は必ずしも必要ない。外部から取得した三次元点群、あるいは三次元再構成装置２００で過去に生成した三次元点群を記憶部２２０に記憶しておき、拡張部４１１は、この三次元点群を基にして、三次元点の追加を実施してもよい。
【０１７３】
上記実施の形態では、第１生成においてカメラ間の視野の類似度に応じてループ３またはループ４を切り替えて行い、第２生成においてカメラ間の視野の類似度に応じてループ７またはループ８を切り替えて行うとしたがこれに限らない。例えば、第１生成において切替部５１２によりカメラ間の視野の類似度に応じてループ３またはループ４を切り替えて行い、第２生成ではループ７およびループ８のうちの一方のみを行ってもよい。また、例えば、第１生成においてループ３およびループ４のうちの一方のみを行い、第２生成においてカメラ間の視野の類似度に応じてループ７またはループ８を切り替えて行ってもよい。
【０１７４】
以上、本開示の実施の形態に係る三次元再構成システムについて説明したが、本開示は、この実施の形態に限定されるものではない。
【０１７５】
また、上記実施の形態に係る三次元再構成システムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０１７６】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１７７】
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０１７８】
また、本開示は、三次元再構成システムにより実行される各種方法として実現されてもよい。
【０１７９】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【０１８０】
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【０１８１】
以上、一つまたは複数の態様に係る三次元再構成システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０１８２】
本開示は、三次元再構成方法及び三次元再構成装置に適用でき、例えば、三次元空間認識システム、三次元再構成システム、及び次世代監視システム等に適用できる。
【符号の説明】
【０１８３】
１００−１〜１００−ｎ  カメラ
２００  三次元再構成装置
２００−１、２００−２、２００−３、２００−４、２００−５、２００−６、２００−ｎ  多視点フレームセット
２１０  受信部
２２０  記憶部
２３０  取得部
２４０  三次元再構成部
２４１  制御部
２５０  送信部
３１０  カメラ校正部
３１１  三次元モデリング部
４１０  初期生成部
４１１  拡張部
４１２  フィルタリング部
５１０  類似度算出部
５１１  特徴点検出部
５１２、６１１  切替部
５１３  特徴点対応部
５１４、６１３  評価部
５１５、６１４  パッチ算出部
５１６、５２０、６１５、６１８  フレーム選択部
５１７、５２１、６１６、６１９  最適化部
５１８  対応点候補選択部
５１９、６１７  候補パッチ算出部
５２２、６２０  評価部
６１２  対応部
１０００  撮影空間
【図１】
2019230813.tif 000004
【図２】
2019230813.tif 000005
【図３】
2019230813.tif 000006
【図４】
2019230813.tif 000007
【図５】
2019230813.tif 000008
【図６】
2019230813.tif 000009
【図７】
2019230813.tif 000010
【図８】
2019230813.tif 000011
【図９】
2019230813.tif 000012
【図１０】
2019230813.tif 000013
【図１１】
2019230813.tif 000014
【図１２】
2019230813.tif 000015
【図１３】
2019230813.tif 000016
【図１４】
2019230813.tif 000017
【図１５Ａ】
2019230813.tif 000018
【図１５Ｂ】
2019230813.tif 000019
【図１６】
2019230813.tif 000020
【図１７】
2019230813.tif 000021
【図１８】
2019230813.tif 000022
【図１９】
2019230813.tif 000023
【図２０】
2019230813.tif 000024
【図２１】
2019230813.tif 000025
【図２２】
2019230813.tif 000026
【図２３】
2019230813.tif 000027
【図２４】
2019230813.tif 000028
【図２５】
2019230813.tif 000029
【図２６】
2019230813.tif 000030
【図２７】
2019230813.tif 000031
【図２８】
2019230813.tif 000032
【図２９】
2019230813.tif 000033
【図３０】
2019230813.tif 000034
【図３１】
2019230813.tif 000035
【図３２】
2019230813.tif 000036
【図３３】
2019230813.tif 000037
【図３４】
2019230813.tif 000038
【図３５】
2019230813.tif 000039
【国際調査報告】
2019230813.tif 000040
2019230813.tif 000041
2019230813.tif 000042