(57)【要約】  三次元空間上の同一の対象空間を異なる位置および姿勢で配置された複数のカメラ（１０２）により撮像することで得られた複数の二次元画像を用いて三次元モデルを、プロセッサ（１０６）を用いて再構成する再構成方法であって、複数の二次元画像を、複数の二次元画像よりも解像度が低い複数の第１低解像度画像にそれぞれ変換し、複数の第１低解像度画像を用いて、複数の三次元点により構成される第１三次元点群を再構成し、複数の二次元画像に基づいて得られる、複数の第１低解像度画像よりも解像度が高い複数の高解像度画像を用いて、第１三次元点群に新たな三次元点を追加することで三次元点が増加された第２三次元点群を生成し、第２三次元点群を用いて三次元モデルを再構成する。
2019065536.tif 000002
【特許請求の範囲】
【請求項１】
三次元空間上の同一の対象空間を異なる位置および姿勢で配置された複数のカメラにより撮像することで得られた複数の二次元画像を用いて三次元モデルを再構成する再構成方法であって、
前記複数の二次元画像を、前記複数の二次元画像よりも解像度が低い複数の第１低解像度画像にそれぞれ変換し、
前記複数の第１低解像度画像を用いて、複数の三次元点により構成される第１三次元点群を再構成し、
前記複数の二次元画像に基づいて得られる、前記複数の第１低解像度画像よりも解像度が高い複数の高解像度画像を用いて、前記第１三次元点群に新たな三次元点を追加することで三次元点が増加された第２三次元点群を生成し、
前記第２三次元点群を用いて前記三次元モデルを再構成する
再構成方法。
【請求項２】
さらに、所定の条件が満たされたか否かを判定し、
前記所定の条件が満たされないと判定された場合、前記変換および前記第１三次元点群の再構成を、前記所定の条件が満たされるまで繰り返し行い、
繰り返し行われる前記変換では、前記複数の二次元画像を、前回の変換により得られた前記複数の第１低解像度画像とは異なる解像度の複数の第２低解像度画像に変換し、
繰り返し行われる前記第１三次元点群の再構成では、前記複数の第２低解像度画像を用いて、複数の三次元点により構成される第１三次元点群を再構成する
請求項１に記載の再構成方法。
【請求項３】
前記繰り返し行われる前記変換で得られる前記複数の第２低解像度画像は、前記複数の第１低解像度画像よりも解像度が高い
請求項２に記載の再構成方法。
【請求項４】
前記所定の条件は、得られた三次元点群を構成している三次元点の数が所定の数を超えることである
請求項２または３に記載の再構成方法。
【請求項５】
三次元空間上の同一の対象空間を異なる位置および姿勢で配置された複数のカメラにより撮像することで得られた複数の二次元画像を用いて三次元モデルを再構成するプロセッサを備える再構成装置であって、
前記プロセッサは、
前記複数の二次元画像を、前記複数の二次元画像よりも解像度が低い複数の第１低解像度画像にそれぞれ変換し、
前記複数の第１低解像度画像を用いて、複数の三次元点により構成される第１三次元点群を再構成し、
前記複数の二次元画像に基づいて得られる、前記複数の第１低解像度画像よりも解像度が高い複数の高解像度画像を用いて、前記第１三次元点群に新たな三次元点を追加することで三次元点が増加された第２三次元点群を生成し、
前記第２三次元点群を用いて前記三次元モデルを再構成する
再構成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、再構成方法および再構成装置に関する。
【背景技術】
【０００２】
特許文献１には、複数の画像から対象物の三次元モデルを再構成する多視差立体視を用いた三次元再構成方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第８３３１６１５号明細書
【非特許文献】
【０００４】
【非特許文献１】Ｒ．ＨａｒｔｌｅｙおよびＡ．Ｚｉｓｓｅｒｍａｎの  ”Ｍｕｌｔｉｐｌｅ  Ｖｉｓｉｏｎ  Ｇｅｏｍｅｔｒｙ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ”、２００３年、第２版
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献に係る技術には、更なる改善が必要とされていた。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る再構成方法は、三次元空間上の同一の対象空間を異なる位置および姿勢で配置された複数のカメラにより撮像することで得られた複数の二次元画像を用いて三次元モデルを再構成する再構成方法であって、前記複数の二次元画像を、前記複数の二次元画像よりも解像度が低い複数の第１低解像度画像にそれぞれ変換し、前記複数の第１低解像度画像を用いて、複数の三次元点により構成される第１三次元点群を再構成し、前記複数の二次元画像に基づいて得られる、前記複数の第１低解像度画像よりも解像度が高い複数の高解像度画像を用いて、前記第１三次元点群に新たな三次元点を追加することで三次元点が増加された第２三次元点群を生成し、前記第２三次元点群を用いて前記三次元モデルを再構成する。【０００７】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００８】
上記態様によれば、更なる改善を実現することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態１に係る画像生成システムの構成の一例を示すブロック図である。
【図２】図２は、実施の形態に係る再構成モジュールの処理ブロックの一例を示すブロック図である。
【図３】図３は、実施の形態１に係る画像生成システムによる動作の一例を示すシーケンス図である。
【図４】図４は、実施の形態に係る三次元再構成方法の処理の第１の例を示すフローチャートである。
【図５】図５は、実施の形態に係る三次元再構成方法の処理の第２の例を示すフローチャートである。
【図６】図６は、実施の形態に係る三次元再構成方法の処理の第３の例を示すフローチャートである。
【図７】図７は、実施の形態に係る三次元再構成方法の変換処理の一例を示すフローチャートである。
【図８】図８は、実施の形態に係る画像の変換処理の一例を説明するための図である。
【図９】図９は、実施の形態に係るカメラパラメータの変換処理の一例を説明するための図である。
【図１０】図１０は、実施の形態に係る三次元点群を再構成する処理の一例を示すフローチャートである。
【図１１】図１１は、２枚の画像間の特徴点のペアのエピポーラ拘束を示す図である。
【図１２】図１２は、カメラパラメータの推定方法及び三次元モデルの再構成方法を説明するための図である。
【図１３】図１３は、実施の形態に係る三次元点群の三次元点を増加させる処理の一例を示すフローチャートである。
【図１４】図１４は、処理時間と再構成された三次元点の数との比較結果の一例を示す図である。
【図１５Ａ】図１５Ａは、三次元点群再構成手法（３Ｄ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）を実施する際のカメラ配置例を示した図である。
【図１５Ｂ】図１５Ｂは、三次元点群再構成手法（３Ｄ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）を実施する際のカメラ配置例を示した図である。
【図１６】図１６は、本開示における３次元点群再構成手法（３Ｄ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）を実施する際のカメラ配置方法の具体例を示した図である。
【図１７】図１７は、変形例に係る画像生成システムの構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１０】
（本開示の基礎となった知見）
コンピュータビジョンの分野における三次元再構成とは、シーンを複数の視点から撮像して得られた二次元画像から当該シーンの三次元モデルを復元する技術を指す。二次元画像と、カメラの内部パラメータおよび外部パラメータを含むカメラパラメータとが与えられると、２つ以上の二次元画像間の相関に基づいて三次元モデルを得ることができる。複数のビューからの三次元再構成のための一般的な技法は、例えば、非特許文献１に記載されている。また、いくつかの改善技術も開発されている。
【００１１】
また、例えば、特許文献１には、複数の画像から対象物の三次元モデルを再構成する多視差立体視を用いた三次元再構成方法が開示されている。この三次元再構成方法では、物体の複数の画像にまたがる特徴点がマッチングされることで、疎な三次元点群が得られる。疎な三次元点群は、物体の密な三次元点群を得るために拡張される。
【００１２】
従来技術のような三次元再構成方法を用いて再構成された現実のシーンの三次元モデルは、自由視点ビデオレンダリング、仮想現実または拡張現実（ＶＲ／ＡＲ）などの様々なアプリケーションで使用することができる。これらのアプリケーションの品質は、再構成された三次元モデルの精度と密度に大きく依存する。このため、高品質なアプリケーションを提供するためには、高精度かつ高密度の三次元再構成処理が必要となる。
【００１３】
しかしながら、従来の三次元再構成方法は、依然として精度が低く、三次元モデルの密度が十分ではないという問題がある。より高密度の三次元モデルを得るために、特許文献１のような従来の方法では、三次元再構成のためにより高い解像度の画像が使用されている。このような手法では、豊かなテクスチャ領域に対してより高い密度の三次元点群の三次元モデルが得られるが、ノイズを多く含む三次元点群を再構成する傾向があり、かつ、処理時間が長いという課題がある。処理時間を短縮するためには、低解像度画像に対して三次元再構成を実行することが知られている。しかし、これにより再構成された三次元モデルの密度は低くなるという課題は残る。
【００１４】
つまり、従来の手法では、高密度の三次元モデルを再構成する処理に多くの時間を要するという課題があった。
【００１５】
そこで、本開示の一態様に係る三次元再構成方法は、三次元空間上の同一の対象空間を異なる位置および姿勢で配置された複数のカメラにより撮像することで得られた複数の二次元画像を用いて三次元モデルを再構成する再構成方法であって、前記複数の二次元画像を、前記複数の二次元画像よりも解像度が低い複数の第１低解像度画像にそれぞれ変換し、前記複数の第１低解像度画像を用いて、複数の三次元点により構成される第１三次元点群を再構成し、前記複数の二次元画像に基づいて得られる、前記複数の第１低解像度画像よりも解像度が高い複数の高解像度画像を用いて、前記第１三次元点群に新たな三次元点を追加することで三次元点が増加された第２三次元点群を生成し、前記第２三次元点群を用いて前記三次元モデルを再構成する。
【００１６】
これによれば、複数の画像がまず低解像度化され、これにより得られた複数の低解像度画像が三次元点群の再構成処理に用いられる。このため、再構成処理に係る処理負荷を低減することができ、生成される三次元点のノイズを低減することができる。また、精度を向上させるために、低解像度画像から生成される疎な三次元点群を構成する三次元点を、低解像度画像よりも解像度が高い高解像度画像を用いて増加させる処理を行う。このため、高解像度な画像を用いることで、画像間で対応関係にあるテクスチャを精度よく特定できるため、マッチングの精度を向上させることができ、それによって三次元点群の精度を向上させることができる。
【００１７】
また、さらに、所定の条件が満たされたか否かを判定し、前記所定の条件が満たされないと判定された場合、前記変換および前記第１三次元点群の再構成を、前記所定の条件が満たされるまで繰り返し行い、繰り返し行われる前記変換では、前記複数の二次元画像を、前回の変換により得られた前記複数の第１低解像度画像とは異なる解像度の複数の第２低解像度画像に変換し、繰り返し行われる前記第１三次元点群の再構成では、前記複数の第２低解像度画像を用いて、複数の三次元点により構成される第１三次元点群を再構成してもよい。
【００１８】
このため、出力する三次元点群の数または密度を、目的に応じて変更することができる。
【００１９】
また、前記繰り返し行われる前記変換で得られる前記複数の第２低解像度画像は、前記複数の第１低解像度画像よりも解像度が高いとしてもよい。
【００２０】
また、前記所定の条件は、得られた三次元点群を構成している三次元点の数が所定の数を超えることであってもよい。
【００２１】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００２２】
以下、本開示の一態様に係る三次元再構成方法および三次元再構成装置について、図面を参照しながら具体的に説明する。
【００２３】
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００２４】
（実施の形態）
実施の形態１に係る画像生成システムについて説明する。
【００２５】
図１は、実施の形態１に係る画像生成システムの構成の一例を示すブロック図である。
【００２６】
図１に示すように、画像生成システム１００は、複数のカメラ１０２と、複数のカメラ１０２にそれぞれ対応して接続される複数の撮像装置１０４と、画像生成装置１０１と、ディスプレイ１０８と、入力装置１１０とを備える。画像生成システム１００は、さらに、同期装置１１６を備えていてもよい。
【００２７】
複数のカメラ１０２は、互いに異なる位置に配置され、互いに異なる姿勢で固定されており、三次元空間上の同一の対象空間を撮像する。これにより、複数のカメラ１０２は、異なる複数の視点から異なる視線方向で撮像された複数の画像を得ることができる。複数のカメラ１０２は、それぞれ、異なる複数のタイミングにおいて撮像することにより、複数の画像を得てもよい。複数のカメラ１０２は、例えば、予め定められたフレームレートで複数の画像としての複数のフレームを含む動画像を撮像するカメラであってもよい。複数のカメラ１０２による撮像のタイミングは、同期装置１１６により互いに同期されていてもよい。なお、図１の画像生成システム１００では、２つのカメラ１０２が示されているが、画像生成システム１００は、２以上のカメラ１０２を備えていてもよい。
【００２８】
複数の撮像装置１０４は、複数のカメラ１０２のそれぞれに対応して設けられ、複数のカメラ１０２において撮像されることにより得られた画像を記憶し、記憶した画像をプロセッサ１０６に出力する。なお、複数の撮像装置１０４は、複数のカメラ１０２に内蔵されていてもよい。つまり、複数のカメラ１０２のそれぞれは、撮像装置１０４の機能を有していてもよい。
【００２９】
画像生成装置１０１は、プロセッサ１０６と、外部メモリ１１２と、モデルデータベース１１４とを備える。プロセッサ１０６は、校正モジュール２と、再構成モジュール４と、レンダリングモジュール８と、メモリ１０とを有する。
【００３０】
校正モジュール２は、複数のカメラ１０２の校正を実行することで、複数のカメラ１０２それぞれのカメラパラメータを取得する。カメラパラメータは、三次元空間におけるカメラの位置及び姿勢を示す外部パラメータと、カメラの焦点距離、収差、画像中心等の光学系の特性を示す内部パラメータとを含む。校正方法は、例えば、ＳＦＭ（Structure From Motion）技術を用いて行われてもよいし、または既知の校正パターンに基づいて行われてもよい。校正処理は、一度に実行されてもよいし、セットアップまたは移動の変化に対処するために、徐々に実行されてもよい。
【００３１】
再構成モジュール４は、複数のカメラ１０２により撮像されることにより得られた複数の二次元画像、および、複数のカメラ１０２のそれぞれのカメラパラメータを用いて、高密度で正確な三次元モデルを再構築する。三次元モデルは、上記に限らずに、ＴｏＦ（Time of Flight）カメラ、ＬＩＤＡＲ（Light Detection and Ranging）、レーザスキャナ、ソナーなどのセンサによるセンシングデータを用いて取得されたものであってもよい。
【００３２】
レンダリングモジュール８は、再構成モジュール４において再構成された三次元モデルと、複数のカメラ１０２から得られた複数の画像とを用いて、三次元シーンの仮想画像をレンダリングまたは生成する。レンダリングモジュール８は、レンダリングまたは生成した仮想画像をディスプレイ１０８に出力する。仮想画像は、複数のカメラ１０２の撮像対象となる三次元空間上の同一の対象空間を複数のカメラ１０２の視点とは異なる仮想的な視点から見たときの二次元画像である。
【００３３】
プロセッサ１０６が有する校正モジュール２、再構成モジュール４およびレンダリングモジュール８の機能は、汎用のプロセッサがプログラムを実行することで実現されることに限らずに、専用回路により実現されてもよい。つまり、これらの機能は、ソフトウェアで実現されてもよいし、ハードウェアで実現されてもよい。
【００３４】
メモリ１０は、校正モジュール２、再構成モジュール４およびレンダリングモジュール８による各処理において生成された中間データを一時的に記憶してもよい。
【００３５】
プロセッサ１０６に接続されたディスプレイ１０８は、レンダリングモジュール８により出力された仮想画像を表示する。つまり、ディスプレイ１０８は、プロセッサ１０６から出力された画像を表示する装置であり、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイなどにより実現される。プロセッサ１０６から出力される画像には、入力を受け付けるためのＧＵＩ（Graphical User Interface）が含まれていてもよい。
【００３６】
入力装置１１０は、ディスプレイ１０８に接続され、ユーザが所望する仮想的な視点である仮想視点を指定する入力をユーザから受け付け、受け付けた入力を示す入力信号をディスプレイ１０８に出力する。入力装置１１０は、例えば、リモートコントローラ、ゲームパッド、マウス、キーボードなどにより実現される。
【００３７】
なお、ディスプレイ１０８は、入力信号を受信すると、プロセッサ１０６から受信している複数の仮想的な視点から見たときの複数の仮想画像のうち、入力信号に応じた仮想画像に切り替えて表示してもよい。
【００３８】
また、ディスプレイ１０８は、プロセッサ１０６から複数の視点から見たときの複数の仮想画像を受信していない場合、入力信号をプロセッサ１０６に送信してもよい。この場合、プロセッサ１０６は、受信した入力信号に応じた視点から見たときの仮想画像を生成し、生成した仮想画像をディスプレイ１０８に出力する。そして、ディスプレイ１０８は、プロセッサ１０６から出力された仮想画像を表示する。また、この場合、入力装置１１０は、ディスプレイ１０８に接続されていなくてもよく、プロセッサ１０６に直接接続されており、プロセッサ１０６に入力信号を送信する構成であってもよい。
【００３９】
なお、図１で説明した、接続とは、通信接続であり、有線で電気的に接続されてなくてもよく、無線接続であってもよい。つまり、接続は、有線による通信接続であってもよいし、無線による通信接続であってもよい。
【００４０】
外部メモリ１１２は、例えば、プログラムなどのようなプロセッサ１０６が必要とする情報を格納してもよい。外部メモリ１１２は、プロセッサ１０６の処理で生じたデータを格納してもよい。
【００４１】
モデルデータベース１１４は、再構成モジュール４またはレンダリングモジュール８で使用されるシーンの事前生成モデルを格納している。
【００４２】
図２は、実施の形態に係る再構成モジュールの処理ブロックの一例を示すブロック図である。
【００４３】
再構成モジュール４は、変換モジュール２０２と、三次元点再構成モジュール２０４と、三次元点増加モジュール２０６とを有する。三次元点再構成モジュール２０４は、複数のカメラ１０２にそれぞれ撮像された複数の画像と、複数のカメラ１０２のそれぞれに対応する複数のカメラパラメータを取得する。取得された複数の画像、および、複数のカメラパラメータは、変換モジュール２０２および三次元点増加モジュール２０６に入力される。なお、ここで再構成モジュール４が取得する複数の画像、つまり、複数のカメラ１０２により撮像された複数の画像は、それぞれ二次元画像である。
【００４４】
変換モジュール２０２は、複数の画像を、当該複数の画像よりも解像度が低い複数の第１低解像度画像にそれぞれ変換する。変換モジュール２０２は、例えば、複数の画像をダウンサンプリングすることで、複数の第１低解像度画像を取得してもよい。また、変換モジュール２０２は、複数のカメラパラメータを、複数の画像の複数の第１低解像度画像への変換に合わせて複数の第１変換後カメラパラメータにそれぞれ変換する。変換モジュール２０２は、例えば、複数のカメラパラメータをダウンサンプリングすることで、複数の第１変換後カメラパラメータを取得してもよい。
【００４５】
ここで、ダウンサンプリングとは、画像を低解像度の画像に変換する処理、および、カメラパラメータを画像の低解像度化する処理に合わせて変換する処理の一例である。
【００４６】
なお、変換モジュール２０２は、異なる変換率で複数の画像および複数のカメラパラメータを変換してもよい。つまり、変換モジュール２０２は、第１変換率で複数の画像および複数のカメラパラメータを変換すると共に、第１変換率とは異なる第２変換率で複数の画像および複数のカメラパラメータを変換してもよい。この場合、変換モジュール２０２は、第１変換率で変換した複数の第１低解像度画像および複数の第１変換後カメラパラメータと、第２変換率で変換した複数の第２低解像度画像および複数の第２変換後カメラパラメータとを出力する。なお、以下では、第２変換率は、第１変換率よりも小さい変換率であるものとする。また、変換モジュール２０２は、第１変換率よりも大きい第３変換率で複数の画像および複数のカメラパラメータを変換することで、複数の第１低解像度画像よりも解像度が高い複数の高解像度画像および複数の第３変換後カメラパラメータを取得してもよい。
【００４７】
変換モジュール２０２は、得られた複数の第１低解像度画像および複数の変換後カメラパラメータを三次元点再構成モジュール２０４および三次元点増加モジュール２０６に出力する。変換モジュール２０２は、入力された複数の画像および複数のカメラパラメータを変換せずにそのままの複数の画像および複数のカメラパラメータを三次元点増加モジュール２０６に出力してもよい。
【００４８】
三次元点再構成モジュール２０４は、変換モジュール２０２において変換された複数の第１低解像度画像および複数の変換後カメラパラメータを用いて、複数の三次元点により構成される第１三次元点群を再構成する。三次元点再構成モジュール２０４は、得られた三次元点群を三次元点増加モジュール２０６に出力する。
【００４９】
三次元点増加モジュール２０６は、複数の二次元画像に基づいて得られる、複数の第１解像度画像よりも解像度が高い高解像度画像を用いて、第１三次元点群に新たな三次元点を追加する。これにより、三次元点増加モジュール２０６は、三次元点が増加された密な複数の三次元点により構成される第２三次元点群を生成する。三次元点増加モジュール２０６は、得られた第２三次元点群を用いて三次元モデルを再構成する。
【００５０】
なお、再構成モジュール４が備える各モジュールの機能は、汎用のプロセッサがプログラムを実行することで実現されることに限らずに、専用回路により実現されてもよい。つまり、これらの機能は、ソフトウェアで実現されてもよいし、ハードウェアで実現されてもよい。
【００５１】
図３は、実施の形態１に係る画像生成システムによる動作の一例を示すシーケンス図である。
【００５２】
一の撮像装置１０４は、一のカメラ１０２により撮像された画像を画像生成装置１０１に送信する（Ｓ１）。同様に、他の撮像装置１０４は、他のカメラ１０２により撮像された画像を画像生成装置１０１に送信する（Ｓ２）。
【００５３】
次に、画像生成装置１０１では、プロセッサ１０６が複数のカメラ１０２により撮像された複数の画像を取得する（Ｓ３）。この時、プロセッサ１０６は、同一のタイミングで複数のカメラ１０２により撮像された複数の画像を取得してもよい。
【００５４】
そして、プロセッサ１０６の再構成モジュール４は、校正モジュール２により既に行われた校正処理により得られた複数のカメラ１０２のカメラパラメータと、取得した複数の画像とを用いて、三次元モデルを生成する（Ｓ４）。
【００５５】
プロセッサ１０６のレンダリングモジュール８は、生成された三次元モデルと、複数の画像とを用いて、仮想視点から対象空間を見たときの仮想画像を生成する（Ｓ５）。
【００５６】
レンダリングモジュール８は、生成した仮想画像をディスプレイ１０８に出力する（Ｓ６）。
【００５７】
入力装置１１０は、ユーザが所望する仮想視点を示す入力信号をディスプレイ１０８に出力する（Ｓ７）。
【００５８】
ディスプレイ１０８は、画像生成装置１０１により出力された仮想画像のうちで、入力信号に応じた仮想画像を表示する（Ｓ８）。
【００５９】
図４は、実施の形態に係る三次元再構成方法の処理の第１の例を示すフローチャートである。
【００６０】
まず、再構成モジュール４は、複数の撮像装置１０４から複数のカメラ１０２において撮像された複数の画像と、複数のカメラ１０２にそれぞれ対応する複数のカメラパラメータとを取得する（Ｓ１１）。
【００６１】
次に、再構成モジュール４の変換モジュール２０２は、取得した複数の画像および複数のカメラパラメータをそれぞれ変換して、次のステップＳ１３で使用される複数の第１低解像度画像、および、複数の第１変換後カメラパラメータを取得する（Ｓ１２）。なお、ステップＳ１２における変換率は、事前に決定されてもよいし、画像の解像度、画像のその他の画像情報などに応じて自動的に決定されてもよい。
【００６２】
次に、再構成モジュール４の三次元点再構成モジュール２０４は、複数の第１低解像度画像および複数の第１変換後カメラパラメータから三次元点群を再構成する（Ｓ１３）。三次元点群の再構成処理の詳細は、図１０〜図１２を用いて後述する。
【００６３】
次に、変換モジュール２０２は、複数の画像および複数のカメラパラメータを変換して、次のステップＳ１５で使用される複数の高解像度画像、および、複数の第２変換後カメラパラメータを取得する（Ｓ１４）。ステップＳ１４では、変換モジュール２０２は、ステップＳ１２で生成された複数の第１低解像度画像および第１変換後カメラパラメータよりも解像度が高いまたは同程度の、複数の高解像度画像および第３変換後カメラパラメータを生成する。また、ステップＳ１４の変換は行われなくてもよく、次のステップＳ１５では、変換されていない複数の画像および複数のカメラパラメータが使用されてもよい。つまり、複数の高解像度画像は、変換されていない複数の画像であってもよく、この場合、変換されていない複数のカメラパラメータが使用されてもよい。なお、ステップＳ１４における変換率は、事前に決定されてもよいし、画像の解像度、画像のその他の画像情報、三次元点の数などに応じて自動的に決定されてもよい。ステップＳ１２およびＳ１４の変換処理の詳細は、図７〜図９を用いて後述する。
【００６４】
なお、変換モジュール２０２は、ステップＳ１２において、ステップＳ１３およびステップＳ１５で利用する複数の第１低解像度画像、複数の第１変換後カメラパラメータ、複数の高解像度画像および複数の第３変換後カメラパラメータをそれぞれ生成してもよい。この場合、ステップＳ１４は省略される。
【００６５】
次に、再構成モジュール４の三次元点増加モジュール２０６は、ステップＳ１４で生成された複数の高解像度画像、および、対応する複数の第３変換後カメラパラメータを用いて、再構成された三次元点群の三次元点を増加させる（Ｓ１５）。三次元点増加処理の詳細は、図１３を用いて後述する。
【００６６】
最後に、再構成モジュール４は、ステップＳ１５で三次元点が増加されることで得られた高密度の三次元点を出力する（Ｓ１６）。
【００６７】
従来技術のように、高解像度画像を直接使用して三次元再構成を行うことで、高密度の三次元モデルを再構成することができるが、この場合、三次元再構成に係る処理時間が長くなり、ノイズの多い三次元点を生成するおそれがある。したがって、本開示に係る三次元再構成では、用いられる複数の画像がまず低解像度化され、これにより得られた複数の低解像度画像が用いられる。このため、三次元再構成に係る処理負荷を低減することができ、生成される三次元点のノイズを低減することができる。
【００６８】
また一方で、三次元再構成に低解像度画像を用いると、最初にできる疎な三次元点群は、ノイズの少ない点で効率的に再構成することができるが、十分な密度が得られない。したがって、精度を向上させるために、低解像度画像から生成される疎な三次元点群を構成する三次元点を、低解像度画像よりも解像度が高い高解像度画像を用いて増加させる処理を行う。例えば、入力される元の解像度の複数の画像は、最初の三次元再構成のために１／４に低解像度化されてもよい。そして、元の解像度の画像を用いて、再構成した三次元点群の三次元点を増加させることで、再構成した三次元点群をより高密度にする。このようにして、複数の低解像度画像を用いて三次元点群を再構成するため、三次元点群のノイズを低減することができ、再構成処理に要する処理時間を低減することができる。また、より高解像度な画像を用いることで、画像間で対応関係にあるテクスチャを精度よく特定できるため、マッチングの精度を向上させることができ、それによって三次元点群の精度を向上させることができる。
【００６９】
図５は、実施の形態に係る三次元再構成方法の処理の第２の例を示すフローチャートである。
【００７０】
三次元再構成方法の処理の第２の例では、第１の例と比較して、第１の例の処理のステップＳ１５の後にさらにステップＳ２１の判定を行う点が異なる。その他の処理は、第１の例と同様であるので同じ符号を付して説明を省略する。
【００７１】
ステップＳ１５の次に、再構成モジュール４は、所定の終了条件を満たすか否かを判定する（Ｓ２１）。再構成モジュール４は、所定の終了条件を満たすと判定すれば（Ｓ２１でＹｅｓ）、次のステップＳ１６に進み、所定の終了条件を満たしていないと判定すれば（Ｓ２１でＮｏ）、ステップＳ１４に戻る。これにより、再構成モジュール４は、ステップＳ１４およびＳ１５を所定の終了条件が満たされるまで繰り返す。
【００７２】
ここでステップＳ２１における所定の終了条件とは、（ｉ）再構成された三次元点群を構成する三次元点の数が所定数を超えること、（ｉｉ）三次元点群の密度が所定の密度を超える（つまり、単位体積当たりの三次元点の数が所定数を超える）こと、（ｉｉｉ）ステップＳ１４および１５を実行した数が所定数を超えること、などである。所定の終了条件として例示した（ｉ）〜（ｉｉｉ）の条件のそれぞれにおける所定数は、複数の画像の解像度、画像情報などに応じて自動的に決定されてもよいし、事前に決定されていてもよい。
【００７３】
なお、ステップＳ２１において、所定の終了条件を満たさない場合、次に行われるステップＳ１４では、変換モジュール２０２は、前回行ったステップＳ１４よりも高い変換率（低いサンプリングレート）で変換を行う。このため、変換モジュール２０２は、前回行ったステップＳ１４で得られた複数の第１低解像度画像よりも高い解像度の複数の第２低解像度画像を生成する。このように、変換モジュール２０２は、ステップＳ１４を繰り返す毎に、低解像度化の前後の画像の解像度の変化幅が小さい（変換率が大きい、サンプリングレートが低い）変換を複数の画像に行うことで、複数の低解像度画像を生成する。同様に、変換モジュール２０２は、複数の画像を低解像度化するときに用いた変換率と同様の変換率を用いて複数のカメラパラメータを変換することで、複数の変換後カメラパラメータを生成する。
【００７４】
そして、ステップＳ１５では、前回行ったステップＳ１５よりも高い解像度の複数の第２低解像度画像、および、複数の第２変換後カメラパラメータを用いて、三次元点を増加させる処理を行う。これにより、出力する三次元点群の数または密度を、目的に応じて変更することができる。
【００７５】
図６は、実施の形態に係る三次元再構成方法の処理の第３の例を示すフローチャートである。
【００７６】
三次元再構成方法の処理の第３の例では、第１の例と比較して、第１の例の処理のステップＳ１３の後にさらにステップＳ３１の判定を行う点が異なる。その他の処理は、第１の例と同様であるので同じ符号を付して説明を省略する。
【００７７】
ステップＳ１３の次に、再構成モジュール４は、所定の終了条件を満たすか否かを判定する（Ｓ３１）。再構成モジュール４は、所定の終了条件を満たすと判定すれば（Ｓ３１でＹｅｓ）、次のステップＳ１４に進み、所定の終了条件を終了していないと判定すれば（Ｓ３１でＮｏ）、ステップＳ１２に戻る。これにより、再構成モジュール４は、ステップＳ１２およびＳ１３を所定の終了条件が満たされるまで繰り返す。
【００７８】
ここでステップＳ３１における所定の終了条件とは、（ｉ）再構成された三次元点群を構成する三次元点の数が所定数を超えること、（ｉｉ）三次元点群の密度が所定の密度を超える（つまり、単位体積当たりの三次元点の数が所定数を超える）こと、（ｉｉｉ）ステップＳ１２およびＳ１３を実行した数が所定数を超えること、などである。所定の終了条件として例示した（ｉ）〜（ｉｉｉ）の条件のそれぞれにおける所定数は、複数の画像の解像度、画像情報などに応じて自動的に決定されてもよいし、事前に決定されていてもよい。
【００７９】
なお、ステップＳ３１において、所定の終了条件を満たさない場合、次に行われるステップＳ１２では、変換モジュール２０２は、前回行ったステップＳ１２よりも高い変換率（低いサンプリングレート）で変換を行う。このため、変換モジュール２０２は、前回行ったステップＳ１２で得られた複数の第１低解像度画像よりも高い解像度の複数の第２低解像度画像を生成する。このように、変換モジュール２０２は、ステップＳ１２を繰り返す毎に、低解像度化の変化幅が小さい（変換率が大きい、サンプリングレートが低い）変換を複数の画像に行うことで、複数の低解像度画像を生成する。同様に、変換モジュール２０２は、複数の画像を低解像度化するときに用いた変換率と同様の変換率を用いて複数のカメラパラメータを変換することで、複数の変換後カメラパラメータを生成する。
【００８０】
そして、ステップＳ１３では、前回行ったステップＳ１３よりも高い解像度の複数の第２低解像度画像、および、複数の第２変換後カメラパラメータを用いて処理を行うことで三次元点群を再構成する。
【００８１】
ステップＳ１３で再構成された三次元点群に基づいて、ステップＳ１５で三次元点群の三次元点を増加させるため、最終的に密な三次元点群を出力するにためにはステップＳ１３で一定数以上の三次元点で構成される三次元点群を再構成する必要がある。第３の例における三次元再構成方法によると、ステップＳ１３で再構成される三次元点群を構成する三次元点の数を一定以上にすることができるため、密な三次元点群を安定して生成することができる。
【００８２】
図７は、実施の形態に係る三次元再構成方法の変換処理の一例を示すフローチャートである。
【００８３】
再構成モジュール４の変換モジュール２０２は、取得した複数の画像を１／Ｎ解像度に変換する（Ｓ４１）。ここで、１／Ｎは、変換率であり、Ｎは、１以上の実数である。
【００８４】
次に、変換モジュール２０２は、複数の画像をそれぞれ撮像した複数のカメラ１０２にそれぞれ対応する複数のカメラパラメータを１／Ｎ解像度に変換する（Ｓ４２）。
【００８５】
最後に、変換モジュール２０２は、変換することで得られた複数の第１低解像度画像、および、変換することで得られた複数の第１変換後カメラパラメータを出力する（Ｓ４３）。具体的には、複数の第１低解像度画像、および、複数の第１変換後カメラパラメータは、三次元点再構成モジュール２０４または三次元点増加モジュール２０６に出力される。
【００８６】
なお、上記は、ステップＳ１２における変換処理が行われた場合について説明したが、ステップＳ１４における変換処理も同様に行われる。ステップＳ１４における変換処理は、変換率がステップＳ１２における変換処理で用いられる変換率よりも大きい値が用いられる。
【００８７】
図８は、実施の形態に係る画像の変換処理の一例を説明するための図である。
【００８８】
変換モジュール２０２は、ａ×ｂ画素の解像度を有する画像３０１を変換する場合、各辺を１／Ｎの係数で変換することで、より小さいａ／Ｎ×ｂ／Ｎの画像３０２を得ることができる。変換処理には、いくつかの既知の方法を使用することができ、これは本開示によって限定されるものではない。変換処理の他の例では、いくつかの固定値の画素が画像の境界にパディングされてもよい。
【００８９】
図９は、実施の形態に係るカメラパラメータの変換処理の一例を説明するための図である。
【００９０】
Ｐをカメラの投影行列とすると、Ｐは、下記の式１で表される。
【００９１】
Ｐ＝Ｋ［Ｒ｜Ｔ］      （式１）
【００９２】
ここで、Ｋは、カメラの内部パラメータを示す。［Ｒ｜Ｔ］は、カメラの回転および平行移動を表す外部パラメータを示す。内部パラメータＫは、図９の行列４０１で示される。カメラパラメータのダウンサンプリングは、内部パラメータに対して実行され、外部パラメータに対して実行されない。つまり、外部パラメータは、カメラパラメータのダウンサンプリング後であっても変更されずに維持される。内部パラメータＫは１／Ｎの係数でダウンサンプリングされ、行列４０２で示される内部パラメータＫ’が得られる。なお、多くの場合、内部パラメータのβおよびγは、ゼロ（０）値をとり得る。
【００９３】
図１０は、実施の形態に係る三次元点群を再構成する処理の一例を示すフローチャートである。
【００９４】
再構成モジュール４の三次元点再構成モジュール２０４は、変換されることで得られた複数の低解像度画像のそれぞれから特徴点（キーポイント）を抽出する（Ｓ５１）。なお、ここで処理対象となる複数の低解像度画像は、ステップＳ１２において出力された複数の低解像度画像であり、例えば、複数の第１低解像度画像である。なお、図６の例では、複数の低解像度画像は、例えば、複数の第１低解像度画像、複数の第２低解像度画像を含み、繰り返される変換処理で出力された複数の低解像度画像を含む。
【００９５】
次に、三次元点再構成モジュール２０４は、複数の低解像度画像のうちの２枚の低解像度画像のそれぞれで抽出された特徴点を用いて、２枚の低解像度画像間で対応する特徴点をマッチングする（Ｓ５２）。これにより、対応する特徴点のペアが複数得られる。このとき、一の画像における特徴点に対応する特徴点を他の画像から探索する際、エピポーラ拘束などを利用して、他の画像における探索範囲を限定してもよい。ステップＳ５２の処理は、複数の低解像度画像のうちの２枚を抽出することでできる全ての組み合わせに対して行われてもよい。
【００９６】
最後に、三次元点再構成モジュール２０４は、特徴点のペアを用いて、三角測量することによって三次元点を再構成する（Ｓ５３）。
【００９７】
図１１は、２枚の画像間の特徴点のペアのエピポーラ拘束を示す図である。
【００９８】
画像５０１における、三次元空間上の三次元点Ｍを撮像した二次元点ｍを特徴点としたときに、当該二次元点ｍに対応する特徴点を画像５０２からエピポーラ拘束を用いて求める例について説明する。まず、各カメラの外部パラメータを用いて、画像５０１を撮像したカメラの光学中心Ｃと、画像５０２を撮像したカメラの光学中心Ｃ’とが求められる。そして、カメラの光学中心Ｃと、二次元点ｍの画像５０１における座標とを用いて、光学中心Ｃおよび二次元点ｍを通る、三次元空間上の直線５０３を算出する。次に、直線５０３と、画像５０２を撮像したカメラの外部パラメータとを用いて、画像５０２上において直線５０３に対応する線であるエピポーラ線５０４を算出する。そして、画像５０２におけるエピポーラ線５０４上の特徴点を三角測量することによって三次元点候補を得ることができる。つまり、エピポーラ線５０４上にある全ての特徴点を、直線５０３上の二次元点ｍに対応する二次元点ｍ’を特定するための候補点とすることができる。
【００９９】
図１２は、カメラパラメータの推定方法及び三次元モデルの再構成方法を説明するための図である。カメラの内部パラメータは既知であり、３枚のフレーム（画像５１１、画像５１２、及び画像５１３）を用いて、カメラの外部パラメータを推定し、被写体の三次元モデルを再構成する例を説明する。
【０１００】
各カメラのカメラパラメータを取得するには、０を原点とする世界座標系におけるカメラの回転行列Ｒ１、Ｒ２、Ｒ３及び並進ベクトルＴ１、Ｔ２、Ｔ３を算出する必要がある。まず、画像５１１と画像５１２を撮像したカメラの回転行列及び並進ベクトルを算出する方法を述べる。画像５１１上の点ｍ１＝（ｕ１、ｖ１、１）と画像５１２上の点ｍ２が対応している時、両者には（式２）を満たすエピポーラ方程式が成り立つ。
【０１０１】
【数１】
2019065536.tif 000003
【０１０２】
ここで、ＦをＦｕｎｄａｍｅｎｔａｌ  ｍａｔｒｉｘ（Ｆ行列）と呼ぶ。再構成モジュール４は、各カメラの内部パラメータＫを用いて、（式３）に示す変換式によりそれぞれの点を各カメラ座標系の点ｍ１＝（ｘ１、ｙ１、ｚ１）及びｍ２＝（ｘ２、ｙ２、ｚ２）として取得できる。エピポーラ方程式は（式４）のように書き換えられる。
【０１０３】
【数２】
2019065536.tif 000004
【０１０４】
【数３】
2019065536.tif 000005
【０１０５】
ここで、ＥをＥｓｓｅｎｔｉａｌ  ｍａｔｒｉｘ（Ｅ行列）と呼ぶ。再構成モジュール４は、複数の対応点を用いてＥ行列の各要素を算出できる。また、再構成モジュール４は、画像間の点ｍ１及びｍ２のような対応点を複数用いてＦ行列の各要素を算出した後、（式５）の変換式によりＥ行列を取得してもよい。
【０１０６】
Ｅ＝Ｋ−１ＦＫ    （式５）
【０１０７】
再構成モジュール４は、このＥ行列を分解することにより、世界座標系において画像５１１から画像５１２への回転行列及び並進ベクトルを取得できる。世界座標系における第１カメラの位置及び世界座標系の各軸に対する第１カメラの傾きが既知の場合は、再構成モジュール４は、第１カメラと第２カメラとの相対関係を用いて、世界座標系における第１カメラ及び第２カメラの位置及び姿勢を取得できる。再構成モジュール４は、世界座標系における第１カメラの位置及び姿勢を、映像以外のカメラの情報（例えば、カメラが備えるジャイロセンサ又は加速度センサ等のセンサで得られた情報）を用いて算出してもよいし、予め計測しておいてもよい。また、第１カメラのカメラ座標系を世界座標系として、他のカメラの位置及び姿勢を算出してもよい。
【０１０８】
なお、カメラのレンズ歪みを考慮する場合、再構成モジュール４は、歪みモデルを用いて、画像上の点の位置を補正し、補正された位置を用いてＦ行列又はＥ行列を取得する。再構成モジュール４は、一例として（式６）に示すレンズの半径方向の歪みモデルなどを使用する。
【０１０９】
ｕｕｎｄｉｓｔｏｒｔｅｄ＝ｕ（１＋ｋ１ｒ２＋ｋ２ｒ４＋ｋ３ｒ６）
ｖｕｎｄｉｓｔｏｒｔｅｄ＝ｖ（１＋ｋ１ｒ２＋ｋ２ｒ４＋ｋ３ｒ６）
ｒ２＝ｕ２＋ｖ２    （式６）
【０１１０】
また、再構成モジュール４は、画像５１１と画像５１２の回転行列及び並進ベクトルを用いて形成される三角形により、対応点の世界座標系上の対応点の三次元点Ｍの座標を取得できる。
【０１１１】
また、上記の幾何学的関係は３視点に拡張できる。画像５１１と画像５１２に対し画像５１３を追加する場合、再構成モジュール４は、画像５１２と画像５１３、及び画像５１１と画像５１３についてもそれぞれＥ行列を算出し、各カメラ間の相対的な回転行列及び並進ベクトルを取得する。再構成モジュール４は、これらを統合することにより、画像５１３のカメラの世界座標系における回転行列及び並進ベクトルを算出できる。
【０１１２】
また、画像５１３と画像５１１、画像５１３と画像５１２のそれぞれで対応点から画像５１３の回転行列及び並進ベクトルを算出してもよい。詳細には、画像５１１と画像５１３、及び画像５１２と画像５１３で対応点を求める。ここで、画像５１１上の点ｍ１、及び画像５１２上の点ｍ２に対応する画像５１３上の点ｍ３が得られたとすると、この対応点の三次元点Ｍの座標は取得できているため、画像５１３上の点と三次元空間内の座標の対応関係を取得できる。この時、（式７）が成り立つ。
【０１１３】
【数４】
2019065536.tif 000006
【０１１４】
ここでＰをＰｅｒｓｐｅｃｔｉｖｅ  ｍａｔｒｉｘ（Ｐ行列）と呼ぶ。Ｐ行列、Ｅ行列、及び内部行列には（式８）の関係が成り立つため、再構成モジュール４は、画像５１３のＥ行列を取得でき、これにより回転行列及び並進ベクトルを求めることができる。
【０１１５】
Ｐ＝ＫＥ    （式８）
【０１１６】
なお、内部パラメータが未知の場合でも、再構成モジュール４は、Ｆ行列又はＰ行列を算出した後、内部行列は上三角行列であり、Ｅ行列は正定値対称行列であるという制約の下にＦ行列及びＰ行列を分割することで、内部行列及びＥ行列を求めることが可能である。
【０１１７】
図１３は、実施の形態に係る三次元点群の三次元点を増加させる処理の一例を示すフローチャートである。
【０１１８】
三次元点増加モジュール２０６は、三次元点群を構成する全ての三次元点から１つの三次元点を処理対象の三次元点として選択する（Ｓ６１）。
【０１１９】
次に、三次元点増加モジュール２０６は、選択した三次元点に基づいて空の画素を検出する（Ｓ６２）。空の画素とは、対応する三次元点が無い画素のことを示す。例えば、三次元点増加モジュール２０６は、複数の三次元点のそれぞれについて、当該三次元点に対応する画素が複数の画像のそれぞれに含まれるか否かを事前に判定していてもよい。三次元点増加モジュール２０６は、判定結果を全ての三次元点に対応付けてもよい。例えば、全ての三次元点は、それぞれ、どの画像上のどの画素と対応しているかを示す対応情報を保持してもよい。三次元点が対応情報を予め保持している場合、三次元点増加モジュール２０６は、選択された三次元点がどの画像上のどの画素と対応しているかを効率良く検出することができる。また、三次元点増加モジュール２０６は、対応する画素の周囲の空の画素についても効率良く検出することができる。
【０１２０】
次に、三次元点増加モジュール２０６は、空の画素が有るか否かを判定する（Ｓ６３）。
【０１２１】
三次元点増加モジュール２０６は、空の画素が有ると判定した場合（Ｓ６３でＹｅｓ）、処理対象の三次元点および検出された空の画素に基づいて新しい三次元点を生成する（Ｓ６４）。また、ステップＳ６４では、三次元点増加モジュール２０６は、新しい三次元点を生成した後、画像の輝度情報、画像の色情報、処理対象の三次元点の周囲の三次元点の情報などから、新しい三次元点の三次元位置、三次元方向などを修正してもよい。また、三次元点増加モジュール２０６は、画像の輝度情報、画像の色情報、処理対象の三次元点の周囲の三次元点情報などに応じて、新しい三次元点を削除してもよい。
【０１２２】
三次元点増加モジュール２０６は、空の画素が無いと判定した場合（Ｓ６３でＮｏ）、ステップＳ６１に戻り、次の処理対象とする三次元点を、三次元点群を構成する全ての三次元点から選択する。
【０１２３】
三次元点増加モジュール２０６は、所定の終了条件を満たすか否かを判定する（Ｓ６５）。三次元点増加モジュール２０６は、所定の終了条件を満たすと判定すれば（Ｓ６５でＹｅｓ）、処理を終了し、所定の終了条件を満たさないと判定すれば（Ｓ６５でＮｏ）、ステップＳ６１に戻る。
【０１２４】
ここでステップＳ６５における所定の終了条件とは、（ｉ）ステップＳ６１〜Ｓ６４を実行した数が所定数を超えること、（ｉｉ）所定数以上の三次元点を処理対象として選択したこと、（ｉｉｉ）三次元点群を構成する三次元点の数が所定数を超えること、（ｉｖ）三次元点群の密度が所定の密度を超える（つまり、単位体積当たりの三次元点の数が所定数を超える）こと、（ｖ）三次元点の増加処理を開始してから所定時間以上経過したことなどである。所定の終了条件として例示した（ｉ）〜（ｉｖ）の条件のそれぞれにおける所定数、または、（ｖ）の条件における所定時間は、複数の画像の解像度、画像情報などに応じて自動的に決定されてもよいし、事前に決定されていてもよい。
【０１２５】
図１４は、処理時間と再構成された三次元点の数との比較結果の一例を示す。
【０１２６】
図１４に示されるように、本開示の方法を実施した場合の実施例は、低解像度画像を用いて三次元点群を再構成した比較例１よりも三次元点群の点の数をより多くすることができ、かつ、１点当たりの処理時間を短縮できていることが分かる。また、実施例は、高解像度画像を用いて三次元点群を再構成した比較例２よりも、三次元点群の点の数をより多くすることができ、かつ、総処理時間および１点当たりの処理時間を短縮できていることが分かる。以上のことから、実施例の手法では、比較例１および２よりも処理時間を短縮でき、より高密度の三次元点群を生成することができる。
【０１２７】
図１５Ａおよび図１５Ｂは、三次元点群再構成手法（３Ｄ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）を実施する際のカメラ配置例を示した図である。
【０１２８】
三次元再構成を行うために複数のカメラを空間に配置する場合、図１５Ａの模式図のように１台毎に隣に配置されるカメラとの間の距離が一定距離以上となるように離した状態で、複数のカメラを空間に散在させてもよい。
【０１２９】
また、図１５Ｂの模式図のように２台を含む１台以上のカメラをグループとして、そのカメラグループ毎に隣に配置されるカメラグループとの間の距離が一定距離以上となるように離した状態で、複数のカメラを空間に散在させてもよい。この場合、１台のカメラをカメラグループとして扱ってもよい。つまり、１台のカメラのカメラグループと、２台以上のカメラのカメラグループとが混在していてもよい。なお、同一のカメラグループに属する２台以上のカメラは、例えば、一定距離未満で位置が隣接することを満たすカメラとしてもよいし、光軸方向の差が所定の角度範囲未満であることを満たすカメラとしてもよい。なお、カメラ単体の種類としてステレオカメラを利用してもよく、ステレオカメラを利用する場合、単一位置から距離情報を取得してもよい。なお、各カメラの設置位置の高さは同一である必要はなく、それぞれ異なっていても構わない。
【０１３０】
単体カメラを配置した場合、１台以上の他のカメラの情報を参照し三次元再構成を行う。カメラグループを含むカメラ配置の場合は、カメラグループ単位で三次元点群の生成および距離情報の取得を行い、それらの結果をカメラグループ間で統合することで三次元再構成を行うような段階的処理を行ってもよい。また、単体カメラの配置と同様にカメラグループ間において情報を参照し、三次元再構成を行ってもよい。
【０１３１】
図１６は本開示における３次元点群再構成手法（３Ｄ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）を実施する際のカメラ配置方法の具体例を示した図である。
【０１３２】
カメラ配置方法の具体例として交差点にカメラを配置した場合について説明する。
【０１３３】
交差点６００において、三次元再構成を実施するために複数のカメラの配置方法の一例としては、以下が挙げられる。
【０１３４】
車道を上方から撮像するために、４機の信号機６０５のそれぞれに、単体カメラまたはカメラグループまたはその両方を配置する。
【０１３５】
歩道を上方から撮像するために、歩道信号６１０、建造物６１５、設置用ポール６２０などに単体カメラまたはカメラグループまたはその両方を配置する。
【０１３６】
なお、歩道橋、照明などの建造物がある場合、当該建造物にカメラなどを配置してもよい。
【０１３７】
また、交差点中央の上空にカメラを配置してもよい。
【０１３８】
また、車載カメラ、ドローンに搭載されているカメラなどの、移動カメラを利用してもよい。
【０１３９】
また、上記の交差点と同様のカメラ配置を、踏切に適用してもよい。
【０１４０】
上記実施の形態では、画像生成システム１００は、複数のカメラ１０２により撮像された複数の画像は、複数の撮像装置１０４を経由して画像生成装置１０１に出力される構成としたが、これに限らない。例えば、図１７に示す画像生成システム１００Ａのように、複数のカメラ１０２により撮像された複数の画像は、ネットワーク１３０を介して画像生成装置１０１Ａに出力される構成としてもよい。この場合、複数の画像は、ネットワーク１３０を介して、一端サーバ１３８のストレージ１３２に蓄積される構成であってもよい。そして、画像生成装置１０１Ａは、サーバ１３８からストレージ１３２に蓄積された複数の画像を、プロセッサ１０６ＡのネットワークＩＦ１２を介して取得する構成であってもよい。
【０１４１】
このような、ビュー依存合成は、医療産業、映画産業、ビデオゲーム産業、建築産業、科学コミュニティ、およびエンジニアリングコミュニティを含む広範囲のアプリケーションにおいて有用である。
【０１４２】
上述のビュー依存合成には、視覚的な違和感を最小限とする、現実的なレンダリングと高画質が必要である。また、可視性、オクルージョン、および色/輝度の違いを処理する方法が必要である。
【０１４３】
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【０１４４】
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムで実現され得る。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１４５】
（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ＲＯＭからＲＡＭにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作することにより、システムＬＳＩは、その機能を達成する。
【０１４６】
（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールには、上記の超多機能ＬＳＩが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有してもよい。
【０１４７】
（４）本発明は、上記に示す方法で実現されてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムで実現してもよいし、コンピュータプログラムからなるデジタル信号で実現してもよい。
【０１４８】
また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、半導体メモリなどに記録したもので実現してもよい。また、これらの記録媒体に記録されているデジタル信号で実現してもよい。
【０１４９】
また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。
【０１５０】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作してもよい。
【０１５１】
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０１５２】
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【０１５３】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の三次元再構成方法、三次元再構成装置などを実現するソフトウェアは、次のようなプログラムである。
【０１５４】
すなわち、このプログラムは、コンピュータに、三次元空間上の同一の対象空間を異なる位置および姿勢で配置された複数のカメラにより撮像することで得られた複数の二次元画像を用いて三次元モデルを再構成する再構成方法であって、前記複数の二次元画像を、前記複数の二次元画像よりも解像度が低い複数の第１低解像度画像にそれぞれ変換し、前記複数の第１低解像度画像を用いて、複数の三次元点により構成される第１三次元点群を再構成し、前記複数の二次元画像に基づいて得られる、前記複数の第１低解像度画像よりも解像度が高い複数の高解像度画像を用いて、前記第１三次元点群に新たな三次元点を追加することで三次元点が増加された第２三次元点群を生成し、前記第２三次元点群を用いて前記三次元モデルを再構成する再構成方法を実行させる。
【０１５５】
以上、本開示の一つまたは複数の態様に係る三次元再構成方法および三次元再構成装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。
【産業上の利用可能性】
【０１５６】
本開示は、三次元再構成方法または三次元再構成装置において有利に利用される。
【符号の説明】
【０１５７】
２    校正モジュール
４    再構成モジュール
８    レンダリングモジュール
１０    メモリ
１２    ネットワークＩＦ
１００、１００Ａ    画像生成システム
１０１、１０１Ａ    画像生成装置
１０２    カメラ
１０４    撮像装置
１０６、１０６Ａ    プロセッサ
１０８    ディスプレイ
１１０    入力装置
１１２    外部メモリ
１１４    モデルデータベース
１１６    同期装置
１３０    ネットワーク
１３２    ストレージ
１３８    サーバ
２０２    変換モジュール
２０４    三次元点再構成モジュール
２０６    三次元点増加モジュール
３０１、３０２、５０１、５０２、５１１〜５１３    画像
４０１、４０２    行列
５０３    直線
５０４    エピポーラ線
【図１】
2019065536.tif 000007
【図２】
2019065536.tif 000008
【図３】
2019065536.tif 000009
【図４】
2019065536.tif 000010
【図５】
2019065536.tif 000011
【図６】
2019065536.tif 000012
【図７】
2019065536.tif 000013
【図８】
2019065536.tif 000014
【図９】
2019065536.tif 000015
【図１０】
2019065536.tif 000016
【図１１】
2019065536.tif 000017
【図１２】
2019065536.tif 000018
【図１３】
2019065536.tif 000019
【図１４】
2019065536.tif 000020
【図１５Ａ】
2019065536.tif 000021
【図１５Ｂ】
2019065536.tif 000022
【図１６】
2019065536.tif 000023
【図１７】
2019065536.tif 000024
【国際調査報告】
2019065536.tif 000025
2019065536.tif 000026
2019065536.tif 000027
2019065536.tif 000028