(57)【要約】  本発明に関わる無特徴抽出の高密度ＳＦＭ三次元再構成法は、あるシーンに関2017503290.tif 000109ールド座標系を確立するステップと、三次元シーンの深度とカメラ射影行列とを変数として、オプティカルフロー推定に類似する目標関数を構造し、粗から密へのピラミッド法で目標関数を最適化するように反復アルゴリズムを設計し、シーンの三次元情報を示す深度とカメラの相対姿勢を示すカメラ射影行列とを出力するステップ、シーンの三次元情報を示す深度に基づいて、高密度投影、類似またはユークリッド再構成を実現するステップを備える。さらに、本発明がワンステップで高密度ＳＦＭ三次元再構成を実現できる。ワンステップで最適化することにより高密度三次元情報の推定を実現できるとともに、目標関数値をターゲットにすることで、最適の解決策が得られ、少なくとも部分最適の解決策が得られる。従来技術に対して大きく改善され、実験で初期的な検証が行われた。
2017503290.tif 000002
【特許請求の範囲】
【請求項１】
あるシーンに関するｎ枚（ｎ≧２）の画像を入力するステップＳ１と、
あるカメラ座標系と一致するワールド座標系を確立し、ワールド座標系と第１カメラの座標系が一致するように設定し、すなわち、ワールド座標系の原点、ｘ軸、及びｙ軸と、第１カメラのカメラ中心、第１カメラの結像面のｘ軸及びｙ軸とが重なり、そのＺ軸が第１カメラの結像面に垂直するように設定するステップＳ２と、
１枚目の画像の画素点に対応する三次元空間の点が備える深度ｑである三次
2017503290.tif 000077
カメラ射影行列とを、変数とするステップＳ３と、
オプティカルフロー推定に類似する、連続領域における変分目標関数又はその離散形態の目標関数である目標関数を構造するステップＳ４と、
粗から密へのピラミッド法で、連続領域又は離散領域において目標関数を最適化するように反復アルゴリズムを設計し、シーンの三次元情報を示す深度と、カメラの相対姿勢を示すカメラ射影行列とを出力するステップＳ５と、
シーンの三次元情報を示す深度に基づいて、高密度投影、類似またはユークリッド再構成を実現するステップＳ６とを備える、
ことを特徴とする無特徴抽出の高密度ＳＦＭ三次元再構成法。
【請求項２】
投影三次元再構成を実現する中において、
パラメータ化について、具体的には、
ワールド座標系を確立すると共に、その第１カメラのカメラ射影行列を［Ｉ３  ０］∈Ｒ３，４に設定し、ここで、Ｉ３が３×３の単位行列であり、０が３×１の零ベクトルであり、
2017503290.tif 000078
として設定され、
シーンの三次元構造が、１枚目の画像に定義された三次元シーンの深度により決められ、
１枚目画像の画素（ｘ，ｙ）に対応する三次元空間の点における三次元シーンの深度がｑｘ，ｙである場合には、前記三次元点の三次元座標が下式になり、
2017503290.tif 000079
投影三次元再構成において、カメラ射影行列Ｐｉと三次元シーンの深度ｑｘ，ｙが、推定されるべき未決定のパラメータとして設定され、
誤解が発生しないという前提で、数学公式を簡潔にするため、下添え字ｘ、ｙを省略する、
ことを特徴とする請求項１に記載の無特徴抽出の高密度ＳＦＭ三次元再構成法。
【請求項３】
連続領域において投影三次元再構成を実現する具体的な実現プロセスには、
構成された連続領域における目標関数が、下式になり、
2017503290.tif 000080
ここで、
2017503290.tif 000081
上記目標関数を説明すると、
2017503290.tif 000082
り、
（ｂ）目標関数が、データ項ｆｄａｔａ、オフセット平滑化項ｆｓｍｏｏｔｈ＿ｕｖ、および深度平滑化項ｆｓｍｏｏｔｈ＿ｄｅｐｔｈという三つの部分に分けられ、ここで、α、β、τ１およびτ２が非負の重みであり、
2017503290.tif 000083
色Ｉの成分値を示し、
（ｄ）深度が激変的に変化することにより発生する影響を克服するために、ロバスト関数ρが導入され、ロバスト関数ρがシャルボニエ（Ｃｈａｒｂｏｎｎｉｅｒ）関数
2017503290.tif 000084
定数であり、一方、ロバスト関数が導入されない場合には、ρ（ｘ）＝ｘ、
（ｅ）ｕｉとｖｉは、画像領域に定義され、カメラ射影行列Ｐｉと深度ｑをパラメータ
2017503290.tif 000085
ここで、Ｐｉ，ｊがｉ番目のカメラ射影行列Ｐｉのｊ番目の行ベクトルであり、誤解が発
2017503290.tif 000086
連続領域に設定された反復最適化アルゴリズムに関して、具体的には、三次元シーンの深度が１枚目の画像に定義された連続函数であるため、極点においてオイラー・ラグランジュ方程式を満たす必要があるとともに、極点においてカメラ射影行列のパラメータに対する偏導関数が０になり、画像の離散格子点において、オイラー・ラグランジュ方程式と、カメラ射影行列のパラメータに対する偏導関数が０であるという二つの方程式に基づいて、増分法で表現することにより、カメラ射影行列と三次元シーンの深度増分を求めるための反復プロセスが、次の線形方程式を解くことになり、
2017503290.tif 000087
2017503290.tif 000088
順番的に構成され、そして、各反復が、下式
2017503290.tif 000089
を解くことになることで、対応する増分δＰｉとδｑを確定し、
求められた増分に基づいて、収束するまで、Ｐｉ←δＰｉ＋Ｐｉ、ｑ←δｑ＋ｑのようにパラメータＰｉとｑを更新し、
つまり、アルゴリズム１の具体的なプロセスでは、
入力：ｎ枚画像、初期化された三次元シーンの深度ｑとカメラ射影行列Ｐｉ
2017503290.tif 000090
示、
１．反復
１）オイラー・ラグランジュ方程式と、目標関数のカメラ射影行列のパラメータに対する偏導関数が０であることにより、式（７）のＨとｂを確定し、
２）式（７）に基づいて増分δθを計算し、さらに対応する増分δＰｉとδｑを確定し、
2017503290.tif 000091
収束するまで繰り返し、
２．収束した三次元シーンの深度ｑにより、式（１）に基づいてシーンの三次元表示を計算する、
ことを特徴とする請求項２に記載の無特徴抽出の高密度ＳＦＭ三次元再構成法。
【請求項４】
目標関数（２）におけるデータ項、オフセット平滑化項が、その他の類似の変形形態を採用でき、すなわち、
2017503290.tif 000092
ロバスト関数の導入が、その他の変形形態で行われてもよく、
式（３）におけるデータ項について、その他の変形形態が、
2017503290.tif 000093
になる、
ことを特徴とする請求項３に記載の無特徴抽出の高密度ＳＦＭ三次元再構成法。
【請求項５】
構成された離散形態の目標関数が、下式になり、
2017503290.tif 000094
ここで、
2017503290.tif 000095
離散目標関数（１１）とその変形形態に対する反復最適化アルゴリズムに関しては、具体的に、離散形態の目標関数（１１）が本質的に非線形最小二乗問題であり、従来のレーベンバーグ・マーカート法（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ）またはガウス−ニュートン法を採用でき、各反復プロセスが線型方程式系（１５）を解くことになり、
2017503290.tif 000096
ここで、Ｈがヘッセ行列又はガウス・ニュートン・ヘッセ行列であり、ｂが梯度向量であり、μが非負数であり、レーベンバーグ・マーカート法またはガウス−ニュートン法により、対応する増分δＰｉとδｑを確定し、
求められた増分に基づいて、収束するまでパラメータＰｉとｑを、Ｐｉ←δＰｉ＋Ｐｉ、ｑ←δｑ＋ｑのように更新し、
アルゴリズム２の具体的な実現プロセスにおいて、
2017503290.tif 000097
ｑの初期化、
2017503290.tif 000098
示、
１．反復
１）式（１５）におけるガウス・ニュートン・ヘッセ行列Ｈと勾配ベクトルｂを計算し、
２）式（１５）に基づいて増分δθを計算し、さらにそれぞれに対応する増分δＰｉとδｑを確定し、
2017503290.tif 000099
収束するまで繰り返し、
２．収束した三次元シーンの深度ｑにより、式（１）に基づいてシーンの三次元表示を計算する、
ことを特徴とする請求項２に記載の無特徴抽出の高密度ＳＦＭ三次元再構成法。
【請求項６】
粗から密へのピラミッド法における具体的なステップについて、
画像のｎ層のピラミッド表示を算出し、
2017503290.tif 000100
なるように初期化し、すべての点における三次元シーンの深度を１になるように初期化し、
粗から密へ順番的にカメラ射影行列と三次元シーンの深度とを推定するとともに、カメラ射影行列と三次元シーンの深度に対してそれぞれ校正し補間することで、次の細かい画像層に対する反復プロセスの初期値として設定され、
精度が異なる層の間に三次元シーンの深度の補間が、バイリニア補間値又は双三次補間法で実現され、
精度が異なる層の間にカメラ射影行列の修正に関しては、隣接する二つの精度を持つ画像はｘ及びｙ方向における画素比率がそれぞれｓ１、ｓ２（ｓ１，ｓ２＜１）であるように設定し、精度が低い画像層において、推定されたあるカメラのカメラ射影行列が、Ｐ（ｋ＋１）であり、ここで、上付き（ｋ＋１）がピラミッド構造のｋ＋１層目を示し、対応するｋ層目の画像のカメラ射影行列が、下式になり、
2017503290.tif 000101
粗から密へのピラミッド法の具体的な反復アルゴリズム、すなわち、アルゴリズム３の具体的なプロセスにおいて、
入力：ｎ枚画像、
2017503290.tif 000102
示、
１．画像におけるｍ層のピラミッド表示を計算し、
２．反復：画像層ｋがｍ層目から順番的に１層目まで、
（１）ｋ≠ｍである場合には、
一つ上の層で推定された三次元シーンの深度ｑ（ｋ＋１）を基準にして、補間方法で本層における三次元シーンの深度ｑ（ｋ）を、三次元シーンの初期化として計算し、
2017503290.tif 000103
用して、式（１６）により本層におけるカメラ射影行列Ｐｉ（ｋ）を、カメラ射影行列の初期化として計算し、
それ以外の場合は、ｍ層目の画像において、
2017503290.tif 000104
設置し、すべての点における三次元シーンの深度情報をｑ（ｍ）＝１に設置し、
終わり、
２）ピラミッド法１又はピラミッド法２でこの層のカメラ射影行列Ｐｉ（ｋ）
2017503290.tif 000105
反復の終わり、
2017503290.tif 000106
４．三次元シーンの深度ｑに基づいて、式（１）によりシーンの三次元シーン表示を計算する、
ことを特徴とする請求項１に記載の無特徴抽出の高密度ＳＦＭ三次元再構成法。
【請求項７】
類似三次元再構成またはユークリッド三次元再構成を実現する具体的なプロセスでは、
パラメータ化について、具体的には、
カメラ射影行列がカメラ内部パラメータとカメラ外部パラメータで表示され、
Ｐ＝Ｋ［Ｒ  ｔ］
2017503290.tif 000107
に含まれ、カメラ外部パラメータが３×３回転行列Ｒと３×１シフトベクトルｔにより確定され、回転行列Ｒが三つの角度パラメータであるｘ軸、ｙ軸、ｚ軸周りの回転角γｘ、γｙ、γｚにより確定され、
2017503290.tif 000108
カメラ内部パラメータとカメラ外部パラメータが未知である場合には、内部パラメータαｘ、αｙ、ｓ、ｐｘ、ｐｙ、フトベクトルｔ、回転角γｘ、γｙ、γｚ、および三次元シーンの深度ｑが推定すべきの未定のパラメータであり、類似の三次元再構成を実現し、
カメラ内部パラメータが既知で、カメラ外部パラメータが未知である場合には、フトベクトルｔ、回転角γｘ、γｙ、γｚ、および三次元シーンの深度ｑが推定すべきの未定のパラメータであり、類似の三次元再構成を実現し、
カメラ内部パラメータが既知で、カメラ外部パラメータも既知である場合には、ユークリッド三次元再構成を実現する中に、この場合には、三次元シーンの深度ｑが推定すべきの未定パラメータである、
ことを特徴とする請求項２又は６に記載の無特徴抽出の高密度ＳＦＭ三次元再構成法。
【請求項８】
前記無特徴抽出の高密度ＳＦＭ三次元再構成法が大きなベースラインに応用でき、具体的には、
射影幾何学において、大きなベースラインというのが、カメラの間に相対運動が大きいため、画像の間に顕著な区別が発生し、大きなベースラインの場合には、ＳＦＭ三次元再構成が、
画像からハリス（Ｈａｒｒｉｓ）特徴、ＳＩＦＴ特徴又はＫＬＴ特徴という特徴を抽出し、マッチングする第１ステップと、
抽出された特徴に基づいて、特徴点の三次元情報とカメラ射影行列を推定する第２ステップと、
上記二つのステップに基づいて、ピラミッド法３で高密度ＳＦＭ三次元再構成を実現する第３ステップと、を含み、
ここで、第２ステップで推定されたカメラ射影行列を、第３ステップにおけるカメラ射影行列の初期値として設定し、第２ステップで推定された三次元シーンの深度に対して補間することで、第３ステップにおける次元シーンの深度の初期値として設定する、
ことを特徴とする請求項６記載の無特徴抽出の高密度ＳＦＭ三次元再構成法。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、画像の三次元再構成に関し、より詳しくは、無特徴抽出の高密度ＳＦＭ三次元再構成法に関する。
【背景技術】
【０００２】  コンピュータビジョンに基く三次元再構成は、デジタルカメラやビデオカメラで画像を取得し、ピラミッド法を構成することで、撮影されたシーン又は目標の三次元情報を推定することで、三次元の客観的世界を表現するという目的を実現でき、これがロボットナビゲーション、自動車自動または補助駆動、バーチャルリアリティ、デジタルメディアの作成、コンピュータアニメーション、画像ベース・レンダリング（ｉｍａｇｅ−ｂａｓｅｄ  ｒｅｎｄｅｒｉｎｇ）、文化遺産の保護などに用いられる。【０００３】  運動からの構造復元（Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ，ＳＦＭ）は、一般的な三次元再構成法であり、二つ、複数の画像又はビデオからシーンや目標の三次元情報を推定する。従来技術では、ＳＦＭ三次元再構成を実現する技術が、特徴点に基づいたもので、スパースで、二段階に分けて実現するという特徴がある。従来のＳＦＭ三次元再構成は、ま画像からスケール不変性（ｓｃａｌｅ  ｉｎｖａｒｉａｎｃｅ）やアフィン不変性（ａｆｆｉｎｅ−ｉｎｖａｒｉａｎｔ）などを備える特徴点を検出し整合するステップと、検出された特徴量の三次元情報とカメラの姿勢（位置や角度など）を推定するステップ、という二つのステップを含む。上記特徴点がハリス（Ｈａｒｒｉｓ）による特徴点、Ｋａｎａｄｅ−Ｌｕｋａｓ−Ｔｏｍａｓｉ法による（ＫＬＴ）特徴、ロウ（Ｌｏｗｅ）によるスケール不変性（ｓｃａｌｅ  ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ，ＳＩＦＴ）を備える。【０００４】  従来技術では、ＳＦＭ三次元再構成アルゴリズムが二段階に分けて実現するため、本当に最適な効果を達成できない。画像から検出された特徴点の二次元座標が誤差あるので、これに基づいて最適化アルゴリズムを採用し三次元情報を再構成しても、全体的に最適化結果が得られない。通常は、特徴点のマッチング精度が低いので、結果的には、精度が低い三次元再構成になる。【０００５】  三次元再構成の効果が疎（ｓｐａｒｓｅ）であり、抽出された特徴点のみに対して三次元情報を推定するので、高密度（ｄｅｎｓｅ）ＳＦＭ三次元再構成ができなく、つまり、すべての画素点の三次元情報が推定できない。３０万画素を持つ６４０ｘ４８０の画像に対して、一定の正確なマッチング率を保証するという前提で、通常には２００−３００個又はこれ以下の特徴点しか検出できない。上記特徴点が３０万画素に対して非常に疎であり、大部分の画素が直接的に三次元情報の推定のために利用されていない。さらに特徴点に基づいて、推定されたエピポーラ拘束（ｅｐｉｐｏｌａｒ  ｃｏｎｓｔｒａｉｎｔ）などの技術手段により、他の点の三次元情報を推定し、高密度又は準密（ｑｕａｓｉ  ｄｅｎｓｅ）の再構成ができるが、推定された特徴点の三次元情報とカメラの姿勢とがある程度の誤差あり、後続の他の点の三次元推定効果に影響を与える。
【発明の概要】
【発明が解決しようとする課題】
【０００６】  従来技術の問題点を克服するために、本発明は、無特徴抽出の高密度ＳＦＭ三次元再構成法を提出する。本発明のＳＦＭ三次元再構成法を採用することで、特徴点の検出やマッチングが必要なく、ワンステップで最適化することにより高密度三次元再構成が実現できる。
【課題を解決するための手段】
【０００７】  上記目的を達成するため、本発明に係る無特徴抽出の高密度ＳＦＭ三次元再構成法は、
あるシーンに関するｎ枚（ｎ≧２）の画像を入力するステップＳ１と、
あるカメラ座標系と一致するワールド座標系を確立し、ワールド座標系と第１カメラの座標系が一致するように設定し、すなわち、ワールド座標系の原点、ｘ軸、及びｙ軸と、第１カメラのカメラ中心、第１カメラの結像面のｘ軸及びｙ軸とが重なり、そのＺ軸が第１カメラの結像面に垂直するように設定するステップＳ２と、
１枚目の画像の画素点に対応する三次元空間の点が備える深度ｑである三次
2017503290.tif 000003
カメラ射影行列とを、変数とするステップＳ３と、
オプティカルフロー推定に類似する、連続領域における変分目標関数又はその離散形態の目標関数である目標関数を構造するステップＳ４と、
粗から密へのピラミッド法で、連続領域又は離散領域において目標関数を最適化するように反復（ｉｔｅｒａｎｃｅ・イテレーション）アルゴリズムを設計し、シーンの三次元情報を示す深度と、カメラの相対姿勢を示すカメラ射影行列とを出力するステップＳ５と、
シーンの三次元情報を示す深度に基づいて、高密度投影、類似またはユークリッド再構成を実現するステップＳ６とを備えることを、特徴とする。【０００８】  上記方法により、ワンステップでＳＦＭ三次元再構成ができ、ワンステップで最適化することにより三次元情報の推定を実現し、目標関数値をターゲットにすることで、最適の解決策が得られ、少なくとも部分最適の解決策が得られるため、従来技術に対して大きく改善され、実験で初期的な検証が行われた。【０００９】  上記カメラが、ある画像に対応するカメラであり、本発明には、シーンに関わる１枚目の画像に対応するカメラが第１カメラであり、第１カメラの座標系とワールド座標系が一致しており、各画像がそれぞれ一つの３×４のカメラ射影行列に対応する。【００１０】  本発明において、より簡単に計算するために、上記方法でワールド座標系が構成されるが、実際には、任意にワールド座標系を確立することができる。任意に座標系を確立する場合には、推定すべきパラメータがｎ個のカメラ射影行列を含み、各三次元点を描くためには三つの座標パラメータが必要である。本発明には、この技術案の具体的な内容が記載されていないが、任意に座標系が確立されたという技術案の基本技術思想と、上記ワールド座標系が確立されたという技術案の基本技術思想とが同じである。【００１１】  投影三次元再構成を実現するために、まずはパラメータ化設定が行われ、すなわち、投影三次元再構成の実現中に、以下のようにパラメータ化する。具体的には、
ワールド座標系を確立すると共に、この第１カメラのカメラ射影行列が、［Ｉ３  ０］∈Ｒ３，４に設定し、ここで、Ｉ３が３×３の単位行列であり、０が３×１の零ベクトルであり、
2017503290.tif 000004
として設定され、
シーンの三次元構造が、１枚目の画像に定義された三次元シーンの深度により決められ、
１枚目画像の画素（ｘ，ｙ）に対応する三次元空間の点における三次元シーンの深度がｑｘ，ｙである場合には、前記三次元点の三次元座標が下式になり、
2017503290.tif 000005
投影三次元再構成において、カメラ射影行列Ｐｉと三次元シーンの深度ｑｘ，ｙが、推定されるべき未決定のパラメータとして設定され、
誤解が発生しないという前提で、数学公式を簡潔にするため、下付き文字ｘ、ｙを省略する。【００１２】  連続領域において投影三次元再構成を実現する具体的な実現プロセスには、
構成された連続領域における目標関数が、
2017503290.tif 000006
であり、ここで、
2017503290.tif 000007
上記目標関数を説明すると、
2017503290.tif 000008
あり、
（ｂ）目標関数が、データ項ｆｄａｔａ、オフセット平滑化項ｆｓｍｏｏｔｈ＿ｕｖ、および深度平滑化項ｆｓｍｏｏｔｈ＿ｄｅｐｔｈという三つの部分に分けられ、ここで、α、β、τ１およびτ２が非負の重みであり、
2017503290.tif 000009
Ｉの成分値を示し、
（ｄ）深度が激変的に変化することにより発生する影響を克服するために、ロバスト関数ρが導入され、ロバスト関数ρがシャルボニエ（Ｃｈａｒｂｏｎｎｉｅｒ）関数
2017503290.tif 000010
定数であり、一方、ロバスト関数が導入されない場合には、ρ（ｘ）＝ｘ、
（ｅ）ｕｉとｖｉは、画像領域に定義され、カメラ射影行列Ｐｉと深度ｑをパラメータ
2017503290.tif 000011
ここで、Ｐｉ，ｊがｉ番目のカメラ射影行列Ｐｉのｊ番目の行ベクトルであり、誤解が発
2017503290.tif 000012
連続領域に設定された反復最適化アルゴリズムに関して、具体的には、三次元シーンの深度が１枚目の画像に定義された連続函数であるため、極点においてオイラー・ラグランジュ方程式を満たす必要があるとともに、極点においてカメラ射影行列のパラメータに対する偏導関数が０になり、画像の離散格子点においてオイラー・ラグランジュ方程式と、カメラ射影行列のパラメータに対する偏導関数が０であるという二つの方程式に基づいて、増分法で表現することにより、カメラ射影行列と三次元シーンの深度増分を求めるための反復プロセスが、次の線形方程式を解くことになり、
2017503290.tif 000013
2017503290.tif 000014
順番的に構成され、そして、各反復が、下式
2017503290.tif 000015
を解くことになることで、対応する増分δＰｉとδｑを確定し、
求められた増分に基づいて、収束するまで、Ｐｉ←δＰｉ＋Ｐｉ、ｑ←δｑ＋ｑのようにパラメータＰｉとｑを更新し、
つまり、アルゴリズム１の具体的なプロセスでは、
入力：ｎ枚画像、初期化された三次元シーンの深度ｑとカメラ射影行列Ｐｉ
2017503290.tif 000016
示、
１．反復（ｉｔｅｒａｎｃｅ・イテレーション）
１）オイラー・ラグランジュ方程式と、目標関数のカメラ射影行列のパラメータに対する偏導関数が０であることにより、式（７）のＨとｂを確定し、
２）式（７）に基づいて増分δθを計算し、さらに対応する増分δＰｉとδｑを確定し、
2017503290.tif 000017
収束するまで繰り返し、
２．収束した三次元シーンの深度ｑにより、式（１）に基づいてシーンの三次元表示を計算する。【００１３】  上記カラー画像が、一般的にＲＧＢ又はＨＳＶで表示されており、例えば、ＲＧＢ式であれば、画像が三成分、すなわち赤（Ｒ）、緑（Ｇ）、青（Ｂ）成分を有する。色成分が、異なるフォーマットの組み合わせあってもよく、例えば、Ｒ、Ｇ、Ｂ及びＨと四つの成分を使用する。上記ロバスト（ＲＯＢＵＳＴ）関数が多くの選択肢を持つが、上記記載された関数に限定されるものではない。【００１４】  上記式（１）において目標関数ｆ（Ｐ，ｑ）が構成される根拠は、ある程度でオプティカルフロー推定に類似し、すなわち、グレースケール不変仮定と画素オフセッ
2017503290.tif 000018
ｙ）｜２））である平滑化項に対応する。式（１）の第三部分τ１ρ（｜∇ｑ｜２／ｑ２＋τ２｜Δｑ｜２／ｑ２）対が深度の平滑仮定に対応する。【００１５】  さらに、前記目標関数におけるデータ項、オフセット平滑化項が、その他の類似の変形形態を採用でき、つまり、
2017503290.tif 000019
【００１６】  ロバスト関数の導入が、その他の変形形態で行われてもよく、式（３）におけるデータ項について、その他の変形形態が、
2017503290.tif 000020
である。【００１７】  上記連続領域の状況に類似し、構成された離散形態の目標関数が、下式になり、
2017503290.tif 000021
ここで、
2017503290.tif 000022
2017503290.tif 000023
離散目標関数（１１）とその変形形態の反復最適化アルゴリズムに関して、具体的には、離散形態の目標関数（１１）が本質的に非線形最小二乗問題であり、従来のレーベンバーグ・マーカート法（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ）またはガウス−ニュートン法を採用でき、各反復プロセスが線型方程式系（１５）を解くことになり
2017503290.tif 000024
ここで、Ｈがヘッセ行列（Ｈｅｓｓｉａｎ  ｍａｔｒｉｘ）又はガウス・ニュートン・ヘッセ行列であり、ｂが梯度向量であり、μが非負数であり、レーベンバーグ・マーカート法（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ）またはガウス−ニュートン法により、対応する増分δＰｉとδｑを確定し、
求められた増分に基づいて、収束するまでパラメータＰｉとｑを、Ｐｉ←δＰｉ＋Ｐｉ、ｑ←δｑ＋ｑのように更新し、
アルゴリズム２の具体的な実現プロセスにおいて、
2017503290.tif 000025
ｑの初期化、
2017503290.tif 000026
示、
１．反復（ｉｔｅｒａｎｃｅ・イテレーション）
１）式（１５）におけるガウス・ニュートン・ヘッセ行列Ｈと勾配ベクトルｂを計算し、
２）式（１５）に基づいて増分δθを計算し、さらにそれぞれに対応する増分δＰｉとδｑを確定し、
2017503290.tif 000027
収束するまで繰り返し、
２．収束した三次元シーンの深度ｑにより、式（１）に基づいてシーンの三次元表示を計算する。【００１８】  さらに、粗から密へ（Ｆｒｏｍ  Ｃｏａｒｓｅ  ＴＯ  Ｆｉｎｅ）のピラミッド法における具体的なステップについて、
画像のｎ層のピラミッド表示を算出し、
2017503290.tif 000028
なるように初期化し、すべての点における三次元シーンの深度を１になるように初期化し、
粗から密へ順番的にカメラ射影行列と三次元シーンの深度とを推定するとともに、カメラ射影行列と三次元シーンの深度に対してそれぞれ校正し補間することで、次の細かい画像層に対する反復プロセスの初期値として設定され、
精度が異なる層の間に三次元シーンの深度の補間が、バイリニア補間値、双三次補間法又は他の類似の補間方法で実現され、
精度が異なる層の間にカメラ射影行列の修正に関しては、隣接する二つの精度を持つ画像はｘ及びｙ方向における画素比率がそれぞれｓ１、ｓ２（ｓ１，ｓ２＜１）であるように設定し、精度が低い画像層において、推定されたあるカメラのカメラ射影行列が、Ｐ（ｋ＋１）であり、ここで、上付き（ｋ＋１）がピラミッド構造のｋ＋１層目を示し、対応するｋ層目の画像のカメラ射影行列が、下式になり、
2017503290.tif 000029
粗から密へのピラミッド法の具体的な反復アルゴリズム、すなわち、アルゴリズム３の具体的なプロセスにおいて、
入力：複数の画像、
2017503290.tif 000030
示、
１．画像におけるｍ層のピラミッド表示を計算し、
２．反復：画像層ｋがｍ層目から順番的に１層目まで、
（１）ｋ≠ｍである場合には、
一つ上の層で推定された三次元シーンの深度ｑ（ｋ＋１）を基準にして、補間方法で本層における三次元シーンの深度ｑ（ｋ）を、三次元シーンの初期化として計算し、
2017503290.tif 000031
用して、式（１６）により本層におけるカメラ射影行列Ｐｉ（ｋ）を、カメラ射影行列の初期化として計算し、
それ以外の場合は、ｍ層目の画像において、
2017503290.tif 000032
設置し、すべての点における三次元シーンの深度情報をｑ（ｍ）＝１に設置し、
終わり、
２）ピラミッド法１又はピラミッド法２でこの層のカメラ射影行列Ｐｉ（ｋ）
2017503290.tif 000033
反復の終わり、
2017503290.tif 000034
４．三次元シーンの深度ｑに基づいて、式（１）によりシーンの三次元シーン表示を計算する。【００１９】  さらに、類似三次元再構成またはユークリッド三次元再構成を実現する具体的なプロセスでは、
パラメータ化について、具体的には、
カメラ射影行列がカメラ内部パラメータとカメラ外部パラメータで表示され、
Ｐ＝Ｋ［Ｒ  ｔ］
2017503290.tif 000035
に含まれ、カメラ外部パラメータが３×３回転行列Ｒと３×１シフトベクトルｔにより確定され、回転行列Ｒが三つの角度パラメータであるｘ軸、ｙ軸、ｚ軸周りの回転角γｘ、γｙ、γｚにより確定され、
2017503290.tif 000036
カメラ内部パラメータとカメラ外部パラメータが未知である場合には、内部パラメータαｘ、αｙ、ｓ、ｐｘ、ｐｙ、フトベクトルｔ、回転角γｘ、γｙ、γｚ、および三次元シーンの深度ｑが推定すべきの未定のパラメータであり、類似の三次元再構成を実現し、
カメラ内部パラメータが既知で、カメラ外部パラメータが未知である場合には、フトベクトルｔ、回転角γｘ、γｙ、γｚ、および三次元シーンの深度ｑが推定すべきの未定のパラメータであり、類似の三次元再構成を実現し、
カメラ内部パラメータが既知で、カメラ外部パラメータも既知である場合には、ユークリッド（Ｅｕｃｌｉｄｅａｎ  Ｓｔｒａｔｉｆｉｃａｔｉｏｎ）三次元再構成を実現する中に、この場合には、三次元シーンの深度ｑが推定すべきの未定パラメータである。【００２０】  さらに、前記無特徴抽出の高密度ＳＦＭ三次元再構成法が大きなベースラインに応用でき、具体的には、射影幾何学において、大きなベースラインというのが、カメラの間に相対運動が大きいため、画像の間に顕著な区別が発生し、大きなベースラインの場合には、ＳＦＭ三次元再構成が、
画像からハリス（Ｈａｒｒｉｓ）特徴、ＳＩＦＴ特徴又はＫＬＴ特徴という特徴を抽出し、マッチングする第１ステップと、
抽出された特徴に基づいて、特徴点の三次元情報とカメラ射影行列を推定する第２ステップと、
上記二つのステップに基づいて、ピラミッド法３で高密度ＳＦＭ三次元再構成を実現する第３ステップと、を含み、
ここで、第２ステップで推定されたカメラ射影行列を、第３ステップにおけるカメラ射影行列の初期値として設定し、第２ステップで推定された三次元シーンの深度に対して補間することで、第３ステップにおける次元シーンの深度の初期値として設定する。
【発明の効果】
【００２１】  以上のように、本発明によれば、無特徴抽出の高密度ＳＦＭ三次元再構成法が得られ、従来のＳＦＭ三次元再構成法に比べて、ワンステップで高密度ＳＦＭ三次元再構成を実現できる。また、本発明によれば、ワンステップで最適化することにより高密度三次元情報の推定を実現できるとともに、目標関数値をターゲットにすることで、最適の解決策が得られ、少なくとも部分最適の解決策が得られる。従来技術に対して大きく改善され、実験で初期的な検証が行われた。
【図面の簡単な説明】
【００２２】
【図１】図１は、本発明に係る三次元再構成の実現を示すフローチャート図である。
【発明を実施するための形態】
【００２３】  以下では、本発明を詳しく説明するが、本発明の実施形態はこれに限定されない。
【００２４】  図１のように、Ｓ１において、あるシーンに関するｎ枚（ｎ≧２）の画像を入力し、
Ｓ２において、あるカメラ座標系と一致するワールド座標系を確立し、ワールド座標系と第１カメラの座標系が一致するように設定し、すなわち、ワールド座標系の原点、ｘ軸、及びｙ軸と、第１カメラのカメラ中心、第１カメラの結像面のｘ軸及びｙ軸とが重なり、そのＺ軸が第１カメラの結像面に垂直するように設定し、
Ｓ３において、１枚目の画像の画素点に対応する三次元空間の点が備える深度
2017503290.tif 000037
列Ｐｉであるカメラ射影行列とを、変数と設定し、
Ｓ４において、オプティカルフロー推定に類似する、連続領域における変分目標関数又はその離散形態の目標関数である目標関数を構造し、
Ｓ５において、粗から密へのピラミッド法で、連続領域又は離散領域において目標関数を最適化するように反復アルゴリズムを設計し、シーンの三次元情報を示す深度と、カメラの相対姿勢を示すカメラ射影行列とを出力し、
Ｓ６において、シーンの三次元情報を示す深度に基づいて、高密度投影、類似またはユークリッド再構成を実現する。
【００２５】  以下では、各三次元再構成の実現方法を例として挙げられる。
【００２６】Ａ、連続領域において二つのグレースケール画像に基づく投影三次元再構成
ここで、連続領域において二つのグレースケール画像から投影（ｐｒｏｊｅｃｔｉｖｅ）三次元再構成を実現するという本発明のコアモデルを説明する。第１及び第２の画像がそれぞれＩ１とＩ２（上付きが画像の番号を示す）であり、第１の画像の位
2017503290.tif 000038
が離散格子点（ｌａｔｔｉｃｅ）に定義されたデジタル画像であるが、本発明に提出した技術案によると、画像が連続領域に定義され、数値最適化アルゴリズムで三次元再構成を実現する。
【００２７】  具体的な三次元情報を描画するため、ワールド座標系は、その原点、ｘ軸、及びｙ軸が、第１カメラのカメラ中心（ｃａｍｅｒａ  ｃｅｎｔｒｅ）、第１カメラの結像面のｘ軸及びｙ軸と重なるとともに、そのｚ軸が、第１カメラの結像面に対して垂直するように、構成される。
【００２８】  射影幾何原理に基づいて、第１カメラのカメラ射影行列が［Ｉ３  ０］∈Ｒ３，４であり、ここで、Ｉ３が３×３の単位行列（ｉｄｅｎｔｉｔｙ  ｍａｔｒｉｘ）であり、０が３×１の零ベクトルであり、第２カメラのカメラ射影行列が３×４の行列Ｐ∈Ｒ３，４であると仮定する。また、１枚目の画像の画素（ｘ，ｙ）に対応する三次元点における深度がｑｘ，ｙであり、つまりそのｚ座標がｑｘ，ｙであることを仮定し、対応してこの点の三次元座標が、
2017503290.tif 000039
になる。
【００２９】  このようにすることで、撮影されたシーン又は目標の三次元構成が、１枚目の画像に定義された深度ｑｘ，ｙにより決められており、第２カメラのカメラ射影行列Ｐが二つのカメラの間の相対運動情報を示す。投影三次元再構成の目的が、シーンの深度情報ｑｘ，ｙ（深度情報ｑｘ，ｙに基づいて、式（１）により対応する三次元座標を計算する）とカメラ射影行列Ｐとを推定することである。
【００３０】  射影幾何原理に基づいて、１枚目の画像の画素（ｘ，ｙ）に対応する三次元点の、２枚目の画像における結像位置（ｕｘ，ｙ，ｖｘ，ｙ）が下式である。
2017503290.tif 000040
ここで、Ｐｊがカメラ射影行列Ｐのｊ番目の行ベクトルである。誤解が発生しないという前提で、数学公式を簡潔にするため、下付き文字ｘ、ｙを省略する。式（２）により、ｕとｖが画像領域に定義され、カメラ射影行列Ｐと深度ｑとをパラメータとして設定された関数ｕ（Ｐ，ｑ）とｖ（Ｐ，ｑ）である。
【００３１】  投影三次元再構成を実現するため、下記の変数目標関数が構成される。
2017503290.tif 000041
における第一部分が、同じ三次元空間の点が異なる画像で同じグレースケール値を持つというオプティカルフロー計算中のグレースケール不変仮定（ｇｒａｙ  ｖａｌｕｅｃｏｎｓｔａｎｃｙ  ａｓｓｕｍｐｔｉｏｎ）に基づいたものである。グレースケール不変仮定のみがあれば、最適化問題は不良問題になる。このため、目標関数（３）に第二部分を導入し、二つの画像における結像が平滑のオフセットｕ−ｘとｖ−ｙを含むように設定することで、この平滑仮定が目標関数（３）の第二部分で描画される。目標関数（３）の二つの部分がそれぞれデータ項と、オフセット平滑化項と呼ばれ、オプティカルフロー計算中のデータ項、オフセット平滑化項に対応する。
【００３２】  本発明において、反復アルゴリズムで目標関数（３）の最適化を実現でき、その一番重要な技術思想が、変分法（ｖａｒｉａｔｉｏｎａｌ  ｍｅｔｈｏｄ）におけるオイラー・ラグランジュ方程式（Ｅｕｌｅｒ‐Ｌａｇｒａｎｇｅ  ｅｑｕａｔｉｏｎ）である。変分法におけるオイラー・ラグランジュ方程式（Ｅｕｌｅｒ‐Ｌａｇｒａｎｇｅ  ｅｑｕａｔｉｏｎ）の標準形態を満足するため、目標関数（３）の最適化中の積分量Ｌが下式のように定義される（一時的にカメラ射影行列のパラメータＰを無視し、深度のパラメータｑのみを検討する）。
2017503290.tif 000042
【００３３】  オイラー・ラグランジュ方程式によると、極点が得られるため、目標関数（３）が、下式
2017503290.tif 000043
を満足する必要がある。
【００３４】  具体的には、オイラー・ラグランジュ方程式（５）が、
2017503290.tif 000044
になる。
【００３５】  また、導関数が極点において０になるという性質によると、目標関数（３）が、下式
2017503290.tif 000045
を満足する。すなわち、
2017503290.tif 000046
になる。
【００３６】  反復アルゴリズムにおいて、その前の反復ステップで既にＰとｑの現在推定値が得られ、毎回の反復プロセスの目的は、Ｐとｑの増分δＰとδｑを確定し、以下のようにパラメータを更新する。
2017503290.tif 000047
【００３７】
2017503290.tif 000048
数であり、ｑ＋δｑの１次差分でｑｘとｑｙを近似し、ｄｉｖ（∇ｑ）の代わりに、ｄｉｖ（∇（ｑ＋δｑ））を用いる。式（６）と式（７）の増分形態を連立すると、画像格子点上に増分δＰ、δｑを変数として、（ｎ＋１２）個の線形方程式を確立でき、上記線形方程式の変数の数も、（ｎ＋１２）個である。ここで、ｎが画像の画素の数で、すなわち、深度ｑがｎ個の変数があり、カメラ射影行列も１２個の変数がある。
公式を簡潔にするために、カメラ射影行列Ｐの１２個の変数と深度ｑのｎ個の変数とにより、（ｎ＋１２）次元のベクトルθが構成される。整理が行われると、式（６）及び（７）の増分形態が以下の線形方程式の形式で表される。
2017503290.tif 000049
【００３８】  よって、毎回の反復が、
2017503290.tif 000050
を求めることになる。
【００３９】  上述したように、二つのグレースケール画像と、カメラ射影行列と、深度の初期値に基づいて、以下のアルゴリズムでＳＦＭ投影三次元再構成を実現できる。
【００４０】  つまり、アルゴリズム１の具体的なプロセスでは、
入力：二つのグレースケール画像Ｉ１とＩ２、およびカメラ射影行列Ｐ、深度ｑの初期化、
出力：カメラ射影行列Ｐ、深度ｑ、
収束するまで、反復（ｉｔｅｒａｎｃｅ・イテレーション）が行われる。
【００４１】  １．式（６）と式（７）に基づいて式（９）のＨとｂを確定する、
２．式（１０）に基づいて増分δθを計算すると共に、対応する増分δＰ、δｑを確定する、
３．式（８）に基づいてパラメータＰとｑを更新する。
【００４２】  部分的な極値点の困難を克服するために、粗から密へ（ｆｒｏｍ  ｃｏａｒｓｅ  ｔｏ  ｆｉｎｅ）のピラミッド法を採用する。具体的には、まず、低解像度の画像において三次元再構成が実現され、さらに、推定された深度に対して補間が行われたとともに、カメラ射影行列が修正されたものを、次の層における高解像度の三次元再構成の初期値として設定される。上記プロセスを、最高解像度が得られるまで、繰り返す。
【００４３】  深度の補間について、バイリニア補間値（ｂｉｌｉｎｅａｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）、双三次補間法（ｂｉｃｕｂｉｃ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）、又は他の類似の補間方法で実現する。
【００４４】  精度が異なる層の間にカメラ射影行列の補間が行われる。隣接する二つの層の画像はｘ及びｙ方向に画素比率がそれぞれｓ１とｓ２であり（ｓ１，ｓ２＜１）、精度が低い画像層において、推定された第２カメラのカメラ射影行列がＰ（ｉ＋１）である（ここで、上付きｉ＋１がピラミッド構造のｉ＋１層目を示す）と仮定すると、対応するｉ層目の画像の第２カメラの射影行列が、下式になる。
2017503290.tif 000051
【００４５】  つまり、アルゴリズム２の具体的なプロセスでは、
入力：二つのグレースケール画像、
出力：カメラ射影行列Ｐ、深度ｑ
１．二つの画像のｍ層ピラミッド表示を計算し、
２．ｆｏｒ  ｉ＝ｍ：−１：１
ｉｆｉ≠ｍ
一つ上の層で推定された深度ｑ（ｉ＋１）を基準にして、補間方法で本層における深度ｑ（ｉ）を、深度の初期化として計算し、
一つ上の層で推定されたカメラ射影行列Ｐ（ｉ＋１）を利用して、式（１１）で本層におけるカメラ射影行列Ｐ（ｉ）を、第２カメラの射影行列の初期化として計算し、
ｅｌｓｅ
初期化：第２カメラのカメラ射影行列を、Ｐ（ｍ）＝［Ｉ３  ０］に設置し、すべての点における深度情報をｑ（ｍ）＝１に設置し、
ｅｎｄ
アルゴリズム１により本層におけるカメラ射影行列Ｐ（ｉ）と深度ｑ（ｉ）を計算し、
ｅｎｄ
Ｂ、二つのグレースケール画像に基づいた投影三次元再構成の離散形態
デジタル画像自体が離散形態で存在するため、以下では、目標関数（３）に対して直接的にその離散形態を示す。
2017503290.tif 000052
【００４６】  目標関数（１２）が本質的には非線形最小二乗問題であり、ガウス−ニュートン（Ｇａｕｓｓ−Ｎｅｗｔｏｎ）法（又は、他の類似するアルゴリズム、例えばレーベンバーグ・マーカート法（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ、ＬＭアルゴリズム）で反復・最適化を実現する。理解しやすいため、まず、ｕとｖを変数として設定することを考える。目標関数（１２）の第一部分であるデータ項に対して、ガウス−ニュートン近似法を採用することで、以下のように関わるガウス−ニュートンヘッセ（Ｈｅｓｓｉａｎ）行列Ｈｄａｔａと勾配ベクトルｂｄａｔａが得られる。
2017503290.tif 000053
【００４７】  目標関数（１２）の第二部分である平滑化項に対して、偏導関数の代わりに、
2017503290.tif 000054
用してもよく、こんな微妙な変化が、アルゴリズムの全体的な構成を変更できない。
【００４８】  差分計算は、その隣接する画素に関わるため、平滑化項に対する導出が各画素点を分析することになり、データ項（１３）の方が簡明である。反復アルゴリズム１と同じく、前回の反復により既にｕとｖの推定値が得られ、毎回の反復の目的がその増分δｕとδｖを確定する。従って、目標関数（１２）における平滑化項が、下式で示される。
2017503290.tif 000055
【００４９】  上記二つの式の合計が、以下のように、ガウス−ニュートンヘッセ行列Ｈｘ，ｙと勾配ベクトルｂｘ，ｙにより示される。
2017503290.tif 000056
【００５０】  すべての画素に対して式（１４）のようなガウス−ニュートン近似を確立し、連立することで、以下のように平滑化項のガウス−ニュートンヘッセ行列Ｈｓｍｏｏｔｈと勾配ベクトルｂｓｍｏｏｔｈが得られる。
2017503290.tif 000057
ここで、δｘ，ｙの定義から、各δｘ，ｙが隣接する画素に関わることが理解できたので、式（１５）における加算項の加算が通常の加算とは異り、式（１５）における加算がδｘ，ｙの間のアライメントを考える必要がある。
【００５１】  式（１３）と式（１５）に基づいて、以下のように目標関数（１２）におけるガウス−ニュートンヘッセ行列Ｈと勾配ベクトルｂが求められる。
2017503290.tif 000058
【００５２】  以下の式を求めることで、増分δｕとδｖが得られる。
2017503290.tif 000059
【００５３】  本発明で提出した技術案において、最後のパラメータは、カメラの射影行列Ｐおよび深度ｑである。連続領域における導出のように、数学公式を簡潔にするため、カメラの射影行列Ｐおよび深度ｑを備えるパラメータベクトθを設定する。
合成関数の規則によると、増分δθが下式になる。
2017503290.tif 000060
【００５４】  すなわち、アルゴリズム３の具体的なプロセスでは、
入力：二つのグレースケール画像Ｉ１とＩ２、およびカメラ射影行列Ｐ、深度ｑの初期化
出力：カメラ射影行列Ｐ、深度ｑ
収束するまで、反復が行われる。
【００５５】  １．式（１８）のＨ、Ｊおよびｂを計算し、
２．式（１８）に基づいて、増分δθを計算し、対応する増分δＰとδｑをそれぞれ計算し、
３．式（８）に基づいてパラメータＰとｑを更新する。
【００５６】  連続領域における三次元再構成と同様に、粗から密へのピラミッド法で、離散形態の三次元再構成を実現でき、その基本フレームがアルゴリズム２ｓと同じである。異なるのは、離散の三次元再構成において、アルゴリズム２で各層の三次元再構成を実現する点である。冗長性を避けるために、粗から密へのピラミッド法で離散領域に三次元再構成をするアルゴリズムの説明を省略する。
【００５７】Ｃ、二つのカラー画像に基づいた三次元再構成
二つのカラー画像に基づいた三次元再構成の原理が、グレースケール画像に基づいた三次元再構成と同じである。カラー画像の表示方法が様々であり、例えば、ＲＧＢ（（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ：赤、緑、青）、ＨＳＶ（Ｈｕｅ  Ｓａｔｕｒａｔｉｏｎ  Ｖａｌｕｅ：色相彩度値）、ＨＳＬ（（Ｈｕｅ  Ｓａｔｕｒａｔｉｏｎ  Ｌｉｇｈｔｎｅｓｓ：色相彩度明度）およびＨＳＩ（Ｈｕｅ  Ｓａｔｕｒａｔｉｏｎ  Ｉｎｔｅｎｓｉｔｙ：色相飽和強度）がある。以下では、ＲＧＢカラー画像の離散形態の三次元再構成を例として、どうやってカラー画像に基づいた三次元再構成を処理するのかを説明する。離散形態の目標関数が下式のように構成される（同じく、連続領域において目標関数を構成できる）。
2017503290.tif 000061
【００５８】  目標関数（１９）を最適化するアルゴリズムが目標関数（１２）と同じであるため、ここで説明を省略する。また、このように連続領域においてカラー画像に基づいた三次元再構成が実現でき、その実現アルゴリズムが連続領域におけるグレースケール画像に基づいた三次元再構成に類似している。
【００５９】Ｄ、複数の画像に基づいた三次元再構成
ｎ幅（ｎ＞２）の画像に基づいた三次元再構成の基本的なアルゴリズムが、二つの画像に基づいた三次元再構成と同じであり、式（３）又は式（１２）のような目標関数を構成し、データ項と平滑化項とを備える。二つの画像に基づいた三次元再構成と同じく、ワールド座標系を第１カメラの座標系に設定することで、第１カメラの射影行列が［Ｉ３  ０］∈Ｒ３，４になり、他のｎ−１個カメラ射影行列と深度ｑが推定すべきパラメータである。
【００６０】  複数の画像に基づいた三次元再構成において、データ項と平滑化項の構成が様々な選択ある。ここで、データ項と平滑化項に対して、それぞれ二つ異なる構成案が提出されるが、これに限定されない。データ項の第１構成案が、下式で示される。
2017503290.tif 000062
（ｕｉ，ｖｉ）がｉ幅目の画像において（ｘ，ｙ）に対応する座標である。データ項の第２構成案が、下式で示される。
2017503290.tif 000063
【００６１】  第１構成案には、式（２０）において、二つの画像に関する（１２）のデータ項と非常に類似しており、すなわち、同じ点がすべての画像で同じグレースケール値を持つというグレースケール不変仮定である。第２構成案の式（２１）には、グレースケール不変仮定が少し変更し、隣接する画像の間のグレースケール不変仮定のみを考える。第２構成案が、ビデオシーケンスに基づいた三次元再構成のために適用する。
【００６２】  平滑化項について、以下のように二つの構成案（２２）と（２３）が提出された。
2017503290.tif 000064
【００６３】  式（２２）において、オフセット量が１幅目の画像に基づいたものであり、式（２３）において、オフセット量が隣接する画像の間のオフセット量を考える。
【００６４】  複数の画像に基づいた三次元再構成を実現するアルゴリズムが、二つの画像に基づいた三次元再構成に類似しているため、具体的なアルゴリズムを省略する。
【００６５】Ｅ、三次元再構成に勾配（ｇｒａｄｉｅｎｔ）不変仮定を導入する
異なる照明条件による画像の変化を克服するために、目的関数の最適化中に勾配（ｇｒａｄｉｅｎｔ）不変仮定を導入し、すなわち、同じ三次元点が異なる画像で同じ勾配を持つことである。二つのグレースケール画像に基づく投影三次元再構成を例として、どうやって三次元再構成に勾配不変仮定を導入するのかを説明する。構成された目標関数が次式で示す。
2017503290.tif 000065
【００６６】  式（２４）の反復最適化アルゴリズムがアルゴリズム３と同じであるので、ここで説明を省略する。
【００６７】Ｆ、目的関数の最適化中にバスト関数を導入する
目的関数（３）と（１２）が最適化され、他の類似の構成でもデータ項と平滑化項が二乗項という形態で表現されたため、これらのモデルがシーンや目標の深度に不均一な状況で、効果は悪くなる。このため、目的関数の最適化中、あるバスト関数ρが導入（ｉｎｔｒｏｄｕｃｅ）される。式（１２）を例にすると、下式になる。
2017503290.tif 000066
【００６８】  バスト関数ρが様々であり、例えばシャルボニエ（ｃｈａｒｂｏｎｎｉｅｒ）関数
2017503290.tif 000067
【００６９】Ｇ、深度に平滑化拘束を導入する
画像のオフセットに平滑化拘束を導入すること以外には、一つの案としては直接的に平滑化拘束を三次元目標の深度ｑに導入する。離散形態の式（１２）を例にすると、次式で目標関数を構成できる。
2017503290.tif 000068
【００７０】  もう一つの案としては、画像のオフセットと深度に対して同時に平滑化拘束を導入し、目的関数を最適化することで、次式になる。
2017503290.tif 000069
Ｈ、二つのグレースケール画像に基づく類似三次元再構成とユークリッド三次元再構成
【００７１】  上記技術案には、再構成された結果が、射影再構成であり、一般的なユークリッド（Ｅｕｃｌｉｄｅａｎ）三次元構成ではない。ここで、類似（ｓｉｍｉｌａｒｉｔｙ）三次元再構成とユークリッド三次元再構成を提出する。
【００７２】  射影幾何原理に基づいて、カメラの射影行列がカメラの内部パラメータおよびカメラの外部カメラパラメータによって、以下のように示される。
2017503290.tif 000070
まられ、カメラの外部パラメータが、ワールド座標系からカメラ座標系への回転変換を示す回転行列Ｒとシフトベクトルｔにより確定される。
【００７３】  上記説明した投影再構成と類似して、ワールド座標系と第１カメラの座標系と同じであるように仮定すると、カメラの間の運動情報が完全に第２カメラの外部パラメータによって示される。簡単にするため、二つのカメラが同一内部パラメータを持つことを仮定する。第１カメラの射影行列を標準形態（Ｉ３  ０］にするために、第２カメラを次式のように設定する。
2017503290.tif 000071
シーン又は目標を示す深度ｑが投影三次元再構成と同じである
【００７４】  類似三次元再構成を実現する技術案が、投影再構成と類似し、すなわち、目的関数（３）又は（１２）を最適化する。異なるところが、第２カメラの射影行列Ｐの形態（２７）である。ここで、類似三次元再構成の離散形態を実現する方法のみ記載された。投影三次元再構成の連続領域の技術案と同じく、連続領域において類似三次元再構成も実現できる。
【００７５】  回転行列Ｒが、以下のように、三つの角度パラメータであるｘ軸、ｙ軸、ｚ軸周りの各回転角γｘ、γｙ、γｚにより確定された。
2017503290.tif 000072
射影三次元再構成において、（ｎ＋１２）次元のパラメータベクトルθの最初から１２までの値がカメラ射影行列パラメータであり、残りがｎ個の深度パラメータであると仮定する。また、類似三次元再構成において、パラメータベクトルθ′の最初から１１までの値が、三つの回転角度パラメータγ＝［γｘ，γｙ，γｚ］Ｔ、三つのシフトベクトルｔ、および五つのカメラ内部パラメータαｘ、αｙ、ｓ、ｐｘ、ｐｙであり、１１次元のベクトルθ″を構成し、その後にｎ個の深度パラメータがあると仮定する。
式（２７）について、下式のようにヤコビアン行列（Ｊａｃｏｂｉａｎ  ｍａｔｒｉｘ）を定義する。
2017503290.tif 000073
ここで、Ｉｎがｎ×ｎの単位行列である。従って、類似三次元再構成において、反復プロセスで以下のパラメータ増分が求められる。
2017503290.tif 000074
ここで、Ｈ、Ｊ、ｂが式（１８）におけるＨ、Ｊ、ｂである。
【００７６】  カメラの一部パラメータが既知である場合には、例えばカメラがキャリブレーションであって、カメラの内部パラメータが既知であるときに、同じく上記類似三次元再構成を実現できる。カメラの内部パラメータと外部パラメータがすべて既知であるときに、ユークリッド三次元再構成を実現できる。
【００７７】Ｉ、大きなベースライン（ｌａｒｇｅ  ｂａｓｅｌｉｎｅ）におけるＳＦＭ三次元再構成
射影幾何学において、大きなベースライン（ｌａｒｇｅ  ｂａｓｅｌｉｎｅ）とは、カメラの間に相対運動が大きいため、画像の間に顕著な差が生成されることである。原因としては、カメラの間の回転角又はシフトが大きすぎ、又はカメラの間の焦点距離差が大きすぎる。大きなベースラインの場合には、従来の三次元再構成方法と本発明に提出した上記方法に基づいて、大きなベースラインの三次元再構成を実現できる。具体的には、ＳＦＭ三次元再構成が、画像からハリス（Ｈａｒｒｉｓ）特徴、ＳＩＦＴ特徴又はＫＬＴ特徴を抽出し、マッチングする第１ステップと、抽出された特徴に基づいて、特徴点の三次元情報とカメラのカメラ射影行列を推定する第２ステップと、上記二つステップに基づいて、上記提出した方法で高密度ＳＦＭ三次元再構成を実現する第３ステップと、を含む。ここで、第２ステップで推定されたカメラ射影行列を、第３ステップにおけるカメラ射影行列の初期値として設定し、第２ステップで推定された三次元シーンの深度に対して補間することで、第３ステップにおける次元シーンの深度の初期値として設定する。
【００７８】  なお、今回開示した上記実施の形態はすべての点で例示であって制限的なものではない。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更を含むものである。
−専門用語の日本語・英語参照−
2017503290.tif 000075
2017503290.tif 000076
【図１】
2017503290.tif 000110
【国際調査報告】
2017503290.tif 000111
2017503290.tif 000112
2017503290.tif 000113
2017503290.tif 000114