(57)【要約】【課題】対象物体のテクスチャによらず、安定して高精度に三次元形状を計測する。【解決手段】情報処理装置であって、パターン画像が投影された対象物体を撮像して得られた第一の画像と、複数視点から対象物体を撮像して得られた複数の第二の画像とを取得する画像取得部と、第一の画像の局所領域とパターン画像の局所領域との比較に基づいて第一の類似度を取得する第一類似度取得部と、複数の第二の画像のそれぞれにおける局所領域同士の比較に基づいて第二の類似度を取得する第二類似度取得部と、第一の類似度と第二の類似度とに基づいて対象物体の表面の三次元座標を決定する決定部とを備える。【選択図】  図１
2018063161.tif 000002
【特許請求の範囲】
【請求項１】
パターン画像が投影された対象物体を撮像して得られた第一の画像と、複数視点から前記対象物体を撮像して得られた複数の第二の画像とを取得する画像取得手段と、
前記第一の画像の局所領域と前記パターン画像の局所領域との比較に基づいて第一の類似度を取得する第一類似度取得手段と、
前記複数の第二の画像のそれぞれにおける局所領域同士の比較に基づいて第二の類似度を取得する第二類似度取得手段と、
前記第一の類似度と前記第二の類似度とに基づいて前記対象物体の表面の三次元座標を決定する決定手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記第一の類似度の信頼度を表す第一の信頼度と、前記第二の類似度の信頼度を表す第二の信頼度とを取得する信頼度取得手段を更に備え、
前記決定手段は、前記第一の類似度と前記第二の類似度とのうち、対応する信頼度がより高い類似度に基づいて前記対象物体の表面の三次元座標を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記決定手段は、前記第一の信頼度と前記第二の信頼度とのそれぞれに基づいて重み付けした前記第一の類似度と前記第二の類似度との和から得られる類似度が最大となる三次元座標を、前記対象物体の表面の三次元座標として決定することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記信頼度取得手段は、前記第一の類似度の最大値の尖度が高いほど前記第一の信頼度を高く算出し、前記第二の類似度の最大値の尖度が高いほど前記第二の信頼度を高く算出することを特徴とする請求項２又は３に記載の情報処理装置。
【請求項５】
前記信頼度取得手段は、前記第一の類似度が最大となる三次元座標と前記第二の類似度が最大となる三次元座標との距離が閾値より小さい場合に、前記第一の信頼度及び前記第二の信頼度を同じ値として算出することを特徴とする請求項２乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記信頼度取得手段は、前記第一の類似度が最大となる三次元座標と前記第二の類似度が最大となる三次元座標との距離が小さいほど、前記第一の信頼度を低く算出し、前記第二の信頼度を高く算出することを特徴とする請求項２乃至５の何れか１項に記載の情報処理装置。
【請求項７】
前記信頼度取得手段は、前記第一の画像の前記局所領域における空間周波数が高いほど前記第一の信頼度を高く算出し、前記第二の画像の前記局所領域における空間周波数が高いほど前記第二の信頼度を高く算出することを特徴とする請求項２乃至６の何れか１項に記載の情報処理装置。
【請求項８】
前記信頼度取得手段は、前記第一の画像の前記局所領域における輝度値が高いほど前記第一の信頼度を高く算出することを特徴とする請求項２乃至７の何れか１項に記載の情報処理装置。
【請求項９】
前記信頼度取得手段は、前記第二の画像の前記局所領域における勾配強度が強いほど前記第二の信頼度を高く算出することを特徴とする請求項２乃至８の何れか１項に記載の情報処理装置。
【請求項１０】
前記第二の画像は、前記パターン画像が投影されていない前記対象物体を撮像して得られた画像であることを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
【請求項１１】
前記局所領域は、前記パターン画像、前記第一の画像、および、前記第二の画像に任意の三次元座標を投影することで求められる各画素の近傍領域であることを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
【請求項１２】
前記第一の画像を撮像するために用いられる投影装置及び第一の撮像装置と、
前記複数の第二の画像を撮像するために用いられる複数の第二の撮像装置と、
をさらに備えることを特徴とする請求項１乃至１１の何れか１項に記載の情報処理装置。
【請求項１３】
前記投影装置と前記第一の撮像装置との間の基線長と、前記複数の第二の撮像装置間の基線長とが略一致していることを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
前記第一の撮像装置および前記複数の第二撮像装置の解像度及び焦点距離は略一致していることを特徴とする請求項１２又は１３に記載の情報処理装置。
【請求項１５】
前記パターン画像の情報を保持する投影パターン情報保持手段をさらに備えることを特徴とする請求項１乃至１４の何れか１項に記載の情報処理装置。
【請求項１６】
情報処理装置の制御方法であって、
パターン画像が投影された対象物体を撮像して得られた第一の画像と、複数視点から前記対象物体を撮像して得られた複数の第二の画像とを取得する画像取得工程と、
前記第一の画像の局所領域と前記パターン画像の局所領域との比較に基づいて第一の類似度を取得する第一類似度取得工程と、
前記複数の第二の画像のそれぞれにおける局所領域同士の比較に基づいて第二の類似度を取得する第二類似度取得工程と、
前記第一の類似度と前記第二の類似度とに基づいて前記対象物体の表面の三次元座標を決定する決定工程と、
を有することを特徴とする情報処理装置の制御方法。
【請求項１７】
コンピュータを、請求項１乃至１５の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理装置の制御方法及びプログラムに関する。
【背景技術】
【０００２】
対象物体の三次元形状を取得する手法は、アクティブ方式とパッシブ方式に大別される。アクティブ方式とは、プロジェクタから対象物体にパターン光を投影し、その反射光をカメラによって観測することで三次元計測を行う手法である。一方、パッシブ方式とは、対象物体を複数視点からカメラによって撮像することで三次元計測を行う手法である。これらの計測手法は、画像の局所領域同士の類似度を算出し、類似度が最大となる三次元座標を探索することで、三次元形状を求めている。しかし、アクティブ方式もパッシブ方式も、対象物体のテクスチャによっては、計測精度が悪化するという問題がある。アクティブ方式では、対象物体のテクスチャがない場合は正しい三次元座標が算出できるが、対象物体のテクスチャが複雑な場合に正しい三次元座標の算出が難しい。一方、パッシブ方式では、対象物体のテクスチャが複雑な場合は正しい三次元座標が算出できるが、対象物体のテクスチャがない場合や周期的な場合に正しい三次元座標の算出が難しい。
【０００３】
これに対して、特許文献１では、パッシブ方式の三次元計測手法だけでなくアクティブ方式などの他の三次元計測手法と組み合わせる手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−４９２００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、パッシブ方式の三次元計測手法と他の三次元計測手法とで計測精度が異なるため、対象物体のテクスチャによっては、計測精度が一定にならないという課題がある。
【０００６】
本発明は、上記の課題に鑑みてなされたものであり、対象物体のテクスチャによらず、安定して高精度に三次元形状を計測するための技術を提供することを目的する。
【課題を解決するための手段】
【０００７】
上記の目的を達成する本発明に係る情報処理装置は、
パターン画像が投影された対象物体を撮像して得られた第一の画像と、複数視点から前記対象物体を撮像して得られた複数の第二の画像とを取得する画像取得手段と、
前記第一の画像の局所領域と前記パターン画像の局所領域との比較に基づいて第一の類似度を取得する第一類似度取得手段と、
前記複数の第二の画像のそれぞれにおける局所領域同士の比較に基づいて第二の類似度を取得する第二類似度取得手段と、
前記第一の類似度と前記第二の類似度とに基づいて前記対象物体の表面の三次元座標を決定する決定手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、対象物体のテクスチャによらず、安定して高精度に三次元形状を計測できる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態の情報処理装置の構成例を示すブロック図。
【図２】第１の実施形態の情報処理装置による計測処理を説明するフローチャート。
【図３】第１の実施形態の第一類似度取得部の処理を説明する図。
【図４】第１の実施形態の第二類似度取得部の処理を説明する図。
【図５】第２の実施形態の情報処理装置の構成例を示すブロック図。
【図６】第２の実施形態の情報処理装置による計測処理を説明するフローチャート。
【図７】第２の実施形態の信頼度取得部の処理を説明する図。
【図８】第３の実施形態の情報処理装置の構成例を示すブロック図。
【図９】第３の実施形態の情報処理装置による計測処理を説明するフローチャート。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１１】
（第１の実施形態）
第１の実施形態において説明する情報処理装置は、アクティブ方式とパッシブ方式の三次元計測手法を併用して対象物体の三次元形状を取得する三次元計測装置である。ランダムドットパターンを利用したアクティブ方式によって求められる類似度と二眼ステレオのパッシブ方式によって求められる類似度とを統合した類似度に基づいて、三次元点を決定する。対象物体のテクスチャがない場合はアクティブ方式の類似度によって、対象物体のテクスチャが複雑な場合はパッシブ方式の類似度によって、正しい三次元座標が求められる。結果、対象物体のテクスチャによらず安定、高精度な三次元座標を算出することができる。
【００１２】
［装置の構成］
図１のブロック図を参照して、第１の実施形態の情報処理装置１１００を備える三次元計測装置１０００の装置例を示す。近赤外投影装置１は、近赤外光源を用いてランダムドットパターンを計測対象物体に投影する。パターン光は、計測対象物体の表面で反射し、近赤外撮像装置２によって撮像される。また同時に、可視光撮像装置３と可視光撮像装置４によって、対象物体を撮像する。近赤外撮像装置２、可視光撮像装置３、および、可視光撮像装置４が撮像した画像は、情報処理装置１１００に送られ、情報処理装置１１００によって対象物体の三次元座標が算出される。また、情報処理装置１１００は、近赤外撮像装置２、可視光撮像装置３、および、可視光撮像装置４の動作を制御する。さらに、近赤外投影装置１、近赤外撮像装置２、可視光撮像装置３、および、可視光撮像装置４はお互いの位置関係を知るための校正が予め行われており、校正データが外部メモリに保存されている。なお、アクティブ方式とパッシブ方式のそれぞれから求められる三次元点の精度を一致させるため、近赤外投影装置１と近赤外撮像装置２間の基線長と可視光撮像装置３と可視光撮像装置４間（撮像装置間）の基線長の長さは略一致している。また、近赤外撮像装置２、可視光撮像装置３、および、可視光撮像装置４の解像度や焦点距離は略一致している。
【００１３】
情報処理装置１１００は、投影パターン情報保持部１０１、画像取得部１０２、第一類似度取得部１０３、第二類似度取得部１０４、及び三次元座標決定部１０５を備える。投影パターン情報保持部１０１は、投影するランダムドットパターンの輝度画像を保持している。
【００１４】
画像取得部１０２は、近赤外撮像装置２、可視光撮像装置３、および、可視光撮像装置４を制御して撮像させるとともに、各々の撮像画像を取得する。そして、近赤外撮像装置２によって撮像された画像（第一の画像：アクティブ方式用の画像）を第一類似度取得部１０３に出力する。また、可視光撮像装置３、および、可視光撮像装置４によって撮像された画像（第二の画像：パッシブ方式用の画像）を第二類似度取得部１０４に出力する。
【００１５】
第一類似度取得部１０３は、第一の画像とランダムドットパターン画像との間の局所領域における輝度分布がどれだけ似ているかを表す第一の類似度を算出して取得する。そして、算出された第一の類似度を三次元座標決定部１０５に出力する。
【００１６】
第二類似度取得部１０４は、複数視点で撮像された二枚の第二の画像間の局所領域における輝度分布がどれだけ似ているかを示す第二の類似度を算出して取得する。そして、算出された第二の類似度を三次元座標決定部１０５に出力する。
【００１７】
三次元座標決定部１０５は、第一の類似度、および、第二の類似度を統合することで、アクティブ方式とパッシブ方式の両者を考慮した類似度を求め、統合した類似度に基づき計測対象物体の三次元座標を決定する。
【００１８】
［計測処理］
続いて、図２のフローチャートを参照して、第１の実施形態の情報処理装置１１００による計測処理の手順を説明する。
【００１９】
（ステップＳ１１）
ステップＳ１１では、三次元計測装置１０００が起動されると、初期化処理が実行される。初期化処理には、近赤外投影装置１、近赤外撮像装置２、可視光撮像装置３、および、可視光撮像装置４の起動、近赤外投影装置１が投影パターン情報保持部１０１から読み込んだランダムドットパターン画像を投影する処理が含まれる。また、外部メモリから校正データを読み込む処理なども含まれる。
【００２０】
（ステップＳ１２）
ステップＳ１２では、画像取得部１０２が、近赤外撮像装置２、可視光撮像装置３、および、可視光撮像装置４を制御して画像を撮像させる。この際、撮像の波長を近赤外光と可視光とで分けているため、近赤外撮像装置２にはランダムドットパターンが投影された対象物体が写され、可視光撮像装置３、および、可視光撮像装置４には環境光のみによって照らされた対象物体が写される。画像取得部１０２は、近赤外撮像装置２によって撮像された第一の画像を第一類似度取得部１０３に出力し、可視光撮像装置３、および、可視光撮像装置４によって撮像された第二の画像を第二類似度取得部１０４に出力する。
【００２１】
（ステップＳ１３）
ステップＳ１３では、第一類似度取得部１０３が、画像取得部１０２から入力された第一の画像の局所領域とランダムドットパターン画像の局所領域との類似度を求める。以下、図３を用いて類似度を求める処理を説明する。図３において、１１は第一の画像、ｐ１は第一の画像における注目画素、ｖ１は近赤外撮像装置２の視点、ｅ１はｐ１を通る光線方向をそれぞれ表している。また、ｑ０、ｑ１、ｑ２はｅ１上の三次元点、１２はランダムドットパターン画像、ｐ２はランダムドットパターン画像における注目画素をそれぞれ表している。
【００２２】
まず、類似度を算出するために必要なランダムドットパターン画像を投影パターン情報保持部１０１から読み込む。次に、第一の画像１１とランダムドットパターン画像１２との間で局所領域（注目画素（ｐ１、および、ｐ２）とその近傍領域の画素（例えば、注目画素の周囲８画素））における輝度差の絶対値（SAD : Sum of Absolute Difference）の逆数を求めることで第一の類似度を算出する。類似度を算出する際、近赤外撮像装置２の視点ｖ１を基準として、校正データから求められるｐ１を通る光線方向ｅ１に沿って三次元点（ｑ：ｑ０、ｑ１、ｑ２...）を動かし、各ｑにおける類似度を算出する。各三次元点ｑは、ランダムドットパターン画像１２上でエピポーラ線上に投影されるため、校正データから三次元点ｑに対応する注目画素ｐ２が分かり、注目画素ｐ１、および、注目画素ｐ２とその近傍領域の画素とのSADの逆数が求められる。
【００２３】
このような処理をすべての注目画素ｐ１について行うことで、第一の画像の各画素において第一の類似度が求められる。求められた第一の類似度を三次元座標決定部１０５に出力する。
【００２４】
（ステップＳ１４）
ステップＳ１４では、第二類似度取得部１０４が、画像取得部１０２から入力された二枚の第二の画像の局所領域同士の類似度を求める。以下、図４を用いて類似度を求める処理を説明する。図４と図３で同じものを意味するものは同符号を付して説明を省略する。図４において、１３は可視光撮像装置３によって撮像された画像、１４は可視光撮像装置４によって撮像された画像をそれぞれ表している。また、ｐ３は可視光撮像装置３によって撮像された画像における注目画素、ｐ４は可視光撮像装置４によって撮像された画像における注目画素をそれぞれ表している。
【００２５】
次に、可視光撮像装置３によって撮像された画像１３と可視光撮像装置４によって撮像された画像１４との間で注目画素（ｐ３、および、ｐ４）における類似度をステップＳ１４と同様に算出する。各三次元点ｑは、各画像１３、１４上でエピポーラ線上に投影されるため、校正データから三次元点ｑに対応する注目画素ｐ３およびｐ４が分かり、注目画素ｐ１における注目画素ｐ３および注目画素ｐ４とその近傍領域の画素とのSADの逆数が求められる。
【００２６】
このような処理をすべての注目画素ｐ１について行うことで、第一の画像の各画素において第二の類似度が求められる。求められた第二の類似度を三次元座標決定部１０５に出力する。
【００２７】
（ステップＳ１５）
ステップＳ１５では、三次元座標決定部１０５が、第一類似度取得部１０３から入力された第一の類似度と第二類似度取得部１０４から入力された第二の類似度とを用いて三次元座標を決定する。
【００２８】
まず、第一の画像の各画素において第一の類似度と第二の類似度を次のような式によって統合する。
【００２９】
【数１】
2018063161.tif 000003
【００３０】
ただし、pは第一の画像中のある画素、qは三次元点、C(p,q)は統合後の類似度、A(p,q)は第一の類似度、B(p,q)は第二の類似度を表している。そして、このようにして得られる統合類似度C(p,q)が最大となる位置を正しい三次元点ｑとして決定する。このような処理を第一の画像の各画素において行うことで、画素数分の三次元座標（Ｘ，Ｙ，Ｚ）を算出し、処理を終了する。
【００３１】
上記に述べた構成で、アクティブ方式とパッシブ方式それぞれから求められる類似度を統合した類似度に基づいて、三次元点を決定することで、対象物体のテクスチャによらず三次元座標を安定、高精度に算出することができる。
【００３２】
（第２の実施形態）
第２の実施形態において説明する情報処理装置は、第１の実施形態と同様に、アクティブ方式とパッシブ方式の三次元計測手法を併用して対象物体の三次元形状を取得する三次元計測装置である。ただし、第２の実施形態では、各類似度に基づいて類似度の信頼度を算出する信頼度取得部をさらに備える点が異なっている。各類似度のうち対応する信頼度がより高い類似度をより重視して、三次元点を決定することにより、より安定、高精度な三次元座標を算出することができる。
【００３３】
［装置の構成］
図５のブロック図を参照して、第２の実施形態の情報処理装置２１００を備える三次元計測装置２０００の装置例を示す。なお、第１の実施形態と略同様である装置については同符号を付して説明を省略する。
【００３４】
情報処理装置２１００は、投影パターン情報保持部２０１、画像取得部２０２、第一類似度取得部２０３、第二類似度取得部２０４、信頼度取得部２０５、及び三次元座標決定部２０６を備える。なお、投影パターン情報保持部２０１、および、画像取得部２０２は第１の実施形態と略同様であるため、説明を省略する。
【００３５】
第一類似度取得部２０３は、第一の画像とランダムドットパターン画像との間の局所領域における輝度分布がどれだけ似ているかを表す第一の類似度を算出する。算出された第一の類似度を信頼度取得部２０５に出力する。
【００３６】
第二類似度取得部２０４は、二枚の第二の画像間の局所領域における輝度分布がどれだけ似ているかを示す第二の類似度を算出する。算出された第二の類似度を信頼度取得部２０５に出力する。
【００３７】
信頼度取得部２０５は、第一の類似度と第二の類似度からそれぞれの類似度がどれほど信頼できるかを表す第一の信頼度と第二の信頼度を算出する。算出された第一の信頼度と第二の信頼度、および、第一の類似度と第二の類似度を三次元座標決定部２０６に出力する。
【００３８】
三次元座標決定部２０６は、第一の信頼度と第二の信頼度、および、第一の類似度と第二の類似度を統合することで、アクティブ方式とパッシブ方式の両者を考慮した類似度を求め、最終的な三次元座標を決定する。
【００３９】
［計測処理］
続いて、図６のフローチャートを参照して、第２の実施形態の情報処理装置２１００による計測処理の手順を説明する。なお、ステップＳ２１、ステップＳ２２、ステップＳ２３、および、ステップＳ２４は第１の実施形態の対応する各ステップと略同様であるため、説明を省略する。
【００４０】
（ステップＳ２５）
ステップＳ２５では、信頼度取得部２０５が、第一類似度取得部２０３、および、第二類似度取得部２０４から入力された各類似度の信頼度を算出する。信頼度は、類似度がとる最大値のピーク度合い（尖度）として定義する。ピークが急峻な（尖度が高い）ほど、ピーク位置の三次元座標は信頼でき、ピークがなだらかな（尖度が低い）ほどピーク位置の三次元座標は信頼できないと判定する。例えば、図７のような類似度の場合、類似度の最大値をs1、二番目に大きい値をs2とすれば、s1/ s2 - 1を信頼度とすればよい。
【００４１】
このような処理を第一の類似度、および、第二の類似度に関して行うことで、第一の画像の各画素において第一の信頼度、および、第二の信頼度が求められる。第一の信頼度と第二の信頼度、および、第一の類似度と第二の類似度を三次元座標決定部２０６に出力する。
【００４２】
（ステップＳ２６）
ステップＳ２６では、三次元座標決定部２０６が、信頼度取得部２０５から入力された第一の信頼度と第二の信頼度、および、第一の類似度と第二の類似度を用いて三次元座標を決定する。
【００４３】
まず、第一の画像の各画素において第一の類似度と第二の類似度を次のような式によって統合する。
【００４４】
【数２】
2018063161.tif 000004
【００４５】
ただし、pは第一の画像の任意の画素、qは三次元点、C(p,q)は統合後の類似度、A(p,q)は第一の類似度、B(p,q)は第二の類似度、αは第一の信頼度、βは第二の信頼度を表している。そして、このようにして得られる統合類似度C(p,q)が最大となる位置を正しい三次元点ｑとして決定する。この処理を第一の画像の各画素において行うことで、画素数分の三次元座標（Ｘ，Ｙ，Ｚ）を算出し、処理を終了する。
【００４６】
上記に述べた構成で、アクティブ方式とパッシブ方式それぞれから求められる類似度と類似度から求められる信頼度に基づいて、三次元点を決定することで、より安定、高精度に対象物体のテクスチャによらず三次元座標を算出することができる。
【００４７】
［第２の実施形態の変形例］
ステップＳ２５において、信頼度の算出は類似度のピーク度合い（尖度）に限る必要はない。例えば、アクティブ方式とパッシブ方式それぞれ単体で求められる三次元点の距離で設定してもよい。それぞれから求められる類似度のピーク位置の距離が閾値（例えば１）以内であれば、それぞれ同じ信頼度を設定し、閾値（例えば１）より遠い場合は第３の実施形態で示すように画像から求められる信頼度によって、どちらをより信頼するかを決定すればよい。または、距離が近いほどアクティブ方式の信頼度を低く、および、パッシブ方式の信頼度を高くし、距離が遠いほどアクティブ方式の信頼度を高く、および、パッシブ方式の信頼度を低くしてもよい。
【００４８】
（第３の実施形態）
第３の実施形態において説明する情報処理装置は、第２の実施形態と同様に、アクティブ方式とパッシブ方式の三次元計測手法を併用して対象物体の三次元形状を取得する三次元計測装置である。ただし、第２の実施形態の信頼度取得部では、類似度に基づいて信頼度を算出したが、第３の実施形態の信頼度取得部は、撮像画像に基づいて信頼度を算出する点が異なっている。撮像画像に基づいて信頼度が決められるため、類似度を全探索範囲で算出する必要がなく、対象物体のテクスチャによらず安定、高精度な三次元座標をより高速に算出することができる。
【００４９】
［装置の構成］
図８のブロック図を参照して、第３の実施形態の情報処理装置３１００を備える三次元計測装置３０００の装置例を示す。なお、第２の実施形態と略同様である装置については同符号を付して説明を省略する。
【００５０】
情報処理装置３１００は、投影パターン情報保持部３０１、画像取得部３０２、第一類似度取得部３０３、第二類似度取得部３０４、信頼度取得部３０５、及び三次元座標決定部３０６を備える。なお、投影パターン情報保持部３０１は第２の実施形態と略同様であるため、説明を省略する。
【００５１】
画像取得部３０２は、第２の実施形態と同様に、近赤外撮像装置２、可視光撮像装置３、および、可視光撮像装置４を制御して撮像させ、各々の撮像画像を取得する。そして、近赤外撮像装置２によって撮像された画像（第一の画像：アクティブ方式用の画像）を第一類似度取得部３０３と信頼度取得部３０５とに出力する。また、可視光撮像装置３、および、可視光撮像装置４によって撮像された画像（第二の画像：パッシブ方式用の画像）を第二類似度取得部３０４と信頼度取得部３０５とに出力する。
【００５２】
第一類似度取得部３０３は、第一の画像とランダムドットパターン画像との間の局所領域における輝度分布がどれだけ似ているかを表す第一の類似度を算出して取得する。算出された第一の類似度を三次元座標決定部３０６に出力する。
【００５３】
第二類似度取得部３０４は、二枚の第二の画像間の局所領域における輝度分布がどれだけ似ているかを示す第二の類似度を算出して取得する。算出された第二の類似度を三次元座標決定部３０６に出力する。
【００５４】
信頼度取得部３０５は、第一の画像と第二の画像から算出されるそれぞれの類似度がどれほど信頼できるかを表す第一の信頼度と第二の信頼度を算出すして取得する。算出された第一の信頼度と第二の信頼度を三次元座標決定部３０６に出力する。
【００５５】
三次元座標決定部３０６は、第一の信頼度と第二の信頼度、および、第一の類似度と第二の類似度を統合することで、アクティブ方式とパッシブ方式の両者を考慮した類似度を求め、尤もらしい三次元座標を探索し、決定する。
【００５６】
［計測処理］
続いて、図９のフローチャートを参照して、第３の実施形態の情報処理装置３１００による計測処理を説明する。なお、ステップＳ３１、および、ステップＳ３２は第２の実施形態の対応する各ステップと略同様であるため、説明を省略する。
【００５７】
（ステップＳ３３）
ステップＳ３３では、信頼度取得部３０５が、画像取得部３０２から入力された第一の画像と第二の画像とから取得されるそれぞれの類似度の信頼度を算出する。信頼度は、注目画素とその近傍領域の画素（例えば、注目画素の周囲８画素）における空間周波数の高さによって定義する。注目画素とその近傍領域の画素をフーリエ変換し、ある一定以上の振幅を持つ空間周波数が高いほど信頼度を高く設定する。アクティブ方式では、投影パターンが、ボケやブレが少なく、はっきりと写っていれば正確な三次元座標を算出でき、パッシブ方式では、勾配特徴があれば正確な三次元座標を算出できる。そのため、両者とも高い空間周波数を含むテクスチャの場合は、信頼できる類似度が算出されると判定できる。
【００５８】
このような処理を第一の画像、および、第二の画像の各画素に関して行うことで、第一の画像の各画素において第一の信頼度、および、第二の画像の各画素において第二の信頼度が求められる。求められた第一の信頼度と第二の信頼度を三次元座標決定部３０６に出力する。
【００５９】
（ステップＳ３４）
ステップＳ３４では、三次元座標決定部３０６が、第一の画像の各画素において適当な三次元座標を初期値として与える。以下、図３を用いて三次元座標の初期値を与える処理を説明する。各符号の説明は第１の実施形態と同様であるため、説明を省略する。
【００６０】
具体的には、第一の画像の各画素において、校正データから求められるｅ１方向に沿ってランダムに三次元点を一つ設定する。設定されたランダムの三次元点を第一類似度取得部３０３と第二類似度取得部３０４に出力する。
【００６１】
（ステップＳ３５）
ステップＳ３５では、第一類似度取得部３０３が、三次元座標決定部３０６から入力された三次元座標を、画像取得部３０２から入力された第一の画像とランダムドットパターン画像とに投影し、投影された画素における局所領域同士の類似度を求める。以下、図３を用いて類似度を求める処理を説明する。各符号の説明は第１の実施形態と同様であるため、説明を省略する。
【００６２】
まず、類似度を算出するために必要なランダムドットパターン画像を投影パターン情報保持部３０１から読み込む。次に、校正データに基づいてランダムに設定された三次元座標を投影し、注目画素ｐ１とｐ２を算出する。最後に、第１の実施形態と同様に、SADの逆数を求める。
【００６３】
このような処理をすべての三次元座標において行うことで、各三次元点に対して第一の類似度と注目画素ｐ１が求められる。求められた第一の類似度と注目画素ｐ１を三次元座標決定部３０６に出力する。
【００６４】
（ステップＳ３６）
ステップＳ３６では、第二類似度取得部３０４が、三次元座標決定部３０６から入力された三次元座標を、画像取得部３０２から入力された二枚の第二の画像に投影し、投影された画素における局所領域同士の類似度を求める。以下、図４を用いて類似度を求める処理を説明する。各符号の説明は第１の実施形態と同様であるため、説明を省略する。
【００６５】
まず、校正データに基づいてランダムに設定された三次元座標を投影し、注目画素ｐ３とｐ４を算出する。そして、第１の実施形態と同様に、SADの逆数を求める。
【００６６】
このような処理をすべての三次元座標において行うことで、各三次元点に対して第二の類似度と注目画素ｐ３が求められる。求められた第二の類似度と注目画素ｐ３を三次元座標決定部３０６に出力する。
【００６７】
（ステップＳ３７）
ステップＳ３７では、三次元座標決定部３０６が、第一類似度取得部３０３から入力された第一の類似度と注目画素ｐ１、第二類似度取得部３０４から入力された第二の類似度と注目画素ｐ３、および、信頼度取得部３０５から入力された第一の信頼度と第二の信頼度を用いて三次元座標を評価し、三次元座標を更新、または、決定する。
【００６８】
まず、各三次元座標において、注目画素ｐ１、および、注目画素ｐ３から、注目画素ｐ１における第一の信頼度、および、注目画素ｐ３における第二の信頼度を求める。次に、各三次元座標における第一の類似度と第二の類似度を、第２の実施形態と同様に、式２に基づいて統合する。そして、統合類似度C(p,q)を評価値とし、山登り法によって三次元座標を更新、または、決定する。現在の統合類似度と現在の三次元座標の近傍における統合類似度を比較評価し、より類似度が高い三次元座標に更新していく。三次元座標の更新と統合類似度の評価を類似度の変化が無くなるまで繰り返すことで、統合類似度が最大（または極大）となる三次元座標を求めることができる。統合類似度の変化が無くなった場合は、探索を終了して三次元座標を決定し、統合類似度の変化がある場合は三次元座標を更新し、更新した三次元座標を第一類似度取得部３０３、および、第二類似度取得部３０４に出力する。
【００６９】
このような処理を各三次元座標において行うことで、第一の画像の各画素に対して、画素数分の三次元座標（Ｘ，Ｙ，Ｚ）を算出し、処理を終了する。
【００７０】
上記に述べた構成で、アクティブ方式とパッシブ方式それぞれから求められる類似度と各画像から求められる信頼度に基づいて、三次元点を決定することで、より高速に対象物体のテクスチャによらず全周形状を安定、高精度に算出することができる。
【００７１】
［第３の実施形態の変形例］
ステップＳ３４において、信頼度の算出は空間周波数に限る必要はない。例えば、アクティブ方式では、投影パターンが高輝度に写っていれば正しい三次元座標を求めることができるため、第一の画像において輝度値が高い画素ほど信頼度を高く、低い画素ほど信頼度を低く設定してもよい。一方、パッシブ方式では、勾配特徴があれば正しい三次元座標を求めることができるため、第二の画像において勾配強度が強い画素の信頼度を高く、弱い画素の信頼度を低く設定してもよい。
【００７２】
（各実施形態共通の変形例）
［変形例１］
第１の実施形態、第２の実施形態、および、第３の実施形態において、アクティブ方式とパッシブ方式で用いる光の波長は、近赤外光と可視光にそれぞれ分けたが、これに限る必要はない。アクティブ方式が可視光を、パッシブ方式が近赤外光を用いてもよいし、近赤外光や可視光以外の波長の光を用いてもよい。さらに、光の波長を分けるのではなく、パターンを投影した状態と投影していない状態とを時間を分けて撮像してもよい。
【００７３】
また、アクティブ方式とパッシブ方式で用いる撮像装置は共有してもよい。つまり、投影装置を１台、撮像装置を２台にしてもよい。この際、パターンを投影した状態と投影していない状態とを時間を分けて撮像してもよいし、パターンを投影した状態のみを撮像してもよい。どちらの場合でも第１の実施形態、第２の実施形態、および、第３の実施形態と同様に類似度を算出すれば、同様の効果が得られる。このようにすることで、必要な機器を減らせるため、機器のコストを抑えることができる。
【００７４】
［変形例２］
ステップＳ１１、ステップＳ２１、および、ステップＳ３１において、投影するパターン、および、投影パターン情報保持部が保持するパターン画像はランダムドットパターンとしたが、これに限る必要はない。パターン画像中のある局所領域と類似するパターンが探索方向（エピポーラ方向）の他領域に見つからないようなパターンであればよい。例えば、エピポーラ線が画像の横方向に合わせてある場合（レクティフィケーションされている場合）は、横方向にのみランダム性があるドットパターンにしてもよいし、ドットではなく、線分や丸などがランダムに並んでいるようなパターンでもよい。さらに、パターン画像は二値に限る必要はなく、階調や色調を持たせたパターンでもよい。
【００７５】
また、パターン画像として保持している必要はない。例えば、ランダムドットのドットが存在する画素位置だけを保持してもよいし、ドットをランダムに打つ確率をパラメタとして持っておき、その確率に従ってランダムドットパターン画像を生成してもよい。
【００７６】
［変形例３］
ステップＳ１２、ステップＳ２２、および、ステップＳ３２において、画像は計測処理の途中で対象物体を撮像することで取得したが、これに限る必要はない。事前に撮像した画像をメモリから読み込むようにしてもよいし、ネットワーク上のサーバからダウンロードしてきてもよい。
【００７７】
［変形例４］
ステップＳ１３、ステップＳ１４、ステップＳ２３、ステップＳ２４、および、ステップＳ３４において、アクティブ方式の撮像装置を基準視点としたが、これに限る必要はない。他の投影装置や撮像装置を基準視点としてもよいし、仮想的に設定した視点を基準視点としてもよい。また、基準視点を設定せず、ボクセルベースで三次元形状を表現してもよい。
【００７８】
［変形例５］
ステップＳ１３、ステップＳ１４、ステップＳ２３、ステップＳ２４、および、ステップＳ３４において、類似度を算出する注目画素とその近傍領域の画素（局所領域）を決めるために、三次元点を各画像に投影し注目画素を決定したが、これに限る必要はない。例えば、事前にステレオ画像のレクティフィケーションがしてある場合は、三次元点ではなく視差で注目画素を表してもよいし、三次元点ではなく三次元平面や三次元曲面を各画像に投影することで局所領域を決定してもよい。
【００７９】
［変形例６］
ステップＳ１３、ステップＳ１４、ステップＳ２３、ステップＳ２４、ステップＳ３５、および、ステップＳ３６において、SADを類似度としたが、これに限る必要はない。SSD（Sum of Squared Difference）、NCC（Normalizes Cross-Correlation）、ZNCC（Zero-mean Normalized Cross-Correlation）など類似度を表せる指標であればどのようなものを用いてもよい。さらに、これらの指標に対して、指数や対数をとることでスケーリングした値でもよい。
【００８０】
また、類似度算出の際の近傍領域の画素は、注目画素の周囲８画素に限定する必要はなく、周囲何画素用いてもよい。周囲０画素でもよいし、周囲２４画素でもよい。
【００８１】
［変形例７］
ステップＳ１５、ステップＳ２６、および、ステップＳ３７において、統合類似度の算出方法は式１、式２に限る必要はない。
【００８２】
【数３】
2018063161.tif 000005
【００８３】
【数４】
2018063161.tif 000006
【００８４】
上記の式（３）のように類似度の乗算で表わしてもよいし、式（４）のように対数和で表わしてもよい。
【００８５】
［変形例８］
ステップＳ１５、ステップＳ２６、および、ステップＳ３７において、三次元座標の決定手法は全探索や山登り法に限る必要はない。Graph Cut、Belief Propagation、焼きなまし法、PatchMatchなどのアルゴリズムを用いて決定してもよい。
【００８６】
＜実施形態の効果＞
第１の実施形態によれば、アクティブ方式とパッシブ方式それぞれから求められる類似度を統合した類似度に基づいて、三次元点を決定することで、対象物体のテクスチャによらず三次元座標を安定、高精度に算出することができる。
【００８７】
第２の実施形態によれば、アクティブ方式とパッシブ方式それぞれから求められる類似度と類似度から求められる信頼度に基づいて、三次元点を決定することで、より安定、高精度に対象物体のテクスチャによらず三次元座標を算出することができる。
【００８８】
第３の実施形態によれば、アクティブ方式とパッシブ方式それぞれから求められる類似度と各画像から求められる信頼度に基づいて、三次元点を決定することで、より高速に対象物体のテクスチャによらず全周形状を安定、高精度に算出することができる。
【００８９】
＜定義＞
本発明における投影パターン情報保持部が保持するパターン画像は、変形例２で説明したように、パターン画像中のある局所領域と類似するパターンが探索方向の他領域に見つからないようなパターンであれば、どのようなパターンでもよい。例えば、探索方向が画像の横方向であれば、横方向にのみランダムにドットが並んでいるようなパターンでもよいし、ドットではなく線分や丸などの単純な幾何形状が並んでいるパターンでもよい。さらに、パターン画像は二値に限る必要はなく、階調や色調を持たせたパターンでもよい。また、パターン画像として保持している必要はない。例えば、ランダムドットのドットが存在する画素位置だけを保持してもよいし、ドットをランダムに打つ確率をパラメタとして持っておき、その確率に従ってランダムドットパターン画像を生成してもよい。
【００９０】
また、本発明における画像取得部は、変形例３で説明したように、アクティブ方式用の画像である第一の画像とパッシブ方式用の画像である第二の画像が取得できるのであれば、どのような方法を用いてもよい。例えば、三次元計測をする度に撮像してもよいし、事前に撮像した画像をメモリから読み出してもよい。
【００９１】
また、本発明における第一類似度取得部、および、第二類似度取得部は、変形例６で説明したように、画像の局所領域間の類似性を表す指標であれば、どのような指標を用いてもよい。例えば、SADでもよいし、SSD、NCC、ZNCCなどでもよい。
【００９２】
また、本発明における信頼度取得部は、第２の実施形態、および、第３の実施形態で説明したように、類似度の信頼性を表す値であれば、どのような値を用いてもよい。例えば、各類似度のピーク度合い（尖度）が高いほど高くしてもよいし、各方式それぞれから求められる三次元座標の距離によって決定してもよい。また、各画像の局所領域における空間周波数が高いほど高くしてもよいし、輝度値や勾配強度の高さによって決定してもよい。
【００９３】
また、本発明における三次元座標決定部は、変形例６で説明したように、第一の類似度と第二の類似度の両者を考慮した統合類似度が表せるのであれば、どのような類似度の統合方法をとってもよい。例えば、重み付き線形和でもよいし、乗算、重み付き対数和でもよい。さらに、変形例７で説明したように、類似度が最大（または極大）をとる三次元座標を探索できるアルゴリズムであれば、どのようなアルゴリズムを用いてもよい。例えば、全探索でもよいし、山登り法、Graph Cut、Belief Propagation、焼きなまし法、PatchMatchなどでもよい。
【００９４】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９５】
１０００：三次元計測装置、１：近赤外投影装置、２：近赤外撮像装置、３：可視光撮像装置、４：可視光撮像装置、１１００：情報処理装置、１０１：投影パターン情報保持部、１０２：画像取得部、１０３：第一類似度取得部、１０４：第二類似度取得部、１０５：三次元座標決定部
【図１】
2018063161.tif 000007
【図２】
2018063161.tif 000008
【図３】
2018063161.tif 000009
【図４】
2018063161.tif 000010
【図５】
2018063161.tif 000011
【図６】
2018063161.tif 000012
【図７】
2018063161.tif 000013
【図８】
2018063161.tif 000014
【図９】
2018063161.tif 000015