(57)【要約】  本発明は、３次元デジタルイメージング分野に関し、具体的にはマルチ測定モードの３次元測定システムおよび測定方法に関する。測定システムは、制御ユニット、可変デジタルパターン生成ユニット、画像処理ユニット、計算ユニットおよび少なくとも１つの画像センサを含み、前記制御ユニットは、測定システム全体の調整作業を制御するために用いられる。前記可変デジタルパターン生成ユニットは、メモリおよびプロジェクタを含み、前記メモリには、複数のライトテンプレートデジタルパターンが記憶される。前記画像センサは、被測定物の表面に投影されたパターンを取得するために用いられる。前記画像処理ユニットは、マルチモードデジタル画像プロセッサである。前記計算ユニットは、マルチモード３次元ポイントクラウドカウンタである。本発明のマルチ測定モードの３次元測定システムおよび測定方法は、測定モードを切り替えることにより、異なる被測定物の表面への高精度で、詳細な３次元測定またはハンドヘルドリアルタイム測定を実現することができ、幅広い適用範囲を有する。
2019505809.tif 000002
【特許請求の範囲】
【請求項１】
マルチ測定モードの３次元測定システムであって、
制御ユニット、可変デジタルパターン生成ユニット、画像処理ユニット、計算ユニットおよび少なくとも１つの画像センサを含み、
前記制御ユニットは、それぞれ前記可変デジタルパターン生成ユニット、画像処理ユニット、計算ユニットおよび画像センサに接続され、測定システム全体の調整作業を制御するために用いられ、
前記可変デジタルパターン生成ユニットは、メモリおよびプロジェクタを含み、前記メモリには、複数のライトテンプレートデジタルパターンが記憶され、前記プロジェクタは、デジタルプロジェクタであり、前記メモリに記憶されたデジタルパターンを被測定物の表面に投影するために用いられ、
前記画像センサは、前記プロジェクタが被測定物の表面に投影されたパターンを取得するために用いられ、
前記画像処理ユニットは、複数の画像処理モードを備えたマルチモードデジタル画像プロセッサであり、選択された画像処理モードに応じて、前記画像センサによって取得された被測定物の表面のパターンを抽出し、被測定物の表面の2次元特徴を取得するために用いられ、
前記計算ユニットは、複数の３次元ポイントクラウド計算モードを備えたマルチモード３次元ポイントクラウドカウンタであり、選択された３次元ポイントクラウド計算モードに応じて、前記画像処理ユニットによって処理された後の２次元特徴に対して対応ポイント検索および３次元再構成を実行し、被測定物の表面の３次元データを取得するために用いられる、
ことを特徴とする前記マルチ測定モードの３次元測定システム。
【請求項２】
前記メモリに記憶されたライトテンプレートデジタルパターンは、正弦波ストライプ、デジタルスペックルパターン、複数本の平行線パターンを含むが、これらに限定されるものではないことを特徴とする、
請求項１に記載のマルチ測定モードの３次元測定システム。
【請求項３】
ヒューマン-コンピュータインタラクションユニットをさらに含み、前記ヒューマン-コンピュータインタラクションユニットは、前記制御ユニットに接続され、ライトテンプレートデジタルパターン、画像処理モードおよび３次元ポイントクラウド計算モードを取得し、かつ測定結果を表示するために用いられることを特徴とする、
請求項１に記載のマルチ測定モードの３次元測定システム。
【請求項４】
通信ユニットをさらに含み、前記通信ユニットは、前記制御ユニットに接続され、外部端末と通信するために用いられることを特徴とする、
請求項１に記載のマルチ測定モードの３次元測定システム。
【請求項５】
前記通信ユニットと外部端末との通信コンテンツは、前記計算ユニットで得られた被測定物の表面の３次元データの出力、および更新または追加されたライトテンプレートデジタルパターン、画像処理アルゴリズムおよび３次元ポイントクラウド計算アルゴリズムの入力を含むことを特徴とする、
請求項４に記載のマルチ測定モードの３次元測定システム。
【請求項６】
前記３次元測定システムは、ハンドヘルド測定装置であることを特徴とする、
請求項１−５のいずれか１項に記載のマルチ測定モードの３次元測定システム。
【請求項７】
前記ハンドヘルド測定装置は、本体、本体前面中央に配置されたプロジェクタ、プロジェクタの両側に対称に配置された画像センサ、本体内に配置された制御ユニット、メモリ、画像処理ユニットおよび計算ユニットを含み、前記本体の背面にハンドルまたはハンドヘルド部が配置されることを特徴とする、
請求項６に記載の３次元測定システム。
【請求項８】
マルチ測定モードの３次元測定方法であって、以下のステップ：
Ｓ１、統合されたデータ構造モデルを確立し、前記統合されたデータ構造モデルは、マルチ測定モードから得られた測定データの統合された表示に用いられ；
Ｓ２、単一の測定モードでは、測定されたポイントクラウドの各部分に対して前記統合されたデータ構造を使用して表現し、かつ計算および前処理を行い；
Ｓ３、異なる測定モードで得られたデータをスティッチングして、任意の位置にある２つのポイントクラウドを統合された座標系に位置合わせし；
Ｓ４、スティッチングしたデータに対して混合グローバル最適化を実行して、測定結果を得る；
を含むことを特徴とする前記マルチ測定モードの３次元測定方法。
【請求項９】
ステップＳ１において、マルチ測定モードは、正弦波ストライプ測定、デジタルスペックル測定、複数本の平行線測定を含むことを特徴とする、
請求項８に記載のマルチ測定モードの３次元測定方法。
【請求項１０】
ステップＳ１は、具体的に、
複数の測定モードから得られた測定データについて、連続暗黙関数Ｄ（ｘ）を用いて表現することを含み、ここで、ｘ∈Ｒ３は、３次元空間内の位置を表し、Ｄ（ｘ）はｘから被測定物の表面までの最短距離を表し、Ｄ（ｘ）＝０で表される連続曲面は測定された物体の表面であることを特徴とする、
請求項８に記載のマルチ測定モードの３次元測定方法。
【請求項１１】
ステップＳ２において、計算および前処理は、具体的に、
Ｓ２１、測定領域を囲む１つの立方体Ｇを使用してＤ（ｘ）の作用範囲とし、立方体Ｇを同じサイズの小さな立方体ｇｉに均等に分割し；
Ｓ２２、測定されたポイントクラウドにおける各ポイント（Ｐｊ、Ｎｊ）に対して、Ｐｊが位置する小さな立方体ｇＰｊを見つけ、ここで、Ｐｊはポイントの３次元座標であり、Ｎｊはポイントの法線ベクトルであり；
Ｓ２３、各ｇＰｊおよびｇＰｊを中心とするｎ３個のｇｉに対して、それぞれ距離値Ｄ（ｘｉ）および距離値の信頼重みＷ（ｘｉ）を計算し、
2019505809.tif 000020
2019505809.tif 000021
ここで、１＜ｎ≦１０であり、ｘｉは、計算に関与するｇＰｊおよびｇｉの中心点を表し、Ｄ（ｘｉ）は、ｘｉから被測定物の表面までの最短距離を表し、物体の外においては正の値であり、物体の内においては負の値であり、Ｗ（ｘｉ）はＤ（ｘｉ）の信頼性を表し、ｄｇはｇｉの辺の長さを表し；
Ｓ２４、マーチングキューブ（Ｍａｒｃｈｉｎｇ  Ｃｕｂｅ）を使用して、ポイントクラウドおよびグリッドの結果を得る；
を含むことを特徴とする請求項１０に記載のマルチ測定モードの３次元測定方法。
【請求項１２】
さらに、
Ｓ２５、測定された複数のポイントクラウドにおけるポイントが同じｇｉに繰り返し入る場合、前記距離値Ｄ（ｘｉ）および距離値の信頼重みＷ（ｘｉ）を順に計算し、
2019505809.tif 000022
ここで、Ｄ（ｘｉ）は更新前の距離値を表し、Ｗ（ｘｉ）は更新前の信頼重みを表し、ｄ（ｘｉ）は最後に計算された距離値を表し、ｗ（ｘｉ）は最後に計算された信頼重みを表し、Ｄ＊（ｘｉ）は更新後の距離値を表し、Ｗ＊（ｘｉ）は更新後の信頼重みを表し；
続いて、マーチングキューブを使用して、ポイントクラウドおよびグリッドの結果を得る；
を含むことを特徴とする、
請求項１１に記載のマルチ測定モードの３次元測定方法。
【請求項１３】
さらに、
Ｓ２６、測定された複数のポイントクラウドにおけるポイントが同じｇｉに繰り返し入る場合、前記距離値Ｄ（ｘｉ）および距離値の信頼重みＷ（ｘｉ）を順に計算し、測定した後に、各ｇｉに対して、加重平均法を使用して最終的なＤｆ（ｘｉ）とＷｆ（ｘｉ）を得て、
2019505809.tif 000023
ここで、Ｄｊ（ｘｉ）およびＷｊ（ｘｉ）は、複数のポイントクラウドにおけるポイントｊが同じｇｉに繰り返し入る場合に計算された値であり、続いて、マーチングキューブを使用して、ポイントクラウドおよびグリッドの結果を得る；を含むことを特徴とする、
請求項１１に記載のマルチ測定モードの３次元測定方法。
【請求項１４】
測定モードが複数本の平行線測定であるとき、測定過程で得られた測定データは、リアルタイム計算更新を実行せず、サンプリングのみの方式で表示し、ユーザをガイドして測定し、
測定した後に、測定された全てのポイントクラウドを統合されたグローバル座標系に配置し、続いて、全てのポイントクラウドの法線ベクトルを計算し、その後、距離値Ｄ（ｘｉ）および距離値の信頼重みＷ（ｘｉ）の計算を一律に行う、
ことを特徴とする請求項１１に記載のマルチ測定モードの３次元測定方法。
【請求項１５】
全てのポイントクラウドの法線ベクトルを計算するとき、主成分分析を使用して各ポイントの法線ベクトルを計算し、具体的には以下の式を使用し、
2019505809.tif 000024
ここで、ｐは法線ベクトルを計算しようとするポイントであり、ｑｉはｐ特定領域内のポイントであり、Ｍ（ｐ）は共分散行列であり、最小特徴値に対応する特徴ベクトルはｐの法線ベクトルであり、法線ベクトルがカメラに向ける方向を法線ベクトルの方向とすることを特徴とする、
請求項１４に記載のマルチ測定モードの３次元測定方法。
【請求項１６】
ステップＳ３において、異なる測定モードで得られたデータに対して粗いスティッチングおよび正確なスティッチングを含むスティッチングを行い、前記粗いスティッチングの方法は、手動選択粗いスティッチング、マーカポイントスティッチング、特徴スティッチングを含み、前記正確なスティッチングの方法は、反復近接ポイント方法を含むことを特徴とする、
請求項８に記載のマルチ測定モードの３次元測定方法。
【請求項１７】
ステップＳ４は、具体的に、
Ｓ４１、測定データの２つのフレーム間でポイントクラウドおよびマーカポイントの対応ポイントを見つけ；
Ｓ４２、誤差式を最小化して、各フレームのポイントクラウドの剛体変形行列を得；
Ｓ４３、剛体変換行列を各フレームのポイントクラウドに乗算し、収束するまで反復する；、
を含むことを特徴とする請求項８−１６のいずれか１項に記載のマルチ測定モードの３次元測定方法。
【請求項１８】
ステップＳ４２において、使用される誤差式は、
2019505809.tif 000025
であり、
ここで、（ｐｋ、ｑｋ）は（ｉ、ｊ）の対応ポイントであり、（Ｐｋ、Ｑｋ）は（ｉ、ｊ）の対応マーカポイントであり、ｎｋはｑｋの法線ベクトルであり、ＲＴｉはｉ番目のポイントクラウドの剛体変換行列であり、ＲＴはすべてのポイントクラウドの剛体変換行列であり、
2019505809.tif 000026
はそれぞれポイントクラウドの対応ポイントとマーカポイントの対応ポイントの重みであることを特徴とする、
請求項１７に記載のマルチ測定モードの３次元測定方法。
【請求項１９】
ｉ、ｊにおけるあるフレームが複数本の平行線測定データであるとき、
2019505809.tif 000027
とすることを特徴とする、
請求項１８に記載のマルチ測定モードの３次元測定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は３次元デジタルイメージングおよびモデリング分野に関し、具体的にはマルチ測定モードの３次元測定システムおよび測定方法に関する。
【背景技術】
【０００２】
物体表面への非接触３次元測定技術は、産業、医療、芸術、教育など多くの分野に広く適用される。異なる分野の適用は、３次元測定への技術要求がいずれも異なる。例えば、自動車業界では、データ精度が高く、データ詳細が明確である３次元測定を必要とし、人体の３次元測定では、人体の３次元データの迅速な取得を必要とし、測定システムがハンドヘルド機能を持つ必要があり、精度要求が低く、大規模な彫刻の３次元測定では、測定システムがハンドヘルド機能を持つ必要があり、同時に、データの精度が高く、データには特定の詳細がある。
【０００３】
現在知られている３次元スキャナおよびその測定方法のいずれも、上記の要求を満たす機能を１つの３次元測定システムに統合していない。例えば、中国特許ＣＮ１４８３９９９Ａは、物体の３次元表面ポーチを測定するための方法およびシステムを開示し、符号化されたライトおよび位相シフトを用いる３次元測定システムは、高精度の３次元測定を実現することができる。しかし、該方法およびシステムは、複数枚の画像を使用して３次元再構成を行い、ハンドヘルド機能を実現することができない。さらに、発明特許ＣＮ１０１１８９４８７Ｂに開示されている３次元走査自動基準システムおよび装置、ならびに発明特許ＣＮ１０２１１２８４５Ｂに開示されている表面特徴用の自己適応３次元走査システムはいずれも、ハンドヘルド３次元スキャナに言及している。しかしながら、上記装置は、詳細で、高精度の３次元測定を実現できず、同時に、投影パターンはリモート更新を実現することができない。さらに、上記の複数の測定モードは独立して実行され、その測定されたデータは処理、融合、最適化を行うことができず、いくつかの測定モードを単に１つのデバイスに集中するだけである。この状況では、複数の測定モードを使用して測定結果を最適化することはあまり役に立たない。
【発明の概要】
【０００４】
本発明が解決する技術的課題は、マルチ測定モードの３次元測定システムを提供することであり、測定モードを切り替えることにより、複数枚の構造化ライトパターンの固定測定モードを使用して、物体表面への高精度で、詳細な３次元測定を実現できるだけでなく、また単一画像のハンドヘルド測定モードを使用して、物体表面への高速リアルタイムのハンドヘルド３次元測定を実現することができる。
【０００５】
上記目的を実現するために、本発明は、以下の技術的解決手段を採用する。
【０００６】
マルチ測定モードの３次元測定システムは、制御ユニット、可変デジタルパターン生成ユニット、画像処理ユニット、計算ユニットおよび少なくとも１つの画像センサを含む。
【０００７】
前記制御ユニットは、それぞれ前記可変デジタルパターン生成ユニット、画像処理ユニット、計算ユニットおよび画像センサに接続され、測定システム全体の調整作業を制御するために用いられる。
【０００８】
前記可変デジタルパターン生成ユニットは、メモリとプロジェクタを含み、前記メモリには、複数のライトテンプレートデジタルパターンが記憶され、前記プロジェクタは、デジタルプロジェクタであり、前記メモリに記憶されたデジタルパターンを被測定物の表面に投影するために用いられる。
【０００９】
前記画像センサは、前記プロジェクタが被測定物の表面に投影したパターンを取得するために用いられる。
【００１０】
前記画像処理ユニットは、複数の画像処理モードを備えたマルチモードデジタル画像プロセッサであり、選択された画像処理モードに応じて、前記画像センサによって取得された被測定物の表面のパターンを抽出し、被測定物の表面の２次元特徴を取得するために用いられる。
【００１１】
前記計算ユニットは、複数の３次元ポイントクラウド計算モードを備えたマルチモード３次元ポイントクラウドカウンタであり、選択された３次元ポイントクラウド計算モードに応じて、前記画像処理ユニットによって処理された後の２次元特徴に対して対応ポイント検索および３次元再構成を実行し、被測定物の表面の３次元データを取得するために用いられる。
【００１２】
好ましくは、前記メモリに記憶されたライトテンプレートデジタルパターンは、正弦波ストライプ、デジタルスペックルパターン、複数本の平行線パターンを含むが、これらに限定されるものではない。
【００１３】
さらに、ヒューマン-コンピュータインタラクションユニットを含み、前記ヒューマン-コンピュータインタラクションユニットは、前記制御ユニットに接続され、ライトテンプレートデジタルパターン、画像処理モードおよび３次元ポイントクラウド計算モードを取得し、かつ測定結果を表示するために用いられる。
【００１４】
さらに、通信ユニットを含み、前記通信ユニットは、前記制御ユニットに接続され、外部端末と通信するために用いられる。
【００１５】
さらに、前記通信ユニットと外部端末との通信コンテンツは、前記計算ユニットで得られた被測定物の表面の３次元データの出力、および更新または追加されたライトテンプレートデジタルパターン、画像処理アルゴリズムおよび３次元ポイントクラウド計算アルゴリズムの入力を含む。
【００１６】
さらに、前記３次元測定システムは、ハンドヘルド測定装置である。
【００１７】
好ましくは、前記ハンドヘルド測定装置は、本体、本体前面中央に配置されたプロジェクタ、プロジェクタの両側に対称に配置された画像センサ、本体内に配置された制御ユニット、メモリ、画像処理ユニットおよび計算ユニットを含み、前記本体背面にハンドルまたはハンドヘルド部が配置される。
【００１８】
本発明のマルチ測定モードの３次元測定システムは、その可変デジタルパターン生成ユニット上のメモリに複数のライトテンプレートデジタルパターンが記憶され、デジタルプロジェクタによって被測定物の表面に投影され、続いて画像センサによって対応するパターンを取得し、マルチモードデジタル画像プロセッサおよびマルチモード３次元ポイントクラウドカウンタによって処理した後に、マルチ測定モードでの測定データを得ることができる。測定モードを切り替えることにより、複数枚の構造化ライトパターンの固定測定モードを使用して、工業用部品などの物体表面への高精度で、詳細な３次元測定を実現できるだけでなく、また単一画像のハンドヘルド測定モードを使用して、人体、彫刻などの物体表面への高速リアルタイムのハンドヘルド３次元測定を実現することができる。それにより、ユーザニーズに応じて、異なる被測定物の表面への高精度で、詳細な３次元測定またはハンドヘルドリアルタイム測定を実現することができ、幅広い適用範囲を有する。
【００１９】
一方、本発明の３次元測定システムは、通信ユニットによってライトテンプレートデジタルパターン、画像処理アルゴリズムおよび３次元ポイントクラウド計算アルゴリズムを更新または追加することにより、ユーザ装置へのリモートアップグレードを実現し、またはユーザの測定モードを追加することができ、ユーザのさまざまな時期のニーズをさらに満たし、装置の更新コストを低減させ、良好な経済的利益を有する。
【００２０】
本発明は、マルチ測定モードの３次元測定方法をさらに提供し、上記マルチ測定モードの３次元測定システムのデータ処理に用いられ、それにより、詳細で、高精度の３次元測定を実現する。
【００２１】
具体的には、前記マルチ測定モードの３次元測定方法は、以下のステップ：
Ｓ１、統合されたデータ構造モデルを確立し、前記統合されたデータ構造モデルは、マルチ測定モードから得られた測定データの統合された表示に用いられ；
Ｓ２、単一の測定モードでは、測定されたポイントクラウドの各部分に対して前記統合されたデータ構造を使用して表現し、かつ計算および前処理を行い；
Ｓ３、異なる測定モードから得られたデータをスティッチングして、任意の位置にある２つのポイントクラウドを統合された座標系に位置合わせし；
Ｓ４、スティッチングしたデータに対して混合グローバル最適化を実行して、測定結果を得る；
を含み、
さらに、ステップＳ１において、マルチ測定モードは、正弦波ストライプ測定、デジタルスペックル測定、複数本の平行線測定を含む。
【００２２】
さらに、ステップＳ１は、具体的に、
複数の測定モードから得られた測定データについて、連続暗黙関数Ｄ（ｘ）を用いて表現することを含み、ここで、ｘ∈Ｒ３は、３次元空間内の位置を表し、Ｄ（ｘ）はｘから被測定物の表面までの最短距離を表し、Ｄ（ｘ）＝０で表される連続曲面は測定された物体の表面である。
【００２３】
さらに、ステップＳ２において、計算および前処理は、具体的に、
Ｓ２１、測定領域を囲む１つの立方体Ｇを使用してＤ（ｘ）の作用範囲とし、立方体Ｇを同じサイズの小さな立方体ｇｉに均等に分割し；
Ｓ２２、測定されたポイントクラウドにおける各ポイント（Ｐｊ、Ｎｊ）に対して、Ｐｊが位置する小さな立方体ｇＰｊを見つけ、ここで、Ｐｊはポイントの３次元座標であり、Ｎｊはポイントの法線ベクトルであり；
Ｓ２３、各ｇＰｊおよびｇＰｊを中心とするｎ３個のｇｉに対して、それぞれ距離値Ｄ（ｘｉ）および距離値の信頼重みＷ（ｘｉ）を計算し、
2019505809.tif 000003
2019505809.tif 000004
ここで、１＜ｎ≦１０であり、ｘｉは、計算に関与するｇＰｊおよびｇｉの中心点を表し、Ｄ（ｘｉ）は、ｘｉから被測定物の表面までの最短距離を表し、物体の外においては正の値であり、物体の内にあいては負の値であり、Ｗ（ｘｉ）はＤ（ｘｉ）の信頼性を表し、ｄｇはｇｉの辺の長さを表し；
Ｓ２４、マーチングキューブ（Ｍａｒｃｈｉｎｇ  Ｃｕｂｅ）を使用して、ポイントクラウドおよびグリッドの結果を得る、
を含む。
【００２４】
さらに、
Ｓ２５、測定された複数のポイントクラウドにおけるポイントが同じｇｉに繰り返し入る場合、前記距離値Ｄ（ｘｉ）および距離値の信頼重みＷ（ｘｉ）を順に計算し、
2019505809.tif 000005
ここで、Ｄ（ｘｉ）は更新前の距離値を表し、Ｗ（ｘｉ）は更新前の信頼重みを表し、ｄ（ｘｉ）は最後に計算された距離値を表し、ｗ（ｘｉ）は最後に計算された信頼重みを表し、Ｄ＊（ｘｉ）は更新後の距離値を表し、Ｗ＊（ｘｉ）は更新後の信頼重みを表し；
続いて、マーチングキューブ（Ｍａｒｃｈｉｎｇ  Ｃｕｂｅ）を使用して、ポイントクラウドおよびグリッドの結果を得る；
を含む。
【００２５】
さらに、
Ｓ２６、測定された複数のポイントクラウドにおけるポイントが同じｇｉに繰り返し入る場合、前記距離値Ｄ（ｘｉ）および距離値の信頼重みＷ（ｘｉ）を順に計算し、測定した後に、各ｇｉに対して、加重平均法を使用して最終的なＤｆ（ｘｉ）とＷｆ（ｘｉ）を得て、
2019505809.tif 000006
ここで、Ｄｊ（ｘｉ）およびＷｊ（ｘｉ）は、複数のポイントクラウドにおけるポイントｊが同じｇｉに繰り返し入る場合に計算された値であり、続いて、マーチングキューブ（Ｍａｒｃｈｉｎｇ  Ｃｕｂｅ）を使用して、ポイントクラウドおよびグリッドの結果を得る；
を含む。
【００２６】
さらに、測定モードが複数本の平行線測定であるとき、測定過程で得られた測定データは、リアルタイム計算更新を実行せず、サンプリングのみの方式で表示し、ユーザをガイドして測定する。
【００２７】
測定した後に、測定された全てのポイントクラウドを統合されたグローバル座標系に配置し、続いて、全てのポイントクラウドの法線ベクトルを計算し、その後、距離値Ｄ（ｘｉ）および距離値の信頼重みＷ（ｘｉ）の計算を一律に行う。
【００２８】
さらに、全てのポイントクラウドの法線ベクトルを計算するとき、主成分分析を使用して各ポイントの法線ベクトルを計算し、具体的には以下の式を使用し、
2019505809.tif 000007
ここで、ｐは法線ベクトルを計算しようとするポイントであり、ｑｉはｐ特定領域内のポイントであり、Ｍ（ｐ）は共分散行列であり、最小特徴値に対応する特徴ベクトルはｐの法線ベクトルであり、法線ベクトルがカメラに向ける方向を法線ベクトルの方向とする。
【００２９】
さらに、ステップＳ３において、異なる測定モードで得られたデータに対して粗いスティッチングおよび正確なスティッチングを含むスティッチングを行い、前記粗いスティッチングの方法は、手動選択粗いスティッチング、マーカポイントスティッチング、特徴スティッチングを含み、前記正確なスティッチングの方法は、反復近接ポイント方法を含む。
【００３０】
さらに、ステップＳ４は、具体的に、
Ｓ４１、測定データの２つのフレーム間でポイントクラウドおよびマーカポイントの対応ポイントを見つけ；
Ｓ４２、誤差式を最小化して、各フレームのポイントクラウドの剛体変形行列を得；
Ｓ４３、剛体変換行列を各フレームのポイントクラウドに乗算し、収束するまで該過程を反復する；
を含む。
【００３１】
さらに、ステップＳ４２において、使用される誤差式は、
2019505809.tif 000008
であり、
ここで、（ｐｋ、ｑｋ）は（ｉ、ｊ）の対応ポイントであり、（Ｐｋ、Ｑｋ）は（ｉ、ｊ）の対応マーカポイントであり、ｎｋはｑｋの法線ベクトルであり、ＲＴｉはｉ番目のポイントクラウドの剛体変換行列であり、ＲＴはすべてのポイントクラウドの剛体変換行列であり、
2019505809.tif 000009
はそれぞれポイントクラウドの対応ポイントとマーカポイントの対応ポイントの重みである。
さらに、ｉ、ｊにおけるあるフレームが複数本の平行線測定データであるとき、
2019505809.tif 000010
とする。
【００３２】
本発明のマルチ測定モードの３次元測定方法は、マルチ測定モードで測定されたデータに対して、連続暗黙関数Ｄ（ｘ）を使用し、統合されたデータ構造の管理および表現を行い、それにより、異なる測定モードを切り替える目的を達成する。同時に、立方体を使用してユーザ測定領域を囲み、かつ該立方体を均等に分割し、Ｄ（ｘ）の離散表現を実現して、後続のデータ処理の基礎とする。本発明のマルチ測定モードの３次元測定方法は、マルチ測定モード下での測定データのリアルタイム融合を実現し、高精度で、詳細な３次元測定を実現する。
【００３３】
実際の適用において、ユーザは、マルチ測定モードを組み合わせることにより、測定タスクを簡単かつ迅速に完了することができる。例えば、人と同様の高さの彫刻を測定するとき、人間の顔の部分に対してデジタルスペックル測定モードを使用してデータを迅速に得ることができ、キャラクター、しわに富む衣服、アクセサリーなどの部分に対して複数本の平行線測定モードを使用して、高精度のデータを迅速に得ることができ、ティーポット、ティーカップなどの寸法が小さい（＜１５ｃｍ）孤立した彫刻部品に対して、正弦波ストライプ測定モードを使用して高精度の３次元データを得ることができる。
【図面の簡単な説明】
【００３４】
【図１】図１は本発明のマルチ測定モードの３次元測定システムの１つの具体的な実施例の構造概略図である。
【図２】図１の実施例における一部のユニットの構造概略図である。
【図３】図３は正弦波ストライプシーケンスパターンの概略図である。
【図４】図４はデジタルスペックルパターンの概略図である。
【図５】図５は平行線パターンの概略図である。
【図６】図６は本発明のマルチ測定モードの３次測定方法におけるＤ（ｘ）の離散化表示の概略図である。
【発明を実施するための形態】
【００３５】
本発明をさらに理解するために、以下に実施例に合わせて本発明の好ましい実施形態を説明するが、理解すべきことは、これらの説明は、本発明の特徴および利点のさらなる説明のためだけであり、本発明の請求項の限定のためではないことである。
【００３６】
本発明の被測定物の表面の３次元データを得るためのマルチ測定モードの３次元測定システムは、可変デジタルパターン生成ユニット、２つまたは２つ以上の画像センサ、コントローラ、マルチモードデジタル画像プロセッサ、マルチモード３次元ポイントクラウドカウンタを含む。
【００３７】
ここで、コントローラは、デジタルプロジェクタ装置、画像センサ、画像プロセッサおよび３次元ポイントクラウドカウンタの調整作業を制御し、かつ３次元ポイントクラウドデータを受信し、および３次元ポイントクラウドデータを表示、編集、記憶するために用いられる。
【００３８】
可変デジタルパターン生成ユニットは、１つのデジタルパターンメモリおよび１つのデジタルパターンプロジェクタを含む。デジタルパターンメモリに、様々なデジタルパターンが予め記憶され、デジタルパターンプロジェクタは、デジタルパターンメモリ中のパターンを物体の表面に投影し、再構成物体の３次元データの特徴とする。投影可能な様々なライトテンプレートパターンは、正弦波ストライプ、デジタルスペックルパターン、複数本の平行線パターン、および他の投影パターンを含むが、これらに限定されるものではない。
【００３９】
画像センサは、デジタルプロジェクタ装置が物体の表面に投影されたパターンを得る。
【００４０】
マルチモードデジタル画像プロセッサは、様々な画像処理モードを備え、選択された画像処理モードに応じて、画像センサで得られた物体表面のパターンを抽出し、物体表面の２次元特徴を得る。
【００４１】
マルチモード３次元ポイントクラウドカウンタは、様々な３次元ポイントクラウド計算モードを備え、選択された３次元ポイントクラウド計算モードに応じて、画像プロセッサで処理した後の２次元特徴に対して対応ポイント検索および３次元再構成を行い、それにより、物体表面の３次元データを得る。
【００４２】
実際の使用を容易にするために、本発明における測定システムはさらに、ヒューマン-コンピュータインタラクションユニットおよび通信ユニットを配置することができる。
【００４３】
ここで、ヒューマン-コンピュータインタラクションユニットは、タッチ液晶ディスプレイであり、コントローラに接続され、ライトテンプレートデジタルパターン、画像処理モードおよび３次元ポイントクラウド計算モードを選択し、および測定結果を表示するために用いられる。通信ユニットは、無線通信モジュールおよび通信インタフェースを含み、外部端末と通信するために用いられる。通信コンテンツは、マルチモード３次元ポイントクラウドカウンタで得られた被測定物の表面の３次元データの出力、および更新または追加されたライトテンプレートデジタルパターン、画像処理アルゴリズムおよび３次元ポイントクラウド計算アルゴリズムの入力を含む。
【００４４】
本実施例における３次元測定システムが作動するとき、ユーザは１種の測定モードを選択し、コントローラは、測定モードに応じて、デジタルパターンメモリにコマンドを送信し、デジタルパターンメモリに投影が必要なパターンを通知し、かつ画像センサをオンにし、画像センサがトリガーコマンドを待つ状態にあるようにする。デジタルパターンメモリは、パターンをデジタルパターンプロジェクタに送信する。デジタルパターンプロジェクタは、パターンを物体の表面に投影する。パターン投影が完了した１ｍｓ内に、デジタルパターンプロジェクタは、画像センサにパルス信号を送信する。画像センサは、デジタルパターンプロジェクタが物体の表面に投影したパターンを取得し、マルチモードデジタル画像プロセッサに送信する。マルチモードデジタル画像プロセッサは、パターンを受信した後に、コントローラが送信した測定モード信号に応じて、対応する特徴抽出アルゴリズムを使用し、物体表面の２次元特徴を得る。デジタル画像プロセッサは、２次元特徴をマルチモードデジタル３次元ポイントクラウドカウンタに送信する。３次元ポイントクラウドカウンタは、２次元特徴を受信した後に、コントローラが送信した測定モード信号に応じて、対応するアルゴリズムを使用して対応ポイント検索および３次元再構成を行い、それにより、物体表面の３次元データを得る。３次元ポイントクラウドカウンタは、物体表面の３次元データをコントローラに返信し、表示、編集、記憶を行い、または通信ユニットによって外部端末に伝送して更なる処理を行う。
【００４５】
システムに３次元測定モードを更新または追加する必要があるとき、ユーザは、更新または追加する必要があるパターンを通信ユニットによってデジタルパターンメモリに送信し、同時に、更新または追加する必要がある画像処理アルゴリズムおよび３次元ポイントクラウド計算アルゴリズムを、それぞれマルチモードデジタル画像プロセッサおよびマルチモード３次元ポイントクラウドカウンタに送信する。更新した後に、デジタルパターンメモリ、画像プロセッサ、３次元ポイントクラウドカウンタは、完了信号を返信し、それにより、システムの３次元測定モードの更新または追加を完了する。
【００４６】
以下、図面および具体的な実施例に合わせてさらに詳細に説明する。
【００４７】
図１および図２に示すように、本発明の１つの具体的な実施例において、マルチ測定モードの３次元測定装置は、装置本体および内部の回路ボード１、デジタルパターンプロジェクタ２、画像センサ３、デジタルパターンメモリ４、測定トリガーボタン５およびデータ伝送インタフェース７を含み、ここで、回路ボード１上に、コントローラ、マルチモードデジタル画像プロセッサおよびマルチモード３次元ポイントクラウドカウンタが配置される。また、装置本体上に、ハンドヘルドのためのハンドル６が配置される。
【００４８】
本実施例における測定装置が作動するとき、コントローラは、測定トリガーボタン５の測定コマンドを受信した後に、パルス信号を可変デジタルパターン生成ユニットに送信し、現在のモードでのパターンを投影し、１ｍｓ内に、コントローラは、トリガー信号によって２つの画像センサ３を制御して投影されたパターンを同期して画像キャプチャし、かつマルチモードデジタル画像プロセッサおよび３次元ポイントクラウドカウンタによって処理し、３次元ポイントクラウドを生成する。
【００４９】
図３〜５に示すように、本実施例における可変デジタルパターン生成ユニットは、様々なライトテンプレートデジタルパターンを投影することができ、正弦波ストライプシーケンス、デジタルスペックル、平行線パターンを含むが、これらに限定されるものではない。
【００５０】
本実施例における３次元測定装置は、測定モードを切り替えることによって、複数枚構造のライトパターンの固定測定モードを使用して、工業用部品、歯科模型、小さな木彫りなどの物体表面の高精度で、詳細な３次元測定を実現することができる上に、単一画像のハンドヘルド測定モードを採用して、人体、彫刻などの物体表面への高速リアルタイムのハンドヘルド３次元測定を実現することができる。
【００５１】
上記測定システムが様々な測定モードのリアルタイム切り替えを実現し、かつ測定モードの融合を行うことにより、詳細で、高精度の３次元測定を実現するために、本発明はさらに、マルチ測定モードの３次元測定方法を提供する。
【００５２】
以下、該方法について詳細に説明する。
【００５３】
まず、該方法は、統合されたデータ構造を使用して測定データに対してデータ構造管理および表現を行う。
【００５４】
具体的には、正弦波ストライプ測定、デジタルスペックル測定、複数本の平行線測定の３つの測定モードで得られた測定データに対して、統合されたデータ構造管理および表現を使用し、異なる測定モードの切り替えの目的を実現する。測定過程において、１つの連続暗黙関数Ｄ（ｘ）を維持し、ここで、ｘ∈Ｒ３は３次元空間における位置を表し、Ｄ（ｘ）はｘから物体表面までの最短距離を表す。任意の測定モードを使用し、ある領域のデータを新たに測定した後に、この領域のデータを使用してＤ（ｘ）の値を変更し、データ融合の目的を達成する。測定が完了した後に、Ｄ（ｘ）＝０で表された連続曲面は測定された物体の表面である。
【００５５】
コンピュータに連続のデータを表現できないため、Ｄ（ｘ）に対して離散表現を行う必要がある。本実施例において、１つの立方体Ｇを使用してユーザ測定された領域を囲み、立方体をＤ（ｘ）の作用範囲とする。Ｇを同じサイズの小さな立方体ｇi（Ｇの辺の長さが５１２で、ｇｉの辺の長さが１である場合、５１２３個の小さな立方体が得られる）に均等に分割する。各ｇiの中心点xiに２つの値Ｄ（ｘｉ）とＷ（ｘｉ）を記録する。Ｄ（ｘｉ）はから物体表面までの最短距離を表し、物体の外にあるのは正の値であり、物体の内にあるのは負の値である（図６参照）。Ｗ（ｘｉ）は累積重みであり、Ｄ（ｘｉ）の信頼性を示す。Ｗ（ｘｉ）の値が大きいほど、Ｄ（ｘｉ）の信頼性がより高い。
【００５６】
初期化するとき、Ｄ（ｘｉ）およびＷ（ｘｉ）はいずれも０になる。測定モードでは、ある領域のデータを測定した後に、データ内の各ポイント（Ｐｊ、Ｎｊ）はそれぞれＧで融合され、ここでＰｊはポイントの３次元座標であり、Ｎｊはポイントの法線ベクトルである。
【００５７】
まず、Ｐｊが位置する小さい立方体ＧＰｊを見つける。好ましくは、本実施例において、ｇＰｊを中心とする５３個の値を変更するだけで、メモリ空間および計算時間を大幅に節約する。
【００５８】
変更を必要とする各ｇｉに対して、以下の式により符号付き距離値Ｄ（ｘｉ）および距離値の信頼重みＷ（ｘｉ）を計算し、
2019505809.tif 000011
ここで、Ｄｇはｇｉの辺の長さである。物体表面上の１つのポイントＰｊに隣接する曲面は、該ポイントの法線面を使用して近似表示できるため、Ｐｊ近傍空間における１つのポイントｘｉから物体表面までの最短距離は、ｘｉからＰｊ法線面までの距離近似表示を使用することができる。ｘｉからＰｊまでの距離が長いほど、ｄ（ｘｉ）の近似値がより正しくなく、したがって、ｗ（ｘｉ）は、ｘｉからＰｊまでの距離に反比例する。本実施例において、ｗ（ｘｉ）∈［１０，０．０８］である。
【００５９】
測定が完了した後に、各ｇｉに対して、加重平均法を使用して、最終的なＤｆ（ｘｉ）とＷｆ（ｘｉ）を得ることができる。
2019505809.tif 000012
ここで、Ｄｊ（ｘｉ）およびＷｊ（ｘｉ）は、複数のポイントクラウドにおけるポイントｊが同じｇｉに繰り返し入るときに計算された値である。
【００６０】
Ｄ（ｘ）のリアルタイム更新を保証するために、上記の式は累積的に書き直され、
2019505809.tif 000013
ここで、Ｄ（ｘｉ）は更新前の距離値を表し、Ｗ（ｘｉ）は更新前の信頼重みを表し、ｄ（ｘｉ）は最後に計算された距離値を表し、ｗ（ｘｉ）は最後に計算された信頼重みを表し、Ｄ＊（ｘｉ）は更新後の距離値を表し、Ｗ＊（ｘｉ）は更新後の信頼度重みを表す。
【００６１】
測定過程中または測定完了後に、いずれもマーチングキューブ（Ｍａｒｃｈｉｎｇ  Ｃｕｂｅ）を使用して、ポイントクラウドおよびグリッドの結果を得る。
【００６２】
データ融合するとき、単一のデータにおける各ポイントの法線ベクトルを知る必要がある。正弦波ストライプ測定およびデジタルスペックル測定モードで得られたのは順序付きポイントクラウドであり、法線ベクトルを計算しやすい。しかし、複数本の平行線測定モードで得られたのは直線分布のポイントクラウドであり、単に単一フレームのポイントクラウドデータを使用すると、法線ベクトルを計算することができない。したがって、本発明の測定方法において、複数本の直線測定過程中で融合せず、単にサンプリングの方式で表示し、ユーザをガイドして測定する。測定が完了した後に、測定された全てのポイントクラウドを統合されたグローバル座標系に置き、続いて、全てのポイントの法線ベクトルを計算し、最後に、一緒に融合する。本発明の方法において、主成分分析を使用して各ポイントの法線ベクトルを計算する。具体的な式は以下のとおりであり、
2019505809.tif 000014
ここで、ｐは計算法線ベクトルを持つポイントであり、ｑｉはｐ特定隣接領域内のポイントであり、Ｍ（ｐ）は共分散行列であり、その最小特徴値に対応する特徴ベクトルはｐの法線ベクトルである。続いて、法線ベクトルがカメラに向ける方向を法線ベクトルの方向とする。隣接領域内のポイントを探すには時間がかかり、本実施例において上記均等分割のデータ構造を使用し、隣接領域内のポイントを探すのを加速させる。
【００６３】
続いて、異なる測定データ間のスティッチングを行う。
【００６４】
ポイントクラウドスティッチングは任意の位置の２つのポイントクラウドを統合された座標系に位置合わせする過程である。完全なスティッチング過程は一般に、粗いスティッチングおよび正確なスティッチングの２つのステップに分けられる。粗いスティッチングは任意の位置の２つのポイントクラウドを粗くスティッチングする過程である。現在のシーンで使用できる粗いスティッチングの方法には、手動選択スティッチング、マーカポイントスティッチング、および特徴スティッチングがある。手動選択スティッチングは、ヒューマンインタラクションにより大まかな位置合わせを完了する。このような方法は非常に安定しているが、時間がかかり、特別な作業負荷を必要とする。リアルタイムの測定シーンに対して、このような方式によって粗いスティッチングを行うことができない。マーカポイントスティッチングは、被測定物の表面にマーキングすることにより、ポイントクラウド位置合わせをガイドする方法である。このような方法は非常に安定し、速度は速いが、マーキングできない被測定物（例えば、人体、アンティーク）に対して、該方法を使用することができない。正確なスティッチングは、粗く位置合わせする２つのポイントクラウドを正確に位置合わせする過程である。正確なスティッチングの最も一般的な方法は、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ  ｃｌｏｓｅｓｔ  ｐｏｉｎｔ）である。ＩＣＰの基本的な原理は、２つのポイントクラウドの対応ポイントを繰り返し最適化し、対応ポイントの距離和を最小化にするものである。
【００６５】
測定されたデータをスティッチングしないと、融合することができず、測定器のユーザも、測定の情況をいつでも観察することはできず、例えば、どの場所が測定されないかである。測定モードを切り替えた後の第一フレームは、スティッチング過程を完了する必要がある。つまり、スティッチングの本体はＤ（Ｘ）に抽出されたポイントクラウドおよび１つのフレームのポイントクラウドデータである。正弦波ストライプ測定モードに切り替えると、マーカポイントスティッチング、特徴スティッチング、手動選択スティッチングは、いずれも使用することができる。デジタルスペックル測定モードに切り替えると、該モードがリアルタイム測定であるため、手動選択を使用することができない。複数本の平行線測定モードに切り替えると、同様にリアルタイム測定であるため、手動選択スティッチングを使用することができない。１つのフレームのデータ量が非常に少ないため、特徴スティッチングを使用することができない。したがって、マーカポイントスティッチングのみを使用することができる。
【００６６】
最後に、測定モードの混合グローバル最適化を行う。
【００６７】
上記スティッチングは現在のフレームが同時に融合した後のデータの２つずつの最適化過程である。被測定物が大きすぎ、またはフレーム数が多すぎると、累積誤差が非常に発生しやすい。累積誤差は全体の精度に影響を及ぼす。回路が存在すれば、回路の交差箇所に、大きな変形または層の剥離を引き起こす可能性がある。したがって、グローバル最適化の過程が必要となる。
【００６８】
複数本の平行線測定モードにおいては、単一フレームのデータ量が非常に少なく、したがって、ポイントクラウド情報を使用してグローバル最適化を行うことができない。マーカポイントグローバル最適化は、３つのモデルのデータを整理することができるが、多くの問題がある。１）ポイントクラウド情報を使用しないため、最適化後の部分的な詳細がよくないため、２）マーカポイントなし測定を行うとき、該方法を使用することができない。
【００６９】
上記考慮に基づいて、マーカポイントとポイントクラウドの連携グローバル最適化方法を使用する。まず、２つずつフレームの間でポイントクラウドとマーカポイントの対応ポイントを見つける。続いて、誤差式を最小化し、各フレームのポイントクラウドの剛体変化を得る。最後に、剛体変換を各フレームのポイントクラウドに適用し、収束するまで該過程を反復する。使用した誤差式は以下のとおりであり、
2019505809.tif 000015
ここで、（ｐｋ、ｑｋ）は（ｉ、ｊ）の対応ポイントであり、（Ｐｋ、Ｑｋ）は（ｉ、ｊ）の対応マーカポイントであり、ｎｋはｑｋの法線ベクトルであり、ＲＴｉはｉ番目のポイントクラウドの剛体変換行列であり、ＲＴはすべてのポイントクラウドの剛体変換行列であり、
2019505809.tif 000016
はそれぞれポイントクラウドの対応ポイントとマーカポイントの対応ポイントの重みである。ｉ、ｊ内のあるフレームが複数本の平行線測定であるとき、
2019505809.tif 000017
とする。
2019505809.tif 000018
がいずれも０に等しいとき、該アルゴリズムは純粋なマーカポイントグローバル最適化である。
2019505809.tif 000019
がいずれも０に等しいとき、該アルゴリズムは純粋なポイントクラウドグローバル最適化となる。
【００７０】
以上の実施例の説明は、本発明の方法およびそのコアアイデアを理解するのを助けるためにのみに使用される。指摘すべきことは、当業者であれば、本発明の原理から逸脱することなく、本発明に対していくつかの改良および変更を加えることができ、これらの改良および変更も本発明の請求範囲の保護範囲内にあることである。
【００７１】
１  回路ボード、２  デジタルパターンプロジェクタ、３  画像センサ、４  デジタルパターンメモリ、５  測定トリガーボタン、６  ハンドル、７  データ送信インタフェース。
【図１】
2019505809.tif 000028
【図２】
2019505809.tif 000029
【図３】
2019505809.tif 000030
【図４】
2019505809.tif 000031
【図５】
2019505809.tif 000032
【図６】
2019505809.tif 000033
【国際調査報告】
2019505809.tif 000034
2019505809.tif 000035
2019505809.tif 000036
2019505809.tif 000037