(57)【要約】      （修正有）【課題】光源が無限の被写界深さを有する理想点であると仮定する位相シフト法において、すべての光源の被写界深さは有限であるために招くディフォーカスを解消するための大量の入力画像を必要としない形状測定システムを提供する。【解決手段】形状測定システムは、シーンに複数の照明パターンを投影するためのプロジェクターを含み、前記各照明パターンはいずれも所定周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、３つの異なる照明パターンは第１の所定周波数で投影され、１つのみまたは２つの異なる照明パターンは第２の所定周波数で投影される。前記システムはさらに、前記各期間にシーンの画像を検出するためのカメラと、前記複数の照明パターンの所定周波数を決定し、前記シーンにおける物体の形状を測定するように設置されたハードウェアプロセッサー２０２と、を含む。【選択図】図２
2018109634.tif 000002
【特許請求の範囲】
【請求項１】
形状測定のためのシステムであって、
シーンに複数の照明パターンを投影するためのプロジェクターであって、前記各照明パターンはいずれも所定周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、３つの異なる照明パターンは第１の所定周波数で投影され、１つのみまたは２つの異なる照明パターンは第２の所定周波数で投影されるプロジェクターと、
前記各期間にシーンの画像を検出するためのカメラと、
前記複数の照明パターンの所定周波数を決定し、前記シーンにおける物体の形状を測定するように設置されたハードウェアプロセッサーと、
を含むことを特徴とするシステム。
【請求項２】
前記ハードウェアプロセッサーは更に、異なる周波数の照明パターンの反射光の振幅を測定し、小範囲振幅に対応する周波数を選択することによって、前記複数の照明パターンの所定周波数を決定するように設置されたことを特徴とする請求項１に記載のシステム。
【請求項３】
前記小範囲振幅は互いに１％異なっていることを特徴とする請求項２に記載のシステム。
【請求項４】
前記小範囲振幅は互いに５％異なっていることを特徴とする請求項２に記載のシステム。
【請求項５】
前記小範囲振幅は互いに１０％異なっていることを特徴とする請求項２に記載のシステム。
【請求項６】
前記ハードウェアプロセッサーは更に、前記シーンに関する複数の光伝送特徴を決定し、前記複数の光伝送特徴により空間周波数を決定するように設置されることを特徴とする請求項１に記載のシステム。
【請求項７】
前記ハードウェアプロセッサーは更に、各正弦波パターンのパラメータを決定するように設置されることで、前記複数画像の全体照明およびディフォーカス効果は不変であることを特徴とする請求項１に記載のシステム。
【請求項８】
前記ハードウェアプロセッサーは更に、Ｇｕｓｈｏｖ−Ｓｏｌｏｄｋｉｎ（Ｇ−Ｓ）算法により位相アンラッピングを実行するように設置されることを特徴とする請求項１に記載のシステム。
【請求項９】
前記複数の照明パターンの各所定周波数はいずれも１０Ｈｚより高いことを特徴とする請求項１に記載のシステム。
【請求項１０】
前記複数の照明パターンの各所定周波数はいずれも３０Ｈｚより高いことを特徴とする請求項１に記載のシステム。
【請求項１１】
前記複数の照明パターンの各所定周波数はいずれも６０Ｈｚより高いことを特徴とする請求項１に記載のシステム。
【請求項１２】
形状測定のための方法であって、
プロジェクターを用いてシーンに複数の照明パターンを投影し、前記各照明パターンはいずれも１つの所定周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、３つの異なる照明パターンは第１の所定周波数で投影され、１つのみまたは２つの異なる照明パターンは第２の所定周波数で投影されることと、
カメラを用いて前記各期間に前記シーンの画像を検出することと、
ハードウェアプロセッサーを用いて前記複数の照明パターンの所定周波数を決定することと、
前記ハードウェアプロセッサーを用いて前記シーンにおける物体の形状を測定することと、
を含むことを特徴とする方法。
【請求項１３】
異なる周波数の照明パターンの反射光の振幅を測定し、小範囲振幅に対応する周波数を選択することによって、前記複数の照明パターンの所定周波数を決定することを特徴とする請求項１２に記載の方法。
【請求項１４】
前記小範囲振幅は互いに１％異なっていることを特徴とする請求項１３に記載の方法。
【請求項１５】
前記小範囲振幅は互いに５％異なっていることを特徴とする請求項１３に記載の方法。
【請求項１６】
前記小範囲振幅は互いに１０％異なっていることを特徴とする請求項１３に記載の方法。
【請求項１７】
前記シーンに関する複数の光伝送特徴を決定することと、
前記複数の光伝送特徴により空間周波数を決定することと、
を更に含むことを特徴とする請求項１２に記載の方法。
【請求項１８】
各正弦波パターンのパラメータを決定することを更に含むことで、前記複数の画像の全体照明およびディフォーカス効果は不変であることを特徴とする請求項１２に記載の方法。
【請求項１９】
Ｇｕｓｈｏｖ−Ｓｏｌｏｄｋｉｎ（Ｇ−Ｓ）算法により位相アンラッピングを実行することを更に含むことを特徴とする請求項１２に記載の方法。
【請求項２０】
前記複数の照明パターンの各所定周波数はいずれも１０Ｈｚより高いことを特徴とする請求項１２に記載の方法。
【請求項２１】
前記複数の照明パターンの各所定周波数はいずれも３０Ｈｚより高いことを特徴とする請求項１２に記載の方法。
【請求項２２】
前記複数の照明パターンの各所定周波数はいずれも６０Ｈｚより高いことを特徴とする請求項１２に記載の方法。
【請求項２３】
コンピュータ実行可能な命令を有する非一時的なコンピュータ可読媒体であって、プロセッサーにより処理される時に、前記命令により、前記プロセッサーは形状を測定する方法を実行し、前記方法は、
シーンに複数の照明パターンを投影し、前記各照明パターンはいずれも１つの所定周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、３つの異なる照明パターンは第１の所定周波数で投影され、１つのみまたは２つの異なる照明パターンは第２の所定周波数で投影されることと、
前記各期間に前記シーンの画像を検出することと、
前記複数の照明パターンの所定周波数を決定することと、
前記シーンにおける物体の形状を測定することと、
を含むことを特徴とする非一時的なコンピュータ可読媒体。
【請求項２４】
異なる周波数の照明パターンの反射光の振幅を測定し、小範囲振幅に対応する周波数を選択することによって、前記複数の照明パターンの所定周波数を決定することを特徴とする請求項２３に記載の非一時的なコンピュータ可読媒体。
【請求項２５】
前記小範囲振幅は互いに１％異なっていることを特徴とする請求項２４に記載の非一時的なコンピュータ可読媒体。
【請求項２６】
前記小範囲振幅は互いに５％異なっていることを特徴とする請求項２４に記載の非一時的なコンピュータ可読媒体。
【請求項２７】
前記小範囲振幅は互いに１０％異なっていることを特徴とする請求項２４に記載の非一時的なコンピュータ可読媒体。
【請求項２８】
前記方法は、
前記シーンに関する複数の光伝送特徴を決定することと、
前記複数の光伝送特徴により空間周波数を決定することと、
を更に含むことを特徴とする請求項２３に記載の非一時的なコンピュータ可読媒体。
【請求項２９】
前記方法は、各正弦波パターンのパラメータを決定することで、前記複数の画像の全体照明およびディフォーカス効果は不変であることを特徴とする請求項２３に記載の非一時的なコンピュータ可読媒体。
【請求項３０】
前記方法は、Ｇｕｓｈｏｖ−Ｓｏｌｏｄｋｉｎ（Ｇ−Ｓ）算法により位相アンラッピングを実行することを更に含むことを特徴とする請求項２３に記載の非一時的なコンピュータ可読媒体。
【請求項３１】
前記複数の照明パターンの各所定周波数はいずれも１０Ｈｚより高いことを特徴とする請求項２３に記載の非一時的なコンピュータ可読媒体。
【請求項３２】
前記複数の照明パターンの各所定周波数はいずれも３０Ｈｚより高いことを特徴とする請求項２３に記載の非一時的なコンピュータ可読媒体。
【請求項３３】
前記複数の照明パターンの各所定周波数はいずれも６０Ｈｚより高いことを特徴とする請求項２３に記載の非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
［連邦政府の資金による研究についての声明］
この発明は、アメリカ国立科学財団（Ｎａｔｉｏｎａｌ  Ｓｃｉｅｎｃｅ  Ｆｏｕｎｄａｔｉｏｎ）から受賞された契約書ＩＩＳ−０９６４４２９による政府支援、及び、米国海軍研究署（Ｏｆｆｉｃｅ  ｏｆ  Ｎａｖａｌ  Ｒｅｓｅａｒｃｈ）から受賞された契約書Ｎ０００１４−１１−１−０２８５による政府支援を受けてなされたものであり、米国政府はこの発明に対して一部の権利を有する。
【０００２】
［関連出願の相互参照］
本出願は、２０１１年１１月２３日に出願された米国仮特許出願第６１／５６３，４７０号の優先権の利益を主張するものであり、この特許出願の全内容は参考として本出願に援用されている。
【背景技術】
【０００３】
位相シフトは、信頼性があり、幅広く用いられる形状測定技術である。この技術は、低コスト、高速度および精密性などのメリットを有するため、外科手術、工場自動化、パフォーマンス・キャプチャー、文化遺産のデジタル化及び他の応用に用いられる。
【０００４】
位相シフトは、アクティブステレオ三角測量技術の種類に属する。このような技術は、コード化された輝度パターンをシーンに投影するによって、プロジェクター画素とカメラとの間の対応関係を確立している。そして、この対応関係により、シーンにおける点に対して三角測量を行い、シーンにおける物体の形状を確立する。
【０００５】
他のアクティブシーン回復技術と同様に、位相シフトは、シーンの点が１つのみの単一光源により直接照らされると仮定するので、全体照明が発生しない。しかし、実際に、相互反射およびサブサーフェス散乱により、全体照明は避けられないことである。事実、全体照明はほとんどの現実な世界シーンに発生している。結果として、典型的な位相シフトはこのような全体照明により誤った結果を生じさせる。
【０００６】
また、位相シフト算法は、通常、光源が無限の被写界深さを有する理想点であると仮定する。しかし、すべての光源の被写界深さは有限であるので、ディフォーカスを招く。ディフォーカスを解消するために、従来の位相シフト技術は大量の入力画像を取る必要がある。
【０００７】
そのため、新規な形状測定機構が必要となっている。
【発明の概要】
【０００８】
形状測定のためのシステム、方法および媒体を提供した。幾つかの実施形態では、形状測定のためのシステムを提供した。前記システムは、シーンに複数の照明パターンを投影するためのプロジェクターを含み、前記各照明パターンはいずれも所定周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、３つの異なる照明パターンは第１の所定周波数で投影され、１つのみまたは２つの異なる照明パターンは第２の所定周波数で投影される。前記システムはさらに、前記各期間にシーン画像を検出するためのカメラと、前記複数の照明パターンの所定周波数を決定し、前記シーンにおける物体の形状を測定するように設置されたハードウェアプロセッサーと、を含む。
【０００９】
幾つかの実施形態では、形状測定のための方法を提供した。前記方法では、プロジェクターを用いてシーンに複数の照明パターンを投影し、前記各照明パターンはいずれも１つの所定周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、３つの異なる照明パターンは第１の所定周波数で投影され、１つのみまたは２つの異なる照明パターンは第２の所定周波数で投影される。前記方法はさらに、カメラを用いて前記各期間に前記シーンの画像を検出することと、ハードウェアプロセッサーを用いて前記複数の照明パターンの所定周波数を決定することと、前記ハードウェアプロセッサーを用いて前記シーンにおける物体の形状を測定することと、を含む。
【００１０】
幾つかの実施形態では、コンピュータ実行可能な命令を有する非一時的なコンピュータ可読媒体を提供し、プロセッサーにより処理される時に、前記プロセッサーは形状を測定する方法を実行する。前記方法では、シーンに複数の照明パターンを投影し、前記各照明パターンはいずれも１つの所定周波数を有し、前記各照明パターンは異なる期間に前記シーンに投影され、３つの異なる照明パターンは第１の所定周波数で投影され、１つのみまたは２つの異なる照明パターンは第２の所定周波数で投影される。前記方法はさらに、前記各期間に前記シーンの画像を検出することと、前記複数の照明パターンの所定周波数を決定することと、前記シーンにおける物体の形状を測定することと、を含む。
【図面の簡単な説明】
【００１１】
【図１】幾つかの実施形態に用いられる形状測定のためのハードウェアの実例を示すブロック図である。
【図２】幾つかの実施形態に用いられるコンピュータハードウェアの実例を示すブロック図である。
【図３】幾つかの実施形態に用いられる照明パターンの実例を示す図である。
【図４】幾つかの実施形態において形状測定に用いられるプロセスの実例を示す図である。
【発明を実施するための形態】
【００１２】
形状測定のためのシステム、方法および媒体は提供される。幾つかの実施形態では、形状測定機構は、任意の適切なプロジェクターを用いて照明パターンを、１つまたは複数の物体を含むシーンに投影し、前記シーンから反射したこれらの照明パターンは、任意の適切なカメラにより検出されて画像として記憶される。前記の投影パターンは、任意の適切なパターン、例えば、正弦波パターンでよい。これらのパターンに使用される周波数は、十分に高い周波数を選択することが可能であり、これによって、検出・記憶されたすべての画像に対して全体照明およびディフォーカス効果は、実質上、不変となる。そして、プロジェクター画素とカメラ画素との間の対応関係を決定することができ、シーンにある物体の表面における点に対して三角測量を行うことで、これらの物体の形状を決定する。
【００１３】
図１は、幾つかの実施形態に用いられるハードウェア１００の実例を示す。図に示すように、幾つかの実施形態では、ハードウェア１００はコンピュータ、プロジェクター、カメラ、１つまたは複数の入力装置１０８及び１つまたは複数の出力装置１１０を含んでいる。
【００１４】
幾つかの実施形態では、作動中、コンピュータ１０２によって、プロジェクター１０４は適切な数の構造光画像をシーン１１２に投影し、前記シーンは任意の適切な物体、例えば物体１１４および１１６を含んでいる。同時に、幾つかの実施形態では、カメラ１０６はシーンから反射した光線を検出し、検出した画像をコンピュータに提供する。また、幾つかの実施形態では、コンピュータは、ここに記載のプロセスを行うことによって、シーンにおける物体に関する形状および他の適切なデータを決定することができる。
【００１５】
幾つかの実施形態では、コンピュータ１０２は、任意の適切な処理装置でよく、プロジェクター１０４およびカメラ１０６の動作を制御し、ここに記載の演算、適切な出力データの生成、及び／又は他の適切な機能の実行を行うことができればよい。後に、図２を参照し、幾つかの実施形態のコンピュータ１０２の特徴を更に説明する。
【００１６】
プロジェクター１０４は、ここに記載されているような投影構造光画像に適用できる任意の装置でよい。例えば、プロジェクター１０４は投影システム、ディスプレイ等でよい。具体的には、例えば、幾つかの実施形態では、プロジェクター１０４は、米国カリフォルニア洲サンディエゴに位置する三洋北アメリカ社により製造されるＳＡＮＹＯ  ＰＬＣ−ＸＰ１８Ｎ投影システムでよい。
【００１７】
カメラ１０６は、ここに記載されているような画像検出に適用できる任意の装置でよい。例えば、カメラ１０６は写真用のカメラ、ビデオカメラ、光センサー、画像センサー等でよい。具体的には、例えば、幾つかの実施形態では、カメラ１０６は、カナダブリティッシュコロンビア州リッチモンドに位置するＰＯＩＮＴ  ＧＲＥＹ  ＲＥＳＥＡＲＣＨ社、またはカナダオンタリオ州オダワに位置するＬＵＭＥＮＥＲＡ  ＣＯＲＰＯＲＡＴＩＯＮ社により製造されるマシンビジョンカメラでよい。
【００１８】
幾つかの実施形態では、入力装置１０８は、コンピュータ１０２を制御することに適用できる任意の１つまたは複数の入力装置でよい。例えば、入力装置１０８はタッチスクリーン、コンピュータマウス、ポインティングデバイス、１つまたは複数のボタン、キーパッド、キーボード、音声識別回路、マイクロフォン等でよい。
【００１９】
幾つかの実施形態では、出力装置１１０は、コンピュータ１０２からデータを出力することに適用できる任意の１つまたは複数の出力装置でよい。例えば、出力装置１１０はディスプレイ、オーディオデバイス等を含む。
【００２０】
幾つかの実施形態によれば、ハードウェア１００は他の適切な素子を含んでよい。また、幾つかの実施形態では、ハードウェア１００における任意の適切な素子の組み合わせ及び／又は省略を行うことができる。
【００２１】
幾つかの実施形態では、任意の適切なハードウェアを用いてコンピュータ１０２を作動させてもよい。例えば、幾つかの実施形態では、コンピュータ１０２は任意の適切な汎用コンピュータまたは専用コンピュータでよい。このような汎用コンピュータまたは専用コンピュータは、適切なハードウェアを含んでよい。例えば、図２に示すハードウェア２００の実例のように、このようなハードウェアは、ハードウェアプロセッサー２０２、メモリシステム及び／又は記憶装置２０４、通信インターフェース（１つまたは複数）２０６、入力コントローラ２０８、出力コントローラ２１０、プロジェクターインターフェース２１２、カメラインターフェース２１４及びバス２１６を含む。
【００２２】
幾つかの実施形態では、ハードウェアプロセッサー２０２は、任意の適切なハードウェアプロセッサー、例えば、マイクロプロセッサー、マイクロコントローラ、デジタル信号プロセッサー、専用ロジック回路及び／又は汎用コンピュータまたは専用コンピュータの動作を制御することに適用できる他の回路システムを含んでよい。
【００２３】
幾つかの実施形態では、メモリ及び／又は記憶装置２０４は、プログラム、データ、投影される画像、検出した画像、測定値等を記憶することに適用できる任意のメモリシステム及び／又は記憶装置でよい。例えば、メモリ及び／又は記憶装置２０４は、ランダムアクセスメモリ、リードオンリーメモリ、フラッシュメモリ、ハードディスク記憶装置、光学式媒体等を含んでよい。
【００２４】
幾つかの実施形態では、通信インターフェース（１つまたは複数）２０６は１つまたは
複数の通信ネットワークに接続されることに適用できる任意の回路システムでよい。例え
ば、インターフェース（１つまたは複数）２０６はネットワークインターフェースカード
回路システム、無線通信回路システム等を含んでよい。
【００２５】
幾つかの実施形態では、入力コントローラ２０８は、１つまたは複数の入力装置１０８
からの入力データを受信することに適用できる任意の適切な回路システムでよい。例えば
、入力コントローラ２０８は、入力データを受信するための回路システムでよく、前記入
力データはタッチスクリーン、コンピュータマウス、ポインティングデバイス、１つまた
は複数のボタン、キーパッド、キーボード、音声識別回路、マイクロフォン等からのもの
となる。
【００２６】
幾つかの実施形態では、出力コントローラ２１０は、１つまたは複数の出力装置１１０
を制御・駆動することに適用できる任意の適切な回路システムでよい。例えば、出力コン
トローラ２１０は、データをディスプレイ、オーディオデバイス等に出力するための回路
システムでよい。
【００２７】
幾つかの実施形態では、プロジェクターインターフェース２１２は、ハードウェア２０
０をプロジェクター（例えば、プロジェクター１０４）と接続させることに適用できる任
意の適切なインターフェースでよい。幾つかの実施形態では、インターフェース２１２は
、任意の適切なプロトコルを用いてよい。
【００２８】
幾つかの実施形態では、カメラインターフェース２１４は、ハードウェア２００をカメ
ラ（例えば、カメラ１０６）と接続させることに適用できる任意の適切なインターフェー
スでよい。幾つかの実施形態では、インターフェース２１４は、任意の適切なプロトコル
を用いてよい。
【００２９】
幾つかの実施形態では、バス２１６は、素子２０２、２０４、２０６、２０８、２１０
、２１２および２１４のうち２つまたは複数の間の通信に適用できる任意の機構でよい。
【００３０】
幾つかの実施形態によれば、ハードウェア２００は他の適切な素子を含んでよい。さらに、幾つかの実施形態では、ハードウェア２００におけるすべての適切な素子の組み合わせ及び／又は省略を行うことができる。
【００３１】
図３は、幾つかの実施形態による、プロジェクター１０４によってシーン１１２に投影される構造光パターン３０２の実例を示している。幾つかの実施形態では、パターン３０２は、例えば、正弦波３０４に示すように、白色と黒色との間で正弦関数により変化する輝度を有する。従って、パターン３０２における各画素列は１つの所定の輝度ベクトルを有する。さらに、幾つかの実施形態では、３０６で示されるパターンの周期を画素で測定することができる。
【００３２】
図４は、幾つかの実施形態による形状測定のプロセスの実例４００を示している。幾つかの実施形態では、このプロセスは図１に示すコンピュータ１０２により実行される。
【００３３】
図４に示すように、幾つかの実施形態では、プロセス４００は４０２で開始された後、投影される構造光の周波数を４０４で決定する。ここで、任意の適切な周波数を用いることができ、任意の適切な方式でこれらの周波数を決定することもできる。
【００３４】
例えば、幾つかの実施形態では、以下の２つの条件を満たすように、パターン周波数集合Ω（即ちΩ＝{ω１、…、ωＦ}）を選択する。すなわち、（１）平均周波数ωｍが十分に高く（周期λが小さい）、全体照明が回復位相に重大なエラーを生じさせない。（２）周波数帯域幅δ（即ち、δは、Ωにおけるすべての周波数が帯域幅［ωｍ−δ／２、ωｍ＋δ／２］内に位置する周波数帯域幅である）が十分に小さく、すべての周波数に対してカメラが検出した振幅はほぼ同一となる。即ち、
【数１】
2018109634.tif 000003
となる。
【００３５】
上述した第１の条件について、幾つかの実施形態では、任意の適切なωｍ値を用いて良い。例えば、幾つかの実施形態では、９６画素以下（例えば、１６画素、３２画素等）の周期λｍに対応する平均周波数ωｍ（図３に示すように）は、シーンの大量収集時に全体照明による回復位相に現れるエラーを十分に防止するように、充分に高くすることができる。また、他の幾つかの実例では、１０Ｈｚより高い平均周波数ωｍを充分に高く（例えば、３０Ｈｚ、６０Ｈｚ等）して、シーンの大量収集時に全体照明による回復位相に現れるエラーを防止することができる。
【００３６】
幾つかの実施形態では、平均周波数の選択は、次のことを考慮すべきである。すなわち、これらの実施例に用いられる所定のプロジェクターに存在する光学収差により、プロジェクターがある高周波数を確実に投射することができないので、このような高周波数より低い平均周波数を選択すべきである。
【００３７】
上述した第２の条件について、幾つかの実施形態では、任意の適切なδ値を用いることができる。例えば、幾つかの実施形態では、周波数帯域幅δは最大値を選択し、この最大値により、前記周波数帯域における任意の一対となる投影パターン周波数の間の反射光振幅の最大変化は、カメラのノイズレベルにより、ある程度のパーセンテージ、例えば１％、５％、１０％等を超えない。例えば、カメラのノイズレベルが高ければ、投影パターン周波数対の間の反射光振幅の大きい変化が許される。幾つかの実施形態では、このような変化は、反射光振幅平均値を測定して算出することによって確認することができ、前記反射光は、異なる量の全体照明およびディフォーカスを受け付ける大量のシーンポイントからのものである。
【００３８】
幾つかの実施形態では、平均周波数ωｍは１６画素の周期λｍに対応するため、周波数帯域幅δは３画素の周期に対応する。
【００３９】
幾つかの実施形態では、周波数帯域幅δの選択は、次のことを考慮すべきである。すなわち、これらの実施例に用いられる所定プロジェクターの空間および輝度の分解能が限られているので、２つの周波数間の差が閾値εより小さいと、プロジェクターがこの２つの周波数を区別することができない。従って、このような実施形態では、周波数帯域幅δは十分に大きく選択されて、Ｆ個の異なる周波数を区別することを確保し、すなわち、少なくともε離れるようにする。
【００４０】
平均周波数ωｍおよび周波数帯域幅δが選択されると、結果としての周波数帯域を決定することができる。例えば、１６画素の周期λｍに対応する平均周波数ωｍ、及び３画素の周期に対応する周波数帯域幅δに基づき、１４．５〜１７．５画素の周期に対応する最終周波数帯域を決定することができる。
【００４１】
次に、照明パターンの各周波数を選択する。幾つかの実施形態では、任意の適切な方式でこれらの周波数を選択することができる。例えば、幾つかの実施形態では、これらの周波数が選択されることで、位相エラーによる深さエラーを最小に低減することができる。幾つかの実施形態では、
（ａ）このような深さエラーは位相エラーに比例していて、ΔΦ＝|ｐ−ｑ|となり、ここで、所定のカメラ画素に対して、ｐは正確なプロジェクター縦列であり、ｑは算出したプロジェクター縦列である。
（ｂ）Ｆ個の周波数を用いる場合に、唯一のＦ＋２次元輝度ベクトル（即ち、各投影画像に１個ずつ）を用いて各プロジェクター縦列を符号化する。
よって、位相エラー発生の可能性を最小に低減させるために、周波数集合を選択し、すなわち、異なるプロジェクター縦列に対応するベクトル間の距離ｄｐｑを最大にする周波数集合を選択する。所定の周波数集合Ωにとって、輝度ベクトル間の平均加重距離は下記の式により算出される。
【００４２】
【数２】
2018109634.tif 000004
【００４３】
式では、Ｎはプロジェクター縦列の総数である。幾つかの実施形態では、ｄｐｑについて、標準−２ユークリッド距離を選択してよい。そして、幾つかの実施形態では、以下の制限されたＦ次元最適化問題を用いてＥ（Ω）を最小にする周波数帯域［ωｍｉｎ、ωｍａｘ］内の周波数集合を選択することができる。
【００４４】
【数３】
2018109634.tif 000005
【００４５】
この最適化問題は、任意の適切な方式で解決することができる。例えば、幾つかの実施形態では、シンプレックスサーチ法（例えば、ＭＡＴＬＡＢ最適化ツールボックスでの実施）は最適化問題の解決に用いられる。
【００４６】
幾つかの実施形態では、［１４．５、１７．５］画素の周波数帯域について、且つＦ＝５となる場合に、上述した手順は１４．５７、１６．０９、１６．２４、１６．４７および１６．６０画素の周期に対応する周波数集合を取得することができる。
【００４７】
幾つかの実施形態では、プロセス４００は照明パターン周波数を選択すると、プロセス４００は、４０６でこれらの周波数の第１の周波数を選択することができる。幾つかの実施形態では、任意の１つの適切な周波数を任意の適切な方式で選択することができる。例えば、幾つかの実施形態では、これらの周波数の第１の周波数として最少周波数、最大周波数または平均周波数に最も近い周波数を選択することができる。
【００４８】
そして、幾つかの実施形態では、プロセス４００は４０８でプロジェクターに特定の周波数で照明パターンを投影させる。例えば、プロセス４００は、図１に示すプロジェクター１０４に、選択された第１の周波数に等しい周波数で図３に示す照明パターン３０２を投影させる。
【００４９】
幾つかの実施形態では、プロジェクターが４０８で照明パターンを投影するとき、プロセス４００は、カメラに、検出された画像としてシーンから反射された投影パターンを検出させ、４１０でカメラからこの画像を取得する。
【００５０】
そして、プロセスは４１２で、４０８で行われた投影が最後の投影であるか否かを判断する。「いいえ」と判断された場合、プロセス４１２は４１４で、他の異なる周波数を用いて次の投影を行うか否かを決定する。上述した判断は、任意の適切な標準および任意の適切な方式で行うことができる。例えば、４０４で決定した周波数集合におけるすべての周波数はいずれも４０６または４１６で選択されていない場合に、プロセス４００はもう１回の投影を決定することができる。また、例えば、２つまたは２つ以上の移行位相の投影が所定の周波数に規定され、４０８で各投影が実施されていない場合に、プロセス４００はもう１回の投影を決定することができる。
【００５１】
具体的には、例えば、幾つかの実施形態では、所定周波数の数Ｆについて、Ｆ＋２画像を投影し検出することができる。さらに具体的には、幾つかの実施形態では、第１の周波数について、３つの画像を投影して検出することができる。残りのＦ−１周波数のそれぞれに対しては、１つの画像を投影し検出することができる。
【００５２】
従って、プロセス４００は４１２で、最後の投影が行われたばかりか否かを判断することができる。「はい」と判断された場合、後述するように、プロセス４００は４１８に進み、各投影周波数下のプロジェクター画素の位相を回復する。「いいえ」と判断された場合、プロセス４００は４１４で他の異なる周波数を用いて次の投影を行うか否かを決定する。「はい」と決定した場合、プロセス４００は４１６で隣接の周波数を選択し、そして４０８に戻る。「いいえ」と決定した場合、プロセス４００は４０８に戻る。
【００５３】
以上に記載したように、幾つかの実施形態では、プロセス４００は４１８で、各投影周波数でのプロジェクター画素の位相を回復する。さらに、幾つかの実施形態では、任意の適切な方式で位相を回復することができる。例えば、４１０で取得した検出画像により、プロセス４００は下記の式により位相値を回復することができる。
【００５４】
【数４】
2018109634.tif 000006
【００５５】
ここで、
ｆは、集合Ωにおいて番号が１〜Ｆの周波数の識別子である。
ｐは、カメラ画素ｃを照射するプロジェクター画素である。
Ａ(ｃ)は、カメラ画素ｃが周波数ｆでの振幅であり、シーン双方向反射分布関数（ＢＲＤＦ）、表面シェーディング効果およびプロジェクター輝度減衰を含み、
【数５】
2018109634.tif 000007
で示されてもよい。
【００５６】
【数６】
2018109634.tif 000008
【００５７】
Ｕｆａｃｔは、以下の式から取得したリニアシステムを解くことにより算出される。
【００５８】
【数７】
2018109634.tif 000009
【００５９】
ここで、
Ｒｍｉｃｒｏは、記録した輝度のベクトルである。
Ｍｍｉｃｒｏは、Ｆ＋２サイズの正方行列であり、かつ
【数８】
2018109634.tif 000010
により示される。
【００６０】
ここで、IIＦ−１は、Ｆ−１×Ｆ−１サイズの単位行列である。
【００６１】
【数９】
2018109634.tif 000011
【００６２】
Ｏ(ｃ)は、カメラ画素ｃのオフセット項であり、環境照明分布を含む。
【００６３】
幾つかの実施形態では、位相が回復すると、４２０で位相アンラッピングを行うことができる。幾つかの実施形態では、位相アンラッピングは、任意の適切な技術で実施することができる。例えば、Ｇｕｓｈｏｖ−Ｓｏｌｏｄｋｉｎ（Ｇ−Ｓ）算法（Ｖ．Ｉ．ＧｕｓｈｏｖおよびＹ．Ｎ．Ｓｏｌｏｄｋｉｎが『光学レーザー技術』誌の１９９１年第１４期に発表した「整数干渉計における縞模様の自動処理」で説明しており、その全部内容は参考として本出願に援用されている）は、複数の高周波数位相を単一低周波数位相に合併することができる。この高周波数正弦波の周期がペアワイズ共同素数（公因数無し）であれば、すべての高周波数正弦波の周期の積に等しい周期の低周波数正弦波を模擬することができる。
【００６４】
幾つかの実施形態では、Ｇｕｓｈｏｖ−Ｓｏｌｏｄｋｉｎ（Ｇ−Ｓ）算法は、任意の適切なアプローチで実行することができる。例えば、幾つかの実施形態では、まず、各周波数の位相は、下記の式により残留プロジェクター縦列数ｐｆに転換される。
【００６５】
【数１０】
2018109634.tif 000012
【００６６】
例えば、仮にλｆ＝１６画素（周波数ｆの周期）、Фｆ＝π／４(周波数ｆの位相)とし
た場合、残留縦列数はｐｆ＝２となる。そして、曖昧性を解消した最終縦列の対応関係ｐ
は、下記の式により取得することができる。
【００６７】
【数１１】
2018109634.tif 000013
【００６８】
ここで、Ｍｆ＝(λ１λ２。。。λＦ)／λｆ、係数ｂｆは合同式ｂｆＭｆ＝１(ｍｏｄλｆ)を解くことにより取得される。このような合同式は、ユークリッド算法により解かれる。幾つかの実施形態では、上述したプロシージャは、以下のような変更を行うことによって、非整数残差ｐｆと周期λｆにも用いることができる。すなわち、残差の整数部分を取ってアンラッピングされた縦列数ｐを算出し、そしてｐに対して小数部分を再び加える。
【００６９】
位相アンラッピングが完成された後、４２２で、カメラ画素縦列ｃの位相とプロジェクター画素縦列ｐの位相との間の対応関係を決定し、そして三角測量によりシーンにおける物体表面（Ｓｘ、Ｓｙ、Ｓｚ）各点の３次元（３Ｄ）位置を決定することによって、シーンにおける物体の形状を算出することができる。そして、形状データは適切なメモリ装置及び／又は記憶装置に記憶される。
【００７０】
幾つかの実施形態によれば、任意の適切な方式で三角測量を行う。例えば、幾つかの実施形態では、三角測量は以下の方式で行って良い。
【００７１】
カメラ中心の３Ｄ座標（ＣＣａｍ１、ＣＣａｍ２、ＣＣａｍ３）およびプロジェクター中心の３Ｄ座標（ＣＰｒｏｊ１、ＣＰｒｏｊ２、ＣＰｒｏｊ３）はそれぞれ、従来の技術で知られているように、プロジェクターおよびカメラを幾何学的に校正することによって先験的に算出することができる。ここで、カメラ画素ｃの３Ｄ座標を（Ｖｃ１、Ｖｃ２、Ｖｃ３）とする。カメラ画素座標が既知のものであるため、カメラ画素ｃの３Ｄ座標（Ｖｃ１、Ｖｃ２、Ｖｃ３）も判るものである。
【００７２】
プロジェクター縦列ｐおよびプロジェクター中心（ＣＰｒｏｊ１、ＣＰｒｏｊ２、ＣＰｒｏｊ３）は、３Ｄ空間で唯一の平面を定義することができる。この平面をＰと称し、その３Ｄ方程式は、
【数１２】
2018109634.tif 000014
となる。
【００７３】
ここで、縦列座標ｐが既知のものであるため、Ｐ１、Ｐ２、Ｐ３およびＰ４も分かるものである。
【００７４】
画素ｃおよびカメラ中心を通過する線をＬと称する。ここで注意すべきことは、シーン点Ｓは、線Ｌと平面Ｐとが交差する所に位置することである。三角測量によりこの交差点を発見できる。３Ｄにおける線Ｌの方程式は、
【数１３】
2018109634.tif 000015
となる。
【００７５】
線Ｌは、スカラーパラメータｔによりのパラメーター化される。目的はｔ値を発見し、このように算出した線上の点は平面Ｐに位置する。ｔ値は下記式により算出される。
【００７６】
【数１４】
2018109634.tif 000016
【００７７】
ｔ値を算出した後、点Ｓの３Ｄ座標は、
【数１５】
2018109634.tif 000017
となる。
【００７８】
最後に、プロセス４００は４２４で終了する。
【００７９】
なお、次のことも注意すべきである。すなわち、図４に示すプロセス４００における少なくとも一部のステップは、図に示す順序またはシーケンスに限られることなく、任意の順序またはシーケンスで実行または進行してもよい。また、図４に示すプロセス４００の前記ステップの一部は、適切な場合にほぼ同時に実行または進行してもよく、或いは、プロセスの長さおよび処理時間の短縮と並行させてもよい。
【００８０】
幾つかの実施形態では、任意の適切なコンピュータ可読媒体は、上記の機能およびプロセスを実行する命令を記憶するために使用可能である。
【００８１】
例えば、幾つかの実施形態では、コンピュータ可読媒体は、一時的なものまたは非一時的なものである。非一時的なコンピュータ可読媒体は、例えば、磁性媒体（例えば、ハードディスク、フロッピーディスク等）、光学式媒体（例えば、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク）、半導体媒体（例えば、フラッシュメモリ、電気的プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能なプログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）等）、伝送中に永続性の外観を有して快速に消失しない任意の適切な媒体、及び／又は任意の適切な実体媒体を含んでよい。また、他の実例では、一時的なコンピュータ可読媒体は、ネットワーク信号、線路信号、光ファイバー信号、回路信号、伝送中に永続性の外観を有しなく快速に消失する任意の適切な媒体、及び／又は任意の適切な無形媒体を含んでよい。
【００８２】
上述した実施形態では、本発明を例示し説明したが、これらは、本発明を例示するものに過ぎず、本発明実施の細部への多数の変更は、特許請求の範囲に規定される本発明の精神と範囲から逸脱することなくできる。また、ここで公開された実施例の複数特徴は、組合せや再編が可能である。
【図１】
2018109634.tif 000018
【図２】
2018109634.tif 000019
【図３】
2018109634.tif 000020
【図４】
2018109634.tif 000021
【手続補正書】
【提出日】平成30年3月6日(2018.3.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
形状測定のためのシステムであって、
プロジェクターと、カメラと、ハードウェアプロセッサーと、を備え、
前記プロジェクターは、
（１）第１の時間範囲の間、シーンに第１の複数の照明パターンを投影し、前記第１の複数の照明パターンの各々は所定周波数を有し、前記第１の複数の照明パターンは平均周波数と、周波数帯域幅とを有し、
（２）前記第１の時間範囲の後、第２の時間範囲の間、シーンに第２の複数の照明パターンを投影し、前記第２の複数の照明パターンの各々は、所定周波数を有し、異なる期間に前記シーンに投影され、３つの異なる照明パターンは第１の所定周波数で投影され、１つのみまたは２つの異なる照明パターンは第２の所定周波数で投影され、前記第２の複数の照明パターンは平均周波数と、周波数帯域幅とを有し、
前記カメラは、
（１）前記第１の時間範囲の間、前記シーンの第１の複数の検出画像を取得し、前記第１の複数の検出画像の各々は、前記第１の複数の照明パターンのうちの１つに対応し、
（２）前記第２の時間範囲の間、前記シーンの第２の複数の検出画像を取得し、前記第２の複数の検出画像の各々は、前記第２の複数の照明パターンのうちの１つに対応し、
前記ハードウェアプロセッサーは、
（１）前記第１の時間範囲の間、
前記プロジェクターが前記シーンに前記第１の複数の照明パターンを投影する前に、前記第１の複数の照明パターンの前記平均周波数及び前記周波数帯域幅を選択し、
前記プロジェクターに前記第１の複数の照明パターンを投影させ、
前記カメラに前記シーンの前記第１の複数の検出画像を取得させ、
前記第１の複数の検出画像において検出された前記第１の複数の照明パターンから反射光の振幅を測定し、
反射光の前記振幅の変化を決定し、
前記変化が閾値を超えないことを決定し、
前記第１の複数の照明パターンの前記平均周波数及び前記周波数帯域幅に基づいて前記第２の複数の照明パターンの周波数の組を選択し、
（２）前記第２の時間範囲の間、
前記プロジェクターに前記第２の複数の照明パターンを投影させ、
前記カメラに前記第２の複数の検出画像を取得させ、
前記カメラによって取得された前記第２の複数の検出画像を受信し、
前記第２の複数の検出画像に基づいて前記シーンにおける物体の形状を測定する、
システム。
【請求項２】
前記ハードウェアプロセッサーは更に、複数の振幅の小範囲に対応する前記変化に基づく前記閾値を前記変化が超えないことを決定する、請求項１に記載のシステム。
【請求項３】
前記複数の振幅の小範囲は互いの１％以内である、請求項２に記載のシステム。
【請求項４】
前記複数の振幅の小範囲は互いの５％以内である、請求項２に記載のシステム。
【請求項５】
前記複数の振幅の小範囲は互いの１０％以内である、請求項２に記載のシステム。
【請求項６】
前記ハードウェアプロセッサーは更に、Ｇｕｓｈｏｖ−Ｓｏｌｏｄｋｉｎ（Ｇ−Ｓ）算法により位相アンラッピングを実行する、請求項１に記載のシステム。
【請求項７】
前記第２の複数の照明パターンの各所定周波数は１０Ｈｚより高い、請求項１に記載のシステム。
【請求項８】
前記第２の複数の照明パターンの各所定周波数は３０Ｈｚより高い、請求項１に記載のシステム。
【請求項９】
形状測定のための方法であって、
（１）第１の時間範囲の間、
第１の複数の照明パターンの平均周波数及び周波数帯域幅を選択するステップであって、前記第１の複数の照明パターンの各々は所定周波数を有するステップと、
プロジェクターに前記第１の複数の照明パターンをシーンに投影させるステップと、
カメラに前記シーンの第１の複数の検出画像を取得させるステップであって、前記第１の複数の検出画像の各々は、前記第１の複数の照明パターンのうちの１つに対応するステップと、
前記第１の複数の検出画像において検出された前記第１の複数の照明パターンから反射光の振幅を測定するステップと、
反射光の前記振幅の変化を決定するステップと、
前記変化が閾値を超えないことを決定するステップと、
前記第１の複数の照明パターンの前記平均周波数及び前記周波数帯域幅に基づいて第２の複数の照明パターンの周波数の組を選択するステップであって、前記第２の複数の照明パターンの各々は所定周波数を有するステップと、
（２）第２の時間範囲の間、
前記プロジェクターに前記第２の複数の照明パターンを投影させるステップであって、前記第２の複数の照明パターンの各々は、異なる期間に前記シーンに投影され、３つの異なる照明パターンは第１の所定周波数で投影され、１つのみまたは２つの異なる照明パターンは第２の所定周波数で投影されるステップと、
前記カメラに前記シーンの第２の複数の検出画像を取得させるステップであって、前記第２の複数の検出画像の各々は、前記第２の複数の照明パターンのうちの１つに対応するステップと、
前記カメラによって取得された前記第２の複数の検出画像を、ハードウェアプロセッサーを使用して受信するステップと、
前記第２の複数の検出画像に基づいて前記シーンにおける物体の形状を、前記ハードウェアプロセッサーを使用して測定するステップと、
を含む、方法。
【請求項１０】
複数の振幅の小範囲に対応する前記変化に基づく前記閾値を前記変化が超えないことを決定するステップをさらに含む、請求項９に記載の方法。
【請求項１１】
前記複数の振幅の小範囲は互いの１％以内である、請求項１０に記載の方法。
【請求項１２】
前記複数の振幅の小範囲は互いの５％以内である、請求項１０に記載の方法。
【請求項１３】
前記複数の振幅の小範囲は互いの１０％以内である、請求項１０に記載の方法。
【請求項１４】
Ｇｕｓｈｏｖ−Ｓｏｌｏｄｋｉｎ（Ｇ−Ｓ）算法により位相アンラッピングを実行するステップをさらに含む、請求項９に記載の方法。
【請求項１５】
前記第２の複数の照明パターンの各所定周波数は１０Ｈｚより高い、請求項９に記載の方法。
【請求項１６】
前記第２の複数の照明パターンの各所定周波数は３０Ｈｚより高い、請求項９に記載の方法。
【請求項１７】
コンピュータ実行可能な命令を有する非一時的なコンピュータ可読媒体であって、プロセッサーにより実行される時に、前記命令により、前記プロセッサーは形状を測定する方法を実行し、前記方法は、
（１）第１の時間範囲の間、
第１の複数の照明パターンの平均周波数及び周波数帯域幅を選択するステップであって、前記第１の複数の照明パターンの各々は所定周波数を有するステップと、
プロジェクターに前記第１の複数の照明パターンをシーンに投影させるステップと、
カメラに前記シーンの第１の複数の検出画像を取得させるステップであって、前記第１の複数の検出画像の各々は、前記第１の複数の照明パターンのうちの１つに対応するステップと、
前記第１の複数の検出画像において検出された前記第１の複数の照明パターンから反射光の振幅を測定するステップと、
反射光の前記振幅の変化を決定するステップと、
前記変化が閾値を超えないことを決定するステップと、
前記第１の複数の照明パターンの前記平均周波数及び前記周波数帯域幅に基づいて第２の複数の照明パターンの周波数の組を選択するステップであって、前記第２の複数の照明パターンの各々は所定周波数を有するステップと、
（２）第２の時間範囲の間、
前記プロジェクターに前記第２の複数の照明パターンを投影させるステップであって、前記第２の複数の照明パターンの各々は、異なる期間に前記シーンに投影され、３つの異なる照明パターンは第１の所定周波数で投影され、１つのみまたは２つの異なる照明パターンは第２の所定周波数で投影されるステップと、
前記カメラに前記シーンの第２の複数の検出画像を取得させるステップであって、前記第２の複数の検出画像の各々は、前記第２の複数の照明パターンのうちの１つに対応するステップと、
前記カメラによって取得された前記第２の複数の検出画像を受信するステップと、
前記第２の複数の検出画像に基づいて前記シーンにおける物体の形状を測定するステップと、
を含む、
非一時的なコンピュータ可読媒体。
【請求項１８】
前記方法は、複数の振幅の小範囲に対応する前記変化に基づく前記閾値を前記変化が超えないことを決定するステップをさらに含む、請求項１７に記載の非一時的なコンピュータ可読媒体。
【請求項１９】
前記複数の振幅の小範囲は互いの１％以内である、請求項１８に記載の非一時的なコンピュータ可読媒体。
【請求項２０】
前記複数の振幅の小範囲は互いの５％以内である、請求項１８に記載の非一時的なコンピュータ可読媒体。
【請求項２１】
前記複数の振幅の小範囲は互いの１０％以内である、請求項１８に記載の非一時的なコンピュータ可読媒体。
【請求項２２】
前記方法は、Ｇｕｓｈｏｖ−Ｓｏｌｏｄｋｉｎ（Ｇ−Ｓ）算法により位相アンラッピングを実行するステップをさらに含む、請求項１７に記載の非一時的なコンピュータ可読媒体。
【請求項２３】
前記第２の複数の照明パターンの各所定周波数は１０Ｈｚより高い、請求項１７に記載の非一時的なコンピュータ可読媒体。
【請求項２４】
前記第２の複数の照明パターンの各所定周波数は３０Ｈｚより高い、請求項１７に記載の非一時的なコンピュータ可読媒体。
【外国語明細書】
2018109634000001.pdf