(57)【要約】【課題】多重反射光等による測定精度の低下を抑制する。【解決手段】第１撮像画素と、第１撮像画素に対応する投影座標と同じ投影座標に対応し且つ第１撮像画素に対応する第１エピポーラ線上に位置する第２撮像画素との組み合わせを特定する関係特定部４５と、第１撮像画素に対応する投影座標を有する投影画像の投影画素と、第２撮像画素に対応する投影座標を有する投影画像の投影画素との間の距離に基づいて、前記第１撮像画素又は前記第２撮像画素の少なくともいずれかが不良画素であるか否かを判定する判定部４６と、前記第１撮像画素及び第２撮像画素が前記不良画素でないと判定された前記組み合わせに対応する第１撮像画素、又は第２撮像画素を用いて、測定対象物の形状を測定する形状測定部４７と、を備える三次元形状測定装置。【選択図】図３
2020177017.tif 000002
【特許請求の範囲】
【請求項１】
投影座標を特定するためのパターンを含む投影画像を測定対象物に投影する投影部と、
前記測定対象物に投影された前記投影画像を撮像することにより第１撮像画像を生成する第１撮像部と、
前記測定対象物に投影された前記投影画像を撮像することにより第２撮像画像を生成する第２撮像部と、
前記第１撮像画像に含まれる前記パターンに基づいて、前記第１撮像画像の第１撮像画素に対応する前記投影座標を特定する第１座標特定部と、
前記第２撮像画像に含まれる前記パターンに基づいて、前記第２撮像画像の第２撮像画素に対応する前記投影座標を特定する第２座標特定部と、
前記第１撮像部と前記第２撮像部との配置に基づいて、前記第１撮像画素に対応する前記第２撮像画像の第１エピポーラ線を特定する線特定部と、
前記第１撮像画素と、当該第１撮像画素に対応する前記投影座標と同じ前記投影座標に対応し且つ当該第１撮像画素に対応する前記第２撮像画像の前記第１エピポーラ線上に位置する前記第２撮像画素との組み合わせを特定する関係特定部と、
前記第１撮像画素及び前記第２撮像画素の前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標を有する前記投影画像の投影画素と、当該第２撮像画素に対応する前記投影座標を有する前記投影画像の投影画素との間の距離に基づいて、前記第１撮像画素又は前記第２撮像画素の少なくともいずれかが不良画素であるか否かを判定する判定部と、
前記第１撮像画素及び前記第２撮像画素が前記不良画素でないと判定された前記組み合わせに対応する前記第１撮像画素、及び前記第２撮像画素の少なくともいずれか一方を用いて、前記測定対象物の形状を測定する形状測定部と、を備える、
三次元形状測定装置。
【請求項２】
前記投影部は、同じ方向に縞が延びる前記パターンを含む複数の前記投影画像を前記測定対象物に投影し、
前記線特定部は、前記第２撮像部と前記投影部との配置に基づいて、前記第２撮像画素に対応する前記投影画像の第２エピポーラ線を特定し、且つ、前記第１撮像部と前記投影部との配置に基づいて、前記第１撮像画素に対応する前記投影画像の第３エピポーラ線を特定し、
前記判定部は、前記第１撮像画素及び前記第２撮像画素の前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標を有し且つ当該第１撮像画素に対応する前記投影画像の前記第３エピポーラ線上に位置する前記投影画素と、当該第２撮像画素に対応する前記投影座標を有し且つ当該第２撮像画素に対応する前記投影画像の前記第２エピポーラ線上に位置する前記投影画素との間の距離に基づいて、前記第１撮像画素又は前記第２撮像画素の少なくともいずれかが不良画素であるか否かを判定する、
請求項１に記載の三次元形状測定装置。
【請求項３】
前記投影部は、同じ方向に縞が延びる前記パターンを含む複数の前記投影画像を前記測定対象物に投影し、
前記線特定部は、前記第２撮像部と前記投影部との配置に基づいて、前記第２撮像画素に対応する前記投影画像の第２エピポーラ線を特定し、且つ、前記第１撮像部と前記投影部との配置に基づいて、前記第１撮像画素に対応する前記投影画像の第３エピポーラ線を特定し、
前記判定部は、前記第１撮像画素及び前記第２撮像画素の前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標を有し且つ当該第１撮像画素に対応する前記投影画像の前記第３エピポーラ線上に位置する前記投影画素と、前記第２エピポーラ線及び前記第３エピポーラ線の交点に位置する前記投影画素との間の距離に基づいて、前記第１撮像画素又は前記第２撮像画素の少なくともいずれかが不良画素であるか否かを判定する、
請求項１に記載の三次元形状測定装置。
【請求項４】
前記投影部は、縞の前記パターンを含む複数の前記投影画像であって、前記パターンに含まれる当該縞の延びる方向が互いに異なる当該複数の投影画像を前記測定対象物に投影する、
請求項１に記載の三次元形状測定装置。
【請求項５】
前記第１座標特定部は、縞の延びる方向が互いに異なる前記複数の投影画像ごとに、前記第１撮像画素に対応する前記投影座標をそれぞれ特定し、
前記第２座標特定部は、縞の延びる方向が互いに異なる前記複数の投影画像ごとに、前記第２撮像画素に対応する前記投影座標をそれぞれ特定し、
前記判定部は、前記関係特定部が特定した前記第１撮像画素と前記第２撮像画素との前記組み合わせにおいて縞の延びる方向が互いに異なる前記複数の投影画像ごとに、当該第１撮像画素に対応する前記投影座標と当該第２撮像画素に対応する前記投影座標との比較値を求め、求めた前記比較値に基づいた評価値により、当該第１撮像画素又は当該第２撮像画素の少なくともいずれかが不良画素であるか否かを判定する、
請求項４に記載の三次元形状測定装置。
【請求項６】
前記第１座標特定部は、縞の延びる方向が互いに異なる前記複数の投影画像ごとに、前記第１撮像画素に対応する前記投影座標を特定し、
前記三次元形状測定装置は、
前記関係特定部が特定した前記第１撮像画素及び前記第２撮像画素の前記組み合わせを取得し、取得した当該組み合わせにおいて当該第２撮像画素から所定範囲内の複数の前記第２撮像画素を対応候補画素として取得する取得部と、
縞の延びる方向が互いに異なる前記投影画像ごとに、前記複数の対応候補画素に対応する前記投影座標をそれぞれ特定する候補座標特定部と、
縞の伸びる方向が互いに異なる前記投影画像ごとに、前記第１撮像画素に対応する前記投影座標と、前記対応候補画素に対応する前記投影座標との比較値を求め、前記投影画像ごとに求めた複数の前記比較値に基づく評価値を前記対応候補画素ごとに求める評価部とをさらに備え、
前記関係特定部は、前記評価部が求めた前記評価値に基づいて、前記複数の対応候補画素のうち、いずれかの前記対応候補画素と、前記取得部が取得した組み合わせにおける前記第１撮像画素とを新たな組み合わせとして特定する、
請求項４又は５に記載の三次元形状測定装置。
【請求項７】
前記関係特定部は、前記第１撮像画像に含まれる複数の前記第１撮像画素と、前記第２撮像画像に含まれる複数の前記第２撮像画素との複数の前記組み合わせを特定し、
前記判定部は、前記関係特定部が特定した前記第１撮像画素及び前記第２撮像画素の前記複数の組み合わせのそれぞれにおいて、当該第１撮像画素に対応する前記投影座標を有する前記投影画像の投影画素と、当該第２撮像画素に対応する前記投影座標を有する前記投影画像の投影画素との距離を示す評価値を求め、前記複数の組み合わせごとに当該評価値を求め、求めた複数の前記評価値の統計量が基準値を超えている場合に、前記第１撮像部、前記第２撮像部及び前記投影部のいずれかの配置に不具合が生じたと判定する、
請求項１から６のいずれか一項に記載の三次元形状測定装置。
【請求項８】
投影座標を特定するためのパターンを含む投影画像を測定対象物に投影する投影部と、
前記測定対象物に投影された前記投影画像を撮像することにより第１撮像画像を生成する第１撮像部と、
前記測定対象物に投影された前記投影画像を撮像することにより第２撮像画像を生成する第２撮像部と、
前記第１撮像画像に含まれる前記パターンに基づいて、前記第１撮像画像の第１撮像画素に対応する前記投影座標を特定する第１座標特定部と、
前記第２撮像画像に含まれる前記パターンに基づいて、前記第２撮像画像の第２撮像画素に対応する前記投影座標を特定する第２座標特定部と、
前記第１撮像部と前記投影部との配置に基づいて、前記第１撮像画素に対応する前記投影画像のエピポーラ線を特定し、前記投影部と前記第２撮像部との配置に基づいて、前記投影画像の投影画素に対応する前記第２撮像画像のエピポーラ線を特定する線特定部と、
前記第１撮像画素と、当該第１撮像画素に対応する前記投影座標を有し且つ当該第１撮像画素に対応する前記投影画像の前記エピポーラ線上に位置する前記投影画像の投影画素との組み合わせを特定する関係特定部と、
前記第１撮像画素及び前記投影画素との前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標と同じ前記投影座標に対応する前記第２撮像画素である主第２撮像画素と、当該投影画素の前記投影座標に対応し、且つ、当該投影座標に対応する前記第２撮像画像のエピポーラ線上に位置する前記第２撮像画素である副第２撮像画素との間の距離に基づいて、前記第１撮像画素、主第２撮像画素又は副第２撮像画素の少なくともいずれかが不良画素であるか否かを判定する判定部と、
前記第１撮像画素、前記主第２撮像画素及び前記副第２撮像画素が不良画素でないと判定された前記組み合わせに対応する前記第１撮像画素、前記主第２撮像画素又は前記副第２撮像画素の少なくともいずれかを用いて、前記測定対象物の形状を測定する形状測定部と、を備える、
三次元形状測定装置。
【請求項９】
前記投影部は、２値の縞の前記パターンを含む前記投影画像と、正弦波状の輝度分布を有する縞の前記パターンを含む前記投影画像とを前記測定対象物に投影する、
請求項１から８のいずれか一項に記載の三次元形状測定装置。
【請求項１０】
前記投影部は、縞の周期が互いに異なる正弦波状の輝度分布を有する縞の前記パターンを含む複数の前記投影画像を順次投影する、
請求項１から９のいずれか一項に記載の三次元形状測定装置。
【請求項１１】
前記投影部は、前記投影画像に含まれる複数の画素のうち、前記判定部が不良画素であると判定した前記第１撮像画素及び前記第２撮像画素のいずれかに対応する前記投影座標を有する前記投影画素を全て除いた投影画像を前記測定対象物に再び投影する、
請求項１から１０のいずれか一項に記載の三次元形状測定装置。
【請求項１２】
前記投影部は、前記投影画像に含まれる複数の前記投影画素のうち、前記判定部が不良画素であると判定した前記第１撮像画素又は前記第２撮像画素に対応する前記投影座標を有する前記投影画素のみを含む投影画像を前記測定対象物に再び投影する、
請求項１から１１のいずれか一項に記載の三次元形状測定装置。
【請求項１３】
投影座標を特定するためのパターンを含む投影画像を測定対象物に投影するステップと、
前記測定対象物に投影された前記投影画像を第１撮像部により撮像することによって第１撮像画像を生成するステップと、
前記測定対象物に投影された前記投影画像を第２撮像部により撮像することによって第２撮像画像を生成するステップと、
前記第１撮像画像に含まれる前記パターンに基づいて、前記第１撮像画像の第１撮像画素に対応する前記投影座標を特定するステップと、
前記第２撮像画像に含まれる前記パターンに基づいて、前記第２撮像画像の第２撮像画素に対応する前記投影座標を特定するステップと、
前記第１撮像部と前記第２撮像部との配置に基づいて、前記第１撮像画素に対応する前記第２撮像画像のエピポーラ線を特定するステップと、
前記第１撮像画素と、当該第１撮像画素に対応する前記投影座標と同じ前記投影座標に対応し且つ当該第１撮像画素に対応する前記第２撮像画像の前記エピポーラ線上に位置する前記第２撮像画素との組み合わせを特定するステップと、
前記第１撮像画素及び前記第２撮像画素の前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標を有する前記投影画像の投影画素と、当該第２撮像画素に対応する前記投影座標を有する前記投影画像の投影画素との間の距離に基づいて、前記第１撮像画素又は前記第２撮像画素の少なくともいずれかが不良画素であるか否かを判定するステップと、
前記第１撮像画素及び前記第２撮像画素が前記不良画素でないと判定された前記組み合わせに対応する第１撮像画素、及び前記第２撮像画素の少なくともいずれか一方を用いて、前記測定対象物の形状を測定するステップと、を備える、
三次元形状測定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、測定対象物の形状を測定する三次元形状測定装置及び三次元形状測定方法に関する。
【背景技術】
【０００２】
投影パターンを投影し、投影パターンが投影された測定対象物を撮像して得られた撮像画像を解析することにより、測定対象物に接触することなく測定対象物の形状を測定する方法が提案されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１４６２９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
投影パターンを測定対象物に投影すると、測定対象物が有する複数の表面間での光の反射である多重反射が起こる場合がある。多重反射が起こると、撮像画像において多重反射がない場合とは異なる輝度の領域が生じてしまうことがあった。撮像装置が１台である場合、１つの撮像装置から得られた撮影画像を解析することにより、多重反射光の影響を特定する必要がある。例えば、特開２０１７−１４６２９８号公報に記載の方法では、撮像画像の輝度値に基づいて、多重反射光の影響を受けた画素を特定することができる。しかしながら、多重反射光の影響を受けた画素が直接反射光を照射された画素に近い輝度を示した場合、多重反射光の影響を受けた画素を検出できない可能性があった。
【０００５】
そこで、本発明はこれらの点に鑑みてなされたものであり、多重反射光等による測定精度の低下を抑制することができる三次元形状測定装置及び三次元形状測定方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様の三次元形状測定装置は、投影座標を特定するためのパターンを含む投影画像を測定対象物に投影する投影部と、前記測定対象物に投影された前記投影画像を撮像することにより第１撮像画像を生成する第１撮像部と、前記測定対象物に投影された前記投影画像を撮像することにより第２撮像画像を生成する第２撮像部と、前記第１撮像画像に含まれる前記パターンに基づいて、前記第１撮像画像の第１撮像画素に対応する前記投影座標を特定する第１座標特定部と、前記第２撮像画像に含まれる前記パターンに基づいて、前記第２撮像画像の第２撮像画素に対応する前記投影座標を特定する第２座標特定部と、前記第１撮像部と前記第２撮像部との配置に基づいて、前記第１撮像画素に対応する前記第２撮像画像の第１エピポーラ線を特定する線特定部と、前記第１撮像画素と、当該第１撮像画素に対応する前記投影座標と同じ前記投影座標に対応し且つ当該第１撮像画素に対応する前記第２撮像画像の前記第１エピポーラ線上に位置する前記第２撮像画素との組み合わせを特定する関係特定部と、前記第１撮像画素及び前記第２撮像画素の前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標を有する前記投影画像の投影画素と、当該第２撮像画素に対応する前記投影座標を有する前記投影画像の投影画素との間の距離に基づいて、前記第１撮像画素又は第２撮像画素の少なくともいずれかが不良画素であるか否かを判定する判定部と、前記第１撮像画素及び前記第２撮像画素が前記不良画素でないと判定された前記組み合わせに対応する前記第１撮像画素、及び前記第２撮像画素の少なくともいずれか一方を用いて、前記測定対象物の形状を測定する形状測定部と、を備える。
【０００７】
前記投影部は、同じ方向に縞が延びる前記パターンを含む複数の前記投影画像を前記測定対象物に投影し、前記線特定部は、前記第２撮像部と前記投影部との配置に基づいて、前記第２撮像画素に対応する前記投影画像の第２エピポーラ線を特定し、且つ、前記第１撮像部と前記投影部との配置に基づいて、前記第１撮像画素に対応する前記投影画像の第３エピポーラ線を特定し、前記判定部は、前記第１撮像画素及び前記第２撮像画素の前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標を有し且つ当該第１撮像画素に対応する前記投影画像の前記第３エピポーラ線上に位置する前記投影画素と、当該第２撮像画素に対応する前記投影座標を有し且つ当該第２撮像画素に対応する前記投影画像の前記第２エピポーラ線上に位置する前記投影画素との間の距離に基づいて、前記第１撮像画素又は前記第２撮像画素の少なくともいずれかが不良画素であるか否かを判定してもよい。
【０００８】
前記投影部は、同じ方向に縞が延びる前記パターンを含む複数の前記投影画像を前記測定対象物に投影し、前記線特定部は、前記第２撮像部と前記投影部との配置に基づいて、前記第２撮像画素に対応する前記投影画像の第２エピポーラ線を特定し、且つ、前記第１撮像部と前記投影部との配置に基づいて、前記第１撮像画素に対応する前記投影画像の第３エピポーラ線を特定し、前記判定部は、前記第１撮像画素及び前記第２撮像画素の前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標を有し且つ当該第１撮像画素に対応する前記投影画像の前記第３エピポーラ線上に位置する前記投影画素と、前記第２エピポーラ線及び前記第３エピポーラ線の交点に位置する前記投影画素との間の距離に基づいて、前記第１撮像画素又は前記第２撮像画素の少なくともいずれかが不良画素であるか否かを判定してもよい。
【０００９】
前記投影部は、縞の前記パターンを含む複数の前記投影画像であって、前記パターンに含まれる当該縞の延びる方向が互いに異なる当該複数の投影画像を前記測定対象物に投影してもよい。
【００１０】
前記第１座標特定部は、縞の延びる方向が互いに異なる前記複数の投影画像ごとに、前記第１撮像画素に対応する前記投影座標をそれぞれ特定し、前記第２座標特定部は、縞の延びる方向が互いに異なる前記複数の投影画像ごとに、前記第２撮像画素に対応する前記投影座標をそれぞれ特定し、前記判定部は、前記関係特定部が特定した前記第１撮像画素と前記第２撮像画素との前記組み合わせにおいて縞の延びる方向が互いに異なる前記複数の投影画像ごとに、当該第１撮像画素に対応する前記投影座標と当該第２撮像画素に対応する前記投影座標との比較値を求め、求めた前記比較値に基づいた評価値により、当該第１撮像画素又は当該第２撮像画素の少なくともいずれかが不良画素であるか否かを判定してもよい。
【００１１】
前記第１座標特定部は、縞の延びる方向が互いに異なる前記複数の投影画像ごとに、前記第１撮像画素に対応する前記投影座標を特定し、前記三次元形状測定装置は、前記関係特定部が特定した前記第１撮像画素及び前記第２撮像画素の前記組み合わせを取得し、取得した当該組み合わせにおいて当該第２撮像画素から所定範囲内の複数の前記第２撮像画素を対応候補画素として取得する取得部と、縞の延びる方向が互いに異なる前記投影画像ごとに、前記複数の対応候補画素に対応する前記投影座標をそれぞれ特定する候補座標特定部と、縞の伸びる方向が互いに異なる前記投影画像ごとに、前記第１撮像画素に対応する前記投影座標と、前記対応候補画素に対応する前記投影座標との比較値を求め、前記投影画像ごとに求めた複数の前記比較値に基づく評価値を前記対応候補画素ごとに求める評価部とをさらに備え、前記関係特定部は、前記評価部が求めた前記評価値に基づいて、前記複数の対応候補画素のうち、いずれかの前記対応候補画素と、前記取得部が取得した組み合わせにおける前記第１撮像画素とを新たな組み合わせとして特定してもよい。
【００１２】
前記関係特定部は、前記第１撮像画像に含まれる複数の前記第１撮像画素と、前記第２撮像画像に含まれる複数の前記第２撮像画素との複数の前記組み合わせを特定し、前記判定部は、前記関係特定部が特定した前記第１撮像画素及び前記第２撮像画素の前記複数の組み合わせのそれぞれにおいて、当該第１撮像画素に対応する前記投影座標を有する前記投影画像の投影画素と、当該第２撮像画素に対応する前記投影座標を有する前記投影画像の投影画素との距離を示す評価値を求め、前記複数の組み合わせごとに当該評価値を求め、求めた複数の前記評価値の統計量が基準値を超えている場合に、前記第１撮像部、前記第２撮像部及び前記投影部のいずれかの配置に不具合が生じたと判定してもよい。
【００１３】
本発明の第２の態様の三次元形状測定装置は、投影座標を特定するためのパターンを含む投影画像を測定対象物に投影する投影部と、前記測定対象物に投影された前記投影画像を撮像することにより第１撮像画像を生成する第１撮像部と、前記測定対象物に投影された前記投影画像を撮像することにより第２撮像画像を生成する第２撮像部と、前記第１撮像画像に含まれる前記パターンに基づいて、前記第１撮像画像の第１撮像画素に対応する前記投影座標を特定する第１座標特定部と、前記第２撮像画像に含まれる前記パターンに基づいて、前記第２撮像画像の第２撮像画素に対応する前記投影座標を特定する第２座標特定部と、前記第１撮像部と前記投影部との配置に基づいて、前記第１撮像画素に対応する前記投影画像のエピポーラ線を特定し、前記投影部と前記第２撮像部との配置に基づいて、前記投影画像の投影画素に対応する前記第２撮像画像のエピポーラ線を特定する線特定部と、前記第１撮像画素と、当該第１撮像画素に対応する前記投影座標を有し且つ当該第１撮像画素に対応する前記投影画像の前記エピポーラ線上に位置する前記投影画像の投影画素との組み合わせを特定する関係特定部と、前記第１撮像画素及び前記投影画素との前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標と同じ前記投影座標に対応する前記第２撮像画素である主第２撮像画素と、当該投影画素の前記投影座標に対応し、且つ、当該投影座標に対応する前記第２撮像画像のエピポーラ線上に位置する前記第２撮像画素である副第２撮像画素との間の距離に基づいて、前記第１撮像画素、主第２撮像画素又は副第２撮像画素の少なくともいずれかが不良画素であるか否かを判定する判定部と、前記第１撮像画素、前記主第２撮像画素及び前記副第２撮像画素が不良画素でないと判定された前記組み合わせに対応する前記第１撮像画素、前記主第２撮像画素又は前記副第２撮像画素の少なくともいずれかを用いて、前記測定対象物の形状を測定する形状測定部と、を備える。
【００１４】
前記投影部は、２値の縞の前記パターンを含む前記投影画像と、正弦波状の輝度分布を有する縞の前記パターンを含む前記投影画像とを前記測定対象物に投影してもよい。前記投影部は、縞の周期が互いに異なる正弦波状の輝度分布を有する縞の前記パターンを含む複数の前記投影画像を順次投影してもよい。
【００１５】
前記投影部は、前記投影画像に含まれる複数の画素のうち、前記判定部が不良画素であると判定した前記第１撮像画素及び前記第２撮像画素のいずれかに対応する前記投影座標を有する前記投影画素を全て除いた投影画像を前記測定対象物に再び投影してもよい。前記投影部は、前記投影画像に含まれる複数の前記投影画素のうち、前記判定部が不良画素であると判定した前記第１撮像画素又は前記第２撮像画素に対応する前記投影座標を有する前記投影画素のみを含む投影画像を前記測定対象物に再び投影してもよい。
【００１６】
本発明の第３の態様の三次元形状測定方法は、投影座標を特定するためのパターンを含む投影画像を測定対象物に投影するステップと、前記測定対象物に投影された前記投影画像を第１撮像部により撮像することによって第１撮像画像を生成するステップと、前記測定対象物に投影された前記投影画像を第２撮像部により撮像することによって第２撮像画像を生成するステップと、前記第１撮像画像に含まれる前記パターンに基づいて、前記第１撮像画像の第１撮像画素に対応する前記投影座標を特定するステップと、前記第２撮像画像に含まれる前記パターンに基づいて、前記第２撮像画像の第２撮像画素に対応する前記投影座標を特定するステップと、前記第１撮像部と前記第２撮像部との配置に基づいて、前記第１撮像画素に対応する前記第２撮像画像のエピポーラ線を特定するステップと、前記第１撮像画素と、当該第１撮像画素に対応する前記投影座標と同じ前記投影座標に対応し且つ当該第１撮像画素に対応する前記第２撮像画像の前記エピポーラ線上に位置する前記第２撮像画素との組み合わせを特定するステップと、前記第１撮像画素及び前記第２撮像画素の前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標を有する前記投影画像の投影画素と、当該第２撮像画素に対応する前記投影座標を有する前記投影画像の投影画素との間の距離に基づいて、前記第１撮像画素又は前記第２撮像画素の少なくともいずれかが不良画素であるか否かを判定するステップと、前記第１撮像画素及び前記第２撮像画素が前記不良画素でないと判定された前記組み合わせに対応する前記第１撮像画素、及び前記第２撮像画素の少なくともいずれか一方を用いて、前記測定対象物の形状を測定するステップと、を備える。
【発明の効果】
【００１７】
本発明によれば、多重反射光等による測定精度の低下を抑制するという効果を奏する。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態に係る三次元形状測定装置の概要について説明するための図である。
【図２】投影部が測定対象物に投影する投影画像を示す。
【図３】三次元形状測定装置の構成を示す図である。
【図４】投影制御部が投影する投影画像の種類の例を示す図である。
【図５】正弦波状の輝度分布を有する階調の縞のパターンの例を示す。
【図６】図４（ｃ）〜図４（ｆ）に示す２値の縞のパターンに対応するグレイコードの例を示す。
【図７】絶対投影座標と相対投影座標との関係を示す図である。
【図８】第１撮像部及び第２撮像部により測定対象物を撮像する場合の例を示す。
【図９】第２撮像画像に対応する投影画像の第２エピポーラ線の例を示す。
【図１０】多重反射について説明するための図である。
【図１１】投影制御部が同じ方向に延びる縞のパターンを含む複数の投影画像のみを投影した場合において判定部が不良画素を判定する方法を示す図である。
【図１２】判定部による不良画素であるか否かの判定方法を示す図である。
【図１３】投影画像の縞の延びる方向と多重反射光との関係を示す図である。
【図１４】三次元形状測定装置による測定対象物の形状の測定処理を示すフローチャートである。
【図１５】第２の実施形態の三次元形状測定装置が備える制御部の構成を示す図である。
【図１６】評価部による対応候補画素の評価方法を示す図である。
【発明を実施するための形態】
【００１９】
＜第１の実施形態＞
［三次元形状測定装置１００の概要］
図１（ａ）〜図１（ｃ）は、第１の実施形態に係る三次元形状測定装置１００の概要について説明するための図である。図１（ａ）は、三次元形状測定装置１００の構成を示している。三次元形状測定装置１００は、測定対象物の測定面に対し、投影画像を投影する。三次元形状測定装置１００は、第１撮像部１及び第２撮像部２の２つの撮像部により、投影部３が投影した投影画像が投影された状態における測定対象物を撮像する。三次元形状測定装置１００は、三次元形状測定装置１００が生成した撮像画像を解析することにより、測定対象物の三次元形状を光学的に測定する。
【００２０】
投影部３は、発光ダイオード又はレーザ等の光源を有している投影装置である。投影部３は、投影座標を特定するためのパターンを含む投影画像を測定対象物の測定面に投影する。投影座標は、投影部３が投影する投影画像を構成する投影画素の位置を示す。投影座標は、投影画像の縦方向又は横方向のいずれか一方の位置を示す一次元座標であってもよく、投影画像の縦方向及び横方向の両方の位置を示す二次元座標であってもよい。パターンは、例えば、縞のパターンである。
【００２１】
第１撮像部１は、レンズ１１及び撮像素子１２を有している。第１撮像部１は、投影部３が投影画像を測定対象物に投影している間に、測定対象物に投影された投影画像を撮像することにより、第１撮像画像を生成する。第１撮像部１は、第１撮像部１の光軸が投影部３の光軸と所定の第１角度をなすように配置される。第１撮像部１は、第１撮像部１の光軸が第２撮像部２の光軸と所定の第２角度をなすように配置される。
【００２２】
第２撮像部２は、レンズ２１及び撮像素子２２を有している。第２撮像部２は、投影部３が投影画像を測定対象物に投影している間に、測定対象物に投影された投影画像を撮像することにより第２撮像画像を生成する。第２撮像部２は、第２撮像部２の光軸が投影部３の光軸と所定の第３角度をなすように配置される。第２撮像部２の光軸は、第１撮像部１の光軸及び投影部３の光軸と同一平面をなしてもよいが、これに限定されない。制御部４は、第１撮像部１及び第２撮像部２が生成した複数の撮像画像に基づいて、測定対象物の形状を測定する。制御部４は、例えばコンピュータにより実現される。
【００２３】
図１（ｂ）及び（ｃ）は、投影部３が測定対象物に投影画像を投影している間に第１撮像部１が生成した撮像画像の例を示す。図１（ｂ）及び（ｃ）に示すように、投影部３は、２値の縞のパターンを含む投影画像を測定対象物に投影する。２値の縞のパターンは、光が投影される光投影領域と、光が投影されない非投影領域とから構成される。図１（ｂ）は、投影部３が２値の縞のパターンを含む投影画像を凹凸がない測定面に向けて投影した場合に、第１撮像部１及び第２撮像部２が生成する撮像画像を示している。白色の領域は光投影領域を示しており、黒色の領域は非投影領域を示している。測定面に凹凸がない場合、第１撮像部１及び第２撮像部２が生成する撮像画像の２値の縞のパターンは、投影画像の２値の縞のパターンと概略一致する形状を有する。
【００２４】
図１（ｃ）は、投影部３が凸部を含む測定面に２値の縞のパターンを投影した場合に、第１撮像部１又は第２撮像部２が生成する撮像画像である。図１（ｃ）の撮像画像に示すように、２値の縞のパターンの一部の画像が変形している。撮像画像においては、凸部の高さに応じた量だけ２値の縞のパターンの画像が変形する。そこで、三次元形状測定装置１００は、撮像画像における２値の縞のパターンの画像の変形量に基づいて凸部の各位置の高さを特定することにより、測定対象物の形状を測定することができる。
【００２５】
三次元形状測定装置１００は、測定対象物に投影された縞のパターンを解析することにより、測定対象物の三次元形状を測定する。しかしながら、測定対象物の表面に光沢がある場合には、投影部３からの投影光が複数回反射する多重反射が起こることに起因して、測定精度が低下するという問題があった。そこで、三次元形状測定装置１００は、パターンを測定対象物に投影した状態において測定対象物を第１撮像部１及び第２撮像部２を用いて撮像し、第１撮像部１及び第２撮像部２が生成した２つの撮像画像を解析することにより、撮像画像に含まれる撮像画素が多重反射光等の影響による不良画素であるか否かを判定する。三次元形状測定装置１００は、不良画素を除く撮像画素を解析することにより、測定対象物の三次元形状を測定する。
【００２６】
詳細については後述するが、三次元形状測定装置１００は、第１撮像部１が生成した第１撮像画像に含まれる第１撮像画素と、第２撮像部２が生成した第２撮像画像に含まれる第２撮像画素との組み合わせを選択する。三次元形状測定装置１００は、選択した組み合わせにおいて第１撮像画素及び第２撮像画素が投影画像のほぼ同じ投影画素に対応しているか否かを判定することにより、第１撮像画素又は第２撮像画素の少なくともいずれかが多重反射光等の影響を受けた不良画素であるか否かを判定することができる。このため、三次元形状測定装置１００は、多重反射光等に起因して、測定対象物の形状の測定精度が低下することを抑制することができる。
【００２７】
［縞の延びる方向］
図２（ａ）及び（ｂ）は、投影部３が測定対象物に投影する投影画像を示す。図２（ａ）は、第１方向に延びる２値の縞のパターンの例を示し、図２（ｂ）は、第２方向に延びる２値の縞のパターンの例を示す。投影部３は、図２（ａ）に示すように、第１方向（以下、縦方向という場合がある）に延びる２値の縞のパターンを投影する。第１方向は、投影部３の光軸と第１撮像部１の光軸とを含む平面に対して、直交する方向である。
【００２８】
投影部３は、図２（ｂ）に示すように、第２方向（以下、横方向という場合がある）に延びる２値の縞のパターンを投影する。第２方向は、投影部３の光軸と第１撮像部１の光軸とを含む平面に対して、平行な方向である。また、縦方向は投影画像のある一方の方向に沿った方向であってもよく、横方向は縦方向と直交する方向としてもよい。第１撮像部１、第２撮像部２及び投影部３は、これらの光軸が測定対象物を配置するためのステージにおいて同一直線上のいずれかの点を通るように配置されてもよいが、これに限定されない。
【００２９】
測定対象物に縞のパターンを投影した場合、測定対象物の三次元形状に応じて、図１（ｃ）に示すように、縞のパターンが幅方向にずれる。また、測定対象物の三次元形状に応じて、縞のパターンの幅が変動する。縞のパターンが第１方向に延びる第１撮像画像では、投影部３及び第１撮像部１の間に光軸の向きのずれを生じさせている方向と、縞のパターンの幅方向のずれ等が生じる方向とが一致する。つまり、投影部３と第１撮像部１とを結ぶ線分を測定対象物が載置された平面に投影して生成される線分の像の方向と、縞のパターンの幅方向のずれ等が生じる方向が一致する。したがって、縞のパターンが第１方向に延びる撮像画像では、縞のパターンの幅方向のずれ等を検出する感度が高い。このため、測定対象物の三次元形状の測定における分解能が高くなる。
【００３０】
一方、縞のパターンが第２方向に延びる撮像画像では、投影部３及び第１撮像部１の間に光軸の向きのずれを生じさせている方向と、縞のパターンの幅方向のずれ等が生じる方向が直交する。つまり、投影部３と第１撮像部１とを結ぶ線分を測定対象物が載置された平面に投影して生成される線分の像の方向と、縞のパターンの幅方向のずれ等が生じる方向が直交する。したがって、縞のパターンが第２方向に延びる撮像画像では、測定対象物の三次元形状の測定における分解能が、縞のパターンが第１方向に延びる撮像画像と比べて低くなる。
【００３１】
［三次元形状測定装置の構成］
図３は、三次元形状測定装置１００の構成を示す図である。三次元形状測定装置１００は、第１撮像部１、第２撮像部２、投影部３、記憶部５及び制御部４を有する。記憶部５は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等の記憶媒体を含む。記憶部５は、制御部４が実行するプログラムを記憶している。制御部４は、例えばＣＰＵ（Central Processing Unit）であり、記憶部５に記憶されたプログラムを実行することにより、投影制御部４１、撮像制御部４２、座標特定部４３、線特定部４４、関係特定部４５、判定部４６及び形状測定部４７として機能する。
【００３２】
投影制御部４１は、投影座標を特定するためのパターンを含む投影画像を測定対象物に投影するための制御信号を生成し、生成した制御信号を投影部３に入力する。例えば、投影制御部４１は、同じ方向に延びる縞のパターンを含む複数の投影画像を投影部３により測定対象物へ投影する。投影制御部４１は、パターンに含まれる縞の延びる方向が互いに異なる複数の投影画像を測定対象物に投影してもよい。以下、図４及び図５を参照して、投影制御部４１が投影する縞のパターンの例について説明する。
【００３３】
［縞のパターンの種類］
投影制御部４１は、２値の縞のパターンを含む投影画像を測定対象物に投影する。図４は、投影制御部４１が投影する投影画像の種類の例を示す図である。図４における黒色の領域は、投影部３が光を投影しない非投影領域を示しており、白色の領域は、投影部３が光を投影する光投影領域を示している。
【００３４】
図４（ａ）は、測定対象物の全体に光を投影しない基準パターン（全黒パターン）である。図４（ｂ）は、測定対象物の全体に光を投影する基準パターン（全白パターン）である。図４（ｃ）から図４（ｆ）は、光投影領域及び非投影領域から構成され、投影画像ごとに幅の異なる縞が同一方向に配列された２値の縞のパターンを示している。詳細については後述するが、図４に示す縞のパターンは、グレイコードに対応しており、撮像画像の撮像画素に対応する投影画像の投影画素の位置を示す投影座標を特定するために用いられる。
【００３５】
投影制御部４１は、正弦波状の輝度分布を有する階調の縞のパターンを含む投影画像を測定対象物に投影する。図５（ａ）〜（ｄ）は、正弦波状の輝度分布を有する階調の縞のパターンの例を示す。図４（ｃ）〜（ｆ）の２値の縞のパターンは、黒色の領域と白色の領域とからなる２値画像であるのに対し、図５（ａ）〜（ｄ）の階調の縞のパターンでは、縞の幅方向に沿って、白色の領域から黒色の領域まで濃淡が正弦波状に変化する。図５（ａ）〜（ｄ）の階調の縞のパターンの縞の間隔は一定であり、これらの階調の縞のパターンの縞の空間周波数は、例えば、図４（ｆ）の２値の縞のパターンの４倍である。
【００３６】
図５（ａ）〜（ｄ）の階調の縞のパターンは、輝度分布を示す正弦波の位相がそれぞれ９０度ずつ異なる点を除き、互いに同一の輝度分布を示す。本実施の形態では、投影制御部４１は、図４（ａ）及び（ｂ）に示す２枚の基準パターン、図４（ｃ）〜（ｆ）に示す４枚の２値の縞のパターン、及び図５（ａ）〜（ｄ）に示す４枚の階調の縞のパターンの合計１０枚の投影画像を投影する。図５に示す階調の縞のパターンは、図４に示す縞のパターンとともに、投影座標を特定するために用いられる。また、投影制御部４１は、縞が延びる方向によって縞の幅が異なるパターンを含む複数の投影画像を測定対象物に投影してもよい。
【００３７】
上記のとおり、図４（ｃ）から図４（ｆ）に示す２値の縞のパターンは、グレイコードに対応している。図６は、図４（ｃ）〜図４（ｆ）に示す２値の縞のパターンに対応するグレイコードの例を示す。グレイコードにおける０を非投影領域に対応させ、１を光投影領域に対応させることで、図４（ｃ）から図４（ｆ）に示す２値の縞のパターンが生成される。
【００３８】
図４及び図６におけるｘ方向の各位置は、各グレイコードの対応する位置の０又は１の数字を組み合わせたコード値によって表される。図６における位置０はコード値「００００」に対応し、位置１はコード値「０００１」に対応し、位置１５はコード値「１０００」に対応する。
【００３９】
図３の撮像制御部４２は、測定対象物に投影された投影画像を第１撮像部１により撮像した第１撮像画像を生成する。撮像制御部４２は、測定対象物に投影された投影画像を第２撮像部２により撮像した第２撮像画像を生成する。
【００４０】
［投影座標の特定］
座標特定部４３は、第１座標特定部４３１と、第２座標特定部４３２とを備える。第１座標特定部４３１は、第１撮像画像に含まれるパターンに基づいて、第１撮像画像の第１撮像画素に対応する投影座標を特定する。第１座標特定部４３１は、第１撮像画像に含まれるパターンにおける濃淡の変化を解析することにより、第１撮像画像に含まれる撮像画素に対応する投影画素の位置を示す投影座標を特定する。
【００４１】
第１座標特定部４３１は、図４（ａ）に示す全黒パターンを投影した場合の輝度値と、図４（ｂ）に示す全白パターンを投影した場合の輝度値との平均を画素ごとに中間値として算出する。同様に、第１座標特定部４３１は、図４（ｃ）〜図４（ｆ）の２値の縞のパターンを測定対象物に投影した状態の撮像画像について、４枚の撮像画像における各撮像画素の輝度値をそれぞれ対応する中間値と比較することにより、各撮像画素のコード値を特定する。第１座標特定部４３１は、コード値を特定することより、各撮像画素の位置に、どの位置に向けて投影された２値の縞が写っているかを特定することができる。第１座標特定部４３１は、撮像画像に含まれる各撮像画素が、図６に示す位置０から位置１５までのどの位置に含まれるかを特定する。
【００４２】
さらに、第１座標特定部４３１は、正弦波状の輝度分布を有する階調の縞のパターンを測定対象物に投影した際に生成された撮像画像において撮像画素に対応する正弦波の位相を投影座標として特定する。投影画像の階調の縞のパターンは、周期性を有するため、投影画像において複数の投影画素が同じ投影座標を有する。以下、投影画像において周期性を有する投影座標を相対投影座標とも呼ぶ。一方、投影画像において一意に定められる投影座標を特に絶対投影座標とも呼ぶ。
【００４３】
図７は、絶対投影座標と相対投影座標との関係を示す図である。図７の縦軸は、投影座標を示す。図７の横軸は、投影画像に含まれる縞の幅方向における投影画素の位置を示す。幅方向は、縞の延びる方向と直交する方向である。図７の実線が示すように、相対投影座標は周期性を有する。相対投影座標は、正弦波状の輝度分布を有する階調の縞のパターンの繰り返しの１周期ごとに同じ値を示す。一方、図７の破線が示すように、絶対投影座標は、投影画像において一意に定められる。
【００４４】
第１座標特定部４３１は、階調の縞のパターンの濃淡を解析することにより、撮像画素に対応する相対投影座標を特定する。第１座標特定部４３１は、２値の縞のパターンが示すグレイコードに基づいて、この撮像画素が位置０から位置１５のどの位置に対応するかを特定することにより、撮像画素に対応する絶対投影座標を特定する。ｋ（＝１，２）を縦方向及び横方向を表すインデックスとする。このとき、投影画像に含まれる投影画素の縦方向及び横方向の成分（ｉｐ，ｊｐ）は、個々の撮像画素（ｉ，ｊ）に対して、以下のように表現される。
【数１】
2020177017.tif 000003
【００４５】
ＩＡＰ，ｋ（ｉ，ｊ）｛ただし、ｋ＝１，２｝は、正弦波状の輝度分布を有する縦方向の縞のパターン及び横方向の縞のパターンを投影した状態で撮像された撮像画像における絶対投影座標である。ｐｋは、投影画像の縞の繰り返しの１周期に対応する画素数である。
【００４６】
測定対象物のある測定点への光を照射する投影画素と、この測定点からの光を受光する撮像画素との対応関係は、測定対象物へ投影する投影画像のパターンを変更しても一定である。しかしながら、多重反射等が生じた場合には、投影制御部４１が投影する投影画像を変更した際に、多重反射光の強度等が変化することに起因して、第１座標特定部４３１は、同じ撮像画素に対応する投影座標として異なる投影座標を特定することがある。
【００４７】
第１座標特定部４３１は、投影制御部４１が投影する投影画像を変更した場合に撮像画素に対応する投影座標が変わるか否かを調べる。第１座標特定部４３１は、縞の延びる方向が異なる複数の投影画像を投影制御部４１が投影した場合には、縞の延びる方向が異なる投影画像ごとに、第１撮像画素に対応する投影座標をそれぞれ特定する。
【００４８】
第２座標特定部４３２は、第１座標特定部４３１と同様にして、第２撮像画像に含まれるパターンに基づいて、第２撮像画像の第２撮像画素に対応する投影座標を特定する。第２座標特定部４３２は、縞の延びる方向が異なる複数の投影画像を投影制御部４１が投影した場合に、縞の延びる方向が異なる投影画像ごとに、第２撮像画素に対応する投影座標をそれぞれ特定する。
【００４９】
［エピポーラ線の特定］
線特定部４４は、第１撮像部１と第２撮像部２との配置に基づいて、第１撮像画素に対応する第２撮像画像の第１エピポーラ線を特定する。図８は、第１撮像部１及び第２撮像部２により測定対象物を撮像する場合の例を示す。
【００５０】
測定点ＭＰに対応する図８の左側の第１撮像部１の画像平面における第１撮像画素Ａと、同じ測定点ＭＰに対応する右側の第２撮像部２の画像平面における第２撮像画素Ｂとは、２つの撮像部の配置に基づく一定の関係を有する。第１撮像部１の光学中心をＯ１とし、第１撮像部１の光学中心Ｏ１から第１撮像画素Ａを通って測定点ＭＰに延びる直線を右側の第２撮像部２の画像平面に投影した直線を第１エピポーラ線ＥＢＡとする。
【００５１】
第２撮像画素Ｂは、幾何学的な拘束により、第１エピポーラ線ＥＢＡ上のいずれかの位置にある。線特定部４４は、記憶部５に予め記憶されている第１撮像部１と第２撮像部２との配置を示す配置情報を読み出し、読み出した配置情報に基づいて、第１撮像画素Ａに対応する第２撮像画像の第１エピポーラ線ＥＢＡを特定する。線特定部４４は、特定した第１エピポーラ線ＥＢＡを第１撮像画素Ａに関連付けて記憶部５に記憶させておく。例えば、線特定部４４は、第１エピポーラ線ＥＢＡ上の各第２撮影画素の縦方向成分の座標値と横方向成分の座標値とを第１撮像画素Ａに関連付けて記憶部５に記憶させておく。
【００５２】
線特定部４４は、第２撮像部２と投影部３との配置に基づいて、第２撮像画素に対応する投影画像の第２エピポーラ線を特定する。図９は、第２撮像画素Ｂに対応する投影画像の第２エピポーラ線ＥＣＢの例を示す。図９の場合には、投影部３を光線の進む向きが逆方向となった撮像部とみなせば、第２撮像部２の第２撮像画素Ｂと投影部３の投影画素Ｃとは、図８と同様の対応関係を有するということができる。線特定部４４は、記憶部５に予め記憶されている第２撮像部２と投影部３との配置を示す配置情報を読み出し、読み出した配置情報に基づいて、第２撮像画素Ｂに対応する投影画像の第２エピポーラ線ＥＣＢを特定する。
【００５３】
投影画素Ｃから発せられた光線が測定対象物の測定点ＭＰにおいて１回のみ反射されて第２撮像画素Ｂにおいて受光された場合、投影画素Ｃは、幾何学的な拘束により、第２エピポーラ線ＥＣＢ上のいずれかの位置にある。線特定部４４は、特定した第２エピポーラ線ＥＣＢを第２撮像画素Ｂに関連付けて記憶部５に記憶させておく。例えば、線特定部４４は、第２エピポーラ線ＥＣＢ上の各投影画素の縦方向成分の座標値と横方向成分の座標値とを第２撮像画素Ｂに関連付けて記憶部５に記憶させておく。
【００５４】
線特定部４４は、第１撮像部１と投影部３との配置に基づいて、第１撮像画素に対応する投影画像の第３エピポーラ線（不図示）を特定する。第１撮像部の第１撮像画素Ａと投影部３の投影画素Ｃとは、図８と同様の対応関係を有する。線特定部４４は、記憶部５に予め記憶されている第１撮像部１と投影部３との配置を示す配置情報を読み出し、読み出した配置情報に基づいて、第１撮像画素Ａに対応する投影画像の第３エピポーラ線を特定する。
【００５５】
投影画素Ｃの発光素子から発せられた光線が測定対象物において１回反射されて第１撮像画素Ａの受光素子において受光された場合には、投影画素Ｃは、幾何学的な拘束により、第３エピポーラ線上のいずれかの位置にある。線特定部４４は、特定した第３エピポーラ線を第１撮像画素Ａに関連付けて記憶部５に記憶させておく。例えば、線特定部４４は、第３エピポーラ線上の各投影画素の縦方向成分の座標値と横方向成分の座標値とを第１撮像画素Ａに関連付けて記憶部５に記憶させておく。
【００５６】
［第１撮像画素と第２撮像画素との組み合わせの特定］
関係特定部４５は、測定対象物の同じ測定点ＭＰに対応する第１撮像画素と第２撮像画素との組み合わせを特定する。関係特定部４５は、第１撮像画素Ａに関連付けられた第２撮像画像の第１エピポーラ線ＥＢＡを記憶部５から取得する。
【００５７】
第１撮像画素Ａに対応する絶対投影座標をＩ１ＡＰ（ｉＡ，ｊＡ）とすると、この第１エピポーラ線ＥＢＡ上には、第１撮像画素Ａと同じ絶対投影座標Ｉ１ＡＰ（ｉＡ，ｊＡ）に対応する第２撮像画素が存在する。この第２撮像画素は、第２撮像画像において第１撮像画素Ａと測定対象物の同じ測定点ＭＰに対応するものである。関係特定部４５は、図８に示すように、第２撮像画像において第１エピポーラ線ＥＢＡ上に位置し、且つ、第１撮像画素Ａと同じ絶対投影座標Ｉ１ＡＰ（ｉＡ，ｊＡ）に対応する第２撮像画素Ｂを選択する。関係特定部４５は、第１撮像画素Ａと、選択した第２撮像画素Ｂとの組み合わせを同じ測定点ＭＰに対応する組み合わせとして特定する。
【００５８】
関係特定部４５は、同様にして、第１撮像画像に含まれる複数の第１撮像画素と、第２撮像画像に含まれる複数の第２撮像画素との間において、測定対象物の共通の測定点に対応する第１撮像画素と第２撮像画素との複数の組み合わせをそれぞれ特定する。関係特定部４５は、特定した組み合わせを判定部４６へ出力する。
【００５９】
［多重反射］
判定部４６は、第１撮像画素又は第２撮像画素の少なくともいずれかが多重反射等による不良画素であるか否かを判定する。図１０（ａ）及び図１０（ｂ）は、多重反射について説明するための図である。測定対象物に光沢がありかつ測定対象物が複雑な形状をしている場合、投影部３が発する光は、測定対象物の表面で複数回反射を繰り返してから第１撮像部１又は第２撮像部２に入射することがある。この場合、図１０（ａ）に示すように、投影部３が発する光が２つ以上の経路を介して第１撮像部１の撮像素子１２の一つの撮像画素に入射する。
【００６０】
図１０（ａ）の例では、撮像素子１２に入射する光には、投影部３から発せられた光が測定対象面で拡散反射して第１撮像部１又は第２撮像部２に直接入射する直接反射光と、投影部３から発せられた光が多重反射してから第１撮像部１又は第２撮像部２に入射する多重反射光とが存在する。その結果、第１撮像部１又は第２撮像部２が撮像する撮像画像において、多重反射光がない場合に黒色に対応する輝度値であった画素が、白色に対応する輝度値になってしまう場合がある。特に、測定対象物が乱反射を生じやすい金属等を含むことにより、多重反射が生じやすい。
【００６１】
図１０（ｂ）は、多重反射の影響を受けた撮像画像の例を示す図である。図１０（ｂ）は、図１（ｃ）に対応しているが、斜線で示す部分は、多重反射光の影響により、図１（ｃ）における輝度と異なる輝度になっている。また、多重反射光の影響により、階調の縞のパターンの輝度分布が示す正弦波形に歪み等が生じることがある。
【００６２】
［不良画素であるか否かの判定］
判定部４６は、関係特定部４５が特定した第１撮像画素及び第２撮像画素の組み合わせにおいて、この第１撮像画素に対応する投影座標を有する投影画像の投影画素と、この第２撮像画素に対応する投影座標を有する投影画像の投影画素とをそれぞれ特定する。判定部４６は、特定した２つの投影画素の間の距離に基づいて、第１撮像画素又は第２撮像画素の少なくともいずれかが不良画素であるか否かを判定する。
【００６３】
判定部４６は、以下に示すように、投影制御部４１が同じ方向に延びる縞のパターンを含む複数の投影画像のみを投影した場合と、投影制御部４１が縞の延びる方向が互いに異なる縞パターンを含む複数の投影画像を投影した場合とで異なる方法により、第１撮像画素又は第２撮像画素の少なくともいずれかが不良画素であるか否かを判定する。
【００６４】
［単一方向縞による測定］
図１１は、投影制御部４１が同じ方向に延びる縞のパターンを含む複数の投影画像のみを投影した場合において判定部４６が不良画素を判定する方法を示す図である。判定部４６は、関係特定部４５が特定した第１撮像画素Ａ及び第２撮像画素Ｂの組み合わせにおいて、この第１撮像画素Ａに対応する投影座標（ｉＣ，ｊＣＡ１）を有する投影画像の投影画素を特定する。この投影画素の横方向成分ｉＣは、以下のように表現される。
【数２】
2020177017.tif 000004
式中、ｐは、投影画像における縞の繰り返しの１周期に対応する画素数である。図１１に示すように、第１撮像画素Ａに対応する第３エピポーラ線ＥＣＡ上には、特定した投影画素の水平成分ｉＣと一致する投影画素ＣＡが存在する。判定部４６は、この投影画素ＣＡの縦方向成分ｊＣＡ１を特定する。
【００６５】
次に、判定部４６は、第１撮像画素Ａ及び第２撮像画素Ｂの組み合わせにおいて、この第２撮像画素Ｂに対応する投影座標（ｉＣ，ｊＣＢ１）を有する投影画素を特定する。この投影画素の横方向成分ｉｃは、以下のように表現され、投影画素ＣＡと同じである。
【数３】
2020177017.tif 000005
図１１に示すように、第２撮像画素Ｂに関連付けられた第２エピポーラ線ＥＣＢ上には、特定した投影画素の水平成分ｉＣと一致する投影画素ＣＢが存在する。判定部４６は、この投影画素ＣＢの縦方向成分ｊＣＢ１を特定する。第１撮像画素Ａ及び第２撮像画素Ｂが測定対象物の同じ測定点に対応しているとすれば、投影画素ＣＡ及び投影画素ＣＢはほぼ一致する。このため、判定部４６は、投影画素ＣＡ及び投影画素ＣＢの距離に基づいて、第１撮像画素Ａ又は第２撮像画素Ｂの少なくともいずれかが不良画素であるか否かを判定することができる。
【００６６】
投影画素ＣＡ及び投影画素ＣＢの距離を示す評価値Ｅ１は、以下のように表現される。
【数４】
2020177017.tif 000006
判定部４６は、この評価値Ｅ１が第１閾値より大きいか否かを判定する。第１閾値は、例えば、三次元形状測定装置１００に要求される測定精度に応じて定められる。判定部４６は、評価値Ｅ１が第１閾値より大きい場合、第１撮像画素Ａ又は第２撮像画素Ｂの少なくともいずれかは不良画素であると判定する。判定部４６は、評価値Ｅ１が第１閾値以下である場合、第１撮像画素Ａ及び第２撮像画素Ｂはいずれも不良画素でないと判定する。判定部４６は、関係特定部４５が特定した第１撮像画素及び第２撮像画素の複数の組み合わせごとに評価値Ｅ１を求め、求めた評価値Ｅ１が第１閾値より大きいか否かを判定する。判定部４６は、複数の組み合わせに対して判定を繰り返す。
【００６７】
このような構成により、判定部４６は、関係特定部４５が特定した第１撮像画素と第２撮像画素との組み合わせにおいて、第１撮像画素Ａ及び第２撮像画素Ｂが投影画像のほぼ同じ投影画素に対応しているか否かを判定することにより、第１撮像画素Ａ又は第２撮像画素Ｂの少なくともいずれかが多重反射光等の影響を受けた不良画素であるか否かを判定することができる。したがって、判定部４６は、多重反射光等に起因して、測定対象物の形状の測定精度が低下することを抑制することができる。
【００６８】
また、図１１に示す投影画素ＣＡは、第２エピポーラ線ＥＣＢと第３エピポーラ線ＥＣＡとの交点に位置する投影画素Ｃとほぼ一致する必要がある。このため、判定部４６は、特定した投影画素ＣＡと投影画素Ｃとの距離に基づいて、第１撮像画素Ａ又は第２撮像画素Ｂの少なくともいずれかが不良画素であるか否かを判定してもよい。同様に、投影画素ＣＢも投影画素Ｃとほぼ一致する必要がある。判定部４６は、特定した投影画素ＣＢと投影画素Ｃとの距離に基づいて、第１撮像画素Ａ又は第２撮像画素Ｂの少なくともいずれかが不良画素であるか否かを判定してもよい。
【００６９】
［形状の測定］
三角測量法の原理を利用することにより、形状測定部４７は、第１撮像画素及び第２撮像画素が不良画素でないと判定された組み合わせに対応する第１撮像画素とそれに対応する投影座標、及びこの組み合わせに対応する第２撮像画素とそれに対応する投影座標の少なくともいずれか一方を用いて、測定対象物の形状を測定する。形状測定部４７は、関係特定部４５が特定した第１撮像画素と第２撮像画素との組み合わせのうち、第１撮像画素及び第２撮像画素が不良画素でないと判定部４６が判定した組み合わせを取得する。
【００７０】
形状測定部４７は、取得した第１撮像画素Ａと第２撮像画素との組み合わせにおいて三角測量法の原理を利用することにより、第１撮像画素Ａと第２撮像画素とに対応する共通の測定点の三次元位置を求める。形状測定部４７は、関係特定部４５が特定した複数の組み合わせにおいて同様の処理を繰り返すことにより、測定対象物の三次元形状を測定する。形状測定部４７は、不良画素を除外して三次元形状を測定するので、多重反射等の影響によって三次元形状の測定精度が低下することを抑制することができる。
【００７１】
また、形状測定部４７は、第１撮像画素及び第２撮像画素がいずれも不良画素でないと判定部４６が判定した組み合わせに対応する第１撮像画素と、第１撮像画素に対応する投影座標とを用いて三角測量法の原理を利用することにより、測定点の三次元位置を求めてもよい。形状測定部４７は、第１撮像画素及び第２撮像画素が不良画素でないと判定部４６が判定した複数の組み合わせに対応する複数の第１撮像画素について同様の処理を繰り返すことにより、測定対象物の三次元形状を測定する。同様に、形状測定部４７は、第１撮像画素及び第２撮像画素が不良画素でないと判定部４６が判定した組み合わせに対応する第２撮像画素と、第２撮像画素に対応する投影座標とを用いて、測定対象物の三次元形状を測定してもよい。
【００７２】
［不良画素の判定の変形例］
関係特定部４５は、測定対象物の同じ測定点ＭＰに対応する第１撮像画素と第２撮像画素との組み合わせを特定する例に限定されない。例えば、関係特定部４５は、第１撮像画素と、第１撮像画素が受光した光を発した投影画素との組み合わせを特定してもよい。
【００７３】
線特定部４４は、図８及び図９と同様に、第２撮像部２と投影部３との配置に基づいて、投影画素Ｃに対応する第２撮像画像の第４エピポーラ線ＥＢＣを特定する。線特定部４４は、記憶部５に予め記憶されている第２撮像部２と投影部３との配置を示す配置情報を読み出し、読み出した配置情報に基づいて、投影画素Ｃに対応する第２撮像画像の第４エピポーラ線ＥＢＣを特定する。線特定部４４は、特定した第４エピポーラ線ＥＢＣを投影画素Ｃに関連付けて記憶部５に記憶させておく。例えば、線特定部４４は、第４エピポーラ線ＥＢＣ上の各第２撮影画素の縦方向成分の座標値と、同じ第２撮影画素の横方向成分の座標値とを投影画素Ｃに関連付けて記憶部５に記憶させておく。
【００７４】
関係特定部４５は、第１撮像画素と、第１撮像画素が受光した光を発した投影画素との組み合わせを特定する。関係特定部４５は、第１撮像画素Ａに関連付けられた投影画像の第３エピポーラ線を記憶部５から取得する。第１撮像画素Ａに対応する絶対投影座標をＩ１ＡＰ（ｉＡ，ｊＡ）とすると、第３エピポーラ線上には、第１撮像画素Ａと同じ絶対投影座標Ｉ１ＡＰ（ｉＡ，ｊＡ）に対応する投影画素が存在する。この投影画素は、第１撮像画素Ａが受光した光を発した投影画素に相当する。関係特定部４５は、第１撮像画素Ａに関連付けられた第３エピポーラ線上に位置する投影画素のうち、第１撮像画素と同じ絶対投影座標を有する投影画素を選択する。関係特定部４５は、第１撮像画素Ａと、選択した投影画素との組み合わせを特定する。
【００７５】
判定部４６は、関係特定部４５が第１撮像画素Ａと投影画素Ｃとの組み合わせを特定した場合には、この組み合わせにおいて、第１撮像画素Ａと同じ投影座標（ｉＣ，ｊＣＡ１）に対応する第２撮像画素を特定する。図１２は、判定部４６による撮像画素が不良画素であるか否かの判定方法を示す図である。図１２に示すように、第１撮像画素Ａに関連付けられた第２撮像画像の第１エピポーラ線ＥＢＡ上には、第１撮像画素Ａと同じ投影座標に対応する主第２撮像画素ＢＡが存在する。判定部４６は、この主第２撮像画素ＢＡを特定する。
【００７６】
次に、判定部４６は、関係特定部４５が特定した第１撮像画素Ａ及び投影画素Ｃの組み合わせにおいて、投影画素Ｃに対応する投影座標を有する第２撮像画像の第２撮像画素を特定する。投影画素Ｃに対応する第２撮像画像の第４エピポーラ線ＥＢＣ上には、投影画素Ｃと同じ投影座標に対応する副第２撮像画素ＢＣが存在する。判定部４６は、この副第２撮像画素ＢＣを特定する。
【００７７】
投影画素Ｃから発した光が測定対象物で１回のみ反射されて第１撮像画素Ａ及び第２撮像画素Ｂにおいて受光された場合には、主第２撮像画素ＢＡ及び副第２撮像画素ＢＣは、ほぼ一致する。そこで、判定部４６は、主第２撮像画素ＢＡと副第２撮像画素ＢＣとの間の距離に基づいて、第１撮像画素Ａ、主第２撮像画素ＢＡ又は副第２撮像画素ＢＣの少なくともいずれかが不良画素であるか否かを判定する。判定部４６は、主第２撮像画素ＢＡと副第２撮像画素ＢＣとの間の距離が第２閾値より大きいか否かを判定する。第２閾値は、三次元形状測定装置１００に要求される測定精度に応じて定められる。判定部４６は、主第２撮像画素ＢＡと副第２撮像画素ＢＣとの間の距離が第２閾値より大きい場合、第１撮像画素Ａ、主第２撮像画素ＢＡ又は副第２撮像画素ＢＣの少なくともいずれかが不良画素であると判定する。判定部４６は第２撮像画素ＢＡと第２撮像画素ＢＣとの間の距離が第２閾値以下である場合、第１撮像画素Ａ、主第２撮像画素ＢＡ及び副第２撮像画素ＢＣが不良画素でないと判定する。形状測定部４７は、第１撮像画素Ａ、主第２撮像画素ＢＡ及び副第２撮像画素ＢＣが不良画素でないと判定部４６が判定した組み合わせに対応する第１撮像画素Ａ、主第２撮像画素ＢＡ又は副第２撮像画素ＢＣの少なくともいずれか一方を用いて、測定対象物の形状を測定する。
【００７８】
［縦方向の縞及び横方向の縞による不良画素の判定］
図１３（ａ）及び図１３（ｂ）は、投影画像の縞の延びる方向と多重反射光との関係を示す図である。多重反射は、投影部３から発せられた光が、測定対象物が屈曲している部位の周辺において複数回反射を繰り返すことにより起こる。図１３（ａ）に示すように、多重反射において最初に光投影領域で反射した光が、次に非投影領域で反射した後、第１撮像部１又は第２撮像部２に入射することがある。この場合、第１撮像部１又は第２撮像部２が生成した撮像画像では、多重反射光により非投影領域の輝度が高いようにみえるため、座標特定部４３が撮像画素の投影座標を誤って特定してしまう可能性がある。
【００７９】
一方、図１３（ｂ）に示すように、測定対象物の屈曲している部位が延びる向きと縞が延びる向きとが垂直である場合、多重反射において最初に光投影領域で反射した光は、次も光投影領域で反射する可能性が比較的高くなる。図１３（ｂ）に示す状態では、投影部３から光投影領域へ向けて照射された光が、別の光投影領域において再度反射した後、第１撮像部１又は第２撮像部２へ入射する。この場合、多重反射光が光投影領域及び非投影領域の輝度に与える影響は比較的小さい。したがって、判定部４６は、投影制御部４１が異なる方向に延びる縞のパターンを含む複数の投影画像を測定対象物に投影した場合には、縞の延びる方向が異なる複数の縞パターンの画像を投影している間に撮像された撮像画像を用いて不良画素であるか否かを判定することにより、不良画素の見落としが生じる可能性をより小さくすることができる。
【００８０】
判定部４６は、投影制御部４１が縦方向に延びる縞のパターンを含む投影画像及び横方向に延びる縞のパターンを含む投影画像を順次測定対象物に投影した場合には、縦方向に延びる縞のパターンに基づく投影座標と、横方向に延びる縞のパターンに基づく投影座標とをそれぞれ用いて、第１撮像画素Ａに対応する投影座標を有する投影画素を特定する。より詳しくは、判定部４６は、関係特定部４５が特定した第１撮像画素Ａ及び第２撮像画素Ｂの組み合わせを取得する。関係特定部４５が特定した組み合わせは、前述のように、第１撮像画素Ａと、第２撮像画像において第１撮像画素Ａに対応する第１エピポーラ線ＥＢＡ上に位置し（図８）、且つ、第１撮像画素Ａ（ｉＡ，ｊＡ）と同じ絶対投影座標Ｉ１ＡＰ（ｉＡ，ｊＡ）に対応する第２撮像画素Ｂ（ｉＢ，ｊＢ）との組み合わせである。
【００８１】
判定部４６は、関係特定部４５が特定した第１撮像画素Ａ及び第２撮像画素Ｂの組み合わせにおいて、第１座標特定部４３１が特定した第１撮像画素Ａに対応する絶対投影座標（Ｉ１ＡＰ，１（ｉＡ，ｊＡ），Ｉ１ＡＰ，２（ｉＡ，ｊＡ））から求められる投影画素ＣＡを特定する。Ｉ１ＡＰ，１（ｉＡ，ｊＡ）は、絶対投影座標の横方向成分を示し、Ｉ１ＡＰ，２（ｉＡ，ｊＡ）は、絶対投影座標の縦方向成分を示す。第１撮像画素Ａに対応する絶対投影座標が横方向成分及び縦方向成分の２つの方向成分を有するため、判定部４６は、第１撮像画素Ａと同じ絶対投影座標を有する投影画素（ｉＣ，ｊＣＡ２）を以下のように求めることができる。
【数５】
2020177017.tif 000007
式中、ｐ１及びｐ２は、それぞれ縦方向と横方向とに延びる縞の繰り返しの１周期に対応する画素数である。
【００８２】
関係特定部４５が特定した第１撮像画素Ａ及び第２撮像画素Ｂの組み合わせにおいて、第１撮像画素Ａに対応する絶対投影座標の横方向成分Ｉ１ＡＰ，１（ｉＡ，ｊＡ）と、第２撮像画素Ｂに対応する絶対投影座標の横方向成分Ｉ２ＡＰ，１（ｉＡ，ｊＡ）との値は同じである。判定部４６は、第２撮像画素Ｂ（ｉＢ，ｊＢ）に対応する横方向の階調の縞パターンにおける位相と、横方向の２値の縞パターンのコード値をそれぞれ特定することにより、第２撮像画素Ｂ（ｉＢ，ｊＢ）に対応する絶対投影座標の縦方向成分Ｉ２ＡＰ，２（ｉＢ，ｊＢ）を特定する。判定部４６は、第２撮像画素Ｂと同じ絶対投影座標を有する投影画素（ｉＣ，ｊＣB２）を以下のように求めることができる。
【数６】
2020177017.tif 000008
第１撮像画素Ａと第２撮像画素Ｂとが測定対象物の同じ測定点に対応する場合、投影画素（ｉＣ，ｊＣＡ２）と投影画素（ｉＣ，ｊＣＢ２）とはほぼ一致する必要がある。つまり、判定部４６は、２つの投影画素の距離に基づいて、第１撮像画素Ａ又は第２撮像画素Ｂの少なくともいずれかが不良画素であるか否かを判定することができる。
【００８３】
投影画素（ｉＣ，ｊＣＡ２）と投影画素（ｉＣ，ｊＣＢ２）との距離を示す評価値Ｅ２は、以下のように表現される。
【数７】
2020177017.tif 000009
実質的には、判定部４６は、Ｉ１ＡＰ，２（ｉＡ，ｊＡ）と、Ｉ２ＡＰ，２（ｉＢ，ｊＢ）とを用いて、評価値Ｅ２を計算することができる。判定部４６は、この評価値Ｅ２が第３閾値より大きいか否かを判定する。第３閾値は、三次元形状測定装置１００に要求される測定精度に応じて定められる。判定部４６は、評価値Ｅ２が第３閾値より大きい場合、第１撮像画素Ａ及び第２撮像画素Ｂの少なくともいずれかは不良画素であると判定する。判定部４６は、評価値Ｅ２が第３閾値以下である場合、第１撮像画素Ａ及び第２撮像画素Ｂはいずれも不良画素でないと判定する。
【００８４】
［横方向に相対投影座標を用いる不良画素の判定］
判定部４６は、横方向の絶対投影座標と、縦方向の相対投影座標とを用いて、撮像画素が不良画素であるか否かを判定してもよい。関係特定部４５が特定した第１撮像画素Ａと第２撮像画素Ｂとの組み合わせにおいて、第１撮像画素Ａの投影座標が（Ｉ１ＡＰ，１（ｉＡ，ｊＡ），Ｉ１ＲＰ，２（ｉＡ，ｊＡ））であるとする。Ｉ１ＡＰ，１（ｉＡ，ｊＡ）は、横方向の絶対投影座標であり、Ｉ１ＲＰ，２（ｉＡ，ｊＡ）は、縦方向の相対投影座標である。
【００８５】
また、関係特定部４５が特定した第１撮像画素Ａと第２撮像画素Ｂとの組み合わせにおいて、第２撮像画素Ｂの投影座標が（Ｉ２ＡＰ，１（ｉＢ，ｊＢ），Ｉ２ＲＰ，２（ｉＢ，ｊＢ））であるとする。Ｉ２ＡＰ，１（ｉＢ，ｊＢ）は、横方向の絶対投影座標であり、Ｉ２ＲＰ，２（ｉＢ，ｊＢ）は、縦方向の相対投影座標である。第１撮像画素Ａと同じ投影座標を有する投影画素ＣＡの横方向成分ｉＣ及び縦方向成分ｊＣＡ３は、以下のように表現される。
【数８】
2020177017.tif 000010
【００８６】
第２撮像画素Ｂと同じ投影座標を有する投影画素ＣＢの横方向成分ｉＣ及び縦方向成分ｊＣＢ３は、以下のように表現される。この場合においても、投影画素ＣＢの横方向成分ｉｃは、投影画素ＣＡの横方向成分ｉｃと同じである。
【数９】
2020177017.tif 000011
式中、ｑ２は、未知数であるが、第１撮像画素Ａと第２撮像画素Ｂとでは、ｑ２は共通であるとみなす。投影画素（ｉＣ，ｊＣＡ３）と投影画素（ｉＣ，ｊＣＢ３）との距離を示す評価値Ｅ３は、以下のように表現される。
【数１０】
2020177017.tif 000012
【００８７】
判定部４６は、この評価値Ｅ３が第４閾値より大きいか否かを判定する。第４閾値は、三次元形状測定装置１００に要求される測定精度に応じて定められる。判定部４６は、評価値Ｅ３が第４閾値より大きい場合、第１撮像画素Ａ及び第２撮像画素Ｂの少なくともいずれかは不良画素であると判定する。判定部４６は、評価値Ｅ３が第４閾値以下である場合、第１撮像画素Ａ及び第２撮像画素Ｂはいずれも不良画素でないと判定する。
【００８８】
相対投影座標においては、図７のように値の取る範囲が２πに制限されて周期性がある。このとき、値が２πだけ急激に変化する箇所においては、対応する画素のわずかな違いで評価値Ｅ３の誤差が大きくなる可能性がある。そこで、判定部４６は、評価値Ｅ３に加えて次の評価値Ｅ３Ａと評価値Ｅ３Ｂも算出し、これら３つの評価値の最小値を新たな評価値として判定に使用しても良い。評価値Ｅ３Ａ及び評価値Ｅ３Ｂは、以下のように表現される。
【数１１】
2020177017.tif 000013
【数１２】
2020177017.tif 000014
【００８９】
［３方向以上の縞による不良画素の判定］
判定部４６は、投影制御部４１が３方向以上の異なる方向に延びる縞のパターンを含む複数の投影画像を測定対象物に投影した場合には、異なる方向に延びる縞のパターンを含む投影画像ごとに第１座標特定部４３１が特定した投影座標を用いて、第１撮像画素Ａに対応する投影座標を有する投影画素を特定する。
【００９０】
判定部４６は、第１撮像画素Ａ及び第２撮像画素Ｂの組み合わせにおいて、第１座標特定部４３１が特定した第１撮像画素Ａに対応する投影座標（Ｉ１ＡＰ，１（ｉＡ，ｊＡ），Ｉ１ＲＰ，２（ｉＡ，ｊＡ），Ｉ１ＲＰ，３（ｉＡ，ｊＡ），・・・，Ｉ１ＲＰ，Ｍ（ｉＡ，ｊＡ））を用いて、第１撮像画素Ａと同じ投影座標を有する投影画素を特定する。第１撮像画素Ａに対応する投影座標の第１方向の成分Ｉ１ＡＰ，１（ｉＡ，ｊＡ）は、絶対投影座標であり、第１撮像画素Ａに対応する投影座標の第２方向〜第Ｍ方向の成分Ｉ１ＲＰ，２（ｉＡ，ｊＡ），Ｉ１ＲＰ，３（ｉＡ，ｊＡ），・・・，Ｉ１ＲＰ，Ｍ（ｉＡ，ｊＡ）は、いずれも相対投影座標である。
【００９１】
判定部４６は、第１撮像画素Ａ及び第２撮像画素Ｂの組み合わせにおいて、第２座標特定部４３２が特定した第２撮像画素Ｂに対応する投影座標（Ｉ２ＡＰ，１（ｉＢ，ｊＢ），Ｉ２ＲＰ，２（ｉＢ，ｊＢ），Ｉ２ＲＰ，３（ｉＢ，ｊＢ），・・・，Ｉ２ＲＰ，Ｍ（ｉＢ，ｊＢ））を用いて、第２撮像画素Ｂと同じ投影座標を有する投影画素を特定する。第２撮像画素Ｂに対応する投影座標の第１方向の成分Ｉ２ＡＰ，１（ｉＢ，ｊＢ）は、絶対投影座標であり、第２撮像画素Ｂに対応する投影座標の第２方向〜第Ｍ方向の成分Ｉ２ＲＰ，２（ｉＢ，ｊＢ），Ｉ２ＲＰ，３（ｉＢ，ｊＢ），・・・，Ｉ２ＲＰ，Ｍ（ｉＢ，ｊＢ）は、いずれも相対投影座標である。
【００９２】
判定部４６は、第１撮像画素Ａに対応する投影座標を有する投影画素と、第２撮像画素Ｂに対応する投影座標を有する投影画素とのずれを評価する評価値Ｅ４を求める。評価値Ｅ４は、以下のように表現される。
【数１３】
2020177017.tif 000015
【００９３】
判定部４６は、この評価値Ｅ４が第５閾値より大きいか否かを判定する。第５閾値は、三次元形状測定装置１００に要求される測定精度に応じて定められる。判定部４６は、評価値Ｅ４が第５閾値より大きい場合、第１撮像画素Ａ及び第２撮像画素Ｂの少なくともいずれかは不良画素であると判定する。判定部４６は、評価値Ｅ４が第５閾値以下である場合、第１撮像画素Ａ及び第２撮像画素Ｂのはいずれも不良画素でないと判定する。
【００９４】
［比較値の最大値に基づく不良画素の判定］
また、判定部４６は、関係特定部４５が特定した第１撮像画素Ａと第２撮像画素Ｂとの組み合わせにおいて縞の延びる方向が互いに異なる複数の投影画像ごとに、第１撮像画素Ａに対応する投影座標と、第２撮像画素Ｂに対応する投影座標との比較値を求めてもよい。比較値は、例えば、第１撮像画素Ａに対応する投影座標と、第２撮像画素Ｂに対応する投影座標との差分値であるが、第１撮像画素Ａに対応する投影座標と、第２撮像画素Ｂに対応する投影座標との比の値であってもよい。
【００９５】
判定部４６は、第１撮像画素Ａに対応する投影座標（Ｉ１ＡＰ，１（ｉＡ，ｊＡ），Ｉ１ＲＰ，２（ｉＡ，ｊＡ），Ｉ１ＲＰ，３（ｉＡ，ｊＡ），・・・，Ｉ１ＲＰ，Ｍ（ｉＡ，ｊＡ））のそれぞれの方向の成分と、第２撮像画素Ｂに対応する投影座標（Ｉ２ＡＰ，１（ｉＢ，ｊＢ），Ｉ２ＲＰ，２（ｉＢ，ｊＢ），Ｉ２ＲＰ，３（ｉＢ，ｊＢ），・・・，Ｉ２ＲＰ，Ｍ（ｉＢ，ｊＢ））のそれぞれの方向の成分との比較値を求める。
【００９６】
判定部４６は、求めた比較値に基づく評価値により、第１撮像画素Ａ又は第２撮像画素Ｂの少なくともいずれかが不良画素であるか否かを判定する。より詳しくは、判定部４６は、求めた比較値（（Ｉ１ＡＰ，１（ｉＡ，ｊＡ）−Ｉ２ＡＰ，１（ｉＢ，ｊＢ）），(Ｉ１ＲＰ，２（ｉＡ，ｊＡ）−Ｉ２ＲＰ，２（ｉＢ，ｊＢ）），(Ｉ１ＲＰ，３（ｉＡ，ｊＡ）−Ｉ２ＲＰ，３（ｉＢ，ｊＢ）），・・・，(Ｉ１ＲＰ，Ｍ（ｉＡ，ｊＡ）−Ｉ２ＲＰ，Ｍ（ｉＢ，ｊＢ））)のうち、最大値となる方向の成分を特定する。
【００９７】
判定部４６は、特定した最大値を評価値Ｅ５として、この評価値Ｅ５が第６閾値より大きいか否かを判定する。第６閾値は、三次元形状測定装置１００に要求される測定精度に応じて定められる。判定部４６は、評価値Ｅ５が第６閾値より大きい場合、第１撮像画素Ａ及び第２撮像画素Ｂの少なくともいずれかは不良画素であると判定する。
【００９８】
判定部４６は、特定した評価値Ｅ５が第６閾値以下である場合、第１撮像画素Ａ及び第２撮像画素Ｂはいずれも不良画素でないと判定する。判定部４６は、不良画素の影響が最も大きい縞のパターンを用いて、第１撮像画素Ａと第２撮像画素Ｂとの少なくともいずれかが不良画素であるか否かを判定する。このため、判定部４６は、不良画素の見落としを精度よく抑制することができる。
【００９９】
判定部４６は、この他、比較の方法としては比較値についての標準偏差などを使用して、他の第１撮像画素について特定した評価値が有意に大きくなる第１撮像画素等を不良画素であると判定してもよい。また、判定部４６は、縞方向ごとに重要性を規定する重み付けの係数を用いて、上記の平均値、最大値、標準偏差等の算出を行っても良い。例えば個々の縞方向ごとに投影制御部４１が、投影画像を投影する数や縞周期を変えて、それに応じて判定部４６が異なる重み付けの係数を用いて評価値を算出してもよい。
【０１００】
［三次元形状測定装置の測定処理］
図１４は、三次元形状測定装置１００による測定対象物の形状の測定処理を示すフローチャートである。この処理手順は、測定対象物の形状の測定開始を指示するユーザの操作を操作受付部（不図示）が受け付けたときに開始する。
【０１０１】
まず、投影制御部４１は、投影座標を特定するためのパターンを含む投影画像を測定対象物へ投影部３により投影する（Ｓ１０１）。次に、撮像制御部４２は、測定対象物に投影された投影画像を第１撮像部１により撮像した第１撮像画像を生成する。また、撮像制御部４２は、測定対象物に投影された投影画像を第２撮像部２により撮像した第２撮像画像を生成する（Ｓ１０２）。
【０１０２】
第１座標特定部４３１は、第１撮像画像に含まれるパターンに基づいて、第１撮像画像の第１撮像画素に対応する投影座標を特定する。第２座標特定部４３２は、第２撮像画像に含まれるパターンに基づいて、第２撮像画像の第２撮像画素に対応する投影座標を特定する（Ｓ１０３）。関係特定部４５は、第１撮像画素に関連付けられた第２撮像画像の第１エピポーラ線を記憶部５から取得する（Ｓ１０４）。関係特定部４５は、取得した第１エピポーラ線上に位置する第２撮像画素のうち、第１撮像画素と同じ投影座標に対応する第２撮像画素を選択する。
【０１０３】
関係特定部４５は、第１撮像画素と、選択した第２撮像画素との組み合わせを同じ測定点に対応する組み合わせとして特定する（Ｓ１０５）。関係特定部４５は、同様にして、第１撮像画像に含まれる複数の第１撮像画素と、第２撮像画像に含まれる複数の第２撮像画素との複数の組み合わせの間において、測定対象物の共通の測定点に対応する複数の組み合わせを特定する。
【０１０４】
判定部４６は、関係特定部４５が特定した第１撮像画素及び第２撮像画素の組み合わせにおいて、第１撮像画素に対応する投影座標を有する投影画像の投影画素と、第２撮像画素に対応する投影座標を有する投影画像の投影画素との間の距離を求める。判定部４６は、求めた距離を示す評価値Ｅ１が第１閾値より大きいか否かを判定する（Ｓ１０６）。
【０１０５】
判定部４６は、評価値Ｅ１が第１閾値より大きい場合（Ｓ１０６のＹＥＳ）、関係特定部４５が特定した組み合わせにおいて第１撮像画素及び第２撮像画素の少なくともいずれかが不良画素であると判定する（Ｓ１０７）。形状測定部４７は、関係特定部４５が特定した他の組み合わせがあるか否かを判定する（Ｓ１０８）。
【０１０６】
形状測定部４７は、関係特定部４５が特定した他の組み合わせがないと判定した場合に（Ｓ１０８のＮＯ）、判定部４６が第１撮像画素及び第２撮像画素が不良画素でないと判定した組み合わせに対応する少なくとも一方の画素を用いて測定対象物の三次元形状を測定し（Ｓ１０９）、処理を終了する。
【０１０７】
判定部４６は、Ｓ１０６の判定において評価値Ｅ１が第１閾値以下である場合（Ｓ１０６のＮＯ）、第１撮像画素及び第２撮像画素はいずれも不良画素でないと判定し（Ｓ１１０）、Ｓ１０８の処理に進む。形状測定部４７は、Ｓ１０８の判定において関係特定部４５が特定した他の組み合わせがあると判定した場合に（Ｓ１０８のＹＥＳ）、再びＳ１０６の処理を行う。
【０１０８】
［本実施形態による効果］
判定部４６は、関係特定部４５が特定した第１撮像画素と第２撮像画素との組み合わせにおいて、第１撮像画素Ａ及び第２撮像画素Ｂが投影画像のほぼ同じ投影画素に対応しているか否かを判定することにより、第１撮像画素Ａ又は第２撮像画素Ｂの少なくともいずれかが多重反射光等の影響を受けた不良画素であるか否かを判定することができる。したがって、判定部４６は、多重反射光等に起因して、形状測定部４７による測定対象物の形状の測定精度が低下することを抑制することができる。
【０１０９】
＜第２の実施形態＞
［複数方向の縞による組み合わせの再調整］
第１の実施形態では、関係特定部４５が、単一方向に延びる縞パターンに基づく投影座標を用いて、測定対象物の同じ測定点に対応する第１撮像画素と第２撮像画素との組み合わせを特定する例について説明した。この場合、第１撮像画像における第１撮像画素と、第２撮像画像における第２撮像画素とが、測定対象物の同一の位置に対応していないという場合があった。そこで、第２の実施形態における関係特定部４５は、複数の異なる方向に延びる縞のパターンに基づく投影座標を用いて、第１撮像画素と第２撮像画素との組み合わせを特定することにより、測定対象物の同じ測定点に対応する組み合わせを特定する精度を向上させる。このため、形状測定部４７は、測定対象物の三次元形状の測定精度を向上させることが可能になる。
【０１１０】
具体的には、第２の実施形態では、関係特定部４５が、複数の異なる方向に延びる縞のパターンに基づく投影座標を用いて、測定対象物の同じ測定点に対応する第１撮像画素と第２撮像画素との組み合わせを再調整する。
【０１１１】
図１５は、第２の実施形態の三次元形状測定装置が備える制御部５０の構成を示す図である。制御部５０は、図１の制御部４の各ブロックに加えて、取得部５０１、候補座標特定部５０２及び評価部５０３をさらに備える。図１の制御部４と同様のブロックについては同じ符号を付して説明を省略する。
【０１１２】
取得部５０１は、まず、単一方向に延びる縞パターンに基づく投影座標を用いて関係特定部４５が特定した第１撮像画素と第２撮像画素との組み合わせを取得する。取得部５０１は、取得した組み合わせの第２撮像画素から所定範囲内の複数の第２撮像画素を対応候補画素として取得する。所定範囲は、例えば、取得部５０１が取得した組み合わせにおける第２撮像画素に隣接する範囲である。取得部５０１は、画素よりも小さい単位の対応候補画素を取得してもよい。例えば、取得部５０１は、画素が１ピクセル単位である場合に、サブピクセル単位の複数の対応候補画素を取得する。サブピクセルは、１ピクセル単位の画素よりも小さな長さを表す。
【０１１３】
候補座標特定部５０２は、縞の延びる方向が異なる複数の投影画像を投影制御部４１が投影した場合に、縞の延びる方向が異なる投影画像ごとに、対応候補画素に対応する投影座標をそれぞれ特定する。候補座標特定部５０２は、複数の対応候補座標の投影座標をそれぞれ特定する。一例としては、候補座標特定部５０２は、複数の対応候補座標の投影座標をそれぞれサブピクセル単位で特定する。
【０１１４】
評価部５０３は、縞の伸びる方向が互いに異なる投影画像ごとに、第１撮像画素に対応する投影座標と、対応候補画素に対応する投影座標との比較値を求め、求めた比較値に基づく評価値を対応候補画素ごとに求める。比較値は、例えば、第１撮像画素に対応する投影座標と、対応候補画素に対応する投影座標との差分値であるが、第１撮像画素に対応する投影座標と、対応候補画素に対応する投影座標との比の値であってもよい。図１６は、評価部５０３による対応候補画素の評価方法を示す図である。
【０１１５】
まず、図１１と同様にして、評価部５０３は、関係特定部４５が特定した第１撮像画素Ａ及び第２撮像画素Ｂの組み合わせにおける第１撮像画素Ａと同じ投影座標（Ｉ１ＡＰ，１（ｉＡ，ｊＡ），Ｉ１ＲＰ，２（ｉＡ，ｊＡ），Ｉ１ＲＰ，３（ｉＡ，ｊＡ），・・・，Ｉ１ＲＰ，Ｍ（ｉＡ，ｊＡ））を有する投影画素ＣＡを特定する。評価部５０３は、対応候補画素Ｂ１と同じ投影座標（Ｉ２ＡＰ，１（ｉＢ１，ｊＢ１），Ｉ２ＲＰ，２（ｉＢ１，ｊＢ１），Ｉ２ＲＰ，３（ｉＢ１，ｊＢ１），・・・，Ｉ２ＲＰ，Ｍ（ｉＢ１，ｊＢ１））を有する投影画素ＣＢ１を特定する。評価部５０３は、投影画素ＣＡの投影座標と、投影画素ＣＢ１の投影座標との各方向成分における比較値に基づく以下の評価値Ｅ６を算出する。
【数１４】
2020177017.tif 000016
【０１１６】
評価部５０３は、同様にして、対応候補画素Ｂ２と同じ投影座標を有する投影画素ＣＢ２を特定し、投影画素ＣＡが有する投影座標と、投影画素ＣＢ１が有する投影座標との各方向成分における比較値に基づく評価値Ｅ６を算出する。また、評価部５０３は、関係特定部４５が特定した第１撮像画素Ａ及び第２撮像画素Ｂの組み合わせにおける第２撮像画素Ｂと同じ投影座標を有する投影画像ＣＢについて同様に評価値Ｅ６を算出する。
【０１１７】
関係特定部４５は、評価部５０３が求めた評価値Ｅ６に基づいて、複数の対応候補画素のうち、いずれかの対応候補画素と、取得部５０１が取得した組み合わせにおける第１撮像画素Ａとを新たな組み合わせとして特定する。例えば、関係特定部４５は、評価部５０３が算出した評価値Ｅ６が最も小さくなる対応候補画素を選択し、第１撮像画素Ａと、この対応候補画素との組み合わせを新たな組み合わせとして特定する。
【０１１８】
本実施形態によれば、関係特定部４５は、複数の方向に延びる縞のパターンに基づく投影座標を用いて、測定対象物の同じ測定点に対応する第１撮像画素と第２撮像画素との組み合わせをより精度よく特定することができる。このため、判定部４６により撮像画素が不良画素であるか否かを判定する精度も向上するので、形状測定部４７による測定対象物の形状の測定精度が向上する。
【０１１９】
［不良画素を除く投影画像による再測定処理］
不良画素は、多重反射光に起因して生じることが多いため、不良画素であると判定された撮像画素に対応する投影座標の投影画素を除く投影画像を投影すれば、多重反射光の影響を抑制することができる。そこで、投影制御部４１は、判定部４６が第１撮影画素又は第２撮像画素の少なくともいずれかが不良画素であると判定した場合に、投影画像に含まれる複数の投影画素のうち、判定部４６が第１撮像画素及び第２撮像画素が不良画素でないと判定した組み合わせに対応する第１撮像画素、及び第２撮像画素のいずれかに対応する投影座標を有する投影画素を全て除いた投影画像（以下、第１選択投影画像）を測定対象物に再び投影してもよい。
【０１２０】
不良画素は多重反射光の影響を受けている可能性があるため、投影制御部４１は、不良画素を除く第１選択投影画像を投影することにより、多重反射光の影響を抑制することができる。このため、第１座標特定部４３１は、第１撮像画素に対応する投影座標を精度よく特定することができる。同様に、第２座標特定部４３２は、第２撮像画素に対応する投影座標を精度よく特定することができる。
【０１２１】
［不良画素のみを含む投影画像を用いる再測定処理］
多重反射による不良画素は、多数の画素を含む投影画像を同時に測定対象物に投影することによって生じると考えることもできる。そこで、投影制御部４１は、判定部４６が第１撮像画素又は第２撮像画素の少なくともいずれかが不良画素であると判定した場合に、同時に投影する投影画素の数を減少させることを目的として、投影画像に含まれる複数の投影画素のうち、判定部４６が不良画素であると判定した組み合わせに対応する第１撮像画素又は第２撮像画素に対応する投影座標を有する投影画素のみを含む投影画像（以下、第２選択投影画像）を測定対象物に再び投影して再度測定を実行してもよい。
【０１２２】
投影制御部４１は、第２選択投影画像を投影することにより、投影画像を全て投影する場合に比べて、同時に投影する画素の数を減少させる。第１座標特定部４３１及び第２座標特定部４３２は、判定部４６が不良画素であると判定した第１撮像画素又は第２撮像画素に対応する投影座標を再度特定することにより、測定対象物の三次元形状の測定に用いる撮像画素の数を増やすことができる。
【０１２３】
［周期が異なる縞のパターンを含む複数の投影画像の投影］
また、投影制御部４１は、縞の周期が互いに異なる正弦波状の輝度分布を有する縞のパターンを含む複数の投影画像を順次投影してもよい。例えば、投影制御部４１は、第１方向に延びる縞のパターンを含む投影画像を測定対象物に投影した後に、第１方向に延び、かつ周期が異なる縞のパターンを含む投影画像を追加的に測定対象物に投影してもよい。
【０１２４】
また、投影制御部４１は、第２方向に延びる縞のパターンを含む投影画像を測定対象物に投影した後に、第２方向に延び、かつ周期が異なる縞のパターンを含む投影画像を追加的に測定対象物に投影してもよい。測定対象物の測定面において１回のみ反射して撮像画素において受光される光を直接反射光とすれば、周期が異なる縞のパターンを含む投影画像を投影した場合、直接反射光に重なる多重反射光の位相が変化する。このため、判定部４６は、多重反射光の影響を受けた画素をより精度よく検出することができる。
【０１２５】
また、第１及び第２の実施形態では、投影制御部４１が、周期が異なる２値の縞パターンを含む複数の投影画像と、正弦波状の輝度分布を有する縞のパターンを含む投影画像とを投影する場合の例について説明した。しかしながら、本発明はこれに限定されない。例えば、投影制御部４１は、２値の縞パターンを含む複数の投影画像の代わりに、周期が異なる正弦波状の輝度分布を有する縞のパターンを含む複数の投影画像を測定対象物に投影してもよい。
【０１２６】
［システムの不具合の検知］
判定部４６は、撮像画素が不良画素であるか否かを判定する例に限定されず、第１撮像部１、第２撮像部２及び投影部３のいずれかの配置に不具合が生じたか否かを判定してもよい。判定部４６は、関係特定部４５が特定した第１撮像画素と第２撮像画素との複数の組み合わせごとに求めた複数の評価値Ｅ１の統計量を用いて、第１撮像部１、第２撮像部２及び投影部３のいずれかの配置に不具合が生じたか否かを判定する。
【０１２７】
判定部４６は、求めた複数の評価値Ｅ１の統計量が基準値を超えている場合に、第１撮像部１、第２撮像部２及び投影部３のいずれかの配置に不具合が生じたと判定する。配置の不具合とは、例えば、第１撮像部１、第２撮像部２及び投影部３のいずれかの配置が記憶部５に予め記憶されているものからずれていることである。
【０１２８】
統計量は、例えば、判定部４６が第１撮像画素及び第２撮像画像の複数の組み合わせごとに求めた複数の評価値Ｅ１の平均値である。基準値は、関係特定部４５が特定した第１撮像画素と第２撮像画素との組み合わせを特定する精度が多重反射光以外の要因により低下していることを示す値として定められた値である。このような構成により、判定部４６は、第１撮像部１、第２撮像部２及び投影部３のいずれかの配置に不具合が生じたか否かを判定することができる。
【０１２９】
第１の実施形態及び第２の実施形態では、三次元形状測定装置１００が第１撮像部１、第２撮像部２及び投影部３を備える場合の例について説明した。しかしながら、本発明はこれに限定されない。三次元形状測定装置１００は、３台以上の撮像部や、２台以上の投影部を備え、これらの撮像部や投影部の任意の組み合わせを対象にして、第１の実施形態及び第２の実施形態に記載した一連の処理を繰り返してもよい。
【０１３０】
以上、実施の形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
【符号の説明】
【０１３１】
１  第１撮像部
２  第２撮像部
３  投影部
４  制御部
５  記憶部
１１  レンズ
１２  撮像素子
２１  レンズ
２２  撮像素子
４１  投影制御部
４２  撮像制御部
４３  座標特定部
４４  線特定部
４５  関係特定部
４６  判定部
４７  形状測定部
５０  制御部
１００  三次元形状測定装置
４３１  第１座標特定部
４３２  第２座標特定部
５０１  取得部
５０２  候補座標特定部
５０３  評価部
【図１】
2020177017.tif 000017
【図２】
2020177017.tif 000018
【図３】
2020177017.tif 000019
【図４】
2020177017.tif 000020
【図５】
2020177017.tif 000021
【図６】
2020177017.tif 000022
【図７】
2020177017.tif 000023
【図８】
2020177017.tif 000024
【図９】
2020177017.tif 000025
【図１０】
2020177017.tif 000026
【図１１】
2020177017.tif 000027
【図１２】
2020177017.tif 000028
【図１３】
2020177017.tif 000029
【図１４】
2020177017.tif 000030
【図１５】
2020177017.tif 000031
【図１６】
2020177017.tif 000032