(57)【要約】【課題】計測範囲の拡大および／または計測精度の向上を可能にする構成を提供する。【解決手段】画像処理コントローラは、第１の計測ヘッドの投光部からの計測光が対象物に投影された状態で第１の計測ヘッドの撮像部が対象物を撮像して得られる第１の画像と、第１の計測ヘッドの投光部からの計測光が対象物に投影された状態で第２の計測ヘッドの撮像部が対象物を撮像して得られる第２の画像と、第２の計測ヘッドの投光部からの計測光が対象物に投影された状態で第１の計測ヘッドの撮像部が対象物を撮像して得られる第３の画像とのうち少なくとも一方と、を用いて対象物の三次元形状を示す計測結果を出力する。【選択図】図１
2019215181.tif 000002
【特許請求の範囲】
【請求項１】
画像処理コントローラと、
前記画像処理コントローラに接続された第１および第２の計測ヘッドとを備え、
前記第１および第２の計測ヘッドの各々は、対象物に計測光を照射する投光部と、当該計測光が投影された状態で当該対象物を撮像する撮像部とを含み、
前記画像処理コントローラは、
前記第１の計測ヘッドの投光部からの計測光が前記対象物に投影された状態で前記第１の計測ヘッドの撮像部が前記対象物を撮像して得られる第１の画像と、
前記第１の計測ヘッドの投光部からの計測光が前記対象物に投影された状態で前記第２の計測ヘッドの撮像部が前記対象物を撮像して得られる第２の画像と、前記第２の計測ヘッドの投光部からの計測光が前記対象物に投影された状態で前記第１の計測ヘッドの撮像部が前記対象物を撮像して得られる第３の画像とのうち少なくとも一方と、を用いて前記対象物の三次元形状を示す計測結果を出力する、計測システム。
【請求項２】
前記画像処理コントローラは、前記対象物を示す像のうち、前記第１の画像に含まれていない像を前記第２の画像から抽出して、前記第１の画像に結合する、請求項１に記載の計測システム。
【請求項３】
前記画像処理コントローラは、前記第１の画像および前記第３の画像に含まれる前記対象物の共通部分を示す像のうち、より計測に適した像を抽出する、請求項１に記載の計測システム。
【請求項４】
前記画像処理コントローラは、前記第２の計測ヘッドの投光部からの計測光が前記対象物に投影された状態で前記第２の計測ヘッドの撮像部が前記対象物を撮像して得られる第４の画像をさらに用いて、前記対象物の三次元形状を示す計測結果を出力する、請求項１〜３のいずれか１項に記載の計測システム。
【請求項５】
前記第１の計測ヘッドと前記第２の計測ヘッドとの間には、前記第１の計測ヘッドの投光部から計測光が照射されるタイミングを前記第２の計測ヘッドに通知するための通信ラインが設けられている、請求項１〜４のいずれか１項に記載の計測システム。
【請求項６】
前記画像処理コントローラから前記第１の計測ヘッドおよび前記第２の計測ヘッドに対して、各計測ヘッドの投光部から計測光が照射されるタイミングを通知するための通信ラインが設けられている、請求項１〜４のいずれか１項に記載の計測システム。
【請求項７】
前記第１および第２の計測ヘッドの投光部は、構造化照明に従う計測光を照射する、請求項１〜６のいずれか１項に記載の計測システム。
【請求項８】
前記計測光の断面は、予め定められた２次元の濃淡パターンをもつ、請求項１〜７のいずれか１項に記載の計測システム。
【請求項９】
前記計測光の断面は、一方向に明るさが変化するとともに他方向には一様である、２次元の濃淡パターンをもつ、請求項１〜７のいずれか１項に記載の計測システム。
【請求項１０】
前記投光部は、前記計測光として線状の光を照射するとともに、照射位置を時間的に変化させる、請求項１〜７のいずれか１項に記載の計測システム。
【請求項１１】
第１および第２の計測ヘッドを用意するステップを備え、前記第１および第２の計測ヘッドの各々は、対象物に計測光を照射する投光部と、当該計測光が投影された状態で当該対象物を撮像する撮像部とを含み、
前記第１の計測ヘッドの投光部からの計測光が前記対象物に投影された状態で前記第１の計測ヘッドの撮像部が前記対象物を撮像して第１の画像を取得するステップと、
前記第１の計測ヘッドの投光部からの計測光が前記対象物に投影された状態で前記第２の計測ヘッドの撮像部が前記対象物を撮像して第２の画像を取得するステップと、
前記第２の計測ヘッドの投光部からの計測光が前記対象物に投影された状態で前記第１の計測ヘッドの撮像部が前記対象物を撮像して第３の画像を取得するステップと、
前記第１の画像と、前記第２の画像および前記第３の画像のうち少なくとも一方とを用いて、前記対象物の三次元形状を示す計測結果を出力するステップとを備える、計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、対象物に計測光を照射するとともに、当該計測光が投影された状態で対象物を撮像することで計測結果を出力する計測システムおよび計測方法に関する。
【背景技術】
【０００２】
光学的な手法を用いて対象物の三次元形状を計測する技術が知られている。三次元形状を計測する手法の一つとして、異なる視点からそれぞれ撮像された画像を用いて各部までの距離を算出する方法が知られている。典型的には、ステレオカメラを用いたステレオ計測がある。このようなステレオカメラを用いた三次元形状の計測における計測範囲を拡大する手法として、例えば、特開２０１４−２１５０３９号公報（特許文献１）は、複数のステレオカメラを用いて、立体的な障害物を広範囲に亘って計測可能な構成を開示する。
【０００３】
対象物の三次元形状を計測する別の手法として、対象物に計測光を照射するとともに、対象物に照射された計測光を撮像して得られた情報に基づいて、三次元形状を取得する方法もある。このような三次元形状の計測方法では、計測光が届かない場所、あるいは、対象物を撮像できない場所、すなわち死角が生じ得る。このような死角により計測できない部分が発生するのを防止する手法として、例えば、特開２００１−３２４３１３号公報（特許文献２）は、相対位置関係を定位置にして装着されたスリット光源及び複数台のカメラを用いた三次元形状計測装置を開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２１５０３９号公報
【特許文献２】特開２００１−３２４３１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
対象部の三次元形状を計測するために、計測光を照射する光源と、計測光の照射範囲を視野に含む撮像部とを含む計測装置が用いられることがある。このような計測装置を用いる場合には、対象物の形状によっては、計測できない部分（死角）が生じ得る。
【０００６】
上述の特許文献１は、ステレオカメラを用いた構成を想定するものであり、対象物に計測光を照射する構成については何ら検討されていない。また、上述の特許文献２は、１つのスリット光源に対する複数台のカメラの相対位置が固定された構成を想定しており、光源と撮像部とを含む一体型の計測装置については何ら想定されていない。
【０００７】
本技術は、対象物に計測光を照射する投光部と、当該計測光が投影された状態で当該対象物を撮像する撮像部とを含む計測ヘッドを用いて、計測範囲の拡大および／または計測精度の向上を可能にする構成を提供することを一つの目的とする。
【課題を解決するための手段】
【０００８】
本技術の一つの実施形態に従う計測システムは、画像処理コントローラと、画像処理コントローラに接続された第１および第２の計測ヘッドとを含む。第１および第２の計測ヘッドの各々は、対象物に計測光を照射する投光部と、当該計測光が投影された状態で当該対象物を撮像する撮像部とを含む。画像処理コントローラは、第１の計測ヘッドの投光部からの計測光が対象物に投影された状態で第１の計測ヘッドの撮像部が対象物を撮像して得られる第１の画像と、第１の計測ヘッドの投光部からの計測光が対象物に投影された状態で第２の計測ヘッドの撮像部が対象物を撮像して得られる第２の画像と、第２の計測ヘッドの投光部からの計測光が対象物に投影された状態で第１の計測ヘッドの撮像部が対象物を撮像して得られる第３の画像とのうち少なくとも一方と、を用いて対象物の三次元形状を示す計測結果を出力する。
【０００９】
この開示によれば、計測ヘッドを組合せて配置したことで撮像される第１の画像と第２の画像および／または第３の画像との組合せを用いて三次元計測処理を実行することで、計測範囲の拡大および／または計測精度の向上を実現できる。
【００１０】
上述の開示において、画像処理コントローラは、対象物を示す像のうち、第１の画像に含まれていない像を第２の画像から抽出して、第１の画像に結合するようにしてもよい。
【００１１】
この開示によれば、第１の画像および第２の画像を用いて、計測範囲を拡大できる。
上述の開示において画像処理コントローラは、第１の画像および第３の画像に含まれる対象物の共通部分を示す像のうち、より計測に適した像を抽出するようにしてもよい。
【００１２】
この開示によれば、第１の画像および第３の画像を用いて、計測精度を向上できる。
上述の開示において画像処理コントローラは、第２の計測ヘッドの投光部からの計測光が対象物に投影された状態で第２の計測ヘッドの撮像部が対象物を撮像して得られる第４の画像をさらに用いて、対象物の三次元形状を示す計測結果を出力するようにしてもよい。
【００１３】
この開示によれば、計測範囲の拡大および計測精度の向上の両方を実現できる。
上述の開示において、第１の計測ヘッドと第２の計測ヘッドとの間には、第１の計測ヘッドの投光部から計測光が照射されるタイミングを第２の計測ヘッドに通知するための通信ラインが設けられてもよい。
【００１４】
この開示によれば、計測光の照射タイミングおよび撮像部による撮像タイミングをより正確に制御できる。
【００１５】
上述の開示において、画像処理コントローラから第１の計測ヘッドおよび第２の計測ヘッドに対して、各計測ヘッドの投光部から計測光が照射されるタイミングを通知するための通信ラインが設けられている。
【００１６】
この開示によれば、計測光の照射タイミングおよび撮像部による撮像タイミングをより正確に制御できる。
【００１７】
上述の開示において、第１および第２の計測ヘッドの投光部は、構造化照明に従う計測光を照射するようにしてもよい。
【００１８】
この開示によれば、予め定められたパターンの光が照射されるので、撮像されるそれぞれの画像間でのキャリブレーションなどを容易化できる。
【００１９】
上述の開示において、計測光の断面は、予め定められた２次元の濃淡パターンをもつようにしてもよい。
【００２０】
この開示によれば、濃淡パターンが予め定められているので、撮像されるそれぞれの画像間でのキャリブレーションなどを容易化できる。
【００２１】
上述の開示において、計測光の断面は、一方向に明るさが変化するとともに他方向には一様である、２次元の濃淡パターンをもつようにしてもよい。
【００２２】
この開示によれば、高さ方向の情報の算出処理をより簡素化できる。
上述の開示において、投光部は、計測光として線状の光を照射するとともに、照射位置を時間的に変化させるようにしてもよい。
【００２３】
この開示によれば、高さ方向の情報の算出処理をより簡素化できる。
本技術の別の実施形態に従う計測方法は、第１および第２の計測ヘッドを用意するステップを含む。第１および第２の計測ヘッドの各々は、対象物に計測光を照射する投光部と、当該計測光が投影された状態で当該対象物を撮像する撮像部とを含む。計測方法は、第１の計測ヘッドの投光部からの計測光が対象物に投影された状態で第１の計測ヘッドの撮像部が対象物を撮像して第１の画像を取得するステップと、第１の計測ヘッドの投光部からの計測光が対象物に投影された状態で第２の計測ヘッドの撮像部が対象物を撮像して第２の画像を取得するステップと、第２の計測ヘッドの投光部からの計測光が対象物に投影された状態で第１の計測ヘッドの撮像部が対象物を撮像して第３の画像を取得するステップと、第１の画像と、第２の画像および第３の画像のうち少なくとも一方とを用いて、対象物の三次元形状を示す計測結果を出力するステップとを含む。
【００２４】
この開示によれば、計測ヘッドを組合せて配置したことで撮像される第１の画像と第２の画像および／または第３の画像との組合せを用いて三次元計測処理を実行することで、計測範囲の拡大および／または計測精度の向上を実現できる。
【発明の効果】
【００２５】
本技術によれば、計測範囲の拡大および／または計測精度の向上を実現できる。
【図面の簡単な説明】
【００２６】
【図１】本実施の形態に従う計測システムの適用例を示す模式図である。
【図２】本実施の形態に従う計測システムの構成例を示す模式図である。
【図３】本実施の形態に従う計測システムに含まれる計測ヘッドの構成例を示す模式図である。
【図４】本実施の形態に従う計測システムに含まれる画像処理コントローラの構成例を示す模式図である。
【図５】本実施の形態に従う計測システムの計測ヘッドから照射される濃淡パターンの一例を示す図である。
【図６】本実施の形態に従う計測システムが実行する三次元計測の原理を説明するための図である。
【図７】本技術の背景技術を説明するための図である。
【図８】本技術の背景技術を説明するための図である。
【図９】実施の形態１に従う計測システムの構成例を示す模式図である。
【図１０】実施の形態１に従う計測システムにおける計測光の照射および対象物の撮像の動作モードを説明するための図である。
【図１１】実施の形態１に従う計測システムにおける計測光の照射および対象物の撮像の動作モードを説明するための図である。
【図１２】実施の形態１に従う計測システムにおける計測光の照射および対象物の撮像の動作モードを説明するための図である。
【図１３】実施の形態１に従う計測システムにおける計測光の照射および対象物の撮像の動作モードを説明するための図である。
【図１４】実施の形態１に従う計測システムの計測範囲の拡大を実現する利用例を説明するための図である。
【図１５】実施の形態１に従う計測システムの計測精度の向上を実現する利用例を説明するための図である。
【図１６】実施の形態１に従う計測システムの計測範囲の拡大および計測精度の向上を実現する利用例を説明するための図である。
【図１７】実施の形態１に従う計測システムにおける計測ヘッド間の接続構成例を示す模式図である。
【図１８】実施の形態１に従う計測システムにおける計測ヘッド間の別の接続構成例を示す模式図である。
【図１９】実施の形態１に従う計測システムにおける計測処理手順を示すフローチャートである。
【図２０】実施の形態１に従う計測システムにおける別の計測処理手順を示すフローチャートである。
【図２１】実施の形態２に従う計測システムにおいて用いられる位相シフト法を説明するための図である。
【図２２】実施の形態２に従う計測システムにおいて用いられるキャリブレーションパラメータを説明するための図である。
【図２３】実施の形態３に従う計測システムにおいて用いられる光切断法を説明するための図である。
【図２４】本実施の形態に従う計測システムの別の構成例を示す模式図である。
【図２５】本実施の形態に従う計測システムにおける計測ヘッドのレイアウト例を示す模式図である。
【発明を実施するための形態】
【００２７】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【００２８】
＜Ａ．適用例＞
まず、本発明が適用される場面の一例について説明する。
【００２９】
図１は、本実施の形態に従う計測システム１の適用例を示す模式図である。図１を参照して、計測システム１は、画像処理コントローラ６０と、画像処理コントローラ６０に接続された計測ヘッド１０−１，１０−２とを有している。計測ヘッド１０−１，１０−２の各々は、対象物（図１に示す例では、ワークＷ）に計測光を照射する投光部２０と、当該計測光が投影された状態で当該対象物を撮像する撮像部３０とを含む。
【００３０】
図１に示すように、典型的な計測動作において、計測ヘッド１０−１（第１の計測ヘッドに相当する）の投光部２０からの計測光２２−１が対象物（ワークＷ）に投影された状態で計測ヘッド１０−１の撮像部３０が対象物を撮像して第１の画像６１が取得される。第１の画像６１は、ワークＷからの反射光３２−１が撮像部３０に入射して形成される像に相当する。
【００３１】
同様に、計測ヘッド１０−１（第１の計測ヘッドに相当する）の投光部２０からの計測光２２−１が対象物（ワークＷ）に投影された状態で計測ヘッド１０−２の撮像部３０が対象物を撮像して第２の画像６２が取得される。第２の画像６２は、ワークＷからの反射光３２−２が撮像部３０に入射して形成される像に相当する。
【００３２】
同様に、計測ヘッド１０−２（第２の計測ヘッドに相当する）の投光部２０からの計測光２２−２が対象物（ワークＷ）に投影された状態で計測ヘッド１０−１の撮像部３０が対象物を撮像して第３の画像６３が取得される。第３の画像６３は、ワークＷからの反射光３２−１が撮像部３０に入射して形成される像に相当する。
【００３３】
画像処理コントローラ６０は、第１の画像６１と、第２の画像６２および第３の画像６３の少なくとも一方とを用いて、対象物の三次元形状を示す計測結果６６を出力する。より具体的には、画像処理コントローラ６０は、第１の画像６１ならびに第２の画像６２および／または第３の画像６３に対して、三次元形状計測処理６４を実行することで、対象物の三次元形状（典型的には、対象物表面の各点における高さ情報の集合）を出力する。
【００３４】
このような構成を採用することで、より多くの撮像部３０により撮像された画像を得ることができ、この結果、計測範囲の拡大および／または計測精度の向上を実現できる。
【００３５】
＜Ｂ．装置構成＞
まず、本実施の形態に従う計測システム１を実現する装置構成の一例について説明する。
【００３６】
（ｂ１：計測システム１の構成例）
図２は、本実施の形態に従う計測システム１の構成例を示す模式図である。本実施の形態に従う計測システム１は、対象物に計測光を照射する投光部と、当該計測光が投影された状態で当該対象物を撮像する撮像部とを含む計測ヘッド（計測装置の一例である）を複数有している。図２に示す構成例においては、２つの計測ヘッド１０−１，１０−２を有している（以下、「計測ヘッド１０」と総称することもある）。
【００３７】
計測ヘッド１０−１，１０−２の各々は、投光部２０および撮像部３０を有している。投光部２０から計測光が照射される範囲と、撮像部３０が撮像する範囲とは実質的に一致するように構成されている。投光部２０から照射される計測光は、所定の濃淡パターンを有するパターン光であってもよいし、所定の幅を有するスリット光であってもよい。
【００３８】
計測ヘッド１０−１，１０−２には、外部電源４０−１，４０−２からそれぞれ電力が供給される。計測ヘッド１０−１，１０−２は、通信ライン１２−１，１２−２を介してハブ５０に接続されている。さらに、計測ヘッド１０−１と計測ヘッド１０−２との間も通信ライン１４で通信可能になっている。
【００３９】
計測システム１は、計測ヘッド１０−１，１０−２からの画像を処理して、対象物の三次元形状を示す計測結果を出力する画像処理コントローラ６０を含む。画像処理コントローラ６０には、画像処理コントローラ６０から出力される計測結果の出力先である上位コントローラ７０が接続されていてもよい。
【００４０】
上位コントローラ７０は、例えば、計測ヘッド１０−１，１０−２により撮像される対象物に関連する設備や装置などを制御するＰＬＣ（プログラマブルコントローラ）などが想定される。あるいは、上位コントローラ７０として、データベースや生産管理システムなどが用いられることもある。
【００４１】
後述するように、本実施の形態に従う形態に従う計測システム１においては、計測ヘッド１０同士が連係することで、計測範囲の拡大および／または計測精度の向上を可能にする構成を実現する。
【００４２】
（ｂ２：計測ヘッド１０の構成例）
図３は、本実施の形態に従う計測システム１に含まれる計測ヘッド１０の構成例を示す模式図である。図３を参照して、計測ヘッド１０は、投光部２０および撮像部３０に加えて、処理部１００と、設定部１１０と、記憶部１１２，１１６と、表示部１１４と、上位インターフェイス（Ｉ／Ｆ）部１１８と、同期インターフェイス（Ｉ／Ｆ）部１２０とを含む。
【００４３】
処理部１００は、計測ヘッド１０における全体処理を司る。処理部１００は、典型的には、プロセッサと、プロセッサで実行される命令コードを格納するストレージと、命令コードを展開するメモリとを含む。この場合、処理部１００において、プロセッサが命令コードをメモリ上に展開して実行することで各種処理を実現する。
【００４４】
なお、処理部１００の全部または一部を専用のハードウェア回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）など）を用いて実装してもよい。
【００４５】
設定部１１０は、後述するような複数の計測ヘッド１０が連係して動作する場合に、計測ヘッド１０同士の同期を実現するための各種設定を受付ける。
【００４６】
記憶部１１２は、記憶部１１２が含まれる計測ヘッド１０自体の投光部２０および撮像部３０に関するキャリブレーションパラメータ、および、他の計測ヘッド１０との位置関係に関するキャリブレーションパラメータを格納する。このようなキャリブレーションパラメータは、予め対象の計測ヘッド１０について個別にキャリブレーションすることで取得されるとともに、複数の計測ヘッド１０同士をキャリブレーションすることで取得される。
【００４７】
表示部１１４は、計測ヘッド１０において取得あるいは算出された各種情報を外部へ通知する。
【００４８】
記憶部１１６は、撮像部３０により取得された画像を格納する。
上位インターフェイス部１１８は、画像処理コントローラ６０（図２参照）などの上位コントローラとのデータの遣り取りを担当する。同期インターフェイス部１２０は、他の計測ヘッド１０との間のデータの遣り取りを担当する。
【００４９】
（ｂ３：画像処理コントローラ６０の構成例）
図４は、本実施の形態に従う計測システム１に含まれる画像処理コントローラ６０の構成例を示す模式図である。典型的には、画像処理コントローラ６０は、汎用コンピュータを用いて実現される。図４を参照して、画像処理コントローラ６０は、プロセッサ２０２と、メインメモリ２０４と、ストレージ２０６と、入力部２０８と、表示部２１０と、光学ドライブ２１２と、下位インターフェイス部２１４と、上位インターフェイス部２１６とを含む。これらのコンポーネントは、プロセッサバス２１８を介して接続されている。
【００５０】
プロセッサ２０２は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで構成され、ストレージ２０６に格納されたプログラム（一例として、ＯＳ２０６０および三次元計測プログラム２０６２）を読出して、メインメモリ２０４に展開して実行することで、後述するような各種処理を実現する。
【００５１】
メインメモリ２０４は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）などの揮発性記憶装置などで構成される。ストレージ２０６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの不揮発性記憶装置などで構成される。
【００５２】
ストレージ２０６には、基本的な機能を実現するためのＯＳ２０６０に加えて、画像処理コントローラ６０としての機能を提供するための三次元計測プログラム２０６２が格納される。
【００５３】
入力部２０８は、キーボードやマウスなどで構成され、ユーザ操作を受付ける。表示部２１０は、ディスプレイ、各種インジケータ、プリンタなどで構成され、プロセッサ２０２からの処理結果などを出力する。
【００５４】
下位インターフェイス部２１４は、１または複数の計測ヘッド１０との間のデータの遣り取りを担当する。上位インターフェイス部２１６は、上位コントローラ７０との間のデータの遣り取りを担当する。
【００５５】
画像処理コントローラ６０は、光学ドライブ２１２を有しており、コンピュータ読取可能なプログラムを非一過的に格納する記録媒体２１５（例えば、ＤＶＤ（Digital Versatile Disc）などの光学記録媒体）から、その中に格納されたプログラムが読取られてストレージ２０６などにインストールされる。
【００５６】
画像処理コントローラ６０で実行される三次元計測プログラム２０６２などは、コンピュータ読取可能な記録媒体２１５を介してインストールされてもよいが、ネットワーク上のサーバ装置などからダウンロードする形でインストールするようにしてもよい。また、本実施の形態に従う三次元計測プログラム２０６２が提供する機能は、ＯＳが提供するモジュールの一部を利用する形で実現される場合もある。
【００５７】
図４には、プロセッサ２０２がプログラムを実行することで、画像処理コントローラ６０として必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣまたはＦＰＧＡなど）を用いて実装してもよい。
【００５８】
＜Ｃ．三次元計測＞
次に、本実施の形態に従う計測システム１が実行する三次元計測について説明する。本実施の形態においては、典型例として、構造化照明と称される手法を用いて三次元計測を実現する。構造化照明の手法では、計測光を対象物に照射するともに、計測光が投影された状態で対象物を撮像することで得られる画像に基づいて、対象物までの距離を計測する。この場合、計測ヘッド１０の投光部２０は、構造化照明に従う計測光を照射することになる。
【００５９】
構造化照明の一例として、空間コード化法が知られている。空間コード化法においては、予め定められた濃淡パターンをもつ計測光が照射される。すなわち、計測光の断面は、予め定められた２次元の濃淡パターンをもつことになる。
【００６０】
図５は、本実施の形態に従う計測システム１の計測ヘッド１０から照射される濃淡パターンの一例を示す図である。図６は、本実施の形態に従う計測システム１が実行する三次元計測の原理を説明するための図である。
【００６１】
計測ヘッド１０の投光部２０からは、例えば、図５に示すような濃淡パターンＰを含む計測光を対象物に照射する。計測ヘッド１０の撮像部３０は、濃淡パターンＰが投影された状態で対象物を撮像する。
【００６２】
図５に示す濃淡パターンＰは、空間コード化法に従う所定規則に従って規定されるものである。より具体的には、濃淡パターンＰは、複数種類のプリミティブの組合せによって規定される。図６（Ａ）には、４種類のプリミティブが示される。各プリミティブは、それぞれに割当てられた値（図６（Ａ）に示す例では、１〜４の４つの数値）を示す。
【００６３】
各プリミティブは、４つの大きな正方形Ｑａ〜Ｑｄと、中心部に位置する１つの小さな正方形Ｑｅ）とで構成される。正方形Ｑａ〜Ｑｄの各々は、プリミティブの中心位置Ｒがコーナとなるように配置されている。中心位置Ｒは、小さな正方形Ｑｅの中心位置でもある。
【００６４】
図６（Ｂ）には、濃淡パターンＰ（図５参照）の一部と等価な行列を示す。投影された濃淡パターンＰに含まれる各プリミティブを特定し、各特定したプリミティブを数値で表現することにより、濃淡パターンＰと等価な行列Ｋを生成できる。
【００６５】
図６（Ｃ）には、図６（Ｂ）に示す行列Ｋの部分行列を示す。行列Ｋに設定される所定の大きさの部分行列を想定する。このような部分行列を「ワード」とも称する。すなわち、各ワードは、所定数のプリミティブの組合せ（図６（Ｃ）に示す例では、３×３）によって規定される。濃淡パターンＰは、すべてのワードの各々がユニークとなるように、プリミティブが配置されることで生成される。
【００６６】
行列Ｋに含まれるすべてのワードが抽出される。図６（Ｃ）には、抽出された３つのワードを示している。すべてのワードを抽出したときに、数値の並びがユニークであるワードについては、濃淡パターンＰにおける位置（ワードの位置）を特定できる。
【００６７】
計測ヘッド１０（投光部２０）から濃淡パターンＰを照射する場合において、投光部２０から遠い対象物ほど、濃淡パターンＰは大きく投影されることになる。このため、濃淡パターンＰが投影された対象物を撮像して得られる画像内のプリミティブの大きさも計測ヘッド１０と対象物との間の距離に依存して変化することになる。
【００６８】
このような濃淡パターンＰを対象物に照射した状態で対象物を撮像して得られる画像に含まれるプリミティブから規定されるワードの大きさおよび隣接するワード間の位置ずれに基づいて、計測ヘッド１０から対象物の各部までの距離および対象物の三次元形状を計測できる。
【００６９】
画像処理コントローラ６０（図２参照）は、それぞれの計測ヘッド１０から出力される画像に対して、プリミティブの抽出処理、ならびに、抽出されたプリミティブにより特定されたワードの位置および大きさの評価処理を実行することで、対象物の三次元形状の計測結果を出力する。
【００７０】
後述するように、構造化照明の別の例として、例えば、位相シフト法や光切断法などを採用することもできる。
【００７１】
上述したようないずれの計測方法を採用したとしても、本発明の技術思想を適用可能である。
【００７２】
＜Ｄ．背景技術および課題＞
次に、本技術の背景技術および課題について概略する。図７および図８は、本技術の背景技術を説明するための図である。
【００７３】
まず、図７に示すように、１つの計測ヘッド１０を用いて、当該計測ヘッド１０の視野内に配置された単一のワークＷを三次元計測することを想定する。図７を参照して、計測ヘッド１０の投光部２０からワークＷに向けて計測光２２を照射する。ワークＷに計測光２２が照射されている状態においては、撮像部３０の視野内の反射光３２を取得することで、撮像部３０の視野内の画像が取得される。
【００７４】
図７に示す例においては、計測光２２がワークＷの表面で反射されて生じる反射光３２は、計測光２２が他の部分（ワークＷが配置されている基準面）で反射されて生じる反射光３２とは光学経路が異なっている。このような光学経路の違いにより生じる画像内の特徴に基づいて、ワークＷの表面各部の高さを算出できる。
【００７５】
次に、図８に示すように、１つの計測ヘッド１０を用いて、当該計測ヘッド１０の視野内に不規則に積み重ねられた複数のワークＷを三次元計測することを想定する。図８を参照して、計測ヘッド１０の投光部２０から複数のワークＷに向けて計測光２２を照射する。このとき、ワークＷの積み重ねられた状態に依存して、撮像部３０の視野内に含まれない部分（すなわち、死角）が生じ得る。
【００７６】
このように、単一の計測ヘッド１０のみからなる構成においては、複数のワークＷが不規則に積み重ねられた配置状態においては、死角が生じ得て、三次元計測ができない部分が生じ得る。
【００７７】
上述のような課題に対して、本実施の形態に従う計測システム１においては、複数の計測ヘッド１０を用いて対象物の三次元計測を行う。複数の計測ヘッド１０を用いることで、計測精度の向上および／または計測範囲の拡大を実現できる。
【００７８】
＜Ｅ．実施の形態１＞
（ｅ１：計測ヘッドの配置例）
図９は、実施の形態１に従う計測システム１の構成例を示す模式図である。図９を参照して、計測ヘッド１０−１の投光部２０は、計測ヘッド１０−１の撮像部３０の視野だけではなく、計測ヘッド１０−２の撮像部３０の視野（の一部）を含むように、計測光２２−１を照射する。同様に、計測ヘッド１０−２の投光部２０は、計測ヘッド１０−２の撮像部３０の視野だけではなく、計測ヘッド１０−１の撮像部３０の視野（の一部）を含むように、計測光２２−２を照射する。
【００７９】
図９に示すように、複数の計測ヘッド１０は、一方の計測ヘッド１０の投光部２０から照射された計測光２２を他方の計測ヘッド１０の撮像部３０で撮像できるように配置される。図９に示す構成例においては、計測光を照射する投光部２０と、計測光が投影された状態で撮像を行う撮像部３０との組合せは４通り存在することになる。
【００８０】
（ｅ２：動作モード）
図１０〜図１３は、実施の形態１に従う計測システム１における計測光の照射および対象物の撮像の動作モードを説明するための図である。図１０〜図１３には、一例として、５つのワークＷが互いに一部が重なるように配置されている例を示す。説明の便宜上、５つのワークＷには１〜５の番号を付与し、これらの番号は撮像部３０により撮像される画像内に付与される番号と対応する。
【００８１】
図１０〜図１３に示す「点数群」は、計測ヘッド１０の投光部２０から照射される計測光２２（濃淡パターン）により現れるプリミティブの数を模式的に示すものである。計測ヘッド１０の投光部２０に近いほど、より多くの点数群が現れることになる。点数群の数は計測精度を意味し、点数群が多いほどより高い計測精度を実現できる。
【００８２】
図１０には、計測ヘッド１０−１の投光部２０が濃淡パターンを含む計測光２２−１をワークＷに照射し、計測ヘッド１０−１の撮像部３０がワークＷからの反射光３２−１を撮像する動作モードを示す。図１０に示す動作モードにおいて、計測ヘッド１０−１の撮像部３０から出力される画像を「画像Ａ」と称す。
【００８３】
計測ヘッド１０−１の撮像部３０の視野内には、１〜３のワークＷが存在することになり、画像Ａ（参照符号８１）には、対象物として１〜３のワークＷの像が含まれることになる。
【００８４】
図１１には、計測ヘッド１０−１の投光部２０が濃淡パターンを含む計測光２２−１をワークＷに照射し、計測ヘッド１０−２の撮像部３０がワークＷからの反射光３２−２を撮像する動作モードを示す。図１１に示す動作モードにおいて、計測ヘッド１０−２の撮像部３０から出力される画像を「画像Ｃ」と称す。
【００８５】
計測ヘッド１０−２の撮像部３０の視野内には、１〜５のワークＷが存在することになるが、１のワークＷは２のワークＷの死角となるため、画像Ｃ（参照符号８２）には、対象物として２〜５のワークＷの像が含まれることになる。
【００８６】
図１２には、計測ヘッド１０−２の投光部２０が濃淡パターンを含む計測光２２−２をワークＷに照射し、計測ヘッド１０−１の撮像部３０がワークＷからの反射光３２−１を撮像する動作モードを示す。図１２に示す動作モードにおいて、計測ヘッド１０−１の撮像部３０から出力される画像を「画像Ｄ」と称す。
【００８７】
計測ヘッド１０−１の撮像部３０の視野内には、１〜３のワークＷが存在することになり、画像Ｄ（参照符号８３）には、対象物として１〜３のワークＷの像が含まれることになる。但し、１および２のワークＷには、計測ヘッド１０−２からの計測光２２−２が照射されないので、１および２のワークＷは濃淡パターンが投影されていない状態で撮像されることになる。
【００８８】
図１３には、計測ヘッド１０−２の投光部２０が濃淡パターンを含む計測光２２−２をワークＷに照射し、計測ヘッド１０−２の撮像部３０がワークＷからの反射光３２−２を撮像する動作モードを示す。図１３に示す動作モードにおいて、計測ヘッド１０−２の撮像部３０から出力される画像を「画像Ｂ」と称す。
【００８９】
計測ヘッド１０−２の撮像部３０の視野内には、１〜５のワークＷが存在することになるが、１のワークＷは２のワークＷの死角となるため、画像Ｂ（参照符号８４）には、対象物として２〜５のワークＷの像が含まれることになる。
【００９０】
（ｅ３：画像の利用例）
次に、図１０〜図１３に示すような構成例によって撮像された画像Ａ〜Ｄの利用例について説明する。
【００９１】
図１４は、実施の形態１に従う計測システム１の計測範囲の拡大を実現する利用例を説明するための図である。図１４には、計測ヘッド１０−１の投光部２０から計測光２２−１を照射した状態で計測ヘッド１０−１の撮像部３０による撮像された画像Ａ（図１０参照）と、計測ヘッド１０−１の投光部２０から計測光２２−１を照射した状態で計測ヘッド１０−２の撮像部３０による撮像された画像Ｃ（図１１参照）とを用いる処理例を示す。
【００９２】
計測ヘッド１０−１と計測ヘッド１０−２とは予めキャリブレーションされている。キャリブレーションは、計測ヘッド１０−１の照射・撮像範囲と計測ヘッド１０−２の照射・撮像範囲との間の差を予め算出する処理である。キャリブレーションにより決定されるキャリブレーションパラメータは、計測ヘッド１０−１による計測結果と計測ヘッド１０−２による計測結果とを合成するためのオフセットを含む。
【００９３】
このようなキャリブレーションパラメータを参照して、計測ヘッド１０−１の撮像部３０による撮像された画像Ａと、計測ヘッド１０−２の撮像部３０による撮像された画像Ｃとを画像合成することで、一方の計測ヘッド１０から見て死角になっている部分についての情報を取得できる。
【００９４】
図１４に示す例では、画像Ａは１〜３のワークＷの像のみを含み、画像Ｃは２〜５のワークＷの像のみを含むものであり、単独の画像だけでは、すべてのワークＷの三次元計測を実現できない。一方、画像Ａと画像Ｃとを画像合成することで、すべてのワークＷの像を１つの画像に含めることができる。図１４に示す画像合成の処理は、撮像部３０により撮像された画像をそのまま結合する処理となる。重複部分については、両画像の対応する画素値同士を加算処理してもよいし、いずれか一方の画像の画素値を選択処理してもよい。
【００９５】
図１４に示す利用例においては、画像処理コントローラ６０は、ワークＷ（対象物）を示す像のうち、画像Ａに含まれていない像を画像Ｃから抽出して、画像Ａに結合することで、撮像部３０の視野範囲を実質的に拡大する。
【００９６】
なお、処理の実装例においては、画像Ａと画像Ｃとを合成することで得られる合成画像８６に対して、図６に示すようなプリミティブおよびワードの抽出処理を行うことで、すべてのワークＷについての計測結果を出力するようにしてもよい。あるいは、画像Ａおよび画像Ｃのそれぞれに対して、図６に示すようなプリミティブおよびワードの抽出処理を行うことで、それぞれの画像に対応する計測結果を出力し、それぞれの計測結果を合成するようにしてもよい。
【００９７】
図１５は、実施の形態１に従う計測システム１の計測精度の向上を実現する利用例を説明するための図である。図１５には、計測ヘッド１０−１の投光部２０から計測光２２−１を照射した状態で計測ヘッド１０−２の撮像部３０による撮像された画像Ｃ（図１１参照）と、計測ヘッド１０−２の投光部２０から計測光２２−２を照射した状態で計測ヘッド１０−２の撮像部３０による撮像された画像Ｂ（図１３参照）とを用いる処理例を示す。
【００９８】
キャリブレーションパラメータを参照して、計測ヘッド１０−２の撮像部３０による撮像された画像Ｂおよび画像Ｃを画像合成することで、同一の計測ヘッド１０から対象物の三次元計測の精度を向上できる。
【００９９】
図１５に示す例では、画像Ｃは２〜５のワークＷの像のみを含み、画像Ｂは２〜５のワークＷの像のみを含む。画像Ｃにおいて、２〜４のワークＷに対しては十分な濃淡パターンが投影されているが、５のワークＷに対する濃淡パターンの投影量は相対的に少ない。一方、画像Ｂにおいて、４および５のワークＷに対しては十分な濃淡パターンが投影されているが、３のワークＷに対する濃淡パターンの投影量は相対的に少ない。さらに、２のワークＷについては、濃淡パターンが投影されていない。そのため、画像Ｃのみでは、５のワークＷまでの距離あるいは三次元形状を精度良く取得できない。一方、画像Ｂのみでは、２のワークＷまでの距離あるいは三次元形状を取得できない。
【０１００】
そこで、画像Ｃと画像Ｂとを画像合成することで、２〜５のワークＷのすべてについて距離または三次元形状を精度良く計測できる。より具体的には、計測対象のワークＷ毎、あるいは、所定区間毎に、画像Ｃおよび画像Ｂのいずれか一方から対応する部分画像を抽出し、抽出した部分画像を組合せることで、合成画像８７を生成する。すなわち、図１５に示す画像合成の処理において、通常は、重複部分については、いずれか一方の画像の画素値を選択処理されることになる。
【０１０１】
図１５に示す例では、２および３のワークＷの像は画像Ｃから抽出され、４および５のワークＷの像は画像Ｂから抽出される。各ワークＷの像を組合せることで、合成画像８７が生成され、この合成画像８７を用いて三次元計測が実行される。
【０１０２】
なお、処理の実装例においては、画像Ｃと画像Ｂとを合成することで得られる合成画像８７に対して、図６に示すようなプリミティブおよびワードの抽出処理を行うことで、視野に含まれるすべてのワークＷについての計測結果を出力するようにしてもよい。あるいは、画像Ｃおよび画像Ｂのそれぞれに対して、図６に示すようなプリミティブおよびワードの抽出処理を行うことで、それぞれの画像に対応する計測結果を出力し、それぞれの計測結果を合成するようにしてもよい。
【０１０３】
図１５に示す利用例においては、画像処理コントローラ６０は、画像Ｃおよび画像Ｂに含まれるワークＷ（対象物）の共通部分を示す像のうち、より計測に適した像を抽出することで、撮像部３０による計測精度を向上する。
【０１０４】
図１６は、実施の形態１に従う計測システム１の計測範囲の拡大および計測精度の向上を実現する利用例を説明するための図である。図１６には、図１４に示す合成処理によって生成された合成画像８６と、図１５に示す合成処理によって生成された合成画像８７とを用いる処理例を示す。
【０１０５】
図１６に示す例では、合成画像８６は１〜５のワークＷの像を含み、合成画像８７は２〜５のワークＷの像のみを含む。但し、合成画像８６において、１〜４のワークＷに対しては十分な濃淡パターンが投影されているが、５のワークＷに対する濃淡パターンの投影量は相対的に少ない。一方、合成画像８７において、２〜５のワークＷに対しては十分な濃淡パターンが投影されている。
【０１０６】
すなわち、合成画像８６は、十分な視野範囲を有しているが、計測精度が低い領域を含んでおり、合成画像８７は、十分な計測精度を有しているが、十分な計測範囲を有していない。
【０１０７】
そこで、合成画像８６と合成画像８７とを画像合成することで、計測範囲の拡大および計測精度の向上を実現する。より具体的には、計測対象のワークＷ毎、あるいは、所定区間毎に、いずれか一方の合成画像から対応する部分画像を抽出し、抽出した部分画像を組合せることで、合成画像８８を生成する。
【０１０８】
図１６に示す例では、１のワークＷの像は合成画像８６から抽出され、５のワークＷの像は合成画像８７から抽出される。２〜４のワークＷの像は、合成画像８６および合成画像８７のいずれかから抽出される。各ワークＷの像が抽出されることで、合成画像８８が生成され、この合成画像８８を用いて三次元計測が実行される。
【０１０９】
なお、処理の実装例においては、合成画像８６と合成画像８７とを合成することで得られる合成画像４４に対して、図６に示すようなプリミティブおよびワードの抽出処理を行うことで、視野に含まれるすべてのワークＷについての計測結果を出力するようにしてもよい。あるいは、合成画像８６および合成画像８７のそれぞれに対して、図６に示すようなプリミティブおよびワードの抽出処理を行うことで、それぞれの画像に対応する計測結果を出力し、それぞれの計測結果を合成するようにしてもよい。
【０１１０】
図１６に示す利用例においては、画像処理コントローラ６０は、計測ヘッド１０−１の投光部２０からの計測光がワークＷに投影された状態で計測ヘッド１０−１の撮像部３０がワークＷを撮像して得られる画像Ａと、計測ヘッド１０−１の投光部２０からの計測光がワークＷに投影された状態で計測ヘッド１０−２の撮像部３０がワークＷを撮像して得られる画像Ｃと、計測ヘッド１０−２の投光部２０からの計測光がワークＷに投影された状態で計測ヘッド１０−２の撮像部３０がワークＷを撮像して得られる画像Ｂとを用いて、ワークＷの三次元形状を示す計測結果が出力する。このような処理を採用することで、撮像部３０の視野範囲を実質的に拡大できるとともに、撮像部３０による計測精度を向上できる。
【０１１１】
（ｅ４：計測ヘッド間の接続構成）
次に、実施の形態１に従う計測システム１において複数の計測ヘッド１０を連係して動作させるための接続構成の一例について説明する。
【０１１２】
図１７は、実施の形態１に従う計測システム１における計測ヘッド１０間の接続構成例を示す模式図である。図１７を参照して、例えば、計測ヘッド１０−１と計測ヘッド１０−２との間は、通信ライン１４を介して接続されている。計測ヘッド１０−１と計測ヘッド１０−２とは、通信ライン１４を介して同期信号を遣り取りすることで、計測光の照射および撮像を同期して実行する。
【０１１３】
例えば、計測ヘッド１０−１の投光部２０が計測光２２を照射するタイミングに合せて、同期信号を計測ヘッド１０−２へ出力することで、計測ヘッド１０−１の撮像部３０および計測ヘッド１０−２の撮像部３０での撮像を同時またはシーケンシャルに実行できる。同様に、計測ヘッド１０−２の投光部２０が計測光２２を照射するタイミングに合せて、同期信号を計測ヘッド１０−１へ出力することで、計測ヘッド１０−１の撮像部３０および計測ヘッド１０−２の撮像部３０での撮像を同時またはシーケンシャルに実行できる。
【０１１４】
このように、計測ヘッド１０−１と計測ヘッド１０−２との間には、計測ヘッド１０−１の投光部２０から計測光が照射されるタイミングを計測ヘッド１０−２に通知するための通信ライン１４が設けられていてもよい。
【０１１５】
図１８は、実施の形態１に従う計測システム１における計測ヘッド１０間の別の接続構成例を示す模式図である。図１８には、必要に応じて、複数の計測ヘッド１０を利用する場合の接続構成例を示す。例えば、ワークＷの配置状態によっては、単一の計測ヘッド１０を用いれば十分な三次元計測を実現できることもある。このような場合には、複数の計測ヘッド１０を必ずしも用いる必要はない。
【０１１６】
このような処理を採用する場合、例えば、計測ヘッド１０−１により撮像された画像を画像処理コントローラ６０（図２参照）へ送信し、画像処理コントローラ６０が画像処理して得られた計測結果に基づいて、必要に応じて、計測ヘッド１０−２に対して、さらなる撮像指令を与えるようにしてもよい。
【０１１７】
このような接続構成例を採用することで、必要に応じて、計測ヘッド１０−１および計測ヘッド１０−２のうちいずれか一方あるいは両方を適宜用いて、三次元計測を実現できる。
【０１１８】
（ｅ５：計測処理手順（その１））
次に、実施の形態１に従う計測システム１における計測処理手順について説明する。図１９は、実施の形態１に従う計測システム１における計測処理手順を示すフローチャートである。図１９に示す各ステップは、典型的には、画像処理コントローラ６０のプロセッサ２０２が三次元計測プログラム２０６２（図２参照）を実行することで実現される。
【０１１９】
図１９には、計測ヘッド１０−１および計測ヘッド１０−２がそれぞれ計測光２２を照射するとともに、計測光２２の照射毎に計測ヘッド１０−１および計測ヘッド１０−２がそれぞれ撮像を行う例を示す。図１９に示す計測処理が開始される前に、計測ヘッド１０−１と計測ヘッド１０−２が用意される。
【０１２０】
図１９を参照して、画像処理コントローラ６０は、計測開始コマンドを受けると（ステップＳ１００においてＹＥＳ）、計測ヘッド１０−１に対して計測光の照射開始を指示するコマンドを送信する（ステップＳ１０２）とともに、計測ヘッド１０−１および計測ヘッド１０−２に対してそれぞれ撮像を指示するコマンドを送信する（ステップＳ１０４）。画像処理コントローラ６０は、計測ヘッド１０−１および計測ヘッド１０−２のそれぞれから撮像された画像（画像Ａおよび画像Ｃ）を取得する（ステップＳ１０６）。
【０１２１】
すなわち、計測ヘッド１０−１の投光部２０からの計測光がワークＷに投影された状態で計測ヘッド１０−２の撮像部３０がワークＷを撮像して第１の画像を取得する処理が実行される。並行して、計測ヘッド１０−１の投光部２０からの計測光がワークＷに投影された状態で計測ヘッド１０−２の撮像部３０がワークＷを撮像して第２の画像を取得する処理が実行される。
【０１２２】
続いて、画像処理コントローラ６０は、計測ヘッド１０−２に対して計測光の照射開始を指示するコマンドを送信する（ステップＳ１０８）とともに、計測ヘッド１０−１および計測ヘッド１０−２に対してそれぞれ撮像を指示するコマンドを送信する（ステップＳ１１０）。画像処理コントローラ６０は、計測ヘッド１０−１および計測ヘッド１０−２のそれぞれから撮像された画像を取得する（ステップＳ１１２）。
【０１２３】
すなわち、計測ヘッド１０−２の投光部２０からの計測光がワークＷに投影された状態で計測ヘッド１０−２の撮像部３０がワークＷを撮像して第３の画像を取得する処理が実行される。並行して、計測ヘッド１０−２の投光部２０からの計測光がワークＷに投影された状態で計測ヘッド１０−１の撮像部３０がワークＷを撮像して第４の画像を取得する処理が実行される。
【０１２４】
以上の処理により、計測ヘッド１０による計測光の照射および計測光が投影された状態での撮像が完了する。
【０１２５】
続いて、画像処理コントローラ６０は、計測ヘッド１０−１および計測ヘッド１０−２からそれぞれ取得された４種類の画像の一部または全部を用いて、画像合成処理を実行する（ステップＳ１１４）。すなわち、ワークＷの三次元形状を示す計測結果を出力する処理が実行される。ステップＳ１１４における画像合成処理の内容は、予め設定された目的などに応じて決定される。そして、画像処理コントローラ６０は、画像合成処理の結果得られた合成画像に対して三次元計測の処理を実行して計測結果を出力する（ステップＳ１１６）。これにより処理は終了し、次の計測開始コマンドの入力待ち状態となる。
【０１２６】
（ｅ６：計測処理手順（その２））
次に、実施の形態１に従う計測システム１における別の計測処理手順について説明する。図２０は、実施の形態１に従う計測システム１における別の計測処理手順を示すフローチャートである。図２０に示す各ステップは、典型的には、画像処理コントローラ６０のプロセッサ２０２が三次元計測プログラム２０６２（図２参照）を実行することで実現される。
【０１２７】
図２０には、まず、計測ヘッド１０−１を用いて対象物の三次元計測を実行し、その三次元計測の計測結果が十分ではない場合に、計測ヘッド１０−２を用いて、および、計測ヘッド１０−１と計測ヘッド１０−２とを連係させて三次元計測を実行する例を示す。
【０１２８】
図２０に示す計測処理が開始される前に、計測ヘッド１０−１と計測ヘッド１０−２が用意される。このとき、図２０に示す例においては、画像処理コントローラ６０に対象物の形状データが格納されているとする。
【０１２９】
図２０を参照して、画像処理コントローラ６０は、計測開始コマンドを受けると（ステップＳ２００においてＹＥＳ）、計測ヘッド１０−１に対して計測光の照射開始および撮像を指示するコマンドを送信する（ステップＳ２０２）。そして、画像処理コントローラ６０は、計測ヘッド１０−１から撮像された画像を取得し（ステップＳ２０４）、取得された画像に対して三次元計測の処理を実行して計測結果を算出する（ステップＳ２０６）。そして、画像処理コントローラ６０は、算出された三次元計測の計測結果が、予め格納されたいずれかの対象物の形状データと一致するか否かを判断する（ステップＳ２０８）。算出された三次元計測の計測結果が、予め格納されたいずれかの対象物の形状データと一致すれば（ステップＳ２０８においてＹＥＳ）、画像処理コントローラ６０は、ステップＳ２０６において算出された計測結果を最終結果として出力する（ステップＳ２１０）。すなわち、算出された三次元計測の計測結果が、予め格納されたいずれかの対象物の形状データと一致する場合には、単一の計測ヘッド１０により対象物を適切に三次元計測できたことを意味する。そして、今回の計測処理は終了する。
【０１３０】
一方、算出された三次元計測の計測結果が、予め格納されたいずれかの対象物の形状データと一致しなければ（ステップＳ２０８においてＮＯ）、画像処理コントローラ６０は、計測ヘッド１０−２に対して計測光の照射開始および撮像を指示するコマンドを送信する（ステップＳ２１２）。そして、画像処理コントローラ６０は、計測ヘッド１０−２から撮像された画像を取得し（ステップＳ２１４）、取得された画像に対して三次元計測の処理を実行して計測結果を算出する（ステップＳ２１６）。そして、画像処理コントローラ６０は、ステップＳ２１６において算出された三次元計測の計測結果を、先に算出された三次元計測の計測結果に組入れた結果が、予め格納されたいずれかの対象物の形状データと一致するか否かを判断する（ステップＳ２１８）。算出された三次元計測の計測結果が、予め格納されたいずれかの対象物の形状データと一致すれば（ステップＳ２１８においてＹＥＳ）、画像処理コントローラ６０は、ステップＳ２１６において算出された三次元計測の計測結果を、先に算出された三次元計測の計測結果に組入れた結果を最終結果として出力する（ステップＳ２２０）。そして、今回の計測処理は終了する。
【０１３１】
一方、算出された三次元計測の計測結果が、予め格納されたいずれかの対象物の形状データと一致しなければ（ステップＳ２１８においてＮＯ）、画像処理コントローラ６０は、計測ヘッド１０−１に対して計測光の照射開始を指示するコマンドを送信するとともに、計測ヘッド１０−２に対して撮像を指示するコマンドを送信する（ステップＳ２２２）。そして、画像処理コントローラ６０は、計測ヘッド１０−２から撮像された画像を取得し（ステップＳ２２４）、取得された画像に対して三次元計測の処理を実行して計測結果を算出する（ステップＳ２２６）。そして、画像処理コントローラ６０は、ステップＳ２２６において算出された三次元計測の計測結果を、先に算出された三次元計測の計測結果に組入れた結果が、予め格納されたいずれかの対象物の形状データと一致するか否かを判断する（ステップＳ２２８）。算出された三次元計測の計測結果が、予め格納されたいずれかの対象物の形状データと一致すれば（ステップＳ２２８においてＹＥＳ）、画像処理コントローラ６０は、ステップＳ２２６において算出された三次元計測の計測結果を、先に算出された三次元計測の計測結果に組入れた結果を最終結果として出力する（ステップＳ２３０）。そして、今回の計測処理は終了する。
【０１３２】
一方、算出された三次元計測の計測結果が、予め格納されたいずれかの対象物の形状データと一致しなければ（ステップＳ２２８においてＮＯ）、画像処理コントローラ６０は、計測ヘッド１０−２に対して計測光の照射開始を指示するコマンドを送信するとともに、計測ヘッド１０−１に対して撮像を指示するコマンドを送信する（ステップＳ２３２）。そして、画像処理コントローラ６０は、計測ヘッド１０−１から撮像された画像を取得し（ステップＳ２３４）、取得された画像に対して三次元計測の処理を実行して計測結果を算出する（ステップＳ２３６）。そして、画像処理コントローラ６０は、ステップＳ２３６において算出された三次元計測の計測結果を、先に算出された三次元計測の計測結果に組入れた結果が、予め格納されたいずれかの対象物の形状データと一致するか否かを判断する（ステップＳ２３８）。算出された三次元計測の計測結果が、予め格納されたいずれかの対象物の形状データと一致すれば（ステップＳ２３８においてＹＥＳ）、画像処理コントローラ６０は、ステップＳ２３６において算出された三次元計測の計測結果を、先に算出された三次元計測の計測結果に組入れた結果を最終結果として出力する（ステップＳ２４０）。
【０１３３】
最終的に、算出された三次元計測の計測結果が、予め格納されたいずれかの対象物の形状データと一致しなければ（ステップＳ２３８においてＮＯ）、画像処理コントローラ６０は、三次元計測の失敗を最終結果として出力する（ステップＳ２４２）。そして、今回の計測処理は終了する。
【０１３４】
図２０に示される計測処理は、必要に応じて繰返し実行される。例えば、図９に示すように、所定位置に不規則に積み重ねられた複数のワークＷを計測する場合には、同種類のワークが複数存在するため、計測されたワークＷの種類毎の数が予め定められた条件を満たすまで、図２０に示される計測処理が繰返し実行されるようにしてもよい。この場合には、画像処理コントローラ６０は、計測されたワークＷの種類毎の数量データなども管理することになる。
【０１３５】
＜Ｆ．実施の形態２＞
構造化照明の別の一例として、位相シフト法を用いる場合の構成例などについて説明する。上述の空間コード化法においては、照射される濃淡パターンは明るさが２次元で変化するものであるのに対して、位相シフト法においては、照射される濃淡パターンは明るさが１次元で変化するものである。すなわち、計測光の断面は、一方向に明るさが変化するとともに他方向には一様である、２次元の濃淡パターンをもつことになる。
【０１３６】
図２１は、実施の形態２に従う計測システム１において用いられる位相シフト法を説明するための図である。図２１を参照して、投光部２０Ａから濃淡パターンを含む測定光Ｐ’を対象物ＯＢＪに照射するとともに、対象物ＯＢＪに測定光Ｐ’が投影されている状態を撮像部３０Ａにより撮像する。図２１に示す濃淡パターンは、Ｙ方向には一様の濃淡値を有しており、Ｘ方向の濃淡値が変化する。
【０１３７】
撮像部３０Ａにより撮像された画像９０は、Ｘ方向に対象物ＯＢＪの高さ情報（Ｚ方向）を生じ得ることになる。図２１に示す画像９０においては、対象物ＯＢＪの照射面に相当する領域がＸ方向にシフトしており、この画像中のシフト量が対象物ＯＢＪの高さ情報（Ｚ方向の変位）を示すことになる。
【０１３８】
実施の形態２に従う計測システム１は、図２１に示す投光部２０Ａおよび撮像部３０Ａを含む計測ヘッドを複数有している。上述の実施の形態１において説明したように、一方の計測ヘッドの投光部２０Ａから計測光が照射された状態で、当該計測ヘッドの撮像部３０Ａおよび／または計測ヘッドの撮像部３０Ａにより撮像が行われる。例えば、投光部２０Ａおよび撮像部３０Ａを有する計測ヘッドが２つある場合には、最大で４種類の画像を取得でき、これらの４種類の画像を用いて、計測範囲の拡大および／または計測精度の向上を実現する。
【０１３９】
図２２は、実施の形態２に従う計測システム１において用いられるキャリブレーションパラメータを説明するための図である。図２２を参照して、実施の形態２に従う計測システム１において用いられるキャリブレーションパラメータとして、第１の計測ヘッドの撮像部３０Ａおよび第２の計測ヘッドの撮像部３０Ａにそれぞれ関連付けて、第１の計測ヘッドの投光部２０Ａおよび第２の計測ヘッドの投光部２０Ａに対する相対角度が画像処理コントローラ６０において共有されることになる。
【０１４０】
その他の構成および処理については、上述の実施の形態１と同様であるので、詳細な説明は繰返さない。
【０１４１】
＜Ｇ．実施の形態３＞
構造化照明の別の一例として、光切断法を用いる場合の構成例などについて説明する。上述の空間コード化法においては、照射される濃淡パターンは明るさが２次元で変化するものであるのに対して、光切断法においては、線状の光が照射される。
【０１４２】
図２３は、実施の形態３に従う計測システム１において用いられる光切断法を説明するための図である。図２３を参照して、投光部２０Ｂが線状の測定光Ｐ’’を対象物ＯＢＪに照射する位置を順次変化させる（走査する）とともに、対象物ＯＢＪに測定光が投影されている状態を撮像部３０Ｂにより撮像する。測定光Ｐ’’の走査に伴って、撮像部３０Ｂが複数の画像を撮像する。すなわち、計測ヘッド１０の投光部２０は、計測光として線状の光を照射するとともに、照射位置を時間的に変化させる。
【０１４３】
撮像部３０Ｂにより撮像された複数の画像９２（典型的には、３０枚程度）は、Ｘ方向に対象物ＯＢＪの高さ情報（Ｚ方向）を生じ得ることになる。図２３に示す画像９２においては、対象物ＯＢＪの照射面に相当する領域がＸ方向にシフトしており、この画像中のシフト量が対象物ＯＢＪの高さ情報（Ｚ方向の変位）を示すことになる。
【０１４４】
実施の形態３に従う計測システム１は、図２３に示す投光部２０Ｂおよび撮像部３０Ｂを含む計測ヘッドを複数有している。上述の実施の形態１において説明したように、一方の計測ヘッドの投光部２０Ｂから計測光が照射された状態で、当該計測ヘッドの撮像部３０Ｂおよび／または計測ヘッドの撮像部３０Ｂにより撮像が行われる。例えば、投光部２０Ｂおよび撮像部３０Ｂを有する計測ヘッドが２つある場合には、最大で４種類の画像を取得でき、これらの４種類の画像群を用いて、計測範囲の拡大および／または計測精度の向上を実現する。
【０１４５】
実施の形態３に従う計測システム１において用いられるキャリブレーションパラメータとして、上述の実施の形態２と同様に、第１の計測ヘッドの撮像部３０Ｂおよび第２の計測ヘッドの撮像部３０Ｂにそれぞれ関連付けて、第１の計測ヘッドの投光部２０Ｂおよび第２の計測ヘッドの投光部２０Ｂに対する相対角度が画像処理コントローラ６０において共有されることになる。
【０１４６】
なお、画像処理コントローラ６０は、投光部２０Ｂが測定光を照射する位置（角度）と撮像部３０Ｂによる撮像タイミングとの関係を予め管理しており、撮像された画像群をこの管理された対応関係に基づいて画像合成する。
【０１４７】
その他の構成および処理については、上述の実施の形態１および実施の形態２と同様であるので、詳細な説明は繰返さない。
【０１４８】
＜Ｈ．変形例＞
（ｈ１：計測光）
上述の実施の形態１〜３においては、構造化照明の典型例として、空間コード化法、位相シフト法、光切断法を例示したが、これに限らず任意の構造化照明を採用できる。さらに、構造化照明というカテゴリに限定されることなく、投光部および撮像部の組を有する計測ヘッド（あるいは、それに類する構成）を用いて、投光部と撮像部との任意の組合せにより撮像される画像を用いる構成であれば、どのような構成を採用してもよい。
【０１４９】
上述の実施の形態１〜３においては、複数の計測ヘッドにより撮像された画像を画像処理コントローラ６０が収集して処理する構成について例示したが、これに限らず、いずれかの計測ヘッドに画像処理機能を実装してもよい。さらに、画像処理コントローラ６０をクラウドと称されるようなネットワーク上の機能として実装してもよい。
【０１５０】
（ｈ２：同期信号）
上述の図２に開示される計測システム１においては、計測ヘッド１０−１と計測ヘッド１０−２との間は、通信ライン１４を介して同期信号を遣り取りすることで、計測光の照射および撮像を同期する構成について例示した。これに限らず、別の主体が計測ヘッド１０−１および計測ヘッド１０−２における計測光の照射および撮像のタイミングを制御するようにしてもよい。
【０１５１】
図２４は、本実施の形態に従う計測システム１の別の構成例を示す模式図である。図２４に示す計測システム１においては、画像処理コントローラ６０と、計測ヘッド１０−１および計測ヘッド１０−２との間は、通信ライン１５で通信可能になっている。このように、画像処理コントローラ６０から計測ヘッド１０−１および計測ヘッド１０−２に対して、各計測ヘッド１０の投光部２０から計測光が照射されるタイミングを通知するための通信ライン１５が設けられている。
【０１５２】
画像処理コントローラ６０は、通信ライン１５を介して、計測ヘッド１０−１および計測ヘッド１０−２の一方に計測光の照射を指示するとともに、この計測光の照射の指示に連係して、計測ヘッド１０−１および／または計測ヘッド１０−２に撮像の指示を与える。このように、通信ライン１５は、計測ヘッド１０−１および計測ヘッド１０−２における計測光の照射および／または撮像のタイミングを制御するための指令が伝送される。このような構成を採用することで、計測ヘッド１０−１および計測ヘッド１０−２を連係させて、計測範囲の拡大および／または計測精度を実現できる。
【０１５３】
（ｈ３：計測ヘッドのレイアウト）
上述の実施の形態においては、主として、２つの計測ヘッド１０を用いる構成について例示したが、３つ以上の計測ヘッド１０を用いた計測システムを構成してもよい。また、計測ヘッド１０の配置についてもアプリケーションに応じた配置を採用できる。
【０１５４】
図２５は、本実施の形態に従う計測システム１における計測ヘッド１０のレイアウト例を示す模式図である。図２５（Ａ）および図２５（Ｂ）には、２つの計測ヘッド１０を用いる構成例を示す。
【０１５５】
図２５において、計測ヘッド１０の投光部２０と撮像部３０との並び方向をＸ方向と規定し、Ｘ方向と直交する方向をＹ方向と規定する。このとき、Ｚ方向は、投光部２０および撮像部３０の光軸方向を示す。
【０１５６】
図２５（Ａ）には、２つの計測ヘッド１０−１および計測ヘッド１０−２を、投光部２０と撮像部３０との並び方向（Ｘ方向）に沿って配置した例を示す。図２５（Ｂ）には、２つの計測ヘッド１０−１および計測ヘッド１０−２を、投光部２０と撮像部３０との並び方向（Ｘ方向）とは直交する方向（Ｙ方向）に沿って配置した例を示す。
【０１５７】
なお、図２５（Ａ）および図２５（Ｂ）に示すレイアウトに限らず、アプリケーションに応じて任意のレイアウトを採用できる。
【０１５８】
図２５（Ｃ）には、３つの計測ヘッド１０−１、計測ヘッド１０−２および計測ヘッド１０−３からなる計測システムの例を示す。図２５（Ｃ）には、計測ヘッド１０−１および計測ヘッド１０−２をＸ方向に並べて配置するとともに、計測ヘッド１０−３をＹ方向にシフトさせた位置に配置した例を示す。図２５（Ｃ）にレイアウトに限らず、３つ以上の計測ヘッド１０を採用した場合には、アプリケーションに応じた任意のレイアウトを採用できる。
【０１５９】
いずれの場合においても、各計測ヘッド１０の投光部２０および撮像部３０の端面は、Ｚ方向において揃っていることが好ましい。
【０１６０】
＜Ｉ．付記＞
上述したような本実施の形態は、以下のような技術思想を含む。
［構成１］
画像処理コントローラ（６０）と、
前記画像処理コントローラに接続された第１および第２の計測ヘッド（１０−１，１０−２）とを備え、
前記第１および第２の計測ヘッドの各々は、対象物（Ｗ）に計測光を照射する投光部（２０）と、当該計測光が投影された状態で当該対象物を撮像する撮像部（３０）とを含み、
前記画像処理コントローラは、
前記第１の計測ヘッドの投光部からの計測光（２２−１）が前記対象物に投影された状態で前記第１の計測ヘッドの撮像部が前記対象物を撮像して得られる第１の画像（６１）と、
前記第１の計測ヘッドの投光部からの計測光（２２−１）が前記対象物に投影された状態で前記第２の計測ヘッドの撮像部が前記対象物を撮像して得られる第２の画像（６２）と、前記第２の計測ヘッドの投光部からの計測光（２２−２）が前記対象物に投影された状態で前記第１の計測ヘッドの撮像部が前記対象物を撮像して得られる第３の画像（６３）とのうち少なくとも一方と、を用いて前記対象物の三次元形状を示す計測結果（６６）を出力する。
［構成２］
前記画像処理コントローラは、前記対象物を示す像のうち、前記第１の画像（８１）に含まれていない像を前記第２の画像（８２）から抽出して、前記第１の画像に結合する、構成１に記載の計測システム。
［構成３］
前記画像処理コントローラは、前記第１の画像（８４）および前記第３の画像（８２）に含まれる前記対象物の共通部分を示す像のうち、より計測に適した像を抽出する、構成１に記載の計測システム。
［構成４］
前記画像処理コントローラは、前記第２の計測ヘッド（１０−２）の投光部（２０）からの計測光（２２−２）が前記対象物に投影された状態で前記第２の計測ヘッド（１０−２）の撮像部（３０）が前記対象物を撮像して得られる第４の画像をさらに用いて、前記対象物の三次元形状を示す計測結果を出力する、構成１〜３のいずれか１項に記載の計測システム。
［構成５］
前記第１の計測ヘッドと前記第２の計測ヘッドとの間には、前記第１の計測ヘッドの投光部から計測光（２２−１）が照射されるタイミングを前記第２の計測ヘッドに通知するための通信ライン（１４）が設けられている、構成１〜４のいずれか１項に記載の計測システム。
［構成６］
前記画像処理コントローラから前記第１の計測ヘッドおよび前記第２の計測ヘッドに対して、各計測ヘッドの投光部から計測光が照射されるタイミングを通知するための通信ライン（１５）が設けられている、構成１〜４のいずれか１項に記載の計測システム。
［構成７］
前記第１および第２の計測ヘッドの投光部は、構造化照明に従う計測光を照射する、構成１〜６のいずれか１項に記載の計測システム。
［構成８］
前記計測光の断面は、予め定められた２次元の濃淡パターン（Ｐ）をもつ、構成１〜７のいずれか１項に記載の計測システム。
［構成９］
前記計測光の断面（Ｐ’）は、一方向に明るさが変化するとともに他方向には一様である、２次元の濃淡パターンをもつ、構成１〜７のいずれか１項に記載の計測システム。
［構成１０］
前記投光部は、前記計測光として線状の光を照射するとともに、照射位置を時間的に変化させる、構成１〜７のいずれか１項に記載の計測システム。
［構成１１］
第１および第２の計測ヘッド（１０−１，１０−２）を用意するステップを備え、前記第１および第２の計測ヘッドの各々は、対象物（Ｗ）に計測光を照射する投光部（２０）と、当該計測光が投影された状態で当該対象物を撮像する撮像部（３０）とを含み、
前記第１の計測ヘッドの投光部からの計測光が前記対象物に投影された状態で前記第１の計測ヘッドの撮像部が前記対象物を撮像して第１の画像を取得するステップ（Ｓ１０２，Ｓ１０４，Ｓ１０６）と、
前記第１の計測ヘッドの投光部からの計測光が前記対象物に投影された状態で前記第２の計測ヘッドの撮像部が前記対象物を撮像して第２の画像を取得するステップ（Ｓ１０２，Ｓ１０４，Ｓ１０６）と、
前記第２の計測ヘッドの投光部からの計測光が前記対象物に投影された状態で前記第１の計測ヘッドの撮像部が前記対象物を撮像して第３の画像を取得するステップ（Ｓ１１０，Ｓ１０８，Ｓ１１２）と、
前記第１の画像と、前記第２の画像および前記第３の画像のうち少なくとも一方とを用いて、前記対象物の三次元形状を示す計測結果を出力するステップ（Ｓ１１４）とを備える、計測方法。
【０１６１】
＜Ｊ．利点＞
本実施の形態に従う計測システム１は、対象物に計測光を照射する投光部と、当該計測光が投影された状態で当該対象物を撮像する撮像部とを含む計測ヘッドを複数用いることで、容易に、計測範囲の拡大および／または計測精度の向上を実現できる。
【０１６２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１６３】
１  計測システム、１０，１０−１，１０−２  計測ヘッド、１２，１４，１５  通信ライン、２０，２０Ａ，２０Ｂ  投光部、２２，２２−１，２２−２  計測光、３０，３０Ａ，３０Ｂ  撮像部、３２，３２−１，３２−２  反射光、４０  外部電源、４４，８６，８７，８８  合成画像、５０  ハブ、６０  画像処理コントローラ、６１  第１の画像、６２  第２の画像、６３  第３の画像、６４  三次元形状計測処理、６６  計測結果、７０  上位コントローラ、８１，８２，８３，８４，９０，９２  画像、１００  処理部、１１０  設定部、１１２，１１６  記憶部、１１４，２１０  表示部、１１８，２１６  上位インターフェイス部、１２０  同期インターフェイス部、２０２  プロセッサ、２０４  メインメモリ、２０６  ストレージ、２０８  入力部、２１２  光学ドライブ、２１５  記録媒体、２１４  下位インターフェイス部、２１８  プロセッサバス、２０６０  ＯＳ、２０６２  三次元計測プログラム、ＯＢＪ  対象物、Ｗ  ワーク。
【図１】
2019215181.tif 000003
【図２】
2019215181.tif 000004
【図３】
2019215181.tif 000005
【図４】
2019215181.tif 000006
【図５】
2019215181.tif 000007
【図６】
2019215181.tif 000008
【図７】
2019215181.tif 000009
【図８】
2019215181.tif 000010
【図９】
2019215181.tif 000011
【図１０】
2019215181.tif 000012
【図１１】
2019215181.tif 000013
【図１２】
2019215181.tif 000014
【図１３】
2019215181.tif 000015
【図１４】
2019215181.tif 000016
【図１５】
2019215181.tif 000017
【図１６】
2019215181.tif 000018
【図１７】
2019215181.tif 000019
【図１８】
2019215181.tif 000020
【図１９】
2019215181.tif 000021
【図２０】
2019215181.tif 000022
【図２１】
2019215181.tif 000023
【図２２】
2019215181.tif 000024
【図２３】
2019215181.tif 000025
【図２４】
2019215181.tif 000026
【図２５】
2019215181.tif 000027