(57)【要約】【課題】投影デバイスに制約がある場合にも適用可能で、しかも測定に要する時間の長時間化を回避しながら、多重反射による悪影響を排除する。【解決手段】第１のパターン光により生成された第１パターン画像に基づいて測定対象物の第１高さデータを測定し、第２のパターン光により生成された第２パターン画像に基づいて測定対象物の第１高さデータを測定し、第１高さデータと第２高さデータを合成して合成高さデータを生成する。測定対象物上の同一位置において第１高さデータと第２高さデータとが異なる場合に、低いデータを当該位置の合成高さデータとする。【選択図】図２４
2020159967.tif 000002
【特許請求の範囲】
【請求項１】
第１の光源と、第２の光源と、前記第１の光源からの照射光を受け、測定対象物に周期的な第１のパターン光を照射する第１のパターン生成部と、前記第２の光源からの照射光を受け、前記第１のパターン生成部とは異なる方向から測定対象物に周期的な第２のパターン光を照射する第２のパターン生成部とを含む第１のパターン光照射部と、
前記第１のパターン生成部及び前記第２のパターン生成部を制御し、前記第１のパターン光及び前記第２のパターン光の位相を順次シフトさせる照明制御部と、
測定対象物から反射した前記第１のパターン光を受光して複数の第１パターン画像を生成するとともに、測定対象物から反射した前記第２のパターン光を受光して複数の第２パターン画像を生成する撮像部と、
複数の前記第１パターン画像に基づいて測定対象物の第１高さデータを測定し、複数の前記第２パターン画像に基づいて測定対象物の第２高さデータを測定し、前記第１高さデータと前記第２高さデータを合成して合成高さデータを生成するように構成され、測定対象物上の同一位置において前記第１高さデータと前記第２高さデータとが異なるデータ相違状態の場合に、前記第１高さデータと前記第２高さデータの中で低い高さを示すデータを当該位置の合成高さデータとする測定部とを備えていることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記第１のパターン光照射部とは異なる方向からパターン光を照射する複数の光源及びパターン生成部を含む第２のパターン光照射部を備え、
前記照明制御部は、前記第２のパターン光照射部の前記パターン生成部を制御し、当該パターン生成部のパターンの位相を順次シフトさせるように構成され、
前記撮像部は、測定対象物から反射した前記第２のパターン光照射部によるパターン光を受光して複数のパターン画像を生成するように構成され、
前記測定部は、前記第１のパターン光照射部に基づく高さデータの中で低い高さを示すデータを合成高さデータとし、前記第２のパターン光照射部に基づく高さデータの中で低い高さを示すデータを当該位置の合成高さデータとし、前記第１のパターン光照射部に基づく合成高さデータの信頼度と、前記第２のパターン光照射部に基づく合成高さデータの信頼度とを算出し、当該信頼度の高い方の合成高さデータを出力データとするように構成されていることを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
第３の光源と、
前記第３の光源からの照射光を受け、前記第１のパターン生成部及び前記第２のパターン生成部とは異なる方向から測定対象物に周期的な第３のパターン光を照射する第３のパターン生成部とを備え、
前記照明制御部は、前記第３のパターン生成部を制御し、前記第３のパターン光の位相を順次シフトさせるように構成され、
前記撮像部は、測定対象物から反射した前記第３のパターン光を受光して複数の第３パターン画像を生成するように構成され、
前記測定部は、複数の前記第３パターン画像に基づいて測定対象物の第３高さデータを測定し、前記第１高さデータと前記第２高さデータと前記第３高さデータを合成して合成高さデータを生成するように構成され、前記データ相違状態の場合に、前記第１高さデータと前記第２高さデータと前記第３高さデータとに基づいて前記合成高さデータの信頼度を算出し、当該信頼度が第１の所定信頼度よりも低い場合に、前記第１高さデータと前記第２高さデータと前記第３高さデータとの中で低い高さを示すデータを当該位置の合成高さデータとするように構成されていることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記測定部は、前記第１高さデータと前記第２高さデータと前記第３高さデータの平均値を算出し、当該平均値と、前記低い高さを示すデータとの差が小さければ小さいほど前記信頼度が高いと判定するように構成されていることを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記測定部は、前記信頼度が前記第１の所定信頼度以上の場合に、前記第１高さデータと前記第２高さデータと前記第３高さデータを合成した合成高さデータを測定結果とするように構成されていることを特徴とする画像処理装置。
【請求項６】
請求項３に記載の画像処理装置において、
前記測定部は、前記第１高さデータと前記第２高さデータと前記第３高さデータの中央値を算出し、当該中央値と、前記低い高さを示すデータとの差が小さければ小さいほど前記信頼度が高いと判定するように構成されていることを特徴とする画像処理装置。
【請求項７】
請求項３から６のいずれか１つに記載の画像処理装置において、
前記測定部は、前記信頼度が第２の所定信頼度よりも低いデータを欠損データとするように構成されていることを特徴とする画像処理装置。
【請求項８】
請求項３から７のいずれか１つに記載の画像処理装置において、
第４の光源と、
前記第４の光源からの照射光を受け、前記第１のパターン生成部、前記第２のパターン生成部及び前記第３のパターン生成部とは異なる方向から測定対象物に周期的な第４のパターン光を照射する第４のパターン生成部とを備え、
前記照明制御部は、前記第４のパターン生成部を制御し、前記第４のパターン光の位相を順次シフトさせるように構成され、
前記撮像部は、測定対象物から反射した前記第４のパターン光を受光して複数の第４パターン画像を生成するように構成され、
前記第１の光源及び前記第２の光源は、中心に開口部が形成された照明ハウジング内において前記開口部の中心を対称の中心として互いに点対称に設けられ、
前記第３の光源及び前記第４の光源は、前記照明ハウジング内において前記第１の光源及び前記第２の光源から前記開口部の周方向に離れるとともに前記開口部の中心を対称の中心として互いに点対称に設けられ、
前記測定部は、複数の前記第４パターン画像に基づいて測定対象物の第４高さデータを測定し、前記第１高さデータと前記第２高さデータと前記第３高さデータと前記第４高さデータを合成して合成高さデータを生成するように構成され、前記データ相違状態の場合に、前記第１高さデータと前記第２高さデータとに基づいて前記合成高さデータの第１信頼度を算出し、前記第３高さデータと前記第４高さデータとに基づいて前記合成高さデータの第２信頼度を算出し、前記第１信頼度と前記第２信頼度のうち、高い方の高さデータを当該位置の合成高さデータとするように構成されていることを特徴とする画像処理装置。
【請求項９】
請求項１に記載の画像処理装置において、
第３の光源と、
前記第３の光源からの照射光を受け、前記第１のパターン生成部及び前記第２のパターン生成部とは異なる方向から測定対象物に周期的な第３のパターン光を照射する第３のパターン生成部とを備え、
前記照明制御部は、前記第３のパターン生成部を制御し、前記第３のパターン光の位相を順次シフトさせるように構成され、
前記撮像部は、測定対象物から反射した前記第３のパターン光を受光して複数の第３パターン画像を生成するように構成され、
前記測定部は、複数の前記第３パターン画像に基づいて測定対象物の第３高さデータを測定し、前記第１高さデータと前記第２高さデータと前記第３高さデータを合成して合成高さデータを生成するように構成され、前記第１高さデータと前記第２高さデータと前記第３高さデータのうち、有効データが所定数以下である場合には、当該位置の高さデータを欠損データとするように構成されていることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、測定対象物を照明する照明部と測定対象物から反射した光を受光する撮像部とを備えた画像処理装置に関し、特に測定対象物の三次元形状を取得可能な構造の技術分野に属する。
【背景技術】
【０００２】
従来より、この種の画像処理装置として、位置により異なる光強度分布を有するパターン光を測定対象物に投影して測定対象物から反射した光を受光し、受光量に基づいて得られた高さ情報を利用して測定対象物の三次元形状を取得する、いわゆるパターン投影法が知られている。パターン投影法としては、照度分布を例えば正弦波状に変動させたパターン光を、位相を変えて複数回投影してその都度撮像する位相シフト法等がある。
【０００３】
特許文献１には、パターン光を生成して投影する照明装置として、光源と、光源から出射された光を集光する集光レンズと、集光レンズによって集束された光が入射する液晶パネルとを備え、液晶パネルに形成されたパターンを測定対象物に投影するように構成されたものが開示されている。
【０００４】
パターン投影法の場合、特に、撮像装置から見て直立した測定対象物の側面は、鏡面反射の影響で測定結果が不正となり、有効な結果と不正な結果が混在することで、後処理に悪影響を及ぼしてしまう。すなわち、測定対象物の側面で鏡面反射が生じる結果、本来得られるべき投影パターンとは異なる投影パターンが観測されて、三角測量による高さ計算が不正な結果となるためである。このような多重反射が発生する箇所では、パターン投影法の原理上、不正な測定結果が生じてしまうという問題があった。
【０００５】
特許文献２には、多重反射による悪影響を排除するために、第１投影パターンと、第１投影パターンとは縞の方向が異なる第２投影パターンとを生成して測定対象物に順次投影し、第１投影パターンに基づいて生成された距離画像と、第２投影パターンに基づき生成された距離画像とで、検査対象物の対応する部位の高さ情報を比較して、所定値以上の差が生じている部位の高さ情報を不正と判定する判断手法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４０１１５６１号公報
【特許文献２】特許第６１８４２８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところが、パターン光を投影する投影デバイスの制約上、特許文献２のような第１投影パターン及び第２投影パターンを投影することができない場合がある。すなわち、例えば複数の光源を特定の方向に列状に並べて配設した投影デバイスの場合には、光源が並ぶ方向にしか照度変化を持たせることができないので、特定の一次元方向に変化するパターン光しか生成できない。このほかにも、多数のスリットを特定の方向に列状に並べて形成した投影デバイスがあるが、このものも、スリットが並ぶ方向にしか照度変化を持たせることができないので、特定の一次元方向に変化するパターン光しか生成できない。
【０００８】
このような投影デバイスでは、特許文献２のような判断手法を採用することができないので、多重反射による悪影響を排除するのが困難である。
【０００９】
また、特許文献２では、投影パターンを増やす必要があるので、撮像回数が増加して測定に要する時間が長時間化することも考えられる。
【００１０】
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、投影デバイスに制約がある場合にも適用可能で、しかも測定に要する時間の長時間化を回避しながら、多重反射による悪影響を排除することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、第１の発明は、第１の光源と、第２の光源と、前記第１の光源からの照射光を受け、測定対象物に周期的な第１のパターン光を照射する第１のパターン生成部と、前記第２の光源からの照射光を受け、前記第１のパターン生成部とは異なる方向から測定対象物に周期的な第２のパターン光を照射する第２のパターン生成部と、前記第１のパターン生成部及び前記第２のパターン生成部を制御し、前記第１のパターン光及び前記第２のパターン光の位相を順次シフトさせる照明制御部と、測定対象物から反射した前記第１のパターン光を受光して複数の第１パターン画像を生成するとともに、測定対象物から反射した前記第２のパターン光を受光して複数の第２パターン画像を生成する撮像部と、複数の前記第１パターン画像に基づいて測定対象物の第１高さデータを測定し、複数の前記第２パターン画像に基づいて測定対象物の第２高さデータを測定し、前記第１高さデータと前記第２高さデータを合成して合成高さデータを生成するように構成され、測定対象物上の同一位置において前記第１高さデータと前記第２高さデータとが異なるデータ相違状態の場合に、前記第１高さデータと前記第２高さデータの中で低い高さを示すデータを当該位置の合成高さデータとする測定部とを備えていることを特徴とする。
【００１２】
この構成によれば、第１のパターン光が測定対象物に照射されると、測定対象物から反射した第１のパターン光を撮像部が受光して複数の第１パターン画像が生成される。また、第２のパターン光が第１のパターン光とは異なる方向から測定対象物に照射されると、測定対象物から反射した第２のパターン光を撮像部が受光して複数の第２パターン画像が生成される。測定部は、第１パターン画像に基づいて測定対象物の第１高さデータを測定し、第２パターン画像に基づいて測定対象物の第２高さデータを測定し、第１高さデータと第２高さデータを合成して合成高さデータを生成する。このとき、測定対象物上の同一位置において第１高さデータと第２高さデータとが大きく異なるか否かを判定し、大きく異なる場合には、第１高さデータと第２高さデータの中で低い高さを示すデータを当該位置の合成高さデータとする。
【００１３】
すなわち、多重反射による悪影響は、測定部位の近傍に壁面がある場合や、測定部位が光の届きにくい奥まった箇所の場合、測定部位が直接投光の遮られる穴内部にある場合等で多く発生するが、これらを発生させる面の傾きは一般的に９０°近くに偏在している。高さ画像上で多重反射が発生する面は０°〜４５°の範囲に偏在している（例えば、平面部・Ｃ面部など)。これは、平面視では、９０°に近い深い面はほぼ見えないため計測できず、浅い面が大きく見えるためである。一般的な工業製品の多くが、このような面角度に偏在している。
【００１４】
そして、これらの場合、＋方向の誤り高さを与える投光が多重反射で混じって測定されるので、測定結果が実際の高さよりも高い方向に誤ることが多い。本発明では、測定対象物上の同一位置において高さデータが異なる場合には、低いデータを採用して合成高さデータとするので、上述した特許文献２のような判断手法を用いることなく、一般的な工業製品の測定を行う多くの場合に多重反射による悪影響が排除される。
【００１５】
第２の発明は、前記第１のパターン光照射部とは異なる複数の光源及びパターン生成部を含む第２のパターン光照射部を備え、前記照明制御部は、前記第２のパターン光照射部の前記パターン生成部を制御し、当該パターン生成部のパターンの位相を順次シフトさせるように構成され、前記撮像部は、測定対象物から反射した前記第２のパターン光照射部によるパターン光を受光して複数のパターン画像を生成するように構成され、前記測定部は、前記第１のパターン光照射部に基づく高さデータの中で低い高さを示すデータを合成高さデータとし、前記第２のパターン光照射部に基づく高さデータの中で低い高さを示すデータを当該位置の合成高さデータとし、前記第１のパターン光照射部に基づく合成高さデータの信頼度と、前記第２のパターン光照射部に基づく合成高さデータの信頼度とを算出し、当該信頼度の高い方の合成高さデータを出力データとするように構成されていることを特徴とする。
【００１６】
この構成によれば、第１のパターン光照射部と、これとは異なる複数の光源及びパターン生成部を含む第２のパターン光照射部とが画像処理装置に設けられることになる。第１のパターン光照射部を構成する光源の数は、第１光源と第２光源の２つに限定されるものではなく、例えば４つであってもよい。第２のパターン光照射部も同様である。
【００１７】
測定部は、第１のパターン光照射部に基づく高さデータの中で低い高さを示すデータを合成高さデータとし、また、第２のパターン光照射部に基づく高さデータの中で低い高さを示すデータを合成高さデータとする。さらに、測定部は、第１のパターン光照射部に基づく合成高さデータの信頼度と、第２のパターン光照射部に基づく合成高さデータの信頼度とを算出する。第１のパターン光照射部のパターン光の照射方向と、第２のパターン光照射部のパターン光の照射方向とは互いに異なっているので、信頼度が異なっていることがあり、この場合、信頼度の高い方の合成高さデータを出力データとする。これにより、例えば、ハレーション（正反射）の悪影響に対する耐性が向上する。
【００１８】
第３の発明は、第３の光源と、前記第３の光源からの照射光を受け、前記第１のパターン生成部及び前記第２のパターン生成部とは異なる方向から測定対象物に周期的な第３のパターン光を照射する第３のパターン生成部とを備え、前記照明制御部は、前記第３のパターン生成部を制御し、前記第３のパターン光の位相を順次シフトさせるように構成され、前記撮像部は、測定対象物から反射した前記第３のパターン光を受光して複数の第３パターン画像を生成するように構成され、前記測定部は、複数の前記第３パターン画像に基づいて測定対象物の第３高さデータを測定し、前記第１高さデータと前記第２高さデータと前記第３高さデータを合成して合成高さデータを生成するように構成され、前記データ相違状態の場合に、前記第１高さデータと前記第２高さデータと前記第３高さデータとに基づいて前記合成高さデータの信頼度を算出し、当該信頼度が第１の所定信頼度よりも低い場合に、前記第１高さデータと前記第２高さデータと前記第３高さデータとの中で低い高さを示すデータを当該位置の合成高さデータとするように構成されていることを特徴とする。
【００１９】
この構成によれば、互いに異なる方向から照射されたパターン光に基づいて生成された第１高さデータと第２高さデータと第３高さデータを合成して合成高さデータを生成することができる。データ相違状態の場合には、合成高さデータの信頼度が算出される。算出された信頼度が所定の信頼度よりも低い場合には、多重反射の悪影響が強いと考えられるので、この悪影響を排除可能な低い高さを示すデータを合成高さデータとすることができる。
【００２０】
第４の発明は、前記測定部は、前記第１高さデータと前記第２高さデータと前記第３高さデータの平均値を算出し、当該平均値と、前記低い高さを示すデータとの差が小さければ小さいほど前記信頼度が高いと判定するように構成されていることを特徴とする。
【００２１】
すなわち、高さデータの平均値と、低い高さを示すデータとの差が小さいということは、高さデータのばらつきが小さく、多重反射の悪影響が弱いと考えられる。この場合は、第１高さデータと第２高さデータと第３高さデータを合成して得られた合成高さデータの信頼度が高いと判断できる。
【００２２】
第５の発明は、前記測定部は、前記信頼度が前記第１の所定信頼度以上の場合に、前記第１高さデータと前記第２高さデータと前記第３高さデータを合成した合成高さデータを測定結果とするように構成されていることを特徴とする。
【００２３】
この構成によれば、第１高さデータと第２高さデータと第３高さデータを合成して得られた合成高さデータの信頼度が高いということは、多重反射の悪影響が弱いと考えられるので、低い高さを示すデータを測定結果とすることなく、第１高さデータと第２高さデータと第３高さデータを合成して得られた合成高さデータを測定結果とすることができる。
【００２４】
第６の発明は、前記測定部は、前記第１高さデータと前記第２高さデータと前記第３高さデータの中央値を算出し、当該中央値と、前記低い高さを示すデータとの差が小さければ小さいほど前記信頼度が高いと判定するように構成されていることを特徴とする。
【００２５】
すなわち、高さデータの中央値と、低い高さを示すデータとの差が小さいということは、高さデータのばらつきが小さく、多重反射の悪影響が弱いと考えられる。この場合は、第１高さデータと第２高さデータと第３高さデータを合成して得られた合成高さデータの信頼度が高いと判断できる。
【００２６】
第７の発明は、前記測定部は、前記信頼度が第２の所定信頼度よりも低いデータを欠損データとするように構成されていることを特徴とする。
【００２７】
この構成によれば、信頼度が低いデータが欠損データになるので、後処理において信頼度が低いデータがそのまま使用されてしまうのを回避することができる。
【００２８】
第８の発明は、第４の光源と、前記第４の光源からの照射光を受け、前記第１のパターン生成部、前記第２のパターン生成部及び前記第３のパターン生成部とは異なる方向から測定対象物に周期的な第４のパターン光を照射する第４のパターン生成部とを備え、前記照明制御部は、前記第４のパターン生成部を制御し、前記第４のパターン光の位相を順次シフトさせるように構成され、前記撮像部は、測定対象物から反射した前記第４のパターン光を受光して複数の第４パターン画像を生成するように構成され、前記第１の光源及び前記第２の光源は、中心に開口部が形成された照明ハウジング内において前記開口部の中心を対称の中心として互いに点対称に設けられ、前記第３の光源及び前記第４の光源は、前記照明ハウジング内において前記第１の光源及び前記第２の光源から前記開口部の周方向に離れるとともに前記開口部の中心を対称の中心として互いに点対称に設けられ、前記測定部は、複数の前記第４パターン画像に基づいて測定対象物の第４高さデータを測定し、前記第１高さデータと前記第２高さデータと前記第３高さデータと前記第４高さデータを合成して合成高さデータを生成するように構成され、前記データ相違状態の場合に、前記第１高さデータと前記第２高さデータとに基づいて前記合成高さデータの第１信頼度を算出し、前記第３高さデータと前記第４高さデータとに基づいて前記合成高さデータの第２信頼度を算出し、前記第１信頼度と前記第２信頼度のうち、高い方の高さデータを当該位置の合成高さデータとするように構成されていることを特徴とする。
【００２９】
この構成によれば、第１のパターン生成部と第２のパターン生成部とがペアになり、また、第３のパターン生成部と第４のパターン生成部とがペアになる。第１高さデータと第２高さデータとに基づいて合成高さデータの第１信頼度が算出され、第３高さデータと第４高さデータとに基づいて合成高さデータの第２信頼度が算出される。信頼度の高いペアで得られた高さデータを当該位置の合成高さデータとすることができる。
【００３０】
第９の発明は、第３の光源と、前記第３の光源からの照射光を受け、前記第１のパターン生成部及び前記第２のパターン生成部とは異なる方向から測定対象物に周期的な第３のパターン光を照射する第３のパターン生成部とを備え、前記照明制御部は、前記第３のパターン生成部を制御し、前記第３のパターン光の位相を順次シフトさせるように構成され、前記撮像部は、測定対象物から反射した前記第３のパターン光を受光して複数の第３パターン画像を生成するように構成され、前記測定部は、複数の前記第３パターン画像に基づいて測定対象物の第３高さデータを測定し、前記第１高さデータと前記第２高さデータと前記第３高さデータを合成して合成高さデータを生成するように構成され、前記第１高さデータと前記第２高さデータと前記第３高さデータのうち、有効データが所定数以下である場合には、当該位置の高さデータを欠損データとするように構成されていることを特徴とする。
【００３１】
この構成によれば、第１高さデータ、第２高さデータ及び第３高さデータのうち、例えば高さを得るのに有効なデータが２つ以下のように少ない場合には、当該位置の高さデータの信頼性が低い可能性が高く、この場合に、当該位置の高さデータを欠損データとすることで、後処理において信頼度が低いデータがそのまま使用されてしまうのを回避することができる。
【発明の効果】
【００３２】
本発明によれば、第１のパターン光により生成された第１パターン画像に基づいて測定対象物の第１高さデータを測定し、第１のパターン光とは異なる方向から測定対象物に照射された第２のパターン光により生成された第２パターン画像に基づいて測定対象物の第１高さデータを測定し、第１高さデータと第２高さデータを合成して合成高さデータを生成することができる。このとき、測定対象物上の同一位置において第１高さデータと第２高さデータとが異なる場合に、高さの低いデータを当該位置の合成高さデータとするので、投影デバイスに制約があっても多重反射による悪影響を排除できるとともに、測定に要する時間の長時間化も回避できる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施形態に係る画像処理装置のシステム構成例を示す図である。
【図２】コントローラ部のブロック図である。
【図３】撮像装置のブロック図である。
【図４】照明装置の平面図である。
【図５】実施形態２に係る照明装置の底面図である。
【図６】図５におけるVI−VI線断面図である。
【図７】高さ測定部による高さ測定手法を説明する図である。
【図８】パターン光の生成要領を説明する図である。
【図９】照明装置のブロック図である。
【図１０】第１〜第４ＬＣＤにパターンを形成して投光する順序を説明する図である。
【図１１】パターン光の照射順を示す図である。
【図１２】逆位相同士の投光間隔を示す図である。
【図１３】１方向のみで撮像する場合と、２方向切替で撮像する場合のタイミングチャートである。
【図１４】外乱光の明るさの変化の一例を示すグラフである。
【図１５】外乱光の明るさ変動によって生じる位相計算誤差を示すグラフである。
【図１６】パターン光の投光順を逆位相連続にした場合と、通常の投光順にした場合の位相誤差の差を示すグラフである。
【図１７】パターン画像セットから中間画像及び信頼度画像を生成する手順を、画像例を使用して説明した図である。
【図１８】パターン画像セットから中間画像及び信頼度画像を生成する手順を示す図である。
【図１９】測定対象物の測定箇所の近傍に壁面がある場合の多重反射の影響を説明する図である。
【図２０】測定対象物の測定箇所が奥まった箇所にある場合の多重反射の影響を説明する図である。
【図２１】測定対象物の測定箇所への直接投光が完全に遮られる箇所にある場合の多重反射の影響を説明する図である。
【図２２】測定対象物の測定箇所が傾斜面にあり、その傾斜面の下側近傍に水平面がある場合の多重反射の影響を説明する図である。
【図２３】測定対象物の断面図である。
【図２４】パターン光の投光の方向違いによる多重反射の影響を説明する図である。
【図２５】ＭＩＮ法の計算例を説明する図である。
【図２６】合成高さデータに基づいて得られた三次元形状を示す図である。
【図２７】三次元判別機能を実現するユーザーインターフェースを示す図である。
【図２８】断面指示を行う際に表示されるユーザーインターフェースを示す図である。
【図２９】指示された断面が表示されたユーザーインターフェースを示す図である。
【図３０】許容範囲を縮小した場合の図２９相当図である。
【図３１】新たに測定対象物の三次元形状を入力して許容範囲との比較を行った状態が表示されたユーザーインターフェースを示す図である。
【図３２】比較的大きな突起状の測定対象物の欠けを検出する場合の許容範囲設定のイメージ図である。
【図３３】比較的小さな突起状の測定対象物の欠けを検出する場合の許容範囲設定のイメージ図である。
【図３４】膨張フィルタを登録三次元形状と入力三次元形状の両方にかける場合を説明する図である。
【図３５】本実施例のデータフローダイアグラムである。
【図３６】別の例に係るデータフローダイアグラムである。
【図３７】背景平面の処理のイメージ図である。
【図３８】背景平面に加えて上限平面が設定された場合の処理のイメージ図である。
【図３９】背景平面処理に係るデータフローダイアグラムである。
【図４０】許容範囲上限と許容範囲下限のそれぞれに対して背景平面処理を適用する場合のデータフローである。
【図４１】高さ２値化機能を実現するユーザーインターフェースを示す図である。
【図４２】所定の水平面内に位置する部分が無い状態を示す図４１相当図である。
【図４３】ズーム機能によって拡大表示した場合の図４１相当図である。
【図４４】高さ２値化画像での形状比較機能を実現するユーザーインターフェースを示す図である。
【図４５】検査する輪郭を選択するためのユーザーインターフェースを示す図である。
【図４６】輪郭の検出結果を表示した状態を示す図４４相当図である。
【図４７】許容範囲を拡大した場合の図４６相当図である。
【図４８】運転モード時に品種違いの三次元形状を入力した場合の表示例を示す図４６相当図である。
【図４９】複数のパターン光照射部の連携による出力データの生成に係るデータフローダイアグラムである。
【発明を実施するための形態】
【００３４】
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
【００３５】
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
【００３６】
図１は、本発明の実施形態に係る画像処理装置１のシステム構成例を示す図である。画像処理装置１は、撮像装置２と、照明装置３と、コントローラ部４と、表示部５と、コンソール部６と、マウス７とを備えており、測定対象物Ｗの三次元形状を測定することによって高さ画像を得て、この高さ画像に基づいて測定対象物Ｗに対して各種検査を行うことができるように構成されている。
【００３７】
測定対象物Ｗは、例えばベルトコンベア等の搬送装置の載置面１００に載置した状態としておき、この載置面１００に載置した測定対象物Ｗに対して高さの測定や各種検査等を行う。高さの測定中、測定対象物Ｗは静止させておくのが好ましい。
【００３８】
画像処理装置１は、プログラマブル・ロジック・コントローラ（ＰＬＣ）１０１に信号線１０１ａによって有線接続することができるが、これに限らず、画像処理装置１及びＰＬＣ１０１に従来から周知の通信モジュールを内蔵し、画像処理装置１と、ＰＬＣ１０１とを無線接続するようにしてもよい。ＰＬＣ１０１は、搬送装置及び画像処理装置１をシーケンス制御するための制御装置であり、汎用のＰＬＣを利用することができる。画像処理装置１をＰＬＣ１０１に接続することなく使用することもできる。
【００３９】
表示部５は、例えば液晶表示パネル等からなるディスプレイ装置であり、表示手段を構成している。表示部５には、例えば、画像処理装置１を操作するための操作用ユーザーインターフェース、画像処理装置１を設定するための設定用ユーザーインターフェース、測定対象物の高さ測定結果を表示するための高さ測定結果表示用ユーザーインターフェース、測定対象物の各種検査結果を表示するための検査結果表示用ユーザーインターフェース等を表示させることができる。画像処理装置１の使用者が表示部５を視認することで画像処理装置１の操作及び設定を行うことが可能になるとともに、測定対象物Ｗの測定結果や検査結果等を把握することができ、さらに、画像処理装置１の動作状態を把握することもできる。
【００４０】
図２に示すように、表示部５は、コントローラ部４が有する表示制御部４６に接続されており、表示制御部４６によって制御されて前記したユーザーインターフェースや高さ画像等を表示させることができるように構成されている。
【００４１】
コンソール部６は、使用者が画像処理装置１を操作したり、各種情報を入力するための入力手段であり、コントローラ部４に接続されている。また、マウス７も同様に使用者が画像処理装置１を操作したり、各種情報を入力するための入力手段であり、コントローラ部４に接続されている。コンソール部６及びマウス７は入力手段の一例であり、入力手段としては、例えば表示部５に設けたタッチパネルスクリーン等であってもよいし、音声入力装置であってもよく、これらを複数組み合わせて構成することもできる。タッチパネルスクリーンの場合、表示手段と入力手段とを１つのデバイスで実現できる。
【００４２】
コントローラ部４には、コントローラ部４の制御プログラムを生成し、記憶しておくための汎用のパーソナルコンピュータＰＣを接続することもできる。また、パーソナルコンピュータＰＣには、画像処理に関する各種設定を行う画像処理プログラムをインストールして、コントローラ部４で行う画像処理の各種設定を行うこともできる。あるいは、このパーソナルコンピュータＰＣで動作するソフトウェアによって画像処理の処理順序を規定する処理順序プログラムを生成することができる。コントローラ部４では、その処理順序に従って各画像処理が順次実行される。パーソナルコンピュータＰＣとコントローラ部４とは、通信ネットワークを介して接続されており、パーソナルコンピュータＰＣ上で生成された処理順序プログラムは、例えば表示部５の表示態様を規定するレイアウト情報等と共にコントローラ部４に転送される。また逆に、コントローラ部４から処理順序プログラムやレイアウト情報等を取り込んで、パーソナルコンピュータＰＣ上で編集することもできる。尚、上記プログラムは、パーソナルコンピュータＰＣだけでなく、コントローラ部４においても生成できるようにしてもよい。
【００４３】
また、コントローラ部４は専用のハードウェアで構築することもできるが、本発明はこの構成に限定されるものではない。例えば、汎用のパーソナルコンピュータＰＣやワークステーション等に専用の画像処理プログラムや検査処理プログラム、高さ測定プログラム等をインストールしたものをコントローラ部として機能させることもできる。この場合、パーソナルコンピュータＰＣやワークステーション等に、撮像装置２、照明装置３、表示部５、コンソール部６及びマウス７を接続すればよい。
【００４４】
また、画像処理装置１の機能については後述するが、画像処理装置１の全ての機能をコントローラ部４で実現するようにしてもよいし、汎用のパーソナルコンピュータＰＣで実現するようにしてもよい。また、画像処理装置１の一部の機能をコントローラ部４で実現し、残りの機能を汎用のパーソナルコンピュータＰＣで実現するようにしてもよい。画像処理装置１の機能は、ソフトウェアで実現することもできるし、ハードウェアの組み合わせによって実現することもできる。
【００４５】
撮像装置２、照明装置３、表示部５、コンソール部６及びマウス７をコントローラ部４に接続するためのインターフェースは、専用のインターフェースであってもよいし、例えば既存の通信規格、例えばイーサーネット（商品名）やＵＳＢ、ＲＳ−２３２Ｃ等を利用することもできる。
【００４６】
測定対象物Ｗの高さを表す高さ画像とは、図４に示す照明装置３が有する開口部３０ａの中心軸Ａ（図１に示す）方向における測定対象物Ｗの高さを表す画像であり、距離画像ということもできる。高さ画像は、測定対象物Ｗの載置面（基準面ともいう）１００を基準とした高さとして表示することもできるし、照明装置３との前記中心軸Ａ方向における相対距離として表示することもでき、高さに応じて各画素の濃淡値が変化する画像である。換言すれば、高さ画像は、測定対象物Ｗの載置面１００を基準とした高さに基づいて濃淡値が決定される画像といもいえるし、照明装置３との前記中心軸Ａ方向における相対距離に基づいて濃淡値が決定される画像ともいえる。また、高さ画像は、測定対象物Ｗの載置面１００を基準とした高さに応じた濃淡値を有する多値画像といもいえるし、照明装置３との前記中心軸Ａ方向における相対距離に応じた濃淡値を有する多値画像ともいえる。さらに、高さ画像は、輝度画像の画素毎に、測定対象物Ｗの載置面１００を基準とした高さを濃淡値に変換した多値画像ともいえるし、輝度画像の画素毎に、照明装置３との前記中心軸Ａ方向における相対距離を濃淡値に変換した多値画像ともいえる。
【００４７】
また、高さ画像は測定対象物Ｗの高さ情報を含む画像であり、例えば距離画像に光学的な輝度画像をテクスチャ情報として合成して貼り付けた三次元の合成画像も高さ画像とすることができる。高さ画像は、三次元状に表示されるものに限られず、二次元状に表示されるものも含まれる。
【００４８】
測定対象物の三次元形状を測定する際、高さを求めると考えるか、深さを求めると考えるかの違いで、Ｚ軸方向の座標系が反転する。そのため、「小さな高さを求める」という計算は、「大きな深さを求める」という計算と等価になる。また、高さを求めると考える場合、高さカメラということができるが、深さを求める場合には、深さカメラということもできる。いずれにしても本実施形態を適用することができるので、以下、高さ画像に統一してその一例を説明する。
【００４９】
上述したような高さ画像を得る手法としては、大きく分けて２つの方式があり、一つは、通常の画像を得るための照明条件で撮像した画像を用いて距離画像を生成するパッシブ方式（受動計測方式）、もう一つは、高さ方向の計測をするための光を測定対象物Ｗに能動的に照射して距離画像を生成するアクティブ方式（能動計測方式）である。本実施形態では、アクティブ方式により高さ画像を得るようにしており、具体的には、パターン投影法を利用している。
【００５０】
パターン投影法は、測定対象物Ｗに投影する測定用パターン光（単にパターン光ともいう）が有するパターンの形状や位相等をずらして複数の画像を取得し、取得した複数の画像を解析することで測定対象物Ｗの三次元形状を得る方法である。パターン投影法には幾つか種類があり、例えば、正弦波縞模様パターンの位相をずらして複数（最低３枚）の画像を取得し、複数の画像から画素毎に正弦波の位相を求め、求めた位相を利用して測定対象物Ｗの表面の三次元座標を得る位相シフト法や、測定対象物Ｗに投影するパターン自体を撮影毎に異ならせ、例えば白黒デューティ比５０％で縞幅が全体の半分、４分の１、８分の１、１６分の１、…と細かくなっていく縞パターンを順次投影し、それぞれのパターンにてパターン投影画像を取得し、測定対象物Ｗの高さの絶対位相を求める空間コード法等がある。正弦波状のパターン光及び縞パターン光は、一次元方向に変化する周期的な照度分布を有するパターン光である。尚、測定用パターン光を測定対象物Ｗに「投影」することと、測定用パターン光を測定対象物Ｗに「照射」することとは同義である。
【００５１】
本実施形態に係る画像処理装置１では、上述した位相シフト法と空間コード法とを組み合わせて高さ画像を生成するが、これに限られるものではなく、位相シフト法のみで高さ画像を生成してもよいし、空間コード法のみで高さ画像を生成してもよい。また、従来から周知の他のアクティブ方式を利用して測定対象物Ｗの高さ画像を生成してもよい。
【００５２】
画像処理装置１による測定対象物Ｗの高さを測定する手法の概略は次の通りである。まず、照明装置３の第１投光部３１及び第２投光部３２でそれぞれ生成した第１測定用パターン光及び第２測定用パターン光を互いに異なる方向から測定対象物Ｗに照射し、測定対象物Ｗから反射した第１測定用パターン光を撮像装置２が受光して複数の第１パターン画像からなる第１パターン画像セットを生成するとともに、測定対象物Ｗから反射した第２測定用パターン光を撮像装置２が受光して複数の第２パターン画像からなる第２パターン画像セットを生成する。その後、複数の第１パターン画像セットに基づいて各画素が測定対象物Ｗへの第１測定用パターン光の照射角度情報を有する第１角度画像を生成するとともに、複数の第２パターン画像に基づいて各画素が測定対象物への第２測定用パターン光の照射角度情報を有する第２角度画像を生成する。次いで、第１角度画像の各画素の照射角度情報及び第２角度画像の各画素の照射角度情報と、第１投光部３１及び第２投光部３２の相対位置情報とにしたがって、測定対象物Ｗの高さを表す高さ画像を生成し、この高さ画像から測定対象物Ｗの高さを得る。
【００５３】
また、必須ではないが、この画像処理装置１においては、図４に示すように、照明装置３が第１投光部３１及び第２投光部３２の他に、第３投光部３３及び第４投光部３４を備えている。したがって、照明装置３の第３投光部３３及び第４投光部３４でそれぞれ生成した第３測定用パターン光及び第４測定用パターン光を互いに異なる方向から測定対象物Ｗに照射することもできる。この場合、測定対象物Ｗから反射した第３測定用パターン光を撮像装置２が受光して複数の第３パターン画像からなる第３パターン画像セットを生成するとともに、測定対象物Ｗから反射した第４測定用パターン光を撮像装置２が受光して複数の第４パターン画像からなる第４パターン画像セットを生成する。その後、複数の第３パターン画像に基づいて各画素が測定対象物Ｗへの第３測定用パターン光の照射角度情報を有する第３角度画像を生成するとともに、複数の第４パターン画像に基づいて各画素が測定対象物への第４測定用パターン光の照射角度情報を有する第４角度画像を生成する。次いで、第３角度画像の各画素の照射角度情報及び第４角度画像の各画素の照射角度情報と、第３投光部３３及び第４投光部３４の相対位置情報とにしたがって、測定対象物Ｗの高さを表す高さ画像を生成し、この高さ画像から測定対象物Ｗの高さを得る。
【００５４】
（位相シフト法）
ここで、位相シフト法について説明する。位相シフト法において、照度分布を正弦波状に変動させたパターンを有するパターン光を測定対象物に順次投影する場合、正弦波の位相の異なる３つ以上のパターンのパターン光を投影する。高さ測定点の各明度値をパターン光の投影方向とは別の角度からパターン毎に撮像した画像から得て、各明度値よりパターン光の位相値を計算する。測定点の高さに応じて、測定点に投影されたパターン光の位相が変化し、基準となる位置で反射されたパターン光により観察される位相とは異なった位相の光が観察されることになる。そこで、測定点におけるパターン光の位相を計算し、三角測量の原理を利用して、幾何関係式に代入することにより測定点の高さを計測し、これにより、測定対象物Ｗの三次元形状を求めることができる。位相シフト法によれば、測定対象物Ｗの高さを、パターン光の周期を小さくすることによって高分解能で測定することができるが、測定できる高さの範囲が、位相のずれ量で２π以内となる低い高さのもの（高低差の小さいもの）しか測定できない。そこで、空間コード法を併用する。
【００５５】
（空間コード法）
空間コード法によれば、光が照射される空間を、多数の断面略扇状の小空間に分け、この小空間に一連の空間コード番号を付すことができる。このため、測定対象物Ｗの高さが高くても、すなわち高低差が大きくても、光が照射される空間内にあれば、空間コード番号から高さが演算できる。したがって、高さの高い測定対象物Ｗについても全体にわたって形状を測定することができる。このように空間コード法によれば、許容高さのレンジ（ダイナミックレンジ）が広くなる。
【００５６】
（照明装置３の詳細構成）
図４に示すように、実施形態１に係る照明装置３は、照明ハウジング３０と、第１投光部３１と、第２投光部３２と、第３投光部３３と、第４投光部３４と、投光制御部３９とを備えている。図１に示すように照明装置３とコントローラ部４とは接続線３ａによって接続されているが、照明装置３とコントローラ部４とは無線接続するようにしてもよい。
【００５７】
照明装置３は、パターン光を投影するためだけのパターン光投影専用装置としてもよいし、測定対象物Ｗに一様光を照射する一様光照明を兼用する装置としてもよい。照明装置３をパターン光投影専用装置とする場合には、パターン光投影専用装置とは別体、又はパターン光投影専用装置と一体的に一様光用照明装置を設けることができる。一様光用照明装置は、発光ダイオード、半導体レーザ、ハロゲンライト、ＨＩＤ等を利用することができる。
【００５８】
照明ハウジング３０は、平面視における中心部に開口部３０ａを有しており、第１辺部３０Ａ、第２辺部３０Ｂ、第３辺部３０Ｃ及び第４辺部３０Ｄが連続して平面視で矩形に近い形状をなしている。第１辺部３０Ａ、第２辺部３０Ｂ、第３辺部３０Ｃ及び第４辺部３０Ｄは、直線状に延びているので、開口部３０ａも平面視で矩形に近い形状をなしている。
【００５９】
尚、照明ハウジング３０の外形状や開口部３０ａの形状は、図示した形状に限られるものではなく、例えば円形等であってもよい。図１に示す開口部３０ａの中心軸Ａは、開口部３０ａの中心を通り、かつ、照明ハウジング３０の下面に対して直交する方向に延びる軸である。照明ハウジング３０の下面が水平となるように照明装置３が設置される場合には、開口部３０ａの中心軸Ａが鉛直に延びることになるが、照明装置３は、照明ハウジング３０の下面が傾斜した状態となるように設置することもでき、この場合は、開口部３０ａの中心軸Ａが傾斜することになる。
【００６０】
尚、開口部３０ａの中心軸Ａは、厳密に開口部３０ａの中心を通らなくてもよく、測定対象物Ｗの大きさ等にもよるが、開口部３０ａの中心から数ｍｍ程度の離れたところを通る軸も中心軸Ａとすることができる。つまり、開口部３０ａの中心及びその近傍を通る軸を中心軸Ａと定義することができる。中心軸Ａの延長線は、載置面１００と交差することになる。
【００６１】
以下の説明では、便宜上、図４に示すように第１辺部３０Ａ側を照明装置３の左側といい、第２辺部３０Ｂ側を照明装置３の右側といい、第３辺部３０Ｃ側を照明装置３の上側といい、第４辺部３０Ｄ側を照明装置３の下側というものとするが、これは照明装置３の使用時の方向を特定するものではなく、使用時には照明装置３がどのような向きであってもよい。
【００６２】
照明ハウジング３０の第１辺部３０Ａ、第２辺部３０Ｂ、第３辺部３０Ｃ及び第４辺部３０Ｄの内部は中空状である。第１辺部３０Ａの内部には、第１投光部３１が収容されている。第２辺部３０Ｂ、第３辺部３０Ｃ及び第４辺部３０Ｄの内部には、それぞれ、第２投光部３２、第３投光部３３及び第４投光部３４が収容されている。第１投光部３１と第２投光部３２とがペアであり、第３投光部３３と第４投光部３４とがペアである。また、照明ハウジング３０の内部には、投光制御部３９も収容されている。
【００６３】
第１辺部３０Ａと第２辺部３０Ｂとは、中心軸Ａを挟んで対向するように配置されているので、第１投光部３１及び第２投光部３２は中心軸Ａを対称の中心として左右対称（点対称）となるように配置されることになり、中心軸Ａの周方向に互いに離れることになる。
【００６４】
また、第３辺部３０Ｃと第４辺部３０Ｄも中心軸Ａを挟んで対向するように配置されているので、第３投光部３３及び第４投光部３４は中心軸Ａを対称の中心として上下対称（点対称）となるように配置されることになり、中心軸Ａの周方向に互いに離れることになる。平面視では、中心軸Ａを中心として右周りに、第１投光部３１、第３投光部３３、第２投光部３３、第４投光部３４の順に４つの投光部が配置されることになる。
【００６５】
図５は、本発明の実施形態２に係る照明装置３の底面図である。この実施形態２では、照明ハウジング３０の内部に８つの投光部３１〜３８が設けられている。第１投光部３１と第３投光部３３との間に第５投光部３５が設けられ、第２投光部３２と第４投光部３４との間に第６投光部３６が設けられ、第２投光部３２と第３投光部３３との間に第７投光部３７が設けられ、第１投光部３３と第４投光部３４との間に第８投光部３８が設けられている。第５投光部３５と第６投光部３６とがペアであり、中心軸Ａを対称の中心として互いに対称となるように配置される。また、第７投光部３７と第８投光部３８とがペアであり、中心軸Ａを対称の中心として互いに対称となるように配置される。平面視では、中心軸Ａを中心として右周りに、第１投光部３１、第５投光部３５、第３投光部３３、第７投光部３７、第２投光部３２、第６投光部３６、第４投光部３４、第８投光部３８の順に配置されることになる。
【００６６】
また、実施形態２の照明装置３では、測定対象物Ｗを一様光で照明して観察するための一様光用照明５０（リング照明）が投光部３１〜３８とは別に設けられている。一様光用照明５０は、照明ハウジング３０の底部における外周部に設けられており、第１〜第８投光部３１〜３８を囲む環状をなしている。図６に示すように、一様光用照明５０は、基板５１ａと、基板５１ａに実装されて一様光を出射する複数の一様光用発光ダイオード５１ｂと、カバー部材５２とを有している。基板５１ａは、第１〜第８投光部３１〜３８を囲むように配置されている。複数の一様光用発光ダイオード５１ｂは、第１〜第８投光部３１〜３８を囲むように、周方向に互いに間隔をあけて設けられている。カバー部材５２は、一様光用発光ダイオード４１ｂを光出射面側から覆うように設けられており、透光性を有するとともに、光を拡散させる性質を持った材料で構成されている。図示しないが、一様光用照明を図４に示す実施形態１の照明装置３に設けることもできる。
【００６７】
（第１投光部３１の構成）
実施形態１の照明装置１の第１〜第４投光部３１〜３４は、実施形態２の照明装置１の第１〜第４投光部３１〜３４と同じである。
【００６８】
図６に示すように、第１投光部３１は、ケーシング３１ａと、拡散光を出射する第１光源となる第１ＬＥＤ（発光ダイオード）３１ｂと、該第１ＬＥＤ３１ｂから出射された拡散光を受けて互いに異なるパターンを有する複数の第１測定用パターン光を順次生成して測定対象物Ｗに照射する第１ＬＣＤ（第１パターン光生成部）３１ｄとを備える。ＬＣＤは、liquid crystal display、即ち液晶パネルを含む液晶ディスプレイである。第１ＬＣＤ３１ｄは、説明の便宜上、「ＬＣＤ」と表示しているが、ＬＣＰ、即ち、液晶パネル（第１液晶パネル）であってもよい。光源は、発光ダイオードに限られるものではなく、拡散光を出射する発光体であればよい。
【００６９】
第１ＬＣＤ３１ｄは、第１ＬＥＤ３１ｂに対応して配置されており、第１ＬＥＤ３１ｂの光出射面が第１ＬＣＤ３１ｄの方を向いている。これにより、第１ＬＥＤ３１ｂから出射された光が第１ＬＣＤ３１ｄに確実に入射することになる。発光ダイオードとしては、例えば白色発光ダイオードを用いることができる。第１ＬＣＤ３１ｄは、照明ハウジング３０の開口部３０ａの中心軸Ａと直交する平面（図６に仮想線２００で示す）内に、当該第１ＬＣＤ３１ｄの表示面（出射面）が位置するように設けられており、平面２００と第１ＬＣＤ３１ｄの表示面とが同一平面に位置している。
【００７０】
第２投光部３２は第１投光部３１と同様に構成されている。具体的には、図６に示すように、第２投光部３２は、ケーシング３２ａと、基板３２ｃに実装された第２ＬＥＤ３２ｂと、第２ＬＥＤ３２ｂに対応して配置された第２ＬＣＤ（第２パターン光生成部）３２ｄとを備えている。第１ＬＥＤ３１ｂと、第２ＬＥＤ３２ｂとが対をなしている。第１ＬＥＤ３１ｂと、第２ＬＥＤ３２ｂとは、互いの相対位置を補正可能に照明ハウジング３０に取り付けられている。相対位置の補正の詳細については後述する。
【００７１】
以下、第１投光部３１の構成について詳細に説明する。第１投光部３１の第１ＬＥＤ３１ｂは、複数あるとともに、照明ハウジング３０内において上部に設けられている。第１ＬＥＤ３１ｂの配列方向は、光の出射方向と交差する方向である。
【００７２】
すなわち、ケーシング３１ａの内部には、その上方に基板３１ｃが配設されている。基板３１ｃの下に向く面には、複数の第１ＬＥＤ３１ｂが実装されている。複数の第１ＬＥＤ３１ｂは直線状に並ぶように配置することもできるし、隣合う第１ＬＥＤ３１ｂが上下方向にずれるように配置することもできる。一次元方向に変化する周期的な照度分布を有するパターン光を生成する場合、第１ＬＥＤ３１ｂは、パターン光の照度が変化しない方向に並ぶように配置されることになる。複数の第１ＬＥＤ３１ｂを図４に示す照明ハウジング３０の第１辺部３０Ａの長手方向に沿って並べることで、第１ＬＥＤ３１ｂから出射する光は、第１辺部３０Ａの長手方向にほぼ連続した光になる。
【００７３】
複数の第１ＬＥＤ３１ｂの光の出射方向は同じにすることができ、この実施形態では、図１に左下がりの斜線で示すように、第１ＬＥＤ３１ｂの直下から少なくとも照明ハウジング３０の開口部３０ａの中心軸Ａよりも第２辺部３０Ｂ側（照明装置３の右側）に達するように設定されている。複数の第１ＬＥＤ３１ｂによる光の照射範囲は、撮像装置２による撮像視野よりも広く設定されている。
【００７４】
複数の第１ＬＥＤ３１ｂの光の出射範囲について具体的に説明する。図７に示すように、第１投光部３１と第２投光部３２との離間方向をＸ方向とし、上下方向をＺ方向とする。照明装置３は、該照明装置３の下面が水平（載置面１００と平行）となるように配置され、測定対象物Ｗの載置面１００から上方に「１」だけ離れて設置されているものとする。Ｘ＝０を第１ＬＥＤ３１ｂの直下とし、第１ＬＥＤ３１ｂから（Ｘ，Ｚ）＝（０，０）の点Ｃまで延びる直線Ｄを引く。また、第１ＬＥＤ３１ｂから（Ｘ，Ｚ）＝（１，０）の点Ｅまで延びる直線Ｆを引く。このとき、複数の第１ＬＥＤ３１ｂの光の出射範囲は、直線Ｄと直線Ｆとで挟まれた領域となるように、第１ＬＥＤ３１ｂの向きが設定されるとともに、第１ＬＥＤ３１ｂの光源用レンズが設計されている。
【００７５】
図６に示すように、第１ＬＣＤ３１ｄは、第１ＬＥＤ３１ｂから下方に離れた状態で照明ハウジング３０に設けられている。第１ＬＣＤ３１ｄの駆動方式はＴＮ（Twisted Nematic）方式である。したがって、第１ＬＣＤ３１ｄに印加される電圧が０のとき液晶組成物（液晶分子）が表示面と平行に並んで第１ＬＥＤ３１ｂの光を通過させる一方、この状態から電圧を上げていくと、液晶組成物が表示面に対して垂直に立ち上がり、最大電圧になったときに第１ＬＥＤ３１ｂの光を遮ることになる。
【００７６】
（ＬＥＤとＬＥＤの相対位置）
第１ＬＥＤ３１ｂと第１ＬＣＤ３１ｄとの相対的な位置関係について説明する。図８に示すように、第１ＬＣＤ３１ｄの表示面は、照明ハウジング３０の開口部３０ａの中心軸Ａと直交する平面２００と同一面上に位置しており、第１ＬＣＤ３１ｄにおける照明ハウジング３０の径方向外方の端部を外端部側とし、第１ＬＣＤ３１ｄにおける照明ハウジング３０の径方向内方の端部を内端部側とする。第１ＬＥＤ３１ｂは、第１ＬＣＤ３１ｄにおける外端部側の上方に配置されている。図８における符号ＳＥＧは、第１ＬＣＤ３１ｄを構成するセグメントである。黒色のセグメントＳＥＧは光を透過させないセグメントであり、白色のセグメントＳＥＧは光を透過させるセグメントである。このように、第１ＬＣＤ３１ｄの表示面に、黒色のセグメントＳＥＧと白色のセグメントＳＥＧとを交互に形成することで、第１ＬＣＤ３１ｄを透過した光は、その下方に図示するように光の強度が周期的に変化する正弦波状のパターン光となる。これがパターン光の生成原理である。黒色のセグメントＳＥＧと白色のセグメントＳＥＧの個数、間隔、形成位置は任意に変更することができ、波の周期、位相が異なる複数種のパターン光を生成することができる。
【００７７】
黒色のセグメントＳＥＧの個数と、白色のセグメントＳＥＧの個数は同じにすることができる。したがって、パターン光の生成時、第１ＬＣＤ３１ｄには、光を透過させる領域及び光を透過させない領域を等幅にして交互に形成することができる。これは、後述する投光制御部３９によって行われる。
【００７８】
ここで、液晶パネルが持つ一般的な性質について説明すると、液晶パネルの表示面の法線と平行に光を入射させると光の透過率が最も高くなり、表示面の法線と光の入射方向とのなす角度が大きくなればなるほど光の透過率が低くなる。液晶パネルは、このような光の入射方向によって光の透過率が変化する角度特性を有しているので、液晶パネルを用いてパターン光を生成すると、パターン光の位置に応じた輝度ムラが発生する懸念がある。
【００７９】
このことに対し、本実施形態では、第１ＬＥＤ３１ｂから出射された光が第１ＬＣＤ３１ｄに対して当該第１ＬＣＤ３１ｄの有効角度範囲内で入射されるように、第１ＬＣＤ３１ｄと、第１ＬＥＤ３１ｂとの相対位置が設定されている。これにより、第１ＬＥＤ３１ｂから出射された拡散光が第１ＬＣＤ３１ｄの有効角度範囲内で当該第１ＬＣＤ３１ｄに入射するので、第１ＬＣＤ３１ｄが持つ角度特性に起因するパターン光の位置に応じた輝度ムラが発生しにくくなる。
【００８０】
第１ＬＣＤ３１ｄの有効角度範囲とは、パターン光のコントラストを所定以上確保可能な角度範囲とすることができる。パターン光のコントラストが所定以上というのは、測定対象物Ｗから反射したパターン光を撮像装置２が受光した際に、検査対象画像を生成可能なパターン画像を撮像装置２によって得ることができる程度である。すなわち、第１ＬＣＤ３１ｄが持つ角度特性に起因して、第１ＬＣＤ３１ｄの表示面の法線と光の入射方向とのなす角度が大きくなればなるほど光の透過率が低くなるので、光の入射角度によってはパターン光のコントラストの低下を招くことが考えられるが、この実施形態では、撮像装置２によって撮像されたパターン画像に基づいて測定対象物Ｗの高さ情報を得ることが可能な程度のコントラスト以上となるように、第１ＬＣＤ３１ｄと第１ＬＥＤ３１ｂとの相対位置を設定している。
【００８１】
また、第１ＬＣＤ３１ｄの有効角度範囲は次のように定義することもできる。例えば、光を最も通しやすい液晶分子配列状態にある第１ＬＣＤ３１ｄを第１ＬＥＤ３１ｂから出射された光が通過する際に、当該光が減衰する減衰率が１０％以下となる角度範囲を、第１ＬＣＤ３１ｄの有効角度範囲とする。光の減衰率が１０％以下となるように第１ＬＣＤ３１ｄと第１ＬＥＤ３１ｂとの相対位置を設定することで、撮像装置２によって撮像されたパターン画像に基づいて測定対象物Ｗの高さ情報を得ることが可能な程度のコントラストを確保することができる。
【００８２】
光を最も通しやすい液晶分子配列状態とは、液晶分子の配向が光路を最も遮らない方向（上述した電圧０のとき）にある状態である。尚、前記減衰率が５％以下となるように、第１ＬＣＤ３１ｄの有効角度範囲を設定することもできる。
【００８３】
また、図８に示すように、第１ＬＥＤ３１ｂの中心（光出射面の中心）から第１ＬＣＤ３１ｄの表示面に向けて引いた法線２０１と、当該第１ＬＥＤ３１ｂの中心から第１ＬＣＤ３１ｄの有効角度範囲における照明ハウジング３０の径方向内方に位置する内端部側の境界に向けて引いた内側仮想線２０２とのなす角度が５０°以下となるように、第１ＬＥＤ３１ｂと第１ＬＣＤ３１ｄとの相対位置を設定することができる。これにより、第１ＬＥＤ３１ｂから出射された光が第１ＬＣＤ３１ｄに入射する際の角度範囲がＴＮ方式の液晶パネルに最適な範囲となり、その結果、パターン光のコントラストを所定以上確保することができる。法線２０１と内側仮想線２０２とのなす角度αは４５°以下にすることができ、また、４０°以下にすることもできる。
【００８４】
（ＬＥＤ駆動回路及びＬＣＤ駆動回路）
図９に示すように、第１投光部３１には、第１ＬＥＤ３１ｂを駆動する第１ＬＥＤ駆動回路（光源駆動回路）３１ｅと、第１ＬＣＤ３１ｄを駆動する第１ＬＣＤ駆動回路（液晶パネル駆動回路）３１ｆとが設けられている。第１ＬＥＤ駆動回路３１ｅは、第１ＬＥＤ３１ｂに対する供給電流値を変更するための回路であり、投光制御部３９によって制御される。よって、第１ＬＥＤ３１ｂは、第１ＬＥＤ駆動回路３１ｅを介して投光制御部３９によって制御されることになる。第１ＬＥＤ駆動回路３１ｅによる電流値制御は、ＤＡＣ制御である。
【００８５】
第１ＬＣＤ駆動回路３１ｆは、第１ＬＣＤ３１ｄを構成する各セグメントＳＥＧ（図８に示す）に印加する電圧を変更することで各セグメントＳＥＧの液晶組成物の配向を変化させるための回路である。この実施形態では、一例として、第１ＬＣＤ３１ｄを構成するセグメントＳＥＧが６４個あり、６４個のセグメントＳＥＧにそれぞれ個別に印加する電圧を変更することができるようになっており、セグメントＳＥＧ毎に、第１ＬＥＤ３１ｂから出射された光を通過させる状態と通過させない状態とに切り替えることができる。第１ＬＣＤ駆動回路３１ｆは、第１ＬＥＤ駆動回路３１ｅと共通の投光制御部３９によって制御される。よって、第１ＬＣＤ３１ｄは、第１ＬＣＤ駆動回路３１ｆを介して投光制御部３９によって制御されることになる。また、第１ＬＥＤ駆動回路３１ｅと第１ＬＣＤ駆動回路３１ｆとは、共通の投光制御部３９によって制御されるので、第１ＬＥＤ駆動回路３１ｅと第１ＬＣＤ駆動回路３１ｆとを精密に動機させることができる。
【００８６】
投光制御部３９によって制御された第１ＬＣＤ駆動回路３１ｆが第１ＬＣＤ３１ｄを駆動することで、第１ＬＥＤ３１ｂから出射された拡散光を受けて互いに異なるパターンを有する複数の第１測定用パターン光を順次生成して測定対象物Ｗに照射することができる。複数の第１測定用パターン光には、空間コード法で用いる空間コード（グレーコード）用のパターン光と、位相シフト法で用いる周期的な照度分布を有するパターン光とが含まれている。
【００８７】
空間コード用のパターン光を生成する場合は、白黒デューティ比５０％で縞幅が全体の半分、４分の１、…と細かくなっていく縞パターンを生成する。このように第１ＬＣＤ３１ｄを制御することで、空間コード用のパターン光を順次生成することができる。
【００８８】
また、位相シフト法用のパターン光の生成の場合は、正弦波縞模様パターンの位相をずらして複数生成する。この例の場合、ＬＣＤ表示は２値制御にして矩形波のパターンを生成しているが、図８に示すように、第１ＬＣＤ３１ｄで生成された矩形波のパターンが光照射面上でぼけることによって正弦波状のパターンを得ることができるようになっている。より詳細には、液晶パネルに形成された矩形波上のパターンと、面積を持った発光ダイオードの発光パターンとが組み合わさることで、正弦波に近いパターンを得ることができる。仮にＬＥＤではなく理想的な点光源または線光源だと正弦波パターンではなく、２値パターンが得られる。このため、正弦波パターンを得るためには、ＬＥＤ光源サイズとＬＣＤ開口サイズとのバランスが重要になる。またこの例では８つのパターン光を生成している。このように第１ＬＣＤ３１ｄを制御することで、位相シフト法用のパターン光を順次生成することができる。
【００８９】
つまり、位相シフト法及び／又は空間コード法にしたがう複数のパターン光を順次生成するように、投光制御部３９が第１ＬＥＤ３１ｂ及び第１ＬＣＤ３１ｄを制御する。複数のパターン光の内の一のパターン光の投影が完了すると、次のパターン光の投影を行い、この処理を繰り返すことによって全てのパターン光の投影を行う。第１ＬＣＤ３１ｄによるパターンの形成処理については後述する。
【００９０】
尚、空間コード用のパターン光の数、位相シフト法用のパターン光の数は、図示した数に限られるものではない。
【００９１】
（第２投光部３２の構成）
図１に示すように、第２投光部３２の第２ＬＥＤ３２ｂの光の出射範囲は、第２ＬＥＤ３２ｂの直下から少なくとも照明ハウジング３０の開口部３０ａの中心軸Ａよりも第１辺部３０Ａ側（照明装置３の左側）に達するように設定されている。すなわち、第２投光部３２の第２ＬＥＤ３２ｂの光の出射範囲は、照明ハウジング３０の開口部３０ａの中心軸Ａを対称の中心として、第１投光部３１の第１ＬＥＤ３１ｂの光の出射範囲と左右対称となるように設定されている。第２ＬＥＤ３２ｂの光の出射範囲を、図１において右下がりの斜線で示している。
【００９２】
図９に示すように、第２投光部３２には、第２ＬＥＤ３２ｂを駆動する第２ＬＥＤ駆動回路（光源駆動回路）３２ｅと、第２ＬＣＤ３２ｄを駆動する第２ＬＣＤ駆動回路（液晶パネル駆動回路）３２ｆとが設けられており、これらは投光制御部３９によって制御される。第２ＬＣＤ３２ｄは、第１ＬＣＤ３１ｄと同様に駆動されるので、第２ＬＥＤ３２ｂから出射された拡散光を受けて互いに異なるパターンを有する複数の第２測定用パターン光を順次生成して測定対象物Ｗに照射することができる。複数の第２測定用パターン光には、空間コード用のパターン光と、位相シフト法用のパターン光とが含まれている。
【００９３】
図１に示すように、第１投光部３１から出射されたパターン光と、第２投光部３２から出射されたパターン光とが、照明ハウジング３０の開口部３０ａの中心軸Ａ上で交差するように、略同一の広がり角を持つように、第１投光部３１と第２投光部３２とが中心軸Ａの周方向に互いに離れた状態で、照明ハウジング３０に一体的に支持されている。「一体的に支持されている」とは、第１投光部３１と第２投光部３２との相対的な位置関係が設置時や使用時に変化しないように、第１投光部３１と第２投光部３２が照明ハウジング３０に対して固定されているということである。したがって、運用時には、照明ハウジング３０内における第１投光部３１及び第２投光部３２の相対位置は変化しないので、例えば図７に示すように、第１ＬＥＤ３１ｂの中心部と、第２ＬＥＤ３２ｂの中心部との離間距離をｌとしておけば、運用時には、第１ＬＥＤ３１ｂの中心部と、第２ＬＥＤ３２ｂの中心部との離間距離はｌに固定される。第１ＬＥＤ３１ｂの中心部と、第２ＬＥＤ３２ｂの中心部との離間距離は、照明ハウジング３０内における第１投光部３１及び第２投光部３２の相対位置情報であり、予めコントローラ部４や撮像装置２に記憶させておくことができる。尚、運用時以外の時には、第１ＬＥＤ３１ｂの中心部と、第２ＬＥＤ３２ｂの中心部との離間距離を変更することができる。
【００９４】
また、照明ハウジング３０内における第１投光部３１及び第２投光部３２の相対位置情報は、第１ＬＥＤ３１ｂの中心部と、第２ＬＥＤ３２ｂの中心部との直線距離であってもよいし、各ＬＥＤから照射された光をミラー等で折り返して測定対象物Ｗに照射する場合には、その光の経路長を考慮した距離とすることもできる。
【００９５】
第１ＬＣＤ３１ｄは照明装置３の左側に配置されているので、載置面１００に載置された測定対象物Ｗに対して左側からパターン光を投影する。また、第２ＬＣＤ３２ｄは照明装置３の右側に配置されているので、載置面１００に載置された測定対象物Ｗに対して右側からパターン光を投影する。第１ＬＣＤ３１ｄ及び第２ＬＣＤ３２ｄは測定対象物Ｗに対してそれぞれ異なる方向からパターン光を投影する液晶パネルである。
【００９６】
（第３投光部３３と第４投光部３４の構成）
第３投光部３３及び第４投光部３４は、第１投光部３１と同様に構成されており、図９に示すように、第３投光部３３は、第３ＬＥＤ（第３光源）３３ｂと、第３ＬＥＤ３３ｂに対応して配置された第３ＬＣＤ（第３パターン光生成部）３３ｄとを備え、第４投光部３４は、第４ＬＥＤ（第４光源）３４ｂと、第４ＬＥＤ３４ｂに対応して配置された第４ＬＣＤ（第４パターン光生成部）３４ｄとを備えている。第３ＬＥＤ３３ｂと、第４ＬＥＤ３４ｂとが対をなしている。第３ＬＥＤ３３ｂと、第４ＬＥＤ３４ｂとは、互いの相対位置を補正可能に照明ハウジング３０に取り付けられている。相対位置の補正の詳細については後述する。
【００９７】
第３ＬＣＤ３３ｄと第４ＬＣＤ３４ｄの表示面は、照明ハウジング３０の開口部３０ａの中心軸Ａと直交する平面（図６に符号２００で示す面）と同一平面に位置している。
【００９８】
第３投光部３３の第３ＬＥＤ３３ｂの光の出射範囲と、第４投光部３４の第４ＬＥＤ３４ｂの光の出射範囲とは、第１投光部３１の第１ＬＥＤ３１ｂの光の出射範囲と、第２投光部３２の第２ＬＥＤ３２ｂの光の出射範囲との関係と同じになるように設定されている。具体的には、第３投光部３３の第３ＬＥＤ３３ｂの光の出射範囲は、第３ＬＥＤ３３ｂの直下から少なくとも照明ハウジング３０の開口部３０ａの中心軸Ａよりも第４辺部３０Ｄ側に達するように設定されている。第４投光部３４の第４ＬＥＤ３４ｂの光の出射範囲は、第４ＬＥＤ３４ｂの直下から少なくとも照明ハウジング３０の開口部３０ａの中心軸Ａよりも第３辺部３０Ｃ側に達するように設定されている。したがって、照明ハウジング３０の開口部３０ａの中心軸Ａを対称の中心としたとき、上下対称となるように、第３投光部３３の第３ＬＥＤ３３ｂの光の出射範囲と、第４投光部３４の第４ＬＥＤ３４ｂの光の出射範囲とが設定されている。
【００９９】
図９に示すように、第３投光部３３には、第３ＬＥＤ３３ｂを駆動する第３ＬＥＤ駆動回路（光源駆動回路）３３ｅと、第３ＬＣＤ３３ｄを駆動する第３ＬＣＤ駆動回路（液晶パネル駆動回路）３３ｆとが設けられており、これらは投光制御部３９によって制御される。第３ＬＣＤ３３ｄは、第１ＬＣＤ３１ｄと同様に駆動されるので、第３ＬＥＤ３３ｂから出射された拡散光を受けて互いに異なるパターンを有する複数の第３測定用パターン光を順次生成して測定対象物Ｗに照射することができる。複数の第３測定用パターン光には、空間コード用のパターン光と、位相シフト法用のパターン光とが含まれている。
【０１００】
また、第４投光部３４には、第４ＬＥＤ３４ｂを駆動する第４ＬＥＤ駆動回路（光源駆動回路）３４ｅと、第４ＬＣＤ３４ｄを駆動する第４ＬＣＤ駆動回路（液晶パネル駆動回路）３４ｆとが設けられており、これらは投光制御部３９によって制御される。第４ＬＣＤ３４ｄは、第１ＬＣＤ３１ｄと同様に駆動されるので、第４ＬＥＤ３４ｂから出射された拡散光を受けて互いに異なるパターンを有する複数の第４測定用パターン光を順次生成して測定対象物Ｗに照射することができる。複数の第４測定用パターン光には、空間コード用のパターン光と、位相シフト法用のパターン光とが含まれている。
【０１０１】
第３投光部３３から出射されたパターン光と、第４投光部３４から出射されたパターン光とが、照明ハウジング３０の開口部３０ａの中心軸Ａ上で交差するように、略同一の広がり角を持つように、第３投光部３３と第４投光部３４とが中心軸Ａの周方向に互いに離れた状態で、照明ハウジング３０に一体的に支持されている。したがって、照明ハウジング３０内における第３投光部３３及び第４投光部３４の相対位置は変化しないので、第３ＬＥＤ３３ｂの中心部と、第４ＬＥＤ３４ｂの中心部との離間距離を予め所定の値に設定しておけば、運用時に、第３ＬＥＤ３３ｂの中心部と、第４ＬＥＤ３４ｂの中心部との離間距離は所定の値に固定される。第３ＬＥＤ３３ｂの中心部と、第４ＬＥＤ３４ｂの中心部との離間距離は、照明ハウジング３０内における第３投光部３３及び第４投光部３４の相対位置情報であり、予めコントローラ部４や撮像装置２に記憶させておくことができる。
【０１０２】
第３ＬＣＤ３３ｄは照明装置３の上側に配置されているので、載置面１００に載置された測定対象物Ｗに対してその方向からパターン光を投影する。また、第４ＬＣＤ３４ｄは照明装置３の下側に配置されているので、載置面１００に載置された測定対象物Ｗに対してその方向からパターン光を投影する。第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄは測定対象物Ｗに対してそれぞれ異なる方向からパターン光を投影する液晶パネルである。
【０１０３】
尚、図５に示す実施形態２に係る第５〜第８投光部３５〜３８も第１〜第４投光部３１〜３４と同様に構成されている。
【０１０４】
（投光制御部３９による制御）
図９に示すように、この実施形態では、第１ＬＥＤ駆動回路３１ｅ、第２ＬＥＤ駆動回路３２ｅ、第３ＬＥＤ駆動回路３３ｅ、第４ＬＥＤ駆動回路３４ｅ、第１ＬＣＤ駆動回路３１ｆ、第２ＬＣＤ駆動回路３２ｆ、第３ＬＣＤ駆動回路３３ｆ及び第４ＬＣＤ駆動回路３４ｆが共通の投光制御部３９によって制御されるので、これら駆動回路を精密に同期させることができる。同様に、実施形態２の第５〜第８投光部３５〜３８もＬＥＤ駆動回路とＬＣＤ駆動回路とを有しており、精密に同期させることができる。
【０１０５】
図１０に示すように、投光制御部３９は、第１ＬＣＤ３１ｄ、第２ＬＣＤ３２ｄ、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄのうちの任意の一の液晶パネルから複数のパターン光のうちの一のパターン光の投影が完了するまでに、少なくとも次にパターン光を投影する他の液晶パネル上に、次に投影すべきパターンの形成処理を完了させ、前記一の液晶パネルによるパターン光の投影が完了した後に、前記他の液晶パネルに前記次のパターン光を投影する処理を繰り返し実行するように、第１ＬＣＤ３１ｄ、第２ＬＣＤ３２ｄ、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄを制御する。
【０１０６】
具体的には、照明装置３の投光制御部３９には、コントローラ部４から、パターン光の投影を開始するトリガ信号と、パターン光の投影中に撮像装置２との同期を取るための再同期トリガ信号とが入力されるようになっている。トリガ信号は、ＰＬＣ１０１から入力するようにしてもよい。例えば、ＰＬＣ１０１に接続された光電センサ等による検出結果に基づいてトリガ信号を投光制御部３９に入力することができる。トリガ信号を生成する装置は、ＰＬＣ１０１でなくてもよく、光電センサ等であってもよい。この場合、光電センサ等を投光制御部３９に直接接続するか、コントローラ部４を介して接続することができる。
【０１０７】
以下、第１ＬＣＤ３１ｄ、第２ＬＣＤ３２ｄ、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄのパターンの形成と投光順序を図１０に基づいて詳細に説明する。トリガ信号が入力されると、投光制御部３９は、第１ＬＣＤ３１ｄ上に現在形成されているパターン（位相シフト１）を、当該現在の表示形態とは異なるパターン（位相シフト２）に切り替えるように、第１ＬＣＤ駆動回路３１ｆを介して第１ＬＣＤ３１ｄを制御する。ここで、第１ＬＣＤ３１ｄ上のパターンを位相シフト１から位相シフト２に切り替えるためには、第１ＬＣＤ３１ｄを構成している各セグメントの液晶組成物に対する印加電圧を第１ＬＥＤ駆動回路３１ｅが周知の手法によって変化させる。液晶組成物に対する印加電圧を変化させてから当該液晶組成物がその配向を変えるまでの時間は、後述する撮像装置２による撮像間隔よりも長い。つまり、第１ＬＣＤ３１ｄ上に現在形成されているパターン（位相シフト１）を異なるパターン（位相シフト２）に切り替えるには、撮像装置２による撮像間隔よりも長い所定のパターン切り替え時間が必要になる。第２ＬＣＤ３２ｄ、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄも同様に、パターンを位相シフト１から位相シフト２に順に切り替えるための時間が必要になる。
【０１０８】
第１ＬＣＤ３１ｄ上にパターン（位相シフト１）が完全に形成されている間に、そのパターン（位相シフト１）の形成と同期して第１ＬＥＤ３１ｂから光を出射し、第２ＬＥＤ３２ｂ、第３ＬＥＤ３３ｂ及び第４ＬＥＤ３４ｂからは光を出射させないように制御する。これにより、第１ＬＣＤ３１ｄ上に形成されているパターン（位相シフト１）のみがパターン光として測定対象物Ｗに投影されるので、第２ＬＣＤ３２ｄ、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄ上に形成されているパターンは、測定対象物Ｗへ投影されることはない。
【０１０９】
第１ＬＣＤ３１ｄ上にパターン（位相シフト１）が形成されている時間は、第２ＬＣＤ３２ｄ上にパターンを形成するためのパターン切り替え時間の一部である。第２ＬＣＤ３２ｄ上にパターンを形成するため時間は、第１ＬＣＤ３１ｄ上にパターン（位相シフト１）が形成されている時間よりも長くなっており、具体的には、第１ＬＣＤ３１ｄ上にパターン（位相シフト１）の形成が完了するよりも前から始まっている。
【０１１０】
測定対象物Ｗに投影されているパターン（位相シフト１）のパターン光の撮像が完了すると、第２ＬＣＤ３２ｄ上にパターン（位相シフト１）が完全に形成されている間に、パターン（位相シフト１）の形成と同期して第２ＬＥＤ３２ｂから光を出射し、第１ＬＥＤ３１ｂ、第３ＬＥＤ３３ｂ及び第４ＬＥＤ３４ｂからは光を出射させないように制御する。これにより、第２ＬＣＤ３２ｄ上に形成されているパターン（位相シフト１）のみがパターン光として測定対象物Ｗに投影される。
【０１１１】
第２ＬＣＤ３２ｄ上にパターン（位相シフト１）が形成されている時間は、第３ＬＣＤ３３ｄ上にパターンを形成するための切り替え時間の一部である。第３ＬＣＤ３３ｄ上にパターン（位相シフト１）を形成するため時間は、第２ＬＣＤ３２ｄ上にパターン（位相シフト１）が形成されている時間よりも長くなっており、具体的には、第１ＬＣＤ３１ｄ上にパターン（位相シフト１）の形成が完了するよりも前から始まっている。
【０１１２】
測定対象物Ｗに投影されているパターン（位相シフト１）のパターン光の撮像が完了すると、第３ＬＣＤ３３ｄ上にパターン（位相シフト１）が完全に形成されている間に、パターン（位相シフト１）の形成と同期して第３ＬＥＤ３３ｂから光を出射し、第１ＬＥＤ３１ｂ、第２ＬＥＤ３２ｂ及び第４ＬＥＤ３４ｂからは光を出射させないように制御する。これにより、第３ＬＣＤ３３ｄ上に形成されているパターン（位相シフト１）のみがパターン光として測定対象物Ｗに投影される。
【０１１３】
第３ＬＣＤ３３ｄ上にパターン（位相シフト１）が形成されている時間は、第４ＬＣＤ３４ｄ上にパターン（位相シフト１）を形成するための切り替え時間の一部である。第４ＬＣＤ３４ｄ上にパターン（位相シフト１）を形成するため時間は、第３ＬＣＤ３３ｄ上にパターン（位相シフト１）が形成されている時間よりも長くなっており、具体的には、第１ＬＣＤ３１ｄ上にパターン（位相シフト１）の形成が完了するよりも前から始まっている。
【０１１４】
測定対象物Ｗに投影されているパターン（位相シフト１）のパターン光の撮像が完了すると、第４ＬＣＤ３４ｄ上にパターン（位相シフト１）が完全に形成されている間に、パターン（位相シフト１）の形成と同期して第４ＬＥＤ３４ｂから光を出射し、第１ＬＥＤ３１ｂ、第２ＬＥＤ３２ｂ及び第３ＬＥＤ３３ｂからは光を出射させないように制御する。これにより、第４ＬＣＤ３４ｄ上に形成されているパターン（位相シフト１）のみがパターン光として測定対象物Ｗに投影される。このパターンが形成されている時間の一部は、第１ＬＣＤ３１ｄ上に次のパターン（位相シフト２）を形成するための切り替え時間の一部である。
【０１１５】
つまり、この実施形態では、第１ＬＣＤ３１ｄ、第２ＬＣＤ３２ｄ、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄのうち、一の液晶パネルによる複数のパターン光の投影を順次連続して行うのではなく、一の液晶パネルによる１番目のパターン光の投影が完了すると、別の液晶パネルによる１番目のパターン光の投影を行い、その別の液晶パネルによる１番目のパターン光の投影が完了すると、更に別の液晶パネルによる１番目のパターン光の投影を行い、そのようにして１番目のパターン光の投影が全ての液晶パネルで完了すると、前記一の液晶パネルによる２番目のパターン光の投影を行い、前記一の液晶パネルによる２番目のパターン光の投影が完了すると、前記別の液晶パネルによる２番目のパターン光の投影を行い、その別の液晶パネルによる２番目のパターン光の投影が完了すると、更に別の液晶パネルによる２番目のパターン光の投影を行うように、第１ＬＣＤ３１ｄ、第２ＬＣＤ３２ｄ、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄを制御する。したがって、パターン光の投影を行っていない液晶パネルでは、次に投影するパターンの形成準備を行うことができるので、液晶パネルの応答速度の遅さをカバーすることができる。
【０１１６】
前記した例では、第１ＬＣＤ３１ｄ、第２ＬＣＤ３２ｄ、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄの全てでパターン光を投影する場合について説明したが、これに限らず、第１ＬＣＤ３１ｄ及び第２ＬＣＤ３２ｄのみでパターン光を投影すること、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄのみでパターン光を投影することもできる。第１ＬＣＤ３１ｄ及び第２ＬＣＤ３２ｄのみでパターン光を投影する場合には、パターン光の投影を交互に行えばよく、例えば、第１ＬＣＤ３１ｄで１番目のパターン光の投影を行っている間に、第２ＬＣＤ３２ｄ上に１番目のパターンの形成処理を行い、その後、第２ＬＣＤ３２ｄで１番目のパターン光の投影を行っている間に、第１ＬＣＤ３１ｄ上に２番目のパターンの形成処理を行い、これを繰り返す。第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄのみでパターン光を投影する場合も同様である。
【０１１７】
投光制御部３９には、トリガ信号及び再同期トリガ信号以外にも、コントローラ部４からパターン光の形成情報も送信され、送信されたパターン光の形成情報は、一旦、投光制御部３９に記憶されて、このパターン光の形成情報に基づいて、第１ＬＥＤ３１ｂ、第２ＬＥＤ３２ｂ、第３ＬＥＤ３３ｂ及び第４ＬＥＤ３４ｂと、第１ＬＣＤ３１ｄ、第２ＬＣＤ３２ｄ、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄとを制御する。
【０１１８】
パターン光の形成情報には、例えば、照射モード、空間コード用のパターン光の照射の有無、空間コード用のパターン光の具体的なパターン及び数、位相シフト法用のパターン光の照射の有無、位相シフト法用のパターン光の具体的なパターン及び数、パターン光の照射順等が含まれている。照射モードには、第１ＬＣＤ３１ｄ及び第２ＬＣＤ３２ｄのみでパターン光を照射して測定対象物Ｗに投影する第１照射モードと、第１ＬＣＤ３１ｄ、第２ＬＣＤ３２ｄ、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄの全てでパターン光を投影する第２照射モードと、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄのみでパターン光を照射して測定対象物Ｗに投影する第３照射モードとが含まれている。
【０１１９】
（パターン光の照射順）
図１１は、パターン光の照射順の例を示しており、また、図１２は、パターン光の逆位相同士の投光間隔を示している。パターン光の照射順について説明する前に、外乱光の影響について図１３及び図１４に基づいて説明する。図１３は、載置面１００に載置された測定対象物Ｗの表面における外乱光の明るさの変化を経時的に示したグラフである。測定対象物Ｗの表面には、照明装置３から照射される光だけでなく、周囲に設置された別の照明装置から照射される光や太陽光が届くことがある。照明装置３以外から測定対象物Ｗの表面に照射される光は外乱光である。外乱光の光源と測定対象物Ｗとの間に一時的に物体が通過した場合や、外乱光の光源から照射される光の強度が変化した場合には、測定対象物Ｗの表面に照射される外乱光の明るさが変化することになる。この外乱光の明るさの変動は、図１３に示すように、時間ｔ１のときに変動幅がｂ１であったとすると、時間ｔ２になると変動幅がｂ２に大幅に拡大する。つまり、時間が長くなればなるほど、測定対象物Ｗの表面に照射される外乱光の明るさの変動が大きくなる可能性がある。
【０１２０】
この実施形態では、上述したように、１つの測定対象物Ｗに対して位相シフトしたパターン光を多数照射し、その都度、パターン画像を生成するので、１つの測定対象物Ｗを測定する時間が長くなる。したがって、外乱光の明るさの変動が大きくなりやすい。
【０１２１】
外乱光の明るさの変動が大きくなると、図１４に示すように、外乱光の明るさ変動によって生じる位相計算誤差が問題となる。この図に示すように、誤差は正弦波に近いうねり形状になり、この誤差の大きさが外乱光の明るさの変動度合いによって変動し、また、測定対象物Ｗの平面部においてこのような誤差が生じると規則的な波形となって現れ、使用者の目につきやすく、誤判定の原因となり得る。
【０１２２】
特に、大型の撮像装置２の場合、外乱光がパターン光の光量比で大きくなりやすいので位相計算誤差が大きくなってしまうが、大型の撮像装置２になると遮光対策が取りにくく、外乱光の明るさ変動によって生じる誤差を減少させる必要性が高くなる。
【０１２３】
図１１には、ある１方向についての撮像連番として、位相シフト投光０〜７までの８つがある場合を示している。第１投光モードは、０°、４５°、９０°、１３５°、１８０°、２２５°、２７０°、３１５°の８つのパターンであり、これらが位相シフト投光０〜７に対応している。従って、位相が０°のパターン光を投光した後、位相が４５°のパターン光を投光、その後、位相が９０°のパターン光を投光し、これを１３５°、１８０°、２２５°、２７０°、３１５°の順に繰り返す。位相シフトの回数は８回以外の回数であってもよく、例えば４回、６回等であってもよい。
【０１２４】
図１２は、図１１に示した第１投光モードと第２投光モードのそれぞれについて、パターンを投影してから、逆位相のパターンが投影されるまでの時間間隔を示している。
【０１２５】
第１投光モードの場合、図１２に示すように、照明方向を切り替えない場合には、逆位相のパターンが撮像されるまでの撮像間隔が４撮像となり、これが２方向の照明を切り替えてパターンを位相シフトさせる場合だと８撮像、４方向毎だと１６撮像、８方向毎だと３２撮像になるので、逆位相となる撮像間隔が長くなる。よって、上述した外乱光の明るさ変動によって生じる誤差が顕著になりやすい。
【０１２６】
互いに逆位相同士のパターンが投影される時間間隔が重要になるのは、以下の式によって位相計算を行うからである。尚、以下の式は、４回撮像を行った場合の式であるが、６回や８回などの４回以外のケースも、逆位相同士の差分が出てくる数式で記述できる。
【０１２７】
位相φ＝ｔａｎ−１｛（Ｉ２７０°−Ｉ９０°）／（Ｉ０°−Ｉ１８０°）｝
この式で示すように、位相の計算では逆位相同士の差分が重要である。本実施形態では、パターン光の位相が逆位相となる撮像のタイミングを接近させるべく、即ち、パターン光の位相が逆位相となる２回の撮像時における外乱光の明るさ変動を極小化するべく、図１１に示す第２投光モードでの投光を実行することが可能に構成されている。
【０１２８】
第２投光モードは、０°、１８０°、４５°、２２５°、９０°、２７０°、１３５°、３１５°の８つのパターンであり、これらが位相シフト投光０〜７に対応している。従って、位相が０°のパターン光を投光した後、位相が１８０°のパターン光、即ち０°と逆位相のパターン光を投光、その後、位相が４５°のパターン光を投光した後、位相が２２５°のパターン光、即ち４５°と逆位相のパターン光を投光、その後、位相が９０°のパターン光を投光した後、位相が２７０°のパターン光、即ち９０°と逆位相のパターン光を投光、その後、位相が１３５°のパターン光を投光した後、位相が３１５°のパターン光、即ち１３５°と逆位相のパターン光を投光する。０°のパターン光と１８０°のパターン光が逆位相のペアになり、４５°のパターン光と２２５°のパターン光が逆位相のペアになり、９０°のパターン光と２７０°のパターン光が逆位相のペアになり、１３５°のパターン光と３１５°のパターン光が逆位相のペアになる。つまり、奇数番目に投光されるパターン光の位相と、偶数番目に投光されるパターン光の位相とが逆位相の関係になっている。
【０１２９】
尚、パターン光の投光順は上述した順番に限られるものではなく、逆位相のペアを維持した状態であれば変更してもよい。例えば、パターン光の投光順としては、位相が０°、１８０°、４５°、２２５°、２７０°、９０°、１３５°、３１５°の順であってもよいし、０°、１８０°、２２５°、４５°、９０°、２７０°、３１５°、１３５°の順であってもよい。これらの場合もパターン光を逆位相連続で照射することができる。
【０１３０】
第２投光モードの場合、図１２に示すように、照明方向を切り替えずに位相シフトするケースでは、逆位相のパターンが撮像されるまでの撮像間隔が１撮像となり、これが２方向毎だと２撮像、４方向毎だと４撮像、８方向毎だと８撮像になるので、パターン光が逆位相となる撮像間隔が短くなる。具体的には、第１投光位相の場合に比べて第２投光位相では逆位相となる撮像間隔が１／４になる。よって、上述した外乱光の明るさ変動によって生じる誤差が減少する。
【０１３１】
図１３は、１方向のみで撮像する場合と、２方向毎に位相シフトを切り替えて撮像する場合のタイミングチャートである。図１３の上側が２方向毎に位相シフトを切り替える場合の例であり、図１３の下側が１方向のみで撮像する場合の例である。２方向毎に位相シフトを切り替える場合は、ある方向（仮に上方向とする）から投光する場合に「位相シフト０」で投光して撮像が完了した後、上方向のＬＣＤの切り替えを行う。上方向のＬＣＤの切り替えを行う間に、投光方向を別の方向（仮に下方向とする）に切り替えて「位相シフト０」で投光して撮像する。上方向のＬＣＤの切り替えが完了すると、上方向の「位相シフト１」を投光して撮像する。これが繰り返される。このように、２方向の場合は投光方向を切り替えながら、位相シフトも行うので、一方のＬＣＤの切り替えを行っている間に他方のＬＣＤによってパターン光を投光することができる。
【０１３２】
１方向のみで撮像する場合は、「位相シフト０」で投光して撮像が完了した後、そのＬＣＤの切り替えを行う。ＬＣＤの切り替えが完了した後、「位相シフト１」を投光して撮像する。
【０１３３】
位相誤差の減少について図１６に示すグラフに基づいて説明する。上側のグラフの横軸は、外乱光の明るさの変動周期であり、パターン光の投光時間間隔比で示している。外乱光は、インパルス的な変動外乱光、ここでは正弦半波という信号を外乱光として仮定している。横軸の右に行くほどゆっくりとした外乱光変動になる。撮像が高速であるため、一般的に起こり得る変動外乱光はグラフのかなり右寄りの部分に近い。グラフの縦軸は、位相誤差である。第２投光位相（逆位相連続）の場合は、外乱光の明るさの変動周期が投光時間間隔比で３を超えたあたりから、第１投光位相（４５°間隔）に比べて位相誤差が大幅に減少し、グラフの右寄りの領域においても位相誤差を減少させることができる。図１６の下側のグラフについては、横軸は上側のグラフの横軸と同じであるが、縦軸は位相誤差を第１投光位相と第２投光位相との比で表している。第２投光位相の場合は、外乱光の明るさの変動周期が投光時間間隔比で４を超えたあたりから、第１投光位相に比べて位相誤差が３０％以下に減少する。これにより、遮光対策を施すことなく、また、撮像装置２にバンドパスフィルタを適用するといった対策を採ることなく、位相誤差を極小化することができ、その結果、検査精度を高めることができるとともに、検査の安定性を高めることができる。
【０１３４】
（撮像装置２の構成）
図１等に示すように、撮像装置２は、照明装置３とは別体に設けられている。図１に示すように撮像装置２とコントローラ部４とは接続線２ａによって接続されているが、撮像装置２とコントローラ部４とは無線接続するようにしてもよい。
【０１３５】
撮像装置２は、画像処理装置１の一部を構成するものであることから、撮像部ということもできる。撮像装置２が照明装置３とは別体に設けられているので、撮像装置２と照明装置３とを別々に設置することができる。よって、撮像装置２の設置場所と照明装置３の設置場所とを変えること、撮像装置２の設置場所と照明装置３の設置場所とを離すことができる。これにより、撮像装置２及び照明装置３の設置時の自由度を大きく向上させ、あらゆる生産現場等へ画像処理装置１を導入することが可能になる。
【０１３６】
尚、撮像装置２の設置場所と照明装置３の設置場所と同じにすることができる現場であれば、撮像装置２と照明装置３とを同じ部材に取り付けることもでき、設置状態は使用者が現場に応じて任意に変更することができる。また、撮像装置２と照明装置３とを同じ部材に取り付けて一体化して使用することもできる。
【０１３７】
撮像装置２は、照明装置３の照明ハウジング３０の上方、即ちパターン光の出射方向とは反対側において、照明ハウジング３０の開口部３０ａを覗くように配置されている。したがって、撮像装置２は、照明装置３の照明ハウジング３０の開口部３０ａを介して、測定対象物Ｗから反射した第１測定用パターン光を受光して複数の第１パターン画像を生成するとともに、測定対象物Ｗから反射した第２測定用パターン光を受光して複数の第２パターン画像を生成することができる。また、照明装置３が第３投光部３３及び第４投光部３４を有している場合には、撮像装置２は、照明装置３の照明ハウジング３０の開口部３０ａを介して、測定対象物Ｗから反射した第３測定用パターン光を受光して複数の第３パターン画像を生成するとともに、測定対象物Ｗから反射した第４測定用パターン光を受光して複数の第４パターン画像を生成することができる。同様に、第５〜第８投光部３５〜３８を有している場合には、第５〜第８パターン画像を生成することもできる。
【０１３８】
図３に示すように、撮像装置２は、光学系を構成するレンズ２１と、レンズ２１から入射した光を受光する受光素子からなる撮像素子２２とを備えており、レンズ２１及び撮像素子２２によって、いわゆるカメラが構成されている。レンズ２１は、測定対象物Ｗ上の少なくとも高さ測定エリアまたは検査対象エリアを撮像素子２２に結像させるための部材である。レンズ２１の光軸と、照明装置３の照明ハウジング３０の開口部３０ａの中心軸Ａとを一致させてもよいが、一致させなくてもよい。また、撮像装置２と照明装置３との中心軸Ａ方向の距離は、撮像装置２による撮像を照明装置３が妨げない範囲で任意に設定することができ、設置の自由度が高く設計されている。
【０１３９】
また、撮像素子２２としては、ＣＣＤやＣＭＯＳセンサ等を利用することができる。撮像素子２２は、測定対象物Ｗからの反射光を受光して画像を取得し、取得した画像データをデータ処理部２４に出力する。この例では撮像素子２２として高解像度のＣＭＯＳセンサを利用している。尚、カラーで撮像可能な撮像素子を利用することもできる。撮像素子２２は、パターン投影画像以外に、通常の輝度画像を撮像することもできる。通常の輝度画像を撮像する場合には、前記照明装置３の全てのＬＥＤ３１ｂ、３２ｂ、３３ｂ、３４ｂを点灯させるとともに、パターン光を形成しないように全てのＬＣＤ３１ｄ、３２ｄ、３３ｄ、３４ｄを制御すればよい。図５及び図６に示すような一様光用照明５０がある場合にはそれを利用して通常の輝度画像を撮像装置２で撮像することもできる。
【０１４０】
撮像装置２は、前記カラーカメラの他、露光制御部２３と、データ処理部２４と、位相計算部２６と、画像処理部２７と、画像記憶部２８と、出力制御部２９とを更に備えている。データ処理部２４、位相計算部２６、画像処理部２７及び画像記憶部２８は、撮像装置２に内蔵されている共通のバスライン２５に接続されていて相互にデータの送受信が可能になっている。露光制御部２３、データ処理部２４、位相計算部２６、画像処理部２７、画像記憶部２８及び出力制御部２９は、ハードウェアで構成することもできるし、ソフトウェアで構成することもできる。
【０１４１】
（露光制御部２３の構成）
露光制御部２３には、コントローラ部４から、撮像を開始するトリガ信号と、撮像中に照明装置３との同期を取るための再同期トリガ信号とが入力されるようになっている。露光制御部２３に入力されるトリガ信号及び再同期トリガ信号は、照明装置３に入力されるトリガ信号及び再同期トリガ信号と同じタイミングとなるように、入力タイミングが設定されている。
【０１４２】
露光制御部２３は、撮像素子２２を直接制御する部分であり、露光制御部２３に入力されたトリガ信号及び再同期トリガ信号によって撮像素子２２の撮像タイミング及び露光時間を制御する。露光制御部２３には、コントローラ部４から撮像条件に関する情報が入力されて記憶されるようになっている。撮像条件に関する情報には、例えば、撮像回数、撮像間隔（撮像後、次の撮像を行うまでの時間）、撮像時の露光時間（シャッタースピード）等が含まれている。
【０１４３】
コントローラ部４から送出されるトリガ信号の入力によって露光制御部２３が撮像素子２２に撮像を開始させる。この実施形態では、１回のトリガ信号の入力によって複数のパターン画像を生成する必要があることから、撮像中に再同期トリガ信号がコントローラ部４から入力され、この再同期トリガ信号の入力によって照明装置３との同期を取ることができるようになっている。
【０１４４】
具体的には、第１ＬＣＤ３１ｄ上に完全に形成されているパターンがパターン光として測定対象物Ｗに投影されている間に、撮像素子２２が撮像（露光）するように、露光制御部２３が撮像素子２２を制御する。露光時間と、パターンがパターン光として測定対象物Ｗに投影されている時間とは、同じにすることができるが、露光開始のタイミングを、パターン光が投影開始されたタイミングよりも若干遅くしてもよい。
【０１４５】
その後、第２ＬＣＤ３２ｄ上に形成されているパターンがパターン光として測定対象物Ｗに投影されている間に、撮像素子２２が撮像するように、露光制御部２３が撮像素子２２を制御する。この撮像が完了すると、第３ＬＣＤ３３ｄ上に形成されているパターンがパターン光として測定対象物Ｗに投影されている間に、撮像素子２２が撮像するように、露光制御部２３が撮像素子２２を制御する。その後、第４ＬＣＤ３４ｄ上に形成されているパターンがパターン光として測定対象物Ｗに投影されている間に、撮像素子２２が撮像するように、露光制御部２３が撮像素子２２を制御する。これを繰り返すことにより、複数の第１パターン画像、複数の第２パターン画像、複数の第３パターン画像及び複数の第４パターン画像を生成する。
【０１４６】
撮像素子２２は、撮像を完了すると、その都度、画像データをデータ処理部２４に転送する。尚、画像データは、図３に示す画像記憶部２８に記憶させておくことができる。すなわち、撮像素子２２による撮像タイミングと、コントローラ部４の画像の要求タイミングとは一致していないので、このズレを吸収するバッファとして画像記憶部２８が機能するようになっている。
【０１４７】
撮像と次の撮像との間に、画像データを図３に示すデータ処理部２４に転送するようにしているが、これに限らず、例えば、撮像とデータ転送とを並行して行うこともできる。あるパターン光が照射されている測定対象物Ｗの撮像が完了すると、次のパターンのパターン光が照射されている測定対象物Ｗの撮像を行っているときに、前のパターンの画像データをデータ処理部２４に転送する。このように、前回撮像した画像データを次の撮像時にデータ処理部２４に転送することもできる。
【０１４８】
また、あるパターンのパターン光が照射されている測定対象物Ｗを複数回撮像することもできる。この場合、第１ＬＥＤ３１ｂは、撮像素子２２による撮像時にのみ点灯させることができる。撮像素子２２の露光時間は、１回目の撮像時が２回目の撮像時よりも長くなるように設定することができるが、２回目の撮像時が１回目の撮像時よりも長くなるように設定することもできる。他のパターンのパターン光が照射されている測定対象物Ｗを撮像するときも、複数回撮像できる。これにより、複数のパターン光の内の一のパターン光が測定対象物Ｗに投影されている間に、露光時間が異なる複数の画像を生成することができる。この露光時間が異なる複数の画像は、後述するハイダイナミックレンジ処理を行う際に使用される。尚、あるパターンのパターン光が照射されている測定対象物Ｗを複数回撮像する間、第１ＬＥＤ３１ｂを点灯させ続けてもよい。
【０１４９】
（データ処理部２４の構成）
図３に示すデータ処理部２４は、撮像素子２２から出力される画像データに基づいて複数のパターン画像セットを生成する。撮像素子２２が第１パターン画像を複数生成すると、データ処理部２４は、複数の第１パターン画像からなる第１パターン画像セットを生成する。同様に、複数の第２パターン画像からなる第２パターン画像セットを生成し、複数の第３パターン画像からなる第３パターン画像セットを生成し、複数の第４パターン画像からなる第４パターン画像セットを生成する。したがって、撮像装置２は、各液晶パネルから投影された複数のパターン光の測定対象物Ｗからの反射光をそれぞれ受光し、各液晶パネルにそれぞれ対応する複数のパターン画像セットを生成することができる。
【０１５０】
第１ＬＣＤ３１ｄ及び第２ＬＣＤ３２ｄのみでパターン光を投影する場合には、第１パターン画像セットと第２パターン画像セットとが生成される。第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄのみでパターン光を投影する場合には、第３パターン画像セットと第４パターン画像セットとが生成される。
【０１５１】
データ処理部２４は、位相シフト法にしたがうパターン光の投影によって位相シフトパターン画像セットを生成するとともに、空間コード法にしたがうパターン光の投影によってグレーコードパターン画像セットを生成することができる。
【０１５２】
位相シフト法にしたがうパターン光は、照度分布を例えば正弦波状に変動させたパターン光であるが、これ以外のパターン光であってもよい。この実施形態では、位相シフト法にしたがうパターン光の数を８としているが、これに限られるものではない。一方、空間コード法にしたがうパターン光は、白黒デューティ比５０％で縞幅が全体の半分、４分の１、…と細かくなっていく縞パターンである。この実施形態では、空間コード法にしたがうパターン光の数を４としているが、これに限られるものではない。尚、この例で説明しているパターンは、グレーコードを空間コードとして利用する場合であり、縞幅を半々にしていくことによってパターン光を形成するのはグレーコードの目的ではないが、結果としてそうなっているだけである。またグレーコードは、隣接コードとのハミング距離＝１とすることでノイズ耐性を考慮したコード方式の一種である。
【０１５３】
図１７に示すように、照明装置３の第１投光部３１が空間コード法にしたがう４つのパターン光を測定対象物Ｗに照射した場合には、データ処理部２４が４つの異なる画像からなるグレーコードパターン画像セットを生成する。また、照明装置３の第１投光部３１が位相シフト法にしたがう８つのパターン光を測定対象物Ｗに照射した場合には、データ処理部２４が８つの異なる画像からなる位相シフトパターン画像セットを生成する。第１投光部３１によるパターン光の照射によって得られたグレーコードパターン画像セット及び位相シフトパターン画像セットは、共に、第１パターン画像セットである。
【０１５４】
同様に、照明装置３の第２投光部３２が空間コード法にしたがうパターン光を測定対象物Ｗに照射した場合には、グレーコードパターン画像セットが生成され、また、位相シフト法にしたがうパターン光を測定対象物Ｗに照射した場合には、位相シフトパターン画像セットが生成される。第２投光部３２によるパターン光の照射によって得られたグレーコードパターン画像セット及び位相シフトパターン画像セットは、共に、第２パターン画像セットである。
【０１５５】
同様に、照明装置３の第３投光部３３が空間コード法にしたがうパターン光を測定対象物Ｗに照射した場合には、グレーコードパターン画像セットが生成され、また、位相シフト法にしたがうパターン光を測定対象物Ｗに照射した場合には、位相シフトパターン画像セットが生成される。第３投光部３３によるパターン光の照射によって得られたグレーコードパターン画像セット及び位相シフトパターン画像セットは、共に、第３パターン画像セットである。
【０１５６】
同様に、照明装置３の第４投光部３４が空間コード法にしたがうパターン光を測定対象物Ｗに照射した場合には、グレーコードパターン画像セットが生成され、また、位相シフト法にしたがうパターン光を測定対象物Ｗに照射した場合には、位相シフトパターン画像セットが生成される。第４投光部３４によるパターン光の照射によって得られたグレーコードパターン画像セット及び位相シフトパターン画像セットは、共に、第４パターン画像セットである。
【０１５７】
前記各パターン画像セットは、図３に示す画像記憶部２８に記憶させておくことができる。
【０１５８】
図３に示すように、データ処理部２４は、ＨＤＲ処理部２４ａを有している。ＨＤＲ処理とは、ハイダイナミックレンジ（high dynamic range imaging）合成処理のことであり、このＨＤＲ処理部２４ａにおいて、露光時間が異なる複数の画像を合成する。すなわち、上述したように、あるパターンのパターン光が照射されている測定対象物Ｗを、露光時間を変えて複数回撮像した場合には、露光時間の異なる複数の輝度画像が得られることになり、これら輝度画像を合成することで各輝度画像のダイナミックレンジよりも広いダイナミックレンジを有する画像を生成することができる。ＨＤＲ合成の手法については従来から周知の手法を用いることができる。露光時間を変化させる代わりに、照射する光の強度を変化させることによって明るさの異なる複数の輝度画像を得て、これら輝度画像を合成してもよい。
【０１５９】
（位相計算部２６の構成）
図３に示す位相計算部２６は、高さ画像の元データとなる絶対位相画像を算出する部分である。図１８に示すように、ステップＳＡ１において、位相シフトパターン画像セットの各画像データを取得し、位相シフト法を利用することにより、相対位相計算処理を行う。これは相対位相（Unwrapping前位相）のように表現することができ、ステップＳＡ１の相対位相計算処理により位相画像が得られる。
【０１６０】
一方、図１８のステップＳＡ３において、グレーコードパターン画像セットの各画像データを取得し、空間コード法を利用することにより、空間コード算出処理を行い、縞番号画像を得る。縞番号画像は、光が照射される空間を多数の小空間に分けた場合に、小空間に一連の空間コード番号を付して識別可能にした画像である。
【０１６１】
図１８のステップＳＡ４では絶対位相位相化処理を行う。絶対位相位相化処理では、ステップＳＡ１において得られた位相画像と、ステップＳＡ３において得られた縞番号画像とを合成（Unwrapping）して絶対位相画像（中間画像）を生成する。つまり、空間コード法によって得た空間コード番号により、位相シフト法による位相ジャンプの補正（位相アンラップ）ができるので、高さのダイナミックレンジを広く確保しつつ、高分解能な測定結果を得ることができる。
【０１６２】
位相シフト法のみで高さ測定を行うようにしてもよい。この場合は、高さの測定ダイナミックレンジが狭くなるので、位相が１周期以上ずれてしまうような高さの相違が大きい測定対象物Ｗの場合は、高さの測定が正しく行えない。逆に、高さの変化が小さな測定対象物Ｗの場合は、空間コード法による縞画像の撮像や合成を行わないので、その分だけ処理を高速化することができるメリットがある。例えば、高さ方向の差異が少ない測定対象物Ｗを測定する際には、ダイナミックレンジを大きく取る必要がないため、位相シフト法のみでも高精度な高さ測定性能を維持しつつ、処理時間を短くすることができる。また、絶対高さは判るので空間コード法のみで高さ測定するように構成してもよい。この場合、コードを増やすことによって精度を高めることができる。
【０１６３】
また、図１８のステップＳＡ２では、位相シフトパターン画像セットの各画像データを取得し、信頼度画像算出処理を行う。信頼度画像算出処理では、位相信頼性を示す信頼度画像を算出する。これは無効画素の判定に利用することができる画像である。
【０１６４】
前記位相画像、縞番号画像及び信頼度画像は、図３に示す画像記憶部２８に記憶させておくことができる。
【０１６５】
位相計算部２６が生成する絶対位相画像は、各画素が測定対象物Ｗへの測定用パターン光の照射角度情報を有する角度画像ということもできる。すなわち、第１パターン画像セット（位相シフトパターン画像セット）には、正弦波縞模様パターンの位相をずらして撮像した８枚の第１パターン画像が含まれているので、位相シフト法を利用することによって測定対象物Ｗへの測定用パターン光の照射角度情報を各画素が有することになる。つまり、位相計算部２６は、複数の第１パターン画像に基づいて、各画素が測定対象物Ｗへの第１測定用パターン光の照射角度情報を有する第１角度画像を生成する部分であるので、角度画像生成部ということもできる。第１角度画像は、第１ＬＥＤ３１ｂから測定対象物Ｗへ照射される光の角度を画像化した画像である。
【０１６６】
同様に、位相計算部２６は、複数の第２パターン画像に基づいて各画素が測定対象物Ｗへの第２測定用パターン光の照射角度情報を有する第２角度画像と、複数の第３パターン画像に基づいて各画素が測定対象物Ｗへの第３測定用パターン光の照射角度情報を有する第３角度画像と、複数の第４パターン画像に基づいて各画素が測定対象物Ｗへの第４測定用パターン光の照射角度情報を有する第４角度画像とを生成することができる。第２角度画像は、第２ＬＥＤ３２ｂから測定対象物Ｗへ照射される光の角度を画像化した画像である。第３角度画像は、第３ＬＥＤ３３ｂから測定対象物Ｗへ照射される光の角度を画像化した画像である。第４角度画像は、第４ＬＥＤ３４ｂから測定対象物Ｗへ照射される光の角度を画像化した画像である。図１７における中間画像の最も上の画像が第１角度画像であり、上から２番目の画像が第２角度画像であり、上から３番目の画像が第３角度画像であり、一番下の画像が第４角度画像である。各角度画像の真っ黒に塗りつぶされたように見える部分が照明（前記各ＬＥＤ）の影になっている部分であり、角度情報の無い無効画素となる。
【０１６７】
（画像処理部２７の構成）
画像処理部２７は、前記各パターン画像、位相画像、縞番号画像及び信頼度画像に対して、例えば、ガンマ補正、ホワイトバランスの調整、ゲイン補正等の画像処理を行う部分である。画像処理後の各パターン画像、位相画像、縞番号画像及び信頼度画像を画像記憶部２８に記憶させておくこともできる。画像処理は上述した処理に限られるものではない。
【０１６８】
（出力制御部２９の構成）
出力制御部２９は、コントローラ部４から出力された画像出力要求信号を受信すると、その画像出力要求信号に従い、画像記憶部２８に記憶されている画像の内、画像出力要求信号で指示された画像のみ、画像処理部２７を介してコントローラ部４に出力する部分である。この例では、画像処理前の各パターン画像、位相画像、縞番号画像及び信頼度画像を画像記憶部２８に記憶させておき、コントローラ部４からの画像出力要求信号で要求された画像に対してのみ、画像処理部２７で画像処理を行い、コントローラ部４に出力する。画像出力要求信号は、使用者が各種測定操作や検査操作を行った時に出力することができる。
【０１６９】
この実施形態では、データ処理部２４、位相計算部２６及び画像処理部２７を撮像装置２に設けたが、これに限らず、コントローラ部４に設けてもよい。この場合、撮像素子２２から出力された画像データはコントローラ部４に出力されて処理されることになる。
【０１７０】
（コントローラ部４の構成）
図２に示すように、コントローラ部４は、撮像投光制御部４１と、高さ測定部４２と、画像合成部４３と、検査部４５と、表示制御部４６とを備えている。コントローラ部４は、撮像装置２及び照明装置３とは別体に設けられている。
【０１７１】
（撮像投光制御部４１の構成）
撮像投光制御部４１は、前記パターン光の形成情報、トリガ信号及び再同期トリガ信号を、照明装置３に所定のタイミングで出力するとともに、前記撮像条件に関する情報、トリガ信号及び再同期トリガ信号を、撮像装置２に所定のタイミングで出力する。照明装置３に出力するトリガ信号及び再同期トリガ信号と、撮像装置２に出力するトリガ信号及び再同期トリガ信号とは同期している。前記パターン光の形成情報及び前記撮像条件に関する情報は、例えば撮像投光制御部４１や、別の記憶部（図示せず）に記憶させておくことができる。使用者が所定の操作（高さ測定準備操作、検査準備操作）を行うことで、前記パターン光の形成情報が照明装置３に出力されて照明装置３の投光制御部３９に一旦記憶され、また、前記撮像条件に関する情報撮像装置２に出力されて露光制御部２３に一旦記憶される。この例では、照明装置３は、該照明装置３に内蔵されている投光制御部３９でＬＥＤ及びＬＣＤの制御を行うように構成されているので、スマートタイプの照明装置と呼ぶことができる。また、撮像装置２は、該撮像装置２に内蔵されている露光制御部２３で撮像素子２２の制御を行うように構成されているので、スマートタイプの撮像装置と呼ぶことができる。
【０１７２】
このように撮像装置２及び照明装置３が個別に制御を行う場合には、撮像回数が増えれば増えるほど、撮像タイミングと、照明タイミング（パターン光の投影タイミング）とがずれて、撮像装置２によって得られた画像が暗くなってしまうという問題がある。特に、上述したように、位相シフトパターン画像セットの画像が８つ、グレーコードパターン画像セットが４つの合計１２の画像で第１パターン画像セットを構成し、第２パターン画像セットも同様に構成し、さらにＨＤＲ用の撮像も行うようにすると、撮像回数が多くなり、撮像タイミングと、照明タイミングとのズレが顕著になる。
【０１７３】
この例では、再同期トリガ信号を照明装置３と撮像装置２に同期して出力するようにしており、これにより、撮像の途中で照明装置３と撮像装置２との同期を取ることができるようにしている。よって、撮像回数が多くなったとしても、撮像タイミングと、照明タイミングとのズレが問題とならない程度に極めて小さなものとなり、位相シフトパターンやグレーコードパターンの照射中に画像が暗くなるのを抑制でき、位相の歪みやコードの判定を誤る可能性を低減できる。再同期トリガ信号は、複数回出力することもできる。
【０１７４】
撮像投光制御部４１は、照射モード切替部４１ａを備えている。第１投光部３１及び第２投光部３２によってそれぞれ第１測定用パターン光及び第２測定用パターン光を照射する第１照射モードと、第１投光部３１及び第２投光部３２によってそれぞれ第１測定用パターン光及び第２測定用パターン光を照射した後、第３投光部３３及び第４投光部３４によってそれぞれ第３測定用パターン光及び第４測定用パターン光を照射する第２照射モードと、第３投光部３３及び第４投光部３４によってそれぞれ第３測定用パターン光及び第４測定用パターン光を照射する第３照射モードとの３つの照射モードの内、任意の１つの照射モードに切り替えることができる。照射モードの切替は、使用者が表示部５を見ながら、コンソール部６やマウス７の操作によって行うことができる。また、コントローラ部４が自動で照射モードの切替を行うように構成することもできる。
【０１７５】
（高さ測定部４２の構成）
高さ測定部４２は、位相計算部２６が生成した第１角度画像の各画素の照射角度情報及び第２角度画像の各画素の照射角度情報と、照明装置３の照明ハウジング３０内における第１投光部３１及び第２投光部３２の相対位置情報とにしたがって、照明装置３の中心軸Ａ方向における測定対象物Ｗの高さを測定することができるように構成されている。
【０１７６】
以下、高さ測定部４２による具体的な高さを測定方法について説明する。上述したように、位相のＵｎｗｒａｐによって角度画像を生成することにより、各画素に対する照明からの角度が決まる。第１角度画像は、第１ＬＥＤ３１ｂから測定対象物Ｗへ照射される光の角度を示す画像であり、第２角度画像は、第２ＬＥＤ３２ｂから測定対象物Ｗへ照射される光の角度を示す画像である。そして、第１ＬＥＤ３１ｂと第２ＬＥＤ３２ｂとは照明ハウジング３０に一体的に支持されていて第１ＬＥＤ３１ｂと第２ＬＥＤ３２ｂとの距離は、上述したようにｌ（図７に示す）となっている。
【０１７７】
図７では、測定対象物Ｗにおける任意の点Ｈの高さを求める場合について説明している。第１ＬＥＤ３１ｂの直下を０゜、第１ＬＥＤ３１ｂから４５゜の方向を１としている。また、図１８の右方向を正、左方向を負としている。第１ＬＥＤ３１ｂから点Ｈに照射される光の角度は、第１角度画像における点Ｈに対応する画素から求めることができ、点Ｈと第１ＬＥＤ３１ｂとを結ぶ直線の傾きを１／ａ１とする。また、第２ＬＥＤ３２ｂから点Ｈに照射される光の角度は、第２角度画像における点Ｈに対応する画素から求めることができ、点Ｈと第２ＬＥＤ３２ｂとを結ぶ直線の傾きを−１／ａ２とする。ａ１、ａ２は位相である。
【０１７８】
Ｚ＝１／ａ１＊Ｘ＋０        …  式１
Ｚ＝−１／ａ２＊（Ｘ−ｌ）  …  式２
【０１７９】
式１、式２に対してＺを解くと高さが求まる。
ａ１Ｚ＝Ｘ
ａ２Ｚ＝−Ｘ＋ｌ
Ｚ＝ｌ／（ａ１＋ａ２）
Ｘ＝ａ１＊ｌ／（ａ１＋ａ２）
【０１８０】
このようにして、測定対象物Ｗにおける各点の高さを求めることができる。前記各式には、撮像装置２の位置に関する変数が無いので、測定対象物Ｗにおける各点の高さを求める際には撮像装置２の位置は無関係であることが分かる。但し、角度画像で無効画素となっている画素については角度情報が無いので、その点の高さを求めることはできない。すなわち、算出されるＺ座標は撮像装置２と測定対象物Ｗとの距離ではなく、照明装置３から見た時の測定対象物Ｗまでの距離を示すものになっている。撮像装置２の設置位置とは無関係に、照明装置３の設置位置によって得られるＺ座標が定まる。
【０１８１】
また、図示しないが、同様にして、第３ＬＥＤ３３ｂから点Ｈに照射される光の角度を、第３角度画像における点Ｈに対応する画素から求めることができ、また、第４ＬＥＤ３４ｂから点Ｈに照射される光の角度を、第４角度画像における点Ｈに対応する画素から求めることができるので、第３角度画像及び第４角度画像に基づいて各画素の高さを求めることができる。
【０１８２】
例えば、図１７では、高さ測定部４２は、第１角度画像の各画素の照射角度情報及び第２角度画像の各画素の照射角度情報と、照明ハウジング３０内における第１投光部３１及び第２投光部３２の相対位置情報とにしたがって測定対象物Ｗの高さを表す第１高さ画像を生成するとともに、第３角度画像の各画素の照射角度情報及び第４角度画像の各画素の照射角度情報と、照明ハウジング３０内における第３投光部３３及び第４投光部３４の相対位置情報とにしたがって測定対象物Ｗの高さを表す第２高さ画像を生成した場合を示している。
【０１８３】
第１高さ画像は、各画素の高さを把握することができるので、各種検査を行う際に使用される検査対象画像とすることができる。また、第２高さ画像も各画素の高さを把握することができるので、各種検査を行う際に使用される検査対象画像とすることができる。したがって、高さ測定部４２は、複数の中間画像に基づいて検査対象画像を生成する検査対象画像生成部ということもできる。
【０１８４】
図１７に示す場合では、まず、第１投光部３１によるパターン光の投影によって得られた第１パターン画像セットで第１角度画像を生成し、第２投光部３２によるパターン光の投影によって得られた第２パターン画像セットで第１角度画像を生成する。第１角度画像では、第１投光部３１が測定対象物Ｗの左側から光を照射することになるので、測定対象物Ｗの右側に影ができ、その部分が無効画素となっている。一方、第２角度画像では、第２投光部３２が測定対象物Ｗの右側から光を照射することになるので、測定対象物Ｗの左側に影ができ、その部分が無効画素となっている。第１角度画像と第２角度画像とによって第１高さ画像を生成するので、一方の角度画像で無効画素となっている画素については第１高さ画像においても無効画素となる。
【０１８５】
同様にして、第３投光部３３によるパターン光の投影によって得られた第３パターン画像セットで第３角度画像を生成し、第４投光部３４によるパターン光の投影によって得られた第４パターン画像セットで第４角度画像を生成する。第３角度画像では、第３投光部３３が測定対象物Ｗの上側（図において上になる側）から光を照射することになるので、測定対象物Ｗの下側（図において下になる側）に影ができ、その部分が無効画素となっている。一方、第４角度画像では、第４投光部３４が測定対象物Ｗの下側から光を照射することになるので、測定対象物Ｗの上側に影ができ、その部分が無効画素となっている。第３角度画像と第４角度画像とによって第２高さ画像を生成するので、一方の角度画像で無効画素となっている画素については第２高さ画像においても無効画素となる。無効画素をできるだけ少なくするために、この実施形態では図２に示すようにコントローラ部４に画像合成部４３を設けている。
【０１８６】
この実施形態では、高さ測定部４２をコントローラ部４に設けた場合について説明したが、これに限らず、図示しないが、高さ測定部を撮像装置２に設けてもよい。
【０１８７】
（多重反射の影響低減機能）
高さ測定部４２が上述のようにして測定対象物Ｗの各部位の高さを測定するが、この高さ測定時には測定対象物Ｗの表面でパターン光が多重反射することがあり、多重反射によって高さの測定誤差が生じ得る。本実施形態では、以下に説明するように、多重反射の影響を低減することが可能な機能を搭載している。
【０１８８】
まず、測定対象物Ｗの表面でパターン光が多重反射するケースについて、図１９〜図２２に基づいて説明する。図１９は、測定対象物Ｗの測定箇所の近傍に壁面Ｗ１がある場合を示しており、この壁面Ｗ１は、測定箇所が存在する水平面に対して９０°、即ち略鉛直な面である。この図に示すように、パターン光のうち、正しい高さを与える光線と、壁面Ｗ１で反射した光線（多重反射を与える光線）とが測定箇所に到達すると、本来得られるべき投影パターンとは、異なる投影パターンが観測されて、三角測量による高さ計算が不正な結果となる。この場合、＋方向の誤り高さを与える投光が多重反射で混じって測定されるので、＋方向の誤り高さが得られることになる。
【０１８９】
また、図２０は、測定対象物Ｗの測定箇所が、凹部の側面Ｗ２のように、投光が大きく遮られる奥まった箇所にある場合を示しており、この壁面Ｗ２は略鉛直な面である。この図に示すように、パターン光のうち、正しい高さを与える光線は途中で測定対象物Ｗの一部により遮られて測定箇所に到達せず、壁面Ｗ２で反射した光線（多重反射を与える光線）が測定箇所に到達するので、三角測量による高さ計算が不正な結果になる。この場合、＋方向の誤り高さを与える投光によって高さ計算が行われるので、＋方向の誤り高さが得られることになる。
【０１９０】
また、図２１は、測定対象物Ｗの測定箇所が、穴の壁面Ｗ３のように、直接投光が完全に遮られる箇所にある場合を示しており、この壁面Ｗ３は略鉛直な面である。この図に示すように、パターン光のうち、正しい高さを与える光線は途中で測定対象物Ｗの一部により遮られて測定箇所に到達せず、壁面Ｗ３で反射した光線（多重反射を与える光線）が測定箇所に到達するので、三角測量による高さ計算が不正な結果となる。この場合、＋方向の誤り高さを与える投光によって高さ計算が行われるので、＋方向の誤り高さが得られることになる。
【０１９１】
また、図２２は、測定対象物Ｗの測定箇所が側面Ｗ４にあり、この側面Ｗ４の下側近傍に水平面Ｗ５がある場合を示しており、側面Ｗ４は水平面Ｗ５に対して４５°〜９０°の急峻な傾斜面もしくは鉛直面である。この図に示すように、パターン光のうち、正しい高さを与える光線と、水平面Ｗ５で反射した光線（多重反射を与える光線）とが測定箇所に到達すると、三角測量による高さ計算が不正な結果となる。この場合は、−方向の誤り高さを与える投光が多重反射で混じって測定されるので、−方向の誤り高さが得られることになる。
【０１９２】
図２３は測定対象物Ｗの断面図の一例である。この図に示すように、一般的な工業製品については、面の傾きが水平面に対して０°〜４５°、９０°の角度に偏在している。この測定対象物Ｗの高さ測定を行う場合に多重反射がどのように影響するかについて図２４に基づいて説明する。図２４の一番上の図では、矢印で示すように、パターン光が左上から右下に向けて照射される場合を示している。上から２番目の図では、パターン光が右上から左下に向けて照射される場合を示している。上から３番目の図では、パターン光が紙面手前側から奥側へ向けて斜め下に照射される場合を示している。一番下の図では、パターン光が紙面奥側から手前側へ向けて斜め下に照射される場合を示している。各図において、欠損データは、高さ計算が行えなかった箇所のデータである。また、＋方向の誤り高さが多く存在し、−方向の誤り高さは殆ど存在しないことが分かる。
【０１９３】
つまり、面の傾きが水平面に対して０°〜４５°、９０°の角度に偏在している一般的な工業製品では、多重反射による誤った高さが、実際の高さよりも高い方向になることが多い。そのため、複数投光のうち最も低い高さとなった投光は、多重反射の影響を最も受けていない可能性が高い。
【０１９４】
高さ測定部４２は、このことを利用して合成高さデータを取得するように構成されている。すなわち、高さ測定部４２は、複数の第１パターン画像に基づいて測定対象物Ｗの第１高さデータ（図２４の一番上の図に示すデータ）を測定し、複数の第２パターン画像に基づいて測定対象物Ｗの第２高さデータ（図２４の上から２番目の図に示すデータ）を測定し、複数の第３パターン画像に基づいて測定対象物Ｗの第３高さデータ（図２４の上から３番目の図に示すデータ）を測定し、複数の第４パターン画像に基づいて測定対象物Ｗの第４高さデータ（図２４の一番下の図に示すデータ）を測定する。そして、測定対象物Ｗ上の同一位置において第１高さデータ、第２高さデータ、第３高さデータ及び第４高さデータの全てが一致している場合には、高さ測定部４２は、第１高さデータ、第２高さデータ、第３高さデータ及び第４高さデータを合成して合成高さデータを生成する。
【０１９５】
一方、第１高さデータ、第２高さデータ、第３高さデータ及び第４高さデータの全てが一致していないデータ相違状態の場合には、高さ測定部４２は、それらデータの中で低い高さを示すデータを当該位置の合成高さデータとする。第１高さデータ、第２高さデータ、第３高さデータ及び第４高さデータの中で最も低い高さを示すデータを合成高さデータとしてもよいし、２番目に低い高さを示すデータを合成高さデータとしてもよい。これをＭＩＮ法と呼ぶ。このＭＩＮ法を適用することにより、一般的な工業製品の測定を行う多くの場合に多重反射による悪影響が排除される。
【０１９６】
図２５に基づいてＭＩＮ法の計算例を説明する。例１は、高さ０（第１高さデータ）が５０ｍｍ、高さ１（第２高さデータ）が６０ｍｍ、高さ２（第３高さデータ）が８０ｍｍ、高さ３（第４高さデータ）が９０ｍｍである場合の例であり、この場合はＭＩＮ法によって最も低い高さを示す高さ０のデータが合成高さデータとなるが、２番目に低い高さ１のデータを合成高さデータとしてもよい。
【０１９７】
例２は、高さ０（第１高さデータ）が７０ｍｍ、高さ１（第２高さデータ）が欠損、高さ２（第３高さデータ）が９０ｍｍ、高さ３（第４高さデータ）が７０ｍｍである場合の例であり、この場合はＭＩＮ法によって欠損データを除いて最も低い高さを示す高さ０、高さ３のデータが合成高さデータとなる。
【０１９８】
例３は、高さ０（第１高さデータ）が欠損、高さ１（第２高さデータ）が欠損、高さ２（第３高さデータ）が１０ｍｍ、高さ３（第４高さデータ）が５０ｍｍである場合の例であり、この場合はＭＩＮ法によって欠損データを除いて低い方のデータである高さ２のデータが合成高さデータとなる。
【０１９９】
例４は、高さ０（第１高さデータ）〜高さ３（第４高さデータ）の全てが欠損である場合の例である。この場合は合成高さデータを求めることができないので欠損となる。
【０２００】
図２６は、ＭＩＮ法を適用して得られた三次元形状を示す図である。尚、上記した例では、高さデータが４つある場合について説明したが、高さデータは２つ（第１高さデータ及び第２高さデータ）であってもよいし、３つ（第１高さデータ、第２高さデータ及び第３高さデータ）であってもよい。また、投光方向が６方向以上の場合は、高さデータが６つ以上取得できるが、この場合には、最も低い高さから２番目の高さデータを合成高さデータとしてもよい。
【０２０１】
（ＭＩＮ法の安定化処理）
高さ測定部４２は、上述したデータ相違状態の場合に、例えば、第１高さデータと第２高さデータと第３高さデータとに基づいて合成高さデータの信頼度を算出し、当該信頼度が第１の所定信頼度よりも低い場合に、第１高さデータと第２高さデータと第３高さデータとの中で低い高さを示すデータを当該位置の合成高さデータとするように構成することができる。この場合、第１高さデータと第２高さデータと第３高さデータと第４高さデータとに基づいて合成高さデータの信頼度を算出してもよいし、それ以上の数の高さデータに基づいて合成高さデータの信頼度を算出してもよい。
【０２０２】
合成高さデータの信頼度が低いということは、多重反射によって生じた大きな誤差が高さデータに含まれている可能性が高く、この場合にＭＩＮ法を適用することで、多重反射による悪影響が排除される。
【０２０３】
高さ測定部４２は、合成高さデータの信頼度が第１の所定信頼度以上の場合に、第１高さデータと第２高さデータと第３高さデータを合成した合成高さデータを測定結果とするように構成されている。合成高さデータの信頼度が高いということは、全てのデータにおいて多重反射による誤差が殆ど無い可能性が高く、この場合には、ＭＩＮ法を適用することなく、全ての高さデータを合成して合成高さデータを得ることで、精度の高い測定結果が得られる。
【０２０４】
合成高さデータの信頼度については、高さ測定部４２が、例えば、第１高さデータと第２高さデータと第３高さデータの平均値を算出し、当該平均値と、低い高さを示すデータとの差が小さければ小さいほど信頼度が高いと判定することができる。平均値を算出するデータの数は４つ以上であってもよい。
【０２０５】
また、合成高さデータの信頼度の例としては、高さ測定部４２が、例えば、第１高さデータと第２高さデータと第３高さデータの中央値を算出し、当該中央値と、低い高さを示すデータとの差が小さければ小さいほど信頼度が高いと判定することができる。中央値を算出するデータの数は４つ以上であってもよい。
【０２０６】
また、合成高さデータの信頼度の例としては、高さ測定部４２が、例えば、第１高さデータと第２高さデータと第３高さデータの最小値と最大値とを比較し、最小値と最大値との差が小さければ小さいほど信頼度が高いと判定することができる。対象データの数は４つ以上であってもよい。
【０２０７】
また、合成高さデータの信頼度の例としては、高さ測定部４２が、例えば、第１高さデータと第２高さデータと第３高さデータの標本標準偏差を算出し、標本標準偏差が小さければ小さいほど信頼度が高いと判定することができる。対象データの数は４つ以上であってもよい。信頼度の取得方法は上記した以外の方法であってもよい。
【０２０８】
高さ測定部４２は、合成高さデータの信頼度が第２の所定信頼度よりも低いデータを欠損データとするように構成することができる。前記第１の所定信頼度と第２の所定信頼度とは同じであってもよいし、第２の所定信頼度の方が低くてもよい。合成高さデータの信頼度が低いデータを欠損データとし、合成高さデータとして使用しないようにすることで、後処理において精度の低い合成高さデータが使用されないようにすることができる。
【０２０９】
また、高さ測定部４２は、データ相違状態の場合に、第１高さデータと第２高さデータとに基づいて合成高さデータの第１信頼度を算出し、第３高さデータと第４高さデータとに基づいて合成高さデータの第２信頼度を算出し、第１信頼度と第２信頼度のうち、高い方の高さデータを当該位置の合成高さデータとするように構成することができる。第１高さデータ及び第２高さデータは、図４に示すようにペアとなるように配置された第１投光部３１及び第２投光部３２からそれぞれ投光されたパターン光により得られた高さデータである。第３高さデータ及び第４高さデータは、図４に示すようにペアとなるように配置された第３投光部３３及び第４投光部３４からそれぞれ投光されたパターン光により得られた高さデータである。これにより、信頼度の高いペアで得られた高さデータを当該位置の合成高さデータとすることができる。
【０２１０】
また、高さ測定部４２は、第１高さデータと第２高さデータと第３高さデータと第４高さデータのうち、有効データが所定数以下である場合には、当該位置の高さデータを欠損データとするように構成されている。例えば、図２５に示す例３では、欠損データが２つであるが、欠損データが３つ以上であった場合には、残りが欠損データでなくても、当該位置の高さデータを欠損データとすることができる。
【０２１１】
（画像合成部４３の構成）
画像合成部４３は、図１７に示す第１高さ画像と第２高さ画像とを合成して合成後高さ画像を生成するように構成されている。これにより、第１高さ画像で無効画素になっている部分が、第２高さ画像では無効画素となっていない部分については、合成後高さ画像において有効画素で表されることになり、反対に、第２高さ画像で無効画素になっている部分が、第１高さ画像では無効画素となっていない部分については、合成後高さ画像において有効画素で表されることになる。よって、合成後高さ画像では無効画素の数を少なくすることができる。逆に、高い信頼を持った高さを得たい場合は、第１高さ画像、第２高さ画像の双方とも有効で、かつ、その差が所定以下の小さい場合のみに、その平均高さを有効としてもよい。
【０２１２】
言い換えると、測定対象物Ｗに対して互いに異なる４方向からパターン光を照射することで、高さ画像の有効画素数を多くすることができ、死角を少なくすることができるとともに、測定結果の信頼性を向上させることができる。尚、２方向からのパターン光の照射で無効画素が十分に少なくなるような測定対象物Ｗの場合は、高さ画像を１つだけ生成すればよい。この場合、使用者が第１高さ画像と第２高さ画像のどちらを生成するか選択するように構成することもできる。高さ画像を１つだけ生成する場合には測定時間が短くなるというメリットがある。
【０２１３】
合成後高さ画像も各画素の高さを把握することができるので、各種検査を行う際に使用される検査対象画像とすることができる。したがって、画像合成部４３は、検査対象画像を生成する検査対象画像生成部ということもできる。
【０２１４】
この実施形態では、画像合成部４３をコントローラ部４に設けた場合について説明したが、これに限らず、図示しないが、画像合成部を撮像装置２に設けてもよい。
【０２１５】
（検査部４５の構成）
検査部４５は、第１高さ画像、第２高さ画像及び合成後高さ画像の内、任意の画像に基づいて検査処理を実行する部分である。検査部４５には、有無検査部４５ａと、外観検査部４５ｂと、寸法検査部４５ｃとが設けられているが、これは一例であり、これら全ての検査部が必須ではなく、またこれら検査部以外の検査部を備えていてもよい。有無検査部４５ａは、測定対象物Ｗの有無や測定対象物Ｗに取り付けられている部品の有無等を画像処理によって判断することができるように構成されている。外観検査部４５ｂは、測定対象物Ｗの外形状等が予め決められた形状であるか否かを画像処理によって判断することができるように構成されている。寸法検査部４５ｃは、測定対象物Ｗの各部の寸法が予め決められた寸法であるか否か、または各部の寸法を画像処理によって判断することができるように構成されている。これら判断の手法は従来から周知の手法であることから詳細な説明は省略する。
【０２１６】
（表示制御部４６の構成）
表示制御部４６は、第１高さ画像、第２高さ画像及び合成後高さ画像等を表示部５に表示させたり、画像処理装置１を操作するための操作用ユーザーインターフェース、画像処理装置１を設定するための設定用ユーザーインターフェース、測定対象物の高さ測定結果を表示するための高さ測定結果表示用ユーザーインターフェース、測定対象物の各種検査結果を表示するための検査結果表示用ユーザーインターフェース等を生成して表示部５に表示させることができるように構成されている。
【０２１７】
（ユーザーインターフェースの例）
図２７は、画像処理装置１が有する三次元判別機能を実現する三次元判別ユーザーインターフェース３００の一例を示す図である。三次元判別機能とは、使用者が予め登録した測定対象物の三次元形状と、上述のようにして測定して得た測定対象物の三次元形状とを比較し、差分箇所を抽出する機能である。使用者が測定対象物を撮像することで、測定対象物の三次元形状を取得し、これをコントローラ部４に記憶させて登録しておくことができる。使用者は、登録した三次元形状に基づいてＸＹＺ方向毎に検出する公差（許容範囲）を設定することができる。また、画像処理装置１が有する三次元サーチ機能により、測定により得た測定対象物の三次元形状を、登録した三次元形状に基づいて三次元的に位置補正することができる。測定により得た測定対象物の三次元形状を三次元サーチ機能により位置補正した後、登録した測定対象物の三次元形状に重ね合わせ、同一箇所同士を比較し、公差に基づいて差分を算出する。公差を超える差分が算出された箇所を三次元判別ユーザーインターフェース３００によって表示部５に表示させることができる。
【０２１８】
図２７に示す三次元判別ユーザーインターフェース３００は、一定時間おきに、登録した測定対象物の三次元形状３０１Ａと、測定により得た測定対象物の三次元形状３０１Ｂとを切り替えて交互に表示することが可能に構成されている。登録した測定対象物の三次元形状３０１Ａは、図２７の上側の三次元判別ユーザーインターフェース３００に示している。測定により得た測定対象物の三次元形状３０１Ｂは、図２７の下側の三次元判別ユーザーインターフェース３００に示している。つまり、図２７の上側の三次元判別ユーザーインターフェース３００と、下側の三次元判別ユーザーインターフェース３００とが交互に表示部５に表示されるイメージである。三次元サーチ機能により、登録した測定対象物の三次元形状３０１Ａと、測定により得た測定対象物の三次元形状３０１Ｂとを三次元判別ユーザーインターフェース３００の同じ位置に表示させることできるので、使用者は三次元判別ユーザーインターフェース３００を見続けるだけで、差分箇所を容易に把握することができる。尚、上記一定時間は、特に限定されるものではないが、例えば１秒程度に設定することができる。また、差分箇所を着色して表示することもできる。着色箇所を符号３０２で示す。
【０２１９】
図２８は、三次元判別機能の許容範囲を表示するための断面指示を行う際に表示されるユーザーインターフェース３１０である。このユーザーインターフェース３１０には、測定により得た測定対象物の三次元形状３０１Ｂが表示される形状表示領域３１０ａが設けられている。形状表示領域３１０ａには、三次元形状３０１Ｂの断面を取得する位置を任意に設定するための断面位置設定部３１０ｂ、３１０ｂの表示が可能になっている。この断面位置設定部３１０ｂ、３１０ｂをマウス操作等によって形状表示領域３１０ａ上で移動させることができるようになっている。
【０２２０】
断面位置設定部３１０ｂ、３１０ｂの位置を決定すると、断面位置設定部３１０ｂ、３１０ｂ間の断面が取得され、図２９に示すように、形状表示領域３１０ａに三次元形状３０１Ｂの断面が表示される。形状表示領域３１０ａには、三次元形状３０１Ｂの外形状を示す形状線３１２と、三次元形状３０１Ｂの外形状の許容範囲を示す許容範囲表示部３１３とが表示される。許容範囲表示部３１３は、例えば許容範囲を帯状に着色する表示形態とすることができる。形状線３１２が許容範囲表示部３１３で表示された範囲に収まっていれば、欠陥等が無い検査対象物であると判定することができるが、形状線３１２の一部でも許容範囲表示部３１３に収まっていなければ、欠陥等がある検査対象物であると判定することができる。
【０２２１】
許容範囲はユーザーインターフェース３１０上の操作によって変更することができる。図３０は、許容範囲を縮小した場合を示しており、許容範囲表示部３１３が図２９に比べて狭くなる。許容範囲は拡大することもできる。許容範囲を狭くすると、三次元形状３０１Ｂの一部が許容範囲表示部３１３から外れることになり、この部分が着色箇所３１３として形状表示領域３１０ａに表示される。このように、三次元形状３０１Ｂと許容範囲とを見比べながら許容範囲を調整していくことができるので、より適切な許容範囲の設定が行えるようになり、その結果、検査精度及び安定性が向上する。
【０２２２】
図３１は、上述のようにして許容範囲を設定した後、新たな測定により得た測定対象物の三次元形状３０１Ｂを入力した場合を示している。三次元形状３０１Ｂのうち、許容範囲から外れた部分は着色箇所３１３として表示される。
【０２２３】
上述したように、予め登録された三次元形状と、新たな測定により得られた測定対象物の三次元形状を比較し、その差分が予め定められた許容範囲内であれば測定対象物を良品として判定する。ＸＹ方向（水平方向）の許容範囲とＺ方向（垂直方向）の許容範囲が設定できるが、それぞれの許容範囲の幅は同じであってもよいし、異なる幅が設定可能でもよい。Ｚ方向の許容範囲は、登録三次元形状に対する高さの加算及び減算で設定が可能であり、ＸＹ方向の許容範囲は、登録三次元形状に対する膨張・収縮フィルタにより設定できる。許容範囲上限は、登録三次元形状に対し、ＸＹ許容範囲分の膨張処理とＺ許容範囲の加算により算出される。許容範囲下限は、登録三次元形状に対し、ＸＹ許容範囲分の収縮処理とＺ許容範囲の減算により算出される。
【０２２４】
図３２は、突起状の測定対象物の欠けを検出する場合の許容範囲設定のイメージ図であり、突起が比較的大きい場合を示している。登録された三次元形状の下側の点線（許容範囲下限）を下回る高さが存在すれば欠けは検出できるが、実際の突起のサイズよりも欠けを検出できるサイズが小さくなっている。図３３は更に小さな突起の欠けを検出する場合のイメージ図であり、図３２と同じＸＹ方向の許容範囲が設定されている場合、突起に欠けが存在していても検出が不可能になる。
【０２２５】
そこで、本実施例では、登録された三次元形状と、入力される三次元形状の両方に、ＸＹ許容範囲と同じ大きさの膨張処理をかける。図３４に示すように、ユーザにより設定されたＸＹ許容範囲と同じ大きさの膨張フィルタを登録三次元形状と入力三次元形状の両方にかけることにより、見かけ上の突起のサイズを大きくできる。この大きくなった突起に対して設定された許容範囲の下限は実際の突起のサイズと等しくなるため、突起の欠けが検出できるサイズが実際の突起のサイズと等しくなる。
【０２２６】
上記突起強調処理をＯＮにすると、ユーザが設定したＸＹ方向の許容範囲の大きさと同じ大きさの膨張処理が自動的に適用される。ユーザが許容範囲を実寸値（ミリ、インチ等）で設定した場合は、その実寸値を、１画素辺りの実寸値を表す変換係数を使って、画素数に自動変換し、変換した画素数を強さとする膨張・収縮処理をかけることができる。これにより、ユーザが許容したい公差範囲を設定するだけで、自動的に最適な強さの膨張・収縮処理を適用できる。
【０２２７】
なお、本実施例では、ＸＹ許容範囲と同じ大きさの膨張処理をかける例について説明したが、膨張処理はＸＹ許容範囲と厳密に同じである必要はなく、許容範囲に対して所定範囲内の大きさであればほぼ同一の効果が得られる。また、膨張処理ではなく収縮処理をかけることにより、突起の欠けではなく、凹みが埋まっているか否かを検査することも可能である。
【０２２８】
図３５は本実施例のデータフローダイアグラムである。新たな測定により入力された三次元形状に対し、予め登録された三次元形状を用いて上記した三次元サーチ機能を用いて三次元の姿勢を推定し、補正を行う。次に、ユーザにより設定されたＸＹ方向（水平方向）の許容範囲の設定値に基づいて登録三次元形状と入力三次元形状の両方に対し、同一の膨張処理を適用し、差分データを生成する。この差分データが所定の範囲内か否かにより測定対象物の良否判定を行う。
【０２２９】
図３６は別のデータフローダイアグラムを示す図である。図３５と異なるのは、膨張処理が適用された登録三次元形状から、ＸＹ方向の許容範囲の設定値に基づいて、許容範囲上限と許容範囲下限が算出される点である。登録された三次元形状に対し、ＸＹ方向の膨張処理を適用し、この膨張した三次元形状に対し、ＸＹ方向の許容範囲を適用すると、許容範囲下限における測定対象物のＸＹ方向の幅が、実際の測定対象物のＸＹ方向の幅と略等しくなる。これにより、実際の測定対象物のＸＹ方向の幅と略等しいサイズの突起の欠け（膨張処理の場合）や穴の埋まり（収縮処理の場合）を検出することができる。
【０２３０】
一般的に三次元測定では、パターンが照射されない位置や、カメラから死角になる位置は測定結果が得られない。測定結果が得られなかった画素は「無効画素」と呼ばれる。この無効画素は特に三角測量の原理を用いたパターン投影法では完全に排除することが困難である。
【０２３１】
登録三次元形状と、測定対象物を測定して得られた入力三次元形状の差分を用いて検査を行う場合、入力三次元形状に存在する無効画素部分は、そのままでは登録三次元形状との差分を定義できない。また、入力画像側だけではなく、登録画像側に無効画素がある場合の差分もそのままでは定義できない。そこで、従来から無効画素を周囲の高さの平均値などで埋めるフィルタ処理が行われている。しかし、無効画素をフィルタ処理で埋める処理は、異なる位置の画素の高さに基づいて高さを決定するため、有効画素と比べると高さが安定しない。また、近くに有効画素がない場合は高さを決定できない。
【０２３２】
そこで、本実施例では、ユーザに背景となる平面（以下、背景平面）を指定させ、無効画素は背景平面での高さとし、無効画素がある場合でも、登録三次元形状と入力三次元形状の差分を定義できるようにしている。図３７は背景平面の処理のイメージ図である。測定対象物の断面プロファイルが途切れている位置は、測定結果が得られなかった無効画素を示している。無効画素の高さは背景平面の高さとし、背景平面よりも低い高さの画素は背景平面の高さで下限クリッピングする。これにより、無効画素がある場合でも、登録三次元形状と入力三次元形状の差分を算出し、差分の体積などの計測値を算出できる。差分体積は、高さの差分をＸＹ方向に積分することにより計算されるが、高さとしての値を持たない無効画素が存在すると、差分体積を算出することができないが、無効画素に高さを与えることで、これらの計測値を算出できるようになる。また、上記した平均化フィルタなどのフィルタ処理により無効画素を埋める場合と比べると、近くに有効画素が無い場合であっても高さを定義することが可能である上、周囲高さの影響を受けないため判定結果が安定する。
【０２３３】
また、背景平面だけでなく、上限の平面（以下、上限平面）を設定することもできる。図３８は背景平面に加えて上限平面が設定された場合の処理イメージを示した図である。無効画素は背景断面の高さに設定され、上限平面を超える部分の高さは上限平面の高さに設定される。
【０２３４】
図３９は背景平面処理に係るデータフローダイアグラムである。入力三次元形状は上述した三次元サーチ機能に基づいて三次元姿勢を補正した後、背景平面処理が適用される。登録三次元形状に対しても同じ背景平面処理が適用される。背景平面処理が適用された後の登録三次元形状と入力三次元形状が比較され、差分データが抽出される。
【０２３５】
図４０は、登録三次元形状に対してユーザにより設定された許容範囲上限と、許容範囲下限のそれぞれに対して、背景平面処理を適用する場合のデータフローを示している。上述したように、許容範囲上限と許容範囲下限は、登録三次元形状に対して設定されるため、登録三次元形状に無効画素が存在すると、許容範囲上限や許容範囲下限にも無効画素が発生してしまう。そこで、許容範囲上限と許容範囲下限に対しても入力三次元形状と同様の背景平面処理を適用することにより、許容範囲上限と許容範囲下限の無効画素を、背景平面の高さに置き換えることができる。許容範囲上限の無効画素と、許容範囲下限の無効画素は、ユーザにより設定された同じ背景平面の高さに統一される。したがって、入力三次元形状の対応する画素が無効画素ではなく有効画素であり、背景平面の高さより大きな高さが得られれば、許容範囲を超える突起として検出され、背景平面の高さより小さな高さが得られれば、許容範囲を下回る欠けとして検出される。このように、ユーザが登録三次元形状に設定した許容範囲（公差）を用いて、入力三次元形状の突起部分や欠け部分を検出するアプリケーションでは、登録三次元形状の上限許容範囲と上限下限範囲に対して背景平面処理を適用することで、登録三次元形状に無効画素が存在する場合でも、安定的に検査を行うことができる。
【０２３６】
以上説明したように、背景平面処理を適用することにより、無効画素の扱いが極めて容易になる。ユーザーインターフェース上では、ユーザが高さ方向の計測領域を限定すると、自動的に無効画素に付与される高さの値が計測領域下限に制限される。したがって、ユーザが無効画素の取り扱いについて意識する必要はない。
【０２３７】
なお、上記突起強調処理や、背景平面処理は、ユーザの操作に応じてコントローラ部に設けられた検査部４５により実行される。
【０２３８】
図４１は、画像処理装置１が有する高さ２値化機能を実現するユーザーインターフェース３２０である。高さ２値化機能とは、三次元形状のある高さを横切るか否かで２値化した画像を生成する機能である。高さ２値化機能によって、２値化した面積を計測することで例えば部品の有り無しなどを判別できる。
【０２３９】
高さ２値化機能用のユーザーインターフェース３２０には、三次元形状３０１Ｂが斜視的に表示される三次元形状表示領域３２１と、高さ２値化画像が表示される高さ２値化画像表示領域３２２とが設けられている。三次元形状表示領域３２１には水平面３２１ａが三次元形状３０１Ｂと重畳表示される。水平面３２１ａは、三次元形状表示領域３２１の側部に設けられているスライダーバー３２１ｂ等の操作手段によって高さ方向に任意に移動させることができる。高さ２値化画像表示領域３２２には、三次元形状３０１Ｂのうち、水平面３２１ａ内に位置する部分と、それ以外の部分とが異なる色で表示される。水平面３２１ａ内に位置する部分を符号３２３で示す。図４２は、水平面３２１ａ内に位置する部分がない状態を示している。
【０２４０】
高さ２値化機能にはズーム機能が搭載されている。図４３は、三次元形状表示領域３２１に表示されている三次元形状３０１Ｂを拡大して表示した例を示している。拡大の方法は、従来から用いられている方法を用いることができる。三次元形状３０１Ｂを拡大させることで、スライダーバー３２１ｂを操作したときの水平面３２１ａの移動幅が狭まり、より細かい調整が可能になる。
【０２４１】
図４４は、高さ２値化画像での形状比較機能を実現するユーザーインターフェース３３０である。この機能は、高さ２値化画像を使用して、２値化した面積を計測するだけでは判別できない、形状の違いを検査する場合に有効な機能である。形状比較機能を実現するユーザーインターフェース３３０には、三次元形状３０１Ｂが斜視的に表示される三次元形状表示領域３３１と、高さ２値化画像が表示される高さ２値化画像表示領域３３２とが設けられている。三次元形状表示領域３３１には、高さ２値化機能用のユーザーインターフェース３２０と同様な水平面３３１ａが三次元形状３０１Ｂと重畳表示される。水平面３３１ａは、三次元形状表示領域３３１の側部に設けられているスライダーバー３３１ｂ等の操作手段によって高さ方向に任意に移動させることができる。高さ２値化画像表示領域３３２には、三次元形状３０１Ｂのうち、水平面３３１ａ内に位置する部分３３３が表示される。
【０２４２】
図４５は、検査する輪郭を選択するためのユーザーインターフェース３４０である。ユーザーインターフェース３４０には、輪郭が表示される輪郭表示領域３４１が設けられている。輪郭表示領域３４１に表示されている輪郭の一部を削除することもできる。
【０２４３】
図４６は、図４４に示すユーザーインターフェース３３０において、輪郭の検出結果を表示するための結果表示領域３３５を表示させた状態を示している。結果表示領域３３５には、許容範囲３３５ａと共に、検出された輪郭３３６も表示される。
【０２４４】
図４７は、許容範囲を拡大した場合を示している。許容範囲は拡大することも縮小することもできるようになっている。
【０２４５】
以上が画像処理装置１の設定モードで行われる。図４８は、画像処理装置１の運転モード時に品種違いの三次元形状を入力した場合の表示例を示している。品種違いの三次元形状が入力されると、許容範囲を超えた部分が生じるので、品種違いの三次元形状が入力されたことを検出することができる。
【０２４６】
（複数のパターン光照射部の連携による出力データの生成）
第１ＬＥＤ３１ｂ、第１ＬＣＤ３１ｄ、第２ＬＥＤ３２ｂ及び第２ＬＣＤ３２ｄにより、第１のパターン光照射部が構成され、また、第３ＬＥＤ３３ｂ、第３ＬＣＤ３３ｄ、第４ＬＥＤ３４ｂ及び第４ＬＣＤ３４ｄにより、第２のパターン光照射部が構成されている。つまり、第１ＬＥＤ３１ｂ、第１ＬＣＤ３１ｄ、第２ＬＥＤ３２ｂ及び第２ＬＣＤ３２ｄによって１つのグループが構成され、第３ＬＥＤ３３ｂ、第３ＬＣＤ３３ｄ、第４ＬＥＤ３４ｂ及び第４ＬＣＤ３４ｄによって別の方向からパターン光を投影する別のグループが構成されている。この例では各グループを構成する光源及びパターン生成部は２つずつにしているが、これに限らず、４つの光源及び４つのパターン生成部によって１つのグループを構成してもよい。また、第１のパターン光照射部と同様なパターン光照射部として、第３のパターン光照射部や第４のパターン光照射部があってもよい。
【０２４７】
この場合、高さ測定部４２は、第１のパターン光照射部に基づく高さデータの中で低い高さを示すデータを合成高さデータとし、第２のパターン光照射部に基づく高さデータの中で低い高さを示すデータを当該位置の合成高さデータとした上で、第１のパターン光照射部に基づく合成高さデータの信頼度と、第２のパターン光照射部に基づく合成高さデータの信頼度とを算出する。信頼度の算出手法は、上述した手法を用いることができる。高さ測定部４２は、信頼度を算出した後、信頼度の高い方の合成高さデータを出力データとするように構成することができる。
【０２４８】
すなわち、例えば２つのパターン光照射部がそれぞれ合成高さデータ及びその信頼度を算出した上で、２段階目の高さ合成を行うことができる。高さデータを合成する際、データの選択だけに限られるものではなく、信頼性の高いデータが優先されるようにすればよく、例えば、信頼性の高い側が選択されるようにすることや、重み付き平均等の方法を採用することができる。出力する高さデータとしては、信頼度が高いグループの結果を優先するように、それぞれのグループのデータを合成する。これにより、ハレーション（正反射）の悪影響に対する耐性が向上する。
【０２４９】
図４９に示すデータフローダイアグラムに基づいて具体的に説明する。この例では、８つの光源及びパターン生成部を有しており、したがって、各方向高さ０〜７までの８つの高さデータが生成される。各方向高さ０〜３を第１のパターン光照射部５００とし、各方向高さ４〜７を第２のパターン光照射部５０１としたとき、第１のパターン光照射部５００を構成する各方向高さ０〜３の高さデータのうち、ＭＩＮ法に基づいて低い方の高さデータを生成する。また、第２のパターン光照射部５０１を構成する各方向高さ４〜７の高さデータのうち、ＭＩＮ法に基づいて低い方の高さデータを生成する。また、第１のパターン光照射部５００で得られた高さデータの信頼度及び第２のパターン光照射部５０１で得られた高さデータの信頼度も算出しておく。そして、２つのパターン光照射部５００、５０１のうち、信頼度の高い方を優先して出力データを合成する。また、高信頼度が得られたパターン光照射部の高さデータの重みを大きくする重み付け平均で合成してもよい。
【０２５０】
（実施形態の作用効果）
以上説明したように、この実施形態に係る画像処理装置１によれば、位相を順次シフトさせたパターン光が測定対象物Ｗに照射され、パターン光が測定対象物Ｗに照射された都度、測定対象物Ｗから反射した光を受光して複数のパターン画像を生成することができる。生成された複数のパターン画像に基づいて、測定対象物Ｗの三次元形状を測定することができる。
【０２５１】
パターン光を照射する際、互いに位相が１８０度異なるパターンを連続的に照射するので、測定対象物Ｗに順次照射されるパターン光のうち、奇数番目に照射されるパターン光と、偶数番目に照射されるパターン光との位相が逆位相の関係になる。これにより、逆位相同士のパターン光の照射間隔を狭めて外乱光の明るさ変動を極小化することができるので、１つの測定対象物Ｗの測定が完了するまでの間に外乱光の明るさが変動したとしても、その変動の影響を抑制することができ、その結果、測定誤差を減少させることができる。
【０２５２】
また、複数の高さデータを合成して合成高さデータを生成する際に、測定対象物Ｗ上の同一位置において複数の高さデータが互いに異なるか否かを判定し、異なる場合には、それら高さデータの中で低い高さを示すデータを当該位置の合成高さデータとすることができる。
【０２５３】
すなわち、測定時における多重反射による悪影響の多くは＋方向の誤り高さを与えるので、測定結果が実際の高さよりも高い方向に誤ることが多い。本実施形態では、測定対象物Ｗ上の同一位置において高さデータが異なる場合には、低いデータを採用して合成高さデータとするので、一般的な工業製品の測定を行う多くの場合に多重反射による悪影響が排除される。
【０２５４】
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【産業上の利用可能性】
【０２５５】
以上説明したように、本発明に係る画像処理装置は、例えば、測定対象物の高さを測定する場合や測定対象物を検査する場合に使用することができる。
【符号の説明】
【０２５６】
１              画像処理装置
２              撮像装置
３              照明装置
２２            撮像素子
２６            位相計算部
３０            照明ハウジング
３１            第１投光部
３１ｂ          第１ＬＥＤ（第１光源）
３１ｄ          第１ＬＣＤ（第１パターン光生成部）
３１ｅ          第１ＬＥＤ駆動回路（光源駆動回路）
３１ｆ          第１ＬＣＤ駆動回路（液晶パネル駆動回路）
３２            第２投光部
３２ｂ          第２ＬＥＤ（第２光源）
３２ｄ          第２ＬＣＤ（第２パターン光生成部）
３２ｅ          第２ＬＥＤ駆動回路（光源駆動回路）
３２ｆ          第２ＬＣＤ駆動回路（液晶パネル駆動回路）
３３            第３投光部
３３ｂ          第３ＬＥＤ（第３光源）
３３ｄ          第３ＬＣＤ（第３パターン光生成部）
３３ｅ          第３ＬＥＤ駆動回路（光源駆動回路）
３３ｆ          第３ＬＣＤ駆動回路（液晶パネル駆動回路）
３４            第４投光部
３４ｂ          第４ＬＥＤ（第４光源）
３４ｄ          第４ＬＣＤ（第４パターン光生成部）
３４ｅ          第４ＬＥＤ駆動回路（光源駆動回路）
３４ｆ          第４ＬＣＤ駆動回路（液晶パネル駆動回路）
３５            投光制御部
４２            高さ測定部
４３            画像合成部
４５            検査部
Ａ              開口部
【図１】
2020159967.tif 000003
【図２】
2020159967.tif 000004
【図３】
2020159967.tif 000005
【図４】
2020159967.tif 000006
【図５】
2020159967.tif 000007
【図６】
2020159967.tif 000008
【図７】
2020159967.tif 000009
【図８】
2020159967.tif 000010
【図９】
2020159967.tif 000011
【図１０】
2020159967.tif 000012
【図１１】
2020159967.tif 000013
【図１２】
2020159967.tif 000014
【図１３】
2020159967.tif 000015
【図１４】
2020159967.tif 000016
【図１５】
2020159967.tif 000017
【図１６】
2020159967.tif 000018
【図１７】
2020159967.tif 000019
【図１８】
2020159967.tif 000020
【図１９】
2020159967.tif 000021
【図２０】
2020159967.tif 000022
【図２１】
2020159967.tif 000023
【図２２】
2020159967.tif 000024
【図２３】
2020159967.tif 000025
【図２４】
2020159967.tif 000026
【図２５】
2020159967.tif 000027
【図２６】
2020159967.tif 000028
【図２７】
2020159967.tif 000029
【図２８】
2020159967.tif 000030
【図２９】
2020159967.tif 000031
【図３０】
2020159967.tif 000032
【図３１】
2020159967.tif 000033
【図３２】
2020159967.tif 000034
【図３３】
2020159967.tif 000035
【図３４】
2020159967.tif 000036
【図３５】
2020159967.tif 000037
【図３６】
2020159967.tif 000038
【図３７】
2020159967.tif 000039
【図３８】
2020159967.tif 000040
【図３９】
2020159967.tif 000041
【図４０】
2020159967.tif 000042
【図４１】
2020159967.tif 000043
【図４２】
2020159967.tif 000044
【図４３】
2020159967.tif 000045
【図４４】
2020159967.tif 000046
【図４５】
2020159967.tif 000047
【図４６】
2020159967.tif 000048
【図４７】
2020159967.tif 000049
【図４８】
2020159967.tif 000050
【図４９】
2020159967.tif 000051