(57)【要約】【課題】簡易な構成としながら、測定対象物の検査時間を短くする。【解決手段】画像処理装置は、測定対象物に対してそれぞれ異なる方向からパターン光を投影するための複数の液晶パネルを備えている。複数の液晶パネルの内の一の液晶パネルから複数のパターン光の内の一のパターン光の投影が完了するまでに、次にパターン光を投影する他の液晶パネル上に、次に投影すべきパターンの形成処理を完了させる。一の液晶パネルによるパターン光の投影が完了した後に、他の液晶パネルに次のパターン光を投影する処理を繰り返し実行する。【選択図】図１１
2019168286.tif 000002
【特許請求の範囲】
【請求項１】
測定対象物の検査を行う画像処理装置において、
複数の光源と、
前記各光源にそれぞれ対応して配置され、前記各光源からの光を通過して測定用のパターン光を生成し、測定対象物に対してそれぞれ異なる方向から前記パターン光を投影するための複数の液晶パネルと、
前記複数の液晶パネルのそれぞれが位相シフト法及び／又は空間コード法にしたがう複数のパターン光を順次生成するように、前記複数の光源及び前記液晶パネルを制御する投光制御部と、
前記液晶パネルから投影された複数のパターン光の測定対象物からの反射光を受光し、前記各液晶パネルにそれぞれ対応する複数のパターン画像セットを生成する撮像部と、
前記撮像部が生成した前記複数のパターン画像セットのそれぞれに対応する複数の中間画像に基づいて検査対象画像を生成する検査対象画像生成部と、
前記検査対象画像生成部が生成した検査対象画像に基づいて検査処理を実行する検査部とを備え、
前記投光制御部は、前記複数の液晶パネルの内の一の液晶パネルから前記複数のパターン光の内の一のパターン光の投影が完了するまでに、少なくとも次にパターン光を投影する他の液晶パネル上に、次に投影すべきパターンの形成処理を完了させ、前記一の液晶パネルによるパターン光の投影が完了した後に、前記他の液晶パネルに前記次のパターン光を投影する処理を繰り返し実行するように前記複数の液晶パネルを制御することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記複数の光源は第１光源と第２光源とを有し、
前記複数の液晶パネルは、前記第１光源に対応して配置される第１液晶パネルと、前記第２光源に対応して配置される第２液晶パネルとを有し、
前記第１光源及び前記第１液晶パネルにより第１投光部が構成され、
前記第２光源及び前記第２液晶パネルにより第２投光部が構成され、
前記撮像部は、前記第１液晶パネルから投影された第１測定用パターン光の測定対象物からの反射光を受光して第１パターン画像セットを生成するとともに、前記第２液晶パネルから投影された第２測定用パターン光の測定対象物からの反射光を受光して第２パターン画像セットを生成することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記複数の光源は第３光源と第４光源とを更に有し、
前記複数の液晶パネルは、前記第３光源に対応して配置される第３液晶パネルと、前記第４光源に対応して配置される第４液晶パネルとを更に有し、
前記第３光源及び前記第３液晶パネルにより第３投光部が構成され、
前記第４光源及び前記第４液晶パネルにより第４投光部が構成され、
前記撮像部は、前記第３液晶パネルから投影された第３測定用パターン光の測定対象物からの反射光を受光して第３パターン画像セットを生成するとともに、前記第４液晶パネルから投影された第４測定用パターン光の測定対象物からの反射光を受光して複数の第４パターン画像セットを生成することを特徴とする画像処理装置。
【請求項４】
請求項１から３のいずれか１つに記載の画像処理装置において、
前記撮像部は、前記複数のパターン光の内の一のパターン光が測定対象物に投影されている間に、露光時間が異なる複数の画像を生成し、
前記画像処理装置は、前記露光時間が異なる複数の画像を合成するハイダイナミックレンジ処理を行うように構成されていることを特徴とする画像処理装置。
【請求項５】
請求項１から３のいずれか１つに記載の画像処理装置において、
前記投光制御部は、前記複数のパターン光の内の一のパターン光を測定対象物に複数回投影するように構成され、
前記撮像部は、前記投光制御部が前記複数のパターン光の内の一のパターン光を測定対象物に投影する都度、測定対象物からの反射光を受光して露光時間が異なる複数の画像を生成し、
前記画像処理装置は、前記露光時間が異なる複数の画像を合成するハイダイナミックレンジ処理を行うように構成されていることを特徴とする画像処理装置。
【請求項６】
請求項１から５のいずれか１つに記載の画像処理装置において、
前記撮像部は、測定対象物からの反射光を受光して画像を取得する撮像素子と、前記撮像素子から出力される画像データに基づいて前記複数のパターン画像セットを生成するデータ処理部とを備えていることを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記投光制御部は、前記複数の液晶パネルのそれぞれが位相シフト法及び空間コード法にしたがう複数のパターン光を順次生成するように、前記複数の光源及び前記液晶パネルを制御するように構成され、
前記データ処理部は、前記位相シフト法にしたがうパターン光の投影によって位相シフトパターン画像セットを生成するとともに、前記空間コード法にしたがうパターン光の投影によってグレーコードパターン画像セットを生成するように構成され、
前記検査対象画像生成部は、前記位相シフトパターン画像セットと前記グレーコードパターン画像セットとにより生成された前記中間画像に基づいて前記検査対象画像を生成するように構成されていることを特徴とする画像処理装置。
【請求項８】
請求項１から７のいずれか１つに記載の画像処理装置において、
前記画像処理装置は、前記複数の光源をそれぞれ駆動する複数の光源駆動回路と、前記複数の液晶パネルをそれぞれ駆動する複数の液晶パネル駆動回路とを備え、
前記投光制御部は、前記複数の光源駆動回路及び前記複数の液晶パネル駆動回路に共通化されるとともに、前記複数の光源駆動回路及び前記複数の液晶パネル駆動回路を制御することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、測定対象物に光を照射する照明装置と測定対象物から反射した光を受光する撮像装置とを備えた画像処理装置に関し、特に、測定用のパターン光を測定対象物に照射する技術分野に属する。
【背景技術】
【０００２】
例えば生産現場では検査の自動化、省力化を目的として、特許文献１に開示されているような画像処理装置が導入される場合がある。特許文献１の画像処理装置は、検査対象物の高さ情報を含む距離画像を取得するとともに、該距離画像に基づいて画像処理を行うことが可能な三次元画像処理装置であり、ヘッド部とコントローラ部とを有している。ヘッド部には、形状を測定するための所定のパターン光を投影するための投光装置と、パターン光が投影された測定対象物を撮像する撮像装置とが一体に設けられている。この画像処理装置では、撮像装置で取得されたパターン投影画像に基づいて距離画像を生成し、さらに距離画像の各画素が有する高さ情報を輝度に置き換えた濃淡画像に変換し、この濃淡画像に基づいて、エッジ検出や所定領域の面積計算等の検査処理を実行することが可能になっている。
【０００３】
一般に、パターン光が投影された測定対象物を撮像して高さ情報を得る手法は、パターン投影法と呼ばれている。パターン投影法には、照度分布を例えば正弦波状に変動させたパターン光を、位相を変えて複数回投影してその都度撮像する位相シフト法が知られている。また、光が照射される空間を多数の小空間に分け、この小空間に一連の空間コード番号を付すことによって測定許容高さのレンジを拡大する空間コード法も知られている。
【０００４】
また、パターン光を複数の異なる方向から測定対象物に照射することにより、測定ができない死角部分を少なくしたり、測定結果の信頼性を向上させることも可能である。そのようなパターン光を生成する手段としては、例えば、ＤＭＤ（デジタル・マイクロミラー・デバイス）を用いたものや、物理的にパターンが形成されたマスクを移動させるもの、液晶パネルを用いたもの等が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−２１７６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、ＤＭＤは、パターンを高速に切り替えることが可能であることから、近年多く利用されているが、装置内部に反射光学系を構成する必要があるため、装置が比較的大型化、複雑化するという問題がある。また、パターン光生成手段として、物理的にパターンが形成されたマスクを移動させる構成の場合、マスクを微小ピッチで移動させるための駆動系が必要となるため、装置が比較的大型化、複雑化するという問題がある。特に、装置の大型化は設置の自由度を低下させる原因となるので、あらゆる生産現場等への画像処理装置の導入の妨げになるおそれがある。
【０００７】
また、パターン光生成手段として液晶パネルを用いた場合、透過光学系により装置を簡易に構成することができるとともに、装置のコンパクト化が可能になり、ＤＭＤやマスクを使用する場合に比べて設置自由度を高めることができると考えられる。
【０００８】
しかしながら、液晶パネルの場合、印加電圧を変化させてから液晶組成物がその配向を変えるまでの時間、即ち応答速度がＤＭＤの切替速度と比較すると遅い。応答速度が遅いということは、パターンの切替に要する時間が長くなるということであり、したがって複数のパターン光を順次生成して照射完了するまでの時間が長くなり、ひいては、１つの測定対象物の検査時間が長くなってしまう。特に異なる方向からそれぞれ複数のパターン光を照射する場合は、この問題が顕著なものとなる。
【０００９】
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、簡易な構成としながら、測定対象物の検査時間を短くできるようにすることにある。
【課題を解決するための手段】
【００１０】
前記目的を達成するために、本発明は、測定対象物の検査を行う画像処理装置において、複数の光源と、前記各光源にそれぞれ対応して配置され、前記各光源からの光を通過して測定用のパターン光を生成し、測定対象物に対してそれぞれ異なる方向から前記パターン光を投影するための複数の液晶パネルと、前記複数の液晶パネルのそれぞれが位相シフト法及び／又は空間コード法にしたがう複数のパターン光を順次生成するように、前記複数の光源及び前記液晶パネルを制御する投光制御部と、前記液晶パネルから投影された複数のパターン光の測定対象物からの反射光を受光し、前記各液晶パネルにそれぞれ対応する複数のパターン画像セットを生成する撮像部と、前記撮像部が生成した前記複数のパターン画像セットのそれぞれに対応する複数の中間画像に基づいて検査対象画像を生成する検査対象画像生成部と、前記検査対象画像生成部が生成した検査対象画像に基づいて検査処理を実行する検査部とを備え、前記投光制御部は、前記複数の液晶パネルの内の一の液晶パネルから前記複数のパターン光の内の一のパターン光の投影が完了するまでに、少なくとも次にパターン光を投影する他の液晶パネル上に、次に投影すべきパターンの形成処理を完了させ、前記一の液晶パネルによるパターン光の投影が完了した後に、前記他の液晶パネルに前記次のパターン光を投影する処理を繰り返し実行するように前記複数の液晶パネルを制御することを特徴とする。
【００１１】
すなわち、位相シフト法や空間コード法を用いて検査対象画像を生成する場合には、複数の測定用パターン光をそれぞれ測定対象物に対して互いに異なる複数の方向から投影することで、無効画素の少ない検査対象画像を生成することが可能になる。
【００１２】
本発明では、複数の測定用パターン光をそれぞれ測定対象物に対して互いに異なる複数の方向から投影するために、複数の光源と、各光源に対応して配置された複数の液晶パネルとを備えており、各液晶パネルが測定用のパターン光を生成し、液晶パネルを通過した光源の光がパターン光となり、測定対象物にパターン光を投影することができる。液晶パネルを用いることで、ＤＭＤを用いた場合のような反射光学系が不要になるとともに、パターンを有するマスクを移動させる場合のような駆動系も不要になり、よって、装置の構成が簡易になるとともに、装置が小型になる。
【００１３】
液晶パネルを用いた場合には上述したように液晶パネルの応答速度の遅さが問題となるが、本発明では、投光制御部が複数の光源及び複数の液晶パネルを以下のように制御することで、液晶パネルの応答速度の遅さをカバーすることができる点が大きな特徴となっている。
【００１４】
すなわち、本発明では、測定対象物に対して互いに異なる複数の方向からパターン光を投影するために複数の液晶パネルを設けているが、ある時点でパターン光を測定対象物に投影しているのは、１つの液晶パネルであり、他の液晶パネルからはパターン光が投影されていない。投光制御部による制御はこのことを利用しており、具体的には、まず、複数の液晶パネルの内、現在、一のパターン光を投影している一の液晶パネルからの当該パターン光の投影が完了するまでに、次にパターン光を投影する他の液晶パネル上に、次に投影すべきパターンの形成処理を完了させる。そして、前記一の液晶パネルによるパターン光の投影が完了した後に、前記他の液晶パネルから前記次のパターン光を投影する処理を行う。つまり、一の液晶パネルがパターン光を投影している間に、パターン光を投影していない他の液晶パネル上に次に投影するパターンを形成させておくことができるので、一の液晶パネルのパターン光の投影が完了次第、すぐに他の液晶パネルによるパターン光の投影が可能になる。よって、液晶パネルの応答速度が遅くても複数のパターン光を順次生成して複数のパターン光の投影が完了するまでの時間を短くすることができる。
【００１５】
第２の発明は、前記複数の光源は第１光源と第２光源とを有し、前記複数の液晶パネルは、前記第１光源に対応して配置される第１液晶パネルと、前記第２光源に対応して配置される第２液晶パネルとを有し、前記第１光源及び前記第１液晶パネルにより第１投光部が構成され、前記第２光源及び前記第２液晶パネルにより第２投光部が構成され、前記撮像部は、前記第１液晶パネルから投影された第１測定用パターン光の測定対象物からの反射光を受光して第１パターン画像セットを生成するとともに、前記第２液晶パネルから投影された第２測定用パターン光の測定対象物からの反射光を受光して第２パターン画像セットを生成することを特徴とする。
【００１６】
第３の発明は、前記複数の光源は第３光源と第４光源とを更に有し、前記複数の液晶パネルは、前記第３光源に対応して配置される第３液晶パネルと、前記第４光源に対応して配置される第４液晶パネルとを更に有し、前記第３光源及び前記第３液晶パネルにより第３投光部が構成され、前記第４光源及び前記第４液晶パネルにより第４投光部が構成され、前記撮像部は、前記第３液晶パネルから投影された第３測定用パターン光の測定対象物からの反射光を受光して第３パターン画像セットを生成するとともに、前記第４液晶パネルから投影された第４測定用パターン光の測定対象物からの反射光を受光して複数の第４パターン画像セットを生成することを特徴とする。
【００１７】
第４の発明は、前記撮像部は、前記複数のパターン光の内の一のパターン光が測定対象物に投影されている間に、露光時間が異なる複数の画像を生成し、前記画像処理装置は、前記露光時間が異なる複数の画像を合成するハイダイナミックレンジ処理を行うように構成されていることを特徴とする。
【００１８】
第５の発明は、前記投光制御部は、前記複数のパターン光の内の一のパターン光を測定対象物に複数回投影するように構成され、前記撮像部は、前記投光制御部が前記複数のパターン光の内の一のパターン光を測定対象物に投影する都度、測定対象物からの反射光を受光して露光時間が異なる複数の画像を生成し、前記画像処理装置は、前記露光時間が異なる複数の画像を合成するハイダイナミックレンジ処理を行うように構成されていることを特徴とする。
【００１９】
第６の発明は、前記撮像部は、測定対象物からの反射光を受光して画像を取得する撮像素子と、前記撮像素子から出力される画像データに基づいて前記複数のパターン画像セットを生成するデータ処理部とを備えていることを特徴とする。
【００２０】
この構成によれば、撮像部においてパターン画像セットを生成することができる。
【００２１】
第７の発明は、前記投光制御部は、前記複数の液晶パネルのそれぞれが位相シフト法及び空間コード法にしたがう複数のパターン光を順次生成するように、前記複数の光源及び前記液晶パネルを制御するように構成され、前記データ処理部は、前記位相シフト法にしたがうパターン光の投影によって位相シフトパターン画像セットを生成するとともに、前記空間コード法にしたがうパターン光の投影によってグレーコードパターン画像セットを生成するように構成され、前記検査対象画像生成部は、前記位相シフトパターン画像セットと前記グレーコードパターン画像セットとにより生成された前記中間画像に基づいて前記検査対象画像を生成するように構成されていることを特徴とする。
【００２２】
第８の発明は、前記画像処理装置は、前記複数の光源をそれぞれ駆動する複数の光源駆動回路と、前記複数の液晶パネルをそれぞれ駆動する複数の液晶パネル駆動回路とを備え、前記投光制御部は、前記複数の光源駆動回路及び前記複数の液晶パネル駆動回路に共通化されるとともに、前記複数の光源駆動回路及び前記複数の液晶パネル駆動回路を制御することを特徴とする。
【００２３】
この構成によれば、光源駆動回路と液晶パネル駆動回路との同期を取ることができる。
【発明の効果】
【００２４】
本発明によれば、複数の液晶パネルを用いてパターン光を投影可能にすることで装置の構成を簡易にすることができる。また、一の液晶パネルがパターン光を投影している間に、パターン光を投影していない他の液晶パネル上に次に投影するパターンを形成させておくことができるので、一の液晶パネルのパターン光の投影が完了次第、すぐに他の液晶パネルによるパターン光の投影ができ、よって、複数のパターン光を順次生成して投影を完了するまでの時間を短くすることができ、その結果、測定対象物の検査時間を短くできる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係る画像処理装置のシステム構成例を示す図である。
【図２】コントローラ部のブロック図である。
【図３】撮像装置のブロック図である。
【図４】照明装置の平面図である。
【図５】図４におけるV−V線断面図である。
【図６Ａ】図４におけるVI−VI線断面図であり、発光ダイオードを水平方向に１列で並べて配置した場合を示す。
【図６Ｂ】図４におけるVI−VI線断面図であり、発光ダイオードを上下にずらして配置した場合を示す。
【図７】照明装置のブロック図である。
【図８】パターン画像セットから中間画像及び信頼度画像を生成する手順を示す図である。
【図９】パターン画像セットから中間画像及び信頼度画像を生成する手順を、画像例を使用して説明した図である。
【図１０】グレーコードパターン及び位相シフトパターンの形成処理と、相対位相と絶対位相との関係を示す図である。
【図１１】照明装置及び撮像装置の動作を示すタイムチャートである。
【図１２】撮像装置による露光（撮像）とデータ転送とを並行して行う場合の図１１相当図である。
【図１３】ＨＤＲ処理を行う場合のタイムチャートである。
【図１４】照明装置と撮像装置の再同期を行う場合のタイムチャートである。
【図１５】高さ測定部による高さ測定手法を説明する図である。
【図１６】測定対象物が直方体の箱である場合において第１投光部によるパターン光の投影によって得られた位相シフトパターン画像セットを示す図である。
【図１７】図１６に示す位相シフトパターン画像セットに基づいて得られた相対位相画像と、図１６に示す位相シフトパターン画像セットに対応する中間画像とを示す図である。
【図１８】測定対象物が直方体の箱である場合において第２投光部によるパターン光の投影によって得られた位相シフトパターン画像セットを示す図である。
【図１９】図１８に示す位相シフトパターン画像セットに基づいて得られた相対位相画像と、図１８に示す位相シフトパターン画像セットに対応する中間画像とを示す図である。
【図２０】測定対象物が直方体の箱である場合の高さ画像と、断面プロファイルを表示したユーザーインターフェースを示す図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
【００２７】
図１は、本発明の実施形態に係る画像処理装置１のシステム構成例を示す図である。画像処理装置１は、撮像装置２と、照明装置３と、コントローラ部４と、表示部５と、コンソール部６と、マウス７とを備えており、測定対象物Ｗの高さ画像を得て、この高さ画像に基づいて測定対象物Ｗの高さを測定したり、測定対象物Ｗに対して各種検査を行うことができるように構成されている。
【００２８】
測定対象物Ｗは、例えばベルトコンベア等の搬送装置の載置面１００に載置した状態としておき、この載置面１００に載置した測定対象物Ｗに対して高さの測定や各種検査等を行う。高さの測定中、測定対象物Ｗは静止させておくのが好ましいが、例えば撮像装置２による撮像数が少ない場合等には、測定対象物Ｗを搬送方向に移動させながら高さの測定や検査等を行うようにしてもよい。測定対象物Ｗは直線移動していてもよいし、回転していてもよい。
【００２９】
画像処理装置１は、プログラマブル・ロジック・コントローラ（ＰＬＣ）１０１に信号線１０１ａによって有線接続することができるが、これに限らず、画像処理装置１及びＰＬＣ１０１に従来から周知の通信モジュールを内蔵し、画像処理装置１と、ＰＬＣ１０１とを無線接続するようにしてもよい。ＰＬＣ１０１は、搬送装置及び画像処理装置１をシーケンス制御するための制御装置であり、汎用のＰＬＣを利用することができる。画像処理装置１をＰＬＣ１０１に接続することなく使用することもできる。
【００３０】
表示部５は、例えば液晶表示パネル等からなるディスプレイ装置であり、表示手段を構成している。表示部５には、例えば、画像処理装置１を操作するための操作用ユーザーインターフェース、画像処理装置１を設定するための設定用ユーザーインターフェース、測定対象物の高さ測定結果を表示するための高さ測定結果表示用ユーザーインターフェース、測定対象物の各種検査結果を表示するための検査結果表示用ユーザーインターフェース等を表示させることができる。画像処理装置１の使用者が表示部５を視認することで画像処理装置１の操作及び設定を行うことが可能になるとともに、測定対象物Ｗの測定結果や検査結果等を把握することができ、さらに、画像処理装置１の動作状態を把握することもできる。
【００３１】
図２に示すように、表示部５は、コントローラ部４が有する表示制御部４６に接続されており、表示制御部４６によって制御されて前記したユーザーインターフェースや高さ画像等を表示させることができるように構成されている。
【００３２】
コンソール部６は、使用者が画像処理装置１を操作したり、各種情報を入力するための入力手段であり、コントローラ部４に接続されている。また、マウス７も同様に使用者が画像処理装置１を操作したり、各種情報を入力するための入力手段であり、コントローラ部４に接続されている。コンソール部６及びマウス７は入力手段の一例であり、入力手段としては、例えば表示部５に設けたタッチパネルスクリーン等であってもよいし、音声入力装置であってもよく、これらを複数組み合わせて構成することもできる。タッチパネルスクリーンの場合、表示手段と入力手段とを１つのデバイスで実現できる。
【００３３】
コントローラ部４には、コントローラ部４の制御プログラムを生成し、記憶しておくための汎用のパーソナルコンピュータＰＣを接続することもできる。また、パーソナルコンピュータＰＣには、画像処理に関する各種設定を行う画像処理プログラムをインストールして、コントローラ部４で行う画像処理の各種設定を行うこともできる。あるいは、このパーソナルコンピュータＰＣで動作するソフトウェアによって画像処理の処理順序を規定する処理順序プログラムを生成することができる。コントローラ部４では、その処理順序に従って各画像処理が順次実行される。パーソナルコンピュータＰＣとコントローラ部４とは、通信ネットワークを介して接続されており、パーソナルコンピュータＰＣ上で生成された処理順序プログラムは、例えば表示部５の表示態様を規定するレイアウト情報等と共にコントローラ部４に転送される。また逆に、コントローラ部４から処理順序プログラムやレイアウト情報等を取り込んで、パーソナルコンピュータＰＣ上で編集することもできる。尚、上記プログラムは、パーソナルコンピュータＰＣだけでなく、コントローラ部４においても生成できるようにしてもよい。
【００３４】
また、コントローラ部４は専用のハードウェアで構築することもできるが、本発明はこの構成に限定されるものではない。例えば、汎用のパーソナルコンピュータＰＣやワークステーション等に専用の画像処理プログラムや検査処理プログラム、高さ測定プログラム等をインストールしたものをコントローラ部として機能させることもできる。この場合、パーソナルコンピュータＰＣやワークステーション等に、撮像装置２、照明装置３、表示部５、コンソール部６及びマウス７を接続すればよい。
【００３５】
また、画像処理装置１の機能については後述するが、画像処理装置１の全ての機能をコントローラ部４で実現するようにしてもよいし、汎用のパーソナルコンピュータＰＣで実現するようにしてもよい。また、画像処理装置１の一部の機能をコントローラ部４で実現し、残りの機能を汎用のパーソナルコンピュータＰＣで実現するようにしてもよい。画像処理装置１の機能は、ソフトウェアで実現することもできるし、ハードウェアの組み合わせによって実現することもできる。
【００３６】
撮像装置２、照明装置３、表示部５、コンソール部６及びマウス７をコントローラ部４に接続するためのインターフェースは、専用のインターフェースであってもよいし、例えば既存の通信規格、例えばイーサーネット（商品名）やＵＳＢ、ＲＳ−２３２Ｃ等を利用することもできる。
【００３７】
測定対象物Ｗの高さを表す高さ画像とは、図４に示す照明装置３が有する開口部３０ａの中心軸Ａ（図１に示す）方向における測定対象物Ｗの高さ（図１５のＺ軸方向）を表す画像であり、距離画像ということもできる。高さ画像は、測定対象物Ｗの載置面１００を基準とした高さとして表示することもできるし、照明装置３との前記中心軸Ａ方向における相対距離として表示することもでき、高さに応じて各画素の濃淡値が変化する画像である。換言すれば、高さ画像は、測定対象物Ｗの載置面１００を基準とした高さに基づいて濃淡値が決定される画像といもいえるし、照明装置３との前記中心軸Ａ方向における相対距離に基づいて濃淡値が決定される画像ともいえる。また、高さ画像は、測定対象物Ｗの載置面１００を基準とした高さに応じた濃淡値を有する多値画像といもいえるし、照明装置３との前記中心軸Ａ方向における相対距離に応じた濃淡値を有する多値画像ともいえる。さらに、高さ画像は、輝度画像の画素毎に、測定対象物Ｗの載置面１００を基準とした高さを濃淡値に変換した多値画像ともいえるし、輝度画像の画素毎に、照明装置３との前記中心軸Ａ方向における相対距離を濃淡値に変換した多値画像ともいえる。
【００３８】
また、高さ画像は測定対象物Ｗの高さ情報を含む画像であり、例えば距離画像に光学的な輝度画像をテクスチャ情報として合成して貼り付けた三次元の合成画像も高さ画像とすることができる。高さ画像は、三次元状に表示されるものに限られず、二次元状に表示されるものも含まれる。
【００３９】
上述したような高さ画像を得る手法としては、大きく分けて２つの方式があり、一つは、通常の画像を得るための照明条件で撮像した画像を用いて距離画像を生成するパッシブ方式（受動計測方式）、もう一つは、高さ方向の計測をするための光を測定対象物Ｗに能動的に照射して距離画像を生成するアクティブ方式（能動計測方式）である。本実施形態では、アクティブ方式により高さ画像を得るようにしており、具体的には、パターン投影法を利用している。
【００４０】
パターン投影法は、測定対象物Ｗに投影する測定用パターン光（単にパターン光ともいう）が有するパターンの形状や位相等をずらして複数の画像を取得し、取得した複数の画像を解析することで測定対象物Ｗの三次元形状を得る方法である。パターン投影法には幾つか種類があり、例えば、正弦波縞模様パターンの位相をずらして複数（最低３枚）の画像を取得し、複数の画像から画素毎に正弦波の位相を求め、求めた位相を利用して測定対象物Ｗの表面の三次元座標を得る位相シフト法や、測定対象物Ｗに投影するパターン自体を撮影毎に異ならせ、例えば白黒デューティ比５０％で縞幅が全体の半分、４分の１、８分の１、１６分の１、…と細かくなっていく縞パターンを順次投影し、それぞれのパターンにてパターン投影画像を取得し、測定対象物Ｗの高さの絶対位相を求める空間コード法等がある。尚、測定用パターン光を測定対象物Ｗに「投影」することと、測定用パターン光を測定対象物Ｗに「照射」することとは同義である。
【００４１】
本実施形態に係る画像処理装置１では、上述した位相シフト法と空間コード法とを組み合わせて高さ画像を生成するが、これに限られるものではなく、位相シフト法のみで高さ画像を生成してもよいし、空間コード法のみで高さ画像を生成してもよい。また、従来から周知の他のアクティブ方式を利用して測定対象物Ｗの高さ画像を生成してもよい。
【００４２】
画像処理装置１による測定対象物Ｗの高さを測定手法の概略は次の通りである。まず、照明装置３の第１投光部３１及び第２投光部３２でそれぞれ生成した第１測定用パターン光及び第２測定用パターン光を互いに異なる方向から測定対象物Ｗに照射し、測定対象物Ｗから反射した第１測定用パターン光を撮像装置２が受光して複数の第１パターン画像からなる第１パターン画像セットを生成するとともに、測定対象物Ｗから反射した第２測定用パターン光を撮像装置２が受光して複数の第２パターン画像からなる第２パターン画像セットを生成する。その後、複数の第１パターン画像セットに基づいて各画素が測定対象物Ｗへの第１測定用パターン光の照射角度情報を有する第１角度画像を生成するとともに、複数の第２パターン画像に基づいて各画素が測定対象物への第２測定用パターン光の照射角度情報を有する第２角度画像を生成する。次いで、第１角度画像の各画素の照射角度情報及び第２角度画像の各画素の照射角度情報と、第１投光部３１及び第２投光部３２の相対位置情報とにしたがって、測定対象物Ｗの高さを表す高さ画像を生成し、この高さ画像から測定対象物Ｗの高さを得る。
【００４３】
また、必須ではないが、この画像処理装置１においては、照明装置３が第１投光部３１及び第２投光部３２の他に、第３投光部３３及び第４投光部３４を備えている。したがって、照明装置３の第３投光部３３及び第４投光部３４でそれぞれ生成した第３測定用パターン光及び第４測定用パターン光を互いに異なる方向から測定対象物Ｗに照射することもできる。この場合、測定対象物Ｗから反射した第３測定用パターン光を撮像装置２が受光して複数の第３パターン画像からなる第３パターン画像セットを生成するとともに、測定対象物Ｗから反射した第４測定用パターン光を撮像装置２が受光して複数の第４パターン画像からなる第４パターン画像セットを生成する。その後、複数の第３パターン画像に基づいて各画素が測定対象物Ｗへの第３測定用パターン光の照射角度情報を有する第３角度画像を生成するとともに、複数の第４パターン画像に基づいて各画素が測定対象物への第４測定用パターン光の照射角度情報を有する第４角度画像を生成する。次いで、第３角度画像の各画素の照射角度情報及び第４角度画像の各画素の照射角度情報と、第３投光部３３及び第４投光部３４の相対位置情報とにしたがって、測定対象物Ｗの高さを表す高さ画像を生成、この高さ画像から測定対象物Ｗの高さを得る。
【００４４】
（位相シフト法）
ここで、位相シフト法について説明する。位相シフト法において、照度分布を正弦波状に変動させたパターンを有するパターン光を測定対象物に順次投影する場合、正弦波の位相の異なる３つ以上のパターンのパターン光を投影する。高さ測定点の各明度値をパターン光の投影方向とは別の角度からパターン毎に撮像した画像から得て、各明度値よりパターン光の位相値を計算する。測定点の高さに応じて、測定点に投影されたパターン光の位相が変化し、基準となる位置で反射されたパターン光により観察される位相とは異なった位相の光が観察されることになる。そこで、測定点におけるパターン光の位相を計算し、三角測量の原理を利用して、幾何関係式に代入することにより測定点の高さを計測し、これにより、測定対象物Ｗの三次元形状を求めることができる。位相シフト法によれば、測定対象物Ｗの高さを、パターン光の周期を小さくすることによって高分解能で測定することができるが、測定できる高さの範囲が、位相のずれ量で２π以内となる低い高さのもの（高低差の小さいもの）しか測定できない。そこで、空間コード法を兼用する。
【００４５】
（空間コード法）
空間コード法によれば、光が照射される空間を、多数の断面略扇状の小空間に分け、この小空間に一連の空間コード番号を付すことができる。このため、測定対象物Ｗの高さが高くても、すなわち高低差が大きくても、光が照射される空間内にあれば、空間コード番号から高さが演算できる。したがって、高さの高い測定対象物Ｗについても全体にわたって形状を測定することができる。このように空間コード法によれば、許容高さのレンジ（ダイナミックレンジ）が広くなる。
【００４６】
（照明装置３の詳細構成）
図４〜図６に示すように、照明装置３は、ハウジング３０と、第１投光部３１と、第２投光部３２と、第３投光部３３と、第４投光部３４と、投光制御部３５とを備えている。図１に示すように照明装置３とコントローラ部４とは接続線３ａによって接続されているが、照明装置３とコントローラ部４とは無線接続するようにしてもよい。
【００４７】
照明装置３は、パターン光を投影するためだけのパターン光投影専用装置としてもよいし、測定対象物Ｗを観察するための観察用照明を兼用する装置としてもよい。照明装置３をパターン光投影専用装置とする場合には、パターン光投影専用装置とは別体、又はパターン光投影専用装置と一体的に観察用照明装置を設けることができる。観察用照明装置は、発光ダイオード、半導体レーザ、ハロゲンライト、ＨＩＤ等を利用することができる。
【００４８】
ハウジング３０は、平面視における中心部に開口部３０ａを有しており、第１辺部３０Ａ、第２辺部３０Ｂ、第３辺部３０Ｃ及び第４辺部３０Ｄが連続して平面視で矩形に近い形状をなしている。第１辺部３０Ａ、第２辺部３０Ｂ、第３辺部３０Ｃ及び第４辺部３０Ｄは、直線状に延びているので、開口部３０ａも平面視で矩形に近い形状をなしている。
【００４９】
尚、ハウジング３０の外形状や開口部３０ａの形状は、図示した形状に限られるものではなく、例えば円形等であってもよい。図１に示す開口部３０ａの中心軸Ａは、開口部３０ａの中心を通り、かつ、ハウジング３０の下面に対して直交する方向に延びる軸である。ハウジング３０の下面が水平となるように照明装置３が設置される場合には、開口部３０ａの中心軸Ａが鉛直に延びることになるが、照明装置３は、ハウジング３０の下面が傾斜した状態となるように設置することもでき、この場合は、開口部３０ａの中心軸Ａが傾斜することになる。
【００５０】
尚、開口部３０ａの中心軸Ａは、厳密に開口部３０ａの中心を通らなくてもよく、測定対象物Ｗの大きさ等にもよるが、開口部３０ａの中心から数ｍｍ程度の離れたところを通る軸も中心軸Ａとすることができる。つまり、開口部３０ａの中心及びその近傍を通る軸を中心軸Ａと定義することができる。中心軸Ａの延長線は、載置面１００と交差することになる。
【００５１】
以下の説明では、便宜上、図４に示すように第１辺部３０Ａ側を照明装置３の左側といい、第２辺部３０Ｂ側を照明装置３の右側といい、第３辺部３０Ｃ側を照明装置３の上側といい、第４辺部３０Ｄ側を照明装置３の下側というものとするが、これは照明装置３の使用時の方向を特定するものではなく、使用時には照明装置３がどのような向きであってもよい。
【００５２】
ハウジング３０の第１辺部３０Ａ、第２辺部３０Ｂ、第３辺部３０Ｃ及び第４辺部３０Ｄの内部は中空状である。第１辺部３０Ａの内部には、図５や図６に示す第１投光部３１が収容されている。第２辺部３０Ｂ、第３辺部３０Ｃ及び第４辺部３０Ｄの内部には、それぞれ、第２投光部３２、第３投光部３３及び第４投光部３４が収容されている。第１投光部３１と第２投光部３２とがペアであり、第３投光部３３と第４投光部３４とがペアである。また、ハウジング３０の内部には、投光制御部３５も収容されている。
【００５３】
第１辺部３０Ａと第２辺部３０Ｂとは、中心軸Ａを挟んで対向するように配置されているので、第１投光部３１及び第２投光部３２は中心軸Ａを対称の中心として左右対称となるように配置されることになり、中心軸Ａの周方向に互いに離れることになる。
【００５４】
また、第３辺部３０Ｃと第４辺部３０Ｄも中心軸Ａを挟んで対向するように配置されているので、第３投光部３３及び第４投光部３４は中心軸Ａを対称の中心として上下対称となるように配置されることになり、中心軸Ａの周方向に互いに離れることになる。平面視では、中心軸Ａを中心として右周りに、第１投光部３１、第３投光部３３、第２投光部３３、第４投光部３４の順に４つの投光部が配置されることになる。
【００５５】
（第１投光部３１及び第２投光部３２の構成）
図５及び図６に示すように、第１投光部３１は、ケーシング３１ａと、拡散光を出射する光源となる第１ＬＥＤ（発光ダイオード）３１ｂと、該第１ＬＥＤ３１ｂから出射された拡散光を受けて互いに異なるパターンを有する複数の第１測定用パターン光を順次生成して測定対象物Ｗに照射する第１ＬＣＤ（第１パターン光生成部）３１ｄとを備える。ＬＣＤは、liquid crystal display、即ち液晶パネルであり、よって、第１ＬＣＤ３１ｄは、第１液晶パネルである。第１ＬＣＤ３１ｄは、第１ＬＥＤ３１ｂに対応して配置されている。発光ダイオードとしては、例えば白色発光ダイオードを用いることができる。
【００５６】
第２投光部３２は第１投光部３１と同様に構成されており、図７に示すように、第２投光部３２は、第２ＬＥＤ３２ｂと、第２ＬＥＤ３２ｂに対応して配置された第２ＬＣＤ（第２パターン光生成部）３２ｄとを備えている。
【００５７】
以下、第１投光部３１の構成について詳細に説明する。図６Ａに示すように、第１投光部３１の第１ＬＥＤ３１ｂは、複数設けられており、光の出射方向と交差する方向に並ぶように配置されている。すなわち、ケーシング３１ａの内部には、その上方に第１辺部３０Ａに沿って延びる基板３１ｃが配設されている。図５に示すように、基板３１ｃは、第１辺部３０Ａの幅方向中心よりも外寄りに偏位している。基板３１ｃの下に向く面には、複数の第１ＬＥＤ３１ｂが実装されており、複数の第１ＬＥＤ３１ｂは第１辺部３０Ａに沿って並んでいる。図６Ａに示すように、複数の第１ＬＥＤ３１ｂは直線状に並ぶように配置することもできるし、図６Ｂに示すように、隣合う第１ＬＥＤ３１ｂが上下方向にずれるように配置することもできる。光源は、発光ダイオードに限られるものではなく、拡散光を出射する発光体であればよい。複数の第１ＬＥＤ３１ｂを第１辺部３０Ａに沿って並べることで、第１ＬＥＤ３１ｂから出射する光は、第１辺部３０Ａの方向にほぼ連続した光になる。
【００５８】
複数の第１ＬＥＤ３１ｂの光の出射方向は同じにすることができ、この実施形態では、図１に左下がりの斜線で示すように、第１ＬＥＤ３１ｂの直下から少なくともハウジング３０の開口部３０ａの中心軸Ａよりも第２辺部３０Ｂ側（照明装置３の右側）に達するように設定されている。複数の第１ＬＥＤ３１ｂによる光の照射範囲は、撮像装置２による撮像視野よりも広く設定されている。
【００５９】
複数の第１ＬＥＤ３１ｂの光の出射範囲について具体的に説明する。図１５に示すように、第１投光部３１と第２投光部３２との離間方向をＸ方向とし、上下方向をＺ方向とする。照明装置３は、該照明装置３の下面が水平（載置面１００と平行）となるように配置され、測定対象物Ｗの載置面１００から上方に「１」だけ離れて設置されているものとする。Ｘ＝０を第１ＬＥＤ３１ｂの直下とし、第１ＬＥＤ３１ｂから（Ｘ，Ｚ）＝（０，０）の点Ｃまで延びる直線Ｄを引く。また、第１ＬＥＤ３１ｂから（Ｘ，Ｚ）＝（１，０）の点Ｅまで延びる直線Ｆを引く。このとき、複数の第１ＬＥＤ３１ｂの光の出射範囲は、直線Ｄと直線Ｆとで挟まれた領域となるように、第１ＬＥＤ３１ｂの向きが設定されるとともに、第１ＬＥＤ３１ｂの光源用レンズが設計されている。
【００６０】
図７に示すように、第１投光部３１には、第１ＬＥＤ３１ｂを駆動する第１ＬＥＤ駆動回路（光源駆動回路）３１ｅと、第１ＬＣＤ３１ｄを駆動する第１ＬＣＤ駆動回路（液晶パネル駆動回路）３１ｆとが設けられている。第１ＬＥＤ駆動回路３１ｅは、第１ＬＥＤ３１ｂに対する供給電流値を変更するための回路であり、投光制御部３５によって制御される。よって、第１ＬＥＤ３１ｂは、第１ＬＥＤ駆動回路３１ｅを介して投光制御部３５によって制御されることになる。第１ＬＥＤ駆動回路３１ｅによる電流値制御は、ＤＡＣ制御である。
【００６１】
第１ＬＣＤ駆動回路３１ｆは、第１ＬＣＤ３１ｄを構成する各セグメントに印加する電圧を変更することで各セグメントの液晶組成物の配向を変化させるための回路である。この実施形態では、一例を図１０に示すように、第１ＬＣＤ３１ｄを構成するセグメントは６４個あり、６４個のセグメントにそれぞれ個別に印加する電圧を変更することができるようになっており、セグメント毎に、第１ＬＥＤ３１ｂから出射された光を通過させる状態と通過させない状態とに切り替えることができる。第１ＬＣＤ駆動回路３１ｆは、第１ＬＥＤ駆動回路３１ｅと共通の投光制御部３５によって制御される。よって、第１ＬＣＤ３１ｄは、第１ＬＣＤ駆動回路３１ｆを介して投光制御部３５によって制御されることになる。また、第１ＬＥＤ駆動回路３１ｅと第１ＬＣＤ駆動回路３１ｆとは、共通の投光制御部３５によって制御されるので、第１ＬＥＤ駆動回路３１ｅと第１ＬＣＤ駆動回路３１ｆとの同期を精密に取ることができる。
【００６２】
投光制御部３５によって制御された第１ＬＣＤ駆動回路３１ｆが第１ＬＣＤ３１ｄを駆動することで、第１ＬＥＤ３１ｂから出射された拡散光を受けて互いに異なるパターンを有する複数の第１測定用パターン光を順次生成して測定対象物Ｗに照射することができる。複数の第１測定用パターン光には、空間コード法で用いる空間コード（グレーコード）用のパターン光と、位相シフト法で用いる周期的な照度分布を有するパターン光とが含まれている。
【００６３】
図１０の上側には、空間コード用のパターン光を第１ＬＣＤ３１ｄによって生成する場合を示しており、図１０の下側には、位相シフト法で用いる周期的な照度分布を有するパターン光を生成する場合を示している。この図１０において黒く塗りつぶされている部分は第１ＬＥＤ３１ｂから出射された拡散光を非通過にするセグメントであり、白色の部分は第１ＬＥＤ３１ｂから出射された拡散光を通過させるセグメントである。また、図１０では、第１ＬＣＤ３１ｄを構成している６４個のセグメントが同図の横方向に並ぶように配置されている。
【００６４】
図１０の上側における空間コード用のパターン光の生成の場合は、白黒デューティ比５０％で縞幅が全体の半分、４分の１、…と細かくなっていく縞パターンを生成する場合を示している。このように第１ＬＣＤ３１ｄを制御することで、空間コード用のパターン光を順次生成することができる。
【００６５】
また、図１０の下側における位相シフト法用のパターン光の生成の場合は、正弦波縞模様パターンの位相をずらして複数生成する。この例の場合、ＬＣＤ表示は２値制御にして矩形波のパターンを生成しているが、このＬＣＤで生成された矩形波のパターンが光照射面上でぼけることによって正弦波状のパターンを得ることができるようになっている。またこの例では８つのパターン光を生成している。このように第１ＬＣＤ３１ｄを制御することで、位相シフト法用のパターン光を順次生成することができる。
【００６６】
つまり、位相シフト法及び／又は空間コード法にしたがう複数のパターン光を順次生成するように、投光制御部３５が第１ＬＥＤ３１ｂ及び第１ＬＣＤ３１ｄを制御する。複数のパターン光の内の一のパターン光の投影が完了すると、次のパターン光の投影を行い、この処理を繰り返すことによって全てのパターン光の投影を行う。第１ＬＣＤ３１ｄによるパターンの形成処理については後述する。
【００６７】
尚、空間コード用のパターン光の数、位相シフト法用のパターン光の数は、図示した数に限られるものではない。
【００６８】
第２投光部３２の第２ＬＥＤ３２ｂの光の出射範囲は、第２ＬＥＤ３２ｂの直下から少なくともハウジング３０の開口部３０ａの中心軸Ａよりも第１辺部３０Ａ側（照明装置３の左側）に達するように設定されている。すなわち、第２投光部３２の第２ＬＥＤ３２ｂの光の出射範囲は、ハウジング３０の開口部３０ａの中心軸Ａを対称の中心として、第１投光部３１の第１ＬＥＤ３１ｂの光の出射範囲と左右対称となるように設定されている。第２ＬＥＤ３２ｂの光の出射範囲を、図１において右下がりの斜線で示している。
【００６９】
図７に示すように、第２投光部３２には、第２ＬＥＤ３２ｂを駆動する第２ＬＥＤ駆動回路（光源駆動回路）３２ｅと、第２ＬＣＤ３２ｄを駆動する第２ＬＣＤ駆動回路（液晶パネル駆動回路）３２ｆとが設けられており、これらは投光制御部３５によって制御される。第２ＬＣＤ３２ｄは、第１ＬＣＤ３１ｄと同様に駆動されるので、第２ＬＥＤ３２ｂから出射された拡散光を受けて互いに異なるパターンを有する複数の第２測定用パターン光を順次生成して測定対象物Ｗに照射することができる。複数の第２測定用パターン光には、空間コード用のパターン光と、位相シフト法用のパターン光とが含まれている。
【００７０】
第１投光部３１から出射されたパターン光と、第２投光部３２から出射されたパターン光とが、ハウジング３０の開口部３０ａの中心軸Ａ上で交差するように、略同一の広がり角を持つように、第１投光部３１と第２投光部３２とが中心軸Ａの周方向に互いに離れた状態で、ハウジング３０に一体的に支持されている。「一体的に支持されている」とは、第１投光部３１と第２投光部３２との相対的な位置関係が設置時や使用時に変化しないように、第１投光部３１と第２投光部３２がハウジング３０に対して固定されているということである。したがって、ハウジング３０内における第１投光部３１及び第２投光部３２の相対位置は変化しないので、例えば図１５に示すように、第１ＬＥＤ３１ｂの中心部と、第２ＬＥＤ３２ｂの中心部との離間距離をｌとしておけば、設置時や使用時にも、第１ＬＥＤ３１ｂの中心部と、第２ＬＥＤ３２ｂの中心部との離間距離はｌに固定される。第１ＬＥＤ３１ｂの中心部と、第２ＬＥＤ３２ｂの中心部との離間距離は、ハウジング３０内における第１投光部３１及び第２投光部３２の相対位置情報であり、予めコントローラ部４や撮像装置２に記憶させておくことができる。
【００７１】
尚、ハウジング３０内における第１投光部３１及び第２投光部３２の相対位置情報は、第１ＬＥＤ３１ｂの中心部と、第２ＬＥＤ３２ｂの中心部との直線距離であってもよいし、各ＬＥＤから照射された光をミラー等で折り返して測定対象物Ｗに照射する場合には、その光の経路長を考慮した距離とすることもできる。
【００７２】
第１ＬＣＤ３１ｄは照明装置３の左側に配置されているので、載置面１００に載置された測定対象物Ｗに対して左側からパターン光を投影する。また、第２ＬＣＤ３２ｄは照明装置３の右側に配置されているので、載置面１００に載置された測定対象物Ｗに対して右側からパターン光を投影する。第１ＬＣＤ３１ｄ及び第２ＬＣＤ３２ｄは測定対象物Ｗに対してそれぞれ異なる方向からパターン光を投影する液晶パネルである。
【００７３】
（第３投光部３３と第４投光部３４の構成）
第３投光部３３及び第４投光部３４は、第１投光部３１と同様に構成されており、図７に示すように、第３投光部３３は、第３ＬＥＤ３３ｂと、第３ＬＥＤ３３ｂに対応して配置された第３ＬＣＤ（第３パターン光生成部）３３ｄとを備え、第４投光部３４は、第４ＬＥＤ３４ｂと、第４ＬＥＤ３４ｂに対応して配置された第４ＬＣＤ（第４パターン光生成部）３４ｄとを備えている。
【００７４】
第３投光部３３の第３ＬＥＤ３３ｂの光の出射範囲と、第４投光部３４の第４ＬＥＤ３４ｂの光の出射範囲とは、第１投光部３１の第１ＬＥＤ３１ｂの光の出射範囲と、第２投光部３２の第２ＬＥＤ３２ｂの光の出射範囲との関係と同じになるように設定されている。具体的には、第３投光部３３の第３ＬＥＤ３３ｂの光の出射範囲は、第３ＬＥＤ３３ｂの直下から少なくともハウジング３０の開口部３０ａの中心軸Ａよりも第４辺部３０Ｄ側に達するように設定されている。第４投光部３４の第４ＬＥＤ３４ｂの光の出射範囲は、第４ＬＥＤ３４ｂの直下から少なくともハウジング３０の開口部３０ａの中心軸Ａよりも第３辺部３０Ｃ側に達するように設定されている。したがって、ハウジング３０の開口部３０ａの中心軸Ａを対称の中心としたとき、上下対称となるように、第３投光部３３の第３ＬＥＤ３３ｂの光の出射範囲と、第４投光部３４の第４ＬＥＤ３４ｂの光の出射範囲とが設定されている。
【００７５】
図７に示すように、第３投光部３３には、第３ＬＥＤ３３ｂを駆動する第３ＬＥＤ駆動回路（光源駆動回路）３３ｅと、第３ＬＣＤ３３ｄを駆動する第３ＬＣＤ駆動回路（液晶パネル駆動回路）３３ｆとが設けられており、これらは投光制御部３５によって制御される。第３ＬＣＤ３３ｄは、第１ＬＣＤ３１ｄと同様に駆動されるので、第３ＬＥＤ３３ｂから出射された拡散光を受けて互いに異なるパターンを有する複数の第３測定用パターン光を順次生成して測定対象物Ｗに照射することができる。複数の第３測定用パターン光には、空間コード用のパターン光と、位相シフト法用のパターン光とが含まれている。
【００７６】
また、第４投光部３４には、第４ＬＥＤ３４ｂを駆動する第４ＬＥＤ駆動回路（光源駆動回路）３４ｅと、第４ＬＣＤ３４ｄを駆動する第４ＬＣＤ駆動回路（液晶パネル駆動回路）３４ｆとが設けられており、これらは投光制御部３５によって制御される。第４ＬＣＤ３４ｄは、第１ＬＣＤ３１ｄと同様に駆動されるので、第４ＬＥＤ３４ｂから出射された拡散光を受けて互いに異なるパターンを有する複数の第４測定用パターン光を順次生成して測定対象物Ｗに照射することができる。複数の第４測定用パターン光には、空間コード用のパターン光と、位相シフト法用のパターン光とが含まれている。
【００７７】
第３投光部３３から出射されたパターン光と、第４投光部３４から出射されたパターン光とが、ハウジング３０の開口部３０ａの中心軸Ａ上で交差するように、略同一の広がり角を持つように、第３投光部３３と第４投光部３４とが中心軸Ａの周方向に互いに離れた状態で、ハウジング３０に一体的に支持されている。したがって、ハウジング３０内における第３投光部３３及び第４投光部３４の相対位置は変化しないので、第３ＬＥＤ３３ｂの中心部と、第４ＬＥＤ３４ｂの中心部との離間距離を予め所定の値に設定しておけば、設置時や使用時にも、第３ＬＥＤ３３ｂの中心部と、第４ＬＥＤ３４ｂの中心部との離間距離は所定の値に固定される。第３ＬＥＤ３３ｂの中心部と、第４ＬＥＤ３４ｂの中心部との離間距離は、ハウジング３０内における第３投光部３３及び第４投光部３４の相対位置情報であり、予めコントローラ部４や撮像装置２に記憶させておくことができる。
【００７８】
第３ＬＣＤ３３ｄは照明装置３の上側に配置されているので、載置面１００に載置された測定対象物Ｗに対してその方向からパターン光を投影する。また、第４ＬＣＤ３４ｄは照明装置３の下側に配置されているので、載置面１００に載置された測定対象物Ｗに対してその方向からパターン光を投影する。第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄは測定対象物Ｗに対してそれぞれ異なる方向からパターン光を投影する液晶パネルである。
【００７９】
（投光制御部３５による制御）
図７に示すように、この実施形態では、第１ＬＥＤ駆動回路３１ｅ、第２ＬＥＤ駆動回路３２ｅ、第３ＬＥＤ駆動回路３３ｅ、第４ＬＥＤ駆動回路３４ｅ、第１ＬＣＤ駆動回路３１ｆ、第２ＬＣＤ駆動回路３２ｆ、第３ＬＣＤ駆動回路３３ｆ及び第４ＬＣＤ駆動回路３４ｆが共通の投光制御部３５によって制御される。よって、これら駆動回路の同期を精密に取ることができる。
【００８０】
投光制御部３５は、第１ＬＣＤ３１ｄ、第２ＬＣＤ３２ｄ、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄの内の任意の一の液晶パネルから複数のパターン光の内の一のパターン光の投影が完了するまでに、少なくとも次にパターン光を投影する他の液晶パネル上に、次に投影すべきパターンの形成処理を完了させ、前記一の液晶パネルによるパターン光の投影が完了した後に、前記他の液晶パネルに前記次のパターン光を投影する処理を繰り返し実行するように、第１ＬＣＤ３１ｄ、第２ＬＣＤ３２ｄ、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄを制御する。
【００８１】
具体的には、図１４に示すように、照明装置３の投光制御部３５には、コントローラ部４から、パターン光の投影を開始するトリガ信号と、パターン光の投影中に撮像装置２との同期を取るための再同期トリガ信号とが入力されるようになっている。トリガ信号は、ＰＬＣ１０１から入力するようにしてもよい。例えば、ＰＬＣ１０１に接続された光電センサ等による検出結果に基づいてトリガ信号を投光制御部３５に入力することができる。トリガ信号を生成する装置は、ＰＬＣ１０１でなくてもよく、光電センサ等であってもよい。この場合、光電センサ等を投光制御部３５に直接接続するか、コントローラ部４を介して接続することができる。
【００８２】
図１１に示すように、トリガ信号が入力されると、投光制御部３５は、第１ＬＣＤ３１ｄ上に現在形成されているパターンを、当該現在の表示形態とは異なるパターンＡ１に切り替えるように、第１ＬＣＤ駆動回路３１ｆを介して第１ＬＣＤ３１ｄを制御する。ここで、第１ＬＣＤ３１ｄ上のパターンを切り替えるためには、第１ＬＣＤ３１ｄを構成している各セグメントの液晶組成物に対する印加電圧を第１ＬＥＤ駆動回路３１ｅが周知の手法によって変化させる。液晶組成物に対する印加電圧を変化させてから当該液晶組成物がその配向を変えるまでの時間は、後述する撮像装置２による撮像間隔よりも長い。つまり、第１ＬＣＤ３１ｄ上に現在形成されているパターンを異なるパターンに切り替えるには、撮像装置２による撮像間隔よりも長い所定のパターン切り替え時間が必要になり、パターンＡ１からパターンＡ２に切り替える時間、パターンＡ２からパターンＡ３に切り替える時間が必要になる。図１１の第１〜第４ＬＣＤの動作を示す部分において、薄墨で塗り潰している部分は、次に投影すべきパターンを形成している時間、即ちパターン切り替え時間であり、白い部分は、パターンの形成が完全になされている時間を示している。
【００８３】
第２ＬＣＤ３２ｄも同様に、パターンＢ１、パターンＢ２、パターンＢ３に順に切り替えるための時間が必要になり、また、第３ＬＣＤ３３ｄも同様に、パターンＣ１、パターンＣ２、パターンＣ３に順に切り替えるための時間が必要になり、また、第４ＬＣＤ３４ｄも同様に、パターンＤ１、パターンＤ２、パターンＤ３に順に切り替えるための時間が必要になる。
【００８４】
第１ＬＣＤ３１ｄ上にパターンＡ１が完全に形成されている間に、そのパターンＡ１の形成と同期して第１ＬＥＤ３１ｂから光を出射し、第２ＬＥＤ３２ｂ、第３ＬＥＤ３３ｂ及び第４ＬＥＤ３４ｂからは光を出射させないように制御する。これにより、第１ＬＣＤ３１ｄ上に形成されているパターンＡ１のみがパターン光として測定対象物Ｗに投影されるので、第２ＬＣＤ３２ｄ、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄ上に形成されているパターンは、測定対象物Ｗへ投影されることはない。
【００８５】
第１ＬＣＤ３１ｄ上にパターンＡ１が形成されている時間は、第２ＬＣＤ３２ｄ上にパターンＢ１を形成するためのパターン切り替え時間の一部である。第２ＬＣＤ３２ｄ上にパターンＢ１を形成するため時間は、第１ＬＣＤ３１ｄ上にパターンＡ１が形成されている時間よりも長くなっており、具体的には、第１ＬＣＤ３１ｄ上にパターンＡ１の形成が完了するよりも前から始まっている。
【００８６】
測定対象物Ｗに投影されているパターンＡ１のパターン光の撮像が完了すると、第２ＬＣＤ３２ｄ上にパターンＢ１が完全に形成されている間に、パターンＢ１の形成と同期して第２ＬＥＤ３２ｂから光を出射し、第１ＬＥＤ３１ｂ、第３ＬＥＤ３３ｂ及び第４ＬＥＤ３４ｂからは光を出射させないように制御する。これにより、第２ＬＣＤ３２ｄ上に形成されているパターンＢ１のみがパターン光として測定対象物Ｗに投影される。
【００８７】
このパターンＢ１が形成されている時間は、第３ＬＣＤ３３ｄ上にパターンＣ１を形成するための切り替え時間の一部である。第３ＬＣＤ３３ｄ上にパターンＣ１を形成するため時間は、第２ＬＣＤ３２ｄ上にパターンＢ１が形成されている時間よりも長くなっており、具体的には、第１ＬＣＤ３１ｄ上にパターンＡ１の形成が完了するよりも前から始まっている。
【００８８】
測定対象物Ｗに投影されているパターンＢ１のパターン光の撮像が完了すると、第３ＬＣＤ３３ｄ上にパターンＣ１が完全に形成されている間に、パターンＣ１の形成と同期して第３ＬＥＤ３３ｂから光を出射し、第１ＬＥＤ３１ｂ、第２ＬＥＤ３２ｂ及び第４ＬＥＤ３４ｂからは光を出射させないように制御する。これにより、第３ＬＣＤ３３ｄ上に形成されているパターンＣ１のみがパターン光として測定対象物Ｗに投影される。
【００８９】
このパターンＣ１が形成されている時間は、第４ＬＣＤ３４ｄ上にパターンＤ１を形成するための切り替え時間の一部である。第４ＬＣＤ３４ｄ上にパターンＤ１を形成するため時間は、第３ＬＣＤ３３ｄ上にパターンＣ１が形成されている時間よりも長くなっており、具体的には、第１ＬＣＤ３１ｄ上にパターンＡ１の形成が完了するよりも前から始まっている。
【００９０】
測定対象物Ｗに投影されているパターンＣ１のパターン光の撮像が完了すると、第４ＬＣＤ３４ｄ上にパターンＤ１が完全に形成されている間に、パターンＤ１の形成と同期して第４ＬＥＤ３４ｂから光を出射し、第１ＬＥＤ３１ｂ、第２ＬＥＤ３２ｂ及び第３ＬＥＤ３３ｂからは光を出射させないように制御する。これにより、第４ＬＣＤ３４ｄ上に形成されているパターンＤ１のみがパターン光として測定対象物Ｗに投影される。このパターンＤ１が形成されている時間の一部は、第１ＬＣＤ３１ｄ上に次のパターンＡ２を形成するための切り替え時間の一部である。
【００９１】
つまり、この実施形態では、第１ＬＣＤ３１ｄ、第２ＬＣＤ３２ｄ、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄの内、一の液晶パネルによる複数のパターン光の投影を順次連続して行うのではなく、一の液晶パネルによる１番目のパターン光の投影が完了すると、別の液晶パネルによる１番目のパターン光の投影を行い、その別の液晶パネルによる１番目のパターン光の投影が完了すると、更に別の液晶パネルによる１番目のパターン光の投影を行い、そのようにして１番目のパターン光の投影が全ての液晶パネルで完了すると、前記一の液晶パネルによる２番目のパターン光の投影を行い、前記一の液晶パネルによる２番目のパターン光の投影が完了すると、前記別の液晶パネルによる２番目のパターン光の投影を行い、その別の液晶パネルによる２番目のパターン光の投影が完了すると、更に別の液晶パネルによる２番目のパターン光の投影を行うように、第１ＬＣＤ３１ｄ、第２ＬＣＤ３２ｄ、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄを制御する。したがって、パターン光の投影を行っていない液晶パネルでは、次に投影するパターンの形成準備を行うことができるので、液晶パネルの応答速度の遅さをカバーすることができる。
【００９２】
前記した例では、第１ＬＣＤ３１ｄ、第２ＬＣＤ３２ｄ、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄの全てでパターン光を投影する場合について説明したが、これに限らず、第１ＬＣＤ３１ｄ及び第２ＬＣＤ３２ｄのみでパターン光を投影すること、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄのみでパターン光を投影することもできる。第１ＬＣＤ３１ｄ及び第２ＬＣＤ３２ｄのみでパターン光を投影する場合には、パターン光の投影を交互に行えばよく、例えば、第１ＬＣＤ３１ｄで１番目のパターン光の投影を行っている間に、第２ＬＣＤ３２ｄ上に１番目のパターンの形成処理を行い、その後、第２ＬＣＤ３２ｄで１番目のパターン光の投影を行っている間に、第１ＬＣＤ３１ｄ上に２番目のパターンの形成処理を行い、これを繰り返す。第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄのみでパターン光を投影する場合も同様である。
【００９３】
投光制御部３５には、トリガ信号及び再同期トリガ信号以外にも、コントローラ部４からパターン光の形成情報も送信され、送信されたパターン光の形成情報は、一旦、投光制御部３５に記憶されて、このパターン光の形成情報に基づいて、第１ＬＥＤ３１ｂ、第２ＬＥＤ３２ｂ、第３ＬＥＤ３３ｂ及び第４ＬＥＤ３４ｂと、第１ＬＣＤ３１ｄ、第２ＬＣＤ３２ｄ、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄとを制御する。
【００９４】
パターン光の形成情報には、例えば、照射モード、空間コード用のパターン光の照射の有無、空間コード用のパターン光の具体的なパターン及び数、位相シフト法用のパターン光の照射の有無、位相シフト法用のパターン光の具体的なパターン及び数、パターン光の照射順等が含まれている。照射モードには、第１ＬＣＤ３１ｄ及び第２ＬＣＤ３２ｄのみでパターン光を照射して測定対象物Ｗに投影する第１照射モードと、第１ＬＣＤ３１ｄ、第２ＬＣＤ３２ｄ、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄの全てでパターン光を投影する第２照射モードと、第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄのみでパターン光を照射して測定対象物Ｗに投影する第３照射モードとが含まれている。
【００９５】
（撮像装置２の構成）
図１等に示すように、撮像装置２は、照明装置３とは別体に設けられている。図１に示すように撮像装置２とコントローラ部４とは接続線２ａによって接続されているが、撮像装置２とコントローラ部４とは無線接続するようにしてもよい。
【００９６】
撮像装置２は、画像処理装置１の一部を構成するものであることから、撮像部ということもできる。撮像装置２が照明装置３とは別体に設けられているので、撮像装置２と照明装置３とを別々に設置することができる。よって、撮像装置２の設置場所と照明装置３の設置場所とを変えること、撮像装置２の設置場所と照明装置３の設置場所とを離すことができる。これにより、撮像装置２及び照明装置３の設置時の自由度を大きく向上させ、あらゆる生産現場等へ画像処理装置１を導入することが可能になる。
【００９７】
尚、撮像装置２の設置場所と照明装置３の設置場所と同じにすることができる現場であれば、撮像装置２と照明装置３とを同じ部材に取り付けることもでき、設置状態は使用者が現場に応じて任意に変更することができる。また、撮像装置２と照明装置３とを同じ部材に取り付けて一体化して使用することもできる。
【００９８】
撮像装置２は、照明装置３のハウジング３０の上方、即ちパターン光の出射方向とは反対側において、ハウジング３０の開口部３０ａを覗くように配置されている。したがって、撮像装置２は、照明装置３のハウジング３０の開口部３０ａを介して、測定対象物Ｗから反射した第１測定用パターン光を受光して複数の第１パターン画像を生成するとともに、測定対象物Ｗから反射した第２測定用パターン光を受光して複数の第２パターン画像を生成することができる。また、照明装置３が第３投光部３３及び第４投光部３４を有している場合には、撮像装置２は、照明装置３のハウジング３０の開口部３０ａを介して、測定対象物Ｗから反射した第３測定用パターン光を受光して複数の第３パターン画像を生成するとともに、測定対象物Ｗから反射した第４測定用パターン光を受光して複数の第４パターン画像を生成することができる。
【００９９】
図３に示すように、撮像装置２は、光学系を構成するレンズ２１と、レンズ２１から入射した光を受光する受光素子からなる撮像素子２２とを備えており、レンズ２１及び撮像素子２２によって、いわゆるカメラが構成されている。レンズ２１は、測定対象物Ｗ上の少なくとも高さ測定エリアまたは検査対象エリアを撮像素子２２に結像させるための部材である。レンズ２１の光軸と、照明装置３のハウジング３０の開口部３０ａの中心軸Ａとを一致させる必要はない。また、撮像装置２と照明装置３との中心軸Ａ方向の距離は、撮像装置２による撮像を照明装置３が妨げない範囲で任意に設定することができ、設置の自由度が高く設計されている。
【０１００】
また、撮像素子２２としては、ＣＣＤやＣＭＯＳセンサ等を利用することができる。撮像素子２２は、測定対象物Ｗからの反射光を受光して画像を取得し、取得した画像データをデータ処理部２４に出力する。この例では撮像素子２２として高解像度のＣＭＯＳセンサを利用している。尚、カラーで撮像可能な撮像素子を利用することもできる。撮像素子２２は、パターン投影画像以外に、通常の輝度画像を撮像することもできる。通常の輝度画像を撮像する場合には、前記照明装置３の全てのＬＥＤ３１ｂ、３２ｂ、３３ｂ、３４ｂを点灯させるとともに、パターン光を形成しないように全てのＬＣＤ３１ｄ、３２ｄ、３３ｄ、３４ｄを制御すればよい。観察用照明がある場合にはそれを利用して通常の輝度画像を撮像することもできる。
【０１０１】
撮像装置２は、前記カメラの他、露光制御部２３と、データ処理部２４と、位相計算部２６と、画像処理部２７と、画像記憶部２８と、出力制御部２９とを更に備えている。データ処理部２４、位相計算部２６、画像処理部２７及び画像記憶部２８は、撮像装置２に内蔵されている共通のバスライン２５に接続されていて相互にデータの送受信が可能になっている。露光制御部２３、データ処理部２４、位相計算部２６、画像処理部２７、画像記憶部２８及び出力制御部２９は、ハードウェアで構成することもできるし、ソフトウェアで構成することもできる。
【０１０２】
（露光制御部２３の構成）
露光制御部２３には、コントローラ部４から、撮像を開始するトリガ信号と、撮像中に照明装置３との同期を取るための再同期トリガ信号とが入力されるようになっている（図１４参照）。露光制御部２３に入力されるトリガ信号及び再同期トリガ信号は、照明装置３に入力されるトリガ信号及び再同期トリガ信号と同じタイミングとなるように、入力タイミングが設定されている。
【０１０３】
露光制御部２３は、撮像素子２２を直接制御する部分であり、露光制御部２３に入力されたトリガ信号及び再同期トリガ信号によって撮像素子２２の撮像タイミング及び露光時間を制御する。露光制御部２３には、コントローラ部４から撮像条件に関する情報が入力されて記憶されるようになっている。撮像条件に関する情報には、例えば、撮像回数、撮像間隔（撮像後、次の撮像を行うまでの時間）、撮像時の露光時間（シャッタースピード）等が含まれている。
【０１０４】
コントローラ部４から送出されるトリガ信号の入力によって露光制御部２３が撮像素子２２に撮像を開始させる。この実施形態では、１回のトリガ信号の入力によって複数のパターン画像を生成する必要があることから、撮像中に再同期トリガ信号がコントローラ部４から入力され、この再同期トリガ信号の入力によって照明装置３との同期を取ることができるようになっている。
【０１０５】
具体的には、図１１のタイミングチャートに示すように、第１ＬＣＤ３１ｄ上に完全に形成されているパターンＡ１がパターン光として測定対象物Ｗに投影されている間に、撮像素子２２が撮像（露光）するように、露光制御部２３が撮像素子２２を制御する。露光時間と、パターンＡ１がパターン光として測定対象物Ｗに投影されている時間とは、同じにすることができるが、露光開始のタイミングを、パターン光が投影開始されたタイミングよりも若干遅くしてもよい。
【０１０６】
その後、第２ＬＣＤ３２ｄ上に形成されているパターンＢ１がパターン光として測定対象物Ｗに投影されている間に、撮像素子２２が撮像するように、露光制御部２３が撮像素子２２を制御する。この撮像が完了すると、第３ＬＣＤ３３ｄ上に形成されているパターンＣ１がパターン光として測定対象物Ｗに投影されている間に、撮像素子２２が撮像するように、露光制御部２３が撮像素子２２を制御する。その後、第４ＬＣＤ３４ｄ上に形成されているパターンＤ１がパターン光として測定対象物Ｗに投影されている間に、撮像素子２２が撮像するように、露光制御部２３が撮像素子２２を制御する。これを繰り返すことで、パターンＡ１、Ｂ１、Ｃ１、Ｄ１、Ａ２、Ｂ２、Ｃ２、Ｄ２、Ａ３、…という順番で撮像が行われる。
【０１０７】
第１ＬＣＤ３１ｄ及び第２ＬＣＤ３２ｄのみでパターン光を投影する場合には、パターンＡ１、Ｂ１、Ａ２、Ｂ２、Ａ３、Ｂ３、…という順番で撮像が行われる。第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄのみでパターン光を投影する場合には、パターンＣ１、Ｄ１、Ｃ２、Ｄ２、Ｃ３、Ｄ３、…という順番で撮像が行われる。
【０１０８】
図１１のタイミングチャートに示すように、撮像素子２２は、撮像を完了すると、その都度、画像データをデータ処理部２４に転送する。尚、画像データは、図３に示す画像記憶部２８に記憶させておくことができる。すなわち、撮像素子２２による撮像タイミングと、コントローラ部４の画像の要求タイミングとは一致していないので、このズレを吸収するバッファとして画像記憶部２８が機能するようになっている。
【０１０９】
図１１のタイミングチャートでは、撮像と次の撮像との間に、画像データを図３に示すデータ処理部２４に転送するようにしているが、これに限らず、例えば図１２のタイミングチャートに示すように、撮像とデータ転送とを並行して行うこともできる。図１２のタイミングチャートでは、パターンＡ１のパターン光が照射されている測定対象物Ｗの撮像が完了すると、次のパターンＢ１のパターン光が照射されている測定対象物Ｗの撮像を行っているときに、パターンＡ１の画像データをデータ処理部２４に転送する。このように、前回撮像した画像データを次の撮像時にデータ処理部２４に転送することもできる。
【０１１０】
また、図１３のタイミングチャートに示すように、パターンＡ１のパターン光が照射されている測定対象物Ｗを複数回撮像することもできる。この場合、第１ＬＥＤ３１ｂは、撮像素子２２による撮像時にのみ点灯させることができる。撮像素子２２の露光時間は、１回目の撮像時が２回目の撮像時よりも長くなるように設定することができるが、２回目の撮像時が１回目の撮像時よりも長くなるように設定することもできる。他のパターンのパターン光が照射されている測定対象物Ｗを撮像するときも、複数回撮像できる。これにより、複数のパターン光の内の一のパターン光が測定対象物Ｗに投影されている間に、露光時間が異なる複数の画像を生成することができる。この露光時間が異なる複数の画像は、後述するハイダイナミックレンジ処理を行う際に使用される。尚、パターンＡ１のパターン光が照射されている測定対象物Ｗを複数回撮像する間、第１ＬＥＤ３１ｂを点灯させ続けてもよい。
【０１１１】
（データ処理部２４の構成）
図３に示すデータ処理部２４は、撮像素子２２から出力される画像データに基づいて複数のパターン画像セットを生成する。撮像素子２２が、図１１に示すパターンＡ１、Ｂ１、Ｃ１、Ｄ１、Ａ２、Ｂ２、Ｃ２、Ｄ２、Ａ３、…という順番で撮像すると、データ処理部２４は、パターンＡ１、Ａ２、…の画像からなる第１パターン画像セットを生成し、パターンＢ１、Ｂ２、…の画像からなる第２パターン画像セットを生成し、パターンＣ１、Ｃ２、…の画像からなる第３パターン画像セットを生成し、パターンＤ１、Ｄ２、…の画像からなる第４パターン画像セットを生成する。パターンＡ１、Ａ２、…は、第１ＬＣＤ３１ｄから投影されたパターン光であり、また、パターンＢ１、Ｂ２、…は、第２ＬＣＤ３２ｄから投影されたパターン光であり、また、パターンＣ１、Ｃ２、…は、第３ＬＣＤ３３ｄから投影されたパターン光であり、また、パターンＤ１、Ｄ２、…は、第４ＬＣＤ３４ｄから投影されたパターン光である。したがって、撮像装置２は、液晶パネルから投影された複数のパターン光の測定対象物Ｗからの反射光を受光し、各液晶パネルにそれぞれ対応する複数のパターン画像セットを生成することができる。
【０１１２】
第１ＬＣＤ３１ｄ及び第２ＬＣＤ３２ｄのみでパターン光を投影する場合には、第１パターン画像セットと第２パターン画像セットとが生成される。第３ＬＣＤ３３ｄ及び第４ＬＣＤ３４ｄのみでパターン光を投影する場合には、第３パターン画像セットと第４パターン画像セットとが生成される。
【０１１３】
データ処理部２４は、位相シフト法にしたがうパターン光の投影によって位相シフトパターン画像セットを生成するとともに、空間コード法にしたがうパターン光の投影によってグレーコードパターン画像セットを生成することができる。
【０１１４】
位相シフト法にしたがうパターン光は、照度分布を例えば正弦波状に変動させたパターン光であるが、これ以外のパターン光であってもよい。この実施形態では、位相シフト法にしたがうパターン光の数を８としているが、これに限られるものではない。一方、空間コード法にしたがうパターン光は、白黒デューティ比５０％で縞幅が全体の半分、４分の１、…と細かくなっていく縞パターンである。この実施形態では、空間コード法にしたがうパターン光の数を４としているが、これに限られるものではない。尚、この例で説明しているパターンは、グレーコードを空間コードとして利用する場合であり、縞幅を半々にしていくことによってパターン光を形成するのはグレーコードの目的ではないが、結果としてそうなっているだけである。またグレーコードは、隣接コードとのハミング距離＝１とすることでノイズ耐性を考慮したコード方式の一種である。
【０１１５】
図９に示すように、照明装置３の第１投光部３１が空間コード法にしたがう４つのパターン光を測定対象物Ｗに照射した場合には、データ処理部２４が４つの異なる画像からなるグレーコードパターン画像セットを生成する。また、照明装置３の第１投光部３１が位相シフト法にしたがう８つのパターン光を測定対象物Ｗに照射した場合には、データ処理部２４が８つの異なる画像からなる位相シフトパターン画像セットを生成する。第１投光部３１によるパターン光の照射によって得られたグレーコードパターン画像セット及び位相シフトパターン画像セットは、共に、第１パターン画像セットである。
【０１１６】
同様に、照明装置３の第２投光部３２が空間コード法にしたがうパターン光を測定対象物Ｗに照射した場合には、グレーコードパターン画像セットが生成され、また、位相シフト法にしたがうパターン光を測定対象物Ｗに照射した場合には、位相シフトパターン画像セットが生成される。第２投光部３２によるパターン光の照射によって得られたグレーコードパターン画像セット及び位相シフトパターン画像セットは、共に、第２パターン画像セットである。
【０１１７】
同様に、照明装置３の第３投光部３３が空間コード法にしたがうパターン光を測定対象物Ｗに照射した場合には、グレーコードパターン画像セットが生成され、また、位相シフト法にしたがうパターン光を測定対象物Ｗに照射した場合には、位相シフトパターン画像セットが生成される。第３投光部３３によるパターン光の照射によって得られたグレーコードパターン画像セット及び位相シフトパターン画像セットは、共に、第３パターン画像セットである。
【０１１８】
同様に、照明装置３の第４投光部３４が空間コード法にしたがうパターン光を測定対象物Ｗに照射した場合には、グレーコードパターン画像セットが生成され、また、位相シフト法にしたがうパターン光を測定対象物Ｗに照射した場合には、位相シフトパターン画像セットが生成される。第４投光部３４によるパターン光の照射によって得られたグレーコードパターン画像セット及び位相シフトパターン画像セットは、共に、第４パターン画像セットである。
【０１１９】
前記各パターン画像セットは、図３に示す画像記憶部２８に記憶させておくことができる。
【０１２０】
図３に示すように、データ処理部２４は、ＨＤＲ処理部２４ａを有している。ＨＤＲ処理とは、ハイダイナミックレンジ（high dynamic range imaging）合成処理のことであり、このＨＤＲ処理部２４ａにおいて、露光時間が異なる複数の画像を合成する。すなわち、上述した図１３に示すように、パターンＡ１のパターン光が照射されている測定対象物Ｗを、露光時間を変えて複数回撮像した場合には、露光時間の異なる複数の輝度画像が得られることになり、これら輝度画像を合成することで各輝度画像のダイナミックレンジよりも広いダイナミックレンジを有する画像を生成することができる。ＨＤＲ合成の手法については従来から周知の手法を用いることができる。露光時間を変化させる代わりに、照射する光の強度を変化させることによって明るさの異なる複数の輝度画像を得て、これら輝度画像を合成してもよい。
【０１２１】
また、投光制御部３５は、複数のパターン光の内の一のパターン光を測定対象物Ｗに複数回投影するように構成することができる。この場合、撮像装置２は、投光制御部３５が複数のパターン光の内の一のパターン光を測定対象物Ｗに投影する都度、測定対象物Ｗからの反射光を受光して露光時間が異なる複数の画像を生成するように構成することができる。露光時間を変化させる代わりに、照射する光の強度を変化させることによって明るさの異なる複数の輝度画像を得るようにしてもよい。これにより、露光時間が異なる複数の画像を取得することができるので、ＨＤＲ処理部２４ａは、露光時間が異なる複数の画像を合成するハイダイナミックレンジ処理を行うことができる。
【０１２２】
（位相計算部２６の構成）
図３に示す位相計算部２６は、高さ画像の元データとなる絶対位相画像を算出する部分である。図８に示すように、ステップＳ１において、位相シフトパターン画像セットの各画像データを取得し、位相シフト法を利用することにより、相対位相計算処理を行う。これは図１０における相対位相（Unwrapping前位相）のように表現することができ、ステップＳ１の相対位相計算処理により位相画像が得られる。
【０１２３】
一方、図８のステップＳ３において、グレーコードパターン画像セットの各画像データを取得し、空間コード法を利用することにより、空間コード算出処理を行い、縞番号画像を得る。縞番号画像は、光が照射される空間を多数の小空間に分けた場合に、小空間に一連の空間コード番号を付して識別可能にした画像である。図１０に、一連の空間コード番号の付与要領について示している。
【０１２４】
図８のステップＳ４では絶対位相位相化処理を行う。絶対位相位相化処理では、ステップＳ１において得られた位相画像と、ステップＳ３において得られた縞番号画像とを合成（Unwrapping）して絶対位相画像（中間画像）を生成する。つまり、空間コード法によって得た空間コード番号により、位相シフト法による位相ジャンプの補正（位相アンラップ）ができるので、高さのダイナミックレンジを広く確保しつつ、高分解能な測定結果を得ることができる。
【０１２５】
位相シフト法のみで高さ測定を行うようにしてもよい。この場合は、高さの測定ダイナミックレンジが狭くなるので、位相が１周期以上ずれてしまうような高さの相違が大きい測定対象物Ｗの場合は、高さの測定が正しく行えない。逆に、高さの変化が小さな測定対象物Ｗの場合は、空間コード法による縞画像の撮像や合成を行わないので、その分だけ処理を高速化することができるメリットがある。例えば、高さ方向の差異が少ない測定対象物Ｗを測定する際には、ダイナミックレンジを大きく取る必要がないため、位相シフト法のみでも高精度な高さ測定性能を維持しつつ、処理時間を短くすることができる。また、絶対高さは判るので空間コード法のみで高さ測定するように構成してもよい。この場合、コードを増やすことによって精度を高めることができる。
【０１２６】
また、図８のステップＳ２では、位相シフトパターン画像セットの各画像データを取得し、信頼度画像算出処理を行う。信頼度画像算出処理では、位相信頼性を示す信頼度画像を算出する。これは無効画素の判定に利用することができる画像である。
【０１２７】
前記位相画像、縞番号画像及び信頼度画像は、図３に示す画像記憶部２８に記憶させておくことができる。
【０１２８】
位相計算部２６が生成する絶対位相画像は、各画素が測定対象物Ｗへの測定用パターン光の照射角度情報を有する角度画像ということもできる。すなわち、第１パターン画像セット（位相シフトパターン画像セット）には、正弦波縞模様パターンの位相をずらして撮像した８枚の第１パターン画像が含まれているので、位相シフト法を利用することによって測定対象物Ｗへの測定用パターン光の照射角度情報を各画素が有することになる。つまり、位相計算部２６は、複数の第１パターン画像に基づいて、各画素が測定対象物Ｗへの第１測定用パターン光の照射角度情報を有する第１角度画像を生成する部分であるので、角度画像生成部ということもできる。第１角度画像は、第１ＬＥＤ３１ｂから測定対象物Ｗへ照射される光の角度を画像化した画像である。
【０１２９】
同様に、位相計算部２６は、複数の第２パターン画像に基づいて各画素が測定対象物Ｗへの第２測定用パターン光の照射角度情報を有する第２角度画像と、複数の第３パターン画像に基づいて各画素が測定対象物Ｗへの第３測定用パターン光の照射角度情報を有する第３角度画像と、複数の第４パターン画像に基づいて各画素が測定対象物Ｗへの第４測定用パターン光の照射角度情報を有する第４角度画像とを生成することができる。第２角度画像は、第２ＬＥＤ３２ｂから測定対象物Ｗへ照射される光の角度を画像化した画像である。第３角度画像は、第３ＬＥＤ３３ｂから測定対象物Ｗへ照射される光の角度を画像化した画像である。第４角度画像は、第４ＬＥＤ３４ｂから測定対象物Ｗへ照射される光の角度を画像化した画像である。図９における中間画像の最も上の画像が第１角度画像であり、上から２番目の画像が第２角度画像であり、上から３番目の画像が第３角度画像であり、一番下の画像が第４角度画像である。各角度画像の真っ黒に塗りつぶされたように見える部分が照明（前記各ＬＥＤ）の影になっている部分であり、角度情報の無い無効画素となる。
【０１３０】
（画像処理部２７の構成）
画像処理部２７は、前記各パターン画像、位相画像、縞番号画像及び信頼度画像に対して、例えば、ガンマ補正、ホワイトバランスの調整、ゲイン補正等の画像処理を行う部分である。画像処理後の各パターン画像、位相画像、縞番号画像及び信頼度画像を画像記憶部２８に記憶させておくこともできる。画像処理は上述した処理に限られるものではない。
【０１３１】
（出力制御部２９の構成）
出力制御部２９は、コントローラ部４から出力された画像出力要求信号を受信すると、その画像出力要求信号に従い、画像記憶部２８に記憶されている画像の内、画像出力要求信号で指示された画像のみ、画像処理部２７を介してコントローラ部４に出力する部分である。この例では、画像処理前の各パターン画像、位相画像、縞番号画像及び信頼度画像を画像記憶部２８に記憶させておき、コントローラ部４からの画像出力要求信号で要求された画像に対してのみ、画像処理部２７で画像処理を行い、コントローラ部４に出力する。画像出力要求信号は、使用者が各種測定操作や検査操作を行った時に出力することができる。
【０１３２】
この実施形態では、データ処理部２４、位相計算部２６及び画像処理部２７を撮像装置２に設けたが、これに限らず、コントローラ部４に設けてもよい。この場合、撮像素子２２から出力された画像データはコントローラ部４に出力されて処理されることになる。
【０１３３】
（コントローラ部４の構成）
図２に示すように、コントローラ部４は、撮像投光制御部４１と、高さ測定部４２と、画像合成部４３と、検査部４５と、表示制御部４６と、履歴記憶部４７とを備えている。コントローラ部４は、撮像装置２及び照明装置３とは別体に設けられている。
【０１３４】
（撮像投光制御部４１の構成）
撮像投光制御部４１は、前記パターン光の形成情報、トリガ信号及び再同期トリガ信号を、照明装置３に所定のタイミングで出力するとともに、前記撮像条件に関する情報、トリガ信号及び再同期トリガ信号を、撮像装置２に所定のタイミングで出力する。照明装置３に出力するトリガ信号及び再同期トリガ信号と、撮像装置２に出力するトリガ信号及び再同期トリガ信号とは同期している。前記パターン光の形成情報及び前記撮像条件に関する情報は、例えば撮像投光制御部４１や、別の記憶部（図示せず）に記憶させておくことができる。使用者が所定の操作（高さ測定準備操作、検査準備操作）を行うことで、前記パターン光の形成情報が照明装置３に出力されて照明装置３の投光制御部３５に一旦記憶され、また、前記撮像条件に関する情報撮像装置２に出力されて露光制御部２３に一旦記憶される。この例では、照明装置３は、該照明装置３に内蔵されている投光制御部３５でＬＥＤ及びＬＣＤの制御を行うように構成されているので、スマートタイプの照明装置と呼ぶことができる。また、撮像装置２は、該撮像装置２に内蔵されている露光制御部２３で撮像素子２２の制御を行うように構成されているので、スマートタイプの撮像装置と呼ぶことができる。
【０１３５】
このように撮像装置２及び照明装置３が個別に制御を行う場合には、撮像回数が増えれば増えるほど、撮像タイミングと、照明タイミング（パターン光の投影タイミング）とがずれて、撮像装置２によって得られた画像が暗くなってしまうという問題がある。特に、上述したように、位相シフトパターン画像セットの画像が８つ、グレーコードパターン画像セットが４つの合計１２の画像で第１パターン画像セットを構成し、第２パターン画像セットも同様に構成し、さらにＨＤＲ用の撮像も行うようにすると、撮像回数が多くなり、撮像タイミングと、照明タイミングとのズレが顕著になる。
【０１３６】
この例では、再同期トリガ信号を照明装置３と撮像装置２に同期して出力するようにしており、これにより、撮像の途中で照明装置３と撮像装置２との同期を取ることができるようにしている。よって、撮像回数が多くなったとしても、撮像タイミングと、照明タイミングとのズレが問題とならない程度に極めて小さなものとなり、画像が暗くなるのを抑制できる。再同期トリガ信号は、複数回出力することもできる。
【０１３７】
撮像投光制御部４１は、照射モード切替部４１ａを備えている。第１投光部３１及び第２投光部３２によってそれぞれ第１測定用パターン光及び第２測定用パターン光を照射する第１照射モードと、第１投光部３１及び第２投光部３２によってそれぞれ第１測定用パターン光及び第２測定用パターン光を照射した後、第３投光部３３及び第４投光部３４によってそれぞれ第３測定用パターン光及び第４測定用パターン光を照射する第２照射モードと、第３投光部３３及び第４投光部３４によってそれぞれ第３測定用パターン光及び第４測定用パターン光を照射する第３照射モードとの３つの照射モードの内、任意の１つの照射モードに切り替えることができる。照射モードの切替は、使用者が表示部５を見ながら、コンソール部６やマウス７の操作によって行うことができる。また、コントローラ部４が自動で照射モードの切替を行うように構成することもできる。
【０１３８】
（高さ測定部４２の構成）
高さ測定部４２は、位相計算部２６が生成した第１角度画像の各画素の照射角度情報及び第２角度画像の各画素の照射角度情報と、照明装置３のハウジング３０内における第１投光部３１及び第２投光部３２の相対位置情報とにしたがって、照明装置３の中心軸Ａ方向における測定対象物Ｗの高さを測定することができるように構成されている。
【０１３９】
以下、高さ測定部４２による具体的な高さを測定方法について説明する。上述したように、位相のＵｎｗｒａｐによって角度画像を生成することにより、各画素に対する照明からの角度が決まる。第１角度画像は、第１ＬＥＤ３１ｂから測定対象物Ｗへ照射される光の角度を示す画像であり、第２角度画像は、第２ＬＥＤ３２ｂから測定対象物Ｗへ照射される光の角度を示す画像である。そして、第１ＬＥＤ３１ｂと第２ＬＥＤ３２ｂとはハウジング３０に一体的に支持されていて第１ＬＥＤ３１ｂと第２ＬＥＤ３２ｂとの距離は、上述したようにｌ（図１５に示す）となっている。
【０１４０】
図１５では、測定対象物Ｗにおける任意の点Ｈの高さを求める場合について説明している。第１ＬＥＤ３１ｂの直下を０゜、第１ＬＥＤ３１ｂから４５゜の方向を１としている。また、図１５の右方向を正、左方向を負としている。第１ＬＥＤ３１ｂから点Ｈに照射される光の角度は、第１角度画像における点Ｈに対応する画素から求めることができ、点Ｈと第１ＬＥＤ３１ｂとを結ぶ直線の傾きを１／ａ１とする。また、第２ＬＥＤ３２ｂから点Ｈに照射される光の角度は、第２角度画像における点Ｈに対応する画素から求めることができ、点Ｈと第２ＬＥＤ３２ｂとを結ぶ直線の傾きを−１／ａ２とする。ａ１、ａ２は位相である。
【０１４１】
Ｚ＝１／ａ１＊Ｘ＋０        …  式１
Ｚ＝−１／ａ２＊（Ｘ−ｌ）  …  式２
式１、式２に対してＺを解くと高さが求まる。
ａ１Ｚ＝Ｘ
ａ２Ｚ＝−Ｘ＋ｌ
Ｚ＝ｌ／（ａ１＋ａ２）
Ｘ＝ａ１＊ｌ／（ａ１＋ａ２）
【０１４２】
このようにして、測定対象物Ｗにおける各点の高さを求めることができる。前記各式には、撮像装置２の位置に関する変数が無いので、測定対象物Ｗにおける各点の高さを求める際には撮像装置２の位置は無関係であることが分かる。但し、角度画像で無効画素となっている画素については角度情報が無いので、その点の高さを求めることはできない。すなわち、算出されるＺ座標は撮像装置２と測定対象物Ｗとの距離ではなく、照明装置３から見た時の測定対象物Ｗまでの距離を示すものになっている。撮像装置２の設置位置とは無関係に、照明装置３の設置位置によって得られるＺ座標が定まる。
【０１４３】
また、図示しないが、同様にして、第３ＬＥＤ３３ｂから点Ｈに照射される光の角度を、第３角度画像における点Ｈに対応する画素から求めることができ、また、第４ＬＥＤ３４ｂから点Ｈに照射される光の角度を、第４角度画像における点Ｈに対応する画素から求めることができるので、第３角度画像及び第４角度画像に基づいて各画素の高さを求めることができる。
【０１４４】
例えば、図９では、高さ測定部４２は、第１角度画像の各画素の照射角度情報及び第２角度画像の各画素の照射角度情報と、ハウジング３０内における第１投光部３１及び第２投光部３２の相対位置情報とにしたがって測定対象物Ｗの高さを表す第１高さ画像を生成するとともに、第３角度画像の各画素の照射角度情報及び第４角度画像の各画素の照射角度情報と、ハウジング３０内における第３投光部３３及び第４投光部３４の相対位置情報とにしたがって測定対象物Ｗの高さを表す第２高さ画像を生成した場合を示している。
【０１４５】
第１高さ画像は、各画素の高さを把握することができるので、各種検査を行う際に使用される検査対象画像とすることができる。また、第２高さ画像も各画素の高さを把握することができるので、各種検査を行う際に使用される検査対象画像とすることができる。したがって、高さ測定部４２は、複数の中間画像に基づいて検査対象画像を生成する検査対象画像生成部ということもできる。
【０１４６】
図９に示す場合では、まず、第１投光部３１によるパターン光の投影によって得られた第１パターン画像セットで第１角度画像を生成し、第２投光部３２によるパターン光の投影によって得られた第２パターン画像セットで第１角度画像を生成する。第１角度画像では、第１投光部３１が測定対象物Ｗの左側から光を照射することになるので、測定対象物Ｗの右側に影ができ、その部分が無効画素となっている。一方、第２角度画像では、第２投光部３２が測定対象物Ｗの右側から光を照射することになるので、測定対象物Ｗの左側に影ができ、その部分が無効画素となっている。第１角度画像と第２角度画像とによって第１高さ画像を生成するので、一方の角度画像で無効画素となっている画素については第１高さ画像においても無効画素となる。
【０１４７】
同様にして、第３投光部３３によるパターン光の投影によって得られた第３パターン画像セットで第３角度画像を生成し、第４投光部３４によるパターン光の投影によって得られた第４パターン画像セットで第４角度画像を生成する。第３角度画像では、第３投光部３３が測定対象物Ｗの上側（図において上になる側）から光を照射することになるので、測定対象物Ｗの下側（図において下になる側）に影ができ、その部分が無効画素となっている。一方、第４角度画像では、第４投光部３４が測定対象物Ｗの下側から光を照射することになるので、測定対象物Ｗの上側に影ができ、その部分が無効画素となっている。第３角度画像と第４角度画像とによって第２高さ画像を生成するので、一方の角度画像で無効画素となっている画素については第２高さ画像においても無効画素となる。無効画素をできるだけ少なくするために、この実施形態では図２に示すようにコントローラ部４に画像合成部４３を設けている。
【０１４８】
この実施形態では、高さ測定部４２をコントローラ部４に設けた場合について説明したが、これに限らず、図示しないが、高さ測定部を撮像装置２に設けてもよい。
【０１４９】
（画像合成部４３の構成）
画像合成部４３は、第１高さ画像と第２高さ画像とを合成して合成後高さ画像を生成するように構成されている。これにより、第１高さ画像で無効画素になっている部分が、第２高さ画像では無効画素となっていない部分については、合成後高さ画像において有効画素で表されることになり、反対に、第２高さ画像で無効画素になっている部分が、第１高さ画像では無効画素となっていない部分については、合成後高さ画像において有効画素で表されることになる。よって、合成後高さ画像では無効画素の数を少なくすることができる。逆に、高い信頼を持った高さを得たい場合は、第１高さ画像、第２高さ画像の双方とも有効で、かつ、その差が所定以下の小さい場合のみに、その平均高さを有効としてもよい。
【０１５０】
言い換えると、測定対象物Ｗに対して互いに異なる４方向からパターン光を照射することで、高さ画像の有効画素数を多くすることができ、死角を少なくすることができるとともに、測定結果の信頼性を向上させることができる。尚、２方向からのパターン光の照射で無効画素が十分に少なくなるような測定対象物Ｗの場合は、高さ画像を１つだけ生成すればよい。この場合、使用者が第１高さ画像と第２高さ画像のどちらを生成するか選択するように構成することもできる。高さ画像を１つだけ生成する場合には測定時間が短くなるというメリットがある。
【０１５１】
合成後高さ画像も各画素の高さを把握することができるので、各種検査を行う際に使用される検査対象画像とすることができる。したがって、画像合成部４３は、検査対象画像を生成する検査対象画像生成部ということもできる。
【０１５２】
この実施形態では、画像合成部４３をコントローラ部４に設けた場合について説明したが、これに限らず、図示しないが、画像合成部を撮像装置２に設けてもよい。
【０１５３】
（検査部４５の構成）
検査部４５は、第１高さ画像、第２高さ画像及び合成後高さ画像の内、任意の画像に基づいて検査処理を実行する部分である。検査部４５には、有無検査部４５ａと、外観検査部４５ｂと、寸法検査部４５ｃとが設けられているが、これは一例であり、これら全ての検査部が必須ではなく、またこれら検査部以外の検査部を備えていてもよい。有無検査部４５ａは、測定対象物Ｗの有無や測定対象物Ｗに取り付けられている部品の有無等を画像処理によって判断することができるように構成されている。外観検査部４５ｂは、測定対象物Ｗの外形状等が予め決められた形状であるか否かを画像処理によって判断することができるように構成されている。寸法検査部４５ｃは、測定対象物Ｗの各部の寸法が予め決められた寸法であるか否か、または各部の寸法を画像処理によって判断することができるように構成されている。これら判断の手法は従来から周知の手法であることから詳細な説明は省略する。
【０１５４】
（表示制御部４６の構成）
表示制御部４６は、第１高さ画像、第２高さ画像及び合成後高さ画像等を表示部５に表示させたり、画像処理装置１を操作するための操作用ユーザーインターフェース、画像処理装置１を設定するための設定用ユーザーインターフェース、測定対象物の高さ測定結果を表示するための高さ測定結果表示用ユーザーインターフェース、測定対象物の各種検査結果を表示するための検査結果表示用ユーザーインターフェース等を生成して表示部５に表示させることができるように構成されている。
【０１５５】
（履歴記憶部４７の構成）
履歴記憶部４７は、例えばＲＡＭ等の記憶装置で構成することができる。履歴記憶部４７には、撮像装置２からコントローラ部４に出力された第１高さ画像、第２高さ画像及び合成後高さ画像等を記憶させておくことができるようになっている。コンソール部６やマウス７の操作によって履歴記憶部４７に記憶されている画像を読み出して表示部５に表示させることができる。
【０１５６】
（画像処理装置１の運用時）
次に、画像処理装置１の運用時について説明する。図１６〜図２０は、測定対象物Ｗが直方体の箱であり、第１投光部３１及び第２投光部３２からパターン光を投影して測定した場合を示している。
【０１５７】
まず、使用者が測定対象物Ｗを載置面１００に載置して測定開始操作又は検査開始操作を行うと、第１投光部３１及び第２投光部３２からそれぞれ８つの位相シフト法用のパターン光が順次生成されて測定対象物Ｗに投影される。撮像装置２は、各パターン光が投影されたタイミングで撮像する。図１６に示す位相シフトパターン画像セットは、第１投光部３１から測定対象物Ｗに投影されたパターン光を撮像した画像である。図１６に示す位相シフトパターン画像セットに基づいて位相画像を生成すると、図１７の左側に示すような位相画像になる。位相画像から中間画像を生成すると、図１７の右側に示すような画像になる。尚、グレーコードパターン画像の図示は省略している。
【０１５８】
一方、図１８に示す位相シフトパターン画像セットは、第２投光部３２から測定対象物Ｗに投影されたパターン光を撮像した画像である。図１８に示す位相シフトパターン画像セットに基づいて位相画像を生成すると、図１９の左側に示すような位相画像になる。位相画像から中間画像を生成すると、図１９の右側に示すような画像になる。
【０１５９】
図１７の右側に示す中間画像と、図１９の右側に示す中間画像とを合成すると図２０の左側に示すような高さ画像が生成される。高さ画像の上下方向の断面形状は、図２０の右側に示すようなユーザーインターフェースによって表示部５に表示することができる。
【０１６０】
また、測定開始操作又は検査開始操作を行うと、第３投光部３３及び第４投光部３４からそれぞれ８つの位相シフト法用のパターン光が順次生成されて測定対象物Ｗに投影される。撮像装置２は、各パターン光が投影されたタイミングで撮像する。
【０１６１】
（実施形態の作用効果）
以上説明したように、この実施形態によれば、第１測定用パターン光を投影する第１投光部３１と、第２測定用パターン光を投影する第２投光部３２と、撮像装置２とにより、複数の第１パターン画像及び第２パターン画像を生成することができる。第１パターン画像及び第２パターン画像に基づいて、各画素が測定対象物Ｗへの第１測定用パターン光の照射角度情報を有する第１角度画像と、各画素が測定対象物Ｗへの第２測定用パターン光の照射角度情報を有する第２角度画像とを生成することができる。
【０１６２】
照明装置３のハウジング３０内における第１投光部３１及び第２投光部３２の相対位置は既知であるため、この相対位置情報と、第１角度画像の各画素の照射角度情報及び第２角度画像の各画素の照射角度情報とにより、撮像装置２と照明装置３との相対的な位置関係に関わらず、照明装置３の中心軸Ａ方向における測定対象物Ｗの高さを測定することができる。
【０１６３】
つまり、照明装置３と撮像装置２とを別体とすることで別々に設置可能にして設置時の自由度を高める場合に、撮像装置２の照明装置３に対する位置を厳密に調整しなくても、測定対象物Ｗの絶対形状を測定できるので、設置時の使用者の負担が大きくなることはない。
【０１６４】
また、パターン光を生成するための手段として照明装置３に液晶パネルを用いているので、ＤＭＤを用いた場合のような反射光学系が不要になるとともに、パターンを有するマスクを移動させる場合のような駆動系も不要になり、よって、照明装置３の構成が簡易になるとともに、照明装置３が小型になる。特に反射光学系の場合は、レンズを含んだ光学系が高額で厳しい精度が要求されるとともに、レンズの歪みの発生によってパターンも歪んで精度が劣化するおそれがあるが、この実施形態では、このようなことを回避できるという効果を奏することができる。
【０１６５】
照明装置３が有する複数の液晶パネルの内、現在、一のパターン光を投影している一の液晶パネルからの当該パターン光の投影が完了するまでに、次にパターン光を投影する他の液晶パネル上に、次に投影すべきパターンの形成処理を完了させるように、各液晶パネルを制御している。したがって、一の液晶パネルがパターン光を投影している間に、パターン光を投影していない他の液晶パネル上に次に投影するパターンを形成させておくことができるので、一の液晶パネルのパターン光の投影が完了次第、すぐに他の液晶パネルによるパターン光の投影が可能になる。よって、液晶パネルの応答速度が遅くても複数のパターン光を順次生成して複数のパターン光の投影が完了するまでの時間を短くすることができる。
【０１６６】
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【０１６７】
例えば、上述した各処理及び機能をコンピュータに実現させることが可能に構成されたプログラムを提供して使用者のコンピュータにて上述した各処理及び機能を実現させることができる。
【０１６８】
また、上記プログラムの提供形態は特に限定されるものではないが、例えばインターネット等のネットワーク回線を利用して提供する方法、上記プログラムが格納された記録媒体を提供する方法等がある。いずれの提供方法であっても、使用者のコンピュータにプログラムをインストールすることで上述した各処理及び機能を実現させることができる。
【０１６９】
また、上述した各処理及び機能を実現する装置としては、上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用の機器を含む。また、上述した各処理及び機能の一部を所定のゲートアレイ（ＦＰＧＡ、ＡＳＣＩ）等のハードウェア、またはプログラムソフトウェアとハードウェアの一部の要素を実現する部分的ハードウェアモジュールとが混在する形式で実現してもよい。
【０１７０】
また、ステップ（工程）の組み合わせで上述した各処理及び機能を実現することもでき、この場合は、使用者が画像処理方法を実行することになる。
【０１７１】
また、上記実施形態では、撮像装置２と照明装置３とが別体である場合について説明したが、これに限らず、撮像装置２と照明装置３と一体化している場合にも本発明を適用することができる。
【産業上の利用可能性】
【０１７２】
以上説明したように、本発明に係る画像処理装置は、例えば、測定対象物の高さを測定する場合や測定対象物を検査する場合に使用することができる。
【符号の説明】
【０１７３】
１              画像処理装置
２              撮像装置（撮像部）
３              照明装置
２２            撮像素子
２４            データ処理部
２４ａ          ＨＤＲ処理部
２６            位相計算部
３１            第１投光部
３１ｂ          第１ＬＥＤ（第１光源）
３１ｄ          第１ＬＣＤ（第１パターン光生成部）
３１ｅ          第１ＬＥＤ駆動回路（光源駆動回路）
３１ｆ          第１ＬＣＤ駆動回路（液晶パネル駆動回路）
３２            第２投光部
３２ｂ          第２ＬＥＤ（第２光源）
３２ｄ          第２ＬＣＤ（第２パターン光生成部）
３２ｅ          第２ＬＥＤ駆動回路（光源駆動回路）
３２ｆ          第２ＬＣＤ駆動回路（液晶パネル駆動回路）
３３            第３投光部
３３ｂ          第３ＬＥＤ（第３光源）
３３ｄ          第３ＬＣＤ（第３パターン光生成部）
３３ｅ          第３ＬＥＤ駆動回路（光源駆動回路）
３３ｆ          第３ＬＣＤ駆動回路（液晶パネル駆動回路）
３４            第４投光部
３４ｂ          第４ＬＥＤ（第４光源）
３４ｄ          第４ＬＣＤ（第４パターン光生成部）
３４ｅ          第４ＬＥＤ駆動回路（光源駆動回路）
３４ｆ          第４ＬＣＤ駆動回路（液晶パネル駆動回路）
３５            投光制御部
４１ａ          照明モード切替部
４２            高さ測定部（検査対象画像生成部）
４３            画像合成部
４５            検査部
【図１】
2019168286.tif 000003
【図２】
2019168286.tif 000004
【図３】
2019168286.tif 000005
【図４】
2019168286.tif 000006
【図５】
2019168286.tif 000007
【図６Ａ】
2019168286.tif 000008
【図６Ｂ】
2019168286.tif 000009
【図７】
2019168286.tif 000010
【図８】
2019168286.tif 000011
【図９】
2019168286.tif 000012
【図１０】
2019168286.tif 000013
【図１１】
2019168286.tif 000014
【図１２】
2019168286.tif 000015
【図１３】
2019168286.tif 000016
【図１４】
2019168286.tif 000017
【図１５】
2019168286.tif 000018
【図１６】
2019168286.tif 000019
【図１７】
2019168286.tif 000020
【図１８】
2019168286.tif 000021
【図１９】
2019168286.tif 000022
【図２０】
2019168286.tif 000023