(57)【要約】【課題】異常が存在する可能性がある異常領域をより正確に特定する。【解決手段】実施形態の検査システムは、強度画像と、時間相関画像に基づいて導出可能な複数の画像と、を含む複数の検査画像のそれぞれに、画像処理に基づく異常検出を実行することで、複数の検査画像のそれぞれにおいて、画像上の異常が存在する第１領域の有無を検出し、複数の検査画像のうちの少なくとも１つには第１領域が存在すると検出された場合における第１領域の有無の複数の検査画像分の組み合わせのパターンに応じて、少なくとも１つの第１領域を選択し、当該少なくとも１つの第１領域に基づいて、被検査体の検査対象面の異常が存在する可能性がある異常領域としての第２領域を特定する領域特定部を備える。【選択図】図１
2019174232.tif 000002
【特許請求の範囲】
【請求項１】
被検査体に対して光の強度の周期的な時間変化および空間変化を与える面的な照明部と、
時間相関カメラまたはそれと等価な動作をする撮像システムから出力される画像データから、強度画像と、時間相関画像に基づいて導出可能な複数の画像と、を含む複数の検査画像を生成する画像生成部と、
前記複数の検査画像のそれぞれに、画像処理に基づく異常検出を実行することで、前記複数の検査画像のそれぞれにおいて、画像上の異常が存在する第１領域の有無を検出し、前記複数の検査画像のうちの少なくとも１つには前記第１領域が存在すると検出された場合における前記第１領域の有無の前記複数の検査画像分の組み合わせのパターンに応じて、少なくとも１つの前記第１領域を選択し、当該少なくとも１つの前記第１領域に基づいて、前記被検査体の検査対象面の異常が存在する可能性がある異常領域としての第２領域を特定する領域特定部と、
前記領域特定部により特定された前記第２領域に基づいて、前記検査対象面の異常を判定する異常判定部と、
を備える、検査システム。
【請求項２】
前記時間相関画像は、複素数で表される複素時間相関画像であり、
前記複数の画像は、
前記複素時間相関画像の振幅成分を示す振幅画像と、
前記複素時間相関画像の位相成分を表す位相画像と、
前記複素時間相関画像と、前記画像上の異常を雑音成分として取り除くウィーナフィルタを用いた処理を前記複素時間相関画像に施すことで生成される復元画像と、の差分を示す差分画像と、
を含む、
請求項１に記載の検査システム。
【請求項３】
前記領域特定部は、前記パターンが、少なくとも、前記振幅画像および前記位相画像の両方に前記第１領域がある第１パターンである場合、前記振幅画像の前記第１領域と、前記位相画像の前記第１領域と、のうちいずれかサイズが大きい方を、前記第２領域として特定する、
請求項２に記載の検査システム。
【請求項４】
前記領域特定部は、前記パターンが、少なくとも、前記振幅画像に前記第１領域がなく、前記位相画像に前記第１領域があり、かつ、前記差分画像に前記第１領域がある第２パターンである場合、前記差分画像の前記第１領域を前記第２領域として特定する、
請求項２または３に記載の検査システム。
【請求項５】
前記領域特定部は、前記パターンが、少なくとも、前記振幅画像に前記第１領域があり、前記位相画像に前記第１領域がなく、かつ、前記差分画像に前記第１領域がある第３パターンである場合、前記振幅画像の前記第１領域を前記第２領域として特定する、
請求項２〜４のいずれか１項に記載の検査システム。
【請求項６】
前記領域特定部は、前記パターンが、前記強度画像、前記振幅画像、前記位相画像、および前記差分画像のうちいずれか１つの画像のみに前記第１領域がある第４パターンである場合、当該１つの画像の前記第１領域を前記第２領域として特定する、
請求項２〜５のいずれか１項に記載の検査システム。
【請求項７】
前記第２領域に基づいて、前記検査対象面の異常の形状に関する情報を推定する形状推定部をさらに備え、
前記異常判定部は、前記領域特定部により特定された前記第２領域と、前記形状推定部により推定された前記形状に関する情報と、に基づいて、前記検査対象面の異常を判定する、
請求項１〜６のいずれか１項に記載の検査システム。
【請求項８】
前記形状推定部は、前記第２領域の面積に基づいて、前記形状に関する情報のうち、前記検査対象面の異常の径を推定する、
請求項７に記載の検査システム。
【請求項９】
前記形状推定部は、前記第２領域における位相の変化量と、前記径と、に基づいて、前記形状に関する情報のうち、前記検査対象面の異常の高さまたは深さを推定する、
請求項８に記載の検査システム。
【請求項１０】
前記形状推定部は、前記第２領域の周辺領域における位相限定微分の値と、前記第２領域における位相限定ラプラシアンの値と、に基づいて、前記形状に関する情報のうち、前記検査対象面の異常の凹凸を推定する、
請求項７〜９のいずれか１項に記載の検査システム。
【請求項１１】
光の強度の周期的な時間変化および空間変化を与える面的な照明部により照らされた被検査体を撮像する時間相関カメラまたはそれと等価な動作をする撮像システムから出力される画像データから、強度画像と、時間相関画像に基づいて導出可能な複数の画像と、を含む複数の検査画像を生成する画像生成ステップと、
前記複数の検査画像のそれぞれに、画像処理に基づく異常検出を実行することで、前記複数の検査画像のそれぞれにおいて、画像上の異常が存在する第１領域の有無を検出し、前記複数の検査画像のうちの少なくとも１つには前記第１領域が存在すると検出された場合における前記第１領域の有無の前記複数の検査画像分の組み合わせのパターンに応じて、少なくとも１つの前記第１領域を選択し、当該少なくとも１つの前記第１領域に基づいて、前記被検査体の検査対象面の異常が存在する可能性がある異常領域としての第２領域を特定する領域特定ステップと、
前記領域特定ステップにより特定された前記第２領域に基づいて、前記検査対象面の異常を判定する異常判定ステップと、
を備える、検査方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、検査システムおよび検査方法に関する。
【背景技術】
【０００２】
従来、周期的に変化する光を被検査体に照射し、当該被検査体の表面からの反射光を撮像することで、光の強度のみならず、光の時間遷移に関する情報をも含んだ時間相関画像を取得する技術が提案されている。このような時間相関画像は、たとえば、被検査体の異常を検出するために用いられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１９７３４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような技術では、異常が存在する可能性がある異常領域を特定するための基本的な方法として、強度画像と、時間相関画像に基づいて導出される振幅画像および位相画像と、のそれぞれに閾値処理などを含む画像処理を施し、強度画像、振幅画像、および位相画像のそれぞれから検出された異常領域の論理和に対応した領域を、最終的な異常領域として特定する、という方法が使用されていた。
【０００５】
しかしながら、強度画像に基づく異常検出と、振幅画像に基づく異常検出と、位相画像に基づく異常検出とは、それぞれ得意とする異常が異なるので、異常の種類によっては、これら３つの異常検出のうちの少なくとも１つにおいて、検査対象面に実際に存在する異常の態様とは異なる不正確な結果が得られることがある。したがって、上記のような論理和を用いた基本的な方法では、異常領域を正確に特定することができないことがある。
【０００６】
そこで、異常が存在する可能性がある異常領域をより正確に特定することが望まれる。
【課題を解決するための手段】
【０００７】
実施形態の検査システムは、被検査体に対して光の強度の周期的な時間変化および空間変化を与える面的な照明部と、時間相関カメラまたはそれと等価な動作をする撮像システムから出力される画像データから、強度画像と、時間相関画像に基づいて導出可能な複数の画像と、を含む複数の検査画像を生成する画像生成部と、複数の検査画像のそれぞれに、画像処理に基づく異常検出を実行することで、複数の検査画像のそれぞれにおいて、画像上の異常が存在する第１領域の有無を検出し、複数の検査画像のうちの少なくとも１つには第１領域が存在すると検出された場合における第１領域の有無の複数の検査画像分の組み合わせのパターンに応じて、少なくとも１つの第１領域を選択し、当該少なくとも１つの第１領域に基づいて、被検査体の検査対象面の異常が存在する可能性がある異常領域としての第２領域を特定する領域特定部と、領域特定部により特定された第２領域に基づいて、検査対象面の異常を判定する異常判定部と、を備える。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態の検査システムの構成例を示した図である。
【図２】図２は、実施形態の時間相関カメラの構成を示したブロック図である。
【図３】図３は、実施形態の時間相関カメラで時系列順に蓄積されるフレームを表した概念図である。
【図４】図４は、実施形態の照明装置が照射する縞パターンの一例を示した図である。
【図５】図５は、実施形態の時間相関カメラによる、被検査体の異常の第１の検出例を示した図である。
【図６】図６は、実施形態において、図５に示される異常が被検査体に存在する場合に、当該異常に応じて変化する、光の振幅の例を表した図である。
【図７】図７は、実施形態の時間相関カメラによる、被検査体の異常の第２の検出例を示した図である。
【図８】図８は、実施形態の時間相関カメラによる、被検査体の異常の第３の検出例を示した図である。
【図９】図９は、実施形態の照明制御部が照明装置に出力する縞パターンの例を示した図である。
【図１０】図１０は、実施形態のスクリーンを介した後の縞パターンを表した波の形状の例を示した図である。
【図１１】図１１は、実施形態の検査画像の一つである差分画像を説明するための図である。
【図１２】図１２は、実施形態の異常領域の特定方法を説明するための図である。
【図１３】図１３は、実施形態で用いられる異常領域の特定方法の妥当性を説明するための事例を示した図である。
【図１４】図１４は、実施形態で用いられる異常領域の特定方法の妥当性を説明するための図１３とは異なる事例を示した図である。
【図１５】図１５は、実施形態で用いられる異常領域の特定方法の妥当性を説明するための図１３および図１４とは異なる事例を示した図である。
【図１６】図１６は、実施形態で用いられる異常領域の特定方法の妥当性を説明するための図１３〜図１５とは異なる事例を示した図である。
【図１７】図１７は、実施形態の方法で求めた異常の直径の精度を実験で検証した結果を示した図である。
【図１８】図１８は、実施形態において想定する異常のモデルを示した模式図である。
【図１９】図１９は、図１８に例示された円錐状の異常の側面の傾斜角を求めるための方法を説明するための模式図である。
【図２０】図２０は、実施形態の時間相関カメラからの縞パターンの見え方の一例を説明するための模式図である。
【図２１】図２１は、図２０に例示された構成において時間相関カメラに対して近い側で凸状の異常が存在する場合における検査対象面での光の位相変化を示した模式図である。
【図２２】図２２は、図２０に例示された構成において時間相関カメラに対して近い側で凹状の異常が存在する場合における検査対象面での光の位相変化を示した模式図である。
【図２３】図２３は、図２０に例示された構成において時間相関カメラに対して遠い側で凸状の異常が存在する場合における検査対象面での光の位相変化を示した模式図である。
【図２４】図２４は、図２０に例示された構成において時間相関カメラに対して遠い側で凹状の異常が存在する場合における検査対象面での光の位相変化を示した模式図である。
【図２５】図２５は、図２０に例示された構成において凸状の異常が存在する場合における検査対象面での位相限定ラプラシアンの値を示した模式図である。
【図２６】図２６は、図２０に例示された構成において凹状の異常が存在する場合における検査対象面での位相限定ラプラシアンの値を示した模式図である。
【図２７】図２７は、実施形態で用いられる周辺領域の表面形状を考慮した異常の凹凸の判定方法を説明するための模式図である。
【図２８】図２８は、実施形態の方法で求めた異常の高さまたは深さの精度を実験で検証した結果を示した図である。
【図２９】図２９は、実施形態の検査システムが被検査体の検査を行う際に実行する一連の処理を示したフローチャートである。
【図３０】図３０は、実施形態の検査システムが実行する異常領域の特定処理の詳細を示したフローチャートである。
【図３１】図３１は、第２変形例の照明制御部が出力する縞パターンの切り替え例を示した図である。
【図３２】図３２は、第２変形例の照明制御部が、異常（欠陥）を含んだ被検査体の表面に縞パターンを照射した例を示した図である。
【図３３】図３３は、図３２においてｙ方向に縞パターンを変化させた場合における、異常（欠陥）とスクリーン上の縞パターンとの関係を示した図である。
【図３４】図３４は、第３変形例の照明制御部が照明装置に出力する縞パターンの例を示した図である。
【発明を実施するための形態】
【０００９】
＜実施形態＞
以下、実施形態の検査システムについて説明する。実施形態の検査システムは、被検査体を検査するために様々な構成を備えている。図１は、実施形態の検査システムの構成例を示した図である。図１に示されるように、実施形態の検査システムは、ＰＣ１００と、時間相関カメラ１１０と、照明装置１２０と、スクリーン１３０と、アーム１４０と、を備えている。
【００１０】
アーム１４０は、被検査体１５０を固定するために用いられ、ＰＣ１００からの制御に応じて、時間相関カメラ１１０が撮像可能な被検査体１５０の表面の位置と向きを変化させる。
【００１１】
照明装置１２０は、被検査体１５０に光を照射する装置であって、ＰＣ１００からの縞パターンに従って、照射する光の強度を領域単位で制御できる。さらに、照明装置１２０は、周期的な時間の遷移に従って当該領域単位の光の強度を制御できる。換言すれば、照明装置１２０は、光の強度の周期的な時間変化および空間変化を与えることができる。なお、具体的な光の強度の制御手法については後述する。
【００１２】
スクリーン１３０は、照明装置１２０から出力された光を拡散させた上で、被検査体１５０に対して面的に光を照射する。実施形態のスクリーン１３０は、照明装置１２０から入力された周期的な時間変化および空間変化が与えられた光を、面的に被検査体１５０に照射する。なお、照明装置１２０とスクリーン１３０との間には、集光用のフレネルレンズ等の光学系部品（図示されず）が設けられてもよい。
【００１３】
なお、実施形態は、照明装置１２０とスクリーン１３０とを組み合わせて、光強度の周期的な時間変化および空間変化を与える面的な照明部を構成する例について説明するが、実施形態の照明部は、このような組み合わせに制限されるものではない。実施形態では、たとえば、ＬＥＤを面的に配置したり、大型モニタを配置したりするなどして、照明部を構成してもよい。
【００１４】
図２は、実施形態の時間相関カメラ１１０の構成を示したブロック図である。時間相関カメラ１１０は、光学系２１０と、イメージセンサ２２０と、データバッファ２３０と、制御部２４０と、参照信号出力部２５０と、を備えている。
【００１５】
光学系２１０は、撮像レンズ等を含み、時間相関カメラ１１０の外部の被写体（被検査体１５０を含む）からの光束を透過し、その光束により形成される被写体の光学像を結像させる。
【００１６】
イメージセンサ２２０は、光学系２１０を介して入射された光の強弱を光強度信号として画素毎に高速に出力可能なセンサとする。
【００１７】
実施形態の光強度信号は、検査システムの照明装置１２０が被写体（被検査体１５０を含む）に対して光を照射し、当該被写体からの反射光を、イメージセンサ２２０が受け取ったものである。
【００１８】
イメージセンサ２２０は、たとえば従来のものと比べて高速に読み出し可能なセンサであり、行方向（ｘ方向）、列方向（ｙ方向）の２種類の方向に画素が配列された２次元平面状に構成されたものとする。そして、イメージセンサ２２０の各画素を、画素Ｐ（１，１），……，Ｐ（ｉ，ｊ），……，Ｐ（Ｘ，Ｙ）とする（なお、実施形態の画像サイズをＸ×Ｙとする。）。なお、イメージセンサ２２０の読み出し速度を制限するものではなく、従来と同様であってもよい。
【００１９】
イメージセンサ２２０は、光学系２１０によって透過された、被写体（被検査体１５０を含む）からの光束を受光して光電変換することで、被写体から反射された光の強弱を示した光強度信号（撮像信号）で構成される、２次元平面状のフレームを生成し、制御部２４０に出力する。実施形態のイメージセンサ２２０は、読み出し可能な単位時間毎に、当該フレームを出力する。
【００２０】
実施形態の制御部２４０は、プロセッサやメモリなどといった通常のコンピュータと同様のハードウェアを有し、メモリに格納されたソフトウェア（検査プログラム）をプロセッサにより実行することで、転送部２４１と、読出部２４２と、強度画像用重畳部２４３と、第１の乗算器２４４と、第１の相関画像用重畳部２４５と、第２の乗算器２４６と、第２の相関画像用重畳部２４７と、画像出力部２４８と、を実現する。なお、実施形態では、制御部２４０が有する機能的構成の一部または全部が、ＦＰＧＡやＡＳＩＣなどを利用した専用のハードウェア（回路）のみによって実現されてもよい。
【００２１】
転送部２４１は、イメージセンサ２２０から出力された、光強度信号で構成されたフレームを、データバッファ２３０に、時系列順に蓄積する。
【００２２】
データバッファ２３０は、イメージセンサ２２０から出力された、光強度信号で構成されたフレームを、時系列順に蓄積する。
【００２３】
図３は、実施形態の時間相関カメラ１１０で時系列順に蓄積されるフレームを表した概念図である。図３に示されるように、実施形態のデータバッファ２３０には、時刻ｔ（ｔ＝ｔ０，ｔ１，ｔ２，……，ｔｎ）毎の複数の光強度信号Ｇ（１，１，ｔ），……，Ｇ（ｉ，ｊ，ｔ），……，Ｇ（Ｘ，Ｙ，ｔ）の組み合わせで構成された複数のフレームＦｋ（ｋ＝１，２，……，ｎ）が、時系列順に蓄積される。なお、時刻ｔで生成される一枚のフレームは、光強度信号Ｇ（１，１，ｔ），……，Ｇ（ｉ，ｊ，ｔ），……，Ｇ（Ｘ，Ｙ，ｔ）で構成される。
【００２４】
実施形態の光強度信号（撮像信号）Ｇ（１，１，ｔ），……，Ｇ（ｉ，ｊ，ｔ），……，Ｇ（Ｘ，Ｙ，ｔ）には、フレームＦｋ（ｋ＝１，２，……，ｎ）を構成する各画素Ｐ（１，１），……，Ｐ（ｉ，ｊ），……，Ｐ（Ｘ，Ｙ）が対応づけられている。
【００２５】
イメージセンサ２２０から出力されるフレームは、光強度信号のみで構成されており、換言すればモノクロの画像データとも考えることができる。なお、実施形態は、解像度、感度、およびコスト等を考慮して、イメージセンサ２２０がモノクロの画像データを生成する例について説明するが、イメージセンサ２２０としてモノクロ用のイメージセンサに制限するものではなく、カラー用のイメージセンサを用いてもよい。
【００２６】
図２に戻り、実施形態の読出部２４２は、データバッファ２３０から、光強度信号Ｇ（１，１，ｔ），……，Ｇ（ｉ，ｊ，ｔ），……，Ｇ（Ｘ，Ｙ，ｔ）をフレーム単位で、時系列順に読み出して、第１の乗算器２４４と、第２の乗算器２４６と、強度画像用重畳部２４３と、に出力する。
【００２７】
実施形態の時間相関カメラ１１０は、読出部２４２の出力先毎に画像データを生成する。換言すれば、時間相間カメラ１１０は、３種類の画像データを生成する。
【００２８】
実施形態の時間相関カメラ１１０は、３種類の画像データとして、強度画像データと、２種類の時間相関画像データと、を生成する。なお、実施形態は、強度画像データと、２種類の時間相関画像データと、を生成することに制限されるものではなく、強度画像データを生成しない場合や、１種類又は３種類以上の時間相関画像データを生成する場合なども考えられる。
【００２９】
実施形態のイメージセンサ２２０は、上述したように単位時間毎に、光強度信号で構成されたフレームを出力している。しかしながら、通常の画像データを生成するためには、撮像に必要な露光時間分の光強度信号が必要になる。そこで、実施形態では、強度画像用重畳部２４３が、撮像に必要な露光時間分の複数のフレームを重畳して、強度画像データを生成する。なお、強度画像データの各画素値（光の強度を表す値）Ｇ（ｘ，ｙ）は、以下に示す式（１）から導き出すことができる。なお、露光時間は、ｔ０とｔｎの時間差とする。
【００３０】
【数１】
2019174232.tif 000003
【００３１】
これにより、従来のカメラの撮像と同様に、被写体（被検査体１５０を含む）が撮像された強度画像データが生成される。そして、強度画像用重畳部２４３は、生成した強度画像データを、画像出力部２４８に出力する。
【００３２】
時間相関画像データは、時間遷移に応じた光の強弱の変化を示す画像データである。つまり、実施形態では、時系列順のフレーム毎に、当該フレームに含まれる光強度信号に対して、時間遷移を示した参照信号を乗算し、参照信号と光強度信号との乗算結果である時間相関値で構成された、時間相関値フレームを生成し、複数の時間相関値フレームを重畳することで、時間相関画像データを生成する。
【００３３】
ところで、時間相関画像データを用いて、被検査体１５０の異常を検出するためには、イメージセンサ２２０に入力される光強度信号を、参照信号に同期させて変化させる必要がある。このため、実施形態の照明装置１２０は、上述したように、スクリーン１３０を介して周期的に時間変化および縞の空間的な移動を与えるような、面的な光の照射を行うように構成される。
【００３４】
実施形態では、２種類の時間相関画像データを生成する。参照信号は、時間遷移を表した信号であればよいが、実施形態では、複素正弦波ｅ-jωtを用いる。なお、角周波数ω、時刻ｔとする。参照信号を表す複素正弦波ｅ-jωtが、上述した露光時間（換言すれば強度画像データ、および時間相関画像データを生成するために必要な時間）の１周期と相関をとるように、角周波数ωが設定されるものとする。換言すれば、照明装置１２０およびスクリーン１３０等の照明部によって形成された面的かつ動的な光は、被検査体１５０の表面（反射面）の各位置で第１の周期（時間周期）での時間的な照射強度の変化を与えるとともに、表面に沿った少なくとも一方向に沿った第２の周期（空間周期）での空間的な照射強度の増減分布を与える。この面的な光は、表面で反射される際に、当該表面のスペック（法線ベクトルの分布等）に応じて複素変調される。時間相関カメラ１１０は、表面で複素変調された光を受光し、第１の周期の参照信号を用いて直交検波（直交復調）することにより、複素信号としての時間相関画像データを得る。このような複素信号としての時間相関画像データに基づく変復調により、表面の法線ベクトルの分布（空間分布）に対応した特徴を検出することができる。
【００３５】
複素正弦波ｅ-jωtは、ｅ-jωt＝ｃｏｓωｔ−ｊ・ｓｉｎωｔと表すこともできる。従って、時間相関画像データの各画素値Ｃ（ｘ，ｙ）は、以下に示す式（２）から導き出すことができる。
【００３６】
【数２】
2019174232.tif 000004
【００３７】
実施形態では、式（２）において、実部を表す画素値Ｃ１（ｘ，ｙ）と、虚部を表す画素値Ｃ２（ｘ，ｙ）と、に分けて、２種類の時間相関画像データを生成する。
【００３８】
このため、参照信号出力部２５０は、第１の乗算器２４４と、第２の乗算器２４６と、に対してそれぞれ異なる参照信号を生成し、出力する。実施形態の参照信号出力部２５０は、複素正弦波ｅ-jωtの実部に対応する第１の参照信号ｃｏｓωｔを第１の乗算器２４４に出力し、複素正弦波ｅ-jωtの虚部に対応する第２の参照信号ｓｉｎωｔを第２の乗算器２４６に出力する。このように、実施形態の参照信号出力部２５０は、一例として、互いにヒルベルト変換対をなす正弦波および余弦波の時間関数として表される２種類の参照信号を出力する。しかしながら、参照信号は、ここで説明する例に制限されるものではなく、時間関数のような、時間遷移に応じて変化する参照信号であればよい。
【００３９】
そして、第１の乗算器２４４は、読出部２４２から入力されたフレーム単位で、当該フレームの光強度信号毎に、参照信号出力部２５０から入力された複素正弦波ｅ-jωtの実部ｃｏｓωｔを乗算する。
【００４０】
第１の相関画像用重畳部２４５は、撮像に必要な露光時間分の複数のフレームについて、第１の乗算器２４４の乗算結果を画素毎に重畳する処理を行う。これにより、第１の時間相関画像データの各画素値Ｃ１（ｘ，ｙ）が、以下に示す式（３）から導出される。
【００４１】
【数３】
2019174232.tif 000005
【００４２】
そして、第２の乗算器２４６は、読出部２４２から入力されたフレームの光強度信号に対して、参照信号出力部２５０から入力された複素正弦波ｅ-jωtの虚部ｓｉｎωｔを乗算する。
【００４３】
第２の相関画像用重畳部２４７は、撮像に必要な露光時間分の複数のフレームについて、第２の乗算器２４６の乗算結果を画素毎に重畳する処理を行う。これにより、第２の時間相関画像データの各画素値Ｃ２（ｘ，ｙ）が、以下に示す式（４）から導出される。
【００４４】
【数４】
2019174232.tif 000006
【００４５】
上述した処理を行うことで、２種類の時間相関画像データ、換言すれば２自由度を有する時間相関画像データを生成できる。
【００４６】
また、実施形態は、参照信号の種類を制限するものではない。たとえば、実施形態では、複素正弦波ｅ-jωtの実部と虚部の２種類の時間相関画像データを生成するが、光の振幅と、光の位相と、による２種類の画像データを生成してもよい。
【００４７】
なお、実施形態の時間相関カメラ１１０は、時間相関画像データとして、複数系統分生成可能とする。これにより、たとえば複数種類の幅の縞が組み合わされた光が照射された際に、上述した実部と虚部とによる２種類の時間相関画像データを、縞の幅毎に生成可能とする。このために、時間相関カメラ１１０は、２個の乗算器と２個の相関画像用重畳部とからなる組み合わせを、複数系統分備えるとともに、参照信号出力部２５０は、系統毎に適した角周波数ωによる参照信号を出力可能とする。
【００４８】
そして、画像出力部２４８が、２種類の時間相関画像データと、強度画像データと、をＰＣ１００に出力する。これにより、ＰＣ１００が、２種類の時間相関画像データと、強度画像データと、を用いて、被検査体１５０の異常を検出する。そのためには、被検査体１５０に対して光を照射する必要がある。
【００４９】
実施形態の照明装置１２０は、高速に移動する縞パターンを照射する。図４は、実施形態の照明装置１２０が照射する縞パターンの一例を示した図である。図４に示す例では、１周期分の縞幅がＷに設定された縞パターンをｘ方向にスクロール（移動）させている例とする。白い領域が縞に対応した明領域、黒い領域が縞と縞との間に対応した間隔領域（暗領域）である。
【００５０】
実施形態では、時間相関カメラ１１０が強度画像データおよび時間相関画像データを撮像する露光時間で、照明装置１２０が照射する縞パターンが１周期分移動する。これにより、照明装置１２０は、光の強度の縞パターンの空間的な移動により光の強度の周期的な時間変化を与える。実施形態では、図４の縞パターンが１周期分移動する時間を、露光時間と対応させることで、時間相関画像データの各画素には、少なくとも、縞パターン１周期分の光の強度信号に関する情報が埋め込まれる。
【００５１】
図４に示されるように、実施形態では、照明装置１２０が矩形波に基づく縞パターンを照射する例について説明するが、矩形波以外を用いてもよい。実施形態では、照明装置１２０がスクリーン１３０を介して照射されることで、矩形波の明暗の境界領域をぼかすことができる。
【００５２】
実施形態では、照明装置１２０が照射する縞パターンを、Ａ（１＋ｃｏｓ（ωｔ＋ｋｘ））と表す。すなわち、縞パターンには、複数の縞が反復的に（周期的に）含まれる。なお、被検査体１５０に照射される光の強度は０〜２Ａの間で調整可能とし、光の位相ｋｘとする。ｋは、縞の波数である。ｘは、位相が変化する方向である。
【００５３】
そして、フレームの各画素の光強度信号ｆ（ｘ，ｙ，ｔ）の基本周波数成分は、以下に示す式（５）として表すことができる。式（５）で示されるように、ｘ方向で縞の明暗が変化する。
【００５４】
ｆ（ｘ，ｙ，ｔ）＝Ａ（１＋ｃｏｓ（ωｔ＋ｋｘ））
＝Ａ＋Ａ／２｛ｅj(ωt+kx)＋ｅ-j(ωt+kx)｝  …（５）
【００５５】
式（５）で示されるように、照明装置１２０が照射する縞パターンの強度信号は、複素数として考えることができる。
【００５６】
そして、イメージセンサ２２０には、当該照明装置１２０からの光が被写体（被検査体１５０を含む）から反射して入力される。
【００５７】
したがって、イメージセンサ２２０に入力される光強度信号Ｇ（ｘ，ｙ，ｔ）を、照明装置１２０が照射された際のフレームの各画素の光強度信号ｆ（ｘ，ｙ，ｔ）とすることができる。そこで、強度画像データを導出するための式（１）に式（５）を代入すると、以下に示す式（６）を導出できる。なお、位相をｋｘとする。
【００５８】
【数５】
2019174232.tif 000007
【００５９】
式（６）から、強度画像データの各画素には、露光時間Ｔに、照明装置１２０が出力している光の強度の中間値Ａを乗じた値が入力されていることが確認できる。さらに、時間相関画像データを導出するための式（２）に式（５）を代入すると、以下に示す式（７）を導出できる。なお、ＡＴ／２を振幅とし、ｋｘを位相とする。
【００６０】
【数６】
2019174232.tif 000008
【００６１】
これにより、式（７）で示された複素数で表される時間相関画像データは、上述した２種類の時間相関画像データと置き換えることができる。つまり、上述した実部と虚部とで構成される時間相関画像データには、被検査体１５０に照射された光強度変化における位相変化と振幅変化とが含まれている。換言すれば、実施形態のＰＣ１００は、２種類の時間相関画像データに基づいて、照明装置１２０から照射された光の強度変化における位相変化（以下、簡単に光の位相変化と記載することがある）と、光の強度変化における振幅変化（以下、簡単に光の振幅変化と記載することがある）と、を検出することができる。
【００６２】
そこで、実施形態のＰＣ１００は、時間相関画像データおよび強度画像データに基づいて、画素毎に入る光の位相変化を表した位相画像と、画素毎に入る光の振幅を表した振幅画像と、を生成する。また、ＰＣ１００は、強度画像データに基づいて、画素毎に入る光の強度を表した強度画像を生成する。そして、ＰＣ１００は、位相画像と、振幅画像と、強度画像と、の少なくともいずれかに基づいて、被検査体１５０の異常を検出する。
【００６３】
ところで、被検査体１５０の表面形状に凹凸に基づく異常が生じている場合、被検査体１５０の表面の法線ベクトルの分布には、異常に対応した変化が生じている。また、被検査体１５０の表面に光を吸収するような異常が生じている場合、反射した光の強度に変化が生じる。法線ベクトルの分布の変化は、光の位相変化および振幅変化のうち少なくともいずれか一つとして検出される。そこで、実施形態では、時間相関画像データを用いて、法線ベクトルの分布の変化に対応した、光の位相変化および振幅変化のうち少なくともいずれか一つを検出する。これにより、表面形状の異常が存在する可能性がある領域を特定することが可能となる。以下、被検査体１５０の異常、法線ベクトル、および光の位相変化又は振幅変化の関係について例を挙げて説明する。
【００６４】
図５は、実施形態の時間相関カメラ１１０による、被検査体１５０の異常の第１の検出例を示した図である。図５に示される例では、被検査体１５０の一例としての被検査体５００に突形状の異常５０１がある状況とする。当該状況においては、異常５０１の点５０２の近傍領域においては、法線ベクトル５２１、５２２、５２３が異なる方向を向いていることを確認できる。そして、当該法線ベクトル５２１、５２２、５２３が異なる方向を向いていることで、異常５０１から反射した光に拡散（たとえば、光５１１、５１２、５１３）が生じ、時間相関カメラ１１０のイメージセンサ２２０の任意の画素５３１に入る縞パターンの幅５０３が広くなる。
【００６５】
図６は、図５に示される異常５０１が被検査体５００にある場合に、当該異常に応じて変化する、光の振幅の例を表した図である。図６に示される例では、光の振幅を実部（Ｒｅ）と虚部（Ｉｍ）とに分けて２次元平面上に表している。図６では、図５の光５１１、５１２、５１３に対応する光の振幅６１１、６１２、６１３として示している。そして、光の振幅６１１、６１２、６１３は互いに打ち消し合い、イメージセンサ２２０の当該任意の画素５３１には、振幅６２１の光が入射する。
【００６６】
したがって、図６に示される状況では、被検査体５００の異常５０１が撮像された領域で、局所的に振幅が小さいことが確認できる。換言すれば、振幅変化を示した振幅画像において、周囲と比べて暗くなっている領域がある場合に、当該領域で局所的に光同士の振幅の打ち消し合いが生じていると推測できるため、当該領域に対応する被検査体５００の位置で、異常５０１が生じていると判断できる。なお、ここでは、突形状の異常５０１に対応する領域で、振幅画像が局所的に暗くなる場合を例示したが、キズなどの凹み状の異常に対応する領域でも、振幅画像は局所的に暗くなる。
【００６７】
実施形態の検査システムは、図５の異常５０１のように傾きが急峻に変化しているものに限らず、緩やかに変化する異常も検出できる。図７は、実施形態の時間相関カメラ１１０による、被検査体１５０の異常の第２の検出例を示した図である。図７には、平面状（換言すれば法線が平行）の正常な表面を有した被検査体１５０の一例としての被検査体７００に緩やかな勾配７０１が生じている状況が示されている。このような状況においては、勾配７０１上の法線ベクトル７２１、７２２、７２３も同様に緩やかに変化する。したがって、イメージセンサ２２０に入力する光７１１、７１２、７１３も少しずつずれていく。図７に示される例では、緩やかな勾配７０１のために光の振幅の打ち消し合いは生じないため、図５、図６で表したような光の振幅はほとんど変化しない。しかしながら、本来スクリーン１３０から投影された光が、そのままイメージセンサ２２０に平行に入るはずが、緩やかな勾配７０１のために、スクリーン１３０から投影された光が平行の状態でイメージセンサ２２０に入らないために、光に位相変化が生じる。従って、光の位相変化について、周囲等との違いを検出することで、図７に示したような緩やかな勾配７０１による異常を検出できる。
【００６８】
また、被検査体１５０の表面形状（換言すれば、被検査体１５０の法線ベクトルの分布）以外にも異常が生じる場合がある。図８は、実施形態の時間相関カメラ１１０による、被検査体１５０の異常の第３の検出例を示した図である。図８に示される例では、被検査体１５０の一例としての被検査体８００に汚れ８０１が付着しているため、照明装置１２０から照射された光が吸収あるいは拡散反射し、時間相関カメラ１１０の、汚れ８０１を撮像している任意の画素領域では光の強度がほとんど変化しない例を表している。換言すれば、汚れ８０１を撮像している任意の画素領域では、光の強度変化が打ち消し合ってキャンセルされ、ほとんど直流的な明るさになる例を示している。
【００６９】
このような場合、汚れ８０１を撮像している画素領域においては、光の振幅がほとんどないため、振幅画像を表示した際に、周囲と比べて暗くなる領域が生じる。したがって、当該領域に対応する被検査体８００の位置に、汚れ８０１があることを推定できる。
【００７０】
このように、実施形態では、時間相関画像データに基づいて、光の振幅の変化と、光の位相の変化と、を検出することで、被検査体における、異常が存在する可能性がある領域を特定することができる。
【００７１】
図１に戻り、ＰＣ１００について説明する。ＰＣ１００は、検出システム全体の制御を行う。ＰＣ１００は、アーム制御部１０１と、照明制御部１０２と、制御部１０３と、を備える。
【００７２】
アーム制御部１０１は、被検査体１５０の時間相関カメラ１１０による撮像対象となる表面を変更するために、アーム１４０を制御する。実施形態では、ＰＣ１００において、被検査体１５０の撮像対象となる表面を複数設定しておく。そして、時間相関カメラ１１０が被検査体１５０の撮像が終了する毎に、アーム制御部１０１が、当該設定に従い、時間相関カメラ１１０が設定された表面を撮像できるように、アーム１４０を制御して被検査体１５０を移動させる。なお、実施形態によるアーム１４０の移動方法は、撮像が終了する毎にアーム１４０を移動させ、撮像が開始する前に停止させるのを繰り返すことに制限されるものではなく、継続的にアーム１４０を駆動させることも含まれ得る。なお、アーム１４０は、搬送部、移動部、位置変更部、姿勢変更部などとも称されうる。
【００７３】
照明制御部１０２は、被検査体１５０を検査するために照明装置１２０が照射する縞パターンを出力する。実施形態の照明制御部１０２は、少なくとも３枚以上の縞パターンを、照明装置１２０に受け渡し、当該縞パターンを露光時間中に切り替えて表示するように照明装置１２０に指示する。
【００７４】
図９は、照明制御部１０２が照明装置１２０に出力する縞パターンの例を示した図である。図９（Ｂ）に示す矩形波に従って、図９（Ａ）に示す黒領域と白領域とが設定された縞パターンが出力されるように、照明制御部１０２が制御を行う。
【００７５】
実施形態で照射する縞パターン毎の縞の間隔（縞幅）は、検出対象となる異常（欠陥）の大きさに応じて設定されるものとして、ここでは詳しい説明を省略する。
【００７６】
また、実施形態では、縞パターンを出力するための矩形波の角周波数ωが、参照信号の角周波数ωと対応（たとえば一致）するものとする。
【００７７】
図９に示されるように、照明制御部１０２が出力する縞パターンは、矩形波として示すことができるが、スクリーン１３０を介することで、縞パターンの境界領域をぼかす、すなわち、縞パターンにおける明領域（縞の領域）と暗領域（間隔の領域）との境界での光の強度変化を緩やかにする（鈍らせる）ことで、正弦波に近似させることができる。図１０は、スクリーン１３０を介した後の縞パターンを表した波の形状の例を示した図である。図１０に示されるように波の形状が、正弦波に近づくことで、計測精度を向上させることができる。また、縞に明度が多段階に変化するグレー領域を追加したり、グラデーションを与えたりしてもよい。また、カラーの縞を含む縞パターンを用いてもよい。
【００７８】
図１に戻り、制御部１０３は、画像生成部１０４と、領域特定部１０５と、形状推定部１０６と、異常判定部１０７と、を備える。上述した制御部２４０と同様、実施形態では、制御部１０３が有する機能的構成が、ハードウェアとソフトウェアとの協働によって実現されてもよいし、ハードウェアのみによって実現されてもよい。
【００７９】
画像生成部１０４は、時間相関カメラ１１０から入力される、強度画像データや時間相関画像データなどといった画像データに基づいて、検査に用いる検査画像として、振幅画像、位相画像、および強度画像を生成する。前述したように、振幅画像とは、画素毎に入る光の振幅を表した画像であり、位相画像とは、画素毎に入る光の位相を表した画像であり、強度画像とは、画素毎に入る光の強度を表した画像である。
【００８０】
なお、実施形態において、画像生成部１０４は、振幅成分と位相成分とで分けた極形式の複素数で示される時間相関画像データ（複素時間相関画像データと称されうる）ではなく、当該複素数を実部と虚部とで分けた２種類の時間相関画像データを、時間相関カメラ１１０から受け取るものとする。
【００８１】
実施形態は、振幅画像の算出手法を制限するものではないが、たとえば、画像生成部１０４は、２種類の時間相関画像データの画素値Ｃ１（ｘ，ｙ）およびＣ２（ｘ，ｙ）から、以下に示す式（８）を用いて、振幅画像の各画素値Ｆ（ｘ，ｙ）を導き出すことが可能である。
【００８２】
【数７】
2019174232.tif 000009
【００８３】
また、画像生成部１０４は、画素値Ｃ１（ｘ，ｙ）およびＣ２（ｘ，ｙ）から、以下に示す式（９）を用いて、位相画像の各画素値Ｐ（ｘ，ｙ）を導き出すことが可能である。
【００８４】
【数８】
2019174232.tif 000010
【００８５】
式（９）から分かるように、位相画像の各画素値は、−π〜πの範囲に折りたたまれる。したがって、位相画像の各画素値は、−πからπに、またはπから−πに周期的に不連続に変化し得る（位相ジャンプ）。これにより、検査対象面が、凹凸などの局所的な異常（欠陥）を含まない平坦面で構成されている場合でも、当該平坦面を撮像した位相画像上には、位相ジャンプの影響による周期的なエッジが表れる。
【００８６】
なお、実施形態では、振幅の情報と位相の情報との両方を含んだ複素時間相関画像を生成することも可能である。複素時間相関画像は、たとえば、振幅の情報が明るさで表され、位相の情報が色で表されたカラー画像として生成される。
【００８７】
また、画像生成部１０４が時間相関カメラ１１０から入力される強度画像データに基づいて強度画像を生成することも可能であることは言うまでもないため、ここでは、強度画像の各画素値の導出方法についての説明を省略する。
【００８８】
さらに、実施形態において、画像生成部１０４は、上記の振幅画像、位相画像、および強度画像とは異なる検査画像として、以下に説明するようなウィーナフィルタに基づく差分画像を生成する。
【００８９】
ウィーナフィルタとは、画像上の異常を雑音成分として取り除くフィルタである。したがって、ウィーナフィルタによれば、検査対象面の異常に関する情報を含んだ元画像としての複素時間相関画像から、検査対象面の異常に関する情報が除去された、つまり良品の検査対象面に対応した復元画像（理想画像）としての複素時間相関画像を生成することができる。
【００９０】
なお、実施形態において、ウィーナフィルタは、たとえば、欠陥が含まれていない良品の複数のサンプルの検査対象面を時間相関カメラ１１０で撮像することで得られる複素時間相関画像などに基づいて、検査対象面毎に予め生成されているものとする。
【００９１】
ここで、上述した元画像と復元画像との差分は、検査対象面の異常に関する情報に対応するため、画像処理による異常の検出のために有益である。したがって、実施形態にかかる画像生成部１０４は、複素時間相関画像と、当該複素時間相関画像にウィーナフィルタを用いた処理を施すことで生成される復元画像と、の差分を示す差分画像を、上記の振幅画像、位相画像、および強度画像の他の検査画像の一つとして生成する。
【００９２】
なお、差分画像の生成方法は、様々な方法が考えられるが、実施形態では、たとえば以下に説明するような、フーリエ変換および逆フーリエ変換を活用した方法が使用されうる。
【００９３】
図１１は、実施形態の検査画像の一つである差分画像を説明するための図である。図１１に示される例では、まず、元画像としての複素時間相関画像１１０１が取得される。
【００９４】
そして、図１１に示される例では、元画像としての複素時間相関画像１１０１に（２次元の）フーリエ変換１１１１が施されることで、元画像に対応したスペクトル画像１１０２が生成される。
【００９５】
そして、図１１に示される例では、元画像に対応したスペクトル画像１１０２にウィーナフィルタに基づくフィルタリング処理１１１２が施されることで、復元画像に対応したスペクトル画像１１０３が生成される。
【００９６】
そして、図１１に示される例では、復元画像に対応したスペクトル画像１１０３と、元画像に対応したスペクトル画像１１０２と、の差分をとる差分処理１１１３が実行されることで、差分画像に対応したスペクトル画像１１０４が生成される。
【００９７】
そして、図１１に示される例では、差分画像に対応したスペクトル画像１１０４に逆フーリエ変換１１１４が施されることで、差分画像としての複素時間相関画像１１０５が生成される。
【００９８】
ところで、実施形態のような、被検査体１５０の異常を検出するための技術では、被検査体１５０の検査対象面のうち、異常が存在する可能性がある異常領域を、より正確に特定することが望まれる。
【００９９】
そこで、図１に戻り、領域特定部１０５は、画像生成部１０４により生成された複数の検査画像（強度画像、振幅画像、位相画像、および差分画像）の全てを考慮して、被検査体１５０の検査対象面の異常が存在する可能性がある異常領域を特定する。
【０１００】
より具体的に、領域特定部１０５は、複数の検査画像のそれぞれに、閾値処理などの画像処理に基づく異常検出を実行することで、複数の検査画像のそれぞれにおいて、画像上の異常、つまり画像処理によって機械的に検出された異常が存在する第１領域の有無を検出する。そして、領域特定部１０５は、複数の検査画像のうちの少なくとも１つには第１領域が存在すると検出された場合における第１領域の有無の複数の検査画像分の組み合わせのパターンに応じて、少なくとも１つの第１領域を異常領域の候補として選択し、当該少なくとも１つの第１領域に基づいて、被検査体１５０の検査対象面の異常が存在する可能性がある異常領域としての第２領域を特定する。
【０１０１】
図１２は、実施形態の異常領域の特定方法を説明するための図である。実施形態にかかる領域特定部１０５は、図１２に示されるような情報１２００に基づいて、異常領域を特定する。
【０１０２】
図１２に示されるように、実施形態では、第１領域の有無の複数の検査画像分の組み合わせのパターン（検出パターン）として、Ｐ１〜Ｐ８の８つのパターンが考えられる。
【０１０３】
Ｐ１は、強度画像のみから第１領域が検出され、他の画像（振幅画像、位相画像、および差分画像）からは第１領域が検出されなかったパターンである。このＰ１のパターンでは、異常領域を特定する根拠となる画像が強度画像しか存在しないため、強度画像から検出された第１領域が、第２領域、つまり異常領域として特定される。なお、図１２に示される例では、Ｐ１のパターンのもとでの異常領域の特定方法（領域特定方法）がＭ２として定義されている。
【０１０４】
Ｐ２は、差分画像から第１領域が検出され、振幅画像および位相画像からは第１領域が検出されなかったパターンである。このＰ２のパターンでは、差分画像から検出された第１領域が、第２領域（つまり異常領域）として特定される。なお、Ｐ２のパターンでは、強度画像から第１領域が検出されたか否かは問われない。その理由は、実施形態のような時間相関の技術においては、基本的に、強度画像を使用した検査よりも、時間相関画像データに基づいて生成される振幅画像、位相画像、および差分画像を使用した検査の方が、異常を検出しやすいことが多いからである。図１２に示される例では、Ｐ２のパターンのもとでの領域特定方法がＭ５として定義されている。
【０１０５】
Ｐ３は、位相画像から第１領域が検出され、振幅画像および差分画像からは第１領域が検出されなかったパターンである。このＰ２のパターンでは、強度画像から検出された第１領域の有無に関わらず（理由は同上）、位相画像から検出された第１領域が、第２領域（つまり異常領域）として特定される。なお、図１２に示される例では、Ｐ３のパターンのもとでの領域特定方法がＭ４として定義されている。
【０１０６】
Ｐ４は、位相画像と差分画像との両方から第１領域が検出され、振幅画像からは第１領域が検出されなかったパターンである。このＰ４のパターンでは、強度画像から検出された第１領域の有無に関わらず（理由は同上）、位相画像から検出された第１領域と、差分画像から検出された第１領域と、のうち後者が選択され、選択された第１領域が、第２領域（つまり異常領域）として特定される。なお、Ｐ４のパターンにおいて差分画像から検出された第１領域を優先することの妥当性については後述するため、ここでは説明を省略する。Ｐ４のパターンは、差分画像から選択された第１領域が異常領域として特定されるという点において、上述したＰ２のパターンと共通している。したがって、図１２に示される例では、Ｐ４のパターンのもとでの領域特定方法がＭ５として定義されている。
【０１０７】
Ｐ５は、振幅画像から第１領域が検出され、位相画像および差分画像からは第１領域が検出されなかったパターンである。このＰ５のパターンでは、強度画像から検出された第１領域の有無に関わらず（理由は同上）、振幅画像から検出された第１領域が、第２領域（つまり異常領域）として特定される。なお、図１２に示される例では、Ｐ５のパターンのもとでの領域特定方法がＭ３として定義されている。
【０１０８】
Ｐ６は、振幅画像と差分画像との両方から第１領域が検出され、位相画像からは第１領域が検出されなかったパターンである。このＰ６のパターンでは、強度画像から検出された第１領域の有無に関わらず（理由は同上）、振幅画像から検出された第１領域と、差分画像から検出された第１領域と、のうち前者が選択され、選択された第１領域が、第２領域（つまり異常領域）として特定される。なお、Ｐ６のパターンにおいて振幅画像から検出された第１領域を優先することの妥当性については後述するため、ここでは説明を省略する。Ｐ６のパターンは、振幅画像から選択された第１領域が異常領域として特定されるという点において、上述したＰ５のパターンと共通している。したがって、図１２に示される例では、Ｐ６のパターンのもとでの領域特定方法がＭ３として定義されている。
【０１０９】
Ｐ７は、振幅画像と位相画像との両方から第１領域が検出され、差分画像からは第１領域が検出されなかったパターンである。このＰ７のパターンでは、強度画像から検出された第１領域の有無に関わらず（理由は同上）、振幅画像から検出された第１領域と、位相画像から検出された第１領域と、のうちいずれかサイズが大きい方が、第２領域（つまり異常領域）として特定される。なお、サイズが大きい方を選択することの妥当性については後述するため、ここでは説明を省略する。図１２に示される例では、Ｐ７のパターンのもとでの領域特定方法がＭ１として定義されている。
【０１１０】
Ｐ８は、振幅画像、位相画像、および差分画像の全てから第１領域が検出されたパターンである。このＰ８のパターンでは、強度画像から検出された第１領域の有無に関わらず（理由は同上）、振幅画像から検出された第１領域と、位相画像から検出された第１領域と、のうちいずれかサイズが大きい方が、第２領域（つまり異常領域）として特定される。なお、Ｐ８のパターンにおいて差分画像から検出された第１領域を無視することの妥当性については後述するため、ここでは説明を省略する。Ｐ８のパターンは、振幅画像と位相画像との両方を考慮して選択された第１領域が異常領域として特定されるという点において、上述したＰ７のパターンと共通している。したがって、図１２に示される例では、Ｐ８のパターンのもとでの領域特定方法がＭ１として定義されている。
【０１１１】
このように、実施形態にかかる領域特定部１０５は、複数の検査画像に対する第１領域の有無の検出結果のパターンが上記のＰ１〜Ｐ８のいずれに該当するかを判断し、判断結果に応じて、上記のＭ１〜Ｍ５のいずれかの方法で、異常領域を特定する。
【０１１２】
すなわち、領域特定部１０５は、検出結果のパターンが、少なくとも、振幅画像および位相画像の両方に第１領域がある第１パターン（上述したＰ７またはＰ８）である場合、振幅画像の第１領域と、位相画像の第１領域と、のうちいずれかサイズが大きい方を、第２領域（つまり異常領域）として特定する（上述したＭ１）。
【０１１３】
また、領域特定部１０５は、検出結果のパターンが、少なくとも、振幅画像に第１領域がなく、位相画像に第１領域があり、かつ、差分画像に第１領域がある第２パターン（上述したＰ４）である場合、差分画像の第１領域を、第２領域（つまり異常領域）として特定する（上述したＭ５）。
【０１１４】
また、領域特定部１０５は、検出結果のパターンが、少なくとも、振幅画像に第１領域があり、位相画像に第１領域がなく、かつ、差分画像に第１領域がある第３パターン（上述したＰ６）である場合、振幅画像の第１領域を、第２領域（つまり異常領域）として特定する（上述したＭ３）。
【０１１５】
また、領域特定部１０５は、検出結果のパターンが、強度画像、振幅画像、位相画像、および差分画像のうちいずれか１つの画像のみに第１領域がある第４パターン（上述したＰ１、Ｐ２、Ｐ３、またはＰ５）である場合、当該１つの画像の第１領域を、第２領域（つまり異常領域）として特定する（上述したＭ２、Ｍ５、Ｍ４、またはＭ３）。
【０１１６】
図１３は、実施形態で用いられる異常領域の特定方法の妥当性を説明するための事例を示した図である。この図１３に示される例は、被検査体１５０の一例としての被検査体１３００に異常１３００ａが存在する場合において、位相画像から第１領域１３０１が検出され、かつ、振幅画像から第１領域１３０２が検出された状況に対応している。
【０１１７】
図１３に示される異常１３００ａは、塗装工程で発生するハジキのような、比較的浅い欠陥である。時間相関の技術を用いた異常検査において、ハジキは、基本的には位相画像から検出されるが、たとえばハジキの上に微小なゴミが載っていると、振幅画像からも検出されることがある。
【０１１８】
したがって、図１３に示される状況においては、位相画像から検出された第１領域１３０１は、異常１３００ａが存在する領域の全体を囲む大きい領域として構成される一方、振幅画像から検出された第１領域１３０２は、異常１３００ａが存在する領域の内側の微小な領域として構成される。
【０１１９】
ここで、異常領域として特定する領域は、異常１３００ａが存在する領域の全体を囲む大きい領域であることが望ましい。したがって、図１３に示される例では、サイズが大きい方の第１領域１３０１を、異常領域として選択するのが妥当である。
【０１２０】
なお、振幅画像と位相画像との両方から第１領域が検出される異常は、図１３に示されるようなハジキに限られるものではなく、たとえば次の図１４に示されるような異常も考えられる。
【０１２１】
図１４は、実施形態で用いられる異常領域の特定方法の妥当性を説明するための図１３とは異なる事例を示した図である。この図１４に示される例は、被検査体１５０の一例としての被検査体１４００に異常１４００ａが存在する場合において、位相画像から第１領域１４０１が検出され、かつ、振幅画像から第１領域１４０２が検出された状況に対応している。
【０１２２】
図１４に示される異常１４００ａは、被検査体１４００の端部に存在する異常である。時間相関の技術を用いた異常検査において、一般に、端部に存在する異常は、位相画像からは検出されにくく、振幅画像からは検出されやすいという特徴がある。
【０１２３】
したがって、図１４に示される状況においては、位相画像から検出された第１領域１４０１は、異常１４００ａが存在する領域の内側の小さい領域として構成される一方、振幅画像から検出された第１領域１４０２は、異常１４００ａが存在する領域の全体を囲む大きい領域として構成される。
【０１２４】
ここで、異常領域として特定する領域は、異常１４００ａが存在する領域の全体を囲む大きい領域であることが望ましい。したがって、図１４に示される例では、サイズが大きい方の第１領域１４０２を、異常領域として特定するのが妥当である。
【０１２５】
なお、振幅画像と位相画像との両方から第１領域が検出される異常は、図１３および図１４に示されるような異常のほかにも存在しうる。しかしながら、この点に関して、本願発明者は、どのような異常であっても、振幅画像と位相画像との両方から第１領域が検出された場合には、サイズが大きい方の第１領域を異常領域として選択すると、より正確な結果が得られることを実験的に導き出した。
【０１２６】
図１５は、実施形態で用いられる異常領域の特定方法の妥当性を説明するための図１３および図１４とは異なる事例を示した図である。この図１５に示される例は、被検査体１５０の一例としての被検査体１５００に異常１５００ａが存在する場合において、差分画像から第１領域１５０１が検出され、かつ、振幅画像から第１領域１５０２が検出された状況に対応している。
【０１２７】
図１５に示される異常１５００ａは、被検査体１５００の端部に存在する正常な膨らみの部分に存在するブツという微小な欠陥である。時間相関の技術を用いた異常検査において、一般に、ブツは、振幅画像から検出される。一方、実施形態で用いられる差分画像は、被検査体１５００における非常に緩やかな表面形状の変化を検出可能であるため、差分画像からは、ブツだけでなく、ブツが存在する正常な膨らみの部分も検出される。
【０１２８】
したがって、図１５に示される状況においては、差分画像から検出された第１領域１５０１は、異常１５００ａが存在する領域の全体を囲む大きい領域として構成される一方、振幅画像から検出された第１領域１５０２は、異常１５００ａに対応した微小な領域として構成される。
【０１２９】
ここで、異常領域として特定する領域は、正常な膨らみの領域を無視した、異常１５００ａに対応した（微小な）領域であることが望ましい。したがって、図１５に示される例では、差分画像から検出された第１領域１５０１を無視して、振幅画像から検出された第１領域１５０２を、異常領域として特定するのが妥当である。
【０１３０】
なお、振幅画像と差分画像との両方から第１領域が検出される異常は、図１５に示されるような異常のほかにも存在しうる。しかしながら、この点に関して、本願発明者は、どのような異常であっても、振幅画像と差分画像との両方から第１領域が検出された場合には、振幅画像から検出された第１領域の方を異常領域として選択すると、より正確な結果が得られることを実験的に導き出した。
【０１３１】
図１６は、実施形態で用いられる異常領域の特定方法の妥当性を説明するための図１３〜図１５とは異なる事例を示した図である。この図１６に示される例は、被検査体１５０の一例としての被検査体１６００に異常１６００ａが存在する場合において、位相画像から第１領域１６０１が検出され、差分画像から第１領域１６０２が検出された状況に対応している。
【０１３２】
図１６に示される異常１６００ａは、浅い緩やかな欠陥である。時間相関の技術を用いた異常検査において、一般に、浅い緩やかな欠陥は、位相画像からは、欠陥の一部の領域しか検出されない傾向がある。一方、実施形態で用いられる差分画像は、前述したように、被検査体１５００における非常に緩やかな表面形状の変化を検出可能であるため、差分画像からは、欠陥の全体を含んだ領域が検出されやすい。
【０１３３】
したがって、図１６に示される状況においては、位相画像から検出された第１領域１６０１は、異常１６００ａが存在する領域の一部の小さい領域として構成される一方、差分画像から検出された第１領域１６０２は、異常１６００ａが存在する領域の全体を囲む大きい領域として構成される。
【０１３４】
ここで、異常領域として特定する領域は、異常１６００ａが存在する領域の全体を囲む大きい領域であることが望ましい。したがって、図１６に示される例では、位相画像から検出された第１領域１６０１を無視して、差分画像から検出された第１領域１６０２を、異常領域として特定するのが妥当である。
【０１３５】
なお、位相画像と差分画像との両方から第１領域が検出される異常は、図１６に示されるような異常のほかにも存在しうる。しかしながら、この点に関して、本願発明者は、どのような異常であっても、位相画像と差分画像との両方から第１領域が検出された場合には、差分画像から検出された第１領域の方を異常領域として選択すると、より正確な結果が得られることを実験的に導き出した。
【０１３６】
このように、実施形態は、強度画像、振幅画像、位相画像、および差分画像の全てを考慮して、異常が存在する可能性がある異常領域をより正確に特定することができる。
【０１３７】
ところで、異常領域をより正確に特定することができるということは、被検査体１５０の検査対象面に実際に存在する異常の形状をより正確に推定することができるということを意味する。そして、実際の異常の形状をより正確に推定することができれば、たとえば、実際の異常の形状が、所定の検査規格の範囲内の形状であるか否かも推定することができ、検査規格の観点では良品とすべき異常を含む被検査体１５０が欠陥品として判定されるのを抑制することが可能になり、過検出を抑制することが可能になる。
【０１３８】
そこで、図１に戻り、実施形態において、形状推定部１０６は、領域特定部１０５により特定された異常領域（第２領域）に基づいて、被検査体１５０の検査対象面に実際に存在する異常の形状に関する情報を推定する。
【０１３９】
たとえば、形状推定部１０６は、異常領域の面積に基づいて、被検査体１５０の検査対象面に実際に存在する異常の形状に関する情報のうち、異常の径（より具体的には直径）を推定する。
【０１４０】
まず、異常領域の面積は、たとえば、以下に示す式（１１）により計算することができる。
【０１４１】
異常領域の面積＝異常領域の画素数×解像度の２乗  …（１１）
【０１４２】
また、異常が真円形状であると仮定すれば、上記で計算した面積から、以下に示す式（１２）により、直径を求めることができる。
【０１４３】
直径＝｛２×√（異常領域の面積／π）｝×ｋ１  …（１２）
【０１４４】
なお、上記のｋ１は、実験で決定した適当な補正係数である。
【０１４５】
図１７は、実施形態の方法で求めた異常の直径の精度を実験で検証した結果を示した図である。図１７において、横軸は、実際に存在する異常の直径を顕微鏡で計測した実測値に対応し、縦軸は、実施形態の方法で求めた異常の直径の計算値に対応する。
【０１４６】
図１７にプロットされた複数の黒点は、いくつかの異常についての直径の実測値と計算値とを本願発明者が実験で求めた結果を示している。この結果について相関係数および標準誤差を計算すると、相関係数は０．８４となり、標準誤差は０．１４９［ｍｍ］となったので、実施形態の方法によれば、異常の直径を十分な精度で求められることが実証できた。
【０１４７】
ところで、異常の直径を計算により求めることができれば、異常の高さ（または深さ）も、以下に説明するようなモデルに基づいた方法で、計算により求めることができる。
【０１４８】
図１８は、実施形態において想定する異常のモデルを示した模式図である。図１８に示されるように、実施形態は、底角の大きさがαの二等辺三角形の断面を有する円錐としてモデル化された異常１８００を想定する。
【０１４９】
図１８において、異常１８００の底面の直径φと、異常１８００の高さＨとの関係は、以下に示す式（１３）で表すことができる。
【０１５０】
Ｈ＝φ×ｔａｎα  …（１３）
【０１５１】
直径φは、上述した式（１２）で計算することができるため、高さＨを求めるためには、円錐の側面の傾斜角に対応したαを求める必要がある。
【０１５２】
図１９は、図１８に例示された円錐状の異常１８００の側面の傾斜角を求めるための方法を説明するための模式図である。図１９に示されるように、実施形態は、被検査体１５０の一例としての被検査体１９００の表面の位置Ｐ１９００に円錐状の異常１８００が存在する状況を想定する。
【０１５３】
図１９に示されるように、スクリーン１３０の位置Ｐ１９０１から被検査体１９００の表面に向けて出射される出射光は、円錐状の異常１８００の側面を介して反射され、スクリーン１３０の位置Ｐ１９０２に入射する。位置Ｐ１９０１と位置Ｐ１９０２との位置ずれδは、異常１８００の存在に起因して発生するものであるため、異常１８００の存在によって発生する光の位相変化と、スクリーン１３０上の物理的な位置ずれδと、の間には、比例関係が成立する。
【０１５４】
すなわち、上述した複数の検査画像を考慮した方法で特定された異常領域における光の位相変化の量をΔΦとし、スクリーン１３０に投影される縞の幅をＷとすると、ΔΦとＷとδとの間には、以下に示す式（１４）が成立する。
【０１５５】
δ＝Ｗ×ΔΦ／２π  …（１４）
【０１５６】
一方、位置Ｐ１９００に存在する円錐状の異常１８００の側面の傾斜角がαである場合、一般的な光学計算により、位置Ｐ１９０１から位置Ｐ１９００への出射光と、位置Ｐ１９００から位置Ｐ１９０２への反射光と、がなす角度は、異常１８００の側面の傾斜角であるαの２倍であることが分かる。したがって、スクリーン１３０と位置Ｐ１９００との間の距離をｄとすると、ｄとδとαとの間には、次に示す式（１５）が成立する。
【０１５７】
２×α＝ａｒｃｔａｎ（δ／ｄ）  …（１５）
【０１５８】
上記の式（１４）および（１５）により、異常領域における光の位相変化の量であるΔΦを算出すれば、異常１８００の形状を表す情報（側面の傾斜角）であるαを算出できることが分かる。そして、αが算出できれば、上記の式（１３）により、異常の高さＨを算出（推定）することができる。したがって、実施形態において異常の高さＨを推定するためには、異常領域における光の位相変化の量であるΔΦを算出することが必要となる。
【０１５９】
この点に関して、本願発明者は、鋭意検討の結果、上述したようなモデルのもとでは、異常領域における位相の変化量であるΔΦが、異常領域における位相の微分値の最大値および最小値の差と、ある程度の相関関係を有していることを見出した。なお、位相は、複素時間相関画像データを極形式で表した場合の指数部分に対応するため、位相の微分値は、複素時間相関画像データの振幅を無視して位相のみを微分するという位相限定微分という計算方法を用いると、容易に求めることができる。
【０１６０】
したがって、実施形態では、以下に示す式（１６）のように、複素時間相関画像データに位相限定微分を施すことで得られる微分画像データのうち異常領域に対応した領域の値の最大値Ｐｍａｘおよび最小値Ｐｍｉｎの差に、実験で決定した適当な補正係数ｋ２を乗じたものが、異常領域における位相変化の量ΔΦとして算出される。
【０１６１】
ΔΦ＝（Ｐｍａｘ−Ｐｍｉｎ）×ｋ１  …（１６）
【０１６２】
このように、実施形態において、形状推定部１０６は、領域特定部１０５により特定された異常領域における位相の変化量ΔΦと、前述の計算により求めた直径φと、に基づいて、被検査体１５０の検査対象面に実際に存在する異常の形状に関する情報のうち、異常の高さＨを推定する。
【０１６３】
なお、上述した計算は、異常の高さを求めるための計算であるので、異常が検査対象面に対して凸状であることを前提としている。しかしながら、異常が検査対象面に対して凹状である場合も、上述した計算と同様の計算により、異常の深さを、マイナスの高さとして求めることが可能である。
【０１６４】
ここで、上述した計算により求めたものが高さなのか深さなのかを判別するためには、異常が検査対象面に対して凸状であるか凹状であるかの判別も重要となる。
【０１６５】
そこで、実施形態において、形状推定部１０６は、以下に説明するような方法で、異常の凹凸を推定する。
【０１６６】
図２０は、実施形態の時間相関カメラ１１０からの縞パターンの見え方の一例を説明するための模式図である。この図２０に示される例では、被検査体１５０の一例としての被検査体２０００が、時間相関カメラ１１０およびスクリーン１３０側に緩やかに膨らんだ形状を有している。
【０１６７】
図２０において、矢印Ａ２０１１は、スクリーン１３０から被検査体２０００に入射する光の方向を示し、矢印Ａ２０１２は、被検査体２００で反射されて時間相関カメラ１１０（のイメージセンサ２２０）に入射する光の方向を示している。また、図２０において、矢印Ａ２００１は、スクリーン１３０に投影された縞パターンの移動方向を示している。
【０１６８】
図２０に示されるように、スクリーン１３０上の縞パターンが矢印Ａ２００１に沿って移動すると、被検査体２０００の表面（検査対象面）には、全体として矢印Ａ２０００に沿って移動する縞パターンが構成される。なお、図２０において、被検査体２０００の断面に描かれた縞パターンの模様は、見た目の分かりやすさのためのものであり、被検査体２０００の断面に実際に縞パターンが構成されるわけではない。
【０１６９】
被検査体２０００の表面（検査対象面）に構成された縞パターンについてより詳細に見ると、時間相関カメラ１１０に対して近い側の検査対象面には、矢印Ａ２００２に沿って時間相関カメラ１１０に近づくように移動する縞パターンが構成され、時間相関カメラ１１０に対して遠い側の検査対象面には、矢印Ａ２００３に沿って時間相関カメラ１１０から離れるように移動する縞パターンが構成される。
【０１７０】
このように、時間相関カメラ１１０からの視点では、時間相関カメラ１１０に対して近い側と、時間相関カメラ１１０に対して遠い側とで、縞パターンの移動方向が異なる。したがって、図２０に例示された構成においては、時間相関カメラ１１０に対して近い側と、時間相関カメラ１１０に対して遠い側とで、時間相関カメラ１１０によって観察される光の位相変化の態様が異なる。また、光の位相変化の態様は、異常が凸状であるか凹状であるかによっても異なる。
【０１７１】
以下、図２０に例示された構成において想定される光の位相変化の態様の例についてより具体的に説明する。
【０１７２】
図２１は、図２０に例示された構成において時間相関カメラ１１０に対して近い側で凸状の異常が存在する場合における検査対象面での光の位相変化を示した模式図である。図２１において、横軸は、検査対象面の矢印Ａ２００２（図２０参照）に沿った位置に対応し、縦軸は、横軸に対応した位置での位相に対応する。
【０１７３】
図２１に示される例では、位相変化は、全体として右下がりの傾向を示す。この傾向は、時間相関カメラ１１０に対して近い側においては縞パターンが時間相関カメラ１１０に近づくように移動することに起因する。ただし、図２１に示される例では、全体として右下がりの位相変化の中に、下がって上がってまた下がるという局所的な位相変化が存在する。この局所的な位相変化は、異常の形状が凸状であることに起因する。
【０１７４】
図２２は、図２０に例示された構成において時間相関カメラ１１０に対して近い側で凹状の異常が存在する場合における検査対象面での光の位相変化を示した模式図である。図２２においても、図２１と同様に、横軸は、検査対象面の矢印Ａ２００２（図２０参照）に沿った位置に対応し、縦軸は、横軸に対応した位置での位相に対応する。
【０１７５】
図２２に示される例では、図２１に示される例と同様、位相変化は、全体として右下がりの傾向を示す（理由は同上）。ただし、図２２に示される例では、全体として右下がりの位相変化の中に、上がって下がってまた上がるという局所的な位相変化が存在する。この局所的な位相変化は、異常の形状が凹状であることに起因する。
【０１７６】
図２３は、図２０に例示された構成において時間相関カメラ１１０に対して遠い側で凸状の異常が存在する場合における検査対象面での光の位相変化を示した模式図である。図２３において、横軸は、検査対象面の矢印Ａ２００３（図２０参照）に沿った位置に対応し、縦軸は、横軸に対応した位置での位相に対応する。
【０１７７】
図２３に示される例では、位相変化は、全体として右上がりの傾向を示す。この傾向は、時間相関カメラ１１０に対して遠い側においては縞パターンが時間相関カメラ１１０から離れるように移動することに起因する。ただし、図２３に示される例では、全体として右上がりの位相変化の中に、下がって上がってまた下がるという局所的な位相変化が存在する。この局所的な位相変化は、異常の形状が凸状であることに起因する。
【０１７８】
図２４は、図２０に例示された構成において時間相関カメラ１１０に対して遠い側で凹状の異常が存在する場合における検査対象面での光の位相変化を示した模式図である。図２４においても、図２３と同様に、横軸は、検査対象面の矢印Ａ２００３（図２０参照）に沿った位置に対応し、縦軸は、横軸に対応した位置での位相に対応する。
【０１７９】
図２４に示される例では、図２３に示される例と同様、位相変化は、全体として右上がりの傾向を示す（理由は同上）。ただし、図２４に示される例では、全体として右下がりの位相変化の中に、上がって下がってまた上がるという局所的な位相変化が存在する。この局所的な位相変化は、異常の形状が凹状であることに起因する。
【０１８０】
図２１〜図２４から分かるように、時間相関カメラ１１０によって観察される光の位相変化の態様を見れば、時間相関カメラ１１０から見た被検査体１５０の検査対象面の表面形状と、当該検査対象面に存在する異常が凸状であるか凹状であるかと、を判定することができる。
【０１８１】
ここで、異常が凸状であるか凹状であるかは、局所的な位相変化のパターンが、下がって上がってまた下がるという図２１および図２３に示されたパターンに該当するか、上がって下がってまた上がるという図２２および図２４に示されたパターンに該当するかを検出することで判定可能である。この判定は、以下に説明するように、複素時間相関画像データに位相限定ラプラシアンを施すことで得られる２階微分画像データの値（以下、位相限定ラプラシアンの値と記載する）の変化を見ることで、容易に実現することができる。なお、位相限定ラプラシアンとは、複素時間相関画像データの振幅を無視して位相のみを２階微分する処理である。
【０１８２】
図２５は、図２０に例示された構成において凸状の異常が存在する場合における検査対象面での位相限定ラプラシアンの値を示した模式図である。すなわち、図２５は、図２１および図２３に示される位相に２階微分を施したものに対応する。図２５において、横軸は、図２１および図２３と同様の検査対象面の位置に対応し、縦軸は、横軸に対応した位置での位相限定ラプラシアンの値に対応する。
【０１８３】
また、図２６は、図２０に例示された構成において凹状の異常が存在する場合における検査対象面での位相限定ラプラシアンの値を示した模式図である。すなわち、図２６は、図２２および図２４に示される位相に２階微分を施したものに対応する。図２６において、横軸は、図２２および図２４と同様の検査対象面の位置に対応し、縦軸は、横軸に対応した位置での位相限定ラプラシアンの値に対応する。
【０１８４】
図２５に示されるように、凸状の異常が存在する領域においては、位相限定ラプラシアンの値が、急峻に上がってまた急峻に下がるという局所的な変化を示す。一方、図２６に示されるように、凹状の異常が存在する領域においては、位相限定ラプラシアンの値が、図２５に示される例とは逆に、急峻に下がってまた急峻に上がるという局所的な変化を示す。
【０１８５】
このように、実施形態では、位相限定ラプラシアンの値の（局所的な）変化のパターンを見ることで、異常が凸状であるか凹状であるかを判定することができる。
【０１８６】
ところで、位相限定ラプラシアンの値の変化が図２５に示されるような態様であることが分かっても、それだけでは、位相の変化が図２１に示されるような態様であるか、図２３に示されるような態様であるかまでは分からない。同様に、位相限定ラプラシアンの値の変化が図２６に示されるような態様であることが分かっても、それだけでは、位相の変化が図２２に示されるような態様であるか、図２４に示されるような態様であるかまでは分からない。
【０１８７】
そこで、実施形態は、位相の変化が図２１〜図２４のいずれに示される態様であるかまで特定するために、位相限定ラプラシアンの値が局所的に変化する領域、つまり領域特定部１０５により特定された異常領域の周辺領域の位相限定微分の値を取得する。位相限定微分の値は、位相の傾きに対応するので、位相限定微分の値を見れば、位相の変化が全体として右下がり（図２１および図２２参照）であるか、全体として右上がり（図２３および図２４参照）であるか、を判定することができる。そして、この判定結果を加味して、位相限定ラプラシアンの値の変化を見れば、検査対象面における位相の変化が図２１〜図２４に示されたいずれの態様であるかを特定することができ、異常の凹凸を、当該異常の周辺領域の表面形状も考慮してより詳細に推定することができる。
【０１８８】
したがって、実施形態にかかる形状推定部１０６は、以下に説明するように、領域特定部１０５により特定された異常領域の周辺領域における位相限定微分の値と、異常領域における位相限定ラプラシアンの値と、に基づいて、被検査体１５０の検査対象面に実際に存在する異常の凹凸を推定する。
【０１８９】
図２７は、実施形態で用いられる周辺領域の表面形状を考慮した異常の凹凸の判定方法を説明するための模式図である。図２７において、３つの領域１７０１は、領域特定部１０５により特定された異常領域に対応する。
【０１９０】
図２７に示されるような３つの領域１７０１が異常領域として特定されると、形状推定部１０６は、それら３つの領域１７０１を膨張させることで、３つの領域１７０１の周辺領域１７０２を構成する。図２７に示される例では、３つの領域１７０１が互いに近接しているため、周辺領域１７０２が１つの領域として構成される。
【０１９１】
周辺領域１７０２が構成されると、形状推定部１０６は、周辺領域１７０２の複素時間相関画像データに位相限定微分を施し、当該位相限定微分の値の正負を取得することで、周辺領域１７０２の位相の変化が全体として右下がり（図２１および図２２参照）か、全体として右上がり（図２３および図２４参照）か、を判定する。また、形状推定部１０６は、３つの領域１７０１の複素時間相関画像データに位相限定ラプラシアンを施し、当該位相限定ラプラシアンの値の変化が、実際の異常が凸状であることを示すような変化（図２５参照）に該当するか、実際の異常が凹状であることを示すような変化（図２６参照）に該当するか、を判定する。
【０１９２】
そして、形状推定部１０６は、位相限定微分の値に基づく判定結果と、位相限定ラプラシアンの値に基づく判定結果と、の両方に基づいて、被検査体１５０の検査対象面に実際に存在する異常の凹凸を、その周辺領域の表面形状まで考慮して推定する。そして、形状推定部１０６は、このような凹凸の判定結果を考慮して、上記の式（１３）などによって求めた計算値が、異常の高さなのか深さなのかを決定する。
【０１９３】
図２８は、実施形態の方法で求めた異常の高さまたは深さの精度を実験で検証した結果を示した図である。図２８において、横軸は、実際に存在する異常の高さまたは深さを顕微鏡で計測した実測値に対応し、縦軸は、実施形態の方法で求めた異常の高さまたは深さの計算値に対応する。
【０１９４】
図２８にプロットされた複数の黒点は、いくつかの異常についての異常の高さまたは深さの実測値と計算値とを本願発明者が実験で求めた結果を示している。この結果について相関係数および標準誤差を計算すると、相関係数は０．９２となり、標準誤差は２．４［μｍ］となったので、実施形態の方法によれば、異常の高さまたは深さを十分な精度で求められることが実証できた。
【０１９５】
図１に戻り、異常判定部１０７は、形状推定部１０６により推定された情報に基づいて、異常の形状を加味して、異常判定を実行する。たとえば、異常判定部１０７は、異常のサイズ（面積や直径、高さ、深さなど）の計算値が検査規格で定められたサイズの範囲内である場合は、当該異常が検査規格に沿った正常なものであると判定し、異常のサイズの計算値が検査規格で定められたサイズの範囲内から外れている場合は、当該異常が検査規格から外れた欠陥であると判定する。これにより、画像処理によって機械的に検出された異常の中から、検査規格から外れた欠陥のみを抽出することができるので、過検出を抑制することが可能になる。
【０１９６】
以下、実施形態において実行される処理について説明する。
【０１９７】
図２９は、実施形態の検査システムが被検査体１５０の検査を行う際に実行する一連の処理を示したフローチャートである。以下では、被検査体１５０は、既にアーム１４０に固定された状態で、検査の初期位置に配置されているものとする。
【０１９８】
図２９に示されるように、実施形態のＰＣ１００は、まず、照明装置１２０に対して、被検査体を検査するための縞パターンを出力する（Ｓ２９０１）。
【０１９９】
照明装置１２０は、ＰＣ１００から入力された縞パターンを格納する（Ｓ２９２１）。そして、照明装置１２０は、格納された縞パターンを、時間遷移に従って変化するように表示する（Ｓ２９２２）。なお、照明装置１２０が表示を開始する条件は、縞パターンが格納されることに制限するものではなく、たとえば検査者が照明装置１２０に対して開始操作を行ったことであってもよい。
【０２００】
そして、ＰＣ１００の制御部１０３は、時間相関カメラ１１０に対して、撮像開始指示を送信する（Ｓ２９０２）。
【０２０１】
次に、時間相関カメラ１１０は、送信されてきた撮像開始指示に従って、被検査体１５０および当該被検査体１５０の周囲を含む領域について撮像を開始する（Ｓ２９１１）。そして、時間相関カメラ１１０の制御部２４０は、強度画像データと、時間相関画像データと、を生成する（Ｓ２９１２）。そして、時間相関カメラ１１０の制御部２４０は、強度画像データと、時間相関画像データと、を、ＰＣ１００に出力する（Ｓ２９１３）。
【０２０２】
ＰＣ１００の制御部１０３は、強度画像データと、時間相関画像データと、を受け取る（Ｓ２９０３）。そして、画像生成部１０４は、受け取った強度画像データおよび時間相関画像データから、複数の検査画像、より具体的には強度画像、振幅画像、位相画像、および差分画像を生成する（Ｓ２９０４）。
【０２０３】
そして、領域特定部１０５は、Ｓ２９０４で生成された複数の検査画像に基づいて、異常が存在する可能性がある異常領域を特定する（Ｓ２９０５）。
【０２０４】
図３０は、実施形態の検査システムが実行する異常領域の特定処理の詳細を示したフローチャートである。
【０２０５】
図３０に示されるように、実施形態の領域特定部１０５は、まず、Ｓ２９０４で生成された複数の検査画像のそれぞれに、閾値処理などの画像処理に基づく異常検出を実行することで、複数の検査画像のそれぞれから、画像上の異常が存在する第１領域（の有無）を検出する（Ｓ３００１）。
【０２０６】
そして、領域特定部１０５は、Ｓ３００１における検出パターンに応じた方法で、実際の異常が存在する可能性がある異常領域としての第２領域を特定する（Ｓ３００２）。より具体的に、領域特定部１０５は、まず、強度画像、振幅画像、位相画像、および差分画像における第１領域の有無の組み合わせを示す検出パターンが、図１２に示されるＰ１〜Ｐ８のいずれのパターンに該当するかを判定する。そして、領域特定部１０５は、検出パターンの判定結果に応じて、図１２におけるＭ１〜Ｍ５の５つの方法を使い分け、検出された少なくとも１つの第１領域を選択的に利用することで、異常領域としての第２領域を特定する。
【０２０７】
図３０におけるＳ３００２の処理が終了すると、図１４におけるＳ２９０５の異常領域の特定処理が終了し、Ｓ２９０６に処理が移行する。そして、形状推定部１０６は、Ｓ２９０５で特定された異常領域に基づいて、異常の形状に関する情報を推定する（Ｓ２９０６）。前述したように、異常の形状に関する情報としては、異常の面積や直径、高さ、深さ、凹凸などが挙げられる。
【０２０８】
そして、異常判定部１０７は、Ｓ２９０６の推定結果に基づいて、異常判定処理を実行する（Ｓ２９０７）。たとえば、異常判定部１０７は、Ｓ２９０６で推定された異常のサイズが検査規格から外れているか否かを判定し、判定結果に応じて、画像処理によって機械的に異常であると判定された異常から、検査規格に沿って良品と判定すべきものを除外する。
【０２０９】
そして、制御部１０３は、被検査体１５０の検査が終了したか否かを判定する（Ｓ２９０８）。
【０２１０】
被検査体１５０の検査が終了していないと判定された場合（Ｓ２９０８：Ｎｏ）、アーム制御部１０１は、次の検査対象となる被検査体１５０の表面が時間相関カメラ１１０で撮像できるように、予め定められた設定にしたがってアームの移動制御を行う（Ｓ２９０９）。そして、アームの移動制御が終了すると、制御部１０３は、再び時間相関カメラ１１０に対して、撮像開始指示を送信する（Ｓ２９０２）。
【０２１１】
一方、被検査体１５０の検査が終了したと判定された場合（Ｓ２９０８：Ｙｅｓ）、制御部１０３は、検査が終了した旨を通知するための終了指示を時間相関カメラ１１０に対して出力する（Ｓ２９１０）。これにより、ＰＣ１００が実行する一連の処理が終了する。
【０２１２】
そして、時間相関カメラ１１０は、終了指示を受け付けたか否かを判定する（Ｓ２９１４）。終了指示を受け付けていない場合（Ｓ２９１４：Ｎｏ）、再びＳ２９１１からの処理が行われる。一方、終了指示を受け付けた場合（Ｓ２９１４：Ｙｅｓ）、処理が終了する。
【０２１３】
なお、照明装置１２０の終了処理は、検査者が行ってもよいし、他の構成からの指示に従って終了してもよい。
【０２１４】
以上により、実施形態の検査システムが被検査体の検査を行う際に実行する一連の処理が終了する。
【０２１５】
なお、上述した実施形態では、図２に示される構成を有した時間相関カメラ１１０を用いて、強度画像データと、時間相関画像データと、を生成する例について説明した。しかしながら、強度画像データと、時間相関画像データと、の生成は、図２に示される構成を有した時間相関カメラ１１０ではなくても、アナログ的な処理で実現可能な時間相関カメラや、それと等価な動作をする撮像システムなどによっても実現可能である。たとえば、通常のデジタルスチルカメラが生成した画像データを出力し、情報処理装置が、デジタルスチルカメラが生成した画像データを、フレーム画像データとして用いて参照信号を重畳することで、時間相関画像データを生成してもよいし、イメージセンサ内で光強度信号に参照信号を重畳するようなデジタルカメラを用いて、時間相関画像データを生成してもよい。
【０２１６】
以上説明したように、実施形態の検査システムは、時間相関カメラ１１０から出力される画像データから複数の検査画像を生成する画像生成部１０４と、当該複数の検査画像のそれぞれに画像処理に基づく異常検出を実行することで、複数の検査画像のそれぞれにおいて、画像上の異常が存在する第１領域の有無を検出し、複数の検査画像のうちの少なくとも１つには第１領域が存在すると検出された場合における第１領域の有無の複数の検査画像分の組み合わせのパターンに応じて、少なくとも１つの第１領域を選択し、当該少なくとも１つの第１領域に基づいて、被検査体１５０の検査対象面の異常が存在する可能性がある異常領域としての第２領域を特定する領域特定部１０５と、を備えている。ここで、複数の検査画像は、強度画像と、時間相関画像に基づいて導出可能な複数の画像（振幅画像、位相画像、およい差分画像）と、を含んでいる。このような構成によれば、複数の検査画像を総合的に考慮して、被検査体１５０の検査対象面のうち、異常が存在する可能性がある異常領域を、より正確に特定することができる。
【０２１７】
以下、実施形態のいくつかの変形例について説明する。
【０２１８】
＜第１変形例＞
上述した実施形態では、位相、振幅および強度の局所的な変化（周囲との違い）に基づいて、異常領域を特定する例について説明したが、周囲との違いに基づいて異常領域を特定することに制限するものではない。たとえば、第１変形例として、予め設定（取得）された参照形状のデータ（参照データ）との差異に基づいて異常領域を特定する場合も考えられる。この場合、空間位相変調照明（縞パターン）の位置合わせおよび同期の状況を、参照データを設定（取得）した時の状況に合わせる必要がある。
【０２１９】
第１変形例では、領域特定部１０５が、予め（図示しない）記憶部に記憶された、参照表面から得られた位相画像、振幅画像および強度画像と、被検査体１５０の位相画像、振幅画像および強度画像と、を比較し、被検査体１５０の表面と参照表面との間で、光の位相、振幅および強度のうちいずれか１つ以上について所定の基準以上の違いがあるか否かを判定する。
【０２２０】
以下では、第１変形例において、実施形態と同じ構成の検査システムが用いられ、参照表面の例として、正常な被検査体の表面が用いられるものとする。
【０２２１】
この場合、照明装置１２０がスクリーン１３０を介して縞パターンを照射している間に、時間相関カメラ１１０が、正常な被検査体の表面を撮像し、強度画像データと、時間相関画像データと、を生成する。そして、ＰＣ１００が、時間相関カメラ１１０で生成された強度画像データおよび時間相関画像データから、位相画像、振幅画像および強度画像を生成し、ＰＣ１００の記憶部（図示せず）に、生成した位相画像、振幅画像および強度画像を記憶させておく。
【０２２２】
そして、時間相関カメラ１１０は、異常が存在する可能性の有無を判定したい被検査体を撮像し、強度画像データと、時間相関画像データとを生成する。そして、ＰＣ１００は、強度画像データおよび時間相関画像データから、位相画像、振幅画像および強度画像を生成した後、過去に記憶部に記憶した、正常な被検査体の位相画像、振幅画像および強度画像と、を比較する。
【０２２３】
なお、上記の比較の際において、ＰＣ１００は、正常な被検査体の位相画像、振幅画像および強度画像と、検査対象の被検査体の位相画像、振幅画像および強度画像との比較結果を、異常領域を特定するための特徴を表すデータとして出力するものとする。これにより、ＰＣ１００は、異常領域を特定するための特徴が、所定の基準以上となっている画素（領域）を特定することで、位相画像、振幅画像および強度画像の各々の異常領域を特定することができる。
【０２２４】
以上の手順により、第１変形例では、正常な被検査体の表面と差異が生じているか否か、換言すれば、被検査体の表面に異常が存在する可能性の有無を判定できる。なお、位相画像、振幅画像および強度画像の比較手法は、どのような手法を用いてもよいので、説明を省略する。
【０２２５】
なお、第１変形例では、参照表面との違いに基づいて、異常領域を抽出するための特徴を示したデータを出力する例について説明した。しかしながら、第１変形例で説明した参照表面の違いを用いる技術と、実施形態で説明した周囲との違いを用いる技術と、を組み合わせて、異常領域を特定することも考えられる。なお、第１変形例の技術と、実施形態の技術と、を組み合わせる手法は、どのような手法を用いてもよいので、ここでは説明を省略する。
【０２２６】
＜第２変形例＞
また、上述した実施形態では、ｘ方向に縞パターンを動かして、被検査体の異常（欠陥）を検出する例について説明した。しかしながら、ｘ方向に垂直なｙ方向で急峻に法線の分布が変化する異常（欠陥）が被検査体に生じている場合、ｘ方向に縞パターンを動かすよりも、ｙ方向に縞パターンを動かす方が欠陥の検出が容易になる場合がある。そこで、第２変形例として、ｘ方向に移動する縞パターンと、ｙ方向に移動する縞パターンとを、交互に切り替える例について説明する。
【０２２７】
第２変形例の照明制御部１０２は、所定の時間間隔毎に、照明装置１２０に出力する縞パターンを切り替える。これにより、照明装置１２０は、一つの検査対象面に対して、異なる方向に延びた複数の縞パターンを出力する。
【０２２８】
図３１は、第２変形例の照明制御部１０２が出力する縞パターンの切り替え例を示した図である。図３１の（Ａ）に示されるように、第２変形例において、照明制御部１０２は、まず、照明装置１２０が表示する縞パターンをｘ方向に遷移させる。その後、図３１の（Ｂ）に示されるように、照明制御部１０２は、照明装置１２０が表示する縞パターンをｙ方向に遷移させる。
【０２２９】
そして、ＰＣ１００の制御部１０３は、図３１の（Ａ）の縞パターン照射から得られた時間相関画像データに基づいて、異常検出を行い、図３１の（Ｂ）の縞パターン照射から得られた時間相関画像データに基づいて、異常検出を行う。
【０２３０】
図３２は、第２変形例の照明制御部１０２が、異常（欠陥）３２０１を含んだ表面に縞パターンを照射した例を示した図である。図３２に示される例では、異常（欠陥）３２０１が、ｘ方向に延びている。この場合、照明制御部１０２は、ｘ方向に交差するｙ方向、換言すれば異常（欠陥）３２０１の長手方向に交差する方向に縞パターンが移動するように設定する。当該設定により、検出精度を向上させることができる。
【０２３１】
図３３は、図３２においてｙ方向に縞パターンを変化させた場合における、異常（欠陥）３２０１とスクリーン１３０上の縞パターンとの関係を示した図である。なお、図３２において、ｙ方向は、異常（欠陥）３２０１の長手方向に直交する方向に対応する。図３３に示されるように、ｙ方向に幅が狭く、且つ当該ｙ方向に交差するｘ方向を長手方向とする異常（欠陥）３２０１が生じている場合、照明装置１２０から照射された光は、ｘ方向に交差するｙ方向で光の振幅の打ち消しが大きくなる。このため、ＰＣ１００では、ｙ方向に移動させた縞パターンに対応する振幅画像データから、当該異常（欠陥）３２０１を検出できる。
【０２３２】
第２変形例の検査システムにおいて、被検査体に生じる欠陥の長手方向がランダムな場合には、複数方向（例えば、ｘ方向、および当該ｘ方向に交差するｙ方向等）で縞パターンを表示することで、欠陥の形状を問わずに当該欠陥の検出が可能となり、異常（欠陥）の検出精度を向上させることができる。また、異常の形状に合わせた縞パターンを投影することで、異常の検出精度を向上させることができる。
【０２３３】
＜第３変形例＞
さらに、実施形態の技術は、上述した第２変形例のような、ｘ方向の異常検出と、ｙ方向の異常検出と、を行うために縞パターンを切り替える技術に制限されるものでない。そこで、第３変形例として、照明制御部１０２が照明装置１２０に出力する縞パターンをｘ方向およびｙ方向に同時に動かす例について説明する。
【０２３４】
図３４は、第３変形例の照明制御部１０２が照明装置１２０に出力する縞パターンの例を示した図である。図３４に示される例では、照明制御部１０２が縞パターンを方向３４０１に移動させる。
【０２３５】
図３４に示される縞パターンは、ｘ方向では１周期３４０２の縞パターンを含み、ｙ方向では１周期３４０３の縞パターンを含んでいる。つまり、図３４に示される縞パターンは、幅が異なる交差する方向に延びた複数の縞を有している。ここで、第３変形例では、ｘ方向の縞パターンの幅と、ｙ方向の縞パターンの幅と、を異ならせる必要がある。これにより、ｘ方向に対応する時間相関画像データと、ｙ方向に対応する時間相関画像データと、を生成する際に、対応する参照信号を異ならせることができる。なお、縞パターンによる光の強度の変化の周期（周波数）が変化すればよいので、縞の幅を変化させるのに変えて、縞パターン（縞）の移動速度を変化させてもよい。
【０２３６】
そして、時間相関カメラ１１０が、ｘ方向の縞パターンに対応する参照信号に基づいて、ｘ方向の縞パターンに対応する時間相関画像データを生成し、ｙ方向の縞パターンに対応する参照信号に基づいて、ｙ方向の縞パターンに対応する時間相関画像データを生成する。そして、ＰＣ１００の制御部１０３は、ｘ方向の縞パターンに対応する時間相関画像データに基づいて、異常検出を行った後、ｙ方向の縞パターンに対応する時間相関画像データに基づいて、異常検出を行う。これにより、第３変形例では、欠陥の生じた方向を問わずに検出が可能となり、異常（欠陥）の検出精度を向上させることができる。
【０２３７】
上述した実施形態のＰＣ１００で実行される検査プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０２３８】
また、上述した実施形態のＰＣ１００で実行される検査プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述した実施形態のＰＣ１００で実行される検査プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０２３９】
以上、本発明の実施形態およびいくつかの変形例を説明したが、これらの実施形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０２４０】
１００…ＰＣ、１０４…画像生成部、１０５…領域特定部、１０６…形状推定部、１０７…異常判定部、１１０…時間相関カメラ、１２０…照明装置（照明部）、１３０…スクリーン（照明部）。
【図１】
2019174232.tif 000011
【図２】
2019174232.tif 000012
【図３】
2019174232.tif 000013
【図４】
2019174232.tif 000014
【図５】
2019174232.tif 000015
【図６】
2019174232.tif 000016
【図７】
2019174232.tif 000017
【図８】
2019174232.tif 000018
【図９】
2019174232.tif 000019
【図１０】
2019174232.tif 000020
【図１１】
2019174232.tif 000021
【図１２】
2019174232.tif 000022
【図１３】
2019174232.tif 000023
【図１４】
2019174232.tif 000024
【図１５】
2019174232.tif 000025
【図１６】
2019174232.tif 000026
【図１７】
2019174232.tif 000027
【図１８】
2019174232.tif 000028
【図１９】
2019174232.tif 000029
【図２０】
2019174232.tif 000030
【図２１】
2019174232.tif 000031
【図２２】
2019174232.tif 000032
【図２３】
2019174232.tif 000033
【図２４】
2019174232.tif 000034
【図２５】
2019174232.tif 000035
【図２６】
2019174232.tif 000036
【図２７】
2019174232.tif 000037
【図２８】
2019174232.tif 000038
【図２９】
2019174232.tif 000039
【図３０】
2019174232.tif 000040
【図３１】
2019174232.tif 000041
【図３２】
2019174232.tif 000042
【図３３】
2019174232.tif 000043
【図３４】
2019174232.tif 000044