(57)【要約】【課題】検査対象物に反射強度が低い部分が存在する場合でも、へこみ／ふくれ欠陥やクラック欠陥の存在を正しく判定可能とする。【解決手段】本発明による外観検査装置は、複数の互いに異なる光学条件の下で検査対象物を撮影することによって得られる時系列画像Ｖ（ｘ，ｙ，ｔ）を生成する時系列画像生成部１０ａと、時系列画像Ｖ（ｘ，ｙ，ｔ）に正規化抑制定数及びその反数を連結してなる拡張時系列画像に基づき、時系列画像Ｖ（ｘ，ｙ，ｔ）を正規化してなる時系列正規化画像Ｉ（ｘ，ｙ，ｔ）を生成する時系列正規化画像生成部１１ａと、時系列正規化画像Ｉ（ｘ，ｙ，ｔ）と、正常品の撮影結果に基づいて同様に生成された時系列正規化画像との間の画素ごとの相関距離を示す相関距離画像Ｉｃｄ（ｘ，ｙ）を生成する相関距離画像生成部１２ａとを備える。【選択図】図７
2018066586.tif 000002
【特許請求の範囲】
【請求項１】
複数の互いに異なる光学条件の下で検査対象物を撮影することによって得られる第１の時系列画像を生成する第１の時系列画像生成部と、
前記第１の時系列画像に正規化抑制定数及びその反数を連結してなる第１の拡張時系列画像に基づき、前記第１の時系列画像を正規化してなる第１の時系列正規化画像を生成する第１の時系列正規化画像生成部と、
前記複数の互いに異なる光学条件の下で正常品を撮影することによって得られる第２の時系列画像を生成する第２の時系列画像生成部と、
前記第２の時系列画像に正規化抑制定数及びその反数を連結してなる第２の拡張時系列画像に基づき、前記第２の時系列画像を正規化してなる第２の時系列正規化画像を生成する第２の時系列正規化画像生成部と、
前記第１の時系列正規化画像と前記第２の時系列正規化画像との間の画素ごとの相関距離を示す第１の相関距離画像を生成する第１の相関距離画像生成部と
を備えることを特徴とする外観検査装置。
【請求項２】
前記第１の拡張時系列画像は、画素ごとに前記第１の時系列画像の時間方向の平均値に前記正規化抑制定数を加算してなる第１の連結画像と、画素ごとに前記第１の時系列画像の時間方向の平均値から前記正規化抑制定数を減算してなる第２の連結画像とを前記第１の時系列画像に連結してなる画像であり、
前記第１の時系列正規化画像生成部は、前記第１の拡張時系列画像の時間方向の平均値及び標準偏差に基づいて前記第１の時系列正規化画像を生成し、
前記第２の拡張時系列画像は、画素ごとに前記第２の時系列画像の時間方向の平均値に前記正規化抑制定数を加算してなる第３の連結画像と、画素ごとに前記第２の時系列画像の時間方向の平均値から前記正規化抑制定数を減算してなる第４の連結画像とを前記第２の時系列画像に連結してなる画像であり、
前記第２の時系列正規化画像生成部は、前記第２の拡張時系列画像の時間方向の平均値及び標準偏差に基づいて前記第２の時系列正規化画像を生成する
ことを特徴とする請求項１に記載の外観検査装置。
【請求項３】
複数の互いに異なる光学条件の下での正常品の撮影を複数回にわたって繰り返すことによって得られる複数の第３の時系列画像を生成する第３の時系列画像生成部をさらに備え、
前記第２の時系列画像は、前記複数の第３の時系列画像の画素ごとの平均値により構成される画像である
ことを特徴とする請求項１又は２に記載の外観検査装置。
【請求項４】
前記複数の第３の時系列画像のそれぞれについて、該第３の時系列画像に正規化抑制定数及びその反数を連結してなる第３の拡張時系列画像に基づき、該第３の時系列画像を正規化してなる第３の時系列正規化画像を生成する第３の時系列正規化画像生成部と、
複数の前記第３の時系列正規化画像のそれぞれについて、前記第２の時系列正規化画像との間の画素ごとの相関距離を示す第２の相関距離画像を生成する第２の相関距離画像生成部と、
前記第２の相関距離画像生成部によって生成される複数の前記第２の相関距離画像の画素ごとの平均値によって構成される第１の平均画像、及び、該複数の第２の相関距離画像の画素ごとの標準偏差によって構成される第１の標準偏差画像を生成する第１の確率的ふるまい記述部と、
前記第１の相関距離画像、前記第１の平均画像、及び前記第１の標準偏差画像に基づき、前記第１の相関距離画像と前記複数の第２の相関距離画像との画素ごとの確率的距離を示す第１の確率的距離画像を生成する第１の確率的距離画像生成部と
をさらに備えることを特徴とする請求項３に記載の外観検査装置。
【請求項５】
前記第３の拡張時系列画像は、画素ごとに対応する前記第３の時系列画像の時間方向の平均値に前記正規化抑制定数を加算してなる第５の連結画像と、画素ごとに対応する前記第３の時系列画像の時間方向の平均値から前記正規化抑制定数を減算してなる第６の連結画像とを対応する前記第３の時系列画像に連結してなる画像であり、
前記第３の時系列正規化画像生成部は、前記複数の第３の時系列画像のそれぞれについて、対応する前記第３の拡張時系列画像の時間方向の平均値及び標準偏差に基づいて前記第３の時系列正規化画像を生成する
ことを特徴とする請求項４に記載の外観検査装置。
【請求項６】
前記第１の時系列画像の時間方向の平均を示す第１の時間方向平均画像を生成する第１の時間方向平均画像生成部と、
前記複数の第３の時系列画像のそれぞれについて、時間方向の平均を示す第２の時間方向平均画像を生成する第２の時間方向平均画像生成部と、
前記第２の時間方向平均画像生成部によって生成される複数の前記第２の時間方向平均画像の画素ごとの平均値によって構成される第２の平均画像、及び、該複数の第２の時間方向平均画像の画素ごとの標準偏差によって構成される第２の標準偏差画像を生成する第３の確率的ふるまい記述部と、
前記第１の時間方向平均画像、前記第２の平均画像、及び前記第２の標準偏差画像に基づき、前記第１の時間方向平均画像と前記複数の第２の時間方向平均画像との画素ごとの確率的距離を示す第２の確率的距離画像を生成する第２の確率的距離画像生成部と
をさらに備えることを特徴とする請求項３乃至５のいずれか一項に記載の外観検査装置。
【請求項７】
前記第１の時系列画像の時間方向の標準偏差を示す第１の時間方向標準偏差画像を生成する第１の時間方向標準偏差画像生成部と、
前記複数の第３の時系列画像のそれぞれについて、時間方向の標準偏差を示す第２の時間方向標準偏差画像を生成する第２の時間方向標準偏差画像生成部と、
前記第２の時間方向標準偏差画像生成部によって生成される複数の前記第２の時間方向標準偏差画像の画素ごとの平均値によって構成される第３の平均画像、及び、該複数の第２の時間方向標準偏差画像の画素ごとの標準偏差によって構成される第３の標準偏差画像を生成する第２の確率的ふるまい記述部と、
前記第１の時間方向標準偏差画像、前記第３の平均画像、及び前記第３の標準偏差画像に基づき、前記第１の時間方向標準偏差画像と前記複数の第２の時間方向標準偏差画像との画素ごとの確率的距離を示す第３の確率的距離画像を生成する第３の確率的距離画像生成部と
をさらに備えることを特徴とする請求項３乃至６のいずれか一項に記載の外観検査装置。
【請求項８】
複数の互いに異なる光学条件の下で検査対象物を撮影することによって得られる第４の時系列画像を第１の方向及び該第１の方向と交差する第２の方向のそれぞれで微分することによって第１及び第２の時系列微分画像を生成する第１の時系列微分画像生成部と、
前記第１の時系列微分画像を構成する複数の微分画像のそれぞれから該第１の時系列微分画像の時間方向の平均値を減算し、さらに、前記第２の時系列微分画像を構成する複数の微分画像のそれぞれから該第２の時系列微分画像の時間方向の平均値を減算することによって、第１の時系列勾配ベクトル画像を生成する第１の時系列勾配ベクトル画像生成部と、
前記複数の互いに異なる光学条件の下で正常品を撮影することによって得られる第５の時系列画像を前記第１及び第２の方向のそれぞれで微分することによって第３及び第４の時系列微分画像を生成する第２の時系列微分画像生成部と、
前記第３の時系列微分画像を構成する複数の微分画像のそれぞれから該第３の時系列微分画像の時間方向の平均値を減算し、さらに、前記第４の時系列微分画像を構成する複数の微分画像のそれぞれから該第４の時系列微分画像の時間方向の平均値を減算することによって、第２の時系列勾配ベクトル画像を生成する第２の時系列勾配ベクトル画像生成部とをさらに備え、
前記第１の時系列画像は前記第１の時系列勾配ベクトル画像であり、
前記第２の時系列画像は前記第２の時系列勾配ベクトル画像である
ことを特徴とする請求項１に記載の外観検査装置。
【請求項９】
前記第１の拡張時系列画像は、各画素の濃度が前記正規化抑制定数に等しい第７の連結画像と、各画素の濃度が前記正規化抑制定数の反数に等しい第８の連結画像とを前記第１の時系列勾配ベクトル画像に連結してなる画像であり、
前記第１の時系列正規化画像生成部は、前記第１の拡張時系列画像の時間方向のベクトルとしての長さに基づいて前記第１の時系列正規化画像を生成し、
前記第２の拡張時系列画像は、各画素の濃度が前記正規化抑制定数に等しい第９の連結画像と、各画素の濃度が前記正規化抑制定数の反数に等しい第１０の連結画像とを前記第２の時系列勾配ベクトル画像に連結してなる画像であり、
前記第２の時系列正規化画像生成部は、前記第２の拡張時系列画像の時間方向のベクトルとしての長さに基づいて前記第２の時系列正規化画像を生成する
ことを特徴とする請求項８に記載の外観検査装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は外観検査装置に関し、特に、ふくれ／へこみ欠陥及びクラック欠陥の検出に適した外観検査装置に関する。
【背景技術】
【０００２】
電子部品の製造工程においては、製造された電子部品に傷、汚れ、異物の付着などがないことを検査する必要がある。この検査は一般に外観検査と呼ばれ、近年では、画像認識装置を利用して自動的に行われるようになっている。特許文献１〜４には、このような外観検査の例が開示されている。
【０００３】
特許文献１には、検査対象の多値画像から所定の方法により基準濃度値（輝度値の中央値、平均値など）を算出し、各画素の濃度と基準濃度値との差分を画素ごとに算出し、その結果に基づいてブロブ（塊状の欠陥）を特定する、という技術が開示されている。ただし、この技術によって検査できるのはパターンのないフィルムの表面などの一様な濃度面のみであり、表面に様々な形状の構造物が存在する部分の外観は検査できない。
【０００４】
特許文献２には、電子部品ではなく印刷物が対象であるが、基準画像と検査画像との差分を画素ごとに算出し、算出した差分がしきい値を超えている場合に異常があると判定する、という技術が開示されている。この技術においては、予め決められた矩形領域ごとにその平坦度が算出され、算出された平坦度に基づき、矩形領域ごとにしきい値が決定される。
【０００５】
特許文献３には、参照画像と検査対象画像の差分を画素ごとに作成されるファジィメンバーシップ関数により欠陥度という数値に変換した後、任意サイズの局所領域ごとに欠陥度の積分値を算出し、算出した積分値が一定の判定基準値以上となる領域を欠陥として認識する、という技術が開示されている。ファジィメンバーシップ関数は輝度差分値欠陥度変換フィルタであり、ノイズの影響を軽減するとともに、大欠陥と小欠陥とを区別可能とする役割を担っている。
【０００６】
特許文献４には、複数の光学条件に基づく画像から欠陥を検出する技術が開示されている。同文献の［００３０］段落には、照明条件の異なる２つの画像の平均値を特徴量とすることについての記載がある。
【０００７】
また、非特許文献１には、照度差ステレオ（フォトメトリックステレオ）を利用して対象物の形状を復元する技術が開示されている。この技術は、各画素の輝度履歴（各光源下で観測される輝度を並べてなるベクトルを、長さが１になるように正規化したもの。同文献の式（１）参照）を取得し、取得した輝度履歴から得られる任意の２点間の測地線距離（＝輝度履歴の差分の絶対値）に基づいて、各画素の法線ベクトルを推定する、というものである。同文献には、測地線距離と輝度履歴の内積の逆余弦とが近似的に等しいことが示されている（同文献の式（９）参照）。
【０００８】
さらに、特許文献５には、画像から背景以外の動物体を抽出する技術が開示されている。この技術は、画像を複数の小領域に分割し、各小領域内の画素群を１次元ベクトルとして扱い、正規化（同文献の［０００６］段落参照）を行ったうえで、正規化後のベクトルの時間方向のバラツキを小領域ごとに算出し（同文献の式（６）参照）、その結果に基づいて動物体領域を抽出する、というものである。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１２−１６７９６３号公報
【特許文献２】特開２０１２−１０３２２５号公報
【特許文献３】特開２００４−０３８８８５号公報
【特許文献４】特許第５１７４５３５号公報
【特許文献５】特開２００２−０３２７６０号公報
【非特許文献】
【００１０】
【非特許文献１】佐藤  洋一、「照明変化に伴う輝度変化の類似度に基づく物体形状復元」、online］、［平成28年9月15日検索］、インターネット〈URL：https://www.jpo.go.jp/shiryou/kijun/kijun2/pdf/tjkijun_i-3.pdf〉
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ところで、電子部品の外観検査の重要な目的の一つに、ふくれ／へこみ欠陥又はクラック欠陥の検出が挙げられる。いずれも製品の品質を著しく損なう可能性のある欠陥であることから、外観検査での検出が必須である。
【００１２】
しかしながら、実際には、ふくれ／へこみ欠陥やクラック欠陥の検出は困難である場合が多い。というのも、これらの欠陥は、視線方向を様々な方向に変えながら観測して、ようやく見えてくる性質のものだからである。自動検査においては、コスト及び検査時間の観点から自由に視線方向を変えることが困難であるため、ふくれ／へこみ欠陥やクラック欠陥の程度、向きなどによっては、見えない欠陥が生じてしまうのである。
【００１３】
本願の発明者は、少しでもふくれ／へこみ欠陥やクラック欠陥を検出できるようにするための方法として、非特許文献１に記載されているようなフォトメトリックステレオを外観検査に応用することを検討している。正常品と検査対象物とのそれぞれにおいてフォトメトリックステレオにより各画素の法線ベクトルを求め、求めた法線ベクトルを比較することにより、検査対象物に生じた異常を発見することができると考えられる。
【００１４】
しかしながら、本願の発明者が研究を進めた結果、上記のようにフォトメトリックステレオを用いる方法には、検査対象物の表面に反射強度の低い部分があると正しい計測ができないという問題があることが判明した。例えば、中央に穴がある部品では、中央部は反射光が得られないためカメラノイズだけが記録されることになる。その結果、穴部分は検査が不可能となる。また、欠陥品にのみ穴があいているケースでは、この穴を異常と認識したいが、これも同様の理由で検査不可能である。この問題は穴に限らず、対象物の表面に反射強度の大きく異なる領域が存在すると顕在化する。例えば色の違いである。
【００１５】
したがって、本発明の目的の一つは、検査対象の反射強度によらず、へこみ／ふくれ欠陥やクラック欠陥の存在を正しく判定できる外観検査装置を提供することにある。
【課題を解決するための手段】
【００１６】
本発明の一側面による外観検査装置は、複数の互いに異なる光学条件の下で検査対象物を撮影することによって得られる第１の時系列画像を生成する第１の時系列画像生成部（１０ａ，３２ａ）と、前記第１の時系列画像に正規化抑制定数及びその反数を連結してなる第１の拡張時系列画像に基づき、前記第１の時系列画像を正規化してなる第１の時系列正規化画像を生成する第１の時系列正規化画像生成部と、前記複数の互いに異なる光学条件の下で正常品を撮影することによって得られる第２の時系列画像を生成する第２の時系列画像生成部と、前記第２の時系列画像に正規化抑制定数及びその反数を連結してなる第２の拡張時系列画像に基づき、前記第２の時系列画像を正規化してなる第２の時系列正規化画像を生成する第２の時系列正規化画像生成部と、前記第１の時系列正規化画像と前記第２の時系列正規化画像との間の画素ごとの相関距離を示す第１の相関距離画像を生成する第１の相関距離画像生成部とを備えることを特徴とする。
【００１７】
本発明によれば、第１及び第２の時系列画像の正規化を行なう上でカメラノイズのような微弱な信号まで増幅されることがなくなるので、検査対象の反射強度によらず期待する検査を実施することが可能になる。
【００１８】
上記外観検査装置において、前記第１の拡張時系列画像は、画素ごとに前記第１の時系列画像の時間方向の平均値に前記正規化抑制定数を加算してなる第１の連結画像と、画素ごとに前記第１の時系列画像の時間方向の平均値から前記正規化抑制定数を減算してなる第２の連結画像とを前記第１の時系列画像に連結してなる画像であり、前記第１の時系列正規化画像生成部は、前記第１の拡張時系列画像の時間方向の平均値及び標準偏差に基づいて前記第１の時系列正規化画像を生成し、前記第２の拡張時系列画像は、画素ごとに前記第２の時系列画像の時間方向の平均値に前記正規化抑制定数を加算してなる第３の連結画像と、画素ごとに前記第２の時系列画像の時間方向の平均値から前記正規化抑制定数を減算してなる第４の連結画像とを前記第２の時系列画像に連結してなる画像であり、前記第２の時系列正規化画像生成部は、前記第２の拡張時系列画像の時間方向の平均値及び標準偏差に基づいて前記第２の時系列正規化画像を生成することとしてもよい。こうすれば、ふくれ／へこみ欠陥の検出に適した時系列画像を得ることが可能になる。
【００１９】
上記外観検査装置において、複数の互いに異なる光学条件の下での正常品の撮影を複数回にわたって繰り返すことによって得られる複数の第３の時系列画像を生成する第３の時系列画像生成部をさらに備え、前記第２の時系列画像は、前記複数の第３の時系列画像の画素ごとの平均値により構成される画像であることとしてもよい。こうすれば、正常品間のバラツキにより生じ得る結果の誤差を低減することが可能になる。
【００２０】
上記外観検査装置において、前記複数の第３の時系列画像のそれぞれについて、該第３の時系列画像に正規化抑制定数及びその反数を連結してなる第３の拡張時系列画像に基づき、該第３の時系列画像を正規化してなる第３の時系列正規化画像を生成する第３の時系列正規化画像生成部と、複数の前記第３の時系列正規化画像のそれぞれについて、前記第２の時系列正規化画像との間の画素ごとの相関距離を示す第２の相関距離画像を生成する第２の相関距離画像生成部と、前記第２の相関距離画像生成部によって生成される複数の前記第２の相関距離画像の画素ごとの平均値によって構成される第１の平均画像、及び、該複数の第２の相関距離画像の画素ごとの標準偏差によって構成される第１の標準偏差画像を生成する第１の確率的ふるまい記述部と、前記第１の相関距離画像、前記第１の平均画像、及び前記第１の標準偏差画像に基づき、前記第１の相関距離画像と前記複数の第２の相関距離画像との画素ごとの確率的距離を示す第１の確率的距離画像を生成する第１の確率的距離画像生成部とをさらに備えることとしてもよい。こうすれば、いわゆる確率的距離画像を利用して、検査対象物表面の欠陥を検出することが可能になる。
【００２１】
上記各外観検査装置において、前記第３の拡張時系列画像は、画素ごとに対応する前記第３の時系列画像の時間方向の平均値に前記正規化抑制定数を加算してなる第５の連結画像と、画素ごとに対応する前記第３の時系列画像の時間方向の平均値から前記正規化抑制定数を減算してなる第６の連結画像とを対応する前記第３の時系列画像に連結してなる画像であり、前記第３の時系列正規化画像生成部（１１ｃ）は、前記複数の第３の時系列画像のそれぞれについて、対応する前記第３の拡張時系列画像の時間方向の平均値及び標準偏差に基づいて前記第３の時系列正規化画像を生成することとしてもよい。こうすれば、複数の第３の時系列画像のそれぞれに関して、ふくれ／へこみ欠陥の検出に適した時系列画像を得ることが可能になる。
【００２２】
上記各外観検査装置において、前記第１の時系列画像の時間方向の平均を示す第１の時間方向平均画像を生成する第１の時間方向平均画像生成部と、前記複数の第３の時系列画像のそれぞれについて、時間方向の平均を示す第２の時間方向平均画像を生成する第２の時間方向平均画像生成部と、前記第２の時間方向平均画像生成部によって生成される複数の前記第２の時間方向平均画像の画素ごとの平均値によって構成される第２の平均画像、及び、該複数の第２の時間方向平均画像の画素ごとの標準偏差によって構成される第２の標準偏差画像を生成する第２の確率的ふるまい記述部と、前記第１の時間方向平均画像、前記第２の平均画像、及び前記第２の標準偏差画像に基づき、前記第１の時間方向平均画像と前記複数の第２の時間方向平均画像との画素ごとの確率的距離を示す第２の確率的距離画像を生成する第２の確率的距離画像生成部とをさらに備えることとしてもよい。こうすれば、時間方向平均画像をさらに利用することが可能になるので、ふくれ／へこみ欠陥だけではなく汚れや異物の付着といった一般的な欠陥も併せて検出することが可能になる。
【００２３】
上記各外観検査装置において、前記第１の時系列画像の時間方向の標準偏差を示す第１の時間方向標準偏差画像を生成する第１の時間方向標準偏差画像生成部と、前記複数の第３の時系列画像のそれぞれについて、時間方向の標準偏差を示す第２の時間方向標準偏差画像を生成する第２の時間方向標準偏差画像生成部と、前記第２の時間方向標準偏差画像生成部によって生成される複数の前記第２の時間方向標準偏差画像の画素ごとの平均値によって構成される第３の平均画像、及び、該複数の第２の時間方向標準偏差画像の画素ごとの標準偏差によって構成される第３の標準偏差画像を生成する第３の確率的ふるまい記述部と、前記第１の時間方向標準偏差画像、前記第３の平均画像、及び前記第３の標準偏差画像に基づき、前記第１の時間方向標準偏差画像と前記複数の第２の時間方向標準偏差画像との画素ごとの確率的距離を示す第３の確率的距離画像を生成する第３の確率的距離画像生成部とをさらに備えることとしてもよい。こうすれば、時間方向標準偏差画像をさらに利用することが可能になるので、より確実に検査対象物表面の欠陥を検出することが可能になる。
【００２４】
上記外観検査装置において、複数の互いに異なる光学条件の下で検査対象物を撮影することによって得られる第４の時系列画像を第１の方向及び該第１の方向と交差する第２の方向のそれぞれで微分することによって第１及び第２の時系列微分画像を生成する第１の時系列微分画像生成部と、前記第１の時系列微分画像を構成する複数の微分画像のそれぞれから該第１の時系列微分画像の時間方向の平均値を減算し、さらに、前記第２の時系列微分画像を構成する複数の微分画像のそれぞれから該第２の時系列微分画像の時間方向の平均値を減算することによって、第１の時系列勾配ベクトル画像を生成する第１の時系列勾配ベクトル画像生成部と、前記複数の互いに異なる光学条件の下で正常品を撮影することによって得られる第５の時系列画像を前記第１及び第２の方向のそれぞれで微分することによって第３及び第４の時系列微分画像を生成する第２の時系列微分画像生成部と、前記第３の時系列微分画像を構成する複数の微分画像のそれぞれから該第３の時系列微分画像の時間方向の平均値を減算し、さらに、前記第４の時系列微分画像を構成する複数の微分画像のそれぞれから該第４の時系列微分画像の時間方向の平均値を減算することによって、第２の時系列勾配ベクトル画像を生成する第２の時系列勾配ベクトル画像生成部とをさらに備え、前記第１の時系列画像は前記第１の時系列勾配ベクトル画像であり、前記第２の時系列画像は前記第２の時系列勾配ベクトル画像であることとしてもよい。こうすれば、本発明をクラック欠陥の検出のために使用することが可能になる。
【００２５】
上記外観検査装置において、前記第１の拡張時系列画像は、各画素の濃度が前記正規化抑制定数に等しい第７の連結画像と、各画素の濃度が前記正規化抑制定数の反数に等しい第８の連結画像とを前記第１の時系列勾配ベクトル画像に連結してなる画像であり、前記第１の時系列正規化画像生成部は、前記第１の拡張時系列画像の時間方向のベクトルとしての長さに基づいて前記第１の時系列正規化画像を生成し、前記第２の拡張時系列画像は、各画素の濃度が前記正規化抑制定数に等しい第９の連結画像と、各画素の濃度が前記正規化抑制定数の反数に等しい第１０の連結画像とを前記第２の時系列勾配ベクトル画像に連結してなる画像であり、前記第２の時系列正規化画像生成部は、前記第２の拡張時系列画像の時間方向のベクトルとしての長さに基づいて前記第２の時系列正規化画像を生成することとしてもよい。こうすれば、クラック欠陥の検出に適した時系列画像を得ることが可能になる。
【発明の効果】
【００２６】
本発明によれば、第１及び第２の時系列画像の正規化を行なう上でカメラノイズのような微弱な信号まで増幅されることがなくなるので、検査対象の反射強度によらず期待する検査を実施することが可能になる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態による外観検査装置１の外観及び機能ブロックを示す図である。
【図２】（ａ）は、図１に示した照明装置３の配置の一例を示す上面図であり、（ｂ）は、（ａ）に対応する側面図である。
【図３】図１に示した照明装置３の配置の他の一例を示す図であり、（ａ）は部分照明３ｃを点灯させた状態を、（ｂ）は部分照明３ｂを点灯させた状態をそれぞれ示している。
【図４】図３に示した部分照明３ａ〜３ｅをすべて点灯した状態で、へこみ欠陥を有する検査対象物Ｔを撮像してなる画像を示す図である。
【図５】（ａ）〜（ｅ）は、図３に示した部分照明３ａ〜３ｅのそれぞれを単独で点灯させた状態で、図４と同じ検査対象物Ｔを撮像してなる画像を示す図である。
【図６】図１に示した画像処理装置５の機能ブロックのうち、ふくれ／へこみ欠陥を検出するためのモデル情報の生成に関する部分を示す図である。
【図７】図１に示した画像処理装置５の機能ブロックのうち、ふくれ／へこみ欠陥を検出するための検査対象物Ｔの画像処理（モデル情報との比較処理を含む）に関する部分を示す図である。
【図８】（ａ）は、へこみ欠陥を有する検査対象物Ｔの時系列画像ＴＶ（ｘ，ｙ，ｔ）の一例を示す図であり、（ｂ）は、（ａ）の時系列画像Ｖ（ｘ，ｙ，ｔ）に基づいて生成された時系列正規化画像Ｉ（ｘ，ｙ，ｔ）を示す図である。
【図９】（ａ）は、正常品の時系列画像ＳＶ（ｘ，ｙ，ｔ）の一例を示す図であり、（ｂ）は、へこみ欠陥を有する検査対象物Ｔの時系列画像Ｖ（ｘ，ｙ，ｔ）の一例を示す図であり、（ｃ）は、（ａ）の時系列画像ＳＶ（ｘ，ｙ，ｔ）及び（ｂ）の時系列画像ＴＶ（ｘ，ｙ，ｔ）に基づいて生成された確率的距離画像ＳＦＤ１（ｘ，ｙ）を示す図であり、（ｄ）は、（ａ）の時系列画像ＳＶ（ｘ，ｙ，ｔ）及び（ｂ）の時系列画像Ｖ（ｘ，ｙ，ｔ）に基づいて生成された確率的距離画像ＳＦＤ２（ｘ，ｙ）を示す図であり、（ｃ）は、（ａ）の時系列画像ＳＶ（ｘ，ｙ，ｔ）及び（ｂ）の時系列画像Ｖ（ｘ，ｙ，ｔ）に基づいて生成された確率的距離画像ＳＦＤ３（ｘ，ｙ）を示す図である。
【図１０】図１に示した画像処理装置５の機能ブロックのうち、クラック欠陥を検出するためのモデル情報の生成に関する部分を示す図である。
【図１１】図１に示した画像処理装置５の機能ブロックのうち、クラック欠陥を検出するための検査対象物Ｔの画像処理（モデル情報との比較処理を含む）に関する部分を示す図である。
【図１２】（ａ）は、クラック欠陥を有する検査対象物Ｔの時系列画像Ｖ（ｘ，ｙ，ｔ）の一例を示す図であり、（ｂ）は、（ａ）の時系列画像Ｖ（ｘ，ｙ，ｔ）に基づいて生成された時系列正規化勾配ベクトル画像Ｊ（ｘ，ｙ，ｕ）を示す図である。
【図１３】（ａ）は、正常品の時系列画像ＳＶ（ｘ，ｙ，ｔ）の一例を示す図であり、（ｂ）は、クラック欠陥を有する検査対象物Ｔの時系列画像Ｖ（ｘ，ｙ，ｔ）の一例を示す図であり、（ｃ）は、（ａ）の時系列画像ＳＶ（ｘ，ｙ，ｔ）及び（ｂ）の時系列画像Ｖ（ｘ，ｙ，ｔ）に基づいて生成された確率的距離画像ＳＦＤ４（ｘ，ｙ）を示す図であり、（ｄ）は、（ａ）の時系列画像ＳＶ（ｘ，ｙ，ｔ）及び（ｂ）の時系列画像Ｖ（ｘ，ｙ，ｔ）に基づいて生成された確率的距離画像ＳＦＤ５（ｘ，ｙ）を示す図であり、（ｃ）は、（ａ）の時系列画像ＳＶ（ｘ，ｙ，ｔ）及び（ｂ）の時系列画像Ｖ（ｘ，ｙ，ｔ）に基づいて生成された確率的距離画像ＳＦＤ６（ｘ，ｙ）を示す図である。
【発明を実施するための形態】
【００２８】
以下、添付図面を参照しながら、本発明の好ましい実施の形態について詳細に説明する。
【００２９】
図１は、本発明の実施の形態による外観検査装置１の外観及び機能ブロックを示す図である。同図に示すように外観検査装置１は、搬送装置２と、照明装置３と、カメラ４と、画像処理装置５と、照明制御装置６と、出力装置７と、入力装置８とを備えて構成される。
【００３０】
搬送装置２は、その上に戴置された検査対象物Ｔを搬送可能に構成された装置であり、カメラ４の下を通過するように検査対象物Ｔを搬送する役割を果たす。搬送装置２の動作は、画像処理装置５によって制御される。検査対象物Ｔは、例えばＩＣなどの電子部品である。
【００３１】
照明装置３は、搬送装置２上にある検査対象物Ｔを照らすための照明装置であり、斜め方向から検査対象物Ｔを照らすことができるように配置される。また、照明装置３は、独立して点灯制御可能な複数の部分照明によって構成されており、どの部分照明が点灯しているかによって複数の光学条件を形成可能に構成される。
【００３２】
図２（ａ）は、照明装置３の配置の一例を示す上面図であり、図２（ｂ）は、図２（ａ）に対応する側面図である。この例による照明装置３は、４つの部分照明３ａ〜３ｄを備えて構成される。この照明装置３による照明の対象となる検査対象物Ｔは、例えば図示するように四角錐台形状を有しており、部分照明３ａ〜３ｄはそれぞれ、検査対象物Ｔの互いに異なる４側面を、それぞれの斜め上方から照らすことできる位置に配置される。
【００３３】
図３は、照明装置３の配置の他の一例を示す図である。この例による照明装置３は、５つの部分照明３ａ〜３ｅと、ハーフミラー９とを備えて構成される。図３（ａ）はこのうち部分照明３ｃを点灯させた状態を、図３（ｂ）は部分照明３ｂを点灯させた状態をそれぞれ示している。
【００３４】
部分照明３ａ〜３ｅは、検査対象物Ｔの斜め上方に、上下方向に等間隔で並べて配置される。また、部分照明３ａ〜３ｅそれぞれの照射方向は、搬送装置２による検査対象物Ｔの搬送方向と平行とされている。ハーフミラー９は検査対象物Ｔの上方に配置される鏡であり、部分照明３ａ〜３ｅのそれぞれから照射された光を反射し、検査対象物Ｔを上方から照らす役割を果たす。部分照明３ａ〜３ｅが上下方向に並んでいるため、例えば図３（ａ）と図３（ｂ）を比較すると理解されるように、部分照明３ａ〜３ｅのそれぞれから照射された光は、中心点が少しずつオフセットされた状態で検査対象物Ｔ上に照射される。
【００３５】
図１に戻る。カメラ４は、検査対象物Ｔの例えば真上に配置され、検査対象物Ｔを撮影する撮影手段である。カメラ４は、ラインセンサカメラであってもよいしエリアカメラであってもよい。カメラ４は、画像処理装置５の制御に従って撮影動作を行い、動作の結果として得られた画像を画像処理装置５に出力するよう構成される。
【００３６】
画像処理装置５は、例えば内部にＣＰＵ及び記憶装置を有するパソコンであり、記憶装置内に記憶されるプログラムをＣＰＵが実行することにより、以下で述べる各動作を実行するよう構成される。出力装置７及び入力装置８はパソコンに通常備えられるマンマシンインターフェイスであり、照明制御装置６は、画像処理装置５の指示に従って照明装置３の点灯状態を制御する制御装置である。出力装置７として具体的には、ディスプレイやスピーカなどが挙げられる。また、入力装置８として具体的には、キーボードやマウスなどが挙げられる。
【００３７】
画像処理装置５は、検査対象物Ｔがカメラ４の撮影範囲内に入ったタイミングで検査対象物Ｔを一旦停止させ、停止している間に、照明装置３を構成する各部分照明が１つずつ順次点灯し、その都度カメラ４による撮影が実行されるよう、搬送装置２、照明制御装置６、及びカメラ４を制御する。この制御により、例えば照明装置３が図２の構成を有している場合であれば、部分照明３ａ〜３ｄのそれぞれが点灯しているときに撮影された４つの画像が順次、カメラ４から画像処理装置５に供給されることになる。以下、こうして時系列に供給される複数の画像を「時系列画像」と称する。
【００３８】
図４は、図３に示した部分照明３ａ〜３ｅをすべて点灯した状態で、へこみ欠陥を有する検査対象物Ｔを撮像してなる画像（明視野画像）を示す図である。また、図５（ａ）〜（ｅ）は、図３に示した部分照明３ａ〜３ｅのそれぞれを単独で点灯させた状態で、図４と同じ検査対象物Ｔを撮像してなる画像を示す図である。
【００３９】
図４及び図５を比較すると理解されるように、部分照明３ａ〜３ｅをすべて点灯した状態では全く見えないへこみ欠陥が、部分照明３ａ〜３ｅのうちの１つのみを点灯させると見えてくる場合がある。例えば図５の例では、部分照明３ｄを点灯させた状態を示す図５（ｄ）で最も顕著にへこみ欠陥が観察され、他の図５（ｂ）〜（ｅ）でも同じ位置にへこみ欠陥が観察される。この結果から理解されるように、一般的な明視野照明法又は暗視野照明法のように全方向から均一に対象物を照射する手法を用いたのでは、へこみ欠陥を観測できない場合がある。これは、ふくれ欠陥やクラック欠陥でも同様である。これらの欠陥を可視化するためには、その欠陥に適した特定の方向から光を照射することが必要である。
【００４０】
本実施の形態による外観検査装置１は、ふくれ／へこみ欠陥及びクラック欠陥のこのような性質に鑑み、部分照明３ａ〜３ｅを順次１つずつ点灯させて、検査対象物Ｔを撮影するように構成したものである。画像処理装置５は、この撮影の結果として得られた時系列画像を６種類の確率的距離画像に変換し、その結果に基づいて欠陥の有無を判定するように構成される。
【００４１】
以下、６種類の確率的距離画像を得るために画像処理装置５が行う処理について、画像処理装置５の機能ブロックを参照しながら詳細に説明する。なお、ふくれ／へこみ欠陥とクラック欠陥とで若干処理が異なるので、以下では、まずふくれ／へこみ欠陥の検出について説明し、その後、クラック欠陥の検出について説明することにする。
【００４２】
図６は、画像処理装置５の機能ブロックのうち、ふくれ／へこみ欠陥を検出するためのモデル情報の生成に関する部分を示す図である。また、図７は、画像処理装置５の機能ブロックのうち、ふくれ／へこみ欠陥を検出するための検査対象物Ｔの画像処理（モデル情報との比較処理を含む）に関する部分を示す図である。
【００４３】
ふくれ／へこみ欠陥の検出に関して、画像処理装置５は、図６及び図７に示すように、時系列画像生成部１０ａ，１０ｃ、平均時系列画像生成部１０ｂ、時系列正規化画像生成部１１ａ，１１ｃ、平均時系列正規化画像生成部１１ｂ、相関距離画像生成部１２ａ，１２ｂ、確率的ふるまい記述部１３ａ〜１３ｃ、確率的距離画像生成部１４ａ〜１４ｃ、時間方向平均画像生成部２０ａ，２０ｂ、時間方向標準偏差画像生成部２１ａ，２１ｂ、及びモデル情報記憶部５０を有して構成される。
【００４４】
初めに図７を参照すると、時系列画像生成部１０ａは、複数の互いに異なる光学条件の下で検査対象物Ｔを撮影することによって得られる時系列画像Ｖ（ｘ，ｙ，ｔ）（第１の時系列画像）を生成する機能部（第１の時系列画像生成部）である。ここでいう複数の互いに異なる光学条件とは、例えば図２に示した４つの部分照明３ａ〜３ｄ（又は、図３に示した５つの部分照明３ａ〜３ｅ）のうち互いに異なるものを点灯した状態であり、図１に示した照明制御装置６によって実現される。また、時系列画像Ｖ（ｘ，ｙ，ｔ）の括弧内のｘ，ｙは画像内の座標を示し、ｔは、撮影に用いたＴ個の部分照明の通番（ｔ＝０〜Ｔ−１）を示している。これらの点は、以下の記述においても同様である。
【００４５】
時系列正規化画像生成部１１ａは、時系列画像Ｖ（ｘ，ｙ，ｔ）に正規化抑制定数Ｔｈ及びその反数−Ｔｈを連結してなる拡張時系列画像ＶＥ（ｘ，ｙ，ｔ）（ｔ＝０〜Ｔ＋１。第１の拡張時系列画像）に基づき、時系列画像Ｖ（ｘ，ｙ，ｔ）を正規化してなる時系列正規化画像Ｉ（ｘ，ｙ，ｔ）（第１の時系列正規化画像）を生成する機能部（第１の時系列正規化画像生成部）である。以下、時系列正規化画像生成部１１ａの処理について詳しく説明する。
【００４６】
まず、拡張時系列画像ＶＥ（ｘ，ｙ，ｔ）は、具体的には、画素ごとに時系列画像Ｖ（ｘ，ｙ，ｔ）の時間方向の平均値に正規化抑制定数Ｔｈを加算してなる連結画像ＶＥ（ｘ，ｙ，Ｔ）（第１の連結画像）と、画素ごとに時系列画像Ｖ（ｘ，ｙ，ｔ）の時間方向の平均値から正規化抑制定数Ｔｈを減算してなる連結画像ＶＥ（ｘ，ｙ，Ｔ＋１）（第２の連結画像）とを時系列画像Ｖ（ｘ，ｙ，ｔ）に連結してなる画像である。連結画像ＶＥ（ｘ，ｙ，Ｔ），ＶＥ（ｘ，ｙ，Ｔ＋１）を数式で書くと、式（１）のようになる。ただし、式（１）中のＶａｖｒ（ｘ，ｙ）は時系列画像Ｖ（ｘ，ｙ，ｔ）の時間方向の平均値であり、式（２）によって表される。
【００４７】
【数１】
2018066586.tif 000003
【００４８】
時系列正規化画像生成部１１ａは、拡張時系列画像ＶＥ（ｘ，ｙ，ｔ）の時間方向の平均値及び標準偏差に基づいて、時系列正規化画像Ｉ（ｘ，ｙ，ｔ）を生成する。具体的には、次の式（３）により時系列正規化画像Ｉ（ｘ，ｙ，ｔ）を生成する。ただし、式（３）中のＶＥａｖｒ（ｘ，ｙ）は拡張時系列画像ＶＥ（ｘ，ｙ，ｔ）の時間方向の平均値であり、式（４）のように表される。また、式（３）中のＶＥｓｔｄｄｅｖ（ｘ，ｙ）は拡張時系列画像ＶＥ（ｘ，ｙ，ｔ）の時間方向の標準偏差であり、式（５）のように表される。なお、式（３）において右辺の分母にＴ＋２の平方根を乗算しているのは、ベクトルとしての時系列正規化画像［Ｉ（ｘ，ｙ，０），Ｉ（ｘ，ｙ，１），・・・，Ｉ（ｘ，ｙ，Ｔ＋１）］の長さを１にするためである。
【００４９】
【数２】
2018066586.tif 000004
【００５０】
式（３）は、次の式（６）のように書き直すことができる。ただし、式（６）中のＮｖ（ｘ，ｙ）は正規化用の除数であり、式（７）によって表される。式（６）を用いて時系列正規化画像Ｉ（ｘ，ｙ，ｔ）を生成する場合、中間生成物としての拡張時系列画像ＶＥ（ｘ，ｙ，ｔ）の生成が不要になるので、時系列正規化画像生成部１１ａは、実際には式（６）を用いて時系列正規化画像Ｉ（ｘ，ｙ，ｔ）の生成を行う。
【００５１】
【数３】
2018066586.tif 000005
【００５２】
時系列正規化画像生成部１１ａが以上のような正規化を行うことにより、時系列正規化画像Ｉ（ｘ，ｙ，ｔ）において、検査対象の反射強度によらず、へこみ／ふくれ欠陥の存在を正しく判定することが可能になる。以下、この点について詳しく説明する。
【００５３】
いま仮に、時系列正規化画像生成部１１ａが本発明の方法によらない通常の方法で時系列画像Ｖ（ｘ，ｙ，ｔ）の正規化を行うとすると、時系列正規化画像Ｉ（ｘ，ｙ，ｔ）は、次の式（８）のように算出されることになる。
【００５４】
【数４】
2018066586.tif 000006
【００５５】
式（８）により算出される時系列正規化画像Ｉ（ｘ，ｙ，ｔ）には、特定の画素において、カメラノイズばかりが強調されてしまう可能性があるという問題がある。すなわち、光学条件を変えても有意な濃淡変動が生じない画素（例えば、深い穴の開いている部分に対応する画素）があったとすると、その画素について求められる時系列画像Ｖ（ｘ，ｙ，ｔ）の標準偏差は、極めて小さな値となる。すると、時系列正規化画像Ｉ（ｘ，ｙ，ｔ）においては、わずかな濃淡変動が極端に強調されてしまうことになる。このわずかな濃淡変動は、多くの場合カメラノイズによるものであることから、式（８）により算出される時系列正規化画像Ｉ（ｘ，ｙ，ｔ）では、カメラノイズに起因する虚報が発生する可能性が高くなる。また、正常品にはない穴が検査対象物にあった場合に、その穴を欠陥として正しく検出することが困難になる。
【００５６】
これに対し、上述した拡張時系列画像ＶＥ（ｘ，ｙ，ｔ）においては、式（１）から理解されるように、少なくとも２Ｔｈの幅の濃淡変動が確保される。その結果、拡張時系列画像ＶＥ（ｘ，ｙ，ｔ）の標準偏差ＶＥｓｔｄｄｅｖ（ｘ，ｙ）が極めて小さな値になってしまうことがなくなるので、拡張時系列画像ＶＥ（ｘ，ｙ，ｔ）に基づいて式（３）又は式（６）により生成される時系列正規化画像Ｉ（ｘ，ｙ，ｔ）においては、わずかな濃淡変動が極端に強調されてしまう可能性が除去される。したがって、本発明による正規化の方法によれば、時系列正規化画像Ｉ（ｘ，ｙ，ｔ）において、カメラノイズに起因する虚報の発生を防止するとともに、正常品にはない穴が検査対象物にあった場合に、その穴を欠陥として正しく検出することが可能になると言える。
【００５７】
図８（ａ）は、へこみ欠陥を有する検査対象物Ｔの時系列画像Ｖ（ｘ，ｙ，ｔ）の一例を示す図であり、図８（ｂ）は、図８（ａ）の時系列画像Ｖ（ｘ，ｙ，ｔ）に基づいて生成された時系列正規化画像Ｉ（ｘ，ｙ，ｔ）を示す図である。これらの図に示すように、時系列正規化画像Ｉ（ｘ，ｙ，ｔ）においては、斜方照明を用いることによって時系列画像Ｖ（ｘ，ｙ，ｔ）内で強調されているへこみ欠陥が、さらに強調される。一方で、時系列正規化画像Ｉ（ｘ，ｙ，ｔ）においては、時系列画像Ｖ（ｘ，ｙ，ｔ）に比べ、検査対象物Ｔや照明装置３の個体差による濃淡変動が抑制される。
【００５８】
図６に移り、時系列画像生成部１０ｃは、複数の互いに異なる光学条件（ただし、時系列画像生成部１０ａによる時系列画像Ｖ（ｘ，ｙ，ｔ）の生成で用いたものと同じもの）の下での正常品の撮影を、ｓ＝０からｓ＝Ｓ−１までのＳ回にわたって繰り返すことによって得られるＳ個の時系列画像ｓＶ（ｘ，ｙ，ｔ）（第３の時系列画像）を生成する機能部（第３の時系列画像生成部）である。なお、時系列画像ｓＶ（ｘ，ｙ，ｔ）の符号の先頭に下付きで付した小文字のｓは、繰り返しの回数を表している。繰り返しの最大数Ｓは１以上の整数であればよい。
【００５９】
正常品とは、検査対象物Ｔと同じ形状の部品であるが、欠陥（特にふくれ／へこみ欠陥及びクラック欠陥）のないことが目視などの別の手段によって予め確認されているものである。したがって、Ｓ個の時系列画像ｓＶ（ｘ，ｙ，ｔ）はいずれも欠陥を含まないものとなる。なお、時系列画像生成部１０ｃは、同じ正常品を繰り返し撮影することによってＳ個の時系列画像ｓＶ（ｘ，ｙ，ｔ）を生成してもよいし、異なる正常品を１回又は複数回ずつ撮影することによってＳ個の時系列画像ｓＶ（ｘ，ｙ，ｔ）を生成してもよい。
【００６０】
時系列正規化画像生成部１１ｃは、Ｓ個の時系列画像ｓＶ（ｘ，ｙ，ｔ）のそれぞれについて、該時系列画像ｓＶ（ｘ，ｙ，ｔ）に正規化抑制定数Ｔｈ及びその反数−Ｔｈを連結してなる拡張時系列画像ｓＶＥ（ｘ，ｙ，ｔ）（ｔ＝０〜Ｔ＋１。第３の拡張時系列画像）に基づき、該時系列画像ｓＶ（ｘ，ｙ，ｔ）を正規化してなる時系列正規化画像ｓＩ（ｘ，ｙ，ｔ）（第３の時系列正規化画像）を生成する機能部（第３の時系列正規化画像生成部）である。拡張時系列画像ｓＶＥ（ｘ，ｙ，ｔ）は、画素ごとに時系列画像ｓＶ（ｘ，ｙ，ｔ）の時間方向の平均値に正規化抑制定数Ｔｈを加算してなる連結画像ｓＶＥ（ｘ，ｙ，Ｔ）（第５の連結画像）と、画素ごとに時系列画像ｓＶ（ｘ，ｙ，ｔ）の時間方向の平均値から正規化抑制定数Ｔｈを減算してなる連結画像ｓＶＥ（ｘ，ｙ，Ｔ＋１）（第６の連結画像）とを時系列画像ｓＶ（ｘ，ｙ，ｔ）に連結してなる画像であり、時系列正規化画像生成部１１ｃは、Ｓ個の時系列画像ｓＶ（ｘ，ｙ，ｔ）のそれぞれについて、対応する拡張時系列画像ｓＶＥ（ｘ，ｙ，ｔ）の時間方向の平均値及び標準偏差に基づいて、時系列正規化画像ｓＩ（ｘ，ｙ，ｔ）を生成する。
【００６１】
時系列正規化画像生成部１１ｃによる正規化の方法は時系列正規化画像生成部１１ａによるものと基本的に同一であるので、詳しい説明は省略する。式（６）に相当する時系列正規化画像の生成方法は、時系列正規化画像生成部１１ｃにおいては、次の式（９）によって表される。ただし、式（９）中のｓＶａｖｒ（ｘ，ｙ）は時系列画像ｓＶ（ｘ，ｙ，ｔ）の時間方向の平均値であり、式（１０）によって表される。また、式（９）中のｓＮｖ（ｘ，ｙ）は正規化用の除数であり、式（１１）によって表される。このような正規化の方法を採用することにより、Ｓ個の時系列正規化画像ｓＩ（ｘ，ｙ，ｔ）においても、カメラノイズに起因する虚報の発生を防止することが可能になる。
【００６２】
【数５】
2018066586.tif 000007
【００６３】
平均時系列画像生成部１０ｂは、Ｓ個の時系列画像ｓＶ（ｘ，ｙ，ｔ）の画素ごとの平均値により構成される画像である平均時系列画像ａＶ（ｘ，ｙ，ｔ）（第２の時系列画像）を生成する機能部（第２の時系列画像生成部）である。具体的には、次の式（１２）により平均時系列画像ａＶ（ｘ，ｙ，ｔ）を生成する。
【００６４】
【数６】
2018066586.tif 000008
【００６５】
平均時系列正規化画像生成部１１ｂは、平均時系列画像ａＶ（ｘ，ｙ，ｔ）に正規化抑制定数Ｔｈ及びその反数−Ｔｈを連結してなる拡張時系列画像ａＶＥ（ｘ，ｙ，ｔ）（ｔ＝０〜Ｔ＋１。第２の拡張時系列画像）に基づき、平均時系列画像ａＶ（ｘ，ｙ，ｔ）を正規化してなる平均時系列正規化画像ａＩ（ｘ，ｙ，ｔ）（第２の時系列正規化画像）を生成する機能部（第２の時系列正規化画像生成部）である。拡張時系列画像ａＶＥ（ｘ，ｙ，ｔ）は、画素ごとに平均時系列画像ａＶ（ｘ，ｙ，ｔ）の時間方向の平均値に正規化抑制定数Ｔｈを加算してなる連結画像ａＶＥ（ｘ，ｙ，Ｔ）（第３の連結画像）と、画素ごとに時系列画像ａＶ（ｘ，ｙ，ｔ）の時間方向の平均値から正規化抑制定数Ｔｈを減算してなる連結画像ａＶＥ（ｘ，ｙ，Ｔ＋１）（第４の連結画像）とを平均時系列画像ａＶ（ｘ，ｙ，ｔ）に連結してなる画像であり、平均時系列正規化画像生成部１１ｂは、拡張時系列画像ａＶＥ（ｘ，ｙ，ｔ）の時間方向の平均値及び標準偏差に基づいて、平均時系列正規化画像ａＩ（ｘ，ｙ，ｔ）を生成する。
【００６６】
平均時系列正規化画像生成部１１ｂによる正規化の方法も時系列正規化画像生成部１１ａによるものと基本的に同一であるので、詳しい説明は省略する。式（６）に相当する時系列正規化画像の生成方法は、平均時系列正規化画像生成部１１ｂにおいては、次の式（１３）によって表される。ただし、式（１３）中のａＶａｖｒ（ｘ，ｙ）は時系列画像ａＶ（ｘ，ｙ，ｔ）の時間方向の平均値であり、式（１４）によって表される。また、式（１３）中のａＮｖ（ｘ，ｙ）は正規化用の除数であり、式（１５）によって表される。このような正規化の方法を採用することにより、平均時系列正規化画像ａＩ（ｘ，ｙ，ｔ）においても、カメラノイズに起因する虚報の発生を防止することが可能になる。
【００６７】
【数７】
2018066586.tif 000009
【００６８】
平均時系列正規化画像生成部１１ｂによって生成された平均時系列正規化画像ａＩ（ｘ，ｙ，ｔ）は、正常品を表すモデル情報の一部として、モデル情報記憶部５０に格納される。
【００６９】
図７に戻り、相関距離画像生成部１２ａは、時系列正規化画像Ｉ（ｘ，ｙ，ｔ）と平均時系列正規化画像ａＩ（ｘ，ｙ，ｔ）との間の画素ごとの相関距離を示す相関距離画像Ｉｃｄ（ｘ，ｙ）（第１の相関距離画像）を生成する機能部（第１の相関距離画像生成部）である。具体的には、次の式（１６）により相関距離画像Ｉｃｄ（ｘ，ｙ）を生成する。式（１６）から理解されるように、画像処理装置５においては、内積演算を用いて２つの画像間の相関距離を算出している。
【００７０】
【数８】
2018066586.tif 000010
【００７１】
図６に戻り、相関距離画像生成部１２ｂは、Ｓ個の時系列正規化画像ｓＩ（ｘ，ｙ，ｔ）のそれぞれについて、平均時系列正規化画像ａＩ（ｘ，ｙ，ｔ）との間の画素ごとの相関距離を示す相関距離画像ｓＩｃｄ（ｘ，ｙ）（第２の相関距離画像）を生成する機能部（第２の相関距離画像生成部）である。具体的には、次の式（１７）により相関距離画像ｓＩｃｄ（ｘ，ｙ）を生成する。
【００７２】
【数９】
2018066586.tif 000011
【００７３】
確率的ふるまい記述部１３ａは、相関距離画像生成部１２ｂによって生成されるＳ個の相関距離画像ｓＩｃｄ（ｘ，ｙ）の画素ごとの平均値によって構成される平均画像Ｆａｖｒ１（ｘ，ｙ）（第１の平均画像）、及び、該Ｓ個の相関距離画像ｓＩｃｄ（ｘ，ｙ）の画素ごとの標準偏差によって構成される標準偏差画像Ｆｓｔｄｄｅｖ１（ｘ，ｙ）（第１の標準偏差画像）を生成する機能部（第１の確率的ふるまい記述部）である。具体的には、次の式（１８）及び式（１９）においてｓＦ（ｘ，ｙ）、Ｆａｖｒ（ｘ，ｙ）、Ｆｓｔｄｄｅｖ（ｘ，ｙ）をそれぞれ相関距離画像ｓＩｃｄ（ｘ，ｙ）、平均画像Ｆａｖｒ１（ｘ，ｙ）、標準偏差画像Ｆｓｔｄｄｅｖ１（ｘ，ｙ）に置き換えることにより、平均画像Ｆａｖｒ１（ｘ，ｙ）及び標準偏差画像Ｆｓｔｄｄｅｖ１（ｘ，ｙ）を生成する。生成された平均画像Ｆａｖｒ１（ｘ，ｙ）及び標準偏差画像Ｆｓｔｄｄｅｖ１（ｘ，ｙ）は、正常品を表すモデル情報の一部として、モデル情報記憶部５０に格納される。
【００７４】
【数１０】
2018066586.tif 000012
【００７５】
図７に戻り、確率的距離画像生成部１４ａは、相関距離画像Ｉｃｄ（ｘ，ｙ）と、モデル情報記憶部５０に格納される平均画像Ｆａｖｒ１（ｘ，ｙ）及び標準偏差画像Ｆｓｔｄｄｅｖ１（ｘ，ｙ）とに基づき、相関距離画像Ｉｃｄ（ｘ，ｙ）とＳ個の相関距離画像ｓＩｃｄ（ｘ，ｙ）との画素ごとの確率的距離を示す確率的距離画像ＳＦＤ１（ｘ，ｙ）（第１の確率的距離画像）を生成する機能部（第１の確率的距離画像生成部）である。具体的には、次の式（２０）及び式（２１）においてＦ（ｘ，ｙ）、Ｆａｖｒ（ｘ，ｙ）、Ｆｓｔｄｄｅｖ（ｘ，ｙ）、ＳＦＤ（ｘ，ｙ）をそれぞれ相関距離画像Ｉｃｄ（ｘ，ｙ）、平均画像Ｆａｖｒ１（ｘ，ｙ）、標準偏差画像Ｆｓｔｄｄｅｖ１（ｘ，ｙ）、確率的距離画像ＳＦＤ１（ｘ，ｙ）に置き換えることにより、確率的距離画像ＳＦＤ１（ｘ，ｙ）を生成する。ただし、式（２０）中の関数ｍａｘ（Ａ，Ｂ）は、変数Ａと変数Ｂの大きい方を出力する関数である。また、ａｍｐは、所与の係数である。
【００７６】
【数１１】
2018066586.tif 000013
【００７７】
次に、時間方向平均画像生成部２０ａは、時系列画像生成部１０ａによって生成される時系列画像Ｖ（ｘ，ｙ，ｔ）の時間方向の平均を示す時間方向平均画像Ｉａｖｒ（ｘ，ｙ）（第１の時間方向平均画像）を生成する機能部（第１の時間方向平均画像生成部）である。具体的には、次の式（２２）によって時間方向平均画像Ｉａｖｒ（ｘ，ｙ）を算出する。なお、時間方向平均画像Ｉａｖｒ（ｘ，ｙ）は、上述した式（２）により算出される時系列画像Ｖ（ｘ，ｙ，ｔ）の時間方向の平均値Ｖａｖｒ（ｘ，ｙ）と同じものであるので、この平均値Ｖａｖｒ（ｘ，ｙ）を時間方向平均画像Ｉａｖｒ（ｘ，ｙ）として用いることとしてもよい。
【００７８】
【数１２】
2018066586.tif 000014
【００７９】
図６に戻り、時間方向平均画像生成部２０ｂは、時系列画像生成部１０ｃによって生成されるＳ個の時系列画像ｓＶ（ｘ，ｙ，ｔ）のそれぞれについて、時間方向の平均を示す時間方向平均画像ｓＩａｖｒ（ｘ，ｙ）（第２の時間方向平均画像）を生成する機能部（第２の時間方向平均画像生成部）である。具体的には、次の式（２３）によってＳ個の時間方向平均画像ｓＩａｖｒ（ｘ，ｙ）を算出する。なお、時間方向平均画像ｓＩａｖｒ（ｘ，ｙ）は、上述した式（１０）により算出される時系列画像ｓＶ（ｘ，ｙ，ｔ）の時間方向の平均値ｓＶａｖｒ（ｘ，ｙ）と同じものであるので、この平均値ｓＶａｖｒ（ｘ，ｙ）を時間方向平均画像ｓＩａｖｒ（ｘ，ｙ）として用いることとしてもよい。
【００８０】
【数１３】
2018066586.tif 000015
【００８１】
確率的ふるまい記述部１３ｂは、時間方向平均画像生成部２０ｂによって生成されるＳ個の時間方向平均画像ｓＩａｖｒ（ｘ，ｙ）の画素ごとの平均値によって構成される平均画像Ｆａｖｒ２（ｘ，ｙ）（第２の平均画像）、及び、該Ｓ個の時間方向平均画像ｓＩａｖｒ（ｘ，ｙ）の画素ごとの標準偏差によって構成される標準偏差画像Ｆｓｔｄｄｅｖ２（ｘ，ｙ）（第２の標準偏差画像）を生成する機能部（第２の確率的ふるまい記述部）である。具体的には、上述した式（１８）及び式（１９）においてｓＦ（ｘ，ｙ）、Ｆａｖｒ（ｘ，ｙ）、Ｆｓｔｄｄｅｖ（ｘ，ｙ）をそれぞれ時間方向平均画像ｓＩａｖｒ（ｘ，ｙ）、平均画像Ｆａｖｒ２（ｘ，ｙ）、標準偏差画像Ｆｓｔｄｄｅｖ２（ｘ，ｙ）に置き換えることにより、平均画像Ｆａｖｒ２（ｘ，ｙ）及び標準偏差画像Ｆｓｔｄｄｅｖ２（ｘ，ｙ）を生成する。生成された平均画像Ｆａｖｒ２（ｘ，ｙ）及び標準偏差画像Ｆｓｔｄｄｅｖ２（ｘ，ｙ）は、正常品を表すモデル情報の一部として、モデル情報記憶部５０に格納される。
【００８２】
図７に戻り、確率的距離画像生成部１４ｂは、時間方向平均画像Ｉａｖｒ（ｘ，ｙ）と、モデル情報記憶部５０に格納される平均画像Ｆａｖｒ２（ｘ，ｙ）及び標準偏差画像Ｆｓｔｄｄｅｖ２（ｘ，ｙ）とに基づき、時間方向平均画像Ｉａｖｒ（ｘ，ｙ）とＳ個の時間方向平均画像ｓＩａｖｒ（ｘ，ｙ）との画素ごとの確率的距離を示す確率的距離画像ＳＦＤ２（ｘ，ｙ）（第２の確率的距離画像）を生成する機能部（第２の確率的距離画像生成部）である。具体的には、次の式（２４）及び式（２５）においてＦ（ｘ，ｙ）、Ｆａｖｒ（ｘ，ｙ）、Ｆｓｔｄｄｅｖ（ｘ，ｙ）、ＳＦＤ（ｘ，ｙ）をそれぞれ時間方向平均画像Ｉａｖｒ（ｘ，ｙ）、平均画像Ｆａｖｒ２（ｘ，ｙ）、標準偏差画像Ｆｓｔｄｄｅｖ２（ｘ，ｙ）、確率的距離画像ＳＦＤ２（ｘ，ｙ）に置き換えることにより、確率的距離画像ＳＦＤ２（ｘ，ｙ）を生成する。ただし、式（２５）中の関数ａｂｓ（Ａ）は、変数Ａの絶対値を出力する関数である。
【００８３】
【数１４】
2018066586.tif 000016
【００８４】
次に、時間方向標準偏差画像生成部２１ａは、時系列画像生成部１０ａによって生成される時系列画像Ｖ（ｘ，ｙ，ｔ）の時間方向の標準偏差を示す時間方向標準偏差画像Ｉｓｔｄｄｅｖ（ｘ，ｙ）（第１の時間方向標準偏差画像）を生成する機能部（第１の時間方向標準偏差画像生成部）である。具体的には、次の式（２６）によって時間方向標準偏差画像Ｉｓｔｄｄｅｖ（ｘ，ｙ）を算出する。
【００８５】
【数１５】
2018066586.tif 000017
【００８６】
図６に戻り、時間方向標準偏差画像生成部２１ｂは、時系列画像生成部１０ｃによって生成されるＳ個の時系列画像ｓＶ（ｘ，ｙ，ｔ）のそれぞれについて、時間方向の標準偏差を示す時間方向標準偏差画像ｓＩｓｔｄｄｅｖ（ｘ，ｙ）（第２の時間方向標準偏差画像）を生成する機能部（第２の時間方向標準偏差画像生成部）である。具体的には、次の式（２７）によってＳ個の時間方向標準偏差画像ｓＩｓｔｄｄｅｖ（ｘ，ｙ）を算出する。
【００８７】
【数１６】
2018066586.tif 000018
【００８８】
確率的ふるまい記述部１３ｃは、時間方向標準偏差画像生成部２１ｂによって生成されるＳ個の時間方向標準偏差画像ｓＩｓｔｄｄｅｖ（ｘ，ｙ）の画素ごとの平均値によって構成される平均画像Ｆａｖｒ３（ｘ，ｙ）（第３の平均画像）、及び、該Ｓ個の時間方向標準偏差画像ｓＩｓｔｄｄｅｖ（ｘ，ｙ）の画素ごとの標準偏差によって構成される標準偏差画像Ｆｓｔｄｄｅｖ３（ｘ，ｙ）（第３の標準偏差画像）を生成する機能部（第３の確率的ふるまい記述部）である。具体的には、上述した式（１８）及び式（１９）においてｓＦ（ｘ，ｙ）、Ｆａｖｒ（ｘ，ｙ）、Ｆｓｔｄｄｅｖ（ｘ，ｙ）をそれぞれ時間方向標準偏差画像ｓＩｓｔｄｄｅｖ（ｘ，ｙ）、平均画像Ｆａｖｒ３（ｘ，ｙ）、標準偏差画像Ｆｓｔｄｄｅｖ３（ｘ，ｙ）に置き換えることにより、平均画像Ｆａｖｒ３（ｘ，ｙ）及び標準偏差画像Ｆｓｔｄｄｅｖ３（ｘ，ｙ）を生成する。生成された平均画像Ｆａｖｒ３（ｘ，ｙ）及び標準偏差画像Ｆｓｔｄｄｅｖ３（ｘ，ｙ）は、正常品を表すモデル情報の一部として、モデル情報記憶部５０に格納される。
【００８９】
図７に戻り、確率的距離画像生成部１４ｃは、時間方向標準偏差画像Ｉｓｔｄｄｅｖ（ｘ，ｙ）と、モデル情報記憶部５０に格納される平均画像Ｆａｖｒ３（ｘ，ｙ）及び標準偏差画像Ｆｓｔｄｄｅｖ３（ｘ，ｙ）とに基づき、時間方向標準偏差画像Ｉｓｔｄｄｅｖ（ｘ，ｙ）とＳ個の時間方向標準偏差画像ｓＩｓｔｄｄｅｖ（ｘ，ｙ）との画素ごとの確率的距離を示す確率的距離画像ＳＦＤ３（ｘ，ｙ）（第３の確率的距離画像）を生成する機能部（第３の確率的距離画像生成部）である。具体的には、上述した式（２４）及び式（２５）においてＦ（ｘ，ｙ）、Ｆａｖｒ（ｘ，ｙ）、Ｆｓｔｄｄｅｖ（ｘ，ｙ）、ＳＦＤ（ｘ，ｙ）をそれぞれ時間方向標準偏差画像Ｉｓｔｄｄｅｖ（ｘ，ｙ）、平均画像Ｆａｖｒ３（ｘ，ｙ）、標準偏差画像Ｆｓｔｄｄｅｖ３（ｘ，ｙ）、確率的距離画像ＳＦＤ３（ｘ，ｙ）に置き換えることにより、確率的距離画像ＳＦＤ３（ｘ，ｙ）を生成する。
【００９０】
画像処理装置５は、以上のようにして算出した３種類の確率的距離画像ＳＦＤ１（ｘ，ｙ）〜ＳＦＤ３（ｘ，ｙ）のいずれか１つまたは組み合わせに基づき、検査対象物Ｔの表面にふくれ／へこみ欠陥が生じているか否かの判定を行う。具体的には、３種類の確率的距離画像ＳＦＤ１（ｘ，ｙ）〜ＳＦＤ３（ｘ，ｙ）のそれぞれにおいて公知のしきい値処理及びブロブ解析の少なくとも一方を行い、その結果に基づいてふくれ／へこみ欠陥の有無を判定する。
【００９１】
図９（ａ）は、正常品の時系列画像ＳＶ（ｘ，ｙ，ｔ）の一例を示す図であり、図９（ｂ）は、へこみ欠陥を有する検査対象物Ｔの時系列画像Ｖ（ｘ，ｙ，ｔ）の一例を示す図である。また、図９（ｃ）は、図９（ａ）の時系列画像ＳＶ（ｘ，ｙ，ｔ）及び図９（ｂ）の時系列画像ＴＶ（ｘ，ｙ，ｔ）に基づいて生成された確率的距離画像ＳＦＤ１（ｘ，ｙ）を示す図であり、図９（ｄ）は、図９（ａ）の時系列画像ＳＶ（ｘ，ｙ，ｔ）及び図９（ｂ）の時系列画像Ｖ（ｘ，ｙ，ｔ）に基づいて生成された確率的距離画像ＳＦＤ２（ｘ，ｙ）を示す図であり、図９（ｃ）は、図９（ａ）の時系列画像ＳＶ（ｘ，ｙ，ｔ）及び図９（ｂ）の時系列画像Ｖ（ｘ，ｙ，ｔ）に基づいて生成された確率的距離画像ＳＦＤ３（ｘ，ｙ）を示す図である。なお、図９の各確率的距離画像は、時系列画像生成部１０ｃによる正常品の撮影の繰り返し回数を１（すなわち、Ｓ＝１）として生成したものである。
【００９２】
図９の例では、２つの画像Ｖ（ｘ，ｙ，２），Ｖ（ｘ，ｙ，３）に現れているへこみ欠陥が確率的距離画像ＳＦＤ１（ｘ，ｙ）に白い領域として反映されている。画像処理装置５は、公知のしきい値処理又はブロブ解析によってこの白い領域を検出し、その結果に基づいて、検査対象物Ｔの表面に存在するへこみ欠陥を検出する。この例では、確率的距離画像ＳＦＤ２（ｘ，ｙ），ＳＦＤ３（ｘ，ｙ）には欠陥が現れていないが、画像処理装置５は、３種類の確率的距離画像ＳＦＤ１（ｘ，ｙ）〜ＳＦＤ３（ｘ，ｙ）を利用しているので、そのうちの１つである確率的距離画像ＳＦＤ１（ｘ，ｙ）に欠陥が現れたことで、正常にへこみ欠陥を検出することができている。確率的距離画像ＳＦＤ１（ｘ，ｙ）〜ＳＦＤ３（ｘ，ｙ）のいずれに欠陥が現れるかは欠陥の内容によるので、こうして３種類の確率的距離画像ＳＦＤ１（ｘ，ｙ）〜ＳＦＤ３（ｘ，ｙ）を利用することにより、検出の確率を向上することが可能になる。また、時間方向平均画像に基づいて生成される確率的距離画像ＳＦＤ２（ｘ，ｙ）を利用することで、ふくれ／へこみ欠陥だけではなく汚れや異物の付着といった一般的な欠陥も、併せて検出することが可能になる。
【００９３】
次に、クラック欠陥の検出について説明する。
【００９４】
図１０は、画像処理装置５の機能ブロックのうち、クラック欠陥を検出するためのモデル情報の生成に関する部分を示す図である。また、図１１は、画像処理装置５の機能ブロックのうち、クラック欠陥を検出するための検査対象物Ｔの画像処理（モデル情報との比較処理を含む）に関する部分を示す図である。
【００９５】
クラック欠陥の検出に関して、画像処理装置５は、図１０及び図１１に示すように、時系列画像生成部１０ａ，１０ｃ、平均時系列画像生成部１０ｂ、時系列微分画像生成部３１ａ，３１ｃ、平均時系列微分画像生成部３１ｂ、時系列勾配ベクトル画像生成部３２ａ，３２ｃ、平均時系列勾配ベクトル画像生成部３２ｂ、時系列正規化勾配ベクトル画像生成部３３ａ，３３ｃ、平均時系列正規化勾配ベクトル画像生成部３３ｂ、勾配相関距離画像生成部３４ａ，３４ｂ、確率的ふるまい記述部３５ａ〜３５ｃ、確率的距離画像生成部３６ａ〜３６ｃ、時間方向平均勾配ベクトル画像生成部４０ａ，４０ｂ、時間方向勾配ノルム画像生成部４１ａ，４１ｂ、及びモデル情報記憶部５０を有して構成される。以下、ふくれ／へこみ欠陥の検出と同様の点については適宜省略しながら、説明を進める。
【００９６】
初めに図１１を参照すると、時系列微分画像生成部３１ａは、時系列画像生成部１０ａによって生成される時系列画像Ｖ（ｘ，ｙ，ｔ）（第４の時系列画像）をｘ方向（第１の方向）及びｘ方向と交差（直交）するｙ方向（第２の方向）のそれぞれで微分することにより、２種類の時系列微分画像Ｇｘ（ｘ，ｙ，ｔ），Ｇｙ（ｘ，ｙ，ｔ）（第１及び第２の時系列微分画像）を生成する機能部（第１の時系列微分画像生成部）である。具体的には、例えば微分方向に隣接する２つの画素間の差分を算出することにより、時系列微分画像Ｇｘ（ｘ，ｙ，ｔ），Ｇｙ（ｘ，ｙ，ｔ）を生成することとすればよい。
【００９７】
時系列勾配ベクトル画像生成部３２ａは、時系列微分画像Ｇｘ（ｘ，ｙ，ｔ）を構成する複数の微分画像のそれぞれから該時系列微分画像Ｇｘ（ｘ，ｙ，ｔ）の時間方向の平均値Ｇｘａｖｒ（ｘ，ｙ）を減算し、さらに、時系列微分画像Ｇｙ（ｘ，ｙ，ｔ）を構成する複数の微分画像のそれぞれから該時系列微分画像Ｇｙ（ｘ，ｙ，ｔ）の時間方向の平均値Ｇｙａｖｒ（ｘ，ｙ）を減算することによって、時系列勾配ベクトル画像Ｇ（ｘ，ｙ，ｕ）（第１の時系列勾配ベクトル画像＝第１の時系列画像）を生成する機能部（第１の時系列勾配ベクトル画像生成部）である。ここで、ｕは０〜２Ｔ−１の整数である。時系列勾配ベクトル画像Ｇ（ｘ，ｙ，ｕ）は、具体的には次の式（２８）によって表される。また、平均値Ｇｘａｖｒ（ｘ，ｙ），Ｇｙａｖｒ（ｘ，ｙ）はそれぞれ、式（２９）及び式（３０）のように表される。
【００９８】
【数１７】
2018066586.tif 000019
【００９９】
図１０に移り、時系列微分画像生成部３１ｃは、時系列画像生成部１０ｃによって生成されるＳ個の時系列画像ｓＶ（ｘ，ｙ，ｔ）のそれぞれをｘ方向及びｙ方向のそれぞれで微分することにより、それぞれ２種類の時系列微分画像ｓＧｘ（ｘ，ｙ，ｔ），ｓＧｙ（ｘ，ｙ，ｔ）を生成する機能部である。具体的には、例えば微分方向に隣接する２つの画素間の差分を算出することにより、時系列微分画像ｓＧｘ（ｘ，ｙ，ｔ），ｓＧｙ（ｘ，ｙ，ｔ）を生成することとすればよい。
【０１００】
時系列勾配ベクトル画像生成部３２ｃは、時系列微分画像ｓＧｘ（ｘ，ｙ，ｔ）を構成する複数の微分画像のそれぞれから該時系列微分画像ｓＧｘ（ｘ，ｙ，ｔ）の時間方向の平均値ｓＧｘａｖｒ（ｘ，ｙ）を減算し、さらに、時系列微分画像ｓＧｙ（ｘ，ｙ，ｔ）を構成する複数の微分画像のそれぞれから該時系列微分画像ｓＧｙ（ｘ，ｙ，ｔ）の時間方向の平均値ｓＧｙａｖｒ（ｘ，ｙ）を減算することによって、時系列勾配ベクトル画像ｓＧ（ｘ，ｙ，ｕ）を生成する機能部である。時系列勾配ベクトル画像ｓＧ（ｘ，ｙ，ｕ）は、具体的には次の式（３１）によって表される。また、平均値ｓＧｘａｖｒ（ｘ，ｙ），ｓＧｙａｖｒ（ｘ，ｙ）はそれぞれ、式（３２）及び式（３３）のように表される。
【０１０１】
【数１８】
2018066586.tif 000020
【０１０２】
平均時系列微分画像生成部３１ｂは、平均時系列画像生成部１０ｂによって生成される平均時系列画像ａＶ（ｘ，ｙ，ｔ）（第５の時系列画像）をｘ方向及びｙ方向のそれぞれで微分することにより、２種類の時系列微分画像ａＧｘ（ｘ，ｙ，ｔ），ａＧｙ（ｘ，ｙ，ｔ）（第３及び第４の時系列微分画像）を生成する機能部（第２の時系列微分画像生成部）である。具体的には、例えば微分方向に隣接する２つの画素間の差分を算出することにより、時系列微分画像ａＧｘ（ｘ，ｙ，ｔ），ａＧｙ（ｘ，ｙ，ｔ）を生成することとすればよい。
【０１０３】
平均時系列勾配ベクトル画像生成部３２ｂは、時系列微分画像ａＧｘ（ｘ，ｙ，ｔ）を構成する複数の微分画像のそれぞれから該時系列微分画像ａＧｘ（ｘ，ｙ，ｔ）の時間方向の平均値ａＧｘａｖｒ（ｘ，ｙ）を減算し、さらに、時系列微分画像ａＧｙ（ｘ，ｙ，ｔ）を構成する複数の微分画像のそれぞれから該時系列微分画像ａＧｙ（ｘ，ｙ，ｔ）の時間方向の平均値ａＧｙａｖｒ（ｘ，ｙ）を減算することによって、平均時系列勾配ベクトル画像ａＧ（ｘ，ｙ，ｕ）（第２の時系列勾配ベクトル画像＝第２の時系列画像）を生成する機能部（第２の時系列勾配ベクトル画像生成部）である。平均時系列勾配ベクトル画像ａＧ（ｘ，ｙ，ｕ）は、具体的には次の式（３４）によって表される。また、平均値ａＧｘａｖｒ（ｘ，ｙ），ａＧｙａｖｒ（ｘ，ｙ）はそれぞれ、式（３５）及び式（３６）のように表される。
【０１０４】
【数１９】
2018066586.tif 000021
【０１０５】
図１１に戻り、時系列正規化勾配ベクトル画像生成部３３ａは、時系列勾配ベクトル画像Ｇ（ｘ，ｙ，ｕ）に正規化抑制定数Ｔｈ及びその反数−Ｔｈを連結してなる拡張時系列画像ＧＥ（ｘ，ｙ，ｕ）（ｕ＝０〜２Ｔ＋１。第１の拡張時系列画像）に基づき、時系列勾配ベクトル画像Ｇ（ｘ，ｙ，ｕ）を正規化してなる時系列正規化勾配ベクトル画像Ｊ（ｘ，ｙ，ｕ）（第１の時系列正規化画像）を生成する機能部（第１の時系列正規化画像生成部）である。
【０１０６】
拡張時系列画像ＧＥ（ｘ，ｙ，ｕ）は、具体的には、各画素の濃度が正規化抑制定数Ｔｈである連結画像ＧＥ（ｘ，ｙ，２Ｔ）（第７の連結画像）と、各画素の濃度が正規化抑制定数の反数−Ｔｈである連結画像ＧＥ（ｘ，ｙ，２Ｔ＋１）（第８の連結画像）とを時系列勾配ベクトル画像Ｇ（ｘ，ｙ，ｕ）に連結してなる画像である。連結画像ＧＥ（ｘ，ｙ，２Ｔ），ＧＥ（ｘ，ｙ，２Ｔ＋１）を数式で書くと、式（３７）のようになる。
【０１０７】
【数２０】
2018066586.tif 000022
【０１０８】
時系列正規化勾配ベクトル画像生成部３３ａは、拡張時系列画像ＧＥ（ｘ，ｙ，ｕ）の時間方向のベクトルとしての長さに基づいて、時系列正規化勾配ベクトル画像Ｊ（ｘ，ｙ，ｕ）を生成する。具体的には、次の式（３８）により時系列正規化勾配ベクトル画像Ｊ（ｘ，ｙ，ｕ）を生成する。式（３８）において、右辺の分母が拡張時系列画像ＧＥ（ｘ，ｙ，ｕ）の時間方向のベクトルとしての長さに相当する。
【０１０９】
【数２１】
2018066586.tif 000023
【０１１０】
式（３８）は、次の式（３９）のように書き直すことができる。ただし、式（３９）中のＮｇ（ｘ，ｙ）は正規化用の除数であり、式（４０）によって表される。式（３９）を用いて時系列正規化勾配ベクトル画像Ｊ（ｘ，ｙ，ｕ）を生成する場合、中間生成物としての拡張時系列画像ＧＥ（ｘ，ｙ，ｕ）の生成が不要になるので、時系列正規化勾配ベクトル画像生成部３３ａは、実際には式（３９）を用いて時系列正規化勾配ベクトル画像Ｊ（ｘ，ｙ，ｕ）の生成を行う。
【０１１１】
【数２２】
2018066586.tif 000024
【０１１２】
時系列正規化勾配ベクトル画像生成部３３ａが以上のような正規化を行うことにより、時系列正規化勾配ベクトル画像Ｊ（ｘ，ｙ，ｕ）において、カメラノイズに起因する虚報の発生を防止することが可能になる。特に時系列正規化勾配ベクトル画像では、正規化に先立ち微分処理を行なっていることから、以下で説明する図１２に示す画像中の文字と背景の境界部分のように明暗が大きく変化する部分以外の部分（明暗平坦部）は、カメラノイズだけが残った状態となる。したがって、カメラノイズによる虚報が検査に及ぼす影響が一層大きくなるので、上記のような正規化を行うことによる虚報の抑制が一段と重要になる。
【０１１３】
図１２（ａ）は、クラック欠陥を有する検査対象物Ｔの時系列画像Ｖ（ｘ，ｙ，ｔ）の一例を示す図であり、図１２（ｂ）は、図１２（ａ）の時系列画像Ｖ（ｘ，ｙ，ｔ）に基づいて生成された時系列正規化勾配ベクトル画像Ｊ（ｘ，ｙ，ｕ）を示す図である。これらの図に示すように、時系列正規化勾配ベクトル画像Ｊ（ｘ，ｙ，ｕ）においては、斜方照明を用いることによって時系列画像Ｖ（ｘ，ｙ，ｔ）内で強調されているクラック欠陥が、さらに強調される。一方で、時系列正規化勾配ベクトル画像Ｊ（ｘ，ｙ，ｕ）においては、時系列画像Ｖ（ｘ，ｙ，ｔ）に比べ、検査対象物Ｔや照明装置３の個体差による濃淡変動が抑制される。
【０１１４】
図１０に戻り、時系列正規化勾配ベクトル画像生成部３３ｃは、Ｓ個の時系列勾配ベクトル画像ｓＧ（ｘ，ｙ，ｕ）のそれぞれについて、該時系列勾配ベクトル画像ｓＧ（ｘ，ｙ，ｕ）に正規化抑制定数Ｔｈ及びその反数−Ｔｈを連結してなる拡張時系列画像ｓＧＥ（ｘ，ｙ，ｕ）（ｕ＝０〜２Ｔ＋１）に基づき、時系列勾配ベクトル画像ｓＧ（ｘ，ｙ，ｕ）を正規化してなる時系列正規化勾配ベクトル画像ｓＪ（ｘ，ｙ，ｕ）を生成する機能部である。拡張時系列画像ｓＧＥ（ｘ，ｙ，ｕ）は、各画素の濃度が正規化抑制定数Ｔｈである連結画像ｓＧＥ（ｘ，ｙ，２Ｔ）と、各画素の濃度が正規化抑制定数の反数−Ｔｈである連結画像ｓＧＥ（ｘ，ｙ，２Ｔ＋１）とを時系列勾配ベクトル画像ｓＧ（ｘ，ｙ，ｕ）に連結してなる画像であり、時系列正規化勾配ベクトル画像生成部３３ｃは、Ｓ個の時系列勾配ベクトル画像ｓＧ（ｘ，ｙ，ｕ）のそれぞれについて、拡張時系列画像ｓＧＥ（ｘ，ｙ，ｕ）の時間方向のベクトルとしての長さに基づいて、時系列正規化勾配ベクトル画像ｓＪ（ｘ，ｙ，ｕ）を生成する。
【０１１５】
時系列正規化勾配ベクトル画像生成部３３ｃによる正規化の方法は時系列正規化勾配ベクトル画像生成部３３ａによるものと基本的に同一であるので、詳しい説明は省略する。式（３９）に相当する時系列正規化画像の生成方法は、時系列正規化勾配ベクトル画像生成部３３ｃにおいては、次の式（４１）によって表される。ただし、式（４１）中のｓＮｇ（ｘ，ｙ）は正規化用の除数であり、式（４２）によって表される。このような正規化の方法を採用することにより、Ｓ個の時系列正規化勾配ベクトル画像ｓＪ（ｘ，ｙ，ｕ）においても、カメラノイズに起因する虚報の発生を防止することが可能になる。
【０１１６】
【数２３】
2018066586.tif 000025
【０１１７】
平均時系列正規化勾配ベクトル画像生成部３３ｂは、平均時系列勾配ベクトル画像ａＧ（ｘ，ｙ，ｕ）に正規化抑制定数Ｔｈ及びその反数−Ｔｈを連結してなる拡張時系列画像ａＧＥ（ｘ，ｙ，ｕ）（ｕ＝０〜２Ｔ＋１。第２の拡張時系列画像）に基づき、平均時系列勾配ベクトル画像ａＧ（ｘ，ｙ，ｕ）を正規化してなる平均時系列正規化勾配ベクトル画像ａＪ（ｘ，ｙ，ｕ）（第２の時系列正規化画像）を生成する機能部（第２の時系列正規化画像生成部）である。平均拡張時系列画像ａＧＥ（ｘ，ｙ，ｕ）は、各画素の濃度が正規化抑制定数Ｔｈである連結画像ａＧＥ（ｘ，ｙ，２Ｔ）（第９の連結画像）と、各画素の濃度が正規化抑制定数の反数−Ｔｈである連結画像ａＧＥ（ｘ，ｙ，２Ｔ＋１）（第１０の連結画像）とを平均時系列勾配ベクトル画像ａＧ（ｘ，ｙ，ｕ）に連結してなる画像であり、平均時系列正規化勾配ベクトル画像生成部３３ｂは、拡張時系列画像ａＧＥ（ｘ，ｙ，ｕ）の時間方向のベクトルとしての長さに基づいて、平均時系列正規化勾配ベクトル画像ａＪ（ｘ，ｙ，ｕ）を生成する。
【０１１８】
平均時系列正規化勾配ベクトル画像生成部３３ｂによる正規化の方法も時系列正規化勾配ベクトル画像生成部３３ａによるものと基本的に同一であるので、詳しい説明は省略する。式（３９）に相当する時系列正規化画像の生成方法は、平均時系列正規化勾配ベクトル画像生成部３３ｂにおいては、次の式（４３）によって表される。ただし、式（４３）中のａＮｇ（ｘ，ｙ）は正規化用の除数であり、式（４４）によって表される。このような正規化の方法を採用することにより、平均時系列正規化勾配ベクトル画像ａＪ（ｘ，ｙ，ｕ）においても、カメラノイズに起因する虚報の発生を防止することが可能になる。
【０１１９】
【数２４】
2018066586.tif 000026
【０１２０】
図１１に戻り、勾配相関距離画像生成部３４ａは、相関距離画像生成部１２ａと同様の処理により、時系列正規化勾配ベクトル画像Ｊ（ｘ，ｙ，ｕ）と平均時系列正規化勾配ベクトル画像ａＪ（ｘ，ｙ，ｕ）との間の画素ごとの相関距離を示す勾配相関距離画像Ｊｃｄ（ｘ，ｙ）を生成する。具体的には、次の式（４５）により勾配相関距離画像Ｊｃｄ（ｘ，ｙ）を生成する。
【０１２１】
【数２５】
2018066586.tif 000027
【０１２２】
図１０に戻り、勾配相関距離画像生成部３４ｂは、Ｓ個の時系列正規化勾配ベクトル画像ｓＪ（ｘ，ｙ，ｕ）のそれぞれについて、平均時系列正規化勾配ベクトル画像ａＪ（ｘ，ｙ，ｕ）との間の画素ごとの相関距離を示す勾配相関距離画像ｓＪｃｄ（ｘ，ｙ）を生成する機能部である。具体的には、次の式（４６）により勾配相関距離画像ｓＪｃｄ（ｘ，ｙ）を生成する。
【０１２３】
【数２６】
2018066586.tif 000028
【０１２４】
確率的ふるまい記述部３５ａは、勾配相関距離画像生成部３４ｂによって生成されるＳ個の勾配相関距離画像ｓＪｃｄ（ｘ，ｙ）の画素ごとの平均値によって構成される平均画像Ｆａｖｒ４（ｘ，ｙ）、及び、該Ｓ個の勾配相関距離画像ｓＪｃｄ（ｘ，ｙ）の画素ごとの標準偏差によって構成される標準偏差画像Ｆｓｔｄｄｅｖ４（ｘ，ｙ）を生成する。具体的には、上述した式（１８）及び式（１９）においてｓＦ（ｘ，ｙ）、Ｆａｖｒ（ｘ，ｙ）、Ｆｓｔｄｄｅｖ（ｘ，ｙ）をそれぞれ勾配相関距離画像ｓＪｃｄ（ｘ，ｙ）、平均画像Ｆａｖｒ４（ｘ，ｙ）、標準偏差画像Ｆｓｔｄｄｅｖ４（ｘ，ｙ）に置き換えることにより、平均画像Ｆａｖｒ４（ｘ，ｙ）及び標準偏差画像Ｆｓｔｄｄｅｖ４（ｘ，ｙ）を生成する。生成された平均画像Ｆａｖｒ４（ｘ，ｙ）及び標準偏差画像Ｆｓｔｄｄｅｖ４（ｘ，ｙ）は、正常品を表すモデル情報の一部として、モデル情報記憶部５０に格納される。
【０１２５】
図１１に戻り、確率的距離画像生成部３６ａは、勾配相関距離画像Ｊｃｄ（ｘ，ｙ）と、モデル情報記憶部５０に格納される平均画像Ｆａｖｒ４（ｘ，ｙ）及び標準偏差画像Ｆｓｔｄｄｅｖ４（ｘ，ｙ）とに基づき、勾配相関距離画像Ｊｃｄ（ｘ，ｙ）とＳ個の勾配相関距離画像ｓＪｃｄ（ｘ，ｙ）との画素ごとの確率的距離を示す確率的距離画像ＳＦＤ４（ｘ，ｙ）を生成する。具体的には、上述した式（２０）及び式（２１）においてＦ（ｘ，ｙ）、Ｆａｖｒ（ｘ，ｙ）、Ｆｓｔｄｄｅｖ（ｘ，ｙ）、ＳＦＤ（ｘ，ｙ）をそれぞれ勾配相関距離画像Ｊｃｄ（ｘ，ｙ）、平均画像Ｆａｖｒ４（ｘ，ｙ）、標準偏差画像Ｆｓｔｄｄｅｖ４（ｘ，ｙ）、確率的距離画像ＳＦＤ４（ｘ，ｙ）に置き換えることにより、確率的距離画像ＳＦＤ４（ｘ，ｙ）を生成する。
【０１２６】
次に、時間方向平均勾配ベクトル画像生成部４０ａは、時系列勾配ベクトル画像生成部３２ａによって生成される時系列勾配ベクトル画像Ｇ（ｘ，ｙ，ｕ）の時間方向の平均を示す時間方向平均勾配ベクトル画像Ｊａｖｒ（ｘ，ｙ）を生成する。具体的には、次の式（４７）によって時間方向平均勾配ベクトル画像Ｊａｖｒ（ｘ，ｙ）を算出する。
【０１２７】
【数２７】
2018066586.tif 000029
【０１２８】
図１０に戻り、時間方向平均勾配ベクトル画像生成部４０ｂは、時系列勾配ベクトル画像生成部３２ｃによって生成されるＳ個の時系列勾配ベクトル画像ｓＧ（ｘ，ｙ，ｔ）のそれぞれについて、時間方向の平均を示す時間方向平均勾配ベクトル画像ｓＪａｖｒ（ｘ，ｙ）を生成する。具体的には、次の式（４８）によってＳ個の時間方向平均勾配ベクトル画像ｓＪａｖｒ（ｘ，ｙ）を算出する。
【０１２９】
【数２８】
2018066586.tif 000030
【０１３０】
確率的ふるまい記述部３５ｂは、時間方向平均勾配ベクトル画像生成部４０ｂによって生成されるＳ個の時間方向平均勾配ベクトル画像ｓＪａｖｒ（ｘ，ｙ）の画素ごとの平均値によって構成される平均画像Ｆａｖｒ５（ｘ，ｙ）、及び、該Ｓ個の時間方向平均勾配ベクトル画像ｓＪａｖｒ（ｘ，ｙ）の画素ごとの標準偏差によって構成される標準偏差画像Ｆｓｔｄｄｅｖ５（ｘ，ｙ）を生成する。具体的には、上述した式（１８）及び式（１９）においてｓＦ（ｘ，ｙ）、Ｆａｖｒ（ｘ，ｙ）、Ｆｓｔｄｄｅｖ（ｘ，ｙ）をそれぞれ時間方向平均勾配ベクトル画像ｓＪａｖｒ（ｘ，ｙ）、平均画像Ｆａｖｒ５（ｘ，ｙ）、標準偏差画像Ｆｓｔｄｄｅｖ５（ｘ，ｙ）に置き換えることにより、平均画像Ｆａｖｒ５（ｘ，ｙ）及び標準偏差画像Ｆｓｔｄｄｅｖ５（ｘ，ｙ）を生成する。生成された平均画像Ｆａｖｒ５（ｘ，ｙ）及び標準偏差画像Ｆｓｔｄｄｅｖ５（ｘ，ｙ）は、正常品を表すモデル情報の一部として、モデル情報記憶部５０に格納される。
【０１３１】
図１１に戻り、確率的距離画像生成部３６ｂは、時間方向平均勾配ベクトル画像Ｊａｖｒ（ｘ，ｙ）と、モデル情報記憶部５０に格納される平均画像Ｆａｖｒ５（ｘ，ｙ）及び標準偏差画像Ｆｓｔｄｄｅｖ５（ｘ，ｙ）とに基づき、時間方向平均勾配ベクトル画像Ｊａｖｒ（ｘ，ｙ）とＳ個の時間方向平均勾配ベクトル画像ｓＪａｖｒ（ｘ，ｙ）との画素ごとの確率的距離を示す確率的距離画像ＳＦＤ５（ｘ，ｙ）を生成する。具体的には、上述した式（２４）及び式（２５）においてＦ（ｘ，ｙ）、Ｆａｖｒ（ｘ，ｙ）、Ｆｓｔｄｄｅｖ（ｘ，ｙ）、ＳＦＤ（ｘ，ｙ）をそれぞれ時間方向平均勾配ベクトル画像Ｊａｖｒ（ｘ，ｙ）、平均画像Ｆａｖｒ５（ｘ，ｙ）、標準偏差画像Ｆｓｔｄｄｅｖ５（ｘ，ｙ）、確率的距離画像ＳＦＤ５（ｘ，ｙ）に置き換えることにより、確率的距離画像ＳＦＤ５（ｘ，ｙ）を生成する。
【０１３２】
次に、時間方向勾配ノルム画像生成部４１ａは、時系列勾配ベクトル画像生成部３２ａによって生成される時系列勾配ベクトル画像Ｇ（ｘ，ｙ，ｕ）の長さ（ノルム）を示す時間方向平均勾配ノルム画像Ｊｓｔｄｄｅｖ（ｘ，ｙ）を生成する。具体的には、次の式（４９）によって時間方向平均勾配ノルム画像Ｊｓｔｄｄｅｖ（ｘ，ｙ）を算出する。
【０１３３】
【数２９】
2018066586.tif 000031
【０１３４】
図１０に戻り、時間方向勾配ノルム画像生成部４１ｂは、時系列勾配ベクトル画像生成部３２ｃによって生成されるＳ個の時系列勾配ベクトル画像ｓＧ（ｘ，ｙ，ｔ）のそれぞれについて、その長さを示す時間方向平均勾配ノルム画像ｓＪｓｔｄｄｅｖ（ｘ，ｙ）を生成する。具体的には、次の式（５０）によってＳ個の時間方向平均勾配ノルム画像ｓＪｓｔｄｄｅｖ（ｘ，ｙ）を算出する。
【０１３５】
【数３０】
2018066586.tif 000032
【０１３６】
確率的ふるまい記述部３５ｃは、時間方向勾配ノルム画像生成部４１ｂによって生成されるＳ個の時間方向平均勾配ノルム画像ｓＪｓｔｄｄｅｖ（ｘ，ｙ）の画素ごとの平均値によって構成される平均画像Ｆａｖｒ６（ｘ，ｙ）、及び、該Ｓ個の時間方向平均勾配ノルム画像ｓＪｓｔｄｄｅｖ（ｘ，ｙ）の画素ごとの標準偏差によって構成される標準偏差画像Ｆｓｔｄｄｅｖ６（ｘ，ｙ）を生成する。具体的には、上述した式（１８）及び式（１９）においてｓＦ（ｘ，ｙ）、Ｆａｖｒ（ｘ，ｙ）、Ｆｓｔｄｄｅｖ（ｘ，ｙ）をそれぞれ時間方向平均勾配ノルム画像ｓＪｓｔｄｄｅｖ（ｘ，ｙ）、平均画像Ｆａｖｒ６（ｘ，ｙ）、標準偏差画像Ｆｓｔｄｄｅｖ６（ｘ，ｙ）に置き換えることにより、平均画像Ｆａｖｒ６（ｘ，ｙ）及び標準偏差画像Ｆｓｔｄｄｅｖ６（ｘ，ｙ）を生成する。生成された平均画像Ｆａｖｒ６（ｘ，ｙ）及び標準偏差画像Ｆｓｔｄｄｅｖ６（ｘ，ｙ）は、正常品を表すモデル情報の一部として、モデル情報記憶部５０に格納される。
【０１３７】
図１１に戻り、確率的距離画像生成部３６ｃは、時間方向平均勾配ノルム画像Ｊｓｔｄｄｅｖ（ｘ，ｙ）と、モデル情報記憶部５０に格納される平均画像Ｆａｖｒ６（ｘ，ｙ）及び標準偏差画像Ｆｓｔｄｄｅｖ６（ｘ，ｙ）とに基づき、時間方向平均勾配ノルム画像Ｊｓｔｄｄｅｖ（ｘ，ｙ）とＳ個の時間方向平均勾配ノルム画像ｓＪｓｔｄｄｅｖ（ｘ，ｙ）との画素ごとの確率的距離を示す確率的距離画像ＳＦＤ６（ｘ，ｙ）を生成する。具体的には、上述した式（２４）及び式（２５）においてＦ（ｘ，ｙ）、Ｆａｖｒ（ｘ，ｙ）、Ｆｓｔｄｄｅｖ（ｘ，ｙ）、ＳＦＤ（ｘ，ｙ）をそれぞれ時間方向平均勾配ノルム画像Ｊｓｔｄｄｅｖ（ｘ，ｙ）、平均画像Ｆａｖｒ６（ｘ，ｙ）、標準偏差画像Ｆｓｔｄｄｅｖ６（ｘ，ｙ）、確率的距離画像ＳＦＤ６（ｘ，ｙ）に置き換えることにより、確率的距離画像ＳＦＤ６（ｘ，ｙ）を生成する。
【０１３８】
画像処理装置５は、以上のようにして算出した３種類の確率的距離画像ＳＦＤ４（ｘ，ｙ）〜ＳＦＤ６（ｘ，ｙ）に基づき、検査対象物Ｔの表面にクラック欠陥が生じているか否かの判定を行う。具体的には、３種類の確率的距離画像ＳＦＤ４（ｘ，ｙ）〜ＳＦＤ６（ｘ，ｙ）のそれぞれにおいて公知のしきい値処理及びブロブ解析の少なくとも一方を行い、その結果に基づいてクラック欠陥の有無を判定する。
【０１３９】
図１３（ａ）は、正常品の時系列画像ＳＶ（ｘ，ｙ，ｔ）の一例を示す図であり、図１３（ｂ）は、クラック欠陥を有する検査対象物Ｔの時系列画像Ｖ（ｘ，ｙ，ｔ）の一例を示す図であり、図１３（ｃ）は、図１３（ａ）の時系列画像ＳＶ（ｘ，ｙ，ｔ）及び図１３（ｂ）の時系列画像Ｖ（ｘ，ｙ，ｔ）に基づいて生成された確率的距離画像ＳＦＤ４（ｘ，ｙ）を示す図であり、図１３（ｄ）は、図１３（ａ）の時系列画像ＳＶ（ｘ，ｙ，ｔ）及び図１３（ｂ）の時系列画像Ｖ（ｘ，ｙ，ｔ）に基づいて生成された確率的距離画像ＳＦＤ５（ｘ，ｙ）を示す図であり、図１３（ｃ）は、図１３（ａ）の時系列画像ＳＶ（ｘ，ｙ，ｔ）及び図１３（ｂ）の時系列画像Ｖ（ｘ，ｙ，ｔ）に基づいて生成された確率的距離画像ＳＦＤ６（ｘ，ｙ）を示す図である。なお、図９の各確率的距離画像は、時系列画像生成部１０ｃによる正常品の撮影の繰り返し回数を１（すなわち、Ｓ＝１）として生成したものである。
【０１４０】
図１３の例では、２つの画像Ｖ（ｘ，ｙ，２），Ｖ（ｘ，ｙ，３）に現れているクラック欠陥が３つの確率的距離画像ＳＦＤ４（ｘ，ｙ）〜ＳＦＤ６（ｘ，ｙ）のいずれにおいても、白い線として反映されている。画像処理装置５は、公知のしきい値処理又はブロブ解析によってこの白い線を検出し、その結果に基づいて、検査対象物Ｔの表面に存在するクラック欠陥を検出する。この例では、３つの確率的距離画像ＳＦＤ４（ｘ，ｙ）〜ＳＦＤ６（ｘ，ｙ）のすべてに欠陥が現れているが、仮にいずれか２つに欠陥が現れなかったとしても、画像処理装置５は、３種類の確率的距離画像ＳＦＤ４（ｘ，ｙ）〜ＳＦＤ６（ｘ，ｙ）を利用しているので、そのうちの１つに欠陥が現れることで、正常にクラック欠陥を検出することができる。確率的距離画像ＳＦＤ４（ｘ，ｙ）〜ＳＦＤ６（ｘ，ｙ）のいずれに欠陥が現れるかは欠陥の内容によるので、こうして３種類の確率的距離画像ＳＦＤ４（ｘ，ｙ）〜ＳＦＤ６（ｘ，ｙ）を利用することにより、検出の確率を向上することが可能になる。
【０１４１】
以上説明したように、本実施の形態による外観検査装置１によれば、時系列画像Ｖ（ｘ，ｙ，ｔ），ｓＶ（ｘ，ｙ，ｔ），ａＶ（ｘ，ｙ，ｔ），Ｇ（ｘ，ｙ，ｕ），ｓＧ（ｘ，ｙ，ｕ），ａＧ（ｘ，ｙ，ｕ）のそれぞれに強制的に濃淡変動を生じさせたのと同じ効果が得られるので、これらに基づいて生成される正規化画像Ｉ（ｘ，ｙ，ｔ），ｓＩ（ｘ，ｙ，ｔ），ａＩ（ｘ，ｙ，ｔ），Ｊ（ｘ，ｙ，ｕ），ｓＪ（ｘ，ｙ，ｕ），ａＪ（ｘ，ｙ，ｕ）において、カメラノイズが大きく強調されることがなくなる。したがって、検査対象の反射強度によらず、へこみ／ふくれ欠陥やクラック欠陥の存在を正しく判定することが可能になる。
【０１４２】
以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。
【符号の説明】
【０１４３】
１                              外観検査装置
２                              搬送装置
３                              照明装置
３ａ〜３ｅ                      部分照明
４                              カメラ
５                              画像処理装置
６                              照明制御装置
７                              出力装置
８                              入力装置
９                              ハーフミラー
１０ａ，１０ｃ                  時系列画像生成部
１０ｂ                          平均時系列画像生成部
１１ａ，１１ｃ                  時系列正規化画像生成部
１１ｂ                          平均時系列正規化画像生成部
１２ａ，１２ｂ                  相関距離画像生成部
１３ａ〜１３ｃ，３５ａ〜３５ｃ  確率的ふるまい記述部
１４ａ〜１４ｃ，３６ａ〜３６ｃ  確率的距離画像生成部
２０ａ，２０ｂ                  時間方向平均画像生成部
２１ａ，２１ｂ                  時間方向標準偏差画像生成部
３１ａ，３１ｃ                  時系列微分画像生成部
３１ｂ                          平均時系列微分画像生成部
３２ａ，３２ｃ                  時系列勾配ベクトル画像生成部
３２ｂ                          平均時系列勾配ベクトル画像生成部
３３ａ，３３ｃ                  時系列正規化勾配ベクトル画像生成部
３３ｂ                          平均時系列正規化勾配ベクトル画像生成部
３４ａ，３４ｂ                  勾配相関距離画像生成部
４０ａ，４０ｂ                  時間方向平均勾配ベクトル画像生成部
４１ａ，４１ｂ                  時間方向勾配ノルム画像生成部
５０                            モデル情報記憶部
【図１】
2018066586.tif 000033
【図２】
2018066586.tif 000034
【図３】
2018066586.tif 000035
【図４】
2018066586.tif 000036
【図５】
2018066586.tif 000037
【図６】
2018066586.tif 000038
【図７】
2018066586.tif 000039
【図８】
2018066586.tif 000040
【図９】
2018066586.tif 000041
【図１０】
2018066586.tif 000042
【図１１】
2018066586.tif 000043
【図１２】
2018066586.tif 000044
【図１３】
2018066586.tif 000045
【手続補正書】
【提出日】平成28年10月19日(2016.10.19)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
【非特許文献１】佐藤  洋一、「照明変化に伴う輝度変化の類似度に基づく物体形状復元」、online］、［平成28年9月15日検索］、インターネット〈URL：http://www.osakac.ac.jp/viri/symposium07/sato.pdf〉
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本発明の一側面による外観検査装置は、複数の互いに異なる光学条件の下で検査対象物を撮影することによって得られる第１の時系列画像を生成する第１の時系列画像生成部と、前記第１の時系列画像に正規化抑制定数及びその反数を連結してなる第１の拡張時系列画像に基づき、前記第１の時系列画像を正規化してなる第１の時系列正規化画像を生成する第１の時系列正規化画像生成部と、前記複数の互いに異なる光学条件の下で正常品を撮影することによって得られる第２の時系列画像を生成する第２の時系列画像生成部と、前記第２の時系列画像に正規化抑制定数及びその反数を連結してなる第２の拡張時系列画像に基づき、前記第２の時系列画像を正規化してなる第２の時系列正規化画像を生成する第２の時系列正規化画像生成部と、前記第１の時系列正規化画像と前記第２の時系列正規化画像との間の画素ごとの相関距離を示す第１の相関距離画像を生成する第１の相関距離画像生成部とを備えることを特徴とする。
【手続補正書】
【提出日】平成29年1月24日(2017.1.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の互いに異なる光学条件の下で検査対象物を撮影することによって得られる第１の時系列画像を生成する第１の時系列画像生成部と、
前記第１の時系列画像に正規化抑制定数及びその反数を連結してなる第１の拡張時系列画像に基づき、前記第１の時系列画像を正規化してなる第１の時系列正規化画像を生成する第１の時系列正規化画像生成部と、
前記複数の互いに異なる光学条件の下で正常品を撮影することによって得られる第２の時系列画像を生成する第２の時系列画像生成部と、
前記第２の時系列画像に正規化抑制定数及びその反数を連結してなる第２の拡張時系列画像に基づき、前記第２の時系列画像を正規化してなる第２の時系列正規化画像を生成する第２の時系列正規化画像生成部と、
前記第１の時系列正規化画像と前記第２の時系列正規化画像との間の画素ごとの相関距離を示す第１の相関距離画像を生成する第１の相関距離画像生成部と
を備えることを特徴とする外観検査装置。
【請求項２】
前記第１の拡張時系列画像は、画素ごとに前記第１の時系列画像の時間方向の平均値に前記正規化抑制定数を加算してなる第１の連結画像と、画素ごとに前記第１の時系列画像の時間方向の平均値から前記正規化抑制定数を減算してなる第２の連結画像とを前記第１の時系列画像に連結してなる画像であり、
前記第１の時系列正規化画像生成部は、前記第１の拡張時系列画像の時間方向の平均値及び標準偏差に基づいて前記第１の時系列正規化画像を生成し、
前記第２の拡張時系列画像は、画素ごとに前記第２の時系列画像の時間方向の平均値に前記正規化抑制定数を加算してなる第３の連結画像と、画素ごとに前記第２の時系列画像の時間方向の平均値から前記正規化抑制定数を減算してなる第４の連結画像とを前記第２の時系列画像に連結してなる画像であり、
前記第２の時系列正規化画像生成部は、前記第２の拡張時系列画像の時間方向の平均値及び標準偏差に基づいて前記第２の時系列正規化画像を生成する
ことを特徴とする請求項１に記載の外観検査装置。
【請求項３】
複数の互いに異なる光学条件の下での正常品の撮影を複数回にわたって繰り返すことによって得られる複数の第３の時系列画像を生成する第３の時系列画像生成部をさらに備え、
前記第２の時系列画像は、前記複数の第３の時系列画像の画素ごとの平均値により構成される画像である
ことを特徴とする請求項１又は２に記載の外観検査装置。
【請求項４】
前記複数の第３の時系列画像のそれぞれについて、該第３の時系列画像に正規化抑制定数及びその反数を連結してなる第３の拡張時系列画像に基づき、該第３の時系列画像を正規化してなる第３の時系列正規化画像を生成する第３の時系列正規化画像生成部と、
複数の前記第３の時系列正規化画像のそれぞれについて、前記第２の時系列正規化画像との間の画素ごとの相関距離を示す第２の相関距離画像を生成する第２の相関距離画像生成部と、
前記第２の相関距離画像生成部によって生成される複数の前記第２の相関距離画像の画素ごとの平均値によって構成される第１の平均画像、及び、該複数の第２の相関距離画像の画素ごとの標準偏差によって構成される第１の標準偏差画像を生成する第１の確率的ふるまい記述部と、
前記第１の相関距離画像、前記第１の平均画像、及び前記第１の標準偏差画像に基づき、前記第１の相関距離画像と前記複数の第２の相関距離画像との画素ごとの確率的距離を示す第１の確率的距離画像を生成する第１の確率的距離画像生成部と
をさらに備えることを特徴とする請求項３に記載の外観検査装置。
【請求項５】
前記第３の拡張時系列画像は、画素ごとに対応する前記第３の時系列画像の時間方向の平均値に前記正規化抑制定数を加算してなる第５の連結画像と、画素ごとに対応する前記第３の時系列画像の時間方向の平均値から前記正規化抑制定数を減算してなる第６の連結画像とを対応する前記第３の時系列画像に連結してなる画像であり、
前記第３の時系列正規化画像生成部は、前記複数の第３の時系列画像のそれぞれについて、対応する前記第３の拡張時系列画像の時間方向の平均値及び標準偏差に基づいて前記第３の時系列正規化画像を生成する
ことを特徴とする請求項４に記載の外観検査装置。
【請求項６】
前記第１の時系列画像の時間方向の平均を示す第１の時間方向平均画像を生成する第１の時間方向平均画像生成部と、
前記複数の第３の時系列画像のそれぞれについて、時間方向の平均を示す第２の時間方向平均画像を生成する第２の時間方向平均画像生成部と、
前記第２の時間方向平均画像生成部によって生成される複数の前記第２の時間方向平均画像の画素ごとの平均値によって構成される第２の平均画像、及び、該複数の第２の時間方向平均画像の画素ごとの標準偏差によって構成される第２の標準偏差画像を生成する第２の確率的ふるまい記述部と、
前記第１の時間方向平均画像、前記第２の平均画像、及び前記第２の標準偏差画像に基づき、前記第１の時間方向平均画像と前記複数の第２の時間方向平均画像との画素ごとの確率的距離を示す第２の確率的距離画像を生成する第２の確率的距離画像生成部と
をさらに備えることを特徴とする請求項３乃至５のいずれか一項に記載の外観検査装置。
【請求項７】
前記第１の時系列画像の時間方向の標準偏差を示す第１の時間方向標準偏差画像を生成する第１の時間方向標準偏差画像生成部と、
前記複数の第３の時系列画像のそれぞれについて、時間方向の標準偏差を示す第２の時間方向標準偏差画像を生成する第２の時間方向標準偏差画像生成部と、
前記第２の時間方向標準偏差画像生成部によって生成される複数の前記第２の時間方向標準偏差画像の画素ごとの平均値によって構成される第３の平均画像、及び、該複数の第２の時間方向標準偏差画像の画素ごとの標準偏差によって構成される第３の標準偏差画像を生成する第３の確率的ふるまい記述部と、
前記第１の時間方向標準偏差画像、前記第３の平均画像、及び前記第３の標準偏差画像に基づき、前記第１の時間方向標準偏差画像と前記複数の第２の時間方向標準偏差画像との画素ごとの確率的距離を示す第３の確率的距離画像を生成する第３の確率的距離画像生成部と
をさらに備えることを特徴とする請求項３乃至６のいずれか一項に記載の外観検査装置。
【請求項８】
複数の互いに異なる光学条件の下で検査対象物を撮影することによって得られる第４の時系列画像を第１の方向及び該第１の方向と交差する第２の方向のそれぞれで微分することによって第１及び第２の時系列微分画像を生成する第１の時系列微分画像生成部と、
前記第１の時系列微分画像を構成する複数の微分画像のそれぞれから該第１の時系列微分画像の時間方向の平均値を減算し、さらに、前記第２の時系列微分画像を構成する複数の微分画像のそれぞれから該第２の時系列微分画像の時間方向の平均値を減算することによって、第１の時系列勾配ベクトル画像を生成する第１の時系列勾配ベクトル画像生成部と、
前記複数の互いに異なる光学条件の下で正常品を撮影することによって得られる第５の時系列画像を前記第１及び第２の方向のそれぞれで微分することによって第３及び第４の時系列微分画像を生成する第２の時系列微分画像生成部と、
前記第３の時系列微分画像を構成する複数の微分画像のそれぞれから該第３の時系列微分画像の時間方向の平均値を減算し、さらに、前記第４の時系列微分画像を構成する複数の微分画像のそれぞれから該第４の時系列微分画像の時間方向の平均値を減算することによって、第２の時系列勾配ベクトル画像を生成する第２の時系列勾配ベクトル画像生成部とをさらに備え、
前記第１の時系列画像は前記第１の時系列勾配ベクトル画像であり、
前記第２の時系列画像は前記第２の時系列勾配ベクトル画像である
ことを特徴とする請求項１に記載の外観検査装置。
【請求項９】
前記第１の拡張時系列画像は、各画素の濃度が前記正規化抑制定数に等しい第７の連結画像と、各画素の濃度が前記正規化抑制定数の反数に等しい第８の連結画像とを前記第１の時系列勾配ベクトル画像に連結してなる画像であり、
前記第１の時系列正規化画像生成部は、前記第１の拡張時系列画像の時間方向のベクトルとしての長さに基づいて前記第１の時系列正規化画像を生成し、
前記第２の拡張時系列画像は、各画素の濃度が前記正規化抑制定数に等しい第９の連結画像と、各画素の濃度が前記正規化抑制定数の反数に等しい第１０の連結画像とを前記第２の時系列勾配ベクトル画像に連結してなる画像であり、
前記第２の時系列正規化画像生成部は、前記第２の拡張時系列画像の時間方向のベクトルとしての長さに基づいて前記第２の時系列正規化画像を生成する
ことを特徴とする請求項８に記載の外観検査装置。