(57)【要約】  ワークの欠陥を強調しつつ、ワークの良品ばらつきの影響を抑制し得る最適化された照明発光パターンを得るべく、複数の既定照明発光パターンで撮影した評価用ワーク画像を得る撮像部と、異なる複数のラベルに関連付けられた複数の画像領域を設定する画像領域設定部と、良品ラベルに関連付けられた画像領域及び不良品ラベルに関連付けられた画像領域間の差異が大きければ出力値が大きくなる第１指標、及び、良品ラベルに関連付けられた画像領域間の差異やコントラストが大きくなれば出力値が大きくなる第２指標を生成し、第１指標がより大きくなり、且つ、第２指標がより小さくなるように検査用照明発光パターンを算出する最適化算出部と、検査用照明発光パターンで撮像した検査用ワーク画像を画像処理して、検査対象のワークの良否ラベルを判定する判定部とを備える検査装置。
2020189189.tif 000002
【特許請求の範囲】
【請求項１】
複数の既定照明発光パターンで照明された少なくとも１つのワークを撮影し、各既定照明発光パターン及び各ワークに関連付けられた複数の評価用ワーク画像を取得するセンサを有する撮像部と、
前記評価用ワーク画像に対して、良品又は不良品を意味する異なる複数のラベルに関連付けられた複数の画像領域を設定する画像領域設定部と、
前記画像領域から、前記良品を意味するラベルに関連付けられた画像領域及び前記不良品を意味するラベルに関連付けられた画像領域間の差異が大きければ出力値が大きくなるような第１指標を生成し、且つ、前記良品を意味するラベルに関連付けられた画像領域間の差異又は前記良品を意味するラベルに関連付けられた画像領域内のコントラストが大きくなれば出力値が大きくなるような第２指標を生成し、前記第１指標がより大きくなり、且つ、前記第２指標がより小さくなるように検査用照明発光パターンを算出する最適化算出部と、  前記撮像部が前記検査用照明発光パターンで照明した検査対象のワークを撮像して取得した検査用ワーク画像を画像処理することにより、前記検査対象のワークの良否ラベルを判定する判定部と、
を備える検査装置。
【請求項２】
前記最適化算出部は、前記検査用照明発光パターンを算出する際に評価する発光パターンの数が、前記既定照明発光パターンの数よりも大きい、
請求項１に記載の検査装置。
【請求項３】
前記最適化算出部は、前記第1指標及び前記第２指標に基づいて評価関数を生成し、ある評価用照明発光パターンが与えられた際に、前記少なくとも１つのワークを照明して撮像したときの前記第１指標が最大値となり、且つ、前記第２指標が最小値となるときに、前記評価関数の評価値が最大となるような最適解を求める、
請求項1又は２に記載の検査装置。
【請求項４】
前記最適化算出部は、前記第１指標と前記第２指標の比に基づく評価関数の評価値、又は、前記第１指標と前記第２指標の差に基づく評価関数の評価値を最大化させる最適解を、判別分析により求める、
請求項１乃至３の何れかに記載の検査装置。
【請求項５】
前記最適化算出部は、前記判別分析において、前記照明パラメータベクトルの全成分が非負値である制約条件を含める、
請求項４に記載の検査装置。
【請求項６】
前記最適化算出部は、前記最適解として得られる照明パラメータベクトルが、正値及び負値の成分を含む場合、前記正値の成分から構成されるベクトルに基づく第１最適化照明発光パターンを求め、且つ、前記負値の成分の絶対値から構成されるベクトルに基づく第２最適化照明発光パターンを求め、
前記撮像部は、前記検査対象のワークを、前記第１最適化照明発光パターン及び前記第２最適化照明発光パターンのそれぞれで照明して撮像した第１画像及び第２画像を取得し、
前記判定部は、前記第１画像及び前記第２画像の差分に基づいて、前記検査用ワーク画像を取得する、
請求項２乃至４の何れかに記載の検査装置。
【請求項７】
前記最適化算出部は、前記最適解として得られる照明パラメータベクトルが、正値及び負値の成分を含む場合、該照明パラメータベクトルとして、主成分分析における固有値が大きい複数の固有ベクトルを選定し、該複数の固有ベクトルのそれぞれについて、前記正値の成分から構成されるベクトルに基づく第１最適化照明発光パターンを求め、且つ、前記負値の成分の絶対値から構成されるベクトルに基づく第２最適化照明発光パターンを求め、
前記撮像部は、前記検査対象のワークを、前記複数の固有ベクトルのそれぞれに対応する前記第１最適化照明発光パターン及び前記第２最適化照明発光パターンで照明して撮像した第１画像及び第２画像を取得し、
前記判定部は、前記第１画像及び前記第２画像の差分に基づいて、前記検査用ワーク画像を取得する、
請求項２乃至４の何れかに記載の検査装置。
【請求項８】
前記評価用照明発光パターンが、マルチショットである場合、前記最適化算出部は、前記評価用照明発光パターンを構成する複数の前記照明パラメータベクトルを重畳した１つのコラムベクトルに相当する評価用照明発光パターンで前記少なくとも１つのワークを照明して撮像したときの前記第１指標を最大化し、且つ、前記第２指標を最小化するマルチショット用の最適化照明発光パターンを算出する、
請求項１に記載の検査装置。
【請求項９】
前記判定部による画像処理の形式が、線形な画像処理であり、
前記最適化算出部による前記第１指標を最大化しつ、且つ、前記第２指標を最小化する最適化と、前記判定部による画像処理に用いる画像処理パラメータの最適化を同時に行う、
請求項１乃至８の何れかに記載の検査装置。
【請求項１０】
前記最適化算出部は、前記最適化照明発光パターンの算出に先立って、前記評価用ワーク画像に対する線形な画像処理を行う、
請求項１乃至９の何れかに記載の検査装置。
【請求項１１】
前記画像領域設定部又は前記最適化算出部は、前記第１指標及び前記第２指標ともに、それぞれ同一ラベルを持つ関心領域（ＲＯＩ）の画像内のピクセル値のばらつき成分の合計値となっている、
請求項１乃至１０の何れかに記載の検査装置。
【請求項１２】
前記最適化算出部は、前記第１指標及び前記第２指標に重み付けを行った場合に前記最適解として得られる複数の照明パラメータベクトルに基づいて複数の前記最適化照明発光パターンを求める、
請求項１乃至１１の何れかに記載の検査装置。
【請求項１３】
撮像部、画像領域設定部、最適化算出部、及び判定部を備える検査装置を用いて、ワークを検査する方法であって、
撮像部が、複数の既定照明発光パターンで照明された少なくとも１つのワークを撮影し、各既定照明発光パターン及び各ワークに関連付けられた複数の評価用ワーク画像を取得する撮像ステップと、
画像領域設定部が、前記評価用ワーク画像に対して、良品又は不良品を意味する異なる複数のラベルに関連付けられた複数の画像領域を設定する画像領域設定ステップと、
前記最適化算出部が、前記画像領域から、前記良品を意味するラベルに関連付けられた画像領域及び前記不良品を意味するラベルに関連付けられた画像領域間の差異が大きければ出力値が大きくなるような第１指標を生成し、且つ、前記良品を意味するラベルに関連付けられた画像領域間の差異又は前記良品を意味するラベルに関連付けられた画像領域内のコントラストが大きくなれば出力値が大きくなるような第２指標を生成し、前記第１指標がより大きくなり、且つ、前記第２指標がより小さくなるように検査用照明発光パターンを算出する算出ステップと、
前記判定部が、前記撮像部が前記検査用照明発光パターンで照明した検査対象のワークを撮像して取得した検査用ワーク画像を画像処理することにより、前記検査対象のワークの良否ラベルを判定する判定ステップと、
を含む検査方法。
【請求項１４】
請求項１３に記載の撮像ステップ、画像領域設定ステップ、最適化算出ステップ、及び判定ステップをコンピュータに実行させる、制御プログラム。
【請求項１５】
請求項１３に記載の撮像ステップ、画像領域設定ステップ、最適化算出ステップ、及び判定ステップをコンピュータに実行させるための制御プログラムを記録した、コンピュータ読み取り可能な非一過性の記録媒体。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１９年３月１５日に出願された日本特許出願番号２０１９−０４８１６３に基づくもので、ここにその記載内容を援用する。
【技術分野】
【０００２】
本発明は、対象物の検査装置及び方法に関する。
【背景技術】
【０００３】
製造現場における製品の外観検査は、機械による人員の置き換えが最も進んでいない分野の１つであり、将来の労働人口減少に向けて取り組まなければならない自動化の重要課題である。近年、ディープラーニングに代表される人工知能・機械学習技術の発展によって、検査の自動化技術は飛躍的に向上しつつある。【０００４】
しかしながら、外観検査及びマシンビジョン一般において、検査システムを構築する際に最も手間がかかるプロセスは、照明パターンの最適化設計を含む撮像系の設計であり、この分野の自動化はあまり進んでいない。人が手作業でこの最適化設計を行う場合、ワーク（検査対象）の個体ばらつきに対応しつつ、ワークに生じたキズ等の欠陥を確実に検出するための撮像系の設計には、多大な労力が必要となる。すなわち、所望の検出性能を得るには、対象となる種々のワークを交換しつつ、照明の手調整による最適化と検査アルゴリズムの検討・調整を交互に繰り返すことが不可欠であり、そのために、非常に多くの工数が必要になるという問題があった。【０００５】
この問題に対応するべく、例えば、特許文献１には、複数の照明パターンを用いて撮影された画像群に基づいて、ワークの欠陥を検出するための照明パターンを最適化する手法が報告されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】ＥＰ２８８７０５５Ａ１
【発明の概要】
【発明が解決しようとする課題】
【０００７】
かかる従来の手法では、ワークの欠陥を強調する観点のみから、照明発光パターンの最適化設計が行われており、すなわち、欠陥を有しない良品（合格品、無欠陥品）と欠陥を有する不良品（不合格品、欠陥品、悪品）との差異を示す指標のみに基づいて、最適な照明発光パターンが決定される傾向にあった。しかし、ワークによってその外観や表面状態は様々であり、また、ワークに生じ得る欠陥の性状も様々であるため、欠陥を強調するのみでは、ワーク表面の背景画像と欠陥との判別が困難となったり、欠陥ではない部位を欠陥と判定してしまったりするおそれがある。例えば、ワーク表面全体にいわゆるヘアライン加工等が施されており、その表面の一部に例えば線状のキズが生じている場合、キズを強調する照明パターンでは、ワーク表面のヘアライン（線状痕）も同様に強調されてしまうおそれがある。こうなると、そのキズは欠陥と判定されず、不良品を見逃してしまったり、背景の線状痕を欠陥と誤判定してしまったりする可能性がある。【０００８】
すなわち、ワーク表面の背景画像は、ワークにおける欠陥を有していない正常部位間のランダムなばらつき、又は、欠陥を有しないワーク（良品）個体間のランダムなばらつき（「良品ばらつき」や「個体ばらつき」ということができる。）に相当するものであり、従来の手法では、このようなワークの良品ばらつきや個体ばらつきを抑制するという考え方自体が照明パターンの最適化に導入されていなかった。【０００９】
そこで、本開示は、一側面では、かかる事情を鑑みてなされたものであり、ワークの欠陥を強調しつつ、ワークの良品ばらつきや個体ばらつきの影響を抑制し得る最適化された照明発光パターンを得ることが可能な検査方法及び検査装置等を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、上述した課題を解決するために、以下の構成を採用する。【００１１】
〔１〕本開示に係る検査装置の一例は、複数の既定照明発光パターンで照明された少なくとも１つのワークを撮影し、各既定照明発光パターン及び各ワークに関連付けられた複数の評価用ワーク画像を取得するセンサを有する撮像部と、前記評価用ワーク画像に対して、良品又は不良品を意味するラベルに関連付けられた異なる複数のラベルに関連付けられた複数の画像領域を設定する画像領域設定部と、前記画像領域から、前記良品を意味するラベルに関連付けられた画像領域及び前記不良品を意味するラベルに関連付けられた画像領域間の差異が大きければ出力値が大きくなるような第１指標を生成し、且つ、前記良品を意味するラベルに関連付けられた画像領域間の差異又は前記良品を意味するラベルに関連付けられた画像領域内のコントラストが大きくなれば出力値が大きくなるような第２指標を生成し、前記第１指標（の評価値）がより大きくなり、且つ、前記第２指標（の評価値）がより小さくなるように検査用照明発光パターンを算出する最適化算出部と、前記撮像部が前記検査用照明発光パターンで照明した検査対象のワークを撮像して取得した検査用ワーク画像を画像処理することにより、前記検査対象のワークの良否ラベルを判定する判定部とを備える。【００１２】
当該構成では、複数の既定照明発光パターンで照明されたワークを撮像した評価用ワーク画像から、良品又は不良品を意味する異なる複数のラベル、及び、所定形状を有する少なくとも１つの関心領域の組み合わせについて、複数の評価用ワーク画像における関心領域の画像を抽出して画像領域（又はその集合）を設定することができる。また、得られた画像領域から、異なるラベルに属する画像間の変動成分に基づいて、異なるラベルに属するワーク間のばらつき（例えば、良品／不良品間のばらつき）を示す第１指標が設定され、且つ、同一のラベルに属する画像間の変動成分に基づいて、同一のラベルに属するワーク間のばらつき（例えば、良品ばらつきや個体ばらつき）を示す第２指標が設定される。それから、複数の既定照明発光パターンの任意の組み合わせに相当する評価用照明発光パターンで少なくとも１つのワークを照明して撮像したときの第１指標をより大きく又は最大化し、且つ、第２指標をより小さく又は最小化する最適解としての照明パラメータベクトルを得る。そして、その照明パラメータベクトルに基づいて得られた最適化照明発光パターンを用いて、検査対象のワークの検査用ワーク画像を取得し、そのワークのラベル判定（例えば、キズ等の欠陥の有無の検査）を行う。【００１３】
従って、例えば、ワークにおけるキズ等の欠陥を強調する（良品と欠陥の差異を大きくして欠陥を見え易くする）ことができるとともに、ワークの背景画像に起因するランダムな良品ばらつきや個体ばらつきの影響を抑制する（良品ばらつきを低減する）こともできる。これにより、ワークの欠陥の見逃しや誤判定を低減することができ、ワークの検査性能及び検査効率を向上させることができる。このとおり、本開示に係る検査装置は、従来の手法では用いられていなかったワークの良品ばらつきや個品ばらつきを抑制するという視点を、ワークの検査における照明パターンの最適化に新たに導入することにより初めて実現されたものである。【００１４】
なお、「ラベル」は、ワークの被検査特徴を示し、被検査特徴としては、特に制限されず、ワーク４の検査しようとする特徴を表するものであればよく、例えば、上記の如く、ワークが良品（合格品）であるか不良品（不合格品）であるかを表すデータの他、ワークの外観特徴（例えば、スクラッチ、サイズ等）を表すデータ等が挙げられる。【００１５】
［２］上記構成において、より具体的には、前記最適化算出部は、前記検査用照明発光パターンを算出する際に評価する発光パターンの数が、前記既定照明発光パターンの数よりも大きくしてもよい。【００１６】
［３］さらに、上記構成において、更に具体的には、前記最適化算出部は、前記第1指標及び前記第２指標に基づいて評価関数を生成し、ある評価用照明発光パターンが与えられた際に、前記少なくとも１つのワークを照明して撮像したときの前記第１指標が最大値となり、且つ、前記第２指標が最小値となるときに、前記評価関数の評価値が最大となるような最適解を求めるようにしてもよい。【００１７】
〔４〕上記構成において、より具体的には、例えば、前記最適化算出部は、前記第１指標と前記第２指標の比に基づく（比型の）評価関数の評価値、又は、前記第１指標と前記第２指標の差に基づく（差型の）評価関数の評価値を最大化させる最適解を、判別分析（Discriminant Analysis；ＤＡ）により求めてもよい。なお、判別分析としては、多変量解析を用いた線形判別分析（Linear Discriminant Analysis；ＬＤＡ）が特に有効であり、その具体的なアルゴリズムとしては、例えば、フィッシャー線形判別分析（Fisher linear discriminant analysis；ＦＬＤＡ)等が挙げられる。【００１８】
かかる構成によれば、複数の既定照明発光パターンを照射する光源による撮像を演算と看做すと、数学的には単なる内積演算及び線形射影そのものになるところ、例えば、線形判別分析は、特徴ベクトルを生成するための演算が単なる内積となるので、簡易なアルゴリズムにより最適な線形射影を求めることができる。また、判別分析において、第１指標と第２指標の比に基づく評価関数を用いると、第１指標の最大化と第２指標の最小化を直接的に解析することができる。加えて、かかる比型の評価関数を用いれば、単一の照明パラメータベクトルに基づく照明発光パターン（シングルショット）、及び、複数の照明パラメータベクトル（つまり照明パラメータ行列）に基づく照明発光パターン（マルチショット）の両方の最適解を好適に求めることができる。一方、判別分析において、第１指標と第２指標の差に基づく評価関数を用いても、第１指標の最大化と第２指標の最小化を行う解析が可能であり、特に、シングルショットにおける最適解を高速に求めることができる。【００１９】
〔５〕上記構成において、前記最適化算出部は、前記判別分析において、前記照明パラメータベクトルの全成分が非負値である制約条件を含めてもよい。例えば、フィッシャー線形判別分析における最適射影方向は、ラグランジュ（Lagrange）未定乗数法により、一般固有値問題における固有値最大の固有ベクトルとして求めることができ、照明パターンとしては、固有ベクトルに沿う方向で照明パラメータ（強度）ベクトルを設定すればよい。しかし、固有ベクトルの成分は負値をとり得るところ、実際の照明では、負の照明強度を実現することができないため、照明最適化においては、この点が問題となり得る。これに対し、当該構成では、判別分析において、照明パラメータベクトル（固有ベクトル）の全成分が非負値であるという制約条件を付するので、成分が全て非負である最適化された照明パラメータベクトルを求めることができる。なお、この場合、一般固有値問題としての解法を適用することが難しくなるので、例えば数理計画法を適用した解法が有効である。【００２０】
〔６〕上記構成において、前記最適化算出部は、前記最適解として得られる照明パラメータベクトルが、正値及び負値の成分を含む場合、前記正値の成分から構成されるベクトルに基づく第１最適化照明発光パターンを求め、且つ、前記負値の成分の絶対値から構成されるベクトルに基づく第２最適化照明発光パターンを求め、前記撮像部は、前記検査対象のワークを、前記第１最適化照明発光パターン及び前記第２最適化照明発光パターンのそれぞれで照明して撮像した第１画像及び第２画像を取得し、前記判定部は、前記第１画像及び前記第２画像の差分に基づいて、前記検査用ワーク画像を取得してもよい。【００２１】
当該構成では、上記〔５〕と異なり、負値の照明強度を疑似的に再現させることによって、負値を取り得る一般固有値問題における固有値最大の固有ベクトルを、数学的に完全に再現した最適解として求めることができる。すなわち、疑似的に元の正値と負値が混在する最適化された照明パラメータベクトルに基づく最適化照明発光パターンで検査対象のワークを直接撮影したのと同等の効果を得ることができる。【００２２】
〔７〕上記構成において、前記最適化算出部は、前記最適解として得られる照明パラメータベクトルが、正値及び負値の成分を含む場合、該照明パラメータベクトルとして、主成分分析における固有値が大きい複数の固有ベクトルを選定し、該複数の固有ベクトルのそれぞれについて、前記正値の成分から構成されるベクトルに基づく第１最適化照明発光パターンを求め、且つ、前記負値の成分の絶対値から構成されるベクトルに基づく第２最適化照明発光パターンを求め、前記撮像部は、前記検査対象のワークを、前記複数の固有ベクトルのそれぞれに対応する前記第１最適化照明発光パターン及び前記第２最適化照明発光パターンで照明して撮像した第１画像及び第２画像を取得し、前記判定部は、前記第１画像及び前記第２画像の差分に基づいて、前記検査用ワーク画像を取得してもよい。【００２３】
当該構成でも、上記〔３〕と異なり、負値の照明強度を疑似的に再現させることによって、負値を取り得る一般固有値問題における固有値最大の固有ベクトルを、数学的に完全に再現した最適解として求めることができる。すなわち、疑似的に元の正値と負値が混在する複数の照明パラメータベクトルの照明発光パターン（マルチショット）で検査対象のワークを直接撮影したのと同等の効果を得ることができる。また、当該構成は、実質的に、多枚数のマルチショットでの検査となるので、シングルショットでの検査に比して、検査性能を有意に高めることができる。さらに、第１画像と第２画像の差分をとることにより、暗電流オフセット値がキャンセルされるので、両者の黒レベルが同じであれば、暗電流補正を省略することも可能となる。【００２４】
〔８〕上記構成において、前記評価用照明発光パターンが、マルチショットである場合、前記最適化算出部は、前記評価用照明発光パターンを構成する複数の前記照明パラメータベクトルを重畳した１つのコラムベクトルに相当する評価用照明発光パターンで前記少なくとも１つのワークを照明して撮像したときの前記第１指標（の評価値）を最大化し、且つ、前記第２指標（の評価値）を最小化するマルチショット用の最適化照明発光パターンを算出してもよい。当該構成では、１つのコラムベクトルが、複数の照明パラメータベクトルを含む照明パラメータ行列となり、任意の撮影枚数において最適なマルチショット用の照明発光パターンを得ることができる。【００２５】
〔９〕上記構成において、前記判定部による画像処理の形式が、線形な画像処理であり、前記最適化算出部による前記第１指標を最大化しつ、且つ、前記第２指標を最小化する最適化と、前記判定部による画像処理に用いる画像処理パラメータの最適化を同時に行ってもよい。当該構成では、シングルショット検査及びマルチショット検査の両方に対応することができ、検査段階で用いる照明発光パターンと線形な画像処理を同時に最適化することができる。【００２６】
〔１０〕上記構成において、前記最適化算出部は、前記最適化照明発光パターンの算出に先立って、前記評価用ワーク画像に対する線形な画像処理を行ってもよい。当該構成でも、シングルショット検査及びマルチショット検査の両方に対応することができる。また、特定の周波数帯域のみに注目して画像を一致又は乖離させることができ、さらに、経時変化によるオフセットの変動を見ないようにするためにＤＣ成分をカットするといった処理を含める場合においても、画像の一致又は乖離を好適に実施することができる。【００２７】
〔１１〕上記構成において、前記画像領域設定部又は前記最適化算出部は、前記第１指標及び前記第２指標ともに、それぞれ同一ラベルを持つ関心領域（ＲＯＩ）の画像内のピクセル値のばらつき成分の合計値となっていてもよい。前述のとおり、例えばフィッシャー線形判別による照明設計は、良品と欠陥の差異を大きくして欠陥を見え易くすることと、良品ばらつきを小さくするという評価基準を有しており、これは複数の画像間の差異に注目した手法である。しかし、問題設定によっては、画像間の差異を扱うのではなく、単一の画像から評価値を算出して、その最大化又は最小化を行う方が便利な場合（例えば、単純に特定領域のコントラストを強く又は弱くしたいといった場合）がある。これに対し、当該構成は、実質的に単一の画像を用いた評価に相当するため、単一の画像から算出した評価値の最大化又は最小化を行うケースにおいて有用である。【００２８】
〔１２〕上記構成において、前記最適化算出部は、前記第１指標及び前記第２指標に重み付けを行った場合に前記最適解（好適解）として得られる複数の照明パラメータベクトルに基づいて複数の前記最適化照明発光パターンを求めてもよい。当該構成では、条件を取捨選択してメリハリ（抑揚）をつけた最適解を複数用意して、例えばユーザが比較検討することができる。また、画像の近さ（一致度）と単一画像からの評価値を評価基準に混在させたり、画像の近さ（一致度）と単一画像からの評価値のそれぞれについて個別に重みを設定したりすることができる。さらに、関心領域の相違について個別に重みを設定することもできる。また、評価用画像（サンプル画像）間の重み、単一画像評価式の重み、関心領域の重みと最大化及び最良化のバランスの重みを、それぞれ独立に調整可能であり、ユーザによる調整を容易ならしめることができる。【００２９】
〔１３〕また、本開示に係る検査方法の一例は、撮像部、画像領域設定部、最適化算出部、及び判定部を備える検査装置を用いて、ワークを検査する方法であって、撮像部が、複数の既定照明発光パターンで照明された少なくとも１つのワークを撮影し、各既定照明発光パターン及び各ワークに関連付けられた複数の評価用ワーク画像を取得する撮像ステップと、画像領域設定部が、前記評価用ワーク画像に対して、良品又は不良品を意味する異なる複数のラベルに関連付けられた複数の画像領域を設定する画像領域設定ステップと、前記最適化算出部が、前記画像領域から、前記良品を意味するラベルに関連付けられた画像領域及び前記不良品を意味するラベルに関連付けられた画像領域間の差異が大きければ出力値が大きくなるような第１指標を生成し、且つ、前記良品を意味するラベルに関連付けられた画像領域間の差異又は前記良品を意味するラベルに関連付けられた画像領域内のコントラストが大きくなれば出力値が大きくなるような第２指標を生成し、前記第１指標（の評価値）がより大きくなり、且つ、前記第２指標（の評価値）がより小さくなるように検査用照明発光パターンを算出する算出ステップと、前記判定部が、前記撮像部が前記検査用照明発光パターンで照明した検査対象のワークを撮像して取得した検査用ワーク画像を画像処理することにより、前記検査対象のワークの良否ラベルを判定する判定ステップとを含む。当該構成では、前記〔１〕で述べた本開示による検査装置の一例と同等の作用効果が奏される。【００３０】
〔１４〕また、本開示に係る制御プログラムの一例は、前記撮像ステップ、前記画像領域設定ステップ、前記最適化算出ステップ、及び前記判定ステップをコンピュータに実行させる。【００３１】
〔１５〕また、本開示に係る記録媒体の一例は、前記撮像ステップ、前記画像領域設定ステップ、前記最適化算出ステップ、及び前記判定ステップをコンピュータに実行させるための制御プログラムを記録した、コンピュータ読み取り可能な非一過性の記録媒体である。【００３２】
なお、本開示において、「部」及び「装置」とは、単に物理的手段を意味するものではなく、その「部」及び「装置」が有する機能をソフトウェアによって実現する構成も含む。また、１つの「部」及び「装置」が有する機能が２つ以上の物理的手段や装置によって実現されてもよく、或いは、２つ以上の「部」及び「装置」の機能が１つの物理的手段や装置によって実現されてもよい。さらに、「部」及び「装置」とは、例えば「手段」及び「システム」と言い換えることも可能な概念である。
【発明の効果】
【００３３】
本開示によれば、評価用ワーク画像から適宜の関心領域の画像領域が設定され、また、異なるラベルに属するワーク間のばらつき（例えば、良品／不良品間のばらつき）示す第１指標、及び、同一のラベルに属するワーク間のばらつき（例えば、良品ばらつきや個体ばらつき）を示す第２指標が設定される。そして、それらの第１指標及び第２指標の両方を用いた最適化処理により、最適解としての照明パラメータベクトルを算出し、その照明パラメータベクトルに基づいて得られた最適化照明発光パターンを用いて、検査対象のワークのラベル判定を行うことができる。従って、例えば、ワークにおけるキズ等の欠陥を強調する（良品と欠陥の差異を大きくして欠陥を見え易くする）ことができるとともに、ワークの背景画像に起因するランダムな良品ばらつきや個体ばらつきの影響を抑制する（良品ばらつきを低減する）こともできる。これにより、ワークの欠陥の見逃しや誤判定を低減することができ、ワークの検査性能及び検査効率の向上を実現可能となる。また、かかる効率的な検査処理により、検査装置を含むシステム全体の処理速度（スループット）を向上させ、また、記憶容量を節約でき、かつ、通信のデータ量を減らすことができるとともに、検査の信頼性を高めることができる。
【図面の簡単な説明】
【００３４】
【図１Ａ】本開示の一実施形態に係る検査装置の適用場面の一例（システム構成例）を模式的に示す平面図（一部斜視図）である。
【図１Ｂ】本開示の一実施形態に係る検査装置で用いられる光源の配置の一例を模式的に示す平面図である。
【図２】本開示の一実施形態に係る検査装置に含まれる制御装置のハードウェア構成を模式的に示す平面図である。
【図３】本開示の一実施形態に係る検査装置の機能構成の一例を模式的に示す平面図である。
【図４】本開示に係るマルチチャネル照明を用いたシングルショット検査におけるリニアリティの成立を前提とした画像合成モデルを示す模式図である。
【図５】本開示に係るマルチチャネル照明を用いたマルチショット検査におけるリニアリティの成立を前提とした画像合成モデルを示す模式図である。
【図６】（Ａ）及び（Ｂ）は、それぞれ、本開示の一実施形態に係る照明最適化段階及び検査段階の処理手順の一例を示すフローチャートである。
【図７】第３変形例における検査用ワーク画像を取得する手順の概要を示す模式図である。
【図８】（Ａ）及び（Ｂ）は、それぞれ、第４変形例に係る照明最適化段階及び検査段階の処理手順の一例を示すフローチャートである。
【図９】（Ａ）及び（Ｂ）は、それぞれ、第６変形例に係る照明最適化段階及び検査段階の処理手順の一例を示すフローチャートである。
【図１０】（Ａ）及び（Ｂ）は、それぞれ、第７変形例に係る照明最適化段階及び検査段階の処理手順の一例を示すフローチャートである。
【図１１】（Ａ）及び（Ｂ）は、本開示の実施形態に係る検査装置の一例におけるユーザインターフェイスの表示画面の一例を示す模式平面図である。
【図１２】本開示の実施形態に係る検査装置の一例におけるユーザインターフェイスの表示画面の他の一例を示す模式平面図である。
【図１３】（Ａ）乃至（Ｃ）は、本開示に係る検査装置によるフィッシャー線形判別を用いた照明最適化結果の一例を示す写真（再構成画像）である。
【図１４】本開示に係る検査装置において、比型（Ｄｂ／Ｄｗ）の評価関数を用いたフィッシャー線形判別による照明最適化結果の一例を示す写真である。
【図１５】本開示に係る検査装置において、差型（Ｄｂ−λ・Ｄｗ）の評価関数を用いたフィッシャー線形判別による照明最適化結果の一例を示す写真である。
【図１６】（Ａ）乃至（Ｃ）は、第６変形例及び第７変形例におけるユーザインターフェイスの表示画面の一例を示す模式平面図である。
【図１７】（Ａ）及び（Ｂ）は、第８変形例におけるユーザインターフェイスの表示画面の一例を示す模式平面図である。
【図１８】（Ａ）は、第９変形例において、評価基準である第１指標Ｄｂの重み（前記δbetween）、及び、第２指標Ｄｗに重み（前記δwithin）を設定して照明最適化を行った結果を表示するためのポップアップウィンドウＰＷの一例を示す。（Ｂ）は、第９変形例における処理手順の一例を示すフローチャートであり、（Ｃ）は、第９変形例において選択された結果の一例を示す模式平面図である。
【図１９】（Ａ）及び（Ｂ）は、第１０変形例におけるユーザインターフェイスの表示画面の一例を示す模式平面図である。
【発明を実施するための形態】
【００３５】
以下、本開示の一例に係る実施形態について、図面を参照して説明する。但し、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図ではない。すなわち、本開示の一例は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付しており、図面は模式的なものであって、必ずしも実際の寸法や比率等とは一致しない。さらに、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。また、以下に説明する実施形態は本開示の一部の実施形態であって、全ての実施形態ではないことは言うまでもない。さらに、本開示の実施形態に基づいて、当業者が創造性のある行為を必要とせずに得られる他の実施形態は、いずれも本開示の保護範囲に含まれる。
【００３６】
§１  適用例
本開示においては、照明発光パラメータが可変であり所望の照明発光パターンを有する光源で検査対象のワーク（検査対象物）を照明し、適宜のセンサによってワークを撮像して検査用ワーク画像を取得する。そして、その検査用ワーク画像を画像処理することによって、ワークの検査（例えば、キズ等の欠陥の有無によるラベル判定）を行う。照明発光パラメータとしては、例えば光源の発光位置、発光強度、色度等を含み、単一ベクトル又は複数ベクトル（行列）として表すことができる。また、検査用ワーク画像の取得に先立って、検査における照明発光パターンを最適化する。
【００３７】
この最適化においては、光源の複数の既定照明発光パターンのそれぞれで照明した評価用ワークを撮像し、複数（パターン）の評価用ワーク画像（サンプル画像）を取得する。それから、異なる複数のラベル（クラス、カテゴリ）、及び、所定形状を有する少なくとも１つの関心領域（ＲＯＩ）の組み合わせについて、複数の評価用ワーク画像における関心領域の画像を抽出して画像領域（又はその集合）を設定する。
【００３８】
次に、その画像領域から、異なるラベルに属する画像間の変動成分に基づいて、異なるラベルに属するワーク間のばらつき（例えば、良品／不良品間のばらつき）を示す第１指標が設定される。また、その画像領域から、同一のラベルに属する画像間の変動成分に基づいて、同一のラベルに属するワーク間のばらつき（例えば、良品ばらつきや個体ばらつき）を示す第２指標が設定される。次に、照明最適化として、複数の既定照明発光パターンの任意の組み合わせに相当する評価用照明発光パターンで少なくとも１つのワークを照明して撮像したときの第１指標を最大化し、且つ、第２指標を最小化する最適解としての照明パラメータベクトルを得る。そして、その照明パラメータベクトルに基づいて得られた最適化照明発光パターンを用いて、検査対象のワークの検査を行う。
【００３９】
ここでは、まず、図１Ａ及び図１Ｂを用いて、本開示の一例が適用される場面の一例について説明する。図１Ａは、本開示の一実施形態に係る検査装置の適用場面の一例（システム構成例）を模式的に示す平面図（一部斜視図）である。また、図１Ｂは、本開示の一実施形態に係る検査装置で用いられる光源の配置の一例を模式的に示す平面図である。
【００４０】
検査システム１は、例えば、ベルトコンベア２上を搬送される検査対象であるワーク４を撮像して得られる入力画像に対して画像分析処理を実行することで、ワーク４の外観検査を実施する。以下においては、画像分析処理の典型例として、ワーク４の表面における欠陥の有無の検査等を応用例として説明するが、これに限らず、例えば欠陥の種類の特定や外観形状の計測等にも応用が可能である。
【００４１】
ベルトコンベア２の上部には、光源ＬＳが一体化されたセンサとしてのカメラ１０２が配置されており、カメラ１０２の撮像視野６はベルトコンベア２の所定領域を含むように構成される。ここで、光源ＬＳとしては、例えばＭＤＭＣ（Multi Direction Multi Color）照明等のマルチチャネル照明が挙げられ、より具体的には、本出願人による例えば特願２０１８−０３１７４７に記載の照明を例示することができる。マルチチャネル照明としての光源ＬＳは、複数のチャネル照明ＬＳｉを有している。より具体的には、光源ＬＳは、例えば図１Ｂに示すように、平面視において円形状を成す１つのチャネル照明ＬＳｉと、その周りに同芯状に配置された扇帯状を成す１２個のチャネル照明ＬＳｉを有している。この場合、光源ＬＳは、合計１３個のチャネル照明ＬＳｉから構成され、各チャネル照明ＬＳｉが３色発光する場合、単色且つ単チャネルの既定照明発光パターンは１３×３＝３９パターンとなる。さらに、カメラ１０２の撮像により生成された評価用ワーク画像のデータは、制御装置１００へ送信される。カメラ１０２による撮像は、周期的又はイベント的に実行される。
【００４２】
制御装置１００は、所定の照明パラメータに基づいて、光源ＬＳの照明発光パターンを制御し、評価用ワーク画像及び評価用照明発光パターンを用いて、検査対象のワーク４の検査を行う際の最適化照明発光パターンを算出する。また、制御装置１００は、ワーク４の外観検査のためのＣＮＮ（畳み込みニューラルネットワーク）エンジンを有する学習器を備える。ＣＮＮエンジンを用いて入力画像からクラス毎の特徴検出画像が生成される。生成された単数又は複数の特徴検出画像に基づいて、検査対象のワーク４における欠陥の有無等が判別（ラベル判定）され、或いは、欠陥の大きさや位置等を検出することもできる。
【００４３】
制御装置１００は、上位ネットワーク８を介して、ＰＬＣ（プログラマブルコントローラ）１０及びデータベース装置１２等と接続されている。制御装置１００における演算結果及び検出結果は、ＰＬＣ１０及び／又はデータベース装置１２へ送信されてもよい。なお、上位ネットワーク８には、ＰＬＣ１０及びデータベース装置１２に加えて、任意の装置が接続されるようにしてもよい。また、制御装置１００は、処理中の状態や検出結果等を表示するための出力部としてのディスプレイ１０４と、ユーザによる操作を受け付ける入力部としての例えばキーボード１０６及びマウス１０８とが接続されていてもよい。
【００４４】
§２  構成例
［ハードウェア構成］
次に、図２を用いて、本開示の一実施形態に係る検査装置である検査システム１に含まれる制御装置１００のハードウェア構成の一例について説明する。図２は、制御装置１００のハードウェア構成を模式的に示す平面図である。
【００４５】
制御装置１００は、一例として、汎用的なコンピュータアーキテクチャに従って構成される汎用コンピュータを用いて実現されてもよい。制御装置１００は、プロセッサ１１０と、メインメモリ１１２と、カメラインターフェイス１１４と、入力インターフェイス１１６と、表示インターフェイス１１８と、通信インターフェイス１２０と、ストレージ１３０とを含む。これらのコンポーネントは、典型的には、内部バス１２２を介して互いに通信可能に接続されている。
【００４６】
プロセッサ１１０は、ストレージ１３０に格納されている各種プログラムをメインメモリ１１２に展開して実行することで、後述するような機能及び処理を実現する。メインメモリ１１２は、揮発性メモリにより構成され、プロセッサ１１０によるプログラム実行に必要なワークメモリとして機能する。
【００４７】
カメラインターフェイス１１４は、カメラ１０２と接続されて、カメラ１０２にて撮像された入力画像１３８を取得する。カメラインターフェイス１１４は、カメラ１０２に対して撮像タイミング等を指示するようにしてもよい。
【００４８】
入力インターフェイス１１６は、キーボード１０６及びマウス１０８といった入力部と接続されて、ユーザによる入力部に対する操作等を示す指令を取得する。
【００４９】
表示インターフェイス１１８は、プロセッサ１１０によるプログラムの実行によって生成される各種処理結果をディスプレイ１０４へ出力する。
【００５０】
通信インターフェイス１２０は、上位ネットワーク８を介して、ＰＬＣ１０及びデータベース装置１２等と通信するための処理を担当する。
【００５１】
ストレージ１３０は、ＯＳ（Operating System）を含む各種処理（照明最適化や画像処理）プログラム１３２等のコンピュータを制御装置１００として機能させるためのプログラムを格納している。ストレージ１３０は、さらに、照明最適化処理を実現するための照明パラメータ１３４、及び、画像処理を実現するための学習器パラメータ１３６と、カメラ１０２から取得された入力画像１３８と、入力画像１３８から得られた計測結果である推定画像１４０とを格納していてもよい。照明パラメータ１３４は、例えば、照明最適化段階で使用する光源ＬＳの既定照明発光パターン（ＭＤＭＣ照明であれば、光源ＬＳの各チャネル照明ＬＳｉの基本強度による複数の照明発光パターン）、評価用照明パターン、及び最適化された検査用照明発光パターンに対応する照明パラメータベクトル及び照明パラメータ行列等を含むことができる。また、学習器パラメータ１３６は、例えば、各種の機械学習モデルが学習段階と検査段階で使用する照明パラメータや検査アルゴリズムパラメータ等を含むことができる。
【００５２】
ストレージ１３０に格納される各種処理プログラム１３２は、ＤＶＤ（Digital Versatile Disc）等の光学記録媒体又はＵＳＢ（Universal Serial Bus）メモリ等の半導体記録媒体等を介して、制御装置１００にインストールされてもよい。或いは、各種処理プログラム１３２は、ネットワーク上のサーバ装置等からダウンロードするようにしてもよい。
【００５３】
このように汎用コンピュータを用いて実現する場合には、ＯＳが提供するソフトウェアモジュールのうち、必要なソフトウェアモジュールを所定の順序及び／又はタイミングで呼び出して処理することで、本実施形態に係る機能の一部を実現するものであってもよい。すなわち、本実施形態に係る各種処理プログラム１３２は、本実施形態に係る機能を実現するための全てのソフトウェアモジュールを含んでおらず、ＯＳと協働することで、必要な機能が提供されるようにしてもよい。
【００５４】
また、各種処理プログラム１３２は、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、各種処理プログラム１３２自体には、上記のような組み合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。このように、本実施形態に係る各種処理プログラム１３２は、他のプログラムに組込まれた形態であってもよい。
【００５５】
なお、図２には、汎用コンピュータを用いて制御装置１００を実現する例を示すが、これに限定されず、その全部又は一部の機能を専用回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等）を用いて実現してもよい。さらに、一部の処理をネットワーク接続された外部装置に担当させてもよい。
【００５６】
以上のとおり、ハードウェア構成の観点から、検査システム１は、本開示における「検査装置」の一例に相当する。また、ワーク４は、本開示における「ワーク」の一例に相当する。さらに、光源ＬＳは、本開示における「光源」の一例に相当し、カメラ１０２は、本開示における「センサ」の一例に相当する。
【００５７】
［機能構成］
次に、図３を用いて、本開示の一実施形態に係る検査装置である検査システム１の機能構成の一例を説明する。図３は、検査システム１の機能構成（機能モジュール）の一例を模式的に示す平面図である。図３に示すように、検査システム１の制御装置１００は、撮像部１４１と、画像領域設定部１４２と、最適化算出部１４３と、判定部１４４と、記憶部１４５とを含むことができる。
【００５８】
制御装置１００における撮像部１４１、画像領域設定部１４２、最適化算出部１４３、及び判定部１４４は、汎用プロセッサによって実現することができ、本開示においては限定されず、これらの部品の全部又は一部の機能を専用回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等）を用いて実現してもよい。さらに、一部の処理をネットワーク接続された外部装置に担当させてもよい。
【００５９】
撮像部１４１は、照明最適化段階（ティーチングフェーズ）において、異なる複数のラベル（クラス、カテゴリ）に対応付けられる領域を有するワーク４を含む少なくとも１つのワーク４を、光源ＬＳ及びカメラ１０２により、複数の既定照明発光パターンで照明して撮像する。また、撮像部１４１は、学習段階及び検査段階において、光源ＬＳ及びカメラ１０２により、最適化された照明発光パターンで検査対象のワークを照明して撮像する。
【００６０】
画像領域設定部１４２は、照明最適化段階において、異なる複数のラベル、及び、所定形状（例えば、矩形、円形、楕円形等）を有する少なくとも１つの関心領域の組み合わせについて、複数の評価用ワーク画像（評価用の入力画像１３８）における関心領域（ＲＯＩ）の画像を抽出し、それらを評価用の画像領域として設定する。
【００６１】
最適化算出部１４３は、画像領域から、異なるラベル（クラス）に属する画像間の変動成分（例えば、差分や分散）に基づいて、それらの異なるラベルに属するワーク間のばらつきを示す第１指標を設定する。また、最適化算出部１４３は、画像領域から、同一のラベルに属する画像間の変動成分に基づいて、その同一のラベルに属するワーク間のばらつきを示す第２指標を設定する。それから、最適化算出部１４３は、光源ＬＳによる複数の既定照明発光パターンの任意の組み合わせに相当する評価用照明発光パターンにより、少なくとも１つのワークを照明して撮像したときの第１指標（の評価値）を最大化し、且つ、第２指標（の評価値）を最小化する最適解としての照明パラメータベクトルを求める。そして、その照明パラメータベクトルに基づいて最適化照明発光パターンを算出する。
【００６２】
判定部１４４は、検査段階において、撮像部１４１によって得られた検査用ワーク画像（検査用の入力画像１３８）、及び推定画像１４０を画像処理することにより、前記検査対象のワークのラベルを判定する。なお、判定部１４４は、例えば訓練済みの機械学習モデルによって、ベルトコンベア２上のワーク４の検査を行うことができ、また、ワーク４に関する最終検査結果を出力する。例えば、学習に用いる学習器が画像から抽出した特徴を生成するＣＮＮ（畳み込みニューラルネットワーク）である場合、判定部１４４は、その学習器が抽出した特徴に判定基準を応用して最終的な検査結果を生成する判定器を含むことができる。
【００６３】
記憶部１４５は、照明最適化段階において、撮像部１４１によって得られた各既定照明発光パターン及び各ワーク４に関連付けられた複数の評価用ワーク画像（評価用の入力画像１３８）、及び、学習段階及び検査段階において、撮像部１４１によって得られた検査用ワーク画像（検査用の入力画像１３８）を記憶する。また、記憶部１４５は、最適化算出部１４３による演算処理で得られた各種演算パラメータ、及び最適化された検査用の照明パラメータベクトルを記憶する。さらに、記憶部１４５は、検査システム１の動作に必要なプログラム又はデータを記憶する上述したストレージ１３０によって実現される。なお、制御装置１００は、記憶部１４５を含まなくてもよく、記憶部１４５に替えて、外部（装置）のストレージを用いてもよい。
【００６４】
以上のとおり、機能モジュールの観点から、制御装置１００は、光源ＬＳ及びカメラ１０２とともに、本開示における「撮像部」の一例に相当する。また、制御装置１００は、本開示における「画像領域設定部」、「最適化算出部」、及び「判定部」の一例として機能する。
【００６５】
§３  動作例
（照明最適化の評価基準）
ここでは、照明最適化の意義とその評価基準について概説した後、図面等を参照しながら、具体的な処理手順について説明する。まず、ワーク等の外観検査における照明設計の目的は、良品（正常品）と不良品（欠陥品）が正しく判別されるようにすることである。この問題は、従来、熟練者の人手によって解決されてきたが、システマティックに解決しようとした場合、「判定基準」と「照明設計の制御自由度」を予め決めて限定しておく必要がある。
【００６６】
ここで、判定基準として既定の判別アルゴリズムが与えられ、制御自由度としてＭＤＭＣ照明等のマルチチャネル照明が与えられた場合の照明最適化問題は、良品／不良品のカテゴリ分けを正解と一致させる「クロスエントロピー最小化問題」として定式化される。なお、ワークのラベル判定における判別器が機械学習器であった場合、照明最適化と判別器の学習を同時に行い、お互いにとって最も性能を発揮するチューニングを自動的にさせることも可能となる。
【００６７】
しかしながら、クロスエントロピー最小化を行わせようとする場合に大きな問題となるのが、良品／不良品のラベルが付加されたサンプルが大量に必要になる点にある。特に大きな自由度を有する照明を最適化させようとする場合、少数の良品／不良品ラベルを判別させるだけという基準では、最適な照明を一意に決めることが困難となってしまう。このような問題は、多くの評価用ワーク画像（サンプル画像）が得られない検査装置の立ち上げ時に特に憂慮すべき大きな課題となる。
【００６８】
そこで、本開示においては、この問題を解決するために、画像自体の評価基準（コントラスト、明るさ、近さ）をベースとして照明を最適化する手法を提案する。この場合、ワーク等の外観検査における最適化照明設計に求められる要件としては、大きく以下に示す２つを挙げることができる。
【００６９】
［要件１］良品（ラベル）と不良品（ラベル）の識別を行い易くする特徴を見えやすくすること（つまり欠陥を見え易くすること）
［要件２］良品ばらつき（個品ばらつき）を見え難くすること
【００７０】
但し、両要件は一般に相反する性質であるため、それらのバランスの取れた照明設計を行うことが照明最適化の難課題となる。ここでは、かかる要件を定量的に議論するため、良品と不良品の画像間の差異をＤｂ（第１指標：良品／不良品間ばらつき）、及び、良品の画像間の差異Ｄｗ（第２指標：良品間ばらつき）と表記する。これらは任意の評価基準を用いて定義してもよいが、本開示の実施形態及び変形例では、２次関数を用いる（すなわち、ばらつきを分散として定義する。）。前述の両要件を満たす照明設計では、Ｄｂの値を大きくしつつ、同時にＤｗの値を小さくする最適化問題を解かなくてはならない。この場合、２つの評価関数Ｄｂ，Ｄｗを同時に最適化するためには、両者のバランスを決める必要があるが、本開示においては、比型（Ｄｂ／Ｄｗ）と差型（Ｄｂ−λ・Ｄｗ）の評価式を用いる例に言及する。
【００７１】
なお、Ｄｂの値が大きく、且つ、Ｄｗの値が小さくなることが良いとされる定義であれば、任意の評価基準を用いてよい。比型（Ｄｂ／Ｄｗ）を用いる場合、Ｄｂ及びＤｗの値の大きさがある程度大きく違っていても最適化上の問題はないという特徴がある。なお、比型であるため、照明強度の絶対値が定まらず規格化された解が得られるケースがある。一方、差型（Ｄｂ−λ・Ｄｗ）の場合には、解の絶対値を決定する問題を扱い易い。なお、Ｄｂ及びＤｗの値の大きさの違いがある程度大きい場合、両者のバランスをとるための調整用パラメータ（λ）を導入することにより対応することができる。
【００７２】
さらに、いずれの評価基準を用いる場合であっても、最適化問題は照明の発光強度（マルチチャネル照明の各チャネルの強度）が非負の値となるような制約条件下で解を求めなくてはならないが、これは一般に難しい。通常、凸の２次関数であれば２次計画法等を用いれば高速に解を求めることができる。しかし、仮にＤｂ及びＤｗが共に簡単な凸の２次関数であったとしても、それらの差をとってしまうと２次の係数は正定値とはならず、いわゆるＮｏｎｃｏｎｖｅｘ  ＱＰ（Quadratic Programming）問題となってしまう。同様に、比型の評価関数を用いる場合もいわゆるＮｏｎｃｏｎｖｅｘ  ＱＣＱＰ（Quadratically Constrained Quadratic Programming）問題となってしまう。これらの最適化問題を解くため、本開示の実施形態ではＳＤＰ（Semidefinite Programming）による最適化手法に言及する。
【００７３】
なお、以下の実施形態及び各変形例の説明において、数式中で使用する各記号の意味は表１に示すとおりである。ボールドの小文字はベクトルを示し、ボールドの大文字は行列を示す（文中においては非ボールドで示す。）。それ以外の記号はスカラーである。
【００７４】
【表１】
2020189189.tif 000003
【００７５】
（マルチチャネル照明による撮影と内積演算の等価性）
本開示による検査システム１では、光源ＬＳとしてマルチチャネル照明を用いた撮像部１４１を用いるが、ここでは、検査システム１におけるセンサ側のリニアリティ（輝度とＱＬ値の間のリニアリティ）が成立していると仮定する。これはつまり、カラーフィルタのデモザイキング等の信号処理やガンマ補正、暗電流オフセット補正等の撮像補正を全て含んだシステムにおいてリニアリティが成立しているという意味である。画素飽和による非線形を避けるために、画像の撮影にはＨＤＲ（High dynamic range）合成等を用いてもよい。このとき、Ｌ個のチャネル照明ＬＳｉで照らしたワーク４を撮像する状況を考え、各チャネル照明の発光強度を、下記式（１）のベクトルとして表記する。
【００７６】
【数１】
2020189189.tif 000004
このとき、下記式（２）のようにi番目の照明のみを所定の強度で点灯させ、その他は消灯させて撮像された画像をコラムベクトルとして並べたものをｆｉとすると、任意の照明条件ｕにおける撮像画像ｇは、以下の式（３）のように画像合成によりモデル化できる。
【００７７】
【数２】
2020189189.tif 000005
ここで、Ａ及びｆは、それぞれ、下記式（４）で定義される射影行列とＮ枚分の画像を縦に並べてまとめたマルチチャネル画像（大きな１つのコラムベクトル；式（５））である。
【数３】
2020189189.tif 000006
また、上式において、各演算子等は以下のとおりである。
【数４】
2020189189.tif 000007
【００７８】
このように、マルチチャネル照明の最適化は元画像のｆからの内積演算による特徴ベクトルｇの生成、つまり射影行列Ａにおける線形射影方向ｕの最適設計をしていることと等価である。ここで、図４及び図５は、それぞれ、本開示に係るマルチチャネル照明を用いたシングルショット検査、及び、マルチショット検査におけるリニアリティの成立を前提とした画像合成モデルを示す模式図である。
【００７９】
次に、図６（Ａ）及び（Ｂ）も参照しながら、本開示の一実施形態に係る照明最適化方法を含む検査方法の一例について説明する。図６（Ａ）及び（Ｂ）は、それぞれ、本開示の一実施形態に係る照明最適化段階及び検査段階の処理手順の一例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は、本開示の技術思想の範囲内において可能な限り変更されてよい。また、以下で説明する処理手順は、実施形態や各構成例に応じて、適宜、ステップの省略、置換、及び追加が可能である。
【００８０】
（ステップＳ４１０）
ステップＳ４１０（撮像ステップ）では、シングルショット検査における照明最適化段階として、カメラ１０２及び撮像部１４１が、評価用のワーク４（Ｃ個）について、複数の既定照明発光パターン（Ｎパターン）のそれぞれで照明して撮像し、Ｃ×Ｎ枚の評価用ワーク画像を取得する。
【００８１】
ここで、一般に、マルチチャネル照明にＬ個のチャネル照明が実装されている状況において、１つのワーク４について、Ｎパターンの既定照明発光パターンで撮像を行ない、最適な照明発光パターンを決定する（ティーチングする）ことを考える。まず、ｎ（１≦ｎ≦Ｎ）枚目の撮像における照明発光パターンを、下記式（６）及び（７）のように定義する。
【数５】
2020189189.tif 000008
【００８２】
これらの既定照明発光パターンによってワーク４を撮像することで、任意の発光パターンで照らした場合のワークの撮影画像を再構成することが可能となる。これはＬＴ（Light Transport）行列の推定を行っていることと等価となる。一般にＬＴ行列の全ての自由度を取得するためには、下記式（８）の関係を満たすように、つまり線形独立となるように照明発光パターンを決定することが望ましい。
【数６】
2020189189.tif 000009
【００８３】
ここで、Ｌ個の照明の自由度を全て余すことなく活用させるためには、少なくともＮ＝Ｌであり、その際にＨはフルランクとなっている必要がある。一方、Ｎ＜Ｌの場合、照明個数の自由度を十分に活用できないものの、ワーク４の撮像時間を短縮させるためには有効な手法となる。これを実現する手法としては種々のものが考えられるが、代表的なものとして、Ｃｏｍｐｒｅｓｓｅｄ  Ｓｅｎｓｉｎｇを用いたＬＴ行列推定を行う手法が挙げられる。他方、Ｎ＞Ｌとするケースも考えられ、これは照明の自由度を十分に活用させるという意味では必要以上であって無駄な撮像枚数となるものの、ＳＮ比を高めたりダイナミックレンジを稼いだりといった別目的で選択することもできる。
【００８４】
これらの既定照明発光パターンで撮像された評価用ワーク画像をコラムベクトルとして並べたものをｆｉとして、これらをさらにＮ枚（Ｎパターン）分、縦に並べてまとめたマルチチャネル画像ベクトルを、下記式（９）として定義する。これは、前述した式（５）におけるＬ＝Ｎとしたものと同等である。
【数７】
2020189189.tif 000010
上式において、各演算子等は以下のとおりである。
【数８】
2020189189.tif 000011
【００８５】
（ステップＳ４１２，Ｓ４１４）
次に、ステップＳ４１２（画像領域設定ステップ）では、画像領域設定部１４２が、例えばユーザの指示に基づいて、異なる複数のラベル、及び、所定形状（例えば、矩形、円形、楕円形等）を有する少なくとも１つの関心領域（ＲＯＩ）の組み合わせについて、ステップ４１０で取得した評価用ワーク画像から所定の関心領域の画像を抽出し、画像領域を設定する。ステップＳ４１４（算出ステップ）では、最適化算出部１４３が、画像領域における画像データを用い、任意の評価用照明発光パターンでワーク４を照明して撮像したときの第１指標Ｄｂ（良品／不良品間のばらつき；欠陥の見え易さ）を最大化し、且つ、第２指標Ｄｗ（良品間ばらつき、個品ばらつき）を最小化する最適解の照明パラメータベクトルを、例えばフィッシャー線形判別等の判別分析で求める。
【００８６】
ここで、図１１（Ａ）及び（Ｂ）は、本開示の実施形態に係る検査装置の一例におけるユーザインターフェイスの表示画面の一例を示す模式平面図である。図１１（Ａ）には、ユーザが指定した関心領域（ＲＯＩ）Ｒ０の画像と、その関心領域Ｒ０のインデックスＩｎｄ（重みを含む。重みについては、後述の第９変形例参照。）が表示される。この関心領域Ｒ０を設定するには、例えば図１１（Ｂ）に示す関心領域選定用のポップアップウィンドウＰＷを用いることができる。このポップアップウィンドウＰＷには、予め既定照明発光パターンで撮像された評価用ワーク画像の一覧が表示され、ユーザが所望の評価用ワーク画像をタップ等することにより、その画像が拡大表示される（図示の例では、２番目のワークの画像が選択されている。）。
【００８７】
ユーザは、その拡大表示画像における所望の領域を、タップ及びピンチ操作することにより、所望の範囲の領域を関心領域Ｒ０として抽出することができる。こうして選定された関心領域Ｒ０の画像が、図１１（Ａ）に示すように抜き出し表示される。また、図１１（Ａ）に表示されたタッチボタンＢｔをタップすることにより、図１１（Ｂ）に示すポップアップウィンドウＰＷが再表示され、関心領域Ｒ０を変更、又は、別の関心領域Ｒ０を追加選択できるようにしてもよい。さらに、１つの評価用ワーク画像から、複数の関心領域Ｒ０を一時に選択できるようにしてもよい。同一エリア（インデックスＩｎｄにおいて同じｐ）の複数の異なる関心領域Ｒ０を選択する場合、領域の形状及び大きさが同一になるように選定することが望ましい。
【００８８】
（任意の照明発光パターン）
ここで、Ｎ枚の評価用ワーク画像から推定可能な範囲の任意の発光パターンｕとその際の撮像画像ｇは、下記式（１０）乃至（１２）で表現される。
【数９】
2020189189.tif 000012
【００８９】
ここで、ｘｉは既定照明発光パターンにおける撮影画像の画像合成重みである。なお、光源ＬＳの各チャネル照明ＬＳｉの各発光強度の指令値は、この重み値に基づいて算出されるが、この重み値そのものではない。また、これは一般に負の値をとることも許されるが、照明の発光強度は必ず非負でなければならないため、下記式（１３）の条件が課せられる。
【数１０】
2020189189.tif 000013
【００９０】
またここで、ベクトルや行列に対する不等号は、全ての要素についての不等号であるとする。Ｈ＝Ｉ、つまり、光源ＬＳのチャネル照明ＬＳｉを１つずつ点灯させてＬ＝（Ｎ）枚撮像した場合には、ｕとｘは等価となる。よって、最適な画像合成重みｘを求めることによって、その際の最適な照明パラメータベクトルｕを求めることができる。
【００９１】
（フィッシャー線形判別）
フィッシャー線形判別は、「ラベル（クラス）間分散を最大化」し、且つ、「ラベル（クラス）内分散を最小化」する射影ベクトルを求めることができる手法である。フィッシャー線形判別では、特徴ベクトル生成のための演算は単なる内積であるため、近年の非線形な各種演算を取り入れた手法と比較すると効果は非常に限定されている。しかしながら、本開示が取り扱う照明パラメータの最適化においては、前述のようにマルチチャネル照明による撮像を演算と看做すと、数学的には単なる内積演算及び線形射影そのものである。従って、最適な線形射影を求めることができるフィッシャー線形判別は、本開示における照明の最適化問題に有効であるといえる。
【００９２】
以下、画像の近さ（類似度）に注目して、ラベル（クラス、カテゴリ）間分散及びラベル内分散を定義し、それによってフィッシャー線形判別を実現するマルチチャネル照明の照明発光パターンを算出する問題を定式化する。一般に、ワークをＫ個のラベル（クラス、カテゴリ）に分類する場合、例えば良品（ＰＡＳＳ）と不良品（ＦＡＩＬ）のみの判別ではＫ＝２となる。ラベルのインデックスは１≦ｋ≦Ｋとする。
【００９３】
また、評価用ワーク画像の関心領域（ＲＯＩ）間の比較対象としてＰ（≧１）のグループを有するものとする。照明の最適化基準は、これらの同一グループに属する画像群のばらつきの大きさによって定義される。関心領域の比較対象グループのインデックスは１≦ｐ≦Ｐとする。
【００９４】
このとき、照明最適化を行うのに先立ち、前述のとおり、各kとpの組み合わせについて、評価用ワーク画像から関心領域部分の画像を抽出した画像領域が下記式（１４）で与えられているものとする。
【数１１】
2020189189.tif 000014
【００９５】
また、評価用のワーク４の個数Ｃは、必ずしもこの画像領域の要素数とは一致しない。すなわち、１つの評価用ワーク画像から複数の関心領域が抜き出される場合が存在することに加え、どの関心領域がどの関心領域比較対象グループに属するのかは、ユーザにより、任意に選択され、且つ、任意に設定されていてもよいので、ユーザの指示次第で変化するためである。
【００９６】
ここで、図１２は、本開示の実施形態に係る検査装置の一例におけるユーザインターフェイスの表示画面の他の一例を示す模式平面図であり、前記式（１４）の画像領域を設定している状態を示す図でもある。なお、ここでの画像領域の各関心領域Ｒ０の画像のインデックスＩｎｄとして重みを含んでいるが、重みについては、後述の第９変形例において詳説する。
【００９７】
図１２は、比較対象グループのインデックスｐ（エリア）に属する画像領域がタブ形式で表示されたポップアップウィンドウＰＷの一例である。図示においては、エリア＝１に属するラベル＝１及び２（それぞれ良品ラベル及び不良品ラベル）毎にユーザが選定した関心領域Ｒ０の画像（図示紙面に向かって左端の画像）と、それぞれに対してユーザが重み付け（インデックスｓ）した画像がグループ化されている。また、図１２のポップアップウィンドウＰＷには、各エリアに設定された重みも表示されており、ユーザが選定した関心領域Ｒ０の画像には、ラベル間の第１指標Ｄｂ及び同一ラベル内の第２指標Ｄｗについて平均からの分散（それぞれβ及びα）がゲージ表示されている。また、重み付けされた各関心領域Ｒ０には、重み付けされた同一ラベルの第２指標Ｄｗ（α）が表示されている。また、ポップアップウィンドウＰＷにおける各ラベルの側脇には、関心領域Ｒ０の追加ボタンＢｘ（領域の選択については、図１１参照。）が表示されており、ラベルの下方には、ラベルｋの追加ボタンＢｙも表示されている。
【００９８】
ここで、改めて述べると、最適化段階（ティーチング）に用いる評価用ワーク画像（下記式（１５））は、マルチチャネル照明の各チャネルの既定照明発光パターンの（評価用発光パターン）ｈｎに従って点灯させてＮ枚ずつ撮影されているものとする。これらを用いて、ラベル（クラス）内距離（良品ばらつき）の期待値Ｄwithin及びラベル（クラス）間距離（欠陥の見やすさ）の期待値Ｄbetweenを、下記式（１６）及び（１７）のようにｌ２距離として定義する。
【００９９】
【数１２】
2020189189.tif 000015
ここで、Ｖａｒ（Ｓ，ｍ）はマルチチャネル画像の集合Ｓと平均ｍから、下記式（１８）のとおり算出され、これは、照明パラメータベクトルｘの２次形式として表現できる。このときの分散行列をＱと表記する。
【数１３】
2020189189.tif 000016
【０１００】
上記式（１８）において、行列Ｒ及びＱは、具体的に下記式（１９）及び（２０）のように表現される。
【数１４】
2020189189.tif 000017
【０１０１】
これ以降の展開では、期待値Ｄbetween及びＤwithinに対応する分散行列を、それぞれ分散行列Ｑbetween及びＱwithinとし、これらを利用して評価関数を設計する。これらの分散行列は通常とは異なり、この場合は照明パラメータベクトルに関する２次形式であるため、ラベル内サンプル数が仮に２であったとしても、Ｑのランクは１であるとは限らず、マルチチャネル照明の構成にもよるが、フルランク近くある場合が多い。
【０１０２】
そして、フィッシャー線形判別では、ラベル（クラス）間分散の最大化とラベル（クラス）内分散の最小化を同時に実現するために、比型（Ｄｂ／Ｄｗ）の評価関数では、下記式（２１）で表される評価式を最大化させるｘが求めるべき画像合成重み、すなわち最適化照明パラメータに相当する。
【数１５】
2020189189.tif 000018
なお、上式においてｘのノルムを制約している意味は、評価関数のみでは不定となってしまうためである。フィッシャー線形判別の最適射影方向は、ラグランジュ（Lagrange）未定乗数法により、一般固有値問題における固有値最大の固有ベクトルとして求めることができる。しかしながら、照明最適化において問題となるのが、固有ベクトルは負値を持ちうるという点である。つまり、固有ベクトルに沿う方向で照明パラメータベクトルを設定すればよいのであるが、実際は負の照明強度を実現することができないため、この点に対する解決策は、後記の変形例５−２及び５−３で述べる。
【０１０３】
そして、ステップＳ４１４では、上記のフィッシャー線形判別における評価式（２１）を最大化させるｘに対応した照明パラメータベクトルｕに基づいて、検査に最適化された照明発光パターンを算出する。
【０１０４】
（ステップＳ４２０，Ｓ４２２）
ステップＳ４２０では、検査段階として、カメラ１０２及び撮像部１４１が、検査用に最適化された照明発光パターンを用い、検査対象のワークの検査用ワーク画像を取得する。そして、ステップＳ４２２において、判定部１４４が、そのワークのラベル判定（例えば、キズ等の欠陥の有無の検査）を行う。
【０１０５】
§４  作用・効果
以上のとおり、本実施形態に係る検査装置としての検査システム１、及び、それを用いた検査方法の一例によれば、ワークの欠陥を強調しつつ、ワークの良品ばらつきや個体ばらつきの影響を抑制し得る最適化された照明発光パターンを得ることができる。その結果、ワークの欠陥の見逃しや誤判定を低減することができるので、ワークの検査性能及び検査効率を向上させることができる。また、従来の照明パラメータの最適化で必要となっていた手間と工数を軽減することができるので、生産性及び経済性を向上させ、しかも、記憶資源等のリソースの節約に資することができる。
【０１０６】
また、フィッシャー線形判別を用いつつ、比型（Ｄｂ／Ｄｗ）の評価関数に基づく評価式を最大化するので、Ｄｂの最大化とＤｗの最小化を直接的に解析することができ、また、Ｄｂ及びＤｗの大きさがある程度大きく違っていても最適化が可能である。さらに、比型の評価関数を用いるので、シングルショット検査における照明パラメータ、及び、マルチショット検査における照明パラメータの何れの最適解をも好適に求めることができる。
【０１０７】
ここで、図１３（Ａ）乃至（Ｃ）は、本開示に係る検査装置によるフィッシャー線形判別を用いた照明最適化結果の一例を示す写真（再構成画像）である。図１３（Ａ）はワーク４における欠陥（ヘアライン上のキズＨＬ）を有する関心領域Ｒ１と欠陥がない関心領域Ｒ２の対比（Ｄｂ）の例であり、図１３（Ｂ）は、欠陥がない関心領域Ｒ３，Ｒ４同士の対比（Ｄｗ）の例である。図１３（Ｃ）は、Ｄｂ（良品／不良品間のばらつき；欠陥の見え易さ）を最大化し、且つ、Ｄｗ（良品間ばらつき、個品ばらつき）を最小化する最適解の照明発光パターンでヘアライン上のキズＨＬの部位を照明して撮影した結果の例である。これらのとおり、本開示によれば、ワーク４の欠陥を強調しつつ、ワークの良品ばらつきや個体ばらつきの影響を抑制でき、欠陥の判定性能を向上させ得ることが理解される。
【０１０８】
§５  変形例
以上、本開示の一例としての実施形態について詳細に説明してきたが、前述した説明はあらゆる点において本開示の一例を示すに過ぎず、本開示の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもなく、例えば、以下に示すような変更が可能である。なお、以下の説明においては、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、説明を適宜省略した。また、上記実施形態及び以下の各変形例は、適宜組み合わせて構成することが可能である。
【０１０９】
＜５．１：第１変形例＞
第１変形例の検査システムは、照明最適化段階におけるフィッシャー線形判別において、比型（Ｄｂ／Ｄｗ）の評価関数に基づく評価式に替えて、差型（Ｄｂ−λ・Ｄｗ）の評価関数に基づく評価式を用いること以外は、上記実施形態における検査システム１と同様の構成を有する。比型（Ｄｂ／Ｄｗ）の評価関数を差型の評価関数に変換する場合、ＤｂとＤｗの調整用のパラメータλ（＞０）を導入して、下記式（２２）で表される評価式を最小化させる。
【数１６】
2020189189.tif 000019
【０１１０】
これを実現するためには、下記式（２３）及び式（２４）のように再定義した分散行列を用いてＳＤＰによる最適化を、比型（Ｄｂ／Ｄｗ）の場合と同様に実施すればよい。但し、λの値を最適に選択する必要があり、その場合は、手動によるパラメータチューニングで対応することができる。
【数１７】
2020189189.tif 000020
【０１１１】
ここで、図１４は、本開示に係る検査装置において、比型（Ｄｂ／Ｄｗ）の評価関数を用いたフィッシャー線形判別による照明最適化結果の一例を示す写真である。また、図１５は、本開示に係る検査装置において、差型（Ｄｂ−λ・Ｄｗ）の評価関数を用いたフィッシャー線形判別による照明最適化結果の一例を示す写真である。何れも、図１３（Ａ）乃至（Ｃ）に示す欠陥（ヘアライン上のキズＨＬ）を有する関心領域Ｒ１に相当する領域のワーク画像である。図１５に示すように、差型の評価関数を用いた場合、ＤｂとＤｗの調整用のパラメータλを適宜調整してバランスをとることにより、最適解を探索することができる。
【０１１２】
第１変形例の構成によれば、比型と同様に、良品ばらつきを見え難く、且つ、欠陥を見え易くする照明パラメータを求めることができ、また、解の絶対値を決定する問題を扱い易い利点がある。さらに、特にシングルショットでの最適解を高速に求めることができる。
【０１１３】
＜５．２：第２変形例＞
先に述べたとおり、フィッシャー線形判別の最適射影方向は、ラグランジュ（Lagrange）未定乗数法により、一般固有値問題における固有値最大の固有ベクトルとして求めることができる。しかし、照明最適化においては、固有ベクトルが負値となり得るところ、実際には負の照明強度を実現することができないため、この点への対処が有効となる場合がある。
【０１１４】
これに対し、第２変形例では、最適化算出部１４が、フィッシャー線形判別において、照明パラメータベクトルの全成分が非負値である制約条件を含める例である。よって、本変形例によれば、成分が全て正値である最適化された照明パラメータベクトルを求めることができる。
【０１１５】
さらに具体的に、ここでは、数理計画法によって非負条件で照明最適解を高速に算出する方法を述べる。オリジナルの問題は、下記式（２５）で表されるフィッシャー線形判別の評価式を最大化するものであった。
【数１８】
2020189189.tif 000021
【０１１６】
ここで、Ｈｘ≧０という表記は、ベクトルＨｘの全ての要素が非負であるという意味である。さらに、この問題は、一般性を失うことなく、下記式（２６）のように変形することもできる。
【数１９】
2020189189.tif 000022
【０１１７】
これは、いわゆるＮｏｎｃｏｎｖｅｘ-ＱＣＱＰ（Quadratic Constrained Quadratic Programming）問題として知られ、一般に、ＮＰ困難な最適化問題となってしまい、解を探索するのに大変時間がかかってしまう。これを短時間で最適化するために、ＳＤＰ（Semidefinite Programming；半正定値計画問題）へと緩和を行う。具体的には、ｘｘＴを半正定値行列Ｘであるとして置換し、下記式（２７）で表現できる最適化問題へ変形する。
【数２０】
2020189189.tif 000023
【０１１８】
ここで、＜Ａ，Ｂ＞Ｆ＝tr（ＡＢＴ）は行列のＦｒｏｂｅｎｉｕｓ内積を意味し、ＨＸＨＴ≧０は行列の全要素が非負であること、式（２７）に含まれる下記式（２８）は行列Ｘが半正定値であること、ＸＴ＝Ｘは対称行列であることを意味する。
【数２１】
2020189189.tif 000024
【０１１９】
この問題はＳＤＰソルバーによって高速に最適解Ｘを求めることができる。解ＸはＳＤＰの拘束条件の数より、ほぼランクが１となることが知られており、その場合、Ｘ＝ｘｘＴと近似できるため、ＨＸＨＴ＝ＨｘｘＴＨＴ＝ｕｕＴを固有値分解して固有値最大に対応する固有ベクトルを求めることで最適解ベクトルｕを得る。そして、Ｐｅｒｒｏｎ-Ｆｒｏｂｅｎｉｕｓの定理より、ＨＸＨＴ≧０のときはｕ≧０となることが保証されているため、最適解は全て非負の照明設定値としてそのまま利用できる。
【０１２０】
＜５．３：第３変形例＞
上記第２変形例では、一般固有値問題としての解法を適用することが難しい場合があるのに対し、第３変形例は、固有ベクトルが負値を取り得ることを前提とする例である。図７は、第３変形例における検査用ワーク画像を取得する手順の概要を示す模式図である。同図に示すように、本変形例では、最適解として得られる照明パラメータベクトルが、図７に示すような例えば、正値の成分ｘ１，ｘ２，ｘ４及び負値の成分ｘ３，ｘ５を含むｘである場合を想定する。この場合、最適化算出部１４３は、正値の成分から構成されるベクトルｘ＋＝（ｘ１，ｘ２，０，ｘ４，０）に基づく第１最適化照明発光パターンを求め、且つ、前記負値の成分の絶対値から構成されるベクトルｘ-＝（０，０，−ｘ３，０，−ｘ５）に基づく第２最適化照明発光パターンを求める。なお、ｘ３及びｘ５は負値であるので、ベクトルの成分表記は−ｘ３及び−ｘ５となる。そして、カメラ１０２及び撮像部１４１は、検査対象のワークを、第１最適化照明発光パターン及び第２最適化照明発光パターンのそれぞれで照明して撮像した第１画像及び第２画像を取得し、判定部１４４が、第１画像及び第２画像の差分に基づいて、検査用ワーク画像を出力する。
【０１２１】
第３変形例の構成によれば、一般固有値問題における固有値最大の固有ベクトルを数学的に完全に再現した最適解を求めることができ、負値の照明強度を疑似的に再現することができる。従って、疑似的に元の正値と負値が混在する最適化された照明パラメータベクトルに基づく最適化照明発光パターンで検査対象のワークを直接撮影したのと同等の効果を得ることができる。
【０１２２】
＜５．４：第４変形例＞
第４変形例も、固有ベクトルが負値を取り得ることを前提とする例であり、フィッシャー線形判別の基準によってマルチショット検査における撮像条件を算出する例である。一般に、フィッシャー線形判別では、一般固有値問題の固有値最大の固有ベクトルとして射影ベクトルを算出する。しかし、固有値がゼロでない限り、主成分分析のようにして、大きい方から順番にＭ（Ｌ＞Ｍ≧１）本の固有ベクトルを選出して構成する線形部分空間を特徴部分空間とすることで、より多くの情報を抽出することが可能である。なお、より多くの情報を抽出できる一方、特徴の圧縮率は下がってしまうことになる。但し、Ｍの値を照明の個数Ｌ以上と設定してしまうと、マルチチャネル照明から得られる全ての情報を取得することと等価となってしまうので、フィッシャー線形判別の考え方に基づいた照明発光パターンの最適化をする意味がなくなってしまう。また、Ｍが大きいほどタクトタイムが大きくなるため、検査工程に許容され得るタクト上限を元に、Ｍを決定すると好適である。
【０１２３】
第４変形例では、より具体的には、最適化算出部１４３は、最適解として得られる照明パラメータベクトルが、正値及び負値の成分を含む場合、その照明パラメータベクトルとして、主成分分析における固有値が大きい複数（例えばＭ本：特徴部分空間の次元数に相当）の固有ベクトルを選定する。そして、それらの複数の固有ベクトルのそれぞれについて、正値の成分から構成されるベクトルに基づく第１最適化照明発光パターンを求め、且つ、前記負値の成分の絶対値から構成されるベクトルに基づく第２最適化照明発光パターンを求める。
【０１２４】
さらに、カメラ１０２及び撮像部１４１は、検査対象のワークを、複数の固有ベクトルのそれぞれに対応する前記第１最適化照明発光パターン及び前記第２最適化照明発光パターンで照明して撮像した第１画像及び第２画像を取得する。それから、判定部１４４は、それらの第１画像及び第２画像の差分に基づいて、検査用ワーク画像を取得する。なお、本変形例における処理は、Ｍ本の固有ベクトルを選定し、正負２Ｍ回の撮像を行うこと以外は、各ベクトルを正値成分のベクトルと負値成分の絶対値のベクトルへ分割する以降の処理は、図７に示す第３変形例における処理と実質的に同等である。
【０１２５】
また、図８（Ａ）及び（Ｂ）は、それぞれ、第４変形例に係る照明最適化段階及び検査段階の処理手順の一例を示すフローチャートである。第４変形例における処理は、ステップＳ４１２において特徴部分空間次元数Ｍを出力すること、ステップＳ４１４において最適化された検査用の照明パラメータベクトルｕ１，ｕ２、…，ｕ２Ｍに基づく照明発光パターンを算出すること、及び、ステップＳ４２０において検査時の最適化された２Ｍ枚分の照明発光パターンで検査用ワーク画像を撮像すること以外は、図６（Ａ）及び（Ｂ）に示すフローチャートにおける処理と同様である。
【０１２６】
第４変形例の構成によれば、疑似的に元の正値と負値が混在する複数の照明パラメータベクトルの照明発光パターン（マルチショット）で検査対象のワークを直接撮影したのと同等の効果を得ることができる。また、当該構成は、実質的に、多枚数のマルチショット検査となるので、シングルショット検査に比して、検査性能を有意に高めることができる。さらに、第１画像と第２画像の差分をとることにより、暗電流オフセット値がキャンセルされるので、両者の黒レベルが同じであれば、暗電流補正を省略することも可能となる。
【０１２７】
＜５．５：第５変形例＞
第５変形例は、マルチショット検査における撮影画像セットより得られる情報を扱うため、マルチショット撮像結果の画像セットをひとまとめにして１つの巨大なコラムベクトルとして扱う例である。換言すれば、第５変形例は、評価用照明発光パターンが、マルチショットである場合、最適化算出部１４３が、評価用照明発光パターンを構成する複数の照明パラメータベクトルを重畳した１つのコラムベクトルに相当する評価用照明発光パターンを用いて照明最適化を行う。そして、最適化算出部１４３は、第１指標（の評価値）を最大化し、且つ、第２指標（の評価値）を最小化するマルチショット用の最適化照明発光パターンを算出する。
【０１２８】
Ｍ枚のマルチショット検査を実施するとき、ｍ（１≦ｍ≦Ｍ）番目の撮影画像ベクトルｇｍをコラム方向に積んで１つの大きなベクトルｇとしたものを、下記式（２９）のように定義する。
【数２２】
2020189189.tif 000025
上式において、各演算子等は以下のとおりである。
【数２３】
2020189189.tif 000026
【０１２９】
マルチショットにおける各ショットの撮像画像ｇｍは、画像合成重みをｗｉ，ｍとして、下記式（３０）のように表現される。
【数２４】
2020189189.tif 000027
【０１３０】
これらをまとめて書き直すと、ｍ番目の撮像における画像合成重みベクトル（前述のシングルショットの場合におけるｘに相当）を下記式（３１）で表したＮ×Ｍのマルチショット画像合成重み行列Ｗを用いて、下記式（３２）及び（３３）のように表現できる。
【数２５】
2020189189.tif 000028
【０１３１】
この定義を用いた場合のＶａｒ（Ｓ，ｍ）は、同様に下記式（３４）のように表現され、シングルショットの場合と同様に、照明パラメータベクトルの２次形式として表現できる。なお、vecＷは、下記式（３５）のとおり表される。
【数２６】
2020189189.tif 000029
【０１３２】
ここで、シングルショットの場合における照明パラメータベクトルｘがvecＷで置換されたと読み替えれば、分散行列は、シングルショットの場合における分散行列Ｑが、マルチショットの場合には、下記式（３６）に置き換わったものとして、シングルショットの場合と同じ問題として定式化することが可能となる。非負条件は、下記式（３７）乃至（３９）のように変形して扱う。
【数２７】
2020189189.tif 000030
【０１３３】
そして、シングルショット検査における照明最適化の場合と同様にして、期待値Ｄbetween及びＤwithinに対応する分散行列を、それぞれ、下記式（４０）として求め、これらを利用して、数理計画法に帰着させて最適解を得る。
【数２８】
2020189189.tif 000031
【０１３４】
第５変形例によれば、１つのコラムベクトルが、複数の照明パラメータベクトルを含む照明パラメータ行列となり、任意の撮影枚数において最適なマルチショット用の照明発光パターンを得ることができる。
【０１３５】
＜５．６：第６変形例＞
フィッシャー線形判別の基準に基づく照明の最適化では、検査対象のワークの検査（ラベル判定）段階に線形な画像処理を適用した場合に、照明パラメータと画像処理パラメータを同時に最適化させて、より高い性能を実現させることが可能である。そこで、第６変形例は、判定部１４４による画像処理の形式が、線形な画像処理であり、最適化算出部１４３による第１指標Ｄｂ（Ｄbetween）を最大化しつ、且つ、第２指標Ｄｗ（Ｄwithin）を最小化する最適化と、判定部１４４による画像処理に用いる画像処理パラメータの最適化を同時に行う例である。
【０１３６】
ここで、図９（Ａ）及び（Ｂ）は、それぞれ、第６変形例に係る照明最適化段階及び検査段階の処理手順の一例を示すフローチャートである。第６変形例における処理は、ステップＳ４１２と並行して、例えばユーザが画像処理タイプを指定するステップＳ４３３を実行すること、ステップＳ４１４において、最適化された検査用の照明パラメータベクトルｕと最適化された検査用の画像処理Ｂを出力すること、及び、ステップＳ４２２に先立って、検査用ワーク画像に、固定された線形な画像処理を適用するステップＳ４４２を実行すること以外は、図６（Ａ）及び（Ｂ）に示すフローチャートにおける処理と同様である。
【０１３７】
線形な画像処理の例としては、表２に示すものが挙げられる。なお、表中のｆは検査用ワーク画像（入力画像）ベクトルを示す。
【０１３８】
【表２】
2020189189.tif 000032
【０１３９】
上記のとおり、任意の線形な画像処理は行列表現でＢと表記する可能であるが、画像処理タイプによってＢ内部の各変数間の拘束条件は異なる。例えば、シングルショット検査における画像処理適用後の画像ｇは下記式（４１）のように表現できる。
【数２９】
2020189189.tif 000033
ここで、Ａ及びｆは、それぞれ、下記式（４２）及び（４３）で定義される射影行列とＮ枚分の画像を縦に並べてまとめたマルチチャネル画像（大きな１つのコラムベクトル）を示す。
【数３０】
2020189189.tif 000034
上式において、各演算子等は以下のとおりである。
【数３１】
2020189189.tif 000035
【０１４０】
この定義を用いた場合のＶａｒ（Ｓ，ｍ）は、同様に下記式（４４）のように表現される。
【数３２】
2020189189.tif 000036
上式において、行列ＱＢは、具体的に下記式（４５）のように表現される。
【数３３】
2020189189.tif 000037
【０１４１】
ここでのＶａｒ（Ｓ，ｍ）は、照明ベクトルｘと画像処理Ｂに関して２次形式とはなっていないため、これまで説明した各例と同様の方法では同時に最適化することはできない。しかしながら、画像処理Ｂを固定することにより、照明ベクトルｘに関して２次形式となり、一方、照明ベクトルｘを固定することにより、画像処理Ｂに関して２次形式となるので、それぞれを固定して、反復的に相互に最適化を繰り返すことで、同時最適化をした場合の結果に近似させることができる。画像処理Ｂを固定した場合の照明ベクトルｘの最適化は、行列Ｑの定義をＱＢに置換することにより、前述の方法と同様にＳＤＰ等の数理計画法によって高速に最適化することが可能である。
【０１４２】
また、照明ベクトルｘを固定した場合の画像処理Ｂの最適化については、Ｖａｒ（Ｓ，ｍ）を下記式（４６）及び（４７）のように書き直すことで対応できる。
【数３４】
2020189189.tif 000038
【０１４３】
一般に、画像処理の行列Ｂの最適化においては拘束条件が存在する。例えば、画像処理がコンボリュージョンフィルタの場合には、行列Ｂの形はToeplitz行列に拘束され、さらに明るさ（ＤＣ成分）を一定値とするために、係数の総和が一定値となるように拘束される場合が多い。このように、検査段階における画像処理の具体的な内容によって拘束条件が変化するため、一般化した具体的な表現はできないが、これらの多くは、同様にフィッシャー線形判別の評価基準をＳＤＰに帰着させて高速に最適解を求めることが可能である。拘束条件を満たす画像処理Ｂの集合を用いて、前述のアルゴリズムは、下記式（４８）乃至（５０）で示すステップとして表現される。
【０１４４】
【数３５】
2020189189.tif 000039
【０１４５】
また、マルチショット検査の場合、シングルショット検査の場合と同様に、画像処理を行列表記Ｂと表現し、一般に、入力として、Ｍ枚の画像ベクトルｇｍ（１≦ｍ≦Ｍ）が１つのコラムベクトルに積まれたものを入力とするものとする。画像処理適用後の画像ｇは下記式（５１）のように表現できる。
【数３６】
2020189189.tif 000040
上式において、各演算子等は以下のとおりである。
【数３７】
2020189189.tif 000041
【０１４６】
マルチショットにおける各ショットの撮像画像ｇｍは、画像合成重みをｗｉ，ｍとして、下記式（５２）のように表現される。
【数３８】
2020189189.tif 000042
【０１４７】
これらをまとめて書き直すと、ｍ番目の撮像における画像合成重みベクトル（前述のシングルショットの場合におけるｘに相当）を下記式（５３）で表したＮ×Ｍのマルチショット画像合成重み行列Ｗを用いて、下記式（５４）及び（５５）のように表現できる。
【数３９】
2020189189.tif 000043
【０１４８】
この定義を用いた場合、画像処理Ｂを固定した場合のＮ×Ｍのマルチショット画像合成重み行列Ｗの最適化は、Ｖａｒ（Ｓ，ｍ）を下記式（５６）のように展開して行う。ＱＢの定義はシングルショット検査の場合と等しく、この評価式は検査段階の画像処理を含まない場合と同じ形式であり、同様の手法で最適化できる。
【数４０】
2020189189.tif 000044
【０１４９】
Ｎ×Ｍのマルチショット画像合成重み行列Ｗを固定した場合の画像処理Ｂの最適化については、Ｖａｒ（Ｓ，ｍ）を下記式（５７）及び（５８）のように書き直すことで対応できる。
【数４１】
2020189189.tif 000045
【０１５０】
この場合も同様に、一般に、拘束条件を入れて画像処理の行列Ｂの最適化をＳＤＰ等に帰着させて最適解を得ることができる。なお、マルチショット画像合成重み行列Ｗと画像処理Ｂを交互に最適化する手法も同等であるので、ここでの詳細な説明を省略する。
【０１５１】
ここで、図１６（Ａ）乃至（Ｃ）は、第６変形例（及び後述する第７変形例）におけるユーザインターフェイスの表示画面の一例を示す模式平面図である。図１６（Ａ）は、線形な画像処理を選択するためのポップアップウィンドウＰＷであり、各種線形画像処理における係数パラメータを設定する画面を選択するためのボタンＢｚも表示されている。このポップアップウィンドウＰＷから、コンボリューションフィルタをタップ等により選択すると、図１６（Ｂ）に示す線形な画像処理の種類（表２）を選択するための画面が表示され、所望の画像処理タイプを選択すると、同時最適化（第６変形例）、又は、画像処理タイプに対応した既定の係数又は決定アルゴリズムを選択するための画面が表示される。
【０１５２】
第６変形例によれば、シングルショット検査及びマルチショット検査の両方に対応することができ、検査段階で使用する照明発光パターンと線形な画像処理を同時に最適化することができる。
【０１５３】
＜５．７：第７変形例＞
第７変形例は、フィッシャー線形判別の基準に基づく照明の最適化において、照明最適化段階において撮像した評価用ワーク画像について、線形な画像処理を行う例である。すなわち、第７実施例では、最適化算出部１４３は、最適化照明発光パターンの算出に先立って、取得した評価用ワーク画像に対する線形な画像処理を行う。
【０１５４】
ここで、図１０（Ａ）及び（Ｂ）は、それぞれ、第７変形例に係る照明最適化段階及び検査段階の処理手順の一例を示すフローチャートである。第７変形例における処理は、ステップＳ４３３において、後段のステップＳ２５４で実施する固定された線形の画像処理用のパラメータを指定すること、及び、ステップＳ４１４に先立つステップＳ２５４において、評価用ワーク画像（又は画像領域）に対して、指定されたパラメータによる線形の画像処理を実施すること以外は、図９（Ａ）及び（Ｂ）に示すフローチャートにおける処理と同様である。
【０１５５】
ここでの線形の画像処理としては、例えば、特定の周波数帯域のみに注目して画像を一致させたり、オフセットの変動を見ないようにするためにＤＣ成分をカットしたりする等の処理が挙げられる。最適化の手法としては、第６変形例と同様に、画像処理Ｂを固定して照明ベクトルｘのみの最適化を行う手法と同等となる。この第７変形例においても、第６変形例と同様に、図１６（Ａ）乃至（Ｃ）に示すユーザインターフェイスの表示画面の一例を利用して、所望の線形な画像処理、及び、フィルタ設定等を行うことができる。
【０１５６】
第７変形例によれば、シングルショット検査及びマルチショット検査の両方に対応することができる。また、特定の周波数帯域のみに注目して画像を一致又は乖離させることができ、さらに、経時変化によるオフセットの変動を見ないようにするためにＤＣ成分をカットするといった処理を含める場合においても、画像の一致又は乖離を好適に実施することができる。
【０１５７】
＜５．８：第８変形例＞
前述のとおり、フィッシャー線形判別による照明設計は、良品と欠陥の差異を大きくして欠陥を見え易くすることと、良品ばらつきを小さくするという評価基準を有しており、これは複数の画像間の差異に注目した手法である。しかし、問題設定によっては、画像間の差異を扱うのではなく、単一の画像から評価値を算出して、その最大化又は最小化を行う方が便利な場合（例えば、単純に特定領域のコントラストを強く又は弱くしたいといった場合）がある。
【０１５８】
そこで、第８変形例は、画像領域設定部１４２又は最適化算出部１４３は、比較対象の関心領域（ＲＯＩ）の画像の一方に、全ての画素値が０である画像を代入する例である。すなわち、第８変形例における単一画像からの評価値を算出する場合の具体的な最適化手法としては、第７変形例のシングルショット検査の場合において、比較する片方の画像に全ての画素値が０である画像を代入することにより実現できる。また、コントラストを評価基準として扱う場合には、画像処理Ｂに例えばハイパスフィルタを設定すればよい。より具体的に表現すると、サンプル画像領域Ｓの要素数を１とした上で、Ｖａｒ（Ｓ，ｍ）を下記式（５９）に置換することになる。
【数４２】
2020189189.tif 000046
【０１５９】
展開式の最終的な形式は同じになるので、シングルショットの場合の最適化の手順は第７変形例の場合と同一である。また、マルチショット検査についても、変形例７のマルチショット検査の場合と手順は同一である。
【０１６０】
また、別のバリエーションとして、既定の画像ｇ０と近くなるように最適化するというパターンを考慮することができる。この場合には、Ｖａｒ（Ｓ，ｍ）を下記式（６０）に置換することになる。なお、この場合、評価式にｘの１次形式が入るため、これまで述べたものと全く同じ手法では最適化できない。そこで、具体的な最適化手法の例としては、差型の評価関数を利用して、いわゆるＮｏｎｃｏｎｖｅｘ  ＱＰ問題のソルバーを利用することが挙げられる。
【数４３】
2020189189.tif 000047
【０１６１】
ここで、第８変形例に適用され得る単一画像からの評価式のバリエーションを表３に示す。
【０１６２】
【表３】
2020189189.tif 000048
【０１６３】
ここで、図１７（Ａ）及び（Ｂ）は、第８変形例におけるユーザインターフェイスの表示画面の一例を示す模式平面図である。図１７（Ａ）には、ユーザが指定した関心領域（ＲＯＩ）Ｒ０の画像と、その関心領域Ｒ０のインデックスＩｎｄ（重みを含む）と、図１７（Ｂ）に示す詳細設定用のポップアップウィンドウＰＷを表示するためのタッチボタンＢｔが表示される。図１７（Ｂ）のポップアップウィンドウＰＷには、ユーザが関心領域内Ｒ０で特定の周波数成分を調整するためのローパスフィルタＬＰＦ及びハイパスフィルタＨＰＦの強弱を設定するための各ボタンが表示される。また、それらの近傍には、設定されたローパスフィルタＬＰＦの程度を示すゲージＧＬ、及び、ハイパスフィルタＨＰＦの程度を示すゲージＧＨが配置される。以上のとおり、第８変形例は、実質的に単一の画像を用いた評価に相当するため、単一の画像から算出した評価値の最大化又は最小化を行うケースにおいて有用である。
【０１６４】
＜５．９：第９変形例＞
これまでに述べた方法によって、複数のサンプル画像領域に対して平均的に良い性能を持つ解を求めることは可能である。しかしながら、一般には、複数の条件のうち、あるものは競合し合い、同時に成立させることが難しい。よって、場合によっては、性能を平均化してしまうよりも、条件を取捨選択してメリハリ（抑揚）をつけた最適解を複数用意して、例えばユーザが比較検討することが実用上有益である。そこで、第９変形例は、評価基準に重み（ウェイト）を導入し、その重みを変化させて（振って）得られた複数の解を比較してユーザが選択する例である。すなわち、第９変形例において、最適化算出部１４３は、第１指標Ｄｂ及び第２指標Ｄｗに重み付けを行った場合に最適解（好適解）として得られる複数の照明パラメータベクトルに基づいて、複数の最適化照明発光パターンを求める。多目的最適化の観点で述べると、これまで述べた最適解とはパレート最適解を意味するものとなる。
【０１６５】
より具体的には、フィッシャー線形判別の評価基準における分散行列の算出において、画像集団のサンプル画像に対して重要度を示す重みを付加することができる。これにより、複数の画像間距離の重要度のバランスをとることができる。また、これらの画像距離の意味での分散行列に加えて、「単一画像からの評価式」の意味での分散行列を足したものを評価式に用いて、それぞれの重みを調整できるようにしてもよい。これにより、複数の画像間距離の重要度と、複数の単一画像からの評価値の重要度とのバランスをとることが可能になる。
【０１６６】
さらに、関心領域（ＲＯＩ）によって重みを調整できるようにしてよい。これにより、関心領域の違いに応じてまとめて重要度のバランスをとることができる。また、これらのサンプル画像毎の重みは、すべて０である場合に分散行列がＩ（単位行列）の正の定数倍となるようになるようにしてよい。これにより、最大化と最良化のバランス、つまり「良品画像の一致」と「不良品画像の乖離」のバランスをとることができるようになる。さらに、前述のサンプル画像間の重み、単一画像評価式の重み、関心領域の重み、及び、最大化と最良化のバランスの重みは、互いに独立に調整可能となるように設計されていたほうがよい。これにより、各重みを独立した軸として扱えるため、ユーザの人手による調整が容易となる。
【０１６７】
そして、以上をまとめた、すべての条件を満たす具体的な分散行列の評価式を考える。ここでは、表４に示すように各種の最適化条件を示す行列やベクトルが定義されているものとする。ここで、Ｎｐ，ｋは指定された関心領域とラベル（クラス、カテゴリ）に属するワークのサンプル数であり、１≦ｓ≦Ｎｐ，ｋであるとする。
【０１６８】
【表４】
2020189189.tif 000049
【０１６９】
「画像の近さ」とは平均画像からの距離の二乗平均（つまり分散）であり、Ｎｐ，ｋ＝２の場合には画像ペア間の距離と等価となる。また、これらを一つの評価基準に統合するために、表５に示す重み係数を導入する。これらはユーザが設定することができる。全ての重み係数は、０以上１以下の値域であるものとする。
【０１７０】
【表５】
2020189189.tif 000050
【０１７１】
このとき、上記の要件を満たす行列の生成例を下記式（６１）乃至（６４）に示す。なお、各行列の生成に先立ち必要となる平均ベクトルｍも、同様に重み付きで算出されているものとする。
【数４４】
2020189189.tif 000051
【０１７２】
最大化基準は、δbetween＝０のときに無効化され、δbetween＝１のときに最も強く有効化される。同様に、最小化基準はδwithin＝０のときに無効化され、δwithin＝１のときに最も強く有効化される。以上で述べた重み係数の導入により、ユーザが複数の競合する評価基準の取捨選択やバランスとりを行い、複数の照明パラメータの最適解を生成することが可能となる。
【０１７３】
以下、複数の照明パラメータの最適解からより最適な解を選択するためのユーザへの提示方法について説明する。フィッシャー線形判別の評価基準では、最大化基準の評価値と最小化基準の評価値の比の値ＦＤＲ（Fisher Discriminant Ratio）によって最適化が行われる。この基準の大小で解の優劣が決定されてしまうことになるが、実際はそれだけでは情報不足である。例えば、解Ａｎｓ１とＡｎｓ２があって、比の値はＡｎｓ１の方が良いという状況において、最大化基準はＡｎｓ１の方がＡｎｓ２より圧倒的に良いが、最小化基準はＡｎｓ１よりもＡｎｓ２の方が良いという状況が存在し得る。かかる状況下において、特にＡｎｓ１とＡｎｓ２の比の値の差が少ない場合には、最大化基準と最小化基準の値をそれぞれ直接ユーザ提示して選択させたほうが有効である場合がある。また、解Ａｎｓ１の場合と解Ａｎｓ２の場合において視認されるサンプル画像の違いをユーザ並べて見せて選択させてもよい。
【０１７４】
ここで、図１８（Ａ）は、第９変形例におけるユーザインターフェイスの表示画面の一例を示す模式平面図である。図１８（Ａ）は、第９変形例において、評価基準である第１指標Ｄｂの重み（前記δbetween）、及び、第２指標Ｄｗに重み（前記δwithin）を設定して照明最適化を行った結果を表示するためのポップアップウィンドウＰＷの一例を示す。このポップアップウィンドウＰＷには、Ｄｂ及びＤｗについて異なる重みが設定されたパラメータセットＰｓと、各パラメータセットＰＳにおけるＤｂ及びＤｗのそれぞれの重みＢ，Ｗを示すゲージＧＢ，ＧＷが表示される。また、パラメータセットＰＳの図示下方には、例えば、得られたＤｂとＤｗの比、又は、それらの重みＢ，Ｗの比によって、パラメータセットＰＳを並べ替える（ソートする）ことを指定するためのボタンＢＳ、及び、フィッシャー線形判別の評価値として、重みを適用したものにするか、適用しない（重みが全て１である）ものにするか否かを切り替えるためのボタンＢＥが表示される。
【０１７５】
図１８（Ｂ）は、第９変形例における処理手順の一例を示すフローチャートであり、図１８（Ｃ）は、第９変形例において選択された結果の一例を示す模式平面図である。図１８（Ｂ）に示すとおり、まず、ポップアップウィンドウＰＷ、又は、適宜の設定画面ウィンドウにおいて、各パラメータセットＰＳにおけるＤｂ及びＤｗの重みを調整して照明最適化を実行し、各パラメータセットＰＳにおけるＤｂ及びＤｗ、又は、それらの重みＢ，Ｗを、ポップアップウィンドウＰＷに並べて表示する。
【０１７６】
このとき、評価結果の参考画像として、光源ＬＳの各チャネル照明ＬＳｉの発光パターンや図１４や図１５に相当する画像等を併せて表示してもよい。次いで、ユーザは、表示された各パラメータセットＰＳの結果を比較検討し、所望の解がある場合（Ｙｅｓ）には、その解が得られたパラメータセットＰＳを選択して最適化処理を終了する。この場合、図１８（Ｃ）のように、選択されたパラメータセットＳＰ（図示においてパラメータセット２）に相当する光源ＬＳの照明発光パターン、及び、パラメータセットＰＳにおけるＤｂ及びＤｗやそれらの重みＢ，Ｗを表示してもよい。一方、所望の解がない場合（Ｎｏ）には、重みを調整し直して最適化を実行する処理を繰り返すことができる。
【０１７７】
第９変形例によれば、条件を取捨選択してメリハリ（抑揚）をつけた最適解を複数用意して、例えばユーザが比較検討することができる。また、画像の近さ（一致度）と単一画像からの評価値を評価基準に混在させたり、画像の近さ（一致度）と単一画像からの評価値のそれぞれについて個別に重みを設定したりすることができる。さらに、関心領域の相違について個別に重みを設定することもできる。また、評価用画像（サンプル画像）間の重み、単一画像評価式の重み、関心領域の重みと最大化及び最良化のバランスの重みを、それぞれ独立に調整可能であり、ユーザによる調整を容易ならしめることができる。
【０１７８】
＜５．１０：第１０変形例＞
第１０変形例は、関心領域（ＲＯＩ）の画像形状の変形例である。通常、関心領域の画像は矩形として指定される場合が想定され、その領域画面内の各部位が均質な重要度で扱われるが、例えば、ユーザが関心領域内で不均一な重みをペイントブラシ等で設定できるようにしてもよい。かかる第１０変形例によれば、関心領域内の特定箇所に重点をおいた画像の一致、乖離、又はコントラスト等の調整が可能となる。
【０１７９】
ここで、図１９（Ａ）及び（Ｂ）は、第１０変形例におけるユーザインターフェイスの表示画面の一例を示す模式平面図である。図１９（Ａ）には、ユーザが指定した関心領域（ＲＯＩ）Ｒ０の画像と、その関心領域Ｒ０のインデックスＩｎｄ（重みを含む）と、図１９（Ｂ）に示す詳細設定用のポップアップウィンドウＰＷを表示するためのタッチボタンＢｔが表示される。図１９（Ｂ）のポップアップウィンドウＰＷには、ユーザが関心領域内Ｒ０で不均一な重みを設定するためのペイントブラシ群Ｂｓが配置され、関心領域Ｒ０の画像が再表示される。ユーザは、ペイントブラシ群Ｂｓのなかから所望の大きさのペイントブラシをタップして選択し、そのまま関心領域Ｒ０の所望部位をタップすることにより、関心領域Ｒ０内に不均一な重みを、任意に設定することができる。
【０１８０】
§６  付記
以上説明した実施形態及び変形例は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態及び変形例が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態及び変形例で示した構成同士を部分的に置換し又は組み合わせることも可能である。
【０１８１】
すなわち、上述した対象物の検査を行う時の照明条件を設定する装置、システム又はその一部をソフトウェア機能ユニットの形態で実現して単独の製品として販売したり使用したりする場合、コンピュータが読み取り可能な記憶媒体に記憶することができる。これにより、本発明の技術案の本質又は既存技術に貢献のある部分あるいは該技術案の全部又は一部をソフトウェア製品の形態で実現して、コンピュータ機器（パーソナルコンピュータ、サーバ又は、ネットワーク機器等であることができる）に本発明の各実施例に記載の方法のステップの中の全部又は一部を実現させる命令を含むそのコンピューターソフトウェア製品を、記憶媒体に記憶することができる。上述した記憶媒体は、ＵＳＢ、読み出し専用メモリ（ＲＯＭ：Read-Only Memory）、ランダムアクセスメモリ（ＲＡＭ：Random Access Memory）、モバイルハードディスク、フロッピーディスク又は光ディスク等のプログラムコードを記憶できるさまざまな媒体である。
【０１８２】
ここで、本開示は、各実施形態に即して以下のように表現することもできる。
【０１８３】
（付記１）
異なる複数のラベルに対応付けられる領域を有するワーク（４）を含む少なくとも１つのワーク（４）を、複数の既定照明発光パターンで照明する光源（ＬＳ）、及び、前記複数の既定照明発光パターンで照明された前記少なくとも１つのワークを撮影し、各既定照明発光パターン及び各ワークに関連付けられた複数の評価用ワーク画像を取得するセンサ（１０２）を有する撮像部（１００，１４１）と、
前記異なる複数のラベル、及び、所定形状を有する少なくとも１つの関心領域（Ｒ０乃至Ｒ４）の組み合わせについて、前記複数の評価用ワーク画像における前記関心領域の画像を抽出して画像領域（又は集合）を設定する画像領域設定部（１４２）と、
前記画像領域から、前記異なるラベルに属する画像間の変動成分に基づいて、該異なるラベルに属するワーク（４）間のばらつきを示す第１指標（Ｄｂ）を設定し、且つ、同一のラベルに属する画像間の変動成分に基づいて、該同一のラベルに属するワーク間のばらつきを示す第２指標（Ｄｗ）を設定し、前記複数の既定照明発光パターンの任意の組み合わせに相当する評価用照明発光パターンで前記少なくとも１つのワーク（４）を照明して撮像したときの前記第１指標（Ｄｂ）を最大化し、且つ、前記第２指標（Ｄｗ）を最小化する最適解としての照明パラメータベクトルを求め、該照明パラメータベクトルに基づいて最適化照明発光パターンを算出する最適化算出部（１４３）と、
前記撮像部（１０２，１４１）が前記最適化照明発光パターンで照明した検査対象のワーク（４）を撮像して取得した検査用ワーク画像を画像処理することにより、前記検査対象のワークのラベルを判定する判定部（１４４）と、
を備える検査装置（１）。
【０１８４】
（付記２）
前記最適化算出部は、前記第１指標（Ｄｂ）と前記第２指標（Ｄｗ）に基づく比型の評価関数の評価値、又は、前記第１指標（Ｄｂ）と前記第２指標（Ｄｗ）に基づく差型の評価関数の評価値を最大化させる最適解を、判別分析により求める、
付記１に記載の検査装置。
【０１８５】
（付記３）
前記最適化算出部（１４３）は、前記判別分析において、前記照明パラメータベクトルの全成分が非負値である制約条件を含める、
付記２に記載の検査装置（１）。
【０１８６】
（付記４）
前記最適化算出部（１４３）は、前記最適解として得られる照明パラメータベクトルが、正値及び負値の成分を含む場合、前記正値の成分から構成されるベクトルに基づく第１最適化照明発光パターンを求め、且つ、前記負値の成分の絶対値から構成されるベクトルに基づく第２最適化照明発光パターンを求め、
前記撮像部（１０２，１４１）は、前記検査対象のワーク（４）を、前記第１最適化照明発光パターン及び前記第２最適化照明発光パターンのそれぞれで照明して撮像した第１画像及び第２画像を取得し、
前記判定部（１４４）は、前記第１画像及び前記第２画像の差分に基づいて、前記検査用ワーク画像を取得する、
付記２に記載の検査装置（１）。
【０１８７】
（付記５）
前記最適化算出部（１４３）は、前記最適解として得られる照明パラメータベクトルが、正値及び負値の成分を含む場合、該照明パラメータベクトルとして、主成分分析における固有値が大きい複数の固有ベクトルを選定し、該複数の固有ベクトルのそれぞれについて、前記正値の成分から構成されるベクトルに基づく第１最適化照明発光パターンを求め、且つ、前記負値の成分の絶対値から構成されるベクトルに基づく第２最適化照明発光パターンを求め、
前記撮像部（１０２，１４１）は、前記検査対象のワーク（４）を、前記複数の固有ベクトルのそれぞれに対応する前記第１最適化照明発光パターン及び前記第２最適化照明発光パターンで照明して撮像した第１画像及び第２画像を取得し、
前記判定部（１４４）は、前記第１画像及び前記第２画像の差分に基づいて、前記検査用ワーク画像を取得する、
付記２に記載の検査装置（１）。
【０１８８】
（付記６）
前記評価用照明発光パターンが、マルチショットである場合、前記最適化算出部（１４３）は、前記評価用照明発光パターンを構成する複数の前記照明パラメータベクトルを重畳した１つのコラムベクトルに相当する評価用照明発光パターンで前記少なくとも１つのワークを照明して撮像したときの前記第１指標（Ｄｂ）を最大化し、且つ、前記第２指標（Ｄｗ）を最小化するマルチショット用の最適化照明発光パターンを算出する、
付記１に記載の検査装置（１）。
【０１８９】
（付記７）
前記判定部（１４４）による画像処理の形式が、線形な画像処理であり、
前記最適化算出部（１４３）による前記第１指標（Ｄｂ）を最大化しつ、且つ、前記第２指標（Ｄｗ）を最小化する最適化と、前記判定部（１４４）による画像処理に用いる画像処理パラメータの最適化を同時に行う、
付記１乃至６の何れかに記載の検査装置（１）。
【０１９０】
（付記８）
前記最適化算出部（１４３）は、前記最適化照明発光パターンの算出に先立って、前記評価用ワーク画像に対する線形な画像処理を行う、
付記１乃至７の何れかに記載の検査装置（１）。
【０１９１】
（付記９）
前記画像領域設定部（１４２）又は前記最適化算出部（１４３）は、比較対象の関心領域の画像の一方に、全ての画素値が０である画像を代入する、
付記１乃至８の何れかに記載の検査装置（１）。
【０１９２】
（付記１０）
前記最適化算出部（１４３）は、前記第１指標（Ｄｂ）及び前記第２指標（Ｄｗ）に重み付けを行った場合に前記最適解として得られる複数の照明パラメータベクトルに基づいて複数の前記最適化照明発光パターンを求める、
付記１乃至８の何れかに記載の検査装置。
【０１９３】
（付記１１）
撮像部（１０２，１４１）、画像領域設定部（１４２）、最適化算出部（１４３）、及び判定部（１４４）を備える検査装置（１）を用いて、ワーク（４）を検査する方法であって、
撮像部（１０２，１４１）が、異なるラベルに対応付けられた領域を有するワークを含む少なくとも１つのワーク（４）を、複数の既定照明発光パターンで照明し、前記複数の既定照明発光パターンで照明された前記少なくとも１つのワーク（４）を撮影し、各既定照明発光パターン及び各ワークに関連付けられた複数の評価用ワーク画像を取得する撮像ステップと、
画像領域設定部（１４２）が、前記異なる複数のラベル、及び、所定形状を有する少なくとも１つの関心領域の組み合わせについて、前記複数の評価用ワーク画像における前記関心領域の画像を抽出して画像領域を設定する画像領域設定ステップと、
前記最適化算出部が、前記画像領域から、前記異なるラベルに属する画像間の変動成分に基づいて、該異なるラベルに属するワーク（４）間のばらつきを示す第１指標（Ｄｂ）を設定し、且つ、同一のラベルに属する画像間の変動成分に基づいて、該同一のラベルに属するワーク（４）間のばらつきを示す第２指標（Ｄｗ）を設定し、前記複数の既定照明発光パターンの任意の組み合わせに相当する評価用照明発光パターンで前記少なくとも１つのワーク（４）を照明して撮像したときの前記第１指標（Ｄｂ）を最大化し、且つ、前記第２指標（Ｄｗ）を最小化する最適解としての照明パラメータベクトルを求め、該照明パラメータベクトルに基づいて最適化照明発光パターンを算出する算出ステップと、
前記判定部（１４４）が、前記撮像部（１０２，１４１）が前記最適化照明発光パターンで照明した検査対象のワーク（４）を撮像して取得した検査用ワーク画像を画像処理することにより、前記検査対象のワーク（４）のラベルを判定する判定ステップと、
を含む検査方法。
【０１９４】
（付記１２）
付記１１に記載の撮像ステップ、画像領域設定ステップ、最適化算出ステップ、及び判定ステップをコンピュータ（１００）に実行させる、制御プログラム。
【０１９５】
（付記１３）
付記１１に記載の撮像ステップ、画像領域設定ステップ、最適化算出ステップ、及び判定ステップをコンピュータ（１００）に実行させるための制御プログラムを記録した、コンピュータ読み取り可能な非一過性の記録媒体。
【符号の説明】
【０１９６】
１…検査システム、２…ベルトコンベア、４…ワーク、６…撮像視野、８…上位ネットワーク、１０…ＰＬＣ、１２…データベース装置、１００…制御装置、１０２…カメラ、１０４…ディスプレイ、１０６…キーボード、１０８…マウス、１１０…プロセッサ、１１２…メインメモリ、１１４…カメラインターフェイス、１１６…入力インターフェイス、１１８…表示インターフェイス、１２０…通信インターフェイス、１２２…内部バス、１３０…ストレージ、１３２…各種処理プログラム、１３４…照明パラメータ、１３６…学習器パラメータ、１３８…入力画像、１４０…推定画像、１４１…撮像部、１４２…画像領域設定部、１４３…最適化算出部、１４４…判定部、１４５…記憶部１４５、ＨＬ…キズ、ＬＳ…光源、ＬＳｉ…チャネル照明、ＰＷ…ポップアップウィンドウ、Ｒ０〜Ｒ４…関心領域。
【図１Ａ】
2020189189.tif 000052
【図１Ｂ】
2020189189.tif 000053
【図２】
2020189189.tif 000054
【図３】
2020189189.tif 000055
【図４】
2020189189.tif 000056
【図５】
2020189189.tif 000057
【図６】
2020189189.tif 000058
【図７】
2020189189.tif 000059
【図８】
2020189189.tif 000060
【図９】
2020189189.tif 000061
【図１０】
2020189189.tif 000062
【図１１】
2020189189.tif 000063
【図１２】
2020189189.tif 000064
【図１３】
2020189189.tif 000065
【図１４】
2020189189.tif 000066
【図１５】
2020189189.tif 000067
【図１６】
2020189189.tif 000068
【図１７】
2020189189.tif 000069
【図１８】
2020189189.tif 000070
【図１９】
2020189189.tif 000071
【手続補正書】
【提出日】令和3年2月12日(2021.2.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
〔１〕本開示に係る検査装置の一例は、複数の既定照明発光パターンで照明された少なくとも１つのワークを撮影し、各既定照明発光パターン及び各ワークに関連付けられた複数の評価用ワーク画像を取得するセンサを有する撮像部と、前記評価用ワーク画像に対して、良品又は不良品を意味する異なる複数のラベルに関連付けられた複数の画像領域を設定する画像領域設定部と、前記画像領域から、前記良品を意味するラベルに関連付けられた画像領域及び前記不良品を意味するラベルに関連付けられた画像領域間の差異が大きければ出力値が大きくなるような第１指標を生成し、且つ、前記良品を意味するラベルに関連付けられた画像領域間の差異又は前記良品を意味するラベルに関連付けられた画像領域内のコントラストが大きくなれば出力値が大きくなるような第２指標を生成し、前記第１指標（の評価値）がより大きくなり、且つ、前記第２指標（の評価値）がより小さくなるように検査用照明発光パターンを算出する最適化算出部と、前記撮像部が前記検査用照明発光パターンで照明した検査対象のワークを撮像して取得した検査用ワーク画像を画像処理することにより、前記検査対象のワークの良否ラベルを判定する判定部とを備える。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
かかる構成によれば、複数の既定照明発光パターンを照射する光源による撮像を演算と看做すと、数学的には単なる内積演算及び線形射影そのものになるところ、例えば、線形判別分析は、特徴ベクトルを生成するための演算が単なる内積演算となるので、簡易なアルゴリズムにより最適な線形射影を求めることができる。また、判別分析において、第１指標と第２指標の比に基づく評価関数を用いると、第１指標の最大化と第２指標の最小化を直接的に解析することができる。加えて、かかる比型の評価関数を用いれば、単一の照明パラメータベクトルに基づく照明発光パターン（シングルショット）、及び、複数の照明パラメータベクトル（つまり照明パラメータ行列）に基づく照明発光パターン（マルチショット）の両方の最適解を好適に求めることができる。一方、判別分析において、第１指標と第２指標の差に基づく評価関数を用いても、第１指標の最大化と第２指標の最小化を行う解析が可能であり、特に、シングルショットにおける最適解を高速に求めることができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
〔５〕上記構成において、前記最適化算出部は、前記判別分析において、前記照明パラメータベクトルの全成分が非負値である制約条件を含めてもよい。例えば、フィッシャー線形判別分析における最適射影方向は、ラグランジュ（Lagrange）未定乗数法により、一般固有値問題における固有値最大の固有ベクトルとして求めることができ、照明パターンとしては、固有ベクトルに沿う方向で照明パラメータ（強度）ベクトルを設定すればよい。しかし、固有ベクトルの成分は負値をとり得るところ、実際の照明では、負の照明強度を実現することができないため、照明最適化においては、この点が問題となり得る。これに対し、当該構成では、判別分析において、照明パラメータベクトル（固有ベクトル）の全成分が非負値であるという制約条件を付するので、成分が全て非負値である最適化された照明パラメータベクトルを求めることができる。なお、この場合、一般固有値問題としての解法を適用することが難しくなるので、例えば数理計画法を適用した解法が有効である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
当該構成でも、上記〔５〕と異なり、負値の照明強度を疑似的に再現させることによって、負値を取り得る一般固有値問題における固有値最大の固有ベクトルを、数学的に完全に再現した最適解として求めることができる。すなわち、疑似的に元の正値と負値が混在する複数の照明パラメータベクトルの照明発光パターン（マルチショット）で検査対象のワークを直接撮影したのと同等の効果を得ることができる。また、当該構成は、実質的に、多枚数のマルチショットでの検査となるので、シングルショットでの検査に比して、検査性能を有意に高めることができる。さらに、第１画像と第２画像の差分をとることにより、暗電流オフセット値がキャンセルされるので、両者の黒レベルが同じであれば、暗電流補正を省略することも可能となる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
【図１Ａ】本開示の一実施形態に係る検査装置の適用場面の一例（システム構成例）を模式的に示す平面図（一部斜視図）である。
【図１Ｂ】本開示の一実施形態に係る検査装置で用いられる光源の配置の一例を模式的に示す平面図である。
【図２】本開示の一実施形態に係る検査装置に含まれる制御装置のハードウェア構成を模式的に示す平面図である。
【図３】本開示の一実施形態に係る検査装置の機能構成の一例を模式的に示す平面図である。
【図４】本開示に係るマルチチャネル照明を用いたシングルショット検査におけるリニアリティの成立を前提とした画像合成モデルを示す模式図である。
【図５】本開示に係るマルチチャネル照明を用いたマルチショット検査におけるリニアリティの成立を前提とした画像合成モデルを示す模式図である。
【図６】（Ａ）及び（Ｂ）は、それぞれ、本開示の一実施形態に係る照明最適化段階及び検査段階の処理手順の一例を示すフローチャートである。
【図７】第３変形例における検査用ワーク画像を取得する手順の概要を示す模式図である。
【図８】（Ａ）及び（Ｂ）は、それぞれ、第４変形例に係る照明最適化段階及び検査段階の処理手順の一例を示すフローチャートである。
【図９】（Ａ）及び（Ｂ）は、それぞれ、第６変形例に係る照明最適化段階及び検査段階の処理手順の一例を示すフローチャートである。
【図１０】（Ａ）及び（Ｂ）は、それぞれ、第７変形例に係る照明最適化段階及び検査段階の処理手順の一例を示すフローチャートである。
【図１１】（Ａ）及び（Ｂ）は、本開示の実施形態に係る検査装置の一例におけるユーザインターフェイスの表示画面の一例を示す模式平面図である。
【図１２】本開示の実施形態に係る検査装置の一例におけるユーザインターフェイスの表示画面の他の一例を示す模式平面図である。
【図１３】（Ａ）乃至（Ｃ）は、本開示に係る検査装置によるフィッシャー線形判別を用いた照明最適化結果の一例を示す写真（再構成画像）である。
【図１４】本開示に係る検査装置において、比型（Ｄｂ／Ｄｗ）の評価関数を用いたフィッシャー線形判別による照明最適化結果の一例を示す写真である。
【図１５】本開示に係る検査装置において、差型（Ｄｂ−λ・Ｄｗ）の評価関数を用いたフィッシャー線形判別による照明最適化結果の一例を示す写真である。
【図１６】（Ａ）乃至（Ｃ）は、第６変形例及び第７変形例におけるユーザインターフェイスの表示画面の一例を示す模式平面図である。
【図１７】（Ａ）及び（Ｂ）は、第８変形例におけるユーザインターフェイスの表示画面の一例を示す模式平面図である。
【図１８】（Ａ）は、第９変形例において、評価基準である第１指標Ｄｂの重み（δbetween）、及び、第２指標Ｄｗに重み（δwithin）を設定して照明最適化を行った結果を表示するためのポップアップウィンドウＰＷの一例を示す。（Ｂ）は、第９変形例における処理手順の一例を示すフローチャートであり、（Ｃ）は、第９変形例において選択された結果の一例を示す模式平面図である。
【図１９】（Ａ）及び（Ｂ）は、第１０変形例におけるユーザインターフェイスの表示画面の一例を示す模式平面図である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
（フィッシャー線形判別）
フィッシャー線形判別は、「ラベル（クラス）間分散を最大化」し、且つ、「ラベル（クラス）内分散を最小化」する射影ベクトルを求めることができる手法である。フィッシャー線形判別では、特徴ベクトル生成のための演算は単なる内積演算であるため、近年の非線形な各種演算を取り入れた手法と比較すると効果は非常に限定されている。しかしながら、本開示が取り扱う照明パラメータの最適化においては、前述のようにマルチチャネル照明による撮像を演算と看做すと、数学的には単なる内積演算及び線形射影そのものである。従って、最適な線形射影を求めることができるフィッシャー線形判別は、本開示における照明の最適化問題に有効であるといえる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
図１２は、比較対象グループのインデックスｐ（エリア）に属する画像領域がタブ形式で表示されたポップアップウィンドウＰＷの一例である。図示においては、エリア＝１に属するラベル＝１及び２（それぞれ良品ラベル及び不良品ラベル）毎にユーザが選定した関心領域Ｒ０の画像（図示紙面に向かって左端の画像）と、それぞれに対してユーザが重み付け（インデックスｓ）した画像がグループ化されている。また、図１２のポップアップウィンドウＰＷには、各エリアに設定された重みも表示されており、ユーザが選定した関心領域Ｒ０の画像には、ラベル間の第１指標Ｄｂ及び同一ラベル内の第２指標Ｄｗについて平均からの分散（それぞれβ及びα）がゲージ表示されている。また、重み付けされた各関心領域Ｒ０には、重み付けされた同一ラベルの第２指標Ｄｗ（α）が表示されている。また、ポップアップウィンドウＰＷにおける各ラベルの脇側には、関心領域Ｒ０の追加ボタンＢｘ（領域の選択については、図１１参照。）が表示されており、ラベルの下方には、ラベルｋの追加ボタンＢｙも表示されている。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１５４
【補正方法】変更
【補正の内容】
【０１５４】
ここで、図１０（Ａ）及び（Ｂ）は、それぞれ、第７変形例に係る照明最適化段階及び検査段階の処理手順の一例を示すフローチャートである。第７変形例における処理は、ステップＳ４３３において、後段のステップＳ４５４で実施する固定された線形の画像処理用のパラメータを指定すること、及び、ステップＳ４１４に先立つステップＳ４５４において、評価用ワーク画像（又は画像領域）に対して、指定されたパラメータによる線形の画像処理を実施すること以外は、図９（Ａ）及び（Ｂ）に示すフローチャートにおける処理と同様である。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１７４
【補正方法】変更
【補正の内容】
【０１７４】
ここで、図１８（Ａ）は、第９変形例におけるユーザインターフェイスの表示画面の一例を示す模式平面図である。図１８（Ａ）は、第９変形例において、評価基準である第１指標Ｄｂの重み（δbetween）、及び、第２指標Ｄｗに重み（δwithin）を設定して照明最適化を行った結果を表示するためのポップアップウィンドウＰＷの一例を示す。このポップアップウィンドウＰＷには、Ｄｂ及びＤｗについて異なる重みが設定されたパラメータセットＰｓと、各パラメータセットＰＳにおけるＤｂ及びＤｗのそれぞれの重みＢ，Ｗを示すゲージＧＢ，ＧＷが表示される。また、パラメータセットＰＳの図示下方には、例えば、得られたＤｂとＤｗの比、又は、それらの重みＢ，Ｗの比によって、パラメータセットＰＳを並べ替える（ソートする）ことを指定するためのボタンＢＳ、及び、フィッシャー線形判別の評価値として、重みを適用したものにするか、適用しない（重みが全て１である）ものにするか否かを切り替えるためのボタンＢＥが表示される。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１８３
【補正方法】変更
【補正の内容】
【０１８３】
（付記１）
異なる複数のラベルに対応付けられる領域を有するワーク（４）を含む少なくとも１つのワーク（４）を、複数の既定照明発光パターンで照明する光源（ＬＳ）、及び、前記複数の既定照明発光パターンで照明された前記少なくとも１つのワークを撮影し、各既定照明発光パターン及び各ワークに関連付けられた複数の評価用ワーク画像を取得するセンサ（１０２）を有する撮像部（１４１）と、
前記異なる複数のラベル、及び、所定形状を有する少なくとも１つの関心領域（Ｒ０乃至Ｒ４）の組み合わせについて、前記複数の評価用ワーク画像における前記関心領域の画像を抽出して画像領域（又は集合）を設定する画像領域設定部（１４２）と、
前記画像領域から、前記異なるラベルに属する画像間の変動成分に基づいて、該異なるラベルに属するワーク（４）間のばらつきを示す第１指標（Ｄｂ）を設定し、且つ、同一のラベルに属する画像間の変動成分に基づいて、該同一のラベルに属するワーク間のばらつきを示す第２指標（Ｄｗ）を設定し、前記複数の既定照明発光パターンの任意の組み合わせに相当する評価用照明発光パターンで前記少なくとも１つのワーク（４）を照明して撮像したときの前記第１指標（Ｄｂ）を最大化し、且つ、前記第２指標（Ｄｗ）を最小化する最適解としての照明パラメータベクトルを求め、該照明パラメータベクトルに基づいて最適化照明発光パターンを算出する最適化算出部（１４３）と、
前記撮像部（１４１）が前記最適化照明発光パターンで照明した検査対象のワーク（４）を撮像して取得した検査用ワーク画像を画像処理することにより、前記検査対象のワークのラベルを判定する判定部（１４４）と、
を備える検査装置（１）。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１８４
【補正方法】変更
【補正の内容】
【０１８４】
（付記２）
前記最適化算出部は、前記第１指標（Ｄｂ）と前記第２指標（Ｄｗ）に基づく比型の評価関数の評価値、又は、前記第１指標（Ｄｂ）と前記第２指標（Ｄｗ）に基づく差型の評価関数の評価値を最大化させる最適解を、判別分析により求める、
付記１に記載の検査装置（１）。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１８６
【補正方法】変更
【補正の内容】
【０１８６】
（付記４）
前記最適化算出部（１４３）は、前記最適解として得られる照明パラメータベクトルが、正値及び負値の成分を含む場合、前記正値の成分から構成されるベクトルに基づく第１最適化照明発光パターンを求め、且つ、前記負値の成分の絶対値から構成されるベクトルに基づく第２最適化照明発光パターンを求め、
前記撮像部（１４１）は、前記検査対象のワーク（４）を、前記第１最適化照明発光パターン及び前記第２最適化照明発光パターンのそれぞれで照明して撮像した第１画像及び第２画像を取得し、
前記判定部（１４４）は、前記第１画像及び前記第２画像の差分に基づいて、前記検査用ワーク画像を取得する、
付記２に記載の検査装置（１）。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１８７
【補正方法】変更
【補正の内容】
【０１８７】
（付記５）
前記最適化算出部（１４３）は、前記最適解として得られる照明パラメータベクトルが、正値及び負値の成分を含む場合、該照明パラメータベクトルとして、主成分分析における固有値が大きい複数の固有ベクトルを選定し、該複数の固有ベクトルのそれぞれについて、前記正値の成分から構成されるベクトルに基づく第１最適化照明発光パターンを求め、且つ、前記負値の成分の絶対値から構成されるベクトルに基づく第２最適化照明発光パターンを求め、
前記撮像部（１４１）は、前記検査対象のワーク（４）を、前記複数の固有ベクトルのそれぞれに対応する前記第１最適化照明発光パターン及び前記第２最適化照明発光パターンで照明して撮像した第１画像及び第２画像を取得し、
前記判定部（１４４）は、前記第１画像及び前記第２画像の差分に基づいて、前記検査用ワーク画像を取得する、
付記２に記載の検査装置（１）。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１９２
【補正方法】変更
【補正の内容】
【０１９２】
（付記１０）
前記最適化算出部（１４３）は、前記第１指標（Ｄｂ）及び前記第２指標（Ｄｗ）に重み付けを行った場合に前記最適解として得られる複数の照明パラメータベクトルに基づいて複数の前記最適化照明発光パターンを求める、
付記１乃至８の何れかに記載の検査装置（１）。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１９３
【補正方法】変更
【補正の内容】
【０１９３】
（付記１１）
撮像部（１４１）、画像領域設定部（１４２）、最適化算出部（１４３）、及び判定部（１４４）を備える検査装置（１）を用いて、ワーク（４）を検査する方法であって、
撮像部（１４１）が、異なるラベルに対応付けられた領域を有するワークを含む少なくとも１つのワーク（４）を、複数の既定照明発光パターンで照明し、前記複数の既定照明発光パターンで照明された前記少なくとも１つのワーク（４）を撮影し、各既定照明発光パターン及び各ワークに関連付けられた複数の評価用ワーク画像を取得する撮像ステップと、
画像領域設定部（１４２）が、前記異なる複数のラベル、及び、所定形状を有する少なくとも１つの関心領域の組み合わせについて、前記複数の評価用ワーク画像における前記関心領域の画像を抽出して画像領域を設定する画像領域設定ステップと、
前記最適化算出部が、前記画像領域から、前記異なるラベルに属する画像間の変動成分に基づいて、該異なるラベルに属するワーク（４）間のばらつきを示す第１指標（Ｄｂ）を設定し、且つ、同一のラベルに属する画像間の変動成分に基づいて、該同一のラベルに属するワーク（４）間のばらつきを示す第２指標（Ｄｗ）を設定し、前記複数の既定照明発光パターンの任意の組み合わせに相当する評価用照明発光パターンで前記少なくとも１つのワーク（４）を照明して撮像したときの前記第１指標（Ｄｂ）を最大化し、且つ、前記第２指標（Ｄｗ）を最小化する最適解としての照明パラメータベクトルを求め、該照明パラメータベクトルに基づいて最適化照明発光パターンを算出する算出ステップと、
前記判定部（１４４）が、前記撮像部（１４１）が前記最適化照明発光パターンで照明した検査対象のワーク（４）を撮像して取得した検査用ワーク画像を画像処理することにより、前記検査対象のワーク（４）のラベルを判定する判定ステップと、
を含む検査方法。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１９６
【補正方法】変更
【補正の内容】
【０１９６】
１…検査システム、２…ベルトコンベア、４…ワーク、６…撮像視野、８…上位ネットワーク、１０…ＰＬＣ、１２…データベース装置、１００…制御装置、１０２…カメラ、１０４…ディスプレイ、１０６…キーボード、１０８…マウス、１１０…プロセッサ、１１２…メインメモリ、１１４…カメラインターフェイス、１１６…入力インターフェイス、１１８…表示インターフェイス、１２０…通信インターフェイス、１２２…内部バス、１３０…ストレージ、１３２…各種処理プログラム、１３４…照明パラメータ、１３６…学習器パラメータ、１３８…入力画像、１４０…推定画像、１４１…撮像部、１４２…画像領域設定部、１４３…最適化算出部、１４４…判定部、１４５…記憶部、ＨＬ…キズ、ＬＳ…光源、ＬＳｉ…チャネル照明、ＰＷ…ポップアップウィンドウ、Ｒ０〜Ｒ４…関心領域。
【国際調査報告】
2020189189.tif 000072
2020189189.tif 000073
2020189189.tif 000074
2020189189.tif 000075