(57)【要約】【課題】光検査システム２００における照明の最適化と学習を、光検査システム２００そのものを使用することなく、これとは別に、かつ簡便に行うことができるようにする。【解決手段】  検査結果が既知である既知ワークＷ１を交換可能に支持するワーク支持機構２と、既知ワークＷ１に検査光を照射する光照射装置３と、光検査システム２００での所定照明条件となるように、前記光照射装置３を支持する光照射装置支持機構４と、前記光照射装置３によって照明された前記既知ワークを撮像する撮像装置５と、前記既知ワークＷ１の検査結果を入力する入力装置１０と、前記撮像装置５によって撮像された既知ワークＷ１の画像データを、前記入力装置１０で入力された検査結果に紐づけて格納する画像格納部９３とを備えた光検査システム用支援装置１００を設けた。【選択図】図２
2020016514.tif 000002
【特許請求の範囲】
【請求項１】
所定の照明条件で照明されたワークを撮像し、この撮像によって得られたワークの画像データを、所定の検査アルゴリズムにしたがって検査し、その検査結果を出力する光検査システムに利用されるものであって、
検査結果が既知である既知ワークを交換可能に支持するワーク支持機構と、
既知ワークに検査光を照射する光照射装置と、
前記所定の照明条件となるように、前記光照射装置を支持する光照射装置支持機構と、
前記光照射装置によって照明された前記既知ワークを撮像する撮像装置と、
前記既知ワークの検査結果を入力する入力装置と、
前記撮像装置によって撮像された既知ワークの画像データを、前記入力装置で入力された検査結果に紐づけて格納する画像格納部とを備えていることを特徴とする光検査システム用支援装置。
【請求項２】
前記光照射装置支持機構が、前記光照射装置を、交換可能、かつ、姿勢変更及び／又は位置変更可能に支持するものであり、光照射装置の姿勢及び／又は位置の設定によって、前記所定の照明条件が実現されるように構成してある請求項１記載の光検査システム用支援装置。
。
【請求項３】
前記ワーク支持機構が、前記既知ワークを姿勢変更及び／又は位置変更可能に支持するものである請求項１又は２記載の光検査システム用支援装置。
【請求項４】
前記撮像装置を、姿勢変更及び／又は位置変更可能に支持する撮像装置支持機構をさらに備えている請求項１乃至３いずれか記載の光検査システム用支援装置。
【請求項５】
枠材を組み合わせてなる枠構造体をさらに備え、該枠構造体によって光照射装置及び撮像装置が支持されている請求項１乃至４いずれか記載の光検査システム用支援装置。
【請求項６】
前記画像格納部に格納されている既知ワークの画像データとその検査結果とに基づいて、前記検査アルゴリズムを学習によって取得する学習部をさらに備えている請求項１乃至５いずれか記載の光検査システム用支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、製品等のワークに光を照射してこれを撮像し、その画像処理によってワークの表面等に係る検査を自動で行う光検査システムに用いられる支援装置（光検査システム用支援装置）に関するものである。
【背景技術】
【０００２】
この種の光検査システムにおいては、例えば検査対象となるワークに対し、その表面傷などが可及的明瞭となるような光を照射し、その照明条件下で撮像したワークの画像データを処理して、ワークの良否等を自動判定するようにしてある。
【０００３】
また、近年では、特許文献１に示すように、その自動判定部分において、ＡＩなどの機械学習が用いられるようになってきている。ＡＩ等によれば、自動判定ができず、人間の目視検査に頼らざるを得ないものにも適用できるとか、自動判定ではどうしても安全サイドに偏り、目視であれば合格品が不合格品となって歩留まりを上げられないなどといった不具合を解決できると期待されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−０４０７９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ＡＩ等の機械学習において、その判定精度を向上させるには、照明条件をできるだけ最適化しなければならないし、その最適化された照明条件下でのできるだけ多くの学習が必要となる。
【０００６】
しかしながら、例えば、既存の光検査システムに、このような機械学習機能を導入しようとした場合、学習させる期間が必要であるから、その期間中は、一時的にせよ、光検査システムを停止しなければならない。また、機械学習に適した照明条件の設定に手間取るなどして停止期間が長期間に亘る恐れもある。
【０００７】
さらにいえば、新たな光検査システムを構築する場合であっても、光検査システムの構築後、照明条件を合わせ、機械学習させなければならないので、システムの稼働までに時間がかかることが予想される。
【０００８】
本発明は、上記問題点に鑑みなされたものであって、光検査システムにおける照明の最適化と学習を、光検査システムそのものを使用することなく、これとは別に、かつ簡便に行うことができるようにすることをその主たる所期課題とするものである。
【課題を解決するための手段】
【０００９】
すなわち本発明にかかる光検査システム用支援装置は、所定の照明条件で照明されたワークを撮像し、この撮像によって得られたワークの画像データを、所定の検査アルゴリズムにしたがって検査し、その検査結果を出力する光検査システムに利用されるものである。
【００１０】
そして、検査結果が既知である既知ワークを交換可能に支持するワーク支持機構と、既知ワークに検査光を照射する光照射装置と、前記所定の照明条件となるように、前記光照射装置を支持する光照射装置支持機構と、前記光照射装置によって照明された前記既知ワークを撮像する撮像装置と、前記既知ワークの検査結果を入力する入力装置と、前記撮像装置によって撮像された既知ワークの画像データを、前記入力装置で入力された検査結果に紐づけて格納する画像格納部とを備えていることを特徴とする。
【００１１】
このようなものであれば、光検査システムを用いることなく、それと同等の照明条件下、既知ワークを種々交換して撮像することにより、検査アルゴリズムを学習するための画像データを蓄積することができる。このことにより、光検査システムへの機械学習機能の導入を短時間に、かつ簡便にできるようになる。
【００１２】
また、例えば画像データからの学習結果をみて、学習のためのよりよい照明条件を探索することもでき、これを光検査システムにフィードバックして、その照明条件を改善することも可能になる。
【００１３】
前記照明条件を種々実現できるようにするには、前記光照射装置支持機構が、光照射装置を交換可能、かつ、姿勢変更及び／又は位置変更可能に支持するものであり、光照射装置の姿勢及び／又は位置の設定によって、前記所定の照明条件が実現されるように構成してあるものが好ましい。
【００１４】
ワークの位置や姿勢も変更可能にして、前記照明条件の設定自由度を上げるには、前記ワーク支持機構が、前記既知ワークを姿勢変更及び／又は位置変更可能に支持するものであることが望ましい。
【００１５】
同様の理由から、前記撮像装置を、姿勢変更及び／又は位置変更可能に支持する撮像装置支持機構をさらに備えているものであれば、なお好ましい。
【００１６】
光照射装置や撮像装置の相対的な位置及び／又は姿勢の設定精度や再現性を担保するには、枠材を組み合わせてなる枠構造体をさらに備え、該枠構造体によって光照射装置及び撮像装置が支持されているものが好適である。
【００１７】
光検査システムでの検査アルゴリズムを予め確定させるには、前記画像格納部に格納されている既知ワークの画像データとその検査結果とに基づいて、前記検査アルゴリズムを学習によって取得する学習部をさらに備えているものが望ましい。
【発明の効果】
【００１８】
このように構成した本発明によれば、光検査システムを用いることなく、それと同等の照明条件下、既知ワークを種々交換して撮像することにより、検査アルゴリズムを学習するための画像データを蓄積することができる。このことにより、光検査システムへの機械学習機能の導入を短時間に、かつ簡便にできるようになる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態における光検査システムを示す模式図。
【図２】同実施形態における光検査システム用支援装置を示す模式図。
【発明を実施するための形態】
【００２０】
以下に本発明の一実施形態について図面を参照して説明する。
【００２１】
本実施形態に係る光検査システム用支援装置１００は、工場等において製造される製品Ｗ（以下、ワークＷともいう。）を撮像し、この撮像によって得られたワーク画像データを、所定の検査アルゴリズムにしたがって検査し、その検査結果を出力する光検査システム２００（図１参照）に利用されるものである。
そこで、まずは、光検査システム１００について簡単に説明する。
【００２２】
＜光検査システムの説明＞
この光検査システムは、図１に示すように、工場等において製造されるワークＷを例えばインラインで次々表面検査するものであって、ワークＷを搬送する搬送装置２０３上に設けられて該ワークＷに検査光を照射する照明装置２０１と、該照明装置２０１によって照明されているワークＷを撮像する撮像装置２０２と、該撮像装置２０２で撮像されたワークＷの画像データに基づいてそのワークＷを検査し、その検査結果を出力する情報処理装置２０６とを備えている。
【００２３】
前記照明装置２０１はＬＥＤを光源とするものである。なお、その明るさ（光強度）や照明タイミングは、同図に示す照明装置コントローラ２０５から出力される照明指令信号によって制御される。
【００２４】
前記撮像装置２０２は、ラインセンサを用いたものも考えられるが、ここでは例えばエリアセンサを用いたものであり、撮像によってワークＷの二次元画像データを得ることができる。なお、その撮像タイミングやシャッタスピード、絞りなどは、同図に示す撮像装置コントローラ２０４から出力される撮像指令信号によって制御される。
【００２５】
この実施形態では、照明装置コントローラ２０５と撮像装置コントローラ２０４とがローカル通信を行って、撮像タイミングと照明タイミングとが同期するように構成してある。
【００２６】
前記情報処理装置２０６は、撮像装置２０２で撮像されたワークＷの画像データに所定の処理（例えば二値化など）を施す画像処理部２６１と、該画像処理部２６１によって処理が施された処理後の画像データを所定の項目に照らして検査し、その結果（例えばワークＷが合格か不合格かなど）を出力する判定部２６２とを備えたものである。この判定部２６２による検査は、所定の検査アルゴリズムにしたがって行われる。この検査アルゴリズムは、例えば機械学習によって得られたものであり、メモリの所定領域に設定されたアルゴリズム格納部２６３に格納されている。
【００２７】
なお、画像処理部２６１は存在せず、撮像装置２０２から送られてきた原画像データに基づいて判定部２６２が検査する場合もある。
【００２８】
＜光検査システム用支援装置の説明＞
次に、光検査システム用支援装置１００について説明する。
【００２９】
このものは、図２に示すように、筐体１と、この筐体１内に設けられたワーク支持機構２、光照射装置３、光照射装置支持機構４、撮像装置５及び撮像装置支持機構６と、筐体１外に設けられた光照射装置コントローラ７、撮像装置コントローラ８、入力装置１０及び情報処理装置９とを備えたものである。
これら各部について、以下順に説明する。
【００３０】
前記筐体１は、直方体状をなすものであり、枠材を組み合わせてなる枠構造体１１と、この枠構造体１１の外周に貼設されて外部の光を遮断する外壁１２とを有したものである。
【００３１】
前記ワーク支持機構２は、ここでは、水平板状の固定ステージ２１を備えたものであり、この固定ステージ２１上に、検査結果（ここでは良否の二値結果）が既知である既知ワークＷ１を交換可能に、かつ、その位置を変更可能に載置できるようにしてある。そのために、前記外壁１２の一部には、既知ワークＷ１を取り換えて固定ステージ２１上に載置するための図示しない開閉扉が設けてある。なお、この固定ステージ２１に代えてＸＹＺステージにするなどして、既知ワークＷ１を移動できるようにしてもよいし、既知ワークＷ１を把持する把持機構を設け、この把持機構により、既知ワークＷ１を姿勢変更可能に把持させるようにしてもよい。
【００３２】
前記光照射装置３は、ここでは、前記光検査システム２００で用いられる照明装置２０１と同等のものである。なお、この光照射装置３は、前記照明装置２０１と同等の光質（輝度、波長スペクトル、検査光の広がり角等）を得られるものであれば、他の機種でも構わない。また、後述するが、光照射装置支持機構４の調整などによってワークとの距離を変えるなどし、光検査システム２００と同等の照明条件が得られるのであれば、光質の異なるものでも構わない。
【００３３】
前記光照射装置支持機構４は、光照射装置３を異なる種類に交換可能に、かつ位置変更及び姿勢変更可能に支持するものである。
【００３４】
具体的に説明すると、この光照射装置支持機構４は、枠構造体１１を構成する中間梁１１１に対し、左右方向に水平移動可能に垂下させた複数（ここでは一対の）垂下支持体４１を備えたものである。
【００３５】
各垂下支持体４１は、前記中間梁１１１から垂下する柱状乃至板状をなす第１支持材４１１と、該第１支持材４１１にそれぞれ垂直移動可能に設けられた柱状乃至板状をなす第２支持材４１２と、この第２支持材４１２の先端部（下端部）に設けられて前記光照射装置３を回転可能に把持する把持構造４１３とを備えている。
【００３６】
そして、この実施形態では、各垂下支持体４１にそれぞれスポット照明タイプの光照射装置３を支持させて、既知ワークＷを互いに逆方向斜め上から照明するようにしてある。
【００３７】
なお、例えばリング照明装置や面照明装置などのように、平面的に大型の光照射装置の場合は、各垂下支持体４１によって、１つの光照射装置の対向辺部を把持するようにしてもよい。またそのために、把持構造４１３を別種のものに取り換え可能に構成してもよい。
さらに、異なる種類の光照射装置を支持するために、構造が異なる光照射装置支持機構４を枠構造体１１に共通に取り付けられるようにしてもよい。そのためには、枠構造体１１に光照射装置支持機構４を取り付けるための取付構造を共通化しておけばよい。
【００３８】
前記撮像装置５は、前記光検査システム２００で用いられる撮像装置２０２と同等ものである。もちろん、前記光検査システム２００で用いられる撮像装置２０２と同等の機能を有するのであれば、他の機種でも構わない。
【００３９】
前記撮像装置支持機構６は、撮像装置５を取り換え可能に支持するものであり、この実施形態では、枠構造体１１の天井梁１１２の中央部分から懸架させた懸架支持体６１を備えている。そして、この懸架支持体６１の先端部に設けた把持機構によって、撮像装置５の撮像面が、下方の固定ステージ２１の中央部分に向くように、該撮像装置５を支持している。
【００４０】
光照射装置コントローラ７は、前記光検査システム２００で用いられる照明装置コントローラ２０５と同様であり、また、撮像装置コントローラ８は、前記光検査システム２００で用いられる撮像装置コントローラ２０４と同様なので、それらの説明は省略する。
【００４１】
前記入力装置１０は、筐体１内に載置されて撮像される既知ワークＷ１の情報をオペレータが入力するためのものである。入力される既知ワークＷ１の情報とは、ここでは、既知ワークＷ１の検査結果プロパティであり、既知ワークＷ１が合格品であるか不合格品であるか（良否）の二値である。
【００４２】
この実施形態では、この入力装置１０が、２つのスイッチ１０ａ、１０ｂから構成されている。一方は良品の場合に押すスイッチ１０ａであり、他方は不良品の場合に押すスイッチ１０ｂである。
【００４３】
なお、入力装置１０は、このようなスイッチ１０ａ、１０ｂに限られず、例えばコンピュータのディスプレイ上にスイッチバーを表示してこれを選択入力できるようにしたものでもよい。また、検査結果プロパティは、合否のような二値のもののみならず、例えば、１０段階評価などのようなものでも構わない。その場合は入力装置１０で数値が入力される。
【００４４】
前記情報処理装置９は、ＣＰＵ、メモリ、通信ポート、Ｉ／Ｏポートなどを備えた、いわゆるコンピュータである。そして、メモリに記憶された所定のプログラムに従ってＣＰＵやその周辺機器が協動することにより、前記撮像装置５によって撮像された既知ワークＷ１の画像データに対し、光検査システム２００と同等な画像処理を施す画像処理部９１と、該画像処理部９１によって処理された画像データを、前記入力装置１０で入力された検査結果プロパティに紐づける紐付部９２と、画像データとこれに紐づけられた検査結果プロパティとを格納する画像格納部９３としての機能を発揮する。
【００４５】
なお、この情報処理装置９は、物理的に一体である必要はなく、遠隔地にある複数のコンピュータから構成されていてもよい。例えばクラウドなどの仮想空間にメモリを設けるなどしても構わない。
【００４６】
次に、この光検査装置支援システム１００の動作及び効果を簡単に説明する。
【００４７】
オペレータは、光照射装置３の種類を選定するとともに、その位置や姿勢を調整して、光検査システム２００と同等な照明条件を設定する。その照明条件下、既知ワークＷ１を撮像する。その直前又は直後に、既知ワークＷ１の検査プロパティである良であるか否であるかをスイッチ１０ａ、１０ｂを押下することによって、情報処理装置９に伝達する。
【００４８】
情報処理装置９は、撮像装置５から原画像データを受信して、それに画像処理を施し、その処理後の画像データを、前記入力装置１０で入力された検査結果プロパティに紐づけて格納する。
【００４９】
このことにより、多数の画像データとそれぞれの検査結果プロパティからなる教師情報を得ることができる。
【００５０】
この教師情報を、例えば汎用パソコンなどのコンピュータに送り、そのコンピュータに学習機能（学習部）を設けておいて、そこで、入力を画像データ、出力を検査結果として、その間の相関を示す検査アルゴリズムをＡＩなどの機械学習によって習得させる。なお、周知のようにこの検査アルゴリズムはＡＩによって習得されたものであり、その詳細はブラックボックスである。
【００５１】
この検査アルゴリズムを、光検査システム２００に移植すれば、光検査システム２００を用いることなく学習させることができるので、光検査システム２００への機械学習機能の導入を短時間に、かつ簡便に行えるようになる。
【００５２】
また、例えば画像データからの学習結果をみて、学習のためのよりよい照明条件を探索することもでき、これを光検査システムにフィードバックして、その照明条件を改善することも可能になる。
【００５３】
なお、本発明は前記実施形態に限られるものではない。
【００５４】
例えば、前記実施形態では、前記画像格納部９３に格納されている既知ワークＷ１の画像データとその検査結果とに基づいて、前記検査アルゴリズムを学習によって取得する学習部を、汎用パソコンなどの別のコンピュータに設けていたが、この光検査アシステム用支援装置の情報処理装置９に、前記学習部を設けても構わない。
【００５５】
また、画像処理部９１は必ずしも必要なく、その場合は紐付部９２は、撮像装置の原画像データと検査プロパティとを紐づけ、これらが画像格納部９３に格納されることになる。
【００５６】
また、光照射装置支持機構４や撮像装置支持機構６の構成は、前記実施形態に限られず、その機能についても、例えば、ロボットアームなどを用いて、より高い自由度（例えば、位置について３自由度、姿勢について３自由度）で光照射装置３や撮像装置５を支持できるようにしたり、あるいは、より簡便な機構にすべく、それよりも低い自由度（固定も含む）の構成でも構わない。
【００５７】
また、筐体１の外壁１２は必ずしも必要なく、枠構造体１１のみで構成してもよい。また、光検査システムでの、照明装置以外からの周囲光を再現すべく、別途照明装置を、例えば枠構造体１１に取り付けられるようにしてもよい。
【００５８】
その他、本発明は前記実施形態に限られず、その趣旨を逸脱しない範囲で種々の変形が可能である。
【符号の説明】
【００５９】
２００・・・光検査システム
１００・・・光検査システム用支援装置
Ｗ１・・・既知ワーク
１・・・筐体
２・・・ワーク支持機構
３・・・光照射装置
４・・・光照射装置支持機構
５・・・撮像装置
６・・・撮像装置支持機構
９３・・・画像格納部
１０・・・入力装置
【図１】
2020016514.tif 000003
【図２】
2020016514.tif 000004