(57)【要約】【課題】検査対象物の形状や新たな欠陥モードに柔軟に対処することが可能な外観検査装置を提供すること。【解決手段】本発明の外観検査装置１は、基準データセット及び学習データセットに基づいて、正常な製品の画像である第１画像と、比較対象となる製品の画像である第２画像とを、それぞれ異なるデータセットから選択して組を作成するデータ組合せ作成部３４と、第２画像に対応する製品が正常か又は欠陥が有るかの分類を学習する機械学習装置１００を備え、機械学習装置１００は、第１画像及び第２画像の組を環境の現在状態を表す状態変数として観測する状態観測部１０６と、第２画像に付与されたラベルをラベルデータとして取得するラベルデータ取得部１０８と、状態変数と前記ラベルデータとを関連付けて学習する学習部１１０と、を備える。【選択図】図２
2019095217.tif 000002
【特許請求の範囲】
【請求項１】
外観的に検査することが可能なデータに対する検査を行なう外観検査装置において、
過去に学習に用いられ、正常か異常かを示すラベルが付与されたデータのセットである基準データセットを記憶可能な基準データセット記憶部と、
追加の学習に用いる、正常か異常かを示すラベルが付与されたデータのセットである学習データセットを記憶可能な学習データセット記憶部と、
基準データセット及び学習データセットに基づいて、正常なデータである第１データと、前記第１データの比較対象となるデータである第２データとの組を作成するデータ組合せ作成部と、
前記データ組合せ作成部が作成した前記第１データ及び前記第２データの組に対して、前記第２データが正常か又は異常が有るかの分類を学習する機械学習装置を備え、
前記機械学習装置は、
前記第１データ及び前記第２データの組を環境の現在状態を表す状態変数として観測する状態観測部と、
前記第２データに付与されたラベルをラベルデータとして取得するラベルデータ取得部と、
前記状態変数と前記ラベルデータとを関連付けて学習する学習部と、
を備え、
前記データ組合せ作成部は、少なくとも前記第１データ及び前記第２データのいずれかに前記学習データセット記憶部から選択されたデータを含むようにそれぞれの組を作成する、
外観検査装置。
【請求項２】
検査対象となる製品の外観検査を行なう外観検査装置において、
過去に学習に用いられ、正常品か欠陥品かを示すラベルが付与された製品の画像のデータセットである基準データセットを記憶可能な基準データセット記憶部と、
追加の学習に用いる、正常品か欠陥品かを示すラベルが付与された製品の画像のデータセットである学習データセットを記憶可能な学習データセット記憶部と、
基準データセット及び学習データセットに基づいて、正常な製品の画像である第１画像と、前記第１画像の比較対象となる製品の画像である第２画像との組を作成するデータ組合せ作成部と、
前記データ組合せ作成部が作成した前記第１画像及び前記第２画像の組に対して、前記第２画像に対応する製品が正常か又は欠陥が有るかの分類を学習する機械学習装置を備え、
前記機械学習装置は、
前記第１画像及び前記第２画像の組を環境の現在状態を表す状態変数として観測する状態観測部と、
前記第２画像に付与されたラベルをラベルデータとして取得するラベルデータ取得部と、
前記状態変数と前記ラベルデータとを関連付けて学習する学習部と、
を備え、
前記データ組合せ作成部は、少なくとも前記第１画像及び前記第２画像のいずれかに前記学習データセット記憶部から選択されたデータを含むようにそれぞれの組を作成する、
外観検査装置。
【請求項３】
前記データ組合せ作成部は、前記学習データセットから、前記基準データセットと重複するデータを取り除く、
請求項２に記載の外観検査装置。
【請求項４】
前記データ組合せ作成部は、前記基準データセットから、前記学習データセットと重複する画像を持つデータを取り除く、
請求項２に記載の外観検査装置。
【請求項５】
前記学習データセットには、過去の学習結果に基づいた分類の推定結果に基づいてラベルが付与された画像を含む、
請求項２〜４のいずれか１つに記載の外観検査装置。
【請求項６】
前記学習データセットには、過去の学習結果に基づいた分類の推定において、正しくない分類が推定された画像に対して正しいラベルを付与し直した画像を含む、
請求項２〜５のいずれか１つに記載の外観検査装置。
【請求項７】
過去の学習済みモデルと、追加学習後の学習済みモデルとに対する分類の推定結果を比較し、より人間の感覚に近い外観検査が行える学習済みモデルを採択する、
請求項２〜６のいずれか１つに記載の外観検査装置。
【請求項８】
外観的に検査することが可能なデータに対する検査を行なう外観検査方法において、
過去に学習に用いられ、正常か異常かを示すラベルが付与されたデータのセットである基準データセットを記憶可能な基準データセット及び追加の学習に用いる、正常か異常かを示すラベルが付与されたデータのセットである学習データセットに基づいて、正常なデータである第１データと、前記第１データの比較対象となるデータである第２データとの組を作成するステップと、
前記第１データ及び前記第２データの組を環境の現在状態を表す状態変数として観測するステップと、
前記第２データに付与されたラベルをラベルデータとして取得するステップと、
前記状態変数と前記ラベルデータとを関連付けて学習するステップと、
を実行する外観検査方法であって、
前記データの組を作成するステップは、少なくとも前記第１データ及び前記第２データのいずれかに前記学習データセットから選択されたデータを含むようにそれぞれの組を作成する、
外観検査方法。
【請求項９】
検査対象物となる製品の外観検査を行なう外観検査方法において、
過去に学習に用いられ、正常品か欠陥品かを示すラベルが付与された前記製品の画像のデータセットである基準データセット及び追加の学習に用いる、正常品か欠陥品かを示すラベルが付与された前記製品の画像のデータセットである学習データセットに基づいて、正常な前記製品の画像である第１画像と、前記第１画像の比較対象となる前記製品の画像である第２画像との組を作成するステップと、
前記第１画像及び第２画像の組を環境の現在状態を表す状態変数として観測するステップと、
前記第２画像に付与されたラベルをラベルデータとして取得するステップと、
前記状態変数と前記ラベルデータとを関連付けて学習するステップと、
を実行する外観検査方法であって、
前記画像の組を作成するステップは、少なくとも前記第１画像及び前記第２画像のいずれかに前記学習データセットから選択されたデータを含むようにそれぞれの組を作成する、
外観検査方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外観検査装置に関する。
【背景技術】
【０００２】
従来、工場において製造された製品の外観を撮像手段で撮像し、撮像した画像に基づいた製品の仕分け作業や、正常品とキズや欠け等がある欠陥品との分類を行なう外観検査等が行なわれている（例えば、特許文献１〜３等）。このような作業や検査では、例えば、予め用意した基準画像から特徴点を抽出しておき、製品を撮像した画像から抽出された特徴点と比較した結果に基づいて製品の仕分けや選別を行なっている。
【０００３】
一方で、画像に写った特徴から分類をする従来技術としては、ディープニューラルネットワークを利用した深層学習が用いられるものがある。このような技術では、深層学習のニューラルネットワークを学習するために、たとえば製品Ａが写っている画像には「製品Ａ」、製品Ｂが写っている画像には「製品Ｂ」といったように、その画像に写っている対象物の情報（ラベル）を画像に付加するアノテーションと呼ばれる作業を行う。このようにして作成した画像とラベルのデータセットで学習を実行し、生成されるニューラルネットワークで画像に対して推定を行うことで、その画像に写る対象物を分類する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−０２１７５６号公報
【特許文献２】特開２００５−０５２９２６号公報
【特許文献３】特開２０１３−１４００９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
通常、このように画像に写る対象物を分類するニューラルネットワークの学習には膨大な量の画像と、それら全てにアノテーションする工数が必要になる。さらに、当然ながら、たとえば製品Ａと製品Ｂとを分類するように学習したニューラルネットワークに製品Ｃの画像を入力した場合など、学習時に存在しない分類の画像は正しく推定されない。そのため、深層学習による画像の分類を製造現場での外観検査に適用しようとした場合、様々な問題に直面する。
【０００６】
例えば、工場での製造工程では、そもそも欠陥品を製造しないように調整しているので、欠陥品のサンプル数が少ない。その結果、学習に必要な量の画像が集まる前に、機種変更等により検査対象物の形状が変わる可能性がある。また、欠陥にはいろいろと特徴の異なる欠陥モードがあり、今までと異なる欠陥モードが生じた場合、既存のニューラルネットワークでは正しく検査できない可能性がある。このような事態を想定して、正常品と欠陥品との差異を学習させる技術が知られており、当該技術を導入しておいて新たな欠陥モードが発見された時に再学習をすることで対処することも考えられるが、学習を最初からやり直すには日数がかかりすぎるため、外観検査では従来の深層学習の学習方法は適していなかった。
【０００７】
そこで本発明の目的は、検査対象物の形状や新たな欠陥モードに柔軟に対処することが可能な外観検査装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明の製品の外観検査を行なう外観検査装置では、図９に示すように、２つの検査済み製品の画像をそれぞれ同時に入力して学習する機械学習器を用いることを前提とする。この機械学習器の学習では、２つの（異なる）正常品の画像の特徴量が入力された場合に正常品であることを出力し、正常品の画像の特徴量と欠陥品の画像の特徴量とが入力された場合には欠陥品であることを出力するように学習させる。
【０００９】
そして、本発明の外観検査装置では、図１０に示すように、最初の学習の開始時点で用意できるだけの検査済み製品を撮像した画像を用意し、これを第１データセットとして、第１データセットに含まれる製品の画像を組とした学習を行う。そして、この段階で生成された学習モデルを第１学習済みモデルとして検査対象物の画像の分類に利用する。その後、新たなデータセット（第１学習済みモデルには入っていなかった製品の画像のデータセット）による追加学習を行う際には、第１データセットを基準データセットとし、少なくとも新たなデータセットに含まれる画像を一方に含む製品の画像の組（基準データセットに含まれる画像と新たなデータセットに含まれる画像との組、及び、新たなデータセットに含まれる画像同士の組）を作成し、作成した画像の組を用いた追加学習を第１学習済みモデルに対して行う。なお、更なる後に追加学習を行う場合には、新たなデータセットと基準データセット（第１データセット）とをまとめた第２データセットを作成し、この第２データセットを基準データセットとして追加学習を行う、といったように累進的に学習を行わせる。
【００１０】
新たなデータセットには、例えば第１学習済みモデルを用いた検査対象物の画像の分類において正しくない分類結果が推定された検査対象物の画像や、第１データセットに含まれる一部の製品の画像についてラベルを変更したもの等が含まれる。新たなデータセットの中に、基準データセットと重複するデータが含まれている場合には、その重複するデータを新たなデータセットから除外するとより好適である。なお、本発明の外観検査装置では、新たなデータセットの中に基準データセットと画像が重複するもののラベルが異なるデータが含まれている場合には、基準データセットに含まれる該画像のデータについては追加学習に用いない（そのようなデータを基準データセットから除外する）ようにすれば、画像に対するラベルの矛盾を解消することができる。
【００１１】
そして、本発明の一態様は、外観的に検査することが可能なデータに対する検査を行なう外観検査装置において、過去に学習に用いられ、正常か異常かを示すラベルが付与されたデータのセットである基準データセットを記憶可能な基準データセット記憶部と、追加の学習に用いる、正常か異常かを示すラベルが付与されたデータのセットである学習データセットを記憶可能な学習データセット記憶部と、基準データセット及び学習データセットに基づいて、正常なデータである第１データと、前記第１データの比較対象となるデータである第２データとの組を作成するデータ組合せ作成部と、前記データ組合せ作成部が作成した前記第１データ及び前記第２データの組に対して、前記第２データが正常か又は異常が有るかの分類を学習する機械学習装置を備え、前記機械学習装置は、前記第１データ及び前記第２データの組を環境の現在状態を表す状態変数として観測する状態観測部と、前記第２データに付与されたラベルをラベルデータとして取得するラベルデータ取得部と、前記状態変数と前記ラベルデータとを関連付けて学習する学習部と、を備え、前記データ組合せ作成部は、少なくとも前記第１データ及び前記第２データのいずれかに前記学習データセット記憶部から選択されたデータを含むようにそれぞれの組を作成する、外観検査装置である。
【００１２】
本発明の他の態様は、検査対象となる製品の外観検査を行なう外観検査装置において、過去に学習に用いられ、正常品か欠陥品かを示すラベルが付与された製品の画像のデータセットである基準データセットを記憶可能な基準データセット記憶部と、追加の学習に用いる、正常品か欠陥品かを示すラベルが付与された製品の画像のデータセットである学習データセットを記憶可能な学習データセット記憶部と、基準データセット及び学習データセットに基づいて、正常な製品の画像である第１画像と、前記第１画像の比較対象となる製品の画像である第２画像との組を作成するデータ組合せ作成部と、前記データ組合せ作成部が作成した前記第１画像及び前記第２画像の組に対して、前記第２画像に対応する製品が正常か又は欠陥が有るかの分類を学習する機械学習装置を備え、前記機械学習装置は、前記第１画像及び前記第２画像の組を環境の現在状態を表す状態変数として観測する状態観測部と、前記第２画像に付与されたラベルをラベルデータとして取得するラベルデータ取得部と、前記状態変数と前記ラベルデータとを関連付けて学習する学習部と、を備え、前記データ組合せ作成部は、少なくとも前記第１画像及び前記第２画像のいずれかに前記学習データセット記憶部から選択されたデータを含むようにそれぞれの組を作成する、外観検査装置である。
【００１３】
本発明の他の態様は、外観的に検査することが可能なデータに対する検査を行なう外観検査方法において、過去に学習に用いられ、正常か異常かを示すラベルが付与されたデータのセットである基準データセットを記憶可能な基準データセット及び追加の学習に用いる、正常か異常かを示すラベルが付与されたデータのセットである学習データセットに基づいて、正常なデータである第１データと、前記第１データの比較対象となるデータである第２データとの組を作成するステップと、前記第１データ及び前記第２データの組を環境の現在状態を表す状態変数として観測するステップと、前記第２データに付与されたラベルをラベルデータとして取得するステップと、前記状態変数と前記ラベルデータとを関連付けて学習するステップと、を実行する外観検査方法であって、前記データの組を作成するステップは、少なくとも前記第１データ及び前記第２データのいずれかに前記学習データセットから選択されたデータを含むようにそれぞれの組を作成する、外観検査方法である。
【００１４】
本発明の他の態様は、検査対象物となる製品の外観検査を行なう外観検査方法において、過去に学習に用いられ、正常品か欠陥品かを示すラベルが付与された前記製品の画像のデータセットである基準データセット及び追加の学習に用いる、正常品か欠陥品かを示すラベルが付与された前記製品の画像のデータセットである学習データセットに基づいて、正常な前記製品の画像である第１画像と、前記第１画像の比較対象となる前記製品の画像である第２画像との組を作成するステップと、前記第１画像及び第２画像の組を環境の現在状態を表す状態変数として観測するステップと、前記第２画像に付与されたラベルをラベルデータとして取得するステップと、前記状態変数と前記ラベルデータとを関連付けて学習するステップと、を実行する外観検査方法であって、前記画像の組を作成するステップは、少なくとも前記第１画像及び前記第２画像のいずれかに前記学習データセットから選択されたデータを含むようにそれぞれの組を作成する、外観検査方法である。
【発明の効果】
【００１５】
本発明の外観検査装置では、追加学習を行う際に全てのデータセットで初めから学習を行うよりも短時間で学習が完了する。より具体的には、学習モデルの作成に用いたデータセットを基準データセットとして記憶しておき、追加学習時には基準データセットと新たなデータセットとの組で追加学習を行うため、学習に必要なサイクル数が大幅に削減できる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施形態による外観検査装置の概略的なハードウェア構成図である。
【図２】第１の実施形態による外観検査装置の概略的な機能ブロック図である。
【図３】新規学習時のデータ組合せ作成部による画像の組の作成例を示す図である。
【図４】追加学習時のデータ組合せ作成部による画像の組の作成例を示す図である。
【図５】外観検査装置の一形態を示す概略的な機能ブロック図である。
【図６Ａ】ニューロンを説明する図である。
【図６Ｂ】ニューラルネットワークを説明する図である。
【図７】第２の実施形態による外観検査装置の概略的な機能ブロック図である。
【図８】第３の実施形態による外観検査装置の概略的な機能ブロック図である。
【図９】２つの検査済み製品の画像をそれぞれ同時に入力して学習する機械学習器の図である。
【図１０】本発明による外観検査装置の学習方法を説明する図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態を図面と共に説明する。
図１は第１の実施形態による外観検査装置の要部を示す概略的なハードウェア構成図である。本実施形態では、例えば工場などで製造された製品について正常品と欠陥品の分類を推定する装置等としての外観検査装置１を例として説明する。本実施形態による外観検査装置１が備えるＣＰＵ１１は、外観検査装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、ＲＯＭ１２に格納されたシステム・プログラムをバス２０を介して読み出し、該システム・プログラムに従って外観検査装置１全体を制御する。ＲＡＭ１３には一時的な計算データや表示データが一時的に格納される。
【００１８】
不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされるなどして、外観検査装置１の電源がオフされても記憶状態が保持されるメモリとして構成される。不揮発性メモリ１４には、インタフェース１８を介してキーボード等の入力装置７０から入力されたデータや、インタフェース19を介して撮像装置８０から入力された製品の画像データ、図示しない外部メモリ、ネットワーク等を介して取得された各種データ（製品の画像データを含む）等が記憶されている。不揮発性メモリ１４に記憶されたプログラムや各種データは、実行時／利用時にはＲＡＭ１３に展開されても良い。また、ＲＯＭ１２には、各種のシステム・プログラム（後述の機械学習装置１００とのやりとりを制御するためのシステム・プログラムを含む）があらかじめ書き込まれている。
【００１９】
グラフィック制御回路１５は数値データ及び図形データ等のデジタル信号を表示用のラスタ信号に変換し、表示装置６０に送り、表示装置６０はこれらの数値及び図形を表示する。表示装置６０には主に液晶表示装置が使用される。
【００２０】
インタフェース２１は、外観検査装置１と機械学習装置１００とを接続するためのインタフェースである。機械学習装置１００は、機械学習装置１００全体を統御するプロセッサ１０１と、システム・プログラム等を記憶したＲＯＭ１０２、機械学習に係る各処理における一時的な記憶を行うためのＲＡＭ１０３、及び学習モデル等の記憶に用いられる不揮発性メモリ１０４を備える。機械学習装置１００は、インタフェース２１を介して外観検査装置１で取得可能な各データ（外観検査対象物のデータ等）を観測することができる。また、外観検査装置１は、機械学習装置１００から出力される、外観検査対象物の検査結果を図示しない表示装置等に表示する。
【００２１】
図２は、第１の実施形態による外観検査装置１と機械学習装置１００の概略的な機能ブロック図である。図２に示した各機能ブロックは、図１に示した外観検査装置１が備えるＣＰＵ１１、及び機械学習装置１００のプロセッサ１０１が、それぞれのシステム・プログラムを実行し、外観検査装置１及び機械学習装置１００の各部の動作を制御することにより実現される。
【００２２】
本実施形態の外観検査装置１は、不揮発性メモリ１４に予め記憶されている製品の画像のデータセットから学習に用いる画像の組み合わせを作成するデータ組合せ作成部３４を備える。また、本実施形態の外観検査装置１の不揮発性メモリ１４には、過去に学習に用いられた検査済み製品の画像（既に正常品／欠陥品のラベルが付与された状態の画像）のセットである基準データセットを記憶するための領域である基準データセット記憶部１４２と、新たに学習するために用意された検査済み製品の画像（既に正常品／欠陥品のラベルが付与された状態の画像）のセットである学習データセットを記憶するための領域である学習データセット記憶部１４４が確保されている。基準データセット記憶部１４２に記憶される基準データセットは、学習が完了した時点で基準データセット記憶部１４２に記憶されていた基準データセットに学習データセット記憶部１４４に記憶されていた学習データセットを追加することで作成される。学習データセット記憶部１４４に記憶される学習データセットは、例えば撮像装置８０で撮像された製品の画像や、図示しない外部メモリから読み込まれた製品の画像、図示しないネットワークを介して取得された製品の画像等に基づいて作成される。なお、過去に学習が行われていない状態で新規の学習を開始する場合には、基準データセットが記憶されていない状態で学習が開始される。
【００２３】
学習データセット記憶部１４４に記憶される学習データセットは、追加学習に用いられるデータセットと考えることが出来る。学習データセットは、新たに撮像した対象物の画像に正常品／欠陥品のラベルを付与した画像を含んでいても良く、過去の学習結果に基づいた分類の推定結果に基づいてラベルが付与された画像を含んでも良い。また、既存の学習結果に基づいて正常品／欠陥品の分類の推定を行なった際に誤った結果が出力された画像に関して正しいラベルを付与した画像を含んでいても良い。
【００２４】
データ組合せ作成部３４は、過去に学習が行われていない状態で新規の学習を開始する場合（即ち、基準データセット記憶部１４２に画像が記憶されていない場合）には、学習データセット記憶部１４４に記憶されている画像の内の正常品のラベルが付与されている画像と、他の画像（比較対象となる製品の画像）との組み合わせを作成する。データ組合せ作成部３４は、上記条件を満足する全ての画像の組み合わせを作成する。例えば、図３に例示されるように学習データセット記憶部１４４に学習データセットとして画像Ａ（ラベル：正常品）、画像Ｂ（ラベル：欠陥品）、画像Ｃ（ラベル：正常品）、画像Ｄ（ラベル：欠陥品）が記憶されている場合、データ組合せ作成部３４は６組の画像の組み合わせを作成する。
【００２５】
一方で、データ組合せ作成部３４は、過去に学習が行われている状態で新たに学習を開始する場合（即ち、基準データセット記憶部１４２に画像が記憶されている場合）には、少なくとも学習データセット記憶部１４４に記憶されている画像を一方に含む製品の画像の組み合わせ（基準データセット記憶部１４２に記憶されていると学習データセット記憶部１４４に記憶されている画像との組み合わせ、及び、学習データセット記憶部１４４に記憶されている画像同士の組み合わせ）であって、少なくとも一方が正常品のラベルが付されている画像の組み合わせを作成する。データ組合せ作成部３４は、上記条件を満足する全ての画像の組み合わせを作成する。例えば、図４に例示されるように基準データセット記憶部１４２に基準データセットとして画像Ａ（ラベル：正常品）、画像Ｂ（ラベル：欠陥品）、画像Ｃ（ラベル：正常品）、画像Ｄ（ラベル：欠陥品）が記憶され、学習データセット記憶部１４４に学習データセットとして画像Ｐ（ラベル：正常品）、画像Ｑ（ラベル：欠陥品）、画像Ｒ（ラベル：欠陥品）が記憶されている場合、データ組合せ作成部３４は１２組の画像の組み合わせを作成する。このように、学習の対象となる画像の組み合わせを、少なくとも学習データセットから選択した画像を含んだ組に限定することで、全てのデータセットをひとまとめにして画像の組み合わせを用いて学習する場合と比較して、学習の回数を大幅に削減することが出来る。
【００２６】
本実施形態の機械学習装置１００は、正常品と、正常品又は欠陥品との差異を、いわゆる機械学習により自ら学習するためのソフトウェア（学習アルゴリズム等）及びハードウェア（プロセッサ１０１等）を含む。外観検査装置１が備える機械学習装置１００が学習するものは、正常品の画像と比較対象となる製品（正常品又は欠陥品）の画像との差異に対する分類を表すモデル構造に相当する。
【００２７】
図２に機能ブロックで示すように、外観検査装置１が備える機械学習装置１００は、正常品の画像を示す正常品画像データＳ１、該正常品との比較対象となる製品の画像を示す比較画像データＳ２を含む状態変数Ｓを観測する状態観測部１０６と、比較対象とした製品の画像のラベル（正常品又は欠陥品）を示す分類データＬ１を含むラベルデータＬを取得するラベルデータ取得部１０８と、状態変数ＳとラベルデータＬとを用いて、正常品の画像と比較対象となる製品（正常品又は欠陥品）の画像との差異に対する分類を学習する学習部１１０とを備える。
【００２８】
状態観測部１０６が観測する状態変数Ｓのうち、正常品画像データＳ１は、データ組合せ作成部３４が作成した画像の組み合わせの内の正常品の画像が用いられる。また、状態変数Ｓのうち、比較画像データＳ２は、データ組合せ作成部３４が作成した画像の組み合わせの内の比較対象となる製品の画像が用いられる。
【００２９】
ラベルデータ取得部１０８が取得するラベルデータＬに含まれる分類データＬ１は、データ組合せ作成部３４が作成した画像の組み合わせの内の比較対象となる製品の画像に付与されているラベルが用いられる。ラベルデータ取得部１０８が取得するラベルデータＬは、正常品の画像と比較対象となる製品（正常品又は欠陥品）の画像との差異に対する分類を表す指標である。
【００３０】
学習部１１０は、機械学習と総称される任意の学習アルゴリズムに従い、正常品の画像と比較対象となる製品（正常品又は欠陥品）の画像との差異に対する分類（ラベルデータＬ）の推定を学習する。学習部１１０は、前述した状態変数ＳとラベルデータＬとを含むデータ集合に基づく学習を反復実行することができる。
【００３１】
このような学習サイクルを繰り返すことにより、学習部１１０は、正常品の画像（正常品画像データＳ１）及び比較対象となる製品の画像（比較画像データＳ２）の差異に対して、比較対象となる製品を正常品と判断するべきか、又は欠陥品と判断するべきかと言う分類を暗示する特徴を自動的に識別することができる。学習アルゴリズムの開始時には正常品画像データＳ１及び比較画像データＳ２の組に対してと、比較対象となる製品の分類は実質的に未知であるが、学習部１１０は、学習を進めるに従い徐々に特徴を識別して分類の推定を解釈する。正常品画像データＳ１及び比較画像データＳ２と比較対象となる製品の分類の推定が、ある程度信頼できる水準まで解釈されると、学習部１１０が反復出力する学習結果は、入力された正常品の画像と検査対象物の画像に対して、検査対象物の分類の推定が高い精度で行えるようになる。
【００３２】
上記構成を有する機械学習装置１００では、学習部１１０が実行する学習アルゴリズムは特に限定されず、機械学習として公知の学習アルゴリズムを採用できる。図５は、図２に示す外観検査装置１の他の形態であって、学習アルゴリズムの他の例として教師あり学習を実行する学習部１１０を備えた構成を示す。教師あり学習は、入力とそれに対応する出力との既知のデータセット（教師データと称する）が与えられ、それら教師データから入力と出力との相関性を暗示する特徴を識別することで、新たな入力に対する所要の出力を推定するための相関性モデルを学習する手法である。
【００３３】
図５に示す外観検査装置１が備える機械学習装置１００において、学習部１１０は、状態変数Ｓから検査対象物の分類を推定する相関性モデルＭと予め用意された教師データＴから識別される相関性特徴との誤差Ｅを計算する誤差計算部１１２と、誤差Ｅを縮小するように相関性モデルＭを更新するモデル更新部１１４とを備える。学習部１１０は、モデル更新部１１４が相関性モデルＭの更新を繰り返すことによって入力された正常品の画像と検査対象物の画像に対する検査対象物の分類の推定を学習する。
【００３４】
相関性モデルＭの初期値は、例えば、状態変数Ｓと入力された正常品の画像と検査対象物の画像の差異とラベルデータＬと入力された検査対象物の分類との相関性を単純化して（例えば一次関数で）表現したものであり、教師あり学習の開始前に学習部１１０に与えられる。教師データＴは、例えば、過去の検査対象物（の画像）に対するアノテーション作業により付与されたラベルを記録することで蓄積された経験値によって構成でき、教師あり学習の開始前に学習部１１０に与えられる。誤差計算部１１２は、学習部１１０に与えられた教師データＴから正常品の画像と検査対象物の画像の差異と検査対象物の分類との相関性を暗示する相関性特徴を識別し、この相関性特徴と、現在状態における状態変数Ｓ及びラベルデータＬに対応する相関性モデルＭとの誤差Ｅを求める。モデル更新部１１４は、例えば予め定めた更新ルールに従い、誤差Ｅが小さくなる方向へ相関性モデルＭを更新する。
【００３５】
次の学習サイクルでは、誤差計算部１１２は、更新後の相関性モデルＭに従って状態変数Ｓを用いて検査対象物の分類の推定が行われ、該予測の結果と実際に取得されたラベルデータＬの誤差Ｅを求め、モデル更新部１１４が再び相関性モデルＭを更新する。このようにして、未知であった環境の現在状態とそれに対する分類との相関性が徐々に明らかになる。
【００３６】
前述した教師あり学習を進める際に、ニューラルネットワークを用いることができる。図６Ａは、ニューロンのモデルを模式的に示す。図６Ｂは、図６Ａに示すニューロンを組み合わせて構成した三層のニューラルネットワークのモデルを模式的に示す。ニューラルネットワークは、例えば、ニューロンのモデルを模した演算装置や記憶装置等によって構成できる。
【００３７】
図６Ａに示すニューロンは、複数の入力ｘ（ここでは一例として、入力ｘ1〜入力ｘ3）に対する結果ｙを出力するものである。各入力ｘ1〜ｘ3には、この入力ｘに対応する重みｗ（ｗ1〜ｗ3）が掛けられる。これにより、ニューロンは、次の数１式により表現される出力ｙを出力する。なお、数１式において、入力ｘ、出力ｙ及び重みｗは、すべてベクトルである。また、θはバイアスであり、ｆkは活性化関数である。
【００３８】
【数１】
2019095217.tif 000003
【００３９】
図６Ｂに示す三層のニューラルネットワークは、左側から複数の入力ｘ（ここでは一例として、入力ｘ１〜入力ｘ３）が入力され、右側から結果ｙ（ここでは一例として、結果ｙ１〜結果ｙ３）が出力される。図示の例では、入力ｘ１、ｘ２、ｘ３のそれぞれに対応の重み（総称してｗ１で表す）が乗算されて、個々の入力ｘ１、ｘ２、ｘ３がいずれも３つのニューロンＮ１１、Ｎ１２、Ｎ１３に入力されている。
【００４０】
図６Ｂでは、ニューロンＮ１１〜Ｎ１３の各々の出力を、総称してｚ１で表す。ｚ１は、入カベクトルの特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルｚ１のそれぞれに対応の重み（総称してｗ２で表す）が乗算されて、個々の特徴ベクトルｚ１がいずれも２つのニューロンＮ２１、Ｎ２２に入力されている。特徴ベクトルｚ１は、重みＷ１と重みＷ２との間の特徴を表す。
【００４１】
図６Ｂでは、ニューロンＮ２１〜Ｎ２２の各々の出力を、総称してｚ２で表す。ｚ２は、特徴ベクトルｚ１の特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルｚ２のそれぞれに対応の重み（総称してｗ３で表す）が乗算されて、個々の特徴ベクトルｚ２がいずれも３つのニューロンＮ３１、Ｎ３２、Ｎ３３に入力されている。特徴ベクトルｚ２は、重みＷ２と重みＷ３との間の特徴を表す。最後にニューロンＮ３１〜Ｎ３３は、それぞれ結果ｙ１〜ｙ３を出力する。
【００４２】
なお、三層以上の層を為すニューラルネットワークを用いた、いわゆる公知のディープラーニングの手法を用いることも可能であり、本実施形態の機械学習装置１００が備える学習部１１０は、特にディープラーニングの手法を用いることで好適な結果を得られる。外観検査装置１が備える機械学習装置１００においては、状態変数Ｓを入力ｘとして、学習部１１０が上記したニューラルネットワークに従う多層構造の演算を行うことで、正常品の画像と検査対象物の画像に対して、検査対象物の分類がどのように推定されるか（結果ｙ）を出力することができる。なお、ニューラルネットワークの動作モードには、学習モードと価値予測モードとがあり、例えば学習モードで学習データセットを用いて重みｗを学習し、学習した重みｗを用いて価値予測モードで行動の価値判断を行うことができる。なお価値予測モードでは、検出、分類、推定等を行うこともできる。
【００４３】
上記した外観検査装置１の構成は、ＣＰＵ１１、プロセッサ１０１が実行する機械学習方法（或いはソフトウェア）として記述できる。この機械学習方法は、製品の外観検査を行う外観検査装置による機械学習方法であって、プロセッサ１０１が、正常品画像データＳ１，比較画像データＳ２等のデータを、現在状態を表す状態変数Ｓとして観測するステップと、検査対象物の分類を示すラベルデータＬを取得するステップと、状態変数ＳとラベルデータＬとを用いて、正常品画像データＳ１及び比較画像データＳ２と、検査対象物の分類とを関連付けて学習するステップとを有する。
【００４４】
図７は、第２の実施形態による外観検査装置２を示す。図７に示した各機能ブロックは、図１に示した外観検査装置が備えるＣＰＵ、及び機械学習装置のプロセッサが、それぞれのシステム・プログラムを実行し、外観検査装置及び機械学習装置の各部の動作を制御することにより実現される。
【００４５】
外観検査装置２は、機械学習装置１２０と、不揮発性メモリ１４に予め記憶されている正常品の画像と、撮像装置８０から取得された検査対象物の画像との組み合わせを作成する状態データ取得部３６と、後述する推定結果出力部１２２から出力された検査対象物の分類の推定結果を表示装置６０へと表示する表示部３８と、を備える。状態データ取得部３６は、作成した正常品の画像と検査対象物の画像との組み合わせを状態観測部１０６に対して状態データとして出力する。
【００４６】
機械学習装置１２０が備える推定結果出力部１２２は、学習部１１０が学習した結果を用いて、検査対象物の分類の推定結果を生成し、生成した推定結果の分類を出力する。
上記構成を有する外観検査装置２が備える機械学習装置１２０は、前述した機械学習装置１００と同等の効果を奏する。
【００４７】
図８は、第３の実施形態による外観検査装置３を示す。図８に示した各機能ブロックは、図１に示した外観検査装置が備えるＣＰＵ、及び機械学習装置のプロセッサが、それぞれのシステム・プログラムを実行し、外観検査装置及び機械学習装置の各部の動作を制御することにより実現される。
【００４８】
外観検査装置３は、第２の実施形態と同様に、不揮発性メモリ１４に予め記憶されている正常品の画像と、撮像装置８０から取得された検査対象物の画像とから状態データ取得部３６が作成したデータの組に基づいて、学習部１１０が学習した結果を用いて推定結果出力部１２２が検査対象物の分類の推定結果を生成し、生成した推定結果の分類を表示部３８が表示装置６０へと表示すると共に、推定結果出力部１２２が出力した推定結果と検査対象物の画像とを学習データセット記憶部１４４へと追加し、所定のタイミングで基準データセット記憶部１４２に記憶された基準データセット及び学習データセット記憶部１４４に記憶された学習データセットを用いた学習部１１０による追加学習を実行する。
【００４９】
本実施形態による外観検査装置３では、既存の学習結果に基づいて正常品／欠陥品の分類の推定を行なった結果を追加学習用のデータセットとして利用できるため、例えば新たな欠陥モードに対応させる際に良質なデータセットを用いた良質な追加学習を行うことができるようになる。
【００５０】
機械学習装置１００の学習部１１０により学習されて得られた学習済みモデルは機械学習に係るソフトウェアの一部であるプログラムモジュールとしての利用することが可能である。本発明の学習済みモデルは、ＣＰＵやＧＰＵ等のプロセッサとメモリを備えるコンピュータにて用いることができる。より具体的には、コンピュータのプロセッサが、メモリに記憶された学習済みモデルからの指令に従って、正常品の画像と検査対象物の画像とを入力として演算を行い、演算結果に基づいて検査対象物の分類の推定結果を出力するように動作する。本発明の学習済みモデルは、外部記憶媒体やネットワーク等を介して他のコンピュータに対して複製して利用することが可能である。
【００５１】
また、本発明の学習済みモデルを他のコンピュータに対して複製して新しい環境で利用する際に、当該環境で得られた新たな状態変数や判定データに基づいて当該学習済みモデルに対して更なる学習を行わせることもできる。このようにした場合、当該環境による学習済みモデルから派生した学習済みモデル（以下、派生モデルとする）を得ることが可能である。本発明の派生モデルは、所定の正常品の画像及び検査対象物の画像に対する検査対象物の分類の推定結果を出力するという点では元の学習済みモデルと同じだが、元の学習済みモデルよりも新しい環境（例えば、新しい種類の外観検査対象物）に適合した結果を出力するという点で異なる。この派生モデルもまた、外部記憶媒体やネットワーク等を介して他のコンピュータに対して複製して利用することが可能である。
【００５２】
更に、本発明の学習済みモデルを組み込んだ機械学習装置に対する入力に対して得られる出力を用いて、他の機械学習装置において１から学習を行うことで得られる学習済みモデル（以下、蒸留モデルとする）を作成し、これを利用することも可能である（このような学習工程を蒸留と言う）。蒸留において、元の学習済みモデルを教師モデル、新たに作成する蒸留モデルを生徒モデルとも言う。一般に、蒸留モデルは元の学習済みモデルよりもサイズが小さく、それでいて元の学習済みモデルと同等の正確度を出せるため、外部記憶媒体やネットワーク等を介した他のコンピュータに対する配布により適している。
【００５３】
以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
【００５４】
例えば、機械学習装置１００が実行する学習アルゴリズムや演算アルゴリズムは、上述したものに限定されず、様々なアルゴリズムを採用できる。
【００５５】
上記した実施形態では外観検査装置１（又は２）と機械学習装置１００（又は１２０）が異なるＣＰＵを有する装置として説明しているが、機械学習装置１００（又は１２０）は外観検査装置１（又は２）が備えるＣＰＵ１１と、ＲＯＭ１２に記憶されるシステム・プログラムにより実現するようにしても良い。
また、上記した実施形態では機械学習装置１００（又は１２０）が外観検査装置１上にある例を示しているが、機械学習装置１００（又は１２０）はネットワークに用意されたクラウドサーバ等に存在する構成とすることも可能である。
【００５６】
上記した実施形態では、データ組合せ作成部３４は、学習データセット記憶部１４４に記憶されている全ての学習データセットを用いて学習する例を示したが、データ組合せ作成部３４は、学習データセット記憶部１４４に記憶されている学習データセットに含まれる画像の内、基準データセット記憶部１４２に記憶されている基準データセット内に同一又は類似する画像で同一のラベルが付与されているものが含まれている場合、当該画像は重複しているものとして学習データセットの中から取り除くようにして良い。
また、データ組合せ作成部３４は、学習データセット記憶部１４４に記憶されている学習データセットに含まれる画像の内、基準データセット記憶部１４２に記憶されている基準データセット内に同一又は類似する画像で異なるラベルが付与されているものが含まれている場合、そのようなデータを基準データセット記憶部１４２内から削除して、追加学習に用いないようにしても良い。
【００５７】
上記した実施形態では、基準データセットに基づく学習部１１０の学習結果（過去の学習済みモデル）は、学習データセットに基づく追加学習後の学習済みモデルに置き換えられる例を示したが、例えば学習部１１０に、追加学習を行う前に過去の学習済みモデルを一時的にメモリ等に保管する機能を設け、過去の学習済みモデルと追加学習後の学習済みモデルとのそれぞれによる正常品／欠陥品の分類の推定結果を比較し、より正しい外観検査が行える学習済みモデルを用いるようにしてもよい。これは、例えば、データ組合せ作成部３４が、基準データセットと学習データセットの中に含まれる画像の中からサンプルとしての複数の製品の画像データを選択して画像の組を作成し、それぞれの学習済みモデルを用いてサンプル画像の分類の推定を実行し、より人間の感覚に近い分類（例えば、作業者にサンプルの画像データを見せて入力させる）を出力した学習済みモデルを採用するようにすれば良い。過去の学習済みモデルの方が人間の感覚に近い分類を出力する場合には、追加学習に用いた学習データセットは学習に用いるデータとして適切ではないので、学習データセットとして用いる画像の撮影条件等を再度検討してから追加学習をやり直せばよい。
【００５８】
上記した実施形態では、本発明の一実施形態として工場などで製造された製品について正常品と欠陥品の分類を推定する外観検査装置１を例として説明しているが、本発明の技術を製品等の３次元画像に基づく検査や、センサ等により計測された音、光、電流等の波形の検査、成分分布の検査等のような、外観で正常／異常の判断を行うことができるものの検査に対して応用することが可能である。いずれの場合も、２つの正常／異常の検査済みデータをそれぞれ同時に入力して学習／推定をする機械学習器における追加学習の技術として利用することが可能である。
【符号の説明】
【００５９】
１，２，３  外観検査装置
１１  ＣＰＵ
１２  ＲＯＭ
１３  ＲＡＭ
１４  不揮発性メモリ
１５  グラフィック制御回路
１８，１９，２１  インタフェース
２０  バス
３４  データ組合せ作成部
３６  状態データ取得部
３８  表示部
６０  表示装置
７０  入力装置
８０  撮像装置
１００，１２０，１３０  機械学習装置
１０１  プロセッサ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  不揮発性メモリ
１０６  状態観測部
１０８  ラベルデータ取得部
１１０  学習部
１１２  誤差計算部
１１４  モデル更新部
１２２  推定結果出力部
１４２  基準データセット記憶部
１４４  学習データセット記憶部
【図１】
2019095217.tif 000004
【図２】
2019095217.tif 000005
【図３】
2019095217.tif 000006
【図４】
2019095217.tif 000007
【図５】
2019095217.tif 000008
【図６Ａ】
2019095217.tif 000009
【図６Ｂ】
2019095217.tif 000010
【図７】
2019095217.tif 000011
【図８】
2019095217.tif 000012
【図９】
2019095217.tif 000013
【図１０】
2019095217.tif 000014