(57)【要約】【課題】試験後の試験品の特徴量を精度よく抽出して当該特徴量に基づいて試験品の良否を精度よく判定可能にする。【解決手段】本開示の試験品評価システムの特徴抽出部は、デコーダと共に自己符号化器を構成するエンコーダに相当しており、当該エンコーダにより抽出された特徴量からデコーダにより入力画像データが復元されるようにする自己符号化器の学習を繰り返すことにより適合され、試験品評価システムの判定部により用いられる閾値は、適合された特徴抽出部により複数の正常な試験品から抽出された複数の特徴量をクラスタリングして定められる。【選択図】図１
2020177287.tif 000002
【特許請求の範囲】
【請求項１】
試験後の試験品を評価する試験品評価システムであって、
前記試験後の前記試験品について取得された画像データから前記試験品の特徴量を抽出する特徴抽出部と、
前記特徴抽出部により抽出された前記特徴量と予め定められた閾値とに基づいて前記試験品の良否を判定する判定部とを備え、
前記特徴抽出部は、デコーダと共に自己符号化器を構成するエンコーダに相当しており、前記エンコーダにより抽出された特徴量から前記デコーダにより入力画像データが復元されるようにする前記自己符号化器の学習を繰り返すことにより適合され、
前記閾値は、適合された前記特徴抽出部により複数の正常な前記試験品から抽出された複数の特徴量をクラスタリングして定められる試験品評価システム。
【請求項２】
請求項１に記載の試験品評価システムにおいて、
前記閾値は、適合された前記特徴抽出部により前記複数の正常な前記試験品から抽出された前記複数の特徴量をサポートベクターマシンによりクラスタリングして定められる試験品評価システム。
【請求項３】
請求項１または２に記載の試験品評価システムにおいて、
前記試験は、外的因子を変化させた際の前記試験品の経時変化を検証する経時変化試験である試験品評価システム。
【請求項４】
試験後の試験品について取得された画像データから前記試験品の特徴量を抽出する特徴抽出部と、前記特徴抽出部により抽出された前記特徴量と予め定められた閾値とに基づいて前記試験品の良否を判定する判定部とを含む試験品評価システムの構築方法であって、
前記特徴抽出部に相当するエンコーダおよびデコーダを含む自己符号化器を用意し、
前記エンコーダにより抽出された特徴量から前記デコーダにより入力画像データが復元されるようにする前記自己符号化器の学習を繰り返して前記エンコーダを適合することにより前記特徴抽出部を構築し、
構築した前記特徴抽出部により複数の正常な前記試験品から抽出された複数の特徴量をクラスタリングして前記閾値を定める試験品評価システムの構築方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、試験後の試験品を評価するための試験品評価システムおよびその構築方法に関する。
【背景技術】
【０００２】
従来、入力データを次元圧縮して当該入力データの抽象的な特徴を特徴ベクトル（特徴量）に変換し、得られた特徴ベクトルから入力データを再現するオートエンコーダ（自己符号化器）が知られている（例えば、非特許文献１参照）。非特許文献１の自己符号化器は、多階層のニューラルネットワークであるエンコーダおよびデコーダを含み、ニューラルネットワークのパラメータを教師なし学習で初期化した後、教師あり学習により再学習することにより構成される。
【先行技術文献】
【特許文献】
【０００３】
【非特許文献１】「Reducing the dimensinality of data with neural networks」Geoffrey Hinton, Ruslan Salakhutdinov著, Science, 313号, 504-507頁（2006年）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のような自己符号化器により試験後の試験品の特徴を抽出することで、抽出された特徴に基づいて当該試験品の良否を判定することができるであろう。ただし、試験後の試験品の良否判定の精度を向上させるためには、試験品の特徴の抽出精度を向上させると共に、試験品の良否判定に用いられる閾値を適正に設定することが必要となる。
【０００５】
そこで、本開示は、試験後の試験品の特徴量を精度よく抽出して当該特徴量に基づいて試験品の良否を精度よく判定可能な試験品評価システムおよびその構築方法の提供を主目的とする。
【課題を解決するための手段】
【０００６】
本開示の試験品評価システムは、試験後の試験品を評価する試験品評価システムであって、前記試験後の前記試験品について取得された画像データから前記試験品の特徴量を抽出する特徴抽出部と、前記特徴抽出部により抽出された前記特徴量と予め定められた閾値とに基づいて前記試験品の良否を判定する判定部とを含み、前記特徴抽出部が、デコーダと共に自己符号化器を構成するエンコーダに相当しており、前記エンコーダにより抽出された特徴量から前記デコーダにより入力画像データが復元されるようにする前記自己符号化器の学習を繰り返すことにより適合され、前記閾値が、適合された前記特徴抽出部により複数の正常な前記試験品から抽出された複数の特徴量をクラスタリングして定められるものである。
【０００７】
本開示の試験品評価システムにおいて、試験品の特徴量を抽出する特徴抽出部は、デコーダと共に自己符号化器を構成するエンコーダに相当しており、当該エンコーダにより抽出された特徴量からデコーダにより入力画像データが復元されるようにする自己符号化器の学習を繰り返すことにより適合される。これにより、一般に良否の分布が特定の分布に当てはまらない試験後の試験品について取得された画像データから当該試験品の特徴量をより精度よく抽出することが可能となる。更に、試験品の良否判定に用いられる閾値は、適合された特徴抽出部により複数の正常な試験品体から抽出された複数の特徴量をクラスタリングして定められる。これにより、正常な試験品のサンプル数に比べて、異常が認められる試験品のサンプル数が大幅に少なく、試験品の良否を人為的に定めざるを得ないような場合であっても、試験品の良否判定に用いられる閾値をより適正に設定することができる。この結果、本開示の試験品評価システムによれば、試験後の試験品の特徴量を精度よく抽出して当該特徴量に基づいて試験品の良否を精度よく判定することが可能となる。
【０００８】
本開示の試験品評価システムの構築方法は、試験後の試験品について取得された画像データから前記試験品の特徴量を抽出する特徴抽出部と、前記特徴抽出部により抽出された前記特徴量と予め定められた閾値とに基づいて前記試験品の良否を判定する判定部とを含む試験品評価システムの構築方法であって、前記特徴抽出部に相当するエンコーダおよびデコーダを含む自己符号化器を用意し、前記エンコーダにより抽出された特徴量から前記デコーダにより入力画像データが復元されるようにする前記自己符号化器の学習を繰り返して前記エンコーダを適合することにより前記特徴抽出部を構築し、構築した前記特徴抽出部により複数の正常な前記試験品から抽出された複数の特徴量をクラスタリングして前記閾値を定めるものである。
【０００９】
かかる方法により構築された試験品評価システムによれば、試験後の試験品の特徴量を精度よく抽出して当該特徴量に基づいて試験品の良否を精度よく判定することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本開示の試験品評価システムを示すブロック図である。
【図２】本開示の試験品評価システムによる異常判別に用いられる画像データセットを説明するための模式図である。
【図３】本開示の試験品評価システムの特徴抽出部を構築するのに用いられる自己符号化器を示すブロック図である。
【図４】本開示の試験品評価システムの構築手順を説明するためのフローチャートである。
【図５】本開示の試験品評価システムの構築手順を説明するためのフローチャートである。
【図６】本開示の試験品評価システムの構築手順を説明するための説明図である。
【発明を実施するための形態】
【００１１】
次に、図面を参照しながら、本開示の発明を実施するための形態について説明する。
【００１２】
図１は、本開示の試験品評価システム１を示すブロック図である。同図に示す試験品評価システム１は、例えば、熱試験、振動試験、衝撃試験、温湿度試験、音響試験、静電気試験といった外的因子を変化させた試験品の経時変化を検証する経時変化試験が行われた試験品から取得された画像データに基づいて当該試験品を評価するものであり、ＣＰＵ，ＲＯＭ，ＲＡＭ、入出力インターフェース、記憶装置等を含む図示しないコンピュータ（ハードウェア）に実装される。試験品評価システム１は、試験後の試験品について取得された画像データから特徴ベクトル（特徴量）を抽出する特徴抽出部２と、特徴抽出部２により抽出された特徴ベクトルと予め定められた閾値とに基づいて試験品の良否を判定する判定部３とを含む。
【００１３】
特徴抽出部２は、それぞれ複数の畳み込み層およびプーリング層（部分サンプリング層）と、全結合層とを含む畳み込みニューラルネットワークである。本実施形態において、特徴抽出部２は、工業製品等の試験品を予め定められた方向に沿って所定間隔おきに撮像して得られた連続的な複数の画像データ（グレースケール画像データ、以下、このような複数の画像データを適宜「画像データセット」という。）を画像データ数（チャンネル数）よりも多い数のフィルタを用いて畳み込んだ上で、更に畳み込みおよびプーリング（次元圧縮）を行って予め定められた潜在次数（本実施形態では、例えば２次）の特徴ベクトルを出力する。試験品から連続的に取得される複数の画像データ（画像データセット）としては、例えば、図２に示すように、回路基板Ａに電子部品Ｂを接合するはんだＣをＸ線等により高さ方向（図中上下方向）において所定間隔おきに撮像して得られた連続的な複数の画像データが挙げられる。なお、潜在次数は、２次に限られるものではない。
【００１４】
また、本実施形態において、特徴抽出部２は、図３に示すような自己符号化器１１のエンコーダ１２に相当する。自己符号化器１１は、畳み込みニューラルネットワークであるエンコーダ１２と、デコーダ１３とを含むものである。自己符号化器１１のデコーダ１３は、特徴抽出部２の全結合層を逆にしたものに相当する層と、それぞれ複数の逆畳み込み層およびアンプーリング層とを含み、エンコーダ１２により画像データから抽出された特徴ベクトルの次元拡張を行って入力画像データを復元する畳み込みニューラルネットワークである。かかる自己符号化器１１は、エンコーダ１２により抽出された特徴ベクトルからデコーダ１３により入力画像データが復元されるようにする学習を繰り返すことで適合される。そして、本実施形態の試験品評価システム１は、自己符号化器１１の学習により適合されたエンコーダ１２を特徴抽出部２として利用する。
【００１５】
次に、図４から図６を参照しながら、試験品評価システム１の構築手順について具体的に説明する。
【００１６】
図４は、試験品評価システム１の特徴抽出部２となるエンコーダ１２を含む自己符号化器１１を適合するための学習ルーチンを示すフローチャートである。図３の学習ルーチンの開始に際し、自己符号化器１１が実装されたコンピュータのＣＰＵは、学習のエポック数ｅｐｏｃｈをゼロに設定し（ステップＳ１００）、エポック数ｅｐｏｃｈが規定回数ＮＢ＿ＥＰＯＣＨ以下であるか否かを判定する（ステップＳ１１０）。エポック数ｅｐｏｃｈが規定回数ＮＢ＿ＥＰＯＣＨ以下であると判定した場合（ステップＳ１１０：ＹＥＳ）、ＣＰＵは、変数ｉｔｅｒをゼロに設定した上で（ステップＳ１２０）、変数ｉｔｅｒが予め定められた各ネットワークのパラメータの更新回数Ｓｔｐｓ＿ＥＰＯＣＨ以下であるか否かを判定する（ステップＳ１３０）。ステップＳ１３０にて変数ｉｔｅｒが更新回数Ｓｔｐｓ＿ＥＰＯＣＨ以下であると判定した場合（ステップＳ１３０：ＹＥＳ）、ＣＰＵは、上述の自己符号化器の学習（ステップＳ１４０）を実行する。
【００１７】
ステップＳ１４０の自己符号化器の学習に際しては、図５に示すように、多数（複数）の画像データセットの中から選択される所定数の画像データセットが教師データとしてエンコーダ１２に与えられ（ステップＳ１４１）、当該エンコーダ１２は、複数の画像データの畳み込み等を実行して各画像データセットの特徴ベクトルを抽出（符号化）する（ステップＳ１４３）。本実施形態において、教師データとなる多数の画像データセットは、試験前の正常な試験品や試験結果が良好（正常）な試験品（良品）から連続的に取得された複数の画像データをそれぞれ含む多数の良品画像データセットと、試験後に異常が認められた試験品（不良品）から連続的に取得された複数の画像データをそれぞれ含む少数（例えば、全体の５〜２０％程度）の不良品画像データセットとを含む。
【００１８】
エンコーダ１２により抽出された各画像データセットの特徴ベクトルは、デコーダ１３に与えられ、当該デコーダ１３は、特徴ベクトルの逆畳み込み等を実行して各画像データセットを復元（復号化）する（ステップＳ１４５）。そして、次式（１）に示す損失関数ＬｏｓｓAEに従い、エンコーダ１２により抽出される特徴ベクトルが基になる画像データセットをより精度よく表し、かつデコーダ１３により復元される画像データセットが基になる画像データセットにより近づくように、エンコーダ１２およびデコーダ１３（ネットワーク）のパラメータが更新される（ステップＳ１４７）。ただし、式（１）において“ＭＳＥ”は、二乗誤差を示し、“Ｅｎ”は、符号化演算を示し、“Ｄｅ”は、復号化演算を示し、“ｘ”はステップＳ１４１にて入力される画像データセットを示す。また、二乗誤差ＭＳＥは、次式（２）のように表され、式（２）における“ｙ”は復元された画像データ画像の集まり（バッチ）を示し、“ｔ”は、画像データセット（教師データ)の集まり（バッチ）を示し、“ＢＳ”は、バッチの総数を示す。
【００１９】
【数１】
2020177287.tif 000003
【００２０】
ステップＳ１４０における自己符号化器の学習が１回実行されると、ＣＰＵは、図４に示すように、変数ｉｔｅｒをインクリメントした上で（ステップＳ１５０）、当該変数ｉｔｅｒが上記更新回数Ｓｔｐｓ＿ＥＰＯＣＨ以下であるか否かを判定する（ステップＳ１３０）。そして、ステップＳ１３０にて変数ｉｔｅｒが更新回数Ｓｔｐｓ＿ＥＰＯＣＨ以下であると判定される間（ステップＳ１３０：ＹＥＳ）、同一の教師データを用いた自己符号化器の学習（ステップＳ１４０）が繰り返し実行される。
【００２１】
また、ステップＳ１３０にて変数ｉｔｅｒが更新回数Ｓｔｐｓ＿ＥＰＯＣＨを上回っていると判定した場合（ステップＳ１３０：ＮＯ）、ＣＰＵは、エポック数ｅｐｏｃｈをインクリメントした上で（ステップＳ１６０）、エポック数ｅｐｏｃｈが規定回数ＮＢ＿ＥＰＯＣＨ以下であるか否かを判定する（ステップＳ１１０）。エポック数ｅｐｏｃｈが規定回数ＮＢ＿ＥＰＯＣＨ以下であると判定した場合（ステップＳ１１０：ＹＥＳ）、ＣＰＵは、変数ｉｔｅｒを再度ゼロに設定した上で（ステップＳ１２０）、変数ｉｔｅｒが予め定められた各ネットワークのパラメータの更新回数Ｓｔｐｓ＿ＥＰＯＣＨ以下であるか否かを判定する（ステップＳ１３０）。
【００２２】
ステップＳ１３０にて変数ｉｔｅｒが更新回数Ｓｔｐｓ＿ＥＰＯＣＨ以下であると判定した場合（ステップＳ１３０：ＹＥＳ）、ＣＰＵは、ステップＳ１３０にて変数ｉｔｅｒが更新回数Ｓｔｐｓ＿ＥＰＯＣＨを上回っていると判定するまで、上記多数の画像データセットの中から選択された他の教師データを用いた自己符号化器の学習（ステップＳ１４０）を繰り返し実行する。そして、ステップＳ１２０−Ｓ１６０の処理が繰り返し実行され、ステップＳ１１０にてエポック数ｅｐｏｃｈが規定回数ＮＢ＿ＥＰＯＣＨを上回っていると判定されると（ステップＳ１１０：ＮＯ）、図４の学習ルーチンが終了することになる。
【００２３】
ここで、上述のような自己符号化器１１の学習に加えて、図示しない識別器（Discriminator）を用いた当該識別器の学習およびエンコーダ１２の学習、すなわち、いわゆる敵対的学習（例えば、「Adversarial autoencoders」Alireza Makhzani, Jonathon Shlens, Navdeep Jaitly, Ian Goodfellow, Brendan Frey著, ArXiv preprint, arXiv：1511.05644（2015年）参照）を実行することで、特徴抽出部２により例えば正規分布に従う特徴ベクトルを抽出することが可能となり、各種ばらつき等が正規分布に概ね従う工業製品の特徴ベクトルをより精度よく得ることできるであろう。しかしながら、試験後の試験品の良否の分布は、一般に特定の分布に当てはまるものではない。これを踏まえて、本実施形態の試験品評価システム１の特徴抽出部２は、上記エンコーダ１２により抽出された特徴量からデコーダ１３により入力画像データが復元されるようにする自己符号化器１１の学習（ステップＳ１４０）のみを繰り返すことにより適合される。これにより、一般に良否の分布が特定の分布に当てはまらない試験後の試験品について連続的に取得された複数の画像データから当該試験品の特徴ベクトルをより精度よく抽出可能な特徴抽出部２を構築することができる。
【００２４】
特徴抽出部２が得られた後、当該特徴抽出部２を用いて試験品評価システム１の判定部３により用いられる閾値が設定される。閾値の設定に際しては、図６に示すように、試験前の正常な試験品や試験結果が良好（正常）な試験品（良品）について取得された多数（複数）の良品画像データセットが適合済みの特徴抽出部２に与えられ、特徴抽出部２は、各良品画像データセットの特徴ベクトルを抽出する。更に、特徴抽出部２により抽出された複数の良品画像データセットの特徴ベクトルのみを学習データとするサポートベクターマシンすなわち１クラス−ＳＶＭによりクラスタリングして識別境界を決定する。そして、当該識別境界に基づいて試験品の良否判定に用いられる閾値が決定される。これにより、正常な試験品のサンプル数に比べて、異常が認められる試験品のサンプル数が大幅に少なく、試験品の良否を人為的に定めざるを得ないような場合であっても、試験品の良否判定に用いられる閾値をより適正に設定することができる。この結果、試験品評価システム１によれば、試験後の試験品の特徴ベクトルを精度よく抽出すると共に、当該特徴ベクトルが上記識別境界に基づく閾値の範囲内に含まれるか否かを判定することで試験後の試験品の良否を精度よく判定することが可能となる。
【００２５】
なお、上記実施形態において、試験品評価システム１は、試験後の試験品について連続的に取得された複数の画像データに基づいて当該試験品の良否を判別するものとして説明されたが、これに限られるものではない。すなわち、試験品評価システム１は、試験後の試験品について取得された単一のグレースケール画像データあるいは多チャンネルのカラー画像データに基づいて当該試験品の良否を判別するように構成されてもよい。また、判定部３による試験品の良否判定に用いられる閾値は、適合された特徴抽出部２により複数の正常な被検体から抽出された複数の特徴量を半教師あり混合ガウスモデルあるいは自己組織化マップによりクラスタリングして定められてもよい。更に、試験品は、経時変化試験以外の試験に際して用いられるものであってもよい。また、試験品評価システム１の適用対象は、工業製品に限られるものではない。更に、試験品評価システム１は、医療分野における被検体の異常の有無の判別や、音声波形からの異音判定等に応用することができる。
【００２６】
以上説明したように、本開示の試験品評価システムは、試験後の試験品を評価する試験品評価システム（１）であって、前記試験後の前記試験品について取得された画像データから前記試験品の特徴量を抽出する特徴抽出部（２）と、前記特徴抽出部（２）により抽出された前記特徴量と予め定められた閾値とに基づいて前記試験品の良否を判定する判定部（３）とを含み、前記特徴抽出部（２）が、デコーダ（１３）と共に自己符号化器（１１）を構成するエンコーダ（１２）に相当しており、前記エンコーダ（１２）により抽出された特徴量から前記デコーダ（１３）により入力画像データが復元されるようにする前記自己符号化器（１１）の学習を繰り返すことにより適合され、前記閾値が、適合された前記特徴抽出部（２）により複数の正常な前記試験品から抽出された複数の特徴量をクラスタリングして定められるものである。
【００２７】
本開示の試験品評価システムにおいて、試験品の特徴量を抽出する特徴抽出部は、デコーダと共に自己符号化器を構成するエンコーダに相当しており、当該エンコーダにより抽出された特徴量からデコーダにより入力画像データが復元されるようにする自己符号化器の学習を繰り返すことにより適合される。これにより、一般に良否の分布が特定の分布に当てはまらない試験後の試験品について取得された画像データから当該試験品の特徴量をより精度よく抽出することが可能となる。更に、試験品の良否判定に用いられる閾値は、適合された特徴抽出部により複数の正常な試験品体から抽出された複数の特徴量をクラスタリングして定められる。これにより、正常な試験品のサンプル数に比べて、異常が認められる試験品のサンプル数が大幅に少なく、試験品の良否を人為的に定めざるを得ないような場合であっても、試験品の良否判定に用いられる閾値をより適正に設定することができる。この結果、本開示の試験品評価システムによれば、試験後の試験品の特徴量を精度よく抽出して当該特徴量に基づいて試験品の良否を精度よく判定することが可能となる。
【００２８】
また、前記閾値は、適合された前記特徴抽出部（２）により前記複数の正常な前記試験品から抽出された前記複数の特徴量をサポートベクターマシンによりクラスタリングして定められてもよい。これにより、閾値をより適正に設定して試験品の良否判定の精度をより向上させることが可能となる。
【００２９】
更に、前記試験は、外的因子を変化させた際の前記試験品の経時変化を検証する経時変化試験であってもよい。
【００３０】
本開示の試験品評価システムの構築方法は、試験後の試験品について取得された画像データから前記試験品の特徴量を抽出する特徴抽出部（２）と、前記特徴抽出部（２）により抽出された前記特徴量と予め定められた閾値とに基づいて前記試験品の良否を判定する判定部（３）とを含む試験品評価システム（１）の構築方法であって、前記特徴抽出部（２）に相当するエンコーダ（１２）およびデコーダ（１３）を含む自己符号化器（１１）を用意し、前記エンコーダ（１２）により抽出された特徴量から前記デコーダ（１３）により入力画像データが復元されるようにする前記自己符号化器（１１）の学習を繰り返して前記エンコーダ（１２）を適合することにより前記特徴抽出部（２）を構築し、構築した前記特徴抽出部（２）により複数の正常な前記試験品から抽出された複数の特徴量をクラスタリングして前記閾値を定めるものである。
【００３１】
かかる方法により構築された試験品評価システムによれば、試験後の試験品の特徴量を精度よく抽出して当該特徴量に基づいて試験品の良否を精度よく判定することが可能となる。
【００３２】
本開示の発明は上記実施形態に何ら限定されるものではなく、本開示の外延の範囲内において様々な変更をなし得ることはいうまでもない。更に、上記実施形態は、あくまで発明の概要の欄に記載された発明の具体的な一形態に過ぎず、発明の概要の欄に記載された発明の要素を限定するものではない。
【産業上の利用可能性】
【００３３】
本開示の発明は、試験後の試験品を評価するための試験品評価システムの製造産業等において利用可能である。
【符号の説明】
【００３４】
１  試験品評価システム、２  特徴抽出部、３  判定部、１１  自己符号化器、１２  エンコーダ、１３  デコーダ、Ａ  回路基板、Ｂ  電子部品、Ｃ  はんだ。
【図１】
2020177287.tif 000004
【図２】
2020177287.tif 000005
【図３】
2020177287.tif 000006
【図４】
2020177287.tif 000007
【図５】
2020177287.tif 000008
【図６】
2020177287.tif 000009