(57)【要約】    【課題】  十分に精度良く画像を分類することが可能な画像分類プログラム等を提供する。    【解決手段】  入力された画像を分類するためのプログラムであって、コンピュータを、入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークと、前記ネットワークにおける処理経路を抽出する経路抽出手段と、前記経路抽出手段で抽出した抽出経路と、分類と関連付けられた予め設定された複数の設定経路とを比較し、一致する経路に関連付けられた分類を、前記入力された画像の分類とする判断部として機能させる、画像分類プログラム。【選択図】  図４
2018200530.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像を分類するためのプログラムであって、
コンピュータを、
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークと、
前記ネットワークにおける処理経路を抽出する経路抽出手段と、
前記経路抽出手段で抽出した抽出経路と、分類と関連付けられた予め設定された複数の設定経路とを比較し、一致する経路に関連付けられた分類を、前記入力された画像の分類とする判断部として機能させる、
画像分類プログラム。
【請求項２】
前記経路抽出手段は、前記ネットワークにおける前記特徴量抽出処理によって得られる複数の特徴値から少なくとも１つ選択される値と、前記全結合処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とを結ぶ経路を抽出する手段であり、
前記選択される特徴値、及び、前記選択される全結合出力値の少なくとも一方には、最大値が含まれている、
請求項１に記載の画像分類プログラム。
【請求項３】
前記経路抽出手段は、前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群とから選択される値を結ぶ経路を抽出する手段であり、
前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から少なくとも２つの値を選択し、
該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれている、
請求項１または２に記載の画像分類プログラム。
【請求項４】
画像分類装置用の分類データを作成する分類データ作成プログラムであって、
コンピュータを、
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークと、
前記ネットワークにおける前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出する設定経路抽出手段と、
抽出した設定経路と画像を分類するための分類とを関連付ける関連付け手段として機能させる、
分類データ作成プログラム。
【請求項５】
画像分類装置用の分類データを作成する方法であって、
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するネットワーク処理工程と、
前記ネットワーク処理工程における前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出する設定経路抽出工程と、
抽出した設定経路と画像を分類するための分類とを関連付ける関連付け工程とを含む、
分類データ作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像分類プログラム、分類データ作成プログラム、及び、分類データ作成方法に関する。
【背景技術】
【０００２】
従来、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いた画像認識処理が行われている。
この種の畳み込みニューラルネットワークは、例えば、特徴量抽出処理としてコンボリューション処理及びプーリング処理を交互に実行し、これらの後段にて全結合処理を実行するように構築される。
コンボリューション処理では、入力される画像データに対して学習済みの複数のフィルタを用いたコンボリューション（畳み込み）処理が行われ、これにより、画像データに含まれる特徴量が抽出される。コンボリューション処理に続くプーリング処理では、学習済みの複数のフィルタを用いて、コンボリューション処理によって得られる特徴量マップのうち近傍数画素の領域から最大値または平均値を特徴量として出力するプーリング処理が行われ、この処理により、特徴量の微小な変化が吸収される。
全結合処理では、コンボリューション処理及びプーリング処理によって抽出された特徴量に対して、学習済みの複数のユニットを用いた全結合処理が行われ、これにより、画像データに含まれる対象物が分類される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１１５２４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、畳み込みニューラルネットワークを、例えば、製品が良品であるか、欠陥品であるかを画像によって判定するシステムに適応させる場合には、十分な注意が必要である。
すなわち、畳み込みニューラルネットは、比較的高い識別率を発揮し得る。しかし、欠陥品を良品と判定してしまう「見逃し」が発生しないような高い識別率（すなわち、「見逃し」の発生数量が極めてゼロに近いような識別率）を発揮できないと、精度面で、良品／欠陥品を判定するシステムに畳み込みニューラルネット適応させることは困難である。
また、欠陥品を良品と判定してしまった画像を、改めて欠陥品として判定させるには、学習段階にまで遡り、再度ネットワークを構築し、検証することが必要となるため、運用面でも、良品、欠陥品を判定するシステムに畳み込みニューラルネット適応させることは、困難である。
【０００５】
本発明は、上記事情に鑑み、十分に精度良く画像を分類することを可能とする画像分類プログラム、分類データ作成プログラム、及び、分類データ作成方法を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像分類プログラムは、
入力された画像を分類するためのプログラムであって、
コンピュータを、
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークと、
前記ネットワークにおける処理経路を抽出する経路抽出手段と、
前記経路抽出手段で抽出した抽出経路と、分類と関連付けられた予め設定された複数の設定経路とを比較し、一致する経路に関連付けられた分類を、前記入力された画像の分類とする判断部として機能させる。
【０００７】
かかる構成によれば、上記ネットワークにおける処理経路を抽出し、抽出した抽出経路と、分類と関連付けられた予め設定された複数の設定経路とを比較し、一致する経路に関連付けられた分類を、入力された画像の分類と判断することが可能になる。
これにより、十分に精度良く分類することが可能となる。
【０００８】
上記構成の画像分類プログラムにおいては、
前記経路抽出手段は、前記ネットワークにおける前記特徴量抽出処理によって得られる複数の特徴値から少なくとも１つ選択される値と、前記全結合処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とを結ぶ経路を抽出する手段であり、
前記選択される特徴値、及び、前記選択される全結合出力値の少なくとも一方には、最大値が含まれていることが好ましい。
【０００９】
かかる構成によれば、経路抽出手段が、ネットワークにおける特徴量抽出処理によって得られる複数の特徴値から少なくとも１つ選択される値と、全結合処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とを結ぶ経路を抽出し、選択される特徴値、及び、選択される全結合出力値の少なくとも一方には、最大値が含まれていることによって、より十分に精度良く画像を分類することが可能となる。
【００１０】
上記構成の画像分類プログラムにおいては、
前記経路抽出手段は、前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群とから選択される値を結ぶ経路を抽出する手段であり、
前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から少なくとも２つの値を選択し、
該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれていることが好ましい。
【００１１】
かかる構成によれば、経路抽出手段が、特徴量抽出処理によって得られる複数の特徴値を含む特徴値群と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群とから選択される値を結ぶ経路を抽出し、特徴値群と全結合出力値群とのうち少なくともいずれか一方から少なくとも２つの値を選択し、該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれていることによって、さらに十分に精度良く画像を分類することが可能となる。
【００１２】
本発明の分類データ作成用プログラムは、
画像分類装置用の分類データを作成する分類データ作成プログラムであって、
コンピュータを、
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークと、
前記ネットワークにおける前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出する設定経路抽出手段と、
抽出した設定経路と画像を分類するための分類とを関連付ける関連付け手段として機能させる。
【００１３】
かかる構成によれば、ネットワークにおける特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、特徴値群と全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出し、抽出した設定経路と画像を分類するための分類とを関連付けることが可能となる。
これにより、十分に精度良く画像を分類することが可能な分類データが得られる。
従って、この分類データを用いることによって、十分に精度良く画像を分類することが可能となる。
【００１４】
本発明の分類データ作成方法は、
画像分類装置用の分類データを作成する方法であって、
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するネットワーク処理工程と、
前記ネットワーク処理工程における前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出する設定経路抽出工程と、
抽出した設定経路と画像を分類するための分類とを関連付ける関連付け工程とを含む。
【００１５】
かかる構成によれば、ネットワークにおける特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、特徴値群と全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出し、抽出した設定経路と画像を分類するための分類とを関連付けることが可能となる。
これにより、十分に精度良く画像を分類することが可能な分類データが得られる。
従って、この分類データを用いることによって、十分に精度良く画像を分類することが可能となる。
【発明の効果】
【００１６】
以上の通り、本発明によれば、十分に精度良く画像を分類することを可能とする画像分類プログラム、分類データ作成プログラム、及び、分類データ作成方法が提供される。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る画像分類プログラムによって実行される処理を示すブロック図
【図２】一般的な畳み込みニューラルネットワークにおける処理の流れを模式的に示す図
【図３】一般的な特徴量抽出処理の流れを模式的に示す図
【図４】一般的な全統合処理の流れを模式的に示す図
【図５】本実施形態の画像分類プログラムに用いられる畳み込みニューラルネットワークの全経路を模式的に示す図
【図６】抽出される経路の一例を示す概略図
【図７】抽出される経路の一例を示す概略図
【図８】抽出される経路の一例を示す概略図
【図９】抽出される経路の一例を示す概略図
【図１０】本発明の実施形態に係る画像分類システムのブロック図
【図１１】本実施形態の画像分類プログラムが適用される検査装置の概略側面図
【図１２】本発明の実施形態に係る分類データ作成プログラムによって実行される処理を示すブロック図
【図１３】実施例１の結果を示すグラフ
【図１４】実施例２の結果を示すグラフ
【図１５】実施例３の結果を示すグラフ
【図１６】実施例４の結果を示すグラフ
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態に係る画像分類プログラム、分類データ作成プログラム、及び、分類データ作成方法について、図面を参照しながら説明する。
【００１９】
まず、本実施形態の画像分類プログラムについて、説明する。
【００２０】
図１に示すように、本実施形態の画像分類プログラムは、
入力された画像を分類するためのプログラムであって、
コンピュータを、
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークと、
前記ネットワークにおける処理経路を抽出する経路抽出手段と、
前記経路抽出手段で抽出した抽出経路と、分類と関連付けられた予め設定された複数の設定経路とを比較し、一致する経路に関連付けられた分類を、前記入力された画像の分類とする判断部として機能させる。
【００２１】
本実施形態の画像分類プログラムは、入力された画像を分類するためのプログラムである。
入力される画像は、該画像中に分類の対象物が含まれていればよく、特に限定されない。
【００２２】
本実施形態の画像分類プログラムは、コンピュータを、入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークとして機能させる。
【００２３】
本実施形態では、特徴量抽出処理と全統合処理とを実行するように構築されるネットワークの一例として、畳み込みニューラルネットワークを採用する態様について説明するが、本実施形態で採用するネットワークは、これに特に限定されるものではない。
【００２４】
ここで、畳み込みニューラルネットワークの一般的な処理について、以下、説明する。
【００２５】
畳み込みニューラルネットワークは、画像認識分野でよく使われ、入力データである画像データから所定の形状やパターンを認識する画像認識技術に応用されるものである。
畳み込みニューラルネットワークは、２次元画像に対してフィルタによるコンボリューション（畳み込み）処理を少なくとも行うことによって、入力された画像データから特徴量を抽出する。
【００２６】
畳み込みニューラルネットワークは、コンボリューション処理（畳み込み処理）を実行する層とプーリング処理を実行する層とを繰り返す特徴量抽出層と、全結合処理を実行する全結合層とを有する多層ネットワークから構成されている。
畳み込みニューラルネットワークにおいては、コンボリューション処理を実行する、特徴量の抽出に有効なフィルタの係数を、学習用画像（学習用画像群）などの学習用データ（教育用データ）を用いて学習させる。フィルタの係数は、教育用データを用いて、フィルタによるコンボリューション処理と、一定領域のコンボリューション処理結果をまとめるプーリング処理とを繰り返して学習することによって、得られる。
【００２７】
コンボリューション処理では、前階層から入力される画像データに対して学習済みのフィルタを用いたコンボリューション処理（畳み込み演算処理）が行われ、これによって、画像データに含まれる特徴量が抽出される。コンボリューション処理に続くプーリング処理では、コンボリューション処理によって得られる特徴量のマップのうち、互いに隣接する数画素程度の領域から最大値または平均値を出力するプーリング処理が行われ、これによって、該領域がひとまとめにされて、特徴量が抽出される。このプーリング処理によって、位置感度が低下するものの、位置変化に対する認識性能が向上するため、特徴量の微小な変化が吸収される。
【００２８】
畳み込みニューラルネットワークにおいては、このようなコンボリューション処理およびプーリング処理による処理を繰り返すことによって、より精度良く特徴量が抽出される。
【００２９】
全結合処理では、コンボリューション処理およびプーリング処理によって得られた特徴量を結合して最終的な処理データを出力する。
【００３０】
図２に示す畳み込みニューラルネットワークＣＮＮは、入力される画像データに対してコンボリューション処理を実行するコンボリューション（Convolution）層Ｃと、プーリング処理を実行するプーリング（Pooling）層Ｐと、全結合処理を実行する全結合（fully Connected）層Ｆとを有する。
【００３１】
コンボリューション層Ｃは、１つ以上備えられている。図２では、２つのコンボリューション層Ｃ１、Ｃ２が備えられている。各コンボリューション層Ｃは、複数のフィルタを有する。
コンボリューション層Ｃは、前階層から入力される画像データに対して周知のコンボリューション処理を実行し、その処理結果（データ）を出力する。
コンボリューション層Ｃは、プーリング層Ｐの前段に、複数連続して備えられていてもよい。
【００３２】
第１層目（最前段）のコンボリューション層Ｃ１は、装置外部から入力される画像データＤをコンボリューション処理し、処理結果（データ）をプーリング層Ｐ１に出力する。
次の第２層目（最後段の）コンボリューション層Ｃ１は、プーリング層Ｐ１から入力される処理結果（データ）をコンボリューション処理し、その処理結果をプーリング層Ｐ２に出力する。
【００３３】
プーリング層Ｐは、１つ以上備えられている。図２では、２つのプーリング層Ｐ１、Ｐ２が備えられている。各プーリング層Ｐは、複数のフィルタを有する。なお、プーリング層Ｐが備えられていない構成を採用してもよい。
プーリング層Ｐは、コンボリューション層Ｃによる処理結果（データ）に対して周知のプーリング処理を実行して、その処理結果（データ）を出力する。
第１層目（最前段）のプーリング層Ｐ１は、コンボリューション層Ｃ１から入力される処理結果（データ）をプーリング処理し、その処理結果（データ）をコンボリューション層Ｃ２に出力する。
次の第２層目（最後段）のプーリング層Ｐ２は、コンボリューション層Ｃ２から入力される処理結果（データ）をプーリング処理し、その処理結果（データ）を全結合層Ｆに出力する。
【００３４】
全結合層Ｆは、１つ以上備えられている。図２では、３つの全結合層Ｆ１、Ｆ２、Ｆ３が備えられている。各全結合層Ｆは、複数のユニットを有する。
全結合層Ｆは、直前のプーリング層Ｐ（最後段のプーリング層Ｐ）による処理結果に対して周知の全結合処理を実行して、その処理結果（データ）を出力する。
第１層目（最前段）の全結合層Ｆ１は、プーリング層Ｐ２から入力される処理結果（データ）を全結合処理し、その処理結果（データ）を全結合層Ｆ２に出力する。
次の第２層目の全結合層Ｆ２は、全結合層Ｆ１から入力される処理結果（データ）を全結合処理し、その処理結果（データ）を全結合層Ｆ３に出力する。
次の第３層目（最後段）の全結合層Ｆ３は、その処理結果を、画像がどの分類に属するのかを分類し、識別結果として出力する。
【００３５】
図２では、コンボリューション層Ｃとプーリング層Ｐとがセットとなって、このセットが段階的に接続されている。
【００３６】
次に、図２の畳み込みニューラルネットワークＣＮＮでの一般的な処理の流れについて、図３及び図４を参照しつつ説明する。なお、各処理は、画像分類システムの特徴量抽出演算部によって実行される。
【００３７】
図３に示すように、第１層目のコンボリューション層Ｃ１による処理では、入力される画像データＤを例えばラスタスキャンにより所定の画素サイズ、例えば、図３にハッチングで示す５×５画素ごとに走査する。なお、走査に用いられる画素サイズは、５×５画素に限られず適宜変更され得る。そして、走査したデータに対して周知のコンボリューション処理を行い、処理結果Ｃ１（１）、Ｃ１（２）・・・を第１層目のコンボリューション層Ｃ１の出力データとする。
【００３８】
第１層目のプーリング層Ｐ１による処理では、第１層目のコンボリューション層Ｃ１から入力される出力データＣ１（１）、Ｃ１（２）、・・・に対して、それぞれ所定の画素サイズ、この場合、２×２画素ごとに周知のプーリング処理を行い、処理結果Ｐ１（１）、Ｐ１（２）・・・をプーリング層Ｐ１の出力データとする。なお、走査に用いられる画素サイズは、２×２画素に限られず適宜変更され得る。
これらコンボリューション処理及びプーリング処理によって、入力された画像データＤに含まれる特徴量が抽出される。
【００３９】
同様に、第２層目のコンボリューション層Ｃ２による処理では、前階層である第１層目のプーリング層Ｐ１から入力される出力データＰ１（１）、Ｐ１（２）、・・・に対して、それぞれ所定の画素サイズごとに走査する。そして、走査したデータに対して周知のコンボリューション処理を行い、処理結果Ｃ２（１）、Ｃ２（２）、・・・を第２層目のコンボリューション層Ｃ２の出力データとする。
また、第２層目のプーリング層Ｐ２による処理では、第２層目のコンボリューション層Ｃ２から入力される出力データＣ２（１）、Ｃ２（２）、・・・に対して、それぞれ所定の画素サイズごとに周知のプーリング処理を行い、処理結果Ｐ２（１）、Ｐ２（２）・・・を第２層目のプーリング層Ｐ２の出力データとする。これらコンボリューション処理及びプーリング処理によって、入力された画像データＤに含まれる特徴量が、さらに抽出される。
【００４０】
このように、複数のコンボリューション層Ｃ１、Ｃ２、・・・、及び、複数のプーリング層Ｐ１、Ｐ２、・・・による処理を繰り返すことによって、画像データＤに含まれる種々の特徴量が抽出され、最終的に抽出された特徴量が全結合層Ｆに出力される。
【００４１】
図４に示すように、第１層目の全結合層Ｆ１による処理では、前階層である第２層目のプーリング層Ｐ２から入力される複数の出力データＰ２（１）、Ｐ２（２）・・・に対して、重み係数を異ならせながらこれらの積和演算を行う周知の全結合処理を行い、処理結果Ｆ１（１）、Ｆ１（２）・・・を第１層目の全結合層Ｆ１の出力データとする。
【００４２】
第２層目の全結合層Ｆ２による処理では、前階層である第１層目の全結合層Ｆ１から入力される複数の出力データＦ１（１）、Ｆ１（２）・・・に対して、重み係数を異ならせながらこれらの積和演算を行う周知の全結合処理を行い、処理結果Ｆ２（１）、Ｆ２（２）・・・を第２層目の全結合層Ｆ２の出力データとする。
【００４３】
第３層目の全結合層Ｆ３による処理では、前階層である第２層目の全結合層Ｆ２から入力される複数の出力データＦ２（１）、Ｆ２（２）・・・に対して、重み係数を異ならせながらこれらの積和演算を行う周知の全結合処理を行い、処理結果Ｆ３（１）、Ｆ３（２）・・・を第３層目の全結合層Ｆ３の出力データとする。
第３層目の全結合層Ｆ３から出力される出力データＦ３（１）、Ｆ３（２）・・・は、所望の画像の分類結果（ここでは、クラス１、クラス２、クラス３の３つの分類）に対応する。
【００４４】
ここで、従来の画像分類プログラムでは、畳み込みニューラルネットワークにおいて、特徴量抽出処理を実行する層の全てのフィルタを通り、且つ、全結合処理を実行する層の全てのユニットを通る経路を辿って各処理が実行され、最終的に全結合部から出力された数値が相対的に比較されて、画像が分類されていた。
しかし、このように画像を処理すると、後述する実施例に示すように、十分に精度良く画像を分類することが困難となる。
【００４５】
そこで、本実施形態の画像分類プログラムでは、
畳み込みニューラルネットワークにおける処理経路を抽出する経路抽出手段と、
前記経路抽出手段で抽出した抽出経路と、分類と関連付けられた予め設定された複数の設定経路とを比較し、一致する経路に関連付けられた分類を、前記入力された画像の分類とする判断部として機能させる。
【００４６】
例えば図５に示す畳み込みニューラルネットワークにおいて、畳み込みニューラルネットワークＣＮＮは、連続した２つのコンボリューション層Ｃ（Ｃ１、Ｃ２）と、その後段の１つのプーリング層Ｐ（Ｐ１）と、その後段の連続した３つの全結合層Ｆ（Ｆ１、Ｆ２、Ｆ３）とを有する。
コンボリューション層Ｃ１は、３個のフィルタを有し、コンボリューション層Ｃ２は、８個のフィルタを有し、プーリング層Ｐ１は、８個のフィルタを有し、全結合層Ｆ１は、２４個のユニットを有し、全結合層Ｆ２は、８個のユニットを有し、全結合層Ｆ３は、３個のユニットを有する。
これらコンボリューション層Ｃ、プーリング層Ｐ、及び全結合層Ｆによって、畳み込みニューラルネットワークＣＮＮが構成されている。
【００４７】
本実施形態では、このように構成された畳み込みニューラルネットワークＣＮＮにおいて、分類と関連付けられた予め設定された複数の設定経路が設定されている。
なお、設定経路は、例えば、後述する設定経路抽出手段によって抽出される。
【００４８】
本実施形態の画像分類プログラムは、コンピュータを、このような畳み込みニューラルネットワークＣＮＮにおける処理経路を抽出する経路抽出手段として機能させる。
また、コンピュータを、経路抽出手段で抽出した抽出経路と、分類と関連付けられた予め設定された複数の設定経路とを比較し、一致する経路に関連付けられた分類を、前記入力された画像の分類とする判断部として機能させる。
【００４９】
具体的には、本実施形態では、前記経路抽出手段が、前記ネットワークにおける前記特徴量抽出処理によって得られる複数の特徴値から少なくとも１つ選択される値と、前記全結合処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とを結ぶ経路を抽出する手段であり、
前記選択される特徴値、及び、前記選択される全結合出力値の少なくとも一方には、最大値が含まれている。
【００５０】
ここで、特徴値は、各フィルタによって得られる特徴量に含まれる値のうち、同階層の他のフィルタによって得られる特徴量と比較し得るような代表的な値であり、該特徴値としては、最大値、平均値や、中間値等が挙げられる。
【００５１】
このような経路としては、例えば、
特徴量抽出処理によって得られる複数の特徴値のうちの最大値と、全結合処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とをそれぞれ結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値から少なくとも１つ選択される値と、全結合処理によって得られる複数の全結合出力値のうちの最大値とをそれぞれ結ぶ経路、
等が挙げられる。
【００５２】
この他、上記経路としては、例えば、
特徴量抽出処理によって得られる複数の特徴値のうちの最大値及び第２位の値と、全結合処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とをそれぞれ結ぶ経路、
等も挙げられる。
【００５３】
さらに、この他、上記経路としては、例えば、
特徴量抽出処理によって得られる複数の特徴値から少なくとも１つ選択される値と、全結合処理によって得られる複数の全結合出力値のうちの最大値及び第２位の値とをそれぞれ結ぶ経路、
等も挙げられる。
【００５４】
なお、経路抽出手段が、この他の経路を抽出してもよいことは、いうまでもない。
【００５５】
例えば、図６〜図９においては、経路抽出手段は、プーリング層Ｐ１の複数のフィルタによる処理によって得られる複数の特徴値から少なくとも１つ選択される値と、全結合層Ｆ１の複数のユニットによる処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とを結ぶ経路を、上記のように抽出する。
【００５６】
さらに具体的には、本実施形態では、図６〜図９に太線で示すように、前記経路抽出手段が、前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群とから選択される値を結ぶ経路を抽出する手段であり、前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から少なくとも２つの値を選択し、該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、例えば上記のように経路を抽出する。
【００５７】
このような経路としては、例えば、図６、図９に太線で示すように、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値とを結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される第２位の値とを結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値とを結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される第２位の値とを結ぶ経路、
等が挙げられる。
【００５８】
また、この他、上記経路としては、例えば、図７に太線で示すように、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値及び第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値とをそれぞれ結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値及び第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される第２位の値とをそれぞれ結ぶ経路、
等も挙げられる。
【００５９】
さらに、この他、上記経路としては、例えば、図８に太線で示すように、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値及び第２位の値とをそれぞれ結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値及び第２位の値とをそれぞれ結ぶ経路、
等も挙げられる。
【００６０】
例えば、図６〜図９においては、経路抽出手段は、プーリング層Ｐ１の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群と、全結合層Ｆ１の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群とから選択される値を結ぶ経路を抽出し、特徴値群と全結合出力値群のうち少なくともいずれか一方から少なくとも２つの値を選択し、該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、例えば上記のように経路を抽出する。
【００６１】
加えて、本実施形態では、図６〜図９に太線で示すように、経路抽出手段は、全結合層Ｆのうち全結合層Ｆ１と全結合層Ｆ２との間、及び、全結合層Ｆ２と全結合層Ｆ３との間においても、上記したプーリング層Ｐ１と全結合層Ｆ１との間で経路を抽出するのと同様に、経路を抽出する。
【００６２】
全結合層Ｆ１と全結合層Ｆ２との間については、具体的には、経路抽出手段は、全結合層Ｆ１の複数のユニットによる処理によって得られる複数の全結合出力値から少なくとも１つ選択される値と、全結合層Ｆ２の複数のユニットによる処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とを結ぶ経路を抽出する。
より具体的には、経路抽出手段は、全結合層Ｆ１の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群（第１の全結合出力値群）と、全結合層Ｆ２の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群（第２の全結合出力値群）とから選択される値を結ぶ経路を抽出し、第１の全結合出力値群と第２の全結合出力値群のうち少なくともいずれか一方から少なくとも２つの値を選択し、該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、経路を抽出する。
【００６３】
全結合層Ｆ２と全結合層Ｆ３との間については、経路抽出手段は、全結合層Ｆ２の複数のユニットによる処理によって得られる複数の全結合出力値から少なくとも１つ選択される値と、全結合層Ｆ３の複数のユニットによる処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とを結ぶ経路を抽出する。
より具体的には、経路抽出手段は、全結合層Ｆ２の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群（第２の全結合出力値群）と、全結合層Ｆ３の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群（第３の全結合出力値群）とから選択される値を結ぶ経路を抽出し、第２の全結合出力値群と第３の全結合出力値群のうち少なくともいずれか一方から少なくとも２つの値を選択し、該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、経路を抽出する。
【００６４】
なお、経路抽出手段が、この他の経路を抽出してもよいことは、いうまでもない。
【００６５】
また、図５に示す畳み込みニューラルネットワークにおいては、プーリング層Ｐ１から全結合層Ｆ３に至るまでの経路が決定されると、それよりも前段の、コンボリューション層Ｃ１からプーリング層Ｐ１に至るまでの経路が決定される。
しかし、コンボリューション層Ｃ１からプーリング層Ｐ１に至るまでの経路が、前述した図３及び図４のように、後段の経路によって決定されないような経路である場合には、経路抽出手段が、コンボリューション層Ｃ１とコンボリューション層Ｃ２との間、及び、コンボリューション層Ｃ２とプーリング層Ｐ１との間においても、上記と同様に、経路を抽出してもよい。
【００６６】
コンボリューション層Ｃ１とコンボリューション層Ｃ２との間については、経路抽出手段は、コンボリューション層Ｃ１による処理によって得られる複数の特徴値から少なくとも１つ選択される値と、コンボリューション層Ｃ２による処理によって得られる複数の特徴値から少なくとも１つ選択される値とを結ぶ経路を抽出してもよい。
より具体的には、経路抽出手段は、コンボリューション層Ｃ１の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群（第１の特徴値群）と、コンボリューション層Ｃ２の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群（第２の特徴値群）とから選択される値を結ぶ経路を抽出し、第１の特徴値群と第２の特徴値群のうち少なくともいずれか一方から少なくとも２つの値を選択し、該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、経路を抽出してもよい。
【００６７】
コンボリューション層Ｃ２とプーリング層Ｐ１との間については、経路抽出手段は、コンボリューション層Ｃ２による処理によって得られる複数の特徴値から少なくとも１つ選択される値と、プーリング層Ｐ１による処理によって得られる複数の特徴値から少なくとも１つ選択される値とを結ぶ経路を抽出してもよい。
より具体的には、経路抽出手段は、コンボリューション層Ｃ２の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群（第２の特徴値群）と、プーリング層Ｐ１の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群（第３の特徴値群）とから選択される値を結ぶ経路を抽出し、第２の特徴値群と第３の特徴値群のうち少なくともいずれか一方から少なくとも２つの値を選択し、該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、経路を抽出してもよい。
【００６８】
本実施形態の画像分類プログラムは、経路抽出手段が抽出した経路と、画像の分類と関連付けられた予め設定された複数の設定経路とを比較し、一致する経路に関連付けられた分類を、前記入力された画像の分類とする判断部として機能させる。
【００６９】
複数の設定経路は、それぞれ、例えば、分類１、分類２、分類３、・・・・といった複数の画像の分類のいずれかに予め関連付けられている。
判断部は、経路抽出手段が抽出した経路と、複数の設定経路とを比較し、一致する経路に関連付けられた分類を、入力された画像の分類と判断する。
なお、経路抽出手段で抽出されなかった経路については、判断部は、対象となる分類に属さないと判断する。
【００７０】
次に、本実施形態の画像分類プログラムがコンピュータを機能させる場合の画像分類システムについて説明する。
【００７１】
図１０に示すように、本実施形態の画像分類システム１０は、コンピュータの制御部に格納される。該画像分類システム１０は、入力部１１と、特徴量演算部１３と、経路抽出手段１５と、記憶部１７と、判断部１９とを備える。
特徴量演算部１３と、経路抽出手段１５と、判断部１９とは、ＣＰＵといったコンピュータの制御部に格納され、記憶部１７は、サーバ、ハードディスク等に格納される。
【００７２】
入力部１１は、分類する画像の画像データが入力され、入力された画像データを特徴量演算部１３に入力する機能を有する。
【００７３】
特徴量演算部１３は、入力部１１から入力された画像データに対して、畳み込みニューラルネットワークにおける特徴量抽出処理と全結合処理とを実行する機能を有する。本実施形態では、特徴量演算部１３は、特徴量抽出処理として、コンボリューション処理とプーリング処理とを実行する。
【００７４】
図５に示す畳み込みニューラルネットワークでは、画像分類システム１０の特徴量演算部１３は、入力される画像データＤ（図５では１２８×１２８画素）を、例えばラスタスキャンにより所定のフィルタ（図５では３個）の各所定の画素サイズ（図５では１０×１０画素）ごとに走査する。そして、走査したデータに対して周知のコンボリューション処理を行い、処理結果Ｃ１（１）、Ｃ１（２）・・・を第１層目のコンボリューション層Ｃ１の出力とする（図５では１１９×１１９画素、３つの画像データ）。
【００７５】
特徴量演算部１３は、前階層である第１層目のコンボリューション層Ｃ１から入力される出力データＣ１（１）、Ｃ１（２）、・・・に対して、それぞれ所定のフィルタ（図５では８個）の各所定の画素サイズ（図５では５６×５６画素）ごとに周知のコンボリューション処理を行い、処理結果Ｃ２（１）、Ｃ２（２）・・・を第２層目のコンボリューション層Ｃ２の出力データとする（図５では６４×６４画素、８個の画像データ）。
【００７６】
特徴量演算部１３は、前階層（最終層）である第２層目のコンボリューション層Ｃ２から入力される出力データＣ２（１）、Ｃ２（２）、・・・に対して、それぞれ所定の画素サイズ（図５では８×８画素）ごとに走査する。そして、走査したデータに対して周知のプーリング処理を行い、処理結果Ｐ１（１）、Ｐ２（２）、・・・を第１層目のプーリング層Ｐ１の出力データとする（図５では８×８画素、８個の画像データ）。なお、図５では、プーリング層Ｐはプーリング層Ｐ１の１層のみである。
【００７７】
特徴量演算部１３は、前階層（最終層）である第１層目のプーリング層Ｐ１から入力される複数の出力データＰ１（１）、Ｐ１（２）、・・・に対して、所定のユニット（図５では２４個）で重み係数を異ならせながらこれらの積和演算を行う周知の全結合処理を行い、処理結果Ｆ１（１）、Ｆ１（２）、・・・を第１層目の全結合層Ｆ１の出力データとする（２４個のデータ）。
【００７８】
特徴量演算部１３は、前階層である第１層目の全結合層Ｆ１から入力される複数の出力データＦ１（１）、Ｆ１（２）、・・・に対して、所定のユニット（図５では８個）で重み係数を異ならせながらこれらの積和演算を行う周知の全結合処理を行い、処理結果Ｆ２（１）、Ｆ２（２）、・・・を第２層目の全結合層Ｆ２の出力データとする（８個のデータ）。
【００７９】
特徴量演算部１３は、前階層である第２層目の全結合層Ｆ２から入力される複数の出力データＦ２（１）、Ｆ２（２）、・・・に対して、所定のユニット（図５では３個）で重み係数を異ならせながらこれらの積和演算を行う周知の全結合処理を行い、処理結果Ｆ３（１）、Ｆ３（２）、・・・を第３層目（最終層）の全結合層Ｆ３の出力データとする（３個のデータ）。
第３層目の全結合層Ｆ３から出力される出力データＦ３（１）、Ｆ３（２）・・・は、画像の分類結果（ここでは、クラス１、クラス２、クラス３の３つの分類）に対応する。
【００８０】
経路抽出手段１５は、特徴量演算部１３での処理結果から、前述したように経路を抽出する機能を有する。
【００８１】
記憶部１７は、分類と関連付けられた予め設定された複数の設定経路を、テーブル等の分類データとして格納している。
【００８２】
判断部１９は、記憶部１７に格納された分類データを読み込み、経路抽出手段１５から抽出された経路を分類データと比較し、設定経路と一致する経路に関連付けられた分類を、入力された画像の分類とする機能を有する。
判断部１９の処理結果は、表示装置２０に出力される。
【００８３】
本実施形態の画像分類システム１０は、本実施形態の画像分類プログラムによって、前述したように、入力される画像データに対して、特徴量演算部１３による特徴量抽出処理及び全結合処理と、経路抽出手段１５による経路抽出処理と、入力された画像の分類処理とを実行する。
【００８４】
そして、画像分類システム１０は、前述した本実施形態の画像分類プラグラムによって、上記畳み込みニューラルネットワークと、上記経路抽出手段と、判断部として機能し、上記の処理を実行する。
【００８５】
上記の通り、本実施形態の画像分類プログラムは、
本発明に係る画像分類プログラムは、
入力された画像を分類するためのプログラムであって、
コンピュータを、
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークと、
前記ネットワークにおける処理経路を抽出する経路抽出手段と、
前記経路抽出手段で抽出した抽出経路と、分類と関連付けられた予め設定された複数の設定経路とを比較し、一致する経路に関連付けられた分類を、前記入力された画像の分類とする判断部として機能させる。
【００８６】
かかる構成によれば、上記ネットワークにおける処理経路を抽出し、抽出した抽出経路と、分類と関連付けられた予め設定された複数の設定経路とを比較し、一致する経路に関連付けられた分類を、入力された画像の分類と判断することが可能になる。
これにより、十分に精度良く分類することが可能となる。
【００８７】
本実施形態の画像分類プログラムにおいては、
前記経路抽出手段は、前記ネットワークにおける前記特徴量抽出処理によって得られる複数の特徴値から少なくとも１つ選択される値と、前記全結合処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とを結ぶ経路を抽出する手段であり、
前記選択される特徴値、及び、前記選択される全結合出力値の少なくとも一方には、最大値が含まれている。
【００８８】
かかる構成によれば、経路抽出手段が、ネットワークにおける特徴量抽出処理によって得られる複数の特徴値から少なくとも１つ選択される値と、全結合処理によって得られる複数の全結合出力値から少なくとも１つ選択される値とを結ぶ経路を抽出し、選択される特徴値、及び、選択される全結合出力値の少なくとも一方には、最大値が含まれていることによって、より十分に精度良く画像を分類することが可能となる。
【００８９】
本実施形態の画像分類プログラムにおいては、
前記経路抽出手段は、前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群とから選択される値を結ぶ経路を抽出する手段であり、
前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から少なくとも２つの値を選択し、
該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれている。
【００９０】
かかる構成によれば、経路抽出手段が、特徴量抽出処理によって得られる複数の特徴値を含む特徴値群と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群とから選択される値を結ぶ経路を抽出し、特徴値群と全結合出力値群とのうち少なくともいずれか一方から少なくとも２つの値を選択し、該２つの値には、選択元の値群に含まれる複数の値のうちの最大値が含まれていることによって、さらに十分に精度良く画像を分類することが可能となる。
【００９１】
上記した本実施形態の画像分類プログラムを実行させる画像分類システム１０は、種々の装置に適用され、適用される装置は、特に限定されるものではない。
例えば、画像分類システム１０は、下記のように、検査装置に適用され得る。
【００９２】
図１１に示すように、本実施形態の検査装置１は、被検査物５０の欠陥を検査する検査装置１であって、
前記被検査物５０を、画像データＤとして撮像可能な撮像部３と、
前記撮像部３によって撮像された前記画像データＤに基づいて前記欠陥を分類する分類部４０とを備え、
前記分類部４０が、本実施形態の画像分類システムを１０を備え、該画像分類システム１０によって前記欠陥を分類するように構成されている。
【００９３】
被検査物は、特に限定されるものではない。例えば、被検査物５０として、例えば、シートが挙げられる。シートとして、例えば、光学フィルム、遮熱フィルム、断熱フィルム、ＵＶカットフィルム等が挙げられる。シートとして、例えば、基材と、該基材に積層された粘着剤層とを有する粘着テープ等も挙げられる。該粘着テープとしては、上記基材の一方の面のみに粘着剤層が積層されてなる粘着テープや、上記基材の両面に粘着剤層が積層されてなる粘着テープ等が挙げられる。
【００９４】
撮像部３は、被検査物５０を、画像データとして撮像可能なものである。
撮像部３は、被検査物５０を、画像データとして撮像可能であれば、特に限定されない。
撮像部３としては、例えば、カメラが挙げられる。
【００９５】
被検査物５０の欠陥は、所定の形状を有する画像として撮像部３によって撮像可能なものであれば、特に限定されるものではない。
例えば、被検査物５０がシートである場合には、シワ（凹凸）、ひきつれ、点状欠陥等が挙げられる。
【００９６】
本実施形態の検査装置１においては、撮像部３によって被検査物５０が画像データとして撮像され、得られた画像情データが、画像分類システム１０によって分類されることによって、被検査物５０に含まれる欠陥が分類される。
例えば、被検査物５０中の欠陥が、分類１（例えば、シートのシワ（凹凸））、分類２（例えば、シートのひきつれ）、分類３（例えば、点状欠陥）のいずれかに、分類される。
【００９７】
なお、本実施形態の画像分類プログラムで用いられる、経路抽出用の分類データは、例えば、下記のプログラムによって作成される。
【００９８】
次に、本実施形態の分類作成プログラムについて説明する。
【００９９】
本実施形態の分類作成プログラムは、
画像分類装置用の分類データを作成する分類データ作成プログラムであって、
コンピュータを、
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークと、
前記ネットワークにおける前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出する設定経路抽出手段と、
抽出した設定経路と画像を分類するための分類とを関連付ける関連付け手段として機能させる。
【０１００】
本実施形態の分類作成用プログラムで分類される画像としては、該画像中に分類の対象物が含まれていればよく、特に限定されない。
【０１０１】
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークとしては、前述した畳み込みニューラルネットワークが挙げられる。
【０１０２】
本実施形態の分類データ作成プログラムは、コンピュータを、設定経路として抽出する設定経路抽出手段と、抽出した設定経路と画像を分類するための分類とを関連付ける関連付け手段として機能させる。
【０１０３】
設定経路抽出手段は、前記ネットワークにおける前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出する。
【０１０４】
ここで、特徴値は、各フィルタによって得られる特徴量に含まれる値のうち、同階層の他のフィルタによって得られる特徴量と比較し得るような代表的な値であり、該特徴値としては、最大値、または、平均値や中間値等が挙げられる。
【０１０５】
このような設定経路としては、例えば、図６、図９に太線で示すように、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値とを結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される第２位の値とを結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値とを結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される第２位の値とを結ぶ経路、
等が挙げられる。
【０１０６】
また、この他、上記設定経路としては、例えば、図７に太線で示すように、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値及び第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値とをそれぞれ結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値及び第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される第２位の値とをそれぞれ結ぶ経路、
等も挙げられる。
【０１０７】
さらに、この他、上記設定経路としては、例えば、図８に太線で示すように、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される最大値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値及び第２位の値とをそれぞれ結ぶ経路、
特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される第２位の値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される最大値及び第２位の値とをそれぞれ結ぶ経路、
等も挙げられる。
【０１０８】
例えば、図６〜図９においては、設定経路抽出手段は、プーリング層Ｐ１の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、全結合層Ｆ１の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、上記特徴値群と上記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を、例えば上記のような設定経路として抽出する。
【０１０９】
加えて、本実施形態では、図６〜図９に太線で示すように、設定経路抽出手段は、全結合層Ｆのうち全結合層Ｆ１と全結合層Ｆ２との間、及び、全結合層Ｆ２と全結合層Ｆ３との間においても、上記したプーリング層Ｐ１と全結合層Ｆ１との間で設定経路を抽出するのと同様に、設定経路を抽出する。
【０１１０】
全結合層Ｆ１と全結合層Ｆ２との間については、設定経路抽出手段は、全結合層Ｆ１の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群（第１の全結合出力値群）から選択される特徴値と、全結合層Ｆ２の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群（第２の全結合出力値群）とから選択される全結合出力値とであって、上記特徴値群と上記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、設定経路を抽出する。
【０１１１】
全結合層Ｆ２と全結合層Ｆ３との間については、設定経路抽出手段は、全結合層Ｆ２の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群（第２の全結合出力値群）から選択される特徴値と、全結合層Ｆ３の複数のユニットによる処理によって得られる複数の全結合出力値を含む全結合出力値群（第３の全結合出力値群）とから選択される全結合出力値とであって、上記特徴値群と上記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、設定経路を抽出する。
【０１１２】
なお、設定経路抽出手段が、この他の経路を抽出してもよいことは、いうまでもない。
【０１１３】
また、図５に示す畳み込みニューラルネットワークにおいては、プーリング層Ｐ１から全結合層Ｆ３に至るまでの設定経路が決定されると、それよりも前段の、コンボリューション層Ｃ１からプーリング層Ｐ１に至るまでの設定経路が決定される。
しかし、コンボリューション層Ｃ１からプーリング層Ｐ１に至るまでの設定経路が、前述した図３及び図４のように、後段の設定経路によって決定されないような経路である場合には、設定経路抽出手段が、コンボリューション層Ｃ１とコンボリューション層Ｃ２との間、及び、コンボリューション層Ｃ２とプーリング層Ｐ１との間においても、上記と同様に、設定経路を抽出してもよい。
【０１１４】
コンボリューション層Ｃ１とコンボリューション層Ｃ２との間については、設定経路抽出手段は、コンボリューション層Ｃ１の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群（第１の特徴値群）から選択される特徴値と、コンボリューション層Ｃ２の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群（第２の特徴値群）とから選択される特徴値とであって、上記第１の特徴値群と上記第２の特徴値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、設定経路を抽出してもよい。
【０１１５】
コンボリューション層Ｃ２とプーリング層Ｐ２との間については、設定経路抽出手段は、コンボリューション層Ｃ２の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群（第２の特徴値群）から選択される特徴値と、プーリング層Ｐ１の複数のフィルタによる処理によって得られる複数の特徴値を含む特徴値群（第３の特徴値群）とから選択される特徴値とであって、上記第２の特徴値群と上記第３の特徴値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれているように、設定経路を抽出してもよい。
【０１１６】
関連付け手段は、設定経路抽出手段が抽出した設定経路と画像を分類するための分類とを関連付ける。
関連付け手段によって、複数の設定経路は、それぞれ、例えば、分類１、分類２、分類３、・・・・といった複数の画像の分類のいずれかに予め関連付けられる。また、この関連付けによって、分類データが作成される。
【０１１７】
次に、本実施形態のプログラムがコンピュータを機能させる場合の分類データ作成システムについて説明する。
【０１１８】
図１２に示すように、本実施形態の分類データ作成システム３０は、コンピュータの制御部に格納される。該分類データ作成システム３０は、入力部３１と、特徴量演算部３３と、設定経路抽出手段３５と、関連付け部３７と、記憶部３９とを備える。
特徴量演算部３３と、設定経路抽出手段３５と、関連付け部３７とは、コンピュータのＣＰＵ等の制御部に格納され、記憶部は、サーバ、ハードディスク等に格納される。
【０１１９】
入力部３１は、分類する画像の画像データが入力され、入力された画像データを特徴量演算部３３に入力する機能を有する。
【０１２０】
特徴量演算部３３は、入力部３１から入力された画像データに対して、畳み込みニューラルネットワークにおける特徴量抽出処理と全結合処理とを実行する機能を有する。本実施形態では、特徴量演算部３３は、特徴量抽出処理として、コンボリューション処理とプーリング処理とを実行する。
本実施形態では、特徴量演算部３３は、前述した特徴量演算部１３と同様の機能を有し、同様の処理を実行する。
【０１２１】
設定経路抽出手段３５は、特徴量演算部３３での処理結果から、前述したように設定経路を抽出する機能を有する。
【０１２２】
関連付け部３７は、設定抽出手段３５によって抽出された設定経路を、前述した分類と関連付けて分類データを作成する機能を有する。
【０１２３】
記憶部３９は、作成された分類データを、テーブル等として記憶する。
【０１２４】
本実施形態の分類データ作成システム３０は、本実施形態の分類データ作成プログラムによって、前述したように、入力される画像データに対して、特徴量演算部３３による特徴量抽出処理及び全結合処理と、設定経路抽出手段３５による設定経路抽出処理と、関連付け部３７による設定経路と分類との関連付けと、記憶部３９による分類データの記憶とを実行する。
【０１２５】
本実施形態の分類データ作成用プログラムは、
画像分類装置用の分類データを作成する分類データ作成プログラムであって、
コンピュータを、
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するように構築されるネットワークと、
前記ネットワークにおける前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出する設定経路抽出手段と、
抽出した設定経路と画像を分類するための分類とを関連付ける関連付け手段として機能させる。
【０１２６】
かかる構成によれば、ネットワークにおける特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、特徴値群と全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出し、抽出した設定経路と画像を分類するための分類とを関連付けることが可能となる。
これにより、十分に精度良く画像を分類することが可能な分類データが得られる。
従って、この分類データを用いることによって、十分に精度良く画像を分類することが可能となる。
【０１２７】
次に、本実施形態の分類用データ作成プログラムが機能させる分類データ作成システムを用いた分類データ作成方法について説明する。
【０１２８】
本実施形態の分類データ作成方法は、上記した本実施形態の分類データ作成システムを用いて実施される。
【０１２９】
具体的には、本実施形態の分類データ作成方法は、
画像分類装置用の分類データを作成する方法であって、
入力された画像データに対して特徴量抽出処理と全結合処理とを実行するネットワーク処理工程と、
前記ネットワーク処理工程における前記特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、前記全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、前記特徴値群と前記全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出する設定経路抽出工程と、
抽出した設定経路と画像を分類するための分類とを関連付ける関連付け工程とを含む。
【０１３０】
ネットワーク処理工程では、前述した特徴量抽出手段及び全結合処理手段とによって、特徴量抽出処理及び全結合処理を実施する。
【０１３１】
設定経路抽出工程では、前述した設定経路抽出手段によって、前述したように設定経路を抽出する。
【０１３２】
関連付け工程では、前述した関連付け手段によって、前述したように抽出した設定経路と画像を分類するための分類とを関連付けて分類データを作成する。
【０１３３】
かかる本実施形態の分類データ作成方法によれば、ネットワークにおける特徴量抽出処理によって得られる複数の特徴値を含む特徴値群から選択される特徴値と、全結合処理によって得られる複数の全結合出力値を含む全結合出力値群から選択される全結合出力値とであって、特徴値群と全結合出力値群とのうち少なくともいずれか一方から選択される値に、選択元の値群に含まれる複数の値のうちの最大値が含まれるように選択される特徴値と全結合出力値とを結ぶ経路を設定経路として抽出し、抽出した設定経路と画像を分類するための分類とを関連付けることが可能となる。
これにより、十分に精度良く画像を分類することが可能な分類データが得られる。
従って、この分類データを用いることによって、十分に精度良く画像を分類することが可能となる。
【０１３４】
以上の通り、本実施形態によれば、十分に精度良く分類することが可能な画像分類プログラム、分類データ作成プログラム、及び、分類データ作成方法が提供される。
【０１３５】
本実施形態の画像分類プログラム、分類データ作成プログラム及び分類データ作成方法は上記の通りであるが、本発明は、上記実施形態に限定されるものではなく、適宜設計変更可能である。
【０１３６】
以下、本発明について、実施例を参照しながらより詳細に説明するが、本発明はこれらの実施例に限定されるものではない。
【実施例】
【０１３７】
画像データとして、シートを撮像した画像データを用い、画像を下記の欠陥のいずれに分類すべく、図９に示すような画像分類システムにおいて、教育用データを用いて、図５に示すような特徴量抽出処理及び全結合処理を実行する畳み込みニューラルネットワークを構築した。
分類（Class）１：シワ（凹凸）
分類（Class）２：ひきつれ
分類（Class）３：点状欠陥
教育用データとしては、クラス１の欠陥を有する９９６枚の画像データ、クラス２の欠陥を有する１０００枚の画像データ、クラス３の欠陥を有する１４４枚の画像データを用いた。
そして、教育用データとは別に準備した、分類１の欠陥を有する５００枚の画像データ、分類２の欠陥を有する４８０２枚の画像データ、分類３の欠陥を有する２９８枚の画像データを評価用画像データとし、これら評価用画像データについて、構築した畳み込みニューラルネットワークを用いて分類を行い、分類精度を調べた。
【０１３８】
（比較例１）
構築した畳み込みニューラルネットワークにおいて、プーリング層Ｐ１によるプーリング処理から全結合層Ｆ３による全結合処理までの全て経路を通る経路で、各処理を実行し、最終的に全結合層Ｆ３による全結合処理を、分類（Class）１〜３の相関値（３つの合計が１となるような相関値）として出力した。
結果を表１に示す。
【０１３９】
【表１】
2018200530.tif 000003
【０１４０】
表１において、閾値を０．５として、再度、評価用データについて分類処理を行うと、クラス２が見逃した画像データ（本来はクラス２に分類されるべきであるのに、クラス２と分類されなかった画像データ）は、４８０２枚中、９枚であり、分類精度は９９．４３％であった。
【０１４１】
（実施例１）
構築した畳み込みニューラルネットワークにおいて、分類１〜３の各教育用データを用いて特徴量抽出処理及び全結合処理をそれぞれ１回実行し、各分類の教育データを用いたときの特徴量抽出処理の特徴値の最大値と全結合処理の全結合出力値の最大値とを結ぶ経路を設定経路として抽出し、抽出された経路と、対応する各分類とをそれぞれ関連付けて分類データとした。
より具体的には、前述した図６に太線で示すように、各分類１〜３について、プーリング層Ｐ１による処理によって得られた複数の特徴値（特徴値群）のうちの最大値と、全結合層Ｆ１による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値とを結び、且つ、全結合層Ｆ１による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値と、全結合層Ｆ２による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値とを結ぶ経路を、設定経路として抽出した。
【０１４２】
このようにして得られた分類データを、画像分類システムの記憶部に格納した。
なお、図５では、コンボリューション層Ｃ１は、最初のコンボリューション層であるため、分類間での特徴量の差異はなく、また、コンボリューション層Ｃ１、コンボリューション層Ｃ２、プーリング層Ｐ１では、同じ経路を通ることが明らかであり、全結合層Ｆ３は、最終の層であるため、これら層Ｃ１、Ｃ２、Ｐ１、Ｆ３を結ぶ経路では、層Ｐ１、層Ｆ１、層Ｆ２を結ぶ経路が決定されれば、それに応じて経路が決定されることになる。
この点では、抽出された設定経路は、特徴抽出処理の全ての各処理の最大値を結ぶ経路に相当する。
このように最大値を結ぶ経路を、下記式（１）のように定義した。下記式（１）において、MAX ( )は、最大値となるフィルタ番号（処理番号）及びユニット番号（処理番号）を示す。
Route = [ Max (C1), Max (C2), Max (P1), Max (F1), Max (F2), Max (F3) ]    （１）
例えば、図５の太線に示す経路は、Route [ 1, 2, 2, 3, 2, 1 ]であり、これは、層Ｃ１（１）、層Ｃ２（２）、層Ｐ１（１）、層Ｆ１（３）、層Ｆ２（２）、層Ｆ３（１）を通る経路であることを示す。
そして、画像分類システムに評価用画像データを入力し、特徴量抽出処理及び全結合処理を実行して、入力した評価用画像データが、分類１〜３のいずれに分類されるかを調べた。
結果を図１３に示す。図１３では、横軸にRouteのパターン、縦軸に度数を示す。
なお、図１３の横軸のうち、Ｆ１層では、上段を１０の位、下段を１の位として示した。
また、図１３において、各層のフィルタ及びユニットでの処理結果の値がゼロの場合には、識別番号を「０」とした。すなわち、どのフィルタ及びユニットも活性化しておらず、このことは、いずれのフィルタ及びユニットを通っても差異がないことを意味する。
【０１４３】
図１３に示すように、経路は２８パターン存在し、各分類ごとに特定の経路を辿ることが確認された。
また、層Ｐ１から層Ｆ２に至る経路のうち、Route [ 2, 13, 3 ]、Route [ 4, 21, 3 ]、及びRoute [ 4, 21, 3 ]では、分類１と分類３が同じ経路を辿ることがわかった。
【０１４４】
そこで、この重複による見逃しを抑制すべく、上記２８個の経路のうち、分類１のみと判定された経路を分類１に関連付けられた設定経路とし、分類３のみと判定された経路を分類３に関連付けられた設定経路とし、それ以外の経路を、分類２に関連付けられた設定経路とした。
このように決定された分類データを記憶部に格納し、画像分類システムによって、評価用データについて、再度、特徴量抽出処理及び前記識別処理を実行して、入力した評価用画像データが、分類１〜３のいずれに分類されるかを調べた。
その結果、分類２に分類されるべき画像データ４８０２枚のうち、見逃した画像データは４枚であった。
さらに上記した層Ｐ１から層Ｆ２に至る経路の各最大値を結ぶ経路に加え、層Ｐ１から層Ｆ２のうち層Ｆ１、層Ｆ２については最大値を結び、層Ｐ１については第２位及び第３位の値をそれぞれ結ぶように上記層Ｐ１から層Ｆ２に至る経路も設定した。その結果、見逃した画像データはゼロとなった。そのときの分類精度は、９８．８８％であった。すなわち、比較例１と分類精度が同程度でありながらも、見逃しが発生することなく（見逃しがゼロで）分類を行うことが可能となった。
【０１４５】
（実施例２）
構築した畳み込みニューラルネットワークにおいて、分類１〜３の各教育用データを用いて特徴量抽出処理及び全結合処理をそれぞれ１回実行し、各分類の教育データを用いたときの特徴量抽出処理の最大値及び第２位の値と、全結合処理の最大値とをそれぞれ結ぶ経路を抽出し、抽出された経路と、対応する各分類とを関連付けて設定経路とした。
具体的には、前述した図７に太線で示すように、各分類１〜３について、プーリング層Ｐ１による処理によって得られた複数の特徴値（特徴値群）のうちの最大値及び第２位の値と、全結合層Ｆ１による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値とをそれぞれ結び、且つ、全結合層Ｆ１による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値と全結合層Ｆ２による処理によって得られた複数の全結合出力値（全結合出力値群）の最大値とを結ぶ経路を、設定経路として抽出した。
それ以外は、実施例１と同様にして、画像分類システムに評価用画像データを入力し、特徴量抽出処理及び全結合処理を実行して、入力した評価用画像データが、分類１〜３のいずれに分類されるかを調べた。
結果を図１４に示す。
【０１４６】
（実施例３）
構築した畳み込みニューラルネットワークにおいて、分類１〜３の各教育用データを用いて特徴量抽出処理及び全結合処理をそれぞれ１回実行し、各分類の教育データを用いたときの特徴量抽出処理の特徴値の最大値と、全結合処理の全結合出力値の最大値及び第２位の値とを経路を抽出し、抽出された経路と、対応する各分類とを関連付けて設定経路とした。
具体的には、前述した図８に太線で示すように、各分類１〜３について、プーリング層Ｐ１による処理によって得られた複数の特徴値（特徴値群）のうちの最大値と全結合層Ｆ１による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値及び第２位の値とをそれぞれ結び、且つ、全結合層Ｆ１による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値及び第２位の値と全結合層Ｆ２による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値とをそれぞれ結ぶ経路を、設定経路として抽出した。
それ以外は、実施例１と同様にして、画像分類システムに評価用画像データを入力し、特徴量抽出処理及び全結合処理を実行して、入力した評価用画像データが、分類１〜３のいずれに分類されるかを調べた。
結果を図１５に示す。
【０１４７】
（実施例４）
構築した畳み込みニューラルネットワークにおいて、分類１〜３の各教育用データを用いて特徴量抽出処理及び全結合処理をそれぞれ１回実行し、各分類の教育データを用いたときの特徴量抽出処理の特徴値の最大値と、全結合処理の全結合出力値の最大値及び第２位の値とをそれぞれ結ぶ経路を抽出し、抽出された経路と、対応する各分類とを関連付けて設定経路とした。
具体的には、前述した図９に太線で示すように、各分類１〜３について、プーリング層Ｐ１による処理によって得られた複数の特徴値（特徴値群）のうちの最大値と全結合層Ｆ１による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値とを結び、且つ、全結合層Ｆ１による処理によって得られた複数の全結合出力値（全結合出力値群）のうちの最大値と全結合層Ｆ２による処理によって得られた複数の全結合出力値（全結合出力値群）の最大値及び第２位の値とをそれぞれ結ぶ経路を、設定経路として抽出した。
それ以外は、実施例１と同様にして、画像分類システムに評価用画像データを入力し、特徴量抽出処理及び全結合処理を実行して、入力した評価用画像データが、分類１〜３のいずれに分類されるかを調べた。
結果を図１６に示す。
【０１４８】
図１３〜図１６に示すように、実施例１よりも、実施例２〜４の方が、複数の分類に分類される経路が減少した。
【０１４９】
以上のように本発明の実施の形態及び実施例について説明を行なったが、各実施の形態及び実施例の特徴を適宜組み合わせることも当初から予定している。また、今回開示された実施の形態及び実施例はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した実施の形態及び実施例ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１５０】
１：検査装置、３：撮像部、１０：画像分類システム、１１：入力部、１３：特徴量演算部、１５：経路抽出手段、１７：記憶部、１９：判断部、３０：分類データ作成システム、３１：入力部、３３：特徴量演算部、３５：設定経路抽出手段、３７：関連付け部、３９：記憶部、５０：被検査物
【図１】
2018200530.tif 000004
【図２】
2018200530.tif 000005
【図３】
2018200530.tif 000006
【図４】
2018200530.tif 000007
【図５】
2018200530.tif 000008
【図６】
2018200530.tif 000009
【図７】
2018200530.tif 000010
【図８】
2018200530.tif 000011
【図９】
2018200530.tif 000012
【図１０】
2018200530.tif 000013
【図１１】
2018200530.tif 000014
【図１２】
2018200530.tif 000015
【図１３】
2018200530.tif 000016
【図１４】
2018200530.tif 000017
【図１５】
2018200530.tif 000018
【図１６】
2018200530.tif 000019