(57)【要約】【課題】画像に付されたラベルの誤りを確認する作業を省力化し、その確認に必要な工数と労力を削減することができる画像検査支援装置を提供する。【解決手段】  画像検査支援装置１は、製品の良否を判別する画像検査装置の学習に用いられた画像を学習してニューラルネットワークを構築し、学習済みのニューラルネットワークを用いて判定用の画像の特徴量を抽出する。画像検査支援装置１は、抽出された判定用の画像の特徴量に基づき画像間の相関性を示す指標値である類似度を算出する。そして、画像検査支援装置１は、算出された類似度と判定用の画像に付されたラベルとに基づいて、対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定する。【選択図】  図３
2019215698.tif 000002
【特許請求の範囲】
【請求項１】
学習型の画像検査装置の学習で用いられる画像に付されたラベルの確認を支援する画像検査支援装置であって、
学習および判定に用いられる画像を取得する画像取得部と、
取得された学習用の画像に基づいてニューラルネットワークの学習を行い、前記学習用の画像が復元できる特徴量を出力する学習済みのニューラルネットワークを構築する学習部と、
前記学習済みのニューラルネットワークを用いて、取得された判定用の画像の特徴量を抽出し、その特徴量から算出された、対象とする判定用の画像と他の判定用の画像のそれぞれとの互いの相関性を示す指標値に基づいて、前記対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定して判定結果を出力する判定部と
を備え、
前記取得された判定用の画像は、予め付与されているラベルを含む
ことを特徴とする画像検査支援装置。
【請求項２】
請求項１に記載の画像検査支援装置において、
前記学習部は、
前記学習用の画像を入力として、畳み込み層の演算を行い、前記学習用の画像の特徴量を抽出する第１特徴量抽出部と、
前記第１特徴量抽出部によって抽出された前記特徴量を入力として、前記畳み込み層に対応する逆構造を有する逆畳み込み層の演算を行い、前記学習用の画像が復元された復元画像を出力する画像復元部と、
前記第１特徴量抽出部に入力された前記学習用の画像と、前記復元画像との誤差を算出する誤差算出部と、
算出された前記誤差がより小さくなるように、誤差逆伝搬法を用いて前記畳み込み層および前記逆畳み込み層を学習する誤差逆伝搬部と、
を備え、
前記判定部は、
前記判定用の画像を入力として、前記学習部による学習で得られた学習済みの畳み込み層の演算を行い、前記判定用の画像の特徴量を抽出する第２特徴量抽出部と、
前記第２特徴量抽出部によって抽出された前記特徴量に基づいて前記指標値を算出する類似度算出部と、
前記指標値より、前記対象とする判定用の画像と類似する前記他の判定用の画像が存在し、かつ、その類似する前記他の判定用の画像に付されたラベルと、前記対象とする判定用の画像に付されたラベルとが互いに異なる場合には、前記対象とする判定用の画像に付されたラベルは修正のための確認が必要であると判定する分析部と、
前記分析部による判定結果を出力する結果出力部と、
を備える
ことを特徴とする画像検査支援装置。
【請求項３】
請求項２に記載の画像検査支援装置において、
前記分析部は、前記対象とする判定用の画像と類似する前記他の判定用の画像が存在しない場合に、前記対象とする判定用の画像に付されているラベルについて、修正のための確認をしてもよいと判定することを特徴とする画像検査支援装置。
【請求項４】
請求項２または請求項３に記載の画像検査支援装置において、
前記分析部は、
前記類似度算出部によって算出された前記指標値を前記判定用の画像毎に保存する類似度保存部と、
前記指標値に対してしきい値を設定するしきい値設定部と、
前記類似度保存部によって保存された前記指標値と、前記しきい値と、前記判定用の画像に付されたラベルとに基づいて、前記対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定するラベル付け判定部と、
を備え、
前記類似度保存部は、前記判定用の画像毎に、前記指標値を用いて、前記対象とする判定用の画像との類似性がより高い前記他の判定用の画像から順に所定の数だけ選択し、選択した前記他の判定用の画像をラベルと共に保存し、
前記ラベル付け判定部は、前記対象とする判定用の画像について算出された前記指標値と、前記しきい値とを比較し、比較の結果に基づいて、前記対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定する
ことを特徴とする画像検査支援装置。
【請求項５】
請求項４に記載の画像検査支援装置において、
前記ラベル付け判定部は、前記対象とする判定用の画像に付されたラベルと、前記類似度保存部に保存されている前記他の判定用の画像に付されたラベルとが互いに異なる場合に、前記対象とする判定用の画像に付されたラベルは修正のための確認が必要であると判定することを特徴とする画像検査支援装置。
【請求項６】
請求項２から請求項５のいずれか１項に記載の画像検査支援装置において、
前記結果出力部は、
前記第２特徴量抽出部によって抽出された前記特徴量の次元を圧縮する特徴量圧縮部と、
圧縮された前記特徴量から前記判定用の画像毎の散布図を生成して表示装置に表示させる特徴量可視化部と、
前記表示装置に表示された前記対象とする判定用の画像に対するラベルの修正指示を外部から受け付ける操作部と、
前記修正指示に基づいて、前記対象とする判定用の画像に付されたラベルを修正して、記憶部に記憶するデータ修正部と
を備えることを特徴とする画像検査支援装置。
【請求項７】
学習型の画像検査装置の学習で用いられる画像に付されたラベルの確認を支援する画像検査支援方法であって、
学習および判定に用いられる画像を取得する画像取得ステップと、
取得された学習用の画像に基づいてニューラルネットワークの学習を行い、前記学習用の画像が復元できる特徴量を出力する学習済みのニューラルネットワークを構築する学習ステップと、
前記学習済みのニューラルネットワークを用いて、取得された判定用の画像の特徴量を抽出し、抽出された特徴量から算出された、対象とする判定用の画像と他の判定用の画像のそれぞれとの互いの相関性を示す指標値に基づいて、前記対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定して判定結果を出力する判定ステップと
を備え、
前記取得された判定用の画像は、予め付与されているラベルを含む
ことを特徴とする画像検査支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検査支援装置および方法に関し、特に画像検査に用いる画像に付されたラベルの確認を支援する技術に関する。
【背景技術】
【０００２】
従来より、人が目視で行っていた製品の検査を自動化する手法として、検査対象の画像を用いて製品が良品であるか不良品であるかを判別する画像検査が知られている。
【０００３】
近年、ディープラーニングに代表される機械学習の進展により、学習型の画像検査手法が開発されている。これは、事前に良品、不良品の区別がラベル付けされた画像を用いて良品と不良品との特徴の違いを学習し、学習した結果を用いて製品の検査を行うものである。この手法は、検査対象や画像処理に関する深い知識がなくても、学習用の画像を用意すれば画像検査が可能という長所がある。
【０００４】
学習には、良品または不良品の区別がラベル付けされた画像が必要である。このようなデータは自動で生成できないことも多く、人が目視で検査した結果を用いて画像にラベル付けしなければならないことも多い。
【０００５】
画像を用いて製品が良品か不良品であるかを判別する画像検査システムにおいて、アルゴリズムに機械学習を用いる場合、画像に付されたラベルの正確さは判別性能に大きく影響する。しかし、前述のように画像に対するラベル付けを人手で行う場合、ラベル付けにミスが生じやすい。また、一度画像にラベル付けをしてしまうと、その後の工程で直接ラベル付けされた画像を確認することはほとんどない。そのため、そのミスに気付かずに学習に使用してしまい、判別性能に大きく影響を与えてしまうことがある。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Ｐａｓｃａｌ  Ｖｉｎｃｅｎｔ，  Ｈｕｇｏ  Ｌａｒｏｃｈｅｌｌｅ，Ｉｓａｂｅｌｌｅ  Ｌａｊｏｉｅ，Ｙｏｓｈｕａ  Ｂｅｎｇｉｏ，ａｎｄ  Ｐｉｅｒｒｅ−Ａｎｔｏｉｎｅ  Ｍａｎｚａｇｏｌ．Ｓｔａｃｋｅｄ  ｄｅｎｏｉｓｉｎｇ  ａｕｔｏｅｎｃｏｄｅｒｓ：Ｌｅａｒｎｉｎｇ  ｕｓｅｆｕｌ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ  ｉｎ  ａ  ｄｅｅｐ  ｎｅｔｗｏｒｋ  ｗｉｔｈ  ａ  ｌｏｃａｌ  ｄｅｎｏｉｓｉｎｇ  ｃｒｉｔｅｒｉｏｎ．  Ｊｏｕｒｎａｌ  ｏｆ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  Ｒｅｓｅａｒｃｈ，１１（Ｄｅｃ）：３３７１−３４０８，２０１０．
【非特許文献２】Ｌ．Ｊ．Ｐ．ｖａｎ  ｄｅｒ  Ｍａａｔｅｎ  ａｎｄ  Ｇ．Ｅ．Ｈｉｎｔｏｎ．Ｖｉｓｕａｌｉｚｉｎｇ  Ｈｉｇｈ−Ｄｉｍｅｎｓｉｏｎａｌ  Ｄａｔａ  Ｕｓｉｎｇ  ｔ−ＳＮＥ．Ｊｏｕｒｎａｌ  ｏｆ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  Ｒｅｓｅａｒｃｈ  ９（Ｎｏｖ）：２５７９−２６０５，２００８．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の学習型の画像検査システムにおいて、ラベル付けの誤りに起因した判別精度の低下を抑制するためには、そのようなラベル付けの誤りを確認する作業が必要となる。一般にディープラーニングを用いた機械学習には大量のデータが必要である。学習型の画像検査システムにおいても大量の画像データが用意されることから、これらの画像の全てを一枚一枚確認する必要がある。しかし、この大量の画像を作業者が目視で確認するには、多大な工数と労力が必要となる問題があった。
【０００８】
本発明は、上述した課題を解決するためになされたものであり、画像に付されたラベルの誤りを確認する作業を省力化し、その確認に必要な工数と労力を削減することができる画像検査支援装置を提供する。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明に係る画像検査支援装置は、学習型の画像検査装置の学習で用いられる画像に付されたラベルの確認を支援する画像検査支援装置であって、学習および判定に用いられる画像を取得する画像取得部と、取得された学習用の画像に基づいてニューラルネットワークの学習を行い、前記学習用の画像が復元できる特徴量を出力する学習済みのニューラルネットワークを構築する学習部と、前記学習済みのニューラルネットワークを用いて、取得された判定用の画像の特徴量を抽出し、その特徴量から算出された、対象とする判定用の画像と他の判定用の画像のそれぞれとの互いの相関性を示す指標値に基づいて、前記対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定して判定結果を出力する判定部とを備え、前記取得された判定用の画像は、予め付与されているラベルを含むことを特徴とする。
【００１０】
また、本発明に係る画像検査支援装置において、前記学習部は、前記学習用の画像を入力として、畳み込み層の演算を行い、前記学習用の画像の特徴量を抽出する第１特徴量抽出部と、前記第１特徴量抽出部によって抽出された前記特徴量を入力として、前記畳み込み層に対応する逆構造を有する逆畳み込み層の演算を行い、前記学習用の画像が復元された復元画像を出力する画像復元部と、前記第１特徴量抽出部に入力された前記学習用の画像と、前記復元画像との誤差を算出する誤差算出部と、算出された前記誤差がより小さくなるように、誤差逆伝搬法を用いて前記畳み込み層および前記逆畳み込み層を学習する誤差逆伝搬部と、を備え、前記判定部は、前記判定用の画像を入力として、前記学習部による学習で得られた学習済みの畳み込み層の演算を行い、前記判定用の画像の特徴量を抽出する第２特徴量抽出部と、前記第２特徴量抽出部によって抽出された前記特徴量に基づいて前記指標値を算出する類似度算出部と、前記指標値より、前記対象とする判定用の画像と類似する前記他の判定用の画像が存在し、かつ、その類似する前記他の判定用の画像に付されたラベルと、前記対象とする判定用の画像に付されたラベルとが互いに異なる場合には、前記対象とする判定用の画像に付されたラベルは修正のための確認が必要であると判定する分析部と、前記分析部による判定結果を出力する結果出力部と、を備えていてもよい。
【００１１】
また、本発明に係る画像検査支援装置において、前記分析部は、前記対象とする判定用の画像と類似する前記他の判定用の画像が存在しない場合に、前記対象とする判定用の画像に付されているラベルについて、修正のための確認をしてもよいと判定してもよい。
【００１２】
また、本発明に係る画像検査支援装置において、前記分析部は、前記類似度算出部によって算出された前記指標値を前記判定用の画像毎に保存する類似度保存部と、前記指標値に対してしきい値を設定するしきい値設定部と、前記類似度保存部によって保存された前記指標値と、前記しきい値と、前記判定用の画像に付されたラベルとに基づいて、前記対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定するラベル付け判定部と、を備え、前記類似度保存部は、前記判定用の画像毎に、前記指標値を用いて、前記対象とする判定用の画像との類似性がより高い前記他の判定用の画像から順に所定の数だけ選択し、選択した前記他の判定用の画像をラベルと共に保存し、前記ラベル付け判定部は、前記対象とする判定用の画像について算出された前記指標値と、前記しきい値とを比較し、比較の結果に基づいて、前記対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定してもよい。
【００１３】
また、本発明に係る画像検査支援装置において、前記ラベル付け判定部は、前記対象とする判定用の画像に付されたラベルと、前記類似度保存部に保存されている前記他の判定用の画像に付されたラベルとが互いに異なる場合に、前記対象とする判定用の画像に付されたラベルは修正のための確認が必要であると判定してもよい。
【００１４】
また、本発明に係る画像検査支援装置において、前記結果出力部は、前記第２特徴量抽出部によって抽出された前記特徴量の次元を圧縮する特徴量圧縮部と、圧縮された前記特徴量から前記判定用の画像毎の散布図を生成して表示装置に表示させる特徴量可視化部と、前記表示装置に表示された前記対象とする判定用の画像に対するラベルの修正指示を外部から受け付ける操作部と、前記修正指示に基づいて、前記対象とする判定用の画像に付されたラベルを修正して、記憶部に記憶するデータ修正部とを備えていてもよい。
【００１５】
また、本発明に係る画像検査支援方法は、学習型の画像検査装置の学習で用いられる画像に付されたラベルの確認を支援する画像検査支援方法であって、学習および判定に用いられる画像を取得する画像取得ステップと、取得された学習用の画像に基づいてニューラルネットワークの学習を行い、前記学習用の画像が復元できる特徴量を出力する学習済みのニューラルネットワークを構築する学習ステップと、前記学習済みのニューラルネットワークを用いて、取得された判定用の画像の特徴量を抽出し、抽出された特徴量から算出された、対象とする判定用の画像と他の判定用の画像のそれぞれとの互いの相関性を示す指標値に基づいて、前記対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定して判定結果を出力する判定ステップとを備え、前記取得された判定用の画像は、予め付与されているラベルを含むことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、画像に基づいて学習したニューラルネットワークで抽出した判定用の画像の特徴量から画像間の相関性を示す指標値を算出し、その指標値に基づいて、判定用の画像に付されたラベルを修正するための確認の要否を判定するので、画像に付されたラベルの誤りを確認する作業を省力化し、その確認に必要な工数と労力を削減することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明に係る画像検査支援装置の原理を説明する図である。
【図２】図２は、本発明に係る画像検査支援装置の原理を説明する図である。
【図３】図３は、本発明の第１の実施の形態に係る画像検査支援装置の機能ブロック図である。
【図４】図４は、本発明の第１の実施の形態に係る画像検査支援装置のハードウェア構成を示すブロック図である。
【図５】図５は、本発明の第１の実施の形態に係る画像検査支援装置の全体の動作を説明するフローチャートである。
【図６】図６は、本発明の第１の実施の形態に係る学習処理を説明するフローチャートである。
【図７】図７は、本発明の第１の実施の形態に係る判定処理を説明するフローチャートである。
【図８】図８は、本発明の第２の実施の形態に係る画像検査支援装置の機能ブロック図である。
【図９】図９は、本発明の第２の実施の形態に係る判定処理を説明するフローチャートである。
【図１０】図１０は、本発明の第３の実施の形態に係る画像検査支援装置の機能ブロック図である。
【図１１】図１１は、本発明の第３の実施の形態に係る判定処理を説明するフローチャートである。
【図１２】図１２は、本発明の第３の実施の形態に係る表示処理を説明するフローチャートである。
【図１３】図１３は、本発明の第３の実施の形態に係る結果出力部による表示例を示す図である。
【発明を実施するための形態】
【００１８】
［発明の原理］
はじめに、本発明の原理について説明する。
学習型の画像検査の学習に用いられる画像においては、各画像によく似た別の画像が存在することが多い。そして、このよく似た画像同士でラベル付けが同じならば、それらがラベル付けを誤っている可能性は非常に低い。なぜならば、一枚一枚ではたまたま作業者が画像を誤認する可能性があったとしても、同じ誤りを別の似た画像に対して何枚も繰り返すことはあまりないと考えるからである。
【００１９】
この考えを利用すると、互いに類似した画像が存在し、かつ、それらの画像に付されたラベルが一定していれば、その全ての画像に付されたラベルを確認する必要はないということになる。一方、この条件に該当しない画像のラベルだけを確認すればよいので、作業者においてラベル付けの誤りを確認する作業が大幅に軽減される。
【００２０】
図１は上記の本発明の原理をまとめた説明図である。類似画像が何枚か存在し、それらの画像間でラベルが一貫していれば、類似する全ての画像に付されているラベルの確認は不要である。類似画像が存在しており、その画像間でラベルが互いに一定でない場合は、似た画像間で異なるラベル付けをしている恐れがあるので、それらの画像のラベルを確認する必要がある。また、類似画像の数がごく少ない場合は、対象となる画像に付されたラベルの確認の要否について、類似画像に付されているラベルを参考にできないので、ラベル付けの誤りが無いことを保証できない。この場合にも、対象となる画像のラベルを確認する方が望ましいといえる。
【００２１】
ところで、上述したような、画像に付されたラベルの誤りを確認する方法を実現するためには、人による目視で似ていると感じる画像を自動で見つけられるようにする必要がある。そこで、発明者らは、図２に示すような、ラベル情報に依存せず画像だけで学習できるニューラルネットワークに着目した。
【００２２】
図２に示すニューラルネットワークの例としては、入力した画像を復元するように学習するオートエンコーダ、特に畳み込み型自己符号化器や、敵対的生成ネットワーク（ＧＡＮ）などが挙げられる。これらのニューラルネットワークは、復元画像が入力画像とできるだけ近くなるようにニューラルネットワークを学習する。そのため、これらのニューラルネットワークによって生成される変数は、人による目視で似ているかどうかを反映するような特徴量になっていることが期待できる。この特徴量に基づいて類似画像かどうかを判定することで、人が目視で似ていると感じる画像を抽出することを可能にする。
【００２３】
ここで、画像だけで学習したニューラルネットワークによって特徴量が生成されることに意味がある。同様な特徴量は学習型の画像検査システム内部にも存在するが、これらの特徴量はラベル付けされたデータの学習によって生成されるので、ラベルに依存した特徴量となっており、ラベル付けの誤りを見つけるために使うには適さない。
【００２４】
また、人が経験等によって手動で特徴量を設定するのは、特徴量の開発と調整に時間がかかる可能性があり、工数と労力を削減するという本発明の目的と合わない。本発明は画像だけで学習したニューラルネットワークによって生成された特徴量を用いるので、ラベルに依存せず、かつ、製品の知識が不要である。よって、ラベル付けを誤った画像を自動で発見するのに適している。
【００２５】
以上説明した本発明の特徴は、以下の２点にまとめることができる。
（ｉ）個々の学習用の画像について、類似画像の有無と、類似画像に付されたラベルとの一貫性を調べ、確認が必要な画像を絞り込む。
（ｉｉ）類似画像かどうかの判断を、ラベルに依存せず画像だけで学習可能なニューラルネットワークにより抽出された特徴量に基づいて行う。
【００２６】
以下、本発明の好適な実施の形態について、図３から図１３を参照して詳細に説明する。
【００２７】
［第１の実施の形態］
図３は、本発明の第１の実施の形態に係る画像検査支援装置１の機能ブロック図である。
画像検査支援装置１は、製品の良否を判別する画像検査装置の学習に用いられた画像を学習してニューラルネットワークを構築し、学習済みのニューラルネットワークを用いて判定用の画像の特徴量を抽出する。画像検査支援装置１は、抽出された判定用の画像の特徴量に基づき画像間の相関性を示す指標値である類似度を算出する。そして、画像検査支援装置１は、算出された類似度と判定用の画像に付されたラベルとに基づいて、対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定する。
【００２８】
［画像検査支援装置の機能ブロック］
画像検査支援装置１は、画像取得部１０、前処理部１１、記憶部１２、学習部１３、および判定部１４を備える。
【００２９】
画像取得部１０は、製品の良否を判別する学習型の画像検査装置（図示しない）の学習に用いられた画像を、通信ネットワークを介して画像検査装置や外部の記憶装置から取得する。より詳細には、画像取得部１０は、後述する学習部１３が学習に用いる学習用の画像を取得する。また、画像取得部１０は、後述する判定部１４がラベルの確認の要否を判定する対象である判定用の画像を取得する。判定用の画像には、予めラベルが付与されている。
【００３０】
画像取得部１０が取得する学習用の画像は、ラベル付けを確認する対象となる全ての画像を含むのが一般的である。なお、画像取得部１０は、学習用の画像として、同じ検査対象が撮像されている異なる画像を取得してもよい。例えば、同じ検査対象だがラベル付けされていない画像を加えて、画像検査支援装置１における学習データの量を増やすことも可能である。
【００３１】
前処理部１１は、画像取得部１０によって取得された画像の前処理を必要に応じて行う。より詳細には、前処理部１１は、画像取得部１０によって取得された画像に対して、フィルタリングなどによるノイズの除去や画像の明るさの正規化などを行う。
【００３２】
記憶部１２は、画像取得部１０によって取得され、前処理部１１によって前処理が行われた画像を記憶する。また、記憶部１２は、後述する学習部１３や判定部１４によって用いられるニューラルネットワークに関する情報や、抽出された特徴量などの演算結果を記憶する。また、記憶部１２は、後述する分析部１４２によって用いられる予め設定された判定の基準を記憶する。
【００３３】
学習部１３は、第１特徴量抽出部１３０、画像復元部１３１、誤差算出部１３２、および誤差逆伝搬部１３３を備える。
【００３４】
学習部１３は、学習用の画像の特徴量を学習する。より詳細には、学習部１３は、ラベルに依存せず教師なしで学習できるニューラルネットワークであるオートエンコーダ（自己符号化器）、その中でも畳み込み層を有する畳み込み型自己符号化器（非特許文献１参照）を用いて画像の特徴量を学習する。
【００３５】
学習部１３が用いる自己符号化器とは、入力した画像データを復元するように学習するニューラルネットワークである。自己符号化器は学習にラベルを必要としないという特徴があり、本発明ではこの点に着目している。
【００３６】
第１特徴量抽出部１３０は、少なくとも１層の畳み込み層により構成され、画像復元部１３１は、少なくとも１層の逆畳み込み層で構成され、学習部１３の畳み込み型自己符号化器を実現する。画像復元部１３１を構成する逆畳み込み層は、第１特徴量抽出部１３０を構成する畳み込み層に対応する逆構造を有する。
【００３７】
第１特徴量抽出部１３０は、画像取得部１０によって取得された学習用の画像を入力として、畳み込み層の演算を行い、入力画像の特徴量を抽出する。第１特徴量抽出部１３０によって抽出された特徴量は、後に判定部１４によって、ラベル付けの確認の要否を判定する際に用いられる。
【００３８】
画像復元部１３１は、第１特徴量抽出部１３０によって抽出された特徴量を入力として、逆畳み込み層の演算を行い、学習用の画像を復元した復元画像を出力する。
【００３９】
誤差算出部１３２と誤差逆伝搬部１３３とは、第１特徴量抽出部１３０および画像復元部１３１を学習させる。
誤差算出部１３２は、第１特徴量抽出部１３０に入力された画像と画像復元部１３１によって復元された復元画像との誤差を算出する。
【００４０】
誤差逆伝搬部１３３は、第１特徴量抽出部１３０および画像復元部１３１の学習を行う。より詳細には、誤差逆伝搬部１３３は、誤差算出部１３２によって算出された画像の誤差が十分に小さくなるように第１特徴量抽出部１３０および画像復元部１３１を構成する畳み込み型自己符号化器のパラメータの値を調整する。誤差逆伝搬部１３３は、例えば、よく知られている誤差逆伝搬法を用いて学習を行う。
【００４１】
誤差算出部１３２および誤差逆伝搬部１３３は、第１特徴量抽出部１３０に入力された画像と画像復元部１３１によって復元された画像との誤差が十分に小さくなるまで反復して学習を行い、その誤差が十分に小さくなれば学習は完了とする。
【００４２】
判定部１４は、第２特徴量抽出部１４０、類似度算出部１４１、分析部１４２、および結果出力部１４３を備える。
判定部１４は、学習部１３によって学習された画像の特徴量を用いて、判定用の画像に付されたラベルを修正するための確認が必要か否かを判定する。
【００４３】
第２特徴量抽出部１４０は、画像取得部１０によって取得されたラベルの確認の要否を判定する対象となる画像を入力とし、画像の特徴量を抽出する。より詳細には、第２特徴量抽出部１４０は、学習部１３によって学習された畳み込み層の演算を行い、判定用の画像の特徴量を抽出する。すなわち、第２特徴量抽出部１４０は、学習済みの第１特徴量抽出部を利用する。
【００４４】
類似度算出部１４１は、第２特徴量抽出部１４０によって抽出された画像の特徴量から対象とする判定用の画像と他の判定用の画像それぞれとの相関性を示す指標値である類似度を算出する。
【００４５】
より詳細には、類似度算出部１４１は、第２特徴量抽出部１４０によって抽出された特徴量の次元が大きすぎる場合には、特徴量の次元圧縮を行ってから類似度を算出してもよい。これにより、第２特徴量抽出部１４０によって抽出された特徴量の次元が大きすぎる場合に、この後の処理で膨大な計算時間が必要となることを防止できる。具体的には、類似度算出部１４１は、主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）によって特徴量の次元圧縮を行う。なお、不要であればこの処理は省略してよい。
【００４６】
類似度算出部１４１によって算出される類似度は、２つの画像が類似しているかどうかを判断する際に使用される指標である。本実施の形態では、画像間の類似度が高いほど２つの画像が互いに類似しているものとして説明する。
【００４７】
類似度算出部１４１が算出する画像間の類似度としては、例えば、ユークリッド距離やマハラノビス距離といった、２つのデータ間の相関性を数値化できるものを用いる。類似度算出部１４１は、画像間の類似度の算出を、画像取得部１０によって取得された画像の全てについて予め行って、類似度を記憶部１２に記憶してもよい。また、後述する分析部１４２において類似度の値が必要となる都度、類似度を算出してもよい。なお、類似度算出部１４１は、上記類似度に相当する指標値を算出してもよい。
【００４８】
分析部１４２は、類似度算出部１４１によって算出された判定用の画像間の類似度と、判定用の画像に付されたラベルとに基づいて、対象となる判定用の画像に付されたラベルを修正するための確認の要否を判定する。
【００４９】
分析部１４２は、算出された類似度に関する所定の条件に基づいて、画像に付されたラベルの確認が不要である、画像に付されたラベルの確認が必要である、または必要に応じて画像に付されたラベルの確認をしてもよい旨の判定を行う。
【００５０】
分析部１４２は、対象とする判定用の画像について、画像取得部１０によって取得された、その対象とする判定用の画像以外の他の判定用の画像のうち、予め設定された基準値を満たした類似度を有する画像が存在するか否かを上記所定の条件として用いる。
【００５１】
より詳細には、予め設定された基準値を満たした類似度を有する他の判定用の画像が存在し、かつ、それらの他の判定用の画像には全て同じラベルが付されている場合、分析部１４２は、対象とする判定用の画像に付されたラベルは誤っている可能性は低いため、対象とする判定用の画像におけるラベルの確認は不要であると判定する。すなわち、互いに類似する画像に対して同一のラベルが付されている場合には、対象とする判定用の画像のラベルの再確認は不要とする。
【００５２】
また、予め設定された基準値を満たした類似度を有する他の判定用の画像が存在し、かつ、それらの他の判定用の画像の中に、対象とする判定用の画像のラベルとは異なるラベルが付された画像が存在する場合、分析部１４２は、対象とする判定用の画像に付されたラベルは誤っている可能性が高いため、その画像のラベルの確認が必要であると判定する。すなわち、互いに類似する画像に対して異なるラベルが付されている場合には、対象とする判定用の画像のラベルの再確認を必要とする。
【００５３】
また、予め設定された基準値を満たした類似度を有する他の判定用の画像が存在し、かつ、他の判定用の画像数が所定の枚数以下しか存在しない場合、分析部１４２は、対象とする判定用の画像に類似する画像が十分に存在しないため、ラベル付けの確認の要否の判定はできない状態であると分析する。この場合、分析部１４２は、対象とする判定用の画像について付されたラベルの再確認は強く推奨される状態ではないが、潜在的なラベル付けの誤りが含まれる恐れを否定できないため、必要に応じたラベルの確認をしてもよいとの判定を行う。なお、基準値を満たした類似度を有する他の判定用の画像が１枚も存在しない場合についても同様に判定の対象となる。
【００５４】
結果出力部１４３は、分析部１４２による判定結果を出力する。より具体的には、結果出力部１４３は、少なくとも分析部１４２によってラベルの確認が必要であると判定された画像に関する情報を、後述する表示装置１０７の所定の画面に表示する。結果出力部１４３は、必要に応じてラベルの確認をしてもよいと分析部１４２により判定された画像に関する情報ついても、表示装置１０７の所定の画面に表示してもよい。結果出力部１４３は、表示装置１０７の画面に判定結果を表示する他、記憶部１２の所定の領域においてファイルやデータベースとして記録してもよい。
【００５５】
［画像検査支援装置のハードウェア構成］
次に、上述した機能を有する画像検査支援装置１のハードウェア構成について図４を参照して説明する。
画像検査支援装置１は、バス１０１を介して接続されるＣＰＵ１０３と主記憶装置１０４とを有する演算装置１０２、通信制御装置１０５、外部記憶装置１０６、表示装置１０７、入力装置１０８等を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。
【００５６】
ＣＰＵ１０３と主記憶装置１０４とは、演算装置１０２を構成する。主記憶装置１０４には、ＣＰＵ１０３が各種制御や演算を行うためのプログラムが予め格納されている。なお、演算装置１０２は、ＣＰＵ１０３の他、必要に応じてＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いてもよい。
【００５７】
通信制御装置１０５は、画像検査支援装置１と各種外部電子機器との間を通信ネットワークＮＷを介して接続するための制御装置である。通信制御装置１０５は、通信ネットワークＮＷを介して外部に設置された画像検査装置やサーバなどからラベル付けされた画像を受信してもよい。また、通信制御装置１０５は、画像検査支援装置１によって得られた判定用の画像に付されたラベルの確認についての要否を示す判定結果を、通信ネットワークＮＷを介して外部の機器などに送信してもよい。
【００５８】
外部記憶装置１０６は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。外部記憶装置１０６には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。外部記憶装置１０６は、画像データ記憶部１０６ａ、設定情報記憶部１０６ｂ、学習情報記憶部１０６ｃ、判定情報記憶部１０６ｄ、プログラム格納部１０６ｅ、図示しないその他の格納装置で、例えば、この外部記憶装置１０６内に格納されているプログラムやデータなどをバックアップするための格納装置などを有することができる。
【００５９】
画像データ記憶部１０６ａは、図３で説明した画像取得部１０によって外部の画像検査装置や記憶装置などから取得された画像を記憶する。画像データ記憶部１０６ａは、画像とその画像に付与されたラベルと画像のタイトルを含む画像データを記憶する。
【００６０】
設定情報記憶部１０６ｂは、図３で説明した学習部１３および判定部１４が用いるニューラルネットワークに関する設定情報や、判定部１４の分析部１４２が用いる基準や所定の条件など画像検査支援装置１における各種設定情報を記憶する。
【００６１】
学習情報記憶部１０６ｃは、図３で説明した学習部１３によって抽出された特徴量などの情報を記憶する。
判定情報記憶部１０６ｄは、図３で説明した判定部１４による判定結果などを記憶する。
なお、画像データ記憶部１０６ａ、設定情報記憶部１０６ｂ、学習情報記憶部１０６ｃ、および判定情報記憶部１０６ｄは、図３で説明した記憶部１２に対応する。
【００６２】
プログラム格納部１０６ｅには、本実施の形態における画像の取得処理、学習処理、類似度算出処理、判定処理など画像検査支援装置１が画像検査の支援に必要な演算処理を実行するための各種プログラムが格納されている。
【００６３】
表示装置１０７は、例えば、図３で説明した結果出力部１４３の表示画面を構成する。表示装置１０７は液晶ディスプレイなどによって実現される。
【００６４】
入力装置１０８は、キーボード、マウス、タッチパネルなどにより構成される。入力装置１０８は、作業者のキー入力、アイコンなどのクリック、タッチパネルのタッチ位置に対応した機能や操作入力を受け付ける。
【００６５】
［画像検査支援装置の動作］
上述した構成を有する画像検査支援装置１の動作について図５から図７のフローチャートを参照して説明する。
【００６６】
まず、画像検査支援装置１の動作の全体について図５を用いて説明する。
画像取得部１０は、外部の画像検査装置や記憶装置などから検査対象の画像を複数取得する（ステップＳ１）。次に、前処理部１１は、画像取得部１０によって取得された画像のフィルタリングや正規化などを行い、必要に応じた画像の前処理を行う（ステップＳ２）。前処理がなされた画像は記憶部１２に記憶される。
【００６７】
なお、画像取得部１０が取得する学習用の画像は、ラベル付けを確認する対象となる全ての判定用の画像を含む。以下、学習用および判定用には予め付与されたラベル情報が含まれており、学習用の画像および判定用の画像を単に「画像」と称することがある。
【００６８】
次に、画像検査支援装置１の演算装置１０２は、学習部１３によって既に画像の特徴量を抽出する特徴量抽出器が学習済みである場合には（ステップＳ３：ＹＥＳ）、判定部１４による判定処理に移行する（ステップＳ５）。一方、特徴量抽出器を未だ学習していない場合には（ステップＳ３：ＮＯ）、学習部１３による学習処理に移行する（ステップＳ４）。
【００６９】
学習部１３によって学習処理が実行されると（ステップＳ４）、判定部１４により判定用の画像に付されたラベルを修正するための確認が必要であるか否かを判定する判定処理が実行され（ステップＳ５）、処理は終了する。
【００７０】
［学習処理］
次に、学習部１３による学習処理（ステップＳ４）について図６を参照してより詳細に説明する。
まず、第１特徴量抽出部１３０は、画像取得部１０によって取得された学習用の画像を入力として、画像の特徴量を抽出する（ステップＳ４０）。次に、画像復元部１３１は、ステップＳ４０で抽出された画像の特徴量を入力として、画像を復元する（ステップＳ４１）。
【００７１】
その後、誤差算出部１３２は、第１特徴量抽出部１３０に入力された画像と、画像復元部１３１から出力された復元画像との誤差を算出する（ステップＳ４２）。次に、誤差逆伝搬部１３３は、誤差算出部１３２によって算出された入力画像と復元画像との誤差が減少するように、よく知られている誤差逆伝搬法を用いて第１特徴量抽出部１３０および画像復元部１３１を構成する畳み込み層および逆畳み込み層の学習を行う（ステップＳ４４）。
【００７２】
誤差逆伝搬部１３３によって畳み込み層および逆畳み込み層が学習されてパラメータの値が更新されると、再び、ステップＳ４０からステップＳ４４までの処理が繰り返えし実行される。その後、誤差算出部１３２は、再度算出された、入力画像と復元画像との誤差が十分に小さくなると（ステップＳ４５：ＹＥＳ）、学習は完了し、判定部１４による判定処理（ステップＳ５）に移行する。
【００７３】
なお、誤差逆伝搬部１３３によって入力画像と復元画像との誤差が小さくなるように更新され最終的に決定された畳み込み層および逆畳み込み層を含むニューラルネットワークのパラメータの値は、特徴量を示す情報として記憶部１２に記憶される。
【００７４】
［判定処理］
次に、判定部１４によって実行される判定処理（ステップＳ５）について図７を参照してより詳細に説明する。
まず、第２特徴量抽出部１４０は、ステップＳ１で画像取得部１０が取得した判定用の画像を入力とし、学習部１３による学習で得られた畳み込み層の演算を行い、判定用の画像の特徴量を抽出する（ステップＳ５０）。
【００７５】
次に、類似度算出部１４１は、類似度を算出する前に、必要に応じてステップＳ５０で抽出された判定用の画像の特徴量についての次元圧縮を行う（ステップＳ５１）。類似度算出部１４１は、ＰＣＡにより特徴量の次元圧縮を行えばよい。
【００７６】
次に、類似度算出部１４１は、ステップＳ５１で次元が圧縮された特徴量に基づいて、判定用の画像間の類似度を算出する（ステップＳ５２）。類似度算出部１４１は、例えば、ユークリッド距離を用いて判定用の画像同士の相関関係を示す指標である類似度を判定用の画像ごとに算出する。より詳細には、類似度算出部１４１は、ステップＳ５０で抽出され、ステップＳ５１で次元圧縮された判定用の画像の特徴量の類似度を算出する。
【００７７】
次に、分析部１４２は、ステップＳ５２で算出された、判定用の画像の類似度に基づいて、対象とする判定用の画像に付されたラベルの確認の要否を判定する（ステップＳ５３）。より詳細には、分析部１４２は、ステップＳ５２で算出された、判定用の画像の類似度に関する所定の条件に基づいて、対象とする判定用の画像に付されたラベルの確認が不要である、画像に付されたラベルの確認が必要である、または必要に応じて画像に付されたラベルの確認をしてもよい旨の判定を行う。
【００７８】
具体的には、分析部１４２は、判定に用いる所定の条件を記憶部１２から読み出す。所定の条件とは、対象とする判定用の画像について算出された類似度に対して予め設定された基準値を満たす類似度を有する他の判定用の画像が存在するか、あるいは一定の枚数以下しか存在しないことである。
【００７９】
そして、ステップＳ５２で算出された、対象とする判定用の画像の類似度に対して予め設定された基準値を満たした類似度を有する他の判定用の画像が記憶部１２に存在し、かつ、それらの他の判定用の画像に全て同じラベルが付されている場合、分析部１４２は、対象とする判定用の画像に付されたラベルは誤っている可能性が低いと分析する。この場合、分析部１４２は、対象とする判定用の画像のラベルの確認は不要であると判定する。
【００８０】
また、ステップＳ５２で算出された、対象とする判定用の画像の類似度に対して予め設定された基準値を満たした類似度を有する他の判定用の画像が記憶部１２に存在し、かつ、それらの他の判定用の画像の中に異なるラベルが付された画像が存在する場合、分析部１４２は、対象とする判定用の画像に付されたラベルは誤っている可能性が高いと分析する。この場合、分析部１４２は、対象とする判定用の画像のラベルの確認が必要であると判定する。
【００８１】
また、ステップＳ５２で算出された、対象とする判定用の画像の類似度に対して予め設定された基準値を満たした類似度を有する他の判定用の画像が記憶部１２に存在するが、それらの他の判定用の画像数が所定の枚数以下しか存在しない場合、分析部１４２は、対象とする判定用の画像に類似する画像が十分に存在しないため、ラベル付けの確認の要否の判定はできない状態にあると分析する。この場合、分析部１４２は、必要に応じたラベル付けの確認をしてもよいとの判定を行う。
【００８２】
分析部１４２による判定結果は、記憶部１２に記憶される。
その後、結果出力部１４３は、分析部１４２による判定結果を出力する（ステップＳ５４）。結果出力部１４３は、例えば、表示装置１０７の所定の画面に、ラベルの確認が必要であると判定された画像に関する情報を表示してもよい。
【００８３】
以上説明したように、第１の実施の形態によれば、画像検査支援装置１は、ラベル付けされた画像の特徴量を画像のみに基づいて学習し、学習により構築されたニューラルネットワークを用いて判定用の画像の特徴量を抽出する。さらに、画像検査支援装置１は、抽出された判定用の画像の特徴量に基づいて、画像間の類似度を算出し、判定用の画像の類似度に基づいて、対象とする判定用の画像に付されたラベルの確認の要否を判定し、判定結果を出力する。
【００８４】
そのため、ラベル付けが誤っている画像についてのラベルの確認作業が省力化され、その確認に必要な工数と労力を削減することができる。また、画像検査支援装置１は、ラベル付けされている画像を入力画像として用いることで、ラベル付けの確認の要否を示す判定結果の出力まで自動化することが可能となる。したがって、作業者におけるラベル付けの確認作業に要する労力を大幅に削減できる。
【００８５】
また、本実施の形態に係る画像検査支援装置１は、ユークリッド距離をはじめとしたアルゴリズムを用いて画像間の類似度を算出する。このような類似度の計算はアルゴリズムとしても単純なものであり、判定部１４の実装が容易となる。
【００８６】
また、本実施の形態に係る画像検査支援装置１は、画像間の類似度に基づいて、対象とする判定用の画像に付されたラベルの確認の要否を判定するので、潜在的なラベル付けの誤りも含めて情報を提示することが可能となる。
【００８７】
また、本実施の形態に係る画像検査支援装置１は、学習部１３によって入力画像の学習を少なくとも１回は行うことが必要であるが、いったん学習用の画像により特徴量抽出器を学習すれば、学習済みの特徴量抽出器による判定用の画像の特徴量抽出と、類似度の計算のみを実行すればよい。そのため、作業者が全て目視により行うラベルの確認作業よりも高速な確認作業が実現される。
【００８８】
なお、説明した実施の形態では、分析部１４２は、対象とする判定用の画像に付されたラベルの確認が不要である旨の判定、対象とする判定用の画像に付されたラベルの確認が必要である旨の判定、または、必要に応じてラベルを確認してもよい旨の判定を行う場合について説明した。しかし、分析部１４２は、対象とする判定用の画像に付されたラベルの確認が必要である場合だけを検出する構成を採用してもよい。
【００８９】
この場合、分析部１４２は、画像取得部１０によって取得された画像のうち、例えば、「不良品」とのラベル付けがされた画像だけを記憶部１２から読み出して、互いに類似する画像の中に「良品」とラベル付けされた他の画像の存在を検出して、ラベルの確認が必要な画像として判定すればよい。この構成では、分析部１４２は、画像取得部１０によって取得された画像の全てに対して分析や判定を行う必要がなく、不良品の割合が低いような場合に計算量がより少なくなる利点がある。
【００９０】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、以下の説明では、上述した第１の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
【００９１】
第１の実施の形態では、分析部１４２が記憶部１２に記憶されている所定の条件に基づいて、対象とする判定用の画像に付されたラベルの確認の要否を判定する場合について説明した。これに対し、第２の実施の形態では、分析部１４２Ａはしきい値処理により対象とする判定用の画像に付されたラベルの確認の要否を判定する。第２の実施の形態に係る画像検査支援装置１Ａにおいて、分析部１４２Ａ以外の構成は、第１の実施の形態に係る画像検査支援装置１の構成と同様である。以下、第１の実施の形態と異なる構成を中心に説明する。
【００９２】
［分析部の機能ブロック］
分析部１４２Ａは、類似度保存部４２０、しきい値設定部４２１、およびラベル付け判定部４２２を備える。
【００９３】
類似度保存部４２０は、類似度算出部１４１によって算出された各画像の特徴量に基づく画像同士の類似度について、類似度の高い画像から順に、予め設定された任意の画像数だけ選択し、選択された画像のラベルと類似度とを関連付けて保存する。類似度保存部４２０が選択する画像の数は最小で１枚、最大でサンプル数−１だけ選択することが可能だが、３−５枚程度の画像を選択することで十分実用できる。
【００９４】
しきい値設定部４２１は、２つの画像が互いに類似しているとする特徴量のしきい値を設定する。しきい値設定部４２１は、類似度保存部４２０によって保存された類似度の分布やその統計量などに基づいて、画像の類似度がより低いと判断する値をしきい値として設定してもよい。
【００９５】
しきい値設定部４２１は、設計に応じて適したしきい値を設定すればよく、例えば、類似度の高い画像からソートして、その順位が全画像データの１％に相当する類似度をしきい値に設定してもよい。その他、しきい値設定部４２１は、類似度保存部４２０に保存されている類似度に関する情報に基づいて生成される分布グラフや画像の表示に基づいて、作業者が設定したしきい値を入力装置１０８を介して受け付けてもよい。
【００９６】
ラベル付け判定部４２２は、類似度保存部４２０に保存されている類似度と、しきい値設定部４２１によって設定されたしきい値と、判定用の画像に付されたラベルとに基づいて、対象とする判定用の画像に付されたラベルの確認の要否を判定する。
【００９７】
より詳細には、ラベル付け判定部４２２は、対象とする判定用の画像と類似度が高いとされる画像のラベルが、対象とする判定用の画像に付されたラベルと異なる場合には、対象とする判定用の画像のラベル付けの誤りが疑われると分析し、対象とする判定用の画像のラベルの確認が必要であると判定する。
【００９８】
また、ラベル付け判定部４２２は、類似度算出部１４１によって算出された類似度がしきい値設定部４２１により設定されたしきい値を下回っていれば、対象とする判定用の画像はどの他の判定用の画像とも類似度が低いため、対象とする判定用の画像におけるラベル付けには潜在的な誤りがあると分析する。この場合、ラベル付け判定部４２２は、対象とする判定用の画像については、必要に応じてラベルの確認をしてもよい旨の判定をする。なお、ラベル付け判定部４２２は、設計に応じて適切な手法を加え、また不要な手法を削除した構成を用いればよい。
【００９９】
また、ラベル付け判定部４２２は、ラベルの確認が必要であると判定した画像のうち、優先的にラベルの確認をすべき画像を選定して出力してもよい。より詳細に説明すると、もしも、対象とする判定用の画像の特徴量と類似度が高いとされる特徴量を有する少なくとも２枚以上の判定用の画像のラベルが、その対象とする判定用の画像のラベルとは異なる場合には、対象とする判定用の画像のラベルの方が誤っている可能性が高い。
【０１００】
なぜならば、個々のラベル付けを間違える確率が同じであれば、複数ある他の画像のラベルを全て間違えるよりも、対象とする判定用の画像１枚だけが誤っている可能性の方がより高いと考えられるからである。よって、上記条件に該当する画像を選定して優先的に出力することで、より効率的なラベルの確認や修正が可能となる。
【０１０１】
また、ラベル付け判定部４２２は、ラベルの確認が必要である画像として優先的に出力した画像について、ラベルが修正された後に、再び判定を行うと、誤っていたラベルは修正されているため、より効率的なラベルの確認や修正が実施されることになる。
【０１０２】
［判定処理］
次に、判定部１４Ａによって実行される判定処理について図９のフローチャートを参照して説明する。なお、画像検査支援装置１Ａの全体のフローおよび学習処理は、第１の実施の形態と同様である。そのため、以下においては、判定部１４Ａによって実行される判定処理について詳細に説明する。
【０１０３】
まず、第２特徴量抽出部１４０は、学習部１３が学習用の画像を入力として学習した画像の特徴量、すなわち学習済みのニューラルネットワークを用いて、判定用の画像の特徴量を抽出する（ステップＳ５０Ａ）。
【０１０４】
次に、類似度算出部１４１は、類似度を算出する前に、必要に応じてステップＳ５０Ａで抽出された判定用の画像の特徴量についての次元圧縮を行う（ステップＳ５１Ａ）。類似度算出部１４１は、ＰＣＡにより特徴量の次元圧縮を行えばよい。
【０１０５】
次に、類似度算出部１４１は、ステップＳ５１Ａで次元が圧縮された判定対象の画像の特徴量に基づいて画像間の類似度を算出する（ステップＳ５２Ａ）。次に、類似度保存部４２０は、ステップＳ５２Ａで算出された画像間の類似度のうち、類似度が高い画像から順に、予め定められた任意の画像数に対応する特徴量を選択し、その特徴量の元データである画像に付されたラベルと類似度とを関連付けて保存する（ステップＳ５３Ａ）。より詳細には、類似度保存部４２０は、画像の識別情報と、その画像に付されたラベルと、類似度とを互いに関連付けて保存する。
【０１０６】
次に、しきい値設定部４２１は、類似度保存部４２０によって保存された判定用の画像の類似度に対するしきい値を設定する（ステップＳ５４Ａ）。その後、ラベル付け判定部４２２は、類似度保存部４２０によって保存されている判定用の画像各々の類似度についてしきい値処理を行い、対象とする判定用の画像に付されたラベルの確認の要否を判定する（ステップＳ５５Ａ）。
【０１０７】
より詳細には、ラベル付け判定部４２２は、潜在的なラベル付けの誤りを含めたラベル付けの誤りを検出するため、対象とする判定用の画像について算出された類似度の値がしきい値より小さい場合には、その対象とする判定用の画像に付されたラベルの確認が必要であると判定する。これにより、ラベル付けの潜在的な誤りを検出することができる。
【０１０８】
また、対象とする判定用の画像について算出された類似度の値がしきい値以上である場合において、対象とする判定用の画像のラベルと、他の判定用の画像に付されたラベルとが一致している場合を考える。この場合、ラベル付け判定部４２２は、対象とする判定用の画像に付されたラベルの確認は不要であると判定する。
【０１０９】
一方、ラベル付け判定部４２２は、類似度の値がしきい値以上である場合において、対象とする判定用の画像のラベルと、他の判定用の画像のラベルとが互いに異なっている場合には、対象とする判定用の画像に付されたラベルの確認が必要であると判定する。
【０１１０】
これにより、類似度の値がしきい値以上である、すなわち潜在的な誤り以外のラベル付けの誤りを検出することができる。ラベル付け判定部４２２による判定結果は記憶部１２に記憶される。
【０１１１】
その後、結果出力部１４３は、ラベル付け判定部４２２による判定結果を出力する（ステップＳ５６Ａ）。
【０１１２】
以上説明したように、第２の実施の形態によれば、画像検査支援装置１Ａは、判定用の画像間の類似度を算出し、算出された類似度に対してしきい値を設定する。そして、判定用の画像の特徴量における類似度と、しきい値と、判定用の画像に付されたラベルとに基づいて、対象とする判定用の画像に付されたラベルの確認の要否を判定する。そのため、画像検査支援装置１Ａは、ラベル付けを誤った画像の確認作業を省力化し、その確認に必要な工数と労力を削減することができる。
【０１１３】
なお、説明した実施の形態において、ラベル付け判定部４２２は、ラベル付けの確認が必要である旨の判定を行った画像のうち、優先的にラベルの確認をすべき画像を選定する場合について説明した。この場合、例えば入力装置１０８を介して作業者から受け付けた、ラベルの修正指示に基づいて、画像検査支援装置１の演算装置１０２は対象とする判定用の画像のラベルを修正し、記憶部１２に記憶されている画像データを更新する。その後、再び図９に示す判定処理を繰り返し実行してもよい。これにより、より効率的なラベルの確認や修正が実現される。
【０１１４】
［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。なお、以下の説明では、上述した第１の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
【０１１５】
第１および第２の実施の形態では、対象とする判定用の画像に付されたラベルの確認の要否を示す判定部１４、１４Ａによる判定結果は、結果出力部１４３から出力される場合について説明した。これに対し、第３の実施の形態では、ユーザインターフェース（以下「ＵＩ」という。）で構成される結果出力部１４３Ｂを備え、結果出力部１４３Ｂは判定結果を表示し、作業者による修正指示を受け付ける。
【０１１６】
第３の実施の形態に係る画像検査支援装置１Ｂの結果出力部１４３Ｂ以外の構成は、第１および第２の実施の形態に係る画像検査支援装置１、１Ａと同様である。以下において、第１および第２の実施の形態と異なる構成を中心に説明する。
【０１１７】
［結果出力部の機能ブロック］
図１０に示すように、結果出力部１４３Ｂは、特徴量圧縮部４３０、特徴量可視化部４３１、結果詳細表示部４３２、選択画像表示部４３３、操作部４３４、およびデータ修正部４３５を備える。
【０１１８】
特徴量圧縮部４３０は、記憶部１２に記憶されている第２特徴量抽出部１４０によって抽出された判定用の画像の特徴量を１次元から３次元のデータに圧縮する。通常、画像の特徴量は高次元であり、表示装置１０７の画面上において、人が識別できる程度に特徴量の類似関係を表示することは難しい。そのため、特徴量圧縮部４３０は、画面上で表示可能で、かつ、人が識別可能な１次元から３次元のデータに特徴量を圧縮する。なお、第２特徴量抽出部１４０によって抽出された特徴量の次元が大きすぎる場合、特徴量圧縮に膨大な時間を要することがあるため、特徴量圧縮前にＰＣＡによる次元圧縮を行ってもよい。
【０１１９】
特徴量圧縮部４３０による特徴量の圧縮の手法はいくつか存在するが、より好適には多様体学習（ｔ−Ｄｉｓｔｒｉｂｕｔｅｄ  Ｓｔｏｃｈａｓｔｉｃ  Ｎｅｉｇｈｂｏｒ  Ｅｍｂｅｄｄｉｎｇ：ｔ−ＳＮＥ）を用いて圧縮する（非特許文献２参照）。特徴量圧縮部４３０によって圧縮された画像の特徴量は記憶部１２に記憶される。
【０１２０】
特徴量可視化部４３１は、特徴量圧縮部４３０によって１次元から３次元に圧縮された画像の特徴量の散布図を生成し、特徴量の可視化を行う。より具体的には、特徴量可視化部４３１は、圧縮された特徴量のデータに基づいて生成した散布図において、各プロットは分析部１４２Ａによる分析結果を反映させ、色や形などで区別可能なデータを作成する。
【０１２１】
また、特徴量可視化部４３１は、生成した画像の特徴量の散布図において、各プロットを対応する画像とリンクさせる。特徴量可視化部４３１は、散布図におけるプロットの選択操作に応じて、選択されたプロットに対応する画像およびその画像と類似度が高い画像を表示装置１０７の所定の画面領域に表示させる。これにより、作業者によるラベルの確認作業がより効率化される。
【０１２２】
結果詳細表示部４３２は、記憶部１２に記憶されている画像のタイトルとラベルとを含む画像データ、分析部１４２Ａによる判定結果、および類似度保存部４２０によって保存されている画像の類似度とその画像に付されているラベルの一覧表を作成して表示装置１０７の所定の画面領域に表示する。
【０１２３】
結果詳細表示部４３２は、分析部１４２Ａによる判定結果として、例えば、ラベル付けの確認の要否について段階的に数値化した情報を表示する。例えば、画像に付されたラベルの誤りが疑われ、確認が必要であると判定された画像については「２」、潜在的なラベル付けの誤りの可能性があり必要に応じた確認をしてもよいと判定された画像については「１」と表示する。また、結果詳細表示部４３２は、ラベル付けが正しく、確認は不要であると判定された画像については「０」と表示する。
【０１２４】
結果詳細表示部４３２は、上記のような分析結果を表す数値の降順で全ての画像に対する情報を表示装置１０７に表示させることで、作業者は修正すべき画像を容易に確認できるようになる。
【０１２５】
選択画像表示部４３３は、特徴量可視化部４３１で生成された画像の特徴量の散布図に含まれるプロットの選択操作を受け付け、選択されたプロットに応じた画像およびその画像と類似度が高い画像を表示装置１０７の所定の画面領域に表示させる。
【０１２６】
操作部４３４は、表示装置１０７の画面上に表示されるアイコンやテキストボックスなどによって構成される。操作部４３４は、しきい値設定部４２１によって設定されたしきい値の変更、類似度保存部４２０によって保存された画像数の変更、およびラベルの修正を、入力装置１０８を介して受け付ける。
【０１２７】
データ修正部４３５は、操作部４３４によって受け付けられた修正や変更操作に基づいて、情報を修正または変更して記憶部１２や類似度保存部４２０の情報を更新する。データ修正部４３５は、表示装置１０７の画面上に表示される修正ボタン、変更ボタンや終了ボタンで実現される。
【０１２８】
具体的には、操作部４３４から、しきい値やラベルの修正や変更を指示する操作信号の入力があると、データ修正部４３５は記憶部１２に記憶されているしきい値やラベル情報を更新する。また、類似度保存部４２０に保存されているデータ数の変更があると、データ修正部４３５は類似度保存部４２０の情報を更新する。
【０１２９】
［判定処理］
次に、上述した構成を有する画像検査支援装置１の動作について説明する。なお、画像検査支援装置１の全体のフローおよび学習処理については、第１および第２の実施の形態と同様であるため説明を省略する。以下においては、判定部１４Ｂによる判定処理について詳細に説明する。
【０１３０】
図１１は、本実施の形態に係る判定処理を説明するフローチャートである。図１２は、表示処理を説明するフローチャートである。また、図１３は、結果出力部１４３Ｂによる表示例を説明する図である。
【０１３１】
まず、第２特徴量抽出部１４０は、学習部１３によって得られた学習済みのニューラルネットワークを用いて、判定用の画像の特徴量を抽出する（ステップＳ５０Ｂ）。
【０１３２】
次に、類似度算出部１４１は、類似度を算出する前に、必要に応じてステップＳ５０Ｂで抽出された判定用の画像の特徴量について次元圧縮を行う（ステップＳ５１Ｂ）。類似度算出部１４１は、ＰＣＡにより特徴量の次元圧縮を行えばよい。
【０１３３】
次に、類似度算出部１４１は、ステップＳ５１Ｂで次元が圧縮された判定用の画像の特徴量の類似度を算出する（ステップＳ５２Ｂ）。次に、類似度保存部４２０は、ステップＳ５２Ｂで算出された類似度のうち、類似度が高い画像から順に、予め定められた任意の画像数に対応する特徴量を選択し、その特徴量の元データである判定用の画像に付されたラベルと類似度とを関連付けて保存する（ステップＳ５３Ｂ）。
【０１３４】
次に、しきい値設定部４２１は、類似度保存部４２０によって保存された判定用の画像の類似度に対するしきい値を設定する（ステップＳ５４Ｂ）。その後、ラベル付け判定部４２２は、類似度保存部４２０によって保存されている画像の類似度に基づいて、判定用の画像についてのしきい値処理を行い、対象とする判定用の画像に付されたラベルの確認の要否を判定する（ステップＳ５５Ｂ）。
【０１３５】
次に、結果出力部１４３Ｂは、ラベル付け判定部４２２による判定結果に関する情報を表示装置１０７の画面に表示する（ステップＳ５６Ｂ）
【０１３６】
ここで、結果出力部１４３Ｂによる表示処理について図１２を参照してより詳細に説明する。
まず、特徴量圧縮部４３０は、必要に応じて記憶部１２に記憶されている画像の特徴量をＰＣＡにより次元圧縮する（ステップＳ５６０）。
【０１３７】
次に、特徴量圧縮部４３０は、ステップＳ５６０で次元圧縮された画像の特徴量を１次元から３次元のデータに圧縮する（ステップＳ５６１）。具体的には、特徴量圧縮部４３０は、ｔ−ＳＮＥを用いて特徴量を圧縮する（非特許文献２参照）。次に、特徴量可視化部４３１は、ステップＳ５６１で圧縮された特徴量のデータの散布図を生成し、表示装置１０７の所定の画面領域に表示させる（ステップＳ５６２）。
【０１３８】
具体的には、特徴量可視化部４３１は、図１３に示すように、表示装置１０７の画面領域ａ１に、生成した散布図を表示する。また、特徴量可視化部４３１は、散布図において、各プロットには分析部１４２Ａによる判定の結果を反映させて表示する。
【０１３９】
例えば、特徴量可視化部４３１は、スタイルシート（ＣＳＳ）において、分析部１４２Ａによりラベルの確認が必要であると判定された画像を示すプロットについては「赤色」の表示色の指定をする。また、特徴量可視化部４３１は、潜在的なラベル付けの誤りの可能性があり、必要に応じたラベルの確認を勧める判定がされた画像を示すプロットについては「オレンジ色」の表示色の指定をする。また、特徴量可視化部４３１は、ラベル付けが正しく、確認が不要であると判定された画像を示すプロットについては「緑色」の表示色の指定をする。
【０１４０】
次に、結果詳細表示部４３２は、類似度保存部４２０により保存された画像のタイトル、ラベル、類似度、およびラベル付け判定部４２２による判定結果を含む情報の一覧表を作成して所定の画面領域に表示する（ステップＳ５６３）。具体的には、結果詳細表示部４３２は、図１３に示すように、画面領域ａ２に一覧表を表示する。
【０１４１】
次に、選択画像表示部４３３は、ステップＳ５６２で表示された散布図において、外部からの所定のプロットの選択を受け付けると、選択された画像を表示装置１０７の所定の画面領域に表示させる（ステップＳ５６４）。
【０１４２】
具体的には、選択画像表示部４３３は、図１３に示すように、作業者が入力装置１０８を介して選択したプロットに対応する画像を、画面領域ａ３の上段に表示する。選択画像表示部４３３は、画面領域ａ３の上段において、画像のタイトルとそのサムネイルを表示する。また、選択画像表示部４３３は、画面領域ａ３の下段に、選択された画像と類似度が高いとされる画像のタイトルとサムネイルを表示する。
【０１４３】
図１１の判定処理に戻り、操作部４３４は、外部から表示装置１０７に表示された、対象とする判定用の画像（選択画像）の判定結果に関する情報に対する操作を受け付ける（ステップＳ５７Ｂ）。操作部４３４は、例えば、作業者が入力装置１０８から入力した操作指示を受け付ける。
【０１４４】
次に、操作部４３４が受け付けた操作指示が、しきい値設定部４２１により設定された画像の類似度に対するしきい値を変更する指示、または類似度保存部４２０により保存されたデータの数の変更指示である場合には（ステップＳ５８Ｂ：ＹＥＳ）、データ修正部４３５は、それらの指示に応じてしきい値またはデータ数を変更する（ステップＳ５９Ｂ）。
【０１４５】
より詳細には、データ修正部４３５は、記憶部１２に記憶されている画像の類似度に対するしきい値を変更して記憶する。また、データ修正部４３５は、類似度保存部４２０によって保存されている画像の枚数を変更指示に応じた枚数とする指示を類似度保存部４２０に送る。データ修正部４３５によるデータの修正または修正指示に基づいて、ステップＳ５３ＢからステップＳ５７Ｂが繰り返して実行される。
【０１４６】
一方、操作部４３４が受け付けた操作指示が、選択された画像に付されたラベルを修正する操作指示である場合（ステップＳ５８Ｂ：ＮＯ、ステップＳ６０Ｂ：ＹＥＳ）、データ修正部４３５は、選択された画像のラベルを修正して記憶部１２に記憶する（ステップＳ６１Ｂ）。データ修正部４３５によるラベルの修正の後、結果出力部１４３Ｂによる表示処理が実行される。
【０１４７】
ここで、図１３に示す表示装置１０７における表示例を参照して、上述したステップＳ５７ＢからステップＳ６１Ｂまでの処理についての画像検査支援装置１Ｂの使用例を説明する。
図１３に示すように、操作部４３４は、しきい値変更入力部Ｉ１、保存数変更入力部Ｉ２、およびラベル修正入力部Ｉ３で構成される。操作部４３４は、画面領域ａ４に設けられたテキストボックスにより実現される。
【０１４８】
データ修正部４３５は、変更ボタンＩ４、修正ボタンＩ５、および終了ボタンＩ６で構成される。データ修正部４３５は、画面領域ａ４に設けられたボタン実現される。
【０１４９】
作業者は、表示装置１０７の画面領域ａ３に表示されている選択画像および選択画像と類似度が高い画像と、画面領域ａ２に表示されている分析の結果とを画面上で確認する。そして、作業者は、画像の類似度に対するしきい値、または類似度保存部４２０で保存する画像数の変更を必要に応じて行う。この場合に、作業者は、入力装置１０８を介して、画面領域ａ４に表示されているしきい値変更入力部Ｉ１、または保存数変更入力部Ｉ２に、変更するしきい値、および新たな画像数を入力する。
【０１５０】
その後、作業者は入力装置１０８を介して、画面領域ａ４に表示されている変更ボタンＩ４をクリックすることで、変更を確定することができる。
【０１５１】
また、画面領域ａ３に表示されている選択画像のラベルを修正する場合には、作業者は、入力装置１０８を介して画面領域ａ４に表示されているラベル修正入力部Ｉ３に修正するラベル情報を入力する。その後、作業者は入力装置１０８を介して修正ボタンＩ５をクリックすることで、ラベルの修正を確定させることができる。
【０１５２】
また、ラベルの修正を確定させた後、終了ボタンＩ６がクリックされることで、ラベルの修正作業が終了する。
【０１５３】
以上説明したように、第３の実施の形態に係る画像検査支援装置１Ｂによれば、結果出力部１４３Ｂを備えるので、作業者は、ＵＩを通してラベルの確認の要否を示す判定結果を確認し、ラベルの修正を行うことができる。このようなＵＩを用いることで、膨大な画像データが含まれるディレクトリやデータベースなどから修正すべき画像データを探してラベルの修正作業を行う必要がなくなり、作業者におけるラベルの確認および修正作業が容易となる。
【０１５４】
また、画像検査支援装置１Ｂは、操作部４３４を備え、画像に付されたラベルの確認の要否判定に用いる条件を必要に応じて変更することができるので、容易に試行錯誤ができる。その結果として、ラベル付けを誤った画像の確認を省力化し、その確認に必要な工数と労力を削減することができる。
【０１５５】
以上、本発明の画像検査支援装置および画像検査支援方法における実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。
【０１５６】
例えば、説明した実施の形態では、学習部１３と判定部１４とは同一の計算機に実装されている場合について説明したが、学習部１３と判定部１４とはそれぞれ別々の計算機に実装されていてもよい。
【符号の説明】
【０１５７】
１、１Ａ、１Ｂ…画像検査支援装置、１０…画像取得部、１１…前処理部、１２…記憶部、１３…学習部、１４…判定部、１３０…第１特徴量抽出部、１３１…画像復元部、１３２…誤差算出部、１３３…誤差逆伝搬部、１４０…第２特徴量抽出部、１４１…類似度算出部、１４２…分析部、１４３…結果出力部、１０１…バス、１０２…演算装置、１０３…ＣＰＵ、１０４…主記憶装置、１０５…通信制御装置、１０６…外部記憶装置、１０７…表示装置、１０８…入力装置、１０６ａ…画像データ記憶部、１０６ｂ…設定情報記憶部、１０６ｃ…学習情報記憶部、１０６ｄ…判定情報記憶部、１０６ｅ…プログラム格納部。
【図１】
2019215698.tif 000003
【図２】
2019215698.tif 000004
【図３】
2019215698.tif 000005
【図４】
2019215698.tif 000006
【図５】
2019215698.tif 000007
【図６】
2019215698.tif 000008
【図７】
2019215698.tif 000009
【図８】
2019215698.tif 000010
【図９】
2019215698.tif 000011
【図１０】
2019215698.tif 000012
【図１１】
2019215698.tif 000013
【図１２】
2019215698.tif 000014
【図１３】
2019215698.tif 000015