(57)【要約】【課題】学習画像に判別ラベルを付与する作業負担を軽減することができる判別ラベル付与支援装置および判別ラベル付与支援方法を提供することを目的とする。【解決手段】  判別ラベル付与支援装置１は、画像取得部１０によって取得された複数の画像の全てに対して無作為な指標による分類を複数回行う無作為分類部１１と、その複数の分類結果から各画像の正常度を算出する正常度算出部１２と、画像同士の類似度に基づいて、記憶部１５において階層的に構成された複数のフォルダを生成して複数の画像を保存するフォルダ生成部１３と、各フォルダに含まれる画像の正常度から、判定対象のフォルダに含まれる画像が全て正常または異常であるかを判定し、判定結果に応じた判別ラベルを判定対象のフォルダに含まれる全ての画像に一括して付与する自動判定部１４とを備える。【選択図】  図１
2020003846.tif 000002
【特許請求の範囲】
【請求項１】
画像検査で用いられる画像に対する判別ラベルの付与を支援する判別ラベル付与支援装置であって、
複数の画像を取得する画像取得部と、
前記複数の画像に対して無作為に選択された複数の指標のそれぞれに基づいて前記複数の画像を分類して複数の分類結果を得る無作為分類部と、
前記複数の分類結果に基づいて、画像の正常らしさを表す正常度を前記複数の画像各々について算出する正常度算出部と、
前記複数の画像同士の類似度に基づいて、記憶装置に階層的に構成された複数のフォルダを生成して前記複数の画像を保存するフォルダ生成部と、
前記複数のフォルダのうちの一のフォルダを判定対象フォルダとして、前記複数の画像各々について算出された前記正常度に基づいて、前記判定対象フォルダに含まれる画像が全て正常または異常であるかを判定し、前記判定対象フォルダに含まれる画像が全て正常である、または全て異常であると判定した場合には、判定結果に応じた判別ラベルを前記判定対象フォルダに含まれる全ての画像に一括して付与する自動判定部と
を備えることを特徴とする判別ラベル付与支援装置。
【請求項２】
請求項１に記載の判別ラベル付与支援装置において、
前記無作為分類部は、前記複数の画像を構成する画素の輝度情報またはその輝度情報から求められる前記複数の画像の特徴量を無作為に選択し、選択した前記輝度情報または前記特徴量の最大値と最小値との範囲からしきい値を無作為に選択し、前記輝度情報または前記特徴量と前記しきい値とを比較して前記複数の画像を再帰的に分類し、前記分類結果として、前記複数の画像のそれぞれをノードとする階層的な構成の二分木を生成することを特徴とする判別ラベル付与支援装置。
【請求項３】
請求項２に記載の判別ラベル付与支援装置において、
前記正常度算出部は、前記無作為分類部によって生成された前記二分木において前記複数の画像各々が位置する階層数を用いて前記正常度を算出することを特徴とする判別ラベル付与支援装置。
【請求項４】
請求項１から３のいずれか１項に記載の判別ラベル付与支援装置において、
前記フォルダ生成部は、階層的クラスター分析に基づいて前記フォルダを生成することを特徴とする判別ラベル付与支援装置。
【請求項５】
請求項１から４のいずれか１項に記載の判別ラベル付与支援装置において、
前記自動判定部による判定結果を表示装置に表示して、外部からの指示に基づいて前記判定結果を確定させる判定確定部をさらに備え、
前記判定確定部は、
前記判定結果を確定させる処理対象フォルダを前記複数のフォルダから選択するフォルダ選択部と、
前記自動判定部による前記処理対象フォルダの前記判定結果および前記処理対象フォルダに含まれる画像に関する情報を前記表示装置に表示させる判定表示部と、
前記表示装置に表示された前記処理対象フォルダの前記判定結果に対する指示を外部から受信する指示受信部と、
受信された前記指示に応じて前記処理対象フォルダの前記判定結果を更新し、その判定結果を確定させる判定更新部と
を備えることを特徴とする判別ラベル付与支援装置。
【請求項６】
画像検査で用いられる画像に対する判別ラベルの付与を支援する判別ラベル付与支援方法であって、
複数の画像を取得する画像取得ステップと、
前記複数の画像に対して無作為に選択された複数の指標のそれぞれに基づいて前記複数の画像を分類して複数の分類結果を得る無作為分類ステップと、
前記複数の分類結果に基づいて、画像の正常らしさを表す正常度を前記複数の画像各々について算出する正常度算出ステップと、
前記複数の画像同士の類似度に基づいて、記憶装置に階層的に構成された複数のフォルダを生成して前記複数の画像を保存するフォルダ生成ステップと、
前記複数のフォルダのうちの一のフォルダを判定対象フォルダとして、前記複数の画像各々について算出された前記正常度に基づいて、前記判定対象フォルダに含まれる画像が全て正常または異常であるかを判定し、前記判定対象フォルダに含まれる画像が全て正常である、または全て異常であると判定した場合には、判定結果に応じた判別ラベルを前記判定対象フォルダに含まれる全ての画像に一括して付与する自動判定ステップと
を備えることを特徴とする判別ラベル付与支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、判別ラベル付与支援装置および判別ラベル付与支援方法に関し、特に学習ベースの画像検査装置に用いられる画像に対する判別ラベルの付与支援技術に関する。
【背景技術】
【０００２】
従来から、製造工程において生産された製品や部品に外観上の異常がないか検査する方法として、画像処理を用いた画像検査がある。これは、検査対象の画像を撮像装置で取得し、予めコンピュータ上に実装した検査ソフトウェアに取得した画像を入力し、検査ソフトウェアからの出力から検査対象の外観上に異常に有無について判定するものである。例えば、特許文献１には、ウエハ上のチップの外観における異常の有無を判定する技術が開示されている。
【０００３】
従来の検査ソフトウェアにおいて採用されるアルゴリズムとして、判定手法の考案者が、判定に有効な特徴量を大量の画像から経験的に見出し、人為的に設計した特徴量に基づいて判定を行う知見ベースの方式がある。しかし、この方式では、正常と異常との差異が非常に複雑な場合には対応しきれないという欠点がある。
【０００４】
一方、予め準備した大量の画像を利用して機械学習を実行することにより判定モデルを生成する学習ベースの方式がある。とりわけ、各画像に正常か異常かの判別ラベルを付与して学習を行う教師付き学習による手法では、正常と異常の差異が非常に複雑な場合でも精度の高い判定ができる期待が高い。例えば、非特許文献１に記載されているように、近年において、教師付き学習の一種である深層学習はこの分野で非常に注目を浴びてきている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開第２０１７−２０７３５６号公報
【非特許文献】
【０００６】
【非特許文献１】久保田  進也．“Ｄｅｅｐ  Ｌｅａｒｎｉｎｇを活用した画像検査システム：ＷｉｓｅＩｍａｇｉｎｇ（特集  画像分野へのＤｅｅｐ  Ｌｅａｒｎｉｎｇの活用）”．画像ラボ  日本工業出版  ２８（２）、５６−６１、２０１７−０２
【非特許文献２】Ｌｉｕ，Ｆｅｉ  Ｔｏｎｙ．，Ｔｉｎｇ，Ｋａｉ  Ｍｉｎｇ．，ａｎｄ  Ｚｈｏｕ，Ｚｈｉ−Ｈｕａ．“Ｉｓｏｌａｔｉｏｎ  Ｆｏｒｅｓｔ”．Ｄａｔａ  Ｍｉｎｉｎｇ，２００８．ＩＣＤＭ‘０８．Ｅｉｇｈｔｈ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ．
【非特許文献３】Ｈｉｎｔｏｎ，Ｇｅｏｆｆｒｅｙ  Ｅ．，ａｎｄ  Ｒｕｓｌａｎ  Ｒ．Ｓａｌａｋｈｕｔｄｉｎｏｖ．“Ｒｅｄｕｃｉｎｇ  ｔｈｅ  Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ  ｏｆ  Ｄａｔａ  ｗｉｔｈ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ”．Ｓｃｉｅｎｃｅ  ３１３．５７８６（２００６）：５０４−５０７．
【非特許文献４】神罵敏弘．“データマイニング分野のクラスタリング手法（１）”．人工知能学会誌  ｖｏｌ．１８．Ｎｏ．１．，５９−６５（２００３）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、教師付き学習を行って所望の判定精度を得るためには、判別ラベルが付与された画像を大量に準備する必要がある。現在のところ、これらの各画像に対する判別ラベルの付与は人手によって行われることが多く、作業者への負担が大きいことが教師付き学習を用いた画像検査における最大の課題ともなっている。とりわけ、深層学習を行う場合は、数千枚単位の学習画像が必要とされ、作業者への負担が非常に大きい作業となっている。
【０００８】
本発明は、上述した課題を解決するためになされたものであり、学習画像に判別ラベルを付与する作業負担を軽減することができる判別ラベル付与支援装置および判別ラベル付与支援方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明に係る判別ラベル付与支援装置は、画像検査で用いられる画像に対する判別ラベルの付与を支援する判別ラベル付与支援装置であって、複数の画像を取得する画像取得部と、前記複数の画像に対して無作為に選択された複数の指標のそれぞれに基づいて前記複数の画像を分類して複数の分類結果を得る無作為分類部と、前記複数の分類結果に基づいて、画像の正常らしさを表す正常度を前記複数の画像各々について算出する正常度算出部と、前記複数の画像同士の類似度に基づいて、記憶装置に階層的に構成された複数のフォルダを生成して前記複数の画像を保存するフォルダ生成部と、前記複数のフォルダのうちの一のフォルダを判定対象フォルダとして、前記複数の画像各々について算出された前記正常度に基づいて、前記判定対象フォルダに含まれる画像が全て正常または異常であるかを判定し、前記判定対象フォルダに含まれる画像が全て正常である、または全て異常であると判定した場合には、判定結果に応じた判別ラベルを前記判定対象フォルダに含まれる全ての画像に一括して付与する自動判定部とを備えることを特徴とする。
【００１０】
また、本発明に係る判別ラベル付与支援装置において、前記無作為分類部は、前記複数の画像を構成する画素の輝度情報またはその輝度情報から求められる前記複数の画像の特徴量を無作為に選択し、選択した前記輝度情報または前記特徴量の最大値と最小値との範囲からしきい値を無作為に選択し、前記輝度情報または前記特徴量と前記しきい値とを比較して前記複数の画像を再帰的に分類し、前記分類結果として、前記複数の画像のそれぞれをノードとする階層的な構成の二分木を生成してもよい。
【００１１】
また、本発明に係る判別ラベル付与支援装置において、前記正常度算出部は、前記無作為分類部によって生成された前記二分木において前記複数の画像各々が位置する階層数を用いて前記正常度を算出してもよい。
【００１２】
また、本発明に係る判別ラベル付与支援装置において、前記フォルダ生成部は、階層的クラスター分析に基づいて前記フォルダを生成してもよい。
【００１３】
また、本発明に係る判別ラベル付与支援装置において、前記自動判定部による判定結果を表示装置に表示して、外部からの指示に基づいて前記判定結果を確定させる判定確定部をさらに備え、前記判定確定部は、前記判定結果を確定させる処理対象フォルダを前記複数のフォルダから選択するフォルダ選択部と、前記自動判定部による前記処理対象フォルダの前記判定結果および前記処理対象フォルダに含まれる画像に関する情報を前記表示装置に表示させる判定表示部と、前記表示装置に表示された前記処理対象フォルダの前記判定結果に対する指示を外部から受信する指示受信部と、受信された前記指示に応じて前記処理対象フォルダの前記判定結果を更新し、その判定結果を確定させる判定更新部とを備えていてもよい。
【００１４】
また、本発明に係る判別ラベル付与支援方法は、画像検査で用いられる画像に対する判別ラベルの付与を支援する判別ラベル付与支援方法であって、複数の画像を取得する画像取得ステップと、前記複数の画像に対して無作為に選択された複数の指標のそれぞれに基づいて前記複数の画像を分類して複数の分類結果を得る無作為分類ステップと、前記複数の分類結果に基づいて、画像の正常らしさを表す正常度を前記複数の画像各々について算出する正常度算出ステップと、前記複数の画像同士の類似度に基づいて、記憶装置に階層的に構成された複数のフォルダを生成して前記複数の画像を保存するフォルダ生成ステップと、前記複数のフォルダのうちの一のフォルダを判定対象フォルダとして、前記複数の画像各々について算出された前記正常度に基づいて、前記判定対象フォルダに含まれる画像が全て正常または異常であるかを判定し、前記判定対象フォルダに含まれる画像が全て正常である、または全て異常であると判定した場合には、判定結果に応じた判別ラベルを前記判定対象フォルダに含まれる全ての画像に一括して付与する自動判定ステップとを備えることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、複数の画像に対して無作為な分類を繰り返した複数の分類結果から画像の正常らしさを表す正常度を算出し、その正常度に基づいて、複数の画像が分類された階層的なフォルダ群のうちの判定対象フォルダに含まれる画像が全て正常または異常であるかを判定して判定結果に応じた判別ラベルを判定対象フォルダの画像に一括付与するので、学習画像に判別ラベルを付与する作業負担を軽減することができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、本発明の第１の実施の形態に係る判別ラベル付与支援装置の機能構成を示すブロック図である。
【図２】図２は、本発明の第１の実施の形態に係る判別ラベル付与支援装置のハードウェア構成を示すブロック図である。
【図３】図３は、本発明の第１の実施の形態に係る教師データ作成装置の動作を説明するフローチャートである。
【図４】図４は、本発明の第１の実施の形態に係る無作為分類処理を説明するフローチャートである。
【図５Ａ】図５Ａは、本発明の第１の実施の形態に係る無作為分類処理を説明する図である。
【図５Ｂ】図５Ｂは、本発明の第１の実施の形態に係る無作為分類処理を説明する図である。
【図６】図６は、本発明の第１の実施の形態に係るフォルダ群の生成処理を説明するフローチャートである。
【図７Ａ】図７Ａは、本発明の第１の実施の形態に係るフォルダ群の生成処理を説明する図である。
【図７Ｂ】図７Ｂは、本発明の第１の実施の形態に係るフォルダ群の生成処理を説明する図である。
【図８】図８は、本発明の第１の実施の形態に係る自動判定処理を説明するフローチャートである。
【図９】図９は、本発明の第１の実施の形態に係る自動判定処理を説明する図である。
【図１０】図１０は、本発明の第１の実施の形態に係る自動判定処理を説明する図である。
【図１１】図１１は、本発明の第２の実施の形態に係る判別ラベル付与支援装置の機能構成を示すブロック図である。
【図１２】図１２は、本発明の第２の実施の形態に係る判定確定部の機能構成を示すブロック図である。
【図１３】図１３は、本発明の第２の実施の形態に係る判別ラベル付与支援装置の動作を説明するフローチャートである。
【図１４】図１４は、本発明の第２の実施の形態に係る判定確定処理を説明するフローチャートである。
【図１５】図１５は、本発明の第２の実施の形態に係る判定表示部による表示例を説明する図である。
【図１６】図１６は、本発明の第２の実施の形態に係る判定更新処理を説明する図である。
【発明を実施するための形態】
【００１７】
以下、本発明の好適な実施の形態について、図１から図１６を参照して詳細に説明する。各図について共通する構成要素には、同一の符号が付されている。
【００１８】
［発明の原理］
はじめに、本発明の原理について説明する。一般的に、画像検査等で用意される学習画像は、その大部分が似通った画像で占められ、しかも、その殆どが瞬時に正常と判断が付くような場合が多い。熟練者による吟味が必要となるような画像はごく少数である。人手で各画像に判別ラベルを付与する作業において、大きな負担となるのが、これらの見た目で似通った正常画像を大量に確認しなければならないことである。
【００１９】
本発明に係る判別ラベル付与支援装置では、まず、画像が正常か異常かは他に類似する画像の多寡と密接に関連していることに着目し、全ての画像に対する無作為な指標による分類を繰り返し、それらの分類結果からそれぞれの画像の「正常らしさ」を測る「正常度」を算出している。
【００２０】
この正常度は複数の分類結果から算出されるが、分類指標が恣意的なものである場合、分類結果は指標の影響を受け、その結果、得られる正常度も指標の影響を受けることとなる。より信頼性の高い正常度を取得するためには、分類結果が指標に影響されないことが望ましい。そこで、本発明では、無作為な分類を繰り返した多数の分類結果から正常度を算出することにより、より信頼性の高い正常度が取得されるような構成を採用している。
【００２１】
次に、本発明に係る判別ラベル付与支援装置は、全ての画像をその類似度に基づいて分類し、階層的な構成のフォルダ群を生成する。そして、判別ラベル付与支援装置は、各フォルダが「正常画像のみで構成される」、「異常画像のみで構成される」、または「正常画像および異常画像が混在する」のいずれの状態にあるかを判定する。判定結果が「正常画像のみで構成される」もしくは「異常画像のみで構成される」場合、判別ラベル付与支援装置は、各フォルダに含まれる学習画像にそのフォルダの判定結果と同じラベルを一括で付与する。
【００２２】
結果として、「正常画像と異常画像とが混在する」フォルダ内の画像のみ目視対象として、作業者に提供することにより、作業者の判別ラベル付与の負担の低減を図る。さらに、判別ラベル付与支援装置は、作業者において、上位の階層のフォルダから順に、各フォルダの自動判定結果の確認や修正ができる機能を備えることにより、作業者の作業負担を低減しつつ、作業者の意図を反映できるようにする。
【００２３】
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態に係る判別ラベル付与支援装置１について説明する。
【００２４】
本実施の形態に係る判別ラベル付与支援装置１は、取得した全ての画像に対して無作為な指標による分類を複数回施し、その複数の分類結果から各画像の正常度を算出し、全ての画像を階層的な構成のフォルダに分類する。そして、判別ラベル付与支援装置１は、各フォルダの状態を、各フォルダに含まれる画像の正常度から判定し、判定結果に応じた判別ラベルをフォルダに含まれる画像に一括して付与する。
【００２５】
［判別ラベル付与支援装置の機能ブロック］
判別ラベル付与支援装置１は、画像取得部１０、無作為分類部１１、正常度算出部１２、フォルダ生成部１３、自動判定部１４、記憶部１５、および出力部１６を備える。
以下、判別ラベル付与支援装置１が備える各機能部の概要を説明する。
【００２６】
画像取得部１０は、製品など検査対象が撮像された複数の画像を取得する。画像取得部１０は、例えば、外部に設置されたカメラなどから、通信ネットワークを介して、カメラなどによって撮像された検査対象の画像を取得してもよい。また、画像取得部１０は、予め用意されている検査対象の画像を、記憶部１５または外部の記憶装置から取得してもよい。
【００２７】
画像取得部１０は、取得された検査対象の画像データに対して、フィルタリングなどによるノイズの除去や画像の明るさの正規化などを必要に応じて行う。また、画像取得部１０は画像データを所定のサイズに揃える。画像取得部１０によって取得された画像は、記憶部１５に記憶される。
【００２８】
無作為分類部１１は、画像取得部１０によって取得された全ての画像に対して、無作為に選択された複数の指標のそれぞれに基づいて全ての画像を分類して複数の分類結果を得る。無作為分類部１１によって行われる画像の分類は、後述の正常度算出部１２が各画像の正常度を算出するための前処理となる。
【００２９】
無作為分類部１１は、無作為な指標として、例えば、無作為に選択した２つの画素の輝度差を用い、予め定められている条件を満たすまで、輝度差と、輝度差に対して無作為に設定したしきい値との比較を繰り返し、画像を分類していく。さらに、無作為分類部１１は、複数の分類結果により複数の画像それぞれをノードとする二分木を生成して全ての画像を分類する。
【００３０】
本実施の形態では、アイソレーションフォレスト（Ｉｓｏｌａｔｉｏｎ  Ｆｏｒｅｓｔ）における二分木を無作為な指標による階層的な分類手法として採用する（非特許文献２参照）。無作為分類部１１による分類結果として、階層構造を有する二分木が生成される。無作為分類部１１が、全ての画像に対する分類によって生成した複数の二分木は、正常度算出部１２に入力される。なお、無作為分類部１１による分類処理の詳細は後述する。
【００３１】
正常度算出部１２は、無作為分類部１１による複数の分類結果に基づいて各画像の「正常らしさ」を表す「正常度」を算出する。より詳細には、正常度算出部１２は、無作為分類部１１によって生成された二分木において分類された画像が位置する階層数を用いて正常度を算出する。正常度は、二分木の階層が深くなるほど高くなる。
【００３２】
本実施の形態では、正常度算出部１２はＩｓｏｌａｔｉｏｎ  Ｆｏｒｅｓｔにおける正常度の算出方法を採用する。正常度算出部１２によって算出された各画像の正常度は、自動判定部１４に入力される。なお、正常度算出部１２による各画像の正常度の算出処理についての詳細は後述する。
【００３３】
フォルダ生成部１３は、画像取得部１０によって取得された画像同士の類似度に基づいて、記憶部１５において階層的に構成されたフォルダ群を生成して、全ての画像をフォルダ群に分類して保存する。フォルダ生成部１３は、各フォルダになるべく類似した画像を分類することが重要となる。これは、各フォルダに含まれる画像に対して、一括して同一の判別ラベルを付与するためである。
【００３４】
フォルダ生成部１３は、例えば、階層的クラスター分析、階層的自己組織化マッピング、階層的Ｋ平均クラスタリングなどの分類手法を採用すればよい。本実施の形態では、フォルダ生成部１３は、階層的クラスター分析を採用する（非特許文献４参照）。フォルダ生成部１３によって生成されたフォルダ群に関する情報は、自動判定部１４に入力される。フォルダ生成部１３による階層的クラスター分析を用いたフォルダ生成処理の詳細は後述する。
【００３５】
自動判定部１４は、フォルダ生成部１３によって生成されたフォルダ群のうちの一のフォルダを判定対象フォルダとして、正常度算出部１２により算出された各画像の正常度の情報を用いて、判定対象フォルダに含まれる画像が全て正常または異常であるかを判定する。また自動判定部１４は、判定対象フォルダに含まれる画像が全て正常である、または全て異常であると判定した場合には、判定結果に応じた判別ラベルをその判定対象フォルダに含まれる全ての画像に一括して付与する。
【００３６】
より詳細には、自動判定部１４は、判定対象フォルダに含まれる画像の正常度から、正常度の最大値および最小値を求め、予め設定されているしきい値と比較して各フォルダの状態（全て正常、または異常である）を判定する。
【００３７】
また、本実施の形態では、自動判定部１４は、判定対象フォルダに含まれる画像が全て正常であることを示す「全正常」の判定、全て異常であることを示す「全異常」の判定に加え、正常と異常の画像が混在することを示す「混在」の判定を行う。さらに、自動判定部１４は、「混在」と判定したフォルダのうちから所定の条件を満たす判定対象フォルダについては、判別ラベルを付与する作業者による目視の対象とする「要目視」と判定する。自動判定部１４は、出力部１６を介して判定結果を提示する。
【００３８】
自動判定部１４は、判定対象フォルダに対して「全正常」と判定した場合には、その判定対象フォルダに含まれる全ての画像に一括して判別ラベル「正常」を付与する。一方、判定対象フォルダに対して「全異常」と判定した場合には、その判定対象フォルダに含まれる全ての画像に一括して判別ラベル「異常」を付与する。
【００３９】
自動判定部１４は、一括して判別ラベルが付与されていない「混在」および「要目視」と判定した判定対象フォルダについては、出力部１６を介して判定結果を出力して、作業者による目視による判別ラベルの付与に供する。
【００４０】
記憶部１５は、画像取得部１０が外部のカメラなどから取得した画像データ、無作為分類部１１による分類結果、正常度算出部１２による正常度の算出結果、フォルダ生成部１３により生成されたフォルダ群の情報、および自動判定部１４による判定結果などを記憶する。
【００４１】
出力部１６は、自動判定部１４による判定結果などを出力する。出力部１６は、例えば、表示画面において自動判定部１４による判定結果を表示してもよい。
【００４２】
［判別ラベル付与支援装置のハードウェア構成］
次に、上述した機能を有する判別ラベル付与支援装置１のハードウェア構成について図２を用いて説明する。
【００４３】
判別ラベル付与支援装置１は、バス１０１を介して接続されるＣＰＵ１０３と主記憶装置１０４とを有する演算装置１０２、通信制御装置１０５、カメラ１０６、外部記憶装置１０７、表示装置１０８、入力装置１０９等を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。
【００４４】
ＣＰＵ１０３と主記憶装置１０４とは、演算装置１０２を構成する。主記憶装置１０４には、ＣＰＵ１０３が各種制御や演算を行うためのプログラムが予め格納されている。
【００４５】
通信制御装置１０５は、判別ラベル付与支援装置１と各種外部電子機器との間を通信ネットワークＮＷを介して接続するための制御装置である。通信制御装置１０５は、判別ラベル付与支援装置１によって得られた「要目視」と判定されたフォルダに含まれる画像を、通信ネットワークＮＷを介して外部の機器などに送信してもよい。
【００４６】
カメラ１０６は、判別ラベル付与支援装置１に接続されており、検査対象である製品の光学像を撮像する。カメラ１０６は、２次元ＣＣＤなどのイメージセンサを用い、受光面（図示しない）に結像された光学像を電気信号に変換する。
【００４７】
外部記憶装置１０７は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。外部記憶装置１０７には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。外部記憶装置１０７は、画像データ記憶部１０７ａ、ラベル情報記憶部１０７ｂ、プログラム格納部１０７ｃ、図示しないその他の格納装置で、例えば、この外部記憶装置１０７内に格納されているプログラムやデータなどをバックアップするための格納装置などを有することができる。
【００４８】
画像データ記憶部１０７ａは、図１で説明した記憶部１５に対応し、画像取得部１０によってカメラなどから取得された画像を記憶する。
ラベル情報記憶部１０７ｂは、予め設定されている判別ラベルに関する情報を記憶する。
【００４９】
プログラム格納部１０７ｃには、本実施の形態における画像の取得処理、無作為分類処理、正常度の算出処理、フォルダ群の生成処理、および自動判定処理など判別ラベル付与支援装置１が判別ラベルを付与し、「要目視」に該当する画像を取得して作業者に提示する際に必要な演算処理を実行するための各種プログラムが格納されている。
【００５０】
表示装置１０８は、例えば、図１で説明した出力部１６の表示画面を構成する。表示装置１０８は液晶ディスプレイなどによって実現される。
【００５１】
入力装置１０９は、キーボード、マウス、タッチパネルなどにより構成される。入力装置１０９は、作業者のキー入力、アイコンなどのクリック、タッチパネルのタッチ位置に対応した機能や操作の入力を受け付ける。
【００５２】
［判別ラベル付与支援装置の動作］
次に、上述した構成を有する判別ラベル付与支援装置１の動作について、図３から図１０を参照して説明する。
まず、図３に示すように、画像取得部１０は、外部に設置されたカメラで撮像された検査対象の画像を複数取得する（ステップＳ１）。次に、無作為分類部１１は、ステップＳ１で取得された複数の画像の全てに対して、無作為な複数の指標のそれぞれによる分類を複数回行う（ステップＳ２）。
【００５３】
より詳細には、無作為分類部１１は、図４に示す無作為分類処理を実行する。無作為分類部１１は、Ｉｓｏｌａｔｉｏｎ  Ｆｏｒｅｓｔにおける二分木を無作為な指標による階層的な分類手法として用いる。
【００５４】
［無作為分類処理］
ここで、無作為分類部１１による無作為分類処理（ステップＳ２）についてより詳細に説明する。
まず、無作為分類部１１は、画像取得部１０によって取得された画像枚数Ｎより、二分木の最大階層数Ｌを、Ｌ＝ｃｅｉｌｉｎｇ（ｌｏｇ2Ｎ）により算出する（ステップＳ２０）。なお、ｃｅｉｌｉｎｇ（ｘ）は、ｘを下回らない最小の整数を返す関数である。
【００５５】
次に、無作為分類部１１は、全ての画像を含む初期グループを生成する（ステップＳ２１）。その後、無作為分類部１１は、生成した初期グループから分割可能なグループを探索する（ステップＳ２２）。分割可能なグループとは、ｉ）グループの階層が最大階層数Ｌに達していないグループ；ｉｉ）グループに含まれる画像が２つ以上存在する；およびｉｉｉ）下位の子グループを持たないグループをいい、これら全ての条件を満たすグループである。
【００５６】
分割可能なグループが存在する場合（ステップＳ２３：ＹＥＳ）、無作為分類部１１は、そのグループを分割して２つの子グループを生成する（ステップＳ２４）。より詳細には、無作為分類部１１によるグループの分割手法は、なるべく無作為な分類手法が望ましい。本実施の形態では、無作為分類部１１は、無作為に選択した画像における２つの画素の輝度差を評価値とし、評価値の最大値と最小値との範囲で無作為にしきい値を設定し、評価値としきい値とを比較することにより分類を行う。
【００５７】
その後、無作為分類部１１は、ステップＳ２２からステップＳ２４を、初期グループにおいて分割可能なグループが存在しなくなるまで（ステップＳ２３：ＮＯ）繰り返し実行する。図５Ａに示すように、無作為分類部１１は、ステップＳ２４において、画像から無作為に抽出した指標（ＸやＹの値）と無作為に設定されたしきい値（破線の値）とを比較してデータの分類を繰り返す。
【００５８】
無作為分類部１１によって実行される上記の無作為分類処理により、階層構造の二分木が生成される。図５Ｂは、図５Ａで示した分類を繰り返して無作為分類部１１により生成された階層構造の二分木の例を示す図である。図５Ａおよび図５Ｂでは、総データ数、すなわち画像枚数Ｎ＝１６、および最大階層数Ｌ＝４の例を示している。
【００５９】
図５Ｂにおいて、下位の子グループを持たないグループを終端グループとし、破線の円で示す。また、子グループを持つグループを非終端グループとして実線の円で示す。また、非終端グループおよび終端グループを示す円の中の数値は、各グループ内に含まれる画像データの数を示す。無作為分類部１１によって無作為に設定されたしきい値は、各分岐箇所に示されている。
【００６０】
例えば、図５Ｂに示すように、階層数ｌ＝１の非終端グループ（画像データ数＝１６）はしきい値Ｙ＝１に基づいて比較され、Ｙ≧１に該当する非終端グループ（画像データ数＝１４）と、Ｙ＜１に該当する非終端グループ（画像データ数＝２）とに分類されている。このように、無作為分類処理により、無作為分類部１１は、Ｎ枚の学習画像からＴ個の二分木を生成する。
【００６１】
なお、上記のステップＳ２４では、無作為分類部１１は、無作為な指標として２つの画素の輝度差を利用している。しかし、無作為な指標は画素の輝度差に限られない。例えば、無作為分類部１１は、画素の輝度差の代わりに全ての画像に対して主成分分析を行い、主成分得点を構成するうちの一要素を無作為に選択し、各画像における選択した要素と無作為に選択したしきい値とを比較することで分類を行ってもよい。
【００６２】
あるいは、無作為分類部１１は、全ての画像に対してオートエンコーダの学習を行い、潜在変数を構成するうちの一要素を無作為に選択し、各画像における選択した要素と無作為に選択したしきい値とを比較することにより分類を行ってもよい（非特許文献３参照）。
【００６３】
［正常度の算出］
次に、図３に戻り、正常度算出部１２は、ステップＳ２（無作為分類処理）で生成された二分木を用いて、各画像についての正常らしさを表す正常度を算出する（ステップＳ３）。前述したように、本実施の形態では、正常度算出部１２は、Ｉｓｏｌａｔｉｏｎ  Ｆｏｒｅｓｔにおける正常度の算出方法を採用する。
【００６４】
より詳細には、無作為分類部１１が生成した二分木を用いてある画像を分類した場合、正常画像は階層がより深い終端グループに分類され、異常画像は階層がより浅い終端グループに分類される傾向が強い。また、異常判定は１つの指標に基づいて判定を行うよりも、様々な指標に基づいて判定を行う方がより信頼性の高い判定結果が得られる。これらの性質に基づき、正常度算出部１２で採用されるＩｓｏｌａｔｉｏｎ  Ｆｏｒｅｓｔでは、以下の手順で正常度の算出を行う。
【００６５】
まず、正常度算出部１２は、正常度を算出する対象画像を、各二分木で分類した際の評価値（２つの画素の輝度差）γを算出する。対象画像ｘをｔ番目（ｔ＝１・・・Ｔ）の二分木で分類を実行したときのパス長を示す評価量ｈt（ｘ）は、対象画像ｘが分類された終端グループにおける階層数ｌと、その終端グループに含まれる画像数ｍより、ｈt（ｘ）＝ｌ＋ｗ（ｍ）により算出される。
【００６６】
正常度算出部１２は、各二分木による評価量ｈt（ｘ）の平均値ｈ（ｘ）を算出し、対象画像ｘの正常度を示す評価値γ（ｘ）を以下の式（１）から式（３）の手順で算出していく（非特許文献２参照）。
【００６７】
α（ｘ，Ｎ）＝−（ｈ（ｘ））／（２Ｈ（Ｎ−１）−（２（Ｎ−１）／Ｎ））・・・（１）
上式（１）において、Ｈは調和数（Ｈ（ｉ）＝ｌｏｇ（ｉ）＋０．５７７２）を示す。また、Ｎは総画像枚数である。
【００６８】
上式（１）よりアノマリースコアβは次の式（２）で表される。
β（ｘ，Ｎ）＝２α(x,N)        ・・・（２）
【００６９】
上式（２）より、対象画像ｘの評価値γ（ｘ）は、次式（３）で求められる。
γ（ｘ）＝０．５−β（ｘ，Ｎ）        ・・・（３）
評価値γ（ｘ）の値が高いほど正常である可能性が高く、値が低いほど異常である可能性が高くなる。画像の正常度は、評価値γ（ｘ）と予め設定されたしきい値との比較によって得られる。
【００７０】
［フォルダ群の生成処理］
次に、フォルダ生成部１３は、図３に示すように、全ての画像に対して分類を行い、階層的な構造のフォルダ群を生成する（ステップＳ４）。
以下、フォルダ生成部１３によるフォルダ群の生成処理について図６から図７Ｂを参照して説明する。前述したように、本実施の形態では、フォルダ生成部１３は、階層的クラスター分析を用いて階層的なフォルダ群を生成する（非特許文献４参照）。
【００７１】
まず、フォルダ生成部１３は、画像と同数のフォルダが存在し、各フォルダに１つの画像が含まれている状態を初期状態として設定する（ステップＳ４０）。次に、フォルダ生成部１３は、個々のフォルダ間の距離を全て計算する（ステップＳ４１）。
【００７２】
ここで、フォルダ間の距離の定義は様々なものがあるが、例えば、各フォルダに含まれる画像間の距離の最小値や最大値などを用いることができる。なお、本実施の形態では、フォルダ生成部１３は、フォルダ間の距離として、フォルダに含まれる画像の平均画素同士における各画素の誤差の二乗和を用いる。
【００７３】
次に、ステップＳ４１での算出結果に基づいて、フォルダ生成部１３は、最も距離の近いフォルダ同士を統合して新フォルダとする（ステップＳ４２）。その後、フォルダ生成部１３は、新フォルダと他のフォルダとの距離を再度計算する（ステップＳ４３）。その後、フォルダ生成部１３は、全ての画像を含むフォルダが生成されるまで（ステップＳ４４：ＹＥＳ）、ステップＳ４１からステップＳ４３を繰り返す。
【００７４】
図７Ａおよび図７Ｂは、フォルダ生成部１３によるフォルダ群の生成処理を説明する図である。図７Ａに示すように、例えば、画像がＡ〜Ｅまでの５枚（総データ数Ｎ＝５）ある場合に、全ての画像データＡ〜Ｅを含むフォルダが生成されている。また、図７Ｂは、図７Ａのフォルダの生成例において、階層的に構成されたフォルダ群を示す図である。
【００７５】
なお、フォルダ生成部１３が実際にフォルダ群の生成処理を行うと、結果として少数の画像しか含まないフォルダが多数生成されることになる。これらの少数の画像のみを含むフォルダは後の工程では不要となる。そのため、フォルダ生成部１３は、含まれる画像数が一定数未満のフォルダは同じ上位の親フォルダを持つフォルダとともに無効なフォルダに設定し、以後の処理ではフォルダとして取り扱わない。これらの処理を行った後、フォルダ生成部１３は、下位の子フォルダを持たないフォルダを終端フォルダとし、それ以外のフォルダを非終端フォルダとして設定する。
【００７６】
［自動判定処理］
次に、図３に戻り、自動判定部１４は、正常度算出部１２によって算出された各画像の正常度の情報を用いて、フォルダ生成部１３が生成した各フォルダの状態の判定を行う（ステップＳ５）。以下、自動判定部１４による自動判定処理（ステップＳ５）について図８から図１０を参照してより詳細に説明する。
【００７７】
まず、自動判定部１４は、図８に示すように、フォルダ生成部１３によるフォルダ群の生成処理で生成された各フォルダに含まれる画像の正常度から、正常度の最大値および最小値を求める（ステップＳ５０）。より具体的には、図９に示すように、非終端フォルダおよび終端フォルダの各フォルダにおいて、正常度の最大値（Ｍａｘ）および正常度の最小値（Ｍｉｎ）が求められる。なお、正常度は、正常度算出部１２がステップＳ３で算出した値である。
【００７８】
次に、自動判定部１４は、各フォルダが持つ正常度の最大値および正常度の最小値と、予め設定されているしきい値とを比較する（ステップＳ５１）。次に、フォルダの正常度の最小値がしきい値の上限より高い場合（ステップＳ５２：ＹＥＳ）、そのフォルダに含まれる画像は全て正常である「全正常」と判定する（ステップＳ５３）。
【００７９】
一方、フォルダの正常度の最小値がしきい値の上限より高くない場合（ステップＳ５２：ＮＯ）において、そのフォルダの正常度の最大値がしきい値の下限より低い場合（ステップＳ５４：ＹＥＳ）、そのフォルダに含まれる画像は全て異常である「全異常」と判定する（ステップＳ５５）。
【００８０】
一方、フォルダの正常度の最大値がしきい値の下限より低くない場合（ステップＳ５４：ＮＯ）、すなわちフォルダの正常度の最小値または最大値がいずれにも該当しない場合には、正常と異常の画像が混在する「混在」であると判定する（ステップＳ５６）。
【００８１】
その後、ステップＳ５６で「混在」と判定されたフォルダのうち、対象フォルダが終端フォルダである場合（ステップＳ５７：ＹＥＳ）、その対象フォルダを作業者による目視対象とする「要目視」と判定する（ステップＳ５８）。なお、自動判定部１４は、「全正常」または「全異常」と判定したフォルダに含まれる画像については、判定結果に応じた判別ラベル（「正常」または「異常」）を一括して付与する。
【００８２】
以上の処理により、自動判定部１４は、自動判定処理を終了する。その後、自動判定部１４は、出力部１６を介して、「要目視」と判定した画像フォルダに含まれる画像を作業者による目視の対象として出力し、判別ラベル付与支援処理は終了する。
【００８３】
図１０は、各フォルダに対して、自動判定部１４が「全正常」、「全異常」、「混在」、および「要目視」のいずれかの判定を行った状態を示している。図１０の例では、最も下位の階層に位置する終端フォルダ（Ｍｉｎ：０．３、Ｍａｘ：０．６、Ｎｕｍ：７）に対して「要目視」の判定がなされている。
【００８４】
以上説明したように、第１の実施の形態によれば、判別ラベル付与支援装置１は、全ての画像をその類似度に基づいて分類し、階層的なフォルダ群を生成し、各フォルダが「正常画像のみで構成される」、「異常画像のみで構成される」、または「正常画像および異常画像が混在する」のいずれの状態にあるかを判定する。判定結果が「正常画像のみで構成される」もしくは「異常画像のみで構成される」場合、判別ラベル付与支援装置１は、各フォルダに含まれる学習画像にそのフォルダの判定結果と同じラベルを一括で付与する。
【００８５】
その結果として、「正常画像異常画像が混在する」フォルダ内の画像のみ目視対象として、作業者に提供することにより、画像に判別ラベルを付与する作業者の負担の低減を図ることができる。
【００８６】
なお、説明したフォルダ生成部１３によるフォルダ群の生成処理において、フォルダ間の距離として、フォルダに含まれる画像の平均画素同士の各画素の誤差の二乗和を用いる場合について説明した。しかし、フォルダ生成部１３は、例えば、正常度算出部１２が算出した各画像の各二分木における評価量ｈt（ｘ）からｔ次元のベクトルを生成し、これを各画像の特徴量として、特徴量間の二乗誤差を距離としてもよい。
【００８７】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、以下の説明では、上述した第１の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
【００８８】
第１の実施の形態に係る判別ラベル付与支援装置１では、自動判定部１４による判定結果を出力部１６を介して出力する場合について説明した。これに対し、第２の実施の形態に係る判別ラベル付与支援装置１Ａは、自動判定部１４の判定結果を表示装置１０８に表示して、外部からの指示部基づいて判定結果を確定させる判定確定部１７をさらに備える。また、判定確定部１７で確定された判定結果は、出力部１６を介して出力される。
以下、第１の実施の形態と異なる構成を中心に説明する。
【００８９】
図１１は、第２の実施の形態に係る判別ラベル付与支援装置１Ａの機能構成を示すブロック図である。また、図１２は、判別ラベル付与支援装置１Ａが備える判定確定部１７の機能構成を示すブロック図である。
【００９０】
［判定確定部の機能ブロック］
判定確定部１７は、自動判定部１４による判定結果を作業者に表示し、作業者からの確認操作や修正操作を受け付けて、判定結果を更新し確定する。
判定確定部１７は、フォルダ選択部１７０、判定表示部１７１、指示受信部１７２、および判定更新部１７３を備える。
【００９１】
フォルダ選択部１７０は、自動判定部１４による判定結果が出力されると、全てのフォルダにおいて判定結果が未だ確定されていないフォルダを探索し、判定が未確定なフォルダを処理対象フォルダとして選択し、判定表示部１７１に出力する。
【００９２】
判定表示部１７１は、フォルダ選択部１７０によって選択された処理対象フォルダに関する情報を表示装置１０８の画面に設けられたタッチスクリーンに表示する。
【００９３】
図１５は、判定表示部１７１による表示例を示す図である。判定表示部１７１は、表示装置１０８の画面領域ａ１に処理対象フォルダの全体の構成における位置付けを表示する。また、判定表示部１７１は、画面領域ａ２に処理対象フォルダの自動判定部１４による判定結果や正常度の最小値および最大値などの情報を表示する。
【００９４】
また、判定表示部１７１は、画面領域ａ３に作業者からの入力操作を受け付ける設定ボタンを表示する。より詳細には、判定表示部１７１は、自動判定部１４による判定結果「全正常」や「全異常」と共に、表示されているこれらの判定結果が正しい（「表示結果：正」）、または表示されている判定結果が誤っている（「表示結果：誤」）ことを示す確認情報が選択可能に表示されている。また画面領域ａ３には、表示されている情報を確定する「ＯＫ」ボタンおよび選択を解除する「キャンセル」ボタンがタッチスクリーン上にそれぞれ区別して表示されている。
【００９５】
また、判定表示部１７１は、画面領域ａ４に処理対象フォルダに含まれる画像からの抜粋画像などを表示する。判定表示部１７１は、例えば、各画像を正常度の高い順に一定間隔で抜粋して表示してもよい。
【００９６】
指示受信部１７２は、判定表示部１７１が表示装置１０８の画面に表示した判定結果に対する作業者からの指示入力を、画面領域ａ３のタッチスクリーンにおける設定ボタンのタッチ操作を介して受信する。より具体的には、指示受信部１７２は、表示装置１０８の画面上に表示された自動判定部１４による判定結果に対して、作業者からの「表示結果が正しい」または「表示結果が誤り」いずれかの選択操作を、タッチパネルの設定ボタンから受信する。
【００９７】
指示受信部１７２は、作業者による「表示結果が正しい」、「表示結果が誤り」、「全正常」、および「全異常」のいずれかの選択操作を、タッチスクリーンにおける設定ボタンから受信する。さらに、指示受信部１７２は、作業者による「ＯＫ」ボタンのタッチ操作により入力される、判定結果に対する選択の確定指示を受信し、次のフォルダに移行する。また、指示受信部１７２は、作業者による「キャンセル」ボタンのタッチ操作により入力される、判定結果に対する選択の解除指示を受信し、選択結果をリセットする。
【００９８】
なお、指示受信部１７２は、表示装置１０８の画面上に表示されている判定結果が「混在」または「要目視」の場合に、「表示結果が誤り」の指示を受信した場合には、さらに「全正常」または「全異常」の指示を受信する。このように、指示受信部１７２が受信した自動判定部１４による判定結果に対する指示は、判定更新部１７３に送出される。
【００９９】
判定更新部１７３は、判定表示部１７１により表示された自動判定部１４による判定結果と、指示受信部１７２から入力された自動判定部１４による判定結果に対する指示とに基づいて自動判定部１４による判定結果を更新し確定させる。判定更新部１７３によって更新され確定された判定結果は、例えば、表示装置１０８の画面上に表示される。
【０１００】
［判別ラベル付与支援装置の動作］
次に上述した構成を有する判別ラベル付与支援装置１Ａの動作について、図１３のフローチャートを参照して説明する。
【０１０１】
判別ラベル付与支援装置１Ａは、第１の実施の形態と同様に、ステップＳ１からステップＳ５までの処理を実行する。自動判定部１４による判定結果（ステップＳ５）は、判定確定部１７に入力される。その後、判定確定部１７は、入力された判定結果に基づいて、判定結果の確定処理を行う（ステップＳ６）。
【０１０２】
［判定確定処理］
以下、判定確定部１７による判定確定処理（ステップＳ６）について、図１４を参照して説明する。
【０１０３】
まず、フォルダ選択部１７０は、全てのフォルダの判定結果が未確定な状態を初期状態として、上位の階層のフォルダから順に判定結果が未確定のフォルダを探索する（ステップＳ６０）。フォルダ選択部１７０は、判定結果が未確定なフォルダが存在する場合（ステップＳ６１：ＹＥＳ）、そのフォルダを処理対象フォルダとして選択し、判定表示部１７１によって処理対象フォルダに関する情報が表示装置１０８の画面上に表示される（ステップＳ６２）。
【０１０４】
一方、判定結果が未確定なフォルダが存在しない場合には（ステップＳ６１：ＮＯ）、判定確定処理は半ベルラベル付与支援処理に戻され、処理は終了する（図１３、ステップＳ６）。
【０１０５】
次に、指示受信部１７２は、ステップＳ６２で表示された自動判定部１４による判定結果に対して、「表示結果が正しい」または「表示結果が誤り」のいずれかを示す指示入力を受信する（ステップＳ６３）。その後、自動判定部１４による判定結果に対する指示は判定更新部１７３に入力され、判定更新処理が実行される（ステップＳ６４）。なお、判定更新処理の後、判定結果が未確定なフォルダが存在しなくなるまでステップＳ６０からステップＳ６４までの処理が繰り返して実行される。その後、更新され確定された判定結果は出力部１６から出力される。
【０１０６】
［判定更新処理］
次に、判定更新部１７３による判定更新処理（ステップＳ６４）について図１６のフローチャートを参照して説明する。
【０１０７】
まず、判定更新部１７３は、判定表示部１７１によって表示装置１０８の画面に表示された処理対象フォルダの判定結果が「全正常」または「全異常」で、かつ、指示受信部１７２によって受け付けられた指示が「表示結果が正しい」である場合（ステップＳ６４０：ＹＥＳ）、その処理対象フォルダの判定結果は「全正常」もしくは「全異常」と確定する（ステップＳ６４１）。すなわち、表示されている自動判定部１４による判定結果のとおりに確定される。
【０１０８】
より詳細には、判定更新部１７３は、処理対象フォルダが非終端フォルダの場合には、全ての下位の子フォルダも処理対象フォルダと同じ「全正常」または「全異常」の判定結果で確定し、その後の処理対象から除外する。
【０１０９】
一方、ステップＳ６４０でＮＯの場合に、判定表示部１７１によって表示装置１０８の画面に表示された処理対象フォルダの判定結果が「全正常」または「全異常」で、かつ、指示受信部１７２によって受け付けられた指示が「表示結果が誤り」である場合（ステップＳ６４２：ＹＥＳ）において、処理対象フォルダが非終端フォルダの場合（ステップＳ６４３：ＹＥＳ）、判定更新部１７３は、その処理対象フォルダの判定結果は「混在」と確定する（ステップＳ６４４）。
【０１１０】
なお、ステップＳ６４４において、判定結果が「混在」と確定された処理対象フォルダの下位の全ての子フォルダについては、判定結果は確定されず、そのまま処理対象として維持される。
【０１１１】
一方、処理対象フォルダが非終端フォルダではなく（ステップＳ６４３：ＮＯ）、終端フォルダである場合（ステップＳ６４５：ＹＥＳ）、判定更新部１７３は、処理対象フォルダの判定結果を「要目視」と確定する（ステップＳ６４６）。
【０１１２】
次に、判定表示部１７１によって表示装置１０８の画面に表示された処理対象フォルダの判定結果が「混在」で、かつ、指示受信部１７２によって受け付けられた指示が「表示結果が正しい」である場合（ステップＳ６４７：ＹＥＳ）、判定更新部１７３は、処理対象フォルダの判定結果を「混在」と確定する（ステップＳ６４８）。
【０１１３】
なお、ステップＳ６４８で判定結果が「混在」と確定された処理対象フォルダの下位の全ての子フォルダについては、判定結果は確定されず、処理対象として維持される。
【０１１４】
次に、判定表示部１７１によって表示装置１０８の画面に表示された処理対象フォルダの判定結果が「混在」で、かつ、指示受信部１７２によって受け付けられた指示が「表示結果が誤り」である場合（ステップＳ６４９：ＹＥＳ）、判定更新部１７３は、指示受信部１７２を介して処理対象フォルダに対する指示「全正常」または「全異常」を受信する（ステップＳ６５０）。
【０１１５】
その後、判定更新部１７３は、受信した指示に応じて、処理対象フォルダの判定結果を「全正常」または「全異常」と確定する（ステップＳ６５１）。判定更新部１７３は、ステップＳ６５１において、処理対象フォルダの下位の全ての子フォルダについても処理対象フォルダと同じ判定結果で確定し、その後の処理対象から除外する。
【０１１６】
次に、判定結果が「混在」ではなく（ステップＳ６４７：ＮＯ、ステップＳ６４９：ＮＯ）、判定表示部１７１によって表示装置１０８の画面に表示された処理対象フォルダの判定結果が「要目視」で、かつ、指示受信部１７２によって受け付けられた指示が「表示結果が正しい」である場合（ステップＳ６５２：ＹＥＳ）、判定更新部１７３は処理対象フォルダの判定結果を「要目視」で確定する（ステップＳ６５３）。
【０１１７】
一方、ステップＳ６５２でＮＯの場合に、判定表示部１７１によって表示装置１０８の画面に表示された処理対象フォルダの判定結果が「要目視」で、かつ、指示受信部１７２によって受け付けられた指示が「表示結果が誤り」である場合（ステップＳ６５４：ＹＥＳ）、判定更新部１７３は、指示受信部１７２を介して処理対象フォルダに対する指示「全正常」または「全異常」を受信する（ステップＳ６５５）。
【０１１８】
その後、判定更新部１７３は、受信した指示に応じて、処理対象フォルダの判定結果を「全正常」または「全異常」と確定する（ステップＳ６５６）。
その後、処理は、図１３の判別ラベル付与支援処理に戻され、さらに判別ラベル付与支援処理は終了する。判定確定処理（ステップＳ６）によって確定された判定結果は、出力部１６から出力される。
【０１１９】
なお、上述した判定確定部１７による判定確定処理（ステップＳ６）は、フォルダに含まれる画像に対して判別ラベル（「正常」または「異常」）を一括して付与する前に実行しても後に実行してもよい。
【０１２０】
以上説明したように、第２の実施の形態によれば、判別ラベル付与支援装置１Ａは、処理対象フォルダの自動判定部１４による判定結果に対する作業者からの確認や修正の指示を受け付けて、最終的な判定結果を確定する判定確定部１７を有する。判定確定部１７は、作業者において、上位の階層のフォルダから順に、各フォルダの自動判定結果の確認や修正ができる機能を備えるので、作業者の判別ラベル付与の作業負担を低減しつつ、判定結果に対する作業者の意図を反映させることができる。
【０１２１】
以上、本発明の判別ラベル付与支援装置および判別ラベル付与支援方法における実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。
【符号の説明】
【０１２２】
１、１Ａ…判別ラベル付与支援装置、１０…画像取得部、１１…無作為分類部、１２…正常度算出部、１３…フォルダ生成部、１４…自動判定部、１５…記憶部、１６…出力部、１７…判定確定部、１０１…バス、１０２…演算装置、１０３…ＣＰＵ、１０４…主記憶装置、１０５…通信制御装置、１０６…カメラ、１０７…外部記憶装置、１０７ａ…画像データ記憶部、１０７ｂ…ラベル情報記憶部、１０７ｃ…プログラム格納部、１０８…表示装置、１０９…入力装置。
【図１】
2020003846.tif 000003
【図２】
2020003846.tif 000004
【図３】
2020003846.tif 000005
【図４】
2020003846.tif 000006
【図５Ａ】
2020003846.tif 000007
【図５Ｂ】
2020003846.tif 000008
【図６】
2020003846.tif 000009
【図７Ａ】
2020003846.tif 000010
【図７Ｂ】
2020003846.tif 000011
【図８】
2020003846.tif 000012
【図９】
2020003846.tif 000013
【図１０】
2020003846.tif 000014
【図１１】
2020003846.tif 000015
【図１２】
2020003846.tif 000016
【図１３】
2020003846.tif 000017
【図１４】
2020003846.tif 000018
【図１５】
2020003846.tif 000019
【図１６】
2020003846.tif 000020