(57)【要約】【課題】判定員による判定を行いながら、明確な指標を用いて判定のフェーズを移行させる。【解決手段】センシング部により判定が必要とされた判定対象の良否を判定する判定装置は、判定員による良否判定結果を取得する第１判定部と、センシング結果と判定員による良否判定結果とにより学習された判定モデルを用いて判定対象の良否判定を実行する第２判定部と、判定のフェーズを移行させる移行部とを備える。第１フェーズでは判定対象について第１判定部による良否判定結果の取得を実行し、第２フェーズでは、第２判定部により判定対象を良と不良と不良候補とのいずれかに判定し、不良候補について第１判定部による良否判定結果の取得を実行し、移行部は、見逃し率が予め定められた第１閾値を下回ることを含む移行条件が成立した場合に、判定対象の良否判定を、第１フェーズから第２フェーズに移行させる。【選択図】図１
2020079986.tif 000002
【特許請求の範囲】
【請求項１】
センシング部により判定が必要とされた判定対象の良否を判定する判定装置であって、
判定員による良否判定結果を取得する第１判定部と、
前記センシング部によるセンシング結果と前記判定員による良否判定結果とにより学習された判定モデルを用いて、前記判定対象の良否判定を実行する第２判定部と、
前記判定装置における判定のフェーズを移行させる移行部と、を備え、
前記判定は、第１フェーズと第２フェーズとを含む複数のフェーズのいずれかに従って実行され、
前記第１フェーズでは、前記判定対象について前記第１判定部による良否判定結果の取得を実行し、
前記第２フェーズでは、前記第２判定部により前記判定対象を良と不良と不良候補とのいずれかに判定し、前記不良候補について前記第１判定部による良否判定結果の取得を実行し、
前記移行部は、以下の式（１）で表される見逃し率を逐次取得し、
見逃し率＝（前記判定員により不良と判定された前記判定対象のうち前記第２判定部により良と判定された前記判定対象の数）／（前記判定員により不良と判定された前記判定対象の数）・・・式（１）
前記移行部は、前記見逃し率が予め定められた第１閾値を下回ることを含む予め定められた移行条件が成立した場合に、前記判定装置における判定のフェーズを、前記第１フェーズから前記第２フェーズに移行させる、判定装置。
【請求項２】
請求項１に記載の判定装置であって、
前記移行部は、以下の式（２）で表される誤検出率を逐次取得し、
誤検出率＝（前記判定員により良と判定された前記判定対象のうち前記第２判定部により不良と判定された前記判定対象の数）／（前記判定員により良と判定された前記判定対象の数）・・・式（２）
前記移行条件は、前記見逃し率が前記第１閾値を下回り、かつ、前記誤検出率が予め定められた第２閾値を下回った場合に成立する、判定装置。
【請求項３】
請求項１又は請求項２に記載の判定装置であって、
前記判定は、前記第１フェーズと前記第２フェーズと第３フェーズとを含む複数のフェーズのいずれかに従って実行され、
前記第３フェーズでは、前記第１判定部による良否判定結果の取得を実行せず、前記判定対象について、前記第２判定部による良否判定を実行し、
前記移行部は、前記判定員により良否の再判定を実行した場合に良と判定されるにもかかわらず前記第２判定部により不良と判定された前記判定対象を含む対象物を廃棄するコストが、前記第２判定部により不良と判定された前記判定対象について前記判定員により前記再判定を実行するコストを下回った場合に、前記判定装置における判定のフェーズを、前記第２フェーズから前記第３フェーズに移行させる、判定装置。
【請求項４】
センシング部により判定が必要とされた判定対象の良否を判定する判定装置であって、
判定員による良否判定結果を取得する第１判定部と、
前記センシング部によるセンシング結果と前記判定員による良否判定結果との対応付けにより学習された判定モデルを用いて、前記判定対象の良否判定を実行する第２判定部と、
前記判定装置における判定の段階を移行させる移行部と、を備え、
前記判定は、第１段階と第２段階とを含む複数の段階のいずれかに従って実行され、
前記第１段階では、前記第２判定部により前記判定対象を良と不良と不良候補とのいずれかに判定し、前記不良候補について前記第１判定部による良否判定結果の取得を実行し、
前記第２段階では、前記第１判定部による良否判定結果の取得を実行せず、前記判定対象について、前記第２判定部による良否判定を実行し、
前記移行部は、前記判定員により良否の再判定を実行した場合に良と判定されるにもかかわらず前記第２判定部により不良と判定された前記判定対象を含む対象物を廃棄するコストが、前記第２判定部により不良と判定された前記判定対象について前記判定員により前記再判定を実行するコストを下回った場合に、前記判定装置における判定の段階を、前記第１段階から前記第２段階に移行させる、判定装置。
【請求項５】
センシング部により判定が必要とされた判定対象の良否を判定する判定方法であって、
前記判定は、第１フェーズと第２フェーズとを含む複数のフェーズのいずれかに従って実行され、
前記第１フェーズでは、前記判定対象について判定員による良否判定結果の取得を実行し、
前記第２フェーズでは、前記センシング部によるセンシング結果と前記判定員による良否判定結果とにより学習された判定モデルを用いて、前記判定対象を良と不良と不良候補とのいずれかに判定して、前記不良候補について前記判定員による良否判定結果の取得を実行し、
以下の式（１）で表される見逃し率を逐次取得し、
見逃し率＝（前記判定員により不良と判定された前記不良候補のうち前記判定モデルにより良と判定された前記不良候補の数）／（前記判定員により不良と判定された前記不良候補の数）・・・式（１）
前記見逃し率が予め定められた第１閾値を下回ることを含む予め定められた移行条件が成立した場合に、前記判定を、前記第１フェーズから前記第２フェーズに移行させる、方法。
【請求項６】
センシング部により判定が必要とされた判定対象の良否を判定する判定方法であって、
前記判定は、第１段階と第２段階とを含む複数の段階のいずれかに従って実行され、
前記第１段階では、前記センシング部によるセンシング結果と判定員による良否判定結果とにより学習された判定モデルを用いて、前記判定対象を良と不良と不良候補とのいずれかに判定して、前記不良候補について前記判定員による良否判定結果の取得を実行し、
前記第２段階では、前記判定員による良否判定結果の取得を実行せず、前記判定対象について、前記判定モデルを用いて良否判定を実行し、
前記判定員により良否の再判定を実行した場合に良と判定されるにもかかわらず前記判定モデルにより不良と判定された前記判定対象を含む対象物を廃棄するコストが、前記判定モデルにより不良と判定された前記判定対象について前記判定員による前記再判定を実行するコストを下回った場合に、前記判定を、前記第１段階から前記第２段階に移行させる、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、判定装置及び判定方法に関する。
【背景技術】
【０００２】
特許文献１には、対象物から取得した特徴量に応じて、対象物の良否を検査する装置が記載されている。この装置では、良品である対象物と不良品である対象物とから取得した特徴量の度数分布から、不良品である対象物を良品であると判定する割合である見逃し率の実測値を算出する。そして、統計的手法を用いて、見逃し率の予測値を算出し、良否を判定するための閾値の変化に応じた、算出された見逃し率の実測値の変化を示すグラフと、算出された見逃し率の予測値の変化を示すグラフとを表示することで、ユーザーに対して対象物の良否を確度よく判定できる閾値を設定するための情報を提供している。このような判定は、機械学習を使用した判定モデルを用いて行うことも可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１３９６２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
対象物が良品であるか否かの判定では、機械学習を使用した判定モデルのみにより判定を行うよりも、判定員による判定を含ませた方が、判定の精度が向上する。しかしながら、従来は、判定員による判定と、機械学習を用いた判定モデルによる判定とを用いて効率的に判定を行う点については十分に考慮されていなかった。
【課題を解決するための手段】
【０００５】
本開示の第１の形態によれば、センシング部により判定が必要とされた判定対象の良否を判定する判定装置が提供される。この判定装置は、判定員による良否判定結果を取得する第１判定部と、前記センシング部によるセンシング結果と前記判定員による良否判定結果とにより学習された判定モデルを用いて、前記判定対象の良否判定を実行する第２判定部と、前記判定装置における判定のフェーズを移行させる移行部と、を備え、前記判定は、第１フェーズと第２フェーズとを含む複数のフェーズのいずれかに従って実行され、前記第１フェーズでは、前記判定対象について前記第１判定部による良否判定結果の取得を実行し、前記第２フェーズでは、前記第２判定部により前記判定対象を良と不良と不良候補とのいずれかに判定し、前記不良候補について前記第１判定部による良否判定結果の取得を実行し、前記移行部は、以下の式（１）で表される見逃し率を逐次取得し、
見逃し率＝（前記判定員により不良と判定された前記判定対象のうち前記第２判定部により良と判定された前記判定対象の数）／（前記判定員により不良と判定された前記判定対象の数）・・・式（１）
前記移行部は、前記見逃し率が予め定められた第１閾値を下回ることを含む予め定められた移行条件が成立した場合に、前記判定装置における判定のフェーズを、前記第１フェーズから前記第２フェーズに移行させる。
【０００６】
本開示の第２の形態によれば、センシング部により判定が必要とされた判定対象の良否を判定する判定装置が提供される。この判定装置は、判定員による良否判定結果を取得する第１判定部と、前記センシング部によるセンシング結果と前記判定員による良否判定結果との対応付けにより学習された判定モデルを用いて、前記判定対象の良否判定を実行する第２判定部と、前記判定装置における判定の段階を移行させる移行部と、を備え、前記判定は、第１段階と第２段階とを含む複数の段階のいずれかに従って実行され、前記第１段階では、前記第２判定部により前記判定対象を良と不良と不良候補とのいずれかに判定し、前記不良候補について前記第１判定部による良否判定結果の取得を実行し、前記第２段階では、前記第１判定部による良否判定結果の取得を実行せず、前記判定対象について、前記第２判定部による良否判定を実行し、前記移行部は、前記判定員により良否の再判定を実行した場合に良と判定されるにもかかわらず前記第２判定部により不良と判定された前記判定対象を含む対象物を廃棄するコストが、前記第２判定部により不良と判定された前記判定対象について前記判定員により前記再判定を実行するコストを下回った場合に、前記判定装置における判定の段階を、前記第１段階から前記第２段階に移行させる。
【図面の簡単な説明】
【０００７】
【図１】本開示の一実施形態として判定システムの概略構成を示す図である。
【図２】検査データベースに保存される複数の検査画像情報の例を示すイメージ図である。
【図３】第１フェーズにおいて機能する部分以外をグレーで示した図である。
【図４】第３フェーズにおいて機能する部分以外をグレーで示した図である。
【図５】判定装置における判定方法について示す工程図である。
【図６】見逃し率と誤検出率と蓄積データセット量との時間変化を示す図である。
【図７】第２実施形態における判定方法について示す工程図である。
【図８】見逃し率と誤検出率と蓄積データセット量との時間変化を示す図である。
【図９】第１転送処理を示す工程図である。
【図１０】第２転送処理を示す工程図である。
【図１１】第２転送処理を示す工程図である。
【発明を実施するための形態】
【０００８】
Ａ．第１実施形態
Ａ１．判定システムの構成
図１は、本開示の一実施形態としての判定システム５の概略構成を示す図である。判定システム５は、検査装置２０と、目視検査装置４０と、自動分類装置５０と、学習装置７０と、転送装置９０と、検査データベース６０と、を備える。判定システム５における各装置は、ネットワークにより接続されている。目視検査装置４０と自動分類装置５０とを「判定装置１０」とも呼ぶ。判定装置１０は、対象物の良否判定を実行するための装置である。
【０００９】
検査装置２０は、対象物のセンシング結果を取得するセンシング部２１を備える。本実施形態において、センシング部２１は、対象物を撮像し、撮像した画像データをセンシング結果として取得するカメラを含む。本実施形態において、センシング部２１は、更に、画像データに画像処理を施して、予め記憶された良品の対象物のデータと比較することで、対象物における判定対象点の有無を判定する。判定対象点とは、目視検査装置４０や自動分類装置５０において判定が必要とされる箇所である。センシング部２１は、予め記憶された対象物の異物やキズ等を判定するためのデータを用いて、判定対象点について、「異物有」、「キズ有」等の判定を実行する。なお、判定対象点が存在しない対象物を「良品」とも呼ぶ。検査装置２０は、各対象物について、判定対象点の有無や検査装置２０による判定対象点の判定結果が対応付けられた良否判定情報と、センシング結果を含む検査画像ファイルと、を備える検査画像情報を、検査データベース６０に保存する。
【００１０】
目視検査装置４０は、第１判定部４１と、移行部４２と、表示装置４５と、を備える。第１判定部４１、移行部４２は、それぞれ、目視検査装置４０の備える図示しないＣＰＵが図示しないメモリーに記憶されたプログラムを展開して実行することで、その機能を実現する。移行部４２は判定装置１０における判定のフェーズを移行させる。判定のフェーズについては後述する。
【００１１】
第１判定部４１は、表示装置４５に、検査データベース６０に保存された検査画像ファイルにおける判定対象点を表示させる。判定員は、表示された判定対象点について、図示しない入力装置を介して、良否判定結果及びその確信度を入力する。第１判定部４１は、入力された良否判定結果及び確信度を取得する。第１判定部４１は、取得した判定対象点の良否判定結果及び確信度を用いて検査画像情報を更新して、検査データベース６０に保存する。第１判定部４１は、判定員により付与された判定対象点の不良の種類を取得してもよい。不良の種類は、「異物有」、「キズ有」等である。
【００１２】
図２は、検査データベース６０に保存される複数の検査画像情報の例を示すイメージ図である。図２には、検査装置２０及び目視検査装置４０において判定が行われた３つの対象物の検査画像情報ｆ１、ｆ２、ｆ３が示されている。検査画像情報ｆ１、ｆ２、ｆ３における良否判定情報を以下に示す。各良否判定情報は、後述する自動分類装置５０により判定対象点に自動分類ラベルが付与されると、更新される。図２に示す検査画像情報ｆ１、ｆ２、ｆ３における良否判定情報には、未だ自動分類ラベルが付与されていない。
【００１３】
＜検査画像情報ｆ１＞
［判定対象点１］
位置：x＝10,y＝50
検査装置による判定情報：異物有
目視検査分類ラベル：良品
ラベルの確信度：70％
自動分類ラベル：未
［判定対象点２］
位置：x＝30,y＝40
検査装置による判定情報：キズ有
目視検査分類ラベル：不良（キズ有）
ラベルの確信度：90％
自動分類ラベル：未
＜検査画像情報ｆ２＞
［判定対象点なし］
＜検査画像情報ｆ３＞
［判定対象点１］
位置：x＝60,y＝40
検査装置による判定情報：キズ有
目視検査分類ラベル：良品
ラベルの確信度：50％
自動分類ラベル：未
［判定対象点２］
位置：x＝70,y＝80
検査装置による判定情報：異物有
目視検査分類ラベル：良品
ラベルの確信度：60％
自動分類ラベル：未
【００１４】
上記の判定対象点における項目について説明する。「位置」は、対象物の画像データにおける座標である。「検査装置による判定情報」は、センシング部２１による判定対象点についての判定の結果である。「目視検査分類ラベル」は、判定員による良否判定結果と、判定員により判定された不良の種類である。「ラベルの確信度」は、判定員による良否判定結果の確信度である。「自動分類ラベル」は、第２判定部５１による判定の結果である。
【００１５】
図１に戻り、検査データベース６０は、各対象物についての検査画像情報を保存する。
【００１６】
転送装置９０は、検査データベース６０に蓄積された検査画像情報を、ネットワークを介して学習装置７０に転送する。
【００１７】
学習装置７０は、転送されて学習装置７０に蓄積された検査画像情報における、対象物のセンシング結果と判定員による良否判定結果とにより学習を行う。対象物のセンシング結果と判定員による良否判定結果とのセットを、「データセット」とも呼ぶ。学習装置７０は、学習の初期段階では判定対象点を良と不良と不良候補とのいずれかに判定し、学習によって判定対象点を良と不良とのいずれかに判定するように、判定モデルを生成する。後述する第１フェーズ及び第２フェーズにおいて、学習装置７０は、データセットを用いた学習と、学習された判定モデルについての評価と、を定期的に実行する。学習と評価とは、例えば、学習装置７０に蓄積された検査画像情報が所定のデータ量に達する度に行われてもよい。
【００１８】
学習装置７０は、転送されたデータセットを、学習用のデータセットと、評価用のデータセットとに分割する。学習装置７０は、学習用のデータセットを用いて学習された判定モデルにより、評価用のデータセットにおける判定対象点の良否判定を実行する、クロスバリデーション方式により評価を行う。学習装置７０は、判定員により不良と判定された判定対象の数と、判定員により不良と判定された判定対象点のうち、判定モデルにより良と判定された判定対象点の数と、を算出し、以下の式（１）で表される見逃し率を算出する。
【００１９】
見逃し率＝（判定員により不良と判定された判定対象点のうち第２判定部５１により良と判定された判定対象点の数）／（判定員により不良と判定された判定対象点の数）・・・式（１）
【００２０】
また、学習装置７０は、判定員により良と判定された判定対象のうち判定モデルにより不良と判定された判定対象の数と、判定員により良と判定された判定対象点の数と、を算出し、以下の式（２）で表される誤検出率を算出してもよい。
【００２１】
誤検出率＝（判定員により良と判定された判定対象点のうち第２判定部５１により不良と判定された判定対象点の数）／（判定員により良と判定された判定対象点の数）・・・式（２）
【００２２】
自動分類装置５０は、第２判定部５１を備える。第２判定部５１は、自動分類装置５０の備える図示しないＣＰＵが、図示しないメモリーに記憶されたプログラムを展開して実行することで、その機能を実現する。第２判定部５１は、学習装置７０により学習された判定モデルを用いて、判定対象点の判定を実行する。第２判定部５１は、検査画像情報における良否判定情報に、判定対象点の判定結果である自動分類ラベルを付与して、検査データベース６０に保存する。
【００２３】
Ａ２．判定装置における判定フェーズ
次に、判定装置１０における判定のフェーズについて説明する。判定装置１０における判定は、第１フェーズと第２フェーズとを含む複数のフェーズのいずれかに従って実行される。本実施形態において、判定装置１０における判定は、第１フェーズと、第２フェーズと、第３フェーズとのいずれかに従って実行される。
【００２４】
＜第１フェーズ＞
図３は、第１フェーズにおいて機能する部分以外をグレーで示した図である。第１フェーズでは、判定対象点について第１判定部４１による良否判定結果の取得を実行する。第１フェーズでは、全ての判定対象点について判定員による判定が実行される。第１フェーズは、学習装置７０による学習を行うためのデータセットが収集される「データ収集フェーズ」でもある。第１フェーズでは、図３に示すように、自動分類装置５０における判定は実行されない。本実施形態において、第１フェーズは、以下に示す（Ｓ１−１）から（Ｓ１−６）の工程を含む。
【００２５】
（Ｓ１−１）検査装置２０のセンシング部２１が、対象物のセンシングを行う工程。
（Ｓ１−２）検査装置２０のセンシング部２１が、センシング結果を用いて判定対象点を抽出する工程。
（Ｓ１−３）目視検査装置４０の第１判定部４１が、判定対象点を含む検査画像ファイルの良否判定情報に対して、判定員により付与された良否判定結果を取得する工程。
（Ｓ１−４）検査画像情報が、ネットワークの専用線を介して検査データベース６０に保存される工程。
（Ｓ１−５）転送装置９０が、検査データベース６０に保存された検査画像情報を、定期的にネットワーク上の学習装置７０に転送する工程。
（Ｓ１−６）学習装置７０が、転送された検査画像情報におけるデータセットであるセンシング結果と判定員による良否判定結果とにより学習を行い、判定対象点の良否判定を行うための判定モデルを生成する工程。
【００２６】
＜第２フェーズ＞
第２フェーズでは、図１に示した各装置が機能する。第２フェーズでは、自動分類装置５０の第２判定部５１は、判定モデルを用いて、判定対象点を、良と不良と不良候補とのいずれかに判定する。第２フェーズでは、不良候補と判定された判定対象点である不良候補点について、第１判定部４１による良否判定結果の取得を実行する。すなわち、第２フェーズでは、第１フェーズとは異なり、判定対象点のうち不良候補点についてのみ、判定員による判定が実行される。そのため、第２フェーズでは、判定員が良否判定を行う判定対象点の数は、第１フェーズよりも削減される。本実施形態において、第２フェーズは、第１フェーズの（Ｓ１−１）、（Ｓ１−２）、（Ｓ１−４）、（Ｓ１−５）、（Ｓ１−６）とそれぞれ同様の工程である（Ｓ２−１）、（Ｓ２−２）、（Ｓ２−５）、（Ｓ２−６）、（Ｓ２−７）の工程と、以下に示す（Ｓ２−３）、（Ｓ２−４）の工程と、を含む。
【００２７】
（Ｓ２−３）自動分類装置５０の第２判定部５１が、検査装置２０において抽出された判定対象点について、良と不良と不良候補とのいずれかに判定する工程。本工程では、第２判定部５１は、判定対象点について、判定モデルを用いて良であるスコアと不良であるスコアとをそれぞれ算出する。第２判定部５１は、良であるスコアが閾値以上の判定対象点を「良」と判定し、不良であるスコアが閾値以上の判定対象点を「不良」と判定し、スコアが閾値未満の判定対象点を「不良候補」と判定する。第２判定部５１は、検査画像情報における良否判定情報に、判定モデルによる判定対象点の判定結果を付与して、検査データベース６０に保存する。
【００２８】
（Ｓ２−４）目視検査装置４０の第１判定部４１が、第２判定部５１により不良候補と判定された判定対象点について、判定員による良否判定結果を取得する工程。第１判定部４１は、表示装置４５に、検査データベース６０に保存された画像データにおける判定対象点のうちの不良候補点を表示させる。第１判定部４１は、不良候補点について、判定員による良否判定結果及び確信度を取得する。第１判定部４１は、検査画像情報における良否判定情報に不良候補点の良否判定結果及び確信度を付与して、検査データベース６０に保存する。
【００２９】
図４は、第３フェーズにおいて機能する部分以外をグレーで示した図である。第３フェーズでは、判定対象点について第１判定部４１による良否判定結果の取得を実行せず、第２判定部５１による良否判定を実行する。すなわち、第３フェーズでは、判定員による判定は行われず、第２判定部５１の良否判定結果が、判定対象点における最終的な良否判定結果となる。本実施形態において、第３フェーズは、第１フェーズにおける（Ｓ１−１）、（Ｓ１−２）、（Ｓ１−４）の工程とそれぞれ同様の工程である、（Ｓ３−１）、（Ｓ３−２）、（Ｓ３−４）の工程と、以下に示す（Ｓ３−３）の工程と、を含む。
【００３０】
（Ｓ３−３）自動分類装置５０の第２判定部５１が、検査装置２０において抽出された判定対象点について、良否判定を実行する工程。本工程では、第２判定部５１は、判定対象点について、第２フェーズよりも学習が進んだ判定モデルを用いて、判定対象点を良と不良とのいずれかに判定する。
【００３１】
Ａ３．判定方法
図５は、判定装置１０における判定方法について示す工程図である。ステップＳ１０では、判定装置１０において、第１フェーズによる判定が行われる。第１フェーズでは、全ての判定対象点について、第１判定部４１が良否判定結果の取得を実行する。第１フェーズにおいて、移行部４２は、上述の見逃し率を、逐次取得する。
【００３２】
ステップＳ２０では、移行部４２は、移行条件が成立したか否かを判定する。移行条件は、見逃し率が予め定められた第１閾値を下回ることを含む。移行条件が成立しない場合には、ステップＳ１０において第１フェーズによる判定が継続される。移行条件が成立した場合には、移行部４２は、処理をステップＳ３０に進める。
【００３３】
なお、ステップＳ２０において、移行部４２は、判定対象点のうち、本来であれば「不良」であるにもかかわらず判定員が「良」と判定してしまう判定対象点の数を、第１閾値として設定してもよい。以下、本来であれば「不良」である判定対象点を「真の不良」とも呼び、本来であれば「良」である判定対象点を「真の良」とも呼ぶ。真の不良、真の良は、判定員による再判定を行うことにより抽出可能である。判定員により、真の不良が「良」と判定されたり、真の良が「不良」と判定されることは、判定員の判定ミスや複数の判定員間における判定基準の不統一等により、一定の割合で生じ得る。
【００３４】
移行部４２は、全ての判定対象点について再判定を行うことによるコスト増加を抑制するために、以下の方法により第１閾値を設定してもよい。まず、移行部４２は、判定員により「良」と判定された複数の判定対象点について第２判定部５１に判定をさせ、各判定対象点についての「良」であるスコアを算出する。移行部４２は、複数の判定対象点のうち、抽出する判定対象点の割合を定め、スコアがより低い判定対象点を抽出する。移行部４２は、抽出された判定対象点について判定員による再判定を実行させる。移行部４２は、再判定結果を用いて「真の不良」を特定する。特定された真の不良の数は、判定員による見逃しの下限値である。移行部４２は、特定された真の不良の数と、以下の式（３）により、算出した第１閾値を、ステップＳ２０における第１閾値として設定する。
【００３５】
第１閾値＞（再判定により真の不良と判定された判定対象点の数）／（判定員により良と判定された判定対象点の数）・・・式（３）
【００３６】
ステップＳ３０では、第２フェーズによる判定が行われる。第２フェーズでは、判定対象点のうち第２判定部５１により不良候補と判定された判定対象点について、第１判定部４１が良否判定結果の取得を実行する。ステップＳ３０では、移行部４２は、廃棄コストと再判定コストとを逐次取得する。廃棄コストは、判定員により良否の再判定を実行した場合に良と判定されるにもかかわらず、第２判定部５１により不良と判定された判定対象点を含む対象物を廃棄するコストである。移行部４２は、学習装置７０により誤検出率が算出される際の誤検出数と、対象物のコストとから、廃棄コストを算出し取得することができる。再判定コストは、判定員により、所定数の判定対象点を再判定するコストである。対象物のコスト及び再判定コストは、判定システム５の管理者等により、図示しない入力部を介して移行部４２に入力される。
【００３７】
ステップＳ４０では、移行部４２は、廃棄コストと再判定コストとを逐次取得し、廃棄コストが再判定コストを下回ったか否かを判定する。廃棄コストが再判定コスト以上である場合には、ステップＳ３０において、第２フェーズにおける判定が継続される。廃棄コストが再判定コストを下回った場合には、移行部４２は、処理をステップＳ５０に進める。
【００３８】
ステップＳ５０では、第３フェーズによる判定が行われる。第３フェーズでは、全ての判定対象点について、判定員による判定が行われず、第２判定部５１による良否判定が実行される。以上のようにして、判定装置１０における判定が実行される。
【００３９】
図６は、見逃し率と誤検出率と蓄積データセット量との時間変化を示す図である。図６には、見逃し率を表すグラフＬ１と、誤検出率を表すグラフＬ２と、蓄積データセット量を表すグラフＬ３と、が示されている。図６に示すように、データセットの蓄積が進むにつれ、学習装置７０における学習が進むので、見逃し率と誤検出率とは次第に低下する。図６に示す例では、移行部４２は、見逃し率が第１閾値を下回り、かつ、誤検出率が第２閾値を下回った時刻ｔ１において、判定のフェーズを第１フェーズから第２フェーズに移行させる。図６に示す例では、移行部４２は、廃棄コストが再判定コストを下回った時刻ｔ２において、判定のフェーズを第２フェーズから第３フェーズに移行させる。
【００４０】
この形態によれば、見逃し率が予め定められた第１閾値を下回ったことを含む移行条件が成立した場合に、判定装置１０における判定を、判定対象について判定員による良否判定が行われる第１フェーズから、判定対象について第２判定部５１により不良候補と判定された場合に判定員による良否判定が行われる第２フェーズへ移行させるため、客観的な指標を用いて判定のフェーズを移行させることができる。そのため、判定員による判定と、学習による判定モデルによる判定とを用いて効率的に判定を行うことができる。また、不良である判定対象について良品と判定されることを抑制することができる。
【００４１】
上記形態において、移行部４２は、見逃し率が第１閾値を下回り、かつ、誤検出率が予め定められた第２閾値を下回った場合に、判定装置１０における判定を、第１フェーズから第２フェーズへ移行させてもよい。移行部４２は、第２閾値として、例えば、一日当たりに判定員が判定する判定対象点数のうち、削減したい判定対象点数から算出される誤検出率を用いてもよい。この形態によれば、良品である対象物について良品でないと判定されることを抑制することができる。
【００４２】
この形態によれば、廃棄コストが再判定コストを下回った場合に、判定装置１０における判定を、判定対象について第２判定部５１により不良候補と判定された場合に判定員による良否判定が行われる第２フェーズから、判定員による良否判定を実行せず第２判定部５１により良否判定を実行する第３フェーズへ移行させることができる。そのため、判定員による判定と、学習による判定モデルによる判定とを用いて効率的に判定を行うことができる。また、良否判定に係るコストを削減することができる。
【００４３】
Ｂ．第２実施形態
第２実施形態では、移行部４２は、判定装置１０における判定の段階を移行させる。判定装置１０における判定は、第１段階と第２段階とを含む複数の段階に従って実行される。
【００４４】
第１段階は、第２判定部５１により判定対象を良と不良と不良候補とのいずれかに判定し、不良候補について前記第１判定部４１による良否判定結果の取得を実行する段階である。第１段階は、第１実施形態の第２フェーズを含む段階である。第２段階は、第１判定部４１による良否判定結果の取得を実行せず、判定対象について、第２判定部５１による良否判定を実行する段階である。第２段階は、第１実施形態における第３フェーズに相当する。
【００４５】
図７は、第２実施形態における判定方法について示す工程図である。ステップＳ３０ａでは、第１段階による判定が行われる。第１段階では、判定対象点のうち第２判定部５１により不良候補と判定された判定対象点について、第１判定部４１が良否判定結果の取得を実行する。本実施形態におけるステップＳ３０ａの処理は、第１実施形態におけるステップＳ３０の処理と同様である。
【００４６】
ステップＳ４０ａでは、移行部４２は、廃棄コストと再判定コストとを逐次取得し、廃棄コストが再判定コストを下回ったか否かを判定する。本実施形態におけるステップＳ４ａの処理は、第１実施形態におけるステップＳ４０の処理と同様である。廃棄コストが再判定コスト以上である場合には、ステップＳ３０ａにおいて、第１段階における判定が継続される。廃棄コストが再判定コストを下回った場合には、移行部４２は、処理をステップＳ５０ａに進める。
【００４７】
ステップＳ５０ａでは、第２段階による判定が行われる。第２段階では、全ての判定対象点について、判定員による判定が行われず、第２判定部５１による良否判定が実行される。本実施形態におけるステップＳ５０ａの処理は、第１実施形態におけるステップＳ５０の処理と同様である。以上のようにして、判定装置１０における判定が実行される。第２実施形態における判定装置１０、判定システム５のその他の構成は、第１実施形態と同様であるため説明を省略する。
【００４８】
図８は、見逃し率と誤検出率と蓄積データセット量との時間変化を示す図である。図８には、見逃し率を表すグラフＬ１ａと、誤検出率を表すグラフＬ２ａと、蓄積データセット量を表すグラフＬ３ａと、が示されている。図８に示すように、データセットの蓄積が進むにつれ、学習装置７０における学習が進むので、見逃し率と誤検出率とは次第に低下する。図８に示す例では、移行部４２は、廃棄コストが再判定コストを下回った時刻ｔ１ａにおいて、判定の段階を第１段階から第２段階に移行させる。
【００４９】
この形態によれば、廃棄コストが再判定コストを下回った場合に、判定装置１０における判定を、判定対象について第２判定部５１により不良候補と判定された場合に判定員による良否判定が行われる第１段階から、判定員による良否判定を実行せず第２判定部５１により良否判定を実行する第２段階へ移行させることができる。そのため、判定員による判定と、学習による判定モデルによる判定とを用いて効率的に判定を行うことができる。また、良否判定に係るコストを削減することができる。
【００５０】
Ｃ．第３実施形態
第３実施形態では、転送装置９０が学習装置７０にデータセットを転送する態様について説明する。
【００５１】
Ｃ１．第１転送処理
第１転送処理では、転送装置９０は、検査データベース６０に保存された複数の検査画像情報のうち、判定員による目視検査分類ラベルが「不良」である判定対象点が１つ以上含まれる検査画像情報を、優先的に学習装置７０へ転送する。図２に示した例では、転送装置９０は、検査画像情報ｆ１、ｆ３を、検査画像情報ｆ２よりも優先して学習装置７０へ転送する。
【００５２】
図９は、第１転送処理を示す工程図である。ステップＳ１００では、転送装置９０は、検査データベース６０から所定量の検査画像情報を取得する。転送装置９０は、例えば、判定装置１０において判定された一日分の検査画像情報を取得する。
【００５３】
ステップＳ１１０では、転送装置９０は、ステップＳ１００において取得した検査画像情報のうち１つの検査画像情報から、良否判定情報を取得する。以下のステップＳ１１０からステップＳ１６０の処理は、ステップＳ１００で取得された検査画像情報のそれぞれについて実行される。転送装置９０は、例えば、保存時刻が一番早いデータから順に、処理を実行する。
【００５４】
ステップＳ１２０では、転送装置９０は、ステップＳ１１０で取得された良否判定情報に、判定対象点が存在するか否かを判定する。判定対象点が存在する場合、転送装置９０は、処理をステップＳ１３０に進める。
【００５５】
ステップＳ１３０では、転送装置９０は、更に、ステップＳ１１０で取得された良否判定情報に、判定員による目視検査分類ラベルが付与されているか否かを判定する。目視検査分類ラベルが付与されている場合、転送装置９０は、処理をステップＳ１４０に進める。
【００５６】
ステップＳ１４０では、転送装置９０は、付与されている目視検査分類ラベルが不良ラベルか否かを判定する。不良ラベルは、判定対象点が不良であることを示すラベルである。付与されている目視検査分類ラベルが不良ラベルである場合、転送装置９０は、処理をステップＳ１５０に進める。付与されている目視検査分類ラベルが不良ラベルでない場合、転送装置９０は、処理をステップＳ１６０に進める。
【００５７】
ステップＳ１５０では、転送装置９０は、検査画像情報におけるステップＳ１４０で肯定判定された良否判定情報と検査画像ファイルとを、学習装置７０に転送する。すなわち、ステップＳ１５０では、転送装置９０は、不良ラベルが付与された、不良品である対象物の検査画像情報を学習装置７０に転送する。
【００５８】
ステップＳ１６０では、転送装置９０は、検査画像情報におけるステップＳ１４０で否定判定された良否判定情報と検査画像ファイルとを、一定の割合で学習装置７０に転送する。すなわち、ステップＳ１６０では、転送装置９０は、不良ラベルが付与されていない、良品である対象物の検査画像情報を学習装置７０に転送する。一定の割合で転送するとは、ステップＳ１４０で否定判定された検査画像情報のうち、所定の割合の検査画像情報を転送することである。ステップＳ１６０における割合は、判定システム５の管理者等により設定される。
【００５９】
ステップＳ１２０、ステップＳ１３０、ステップＳ１４０において否定判定がされた場合、あるいは、ステップＳ１５０、ステップＳ１６０が終了した場合、転送装置９０は、処理をステップＳ１７０に進める。
【００６０】
ステップＳ１７０では、転送装置９０は、ステップＳ１００で取得した全ての検査画像情報についてステップＳ１１０からステップＳ１６０までの処理が終了したか否かを判定する。ステップＳ１１０からステップＳ１６０までの処理が終了していない検査画像情報が存在する場合には、転送装置９０は、処理をステップＳ１１０に戻す。全ての検査画像情報についてステップＳ１１０からステップＳ１６０までの処理が終了した場合、転送装置９０は、第１転送処理を終了する。
【００６１】
この形態によれば、不良ラベルの付与された検査画像情報が学習装置７０に転送され、不良ラベルの付与されていない検査画像情報のうち、一定の割合の検査画像情報が学習装置７０に転送される。すなわち、不良ラベルの付与された検査画像情報が、不良ラベルの付与されていない検査画像情報よりも優先して学習装置７０に転送される。そのため、学習装置７０は、不良ラベルの付与されていないデータセットよりも、不良ラベルの付与されたデータセットを多く用いて学習された判定モデルを生成することができるので、良否判定の精度を向上させることができるとともに、転送装置９０が学習装置７０に転送するデータの容量を削減することができる。そのため、例えば、学習装置７０をクラウド上に構築することができる。
【００６２】
Ｃ２．第２転送処理
第２転送処理では、転送装置９０は、検査画像情報のうち、判定員による目視検査分類ラベルが「不良」である判定対象点が１つ以上含まれる検査画像情報を、優先的に学習装置７０へ転送する。本形態の検査画像情報には、判定員により、判定対象点の不良の種類が付与されている。不良の種類は、「異物有」、「キズ有」等である。
【００６３】
図１０及び図１１は、第２転送処理を示す工程図である。以下では、図９に示した第２転送処理と同様の工程については同じ符号を付し、説明を省略する。
【００６４】
ステップＳ１０２では、転送装置９０は、ステップＳ１００において取得された検査画像情報から、不良の種類の出現頻度を算出する。本形態において、不良の種類は、「異物有」や、「キズ有」等を含む。
【００６５】
ステップＳ１０４では、判定システム５の管理者等により、出現頻度に対して閾値が設定される。不良ラベルの出現頻度が閾値を下回ることは、当該不良の出現頻度が低いことである。
【００６６】
第２転送処理におけるステップＳ１１０からステップＳ１４０では、転送装置９０は、ステップＳ１４０において不良ラベルが付与されている場合に処理をステップＳ１４５に進めることを除き、第１転送処理におけるステップＳ１１０からステップＳ１４０と同様の処理を行う。
【００６７】
ステップＳ１４５では、転送装置９０は、ステップＳ１４０における不良ラベルについて、出現頻度がステップＳ１０４において設定された閾値を下回る不良の種類であるか否かを判定する。閾値を下回る場合には、転送装置９０は処理をステップＳ１５０に進める。閾値以上である場合には、転送装置９０は処理をステップＳ１６０に進める。
【００６８】
第２転送処理におけるステップＳ１５０、ステップＳ１６０、ステップＳ１７０の処理は、第１転送処理におけるステップＳ１５０、ステップＳ１６０、ステップＳ１７０の処理と同様であるため説明を省略する。
【００６９】
この形態によれば、不良ラベルの付与された検査画像情報のうち、出現頻度の低い不良の種類を含む検査画像情報が、優先的に学習装置７０に転送される。そのため、学習装置７０において、出現頻度の低い不良についての学習が進むので、判定の精度をより向上させることができるとともに、転送装置９０が学習装置７０に転送するデータの容量を削減することができる。
【００７０】
Ｄ．他の実施形態
Ｄ１．他の実施形態１
上記実施形態において、移行部４２は、目視検査装置４０に代えて、判定装置１０の備える自動分類装置５０や、判定システム５の備える学習装置７０や、判定システム５にネットワークで接続された他の装置に備えられていてもよい。この場合、第１判定部４１と、第２判定部５１と、移行部４２との機能を実現する装置を「判定装置１０」と呼ぶこともできる。
【００７１】
Ｄ２．他の実施形態２
上記実施形態において、センシング部２１は、例えば、対象物の匂い、味、音響等、画像以外の結果を取得してもよい。また、センシング部２１は、対象物における判定対象点の有無を判定しなくともよく、センシング結果を判定対象としてもよい。例えば、判定員は、画像処理され、複数のデータに分割されたセンシング結果を、判定対象点として良否判定してもよく、第１判定部４１は、当該良否判定結果を取得してもよい。また、第２判定部５１は、画像処理し、複数のデータに分割した判定対象点が、判定モデルを用いて画像処理され、複数のデータに分割されたセンシング結果を、判定対象点として良否判定してもよい。
【００７２】
Ｄ３．他の実施形態３
上記実施形態において、移行部４２は、判定のフェーズや判定の段階を移行させた場合には、表示装置４５に、判定のフェーズや判定の段階が移行したことを表示させてもよい。この形態によれば、判定システム５の管理者等は、判定員による良否判定が行われる判定対象点の数が削減されたことや、判定員による判定が不要になったこと等を知ることができる。そのため、判定員の配置や、判定装置１０において良否判定を行う対象物の数等を適切に管理することができる。
【００７３】
Ｄ４．他の実施形態４
上記第３実施形態において、転送装置９０は、判定員により付与された不良ラベルの確信度が所定の閾値より高い判定対象点を含む検査画像情報を、優先的に学習装置７０に転送してもよい。所定の閾値は、判定システム５の管理者等により転送装置９０に入力されてもよい。この形態によれば、確信度が高い不良ラベルについて優先的に学習されるので、判定の精度をより向上させることができるとともに、転送装置９０が学習装置７０に転送するデータの容量を削減することができる。
【００７４】
Ｄ５．他の実施形態５
上記第３実施形態において、転送装置９０は、判定対象点が含まれないデータセットについて、学習装置７０に転送しなくてもよい。この形態によれば、転送装置９０が学習装置７０に転送するデータの容量を削減することができる。
【００７５】
Ｄ６．他の実施形態６
上記第３実施形態において、転送装置９０は、複数の判定対象点を含み、判定対象点の判定員による不良ラベルが「良」である判定対象点と、「不良」である判定対象点と、を含む良否判定情報及び関連する検査画像ファイルを優先して学習装置７０に転送してもよい。図２に示す例では、転送装置９０は、検査画像情報ｆ３を、検査画像情報ｆ１に優先して学習装置７０に転送してもよい。この形態によれば、１つの検査画像ファイルと良否判定情報とを転送するだけで、学習装置７０に、複数のデータセットを蓄積させることができる。そのため、判定の精度を向上させつつ、転送装置９０が学習装置７０に転送するデータ容量を削減することができる。
【００７６】
Ｅ．他の形態
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【００７７】
（１）本開示の第１の形態によれば、センシング部により判定が必要とされた判定対象の良否を判定する判定装置が提供される。この判定装置は、判定員による良否判定結果を取得する第１判定部と、前記センシング部によるセンシング結果と前記判定員による良否判定結果とにより学習された判定モデルを用いて、前記判定対象の良否判定を実行する第２判定部と、前記判定装置における判定のフェーズを移行させる移行部と、を備え、前記判定は、第１フェーズと第２フェーズとを含む複数のフェーズのいずれかに従って実行され、前記第１フェーズでは、前記判定対象について前記第１判定部による良否判定結果の取得を実行し、前記第２フェーズでは、前記第２判定部により前記判定対象を良と不良と不良候補とのいずれかに判定し、前記不良候補について前記第１判定部による良否判定結果の取得を実行し、前記移行部は、以下の式（１）で表される見逃し率を逐次取得し、
見逃し率＝（前記判定員により不良と判定された前記判定対象のうち前記第２判定部により良と判定された前記判定対象の数）／（前記判定員により不良と判定された前記判定対象の数）・・・式（１）
前記移行部は、前記見逃し率が予め定められた第１閾値を下回ることを含む予め定められた移行条件が成立した場合に、前記判定装置における判定のフェーズを、前記第１フェーズから前記第２フェーズに移行させる。
【００７８】
この形態によれば、見逃し率が予め定められた第１閾値を下回ったことを含む移行条件が成立した場合に、判定装置における判定を、判定対象について判定員による良否判定が行われる第１フェーズから、判定対象について第２判定部により不良候補と判定された場合に判定員による良否判定が行われる第２フェーズへ移行させるため、客観的な指標を用いて判定のフェーズを移行させることができる。そのため、判定員による判定と、学習による判定モデルによる判定とを用いて効率的に判定を行うことができる。また、不良である判定対象について良と判定されることを抑制することができる。
【００７９】
（２）上記形態において、前記移行部は、以下の式（２）で表される誤検出率を逐次取得し、
誤検出率＝（前記判定員により良と判定された前記判定対象のうち前記第２判定部により不良と判定された前記判定対象の数）／（前記判定員により良と判定された前記判定対象の数）・・・式（２）
前記移行条件は、前記見逃し率が前記第１閾値を下回り、かつ、前記誤検出率が予め定められた第２閾値を下回った場合に成立してもよい。
【００８０】
この形態によれば、判定装置における判定を、見逃し率が予め定められた第１閾値を下回り、かつ、誤検出率が予め定められた第２閾値を下回った場合に第１フェーズから第２フェーズへ移行させるため、良品である対象物について良品でないと判定されることを抑制することができ、良否判定の精度をより向上させることができる。
【００８１】
（３）上記形態において、前記判定は、前記第１フェーズと前記第２フェーズと第３フェーズとを含む複数のフェーズのいずれかに従って実行され、前記第３フェーズでは、前記第１判定部による良否判定結果の取得を実行せず、前記判定対象について、前記第２判定部による良否判定を実行し、前記移行部は、前記判定員により良否の再判定を実行した場合に良と判定されるにもかかわらず前記第２判定部により不良と判定された前記判定対象を含む対象物を廃棄するコストが、前記第２判定部により不良と判定された前記判定対象について前記判定員により前記再判定を実行するコストを下回った場合に、前記判定装置における判定のフェーズを、前記第２フェーズから前記第３フェーズに移行させてもよい。
【００８２】
この形態によれば、廃棄コストが再判定コストを下回った場合に、判定装置における判定を、判定対象について第２判定部により不良候補と判定された場合に判定員による良否判定が行われる第２フェーズから、判定員による良否判定を実行せず第２判定部により良否判定を実行する第３フェーズへ移行させることができる。そのため、判定員による判定と、学習による判定モデルによる判定とを用いて効率的に判定を行うことができる。また、良否判定に係るコストを削減することができる。
【００８３】
（４）本開示の第２の形態によれば、センシング部により判定が必要とされた判定対象の良否を判定する判定装置が提供される。この判定装置は、判定員による良否判定結果を取得する第１判定部と、前記センシング部によるセンシング結果と前記判定員による良否判定結果との対応付けにより学習された判定モデルを用いて、前記判定対象の良否判定を実行する第２判定部と、前記判定装置における判定の段階を移行させる移行部と、を備え、前記判定は、第１段階と第２段階とを含む複数の段階のいずれかに従って実行され、前記第１段階では、前記第２判定部により前記判定対象を良と不良と不良候補とのいずれかに判定し、前記不良候補について前記第１判定部による良否判定結果の取得を実行し、前記第２段階では、前記第１判定部による良否判定結果の取得を実行せず、前記判定対象について、前記第２判定部による良否判定を実行し、前記移行部は、前記判定員により良否の再判定を実行した場合に良と判定されるにもかかわらず前記第２判定部により不良と判定された前記判定対象を含む対象物を廃棄するコストが、前記第２判定部により不良と判定された前記判定対象について前記判定員により前記再判定を実行するコストを下回った場合に、前記判定装置における判定の段階を、前記第１段階から前記第２段階に移行させる。
【００８４】
この形態によれば、廃棄コストが再判定コストを下回った場合に、判定装置における判定を、判定対象について第２判定部により不良候補と判定された場合に判定員による良否判定が行われる第１段階から、判定員による良否判定を実行せず第２判定部により良否判定を実行する第２段階へ移行させることができる。そのため、判定員による判定と、学習による判定モデルによる判定とを用いて効率的に判定を行うことができる。また、良否判定に係るコストを削減することができる。
【００８５】
（５）本開示の第３の形態によれば、センシング部により判定が必要とされた判定対象の良否を判定する判定方法が提供される。この方法において、前記判定を、第１フェーズと第２フェーズとを含む複数のフェーズのいずれかに従って実行し、前記第１フェーズでは、前記判定対象について判定員による良否判定結果の取得を実行し、前記第２フェーズでは、前記センシング部によるセンシング結果と前記判定員による良否判定結果とにより学習された判定モデルを用いて、前記判定対象を良と不良と不良候補とのいずれかに判定して、前記不良候補について前記判定員による良否判定結果の取得を実行し、以下の式（１）で表される見逃し率を逐次取得し、
見逃し率＝（前記判定員により不良と判定された前記不良候補のうち前記判定モデルにより良と判定された前記不良候補の数）／（前記判定員により不良と判定された前記不良候補の数）・・・式（１）
前記見逃し率が予め定められた第１閾値を下回ることを含む予め定められた移行条件が成立した場合に、前記判定を、前記第１フェーズから前記第２フェーズに移行させる。
【００８６】
この形態によれば、見逃し率が予め定められた第１閾値を下回ったことを含む移行条件が成立した場合に、判定を、判定対象について判定員による良否判定が行われる第１フェーズから、判定対象について判定モデルにより不良候補と判定された場合に判定員による良否判定が行われる第２フェーズへ移行させるため、客観的な指標を用いて判定のフェーズを移行させることができる。そのため、判定員による判定と、学習による判定モデルによる判定とを用いて効率的に判定を行うことができる。また、不良である判定対象について良と判定されることを抑制することができる。
【００８７】
（６）本開示の第４の形態によれば、センシング部により判定が必要とされた判定対象の良否を判定する判定方法が提供される。この方法において、前記判定を、第１段階と第２段階とを含む複数の段階のいずれかに従って実行し、前記第１段階では、前記センシング部によるセンシング結果と判定員による良否判定結果とにより学習された判定モデルを用いて、前記判定対象を良と不良と不良候補とのいずれかに判定して、前記不良候補について前記判定員による良否判定結果の取得を実行し、前記第２段階では、前記判定員による良否判定結果の取得を実行せず、前記判定対象について、前記判定モデルを用いて良否判定を実行し、前記判定員により良否の再判定を実行した場合に良と判定されるにもかかわらず前記判定モデルにより不良と判定された前記判定対象を含む対象物を廃棄するコストが、前記判定モデルにより不良と判定された前記判定対象について前記判定員による前記再判定を実行するコストを下回った場合に、前記判定を、前記第１段階から前記第２段階に移行させる。
【００８８】
この形態によれば、廃棄コストが再判定コストを下回った場合に、判定を、判定対象について第２判定部により不良候補と判定された場合に判定員による良否判定が行われる第１段階から、判定員による良否判定を実行せず判定モデルにより良否判定を実行する第２段階へ移行させることができる。そのため、判定員による判定と、学習による判定モデルによる判定とを用いて効率的に判定を行うことができる。また、良否判定に係るコストを削減することができる。
【００８９】
本開示は、判定装置１０以外の種々の形態で実現することも可能である。例えば、判定装置１０を備える判定システム、判定装置１０による判定方法、判定のフェーズを移行させる方法、その方法を実現するコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体（non−transitory storage medium）等の形態で実現することができる。
【符号の説明】
【００９０】
５…判定システム、１０…判定装置、２０…検査装置、２１…センシング部、４０…目視検査装置、４１…第１判定部、４２…移行部、４５…表示装置、５０…自動分類装置、５１…第２判定部、６０…検査データベース、７０…学習装置、９０…転送装置
【図１】
2020079986.tif 000003
【図２】
2020079986.tif 000004
【図３】
2020079986.tif 000005
【図４】
2020079986.tif 000006
【図５】
2020079986.tif 000007
【図６】
2020079986.tif 000008
【図７】
2020079986.tif 000009
【図８】
2020079986.tif 000010
【図９】
2020079986.tif 000011
【図１０】
2020079986.tif 000012
【図１１】
2020079986.tif 000013