(57)【要約】【課題】検査対象品を検査する検査工程全体の良否判断の正確性を維持させつつ、各作業者の判断の正確性を向上させると共に、各作業者の習熟度の向上を図る。【解決手段】本発明に係る困り度判定装置は、検査品の検査作業をしている作業者の困り度を算出する困り度算出手段と、検査品の判定難易度を示す値を取得する判定難易度取得手段と、作業者の困り度の値と、検査品の判定難易度を示す値とを比較して、当該作業者による当該検査品の判断の正確性を確認させる必要があるか否かを判定する困り度判定手段と、困り度判定手段による判定結果に応じて、管理者端末に通知する通知手段とを備える。【選択図】      図１
2020160599.tif 000002
【特許請求の範囲】
【請求項１】
検査品の検査作業をしている作業者の困り度を算出する困り度算出手段と、
前記検査品の判定難易度を示す値を取得する判定難易度取得手段と、
前記作業者の困り度の値と、前記検査品の判定難易度を示す値とを比較して、当該作業者による当該検査品の判断の正確性を確認させる必要があるか否かを判定する困り度判定手段と、
前記困り度判定手段による判定結果に応じて、管理者端末に通知する通知手段と
を備えることを特徴とする困り度判定装置。
【請求項２】
前記困り度判定手段が、前記作業者の困り度の値と前記検査品の判定難易度の値との差分値と、所定の閾値とを比較することを特徴とする請求項１に記載の困り度判定装置。
【請求項３】
前記通知手段が、前記差分値が前記所定の閾値を超えている場合に、前記管理者端末に通知することを特徴とする請求項２に記載の困り度判定装置。
【請求項４】
前記検査品の判定難易度の値が、当該検査品の良否を判定する外部装置により当該検査品に付与された不良スコアに基づいて導出された値であることを特徴とする請求項１〜３のいずれかに記載の困り度判定装置。
【請求項５】
前記検査品の良否を判定する外部装置により付与された不良スコアと前記検査品の判定難易度との関係情報に基づいて、前記作業者の困り度情報を格納する個人データ格納手段と、
当該作業者による当該検査品の判断の正確性を確認した確認結果をフィードバック情報として取得するフィードバック情報取得手段と、
前記確認結果に基づいて前記作業者の判断が正当であるときに、前記作業者の困り度情報を更新する困り度情報更新手段と
を備えることを特徴とする請求項１〜４のいずれかに記載の困り度判定装置。
【請求項６】
前記作業者の困り度情報に当該作業者の習熟度の値を格納する習熟度格納手段と、
前記検査品の前記判定難易度の値と、前記習熟度の値とを比較する習熟度判定手段と
を備え、
前記通知手段が、前記前記検査品の前記判定難易度の値が、前記習熟度の値より大きいときに、前記管理者端末に通知する
ことを特徴とする請求項１〜５のいずれかに記載の困り度判定装置。
【請求項７】
前記フィードバック情報取得手段による取得された前記確認結果に応じて、前記作業者の習熟度の値を更新する習熟度更新手段を備えることを特徴とする請求項６に記載の困り度判定装置。
【請求項８】
前記作業者により判断された前記検査品を追跡する検査品追跡手段を備えることを特徴とする請求項１〜７のいずれかに記載の困り度判定装置。
【請求項９】
コンピュータを、
検査品の検査作業をしている作業者の困り度を算出する困り度算出手段と、
前記検査品の判定難易度を示す値を取得する判定難易度取得手段と、
前記作業者の困り度の値と、前記検査品の判定難易度を示す値とを比較して、当該作業者による当該検査品の判断の正確性を確認させる必要があるか否かを判定する困り度判定手段と、
前記困り度判定手段による判定結果に応じて、管理者端末に通知する通知手段と
して機能させることを特徴とする困り度判定プログラム。
【請求項１０】
困り度算出手段が、検査品の検査作業をしている作業者の困り度を算出し、
判定難易度取得手段が、前記検査品の判定難易度を示す値を取得し、
困り度判定手段が、前記作業者の困り度の値と、前記検査品の判定難易度を示す値とを比較して、当該作業者による当該検査品の判断の正確性を確認させる必要があるか否かを判定し、
通知手段が、前記困り度判定手段による判定結果に応じて、管理者端末に通知する
ことを特徴とする困り度判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、困り度判定装置、プログラム及び方法に関し、例えば、工場等において、検査対象品が、所定の検査項目を満たしたものであるか否かを検査する検査工程で適用し得るものである。
【背景技術】
【０００２】
特許文献１には、作業者の履歴に基づく納期順守率と育成達成率から、各作業に作業者を割り付けることが開示されている。これにより、例えば、早く終わらせたい作業工程には、納期順守率が高い作業者を割り当て、納期まで時間がある作業工程には、育成達成率が低い作業者を割り当てている。
【０００３】
特許文献２には、作業者のスキルレベルを確認して作業者の育成をする手法が開示されている。特許文献２の記載技術は、スキルレベルに応じた作業訓練プログラムを用いて、被訓練者に問題を出題して、被訓練者が回答することにより知識を向上させる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１９８３５３号公報
【特許文献２】特開２０１８−１３２５５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の記載技術は、作業者の判断が正しかったか否かに拘わらず、作業者の作業時間の長さに基づいて作業者の育成達成率を算出しているため、その作業者による作業正確性がどの程度成熟したのかを判断していないという課題がある。
【０００６】
また、特許文献２の記載技術は、作業訓練プログラムを用いて作業者のスキルレベルを確認するものであり、作業者が実際に行なう作業とは異なる別の作業に関する作業訓練プログラムを用意することが必要となる。また、作業者の能力レベルを確認するために、実際の作業時間とは別に、作業者の能力レベルを確認するための時間をとる必要があり、作業者の習熟度をリアルタイムで測定することができないという課題がある。
【０００７】
そのため、検査対象品を検査する検査工程全体の良否判断の正確性を維持させつつ、各作業者の判断の正確性を向上させると共に、各作業者の習熟度の向上を図ることができる困り度判定装置、プログラム及び方法が求められている。
【課題を解決するための手段】
【０００８】
かかる課題を解決するために、第１の本発明に係る困り度判定装置は、（１）検査品の検査作業をしている作業者の困り度を算出する困り度算出手段と、（２）検査品の判定難易度を示す値を取得する判定難易度取得手段と、（３）作業者の困り度の値と、検査品の判定難易度を示す値とを比較して、当該作業者による当該検査品の判断の正確性を確認させる必要があるか否かを判定する困り度判定手段と、（４）困り度判定手段による判定結果に応じて、管理者端末に通知する通知手段とを備えることを特徴とする。
【０００９】
第２の本発明に係る困り度判定プログラムは、コンピュータを、（１）検査品の検査作業をしている作業者の困り度を算出する困り度算出手段と、（２）検査品の判定難易度を示す値を取得する判定難易度取得手段と、（３）作業者の困り度の値と、検査品の判定難易度を示す値とを比較して、当該作業者による当該検査品の判断の正確性を確認させる必要があるか否かを判定する困り度判定手段と、（４）困り度判定手段による判定結果に応じて、管理者端末に通知する通知手段として機能させることを特徴とする。
【００１０】
第３の本発明に係る困り度判定方法は、（１）困り度算出手段が、検査品の検査作業をしている作業者の困り度を算出し、（２）判定難易度取得手段が、検査品の判定難易度を示す値を取得し、（３）困り度判定手段が、作業者の困り度の値と、検査品の判定難易度を示す値とを比較して、当該作業者による当該検査品の判断の正確性を確認させる必要があるか否かを判定し、（４）通知手段が、困り度判定手段による判定結果に応じて、管理者端末に通知することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、検査対象品を検査する検査工程全体の良否判断の正確性を維持させつつ、各作業者の判断の正確性を向上させると共に、各作業者の習熟度の向上を図ることができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る検査システムの全体的なイメージを示す全体構成図である。
【図２】第１の実施形態に係る困り度判定装置の内部構成を示す内部構成図である。
【図３】第１の実施形態に係る困り度判定装置における困り度判定方法の動作を示すフローチャートである。
【図４】第１の実施形態に係る検査品毎の不良スコア情報の構成を示す構成図である。
【図５】第１の実施形態に係る困り度基準分布の構成を示す構成図である。
【図６】第１の実施形態に係る作業者の困り度分布の更新を説明する説明図である。
【図７】第２の実施形態に係る困り度判定装置の内部構成を示す内部構成図である。
【図８】第２の実施形態に係る困り度判定装置における困り度判定方法の動作を示すフローチャートである。
【図９】第２の実施形態に係る作業者の習熟度の値を説明する説明図である。
【発明を実施するための形態】
【００１３】
（Ａ）基本概念
まず、本発明に係る困り度判定装置、プログラム及び方法の基本概念を説明する。
【００１４】
工場等で生産された部品又は製品は、出荷前に、所定の検査項目を満たしている良品又はそうでない品であるか否かの検査が行なわれる。例えば、電子回路の基板上に部品を接合する接合部材（例えば、はんだ等）の状態が正しい状態で付けられているか等の検査が行なわれる。
【００１５】
検査対象品である部品又は製品の検査の仕方には、様々なものがある。例えば、良品判定装置には、予め所定の検査項目に関する判断基準（検査条件）が設定されており、その良否判定装置を用いて、検査対象品が所定の検査項目を満たした良品であるか、又は、そうでない非良品（不良品候補）であるかを判定する。
【００１６】
工場等で不良品と判定されたものを流通させることは品質問題にかかわるので、一般的に、良否判定装置に設定されている所定の検査項目に係る判定基準（判定条件）は厳しく設定されている。
【００１７】
良否判定装置によって非良品（不良品候補）と判定されたものの中でも、完全に不良品と判定されるものと、詳細に確認すれば良品と判断しても差し支えないものも含まれており、非良品と判定された検査品については、最終的に、作業者の人手により判別される。
【００１８】
このように、検査対象品の検査工程は、良品判定装置による判定工程と、そのあとに行なわれる作業者等による人手による検査工程とを有することがある。
【００１９】
また、作業者の人手による検査で検査工程が終わることもあるが、検査対象品が良品であるか又は不良品であるの選別が難しい場合があり、作業者自身のみで判断することは難しく、結果として誤判断してしまうことがある。つまり、本来良品であるものを不良品と判断してしまうことや、逆に、本来不良品であるものを良品と判断してしまうこともある。
【００２０】
そこで、本発明は、良否判定装置等により良品と判定されなかった検査対象品の中から、良品としても差し支えのないものを、次の工程に進む前に見つけることにより、検査工程全体の良否判断の品質を維持する。さらに、各作業者の判断の正確性を向上させると共に、各作業者の習熟度を図ることができるようにする。
【００２１】
具体的には、良否判定装置等の機械で不良と判断された非良品（不良品候補）には、不良の度合いを表す不良スコアがつけられる。不良スコアが低いと良品に近くなり、高いと明らかに不良品とわかる。その中間のスコアは、機械が良品か不良品か判断が迷うものであり、人も判断に困るものと考えられる。そこで、不良スコアに対する困り度の正規分布を求め、この正規分布は困り度の基準の分布とする。そして、ある困り度の検査対象品において、基準の困り度を用いて、実際の作業者の困り度が閾値より高いときに、管理者による判断が必要であると判定し、管理者に通知する。
【００２２】
また、管理者は、作業者の困り度とは別に習熟度の閾値も設けることができる。習熟度は、例えば、作業者の経験年数や、これまでの作業の正確さによって決定されるようにしてもよい。また、習熟度の閾値は、困り度の正規分布の中で、ある困り度の値に設定される。そして、習熟度の閾値より大きい困り度の値をもつ不良品は、作業者の困り度によらず管理者に通知される。習熟度が上がると、習熟度の値も高くなり、習熟度の値が最大値に近づいたり又は最大値に達したりすると、管理者への通知回数が減少する。
【００２３】
さらに、作業者が検査し終えた検査対象品を撮像装置（カメラ）で追跡する。そして、管理者に通知する際に、その追跡情報を管理者に通知することによって、検査対象品の場所を特定することができる。
【００２４】
また、管理者に通知された検査対象品については管理者が確認する。そして、作業者の判断が正しかったか否かを示す確認結果をフィードバックする。これにより、作業者が時間をかけて検査する特性を持っていれば困り度の基準をその作業者に合わせて高くするなど調整することにより、基準の正規分布を個人に合う分布に変更でき、習熟度の閾値も同様に調整できる。
【００２５】
（Ｂ）第１の実施形態
以下では、本発明に係る困り度判定装置、プログラム及び方法の第１の実施形態を、図面を参照しながら詳細に説明する。
【００２６】
（Ｂ−１）第１の実施形態の構成
（Ｂ−１−１）全体構成
図１は、第１の実施形態に係る検査システムの全体的なイメージを示す全体構成図である。
【００２７】
図１において、第１の実施形態に係る検査システム１０は、良否判定装置３、困り度判定装置１、作業者用撮像装置２１、検査品用撮像装置２２、管理者端末４を有する。
【００２８】
なお、ここでは、説明を容易にするために、撮像装置について、作業者用撮像装置２１、検査品用撮像装置２２と区別して説明するが、撮像装置の用途・目的を区別せずに複数の撮像装置を用いるようにしてもよい。
【００２９】
図１において、第１の実施形態に係る検査システム１０は、例えば工場等で生産された部品若しくは製品（以下では、製品と表現する。）を検査するシステムである。図１に示すように、検査システム１０は、良否判定装置３を用いた装置による判定工程（図１（Ａ））と、良否判定装置３により所定の検査条件を満たしていないと判定された製品を、作業者６１の人手により検査する外観検査工程（図１（Ｂ））とを有する。
【００３０】
［良否判定装置］
上述した、装置による判定工程では、主として、良否判定装置３を有して構成される。良否判定装置３は、未検査品である製品５０の検査を行なうものである。良否判定装置３は、あらかじめ所定の検査項目に関する判定基準（検査条件）が設定されている検査条件記憶部３１と、検査条件記憶部３１に記憶されている検査条件を用いて、未検査品である製品５０が良品であるか又は非良品であるかを判定する判定部３２とを有する。
【００３１】
図１では、良否判定装置３により良品と判定された製品を「製品（良品）５１」と称し、良否判定装置３により非良品と判定された製品を「製品（非良品）５２」と称している。
【００３２】
ここで、装置による判定工程における「良品」とは、良否判定装置３の検査条件記憶部３１に記憶されている所定の検査項目に関する判定基準（検査条件）を満たしていると判定されたものをいう。また「非良品」とは、所定の検査項目に関する判定基準（検査条件）を満たしていないと判定されたものをいう。
【００３３】
良否判定装置３により「非良品」と判定された製品５２は、この段階では、必ずしも出荷することができない不良品とは言えず、外観検査工程で作業者による検査確認を受けて不良品と判断される。換言すると、「非良品」は、不良品と判断される可能性がある不良品候補ともいえる。
【００３４】
装置による判定工程において、良否判定装置３により良品と判定された製品５１は、次の工程に進められる。一方、良否判定装置３により非良品と判定された製品５２は、作業者等の人手による確認検査を受けるために、外観検査工程に進められる。
【００３５】
良否判定装置３は、検査品に対して不良スコアを付与し、非良品と判定した場合、その非良品の製品識別番号（製品番号など）と、非良品に付与した不良スコアとを対応付けた情報を、困り度判定装置１に与える。
【００３６】
ここで、不良スコアとは、当該検査品が不良品の程度を評価するときの評価値である。例えば、不良スコアの値が小さいときは良品に近くなり、不良スコアの値が大きいときは不良品であることを示す値とすることができる。例えば、電子部品を検査品とする場合、はんだ等の接合面積、接合（接触状態）状態、異物の有無等を評価項目として評価値を求める。また不良スコアは、０〜１００の連続値で表すなどして、不良スコアの値が０に近くになるにつれて良品であることを表し、不良スコアの値が１００に近くなるにつれて明らかに不良品であることを評価する。
【００３７】
つまり、良否判定装置３は、所定の検査項目に関する判断基準（検査条件）に基づいて検査品が良品であるか又は非良品であるかを判定すると共に、各検査品に対して、不良スコアで評価し、非良品と判定した製品（非良品）５２については、当該製品（非良品）の製品識別情報と、不良スコアとを対応付けた情報を、困り度判定装置１に与える。
【００３８】
［外観検査工程］
人手による外観検査工程では、作業者用撮像装置２１と、検査品用撮像装置２２と、困り度判定装置１と、管理者端末４を有して構成される。
【００３９】
外観検査工程では、１又は複数の作業者６１が、良否判定装置３により非良品であると判定された製品（非良品）５２を、検査対象品（ここでは、「製品（外観検査対象）５３」）として検査確認する。
【００４０】
作業者による検査確認の結果、作業者が不良品であると判断した製品を「製品（不良品）５４」と称し、良否判定装置３により非良品と判定されたが、作業者６１により出荷可能なものであると判断した製品を「製品（差戻品）５５」と称している。
【００４１】
例えば、作業者６１により不良品と判断された製品（不良品）５４は不良品収納箱に収納され、工場内で取り決められた対処が行なわれる。良否判定装置３により非良品と判断されたが、作業者６１により不良品でないと判断された製品（差戻品）５５は、良品収納箱に収納されて、次の工程に運ばれる。
【００４２】
［作業者用撮像装置］
作業者用撮像装置２１は、検査確認を行なっている作業者６１の様子や作業者６１が検査している検査品を撮像し、撮像した画像を困り度判定装置１に与える。作業者用撮像装置２１は、検査確認を行なっている作業者６１の顔の表情や、作業者６１の手の動き、作業者６１が検査している製品５３（例えば、製品５３に付されている製品識別番号等）を撮像する。
【００４３】
また、作業者用撮像装置２１の設置場所は、作業者６１の顔の表情や手の動き等の様子を撮像できる位置であれば、特に限定されるものではないが、例えば、作業者が検査確認を実施する作業台の上におかれるようにしても良いし、作業台付近に設けられるようにしてもよい。いずれにしても、作業者用撮像装置２１は、検査確認を行なっている作業者６１の様子を捉えることができる位置に設けられる。
【００４４】
なお、作業者用撮像装置２１は、例えば、有線回線又は無線回線により困り度判定装置１と接続しており、作業者用撮像装置２１が撮像した画像は、有線回線又は無線回線を通じて、困り度判定装置１に与えられる。
【００４５】
また、作業者用撮像装置２１の数は、１台であっても良いし、複数台であってもよい。複数の作業者６１が検査確認を行なう場合には、各作業者６１の顔の表情や手の動きや検査対象とする製品５３の製品識別情報等を、作業者６１毎に捉えることが望ましいので、その場合には、作業者６１毎に、作業者用撮像装置２１を設けることが望ましい。
【００４６】
［検査品用撮像装置］
検査品用撮像装置２２は、作業者６１により確認検査後の製品（例えば、製品に付されている製品識別番号等）を撮像し、その撮像した画像を困り度判定装置１に与える。検査品用撮像装置２２も、例えば、有線回線又は無線回線により困り度判定装置１と接続しており、検査品用撮像装置２２が撮像した画像は、有線回線又は無線回線を通じて、困り度判定装置１に与えられる。
【００４７】
また、検査品用撮像装置２２は、後述する困り度判定装置１により、検査確認している作業者６１の困り度が閾値を超えている場合に、当該作業者６１が検査確認していた製品を追跡する際に利用される。
【００４８】
したがって、検査品用撮像装置２２の設置場所は、製品を追跡することができる位置であれば、特に限定されるものではなく、例えば、工場内の天井、壁、柱、作業台等に設けられるようにしてもよい。
【００４９】
なお、検査品用撮像装置２２の数は、１台であっても良いし、複数台であってもよい。外観検査対象となった製品（外観検査対象）５３は、作業者６１毎に、不良品又は差戻品として判断されるので、不良品収納箱若しくは良品収納箱を捉えることができるように、複数台の検査品用撮像装置２２が設けられることが望ましい。
【００５０】
［困り度判定装置］
困り度判定装置１は、作業者用撮像装置２１及び検査品用撮像装置２２と接続しており、撮像画像を取得するものである。また、困り度判定装置１は、良否判定装置３と通信可能であり、良否判定装置３から非良品と判定された製品の製品識別情報と不良スコアとを対応付けた情報を取得する。さらに、困り度判定装置１は、管理者端末４と通信可能であり、検査品を検査している作業者の困り度が高い判定したときに、その判定結果を管理者端末４に送信する。
【００５１】
困り度判定装置１は、良否判定装置３や管理者端末４との間の通信は、有線回線又は無線回線で行なうようにしてもよい。また、困り度判定装置１は、作業者用撮像装置２１及び検査品用撮像装置２２との間についても、有線回線又は無線回線で接続されていてもよい。
【００５２】
困り度判定装置１の詳細な構成の説明は後述するが、困り度判定装置１は、作業者用撮像装置２１及び検査品用撮像装置２２から画像を入力し、作業者６１の困り度を算出する。また、困り度判定装置１は、不良スコアと、検査品が不良品であるか否かを判断するための困り度との関係を示す困り度基準分布を参照して、検査品の不良スコアに対応する困り度（以下、「判定難易度」とも呼ぶ。）を求める。そして、作業者の困り度の値と、検査品の不良スコアに対応する困り度（判定難易度）の値とを比較して、差分値が閾値を超えたときに、困り度判定装置１は、管理者端末４にその旨を通知する。
【００５３】
これにより、管理者は、作業者６１が不良品又は良品と判断した結果が正しいか否かを判断することができる。このとき、作業者６１が判断した検査品を、管理者６２が特定し易くするために（管理者が検査品を見つけやすくするために）、検査品を追跡した画像や動画を管理者端末４に通知するようにしてもよい。
【００５４】
また、困り度判定装置１は、上記困り度基準分布に基づいて、作業者６１毎の困り度分布を作成して、作業者個人の困り度分布を格納する。このとき、管理者６２は、作業者６１が仕分けした判断結果が正しいか否かを確認している。管理者６２は、管理者端末４を通じて、その確認結果（すなわち、作業者６１の仕分けが正しいか否かを含む情報）を困り度判定装置１に送信する。困り度判定装置１は、管理者端末４から取得して確認結果をフィードバックして、確認結果を反映させた作業者個人の困り度分布を更新する。
【００５５】
［管理者端末］
管理者端末４は、例えば工場内の管理者６２が操作する端末であり、通信機能を有する端末である。管理者端末４は、困り度判定装置１から、作業者６１の困り度の程度が高いときに、その旨を示す情報が通知される。
【００５６】
（Ｂ−１−２）困り度判定装置の詳細な内部構成
図２は、第１の実施形態に係る困り度判定装置１の内部構成を示す内部構成図である。
【００５７】
図２において、第１の実施形態に係る困り度判定装置１は、特徴検出部１０１、困り度算出部１０２、判定難易度取得部１０３、不良品データ格納部１０４、検査品追跡部１０５、困り度判定部１０６、個人データ格納部１０７、困り度分布更新部１０８、フィードバック情報取得部１０９、通知部１１０を有する。
【００５８】
図２において、困り度判定装置１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、通信装置等を有する装置を適用することができ、ＣＰＵが、ＲＯＭに格納される処理プログラム（例えば、困り度判定プログラム等）を実行することにより、困り度判定装置１の各種機能が実現される。なお、困り度判定プログラムが、インストールされることによりシステム構築されるようにしても良く、その場合でも、困り度判定プログラムは、図２に例示する各ブロックで表すことができる。
【００５９】
困り度判定装置１は、作業者用撮像装置２１により撮像された画像と、検査品用撮像装置２２により撮像された画像とを、入力データとして取得する。つまり、困り度判定装置１は、検査確認を行なっている作業者の顔の表情や手の動き等を含む画像や、不良品収納箱に製品（不良品）５４を収納する様子や、それと同時に作業者６１が良品収納箱に製品（差戻品）５５を収納する様子など画像データを取得する。なお、困り度判定装置１が取得する画像は、特徴的な領域を含むものであってもよい。
【００６０】
［特徴検出部］
特徴検出部１０１は、作業者用撮像装置２１により撮像された画像を入力データとして取得し、作業者６１、製品（外観検査対象）５３のそれぞれを含む画像領域から作業者に関する特徴や、検査品である製品（外観検査対象）５３に関する特徴を抽出する。
【００６１】
特徴検出部１０１は、作業者６１に関する特徴として、検査確認を行なっている作業者６１の作業時間、作業者６１の顔の表情、作業者６１の視線、しぐさ等を抽出する。
【００６２】
ここで、作業者６１の作業時間は、作業者６１が検査する製品（外観検査対象）５３を検査している間の時間とする。具体的には、例えば、作業者６１が検査対象の製品（外観検査対象）５３を手に取った時刻から、検査後に製品（外観検査対象）５３を戻して手から離した時刻までの時間とすることができる。作業時間は、各作業者が検査する製品（外観検査対象）５３毎に計測するようにしてもよい。
【００６３】
また、作業者６１の顔の表情については、特徴検出部１０１が、作業者６１の顔を含む画像領域から、所定の困り顔判定アルゴリズムに従って、当該作業者６１の困り顔の程度を示す評価値を求める。困り顔判定アルゴリズムは、画像に映っている人の顔の表情（例えば、しわの程度や、しぐさなどの特徴）から、困り顔の程度を判定するものであり様々なアルゴリズムを用いることができる。例えば、困り顔の程度を示す評価値は、０〜１００の連続値で表し、作業時間中で最も高い評価値を、当該作業者６１の困り顔の評価値とする。
【００６４】
さらに、作業者６１の視線については、作業者６１が製品（外観検査対象）５３を見ている時間の合計時間とする。
【００６５】
また、特徴検出部１０１は、作業者用撮像装置２１及び検査品用撮像装置２２からの画像から、検査品に関する特徴を抽出する。この検査品に関する特徴は、作業者６１が検査している製品（外観検査対象）５３に付されている製品識別情報を含む情報とする。
【００６６】
さらに、特徴検出部１０１は、作業者６１による検査後、その製品（外観検査対象）５３がどこにおかれたかという場所を抽出する。つまり、作業者６１により検査された製品（外観検査対象）５３が、不良品収納箱におかれたのか、又は、良品収納箱におかれたのかを抽出する。
【００６７】
［困り度算出部］
困り度算出部１０２は、特徴検出部１０１により抽出された作業者６１の特徴に基づいて、作業者６１の困り度を算出する。
【００６８】
ここで、困り度とは、作業者が６１によって検査される製品（外観検査対象）５３が不良品であるか又は良品であるかを判断するための困難度を示す評価値である。例えば、困り度は、特徴検出部１０１により求められた作業時間、困り顔を示す評価値、視線の合計時間のいずれかの組み合わせ又は全てを組み合わせて算出した値とする。
【００６９】
例えば、実際の作業時間と、製品（外観検査対象）５３の平均作業時間とを比較し、その差分値とする時間と、困り顔を示す評価値との和を困り度として算出するようにしてもよい。
【００７０】
なお、困り度の算出方法は、これに限定されるものではなく、例えば、平均作業時間に対する実際の作業時間（又は差分値）の割合等と、困り顔を示す評価値との和を困り度として算出するようにしてもよい。また、平均作業時間を用いずに、単純に、作業時間と困り顔を示す評価値との和を困り度として算出するようにしてもよい。また、上述した困り度に、さらに、作業者６１が検査品を目視している視線の合計時間の値を加算するようにしても良い。
【００７１】
ここで、困り度に関して、困り顔を示す評価値を考慮することにより、実際の作業時間があまり変わらない作業者６１であっても、当該作業者６１の判断に不安があったかどうかを判定することができる。つまり、作業者６１の作業時間のみに基づいて困り度を算出する場合に比べて、検査確認している作業者６１の表情や視線等も考慮しているので、判断に困っている作業者６１の心情も加味することができる。
【００７２】
［判定難易度取得部］
判定難易度取得部１０３は、特徴検出部１０１により抽出された製品（外観検査対象）５３の製品識別情報を取得し、不良品データ格納部１０４に格納されている情報の中から、製品（外観検査対象）５３の製品識別情報に対応する不良スコアを取得する。これにより、製品（外観検査対象）５３の不良スコアを確認することができる。
【００７３】
つまり、後述するように、不良品データ格納部１０４には、良否判定装置３により非良品と判定された製品（非良品）の製品識別情報と、不良スコアとを対応付けた情報が格納されている。したがって、判定難易度取得部１０３は、作業者６１により検査されている製品（外観検査対象）５３の製品識別情報に基づいて、検査品である当該製品（外観検査対象）５２の不良スコアを検索することができる。
【００７４】
また、判定難易度取得部１０３は、不良品データ格納部１０４に格納されている困り度基準分布を参照して、作業者６１が検査している製品（外観検査対象）の不良スコアに対する困り度を導出して、困り度判定部１０６に与える。
【００７５】
［不良品データ格納部］
不良品データ格納部１０４は、良否判定装置３により非良品と判定された製品（非良品）毎の不良スコアが格納されている。例えば、製品ごとの不良スコア情報は、良否判定装置３により非良品と判定された検査品の製品識別情報と、不良スコアとを対応させた情報とする。これにより、外観検査工程で作業者が検査する対象とする検査品について、良否判定装置３が評価した不良スコアを認識することができる。
【００７６】
また、不良品データ格納部１０４は、良否判定装置３による不良スコアと、検査対象品が不良品であることを判断する困り度との対応関係を示す困り度基準分布とが格納される。
【００７７】
ここで、不良スコアは、上述したように、評価値の値が小さいときには良品に近いことを示し、評価値の値が大きいときには不良品であることを示す。したがって、例えば不良スコアが０〜１００の連続値とする場合、評価値が中間付近のときには、良品であるのか、又は、不良品であるのかの判断が難しくなる。
【００７８】
そこで、この実施形態では、不良スコアに対する困り度の正規分布を困り度基準分布とし、この困り度基準分布を、不良品データ格納部１０４に格納しておく。
【００７９】
なお、困り度基準分布に利用する困り度は、困り度算出部１０２が算出する困り度と対応させるため、困り度の算出に用いるパラメータは同じとする。また、ここでは、不良スコアに対する困り度の正規分布としているが、不良スコアと困り度との関係性を示す情報であれば、厳密な意味での正規分布に限定されるものではない。
【００８０】
［検査品追跡部］
検査品追跡部１０５は、後述する閾値判定の結果を管理者端末４に通知したときに、そのときの検査品（例えば、製品５４、製品５５）を画像で追跡する。追跡した検査品が置かれている場所を、管理者端末４に通知することにより、管理者６２が、検査品の位置を特定することが容易となる。
【００８１】
具体的には、特徴検出部１０１により抽出された製品（外観検査対象）５３が、作業者６１によって、不良品収納箱又は良品収納箱のいずれかに収納されたことを追跡する。さらに、工場内には、複数の撮像装置が設置されている場合には、不良品収納箱又は良品収納箱に収められた製品が、検査後に、どこの場所におかれているか追跡して特定するようにしてもよい。この場合、例えば、追跡して特定した場所を管理者端末４に送信するようにしてもよい。また、管理者端末４には、工場内の撮像装置の画像を駆使して探索した全ての映像を管理者端末４に送信するようにしてもよいし、現在、検査品としての製品５４、製品５５が置かれている場所を、四角で囲んだ画像若しくは映像（動画）を管理者端末４に送信するようにしてもよい。
【００８２】
［困り度判定部］
困り度判定部１０６は、作業者による当該検査品の判断の正確性を確認させる必要があるか否かを判定するものである。具体的に、困り度判定部１０６は、困り度算出部１０２により算出された作業者６１の困り度と、判定難易度取得部１０３で取得した製品（外観検査対象）５３に対応する困り度とを取得し、作業者６１の困り度と、製品（外観検査対象）５３の不良スコアに対応する困り度とを比較する。さらに、困り度判定部１０６は、作業者６１の困り度と、製品（外観検査対象）５３に対応する困り度との差分を取り、差分絶対値を求める。そして、困り度判定部１０６は、その差分絶対値と予め設定された閾値とを比較し、差分絶対値が閾値より大きい場合、作業者による当該検査品の判断の正確性を確認させる必要があると判定し、通知部１１０にその旨を通知する。
【００８３】
［通知部］
通知部１１０は、困り度判定部１０６により作業者６１の困り度と、製品（外観検査対象）５３の不良スコアに対応する困り度との比較結果を、管理者端末４に通知するものである。
【００８４】
この実施形態では、作業者６１の困り度と、製品（外観検査対象）５３の不良スコアに対応する困り度との差分絶対値が閾値を超えたときに、通知部１１０は、管理者端末４に、作業者６１の困り度が高いことを通知する。また、通知部１１０が管理者端末４に通知する際に、管理者６２が作業者６１の判断結果が正しいか否かを確認しやすくするために、検査品を追跡した画像や動作等も、管理者端末４に通知する。
【００８５】
［フィードバック情報判定部］
フィードバック情報取得部１０９は、管理者端末４から管理者の確認結果を取得するものである。
【００８６】
［個人データ格納部］
個人データ格納部１０７は、作業者毎の、困り度分布を格納するものである。作業者毎の困り度分布は、不良品データ格納部１０４に格納されている困り度基準分布を基にして、作業者個人の困り度分布とすることができる。
【００８７】
［困り度分布更新部］
困り度分布更新部１０８は、フィードバック情報取得部１０９が管理者端末４から取得した管理者の確認結果を考慮して、作業者個人の困り度分布を更新する。
【００８８】
例えば、作業者６１の困り度が不良スコアに対応する困り度より大きければ、不良スコアに対応する困り度を全体的に大きくする。一方、作業者６１の困り度が不良スコアに対応する困り度より小さければ、不良スコアに対応する困り度を全体的に全体的に小さくする。
【００８９】
更新方法として、例えば、困り度の差によらず一定値分だけずらす方法や、困り度の差の１／１０程度ずらす方法などがある。
【００９０】
（Ｂ−２）第１の実施形態の動作
図３は、第１の実施形態に係る困り度判定装置１における困り度判定方法の動作を示すフローチャートである。
【００９１】
まず、未検査品である製品５０は、良否判定装置３により良品であるか又は非良品であるかが判定される。
【００９２】
良品と判定された製品（良品）５１は、次の工程先に移動され、次の工程が行なわれる。
【００９３】
一方、非良品と判定された場合、非良品の製品（非良品）５１の製品識別情報及び不良スコアを対応付けた情報が、良否判定装置３から困り度判定装置１に与えられる。非良品の製品（非良品）５１の製品識別情報及び不良スコアを対応付けた情報は、困り度判定装置１の不良品データ格納部１０４に格納される。
【００９４】
外観検査工程では、作業者６１が、良否判定装置３により、非良品と判定された製品（非良品）５１を検査対象として検査確認する。作業者６１は、検査対象とする製品（外観検査対象）５３を手に取って、製品（外観検査対象）５３が良品であるか又は不良品であるかを検査し、良品を良品収納箱に収納し、不良品を不良品収納箱に収納する。
【００９５】
［Ｓ１０１］
Ｓ１０１は、検査終了判定である。検査が終了すると（Ｓ１０１／ＹＥＳ）、処理は終了し、検査終了でない場合（Ｓ１０１／ＮＯ）、処理はＳ１０２に移行する。
【００９６】
検査終了の判定方法は、様々な方法をとることができる。例えば、検査開始後、検査対象である製品（外観検査対象）５３がなくなると処理は終了するようにしてもよい。また例えば、作業者用撮像装置２１の撮像画像に作業者６１が映らなくなってから所定時間経過したとき（つまり、所定時間以上、作業者６１が映ってないとき）に検査終了と判定するようにしてもよい。さらに例えば、管理者端末４が、困り度判定装置１に対して検査終了を示す信号を送信することで、終了するようにしてもよい。
【００９７】
［Ｓ１０２］
作業者用撮像装置２１及び検査品用撮像装置２２により撮像された映像が、困り度判定装置１に入力する（Ｓ１０２）。撮像画像には、検査品を検査確認している作業者６１の顔や手の動き、作業者６１が検査している検査品に付されている製品識別情報等が映っている。また、作業者６１が不良品収納箱又は良品収納箱に仕分けている様子も映っている。
【００９８】
［Ｓ１０３］
困り度判定装置１では、特徴検出部１０１は、入力した撮像画像に基づいて画像処理を行ない、検査確認している作業者６１が検査品を手に取っている作業時間、作業者６１の顔の表情やしぐさ等に基づいて当該作業者６１の困り顔の程度を示す評価値、作業者６１の視線等を含む作業者６１の特徴を、検査品毎に、抽出する。また、特徴検出部１０１は、検査品の製品識別情報を含む検査品の特徴も、検査分毎に、抽出する（Ｓ１０３）。
【００９９】
［Ｓ１０４、Ｓ１０５］
特徴検出部１０１により抽出された作業者６１の特徴は、困り度算出部１０２に与えられ、作業者６１の作業時間と作業者６１の困り顔を示す評価値とに基づいて、検査品毎に、作業者６１の困り度が算出される（Ｓ１０４）。
【０１００】
また、特徴検出部１０１により、作業者６１が検査している検査品の特徴は、判定難易度取得部１０３に与えられる。判定難易度取得部１０３は、不良品データ格納部１０４の格納されている、検査品毎の不良スコアを参照して、作業者６１が検査している検査品の不良スコアを導出する。さらに、判定難易度取得部１０３は、不良品データ格納部１０４に格納されている、困り度基準分布を参照して、当該検査品の不良スコアに対応する困り度を導出する（Ｓ１０５）。
【０１０１】
図４は、第１の実施形態に係る検査品毎の不良スコア情報の構成を示す構成図である。
【０１０２】
図４に示すように、良否判定装置３により得られた検査品毎の不良スコア情報は、各検査品の製品識別情報と、良否判定装置３が評価した不良スコアとを対応させた情報である。
【０１０３】
判定難易度取得部１０３は、作業者６１が検査している検査品の製品識別情報を取得すると、図４に例示する検査品毎の不良スコアを参照して、当該検査品の製品識別情報に対応する不良スコアを導出することができる。これにより、作業者が検査している検査品について、良否判定装置３が評価した不良スコアを検査品毎に認識できる。
【０１０４】
図５は、第１の実施形態に係る困り度基準分布の構成を示す構成図である。
【０１０５】
図５に例示する困り度基準分布は、検査品の不良スコアに対応する困り度の正規分布であり、横軸が不良スコアの値を示し、縦軸が困り度の値を示している。なお、ここでは、不良スコアは０〜１００の範囲の値とし、困り度は０〜２００の範囲の値としている場合を例示している。図５に例示するように、不良スコアの値が０に近くなると容易に良品であると判断できるので、困り度の値は比較的小さくなっている。また、不良スコアの値が１００に近くなるにつれて、容易に不良であると判断できるので、この場合も困り度の値は比較的小さくなっている。一方、不良スコアの値が０〜１００の中央にある場合には、良品であるのか又は不良品であるかの判断が難しくなり、困り度の値が、比較的高くなっている。
【０１０６】
判定難易度取得部１０３は、図５に例示する困り度基準分布を参照して、当該検査品の不良スコアに対応する困り度を検査品毎に導出する。これにより、困り度基準分布における、当該検査品の不良スコアに対する困り度を導出することができる。
【０１０７】
［Ｓ１０６、Ｓ１０７、Ｓ１０８］
困り度判定部１０６は、困り度算出部１０２により算出された作業者６１の困り度と、判定難易度取得部１０３により導出された作業者６１が検査している検査品の不良スコアに対する困り度とを比較する（Ｓ１０６）。
【０１０８】
そして、作業者６１の困り度と検査品の不良スコアに対する困り度との差分絶対値が閾値を超えた場合（Ｓ１０７／ＹＥＳ）、通知部１１０は、管理者端末４に、作業者６１の困り度が高いことを通知する（Ｓ１０８）。
【０１０９】
このとき、通知部１１０は、作業者６１が仕分けた検査品を追跡した画像や動作等も、管理者端末４に通知する。これにより、管理者６２は、作業者６１が仕分けた検査品を確認し易くなる。なお、通知部１１０は、作業者６１がどの検査品を検査したかを管理者６２に知らせるために、作業者６１が検査した検査品の製品識別情報を管理者端末４に通知するようにしてもよい。
【０１１０】
作業者６１の困り度と検査品の不良スコアに対する困り度との差分絶対値が閾値以下の場合（Ｓ１０７／ＮＯ）、処理はＳ１０１に戻って処理を繰り返す。
【０１１１】
［Ｓ１０９］
管理者６２は、通知部１１０から通知された検査品が良品として仕分けられたか又は不良品として仕分けられたかを実際に目視して確認し、作業者６１の判断が正しいか否かを確認する。つまり、管理者６２は、作業者６１の判断が正解か不正解かを確認する。そして、管理者６２により確認された確認結果が、困り度判定装置１に送信され、確認結果はフィードバック情報取得部１０９に受信される（Ｓ１０９）。
【０１１２】
なお、本来良品と判断されるべき検査品が不良品収納箱に仕分けられた場合、当該検査品は良品収納箱に移動され、逆に、本来不良品と判断されるべき検査品が良品収納箱に仕分けられた場合、当該検査品は不良品収納箱に移動される。
【０１１３】
［Ｓ１１０、Ｓ１１１、Ｓ１１２］
フィードバック情報取得部１０９において、管理者端末４からの確認結果が正解である場合（Ｓ１１０／ＹＥＳ）、困り度分布更新部１０８にその旨が通知され、困り度分布更新部１０８により、当該作業者６１の困り度分布が更新される（Ｓ１１１）。そして、更新後の作業者６１の困り度分布が、個人データ格納部１０７に格納される（Ｓ１１２）。一方、管理者端末４からの確認結果が不正解である場合（Ｓ１１０／ＮＯ）、処理はＳ１０１に移行する。
【０１１４】
ここで、作業者６１の判断が正解である場合、困り度分布更新部１０８は、当該作業者６１の困り度分布を更新する。なお、作業者６１の判断が不正解の場合、当該作業者６１の困り度分布は更新されないようにしてもよい。
【０１１５】
作業者個人の困り度分布の更新方法を、図６を参照しながら説明する。
【０１１６】
図６は、第１の実施形態に係る作業者の困り度分布の更新を説明する説明図である。
【０１１７】
図６（Ａ）は、更新前の作業者の困り度分布を示しており、図６（Ｂ）は、更新後の作業者の困り度分布を示している。
【０１１８】
図６（Ａ）では、検査品の不良スコアの値が「ｘ１」であり、検査品の不良スコアに対する困り度の値が「ｙ１」であるとする。また、作業者６１の困り度の値が「ｙ２」であるとする。
【０１１９】
そして、作業者の困り度の値ｙ２が、検査品の不良コストに対応する困り度の値ｙ１より大きい場合（ｙ２＞ｙ１）、図６（Ｂ）に示すように、作業者６１の困り度を全体的に大きくする。
【０１２０】
また、逆に、作業者の困り度の値ｙ２が、検査品の不良コストに対応する困り度の値ｙ１より小さい場合（ｙ２＜ｙ１）、作業者６１の困り度の値が全体として小さくする。
【０１２１】
このように、良品又は不良品の判断が正しかった作業者の困り度分布を更新することにより、当該作業者の困り度分布の更新後、作業者の困り度と、検査品の不良スコアに対する困り度との差分値が小さくなっていくので、管理者端末４への通知回数が減少していくことが期待できる。
【０１２２】
（Ｂ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、検査品の不良スコアに対する困り度と、当該検出品を検査している作業者の困り度とに基づいて、作業者の困り度が高い場合には、管理者にその旨を通知することができる。これにより、管理者が作業者の判断が正しい否かを確認することでき、作業者の判断ミスを防止することができる。
【０１２３】
また、第１の実施形態によれば、作業者が検査し終えた検査品を撮像画像から追跡し、検査品が置かれている場所を管理者に通知することができる。
【０１２４】
さらに、第１の実施形態によれば、管理者により作業者の判断が正しかったか否かの確認結果をフィードバックさせ、その確認結果を反映させて、作業者個人の困り度分布を更新することができる。そのため、作業者のスキルに合わせて困り度分布をリアルタイムで変更することができる。その結果、作業者個人の困り度分布が調整されることにより、管理者に通知される回数が減ることが期待される。
【０１２５】
（Ｃ）第２の実施形態
次に、本発明に係る困り度判定装置、プログラム及び方法の第２の実施形態を、図面を参照しながら詳細に説明する。
【０１２６】
［概略］
第２の実施形態では、予め作業者６１の習熟度を設定し、第１の実施形態で説明した作業者の困り度と、検査品の不良スコアに対する困り度との比較結果に基づいて管理者端末４に通知するだけでなく、作業者の困り度と、作業者の習熟度の値との比較結果に基づいても、管理者端末４に通知する。
【０１２７】
ここで、作業者の習熟度とは、作業者の技量（スキル）の程度を表す。習熟度の値は、不良スコアと困り度との正規分布（困り度分布）において、困り度の最小値から、困り度の最大値までの範囲の値をとる。つまり、習熟度の値が最小となる値は、困り度分布における最小の困り度の値であり、習熟度の値が最大となる値は、困り度分布における最大の困り度の値とする。
【０１２８】
習熟度の値は、管理者６２等により自由に設定することができる。例えば、良品又は不良品を判断する作業者６１の判断結果が正確であるときには、習熟度の値を大きく設定することができ、作業者６１の判断結果が不正解であるときには、習熟度の値を小さく設定するようにしてもよい。したがって、正解の数が多くなればなるほど、習熟度の値は大きく設定されるようにし、不正解の数が多くなればなるほど、習熟度の値は小さく設定されるようにしてもよい。
【０１２９】
また、習熟度の値は、困り度分布における困り度の閾値となる。非良品である検査品に対する困り度の値が、閾値（つまり習熟度の値）よりも大きい場合、作業者６１の習熟度では判断が難しいとして、管理者端末４に通知される。逆に、困り度の値が、閾値（つまり習熟度の値）よりも小さい場合、管理者端末４に通知されない。
【０１３０】
（Ｃ−１）第２の実施形態の構成
図７は、第２の実施形態に係る困り度判定装置の内部構成を示す内部構成図である。
【０１３１】
図７において、第２の実施形態に係る困り度判定装置１Ａは、特徴検出部１０１、困り度算出部１０２、判定難易度取得部１０３、不良品データ格納部１０４、検査品追跡部１０５、困り度判定部１０６、個人データ格納部２０３、困り度分布更新部１０８、フィードバック情報取得部１０９、通知部２０４、習熟度判定部２０１、習熟度閾値更新部２０２を有する。
【０１３２】
第２の実施形態に係る困り度判定装置１Ａは、第１の実施形態に係る困り度判定装置１の内部構成に加えて、習熟度判定部２０１、習熟度閾値更新部２０２を追加すると共に、個人データ格納部２０３と通知部２０４の処理が異なる。
【０１３３】
個人データ格納部２０３は、作業者個人の困り度分布に加えて、作業者個人の習熟度の値を保存する。
【０１３４】
習熟度閾値更新部２０２は、個人データ格納部２０３に保存されている作業者個人の習熟度の値を更新する。習熟度閾値更新部２０２は、フィードバック情報取得部１０９が取得した管理者６２の確認結果に基づいて、当該作業者６１の習熟度の値を更新する。例えば、作業者６１の判断が正解である場合には、習熟度閾値更新部２０２は、当該作業者６１の習熟度の値が大きくなるように更新する。逆に作業者６１の判断が不正解である場合、習熟度閾値更新部２０２は、当該作業者６１の習熟度の値が小さくなるように更新する。
【０１３５】
ここで、習熟度の値の更新は、更新前の習熟度の値に、所定値を加算又は減算するようにしても良いし、更新前の習熟度の値に所定値を乗算するようにしてもよい。また、予め設定した関数式を用いて、習熟度の値を更新するようにしてもよい。
【０１３６】
習熟度判定部２０１は、作業者の習熟度の値（閾値）と、検査品の不良スコアに対応する困り度の値とを比較する。
【０１３７】
通知部２０４は、第１の実施形態と同様に、困り度判定部１０６により作業者６１の困り度の値と、検査品の不良スコアに対する困り度の値との差分絶対値が閾値を超えている場合に管理者端末４に通知する。
【０１３８】
さらに、通知部２０４は、第１の実施形態の処理に加えて、習熟度判定部２０１により、検査品の不良スコアに対応する困り度の値が、習熟度の値（閾値）より大きい場合、管理者端末４に通知する。逆に、検査品の不良スコアに対応する困り度の値が、習熟度の値（閾値）より小さい場合、管理者端末４に通知しない。
【０１３９】
（Ｃ−２）第２の実施形態の動作
図８は、第２の実施形態に係る困り度判定装置１Ａにおける困り度判定方法の動作を示すフローチャートである。
【０１４０】
図８では、第１の実施形態の図３の処理と同じ処理には同じ番号を付している。以下では、第２の実施形態の特有の処理を中心に詳細に説明し、第１の実施形態で既に説明した処理の詳細な説明は省略する。
【０１４１】
［Ｓ２０１、Ｓ２０２］
習熟度判定部２０１は、作業者６１が検査している検査品の不良スコアに対する困り度と、当該作業者６１の習熟度の値（閾値）とを比較する（Ｓ２０１）。
【０１４２】
そして、第１の実施形態と同様に、困り度判定部１０６により作業者６１の困り度の値と、検査品の不良スコアに対する困り度の値との差分絶対値が閾値を超えた場合、又は、検査品の不良スコアに対する困り度の値が、習熟度の値を超えた場合（Ｓ２０２／ＹＥＳ）、通知部２０４は、管理者端末４にその旨を通知する（Ｓ１０８）。
【０１４３】
一方、困り度判定部１０６により作業者６１の困り度の値と、検査品の不良スコアに対する困り度の値との差分絶対値が閾値以下の場合、又は、検査品の不良スコアに対する困り度の値が、習熟度の値以下の場合（Ｓ２０２／ＮＯ）、処理は、Ｓ１０１に戻り繰り返し処理が行なわれる。
【０１４４】
図９は、第２の実施形態に係る作業者の習熟度の値を説明する説明図である。
【０１４５】
図９（Ａ）に示すように、作業者の習熟度の値（閾値）は、困り度基準分布における困り度の値の閾値として設定される。
【０１４６】
作業者６１が検査している検査品の不良スコアに対する困り度の値が習熟度の値を超えている場合、検査品が良品であるか又は不良品であるかの判断が、当該作業者６１の習熟度を超えて難しいと判断される。その場合、通知部２０４は、管理者端末４にその旨を通知する。これにより、管理者６２は、当該作業者６１による判断では難しいので、当該作業者６１と一緒に判断することができる。
【０１４７】
一方、作業者６１が検査している検査品の不良スコアに対する困り度の値が習熟度の値以下の場合、当該作業者６１の習熟度からすれば、作業者６１にとって十分判断することができると判断される。したがって、その場合には、管理者端末４に通知されることなく、作業者が判断する。
【０１４８】
［Ｓ１０９、Ｓ２０３、Ｓ１１１、Ｓ１１２、Ｓ２０４］
管理者端末４に通知があった場合、管理者６２は、作業者６１によって仕分けた判断が正解であったか又は不正解であったかを確認する。そして、管理者６２により確認された確認結果が、困り度判定装置１に送信され、確認結果はフィードバック情報取得部１０９に受信される（Ｓ１０９）。
【０１４９】
フィードバック情報取得部１０９において、管理者端末４からの確認結果が正解である場合（Ｓ２０３／ＹＥＳ）、困り度分布更新部１０８にその旨が通知され、困り度分布更新部１０８により、当該作業者６１の困り度分布が更新される（Ｓ１１１）。そして、更新後の作業者６１の困り度分布が、個人データ格納部２０３に格納される（Ｓ１１２）。
【０１５０】
さらに、確認結果が正解の場合、習熟度閾値更新部２０２は、図９（Ｂ）に示すように、当該作業者の習熟度の値（閾値）が大きくなるように更新する（Ｓ２０４）。このように、当該作業者６１の習熟度の値が大きくなることにより、検査品の不良スコアに対する困り度の値が大きい検査品でも、当該作業者６１により判断できるので、管理者端末４への通知回数が減少することが期待される。
【０１５１】
一方、フィードバック情報取得部１０９において、管理者端末４からの確認結果が不正解である場合（Ｓ２０３／ＮＯ）、習熟度閾値更新部２０２は、作業者の判断が不正解であるため、図９（Ｃ）に示すように、当該作業者の習熟度の値（閾値）が小さくなるように更新する（Ｓ２０４）。これにより、作業者６１の判断力に応じた習熟度の値を設定することができる。
【０１５２】
（Ｃ−３）第２の実施形態の効果
以上のように、第２の実施形態によれば、第１の実施形態で説明した効果に加えて、以下の効果を得ることができる。
【０１５３】
第２の実施形態によれば、作業者個人の習熟度の値を設定することにより、作業者自身では判断が難しい検査品を検査する際に、管理者に通知することができる。さらに、管理者の判断の結果をフィードバックすることで、当該作業者の習熟度の値をリアルタイムで更新できる。これにより、作業者の習熟度の値が上がれば、管理者への通知が減ることが期待できる。
【０１５４】
（Ｄ）他の実施形態
上述した実施形態においても本発明の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。
【０１５５】
（Ｄ−１）第１及び第２の実施形態では、撮像装置（作業者用撮像装置、検査品用撮像装置）の撮像画像から、作業者の特徴や検査品の特徴を抽出する場合を例示したが、本発明はこれに限られる必要はない。例えば、赤外線カメラ、距離センサ、眼鏡型や腕時計型のウェアラブル端末などのいずれかまたはそれらを組み合わせてもよい。
【０１５６】
（Ｄ−２）第１及び第２の実施形態では、作業者の困り度を算出する際、作業者の特徴を、作業者の作業時間、作業者の困り顔の評価値、視線の合計時間等のいずれかまたはそれら全てを組み合わせた値を用いる場合を例示した。しかし、これらに限定されるものではなく、例えば、作業者が手を動かす速さ、脳波、血圧等のデータの一部の組み合わせ又は全ての組み合わせで、作業者の困り度を算出するようにしてもよい。例えば、手の動きが速い場合は、困り度の値が低く、逆に手の動きが遅い場合には、作業者が迷っている可能性があるので、困り度の値が高いと判断できる。また、作業者の付近にマイクを置き、作業者が発する音声を作業者の困り度の算出に利用してもよい。例えば、作業者が声を発したときや声を発した時間が長いときには、困り度の値が高く、そうでないときは困り度の値を低くする等としてもよい。
【０１５７】
（Ｄ−３）第１及び第２の実施形態では、管理者が確認した確認結果をフィードバックして、不良スコアと困り度の正規分布の更新や、習熟度の閾値の更新に用いる場合を例示したが、本発明はこれに限られる必要はない。
【０１５８】
例えば、良否判定装置にフィードバックを与えることにより、作業者の困り度が高かった検査品でも正しく判定できるように、良否判定装置のパラメータを変更することもできる。より具体的には、作業者が検査した検査品に関して、不良スコアの値と、困り度の値と、作業者の判断結果（正解、不正解）とを関連付けた多数のデータを蓄積して機械学習させていき、良否判定装置が判定した非良品の不良スコアの値から、困り度の値を推定し、その推定した困り度の値と実際の困り度の値とにより、作業者の判断結果（正解、不正解）を予測できるようにしてもよい。
【０１５９】
（Ｄ−４）上述した第１及び第２の実施形態では、不良スコアに対する困り度の正規分布を求める場合を例示したが、本発明は、厳密な正規分布を利用する場合に限定されるものではなく、実際の不良スコアの分布等に基づいて定めた分布を用いるようにしてもよい。
【符号の説明】
【０１６０】
１０…検査システム、３…良否判定装置、２１…作業者用撮像装置２１…検査品用撮像装置、４…管理者端末、
１及び１Ａ…困り度判定装置、１０１…特徴検出部、１０２…困り度算出部、１０３…判定難易度取得部、１０４…不良品データ格納部、１０５…検査品追跡部、１０６…困り度判定部、１０７及び２０３…個人データ格納部、１０８…困り度分布更新部、１０９…フィードバック情報取得部、１１０及び２０４…通知部、２０１…習熟度判定部、２０２…習熟度閾値更新部。
【図１】
2020160599.tif 000003
【図２】
2020160599.tif 000004
【図３】
2020160599.tif 000005
【図４】
2020160599.tif 000006
【図５】
2020160599.tif 000007
【図６】
2020160599.tif 000008
【図７】
2020160599.tif 000009
【図８】
2020160599.tif 000010
【図９】
2020160599.tif 000011