(57)【要約】  接眼レンズを介して撮像された画像データを用いて生成された分析用画像が記憶された記憶部と、前記分析用画像を表示する表示部と、前記表示部に表示された前記分析用画像を目視する対象者の視線を検出する視線検出部と、前記分析用画像と前記対象者の視線を重畳させた分析結果画像の画像データを出力する出力部と、を有する視線分析システムである。
2019044264.tif 000002
【特許請求の範囲】
【請求項１】
視線分析システムであって、
接眼レンズを介して撮像された画像データを用いて生成された分析用画像が記憶された記憶部と、
前記分析用画像を表示する表示部と、
前記表示部に表示された前記分析用画像を目視する対象者の視線を検出する視線検出部と、
前記分析用画像と前記対象者の視線を重畳させた分析結果画像の画像データを出力する出力部と、
を有する視線分析システム。
【請求項２】
視線分析システムであって、
接眼レンズを介して撮像された画像データを用いて生成された分析用画像が記憶された記憶部と、
前記分析用画像を表示する表示部と、
前記表示部に表示された前記分析用画像を目視する装着者に装着され、前記装着者の視線を検出する視線検出部と、
前記分析用画像と前記装着者の視線を重畳させた分析結果画像の画像データを出力する出力部と、
を有する視線分析システム。
【請求項３】
前記分析用画像は、二次元画像と、三次元画像と、を含む、請求項１又は２記載の視線分析システム。
【請求項４】
前記分析用画像は、スクロール操作に応じて、前記表示部に表示させる領域が移動する画像である、請求項１乃至３の何れか一項に記載の視線分析システム。
【請求項５】
前記分析用画像は、前記表示部に表示されるとき、
前記接眼レンズを介した視界と対応した中心部分の所定の領域以外の領域が、マスクされる、請求項１乃至４の何れか一項に記載の視線分析システム。
【請求項６】
前記接眼レンズは、顕微鏡に設けられた接眼レンズである、請求項１乃至５の何れか一項に記載の視線分析システム。
【請求項７】
前記分析結果画像と共に、検出される前記視線の所定位置からの移動量を更に出力する、請求項１乃至６の何れか一項に記載の視線分析システム。
【請求項８】
前記出力部により出力された分析結果画像の画像データが、前記対象者を識別する識別情報と対応付けられて格納される画像記憶部と、
前記画像記憶部に格納された前記分析結果画像の画像データを解析し、前記対象者毎の分析結果画像における視点の大きさ、視点の網羅性、視点の移動速度を含む解析結果情報を生成して解析結果記憶部へ格納する画像解析部と、
前記解析結果記憶部に格納された解析結果情報に基づき、前記視点の大きさ、前記視点の網羅性、前記視点の移動速度の最適値を特定する最適値特定部と、
前記識別情報の指定を受けて、前記識別情報と対応付けられた解析結果情報と、前記最適値とを比較する比較部と、
前記比較の結果と対応付するメッセージが記憶されたメッセージ記憶部を参照し、前記対象者毎の前記比較の結果と対応するメッセージを選択して前記表示部に表示させるメッセージ選択部と、を有する、請求項１、及び、３乃至７の何れか一項に記載の視線分析システム。
【請求項９】
前記出力部により出力された分析結果画像の画像データが、前記装着者を識別する識別情報と対応付けられて格納される画像記憶部と、
前記画像記憶部に格納された前記分析結果画像の画像データを解析し、前記装着者毎の分析結果画像における視点の大きさ、視点の網羅性、視点の移動速度を含む解析結果情報を生成して解析結果記憶部へ格納する画像解析部と、
前記解析結果記憶部に格納された解析結果情報に基づき、前記視点の大きさ、前記視点の網羅性、前記視点の移動速度の最適値を特定する最適値特定部と、
前記識別情報の指定を受けて、前記識別情報と対応付けられた解析結果情報と、前記最適値とを比較する比較部と、
前記比較の結果と対応付するメッセージが記憶されたメッセージ記憶部を参照し、前記装着者毎の前記比較の結果と対応するメッセージを選択して前記表示部に表示させるメッセージ選択部と、を有する、請求項２に記載の視線分析システム。
【請求項１０】
視線分析方法であって、
接眼レンズを介して撮像された画像データを用いて生成された分析用画像を表示部に表示し、
前記表示部に表示された前記分析用画像の目視する対象者の視線を視線検出部により検出し、
前記分析用画像に前記検出した視線を重畳した分析結果画像の画像データを制御部により出力する、視線分析方法。
【請求項１１】
視線分析方法であって、
接眼レンズを介して撮像された画像データを用いて生成された分析用画像を表示部に表示し、
前記表示部に表示された前記分析用画像の目視する装着者に装着され、前記装着者の視線を視線検出部により検出し、
前記分析用画像に前記検出した視線を重畳した分析結果画像の画像データを制御部により出力する、視線分析方法。
【請求項１２】
接眼レンズを介した対象物の目視のトレーニング方法であって、
表示装置に表示された、接眼レンズを介して撮像された画像データを用いて生成された分析用画像を、視線検出の対象者に目視させ、
前記目視の後に、前記分析用画像と、前記分析用画像上において検出された前記対象者の視線と、を重畳させた分析結果画像を前記対象者に目視させる、トレーニング方法。
【請求項１３】
接眼レンズを介した対象物の目視のトレーニング方法であって、
表示装置に表示された、接眼レンズを介して撮像された画像データを用いて生成された分析用画像を、視線検出装置の装着者に目視させ、
前記目視の後に、前記分析用画像と、前記分析用画像上において検出された前記装着者の視線と、を重畳させた分析結果画像を前記装着者に目視させる、トレーニング方法。
【請求項１４】
接眼レンズを介した対象物の目視のトレーニング方法であって、
表示装置に表示された、接眼レンズを介して撮像された画像データを用いて生成された分析用画像を、視線検出の対象者に目視させ、
前記目視の後に、前記分析用画像と、前記分析用画像上において検出された前記対象者の視線と、を重畳させた分析結果画像を前記対象者とは別の者に目視させる、トレーニング方法。
【請求項１５】
接眼レンズを介した対象物の目視のトレーニング方法であって、
表示装置に表示された、接眼レンズを介して撮像された画像データを用いて生成された分析用画像を、視線検出装置の装着者に目視させ、
前記目視の後に、前記分析用画像と、前記分析用画像上において検出された前記装着者の視線と、を重畳させた分析結果画像を前記装着者とは別の者に目視させる、トレーニング方法。
【請求項１６】
視線分析システムであって、
視線の検出対象となる対象者の顔面に接触する保持具によって保持されたレンズを介して撮像された画像データを用いて生成された分析用画像が記憶された記憶部と、
前記分析用画像を表示する表示部と、
前記表示部に表示された前記分析用画像における前記対象者の視線を検出する視線検出部と、
前記分析用画像と前記対象者の視線を重畳させた分析結果画像の画像データを出力する出力部と、
を有する視線分析システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線分析システム、視線分析方法及びトレーニング方法に関する。
【背景技術】
【０００２】
従来から、電子デバイス等に実装されるチップ等の製品の品質検査の手法として、光学顕微鏡等の顕微鏡を用いた目視検査が知られている。また、近年の顕微鏡等による目視検査では、検査対象となるチップ等のより高い品質要求により、以前にも増して、信頼性を維持しつつ、更に検査を短時間で行うことが要求されている。【０００３】
そこで、近年では、製品の外観に基づき品質を検査する外観検査装置等を用いて、目視検査の一部を自動化することで、品質検査の効率を向上させている。しかし、目視検査は、製品の生産ラインの中で、最も自動化が困難な工程であり、特に、顕微鏡による目視検査は、検査員が顕微鏡を覗きながら手で製品を移動させ、製品毎に検査を行うものであり、習熟を要する。【０００４】
このため、顕微鏡等を用いた目視検査では、依然として多くの人が検査作業に携わっており、検査作業を行う検査員によって、検査の精度のばらつきが存在している。そこで、従来から、検査員による検査の精度のばらつきを低減させるために、検査員の能力を向上させる方法も模索されている。【０００５】
目視検査の検査員の能力を向上させるための方法としては、例えば、アイカメラを優秀な検査員に装着させ、この検査員の検査時の視線の動きを、他の検査員に観察させ、他の検査員にも同様の動きをさせる方法等が知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平３−２５７４１３号公報
【特許文献２】特表２０１５−５００７３２号公報
【特許文献３】特開２００６−２５４１４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
顕微鏡を用いた目視検査では、検査員が接眼レンズを覗いた状態で検査が行われるため、検査時にアイカメラを装着することができず、検査員の視線を検査員自身や他の検査員に観察させることができない。このため、従来の顕微鏡を用いた目視検査では、例えば、検査員毎の検査の精度のばらつきの原因を把握することが困難である。また、従来の顕微鏡を用いた目視検査では、検査員に対して標準的な視線の動きがどのようなものであるかを提示することができず、検査の訓練を行うことができない。さらに、従来の顕微鏡を用いた目視検査では、ある検査員の視点をみながら複数の検査員が議論することや、実際の視点の動きを観察しながら製品の動かし方の教育を行うことができない。【０００８】
また、デジタルカメラを介して直接ディスプレイで対象物を観察できるようにした光学顕微鏡であるデジタル顕微鏡による検査では、検査員がレンズに接眼させる必要はない。しかし、デジタル顕微鏡では、立体感、解像度、ピント調整機能、動いている検査対象物の画像を１秒間に何枚取り込めるか、等といったデジタル顕微鏡の性能と、検査員の目の機能とが異なる。このため、デジタル顕微鏡では、検査員が接眼して対象物を観察する状態の再現が難しく、この状態の再現が可能な装置となると、本願の出願時点においては、高額の投資が必要であり適用は難しい。【０００９】
開示の技術は、上記事情に鑑みてなされたものであり、検出された視線を観察させることを目的としている。
【課題を解決するための手段】
【００１０】
開示の技術は、視線分析システムであって、接眼レンズを介して撮像された画像データを用いて生成された分析用画像が記憶された記憶部と、前記分析用画像を表示する表示部と、前記表示部に表示された前記分析用画像を目視する対象者の視線を検出する視線検出部と、前記分析用画像と前記対象者の視線を重畳させた分析結果画像の画像データを出力する出力部と、を有する。【００１１】
また、開示の技術は、視線分析システムであって、接眼レンズを介して撮像された画像データを用いて生成された分析用画像が記憶された記憶部と、前記分析用画像を表示する表示部と、前記表示部に表示された前記分析用画像を目視する装着者に装着され、前記装着者の視線を検出する視線検出部と、前記分析用画像と前記装着者の視線を重畳させた分析結果画像の画像データを出力する出力部と、を有する。【００１２】
また、開示の技術は、接眼レンズを介した対象物の目視のトレーニング方法であって、表示装置に表示された、接眼レンズを介して撮像された画像データを用いて生成された分析用画像を、視線検出の対象者に目視させ、前記目視の後に、前記分析用画像と、前記分析用画像上において検出された前記対象者の視線と、を重畳させた分析結果画像を前記対象者に目視させる。【００１３】
また、開示の技術は、接眼レンズを介した対象物の目視のトレーニング方法であって、表示装置に表示された、接眼レンズを介して撮像された画像データを用いて生成された分析用画像を、視線検出装置の装着者に目視させ、前記目視の後に、前記分析用画像と、前記分析用画像上において検出された前記装着者の視線と、を重畳させた分析結果画像を前記装着者に目視させる。【００１４】
また、開示の技術は、接眼レンズを介した対象物の目視のトレーニング方法であって、表示装置に表示された、接眼レンズを介して撮像された画像データを用いて生成された分析用画像を、視線検出の対象者に目視させ、前記目視の後に、前記分析用画像と、前記分析用画像上において検出された前記対象者の視線と、を重畳させた分析結果画像を前記対象者とは別の者に目視させる。【００１５】
また、開示の技術は、接眼レンズを介した対象物の目視のトレーニング方法であって、表示装置に表示された、接眼レンズを介して撮像された画像データを用いて生成された分析用画像を、視線検出装置の装着者に目視させ、前記目視の後に、前記分析用画像と、前記分析用画像上において検出された前記装着者の視線と、を重畳させた分析結果画像を前記装着者とは別の者に目視させる。【００１６】
また、開示の技術は、視線分析システムであって、視線の検出対象となる対象者の顔面に接触する保持具によって保持されたレンズを介して撮像された画像データを用いて生成された分析用画像が記憶された記憶部と、前記分析用画像を表示する表示部と、前記表示部に表示された前記分析用画像における前記対象者の視線を検出する視線検出部と、前記分析用画像と前記対象者の視線を重畳させた分析結果画像の画像データを出力する出力部と、を有する。
【発明の効果】
【００１７】
検出された視線を観察させることができる。
【図面の簡単な説明】
【００１８】
【図１Ａ】第一の実施形態の視線分析システムを説明する図である。
【図１Ｂ】第一の実施形態の他の視線分析システムを説明する図である。
【図２】第一の実施形態の視線分析システムにおける対象者と表示装置の位置の関係を説明する図である。
【図３】第一の実施形態の分析用画像を説明する図である。
【図４】第一の実施形態の視線分析システムの有する各装置の機能を説明する図である。
【図５】第一の実施形態の視線分析システムによる対象者の視線の分析の手順を説明する図である。
【図６】第一の実施形態の分析結果画像を説明する図である。
【図７】第一の実施形態の検査員Ａの分析結果画像の一例を示す図である。
【図８】第一の実施形態の検査員Ｂの分析結果画像の一例を示す図である。
【図９】第一の実施形態の視線分析システムを用いた目視検査のトレーニング方法の手順を示す図である。
【図１０】視線分析システムの変形例を示す第一の図である。
【図１１】視線分析システムの変形例を示す第二の図である。
【図１２】視点の大きさ、視点の移動速度及び視点の網羅性を説明する図である。
【図１３】視点の大きさと及び視点の移動速度と、平均生産性との関係を説明する図である。
【図１４】視点の網羅性と見逃し率の関係を説明する図である。
【図１５】第二の実施形態の視線分析システムの有する各装置の機能を説明する図である。
【図１６】第二の実施形態の分析結果画像データベースの一例を示す図である。
【図１７】第二の実施形態の集計結果データベースの一例を示す図である。
【図１８】第二の実施形態のメッセージデータベースの一例を示す図である。
【図１９】第二の実施形態のトレーニング支援部の処理を説明するフローチャートである。
【図２０】第二の実施形態の視線分析システムにおける検査員のトレーニングを支援する処理を説明するフローチャートである。
【発明を実施するための形態】
【００１９】
(第一の実施形態)
以下に、図面を参照して、第一の実施形態について説明する。図１Ａは、第一の実施形態の視線分析システムを説明する図である。
【００２０】
本実施形態の視線分析システム１００は、表示装置１１０、制御装置１２０、視線検出装置１３０、制御装置１６０、表示装置１７０を有する。
【００２１】
表示装置１１０は、分析の対象者Ｐの視線の動きを検出するために用いられる分析用画像Ｇが表示される。制御装置１２０は、分析用画像Ｇの元となる分析用画像データを保持しており、この分析用画像Ｇを表示装置１１０に表示させる。
【００２２】
視線検出装置１３０は、例えば、アイカメラ等であり、対象者Ｐに装着され、対象者Ｐの視野の画像を撮像し、撮像された画像の画像データと、この画像における対象者Ｐの視線の位置を示す情報とを取得する。また、視線検出装置１３０は、取得した画像データと、対象者Ｐの視線の位置を示す情報とを、制御装置１６０へ出力する。
【００２３】
尚、図１Ａでは、視線検出装置１３０を、対象者Ｐに装着される形態としたが、これに限定されない。視線検出装置１３０は、対象者Ｐの視線を検出できれば良い。例えば、視線検出装置１３０は、図１Ｂに示すように、アイカメラ等の対象者Ｐに装着されるものではなく、表示装置１１０の下部に、対象者Ｐに向けて設置されたカメラ１３０Ａ等であっても良い。このカメラ１３０Ａは、視線を検出するために、高精細で近赤外の光源を有するものが好ましい。また、カメラ１３０Ａの設置位置は、視線を検出するために、表示装置１１０の上側でも下側でもよく、下側が好ましく、下側の左右２箇所がより好ましい。
【００２４】
具体的には、視線検出装置１３０は、撮像した画像上に、対象者Ｐの視線の位置を示すマーク等を重畳させた画像の画像データを制御装置１６０へ出力する。以下の説明では、制御装置１６０が視線検出装置１３０から取得する画像データを、分析結果画像データと呼ぶ。
【００２５】
また、本実施形態では、視線検出装置１３０によって撮像された画像における、視線検出装置１３０の装着者の視線を検出し、視線の位置を示す画像を撮像された画像に重畳させることを、「分析」と表現することがある。
【００２６】
本実施形態では、制御装置１６０が、この分析結果画像データを、表示装置１７０に表示させることで、対象者Ｐや、対象者Ｐ以外の第三者に対し、対象者Ｐが分析用画像を見ているときの対象者Ｐの視線の動きを観察させることができる。
【００２７】
尚、視線検出装置１３０から制御装置１６０に出力された分析結果画像データは、例えば、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型の記憶装置等に記憶されても良いし、制御装置１６０に設けられた記憶装置に記憶されても良い。記憶装置に記憶された分析結果画像データは、制御装置１６０によって読み出され、表示装置１７０に表示されても良い。
【００２８】
以下に、さらに視線分析システム１００について説明する。本実施形態の視線分析システム１００では、例えば、対象者Ｐが、顕微鏡等に設けられた接眼レンズを覗いた状態の視野が再現されるように構成されている。
【００２９】
具体的には、例えば、本実施形態では、分析用画像Ｇを、顕微鏡の接眼レンズに撮像装置を取り付けて、接眼レンズを介して撮像した画像を用いて作成された画像としている。また、本実施形態では、表示装置１１０に分析用画像Ｇを表示させる際に、接眼レンズを覗いた状態を表すために、例えば、表示装置１１０の画面１１１における円形の領域１１２以外の領域をマスクし、分析用画像Ｇが円形の画像として対象者Ｐに視認されるようした。さらに、本実施形態では、制御装置１２０と通信を行うポインタ１４０によって、円形の領域１１１内に表示される分析用画像Ｇを移動（スクロール）させることができるようにした。尚、ポインタ１４０は、制御装置１２０に取り付けられたタッチパット等であっても良いし、制御装置１２０と接続されたマウス等であっても良い。
【００３０】
以下に、図２を参照して、本実施形態の視線分析システム１００について、さらに説明する。図２は、第一の実施形態の視線分析システムにおける対象者と表示装置の位置の関係を説明する図である。
【００３１】
本実施形態では、表示装置１１０の画面１１１の円形の領域１１２内に表示される分析用画像Ｇが、顕微鏡を覗いた状態に近い状態で対象者Ｐの視野角に入るように、円形の領域１１２の直径ｒを２０センチ程度とした。また、本実施形態の表示装置１１０は、直径ｒを２０センチ程度の円形の領域１１２を確保するために、２２ｉｎｃｈ以上のモニタとした。
【００３２】
さらに、本実施形態では、表示装置１１０と、対象者Ｐの眼との距離Ｌを４０ｃｍ程度とした。尚、距離Ｌは、対象者Ｐが顕微鏡で目視検査を行う場合における、検査対象物の拡大倍率に応じて調整されても良い。
【００３３】
次に、図３を参照して、本実施形態の分析用画像Ｇについて説明する。図３は、第一の実施形態の分析用画像を説明する図である。
【００３４】
本実施形態の分析用画像Ｇは、例えば、検査対象となる製品を光学顕微鏡にセットした状態で、光学顕微鏡の接眼レンズの何れか一方に、デジタルカメラ等の撮像装置を取り付けて撮像した画像Ｇ１を複数つなげた画像としても良い。
【００３５】
尚、本実施形態の分析用画像Ｇには、複数種類の製品の画像が含まれていても良い。具体的には、分析用画像には、画像Ｇ１と、画像Ｇ１の元となる製品とは異なる種類の製品を撮像した画像Ｇ２と、がそれぞれ複数含まれていても良い。
【００３６】
本実施形態の分析用画像Ｇは、例えば、印刷業界等で用いられる画像処理用のアプリケーション（Ｉｌｌｕｓｔｒａｔｏｒ等）を利用し、撮像装置の解像度を保った高解像度の縦長の画像として作成される。本実施形態では、分析用画像Ｇを縦長の画像とすることで、ポインタ１４０を用いた円形の領域１１２内における分析用画像Ｇのスクロールが可能となる。本実施形態では、対象者Ｐに、分析用画像Ｇをスクロールさせることで、顕微鏡を用いた目視検査において、手で製品を移動させる動作を再現させることができる。
【００３７】
本実施形態では、以上のように視線分析システム１００を構成することで、例えば、対象者Ｐが光学顕微鏡を用いて半導体チップ等の目視検査を行っている状態を模倣した状態を作り出すことができる。言い換えれば、本実施形態の視線分析システム１００は、視線検出装置１３０を装着した対象者Ｐが光学顕微鏡を用いて半導体チップ等の目視検査を行っている状態を再現できる。
【００３８】
また、その他の例として、本実施形態の視線分析システム１００は、視線検出装置１３０を装着しなくても、カメラ１３０Ａ等を設けることで、対象者Ｐが光学顕微鏡を用いて半導体チップ等の目視検査を行っている状態を再現できる。
【００３９】
このため、本実施形態では、対象者Ｐが光学顕微鏡を用いた目視検査を行っている状態における、対象者Ｐの視線の動きを示す情報（分析結果画像）を取得することができる。
【００４０】
尚、本実施形態では、例えば、検査対象の製品１つを、接眼レンズを介して撮像した場合の画像のサイズを２００ｋＢとし、この画像をベースの画像ＢＧとすると、画像Ｇ１は、ベースの画を横方向に９個並べた行を８列含む画像としても良い。その場合、画像Ｇ１のサイズは、１４，４００ｋＢとなる。
【００４１】
また、本実施形態の分析用画像Ｇは、ベースの画像ＢＧを横方向に９個並べた行を３０列含む画像としても良い。その場合、分析用画像Ｇのサイズは、１５０，０００ｋＢ（１５０ＧＢ）となる。
【００４２】
本実施形態では、このサイズの分析用画像Ｇを、圧縮したりせずに、このままの状態で保持することで、分析用画像１の解像度を維持する。
【００４３】
尚、本実施形態の分析用画像Ｇは、２つの接眼レンズの何れか一方に取り付けられた撮像装置によって撮像された二次元の画像としたが、これに限定されない。本実施形態の分析用画像Ｇは、例えば、２つの接眼レンズの双方に撮像装置を取り付け、それぞれの撮像装置によって撮像された画像を用いて生成された三次元画像であっても良い。尚、本実施形態の画像は、動画も含む。したがって、本実施形態の分析用画像Ｇは、三次元動画であっても良い。
【００４４】
分析用画像Ｇを三次元画像とすれば、視線分析システム１００において、対象者Ｐが分析用画像Ｇを見たときの視界を、対象者Ｐが顕微鏡を覗いた状態で視認される視界に近づけることができる。
【００４５】
尚、本実施形態では、分析用画像Ｇを三次元画像とした場合には、視線検出装置１３０の代わりに、視線検出機能を有する３Ｄ眼鏡を対象者Ｐに装着させても良い。このように、３Ｄ眼鏡を用いれば、対象者Ｐに対して、検査対象の製品の画像を立体的に見せることができ、より、実際の視野に近づけることができる。
【００４６】
以下に、図４を参照して、本実施形態の視線分析システム１００の有する各装置に
ついて説明する。図４は、第一の実施形態の視線分析システムの有する各装置の機能を説明する図である。
【００４７】
本実施形態の視線分析システム１００において、制御装置１２０は、分析用画像記憶部１２１、表示制御部１２２を有する。
【００４８】
分析用画像記憶部１２１は、予め作成された分析用画像データＧｄを保持する。
【００４９】
表示制御部１２２は、分析用画像データＧｄに基づき、表示装置１１０に分析用画像Ｇを表示させる。また、表示制御部１２２は、分析結果画像データＧＳｄに基づき、表示装置１１０に分析結果画像ＧＳを表示させる。尚、本実施形態の分析結果画像データＧＳｄは、対象者Ｐの分析用画像Ｇ上の視線の動きを示す画像データである。言い換えれば、本実施形態の分析結果画像データＧＳｄは、分析用画像Ｇ上の対象者Ｐの視線の軌跡を示す動画データである。
【００５０】
本実施形態の制御装置１６０は、分析結果取得部１６１、分析結果画像記憶部１６２、表示制御部１６３を有する。
【００５１】
分析結果取得部１６１は、視線検出装置１３０から出力される分析結果画像データＧＳｄを取得し、分析結果画像記憶部１６２に記憶させる。尚、本実施形態の分析結果取得部１６１は、例えば、分析用画像Ｇを表示装置１１０に表示させる際に、視線検出装置１３０を装着する対象者Ｐに、対象者Ｐを識別する識別情報を入力させ、識別情報と、分析結果画像データＧＳｄとを対応付けて、分析結果画像記憶部１６２に記憶させても良い。
【００５２】
分析結果画像記憶部１６２は、分析結果画像ＧＳを表示させるための分析結果画像データＧＳｄを保持する。
【００５３】
表示制御部１６３は、分析結果画像データＧＳｄを表示装置１７０に表示させる。
【００５４】
本実施形態の視線検出装置１３０は、撮像部１３１、視線検出部１３２、画像生成部１３３、出力部１３４を有する。
【００５５】
撮像部１３１は、カメラ等の撮像装置であり、視線検出装置１３０を装着している対象者Ｐの視線方向の風景の画像を撮像する。
【００５６】
視線検出部１３２は、撮像部１３１が撮像した画像における、視線検出装置１３０の装着者の視線を検出する。画像生成部１３３は、撮像部１３１により撮像された画像に、視線検出部１３２によって検出された視線の位置を示す画像を重畳した画像を生成する。出力部１３４は、画像生成部１３３が生成した画像の画像データを分析結果画像データとして、制御装置１６０へ出力する。
【００５７】
次に、図５を参照して、本実施形態の視線分析システム１００により対象者Ｐの視線を分析する手順を説明する。図５は、第一の実施形態の視線分析システムによる対象者の視線の分析の手順を説明する図である。
【００５８】
本実施形態の視線分析システム１００において、制御装置１２０は、表示制御部１２２により、分析用画像記憶部１２１に保持された分析用画像データを読み出し、表示装置１１０に分析用画像Ｇを表示させる（ステップＳ５０１）。
【００５９】
続いて、視線分析システム１００は、対象者Ｐに装着された視線検出装置１３０の撮像部１３１によって、表示装置１１０の分析用画像Ｇを見ている対象者Ｐの視野の画像の撮像を開始する（ステップＳ５０２）。
【００６０】
続いて、視線検出装置１３０は、視線検出部１３２により撮像した画像における対象者Ｐの視線を検出し、画像生成部１３３により、撮像した画像に視線の位置を示す画像を重ねた分析結果画像を示す分析結果画像データを生成する（ステップＳ５０３）。分析結果画像の詳細は後述する。
【００６１】
続いて、視線検出装置１３０は、出力部１３４により、分析結果画像データを制御装置１６０に出力する（ステップＳ５０４）。制御装置１６０は、分析結果取得部１６１により、視線検出装置１３０から出力された分析結果画像データを取得し、分析結果画像記憶部１６２に格納する（ステップＳ５０５）。
【００６２】
本実施形態では、以上のようにして取得した分析結果画像データを、表示装置１７０に表示させることで、接眼レンズを介した対象者Ｐの視界を示した状態における、対象者Ｐの視線の動きを可視化することができる。したがって、本実施形態によれば、接眼レンズを介した対象者Ｐの視界を示した状態における視線の動きを、対象者Ｐや、その他の人に観察させることができる。
【００６３】
このため、本実施形態の視線分析システム１００を用いることで、例えば、光学顕微鏡を用いた目視検査において、高い精度で短時間に検査を行う能力を有する検査員の分析結果画像を他の検査員に観察させることができる。
【００６４】
以下に、図６を参照して、本実施形態の分析結果画像について説明する。図６は、第一の実施形態の分析結果画像を説明する図である。
【００６５】
視線検出装置１３０を装着した対象者Ｐは、表示装置１１０に表示された画面１１１を見ている。したがって、視線検出装置１３０は、図６に示すような、画面１１１を撮像することになる。
【００６６】
また、視線検出装置１３０は、撮像した画面１１１の画像上における、対象者Ｐの視線の位置を検出し、視線の位置を示す画像１１３を重畳させる。また、分析用画像Ｇ上における画像１１３は、対象者Ｐの視線の動きに応じて移動する。言い換えれば、画像１１３は、対象者Ｐの視線の動きに追従して動く。
【００６７】
尚、本実施形態では、分析用画像Ｇにおける所定位置からの対象者Ｐの視線の移動量を求め、数値データとして、分析結果画像データＧＳｄと共に、分析結果記憶部１６２に保持していても良い。また、所定位置とは、分析用画像Ｇに含まれる検査対象となる製品の画像の中心を示す座標であっても良い。
【００６８】
また、本実施形態では、移動量を示す数値を分析結果画像データＧＳｄと共に出力しても良い。さらに、本実施形態では、移動量を示す数値を、分析用画像Ｇ上に表示させても良い。
【００６９】
さらに、視線分析システム１００による視線の分析が行われる間、対象者Ｐは、ポインタ１４０を用いて分析用画像Ｇを上下左右にスクロールさせ、分析用画像Ｇにおいて円形の領域１１２内に表示される領域を移動させていく。
【００７０】
したがって、画像１１３の動きは、円形の領域１１２内に表示される分析用画像Ｇが静止した状態における対象者Ｐの視線の動きと、円形の領域１１２内に表示される分析用画像Ｇの動きと、の両方を追従したものとなる。
【００７１】
以下に、図７及び図８を参照して、本実施形態の分析結果画像の例について説明する。図７は、例えば、光学顕微鏡を用いた目視検査において、短時間に高精度の目視検査を行うことができる検査員Ａの分析結果画像の一例を示しており、図８は、例えば、検査員Ａと比較して見逃しがある生産性が低い検査員Ｂの分析結果画像の一例を示している。
【００７２】
図７は、第一の実施形態の検査員Ａの分析結果画像の一例を示す図である。図７（Ａ）〜図７（Ｄ）は、表示装置１７０に表示された検査員Ａの分析結果画像データ（動画）から切り出したフレーム毎の画像を示している。
【００７３】
また、図７に示す円形の領域１１２内の分析用画像Ｇには、検査対象となる製品の画像７１〜７６が表示されている。
【００７４】
図７（Ａ）では、分析結果画像ＧＳ−１Ａにおいて、円形の領域１１２内の分析用画像Ｇにおける検査員Ａの視線の位置を示す画像１１３−１Ａは、隣接して並んでいる画像７１と画像７２との間に位置している。また、図７（Ｂ）では、分析用画像ＧＳ−２Ａにおいて、画像１１３−２Ａが、隣接して並んでいる画像７３と画像７４との間に位置している。また、図７（Ｃ）では、分析用画像ＧＳ−３Ａにおいて、画像１１３−３Ａが、画像７３と画像７４と、画像７５と、画像７６との中心に位置している。さらに、図７（Ｄ）では、分析用画像ＧＳ−４Ａにおいて、画像１１３−４Ａが、隣接して並んでいる画像７５と画像７６との間に位置している。
【００７５】
図７の分析結果画像から、検査員Ａは、製品１つ１つの画像に対しては視線が向いておらず、複数の製品の画像の間に視線が向いていることがわかる。このことから、検査員Ａは、製品の画像を中心視で凝視するのではなく、製品の画像を周辺視によって瞬間視していることがわかる。また、この例では、視野角（視野の広さを表す角度）が、１７度となることからも、周辺視とわかる。
【００７６】
一般的に、目視検査において、生産性を向上させるために重要な要素として、検査対象物を中心視によって凝視するのではなく、周辺視によって瞬間視することが知られている。
【００７７】
図７の例から、検査員Ａは、分析結果画像ＧＳ−１Ａ〜ＧＳ−４Ａにおける画像１１３−１Ａ〜１１３−４Ａの位置から、周辺視及び瞬間視を用いた適切な視線の動きによって、目視検査を行っていることが把握できる。言い換えれば、適切な視線の動きで目視検査を行っている検査員は、短時間で高精度な目視検査を行うことができることが把握できる。尚、本実施形態における生産性の向上とは、目視検査にかかる時間を短縮することである。
【００７８】
図８は、第一の実施形態の検査員Ｂの分析結果画像の一例を示す図である。図８（Ａ）〜図８（Ｄ）は、表示装置１７０に表示された検査員Ｂの分析結果画像データ（動画）から切り出したフレーム毎の画像を示している。
【００７９】
図８（Ａ）では、分析結果画像ＧＳ−１Ｂにおいて、円形の領域１１２内の分析用画像Ｇにおける検査員Ｂの視線の位置を示す画像１１３−１Ｂは、製品の画像７１と重なる位置にある。また、図８（Ｂ）では、分析用画像ＧＳ−２Ｂにおいて、画像１１３−２Ｂが、画像７４と重なる位置にある。また、図８（Ｃ）では、分析用画像ＧＳ−３Ｂにおいて、画像１１３−３Ｂが、画像７４と重なる位置にある。さらに、図８（Ｄ）では、分析用画像ＧＳ−４Ｂにおいて、画像１１３−４Ｂが、画像７５と重なる位置にある。
【００８０】
図８に示す分析結果画像から、検査員Ｂは、製品の画像１つ１つを中心視によって凝視していることがわかる。また、図８に示す分析結果画像から、検査員Ｂは、画像７３に視線が向かないまま、画像７３、７４の下に並んでいる画像７５に移動しており、画像７３を見逃していることがわかる。
【００８１】
このように、本実施形態によれば、顔面を顕微鏡等の検査器具に接触させるために、検査中の検査員の眼球の動きを捉えることが不可能となる場合でも、検査員の視線の動きを分析結果画像に示すことで、検査員自身や他の検査員に視線を観察させることができる。
【００８２】
したがって、本実施形態では、検査員に対し、自身の分析結果画像や、他の検査員の分析結果画像を目視させることで、検査員による目視検査のトレーニングとすることができる。
【００８３】
以下に、図９を参照して、本実施形態の視線分析システム１００を用いたトレーニング方法を説明する。
【００８４】
図９は、第一の実施形態の視線分析システムを用いた目視検査のトレーニング方法の手順を示す図である。
【００８５】
本実施形態において、検査員は、制御装置１６０により、表示装置１７０に表示させる分析結果画像データＧＳｄを指定する（ステップＳ９０１）。言い換えれば、制御装置１６０は、表示装置１７０に表示させる分析結果画像データＧＳｄの選択を受け付ける。
【００８６】
次に、制御装置１６０は、表示制御部１６３により、指定された分析結果画像データＧＳｄを分析結果画像記憶部１６２から読み出す（ステップＳ９０２）。そして、制御装置１６０は、表示制御部１６３により、読み出した分析結果画像データＧＳｄを表示装置１７０に表示させ、分析結果画像データＧＳｄを指定した検査員に、表示装置１７０に表示された分析結果画像ＧＳを目視させる（ステップＳ９０３）。
【００８７】
本実施形態では、このように、分析結果画像データＧＳｄを検査員に目視させることで、検査員に対し、接眼レンズを介した状態の視野における自分の視線の動きや、他の検査員の視線の動きを観察させることができる。また、本実施形態では、他の多くの検査員と共に視線の動きを観察したり、視線の動きついての議論をすることができる。
【００８８】
したがって、本実施形態によれば、例えば、短時間で高精度な検査を行う検査員の分析結果画像ＧＳを他の検査員達に観察させ、他の検査員達の目視検査における生産性を向上させることができる。具体的には、例えば、検査員Ｂに対し、自身の分析結果画像ＧＳ（図８参照）と、検査員Ａの分析結果画像ＧＳ（図７参照）とを観察させることで、検査員Ｂに対して、目視検査における適切な視線の動きがどのようなものであるかを学習させることができる。
【００８９】
尚、本実施形態の視線分析システム１００は、表示装置１１０、制御装置１２０、視線検出装置１３０、制御装置１６０、表示装置１７０を有する構成としたが、これに限定されない。以下に、視線分析システム１００の変形例について説明する。
【００９０】
図１０は、視線分析システムの変形例を示す第一の図である。図１０に示す視線分析システム１００Ａは、表示装置１１０、制御装置１２０、視線検出装置１３０、表示装置１７０を有しており、制御装置１２０が制御装置１６０を兼ねている。
【００９１】
視線分析システム１００Ａでは、視線検出装置１３０が取得した分析結果画像データＧＳｄが、制御装置１２０に格納される。そして、制御装置１２０は、分析結果画像ＧＳを表示装置１７０に表示させることで、対象者Ｐや第三者に、対象者Ｐの視線の動きを観察させる。
【００９２】
図１１は、視線分析システムの変形例を示す第二の図である。図１１に示す視線分析システム１００Ｂは、表示装置１１０、制御装置１２０、視線検出装置１３０を有しており、表示装置１１０が表示装置１７０を兼ねており、制御装置１２０が制御装置１６０を兼ねている。
【００９３】
視線分析システム１００Ｂでは、視線検出装置１３０が取得した分析結果画像データＧＳｄが、制御装置１２０に格納される。また、視線分析システム１００Ｂでは、制御装置１２０は、分析結果画像ＧＳを表示装置１１０に表示させることで、対象者Ｐや第三者に、対象者Ｐの視線の動きを観察させる。
【００９４】
このように、本実施形態の視線分析システムは、表示装置、制御装置、視線検出装置を備えていれば、実現可能であり、視線分析システムに含まれる各装置の数は、任意であって良い。
【００９５】
（第二の実施形態）
以下に図面を参照して、第二の実施形態について説明する。第二の実施形態では、検査員毎の分析結果画像データを解析した結果に応じたメッセージが通知される点が、第一の実施形態と相違する。よって、以下の第二の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
【００９６】
以下に、本実施形態の視線分析システムの説明に先立ち、実際の目視検査から得られる検査員に関する情報と、視線分析システムによる分析結果から得られる検査員に関する情報について説明する。
【００９７】
実際の光学顕微鏡を用いた目視検査では、検査員に関する情報として、平均生産数［ｐｃｓ／時間］、見逃し率［ｐｐｍ］、過検出率［ｐｐｍ］が得られる。
【００９８】
平均生産数は、単位時間において検査員が検査した製品の数である。尚、単位時間は、１時間でも良いし、１分でも良く、任意の単位であっても良い。見逃し率は、検査員が検査した製品の数に対する、見逃した不良品の数の割合を示す。過検出率は、検査員が検査した製品の数に対する、良品を不良品として検出した数の割合を示す。
【００９９】
これに対し、本実施形態の視線分析システムによる分析結果では、検査員に関する情報として、検査員の視点の大きさ［ｍｍ２］、視点の移動速度［ｓ／ｐｃｓ］、視点の網羅性［％］である。尚、視点の大きさの単位は、［個数］であっても良い。
【０１００】
平均生産数は、視点の大きさ及び視点の移動速度と相関がある。また、見逃し率は、視点の網羅性と相関がある。過検出率は、視点の移動速度と中程度の相関がある。
【０１０１】
以下に、図１２を参照して、視点の大きさ、視点の移動速度及び視点の網羅性について説明する。図１２は、視点の大きさ、視点の移動速度及び視点の網羅性を説明する図である。
【０１０２】
視点の大きさは、例えば、分析結果画像ＧＳ−１２に表示される視線の位置を示す画像１１３−５が滞留しているとき（移動していないとき）における、画像１１３−５を中心とした所定範囲の領域Ｒ１の面積である。
【０１０３】
尚、視点の大きさは、所定範囲の領域Ｒ１に、少なくとも一部が含まれる製品の数として示されても良い。図１２の場合、領域Ｒ１には、製品７７の一部と製品７８の一部が含まれるため、視点の大きさを「２個」と表現しても良い。
【０１０４】
視点の移動速度は、分析結果画像において、視線の位置を示す画像が滞留している時間と、視線の位置を示す画像が移動して、次に滞留するまでの時間との合計時間を、製品毎に算出し、平均した値である。
【０１０５】
図１２の例では、視点の移動速度は、視線の位置を示す画像１１３−５が滞留している時間と、視線の位置を示す画像１１３−５が移動を開始してから次に滞留するまでの時間の合計時間が、製品７７と製品７８のそれぞれについての視点の移動速度となる。
【０１０６】
視点の網羅性は、検査員が検査すべき製品の数に対する、視点の大きさを示す所定範囲の領域内に滞留した製品の数の割合を示す。図１２の例では、視点が視線の位置を示す画像１１３−５で滞留しているときの領域Ｒ１内に、製品７７、７８の一部が含まれている。また、図１２の例では、視点が視線の位置を示す画像１１３−６で滞留しているときの領域Ｒ２内に、製品７９、８０の一部が含まれている。したがって、領域Ｒ１、Ｒ２内では、視点の網羅性は低下していないことがわかる。
【０１０７】
次に、図１３を参照して、視点の大きさと及び視点の移動速度と、平均生産性との関係について説明する。
【０１０８】
図１３は、視点の大きさと及び視点の移動速度と、平均生産性との関係を説明する図である。図１３（Ａ）は、中心視を用いた検査員の分析結果画像ＧＳ−１３Ａの例を示す図であり、図１３（Ｂ）は、周辺視を用いた検査員の分析結果画像ＧＳ−１３Ｂの例を示す図である。
【０１０９】
図１３（Ａ）に示すように、中心視を用いた場合には、分析結果画像ＧＳ−１３Ａにおいて、視点の大きさを示す領域Ｒ３、Ｒ４、Ｒ５、Ｒ６は、それぞれが製品８１、８２、８３、８４と重なっている。したがって、図１３（Ａ）の例では、視点の大きさを製品の個数で表現すると、「１個」となる。
【０１１０】
また、図１３（Ａ）の例では、視点の移動速度は、例えば、視点が領域Ｒ３で滞留した時間と、視点が領域３から領域４に移動するまでの時間の合計時間が、製品８１に対応した視点の移動速度となる。同様に、図１３（Ａ）の例では、視点が領域Ｒ４で滞留した時間と、視点が領域４から領域５に移動するまでの時間の合計時間が、製品８２に対応した視点の移動速度となる。尚、図１３（Ａ）の例では、中心視を用いているため、一点を凝視することになり、視点が滞留している時間が、周辺視を用いた場合よりも長くなる。
【０１１１】
図１３（Ａ）において、上述した製品毎の視点の移動速度の平均値を算出した場合、０．５６［ｓ／ｐｃｓ］となった。また、図１３（Ａ）の分析結果画像ＧＳ−１３Ａと対応する対象者Ｐの平均生産数は、２３９４［ｐｃｓ／ｈ］である。
【０１１２】
これに対し、図１３（Ｂ）に示すように、周辺視を用いた場合には、分析結果画像ＧＳ−１３Ｂに示すように、視点の大きさを示す領域Ｒ７は、製品８１、８２の一部と重なり、領域Ｒ８は、製品８３、８４の一部と重なっている。したがって、図１３（Ｂ）の例では、視点の大きさを製品の個数で表現すると、「２個」となる。
【０１１３】
また、図１３（Ｂ）の例では、視点の移動速度は、例えば、視点が領域Ｒ７で滞留した時間と、視点が領域Ｒ７から領域Ｒ８に移動するまでの時間の合計時間が、製品８１、８２のそれぞれに対応した視点の移動速度となる。尚、図１３（Ｂ）の例では、周辺視を用いている場合、一点を凝視することがないため、視点が滞留している時間が、中心視を用いた場合よりも短くなる。
【０１１４】
図１３（Ｂ）において、上述した製品毎の視点の移動速度の平均値を算出した場合、０．３４［ｓ／ｐｃｓ］となった。また、図１３（Ｂ）の分析結果画像ＧＳ−１３Ｂと対応する対象者Ｐの平均生産数は、３９５０［ｐｃｓ／ｈ］である。
【０１１５】
このように、平均生産数は、視点の大きさの値が大きく、視点の移動速度の値が小さいほど大きくなつており、平均生産数と、視点の大きさ及び視点の移動速度とは相関があるとがわかる。
【０１１６】
次に、図１４を参照して、本実施形態の視点の網羅性と見逃し率との関係について説明する。図１４は、視点の網羅性と見逃し率の関係を説明する図である。図１４（Ａ）は、視点の網羅性と見逃し率の関係を示す第一の図であり、図１４（Ｂ）は、視点の網羅性と見逃し率の関係を示す第二の図である。
【０１１７】
図１４（Ａ）に示す分析結果画像ＧＳ−１３Ａの例では、製品８１〜８６の全てについて、視点の大きさを示す領域Ｒ３〜Ｒ７が重なっている。したがって、例えば、１０個の製品全てについて、図１４（Ａ）に示すように、製品に視点の大きさを示す領域が重なっていた場合、視点の網羅性は、１０ｐｃｓ／１０ｐｃｓとなり、１００［％］となる。また、図１４の分析結果画像ＧＳ−１３Ａと対応する対象者Ｐの見逃し率は、２５８［ｐｐｍ］である。
【０１１８】
これに対し、図１４（Ｂ）に示す分析結果画像ＧＳ−１３Ｃの例では、視線の大きさを示す領域Ｒ１１は製品８１と重なっており、領域Ｒ１２は製品８２と重なっており、領域Ｒ１３は製品８３と重なっており、領域Ｒ１４は製品８５と重なっている。しかし、製品８４には、視点の大きさを示す領域は重なっていない。
【０１１９】
したがって、例えば、１０個の製品全てについて、図１４（Ｂ）に示すように、製品に視点の大きさを示す領域が重なっていた場合、視点の網羅性は、９ｐｃｓ／１０ｐｃｓとなり、９０［％］となる。また、図１４の分析結果画像ＧＳ−１３Ｃと対応する対象者Ｐの見逃し率は、１５１２［ｐｐｍ］である。
【０１２０】
このように、見逃し率は、視点の網羅性の値が高いほど小さくなっており、見逃し率と視点の網羅性とは相関があることがわかる。
【０１２１】
以上のことをふまえ、本実施形態の視線分析システムについて説明する。本実施形態の視線分析システムでは、分析結果画像を解析することで、対象者Ｐ（検査員）毎の視点の大きさ、視点の移動速度、視点の網羅性を取得する。
【０１２２】
そして、本実施形態では、分析結果画像から得られた検査員毎の情報（視点の大きさ、視点の移動速度、視点の網羅性）と、実際の光学顕微鏡を用いた目視検査から得られた検査員毎の情報（平均生産性、過検出率、見逃し率）と、に基づき、検査員に目視検査のトレーニングを行わせる。
【０１２３】
図１５は、第二の実施形態の視線分析システムの有する各装置の機能を説明する図である。
【０１２４】
本実施形態の視線分析システム１００Ｃは、表示装置１１０、制御装置１２０Ａ、視線検出装置１３０を有する。
【０１２５】
制御装置１２０Ａは、分析用画像記憶部１２１、表示制御部１２２、分析結果取得部１２３、トレーニング支援部１２５、分析結果画像データベース２１０、解析結果データベース２２０、メッセージデータベース２３０を有する。
【０１２６】
本実施形態の制御装置１２０Ａは、例えば、検査員のグループ毎に、分析結果取得部１２３により、検査員毎の分析結果画像データＧＳｄを取得し、分析結果画像データベース２１０に格納する。また、制御装置１２０Ａは、トレーニング支援部１２５により、分析結果画像データベース２１０に格納された検査員毎の分析結果画像データＧＳｄを解析した結果を解析結果データベース２２０へ格納する。尚、解析結果データベース２２０には、実際の目視検査により得られた検査員に関する情報が予め格納されており、分析結果画像データＧＳｄを解析した結果から得られた検査員に関する情報が、目視検査により得られた検査員に関する情報と対応付けられて格納される。
【０１２７】
また、本実施形態の制御装置１２０Ａは、解析結果に応じて、顕微鏡検査の目視検査における視線の最適な動きを示す情報を特定し、検査員が目視検査のトレーニングを行う際に、メッセージデータベース２３０を参照してトレーニングの際の注意点を通知する。
【０１２８】
以下に、トレーニング支援部１２５について説明する。本実施形態のトレーニング支援部１２５は、制御装置１２０Ａが有する演算処理装置によって、メモリ装置に格納されたトレーニング支援プログラムが読み出されて実行されることで実現される。
【０１２９】
本実施形態のトレーニング支援部１２５は、画像解析部１２６、最適値特定部１２７、比較部１２８、メッセージ選択部１２９を有する。
【０１３０】
画像解析部１２６は、分析結果画像データベース２１０に格納された検査員毎の分析結果画像データＧＳｄを解析する。画像解析部１２６による分析結果画像データＧＳｄの解析の詳細は後述する。
【０１３１】
最適値特定部１２７は、画像解析部１２６による解析結果から、トレーニングを行う検査員のグループの中で、最適な視線の動きを示す値を特定する。最適値特定部１２７の処理の詳細は後述する。
【０１３２】
比較部１２８は、解析結果データベース２２０に格納された、トレーニングを行う検査員の分析結果画像データＧＳｄの解析の結果と、最適な視線の動きを示す値とを比較する。
【０１３３】
メッセージ選択部１２９は、比較部１２８による比較した結果に対応するメッセージをメッセージデータベース２３０から選択する。
【０１３４】
以下に、図１６乃至図１８を参照して、本実施形態の制御装置１２０Ａの有する各データベースについて説明する。尚、本実施形態では、各データベースが制御装置１２０Ａに設けられるものとしたが、これに限定されない。各データベースは、制御装置１２０Ａ以外の外部装置に記憶されていても良い。
【０１３５】
図１６は、第二の実施形態の分析結果画像データベースの一例を示す図である。本実施形態の分析結果画像データベース２１０は、情報の項目として、検査員ＩＤと、分析結果画像データとを有し、それぞれが対応付けられている。
【０１３６】
項目「検査員ＩＤ」の値は、検査員を特定するための識別情報を示す。検査員ＩＤは、検査員が視線検出装置１３０を装着して分析用画像Ｇを目視し、分析結果画像データＧＳｄを取得する際に、入力されても良い。
【０１３７】
項目「分析結果画像データ」の値は、分析結果画像データＧＳｄそのものである。
【０１３８】
図１７は、第二の実施形態の解析結果データベースの一例を示す図である。本実施形態の解析結果データベース２２０では、画像解析部１２６による分析結果画像データＧＳｄの解析結果が格納される。
【０１３９】
本実施形態の解析結果データベース２２０は、情報の項目として、検査員ＩＤ、視点の大きさ、視点の網羅性、視点の移動速度、見逃し率、平均生産数、過検出率を有する。解析結果データベース２２０において、項目「検査員ＩＤ」と、その他の項目とが対応付けられている。以下の説明では、解析結果データベース２２０において、項目「検査員ＩＤ」の値と、その他の項目の値とを含む情報を解析結果情報と呼ぶ。
【０１４０】
本実施形態の解析結果データベース２２０では、項目「視点の大きさ」、「視点の網羅性」、「視点の移動速度」は、画像解析部１２６による検査員毎の分析結果画像データＧＳｄの解析によって求められる。言い換えれば、項目「視点の大きさ」、「視点の網羅性」、「視点の移動速度」の値は、視線分析システム１００Ｃによる分析から得られる検査員に関する情報である。
【０１４１】
本実施形態の解析結果データベース２２０では、項目「見逃し率」、「平均生産数」、「過検出率」の値は、検査員による実際の目視検査から得られる検査員に関する情報である。
【０１４２】
解析結果データベース２２０に含まれる各項目については、図１２乃至図１４を参照して説明した通りである。
【０１４３】
図１８は、第二の実施形態のメッセージデータベースの一例を示す図である。本実施形態のメッセージデータベース２３０は、解析結果データベース２２０における項目「視点の大きさ」、「視点の網羅性」、「視線の移動速度」毎に設けられている。
【０１４４】
図１８では、項目「視線の大きさ」と対応するメッセージデータベース２３０の一例を示している。
【０１４５】
メッセージデータベース２３０は、情報の項目として、比較結果と、メッセージとを有し、両者は対応付けられている。
【０１４６】
項目「比較結果」の値は、最適値特定部１２７によって特定された視点の大きさの最適値と、検査員毎の視点の大きさとを比較した結果を示す。項目「メッセージ」の値は、比較結果と対応したメッセージを示す。
【０１４７】
図１８の例では、例えば、比較結果が「最適値より小さい」であった場合、「一点を凝視しないようにする」というメッセージが選択される。
【０１４８】
次に、図１９を参照して、本実施形態の制御装置１２０Ａのトレーニング支援部１２５の処理について説明する。
【０１４９】
図１９は、第二の実施形態のトレーニング支援部の処理を説明するフローチャートである。
【０１５０】
本実施形態の制御装置１２０Ａにおいて、トレーニング支援部１２５は、画像解析部１２６により、分析結果画像データベース２１０から、あるグループに属する検査員の分析結果画像データＧＳｄを取得する（ステップＳ１９０１）。
【０１５１】
続いて、画像解析部１２６は、取得した分析結果画像データＧＳｄにおける視線の位置を示す画像１１３から、各視点の大きさの平均値を算出し、この検査員の視点の大きさとする（ステップＳ１９０２）。
【０１５２】
続いて、画像解析部１２６は、取得した分析結果画像データＧＳｄにおける視点の網羅性を算出する（ステップＳ１９０３）。続いて、画像解析部１２６は、取得した分析結果画像データＧＳｄにおける視線の移動速度を算出する（ステップＳ１９０４）。
【０１５３】
続いて、画像解析部１２６は、この検査員の目視検査から得られた情報を特定し、特定した情報と、視点の大きさと、視点の網羅性と、視線の移動速度と、を対応付けて解析結果情報とする（ステップＳ１９０５）。
【０１５４】
より具体的には、画像解析部１２６は、この検査員の検査員ＩＤと対応付けられた見逃し率、平均生産数、過検出率に、視点の大きさと、視点の網羅性と、視線の移動速度と、を対応付けて、解析結果情報とする。
【０１５５】
続いて、画像解析部１２６は、解析結果情報を解析結果データベース２２０に格納する（ステップＳ１９０６）。
【０１５６】
尚、本実施形態では、検査員毎の見逃し率、平均生産数、過検出率は、予め解析結果データベース２２０内に格納されていても良いし、他の記憶装置に格納されていても良い。
【０１５７】
続いて、画像解析部１２６は、グループに所属する全ての検査員の分析結果画像データＧＳｄについて、ステップＳ１９０６までの処理を実行したか否かを判定する（ステップＳ１９０７）。ステップＳ１９０７において、全ての分析結果画像データＧＳｄについて処理を行っていない場合、ステップＳ１９０１へ戻る。
【０１５８】
ステップＳ１９０７において、全ての分析結果画像データＧＳｄについて処理を実行した場合、トレーニング支援部１２５は、最適値特定部１２７により、「視点の大きさ」、「視点の網羅性」、「視線の移動速度」の最適値を特定して保持し（ステップＳ１９０８）、処理を終了する。
【０１５９】
以下に、最適値特定部１２７による最適値の決定について説明する。本実施形態の最適値特定部１２７は、例えば、解析結果データベース２２０において、見逃し率が最も低い検査員や、平均生産数が最も大きい検査員や、見逃し率と過検出率が比較的低く、且つ、平均生産数が比較的高い検査員等を、最適値の特定において解析結果情報を参照する検査員として選択しても良い。
【０１６０】
最適値特定部１２７は、選択された検査員ＩＤを含む解析結果情報の「視点の大きさ」、「視点の網羅性」、「視線の移動速度」のそれぞれの値を最適値としても良い。
【０１６１】
また、本実施形態の最適値特定部１２７は、例えば、解析結果データベース２２０に格納された項目「視点の大きさ」、「視点の網羅性」、「視線の移動速度」のそれぞれの値のうち、最大の値を最適値としても良い。
【０１６２】
次に、図２０を参照して、本実施形態の制御装置１２０Ａによるトレーニング支援について説明する。図２０は、第二の実施形態の視線分析システムにおける検査員のトレーニングを支援する処理を説明するフローチャートである。
【０１６３】
本実施形態の制御装置１２０Ａにおいて、トレーニング支援部１２５は、トレーニングの開始要求を受け付けたか否かを判定する（ステップＳ２００１）。ステップＳ２００１において、開始要求を受け付けていない場合、開始要求を受け付けるまで待機する。
【０１６４】
ステップＳ２００１において、開始要求を受け付けると、トレーニング支援部１２５は、検査員ＩＤの入力を受け付けたか否かを判定する（ステップＳ２００２）。ステップＳ２００２において、検査員ＩＤを受け付けない場合、トレーニング支援部１２５は、処理を終了し、トレーニングの開始要求を受け付ける直前に取得した分析結果画像データＧＳｄを表示させても良い。
【０１６５】
ステップＳ２００２において、検査員ＩＤが入力されると、トレーニング支援部１２５は、比較部１２８により、解析結果データベース２２０から、入力された検査員ＩＤと対応する解析結果情報を取得する（ステップＳ２００３）。
【０１６６】
続いて、比較部１２８は、取得した解析結果情報に含まれる視点の大きさ、視点の網羅性、視線の移動速度を、最適値特定部１２７に保持された最適値と比較する（ステップＳ２００４）。
【０１６７】
続いて、トレーニング支援部１２５は、メッセージ選択部１２９により、メッセージデータベース２３０を参照し、視点の大きさ、視点の網羅性、視線の移動速度のそれぞれの比較結果と対応したメッセージを選択する（ステップＳ２００５）。
【０１６８】
続いて、表示制御部１２２は、選択されたメッセージを表示装置１１０に表示させ（ステップＳ２００６）、処理を終了する。
【０１６９】
以上のように、本実施形態によれば、複数の検査員が所属するグループにおいて、検査員のトレーニングを行わせる場合、分析結果画像データＧＳｄに基づき、「視点の大きさ」、「視点の網羅性」、「視線の移動速度」をグループ内の最適値と比較する。そして、本実施形態では、「視点の大きさ」、「視点の網羅性」、「視線の移動速度」毎に、比較結果に応じたメッセージを表示装置１１０に表示させる。
【０１７０】
したがって、本実施形態によれば、光学顕微鏡による目視検査の際に、検査員の視線が適切な動きとなるように、具体的に指導を行うことができる。
【０１７１】
本実施形態によれば、上述した検査員に対する指導に基づき、検査員が顕微鏡による目視検査のトレーニングを一定の期間行うことで、検査員の見逃し率のばらつきを低減させることができる。言い換えれば、検査員毎の顕微鏡による目視検査における生産性のばらつきを低減することができる。
【０１７２】
尚、本実施形態では、制御装置１２０Ａにより、トレーニングの際の注意点を検査員に対し通知するものとしたが、これに限定されない。本実施形態では、例えば、制御装置１２０Ａの解析結果データベース２２０を閲覧したトレーニングの指導者が、検査員毎の解析結果情報に合わせて、適宜注意点を口頭で伝えるようにしても良い。
【０１７３】
実際に、短時間に高精度な検査を行う検査員の分析結果画像を、他の検査員に観察させ、違いや改善ポイントを指導したところ、視点の移動速度が０．５６［ｓ/ｐｃｓ］から０．３４［ｓ／ｐｃｓ］となり、平均生産数が約６５％向上した。
【０１７４】
また、視点の網羅性が９０［％］の検査員に対して、上述した指導を行ったところ、視点の網羅性が１００［％］となり、見逃し率が１５１２［ｐｐｍ］から２５８［ｐｐｍ］となった。したがって、この検査員は、見逃し率を指導前の１／６まで低減させることができた。
【０１７５】
尚、上述した各実施形態では、顕微鏡を用いた目視検査を行う場合について説明したが、顕微鏡に限定されない。
【０１７６】
上述した各実施形態は、例えば、双眼鏡や望遠鏡、オペラグラス等のように、接眼レンズを介した目視における視線の分析に適用することができる。
【０１７７】
例えば、視線分析システムにおいて、双眼鏡やオペラグラスを用いた場合の目視における視野を把握する場合には、分析用画像Ｇには双眼鏡やオペラグラスの接眼レンズを介して撮影した画像を用いれば良い。この場合、分析用画像Ｇは、高解像度でなくても良く、また、縦長の画像でなくても良いが、三次元画像であることが好ましい。
【０１７８】
また、視線分析システムは、望遠鏡を用いた場合の目視における視野を把握する場合には、分析用画像Ｇには望遠鏡の接眼レンズを介して撮影した画像を用いれば良い。この場合、分析用画像Ｇは、高解像度でなくても良く、また、縦長の画像でなくても良い。
【０１７９】
さらに、本実施形態によれば、顔面にレンズを保持する保持具を接触させた状態で装着される器具を用いているときの、装着者の視線を把握することかできる。
【０１８０】
顔面にレンズを保持する保持部材を接触させた状態で装着される器具とは、例えば、水泳、スキー、スノーボード等といったスポーツ用のゴーグルや、医療現場や工事現場等における安全管理のために用いられるゴーグル等が含まれる。このような器具は、装着者に装着されると、顔面とレンズとの間がレンズを保持するための保持部材によって塞がれるため、眼球の動きを撮影するための視線検出装置を一緒に装着することができない。この観点から、ここでのレンズとは、狭義のレンズの意味に加え、顔面を覆うガラス等の透明体を含む。
【０１８１】
したがって、本実施形態によれば、器具を装着したときの視野を示す画像を分析用画像Ｇとすることで、ゴーグル等の器具を装着した状態の視線の動きを把握することができる。
【０１８２】
顔面にレンズを保持する保持部材を接触させた状態で装着される器具には、上述した一般的にゴーグル以外にも、例えば、ＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）ゴーグル等が含まれる。
【０１８３】
以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。
【０１８４】
また、出願人は、本システムを「覗く化」（Looking-through visualization）と名付けた。
【０１８５】
本願は、２０１７年８月３０日に出願した日本国特許出願２０１７−１６５２４９号に基づく優先権を主張するものであり、同日本国出願の全内容を本願に参照により援用する。
【符号の説明】
【０１８６】
１００、１００Ａ〜１００Ｃ  視線分析システム
１１０、１７０  表示装置
１２０、１２０Ａ、１６０  制御装置
１２１  分析用画像記憶部
１２２  表示制御部
１２３  分析結果取得部
１２４  分析結果画像記憶部
１２５  トレーニング支援部
１３０  視線検出装置
２１０  分析結果画像データベース
２２０  解析結果データベース
２３０  メッセージデータベース
【図１Ａ】
2019044264.tif 000003
【図１Ｂ】
2019044264.tif 000004
【図２】
2019044264.tif 000005
【図３】
2019044264.tif 000006
【図４】
2019044264.tif 000007
【図５】
2019044264.tif 000008
【図６】
2019044264.tif 000009
【図７】
2019044264.tif 000010
【図８】
2019044264.tif 000011
【図９】
2019044264.tif 000012
【図１０】
2019044264.tif 000013
【図１１】
2019044264.tif 000014
【図１２】
2019044264.tif 000015
【図１３】
2019044264.tif 000016
【図１４】
2019044264.tif 000017
【図１５】
2019044264.tif 000018
【図１６】
2019044264.tif 000019
【図１７】
2019044264.tif 000020
【図１８】
2019044264.tif 000021
【図１９】
2019044264.tif 000022
【図２０】
2019044264.tif 000023
【国際調査報告】
2019044264.tif 000024
2019044264.tif 000025
2019044264.tif 000026
2019044264.tif 000027