(57)【要約】【課題】作業者による操作が発生する作業における認知負荷を推定する。【解決手段】コンピュータは、作業空間において作業者による操作が発生する可能性のある操作位置の移動軌跡から、操作位置の変化点を検出する。次に、コンピュータは、複数の時刻それぞれにおける作業空間の画像のうち、変化点に対応する時刻における画像内で、変化点に対応する位置における視覚的特徴量を求める。そして、コンピュータは、視覚的特徴量に基づいて、変化点におけるマイクロスリップを検出し、作業空間において検出されたマイクロスリップの発生回数から、作業者の認知負荷を推定する。【選択図】図３
2020201806.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータによって実行される認知負荷推定方法であって、
前記コンピュータが、
作業空間において作業者による操作が発生する可能性のある操作位置の移動軌跡から、前記操作位置の変化点を検出し、
複数の時刻それぞれにおける前記作業空間の画像のうち、前記変化点に対応する時刻における画像内で、前記変化点に対応する位置における視覚的特徴量を求め、
前記視覚的特徴量に基づいて、前記変化点におけるマイクロスリップを検出し、
前記作業空間において検出されたマイクロスリップの発生回数から、前記作業者の認知負荷を推定する、
ことを特徴とする認知負荷推定方法。
【請求項２】
前記コンピュータは、前記視覚的特徴量が基準値よりも小さい場合、前記変化点においてマイクロスリップが発生したと判定することを特徴とする請求項１記載の認知負荷推定方法。
【請求項３】
前記コンピュータは、前記視覚的特徴量が基準値よりも大きい場合、前記作業空間における前記作業者の視線の移動軌跡から、前記変化点に対応する時刻よりも前に前記変化点において発生した前記視線の滞留点を検出し、前記変化点に対応する時刻と前記滞留点に対応する時刻との差分が所定時間よりも短い場合、前記変化点においてマイクロスリップが発生したと判定することを特徴とする請求項１記載の認知負荷推定方法。
【請求項４】
前記コンピュータは、前記作業空間における前記作業者の視線の移動軌跡から、前記視線の滞留点を検出し、前記複数の時刻それぞれにおける前記作業空間の画像のうち、前記滞留点に対応する時刻における画像内で、前記滞留点に対応する位置における視覚的特徴量を求め、前記滞留点に対応する位置における視覚的特徴量が基準値よりも小さい場合、前記滞留点に対応する時刻よりも後に前記操作位置が前記滞留点を通過した時刻を求め、前記操作位置が前記滞留点を通過した時刻以降の所定期間において、前記視線の移動軌跡と前記操作位置の移動軌跡との差分の統計値を求め、前記統計値が所定値よりも小さい場合、前記滞留点においてマイクロスリップが発生したと判定することを特徴とする請求項１記載の認知負荷推定方法。
【請求項５】
前記コンピュータは、前記所定期間における前記視線の移動軌跡から、前記視線の別の滞留点が検出された場合、前記複数の時刻それぞれにおける前記作業空間の画像のうち、前記別の滞留点に対応する時刻における画像内で、前記別の滞留点に対応する位置における視覚的特徴量を求め、前記別の滞留点に対応する位置における視覚的特徴量が前記基準値よりも大きい場合、前記別の滞留点に前記視線が滞留している期間を前記所定期間から除外して、前記統計値を求めることを特徴とする請求項４記載の認知負荷推定方法。
【請求項６】
前記コンピュータは、前記マイクロスリップの発生回数の統計値を、前記認知負荷の指標として求め、前記マイクロスリップの発生回数の統計値が閾値よりも大きい場合、前記作業者が疲労状態であることを示す警告情報を出力することを特徴とする請求項１乃至５のいずれか１項に記載の認知負荷推定方法。
【請求項７】
複数の時刻それぞれにおける作業空間の画像を記憶する記憶部と、
前記作業空間において作業者による操作が発生する可能性のある操作位置の移動軌跡から、前記操作位置の変化点を検出する変化点検出部と、
前記複数の時刻それぞれにおける前記作業空間の画像のうち、前記変化点に対応する時刻における画像内で、前記変化点に対応する位置における視覚的特徴量を求める特徴量計算部と、
前記視覚的特徴量に基づいて、前記変化点におけるマイクロスリップを検出し、前記作業空間において検出されたマイクロスリップの発生回数から、前記作業者の認知負荷を推定する推定部と、
を備えることを特徴とする認知負荷推定装置。
【請求項８】
作業空間において作業者による操作が発生する可能性のある操作位置の移動軌跡から、前記操作位置の変化点を検出し、
複数の時刻それぞれにおける前記作業空間の画像のうち、前記変化点に対応する時刻における画像内で、前記変化点に対応する位置における視覚的特徴量を求め、
前記視覚的特徴量に基づいて、前記変化点におけるマイクロスリップを検出し、
前記作業空間において検出されたマイクロスリップの発生回数から、前記作業者の認知負荷を推定する、
処理をコンピュータに実行させるための認知負荷推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認知負荷推定方法、認知負荷推定装置、及び認知負荷推定プログラムに関する。
【背景技術】
【０００２】
工場における各種コントローラの操作、製品組み立て等の作業において、作業者は、工場内に存在する様々な事物を注視しながら、手先を目標地点に向かって順次移動させる。このような作業において、作業者が事物を認知する際に発生する負荷は、認知負荷と呼ばれる。
【０００３】
認知負荷に関連して、計測対象者の注視点が停留している時間に基づいて、認知負荷を計測する認知負荷計測装置が知られている（例えば、特許文献１を参照）。日常タスク等におけるマイクロスリップも知られている（例えば、非特許文献１及び非特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−６５８６１号公報
【非特許文献】
【０００５】
【非特許文献１】鈴木健太郎他，“行為の潜在的なユニット選択に働くタスク制約：日常タスクに観察されるマイクロスリップの分析”，日本認知科学会，認知科学，Vol.8，No.2，pp.121-138，２００１年
【非特許文献２】栗原一貴，“マイクロスリップ現象をＨＣＩ研究に活かす”，情報処理学会研究報告，Vol.2011-HCI-141，No.11，pp.1-7，２０１１年
【発明の概要】
【発明が解決しようとする課題】
【０００６】
作業者の注視点が停留している時間のみに基づいて、作業者の認知負荷を正確に推定することは困難である。
【０００７】
なお、かかる問題は、工場における各種コントローラの操作、製品組み立て等の作業に限らず、作業者による操作が発生する様々な作業において生ずるものである。
【０００８】
１つの側面において、本発明は、作業者による操作が発生する作業における認知負荷を推定することを目的とする。
【課題を解決するための手段】
【０００９】
１つの案では、コンピュータは、以下の処理を実行する。
【００１０】
（１）コンピュータは、作業空間において作業者による操作が発生する可能性のある操作位置の移動軌跡から、操作位置の変化点を検出する。
【００１１】
（２）コンピュータは、複数の時刻それぞれにおける作業空間の画像のうち、変化点に対応する時刻における画像内で、変化点に対応する位置における視覚的特徴量を求める。
【００１２】
（３）コンピュータは、視覚的特徴量に基づいて、変化点におけるマイクロスリップを検出する。
【００１３】
（４）コンピュータは、作業空間において検出されたマイクロスリップの発生回数から、作業者の認知負荷を推定する。
【発明の効果】
【００１４】
１つの側面によれば、作業者による操作が発生する作業における認知負荷を推定することができる。
【図面の簡単な説明】
【００１５】
【図１】認知負荷推定装置の機能的構成図である。
【図２】認知負荷推定処理のフローチャートである。
【図３】認知負荷推定装置の第１の具体例を示す機能的構成図である。
【図４】操作位置及び視線の移動軌跡を示す図である。
【図５】第１期間におけるサリエンシーマップを示す図である。
【図６】第１期間における操作位置及び視線の移動軌跡を示す図である。
【図７】第２期間におけるサリエンシーマップを示す図である。
【図８】第２期間における操作位置及び視線の移動軌跡を示す図である。
【図９Ａ】認知負荷推定処理の具体例を示すフローチャート（その１）である。
【図９Ｂ】認知負荷推定処理の具体例を示すフローチャート（その２）である。
【図１０】変化点マイクロスリップ検出処理のフローチャートである。
【図１１Ａ】滞留点マイクロスリップ検出処理のフローチャート（その１）である。
【図１１Ｂ】滞留点マイクロスリップ検出処理のフローチャート（その２）である。
【図１１Ｃ】滞留点マイクロスリップ検出処理のフローチャート（その３）である。
【図１２】疲労推定処理のフローチャートである。
【図１３】認知負荷推定装置の第２の具体例を示す機能的構成図である。
【図１４】情報処理装置のハードウェア構成図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら、実施形態を詳細に説明する。
作業者の疲労により作業効率が低下してくると、作業者の認知負荷が高くなり、認知負荷が過剰な状態は、思わぬ事故を誘発することがある。そこで、作業効率の低下又は事故の発生を抑止するために、作業中における作業者の認知負荷を推定することが望まれる。
【００１７】
非特許文献２によれば、作業者の手先の軌道と視線の軌道とを計測することで、マイクロスリップを多角的及び定量的に分析することができる。マイクロスリップは、作業における小さな失敗を意味する。手先軌道の急峻な変化からマイクロスリップを検出することができるとともに、手先軌道と視線軌道の同期に基づいてマイクロスリップを検出することもできる。そして、マイクロスリップの発生頻度から、作業者の心理的負荷を推定することが可能になる。
【００１８】
しかしながら、作業者の手先が正しく移動しても、手先軌道の急峻な変化が発生する場合がある。例えば、目標物が所定位置に固定されている場合、作業者は、その目標物に向かって手先を高速で移動させ、手先を目標物に接触させて止めることができる。この場合、手先軌道の急峻な変化のみから、マイクロスリップを正しく検出することは困難である。
【００１９】
また、作業者の視線は目標物以外にも色々な場所に向けられるため、視線軌道上に作業とは無関係な注視点が含まれている場合がある。この場合、手先軌道と視線軌道の同期に基づいて、マイクロスリップを正しく検出することは困難である。
【００２０】
図１は、実施形態の認知負荷推定装置の機能的構成例を示している。図１の認知負荷推定装置１０１は、記憶部１１１、変化点検出部１１２、特徴量計算部１１３、及び推定部１１４を含む。記憶部１１１は、複数の時刻それぞれにおける作業空間の画像を記憶する。変化点検出部１１２、特徴量計算部１１３、及び推定部１１４は、記憶部１１１が記憶する画像を用いて、認知負荷推定処理を行う。
【００２１】
図２は、図１の認知負荷推定装置１０１が行う認知負荷推定処理の例を示すフローチャートである。まず、変化点検出部１１２は、作業空間において作業者による操作が発生する可能性のある操作位置の移動軌跡から、操作位置の変化点を検出する（ステップ２０１）。
【００２２】
次に、特徴量計算部１１３は、記憶部１１１が記憶する画像のうち、変化点に対応する時刻における画像内で、変化点に対応する位置における視覚的特徴量を求める（ステップ２０２）。
【００２３】
そして、推定部１１４は、視覚的特徴量に基づいて、変化点におけるマイクロスリップを検出し（ステップ２０３）、作業空間において検出されたマイクロスリップの発生回数から、作業者の認知負荷を推定する（ステップ２０４）。
【００２４】
図１の認知負荷推定装置１０１によれば、作業者による操作が発生する作業における認知負荷を推定することができる。
【００２５】
図３は、図１の認知負荷推定装置１０１の第１の具体例を示している。図３の認知負荷推定装置３０１は、記憶部３１１、画像取得部３１２、操作位置取得部３１３、視線センサ３１４、変化点検出部３１５、滞留点検出部３１６、特徴量計算部３１７、推定部３１８、表示部３１９、及び出力部３２０を含む。記憶部３１１、変化点検出部３１５、特徴量計算部３１７、及び推定部３１８は、図１の記憶部１１１、変化点検出部１１２、特徴量計算部１１３、及び推定部１１４にそれぞれ対応する。
【００２６】
例えば、認知負荷推定装置３０１は、作業者のパーソナルコンピュータ等の情報処理装置であり、作業者は、認知負荷推定装置３０１を用いて文書作成、図面作成、情報検索等の作業を行う。この場合、作業空間は、認知負荷推定装置３０１の表示画面であり、作業者による操作が発生する可能性のある操作位置は、表示画面上でカーソルが表示される位置である。操作位置が到達する目標地点は、必ずしも事前に定義されているわけではない。
【００２７】
記憶部３１１は、事前に、作業者が疲労状態であることを示す警告情報３２６を記憶している。
【００２８】
表示部３１９は、文書作成、図面作成、情報検索等の作業画面を表示する。画像取得部３１２は、作業中の複数の時刻それぞれにおいて、画面キャプチャにより表示画面の画像３２１を取得して、記憶部３１１に格納する。
【００２９】
操作位置取得部３１３は、作業中の複数の時刻それぞれにおいて、画面上のカーソルの位置を示す座標を操作位置として取得し、操作位置の移動軌跡を示す操作位置情報３２２を生成して、記憶部３１１に格納する。例えば、操作位置情報３２２としては、操作位置の時系列データが用いられる。
【００３０】
作業者がマウス等のポインティングデバイスを操作することによって、表示画面上で操作位置が移動する。したがって、各時刻における操作位置は、ポインティングデバイスの操作方向及び操作量から計算することができる。
【００３１】
視線センサ３１４は、作業中の複数の時刻それぞれにおいて、作業者の視線方向を検出することで、作業者の注視点を示す座標を取得し、視線の移動軌跡を示す視線情報３２３を生成して、記憶部３１１に格納する。例えば、視線情報３２３としては、注視点の時系列データが用いられる。
【００３２】
変化点検出部３１５は、操作位置情報３２２から、操作位置の移動軌跡上における操作位置の変化点を検出する。例えば、操作位置の変化点は、操作位置の移動軌跡上で操作位置が急峻に変化する点である。
【００３３】
滞留点検出部３１６は、視線情報３２３から、視線の移動軌跡上における視線の滞留点を検出する。例えば、視線の滞留点は、視線の移動軌跡上で一定時間以上ほとんど変化しない注視点である。
【００３４】
特徴量計算部３１７は、複数の時刻それぞれにおける画像３２１内の各位置における視覚的特徴量３２４を求めて、記憶部３１１に格納する。視覚的特徴量３２４は、画像３２１内の各位置における画素値の情報が目立っている度合いを表す。例えば、視覚的特徴量３２４としては、サリエンシー（顕著性）を用いることができる。
【００３５】
推定部３１８は、操作位置の変化点、視線の滞留点、及び視覚的特徴量３２４を用いて、変化点又は滞留点におけるマイクロスリップを検出し、検出されたマイクロスリップの発生回数から、作業者の認知負荷を推定する。このとき、推定部３１８は、認知負荷の指標として、マイクロスリップの発生回数の統計値３２５を求め、記憶部３１１に格納する。そして、推定部３１８は、統計値３２５が閾値よりも大きい場合、作業者が疲労状態であると判定する。
【００３６】
出力部３２０は、作業者が疲労状態であると判定された場合、警告情報３２６を出力する。これにより、作業者に対して、心身の状態に対する注意を喚起することができる。出力部３２０は、警告情報３２６を音声として出力してもよく、テキストとして画面上に表示してもよい。
【００３７】
図４は、画面上における操作位置及び視線の移動軌跡の例を示している。ｘ座標は、画面の水平方向の座標を表し、ｙ座標は、画面の垂直方向の座標を表す。
【００３８】
移動軌跡４０１は、操作位置の移動軌跡であり、移動軌跡４０１上には、変化点４１１及び変化点４１２が存在する。変化点検出部３１５は、移動軌跡４０１上の各操作位置において、操作位置の座標の微分値を計算し、閾値よりも大きな微分値を有する操作位置を、変化点として抽出することができる。
【００３９】
移動軌跡４０２は、視線の移動軌跡であり、移動軌跡４０２上には、滞留点４２１〜滞留点４２４が存在し、滞留点４２１は、変化点４１２と一致している。滞留点検出部３１６は、移動軌跡４０２上の各注視点において、注視点の座標の微分値を計算し、微分値が閾値よりも小さい状態が一定時間以上継続した場合に、対応する注視点を滞留点として抽出することができる。
【００４０】
推定部３１８は、例えば、以下のような判定基準に基づいて、変化点又は滞留点においてマイクロスリップが発生したか否かを判定する。
【００４１】
（Ｃ１）視覚的特徴量３２４が小さい領域には、操作対象のウィジェット等が表示されていない。このため、視覚的特徴量３２４が小さい領域における操作位置の変化点では、マイクロスリップが発生していると判定される。
【００４２】
（Ｃ２）視覚的特徴量３２４が大きい領域には、操作対象のウィジェット等が表示されているため、視覚的特徴量３２４が大きい領域における操作位置の変化点は、正しい操作を表している可能性がある。しかし、その変化点に該当する視線の滞留点が存在し、変化点の発生時刻と滞留点の発生時刻との時間差が微小である場合は、操作に余裕がないことが分かる。このため、その変化点でマイクロスリップが発生していると判定される。
【００４３】
（Ｃ３）視覚的特徴量３２４が大きい領域における視線の滞留点では、作業者が表示情報に目を奪われている可能性がある。しかし、その滞留点が操作位置の変化点に該当しない場合は、滞留点においてマイクロスリップが発生していないと判定される。
【００４４】
（Ｃ４）視覚的特徴量３２４が小さい領域には、操作対象のウィジェット等が表示されていない。このため、視覚的特徴量３２４が小さい領域における視線の滞留点では、マイクロスリップが発生している可能性がある。その滞留点が発生した後に操作位置が滞留点を通過した時刻を求め、その時刻以降の所定期間における視線の移動軌跡と操作位置の移動軌跡との差分が微小である場合は、２本の移動軌跡が同期しており、作業者の認知負荷が高い状態であることが分かる。このため、その滞留点でマイクロスリップが発生していると判定される。
【００４５】
ただし、操作位置が滞留点を通過した時刻以降の所定期間において、視覚的特徴量３２４が大きい領域内で別の滞留点が発生している場合は、その領域内の表示情報に目を奪われていることが分かる。このため、移動軌跡の差分を計算する際に、別の滞留点が発生している期間の差分は除外される。
【００４６】
図４の例では、変化点４１１、変化点４１２、滞留点４２１、及び滞留点４２２が発生している第１期間と、滞留点４２３及び滞留点４２４が発生している第２期間とに分けて、期間毎にマイクロスリップの発生回数が推定される。このとき、変化点４１１及び変化点４１２が滞留点４２１〜滞留点４２４よりも優先して分析される。
【００４７】
図５は、第１期間における移動軌跡４０１及び移動軌跡４０２を含む領域のサリエンシーマップの例を示している。特徴量計算部３１７は、各時刻の画像３２１内の各位置における視覚的特徴量３２４として、輝度、色、方位等の画素値を用いてサリエンシーを計算することで、画像３２１毎のサリエンシーマップを求めることができる。
【００４８】
図５の例では、サリエンシーが基準値を用いて二値化されており、白色領域は、サリエンシーが基準値よりも大きな領域を表し、斜線領域は、サリエンシーが基準値以下である領域を表す。したがって、白色領域は、視覚的特徴が大きい領域に対応し、斜線領域は、視覚的特徴が小さい領域に対応する。変化点４１１は、視覚的特徴が小さい領域で発生しており、変化点４１２、滞留点４２１、及び滞留点４２２は、視覚的特徴が大きい領域で発生している。
【００４９】
推定部３１８は、操作位置の変化点におけるサリエンシーが基準値よりも小さい場合、その変化点においてマイクロスリップが発生したと判定する。したがって、変化点４１１においてマイクロスリップが発生したと判定される。このような判定を行うことで、視覚的特徴が小さい領域における操作ミス等をマイクロスリップとして検出することができる。
【００５０】
図６は、第１期間における移動軌跡４０１及び移動軌跡４０２の例を示している。横軸は時刻を表し、縦軸はｘ座標を表す。曲線６０１は、操作位置の移動軌跡４０１上におけるｘ座標の変化を表し、曲線６０１上の点６１１は、変化点４１２のｘ座標を表す。曲線６０２は、視線の移動軌跡４０２上におけるｘ座標の変化を表し、曲線６０２上の点６１２は、滞留点４２１のｘ座標を表す。
【００５１】
Ｔｍは、操作位置の変化点の発生時刻を表し、Ｔｇは、その変化点よりも前に変化点において発生した視線の滞留点の発生時刻を表し、Ｐｍは、その変化点の位置を表す。図６の例では、Ｔｍは、変化点４１２の発生時刻を表し、Ｔｇは、滞留点４２１の発生時刻を表し、Ｐｍは、変化点４１２及び滞留点４２１のｘ座標を表す。
【００５２】
推定部３１８は、操作位置の変化点におけるサリエンシーが基準値よりも大きい場合、視線の移動軌跡から、その変化点に対応する時刻よりも前に変化点において発生した視線の滞留点を検出する。そして、推定部３１８は、変化点に対応する時刻と滞留点に対応する時刻との差分が所定時間よりも短い場合、その変化点においてマイクロスリップが発生したと判定する。このような判定を行うことで、視線の滞留点における操作ミス等をマイクロスリップとして検出することができる。
【００５３】
変化点４１２におけるサリエンシーは基準値よりも大きいため、移動軌跡４０２上で、変化点４１２よりも前に発生した滞留点４２１が検出される。しかし、変化点４１２に対応する時刻Ｔｍと滞留点４２１に対応する時刻Ｔｇとの差分が所定時間以上であるため、変化点４１２においてマイクロスリップが発生していないと判定される。
【００５４】
また、推定部３１８は、視線の滞留点におけるサリエンシーが基準値よりも大きい場合、その滞留点においてマイクロスリップが発生していないと判定する。したがって、滞留点４２２においてマイクロスリップが発生していないと判定される。
【００５５】
図７は、第２期間における移動軌跡４０１及び移動軌跡４０２を含む領域のサリエンシーマップの例を示している。図７においても、図５と同様に、白色領域は、サリエンシーが基準値よりも大きな領域を表し、斜線領域は、サリエンシーが基準値以下である領域を表す。滞留点４２３は、視覚的特徴が小さい領域で発生しており、滞留点４２４は、視覚的特徴が大きい領域で発生している。
【００５６】
図８は、第２期間における移動軌跡４０１及び移動軌跡４０２の例を示している。横軸は時刻を表し、縦軸はｙ座標を表す。曲線８０１は、操作位置の移動軌跡４０１上におけるｙ座標の変化を表し、曲線８０１上の点８１１は、滞留点４２３のｙ座標を表す。曲線８０２は、視線の移動軌跡４０２上におけるｙ座標の変化を表し、曲線８０２上の点８１２は、滞留点４２３のｙ座標を表し、点８１３〜点８１５は、滞留点４２４のｙ座標を表す。
【００５７】
Ｔｇ１は、視線の滞留点の発生時刻を表し、Ｐｇ１は、その滞留点の位置を表す。Ｔｈは、時刻Ｔｇ１よりも後に操作位置がその滞留点を通過した時刻を表し、ΔＴｈは、時刻Ｔｈ以降の所定期間を表す。Ｔｇ２は、期間ΔＴｈ内における別の滞留点の発生時刻を表し、Ｐｇ２は、別の滞留点の位置を表す。Ｔｇｓ２は、別の滞留点の開始時刻を表し、Ｔｇｅ２は、別の滞留点の終了時刻を表す。
【００５８】
図８の例では、Ｔｇ１は、滞留点４２３の発生時刻を表し、Ｐｇ１は、滞留点４２３のｙ座標を表す。Ｔｈは、時刻Ｔｇ１よりも後に操作位置が滞留点４２３を通過した時刻を表し、ΔＴｈは、時刻Ｔｈ以降の所定期間を表す。Ｔｇ２は、期間ΔＴｈ内における滞留点４２４に対応する時刻を表し、Ｐｇ２は、滞留点４２４のｙ座標を表す。Ｔｇｓ２は、曲線８０２上における滞留点４２４の開始時刻を表し、Ｔｇｅ２は、曲線８０２上における滞留点４２４の終了時刻を表す。
【００５９】
推定部３１８は、滞留点Ｈ１に対応する時刻の画像３２１内で、滞留点Ｈ１に対応する位置のサリエンシーを求め、求めたサリエンシーが基準値よりも小さい場合、滞留点Ｈ１に対応する時刻よりも後に操作位置が滞留点Ｈ１を通過した時刻を求める。そして、推定部３１８は、その時刻以降の所定期間において、視線の移動軌跡と操作位置の移動軌跡との差分の統計値を求め、統計値が所定値よりも小さい場合、滞留点Ｈ１においてマイクロスリップが発生したと判定する。移動軌跡の差分の統計値としては、差分の平均値、差分の総和等が用いられる。
【００６０】
このような判定を行うことで、視線の滞留点付近で、視線の移動軌跡と操作位置の移動軌跡とが同期している状態を、マイクロスリップとして検出することができる。
【００６１】
ここで、所定期間における視線の移動軌跡から別の滞留点Ｈ２が検出された場合、推定部３１８は、滞留点Ｈ２に対応する時刻の画像３２１内で、滞留点Ｈ２に対応する位置のサリエンシーを求める。そして、推定部３１８は、求めたサリエンシーが基準値よりも大きい場合、滞留点Ｈ２に視線が滞留している期間を所定期間から除外して、移動軌跡の差分の統計値を求める。
【００６２】
これにより、視覚的特徴が大きい領域内の表示情報に目を奪われて、視線の移動軌跡と操作位置の移動軌跡とが乖離している場合であっても、２本の移動軌跡が同期している状態を正確に検出することができる。
【００６３】
滞留点４２３のサリエンシーは基準値よりも小さいため、時刻Ｔｇ１よりも後に操作位置が滞留点４２３を通過した時刻Ｔｈが求められる。ここで、Ｔｈ〜Ｔｈ＋ΔＴｈの期間内における移動軌跡４０２から、別の滞留点４２４が検出されたため、時刻Ｔｇ２の画像３２１内で滞留点４２４のサリエンシーが求められる。
【００６４】
滞留点４２４のサリエンシーは基準値よりも大きいため、滞留点４２４に視線が滞留している期間の開始時刻Ｔｇｓ２及び終了時刻Ｔｇｅ２が求められる。そして、Ｔｈ〜Ｔｈ＋ΔＴｈの期間からＴｇｓ２〜Ｔｇｅ２の期間が除外され、残りの期間において、曲線８０１と曲線８０２の差分の統計値が求められる。残りの期間は、Ｔｈ〜Ｔｇｓ２の期間及びＴｇｅ２〜Ｔｈ＋ΔＴｈの期間である。
【００６５】
例えば、移動軌跡の差分の総和は、これらの期間の各時刻における曲線８０１上のｙ座標と曲線８０２上のｙ座標の差分の総和として求められ、領域８２１及び領域８２２の面積の和で表される。また、移動軌跡の差分の総和を、これらの期間におけるサンプル点の個数で除算することで、移動軌跡の差分の平均値が求められる。
【００６６】
この例では、移動軌跡の差分の統計値が所定値よりも小さいため、滞留点４２３においてマイクロスリップが発生したと判定される。
【００６７】
図３の認知負荷推定装置３０１によれば、操作位置の移動軌跡上の変化点と、視線の移動軌跡上の滞留点と、作業空間の画像の視覚的特徴量とを組み合わせることによって、マイクロスリップの発生を正確に検出することができる。したがって、マイクロスリップの発生回数から、作業者の認知負荷を精度良く推定することが可能になる。
【００６８】
作業者が疲労してくると、作業効率が低下し、マイクロスリップが多く発生するようになる。そこで、認知負荷推定装置３０１は、所定期間毎にマイクロスリップの発生回数のログを記録しておき、記録された発生回数が平常時よりも多くなった場合、作業者が疲労状態であると判定して、警告情報３２６を出力することができる。警告情報３２６は、心身の余裕が大きく削られてきたことを通知する情報であってもよい。
【００６９】
図９Ａ及び図９Ｂは、図３の認知負荷推定装置３０１が行う認知負荷推定処理の具体例を示すフローチャートである。この認知負荷推定処理は、ログ更新期間毎に繰り返される。ログ更新期間は、１分〜１０分であってもよい。
【００７０】
まず、変化点検出部３１５は、操作位置情報３２２から、ログ更新期間内における操作位置の変化点を検出して、記憶部３１１に記録する（ステップ９０１）。また、滞留点検出部３１６は、視線情報３２３から、同じログ更新期間内における視線の滞留点を検出して、記憶部３１１に記録する。
【００７１】
次に、推定部３１８は、ログ更新期間内における未選択の変化点の中から、発生時刻順に１つの変化点を選択し（ステップ９０２）、選択された変化点におけるマイクロスリップを検出する（ステップ９０３）。
【００７２】
次に、推定部３１８は、ログ更新期間内におけるすべての変化点を選択したか否かをチェックし（ステップ９０４）、未選択の変化点が残っている場合（ステップ９０４，ＮＯ）、次の変化点について、ステップ９０２以降の処理を繰り返す。
【００７３】
すべての変化点が選択された場合（ステップ９０４，ＹＥＳ）、推定部３１８は、ログ更新期間内における未選択の滞留点の中から、発生時刻順に１つの滞留点を選択し（ステップ９０５）、選択された滞留点におけるマイクロスリップを検出する（ステップ９０６）。
【００７４】
次に、推定部３１８は、ログ更新期間内におけるすべての滞留点を選択したか否かをチェックし（ステップ９０７）、未選択の滞留点が残っている場合（ステップ９０７，ＮＯ）、次の滞留点について、ステップ９０５以降の処理を繰り返す。
【００７５】
すべての滞留点が選択された場合（ステップ９０７，ＹＥＳ）、推定部３１８は、疲労推定処理を行う（ステップ９０８）。
【００７６】
図１０は、図９Ａのステップ９０３における変化点マイクロスリップ検出処理の例を示すフローチャートである。まず、推定部３１８は、選択された変化点の発生時刻Ｔｍと位置Ｐｍとを取得し（ステップ１００１）、特徴量計算部３１７は、（Ｔｍ，Ｐｍ）における視覚的特徴量Ｓ（Ｔｍ，Ｐｍ）を計算する（ステップ１００２）。Ｓ（Ｔｍ，Ｐｍ）は、時刻Ｔｍの画像３２１内の位置Ｐｍにおける視覚的特徴量を表す。
【００７７】
次に、推定部３１８は、Ｓ（Ｔｍ，Ｐｍ）を基準値Ｓｔｈと比較する（ステップ１００３）。例えば、Ｓｔｈとしては、時刻Ｔｍの画像３２１全体におけるＳ（Ｔｍ，Ｐｍ）の統計値が用いられる。Ｓ（Ｔｍ，Ｐｍ）の統計値は、平均値、中央値、最頻値等であってもよい。
【００７８】
Ｓ（Ｔｍ，Ｐｍ）がＳｔｈ以下である場合（ステップ１００３，ＹＥＳ）、推定部３１８は、選択された変化点においてマイクロスリップが発生したと判定する（ステップ１００７）。
【００７９】
一方、Ｓ（Ｔｍ，Ｐｍ）がＳｔｈよりも大きい場合（ステップ１００３，ＮＯ）、推定部３１８は、時刻Ｔｍの直前に位置Ｐｍで発生した滞留点の発生時刻Ｔｇを取得する（ステップ１００４）。この場合、位置Ｐｍで発生した滞留点も選択済みとなる。そして、推定部３１８は、ＴｍからＴｇを減算して得られる時間差を、所定時間Ｔｄと比較する（ステップ１００５）。Ｔｄは、１００ミリ秒〜１秒であってもよい。
【００８０】
時間差がＴｄ以下である場合（ステップ１００５，ＹＥＳ）、推定部３１８は、選択された変化点においてマイクロスリップが発生したと判定する（ステップ１００７）。一方、時間差がＴｄよりも長い場合（ステップ１００５，ＮＯ）、推定部３１８は、選択された変化点においてマイクロスリップが発生していないと判定する（ステップ１００６）。
【００８１】
図１１Ａ〜図１１Ｃは、図９Ｂのステップ９０６における滞留点マイクロスリップ検出処理の例を示すフローチャートである。まず、推定部３１８は、選択された滞留点Ｈ１の発生時刻Ｔｇ１と位置Ｐｇ１とを取得し（ステップ１１０１）、特徴量計算部３１７は、（Ｔｇ１，Ｐｇ１）における視覚的特徴量Ｓ（Ｔｇ１，Ｐｇ１）を計算する（ステップ１１０２）。
【００８２】
次に、推定部３１８は、Ｓ（Ｔｇ１，Ｐｇ１）をＳｔｈと比較する（ステップ１１０３）。Ｓ（Ｔｇ１，Ｐｇ１）がＳｔｈよりも大きい場合（ステップ１１０３，ＮＯ）、推定部３１８は、滞留点Ｈ１においてマイクロスリップが発生していないと判定する（ステップ１１０５）。
【００８３】
一方、Ｓ（Ｔｇ１，Ｐｇ１）がＳｔｈ以下である場合（ステップ１００３，ＹＥＳ）、推定部３１８は、時刻Ｔｇ１よりも後に操作位置が滞留点Ｈ１を通過しているか否かをチェックする（ステップ１１０４）。時刻Ｔｇ１よりも後に操作位置が滞留点Ｈ１を通過していない場合（ステップ１１０４，ＮＯ）、推定部３１８は、滞留点Ｈ１においてマイクロスリップが発生していないと判定する（ステップ１１０５）。
【００８４】
一方、時刻Ｔｇ１よりも後に操作位置が滞留点Ｈ１を通過している場合（ステップ１１０４，ＹＥＳ）、推定部３１８は、操作位置が滞留点Ｈ１を通過する時刻Ｔｈを取得する（ステップ１１０６）。そして、推定部３１８は、Ｔｈ〜Ｔｈ＋ΔＴｈの期間内に、別の滞留点Ｈ２が存在するか否かをチェックする（ステップ１１０７）。ΔＴｈは、１秒〜５秒であってもよい。
【００８５】
別の滞留点Ｈ２が存在しない場合（ステップ１００７，ＮＯ）、推定部３１８は、Ｔｈ〜Ｔｈ＋ΔＴｈの期間において、視線の移動軌跡と操作位置の移動軌跡との差分の統計値Ｄｔを計算する（ステップ１１１１）。そして、推定部３１８は、Ｄｔを所定値Ｄｔｈと比較する（ステップ１１１４）。Ｄｔが移動軌跡の差分の平均値である場合、Ｄｔｈは、１ｃｍ〜５ｃｍであってもよい。
【００８６】
ＤｔがＤｔｈ以下である場合（ステップ１１１４，ＹＥＳ）、推定部３１８は、滞留点Ｈ１においてマイクロスリップが発生したと判定する（ステップ１１１５）。一方、ＤｔがＤｔｈよりも大きい場合（ステップ１１１４，ＮＯ）、推定部３１８は、滞留点Ｈ１においてマイクロスリップが発生していないと判定する（ステップ１１１６）。
【００８７】
別の滞留点Ｈ２が存在する場合（ステップ１００７，ＹＥＳ）、推定部３１８は、滞留点Ｈ２の発生時刻Ｔｇ２と位置Ｐｇ２とを取得する（ステップ１１０８）。この場合、滞滞留点Ｈ２も選択済みとなる。そして、特徴量計算部３１７は、（Ｔｇ２，Ｐｇ２）における視覚的特徴量Ｓ（Ｔｇ２，Ｐｇ２）を計算する（ステップ１１０９）。
【００８８】
次に、推定部３１８は、Ｓ（Ｔｇ２，Ｐｇ２）をＳｔｈと比較する（ステップ１１１０）。Ｓ（Ｔｇ２，Ｐｇ２）がＳｔｈ以下である場合（ステップ１１１０，ＹＥＳ）、推定部３１８は、ステップ１１１１以降の処理を行う。
【００８９】
一方、Ｓ（Ｔｇ２，Ｐｇ２）がＳｔｈよりも大きい場合（ステップ１１１０，ＮＯ）、推定部３１８は、滞留点Ｈ２に視線が滞留している期間の開始時刻Ｔｇｓ２及び終了時刻Ｔｇｅ２を取得する（ステップ１１１２）。そして、推定部３１８は、Ｔｈ〜Ｔｈ＋ΔＴｈの期間からＴｇｓ２〜Ｔｇｅ２の期間を除外し、残りの期間に対してステップ１１１１以降の処理を行う。
【００９０】
図１２は、図９Ｂのステップ９０８における疲労推定処理の例を示すフローチャートである。まず、推定部３１８は、ログ更新期間内で発生したマイクロスリップの発生回数を、最新のログとして記憶部３１１に記録する（ステップ１２０１）。
【００９１】
次に、推定部３１８は、最新のログを含む直近のＫ個のログに記録されたマイクロスリップの発生回数の総和Ｎを計算し、Ｎ／Ｋを統計値３２５として求める（ステップ１２０２）。そして、推定部３１８は、Ｎ／Ｋを閾値Ｎｔｈと比較する（ステップ１２０３）。
【００９２】
Ｋは１〜１０であってもよく、Ｎｔｈは、直近のマイクロスリップの発生回数の長期移動平均であってもよい。ログ更新期間が１分〜１０分である場合、Ｎｔｈは、直近３０分〜２時間におけるマイクロスリップの発生回数の平均値であってもよい。
【００９３】
Ｎ／ＫがＮｔｈよりも大きい場合（ステップ１２０３，ＮＯ）、推定部３１８は、作業者が疲労状態であると判定し、出力部３２０に対して警告情報３２６の出力を指示する（ステップ１２０４）。一方、Ｎ／ＫがＮｔｈ以下である場合（ステップ１２０３，ＹＥＳ）、推定部３１８は、作業者が疲労状態ではないと判定し、処理を終了する。
【００９４】
図１３は、図１の認知負荷推定装置１０１の第２の具体例を示している。図１３の認知負荷推定装置１３０１は、図３の記憶部３１１、変化点検出部３１５、滞留点検出部３１６、特徴量計算部３１７、及び推定部３１８に加えて、画像取得部１３１１、操作位置取得部１３１２、視線取得部１３１３、及び出力部１３１４を含む。
【００９５】
例えば、認知負荷推定装置１３０１は、工場に設置されたサーバ等の情報処理装置であり、各種コントローラの操作、製品組み立て等の作業を行う作業者を監視する。この場合、作業空間は、作業者の手先を含む空間であり、作業者による操作が発生する可能性のある操作位置は、作業者の手先の位置である。操作位置が到達する目標地点は、必ずしも事前に定義されているわけではない。
【００９６】
撮像装置１３０２は、例えば、ＣＣＤ（Charged-Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の撮像素子を有するカメラであり、作業空間の映像を撮影する。撮像装置１３０２によって撮影された映像には、時系列の複数の画像が含まれている。画像取得部１３１１は、撮像装置１３０２が出力する映像から、複数の時刻それぞれにおける作業空間の画像３２１を取得して、記憶部３１１に格納する。
【００９７】
操作位置取得部３１３は、各時刻の画像３２１に写っている作業者の手を認識することで、手先の位置を示す座標を操作位置として取得し、操作位置の移動軌跡を示す操作位置情報３２２を生成して、記憶部３１１に格納する。
【００９８】
視線センサ１３０３は、作業中の複数の時刻それぞれにおいて、作業者の視線方向を検出する。視線取得部１３１３は、視線センサ１３０３が出力する検出結果から、画像３２１内における作業者の注視点を示す座標を取得し、視線の移動軌跡を示す視線情報３２３を生成して、記憶部３１１に格納する。
【００９９】
変化点検出部３１５、滞留点検出部３１６、特徴量計算部３１７、及び推定部３１８は、図３の認知負荷推定装置３０１と同様の認知負荷推定処理を行う。出力部１３１４は、作業者が疲労状態であると判定された場合、警告情報３２６を表す音声信号をスピーカ１３０４へ出力し、スピーカ１３０４は、作業者に対して、警告情報３２６を音声として出力する。
【０１００】
図１３の認知負荷推定装置１３０１によれば、図３の認知負荷推定装置３０１と同様に、マイクロスリップの発生を正確に検出することができ、作業者の認知負荷を精度良く推定することが可能になる。
【０１０１】
図１、図３、及び図１３の認知負荷推定装置の構成は一例に過ぎず、認知負荷推定装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図３の認知負荷推定装置３０１において、画像取得部３１２、操作位置取得部３１３、視線センサ３１４、及び表示部３１９が外部の装置に設けられている場合は、これらの構成要素を省略することができる。
【０１０２】
認知負荷推定処理において視線の滞留点を用いない場合は、視線センサ３１４及び滞留点検出部３１６を省略することができる。警告情報３２６を出力しない場合は、出力部３２０を省略することができる。
【０１０３】
同様に、図１３の認知負荷推定装置１３０１において、画像取得部１３１１、操作位置取得部１３１２、及び視線取得部１３１３が外部の装置に設けられている場合は、これらの構成要素を省略することができる。
【０１０４】
認知負荷推定処理において視線の滞留点を用いない場合は、視線取得部１３１３及び滞留点検出部３１６を省略することができる。警告情報３２６を出力しない場合は、出力部１３１４を省略することができる。
【０１０５】
図２及び図９Ａ〜図１２のフローチャートは一例に過ぎず、認知負荷推定装置の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図９Ａ及び図９Ｂの認知負荷推定処理において、視線の滞留点を用いない場合は、ステップ９０５〜ステップ９０７の処理を省略することができる。この場合、ステップ９０１において、操作位置の変化点のみが検出され、視線の滞留点は検出されない。
【０１０６】
図１０の変化点マイクロスリップ検出処理において、視線の滞留点を用いない場合は、ステップ１００４及びステップ１００５の処理を省略することができる。
【０１０７】
図１１Ａ〜図１１Ｃの滞留点マイクロスリップ検出処理において、滞留点Ｈ２に視線が滞留している期間を除外する必要がない場合は、ステップ１１０７〜ステップ１１１０、ステップ１１１２、及びステップ１１１３の処理を省略することができる。
【０１０８】
図１２の疲労推定処理において、警告情報３２６を出力しない場合は、ステップ１２０３及びステップ１２０４の処理を省略することができる。
【０１０９】
図４、図６、及び図８の移動軌跡と図５及び図７のサリエンシーマップは一例に過ぎず、移動軌跡及びサリエンシーマップは、作業空間及び作業者の操作に応じて変化する。
【０１１０】
図１４は、図１の認知負荷推定装置１０１、図３の認知負荷推定装置３０１、及び図１３の認知負荷推定装置１３０１として用いられる情報処理装置（コンピュータ）のハードウェア構成例を示している。図１４の情報処理装置は、ＣＰＵ（Central Processing Unit）１４０１、メモリ１４０２、入力装置１４０３、出力装置１４０４、補助記憶装置１４０５、媒体駆動装置１４０６、及びネットワーク接続装置１４０７を含む。これらの構成要素はハードウェアであり、バス１４０８により互いに接続されている。
【０１１１】
メモリ１４０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを記憶する。メモリ１４０２は、図１の記憶部１１１、又は図３及び図１３の記憶部３１１として用いることができる。
【０１１２】
ＣＰＵ１４０１（プロセッサ）は、例えば、メモリ１４０２を利用してプログラムを実行することにより、図１の変化点検出部１１２、特徴量計算部１１３、及び推定部１１４として動作する。
【０１１３】
ＣＰＵ１４０１は、メモリ１４０２を利用してプログラムを実行することにより、図３の画像取得部３１２、操作位置取得部３１３、変化点検出部３１５、滞留点検出部３１６、特徴量計算部３１７、及び推定部３１８としても動作する。
【０１１４】
ＣＰＵ１４０１は、メモリ１４０２を利用してプログラムを実行することにより、図１３の変化点検出部３１５、滞留点検出部３１６、特徴量計算部３１７、推定部３１８、画像取得部１３１１、操作位置取得部１３１２、及び視線取得部１３１３としても動作する。
【０１１５】
入力装置１４０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１４０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。処理結果は、統計値３２５であってもよく、警告情報３２６であってもよい。出力部１４０４は、図３の表示部３１９及び出力部３２０として用いることができる。
【０１１６】
補助記憶装置１４０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１４０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１４０５にプログラム及びデータを格納しておき、それらをメモリ１４０２にロードして使用することができる。補助記憶装置１４０５は、図１の記憶部１１１、又は図３及び図１３の記憶部３１１として用いることができる。
【０１１７】
媒体駆動装置１４０６は、可搬型記録媒体１４０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１４０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１４０９は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１４０９にプログラム及びデータを格納しておき、それらをメモリ１４０２にロードして使用することができる。
【０１１８】
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１４０２、補助記憶装置１４０５、又は可搬型記録媒体１４０９のような、物理的な（非一時的な）記録媒体である。
【０１１９】
ネットワーク接続装置１４０７は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１４０７を介して受信し、それらをメモリ１４０２にロードして使用することができる。ネットワーク接続装置１４０７は、図１３の出力部１３１４として用いることができる。
【０１２０】
なお、情報処理装置が図１４のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザとのインタフェースが不要な場合は、入力装置１４０３及び出力装置１４０４を省略してもよい。可搬型記録媒体１４０９又は通信ネットワークを使用しない場合は、媒体駆動装置１４０６又はネットワーク接続装置１４０７を省略してもよい。
【０１２１】
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
【０１２２】
図１乃至図１４を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
コンピュータによって実行される認知負荷推定方法であって、
前記コンピュータが、
作業空間において作業者による操作が発生する可能性のある操作位置の移動軌跡から、前記操作位置の変化点を検出し、
複数の時刻それぞれにおける前記作業空間の画像のうち、前記変化点に対応する時刻における画像内で、前記変化点に対応する位置における視覚的特徴量を求め、
前記視覚的特徴量に基づいて、前記変化点におけるマイクロスリップを検出し、
前記作業空間において検出されたマイクロスリップの発生回数から、前記作業者の認知負荷を推定する、
ことを特徴とする認知負荷推定方法。
（付記２）
前記コンピュータは、前記視覚的特徴量が基準値よりも小さい場合、前記変化点においてマイクロスリップが発生したと判定することを特徴とする付記１記載の認知負荷推定方法。
（付記３）
前記コンピュータは、前記視覚的特徴量が基準値よりも大きい場合、前記作業空間における前記作業者の視線の移動軌跡から、前記変化点に対応する時刻よりも前に前記変化点において発生した前記視線の滞留点を検出し、前記変化点に対応する時刻と前記滞留点に対応する時刻との差分が所定時間よりも短い場合、前記変化点においてマイクロスリップが発生したと判定することを特徴とする付記１記載の認知負荷推定方法。
（付記４）
前記コンピュータは、前記作業空間における前記作業者の視線の移動軌跡から、前記視線の滞留点を検出し、前記複数の時刻それぞれにおける前記作業空間の画像のうち、前記滞留点に対応する時刻における画像内で、前記滞留点に対応する位置における視覚的特徴量を求め、前記滞留点に対応する位置における視覚的特徴量が基準値よりも小さい場合、前記滞留点に対応する時刻よりも後に前記操作位置が前記滞留点を通過した時刻を求め、前記操作位置が前記滞留点を通過した時刻以降の所定期間において、前記視線の移動軌跡と前記操作位置の移動軌跡との差分の統計値を求め、前記統計値が所定値よりも小さい場合、前記滞留点においてマイクロスリップが発生したと判定することを特徴とする付記１記載の認知負荷推定方法。
（付記５）
前記コンピュータは、前記所定期間における前記視線の移動軌跡から、前記視線の別の滞留点が検出された場合、前記複数の時刻それぞれにおける前記作業空間の画像のうち、前記別の滞留点に対応する時刻における画像内で、前記別の滞留点に対応する位置における視覚的特徴量を求め、前記別の滞留点に対応する位置における視覚的特徴量が前記基準値よりも大きい場合、前記別の滞留点に前記視線が滞留している期間を前記所定期間から除外して、前記統計値を求めることを特徴とする付記４記載の認知負荷推定方法。
（付記６）
前記コンピュータは、前記マイクロスリップの発生回数の統計値を、前記認知負荷の指標として求め、前記マイクロスリップの発生回数の統計値が閾値よりも大きい場合、前記作業者が疲労状態であることを示す警告情報を出力することを特徴とする付記１乃至５のいずれか１項に記載の認知負荷推定方法。
（付記７）
前記作業空間は、前記作業者の手先を含む空間であり、前記操作位置は、前記手先の位置であることを特徴とする付記１乃至６のいずれか１項に記載の認知負荷推定方法。
（付記８）
前記作業空間は、表示画面であり、前記操作位置は、前記表示画面上でカーソルが表示される位置であることを特徴とする付記１乃至６のいずれか１項に記載の認知負荷推定方法。
（付記９）
複数の時刻それぞれにおける作業空間の画像を記憶する記憶部と、
前記作業空間において作業者による操作が発生する可能性のある操作位置の移動軌跡から、前記操作位置の変化点を検出する変化点検出部と、
前記複数の時刻それぞれにおける前記作業空間の画像のうち、前記変化点に対応する時刻における画像内で、前記変化点に対応する位置における視覚的特徴量を求める特徴量計算部と、
前記視覚的特徴量に基づいて、前記変化点におけるマイクロスリップを検出し、前記作業空間において検出されたマイクロスリップの発生回数から、前記作業者の認知負荷を推定する推定部と、
を備えることを特徴とする認知負荷推定装置。
（付記１０）
前記推定部は、前記視覚的特徴量が基準値よりも小さい場合、前記変化点においてマイクロスリップが発生したと判定することを特徴とする付記９記載の認知負荷推定装置。
（付記１１）
前記視覚的特徴量が基準値よりも大きい場合、前記作業空間における前記作業者の視線の移動軌跡から、前記変化点に対応する時刻よりも前に前記変化点において発生した前記視線の滞留点を検出する滞留点検出部をさらに備え、
前記推定部は、前記変化点に対応する時刻と前記滞留点に対応する時刻との差分が所定時間よりも短い場合、前記変化点においてマイクロスリップが発生したと判定することを特徴とする付記９記載の認知負荷推定装置。
（付記１２）
作業空間において作業者による操作が発生する可能性のある操作位置の移動軌跡から、前記操作位置の変化点を検出し、
複数の時刻それぞれにおける前記作業空間の画像のうち、前記変化点に対応する時刻における画像内で、前記変化点に対応する位置における視覚的特徴量を求め、
前記視覚的特徴量に基づいて、前記変化点におけるマイクロスリップを検出し、
前記作業空間において検出されたマイクロスリップの発生回数から、前記作業者の認知負荷を推定する、
処理をコンピュータに実行させるための認知負荷推定プログラム。
（付記１３）
前記コンピュータは、前記視覚的特徴量が基準値よりも小さい場合、前記変化点においてマイクロスリップが発生したと判定することを特徴とする付記１２記載の認知負荷推定プログラム。
（付記１４）
前記コンピュータは、前記視覚的特徴量が基準値よりも大きい場合、前記作業空間における前記作業者の視線の移動軌跡から、前記変化点に対応する時刻よりも前に前記変化点において発生した前記視線の滞留点を検出し、前記変化点に対応する時刻と前記滞留点に対応する時刻との差分が所定時間よりも短い場合、前記変化点においてマイクロスリップが発生したと判定することを特徴とする付記１２記載の認知負荷推定プログラム。
【符号の説明】
【０１２３】
１０１、３０１、１３０１  認知負荷推定装置
１１１、３１１  記憶部
１１２、３１５  変化点検出部
１１３、３１７  特徴量計算部
１１４、３１８  推定部
３１２、１３１１  画像取得部
３１３、１３１２  操作位置取得部
３１４、１３０３  視線センサ
３１６  滞留点検出部
３１９  表示部
３２０、１３１４  出力部
３２１  画像
３２２  操作位置情報
３２３  視線情報
３２４  視覚的特徴量
３２５  統計値
３２６  警告情報
４０１、４０２  移動軌跡
４１１、４１２  変化点
４２１〜４２４  滞留点
６０１、６０２、８０１、８０２  曲線
６１１、６１２、８１１〜８１５  点
８２１、８２２  領域
１３０２  撮像装置
１３０４  スピーカ
１３１３  視線取得部
１４０１  ＣＰＵ
１４０２  メモリ
１４０３  入力装置
１４０４  出力装置
１４０５  補助記憶装置
１４０６  媒体駆動装置
１４０７  ネットワーク接続装置
１４０８  バス
１４０９  可搬型記録媒体
【図１】
2020201806.tif 000003
【図２】
2020201806.tif 000004
【図３】
2020201806.tif 000005
【図４】
2020201806.tif 000006
【図５】
2020201806.tif 000007
【図６】
2020201806.tif 000008
【図７】
2020201806.tif 000009
【図８】
2020201806.tif 000010
【図９Ａ】
2020201806.tif 000011
【図９Ｂ】
2020201806.tif 000012
【図１０】
2020201806.tif 000013
【図１１Ａ】
2020201806.tif 000014
【図１１Ｂ】
2020201806.tif 000015
【図１１Ｃ】
2020201806.tif 000016
【図１２】
2020201806.tif 000017
【図１３】
2020201806.tif 000018
【図１４】
2020201806.tif 000019