(57)【特許請求の範囲】
【請求項１】
操作が滞る滞留の程度を示す滞留度を計算する滞留度計算装置であって、
予め定められた各サンプリングタイミングにおいて、当該サンプリングタイミングになされた動作が予め定められた複数の動作のうちどの動作に一致するかを判定する動作判定部と、
前記動作判定部で一致すると判定された動作を示す動作情報が蓄積される動作情報記憶部と、
前記各サンプリングタイミングにおいて、当該サンプリングタイミングから予め定められた第１の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第１動作情報列を前記動作情報記憶部から読み出し、当該第１動作情報列が予め定められた程度以上の操作の滞留があることを示しているなら、当該遡ったサンプリングタイミングから予め定められた第２の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第２動作情報列を前記動作情報記憶部から読み出す動作情報読み出し部と、
当該第２動作情報列が蓄積される動作情報列記憶部と、
前記第１動作情報列が予め定められた程度以上の操作の滞留があることを示していないなら、予め定められた式を用いて、最新のサンプリングタイミングから前記第２の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第３動作情報列と前記動作情報列記憶部内の各第２動作情報列との類似度が大きい程大きくなるような滞留度を計算する滞留度計算部と
を備え、
前記動作判定部は、
視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定する視線動作判定部と、
指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定する指先動作判定部とを備え、
前記動作情報記憶部は、
前記視線動作判定部で一致すると判定された動作を示す視線動作識別情報と前記指先動作判定部で一致すると判定された動作を示す指先動作識別情報とからなる動作情報を蓄積するものである
ことを特徴とする滞留度計算装置。
【請求項２】
操作を実行するものを対象とした出力内容を出力する出力部と、
前記出力内容を前記出力部に出力させる処理部と、
前記滞留度に応じた出力内容が前記出力部に出力されるように前記処理部を制御する出力制御部と
を備えることを特徴とする請求項１記載の滞留度計算装置。
【請求項３】
操作が滞る滞留の程度を示す滞留度を計算する滞留度計算装置の動作方法であって、
前記滞留度計算装置の動作判定部が、
予め定められた各サンプリングタイミングにおいて、当該サンプリングタイミングになされた動作が予め定められた複数の動作のうちどの動作に一致するかを判定し、一致すると判定された動作を示す動作情報を前記滞留度計算装置の動作情報記憶部に蓄積し、
前記滞留度計算装置の動作情報読み出し部が、
前記各サンプリングタイミングにおいて、当該サンプリングタイミングから予め定められた第１の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第１動作情報列を前記動作情報記憶部から読み出し、当該第１動作情報列が予め定められた程度以上の操作の滞留があることを示しているなら、当該遡ったサンプリングタイミングから予め定められた第２の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第２動作情報列を前記動作情報記憶部から読み出し、当該第２動作情報列を前記滞留度計算装置の動作情報列記憶部に蓄積し、
前記滞留度計算装置の滞留度計算部が、
前記第１動作情報列が予め定められた程度以上の操作の滞留があることを示していないなら、予め定められた式を用いて、最新のサンプリングタイミングから前記第２の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第３動作情報列と前記動作情報列記憶部内の各第２動作情報列との類似度が大きい程大きくなるような滞留度を計算し、
前記動作判定部による判定は、
当該動作判定部の視線動作判定部が、視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定することと、
当該動作判定部の指先動作判定部が、指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定することからなり、
前記動作情報記憶部には、
前記視線動作判定部で一致すると判定された動作を示す視線動作識別情報と前記指先動作判定部で一致すると判定された動作を示す指先動作識別情報とからなる動作情報が蓄積される
ことを特徴とする滞留度計算装置の動作方法。
【請求項４】
前記滞留度計算装置は、
操作を実行するものを対象とした出力内容を出力する出力部と、
前記出力内容を前記出力部に出力させる処理部とを備え、
前記動作方法は、
さらに、前記滞留度計算装置の出力制御部が、前記滞留度に応じた出力内容が前記出力部に出力されるように前記処理部を制御する
ことを特徴とする請求項３記載の滞留度計算装置の動作方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、重度の操作の滞留が発生する可能性を示す滞留度を計算できる滞留度計算装置およびその動作方法に関するものである。
【背景技術】
【０００２】
ユーザに対して情報を画面に表示し、ユーザが選択等の操作を行うような情報端末において、ユーザが操作を行っている途中で、次に何を行えばよいのか、わからず困って行き詰ってしまう「滞留」状態が発生することがある。
【０００３】
そのような状況を改善するために、非特許文献１に記載の技術が提案されている。
【０００４】
非特許文献１の技術は、見ているウェブサイト、キーボード操作、マウスの動き、視線、表情、音声情報を入力とし、出力を支援内容としてユーザ満足度によって学習を行うというものである。この技術は、出力が満足度を向上させるようならば、事例として記憶していくという事例ベース推論を用いた操作支援方法である。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】L.Maat, et al, “Gaze-X: Adaptive Affective Multimodal Interface for Single-User Office Scenarios”, Proceedings of the 8th international conference on Multimodal interfaces, 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１の技術では、滞留状態を滞留しているかしていないかの二つの状態に分け、人が見て明らかな「重度」の滞留状態のみを扱っている。
【０００７】
しかしながら、「重度」の滞留に至るまでには、人が見ても分からないような「軽度」の滞留状況というものが存在する。非特許文献１ではこれを考慮していない。つまり、「重度」の滞留が発生する可能性を示す指標がない。よって、「重度」の滞留が発生し、例えば、回復困難となる虞がある。
【０００８】
本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、重度の操作の滞留が発生する可能性を示す滞留度を計算できる滞留度計算装置およびその動作方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、第１の本発明は、操作が滞る滞留の程度を示す滞留度を計算する滞留度計算装置であって、予め定められた各サンプリングタイミングにおいて、当該サンプリングタイミングになされた動作が予め定められた複数の動作のうちどの動作に一致するかを判定する動作判定部と、前記動作判定部で一致すると判定された動作を示す動作情報が蓄積される動作情報記憶部と、前記各サンプリングタイミングにおいて、当該サンプリングタイミングから予め定められた第１の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第１動作情報列を前記動作情報記憶部から読み出し、当該第１動作情報列が予め定められた程度以上の操作の滞留があることを示しているなら、当該遡ったサンプリングタイミングから予め定められた第２の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第２動作情報列を前記動作情報記憶部から読み出す動作情報読み出し部と、当該第２動作情報列が蓄積される動作情報列記憶部と、前記第１動作情報列が予め定められた程度以上の操作の滞留があることを示していないなら、予め定められた式を用いて、最新のサンプリングタイミングから前記第２の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第３動作情報列と前記動作情報列記憶部内の各第２動作情報列との類似度が大きい程大きくなるような滞留度を計算する滞留度計算部とを備え、前記動作判定部は、視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定する視線動作判定部と、指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定する指先動作判定部とを備え、前記動作情報記憶部は、前記視線動作判定部で一致すると判定された動作を示す視線動作識別情報と前記指先動作判定部で一致すると判定された動作を示す指先動作識別情報とからなる動作情報を蓄積するものであることを特徴とする。
【００１１】
例えば、前記動作情報読み出し部は、前記第１動作情報列内の動作情報同士で視線動作識別情報が等しく且つ指先動作識別情報が等しいなら、前記第２動作情報列を読み出し、前記滞留度計算部は、前記第１動作情報列内の動作情報同士で視線動作識別情報が等しくない又は指先動作識別情報が等しくないなら、前記滞留度を計算する。
【００１２】
例えば、滞留度計算装置は、操作を実行するものを対象とした出力内容を出力する出力部と、前記出力内容を前記出力部に出力させる処理部と、前記滞留度に応じた出力内容が前記出力部に出力されるように前記処理部を制御する出力制御部とを備える。
【００１３】
第２の本発明は、操作が滞る滞留の程度を示す滞留度を計算する滞留度計算装置の動作方法であって、前記滞留度計算装置の動作判定部が、予め定められた各サンプリングタイミングにおいて、当該サンプリングタイミングになされた動作が予め定められた複数の動作のうちどの動作に一致するかを判定し、一致すると判定された動作を示す動作情報を前記滞留度計算装置の動作情報記憶部に蓄積し、前記滞留度計算装置の動作情報読み出し部が、前記各サンプリングタイミングにおいて、当該サンプリングタイミングから予め定められた第１の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第１動作情報列を前記動作情報記憶部から読み出し、当該第１動作情報列が予め定められた程度以上の操作の滞留があることを示しているなら、当該遡ったサンプリングタイミングから予め定められた第２の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第２動作情報列を前記動作情報記憶部から読み出し、当該第２動作情報列を前記滞留度計算装置の動作情報列記憶部に蓄積し、前記滞留度計算装置の滞留度計算部が、前記第１動作情報列が予め定められた程度以上の操作の滞留があることを示していないなら、予め定められた式を用いて、最新のサンプリングタイミングから前記第２の回数だけ遡ったサンプリングタイミングまでの動作情報からなる第３動作情報列と前記動作情報列記憶部内の各第２動作情報列との類似度が大きい程大きくなるような滞留度を計算し、前記動作判定部による判定は、当該動作判定部の視線動作判定部が、視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定することと、当該動作判定部の指先動作判定部が、指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定することからなり、前記動作情報記憶部には、前記視線動作判定部で一致すると判定された動作を示す視線動作識別情報と前記指先動作判定部で一致すると判定された動作を示す指先動作識別情報とからなる動作情報が蓄積されることを特徴とする。
【００１４】
例えば、前記動作情報読み出し部は、前記第１動作情報列内の動作情報同士で視線動作識別情報が等しく且つ指先動作識別情報が等しいなら、前記第２動作情報列を読み出し、前記滞留度計算部は、前記第１動作情報列内の動作情報同士で視線動作識別情報が等しくない又は指先動作識別情報が等しくないなら、前記滞留度を計算する。
【００１５】
例えば、前記滞留度計算装置は、操作を実行するものを対象とした出力内容を出力する出力部と、前記出力内容を前記出力部に出力させる処理部とを備え、前記動作方法は、さらに、前記滞留度計算装置の出力制御部が、前記滞留度に応じた出力内容が前記出力部に出力されるように前記処理部を制御する。
【発明の効果】
【００１６】
本発明によれば、重度の操作の滞留が発生する可能性を示す滞留度を計算することができる。
【図面の簡単な説明】
【００１７】
【図１】本実施の形態に係る滞留度計算装置を含んで構成した情報処理装置の概略構成を示すブロック図である。
【図２】情報処理装置１の動作の流れを示すフローチャートである。
【図３】操作入力部１０５と操作面１５１の一例を示す図である。
【図４】ステップＳ７の詳細なフローチャートである。
【図５】ステップＳ９の詳細なフローチャートである。
【図６】出力部１０２と表示面１２１の一例を示す図である。
【図７】動作情報列記憶部１０９の構成の一例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図面を参照して説明する。
【００１９】
図１は、本実施の形態に係る滞留度計算装置を含んで構成した情報処理装置の概略構成を示すブロック図である。
【００２０】
情報処理装置１は、ここでは、いわゆるシナリオとして予めに記憶した出力内容を出力する装置である。
【００２１】
情報処理装置１は、シナリオを予め記憶したシナリオデータベース１０１、シナリオに記載された出力内容を出力する表示装置などの出力部１０２、シナリオを読み込み、シナリオに記載された出力内容を出力部１０２から出力させる処理部１０３、出力部１０２に出力される出力内容の視聴などを行うユーザを撮影するカメラ等の画像入力部１０４、ユーザが指先を触れて操作するタッチパネルなどの操作入力部１０５、ユーザにより行われる動作が予め定められた複数の動作のうちどの動作に一致するかを判定する動作判定部１０６、動作判定部１０６で一致すると判定された動作を示す動作情報が蓄積される動作情報記憶部１０７、予め定められた数の動作情報からなる第１動作情報列を動作情報記憶部１０７から読み出し、第１動作情報列が所定の条件を満たすなら、予め定められた数の動作情報からなる第２動作情報列を動作情報記憶部１０７から読み出す動作情報読み出し部１０８、第２動作情報列が蓄積される動作情報列記憶部１０９、第１動作情報列が所定の条件を満たさないなら、予め定められた数の動作情報からなる第３動作情報列を動作情報記憶部１０７から読み出し、動作情報列記憶部１０９の第２動作情報列と第３動作情報列を用いて、重度の操作の滞留が発生する可能性を示す滞留度を滞留度計算部１１０、および滞留度に応じた出力内容が出力部１０２に出力されるように処理部１０３を制御する出力制御部１１１を備える。
【００２２】
操作入力部１０５は、例えば、透明なタッチパネルであり、出力部１０２である表示装置がその背後に配置され、これにより、ユーザが出力内容に触れるようにして、操作入力部１０５が操作される。
【００２３】
本実施の形態の滞留度計算装置は、出力部１０２、処理部１０３、動作判定部１０６、動作情報記憶部１０７、動作情報読み出し部１０８、動作情報列記憶部１０９、滞留度計算部１１０および出力制御部１１１から構成される。
【００２４】
動作判定部１０６は、ユーザの視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定する視線動作判定部１６１と、ユーザの指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定する指先動作判定部１６２とを備える。
【００２５】
次に、情報処理装置１の動作の流れを説明する。  
処理部１０３は、シナリオデータベース１０１からシナリオを読み込み、シナリオに記載された出力内容を出力部１０２から出力させる。出力内容は画面を構成し、画面には、別の画面を表示するためのボタンが表示される。
【００２６】
図２は、情報処理装置１の動作の流れを示すフローチャートである。前述のように、出力部１０２は、ボタンを含む画面を表示していることとする。
【００２７】
情報処理装置１は、予め定められた各サンプリングタイミングにおいて、図２に示す動作を実行する。サンプリングタイミングの周期ｔ［秒］は、一定である。
【００２８】
まず、処理部１０３は、操作入力部１０５からの信号に基づき、ユーザの指先の位置を示す指先座標（ｘＴｎ、ｙＴｎ）の取得を試みる（Ｓ１）。
【００２９】
ここでは、処理部１０３は、操作入力部１０５が図３に示すような操作面１５１を有している場合、原点０Ｔから、操作面１５１に触れた指先までのｘ軸方向の距離に相当する座標ｘＴｎと、原点０Ｔから、操作面１５１に触れた指先までのｙ軸方向の距離に相当する座標ｙＴｎとからなる指先座標（ｘＴｎ、ｙＴｎ）の取得を試みる（Ｓ１）。
【００３０】
ｎは、最新の、つまり現在のサンプリングタイミングを示す整数である。例えば、１回前のサンプリングタイミングにおける指先座標は、（ｘＴｎ−１、ｙＴｎ−１）と表現される。
【００３１】
次に、処理部１０３は、指先座標を取得でき、つまり、指先が操作面１５１に触れており、且つ、指先座標がボタン内の位置に対応するものであるか否かを判定する（Ｓ３）。つまり、処理部１０３は、ユーザがボタンを操作したか否かを判定する（Ｓ３）。
【００３２】
処理部１０３は、ステップＳ３でＹＥＳと判定されたなら、シナリオに基づいて、別の画面を出力部１０２に表示させ（Ｓ５）、処理を終える。
【００３３】
一方、指先動作判定部１６２は、ステップＳ３でＮＯと判定されたなら、指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定する（Ｓ７）。
【００３４】
図４は、ステップＳ７の詳細なフローチャートである。  
指先動作判定部１６２は、指先座標の取得を試み、指先座標を取得できなければ（Ｓ７１：ＮＯ）、最新のサンプリングタイミングにおける指先動作識別情報Ｔｎとして、指先が操作面１５１に触れていない（アンタッチ）ことを示す指先動作識別情報「Ｔ１」を生成し（Ｓ７３）、処理を終える。
【００３５】
一方、指先動作判定部１６２は、指先座標つまり最新のサンプリングタイミングにおける指先座標（ｘＴｎ、ｙＴｎ）を取得できたなら（Ｓ７１：ＹＥＳ）、１回前のサンプリングタイミングにおける指先座標（ｘＴｎ−１、ｙＴｎ−１）と指先座標（ｘＴｎ、ｙＴｎ）の距離（以下、変位という）ｌＴｎを式（１）により計算し、変位ｌＴｎが予め定められた変位（しきい値）ＬＴ以上であるか否かを判定する（Ｓ７５）。
【数１】
0005775023.tif 000002
【００３６】
つまり、指先動作判定部１６２は、式（２）、（３）のどちらが成立するかを判定する（Ｓ７５）。
【数２】
0005775023.tif 000003
【００３７】
式（２）が成立する場合とは、指先を操作面１５１に触れたまま意図的に動かす動作（ドラッグ）が行われた場合である。
【００３８】
式（３）が成立する場合とは、指先を単に操作面１５１に触れる動作（タッチ）が行われた場合である。
【００３９】
指先動作判定部１６２は、ステップＳ７５でＮＯと判定された（タッチが行われた）なら、指先動作識別情報Ｔｎとして、タッチが行われたことを示す指先動作識別情報「Ｔ２」を生成し（Ｓ７７）、処理を終える。
【００４０】
一方、指先動作判定部１６２は、ステップＳ７５でＹＥＳと判定された（ドラッグが行われた）なら、指先動作識別情報Ｔｎとして、ドラッグが行われたことを示す指先動作識別情報「Ｔ３」を生成し（Ｓ７９）、処理を終える。
【００４１】
図２に戻り、次に、視線動作判定部１６１は、視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定する（Ｓ９）。
【００４２】
図５は、ステップＳ９の詳細なフローチャートである。  
まず、視線動作判定部１６１は、画像入力部１０４からの信号に基づき、ユーザの視線の位置を示す視線座標（ｘＧｎ、ｙＧｎ）の取得を試みる（Ｓ９０１）。
【００４３】
出力部１０２が図６に示すような表示面１２１を有している場合、原点０Ｇから、表示面１２１に注がれた視線の表示面１２１における位置までのｘ軸方向の距離に相当する座標ｘＧｎと、原点０Ｇから、表示面１２１に注がれた視線の表示面１２１における位置までのｙ軸方向の距離に相当する座標ｙＧｎとからなる視線座標（ｘＧｎ、ｙＧｎ）の取得を試みる（Ｓ９０１）。
【００４４】
画像入力部１０４が単眼カメラである場合、視線座標の取得は、以下の参考文献に記載のアルゴリズムを用いて行える。
【００４５】
参考文献：Hirotake Yamazoe, “Remote Gaze Estimation with a Single Camera Based on Facial-Feature Tracking without Special Calibration Actions”, Proceedings of the 2008 symposium on Eye tracking research applications ETRA 08, 2008.
視線座標（ｘＧｎ、ｙＧｎ）のｎは、最新のサンプリングタイミングを示す整数である。例えば、１回前のサンプリングタイミングにおける視線座標は、（ｘＧｎ−１、ｙＧｎ−１）と表現される。
【００４６】
次に、視線動作判定部１６１は、視線座標（ｘＧｎ、ｙＧｎ）を取得できたか否かを判定する（Ｓ９０３）。つまり、視線動作判定部１６１は、視線が表示面１２１に注がれている状況であるか、または、視線が表示面１２１外に注がれているか瞬きをしている等の状況であるかを判定する（Ｓ９０３）。
【００４７】
視線動作判定部１６１は、ステップＳ９０３でＮＯと判定されたなら、最新のサンプリングタイミングにおける視線動作識別情報Ｇｎとして、視線が表示面１２１に注がれていないことを示す視線動作識別情報「Ｇ１」を生成し（Ｓ９０５）、処理を終える。
【００４８】
一方、視線動作判定部１６１は、ステップＳ９０３でＹＥＳと判定されたなら、１回前のサンプリングタイミングにおける視線座標（ｘＧｎ−１、ｙＧｎ−１）と視線座標（ｘＧｎ、ｙＧｎ）の距離（以下、変位という）ｌＧｎを式（４）により計算し、変位ｌＧｎが予め定められた変位（しきい値）ＬＧ以上であるか否かを判定する（Ｓ９０７）。
【数３】
0005775023.tif 000004
【００４９】
つまり、指先動作判定部１６２は、式（５）、（６）のどちらが成立するかを判定する（Ｓ９０７）。
【数４】
0005775023.tif 000005
【００５０】
式（６）が成立する場合とは、ユーザが表示面１２１の一点を見ている動作（絶対固視）が行われた場合である。
【００５１】
視線動作判定部１６１は、ステップＳ９０７でＮＯと判定されたなら、視線動作識別情報Ｇｎとして、絶対固視が行われたことを示す視線動作識別情報「Ｇ２」を生成し（Ｓ９０９）、処理を終える。
【００５２】
一方、視線動作判定部１６１は、ステップＳ９０７でＹＥＳと判定されたなら、１回前のサンプリングタイミングから最新のサンプリングタイミングまでの期間における指先の速度を示す指先速度ベクトルｖＴｎと、１回前のサンプリングタイミングから最新のサンプリングタイミングまでの期間における視線の速度を示す視線速度ベクトルｖＧｎを式（７）、（８）により計算する（Ｓ９１１）。
【数５】
0005775023.tif 000006
【００５３】
なお、式（７）において、ｖｘＴｎは指先速度ベクトルｖＴｎのｘ成分、ｖｙＴｎは指先速度ベクトルｖＴｎのｙ成分である。  
また、式（８）において、ｖｘＧｎは指先速度ベクトルｖＧｎのｘ成分、ｖｙＧｎは指先速度ベクトルｖＧｎのｙ成分である。
【００５４】
次に、視線動作判定部１６１は、指先速度ベクトルｖＴｎと視線速度ベクトルｖＧｎの内積を計算し、内積が０未満であるか否かを判定する（Ｓ９１３）。
【００５５】
つまり、視線動作判定部１６１は、式（９）、（１０）のどちらが成立するかを判定する（Ｓ９１３）。
【数６】
0005775023.tif 000007
【００５６】
式（９）が成立する場合とは、視線が指先に追従せずに動く動作（スキャン）が行われた場合である。  
式（１０）が成立する場合とは、視線が指先に追従する動作（相対固視）が行われた場合である。
【００５７】
視線動作判定部１６１は、ステップＳ９１３でＮＯと判定されたなら、視線動作識別情報Ｇｎとして、相対固視が行われたことを示す視線動作識別情報「Ｇ３」を生成し（Ｓ９１５）、処理を終える。
【００５８】
一方、視線動作判定部１６１は、ステップＳ９１３でＹＥＳと判定されたなら、視線動作識別情報Ｇｎとして、スキャンが行われたことを示す視線動作識別情報「Ｇ４」を生成し（Ｓ９１７）、処理を終える。
【００５９】
図２に戻り、次に、動作判定部１０６は、ステップＳ７で生成された指先動作識別情報ＴｎとステップＳ９で生成された視線動作識別情報Ｇｎとからなる動作情報（Ｔｎ，Ｇｎ）を動作情報記憶部１０７に蓄積する（Ｓ１０）。つまり、動作情報記憶部１０７には、動作判定部１０６で一致すると判定された動作を示す動作情報が蓄積される。
【００６０】
動作情報記憶部１０７には、こうして、最新のサンプリングタイミングまでの各サンプリングタイミングで生成された動作情報が蓄積される。なお、動作情報の数は、後述の処理に必要な数以上であることとする。
【００６１】
次に、動作情報読み出し部１０８は、最新のサンプリングタイミングから予め定められた第１の回数Ｎだけ遡ったサンプリングタイミングまでの動作情報からなる第１動作情報列を動作情報記憶部１０７から読み出し、第１動作情報列が予め定められた程度以上の操作の滞留があることを示しているか否かを判定する（Ｓ１１）。
【００６２】
具体的には、動作情報読み出し部１０８は、式（１１）に示す第１動作情報列を読み出し、式（１２）、（１３）が共に成立するか否かを判定する（Ｓ１１）。
【数７】
0005775023.tif 000008
【００６３】
式（１２）、（１３）が共に成立する場合は、「最重度」の滞留が発生している場合であり、動作情報読み出し部１０８は、ここでは、「最重度」の滞留が発生しているか否かを判定する（Ｓ１１）。「最重度」の滞留が発生している状況は、後述の滞留度Ｓに換算すると、滞留度Ｓ＝「１」に相当する。
【００６４】
なお、ステップＳ１１では、例えば、式（１２）と式（１３）の一方が成立するか否かを判定してもよい。つまり、滞留の程度を下げ、その程度以上の操作の滞留があるか否かを判定してもよい。
【００６５】
さて、動作情報読み出し部１０８は、ステップＳ１１でＹＥＳと判定されたなら、最新のサンプリングタイミングから前記第１の回数Ｎだけ遡ったサンプリングタイミングからさらに予め定められた第２の回数Ｍだけ遡ったサンプリングタイミングまでの動作情報からなる第２動作情報列を、動作情報記憶部１０７から読み出し、第２動作情報列を動作情報列記憶部１０９に蓄積する（Ｓ１３）。なお、第２の回数Ｍは、第１の回数Ｎに等しくてもよい。
【００６６】
つまり、動作情報読み出し部１０８は、式（１４）に示す第２動作情報列を読み出し、動作情報列記憶部１０９に蓄積する（Ｓ１３）。
【数８】
0005775023.tif 000009
【００６７】
動作情報列記憶部１０９には、例えば、図７に３例を示すような第２動作情報列が蓄積される。
【００６８】
図２に戻り、滞留度計算部１１０は、ステップＳ１１でＮＯと判定されたなら、操作が滞る滞留の程度を示す滞留度Ｓを計算する（Ｓ１５）。つまり、滞留度計算部１１０は、予め定められた式を用いて、最新のサンプリングタイミングから第２の回数Ｍだけ遡ったサンプリングタイミングまでの動作情報からなる第３動作情報列と動作情報列記憶部１０９内の各第２動作情報列との類似度が大きい程大きくなるような滞留度Ｓを計算する（Ｓ１５）。
【００６９】
動作情報列記憶部１０９には、「最重度」の滞留が発生した場合の第２動作情報列が蓄積されているので、滞留度Ｓは、現在の滞留の程度を示すだけでなく、「最重度」の滞留が発生する可能性の大きさを示すものでもある。
【００７０】
具体的には、滞留度計算部１１０は、まず、各第２動作情報列を動作情報列記憶部１０９から読み出し、それぞれにつき、第３動作情報列とのレーベンシュタイン距離Ｌを計算する。
【００７１】
レーベンシュタイン距離とは、ある文字列ｓｔｒ１（ここでは、第３動作情報列）を別の文字列ｓｔｒ２（ここでは、第２動作情報列）に変換するために置換、挿入、削除しなければならない最小の文字数である。文字数は、文字列ｓｔｒ１、ｓｔｒ２の類似度が大きい程少なくなる。
【００７２】
次に、滞留度計算部１１０は、計算されたレーベンシュタイン距離Ｌの中での最小のレーベンシュタイン距離Ｌｍｉｎを式（１５）に代入し、滞留度Ｓを計算する（Ｓ１５）。
【数９】
0005775023.tif 000010
【００７３】
ここで、Ｌｍａｘは、第３動作情報列と第２動作情報列とで、全てのサンプリングタイミングのそれぞれで、当該サンプリングタイミングに対応する指先動作識別情報が互いに異なり、且つ、当該サンプリングタイミングに対応する視線動作識別情報が互いに異なる場合のレーベンシュタイン距離Ｌである。
【００７４】
よって、滞留度Ｓは、最小のレーベンシュタイン距離Ｌｍｉｎが小さいほど大きくなる。つまり、滞留度Ｓは、第３動作情報列と第２動作情報列の類似度が大きい程大きくなる。
【００７５】
次に、出力制御部１１１が、滞留度Ｓが予め定められた閾値Ｓ１以上であるか否かを判定する（Ｓ１７）。閾値Ｓ１は、予め定められた２つの閾値Ｓ１、Ｓ２の内の高い方の閾値である。つまり、出力制御部１１１は、滞留度Ｓとなりうる０から１までの範囲を３分割して得られる最も高い範囲に滞留度Ｓが含まれるか否かを判定する（Ｓ１７）。なお、分割数は３に限るものではない。
【００７６】
出力制御部１１１は、ステップＳ１７でＹＥＳと判定されたなら、または、ステップＳ１３の処理が終わったなら、この場合、滞留度Ｓが最も高い範囲に含まれるので、強い注意喚起を示す出力内容が出力部１０２に出力されるように処理部１０３を制御し（Ｓ１９）、処理を終える。
【００７７】
一方、出力制御部１１１は、ステップＳ１７でＮＯと判定されたなら、滞留度Ｓが閾値Ｓ２以上であるか否かを判定する（Ｓ２１）。
【００７８】
出力制御部１１１は、ステップＳ２１でＹＥＳと判定されたなら、この場合、滞留度Ｓが２番目に高い範囲に含まれるので、例えば、ガイダンスなどの出力内容が出力部１０２に出力されるように処理部１０３を制御し（Ｓ２３）、処理を終える。
【００７９】
一方、出力制御部１１１は、ステップＳ２１でＮＯと判定されたなら、この場合、滞留度Ｓが最も低い範囲に含まれ、操作再開が期待できるので、処理を終える。
【００８０】
したがって、本実施の形態に係る滞留度計算装置は、操作が滞る滞留の程度を示す滞留度を計算する滞留度計算装置であって、予め定められた各サンプリングタイミングにおいて、当該サンプリングタイミングになされた動作が予め定められた複数の動作のうちどの動作に一致するかを判定する動作判定部１０６と、動作判定部１０６で一致すると判定された動作を示す動作情報が蓄積される動作情報記憶部１０７と、各サンプリングタイミングにおいて、当該サンプリングタイミングから予め定められた第１の回数Ｎだけ遡ったサンプリングタイミングまでの動作情報からなる第１動作情報列を動作情報記憶部１０７から読み出し、第１動作情報列が予め定められた程度以上の操作の滞留があることを示しているなら、当該遡ったサンプリングタイミングから予め定められた第２の回数Ｍだけ遡ったサンプリングタイミングまでの動作情報からなる第２動作情報列を動作情報記憶部１０７から読み出す動作情報読み出し部１０８と、第２動作情報列が蓄積される動作情報列記憶部１０９と、第１動作情報列が予め定められた程度以上の操作の滞留があることを示していないなら、予め定められた式（１５）を用いて、最新のサンプリングタイミングから第２の回数Ｍだけ遡ったサンプリングタイミングまでの動作情報からなる第３動作情報列と動作情報列記憶部１０９内の各第２動作情報列との類似度が大きい程大きくなるような滞留度を計算する滞留度計算部１１０とを備えるので、重度の操作の滞留が発生する可能性を示す滞留度Ｓを計算することができる。
【００８１】
また、動作判定部１０６は、視線の動作が予め定められた複数の視線の動作のうちどの動作に一致するかを判定する視線動作判定部１６１と、指先の動作が予め定められた複数の指先の動作のうちどの動作に一致するかを判定する指先動作判定部とを備え、動作情報記憶部１０７は、視線動作判定部１６１で一致すると判定された動作を示す視線動作識別情報と指先動作判定部１６２で一致すると判定された動作を示す指先動作識別情報とからなる動作情報を蓄積するものなので、滞留度Ｓを視線と指先の動作により計算することができる。
【００８２】
また、滞留度計算装置は、操作を実行するもの、つまり上記ユーザを対象とした出力内容を出力する出力部１０２と、出力内容を出力部１０２に出力させる処理部１０３と、滞留度Ｓに応じた出力内容が出力部１０２に出力されるように処理部１０３を制御する出力制御部１１１とを備えるので、上記のような、滞留度Ｓに応じた注意喚起などのための出力内容を出力部１０２に出力することができる。
【００８３】
以上、本発明の実施の形態の一例を説明したが、滞留度Ｓを計算することに特化した滞留度計算装置が必要な場合は、出力部１０２、処理部１０３および出力制御部１１１を滞留度計算装置に含めなくてもよい。
【００８４】
また、本実施の形態では、動作判定部１０６に視線動作判定部１６１と指先動作判定部１６２を設けたが、例えば、一方だけを動作判定部１０６に設けてもよい。つまり、動作判定部１０６は、サンプリングタイミングになされた動作が予め定められた複数の動作のうちどの動作に一致するかを判定でき、動作情報記憶部１０７には、動作判定部１０６で一致すると判定された動作を示す動作情報が蓄積されればよい。
【００８５】
また、本実施の形態では、滞留度計算装置を、シナリオの出力内容を出力する装置に設けたが、滞留度計算装置は別な装置に設けてもよく、また、滞留度計算装置を単独で設けてもよい。
【符号の説明】
【００８６】
１  情報処理装置
１０１  シナリオデータベース
１０２  出力部
１０３  処理部
１０４  画像入力部
１０５  操作入力部
１０６  動作判定部
１０７  動作情報記憶部
１０８  動作情報読み出し部
１０９  動作情報列記憶部
１１０  滞留度計算部
１１１  出力制御部
１２１  表示面
１５１  操作面
１６１  視線動作判定部
１６２  指先動作判定部
０Ｇ  表示面の原点
０Ｔ  操作面の原点
Ｇｎ  視線動作識別情報
Ｌ  レーベンシュタイン距離
Ｌｍｉｎ  レーベンシュタイン距離（最小値）
Ｍ  第２の回数
Ｎ  第１の回数
Ｓ  滞留度
Ｔｎ  指先動作識別情報
ｌＧｎ，ｌＴｎ  変位
ｔ  サンプリングタイミングの周期
ｖＧｎ  視線速度ベクトル
ｖＴｎ  指先速度ベクトル
ｘＧｎ  視線座標（ｘ座標）
ｘＴｎ  指先座標（ｘ座標）
ｙＧｎ  視線座標（ｙ座標）
ｙＴｎ  指先座標（ｙ座標）
【図１】
0005775023.tif 000011
【図２】
0005775023.tif 000012
【図３】
0005775023.tif 000013
【図４】
0005775023.tif 000014
【図５】
0005775023.tif 000015
【図６】
0005775023.tif 000016
【図７】
0005775023.tif 000017