(57)【要約】  ユーザの困惑状態を正確に判定して支援を行うユーザ支援装置を提供する。前記ユーザ支援装置は、木構造に配置された複数のメニューを辿るユーザによって行われた一連の操作においてそれぞれの操作が行われるまでにかかる意思決定の時間を反映した停滞時間の変動傾向を基に、前記ユーザが困惑状態にあるか否かを判定する困惑状態判定部（１０７）と、前記困惑状態判定部（１０７）によって肯定判定がなされた場合に操作支援を行う操作支援処理部（１０９）とを備える。
2007116689.tif 000002
【特許請求の範囲】
【請求項１】
木構造をとる複数のメニューを辿るユーザを支援するユーザ支援装置であって、
前記ユーザによる前記複数のメニューを辿る一連の操作のそれぞれについて、行うべき操作を決断するための時間である意思決定時間が増加するという判定基準に従って、前記ユーザが困惑状態にあるか否かを判定する困惑状態判定手段と、
前記困惑状態判定手段によって肯定判定がなされた場合に操作支援を行う操作支援処理手段と
を備えることを特徴とするユーザ支援装置。
【請求項２】
前記困惑状態判定手段は、直前の操作から経過した時間である停滞時間を測定すると共に、測定された停滞時間から、メニューを知覚するための時間である知覚時間と、操作を行うための時間である操作時間とを除いた時間を前記意思決定時間として算出することにより、前記判定を行う
ことを特徴とする請求項１に記載のユーザ支援装置。
【請求項３】
前記困惑状態判定手段は、各操作における前記知覚時間が一定であり、かつ各操作における前記操作時間が一定であると近似することによって、前記測定された停滞時間が増加するという判定基準に従って、前記判定を行う
ことを特徴とする請求項２に記載のユーザ支援装置。
【請求項４】
前記困惑状態判定手段は、前記一連の操作のうち、過去の１つ以上の操作について測定された停滞時間から閾値を決定し、現在の操作について生じる停滞時間又は意思決定時間が前記決定された閾値よりも大きい場合に前記ユーザが困惑状態にあると判定する
ことを特徴とする請求項３に記載のユーザ支援装置。
【請求項５】
前記困惑状態判定手段は、前記現在の操作が実際に行われる前に、直前の操作から経過した時間が前記決定された閾値を上回った時点で前記ユーザが困惑状態にあると判定する
ことを特徴とする請求項４に記載のユーザ支援装置。
【請求項６】
前記困惑状態判定手段は、前記一連の操作のそれぞれの意思決定時間の中から、直前の操作に依存して複数の意思決定時間を選択し、選択された複数の意思決定時間が増加するという判定基準に従って前記ユーザが困惑状態にあることを判定する
ことを特徴とする請求項１に記載のユーザ支援装置。
【請求項７】
前記困惑状態判定手段は、前記直前の操作が他のメニューから現在のメニューへ移る操作であった場合、過去に前記現在のメニューへ移るたびに生じる意思決定時間が増加するという判定基準に従って前記ユーザが困惑状態にあるか否かを判定する
ことを特徴とする請求項６に記載のユーザ支援装置。
【請求項８】
前記困惑状態判定手段は、前記意思決定時間を、過去に前記現在のメニューへ移るたびに生じる停滞時間で近似することにより、前記判定を行う
ことを特徴とする請求項７に記載のユーザ支援装置。
【請求項９】
前記困惑状態判定手段は、前記直前の操作が上位のメニューから現在のメニューへ下る操作であった場合、前記現在のメニューに至るまでに下った複数のメニューにおいて生じる意思決定時間が増加するという判定基準に従って前記ユーザが困惑状態にあるか否かを判定する
ことを特徴とする請求項６に記載のユーザ支援装置。
【請求項１０】
前記困惑状態判定手段は、前記意思決定時間を、前記現在のメニューに至るまでに下った複数のメニューにおいて最初の操作について生じる停滞時間で近似することにより、前記判定を行う
ことを特徴とする請求項９に記載のユーザ支援装置。
【請求項１１】
前記困惑状態判定手段は、前記直前の操作が現在のメニューに留まる操作であった場合、前記現在のメニュー内で過去に行われた複数の操作について生じる意思決定時間が増加するという判定基準に従って前記ユーザが困惑状態にあるか否かを判定する
ことを特徴とする請求項６に記載のユーザ支援装置。
【請求項１２】
前記困惑状態判定手段は、前記意思決定時間を、現在のメニュー内で過去に行われた複数の操作について生じる停滞時間で近似することにより、前記判定を行う
ことを特徴とする請求項１１に記載のユーザ支援装置。
【請求項１３】
前記現在のメニューには、複数の選択項目が示され、
前記操作支援処理手段は、前記困惑状態判定手段によって肯定判定がなされた場合に、前記操作支援として前記複数の選択項目それぞれの説明情報を前記ユーザに提示する
ことを特徴とする請求項１１に記載のユーザ支援装置。
【請求項１４】
前記ユーザ支援装置は、さらに、
困惑状態の複数の種類にそれぞれ対応した支援方法を示す困惑−操作支援情報を格納している困惑−操作支援対応表格納手段を備え、
前記困惑状態判定手段は、前記困惑状態の複数の種類にそれぞれ対応して、その種類の困惑状態が反映されると考えられる複数の意思決定時間を、前記一連の操作のそれぞれの意思決定時間の中から選択し、選択された複数の意思決定時間が増加するという判定基準に従って、前記ユーザがその種類の困惑状態にあるか否かを判定し、
前記操作支援処理手段は、前記困惑状態判定手段によって肯定判定がなされた種類に対応する支援方法を前記困惑−操作支援対応表格納手段から参照し、参照された支援方法に応じた支援を行う
ことを特徴とする請求項１に記載のユーザ支援装置。
【請求項１５】
前記ユーザ支援装置は、さらに、
前記困惑状態判定手段による判定結果を蓄積する困惑判定結果蓄積手段と、
前記蓄積された判定結果を表示する困惑判定結果表示手段と
を備えるとこを特徴とする請求項１に記載のユーザ支援装置。
【請求項１６】
木構造をとる複数のメニューを辿るユーザを支援するユーザ支援方法であって、
前記ユーザによる前記複数のメニューを辿る一連の操作のそれぞれについて、行うべき操作を決断するための時間である意思決定時間が増加するという判定基準に従って、前記ユーザが困惑状態にあるか否かを判定する困惑状態判定ステップと、
前記困惑状態判定ステップで肯定判定がなされた場合に操作支援を行う操作支援処理ステップと
を含むことを特徴とするユーザ支援方法。
【請求項１７】
木構造をとる複数のメニューを辿るユーザを支援するためのコンピュータ実行可能なプログラムであって、
前記ユーザによる前記複数のメニューを辿る一連の操作のそれぞれについて、行うべき操作を決断するための時間である意思決定時間が増加するという判定基準に従って、前記ユーザが困惑状態にあるか否かを判定する困惑状態判定ステップと、
前記困惑状態判定ステップで肯定判定がなされた場合に操作支援を行う操作支援処理ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、階層型のメニュー構造をもつ家電機器やＰＣなどのインターフェース技術に関するもので、ユーザが操作に困った困惑状態を検出し、操作の支援を行う技術に関するものである。
【背景技術】
【０００２】
従来、ユーザの状態を検出し、操作支援を行う技術としては、「目的の未形成」、「機能選択不可」などのような困惑状態の際に発生する操作パターンを予め利用者状態検出用データとして用意しておき、その操作パターン情報を利用した困惑状態候補の抽出、および困惑状態に応じた操作支援を行う方法が開示されている（特許文献１参照）。図２６は、前記特許文献１に記載された従来の困惑状態を検出し、操作の支援を行う技術を示すものである。【０００３】
図２６において、無操作判定時間データ２５０５で画面ごとに困惑が発生したことを検出するための停滞時間の閾値を予め定義しておき、その閾値以上の停滞（無操作状態）が起きたときに、利用者状態検出処理２５０３で可能性のある困惑状態の候補を抽出する。利用者状態検出処理２５０３では、利用者状態検出用データ２５０７で定義された困惑に相当する操作パターンを前方一致で検索することで、困惑候補を抽出し、支援機能選択処理２５０４で前記候補内容に応じた支援方法をユーザに提示し選択してもらうことでユーザの困惑状態に応じた支援を実現している。このとき利用者状態検出用データ２５０７では、操作パターンとして、単なる操作系列ではなく、各操作にかかった時間をｓｈｏｒｔ、ｎｏｒｍａｌ、ｌｏｎｇに区分した情報を用いている。【０００４】
また従来、一定時間ユーザからの入力がなければ困っているとみなし、メニュー構造の印字を行うかどうかを質問することを特徴とするファクシミリ装置が開示されている（特許文献２参照）。
【特許文献１】特開平１０−１５４０５７号公報
【特許文献２】特許２５７６４０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前記特許文献１の構成での、利用者状態検出処理による状態検出では、ユーザが操作に要した時間を画面ごとに予め決められた閾値に基づいて時間区分情報（ｓｈｏｒｔ、ｎｏｒｍａｌ、ｌｏｎｇ）に分類し、動きパターンとその操作に関する時間区分情報をもとにユーザが困惑状態にあるか否かを判断する。【０００６】
しかしながら、通常の人間の操作にかかる時間は画面だけに依存するのではなく、ユーザ個人の情報機器に対する慣れ、認知能力の速さ、やる気などの様々な側面によって左右される。そのため、画面ごとに予め決められた閾値に基づく従来の手法では、ユーザの個人差や状況の差に適応して困惑を正確に判断することが困難である。【０００７】
また、同様に特許文献２においても、操作に要した時間があらかじめ定められた時間を超えた場合に困惑として判断を行っているが、困惑を判断するための適切な時間をあらかじめ固定的に定めることは非常に困難である。【０００８】
本発明は、このような事情に鑑みてなされたものであり、ユーザへの支援を過不足なく行うべく、ユーザの困惑状態を正確に検出可能なユーザ支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記従来の課題を解決するために、本発明のユーザ支援装置は、木構造をとる複数のメニューを辿るユーザを支援するユーザ支援装置であって、前記ユーザに前記複数のメニューを辿る一連の操作のそれぞれについて行うべき操作を決断するための時間である意思決定時間が増加するという判定基準に従って、前記ユーザが困惑状態にあるか否かを判定する困惑状態判定手段と、前記困惑状態判定手段によって肯定判定がなされた場合に操作支援を行う操作支援処理手段とを備える。【００１０】
本発明は、このようなユーザ支援装置として実現できるだけでなく、ユーザ支援方法として実現し、ユーザ支援を行うためのコンピュータプログラムとして実現し、また、そのコンピュータプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭやＤＶＤ−ＲＡＭなどの記録媒体としても実現できる。
【発明の効果】
【００１１】
本発明のユーザ支援装置によれば、行うべき操作を決断するための時間である意思決定時間が増加するという判定基準に従って、そのユーザが困惑しているか否かを判定するので、あらかじめユーザ共通に固定的に定められた停滞時間の閾値を用いる従来の方法では困難であった、ユーザ個人の情報機器に対する慣れ、認知能力、意欲などの程度にも適応した正確な困惑検出が可能となる。【００１２】
これにより、初めてその機器を使う人、機器操作をなかなか覚えられない人、たまたま使い方を忘れてしまった場合など、様々なユーザの様々な場合に適応した正確な困惑状態の検出がなされるので、その検出結果に応じてユーザ支援を過不足なく適切に行うユーザ支援装置が実現される。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の実施の形態１におけるユーザ支援装置の構成図である。
【図２】図２は、階層型メニューの例を示す図である。
【図３】図３は、入力装置の例を示す図である。
【図４】図４は、実施の形態１におけるユーザ支援装置の処理を示すフローチャートである。
【図５】図５は、操作履歴情報の例を示す図である。
【図６】図６は、機能が見つからない困惑が生じている操作の例を示す図である。
【図７】図７（ａ）（ｂ）（ｃ）は、機能が見つからない困惑を判定するための操作系列情報を示す図である。
【図８】図８は、メンタルモデルのずれによる困惑が生じている操作の例を示す図である。
【図９】図９（ａ）（ｂ）（ｃ）は、メンタルモデルのずれによる困惑を判定するための操作系列情報を示す図である。
【図１０】図１０は、選択候補に対する迷いが生じている操作の例を示す図である。
【図１１】図１１（ａ）（ｂ）（ｃ）は、選択候補に対する迷いを判定するための操作系列情報を示す図である。
【図１２】図１２（ａ）（ｂ）（ｃ）（ｄ）は、困惑判定結果を示す図である。
【図１３】図１３（ａ）（ｂ）（ｃ）は、機能が見つからない困惑が生じている操作の他の例を示す図である。
【図１４】図１４（ａ）（ｂ）（ｃ）は、メンタルモデルのずれによる困惑が生じている操作の他の例を示す図である。
【図１５】図１５（ａ）（ｂ）（ｃ）は、選択候補に対する迷いが生じている操作の他の例を示す図である。
【図１６】図１６は、困惑−操作支援対応情報の例を示す図である。
【図１７】図１７は、本発明の実施の形態１におけるユーザ支援システムの構成図である。
【図１８】図１８は、本発明の実施の形態２におけるユーザビリティー評価装置の構成図である。
【図１９】図１９は、困惑箇所抽出ＤＢの内容例を示す図である。
【図２０】図２０は、本実施の形態２におけるユーザビリティー評価装置の処理を示すフローチャートである。
【図２１】図２１は、ユーザビリティー評価装置の結果出力画面の例を示す図である。
【図２２】図２２は、本発明の実施の形態３におけるユーザ支援装置の構成図である。
【図２３】図２３は、実施の形態３におけるユーザ支援装置の処理を示すフローチャートである。
【図２４】図２４（ａ）（ｂ）（ｃ）は、実施の形態３における機能が見つからない困惑を判定するための操作系列情報の例を示す図である。
【図２５】図２５（ａ）（ｂ）（ｃ）は、実施の形態３における機能が見つからない困惑を判定するための操作系列情報の他の例を示す図である。
【図２６】図２６は、従来のユーザ支援装置の構成図である。
【符号の説明】
【００１４】
１０１    入出力部
１０２    入出力制御部
１０３    機器制御部
１０４    操作履歴獲得部
１０５    時刻情報出力部
１０６    操作履歴格納部
１０７    困惑状態判定部
１０８    困惑−操作支援対応表格納部
１０９    操作支援処理部
１１１    操作入力信号
１１２    出力信号
１１３    機器制御信号
１１４    制御結果信号
１１５    操作情報信号
１１６    時間情報付き操作情報信号
１１７    操作履歴情報信号
１１８    機器操作タイミング通知信号
１１９    時刻情報信号
１２０    困惑検出信号
１２１    困惑−操作支援対応情報信号
１２２    操作支援信号
３０１    トップメニュー
３０２    メニュー
３０３    メニュー
３０４    番組表ノード
４０１    リモコン
４０２    カーソルキー
４０３    決定ボタン
４０４    戻るボタン
４０５    電源ボタン
４０６    メニューボタン
１６０１    困惑箇所抽出ＤＢ
１６０２    困惑箇所検出信号
１６０３    困惑箇所結果信号
１６０４    困惑箇所判定部
１７００    ユーザ支援装置
１７０１    支援情報取得部
１７０２    ネットワーク
１７０３    支援情報ＤＢ
１７０４    支援情報格納部
１７１１    検索条件信号
１７１２    検索結果信号
１７１３    支援情報信号
１９０１    困惑時停滞時間決定部
１９０２    困惑判定部
１９０３    困惑時停滞時間信号
２５０３    利用者状態検出処理
２５０４    支援機能選択処理
２５０５    無操作判定時間データ
２５０７    利用者状態検出用データ
【発明を実施するための最良の形態】
【００１５】
本発明のユーザ支援装置は、木構造をとる複数のメニューを辿るユーザを支援するユーザ支援装置であって、前記ユーザによる前記複数のメニューを辿る一連の操作のそれぞれについて行うべき操作を決断するための時間である意思決定時間が増加するという判定基準に従って、前記ユーザが困惑状態にあるか否かを判定する困惑状態判定手段と、前記困惑状態判定手段によって肯定判定がなされた場合に操作支援を行う操作支援処理手段とを備える。【００１６】
ここで、前記困惑状態判定手段は、直前の操作から経過した時間である停滞時間を測定すると共に、測定された停滞時間から、メニューを知覚するための時間である知覚時間と、操作を行うための時間である操作時間とを除いた時間を前記意思決定時間として算出することにより、前記判定を行ってもよい。【００１７】
また、前記困惑状態判定手段は、各操作における前記知覚時間が一定であり、かつ各操作における前記操作時間が一定であると近似することによって、前記測定された停滞時間が増加するという判定基準に従って、前記判定を行ってもよい。【００１８】
さらにまた、前記困惑状態判定手段は、前記一連の操作のうち、過去の１つ以上の操作について測定された停滞時間から閾値を決定し、現在の操作について生じる停滞時間又は意思決定時間が前記決定された閾値よりも大きい場合に前記ユーザが困惑状態にあると判定してもよく、また、前記現在の操作が実際に行われる前に、直前の操作から経過した時間が前記決定された閾値を上回った時点で前記ユーザが困惑状態にあると判定してもよい。【００１９】
また、前記困惑状態判定手段は、前記一連の操作のそれぞれの意思決定時間の中から、直前の操作に依存して複数の意思決定時間を選択し、選択された複数の意思決定時間が増加するという判定基準に従って前記ユーザが困惑状態にあることを判定してもよい。【００２０】
前記困惑状態判定手段は、前記直前の操作が他のメニューから現在のメニューへ移る操作であった場合、過去に前記現在のメニューへ移るたびに生じる意思決定時間が増加するという判定基準に従って前記ユーザが困惑状態にあるか否かを判定してもよい。このとき、前記困惑状態判定手段は、前記意思決定時間を、過去に前記現在のメニューへ移るたびに生じる停滞時間で近似することにより、前記判定を行ってもよい。【００２１】
前記困惑状態判定手段は、また、前記直前の操作が上位のメニューから現在のメニューへ下る操作であった場合、前記現在のメニューに至るまでに下った複数のメニューにおいて生じる意思決定時間が増加するという判定基準に従って前記ユーザが困惑状態にあるか否かを判定してもよい。このとき、前記困惑状態判定手段は、前記意思決定時間を、前記現在のメニューに至るまでに下った複数のメニューにおいて最初の操作について生じる停滞時間で近似することにより、前記判定を行ってもよい。【００２２】
前記困惑状態判定手段は、また、前記直前の操作が現在のメニューに留まる操作であった場合、前記現在のメニュー内で過去に行われた複数の操作について生じる意思決定時間が増加するという判定基準に従って前記ユーザが困惑状態にあるか否かを判定してもよい。このとき、前記困惑状態判定手段は、前記意思決定時間を、現在のメニュー内で過去に行われた複数の操作について生じる停滞時間で近似することにより、前記判定を行ってもよい。【００２３】
特に、前記直前の操作が、複数の選択項目が示されたメニューに留まる操作であった場合には、前記操作支援処理手段は、前記困惑状態判定手段によって肯定判定がなされた場合に、前記操作支援として前記複数の選択項目それぞれの説明情報を前記ユーザに提示することが望ましい。【００２４】
また、前記ユーザ支援装置は、さらに、困惑状態の複数の種類にそれぞれ対応した支援方法を示す困惑−操作支援情報を格納している困惑−操作支援対応表格納手段を備え、前記困惑状態判定手段は、前記困惑状態の複数の種類にそれぞれ対応して、その種類の困惑状態が反映されると考えられる複数の意思決定時間を、前記一連の操作のそれぞれの意思決定時間の中から選択し、選択された複数の意思決定時間が増加するという判定基準に従って、前記ユーザがその種類の困惑状態にあるか否かを判定し、前記操作支援処理手段は、前記困惑状態判定手段によって肯定判定がなされた種類に対応する支援方法を前記困惑−操作支援対応表格納手段から参照し、参照された支援方法に応じた支援を行ってもよい。【００２５】
また、前記ユーザ支援装置は、さらに、前記困惑状態判定手段による判定結果を蓄積する困惑判定結果蓄積手段と、前記蓄積された判定結果を表示する困惑判定結果表示手段とを備えてもよい。【００２６】
以下、本発明の実施の形態について、図面を参照しながら説明する。【００２７】
（実施の形態１）
図１は、本発明の実施の形態１におけるユーザ支援装置の機能的な構成を表すブロック図である。【００２８】
このユーザ支援装置は、ユーザによって行われた一連の操作のそれぞれについて、行うべき操作を決断するための時間である意思決定時間の変動傾向をもとに、とくに意思決定時間が増加するという判定基準に従って、ユーザが困惑状態にあるか否かを判定し、困惑状態にあると判定された場合に操作支援を行う装置であり、入出力部１０１、入出力制御部１０２、機器制御部１０３、操作履歴獲得部１０４、時刻情報出力部１０５、操作履歴格納部１０６、困惑状態判定部１０７、困惑−操作支援対応表格納部１０８、及び操作支援処理部１０９から構成される。【００２９】
図１において、困惑状態判定部１０７が困惑状態判定手段の一例であり、困惑−操作支援対応表格納部１０８が困惑−操作支援対応表格納手段の一例であり、操作支援処理部１０９、入出力制御部１０２、及び入出力部１０１が操作支援処理手段の一例である。【００３０】
入出力部１０１は、ユーザとのインターフェースを実現する部であり、リモコンやキーボード、マウス、タッチパネルなどの入力装置を使ってユーザから入力操作を受け付け、操作入力信号１１１として出力し、さらに出力信号１１２によって表される情報をディスプレイ、スピーカーなどを通じてユーザへ提示する。【００３１】
入出力制御部１０２は、操作入力信号１１１を受け付け、アプリケーションや機器の動作を指定する信号である機器制御信号１１３を出力するとともに、操作情報を表す操作情報信号１１５を出力する。さらに、制御結果信号１１４及び操作支援信号１２２を受け付け、ユーザへ提示される情報を表す出力信号１１２を出力する。【００３２】
機器制御部１０３は、機器制御信号１１３を受け付けて機器の制御を行なうとともに、機器からの応答内容である制御結果信号１１４を出力する。【００３３】
時刻情報出力部１０５は、現在時刻を表す時刻情報信号１１９を出力する。【００３４】
操作履歴獲得部１０４は、操作情報信号１１５および時刻情報信号１１９を参照して、直前の操作からの経過時間を表す停滞時間情報、および前記停滞時間に含まれる、（１）メニューを知覚するための時間（例えば、メニューに含まれる項目間を視線移動するための時間。以下、知覚時間、又は具体的に視線移動時間とも言う）、（２）行うべき操作を決断するための時間（例えば、項目を選択すべきかを判断するための時間。以下、意思決定時間と言う）、（３）決断した操作を実際に行うための時間（例えば、ボタン押下などを行うための時間。以下、操作時間と言う）を表す情報を付与した操作情報である時間情報付き操作情報信号１１６を出力する。また、前記操作情報信号１１６は、操作情報信号１１５の入力があったというトリガー情報である機器操作タイミング通知信号１１８を出力する。【００３５】
操作履歴格納部１０６は、時間情報付き操作情報信号１１６によって表される時間情報付き操作情報の系列を操作履歴情報として格納するデータベースである。【００３６】
困惑状態判定部１０７は、操作履歴格納部１０６から、前記操作履歴情報を表す操作履歴情報信号１１７を取得し、取得された操作履歴情報信号１１７によって表される操作履歴情報のうち、検出対象となる困惑状態が反映されると考えられる部分である操作系列情報を基に困惑状態を判定する。そして、困惑状態と判定された場合には、判定された困惑状態を表す困惑検出信号１２０を出力する。【００３７】
困惑−操作支援対応表格納部１０８は、困惑状態に対応して操作支援内容が格納されるデータベースである。【００３８】
操作支援処理部１０９は、困惑検出信号１２０を受け、困惑−操作支援対応情報信号１２１を参照し操作支援内容を決定するとともに、決定された支援内容を表す操作支援信号１２２を出力する。【００３９】
以上のように構成された困惑検出にもとづくユーザ支援装置の動作を説明する。ここで一例として、ＤＶＤレコーダーやテレビなどの機器に本実施の形態に係るユーザ支援装置が搭載されているとして説明する。【００４０】
一般に、ＤＶＤやテレビなどの機器のメニューは階層型に構成され、画面に表示されたメニューの項目を順次選択し階層を下っていくことで所望の機能を実現するという方式が採用されている。【００４１】
このような階層型のメニューを辿るユーザの現在状態を管理するために、例えば入出力制御部１０２は、図２に示すような、搭載される機器におけるメニュー構造を表すツリー型の情報を用いる。【００４２】
このツリー型の情報の各ノードには画面ＩＤが付与されており、各ノードが各メニューに対応している。例えば、第１階層のトップメニューと書かれたノードは、操作が開始されたときに最初に選択されるノードで、画面ＩＤ：Ａに対応するトップメニュー３０１が画面に出力される。トップメニュー３０１に表示された項目の中から、ユーザが例えば番組表を選択するとする。そうすると、第２階層の「番組表」と書かれたノード（画面ＩＤ：Ｆ）に遷移する。【００４３】
このように階層型のインターフェースでは、図２に示すようなツリー型の情報を用いて、ユーザがいる画面及び階層が管理される。【００４４】
より具体的に説明すれば、ユーザが図３に示すリモコン４０１の電源ボタン４０５を押して電源を入れ、メニューボタン４０６を押下すると、まずトップメニュー３０１が表示される。その後、図３に示すリモコン４０１のカーソルキー４０２を使いメニュー内の項目に移動し、決定ボタン４０３を押すことで階層を下り次の画面に遷移することができる。【００４５】
トップメニュー３０１を表示した後、カーソルキー４０２の下を４回押し番組表と書かれた項目に移動し、決定ボタン４０３を押すと、第２階層の番組表ノード３０４に定義されたメニュー３０２が表示される。また戻るボタン４０４を押すことで階層を一つ上に上がり第１階層のトップメニューノードに定義されたトップメニュー３０１に戻ることもできる。【００４６】
また、例えば、ユーザが現在放送中のＣＳ放送から番組を視聴したいと考えた場合、同様の操作により「トップメニュー」−「番組表」−「ＣＳ」―「現時刻」−「番組リスト」とメニューを辿って現在放送中のＣＳ番組の一覧を示すメニュー３０３を表示させ、その番組リストから見たい番組を選択することで番組の視聴が可能となる。【００４７】
このような階層型メニューのもと、図４に示すフローチャートを参照して、本発明である困惑検出にもとづくユーザ支援装置の動作を説明する。【００４８】
はじめに、ステップＳ２０１で電源が入れられると処理を開始する。【００４９】
ステップＳ２０２では、入出力部１０１が操作の入力を検出し、操作入力信号１１１を入出力制御部１０２に出力する。【００５０】
ステップＳ２０４では、入出力制御部１０２は前記操作入力信号１１１が電源のＯＦＦであるかどうかを判断し、電源ＯＦＦであるならばステップＳ２０５に進み、そうでないならステップＳ２０６へ進む。【００５１】
ステップＳ２０５では、入出力制御部１０２が終了処理を行なう。【００５２】
ステップＳ２０６では、入出力制御部１０２が、前記操作入力信号１１１がメニュー階層のリーフの選択にあたる機能の決定操作であるかを判断し、機能の決定なら機器制御信号１１３を機器制御部１０３に出力しステップＳ２１６に進み、そうでないならＳ２０７に進む。【００５３】
ステップＳ２１６では、機器制御部１０３が機能の実行を行なう。【００５４】
ステップＳ２０７では、入出力制御部１０２が操作履歴獲得部１０４へ操作情報信号１１５を送り、操作履歴獲得部１０４が現在時刻を表す時刻情報信号１１９を取得する。【００５５】
ステップＳ２０８では、操作履歴獲得部１０４が、操作が２回目以降であるなら時刻情報信号１１９をもとに前回の操作時の時刻からの時間差を停滞時間として測定すると共に、その停滞時間に含まれる知覚時間（具体例として視線移動時間）、意思決定時間、及び操作時間を算出する。【００５６】
視線移動に係る時間は一項目あたり３０ｍｓと考えられており（参考文献「対話型システムの認知人間工学設計（１９９２年）」小松原明哲、ｐ９１）、画面に表示される項目数によって１つのメニューを知覚するための視線移動時間は予め決定できる。また１回のボタン押下に係る時間は１００〜１２９ｍｓ程度と考えられており（前記参考文献、ｐ９２）、操作時間をメニューごとに一定時間（例えば０．１秒）として見積もることができる。意思決定時間は、前記視線移動時間と操作時間とを停滞時間から引くことにより算出できる。【００５７】
ここで、視線移動時間は、ＤＶＤや携帯電話の操作メニューにおける項目数は高々５〜１０個程度であること、さらには実際の停滞時間に占める割合が小さいため一定値であるとみなすことも可能である。例えば、平均７個の選択項目が出力されるとし、０．２秒として見積もる事ができる。【００５８】
ステップＳ２０９で、操作履歴獲得部１０４が、停滞時間、視線移動時間、意思決定時間、操作時間、操作の種類、操作の結果による遷移先の画面ＩＤ、階層情報を、時間情報付き操作情報信号１１６として出力する。操作履歴格納部１０６は、時間情報付き操作情報信号１１６によって表される時間情報付き操作情報の系列を操作履歴情報として格納する。【００５９】
ここで、図５に操作履歴格納部１０６に格納される操作履歴情報の例を示す。操作履歴情報の各行は、対応する操作に関する時間情報付き操作情報を表す。【００６０】
操作回数は操作が一連の操作の中で何番目かを表し、画面ＩＤはその操作が階層メニューにおけるどのメニューで行われたかを表し、操作ボタンはその操作でどのボタンが押されたかを表し、階層情報はそのメニューがメニュー階層の何階層目にあるかを表す。停滞時間、視線移動時間、意思決定時間、および操作時間の意味は前述したとおりである。【００６１】
具体的に情報が格納される様子を示す。現在操作回数３で画面ＩＤがＡの画面をユーザが表示しているとする。また画面ＩＤがＡであるということは階層が１であることから階層情報には１が入る。このメニューを表示したのち１０秒たってから操作メニュー「下」を押したとする。具体的にはステップＳ２０２で下が押されたことが検出される。【００６２】
その後、ステップＳ２０７で現在時刻が取得され、ステップＳ２０８で直前の操作からの停滞時間（１０秒）、視線移動時間、意思決定時間、操作時間を算出する。ここでは、視線移動に係る時間を選択項目が一律７個表示されるとし０．２秒として近似する。また、操作にかかる時間として１００〜１２９ｍｓを、ここでは一定値の０．１秒と近似する。そして意思決定に係る時間を前記停滞時間から固定値として視線移動にかかる時間と操作にかかる時間を減算することで算出する（１０秒−０．２秒−０．１秒＝９．７秒）。【００６３】
ステップＳ２０９で停滞時間、視線移動時間、意思決定時間、操作時間、さらに操作の種類「下」を操作回数３の操作ボタンに、操作の結果の遷移先である画面ＩＤのＡと第１階層であることを操作回数４の画面ＩＤおよび階層情報に格納する。【００６４】
再び図４を参照して、スッテプＳ２１０の困惑判定対象操作系列作成処理では、困惑状態判定部１０７において、検出しようとする特定の困惑状態が反映されると考えられる意思決定時間の系列を表す操作系列情報を、操作履歴格納部１０６から取得した操作履歴情報信号１１７をもとに作成する。作成される操作系列情報は、検出しようとする困惑の種類に応じて異なる。困惑の種類に応じて操作履歴情報のどの操作について操作系列情報を作成するかについては、後述する。【００６５】
続いてステップＳ２１１の困惑判定処理では、困惑状態判定部１０７がステップＳ２１０で作成した操作系列情報をもとに困惑の判定を行なう。困惑の判定方法についても後述する。【００６６】
ステップＳ２１２で困惑状態であるかどうかで分岐をし、困惑であるなら困惑検出信号１２０を操作支援処理部１０９に出力しＳ２１３に進み、困惑状態でないならＳ２１５に進む。【００６７】
ステップＳ２１３では、操作支援処理部１０９が困惑−操作支援対応表格納部１０８の情報である困惑−操作支援対応情報信号１２１を基に困惑の種類に応じた操作支援方法を選択する。【００６８】
ステップＳ２１４では、操作支援処理部１０９が選択された操作支援方法をもとに操作支援が行われる。操作支援を行うために必要となる画面出力などの情報は操作支援信号１２２として入出力制御部１０２に渡されユーザに提示される。具体的な操作支援内容についても後述する。【００６９】
ステップＳ２１５では、入出力部１０１が次の操作入力を待ち、操作入力が行われたらステップＳ２０４に戻り、処理が繰り返される。【００７０】
ここで、ステップＳ２１０で行われる困惑判定対象操作系列作成処理の詳細について説明する。【００７１】
困惑判定対象操作系列作成処理は、ユーザによる操作ごとに毎回実行される。この処理では、直前の操作内容に応じて発生し得る種類の困惑について、その種類の困惑を判定するための操作系列情報が作成される。以下では、困惑状態として、「機能が見つからない困惑」、「メンタルモデルのずれによる困惑」、「選択候補に対する迷い」の３種類を想定し、それぞれがどのような直前の操作によって考慮され、どのような操作系列情報が作成されるかを説明する。【００７２】
「機能が見つからない困惑」は図６〜７を使い、「メンタルモデルのずれによる困惑」は図８〜９を使い、「選択候補に対する迷い」は図１０〜１１を使い説明する。【００７３】
まず「機能が見つからない困惑」について説明する。「機能が見つからない困惑」とは、例えばユーザが「現在放送しているある番組を録画したい」としたときに、その機能がメニュー階層のどこにあるか見つからないときにおこる困惑状態である。【００７４】
図６を使って、その困惑状態に至るユーザの行動を具体的に説明する。まず、ユーザはトップメニュー３０１を表示し、どの階層のしたに録画を行うための機能があるかを考え、選択すべきメニュー項目の候補を考える。そして候補として想定したメニュー項目を選択し階層をさがることになる（図６（１））。しかしながら下った先が録画に関するものでなかった場合、戻るボタンなどを押して階層を戻ることになる（図６（２））。このような選択、「戻る」の操作を始めにユーザが想定した候補がなくなるまで繰り返される（図６（３）→（４）→（５）→（６））。【００７５】
このとき、始めに選択行為を行う際、すべての項目を選択候補とした中から最適な項目を判断する必要があるため、意思決定にかかる時間が最も長く、そして選択候補を調べるにつれて候補が徐々に少なくなるため、停滞時間が短くなっていく。そして最終的にユーザが始めに想定したどのメニュー項目にも、ユーザの目的とする機能が見つからなかった場合、次の操作を行なう手立てがなくなるために、意思決定の時間が長くなる。【００７６】
この特徴は、各操作を行うまでの停滞時間、特に行うべき操作を決断するための意思決定時間に現れるので、困惑した場合に意思決定時間が増加するという判定基準に従ってこの「機能が見つからない困惑」を検出することができる。【００７７】
そこで、本実施の形態では、この「機能が見つからない困惑」の状態が、初めてそのメニューに入った時に生じる意思決定時間と、その後、下位の階層のメニューからそのメニューに戻ってきたときに生じる意思決定時間とに反映されると考える。【００７８】
そして、初めてそのメニューに入った時に生じる停滞時間と、その後、下位の階層のメニューからそのメニューに戻ってきたときに生じる停滞時間を測定し、測定された停滞時間から、例えば知覚時間（視線移動時間）と操作時間とを減じるなどしてそれぞれの意思決定時間を算出し、算出された意思決定時間が増加するという判定基準に従って、この「機能が見つからない困惑」の状態を検出する。【００７９】
つまり、直前の操作が他のメニューから現在のメニューへ移る操作であった場合、過去に前記現在のメニューへ移るたびに生じる意思決定時間が増加するという判定基準に従って前記ユーザが「機能が見つからない困惑」の状態にあるか否かを判定する。【００８０】
困惑判定対象操作系列作成処理では、直前の操作が「戻る」だった場合、初めてその階層に入った時と、その後、下位の階層からその階層に戻ってきたときに生じる意思決定に係る時間を抽出して操作系列情報を作成する。【００８１】
図７（ｃ）は、図７（ａ）に示す操作履歴情報から作成された「機能が見つからない困惑」の状態を判定するための操作系列情報である。図７（ａ）の操作履歴情報は、現在、画面ＩＤ：Ａで操作回数１６の操作を待っていて、直前の操作が「下」でその操作を行うまでに１５秒かかっていることを示している。このとき「下」を押したときのユーザに困惑があったかを判定したい。【００８２】
そのためには、その画面に初めて入ったときの意思決定にかかる時間と、その階層に戻ってきたときの意思決定にかかる時間を抽出して判定用の操作系列情報を作成すればよい。そのような操作系列情報は、具体的には、操作回数３の画面ＩＤ：Ａに始めて入ったときの操作と、その後、操作回数１０、１５の下位の階層からその階層に戻ってきたときの操作に関する時間情報付き操作情報を抜き出し（図７（ｂ））、ナンバリングをし直す（図７（ｃ））ことで作成できる。【００８３】
続いて、「メンタルモデルのずれによる困惑」について説明する。「メンタルモデルのずれによる困惑」とは、ユーザがメニューを選択し表示される次画面のメニューがユーザの想定とは異なっていた場合におこる困惑で、その状況の理解に時間がかかるために意思決定にかかる時間が長くなるという特徴がある。具体的に、例えば「日時を指定」というメニュー項目を選んだ場合に日時を指定するメニューがでてくると考えていたのに「ＢＳ」「ＣＳ」のように入力ソースが表示された場合などに起こる困惑で、ユーザにとって想定外のメニューが出てきたことにより次の選択までに時間がかかってしまう。【００８４】
具体的に「時刻を指定して録画の予約をする」というタスクを想定し、図８を使ってその困惑状態に至るユーザの選択行動を説明する。ユーザは、まず、トップメニュー（画面ＩＤ：Ａ）を表示し、どの階層の下に録画予約を行うための機能があるかを考え、選択すべきメニュー項目の候補を考える。そして、「予約・確認」メニューを選び、画面ＩＤ：Ｅのメニューが表示されたとする。そしてさらに、その下の「日時を指定」というメニューを選んだとする。【００８５】
ユーザは、この「日時を指定」というメニュー項目を選ぶことで日時を指定する画面が現れると思っていたところ、実際のメニューには「ＢＳ」「ＣＳ」「地上波」という項目が現れ、映像ソースの選択画面が出力される。このとき、ユーザが思っていたことと異なるメニューが出てくることになるため、その状況を理解するのに時間がかかってしまう。そのために次の選択を行うまでの判断に時間を要し、意思決定にかかる時間が増加するという特徴が表れる。この意思決定にかかる時間の増加は、予想と違ったことを反映したものと考えられる。【００８６】
そこで、本実施の形態では、この「メンタルモデルのずれによる困惑」の状態が、各画面で何らかの選択をして階層を下がっていくときに生じる意思決定時間に反映されると考える。【００８７】
そして、各画面で何らかの選択をして階層を下がっていくときに生じる停滞時間を測定し、測定された停滞時間から、例えば知覚時間（視線移動時間）と操作時間とを減じるなどしてそれぞれの意思決定時間を算出し、算出された意思決定時間が増加するという判定基準に従って、この「メンタルモデルのずれによる困惑」の状態を検出する。【００８８】
つまり、前記直前の操作が上位のメニューから現在のメニューへ下る操作であった場合、前記現在のメニューに至るまでに下った複数のメニューにおいて生じる意思決定時間が増加するという判定基準に従って前記ユーザが「メンタルモデルのずれによる困惑」の状態にあるか否かを判定する。【００８９】
困惑判定対象操作系列作成処理では、直前の操作で階層を下った場合に、それより前の操作で「戻る」などの処理により階層を上がることなく、連続的に階層を下がっているならば、その階層を下がったときに生じた意思決定時間を抽出して操作系列情報を作成する。【００９０】
図９（ｃ）は、図９（ａ）に示す操作履歴情報から作成された「メンタルモデルのずれによる困惑」の状態を判定するための操作系列情報である。図９（ａ）の操作履歴情報は次のことを示している。ユーザは操作回数２でメニューを表示しトップメニューである画面ＩＤ：Ａを開き、そのメニューを１０秒かけて理解した後、操作ボタン「下」を押下する。その後、操作回数５で「決定」を押下し画面ＩＤ：Ｅ（予約・確認）を開く。操作回数６で画面ＩＤ：Ｅを理解する時間を要した後、さらに「決定」を押下し画面ＩＤ：Ｐ（日時を指定）を開く。その後、操作回数７の時点で画面ＩＤ：Ｐが想定していたメニューと異なっていたため理解するのに多くの時間を要し、２０秒後に「戻る」ボタンを押下し上の階層へ戻っている。このとき「戻る」を押したときのユーザに困惑があったかを判定したい。【００９１】
そのためには、階層を下がりその次の操作が行われるまでの意思決定時間を抽出して判定用の操作系列情報を作成すればよい。そのような操作系列情報は、具体的には、操作回数３、６、７の操作に関する時間情報付き操作情報を抽出し（図９（ｂ））、操作系列番号を頭から振りなおすことで作成できる。【００９２】
またこの際に、意思決定にかかる時間を、各メニューで表示される選択肢の数に応じて正規化する必要がある。なぜなら、項目数が増えればそれだけ判断に時間がかかるためである。具体的には、一項目あたり約２００〜３８０ｍｓの判断時間がデフォルトでかかると考えられている（前記参考文献、Ｐ９１、包摂関係判断時間）。【００９３】
そこで、項目数の一番少ないメニューに合わせてそれよりも多い項目を含むメニューの意思決定時間から差分項目数×０．４秒を意思決定時間から減算する。ここでは、説明の簡単化のため全てのメニューで同数の項目を含むとする。【００９４】
続いて、「選択候補に対する迷い」について説明する。選択候補に対する迷いとは、選択する候補に迷った場合、カーソルを動かしながら、どれを選ぼうか探索する行動である。【００９５】
図１０を使って、「録画」をする場合に「選択候補に対する迷い」に至るユーザの行動を具体的に説明する。ユーザがトップメニュー３０１を開いて（カーソルは「放送中番組」の上にある）、第２階層のどのノードに下るかを考えているとする。【００９６】
このとき、始めに「Ｇコード」の下に録画があるに違いないと思ってカーソルを進めるものの、「Ｇコード」の上にカーソルが来たときに、やはり「Ｇコード」ではないのではないかという迷いが生じ、しばらく停滞した後に別のメニューである「番組表」を選択したとする。これはやりたいことがＧコードなのかどうかという迷いが発生したことを意味すると考えられ、もし迷いが無い場合は「Ｇコード」を押下するはずであるので、選択候補に対する迷いより選択するという行動の意思決定が遅れることになる。【００９７】
「選択候補に対する迷い」とは、このように同一階層内で、どの項目を選択すればよいかに迷い、うろうろする現象で、迷うときに停滞が生じることから同一階層内で意思決定にかかる時間が増加するという特徴が表れる。【００９８】
そこで、本実施の形態では、この「選択候補に対する迷い」の状態が同一階層内のメニュー項目を移動するときに生じる意思決定時間に反映されると考える。【００９９】
そして、同一階層内でのカーソルの移動操作に注目し意思決定時間が増加する傾向を掴むことで、「選択候補に対する迷い」の状態を検出する。【０１００】
つまり、直前の操作が現在のメニューに留まる操作であった場合、前記現在のメニュー内で過去に行われた複数の操作について生じる意思決定時間が増加するという判定基準に従って前記ユーザが「選択候補に対する迷い」の状態にあるか否かを判定する。【０１０１】
図１１（ｃ）は、図１１（ａ）に示す操作履歴情報から作成された「選択候補に対する迷い」の状態を検出するための操作系列情報である。図１１（ａ）の操作履歴情報のうち同一階層内で動いている操作回数１０〜１３の操作に着目する。操作回数１０の操作は、操作回数９の「戻る」ボタンの押下により下位階層から戻ってきたときに行われる。まずこの画面において、ユーザは画面上に何があるかを理解するために視線を動かし、それぞれの項目に対して選択すべきかの意思決定を行う。そしてひとまず意思決定を行った後、動き出す。しかし、この場合は操作回数１２で、操作回数１０，１１の停滞時間よりも長く停止した後に、ボタン「下」を押下して操作回数１３に移っている。このとき、操作回数１２の時点で困惑が発生していると考えられる。【０１０２】
そこで、困惑判定対象操作系列作成処理では、同一階層内で動く操作に生じた意思決定時間を抽出して、この「選択候補に対する迷い」の状態を判定するための操作系列情報を作成する。そのような操作系列情報は、具体的には、図１１（ａ）の操作履歴情報から、直前の操作が「上」や「下」で同一画面内を動く操作回数１０〜１２の操作に関する時間情報付き操作情報を抜き出し（図１１（ｂ））、ナンバリングをし直す（図１１（ｃ））ことで作成できる。【０１０３】
以上のように、ステップＳ２１０において「機能が見つからない困惑」、「メンタルモデルのずれによる困惑」、「選択候補に対する迷い」を判定するための、それぞれ異なる操作系列情報が作成される。【０１０４】
次に、このようにして作成された操作系列情報をもとにした困惑の判定処理について説明する。【０１０５】
ステップＳ２１０で作成された操作系列情報をもとに、Ｓ２１１で困惑の判定が行われる。困惑判定対象操作系列作成処理のところで説明したとおり、「機能が見つからない困惑」、「メンタルモデルのずれによる困惑」、「選択候補に対する迷い」のケースを判定するための何れの操作系列情報についても、困惑発生時において意思決定時間が増加するという特徴が見られる。そこで、本実施の形態では、前記３種類の困惑の何れについても、操作系列情報によって表される意思決定時間が増加することをもってユーザが困惑状態に陥ったと判定する。【０１０６】
意思決定時間の増加判断は、ユーザによって行われた一連の操作における停滞時間から算出される意思決定時間を基に定められる閾値と、判断対象となる操作における意思決定時間との比較によって判断される。操作系列番号をｎとし、ｎ番目の操作の時に困惑と判断する意思決定時間の閾値をθn、ｎ−１回目の実際の意思決定時間をＡn-1とすると、困惑判定は以下の式１で定義できる。【０１０７】
θn＝Ａn-1，θ1＝２０                                           （式１）
ここで、θ1は初期値であり、ここでは一例として２０としている。なお、θ1には、初期値として、この値に限らず一般的なユーザが明らかに困惑状態に陥ったときに呈する意思決定時間を設定すればよい。【０１０８】
この判定式を次のように用いて、困惑が検出可能となる。すなわち、ユーザの困惑がない場合、操作系列情報によって示される意思決定時間は増加しない。したがって、困惑がない場合は、直前の意思決定時間を越える意思決定時間が算出されることはない。逆に直前の意思決定時間を超える意思決定時間が算出された場合には、その時点で困惑が発生したと考えることができる。そこで、ｎ番目の操作における困惑判定の閾値を直前の意思決定時間とすることで、閾値により意思決定時間の増加を検出することが可能になる。【０１０９】
具体的に図１２（ａ）に、図７（ｃ）に示した操作系列情報に対するθとＡの値の変化を示す。図７（ｃ）では、予約機能を見つけるために第１階層と第２階層の間を行ったり来たりしながら探している例で、操作回数１５（操作系列番号３）で困惑が発生した例である。上記手法にもとづくと、困惑が発生していないｎ＝１，２の時点ではθn＞Ａnであり困惑と判定されず、困惑が発生したｎ＝３の時点でθ3＜Ａ3となり困惑が生じたと判定されることがわかる。【０１１０】
また、上記判定方法における閾値を
θn＝ｆ（θn-1，Ａn-1），θ1＝２０                              （式２）
ここで、ｆを
ｆ（θn-1，Ａn-1）＝（θn-1＋Ａn-1）／２                       （式３）
と定義し、過去の複数の履歴を考慮することも効果がある。この定義によれば、θとＡの値の変化は図１２（ｂ）のようになり、閾値θの急激な変化を抑えることができる。これにより、困惑に対応した支援を行うかどうかの判断に対して時間的に猶予をもたせた困惑の検出が可能となる。つまり、人による機器操作において必ず起こる操作時間のばらつきに余裕を持たせることができ過剰に困惑が検出されるという心理的不快要因を軽減した困惑検出方式が可能となる。【０１１１】
また、閾値を
θn＝Ｍｅａｎ（Ａn-t，Ａn-t+1，…，Ａn-1）                     （式５）
と定義し、ｔ個のサンプルの移動平均を取ることで同様の効果を得ることも可能である。【０１１２】
次に、個人差に適応した困惑の判断について説明する。【０１１３】
図１３に、情報機器の操作に慣れており操作速度が早い人に関する操作系列情報を示す。説明のために全く同じ操作を行なっているが各々の操作を行なうにあたり必要となる停滞時間が異なるとする。【０１１４】
図７に関する説明と同様にして、図１３（ｃ）の操作系列情報が求まる。このとき（式１）及び（式２）に基づく困惑判定を行なうと、それぞれθnとＡnの変化は図１２（ｃ）及び（ｄ）のようになり、前述の説明と同様に、操作系列番号３の時点で困惑が発生したと検出できる。【０１１５】
比較のため、困惑の検出を、停滞時間を一定の閾値と比較判断するという従来手法を採用して行ったとすると、操作系列番号３の時点で困惑が発生したと検出するには、図１３（ｃ）から明らかなようにθ＝７．７秒とする必要がある。しかし、θを７．７秒とすると、図７（ｃ）に示されるケースにおいて操作系列番号１の時点で誤って困惑が検出されてしまう。【０１１６】
これに対して、本手法による困惑検出では、意思決定時間が増加するという判定基準を用いることで各々のユーザの機器に対する慣れや、認知能力の速さなどの側面によって変化する操作速度の違いといった個人差に適応して、精度良く困惑の検出が可能である。【０１１７】
続いて、図９に示したメンタルモデルのずれが原因によって生じた困惑に関しても具体例で示す。図９では、画面Ｐにおいてユーザの予測と実際の画面とのずれが生じ操作回数７（操作系列番号３）の時点で困惑が発生する例である。【０１１８】
（式１）に基づく方法を適応すると、θ3＝７．７，Ａ3＝１９．７となり、θ3＜Ａ3により困惑が検出される。（式２）に基づく方法でもθ3＝１１．３，Ａ3＝１９．７となり、θ3＜Ａ3により困惑が検出される。【０１１９】
また、機器操作になれており操作速度が早い人を想定した操作系列情報を図１４に示す。同様に画面Ｐにおいてユーザの予測と実際の画面とのずれが生じ操作回数７（操作系列番号３）の時点で困惑が発生したとする。【０１２０】
（式１）に基づく方法では、θ3＝３．２，Ａ3＝９．７となり、θ3＜Ａ3により困惑が検出され、（式２）に基づく方法でもθ3＝６．１，Ａ3＝９．７となり、θ3＜Ａ3により困惑が検出される。【０１２１】
比較のため、困惑の検出を従来手法どおりにある一定の閾値で判断するという手法を採用したとすると、図１４より明らかなようにθ＝１０秒とする必要がある。しかし、θを１０秒とすると、図９のケースにおいて操作系列番号１で誤って困惑が検出されてしまう。【０１２２】
これに対して、本発明による意思決定時間の変化に着目した手法によると意思決定に係る時間の増加に着目することで、上記のような問題が起こることなく各々のユーザの機器に対する慣れや、認知能力の速さなどの側面によって変化する操作速度の違いに適応した困惑の検出が可能である。【０１２３】
続いて、図１１に示した選択候補に対する迷いによって生じた困惑に関して具体例で示す。図１１は、同一階層の中で動く操作回数１０〜１３の間の操作回数１２（操作系列番号３）で困惑が発生している例である。【０１２４】
（式１）に基づく方法では、θ3＝１．７，Ａ3＝９．７となり、θ3＜Ａ3により困惑が検出される。【０１２５】
また、図１５に操作の早い人を想定した同一階層の中で動く操作回数１０〜１３の間の操作回数１２（操作系列番号３）で困惑が発生している例を示す。この場合においても（式１）に基づく方法では、θ3＝２．７，Ａ3＝１４．７となり、θ3＜Ａ3により困惑が検出される。【０１２６】
以上のように、本実施の形態における困惑状態判定部１０７によれば、一連の操作のうち、過去の１つ以上の操作について測定された停滞時間から意思決定時間に関する閾値を決定し、現在の操作について生じる意思決定時間が前記決定された閾値よりも大きい場合に前記ユーザが困惑状態にあると判定するので、「機能が見つからない困惑」、「メンタルモデルのずれによる困惑」、「選択候補に対する迷い」すべてのケースに対して、各々のユーザの機器に対する慣れや、認知能力の速さなどの側面によって変化する操作速度の違いに対応可能な困惑の検出が可能である。【０１２７】
なお、ここで、困惑状態判定部１０７は、過去の１つ以上の操作について測定された停滞時間から停滞時間に関する閾値を決定し、現在の操作について生じる停滞時間が前記決定された閾値よりも大きい場合に前記ユーザが困惑状態にあると判定することも有効である。【０１２８】
なぜなら、前述したように、視線移動時間（知覚時間）及び操作時間を各操作において一定であると近似する場合や、視線移動時間及び操作時間が停滞時間に比べて短い場合には、意思決定時間を停滞時間で近似することにより、意思決定時間の増加を停滞時間の増加によって判定できるからである。【０１２９】
続いて、ステップＳ２１３、およびＳ２１４で行なわれる操作支援方法選択処理および操作支援処理の詳細について説明する。【０１３０】
操作支援の内容としては、「機能が見つからない困惑」の場合は機能を探すための誘導を行うことが考えられる。また、「メンタルモデルのずれによる困惑」の場合はメンタルモデルのずれの解消を行うべき機能の説明を行うことが考えられる。また、「選択候補に対する迷い」に対しては、各メニュー項目に対する説明を出すことが考えられる。【０１３１】
このように、困惑の種類に応じて望ましい操作支援の内容が考えられる。そこで、ステップＳ２１３で困惑状態であると判断された場合に、図１６に示す困惑−操作支援対応表格納部１０８をもとに対応する操作支援方法が選択され、対応する支援を決定する。ここで、困惑−操作支援対応表格納部１０８の支援方法欄には、困惑の種類に応じた望ましい操作支援の内容を示す困惑−操作支援対応情報が格納されているものとする。【０１３２】
続いてステップＳ２１４において、操作支援が行なわれる。例えば、「機能が見つからない困惑」の場合に行なわれる操作誘導支援は、困惑−操作支援対応表格納部１０８にその困惑の種類に対応して格納されている支援内容に従って、ユーザにキーワードの入力を促し、目的とする機能を対話的に絞り込むような操作誘導支援が行われる。また情報検索などの技術を利用することも有効である。【０１３３】
また「メンタルモデルのずれによる困惑」の場合には、同様に困惑−操作支援対応表格納部１０８を参照して、機能説明支援が行われる。例えば図８に示したケースの場合に「日時を指定する前に予約を行なう番組のソースを指定してください」などといった機能や操作手順の説明をすることがユーザの困惑を解消することに有効である。【０１３４】
また、「選択候補に対する迷いによる困惑」の場合には、同様に困惑−操作支援対応表格納部１０８を参照して、項目説明支援が行われる。例えば図１０に示したケースの場合に「Ｇコードは番組コードの入力で録画の予約ができます」といった説明をすることでユーザの悩みを解消することができる。【０１３５】
以上説明した構成によれば、ユーザの操作履歴における意思決定時間の時間変化に着目することでユーザの意思決定にかかる時間を基に困惑状態を判定することができ、ユーザの困惑状態を個人差や状況の差に影響をうけることなく的確に検出し、検出された困惑状態に応じた操作支援を行なうことで適切なユーザ支援を可能とする装置を提供できる。【０１３６】
なお、本実施の形態では、入力手段として図３に示す単純なリモコン４０１を想定したが、音声認識装置やマウス、さらにはキーボード、タッチパネルなどを入力装置としても構わない。ユーザが、そのような入力装置を使って、階層型メニューにおける階層を下がったり上がったり、または階層を下っていった結果止まったりといった動きをする場合にも、ここまでの説明と同様にして「機能が見つからない困惑」、「メンタルモデルのずれによる困惑」、及び「選択候補に対する迷い」を検出できることは言うまでもない。【０１３７】
ただし、タッチパネルが受け付ける操作は選択操作のみであり、カーソルの移動という概念はない。つまり、各メニュー内でのカーソルの動きの検出ができないため「選択候補に対する迷い」は検出できない。しかしながら、「機能が見つからない困惑」や「メンタルモデルのずれによる困惑」は、選択するまでの停滞時間からタッチパネルの操作に係る時間（一例として２５８ｍｓ、前記参考文献、Ｐ９２）と視線移動に係る時間を減算した時間を意思決定のためにかかる時間として計ることにより検出可能である。【０１３８】
音声認識やマウスを選択肢の入力のために使った場合も同様に、視線移動に係る時間とそれぞれ発声を始めるまでに係る時間、マウスを動かすまでにかかる反応時間を減算すればよい。【０１３９】
また、意思決定にかかる時間として、ここでは停滞時間から視線移動に係る時間、操作にかかる時間を減算したものとしたが、意思決定に係る時間と比較して、前記視線移動に係る時間および操作にかかる時間は短く、ほぼ固定時間であるため実施例は記載しないが、近似的に停滞時間を意思決定時間とみなし困惑の検出を行うことも有効である。【０１４０】
また、「選択候補に対する迷い」への支援を、サーバ型の放送における番組リスト、音楽配信サービスにおける音楽リストの中から希望の番組や音楽を選択するインターフェースにおいて行うことにより、カーソル操作が停滞しユーザが選択すべきかどうかを悩んでいると判断される番組や音楽に関して説明などの付加情報をユーザに提示することが可能となり、極めて有効な支援をユーザに提供できる。【０１４１】
また、本実施の形態では、ユーザ支援装置がＤＶＤレコーダーやテレビに適用される例を示したが、このユーザ支援装置は、パーソナルコンピュータの操作や、インターネットのポータルサイトで見られるような階層的にリンクが張られたホームページ上で情報を探すときの困惑検出及びユーザ支援にも使用可能である。【０１４２】
さらに、このユーザ支援装置を拡張して、ユーザへの支援情報をサーバ装置からネットワークを介して取得するユーザ支援システムを考えることもできる。ユーザへ提示される操作マニュアルやヘルプメッセージがこの支援情報の一例である。【０１４３】
図１７は、そのようなユーザ支援システムの機能的な構成の一例を示すブロック図である。このユーザ支援システムは、実施の形態１で説明したユーザ支援装置（図１を参照）に、支援情報取得部１７０１、支援情報格納部１７０４、ネットワーク１７０２、及び支援情報ＤＢ１７０３を追加して構成される。【０１４４】
図１７において、点線の内部が、例えばＤＶＤレコーダーやテレビに組み込まれるユーザ支援装置１７００を表す。【０１４５】
困惑状態判定部１０７は、困惑検出信号１２０を、操作支援処理部１０９と共に支援情報取得部１７０１へも出力する。支援情報取得部１７０１は、困惑検出信号１２０によって表される困惑状態に適した支援情報を検索するための検索条件信号１７１１を、ネットワーク１７０２を介して支援情報ＤＢ１７０３へ送信する。支援情報ＤＢ１７０３は、検索された支援情報を表す検索結果信号１７１２を支援情報取得部１７０１へ返送する。【０１４６】
支援情報取得部１７０１は、返送された支援情報と対応する困惑状態とを表す支援情報信号１７１３を支援情報格納部１７０４へ送り、支援情報格納部１７０４は、その支援情報と困惑状態とを対応付けて格納する。【０１４７】
操作支援処理部１０９は、困惑状態判定部１０７から困惑検出信号１２０を受けると、困惑検出信号１２０によって示される困惑状態に対応する支援情報を支援情報格納部１７０４から参照し、入出力制御部１０２及び入出力部１０１を介してユーザに提示する。【０１４８】
ユーザ支援装置１７００が、ＤＶＤレコーダーやテレビといった、装置の規模やコストの制約が比較的厳しい機器に組み込まれることを考えれば、考え得る非常に多くの困惑状態に対応した支援情報をユーザ支援装置１７００の内部に保持することは必ずしも得策ではない。【０１４９】
そこで、このようなユーザ支援システムによって、非常に多くの困惑状態に対応した支援情報を外部のサーバに用意しておき、ネットワークを介して利用すると共に、ユーザが一度陥った困惑状態に対応する支援情報はユーザ支援装置内部に保持し、再び同じ困惑状態が生じた場合に迅速に提示することが望ましい。【０１５０】
なお、このようなユーザ支援システムにおいて、困惑状態の判定を外部のサーバで行ってもよい。その場合、困惑状態判定部１０７はユーザ支援装置１７００から外部のサーバへと移される。ユーザ支援装置１７００は、操作系列情報を外部のサーバへ送るだけで、適切な支援情報をそのサーバから得てユーザに提示することができる。【０１５１】
（実施の形態２）
本発明の困惑検出に基づくユーザビリティー評価に関して、実施の形態２で説明する。【０１５２】
図１８は、実施の形態２における本発明の困惑検出を用いたユーザビリティー評価装置の構成図である。図１の困惑検出に基づくユーザ支援装置と重複する構成については説明を省略する。【０１５３】
困惑箇所判定部１６０４は、操作履歴情報信号１１７をもとに操作系列情報を作成し、それをもとに困惑状態を判定し、どの画面ＩＤでどの種類の困惑が起きたかという結果を困惑箇所検出信号１６０２として出力する機能を有する。ここで、操作系列情報の作成および困惑状態の判定は実施の形態１と同様の方法を使用する。【０１５４】
また、困惑箇所抽出ＤＢ１６０１は困惑箇所判定部１６０４で判定された結果を格納するＤＢで、図１９に示すように各画面ＩＤでどの困惑が何回検出されたかという頻度が格納される。入出力制御部１０２は困惑箇所結果信号１６０３を受け、入出力部１０１に評価結果を出力する機能を有する。【０１５５】
図１８において、困惑箇所判定部１６０４が困惑状態判定手段の一例であり、困惑箇所抽出ＤＢ１６０１が困惑判定結果蓄積手段の一例であり、入出力制御部１０２及び入出力部１０１が困惑判定結果表示手段の一例である。【０１５６】
図２０に示すフローチャートをもとに、本発明の困惑検出を用いたユーザビリティー評価方法の動作を説明する。図４で説明した困惑検出にもとづくユーザ支援方法の説明が重複する部分は省略する。【０１５７】
ステップＳ２１２では、困惑箇所判定部１６０４が困惑を検出するとステップＳ２４０１に進む。【０１５８】
ステップＳ２４０１では、困惑箇所判定部１６０４から出力される困惑箇所の画面ＩＤと困惑の種類を表す困惑箇所検出信号１６０２をもとに、困惑箇所抽出ＤＢ内の対応する困惑の種類および画面ＩＤの頻度を更新する。具体的には頻度に１をプラスする。【０１５９】
ステップＳ２４０２で、入出力制御部１０２により結果表示が選択されたと判断すると、ステップＳ２４０３に移る。【０１６０】
ステップＳ２４０３では、入出力制御部が困惑箇所結果信号１６０３をもとに、各困惑要因に応じて、メニュー階層のどの部分で多く困惑が起こるかを分かるように表示する。例えば図２１に示すように、困惑の種類ごとにメニューツリーを画面に表示し、頻度の最大値などをもとに正規化し色づけを行うなどの処理をすることで、どの部分でどの程度の困惑が発生しているかを一覧できるようにする方法が有効である。また、メニュー階層をすべて表示する画面の大きさがない場合は、困惑箇所のみを強調した表示にする、あるいは表形式で色付けをするなどの方法でもよい。【０１６１】
（実施の形態３）
図２２は、本発明の実施の形態３の困惑検出にもとづくユーザ支援装置の構成図である。本実施の形態では、困惑時に発生する意思決定時間を予め予測することで、停滞時間が予測時間を越えたときに即座に困惑を検出することができ、ユーザ支援を迅速に開始することを可能にする。【０１６２】
図２２において、図１と同じ構成要素については同じ符号を用い、説明を省略する。【０１６３】
困惑時停滞時間決定部１９０１は、過去の操作履歴である操作履歴情報信号１１７と、操作が行われたタイミングを表す機器操作タイミング通知信号１１８を受け、次操作までにかかる意思決定の時間がα以上であるなら困惑であるとの判定を行うための意思決定時間の閾値αを決定する。そして、その結果を困惑時停滞時間信号１９０３として困惑判定部１９０２に出力する。【０１６４】
困惑判定部１９０２は、困惑と判断を行う意思決定時間の閾値αを表す困惑時停滞時間信号１９０３を元に、時刻情報信号１１９を参照し停滞時間を算出し困惑が起こっているどうかを監視し判定を行う機能を有する。【０１６５】
このように構成された本発明である困惑検出にもとづくユーザ支援方法の動作を図２３に示すフローチャートをもとに説明する。実施の形態１の時と同様に図２に示すメニュー階層のインターフェースをもつＤＶＤプレイヤに対して、図３に示す入力装置を用いて操作を行なうとする。図４と同じフローの部分の説明は省略する。また、ユーザは「現在放送している番組を録画したい」として図２４（ａ）に示す操作を行ってきているとして説明する。操作は操作回数１４で「戻る」ボタンが押され、操作回数１５のところで画面ＩＤ：Ｂが表示されている状態で入力を待っているとする。【０１６６】
Ｓ２０９で、現操作の種類および階層情報が格納されたところまでは実施の形態１と同じである。ステップＳ２００１では、困惑時停滞時間決定部１９０１が、以下に示す３つの条件に従い操作系列情報を作成する。実施例１の時の操作系列情報との違いは、過去に入力された系列に対して困惑した結果だったかどうかを判定するのに対して、本実施例の場合、これから入力されるものが困惑であるかどうかを困惑の結果の入力を待たずに判断する点にある。【０１６７】
条件（１）  前操作が「戻る」のように階層をあがる場合、「機能が見つからない困惑」が発生している可能性があるため、実施例１における図７の時と同様に、意思決定にかかる時間が反映された部分系列として、初めてその階層に入った時の操作および下位の階層からその階層に戻ってきたときの操作を操作履歴格納部１０６から抽出し操作系列情報を作成する。【０１６８】
条件（２）  前操作が「決定」で階層を下った場合、「メンタルモデルのずれによる困惑」が発生する可能性がある。通常階層を下ると条件が絞られるために、それより上位の階層にはじめて入ったときの意思決定時間に比べて下位層での意思決定時間は短くなるはずである。そこで、各階層にはじめて入ったときの意思決定時間を抽出し操作系列情報を作成する。このとき、メニューに表示される項目数の数によって、実施例１と同様に項目数の数に応じた意思決定に係る平均的な時間（例えば、最も少ない項目数のメニューより増えた項目数の数×１項目数当たりの判断時間４００ｍｓ、前記参考文献、Ｐ９１）を差し引くなどの意思決定時間の正規化するなどの処理を行う必要がある。ここでは説明のため項目数は同数であるとする。【０１６９】
条件（３）  前操作が「上」や「下」で同一画面内を動いている場合、「選択候補に対する迷いによる困惑」が発生する可能性がある。同一画面内の操作を抽出し操作系列情報を作成する。【０１７０】
ここでは、前操作が「戻る」であるので条件（１）にあたり困惑時停滞時間決定部１９０１で困惑判定を行うための操作系列情報が作成される。図２４にその様子を示す。図２４（ａ）から初めて画面ＩＤ：Ｂに入ったタイミングである操作回数３の操作、および下位の階層（画面Ｉｄ：Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ）から画面ＩＤ：Ｂに戻ってきたタイミングである操作回数１０および１５の操作が抽出される。その後、操作系列情報が図２４（ｃ）のように再構成される。【０１７１】
続いてステップＳ２００２では、現操作（操作回数１５）において、どの程度の操作の停滞が起きたら困惑と判断できるかという意思決定時間の閾値αを算出する。意思決定時間の閾値αは、その閾値を越えたら困惑であるとみなすという意味であるので、実施の形態１で使用したθｎと等価である。そこで、閾値αは（式１）におけるθｎをαとみなすことで算出できる。すなわち、直前の意思決定時間によってαは決定すればよい。ここで、操作系列情報をＢｊすると、操作系列番号ｉの閾値αは
α＝Ｂi-1                                                      （式６）
と表現できる。【０１７２】
具体的には、操作の停滞時間Ｂ1＝９．７秒、Ｂ2＝４．７秒であるので、操作系列番号３における意思決定時間の閾値αは、α＝４．７秒と算出できる。実施の形態１の説明と同様に、図２５に情報機器の操作が比較的早い人の場合の操作系列情報を示す。説明のために全く同じ操作を行なっているが各々の操作を行なうにあたり必要となる意思決定時間が異なるとする。図２４の説明と同様に操作系列情報を求めると図２５（ｃ）のようになる。この場合、意思決定時間の閾値αは、Ｂ2＝２．７であるのでα＝２．７と決定できる。【０１７３】
続いて、ステップＳ２００３では、困惑判定部１９０２が停滞時間を観測し意思決定時間の閾値αを超えたら困惑であると判定しステップＳ２１３に進む。意思決定時間の閾値αが、意思決定時間以下であるならば機器操作タイミング通知信号１１８をもとに困惑判定部１９０２で操作があるかを判断し、操作があればステップＳ２１５に進み次の操作にうつる。一方操作がない場合は、Ｓ２００３に戻り処理を繰り返すことで困惑判定を行う。【０１７４】
残りの処理は実施の形態１と同様であるので省略する。【０１７５】
以上説明した構成により、困惑時に発生する意思決定にかかる時間の遅れを反映した停滞時間を予測することで、困惑が生じたとき、即座に困惑を検出することができ、迅速にユーザ支援を開始するユーザ支援装置を提供することが可能になる。【０１７６】
また実施の形態１と同様に、視線移動にかかる時間と操作にかかる時間が意思決定時間に比べて短いため意思決定時間の代わりに停滞時間を使うことも有効である。
【産業上の利用可能性】
【０１７７】
本発明に係るユーザ支援装置は、階層型のメニューを通してユーザから操作を受け付ける装置に利用できる。例えば、ＤＶＤレコーダー、携帯電話、カーナビゲーションシステムなど多くの専用機器や、オペレーションシステムや様々なアプリケーションプログラムが動作するコンピュータ装置に利用できる。さらには、それらの機器のユーザビリティー評価装置として利用することもできる。
【図１】
2007116689.tif 000003
【図２】
2007116689.tif 000004
【図３】
2007116689.tif 000005
【図４】
2007116689.tif 000006
【図５】
2007116689.tif 000007
【図６】
2007116689.tif 000008
【図７】
2007116689.tif 000009
【図８】
2007116689.tif 000010
【図９】
2007116689.tif 000011
【図１０】
2007116689.tif 000012
【図１１】
2007116689.tif 000013
【図１２】
2007116689.tif 000014
【図１３】
2007116689.tif 000015
【図１４】
2007116689.tif 000016
【図１５】
2007116689.tif 000017
【図１６】
2007116689.tif 000018
【図１７】
2007116689.tif 000019
【図１８】
2007116689.tif 000020
【図１９】
2007116689.tif 000021
【図２０】
2007116689.tif 000022
【図２１】
2007116689.tif 000023
【図２２】
2007116689.tif 000024
【図２３】
2007116689.tif 000025
【図２４】
2007116689.tif 000026
【図２５】
2007116689.tif 000027
【図２６】
2007116689.tif 000028
【手続補正書】
【提出日】平成19年7月20日(2007.7.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
木構造をとる複数のメニューを辿るユーザを支援するユーザ支援装置であって、
前記ユーザによる前記複数のメニューを辿る一連の操作のそれぞれについて、行うべき操作を決断するための時間である意思決定時間が増加するという判定基準に従って、前記ユーザが困惑状態にあるか否かを判定する困惑状態判定手段と、
前記困惑状態判定手段によって肯定判定がなされた場合に操作支援を行う操作支援処理手段と
を備え、
前記困惑状態判定手段は、前記一連の操作のそれぞれの意思決定時間の中から、直前の操作に依存して複数の意思決定時間を選択し、選択された複数の意思決定時間が増加するという判定基準に従って前記ユーザが困惑状態にあることを判定する
ことを特徴とするユーザ支援装置。
【請求項２】
前記困惑状態判定手段は、前記直前の操作が他のメニューから現在のメニューへ移る操作であった場合、過去に前記現在のメニューへ移るたびに生じる意思決定時間が増加するという判定基準に従って前記ユーザが困惑状態にあるか否かを判定する
ことを特徴とする請求項１に記載のユーザ支援装置。
【請求項３】
前記困惑状態判定手段は、前記意思決定時間を、過去に前記現在のメニューへ移るたびに生じる停滞時間で近似することにより、前記判定を行う
ことを特徴とする請求項２に記載のユーザ支援装置。
【請求項４】
前記困惑状態判定手段は、前記直前の操作が上位のメニューから現在のメニューへ下る操作であった場合、前記現在のメニューに至るまでに下った複数のメニューにおいて生じる意思決定時間が増加するという判定基準に従って前記ユーザが困惑状態にあるか否かを判定する
ことを特徴とする請求項１に記載のユーザ支援装置。
【請求項５】
前記困惑状態判定手段は、前記意思決定時間を、前記現在のメニューに至るまでに下った複数のメニューにおいて最初の操作について生じる停滞時間で近似することにより、前記判定を行う
ことを特徴とする請求項４に記載のユーザ支援装置。
【請求項６】
前記困惑状態判定手段は、前記直前の操作が現在のメニューに留まる操作であった場合、前記現在のメニュー内で過去に行われた複数の操作について生じる意思決定時間が増加するという判定基準に従って前記ユーザが困惑状態にあるか否かを判定する
ことを特徴とする請求項１に記載のユーザ支援装置。
【請求項７】
前記困惑状態判定手段は、前記意思決定時間を、現在のメニュー内で過去に行われた複数の操作について生じる停滞時間で近似することにより、前記判定を行う
ことを特徴とする請求項６に記載のユーザ支援装置。
【請求項８】
前記現在のメニューには、複数の選択項目が示され、
前記操作支援処理手段は、前記困惑状態判定手段によって肯定判定がなされた場合に、前記操作支援として前記複数の選択項目それぞれの説明情報を前記ユーザに提示する
ことを特徴とする請求項６に記載のユーザ支援装置。
【請求項９】
木構造をとる複数のメニューを辿るユーザを支援するユーザ支援装置であって、
前記ユーザによる前記複数のメニューを辿る一連の操作のそれぞれについて、行うべき操作を決断するための時間である意思決定時間が増加するという判定基準に従って、前記ユーザが困惑状態にあるか否かを判定する困惑状態判定手段と、
前記困惑状態判定手段によって肯定判定がなされた場合に操作支援を行う操作支援処理手段と、
困惑状態の複数の種類にそれぞれ対応した支援方法を示す困惑−操作支援情報を格納している困惑−操作支援対応表格納手段とを備え、
前記困惑状態判定手段は、前記困惑状態の複数の種類にそれぞれ対応して、その種類の困惑状態が反映されると考えられる複数の意思決定時間を、前記一連の操作のそれぞれの意思決定時間の中から選択し、選択された複数の意思決定時間が増加するという判定基準に従って、前記ユーザがその種類の困惑状態にあるか否かを判定し、
前記操作支援処理手段は、前記困惑状態判定手段によって肯定判定がなされた種類に対応する支援方法を前記困惑−操作支援対応表格納手段から参照し、参照された支援方法に応じた支援を行う
ことを特徴とするユーザ支援装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、階層型のメニュー構造をもつ家電機器やＰＣなどのインターフェース技術に関するもので、ユーザが操作に困った困惑状態を検出し、操作の支援を行う技術に関するものである。
【背景技術】
【０００２】
従来、ユーザの状態を検出し、操作支援を行う技術としては、「目的の未形成」、「機能選択不可」などのような困惑状態の際に発生する操作パターンを予め利用者状態検出用データとして用意しておき、その操作パターン情報を利用した困惑状態候補の抽出、および困惑状態に応じた操作支援を行う方法が開示されている（特許文献１参照）。図２６は、前記特許文献１に記載された従来の困惑状態を検出し、操作の支援を行う技術を示すものである。
【０００３】
図２６において、無操作判定時間データ２５０５で画面ごとに困惑が発生したことを検出するための停滞時間の閾値を予め定義しておき、その閾値以上の停滞（無操作状態）が起きたときに、利用者状態検出処理２５０３で可能性のある困惑状態の候補を抽出する。利用者状態検出処理２５０３では、利用者状態検出用データ２５０７で定義された困惑に相当する操作パターンを前方一致で検索することで、困惑候補を抽出し、支援機能選択処理２５０４で前記候補内容に応じた支援方法をユーザに提示し選択してもらうことでユーザの困惑状態に応じた支援を実現している。このとき利用者状態検出用データ２５０７では、操作パターンとして、単なる操作系列ではなく、各操作にかかった時間をｓｈｏｒｔ、ｎｏｒｍａｌ、ｌｏｎｇに区分した情報を用いている。
【０００４】
また従来、一定時間ユーザからの入力がなければ困っているとみなし、メニュー構造の印字を行うかどうかを質問することを特徴とするファクシミリ装置が開示されている（特許文献２参照）。
【特許文献１】特開平１０−１５４０５７号公報
【特許文献２】特許第２５７６４０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前記特許文献１の構成での、利用者状態検出処理による状態検出では、ユーザが操作に要した時間を画面ごとに予め決められた閾値に基づいて時間区分情報（ｓｈｏｒｔ、ｎｏｒｍａｌ、ｌｏｎｇ）に分類し、動きパターンとその操作に関する時間区分情報をもとにユーザが困惑状態にあるか否かを判断する。
【０００６】
しかしながら、通常の人間の操作にかかる時間は画面だけに依存するのではなく、ユーザ個人の情報機器に対する慣れ、認知能力の速さ、やる気などの様々な側面によって左右される。そのため、画面ごとに予め決められた閾値に基づく従来の手法では、ユーザの個人差や状況の差に適応して困惑を正確に判断することが困難である。
【０００７】
また、同様に特許文献２においても、操作に要した時間があらかじめ定められた時間を超えた場合に困惑として判断を行っているが、困惑を判断するための適切な時間をあらかじめ固定的に定めることは非常に困難である。
【０００８】
本発明は、このような事情に鑑みてなされたものであり、ユーザへの支援を過不足なく行うべく、ユーザの困惑状態を正確に検出可能なユーザ支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記従来の課題を解決するために、本発明のユーザ支援装置は、木構造をとる複数のメニューを辿るユーザを支援するユーザ支援装置であって、前記ユーザに前記複数のメニューを辿る一連の操作のそれぞれについて行うべき操作を決断するための時間である意思決定時間が増加するという判定基準に従って、前記ユーザが困惑状態にあるか否かを判定する困惑状態判定手段と、前記困惑状態判定手段によって肯定判定がなされた場合に操作支援を行う操作支援処理手段とを備え、前記困惑状態判定手段は、前記一連の操作のそれぞれの意思決定時間の中から、直前の操作に依存して複数の意思決定時間を選択し、選択された複数の意思決定時間が増加するという判定基準に従って前記ユーザが困惑状態にあることを判定する。
【００１０】
本発明は、このようなユーザ支援装置として実現できるだけでなく、ユーザ支援方法として実現し、ユーザ支援を行うためのコンピュータプログラムとして実現し、また、そのコンピュータプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭやＤＶＤ−ＲＡＭなどの記録媒体としても実現できる。
【発明の効果】
【００１１】
本発明のユーザ支援装置によれば、行うべき操作を決断するための時間である意思決定時間が増加するという判定基準に従って、そのユーザが困惑しているか否かを判定するので、あらかじめユーザ共通に固定的に定められた停滞時間の閾値を用いる従来の方法では困難であった、ユーザ個人の情報機器に対する慣れ、認知能力、意欲などの程度にも適応した正確な困惑検出が可能となる。
【００１２】
これにより、初めてその機器を使う人、機器操作をなかなか覚えられない人、たまたま使い方を忘れてしまった場合など、様々なユーザの様々な場合に適応した正確な困惑状態の検出がなされるので、その検出結果に応じてユーザ支援を過不足なく適切に行うユーザ支援装置が実現される。
【発明を実施するための最良の形態】
【００１３】
本発明のユーザ支援装置は、木構造をとる複数のメニューを辿るユーザを支援するユーザ支援装置であって、前記ユーザによる前記複数のメニューを辿る一連の操作のそれぞれについて行うべき操作を決断するための時間である意思決定時間が増加するという判定基準に従って、前記ユーザが困惑状態にあるか否かを判定する困惑状態判定手段と、前記困惑状態判定手段によって肯定判定がなされた場合に操作支援を行う操作支援処理手段とを備え、前記困惑状態判定手段は、前記一連の操作のそれぞれの意思決定時間の中から、直前の操作に依存して複数の意思決定時間を選択し、選択された複数の意思決定時間が増加するという判定基準に従って前記ユーザが困惑状態にあることを判定する。
【００１４】
前記困惑状態判定手段は、前記直前の操作が他のメニューから現在のメニューへ移る操作であった場合、過去に前記現在のメニューへ移るたびに生じる意思決定時間が増加するという判定基準に従って前記ユーザが困惑状態にあるか否かを判定してもよい。このとき、前記困惑状態判定手段は、前記意思決定時間を、過去に前記現在のメニューへ移るたびに生じる停滞時間で近似することにより、前記判定を行ってもよい。
【００１５】
前記困惑状態判定手段は、また、前記直前の操作が上位のメニューから現在のメニューへ下る操作であった場合、前記現在のメニューに至るまでに下った複数のメニューにおいて生じる意思決定時間が増加するという判定基準に従って前記ユーザが困惑状態にあるか否かを判定してもよい。このとき、前記困惑状態判定手段は、前記意思決定時間を、前記現在のメニューに至るまでに下った複数のメニューにおいて最初の操作について生じる停滞時間で近似することにより、前記判定を行ってもよい。
【００１６】
前記困惑状態判定手段は、また、前記直前の操作が現在のメニューに留まる操作であった場合、前記現在のメニュー内で過去に行われた複数の操作について生じる意思決定時間が増加するという判定基準に従って前記ユーザが困惑状態にあるか否かを判定してもよい。このとき、前記困惑状態判定手段は、前記意思決定時間を、現在のメニュー内で過去に行われた複数の操作について生じる停滞時間で近似することにより、前記判定を行ってもよい。
【００１７】
特に、前記直前の操作が、複数の選択項目が示されたメニューに留まる操作であった場合には、前記操作支援処理手段は、前記困惑状態判定手段によって肯定判定がなされた場合に、前記操作支援として前記複数の選択項目それぞれの説明情報を前記ユーザに提示することが望ましい。
【００１８】
また、本発明のユーザ支援装置は、木構造をとる複数のメニューを辿るユーザを支援するユーザ支援装置であって、前記ユーザによる前記複数のメニューを辿る一連の操作のそれぞれについて、行うべき操作を決断するための時間である意思決定時間が増加するという判定基準に従って、前記ユーザが困惑状態にあるか否かを判定する困惑状態判定手段と、前記困惑状態判定手段によって肯定判定がなされた場合に操作支援を行う操作支援処理手段と、困惑状態の複数の種類にそれぞれ対応した支援方法を示す困惑−操作支援情報を格納している困惑−操作支援対応表格納手段とを備え、前記困惑状態判定手段は、前記困惑状態の複数の種類にそれぞれ対応して、その種類の困惑状態が反映されると考えられる複数の意思決定時間を、前記一連の操作のそれぞれの意思決定時間の中から選択し、選択された複数の意思決定時間が増加するという判定基準に従って、前記ユーザがその種類の困惑状態にあるか否かを判定し、前記操作支援処理手段は、前記困惑状態判定手段によって肯定判定がなされた種類に対応する支援方法を前記困惑−操作支援対応表格納手段から参照し、参照された支援方法に応じた支援を行ってもよい。
【００１９】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２０】
（実施の形態１）
図１は、本発明の実施の形態１におけるユーザ支援装置の機能的な構成を表すブロック図である。
【００２１】
このユーザ支援装置は、ユーザによって行われた一連の操作のそれぞれについて、行うべき操作を決断するための時間である意思決定時間の変動傾向をもとに、とくに意思決定時間が増加するという判定基準に従って、ユーザが困惑状態にあるか否かを判定し、困惑状態にあると判定された場合に操作支援を行う装置であり、入出力部１０１、入出力制御部１０２、機器制御部１０３、操作履歴獲得部１０４、時刻情報出力部１０５、操作履歴格納部１０６、困惑状態判定部１０７、困惑−操作支援対応表格納部１０８、及び操作支援処理部１０９から構成される。
【００２２】
図１において、困惑状態判定部１０７が困惑状態判定手段の一例であり、困惑−操作支援対応表格納部１０８が困惑−操作支援対応表格納手段の一例であり、操作支援処理部１０９、入出力制御部１０２、及び入出力部１０１が操作支援処理手段の一例である。
【００２３】
入出力部１０１は、ユーザとのインターフェースを実現する部であり、リモコンやキーボード、マウス、タッチパネルなどの入力装置を使ってユーザから入力操作を受け付け、操作入力信号１１１として出力し、さらに出力信号１１２によって表される情報をディスプレイ、スピーカーなどを通じてユーザへ提示する。
【００２４】
入出力制御部１０２は、操作入力信号１１１を受け付け、アプリケーションや機器の動作を指定する信号である機器制御信号１１３を出力するとともに、操作情報を表す操作情報信号１１５を出力する。さらに、制御結果信号１１４及び操作支援信号１２２を受け付け、ユーザへ提示される情報を表す出力信号１１２を出力する。
【００２５】
機器制御部１０３は、機器制御信号１１３を受け付けて機器の制御を行なうとともに、機器からの応答内容である制御結果信号１１４を出力する。
【００２６】
時刻情報出力部１０５は、現在時刻を表す時刻情報信号１１９を出力する。
【００２７】
操作履歴獲得部１０４は、操作情報信号１１５および時刻情報信号１１９を参照して、直前の操作からの経過時間を表す停滞時間情報、および前記停滞時間に含まれる、（１）メニューを知覚するための時間（例えば、メニューに含まれる項目間を視線移動するための時間。以下、知覚時間、又は具体的に視線移動時間とも言う）、（２）行うべき操作を決断するための時間（例えば、項目を選択すべきかを判断するための時間。以下、意思決定時間と言う）、（３）決断した操作を実際に行うための時間（例えば、ボタン押下などを行うための時間。以下、操作時間と言う）を表す情報を付与した操作情報である時間情報付き操作情報信号１１６を出力する。また、前記操作情報信号１１６は、操作情報信号１１５の入力があったというトリガー情報である機器操作タイミング通知信号１１８を出力する。
【００２８】
操作履歴格納部１０６は、時間情報付き操作情報信号１１６によって表される時間情報付き操作情報の系列を操作履歴情報として格納するデータベースである。
【００２９】
困惑状態判定部１０７は、操作履歴格納部１０６から、前記操作履歴情報を表す操作履歴情報信号１１７を取得し、取得された操作履歴情報信号１１７によって表される操作履歴情報のうち、検出対象となる困惑状態が反映されると考えられる部分である操作系列情報を基に困惑状態を判定する。そして、困惑状態と判定された場合には、判定された困惑状態を表す困惑検出信号１２０を出力する。
【００３０】
困惑−操作支援対応表格納部１０８は、困惑状態に対応して操作支援内容が格納されるデータベースである。
【００３１】
操作支援処理部１０９は、困惑検出信号１２０を受け、困惑−操作支援対応情報信号１２１を参照し操作支援内容を決定するとともに、決定された支援内容を表す操作支援信号１２２を出力する。
【００３２】
以上のように構成された困惑検出にもとづくユーザ支援装置の動作を説明する。ここで一例として、ＤＶＤレコーダーやテレビなどの機器に本実施の形態に係るユーザ支援装置が搭載されているとして説明する。
【００３３】
一般に、ＤＶＤやテレビなどの機器のメニューは階層型に構成され、画面に表示されたメニューの項目を順次選択し階層を下っていくことで所望の機能を実現するという方式が採用されている。
【００３４】
このような階層型のメニューを辿るユーザの現在状態を管理するために、例えば入出力制御部１０２は、図２に示すような、搭載される機器におけるメニュー構造を表すツリー型の情報を用いる。
【００３５】
このツリー型の情報の各ノードには画面ＩＤが付与されており、各ノードが各メニューに対応している。例えば、第１階層のトップメニューと書かれたノードは、操作が開始されたときに最初に選択されるノードで、画面ＩＤ：Ａに対応するトップメニュー３０１が画面に出力される。トップメニュー３０１に表示された項目の中から、ユーザが例えば番組表を選択するとする。そうすると、第２階層の「番組表」と書かれたノード（画面ＩＤ：Ｆ）に遷移する。
【００３６】
このように階層型のインターフェースでは、図２に示すようなツリー型の情報を用いて、ユーザがいる画面及び階層が管理される。
【００３７】
より具体的に説明すれば、ユーザが図３に示すリモコン４０１の電源ボタン４０５を押して電源を入れ、メニューボタン４０６を押下すると、まずトップメニュー３０１が表示される。その後、図３に示すリモコン４０１のカーソルキー４０２を使いメニュー内の項目に移動し、決定ボタン４０３を押すことで階層を下り次の画面に遷移することができる。
【００３８】
トップメニュー３０１を表示した後、カーソルキー４０２の下を４回押し番組表と書かれた項目に移動し、決定ボタン４０３を押すと、第２階層の番組表ノード３０４に定義されたメニュー３０２が表示される。また戻るボタン４０４を押すことで階層を一つ上に上がり第１階層のトップメニューノードに定義されたトップメニュー３０１に戻ることもできる。
【００３９】
また、例えば、ユーザが現在放送中のＣＳ放送から番組を視聴したいと考えた場合、同様の操作により「トップメニュー」−「番組表」−「ＣＳ」―「現時刻」−「番組リスト」とメニューを辿って現在放送中のＣＳ番組の一覧を示すメニュー３０３を表示させ、その番組リストから見たい番組を選択することで番組の視聴が可能となる。
【００４０】
このような階層型メニューのもと、図４に示すフローチャートを参照して、本発明である困惑検出にもとづくユーザ支援装置の動作を説明する。
【００４１】
はじめに、ステップＳ２０１で電源が入れられると処理を開始する。
【００４２】
ステップＳ２０２では、入出力部１０１が操作の入力を検出し、操作入力信号１１１を入出力制御部１０２に出力する。
【００４３】
ステップＳ２０４では、入出力制御部１０２は前記操作入力信号１１１が電源のＯＦＦであるかどうかを判断し、電源ＯＦＦであるならばステップＳ２０５に進み、そうでないならステップＳ２０６へ進む。
【００４４】
ステップＳ２０５では、入出力制御部１０２が終了処理を行なう。
【００４５】
ステップＳ２０６では、入出力制御部１０２が、前記操作入力信号１１１がメニュー階層のリーフの選択にあたる機能の決定操作であるかを判断し、機能の決定なら機器制御信号１１３を機器制御部１０３に出力しステップＳ２１６に進み、そうでないならＳ２０７に進む。
【００４６】
ステップＳ２１６では、機器制御部１０３が機能の実行を行なう。
【００４７】
ステップＳ２０７では、入出力制御部１０２が操作履歴獲得部１０４へ操作情報信号１１５を送り、操作履歴獲得部１０４が現在時刻を表す時刻情報信号１１９を取得する。
【００４８】
ステップＳ２０８では、操作履歴獲得部１０４が、操作が２回目以降であるなら時刻情報信号１１９をもとに前回の操作時の時刻からの時間差を停滞時間として測定すると共に、その停滞時間に含まれる知覚時間（具体例として視線移動時間）、意思決定時間、及び操作時間を算出する。
【００４９】
視線移動に係る時間は一項目あたり３０ｍｓと考えられており（参考文献「対話型システムの認知人間工学設計（１９９２年）」小松原明哲、ｐ９１）、画面に表示される項目数によって１つのメニューを知覚するための視線移動時間は予め決定できる。また１回のボタン押下に係る時間は１００〜１２９ｍｓ程度と考えられており（前記参考文献、ｐ９２）、操作時間をメニューごとに一定時間（例えば０．１秒）として見積もることができる。意思決定時間は、前記視線移動時間と操作時間とを停滞時間から引くことにより算出できる。
【００５０】
ここで、視線移動時間は、ＤＶＤや携帯電話の操作メニューにおける項目数は高々５〜１０個程度であること、さらには実際の停滞時間に占める割合が小さいため一定値であるとみなすことも可能である。例えば、平均７個の選択項目が出力されるとし、０．２秒として見積もる事ができる。
【００５１】
ステップＳ２０９で、操作履歴獲得部１０４が、停滞時間、視線移動時間、意思決定時間、操作時間、操作の種類、操作の結果による遷移先の画面ＩＤ、階層情報を、時間情報付き操作情報信号１１６として出力する。操作履歴格納部１０６は、時間情報付き操作情報信号１１６によって表される時間情報付き操作情報の系列を操作履歴情報として格納する。
【００５２】
ここで、図５に操作履歴格納部１０６に格納される操作履歴情報の例を示す。操作履歴情報の各行は、対応する操作に関する時間情報付き操作情報を表す。
【００５３】
操作回数は操作が一連の操作の中で何番目かを表し、画面ＩＤはその操作が階層メニューにおけるどのメニューで行われたかを表し、操作ボタンはその操作でどのボタンが押されたかを表し、階層情報はそのメニューがメニュー階層の何階層目にあるかを表す。停滞時間、視線移動時間、意思決定時間、および操作時間の意味は前述したとおりである。
【００５４】
具体的に情報が格納される様子を示す。現在操作回数３で画面ＩＤがＡの画面をユーザが表示しているとする。また画面ＩＤがＡであるということは階層が１であることから階層情報には１が入る。このメニューを表示したのち１０秒たってから操作メニュー「下」を押したとする。具体的にはステップＳ２０２で下が押されたことが検出される。
【００５５】
その後、ステップＳ２０７で現在時刻が取得され、ステップＳ２０８で直前の操作からの停滞時間（１０秒）、視線移動時間、意思決定時間、操作時間を算出する。ここでは、視線移動に係る時間を選択項目が一律７個表示されるとし０．２秒として近似する。また、操作にかかる時間として１００〜１２９ｍｓを、ここでは一定値の０．１秒と近似する。そして意思決定に係る時間を前記停滞時間から固定値として視線移動にかかる時間と操作にかかる時間を減算することで算出する（１０秒−０．２秒−０．１秒＝９．７秒）。
【００５６】
ステップＳ２０９で停滞時間、視線移動時間、意思決定時間、操作時間、さらに操作の種類「下」を操作回数３の操作ボタンに、操作の結果の遷移先である画面ＩＤのＡと第１階層であることを操作回数４の画面ＩＤおよび階層情報に格納する。
【００５７】
再び図４を参照して、ステップＳ２１０の困惑判定対象操作系列作成処理では、困惑状態判定部１０７において、検出しようとする特定の困惑状態が反映されると考えられる意思決定時間の系列を表す操作系列情報を、操作履歴格納部１０６から取得した操作履歴情報信号１１７をもとに作成する。作成される操作系列情報は、検出しようとする困惑の種類に応じて異なる。困惑の種類に応じて操作履歴情報のどの操作について操作系列情報を作成するかについては、後述する。
【００５８】
続いてステップＳ２１１の困惑判定処理では、困惑状態判定部１０７がステップＳ２１０で作成した操作系列情報をもとに困惑の判定を行なう。困惑の判定方法についても後述する。
【００５９】
ステップＳ２１２で困惑状態であるかどうかで分岐をし、困惑であるなら困惑検出信号１２０を操作支援処理部１０９に出力しＳ２１３に進み、困惑状態でないならＳ２１５に進む。
【００６０】
ステップＳ２１３では、操作支援処理部１０９が困惑−操作支援対応表格納部１０８の情報である困惑−操作支援対応情報信号１２１を基に困惑の種類に応じた操作支援方法を選択する。
【００６１】
ステップＳ２１４では、操作支援処理部１０９が選択された操作支援方法をもとに操作支援が行われる。操作支援を行うために必要となる画面出力などの情報は操作支援信号１２２として入出力制御部１０２に渡されユーザに提示される。具体的な操作支援内容についても後述する。
【００６２】
ステップＳ２１５では、入出力部１０１が次の操作入力を待ち、操作入力が行われたらステップＳ２０４に戻り、処理が繰り返される。
【００６３】
ここで、ステップＳ２１０で行われる困惑判定対象操作系列作成処理の詳細について説明する。
【００６４】
困惑判定対象操作系列作成処理は、ユーザによる操作ごとに毎回実行される。この処理では、直前の操作内容に応じて発生し得る種類の困惑について、その種類の困惑を判定するための操作系列情報が作成される。以下では、困惑状態として、「機能が見つからない困惑」、「メンタルモデルのずれによる困惑」、「選択候補に対する迷い」の３種類を想定し、それぞれがどのような直前の操作によって考慮され、どのような操作系列情報が作成されるかを説明する。
【００６５】
「機能が見つからない困惑」は図６〜７を使い、「メンタルモデルのずれによる困惑」は図８〜９を使い、「選択候補に対する迷い」は図１０〜１１を使い説明する。
【００６６】
まず「機能が見つからない困惑」について説明する。「機能が見つからない困惑」とは、例えばユーザが「現在放送しているある番組を録画したい」としたときに、その機能がメニュー階層のどこにあるか見つからないときにおこる困惑状態である。
【００６７】
図６を使って、その困惑状態に至るユーザの行動を具体的に説明する。まず、ユーザはトップメニュー３０１を表示し、どの階層の下に録画を行うための機能があるかを考え、選択すべきメニュー項目の候補を考える。そして候補として想定したメニュー項目を選択し階層をさがることになる（図６（１））。しかしながら下った先が録画に関するものでなかった場合、戻るボタンなどを押して階層を戻ることになる（図６（２））。このような選択、「戻る」の操作を始めにユーザが想定した候補がなくなるまで繰り返される（図６（３）→（４）→（５）→（６））。
【００６８】
このとき、始めに選択行為を行う際、すべての項目を選択候補とした中から最適な項目を判断する必要があるため、意思決定にかかる時間が最も長く、そして選択候補を調べるにつれて候補が徐々に少なくなるため、停滞時間が短くなっていく。そして最終的にユーザが始めに想定したどのメニュー項目にも、ユーザの目的とする機能が見つからなかった場合、次の操作を行なう手立てがなくなるために、意思決定の時間が長くなる。
【００６９】
この特徴は、各操作を行うまでの停滞時間、特に行うべき操作を決断するための意思決定時間に現れるので、困惑した場合に意思決定時間が増加するという判定基準に従ってこの「機能が見つからない困惑」を検出することができる。
【００７０】
そこで、本実施の形態では、この「機能が見つからない困惑」の状態が、初めてそのメニューに入った時に生じる意思決定時間と、その後、下位の階層のメニューからそのメニューに戻ってきたときに生じる意思決定時間とに反映されると考える。
【００７１】
そして、初めてそのメニューに入った時に生じる停滞時間と、その後、下位の階層のメニューからそのメニューに戻ってきたときに生じる停滞時間を測定し、測定された停滞時間から、例えば知覚時間（視線移動時間）と操作時間とを減じるなどしてそれぞれの意思決定時間を算出し、算出された意思決定時間が増加するという判定基準に従って、この「機能が見つからない困惑」の状態を検出する。
【００７２】
つまり、直前の操作が他のメニューから現在のメニューへ移る操作であった場合、過去に前記現在のメニューへ移るたびに生じる意思決定時間が増加するという判定基準に従って前記ユーザが「機能が見つからない困惑」の状態にあるか否かを判定する。
【００７３】
困惑判定対象操作系列作成処理では、直前の操作が「戻る」だった場合、初めてその階層に入った時と、その後、下位の階層からその階層に戻ってきたときに生じる意思決定に係る時間を抽出して操作系列情報を作成する。
【００７４】
図７（ｃ）は、図７（ａ）に示す操作履歴情報から作成された「機能が見つからない困惑」の状態を判定するための操作系列情報である。図７（ａ）の操作履歴情報は、現在、画面ＩＤ：Ａで操作回数１６の操作を待っていて、直前の操作が「下」でその操作を行うまでに１５秒かかっていることを示している。このとき「下」を押したときのユーザに困惑があったかを判定したい。
【００７５】
そのためには、その画面に初めて入ったときの意思決定にかかる時間と、その階層に戻ってきたときの意思決定にかかる時間を抽出して判定用の操作系列情報を作成すればよい。そのような操作系列情報は、具体的には、操作回数３の画面ＩＤ：Ａに始めて入ったときの操作と、その後、操作回数１０、１５の下位の階層からその階層に戻ってきたときの操作に関する時間情報付き操作情報を抜き出し（図７（ｂ））、ナンバリングをし直す（図７（ｃ））ことで作成できる。
【００７６】
続いて、「メンタルモデルのずれによる困惑」について説明する。「メンタルモデルのずれによる困惑」とは、ユーザがメニューを選択し表示される次画面のメニューがユーザの想定とは異なっていた場合におこる困惑で、その状況の理解に時間がかかるために意思決定にかかる時間が長くなるという特徴がある。具体的に、例えば「日時を指定」というメニュー項目を選んだ場合に日時を指定するメニューがでてくると考えていたのに「ＢＳ」「ＣＳ」のように入力ソースが表示された場合などに起こる困惑で、ユーザにとって想定外のメニューが出てきたことにより次の選択までに時間がかかってしまう。
【００７７】
具体的に「時刻を指定して録画の予約をする」というタスクを想定し、図８を使ってその困惑状態に至るユーザの選択行動を説明する。ユーザは、まず、トップメニュー（画面ＩＤ：Ａ）を表示し、どの階層の下に録画予約を行うための機能があるかを考え、選択すべきメニュー項目の候補を考える。そして、「予約・確認」メニューを選び、画面ＩＤ：Ｅのメニューが表示されたとする。そしてさらに、その下の「日時を指定」というメニューを選んだとする。
【００７８】
ユーザは、この「日時を指定」というメニュー項目を選ぶことで日時を指定する画面が現れると思っていたところ、実際のメニューには「ＢＳ」「ＣＳ」「地上波」という項目が現れ、映像ソースの選択画面が出力される。このとき、ユーザが思っていたことと異なるメニューが出てくることになるため、その状況を理解するのに時間がかかってしまう。そのために次の選択を行うまでの判断に時間を要し、意思決定にかかる時間が増加するという特徴が表れる。この意思決定にかかる時間の増加は、予想と違ったことを反映したものと考えられる。
【００７９】
そこで、本実施の形態では、この「メンタルモデルのずれによる困惑」の状態が、各画面で何らかの選択をして階層を下がっていくときに生じる意思決定時間に反映されると考える。
【００８０】
そして、各画面で何らかの選択をして階層を下がっていくときに生じる停滞時間を測定し、測定された停滞時間から、例えば知覚時間（視線移動時間）と操作時間とを減じるなどしてそれぞれの意思決定時間を算出し、算出された意思決定時間が増加するという判定基準に従って、この「メンタルモデルのずれによる困惑」の状態を検出する。
【００８１】
つまり、前記直前の操作が上位のメニューから現在のメニューへ下る操作であった場合、前記現在のメニューに至るまでに下った複数のメニューにおいて生じる意思決定時間が増加するという判定基準に従って前記ユーザが「メンタルモデルのずれによる困惑」の状態にあるか否かを判定する。
【００８２】
困惑判定対象操作系列作成処理では、直前の操作で階層を下った場合に、それより前の操作で「戻る」などの処理により階層を上がることなく、連続的に階層を下がっているならば、その階層を下がったときに生じた意思決定時間を抽出して操作系列情報を作成する。
【００８３】
図９（ｃ）は、図９（ａ）に示す操作履歴情報から作成された「メンタルモデルのずれによる困惑」の状態を判定するための操作系列情報である。図９（ａ）の操作履歴情報は次のことを示している。ユーザは操作回数２でメニューを表示しトップメニューである画面ＩＤ：Ａを開き、そのメニューを１０秒かけて理解した後、操作ボタン「下」を押下する。その後、操作回数５で「決定」を押下し画面ＩＤ：Ｅ（予約・確認）を開く。操作回数６で画面ＩＤ：Ｅを理解する時間を要した後、さらに「決定」を押下し画面ＩＤ：Ｐ（日時を指定）を開く。その後、操作回数７の時点で画面ＩＤ：Ｐが想定していたメニューと異なっていたため理解するのに多くの時間を要し、２０秒後に「戻る」ボタンを押下し上の階層へ戻っている。このとき「戻る」を押したときのユーザに困惑があったかを判定したい。
【００８４】
そのためには、階層を下がりその次の操作が行われるまでの意思決定時間を抽出して判定用の操作系列情報を作成すればよい。そのような操作系列情報は、具体的には、操作回数３、６、７の操作に関する時間情報付き操作情報を抽出し（図９（ｂ））、操作系列番号を頭から振りなおすことで作成できる。
【００８５】
またこの際に、意思決定にかかる時間を、各メニューで表示される選択肢の数に応じて正規化する必要がある。なぜなら、項目数が増えればそれだけ判断に時間がかかるためである。具体的には、一項目あたり約２００〜３８０ｍｓの判断時間がデフォルトでかかると考えられている（前記参考文献、Ｐ９１、包摂関係判断時間）。
【００８６】
そこで、項目数の一番少ないメニューに合わせてそれよりも多い項目を含むメニューの意思決定時間から差分項目数×０．４秒を意思決定時間から減算する。ここでは、説明の簡単化のため全てのメニューで同数の項目を含むとする。
【００８７】
続いて、「選択候補に対する迷い」について説明する。選択候補に対する迷いとは、選択する候補に迷った場合、カーソルを動かしながら、どれを選ぼうか探索する行動である。
【００８８】
図１０を使って、「録画」をする場合に「選択候補に対する迷い」に至るユーザの行動を具体的に説明する。ユーザがトップメニュー３０１を開いて（カーソルは「放送中番組」の上にある）、第２階層のどのノードに下るかを考えているとする。
【００８９】
このとき、始めに「Ｇコード」の下に録画があるに違いないと思ってカーソルを進めるものの、「Ｇコード」の上にカーソルが来たときに、やはり「Ｇコード」ではないのではないかという迷いが生じ、しばらく停滞した後に別のメニューである「番組表」を選択したとする。これはやりたいことがＧコードなのかどうかという迷いが発生したことを意味すると考えられ、もし迷いが無い場合は「Ｇコード」を押下するはずであるので、選択候補に対する迷いより選択するという行動の意思決定が遅れることになる。
【００９０】
「選択候補に対する迷い」とは、このように同一階層内で、どの項目を選択すればよいかに迷い、うろうろする現象で、迷うときに停滞が生じることから同一階層内で意思決定にかかる時間が増加するという特徴が表れる。
【００９１】
そこで、本実施の形態では、この「選択候補に対する迷い」の状態が同一階層内のメニュー項目を移動するときに生じる意思決定時間に反映されると考える。
【００９２】
そして、同一階層内でのカーソルの移動操作に注目し意思決定時間が増加する傾向を掴むことで、「選択候補に対する迷い」の状態を検出する。
【００９３】
つまり、直前の操作が現在のメニューに留まる操作であった場合、前記現在のメニュー内で過去に行われた複数の操作について生じる意思決定時間が増加するという判定基準に従って前記ユーザが「選択候補に対する迷い」の状態にあるか否かを判定する。
【００９４】
図１１（ｃ）は、図１１（ａ）に示す操作履歴情報から作成された「選択候補に対する迷い」の状態を検出するための操作系列情報である。図１１（ａ）の操作履歴情報のうち同一階層内で動いている操作回数１０〜１３の操作に着目する。操作回数１０の操作は、操作回数９の「戻る」ボタンの押下により下位階層から戻ってきたときに行われる。まずこの画面において、ユーザは画面上に何があるかを理解するために視線を動かし、それぞれの項目に対して選択すべきかの意思決定を行う。そしてひとまず意思決定を行った後、動き出す。しかし、この場合は操作回数１２で、操作回数１０，１１の停滞時間よりも長く停止した後に、ボタン「下」を押下して操作回数１３に移っている。このとき、操作回数１２の時点で困惑が発生していると考えられる。
【００９５】
そこで、困惑判定対象操作系列作成処理では、同一階層内で動く操作に生じた意思決定時間を抽出して、この「選択候補に対する迷い」の状態を判定するための操作系列情報を作成する。そのような操作系列情報は、具体的には、図１１（ａ）の操作履歴情報から、直前の操作が「上」や「下」で同一画面内を動く操作回数１０〜１２の操作に関する時間情報付き操作情報を抜き出し（図１１（ｂ））、ナンバリングをし直す（図１１（ｃ））ことで作成できる。
【００９６】
以上のように、ステップＳ２１０において「機能が見つからない困惑」、「メンタルモデルのずれによる困惑」、「選択候補に対する迷い」を判定するための、それぞれ異なる操作系列情報が作成される。
【００９７】
次に、このようにして作成された操作系列情報をもとにした困惑の判定処理について説明する。
【００９８】
ステップＳ２１０で作成された操作系列情報をもとに、Ｓ２１１で困惑の判定が行われる。困惑判定対象操作系列作成処理のところで説明したとおり、「機能が見つからない困惑」、「メンタルモデルのずれによる困惑」、「選択候補に対する迷い」のケースを判定するための何れの操作系列情報についても、困惑発生時において意思決定時間が増加するという特徴が見られる。そこで、本実施の形態では、前記３種類の困惑の何れについても、操作系列情報によって表される意思決定時間が増加することをもってユーザが困惑状態に陥ったと判定する。
【００９９】
意思決定時間の増加判断は、ユーザによって行われた一連の操作における停滞時間から算出される意思決定時間を基に定められる閾値と、判断対象となる操作における意思決定時間との比較によって判断される。操作系列番号をｎとし、ｎ番目の操作の時に困惑と判断する意思決定時間の閾値をθn、ｎ−１回目の実際の意思決定時間をＡn-1とすると、困惑判定は以下の式１で定義できる。
【０１００】
θn＝Ａn-1，θ1＝２０                                           （式１）
ここで、θ1は初期値であり、ここでは一例として２０としている。なお、θ1には、初期値として、この値に限らず一般的なユーザが明らかに困惑状態に陥ったときに呈する意思決定時間を設定すればよい。
【０１０１】
この判定式を次のように用いて、困惑が検出可能となる。すなわち、ユーザの困惑がない場合、操作系列情報によって示される意思決定時間は増加しない。したがって、困惑がない場合は、直前の意思決定時間を越える意思決定時間が算出されることはない。逆に直前の意思決定時間を超える意思決定時間が算出された場合には、その時点で困惑が発生したと考えることができる。そこで、ｎ番目の操作における困惑判定の閾値を直前の意思決定時間とすることで、閾値により意思決定時間の増加を検出することが可能になる。
【０１０２】
具体的に図１２（ａ）に、図７（ｃ）に示した操作系列情報に対するθとＡの値の変化を示す。図７（ｃ）では、予約機能を見つけるために第１階層と第２階層の間を行ったり来たりしながら探している例で、操作回数１５（操作系列番号３）で困惑が発生した例である。上記手法にもとづくと、困惑が発生していないｎ＝１，２の時点ではθn＞Ａnであり困惑と判定されず、困惑が発生したｎ＝３の時点でθ3＜Ａ3となり困惑が生じたと判定されることがわかる。
【０１０３】
また、上記判定方法における閾値を
θn＝ｆ（θn-1，Ａn-1），θ1＝２０                              （式２）
ここで、ｆを
ｆ（θn-1，Ａn-1）＝（θn-1＋Ａn-1）／２                       （式３）
と定義し、過去の複数の履歴を考慮することも効果がある。この定義によれば、θとＡの値の変化は図１２（ｂ）のようになり、閾値θの急激な変化を抑えることができる。これにより、困惑に対応した支援を行うかどうかの判断に対して時間的に猶予をもたせた困惑の検出が可能となる。つまり、人による機器操作において必ず起こる操作時間のばらつきに余裕を持たせることができ過剰に困惑が検出されるという心理的不快要因を軽減した困惑検出方式が可能となる。
【０１０４】
また、閾値を
θn＝Ｍｅａｎ（Ａn-t，Ａn-t+1，…，Ａn-1）                     （式５）
と定義し、ｔ個のサンプルの移動平均を取ることで同様の効果を得ることも可能である。
【０１０５】
次に、個人差に適応した困惑の判断について説明する。
【０１０６】
図１３に、情報機器の操作に慣れており操作速度が早い人に関する操作系列情報を示す。説明のために全く同じ操作を行なっているが各々の操作を行なうにあたり必要となる停滞時間が異なるとする。
【０１０７】
図７に関する説明と同様にして、図１３（ｃ）の操作系列情報が求まる。このとき（式１）及び（式２）に基づく困惑判定を行なうと、それぞれθnとＡnの変化は図１２（ｃ）及び（ｄ）のようになり、前述の説明と同様に、操作系列番号３の時点で困惑が発生したと検出できる。
【０１０８】
比較のため、困惑の検出を、停滞時間を一定の閾値と比較判断するという従来手法を採用して行ったとすると、操作系列番号３の時点で困惑が発生したと検出するには、図１３（ｃ）から明らかなようにθ＝７．７秒とする必要がある。しかし、θを７．７秒とすると、図７（ｃ）に示されるケースにおいて操作系列番号１の時点で誤って困惑が検出されてしまう。
【０１０９】
これに対して、本手法による困惑検出では、意思決定時間が増加するという判定基準を用いることで各々のユーザの機器に対する慣れや、認知能力の速さなどの側面によって変化する操作速度の違いといった個人差に適応して、精度良く困惑の検出が可能である。
【０１１０】
続いて、図９に示したメンタルモデルのずれが原因によって生じた困惑に関しても具体例で示す。図９では、画面Ｐにおいてユーザの予測と実際の画面とのずれが生じ操作回数７（操作系列番号３）の時点で困惑が発生する例である。
【０１１１】
（式１）に基づく方法を適応すると、θ3＝７．７，Ａ3＝１９．７となり、θ3＜Ａ3により困惑が検出される。（式２）に基づく方法でもθ3＝１１．３，Ａ3＝１９．７となり、θ3＜Ａ3により困惑が検出される。
【０１１２】
また、機器操作になれており操作速度が早い人を想定した操作系列情報を図１４に示す。同様に画面Ｐにおいてユーザの予測と実際の画面とのずれが生じ操作回数７（操作系列番号３）の時点で困惑が発生したとする。
【０１１３】
（式１）に基づく方法では、θ3＝３．２，Ａ3＝９．７となり、θ3＜Ａ3により困惑が検出され、（式２）に基づく方法でもθ3＝６．１，Ａ3＝９．７となり、θ3＜Ａ3により困惑が検出される。
【０１１４】
比較のため、困惑の検出を従来手法どおりにある一定の閾値で判断するという手法を採用したとすると、図１４より明らかなようにθ＝１０秒とする必要がある。しかし、θを１０秒とすると、図９のケースにおいて操作系列番号１で誤って困惑が検出されてしまう。
【０１１５】
これに対して、本発明による意思決定時間の変化に着目した手法によると意思決定に係る時間の増加に着目することで、上記のような問題が起こることなく各々のユーザの機器に対する慣れや、認知能力の速さなどの側面によって変化する操作速度の違いに適応した困惑の検出が可能である。
【０１１６】
続いて、図１１に示した選択候補に対する迷いによって生じた困惑に関して具体例で示す。図１１は、同一階層の中で動く操作回数１０〜１３の間の操作回数１２（操作系列番号３）で困惑が発生している例である。
【０１１７】
（式１）に基づく方法では、θ3＝１．７，Ａ3＝９．７となり、θ3＜Ａ3により困惑が検出される。
【０１１８】
また、図１５に操作の早い人を想定した同一階層の中で動く操作回数１０〜１３の間の操作回数１２（操作系列番号３）で困惑が発生している例を示す。この場合においても（式１）に基づく方法では、θ3＝２．７，Ａ3＝１４．７となり、θ3＜Ａ3により困惑が検出される。
【０１１９】
以上のように、本実施の形態における困惑状態判定部１０７によれば、一連の操作のうち、過去の１つ以上の操作について測定された停滞時間から意思決定時間に関する閾値を決定し、現在の操作について生じる意思決定時間が前記決定された閾値よりも大きい場合に前記ユーザが困惑状態にあると判定するので、「機能が見つからない困惑」、「メンタルモデルのずれによる困惑」、「選択候補に対する迷い」すべてのケースに対して、各々のユーザの機器に対する慣れや、認知能力の速さなどの側面によって変化する操作速度の違いに対応可能な困惑の検出が可能である。
【０１２０】
なお、ここで、困惑状態判定部１０７は、過去の１つ以上の操作について測定された停滞時間から停滞時間に関する閾値を決定し、現在の操作について生じる停滞時間が前記決定された閾値よりも大きい場合に前記ユーザが困惑状態にあると判定することも有効である。
【０１２１】
なぜなら、前述したように、視線移動時間（知覚時間）及び操作時間を各操作において一定であると近似する場合や、視線移動時間及び操作時間が停滞時間に比べて短い場合には、意思決定時間を停滞時間で近似することにより、意思決定時間の増加を停滞時間の増加によって判定できるからである。
【０１２２】
続いて、ステップＳ２１３、およびＳ２１４で行なわれる操作支援方法選択処理および操作支援処理の詳細について説明する。
【０１２３】
操作支援の内容としては、「機能が見つからない困惑」の場合は機能を探すための誘導を行うことが考えられる。また、「メンタルモデルのずれによる困惑」の場合はメンタルモデルのずれの解消を行うべき機能の説明を行うことが考えられる。また、「選択候補に対する迷い」に対しては、各メニュー項目に対する説明を出すことが考えられる。
【０１２４】
このように、困惑の種類に応じて望ましい操作支援の内容が考えられる。そこで、ステップＳ２１３で困惑状態であると判断された場合に、図１６に示す困惑−操作支援対応表格納部１０８をもとに対応する操作支援方法が選択され、対応する支援を決定する。ここで、困惑−操作支援対応表格納部１０８の支援方法欄には、困惑の種類に応じた望ましい操作支援の内容を示す困惑−操作支援対応情報が格納されているものとする。
【０１２５】
続いてステップＳ２１４において、操作支援が行なわれる。例えば、「機能が見つからない困惑」の場合に行なわれる操作誘導支援は、困惑−操作支援対応表格納部１０８にその困惑の種類に対応して格納されている支援内容に従って、ユーザにキーワードの入力を促し、目的とする機能を対話的に絞り込むような操作誘導支援が行われる。また情報検索などの技術を利用することも有効である。
【０１２６】
また「メンタルモデルのずれによる困惑」の場合には、同様に困惑−操作支援対応表格納部１０８を参照して、機能説明支援が行われる。例えば図８に示したケースの場合に「日時を指定する前に予約を行なう番組のソースを指定してください」などといった機能や操作手順の説明をすることがユーザの困惑を解消することに有効である。
【０１２７】
また、「選択候補に対する迷いによる困惑」の場合には、同様に困惑−操作支援対応表格納部１０８を参照して、項目説明支援が行われる。例えば図１０に示したケースの場合に「Ｇコードは番組コードの入力で録画の予約ができます」といった説明をすることでユーザの悩みを解消することができる。
【０１２８】
以上説明した構成によれば、ユーザの操作履歴における意思決定時間の時間変化に着目することでユーザの意思決定にかかる時間を基に困惑状態を判定することができ、ユーザの困惑状態を個人差や状況の差に影響をうけることなく的確に検出し、検出された困惑状態に応じた操作支援を行なうことで適切なユーザ支援を可能とする装置を提供できる。
【０１２９】
なお、本実施の形態では、入力手段として図３に示す単純なリモコン４０１を想定したが、音声認識装置やマウス、さらにはキーボード、タッチパネルなどを入力装置としても構わない。ユーザが、そのような入力装置を使って、階層型メニューにおける階層を下がったり上がったり、または階層を下っていった結果止まったりといった動きをする場合にも、ここまでの説明と同様にして「機能が見つからない困惑」、「メンタルモデルのずれによる困惑」、及び「選択候補に対する迷い」を検出できることは言うまでもない。
【０１３０】
ただし、タッチパネルが受け付ける操作は選択操作のみであり、カーソルの移動という概念はない。つまり、各メニュー内でのカーソルの動きの検出ができないため「選択候補に対する迷い」は検出できない。しかしながら、「機能が見つからない困惑」や「メンタルモデルのずれによる困惑」は、選択するまでの停滞時間からタッチパネルの操作に係る時間（一例として２５８ｍｓ、前記参考文献、Ｐ９２）と視線移動に係る時間を減算した時間を意思決定のためにかかる時間として計ることにより検出可能である。
【０１３１】
音声認識やマウスを選択肢の入力のために使った場合も同様に、視線移動に係る時間とそれぞれ発声を始めるまでに係る時間、マウスを動かすまでにかかる反応時間を減算すればよい。
【０１３２】
また、意思決定にかかる時間として、ここでは停滞時間から視線移動に係る時間、操作にかかる時間を減算したものとしたが、意思決定に係る時間と比較して、前記視線移動に係る時間および操作にかかる時間は短く、ほぼ固定時間であるため実施例は記載しないが、近似的に停滞時間を意思決定時間とみなし困惑の検出を行うことも有効である。
【０１３３】
また、「選択候補に対する迷い」への支援を、サーバ型の放送における番組リスト、音楽配信サービスにおける音楽リストの中から希望の番組や音楽を選択するインターフェースにおいて行うことにより、カーソル操作が停滞しユーザが選択すべきかどうかを悩んでいると判断される番組や音楽に関して説明などの付加情報をユーザに提示することが可能となり、極めて有効な支援をユーザに提供できる。
【０１３４】
また、本実施の形態では、ユーザ支援装置がＤＶＤレコーダーやテレビに適用される例を示したが、このユーザ支援装置は、パーソナルコンピュータの操作や、インターネットのポータルサイトで見られるような階層的にリンクが張られたホームページ上で情報を探すときの困惑検出及びユーザ支援にも使用可能である。
【０１３５】
さらに、このユーザ支援装置を拡張して、ユーザへの支援情報をサーバ装置からネットワークを介して取得するユーザ支援システムを考えることもできる。ユーザへ提示される操作マニュアルやヘルプメッセージがこの支援情報の一例である。
【０１３６】
図１７は、そのようなユーザ支援システムの機能的な構成の一例を示すブロック図である。このユーザ支援システムは、実施の形態１で説明したユーザ支援装置（図１を参照）に、支援情報取得部１７０１、支援情報格納部１７０４、ネットワーク１７０２、及び支援情報ＤＢ１７０３を追加して構成される。
【０１３７】
図１７において、点線の内部が、例えばＤＶＤレコーダーやテレビに組み込まれるユーザ支援装置１７００を表す。
【０１３８】
困惑状態判定部１０７は、困惑検出信号１２０を、操作支援処理部１０９と共に支援情報取得部１７０１へも出力する。支援情報取得部１７０１は、困惑検出信号１２０によって表される困惑状態に適した支援情報を検索するための検索条件信号１７１１を、ネットワーク１７０２を介して支援情報ＤＢ１７０３へ送信する。支援情報ＤＢ１７０３は、検索された支援情報を表す検索結果信号１７１２を支援情報取得部１７０１へ返送する。
【０１３９】
支援情報取得部１７０１は、返送された支援情報と対応する困惑状態とを表す支援情報信号１７１３を支援情報格納部１７０４へ送り、支援情報格納部１７０４は、その支援情報と困惑状態とを対応付けて格納する。
【０１４０】
操作支援処理部１０９は、困惑状態判定部１０７から困惑検出信号１２０を受けると、困惑検出信号１２０によって示される困惑状態に対応する支援情報を支援情報格納部１７０４から参照し、入出力制御部１０２及び入出力部１０１を介してユーザに提示する。
【０１４１】
ユーザ支援装置１７００が、ＤＶＤレコーダーやテレビといった、装置の規模やコストの制約が比較的厳しい機器に組み込まれることを考えれば、考え得る非常に多くの困惑状態に対応した支援情報をユーザ支援装置１７００の内部に保持することは必ずしも得策ではない。
【０１４２】
そこで、このようなユーザ支援システムによって、非常に多くの困惑状態に対応した支援情報を外部のサーバに用意しておき、ネットワークを介して利用すると共に、ユーザが一度陥った困惑状態に対応する支援情報はユーザ支援装置内部に保持し、再び同じ困惑状態が生じた場合に迅速に提示することが望ましい。
【０１４３】
なお、このようなユーザ支援システムにおいて、困惑状態の判定を外部のサーバで行ってもよい。その場合、困惑状態判定部１０７はユーザ支援装置１７００から外部のサーバへと移される。ユーザ支援装置１７００は、操作系列情報を外部のサーバへ送るだけで、適切な支援情報をそのサーバから得てユーザに提示することができる。
【０１４４】
（実施の形態２）
本発明の困惑検出に基づくユーザビリティー評価に関して、実施の形態２で説明する。
【０１４５】
図１８は、実施の形態２における本発明の困惑検出を用いたユーザビリティー評価装置の構成図である。図１の困惑検出に基づくユーザ支援装置と重複する構成については説明を省略する。
【０１４６】
困惑箇所判定部１６０４は、操作履歴情報信号１１７をもとに操作系列情報を作成し、それをもとに困惑状態を判定し、どの画面ＩＤでどの種類の困惑が起きたかという結果を困惑箇所検出信号１６０２として出力する機能を有する。ここで、操作系列情報の作成および困惑状態の判定は実施の形態１と同様の方法を使用する。
【０１４７】
また、困惑箇所抽出ＤＢ１６０１は困惑箇所判定部１６０４で判定された結果を格納するＤＢで、図１９に示すように各画面ＩＤでどの困惑が何回検出されたかという頻度が格納される。入出力制御部１０２は困惑箇所結果信号１６０３を受け、入出力部１０１に評価結果を出力する機能を有する。
【０１４８】
図１８において、困惑箇所判定部１６０４が困惑状態判定手段の一例であり、困惑箇所抽出ＤＢ１６０１が困惑判定結果蓄積手段の一例であり、入出力制御部１０２及び入出力部１０１が困惑判定結果表示手段の一例である。
【０１４９】
図２０に示すフローチャートをもとに、本発明の困惑検出を用いたユーザビリティー評価方法の動作を説明する。図４で説明した困惑検出にもとづくユーザ支援方法の説明が重複する部分は省略する。
【０１５０】
ステップＳ２１２では、困惑箇所判定部１６０４が困惑を検出するとステップＳ２４０１に進む。
【０１５１】
ステップＳ２４０１では、困惑箇所判定部１６０４から出力される困惑箇所の画面ＩＤと困惑の種類を表す困惑箇所検出信号１６０２をもとに、困惑箇所抽出ＤＢ内の対応する困惑の種類および画面ＩＤの頻度を更新する。具体的には頻度に１をプラスする。
【０１５２】
ステップＳ２４０２で、入出力制御部１０２により結果表示が選択されたと判断すると、ステップＳ２４０３に移る。
【０１５３】
ステップＳ２４０３では、入出力制御部が困惑箇所結果信号１６０３をもとに、各困惑要因に応じて、メニュー階層のどの部分で多く困惑が起こるかを分かるように表示する。例えば図２１に示すように、困惑の種類ごとにメニューツリーを画面に表示し、頻度の最大値などをもとに正規化し色づけを行うなどの処理をすることで、どの部分でどの程度の困惑が発生しているかを一覧できるようにする方法が有効である。また、メニュー階層をすべて表示する画面の大きさがない場合は、困惑箇所のみを強調した表示にする、あるいは表形式で色付けをするなどの方法でもよい。
【０１５４】
（実施の形態３）
図２２は、本発明の実施の形態３の困惑検出にもとづくユーザ支援装置の構成図である。本実施の形態では、困惑時に発生する意思決定時間を予め予測することで、停滞時間が予測時間を越えたときに即座に困惑を検出することができ、ユーザ支援を迅速に開始することを可能にする。
【０１５５】
図２２において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【０１５６】
困惑時停滞時間決定部１９０１は、過去の操作履歴である操作履歴情報信号１１７と、操作が行われたタイミングを表す機器操作タイミング通知信号１１８を受け、次操作までにかかる意思決定の時間がα以上であるなら困惑であるとの判定を行うための意思決定時間の閾値αを決定する。そして、その結果を困惑時停滞時間信号１９０３として困惑判定部１９０２に出力する。
【０１５７】
困惑判定部１９０２は、困惑と判断を行う意思決定時間の閾値αを表す困惑時停滞時間信号１９０３を元に、時刻情報信号１１９を参照し停滞時間を算出し困惑が起こっているかどうかを監視し判定を行う機能を有する。
【０１５８】
このように構成された本発明である困惑検出にもとづくユーザ支援方法の動作を図２３に示すフローチャートをもとに説明する。実施の形態１の時と同様に図２に示すメニュー階層のインターフェースをもつＤＶＤプレイヤに対して、図３に示す入力装置を用いて操作を行なうとする。図４と同じフローの部分の説明は省略する。また、ユーザは「現在放送している番組を録画したい」として図２４（ａ）に示す操作を行ってきているとして説明する。操作は操作回数１４で「戻る」ボタンが押され、操作回数１５のところで画面ＩＤ：Ｂが表示されている状態で入力を待っているとする。
【０１５９】
Ｓ２０９で、現操作の種類および階層情報が格納されたところまでは実施の形態１と同じである。ステップＳ２００１では、困惑時停滞時間決定部１９０１が、以下に示す３つの条件に従い操作系列情報を作成する。実施例１の時の操作系列情報との違いは、過去に入力された系列に対して困惑した結果だったかどうかを判定するのに対して、本実施例の場合、これから入力されるものが困惑であるかどうかを困惑の結果の入力を待たずに判断する点にある。
【０１６０】
条件（１）  前操作が「戻る」のように階層をあがる場合、「機能が見つからない困惑」が発生している可能性があるため、実施例１における図７の時と同様に、意思決定にかかる時間が反映された部分系列として、初めてその階層に入った時の操作および下位の階層からその階層に戻ってきたときの操作を操作履歴格納部１０６から抽出し操作系列情報を作成する。
【０１６１】
条件（２）  前操作が「決定」で階層を下った場合、「メンタルモデルのずれによる困惑」が発生する可能性がある。通常階層を下ると条件が絞られるために、それより上位の階層にはじめて入ったときの意思決定時間に比べて下位層での意思決定時間は短くなるはずである。そこで、各階層にはじめて入ったときの意思決定時間を抽出し操作系列情報を作成する。このとき、メニューに表示される項目数の数によって、実施例１と同様に項目数の数に応じた意思決定に係る平均的な時間（例えば、最も少ない項目数のメニューより増えた項目数の数×１項目数当たりの判断時間４００ｍｓ、前記参考文献、Ｐ９１）を差し引くなどの意思決定時間の正規化するなどの処理を行う必要がある。ここでは説明のため項目数は同数であるとする。
【０１６２】
条件（３）  前操作が「上」や「下」で同一画面内を動いている場合、「選択候補に対する迷いによる困惑」が発生する可能性がある。同一画面内の操作を抽出し操作系列情報を作成する。
【０１６３】
ここでは、前操作が「戻る」であるので条件（１）にあたり困惑時停滞時間決定部１９０１で困惑判定を行うための操作系列情報が作成される。図２４にその様子を示す。図２４（ａ）から初めて画面ＩＤ：Ｂに入ったタイミングである操作回数３の操作、および下位の階層（画面Ｉｄ：Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ）から画面ＩＤ：Ｂに戻ってきたタイミングである操作回数１０および１５の操作が抽出される。その後、操作系列情報が図２４（ｃ）のように再構成される。
【０１６４】
続いてステップＳ２００２では、現操作（操作回数１５）において、どの程度の操作の停滞が起きたら困惑と判断できるかという意思決定時間の閾値αを算出する。意思決定時間の閾値αは、その閾値を越えたら困惑であるとみなすという意味であるので、実施の形態１で使用したθｎと等価である。そこで、閾値αは（式１）におけるθｎをαとみなすことで算出できる。すなわち、直前の意思決定時間によってαは決定すればよい。ここで、操作系列情報をＢｊすると、操作系列番号ｉの閾値αは
α＝Ｂi-1                                                      （式６）
と表現できる。
【０１６５】
具体的には、操作の停滞時間Ｂ1＝９．７秒、Ｂ2＝４．７秒であるので、操作系列番号３における意思決定時間の閾値αは、α＝４．７秒と算出できる。実施の形態１の説明と同様に、図２５に情報機器の操作が比較的早い人の場合の操作系列情報を示す。説明のために全く同じ操作を行なっているが各々の操作を行なうにあたり必要となる意思決定時間が異なるとする。図２４の説明と同様に操作系列情報を求めると図２５（ｃ）のようになる。この場合、意思決定時間の閾値αは、Ｂ2＝２．７であるのでα＝２．７と決定できる。
【０１６６】
続いて、ステップＳ２００３では、困惑判定部１９０２が停滞時間を観測し意思決定時間の閾値αを超えたら困惑であると判定しステップＳ２１３に進む。意思決定時間の閾値αが、意思決定時間以下であるならば機器操作タイミング通知信号１１８をもとに困惑判定部１９０２で操作があるかを判断し、操作があればステップＳ２１５に進み次の操作にうつる。一方操作がない場合は、Ｓ２００３に戻り処理を繰り返すことで困惑判定を行う。
【０１６７】
残りの処理は実施の形態１と同様であるので省略する。
【０１６８】
以上説明した構成により、困惑時に発生する意思決定にかかる時間の遅れを反映した停滞時間を予測することで、困惑が生じたとき、即座に困惑を検出することができ、迅速にユーザ支援を開始するユーザ支援装置を提供することが可能になる。
【０１６９】
また実施の形態１と同様に、視線移動にかかる時間と操作にかかる時間が意思決定時間に比べて短いため意思決定時間の代わりに停滞時間を使うことも有効である。
【産業上の利用可能性】
【０１７０】
本発明に係るユーザ支援装置は、階層型のメニューを通してユーザから操作を受け付ける装置に利用できる。例えば、ＤＶＤレコーダー、携帯電話、カーナビゲーションシステムなど多くの専用機器や、オペレーションシステムや様々なアプリケーションプログラムが動作するコンピュータ装置に利用できる。さらには、それらの機器のユーザビリティー評価装置として利用することもできる。
【図面の簡単な説明】
【０１７１】
【図１】図１は、本発明の実施の形態１におけるユーザ支援装置の構成図である。
【図２】図２は、階層型メニューの例を示す図である。
【図３】図３は、入力装置の例を示す図である。
【図４】図４は、実施の形態１におけるユーザ支援装置の処理を示すフローチャートである。
【図５】図５は、操作履歴情報の例を示す図である。
【図６】図６は、機能が見つからない困惑が生じている操作の例を示す図である。
【図７】図７（ａ）（ｂ）（ｃ）は、機能が見つからない困惑を判定するための操作系列情報を示す図である。
【図８】図８は、メンタルモデルのずれによる困惑が生じている操作の例を示す図である。
【図９】図９（ａ）（ｂ）（ｃ）は、メンタルモデルのずれによる困惑を判定するための操作系列情報を示す図である。
【図１０】図１０は、選択候補に対する迷いが生じている操作の例を示す図である。
【図１１】図１１（ａ）（ｂ）（ｃ）は、選択候補に対する迷いを判定するための操作系列情報を示す図である。
【図１２】図１２（ａ）（ｂ）（ｃ）（ｄ）は、困惑判定結果を示す図である。
【図１３】図１３（ａ）（ｂ）（ｃ）は、機能が見つからない困惑が生じている操作の他の例を示す図である。
【図１４】図１４（ａ）（ｂ）（ｃ）は、メンタルモデルのずれによる困惑が生じている操作の他の例を示す図である。
【図１５】図１５（ａ）（ｂ）（ｃ）は、選択候補に対する迷いが生じている操作の他の例を示す図である。
【図１６】図１６は、困惑−操作支援対応情報の例を示す図である。
【図１７】図１７は、本発明の実施の形態１におけるユーザ支援システムの構成図である。
【図１８】図１８は、本発明の実施の形態２におけるユーザビリティー評価装置の構成図である。
【図１９】図１９は、困惑箇所抽出ＤＢの内容例を示す図である。
【図２０】図２０は、本実施の形態２におけるユーザビリティー評価装置の処理を示すフローチャートである。
【図２１】図２１は、ユーザビリティー評価装置の結果出力画面の例を示す図である。
【図２２】図２２は、本発明の実施の形態３におけるユーザ支援装置の構成図である。
【図２３】図２３は、実施の形態３におけるユーザ支援装置の処理を示すフローチャートである。
【図２４】図２４（ａ）（ｂ）（ｃ）は、実施の形態３における機能が見つからない困惑を判定するための操作系列情報の例を示す図である。
【図２５】図２５（ａ）（ｂ）（ｃ）は、実施の形態３における機能が見つからない困惑を判定するための操作系列情報の他の例を示す図である。
【図２６】図２６は、従来のユーザ支援装置の構成図である。
【符号の説明】
【０１７２】
１０１    入出力部
１０２    入出力制御部
１０３    機器制御部
１０４    操作履歴獲得部
１０５    時刻情報出力部
１０６    操作履歴格納部
１０７    困惑状態判定部
１０８    困惑−操作支援対応表格納部
１０９    操作支援処理部
１１１    操作入力信号
１１２    出力信号
１１３    機器制御信号
１１４    制御結果信号
１１５    操作情報信号
１１６    時間情報付き操作情報信号
１１７    操作履歴情報信号
１１８    機器操作タイミング通知信号
１１９    時刻情報信号
１２０    困惑検出信号
１２１    困惑−操作支援対応情報信号
１２２    操作支援信号
３０１    トップメニュー
３０２    メニュー
３０３    メニュー
３０４    番組表ノード
４０１    リモコン
４０２    カーソルキー
４０３    決定ボタン
４０４    戻るボタン
４０５    電源ボタン
４０６    メニューボタン
１６０１    困惑箇所抽出ＤＢ
１６０２    困惑箇所検出信号
１６０３    困惑箇所結果信号
１６０４    困惑箇所判定部
１７００    ユーザ支援装置
１７０１    支援情報取得部
１７０２    ネットワーク
１７０３    支援情報ＤＢ
１７０４    支援情報格納部
１７１１    検索条件信号
１７１２    検索結果信号
１７１３    支援情報信号
１９０１    困惑時停滞時間決定部
１９０２    困惑判定部
１９０３    困惑時停滞時間信号
２５０３    利用者状態検出処理
２５０４    支援機能選択処理
２５０５    無操作判定時間データ
２５０７    利用者状態検出用データ
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007116689.tif 000029
【図２】
2007116689.tif 000030
【図３】
2007116689.tif 000031
【図４】
2007116689.tif 000032
【図５】
2007116689.tif 000033
【図６】
2007116689.tif 000034
【図７】
2007116689.tif 000035
【図８】
2007116689.tif 000036
【図９】
2007116689.tif 000037
【図１０】
2007116689.tif 000038
【図１１】
2007116689.tif 000039
【図１２】
2007116689.tif 000040
【図１３】
2007116689.tif 000041
【図１４】
2007116689.tif 000042
【図１５】
2007116689.tif 000043
【図１６】
2007116689.tif 000044
【図１７】
2007116689.tif 000045
【図１８】
2007116689.tif 000046
【図１９】
2007116689.tif 000047
【図２０】
2007116689.tif 000048
【図２１】
2007116689.tif 000049
【図２２】
2007116689.tif 000050
【図２３】
2007116689.tif 000051
【図２４】
2007116689.tif 000052
【図２５】
2007116689.tif 000053
【図２６】
2007116689.tif 000054
【国際調査報告】
2007116689.tif 000055
2007116689.tif 000056