(57)【要約】【課題】動的に更新されていくインターフェースであっても、ユーザーが困っている状態であることを的確に検知する状態検知装置を提供する。【解決手段】インターフェース構成手段により構築されたＧＵＩはインターフェース分析手段に送信され、構成や情報量などに関するパラメータが取得される。アシスト情報開始時間算出手段は、分析の結果得られたパラメータの値に基づき、当該ＧＵＩの操作を完了するのに必要な時間を推定することで、ユーザーが困っている状態であると判定する時間を求める。そして、ユーザー状態判定手段は、ユーザーが当該ＧＵＩの操作を開始してからの経過時間が、困っている状態であると判定する時間以上になるとヘルプメッセージを表示する。【選択図】図１
2006338233.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーからの入力を受け付ける情報入力受付手段と、前記ユーザーに提示するユーザーインターフェースを構築するインターフェース構成手段と、前記インターフェース構成手段により構築された前記ユーザーインターフェースの内容を分析するインターフェース分析手段と、前記インターフェース分析手段により分析された前記内容に基づき、前記ユーザーが操作に困っている状態であると判定するまでの所要時間を算出するアシスト情報開始時間算出手段と、前記ユーザーインターフェースが操作可能になってからの経過時間を計測する時間計測手段と、前記ユーザーが操作に困っている状態であると判定するまでの前記所要時間と前記経過時間を参照して前記ユーザーが操作に困っている状態であるか否かを判定するユーザー状態判定手段、及び前記ユーザーが操作に困っていると判定された場合に前記ユーザーの操作を補助するための情報と前記ユーザーインターフェースを表示する情報表示手段を備えることを特徴とする状態検知装置。
【請求項２】
インターフェース分析手段は、分析結果としてユーザーインターフェースに含まれる情報量を取得し、アシスト情報開始時間算出手段は、取得された前記情報量と、単位情報量を処理するのに必要な時間に基づき、ユーザーが操作に困っている状態であると判定するまでの所要時間を算出することを特徴とする請求項１に記載の状態検知装置。
【請求項３】
インターフェース分析手段は、分析結果としてユーザーインターフェースの操作量を取得し、アシスト情報開始時間算出手段は、取得された前記操作量と、単位操作あたりに必要な時間に基づき、ユーザーが操作に困っている状態であると判定するまでの所要時間を算出することを特徴とする請求項１に記載の状態検知装置。
【請求項４】
インターフェース分析手段は、分析結果としてユーザーインターフェースに含まれる情報量、及び前記ユーザーインターフェースの操作量を取得し、アシスト情報開始時間算出手段は、取得された前記情報量及び前記操作量と、単位情報量を処理するのに必要な時間及び単位操作あたりに必要な時間に基づき、ユーザーが操作に困っている状態であると判定するまでの所要時間を算出することを特徴とする請求項１に記載の状態検知装置。
【請求項５】
インターフェース分析手段は、ユーザーインターフェースに含まれる情報量として、ユーザーに提示されるメニュー項目数を取得することを特徴とする請求項２または請求項４に記載の状態検知装置。
【請求項６】
インターフェース分析手段は、ユーザーインターフェースに含まれる情報量として、ユーザーに提示される文字数を取得することを特徴とする請求項２または請求項４に記載の状態検知装置。
【請求項７】
インターフェース分析手段は、ユーザーインターフェースに含まれる情報量として、ユーザーに提示されるメニュー項目に構文解析を適用することによって得られる語数を取得することを特徴とする請求項２または請求項４に記載の状態検知装置。
【請求項８】
インターフェース分析手段は、ユーザーインターフェースの操作量として、ユーザーが前記ユーザーインターフェースの操作を完了するために必要な平均操作回数を取得することを特徴とする請求項３または請求項４に記載の状態検知装置。
【請求項９】
インターフェース分析手段は、ユーザーインターフェースの操作量として、ユーザーが前記ユーザーインターフェースの操作を完了するために必要な最大操作回数を取得することを特徴とする請求項３または請求項４に記載の状態検知装置。
【請求項１０】
ユーザーが現在操作しているユーザーインターフェースより以前の前記ユーザーインターフェースに関して、操作を完了するまでに要した時間を計測し、計測された前記操作を完了するまでに要した時間を用いて、前記ユーザーが単位情報量を処理するのに必要な時間や単位操作あたりに必要な時間を更新する認識時間推定手段をさらに備えることを特徴とする請求項２から請求項４のいずれか一項に記載の状態検知装置。
【請求項１１】
認識時間推定手段は、あらかじめ規定されたインターフェースに対してのみ、ユーザーが操作を完了するまでに要する時間を計測し、前記ユーザーが単位情報量を処理するのに必要な時間や単位操作あたりに必要な時間を更新することを特徴とする請求項１０記載の状態検知装置。
【請求項１２】
認識時間推定手段は、インターフェースの遷移回数をカウントし、あらかじめ規定された間隔に該当する前記遷移回数において設定された前記インターフェースに対してのみ、ユーザーが操作を完了するまでに要する時間を計測し、前記ユーザーが単位情報量を処理するのに必要な時間や単位操作あたりに必要な時間を更新することを特徴とする請求項１０記載の状態検知装置。
【請求項１３】
ユーザーからの入力を受け付ける情報入力受付ステップと、前記ユーザーに提示するユーザーインターフェースを構築するインターフェース構成ステップと、前記インターフェース構成ステップにより構築された前記ユーザーインターフェースの内容を分析するインターフェース分析ステップと、前記インターフェース分析ステップにより分析された前記内容に基づき、前記ユーザーが操作に困っている状態であると判定するまでの所要時間を算出するアシスト情報開始時間算出ステップと、前記ユーザーインターフェースが操作可能になってからの経過時間を計測する時間計測ステップと、前記ユーザーが操作に困っている状態であると判定するまでの前記所要時間と前記経過時間を参照して前記ユーザーが操作に困っている状態であるか否かを判定するユーザー状態判定ステップ、及び前記ユーザーインターフェースや前記ユーザーが操作に困っていると判定された場合に前記ユーザーの操作を補助するための情報を表示する情報表示ステップを含むことを特徴とする状態検知方法。
【請求項１４】
インターフェース分析ステップは、分析結果としてユーザーインターフェースに含まれる情報量を取得し、アシスト情報開始時間算出ステップは、取得された前記情報量と単位情報量を処理するのに必要な時間に基づき、ユーザーが操作に困っている状態であると判定するまでの所要時間を算出することを特徴とする請求項１３記載の状態検知方法。
【請求項１５】
インターフェース分析ステップは、分析結果としてユーザーインターフェースの操作量を取得し、アシスト情報開始時間算出ステップは、取得された前記操作量と単位操作あたりに必要な時間に基づき、ユーザーが操作に困っている状態であると判定するまでの所要時間を算出することを特徴とする請求項１３記載の状態検知方法。
【請求項１６】
インターフェース分析ステップは、分析結果としてユーザーインターフェースに含まれる情報量、及び前記ユーザーインターフェースの操作量を取得し、アシスト情報開始時間算出ステップは、取得された前記情報量及び前記操作量と単位情報量を処理するのに必要な時間及び単位操作あたりに必要な時間に基づき、ユーザーが操作に困っている状態であると判定するまでの所要時間を算出することを特徴とする請求項１３記載の状態検知方法。
【請求項１７】
ユーザーが現在操作しているユーザーインターフェースより以前の前記ユーザーインターフェースに関して、操作を完了するまでに要した時間を計測し、計測された前記操作を完了するまでに要した時間を用いて、前記ユーザーが単位情報量を処理するのに必要な時間や単位操作あたりに必要な時間を更新する認識時間推定ステップをさらに備えることを特徴とする請求項１４から請求項１６のいずれか一項に記載の状態検知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機器を操作しているユーザーが困っている状態を検知する装置に関し、特に操作しているインターフェースの内容や構造を分析することによって状態を検知する状態検知装置に関する。
【背景技術】
【０００２】
近年、デジタルテレビやハードディスクレコーダなどデジタル家電の多機能化、高機能化に伴い、これらの機器を操作するユーザーへの負担が増大している。場合によっては操作があまりにも複雑であるために、搭載されていても全く使用されない機能が存在する事例もある。そのため、ユーザーが簡単に操作でき、操作した結果をわかりやすくフィードバックしてくれる操作環境、すなわち優れたユーザーインターフェースをこれらの機器に搭載することが益々重要になってきている。
【０００３】
開発したユーザーインターフェースが優れたものか否かを判定する評価手法として、特開平１１−３２７９６９号公報に開示された「ユーザーインターフェース評価装置」がある。開示された「ユーザーインターフェース評価装置」では、評価対象のシステムに対するユーザーの操作内容とその操作が行われた時刻を含む操作履歴を取得する。また、各操作に対する操作時間の閾値を登録しておく。そして、取得された操作履歴からユーザーが実際に操作に要した時間を算出し、この時間と閾値を比較して、閾値以上要した操作を抽出する。抽出された操作は、同一の操作毎に統計処理され、その結果が表示される。これにより操作に要した時間が長い項目とその所要時間を少ない作業量で抽出することが可能となる（例えば参考文献１参照）。
【０００４】
ユーザーにとって使いやすい機器にするためには、優れたインターフェースを提供するとともに、ユーザーが操作に困っている状態を的確に検知し、操作補助や誘導を行うヘルプ機能を充実させることも重要であると考えられる。この課題を解決するために開示された技術として、特開２０００−２２７８２６号公報に開示された「アクティブ・ヘルプ装置」がある。開示された「アクティブ・ヘルプ装置」は、ＡＴＭなどの対話型システムに関して、利用者とシステム間の入出力信号を監視、記録した対話履歴に基づき、表示画面ごとの表示標準時間を更新する。更新された表示標準時間と現在の表示時間とを比較し、利用者とシステムの対話に異常な遅延や膠着が生じているか否かを評価する。異常な遅延が生じている場合には、ヘルプ情報を提示する（例えば特許文献２参照）。
【特許文献１】特開平１１−３２７９６９号公報
【特許文献２】特開２０００−２２７８２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら上記の「ユーザーインターフェース評価装置」は、既存のユーザーインターフェースの操作性を効率的に評価する手法を提供するものであり、得られた結果を新たに作成されるインターフェースに対して適用できるわけではない。
【０００６】
また、「アクティブ・ヘルプ装置」は、固定的なインターフェースに対してユーザーが困っている状態を検知し、ヘルプ情報を提示することは可能であるが、個人向けにカスタマイズされていくインターフェースや、番組表、再生番組選択など内容が動的に更新されていくインターフェースに適用することは困難である。
【０００７】
そこで、本発明はこのような状況に鑑みてなされたもので、個人向けに動的にカスタマイズや更新されていくインターフェースであっても適切なタイミングでアシスト情報を提示するために、ユーザーが困っている状態を的確に検知することが可能な状態検知装置を提供することを目的とする。さらに本発明は、ユーザーの操作に対する熟練度や機器を操作している状況（例えば、集中して操作しているのか、それとも飲食しながらリラックスして操作しているのかなど）を加味して適切に検知できる状態検知装置を提供することをも目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の請求項１に記載の状態検知装置は、ユーザーからの入力を受け付ける情報入力受付手段と、前記ユーザーに提示するユーザーインターフェースを構築するインターフェース構成手段と、前記インターフェース構成手段により構築された前記ユーザーインターフェースの内容を分析するインターフェース分析手段と、前記インターフェース分析手段により分析された前記内容に基づき、前記ユーザーが操作に困っている状態であると判定するまでの所要時間を算出するアシスト情報開始時間算出手段と、前記ユーザーインターフェースが操作可能になってからの経過時間を計測する時間計測手段と、前記ユーザーが操作に困っている状態であると判定するまでの前記所要時間と前記経過時間を参照して前記ユーザーが操作に困っている状態であるか否かを判定するユーザー状態判定手段、及び前記ユーザーが操作に困っていると判定された場合に前記ユーザーの操作を補助するための情報と前記ユーザーインターフェースを表示する情報表示手段を備えるものである。
【０００９】
また、本発明の請求項２に記載の状態検知装置は、請求項１に記載の状態検知装置において、インターフェース分析手段は、分析結果としてユーザーインターフェースに含まれる情報量を取得し、アシスト情報開始時間算出手段は、取得された前記情報量と、単位情報量を処理するのに必要な時間に基づき、ユーザーが操作に困っている状態であると判定するまでの所要時間を算出するものである。
【００１０】
また、本発明の請求項３に記載の状態検知装置は、請求項１に記載の状態検知装置において、インターフェース分析手段は、分析結果としてユーザーインターフェースの操作量を取得し、アシスト情報開始時間算出手段は、取得された前記操作量と、単位操作あたりに必要な時間に基づき、ユーザーが操作に困っている状態であると判定するまでの所要時間を算出するものである。
【００１１】
また、本発明の請求項４に記載の状態検知装置は、請求項１に記載の状態検知装置において、インターフェース分析手段は、分析結果としてユーザーインターフェースに含まれる情報量、及び前記ユーザーインターフェースの操作量を取得し、アシスト情報開始時間算出手段は、取得された前記情報量及び前記操作量と、単位情報量を処理するのに必要な時間及び単位操作あたりに必要な時間に基づき、ユーザーが操作に困っている状態であると判定するまでの所要時間を算出するものである。
【００１２】
また、本発明の請求項５に記載の状態検知装置は、請求項２または請求項４に記載の状態検知装置において、インターフェース分析手段は、ユーザーインターフェースに含まれる情報量として、ユーザーに提示されるメニュー項目数を取得するものである。
【００１３】
また、本発明の請求項６に記載の状態検知装置は、請求項２または請求項４に記載の状態検知装置において、インターフェース分析手段は、ユーザーインターフェースに含まれる情報量として、ユーザーに提示される文字数を取得するものである。
【００１４】
また、本発明の請求項７に記載の状態検知装置は、請求項２または請求項４に記載の状態検知装置において、インターフェース分析手段は、ユーザーインターフェースに含まれる情報量として、ユーザーに提示されるメニュー項目に字句解析を適用することによって得られる語数を取得するものである。
【００１５】
また、本発明の請求項８に記載の状態検知装置は、請求項３または請求項４に記載の状態検知装置において、インターフェース分析手段は、ユーザーインターフェースの操作量として、ユーザーが前記ユーザーインターフェースの操作を完了するために必要な平均操作回数を取得するものである。
【００１６】
また、本発明の請求項９に記載の状態検知装置は、請求項３または請求項４に記載の状態検知装置において、インターフェース分析手段は、ユーザーインターフェースの操作量として、ユーザーが前記ユーザーインターフェースの操作を完了するために必要な最大操作回数を取得するものである。
【００１７】
また、本発明の請求項１０に記載の状態検知装置は、請求項２から請求項４のいずれか１項に記載の状態検知装置において、ユーザーが現在操作しているユーザーインターフェースより以前の前記ユーザーインターフェースに関して、操作を完了するまでに要した時間を計測し、計測された前記操作を完了するまでに要した時間を用いて、前記ユーザーが単位情報量を処理するのに必要な時間や単位操作あたりに必要な時間を更新する認識時間推定手段をさらに備えるものである。
【００１８】
また、本発明の請求項１１に記載の状態検知装置は、請求項１０に記載の状態検知装置において、認識時間推定手段は、あらかじめ規定されたインターフェースに対してのみ、ユーザーが操作を完了するまでに要する時間を計測し、前記ユーザーが単位情報量を処理するのに必要な時間や単位操作あたりに必要な時間を更新するものである。
【００１９】
また、本発明の請求項１２に記載の状態検知装置は、請求項１０に記載の状態検知装置において、認識時間推定手段は、インターフェースの遷移回数をカウントし、あらかじめ規定された間隔に該当する前記遷移回数において設定された前記インターフェースに対してのみ、ユーザーが操作を完了するまでに要する時間を計測し、前記ユーザーが単位情報量を処理するのに必要な時間や単位操作あたりに必要な時間を更新するものである。
【００２０】
また、本発明の請求項１３に記載の状態検知方法は、ユーザーからの入力を受け付ける情報入力受付ステップと、前記ユーザーに提示するユーザーインターフェースを構築するインターフェース構成ステップと、前記インターフェース構成ステップにより構築された前記ユーザーインターフェースの内容を分析するインターフェース分析ステップと、前記インターフェース分析ステップにより分析された前記内容に基づき、前記ユーザーが操作に困っている状態であると判定するまでの所要時間を算出するアシスト情報開始時間算出ステップと、前記ユーザーインターフェースが操作可能になってからの経過時間を計測する時間計測ステップと、前記ユーザーが操作に困っている状態であると判定するまでの前記所要時間と前記経過時間を参照して前記ユーザーが操作に困っている状態であるか否かを判定するユーザー状態判定ステップ、及び前記ユーザーインターフェースや前記ユーザーが操作に困っていると判定された場合に前記ユーザーの操作を補助するための情報を表示する情報表示ステップを含むものである。
【００２１】
また、本発明の請求項１４に記載の状態検知方法は、請求項１３に記載の状態検知方法において、インターフェース分析ステップは、分析結果としてユーザーインターフェースに含まれる情報量を取得し、アシスト情報開始時間算出ステップは、取得された前記情報量と単位情報量を処理するのに必要な時間に基づき、ユーザーが操作に困っている状態であると判定するまでの所要時間を算出するものである。
【００２２】
また、本発明の請求項１５に記載の状態検知方法は、請求項１３に記載の状態検知方法において、インターフェース分析ステップは、分析結果としてユーザーインターフェースの操作量を取得し、アシスト情報開始時間算出ステップは、取得された前記操作量と単位操作あたりに必要な時間に基づき、ユーザーが操作に困っている状態であると判定するまでの所要時間を算出するものである。
【００２３】
また、本発明の請求項１６に記載の状態検知方法は、請求項１３に記載の状態検知方法において、インターフェース分析ステップは、分析結果としてユーザーインターフェースに含まれる情報量、及び前記ユーザーインターフェースの操作量を取得し、アシスト情報開始時間算出ステップは、取得された前記情報量及び前記操作量と単位情報量を処理するのに必要な時間及び単位操作あたりに必要な時間に基づき、ユーザーが操作に困っている状態であると判定するまでの所要時間を算出するものである。
【００２４】
また、本発明の請求項１７に記載の状態検知方法は、請求項１４から請求項１６のいずれか１項に記載の状態検知方法において、ユーザーが現在操作しているユーザーインターフェースより以前の前記ユーザーインターフェースに関して、操作を完了するまでに要した時間を計測し、計測された前記操作を完了するまでに要した時間を用いて、前記ユーザーが単位情報量を処理するのに必要な時間や単位操作あたりに必要な時間を更新する認識時間推定ステップをさらに備えるものである。
【発明の効果】
【００２５】
以上説明したように、本発明に係る状態検知装置は、構築されたインターフェースの内容や構造を分析した結果と、１語数あたりや１操作あたりなどの単位処理時間に基づき、当該インターフェースの操作を完了するのに要する時間を推定する。そして、推定された操作時間と現在操作に要している時間を比較し、推定時間以上が経過するとユーザーが困っている状態であると判断し、ヘルプ情報を表示する。
【００２６】
従って、個人向けに動的にカスタマイズや更新されていくインターフェースであっても、ユーザーが困っている状態を的確に検知することが可能となる。
【００２７】
また、本発明に係る状態検知装置は、単位処理時間を直前までのユーザーの操作所要時間を利用することで動的に更新する。
【００２８】
そのため、ユーザーの操作に対する熟練度や機器を操作している状況を、ユーザーが操作に困っていると判定される時間に反映させることが可能となる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３０】
（実施の形態１）
以下、本発明の実施の形態１に係る状態検知装置を、図面を参照しながら説明する。
【００３１】
図２は、個人向けにカスタマイズされているグラフィカルユーザーインターフェース（以降、ＧＵＩと称す。）と当該ＧＵＩを操作するリモコンの例を示す図である。
【００３２】
図２は、蓄積メディアに保存されているタイトルリストから所望の番組を選択するためのＧＵＩの例である。図２（ａ）のタイトルリストには５個の番組が縦列に表示されており、各番組に関しては左列より放送されたチャンネル番号、タイトル、録画日時、録画時刻の情報が含まれている。ユーザーは図２の（ｃ）に示されたリモコンの上下ボタンを押すことでフォーカスを上下に移動させ、所望の番組に到達すると決定ボタンを押すことで選択を行う。一方、図２（ｂ）のタイトルリストには、３個の番組が横列に表示されており、各番組に関しては上から番組ジャンル、放送されたチャンネル番号、タイトル、録画日時、録画時刻、番組内容の紹介、出演者の情報が含まれている。本ＧＵＩでは、蓄積されている番組がジャンル別に分類されており、各ジャンル列の縦方向に配置されている。従って、ユーザーはまず左右ボタンを押して所望の番組が分類されているジャンルにフォーカスをあわせ、続いて上下ボタンを押すことで当該ジャンルに含まれている番組を検索し、所望の番組に到達すると決定ボタンを押すことで選択を完了する。
【００３３】
このように、番組を選択するという同じ操作を行う場合であっても、番組の配置や画面構成により必要な操作数は大きく異なってくることがわかる。また、図２（ａ）のタイトルリストではタイトルと録画した日時、時刻のみの情報を参照して選択するのに対し、図２（ｂ）のタイトルリストでは詳細説明や出演者の情報も加味して選択することができる。このように、画面上に一度に表示される情報量によっても操作時間は異なってくると考えられる。さらに、表示される情報は録画した番組により異なるので、動的に更新されていく。
【００３４】
本発明の状態検知装置は、このような個人的にカスタマイズされたり、内容が動的に更新されていくＧＵＩに対して、特に有効に機能する。
【００３５】
図１は、本発明の実施の形態１における状態検知装置の構成の一例を示す図である。なお、本発明の実施の形態１における状態検知装置を説明する例として、蓄積メディアに記録されている多数の番組の中から所望の番組を選択するタイトルリストのＧＵＩに適用する場合について説明する。
【００３６】
本発明の実施の形態１に係る情報検知装置１０は、情報入力受付手段１１、時間計測手段１２、ユーザー状態判定手段１３、アシスト情報開始時間算出手段１４、インターフェース分析手段１５、インターフェース構成手段１６、インターフェース構成要素記憶装置１７、及び情報表示手段１８により構成されている。
【００３７】
情報入力受付手段１１は、ユーザーのリモコン操作に関する情報の入力を受け付ける。時間計測手段１２は、ユーザーが操作に要する時間（以降、ユーザー操作時間と称す。）を計測するためのタイマーなどである。ユーザー状態判定手段１３は、ユーザー操作時間とアシスト情報開始時間算出手段１４より送信されてくる時間とを比較し、ユーザーが困っている状態か否かを判定する。アシスト情報開始時間算出手段１４は、当該ＧＵＩに関して、ユーザーが困っている状態であると判定するまでの時間を算出する。インターフェース分析手段１５は、ＧＵＩを分析し、その構成や情報量などを取得する。インターフェース構成手段１６は、インターフェース構成要素記憶装置１７に保持されているＧＵＩを構築するための情報、例えば各種メニューの配置を決定するテンプレートや表示内容、サムネイル画像、背景に使用する静止画（以降これらを総称してＧＵＩ部品と称す。）から、必要な情報を取得し、画面に表示するＧＵＩを構築する。インターフェース構成要素記憶装置１７は、各種ＧＵＩ部品を保持している。情報表示手段１８は、構築されたＧＵＩを表示したり、ユーザーが困っている状態であると判定された場合に、ヘルプメッセージを表示したりする。
【００３８】
以下、本発明の実施の形態１における状態検知装置１０の具体的な動作を順に説明する。
【００３９】
本発明の実施の形態１における状態検知装置１０では、まずインターフェース構成手段１６がインターフェース構成要素記憶装置１７に保持されているＧＵＩ部品を取得し、ユーザーに提示するＧＵＩを構築する。以下では、ＧＵＩの構築手順を説明する。
【００４０】
状態検知装置１０は、図３に示すようにユーザーの操作とそれに対応するＧＵＩの関係を表す情報（以降、状態遷移図と称す。）をインターフェース構成要素記憶装置１７に保持している。状態遷移図は、システムが構築し得るすべてのＧＵＩ（四角で囲まれたブロック）と操作前後の状態遷移との関係を表す矢印（横に記述されているのは実行した操作）により記述される。例えば、現在ユーザーが操作しているＧＵＩがＳ１０のトップメニューであり、そこで「番組選択」を選択すると、Ｓ１３の番組リストのＧＵＩに遷移する。なお、状態遷移図は常に固定である必要はなく、例えばユーザーの熟練度に応じて動的に変更される構成であっても良い。インターフェース構成手段１６は、状態遷移図とユーザーが直前に行った操作を参照し、次に構築すべきインターフェースを決定する。
【００４１】
例えば、その機器の操作に熟練しているユーザーには、メニューの各項目に関する詳細な説明はそれほど必要ではなく、むしろ逆効果になることがある。一方、その機器の操作に慣れていないユーザーであれば、各メニューに関して詳しい説明があった方が良いことが多い。また、操作しているのが高齢者であれば、画面に表示される文字数を減らして大きく表示した方が良いし、子供が使用している場合にはなるべく文字は平仮名、カタカナで表示した方が良いというように年齢によってもＧＵＩの最適な提示方法は異なっていると考えられる。従って、同じ操作を行うＧＵＩでもユーザー毎に最適な画面構成、メニュー数、メニュー配置のものを提示することが望ましい。以降では、ＧＵＩを構築するために利用する画面構成、メニュー数、メニュー配置、背景などに関する情報を含むファイルをインターフェース構成テンプレートと称す。インターフェース構成テンプレートの例を図４に示す。図４の（ａ）は、図２の（ａ）のＧＵＩを構成するためのインターフェース構成テンプレートであり、図４の（ｂ）は、図２の（ｂ）のＧＵＩを構成するためのインターフェース構成テンプレートである。インターフェース構成テンプレートは、＜＞で表されるタグとタグで囲まれたスペースに記述される内容情報により構成される。タグは記述される情報の種類を特定するためのものである。図４（ａ）のインターフェース構成テンプレート４０において、＜ｍｅｎｕ＞タグは、本テンプレートがどのＧＵＩを構築するためのものであるかを表す。＜／ｍｅｎｕ＞は＜ｍｅｎｕ＞タグの終了を意味する。従って、テンプレートの記述４２は、本テンプレートが番組選択のためのＧＵＩを構築するためのものであることを表している。同様に、＜ｔｏｔａｌ＿ｎｕｍ＞タグは現在蓄積されている総タイトル数、＜ｔｅｍｐｌａｔｅ＞はＧＵＩを構成する内容に関する情報の記述が開始されることを示すヘッダ、＜ｔｙｐｅ＞はメニューの配置、＜ｎｕｍ＿ｉｎｄ＞は一度に表示されるメニュー数、＜ｌｉｓｔ＞は表示するメニューに関する情報の記述が開始されることを示すヘッダ、＜ｉｔｅｍ＞は表示するメニュー実体の格納場所、＜ｃｎｔ＞はメニューに含まれる項目のうち実際に表示される内容、＜ｐａｒｔ＞は内容を表示するために使用する部品の種類、＜ｂａｃｋｇｒｏｕｎｄ＞は背景をそれぞれ表すタグである。また、ｔｏｔａｌ＿ｔｉｔｌｅｓ及びｐｒｏｇｒａｍ＿ｌｉｓｔは随時更新されていく変数であり、インターフェース構成テンプレートとは別の領域に保持されている。
【００４２】
以上により、図４（ａ）のインターフェース構成テンプレート４０を解釈すると、「番組選択ＧＵＩを構築するためのテンプレートであり、ＴＹＰＥ＿ＬＩＳＴ（縦一列のリスト）タイプの構造で、一度に表示されるタイトル数は５個、表示されるのはｐｒｏｇｒａｍ＿ｌｉｓｔで指定される領域に保持されている内容であり、チャンネル番号、タイトル、時刻に関する情報が表示される。また、これらの情報はグレーの矩形の上に貼り付けられて表示される。背景は「ｆｌｏｗｅｒｓ．ｉｍｇ」で指定される静止画ファイルである。」となる。図４（ｂ）のインターフェース構成テンプレート４１は、ＴＹＰＥ＿ＧＥＮＲＥ＿ＭＡＴＲＩＸ（ジャンル別に分類されたマトリックス型）タイプのＧＵＩであり、＜ｉｎｄ＿ｒｏｗ＞は行方向、＜ｉｎｄ＿ｃｌｍ＞は列方向に表示するメニュー数、＜ｋｉｎｄ＞はジャンルの種類、＜ｉｎｕｍ＞はそのジャンルに分類されているメニュー数である。ｔｏｔａｌ＿ｔｉｔｅｓ，ｄｏｃｕｍｅｎｔａｒｙ＿ｌｉｓｔ，ｓｐｏｒｔｓ＿ｌｉｓｔ，ｍｏｖｉｅ＿ｌｉｓｔ，ｎｅｗｓ＿ｌｉｓｔ，ｎｕｍ＿ｄｏｃｓ，ｎｕｍ＿ｓｐｔｓ，ｎｕｍ＿ｍｖｓ及びｎｕｍ＿ｎｗｓは随時更新されていく変数であり、インターフェース構成テンプレートとは別の領域に保持されている。
【００４３】
なお、本発明の実施の形態１における状態検知装置では、タグ形式で記述されたインターフェース構成テンプレートを用いたが、その限りでない。例えば、あらかじめフォーマットを規定しておき、バイナリ形式で保存されたファイルであっても良い。
【００４４】
インターフェース構成手段１６には各ＧＵＩに対応するインターフェース構成テンプレートが複数用意されており、その中から最適なインターフェース構成テンプレートを選択するが、その方法は特に限定しない。例えば、ユーザーに好みのＧＵＩ構成を選択してもらう方法でも良いし、ユーザーの操作履歴に基づいて熟練度を推定し、推定された熟練度に合致したテンプレートを選択する方法でも良い。また、カメラなどの顔画像を取得する手段を別に備えて、操作しているユーザーの顔画像を取得し、解析することによって年齢や性別を推定し、その結果に基づいてテンプレートを選択しても良い。
【００４５】
インターフェース構成手段１６は、選択されたインターフェース構成テンプレートに基づき、インターフェースを構成するのに必要な情報をインターフェース構成要素記憶装置１７より取得し、ＧＵＩを構築する。例えば、図４の（ｂ）のテンプレートが選択されたとすると、別の領域に保持されている現在の番組選択ＧＵＩに関する情報ｔｏｔａｌ＿ｔｉｔｌｅｓ，ｄｏｃｕｍｅｎｔａｒｙ＿ｌｉｓｔ，ｓｐｏｒｔｓ＿ｌｉｓｔ，ｍｏｖｉｅ＿ｌｉｓｔ，ｎｅｗｓ＿ｌｉｓｔ，ｎｕｍ＿ｄｏｃｓ，ｎｕｍ＿ｓｐｔｓ，ｎｕｍ＿ｍｖｓ及びｎｕｍ＿ｎｗｓをインターフェース構成要素記憶装置１７から読み出し、ユーザーに提示するＧＵＩを構築する。構成されたＧＵＩは、情報表示手段１８を介してユーザーに提示されるとともに、インターフェース分析手段１５に送信される。
【００４６】
前述したように、同じ操作を行うＧＵＩであっても、画面構成やメニュー数などによりそのＧＵＩを操作するのに必要な時間は大きく異なると考えられる。そこで、インターフェース分析手段１５は、送信されてきたＧＵＩに関する情報を分析して、当該ＧＵＩの操作に要する時間を算出するために必要なパラメータを抽出する。本発明の実施の形態１における状態検知装置１０では、ＧＵＩに含まれる情報量と平均操作回数または最大操作回数を利用する。以下で、これらのパラメータを抽出する手順について説明する。
【００４７】
ＧＵＩに含まれる情報量を表す指標は特に限定しない。以下では３種類の指標を用いる場合について説明する。
【００４８】
（１）メニュー数を利用する方法
ＧＵＩに含まれるメニュー項目数を利用する方法である。これにはインターフェース構成テンプレートに記述されている＜ｔｏｔａｌ＿ｎｕｍ＞タグの情報を利用する。図４の（ａ）の例では、メニューがすべて縦一列に配置されているため、情報量はタイトルリスト数と一致し、ｔｏｔａｌ＿ｔｉｔｌｅｓとなる。また、図４（ｂ）の例では１×３＝３が画面の情報量となり、インターフェース構成テンプレート全体ではジャンル数が４個であるため、（４＋ｔｏｔａｌ＿ｔｉｔｌｅｓ）となる。
【００４９】
（２）文字数を利用する方法
ＧＵＩに含まれる文字数を利用する方法である。これは各項目の文字数をカウントし、その総和をとることで算出される。例えば、図４（ａ）の例で、「６  世界遺産特集  １２／３（水）  １７：００−１９：００」の情報量は１＋６＋７＋１１＝２５であり、画面全体では１３７となる。この処理をインターフェース構成テンプレート全体に対して行い、その総和を求める。
【００５０】
（３）構文解析を利用する方法
（１）の方法では各項目に含まれている情報量を考慮していないので、例えば各項目に番組に関する詳細説明が含まれているか否かは反映されない。従って、かなり粒度の粗い分析であると言える。また、（２）の方法では、文字数のみを考慮するため、各項目が持つ意味などは考慮されず情報量を表す指標として有効に機能しない場合がある。
【００５１】
本方法は、（１）と（２）の欠点を補うものであり、ＧＵＩを構成する各項目に関して意味のある言葉は１まとまりの情報として扱う。そのため、本手法ではまず各項目に関して構文解析を適用し、意味のある単語の集合に分解する。構文解析の手法に関しては特に限定しない。例えば市販されている形態素解析ソフトウェアを利用しても良い。例えば、図４の（ｂ）において、「エジプトのピラミッドを○○が訪ねる」という文章に対して構文解析を適用し、「エジプト」「の」「ピラミッド」「を」「○○」「が」「訪ね」「る」に分解する。従って、この項目の情報量は８となる。上記の処理を、インターフェース構成テンプレートのすべての項目に対して行い、当該ＧＵＩの情報量を取得する。
【００５２】
ＧＵＩの操作量を表す指標に関しても特に限定しない。以下では２種類の方法について説明する。
【００５３】
（１）平均操作回数を利用する方法
当該ＧＵＩにおける平均操作回数を利用する方法である。例えば、図４（ａ）のＴＹＰＥ＿ＬＩＳＴ（縦一列のリスト）タイプのＧＵＩの場合には、上下ボタンのみで操作し、総タイトル数がｔｏｔａｌ＿ｔｉｔｌｅｓであるから平均操作回数は（ｔｏｔａｌ＿ｔｉｔｌｅｓ／２＋１）回（定数の１は「決定」ボタンの操作を表す。）となる。また、図４（ｂ）のＴＹＰＥ＿ＧＥＮＲＥ＿ＭＡＴＲＩＸ（ジャンル別に分類されたマトリックス型）タイプのＧＵＩの場合には、上下左右ボタンを操作し、タイトルがマトリックス状に配置されているので、横方向（ジャンル選択）の平均操作回数と縦方法（タイトル選択）の平均操作回数の和で表される。図４（ｂ）のインターフェース構成テンプレート４１を参照し、＜ｋｉｎｄ＞タグの個数をカウントすると４個含まれていることがわかるので、横方向の平均操作回数は４／２＝２回となる。１個のジャンルに含まれているタイトル数の平均はｔｏｔａｌ＿ｔｉｔｌｅｓ／４個であるので、縦方向の平均操作回数は、ｔｏｔａｌ＿ｔｉｔｌｅｓ／４／２＝ｔｏｔａｌ＿ｔｉｔｌｅｓ／８回となる。従って、このタイプのインターフェースの平均操作回数は、（２＋ｔｏｔａｌ＿ｔｉｔｌｅｓ／８＋１）回と求められる。また、平均操作回数を算出する別の方法として、各ジャンルに含まれているタイトル数の差異を考慮する方法もある。図４（ｂ）のＧＵＩでは、ドキュメンタリーのジャンルを選択するのに必要な操作回数は０回であり、当該ジャンルにはｎｕｍ＿ｄｏｃｓ個のタイトルが登録されているので、ドキュメンタリーのジャンルを選択する平均操作回数は０×ｎｕｍ＿ｄｏｃｓ／ｔｏｔａｌ＿ｔｉｔｌｅｓ＝０回である。同様に、スポーツは１×ｎｕｍ＿ｓｐｔｓ／ｔｏｔａｌ＿ｔｉｔｌｅｓ＝ｎｕｍ＿ｓｐｔｓ／ｔｏｔａｌ＿ｔｉｔｌｅｓ回，映画は２＊ｎｕｍ＿ｍｖｓ／ｔｏｔａｌ＿ｔｉｔｌｅｓ回、及びニュースは３＊ｎｕｍ＿ｎｗｓ／ｔｏｔａｌ＿ｔｉｔｌｅｓ回となる。従って、横方向の平均操作回数Ｎは、Ｎ＝（ｎｕｍ＿ｓｐｔｓ／ｔｏｔａｌ＿ｔｉｔｌｅｓ＋２＊ｎｕｍ＿ｍｖｓ／ｔｏｔａｌ＿ｔｉｔｌｅｓ＋３＊ｎｕｍ＿ｎｗｓ／ｔｏｔａｌ＿ｔｉｔｌｅｓ）回となる。次に、ドキュメンタリーを選択した場合に、縦方向の平均操作回数はｎｕｍ＿ｄｏｃｓ／２回であり、ドキュメンタリーのジャンルから番組が選択される確率はｎｕｍ＿ｄｏｃｓ／ｔｏｔａｌ＿ｔｉｔｌｅｓであるから、ドキュメンタリーの縦方向平均操作回数はｎｕｍ＿ｄｏｃｓ＾２／（２＊ｔｏｔａｌ＿ｔｉｔｌｅｓ）回と表せる。同様に、各ジャンル別の縦方向平均操作回数を算出すると、それぞれｎｕｍ＿ｓｐｔｓ＾２／（２＊ｔｏｔａｌ＿ｔｉｔｌｅｓ）回、ｎｕｍ＿ｍｖｓ＾２／（２＊ｔｏｔａｌ＿ｔｉｔｌｅｓ）回、ｎｕｍ＿ｎｗｓ＾２／（２＊ｔｏｔａｌ＿ｔｉｔｌｅｓ）回となる。従って、縦方向の平均操作回数ＣはＣ＝（ｎｕｍ＿ｄｏｃｓ＾２／（２＊ｔｏｔａｌ＿ｔｉｔｌｅｓ）＋ｎｕｍ＿ｓｐｔｓ＾２／（２＊ｔｏｔａｌ＿ｔｉｔｌｅｓ）＋ｎｕｍ＿ｍｖｓ＾２／（２＊ｔｏｔａｌ＿ｔｉｔｌｅｓ）＋ｎｕｍ＿ｎｗｓ＾２／（２＊ｔｏｔａｌ＿ｔｉｔｌｅｓ））回となり、全体の平均操作回数は、（Ｎ＋Ｃ＋１）回となる。但し、＊は積を表し、＾はべき乗��表す。
【００５４】
（２）最大操作回数を利用する方法
当該画面において、最も操作回数を要する場合を操作量とする方法である。ＴＹＰＥ＿ＬＩＳＴタイプのインターフェースでは、項目リストがループする場合には（ｔｏｔａｌ＿ｔｉｔｌｅｓ／２＋１）回となり、ループしない場合には（ｔｏｔａｌ＿ｔｉｔｌｅｓ＋１）回となる。ＴＹＰＥ＿ＧＥＮＲＥ＿ＭＡＴＲＩＸタイプのインターフェースでは、各ジャンルの最大操作回数を算出し、その最大値を操作量とする。図４（ｂ）の例ではドキュメンタリーを選択した場合の最大操作回数は、（０＋ｎｕｍ＿ｄｏｃｓ／２）＝ｎｕｍ＿ｄｏｃｓ／２回（ループしている場合）、同様にして、各ジャンルの最大操作回数は、（１＋ｎｕｍ＿ｓｐｔｓ／２）回、（２＋ｎｕｍ＿ｍｖｓ／２）回、（３＋ｎｕｍ＿ｎｗｓ／２）回となる。従って、最大操作回数は、ＭＡＸ［ｎｕｍ＿ｄｏｃｓ／２，（１＋ｎｕｍ＿ｓｐｔｓ／２），（２＋ｎｕｍ＿ｍｖｓ／２），（３＋ｎｕｍ＿ｎｗｓ／２）］回となる。ここで、ＭＡＸ［・］は・に設定された値のうち最大のものを表す。
【００５５】
これらの方法を用いることによって抽出された情報量や操作量は、アシスト情報開始時間算出手段１４に送信される。なお、本発明の実施の形態１における状態検知装置では、情報量と操作量がともに送信されるが、その限りではなく、いずれか一方の指標のみを用いても良い。
【００５６】
アシスト情報開始時間算出手段１４は、インターフェース分析手段１５より送信されてきた当該ＧＵＩの情報量と操作量に基づき、ユーザーが困っている状態であると判定するまでの時間を算出する。以下で、具体的な手順について説明するが、ここでインターフェース分析手段１５より送信されてくる情報量をＩ、操作量をＭとする。
【００５７】
アシスト情報開始時間算出手段１４には、例えば１メニューあたり、１文字あたり、１語あたりというように単位情報量を処理するのに要する時間ＴＩと、１操作あたりに要する時間ＴＭがあらかじめ保持されている。ＴＩやＴＭの算出方法は特に限定しない。例えば、本インターフェースに対するユーザビリティテストを事前に実施し、その結果から求めておいても良い。また、図５（ａ）に示すようなアシスト情報表示機能設定用のインターフェースと図５（ｂ）に示すような設定されたパラメータとＴＩ及びＴＭとの対応関係を表すテーブルを用意しておき、ユーザーが選択した設定に応じてＴＩ及びＴＭを決定する方法でも良い。
【００５８】
認知科学の分野では、人間を知覚、認識、運動を司るプロセッサを備えたひとつのシステムであるとみなし、認知過程をモデル化する試みが行われており、名称照合時間など実測結果に合致した有効な知見が得られている。例えば、西田正吾著「メディア工学」には、各種実験によって得られた人間の認知処理時間に関するデータが記載されている。本発明の実施の形態１における状態検知装置では、これらのデータをＴＩやＴＭに利用しても良い。
【００５９】
アシスト情報開始時間算出手段１４は、これらの値を用いて以下の式を計算することにより、ユーザーが困っている状態であると判定するまでの時間（以降、アシスト情報開始時間と称す。）ＴＣを算出する。
【００６０】
【数１】
2006338233.tif 000003
【００６１】
上式において、ｋは当該画面を操作するのに必要な時間に乗算される定数である。ｋは、ユーザーが機器を操作する場合、操作をやり直したり、フォーカスを元に戻す操作が必ず含まれるため、これらを操作時間の算出時に考慮するための定数である。ｋの算出方法は特に限定しない。例えば、ユーザビリティテストで判明したエラー率を用いて、ｋ＝（１＋エラー率）とする方法でも良い。
【００６２】
また、ＴＣの算出方法に関してもこの限りではない。（数１）ではアシスト情報開始時間として短すぎるのであれば、以下の式を用いても良い。
【００６３】
【数２】
2006338233.tif 000004
【００６４】
（数２）を用いると、スムーズに操作を完了するのに要する時間のα倍以上経過した場合にユーザーが困っている状態であると判定される。αの値は特に特定しないが、α＝５や１０といった値を用いればよい。あるいは、図５のようなインターフェースを用意しておき、ユーザーが設定できるようにしても良い。
【００６５】
算出されたアシスト情報開始時間は、ユーザー状態判定手段１３に送信される。
【００６６】
時間計測手段１２は、当該ＧＵＩが操作可能な状態になった時点から時間の計測を開始する。計測された時間は随時ユーザー状態判定手段１３に送信される。そして、ユーザーが当該ＧＵＩに対する処理を完了する（「決定」または「戻る」ボタンを押す）と、計測された時間をリセットし、再計測を開始する。
【００６７】
ユーザー状態判定手段１３は、アシスト情報開始時間算出手段１４より送信されるアシスト情報開始時間と、時間計測手段１２より送信される当該ＧＵＩが操作可能になってからの時間を参照し、その時間以上経過したことを確認すると、ユーザーが困っている状態であると判定し、アシスト情報開始時間算出手段１４を介してインターフェース構成手段１６にヘルプメッセージ表示要求を出す。インターフェース構成手段１６は、そのメッセージを受けると、インターフェース構成要素記憶装置１７からヘルプメッセージ表示用のＧＵＩ部品を読み出し、情報表示手段１８に送信する。情報表示手段１８は、送信されてきたヘルプメッセージを表示するが、その方法は特に限定しない。例えば、「何かお困りですか？」というテキストメッセージを表示しても良い。あるいは、ユーザーアシスト用のエージェントキャラクタを表示し、あたかもこのキャラクタがユーザーに話しかけるように、噴出しにメッセージを表示しても良い。また、音声によるアシストを行っても良い。
【００６８】
このように、本発明の実施の形態１に係る状態検知装置では、インターフェース分析手段において、ユーザーが操作を行うＧＵＩの構成や内容を分析し、当該ＧＵＩの情報量や操作量を取得する。そして、アシスト情報開始時間算出手段は、抽出された情報量や操作量に基づき、アシスト情報開始時間を推定して、ユーザー状態判定手段に送信する。ユーザー状態判定手段は、送信されてきたアシスト情報開始時間とユーザー操作時間を参照することで、ユーザーが困っている状態であるか否かを判定する。
【００６９】
従って、作成されるＧＵＩ毎に処理に必要な時間を推定して、その時間に基づきユーザーが困っている状態であるか否かを判定するため、動的にカスタマイズされたり更新されていくインターフェースであっても、的確に検知することが可能となる。
【００７０】
（実施の形態２）
以下、本発明の実施の形態２に係る状態検知装置を、図面を参照しながら説明する。
【００７１】
本発明の実施の形態１における状態検知装置では、動的に更新されるインターフェースに対してアシスト情報開始時間を的確に検知することが可能であるが、単位情報量あたりの処理時間ＴＩや１操作あたりの処理時間ＴＭは固定である。従って、異なるユーザーであっても提示されるインターフェースの情報量や操作量が同一であれば、アシスト情報開始時間は変化しない。また、同一のユーザーであっても集中して操作を行っている場合もあれば、他の仕事をやりながらゆっくりと操作している場合もあるが、これらのユーザーが操作している状態を反映させることができない。そこで、本発明の実施の形態２における状態検知装置では、操作しているユーザーの熟練度や操作状況をアシスト情報開始時間に反映する。
【００７２】
図６は、本発明の実施の形態２に係る状態検知装置の構成の一例を示す図である。以下でそれぞれの機能について詳細に説明するが、図１と同様の機能を有するものには同一番号を付し、説明を省略する。
【００７３】
本発明の実施の形態２における状態検知装置６０は、図１に示す構成に加えて、認識時間推定手段６１を備えており、時間計測手段１２及びインターフェース分析手段１５が接続されている。
【００７４】
認識時間推定手段６１は、ユーザーがＧＵＩの操作を完了するのに要する時間から単位情報を処理するのに要する時間や１操作あたりに必要な時間を推定する。
【００７５】
以下、本発明の実施の形態２における状態検知装置６０の動作を具体的に説明する。
【００７６】
本発明の実施の形態２における状態検知装置６０の処理は、大きく２つのプロセスにより構成される。以降では、これらをユーザー操作状況推定プロセスとアシスト開始時間算出プロセスとそれぞれ称す。以下では、各プロセスの処理の流れについて詳細に説明する。
【００７７】
（１）ユーザー操作状況推定プロセス
図７は、ユーザー操作状況推定プロセスにおける処理の流れを示す図である。ユーザー操作状況推定プロセスでは、まずステップＳ７１で本発明の実施の形態１で説明したように、状態遷移図を参照して構築するＧＵＩを決定し、インターフェース構成テンプレートをインターフェース構成要素記憶装置１７より読み出してＧＵＩを構築する。ステップＳ７２では、構築されたＧＵＩをインターフェース分析手段１５に送信して、当該ＧＵＩの情報量や操作量を取得する。情報量や操作量の算出方法は本発明の実施の形態１における方法と同様であるが、算出された情報はアシスト情報開始時間算出手段１４には直接送信されず、認識時間推定手段６１に送信される。構築されたＧＵＩは情報表示手段１８を用いて表示される（ステップＳ７３）。それと同時に時間計測手段１２は時間の計測を開始する（ステップＳ７４）。ユーザーは表示されたＧＵＩの操作、（例えばリモコンの上下左右ボタンを押して番組の選択）を行う（ステップＳ７５、ステップＳ７６、ステップＳ７８）。状態検知装置６０は、ユーザーが入力する情報に対応する応答を返す（ステップＳ７７、ステップＳ７９）。そして、これを何度か繰り返した後、ユーザーが「決定」ボタンあるいは「戻る」ボタンを押すと操作が完了する（ステップＳ８０）。操作が完了すると、同時に時間計測手段１２は時間の計測を終了し、操作に要した時間を認識時間推定手段６１に送信する（ステップＳ８１）。
【００７８】
ステップＳ８２では、インターフェース分析手段１５より送信される情報量（ＧＵＩに含まれるメニュー数、文字数、語数など）及び操作量（平均操作回数、最大操作回数）と、時間計測手段１２より送信されるユーザー操作時間に基づき、当該ユーザーの単位情報あたりの処理に必要な時間や１操作あたりに必要な時間を推定する。以下で、これらの具体的な処理手順について説明する。
【００７９】
まず、インターフェース分析手段１５より送信されるのが情報量のみである場合について認識時間推定手段６１の処理の流れを説明する。この場合、認識時間推定手段６１は、操作に要した時間を情報量で除算することによって、単位情報量あたりの処理に要する時間を推定する。例えば、ＧＵＩを分析した結果取得された情報量がＩＳ、ユーザーが当該ＧＵＩを操作するのに要した時間をＴ０とすると、単位情報量をユーザーが処理するのに要する時間ＴＩは、ＴＩ＝ＩＳ／Ｔ０で求められる。ＴＩの算出方法はこの限りではなく、例えば、より正確にＴＩを求めるために、ステップＳ７１からステップＳ８２までの処理をＮ回行った時の平均値ＴＩ［Ｎ］を保持しておき、（Ｎ＋１）回目の処理結果を用いて、（ＴＩ［Ｎ］＋ＴＩ）／（Ｎ＋１）→ＴＩ［Ｎ＋１］と更新していく方法でも良い。
【００８０】
また、インターフェース分析手段１５から送信されるのが、操作量のみの場合には、操作を完了するのに要した時間を操作量で除算することによって、当該ユーザーの１操作あたりに必要な時間ＴＭを算出する。
【００８１】
次に、インターフェース分析手段１５より情報量及び操作量が送信されてくる場合のＴＩ及びＴＭの算出方法について説明する。
【００８２】
ここで本発明の実施の形態２における状態検知装置６０では、情報量Ｉ、操作量Ｍ、単位情報量あたりの処理に要する時間ＴＩ、１操作あたりに要する時間ＴＭと、ユーザーが操作を完了するのに要する時間Ｔの間には、
【００８３】
【数３】
2006338233.tif 000005
【００８４】
の関係が成立すると仮定する。（数３）は認知科学の分野で知られている人間の認知処理モデルを基本にして、ユーザーのエラー率を考慮したものである。（数３）において、Ｉ及びＭはインターフェース分析手段１５より送信されてくる値であり、Ｔは時間計測手段１２より送信される時間である。また、ｋは定数であり、本発明の実施の形態１における状態検知装置と同様である。従って、ステップＳ７１からステップＳ８１までの処理を２回行い、ｉ回目の処理で得られた結果をＩ［ｉ］、Ｍ［ｉ］、及びＴ［ｉ］とすると、以下の連立方程式が成立する。
【００８５】
【数４】
2006338233.tif 000006
【００８６】
認識時間推定手段６１は、（数４）を解くことによりＴＩ及びＴＭを算出する。算出方法はこの限りではなく、より正確にＴＩ及びＴＭを求めるために以下の方法を用いても良い。この方法ではステップＳ７１からステップＳ８１までの処理をＮ回実行した結果を保持しておく。これらは（数４）と同様に以下のように表現できる。
【００８７】
【数５】
2006338233.tif 000007
【００８８】
（数５）を行列とベクトルの形式で表すと以下にようになる。
【００８９】
【数６】
2006338233.tif 000008
【００９０】
（数６）は、次のようにしてＭＳを求めることができる。
【００９１】
【数７】
2006338233.tif 000009
【００９２】
（数７）において、ＭＲ＋はＭＲの一般化逆行列であり、ＭＲ＋＝（ＭＲＴ＊ＭＲ）−１ＭＲＴで求められる。なお、＊は行列と行列、または行列とベクトルの積を表す。
【００９３】
以上の処理により、ＴＩ及びＴＭの値を、機器を操作しているユーザー毎に、また同一ユーザーであっても操作している状況を反映させて算出することが可能となる。算出されたＴＩ及びＴＭはアシスト情報開始時間算出手段１４に送信される。
【００９４】
（２）アシスト開始時間算出プロセス
アシスト開始時間算出プロセスでは、本発明の実施の形態１における状態検知装置と同様に、ユーザーが困っている状態であると判定する時間を算出するが、その際ユーザー操作状況推定プロセスにおいて推定された単位情報量あたりの処理時間ＴＩ及び１操作あたりの処理時間ＴＭを用いる。
【００９５】
図８は、アシスト開始時間算出プロセスの処理の流れを示すフローチャートである。ステップＳ９１では、インターフェース構成手段１６においてインターフェース構成要素記憶装置１７に保持されているＧＵＩ部品を用いて、次にユーザーに提示するＧＵＩを構築する。構築されたＧＵＩはインターフェース分析手段１５で分析され、情報量や操作量が取得される（ステップＳ９２）。取得されたこれらの値はアシスト情報開始時間算出手段１４に送信される。
【００９６】
アシスト情報開始時間算出手段１４には、ユーザー操作状況推定プロセスで認識時間推定手段６１において算出されたＴＩ及びＴＭが送信されているので、その値を用いて以下の計算を行うことにより、アシスト情報開始時間ＴＣを算出する（ステップＳ９３）。
【００９７】
【数８】
2006338233.tif 000010
【００９８】
また、本発明の実施の形態１における状態検知装置で説明したように以下の式を用いても良い。
【００９９】
【数９】
2006338233.tif 000011
【０１００】
算出されたＴＣは、ユーザー状態判定手段１３に送信される。
【０１０１】
ユーザー状態判定手段１３は、送信されてきたアシスト情報開始時間とユーザー操作時間を比較し、アシスト情報開始時間以上経過した場合には、ヘルプメッセージを表示する。
【０１０２】
本発明の実施の形態２における状態検知装置６０では、上で説明したユーザー操作状況推定プロセスとアシスト時間算出プロセスが別プロセスとして同時に起動している。ユーザー操作状況推定プロセスは、ユーザーがＧＵＩを操作する毎に処理時間を計測し、ＴＩやＴＭを求め動的に更新していく。また、アシスト時間算出プロセスは、現在ユーザーが操作しているＧＵＩの直前までのＧＵＩに関してユーザー操作状況推定プロセスが処理した結果得られたＴＩやＴＭの値に基づき、アシスト情報開始時間を算出する。なお、ユーザーが操作を完了する前にアシスト情報開始時間以上経過し、ヘルプが表示された処理に関しては、ユーザー操作状況推定プロセスにおけるＴＩやＴＭの更新に含めない。また、アシスト時間算出プロセスは基本的にＧＵＩ画面（図３の四角で表されるブロック）が変更される毎に処理を実行しなければならないが、ユーザー操作状況推定プロセスはその限りではない。例えば、一定間隔おきに実行するようにしても良い。あるいは、ユーザー操作状況推定プロセスの処理を実行するＧＵＩ（例えば、トップメニューや番組選択メニューなど）をあらかじめ決めておき、ユーザーがそのＧＵＩを操作している時のみ実行するようにしても良い。
【０１０３】
このように本発明の実施の形態２に係る状態検知装置は、認識時間推定手段において、操作しているユーザーが処理に要している時間から単位情報量あたりの処理時間や１操作あたりの処理時間を算出し、算出されたこれらの時間を用いて、当該ＧＵＩの操作を完了するのに必要な時間を推定する。そして、推定された時間に基づき、アシスト情報開始時間を算出する。従って、機器を操作しているユーザーの熟練度や操作している状況にあわせて困っている状態を的確に検知することが可能となる。
【０１０４】
なお、本発明の実施の形態では、番組選択リストのＧＵＩを例として説明したが、その限りではない。例えば、多数の音楽リストから所望の曲を選択するＧＵＩや自動券売機のインターフェースなどの各種ＧＵＩに対しても適用可能である。また、ユーザーからの入力もリモコンの操作情報に限定されるものではない。例えば、マイクロフォンより入力される音声情報であっても良い。あるいは、ユーザーが投入するコインや紙幣であっても良い。
【産業上の利用可能性】
【０１０５】
本発明の状態検知装置は、例えば、個人向けに動的にカスタマイズされていくＧＵＩや、内容が随時更新されていく電子番組表、タイトルリストなどを備えた映像音響機器や映像録画再生機器に対して好適に利用できる。
【図面の簡単な説明】
【０１０６】
【図１】本発明の実施の形態１における状態検知装置の構成の一例を示す図
【図２】（ａ）個人向けにカスタマイズされるＧＵＩの一例を示す図（ｂ）個人向けにカスタマイズされるＧＵＩの一例を示す図（ｃ）ＧＵＩを操作するために用いられるリモコンの一例を示す図
【図３】状態遷移図の一例を示す図
【図４】インターフェース構成テンプレートの一例を示す図
【図５】（ａ）アシスト情報開始時間に関するパラメータを設定するインターフェースの一例を示す図（ｂ）設定されたパラメータとアシスト情報開始時間の算出に利用される値との関係を表すテーブルの一例を示す図
【図６】本発明の実施の形態２における状態検知装置の構成の一例を示す図
【図７】ユーザー操作状況推定プロセスの処理の流れを示す図
【図８】アシスト開始時間算出プロセスの処理の流れを示すフローチャート
【符号の説明】
【０１０７】
１０，６０    情報検知装置
１１    情報入力受付手段
１２    時間計測手段
１３    ユーザー状態判定手段
１４    アシスト情報開始時間算出手段
１５    インターフェース分析手段
１６    インターフェース構成手段
１７    インターフェース構成要素記憶装置
１８    情報表示手段
４０，４１    インターフェース構成テンプレート
４２    インターフェース構成テンプレート記述内容
６１    認識時間推定手段
【図１】
2006338233.tif 000012
【図２】
2006338233.tif 000013
【図３】
2006338233.tif 000014
【図４】
2006338233.tif 000015
【図５】
2006338233.tif 000016
【図６】
2006338233.tif 000017
【図７】
2006338233.tif 000018
【図８】
2006338233.tif 000019