(57)【要約】【課題】ユーザの操作履歴から操作に対する戸惑いの度合と操作フローの確からしさを抽出することで、操作履歴から誤操作を推測する。【解決手段】情報処理装置に対するユーザの操作履歴を蓄積し、操作履歴とユーザの戸惑い度合との関係を示したルール１１０と操作履歴の照合によりユーザの戸惑い度合を求め、さらにアプリケーションの一般的な操作フローを確率で表現したモデル１１２と操作履歴との照合によりユーザの操作フローの確からしさを求め、これらユーザの主観的要素である戸惑い度合と客観的要素である操作フローの確からしさを操作毎に統合した値を比較することで、ユーザの操作履歴から誤操作を推測する。【選択図】図１
2008269119.tif 000002
【特許請求の範囲】
【請求項１】
入力装置と、
前記入力装置による操作に対するアプリケーションの応答結果を表示する出力装置と、
前記入力装置による操作履歴を蓄積するユーザ操作挙動取得部と、
ユーザが操作にどのくらいの度合で戸惑っているかを表す戸惑い度を求める戸惑い度検出部と、
ユーザの操作にどのくらいの度合で操作誤りがあるかを表す誤操作度を求める誤操作度検出部と、
前記戸惑い度と前記誤操作度を統合し、前記入力装置による操作履歴から誤操作の箇所を推測するスコア統合部と、
前記入力装置による操作履歴及び前記推測した誤操作の箇所を前記出力装置に表示する訂正情報提示部とを有し、
前記ユーザ操作挙動取得部は、前記入力装置からの入力情報とアプリケーションの画面情報及び前記入力情報に対する応答結果を取得し、それら取得した情報を操作履歴として保持し、
前記戸惑い度検出部は、操作パターンと戸惑い度との関係を示したルールと、現在の操作履歴とを照合することにより戸惑い度を求め、
前記誤操作度検出部は、アプリケーションの一般的な操作フローを確率で表現したモデルと、現在の操作履歴とを照合することにより誤操作度を求め、
前記スコア統合部は、前記操作履歴における操作毎に前記戸惑い度と前記誤操作度を統合した値を算出し、それが最大値をとる操作箇所を誤操作箇所とすることを特徴とする情報処理装置。
【請求項２】
請求項１記載の情報処理装置において、前記アプリケーションの一般的な操作フローを確率で表現したモデルから前記誤操作箇所における確からしい操作を推測することを特徴とする情報処理装置。
【請求項３】
請求項２記載の情報処理装置において、前記操作履歴と前記誤操作箇所における確からしい操作を前記出力装置に表示し、前記入力装置によって当該確からしい操作が選択されると、アプリケーションの状態を前記誤操作箇所の状態に戻すことを特徴とする情報処理装置。
【請求項４】
請求項１記載の情報処理装置において、前記誤操作度検出部はアプリケーションの操作フローと操作履歴との依存関係を示したデータを有し、前記入力装置による操作履歴から前記アプリケーションの一般的な操作フローを確率で表現したモデルの各確率値を変えることを特徴とする情報処理装置。
【請求項５】
請求項１記載の情報処理装置において、前記スコア統合部は複数の誤操作箇所が得られた場合、前記戸惑い度を比較することで優先順位をつけることを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが誤操作をした場合に正しい操作を推測して提示するユーザ支援手段を備える情報処理装置に関する。
【背景技術】
【０００２】
入出力装置からのユーザの操作履歴を用いたユーザ支援方法として、以下の従来技術がある。特許文献１では、ユーザの戸惑い状態と操作パターンを対応付けたデータを用いて、ユーザの操作履歴からユーザの戸惑い状態を検出し能動的にヘルプ機能を起動する。そして、ヘルプ起動直前のシステム状態及びユーザ操作挙動から推測されるユーザに有益なヘルプ情報を提示する。特許文献２では、ユーザが特定の操作ステップにおいて所定の操作ミス回数を超えて操作ミスを行ったことを検知し、前記操作ステップの操作マニュアルをユーザに提示する。特許文献３では、ユーザの操作履歴と共にシステム状態と各状態での所要時間を記録しておき、ユーザのヘルプ要求時に前記所要時間と既定の標準所要時間を比較することで、ユーザの操作履歴において戸惑っていた箇所を検出する。そして、現在の操作と前記戸惑い検出箇所の操作を強調した操作履歴をユーザに提示し、前記強調提示した箇所のヘルプ情報へと誘導する。
【０００３】
【特許文献１】特開平10-154057号公報
【特許文献２】特開平4-44113号公報
【特許文献３】特開2000-231429号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術は、戸惑い状態を検出するまでのユーザ操作履歴に誤りが無い場合に有効である。しかし実際のユーザ操作では、戸惑うことなく確信をもって誤った操作を行い、後々に操作方法が分からずに戸惑うことがありうる。このような場合、特許文献１の技術でユーザ支援を行うことはできない。特許文献２の技術は、ユーザが操作した直後にシステムが操作ミスを断定できる場合に有効である。しかしエラーメッセージが表示されるようなエラー操作を除いて、ユーザ操作の直後にシステムが操作ミスを断定することは困難である。特許文献３の技術は、ユーザの操作過程にミスがあった箇所において、ユーザが操作に戸惑ってしまい所要時間が標準所要時間を越えるような場合に有効である。しかし、実際のユーザ操作では戸惑いながら正しい操作を行うことがある。このような場合、特許文献３の技術ではユーザ支援を行うことはできない。つまり、ユーザの主観的要素である戸惑い状態の検出のみで正確にユーザの操作訂正箇所を推測することは困難である。
【０００５】
このように従来の技術によっては、ユーザの操作履歴に誤りがある場合に、その誤操作箇所を推測することが困難である。
【課題を解決するための手段】
【０００６】
本発明は、ユーザの操作履歴における誤操作箇所を正確に推測するため、ユーザの主観的要素である戸惑いの度合（戸惑い度）に加えて客観的要素である操作に誤りがある度合（誤操作度）を用いる。また、本発明は、操作フロー確率モデルの正操作度を用い、誤操作箇所における正しい操作を推測する。そして、この推測した正しい操作をユーザに提示する。
【発明の効果】
【０００７】
本発明の情報処理装置は、ユーザ操作履歴における誤操作箇所を正確に推測できるため、その誤操作した状況へユーザを誘導することができる。また、誤操作箇所における正しい操作を推測することができるため、タスク達成への正しい操作をユーザに提示することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明を適用した情報処理装置の一実施例について、図面を参照して説明する。
図１は、本発明を適用した情報処理装置の概念構成図である。図１において入力部１０１はユーザの要求をＵＩ処理部１０３に送る装置であって、マウスやキーボードなど計算機に用いられる入力機器であればなんでもよい。出力部１０２はＵＩ処理部１０３から受け取った情報をユーザに提示する装置であって、ＣＲＴモニタやＬＣＤ表示装置など計算機に用いられる表示装置であればなんでもよい。ＵＩ処理部１０３は入力部１０１、出力部１０２といった入出力装置との情報のやり取りを行う装置であり、入力部１０１から受け取ったコマンドやデータといったユーザ入力情報を情報処理部１０４へ送る処理、及び情報処理部１０４あるいは訂正情報提示部１０９から受け取ったアプリケーションの応答結果を示した画面情報やユーザに提示するヘルプ内容の画面情報といったユーザ提示画面情報を出力部１０２へ送る処理を行う。情報処理部１０４は、ＵＩ処理部１０３から受け取ったユーザ入力情報に対応した処理を実行し、その応答結果をＵＩ処理部１０３に送る装置である。また情報処理部１０４は、ユーザ入力情報とアプリケーションの現在の状態を示す情報及びユーザ入力情報に対するアプリケーションの応答内容をユーザ操作挙動取得部１０５へ送る。
【０００９】
ユーザ操作挙動取得部１０５は、情報処理部１０４から受け取った情報を操作履歴データ１１１に格納する装置である。ユーザ戸惑い度検出部１０６は、本システムに対するユーザの操作の挙動からユーザがどのくらい戸惑っているかを推測する装置であり、ユーザの操作の挙動とユーザの戸惑いの度合である戸惑い度を対応付けた戸惑い操作ルール１１０を用いる。誤操作度検出部１０７は、本システムに対するユーザの操作の挙動からユーザの操作にどのくらいの度合で操作誤りがありそうかを示す誤操作度を推測する装置であり、本システムにおける操作手順の頻度を表した操作フロー確率モデル１１２を用いる。スコア統合部１０８は、ユーザが操作に戸惑っていることを検知した時あるいはユーザから入力部１０１を介してヘルプ情報の提示要求があった時に、現在までにユーザが操作してきた履歴の中で操作の訂正が必要な箇所が存在しないかを推測し、存在する場合は訂正箇所における正しい操作を推測する装置である。訂正情報提示部１０９は、ユーザの過去の操作における訂正箇所と訂正箇所における正しい操作の推測結果を画面情報としてまとめ、ユーザに提示するためにＵＩ処理部１０３へ送る装置である。
【００１０】
図２は、本発明を適用した情報処理装置のハードウェア構成図である。外部記憶装置２０５のデータ部２０６には、戸惑い操作ルール１１０、操作履歴データ１１１、操作フロー確率モデル１１２が格納される。また、ＵＩ処理部１０３、情報処理部１０４、ユーザ操作挙動取得部１０５、ユーザ戸惑い度検出部１０６、誤操作度検出部１０７、スコア統合部１０８、訂正情報提示部１０９は処理プログラム２０７として記憶装置２０５に格納される。本システムがユーザに提供する機能は、処理装置２０３が記憶装置２０５のデータ部２０６及び処理プログラム２０７をメモリ２０４に読み出して処理を行うことで実現される。
【００１１】
以下、本発明を適用した情報処理装置の一例としてパソコン向けメディア視聴録画システムを取り上げ、システムの具体的な処理の流れを説明する。
【００１２】
図３は、情報処理部１０４における処理の流れ図である。ステップ３０１では、ＵＩ処理部１０３から受け取ったユーザ入力情報と出力部１０２にてユーザに提示しているアプリケーションの画面情報をユーザ操作挙動取得部１０５に送る。図４（Ａ）はユーザ入力情報の一例、図４（Ｂ）はアプリケーションの画面情報の一例である。この例では入力部１０１に該当する入力機器はマウスであり、出力部１０２に該当する出力機器はＬＣＤ表示装置である。また図４（Ａ）（Ｂ）は、最下部が最新のデータであり、上にいくほど古いデータが時系列に格納される。ユーザ入力情報として、マウスへの物理的操作を示す操作内容４０１、システム起動時からの相対的な時間経過をミリ秒単位で示す開始時間４０２、ＬＣＤ表示装置の画面上におけるマウスの座標位置４０３が入力され、ユーザ操作挙動取得部１０５に送られる。また、アプリケーションの画面情報として、現在の表示画面の種類４０４、表示画面上にてマウスポインタの下にあるオブジェクトの種類４０５、そしてシステム起動時からの相対的な時間経過をミリ秒単位で示す開始時間４０６が取得され、ユーザ操作挙動取得部１０５に送られる。
【００１３】
次にステップ３０２では、ＵＩ処理部１０３から受け取ったユーザ入力情報の識別を行う。ユーザ入力情報がヘルプ情報の要求を表す入力である場合はステップ３０５へ進み、その他の入力である場合はステップ３０３へ進む。図４（Ａ）の場合はヘルプ情報の要求を表す入力がないのでステップ３０３へ進む。ステップ３０３ではユーザ入力情報に対応した処理を実行し、応答結果を示す画面情報をＵＩ処理部１０３を介してユーザに提示する。図４（Ｃ）は、図４（Ａ）をユーザ入力情報、図４（Ｂ）をアプリケーションの画面情報とする場合の応答結果の一例であり、入力情報と同期してアプリケーションの応答結果４０８を示している。この例では、番組検索ボタンをマウスでクリックしたことで表示画面を番組検索画面に切り替えるという応答結果となるため、番組検索画面の情報をＵＩ処理部１０３へ送る。そしてステップ３０４では、ユーザ入力情報に対するアプリケーション応答結果をユーザ操作挙動取得部１０５に送り、再びユーザ入力待ちの状態に戻る。一方、ステップ３０５では、ユーザに提示するヘルプ情報を取得するためにスコア統合部１０８を呼び出し、再びユーザ入力待ちの状態に戻る。
【００１４】
図５は、ユーザ操作挙動取得部１０５における処理の流れ図である。ステップ５０１では、情報処理部１０４から受け取ったユーザ入力情報の操作内容に関して１つの操作として解釈可能な操作を統合し、さらに各操作の特徴を表す属性を抽出する。そして、アプリケーションの画面情報とアプリケーションの応答結果を時系列として同期がとれるように統合し操作履歴データ１１１に格納する。図６は、ユーザ入力情報とアプリケーションの画面情報、アプリケーションの応答結果を統合した結果の一例である。ユーザ入力情報の操作内容において、「マウスの左ボタンを押した」と「マウスの左ボタンを離した」という操作を統合し「左クリック」としている。また、操作内容「停止」の属性として秒単位の停止時間を次の操作内容の開始時間との差分から求め、属性６０５として取得している。さらに、操作内容「移動」の属性として画素単位の移動距離と１秒当たりの移動画素数をマウス座標位置から求め属性６０５及び属性６０６として取得している。ここで図６の「−」は、特定のデータがないことを意味する。ステップ５０２では、操作履歴データ１１１からユーザの戸惑い度を算出するため、ユーザ戸惑い度検出部１０６を呼び出す。ユーザ戸惑い度検出部１０６の実行結果を待たずに続けてステップ５０３へ進み、操作履歴データ１１１からユーザの誤操作度を算出するため、誤操作度検出部１０７を呼び出す。本実施例では、ユーザ戸惑い度検出部１０６と誤操作度検出部１０７を並行して実行するようになっているが、必ずしも並行して実行する必要はない。また、ユーザ戸惑い度検出部１０６と誤操作度検出部１０７の実行順が逆になっても構わない。
【００１５】
図７は、ユーザ戸惑い度検出部１０６における処理の流れ図である。操作履歴データ１１１におけるアプリケーションの応答結果は、ユーザの操作意図を客観的に示しており、アプリケーションの応答結果を時系列に追うことでユーザがどのような操作フローで作業しているかが把握できる。したがって、アプリケーションの応答結果毎に戸惑い度を算出し、操作履歴データ１１１へ格納する。ステップ７０１では、操作履歴データ１１１からアプリケーションの応答結果が存在する最新のデータを読み込む。操作履歴データ１１１に最初に格納されるデータには、「初期画面を表示」のように必ずアプリケーションの応答結果が存在する。したがって、ユーザ戸惑い度検出部１０６では、常に最近のアプリケーションの応答結果にのみ注目して戸惑い度を求めればよい。
【００１６】
図８は操作履歴データ１１１の一例である。図８の最上部のデータに格納された戸惑い度0.6は、次のアプリケーションの応答結果が存在するデータまでの戸惑い度を示している。つまり、図８の開始時間８０１が1050ミリ秒の操作から開始時間８０１が10000ミリ秒までの操作の挙動から求めた値である。図８において、最近のユーザ操作履歴は開始時間８０１が16050ミリ秒の操作であり、ステップ７０１で読み込むべきアプリケーションの応答結果が存在する最新のデータは、開始時間８０１が16000ミリ秒のデータとなる。
【００１７】
ステップ７０２では、ステップ７０１で読み込んだデータよりも最新のデータを全て読み込む。図８の例では、開始時間８０１が16050ミリ秒のデータのみが該当する。ステップ７０３では、ステップ７０２において読み込むデータが存在したかを確認する。図８の例のようにデータが存在する場合はステップ７０４へ進み、データが存在しない場合はステップ７０６へ進み、ステップ７０１で読み込んだデータの戸惑い度を0とし、ユーザ戸惑い度検出部１０６の処理を終了する。図８の例において、開始時間８０１が16000ミリ秒のデータの戸惑い度が0になっているのは、前回のユーザ戸惑い度検出部１０６での処理においてステップ７０１で読み込んだデータは開始時間８０１が16000ミリ秒のデータであり、ステップ７０２で読み込むデータは無いため、ステップ７０６の処理にてステップ７０１で読み込んだデータの戸惑い度を0としたからである。
【００１８】
ステップ７０４では、ステップ７０２で読み込んだデータと戸惑い操作ルール１１０を照合する。図９は戸惑い操作ルールの一例である。図９において、操作パターン９０１は、操作履歴データにおける操作内容の時系列パターンを示している。また条件９０２は、各操作パターン９０１における戸惑い度に影響を与える操作条件を示している。そして戸惑い度９０３は、操作パターン９０１と条件９０２の組合せ毎の戸惑い度を示している。
【００１９】
ここで、各操作パターン９０１、条件９０２、戸惑い度９０３の求め方について説明する。別途事前に大量の操作履歴データと操作の様子を写した映像データを収集し、各映像データを１人の被験者に見せながら、操作内容単位に図１０のような戸惑い度の５段階主観評価を行ってもらう。つまり、映像の中で操作しているユーザが戸惑っていると感じた場合は、その戸惑い度合を５段階で記入してもらう。図１０は、０から１までの数字を５つに分けており、値が大きいほど戸惑い度が大きいことを意味する。この主観評価実験をできるだけ多くの被験者に行ってもらうことで、統計的にユーザの戸惑いに起因する操作パターンと条件及びその戸惑い度を求めることができる。
【００２０】
さて、ステップ７０４の処理を図８の操作履歴データの例で説明すると、ステップ７０２で読み込んだデータは操作内容が「停止」であり、停止時間は「１２」秒である。このデータは、図９の戸惑い操作ルールの操作パターン「停止」、条件「８［s］以上」を満たす。ステップ７０５ではステップ７０４での照合の結果、ステップ７０２で読み込んだデータが戸惑い操作ルール１１０を満たさない場合はステップ７０６へ進み、満たす場合にはステップ７０７へ進む。ステップ７０７では、戸惑い操作ルール１１０に基づいて戸惑い度を求め、ステップ７０１で読み込んだデータに格納し、ユーザ戸惑い度検出部１０６の処理を終了する。ステップ７０４においてステップ７０２で読み込んだデータが戸惑い操作ルール１１０の複数のルールを満たした場合は、各戸惑い度の合計値をステップ７０１で読み込んだデータに格納する。
【００２１】
図１１は、誤操作度検出部１０７における処理の流れ図である。ステップ１１０１では、操作履歴データ１１１からアプリケーションの応答結果が存在する最新のデータを読み込む。ステップ１１０２では、ステップ１１０１で読み込んだアプリケーションの応答結果が前回の誤操作度検出部１０７の処理で読み込んだアプリケーションの応答結果と一致しているか確認し、一致していなければステップ１１０３に進み、一致していれば前回から客観的な操作が行われていないと解釈できるので誤操作度検出部１０７の処理を終了する。ステップ１１０３では、操作履歴データ１１１のアプリケーションの応答結果を時系列に並べた操作フローからアプリケーションの一般的な操作フローを確率で表現した操作フロー確率モデル１１２における現在の操作を把握することで、ステップ１１０１で読み込んだアプリケーションの応答結果に該当するユーザの操作の誤操作度を求める。
【００２２】
図１２は操作フロー確率モデル１１２の一例であり、丸はノード、矢印はアークと呼ばれ、矢印に添えた数値は矢印の始点にあるノードから終点にあるノードへの遷移確率を表している。操作フロー確率モデル１１２は、アプリケーションの応答を伴うユーザ操作をノードとするグラフ構造モデルであり、操作履歴データ１１１のアプリケーションの応答結果は操作フロー確率モデル１１２のノードと対応付けることができる。また、図１２に示すように、操作フロー確率モデル１１２にはノード間の遷移確率が０から１の値で登録されている。このノード間遷移確率は、別途事前に収集した大量の操作履歴データから求まる操作フローの統計的確率によって決定できる。このノード間遷移確率は対象遷移に該当するユーザ操作の客観的正確さを表しているので、「１−遷移確率」により誤操作度を知ることができる。
【００２３】
図１２の操作フロー確率モデル１１２を用い、図８に示す操作履歴データ１１１の誤操作度を求めると、図８においてアプリケーションの応答結果が「番組検索画面を表示」となっている操作は、図１２におけるノード１２０１「初期画面を表示」からノード１２０３「番組検索画面を表示」に遷移した操作に該当する。このときのノード遷移確率が０．３５であるので誤操作度は１−０．３５＝０．６５となる。また、図８においてアプリケーションの応答結果が「地上デジタル放送の番組を選択」となっている操作は、図１２におけるノード１２０３「番組検索画面を表示」からノード１２０５「地上デジタル放送の番組を選択」に遷移した操作に該当する。このときのノード遷移確率が０．２であるので誤操作度は１−０．２＝０．８となる。こうして求めた誤操作度を操作履歴データ１１１へ格納する。そして誤操作度検出部１０７の処理を終了する。
【００２４】
ここで、操作フロー確率モデル１１２において、ユーザの操作履歴毎のノード間遷移確率を保持することで、操作履歴データ１１１に応じて動的にノード間遷移確率を変更し、より高精度な誤操作度検出を行うこともできる。図１７に、ユーザの操作履歴毎のノード間遷移確率に関する一例を示す。図１７(Ａ)におけるノード１７０３「番組を選択」から伸びる４本のアークに登録された遷移確率は、ノード１７０１「外部入力番組の視聴画面を表示」からノード１７０３「番組を選択」に遷移する操作の一般的な操作履歴から算出した値である。また、図１７(Ｂ)におけるノード１７０３「番組を選択」から伸びる４本のアークにある遷移確率は、ノード１７０２「録画番組視聴画面を表示」からノード１７０３「番組を選択」に遷移する操作の一般的な操作履歴から算出した値である。このように、ユーザの操作履歴毎に、異なる遷移確率となるような操作フロー確率モデル１１２を保持することで、ユーザの操作履歴１１１に対応した遷移確率へと動的に変更することができる。
【００２５】
図１３は、スコア統合部１０８における処理の流れ図である。ステップ１３０１では、スコア統合部１０８の処理の実行開始判断を行う。スコア統合部１０８の処理は、情報処理部１０４からユーザの処理実行要求を受け取った時、あるいはユーザ戸惑い度検出部１０６で求めた戸惑い度が既定の閾値を越えた時に処理が実行開始し、ステップ１３０２へ進む。それ以外の場合はスコア統合部１０８の処理を終了する。ステップ１３０２では、操作履歴データ１１１の各データにおける戸惑い度と、誤操作度と操作フロー確率モデル１１２の各ノードにおける均等な確率との差分値により正規化した値の加算値により確度の高い誤操作度である統合誤操作度を求める。
【００２６】
図１４は、戸惑い度及び誤操作度を含めた操作履歴データ１１１の一例である。ここで、図１４では操作履歴データ１１１の各要素のうち「画面の種類」「マウス下のオブジェクト名」を省略している。また図１４に示す開始時間１４０１が16000ミリ秒のデータの誤操作度が格納されていないのは、アプリケーションの応答結果１４０５「地上デジタル放送の番組を選択」の次の応答結果が未だ不明であるため誤操作度が確定できないからである。
【００２７】
図１４の開始時間１４０１が1050ミリ秒のデータを用いて統合誤操作度の算出方法を説明する。統合誤操作度は、戸惑い度0.6と、誤操作度0.8と操作フロー確率モデル１１２のノード「番組検索画面を表示」における均等な確率0.5との差分値0.3の加算値0.9である。ここで、本実施例では統合誤操作度として戸惑い度と正規化した誤操作度の加算値を用いているが、戸惑い度と誤操作度を用いた計算方法であれば特に限定はしない。
【００２８】
ステップ１３０３では、操作履歴データ１１１の各統合誤操作度のうち最大となるものを探索する。ステップ１３０４では、統合誤操作度の値が最大となるデータが複数存在するかを確認する。複数存在する場合はステップ１３０５に進み、複数存在しない場合は、ステップ１３０３にて最大の統合誤操作度となったデータに該当する操作が誤操作であると推測し、ステップ１３０６へ進む。ステップ１３０５では、統合誤操作度が同値となるデータの戸惑い度が大きい方を優先することで１つに絞り込み、誤操作を起こした操作を推測する。ここで、同値の統合誤操作度からの絞込み方法については、現在の操作から時間的に最も近い操作履歴データの優先度を高くするなど、様々あり限定はしない。ステップ１３０６では、ユーザに誤操作箇所と推薦操作を提示するため訂正情報提示部１０９を呼び出す。
【００２９】
図１５は、訂正情報提示部１０９における処理の流れ図である。ステップ１５０１では、操作フロー確率モデル１１２からスコア統合部１０８にて求めた誤操作に対応するノードを見つけ、そのノードから遷移可能な次ノードのうち誤操作のノードを除いて最も遷移確率が高い次ノードに該当する操作を、このノードにおける正しい操作とする。図１２を例に説明すると、スコア統合部１０８にて求めた誤操作に対応するノードがノード１２０１「初期画面を表示」であり、誤操作のノードはノード１２０２「録画番組視聴画面を表示」であった時、残り２つの遷移可能ノードのうち正しい操作に該当するノードは遷移確率の高いノード１２０３「番組検索画面を表示」となる。ここで、ユーザ戸惑い度検出部１０６で求めた戸惑い度と操作フロー確率モデル１１２のノード間遷移確率への重み付け量を定義したデータを用いることで、操作フロー確率モデル１１２におけるノード間遷移確率を変化させ、より正確な操作を求めることもできる。ステップ１５０２では、操作フロー確率モデル１１２から現在の操作画面に対応するノードを見つけ、そのノードから遷移可能な次ノードのうち最も遷移確率が高い次ノードに該当する操作を正しい操作とする。ステップ１５０３では、操作履歴データ１１１と現在の操作画面における正しい操作、誤操作のあった操作画面における正しい操作をヘルプ情報としてユーザに提示する。ここで、操作履歴データ１１１において最新の操作及び誤操作を示す部分を強調した表示にすることもできる。また、操作履歴データ１１１の履歴操作数が多い場合は戸惑い度の大きな操作のみを表示するなどの絞込み方法により表示数を減らすこともできる。さらに、ユーザの選択により、現在提示している正しい操作の次に遷移確率が高い操作を提示することもできる。同様にユーザの選択により、現在提示している誤操作の次に統合誤操作度が大きい操作を提示することもできる。この場合、ステップ１５０１にて正しい操作を再度求める必要がある。提示した正しい操作をユーザが選択すると、システムの状態を該当する操作画面に遷移させ、その画面上にて正しい操作を強調表示する。正しい操作の強調手段は、ボタンを大きくしたり、該当ボタンを矢印で指し示したりと様々に考えられるが、目立つ表示方法であれば限定するものではない。
【００３０】
図１６にヘルプ情報提示の一例を示す。図１６のユーザの操作履歴１６０１は、ユーザ操作履歴１１１のうちアプリケーションの応答結果があるものを上から時系列に並べており、誤操作のあった操作と最新の操作を太字で強調している。また、図１６の正しい操作１６０２には、ユーザの操作履歴１６０１で強調表示した操作に対する正しい操作を提示している。また、ボタン１６０３をユーザが実行することでユーザの操作履歴１６０１における誤操作のあった操作の強調表示を止め、次候補の誤操作のあった操作を強調表示する。また、ボタン１６０４をユーザが実行することで正しい操作１６０２における正しい操作を次候補の正しい操作に変える。
【図面の簡単な説明】
【００３１】
【図１】本発明を適用した情報処理装置の概念構成図である。
【図２】本発明を適用した情報処理装置のハードウェア構成図である。
【図３】情報処理部における処理の流れ図である。
【図４】情報処理部の入力情報の一例を示すデータテーブルである。
【図５】ユーザ操作挙動取得部における処理の流れ図である。
【図６】操作履歴データの一例を示すデータテーブルである。
【図７】ユーザ戸惑い度検出部における処理の流れ図である。
【図８】操作履歴データの一例を示すデータテーブルである。
【図９】戸惑い操作ルールの一例を示すデータテーブルである。
【図１０】戸惑い操作ルールを決定するための５段階主観評価に用いる評価フォーマットの一例である。
【図１１】誤操作度検出部における処理の流れ図である。
【図１２】操作フロー確率モデルの一例を示すグラフ構造図である。
【図１３】スコア統合部における処理の流れ図である。
【図１４】操作履歴データの一例を示すデータテーブルである。
【図１５】訂正情報提示部における処理の流れ図である。
【図１６】訂正情報提示部におけるユーザ提示画面の一例である。
【図１７】ユーザの操作履歴毎のノード間遷移確率の一例を示す図である。
【符号の説明】
【００３２】
１０１  入力部
１０２  出力部
１０３  ＵＩ処理部
１０４  情報処理部
１０５  ユーザ操作挙動取得部
１０６  ユーザ戸惑い度検出部
１０７  誤操作度検出部
１０８  スコア統合部
１０９  訂正情報提示部
１１０  戸惑い操作ルール
１１１  操作履歴データ
１１２  操作フロー確率モデル
【図１】
2008269119.tif 000003
【図２】
2008269119.tif 000004
【図３】
2008269119.tif 000005
【図４】
2008269119.tif 000006
【図５】
2008269119.tif 000007
【図６】
2008269119.tif 000008
【図７】
2008269119.tif 000009
【図８】
2008269119.tif 000010
【図９】
2008269119.tif 000011
【図１０】
2008269119.tif 000012
【図１１】
2008269119.tif 000013
【図１２】
2008269119.tif 000014
【図１３】
2008269119.tif 000015
【図１４】
2008269119.tif 000016
【図１５】
2008269119.tif 000017
【図１６】
2008269119.tif 000018
【図１７】
2008269119.tif 000019