(57)【特許請求の範囲】
【請求項１】
ユーザにより操作される操作手段と、
前記操作手段において行われた操作に応じた処理を行い、該操作に対応した画面を表示手段に表示させる処理手段と、
前記表示手段に表示された画面を識別する画面識別子と、該画面を表示させるイベントのイベント識別子とを対応付けた操作情報を記憶する操作情報記憶手段と、
前記操作情報記憶手段に記憶された操作情報の画面識別子が特定画面の画面識別子である場合、該画面識別子を含む操作情報より前に前記操作情報記憶手段に記憶された操作情報、または該画面識別子を含む操作情報より前に前記操作情報記憶手段に記憶された操作情報および該画面識別子を含む操作情報をまとめた操作情報グループを生成する操作情報分割手段と、
異なる操作情報グループ毎に、操作情報グループと、該操作情報グループが生成された回数を記憶し、記憶した回数に基づいて、操作情報グループを生成する一連の操作が行われる確率を操作情報グループ毎に演算する演算手段と、
前記操作手段が操作された場合、該操作の次に行われる一連の操作を前記演算手段で求めた確率に基づいて推定する推定手段と、
を有し、
前記処理手段は、
前記推定手段で推定された一連の操作の実行を指示する操作が前記操作手段で行われた場合、該一連の操作に対応する操作情報グループの操作情報に含まれている前記イベント識別子に基づいて、該一連の操作が行われた時の処理を実行し、
前記操作情報分割手段は、新たに前記操作情報記憶手段に記憶された操作情報の画面識別子が、該操作情報より前に前記操作情報記憶手段に記憶されている操作情報の画面識別子と一致した場合、新たに操作情報記憶手段に記憶された操作情報より前に記憶された操作情報、または新たに前記操作情報記憶手段に記憶された操作情報より前に記憶された操作情報および新たに記憶された操作情報を操作情報グループとすること
を特徴とする情報処理装置。
【請求項２】
前記操作情報は、前記画面識別子で特定される画面を構成するユーザインターフェースの構成要素の一覧を含み、
前記操作情報分割手段は、新たに前記操作情報記憶手段に記憶された操作情報に含まれる前記構成要素の一覧において、予め定められた構成要素が含まれている場合、新たに操作情報記憶手段に記憶された操作情報より前に前記操作情報記憶手段に記憶された操作情報、または新たに前記操作情報記憶手段に記憶された操作情報より前に記憶された操作情報および新たに記憶された操作情報を操作情報グループとして出力すること
を特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記予め定められた構成要素は、動画のコンテンツを表示する構成要素であることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記推定手段で推定された一連の操作の実行を指示する操作が前記操作手段で行われた後に、再度前記推定手段で推定された一連の操作の実行を指示する操作が前記操作手段で行われた場合、実行を指示された一連の操作に係る操作情報グループを統合する操作情報統合手段を有すること
を特徴とする請求項１乃至請求項３のいずれかに記載の情報処理装置。
【請求項５】
情報処理装置の制御部が、操作部において行われた操作に応じた処理を行い、該操作に対応した画面を表示部に表示させる処理ステップと、
前記制御部が、前記表示部に表示された画面を識別する画面識別子と、該画面を表示させるイベントのイベント識別子とを対応付けた操作情報を記憶する操作情報記憶ステップと、
前記制御部が、前記操作情報記憶ステップで記憶された操作情報の画面識別子が特定画面の画面識別子である場合、該画面識別子を含む操作情報より前に前記操作情報記憶ステップで記憶された操作情報、または該画面識別子を含む操作情報より前に前記操作情報記憶ステップで記憶された操作情報および該画面識別子を含む操作情報をまとめた操作情報グループを生成する操作情報分割ステップと、
前記制御部が、異なる操作情報グループ毎に、操作情報グループと、該操作情報グループが生成された回数を記憶し、記憶した回数に基づいて、操作情報グループを生成する一連の操作が行われる確率を操作情報グループ毎に演算する演算ステップと、
前記制御部が、前記操作部が操作された場合、該操作の次に行われる一連の操作を前記演算ステップで求めた確率に基づいて推定する推定ステップと、
前記推定ステップで推定された一連の操作の実行を指示する操作が前記操作部で行われた場合、該一連の操作に対応する操作情報グループの操作情報に含まれている前記イベント識別子に基づいて、該一連の操作が行われた時の処理を実行する処理実行ステップと
を有し、
前記操作情報分割ステップは、新たに前記操作情報記憶ステップで記憶された操作情報の画面識別子が、該操作情報より前に前記操作情報記憶ステップで記憶された操作情報の画面識別子と一致した場合、新たに操作情報記憶ステップで記憶された操作情報より前に記憶された操作情報、または新たに前記操作情報記憶ステップで記憶された操作情報より前に記憶された操作情報および新たに記憶された操作情報を操作情報グループとする
操作支援方法。
【請求項６】
前記操作情報は、前記画面識別子で特定される画面を構成するユーザインターフェースの構成要素の一覧を含み、
前記操作情報分割ステップは、新たに前記操作情報記憶ステップで記憶された操作情報に含まれる前記構成要素の一覧において、予め定められた構成要素が含まれている場合、新たに操作情報記憶ステップで記憶された操作情報より前に記憶された操作情報、または新たに前記操作情報記憶ステップで記憶された操作情報より前に記憶された操作情報および新たに記憶された操作情報を操作情報グループとすること
を特徴とする請求項５に記載の操作支援方法。
【請求項７】
前記予め定められた構成要素は、動画のコンテンツを表示する構成要素であることを特徴とする請求項６に記載の操作支援方法。
【請求項８】
前記推定ステップで推定された一連の操作の実行を指示する操作が前記操作部で行われた後に、再度前記推定ステップで推定された一連の操作の実行を指示する操作が前記操作部で行われた場合、実行を指示された一連の操作に係る操作情報グループを統合する操作情報統合ステップを有すること
を特徴とする請求項５乃至請求項７のいずれかに記載の操作支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが行う操作を予測して支援する技術に関する。
【背景技術】
【０００２】
ユーザが行う操作を予測する装置として特許文献１に開示されたユーザインターフェース生成装置がある。この装置は、ユーザが行った操作の履歴を記憶する。また、この装置は、ユーザが行った操作と操作の履歴を比較してユーザが行う次の一の操作を予測し、予測した次の操作を実行するためのメニューを表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２１５２７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された装置によれば、次の一の操作を行うためのメニューが表示されるため、ユーザは、操作を簡略化して次の操作を行うことが可能となっている。しかしながら、特許文献１に開示された装置では、次の一の操作しか表示されないため、一連の操作を行う場合には一の操作毎に予測された次の操作を選択することとなり、結局、操作の回数としては、メニューを順番に操作していった場合と大差がない場合が生じえる。
【０００５】
本発明は、上述した背景の下になされたものであり、行われる確率が高い一連の操作については、一連の操作を順番に行う場合より少ない手順で行えるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために本発明は、ユーザにより操作される操作手段と、前記操作手段において行われた操作に応じた処理を行い、該操作に対応した画面を表示手段に表示させる処理手段と、前記表示手段に表示された画面を識別する画面識別子と、該画面を表示させるイベントのイベント識別子とを対応付けた操作情報を記憶する操作情報記憶手段と、前記操作情報記憶手段に記憶された操作情報の画面識別子が特定画面の画面識別子である場合、該画面識別子を含む操作情報より前に前記操作情報記憶手段に記憶された操作情報、または該画面識別子を含む操作情報より前に前記操作情報記憶手段に記憶された操作情報および該画面識別子を含む操作情報をまとめた操作情報グループを生成する操作情報分割手段と、異なる操作情報グループ毎に、操作情報グループと、該操作情報グループが生成された回数を記憶し、記憶した回数に基づいて、操作情報グループを生成する一連の操作が行われる確率を操作情報グループ毎に演算する演算手段と、前記操作手段が操作された場合、該操作の次に行われる一連の操作を前記演算手段で求めた確率に基づいて推定する推定手段と、を有し、前記処理手段は、前記推定手段で推定された一連の操作の実行を指示する操作が前記操作手段で行われた場合、該一連の操作に対応する操作情報グループの操作情報に含まれている前記イベント識別子に基づいて、該一連の操作が行われた時の処理を実行し、前記操作情報分割手段は、新たに前記操作情報記憶手段に記憶された操作情報の画面識別子が、該操作情報より前に前記操作情報記憶手段に記憶されている操作情報の画面識別子と一致した場合、新たに操作情報記憶手段に記憶された操作情報より前に記憶された操作情報、または新たに前記操作情報記憶手段に記憶された操作情報より前に記憶された操作情報および新たに記憶された操作情報を操作情報グループとすることを特徴とする情報処理装置を提供する。
【０００８】
また、本発明においては、前記操作情報は、前記画面識別子で特定される画面を構成するユーザインターフェースの構成要素の一覧を含み、前記操作情報分割手段は、新たに前記操作情報記憶手段に記憶された操作情報に含まれる前記構成要素の一覧において、予め定められた構成要素が含まれている場合、新たに操作情報記憶手段に記憶された操作情報より前に前記操作情報記憶手段に記憶された操作情報、または新たに前記操作情報記憶手段に記憶された操作情報より前に記憶された操作情報および新たに記憶された操作情報を操作情報グループとして出力する構成であってもよい。
【０００９】
また、本発明においては、前記予め定められた構成要素は、動画のコンテンツを表示する構成要素であってもよい。
【００１０】
また、本発明においては、前記推定手段で推定された一連の操作の実行を指示する操作が前記操作手段で行われた後に、再度前記推定手段で推定された一連の操作の実行を指示する操作が前記操作手段で行われた場合、実行を指示された一連の操作に係る操作情報グループを統合する操作情報統合手段を有する構成であってもよい。
【００１１】
また、本発明は、情報処理装置の制御部が、操作部において行われた操作に応じた処理を行い、該操作に対応した画面を表示部に表示させる処理ステップと、前記制御部が、前記表示部に表示された画面を識別する画面識別子と、該画面を表示させるイベントのイベント識別子とを対応付けた操作情報を記憶する操作情報記憶ステップと、前記制御部が、前記操作情報記憶ステップで記憶された操作情報の画面識別子が特定画面の画面識別子である場合、該画面識別子を含む操作情報より前に前記操作情報記憶ステップで記憶された操作情報、または該画面識別子を含む操作情報より前に前記操作情報記憶ステップで記憶された操作情報および該画面識別子を含む操作情報をまとめた操作情報グループを生成する操作情報分割ステップと、前記制御部が、異なる操作情報グループ毎に、操作情報グループと、該操作情報グループが生成された回数を記憶し、記憶した回数に基づいて、操作情報グループを生成する一連の操作が行われる確率を操作情報グループ毎に演算する演算ステップと、前記制御部が、前記操作部が操作された場合、該操作の次に行われる一連の操作を前記演算ステップで求めた確率に基づいて推定する推定ステップと、前記推定ステップで推定された一連の操作の実行を指示する操作が前記操作部で行われた場合、該一連の操作に対応する操作情報グループの操作情報に含まれている前記イベント識別子に基づいて、該一連の操作が行われた時の処理を実行する処理実行ステップとを有し、前記操作情報分割ステップは、新たに前記操作情報記憶ステップで記憶された操作情報の画面識別子が、該操作情報より前に前記操作情報記憶ステップで記憶された操作情報の画面識別子と一致した場合、新たに操作情報記憶ステップで記憶された操作情報より前に記憶された操作情報、または新たに前記操作情報記憶ステップで記憶された操作情報より前に記憶された操作情報および新たに記憶された操作情報を操作情報グループとする操作支援方法を提供する。
【００１３】
また、本発明においては、前記操作情報は、前記画面識別子で特定される画面を構成するユーザインターフェースの構成要素の一覧を含み、前記操作情報分割ステップは、新たに前記操作情報記憶ステップで記憶された操作情報に含まれる前記構成要素の一覧において、予め定められた構成要素が含まれている場合、新たに操作情報記憶ステップで記憶された操作情報より前に記憶された操作情報、または新たに前記操作情報記憶ステップで記憶された操作情報より前に記憶された操作情報および新たに記憶された操作情報を操作情報グループとする構成であってもよい。
【００１４】
また、本発明においては、前記予め定められた構成要素は、動画のコンテンツを表示する構成要素であってもよい。
【００１５】
また、本発明においては、前記推定ステップで推定された一連の操作の実行を指示する操作が前記操作部で行われた後に、再度前記推定ステップで推定された一連の操作の実行を指示する操作が前記操作部で行われた場合、実行を指示された一連の操作に係る操作情報グループを統合する操作情報統合ステップを有する構成であってもよい。
【発明の効果】
【００１６】
本発明によれば、行われる確率が高い一連の操作については、一連の操作を順番に行う場合より少ない手順で行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る情報処理装置１の外観を示した図。
【図２】情報処理装置１のハードウェア構成を示した図。
【図３】情報処理装置１において実現する機能の構成を示したブロック図。
【図４】操作情報取得部２０１が操作情報を出力する時の処理の流れを示したフローチャート。
【図５】操作情報分割部２２１が操作情報グループを出力する時の処理の流れを示したフローチャート。
【図６】画面の遷移の順番を説明するための図。
【図７】待受画面Ｐ１を示した図。
【図８】起動画面Ｐ２を示した図。
【図９】基本画面Ｐ３を示した図。
【図１０】メニュー画面Ｐ４を示した図。
【図１１】撮影モード選択画面Ｐ５を示した図。
【図１２】フォルダ一覧画面Ｐ６を示した図。
【図１３】写真一覧画面Ｐ７を示した図。
【図１４】電子メール作成画面Ｐ８を示した図。
【図１５】推定した操作を表示した画面を示した図。
【図１６】操作モデルを説明するための図。
【図１７】ＣＰＵ１０２が行う処理の流れを示したフローチャート。
【発明を実施するための形態】
【００１８】
［実施形態］
（情報処理装置１の構成）
図１は、本発明の一実施形態に係る情報処理装置１の外観を示した図である。本実施形態においては、情報処理装置１は、音声通信とデータ通信が可能な携帯電話機である。図２は、情報処理装置１のハードウェア構成を示した図である。図２に示したように、情報処理装置１の各部は、バス１０１に接続されている。情報処理装置１の各部は、このバス１０１を介して各部間でデータの授受を行う。
【００１９】
通信部１０８は、無線通信を行うインターフェースの機能を有している。通信部１０８は、ＣＰＵ（Central Processing Unit）１０２の制御の下、通信部１０８に接続されているアンテナ（図示略）を介して、移動体通信網を構成する無線基地局と無線通信を行い、音声通信やデータ通信を行う。通信部１０８は、無線基地局から送信された信号を受信すると、音声通信に係る音声信号を通話部１０９へ出力し、データ通信に係るデータ信号をＣＰＵ１０２へ出力する。また、通信部１０８は、ＣＰＵ１０２から出力されたデータ信号が入力されると、このデータ信号を無線基地局へ送信し、通話部１０９から出力された音声信号が入力されると、この音声信号を無線基地局へ送信する。
通話部１０９は、マイクとスピーカ（いずれも図示略）を有している。通話部１０９は、マイクに音声が入力されると、入力された音声を表す音声信号を通信部１０８へ出力する。また、通話部１０９では、通信部１０８から音声信号が入力されると、この音声信号がアナログ信号に変換されてスピーカへ出力され、スピーカから音声が出力される。
【００２０】
撮影部１１０は、イメージセンサと、イメージセンサに撮影対象物の像を結像させるレンズを備えており、ＣＰＵ１０２の制御の下、イメージセンサに結像された像を表す画像データを生成する。
表示部１０７は、液晶表示パネルの制御を行う制御回路および液晶表示パネルを有しており、ＣＰＵ１０２の制御の下、文字やグラフィック画面、情報処理装置１を操作するためのユーザインターフェースとなる画面などを液晶表示パネルに表示する。
操作部１０６は、情報処理装置１を操作するためのキー１０６Ａ〜１０６Ｃや、静電容量方式で矩形の形状をしたタッチセンサー１０６Ｄを有している。キー１０６Ａ〜１０６Ｃは、情報処理装置１の筐体に配置されており、ユーザが、キー１０６Ａ〜１０６Ｃを操作すると、操作されたキーがＣＰＵ１０２により検知される。また、透明なタッチセンサー１０６Ｄは、表示部１０７の液晶表示パネルの表面全体を覆うように配置されており、液晶表示パネルに表示された画像を透過する。タッチセンサー１０６Ｄは、矩形の領域内においてユーザが指で触れた位置を検知し、検知した位置を示す信号をＣＰＵ１０２へ出力する。ＣＰＵ１０２は、タッチセンサー１０６Ｄから出力された信号を基にユーザが画面上で触れた位置を特定する。ＣＰＵ１０２は、操作部１０６において行われた操作に応じて各種処理を行う。
【００２１】
ＲＯＭ（Read Only Memory）１０３は、情報処理装置１に携帯電話機の基本機能を実現させる基本プログラムを記憶している。記憶部１０５は、不揮発性メモリを有しており、複数のアプリケーションプログラムを記憶する。また、記憶部１０５は、ＣＰＵ１０２が基本プログラムを実行した時に使用されるデータや、ＣＰＵ１０２がアプリケーションプログラムを実行した時に使用されるデータを記憶する。
【００２２】
ＲＡＭ（Random Access Memory）１０４は、ＣＰＵ１０２がプログラムを実行するときの作業エリアとして使用され、ＣＰＵ１０２がプログラムを実行するときに使用するデータが一時的に記憶される。ＣＰＵ１０２は、情報処理装置１の各部を制御する制御手段（制御部）である。情報処理装置１において電源が入れられると、ＣＰＵ１０２がＲＯＭ１０３から基本プログラムを読み出し実行する。ＣＰＵ１０２が基本プログラムを実行すると、携帯電話機としての基本的な機能が実現し、情報処理装置１は、音声通信やデータ通信などを行うことが可能となる。また、ＣＰＵ１０２が基本プログラムを実行すると、待受画面を表示するアプリケーションプログラムや撮影部で写真を撮影するアプリケーションプログラム、電子メールの送受信を行うアプリケーションプログラムなどを実行することが可能となる。また、ＣＰＵ１０２が基本プログラムを実行すると、ユーザが行う一連の操作を予測する機能、予測した一連の操作をユーザに表示する機能、予測した一連の操作をユーザに代わって実行する機能などが実現する。
【００２３】
（情報処理装置１の機能構成）
図３は、基本プログラムを実行することによりＣＰＵ１０２において実現する機能のうち、本発明に係る機能の構成を示したブロック図である。
【００２４】
処理部２００は、アプリケーションプログラムの実行やハードウェアの制御を行うものである。処理部２００は、操作部１０６において行われた操作を検知し、行われた操作に応じてハードウェアの制御など各種処理を実行する。また、処理部２００は、プログラムを実行中に発生するイベントや、表示部１０７に表示されているユーザインターフェース画面の構成要素を管理し、操作部１０６において行われた操作に応じて操作対象となるプログラムを変更する。
【００２５】
操作情報取得部２０１は、操作対象となっている画面を表示しているプログラムの識別子（以下、プログラム識別子と略称する）と、表示部１０７に表示されているユーザインターフェース画面の構成要素の一覧（以下、ＵＩ構成一覧と称する）を、処理部２００から取得する。なお、操作情報取得部２０１は、実行中のプログラムにおいてユーザの操作に応じたイベントの発生、またはユーザの操作に応じて表示部１０７に表示されるユーザインターフェースの変化を契機として、操作対象となっているプログラムのプログラム識別子とＵＩ構成一覧を処理部２００から取得し、このプログラム識別子とＵＩ構成一覧の組を記憶する。
【００２６】
また、操作情報取得部２０１は、新たに取得したプログラム識別子及びＵＩ構成一覧の組と、この組より一つ前に取得したプログラム識別子及びＵＩ構成一覧の組とを比較する。そして、操作情報取得部２０１は、プログラム識別子とＵＩ構成一覧のいずれかが変化している場合には、表示されているユーザインターフェースの状態、即ち表示画面の状態に対して一意の識別子（以下、画面識別子と称する）を付与し、付与した画面識別子、ユーザの操作に応じて生成されたイベントを表す識別子（以下、イベント識別子と称する）、プログラム識別子、および新たに取得したＵＩ構成一覧をまとめた操作情報を出力する。なお、ユーザインターフェースの構成要素がユーザによって設定される属性を持つ場合、構成要素の属性を表す属性情報が含められる。ここで属性情報とは、テキストボックスに入力された文字列や、チェックボックスの選択状態など、構成要素の持つデータである。
【００２７】
図４は、操作情報取得部２０１が操作情報を出力する時の処理の流れを示したフローチャートである。また、図６は、以下の説明に係る画面の遷移の順番を示した図である。
例えば、待受画面を表示するアプリケーションプログラム（以下、待受画面表示アプリと称する）が実行されており、待受画面Ｐ１（図７）が表示部１０７に表示されている状態を想定する。ここで、待受画面Ｐ１（図７）が表示部１０７に表示されている状態において、写真を撮影するプログラム（以下、カメラアプリと称する）の実行を指示する操作が操作部１０６において行われると、カメラアプリを起動するイベントが処理部２００において発生する。処理部２００は、このイベントの発生を契機とし、この時点で操作対象となった待受画面表示アプリのプログラム識別子と、待受画面Ｐ１のＵＩ構成一覧を操作情報取得部２０１へ出力する。操作情報取得部２０１は、処理部２００から出力されたプログラム識別子とＵＩ構成一覧を取得する（ステップＳ１０１，Ｓ１０２）。
【００２８】
また、カメラアプリの実行が指示されると、カメラアプリを起動中であることを示す起動画面Ｐ２（図８）に表示部１０７の画面が遷移する。ここで、ユーザインターフェースが変化したため、操作情報取得部２０１は、この時点で操作対象となっているカメラアプリのプログラム識別子と、起動画面Ｐ２のＵＩ構成一覧を取得する（ステップＳ１０１，Ｓ１０２）。なお、操作情報取得部２０１は、待受画面Ｐ１から起動画面Ｐ２へ変化した時にプログラム識別子、およびＵＩ構成一覧が変化しているため（ステップＳ１０３でＹＥＳ）、起動画面Ｐ２の画面識別子、起動画面の表示を指示するイベントのイベント識別子、カメラアプリのプログラム識別子およびＵＩ構成一覧を含む操作情報を出力する（ステップＳ１０５）。
【００２９】
また、起動画面Ｐ２が表示されてから一定時間が経過すると、カメラアプリの基本画面Ｐ３（図９）に遷移する。ここで、ユーザインターフェースが起動画面Ｐ２から基本画面Ｐ３へ変化したため、操作情報取得部２０１は、この時点で操作対象となっているカメラアプリのプログラム識別子と、基本画面Ｐ３のＵＩ構成一覧を取得する（ステップＳ１０１，Ｓ１０２）。具体的には、図９の基本画面Ｐ３においては、ユーザインターフェースの構成要素として、「ＭＥＮＵ」ボタン、「一覧」ボタン、「撮影」ボタン、及び三角形で表された上下のボタン、および撮影部１１０から出力された画像データの画像を表示する要素がある。操作情報取得部２０１は、これら構成要素の一覧を取得する。次に操作情報取得部２０１は、起動画面Ｐ２から基本画面Ｐ３へ変化した時にＵＩ構成一覧が変化しているため（ステップＳ１０４でＹＥＳ）、基本画面Ｐ３の画面識別子、基本画面の表示を指示するイベントのイベント識別子、カメラアプリのプログラム識別子、およびＵＩ構成一覧を含む操作情報を出力する（ステップＳ１０５）。
【００３０】
また、カメラアプリが操作対象となっており、基本画面Ｐ３が表示されている状態において、表示されている「ＭＥＮＵ」ボタンが操作され、撮影に関するメニュー画面を表示させる操作が行われると、メニュー画面Ｐ４（図１０）が表示される。操作情報取得部２０１は、ＵＩ構成一覧の変更を契機にして、カメラアプリのプログラム識別子とメニュー画面Ｐ４のＵＩ構成一覧を取得する（ステップＳ１０１，Ｓ１０２）。なお、メニュー画面Ｐ４においては、ユーザインターフェースの構成要素として、「閉じる」ボタン、「選択」ボタン、及び三角形で表された上下左右のボタン、および「撮影モード」や「カメラ調整」などの項目を表示するリストボックスがあるため、操作情報取得部２０１は、これら構成要素の一覧を取得する。
【００３１】
ここで、操作情報取得部２０１は、基本画面Ｐ３からメニュー画面Ｐ４へ変化した時にＵＩ構成一覧が変化しているため、（ステップＳ１０４でＹＥＳ）、メニュー画面Ｐ４の画面識別子、メニュー画面Ｐ４の表示を指示するイベントのイベント識別子、カメラアプリのプログラム識別子およびＵＩ構成一覧を含む操作情報を出力する（ステップＳ１０５）。なお、メニュー画面Ｐ４においては、ユーザインターフェースの構成要素として、ユーザによって設定される属性を持つ「手ブレ補正」という項目がある。このように、ユーザインターフェースにおいて、ユーザに設定される要素がある場合、構成要素の属性（メニュー画面Ｐ４の場合、「手ブレ補正：ＯＮ」という情報）が属性情報として操作情報に含められる。
【００３２】
また、メニュー画面Ｐ４が表示されている状態において、「撮影モード」の項目が選択されると、撮影モード選択画面Ｐ５（図１１）が表示される。撮影モード選択画面Ｐ５が表示されている状態において、表示されている撮影モードのいずれかが選択されると、選択された撮影モードになり、画面は基本画面Ｐ３に戻る。このように、メニュー画面Ｐ４から撮影モード選択画面Ｐ５に遷移すると、ユーザインターフェースが変化するため（ステップＳ１０４でＹＥＳ）、操作情報取得部２０１が操作情報を出力する。また、撮影モード選択画面Ｐ５から基本画面Ｐ３に戻ると、ユーザインターフェースが変化するため（ステップＳ１０４でＹＥＳ）、操作情報取得部２０１が操作情報を出力する。
【００３３】
また、基本画面Ｐ３が表示されている状態において、「一覧」ボタンが操作されると、カメラアプリで得た画像データを格納したフォルダの一覧の画面（フォルダ一覧画面Ｐ６（図１２））が表示される。フォルダ一覧画面Ｐ６が表示されている状態において、フォルダのいずれかを選択する操作が行われると、選択されたフォルダに記憶されている画像データが表す写真の一覧画面（写真一覧画面Ｐ７（図１３））が表示される。写真一覧画面Ｐ７が表示されている状態において、「メール」ボタンが操作されると、電子メールのアプリケーションプログラムが実行され、写真一覧画面Ｐ７において選択されている写真を添付ファイルとした電子メールの作成画面（電子メール作成画面Ｐ８（図１４））が表示され、操作対象となるプログラムが電子メールアプリとなる。
このように、基本画面Ｐ３からフォルダ一覧画面Ｐ６に遷移すると、ユーザインターフェースが変化するため（ステップＳ１０４でＹＥＳ）、操作情報取得部２０１が操作情報を出力する。また、フォルダ一覧画面Ｐ６から写真一覧画面Ｐ７に遷移した場合も、ユーザインターフェースが変化するため（ステップＳ１０４でＹＥＳ）、操作情報取得部２０１が操作情報を出力し、写真一覧画面Ｐ７から電子メール作成画面Ｐ８に遷移した場合も、ユーザインターフェースとプログラム識別子が変化するため（ステップＳ１０４でＹＥＳ）、操作情報取得部２０１が操作情報を出力する。なお、電子メール作成画面Ｐ８に遷移した時に出力される操作情報においては、操作対象のプログラムが電子メールアプリであるため、含まれているプログラム識別子は、電子メールアプリのプログラム識別子となる。
【００３４】
次に、操作情報分割部２２１について説明する。操作情報分割部２２１は、操作情報取得部２０１から出力された操作情報を受け取り、受け取った操作情報を記憶部１０５に設けられた一時記憶領域へ受け取った順番で記憶させる。また、操作情報分割部２２１は、記憶領域に記憶させた操作情報の内容を監視し、操作情報においてプログラム識別子に変化があった場合、新たに一時記憶領域に記憶させた操作情報に含まれる画面識別子が既に一時記憶領域に記憶されている操作情報に含まれている画面識別子と一致する場合、または、新たに取得した操作情報に予め定められた特定のＵＩ構成一覧が含まれている場合、一時記憶領域に記憶された操作情報を一つのグループとする（以下、操作情報グループと称する）。そして、操作情報分割部２２１は、操作情報グループを一意に識別する識別子（以下、グループ識別子と称する）を生成し、生成したグループ識別子と、生成したグループ識別子に対応する操作情報を、操作情報グループとして出力する。なお、操作情報グループに含まれた操作情報は、一時記憶領域から消去する。
【００３５】
図５は、操作情報分割部２２１が操作情報グループを出力する時の処理の流れを示したフローチャートである。例えば上述したようにカメラアプリが起動された場合、起動画面Ｐ２が表示された時に操作情報が出力されて記憶領域に記憶され（ステップＳ２０１）、次に基本画面Ｐ３が表示された時に操作情報が出力されて記憶領域に記憶される。操作情報分割部２２１は、予め定められた特定のＵＩ構成一覧として基本画面Ｐ３のＵＩ構成一覧を記憶している。ここで、基本画面Ｐ３が表示された時に出力された操作情報には、基本画面Ｐ３のＵＩ構成一覧が含まれているため、操作情報に含まれているＵＩ構成一覧が予め定められたＵＩ構成一覧と一致し（ステップＳ２０４でＹＥＳ）、操作情報分割部２２１は、起動画面Ｐ２が表示された時に出力された操作情報を操作情報グループ（以下、この操作情報グループを操作情報グループＧ１とする）として出力する。
【００３６】
また、上述したように、画面が基本画面Ｐ３→メニュー画面Ｐ４→撮影モード選択画面Ｐ５→基本画面Ｐ３に変化した場合、メニュー画面Ｐ４が表示された時、撮影モード選択画面Ｐ５が表示された時、基本画面Ｐ３に戻った時に操作情報が出力され、これらの操作情報が記憶領域に記憶される。
なお、起動画面Ｐ２から基本画面Ｐ３に遷移した時に出力された操作情報の画面識別子は、基本画面Ｐ３の画面識別子である。また、撮影モード選択画面Ｐ５から基本画面Ｐ３に戻った時に出力された操作情報の画面識別子も、基本画面Ｐ３の画面識別子である。ここで、操作情報分割部２２１は、記憶領域に同一の画面識別子を含む操作情報があるため（ステップＳ２０３でＹＥＳ）、基本画面Ｐ３に戻るまでに出力された、基本画面Ｐ３が表示された時の操作情報、メニュー画面Ｐ４が表示された時の操作情報および撮影モード選択画面Ｐ５が表示された時の操作情報を操作情報グループ（以下、この操作情報グループを操作情報グループＧ１１とする）として出力する。
【００３７】
また、上述したように、画面が基本画面Ｐ３→フォルダ一覧画面Ｐ６→写真一覧画面Ｐ７→電子メール作成画面Ｐ８に変化した場合、フォルダ一覧画面Ｐ６が表示された時、写真一覧画面Ｐ７が表示された時、電子メール作成画面Ｐ８が表示されプログラム識別子が変化した時に操作情報が出力され、これらの操作情報が記憶領域に記憶される。
ここで、操作情報分割部２２１は、写真一覧画面Ｐ７が表示された時の操作情報と、電子メール作成画面Ｐ８が表示された時の操作情報とで含まれているプログラム識別子が変化したため（ステップＳ２０２でＹＥＳ）、基本画面Ｐ３が表示された時の操作情報、フォルダ一覧画面Ｐ６が表示された時の操作情報、写真一覧画面Ｐ７が表示された時の操作情報を操作情報グループ（以下、この操作情報グループを操作情報グループＧ１２とする）として出力する。
【００３８】
次に、解析部２２２について説明する。解析部２２２は、操作情報分割部２２１から出力された操作情報グループを受け取り、受け取った操作情報グループを記憶部１０５に記憶させる。また、解析部２２２は、記憶した操作情報グループに基づいて操作モデルを構築する。操作モデルは、一連の操作の次に行われる一連の操作についての発生確率を、ユーザが行った操作に基づいて求めたものである。解析部２２２は、構築した操作モデルを記憶部１０５に記憶させる。
【００３９】
ここで、操作モデルの一例について説明する。図１６は、操作モデルを説明するための図である。例えば、上述したように待受画面Ｐ１においてカメラアプリの起動を指示する操作が行われると、操作情報分割部２２１から上記操作情報グループＧ１が出力される。この操作情報グループＧ１は、解析部２２２で受け取られて記憶部１０５に記憶される。また、解析部２２２は、この操作情報グループＧ１を受け取った回数を記憶する。解析部２２２は、例えば、操作情報グループＧ１を受け取った回数が１０回であると、図１６に示したように操作情報グループＧ１に対応付けて、その回数を記憶部１０５に記憶する。
【００４０】
また、待受画面Ｐ１においてゲームのアプリケーションプログラムの起動を指示する操作が行われると、操作情報分割部２２１からゲームのアプリケーションプログラムの起動に係る操作情報を含む操作情報グループ（以下、この操作情報グループを操作情報グループＧ２とする）が出力される。この操作情報グループＧ２は、解析部２２２で受け取られて記憶部１０５に記憶される。また、解析部２２２は、この操作情報グループＧ２を受け取った回数を記憶する。例えば、操作情報グループＧ２を受け取った回数が９０回であると、解析部２２２は、図１６に示したように操作情報グループＧ２に対応付けて、その回数を記憶する。
【００４１】
また、解析部２２２は、受け取った操作情報グループが出力される確率を演算し、演算して得た確率を記憶する。例えば、待受画面Ｐ１が表示されている状態を状態「Ｓ」とし、状態「Ｓ」からユーザの操作により操作情報グループＧ１が出力される確率をＰ（Ｓ｜Ｇ１）と表し、状態「Ｓ」から操作情報グループＧ２が出力される確率をＰ（Ｓ｜Ｇ２）と表す。解析部２２２は、状態「Ｓ」から操作情報グループＧ１が出力された回数（１０回）と、状態「Ｓ」から操作情報グループＧ２が出力された回数（９０回）とを取得する。
【００４２】
次に解析部２２２は、操作情報グループＧ１の出力回数を、操作情報グループＧ１の出力回数と操作情報グループＧ２の出力回数の合計で除算する。例えば、操作情報グループＧ１の出力回数（１０回）を操作情報グループＧ１の出力回数と操作情報グループＧ２の出力回数の合計（９０回）で除算すれば、状態「Ｓ」から操作情報グループＧ１が出力される確率、即ち、操作情報グループＧ１が表す一連の操作が行われる確率が求められる。解析部２２２は、この得られた確率を図１６に示したように記憶する。
【００４３】
また、上述したようにユーザの操作によって画面が基本画面Ｐ３→メニュー画面Ｐ４→撮影モード選択画面Ｐ５→基本画面Ｐ３に変化した場合、操作情報グループＧ１１が出力される。この操作情報グループＧ１１は、解析部２２２で受け取られて記憶部１０５に記憶される。また、解析部２２２は、この操作情報グループＧ１１を受け取った回数を、操作情報グループＧ１１に対応付けて記憶する。解析部２２２は、操作情報グループＧ１が出力された次に操作情報グループＧ１１が出力される確率をＰ（Ｇ１｜Ｇ１１）と表し、操作情報グループＧ１１が出力される確率を計算し、計算した確率を記憶する。
【００４４】
また、操作情報グループＧ１１が出力された次に、上述したようにユーザの操作によって画面が基本画面Ｐ３→フォルダ一覧画面Ｐ６→写真一覧画面Ｐ７→電子メール作成画面Ｐ８に変化した場合、操作情報グループＧ１１１が出力される。この操作情報グループＧ１１１は、解析部２２２で受け取られて記憶部１０５に記憶される。また、解析部２２２は、この操作情報グループＧ１１１を受け取った回数を、操作情報グループＧ１１１に対応付けて記憶する。解析部２２２は、操作情報グループＧ１１が出力された次に操作情報グループＧ１１１が出力される確率をＰ（Ｇ１１｜Ｇ１１１）と表し、操作情報グループＧ１１１が出力される確率を計算し、計算した確率を記憶する。
一方、操作情報グループＧ１が出力された次に、上述したようにユーザの操作によって画面が基本画面Ｐ３→フォルダ一覧画面Ｐ６→写真一覧画面Ｐ７→電子メール作成画面Ｐ８に変化した場合、操作情報グループＧ１２が出力される。この操作情報グループＧ１２は、解析部２２２で受け取られて記憶部１０５に記憶される。また、解析部２２２は、この操作情報グループＧ１２を受け取った回数を、操作情報グループＧ１２に対応付けて記憶する。解析部２２２は、操作情報グループＧ１が出力された次に操作情報グループＧ１２が出力される確率をＰ（Ｇ１｜Ｇ１２）と表し、操作情報グループＧ１２が出力される確率を計算し、計算した確率を記憶する。
【００４５】
なお、例えば、操作情報グループＧ１が出力された次に操作情報グループＧ１１が出力される回数が３回、操作情報グループＧ１が出力された次に操作情報グループＧ１２が出力される回数が７回であった場合、操作情報グループＧ１１の出力回数（３回）を操作情報グループＧ１１の出力回数と操作情報グループＧ１２の出力回数の合計（１０回）で除算すれば、操作情報グループＧ１が出力された後に操作情報グループＧ１１が出力される確率、即ち、操作情報グループＧ１１が表す一連の操作が行われる確率が求められる。解析部２２２は、この得られた確率を図１６に示したように記憶する。
【００４６】
次に、候補推定部２１１について説明する。候補推定部２１１は、操作情報取得部２０１から出力された操作情報を受け取り、受け取った操作情報を含む操作情報グループを特定する。また、候補推定部２１１は、特定した操作情報グループを操作モデルにおいて検索し、検索した操作情報グループから遷移する操作情報グループを、遷移する確率の高い順に特定する。候補推定部２１１は、特定した操作情報グループを候補表示部２０２へ出力する。
【００４７】
候補表示部２０２は、候補推定部２１１から出力された操作情報グループを受け取る。候補表示部２０２は、受け取った操作情報グループにおいて末尾にある操作情報を抽出し、抽出した操作情報に含まれている画面識別子を抽出する。候補表示部２０２は、画面識別子を抽出すると、抽出した画面識別子に予め対応づけられている操作名を特定し、特定した操作名を表示部１０７に表示させる。
【００４８】
操作情報統合部２２３は、候補表示部２０２が表示した操作名が続けて選択された場合、選択された操作名に係る操作情報グループを統合し、統合した操作情報グループを操作モデルに加える。つまり、図１６に示す操作モデルにおいて、操作情報グループＧ１１が選択され、その次に操作情報グループＧ１１１が選択された場合、操作情報グループＧ１１と操作情報グループＧ１１１を統合した新たな操作情報グループＧ１３を操作モデルに加える。
【００４９】
（実施形態の動作）
次に、図１６に示した操作モデルが記憶部１０５に記憶されている場合の動作について説明する。図１７は、操作部１０６で操作が行われた時に行われる処理の流れを示したフローチャートである。
【００５０】
まず、操作部１０６がユーザに操作されると、操作に対応した処理が行われた後、図４に示した処理が行われ、操作情報取得部２０１が操作情報を取得し、取得した操作情報を出力する（ステップＳ１）。この後、図５に示した処理が行われ、記憶領域に記憶された操作情報を操作情報分割部２２１が分割する（ステップＳ２）。また、解析部２２２が、上述したように操作情報グループの記憶や操作情報グループの出力回数の記憶を行い、操作モデルの構築を行う（ステップＳ３）。
【００５１】
次に、情報処理装置１は、ユーザが行う操作の操作情報グループを推定する（ステップＳ４）。具体的には、候補推定部２１１が、新たに出力された操作情報を受け取り、受け取った操作情報を含む操作情報グループを操作モデルに基づいて特定する。また、候補推定部２１１は、特定した操作情報グループを記憶部１０５において検索し、検索した操作情報グループから遷移する操作情報グループを、遷移する確率の高い順に特定する。
例えば、待受画面Ｐ１が表示されている状態からカメラアプリを起動する操作が行われると、基本画面Ｐ３へ遷移した時に基本画面Ｐ３の画面識別子を含む操作情報が出力される。操作モデルにおいては、基本画面Ｐ３へ遷移した時に出力された操作情報を含む操作情報グループとして操作情報グループＧ１が記憶されているため、候補推定部２１１は、この操作情報グループＧ１を特定する。
【００５２】
次に候補推定部２１１は、特定した操作情報グループを操作モデルにおいて検索し、検索した操作情報グループから遷移する操作情報グループを、遷移する確率の高い順に特定する。例えば、図１６においては、操作情報グループＧ１から遷移する操作情報グループとして、操作情報グループＧ１１と操作情報グループＧ１２がある。候補推定部２１１は、操作情報グループＧ１１が出力される確率（Ｐ（Ｇ１｜Ｇ１１））と、操作情報グループＧ１２が出力される確率（Ｐ（Ｇ１｜Ｇ１２））とを取得する。ここで、取得した確率を比較すると、図１６の操作モデルの場合、Ｐ（Ｇ１｜Ｇ１２）＝０．７であり、Ｐ（Ｇ１｜Ｇ１１）＝０．３であって、操作情報グループＧ１２が出力される確率が高いため、候補推定部２１１は、操作情報グループＧ１２の次に操作情報グループＧ１１という順番で操作情報グループを特定する。
【００５３】
次に候補推定部２１１は、特定した操作情報グループを特定した順番で候補表示部２０２へ出力する。候補表示部２０２は、候補推定部２１１から出力された操作情報グループを受け取り、ユーザが行う確率がある操作を表示する（ステップＳ５）。具体的には、受け取った操作情報グループにおいて末尾にある操作情報を抽出し、抽出した操作情報に含まれている画面識別子を抽出する。候補表示部２０２は、画面識別子を抽出すると、抽出した画面識別子に予め対応づけられている操作名を特定し、特定した操作名を表示部１０７に表示させる。
【００５４】
例えば、上述したように操作情報グループＧ１２を候補表示部２０２が受け取った場合、操作情報グループの末尾にある操作情報は、写真一覧画面Ｐ７が表示された時の操作情報であり、この操作情報には、写真一覧画面Ｐ７の画面識別子が含まれている。候補表示部２０２においては、この画面識別子に「写真一覧表示」という操作名が予め対応づけられているため、図１５に示したように、「写真一覧表示」を選択するメニューを表示する。
【００５５】
また、操作情報グループＧ１１を候補表示部２０２が受け取った場合、操作情報グループの末尾にある操作情報は、撮影モード選択画面Ｐ５が表示された時の操作情報であり、この操作情報には、撮影モード選択画面Ｐ５の画面識別子が含まれている。候補表示部２０２においては、この画面識別子に「撮影モード選択」という操作名が予め対応づけられているため、図１５に示したように、「撮影モード選択」を選択するメニューを表示する。
【００５６】
次に、表示された操作名を選択する操作が行われなかった場合（ステップＳ８でＮＯ）、図１７の処理を一旦終了し、再度図１７の処理を実行する。また、表示された操作名を選択する操作が行われた場合（ステップＳ６でＹＥＳ）、操作情報グループに含まれている各操作情報を抽出し、各操作情報に含まれているイベント識別子が表すイベントを処理部２００が生成する。処理部２００においては、生成されたイベントに応じた処理が行われ、最終的には、選択された操作名に対応する画面識別子の画面が表示部１０７に表示される（ステップＳ７）。
【００５７】
例えば、図１５の画面において、「写真一覧表示」が選択された場合、操作情報グループＧ１２の操作情報から、フォルダ一覧画面Ｐ６の表示を指示するイベントと、写真一覧画面Ｐ７の表示を指示するイベントが生成され、フォルダ一覧画面Ｐ６が表示された後に写真一覧画面Ｐ７が表示される。つまり、ユーザが過去に行ったフォルダ一覧画面Ｐ６を表示させた後に写真一覧画面Ｐ７を表示させるという一連の操作がユーザに代わって実行される。ユーザの操作を推定しない場合には、基本画面Ｐ３→フォルダ一覧画面Ｐ６→写真一覧画面Ｐ７という順番で操作する必要があるが、ユーザの操作を推定した場合、ユーザが行う操作としては、上述した操作より少ない手順で基本画面から写真一覧画面へ遷移できるため、ユーザがよく行う操作を、過去に行った場合より少ない手順で行うことができる。
なお、例えば図１５の画面において、「撮影モード選択」が選択された場合、操作情報グループＧ１１の操作情報から、メニュー画面Ｐ４の表示を指示するイベントと、撮影モード選択画面Ｐ５の表示を指示するイベントが生成され、メニュー画面Ｐ４が表示された後に撮影モード選択画面Ｐ５が表示される。ここで、撮影モードを選択して基本画面Ｐ３に戻ると、操作モデルにおいては、撮影モード選択画面Ｐ５から基本画面Ｐ３へ遷移した時に出力された操作情報を含む操作情報グループとして、操作情報グループＧ１１の次に操作情報グループＧ１１１が記憶されているため、候補推定部２１１は、この操作情報グループＧ１１１を特定する。つまり、現時点の画面状態から次の操作を推定しているのではなく、待受画面から現時点の画面状態までに行った操作に基づいて次の操作を推定する。
【００５８】
なお、操作情報統合部２２３は、候補表示部２０２によって表示された操作名が選択されたか監視する。候補表示部２０２によって表示された操作名を選択した後に候補表示部２０２によって表示された操作名をユーザが選択した場合には（ステップＳ８でＮＯ）、先に選択された操作名に係る操作情報グループと、後に選択された操作名に係る操作情報グループとを統合した操作情報グループを生成し、操作モデルに加える（ステップＳ９）。
【００５９】
［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよく、各変形例を組み合わせて実施してもよい。
【００６０】
上述した実施形態においては、情報処理装置１は、携帯電話機となっているが携帯電話機に限定されるものではない。例えば、情報処理装置１は、ＰＤＡ（Personal Digital Assistant）やスマートフォンなどであってもよい。また、携帯型の情報処理装置に限らず、デスクトップ型のパーソナルコンピュータ装置であってもよい。
【００６１】
上述した実施形態においては、操作情報分割部２２１は、図４の処理においてステップＳ２０２でプログラム識別子が変化しているか判断しているが、ステップＳ２０２の処理を行わず、プログラム識別子の変化を判断しなくてもよい。また、操作情報分割部２２１は、操作情報グループを出力するか否か判断する際、ステップＳ２０２とステップＳ２０４の処理を行わずにステップＳ２０３の処理だけで操作情報グループを出力するか否か判断してもよく、また、ステップＳ２０２とステップＳ２０３の処理を行わずにステップＳ２０４の処理だけで操作情報グループを出力するか否か判断してもよい。
【００６２】
上述した実施形態においては、操作情報が、動画を表示する動画プレーヤをＵＩ構成一覧に含む場合、図５のステップＳ２０４においてＹＥＳと判断するようにしてもよい。
また、記憶領域に記憶された操作情報について、この操作情報までを操作情報グループとしてまとめて出力するようにしてもよい。これにより、動画プレーヤを構成要素として有する画面を表示する操作が推定され、推定した操作の操作名が表示されることになる。
【００６３】
上述した実施形態においては、操作モデルはツリー構造となっているが、ツリー構造に限定されるものではなく、メッシュ型のネットワーク構造や、ハッシュマップを用いてもよい。また、操作モデルにおいて、ツリー構造の始点は、待受画面Ｐ１を表示している状態に限定されるものではなく、例えば、メニュー画面を表示している状態をツリー構造の始点としてもよい。
【００６４】
上述した実施形態においては、推定した操作を候補表示部２０２によって表示する場合、メニュー形式で表示しているが、推定した操作をアプリケーションプログラムに係る表示領域内に透過表示で表示するようにしてもよい。また、例えば、メニュー画面Ｐ４のようにアプリケーションプログラムに係るメニュー画面を表示している場合には、メニュー画面に加えて推定した操作の表示領域を設けてもよい。
【００６５】
上述した実施形態においては、操作情報グループを生成する際には、新しく記憶された操作情報の一つ前までの操作情報を操作情報グループとしているが、新しく記憶された操作情報までを操作情報グループに含めるようにしてもよい。この場合、操作情報グループＧ１１を候補表示部２０２が受け取り、対応する操作名が表示され、ユーザがその操作を選択した場合、基本画面Ｐ３→メニュー画面Ｐ４→撮影モード選択画面Ｐ５→基本画面Ｐ３という順序で画面が遷移する。なお、撮影モード選択画面Ｐ５から基本画面Ｐ３に画面遷移する際には操作情報に含まれているイベント識別子が表すイベントを生成するが、このイベントにはどの項目を選択したかを示す情報が含まれるため、操作情報生成時の選択項目と同等の項目が選択されることとなる。また、候補表示部２０２は、受け取った操作情報グループにおいて末尾にある操作情報を抽出し、抽出した操作情報に含まれている画面識別子およびイベント識別子を抽出する。候補表示部２０２は、画面識別子を抽出すると、抽出した画面識別子に予め対応づけられている操作名と、イベント識別子に予め対応付けられている操作名とを抽出し，これら操作名を組み合わせて表示部１０７に表示させる。例えば、上述したように操作情報グループＧ１１を候補表示部２０２が受け取った場合、「撮影モード選択（夜景）」を選択するメニューを表示する。なお、本変形例においては、一つ前に記憶された操作情報グループの末尾にある操作情報を、新たに記憶する操作情報グループの先頭に含めるようにしてよい。
【符号の説明】
【００６６】
１…情報処理装置、１０１…バス、１０２…ＣＰＵ、１０３…ＲＯＭ、１０４…ＲＡＭ、１０５…記憶部、１０６…操作部、１０６Ａ〜１０６Ｃ…キー、１０６Ｄ…タッチセンサー、１０７…表示部、１０８…通信部、１０９…通話部、１１０…撮影部、２００…処理部、２０１…操作情報取得部、２０２…候補表示部、２１１…候補推定部、２２１…操作情報分割部、２２２…解析部、２２３…操作情報統合部
【図１】
0005615128.tif 000002
【図２】
0005615128.tif 000003
【図３】
0005615128.tif 000004
【図４】
0005615128.tif 000005
【図５】
0005615128.tif 000006
【図６】
0005615128.tif 000007
【図７】
0005615128.tif 000008
【図８】
0005615128.tif 000009
【図９】
0005615128.tif 000010
【図１０】
0005615128.tif 000011
【図１１】
0005615128.tif 000012
【図１２】
0005615128.tif 000013
【図１３】
0005615128.tif 000014
【図１４】
0005615128.tif 000015
【図１５】
0005615128.tif 000016
【図１６】
0005615128.tif 000017
【図１７】
0005615128.tif 000018