(57)【要約】      （修正有）【課題】中断した操作の再開時に効果的な操作支援を行う情報処理装置の提供。【解決手段】リモコンから、押されたボタンを示すボタン情報と入力デバイスの位置を示す位置情報とを受け付ける操作情報取得部と、ボタン情報と位置情報とを含む操作履歴情報を記憶する記憶部と、表示画面に選択可能なソフトウェアキー２１ｂと位置情報に応じたポインタＰとを表示し、ボタン情報および位置情報に応じてソフトウェアキー２１ｂの選択を判定する表示制御部とを備え、表示制御部はさらに、リモコンにおける操作の中断を判定し、操作の中断の判定後に起こる中断された操作の再開を判定する判定部と、判定部において操作が再開されたと判定された後に、選択されたソフトウェアキー２１ｂを示す画像とポインタＰの移動の軌跡を示す画像とを含む操作履歴画像を表示画面上に表示する操作履歴表示部とを備える。【選択図】図６
2015018385.tif 000002
【特許請求の範囲】
【請求項１】
入力デバイスを用いて表示画面上で操作を行う情報処理装置であって、
前記入力デバイスにおいて押されたボタンを示すボタン情報と前記入力デバイスの位置を示す位置情報とを受け付ける操作情報取得部と、
前記操作情報取得部によって受け付けた前記ボタン情報と前記位置情報とを含む操作履歴情報を記憶する記憶部と、
前記表示画面上に選択可能なオブジェクトと前記位置情報に応じたポインタとを表示し、前記ボタン情報および前記位置情報を用いて、前記ポインタが前記オブジェクト上に位置する際に、前記ボタン情報が押されたと判定した場合には、前記オブジェクトが選択されたと判定する表示制御部とを備え、
前記表示制御部は、さらに、
前記入力デバイスにおける操作の中断を判定し、前記操作の中断の判定後に起こる中断された前記操作の再開を判定する判定部と、
前記判定部において操作が再開されたと判定された後に、選択された前記オブジェクトを示す画像と前記ポインタの移動の軌跡を示す画像とを含む操作履歴画像を前記操作履歴情報を用いて生成して前記表示画面上に表示する操作履歴表示部とを備える
情報処理装置。
【請求項２】
前記判定部は、予め定められた中断イベントが発生したとき、または、前記入力デバイスから前記ボタン情報および前記位置情報が一定の期間受信されない場合に、前記操作が中断されたと判定する
請求項１に記載の情報処理装置。
【請求項３】
前記判定部は、前記操作が中断されたと判定した後、予め定められた再開イベントが発生したとき、または、前記入力デバイスから前記ボタン情報あるいは前記位置情報が受信されたときに、前記前記操作が再開されたと判定する
請求項１または２に記載の情報処理装置。
【請求項４】
前記操作履歴表示部は、前記操作の中断より前に記憶された前記操作履歴情報を用い、予め設定された履歴表示時間分の前記操作履歴画像を表示する
請求項１〜３の何れか１項に記載の情報処理装置。
【請求項５】
前記操作履歴表示部は、予め設定された前記ポインタの移動距離分の前記操作履歴画像を表示する
請求項１〜４の何れか１項に記載の情報処理装置。
【請求項６】
前記操作履歴表示部は、予め設定された前記ボタンの操作の回数分の前記操作履歴画像を表示する
請求項１〜５の何れか１項に記載の情報処理装置。
【請求項７】
前記操作履歴表示部は、前記選択されたオブジェクトを示す画像を、前記ポインタの移動の軌跡を示す画像の上、且つ、前記選択されたオブジェクトの画像の上に表示する
請求項１〜６の何れか１項に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、特に、入力デバイスの操作に応じて表示装置に映像を出力する情報処理装置に関する。
【背景技術】
【０００２】
表示装置に映像を出力する機器には、例えば、ポインティングデバイスを用いて文字入力等の操作を行わせる機能を備える機器がある。
【０００３】
上述した機器を用いて操作を行う場合、操作中に、例えば、電話の着信等により、操作が中断される場合がある。このような場合、利用者は、作業を再開する際に、ポインティングデバイスの位置を示すポインタを表示画面上から見付けだし、中断時に行っていた操作の内容等を思い出す必要がある。
【０００４】
利用者による操作の再開を支援するための技術としては、例えば、操作の再開を検出したときに、ポインタを拡大表示する技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−２９７５４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した機器では、利用者に円滑な操作を行わせる支援としては十分ではないという問題がある。
【０００７】
本発明は上述の課題を解決するためになされたものであり、中断した操作の再開時における支援を行う情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の一態様に係る情報処理装置は、入力デバイスを用いて表示画面上で操作を行う情報処理装置であって、前記入力デバイスにおいて押されたボタンを示すボタン情報と前記入力デバイスの位置を示す位置情報とを受け付ける操作情報取得部と、前記操作情報取得部によって受け付けた前記ボタン情報と前記位置情報とを含む操作履歴情報を記憶する記憶部と、前記表示画面上に選択可能なオブジェクトと前記位置情報に応じたポインタとを表示し、前記ボタン情報および前記位置情報を用いて、前記ポインタが前記オブジェクト上に位置する際に前記ボタン情報が押されたと判定した場合には、前記オブジェクトが選択されたと判定する表示制御部とを備え、前記表示制御部は、さらに、前記入力デバイスにおける操作の中断を判定し、前記操作の中断の判定後に起こる中断された前記操作の再開を判定する判定部と、前記判定部において操作が再開されたと判定された後に、選択された前記オブジェクトを示す画像と前記ポインタの移動の軌跡を示す画像とを含む操作履歴画像を前記操作履歴情報を用いて生成して前記表示画面上に表示する操作履歴表示部とを備える。
【０００９】
上記構成の情報処理装置は、中断した操作の再開時に、利用者が以前の操作を把握することが容易になる。上述したように、利用者は、中断した事由の終了後、ポインタを表示画面上から見付けだし、中断時に行っていた操作の内容等を思い出すことが必要である。しかし、特に、電話の着信等、利用者が予期していないタイミングで操作の中断が生じた場合、中断した操作の再開時に、操作の内容を思い出すことが困難である場合がある。
【００１０】
これに対し、上記構成の情報処理装置は、操作の再開時に、移動の軌跡を示す画像と操作の内容を示す画像とを表示するので、操作の中断時における操作の内容を、利用者が思い出すのを的確に支援することが可能になる。
【００１１】
さらに、上記構成の情報処理装置は、利用者が、操作の中断時における操作の内容を把握することが容易になることから、操作の再開時における誤操作を低減することが可能になり、これにより、情報処理装置の消費電力の削減等を図ることが可能になる。
【００１２】
例えば、前記判定部は、予め定められた中断イベントが発生したとき、または、前記入力デバイスから前記ボタン情報および前記位置情報が一定の期間受信されない場合に、前記操作が中断されたと判定しても良い。
【００１３】
上記構成の情報処理装置は、中断イベントが発生したとき、または、位置情報またはボタン情報を含む操作履歴情報が一定の期間受信されないときに、操作が中断したと判定するので、操作の中断を適切に判定することが可能になる。
【００１４】
また、前記判定部は、前記操作が中断されたと判定した後、予め定められた再開イベントが発生したとき、または、前記入力デバイスから前記ボタン情報あるいは前記位置情報が受信されたときに、前記前記操作が再開されたと判定しても良い。
【００１５】
上記構成の情報処理装置は、再開イベントが発生したとき、または、操作が中断されたと判定された後に、入力デバイスから操作履歴情報を受信したときに、操作が再開されたと判定するので、操作の再開を適切に判定することが可能になる。
【００１６】
また、前記操作履歴表示部は、前記操作の中断より前に記憶された前記操作履歴情報を用い、予め設定された履歴表示時間分の前記操作履歴画像を表示しても良い。
【００１７】
上記構成の情報処理装置は、予め設定された履歴記憶時間分の操作履歴画像を表示する。上記構成の情報処理装置は、履歴記憶時間を、利用者が中断された操作の内容を把握するのに必要な時間に設定すれば、操作の中断時における操作の内容を利用者が思い出すのをより適切に支援することが可能になる。
【００１８】
また、前記操作履歴表示部は、予め設定された前記ポインタの移動距離分の前記操作履歴画像を表示しても良い。
【００１９】
上記構成の情報処理装置は、予め設定されたポインタの移動距離分の操作履歴画像を表示する。上記構成の情報処理装置は、ポインタの移動距離を、利用者が中断された操作の内容を把握するのに必要な距離に設定すれば、操作の中断時における操作の内容を利用者が思い出すのをより適切に支援することが可能になる。
【００２０】
また、前記操作履歴表示部は、予め設定された前記ボタンの操作の回数分の前記操作履歴画像を表示しても良い。
【００２１】
上記構成の情報処理装置は、予め設定されたボタンの操作の回数分の操作履歴画像を表示する。上記構成の情報処理装置は、ボタンの操作の回数を、利用者が中断された操作の内容を把握するのに必要な回数に設定すれば、操作の中断時における操作の内容を利用者が思い出すのをより適切に支援することが可能になる。
【００２２】
また、前記操作履歴表示部は、前記選択されたオブジェクトを示す画像を、前記ポインタの移動の軌跡を示す画像の上、且つ、前記選択されたオブジェクトの画像の上に表示しても良い。
【００２３】
上記構成の情報処理装置は、ボタンの操作が行われた位置に、操作の内容を示す画像を表示するので、操作の中断時における操作の内容を利用者が思い出すのをより適切に支援することが可能になる。
【００２４】
なお、本発明は、このような特徴的な処理部を備える情報処理装置として実現することができるだけでなく、情報処理装置に含まれる特徴的な処理部が実行する処理をステップとする情報処理方法として実現することができる。また、情報処理装置に含まれる特徴的な処理部としてコンピュータを機能させるためのプログラムまたは情報処理方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【発明の効果】
【００２５】
本発明によると、中断した操作の再開時における支援を行う情報処理装置を提供する。
【図面の簡単な説明】
【００２６】
【図１】情報処理装置を含む情報処理システムの構成の一例を示す図である。
【図２】リモコンの構成の一例を示す図である。
【図３】ＳＴＢの構成の一例を示すブロック図である。
【図４】操作の中断後、最初にリモコン１０からボタン情報または位置情報を受信した場合の履歴表示処理の処理手順の一例を示すフローチャートである。
【図５】文字入力画面の一例を示す図である。
【図６】操作履歴表示部により表示される操作履歴画像の一例を示す図である。
【図７】操作履歴表示部により表示される操作履歴画像の一例を示す図である。
【図８】操作履歴表示部により表示される操作履歴画像の一例を示す図である。
【発明を実施するための形態】
【００２７】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、各図は、必ずしも各寸法あるいは各寸法比等を厳密に図示したものではない。
【００２８】
また、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
【００２９】
（実施の形態１）
実施の形態１の情報処理装置について、図１〜図６を基に説明する。
【００３０】
図１は、本実施の形態の情報処理装置を含む情報処理システム１の一例を示す図である。図１に示すように、情報処理システム１は、入力デバイスの一例であるリモコン１０と、表示画面を有する液晶ＴＶ（Ｔｅｌｅｖｉｓｉｏｎ）２０と、情報処理装置の一例であるＳＴＢ（Ｓｅｔ  Ｔｏｐ  Ｂｏｘ）３０とを備えている。
【００３１】
＜１−１．リモコン１０の構成＞
リモコン１０の構成について、図１および図２を基に説明する。図２は、リモコン１０の内部構成の一例を示すブロック図である。
【００３２】
リモコン１０は、本実施の形態では、ＳＴＢ３０を操作するためのジャイロリモコンである。リモコン１０は、図１および図２に示すように、複数のボタンと、角速度検出部１１と、ボタン入力検出回路１２と、ボタン情報生成回路１３と、送信部１４とを備えている。なお、図１において、軸ＡＸは、リモコン１０の長手方向（縦方向）に平行な軸である。
【００３３】
複数のボタンは、リモコン１０の筐体の表面に備えられている。本実施の形態では、リモコン１０は、図１に示すように、電源ボタンＢｐ１と、ファンクションボタンＢｆ１〜Ｂｆ３と、選択ボタンＢｓ１〜Ｂｓ９と、モード切替ボタンＢｍ１とを備えている。
【００３４】
電源ボタンＢｐ１は、ＳＴＢ３０の電源のＯＮとＯＦＦとを切り替えるボタンである。
【００３５】
選択ボタンＢｓ１〜Ｂｓ９、ファンクションボタンＢｆ１〜Ｂｆ３、モード切替ボタンＢｍ１には、ＳＴＢ３０で用いられる任意の機能が割り当てられている。例えば、リモコン１０を操作して、ポインタを後述する液晶ＴＶの表示画面に表示された複数のオブジェクトの１つに合わせ、選択ボタンＢｓ５を押すことにより、ポインタが位置するオブジェクトを選択することができる。
【００３６】
角速度検出部１１は、角速度を検出するセンサである。より具体的には、角速度検出部１１は、例えば、液晶ＴＶ２０の表示画面に水平なＸ軸方向（図１参照）の移動量を特定するための加速度とＹ軸方向（図１参照）の移動量を特定するための加速度とを角速度として検出する。図１では、表示画面の横方向をＸ軸方向、表示画面の縦方向をＹ軸方向としている。リモコン１０が利用者によりＸ軸方向またはＹ軸方向に振られ、液晶ＴＶ２０の表示画面に対するリモコン１０の軸ＡＸの傾きが変化したときに、角速度は検出される。さらに、角速度検出部１１は、検出した角速度を示す角速度情報を、送信部１４を介してＳＴＢ３０に送信する。なお、角速度情報は、位置情報の一例である。
【００３７】
ボタン入力検出回路１２は、押されたボタンを検出する回路である。
【００３８】
ボタン情報生成回路１３は、ボタン入力検出回路１２からの情報に基づいて、押されたボタンを示すボタン情報を生成する回路である。ボタン情報生成回路１３は、生成したボタン情報を、送信部１４を介してＳＴＢ３０に送信する。
【００３９】
送信部１４は、ＳＴＢ３０と無線で通信を行うためのインターフェースであり、角速度情報およびボタン情報等の送信を行う。
【００４０】
＜１−２．液晶ＴＶ２０の構成＞
液晶ＴＶ２０は、本実施の形態では、後述するＳＴＢ３０からの信号を受けて、表示画面上に、ＳＴＢ３０において利用可能なコンテンツの映像を表示する。
【００４１】
液晶ＴＶ２０は、本実施の形態では、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）端子を備えており、ＳＴＢ３０にＨＤＭＩ（登録商標）ケーブルを用いて接続されている。
【００４２】
なお、以下の説明では、液晶ＴＶ２０の表示画面における画素の位置を、直交座標系、すなわち、図１に示すＸ軸方向のＸ座標とＹ軸方向のＹ座標で示す。左上の画素の座標を（０，０）とする。
【００４３】
＜１−３．ＳＴＢ３０の構成＞
ＳＴＢ３０の構成について、図３を基に説明する。図３は、ＳＴＢ３０の構成の一例を示すブロック図である。
【００４４】
ＳＴＢ３０は、例えば、ＡＮＤＲＯＩＤ（登録商標）を利用可能な装置であり、図３に示すように、操作情報取得部３１と、表示制御部３２と、記憶部３３とを備えている。なお、本実施の形態では、操作情報取得部３１および表示制御部３２は、例えば、本実施の形態の情報処理方法を実行するコンピュータプログラム（ソフトウェア）を、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）が実行することにより実現される。
【００４５】
操作情報取得部３１は、リモコン１０から、無線通信により、ボタン情報と位置情報とを受け付ける。本実施の形態では、位置情報は、上述したように、角速度情報である。
【００４６】
表示制御部３２は、液晶ＴＶ２０の表示画面に、リモコン１０の操作に応じて映像（画像）を表示するように構成されており、本実施の形態では、判定部３２ａと、操作履歴表示部３２ｂとを備えている。
【００４７】
より詳細には、表示制御部３２は、ＡＮＤＲＯＩＤ（登録商標）端末で利用可能な複数のコンテンツを示す複数のオブジェクトを配置したメニュー画面、文字を入力するための文字入力画面、または、選択されたコンテンツの映像等を表示画面に表示する。なお、各コンテンツは、履歴表示処理を行う画面を含んでいても良い。また、オブジェクトは、アイコン、ソフトウェアキー、ボタン等、ポインタにより選択可能な画像である。
【００４８】
表示制御部３２は、リモコン１０の表示画面上の位置を示すポインタを、上述したメニュー画面の画像あるいは文字入力画面の画像等に重ね合わせて表示する。表示制御部３２は、操作情報取得部３１から受け付けた位置情報に応じて、ポインタの表示位置、例えば、ＸＹ座標を適宜設定する。例えば、角速度情報にＸ軸方向の加速度が含まれる場合は、ポインタを、Ｘ軸方向に、加速度の大きさに対応する速度、および、加速度の検出された時間に応じて移動させる。角速度情報にＹ軸方向の加速度が含まれる場合は、ポインタを、Ｙ軸方向に、加速度の大きさに対応する速度、および、加速度の検出された時間に応じて移動させる。言い換えると、ユーザは、液晶ＴＶ２０の表示画面に対するリモコン１０の軸ＡＸの角度を変えることにより、ポインタの位置を移動させることができる。
【００４９】
判定部３２ａは、リモコン１０における操作の中断を判定し、さらに、操作の中断後に起こる中断された操作の再開を判定する。
【００５０】
より詳細には、本実施の形態では、判定部３２ａは、スクリーンセーバーの起動あるいはＳＴＢ３０の電源ＯＦＦ等の特定の中断イベントが発生した場合、または、リモコン１０からボタン情報および位置情報が一定の期間受信されない場合に、操作が中断されたと判定する。
【００５１】
また、判定部３２ａは、スクリーンセーバーの解除あるいはＳＴＢ３０の電源ＯＮ等の特定の再開イベントが発生した場合、または、操作が中断されたと判定された後に、リモコン１０からボタン情報または位置情報を受信した場合に、操作が再開されたと判定する。
【００５２】
操作履歴表示部３２ｂは、判定部３２ａにおいて操作が再開されたと判定された後に、選択されたオブジェクトを示す画像とポインタの移動の軌跡を示す画像とを含む操作履歴画像を表示画面上に表示する履歴表示処理を行う。本実施の形態では、操作履歴表示部３２ｂは、３秒分の操作履歴画像を表示するように構成されている。なお、操作履歴画像を表示する時間は、３秒に限られるものではなく、他の時間に設定しても良いし、利用者が任意に設定できるように構成してもよい。
【００５３】
記憶部３３は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等、任意の記憶回路を用いて構成されている。記憶部３３には、本実施の形態では、上述したソフトウェア３３ａ、メニュー画面の画像（図示せず）、文字入力画面の画像３３ｂ、ポインタの画像３３ｃ、ボタン情報と位置情報（本実施の形態では、角速度情報）とを含む操作履歴情報３３ｄ、操作履歴画像３３ｅ等が記憶されている。
【００５４】
＜１−４．ＳＴＢ３０の動作＞
ＳＴＢ３０における履歴表示処理の処理手順について、図４〜図７を基に説明する。
【００５５】
本実施の形態のＳＴＢ３０は、（１）操作の中断後、最初にリモコン１０からボタン情報または位置情報を受信した場合、および、（２）特定の再開イベントが発生した場合に、履歴表示処理を行う。なお、本実施の形態では、履歴表示処理を、メニュー画面、文字入力画面等の画面単位で行う。
【００５６】
まず、（１）操作の中断後、最初にリモコン１０からボタン情報または位置情報を受信した場合について説明する。
【００５７】
図４は、操作の中断後、最初にリモコン１０からボタン情報または位置情報を受信した場合の履歴表示処理の処理手順の一例を示すフローチャートである。
【００５８】
表示制御部３２は、画面の遷移があった場合に、遷移後の画面が履歴表示処理を行う画面であるか否かを判定する（Ｓ１０）。本実施の形態では、履歴表示処理を行う画面として、文字入力画面を例に説明する。なお、履歴表示処理を実行する他の画面に対しても、同じ動作を行うように構成しても良い。
【００５９】
図５は、文字入力画面２１の一例を示す図である。文字入力画面２１は、図５に示すように、ソフトウェアキーボードを用いて構成されている。文字入力画面２１は、入力された文字を表示する文字入力欄２１ａと、それぞれに特定の平仮名が割り当てられている複数のソフトウェアキー２１ｂと、入力する文字の種別を切り替える切り替えボタン２１ｃとを備えている。また、文字入力画面２１上には、ポインタＰが表示されている。
【００６０】
表示制御部３２は、リモコン１０から情報を受け付けると（Ｓ１１の「有り」）、当該情報が、現在のコンテンツの終了を意味する情報であるか否かを判定する（Ｓ１２）。
【００６１】
表示制御部３２は、リモコン１０からの情報が、現在のコンテンツの終了を意味する情報であると判定した場合（Ｓ１２の「ＹＥＳ」）、履歴表示処理を終了する。
【００６２】
表示制御部３２は、リモコン１０からの情報が、現在のコンテンツの終了を意味する情報ではないと判定した場合（Ｓ１２の「ＮＯ」）、記憶部３３にリモコン１０から受け付けた情報を操作履歴情報として記憶する（Ｓ１３）。なお、本実施の形態では、表示制御部３２は、操作履歴情報と、当該操作履歴情報を受信した時間とを対応付けて記憶する。さらに、表示制御部３２は、図示しないが、リモコン１０から受け付けた情報に応じた動作を行う。例えば、表示制御部３２は、リモコン１０から受け付けた情報が角速度情報である場合、ポインタＰを移動させる。また、表示制御部３２は、リモコン１０から受け付けた情報がボタン情報である場合、ポインタＰがソフトウェアキー２１ｂに位置する場合は、ソフトウェアキー２１ｂに対応付けられた文字を文字入力欄２１ａに表示する。
【００６３】
表示制御部３２は、ステップＳ１１において、リモコン１０から情報が出力されない場合（Ｓ１１の「なし」）、操作が中断されたか否かを判定する（Ｓ１４）。
【００６４】
判定部３２ａは、リモコン１０からの情報を受信したときに、受信時間を記憶する。判定部３２ａは、ステップＳ１４において、一定の期間、例えば、１０分間、リモコン１０からの情報の受信が無い場合、操作が中断されたと判定する。以下の説明では、図４に示すように、「さかなを」の文字が入力された後に、操作が中断されたと判定された場合について説明する。
【００６５】
表示制御部３２は、判定部３２ａにおいて操作が中断されたと判定されなかった場合は（Ｓ１４の「ＮＯ」）、ステップＳ１１に遷移する。
【００６６】
表示制御部３２は、判定部３２ａにおいて操作が中断されたと判定されると（Ｓ１４の「ＹＥＳ」）、操作が再開されたか否かを判定する（Ｓ１５）。判定部３２ａは、具体的には、操作情報取得部３１がリモコン１０から情報を受け付けたときに、操作が再開されたと判定する。
【００６７】
表示制御部３２は、判定部３２ａにおいて操作が再開されたと判定されると（Ｓ１５の「ＹＥＳ」）、操作履歴表示部３２ｂにより、操作履歴の表示を行う（Ｓ１６）。操作履歴表示部３２ｂは、記憶部３３に記憶された操作履歴情報３３ｄを用いて、操作履歴画像を生成する。
【００６８】
図６は、操作履歴表示部３２ｂにより表示される操作履歴画像３３ｅの一例を示す図である。図６では、操作履歴画像３３ｅとして、ポインタＰの移動開始位置を示す画像ＰＢＡＳと、ポインタＰの移動の軌跡を示す画像ＰＴＲＡと、ボタンが押されたことを示す画像ＰＢＡ１〜ＰＢＡ４（選択されたオブジェクトを示す画像）と、ポインタＰの移動終了位置を示す画像ＰＢＡＥとが表示されている。
【００６９】
ポインタＰの移動開始位置を示す画像ＰＢＡＳは、ここでは、円形の図形に文字「Ｓ」が付された画像である。なお、ポインタＰの移動開始位置は、本実施の形態では、３秒間の履歴を表示することから、操作が中断されたと判定された時点から３秒前のポインタＰの位置である。操作履歴表示部３２ｂは、操作履歴情報３３ｄの位置情報から、操作が中断されたと判定された時点から３秒前のポインタＰの位置を抽出し、当該位置に、画像ＰＢＡＳを配置する。
【００７０】
ポインタＰの移動の軌跡を示す画像ＰＴＲＡは、ここでは、実線で示されている。画像ＰＴＲＡは、画像ＰＢＡＳ、画像ＰＢＡ１〜ＰＢＡ４、画像ＰＢＡＥを結ぶ線となっている。
【００７１】
ボタンが押されたことを示す画像ＰＢＡ１〜ＰＢＡ４は、ここでは、菱形の図形に、ボタンが押された順序を示す数字が付された画像である。操作履歴表示部３２ｂは、画像ＰＢＡ１〜ＰＢＡ４を、ボタンが押された場所（画像ＰＴＲＡ上の位置）に表示する。操作履歴表示部３２ｂは、図６に示すように、リモコン１０のボタンが押されたときにポインタＰが位置したソフトウェアキー「さ」「か」「な」「を」の上に重なるように、ＰＢＡ１〜ＰＢＡ４を表示する。操作履歴表示部３２ｂは、操作履歴情報３３ｄのボタン情報から、ボタンが押された時刻を取得する。さらに、操作履歴表示部３２ｂは、操作履歴情報３３ｄの位置情報から、当該時刻におけるポインタＰの位置を抽出する。操作履歴表示部３２ｂは、抽出した位置に、ボタンが押されたことを示す画像を配置する。
【００７２】
ポインタＰの移動終了位置を示す画像ＰＢＡＥは、ここでは、円形の図形に文字「Ｅ」が付された画像である。なお、ポインタＰの移動終了位置は、本実施の形態では、操作が中断されたと判定された時点のポインタＰの位置である。操作履歴表示部３２ｂは、操作履歴情報３３ｄの位置情報から、操作が中断されたと判定された時点のポインタＰの位置を抽出し、当該位置に、画像ＰＢＡＥを配置する。
【００７３】
表示制御部３２は、操作履歴画像３３ｅの表示後、ステップＳ１１に遷移する。なお、本実施の形態では、操作履歴画像３３ｅの表示終了は、リモコン１０からの操作に基づいて実行する。図４に示すフローチャートでは、ステップ１６の実行後のステップＳ１３で実行される。なお、操作履歴画像３３ｅの表示終了は、一定時間後、または、特定のイベントが発生したときなど、他のタイミングで実行しても良い。
【００７４】
次に、（２）特定の再開イベントが発生した場合に履歴表示処理を行う場合について説明する。
【００７５】
表示制御部３２は、例えば、ＳＴＢ３０の電源ＯＮ、スクリーンセーバーの解除等の特定の再開イベントが発生した場合に、当該再開イベントが発生する前に表示していた画面上に、操作履歴画像３３ｅを表示する。
【００７６】
より具体的には、記憶部３３を、例えば、文字入力画面が表示されているときに、ＳＴＢ３０の電源がＯＦＦ状態となった（中断イベントの一例）場合でも、操作履歴情報３３ｄが消えないように構成する。表示制御部３２は、ＳＴＢ３０の電源がＯＮになると、ＳＴＢ３０の電源がＯＦＦになった時点における文字入力画面を再度表示すると共に、操作履歴情報３３ｄを表示する。このように構成すれば、例えば、停電等で操作が中断された場合にも対応できる。
【００７７】
また、例えば、表示制御部３２は、文字入力画面が表示されているときに、スクリーンセーバーが起動（中断イベントの一例）した場合、操作履歴情報３３ｄを記憶部３３にそのまま保持しておく（削除されないようにする）。表示制御部３２は、スクリーンセーバーが解除されると、当該文字入力画面上に、操作履歴情報３３ｄを表示する。スクリーンセーバーが設定されていない場合には、上記（１）のフローチャートを実行し、スクリーンセーバーが設定されている場合には、上記（１）のフローチャートのステップＳ１４およびステップＳ１５において、位置情報およびボタン情報が受信されない期間ではなく、スクリーンセーバーの状態を判定するように構成してもよい。
【００７８】
＜１−５．効果等＞
本実施の形態のＳＴＢ３０（情報処理装置の一例）は、操作が中断された後、操作の再開時に、図６に示すように、移動の軌跡を示す画像ＰＴＲ（ＰＴＲＡ）と操作の内容を示す画像ＰＢ（ＰＢＡ１〜ＰＢＡ４）とを表示するので、操作の中断時における操作の内容を、利用者が思い出すのを的確に支援することが可能になる。
【００７９】
なお、図６において、文字入力画面の画像が見づらくなるのを低減するために、操作履歴画像３３ｅを点滅表示する等してもよい。また、移動の軌跡を示す画像ＰＴＲの色を、終点に向かうほど濃く（あるいは薄く）しても良いし、点線にしてもよい。
【００８０】
（実施の形態２）
実施の形態２の情報処理装置について、図７を基に説明する。
【００８１】
本実施の形態では、実施の形態１とは、操作履歴画像３３ｅの構成が異なる場合について説明する。
【００８２】
なお、本実施の形態の情報処理装置は、実施の形態１と同様に、図１に示す情報処理システム１で用いられる情報処理装置である。情報処理システム１は、実施の形態１と同様に、入力デバイスの一例であるリモコン１０と、液晶ＴＶ２０と、情報処理装置の一例であるＳＴＢ３０とを備えている。リモコン１０、液晶ＴＶ２０およびＳＴＢ３０の構成は、表示される操作履歴画像３３ｅの構成を除き、同じである。
【００８３】
＜２−１．操作履歴画像＞
本実施の形態の操作履歴画像について、図７を基に説明する。図７は、操作履歴表示部３２ｂにより表示される操作履歴画像３３ｅの一例を示す図である。
【００８４】
図７では、操作履歴画像３３ｅとして、ポインタＰの移動開始位置を示す画像ＰＢＢＳと、ポインタＰの移動の軌跡を示す画像ＰＴＲＢと、ボタンが押されたことを示す画像ＰＢＢ１〜ＰＢＢ４と、ポインタＰの移動終了位置を示す画像ＰＢＢＥとが表示されている。
【００８５】
ここで、画像ＰＢＢＳ、画像ＰＴＲＢ、画像ＰＢＢ１〜ＰＢＢ４、および、画像ＰＢＢＥの形状および色は、図６に示す画像ＰＢＡＳ、画像ＰＴＲＡ、画像ＰＢＡ１〜ＰＢＡ４、および、画像ＰＢＡＥと同じである。ただし、本実施の形態の画像ＰＢＢＳ、画像ＰＴＲＢ、画像ＰＢＢ１〜ＰＢＢ４、および、画像ＰＢＢＥは、文字入力画面の視認性を損なわないように、透過画像で構成されている。
【００８６】
＜２−２．効果等＞
本実施の形態のＳＴＢ３０（情報処理装置の一例）は、実施の形態１と同様に、操作が中断された後、操作の再開時に、図７に示すように、移動の軌跡を示す画像ＰＴＲ（ＰＴＲＢ）と操作の内容を示す画像ＰＢ（ＰＢＡ１〜ＰＢＡＢ）とを表示するので、操作の中断時における操作の内容を、利用者が思い出すのを的確に支援することが可能になる。
【００８７】
さらに、本実施の形態のＳＴＢ３０は、操作履歴画像３３ｅを、透過画像で構成したため、操作履歴画像３３ｅにより、文字入力画面の画像が見づらくなるのをより効果的に低減できる。
【００８８】
（実施の形態３）
実施の形態３の情報処理装置について、図面を基に説明する。
【００８９】
本実施の形態では、実施の形態１および２とは、操作履歴画像を表示する量の決定方法が異なる場合について説明する。具体的には、実施の形態１では、一定時間（実施の形態１では３秒）分の操作履歴画像を表示したが、本実施の形態では、一定の移動距離分の操作履歴画像を表示する場合について説明する。
【００９０】
なお、本実施の形態の情報処理装置は、実施の形態１と同様に、図１に示す情報処理システム１で用いられる情報処理装置である。情報処理システム１は、実施の形態１と同様に、入力デバイスの一例であるリモコン１０と、液晶ＴＶ２０と、情報処理装置の一例であるＳＴＢ３０とを備えている。リモコン１０、液晶ＴＶ２０およびＳＴＢ３０の構成は、表示される操作履歴画像３３ｅの構成を除き、同じである。
【００９１】
＜３−１．ＳＴＢ３０の動作＞
本実施の形態のＳＴＢ３０の動作について、図４および図６を基に説明する。なお、ステップＳ１６以外のステップ、操作履歴画像３３ｅを構成する各画像については、実施の形態１と同じである。
【００９２】
本実施の形態では、操作履歴表示部３２ｂは、一定の移動距離分の操作履歴画像３３ｅを表示する。ここで、一定の移動距離は、例えば、文字入力画面の横幅の２倍〜３倍の長さ等、利用者が中断前の操作を把握し易い量に設定する。
【００９３】
ステップＳ１６において、本実施の形態の操作履歴表示部３２ｂは、図６に示すように、操作履歴画像３３ｅとして、ポインタＰの移動開始位置を示す画像ＰＢＡＳと、ポインタＰの移動の軌跡を示す画像ＰＴＲＡと、ボタンが押されたことを示す画像ＰＢＡ１〜ＰＢＡ４と、ポインタＰの移動終了位置を示す画像ＰＢＡＥとを表示する。
【００９４】
ポインタＰの移動の軌跡を示す画像ＰＴＲＡは、実施の形態１と同様に、実線で示されている。但し、本実施の形態では、画像ＰＴＲＡの長さが一定の長さに設定されている。
【００９５】
ポインタＰの移動開始位置を示す画像ＰＢＡＳは、実施の形態１と同様に、円形の図形に文字「Ｓ」が付された画像である。但し、ポインタＰの移動開始位置は、本実施の形態では、ポインタＰの移動の軌跡を示す画像ＰＴＲＡの始点である。
【００９６】
ボタンが押されたことを示す画像ＰＢＡ１〜ＰＢＡ４は、実施の形態１と同様に、菱形の図形に、ボタンが押された順を示す数字が付された画像である。操作履歴表示部３２ｂは、実施の形態１と同様に、画像ＰＢＡ１〜ＰＢＡ４を、ボタンが押された場所（画像ＰＴＲＡ上の位置、時間）に表示する。
【００９７】
ポインタＰの移動終了位置を示す画像ＰＢＡＥは、ここでは、円形の図形に文字「Ｅ」が付された画像である。なお、ポインタＰの移動終了位置は、本実施の形態では、操作が中断されたと判定された時点のポインタＰの位置である。
【００９８】
＜３−２．効果等＞
本実施の形態のＳＴＢ３０（情報処理装置の一例）は、操作が中断された後、操作の再開時に、図６に示すように、移動の軌跡を示す画像ＰＴＲ（ＰＴＲＡ）と操作の内容を示す画像ＰＢ（ＰＢＡ１〜ＰＢＡ４）とを表示するので、操作の中断時における操作の内容を、利用者が思い出すのを的確に支援することが可能になる。
【００９９】
また、本実施の形態では、一定の移動距離分の操作履歴画像を表示するので、操作の中断の前の一定時間の間に、ほとんどポインタＰが動かなかった場合でも、利用者が中断前の操作を把握するのが容易になる。
【０１００】
なお、本実施の形態の操作履歴画像３３ｅを、実施の形態２の操作履歴画像３３ｅとしてもよい。
【０１０１】
（実施の形態４）
実施の形態４の情報処理装置について、図８を基に説明する。
【０１０２】
本実施の形態では、実施の形態１〜３とは、操作履歴画像を表示する量の決定方法が異なる場合について説明する。具体的には、実施の形態１および２では、一定時間分の操作履歴画像を表示する場合について、実施の形態３では、一定距離分の操作履歴画像を表示する場合について説明したが、本実施の形態では、一定の操作の回数分の操作履歴画像を表示する場合について説明する。
【０１０３】
なお、本実施の形態の情報処理装置は、実施の形態１と同様に、図１に示す情報処理システム１で用いられる情報処理装置である。情報処理システム１は、実施の形態１と同様に、入力デバイスの一例であるリモコン１０と、液晶ＴＶ２０と、情報処理装置の一例であるＳＴＢ３０とを備えている。リモコン１０、液晶ＴＶ２０およびＳＴＢ３０の構成は、表示される操作履歴画像３３ｅの構成を除き、同じである。
【０１０４】
＜４−１．ＳＴＢ３０の動作＞
本実施の形態のＳＴＢ３０の動作について、図４および図８を基に説明する。図８は、操作履歴表示部３２ｂにより表示される操作履歴画像３３ｅの一例を示す図である。なお、ステップＳ１６以外のステップ、操作履歴画像３３ｅを構成する各画像については、実施の形態１と同じである。
【０１０５】
本実施の形態では、操作履歴表示部３２ｂは、リモコン１０における操作の回数が、一定の操作の回数分の操作履歴画像３３ｅを表示する。ここで、一定の操作の回数は、例えば、文字入力画面であれば、操作の中断前の５文字分等、利用者が中断前の操作を把握し易い量に設定する。
【０１０６】
ステップＳ１６において、本実施の形態の操作履歴表示部３２ｂは、図８に示すように、操作履歴画像３３ｅとして、ポインタＰの移動の軌跡を示す画像ＰＴＲＣと、ボタンが押されたことを示す画像ＰＢＣＳ、ＰＢＣ１〜ＰＢＡ３と、ポインタＰの移動終了位置を示す画像ＰＢＣＥとを表示する。
【０１０７】
ボタンが押されたことを示す画像ＰＢＣＳは、円形の図形に文字「Ｓ」が付された画像である。画像ＰＢＣＳは、ポインタＰの移動開始位置を示す画像であり、利用者が操作の中断前に行った操作から、一定の回数分前の操作で押されたボタンを示している。言い換えると、画像ＰＢＣＳは、操作の中断前に操作情報取得部３１が受信したボタン情報のうち、操作の中断前から一定の回数分（例えば、５回）前のボタン情報で特定されたソフトウェアキーの位置に表示する。但し、本実施の形態では、文字入力画面には、４文字が入力されており、５回前のボタン情報が存在しないため、最初に入力された文字「さ」上に、画像ＰＢＣＳを表示している。
【０１０８】
画像ＰＢＣ１〜ＰＢＣ３は、画像ＰＢＣＳに対応するボタン情報の後に、操作情報取得部３１が受信したボタン情報に対応付けられた画像である。画像ＰＢＣ１〜ＰＢＣ３は、菱形の図形に、ボタンが押された順を示す数字が付されている。操作履歴表示部３２ｂは、実施の形態１と同様に、画像ＰＢＣ１〜ＰＢＣ３を、ボタンが押された場所（画像ＰＴＲＣ上の位置、時間）に表示する。
【０１０９】
ポインタＰの移動の軌跡を示す画像ＰＴＲＣは、実施の形態１と同様に、実線で示されている。画像ＰＴＲＣの始点は、画像ＰＢＣＳであり、画像ＰＢＣＳ、画像ＰＢＣ１〜ＰＢＣ３、画像ＰＢＣＥを結ぶ線となっている。
【０１１０】
ポインタＰの移動終了位置を示す画像ＰＢＣＥは、ここでは、円形の図形に文字「Ｅ」が付された画像である。なお、ポインタＰの移動終了位置は、実施の形態１と同様に、操作が中断されたと判定された時点のポインタＰの位置である。
【０１１１】
＜４−２．効果等＞
本実施の形態のＳＴＢ３０（情報処理装置の一例）は、操作が中断された後、操作の再開時に、図８に示すように、移動の軌跡を示す画像ＰＴＲ（ＰＴＲＣ）と操作の内容を示す画像ＰＢ（ＰＢＣＳ、ＰＢＣ１〜ＰＢＣ３）とを表示するので、操作の中断時における操作の内容を、利用者が思い出すのを的確に支援することが可能になる。
【０１１２】
また、本実施の形態では、一定の操作の回数分の操作履歴画像を表示するので、操作の中断の前の一定時間の間に、ほとんどポインタＰが動かなかった場合でも、利用者が中断前の操作を把握するのが容易になる。
【０１１３】
なお、本実施の形態の操作履歴画像３３ｅを、実施の形態２の操作履歴画像３３ｅとしてもよい。
【０１１４】
（他の実施の形態）
以上、本発明の実施の形態に係る情報処理装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【０１１５】
（１）実施の形態１〜実施の形態４では、情報処理装置がＳＴＢである場合を例に説明したが、これに限るものではない。ＰＣ、あるいは、ゲーム機等であっても良い。
【０１１６】
（２）また、入力デバイスは、ジャイロリモコンに限られるものではない。例えば、ＰＣのマウス、あるいは、スマートフォンなどであっても良い。
【０１１７】
光学式のマウスは、例えば、光センサを備えて構成される。光学式のマウスは、マウスを載置した机等に光を照射し、反射光を検出することにより、位置情報を取得する。また、機械式のマウスは、例えば、ボールを備えて構成され、ボールの回転数および回転方向を位置情報として取得する。
【０１１８】
（３）実施の形態１〜実施の形態４では、表示制御部３２が、記憶部３３に、操作履歴情報３３ｄとして、位置情報とボタン情報とを記憶する場合について説明したが、これに限るものではない。表示制御部３２は、位置情報に代えて、位置情報に相当する情報を記憶してもよい。位置情報に相当する情報は、例えば、角速度情報から求められるポインタＰの移動先の位置の情報（軌跡の情報）および移動速度、あるいは、ポインタＰの軌跡を示す情報等である。同様に、表示制御部３２は、ボタン情報に代えて、ボタン情報に相当する情報、例えば、選択されたオブジェクトを示す情報等を記憶してもよい。
【０１１９】
（４）実施の形態１〜実施の形態４において、記憶部３３は、表示に用いられることの無くなった操作履歴情報を削除するように構成してもよい。また、記憶部３３は、操作履歴情報に予め決められた領域を割り当てておき、表示に用いられることの無くなった操作履歴情報を記憶した領域に、新たに記憶する操作履歴情報を上書きするように構成してもよい。
【０１２０】
（５）また、実施の形態１〜実施の形態４では、操作履歴画像を、一定の時間分、一定の移動距離分、または、一定の操作の回数分としていたが、これらを組み合わせても良い。例えば、一定の時間の間の移動距離が所定の閾値よりも小さい場合は、一定の距離分の操作履歴画像を表示する構成としても良い。また、例えば、一定の時間の間の操作の回数が所定の閾値よりも小さい場合は、一定の操作の回数分の操作履歴画像を表示する構成としても良い。
【０１２１】
（６）また、上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１２２】
さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１２３】
さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
【０１２４】
また、本発明は、上記に示す方法であるとしても良い。また、本発明は、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、上記コンピュータプログラムからなるデジタル信号であるとしても良い。
【０１２５】
さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、半導体メモリなどに記録したものとしても良い。また、これらの非一時的な記録媒体に記録されている上記デジタル信号であるとしても良い。
【０１２６】
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
【０１２７】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
【０１２８】
また、上記プログラムまたは上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
【０１２９】
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。
【産業上の利用可能性】
【０１３０】
本発明は、入力デバイスの操作に応じて表示装置に映像を出力する情報処理装置、例えば、ＳＴＢ、ＰＣ、あるいは、ゲーム機等の情報処理装置に有用である。
【符号の説明】
【０１３１】
１      情報処理システム
１０    リモコン
１１    角速度検出部
１２    ボタン入力検出回路
１３    ボタン情報生成回路
１４    送信部
２０    液晶ＴＶ
２１    文字入力画面
２１ａ  文字入力欄
２１ｂ  ソフトウェアキー
２１ｃ  切り替えボタン
３０    ＳＴＢ
３１    操作情報取得部
３２    表示制御部
３２ａ  判定部
３２ｂ  操作履歴表示部
３３    記憶部
３３ａ  ソフトウェア
３３ｂ  文字入力画面の画像
３３ｃ  ポインタの画像
３３ｄ  操作履歴情報
３３ｅ  操作履歴画像
【図１】
2015018385.tif 000003
【図２】
2015018385.tif 000004
【図３】
2015018385.tif 000005
【図４】
2015018385.tif 000006
【図５】
2015018385.tif 000007
【図６】
2015018385.tif 000008
【図７】
2015018385.tif 000009
【図８】
2015018385.tif 000010