(57)【要約】【課題】タッチパネルディスプレイなどを具備する外部装置であって、自装置が有するハードウェアキーのいずれかを有しない外部装置が接続されても、自装置のハードウェアキーを用いることなく、該外部装置を用いた操作を容易に行うことができる情報処理装置を提供すること。【解決手段】自装置のハードウェアキーのうち、少なくとも外部装置が有しないハードウェアキーと、ジェスチャーパターンとを対応付けて、予め記憶するジェスチャーパターン記憶部と、ジェスチャーパターン記憶部が記憶するジェスチャーパターンのうち、外部装置が検出したタッチ位置の履歴が表すジェスチャーと一致するものを検出し、該検出したジェスチャーパターンと対応付けてジェスチャーパターン記憶部が記憶するハードウェアキーが操作されたと判定するハードウェアキー判定部とを具備することを特徴とする。【選択図】図１
2014186495.tif 000002
【特許請求の範囲】
【請求項１】
タッチ位置を検出するタッチ位置検出部を具備する外部装置であって、自装置が有するハードウェアキーのいずれかを有しない外部装置と接続される情報処理装置であって、
前記ハードウェアキーのうち、少なくとも前記外部装置が有しないハードウェアキーを示す情報と、ジェスチャーパターンとを対応付けて、予め記憶するジェスチャーパターン記憶部と、
前記外部装置が検出したタッチ位置を示すタッチ操作情報を取得するタッチ操作受信部と、
前記ジェスチャーパターン記憶部が記憶するジェスチャーパターンのうち、前記タッチ操作情報の履歴が表すジェスチャーと一致するものを検出し、該検出したジェスチャーパターンと対応付けて前記ジェスチャーパターン記憶部が記憶するハードウェアキーを示す情報を読み出し、該情報が示すハードウェアキーが操作されたと判定するハードウェアキー判定部と、
を具備することを特徴とする情報処理装置。
【請求項２】
前記ハードウェアキー判定部は、前記ハードウェアキーが操作されたと判定したときに、前記タッチ操作情報の履歴が表すジェスチャーの末尾における静止時間が、所定の時間を超えているときは、該ハードウェアキーが長押しされたと判定すること
を特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記ハードウェアキー判定部がハードウェアキーが操作されたと判定すると、該ハードウェアキーを、ユーザに対して通知するように、前記外部装置を制御する外部装置制御部を具備することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記取得したタッチ操作情報が、所定の操作を表しているか否かを判定し、表していると判定したときは、前記タッチ操作情報の履歴が表すジェスチャーと一致する前記ジェスチャーパターンの検出を前記ハードウェアキー判定部が行うジェスチャー入力モードとする入力モード管理部を具備することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
タッチ位置を検出するタッチ位置検出部を具備する外部装置であって、自装置が有するハードウェアキーのいずれかを有しない外部装置と接続され、前記ハードウェアキーのうち、少なくとも前記外部装置が有しないハードウェアキーを示す情報と、ジェスチャーパターンとを対応付けて、予め記憶するジェスチャーパターン記憶部とを具備する情報処理装置における入力制御方法であって、
前記外部装置が検出したタッチ位置を示すタッチ操作情報を取得する第１の過程と、
前記ジェスチャーパターン記憶部が記憶するジェスチャーパターンのうち、前記タッチ操作情報の履歴が表すジェスチャーと一致するものを検出し、該検出したジェスチャーパターンと対応付けて前記ジェスチャーパターン記憶部が記憶するハードウェアキーを示す情報を読み出し、該情報が示すハードウェアキーが操作されたと判定する第２の過程と、
を有することを特徴とする入力制御方法。
【請求項６】
タッチ位置を検出するタッチ位置検出部を具備する外部装置であって、自装置が有するハードウェアキーのいずれかを有しない外部装置と接続されるコンピュータを、
前記ハードウェアキーのうち、少なくとも前記外部装置が有しないハードウェアキーを示す情報と、ジェスチャーパターンとを対応付けて、予め記憶するジェスチャーパターン記憶部、
前記外部装置が検出したタッチ位置を示すタッチ操作情報を取得するタッチ操作受信部、
前記ジェスチャーパターン記憶部が記憶するジェスチャーパターンのうち、前記タッチ操作情報の履歴が表すジェスチャーと一致するものを検出し、該検出したジェスチャーパターンと対応付けて前記ジェスチャーパターン記憶部が記憶するハードウェアキーを示す情報を読み出し、該情報が示すハードウェアキーが操作されたと判定するハードウェアキー判定部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、入力制御方法およびプログラムに関する。
【背景技術】
【０００２】
従来、タッチパネルディスプレイを備える情報処理装置には、ディスプレイを有する外部装置に対して、表示信号を送信するインターフェースを備えるものがある。そのような情報処理装置の中には、外部装置に表示される画面イメージと同一または類似する画面イメージを自装置のタッチパネルディスプレイに表示し、該タッチパネルディスプレイに対するタッチ位置に基づき、外部装置に表示される画面イメージ上の位置を指定する機能を有している情報処理装置がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１７０９０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の情報処理装置においては、外部装置がハードウェアキーを有していなかったり、情報処理装置とはハードウェアキーの構成が異なったりすると、外部装置を用いた操作を行う際に、ハードウェアキーを用いた操作については情報処理装置のハードウェアキーを用いなければならず操作が煩雑になってしまうことがあるという問題がある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、タッチパネルディスプレイなどのタッチ位置を検出するタッチ位置検出部を具備する外部装置であって、自装置が有するハードウェアキーのいずれかを有しない外部装置が接続されても、自装置のハードウェアキーを用いることなく、該外部装置を用いた操作を行うことができる情報処理装置、入力制御方法およびプログラムを提供する。
【課題を解決するための手段】
【０００６】
この発明は上述した課題を解決するためになされたもので、本発明の一態様は、タッチ位置を検出するタッチ位置検出部を具備する外部装置であって、自装置が有するハードウェアキーのいずれかを有しない外部装置と接続される情報処理装置であって、前記ハードウェアキーのうち、少なくとも前記外部装置が有しないハードウェアキーを示す情報と、ジェスチャーパターンとを対応付けて、予め記憶するジェスチャーパターン記憶部と、前記外部装置が検出したタッチ位置を示すタッチ操作情報を取得するタッチ操作受信部と、前記ジェスチャーパターン記憶部が記憶するジェスチャーパターンのうち、前記タッチ操作情報の履歴が表すジェスチャーと一致するものを検出し、該検出したジェスチャーパターンと対応付けて前記ジェスチャーパターン記憶部が記憶するハードウェアキーを示す情報を読み出し、該情報が示すハードウェアキーが操作されたと判定するハードウェアキー判定部と、を具備することを特徴とする。
【発明の効果】
【０００７】
この発明によれば、タッチパネルディスプレイなどのタッチ位置を検出するタッチ位置検出部を具備する外部装置であって、情報処理装置が有するハードウェアキーのうち、少なくとも一つを有しない外部装置が情報処理装置に接続されても、情報処理装置のハードウェアキーを用いることなく、該外部装置を用いた情報処理装置の操作を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の第１の実施形態による情報処理システムの構成を示す外観図である。
【図２】同実施形態による携帯端末装置１００の構成を示す概略ブロック図である。
【図３】同実施形態による外部表示装置３００の構成を示す概略ブロック図である。
【図４】同実施形態による携帯端末装置１００の機能構成を示す概略ブロック図である。
【図５】同実施形態による機器情報のフォーマットを示すテーブルである。
【図６】同実施形態によるキー情報発生部１３７が生成するキーイベントのフォーマットの例を示すテーブルである。
【図７】同実施形態による外部表示装置３００が携帯端末装置１００に送信するタッチ操作情報のフォーマットの例を示す表である。
【図８】同実施形態によるジェスチャーの例を示す図である。
【図９】同実施形態によるジェスチャーパターン保存領域１１１の記憶内容例を示すテーブルである。
【図１０】同実施形態によるハードキー判定部１３５が記憶するタッチ操作情報の履歴の例を示すテーブルである。
【図１１】同実施形態によるハードキー判定部１３５の動作を説明するフローチャートである。
【図１２】同実施形態による携帯端末装置１００と外部表示装置３００との動作を説明するシーケンス図である。
【図１３】この発明の第２の実施形態による実施形態における携帯端末装置１００の動作を説明するフローチャートである。
【発明を実施するための形態】
【０００９】
[第１の実施形態]
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、本実施形態による情報処理システムの構成を示す外観図である。図１に示すように、本実施形態における情報処理システムは、携帯端末装置１００と、通信ケーブル２００と、外部表示装置３００とを含んで構成される。携帯端末装置１００は、例えば、いわゆるスマートフォンやタブレットＰＣであり、タッチセンサ付きのディスプレイと、ハードウェアキーとを有している。この携帯端末装置１００の操作は、タッチセンサを用いたタッチ操作と、ハードウェアキーを用いたキー操作により行うことができる。
【００１０】
通信ケーブル２００は、携帯端末装置１００と外部表示装置３００とを通信可能に接続するＭＨＬ（Mobile High-Definition Link）ケーブルである。外部表示装置３００は、通信ケーブル２００を介して携帯端末装置１００から入力された画像信号に従い、画像を表示する。外部表示装置３００も、タッチセンサ付きのディスプレイを有しており、携帯端末装置１００の操作を、このタッチセンサを用いたタッチ操作により行うことができる。
【００１１】
図２は、携帯端末装置１００の構成を示す概略ブロック図である。携帯端末装置１００は、無線通信部１０１、音声出力部１０２、音声入力部１０３、タッチパネル部１０４、キー入力部１０５、ＣＰＵ（Central Processing Unit；中央演算装置）１０６、機器検出部１０７、有線通信部１０８、メモリ１０９、記憶部１１０を含んで構成される。タッチパネル部１０４は、表示部１４１と、タッチセンサ部１４２とを含んで構成される。
【００１２】
無線通信部１０１は、携帯電話網と接続し、音声通話やパケット通信を行う。音声出力部１０２は、音声通話時などに、ＣＰＵ１０６から入力された音声信号に従い音声を出力するスピーカである。音声入力部１０３は、音声通話時などに、収音した音声を音声信号に変換するマイクロフォンである。タッチパネル部１０４の表示部１４１は、ＣＰＵ１０６から入力された画像信号に従い画像を表示する、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示デバイスである。
【００１３】
タッチパネル部１０４のタッチセンサ部１４２は、表示部１４１の画像表示領域を覆うように設けられており、ユーザが指などでタッチしたタッチ位置を検出する。キー入力部１０５は、ユーザがキー入力により携帯端末装置１００を操作するためのハードウェアキーである。ＣＰＵ１０６は、記憶部１１０が記憶するプログラムを読み込んで実行することで、携帯端末装置１００全体を制御する。
【００１４】
機器検出部１０７は、有線通信部１０８の端子に対する通信ケーブル２００の抜き差しを検出し、ＣＰＵ１０６に通知する。有線通信部１０８は、通信ケーブル２００を挿入する端子を有し、通信ケーブル２００を介して接続された外部表示装置３００と通信する。有線通信部１０８が行う通信には、ＣＰＵ１０６から入力された画像信号の外部表示装置３００への送信と、外部表示装置３００からのタッチ操作情報の受信と、ＣＰＵ１０６による外部表示装置３００の機器情報の取得が含まれる。
【００１５】
メモリ１０９は、ＣＰＵ１０６がプログラムを実行する際にワークメモリとして利用されるＲＡＭ(Random Access Memory）である。記憶部１１０は、フラッシュメモリなどの不揮発性メモリであり、ＣＰＵ１０６が実行するプログラムや、該プログラムを実行する際に用いるデータなどを格納する。
【００１６】
図３は、外部表示装置３００の構成を示す概略ブロック図である。外部表示装置３００は、音声出力部３０１、有線通信部３０２、ＣＰＵ３０３、タッチパネル部３０４、記憶部３０５を含んで構成される。タッチパネル部３０４は、表示部３４１と、タッチセンサ部３４２とを含んで構成される。音声出力部３０１は、ＣＰＵ３０３から入力された音声信号に従い、音声を出力するスピーカである。有線通信部３０２は、通信ケーブル２００を挿入する端子を有し、通信ケーブル２００を介して接続された携帯端末装置１００と通信する。有線通信部３０２が行う通信には、ＣＰＵ３０３から入力されたタッチ操作情報の携帯端末装置１００への送信と、外部表示装置３００の機器情報の送信と、携帯端末装置１００からの画像信号の受信とが含まれる。
【００１７】
ＣＰＵ３０３は、記憶部３０５が記憶するプログラムを実行することで、外部表示装置３００全体を制御する。例えば、ＣＰＵ３０３は、有線通信部３０２が受信した画像信号を、タッチパネル部３０４の表示部３４１に入力する。また、ＣＰＵ３０３は、該画像信号に含まれている音声信号を抽出し、音声出力部３０１に入力する。また、ＣＰＵ３０３は、タッチセンサ部３４２が検出したタッチ位置を取得し、該タッチ位置を示すタッチ操作情報を生成し、有線通信部３０２に入力する。
【００１８】
タッチパネル部３０４の表示部３４１は、ＣＰＵ３０３から入力された画像信号に従い画像を表示する、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示デバイスである。タッチパネル部３０４のタッチセンサ部３４２は、表示部３４１の画像表示領域を覆うように設けられており、ユーザが指などでタッチしたタッチ位置を検出する。記憶部３０５は、ＣＰＵ３０３が実行するプログラムおよび該プログラムを実行する際に用いるデータなどを記憶する。記憶部３０５が記憶するデータには、表示部３４１の解像度などの情報である機器情報が含まれる。
【００１９】
図４は、携帯端末装置１００の機能構成を示す概略ブロック図である。図４には、外部表示装置３００のタッチセンサ部３４２が検出したタッチ位置に関する処理に関連するブロックのみを示している。また、図４において、図２の各部に対応する部分には同一の符号（１０５、１０７、１０８、１１０、１４１、１４２）を付し、説明を省略する。携帯端末装置１００は、画像生成部１３０、画像出力部１３１、有線通信処理部１３２、外部機器情報取得部１３３、操作受信部１３４、ハードキー判定部１３５、タッチ情報処理部１３６、キー情報発生部１３７、キー情報処理部１３８、アプリケーション処理部１３９を含んで構成される。
【００２０】
なお、画像生成部１３０、画像出力部１３１、有線通信処理部１３２、外部機器情報取得部１３３、操作受信部１３４、ハードキー判定部１３５、タッチ情報処理部１３６、キー情報発生部１３７、キー情報処理部１３８、アプリケーション処理部１３９は、ＣＰＵ１０６が、記憶部１１０に格納されているプログラムを読み出して実行することにより実現される。また、記憶部１１０は、ジェスチャーパターン保存領域１１１、携帯端末解像度保存領域１１２、外部表示装置解像度保存領域１１３を含んで構成される。
【００２１】
画像生成部１３０は、アプリケーション処理部１３９からの指示に従い、表示部１４１および外部表示装置３００に表示させる画像を生成する。画像生成部１３０は、該生成した画像の画像信号を、画像出力部１３１と、有線通信処理部１３２とに入力する。また、画像生成部１３０は、操作受信部１３４からキーコード名が入力されたときは、該入力されたキーコード名が示すハードウェアキーの名称がトースト表示されるように、該名称を、生成した表示させる画像に合成する。画像出力部１３１は、画像生成部１３０から入力された画像信号を、表示部１４１に入力するための画像信号に変換し、表示部１４１に入力する。
【００２２】
有線通信処理部１３２は、有線通信部１０８を制御して、外部表示装置３００との通信を行う。前述したように外部表示装置３００との通信には、画像信号の送信と、タッチ操作情報の受信と、機器情報の取得とがある。外部機器情報取得部１３３は、通信ケーブル２００が接続されたことを機器検出部１０７から通知されると、外部表示装置３００から機器情報を取得する。外部機器情報取得部１３３は、取得した機器情報から表示部３４１の解像度情報を抽出し、外部表示装置解像度保存領域１１３に記憶させる。解像度情報は、表示領域の縦、横のピクセル数を含む情報である。
【００２３】
操作受信部１３４は、有線通信処理部１３２から外部表示装置３００のタッチ操作情報を受けると、携帯端末装置１００の解像度にあうように座標変換を行い、タッチ情報処理部１３６に入力する。この座標変換には、外部表示装置解像度保存領域１１３が記憶する外部表示装置３００の解像度情報と、携帯端末解像度保存領域１１２が記憶する携帯端末装置１００の解像度情報とを用いる。
【００２４】
また、操作受信部１３４は、受けたタッチ操作情報が、ハードウェアキーが割り当てられたジェスチャー操作であるか否かをハードキー判定部１３５に問い合わせる。該問い合わせの応答として、ジェスチャー操作に割り当てられたキーコード名（ハードウェアキーを示す情報）と該キーに対する操作種別とが返ってきたときは、操作受信部１３４は、これらの情報をキー情報発生部１３７に入力する。また、操作受信部１３４は、これらの情報のうち、キーコード名を、画像生成部１３０に入力する。
【００２５】
ハードキー判定部１３５（ハードウェアキー判定部）は、タッチ操作情報の履歴を作成し、該履歴が表すジェスチャーが、ジェスチャーパターン保存領域１１１が記憶するジェスチャーパターンのいずれかと一致しているときは、該一致しているジェスチャーパターンと対応付けられたキーコード名と、該キーコード名が示すキーに対する操作種別とを操作受信部１３４に返す。操作種別は、通常の押下あるいは長押しである。なお、長押しとは、ハードウェアキーを所定の時間以上押し続けることである。通常の押下は、ハードウェアキーを所定の時間未満押し続けることである。
【００２６】
具体的には、ハードキー判定部１３５は、操作受信部１３４からタッチ操作情報が入力されると、該タッチ操作情報と直前のタッチ操作情報のいずれかの押下状態が「Ｐｒｅｓｓ」であるときは、該タッチ操作情報を履歴に追加する。そして、ハードキー判定部１３５は、押下状態が「Ｐｒｅｓｓ」から「Ｒｅｌｅａｓｅ」になったときは、履歴が表すジェスチャーと一致するものを、ジェスチャーパターン保存領域１１１が記憶するジェスチャーパターンの中から検出する。ハードキー判定部１３５は、一致するものを検出したときは、該ジェスチャーパターンに対応付けて、ジェスチャーパターン保存領域１１１が記憶するキーコード名と該キーに対する操作種別とを操作受信部１３４に返す。操作種別は、ジェスチャーの末尾における静止時間が、所定の時間内であるときは、通常の押下とし、静止時間が、所定の時間を超えるときは、長押しとする。
【００２７】
タッチ情報処理部１３６は、タッチセンサ部１４２が検出したタッチ位置に基づくタッチ操作情報と、操作受信部１３４から入力されたタッチ操作情報とを、アプリケーション処理部１３９に通知する。キー情報発生部１３７は、操作受信部１３４からキーコード名と該キーに対する操作種別とを受けると、これらの情報が示すハードウェアキーの操作を示すキーイベントを発生して、キー情報処理部１３８に入力する。
キー情報処理部１３８は、キー入力部１０５が検出したキー操作を示すキー操作情報を、アプリケーション処理部１３９に通知する。また、キー情報処理部１３８は、キー情報発生部１３７から入力されたキーイベントを示すキー操作情報も、アプリケーション処理部１３９に通知する。
【００２８】
アプリケーション処理部１３９は、いわゆるアプリケーションプログラムを、ＣＰＵ１０６が実行することで実現される。アプリケーション処理部１３９は、タッチ情報処理部１３６から通知されたタッチ操作情報と、キー情報処理部１３８から通知されたキー操作情報とに応じて、アプリケーションの処理を行い、該処理結果に従った画像の生成を、画像生成部１３０に指示する。
【００２９】
図５は、機器情報のフォーマットを示すテーブルである。図５に示すように、携帯端末装置１００と外部表示装置３００との間で送受信される機器情報は、メーカーＩＤ、機種名、解像度幅、解像度高さ、スキャン周波数、対応ハードウェアキーを含む。メーカーＩＤは、例えば、０ｘ１２３４５６など、該機器情報の装置（当該装置）を製造した会社などを示すＩＤである。機種名は、例えば、ＡＢ−１２３など、当該装置の機種名である。解像度幅は、例えば、１２８０など、当該装置の表示領域の横方向のピクセル数である。解像度高さは、例えば、７２０など、当該装置の表示領域の縦方向のピクセル数である。
【００３０】
スキャン周波数は、例えば３０など、当該装置がタッチ位置を検出する周波数である。対応ハードウェアキーは、例えば、ＫＥＹＣＯＤＥ＿ＰＯＷＥＲ、ＫＥＹＣＯＤＥ＿ＶＯＬＵＭＥ＿ＤＯＷＮ、ＫＥＹＣＯＤＥ＿ＶＯＬＵＭＥ＿ＵＰ、ＫＥＹＣＯＤＥ＿ＨＯＭＥ、ＫＥＹＣＯＤＥ＿ＢＡＣＫなど、当該装置が有するハードウェアキーの種類を表す情報である。外部表示装置３００は、ハードウェアキーを有しないので、外部表示装置３００の対応ハードウェアキーには、ヌル情報などが格納されている。なお、解像度情報は、これらの情報のうち、解像度幅と、解像度高さである。
【００３１】
図６は、キー情報発生部１３７が生成するキーイベントのフォーマットの例を示すテーブルである。図６に示す例では、キーイベントには、項目として、キーコード名と、操作種別とが含まれる。キーコード名には、操作されたキーのコードが格納されている。本実施形態では、キーコード名として、電源キーを表す「ＫＥＹＣＯＤＥ＿ＰＯＷＥＲ］、音量アップキーを表す「ＫＥＹＣＯＤＥ＿ＶＯＬＵＭＥ＿ＵＰ」、音量ダウンキーを表す「ＫＥＹＣＯＤＥ＿ＶＯＬＵＭＥ＿ＤＯＷＮ」、ホームキーを表す「ＫＥＹＣＯＤＥ＿ＨＯＭＥ］、バックキーを表す「ＫＥＹＣＯＤＥ＿ＢＡＣＫ」、メニューキーを表す「ＫＥＹＣＯＤＥ＿ＭＥＮＵ」がある。また、操作種別には、キーに対する操作の種別が格納されており、通常の押下を表す「Ｐｒｅｓｓ」と、長押しを表す「Ｌｏｎｇ  Ｐｒｅｓｓ」がある。
【００３２】
図７は、外部表示装置３００が携帯端末装置１００に送信するタッチ操作情報のフォーマットの例を示す表である。図７に示す例では、外部表示装置３００が送信するタッチ操作情報には、項目として、回転情報、押下状態、Ｘ座標１、Ｙ座標１、Ｘ座標２、Ｙ座標２が含まれる。本実施形態では、回転情報として、外部表示装置３００の表示部３４１の特定の辺が下側にあることを表す２進数の「００」、「００」の状態から反時計回りに９０度回転した状態であることを表す２進数の「０１」、「００」の状態から反時計回りに１８０度回転した状態であることを表す２進数の「１０」、「００」の状態から反時計回りに２７０度回転した状態であることを表す２進数の「１１」がある。
【００３３】
また、押下状態として、タッチされている状態であることを表す「Ｐｒｅｓｓ」、離されている状態であることを表す「Ｒｅｌｅａｓｅ」がある。また、Ｘ座標１は、タッチパネル部３０４に対するタッチ位置のＸ座標を格納する。Ｙ座標１は、タッチパネル部３０４に対するタッチ位置のＹ座標を格納する。また、Ｘ座標２は、マルチタッチされたときの２点目のタッチ位置のＸ座標を格納する。Ｙ座標２は、マルチタッチされたときの２点目のタッチ位置のＹ座標を格納する。なお、これらの座標は、表示部３４１のピクセルの配置に応じた座標である。
【００３４】
図８は、ジェスチャーの例を示す図である。右側に開口部があるコの字型のジェスチャーＪ１は、バックキーの押下を表す。Ｌ字型のジェスチャーＪ２は、ホームキーの押下を表す。時計回りに９０度回転したＬ字型のジェスチャーＪ３は、電源キーの押下を表す。下側に開口部があるコの字型のジェスチャーＪ４は、メニューキーの押下を表す。上側に開口部があるコの字型のジェスチャーＪ５は、音量アップキーの押下を表す。口の字型のジェスチャーＪ６は、音量ダウンキーの押下を表す。なお、各ジェスチャーは、一筆書きであり、各ジェスチャーに付された手は、一筆書きの末尾を示す。また、各ジェスチャーの末尾で、タッチしたまま、所定の閾値以上の時間が経過してから離すと、該ジェスチャーのキーの長押しとなる。
【００３５】
図９は、ジェスチャーパターン保存領域１１１の記憶内容例を示すテーブルである。ジェスチャーパターン保存領域１１１は、キーコード名と、ジェスチャーパターンとを対応付けて記憶しており、図９の例では、キーコード名「ＫＥＹＣＯＤＥ＿ＢＡＣＫ」と、ジェスチャーパターン「ＬＤＲ」とを対応付けて記憶する。図９のテーブルにおいて、「Ｌ」、「Ｒ」、「Ｕ」、「Ｄ］は、それぞれ、左方向、右方向、上方向、下方向を表し、「ＬＤＲ」であれば、左方向に移動した後、下方向に移動し、さらに右方向に移動することを表す。このように、本実施形態では、ジェスチャーパターンは、移動方向を並べたものである。
【００３６】
図９の例では、キーコード名「ＫＥＹＣＯＤＥ＿ＨＯＭＥ」と、ジェスチャーパターン「ＤＲ」とを対応付けて記憶する。キーコード名「ＫＥＹＣＯＤＥ＿ＰＯＷＥＲ」と、ジェスチャーパターン「ＵＲ」とを対応付けて記憶する。キーコード名「ＫＥＹＣＯＤＥ＿ＭＥＮＵ」と、ジェスチャーパターン「ＵＲＤ」とを対応付けて記憶する。キーコード名「ＫＥＹＣＯＤＥ＿ＶＯＬＵＭＥ＿ＵＰ」と、ジェスチャーパターン「ＤＲＵ」とを対応付けて記憶する。キーコード名「ＫＥＹＣＯＤＥ＿ＶＯＬＵＭＥ＿ＤＯＷＮ」と、ジェスチャーパターン「ＬＵＲＤ」とを対応付けて記憶する。
【００３７】
図１０は、ハードキー判定部１３５が記憶するタッチ操作情報の履歴の例を示すテーブルである。図１０に示すように、ハードキー判定部１３５は、入力されたタッチ操作情報の押下状態が「Ｐｒｅｓｓ」となってから「Ｒｅｌｅａｓｅ」となるまでの間、タッチ操作情報の履歴を記憶する。そのとき、ハードキー判定部１３５は、入力されたタッチ操作情報のタッチ位置と、直前のタッチ操作情報のタッチ位置とを比較し、タッチ位置の移動方向を判定して、該履歴に格納する。
移動方向の判定には、例えば、直前のタッチ位置と今回のタッチ位置との間での、Ｘ座標の変化量ΔＸと、Ｙ座標の変化量ΔＹとを用いる。Ｘ軸は、右側が正、Ｙ軸は、下側が正とすると、ΔＸ＞｜ΔＹ｜であれば、移動方向は右と判定する。同様に、−ΔＸ＞｜ΔＹ｜であれば、移動方向は左と判定する。ΔＹ＞｜ΔＸ｜であれば、移動方向は下と判定する。−ΔＹ＞｜ΔＸ｜であれば、移動方向は上と判定する。
【００３８】
図１０の例では、履歴として、押下状態と、タッチ位置と、タッチ位置の移動方向とが対応付けられている。押下状態は、「Ｒｅｌｅａｓｅ」である最後のタッチ位置「６００，５２０」を除いて、全て「Ｐｒｅｓｓ」である。そして、タッチ位置「１００，１２０」から「１００，５２０」の間は、ΔＹ＞｜ΔＸ｜であるので、移動方向は、下「Ｄ」が対応付けられている。その次のタッチ位置「１０５，５２０」から「６００，５２０」の間は、ΔＸ＞｜ΔＹ｜であるので、移動方向は、右「Ｒ」が対応付けられている。履歴の末尾の移動方向は、静止「S」が対応付けられている。静止時間は、静止「S」と対応付けられているタッチ位置の数で判定することができ、この静止時間が所定以上であれば、長押しと判定される。
【００３９】
本実施形態では、タッチ操作情報の履歴のうち、ジェスチャーパターンと同様に、移動方向を並べたものを、タッチ操作情報の履歴が表すジェスチャーとする。したがって、図１０の例では、ジェスチャーは「ＤＲ」であるので、ハードキー判定部１３５は、ジェスチャーパターン保存領域１１１が記憶するジェスチャーパターン「ＤＲ］と対応付けられたキーコード名「ＫＥＹＣＯＤＥ＿ＨＯＭＥ」と、通常の押下を示す情報とを、操作受信部１３４に入力する。なお、本実施形態では、ジェスチャーおよびジェスチャーパターンにおける移動方向を、上下左右の４方向で表したが、８方向など、さらに細かく分解した方向で表しても良い。また、ジェスチャーおよびジェスチャーパターンを、移動方向を並べたもので表したが、移動方向に加えて、距離を用いて表すようにしてもよい。
【００４０】
図１１は、ハードキー判定部１３５の動作を説明するフローチャートである。このフローチャートは、履歴に情報が何も格納されていない状態から処理を開始することを前提としているフローチャートである。まず、ハードキー判定部１３５は、操作受信部１３４からタッチ操作情報を取得する（ステップＳａ１）。次に、ハードキー判定部１３５は、取得したタッチ操作情報に格納されている押下状態が「Ｒｅｌｅａｓｅ」であるか否かを判定する（ステップＳａ２）。「Ｒｅｌｅａｓｅ」でないと判定したときは（ステップＳａ２−ＮＯ）、ハードキー判定部１３５は、移動方向が変化しているか否かを判定する（ステップＳａ３）。
【００４１】
具体的には、ステップＳａ３では、ハードキー判定部１３５は、履歴の末尾のタッチ位置から、取得したタッチ操作情報に格納されているタッチ位置への移動方向を判定し、該移動方向が、直前の移動方向から変化しているか否かを判定する。ステップＳａ３にて移動方向が変化していないと判定したときは（ステップＳａ３−ＮＯ）、ハードキー判定部１３５は、ステップＳａ１に戻る。なお、タッチ操作の開始直後は、直前の移動方向が存在しないが、その場合、ハードキー判定部１３５は、移動方向が変化していないと判定する。
【００４２】
また、ステップＳａ３にて移動方向が変化していると判定したときは（ステップＳａ３−ＹＥＳ）、ハードキー判定部１３５は、移動量が一定以上であるか否かを判定する（ステップＳａ４）。この移動量は、履歴の末尾のタッチ位置と、履歴に未格納のタッチ位置群とから算出され、履歴の末尾のタッチ位置から、該タッチ位置群内の全てのタッチ位置を順に辿った距離であってもよいし、履歴の末尾のタッチ位置から該タッチ位置群のうち、最後のタッチ位置までの間の直線距離であってもよい。なお、後述するステップＳａ５の処理を未だ行っておらず、履歴に情報が格納されていないときは、履歴の末尾のタッチ位置に替えて、最初のステップＳａ１にて取得したタッチ操作情報に格納されているタッチ位置を用いる。
【００４３】
ステップＳａ４にて、移動量が一定以上でないと判定したときは（ステップＳａ４−ＮＯ）、ハードキー判定部１３５は、ステップＳａ１に戻る。一方、ステップＳａ４にて、移動量が一定以上であると判定したときは（ステップＳａ４−ＹＥＳ）、ハードキー判定部１３５は、これまでの移動方向、すなわち、履歴の末尾のタッチ位置から、ステップＳａ１にて取得したタッチ操作情報のタッチ位置への移動方向と、履歴に未格納のタッチ位置群と、押下状態とを、履歴の末尾に追加し（ステップＳａ５）、ステップＳａ１に戻る。
【００４４】
また、ステップＳａ２にて、「Ｒｅｌｅａｓｅ」であると判定したときは（ステップＳａ２−ＹＥＳ）、ハードキー判定部１３５は、ステップＳａ４と同様に、移動量が一定以上であるか否かを判定する（ステップＳａ６）。移動量が一定以上であると判定したときは（ステップＳａ６−ＹＥＳ）、これまでの移動方向、すなわち、履歴の末尾のタッチ位置から、ステップＳａ１にて取得したタッチ操作情報のタッチ位置への移動方向と、履歴に未格納のタッチ位置群と、押下状態とを、履歴の末尾に追加し（ステップＳａ７）、ハードキー判定部１３５は、ステップＳａ９に遷移する。
【００４５】
また、ステップＳａ６にて、移動量が一定以上でないと判定したときは（ステップＳａ６−ＮＯ）、履歴に未格納のタッチ位置群、押下状態、移動方向として静止を、履歴の末尾に追加し（ステップＳａ８）、ステップＳａ９に遷移する。このステップＳａ８で履歴に格納するタッチ位置群は、「長押し」を行うためにタッチ位置が動かなくなっている間に検出されたタッチ位置とみることができる。ステップＳａ９では、ハードキー判定部１３５は、履歴に格納した移動方向の配列（ジェスチャー）を、ジェスチャーパターン保存領域１１１に格納されているジェスチャーパターンと比較する。なお、履歴に格納した移動方向の配列のうち、静止については比較の対象から除く。
【００４６】
次に、ハードキー判定部１３５は、ステップＳａ９の比較にて、履歴に格納した移動方向の配列と一致するジェスチャーパターンがあったか否かを判定する（ステップＳａ１０）。一致する移動方向の配列が無かったと判定したときは（ステップＳａ１０−ＮＯ）、ハードキー判定部１３５は、ハードウェアキーの操作ではない旨を操作受信部１３４に通知し（Ｓａ１１）、処理を終了する。
ステップＳａ１０にて、一致する移動方向の配列があると判定したときは（ステップＳａ１０−ＹＥＳ）、ハードキー判定部１３５は、静止時間が所定以上であるか否かを判定する（ステップＳａ１２）。ここで、静止時間とは、ジェスチャーを描いた後に、タッチし続けている時間である。このステップＳａ１２の判定では、具体的には、履歴に格納されているタッチ位置のうち、移動方向が静止となっているものの数を、所定の閾値と比較し、該数が所定の閾値以上であるときは、静止時間が所定以上であると判定する。本実施形態では、タッチ操作情報が周期的に取得されるので、タッチ位置の数で、時間を計測することができる。
【００４７】
ステップＳａ１２にて、静止時間が所定以上でないと判定したときは（ステップＳａ１２−ＮＯ）、ハードキー判定部１３５は、ステップＳａ９で一致したジェスチャーパターンに対応付けられたキーコード名のハードウェアキーが、押下されたことを、操作受信部１３４に通知し（ステップＳａ１３）、処理を終了する。また、ステップＳａ１２にて、静止時間が所定以上であると判定したときは（ステップＳａ１２−ＹＥＳ）、ハードキー判定部１３５は、ステップＳａ９で一致したジェスチャーパターンに対応付けられたキーコード名のハードウェアキーが、長押しされたことを、操作受信部１３４に通知し（ステップＳａ１４）、処理を終了する。
【００４８】
図１２は、携帯端末装置１００と外部表示装置３００との動作を説明するシーケンス図である。携帯端末装置１００と、外部表示装置３００とを、通信ケーブル２００で接続すると（ステップＳｂ１）、携帯端末装置１００の外部機器情報取得部１３３が、この接続を検出して、外部表示装置３００の機器情報（外部表示装置側情報）を、外部表示装置３００から取得する（ステップＳｂ２）。外部機器情報取得部１３３は、取得した機器情報に格納されている外部表示装置３００の解像度情報を、外部表示装置解像度保存領域１１３に記憶させる（ステップＳｂ３）。次に、外部表示装置３００が、携帯端末装置１００の機器情報を要求すると、有線通信処理部１３２は、携帯端末解像度保存領域１１２から解像度情報を読み出し、該解像度情報を含む機器情報（携帯端末側情報）を外部表示装置３００に通知する（ステップＳｂ４）。
【００４９】
外部表示装置３００にて、ユーザによるタッチ入力が行われると（ステップＳｂ５）、外部表示装置３００は、該タッチ入力のタッチ位置を検出する度に、該タッチ位置を含むタッチ操作情報を生成し、通信ケーブル２００を介して、携帯端末装置１００に送信する（ステップＳｂ６、Ｓｂ７、Ｓｂ８）。携帯端末装置１００の操作受信部１３４は、外部表示装置３００から受信したタッチ操作情報が、ハードウェアキーが割り当てられたジェスチャー操作であるか否かを、ハードキー判定部１３５に問い合わせる。
【００５０】
ステップＳｂ６〜Ｓｂ８の操作は、ハードウェアキーが割り当てられたジェスチャー操作ではないので、操作受信部１３４は、これらのタッチ操作情報をタッチ情報処理部１３６に入力し、タッチ情報処理部１３６は、アプリケーション処理部１３９に通知する。アプリケーション処理部１３９では、そのとき動作しているアプリケーションに、該タッチ操作情報が通知されるので、該アプリケーションのプログラムにて定義されている、該タッチ操作情報に応じた処理を、アプリケーション処理部１３９が行う。
【００５１】
次に、外部表示装置３００にて、ハードウェアキー操作を意図したジェスチャー入力が行われると（ステップＳｂ１０）、外部表示装置３００は、該ジェスチャー入力のタッチ位置を検出する度に、該タッチ位置を含むタッチ操作情報を生成し、通信ケーブル２００を介して、携帯端末装置１００に送信する（ステップＳｂ１１、Ｓｂ１２、Ｓｂ１３）。携帯端末装置１００の操作受信部１３４は、外部表示装置３００から受信したタッチ操作情報が、ハードウェアキーが割り当てられたジェスチャー操作であるか否かを、ハードキー判定部１３５に問い合わせる。
【００５２】
ステップＳｂ１１〜Ｓｂ１３の操作は、ハードウェアキーが割り当てられたジェスチャー操作であるので、ハードキー判定部１３５は、操作受信部１３４に該ジェスチャー操作と一致するジェスチャーパターンと対応付けられたキーコード名を入力する。操作受信部１３４は、該キーコード名を、キー情報発生部１３７と、画像生成部１３０とに入力する。画像生成部１３０は、入力されたキーコード名が示すハードウェアキーの名称がトースト表示されるように、該名称を、表示する画像に合成する（ステップＳｂ１４）。
【００５３】
さらに、キーコード名を入力されたキー情報発生部１３７は、該キーコード名のハードウェアキーが操作されたことを示すキーイベントを発生して、キー情報処理部１３８に入力する。キー情報処理部１３８は、キー情報発生部１３７から入力されたキーイベントを示すキー操作情報を生成し、アプリケーション処理部１３９に通知する。アプリケーション処理部１３９は、該キー操作情報に応じたアプリケーションの処理を行う（ステップＳｂ１５）。
【００５４】
このように、ジェスチャーパターン保存領域１１１は、携帯端末装置１００が有するハードウェアキーと対応付けてジェスチャーパターンを記憶しており、ハードキー判定部１３５は、ジェスチャーパターン保存領域１１１が記憶するジェスチャーパターンのうち、タッチ操作情報の履歴が表すジェスチャーと一致するものを検出する。そして、ハードキー判定部１３５は、該検出したジェスチャーパターンと対応付けてジェスチャーパターン保存領域１１１が記憶するキーコード名のハードウェアキーが操作されたと判定する。これにより、ハードウェアキーの操作に相当する操作を、ジェスチャーにより行うことができるので、携帯端末装置１００が有するハードウェアキーのいずれかを外部装置３００が有していなくても、ユーザは、該ハードウェアキーの操作に相当する操作を、ジェスチャー操作により行えるので、携帯端末装置１００のハードウェアキーを用いることなく、外部表示装置３００を用いた携帯端末装置１００の操作を行うことができる。
【００５５】
また、ハードキー判定部１３５は、ジェスチャーの末尾における静止時間が、所定の時間を超えているときは、長押しされたと判定する。これにより、ユーザは、ハードウェアキーの通常の押下と、長押しとに相当する操作を、同じジェスチャーで行うことができる。すなわち、ユーザは、これらを別々に覚える必要がなく、外部表示装置３００を用いた携帯端末装置１００の操作を容易に行うことができる。
また、画像生成部１３０は、ハードウェアキーが操作されたと判定されると、該ハードウェアキーの名称がトースト表示されるように、該名称を、表示させる画像に合成する。該画像の画像信号を受けた、外部表示装置３００は、ハードウェアキーの名称をトースト表示する。これにより、ユーザは、自身のジェスチャー操作により、どのハードウェアキーが操作されたと判定されたかを確認することができる。
【００５６】
［第２の実施形態］
以下、図面を参照して、本発明の第２の実施形態について説明する。本実施形態における情報処理システムは、図１、図２、図３、図４に示す情報処理システムと同様の構成である。ただし、本実施形態における携帯端末装置１００には、ジェスチャー入力モードと、通常入力モードとがあり、ハードキー判定部１３５による判定は、ジェスチャー入力モードのときのみに行われる。本実施形態では、この入力モードの管理は、操作受信部１３４（入力モード管理部）が行う。
【００５７】
操作受信部１３４は、例えば、画面の左上端に配置されたモード切替ボタンがタップされたことを、タッチ操作情報が示しているときは、ジェスチャー入力モードと、通常入力モードとを切り替える。そして、ジェスチャー入力モードのときは、操作受信部１３４は、第１の実施形態と同様に、受けたタッチ操作情報が、ハードウェアキーが割り当てられたジェスチャー操作であるか否かをハードキー判定部１３５に問い合わせる。しかし、通常入力モードのときは、操作受信部１３４は、該問い合わせを行わずに、受けたタッチ操作情報に対して座標変換を行い、タッチ情報処理部１３６に入力する。
【００５８】
図１３は、本実施形態における携帯端末装置１００の動作を説明するフローチャートである。このフローチャートは、初期状態が、通常入力モードであることを前提としているフローチャートである。まず、携帯端末装置１００の外部機器情報取得部１３３は、外部表示装置３００との通信ケーブル２００による接続を検出する（ステップＳｃ１）。次に、外部機器情報取得部１３３は、外部表示装置３００からの機器情報を取得し、該機器情報から解像度情報を抽出し、外部表示装置解像度保存領域１１３に保存する（ステップＳｃ２）。次に、操作受信部１３４は、外部表示装置３００からのタッチ操作情報を受信する（ステップＳｃ３）。
【００５９】
操作受信部１３４は、該タッチ操作情報が、モード切替ボタンのタップを表しているか否かを判定する（ステップＳｃ４）。モード切替ボタンのタップを表していないと判定したときは（ステップＳｃ４−ＮＯ）、携帯端末装置１００は、通常のタッチ操作情報に対する処理を行い（ステップＳｃ５）、ステップＳｃ３に戻る。すなわち、ステップＳｃ５では、操作受信部１３４は、ハードキー判定部１３５に対する問い合わせを行わずに、タッチ操作情報を座標変換して、タッチ情報処理部１３６に通知する。
【００６０】
一方、ステップＳｃ４にて、モード切替ボタンのタップを表していると判定したときは（ステップＳｃ４−ＹＥＳ）、操作受信部１３４は、モードをジェスチャー入力モードに切替え、画像生成部１３０にジェスチャー入力モード用の画面を描画させる（ステップＳｃ６）。ジェスチャー入力モード用の画面は、例えば、特定の色でアプリケーションによる画像を覆った画面であり、通常のアプリケーションに対する操作は行えず、ジェスチャー入力のみを受け付けることをユーザに示す画面である。
【００６１】
次に、操作受信部１３４は、外部表示装置３００のタッチ操作情報を受信する（ステップＳｃ７）。すると、操作受信部１３４は、ハードキー判定部１３５に、受信したタッチ操作情報が、ハードウェアキーが割り当てられたジェスチャー操作であるか否かを問い合わせる。ハードキー判定部１３５は、該問い合わせを受けた、該タッチ操作情報を含むタッチ操作情報の履歴が、ジェスチャーパターンのいずれかと一致するか否かを判定する（ステップＳｃ８）。
【００６２】
このステップＳｃ８にて、いずれかと一致していると判定したときは、操作受信部１３４は、該ジェスチャーパターンに対応付けられたハードウェアキーの操作が行われたとして、キー情報発生部１３７と、画像生成部１３０とに通知する（ステップＳｃ９）。すると、画像生成部１３０は、操作が行われたとして通知されたハードウェアキーの名称を、トースト表示させる（ステップＳｃ１０）。また、キー情報発生部１３７は、通知されたハードウェアキーの操作を示すキー操作情報を、アプリケーション処理部１３９に通知する。アプリケーション処理部１３９は、該キー操作情報に応じたアプリケーションの処理を行い（ステップＳｃ１１）、ステップＳｃ７に戻る。
【００６３】
ステップＳｃ８にて、ジェスチャーパターンのいずれとも一致していないと判定したときは、操作受信部１３４は、ステップＳｃ７にて受信したタッチ操作情報が、モード切替ボタンのタップを表しているか否かを判定する（ステップＳｃ１２）。モード切替ボタンのタップを表していないと判定したときは（ステップＳｃ１２−ＮＯ）、ステップＳｃ７に戻る。一方、ステップＳｃ１２にて、モード切替ボタンのタップを表していると判定したときは（ステップＳｃ１２−ＹＥＳ）、操作受信部１３４は、モードを通常入力モードに切替え、画像生成部１３０にジェスチャー入力モード用の画面描画を停止させ（ステップＳｃ１３）、ステップＳｃ３に戻る。
【００６４】
このように、本実施形態における携帯端末装置１００は、第１の実施形態と同様の効果を奏する。さらに、ハードキー判定部１３５による判定をジェスチャー入力モードのときにのみ行うので、アプリケーションに対するタッチ操作を行っているときに、該タッチ操作をハードウェアキーに対応付けられたジェスチャーであると判定してしまうことを避けることができる。
【００６５】
なお、本実施形態では、モード切替ボタンのタップにより、ジェスチャー入力モードと通常入力モードとを切り替えたが、３本指でのタップ、３本指でのフリックなど、その他の操作により切り替えるようにしてもよい。また、ジェスチャー入力モードから通常入力モードへの切り替えを行う操作と、通常入力モードからジェスチャー入力モードへの切り替えを行う操作とを異なる操作としてもよい。
【００６６】
なお、上述の各実施形態では、外部表示装置３００がハードウェアキーを有しているいないにかかわらず、全てのハードウェアキーについて、ジェスチャー操作による操作がされたか否かを判定している。しかし、外部表示装置３００が一部のハードウェアキーを有している場合などに対応するために、外部表示装置３００の機器情報を参照して、外部表示装置３００が有していないハードウェアキーに関してのみ、ジェスチャー操作による操作が行われたか否かを判定するようにしてもよい。
【００６７】
また、上述の各実施形態において、携帯端末装置１００と、外部表示装置３００とは、通信ケーブル２００により通信可能に接続されているが、ミラキャスト（Miracast）やＷｉＤｉ（Wireless Display）などの無線通信にて接続されていてもよいし、複数の通信ケーブルや、複数の無線通信、あるいは、これらの組み合わせで接続されていてもよい。
【００６８】
本実施形態では、情報処理装置の一例として携帯端末装置１００を挙げたが、ノート型ＰＣや、据え置き型ＰＣなどであってもよい。
また、図４における携帯端末装置１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより携帯端末装置１００を実現するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００６９】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００７０】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００７１】
（１）本発明の一態様は、タッチ位置を検出するタッチ位置検出部を具備する外部装置と接続され、ハードウェアキーを具備する情報処理装置であって、前記ハードウェアキーのうち、少なくとも一つを示す情報と、ジェスチャーパターンとを対応付けて、予め記憶するジェスチャーパターン記憶部と、前記外部装置が検出したタッチ位置を示すタッチ操作情報を取得するタッチ操作受信部と、前記ジェスチャーパターン記憶部が記憶するジェスチャーパターンのうち、前記タッチ操作情報の履歴が表すジェスチャーと一致するものを検出し、該検出したジェスチャーパターンと対応付けて前記ジェスチャーパターン記憶部が記憶するハードウェアキーを示す情報を読み出し、該情報が示すハードウェアキーが操作されたと判定するハードウェアキー判定部と、を具備することを特徴とする情報処理装置である。
【００７２】
（２）また、本発明の他の態様は、（１）に記載の情報処理装置であって、前記ハードウェアキー判定部は、前記ハードウェアキーが操作されたと判定したときに、前記タッチ操作情報の履歴が表すジェスチャーの末尾における静止時間が、所定の時間を超えているときは、該ハードウェアキーが長押しされたと判定することを特徴とする。
【００７３】
（３）また、本発明の他の態様は、（１）に記載の情報処理装置であって、前記ハードウェアキー判定部がハードウェアキーが操作されたと判定すると、該ハードウェアキーを、ユーザに対して通知するように、前記外部装置を制御する外部装置制御部を具備することを特徴とする。
【００７４】
（４）また、本発明の他の態様は、（１）に記載の情報処理装置であって、前記取得したタッチ操作情報が、所定の操作を表しているか否かを判定し、表していると判定したときは、前記タッチ操作情報の履歴が表すジェスチャーと一致する前記ジェスチャーパターンの検出を前記ハードウェアキー判定部が行うジェスチャー入力モードとする入力モード管理部を具備することを特徴とする。
【００７５】
（５）また、本発明の他の態様は、タッチ位置を検出するタッチ位置検出部を具備する外部装置と接続され、ハードウェアキーと、前記ハードウェアキーのうち、少なくとも一つを示す情報と、ジェスチャーパターンとを対応付けて、予め記憶するジェスチャーパターン記憶部とを具備する情報処理装置における入力制御方法であって、前記外部装置が検出したタッチ位置を示すタッチ操作情報を取得する第１の過程と、前記ジェスチャーパターン記憶部が記憶するジェスチャーパターンのうち、前記タッチ操作情報の履歴が表すジェスチャーと一致するものを検出し、該検出したジェスチャーパターンと対応付けて前記ジェスチャーパターン記憶部が記憶するハードウェアキーを示す情報を読み出し、該情報が示すハードウェアキーが操作されたと判定する第２の過程と、を有することを特徴とする。
【００７６】
（６）また、本発明の他の態様は、タッチ位置を検出するタッチ位置検出部を具備する外部装置と接続され、ハードウェアキーを具備するコンピュータを、前記ハードウェアキーのうち、少なくとも一つを示す情報と、ジェスチャーパターンとを対応付けて、予め記憶するジェスチャーパターン記憶部、前記外部装置が検出したタッチ位置を示すタッチ操作情報を取得するタッチ操作受信部、前記ジェスチャーパターン記憶部が記憶するジェスチャーパターンのうち、前記タッチ操作情報の履歴が表すジェスチャーと一致するものを検出し、該検出したジェスチャーパターンと対応付けて前記ジェスチャーパターン記憶部が記憶するハードウェアキーを示す情報を読み出し、該情報が示すハードウェアキーが操作されたと判定するハードウェアキー判定部として機能させるためのプログラムである。
【符号の説明】
【００７７】
１００…携帯端末装置  １０１…無線通信部  １０２…音声出力部  １０３…音声入力部  １０４…タッチパネル部  １０５…キー入力部  １０６…ＣＰＵ  １０７…機器検出部  １０８…有線通信部  １０９…メモリ  １１０…記憶部  １１１…ジェスチャーパターン保存領域  １１２…携帯端末解像度保存領域  １１３…外部表示装置解像度保存領域  １３０…画像生成部  １３１…画像出力部  １３２…有線通信処理部  １３３…外部機器情報取得部  １３４…操作受信部  １３５…ハードキー判定部  １３６…タッチ情報処理部  １３７…キー情報発生部  １３８…キー情報処理部  １３９…アプリケーション処理部  １４１…表示部  １４２…タッチセンサ部  ２００…通信ケーブル  ３００…外部表示装置  ３０１…音声出力部  ３０２…有線通信部  ３０３…ＣＰＵ  ３０４…タッチパネル部  ３０５…記憶部  ３４１…表示部  ３４２…タッチセンサ部
【図１】
2014186495.tif 000003
【図２】
2014186495.tif 000004
【図３】
2014186495.tif 000005
【図４】
2014186495.tif 000006
【図５】
2014186495.tif 000007
【図６】
2014186495.tif 000008
【図７】
2014186495.tif 000009
【図８】
2014186495.tif 000010
【図９】
2014186495.tif 000011
【図１０】
2014186495.tif 000012
【図１１】
2014186495.tif 000013
【図１２】
2014186495.tif 000014
【図１３】
2014186495.tif 000015