(57)【要約】【課題】複雑なジェスチャーを容易に入力可能にさせる情報処理装置を提供すること。【解決手段】ジェスチャーが入力された際に前記ジェスチャーの入力過程で描かれる軌跡の描画方向を検知する方向検知部と、複数の所定のジェスチャーの中から前記方向検知部により検知された軌跡の描画方向に合致するジェスチャーを検索するジェスチャー検索部と、前記軌跡の描画方向が前記方向検知部により検知される度に前記ジェスチャー検索部による検索結果を補助情報として画面に表示する補助情報表示部とを備える、情報処理装置が提供される。【選択図】図８
2010015238.tif 000002
【特許請求の範囲】
【請求項１】
ジェスチャーが入力された際に前記ジェスチャーの入力過程で描かれる軌跡の描画方向を検知する方向検知部と、
複数の所定のジェスチャーの中から前記方向検知部により検知された軌跡の描画方向に合致するジェスチャーを検索するジェスチャー検索部と、
前記軌跡の描画方向が前記方向検知部により検知される度に前記ジェスチャー検索部による検索結果を補助情報として画面に表示する補助情報表示部と、
を備える、情報処理装置。
【請求項２】
前記補助情報表示部は、前記ジェスチャー検索部の検索により抽出された前記所定のジェスチャーの全体像を前記補助情報として表示する、請求項１に記載の情報処理装置。
【請求項３】
前記ジェスチャー検索部は、画面上の表示情報に関連するアプリケーションに対応付けられた前記所定のジェスチャーの中から、前記軌跡の描画方向に合致するジェスチャーを検索する、請求項２に記載の情報処理装置。
【請求項４】
前記補助情報表示部により表示された前記所定のジェスチャーの全体像が選択された場合に、当該所定のジェスチャーに対応付けられたアプリケーションを起動するアプリケーション起動部をさらに備える、請求項３に記載の情報処理装置。
【請求項５】
前記補助情報表示部は、前記ジェスチャー検索部の検索処理において抽出された所定のジェスチャーに対応し、前記軌跡の終端に続く描画方向を前記補助情報として表示する、請求項１に記載の情報処理装置。
【請求項６】
前記補助情報表示部は、前記ジェスチャー検索部の検索処理において抽出された所定のジェスチャーに対応するアプリケーションの情報を前記軌跡の終端に続く描画方向に対応付けて前記補助情報として表示する、請求項５に記載の情報処理装置。
【請求項７】
ジェスチャーが入力された際に前記ジェスチャーの入力過程で描かれる軌跡の描画方向が検知される方向検知ステップと、
複数の所定のジェスチャーの中から前記方向検知ステップで検知された軌跡の描画方向に合致するジェスチャーが検索されるジェスチャー検索ステップと、
前記方向検知ステップで前記軌跡の描画方向が検知される度に前記ジェスチャー検索ステップにおける検索結果が画面に補助情報として表示される補助情報表示ステップと、
を含む、補助情報の表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、及び補助情報の表示方法に関する。
【背景技術】
【０００２】
パーソナルコンピュータ（以下、ＰＣ）や携帯電話等の電子機器には、例えば、キーボード、マウス、タッチパッド、タッチパネル、ダイアル等の入力手段が接続されている。そのため、ユーザは、これらの入力手段を用いて各種の電子機器に情報を入力することができる。近年、こうした電子機器においては、コンピュータグラフィックス（以下、ＣＧ）を用いて表示画面内に構築された仮想的な操作体系が用いられるようになってきている。この仮想的な操作体系は、所謂グラフィカルユーザインターフェース（以下、ＧＵＩ）と呼ばれるものである。
【０００３】
ＧＵＩが搭載されていると、ユーザは、上記の入力手段を用いてＣＧを移動させたり、ＣＧを操作して所定の演算処理を実行させたりすることができる。例えば、ユーザは、マウスを用いて所望のアプリケーションに対応するＣＧを選択し、キーボードの所定のキーを押下して所望のアプリケーションを起動することができる。ＣＧとしては、選択ボタンや表示メニュー、或いは、チェックボックス等がある。例えば、階層化された表示メニューを用いると、種類や属性に応じてアプリケーション等を階層的に分類することが可能になり、ユーザの利便性が向上する。しかし、階層構造が複雑化してくると、ユーザの操作工程が増加し、かえって利便性が低下することになる。
【０００４】
そのため、各表示メニューには、ショートカットと呼ばれる特殊なキー操作が割り当てられていることがある。このショートカットを用いる場合、ユーザは、特殊なキー操作を行うことで直接的に所望の表示メニューを選択したり、或いは、その表示メニューに対応するアプリケーションを起動したりすることができる。ショートカットと同様にユーザの操作効率を向上させるための手法として、マウスジェスチャーと呼ばれる技術がある。これは、ユーザがマウスカーソルで所定形状の軌跡を描くことにより、その形状に対応付けられたアプリケーションを起動させるというものである。
【０００５】
このマウスジェスチャーの応用として、例えば、下記の特許文献１には、指でタッチパネル上に所定形状の軌跡を描くことによりアプリケーションを起動させる技術が開示されている。また、同文献１には、カーナビゲーションシステムのような車載装置に対してジェスチャー機能を応用する具体的な例が記載されている。車載装置や小型の情報機器のように入力手段が限られている場合、ジェスチャーにより情報を入力することが可能な操作体系は、ユーザの利便性を大きく向上させることができる。
【０００６】
【特許文献１】特開２００５−３３９４２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、ジェスチャー入力を行うためには、ユーザが各種の操作に対応付けられた所定のジェスチャーを記憶している必要がある。そのため、ジェスチャーの形状が複雑であると、ユーザによりジェスチャーの形状を正確に覚えてもらうことが難しくなる。また、ジェスチャーの形状が複雑であると、ジェスチャー形状の識別精度が低下してしまう。このような理由から、ジェスチャーの形状が複雑であると、入力されたジェスチャーを誤認識する確率が増大するため、ユーザの利用頻度も低下してしまう。そのため、ジェスチャーの形状には単純なものが多く用いられている。しかし、単純な形状の場合、利用可能なジェスチャーの種類数が限定されてしまう。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザがジェスチャーの形状を正確に記憶していなくても、複雑な形状のジェスチャーを入力できるようにすることが可能な、新規かつ改良された情報処理装置、及び補助情報の表示方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、ジェスチャーが入力された際に前記ジェスチャーの入力過程で描かれる軌跡の方向を検知する方向検知部と、複数の所定のジェスチャーの中から前記方向検知部により検知された軌跡の方向に合致するジェスチャーを検索するジェスチャー検索部と、前記軌跡の方向が前記方向検知部により検知される度に前記ジェスチャー検索部による検索結果を補助情報として画面に表示する補助情報表示部とを備える、情報処理装置が提供される。
【００１０】
このように、上記の情報処理装置は、方向検知部により、ジェスチャーが入力された際に前記ジェスチャーの入力過程で描かれる軌跡の方向を検知する。また、上記の情報処理装置は、ジェスチャー検索部により、複数の所定のジェスチャーの中から前記方向検知部により検知された軌跡の方向に合致するジェスチャーを検索する。さらに、上記の情報処理装置は、補助情報表示部により、前記軌跡の方向が前記方向検知部により検知される度に前記ジェスチャー検索部による検索結果を補助情報として画面に表示する。
【００１１】
また、前記補助情報表示部は、前記ジェスチャー検索部の検索により抽出された前記所定のジェスチャーの全体像を前記補助情報として表示するように構成されていてもよい。
【００１２】
また、前記ジェスチャー検索部は、画面上の表示情報に関連するアプリケーションに対応付けられた前記所定のジェスチャーの中から、前記軌跡の方向に合致するジェスチャーを検索するように構成されていてもよい。
【００１３】
また、上記の情報処理装置は、前記補助情報表示部により表示された前記所定のジェスチャーの全体像が選択された場合に、当該所定のジェスチャーに対応付けられたアプリケーションを起動するアプリケーション起動部をさらに備えていてもよい。
【００１４】
また、前記補助情報表示部は、前記ジェスチャー検索部の検索により抽出された前記所定のジェスチャーの全体像のうち、前記軌跡の終端に続く一部の軌跡のみを前記補助情報として表示するように構成されていてもよい。
【００１５】
また、前記補助情報表示部は、前記補助情報として表示された前記一部の軌跡に対応付けて前記ジェスチャー検索部の検索により抽出された所定のジェスチャーに対応するアプリケーションの情報を前記補助情報として表示するように構成されていてもよい。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、ジェスチャーが入力された際に前記ジェスチャーの入力過程で描かれる軌跡の方向が検知される方向検知ステップと、複数の所定のジェスチャーの中から前記方向検知ステップで検知された軌跡の方向に合致するジェスチャーが検索されるジェスチャー検索ステップと、前記方向検知ステップで前記軌跡の方向が検知される度に前記ジェスチャー検索ステップにおける検索結果が画面に補助情報として表示される補助情報表示ステップとを含む、補助情報の表示方法が提供される。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、上記の情報処理装置が有する機能をコンピュータに実現させるためのプログラムが提供されうる。さらに、当該プログラムが記録された記録媒体が提供されうる。
【発明の効果】
【００１８】
以上説明したように本発明によれば、ユーザがジェスチャーの形状を正確に記憶していなくても、複雑な形状のジェスチャーを入力できるようにすることが可能になる。その結果、入力されたジェスチャーに対する識別精度の向上が期待できる。
【発明を実施するための最良の形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
［説明の流れについて］
ここで、以下に記載する本発明の実施形態に関する説明の流れについて簡単に述べる。まず、図１、図２を参照しながら、一般的なマウスジェスチャーによるユーザ操作、及びジェスチャーと機能の対応付け手法について、具体例を挙げて説明する。この中で、本発明の実施形態が目的とするところについて説明する。次いで、図３〜図７を参照しながら、本実施形態に係る補助情報の表示方法について、具体例を挙げて説明する。この中で、ジェスチャーの識別方法についても具体的に説明する。
【００２１】
次いで、図８等を参照しながら、本実施形態に係る情報処理装置１００の機能構成について説明する。さらに、図９を参照しながら、この情報処理装置１００による補助情報の表示方法に関し、当該表示方法に係る処理の流れについて説明する。次いで、図１０を参照しながら、本実施形態に係る情報処理装置１００の具体的な動作説明を行う。その後、本実施形態の技術的構成について簡単に纏め、当該技術的構成が奏する作用及び効果について説明する。最後に、図１１を参照しながら、本実施形態に係る情報処理装置１００のハードウェア構成例について説明する。
【００２２】
［目的］
本発明の実施形態ついて説明するに先立ち、図１、図２を参照しながら、ジェスチャー入力に係るユーザ操作、及びジェスチャーと機能の対応付け手法について簡単に説明する。図１は、マウスジェスチャーに係る具体的なユーザ操作を示す説明図である。図２は、ジェスチャーと機能とを対応付けるためのジェスチャー設定画面を示す説明図である。
【００２３】
まず、図１を参照する。図１には、あるアプリケーションの実行画面が表示され、当該実行画面にマウスジェスチャーにより描かれた軌跡が表示されている。図１にも表示されている通り、多くのアプリケーションには、実行画面の中に表示メニューが設けられている。図１の例では、「ファイル（Ｆ）」「編集（Ｅ）」「表示（Ｖ）」「ブックマーク（Ｂ）」「ヘルプ（Ｈ）」が表示メニューである。さらに、このアプリケーションの場合、履歴に基づいて過去の表示に戻したり、進めたりするボタン、表示内容の読み込みを中止するボタン、所定の表示内容を表示させるボタン等が実行画面内に設けられている。
【００２４】
これらの表示メニューやボタンは、マウスやキーボード等の入力手段により選択される。例えば、「ファイル（Ｆ）」と表示された位置にマウスカーソルを合わせて、マウスボタンを押下すると、「ファイル（Ｆ）」に対応付けられた表示内容が実行画面に表示される。このとき、「ファイル（Ｆ）」が階層化された表示メニューの場合、下位階層の表示メニューが表示される。また、この操作は、ショートカットキーを用いてキーボードにより実行することもできる。例えば、「ファイル（Ｆ）」には、ショートカットキー（Ｆ）が対応付けられているため、所定のメタキーと「Ｆ」キーとを同時に押下することで、この表示メニューに対応付けられた操作を行うことができる。
【００２５】
さらに、ユーザは、マウスジェスチャーを用いて上記のような操作を行うこともできる。この場合、ユーザがマウスを操作して実行画面内に所定の形状を描くことにより、その形状に対応付けられた操作が実現される。例えば、マウスカーソルを左方向に移動させると、表示内容が履歴に基づいて過去の表示に戻る操作が実現される。但し、マウスカーソルにより描かれる軌跡の形状と操作内容との対応関係は、図２に示すように予め設定されている。図２には、ジェスチャーと操作内容（機能）との対応関係を示す設定内容の一例が示されている。
【００２６】
図２の例では、「履歴を戻る」機能が左方向にマウスカーソルを動かすジェスチャーに対応付けられている。また、「履歴を進む」機能は、右方向にマウスカーソルを動かすジェスチャーに対応付けられている。さらに、「文書を再読み込みする」機能には、上方向にマウスカーソルを動かした後、下方向にマウスカーソルを動かすジェスチャーが対応付けられている。このように、複数の移動方向を組み合わせて様々なジェスチャーの形状が定義される。例えば、「タブを複製する」機能については、「下−上−下」という３方向への移動方向がジェスチャーの形状として定義されている。
【００２７】
このように、多数の移動方向を組み合わせてジェスチャーを定義することにより、多くの機能を定義することができるようになる。従って、ユーザは、多くの操作をマウスジェスチャーのみで実現することが可能になり、利便性が増加する。一方で、組み合わせる移動方向のバリエーション（方向数）が増えたり、移動方向の組み合わせ数（入力ステップ数）が増えたりすることにより、ユーザがジェスチャーを正確に覚えることが難しくなる。また、ジェスチャーの形状が複雑になることで、形状を認識する際の識別精度が低下してしまう。
【００２８】
例えば、図１に示した軌跡のように、斜め方向への移動を含むジェスチャーの場合、ユーザが斜め方向への移動を意図したものなのか、垂直方向への移動を意図したものなのかを判別し難い部分が含まれることがある。また、ジェスチャーが多くの操作ステップを含むものである場合、僅か１つの操作ステップで誤認識が発生しただけでも、ユーザが意図した機能が実現されないことになる。こうした不都合を回避するためには、ユーザにジェスチャーの形状を正確に入力させる必要がある。そこで、本件発明者は、ユーザが正確にジェスチャーの形状を入力できるように、効果的に補助情報を提示する技術を考案した。
【００２９】
当該技術を用いることで、形状の複雑さに依らずに正確なジェスチャーが入力できるようになるため、これまでは実質的に利用出来なかった複雑なジェスチャーも利用することが可能になる。その結果、多くの機能をジェスチャー入力により実現できるようになる。また、入力手段が限られる電子機器等において、これまで入力操作が困難なために利用が制限されていた多くの機能を搭載することが可能になるという効果も期待できる。後述する実施形態は、これらの効果を享受することが可能な補助情報を提示する技術の提供を主な目的とするものである。
【００３０】
＜実施形態＞
以下、本発明の一実施形態について説明する。本実施形態は、ユーザに対してジェスチャー入力に係る補助情報を提示する技術に関する。当該技術は、ユーザにジェスチャーの一覧を参照させて入力操作を補助する技術とは異なり、ユーザが入力操作を行う過程で逐次的に補助情報を表示するものである。そのため、ユーザは、一覧の中から所望のジェスチャーを検索したり、予めジェスチャーの全体形状を記憶しておいたりする負担から解放される。また、一覧を表示する表示スペースが不要になるため、画面サイズが小さい電子機器においても好適に用いられる。
【００３１】
［補助情報の表示方法について］
まず、本実施形態に係る補助情報の表示方法について説明する。ここでは、本実施形態の技術的思想を具体化した２つの表示形態を例示して説明する。１つは、ジェスチャーの入力過程で候補となるジェスチャーの全体形状を表示する表示形態である。もう１つは、ジェスチャーの入力過程で候補となるジェスチャーの一部形状（次の操作ステップ）を表示する表示形態である。但し、本実施形態の技術的範囲は、これらの例に限定されない。
【００３２】
（全体形状を表示する構成）
まず、図３を参照しながら、ジェスチャーの入力過程において候補となるジェスチャーの全体形状を補助情報として表示する表示構成について説明する。図３は、本実施形態に係る補助情報の表示方法の一例を示す説明図である。
【００３３】
図３の例では、ジェスチャーが入力されるジェスチャー入力画面に地図が表示されている。また、ジェスチャー入力画面は、タッチパネル等により構成され、ユーザが指等で画面上をなぞることによりジェスチャーの軌跡が描かれるように構成されている。但し、ユーザがジェスチャーを入力する位置は任意である。なお、「ジェスチャー入力画面」と表記するが、ジェスチャーを入力するための専用画面を意味するものではなく、ジェスチャーが入力される際の表示画面を意味している点に注意されたい。
【００３４】
図３に示すように、ユーザによりジェスチャーが入力されると、ジェスチャー入力画面には、ユーザの指等でなぞられた軌跡が表示される。このとき、指等の移動方向が検出され、補助情報として表示されるジェスチャーの候補が検索される。なお、この移動方向は、逐次的に検出される指等の位置変化から算出される。さらに、予め設定された複数の移動方向の中から位置変化の向きにより算出された移動方向に最も近いものが選択される。このとき、位置変化から算出される移動方向の角度情報が検出され、その角度情報に応じて所定の移動方向が選択される。
【００３５】
このようにして移動方向を選択することにより、１つのジェスチャーが入力される間に複数個の移動方向が検出される。つまり、移動方向が変化した数だけ移動方向の情報が蓄積される。このとき、移動方向の情報には、検出及び選択された順番の情報も含まれる。そのため、移動方向の組み合わせ、及び順番の情報に基づいてジェスチャーの候補を検索することが可能になる。ジェスチャーの形状は、予め設定された複数の方向ベクトルを組み合わせて形成されている。そこで、上記の検索は、ジェスチャーを形成する方向ベクトルの向きと移動方向とを照合することにより行われる。
【００３６】
例えば、図４に示すように、６つの操作ステップを含むジェスチャーが入力され、順番に移動方向が検出及び選択された場合について考える。但し、ここで言う操作ステップとは、移動方向が変化するまでの１つの移動区間を意味している。図４の例には、第１番目に上方向に移動し、第２番目に右上方向に移動し、第３番目に右方向に移動し、第４番目に右下方向に移動し、第５番目に下方向に移動し、第６番目に上方向に移動した軌跡の情報が示されている。このように、各操作ステップにおける移動方向及び順番の情報が移動方向の推移に関する情報として検出される。
【００３７】
このようにして検出された情報に対し、図５に例示するような予め設定されたジェスチャーの情報（以下、ライブラリ）が照合され、候補となるジェスチャーが検索される。図５の例には、４種類のジェスチャーに関するライブラリが記載されている。例えば、ライブラリの最上段に記載されたジェスチャーは、５つの操作ステップに対応する方向ベクトルにより定義されていることが分かる。このジェスチャーは、第１番目に上方向に移動し、第２番目に右上方向に移動し、第３番目に右方向に移動し、第４番目に右下方向に移動し、第５番目に下方向に移動した場合に選択されるものである。
【００３８】
同様に、ライブラリの上から第２段目のジェスチャーは、１０の操作ステップに対応する方向ベクトルにより定義されている。また、上から第３段目のジェスチャーは、８の操作ステップに対応する方向ベクトルにより定義されている。さらに、上から第４段目のジェスチャーは、１１の操作ステップに対応する方向ベクトルにより定義されている。しかし、これらのジェスチャーを構成する方向ベクトルは第５番目まで共通している。そのため、図４に示したジェスチャーの入力情報のうち、第５番目までの移動方向が入力された時点では、これら４つのジェスチャーが候補として抽出される。
【００３９】
例えば、図３に示すように、第１番目の操作ステップでジェスチャー入力画面に「上方向に移動」する情報が入力された場合、この移動方向の情報に合致するライブラリ内のジェスチャーが検索され、４つのジェスチャーが候補として抽出される。これらの抽出されたジェスチャーは、図３（候補表示画面）に示すように、各ジェスチャーの全体形状が分かるように並べて表示される。なお、「候補表示画面」と表記するが、ジェスチャーの候補を表示するための専用画面を意味するものではなく、ジェスチャーの候補が表示される際の表示画面を意味している点に注意されたい。
【００４０】
図３の例では、ライブラリの上から第１段目のジェスチャーが候補Ｂとして表示されている。同様に、ライブラリの上から第２段目のジェスチャーが候補Ｃとして表示され、ライブラリの上から第３段目のジェスチャーが候補Ａとして表示され、ライブラリの上から第４段目のジェスチャーが候補Ｄとして表示されている。これらの候補Ａ〜候補Ｄは、ユーザが次の操作ステップを入力する際の参照情報として表示されるものである。但し、これらの候補Ａ〜候補Ｄは、選択可能な領域として表示され、ユーザにより接触されることで、そのジェスチャーに対応する機能が実現されるように構成されていてもよい。
【００４１】
図３の例は、第１番目の操作ステップが入力された段階における候補表示画面の表示構成を示したものであるが、操作ステップが進むに連れて表示されるジェスチャーの候補が絞り込まれる。例えば、図４に示した移動方向の推移に沿って第６番目まで操作ステップが進行した場合、図５に示すライブラリの上から第１段目に記載されたジェスチャーは、対応する第６番目の方向ベクトルを持たないために候補から外される。また、第７番目の操作ステップとして「右上方向に移動」する情報が入力されると、ライブラリの上から第２段目のジェスチャーに候補が絞り込まれる。
【００４２】
このようにしてジェスチャーが絞り込まれる度に候補表示画面が更新され、入力された軌跡に適合するジェスチャーのみが表示される。また、上記の絞り込み検索の際に、ジェスチャー入力画面に表示されている内容が考慮されるように構成されていてもよい。例えば、図３に示すように、ジェスチャー入力画面に地図情報が表示されている場合、地図情報に関連した機能に対応するジェスチャーの中から、入力された軌跡に対応するジェスチャーが選択されるように構成されていてもよい。
【００４３】
この場合、地図情報が表示されているのであれば、例えば、地図の拡大／縮小機能、路線情報の表示機能、交通情報の表示機能、天気情報の表示機能、ルート検索アプリケーションの起動機能等に対応付けられたジェスチャーが抽出される。もちろん、表示内容に無関係のアプリケーションや表示情報等に対応付けられたジェスチャーが抽出されるように構成されていてもよい。同様にして、時間情報や位置情報等に応じて検索対象となるジェスチャーのライブラリが変更されるように構成されていてもよい。
【００４４】
このように、ユーザのジェスチャー入力に応じてリアルタイムに補助情報が提示されることで、ユーザは、ジェスチャーの形状及び入力順序を正確に記憶していなくてもよくなる。また、自動的にジェスチャーの候補が絞り込まれるため、ユーザは、所望のジェスチャーを容易に見つけだすことが可能になる。さらに、入力途中で所望のジェスチャーが表示された場合に、そのジェスチャーを選択することで操作ステップ数が低減され、より早く所望の機能を実現することができるようになる。
【００４５】
そのため、ユーザのジェスチャー入力に係る負担が軽減されることはもちろん、曖昧な記憶による誤認識の可能性が低くなることから、多くの方向を含む複雑な形状のジェスチャーを定義することができるようになる。また、ジェスチャーに割り当てられる機能の数が増加すると共に、機能や操作結果を想起し易い形状のジェスチャーを定義することができるようになる。結果として、機能や操作結果とジェスチャーとの対応関係がユーザに認識され易くなり、所望の機能に対応するジェスチャーの検索効率が向上する。
【００４６】
例えば、図３に示した候補Ａのジェスチャーは、アルファベットの「Ｐ」に似せて定義されている。そこで、候補Ａのジェスチャーに「近くのパーキングエリア（Ｐａｒｋｉｎｇ）を表示する」という機能を対応付けておけば、ユーザは、ジェスチャーの形状から操作結果を容易に想起することができるようになる。同様に、候補Ｄのジェスチャーは、ギリシャ文字「β」に似せて定義されている。そこで、候補Ｄのジェスチャーに「ブラウザ（Ｂｒｏｗｓｅｒ）を起動する」という機能を対応付けておけば、ユーザは、ジェスチャーの形状から操作結果を容易に想起することができるようになる。
【００４７】
このように、ユーザが操作結果を容易に想起できれば、各ジェスチャーの候補に文字で操作結果を表示しなくても、ユーザが所望のジェスチャーを選択できるようになり、文字表示が省略される分だけ表示領域を効率的に使うことができるようになる。また、ジェスチャーの形状で操作結果が想起できることにより、ジェスチャーが縮小表示された場合にも、そのジェスチャーに対応付けられた機能や操作結果が容易に認識できるようになる。図３には、ジェスチャーの候補が画面一杯に並べて配置された構成例を示したが、画面の一部に縮小表示されるような場合においては、上記のような効果が得られるのである。
【００４８】
以上、ジェスチャーの入力過程において候補となるジェスチャーの全体形状を補助情報として表示する表示構成について説明した。当該表示構成によると、ユーザによりジェスチャーが入力される過程で、移動方向の情報に基づいてジェスチャーの候補が絞り込まれ、その全体形状が補助情報として逐次的にユーザに提示される。このような構成により、ユーザは、複雑な形状を有する多数のジェスチャーを正確に記憶しておく負担から解放される。さらに、ユーザは、絞り込まれた候補を選択することにより、高速に所望の機能を呼び出すことができるようになる。
【００４９】
（一部形状を表示する構成）
次に、図６を参照しながら、ジェスチャーの入力過程において候補となるジェスチャーの一部形状（次の操作ステップ）を補助情報として表示する表示構成について説明する。図６は、本実施形態に係る補助情報の表示方法の一例を示す説明図である。この例は、図３に示したジェスチャーの全体形状を表示する構成とは異なり、入力された軌跡に続く次の操作ステップを表示させるというものである。
【００５０】
図６には、ジェスチャーが入力されるジェスチャー入力画面が表示されている。図３の場合と同様に、ジェスチャー入力画面は、タッチパネル等により構成され、ユーザが指等で画面上をなぞることによりジェスチャーの軌跡が描かれるように構成されている。但し、ユーザがジェスチャーを入力する位置は任意である。また、「ジェスチャー入力画面」と表記するが、ジェスチャーを入力するための専用画面を意味するものではなく、ジェスチャーが入力される際の表示画面を意味している点に注意されたい。
【００５１】
図６に示すように、ユーザによりジェスチャーが入力されると、ジェスチャー入力画面には、ユーザの指等でなぞられた軌跡が表示される。このとき、指等の移動方向が検出され、補助情報として表示されるジェスチャーの候補が検索される。
【００５２】
なお、この移動方向の検出方法、及びジェスチャーの候補検索方法等については、図３の例と同様である。しかし、検索結果として得られるジェスチャーの候補は、その全体形状がジェスチャー入力画面に表示されるのではなく、次に続く操作ステップの形状のみが表示される。但し、次に続く操作ステップの形状に加え、ジェスチャーの全体形状が縮小表示されたり、操作結果の情報が表示されたりするように構成されていてもよい。
【００５３】
図６には、「左下方向に移動」する情報が入力された後で、「音楽プレーヤを起動」する機能に対応するジェスチャー、及び「天気予報を表示」する機能に対応するジェスチャーが補助情報として抽出された場合の例が示されている。
【００５４】
このとき、補助情報の１つとして、次の移動方向を示す矢印が表示されている。つまり、ここで表示された矢印の方向に入力操作を進めることにより、矢印に対応する機能が呼び出されるのである。図６には、右方向の矢印と左方向の矢印とが示されている。これらの矢印は、軌跡の移動方向に基づいて絞り込まれたジェスチャーにおける次の操作ステップを示すものである。従って、仮に「下方向に移動」する次の操作ステップを含むジェスチャーの候補が存在すれば、下方向の矢印が表示される。
【００５５】
このように、ジェスチャーの一部のみが表示される表示構成の場合、ユーザがジェスチャーと機能又は操作結果との間の対応関係を認識することが難しい。そこで、次の操作ステップを示す矢印との対応が分かる位置に、補助情報として機能又は操作結果の情報が表示される。ここで言う機能又は操作結果の情報としては、例えば、機能の内容を示す文字情報が表示される。図６の例では、文字情報として、［音楽プレーヤを起動］［天気予報を表示］という情報が表示されている。また、機能又は操作結果の情報として、例えば、ジェスチャーの全体形状が縮小されて表示されるように構成されていてもよい。
【００５６】
図３に例示して説明したジェスチャーの全体形状を示す表示構成と同様、ジェスチャーの形状により操作結果等がユーザに想起されるように定義されていれば、その全体形状から次以降の操作ステップを進めることで実現される操作結果等が容易に認識できる。例えば、図６の例では、［音楽プレーヤを起動］に対応するジェスチャーの全体形状は、音符に似せた形状に定義されている。また、［天気予報を表示］に対応するジェスチャーの全体形状は、傘マークに似せた形状に定義されている。このような表示構成にすることにより、ユーザは、所望の操作ステップを容易に判別できるようになる。
【００５７】
なお、図６の例では、１つの矢印に対し、１つのジェスチャー候補に対応する補助情報が表示されている。しかし、複数のジェスチャー候補が存在する場合には、各ジェスチャー候補に対応する補助情報が表示される。この場合、１つの矢印に対して、縮小されたジェスチャー候補の全体形状が複数個表示されていたり、操作結果や機能等を示す文字列が複数個表示されていたりする。このようなケースでは、操作ステップを進めるに連れて、ジェスチャー候補が絞り込まれ、その都度、表示される補助情報の数が減少する。従って、ユーザによりジェスチャーの全体像が描かれるに連れて補助情報が減少していき、最終的に所望のジェスチャーに対応する機能の呼び出し又は操作が実現されるのである。
【００５８】
例えば、図７に示すようなジェスチャーのライブラリが定義されているとしよう。この場合、第１番目の操作ステップにおいて「左下方向に移動」する軌跡が入力されると、第２番目の方向ベクトルに対応する矢印がジェスチャー入力画面に表示される。図７のライブラリの場合、上から第１段目のジェスチャーにおける第２番目の方向ベクトルは、左方向を示している。一方、上から第２段目のジェスチャーにおける第２番目の方向ベクトルは、右方向を示している。そのため、ジェスチャー入力画面には、図６のように、右方向を向いた矢印と左方向を向いた矢印とが補助情報として表示される。
【００５９】
仮に、第２番目の操作ステップにおいて「右方向に移動」する軌跡が入力されると、ライブラリの上から第１段目のジェスチャーにおける第２番目の方向ベクトルと合致しないため、ライブラリの上から第２段目のジェスチャーのみに候補が絞られる。その結果、第２番目の操作ステップにおいて「右方向に移動」する軌跡が入力された時点で、［天気予報を表示］する機能が呼び出され、例えば、画面上に天気予報の情報が表示される。なお、ユーザは、第１番目の操作ステップで表示された補助情報を選択することにより、その補助情報に対応する機能又は操作が実現されるように構成されていてもよい。
【００６０】
以上、ジェスチャーの入力過程において候補となるジェスチャーの一部形状を逐次的に補助情報として表示する表示構成について説明した。当該表示構成によると、ユーザによりジェスチャーが入力される過程で、移動方向の情報に基づいてジェスチャーの候補が絞り込まれ、その一部形状が補助情報として逐次的にユーザに提示される。このような構成により、ユーザは、複雑な形状を有する多数のジェスチャーを正確に記憶しておく負担から解放される。さらに、ユーザは、絞り込まれた候補を選択することにより、高速に所望の機能を呼び出すことができるようになる。また、図３の例に比べ、補助情報の表示に利用される画面領域が少なくて済むため、画面表示の煩雑さが低減されると共に、画面全体をより効率よく利用することが可能になる。
【００６１】
［情報処理装置１００の機能構成］
次に、図８を参照しながら、上記の各表示構成を実現することが可能な情報処理装置１００の機能構成について説明する。図８は、本実施形態に係る情報処理装置１００の機能構成を示す説明図である。なお、情報処理装置１００の機能は、例えば、携帯情報端末、携帯電話、携帯ゲーム機、放送機器、パーソナルコンピュータ、カーナビゲーションシステム、又は情報家電等により実現される。また、この情報処理装置１００のハードウェア構成例については、図１１を参照しながら後段において詳細に説明する。
【００６２】
図８に示すように、情報処理装置１００は、主に、表示入力部１０２と、方向検知部１０４と、ジェスチャー検索部１０６と、記憶部１０８と、補助情報表示部１１０と、表示制御部１１２と、アプリケーション起動部１１４とにより構成される。
【００６３】
なお、方向検知部１０４の機能は、例えば、図１１に示すハードウェア構成のうち、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録されたプログラムに基づいてＣＰＵ９０２により実現される。ジェスチャー検索部１０６、補助情報表示部１１０、表示制御部１１２、アプリケーション起動部１１４の機能についても同様である。さらに、記憶部１０８の機能は、例えば、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８の機能により実現される。そして、表示入力部１０２の機能は、例えば、入力部９１６、及び出力部９１８の機能を組み合わせて実現される。
【００６４】
（表示入力部１０２）
表示入力部１０２は、表示部１３２と、入力位置検出部１３４とにより構成される。表示入力部１０２の機能は、例えば、タッチパネルにより実現される。この場合、表示部１３２及び入力位置検出部１３４の機能が共にタッチパネルにより実現される。また、表示入力部１０２の機能は、ディスプレイとタッチパッドとを組み合わせても実現される。この場合、表示部１３２の機能がディスプレイにより実現され、入力位置検出部１３４の機能がタッチパッドにより実現される。但し、本実施形態はこれらの例に限定されない。
【００６５】
表示部１３２には、各種の情報が表示される。例えば、表示部１３２には、地図情報、交通情報、放送番組の映像や番組情報、アプリケーションの起動画面、ゲームの実行画面、動画像や静止画像の表示画面等が表示される。さらに、表示部１３２には、ユーザにより入力されたジェスチャーの軌跡や、その軌跡に基づいて検索されたジェスチャー候補の情報等が表示される。表示部１３２に表示されるジェスチャー候補の情報としては、ジェスチャーの全体形状（図３）、矢印、縮小されたジェスチャー候補の全体形状、機能又は操作結果の文字情報（図６）等が表示される。これらの表示内容は、表示制御部１１２により制御される。
【００６６】
入力位置検出部１３４は、ユーザによりジェスチャーが入力された際に、入力された位置の情報を検出する。例えば、表示入力部１０２がタッチパネルの場合、入力位置検出部１３４は、表示部１３２の画面上をユーザが指等でなぞった位置を検出する。一方、表示入力部１０２がディスプレイとタッチパッドとの組み合わせで構成されている場合、入力位置検出部１３４は、タッチパッド上をユーザが指等でなぞった位置を検出する。なお、入力位置検出部１３４は、マウスで描かれた軌跡の位置情報を検出する手段として構成されていてもよい。このようにして入力位置検出部１３４により検出された入力位置の情報は、方向検知部１０４、アプリケーション起動部１１４に入力される。
【００６７】
（方向検知部１０４）
方向検知部１０４は、入力位置検出部１３４から入力された入力位置の情報に基づいてユーザ入力の移動方向を検知する。例えば、方向検知部１０４は、複数の入力位置を結ぶ直線と所定の基準方向との間の成す角度を計算する。このとき、方向検知部１０４は、入力位置が所定距離だけ移動した場合に、移動前後の入力位置を結ぶ直線が基準方向と成す角度を算出する。但し、所定距離は、ジェスチャー入力画面の画面サイズやライブラリに登録されているジェスチャー形状の複雑さ等に応じて適宜設定される。このようにして算出された角度の情報は、ユーザ入力の移動方向を示す方向情報としてジェスチャー検索部１０６に入力される。例えば、図４に示した移動方向の推移を表す角度の情報がジェスチャー検索部１０６に入力される。
【００６８】
（ジェスチャー検索部１０６）
ジェスチャー検索部１０６は、方向検知部１０４からユーザ入力の移動方向を示す方向情報が入力されると、この方向情報に適合するジェスチャーの候補を検索する。このとき、ジェスチャー検索部１０６は、記憶部１０８に記録されたジェスチャー情報を参照し、入力された方向情報に適合するジェスチャーの候補を抽出する。記憶部１０８には、図５、図７に示すようなライブラリが記録されている。このライブラリには、ジェスチャーを形成する方向ベクトルの向きと入力順とが対応付けて登録されている。
【００６９】
そこで、ジェスチャー検索部１０６は、入力された方向情報と、ライブラリに登録されている各ジェスチャーの方向ベクトルとを順次照合し、ジェスチャーの候補を絞り込む。このとき、ジェスチャー検索部１０６は、一連のジェスチャー入力に関して、方向情報が入力される度にジェスチャー候補の絞り込みを実行する。つまり、各操作ステップに対応して絞り込まれたジェスチャー候補が検索結果として得られる。この検索結果は、補助情報表示部１１０に入力される。
【００７０】
（補助情報表示部１１０）
補助情報表示部１１０は、ジェスチャー検索部１０６から入力された検索結果に対応する補助情報を記憶部１０８から取得して表示制御部１１２に入力する。記憶部１０８には、上記のライブラリに加え、当該ライブラリに登録されている各ジェスチャーに対応した補助情報が格納されている。この補助情報としては、例えば、ジェスチャーの全体形状を表す表示オブジェクト又は縮小表示オブジェクト、方向ベクトルの向きを示す矢印オブジェクト、各ジェスチャーの機能又は操作結果を示す文字情報等がある。
【００７１】
例えば、図３に示すように、ジェスチャーの全体形状を補助情報として表示する表示形態の場合、補助情報表示部１１０は、入力された検索結果に応じてジェスチャーの全体形状を示す表示オブジェクトを表示制御部１１２に入力する。一方、図６に示すように、ジェスチャーの一部形状を補助情報として表示する表示形態の場合、補助情報表示部１１０は、入力された検索結果に応じて方向ベクトルの向きを示す矢印オブジェクト等を表示制御部１１２に入力する。このとき、補助情報表示部１１０は、ジェスチャーの全体形状を示す縮小表示オブジェクトや当該ジェスチャーの機能又は操作結果を示す文字情報等を表示制御部１１２に入力するように構成されていてもよい。
【００７２】
（表示制御部１１２）
表示制御部１１２は、任意の情報に関して、表示部１３２に情報が表示されるように制御する手段である。例えば、表示制御部１１２は、補助情報表示部１１０から入力された補助情報が表示されるように表示部１３２を制御する。また、表示制御部１１２は、図３に示すようなアプリケーションの起動画面を表示させたり、入力されたジェスチャーの軌跡を表示させたりもする。さらに、表示制御部１１２は、表示部１３２の画面内にポップアップウィンドウを表示させたり、画面内の表示領域を分割させたりもする。
【００７３】
（アプリケーション起動部１１４）
アプリケーション起動部１１４は、表示部１３２に表示されたジェスチャーの候補等がユーザにより選択された場合に、当該ジェスチャーに対応するアプリケーションを起動させる。例えば、図３の候補表示画面に表示された候補Ａが選択された場合、アプリケーション起動部１１４は、「パーキングエリアを表示」するアプリケーションを記憶部１０８から読み出し、当該アプリケーションを起動させる。そして、アプリケーション起動部１１４は、そのアプリケーションの起動画面の情報を表示制御部１１２に入力する。
【００７４】
アプリケーションとしては、例えば、図１０に示すように、電子メールを送受信するためのメーラＡ１２や、ホームページを閲覧するためのＷｅｂブラウザＡ１４等がある。その他にも、記憶部１０８には、マナーモードに設定するためのマナーモード設定アプリケーションＡ１６や、カメラ機能を提供するカメラアプリケーションＡ１８が格納されている場合がある。さらに、記憶部１０８には、ヘルプ情報を検索するためのヘルプ検索アプリケーションＡ２０や、天気予報を表示するための天気予報表示アプリケーションＡ２２が格納されている場合もある。そして、記憶部１０８には、テレビ放送を受信して表示するためのテレビ放送アプリケーションＡ２４や、音楽プレーヤＡ２６等が格納されている場合もある。
【００７５】
これらのアプリケーションは、ライブラリに登録された各ジェスチャーに対応付けられており、アプリケーション起動部１１４は、ユーザにより選択されたジェスチャーに対応するアプリケーションを起動させる。このとき、アプリケーション起動部１１４は、アプリケーションの実行ファイルと、当該アプリケーションの起動に用いるデータとを記憶部１０８から読み出して起動させる。起動されたアプリケーションの画面情報は、表示制御部１１２に入力され、表示部１３２に表示される。なお、上記の説明の中で「アプリケーション」という表現を用いたが、ここで言う「アプリケーション」とは、ユーザに情報を提供するために用いられる任意の情報形態を意味している点に注意されたい。
【００７６】
以上、本実施形態に係る情報処理装置１００の機能構成について説明した。上記の通り、情報処理装置１００は、ユーザにより入力されたジェスチャーの軌跡から、ユーザの操作ステップ毎に軌跡の方向情報を検出し、当該方向情報に適合した補助情報をリアルタイムに提供する機能を有する。その際、ユーザに提供される補助情報としては、各操作ステップで表示されるジェスチャー候補の全体又は一部形状や、各ジェスチャー候補に対応付けられた機能又は操作結果等が提供される。
【００７７】
その結果、ユーザは、ジェスチャーの入力過程で逐次的に補助情報を参照することが可能になり、正確にジェスチャーの形状を記憶していなくても済むようになる。そのため、登録されるジェスチャーを複雑な形状で定義しても、ユーザが比較的精度良くジェスチャーを入力することが可能になり、ジェスチャーの誤認識が低減される。このような効果が期待できるため、逆に、複雑な形状でジェスチャーを定義することが可能になり、多くの操作をジェスチャーで定義することができるため、入力手段が限られている電子機器等においてユーザの操作性を大きく向上させることができる。
【００７８】
［補助情報の表示処理の流れ］
次に、図９を参照しながら、本実施形態に係る補助情報の表示方法に関し、その表示処理に係る一連の流れについて説明する。図９は、本実施形態に係る補助情報の表示方法を示す説明図である。ここで示す一連の処理工程は、上記の情報処理装置１００が有する機能により実現されるものである。
【００７９】
図９に示すように、まず、入力されたジェスチャーの軌跡から移動方向の情報が取得される（Ｓ１０２）。次いで、取得された移動方向の情報がライブラリの情報に照会される（Ｓ１０４）。ここで言うライブラリの情報とは、ライブラリに登録された各ジェスチャーにおける順番毎の方向ベクトルに関する情報である。次いで、取得された移動方向の情報がライブラリの情報に合致しているか否かが判断される（Ｓ１０６）。ライブラリの情報に合致している場合、ステップＳ１０８の処理に進行する。ライブラリの情報に合致していない場合、ステップＳ１１０の処理に進行する。
【００８０】
ステップＳ１０８において、ステップＳ１０６で合致すると判定されたジェスチャーに対応する補助情報が表示される（Ｓ１０８）。このとき、取得された移動方向の情報に複数のジェスチャーが合致し、候補として抽出された場合には、これらの全て又は一部の候補が補助情報として表示される。次いで、画面表示が更新され（Ｓ１１０）、補助情報の表示方法に係る一連の処理が終了する。
【００８１】
［具体例］
ここで、図１０を参照しながら、上記の情報処理装置１００の機能を利用し、上記の補助方法の表示方法を適用した場合に実現される具体的な１つの実施例を示す。図１０は、本実施形態に係る情報処理装置１００の動作説明図である。
【００８２】
図１０には、任意の情報が表示されたジェスチャー入力画面Ａ１０と、各種のアプリケーションＡ１２、Ａ１４、Ａ１６、Ａ１８、Ａ２０、Ａ２２、Ａ２４、Ａ２６とが示されている。また、各アプリケーションにそれぞれ対応付けられたジェスチャーＪ１２、Ｊ１４、Ｊ１６、Ｊ１８、Ｊ２０、Ｊ２２、Ｊ２４、Ｊ２６が示されている。図１０の例は、ある任意のアプリケーションＡ１０が起動された状態で、ユーザが他のアプリケーションを起動する様子を示したものである。また、任意のアプリケーションＡ１０は、図１０に示したアプリケーションのいずれか又はその他のアプリケーションである。
【００８３】
近年、携帯電話等の電子機器には、非常に多種多様なアプリケーションが搭載されている。メーラＡ１２、ＷｅｂブラウザＡ１４、カメラＡ１８、テレビ放送Ａ２４、音楽プレーヤＡ２６などは、必須の機能となっている感がある。ところが、１つのアプリケーションの起動中に他のアプリケーションを起動しようとすると、ユーザは、起動中のアプリケーションを一旦終了してから、他のアプリケーションを起動するように求められる。例えば、メールを書きながら翌日の天気を参照する場合、ユーザは、書き途中のメールを保存してメーラＡ１２を終了し、天気予報Ａ２２を起動する必要がある。
【００８４】
大型の表示画面を持つＰＣ等においては、画面上に複数のウィンドウを表示しておくことで、複数のアプリケーションを容易に切り替えて利用することができる。しかし、１画面で１又は少数のアプリケーションしか表示できない場合、アプリケーション間の移動操作は、ユーザにとって大きな負担となっている。しかし、本実施形態の技術を用いると、どのアプリケーションの画面からでも、ジェスチャーを１つ入力するだけで所望のアプリケーションを起動することができる。また、元の表示に戻す際も、ユーザは、ジェスチャーを１つ入力するだけで済むのである。
【００８５】
本実施形態の技術を用いるとジェスチャーの形状が複雑でも誤認識が生じ難いため、各アプリケーションの機能や操作結果をユーザが想起できるような形状にジェスチャーを定義することができる。そのため、直感的な操作で所望のアプリケーションを切り替えていくことが可能になり、操作工程が低減され、結果的に高速なアプリケーションの切り替え処理が実現される。
【００８６】
例えば、図１０に示すように、メーラＡ１２には、「＠」マークに似た形状のジェスチャーＪ１２が対応付けられている。また、ＷｅｂブラウザＡ１４には、「β」「ｗｗｗ」に似た形状のジェスチャーＪ１４が対応付けられている。同様に、マナーモード設定Ａ１６にはハートマークＪ１６が、カメラＡ１８には「α」「ｃ」に似た形状のジェスチャーＪ１８が、ヘルプ検索Ａ２０には「？」に似たジェスチャーＪ２０が対応付けられている。さらに、天気予報Ａ２２には傘マークＪ２２が、テレビ放送には「８」に似たジェスチャーＪ２４が、音楽プレーヤＡ２６には音符マークＪ２６が対応付けられている。
【００８７】
図１０に示したものは一例であるが、このようにしてアプリケーションを連想させるジェスチャーの形状が定義できることにより、ユーザは、ジェスチャーを正確に記憶する負担から解放され、ジェスチャーを便利に利用することができるようになる。こうした利便性の向上効果は、本実施形態に係る補助情報の表示技術に起因して複雑な形状のジェスチャーに対する認識精度の向上が図られることで得られるものである。このように、本実施形態は、ユーザの負担を低減し、ユーザにとって利便性の高い操作体系を提供すると共に、複雑な形状を有するジェスチャーを多くの場面で利用できるようにするものである。
【００８８】
［情報処理装置１００のハードウェア構成］
上記の情報処理装置１００が有する各構成要素の機能は、例えば、図１１に示すハードウェア構成により、上記の機能を実現するためのコンピュータプログラムを用いて実現することが可能である。図１１は、上記の情報処理装置１００の各構成要素が有する機能を実現することが可能なハードウェア構成を示す説明図である。この情報処理装置１００の形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ−ｐｈｏｎｅ  Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等の携帯情報端末、ゲーム機、カーナビゲーションシステム又は各種の情報家電等がこれに含まれる。
【００８９】
図１１に示すように、情報処理装置１００は、主に、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０２と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０４と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０６と、ホストバス９０８と、ブリッジ９１０と、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とにより構成される。
【００９０】
ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、例えば、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する。ＲＡＭ９０６は、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８によって相互に接続されている。また、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続されている。
【００９１】
入力部９１６は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部９１６は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段（所謂、リモコン）であってもよい。なお、入力部９１６は、上記の操作手段を用いて入力された情報を入力信号としてＣＰＵ９０２に伝送するための入力制御回路等により構成されている。
【００９２】
出力部９１８は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ  ＤｉｓｐｌａｙＰａｎｅｌ）、又はＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
【００９３】
記憶部９２０は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ（ＨＤＤ；Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。
【００９４】
ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ  ＤＶＤメディア、コンパクトフラッシュ（登録商標）（ＣＦ；ＣｏｍｐａｃｔＦｌａｓｈ）、メモリースティック、又はＳＤメモリカード（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ  ｍｅｍｏｒｙ  ｃａｒｄ）等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ  Ｃａｒｄ）、又は電子機器等であってもよい。
【００９５】
接続ポート９２４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【００９６】
通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。
【００９７】
［まとめ］
最後に、本実施形態の情報処理装置が有する機能構成と、当該機能構成が奏する作用効果について簡単に纏める。本実施形態に係る情報処理装置の機能構成は、次のように表現することができる。
【００９８】
例えば、上記の情報処理装置は、方向検知部と、ジェスチャー検索部と、補助情報表示部とを含むものとして構成することができる。この方向検知部は、ジェスチャーが入力された際に前記ジェスチャーの入力過程で描かれる軌跡の描画方向（又は、入力位置の移動方向）を検知するものである。このジェスチャー検索部は、複数の所定のジェスチャーの中から前記方向検知部により検知された軌跡の描画方向に合致するジェスチャーを検索するものである。この補助情報表示部は、前記軌跡の描画方向が前記方向検知部により検知される度に前記ジェスチャー検索部による検索結果を補助情報として画面に表示するものである。
【００９９】
このような構成にすることで、上記の情報処理装置は、方向検知部を用いて、ユーザにより入力されたジェスチャーの軌跡から移動方向を検知し、ジェスチャー検索部を用いて、その移動方向に適合するジェスチャーの候補を逐次的に絞り込んでいくことができる。さらに、上記の情報処理装置は、補助情報表示部により、絞り込み検索により抽出されたジェスチャーの候補に対応する補助情報を逐次的にユーザに提供することができる。その結果、ユーザは、ジェスチャーを入力する過程において逐次表示される補助情報を参照しながら、正確にジェスチャーを入力することができる。
【０１００】
このとき、ユーザがジェスチャーの形状を正確に記憶していなくても済むため、ユーザの負担が軽減される。さらに、ジェスチャーが正確に入力されるため、ジェスチャーの認識精度が向上する。その結果、複雑な形状を有するジェスチャーを定義することができる。そのため、アプリケーションや表示情報をユーザが想起し易い形状のジェスチャーを定義することができるようになる。このようにジェスチャーが定義されることで、ユーザがジェスチャーと操作結果等との間の対応関係を記憶しておくことが容易になり、スムーズのジェスチャー入力が実現され、操作結果を得るまでに要する時間が短縮される。
【０１０１】
また、前記補助情報表示部は、前記ジェスチャー検索部の検索により抽出された前記所定のジェスチャーの全体像を前記補助情報として表示するように構成されていてもよい。上記の通り、アプリケーションの機能や操作結果、表示内容等に関連付けてジェスチャーの形状を定義することができるようになるため、そのように定義されたジェスチャーの全体像を補助情報として表示するだけで、ユーザが容易にジェスチャーを入力できるようになる。このような補助情報が表示されると、ユーザは、まず、ジェスチャーの全体形状から所望のジェスチャーを容易に判別することができるようになる。次に、ユーザは、ジェスチャーの全体形状から、次に移動すべき方向を容易に認識することができるようになる。その結果、ユーザは、次に入力すべき方向を早く判断することができるようになる。
【０１０２】
また、前記ジェスチャー検索部は、画面上の表示情報に関連するアプリケーションに対応付けられた前記所定のジェスチャーの中から、前記軌跡の方向に合致するジェスチャーを検索するように構成されていてもよい。ユーザは、多くの場合、画面上に表示されている内容に関連したアプリケーションを起動したいと考えるであろう。そこで、表示情報に関連するアプリケーションに対応付けられたジェスチャーの中から、入力された軌跡の方向に適合するジェスチャーの候補を優先的に抽出するようにしたものである。このような構成にすることで、ユーザは、所望の操作結果をより早く得ることが可能になる。
【０１０３】
また、上記の情報処理装置は、前記補助情報表示部により表示された前記所定のジェスチャーの全体像が選択された場合に、当該所定のジェスチャーに対応付けられたアプリケーションを起動するアプリケーション起動部をさらに備えていてもよい。このように構成することで、ユーザにより入力された軌跡の方向に基づいて絞り込み検索されたジェスチャーの候補の中から、直接的に所望のジェスチャーを選択できるようになる。上記の通り、ジェスチャーの形状が操作結果等を想起させるように定義できるため、絞り込まれて表示されたジェスチャーの候補が表示されると、ユーザは容易に所望のジェスチャーを見つけることができる。この時点でユーザによりアプリケーションが起動できるように構成することで、より早く所望の操作結果が得られるようになる。
【０１０４】
また、前記補助情報表示部は、前記ジェスチャー検索部の検索により抽出された前記所定のジェスチャーの全体像のうち、前記軌跡の終端に続く一部の軌跡（次以降の移動方向）のみを前記補助情報として表示するように構成されていてもよい。軌跡の終端に続く一部の軌跡としては、例えば、ユーザが次に入力すべき操作ステップに対応する移動方向が示されればよい。このような表示にすることで、ユーザは、ジェスチャーの形状を正確に記憶していなくても、逐次的に表示される補助情報を辿りながらジェスチャーを正確に入力することができる。また、ジェスチャーの全体形状を表示する場合に比べて表示面積が少なくて済むため、表示画面が小さい場合でも、表示領域全体を効率良く利用することができるようになる。
【０１０５】
また、前記補助情報表示部は、前記補助情報として表示された前記一部の軌跡に対応付けて前記ジェスチャー検索部の検索により抽出された所定のジェスチャーに対応するアプリケーションの情報を前記補助情報として表示するように構成されていてもよい。軌跡の一部のみが補助情報として表示される場合、その補助情報に従って入力された結果として得られる操作結果等がユーザに提示される方が好ましい。このように構成することで、表示された複数の一部軌跡の中から、所望のジェスチャーに対応する一部軌跡を選択する際に、ユーザは、表示された補助情報を参考にすることができるようになる。
【０１０６】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【図面の簡単な説明】
【０１０７】
【図１】マウスジェスチャーの入力画面例を示す説明図である。
【図２】ジェスチャーの設定例を示す説明図である。
【図３】本発明の一実施形態に係る補助情報の表示例を示す説明図である。
【図４】本実施形態に係るジェスチャー入力例を示す説明図である。
【図５】本実施形態に係るジェスチャー一覧の一例を示す説明図である。
【図６】本実施形態に係るジェスチャー入力例を示す説明図である。
【図７】本実施形態に係るジェスチャー一覧の一例を示す説明図である。
【図８】本実施形態に係る情報処理装置の機能構成を示す説明図である。
【図９】本実施形態に係る補助情報の表示処理の流れを示す説明図である。
【図１０】本実施形態に係る情報処理装置の動作説明図である。
【図１１】本実施形態に係る情報処理装置のハードウェア構成例を示す説明図である。
【符号の説明】
【０１０８】
１００    情報処理装置
１０２    表示入力部
１０４    方向検知部
１０６    ジェスチャー検索部
１０８    記憶部
１１０    補助情報表示部
１１２    表示制御部
１１４    アプリケーション起動部
１３２    表示部
１３４    入力位置検出部
【図１】
2010015238.tif 000003
【図２】
2010015238.tif 000004
【図３】
2010015238.tif 000005
【図４】
2010015238.tif 000006
【図５】
2010015238.tif 000007
【図６】
2010015238.tif 000008
【図７】
2010015238.tif 000009
【図８】
2010015238.tif 000010
【図９】
2010015238.tif 000011
【図１０】
2010015238.tif 000012
【図１１】
2010015238.tif 000013