(57)【要約】【課題】  ペンで入力する際の動線の延長線上で、様々なジェスチャにより語句（単語・文章）の選択を確定できる仕組みを提供すること【解決手段】  タッチパネルと、手書き文字を認識する筆跡認識手段と、筆跡認識手段により文字とは認識されない筆跡（ジェスチャ）を記憶し、入力された文字により決定される文字列とを記憶する予測変換データベースを有するアプリケーションプログラムが動作する情報処理装置であって、筆跡認識手段により認識された文字に続く予測された候補文字列を予測変換データベースから抽出された候補文字列と、記憶された筆跡（ジェスチャ）とを紐付ける。前記紐付けられた筆跡と候補文字列を表示し、ユーザからの入力により、紐付けられた筆跡が認識されると、紐付けられた候補文字列をアプリケーションプログラムに出力することを特徴とする。【選択図】図１
2018073202.tif 000002
【特許請求の範囲】
【請求項１】
タッチパネルと、手書き文字を認識する筆跡認識手段と、入力された文字により決定される文字列を記憶する予測変換記憶手段を有する、アプリケーションプログラムが動作する情報処理装置であって、
前記筆跡認識手段により認識された文字に続く予測された候補文字列を予測変換データベースから抽出する予測変換候補抽出手段と、
前記筆跡認識手段により文字とは認識されない筆跡（ジェスチャ）を記憶するジェスチャ記憶手段と、
前記予測変換候補抽出手段により抽出された候補文字列と、前記ジェスチャ記憶手段に記憶された筆跡（ジェスチャ）とを紐付けるジェスチャ候補文字列紐付け手段と、
前記ジェスチャ候補文字列紐付け手段で紐付けられた筆跡と候補文字列を表示するジェスチャ候補文字列表示手段と、
前記筆跡認識手段により、前記ジェスチャ候補文字列紐付け手段で紐付けられた筆跡が認識されると、該ジェスチャ候補文字列紐付け手段で紐付けられた候補文字列をアプリケーションプログラムに出力する文字列出力手段と
を有することを特徴とする情報処理装置。
【請求項２】
前記ジェスチャ候補文字列紐付け手段で紐付けられる筆跡（ジェスチャ）の記憶手段に記憶される筆跡は、手書き文字を認識する入力領域を外れる筆跡であることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記予測変換候補抽出手段は、前記入力された文字により決定される前記予測変換データベースの中から候補になる文字列の順位にを有し、
前記筆跡認識手段により手書き文字が認識された筆跡の位置から前記手書き文字を認識する入力領域を容易に外れる順に、前記予測変換候補抽出手段により抽出される順位を対応させるジェスチャ抽出手段と、
を有することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
タッチパネルと、手書き文字を認識する筆跡認識部と、該筆跡認識部により文字とは認識されない筆跡（ジェスチャ）を記憶するジェスチャ記憶部と、入力された文字により決定される文字列を記憶する予測変換記憶部を有する、アプリケーションプログラムが動作する情報処理装置における情報処理方法であって、
前記筆跡認識部により認識された文字に続く予測された候補文字列を予測変換データベースから抽出する予測変換候補抽出ステップと、
前記予測変換候補抽出ステップにより抽出された候補文字列と、前記ジェスチャ記憶部に記憶された筆跡（ジェスチャ）とを紐付けるジェスチャ候補文字列紐付けステップと、
前記ジェスチャ候補文字列紐付けステップで紐付けられた筆跡と候補文字列を表示するジェスチャ候補文字列表示ステップと、
前記筆跡認識部により、前記ジェスチャ候補文字列紐付けステップで紐付けられた筆跡が認識されると、該ジェスチャ候補文字列紐付けステップで紐付けられた候補文字列をアプリケーションプログラムに出力する文字列出力ステップと
を有することを特徴とする情報処理方法。
【請求項５】
情報処理装置を、請求項４に記載の情報処理方法で動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチパネルにおいて手書き入力支援手段を有する情報処理装置、情報処理方法、およびそのプログラムに関する。
【背景技術】
【０００２】
タッチパネルを有するスマートデバイスでの文章入力を円滑に行うために、手書き文字の入力予測を行う技術がある。
【０００３】
この技術では、文字を入力すると、予測された変換候補（文節、単語）が使用頻度順にリスト表示され、ユーザは、候補内から所望の文字列をクリックして選択している。
【０００４】
特許文献１は、予測候補から語句を選択する際の操作性を改善するための方法で、入力した文字の筆跡データを基に、次の筆跡を予測し、予測結果を表示するというものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−６７１４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、予測候補文字列から１文字単位で切り出し、ワンクリックで選択可能にすることで、操作性の向上を狙っている。
【０００７】
しかしながら、特許文献１の選択操作では、予測変換候補選択時に、ペンを手書き入力エリアから一度離して候補選択エリアに移動させる必要があり、ペンの動線に反して無駄な動きが多くなる。手書き入力から連続した動作で選択操作ができないため、入力に手間が生じている。また、一旦ペンを離して選択する必要があり、選択ミスが発生しやすい。
【０００８】
ずなわち、従来のスマートデバイス等での手書き入力では、予測変換候補から語句を選択する際の操作が煩雑である。
【０００９】
本発明の目的は、ペンで入力する際の動線の延長線上で、様々なジェスチャにより語句（単語・文章）の選択を確定できる仕組みを提供することである。
【課題を解決するための手段】
【００１０】
本願発明は、タッチパネルと、手書き文字を認識する筆跡認識手段と、入力された文字により決定される文字列を記憶する予測変換データベースを有するアプリケーションプログラムが動作する情報処理装置であって、前記筆跡認識手段により認識された文字に続く予測された候補文字列を予測変換データベースから抽出する予測変換候補抽出手段と、前記筆跡認識手段により文字とは認識されない筆跡（ジェスチャ）を記憶するジェスチャ記憶手段と、前記予測変換候補抽出手段により抽出された候補文字列と、前記ジェスチャ記憶手段に記憶された筆跡（ジェスチャ）とを紐付けるジェスチャ候補文字列紐付け手段と、前記ジェスチャ候補文字列紐付け手段で紐付けられた筆跡と候補文字列を表示するジェスチャ候補文字列表示手段と、前記筆跡認識手段により、前記ジェスチャ候補文字列紐付け手段で紐付けられた筆跡が認識されると、該ジェスチャ候補文字列紐付け手段で紐付けられた候補文字列をアプリケーションプログラムに出力する文字列出力手段と
を有することを特徴とする。
【発明の効果】
【００１１】
本願発明によれば、ペンで入力する際の動線の延長線上で、様々なジェスチャにより語句（単語・文章）の選択を確定できる仕組みを提供することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る情報処理装置の外観の一例を示す外観図である。
【図２】情報処理装置１００のハードウェア構成の一例を示すブロック図である。
【図３】情報処理装置１００の機能構成の一例を示す機能構成図である。
【図４】本発明の実施形態の情報処理装置１００における制御処理手段の一例を示す第１のフローチャートである。
【図５】本発明の実施形態の情報処理装置１００における制御処理手段の一例を示す第２のフローチャートである。
【図６】本発明の実施形態の情報処理装置１００における制御処理手段の一例を示す第３のフローチャートである。
【図７】本発明の実施形態の情報処理装置１００における制御処理手段の一例を示す第４のフローチャートである。
【図８】本発明の実施形態に係る情報処理装置１００で表示される画面イメージの一例を示す外観図である。
【図９】本発明の実施形態に係る情報処理装置１００で表示される画面イメージの一例を示す外観図である。
【図１０】本発明の実施形態に係る情報処理装置１００で表示される画面イメージの一例を示す外観図である。
【図１１】本発明の実施形態に係る情報処理装置１００で表示される画面イメージの一例を示す外観図である。
【図１２】本発明の実施形態に係る情報処理装置での動作を説明するためのイメージの一例を示す模式図である。
【図１３】本発明の実施形態に係る情報処理装置での動作を説明するためのイメージの一例を示す模式図である。
【図１４】本発明の実施形態に係る情報処理装置でのデータの一例を示す模式図である。
【図１５】本発明の記憶装置に係る情報処理装置でのデータベースの一例を示す模式図である。
【図１６】本発明の記憶装置に係る情報処理装置でのデータベースの一例を示す模式図である。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照しながら、本発明に係る情報処理装置の実施形態について詳細に説明する。
【００１４】
図１は、本発明に係る情報処理装置の外観の一例を示す外観図である。本発明の情報処理装置１００は、例えば、携帯情報端末（ＰＤＡ）や、スマートフォンのように、タッチパネル機能を持つ表示部２０６を備えている。表示部２０６は、液晶パネルのような表示制御部と、タッチパッドのような位置入力制御部とを組み合わせた電子部品であり、タッチスクリーンとも呼ばれる。
【００１５】
表示部２０６のタッチパネルは、指先やスタイラスペンと電導膜との間での静電容量の変化をとらえて位置を検出する静電容量方式の投影型のタッチスクリーンである。
【００１６】
情報処理装置で実行されているアプリケーションプログラム（以下、単にアプリケーションと呼ぶ）の起動は、タッチスクリーン２０６のタッチパネル機能を用いて、画面に表示されるアプリケーションのアイコンをダブルクリック（２度続けて触る）ことにより実行される。
【００１７】
表示部（以下、タッチスクリーンと呼ぶ）２０６内の領域はアプリケーションにより複数に分割されることがあり、文章表示部１と文字入力部１１に分割されて表示されている。図１は、スタイラスペン１０により入力文字１２のような文字が入力されている例である。なお、１５の部分は入力指示部であり、詳細は後述する。
【００１８】
情報処理装置１００は、他にも通信機能等を備えていてもよいが、本発明とは直接関係がないため説明は省略する。
【００１９】
図２は、情報処理装置１００のハードウェア構成を示す図である。
【００２０】
図２に示すように、情報処理装置１００では、システムバス２０７を介してＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２、記憶装置２０４、入出力インタフェース２０５、タッチスクリーン２０６が接続される。
【００２１】
ＣＰＵ２０１は、システムバス２０７に接続される各デバイスやコントローラを統括的に制御する。
【００２２】
ＲＯＭ２０２あるいは記憶装置２０４は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。
【００２３】
ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは記憶装置２０４からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。
【００２４】
入出力インタフェース２０５は、タッチスクリーン２０６からの入力を制御する。タッチスクリーン２０６は、複数の指でタッチされた位置を検出することが可能なタッチパネルであり、前述したように、既知の技術を利用可能である。ユーザがタッチスクリーンに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができる。
【００２５】
なお、記憶装置２０４には、後述する入力文字から予測入力される辞書情報や入力履歴情報、スタイラスペンなどで記入された筆跡から入力される文字を予測したり確定したりする情報などを格納している。
【００２６】
なお、記憶装置２０４は情報を永続的に記憶するための媒体であって、その形態をハードディスク等の記憶装置に限定するものではない。例えば、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などの媒体であってもよい。
【００２７】
図３は本発明の情報処理装置１００が備える機能構成の一例を示す機能構成図である。
【００２８】
３００は、タッチスクリーン制御部であり、図２のタッチスクリーン２０６と入出力インタフェース２０５により構成され、ユーザによるタッチの検出機能を備えている。
【００２９】
３０３は、スタイラスペンなどで入力された入力筆跡を認識する手書き文字認識部であり、筆跡用辞書３０１から一致する筆跡を検索し、該当する文字候補をピックアップする。
【００３０】
手書き文字認識部３０３により、ユーザが入力しようとしている文字が特定できると、予測変換処理部３０５へと処理を移行し、予測変換用辞書３０２から特定された文字の変換予測文字もしくは文章をピックアップする。
【００３１】
また、筆跡最適化ジェスチャ抽出部３０４は、手書き文字認識部３０３により記入されている筆跡の内、文字入力部１１から外し易い筆跡（たとえば、入力指示部１５や文章表示部１に移動させやすい筆跡）をジェスチャ候補データベースから抽出する。
【００３２】
予測変換処理部３０５によりピックアップされた文字もしくは文章の候補を、筆跡最適化ジェスチャ抽出部３０４で抽出されたジェスチャに割り当て、予測変換候補リスト作成部３０６においてリスト化し、ジェスチャ＝予測変換候補リストを表示する。
【００３３】
ジェスチャ認識部３０７において、表示されたジェスチャ＝予測変換候補リストの内、形状が最も近いジェスチャに対応する予測変換候補を抽出し、アプリケーション３１０へと送信する。
【００３４】
以上の処理により、ペンで文字を入力する際の動線の延長線上でのジェスチャにより語句（単語・文章）の候補を選択確定できる仕組みを提供する。
【００３５】
次に図４を参照して、本発明のジェスチャ入力受付の主要処理について説明する。
【００３６】
図４は、本発明の実施形態の情報処理装置１００における制御処理手段の一例を示す第１のフローチャートであり、図中のＳ１〜Ｓ３０各ステップを示す。各ステップの処理は、それぞれのシステムの外部メモリ２１１に格納されたアプリケーションプログラムを、それぞれのシステムのＣＰＵ２０１がＲＡＭ２０３上にロードして実行することにより実現される。
【００３７】
図４のフローチャートは、情報処理装置１００において、手書き文字入力画面を有するアプリケーションプログラムを立ち上げた際に開始されるフローチャートである。
【００３８】
まず、図４のステップＳ１において、情報処理装置１００のＣＰＵ２０１は、図１に記載されているようなスタイラスペン１０などにより文字入力を受け付ける。受け付けている文字の例が１２である。
【００３９】
次に、ステップＳ２において、情報処理装置１００のＣＰＵ２０１は、スタイラスペン１０などにより入力された筆跡が、筆跡用辞書３０１内の検索対象のストロークと類似するかを判断し、類似する文字候補を抽出する。なお、筆跡による文字の特定は既知の技術であるため、詳細な説明は省略する。
【００４０】
次に、ステップＳ３において、情報処理装置１００のＣＰＵ２０１は、ステップＳ２で検出されている筆跡に該当する文字候補があるかどうかを判断する。文字候補がある場合は、ステップＳ４へと処理を遷移し、文字候補がない場合はステップＳ１へと戻り、継続して文字入力を受け付ける。
【００４１】
ステップＳ４へと処理を遷移すると、情報処理装置１００のＣＰＵ２０１は、ステップＳ２で抽出できた文字候補を参照して、予測変換用辞書３０２から変換文章候補を抽出する。予測変換用辞書には、図１６のようなデータが記憶されている例を記載する。すなわち、候補分類１６０２が単語である予め辞書に記憶されている変換候補１６０１と、入力履歴などから記憶された候補分類１６０２が文章候補である変換候補１６０１とを記憶している例である。なお、予測変換用辞書３０２の例は、図１７の形式に依らず任意の形式で良いことは言うまでもない。
【００４２】
図１６の例であれば、文字候補が「あ」の場合、単語候補は、「雨」、「朝日」、「旭川」、「足利」、「安政」などであり、文章候補としては、「明日雨が降ったら、映画見に行かない？」、「明日の天気は？」、「青い空」、「青い海」などである。
【００４３】
次にステップＳ５において、情報処理装置１００のＣＰＵ２０１は、ステップＳ４で抽出した文字候補と、文字候補毎に表示されるジェスチャ候補をユーザが見やすい位置に表示する処理を行う。ステップＳ５の処理の詳細を図５を参照して説明する。
【００４４】
図５は、本発明の実施形態の情報処理装置１００における制御処理手段の一例を示す第２のフローチャートであり、図中のＳ５０１〜Ｓ５０４各ステップを示す。各ステップの処理は、それぞれのシステムの外部メモリ２１１に格納されたアプリケーションプログラムを、それぞれのシステムのＣＰＵ２０１がＲＡＭ２０３上にロードして実行することにより実現される。
【００４５】
図５のフローチャートは、情報処理装置１００において、図４のステップＳ５もしくは、図７のステップＳ１４の処理に遷移した際に開始されるフローチャートである。
【００４６】
まず、図５のステップＳ５０１において、情報処理装置１００のＣＰＵ２０１は、ユーザに入力させるジェスチャ候補のリストを作成する。ステップＳ５０１の処理の詳細を図６を参照して説明する。
【００４７】
図６は、本発明の実施形態の情報処理装置１００における制御処理手段の一例を示す第３のフローチャートであり、図中のＳ６０１〜Ｓ６０３各ステップを示す。各ステップの処理は、それぞれのシステムの外部メモリ２１１に格納されたアプリケーションプログラムを、それぞれのシステムのＣＰＵ２０１がＲＡＭ２０３上にロードして実行することにより実現される。
【００４８】
図６のフローチャートは、情報処理装置１００において、図５のステップＳ５０１の処理に遷移した際に開始されるフローチャートである。
【００４９】
図６のステップＳ６０１において、情報処理装置１００のＣＰＵ２０１は、文字入力エリアを分割した文字入力エリア分割区画の現在の筆跡位置と直前筆跡があった区画との遷移から、文字候補を認識できた時点での区画に対し、筆跡が区画内のどの「辺」から進入したかを特定する。具体的な例は後述する。
【００５０】
次に、ステップＳ６０２において、情報処理装置１００のＣＰＵ２０１は、文字入力エリアの進入した辺の位置から、ユーザに入力させるジェスチャ候補を抽出する。具体的な例は後述する。
【００５１】
次に、スタップＳ６０３において、情報処理装置１００のＣＰＵ２０１は、抽出したジェスチャ候補に優先度をつけ、図６のフローチャートの処理を終える。
【００５２】
図６のフローチャートの流れを具体的に図１２及び図１３の例及び図１５のジェスチャ判断データベースを参照して説明する。
【００５３】
図１２及び図１３は、本発明における文字入力時に、次のジェスチャ候補を表示する一例を示す模式図である。
【００５４】
手書き入力エリア３１は、図１２の例では３２のように９区画に分割されており、「あ」と入力しようとしている筆跡は、現在の筆跡位置３５である。筆跡位置が３５の場合、９区画に分けられたエリアの内、Ｅ（真ん中）の区画３４にあり、Ｅの区画に来る前の筆跡はＤの区画（左真ん中）３３から、すなわちＥの区画の左辺から進入している。左辺からの進入であれば、図１５のジェスチャ判断データベースにより、グループＫｅｙ１５０２が「左辺進入＿Ｅ」であるジェスチャ１５０５がジェスチャ候補になる。なお、ジェスチャ候補の優先度は１５０６に昇順に指定された順番である。図１５の例では、上位５つのジェスチャ１５０５がジェスチャ候補になる。
【００５５】
同様に、図１３の例では「あ」と入力しようとしている筆跡は、現在の筆跡位置４０であり、筆跡位置が４０の場合、９区画に分けられたエリアの内、Ｅ（真ん中）の区画３９にあり、Ｅの区画に来る前の筆跡はＢの区画（上真ん中）３８から、すなわちＥの区画の上辺から進入している。上辺からの進入であれば、図１５のジェスチャ判断データベースにより、グループＫｅｙ１５０２が「上辺進入＿Ｅ」であるジェスチャ１５０５がジェスチャ候補になる。図１５の例では、下位５つのジェスチャ１５０５がジェスチャ候補になる。
【００５６】
以上の処理により、文字の筆跡からユーザに入力させるジェスチャ候補を優先度を付けてピックアップする。図５のフローチャートの説明に戻る。
【００５７】
図５のステップＳ５０１において、ユーザに入力させるジェスチャ候補のリストを作成すると、次にステップＳ５０２において、情報処理装置１００のＣＰＵ２０１は、ステップＳ４で予測変換用辞書３０２から抽出した文章の変換候補を使用履歴などから優先度を付けてリスト化する。図１４の例、及び図１６を参照して、予測変換用辞書から抽出した文章の変換候補を抽出する例を説明する。
【００５８】
図１４の６１にある６２から６５が、抽出された文章の例あり、６３から６５は予測変換用辞書３０２の候補分類１６０２が文章候補の変換候補である。６２は変換候補の内、候補分類１６０２が単語候補のものをまとめてリスト化している。まとめてリスト化した単語候補は、後から更に変換候補をユーザに選択させる処理を行う。なお、単語候補のリストも文章候補と同じようにそれぞれの変換候補としても良い。
【００５９】
次に、ステップＳ５０３において、情報処理装置１００のＣＰＵ２０１は、ジェスチャ候補と文章の変換候補とを優先度を考慮して対応付けて、選択ジェスチャ付予測変換候補リストとして記憶する。選択ジェスチャ付予測変換候補リストの例として、図１２の下図を参照して説明する。
【００６０】
図１２の下図は、選択ジェスチャ付予測変換候補リストの例である。ジェスチャ候補の順番と変換候補の優先度を考慮して対応付けられている。図５のフローチャートの説明に戻る。
【００６１】
次に、ステップＳ５０４において、情報処理装置１００のＣＰＵ２０１は、生成したリストを図８の画面イメージのように表示する処理を行う。図８の表示欄１４に表示された３行が新たに表示された画面イメージである。以上の処理で図５のフローチャートの処理を終えて、図４のフローチャートもしくは図７のフローチャートに処理を戻す。
【００６２】
図４のフローチャートに戻ると、次のステップＳ６において、情報処理装置１００のＣＰＵ２０１は、スタイラスペンなどの筆跡が、テキストボックス枠（文字入力部）から外れたかを判断する。この判断は、ユーザがテキストボックス枠（文字入力部）内でスタイラスペンを操作している間は文字入力中と認識し、スタイラスペンがテキストボックス枠（文字入力部）から外れた場合にジェスチャ操作と判断する処理になる。図１を参照して詳細を説明する。
【００６３】
図１のタッチスクリーンは、文章表示部１と文字入力部１１、入力指示部１５に分かれている。文字入力部１１にスタイラスペン１０がある間は、文字入力中と判断し、文字入力部１１から外れて文章表示部１や入力指示部１５にスタイラスペン１０が移動した場合は、ユーザの指示がジェスチャに変わったと判断することにより、ジェスチャ入力なのか文字入力中なのかを判別することができる。図４のフローチャートの説明に戻る。
【００６４】
ステップＳ６において、スタイラスペンなどの筆跡がテキストボックス枠（文字入力部）から外れていない場合は、手書き文字を継続させるため、ステップＳ１へと処理を移行する。一方、スタイラスペンなどの筆跡がテキストボックス枠（文字入力部）から外れた場合は、ジェスチャ操作（すなわち、文字候補選択操作）と判断し、ステップＳ７へと処理を遷移する。
【００６５】
ステップＳ７において、情報処理装置１００のＣＰＵ２０１は、ジェスチャ操作を認識する。ステップＳ７はジェスチャ操作が終わる操作を待つ操作であっても良い。
【００６６】
次に、ステップＳ８において、情報処理装置１００のＣＰＵ２０１は、入力欄から外れた操作の筆跡の特徴量を検出する。この検出は、図１６でジェスチャ候補として上がった操作と類似しているか特定できる程度で良い。
【００６７】
ステップＳ９において、情報処理装置１００のＣＰＵ２０１は、ステップＳ８で検出したジェスチャ操作の特徴量が、ステップＳ５の処理でピックアップされたジェスチャ候補と類似している形があるかどうか判断する。ステップＳ８で検出したジェスチャ操作の特徴量が、ステップＳ５の処理でピックアップされたジェスチャ候補と類似している形がある場合は、ステップＳ１０へと処理を遷移し、ピックアップされたジェスチャ候補と類似している形がない場合は、ジェスチャ部分の筆跡を削除（ステップＳ２０）して、ステップＳ１へと処理を遷移し、文字入力処理を続ける。すなわち、文字入力部から外れた以降の筆跡を削除して、文字入力処理に戻る。なお、ステップＳ８で検出したジェスチャ操作の特徴量が、ステップＳ５の処理でピックアップされたジェスチャ候補と類似している形がない場合、ステップＳ７へと遷移し、引き続いてジェスチャ認識を続けても良い。図９を参照して具体的な判断例を説明する。
【００６８】
図９は、ユーザにより、１６のようなスタイラスペン１０の操作を受け付けた際の画面イメージである。図９の１６のジェスチャは、右下に伸ばした後、折れ線を描いている操作であり、ジェスチャ候補に挙がっているうちの２２の操作に類似している。そのため、図９のようなジェスチャ操作を受け付けた場合、図４の処理フローはステップＳ１０へと遷移する。図４のフローチャートの説明に戻る。
【００６９】
次に、ステップＳ１０において、情報処理装置１００のＣＰＵ２０１は、受け付けたジェスチャ操作が単語候補ＢＯＸ（すなわち、図８の２３、図１２の４１欄）を指定する操作かを判断する。単語候補ＢＯＸを指定するジェスチャ操作の場合、ステップ１１へと処理を遷移し、単語候補ＢＯＸを指定するジェスチャ操作ではない場合は、ステップＳ３０へと処理を遷移する。
【００７０】
ステップＳ３０へと処理を遷移すると、情報処理装置１００のＣＰＵ２０１は、ジェスチャ操作が類似（一致）するジェスチャ候補に対応する文章候補で文章を確定し、アプリケーションプログラム３１０へと出力する。アプリケーションプログラム３１０に出力される例を図９及び図１０を参照して説明する。
【００７１】
図９において、ジェスチャ操作１６がなされ、そのジェスチャに一致するジェスチャ候補２２がある場合、ジェスチャ候補２２に対応する文章１３をアプリケーションプログラムに出力する。出力した結果が図１０である。図１０の１７欄が、ジェスチャにより入力された文章である。
【００７２】
一方、ステップＳ１０で受け付けたジェスチャ操作が単語候補ＢＯＸを指定する操作（図８の２３）を受け付けた場合は、ステップＳ１１へと処理を遷移する。
【００７３】
ステップＳ１１へと処理を遷移すると、情報処理装置１００のＣＰＵ２０１は、次のジェスチャにより単語候補から選択させる処理を行う。ステップＳ１１の処理の詳細を図７を参照して説明する。
【００７４】
図７は、本発明の実施形態の情報処理装置１００における制御処理手段の一例を示す第４のフローチャートであり、図中のＳ１３〜Ｓ１９各ステップを示す。各ステップの処理は、それぞれのシステムの外部メモリ２１１に格納されたアプリケーションプログラムを、それぞれのシステムのＣＰＵ２０１がＲＡＭ２０３上にロードして実行することにより実現される。
【００７５】
図７のフローチャートは、情報処理装置１００において、図４のステップＳ１１の処理に遷移した際に開始されるフローチャートである。
【００７６】
図７のステップＳ１３において、情報処理装置１００のＣＰＵ２０１は、予測変換用辞書３０２から単語候補となる文字１６０１をピックアップし、それらの文字とジェスチャ候補とを対応付ける。対応付けられたデータのイメージが図１４である。図１４の下図である単語候補グループＢＯＸ展開表示７１は、単語候補と対応するジェスチャ候補とを紐付けているデータのイメージ図である。
【００７７】
次に、ステップＳ１４において、情報処理装置１００のＣＰＵ２０１は、ステップＳ１３で対応付けられた単語候補とジェスチャ候補とを見やすい位置に表示する。表示したイメージ図が、図１１である。図１１は、図８のような画面イメージにおいて、１８のようなジェスチャを受け付けた場合に、表示される画面イメージである。図１１の中段部分１９にステップＳ１３で対応付けられたデータが表示されている。
【００７８】
次に、ステップＳ１５において、情報処理装置１００のＣＰＵ２０１は、ユーザからのジェスチャの入力を受け付ける。その際、ジェスチャ入力は入力欄（テキストボックス１１）外から入力された場合を前提とする。もし、入力欄内（テキストボックス１１内）からのスタイラスペンの操作の場合は、通常の筆跡による文字入力と判断する。
【００７９】
次に、ステップＳ１６において、情報処理装置１００のＣＰＵ２０１は、入力されたジェスチャの特徴量を検出し、ステップＳ１７において、ステップＳ１３でピックアップされたジェスチャ候補と類似している形があるかどうか判断する。ステップＳ１６で検出したジェスチャ操作の特徴量が、ステップＳ１３でピックアップされたジェスチャ候補と類似している形がある場合は、ステップＳ１９へと処理を遷移し、類似するジェスチャ候補に対応する単語候補を確定して出力する。一方、ステップＳ１６で検出したジェスチャ操作の特徴量が、ステップＳ１３でピックアップされたジェスチャ候補と類似している形がない場合は、ジェスチャとして入力されている筆跡をクリアし、ステップＳ１５へと処理を戻す。
【００８０】
以上の処理により、スタイラスペンなどで入力する際の動線の延長線上で、様々なジェスチャにより語句（単語・文章）の選択を確定して出力可能とする効果を有する。また、スタイラスペンでの入力とジェスチャによる指示とを入力欄（テキストボックス）から外して記入したかどうかで判別することが可能となる。
【００８１】
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
【００８２】
また、本発明におけるプログラムは、図４〜図７に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図４〜図７の処理方法をコンピュータが実行可能なプログラムが記憶されている。
【００８３】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【００８４】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
【００８５】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。
【００８６】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８７】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８８】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【００８９】
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【００９０】
１  文章表示部
１０  スタイラスペン
１１  文字入力部
１５  入力指示部
１００  情報処理装置
２０６  タッチスクリーン
【図１】
2018073202.tif 000003
【図２】
2018073202.tif 000004
【図３】
2018073202.tif 000005
【図４】
2018073202.tif 000006
【図５】
2018073202.tif 000007
【図６】
2018073202.tif 000008
【図７】
2018073202.tif 000009
【図８】
2018073202.tif 000010
【図９】
2018073202.tif 000011
【図１０】
2018073202.tif 000012
【図１１】
2018073202.tif 000013
【図１２】
2018073202.tif 000014
【図１３】
2018073202.tif 000015
【図１４】
2018073202.tif 000016
【図１５】
2018073202.tif 000017
【図１６】
2018073202.tif 000018