(57)【要約】【課題】操作者が意図する補完文字列候補を精度よく提示する。【解決手段】入力部１には、一部を省略した文字列と補完対象文字列，補完位置および補完範囲を指定するジェスチャとが手書で入力される。ジェスチャ判定部３は、入力ストロークがジェスチャであるか否かを判定し、当該ジェスチャによる補完対象文字列ストローク群を特定する。文字列認識部４は、ストロークに基づいて文字列認識を行う。候補生成部５は、補完対象文字列と補完の位置と補完文字数とを生成し、この条件を満たす補完文字列候補を生成して表示部６に表示する。したがって、補完対象文字列が補完文字列候補の中間や最後に在っても意図する補完文字列候補を精度よく生成できる。また、補完対象文字列を補完文字列候補中に複数存在させて補完文字列候補の数を絞り込むことができる。こうして、操作者が意図する補完文字列候補を精度よく提示することができる。【選択図】　図１
2004046359.tif 000002
【特許請求の範囲】
【請求項１】
手書きによって文字列のストロークと上記文字列の補完を指示するジェスチャのストロークとが入力されるストローク入力手段と、
上記ストローク入力手段から入力されたストロークの情報を記憶するストローク記憶手段と、
上記ストローク記憶手段に記憶されている各ストロークが上記ジェスチャであるか否かを判定し、ジェスチャである場合には当該ジェスチャに基づいて補完の対象となる補完対象文字列ストローク群を特定するジェスチャ判定手段と、
上記ストローク記憶手段に記憶されている上記ジェスチャ以外のストロークを文字列として認識する文字列認識手段と、
上記ジェスチャ判定手段によって判定されたジェスチャ毎に、上記補完対象文字列ストローク群に関する上記文字列認識手段による認識結果に基づいて補完対象文字列でなる補完情報を決定し、この補完情報を満たす補完文字列候補を生成する候補生成手段
を備えたことを特徴とする手書き入力装置。
【請求項２】
文書を記憶する文書記憶手段と、
上記文書記憶手段に記憶された文書を表示する表示手段と、
上記表示手段に表示された文書中の文字列に対して、この文字列の補完を指示するジェスチャのストロークが、手書きによって入力されるジェスチャ入力手段と、
上記ジェスチャ入力手段から入力されたジェスチャのストローク情報を記憶するジェスチャ記憶手段と、
上記ジェスチャ記憶手段に記憶されたジェスチャ毎に、当該ジェスチャによって特定される上記文書中の文字列の情報に基づいて、補完対象文字列でなる補完情報を決定し、この補完情報を満たす補完文字列候補を生成する候補生成手段
を備えたことを特徴とする手書き入力装置。
【請求項３】
請求項１または請求項２に記載の手書き入力装置において、
上記ジェスチャは複数の種類を有し、
上記候補生成手段は、上記ジェスチャの種類毎に異なる生成方法によって上記補完文字列候補を生成するようになっていることを特徴とする手書き入力装置。
【請求項４】
請求項１または請求項２に記載の手書き入力装置において、
上記候補生成手段は、上記補完対象文字列に加えて、上記ジェスチャのストロークと補完対象文字列との位置関係に基づいて補完位置を決定し、上記補完対象文字列および補完位置でなる補完情報を満たす補完文字列候補を生成するようになっていることを特徴とする手書き入力装置。
【請求項５】
請求項１または請求項２に記載の手書き入力装置において、
上記候補生成手段は、上記補完対象文字列に加えて、上記ジェスチャのストロークと補完対象文字列との位置関係に基づいて補完文字数を決定し、上記補完対象文字列および補完文字数でなる補完情報を満たす補完文字列候補を生成するようになっていることを特徴とする手書き入力装置。
【請求項６】
請求項１または請求項２に記載の手書き入力装置において、
上記候補生成手段は、上記補完対象文字列に加えて、上記ジェスチャのストロークと補完対象文字列との位置関係に基づいて補完位置および補完文字数を決定し、上記補完対象文字列，補完位置および補完文字数でなる補完情報を満たす補完文字列候補を生成するようになっていることを特徴とする手書き入力装置。
【請求項７】
請求項１乃至請求項６の何れか一つに記載の手書き入力装置において、
上記ジェスチャは文字列を囲むストロークであることを特徴とする手書き入力装置。
【請求項８】
請求項１乃至請求項６の何れか一つに記載の手書き入力装置において、
上記ジェスチャは文字列に沿った線状のストロークであることを特徴とする手書き入力装置。
【請求項９】
請求項１乃至請求項６の何れか一つに記載の手書き入力装置において、
上記ジェスチャは文字列を囲むストロークと線状のストロークとの組み合わせであることを特徴とする手書き入力装置。
【請求項１０】
請求項１乃至請求項６の何れか一つに記載の手書き入力装置において、
上記ジェスチャは文字列に沿った折れ線状のストロークであることを特徴とする手書き入力装置。
【請求項１１】
手書きによって文字列のストロークが入力されるストローク入力手段と、
上記ストローク入力手段から入力されたストロークの情報を記憶するストローク記憶手段と、
上記ストローク記憶手段に記憶されている各ストロークを文字列として認識する文字列認識手段と、
上記文字列認識手段によって得られた認識結果の第１候補文字列を表示する表示手段と、
上記表示された第１候補文字列における全文字列または部分文字列を指定する文字列指定手段と、
上記指定された文字列および指定された文字列に関する認識結果の他候補文字列のうち少なくとも一つの候補文字列を補完対象文字列として補完文字列候補を生成する候補生成手段
を備えたことを特徴とする手書き入力装置。
【請求項１２】
請求項１１に記載の手書き入力装置において、
上記文字列指定手段によって指定された文字列および指定された文字列に関する認識結果の他候補文字列を表示する第２の表示手段と、
上記第２の表示手段によって表示された候補文字列のうち上記補完文字列候補を生成する候補文字列を指定する候補文字列指定手段と、
上記候補文字列指定手段によって指定された候補文字列に係る補完文字列候補を表示する第３の表示手段を備えたことを特徴とする手書き入力装置。
【請求項１３】
請求項１乃至請求項１２の何れか一つに記載の手書き入力装置において、
上記候補生成手段は、上記補完対象文字列を仮名漢字変換または漢字仮名変換して得られる文字列も補完対象文字列として補完文字列候補を生成するようになっていることを特徴とする手書き入力装置。
【請求項１４】
請求項１乃至請求項１２の何れか一つに記載の手書き入力装置において、
上記候補生成手段は、以前に入力された文字列の履歴に含まれる文字列を上記補完文字列候補として生成することを特徴とする手書き入力装置。
【請求項１５】
請求項２に記載の手書き入力装置において、
上記候補生成手段は、上記文書内に含まれる文字列を上記補完文字列候補として生成することを特徴とする手書き入力装置。
【請求項１６】
手書きによって文字列のストロークと上記文字列の補完を指示するジェスチャのストロークとを入力するステップと、
上記入力されたストロークの情報を記憶手段に記憶するステップと、
上記記憶されている各ストロークが上記ジェスチャであるか否かを判定し、ジェスチャである場合には当該ジェスチャに基づいて補完の対象となる補完対象文字列ストローク群を特定するステップと、
上記記憶されている上記ジェスチャ以外のストロークを文字列として認識するステップと、
上記ジェスチャであると判定されたジェスチャ毎に、上記補完対象文字列ストローク群に関する文字列認識結果と、上記ジェスチャのストロークと補完対象文字列ストローク群との位置関係とに基づいて、補完対象文字列，補完位置および補完文字数でなる補完情報を決定し、この補完情報を満たす補完文字列候補を生成するステップ
を備えたことを特徴とする手書き入力方法。
【請求項１７】
文書を記憶するステップと、
上記記憶された文書を表示手段に表示するステップと、
上記表示された文書中の文字列に対して、この文字列の補完を指示するジェスチャのストロークを手書きによって入力するステップと、
上記ジェスチャのストローク情報を記憶手段に記憶するステップと、
上記記憶されたジェスチャ毎に、当該ジェスチャによって特定される上記文書中の文字列の情報と、上記ジェスチャのストロークと上記特定された文字列との位置関係とに基づいて、補完対象文字列，補完位置および補完文字数でなる補完情報を決定し、この補完情報を満たす補完文字列候補を生成するステップ
を備えたことを特徴とする手書き入力方法。
【請求項１８】
手書きによって文字列のストロークを入力するステップと、
上記入力されたストロークの情報を記憶手段に記憶するステップと、
上記記憶された各ストロークを文字列として認識するステップと、
上記文字列認識による認識結果の第１候補文字列を表示するステップと、
上記表示された第１候補文字列における全文字列または部分文字列を指定するステップと、
上記指定された文字列および指定された文字列に関する認識結果の他候補文字列のうち少なくとも一つの候補文字列を補完対象文字列として補完文字列候補を生成するステップ
を備えたことを特徴とする手書き入力方法。
【請求項１９】
コンピュータを、
請求項１におけるストローク入力手段，ストローク記憶手段，ジェスチャ判定手段，文字列認識手段および候補生成手段
として機能させることを特徴とする手書き入力プログラム。
【請求項２０】
コンピュータを、
請求項２における文書記憶手段，表示手段，ジェスチャ入力手段，ジェスチャ記憶手段および候補生成手段
として機能させることを特徴とする手書き入力プログラム。
【請求項２１】
コンピュータを、
請求項１１におけるストローク入力手段，ストローク記憶手段，文字列認識手段，表示手段，文字列指定手段および候補生成手段
として機能させることを特徴とする手書き入力プログラム。
【請求項２２】
請求項１９乃至請求項２１の何れか一つに記載の手書き入力プログラムが記録されたことを特徴とするコンピュータ読出し可能なプログラム記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、手書きによって文字列やジェスチャ等のストロークを入力する手書き入力装置および方法、手書き入力プログラム、並びに、プログラム記録媒体に関する。
【０００２】
【従来の技術】
手書きで文字を入力する際に文字列の一部を省略可能な手書き文字入力装置として、以下のようなものがある。
【０００３】
特開平７‐１９１９８６号公報に開示された文章入力装置では、入力したい文字列の途中あるいは続きに省略記号を入力することによって、単語辞書および用例辞書等を検索して省略部を補完した文字列候補を提示するようにしている。また、特開平９‐１２８４８６号公報に開示された手書き文字入力装置では、１文字毎の記入枠に入力された文字を認識する際に、上記記入枠内に漢字を丸で囲んで筆記することによって、上記丸で囲まれた漢字を先頭に持つ熟語が辞書から検索されて候補が提示されるようにしている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の手書き文字入力装置においては以下のような問題がある。
【０００５】
すなわち、上記特開平７‐１９１９８６号公報に開示された文章入力装置においては、補完対象となる文字列内の補完位置は指定できるが、入力中の文字列全てが補完対象となり、補完対象となる文字列を自由に指定できないという問題がある。例えば、文章「簡単に文字列入力」のうち文字列「簡単」は既に入力済みで、残りの文字列「に文字列入力」を入力したい場合に、省略記号「＊」を用いて「に文＊」と省略して入力すると、「に文」を先頭に持つ文字列を単語辞書および用例辞書等から検索することになり、本来意図していた「文」を先頭に持つ文字列候補を提示できないことになる。
【０００６】
また、特開平９‐１２８４８６号公報に開示された手書き文字入力装置においては、丸で囲むことによって補完の対象となる文字を指定できるため、上述の例においては「文」を丸で囲んで筆記すれば「文」で始まる文字列を候補表示することは可能である。ところが、この方法では、丸で囲んだ指定文字を先頭に持つ文字列候補しか表示できないという問題と、先頭１文字しか指定できないため、先頭複数文字を指定した場合に比して補完文字列候補の絞り込みができず、候補数が多くなってしまうという問題がある。
【０００７】
そこで、この発明の目的は、操作者の意図する補完文字列候補を精度よく提示して入力効率を向上できる手書き入力装置および方法、手書き入力プログラム、並びに、プログラム記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、この発明の手書き入力装置は、ストローク入力手段から入力された各ストロークが入力文字列の補完を指示するためのジェスチャであるか否かがジェスチャ判定手段によって判定され、ジェスチャである場合には当該ジェスチャに基づいて補完対象文字列ストローク群が特定される。そして、候補生成手段によって、上記補完対象文字列ストローク群に関する文字列認識手段による認識結果に基づいて補完対象文字列でなる補完情報が決定され、この補完情報を満たす補完文字列候補が生成されるようになっている。
【０００９】
さらに、上記ジェスチャによって複数の文字を補完対象文字列として指示することによって、生成される補完文字列候補の数が大幅に絞り込まれる。
【００１０】
こうして、操作者の意図する補完文字列候補を精度よく提示することが可能になり、操作者の作業効率が大幅に向上される。
【００１１】
また、この発明の手書き入力装置は、表示されている文書中の文字列の補完を指示するジェスチャがジェスチャ入力手段から入力される。そうすると、候補生成手段によって、当該ジェスチャによって特定される上記文書中の文字列情報に基づいて補完対象文字列でなる補完情報が決定され、この補完情報を満たす補完文字列候補が生成されるようになっている。
【００１２】
したがって、上記文書中の文字列を書き換える場合に、書き換え用の文の入力を省略することが可能になる。さらに、上記ジェスチャによって複数の文字を補完対象文字列として指示することによって、生成される補完文字列候補の数が大幅に絞り込まれる。
【００１３】
こうして、操作者の意図する補完文字列候補を精度よく提示することが可能になり、操作者の作業効率が大幅に向上される。
【００１４】
また、１実施例の手書き入力装置では、上記ジェスチャに複数の種類を設け、上記候補生成手段を、上記ジェスチャの種類毎に異なる生成方法によって上記補完文字列候補を生成するようにしている。したがって、上記ジェスチャの各種類に、上記補完文字列候補を生成する際に検索する辞書の種類を割り当てたり、上記補完文字列候補の品詞の種類を割り当てたり、補完位置や補完文字数等を割り当てたりすることが可能になり、操作者の意図する補完文字列候補がより精度よく生成される。
【００１５】
また、１実施例の手書き入力装置では、上記候補生成手段を、上記補完対象文字列に加えて１つ以上の補完位置を決定し、上記補完対象文字列および補完位置でなる補完情報を満たす補完文字列候補を生成するようにしている。したがって、上記ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず中間や最後尾に存在しても、操作者の意図する補完文字列候補が精度よく生成される。
【００１６】
また、１実施例の手書き入力装置では、上記候補生成手段を、上記補完対象文字列に加えて補完文字数を決定し、上記補完対象文字列および補完文字数でなる補完情報を満たす補完文字列候補を生成するようにしている。したがって、生成される補完文字列候補の数がより絞り込まれるので、操作者の意図する補完文字列候補がより精度よく生成される。
【００１７】
また、１実施例の手書き入力装置では、上記候補生成手段を、上記補完対象文字列に加えて１つ以上の補完位置および各補完位置での補完文字数を決定し、上記補完対象文字列，補完位置および補完文字数でなる補完情報を満たす補完文字列候補を生成するようにしている。したがって、上記ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず中間や最後尾に存在しても補完文字列候補が生成可能であり、さらに生成される補完文字列候補の数がより絞り込まれるので、操作者の意図する補完文字列候補がより精度よく生成される。
【００１８】
また、１実施例の手書き入力装置では、上記ジェスチャを、文字列を囲むストロークとしている。したがって、上記ジェスチャで囲まれている文字列で上記補完対象文字列が指示され、上記ストロークにおける上記文字列の前後の空間の長さで上記補完位置および補完文字数が指示される。
【００１９】
また、１実施例の手書き入力装置では、上記ジェスチャを、文字列に沿った線状のストロークとしている。したがって、上記ジェスチャに沿った文字列で上記補完対象文字列が指示され、上記ストロークにおける上記文字列の前後の長さで上記補完位置および補完文字数が指示される。
【００２０】
また、１実施例の手書き入力装置では、上記ジェスチャを、文字列を囲むストロークと線状のストロークとの組み合わせとしている。したがって、上記ストロークで囲まれている文字列で上記補完対象文字列が指示され、上記線状のストロークにおける上記文字列の前後の長さで上記補完位置および補完文字数が指示される。
【００２１】
また、１実施例の手書き入力装置では、上記ジェスチャを、文字列に沿った折れ線状のストロークとしている。したがって、例えば、開始点から最初の屈曲点までのストロークに沿っている文字列で上記補完対象文字列が指示され、全体のストロークにおける上記文字列の前後の長さで上記補完位置および補完文字数が指示される。
【００２２】
また、この発明の手書き入力装置は、ストローク入力手段から入力された各ストロークが文字列認識手段によって文字列として認識される。そして、認識結果の第１候補文字列が表示手段によって表示され、文字列指定手段によって上記第１候補文字列の全文字列または部分文字列が指定される。さらに、候補生成手段によって、上記指定文字列および指定文字列に関する認識結果の他候補文字列のうち少なくとも一つの候補文字列を補完対象文字列として補完文字列候補が生成されるようになっている。
【００２３】
すなわち、上記表示されている上記認識結果の第１候補文字列を構成する全文字列または部分文字列を上記文字列指定手段によって指定するだけで、この指定文字列を補完するための補完文字列候補が生成される。さらに、上記文字列指定手段によって複数の文字を補完対象文字列として指示することによって、生成される補完文字列候補の数が大幅に絞り込まれる。こうして、操作者の意図する補完文字列候補を精度よく提示することが可能になり、操作者の作業効率が大幅に向上される。
【００２４】
また、１実施例の手書き入力装置では、上記文字列指定手段により指定された文字列および指定文字列に関する認識結果の他候補文字列が第２の表示手段によって表示され、上記第２の表示手段によって表示されている候補文字列のうち候補文字列指定手段によって指定された候補文字列に係る補完文字列候補が、第３の表示手段によって表示される。したがって、操作者が意図する補完文字列候補により近い補完文字列候補のみが的確に表示される。
【００２５】
また、１実施例の手書き入力装置では、上記候補生成手段を、上記候補文字列を仮名漢字変換または漢字仮名変換して得られる文字列も補完対象文字列として補完文字列候補を生成するようにしている。したがって、補完対象文字列が漢字仮名混じりである場合でも補完文字列候補の生成が可能となり、操作者の利便性が向上する。
【００２６】
また、１実施例の手書き入力装置では、上記候補生成手段を、以前に入力された文字列の履歴に含まれる文字列を上記補完文字列候補として生成するようにしている。したがって、操作者が意図する補完文字列候補がより精度よく生成される。
【００２７】
また、１実施例の手書き入力装置では、上記候補生成手段を、上記表示されている文書内に含まれる文字列を上記補完文字列候補として生成するようにしている。したがって、操作者が意図する補完文字列候補がより精度よく生成される。
【００２８】
また、この発明の手書き入力方法は、入力された各ストロークが入力文字列の補完を指示するためのジェスチャであるか否かが判定され、ジェスチャである場合には当該ジェスチャに基づいて補完対象文字列ストローク群が特定される。そして、上記補完対象文字列ストローク群に関する文字列認識結果と、上記ジェスチャのストロークと補完対象文字列ストローク群との位置関係とに基づいて、補完対象文字列，補完位置および補完文字数でなる補完情報が決定され、この補完情報を満たすような補完文字列候補が生成されるようになっている。
【００２９】
さらに、上記ジェスチャによって複数の文字を補完対象文字列として指示することによって、生成される補完文字列候補の数が大幅に絞り込まれる。
【００３０】
こうして、操作者の意図する補完文字列候補を精度よく提示することが可能になり、操作者の作業効率が大幅に向上される。
【００３１】
また、この発明の手書き入力方法は、表示されている文書中の文字列の補完を指示するジェスチャが入力される。そうすると、当該ジェスチャによって特定される上記文書中の文字列情報と、上記ジェスチャのストロークと上記特定された文字列との位置関係とに基づいて、補完対象文字列，補完位置および補完文字数でなる補完情報が決定され、この補完情報を満たす補完文字列候補が生成されるようになっている。
【００３２】
したがって、上記文書中の文字列を書き換える場合に、書き換え用の文の入力を省略することが可能になる。さらに、上記ジェスチャによって複数の文字を補完対象文字列として指示することによって、生成される補完文字列候補の数が大幅に絞り込まれる。
【００３３】
こうして、操作者の意図する補完文字列候補を精度よく提示することが可能になり、操作者の作業効率が大幅に向上される。
【００３４】
また、この発明の手書き入力方法は、入力された各ストロークに基づいて文字列が認識される。そして、認識結果の第１候補文字列が表示され、上記第１候補文字列の全文字列または部分文字列が指定される。さらに、上記指定文字列および指定文字列に関する認識結果の他候補文字列のうち少なくとも一つの候補文字列を補完対象文字列として補完文字列候補が生成されるようになっている。
【００３５】
したがって、表示されている上記文字列認識結果の第１候補文字列を構成する全文字列または部分文字列を指定するだけで、この指定文字列を含む省略文字列を補完するための補完文字列候補が生成される。さらに、上記文字列指定手段によって複数の文字を補完対象文字列として指示することによって、生成される補完文字列候補の数が大幅に絞り込まれる。こうして、操作者の意図する補完文字列候補を精度よく提示することが可能になり、操作者の作業効率が大幅に向上される。
【００３６】
また、この発明の手書き入力プログラムは、コンピュータを、上記手書き入力装置のストローク入力手段，ストローク記憶手段，ジェスチャ判定手段，文字列認識手段および候補生成手段として機能させる。したがって、ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず中間や最後尾に存在しても、操作者の意図する補完文字列候補が精度よく生成され、操作者が文字列を入力する際の作業効率が大幅に向上される。
【００３７】
また、この発明の手書き入力プログラムは、コンピュータを、上記手書き入力装置の文書記憶手段，表示手段，ジェスチャ入力手段，ジェスチャ記憶手段および候補生成手段として機能させる。したがって、ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず中間や最後尾に存在しても、操作者の意図する補完文字列候補が精度よく生成され、操作者が上記文書を編集する際の作業効率が大幅に向上される。
【００３８】
また、この発明の手書き入力プログラムは、コンピュータを、上記手書き入力装置のストローク入力手段，ストローク記憶手段，文字列認識手段，　表示手段，文字列指定手段，候補生成手段として機能させる。したがって、表示されている文字列認識結果の第１候補文字列を構成する全文字列または部分文字列を指定するだけで、この指定文字列および指定された文字列に関する認識結果の他候補文字列のうち少なくとも一つの候補文字列を補完対象文字列として補完文字列候補が生成される。その結果、操作者の作業効率大幅に向上される。
【００３９】
また、この発明のプログラム記録媒体は、上記手書き入力プログラムが記録されている。したがって、コンピュータによって上記手書き入力プログラムを読み出して実行することによって、操作者の意図する補完文字列候補を精度よく提示することが可能になり、操作者の作業効率が大幅に向上される。
【００４０】
【発明の実施の形態】
以下、この発明を図示の実施の形態により詳細に説明する。
【００４１】
＜第１実施の形態＞
図１は、本実施の形態の手書き入力装置における機能的構成を示す機能ブロック図である。この手書き入力装置は簡単なコンピュータ上に構成され、入力部１，記憶部２，ジェスチャ判定部３，文字列認識部４，候補生成部５および表示部６を含んで構成されている。
【００４２】
上記入力部１はタブレット等を含んで構成され、文字列やジェスチャが手書き入力される。そして、入力部１から手書き入力された文字列のストローク情報やジェスチャのストローク情報が記憶部２に記憶される。ジェスチャ判定部３は、記憶部２に記憶されているストローク情報に基づいて、各ストロークがジェスチャであるか否かを判定する。そして、上記ジェスチャ判定部３で判定されたジェスチャの情報は、記憶部２に送出されて記憶される。文字列認識部４は、記憶部２に記憶されているジェスチャ以外のストローク情報に基づいて、当該ストロークを文字列として認識する。候補生成部５は、文字列認識部４による認識結果を参照して、ジェスチャ判定部３で判定されたジェスチャによって指定される文字列の補完文字列候補を生成する。表示部６は、入力部１から入力されたストローク，記憶部２に記憶されたストローク，文字列認識部４による認識結果および候補生成部５で生成された補完文字列候補を表示する。
【００４３】
ここで、上記ストロークとは、入力部１を介して入力された座標情報または点列データまたはベクトル列情報を指し、さらに時間情報，筆記速度情報，筆圧情報等も含んでいても差し支えない。また、上記ジェスチャとは、予め定められた１つ以上のストロークからなる編集用の記号を指す。
【００４４】
尚、上記入力部１および表示部６は、個別に設けても良いし、表示装置上に透明のタブレットを積層配置して成る表示一体型タブレットとして設けても差し支えない。
【００４５】
図１に示す手書き入力装置のハードウェア構成を図２に示す。この手書き入力装置は、後述する各種処理を実行するプログラムを含む各種プログラムを記憶するプログラムメモリ１１、記憶部２を構成して上記ストローク情報を含む各種情報を記憶するデータメモリ１２、入力部１を構成する入力装置１３、表示部６を構成する表示装置１４、外部のインターネット等の通信ネットワーク１５と本手書き入力装置とを接続する通信Ｉ／Ｆ１６、ＣＤ‐ＲＯＭ（コンパクトディスク・リード・オンリ・メモリ）等の外部記録媒体１７がセットされてこの外部記録媒体１７をアクセスする外部記憶媒体ドライバ１８、プログラムメモリ１１，データメモリ１２，入力装置１３，表示装置１４，通信Ｉ／Ｆ１６および外部記憶媒体ドライバ１８を制御して、手書き入力処理動作等を実行するＣＰＵ（中央演算処理装置）１９を含んで構成されている。
【００４６】
図３は、上記ＣＰＵ１９による制御の下に実行される手書き入力処理動作のフローチャートである。以下、図３に従って、上記手書き入力処理動作について詳細に説明する。
【００４７】
ステップＳ１で、操作者によって上記入力部１が操作されて、手書き文字列のストロークおよびジェスチャのストロークが筆記入力される。ステップＳ２で、表示部６によって、上記入力された手書き文字列のストロークあるいはジェスチャのストロークがリアルタイムに表示される。さらに、記憶部２によって、上記入力された手書き文字列のストローク情報あるいはジェスチャのストローク情報が記憶される。ステップＳ３で、入力部１からの情報に基づいて、手書き入力が終了したか否かが判別される。その結果、終了した場合にはステップＳ４に進む一方、終了でなければ上記ステップＳ１に戻って次の入力スロトークの処理に移行する。
【００４８】
尚、上記記憶部２に記憶されるストローク情報とは、上述したような座標情報または点列データまたはベクトル列情報等を主に指すが、これらのデータや情報から得られる外接矩形情報や位置・サイズ情報や形状情報等を逐次算出して記憶しておいてもよい。また、上記手書き入力の終了判定方法は、特に限定はしないが、手書き入力後に所定時間が経過しても次の手書き入力が無い場合に入力終了と判定する方法が考えられる。更に、入力部１あるいは別途設けられた入力終了指示部（図示せず）への操作者による指示に基づいて判定する方法や、これらを組み合わせた方法も考えられる。
【００４９】
ステップＳ４で、上記ジェスチャ判定部３によって、記憶部２に記憶されている各ストロークに対するジェスチャ判定が行われる。そして、ジェスチャであると判定された場合には当該ジェスチャによる補完の対象となる補完対象文字列ストローク群が特定され、その特定情報が記憶部２に記憶される。尚、上記ステップＳ４におけるジェスチャ判定部３によるジェスチャ判定処理の詳細については後述する。
【００５０】
ステップＳ５で、上記文字列認識部４によって、上記記憶部２の記憶内容に基づいて、記憶部２にジェスチャが存在するか否かが判別される。その結果、ジェスチャが存在しない場合はステップＳ６に進み、ジェスチャが存在する場合にはステップＳ８に進む。ステップＳ６で、文字列認識部４によって、記憶部２に記憶されているストロークに基づいて文字列認識が行われる。そして、認識結果の文字列が表示部６に送出される。ステップＳ７で、表示部６によって、上記文字列認識の結果得られた文字列が表示される。そうした後、手書き入力処理動作が終了される。
【００５１】
ステップＳ８で、上記文字列認識部４によって、記憶部２に記憶されているストロークのうちの上記ジェスチャであると判定されたストローク以外のストロークに基づいて文字列認識が行われる。尚、文字列認識部４によって実行される文字列認識方法に関しては、様々な方法が知られているが本実施の形態においては特に限定はしない。例えば、特公平４‐１０６７１号公報に開示されている方法等を用いればよい。
【００５２】
ステップＳ９で、上記候補生成部５によって、記憶部２に記憶されている一つのジェスチャに関して、各ストローク情報および補完の対象となる補完対象文字列ストローク群の文字列認識結果が参照されて、補完の対象となる文字列（補完対象文字列）と、この文字列内における補完を行う位置と、各補完位置において補完する文字数条件が決定される。尚、本ステップにおいては、補完の対象となる文字列のみが決定されるようにしてもよい。または、補完の対象となる文字列と、この文字列内の補完を行う位置とが決定されるようにしてもよい。または、補完の対象となる文字列と、補完する文字数条件とが決定されるようにしてもよい。ステップＳ１０で、候補生成部５によって、上記ステップＳ９において決定された情報に基づいて補完文字列候補が生成される。尚、上記補完対象文字列，補完位置および補完文字数条件の決定処理と補完文字列候補の生成処理との詳細については後述する。
【００５３】
ステップＳ１１で、上記表示部６によって、上記ステップＳ８における文字列認識結果および上記ステップＳ１０において生成された補完文字列候補が、表示される。ステップＳ１２で、操作者によって入力部１が操作されて、候補選択が行われる。ステップＳ１３で、表示部６によって、上記ステップＳ１２における候補選択の結果に応じて、補完対象文字列が選択補完文字列候補に置き換えられて表示される。ステップＳ１４で、候補生成部５によって、記憶部２に記憶されている全てのジェスチャに対する処理が終了したか否かが判別される。その結果、終了していなければ上記ステップＳ９に戻って、次のジェスチャに対する処理に移行する。また、終了していれば、手書き入力処理動作を終了する。
【００５４】
次に、図３に示す手書き入力処理動作の上記ステップＳ４においてジェスチャ判定部３によって実行されるジェスチャ判定について詳細に説明する。
【００５５】
先ず、上記ジェスチャとしては図４〜図７に示すようなものがある。尚、図４〜図７においては、識別し易いようにジェスチャのストロークを太く表現している。図４は楕円状のジェスチャであり、図５は直線状のストロークからなるジェスチャであり、図６は楕円と直線とを繋いだ１つのストロークからなるジェスチャであり、図７は楕円と直線とを組み合わせた複数のストロークからなるジェスチャである。その他、図４，図６，図７における楕円状の部分を矩形やその他の閉図形状に変更したものも考えられる。
【００５６】
上記ジェスチャにおいて、図４（ａ）および図５（ａ）は、補完対象文字列「シャ」のみを指定するジェスチャである。また、図４（ｂ），図５（ｂ），図６（ａ）および図７（ａ）は、指定文字列「シャ」の後を補完するためのジェスチャである。また、図４（ｃ），図５（ｃ），図６（ｂ）および図７（ｂ）は、指定文字列「会社」の前を補完するためのジェスチャである。また、図４（ｄ），図５（ｄ），図６（ｃ）及び図７（ｃ）は、指定文字列「株」の前後を補完するためのジェスチャである。また、図４（ｅ），図５（ｅ），図６（ｄ）及び図７（ｄ）は、指定文字列「シャ」と「会社」との間を補完するためのジェスチャである。また、図４（ｆ），図５（ｆ），図６（ｅ）及び図７（ｅ）は、指定文字列「プ」と「会」との前後および間を補完するためのジェスチャである。
【００５７】
そして、図４（ｂ）〜図４（ｆ）に示す楕円状のジェスチャにおいては、楕円内の空白部の大きさによって補完すべき位置および補完すべき文字数を判定することができる。また、図５（ｂ）〜図５（ｆ），図６及び図７に示すジェスチャにおいては、直線部の位置によって補完すべき位置を、上記直線部の長さによって補完すべき文字数を判定することができる。
【００５８】
尚、図４〜図７においては、文字列が横に配列されている場合（つまり、横書きである場合）を前提としているが、図８に示すように、文字列が縦配列や斜め配列である場合のジェスチャも同様に設定することができる。
【００５９】
以下、図４および図８（ａ）に示す楕円状のジェスチャを用いた場合におけるジェスチャ判定部３によるジェスチャ判定について説明する。図９は、図３に示す手書き入力処理動作における上記ステップＳ４において実行されるジェスチャ判定処理動作のフローチャートである。上記手書き入力処理動作における上記ステップＳ３において手書き入力が終了したと判別されるとジェスチャ判定処理動作がスタートする。
【００６０】
ステップＳ２１で、上記記憶部２に記憶されているストローク情報のうち１つのストローク情報が読み出される。ステップＳ２２で、読み出されたストローク情報に基づいて、当該ストロークが上記ジェスチャの形状をしているか否かが判別される。その結果、ジェスチャ形状を有する場合にはステップＳ２３に進み、そうでない場合にはステップＳ２６に進む。ここで、ジェスチャ形状の判定方法については特に限定しないが、既知の技術を使用することが可能である。例えば、辞書パターンとの照合を行うような文字認識技術を利用してもよいし、ストロークの座標情報やストローク内線分のベクトル情報等を利用して判断してもよい。
【００６１】
その際に、楕円状のジェスチャを用いて、例えば図１０に示すような入力があった場合に、これが、「▲１▼」のごとく記号「丸付き１」の入力を意図したのか、「１」にジェスチャの丸を重ねて補完の指示を意図したのかが判別できないという問題がある。その解決法として、丸の筆記方法により判別する方法が考えられる。一般に、数字の「０」やアルファベットの「Ｏ」や丸付き数字「▲１▼」等の丸を筆記する際には、図１１（ａ）に示すような丸の上部を基点とした反時計回り、図１１（ｂ）に示すような丸の下部を基点とした時計回りで筆記されることが多い。そこで、図１１（ａ），図１１（ｂ）に示すような筆順で丸が筆記された場合には、文字または文字の一部であると判定する。一方、図１１（ｃ）に示すような丸の上部を基点とした時計回り、図１１（ｄ）に示すような丸の下部を基点とした反時計回りで筆記された場合には、ジェスチャであると判定する。こうすることによって、操作者が文字または文字の一部とジェスチャとを書き分けることができる。
【００６２】
ステップＳ２３で、上記ステップＳ２２で判定された当該ジェスチャによる補完の対象となる補完対象文字列ストロークが抽出される。その場合における補完対象文字列ストロークの抽出方法については特に限定しないが図１２にその一例を示す。先ず、図１２（ａ）に示すように楕円状ジェスチャの筆記開始点と筆記終了点とが繋がっていない場合には、図１２（ｂ）に示すように筆記開始点と筆記終了点とを繋いで閉図形とする。または、図１２（ｃ）に示すようにストロークが交差している場合には、図１２（ｄ）に示すように開始点から交差点までの部分および交差点から終了点までの部分を削除して閉図形とする。次に、閉図形内部に存在する閉図形のストロークとは異なる他のストロークを上記補完対象文字列ストロークとして抽出するのである。尚、あるストロークが閉図形内部に在るか否かを判定する方法としては、（１）ストロークの全座標が閉図形内に在るかを判定する。（２）ストロークの開始点，終了点，中間点等の特定の座標が閉図形内に在るかを判定する。（３）閉図形内にあるストローク座標の比率で判定する。（４）閉図形内のストローク部分の長さとストローク全体の長さの比率で判定する。等の方法が挙げられる。
【００６３】
ステップＳ２４で、上記ステップＳ２３における補完対象文字列ストローク抽出の結果に基づいて、当該ジェスチャに係る補完対象文字列ストロークが存在するか否かが判別される。その結果、存在する場合にはステップＳ２５に進み、存在しない場合にはステップＳ２６に進む。ステップＳ２５で、ジェスチャのストローク情報と上記ステップＳ２３において抽出された補完対象文字列ストロークのストローク情報とが当該ジェスチャのジェスチャ情報として記憶部２に記憶される。ステップＳ２６で、全ストロークの処理が終了したか否かが判別される。その結果、終了していなければ上記ステップＳ２１に戻って次のストロークの処理に移行する。一方、終了していればジェスチャ判定処理動作を終了して、図３に示す手書き入力処理動作における上記ステップＳ５に進む。
【００６４】
次に、他の例として、図５および図８（ｂ）に示す直線状のジェスチャを用いた場合におけるジェスチャ判定部３によるジェスチャ判定について説明する。尚、その場合、図３に示す手書き入力処理動作における上記ステップＳ４において実行されるジェスチャ判定処理動作は、図９に示すフローチャートと同様である。したがって、以下、図９に示すジェスチャ判定処理動作のフローチャートにおける上記ステップＳ２２におけるジェスチャ形状の判定方法と、上記ステップＳ２３におけるジェスチャの補完対象文字列ストロークの抽出方法について説明する。
【００６５】
上記直線状のジェスチャにおけるジェスチャ形状の判定方法については、楕円状のジェスチャの場合と同様に既知の技術を使用することが可能である。但し、例えば、図１３（ａ）に示すような入力があった場合には、これが、文字「旦」の入力を意図したのか、「日」にジェスチャの横棒を重ねての補完を意図したのかが判別できないという問題がある。その解決法として、横棒の筆記方法により判別する方法が考えられる。一般的に文字内の横棒は図１３（ｂ）に示すように左から右に筆記される。そこで、左から右に筆記された横棒は文字または文字の一部であると判定する一方、図１３（ｃ）に示すように右から左に筆記した場合にはジェスチャであると判定する。こうすることによって、操作者が文字または文字の一部とジェスチャとを書き分けることができる。
【００６６】
同様に、図１４（ａ）に示すような入力があった場合に、これが、文字「旧」の入力を意図したのか、「日」にジェスチャの縦棒を重ねての補完を意図したのかが判別できないという問題がある。この場合には、文字内の縦棒は図１４（ｂ）に示すように上から下に筆記されるのが一般的であるため、上から下に筆記された縦棒は文字または文字の一部であり、図１４（ｃ）に示すように下から上に筆記された縦棒はジェスチャであると判別するのである。こうすることによって、操作者が文字または文字の一部とジェスチャとを書き分けることができる。
【００６７】
さらに、図１４（ａ）に示すような入力があった場合には、ストロークの時系列情報を用いて、ジェスチャストローク以降に入力されたストロークは当該ジェスチャによる指定の対象とはしないようにすれば、図１５（ａ）に示すように、「｜」，「日」の順に入力された場合には文字「旧」であると判別し、図１５（ｂ）に示すように、「日」，「｜」の順に入力された場合には「日」の補完であると判別することができる。こうすることによって、操作者が文字または文字の一部とジェスチャとを書き分けることが可能になるのである。
【００６８】
次に、上記直線状のジェスチャの場合における補完対象文字列ストロークの抽出方法について、図１６に従って説明する。図１６において、太線の部分がジェスチャストロークを示しており、Ａは筆記開始点、Ｂは筆記終了点である。
【００６９】
先ず、上記ジェスチャストロークの筆記開始点Ａと筆記終了点Ｂとを結ぶ線分を１辺とする長方形ＡＢＣＤを求める。その際に、線分ＡＤと線分ＢＣとの長さは、手書き入力される文字の標準的な幅および高さを表す標準文字サイズを用いる。その際における上記標準文字サイズの設定方法としては、予め定めた固定値とする方法や筆記された文字列ストロークに応じて動的に算出する方法がある。
【００７０】
こうして得られた長方形の頂点Ｂ，Ｃと頂点Ｃ，Ｄと頂点Ｄ，Ａとを結ぶ３つの直線と、頂点Ａ，Ｂを結ぶジェスチャストロークとで、閉図形を形成する。尚、上記閉図形として、上記長方形ＡＢＣＤをそのまま用いても差し支えない。そして、あるストロークが当該ジェスチャによる補完の対象であるか否かは、そのストロークが当該閉図形内（斜線部）に含まれるか否かによって判定するのである。その場合、閉図形内部にあるか否かを判定する方法としては、先程の楕円状ジェスチャの説明の際に述べた方法が適用できる。
【００７１】
以上の方法によれば、図１７に示すように複数行に亙って筆記した場合でも、文字「例」の後を補完する直線状のストロークを筆記することによって、補完対象文字列ストロークとして文字「例」の部分を抽出することが可能になるのである。
【００７２】
尚、図６，図７，図８（ｃ）および図８（ｄ）に示すような楕円状の部分と直線状の部分とを含むジェスチャを用いた場合におけるジェスチャ判定部３によるジェスチャ判定処理動作は、上記楕円状の部分に対して上述した楕円状のジェスチャを用いた場合の処理を適用すればよい。
【００７３】
次に、図３に示す手書き入力処理動作における上記ステップＳ９において候補生成部５によって実行される補完対象文字列，補完位置，補完文字数条件の決定、および、ステップＳ１０において候補生成部５によって実行される補完文字列候補生成について詳細に説明する。
【００７４】
以下、図１８に示すように、楕円状のジェスチャを用いた場合を例に挙げて説明する。図１８において、実際に筆記入力されたストロークは太線の部分であって、それ以外の部分は説明用に付加したものである。横方向をＸ軸、縦方向をＹ軸としている。尚、図１８は横方向に筆記された場合であるが、縦方向や斜め方向に筆記した場合であっても、文字列筆記方向をＸ軸とし、このＸ軸に垂直な方向をＹ軸とすれば同様に処理することができる。
【００７５】
ここで、上記手書き入力処理動作における上記ステップＳ４のジェスチャ判定処理によって、ストロークｓｔ６がジェスチャとして判定され、ストロークｓｔ１，ｓｔ２，ｓｔ３，ｓｔ４，ｓｔ５が補完対象文字列ストロークとして抽出されているものとする。
【００７６】
先ず、上記手書き入力処理動作のステップＳ９において実行される補完対象文字列，補完位置，補完文字数条件の決定処理動作について、図１９に示すフローチャートに従って説明する。上記手書き入力処理動作のステップＳ８において上記ジェスチャであると判定されたストローク以外のストロークに基づいて文字列が認識されると、補完対象文字列，補完位置，補完文字数条件の決定処理動作がスタートする。
【００７７】
ステップＳ３１で、上記文字列認識部４から上記補完対象文字列ストローク群の文字列認識結果が取得される。図１８に示す例の場合には、上記ストロークｓｔ１，ｓｔ２，ｓｔ３による認識結果として文字「シ」が得られ、上記ストロークｓｔ４，ｓｔ５による認識結果として文字「ャ」が得られる。
【００７８】
ステップＳ３２で、上記ジェスチャの外接矩形および各文字の外接矩形が求められる。以下、ジェスチャの外接矩形をＲ０および各文字の外接矩形をＲ１〜Ｒｎ（ｎは認識結果文字数）とする。すなわち、図１８に示す例の場合には、ジェスチャ外接矩形Ｒ０が得られ、文字「シ」および「ャ」の外接矩形Ｒ１，Ｒ２が得られる。
【００７９】
ステップＳ３３で、０≦ｉ≦ｎ−１を満たす全ての整数ｉに対して、上記外接矩形Ｒｉと外接矩形Ｒ（ｉ＋１）とのＸ軸方向間隔ｄｉを求め、更に外接矩形Ｒｎと外接矩形Ｒ０とのＸ軸方向間隔ｄｎを求める。Ｘ軸方向間隔ｄがない場合は０とする。図１８に示す例の場合には、ｄ０，ｄ１，ｄ２が得られる。
【００８０】
ステップＳ３４で、上記ステップＳ３３において得られた各ｄｉ（０≦ｉ≦ｎ）に関して、Ｃｉ＝ｄｉ／Ｈが算出され、算出された値Ｃｉに応じて、ｄｉの位置における補完文字数条件が決定される。そうした後、補完対象文字列，補完位置，補完文字数条件の決定処理動作を終了する。ここで、上記Ｈは標準文字サイズであり、上述したように手書き入力される文字の標準的な幅あるいは高さである。
【００８１】
上記補完文字数条件としては、１つの値のみを決定する方法と、文字数の上限値および下限値を決定する方法とがある。１つの値のみを決定する場合には、値Ｃｉの切上げ値，切捨て値，四捨五入値の何れか一つをそのまま使用するか、その値に予め定められた値を加算あるいは減算して得られた値を使用するようにすればよい。但し、減算して負の値になる場合は０とする。また、上限値と下限値とを決定する場合には、Ｃｉの切上げ値，切捨て値，四捨五入値の何れか一つの値から、予め定めておいた値を加減算して上限値および下限値を決定すればよい。但し、下限値は０以上とする。その場合、上限値および下限値毎に加減算する大きさを変えてもよい。また、値Ｃｉが予め定めた所定値以下である場合には強制的に上限値および下限値共に０になるようにしたり、文字列の前後におけるＸ軸方向間隔（ｄ０，ｄｎ）では上記所定値を大きめに設定することによって文字列前後を補完し難くして、ジェスチャ入力の操作性を上げることも可能である。
【００８２】
更に、例えば、１文字補完の確率は７０％，２文字補完の確率は９０％，３文字補完の確率は６０％と言うように、補完文字数に確からしさを示す確率を付加しても差し支えない。
【００８３】
以上のような補完対象文字列，補完位置，補完文字数条件の決定処理によって、図１８に示す例の場合には、例えば図２０に示すような補完情報が生成されるのである。
【００８４】
尚、以上の説明は、図１８に示すような楕円状のジェスチャを用いた場合を例に挙げて行っている。しかしながら、図５および図８（ｂ）に示すような直線状のジェスチャを用いた場合にも、同様の処理によって補完対象文字列，補完位置，補完文字数条件等の補完情報を生成することができる。図２１は、直線状のジェスチャを用いた場合の筆記例（図２１（ａ））と、この筆記例から生成される補完情報例（図２１（ｂ））を示す。
【００８５】
次に、上記手書き入力処理動作のステップＳ１０において実行される補完文字列候補生成について詳細に説明する。
【００８６】
上述した補完対象文字列，補完位置，補完文字数条件の生成処理によって生成された図２０および図２１に示すような補完情報に基づいて、この条件を満たすような補完文字列候補を生成する。図２２は、図２０に示す補完情報に基づいて生成された補完文字列候補の例を示す。この補完文字列候補の生成は既知の技術によって実現可能である。本実施の形態においては特に限定しないが、（１）一般単語辞書あるいはユーザ辞書を用いて探索を行う方法、（２）単語辞書と単語間の遷移情報辞書とを用いて探索を行う方法、（３）（１），（２）において出現頻度情報をも用いる方法、（４）以前の入力文字列履歴に基づく方法等がよく知られている。尚、（２）の方法を用いれば、長い文字列や文章等を省略して入力しても補完することが可能になる。また、（３）および（４）の方法のように、頻度情報や履歴情報を用いることによって、操作者の意図する補完文字列をより精度よく提示することが可能になる。
【００８７】
また、ワープロ等において用いられる仮名漢字変換または漢字仮名変換を用いて、補完対象文字列を仮名漢字変換または漢字仮名変換して得られる文字列も補完対象文字列として補完候補を生成する方法もある。この方法によれば、漢字と仮名が混じった補完対象文字列から漢字文字列の補完や仮名文字列の補完が可能になる。すなわち、複雑な漢字文字列の補完入力をしたい場合でも、読みの平仮名の入力によって補完が可能となり、入力時の労力および時間を軽減することができる。例えば図２３に示すように「か」の入力のみで、読みの先頭が「か」である「株式会社」等をも候補表示することも可能になるのである。
【００８８】
以上のごとく、本実施の形態においては、手書きによって一部を省略した文字列を入力部１に入力し、省略部分を補完した文字列候補を表示部６に表示させるに際して、一部を省略した文字列に補完対象文字列と補完位置と補完文字数とを指定するジェスチャを表すストロークを入力する。そして、ジェスチャ判定部３によって、入力ストロークがジェスチャであるか否かを判定し、ジェスチャである場合には当該ジェスチャによる補完の対象となる補完対象文字列ストローク群を特定する。そして、文字列認識部４によって、ジェスチャであるストローク以外のストロークに基づいて文字列認識を行い、候補生成部５によって、ジェスチャ判定部３で得られたジェスチャストロークおよび補完対象文字列ストロークの位置関係と、文字列認識部４による認識文字列とに基づいて、補完の対象となる補完対象文字列と、この補完対象文字列に関する補完の位置と補完文字数条件とで成る補完情報を生成する。さらに、この補完情報に基づいて辞書等を用いて、上記補完情報の条件を満たすような補完文字列候補を生成して表示部６に表示するようにしている。
【００８９】
したがって、本実施の形態によれば、上述した従来の手書き文字入力装置のごとく、補完対象文字列が補完文字列候補の先頭である場合は勿論のこと、補完文字列候補の中間や最後に存在する場合であっても、操作者が意図する補完文字列候補を精度よく生成することができる。さらに、複数の文字をジェスチャで指示することによって、補完文字列候補の数を大幅に絞り込むことができる。その結果、操作者が意図する補完文字列候補を精度よく提示することができ、手書き入力効率を向上することができるのである。
【００９０】
また、上記ジェスチャとして、上記補完対象文字列を囲む楕円状のストロークや補完対象文字列に沿って引かれた直線状のストロークや両者を併用したストロークを用いている。したがって、楕円内や直線上における空白部の位置や長さによって、的確に補完位置や補完文字数を指定することができるのである。
【００９１】
尚、上述の説明においては、１種類のジェスチャを使用する場合を例に挙げているが、図４〜図７に示すような複数種類のジェスチャを入力可能とし、ジェスチャの種類毎に異なる補完文字列生成方法を適用するようにしてもよい。
【００９２】
具体的には、
（ａ）一般単語辞書やユーザ辞書等の辞書毎にジェスチャを割り当てる
（ｂ）探索する単語の品詞毎にジェスチャを割り当てる
（ｃ）補完位置や補完文字数等の補完条件毎にジェスチャを割り当てる
等が考えられる。その場合、（ａ），（ｂ）の方法では、操作者が補完したい文字列の情報をジェスチャによってＣＰＵ１９に伝えることができ、操作者の意図する補完文字列候補をより精度よく提示することが可能になる。また、（ｃ）の方法では、操作者はジェスチャと文字列との位置関係ではなく、ジェスチャの形状によって補完位置と補完文字数条件とを指定できるようになる。
【００９３】
図２４は、ジェスチャの種類毎に異なる補完文字列生成方法を適用する一例である。図２４（ａ）および図２４（ｂ）は補完文字列を生成する際に用いる辞書をジェスチャの種類で指定する例であり、図２４（ａ）に示すジェスチャの場合には一般単語辞書から補完文字列を探索し、図２４（ｂ）に示すジェスチャの場合にはユーザ辞書から補完文字列を探索する。また、図２４（ｃ）および図２４（ｄ）は補完位置をジェスチャの種類で指定する例であり、図２４（ｃ）に示すように一重丸のジェスチャの場合には補完対象文字列「文」の後側を補完し、図２４（ｄ）に示すように二重丸のジェスチャの場合には補完対象文字列「文」の前側を補完する。また、図２４（ｅ）および図２４（ｆ）は補完文字数をジェスチャの種類で指定する例であり、図２４（ｅ）に示すように１本の下線のジェスチャの場合には１文字補完を行い、図２４（ｆ）に示すように３本の下線のジェスチャの場合には３文字補完を行うのである。
【００９４】
さらに、上述の説明においては、上記文字列認識部４による第１候補の認識結果文字列のみを考慮して補完文字列候補を生成する場合を例に挙げている。しかしながら、一般に文字列認識においては複数の認識候補が生成される。そこで、候補生成部５は、それらの複数の認識候補および各々の確信度情報をも用いて補完文字列候補を生成するようにしても差し支えない。
【００９５】
さらに、上述の説明においては、操作者が筆記入力を終了した後に直ぐ補完文字列候補が表示され、操作者はその表示候補から目的とする候補を選択するようにしている。しかしながら、この発明はこれに限定されるものではなく、候補選択を行っている時間がない場合に、筆記入力だけを行って、そのストローク情報を記憶部２に記憶しておく。そして、時間がある場合に補完文字列候補選択を行うようにしてもよい。その場合には、記憶部２を、手書き入力装置の電源がオフされても記憶内容が保持できる構成にする。そして、図３に示す手書き入力処理動作のフローチャートにおいて、筆記入力時にはステップＳ３の入力終了までを行うようにし、操作者が時間のあるときにステップＳ４のジェスチャ判定以降の処理を再開できるようにするための処理再開指示手段を別途設ければよい。
【００９６】
また、上記筆記入力時にはステップＳ４のジェスチャ判定までの処理を行っておき、処理再開時にはステップＳ５のジェスチャの存在判別以降の処理を行うようにしてもよい。また、上記筆記入力時にはステップＳ８の文字列認識までの処理を行っておき、処理再開時にはステップＳ９の補完情報の決定からステップＳ１３の候補選択結果の表示までの処理を全ジェスチャに対して行うようにしてもよい。また、筆記入力時にはステップＳ９の補完情報の決定までの処理を全ジェスチャに対して行っておき、処理再開時にはステップＳ１０の補完文字列候補生成からステップＳ１３の候補選択結果の表示までの処理を全ジェスチャに対して行うようにしてもよい。また、筆記入力時にはステップＳ１０の補完文字列候補生成までの処理を全ジェスチャに対して行っておき、処理再開時にはステップＳ１１の補完文字列候補の表示からステップＳ１３の候補選択結果の表示までの処理を全ジェスチャに対して行うようにしてもよい。
【００９７】
これらの手書き入力処理動作を二回に分けて実行する方法によれば、操作者が後で全ストロークデータを表示させた際に、補完を意図した文字列部分の識別が容易であり、ジェスチャの形状やサイズ等によってどのような文字列の補完を意図したのかも判別し易いという効果も得られる。
【００９８】
＜第２実施の形態＞
本実施の形態は、表示されている文書中に、補完対象文字列とこの補完対象文字列中における補完位置および補完文字数条件を指定するジェスチャのストロークを手書きによって入力することによって、上記文書中の補完対象文字列を他の文字列に書き換え編集を行うものに関する。
【００９９】
図２５は、本実施の形態の手書き入力装置における機能的構成を示す機能ブロック図である。この手書き入力装置は簡単なコンピュータ上に構成され、入力部２１，記憶部２２，ジェスチャ判定部２３，候補生成部２４および表示部２５を含んで構成されている。
【０１００】
上記入力部２１はタブレット等を含んで構成され、手書きによるジェスチャが入力される。そして、入力部２１から手書き入力されたジェスチャのストローク情報が記憶部２２に記憶される。また、記憶部２２には、予め文書情報が記憶されている。ジェスチャ判定部２３は、記憶部２２に記憶されているジェスチャの正誤を判定する。候補生成部２４は、ジェスチャ判定部２３で判定されたジェスチャによって指定された文字列の補完文字列候補を生成する。表示部２５は、入力部２１から入力されたジェスチャ，記憶部２２に記憶された文書やジェスチャおよび候補生成部２４で生成された補完文字列候補を表示する。
【０１０１】
尚、上記入力部２１および表示部２５は、個別に設けても良いし、表示装置上に透明のタブレットを積層配置して成る表示一体型タブレットとして設けても差し支えない。また、本実施の形態においては、ジェスチャによる既存文書への編集に特化しているが、上記第１実施の形態において示したような手書きによる文字列入力手段や、キーボードなどの文字列入力手段をさらに設けた構成も考えられる。
【０１０２】
また、図２５に示す手書き入力装置のハードウェア構成は、上記第１実施の形態において図２に示すハードウェア構成と同様である。
【０１０３】
図２６は、上記ＣＰＵによる制御の下に記憶部２２から読み出されて表示部２５に表示された文書に対してジェスチャで文字列補完を行う文字列補完処理動作のフローチャートである。以下、図２６に従って、上記文字列補完処理動作について詳細に説明する。
【０１０４】
ステップＳ４１で、操作者によって上記入力部２１が操作されて、表示されている文書中における補完対象文字列の個所にジェスチャのストロークが手書き入力される。ステップＳ４２で、表示部２５によって、上記入力されたストロークがリアルタイムに表示される。さらに、記憶部２２によって、上記入力されたストローク情報が記憶される。ステップＳ４３で、入力部２１からの情報に基づいて、手書き入力が終了したか否かが判別される。その結果、終了した場合にはステップＳ４４に進む一方、終了でなければ上記ステップＳ４１に戻って次の入力スロトークの処理に移行する。
【０１０５】
上記手書き入力の終了判定方法は、上記第１実施の形態における図３のステップＳ３で用いた方法と同様の方法を用いる。
【０１０６】
ステップＳ４４で、上記ジェスチャ判定部２３によって、記憶部２２に記憶されている各ストロークが正しいジェスチャのストロークであるかを判定するジェスチャ判定が行われる。そして、ジェスチャであると判定された場合には文書内における当該ジェスチャによる補完の対象となる文字列（補完対象文字列）が特定され、その特定情報が記憶部２２に記憶される。尚、上記ステップＳ４４におけるジェスチャ判定部２３によるジェスチャ判定処理の詳細については後述する。
【０１０７】
ステップＳ４５で、上記候補生成部２４によって、上記記憶部２２の記憶内容に基づいて、記憶部２２にジェスチャが存在するか否かが判別される。その結果、ジェスチャが存在しない場合は文字列補完処理動作を終了する。一方、ジェスチャが存在する場合にはステップＳ４６に進む。
【０１０８】
ステップＳ４６で、上記候補生成部２４によって、記憶部２２に記憶されている一つのジェスチャに関して、各ストローク情報および上記特定された補完対象文字列の情報が参照されて、上記補完対象文字列内における補完を行う位置と、各補完位置において補完する文字数条件とが決定される。尚、本ステップにおいては、本ステップの処理を行わないようにしてもよい。または、補完対象文字列内の補完を行う位置のみが決定されるようにしてもよい。または、補完する文字数条件のみが決定されるようにしてもよい。ステップＳ４７で、候補生成部２４によって、上記ステップＳ４４で特定された補完対象文字列とステップＳ４６において決定された補完位置および補完文字数条件とで成る補完情報に基づいて、補完文字列候補が生成される。尚、上記補完位置および補完文字数条件の決定処理と補完文字列候補の生成処理との詳細については後述する。
【０１０９】
ステップＳ４８で、上記表示部２５によって、上記ステップＳ４７において生成された補完文字列候補が表示される。ステップＳ４９で、操作者によって入力部２１が操作されて、候補選択が行われる。ステップＳ５０で、表示部２５によって、上記ステップＳ４９における候補選択の結果に応じて、補完対象文字列が選択補完文字列候補に置き換えられて表示される。ステップＳ５１で、候補生成部２４によって、記憶部２２に記憶されている全てのジェスチャに対する処理が終了したか否かが判別される。その結果、終了していなければ上記ステップＳ４６に戻って、次のジェスチャに対する処理に移行する。また、終了していれば、文字列補完処理動作を終了する。
【０１１０】
次に、図２６に示す文字列補完処理動作の上記ステップＳ４４において上記ジェスチャ判定部２３によって実行されるジェスチャ判定について詳細に説明する。
【０１１１】
先ず、上記ジェスチャとしては図２７〜図３０に示すようなものがある。尚、図２７〜図３０においては、識別し易いようにジェスチャのストロークを太く表現している。図２７は楕円状のジェスチャであり、図２８（ａ）は直線状の１ストロークからなるジェスチャであり、図２８（ｂ）は直線状の複数ストロークからなるジェスチャであり、図２９は折れ線状のジェスチャであり、図３０（ａ）は楕円と直線とを繋いた１ストロークからなるジェスチャであり、図３０（ｂ）は楕円と直線とを組み合わせた複数ストロークからなるジェスチャである。その他、図２７，図３０における楕円状の部分を矩形やその他の閉図形状に変更したものも考えられる。
【０１１２】
上記ジェスチャにおいて、図２７及び図２８（ａ）は、上記補完対象文字列である指定文字列「シャープ」を補完するためのジェスチャである。また、図２８（ｂ１），図２９（ａ），図３０（ａ１）及び図３０（ｂ１）は、指定文字列「シャープ」の後を補完するためのジェスチャである。また、図２８（ｂ２），図２９（ｂ），図３０（ａ２）および図３０（ｂ２）は、指定文字列「推進会議」の前を補完するためのジェスチャである。また、図２８（ｂ３），図２９（ｃ），図３０（ａ３）および図３０（ｂ３）は、指定文字列「大阪」の前後を補完するためのジェスチャである。
【０１１３】
また、図２８（ｂ）に示す直線状ジェスチャにおいては、短い方の直線によって補完対象文字列を判定し、長い方の直線によって補完位置および補完文字数条件を判定することができる。また、図２９に示す折れ線状ジェスチャにおいては、第１屈曲点までの直線部で補完対象文字列を判定し、それ以降の直線部で補完位置および補完文字数条件を判定することができる。また、図３０に示す楕円と直線とでなるジェスチャにおいては、直線部の位置によって補完すべき位置を判定し、直線部の長さによって補完すべき文字数を判定することができる。
【０１１４】
尚、図２７〜図３０においては、文字列が横に配列されている場合（つまり、横書きである場合）を前提としているが、文字列が縦配列や斜め配列である場合のジェスチャも同様に設定することができる。
【０１１５】
以下、上記ジェスチャ判定部２３による図２６に示す文字列補完処理動作における上記ステップＳ４４において実行されるジェスチャ判定について説明する。ジェスチャ形状の判定方法については上記第１実施の形態で示した方法と同様である。
【０１１６】
上記ジェスチャによって指定される補完の対象となる文字列である補完対象文字列の特定方法について、図３１（ａ１）または図３１（ｂ１）に示すように筆記された場合を例に説明する。先ず、文書内の各文字毎に図３１（ａ２）あるいは図３１（ｂ２）に示すような外接矩形を考える。そして、ジェスチャに基づいて生成された閉図形（図の斜線部）内に含まれる外接矩形の閉図形に対する面積率が予め定められた閾値以上であれば、閉図形内に含まれる外接矩形内の文字列を補完対象文字列として抽出する。この方法以外に、各文字の文字画素を取得し、ジェスチャに基づいて生成された平図形内に含まれる画素の率が予め定められた閾値以上であれば補完対象文字列として抽出する方法も使用できる。尚、図３１（ｂ１）に示す直線状ジェスチャから閉図形を生成する方法は、第１実施の形態における図１６に示す方法と同様の方法を用いることができる。
【０１１７】
続いて、上記候補生成部２４によって、図２６に示す文字列補完処理動作の上記ステップＳ４６において実行される補完位置および補完文字数条件で成る補完情報の決定について、図３２（ａ）に太線で示すように筆記された場合を例に詳細に説明する。図３２（ｂ）は、図３２（ａ）に対して説明のために記号等を付加したものである。図３２（ｂ）において、ジェスチャの開始点をＡとし、終了点をＢとし、横方向にＸ軸を取り、縦方向にＹ軸を取る。尚、図３２は横方向に文字が並んでいる場合について示しているが、文字が縦方向や斜め方向に並んでいる場合も、文字列方向をＸ軸としこのＸ軸に垂直な方向をＹ軸とすれば同様に処理できる。
【０１１８】
先ず、ジェスチャストロークの開始点Ａからジェスチャストロークの線分を順に辿り、最初の屈曲点を探して点Ｃとする。屈曲点の判定方法としては、線分のベクトルの向きを用いた判定方法等の既知の技術を適用することができる。先に説明したジェスチャ判定処理において、ジェスチャストロークの点Ａから点Ｃまでの部分に基づいて補完対象文字列である「シャープ」を得ることができる。
【０１１９】
次に、上記ジェスチャストロークにおけるＸ軸方向の最小値ｘ１および最大値ｘ２を求める。さらに、補完対象文字列「シャープ」のＸ軸方向の最小値ｘ３および最大値ｘ４を求める。そして、ｄｐ＝ｘ３−ｘ１とｄｎ＝ｘ２−ｘ４とを算出する。但し、ｄｐおよびｄｎが負になる場合には０とする。すなわち、図３２に示す例の場合には、「ｄｐ」は０となる。続いて、得られたｄｐ，ｄｎの値を用いてＣｐ＝ｄｐ／ＨおよびＣｎ＝ｄｎ／Ｈを算出する。ここで、Ｈは文字サイズである。こうして得られたＣｐによって、補完対象文字列の前に補完する補完文字数条件が決定される。また、Ｃｎによって、補完対象文字列の後に補完する補完文字数条件が決定される。
【０１２０】
上記補完文字数条件としては、上記第１実施の形態の場合と同様に、１つの値のみを決定する方法と、文字数の上限値および下限値を決定する方法とがある。１つの値のみを決定する場合には、値ＣｐおよびＣｎの切上げ値，切捨て値，四捨五入値の何れか一つをそのまま使用するか、その値に予め定められた値を加算または減算して得られた値を使用するようにすればよい。但し、減算して負の値になる場合は「０」とする。また、上限値と下限値とを決定する場合には、ＣｐおよびＣｎの切上げ値，切捨て値，四捨五入値の何れか一つの値から、予め定めておいた値を加減算して上限値および下限値を決定すればよい。但し、下限値は０以上とする。その場合、上限値および下限値毎に加減算する大きさを変えてもよい。また、値ＣｐおよびＣｎが予め定めた所定値以下である場合には強制的に上限値および下限値共に０になるようにすることも可能である。
【０１２１】
更に、例えば、１文字補完の確率は７０％，２文字補完の確率は９０％，３文字補完の確率は６０％と言うように、補完文字数に確からしさを示す確率を付加しても差し支えない。
【０１２２】
以上のような補完位置及び補完文字数条件の決定処理によって、図３２に示す例の場合には、例えば図３３（ａ）に示すような補完情報が生成されるのである。
【０１２３】
尚、以上の説明は、図３２に示すような折れ線状のジェスチャを用いた場合を例に挙げて行った。しかしながら、その他のジェスチャを用いた場合にも、同様の処理によって補完位置および補完文字数条件等の補完情報を生成することができる。図３３（ｂ）は、図３０（ａ３）に示すように筆記された場合における補完情報例を示す。
【０１２４】
次に、上記文字列補完処理動作のステップＳ４７において実行される補完文字列候補生成について説明する。補完文字列候補生成処理は上記第１実施の形態の場合と同様であり、既知の技術によって実現可能である。本実施の形態においては特に限定しないが、（１）一般単語辞書あるいはユーザ辞書を用いて探索を行う方法、（２）単語辞書と単語間の遷移情報辞書とを用いて探索を行う方法、（３）（１），（２）において出現頻度情報をも用いる方法、（４）以前の入力文字列履歴に基づく方法等がよく知られている。尚、（２）の方法を用いれば、長い文字列や文章等を省略して入力した場合でも補完することが可能になる。また、（３）及び（４）の方法のように、頻度情報や履歴情報を用いることによって、操作者の意図する補完文字列をより精度よく提示することが可能になる。また、本実施の形態においては、上記表示されている文書内に存在する文字列から探索を行う方法も有効である。
【０１２５】
また、ワープロ等において用いられる仮名漢字変換または漢字仮名変換を用いて、補完対象文字列を仮名漢字変換または漢字仮名変換して得られる文字列も補完対象文字列として補完候補を生成する方法もある。この方法によれば、漢字と仮名が混じった補完対象文字列から漢字文字列の補完や仮名文字列の補完が可能になる。
【０１２６】
以上のごとく、本実施の形態においては、表示部２５に表示されている文書の一部を書き換え編集するに際して、表示された文字列に補完位置と補完文字数を指定するジェスチャを表すストロークを入力する。そして、ジェスチャ判定部２３によって、入力ストロークが正しいジェスチャであるか否かを判定し、ジェスチャである場合にはジェスチャによって指定される補完の対象となる文字列（補完対象文字列）を特定する。そして、候補生成部２４によって、ジェスチャ判定部２３で得られたジェスチャストロークに基づいて、上記特定された補完対象文字列に関する補完の位置と補完文字数条件との補完情報を生成する。さらに、辞書等を用いて上記補完情報の条件を満たすような補完文字列候補を生成して表示部２５に表示するようにしている。
【０１２７】
したがって、本実施の形態によれば、文書の一部を書き換える場合に書き換え用の文の入力を省略することができ、編集の労力を大幅に軽減することができるのである。
【０１２８】
その場合に、書き換えの対象文字列を指定するための補完対象文字列が補完文字列候補の先頭に在る場合は勿論のこと、補完文字列候補の中間や最後に存在する場合であっても、操作者が意図する補完文字列候補を精度よく生成することができる。さらに、複数の文字をジェスチャで指示することによって、補完文字列候補の数を大幅に絞り込むことができる。その結果、操作者が意図する補完文字列候補を精度よく提示させることができ、入力効率を向上することができるのである。
【０１２９】
尚、上述の説明においては、１種類のジェスチャを使用する場合を例に挙げているが、上記第１実施の形態において図２４に示したように、ジェスチャの種類毎に異なる補完文字列生成方法を適用するようにしてもよい。
【０１３０】
具体的には、
（ａ）一般単語辞書やユーザ辞書等の辞書毎にジェスチャを割り当てる
（ｂ）探索する単語の品詞毎にジェスチャを割り当てる
（ｃ）補完位置や補完文字数等の補完条件毎にジェスチャを割り当てる
等が考えられる。その場合、（ａ），（ｂ）の方法では、操作者が補完したい文字列の情報をジェスチャによってＣＰＵに伝えることができ、操作者の意図する補完文字列候補をより精度よく提示することが可能になる。また、（ｃ）の方法では、操作者はジェスチャと文字列との位置関係ではなく、ジェスチャの形状によって補完位置と補完文字数条件とを指定できるようになる。
【０１３１】
さらに、上述の説明においては、操作者が筆記入力を終了した後に直ぐ補完文字列候補が表示され、操作者はその表示候補から目的とする候補を選択するようにしている。しかしながら、この発明はこれに限定されるものではなく、候補選択を行っている時間がない場合に、筆記入力だけを行って、そのストローク情報を記憶部２２に記憶しておく。そして、時間がある場合に補完文字列候補選択を行うようにしてもよい。その場合には、記憶部２２を、手書き入力装置の電源がオフされても記憶内容が保持できる構成にする。そして、図２６に示す文字列補完処理動作のフローチャートにおいて、筆記入力時にはステップＳ４３の入力終了までを行い、操作者が時間のあるときにステップＳ４４のジェスチャ判定以降の処理を再開できるようにするための処理再開指示手段を別途設ければよい。
【０１３２】
また、上記筆記入力時にはステップＳ４４のジェスチャ判定までの処理を行っておき、処理再開時にはステップＳ４５のジェスチャの存在判別以降の処理を行うようにしてもよい。また、上記筆記入力時にはステップＳ４６の補完情報の決定までの処理を全ジェスチャに対して行っておき、処理再開時にはステップＳ４７の補完文字列候補生成からステップＳ５０の候補選択結果の表示までの処理を全ジェスチャに対して行うようにしてもよい。また、筆記入力時にはステップＳ４７の補完文字列候補生成までの処理を全ジェスチャに対して行っておき、処理再開時にはステップＳ４８の補完文字列候補の表示からステップＳ５０の候補選択結果の表示までの処理を全ジェスチャに対して行うようにしてもよい。
【０１３３】
これらの手書き入力処理動作を二回に分けて実行する方法によれば、操作者が後で全ストロークデータを表示させた際に、補完を意図した文字列部分の識別が容易であり、ジェスチャの形状やサイズ等によってどのような文字列の補完を意図したのかも判別し易いという効果も得られる。
【０１３４】
＜第３実施の形態＞
本実施の形態は、手書きによって一部を省略した文字列を入力し、省略部分を補完した文字列候補を、ジェスチャを用いずに表示させるものに関する。
【０１３５】
図３４は、本実施の形態の手書き入力装置における機能的構成を示す機能ブロック図である。この手書き入力装置は簡単なコンピュータ上に構成され、入力部３１，記憶部３２，文字列認識部３３，候補生成部３４および表示部３５を含んで構成されている。
【０１３６】
上記入力部３１はタブレット等を含んで構成され、文字列が手書きで入力される。そして、入力部３１から手書き入力された文字列のストローク情報が記憶部３２に記憶される。文字列認識部３３は、記憶部３２に記憶されたストローク情報に基づいて、当該ストロークを文字列として認識する。候補生成部３４は、文字列認識部３３で認識された文字によって指定された文字列の補完文字列候補を生成する。表示部３５は、入力部３１から入力されたストローク，記憶部３２に記憶されたストローク，文字列認識部３３による認識結果および候補生成部３５で生成された補完文字列候補を表示する。
【０１３７】
ここで、上記ストロークとは、入力部３１を介して入力された座標情報あるいは点列データを指す。尚、入力部３１および表示部３５は、個別に設けても良いし、表示装置上に透明のタブレットを積層配置して成る表示一体型タブレットとして設けても差し支えない。
【０１３８】
また、図３４に示す手書き入力装置のハードウェア構成は、上記第１実施の形態において図２に示すハードウェア構成と同様である。
【０１３９】
以下、上記手書き入力装置における動作について説明する。図３５は、本実施の形態における入力例（図３５（ａ））および表示例（図３５（ｂ））である。操作者は、「私はシャープの」の入力を意図して、図３５（ａ）に示すように「私はシの」と「シャープ」の部分を省略して「シ」のみを筆記している。この手書き入力文字列が文字列認識された結果、第１候補として図３５（ｂ）に示すように文字列「私はシの」が得られたとする。その場合に、操作者は、入力部３１より文字「シ」の候補表示指示を行うことによって、図３５（ｃ）に示すように文字「シ」の認識候補と共に、各候補を先頭文字とする補完文字列候補が表示部３５に表示される。そこで、入力部３１より文字「シ」の補完文字列候補「シャープ」を選択することによって、文字「シ」が補完文字列候補「シャープ」に置き換わって表示部３５に表示されるのである。ここで、文字列認識の結果、第１候補として文字列「私は三の」が得られた場合でも、文字「三」の候補表示指示を行うことによって、意図していた補完文字列候補「シャープ」を選択することが可能になるのである。
【０１４０】
図３６は、上記ＣＰＵによる制御の下に実行される第１候補文字列を表示するまでの手書き入力処理動作のフローチャートである。以下、図３６に従って、上記手書き入力処理動作について詳細に説明する。
【０１４１】
ステップＳ６１で、操作者によって上記入力部３１が操作されて、手書き文字列のストロークが筆記入力される。ステップＳ６２で、表示部３５によって、上記入力された手書き文字列のストロークがリアルタイムに表示される。さらに、記憶部３２によって、上記入力された手書き文字列のストローク情報が記憶される。ステップＳ６３で、入力部３１からの情報に基づいて、手書き入力が終了したか否かが判別される。その結果、終了した場合にはステップＳ６４に進む一方、終了でなければ上記ステップＳ６１に戻って次の入力スロトークの処理に移行する。尚、手書き入力終了の判定方法は上記第１実施の形態の場合と同様である。
【０１４２】
ステップＳ６４で、上記文字列認識部３３によって、記憶部３２に記憶されているストローク情報に基づいて文字列認識が行われる。ステップＳ６５で、表示部３５によって、上記文字列認識の結果得られた第１候補文字列が表示される。そうした後、手書き入力処理動作を終了する。
【０１４３】
尚、上記手書き入力処理動作における上記ステップＳ６４において実行される文字列認識処理を高速化するために、手書き入力中にも文字列認識処理を逐次行っておき、上記ステップＳ６４においては最終的な文字列認識結果のみを生成するようにしても差し支えない。
【０１４４】
次に、上述したように、上記手書き入力処理動作によって表示部３５に表示されている第１候補文字列の全体または部分文字列の認識候補の補完文字列候補を生成して表示する補完文字列候補生成処理動作について図３７のフローチャートに従って説明する。上記表示されている第１候補文字列の全文字列または部分文字列が入力部３１によって指示されると、補完文字列候補生成処理動作がスタートする。
【０１４５】
ステップＳ７１で、上記候補生成部３４によって、上記文字列認識部３３による認識結果の他候補リストが取得される。ステップＳ７２で、候補生成部３４によって、上記取得されたリスト内の夫々の文字列を補完対象文字列として補完文字列候補が生成される。ステップＳ７３で、表示部３５によって、図３５（ｃ）に例示するように、認識候補と各認識候補の補完文字列候補とが表示される。そうした後に、補完文字列候補生成処理動作を終了する。
【０１４６】
その際に、上記補完文字列候補生成処理動作のステップＳ７２において実行される補完文字列候補の生成には、上記第１，第２実施の形態の場合と同様の方法を適用することができる。
【０１４７】
以上のごとく、本実施の形態においては、手書きによって一部を省略した文字列を入力部３１から入力し、省略部を補完した文字列候補を表示部３５に表示させるに際して、入力された各ストロークを文字列認識部３３によって文字列として認識し、認識結果の第１候補文字列が表示部３５に表示される。そして、入力部３１によって上記第１候補文字列の全体または部分文字列が指定されると、候補生成部３４によって、上記指定された文字列に関する認識候補が取得され、各認識候補を含む補完文字列候補を生成するようにしている。
【０１４８】
すなわち、本実施の形態によれば、文字列認識部３３による認識結果の第１候補文字列が間違っている場合でも、認識間違いの修正と合わせて補完文字列の選択が可能となり、入力の効率向上を図ることができるのである。
【０１４９】
尚、図３５（ｃ）においては、全認識候補の補完文字列候補を一括表示しているが、図３８（ａ）に示すように、入力部３１を構成するペン４１の先端が存在する何れか１つの認識候補が仮選択され、その仮選択された認識候補の補完文字列候補のみを表示するようにしてもよい。この場合、予め全認識候補の補完文字列候補を生成していてもよいし、何れか１つの認識候補が仮選択された時点で対応する補完文字列候補を生成するようにしてもよい。
【０１５０】
さらに、図３８（ｂ）に示すように、各認識候補の表示領域４２内に補完文字列候補の表示を指示するための領域４３を設けて、操作者がペン（図示せず）でその領域４３を指示した場合に補完文字列候補の表示を行うようにしてもよい。この場合も、予め全認識候補の補完文字列候補を生成していてもよいし、補完文字列候補表示が指示された時点で対応する補完文字列候補を生成するようにしてもよい。
【０１５１】
尚、本実施の形態においても、上記補完文字列候補の生成の際に、以前の入力文字列履歴に基づいて生成することによって、操作者の意図する補完文字列をより精度よく提示することが可能になる。
【０１５２】
また、ワープロ等において用いられる仮名漢字変換または漢字仮名変換を用いて、補完対象文字列を仮名漢字変換または漢字仮名変換して得られる文字列も補完対象文字列として補完候補を生成する方法もある。この方法によれば、漢字と仮名が混じった補完対象文字列から漢字文字列の補完や仮名文字列の補完が可能になる。
【０１５３】
＜第４実施の形態＞
本実施の形態は、上記第１〜第３実施の形態において述べた各機能を実現するための手書き入力プログラムあるいは文字列補完プログラムが記録された記録媒体に関するものである。上記プログラムはコンピュータで読み取り可能な記録媒体に格納される。
【０１５４】
この記録媒体は、図２に示す手書き入力装置によって処理を行うために必要なメモリ、例えばプログラムメモリ１１のような自体がプログラムメディアであってもよいし、外部記憶媒体ドライバ１８としてのプログラム読み取り装置に装着されて読み取りが行われるプログラムメディア（磁気テープやＣＤ−ＲＯＭ等）であってもよい。何れの場合においても、上記プログラムメディアに格納されているプログラムは、ＣＰＵ１９によって直接アクセスされて実行される構成であってもよいし、一旦読み出されて図２における所定のプログラム記憶エリア（例えば、プログラムメモリ１１のプログラム記憶エリア）にロードされた後にＣＰＵ１９によって読み出して実行される構成であってもよい。尚、上記ロード用のプログラムは、予め当該装置に格納されているものとする。
【０１５５】
すなわち、上記プログラムメディアとは、装置本体と分離可能に構成され、磁気テープやカセットテープ等のテープ系、フレキシブルディスク，ハードディスク等の磁気ディスクやＣＤ‐ＲＯＭ，ＭＯ（光磁気）ディスク，ＭＤ（ミニディスク），ＤＶＤ（ディジタル多用途ディスク）等の光ディスクのディスク系、ＩＣ（集積回路）カード（メモリカードを含む）や光カード等のカード系、マスクＲＯＭ，ＥＰＲＯＭ（紫外線消去型ＲＯＭ），ＥＥＰＲＯＭ（電気的消去型ＲＯＭ），フラッシュＲＯＭ等の半導体メモリ系を含めた、固定的にプログラムを坦持する媒体であればよい。
【０１５６】
また、上記各実施の形態における手書き入力装置は、インターネットを含む通信ネットワーク１５と通信Ｉ／Ｆ１６を介して接続可能な構成を有している。したがって、上記プログラムメディアは、通信ネットワーク１５からのダウンロード等によって流動的にプログラムを坦持する媒体であっても差し支えない。尚、その場合における上記通信ネットワーク１５からダウンロードするためのダウンロード用プログラムは、予め当該装置に格納されているものとする。あるいは、別の外部記録媒体から予め当該装置本体にインストールされるものとする。
【０１５７】
尚、上記記録媒体に記録されるものはプログラムのみに限定されるものではなく、データも記録することが可能である。
【０１５８】
また、上述した各実施の形態は全ての点において例示であって制限的なものではない。この発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等な意味および範囲内での全ての変更が含まれることが意図される。
【０１５９】
【発明の効果】
以上より明らかなように、この発明は、入力された各ストロークが入力文字列の補完を指示するためのジェスチャであるか否かを判定し、ジェスチャである場合には当該ジェスチャに基づいて補完対象文字列ストローク群を特定し、上記ジェスチャ以外のストロークに基づいて文字列を認識し、上記補完対象文字列ストローク群に関する文字列認識結果と上記ジェスチャのストローク／補完対象文字列ストローク群の位置関係とに基づいて補完対象文字列，補完位置および補完文字数でなる補完情報を決定し、この補完情報を満たす補完文字列候補を生成するので、上記ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず中間や最後尾に存在する場合でも、操作者の意図する補完文字列候補を精度よく生成することができる。したがって、文や単語の途中であっても上記補完対象文字列を指定することが可能になる。さらに、上記ジェスチャによって複数の文字を指示することによって、生成される補完文字列候補の数を大幅に絞り込むことができる。
【０１６０】
すなわち、この発明によれば、操作者の意図する補完文字列候補を精度よく提示することが可能になり、手書き入力効率を大幅に向上することができる。
【０１６１】
また、この発明は、表示されている文書中の文字列の補完を指示するジェスチャが入力されると、当該ジェスチャによって特定される上記文書中の文字列情報と上記ジェスチャのストローク／上記特定文字列の位置関係とに基づいて補完対象文字列，補完位置および補完文字数でなる補完情報を決定し、この補完情報を満たす補完文字列候補を生成するので、上記文書中の文字列を書き換える場合には、書き換え用の文の入力を省略することが可能になる。したがって、上記文書の編集に要する労力を大幅に削減することができるのである。また、その際に、上記ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず中間や最後尾に存在しても、操作者の意図する補完文字列候補を精度よく生成することができる。さらに、上記ジェスチャによって複数の補完対象文字列を指示することによって、生成される補完文字列候補の数を大幅に絞り込むことができる。
【０１６２】
すなわち、この発明によれば、操作者の意図する補完文字列候補を精度よく提示することが可能になり、手書き入力効率を大幅に向上することができる。
【０１６３】
また、この発明は、入力された各ストロークに基づいて文字列を認識して認識結果の第１候補文字列を表示し、上記第１候補文字列の全文字列または部分文字列を指定するとこの指定された文字列に関する認識候補文字列を取得し、そのうちの少なくとも一つの候補文字列を含む補完文字列候補を生成するので、表示されている上記第１候補文字列の文字列を指定するだけで、指定文字列を含む省略文字列を補完するための補完文字列候補を生成することができる。したがって、手書き入力の労力を大幅に削減することができる。
【０１６４】
さらに、上記文字列認識による認識結果が間違っている場合でも、間違っている文字列を指定すれば、全認識候補と各認識候補の文字列を含む補完文字列候補とを提示できる。したがって、手書き入力の効率向上を図ることができるのである。
【図面の簡単な説明】
【図１】この発明の手書き入力装置における機能ブロック図である。
【図２】図１に示す手書き入力装置のハードウェア構成を示す図である。
【図３】図２におけるＣＰＵによる制御の下に実行される手書き入力処理動作のフローチャートである。
【図４】楕円状のジェスチャを示す図である。
【図５】直線状のストロークからなるジェスチャを示す図である。
【図６】楕円と直線とを繋いだ１ストロークからなるジェスチャを示す図である。
【図７】楕円と直線とを組み合わせた複数ストロークからなるジェスチャを示す図である。
【図８】文字列が縦配列や斜め配列である場合のジェスチャを示す図である。
【図９】図３に示す手書き入力処理動作において実行されるジェスチャ判定処理動作のフローチャートである。
【図１０】楕円状のジェスチャを用いた入力例を示す図である。
【図１１】文字または文字の一部である丸とジェスチャである丸との書き分けを説明するための図である。
【図１２】楕円状ジェスチャから閉図形を抽出するための説明図である。
【図１３】文字または文字の一部である直線とジェスチャである直線との書き分けを説明するための図である。
【図１４】文字または文字の一部である直線とジェスチャである直線との図１３とは異なる書き分けを説明するための図である。
【図１５】文字または文字の一部である直線とジェスチャである直線との図１３および図１４とは異なる書き分けを説明するための図である。
【図１６】直線状ジェスチャから閉図形を抽出するための説明図である。
【図１７】複数行に亙って文字列が入力された場合における直線状ストロークの筆記例を示す図である。
【図１８】楕円状のジェスチャを用いた場合における補完文字列候補生成の説明図である。
【図１９】図３に示す手書き入力処理動作において実行される補完対象文字列，補完位置，補完文字数条件の決定処理動作のフローチャートである。
【図２０】補完情報の一例を示す図である。
【図２１】直線状のジェスチャを用いた場合の筆記例と生成される補完情報例とを示す図である。
【図２２】図２０に示す補完情報に基づいて生成された補完文字列候補の一例を示す図である。
【図２３】仮名漢字変換または漢字仮名変換を用いて生成された補完文字列候補の一例を示す図である。
【図２４】ジェスチャの種類毎に異なる補完文字列生成方法を適用する場合の一例を示す図である。
【図２５】図１とは異なる手書き入力装置の機能ブロック図である。
【図２６】図２５に示す手書き入力装置による文字列補完処理動作のフローチャートである。
【図２７】楕円状のジェスチャを示す図である。
【図２８】直線状のストロークからなるジェスチャを示す図である。
【図２９】折れ線状のジェスチャを示す図である。
【図３０】楕円と直線とでなるジェスチャを示す図である。
【図３１】補完対象文字列の特定方法の説明図である。
【図３２】折れ線状のジェスチャを用いた場合における補完位置，補完文字数条件の決定の説明図である。
【図３３】補完情報の一例を示す図である。
【図３４】図１および図２５とは異なる手書き入力装置の機能ブロック図である。
【図３５】図３４に示す手書き入力装置への入力例および表示例を示す図である。
【図３６】図３４に示す手書き入力装置による第１候補文字列を得るまでの手書き入力処理動作のフローチャートである。
【図３７】図３４における候補生成部によって実行される補完文字列候補生成処理動作のフローチャートである。
【図３８】認識候補とその補完文字列候補との表示例を示す図である。
【符号の説明】
１，２１，３１…入力部、
２，２２，３２…記憶部、
３，２３…ジェスチャ判定部、
４，３３…文字列認識部、
５，２４，３４…候補生成部、
６，２５，３５…表示部、
１１…プログラムメモリ、
１２…データメモリ、
１３…入力装置、
１４…表示装置、
１５…通信ネットワーク、
１６…通信Ｉ／Ｆ、
１７…外部記録媒体、
１８…外部記憶媒体ドライバ、
１９…ＣＰＵ。
【図１】
2004046359.tif 000003
【図２】
2004046359.tif 000004
【図３】
2004046359.tif 000005
【図４】
2004046359.tif 000006
【図５】
2004046359.tif 000007
【図６】
2004046359.tif 000008
【図７】
2004046359.tif 000009
【図８】
2004046359.tif 000010
【図９】
2004046359.tif 000011
【図１０】
2004046359.tif 000012
【図１１】
2004046359.tif 000013
【図１２】
2004046359.tif 000014
【図１３】
2004046359.tif 000015
【図１４】
2004046359.tif 000016
【図１５】
2004046359.tif 000017
【図１６】
2004046359.tif 000018
【図１７】
2004046359.tif 000019
【図１８】
2004046359.tif 000020
【図１９】
2004046359.tif 000021
【図２０】
2004046359.tif 000022
【図２１】
2004046359.tif 000023
【図２２】
2004046359.tif 000024
【図２３】
2004046359.tif 000025
【図２４】
2004046359.tif 000026
【図２５】
2004046359.tif 000027
【図２６】
2004046359.tif 000028
【図２７】
2004046359.tif 000029
【図２８】
2004046359.tif 000030
【図２９】
2004046359.tif 000031
【図３０】
2004046359.tif 000032
【図３１】
2004046359.tif 000033
【図３２】
2004046359.tif 000034
【図３３】
2004046359.tif 000035
【図３４】
2004046359.tif 000036
【図３５】
2004046359.tif 000037
【図３６】
2004046359.tif 000038
【図３７】
2004046359.tif 000039
【図３８】
2004046359.tif 000040