(57)【特許請求の範囲】
【請求項１】
ユーザにより連続して入力された文字列を認識する手書き文字認識方法において、
上記入力された文字列の複数のストローク結合における単文字認識精度に関する特徴量を、複数のストローク結合の単文字認識結果と上記複数のストローク結合においてストロークを切り出すことによって形成される複数のサブストローク結合の単文字認識結果とに基づいて計算する計算工程と、
上記複数のストローク結合においてストロークを切り出すことによって形成される複数のサブストローク結合の空間幾何学的な関係に基づいて、上記複数のストローク結合の空間幾何学的な特徴量を判定する第１の判定工程と、
単文字認識精度に関する上記特徴量と上記空間幾何学的な特徴量とに基づいて、複数の切り出しパターンについて、上記入力された文字列の各ストローク結合の切り出し信頼度を判定する第２の判定工程と、
上記切り出し信頼度に基づいて切り出しパスを判定する第３の判定工程と、
判定された上記切り出しパスに応じた文字列認識の結果をユーザに提示する提示工程と、を含み、
上記切り出し信頼度を判定する第２の判定工程は、複数の切り出しパターンについて、ロジスティック回帰モデルを用いて上記入力された文字列の各ストローク結合の切り出し信頼度を計算する工程を含んでいることを特徴とする手書き文字認識方法。
【請求項２】
複数の書字パターンの文字を認識するためにマルチテンプレートマッチング法を採用することによって、上記単文字認識結果を得ることを特徴とする、請求項１に記載の手書き文字認識方法。
【請求項３】
さらに、辞書データベースまたは言語モデルを用いて、上記文字列認識の後処理を実行する後処理工程を含んでいることを特徴とする、請求項１に記載の手書き文字認識方法。
【請求項４】
上記単文字認識精度に関する上記特徴量は、マージ後のサブストローク結合における単文字認識精度、上記マージ後のサブストローク結合における単文字認識精度と上記複数のサブストローク結合における単文字認識精度との精度差、および、上記マージ後のサブストローク結合における他の候補の単文字認識精度に対する第１候補の単文字認識精度の比率、のうちの少なくとも１つ以上を含んでおり、
上記複数のストローク結合の上記空間幾何学的な特徴量は、上記複数のサブストローク結合におけるバウンディングボックス間の間隔、上記マージ後のサブストローク結合の幅、直前のサブストローク結合の終了ポイントとその次のサブストローク結合の開始ポイントとの間のベクトルおよび距離、並びに、直前のサブストローク結合の開始ポイントとその次のサブストローク結合の開始ポイントとの間の距離、のうちの少なくとも１つ以上を含んでいる、ことを特徴とする請求項１に記載の手書き文字認識方法。
【請求項５】
上記ロジスティック回帰モデルのリスクファクタが、ストローク結合の複数種類の特徴量である、ことを特徴とする請求項１に記載の手書き文字認識方法。
【請求項６】
上記ロジスティック回帰モデルの切片および回帰係数を、サンプルのデータ訓練によって推定する、ことを特徴とする請求項１に記載の手書き文字認識方法。
【請求項７】
上記切り出し信頼度に基づいて切り出しパスを判定する第３の判定工程は、N-best法または動的計画法を用いて上記切り出しパスを計算する工程を含んでいる、ことを特徴とする請求項１に記載の手書き文字認識方法。
【請求項８】
文字列認識の結果を提示する提示工程は、上記ユーザに、上記文字列認識の結果とともに上記文字列認識の結果候補群の少なくとも一部を提示する工程を含んでいる、ことを特徴とする請求項１に記載の手書き文字認識方法。
【請求項９】
候補となる切り出しパターン群のうちのある切り出しパターンが選択されると、選択された当該切り出しパターンに含まれる上記文字列認識の結果がユーザに提示される、ことを特徴とする請求項８に記載の手書き文字認識方法。
【請求項１０】
単文字が選択されると、選択された当該単文字を含む上記文字列認識の結果がユーザに提示される、ことを特徴とする請求項８に記載の手書き文字認識方法。
【請求項１１】
ユーザにより連続して入力された文字列を認識する手書き文字認識装置において、
上記ユーザにより連続して入力される文字列を収集するように構成された手書き文字入力ユニットと、
上記文字列における複数のストローク結合を認識することによって、単文字認識結果を得るように構成された単文字認識ユニットと、
上記入力された文字列の複数のストローク結合における単文字認識精度に関する特徴量を、上記複数のストローク結合の単文字認識結果と上記複数のストローク結合においてストロークを切り出すことによって形成される複数のサブストローク結合の単文字認識結果とに基づいて計算するように構成された切り出しユニットであって、上記複数のサブストローク結合の空間幾何学的な関係に基づいて上記複数のストローク結合の空間幾何学的な特徴量を判定し、単文字認識精度に関する上記特徴量と上記空間幾何学的な特徴量とに基づいて複数の切り出しパターンについて上記入力された文字列の各ストローク結合の切り出し信頼度を判定し、さらに、上記切り出し信頼度に基づいて切り出しパスを判定する切り出しユニットと、
判定された上記切り出しパスに応じた文字列認識の結果をユーザに提示するよう表示スクリーンを制御するように構成された表示制御ユニットと、を備え、
上記切り出しユニットが、複数の切り出しパターンについて、ロジスティック回帰モデルを用いて上記入力された文字列の各ストローク結合の切り出し信頼度を計算することを特徴とする手書き文字認識装置。
【請求項１２】
上記単文字認識ユニットがマルチテンプレートマッチング法を用いて複数の書字パターンの文字を認識することを特徴とする請求項１１に記載の手書き文字認識装置。
【請求項１３】
さらに、辞書データベースまたは言語モデルを用いて上記文字列認識の後処理を実行するように構成された、後処理ユニットを備えていることを特徴とする請求項１１に記載の手書き文字認識装置。
【請求項１４】
上記単文字認識精度に関する上記特徴量は、マージ後のサブストローク結合における単文字認識精度、上記マージ後のサブストローク結合における単文字認識精度と上記複数のサブストローク結合における単文字認識精度との精度差、および、上記マージ後のサブストローク結合における他の候補の単文字認識精度に対する第１候補の単文字認識精度の比率、のうちの少なくとも１つ以上を含んでおり、
上記複数のストローク結合の上記空間幾何学的な特徴量は、上記複数のサブストローク結合におけるバウンディングボックス間の間隔、上記マージ後のサブストローク結合の幅、直前のサブストローク結合の終了ポイントとその次のサブストローク結合の開始ポイン
トとの間のベクトルおよび距離、並びに、直前のサブストローク結合の開始ポイントとその次のサブストローク結合の開始ポイントとの間の距離、のうちの少なくとも１つ以上を含んでいる、ことを特徴とする請求項１１に記載の手書き文字認識装置。
【請求項１５】
上記切り出しユニットが、N-best法または動的計画法を用いて上記切り出しパスを計算する、ことを特徴とする請求項１１に記載の手書き文字認識装置。
【請求項１６】
上記表示制御ユニットが、上記ユーザに、上記文字列認識の結果とともに上記文字列認識の結果候補群の少なくとも一部を提示する、ことを特徴とする請求項１１に記載の手書き文字認識装置。
【請求項１７】
候補となる切り出しパターン群のうちのある切り出しパターンが選択されると、上記表示制御ユニットが、選択された当該切り出しパターンに含まれる上記文字列認識の結果をユーザに提示する、ことを特徴とする請求項１６に記載の手書き文字認識装置。
【請求項１８】
単文字が選択されると、上記表示制御ユニットが、選択された当該単文字を含む上記文字列認識の結果をユーザに提示する、ことを特徴とする請求項１６に記載の手書き文字認識装置。
【請求項１９】
上記ロジスティック回帰モデルのリスクファクタが、ストローク結合の複数種類の特徴量である、ことを特徴とする請求項１１に記載の手書き文字認識装置。
【請求項２０】
上記ロジスティック回帰モデルの切片および回帰係数を、サンプルのデータ訓練によって推定する、ことを特徴とする請求項１１に記載の手書き文字認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、文字入力に関する。より具体的には、本発明は、より高い入力効率でユーザが連続して枠無しで手入力した文字列を認識可能な手書き文字認識方法および手書き文字認識装置に関する。
【背景技術】
【０００２】
現在、携帯電話のような各種電子機器には手書き文字認識モジュールが広く用いられている。このことは、電子機器と情報のやりとりをするユーザにとって好都合である。手書き認識モジュールがあれば、ユーザは、他の文字入力方法を、キーボードを叩くことによって学習する必要がない。
【０００３】
非特許文献１（以下参照）は、切り出しパターンの物理的特徴量（オフストロークの特徴量）をデザインすることにより、枠無しで手入力した文字列を認識する手書き文字認識方式を開示している。この方法では、オフストローク情報は、直前のストロークにおける最後のサンプリングポイントと次のストロークにおける最初のサンプリングポイントとから得ることができ、図１では破線で示されている。物理情報は、さらに、切り出しパターンの幅／高さといった情報、および、対応する切り出しパターンにおける書字時間を含んでいる。この方式では、上記物理情報は、切り出しパターンの形、位置、および間隔に関する情報、ストローク長、オフストロークの平均距離、オフストロークの平均時間、オフストロークの距離、オフストロークの正弦角度および余弦角度、ならびにオフストローク間隔を含んでいる。この方式では、直前のストロークの終了時点から現在のストロークの開始地点へのオフストローク処理に着目することによって、手書き入力を認識するようになっている。
【０００４】
この手書き文字認識方式は、異なる文字間で筆跡がつながり得ることを前提としており、文字間のオフストロークの距離および期間の両方が、文字内のオフストロークの距離および期間よりも大きくなければならない。また、この方式は、各ストロークの分布が正規分布に従うことを前提としている。この前提に基づき、この手書き文字認識方式では、確率モデルを用いた特徴量の平均および分散に基づいて切り出しパターンの尤度を計算している。この方式では、最後に、動的計画法を用いて最良の切り出しパスを決定するようになっている。
【０００５】
上述した非特許文献１には、手書き文字列のセグメンテーションが、各ストロークの書字時間に依存してしまうという問題が存在する。この方式において、オフストロークの期間は非常に重要な特徴量である。この方式は、切り出しパターン間のオフストロークの期間が長いほど切り出しがより正確になることを前提としている。この前提は、ユーザが略一定の速度で字を書く場合には妥当である。しかしながら、例えば、しばらく字を早く書き、その後しばらく字をゆっくり書くといったように、通常、ユーザが字を書く速度は電子機器の利用中に変化するものである。したがって、ユーザが字を書いている間に字を書く速度を変化させる場合、非特許文献１に開示されている方式で手書き文字を正確に切り出すのは非常に困難である。
【０００６】
また、上述した非特許文献１の手書き文字認識方式には、切り出しが正確であるかを判定するために幾何学的特徴量および時間的特徴量だけしか用いていないという別の問題がある。この方式は、文字間のオフストロークの距離が文字内におけるストローク間のオフストロークの距離よりも長いことを前提としている。しかしながら、そのような前提は必ずしも正しくない。非特許文献１は、図２に示すような切り出しエラーの典型的な例をいくつか列挙している。特定の文字間におけるオフストロークの距離は文字内のストローク間におけるオフストロークの距離よりも短いことが図２からわかる。図２の１つ目の例に示されているように、文字内のストローク間の間隔が大き過ぎるために“５”の文字が余分に切り出されているが、２つ目の例と３つ目の例に示されているように、入力文字列の文字間の距離が大きく変化し、尚且つ、文字のサイズが大きく異なる場合には、切り出しエラーが発生する。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】日立製作所、「自由文読み取りのためのオフストロークの特徴量を利用したオンライン文字切り出し方式」、ＩＣＦＨＲ（International Conference on Frontiers in Handwriting Recognition）、ラ・ボル、フランス、２００６年
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、書字速度の変化に関わらず、ユーザが連続して入力した文字列を認識可能な手書き文字認識方法および手書き文字認識装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の一態様によれば、ユーザが連続して枠無しで手入力した文字列を認識する手書き文字認識方法が提案される。上記方法は、上記入力された文字列の複数のストローク結合における単文字認識精度に関する特徴量を、複数のストローク結合の単文字認識結果と上記複数のストローク結合においてストロークを切り出すことによって形成される複数のサブストローク結合の単文字認識結果とに基づいて計算する計算工程と、上記複数のストローク結合においてストロークを切り出すことによって形成される複数のサブストローク結合の空間幾何学的な関係に基づいて、上記複数のストローク結合の空間幾何学的な特徴量を判定する第１の判定工程と、単文字認識精度に関する上記特徴量と上記空間幾何学的な特徴量とに基づいて、複数の切り出しパターンについて、上記入力された文字列の各ストローク結合の切り出し信頼度を判定する第２の判定工程と、上記切り出し信頼度に基づいて切り出しパスを判定する第３の判定工程と、判定された上記切り出しパスに応じた文字列認識の結果をユーザに提示する提示工程と、を含んでいる。
【００１０】
本発明の他の態様によれば、ユーザが連続して枠無しで手入力した文字列を認識する手書き文字認識装置が提案される。上記手書き文字認識装置は、ユーザにより連続して入力される文字列を収集するように構成された手書き文字入力ユニットと、上記文字列における複数のストローク結合を認識することによって、単文字認識結果を得るように構成された単文字認識ユニットと、上記入力された文字列の複数のストローク結合における単文字認識精度に関する特徴量を、上記複数のストローク結合の単文字認識結果と上記複数のストローク結合においてストロークを切り出すことによって形成される複数のサブストローク結合の単文字認識結果とに基づいて計算するように構成された切り出しユニットであって、上記複数のサブストローク結合の空間幾何学的な関係に基づいて上記複数のストローク結合の空間幾何学的な特徴量を判定し、単文字認識精度に関する上記特徴量と上記空間幾何学的な特徴量とに基づいて複数の切り出しパターンについて上記入力された文字列の各ストローク結合の切り出し信頼度を判定し、さらに、上記切り出し信頼度に基づいて切り出しパスを判定する切り出しユニットと、判定された上記切り出しパスに応じた上記文字列認識の結果をユーザに提示するよう表示スクリーンを制御するように構成された表示制御ユニットと、を備えている。
【００１１】
手書き枠の無い方法を採用しているので、ユーザは連続して文字列を入力でき、その結果、手書き文字入力効率が改善される。ユーザが各手書き枠に各文字を書き込むことを必要とする入力方法に関しては、文字を書いている間の中断により、ユーザの思考が妨げられ、入力速度が低下する。各文字を規定の複数の手書き枠に書き込むことを必要とする(例えば、昨今の携帯電話で一般的である２つの枠での入力方法は、ユーザが２つの手書き枠を頻繁に切り替えることを必要とする)方法も、ユーザの手書きの癖を変えてしまい、手書き入力の効率が低下する。しかしながら、本発明の一態様に係る上記方法および装置は、手書きの癖を変えることなく、連続した文字列入力を可能にし、さらに、複数の認識結果を個別にまたは全部まとめて出力することを可能にする。
【００１２】
本態様に係る上記方法および上記装置は、上記文字列の切り出し信頼度を計算している間、一般に使用される空間幾何学的な特徴量だけでなく、マージ後のストローク結合の単文字精度および上記複数のサブストローク結合の単文字精度を考慮する。その結果、上記方法および上記装置は、従来技術では切り出しが困難な状況、例えば、複数の文字における複数のストロークが空間的に一部重なっていたり、文字内のストロークの間隔が大きすぎたりする状況であっても、正確な切り出しを行うことができる。
【００１３】
さらに、本態様に係る上記方法および上記装置は、文字列の切り出しを行う際に各ストロークの入力時間に依存しないので、ユーザの様々な入力の癖に適応することができる。ユーザが文字を時に速く時に遅く入力するような場合であっても、本態様に係る上記方法および上記装置では、認識の正確さが損なわれない。
【００１４】
さらに、本態様に係る上記方法および装置で採用されるストローク結合の空間幾何学的な特徴量は、文字の平均幅または平均高さの推定量に基づいて正規化される特徴量であるので、本態様に係る上記装置は、任意のサイズの文字列に適応することができる。単文字認識ユニットにおいてマルチテンプレート訓練法およびマルチテンプレートマッチング法が採用されているので、本態様に係る上記方法および装置は、様々なユーザによる様々な書字パターンの文字（例えば、中国人による漢字の簡体字）を正確に認識できる。さらに、本態様に係る上記方法および装置は、言語モデルおよび辞書マッチングを使用するので、上記装置は、スペルチェックおよび文字訂正の機能を有する。
【００１５】
最後に、本態様に係る上記方法および装置が認識を行う対象は、英単語であっても、日本語のかなの組み合わせであっても、中国語の文書であっても、ハングル文字の組み合わせ等であってもよい。手書き文字認識を行うタイミングは、任意に指定できるようになっていてもよい。ユーザが文字列を入力している間に認識結果を継続して更新することも可能であるし、ユーザが文字列全体の入力を完了した後に認識結果を表示することも可能である。
【図面の簡単な説明】
【００１６】
【図１】図１は、オフストロークの特徴量に基づいた従来の文字認識方法を示している。
【図２】図２は、オフストロークの特徴量に基づいて従来技術で文字認識を行った場合に発生する問題を示している。
【図３】図３は、本発明の一実施形態に係る手書き文字認識装置の構成を概略的に示した図である。
【図４】図４は、本発明の一実施形態に係る手書き文字認識装置のサンプル訓練処理を示すフローチャートである。
【図５Ａ】図５Ａは、本発明の一実施形態に係る手書き文字認識装置の複数のストローク結合とそれらの複数のサブストローク結合とを概略的に示した図である。
【図５Ｂ】図５Ｂは、本発明の一実施形態に係る手書き文字認識装置の複数のストローク結合とそれらの複数のサブストローク結合とを概略的に示した図である。
【図５Ｃ】図５Ｃは、本発明の一実施形態に係る手書き文字認識装置の複数のストローク結合とそれらの複数のサブストローク結合とを概略的に示した図である。
【図５Ｄ】図５Ｄは、本発明の一実施形態に係る手書き文字認識装置の複数のストローク結合とそれらの複数のサブストローク結合とを概略的に示した図である。
【図６Ａ】図６Ａは、本発明の一実施形態に係る手書き文字認識装置の複数のストローク結合に関する空間幾何学的な特徴量を概略的に説明した図である。
【図６Ｂ】図６Ｂは、本発明の一実施形態に係る手書き文字認識装置の複数のストローク結合に関する空間幾何学的な特徴量を概略的に説明した図である。
【図６Ｃ】図６Ｃは、本発明の一実施形態に係る手書き文字認識装置の複数のストローク結合に関する空間幾何学的な特徴量を概略的に説明した図である。
【図６Ｄ】図６Ｄは、本発明の一実施形態に係る手書き文字認識装置の複数のストローク結合に関する空間幾何学的な特徴量を概略的に説明した図である。
【図７】図７は、本発明の一実施形態を示すものであり、同一の文字に関する様々な書字パターンを概略的に示した図である。
【図８】図８は、本発明の一実施形態を示すものであり、同一の文字に関する様々な書字パターンを概略的に示した別の図である。
【図９Ａ】図９Ａは、本発明の一実施形態に係るマルチテンプレート訓練およびマルチテンプレートマッチングを概略的に示した図である。
【図９Ｂ】図９Ｂは、本発明の一実施形態に係るマルチテンプレート訓練およびマルチテンプレートマッチングを概略的に示した図である。
【図９Ｃ】図９Ｃは、本発明の一実施形態に係るマルチテンプレート訓練およびマルチテンプレートマッチングを概略的に示した図である。
【図１０】図１０は、本発明の一実施形態に係るロジスティック回帰モデルを示す関数曲線図である。
【図１１】図１１は、本発明の一実施形態に係る手書き文字認識手順を示すフローチャートである。
【図１２Ａ】図１２Ａは、本発明の一実施形態に係る様々な切り出しパスでの切り出しを概略的に示した図である。
【図１２Ｂ】図１２Ｂは、本発明の一実施形態に係る様々な切り出しパスでの切り出しを概略的に示した図である。
【図１２Ｃ】図１２Ｃは、本発明の一実施形態に係る様々な切り出しパスでの切り出しを概略的に示した図である。
【図１３Ａ】図１３Ａは、本発明の一実施形態に係る手書き文字認識装置による文字認識の結果を概略的に示した図である。
【図１３Ｂ】図１３Ｂは、本発明の一実施形態に係る手書き文字認識装置による文字認識の結果を概略的に示した図である。
【図１３Ｃ】図１３Ｃは、本発明の一実施形態に係る手書き文字認識装置による文字認識の結果を概略的に示した図である。
【図１３Ｄ】図１３Ｄは、本発明の一実施形態に係る手書き文字認識装置による文字認識の結果を概略的に示した図である。
【図１４】図１４は、本発明の一実施形態に係る手書き文字認識方法の電子辞書への適用を概略的に示した図である。
【図１５】図１５は、本発明の一実施形態を示すものであり、文字選択および文字の誤り訂正のためにユーザに提示される、認識結果の少なくとも一部分の候補を概略的に示した図である。
【図１６Ａ】図１６Ａは、本発明の一実施形態に係る手書き文字認識方法のノートブック型コンピュータへの適用を概略的に示した図である。
【図１６Ｂ】図１６Ｂは、本発明の一実施形態に係る手書き文字認識方法の携帯電話への適用を概略的に示した図である。
【発明を実施するための形態】
【００１７】
本発明の上述およびその他の目的、特徴、および利点は、後述する発明の詳細な説明を添付の図面と併せて考慮すればすぐに理解できるであろう。
【００１８】
好ましい実施形態を添付の図面を参照して説明する。図面においては、異なる図であっても、同一または類似の部材を示すために同一の参照番号が使用されている。本発明において不要な部材および不要な機能は、簡略にするために省略しており、これにより理解の混乱を避けている。
【００１９】
図３は、本発明の一実施形態に係る手書き文字認識装置の構成を概略的に示した図である。
【００２０】
図３に示すように、本発明の一実施形態に係る手書き文字認識装置は、ユーザが連続して枠無しで手入力した文字列を認識するために使用される。この手書き文字認識装置は、ユーザの手書き文字を収集し、収集した手書き文字を入力文字信号としてデジタル化する手書き文字入力ユニット１１０と、文字入力ユニット１１０によって生成された入力文字信号を保持する手書き文字保持ユニット１２０と、入力された文字列を認識する文字列認識ユニット１３０と、から構成されている。文字列認識ユニット１３０は、切り出しユニット１３２、単文字認識ユニット１３１、および、後処理ユニット１３３の３つのサブユニットから構成されている。
【００２１】
手書き枠無し入力を採用しているので、ユーザは連続して文字列を入力することができる。これにより、手書き文字の入力効率が改善されている。また、全体的な認識結果は、ユーザが文章を完全に入力した後に与えられる。手書き枠内に文字を書くようユーザに要求する従来の入力方法では、文字列を手書きしている間の中断によって、ユーザの思考が停止し、入力速度が落ちてしまう。また、規定の複数個設けられた手書き枠に各文字を書き込んでいくことを要求する方法も、ユーザの手書きの癖を変えてしまい、手書き文字入力の効率を落としてしまう（例えば、昨今の携帯電話で使用される２つの枠での入力方法では、ユーザが、文字を書き込むべき枠を２つの枠の一方からもう一方へと頻繁に切り替えることを必要とする）。しかしながら、本発明の一実施形態に係る手書き文字認識方法および手書き文字認識装置は、ユーザの手書きの癖を変えることなく連続した文字列入力を可能にし、複数の認識結果を個別にまたは全部まとめて出力することを可能にする。
【００２２】
切り出しユニット１３２は、入力文字列に含まれる各ストローク結合の様々な空間幾何学的な特徴量を入力文字信号から抽出するとともに、各ストローク結合の単文字認識結果と単文字認識精度とを単文字認識ユニット１３１を呼び出すことによって取得する。そして、後で詳細に説明するように、切り出しユニット１３２は、ロジスティック回帰モデルに基づいて「切り出しの信頼度」を評価するとともに、N-bestアルゴリズムを用いて最良のＮ個の切り出しパターンを得る。
【００２３】
後処理ユニット１３３は、言語モデルとマッチング辞書データベースとを用いて切り出しユニット１３２の文字列認識結果を訂正する。
【００２４】
図３に示すように、本発明の一実施形態に係る手書き文字認識装置は、さらに、表示制御ユニット１５０と候補選択ユニット１４０とを備えている。表示制御ユニット１５０は、ユーザが手書き文字入力ユニット１１０にストロークを入力すると表示スクリーンに文字を表示してユーザに提示するよう、システムを制御する。その一方で、表示制御ユニット１５０は、ユーザによる選択のために、文字列認識ユニット１３０によって生成された認識候補を表示スクリーンに表示する。候補選択ユニット１４０は、ユーザの操作に基づいて、対応する複数の候補の中から文字列または単文字を選択するとともに、認識結果をユーザ、または他のアプリケーション、例えば、認識結果を明示する辞書アプリケーションに提示する。
【００２５】
本発明の一実施形態によれば、文字列認識ユニット１３０によって利用されるロジスティック回帰モデルの切片および回帰係数は、サンプルのデータ訓練によって推定される。
【００２６】
図４は、本発明の一実施形態に係る手書き文字認識装置の訓練処理を示すフローチャートである。
【００２７】
本発明の一実施形態によれば、データ訓練のサンプルは、単文字のサンプルだけでなく文字内の各ストロークおよび文字内のいくつかのストロークの結合、または、２つの異なる文字内のストロークの結合を含んでいる。上記各サンプルは、１種のストローク結合として規定される。
【００２８】
図４に示すように、ステップＳ１０において、手書き文字が収集される。ステップＳ１１において、収集されたデータが対応するストローク結合クラスに追加される。ステップＳ１２において、後処理が行われ、ステップＳ１３において、ストローク結合の特徴量が計算される。
【００２９】
サンプル訓練の特徴量は、ロジスティック回帰モデルにおいてｍ次元の特徴量（Ｘ1,Ｘ2,…,Ｘm）である。ストローク結合の特徴量は、サブストローク結合のバウンディングボックス間の間隔、マージ後のサブストローク結合の幅、サブストローク結合間のベクトルおよび距離、マージ後のサブストローク結合の単文字認識精度、マージ後の認識精度と複数のサブストローク結合の認識精度との精度差、マージ後のサブストローク結合における第１候補の単文字精度の、他の候補の単文字精度に対する比、等を含んでいる。
【００３０】
ステップＳ１３において特徴量の計算を行う前に、ステップＳ１２において前処理を実行すべきである。前処理は、上記複数のストローク結合の空間幾何学的な特徴量を正規化する準備として、入力された文字列の各文字の幅および高さに基づいて文字の平均高さ及び平均幅を推定する処理である。これにより、本発明の一実施形態に係る手書き文字認識装置を、任意のサイズの文字列に適用することができる。
【００３１】
本発明の一実施形態に係るサブストローク結合（以下では、「サブストローク」と略称する）という概念について、文字列内のｋ番目のストロークからｋ＋３番目のストロークまでの切り出しの例を挙げて説明する。図５Ａ、図５Ｂ、図５Ｃおよび図５Ｄに示すようにｋ番目のストロークから可能な切り出しパターンが４通り存在する。
【００３２】
１）１ストローク結合はｋ番目のストロークのみを含み、サブストロークを含まない。
【００３３】
２）２ストローク結合はｋ番目のサブストロークとｋ＋１番目のサブストロークとを含む。
【００３４】
３）３ストローク結合には２つのサブストローク分類モードが存在する。
モード１：直前のサブストロークがｋ番目のストロークであり、その次のサブストロークがｋ＋１番目のストロークとｋ＋２番目のストロークとのストローク結合である。
モード２：直前のサブストロークがｋ番目のストロークとｋ＋１番目のストロークとのストローク結合であり、その次のサブストロークがｋ＋２番目のストロークである。
【００３５】
４）４ストローク結合には３つのサブストローク分類モードが存在する。
モード１：直前のサブストロークがｋ番目のストロークであり、その次のサブストロークがｋ＋１番目のストロークとｋ＋２番目のストロークとｋ＋３番目のストロークとのストローク結合である。
モード２：直前のサブストロークがｋ番目のストロークとｋ＋１番目のストロークとのストローク結合であり、その次のサブストロークがｋ＋２番目のストロークとｋ＋３番目のストロークとのストローク結合である。
モード３：直前のサブストロークがｋ番目のストロークとｋ＋１番目のストロークとｋ＋２番目のストロークとのストローク結合であり、その次のサブストロークがｋ＋３番目のストロークである。
【００３６】
サブストローク結合が、特定の“ストローク結合”に含まれるストロークを順番に切り出すことによって形成される様々な結合となり得ることが本発明の実施形態からわかる。例えば、図５Ｃに示すように、“ｋ、ｋ＋１、ｋ＋２”の書き順のストローク結合では、サブストローク結合が、ストローク“ｋ”とストローク“ｋ＋１”との間で切り出すことによって生成される“サブストローククラス１”にもストローク“ｋ＋１”とストローク“ｋ＋２”との間で切り出すことによって生成される“サブストローククラス２”にもなり得る。
【００３７】
本発明の一実施形態に係る装置では、文字列内の可能なすべてのストローク結合について、ストローク結合の様々な特徴量（単文字認識精度の特徴量およびサブストローク結合の空間幾何学的な特徴量を含む）が計算される。様々な特徴量の詳細を次に列挙しておく。
【００３８】
（ａ）マージ後のサブストロークの単文字認識精度Ｃmerge：この値が大きいほど単文字にマージされる可能性が大きくなる。
【００３９】
（ｂ）２つのサブストロークのマージ後の認識精度Ｃmergeと単文字認識精度Ｃstr1およびＣstr2との精度差（２＊Ｃmerge―Ｃstr1―Ｃstr2）：精度差が０より大きいことは、２つのストロークが単文字にマージされる可能性が、２つのストロークが各々単文字になる可能性よりも大きいことを意味する。上記精度差が大きいほど、単文字にマージされる可能性が大きくなる。
【００４０】
（ｃ）マージ後のサブストロークにおける第１候補の単文字認識精度Ｃmergeの、上記マージ後のサブストロークにおける他の候補の単文字認識精度ＣmergeTに対する比（Ｔは単文字認識のＴ番目の候補を示し、Ｔの値は設定可能である）：比が比較的大きいことは、マージ後のストローク結合と単文字認識の第１候補との間のマッチング距離が非常に近く、マージ後のストローク結合と他の候補との間のマッチング距離が遠いことを意味し、単文字にマージされる可能性が比較的高いことを示す。
【００４１】
（ｄ）サブストロークにおける２つのバウンディングボックス間の間隔gap/Ｗavg（またはgap/Ｈavg）：サブストローク間の間隔が小さいほど、マージ後に単文字を形成する可能性が大きくなる。間隔がマイナス値をとる場合、マージ後に単文字を形成する可能性が非常に高くなる。
【００４２】
（ｅ）マージ後のサブストロークの幅Ｗmerge/Ｗavg（またはＷmerge/Ｈavg）：マージ後の幅が小さいほど、単文字を形成する可能性が高くなる。
【００４３】
（ｆ）直前のサブストロークにおけるサンプリング終了ポイントと、その次のサブストロークにおけるサンプリング開始ポイントとの間のベクトルＶs2-e1/Ｗavg（またはＶs2-e1/Ｈavg）
（ｇ）直前のサブストロークにおけるサンプリング終了ポイントと、その次のサブストロークにおけるサンプリング開始ポイントとの間の距離ｄs2-e1/Ｗavg（またはｄs2-e1/Ｈavg）
（ｈ）直前のサブストロークにおけるサンプリング開始ポイントと、その次のサブストロークにおけるサンプリング開始ポイントとの間の距離ｄs2-s1/Ｗavg（またはｄs2-s1/Ｈavg）
上記の特徴量において、“/”は除算符号を示しており、ＷavgおよびＨavgは、前処理手続中に推定される文字の平均幅および平均高さを示している。（ｄ）〜（ｈ）の空間幾何学的な特徴量は図６Ａ〜図６Ｄを参照しており、図中のドットは、各ストロークの開始ポイントを示している。
【００４４】
上記（ａ）（ｂ）および（ｃ）の特徴量については、ステップ１４において単文字認識ユニットを呼び出すことにより、マージ後のサブストロークの単文字認識精度Ｃmergeおよび他の候補の単文字認識精度ＣmergeT、並びに、２つのサブストロークの単文字認識精度Ｃstr1およびＣstr2が得られる。
【００４５】
本発明の一実施形態に係る単文字認識ユニットは、単文字を認識するためにテンプレートマッチング法を採用している。単文字認識精度は、テンプレートマッチングの距離によって決定される。距離が小さいほど、精度が高くなる。単文字認識のサンプル訓練において、特徴量のテンプレートを生成するのに機械学習アルゴリズム（例えば、ＧＬＶＱ）が採用される。単文字特徴量ベクトルは、“ストローク方向の分布特徴量”、“グリッドストロークの特徴量”および“周辺方向の特徴量”を含んでいる。特徴量を抽出する前に、前処理が実行される。この前処理は、“等方平滑化”、“重心正規化”および“非線形正規化”といったサンプルの特徴量を調整するための動作を含んでいる。テンプレートマッチングにおいては、マッチング速度を改善するために、段階的に候補を除いていく“多段階カスケードマッチング”が採用される。上記単文字認識法が中国特許出願公開第１０１３５４７４９号明細書に開示されており、当該出願のすべての内容が参照により本発明に含まれている。
【００４６】
実際に字を書いている間には、様々なユーザが同一の文字を様々な書字パターンで書くのが普通である。例えば、英語の“Ａ”という文字には、図７に示すような複数通りの書字パターンが存在し得る。
【００４７】
日本語の“機”という漢字には図８に示すような３通りの書字パターンが存在するが、図８における後半の２つの書字パターンは簡体字である。
【００４８】
したがって、手書き文字認識の信頼性を改善するために、本発明の一実施形態に係る装置では“マルチテンプレート訓練”法を採用することによって同一文字の様々な書字パターンについて個別に訓練を実行する。したがって、様々な書字パターンの文字を認識するために“マルチテンプレート訓練”法を使用することができる。“マルチテンプレート訓練”を実行するために、収集されたサンプルは、最初に様々な書字パターンに基づいて分類される。本実施形態は、例えば上述した“機”という漢字については、サンプル訓連中にマルチテンプレートを形成するために図９Ａ、図９Ｂおよび図９Ｃに示されている３つのフォーマットのサンプルを採用する。
【００４９】
図４に示すように、ステップＳ１５において、ロジスティック回帰モデルの係数が計算される。手書き文字列の認識を実現する上で重要なことは、文字列を正しく切り出すことである。本発明の一実施形態に係る装置及び方法は、入力文字列の様々な特徴量に基づいて、様々な種類の切り出しパターンについて、入力文字列の各ストローク結合における切り出しの信頼度を評価する。本実施形態における切り出しの信頼度を示す式は、ロジスティック回帰モデル（ＬＲＭ）を採用しており、式（１）で表される。
【００５０】
【数１】
0005405586.tif 000002
【００５１】
ロジスティック回帰モデルの関数曲線図が図１０に示されている。Ｙが−∞〜＋∞の範囲で変化する場合、ｆ（Ｙ）の値は０から１まで変動する。このことは、切り出しの信頼度が０％から１００％まで変動する。Ｙ＝０である場合はｆ（Ｙ）＝０．５であり、切り出しの信頼度が５０％であることを示している。
【００５２】
上記ロジスティック回帰モデルにおいて、
【００５３】
【数２】
0005405586.tif 000003
【００５４】
である。Ｘ＝（ｘ1,ｘ2,…,ｘm）は、ロジスティック回帰モデルのリスクファクタである。本実施形態に係る装置および方法が切り出しの信頼度を計算するときには、Ｘ＝（ｘ1,ｘ2,…,ｘm）は、ストローク結合のｍ次元特徴量を示している。（β0,β1,β2,…,βm）は、ロジスティック回帰モデルの切片および回帰係数を示している。
【００５５】
文字列における可能なすべてのストローク結合のｍ次元特徴量を計算した後、本実施形態に係る装置および方法は、切り出しの信頼度のためにロジスティック回帰モデルの切片β0および回帰係数（β1,β2,…,βm）を、最尤推定法（または、最小二乗推定法のような他のパラメータ推定法）を用いて推定する。
【００５６】
ｎ通りのストローク結合のサンプルが存在し、その観測値が各々（Ｙ1,Ｙ2,…,Ｙn）であると仮定する。ｉ番目のストローク結合については、ｍ次元特徴量がＸi＝（ｘi1,ｘi2,…,ｘim）であり、観測値がＹiである。Ｎ個の回帰関係は、
【００５７】
【数３】
0005405586.tif 000004
【００５８】
のように表現してもよい。
【００５９】
サンプル訓練中、ｉ番目のストローク結合に信頼性がある場合、
【００６０】
【数４】
0005405586.tif 000005
【００６１】
とし、ｉ番目のストローク結合に信頼性がない場合（すなわち、ストローク結合パターンが正しくない場合）
【００６２】
【数５】
0005405586.tif 000006
【００６３】
とする。Ｙ＝ｇ（Ｘ）＝β0＋β1Ｘ1＋β2Ｘ2＋…＋βmＸmをロジスティック回帰モデルの式に置き換えると、
【００６４】
【数６】
0005405586.tif 000007
【００６５】
が得られる。
【００６６】
ｐi＝Ｐ（ｆi＝１｜Ｘi）をｆi＝１となる確率として設定すると、ｆi＝０となる条件付き確率はＰ（ｆi＝０｜Ｘi）＝１−ｐiとなる。従って、ある観測値の確率は、
【００６７】
【数７】
0005405586.tif 000008
【００６８】
となる。
【００６９】
各観察は独立しているので、結合分布は、各周辺分布の積として表すことができ、
【００７０】
【数８】
0005405586.tif 000009
【００７１】
となる。
【００７２】
上記式は、ｎ個の観測値の尤度関数と呼ばれる。その目的は、この関数値を最大にするパラメータを推定することにある。したがって、最尤推定の要は、上記尤度関数を最大にするような最も適切なパラメータ（β0,β1,β2,…,βm）を推定することにある。上記尤度関数の対数をとると、対数尤度関数が得られる。対数尤度関数の導関数を計算することによって、ｍ＋１個の尤度方程式が得られる。最後に、ニュートン・ラフソン法を用いてこれらｍ＋１個の尤度方程式を繰り返し計算することによって、ロジスティック回帰モデルの係数（β0,β1,β2,…,βm）を得ることができ、本実施形態に係る装置において認識手続で使用するためにロジスティック回帰モデルの係数（β0,β1,β2,…,βm）を保存することができる。
【００７３】
本発明の別の一実施形態によれば、各切り出しパターンにおける入力文字列の切り出しの信頼度を、正規分布モデルを用いて計算することもできる。
【００７４】
図１１は、本発明の一実施形態に係る手書き文字認識手続を示すフローチャートである。図１１に示すように、ステップＳ２０において、ユーザが手書き文字を入力すると、手書き文字入力ユニット１１０に文字列のストロークが収集される。そして、収集された手書き文字は、ステップＳ２１において、手書き文字保存ユニット１２０に保存され、ステップＳ２２において、表示制御ユニット１５０によってユーザインターフェース内に表示される。
【００７５】
そして、文字列認識ユニット１３０は、手書き文字保存ユニットに保存されているストロークを対象として、ステップＳ２３において“前処理”を行い、ステップＳ２４において“ストローク結合の特徴量の計算”を行い、ステップＳ２５において“単文字認識”を行い、ステップＳ２６において“切り出しの信頼度の計算”を行い、ステップＳ２７において“切り出しの最適パスの選択”を行い、ステップＳ２８において“認識の後処理”を行う。
【００７６】
詳細には、ステップＳ２３、Ｓ２４およびＳ２５の実行手続きは、サンプル訓練による上述したロジスティック回帰モデルの係数推定のステップと似ている。ステップＳ２３において、ストローク結合の空間幾何学的な特徴量を正規化する準備として、文字列の各文字の幅および高さに基づいて文字の平均高さＨavg及び平均幅Ｗavgを推定する処理のために前処理が実行される。これにより、本発明の一実施形態に係る手書き文字認識装置を、任意のサイズの文字列に適用することができる。
【００７７】
ステップＳ２４では、文字列内の可能なすべてのストローク結合について、ストローク結合の様々な特徴量（単文字認識精度の特徴量およびサブストローク結合の空間幾何学的な特徴量を含む）が計算される。
【００７８】
ステップＳ２５では、単文字認識ユニットを呼び出すことにより、マージ後のサブストロークの単文字認識精度Ｃmergeおよび他の候補の単文字認識精度ＣmergeT、並びに、２つのサブストロークの単文字認識精度Ｃstr1およびＣstr2が得られる。
【００７９】
ステップＳ２６では、本実施形態に係る方法は、上述したロジスティック回帰モデルの式（１）および式（２）を用い、入力文字列の各特徴量（（Ｘ1,Ｘ2,…,Ｘm））およびサンプル訓練により得られる係数（β0,β1,β2,…,βm）に基づいて、様々な切り出しパターンについて、入力文字列の各ストローク結合における切り出しの信頼度ｆ（Ｙ）を評価する。
【００８０】
ステップＳ２７では、N-Best法を用いて最もあり得るＮ個の切り出しパスを計算する。各ストロークの開始ポイントは要素ノードとして定義され、要素ノードと要素ノードの組み合わせとのいずれかから構成されるパスは、対応するストローク結合である。各部分パスのコスト関数は、Ｃ（Ｙ）＝１−ｆ（Ｙ）である。換言すれば、切り出しの信頼度が高いほど、部分パスのコスト関数の値が小さくなる。N-Best法は、すべての通過するパスのコスト関数値の合計値が最小となるパス、２番目に小さくなるパス、・・・Ｎ番目に小さくなるパスからなる最良のＮ個のパスを選択するために使用される。
【００８１】
N-Best法は、様々な手段で実装することができる。例えば、動的計画法（ＤＰ）とスタックアルゴリズムとを組み合わせることにより、複数の候補を生成することができる。本実施形態では、N-Best法は、２つのステップ、すなわち、前方検索と後方検索とを含んでいる。前方検索は、改良ビタビアルゴリズム（ビタビアルゴリズムは、最もあり得る暗黙的な状態のシーケンスを検索する動的計画法である）を用いて、各要素ノードに転送すべき最も良いＮ個の部分パスの状態（すなわち、通過するパスのコスト関数値の合計値）を記録する。ｋ番目の要素ノードの状態は、ｋ−１番目の要素ノードの状態にのみ依存している。後方検索は、Ａ＊アルゴリズムに基づいたスタックアルゴリズムである。各ノードｋのヒューリスティック関数は、開始ポイントからｋ番目のノードまでの最短パスのコスト関数の合計値を表す“パスコスト関数”と、ｋ番目のノードからターゲットノードまでのパスのコスト推定値を示す“ヒューリスティック推定関数”と、の２つの関数の合計である。後方検索では、スタックのパススコアはフルパススコアであり、最適パスは、常にスタックの先頭に位置している。したがって、このアルゴリズムは、大域的最適アルゴリズムである。
【００８２】
ユーザが図６Ａに示すような“define”という手書き文字列を入力したと仮定する。図１２Ａは、本発明の一実施形態に係る手書き文字列の切り出し結果を示している。N-Best法による最もあり得る３つの切り出しパターンが、それぞれ図１２Ａ、図１２Ｂおよび図１２Ｃに示されている。第１の切り出しパターンにおける各文字の単文字認識結果の第１候補は“define”（すなわち、正解）であり、第２の切り出しパターンにおける各文字の単文字認識結果の第１候補は“ccefine”であり、第３の切り出しパターンにおける各文字の単文字認識結果の第１候補は“deftine”である。
【００８３】
最後に、ステップＳ２８にて、本実施形態に係る方法は、後処理を実行し、辞書（英単語辞書）とのマッチングまたは言語モデル（例えば有向グラフモデル）によって、認識結果の誤り（例えば英単語のスペル誤り）を訂正する。
【００８４】
ステップＳ２９では、表示制御ユニット１５０が、手書き文字認識結果および関連する候補をユーザに提示するよう、表示スクリーンを制御する。これにより、ユーザは、候補選択ユニット１４０に表示された認識結果を選択または確認できる（デフォルトの認識結果は、第１の切り出しパターンにおける各文字の単文字認識結果の第１候補である）。ユーザは、文字列の候補となる切り出しパターン群の中から正しい切り出しパターンを選択するか、または、各文字の候補から正しい認識結果を選択することにより、文字列中の認識結果の一部を手作業で（例えば、対応する候補の中から認識結果を選択する単文字またはフレーズをクリックすることにより）訂正することができる。図１５は、本発明の一実施形態に従って選択または訂正のためにユーザに提示される、クリックされた単文字の候補を概略的に示している。
【００８５】
ステップＳ３０は、ユーザが特定の候補を確定または選択したかどうかを検出する。ユーザがいずれの候補も確定または選択せずに字を書き続けている場合、処理はステップＳ２０に戻り、上述した認識処理を継続する。特定の候補が選択されたことを検出した場合、ステップＳ３１は、認識結果を候補の中から選択し、当該認識結果を表示するか、または、他のアプリケーションに提供する。同時に、ステップＳ３２では、手書き入力の認識結果が更新される。
【００８６】
文字列の切り出しの信頼度を表示している間、本実施形態に係る方法および装置は、一般に用いられる空間幾何学的な特徴量だけでなく、マージ後のストローク結合の単文字認識精度、および、サブストローク結合の単文字認識精度をも考慮する。結果として、従来技術では正確な切り出しが困難であるような場合、例えば、異なる文字のストロークが一部空間的に重なっていたり、文字内のストロークの間隔が大き過ぎたりする場合であっても、正確に切り出しを行って認識結果を得ることができる。
【００８７】
さらに、本実施形態に係る方法および装置は、文字列を切り出すときに各ストロークの入力時間に依存しないので、ユーザの様々な入力の癖に適応できるようになっている。ユーザが文字を時に速く入力し時に遅く入力する場合であっても、本実施形態に係る方法および装置では、切り出しが正確でなくなったりはしない。
【００８８】
さらに、本実施形態に係る方法および装置において採用されているストローク結合の空間幾何学的な特徴量は、推定された文字の平均幅および文字の平均高さに基づいて正規化される特徴量である。したがって、本実施形態に係る装置は、任意のサイズの文字列に適応することができる。本実施形態に係る方法および装置は、マルチテンプレート訓練およびマルチテンプレートマッチング法を単文字認識に採用しているので、様々なユーザによる様々な書字パターンの文字（例えば、中国人による漢字の簡体字）を正確に認識することができる。さらに、本実施形態に係る方法および装置は、言語モデルおよび辞書マッチングを採用しているので、上記装置は、スペルチェックおよびワード訂正の機能を備えている。
【００８９】
最後に、本実施形態に係る方法および装置の認識対象は、英単語であっても、日本語のかなの組み合わせであっても、中国語の文書であっても、ハングル文字の組み合わせ等であってもよい。手書き文字認識を行うタイミングは、任意に指定できるようになっていてもよい。ユーザが文字列を入力している間に認識結果を継続して更新することも可能であるし、ユーザが文字列全体の入力を完了した後に認識結果を表示することも可能である。
【００９０】
図１３Ａ、図１３Ｂ、図１３Ｃおよび図１３Ｄは、本実施形態に係る手書き文字認識装置による手書き文字認識結果を概略的に示した図である。認識処理中には、ストローク結合の空間幾何学な特徴量だけでなく単文字認識精度が考慮されている。その結果、従来技術では正確な切り出しが困難であるような場合、例えば、異なる文字のストロークが一部空間的に重なっていたり、文字間の距離が文字内のストローク間の距離よりも小さかったり、手書き入力中に文字サイズが変化したりする場合であっても、正確に認識できる。“ｄ”のストロークと“ｅ”のストロークとが空間的に一部重なっており、“ｆ”のストロークと“ｉ”のストロークとが空間的に一部重なっている例が図１３Ｄに示されている。
【００９１】
【数９】
0005405586.tif 000010
【００９２】
と、
【００９３】
【数１０】
0005405586.tif 000011
【００９４】
との間隔が、
【００９５】
【数１１】
0005405586.tif 000012
【００９６】
の内部のストローク間の距離よりも小さいこと、および、“日”と“本”との間隔が“語”の内部のストローク間の距離よりも小さいことが、図１３Ａおよび図１３Ｃに示されている。“かいしゃいん”の各文字のフォントサイズが互いに異なっていること、および、“define”の各文字のフォントサイズが互いに異なっていることが、図１３Ｂおよび図１３Ｄに示されている。本発明の上記実施形態に係る方法は、上述の場合に正しく認識を行うことができる。
【００９７】
図１４は、本発明の一実施形態に係る電子辞書を示している。図１４に示すように、一連の英語の手書き文字が認識され、認識結果が表示される。認識した英単語を英和辞典で検索することにより、入力される手書き文字の日本語訳がユーザに提示される。図１５に示すように、ユーザが認識結果から特定の単文字をクリックすると、当該単文字の候補が訂正用にユーザに提示される。
【００９８】
端的に言うと、本実施形態により、ユーザは、文字列全体の認識結果を全体として訂正することができ、任意の単文字の認識結果を訂正することもできる。
【００９９】
本発明の別の一実施形態によれば、図１６Ａおよび図１６Ｂに示すように、表示領域と手書き入力領域とを異なるプレーンに構成してもよいし、同一プレーンに構成してもよい。例えば、ノートブック型コンピュータの手書き文字入力領域は、キーボードが位置するプレーンに構成することができる。
【０１００】
上述したように、本発明の方法および装置は、入力手段または制御手段として手書き文字入力を採用可能な任意の端末製品（例えば、パーソナルコンピュータ、ラップトップ、ＰＤＡ、電子辞書、ＭＦＰ、携帯電話、大型のタッチスクリーンを備える手書き文字入力装置等）に適用または組み込むことができる。
【０１０１】
詳細な説明および図面は、本発明の原理を例示しているに過ぎない。明示されてはいないが、発明の原理を具現化し、本発明の精神および範囲内に含まれるような異なる構成を当業者であれば実現できることに留意すべきである。上述した説明においては、各ステップについて複数の例が記載されている。発明者は、関連のある例を説明するように努力したが、これらの例は、表示番号に応じた対応関係を有していることを意味している訳ではない。選択された複数の例で制限される条件間に矛盾が生じない限り、対応しない表示番号を持つ複数の例によって技術的解決手段を構成してもよく、そのような技術的解決手段は、本発明に包含されるとみなされる。
【０１０２】
特許請求の範囲は、これまでに例示した形態および構成要素そのものに限定されないものと理解すべきである。ここで説明したシステム、方法および装置の動作および詳細については、特許請求の範囲から逸脱しない限り、様々な修正、変更、および変形を施すことができる。
【図１】
0005405586.tif 000013
【図２】
0005405586.tif 000014
【図３】
0005405586.tif 000015
【図４】
0005405586.tif 000016
【図５Ａ】
0005405586.tif 000017
【図５Ｂ】
0005405586.tif 000018
【図５Ｃ】
0005405586.tif 000019
【図５Ｄ】
0005405586.tif 000020
【図６Ａ】
0005405586.tif 000021
【図６Ｂ】
0005405586.tif 000022
【図６Ｃ】
0005405586.tif 000023
【図６Ｄ】
0005405586.tif 000024
【図７】
0005405586.tif 000025
【図８】
0005405586.tif 000026
【図９Ａ】
0005405586.tif 000027
【図９Ｂ】
0005405586.tif 000028
【図９Ｃ】
0005405586.tif 000029
【図１０】
0005405586.tif 000030
【図１１】
0005405586.tif 000031
【図１２Ａ】
0005405586.tif 000032
【図１２Ｂ】
0005405586.tif 000033
【図１２Ｃ】
0005405586.tif 000034
【図１３Ａ】
0005405586.tif 000035
【図１３Ｂ】
0005405586.tif 000036
【図１３Ｃ】
0005405586.tif 000037
【図１３Ｄ】
0005405586.tif 000038
【図１４】
0005405586.tif 000039
【図１５】
0005405586.tif 000040
【図１６Ａ】
0005405586.tif 000041
【図１６Ｂ】
0005405586.tif 000042