(57)【要約】【課題】入力された手書き文字の検索を行う際に、その検索精度を向上させることができるようにする。【解決手段】手書き文字入力部２−１から入力され、手書き文字認識部３−３で認識された手書き文字と、当該文字の標準字体との正確度（一致度）を決定する正確度決定部３−４と、当該決定された一致度に基づいて検索候補範囲を決定する検索候補範囲決定部３−５と、手書き文字認識部３−３で認識された手書き文字について前記検索候補範囲に基づいて文章ファイルを検索し、当該検索結果の表示を行う文章検索部３−６を具備する。【選択図】図３
2007213416.tif 000002
【特許請求の範囲】
【請求項１】
手書き文字を入力するための手書き文字入力手段と、
前記手書き文字入力手段から入力された手書き文字を認識する手書き文字認識手段と、
前記手書き文字認識手段で認識された手書き文字と、当該文字の標準字体との一致度を決定する一致度決定手段と、
前記一致度決定手段により決定された一致度に基づいて検索候補範囲を決定する検索候補範囲決定手段と、
前記手書き文字認識手段で認識された手書き文字について前記検索候補範囲に基づいて文字列ファイルを検索し、当該検索結果の表示を行う検索手段と
を有することを特徴とする手書き文字列検索装置。
【請求項２】
手書き文字を入力するための手書き文字入力手段と、
前記手書き文字入力手段から入力された手書き文字を認識する手書き文字認識手段と、
前記手書き文字入力手段から入力された手書き文字の大きさを、入力画面に対する相対的関係から決定する大きさ決定手段と、
前記大きさ決定手段で決定された手書き文字の大きさに基づいて検索エリアを決定する検索エリア決定手段と、
前記手書き文字認識手段で認識された手書き文字について前記検索エリアに基づいて文字列ファイルを検索し、当該検索結果の表示を行う検索手段と
を有することを特徴とする手書き文字列検索装置。
【請求項３】
手書き文字を入力するための手書き文字入力手段と、
前記手書き文字入力手段から入力された手書き文字を認識する手書き文字認識手段と、
前記手書き文字入力手段から入力された手書き文字の入力時間を検出する入力時間検出手段と、
前記入力時間検出手段で検出した手書き文字の入力時間に基づいて検索候補範囲を決定する検索候補範囲決定手段と、
前記手書き文字認識手段で認識された手書き文字について前記検索候補範囲に基づいて文字列ファイルを検索し、当該検索結果の表示を行う検索手段と
を有することを特徴とする手書き文字列検索装置。
【請求項４】
手書き文字を入力するための手書き文字入力手段を具備する手書き文字列検索装置における手書き文字列検索方法であって、
前記手書き文字入力手段から入力された手書き文字を認識する手書き文字認識ステップと、
前記手書き文字認識ステップで認識された手書き文字と、当該文字の標準字体との一致度を決定する一致度決定ステップと、
前記一致度決定ステップにより決定された一致度に基づいて検索候補範囲を決定する検索候補範囲決定ステップと、
前記手書き文字認識手段で認識された手書き文字について前記検索候補範囲に基づいて文字列ファイルを検索し、当該検索結果の表示を行う検索ステップと
を有することを特徴とする手書き文字列検索方法。
【請求項５】
手書き文字を入力するための手書き文字入力手段を具備する手書き文字列検索装置における手書き文字列検索方法であって、
前記手書き文字入力手段から入力された手書き文字を認識する手書き文字認識ステップと、
前記手書き文字入力手段から入力された手書き文字の大きさを、入力画面に対する相対的関係から決定する大きさ決定ステップと、
前記大きさ決定ステップで決定された手書き文字の大きさに基づいて検索エリアを決定する検索エリア決定ステップと、
前記手書き文字認識ステップで認識された手書き文字について前記検索エリアに基づいて文字列ファイルを検索し、当該検索結果の表示を行う検索ステップと
を有することを特徴とする手書き文字列検索方法。
【請求項６】
手書き文字を入力するための手書き文字入力手段を具備する手書き文字列検索装置における手書き文字列検索方法であって、
前記手書き文字入力手段から入力された手書き文字を認識する手書き文字認識ステップと、
前記手書き文字入力手段から入力された手書き文字の入力時間を検出する入力時間検出ステップと、
前記入力時間検出ステップで検出した手書き文字の入力時間に基づいて検索候補範囲を決定する検索候補範囲決定ステップと、
前記手書き文字認識ステップで認識された手書き文字について前記検索候補範囲に基づいて文字列ファイルを検索し、当該検索結果の表示を行う検索ステップと
を有することを特徴とする手書き文字列検索方法。
【請求項７】
請求項４〜６の何れか１項に記載の手書き文字列検索方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された手書き文字を検索キーとして過去に記録した文書ファイルを検索し、検索結果を表示する手書き文字列検索装置、手書き文字列検索方法及び当該文字列検索方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
従来より、入力された文字列に基づいて文書ファイルを検索し、検索結果を表示する検索装置が実現されている。
【０００３】
例えば、下記の特許文献１の文章検索装置では、まず、入力文章の画像から文字の品質、状態に関する情報を検索補助情報として抽出し、文字認識結果と検索補助情報を検索用文章データとして検索用文章データベースに格納している。そして、キーワード入力手段から入力された文章検索のキーワード文字と前記検索用文章データとの照合の際に、抽出した検索補助情報に応じた照合を行っている。
【０００４】
また、例えば、下記の特許文献２の画像検索装置では、まず、文字認識で誤読しやすい文字列の組を格納したデータベースを参照して、指定された文字列を拡張した新たな文字列の組を生成する。そして、生成した文字列の組を検索対象文字列候補として選択可能に表示し、ユーザにより選択されより絞り込まれた文字列と指定された文字列とに基づいて文章画像の文字列検索を行っている。
【０００５】
【特許文献１】特開２００２−３１２３９８号公報
【特許文献２】特開２００２−９２０１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１の文章検索装置は、キーワード入力手段により、検索文字列を入力する構成である。この検索装置では、入力キーワードは文字コード列であり、キーボードや従来からある方法で入力されたものである。ユーザが検索する文字列を明確に認識している場合であれば、この方法で何等問題はなく検索文字列を入力することができるが、ユーザが曖昧な記憶で検索文字列を入力した場合は、検索結果を見てからキーワードを入力する行為を繰り返さなければならない。
【０００７】
また、このキーワード入力手段の中に、手書き文字列認識機能を組込む構成も考えられる。しかし、この場合も単純に組み込んだのみであれば、上記キーボード等による入力と同一の作用の為に文字コードが入力されるのみで、曖昧な記憶で検索文字列を入力した場合は、検索結果を見てからキーワードを入力する行為を繰り返さなければならない。
【０００８】
特許文献１の文章検索装置では、検索対象となる文章の認識手段は、検索補助情報を出力する構成となっているが、この補助情報は、検索対象の文章に関する補助情報であり、文字枠の有無や、入力文字が活字であるか手書きであるか等の情報である。すなわち、検索キーワードとして手書き文字列を入力した場合は、ユーザとしては、手書き文字列であるから付加される情報も有効に活用したいと思料するが、特許文献１の文章検索装置ではそれを実現することができなかった。
【０００９】
また、特許文献２の画像検索装置では、検索対象の文章の認識結果との照合を効率良く行う為に、文字認識で誤読しやすい文字列の組を格納したデータベースを参照して、入力された検索文字列から当該検索文字列を拡張した新たな文字列の組を生成するようにしている。そして、入力された検索文字列（入力キーワード）に基づいて生成された複数の文字列の中から、ユーザにより選択された文字列に基づいて文章画像の文字列検索を行うようにしている。この際、ユーザが的確な文字列を選択すれば有効な検索を実施することができるが、そうでない場合にはユーザが望む検索結果が表示されないことがある。また、特許文献２の画像検索装置では、入力キーワードをキーボードから入力する場合は有効であるが、手書き文字を認識した結果から新たな文字列の組を生成する場合は、より不確定な候補が表示される可能性があり、そのまま検索を実施するのは困難である。
【００１０】
本発明は上述の問題点にかんがみてなされたものであり、入力された手書き文字の検索を行う際に、その検索精度を向上させることができるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明の手書き文字列検索装置は、手書き文字を入力するための手書き文字入力手段と、前記手書き文字入力手段から入力された手書き文字を認識する手書き文字認識手段と、前記手書き文字認識手段で認識された手書き文字と、当該文字の標準字体との一致度を決定する一致度決定手段と、前記一致度決定手段により決定された一致度に基づいて検索候補範囲を決定する検索候補範囲決定手段と、前記手書き文字認識手段で認識された手書き文字について前記検索候補範囲に基づいて文字列ファイルを検索し、当該検索結果の表示を行う検索手段とを有する。
本発明の手書き文字列検索装置における他の態様は、手書き文字を入力するための手書き文字入力手段と、前記手書き文字入力手段から入力された手書き文字を認識する手書き文字認識手段と、前記手書き文字入力手段から入力された手書き文字の大きさを、入力画面に対する相対的関係から決定する大きさ決定手段と、前記大きさ決定手段で決定された手書き文字の大きさに基づいて検索エリアを決定する検索エリア決定手段と、前記手書き文字認識手段で認識された手書き文字について前記検索エリアに基づいて文字列ファイルを検索し、当該検索結果の表示を行う検索手段とを有する。
また、本発明の手書き文字列検索装置におけるその他の態様は、手書き文字を入力するための手書き文字入力手段と、前記手書き文字入力手段から入力された手書き文字を認識する手書き文字認識手段と、前記手書き文字入力手段から入力された手書き文字の入力時間を検出する入力時間検出手段と、前記入力時間検出手段で検出した手書き文字の入力時間に基づいて検索候補範囲を決定する検索候補範囲決定手段と、前記手書き文字認識手段で認識された手書き文字について前記検索候補範囲に基づいて文字列ファイルを検索し、当該検索結果の表示を行う検索手段とを有する。
【００１２】
本発明の手書き文字列検索方法は、手書き文字を入力するための手書き文字入力手段を具備する手書き文字列検索装置における手書き文字列検索方法であって、前記手書き文字入力手段から入力された手書き文字を認識する手書き文字認識ステップと、前記手書き文字認識ステップで認識された手書き文字と、当該文字の標準字体との一致度を決定する一致度決定ステップと、前記一致度決定ステップにより決定された一致度に基づいて検索候補範囲を決定する検索候補範囲決定ステップと、前記手書き文字認識手段で認識された手書き文字について前記検索候補範囲に基づいて文字列ファイルを検索し、当該検索結果の表示を行う検索ステップとを有する。
本発明の手書き文字列検索方法における他の態様は、手書き文字を入力するための手書き文字入力手段を具備する手書き文字列検索装置における手書き文字列検索方法であって、前記手書き文字入力手段から入力された手書き文字を認識する手書き文字認識ステップと、前記手書き文字入力手段から入力された手書き文字の大きさを、入力画面に対する相対的関係から決定する大きさ決定ステップと、前記大きさ決定ステップで決定された手書き文字の大きさに基づいて検索エリアを決定する検索エリア決定ステップと、前記手書き文字認識ステップで認識された手書き文字について前記検索エリアに基づいて文字列ファイルを検索し、当該検索結果の表示を行う検索ステップとを有する。
また、本発明の手書き文字列検索方法におけるその他の態様は、手書き文字を入力するための手書き文字入力手段を具備する手書き文字列検索装置における手書き文字列検索方法であって、前記手書き文字入力手段から入力された手書き文字を認識する手書き文字認識ステップと、前記手書き文字入力手段から入力された手書き文字の入力時間を検出する入力時間検出ステップと、前記入力時間検出ステップで検出した手書き文字の入力時間に基づいて検索候補範囲を決定する検索候補範囲決定ステップと、前記手書き文字認識ステップで認識された手書き文字について前記検索候補範囲に基づいて文字列ファイルを検索し、当該検索結果の表示を行う検索ステップとを有する。
【００１３】
本発明のプログラムは、前記手書き文字列検索方法をコンピュータに実行させるためのものである。
【発明の効果】
【００１４】
本発明によれば、入力された手書き文字の検索を行う際に、その検索精度を向上させることができる。
【００１５】
本発明では、正確な手書き文字を入力した場合は、１００％一致する文字列が含まれる文章を検索結果として提示し、崩した文字の文字列を入力した場合は、より広範囲な文章を検索結果として提示する。ユーザは、そのものずばりの文章を検索したい場合は、正確な画数で手書き文字列を入力すれば良く、曖昧な記憶で文章を探したい場合は、崩した文字を手書きで記入すれば良い。
【００１６】
また、本発明では、ユーザが手書き文字を大きく入力するとインターネットから文章を検索したり、また、手書き文字を小さく入力するとローカルディスク内から検索したりする。このように、検索キーとなる文字列と検索範囲の大きさを同時に指定できるので、検索操作を簡単にすることができる。
【００１７】
また、本発明では、ユーザが検索キーの文字の入力に迷った場合は、その文字の類似文字も含めた文章を検索対象とするため、より正確に検索処理を行うことができる。
【発明を実施するための最良の形態】
【００１８】
（第１の実施形態）
図１は、本発明の実施形態に係る手書き文字列検索システムの概略構成図である。
図１において１は、手書き文字列検索装置である。手書き文字列検索装置１は、液晶表示部２、表示一体型座標入力部、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤ、記録メディアを差し込むスロット、他の情報機器と接続するためのＵＳＢ等のインターフェース、無線通信部、アンテナ４等を有して構成されている。無線通信部は、他の通信機能をもった例えばパーソナルコンピュータと通信を行う。
【００１９】
手書き文字列検索装置１では、座標入力部によって入力された手書き文字の軌跡を認識し、認識結果の文字コードとその付加情報から検索した結果の文章の表示を行う。図１において２は、一般的な液晶表示部であり、その液晶表示部に入力された手書の軌跡、検索結果の文章等を表示する。
【００２０】
図１において３は、一般的なローカルエリアネットワークケーブル（ＬＡＮケーブル）であり、これにより手書き文字列検索装置１は、パーソナルコンピュータ５と通信を行うことができる。図１において４は、無線通信用のアンテナであり、手書き文字列検索装置１で表示している画面の共有や、入力されたテキスト情報等をやり取りする。図１において５は、一般的なパーソナルコンピュータであり、ローカルエリアネットワーク４を介して手書き文字列検索装置１に接続されている。
【００２１】
図２は、本発明の実施形態に係る手書き文字列検索装置１のシステム構成を示すブロック図である。
図２において２−１は、一般的な座標入力部であり、透明抵抗膜デジタイザ等で構成されており、システムバス１１を経由してＣＰＵ６に接続している。図２において２は、前述したように一般的な液晶表示部であり、液晶表示素子、液晶制御回路、表示メモリから構成され、システムバス１１を経由してＣＰＵ６に接続している。
【００２２】
図２において６は、一般的なＣＰＵであり、システムバス１１を介してＲＡＭ７、ＲＯＭ８、座標入力部２−１、液晶表示部２等と接続しており、ＲＯＭ８に記憶されているプログラムによって処理動作を行う。本実施形態では、ＣＰＵ６からの指示により、手書き軌跡の表示や文字フォントの表示が実行される。
【００２３】
図２において７は、一般的なＲＡＭであり、画像データの保存や、ＣＰＵ６での処理において撮影画像処理プログラム等のワーク領域として使われる。図２において８は、一般的なＲＯＭであり、ここに本発明に係る手書き認識処理手順や文章検索処理手順、他の手書き文字列検索装置１上のアプリケーション処理手順等を実行するためのプログラムが記憶されている。また、ＲＯＭ７には、ＣＣＤの制御プログラム、液晶表示部の制御プログラム、他の処理手順のプログラムも記憶されている。
【００２４】
図２において９は、一般的な携帯機器で使用される小型のハードディスク（ＨＤ）であり、システムバス１１を経由してＣＰＵ６に接続されている。本実施形態では、ＨＤ９には、入力された文章ファイル等が記憶されている。
【００２５】
図２において１０は、一般的なローカルエリアネットワーク（ＬＡＮ）のインターフェースであり、これにより外部装置のパーソナルコンピュータ５と通信を行う。図２において１１は、一般的なシステムバスであり、ＣＰＵ６とＲＯＭ６やＲＡＭ８、他のデバイスとのデータやり取りを行うためのものである。
【００２６】
図２において１２は、一般的な無線通信カードであり、内部に無線ＬＡＮのコントローラやアンテナを内蔵している。通信カード１２内のコントローラに規定のコマンドを渡すことによって、無線ローカルエリアネットワークへ接続し、デジタル画像の送受信、制御コマンドの送受信を実行できる。送受信のプロトコル自体は、従来における方法と同一である。
【００２７】
図３は、第１の実施形態に係る手書き文字列検索装置１の機能構成を示すブロック図である。
図３において２−１は、前述した座標入力部であり、透明抵抗膜デジタイザ等で構成されており、ペンで書かれた手書きの軌跡のＸＹ一座表データを読み込むことができる。
【００２８】
図３において３−１は、文字切り部であり、座標入力部２−１で入力された手書文字列の軌跡を表す位置座標データを、指定されたルールにより１文字毎のデータへの分離を行う。
【００２９】
図３において３−２は、手書文字認識辞書であり、認識対象の文字の一般的な手書き軌跡データの正規化データが記憶されている。
【００３０】
図３において３−３は、手書文字認識部である。手書文字認識部３−３は、一般的なオンラインの手書文字認識アルゴリズムによって書かれた手書き文字の軌跡の特徴点を抽出し、手書文字認識辞書３−２に記憶されていデータとのマッチング処理を行い、一番類似している辞書データを第一候補とする。
【００３１】
図３において３−４は、手書き文字正確度決定部であり、入力された手書き文字と手書文字認識辞書３−２に記憶されている標準パターンとの相違から正確度（一致度）を決定し、当該正確度の情報を出力する。
【００３２】
図３において３−５は、検索候補範囲決定部であり、手書き文字正確度決定部３−４のから送られてくる正確度の情報に基づいて検索結果の表示範囲を決定する。
【００３３】
図３において３−６は、文章検索部であり、手書文字認識部３−３で出力された文字列を検索キーとして、検索候補範囲決定部３−５で決定した表示範囲に基づいて蓄積文章の検索を行う。
【００３４】
図３において２は、前述した一般的な液晶表示部であり、文章検索部３−６で検索した結果を示す文章画像等の表示を行う。
【００３５】
図４は、検索キーの手書き文字の入力画面を示す図であり、図５は、図４に示した手書き文字の認識処理後の画面を示す図である。また、図６及び図７は、１文字の入力文字と手書文字認識辞書３−２に記憶されている標準パターンとの関係を示す図である。図８は、第１の実施形態に係る手書き文字列検索装置１の手書き検索キー入力処理のフローチャートである。
【００３６】
以下、図８のフローチャートに沿って、手書き文字列検索装置１の処理を説明する。
図４に示す検索キーワード入力領域４−１にユーザが手書き文字を入力し、検索キー４０２の押下（クリック）や、一定時間が経過した際に、手書き文字の認識が開始される。この際、自由筆記の文字列の筆跡が、図２の座標入力部２−１によってＸＹ位置座標データとして入力される。そして、入力バッファに文字列分のデータが記憶される。この一般的な手書き文字の認識の開始処理が行われてから、図８のフローチャートの処理が開始される。
【００３７】
まず、ステップＳ８−１では、手書き検索キー入力処理が開始され、ワーク領域等が確保される。
【００３８】
続いて、ステップＳ８−２では、手書き入力文字列から１文字毎に文字軌跡データを切り出す処理を行う。この文字切り処理は、文字切り部３−１で行われ、当該処理は従来からある一般的なアルゴリズムで構わない。例えば、文字列全体の高さを基に仮想１文字枠を作成し、その中に含まれる軌跡を１文字データとして順次切り分けていく処理等により文字を分離する。図４に示した手書きのデータであれば、３文字に切り分けられる。
【００３９】
続いて、ステップＳ８−３では、ステップＳ８−２で切り出された１文字の筆跡データと、手書文字認識辞書３−２内の標準筆跡パターンとのマッチング処理を順次行う。このマッチング処理は、手書文字認識部３−３で行われ、当該処理自体は、従来からある一般的なアルゴリズムで構わない。例えば、正規化した入力筆跡データから特徴点を抽出し、予め標準的な筆跡から作られた特徴点データとの距離計算から、一番類似している手書文字認識辞書３−２内の標準筆跡パターンを認識結果として出力する。
【００４０】
ここで、図６及び図７の説明を行う。
図６において６−１は、手書きで入力された入力文字であり、「齊」が８筆で書かれた例を示している。図６において６−２は、手書文字認識辞書３−２内の標準筆跡パターンであり、１２筆で書かれた筆跡が辞書化されている。
【００４１】
図７は、もう１つの入力例を示している。
図７において７−１は、手書きで入力された入力文字であり、「齊」が１２筆で書かれた例を示している。
【００４２】
ここで、本実施形態では、図７のように、手書文字認識辞書３−２内の標準筆跡パターンと同一形状で入力文字が書かれた場合は正確度が８０％以上となる。また、図６のように、手書文字認識辞書３−２内の標準筆跡パターンと異なる筆数で入力文字が書かれた場合は正確度が８０％以下となる。
【００４３】
続いて、ステップＳ８−４では、認識結果の辞書パターンのチェックを行う。正しい画数の辞書パターンが認識結果の辞書パターンである場合はステップＳ８−５に進み、崩した字形の辞書パターンが認識結果の辞書パターンである場合はステップＳ８−６に進む。この処理は、手書文字認識辞書３−２内の標準パターンがある文字に対して複数のパターンを記憶していて、１つのパターンは正しい画数で書かれた筆跡のパターンであり、もう１つのパターンは、崩して書かれた（草書のような）筆跡のパターンである場合である。この場合、正しい画数で書かれると、認識結果としては、正しい画数で書かれた筆跡パターンと一致する為、その結果が出力され、崩した筆跡パターンで書かれれば、辞書の崩し字パターンと一致する訳である。なお、手書文字認識辞書３−２内の標準パターンが、１つの文字種に対しては１つの正しい筆跡パターンしか登録されていないシステムでは、この処理は不要である。このステップＳ８−４の処理は、手書文字認識部３−３で行われる。
【００４４】
ステップＳ８−５では、文字の辞書パターンと入力筆跡パターンとの類似度の差異から正確度を算出する処理を行う。このステップＳ８−５の処理は、手書き文字正確度決定部３−４で行われる。本実施形態では、辞書パターンと同一画数で、かつ形状もほぼ一緒する場合に正確度を１００％とし、画数が±１画なら９０％とし、画数が±２画なら７０％とする。この数値は、実施形態での例であり、もっと詳細に特徴点と１点の距離差に応じて−１％等を減算する処理を行う。
【００４５】
一方、ステップＳ８−６では、文字認識辞書パターン記憶の係数×辞書パターンとの差異から正確度を算出する処理を行う。このステップＳ８−６の処理は、手書き文字正確度決定部３−４で行われる。ここで、手書文字認識辞書３−２に記憶されている文字の崩し方に応じて係数を予め記憶しておく。例えば、ある崩し字の辞書パターンでは、係数０.６が記憶されているとすると、ここでは、その係数０.６を読み込む。そして、係数０.６×崩し字辞書パターンとの差異＝正確度とする。よって、崩し字の辞書パターンと１００％同じ軌跡パターンを入力しても、その正確度は６０％となる。
【００４６】
続いて、ステップＳ８−７では、全ての手書き文字の認識処理が終了しているかをチェックする。そして、全ての手書き文字の認識処理が終了していれば、この手書検索キー入力処理を終了し、一方、終了していなけばその未処理の文字に対してステップＳ８−２からの処理を行う。このように処理を行うことにより、入力された手書検索キーの文字列の認識結果と正確度が決定され出力される。
【００４７】
図９は、第１の実施形態に係る手書き文字列検索装置１において、認識結果の文字列と文字の正確度情報から検索候補範囲を決定する処理のフローチャートである。この図９の処理は、図８のフローチャートにおける処理が終って、入力された手書検索キーが認識結果の文字コード列と正確度情報に変換された後にこの処理が開始される。ここで、図９のフローチャートの処理は、検索候補範囲決定部３−５で行われる。
【００４８】
まず、ステップＳ９−１では、検索候補範囲決定処理が開始され、ワーク領域等が確保される。
【００４９】
続いて、ステップＳ９−２では、図８のフローチャートでの処理により生成された認識結果の文字コード列と、正確度情報の読み込み処理を行う。ここで、読み込んだ認識結果の文字コード列と正確度情報は、バッファに記憶しておく。
【００５０】
続いて、ステップＳ９−３では、検索キー文字列の１文字の正確度情報の読み込み処理を行う。
【００５１】
続いて、ステップＳ９−４では、読み込んだ正確度情報の判定処理を行う。ここで、正確度が８０％以上であればステップＳ９−６に進み、正確度が８０％以下であればステップＳ９−５に進む。
【００５２】
ステップＳ９−５では、読み込んだ正確度情報の判定処理を行う。ここで、正確度が５０％以上であればステップＳ９−７に進み、５０％以下であればステップＳ９−８に進む。
【００５３】
本実施形態では、ステップＳ９−４、Ｓ９−５の処理により、正確度に応じて以下のステップＳ９−６〜Ｓ９−８の３種類の処理に分類しているが、例えば、この分類を１０％きざみで１０種類に分類するようにしてよりきめ細かく制御するようにしてもよい。
【００５４】
ステップＳ９−６では、認識候補を検索キーバッファにセットする処理を行う。この際、文字の正確度が８０％以上の場合、そのまま認識結果を検索キーとして利用するので、そのまま検索キーバッファに記憶する。
【００５５】
ステップＳ９−７では、認識結果の第１位候補と認識結果の第２位候補を検索キーバッファにセットする処理を行う。例えば、１文字目の手書入力文字の認識結果が「齋」で正確度が６０％でその第２位候補が「齊」であり、２文字目の手書入力文字の認識結果が「藤」で正確度が９０％である場合について考える。この場合、検索キーとしては、第１の検索キーとして「齋藤」がセットされ、第２の検索キーとして「齊藤」がセットされる。
【００５６】
ステップＳ９−８では、認識結果を元に検索類似文字を探し、検索キーにセットする処理を行う。認識結果の正確度が５０％以下の場合にこの処理が行われるが、その場合の認識結果と類似している文字を検索キーとして登録する。ここで、認識結果に類似している文字とは、ユーザが検索時に間違え易い文字である。この際、ユーザによって異なる場合も考えられるので、最初は標準的な間違えやすい文字をセットしておき、検索処理を繰り返すうちに学習した文字をセットするような構成にしても良い。
【００５７】
続いて、ステップＳ９−９では、全ての入力文字列の処理が終了したかをチェックする。
全ての入力文字列の処理が終了していればステップＳ９−１０に進み、一方、全ての入力文字列の処理は終了していなければ次の文字を処理する為に、ステップＳ９−４に戻る。
【００５８】
ステップＳ９−１０では、ステップＳ９−６、Ｓ９−７、Ｓ９−８で処理された認識候補から作成された検索文字列を整理し、検索キー文字列を作成する。
【００５９】
例えば、手書入力文字列として、「齋藤寛」の軌跡データが入力された場合について考える。そして、第１文字目の認識結果の正確度が６０％で認識候補が「齋」及び「齊」、第２文字目の認識結果の正確度が９０％で認識候補が「藤」、第３文字目の認識結果の正確度が４０％で認識候補が「寛」、検索類似文字として「宏」が検索されているとする。この場合、上記候補の組合せで検索キーを作成する。すなわち、検索キー１：齋藤寛、検索キー２：齊藤寛、検索キー３：齋藤宏、検索キー４：齊藤宏の検索キーが作成される。
【００６０】
ステップＳ９−１１では、ワーク領域等を開放し、この処理を終了する。
【００６１】
図１０は、第１の実施形態に係る手書き文字列検索装置１において、検索候補範囲での文章検索処理のフローチャートである。この図１０の処理は、図９のフローチャートの処理によって検索キーが作成された場合に開始される。ここで、図１０のフローチャートの処理は、文章検索部３−６で行われる。
【００６２】
まず、ステップＳ１０−１では、文章検索処理が開始され、文章検索処理で使用するワーク領域等の確保などの初期化処理が行われる。
【００６３】
続いて、ステップＳ１０−２では、蓄積文章の１ファイルを読み込む処理を行う。ここで、蓄積文章がテキストファイルであればそのままバッファに記憶する。また、蓄積文章が手書き文字の軌跡ファイルであれば、手書文字認識部３−３において文字認識を行ってテキストファイルに変換した後、バッファに記憶する。
【００６４】
続いて、ステップＳ１０−３では、検索キーと同一文字列があれば、その文章ファイルを記憶する処理を行う。より詳細には、ステップＳ１０−２で読み込んだテキストファイルと検索キーとをマッチングし、一致する文字列が存在すれば、そこでそのファイルを記憶する。
【００６５】
続いて、ステップＳ１０−４では、未処理の蓄積文章ファイルが存在するかをチェックする。そして、未処理の蓄積文章ファイルが存在する場合には、ファイルポインターを次のファイルに進めてステップＳ１０−２に戻り、一方、全てのファイルの検索処理が終了した場合には、ステップＳ１０−５に進む。
【００６６】
ステップＳ１０−５では、検索された文章ファイルを候補として表示する処理を行う。より詳細には、ステップＳ１０−３において、記憶されたファイルを読み出し、一致する文字列が存在する部分のページを表示する処理を行う。表示自体は、一般てきなテキスト列を表示する処理である。
【００６７】
このように処理を行うことにより、手書き入力文字での特性を活かした正確な文字を入力すると正確な検索結果が表示され、崩した文字列を入力すると広範囲な検索結果が表示される手書文字列検索装置を実現できる。また、文字の崩し方を加減することにより、検索結果として表示されるテキストの範囲を制御することができる。また、検索すべき文字列の記憶が不確かな場合は、不確かな崩した文字を入力することにより、手書き文字による検索を快適に行うことができる。
【００６８】
（第２の実施形態）
第１の実施形態に係る手書き文字列検索装置は、入力された文字の正確度に応じて検索候補出力範囲を決定するものであったが、文字列の検索を考えるときに、もう１つの要素として、何処から検索するかという問題がある。通常の検索システムでは、検索キーの入力エリア以外に、別設定項目として検索エリアの指定が存在する。具体的には、例えば、ローカルディスク内から検索、イントラネット内から検索、インターネットから検索等の指定である。
【００６９】
第１の実施形態に係る手書き文字列検索装置では、入力文字列の相対的な大きさにより検索エリアを決定し、手書きの文字を入力するという行為だけで、検索キーと検索エリアの指定を同時に行うものである。
【００７０】
図１１は、第２の実施形態に係る手書き文字列検索装置１の機能構成を示すブロック図である。第１の実施形態に係る手書き文字列検索装置と同様の構成については同様の符号を付し、その詳細な説明は省略する。
【００７１】
図１１において１１−１は、文字列大きさ決定部であり、入力された手書き文字列の大きさを入力画面との相対的関係から決定し、当該大きさに係る情報を出力するものである。
【００７２】
図１１において１１−２は、検索エリア決定部であり、文字列大きさ決定部１１−１から送られてくる文字列の大きさに係る情報に応じて検索エリアを決定するものである。決定した検索エリアの情報は、文章検索部３−６に出力される。ここで、検索エリアとは、検索する文章の蓄積先の場所のことである。本実施形態では、一番小さい場所はローカルディスク内であり、次の指定エリアはイントラネット内や、家庭内サーバー内であり、最大の範囲はインターネット内である。
【００７３】
図１２及び図１３は、手書き検索文字の入力例を示す図である。
図１２及び図１３において１２−１は、手書検索文字入力領域であり、この領域に書かれた手書き文字が検索キーとして認識される。図１２及び図１３において１２−２は、検索ボタン領域であり、手書き文字の入力が確定した後で押される（クリックされる）と、手書き文字を検索キーとして検索が開始される。ここで、図１２の例は小さい文字列を記入した例であり、図１３の例は大きい文字列を記入した例である。
【００７４】
図１４は、第２の実施形態に係る手書き文字列検索装置１における手書検索エリア決定処理のフローチャートである。
まず、ステップＳ１４−１では、手書検索文字入力領域１２−１に手書き文字が入力されて検索ボタン１２−２が押下されると、手書検索エリア決定処理が開始され、この処理により使用するワーク領域、バッファ領域が確保される。
【００７５】
続いて、ステップＳ１４−２では、手書き文字の入力領域の高さ幅情報を読み出す処理を行う。本実施形態では、図１２に示す検索文字入力領域１２−１の入力領域枠の高さ幅情報が読み出される。もし入力領域が、ＰＤＡ、ペンコンピューター等の全画面であれば、そのデバイスの全画面のサイズ情報が読み出される。このステップＳ１４−２の処理は、文字列大きさ決定部１１−１で行われる。
【００７６】
続いて、ステップＳ１４−３において、入力手書文字列の大きさ情報を読み出す処理を行う。より詳細には、入力された手書き文字列の軌跡の外接矩形の高さと幅情報を読み出す。このステップＳ１４−３の処理は、文字列大きさ決定部１１−１で行われる。本実施形態では、簡易的に上記方法とするが、図１１の文字切り部３−１で切り分けられた１文字の手書き軌跡の外接矩形の高さと幅を加算することにより、文字列の高さと幅を算出するようにした方が、より正しい値が求められる。
【００７７】
続いて、ステップＳ１４−４では、文字列の相対的大きさを計算する処理を行う。具体的に、文字列の相対的大きさは、以下の式により算出される。
文字列の相対的大きさ＝（文字列の高さ×文字列の幅）／（入力領域の高さ×入力領域の幅）×１００である。
このステップＳ１４−４の処理は、文字列大きさ決定部１１−１で行われる。
【００７８】
続いて、ステップＳ１４−５では、文字列の大きさが８０％以上か否かのチェックを行う。８０％以上であればステップＳ１４−７に進み、８０％未満であればステップＳ１４−６に進む。このステップＳ１４−５の処理は、文字列大きさ決定部１１−１で行われる。
【００７９】
ステップＳ１４−６では、文字列の大きさが６０％以上か否かのチェックを行う。６０％以上であればステップＳ１４−８に進み、６０％未満であればステップＳ１４−９に進む。このステップＳ１４−６の処理は、文字列大きさ決定部１１−１で行われる。
【００８０】
ステップＳ１４−７では、蓄積文章検索エリアをインターネットに設定する処理を行う。すなわち、大きな文字列を書いた場合は、インターネット内から全文検索を行い、検索結果を見つけてくる処理が行われる。このステップＳ１４−７の処理は、検索エリア決定部１１−２で行われる。本実施形態では、蓄積文章検索エリアをインターネット内としたが、会社内での場合では、例えば、ここの設定で全世界の支社内の情報検索設定等にすれば良い。
【００８１】
ステップＳ１４−８では、蓄積文章検索エリアをホームサーバ内に設定する処理を行う。すなわち、標準的な大きさの文字列を書いた場合は、ホームサーバ内から全文検索を行い、該当ファイルを探す処理が行われる。このステップＳ１４−８の処理は、検索エリア決定部１１−２で行われる。本実施形態では、蓄積文章検索エリアをホームサーバ内としたが、会社内での場合では、例えば、ここの設定で部門内サーバー内の情報検索設定等にすれば良い。
【００８２】
ステップＳ１４−９では、蓄積文章検索エリアをローカルディスク内に設定する処理を行う。すなわち、小さな文字列を書いた場合は、ローカルディスク内から全文検索を行い、該当ファイルを探す処理が行われる。このステップＳ１４−９の処理は、検索エリア決定部１１−２で行われる。
【００８３】
本実施形態では、入力文字列を３種類の大きさに判別し、３種類の検索範囲を設定する例を示したが、入力文字列の大きさを２種類にしたり、入力ユーザによって２種類にしたり、４種類にしたり、５種類にする構成も考えられる。
【００８４】
続いて、ステップＳ１４−１０では、手書検索エリア決定処理を終了し、ワーク領域、バッファ領域の開放を行い、設定された蓄積文章検索エリアを蓄積文章検索処理プログラムに出力する。
【００８５】
その後の検索処理自体は、一般的な認識結果のテキスト文字列と一致する文字列が含まれる文章ファイルを全文検索により検索する従来からの処理と同様であるため、詳細な処理の説明は省略する。
【００８６】
このように処理を行うことにより、ユーザが入力時に任意の大きさの文字列を入力すると、その大きさに応じた範囲の蓄積文章検索エリアから検索文章を検索を行う手書文字検索装置が実現できる。また、手書き文字列の入力という１連の行為で、検索キーの入力と、検索範囲の指定という２つの入力項目の入力を行えるので、検索行為が簡単になる。
【００８７】
（第３の実施形態）
第２の実施形態に係る手書き文字列検索装置では、文字入力時の正確度情報や文字の大きさ情報を検索時の制御情報として使う例を示したが、手書き文字の入力情報として時間情報が存在する。人間が手書きで文字を入力する場合、正確に記憶している文字はすらすらと書けるが、記憶が曖昧な文字を入力する時には、入力に時間がかかる場合が多い。
【００８８】
そこで、第３の実施形態に係る手書き文字列検索装置では、この入力文字の入力時間を測定し、入力文字の入力時間に応じて検索結果の候補の決定を行うようにする。
【００８９】
図１５は、第３の実施形態に係る手書き文字列検索装置１の機能構成を示すブロック図である。第１及び第２の実施形態に係る手書き文字列検索装置と同様の構成については同様の符号を付し、その詳細な説明は省略する。
【００９０】
図１５において１５−１は、入力文字相対的記入時間決定部であり、手書き文字の入力時間を計測し、その文字列内の通常入力時間より極端に長い入力時間の文字がある場合はその文字を記憶する。
【００９１】
図１５において１５−２は、検索候補範囲決定部であり、入力文字相対的記入時間決定部１５−１で決定された極端に入力時間が長い文字の認識結果の文字に加え、検索類似文字や第２候補の文字を付加する処理を行う。
【００９２】
図１６は、第３の実施形態に係る手書き文字列検索装置１における検索キーの文字列作成処理のフローチャートである。
まず、ステップＳ１６−１では、手書検索文字入力領域に手書き文字が入力されて検索ボタンが押下されると、入力文字相対時間決定処理が開始され、この処理により使用するワーク領域、バッファ領域が確保されて初期化が行われる。
【００９３】
続いて、ステップＳ１６−２では、入力文字の平均入力時間を計算する。図１５の座標入力部２−１から手書き文字の軌跡が入力されるので、手書き文字の軌跡が入力された時の最初のペンダウン時間がその軌跡の入力開始時間であり、１つの文字を構成する最後の軌跡がペンアップした時の時間が入力終了時間である。そして、１つの文字を構成する最初の軌跡の入力開始時間から最後の軌跡の入力終了時間までがその文字の入力時間となる。そして、各文字の各入力時間を加算する。その後、最長入力時間は省き、（文字数−１）の数で除算して平均入力時間を求める。このステップＳ１６−２の処理は、入力文字相対的記入時間決定部１５−１で行われる。
【００９４】
続いて、ステップＳ１６−３では、各入力文字の入力時間を読み出す。このステップＳ１６−３の処理は、入力文字相対的記入時間決定部１５−１で行われる。
【００９５】
続いて、ステップＳ１６−４では、各文字の入力時間をチェックする処理を行う。このステップＳ１６−４の処理は、入力文字相対的記入時間決定部１５−１で行われる。ステップＳ１６−３で読み出した入力文字の入力時間がステップＳ１６−２で求めた平均入力時間の２倍以上である場合はステップＳ１６−５に進み、２倍未満であればステップＳ１６−６に進む。本実施形態では、上記方法により求めるが、画数が多い文字の場合には不適の場合もあるので、１ストローク毎の平均入力時間を加味して処理するようにしてもよい。この場合には、１ストロークの平均入力時間を求め、その文字の入力時間と、当該文字の筆数×平均入力時間とを比較し、その文字の入力時間がその平均時間より２倍以上ある時にステップＳ１６−５に進むようにする。
【００９６】
ステップＳ１６−５では、その文字を長時間文字として記憶する処理を行う。入力時間が通常より長い時間の入力文字がここで記憶される。例えば、検索キーバッファに入力文字と当該文字のフラグ等をセットする。このステップＳ１６−５の処理は、入力文字相対的記入時間決定部１５−１で行われる。
【００９７】
ステップＳ１６−６では、手書検索文字の未処理の文字があるか否かをチェックする。このステップＳ１６−６の処理は、入力文字相対的記入時間決定部１５−１で行われる。未処理の文字があればポインタ等を次の文字にしてステップＳ１６−４に戻り、全ての文字が処理されていればステップＳ１６−７に進む。
【００９８】
続いて、ステップＳ１６−７では、認識候補と検索類似文字から検索キー文字列を作成する処理を行う。このステップＳ１６−７の処理は、検索候補範囲決定部１５−２で行われる。本実施形態では、通常の入力時間で入力された手書き文字は、認識結果の第一候補の検索キーとして確定する。また、通常より長い入力時間で入力された手書き文字は、認識結果の第一候補、認識結果の第２位以降の候補、検索時に良く間違える文字を検索キーとして確定する。そして、各文字に対して確定した検索キーの文字の組み合わせで、検索キー文字列を作成する。
【００９９】
ここで、例えば、ユーザーが検索すべき文字の入力時に「下丸子の店」だったか「新丸子の店」だったかの記憶が曖昧な状態であった場合について考える。この際、「下丸子の店」を手書きで入力した時に「下」は入力時間が５秒かかり、他の文字「丸子の店」の入力時間が１秒以下であった場合、「丸子の店」が第一候補の検索キーとして確定する。また、「下」は、第１候補「下」、第２候補「Ｔ」、検索時に良く間違える「新」を検索キーとして確定する。そして、確定した検索キーで検索キー文字列を作成すると、「下丸子の店」「Ｔ丸子の店」「新丸子の店」が検索キー文字列として作成される。そして、作成した検索キー文字列で蓄積文章ファイルを検索する。
【０１００】
続いて、ステップＳ１６−８では、当該フローチャートにおける処理を終了し、確保したワーク領域、バッファ領域等の開放を行って、次の蓄積文章検索処理に移行する。
【０１０１】
このように処理を行うことにより、ユーザが曖昧な記憶で入力時にその文字の入力を迷ったときなどは、その文字に対する複数の候補を検索対象にセットして検索を行うことが可能になる。
【０１０２】
以上説明した第１の実施形態、第２の実施形態及び第３の実施形態に係る手書き文字列検索装置の各処理手段はそれぞれ独立したものとして説明を行ってきたが、本発明においては、全ての処理手段を具備する手書き文字列検索装置の形態も含まれる。この場合、文字列の大きさにより検索エリアを変え、また、入力文字の入力に迷ったときには多くの検索結果が得られ、また、入力文字が正確にさらさらと入力されれば絞られた検索結果が得られる手書き文字列検索装置を実現できる。また、ユーザによってこの機能が必要ない場合もあるので、設定により、有効、無効にする構成も考えられる。
【０１０３】
前述した各実施形態に係る手書き文字列検索装置を構成する図２、図３、図１１及び図１５の各手段、並びに手書き文字列検索装置の制御方法（手書き文字列検索方法）を示した図８〜図１０、図１４及び図１６の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び当該プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【０１０４】
具体的に、前記プログラムは、例えばＣＤ−ＲＯＭのような記憶媒体に記録し、或いは各種伝送媒体を介し、コンピュータに提供される。前記プログラムを記録する記憶媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。他方、前記プログラムの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネットの等のＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体（光ファイバ等の有線回線や無線回線等）を用いることができる。
【０１０５】
また、コンピュータが供給されたプログラムを実行することにより前述した各実施形態に係る手書き文字列検索装置が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等と共同して前述した各実施形態に係る手書き文字列検索装置の機能が実現される場合や、供給されたプログラムの処理の全て、或いは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて前述した各実施形態に係る手書き文字列検索装置の機能が実現される場合も、かかるプログラムは本発明に含まれる。
【図面の簡単な説明】
【０１０６】
【図１】本発明の実施形態に係る手書き文字列検索システムの概略構成図である。
【図２】本発明の実施形態に係る手書き文字列検索装置のシステム構成を示すブロック図である。
【図３】第１の実施形態に係る手書き文字列検索装置の機能構成を示すブロック図である。
【図４】検索キーの手書き文字の入力画面を示す図である。
【図５】図４に示した手書き文字の認識処理後の画面を示す図である。
【図６】１文字の入力文字と手書文字認識辞書に記憶されている標準パターンとの関係を示す図である。
【図７】１文字の入力文字と手書文字認識辞書に記憶されている標準パターンとの関係を示す図である。
【図８】第１の実施形態に係る手書き文字列検索装置の手書き検索キー入力処理のフローチャートである。
【図９】第１の実施形態に係る手書き文字列検索装置において、認識結果の文字列と文字の正確度情報から検索候補範囲を決定する処理のフローチャートである。
【図１０】第１の実施形態に係る手書き文字列検索装置において、検索候補範囲での文章検索処理のフローチャートである。
【図１１】第２の実施形態に係る手書き文字列検索装置１の機能構成を示すブロック図である。
【図１２】手書き検索文字の入力例を示す図である。
【図１３】手書き検索文字の入力例を示す図である。
【図１４】第２の実施形態に係る手書き文字列検索装置１における手書検索エリア決定処理のフローチャートである。
【図１５】第３の実施形態に係る手書き文字列検索装置１の機能構成を示すブロック図である。
【図１６】第３の実施形態に係る手書き文字列検索装置１における検索キーの文字列作成処理のフローチャートである。
【符号の説明】
【０１０７】
１  手書き文字列検索装置
２  液晶表示部
２−１  座標入力部
３  ＬＡＮケーブル
４  無線通信用のアンテナ
５  パーソナルコンピュータ
６  ＣＰＵ
７  ＲＡＭ
８  ＲＯＭ
９  ＨＤ
１０  ＬＡＮインターフェース
１１  システムバス
１２  無線通信カード
３−１  文字切り部
３−２  手書文字認識辞書
３−３  手書文字認識部
３−４  手書き文字正確度決定部
３−５  検索候補範囲決定部
３−６  文章検索部
【図１】
2007213416.tif 000003
【図２】
2007213416.tif 000004
【図３】
2007213416.tif 000005
【図４】
2007213416.tif 000006
【図５】
2007213416.tif 000007
【図６】
2007213416.tif 000008
【図７】
2007213416.tif 000009
【図８】
2007213416.tif 000010
【図９】
2007213416.tif 000011
【図１０】
2007213416.tif 000012
【図１１】
2007213416.tif 000013
【図１２】
2007213416.tif 000014
【図１３】
2007213416.tif 000015
【図１４】
2007213416.tif 000016
【図１５】
2007213416.tif 000017
【図１６】
2007213416.tif 000018