(57)【特許請求の範囲】
【請求項１】
手書き入力された文字パターンを複数の文字認識部により認識し、それぞれの認識結果を統合して統合認識結果を生成する手書き文字認識システムにおいて、
手書き入力された文字パターンを入力する文字パターン入力部と、前記文字認識部毎に字形パターンを登録した認識辞書と、前記文字パターン入力部より入力された文字パターンと前記認識辞書の字形パターンをマッチングする認識エンジンを備え、入力された文字を認識する文字認識部を複数備え、
前記各文字認識部の認識結果に応じて、前記手書き入力された個人の文字パターンを、新たな字形パターンとして登録すべきか否かを判断する新規登録判断処理と、前記新規登録判断処理において新規登録が必要と判断された場合に前記複数ある文字認識部のうちのどの文字認識部の認識辞書に登録するかを判断する登録辞書判断処理とを実行する個人字形パターン登録判定部と、
前記個人字形パターン登録判定部による登録指定を受け、字形パターンを指定された認識辞書に登録する個人字形パターン登録部とを備え、
前記個人字形パターン登録判定部による登録辞書判断処理が、各々の文字認識部の認識辞書に前記個人字形パターンを登録した場合に生じる前記統合認識結果への影響を調べ、前記統合認識結果がもっとも改善される文字認識部の認識辞書を判断する処理である、手書き文字認識システム。
【請求項２】
手書き入力された文字パターンを複数の文字認識部により認識し、それぞれの認識結果を統合して統合認識結果を生成する手書き文字認識システムにおいて、
手書き入力された文字パターンを入力する文字パターン入力部と、前記文字認識部毎に字形パターンを登録した認識辞書と、前記文字パターン入力部より入力された文字パターンと前記認識辞書の字形パターンをマッチングする認識エンジンを備え、入力された文字を認識する文字認識部を複数備え、
前記各文字認識部の認識結果に応じて、前記手書き入力された個人の文字パターンを、新たな字形パターンとして登録すべきか否かを判断する新規登録判断処理と、前記新規登録判断処理において新規登録が必要と判断された場合に、各文字認識部における正解の認識順位を基に前記複数ある文字認識部のうちのどの文字認識部の認識辞書に登録するかを判断する登録辞書判断処理とを実行する個人字形パターン登録判定部と、
前記個人字形パターン登録判定部による登録指定を受け、字形パターンを指定された認識辞書に登録する個人字形パターン登録部とを備えたことを特徴とする手書き文字認識システム。
【請求項３】
前記個人字形パターン登録判定部による登録辞書判断処理が、
前記複数ある文字認識部のうち、互いに並列処理の関係にある文字認識部による構成部分については、個人字形パターン登録により認識結果改善の幅がより大きい文字認識部の認識辞書を選択する第１の登録辞書判断処理と、
前記複数ある文字認識部のうち、互いに直列処理の関係にある文字認識部による構成部分については、上位側の文字認識部に対する第１の閾値Ｍ１と下位側の文字認識部に対する第２の閾値Ｍ２を設け、前記上位側の文字認識部単独の認識結果において正解が上位Ｍ１位以内になく、前記下位側の文字認識部単独の認識結果において正解が上位Ｍ２位以内にない場合には、前記上位側および下位側の文字認識部の認識辞書双方を選択し、前記上位側の文字認識部単独の認識結果において正解が上位Ｍ１位以内にあり、前記下位側の文字認識部単独の認識結果において正解が上位Ｍ２位以内にない場合には、前記下位側の文字認識部の認識辞書のみを選択し、前記上位側の文字認識部単独の認識結果において正解が上位Ｍ１位以内になく、前記下位側の文字認識部単独の認識結果において正解が上位Ｍ２位以内にある場合には、前記上位側の文字認識部の認識辞書のみを選択する第２の登録辞書判断処理を備えた請求項２に記載の手書き文字認識システム。
【請求項４】
前記個人字形パターン登録判定部の登録辞書判断処理の第１の登録辞書判断処理における、１つの文字認識部の認識辞書を選択する処理において、正解候補と次候補のスコアの差が大きい文字認識部に個人字形パターンを登録する処理とした請求項３に記載の手書き文字認識システム。
【請求項５】
前記個人字形パターン登録判定部の登録辞書判断処理の第２の登録辞書判断処理において、前記上位側の文字認識部単独の認識結果において正解が上位Ｍ１位以内にあり、前記下位側の文字認識部単独の認識結果において正解が上位Ｍ２位以内にある場合には、前記下位側の文字認識部の認識辞書のみを選択し、前記個人字形パターン登録部による前記下位側の文字認識部の認識辞書に対する字形パターン登録によっても新規登録判断処理において新規登録が必要と判断された場合は、前記上位側および下位側の文字認識部の認識辞書双方を選択する請求項３に記載の手書き文字認識システム。
【請求項６】
前記個人字形パターン登録判定部が、前記新規登録判断処理における個人の文字パターンを新たな字形パターンとして登録すべきか否かを判断する基準の設定・変更と、前記第２の登録辞書判断処理における上位側の文字認識部に対する第１の閾値Ｍ１と下位側の文字認識部に対する第２の閾値Ｍ２を設定・変更を行なう個人字形パターン登録判定処理制御部を備えた請求項３に記載の手書き文字認識システム。
【請求項７】
手書き入力された文字パターンを複数の認識辞書をそれぞれ利用する複数の文字認識処理により認識し、それぞれの認識結果を基に統合した認識結果を生成する手書き文字認識方法であって、
手書き入力された文字パターンと利用可能な認識辞書の字形パターンをマッチングして入力された文字を認識する文字認識処理を複数組み合わせた処理を実行するステップと、
認識結果に応じて、前記手書き入力された個人の文字パターンを、新たな字形パターンとして登録すべきか否かを判断する新規登録判断処理と、前記新規登録判断処理において新規登録が必要と判断された場合に前記複数ある文字認識処理が利用する認識辞書のうちのどの認識辞書に登録するかを判断する登録辞書判断処理とを実行する個人字形パターン登録判定ステップと、
前記個人字形パターン登録判定ステップにおける登録の指定を受け、字形パターンを指定された認識辞書に登録する個人字形パターン登録ステップとを含み、
前記登録辞書判断処理は、前記複数ある文字認識処理で利用される各々の認識辞書に前記個人字形パターンを登録した場合に生じる前記統合認識結果への影響を調べ、前記統合認識結果がもっとも改善される文字認識部の認識辞書を判断する処理である、手書き文字認識方法。
【請求項８】
手書き入力された文字パターンを複数の認識辞書をそれぞれ利用する複数の文字認識処理により認識し、それぞれの認識結果を基に統合した認識結果を生成する手書き文字認識処理をコンピュータに実行させる処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記処理プログラムは、
手書き入力された文字パターンと利用可能な認識辞書の字形パターンをマッチングして入力された文字を認識する文字認識処理を複数組み合わせた処理と、
認識結果に応じて、前記手書き入力された個人の文字パターンを、新たな字形パターンとして登録すべきか否かを判断する新規登録判断処理と、前記新規登録判断処理において新規登録が必要と判断された場合に前記複数ある文字認識処理が利用する認識辞書のうちのどの認識辞書に登録するかを判断する登録辞書判断処理とを含む個人字形パターン登録判定処理と、
前記個人字形パターン登録判定処理における登録の指定を受け、字形パターンを指定された認識辞書に登録する個人字形パターン登録処理とをコンピュータに実行させ、
前記登録辞書判断処理において、前記複数ある文字認識処理で利用される各々の認識辞書に前記個人字形パターンを登録した場合に生じる前記統合認識結果への影響を調べ、前記統合認識結果がもっとも改善される認識辞書を判断する処理をコンピュータに実行させる、コンピュータ読み取り可能な記録媒体。
【請求項９】
手書き入力された文字パターンを複数の認識辞書をそれぞれ利用する複数の文字認識処理により認識し、それぞれの認識結果を基に統合した認識結果を生成する手書き文字認識方法であって、
手書き入力された文字パターンと利用可能な認識辞書の字形パターンをマッチングして入力された文字を認識する文字認識処理を複数組み合わせた処理を実行するステップと、
認識結果に応じて、前記手書き入力された個人の文字パターンを、新たな字形パターンとして登録すべきか否かを判断する新規登録判断処理と、前記新規登録判断処理において新規登録が必要と判断された場合に、各文字認識部における正解の認識順位を基に前記複数ある文字認識処理で利用される認識辞書のうちのどの認識辞書に登録するかを判断する登録辞書判断処理とを実行する個人字形パターン登録判定ステップと、
前記個人字形パターン登録判定ステップにおける登録の指定を受け、字形パターンを指定された認識辞書に登録する個人字形パターン登録ステップとを含む、手書き文字認識方法。
【請求項１０】
手書き入力された文字パターンを複数の認識辞書をそれぞれ利用する複数の文字認識処理により認識し、それぞれの認識結果を基に統合した認識結果を生成する手書き文字認識処理を実行する処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記処理プログラムは、
手書き入力された文字パターンと利用可能な認識辞書の字形パターンをマッチングして入力された文字を認識する文字認識処理を複数組み合わせた処理と、
認識結果に応じて、前記手書き入力された個人の文字パターンを、新たな字形パターンとして登録すべきか否かを判断する新規登録判断処理と、前記新規登録判断処理において新規登録が必要と判断された場合に、各文字認識部における正解の認識順位を基に前記複数ある文字認識処理で利用される認識辞書のうちのどの認識辞書に登録するかを判断する登録辞書判断処理とを含む個人字形パターン登録判定処理と、
前記個人字形パターン登録判定処理における登録の指定を受け、字形パターンを指定された認識辞書に登録する個人字形パターン登録処理とをコンピュータに実行させる処理プログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、手書き入力された文字パターンの認識を行う手書き文字認識装置および方法に関するものであり、特に、特定の筆記者等による固有の癖のある文字を高精度に認識するための文字パターン登録方式に関するものである。
【０００２】
【従来の技術】
手書き文字を自動認識する文字認識システムの開発においては、認識精度、認識処理速度、コストなど考慮すべき要素や、認識対象となる文字の特性や用いるアプリケーションの特性などに応じて多数の認識方式、認識エンジンが開発されている。例えば、一般文字の読み取りにおいて、読み取り字形をビットマップとして取り込み、登録データとのイメージマッチングを用いる方法や、読み取り字形の線分を書き順に沿ったベクトルデータとして抽出して登録データとのマッチングを行なう方法など種々のものが開発されている。前者は、字形の外形としての類似度合を重視したもので、書き手の書き順が正しくない場合でも字形外形が概ね正しい場合は認識できる。後者は、書き順、つまり、字形の線分要素とその時系列的つながりを重視したもので、書き順が正しければ草書体、崩し字、癖字など概ね正しく認識できるが、書き順が誤っている字形は、外形が正しくても認識ができない。
【０００３】
認識対象となる手書き文字の特性や用いるアプリケーションの特性が特定のものに決まっている場合には、当該特性に適する認識方式、認識エンジンを採用すれば良い。
【０００４】
認識対象となる手書き文字の特性や用いるアプリケーションの特性が特定のものに限定されていない場合には、適応範囲を広くするため、異なった種類の認識方式、認識エンジンを組み合わせて、それぞれの認識傾向の苦手な部分を補完し合う事によってトータルでの認識性能を向上させようという試みが行なわれている。ここではこの異なった種類の認識方式、認識エンジンを組み合わせた手書き文字認識システムを複合型手書き文字認識システムと呼ぶ。複合型手書き文字認識システムの開発例としては、郵政省による郵便番号読み取りＯＣＲシステムがある。異なった種類の特徴抽出法や認識距離計算方法を用い、結果の多数決などを用いて認識結果を得る事によって認識精度の向上が図られている。また、座標入力装置から入力された筆跡の時系列ベクトル情報を用いて認識するオンライン文字認識と、筆跡を二次元のイメージ情報として認識するオフライン方式とを併用し、文字の様々な変形に強い認識方式を実現する方式も示されている。
【０００５】
以下に従来技術の複合型手書き文字認識システムの例を説明する。
【０００６】
第１の従来技術の複合型手書き文字認識システムの原理図を図９に示す。図９において、１１０は第１の文字認識部、１２０は第２の文字認識部、１３０は候補統合部である。図９に示すように、認識すべき手書き文字の入力パターンを２つの異なった第１の文字認識部１１０と第２の文字認識部１２０に並行して入力し、第１の文字認識部１１０と第２の文字認識部１２０を並行して動作させて各々認識候補を得る。それぞれの認識候補を候補統合部１３０で統合、つまり、それぞれの認識候補が同じ場合には当該認識候補を最終的な認識結果とし、それぞれの認識候補が異なる場合にはその優劣を判定していずれかを選択して最終的な認識結果を得る構成になっている。この方式は並列統合方式と呼ばれている。図９の例では、第１の文字認識部１１０と第２の文字認識部１２０は、それぞれ認識候補の上位Ｎ（Ｎは自然数）位を候補統合部１３０に出力する構成となっている。
【０００７】
第２の従来技術の複合型手書き文字認識システムの原理図を図１０に示す。図１０では、第１の文字認識部１１０と第２の文字認識部１２０が直列に接続されており、ここでは、第１の文字認識部１１０は大分類用の文字認識部と位置付けられ、第２の文字認識部１２０を詳細分類用の認識と位置付けられている。認識すべき手書き文字の入力パターンをまず第１の文字認識部１１０に入力して大分類の認識処理を行ない、次に、第２の文字認識部１２０に入力して詳細分類の認識処理を行ない、この両者を逐次的に動作させて認識結果を得る方式としている。この方式は直列統合方式と呼ばれている。図１０の例では、第１の文字認識部１１０は認識候補の上位Ｍ１（Ｍ１はＭ２より大きい自然数）位を第２の文字認識部１２０に出力する構成となっている。第２の文字認識部１２０は認識候補の上位Ｍ２位を候補統合部１３０に出力する構成となっている。
【０００８】
第３の従来技術の複合型手書き文字認識システムの原理図を図１１に示す。第３の従来技術の複合型手書き文字認識システムは、上記第１の複合型手書き文字認識システムと第２の複合型手書き文字認識システムを組み合わせ、両者の長所を生かした構成としたものである。この例では、第１の文字認識部１１０と第２の文字認識部１２０の両者を並行して動作させて各々認識候補を得てそれぞれの認識候補を候補統合部１３０で統合する並行統合方式に加え、第１の文字認識部１１０を大分類用の認識処理に用い、当該認識結果を第２の文字認識部１２０に入力し、第２の文字認識部１２０において詳細分類の認識処理を行なう垂直統合方式の構成を兼ね備えた構成となっている。図１１の例では、第１の文字認識部１１０は認識候補の上位Ｍ１位を第２の文字認識部１２０に出力する構成となっている。また、並行して認識候補の上位Ｍ２位を候補統合部１３０に出力する構成となっている。第２の文字認識部１２０は認識候補の上位Ｍ２位を候補統合部１３０に出力する構成となっている。
【０００９】
上記に示したような従来の複合型手書き文字認識システムにおいて、認識対象が手書き文字であるという事情に鑑み、汎用の認識辞書（標準辞書）では認識できないような書き癖のある変形した文字などを高精度に認識するため個人の字形パターンを辞書に登録する方式が開発されている。
【００１０】
以下に従来技術の個人の字形パターンを辞書に登録する方式を説明する。
【００１１】
従来の個人の字形パターンを辞書に登録する第１の方式としては、単純に正しく認識できなかった字形パターンをそのまま辞書に登録するという方式がある。つまり、入力された手書き字形パターンの認識を実行し、認識不能となった場合や認識結果が誤っている場合において、当該入力手書き字形パターンおよび正解データを登録する方式である。しかしこの方式だけでは、登録する入力手書き字形パターンが多数に上ることは容易に想定され、認識辞書の容量が際限なく拡大するという問題を招き、また、標準辞書の認識パターンとのバランスが崩れてしまい、かえって認識精度の低下、認識処理時間の増加を招くおそれがある。
【００１２】
従来の個人の字形パターンを辞書に登録する第２の方式は、第１の方式で問題となった過剰な字形パターン登録を避けるものであり、認識できなかった字形パターンをそのまま辞書に登録することはせず、認識できなかった字形パターンとして登録したい字形パターンと標準辞書中の正解パターンとの間で登録前にマッチングを行い、得られた距離から算出したスコア値が既定の閾値を越えていた場合にのみ登録を行うという方式である。その原理図を図１２に示す。認識時の処理の流れは実線の矢印で示されており、字形登録時の流れは点線の矢印で示されている。認識辞書１６０に登録したい字形パターンが入力されると、まず字形登録判定部１４０にて認識辞書１６０中の正解パターンとの距離を基にスコアが計算される（その際にマッチング部１５０の機能を利用する）。距離から算出したスコアが既定の閾値を越えていれば、現在の認識辞書１６０ではその字形パターンは正しく認識されにくいと判断できるため、入力された字形パターンを認識辞書１６０に登録する。閾値は全ての認識カテゴリに共通に定めても良いし、カテゴリごとに別の閾値を設定しても良い。この方式によれば、認識できなかった字形パターンのバリエーションをすべて登録するのではなく、標準辞書の正解パターンと閾値以上異なる場合に絞って登録するため、認識辞書１６０の容量増加を抑制しつつ認識できない特定個人の字形パターンをカバーすることができる。
【００１３】
【発明が解決しようとする課題】
従来技術の複合型手書き文字認識システムにおける字形パターン登録方式では、複数の文字認識部で独立に字形パターン登録を行うため、他の文字認識部で同じ字形が登録されるか否かには関係なく字形登録の有無が判定される。このため、第１の問題として、システム全体で見た場合の辞書容量の増大を招いてしまうという問題がある。また、第２の問題として、各文字認識部の辞書に字形パターンを登録した場合においてシステム全体としての処理速度の劣化を招くという問題がある。
【００１４】
上記の辞書容量の増大を招くという第１の問題は、以下のように説明できる。例えば、第１の従来技術で説明した並列統合方式の手書き文字認識システムでは、第１の文字認識部と第２の文字認識部はそれぞれ独立かつ並列に認識処理を行なうので、第１の文字認識部と第２の文字認識部のいずれか一方のみの認識結果が改善されれば、並列統合の認識結果の改善が達成される。すなわち、当初の統合結果である認識候補内に正解が含まれていないような字形パターンに対して、第１の文字認識部と第２の文字認識部のいずれか一方の認識辞書に当該字形パターンを登録すれば、その文字認識部において正解が第１位の候補になり、最終的な並列統合結果においても正解が上位候補となるように並列統合処理されるのであれば字形パターン登録の目的は達した事になる。従来技術の字形パターン登録によれば、両方の文字認識部の認識辞書に対して字形パターンが登録されることとなり、辞書容量に無駄が生じる。
【００１５】
上記第１の問題に対して、複数の文字認識部のいずれか１つの認識辞書にのみ登録すれば認識性能向上が期待できるとは限らない。例えば、上記第２の従来技術で説明した直列統合方式の手書き文字認識システムでは、第１の文字認識部１１０は第２の文字認識部１２０に対する大分類という役割を持ち、第２の文字認識部１２０は詳細分類という役割を持っている。第１の文字認識部１１０は認識候補の上位Ｍ１位を大分類の結果として第２の文字認識部１２０に渡す。第２の文字認識部１２０は上位Ｍ２位の認識候補を候補統合部１３０へ渡す。第１の文字認識部１１０での認識処理において、正解が認識候補の上位Ｍ１位以内に入らないようであれば第１の文字認識部１１０に字形パターンを登録する必要がある。しかし、第２の文字認識部１２０が第１の文字認識部１１０の認識結果を受けて実行した認識処理において正解が上位Ｍ２位以内に入るとは限らない。正解が上位Ｍ２位以内に入っていれば第２の文字認識部１２０の認識辞書に字形パターンの登録は必要ないが、正解が上位Ｍ２位以内に入っていない場合は第２の文字認識部１２０の認識辞書にも字形パターンの登録は必要となる。
【００１６】
このように、複数の個別文字認識部の認識結果を候補統合によって統合するような手書き文字認識方式においては、それぞれの個別の文字認識部の性能、個別の文字認識部の組み合わせ方式を考慮しないと、適切な字形パターン登録はできない。
【００１７】
また、上記第２の問題も明らかなように、各文字認識部の認識辞書に登録字形パターンが増大すれば、各文字認識部におけるパターンマッチングに要する処理時間が増大し、手書き文字認識システム全体の処理性能が劣化してしまう。
【００１８】
本発明は、上記の問題を解決するために、複数の文字認識部を用いた複合型手書き文字認識システムにおいて、正解が統合認識結果の所定順位内に含まれない字形パターンを登録する場合、必要な文字認識部の認識辞書に対してのみ字形パターン登録を行ない、システム全体としての辞書容量の増大と認識処理時間の増大を防止しつつ、統合認識結果の改善を図ることのできる手書き文字認識システムを提供することを目的とする。
【００１９】
【課題を解決するための手段】
本発明の手書き文字認識システムでは、適切な字形パターン登録を行うために、個々の認識辞書に字形パターンを登録した場合にそれが最終的な統合認識結果にどのような影響を及ぼすかを把握する。すなわち、従来技術では個別の文字認識部ごとに個別独立に判断した字形パターン登録の要否を複数の文字認識部の組み合わせとしてどの文字認識部に対する字形パターンの登録が必要であるかを取りまとめて判断する機能が必要である。
【００２０】
本発明の手書き文字認識システムは、手書き入力された文字パターンを複数の文字認識部により認識し、それぞれの認識結果を統合して統合認識結果を生成する手書き文字認識システムにおいて、手書き入力された文字パターンを入力する文字パターン入力部と、字形パターンを登録した認識辞書と、前記文字パターン入力部より入力された文字パターンと前記認識辞書の字形パターンをマッチングする認識エンジンを備え、入力された文字を認識する文字認識部を複数備え、認識結果に応じて、前記手書き入力された個人の文字パターンを、新たな字形パターンとして登録すべきか否かを判断する新規登録判断処理と、前記新規登録判断処理において新規登録が必要と判断された場合に前記複数ある文字認識部のうちのどの文字認識部の認識辞書に登録するかを判断する登録辞書判断処理とを実行する個人字形パターン登録判定部と、前記個人字形パターン登録判定部による登録指定を受け、字形パターンを指定された認識辞書に登録する個人字形パターン登録部とを備えたことを特徴とする。
【００２１】
上記構成により、新たな字形パターンとして登録すべきか否かの判断にあたり、手書き文字認識システム全体として登録すべきか否かを判断する新規登録判断処理を持ち、さらに、新規登録が必要と判断された場合に、複数ある文字認識部のうちのどの文字認識部の認識辞書に登録すれば良いかを判断する登録辞書判断処理を持つこととなり、手書き文字認識システム全体のうち必要な認識辞書に対する最小限の字形パターンの登録で済み、手書き文字認識システム全体として認識辞書容量増大の抑制と、認識処理時間増大の抑制を図ることができる。
【００２２】
ここで、個人字形パターン登録判定部による登録辞書判断処理が、各々の文字認識部の認識辞書に前記字形パターンを登録した場合に生じる前記統合認識結果への影響を調べ、前記統合認識結果がもっとも改善される文字認識部の認識辞書を判断する処理とすれば、個人字形パターンを登録すべき最適な認識辞書を判断することができる。
【００２３】
次に、前記個人字形パターン登録判定部による登録辞書判断処理が、前記複数ある文字認識部のうち、互いに並列処理の関係にある文字認識部による構成部分については、そのうち個人字形パターン登録により認識結果改善の幅がより大きい文字認識部の認識辞書を選択する第１の登録辞書判断処理と、前記複数ある文字認識部のうち、互いに直列処理の関係にある文字認識部による構成部分については、上位側の文字認識部に対する第１の閾値Ｍ１と下位側の文字認識部に対する第２の閾値Ｍ２を設け、前記上位側の文字認識部単独の認識結果において正解が上位Ｍ１位以内になく、前記下位側の文字認識部単独の認識結果において正解が上位Ｍ２位以内にない場合には、前記上位側および下位側の文字認識部の認識辞書双方を選択し、前記上位側の文字認識部単独の認識結果において正解が上位Ｍ１位以内にあり、前記下位側の文字認識部単独の認識結果において正解が上位Ｍ２位以内にない場合には、前記下位側の文字認識部の認識辞書のみを選択し、前記上位側の文字認識部単独の認識結果において正解が上位Ｍ１位以内になく、前記下位側の文字認識部単独の認識結果において正解が上位Ｍ２位以内にある場合には、前記上位側の文字認識部の認識辞書のみを選択し、第２の登録辞書判断処理を備えることが好ましい。
【００２４】
上記構成により、複数組み合わされた文字認識部の構成と、それら文字認識部単独での認識結果に基づいて、手書き文字認識システム全体のうちのどの認識辞書に対して個人字形パターンを登録すれば良いか、個人字形パターン登録判定部による登録辞書判断処理において適切に判断することができる。
【００２５】
さらに、前記個人字形パターン登録判定部の登録辞書判断処理の第２の登録辞書判断処理において、前記上位側単独の文字認識部の認識結果において正解が上位Ｍ１位以内にあり、前記下位側単独の文字認識部の認識結果において正解が上位Ｍ２位以内にある場合には、前記下位側の文字認識部の認識辞書のみを選択し、前記個人字形パターン登録部による前記下位側の文字認識部の認識辞書に対する字形パターン登録によっても新規登録判断処理において新規登録が必要と判断された場合は、前記上位側および下位側の文字認識部の認識辞書双方を選択することが好ましい。
【００２６】
上記構成により、複数組み合わされた文字認識部の認識を最終的に統合する統合処理において認識結果を劣化させる要因がある場合にも、当該統合処理結果を向上させるための字形パターン登録を実行し、適切な対処が可能となる。
【００２７】
また、前記個人字形パターン登録判定部が、前記新規登録判断処理における個人の文字パターンを新たな字形パターンとして登録すべきか否かを判断する基準の設定・変更と、前記第２の登録辞書判断処理における上位側の文字認識部に対する第１の閾値Ｍ１と下位側の文字認識部に対する第２の閾値Ｍ２を設定・変更を行なう個人字形パターン登録判定処理制御部を備えれば、動的にシステムのチューニングを行なうことが可能となる。
【００２８】
また、本発明の手書き文字認識システムによる処理は、上記処理内容を記述した処理プログラムという形で提供することができ、当該処理プログラムを記録した記録媒体として提供すれば、コンピュータなどにより当該記録媒体から処理プログラムを読み込むことにより本発明の手書き文字認識システムをコンピュータシステムにより構築することができる。
【００２９】
【実施の形態】
本発明の手書き文字認識システムの各実施形態について図面を参照しつつ説明する。なお、本発明の手書き文字認識システムは、用いている複数の文字認識部の組み合わせ・構成については限定されない。ここでは、組み合わせの基本となる２つ文字認識部が並列関係に組み合わされた部分と、２つの文字認識部が直列関係に組み合わされた部分の複合構成のものを例として説明する。文字認識部が多数複雑に構成されていても、それらは、２つ文字認識部が並列関係に組み合わされた部分と、２つの文字認識部が直列関係に組み合わされた部分に分解することができるので、本実施形態で説明する構成が適用されうる。
【００３０】
利用者が新たな字形を登録したいと思うケースは様々たが、本実施形態では、手書き入力した文字の正解が認識結果の所定順位の候補内に存在しない場合にその文字パターンを登録するというケースについて考える。すなわち、利用者が自らの字形パターン登録操作を行なった場合でもその字形パターンを登録しなくても正解が所定順位の候補内で得られているものであれば、登録を行なわない判断をする。また、字形パターン登録が必要な場合でも全ての認識部の認識辞書に登録を行なうのではなく、認識システム全体の辞書容量増加を抑制するため、当該字形パターン登録により認識システム全体としての認識結果を効率的に向上させる認識部の認識辞書にのみ最小限の登録を行なうものである。
【００３１】
（実施形態１）
図１は、本実施形態１の手書き文字認識システム１００の概略構成図である。本実施形態１の手書き文字認識システム１００は、第１の文字認識部１０、第２の文字認識部２０、候補統合部３０、個人字形パターン登録判定部４０を備えている。実線矢印が認識処理時の各要素間の処理の流れを示しており、点線矢印が個人字形パターンの認識辞書への登録処理時の各要素間の処理の流れを示している。なお、この例では、プラットフォームはパーソナルコンピュータとする。なお、パーソナルコンピュータのシステム運用に必要なＣＰＵ、メモリ、各種デバイスなどは図示を省略している。
【００３２】
本発明の手書き文字認識システムは複数の文字認識部の組み合わせ方には限定されず、多様な組み合わせ方に適用できる。また、各文字認識部による認識方法、認識エンジンも様々なものを用いることが可能である。実施形態１の手書き文字認識システムは、手書き文字パターンをビットマップデータとして特徴を抽出したパターンマッチングにより文字認識を行なう第１の文字認識部１０と、入力された筆跡の時系列ベクトル情報を用いて伸縮マッチングによるオンライン文字認識を行なう第２の文字認識部２０の複数の文字認識部を備えている。第１の文字認識部１０と第２の文字認識部２０との並列統合による第１の組み合わせと、第１の文字認識部１０を上位側の文字認識部とし、第２の文字認識部２０を下位側の文字認識部とした直列統合の直列接続による第２の組み合わせを混合したものとなっている。図１に示すように、第１の文字認識部１０による認識結果と第２の文字認識部２０による認識結果が候補統合部３０にそれぞれ入力されている。これは、第１の文字認識部１０と第２の文字認識部２０の並列統合による組み合わせを示している。また、第１の文字認識部１０による認識結果が第２の文字認識部２０の後述する認識エンジン２４に対して入力されている。これは、第１の文字認識部１０と第２の文字認識部２０の直列統合による組み合わせを示している。
【００３３】
第１の文字認識部１０は、手書き文字パターンをビットマップデータとして特徴を抽出したパターンマッチングにより文字認識を行なう文字認識部であり、手書き文字パターン入力部１１、特徴抽出部１２、認識辞書１３、認識エンジン１４、認識結果出力部１５、個人字形パターン登録部１６を備えている。
【００３４】
手書き文字パターン入力部１１は、外部から認識対象となる手書き文字パターンの入力を受け付ける部分である。外部から認識対象となる手書き文字パターンが入力できるものであれば良く、スキャナ、タブレット、ファイル読み取り装置などでも良い。
【００３５】
入力パターンは利用者の筆跡を座標点の時系列で表わしたベクトルデータであり、その内部表現をＣ言語で記すと、例えば、図２のように表現できる。ここで、ｆｌａｇはペンのアップ・ダウンを示すフラグで、０がペンアップの状態を、０以外ならペンダウンを表わす。ｐｏｉｎｔは不定長の座標点列を表わし、座標点数はｌｅｎｇｔｈで表わされる。
【００３６】
特徴抽出部１２は、入力された手書き文字パターンから特徴を抽出する部分であり、この第１の文字認識部においては、タブレットなど手書き文字パターン入力部１１から入力された座標系列データをビットマップイメージに変換する処理と、ビットマップイメージから輪郭線を抽出する処理と、抽出した輪郭線特徴を集計して特徴ベクトルを生成する処理とを備えている。上記のビットマップ変換処理は、ペンダウンの状態の隣り合った座標点の間を順に埋めていくことで実現できる。すなわち、図３に示すように、座標点の間を線分で結び、その線分が通る升目を埋めていけば、座標点列のビットマップ化が可能となる。輪郭線抽出処理は、ビットマップパターンの白黒の境界の方向を抽出することにより行なう。例えば、図３のように境界線を時計方向に追っていく事によりパターンの輪郭を得ることができる。こうして得られた輪郭方向は０度〜１８０度の間で８方向に量子化される。量子化された輪郭方向は、ビットマップの枠を粗く区切った部分領域（例えば、文字枠を８×８に区切った６４個の領域）の中で集計される。例えば、８方向・６４領域でカウントすると特徴ベクトルは５１２次元となる。
【００３７】
認識辞書１３は、認識エンジン１４によるパターンマッチング処理において用いる標準文字パターンの特徴データを登録した辞書である。
【００３８】
認識エンジン１４は、この例では、オフライン認識エンジンであり、入力された手書き文字パターンから生成されたビットマップイメージから抽出された特徴データと認識辞書の標準文字パターンの特徴データとのマッチング処理を行なう部分である。この例におけるマッチングは両者の市街地距離から算出したスコアを評価することによって行う。上記で得られた５１２次元特徴と同じ方法で特徴抽出された辞書パターンと入力パターンとを、それぞれの次元の数値の差分の和で距離を求め、スコアを計算する。市街地距離からスコアを計算し、距離が小さい順に並べる働きを行なう部分がオフライン認識エンジン１４である。以上のオフライン認識処理は、一例であり、他の処理方法もある。
【００３９】
認識結果出力部１５は、認識エンジン１４による文字認識結果を受け、その認識結果の確からしさに応じて、認識候補を順序付けて認識結果として出力する。第１の文字認識部１０は、並列統合処理される１つの文字認識部として機能するので、この認識結果出力部１５は、候補統合部３０に対して認識結果を出力する。認識結果出力部１５が出力する認識候補は、いくつまで出力するか設定することができ、ここでは上位Ｍ２位（Ｍ２は後述するＭ１より小さい自然数）までの候補が候補統合部３０に対して出力されるものとする。また、第１の文字認識部１０は、直列統合処理される上位側の文字認識部として機能するので、この認識結果出力部１５は、下位側の第２の文字認識部２０に対して認識結果を出力する。ここでは、上位Ｍ１位（Ｍ１はＭ２より大きい自然数）までの候補が第２の文字認識部２０に対して出力されるものとする。
【００４０】
個人字形パターン登録部１６は、後述するように候補統合部３０の出力結果に基づいて個人字形パターン登録判定部４０により、手書き入力された個人の文字パターンを、新たな字形パターンとして認識辞書１３に登録すべきと指示を受けると、入力されている個人の文字パターンを認識辞書１３に対して新たな字形パターンとして新規登録処理を実行する部分である。
【００４１】
第２の文字認識部２０は、入力された筆跡の時系列ベクトル情報を用いて伸縮マッチングによるオンライン文字認識を行なう文字認識部であり、手書き文字パターン入力部２１、特徴抽出部２２、認識辞書２３、認識エンジン２４、認識結果出力部２５、個人字形パターン登録部２６を備えている。
【００４２】
手書き文字パターン入力部２１は、手書き文字パターン入力部１１と同様、外部から認識対象となる手書き文字パターンの入力を受け付ける部分である。外部から認識対象となる手書き文字パターンが入力できるものであれば良く、スキャナ、タブレット、ファイル読み取り装置などでも良い。
【００４３】
特徴抽出部２２は、入力された手書き文字パターンから特徴を抽出する部分であり、この第２の文字認識部においては、後述する認識エンジンによる伸縮マッチングの前処理として、タブレットなど手書き文字パターン入力部２１から入力された座標系列データを線分の始点、終点、屈曲点など特徴的な座標点列に変換し、そこから特徴点列を抽出・生成するものである。この特徴抽出部２２の特徴点列抽出の処理アルゴリズムを図４に示す。この処理は再帰的最遠点抽出法と呼ばれているもので、文字形状を効率的に表わす特徴点列を生成するものである。
【００４４】
認識辞書２３は、認識エンジン２４による伸縮マッチング処理において用いる標準文字パターンの特徴データを登録した辞書である。
【００４５】
認識エンジン２４は、この例では、伸縮マッチング認識エンジンである。この認識エンジン２４は、特徴抽出部２２により抽出された特徴データと認識辞書２３の標準文字パターンの特徴データとの伸縮マッチング処理を行なうものである。伸縮マッチングの様子を図５に示す。図５に示す通り、まず入力パターンの特徴データと認識辞書２３の標準パターンの特徴データとの最適な対応付けを求めるため、それぞれの特徴点同士、個々の距離（ローカル距離）を計算する（図５（ａ））。ローカル距離は、特徴点同士の座標点のユークリッド距離で求め、スコアを算出する。次に、１つの特徴点には１点しか対応しないとして最適な組み合わせを求め（図５（ｂ）、それ以外の対応を削除する（図５（ｃ））。最後に対応する点が無い特徴点については、その前後の点との関係から擬似対応点を求め、全ての点について対応する点を求める（図５（ｄ））。これら特徴点同士の対応についてローカル距離の総和を求め、トータルでの認識スコアを求める。伸縮マッチングを行なう認識エンジン２４では、そこで得られた認識スコアの順に候補文字を並べ換えて出力する。以上説明した伸縮マッチング処理は、一例であり、他の処理方法もある。
【００４６】
認識結果出力部２５は、認識結果出力部１５と同様であり、認識エンジン２４による文字認識結果を受け、その認識結果の確からしさに応じて、認識候補を順序付けて認識結果として出力する。ここで、第２の文字認識部は、並列統合処理される１つの文字認識部として機能し、また、第２の文字認識部は、直列統合処理される下位側の文字認識部として機能するので、上位側の第１の文字認識部１０から渡された上位Ｍ１位の認識候補をさらに絞り込んで上位Ｍ２位までの認識候補を認識結果として候補統合部３０に出力する。第１の文字認識部１０と同様、上位Ｍ２位までの認識候補を認識結果として候補統合部３０に対して出力する。
【００４７】
個人字形パターン登録部２５は、後述するように候補統合部３０の出力結果に基づいて個人字形パターン登録判定部４０により、手書き入力された個人の文字パターンを新たな字形パターンとして認識辞書２３に登録すべきと指示を受けると、入力されている個人の文字パターンを認識辞書２３に対して新たな字形パターンとして新規登録処理を実行する部分である。
【００４８】
候補統合部３０は、第１の文字認識部１０からの認識結果と第２の文字認識部２０からの認識結果を受け、両者を統合して手書き文字認識システム全体としての認識結果を出力する部分である。認識結果としていくつまで認識候補を出力するかは設定することができ、ここでは、統合結果上位Ｍ２位まで出力するものとする。
【００４９】
個人字形パターン登録判定部４０は、認識結果に応じて、前記手書き入力された個人の文字パターンを、新たな字形パターンとして登録すべきか否かを判断する新規登録判断処理と、前記新規登録判断処理において新規登録が必要と判断された場合に複数ある文字認識部のうちのどの文字認識部の認識辞書に登録するかを判断する登録辞書判断処理とを実行する部分である。
【００５０】
個人字形パターン登録判定部４０は、新規登録判断処理部４１、登録辞書判断処理部４２を備えている。新規登録判断処理部４１は、認識結果に応じて、前記手書き入力された個人の文字パターンを、新たな字形パターンとして登録すべきか否かを判断する処理を行なう部分である。この例では、候補統合部３０から統合結果の上位Ｍ２位まで出力されるが、その中に正解が含まれているか否かを判定し、含まれていない場合には手書き入力された個人の文字パターンを、新たな字形パターンとして登録すべきという判定するものとする。もちろんこの判定基準は柔軟に設定することが可能である。例えば、候補統合部３０から出力された統合結果上位Ｐ位以内（ＰはＭ２より小さい自然数）にない場合には、たとえＭ２位以内にあっても、手書き入力された個人の文字パターンを新たな字形パターンとして登録するという判定することもできる。
【００５１】
登録辞書判断処理部４２は、新規登録判断処理部４１により新規登録が必要と判断された場合に、複数ある文字認識部のうちのどの文字認識部の認識辞書に登録するかを判断する登録辞書判断処理を実行する部分である。
【００５２】
この例では、登録辞書判断処理方式として、シミュレーションによる判断処理方式と、各文字認識部における正解の認識順位を基にした判断処理方式を挙げる。
【００５３】
シミュレーションによる判断処理方式は、各々の文字認識部の認識辞書に個人字形パターンを登録した場合に生じる統合認識結果への影響を調べ、統合認識結果がもっとも改善される文字認識部の認識辞書を判断する処理方式である。このように統合認識結果への影響を分析すれば、もっとも個人字形パターン登録に最適な認識辞書を判断することができる。
【００５４】
次に、各文字認識部における正解の認識順位を基にした判断処理方式について詳しく説明する。この例では、登録辞書判断処理部４２は、複数の文字認識部の組み合わせ方によらず登録辞書判断処理が実行でき、互いに並列処理の関係にある文字認識部の構成部分に対する第１の登録辞書判断処理と、互いに直列処理の関係にある文字認識部の構成部分に対する第２の登録辞書判断処理を備えている。
【００５５】
第１の登録辞書判断処理は、新規登録判断処理部４１による新規登録判断処理を受け、互いに並列処理の関係にある文字認識部の構成部分において認識精度を向上するため、個人の字形パターンを登録する処理である。並列処理であるので、並列関係にある文字認識部のうち、個人字形パターン登録により認識結果改善の幅がより大きい文字認識部の認識辞書に個人字形パターンが登録されれば、当該文字認識部において認識精度が向上して正解が認識候補の上位となることが期待でき、その結果、統合処理においても正解が認識候補の上位となることが期待できる。上記のように、個人字形パターンを登録する認識辞書は、並列関係にあるいずれか１つの文字認識部の認識辞書で良いが、この例では、第１の文字認識部１０と第２の文字認識部２０が並列処理の関係にあるとした場合、例えば、第１の文字認識部１０の認識辞書１３に個人字形パターンを登録するように指定する。
【００５６】
第２の登録辞書判断処理は、新規登録判断処理部４１による新規登録判断処理を受け、互いに直列処理の関係にある文字認識部の構成部分において認識精度を向上するため、個人の字形パターンを登録する処理である。この第２の登録辞書判断処理は、以下の３つの場合に分けて個人字形パターンを登録する認識辞書を判断する。
【００５７】
まず、上位側の文字認識部１０に対する第１の閾値Ｍ１と第２の閾値Ｍ２、下位側の文字認識部２０に対する閾値Ｍ２を設ける。ここでＭ１，Ｍ２は上記したように両者自然数であり、かつ、Ｍ１＞Ｍ２の関係にある。ここでは、Ｍ１は直列統合の大分類としての認識候補の順位の閾値として利用され、Ｍ２は直列統合の詳細分類としての認識候補の順位の閾値であり、かつ、並列統合処理の認識部としての認識候補の順位の閾値と一致しているものとする。さらにこの例では、統合認識結果に対する閾値Ｐを設ける。ここでＰは自然数でありＭ２＞Ｐの関係にあるとする。最終的な統合結果の良否を判断するための閾値である。以下、各文字認識部の認識結果の良否をそれぞれ設定された閾値を用いて判断し、個人字形パターンを登録する認識辞書の選択を判断する。
【００５８】
第１の場合は、上位側の文字認識部１０単独の認識結果において正解が上位Ｍ１位以内になく、下位側の文字認識部２０単独の認識結果において正解が上位Ｍ２位以内にもない場合である。この場合には、上位側の文字認識部１０の認識辞書１３および下位側の文字認識部２０の認識辞書２３双方を選択してそれぞれ登録するという判断処理を行なう。上位側の文字認識部１０単独の認識結果において正解が所定の順位Ｍ１位以内に含まれていないので、当該個人字形パターンは上位側の大分類の段階で脱落している事が分かる。まず、第１の文字認識部１０の認識辞書１３に個人字形パターンを登録する。これで大分類での脱落については改善されるはずである。本実施形態１の例では、上記第１の場合、下位側の文字認識部２０の認識辞書２３に対しても個人字形パターンを登録する処理としている。上位側の文字認識部１０および下位側の文字認識部２０双方の認識精度が向上しなければ、直列統合処理結果の認識精度の向上が期待できないと扱う。
【００５９】
もっともこの第１の場合、上位側の文字認識部１０の認識辞書１３への個人字形パターン登録のみにより、直列統合処理結果の認識精度の向上が十分得られる場合があるので、次の処理も可能である。まず、上位側の文字認識部１０の認識辞書１３のみに個人字形パターンを登録して直列統合処理結果を見て、認識結果が向上し、正解が上位Ｐ位内に含まれるように改善されたか否かをチェックし、改善された場合には、下位側の文字認識部２０の認識辞書２３には個人字形パターンを登録せず、未だ改善されない場合には下位側の文字認識部２０の認識辞書２３にも個人字形パターンを登録する処理である。
【００６０】
第２の場合は、上位側の文字認識部１０単独の認識結果において正解が上位Ｍ１位以内にあり、下位側の文字認識部２０単独の認識結果において正解が上位Ｍ２位以内にない場合である。この場合には、下位側の文字認識部２０の認識辞書２３のみを選択して個人字形パターンを登録し、上位側の文字認識部１０の認識辞書１３には個人字形パターンを登録しないという判断処理を行なう。この第２の場合は、上位側の文字認識部１０の認識精度は所定以上得られており、下位側の文字認識部２０の認識精度を向上することが有効な場合であり、直列統合処理結果の認識精度の向上が期待できる。また、並列統合処理としても単独の認識結果において正解が上位Ｍ２位以内に入るよう認識精度の向上が期待できる。
【００６１】
第３の場合は、上位側の文字認識部１０単独の認識結果において正解が上位Ｍ１位以内になく、下位側の文字認識部２０単独の認識結果において正解が上位Ｍ２位以内にある場合である。この場合には、上位側の文字認識部１０の認識辞書１３のみを選択し、上位側の文字認識部１０の認識辞書１３のみを選択して個人字形パターンを登録し、下位側の文字認識部２０の認識辞書２３には個人字形パターンを登録しないという判断処理を行なう。この場合には、下位側の文字認識部２０単独では本来の認識精度が所定以上あるが、上位側の文字認識部１０の認識精度が不充分であるため、直列統合処理した場合の認識精度が劣化したと考えられるからである。上位側の文字認識部１０の認識辞書１３に個人字形パターンを登録すれば、直列統合処理した場合の認識精度向上が期待できる。
【００６２】
以上が登録辞書判断処理部４２の第２の登録辞書判断処理の基本処理であるが、以下のケースにも対処する。
【００６３】
これは、新規登録判断処理部４１による新規登録判断処理がなされたが、各々の文字認識部では認識精度が所定以上得られており、候補統合部３０による候補統合処理において正解が欠落した場合である。第１の登録辞書判断処理である並列統合処理の場合において、第１の文字認識部１０において正解が上位Ｍ２位付近であり、第２の文字認識部２０においても正解が上位Ｍ２位付近であり、候補統合部３０における並列統合処理において上位Ｐ位以内から脱落してしまった場合である。
【００６４】
この場合には、まず、並列の関係にある文字認識部うち、個人字形パターン登録により認識結果改善の幅がより大きい文字認識部の認識辞書に個人字形パターンを登録する。例えば、正解候補と次候補の距離の差が大きい文字認識部の認識辞書へ個人字形パターン登録を指示する。例えば、第１の文字認識部１０の認識辞書１３に個人字形パターンを登録する。この登録処理により候補統合部３０の並列統合処理結果が改善されたか否かを調べる。正解が所定の上位Ｐ位以内に含まれていれば、並列統合処理結果が十分改善されたとして個人字形パターン登録処理を終了する。もし、未だ正解が所定の上位Ｐ位以内に含まれていない場合は、他の文字認識部、つまり、第２の文字認識部２０の認識辞書２３にも個人字形パターンを登録する。
【００６５】
以上が、登録辞書判断処理部４２による登録辞書判断処理である。以上の処理により登録辞書判断処理部４２による登録辞書判断処理により個人字形パターンを登録する認識辞書が指定されると、個人字形パターン登録部により認識辞書に個人字形パターンを登録する。
【００６６】
上記個人字形パターン登録処理をまとめたの流れを図６のフローチャートに示す。この例は、複数の文字認識部が図１のように、直列処理の部分（上位側が第１の文字認識部１０、下位側が第２の文字認識部２０の直列配置部分）と並列処理の部分（第１の文字認識部１０と第２の文字認識部２０との並列配置部分）を併有している構成とする。なお、上記本実施形態１で説明した登録処理の流れは、かならずしも図６のフローチャートのようにまとめられたものに限定されるものでないことは言うまでもない。
【００６７】
第１の文字認識部１０の新規登録判断処理部４１が、利用者がタブレットなどにより入力した個人字形パターンである手書き文字データの認識辞書への登録が必要と判断する（ステップＳ６０１）。
【００６８】
登録辞書判断処理部４２は、まず、直列処理の部分に対する第２の登録辞書判断処理の一環として、直列統合処理関係にある部分のチェックから始める。登録辞書判断処理部４２は上位側の第１の文字認識部１０単独の個人字形パターンの認識結果を得て、上位側の第１の文字認識部１０単独の登録個人字形パターンの認識結果において正解が上位Ｍ１位内に含まれているか否かチェックする（ステップＳ６０２）。
【００６９】
もし、正解が上位Ｍ１位内に含まれていない場合（ステップＳ６０２：Ｎ）、つまり、上位側の文字認識部１０単独で十分な認識精度が出ていないと判断した場合、登録辞書判断処理部４２は、第１の文字認識部１０の認識辞書１３を個人字形パターンを登録する認識辞書と判断し、個人字形パターン登録部１５に対して登録指示を出す（ステップＳ６０３）。登録後の認識辞書１３を用いて第１の文字認識部１０により登録個人字形パターンの認識結果を得て、ステップＳ６０４に進む。
【００７０】
もし、ステップＳ６０３において正解が上位Ｍ１位内に含まれている場合、つまり、上位側の文字認識部１０単独で所定の認識精度が出ている判断した場合、下位側の文字認識部２０単独の登録個人字形パターンの認識結果を得て、候補統合部３０において、上位側の文字認識部１０単独の登録個人字形パターンの認識結果と、下位側の文字認識部２０単独の登録個人字形パターンの認識結果を並列統合する（ステップＳ６０４）。
【００７１】
登録辞書判断処理部４２は、並列処理部分に対する第１の登録辞書判断処理の一環として、候補統合部３０による統合処理後の統合認識結果において正解が上位Ｐ位内に含まれているか否かチェックする（ステップＳ６０５）。
【００７２】
もし、正解が上位Ｐ位内に含まれている場合（ステップＳ６０５：Ｙ）、つまり、並列処理の統合の結果、十分な認識精度が出ている判断した場合、これ以上、当該個人字形パターンを認識辞書に登録する必要はなく、登録処理を終了する。
【００７３】
もし、正解が上位Ｐ位内に含まれていない場合（ステップＳ６０５：Ｎ）、並列処理部分において十分認識精度が出ていないと判断でき、並列関係にあるいずれかの文字認識部の認識辞書に当該個人字形パターンを登録する必要がある。この例では、まず、第２の文字認識部２０単独の認識結果において正解が上位Ｍ２位内に含まれているか否かチェックする（ステップＳ６０６）。もし、正解が上位Ｍ２位内に含まれていない場合（ステップＳ６０６：Ｎ）、第２の文字認識部の認識精度が十分に出ていないと判断して、第２の文字認識部２０の認識辞書２３に対して個人字形パターンを登録する（ステップＳ６０７）。
【００７４】
もし、正解が上位Ｍ２位内に含まれている場合（ステップＳ６０７：Ｙ）、第２の文字認識部では所定の認識精度が得られていたと判断して、次に、第１の文字認識部１０単独の認識結果において正解が上位Ｍ２位内に含まれているか否かチェックする（ステップＳ６０８）。
【００７５】
もし、ステップＳ６０８において、第１の文字認識部１０の認識結果において正解が上位Ｍ２位内に含まれている場合（ステップＳ６０８：Ｙ）、第１の文字認識部１０および第２に文字認識部２０双方とも所定の認識精度（正解が上位Ｍ２位以内にあるという認識精度）が出ていたことになり、候補統合部３０による統合処理において正解が所定順位Ｐ位から欠落してしまったことと判断できる。そこでまず、第２の文字認識部２０の認識辞書２３に個人字形パターンを登録し（ステップＳ６０９）、候補統合部３０における並列統合処理結果を調べ（ステップＳ６１０）、未だ正解が上位Ｐ位以内に含まれていない場合（ステップＳ６１０：Ｎ）には、個人字形パターン登録部１５に対して登録指示を出し、第１の文字認識部１０の認識辞書１３に個人字形パターンを登録し（ステップＳ６１１）、処理を終了する。
【００７６】
もし、ステップＳ６０８において、第１の文字認識部１０の認識結果において正解が上位Ｍ２位内に含まれていない場合（ステップＳ６０８：Ｎ）、個人字形パターン登録部１５に対して登録指示を出し、第１の文字認識部１０の認識辞書１３に個人字形パターンを登録し（ステップＳ６１１）、処理を終了する。
【００７７】
以上、本実施形態１の手書き文字認識システムによれば、複数の文字認識部を用いた複合型手書き文字認識システムにおいて、正解が統合認識結果の所定順位内に含まれない字形パターンを登録する場合、必要な文字認識部の認識辞書に対してのみ字形パターン登録を行ない、システム全体としての辞書容量の増大と認識処理時間の増大を防止しつつ、統合認識結果の改善を図ることができる。
【００７８】
（実施形態２）
本実施形態２の手書き文字認識システムは、実施形態１の構成に加え、個人字形パターン登録判定部４０ａが、個人字形パターン登録判定処理制御部４３を備えた構成となっている。個人字形パターン登録判定処理制御部４３は、個人字形パターン登録判定部４０ａの処理に関する基準の設定・変更を行なう部分である。
【００７９】
図７は、本実施形態２の手書き文字認識システム１００ａの概略構成図である。本実施形態２の個人字形パターン登録判定処理制御部４３は、新規登録判断処理部４１と登録辞書判断処理部４２の制御が可能な構成となっている。
【００８０】
第１に、個人字形パターン登録判定処理制御部４３は、新規登録判断処理部４１における個人の文字パターンを新たな字形パターンとして登録すべきか否かを判断する基準の設定・変更が可能である。実施形態１で説明したように、新規登録判断処理部４１は、候補統合部３０から出力される統合結果の認識候補のうち、設定する閾値順位内に正解が含まれているか否かを判定し、含まれていない場合には手書き入力された個人の文字パターンを、新たな字形パターンとして登録すべきという判定を行なうが、個人字形パターン登録判定処理制御部４３はこの閾値順位の設定・変更が可能である。
【００８１】
このように、新規登録判断処理部４１の閾値順位を変更することにより、認識精度を重視して個人字形パターンを登録しなくて良い基準を高く設定するか、辞書容量と処理速度を重視して個人字形パターンを登録しなくてよい基準を低く設定するかをチューニングすることができる。
【００８２】
第２に、個人字形パターン登録判定処理制御部４３は、登録辞書判断処理部４２の第２の登録辞書判断処理における上位側の文字認識部に対する第１の閾値Ｍ１と下位側の文字認識部に対する第２の閾値Ｍ２の設定・変更が可能である。
【００８３】
このように、登録辞書判断処理部４２の上位側の文字認識部に対する第１の閾値Ｍ１と下位側の文字認識部に対する第２の閾値Ｍ２を変更することにより、それぞれの文字認識部に要求する認識精度、辞書容量、処理速度をチューニングすることができる。
【００８４】
（実施形態３）
本発明の手書き文字認識システムは、上記実施形態に説明した処理を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明の手書き文字認識システムを実現する処理ステップを備えたプログラムを記録した記録媒体は、図８に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ２０２やフレキシブルディスク２０３等の可搬型記録媒体２０１だけでなく、ネットワーク上にある記録装置内の記録媒体２００や、コンピュータのハードディスクやＲＡＭ等の記録媒体２０５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ２０４上にローディングされ、主メモリ上で実行される。
【００８５】
【発明の効果】
本発明により、複数の文字認識部を用いた複合型手書き文字認識システムにおいて、正解が統合認識結果の所定順位内に含まれない字形パターンを登録する場合、必要な文字認識部の認識辞書に対してのみ字形パターン登録を行ない、システム全体としての辞書容量の増大と認識処理時間の増大を防止しつつ、統合認識結果の改善を図ることができる。
【図面の簡単な説明】
【図１】  本発明の実施形態１の手書き文字認識システム１００の概略構成を示す図
【図２】  本発明の実施形態１の入力パターンを座標点の時系列で表わしたベクトルデータとしてその内部表現をＣ言語で表わした図
【図３】  本発明の実施形態１の座標系列データをビットマップイメージに変換する処理を示す図
【図４】  本発明の実施形態１の特徴抽出部２２の特徴点列抽出の処理アルゴリズムを示す図
【図５】  本発明の実施形態１の伸縮マッチングの様子を示す図
【図６】  本発明の実施形態１の手書き文字認識システムの個人字形パターン登録処理の流れの概略を示すフローチャート
【図７】  本発明の実施形態２の手書き文字認識システム１００ａの概略構成を示す図
【図８】  本発明の実施形態３の手書き文字認識システムの処理プログラムを記録した記録媒体の例を示す図
【図９】  従来の並列統合方式の複合型手書き文字認識システムの構成例を示す図
【図１０】  従来の直列統合方式の複合型手書き文字認識システムの構成例を示す図
【図１１】  従来の並列統合方式と直列統合方式を併せ持つ複合型手書き文字認識システムの構成例を示す図
【図１２】  従来の文字認識処理の流れと字形登録処理時の流れを示す図
【符号の説明】
１０  第１の文字認識部
１１，２１  手書き文字パターン入力部
１２，２２  特徴抽出部
１３，２３  認識辞書
１４，２４  認識エンジン
１５，２５  認識結果出力部
１６，２６  個人字形パターン登録部
２０  第２の文字認識部
３０  候補統合部
４０，４０ａ  個人字形パターン登録判定部
４１  新規登録判断処理部
４２  登録辞書判断処理部
４３  個人字形パターン登録判定処理制御部
１００，１００ａ  手書き文字認識システム
２００  回線先のハードディスク等の記録媒体
２０１  ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
２０２  ＣＤ−ＲＯＭ
２０３  フレキシブルディスク
２０４  コンピュータ
２０５  コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
【図１】
0003815934.tif 000002
【図２】
0003815934.tif 000003
【図３】
0003815934.tif 000004
【図４】
0003815934.tif 000005
【図５】
0003815934.tif 000006
【図６】
0003815934.tif 000007
【図７】
0003815934.tif 000008
【図８】
0003815934.tif 000009
【図９】
0003815934.tif 000010
【図１０】
0003815934.tif 000011
【図１１】
0003815934.tif 000012
【図１２】
0003815934.tif 000013