(57)【特許請求の範囲】
【請求項１】
手書き入力された筆跡の座標データを時系列に配列して成る座標データ列を得るタブレットと、上記座標データ列に基づいて手書き入力文字のカテゴリを大分類する大分類部と、この大分類結果に基づいて手書き入力文字を認識する文字認識部を有する手書き文字認識装置において、
上記大分類部は、
上記座標データを変換して、手書き入力された筆跡パターンの位置と大きさとを正規化する正規化部と、
上記正規化後の座標データ列に基づいて、ストロークを構成する各セグメントおよび各ストローク間を結ぶオフストロークの方向を量子化して方向コードを得る方向量子化部と、
上記方向コードに対応付けられた画像メモリ上に、該当する方向コードのセグメントおよびオフストロークの画像パターンを生成する画像パターン生成部と、
上記画像メモリをＭ×Ｎの領域に分割し、各領域の特徴量を抽出して特徴ベクトルを求める特徴抽出部と、
上記特徴ベクトルと予め登録された標準ベクトルとのマッチングを行うマッチング部と、
上記マッチングの結果を受けて、認識対象となるカテゴリを限定する文字分類部を備え、
上記画像パターン生成部は、上記セグメントおよびオフストロークの画像パターンを生成する場合に、上記セグメントの太さを所定の太さにする一方、上記オフストロークの太さを上記所定の太さよりも細くするようになっている
ことを特徴とする手書き文字認識装置。
【請求項２】
請求項１に記載の手書き文字認識装置において、
上記画像メモリは、主たる方向が上下左右である４つの方向コード群に対応付けられた４個の画像メモリであることを特徴とする手書き文字認識装置。
【請求項３】
請求項２に記載の手書き文字認識装置において、
上と右との両方向の中間の方向を指定する方向コード、上と左との両方向の中間の方向を指定する方向コード、下と右との両方向の中間の方向を指定する方向コード、および、下と左との両方向の中間の方向を指定する方向コードは、該当する両方向の夫々が対応付けられている２個の画像メモリに対応付けられていることを特徴とする手書き文字認識装置。
【請求項４】
請求項１に記載の手書き文字認識装置において、
上記正規化部は、上記タブレットからの座標データ列に基づいて、上記筆跡パターンの中心を求め、上記筆跡パターンを上記中心を通る直交軸によって分割した４領域の夫々の座標データを、正規化サイズ×正規化サイズの矩形領域を直交軸によって４等分割したうちの対応する領域の座標データに変換するようになっていることを特徴とする手書き文字認識装置。
【請求項５】
請求項４に記載の手書き文字認識装置において、
上記正規化部は、上記筆跡パターンのストロークのみならずオフストロークの座標データをも用いて上記筆跡パターンの中心を求めるようになっていることを特徴とする手書き文字認識装置。
【請求項６】
請求項１に記載の手書き文字認識装置において、
上記特徴抽出部は、上記画像メモリをＭ×Ｎの領域に分割する場合に、各領域の境界部分をオーバーラップさせて分割するようになっていることを特徴とする手書き文字認識装置。
【請求項７】
手書き入力された筆跡の座標データを時系列に配列して成る座標データ列を得、
上記座標データを変換して、手書き入力された筆跡パターンの位置と大きさとを正規化し、
上記正規化後の座標データ列に基づいて、ストロークを構成する各セグメント及び各ストローク間を結ぶオフストロークの方向を量子化して方向コードを得、
上記方向コードに対応付けられた画像メモリ上に、上記セグメントの太さを所定の太さにする一方、上記オフストロークの太さを上記所定の太さよりも細くして、該当する方向コードのセグメントおよびオフストロークの画像パターンを生成し、
上記画像メモリをＭ×Ｎの領域に分割し、各領域の特徴量を抽出して特徴ベクトルを求め、
上記特徴ベクトルと予め登録された標準ベクトルとのマッチングを行い、このマッチングの結果に基づいて認識対象となるカテゴリを限定して、手書き入力文字のカテゴリを大分類するプログラムを記憶したことを特徴とするプログラム記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、パーソナルコンピュータや携帯情報端末等に用いられて、タブレットからペン入力された手書き文字等を認識する手書き文字認識装置およびプログラム記憶媒体に関する。
【０００２】
【従来の技術】
現在、パーソナルコンピュータや携帯情報端末等に対して文字を入力する場合には、キーボードを用いるのが主流である。ところが、このキーボードを用いて文字や記号を入力するには一定の技量が必要である。また、文字入力の対象となる機器が携帯情報端末のように小型化が進んでいるのに対して、上記キーボードの小型化には限界があるために、キーボードを設ける領域を確保できない場合がある。
【０００３】
そこで、タブレット等を用いた手書き文字入力が注目され始めている。このようなタブレットが設けられたパーソナルコンピュータや携帯情報端末等には手書き文字認識装置が搭載されている。そして、上記手書き文字認識装置は、手書きされた文字を構成するストロークのパターンと、文字認識辞書に格納されている文字パターンとのマッチングを取ることによって、手書き入力された文字を認識して文字コードを出力する。
【０００４】
ところが、現在の手書き文字の認識技術は完全なものではなく、画数/筆順制限の緩和等の種々の改良余地が残されている。現在研究されている画数/筆順制限を緩和するオンライン手書き文字認識方法は、大きく分けて以下の４つの基本的なアプローチに大別できる。
【０００５】
(１) 入力ストロークを、その筆順は固定して一筆書きパターンに変換してから認識する方法…画数に依存しない
(２) 入力ストロークを、その画数は固定して文字パターンと対応付けて認識する方法…筆順に依存しない
(３) 入力ストロークを、画数や筆順に因らずに標準パターンとの間で対応付けを行って、過不足なく対応付けができる最適ストロークを決定する方法…画数および筆順に依存しない
(４) 入力ストロークをビットマップデータに変換したのちに、ＯＣＲ(Optical Character Recognition)認識手法を用いて認識する方法…画数および筆順に依存しない
【０００６】
ここで、上記ＯＣＲ認識手法を用いる方法として、森等：「二度書き/ストローク切れにロバストなオンライン文字認識」信学技報  PRU95-63(1995)(以下、文献１と言う)や、特開平８−１４７４１５号公報「オンライン文字認識装置」(以下、文献２と言う)等がある。
【０００７】
上記文献１では、特徴として拡張外郭方向寄与度特徴を用いている。この拡張外郭方向寄与度特徴は、文字線の方向と接続関係を表現するものであり、文字内の各黒画素から８方向に触手を延ばして求まる黒画素連結長を要素とする８次元ベクトルで表される。その場合、文字パターンを上記触手を延ばす方向当たり８区間に当分割し、外郭深度３まで抽出する。この抽出処理によって１５３６ベクトルを得、さらに、２５６次元に次元圧縮して特徴ベクトルとしている。
【０００８】
また、上記文献２では、入力ストロークの座標点列データから、Ｘ座標の変化が＋のセグメントの画像パターンと、Ｘ座標の変化が−のセグメントの画像パターンと、Ｙ座標の変化が＋のセグメントの画像パターンと、Ｙ座標の変化が−のセグメントの画像パターンとを、夫々異なる画像メモリに格納する。つまり、ＸＹ座標系における第１,第２象限に在る画像パターンを１つの画像メモリに格納し、第２,第３象限に在る画像パターンを１つの画像メモリに格納し、第３,第４象限に在る画像パターンを１つの画像メモリに格納し、第４,第１象限に在る画像パターンを１つの画像メモリに格納するのである。そして、各画像メモリを８×８の領域に等分し、各領域毎に黒画素数をカウントして特徴ベクトルを生成する。
【０００９】
しかしながら、上述のオンライン手書き文字認識方法(１)〜(３)は、標準パターンに加えて画数または筆順の変形パターンを文字認識辞書に登録したり、入力ストロークと標準パターンとの対応付けを行ったりするので、認識処理に多大な時間を要する。また、上述のオンライン手書き文字認識方法(４)は、上述の方法(１)〜(３)に比べて短時間に認識結果が得られるものの、筆順や画数の情報が不足しているために一般に第１位の文字候補の認識率が上述の方法(１)〜(３)よりも低い。したがって、この認識率の低さを改善しようとすれば変形パターンを文字認識辞書に追加する必要があり、結果的に認識処理に時間を要するようになってしまう。
【００１０】
ところで、上述のように、認識処理に多大な時間を要するということは、携帯情報端末においては決定的に不利である。通常、ユーザが携帯情報端末を使用するのは時間が余り取れない状況下にであり、このような状況下では０.５秒に１文字の入力が完了しないとユーザにいらいら感を与えてしまう。一方では、携帯情報端末においては、重量や価格等の制約から高能力を有するＣＰＵ(中央演算処理装置)を搭載することができない。
【００１１】
上述のような問題を改善する１つの方法として、入力文字が属する文字認識辞書上のカテゴリを大分類(以下、単に入力文字の大分類と言う)する方法がある。この入力文字の大分類は、文字認識の際に用いる文字認識辞書のカテゴリを限定することによって、マッチングやストロークの対応付けを効率よく行うものであって、手書き文字認識の際には必要な技術である。
【００１２】
上記入力文字を大分類する方法として、文字の画数から大分類を行う方法、筆順から大分類を行う方法、ストローク長等のペンの移動情報から大分類を行う方法、上記ＯＣＲ手法によって大分類を行う方法等の各種の方法がある。これらの種々の大分類方法を組み合わせることによって、参照する文字認識辞書を絞り込んで、手書き文字認識に掛かる処理の無駄を省いて認識速度を向上している。
【００１３】
ここで、上記ＯＣＲ手法によって大分類を行う方法としては、上述の文献１や木村等：「ハンディ型パーソナルペン入力における個人字形登録の効果」信学技報PRMU97-4(1997)(以下、文献３と言う)等がある。上記２つの文献１,文献３においては、何れも拡張外郭方向寄与度特徴を用いている。そして、大分類には、２５６次元の特徴ベクトルと文字認識辞書上の全カテゴリの標準ベクトルとのユークリッド距離や市街距離を求めることによって行っている。
【００１４】
【発明が解決しようとする課題】
しかしながら、上記従来の入力文字および文字認識辞書の大分類方法には、以下のような問題がある。先ず、文字の画数から大分類を行う方法は、例えば崩し字や続け字等によって設定画数範囲外の書き方をされた入力文字は、大分類の段階で認識対象文字から除外されて認識できなくなってしまう。これを補うために画数範囲を広く設定した場合には、入力文字および文字認識辞書を効果的に絞り込むことができなくなるという問題が生ずる。また、上記筆順から大分類を行う方法は、入力手書き文字を正規の筆順で書かなければならず、制約が大過ぎて使いにくいという問題が生ずる。また、ストローク長や特徴点から大分類を行う方法は、例えば崩し字等の場合には、ストローク長が大きく変化したり、特徴点が安定して抽出できないために、入力文字や文字認識辞書の大分類の性能が著しく低下するという問題がある。
【００１５】
また、上記ＯＣＲ手法によって大分類を行う方法は、第１位の文字候補の認識率は劣るものの、文字パターン全体の形状の特徴を用いるので上位数個の文字候補全体の認識率は高いというＯＣＲ手法の特性を生かしており、大分類に適した手法であると言える。ところが、上述したように、文字パターン全体に関して文字線の方向と接続関係を抽出するために大次元(２５６次元)のベクトル演算が必要となり、時間的制約から携帯情報端末には不向きである。
【００１６】
さらに、上記文献２のＯＣＲ手法を大分類に使用することも考えられる。ところが、この場合には、文字筆跡パターンの各ストロークの画像パターンのみを使用しているために、崩し字や続け字に対しては分類性能が低下する。そこで、崩し字や続け字に対処しようとすれば崩し字や続け字用の特徴ベクトルも文字認識辞書に登録する必要があり、辞書容量が増大し、認識時間が長くなってしまい、携帯情報端末には不利となる。特に、携帯情報端末では、片手持ち等の不安定な状態で筆記されるために崩し字や続け字で入力されるのが常である。
【００１７】
つまり、従来の入力文字の大分類の方法では、手書き文字入力の画数や筆順の制限を緩和すればするほど、特に携帯情報端末において十分満足する性能を得ることができないのが現状なのである。
【００１８】
そこで、この発明の目的は、手書き入力文字の画数や筆順に依存せず、且つ、手書き入力文字の字体が崩れていても入力文字のカテゴリの大分類を安定且つ有効に行って手書き文字認識を高速に行う手書き文字認識装置およびプログラム記憶媒体を提供することにある。
【００１９】
【課題を解決するための手段】
上記目的を達成するため、請求項１に係る発明は、
手書き入力された筆跡の座標データを時系列に配列して成る座標データ列を得るタブレットと、上記座標データ列に基づいて手書き入力文字のカテゴリを大分類する大分類部と、この大分類結果に基づいて手書き入力文字を認識する文字認識部を有する手書き文字認識装置において、
上記大分類部は、
上記座標データを変換して、手書き入力された筆跡パターンの位置と大きさとを正規化する正規化部と、
上記正規化後の座標データ列に基づいて、ストロークを構成する各セグメントおよび各ストローク間を結ぶオフストロークの方向を量子化して方向コードを得る方向量子化部と、
上記方向コードに対応付けられた画像メモリ上に、該当する方向コードのセグメントおよびオフストロークの画像パターンを生成する画像パターン生成部と、
上記画像メモリをＭ×Ｎの領域に分割し、各領域の特徴量を抽出して特徴ベクトルを求める特徴抽出部と、
上記特徴ベクトルと予め登録された標準ベクトルとのマッチングを行うマッチング部と、
上記マッチングの結果を受けて、認識対象となるカテゴリを限定する文字分類部を備え、
上記画像パターン生成部は、上記セグメントおよびオフストロークの画像パターンを生成する場合に、上記セグメントの太さを所定の太さにする一方、上記オフストロークの太さを上記所定の太さよりも細くするようになっている
ことを特徴としている。
【００２０】
上記構成によれば、方向によって分類された入力筆跡のストロークおよびオフストロークの画像パターンに基づいて特徴量が抽出されて、特徴ベクトルが得られる。そして、この特徴ベクトルと標準ベクトルとのマッチングの結果に基づいて、認識対象となるカテゴリが限定される。その場合、個人によって筆順が変わってもストロークの方向には個人差が生ずることは少ない。また、崩し文字であっても基本となるストロークの方向は大略同一である。したがって、筆順に依存しないで、且つ、崩れた文字であっても安定して手書き入力文字のカテゴリが大分類されるのである。
【００２１】
その場合に、上記筆跡パターンのストロークのみならずオフストロークをも考慮して大分類を行うことによって、楷書で手書き入力された文字の画数と続け字で手書き入力された文字の画数との変動が少なくなり、続け字による画像パターンの変動が吸収される。さらに、崩し字や続け字用の標準ベクトルを特別に用意する必要がなく、少ない標準ベクトルで崩し字や続け字のカテゴリが大分類される。
【００２２】
さらに、上記オフストロークの画像パターンの太さがストロークの画像パターンの太さよりも細くなっている。したがって、後に抽出される特徴量が黒画素数である場合には、上記オフストロークに対して重み付けが行われる。その結果、筆順の変動による大分類の精度低下を軽減することができる。
【００２３】
また、請求項２に係る発明は、請求項１に係る発明の手書き文字認識装置において、上記画像メモリは、主たる方向が上下左右である４つの方向コード群に対応付けられた４個の画像メモリであることを特徴としている。
【００２４】
上記構成によれば、筆記条件によって傾きが変動し易く個人差も大きい斜め方向ではなく、個人差が少ない上下左右の４方向に全セグメントおよび全オフストロークの画像パターンがまとめられる。こうして、手書き入力された文字が崩し字であっても更に安定してカテゴリが大分類される。
【００２５】
また、請求項３に係る発明は、請求項２に係る発明の手書き文字認識装置において、上と右との両方向の中間の方向を指定する方向コード、上と左との両方向の中間の方向を指定する方向コード、下と右との両方向の中間の方向を指定する方向コード、および、下と左との両方向の中間の方向を指定する方向コードは、該当する両方向の夫々が対応付けられている２個の画像メモリに対応付けられていることを特徴としている。
【００２６】
上記構成によれば、例えば上方向と右方向との境界付近に位置するセグメントの画像パターンは、上記上方向が対応付けられている画像メモリと右方向に対応付けられている画像メモリの両方に生成される。したがって、標準パターンの該等セグメントが上方向の画像メモリと右方向の画像メモリとの何れに存在してもマッチすることになる。その結果、上下左右の４方向の境界付近に位置するセグメントの傾斜の変動が吸収されて、手書き入力された文字のカテゴリが更に精度よく大分類される。
【００２７】
また、請求項４に係る発明は、請求項１に係る発明の手書き文字認識装置において、上記正規化部は、上記タブレットからの座標データ列に基づいて、上記筆跡パターンの中心を求め、上記筆跡パターンを,上記中心を通る直交軸によって分割した４領域の夫々の座標データを、正規化サイズ×正規化サイズの矩形領域を直交軸によって４等分割したうちの対応する領域の座標データに変換するようになっていることを特徴としている。
【００２８】
上記構成によれば、手書き入力された筆跡パターンの中心を基準として位置と大きさとが正規化されるので、手書き入力文字の変形が吸収されて入力文字のカテゴリが精度よく大分類される。
【００２９】
また、請求項５に係る発明は、請求項４に係る発明の手書き文字認識装置において、上記正規化部は、上記筆跡パターンのストロークのみならずオフストロークの座標データをも用いて上記筆跡パターンの中心を求めるようになっていることを特徴としている。
【００３０】
上記構成によれば、楷書で手書き入力された筆跡パターンの中心位置と続け字で手書き入力された筆跡パターンの中心位置との変動が少なく、続け字による正規化誤差が吸収される。
【００３１】
また、請求項６に係る発明は、請求項１に係る発明の手書き文字認識装置において、上記特徴抽出部は、上記画像メモリをＭ×Ｎの領域に分割する場合に、各領域の境界部分をオーバーラップさせて分割するようになっていることを特徴としている。
【００３２】
上記構成によれば、上記画像メモリにおける分割領域の境界付近に存在するセグメントの位置の変動が吸収され、手書き入力文字のカテゴリが更に精度よく大分類される。
【００３３】
また、請求項７に係る発明のプログラム記憶媒体は、
手書き入力された筆跡の座標データを時系列に配列して成る座標データ列を得、
上記座標データを変換して、手書き入力された筆跡パターンの位置と大きさとを正規化し、
上記正規化後の座標データ列に基づいて、ストロークを構成する各セグメント及び各ストローク間を結ぶオフストロークの方向を量子化して方向コードを得、
上記方向コードに対応付けられた画像メモリ上に、上記セグメントの太さを所定の太さにする一方、上記オフストロークの太さを上記所定の太さよりも細くして、該当する方向コードのセグメントおよびオフストロークの画像パターンを生成し、
上記画像メモリをＭ×Ｎの領域に分割し、各領域の特徴量を抽出して特徴ベクトルを求め、
上記特徴ベクトルと予め登録された標準ベクトルとのマッチングを行い、このマッチングの結果に基づいて認識対象となるカテゴリを限定して、手書き入力文字のカテゴリを大分類するプログラムを記憶したことを特徴としている。
【００３４】
上記構成によれば、方向によって分類された入力筆跡のストロークおよびオフストロークの画像パターンに基づいて特徴量が抽出されて、特徴ベクトルが得られる。そして、この特徴ベクトルと標準ベクトルとのマッチングの結果に基づいて、認識対象となるカテゴリが限定される。その場合に、個人によって筆順が変わってもストロークの方向に個人差が生ずることは少ない。また、崩し文字であっても基本となるストロークの方向は大略同一である。したがって、筆順に依存しないで、且つ、崩れた文字であっても安定して手書き入力文字のカテゴリが大分類される。
【００３５】
その場合に、上記筆跡パターンのストロークのみならずオフストロークをも考慮して大分類を行うことによって、楷書で手書き入力された文字の画数と続け字で手書き入力された文字の画数との変動が少なくなり、続け字による画像パターンの変動が吸収される。さらに、崩し字や続け字用の標準ベクトルを特別に用意する必要がなく、少ない標準ベクトルで崩し字や続け字のカテゴリが大分類される。
【００３６】
さらに、上記オフストロークの画像パターンの太さがストロークの画像パターンの太さよりも細くなっている。したがって、後に抽出される特徴量が黒画素数である場合には、上記オフストロークに対して重み付けが行われる。その結果、筆順の変動による大分類の精度低下を軽減することができる。
【００３７】
【発明の実施の形態】
以下、この発明を図示の実施の形態により詳細に説明する。
図１は、本実施の形態の手書き文字認識装置におけるブロック図である。この手書き文字認識装置は、タブレット１,大分類部２,大分類辞書部３,文字認識部４,結果表示部５,画像メモリ部１５及び文字認識辞書部１６で概略構成される。
【００３８】
上記タブレット１は、例えば表示一体型に形成されており、操作者がペン入力した筆跡を検出して電気信号で表現される座標データ列に変換する。大分類部２は、正規化部６,方向量子化部７,画像パターン生成部８,特徴抽出部９,マッチング部１０および文字分類部１１によって概略構成されて、入力文字の文字カテゴリを限定する大分類処理を行う。大分類辞書部３には、各文字カテゴリ毎の標準ベクトルが登録されている。また、文字認識部４は、大分類部２で限定された文字カテゴリに関して文字認識処理を行う。結果表示部５は、文字認識部４で認識された文字を表示する。
【００３９】
上記大分類部２の正規化部６は、上記タブレット１からの座標データ列に基づいて入力筆跡パターンの中心を求め、この中心座標に基づいて上記入力筆跡パーンの正規化を行う。そして、方向量子化部７は、正規化部６による正規化後の座標データ列における各座標点間のセグメントおよび各セグメントの連鎖であるストロークの間のオフストロークの方向を量子化する。画像パターン生成部８は、画像メモリ部１５に格納されていて、方向量子化部７で量子化された各セグメントおよびオフストロークの方向コードに対応した画像メモリ上に、各セグメント及びオフストロークを太め処理しながら直線補間して画像パターンを作成する。特徴抽出部９は、上記各画像メモリを５×５の領域に分割し、各領域に含まれる黒画素数をカウントして特徴ベクトルを作成する。
【００４０】
上記マッチング部１０は、上記大分類辞書部３に登録されている文字カテゴリ毎の標準ベクトルと上記特徴ベクトルとのマッチングを行う。そして、文字分類部１１は、マッチング部１０でのマッチング結果に基づいて、各文字候補の類似度を基に文字認識部４で行う文字認識の対象となる文字カテゴリを限定する。
【００４１】
図２は、上記大分類部２によって行われる大分類処理動作のフローチャートである。以下、図１および図２に従って、上記大分類処理動作について詳細に説明する。
【００４２】
ステップＳ1で、上記正規化部６によって、タブレット１からの座標データ列に対して、筆跡パターンの大小や位置の変動による不整合を吸収するために、筆跡パターンの位置と大きさとに関して以下のように正規化が行われる。
【００４３】
図３は、上記筆跡パターンの正規化の説明図である。図３(a)に示すように、筆跡パターンの外接矩形における左上の座標(ｘ,ｙ)を(０,０)とする。一方、図３(d)に示すように、矩形の正規化領域の左上の座標(Ｙ,Ｘ)を(０,０)とし、Ｙ方向の正規化サイズをＹ0とし、Ｘ方向の正規化サイズをＸ0とする。そして、筆跡パターンの中心Ｇの座標を(Ｇx,Ｇy)とした場合に、図３(b)に示すように、上記筆跡パターンの中心Ｇのｙ座標「Ｇy」を正規化後のパターンのＹ座標「Ｙ0/２」とし、筆跡パターンのｙ座標０〜Ｇyを１次式に従って正規化後のパターンのＹ座標０〜Ｙ0/２に変換する一方、筆跡パターンのｙ座標Ｇy〜ｙmaxを１次式に従って正規化後のパターンのＹ座標Ｙ0/２〜Ｙ0に変換する。同様に、図３(c)に示すように、上記筆跡パターンの中心Ｇのｘ座標「Ｇx」を正規化後のパターンのＸ座標「Ｘ0/２」とし、筆跡パターンのｘ座標０〜Ｇxを１次式に従って正規化後のパターンのＸ座標０〜Ｘ0/２に変換する一方、筆跡パターンのｘ座標Ｇx〜ｘmaxを１次式に従って正規化後のパターンのＸ座標Ｘ0/２〜Ｘ0に変換する。
【００４４】
こうして、上記筆跡パターンの位置と大きさとの正規化が行われる。尚、筆跡パターンの中心Ｇの座標(Ｇx,Ｇy)は次のようにして求める。ここで、筆跡パターンのセグメント(隣り合う２つの座標点の間で表される区間)の数をＳとし、セグメントｉ(ｉ＝１,…,Ｓ)の中点の座標を(ｘmi,ｙmi)とし、セグメント長をＬiとすると、筆跡パターンの中心Ｇの座標(Ｇx,Ｇy)は、
【数１】
0004099248.tif 000002
で求められる。
【００４５】
ここで、本実施の形態においては、手書き入力された筆跡パターンの中心Ｇの座標(Ｇx,Ｇy)を算出する際に、ストローク間のオフストロークを１つのストロークと見なし、このストロークと見なされたオフストロークの中点の座標とオフストローク長とを加味するようにしている。こうすることによって、続け字で手書き入力された場合における筆跡パターンの中心Ｇの位置変動を小さくするのである。
【００４６】
ステップＳ2で、上記方向量子化部７によって、上記ステップＳ1における正規化後の座標データに基づいて、２つの座標データ(座標点)を結ぶセグメントおよびオフストロークの方向が図４(a)に示すような１６個の方向コードを用いて量子化される。尚、図４(b)は、正規化部６からの正規化後の座標データ列と得られた方向コード列の関係を示しており、座標データ(Ｘ0,Ｙ0)と座標データ(Ｘ1,Ｙ1)とを結ぶセグメントの方向コードは「Ｈ0」であり、座標データ(Ｘ1,Ｙ1)と座標データ(Ｘ2,Ｙ2)とを結ぶセグメントの方向コードは「Ｈ1」であり、以下同様にして、座標データ（Ｘn-2,Ｙn-2)と座標データ(Ｘn-1,Ｙn-1)とを結ぶセグメントの方向コードは「Ｈn-2」であることを表している。
【００４７】
ステップＳ3で、上記画像パターン生成部８によって、図５に示すように、上記ステップＳ2において得られた方向コードに対応した画像メモリ上に、各座標点間のセグメントおよびオフストロークを太め処理を行いながら直線補間して画像パターンが生成される。
【００４８】
ここで、上記画像メモリと方向コードとの対応付けは次の通りである。すなわち、画像メモリＭ1には方向コード「１」,「２」,「３」,「１５」,「１６」が対応付けられており、画像メモリＭ2には方向コード「３」,「４」,「５」,「６」,「７」が対応付けられており、画像メモリＭ3には方向コード「７」,「８」,「９」,「１０」,「１１」が対応付けられており、画像メモリＭ4には方向コード「１１」,「１２」,「１３」,「１４」,「１５」が対応付けられている。
【００４９】
そして、例えば、方向コード「１」,「２」,「３」,「１５」,「１６」に対応した画像メモリＭ1には、入力文字「木」の正規化後の座標データに基づく筆跡パターンのうち、方向コードが「２」であるセグメントａと、方向コードが「３」であるセグメントｂおよびオフストロークｃと、方向コードが「１５」であるセグメントｄと、方向コードが「１６」であるセグメントｅの画像データが、夫々太め処理されて書き込まれる。端的に言うならば、上記画像メモリＭ1には、主たる向きが右向きであるセグメントおよびオフストロークの画像パターンが生成されるのである。同様に、画像メモリＭ2には上向きのセグメントおよびオフストロークの画像パターンが生成され、画像メモリＭ3には左向きのセグメントおよびオフストロークの画像パターンが生成され、画像メモリＭ4には下向きのセグメントおよびオフストロークの画像パターンが生成されるのである。
【００５０】
その場合に、方向コード「１」と方向コード「５」との中間の方向コード「３」は、方向コード「１」が対応付けられている画像メモリＭ1と方向コード「５」が対応付けられている画像メモリＭ2との２個の画像メモリに対応付けられている。同じように、上記方向コード「５」と方向コード「９」との中間の方向コード「７」は画像メモリＭ2と画像メモリＭ3とに対応付けられ、方向コード「９」と方向コード「１３」との中間の方向コード「１１」は画像メモリＭ3と画像メモリＭ4とに対応付けられ、方向コード「１３」と方向コード「１」との中間の方向コード「１５」は画像メモリＭ4と画像メモリＭ1とに対応付けられている。このように上下左右の中間の方向の方向コードをその方向コードを境界とする２個の画像メモリに対応付けることによって、標準パターンにおける該等カテゴリの該等セグメントが上記２個の画像メモリの何れに在っても該等セグメントの画像パターンとマッチすることになり、上下左右の４方向の境界付近に位置するセグメントの傾きの変動を吸収して、より精度よく大分類を行うことができるのである。
【００５１】
尚、上記太め処理とは、上記ストロークの場合には、図６(a)に示すように、本来のストローク上の画素の上下左右４画素も同一ストローク上にあるとする。つまり、ストロークの太さを上下左右側に太くするのである。これに対して、上記オフストロークの場合には、図６(b)に示すように、画像メモリＭ1,Ｍ3の場合(すなわち、ストロークの主たる方向が水平方向の場合)には、本来のストローク上の画素の上１画素も同一ストローク上にあるとする一方、画像メモリＭ2,Ｍ4の場合(すなわち、ストロークの主たる方向が垂直方向の場合)には、本来のストローク上の画素の右１画素も同一ストローク上にあるとする。したがって、オフストロークの場合にはストロークの場合よりも太さは細くなる。
【００５２】
ステップＳ4で、上記特徴抽出部９によって、以下のような特徴抽出が行われる。
すなわち、図７に示すように、各画像メモリＭ1〜Ｍ4が５×５の２５領域に分割され、各領域内の黒画素数がカウントされてカウント値Ｃnm（ｎ＝１〜４，ｍ＝１〜２５)を要素とする１００次元(５×５×４)のベクトルｖ(＝ｖ1,ｖ2,…,ｖ100)が作成される(以下、ベクトルｖをｖvecと表記する)。そして、上記ｖvecのユークリッドノルム｜ｖvec｜が下記のように求められ、このユークリッドノルム｜ｖvec｜でｖvecの各要素値を除して正規化し、得られた値を要素値とする特徴ベクトルｖ'vec(＝ｖ'1,ｖ'2,…,ｖ'100)が求められる。但し、
【数２】
0004099248.tif 000003
ｖ'i＝α・ｖi/｜ｖvec｜(ｉ＝１,２,…,１００)
但し、αは桁上げするための定数
である。
【００５３】
尚、上記画像メモリＭ1〜Ｍ4を５×５の２５領域に分割する場合には、図７に示すように境界部分をオーバーラップさせて分割するようにしている。こうすることによって、分割領域の境界付近に位置するセグメントの位置変動を吸収することができるのである。また、上述のように特徴抽出部９による特徴抽出は、黒画素数をカウントすることによって行われる。したがって、上述のようにオフストロークの太さをストロークの太さよりも細くするということは、オフストロークの特徴量に重み付けを行うことを意味するのである。
【００５４】
ステップＳ5で、上記マッチング部１０によって、上記ステップＳ4において求められた特徴ベクトルｖ'vecと大分類辞書部３に各文字毎に登録されている標準ベクトルとの類似度(ベクトルの内積)が計算されて、特徴ベクトルｖ'vecと標準ベクトルとのマッチングが行われる。
ここで、上記特徴ベクトルｖ'vecと標準ベクトルｗvecの内積(ｖ'vec・ｗvec)は、
ｖ'vec・ｗvec＝ｖ'1ｗ1＋ｖ'2ｗ2＋…＋ｖ'100ｗ100
で求められる。
【００５５】
この場合、本実施の形態における特徴ベクトルｖ'vecは１００次元ベクトルである。したがって、文献１や文献３に開示された従来のＯＣＲ手法による大分類における２５６次元ベクトルの場合よりも短時間に類似度算出を行うことができるのである。
【００５６】
ステップＳ6で、上記文字分類部１１によって、上記ステップＳ5において算出された類似度の大きい順にソーティングされて、図８(a)に示すように、図５に示す例の場合には、入力文字「木」の筆跡パターンから抽出された特徴ベクトルとの類似度の大きい順に最大候補数Ｎまでの標準ベクトルに割り付けられた文字カテゴリが、文字認識部４による文字認識の際に対象となる文字カテゴリとして選出される(大分類結果として確定される)。そして、図８(b)に示すように、認識対象となる全文字カテゴリを各ビットに割り当てたビットフィールドにおける大分類結果に対応するビットに「１」を書き込むことによって、大分類結果が保持される。そうした後、大分類処理動作を終了する。
【００５７】
以後、上記文字認識部４は、上記タブレット１からの当該手書き入力文字の座標データ列に基づいて、文字認識辞書部１６に登録された文字認識用の特徴ベクトルを用いて、文字分類部１１に内蔵された上記ビットフィールドに「１」が立っているビットに割り当てられている文字カテゴリに関して、より詳細な文字認識処理を行う。このようにして、認識率の高い手書き文字認識が高速に行われるのである。尚、その場合の上記文字認識用の特徴ベクトルは、筆跡の座標データ列に基づく標準ベクトルである。
【００５８】
上述のように、上記実施の形態においては、上記正規化部６,方向量子化部７,画像パターン生成部８,特徴抽出部９,マッチング部１０および文字分類部１１によって概略構成された大分類部２を設けている。そして、タブレット１からの座標データ列に対して、正規化部６によって位置と大きさに関して正規化を行った後に、方向量子化部７によって、各座標データ間のセグメントおよびオフストロークの方向を１６個の方向コードを用いて量子化する。そして、画像パターン生成部８によって、上記１６個の方向コードを上下左右の方向に大別して成る４つの方向コード群に対応付けられた画像メモリＭ1〜Ｍ4の夫々に、該当する方向コードのセグメントおよびオフストロークの画像パターンを生成する。そして、特徴抽出部９によって、４個の画像メモリＭ1〜Ｍ4を５×５領域に分割し、個々の領域から黒画素数を特徴量として抽出して１００次元の特徴ベクトルを得るようにしている。
【００５９】
手書き文字入力の場合、個人によって筆順は変わっても筆跡パターンを構成する各ストロークの方向に個人差はあまり生じない。また、崩し文字であっても、基本となるストロークの方向は楷書の当該ストロークの方向と大略同一である。そこで、本実施の形態においては、上述の如く、入力筆跡のセグメント方向(画像メモリ)によって分類された各セグメントおよびオフストロークのパターン(画像パターン)に基づいて特徴ベクトルｖ'vecを抽出するのである。こうすることによって、手書き入力文字の筆順に依存せず、且つ、崩し文字であっても安定して手書き入力文字のカテゴリを大分類できるのである。
【００６０】
その場合、従来の一般的なＯＣＲ手法においては、「水平」，「垂直」，「右斜め」および「左斜め」の向きを考慮しない４方向にセグメントの画像パターンをまとめている。ところが、実際の手書き文字においては、斜めのストロークは、筆記条件によって傾きが変動し易く、個人差も大きい。そこで、本実施の形態においては、「上」,「下」,「左」および「右」の４方向にセグメントおよびオフストロークの画像パターンをまとめるのである。こうして、筆記条件による方向の変動が少なく個人差も少ない上下左右の４方向にセグメントおよびオフストロークの方向を大別することによって、手書き入力された文字が崩し字であっても更に安定してカテゴリを大分類できるのである。
【００６１】
さらに、本実施の形態においては、上記「上」,「下」,「左」,「右」の中間の方向の方向コードをその方向コードを境界とする２つの画像メモリに対応付けるようにしている。こうすることによって、上下左右の４方向の境界付近に位置するセグメントの角度の変動を吸収して、より精度よく大分類を行うのである。
【００６２】
また、上記実施の形態においては、上記正規化部６によって正規化を行う場合に、入力筆跡パターンの中心を基準として正規化を行うようにしている。したがって、手書きによる文字の変形を吸収することができる。その場合に、オフストロークの情報を加味して正規化を行うことによって、続け字で手書き入力された場合の筆跡パターンの中心位置と楷書で手書き入力された場合の筆跡パターンの中心位置との変動を少なくでき、続け字による正規化誤差を吸収できる。
【００６３】
また、上記実施の形態においては、上記画像パターン生成部８によってストロークの画像パターンを生成する場合に、オフストロークの画像パターンも生成するようにしている。そして、太め処理によってストロークの場合には上下左右４画素まで太くする一方、オフストロークの場合には上１画素あるいは右１画素まで太くするようにしている。したがって、オフストロークの場合にはストロークの場合よりも太さは細くなる。こうして、オフストロークの画像パターンの太さをストロークの画像パターンの太さより細くすることによって、後に特徴抽出部９によって黒画素数を特徴量として抽出する場合にオフストロークに対して重み付けを行うことができる。
【００６４】
すなわち、上述のように、ストロークとオフストロークとの画像パターンを生成するので、楷書で手書き入力された文字の画数と続け字で手書き入力された文字の画数との変動が少なくなって、続け字による画像パターンの変動を吸収できる。その場合に、大分類辞書部３に続け字用の標準ベクトルを登録しておく必要がない。したがって、大分類辞書部３の記憶容量を少なくして高速な認識処理を可能にする。また、ストロークとオフストロークとに重みを付けてマッチングを行うことができるので、入力文字の筆順が変動しても大分類の精度低下を軽減できる。
【００６５】
また、上記実施の形態においては、上記特徴抽出部９によって、各画像メモリＭ1〜Ｍ4を５×５の２５領域に分割する場合には、図７に示すように各領域の境界部分をオーバーラップさせて分割するようにしている。したがって、上述した上下左右の境界の方向コードを２個の画像メモリにオーバーラップさせて対応付ける場合と同様に、分割領域の境界付近に位置するセグメントの位置変動を吸収することができ、手書き入力文字の大分類を更に精度よく行うことができる。
【００６６】
すなわち、上記実施の形態によれば、手書き入力文字の画数や筆順に依存することなく、且つ、手書き文字の字体が崩れていても、文字カテゴリの大分類を安定且つ有効に行うことができるのである。
【００６７】
【発明の効果】
以上より明らかなように、請求項１に係る発明の手書き文字認識装置は、画像パターン生成部によって方向毎に分類されて生成された入力筆跡のセグメントおよびオフストロークの画像パターンに基づいて、特徴抽出部によって特徴ベクトルを求め、マッチング部による標準ベクトルとのマッチング結果に基づいて、文字分類部によって、認識対象となるカテゴリを限定するので、筆順が変わっても個人差が生ずることが少なく且つ崩し字であっても基本部分は大略同一であるストローク方向に基づいて、筆順に依存しないで且つ崩れた文字であっても安定して手書き入力文字のカテゴリを大分類できる。
【００６８】
その場合、上記筆跡パターンのストロークのみならずオフストロークをも考慮して大分類を行うことによって、楷書で手書き入力された文字の画数と続け字で手書き入力された文字の画数との変動を少なくでき、続け字による画像パターンの変動を吸収して、手書き入力された文字の文字カテゴリを更に精度よく大分類できる。さらに、崩し字や続け字用の標準ベクトルを特別用意する必要がなく、少ない標準ベクトルで短時間に崩し字や続け字のカテゴリを大分類できる。
【００６９】
さらに、上記画像パターン生成部は、上記セグメントおよびオフストロークの画像パターンを生成する場合には、上記セグメントの太さを所定の太さにする一方、上記オフストロークの太さを上記所定の太さよりも細くするので、後に抽出される特徴量が黒画素数である場合には上記オフストロークに対して重みを付けることができる。したがって、筆順の変動による大分類の精度低下を軽減することができる。
【００７０】
また、請求項２に係る発明の手書き文字認識装置における上記画像メモリは、主たる方向が上下左右である４つの方向コード群に対応付けられた４個の画像メモリであるので、手書き入力された筆跡パターンの全セグメントおよび全オフストロークの画像パターンを、筆記条件によって傾斜が変動し難く個人差も少ない上下左右の４方向にまとめることができる。したがって、手書き入力された文字が崩し字であっても更に安定してカテゴリを大分類できる。
【００７１】
また、請求項３に係る発明の手書き文字認識装置は、上と右との両方向の中間の方向を指定する方向コード、上と左との両方向の中間の方向を指定する方向コード、下と右との両方向の中間の方向を指定する方向コード、および、下と左との両方向の中間の方向を指定する方向コードを、該当する両方向の夫々が対応付けられている２個の画像メモリに対応付けるので、例えば上方向と右方向との境界付近に位置するセグメントの画像パターンは、上記上方向が対応付けられている画像メモリと右方向に対応付けられている画像メモリの両方に生成される。したがって、上下左右の４方向の境界付近に位置するセグメントの傾斜の変動を吸収して、手書き入力された文字のカテゴリを更に精度よく大分類できる。
【００７２】
また、請求項４に係る発明の手書き文字認識装置における上記正規化部は、手書き入力された筆跡パターンの中心を求め、上記筆跡パターンを上記中心を通る直交軸によって分割した４領域の夫々の座標データを、正規化サイズ×正規化サイズの矩形領域を直交軸によって４等分割したうちの対応する領域の座標データに変換するので、手書き入力された筆跡パターンの中心を基準として位置と大きさとを正規化できる。したがって、手書き入力文字の変形を吸収して入力文字のカテゴリを精度よく大分類できる。
【００７３】
また、請求項５に係る発明の手書き文字認識装置における上記正規化部は、上記筆跡パターンのストロークのみならずオフストロークの座標データをも用いて上記筆跡パターンの中心を求めるので、楷書で手書き入力された筆跡パターンの中心位置と続け字で手書き入力された筆跡パターンの中心位置との変動を少なくでき、続け字による正規化誤差を無くすことができる。
【００７４】
また、請求項６に係る発明の手書き文字認識装置における上記特徴抽出部は、上記画像メモリをＭ×Ｎの領域に分割する場合に、各領域の境界部分をオーバーラップさせて分割するので、上記画像メモリの分割領域の境界付近に存在するセグメントの位置変動を吸収でき、手書き入力文字のカテゴリを更に精度よく大分類できる。
【００７５】
また、請求項７に係る発明のプログラム記憶媒体は、方向によって分類された入力筆跡のセグメントおよびオフストロークの画像パターンに基づいて特徴ベクトルを求め、この特徴ベクトルと標準ベクトルのマッチング結果に基づいて、認識対象となるカテゴリを限定するプログラムを記憶しているので、筆順が変わっても個人差が少なく且つ崩し字であっても基本部分は大略同一であるストローク方向に基づいて、筆順に依存せず且つ崩れた文字であっても安定して手書き入力文字のカテゴリを大分類できる。
【００７６】
その場合、上記筆跡パターンのストロークのみならずオフストロークをも考慮して大分類を行うことによって、楷書で手書き入力された文字の画数と続け字で手書き入力された文字の画数との変動を少なくでき、続け字による画像パターンの変動を吸収して、手書き入力された文字のカテゴリを更に精度よく大分類できる。さらに、崩し字や続け字用の標準ベクトルを特別用意する必要がなく、少ない標準ベクトルで短時間に崩し字や続け字のカテゴリを大分類できる。
【００７７】
さらに、上記セグメントおよびオフストロークの画像パターンを生成する場合には、上記セグメントの太さを所定の太さにする一方、上記オフストロークの太さを上記所定の太さよりも細くするので、後に抽出される特徴量が黒画素数である場合には上記オフストロークに対して重みを付けることができる。したがって、筆順の変動による大分類の精度低下を軽減することができる。
【図面の簡単な説明】
【図１】  この発明の手書き文字認識装置におけるブロック図である。
【図２】  図１における大分類部によって行われる大分類処理動作のフローチャートである。
【図３】  図１における正規化部によって行われる筆跡パターン正規化の説明図である。
【図４】  方向コードおよび方向コード列の説明図である。
【図５】  図１における画像パターン生成部によって生成される画像パターンの説明図である。
【図６】  図１における画像パターン生成部によって行われる太め処理の説明図である。
【図７】  図１における特徴抽出部によって行われる画像メモリの分割と作成されるベクトルの説明図である。
【図８】  図１における文字分類部によって行われるビットフィールドへの大分類結果書き込みの説明図である。
【符号の説明】
１…タブレット、                  ２…大分類部、
３…大分類辞書部、                ４…文字認識部、
５…結果表示部、                  ６…正規化部、
７…方向量子化部、                ８…画像パターン生成部、
９…特徴抽出部、                １０…マッチング部、
１１…文字分類部、                １５…画像メモリ部、
１６…文字認識辞書部。
【図１】
0004099248.tif 000004
【図２】
0004099248.tif 000005
【図３】
0004099248.tif 000006
【図４】
0004099248.tif 000007
【図５】
0004099248.tif 000008
【図６】
0004099248.tif 000009
【図７】
0004099248.tif 000010
【図８】
0004099248.tif 000011