(57)【特許請求の範囲】
【請求項１】
筆跡情報を入力するための入力部と、
文字を構成する構成要素であるサブキャラクタの単位として、少なくとも８方位の複数方位に対して、ペンダウンの移動距離が長い方向線分及び短い方向線分とペンアップの移動方向及び移動しないモデルとを含む少なくとも２５種類のモデルを定義したサブストロークに対応して、各サブストロークの隠れマルコフモデル（ＨＭＭ）を記憶したサブキャラクタＨＭＭ記憶部と、
文字を前記サブストロークの各種類で表したサブストローク列を各字種に対応して記憶した文字構造辞書記憶部と、
文字認識を行うデコーダと、
認識された字種を出力する出力部とを備えた文字認識装置を用いた文字認識方法であって、
筆跡情報としてのサンプリングタイムに応じた２次元座標情報を前記入力部から入力するステップと、
入力された筆跡情報から連続する２点間の差分である速度ベクトルにより文字の特徴量系列を抽出するステップと、
前記サブキャラクタＨＭＭ記憶部からデータを読み取るステップと、
前記文字構造辞書記憶部からデータを読み取るステップと、
文字を構成するサブキャラクタの連結情報を記憶した前記文字構造辞書記憶部と、前記サブキャラクタＨＭＭ記憶部に記憶された少なくとも２５種類のモデルに基づいて作成されたＨＭＭとに基づいて、抽出された文字の特徴量系列に対して、前記文字構造辞書記憶部内の字種候補の尤度を算出し、該尤度に基づいて文字認識を行うステップと、
認識された字種を前記出力部に出力するステップとを含む文字認識方法。
【請求項２】
手書き文字入力の特徴量としては、ペン先位置の座標、速度、加速度、ペンの上下、ペンの圧力、ペンの傾きのいずれかあるいはそれらの組合せを、デカルト座標もしくは極座標もしくはそれらの組合せの形で使用するようにした請求項１に記載の文字認識方法。
【請求項３】
字種の認識は、前記文字構造辞書記憶部に記憶されたデータを展開して得られるサブキャラクタのネットワーク中から最大尤度を与える字種を、ビタビ復号化法に基づく探索によって求めるようにした請求項１又は２に記載の文字認識方法。
【請求項４】
前記ビタビ復号化法は、ビーム探索あるいはＡ＊探索を用いて、効率的な探索を行うようにした請求項１乃至３のいずれかに記載の文字認識方法。
【請求項５】
前記隠れマルコフモデルは対応するサブキャラクタの特徴時系列パターンの変動を表現するようにした請求項１乃至４のいずれかに記載の文字認識方法。
【請求項６】
前記隠れマルコフモデルは、出力確率のモデルとして連続分布型、混合正規分布型のいずれかであるようにした請求項１乃至５のいずれかに記載の文字認識方法。
【請求項７】
前記隠れマルコフモデルは、対応するサブキャラクタの前後環境およびその他の環境要因を反映するべく学習されており、それらを用いることにより精度のよいモデル化に基づいて文字認識を行うことを特徴とする請求項１乃至６のいずれかに記載の文字認識方法。
【請求項８】
前記文字構造辞書記憶部は、認識対象となる字種を、サブキャラクタによって表わされるサブキャラクタ列として符号化し、字種間で共通するサブキャラクタ列の部分列は、階層的に符号化して字種との対応関係を効率的に表現したことを特徴とする請求項１乃至７のいずれかに記載の文字認識方法。
【請求項９】
前記サブストロークのＨＭＭは次式で表されることを特徴とする請求項１乃至８のいずれかに記載の文字認識方法。
λ（ｋ）＝（Ａ（ｋ）、Ｂ（ｋ）、π（ｋ））
ただし、
ｋ：サブストローク、
Ａ（ｋ）＝｛ａｉｊ（ｋ）｝：状態ＳｉからＳｊに遷移する確率の集合、
Ｂ（ｋ）＝｛ｂｊ（ｋ）（ｘ）｝：状態Ｓｊがｘを出力する確率（出力確率）の集合、
π（ｋ）＝｛πｉ（ｋ）｝：初期状態確率の集合
【請求項１０】
前記サブストロークの各々を、左から右方向のみに遷移するＨＭＭに対応させ、ペンアップの場合、連続するサンプル数は、自己遷移確率のない１状態で表わし、ペンダウンのモデルを自己遷移確率のある３状態で表わすことを特徴とする請求項１乃至９のいずれかに記載の文字認識方法。
【請求項１１】
学習用文字の特徴時系列パターンに対して、前記文字構造辞書記憶部から得られる該当字種を表わすサブキャラクタ列に対応する隠れマルコフモデルを連結して構成される隠れマルコフモデルを用いたビタビ学習法によって、前記サブキャラクタＨＭＭ記憶部内の隠れマルコフモデルのパラメータを学習するステップをさらに含む請求項１乃至１０のいずれかに記載の文字認識方法。
【請求項１２】
新しい認識対象字種の登録は、該当字種のサブキャラクタ列表現を前記文字構造辞書記憶部に登録するのみの操作で完了し、該当字種に対応する筆記データを必要としないことを特徴とする請求項１乃至１１のいずれかに記載の文字認識方法。
【請求項１３】
少数の適応用サンプルからサブキャラクタ隠れマルコフモデルの筆者適応を行い、適応用サンプルに含まれない字種についても筆者適応ができることを特徴とする請求項１乃至１２のいずれかに記載の文字認識方法。
【請求項１４】
筆記者が、書かれる文字を目視することなく手書き入力した文字入力を認識することを特徴とする請求項１乃至１３のいずれかに記載の文字認識方法。
【請求項１５】
文字に代えてペンなどの動きに意味を付与し、それを認識するようにした請求項１乃至１４のいずれかに記載の文字認識方法。
【請求項１６】
前記入力部としてペンのみならず指先あるいは指先に装着した位置あるいは移動、速度、加速度などのセンサを使用するようにした請求項１乃至１５のいずれかに記載の文字認識方法。
【請求項１７】
筆跡情報を入力するための入力部と、
文字を構成する構成要素であるサブキャラクタの単位として、少なくとも８方位の複数方位に対して、ペンダウンの移動距離が長い方向線分及び短い方向線分とペンアップの移動方向及び移動しないモデルとを含む少なくとも２５種類のモデルを定義したサブストロークに対応して、各サブストロークの隠れマルコフモデル（ＨＭＭ）を記憶したサブキャラクタＨＭＭ記憶部と、
文字を前記サブストロークの各種類で表したサブストローク列を各字種に対応して記憶した文字構造辞書記憶部と、
文字認識を行うデコーダと、
認識された字種を出力する出力部とを備えた文字認識装置を用いてコンピュータに実行させるための文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
筆跡情報としてのサンプリングタイムに応じた２次元座標情報を前記入力部から入力するステップと、
入力された筆跡情報から連続する２点間の差分である速度ベクトルにより文字の特徴量系列を抽出するステップと、
前記サブキャラクタＨＭＭ記憶部からデータを読み取るステップと、
前記文字構造辞書記憶部からデータを読み取るステップと、
文字を構成するサブキャラクタの連結情報を記憶した前記文字構造辞書記憶部と、前記サブキャラクタＨＭＭ記憶部に記憶された少なくとも２５種類のモデルに基づいて作成されたＨＭＭとに基づいて、抽出された文字の特徴量系列に対して、前記文字構造辞書記憶部内の字種候補の尤度を算出し、該尤度に基づいて文字認識を行うステップと、
認識された字種を前記出力部に出力するステップとをコンピュータに実行させるための文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１８】
筆跡情報を入力するための入力部と、
文字を構成する構成要素であるサブキャラクタの単位として、少なくとも８方位の複数方位に対して、ペンダウンの移動距離が長い方向線分及び短い方向線分とペンアップの移動方向及び移動しないモデルとを含む少なくとも２５種類のモデルを定義したサブストロークに対応して、各サブストロークの隠れマルコフモデル（ＨＭＭ）を記憶したサブキャラクタＨＭＭ記憶部と、
文字を前記サブストロークの各種類で表したサブストローク列を各字種に対応して記憶した文字構造辞書記憶部と、
文字認識を行うデコーダと、
認識された字種を出力する出力部とを備え、
前記デコーダは、
筆跡情報としてのサンプリングタイムに応じた２次元座標情報を前記入力部から入力し、
入力された筆跡情報から連続する２点間の差分である速度ベクトルにより文字の特徴量系列を抽出し、
前記サブキャラクタＨＭＭ記憶部からデータを読み取り、
前記文字構造辞書記憶部からデータを読み取り、
文字を構成するサブキャラクタの連結情報を記憶した前記文字構造辞書記憶部と、前記サブキャラクタＨＭＭ記憶部に記憶された少なくとも２５種類のモデルに基づいて作成されたＨＭＭとに基づいて、抽出された文字の特徴量系列に対して、前記文字構造辞書記憶部内の字種候補の尤度を算出し、該尤度に基づいて文字認識を行い、
認識された字種を前記出力部に出力するようにした文字認識装置。
【請求項１９】
文字の特徴量系列を入力するステップと、
文字を構成する構成要素であるサブキャラクタに対応して、各サブキャラクタをモデル化の単位とする複数の隠れマルコフモデル（ＨＭＭ）を記憶したサブキャラクタＨＭＭ記憶部からデータを読み取るステップと、
各字種をサブキャラクタにより構成する関係を各字種に対応して記憶した文字構造辞書記憶部からデータを読み取るステップと、
前記サブキャラクタＨＭＭ記憶部及び前記文字構造辞書記憶部から読み取ったデータに基づき、入力された文字の特徴系列に対して、前記文字構造辞書記憶部内の字種候補の尤度を算出し、該尤度に基づいて文字認識を行うステップと、
認識された字種を出力するステップと、
さらに、
学習用文字の特徴時系列パターンに対して、前記文字構造辞書記憶部から得られる該当字種を表わすサブキャラクタ列に対応する隠れマルコフモデルを連結して構成される隠れマルコフモデルを用いたビタビ学習法によって、前記サブキャラクタＨＭＭ記憶部内の隠れマルコフモデルのパラメータを学習するステップを含む文字認識方法。
【請求項２０】
手書き文字入力の特徴量としては、ペン先位置の座標、速度、加速度、ペンの上下、ペンの圧力、ペンの傾きのいずれかあるいはそれらの組合せを、デカルト座標もしくは極座標もしくはそれらの組合せの形で使用するようにした請求項１９に記載の文字認識方法。
【請求項２１】
字種の認識は、前記文字構造辞書記憶部に記憶されたデータを展開して得られるサブキャラクタのネットワーク中から最大尤度を与える字種を、ビタビ復号化法に基づく探索によって求めるようにした請求項１９又は２０に記載の文字認識方法。
【請求項２２】
前記文字構造辞書記憶部は、認識対象となる字種を、サブキャラクタによって表わされるサブキャラクタ列として符号化し、字種間で共通するサブキャラクタ列の部分列は、階層的に符号化して字種との対応関係を効率的に表現したことを特徴とする請求項１９乃至２１のいずれかに記載の文字認識方法。
【請求項２３】
前記サブストロークのＨＭＭは次式で表されることを特徴とする請求項１９乃至２２のいずれかに記載の文字認識方法。
λ（ｋ）＝（Ａ（ｋ）、Ｂ（ｋ）、π（ｋ））
ただし、
ｋ：サブストローク
Ａ（ｋ）＝｛ａｉｊ（ｋ）｝：状態ＳｉからＳｊに遷移する確率の集合、
Ｂ（ｋ）＝｛ｂｊ（ｋ）（ｘ）｝：状態Ｓｊがｘを出力する確率（出力確率）の集合、
π（ｋ）＝｛πｉ（ｋ）｝：初期状態確率の集合
【請求項２４】
前記サブストロークの各々を、左から右方向のみに遷移するＨＭＭに対応させ、ペンアップの場合、連続するサンプル数は、自己遷移確率のない１状態で表わし、ペンダウンのモデルを自己遷移確率のある３状態で表わすことを特徴とする請求項１９乃至２３のいずれかに記載の文字認識方法。
【請求項２５】
入力部としてペンのみならず指先あるいは指先に装着した位置あるいは移動、速度、加速度などのセンサを使用するようにした請求項１９乃至２４のいずれかに記載の文字認識方法。
【請求項２６】
文字の特徴量系列を入力するステップと、
文字を構成する構成要素であるサブキャラクタに対応して、各サブキャラクタをモデル化の単位とする複数の隠れマルコフモデル（ＨＭＭ）を記憶したサブキャラクタＨＭＭ記憶部からデータを読み取るステップと、
各字種をサブキャラクタにより構成する関係を各字種に対応して記憶した文字構造辞書記憶部からデータを読み取るステップと、
前記サブキャラクタＨＭＭ記憶部及び前記文字構造辞書記憶部から読み取ったデータに基づき、入力された文字の特徴系列に対して、前記文字構造辞書記憶部内の字種候補の尤度を算出し、該尤度に基づいて文字認識を行うステップと、
認識された字種を出力するステップと、
さらに、
学習用文字の特徴時系列パターンに対して、前記文字構造辞書記憶部から得られる該当字種を表わすサブキャラクタ列に対応する隠れマルコフモデルを連結して構成される隠れマルコフモデルを用いたビタビ学習法によって、前記サブキャラクタＨＭＭ記憶部内の隠れマルコフモデルのパラメータを学習するステップとをコンピュータに実行させるための文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２７】
文字を構成する構成要素であるサブキャラクタに対応して、各サブキャラクタをモデル化の単位とする複数の隠れマルコフモデル（ＨＭＭ）を記憶したサブキャラクタＨＭＭ記憶部と、
各字種をサブキャラクタにより構成する関係を各字種に対応して記憶した文字構造辞書記憶部と、
前記サブキャラクタＨＭＭ記憶部及び前記文字構造辞書記憶部から読み取ったデータに基づき、入力された文字の特徴系列に対して、前記文字構造辞書記憶部内の字種候補の尤度を算出し、該尤度に基づいて文字認識を行うデコーダと、
認識された字種を出力する出力部と、
学習用文字の特徴時系列パターンに対して、前記文字構造辞書記憶部から得られる該当字種を表わすサブキャラクタ列に対応する隠れマルコフモデルを連結して構成される隠れマルコフモデルを用いたビタビ学習法によって、前記サブキャラクタＨＭＭ記憶部内の隠れマルコフモデルのパラメータを学習するサブキャラクタＨＭＭ連結学習処理部とを備えた文字認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文字認識方法、文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体及び文字認識装置に係り、特に、確率統計的手法である隠れマルコフモデル（Hidden Markov Model：ＨＭＭ)を用いて文字認識を行うことができる文字認識方法、文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体及び文字認識装置に関する。
【０００２】
【従来の技術】
従来のオンライン手書き文字認識はテンプレートマッチングによる手法が主流である。ＨＭＭを用いない従来法の中には、一つの文字の入力データ列を複数のデータセグメントに分割し、各セグメントに対応するそれぞれの部分ストロークを抽出し、それぞれの部分ストロークの特徴量を用いて文字認識を行う方法がある。
【０００３】
近年、確率統計的手法である隠れマルコフモデル（Hidden Markov Model：ＨＭＭ）が音声認識の分野において成功を納めたのを受けて、文字認識にもＨＭＭを使う研究が多数行われるようになってきている。特に、欧米のアルファベット文字認識（W.G.Aref, P. Vallabhaneni, and D.Barbara.  On Training Hidden Markov Models for Recognizing Handwritten Text. Proc.of the 4th IWFHR, pp. 275-284, 1994. HMMを用いたアルファベット文字認識学習。K.S.Nathan, H.S.M.Beigi, J.Subrahmonia,  G.J.Clary, and H.Maruyama.  Real-time On-line Unconstrained Handwriting Recognition Using Statistical Methods.  Proc.ICASSP95, Vol. 4, pp. 2619-2623, 1995. オンライン文字認識。H.Bunke, M.Roth, and E.G.Schukat-Talamazzini. Off-line Cursive Handwriting Recognition Using Hidden Markov Models.  Pattern Recogintion, Vol. 28, No. 9, pp. 1399-1413, 1995. オフライン文字認識。G.A.San and A.Belaid.  Recognition of Unconstrained Handwritten Wrds Using Markov Random Fields and HMMs. Progress in Handwriting Recognition World Scientific, pp. 75-80, 1996.）を中心に成果が上がっており、ＨＭＭを用いたオンライン文字認識技術が急速に向上する兆しが見え始めている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述のＨＭＭを用いたオンライン文字認識技術では、連続音声認識で培われた最新技術を十分に活用するまでには至っていない。さらに、国内でも仮名漢字文字の認識にＨＭＭを利用した研究（野中利成、小沢慎治。Hidden Markov Model を用いたオンライン手書き平仮名認識。電子情報通信学会論文誌、Vol. J74-D-II, No. 12, pp. 1810-1813, December 1991.、伊藤等、中川正樹。Hidden Markov Model に基づくオンライン手書き文字認識。信学技報、No. PRMU97-85, pp. 95-100, July 1997.、高橋賢一郎、安田英史、松本隆。Hidden Markov Model を用いたオンライン手書き文字認識。信学技報、No. PRMU96-211, pp. 143-150, March 1997.）が行われているが、欧米に比べるとまだまだＨＭＭは主流ではない。
【０００５】
この理由としては、従来手法では字種を単位としてモデル化する、あるいはテンプレートを用意する事が多く、１モデルあたりの学習に大量のデータを要するＨＭＭはカテゴリ数の多い手書き漢字認識には不利であると考えられていたからである。
また、漢字の構成要素を組合わせて漢字を表現することは、従来の手書き漢字認識において行われていた。また、隠れマルコフモデルでモデル化することも行われていた。本発明は、これらの単なる組合わせではなく、具体的に文字認識技術として実現するには、構造的漢字辞書の構成法から、サブキャラクタ要素のモデルの学習法、探索手法まで、高度な新規着想が必要である。そのため、従来の文字認識研究者の発想が本発明の内容に到達しなかったと思われる。
【０００６】
具体的には、日本語の漢字は、ＪＩＳ第２水準まで含めると６０００字種以上がある。既存のオンライン文字認識手法では、認識対象とする全ての字種について、多数筆者の文字サンプルデーデータを用いて学習する必要があるが、これは非能率的であり、かつ非現実的である。さらに、新しい文字、図形を追加する場合も、同様の不都合が生じる場合が想定される。このため、学習データに含まれない任意の字種の文字を認識する手法が切望されている。
【０００７】
また、上述のように字種数の多い日本語では、メモリ量が実用化の一つの障害となっており、計算資源（メモリ量、計算量）の削減が可能な文字認識手法が望ましい。また、モバイル環境や不自然な姿勢で書かれた低品質文字を高精度に認識するためには、筆者の癖等の変動にモデルを適応させる必要がある（字種の筆者適応）。さらには、少量のサンプルで全ての字種についての適応を可能とする文字認識手法が望ましい。
【０００８】
また、筆者が見ないで書く手書き文字（非目視手書き文字）の認識は、今後のモバイル環境での応用に大きな可能性がある。従来の文字認識技術は、ユーザ自身が目で見ながら丁寧に字を書くことを前提としていた。ユーザが書かれつつある文字を見ないで、一方的にペンあるいは指の動き（指ジェスチャと理解しても良い）で数千種におよぶ漢字を入力する技術は、いままでになかった。これを解決するには、書かれた文字を認識するのでなく、書こうとする意志を反映した指の微小な動きの時系列をうまく扱う必要がある。
【０００９】
本発明は、以上の点に鑑み、隠れマルコフモデルを適用することにより、学習データに含まれない任意の字種の文字認識を行うことを目的とする。また、本発明は、例えば、少量の文字サンプルで全ての字種の筆者適応を行うと共に、メモリ量、計算量を削減することを目的とする。
【００１０】
本発明の第１の解決手段によると、
筆跡情報を入力するための入力部と、
文字を構成する構成要素であるサブキャラクタの単位として、少なくとも８方位の複数方位に対して、ペンダウンの移動距離が長い方向線分及び短い方向線分とペンアップの移動方向及び移動しないモデルとを含む少なくとも２５種類のモデルを定義したサブストロークに対応して、各サブストロークの隠れマルコフモデル（ＨＭＭ）を記憶したサブキャラクタＨＭＭ記憶部と、
文字を前記サブストロークの各種類で表したサブストローク列を各字種に対応して記憶した文字構造辞書記憶部と、
文字認識を行うデコーダと、
認識された字種を出力する出力部とを備えた文字認識装置を用いた文字認識方法であって、
筆跡情報としてのサンプリングタイムに応じた２次元座標情報を前記入力部から入力するステップと、
入力された筆跡情報から連続する２点間の差分である速度ベクトルにより文字の特徴量系列を抽出するステップと、
前記サブキャラクタＨＭＭ記憶部からデータを読み取るステップと、
前記文字構造辞書記憶部からデータを読み取るステップと、
文字を構成するサブキャラクタの連結情報を記憶した前記文字構造辞書記憶部と、前記サブキャラクタＨＭＭ記憶部に記憶された少なくとも２５種類のモデルに基づいて作成されたＨＭＭとに基づいて、抽出された文字の特徴量系列に対して、前記文字構造辞書記憶部内の字種候補の尤度を算出し、該尤度に基づいて文字認識を行うステップと、
認識された字種を前記出力部に出力するステップとを含む文字認識方法が提供される。
本発明の第２の解決手段によると、
筆跡情報を入力するための入力部と、
文字を構成する構成要素であるサブキャラクタの単位として、少なくとも８方位の複数方位に対して、ペンダウンの移動距離が長い方向線分及び短い方向線分とペンアップの移動方向及び移動しないモデルとを含む少なくとも２５種類のモデルを定義したサブストロークに対応して、各サブストロークの隠れマルコフモデル（ＨＭＭ）を記憶したサブキャラクタＨＭＭ記憶部と、
文字を前記サブストロークの各種類で表したサブストローク列を各字種に対応して記憶した文字構造辞書記憶部と、
文字認識を行うデコーダと、
認識された字種を出力する出力部とを備えた文字認識装置を用いてコンピュータに実行させるための文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
筆跡情報としてのサンプリングタイムに応じた２次元座標情報を前記入力部から入力するステップと、
入力された筆跡情報から連続する２点間の差分である速度ベクトルにより文字の特徴量系列を抽出するステップと、
前記サブキャラクタＨＭＭ記憶部からデータを読み取るステップと、
前記文字構造辞書記憶部からデータを読み取るステップと、
文字を構成するサブキャラクタの連結情報を記憶した前記文字構造辞書記憶部と、前記サブキャラクタＨＭＭ記憶部に記憶された少なくとも２５種類のモデルに基づいて作成されたＨＭＭとに基づいて、抽出された文字の特徴量系列に対して、前記文字構造辞書記憶部内の字種候補の尤度を算出し、該尤度に基づいて文字認識を行うステップと、
認識された字種を前記出力部に出力するステップとをコンピュータに実行させるための文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
本発明の第３の解決手段によると、
筆跡情報を入力するための入力部と、
文字を構成する構成要素であるサブキャラクタの単位として、少なくとも８方位の複数方位に対して、ペンダウンの移動距離が長い方向線分及び短い方向線分とペンアップの移動方向及び移動しないモデルとを含む少なくとも２５種類のモデルを定義したサブストロークに対応して、各サブストロークの隠れマルコフモデル（ＨＭＭ）を記憶したサブキャラクタＨＭＭ記憶部と、
文字を前記サブストロークの各種類で表したサブストローク列を各字種に対応して記憶した文字構造辞書記憶部と、
文字認識を行うデコーダと、
認識された字種を出力する出力部とを備え、
前記デコーダは、
筆跡情報としてのサンプリングタイムに応じた２次元座標情報を前記入力部から入力し、
入力された筆跡情報から連続する２点間の差分である速度ベクトルにより文字の特徴量系列を抽出し、
前記サブキャラクタＨＭＭ記憶部からデータを読み取り、
前記文字構造辞書記憶部からデータを読み取り、
文字を構成するサブキャラクタの連結情報を記憶した前記文字構造辞書記憶部と、前記サブキャラクタＨＭＭ記憶部に記憶された少なくとも２５種類のモデルに基づいて作成されたＨＭＭとに基づいて、抽出された文字の特徴量系列に対して、前記文字構造辞書記憶部内の字種候補の尤度を算出し、該尤度に基づいて文字認識を行い、
認識された字種を前記出力部に出力するようにした文字認識装置が提供される。
【００１１】
本発明の第４の解決手段によると、
文字の特徴量系列を入力するステップと、
文字を構成する構成要素であるサブキャラクタに対応して、各サブキャラクタをモデル化の単位とする複数の隠れマルコフモデル（ＨＭＭ）を記憶したサブキャラクタＨＭＭ記憶部からデータを読み取るステップと、
各字種をサブキャラクタにより構成する関係を各字種に対応して記憶した文字構造辞書記憶部からデータを読み取るステップと、
前記サブキャラクタＨＭＭ記憶部及び前記文字構造辞書記憶部から読み取ったデータに基づき、入力された文字の特徴系列に対して、前記文字構造辞書記憶部内の字種候補の尤度を算出し、該尤度に基づいて文字認識を行うステップと、
認識された字種を出力するステップと、
さらに、
学習用文字の特徴時系列パターンに対して、前記文字構造辞書記憶部から得られる該当字種を表わすサブキャラクタ列に対応する隠れマルコフモデルを連結して構成される隠れマルコフモデルを用いたビタビ学習法によって、前記サブキャラクタＨＭＭ記憶部内の隠れマルコフモデルのパラメータを学習するステップを含む文字認識方法が提供される。
本発明の第５の解決手段によると、
文字の特徴量系列を入力するステップと、
文字を構成する構成要素であるサブキャラクタに対応して、各サブキャラクタをモデル化の単位とする複数の隠れマルコフモデル（ＨＭＭ）を記憶したサブキャラクタＨＭＭ記憶部からデータを読み取るステップと、
各字種をサブキャラクタにより構成する関係を各字種に対応して記憶した文字構造辞書記憶部からデータを読み取るステップと、
前記サブキャラクタＨＭＭ記憶部及び前記文字構造辞書記憶部から読み取ったデータに基づき、入力された文字の特徴系列に対して、前記文字構造辞書記憶部内の字種候補の尤度を算出し、該尤度に基づいて文字認識を行うステップと、
認識された字種を出力するステップと、
さらに、
学習用文字の特徴時系列パターンに対して、前記文字構造辞書記憶部から得られる該当字種を表わすサブキャラクタ列に対応する隠れマルコフモデルを連結して構成される隠れマルコフモデルを用いたビタビ学習法によって、前記サブキャラクタＨＭＭ記憶部内の隠れマルコフモデルのパラメータを学習するステップとをコンピュータに実行させるための文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
本発明の第６の解決手段によると、
文字を構成する構成要素であるサブキャラクタに対応して、各サブキャラクタをモデル化の単位とする複数の隠れマルコフモデル（ＨＭＭ）を記憶したサブキャラクタＨＭＭ記憶部と、
各字種をサブキャラクタにより構成する関係を各字種に対応して記憶した文字構造辞書記憶部と、
前記サブキャラクタＨＭＭ記憶部及び前記文字構造辞書記憶部から読み取ったデータに基づき、入力された文字の特徴系列に対して、前記文字構造辞書記憶部内の字種候補の尤度を算出し、該尤度に基づいて文字認識を行うデコーダと、
認識された字種を出力する出力部と、
学習用文字の特徴時系列パターンに対して、前記文字構造辞書記憶部から得られる該当字種を表わすサブキャラクタ列に対応する隠れマルコフモデルを連結して構成される隠れマルコフモデルを用いたビタビ学習法によって、前記サブキャラクタＨＭＭ記憶部内の隠れマルコフモデルのパラメータを学習するサブキャラクタＨＭＭ連結学習処理部とを備えた文字認識装置が提供される。
【００１２】
また、本発明は、学習用文字の特徴時系列パターンに対して、前記文字構造辞書記憶部から得られる該当字種を表わすサブキャラクタ列に対応する隠れマルコフモデルを連結して構成される隠れマルコフモデルを用いたビタビ学習法によって、前記サブキャラクタＨＭＭ記憶部内の隠れマルコフモデルのパラメータを学習するステップ又はサブキャラクタＨＭＭ連結学習処理部を、さらに含むことができる。
【００１３】
このように、本発明の特徴のひとつとしては、音声認識の分野で主流の技術として盛んに用いられている隠れマルコフモデル（ＨＭＭ）連続音声認識で行われている最新の方法論を文字認識に適用し、従来行われなかった新しい手書き文字認識の手法を確立するものである。連続音声認識においては、音素のような小さな単位をＨＭＭでモデル化することで、任意の連続音声の認識を実現している。文字は、複数の直線や曲線から構成されており、これらの小さな構成要素を音声における音素に対応させると、文字は単語に対応し、オンライン文字認識は音声認識の問題と同型の問題と見倣せる。
【００１４】
そこで、１字種あたりに１つのＨＭＭを割当てるのではなく、文字を構成する要素（例えば、サブストローク（画の直線部分又は略直線部又は曲線部分））単位をＨＭＭによるモデル化の単位とする。
これによって、各文字は、その文字を構成する構成要素の連結情報のみを記述した辞書によって表現できる。例えば、サブストロークモデルを用いた場合、サブストロークの向きや長さによって、２５種類のモデルを用いる。この２５種類のモデルの組合せで全ての字種を表現することができる。
【００１５】
また、本発明の他の特徴としては、文字の認識は、辞書と各構成要素をモデル化するＨＭＭによって行われる。辞書は、ストローク（画）や扁のサブストロークより大きな単位によって階層的に表現することにより、更に効率的な表現が可能となる。
また、本発明の他の特徴としては、各文字はその構成要素名（サブストロークの種類）の列、すなわちコード列で表現できるので、辞書サイズが非常に小さくなる。学習は構成要素に対応するＨＭＭの学習問題となり、構成要素の数は字種数に比べると圧倒的に少ないので、少量の学習サンプルによるＨＭＭの学習が可能となる。筆者適応は、各構成要素単位で行えるので少量のサンプルで可能である。適応手法としては音声認識で開発され有効性の実証された手法がそのまま適応可能である。
【００１６】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を詳細に説明する。
１．文字認識と音声認識との関係
まず、連続音声認識とオンライン手書き文字認識との対応関係について説明する。
【００１７】
図１は、連続音声認識システム３００の概略構成図である。連続音声認識システム３００は、例えば、音響分析部３０１、音声データベース３０２から予め作成された音響モデル部３０３、言語データベース３０４から予め作成された言語モデル部３０５及び探索過程部（デコーダ）３０６を備える。
音響分析部３０１は、ユーザからの入力音声波形から認識に有効な特徴量（メルケプストラムが一般的）を抽出する。音響モデル（通常はＨＭＭ）部３０３は、音声データベース３０２から所望のデータを読み出し、言語音声構成要素（通常は環境依存音素）として尤度を計算できる。言語モデル部３０５は、言語データベース３０４から所望のデータを読み出し、発話内容を語彙と文法（通常は単語bigram,trigram確率）で表現し探索空間を規定する。探索過程部３０６は、例えば、音響分析部３０１から出力される特徴パラメータ列と、音響モデル部３０３から出力される尤度に対応する確率評価値に関するデータと、言語モデル部３０５から出力される探索空間に対応する語彙と文法に関するデータとを統合して効率的に探索（ビーム探索、Ａ＊探索など）を行う。なお、探索過程部３０６で得られた探索結果は、認識結果として、ＡＰＩ（アプリケーションプログラミングインターフェース）３０７を経て応用システム３０８に出力される。この探索過程部３０６の探索では、例えば、規定された解探索空間の中で、音響モデルと言語モデルが与える尤度の総積（あるいは対数尤度の総和）が最大になるような経路を探索するという原理に基づいている。
【００１８】
このような手法を採ることにより、連続音声認識では、サブワードモデル（通常は音素モデル）を組合せて単語を表現し、単語列の組合せである文音声を認識する。以前は、単語テンプレートとして登録された単語のみを対象に、ＤＰマッチングに基づいて単語音声認識が行われていた。一方、不特定話者連続音声認識では、入力文章音声のパターンを、与えられた語彙と文法に従って並べることのできる全ての可能な音素モデル列の中から、尤度最大となる経路を探索する問題を解くことにより認識することができる。
【００１９】
オンライン手書き文字（走り書きの文字、続け字、崩れた字、非目視手書き文字などを含む）の認識問題は、特に漢字の場合、連続音声認識問題と同型であると言ってよいほど、問題の性質と構造が似通っているのであるが、今までこのことにはほとんど気づかれていなかった。
【００２０】
図２は、連続音声認識とオンライン手書き文字認識の対応図である。音声認識は音声を短時間ごとに分析して得られるスペクトル特徴ベクトル（多次元）の運動軌跡を認識するものである。文字認識は、特徴ベクトルが２次元（あるいはそれ以上）の場合に相当する。特に漢字の場合、音素を画（ストローク）に、単語を部首に、文音声を漢字にそれぞれ対応させることにより、探索手法や文法記述まで含めて完成度の高い音声認識技術を適用する事ができる。
【００２１】
ペンの位置とペンの速度は、音声認識の特徴量として広く用いられているケプストラム及びその時間微分成分であるデルタケプストラムに対応付けられる。画（ストローク）を書くペンの動きのモデルは、音素モデルに対応し、確率統計モデルであるＨＭＭが適している。画の組合せにより部首が、それらの組合せにより字が成り立つが、これらには音声における単語辞書（音素連鎖）と、単語の組合せとしての文の文法に対応する。また、画はつながったり（続け字）、前後の画の影響で変形するが、これは調音結合に起因する音素の環境依存変形のモデル化がよく対応し、これらに対処するモデル化と環境依存パーザの手法など、音声認識における技術が活用できる。さらに、話者適応アルゴリズムなどは筆者適応に応用できる。
【００２２】
２．オンライン手書き文字認識システム
図３は、本発明に関するオンライン手書き文字認識システムの概略構成図である。
文字認識システム１００は、例えば、入力部１、特徴抽出部２、サブキャラクタＨＭＭ連結学習処理部４、サブキャラクタＨＭＭ記憶部５、文字構造辞書記憶部６、デコーダ（探索過程）７及び文字認識結果データ出力部８、筆跡データベース９を備える。
【００２３】
図４に、文字認識システムの動作説明図を示す。このように、文字認識システム１００の処理の流れは、「学習モード」と「認識モード」とにそれぞれ区別されている。なお、認識モードのみ用いるシステムでは、サブキャラクタＨＭＭ連結学習処理部４と筆跡データベース９は不要である。
【００２４】
３．認識モード
図５は、本発明に関する文字認識方法の認識モードにおけるフローチャートである。なお、認識モードでは、サブキャラクタ（例、サブストローク）ＨＭＭと文字構造辞書を用いて入力文字の認識処理を行う。なお、サブキャラクタ、サブストローク等については、例えば、図７及びその説明箇所参照。
【００２５】
（文字特徴量について）
入力部１は、入力デバイス（例えば、タブレット）であって、この入力デバイスから筆跡情報（筆記入力データ）が得られる（Ｓ２０１）。この筆跡情報としては、２次元座標、筆圧、ペンの傾きなどがあるが、本実施の形態では、これらのうちの最も基本的な特徴量である２次元座標情報（ｘ、ｙ）を用いる。
【００２６】
図６は、漢字「田」の筆跡入力データ例を示す図である。
この例では、入力部１には、漢字「田」のデータがサンプリングタイムに応じて（図中、Ｘ印参照）、２次元座標情報（ｘ、ｙ）として入力される。
サブストロークを単位としてモデル化する場合、字種によってそのサブストロークの出現する座標が異なり、文字内でも同一のサブストロークが複数個所に出現しうる。そこで、特徴抽出部２では、座標値は用いずに連続する２点間の差分である速度ベクトル（ｄｘ、ｄｙ）を特徴量として、筆跡情報から抽出する（Ｓ２０３）。このとき、ペンがタブレット上に接している時（ペンダウン）の筆跡は時間サンプリングされているので、これは速度ベクトルとなる。また、ペンが離れている時（ペンアップ）の軌跡はサンプリングされないので、ペンアップは画間の移動量を表すベクトルとなる。なお、本実施の形態の後述する認識実験では、ペンダウン／アップの状態にあるという情報は明示的には用いないが、モデルの学習では文字資料をサブストロークにセグメンテーションするための情報として使用することができる。
【００２７】
（サブキャラクタＨＭＭについて）
図７は、サブキャラクタの種類と対応するモデルのラベルについての説明図である。
サブキャラクタとしては、文字を構成する要素として、いわゆる部首や画（ストローク）、サブストローク、それらの組合わせ等を用いることができる。その最も基本的レベルのサブキャラクタのセットの一例として、サブキャラクタの単位として複数方位（例、８方位）の方向線分を定義し、サブストロークと呼ぶ。更に細分して、ペンダウンの移動距離が長い方向線分をＡ〜Ｈ、短い方向線分をａ〜ｈ、ペンアップの移動方向を１〜８、及び移動しないモデル０を合わせた合計２５種類のモデルとする。また、これらのモデルは、サブキャラクタＨＭＭ記憶部５に記憶されている。なお、方位の数、移動距離の種類等によるサブストロークの種類は、適宜の数とすることができる。
【００２８】
図８は、サブストロークの種類と対応するモデルのラベルについての説明図である。
ここでは、上述の２５種類のモデルを、左から右（left-to-right）方向のみに遷移するＨＭＭに対応させる。すなわち、ペンアップの場合、連続するサンプル数は常に１サンプルであるので自己遷移確率のない１状態で表わし、それ以外のペンダウンのモデルを自己遷移確率のある３状態で表わす事にする。この状態数は、サンプリング時間、字の大きさ等に応じて適宜の値とすることができる。
【００２９】
ここで、サブストロークｋのＨＭＭを以下のモデルパラメータ（ａｉｊ、ｂｊ、π等）を用いてλ（ｋ）＝（Ａ（ｋ）、Ｂ（ｋ）、π（ｋ））と表す。なお、Ａ（ｋ）＝｛ａｉｊ（ｋ）｝：状態ＳｉからＳｊに遷移する確率の集合、Ｂ（ｋ）＝｛ｂｊ（ｋ）（ｘ）｝：状態Ｓｊがｘを出力する確率（出力確率）の集合、π（ｋ）＝｛πｉ（ｋ）｝：初期状態確率の集合とする。
【００３０】
また、出力確率ｂｊ（ｘ）は、例えば、連続分布型とし、
【数１】
0003893022.tif 000002
で表される平均ベクトルμ、共分散行列Σのｎ次元正規分布で与えることができる。
【００３１】
図９は、漢字「二」のＨＭＭについての説明図である。
入力部１では、所定時間でサンプリングされた速度ベクトル（矢印参照）が入力される。
ここでは、サブストロークＨＭＭの連結で表現される漢字「二」のＨＭＭは、サブストローク列「ａ６Ａ」と定義される。なお、これらの各種漢字の字種に対応して定義されたサブストローク列（コード列）が、文字構造辞書記憶部６に予め記憶されている。ＨＭＭを用いると、複数の特徴量を組み合わせることが容易であり、それを利用して認識精度を高くすることができる。
【００３２】
（辞書・モデルサイズについて）
図１０に、（ａ）サブキャラクタＨＭＭ記憶部５、（ｂ）文字構造辞書記憶部６の説明図を示す。
サブキャラクタＨＭＭ記憶部５には、各サブストロークの種類に対応してサブストロークＨＭＭが記憶される。例えば、２５種類の各サブストロークにおける各状態（この例では、５７状態）に関してのＨＭＭパラメータ（ａｉｊ、ｂｊ、π等）が、サブストロークに対応して記憶される。
また、文字構造辞書記憶部６には、文字をサブストロークの各種類で表したデータが字種に対応して記憶される。図の例では、漢字「一」は「Ａ」、「二」は「ａ６Ａ」、「十」は「Ａ４Ｇ」でそれぞれサブストロークにより表現され、このデータが、字種毎に記憶されることを示す。
【００３３】
図１１は、階層化された辞書（文字構造辞書）の一例を示す説明図である。
文字構造辞書記憶部６の漢字の辞書は、例えば、図示のように階層的に定義されており、各字種の構成要素について共通する要素の定義は字種毎に異ならない。また、本実施の形態の実験では最も下の階層である方向線分（Ａ〜Ｇ、ａ〜ｇ、０〜８）をモデルの単位としたが、適当な階層（画、偏傍冠脚）をモデルの単位として扱う事もできる。なお、本実施の形態の評価に使用した辞書では、少なくとも新旧の教育漢字１０１６字種に関して、筆順と画数がほぼ正しく登録されている事を特定筆記者を用いた認識実験と視察を繰り返して確認した。
【００３４】
また、「田」と「由」のように筆順では区別がつかない字種については、「田」＝Ｇ３ＡＧ４Ｇ４Ａ６Ａ、「由」＝ｇ３Ａｇ４Ｇ４Ａ６Ａのように字種定義が異なるように長短のモデルを使い分けた。
この辞書では、例えば、６３５３字種を認識対象とする場合、字種を定義する辞書及びモデルを蓄えるのに必要な容量が字種ＨＭＭでは約７ＭＢとなる事に対し、本発明のサブストロークＨＭＭではわずか１１５ｋＢ程度に小型化できる。ここで、参考までに富士通研究所の提案するオンライン文字認識辞書生成法（秋山勝彦、石垣一司。学習標本による高品質なオンライン文字認識辞書生成の一手法。信学技報、No. PRMU99-235, pp.31-36, February 2000.）ではＪＩＳ第一水準及び第二水準の一部で１６６ｋＢである。なお、字種数とテンプレート数が異なるので直接比較する事はできないが、筆順違いを考慮していないサブストロークＨＭＭの場合で同程度に小型である事が分かる。
【００３５】
（認識について）
つぎに、デコーダ７は、特徴抽出２により得られた速度ベクトル（ｄｘ、ｄｙ）を含む情報と、上述した文字を構成するサブキャラクタの連結情報を記憶した文字構造辞書記憶部６と、サブキャラクタＨＭＭ記憶部５に記憶されたモデル（この例では、２５種類のモデル）に基づいて作成されたＨＭＭとに基づいて、Viterbiアルゴリズム等により尤度計算をして文字認識を行う（Ｓ２０５）。文字認識結果は、文字認識結果データ出力部８に出力される（Ｓ２０７）。
【００３６】
以下に尤度計算について詳細に説明する。また、図１２に、サブストロークＨＭＭに基づく認識についての説明図を示す。
観測される筆跡の時系列特徴量（速度ベクトル系列）Ｏ＝Ｏ１Ｏ２・・・ＯＴ、（Ｏｔ＝（ｄｘｔ、ｄｙｔ））がサブストローク列Ｗ＊＝Ｗ＊１Ｗ＊２・・・Ｗ＊Ｎ＊で表される文字であると認識する原理について述べる。
【００３７】
まず、サブストローク列Ｗ＝Ｗ１Ｗ２・・・ＷＮから時系列データＯが観測される確率は各時刻に対応する状態の系列を、この状態系列ｑ＝ｑ１ｑ２・・・ｑＴとして、
【００３８】
【数２】
0003893022.tif 000003
である。ここで、Ｔ０＝０、ＴＮ＝Ｔである。一方、観測ベクトルＯが得られた時に、それがサブストローク列Ｗである確率は、ベイズ（Bayes）の定理により、
【００３９】
【数３】
0003893022.tif 000004
であり、確率最大を認識基準とした場合、大小比較に影響を及ぼさないＰ（Ｏ）を無視した
【００４０】
【数４】
0003893022.tif 000005
が認識サブストローク列となる。ここでＰ（Ｗ）はサブストローク列の出現確率であり、辞書登録された字種定義上、存在し得ないサブストローク列の場合はＰ（Ｗ）＝０とし、それ以外の場合は等確率とする。ここで、尤度計算には、例えば、Viterbiアルゴリズムを用いることができる。ただし、実際にはＰ（Ｏ｜Ｗ）を計算しないで、Ｐ（Ｏ、ｑ｜Ｗ）が最大となる状態系列ｑを探索するViterbiアルゴリズムを用いる。
【００４１】
図１３に、漢字「二」のサブストロークＨＭＭの説明図を示す。
「Ｘ」は時系列の筆跡特徴量、Ｐ（二｜Ｘ）は、認識候補「二」から「Ｘ」が観測される確率を示す。
また、図１４に、辞書から文字ＨＭＭを生成する原理の説明図を示す。図のように、階層的辞書記述に基づいてサブストロークＨＭＭを連結して文字ＨＭＭを生成する。これにより、文字モデルから入力文字パターンが観測される確率を算出できる。
【００４２】
（認識速度について）
サブストロークＨＭＭの場合、予め全ての字種をサブストロークのネットワークとして展開する事により、字種の共通構成要素の計算が一回で済む。例えば、字種ＨＭＭの認識候補の例の「紀」、「絶」、「緑」、「続」、「統」、「綿」の文字は偏の「糸」までは字種定義が共通であるので旁に関らずスコアは同じであり、一度の計算で良い。現在の６３５３字種のサブストローク列を木状に展開した場合では理論上約２倍の高速化、今回使用したネットワークの場合では約６倍以上の高速化が達成できる。更には登録されていないサブストローク列を許容し、認識対象外の文字あるいは存在しない文字（非字）を含む効率の良いネットワークが構築できる。その場合は、複数の認識候補から認識対象外の文字や非字を除くことにより、効率の高い解探索が可能となる。
【００４３】
具体的には、例えば、文字を「扁６旁」、扁を「イ（人扁）｜木（木扁）｜シ（さんずい）」、旁を「主｜反｜木｜古｜可｜目」とすると、「住、柱、注、仮、板、汳、休、林、沐、枯、沽、估、何、河、柯、相、泪」が簡潔に表せるが、ＪＩＳ漢字に存在しない「イ目」のような字（非字）も含ませてしまう。そこで、文字認識では、上記の定義を用いて複数候補を生成し、その中で、「イ目」を除外することにより、効率のよい認識が可能となる。
【００４４】
４．学習モード
図１５は、本発明に関する文字認識方法の学習モードにおけるフローチャートである。なお、学習モードでは、サブキャラクタ（サブストローク）ＨＭＭのパラメータ学習を行う。
また、上述の認識モードと重複する処理については、説明が冗長とならない程度に省略する。
まず、入力デバイスである入力部１から筆跡情報が得られる（Ｓ１０１）。なお、この際、学習モードにおいては、筆記者識別子に対応して筆跡情報を記憶した、多数の筆記者に関する筆跡データベース９を作成することも可能である（Ｓ１０３）。このような筆跡情報としては、２次元座標情報（ｘ、ｙ）が用いられ、さらに、この筆跡情報から特徴量として連続する２点間の差分である速度ベクトル（ｄｘ、ｄｙ）が抽出される（Ｓ１０５）。
【００４５】
サブキャラクタＨＭＭ連結学習処理部４は、文字構造辞書記憶部６に記憶された文字構造データを読み出し、モデルλに対して学習資料セットの特徴量Ｏの出力確率Ｐ（Ｏ｜λ）を最大にするようにモデルのパラメータである正規分布の平均μ、共分散Σ、及び遷移確率ａｉｊを学習する（Ｓ１０７）。本実施の形態では、例えば、最も基本的な学習法である Viterbi 学習を用い、状態毎のデータの区分化とパラメータの更新を繰り返す事により決定する。例えば、「口」という文字はストローク列「ｇ３ａｇ５ａ」と定義されており、一画目（ｇ）、三画目（ａ）は ペンダウン／アップ情報のみで区分できるが、二画目（ａｇ）はストローク境界が不明なので、モデルａとモデルｇを時間方向に接続した連結 Viterbi 学習によって、ストローク境界及び状態境界を最適化することができる。
【００４６】
また、サブキャラクタＨＭＭ連結学習処理部４は、ステップＳ１０７で学習されたＨＭＭパラメータを、サブキャラクタＨＭＭ記憶部５に出力する（Ｓ１０９）。サブキャラクタＨＭＭ記憶部５は、そのＨＭＭパラメータをサブストロークＨＭＭに反映させる。
【００４７】
５．実験
（実験１：未学習字種の認識について）
ストロークＨＭＭの利点として、どのような文字でも（例え図形であろうとも）辞書の追加登録のみで対応できる点がある。発明者らは、１０１６字種から学習したＨＭＭを用いて、学習に使用されなかった字種、すなわち未学習字種を認識する実験を行う。したがって、教育漢字１０１６字を除く５３３７字種が未学習字種である。
【００４８】
ここで、実験条件を、認識カテゴリ：６３５３字種（JIS X0208-1983）、評価資料：βセット中、αセットでの収集経験のある３８筆記者、なお、奇数ＩＤを保持する１７筆記者、偶数ＩＤを保持する２１筆記者とした。また、実験には筆順フリーでＪＩＳ第一・第二水準の全字種を網羅したβセットを使用した。なお、αセットとは正しい筆順で書かれた教育漢字の約１００人によるデータ、βセットとは筆順自由でＪＩＳ第一・第二水準の全字種を網羅した約１００人によるデータである。
【００４９】
（実験結果）
図１６は、実験１についての実験結果を示す図である。なお、この実験結果では、学習字種及び未学習字種の認識率の比較（Open／Closedは筆記者について）を示すだけでなく、認識カテゴリ１０１６字種、筆順固定としたαセット学習字種についての実験結果についても併せて示す。
そもそも、認識カテゴリ数が異なるので、直接比較する事はできないが、認識率の差のその他要因として筆順違いの影響と収集環境の違いがある。筆順については、収集時期に２ヶ月の間があるため、ほとんどの人は本来自分が書いていた筆順で書いたと思われる。
【００５０】
また、収集環境については、評価用筆記者の全員が入力経験がある事と、データ収集ツールから筆順チェック機能を除いた事により、筆記速度が上がった文字もあれば、見慣れないＪＩＳ第二水準漢字では筆記速度が落ちるなど、特徴量の変動が大きくなった事が考えられる。
これらの要因が関わらないβセット内で学習字種と未学習字種の認識率を比較すると、若干、未学習字種の方が認識率が低い程度である。現在の辞書では教育漢字以外については整備が不十分であるので、この差もおそらく辞書の修正次第で解消すると思われる。
【００５１】
（実験２：筆者適応について）
大勢の資料で学習した不特定筆記者モデルは平均して良好な認識率となるが、筆記者が限定される場合は、その特定筆記者に合わせたモデルを用いた方が一般に認識精度が高い。しかしながら、特定筆者について大量の学習資料を用意するのは手間を要するので、できるだけ少量のサンプルから特定筆記者の筆跡の特徴を学習し、不特定筆記者のモデルを変形させる筆記者適応技術が必要となる。ここでは最大事後確率（ＭＡＰ）推定法を用いた筆記者適応実験を行う。
【００５２】
ここで、筆記者適応原理について説明する。
ＭＡＰ適応法ではＨＭＭの状態Ｓｊの平均値μｊを適応しようとする筆記者で観測される平均値μｊ（μｊに￣を付して表す）を用いて、重みを付けた修正を行う。すなわち、適応後の平均μｊ（μｊに＾を付して表す）は、
【００５３】
【数５】
0003893022.tif 000006
で定義され、ここでＮｊは状態Ｓｊが占める適応データのサンプル数であり、μｊ（￣を付して表す）はそれらのサンプルの特徴量の平均値である。τは事前知識の確からしさに関する係数である。
【００５４】
また、実験条件は、適応法：ＭＡＰ（τ＝１５．０）、初期モデル：αセットの奇数ＩＤ、４７筆記者、評価用筆記者：αセットの偶数ＩＤ、４９筆記者、適応用データの字種：「一右雨円王音下火花貝」、評価字種：適応字種を除く１００６字種である。なお、予備実験により事前知識に関する係数をτ＝１５．０に固定した。今回使用した適応用データの字種はいずれも小学校一年で学ぶ漢字であり、ＪＩＳコード順に先頭の１０字種を選んだ。
【００５５】
図１７は、サブストロークの出現頻度を示す図である。
この１０字種「一右雨円王音下火花貝」に含まれるサブストロークの内訳は、例えば、図示のように、個数が０のサブストローク（Ｂ、Ｅ、ｂ、ｅ、１、７、８、０）については適応前後でモデルのパラメータは変化しない。また、比較実験として個々の筆記者のデータのみから学習した特定筆記者ＨＭＭによる認識実験も行った。
【００５６】
（実験結果）
図１８は、評価用筆記者のうち適応前の認識率が低い５人についての筆記者適応実験の結果を示す図である。
平均認識率では３種類のモデル（筆記者適応前、適応後、特定筆記者のＨＭＭ）による認識率の差が僅か１％未満である。元々筆記者適応を行わなくとも高い認識率を挙げていた筆記者も含まれるためで、このような筆記者については適応後の認識率が逆に下がる事や、特定筆記者モデルを用いても認識率がほとんど上がらない事もあり得る。
【００５７】
筆記者間のサブストロークの変動よりも筆記者内の字種間のサブストロークの変動の方が大きいと考えられ、多くの筆記者の場合には、より多くの資料で学習された不特定筆記者ＨＭＭと自分の資料のみで学習した特定筆記者ＨＭＭでは大差が無い傾向にある。ただし、認識率の低い筆記者については適応後の認識結果は適応前と特定筆記者ＨＭＭのほぼ中間の値をとり、適応効果が現れている事が分かる。
【００５８】
このように、上述の実施の形態によれば、サブワードベースの連続音声認識の手法を用いて、サブキャラクターＨＭＭを用いたオンライン手書き漢字認識を行うことにより、例えば、モデル数、記憶容量が削減でき、少量のデータでモデルの学習が効率良く行うことができ、筆順違いには辞書登録で対応でき、未学習の字種でも辞書登録により認識でき、また、サブキャラクターを筆者適応することにより、全字種の認識性能の向上を図ることができ、さらには、蓄積された音声認識の研究・経験を活用することができる。
【００５９】
また、本発明では、少数の適応用サンプルからサブキャラクタ隠れマルコフモデルの筆者適応を行い、適応用サンプルに含まれない字種についても筆者適応ができる。また、筆記者が、書かれる文字を目視することなく手書き入力した文字入力を認識することができる。
また、本発明の応用として、文字に代えてペンなどの動きに意味を付与（ジェスチャ）し、それを認識するようにしてもよい。また、入力装置としてペンのみならず指先あるいは指先に装着した位置速度、加速度などのセンサを使用するようにしてもよい。
【００６０】
なお、本発明の文字認識方法は、文字認識プログラム、文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体、文字認識プログラムを含みコンピュータの内部メモリにロード可能なプログラム製品、文字認識プログラムを含みコンピュータが使用可能な記録媒体にストアされたプログラム製品等により提供されることができる。
【００６１】
【発明の効果】
本発明によると、以上説明した通り、隠れマルコフモデルを適用することにより、学習データに含まれない任意の字種の文字認識を行うことができる。また、本発明は、例えば、少量の文字サンプルで全ての字種の筆者適応を行うと共に、メモリ量、計算量を削減することができる。
【図面の簡単な説明】
【図１】連続音声認識システムの概略構成図。
【図２】連続音声認識とオンライン手書き文字認識の対応図。
【図３】本発明に関するオンライン手書き文字認識システムの概略構成図。
【図４】文字認識システムの動作説明図。
【図５】本発明に関する文字認識方法の認識モードにおけるフローチャート。
【図６】漢字「田」の筆跡入力データ例を示す図。
【図７】ストロークの種類と対応するモデルのラベルについての説明図。
【図８】ストロークＨＭＭでのペンダウン モデル及びペンアップ モデルを示す図。
【図９】漢字「二」のＨＭＭの説明図。
【図１０】（ａ）サブキャラクタＨＭＭ記憶部５、及び、（ｂ）文字構造辞書記憶部６の説明図。
【図１１】文字構造辞書の階層化を示す説明図。
【図１２】ストロークＨＭＭに基づく認識についての説明図。
【図１３】漢字「二」のサブストロークＨＭＭの説明図。
【図１４】辞書から文字ＨＭＭを生成する原理の説明図。
【図１５】本発明に関する文字認識方法の学習モードにおけるフローチャート。
【図１６】学習字種及び未学習字種の認識率の比較についての説明図。
【図１７】適応字種に含まれるストロークの出現頻度を示す図。
【図１８】適応前後の認識率を示す図。
【符号の説明】
１  入力部
２  特徴抽出部
４  サブキャラクタＨＭＭ連結学習処理部
５  サブキャラクタＨＭＭ記憶部
６  文字構造辞書記憶部
７  デコーダ
８  文字認識結果データ出力部
９  筆跡データベース
【図１】
0003893022.tif 000007
【図２】
0003893022.tif 000008
【図３】
0003893022.tif 000009
【図４】
0003893022.tif 000010
【図５】
0003893022.tif 000011
【図６】
0003893022.tif 000012
【図７】
0003893022.tif 000013
【図８】
0003893022.tif 000014
【図９】
0003893022.tif 000015
【図１０】
0003893022.tif 000016
【図１１】
0003893022.tif 000017
【図１２】
0003893022.tif 000018
【図１３】
0003893022.tif 000019
【図１４】
0003893022.tif 000020
【図１５】
0003893022.tif 000021
【図１６】
0003893022.tif 000022
【図１７】
0003893022.tif 000023
【図１８】
0003893022.tif 000024