(57)【要約】【課題】手書きデータの認識処理を精度良く実現することを目的とする。【解決手段】学習システム２において、文字データを分類する学習サンプルグループごとに、オフライン認識及びオンライン認識を適用する適用比率を予め算出して対応付けた参照用データが作成される。ユーザがユーザ利用システム３において文字認識を実行させる場合、ＰＣ３００の制御部３１０は、上述の参照用データに基づいて、オフライン認識及びオンライン認識の結果に学習サンプルグループごとの最適な比率を乗算した数値を統合した結果から、該当する文字を絞り込み出力する。【選択図】図８
2012014620.tif 000002
【特許請求の範囲】
【請求項１】
手書きデータを文字認識する際に、特徴の異なる２つ以上の文字認識手段による認識結果を、重み付けにより統合して出力する情報処理装置であって、
前記２つ以上の文字認識手段の認識結果を統合する際に使用する各々の当該文字認識手段による認識結果の重み付けを、文字群を予め決められた基準で分類したグループ毎に記憶するグループ別重み付け記憶手段と、
手書きデータを取得する取得手段と、
前記取得手段により取得した手書きデータに対して、前記２つ以上の文字認識手段による文字認識を実行する文字認識実行手段と、
前記複数のグループのうち、前記取得した手書きデータが属するグループを特定するグループ特定手段と、
前記グループ別重み付け記憶手段によって記憶された重み付けの中から前記グループ特定手段によって決定されたグループに対応する重み付けを選択し、前記文字認識実行手段による実行で得られた、前記２つ以上の文字認識手段による文字認識結果を、前記選択された重み付けにしたがって統合して、その結果を出力する文字認識結果統合手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記グループを分類する基準が文字体系である
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記グループを分類する基準が文字を構成するストロークの数である
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
コンピュータを、
特徴の異なる２つ以上の文字認識手段の認識結果を統合する際に使用する各々の当該文字認識手段による認識結果の重み付けを、文字群を予め決められた基準で分類したグループ毎に記憶するグループ別重み付け記憶手段と、
手書きデータを取得する取得手段と、
前記取得手段により取得した手書きデータに対して、前記２つ以上の文字認識手段による文字認識を実行する文字認識実行手段と、
前記複数のグループのうち、前記取得した手書きデータが属するグループを特定するグループ特定手段と、
前記グループ別重み付け記憶手段によって記憶された重み付けの中から前記グループ特定手段によって決定されたグループに対応する重み付けを選択し、前記文字認識実行手段による実行で得られた、前記２つ以上の文字認識手段による文字認識結果を、前記選択された重み付けにしたがって統合して、その結果を出力する文字認識結果統合手段と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
紙媒体やタブレット等の電子デバイスに手書きされた文字を認識し、これらを電子化する技術が普及している。この技術は一般的に文字認識と呼ばれており、オンライン認識と呼ばれるものと、オフライン認識と呼ばれるものとがある。紙へ手書きされた文字を認識する場合には、その文字を図形的なパターンとして認識するオフライン認識で文字認識が行われる。一方、タブレットに電子ペンで文字を手書きする場合には、オフライン認識に加えて、筆順を含む時系列情報を利用したオンライン認識を利用して文字認識が実行される。特許文献１にはストローク数（画数）が所定の画数より少ない場合にはオフライン認識を行い、ストローク数が所定の画数より多い場合にはオンライン認識を行うという方法が開示されている。特許文献２には、オンライン認識とオフライン認識におけるそれぞれの評価値の和によって評価を行う方法が開示されている。
【０００３】
オフライン認識は、図形的パターンとして文字を認識するため、字形の崩れに弱いという特徴がある。一方、オンライン認識は、筆順という時系列の情報を扱うため、字形の崩れには強いが、筆順の乱れには弱いという特徴がある。このため、オフライン認識技術とオンライン認識技術とを相補的に利用する方法が有効である。非特許文献１においては、オフライン認識とオンライン認識の統合方法として、Ｓｕｍ法が理論的に優れていることが開示されている。具体的には、非特許文献１には、オフライン認識とオンライン認識とにおける各々の評価値を正規化して、その和をとる方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−２３１３１４号公報
【特許文献２】特開平９−２８８７１７号公報
【非特許文献】
【０００５】
【非特許文献１】織田、外５名，「オフライン識別器を統合したオンライン手書き文字識別器の小型化」，電子情報通信学会論文誌Ｄ，社団法人電子情報通信学会，平成１９年９月１日，第９０巻，第９号，ｐｐ．２５８３−２５９４
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、特徴の異なる２つ以上の文字認識手段による認識結果に対する重み付けを全ての文字で共通にした場合と比較して、手書きデータの認識処理を精度良く実現することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明の請求項１記載の情報処理装置は、手書きデータを文字認識する際に、特徴の異なる２つ以上の文字認識手段による認識結果を、重み付けにより統合して認識結果を出力する装置であって、文字群を予め決められた基準で分類した複数のグループに分け、前記２つ以上の文字認識手段の認識結果を統合する際に使用する各々の当該文字認識手段による認識結果の重み付けを、前記グループ毎に記憶するグループ別重み付け記憶手段と、手書きデータを取得する取得手段と、前記取得手段により取得した手書きデータに対して、前記２つ以上の文字認識手段による文字認識を実行する文字認識手段と、前記複数のグループのうち、前記取得した手書きデータが属するグループを特定するグループ特定手段と、前記グループ別重み付け記憶手段によって記憶された重み付けの中から前記グループ特定手段によって決定されたグループに対応する重み付けを選択し、前記文字認識手段によって決定された、前記２つ以上の文字認識手段による文字認識結果を、前記選択された重み付けにしたがって統合して、その結果を出力する文字認識結果統合手段と、を備えることを特徴とする。
【０００８】
上述した課題を解決するために、本発明の請求項２記載の情報処理装置は、前記グループを分類する基準が文字体系であることを特徴とする。
【０００９】
上述した課題を解決するために、本発明の請求項３記載の情報処理装置は、前記グループを分類する基準が文字を構成するストロークの数であることを特徴とする。
【００１０】
上述した課題を解決するために、本発明の請求項４記載のプログラムは、コンピュータを、特徴の異なる２つ以上の文字認識手段の認識結果を統合する際に使用する各々の当該文字認識手段による認識結果の重み付けを、文字群を予め決められた基準で分類したグループ毎に記憶するグループ別重み付け記憶手段と、手書きデータを取得する取得手段と、前記取得手段により取得した手書きデータに対して、前記２つ以上の文字認識手段による文字認識を実行する文字認識実行手段と、前記複数のグループのうち、前記取得した手書きデータが属するグループを特定するグループ特定手段と、前記グループ別重み付け記憶手段によって記憶された重み付けの中から前記グループ特定手段によって決定されたグループに対応する重み付けを選択し、前記文字認識実行手段による実行で得られた、前記２つ以上の文字認識手段による文字認識結果を、前記選択された重み付けにしたがって統合して、その結果を出力する文字認識結果統合手段として機能させることを特徴とする。
【発明の効果】
【００１１】
請求項１に記載された情報処理装置によれば、特徴の異なる２つ以上の文字認識手段による認識結果に対する重み付けを全ての文字で共通にした場合と比較して、手書きデータの認識処理を精度良く実現することができる。
請求項２に記載された情報処理装置によれば、異なる２つ以上の文字認識手段による文字認識結果を統合する際に、文字体系ごとの重み付けで統合を行うことができる。
請求項３に記載された情報処理装置によれば、異なる２つ以上の文字認識手段による文字認識結果を統合する際に、文字を構成するストロークの数ごとの重み付けで統合を行うことができる。
請求項４に記載されたプログラムによれば、特徴の異なる２つ以上の文字認識手段による認識結果に対する重み付けを全ての文字で共通にした場合と比較して、手書きデータの認識処理を精度良く実現することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係るシステム構成図である。
【図２】学習システムにおけるデジタルペン及びサーバ装置のハードウェア構成図である。
【図３】ユーザ利用システムにおけるデジタルペンとＰＣとのハードウェア構成図である。
【図４】オフライン認識及びオンライン認識の最適な適用比率を算出する際の処理フロー図である。
【図５】一文字ごとにオフライン認識及びオンライン認識の適用比率が決定された一例を表す図である。
【図６】学習サンプルグループごとにオフライン認識及びオンライン認識の適用比率が決定された一例を表す図である。
【図７】ユーザによって入力された手書きデータが文字認識される際の処理フロー図である。
【図８】オフライン認識及びオンライン認識の結果に適用比率を反映したものを統合した一例を表す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態について説明する。
＜実施形態＞
図１は、本発明の実施形態に係るシステム構成図である。
このシステム１は、学習システム２、ユーザ利用システム３及び記録媒体４を備えている。学習システム２は、デジタルペン１０Ａ、ドット付加用紙２０Ａ、及び、情報処置装置の一例としてのサーバ装置３０を備えている。ユーザ利用システム３は、デジタルペン１０Ｂ、ドット付加用紙２０Ｂ及び情報処置装置の一例としてのＰＣ（Personal Computer）３００を備えている。学習システム２は、商品としてのユーザ利用システム３が出荷される前の段階で、このユーザ利用システム３が精度良く文字認識を行うためのデータ（参照用データという）を作成するためのシステムである。以降において、学習システム２において操作を行う主体を、トレーナーと呼ぶ。トレーナーは、上述の参照用データを、記録媒体４に記録する。ユーザは、記録媒体４に記録された参照用データを、ユーザ利用システム３においてＰＣ３００に読込ませる。
【００１４】
次に、デジタルペン１０Ａ、デジタルペン１０Ｂ、ドット付加用紙２０Ａ及びドット付加用紙２０Ｂの説明を行う。以降において各々を特に区別しない場合には、デジタルペン１０Ａ、デジタルペン１０Ｂをデジタルペン１０と呼び、ドット付加用紙２０Ａ及びドット付加用紙２０Ｂをドット付加用紙２０と呼ぶ。デジタルペン１０は、そのペン先にＣＣＤ（Charge Coupled Device）カメラなどの小型カメラを備えている。ドット付加用紙２０は、デジタルペン１０と対で利用される専用紙であり、その表面には、特定の数学的なパターンに則って複数のドットが印刷されている。このドットを読み取って復号すると、ドット付加用紙２０上の位置を特定することができるようになっている。ユーザがデジタルペン１０を用いてドット付加用紙２０に文字を書き込むと、上述の小型カメラが、ユーザの書き込み動作に伴って予め定められたサンプリング周期で、ドット付加用紙２０の表面に付加されたドットを撮像する。デジタルペン１０は、このドットを逐次復号して、各読み取り時期におけるドット付加用紙２０上の位置を算出し、これを筆跡（文字の形状）及び筆順を表す情報（手書きデータという）として、内蔵するメモリに保存する。
そして、デジタルペン１０は、メモリに保存した手書きデータを、無線通信にて、自身と同じシステムのサーバ装置３０あるいはＰＣ３００へ送信する。サーバ装置３０あるいはＰＣ３００は、受信した手書きデータから、ユーザにより書き込まれた文字を認識する。
【００１５】
ドット付加用紙２０Ａは、その表面に、文字体系ごとに区分けされた入力エリア２０１Ａ、２０２Ａ、２０３Ａ，２０４Ａを備えている。これらの入力エリアの区分けは、例えば、入力エリア２０１Ａが「平仮名」、入力エリア２０２Ａが「片仮名」、入力エリア２０３Ａが「漢字」、そして入力エリア２０４Ａが「数字」といった具合である。入力エリアは、この他に「アルファベット」や「記号」といった文字体系に対応したものが存在してもよい。トレーナーは、平仮名を入力する場合には、入力エリア２０１Ａの範囲内にデジタルペン１０Ａを用いて文字を書き、漢字を入力する場合には入力エリア２０３Ａの範囲内にデジタルペン１０Ａを用いて文字を書く。上述のドット付加用紙２０Ａにおける入力エリアの構成は、ドット付加用紙２０Ｂにおいても同様であるため、ドット付加用紙２０Ｂにおける入力エリアについての説明は省略する。
【００１６】
図２は、学習システム２におけるデジタルペン１０Ａとサーバ装置３０とのハードウェア構成図である。デジタルペン１０Ａは、制御部１０１Ａ、記憶部１０２Ａ、撮像部１０３Ａ、無線通信制御部１０４Ａ、及び電源部１０５Ａを有し、各部がバス１０６Ａを介して接続されている。制御部１０１Ａは、ＣＰＵ（Central Processing Unit）及びＲＡＭ（Random Access Memory）を有し、ＣＰＵが記憶部１０２Ａに記憶されたプログラムをＲＡＭに読み出して実行することで、デジタルペン１０Ａの各部を制御する。記憶部１０２Ａは、ＲＯＭ（Read Only Memory）や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）或いはフラッシュメモリといった記憶手段を有している。また、記憶部１０２Ａは、デジタルペン１０Ａの各部を制御するためのプログラムを記憶している。
【００１７】
撮像部１０３Ａは、デジタルペン１０Ａのペン先に備えられた小型カメラを有する。撮像部１０３Ａは、この小型カメラで撮像された映像をデジタルのデータに変換したうえで、このデータを記憶部１０２Ａに保存する。制御部１０１Ａは、記憶部１０２Ａに保存された上述のデータに基づいて、手書きデータを生成し、記憶部１０２Ａに保存する。無線通信制御部１０４Ａは、記憶部１０２Ａに保存されている手書きデータを、予め定められたタイミングで無線通信によりサーバ装置３０に送信する。電源部１０５Ａは、バッテリーを有し、このバッテリーからデジタルペン１０Ａへの電力供給を制御する。
【００１８】
サーバ装置３０は、制御部３０１、記憶部３０２、無線通信制御部３０３、入出力部３０４、及び電源部３０５を有し、各部がバス３０６を介して接続されている。制御部３０１は、ＣＰＵ、ＲＡＭを有し、ＣＰＵが記憶部３０２に記憶されたプログラムをＲＡＭに読み出して実行することで、サーバ装置３０の各部を制御し、例えば文字認識処理を行う。記憶部３０２は、ＲＯＭや、ＨＤＤ（Hard Disc Drive）を有している。記憶部３０２は、サーバ装置３０の各部を制御するためのプログラム、及びオフライン認識やオンライン認識といった、手書きデータを文字認識するためのアプリケーションを実現するプログラムを記憶している。また、記憶部３０２は、平仮名、片仮名、漢字、及び数字などの複数の文字体系における一文字ごとについて、ストローク数（画数）、筆跡、及び筆順を情報として含むストローク情報と文字を一意に認識するための文字コードとを紐付けて記憶したものを辞書として記憶している。以降、この辞書のことを文字認識辞書と呼ぶ。また、これ以降、文字認識辞書における上述のストローク情報及び文字コードとの組み合わせを文字データと呼ぶ。
【００１９】
無線通信制御部３０３は、デジタルペン１０Ａの無線通信制御部１０４Ａから無線通信により送信された手書きデータを受信する。制御部３０１は、無線通信制御部３０３が受信した手書きデータに対して、文字認識処理を行う。入出力部３０４は、記録媒体の読み込み及び書き込みが可能な、例えばリムーバブル式の光学ドライブである。トレーナーは、学習システム２を用いて作成した参照用データを、入出力部３０４を用いて記録媒体４に記録する。電源部３０５は、商用電源に接続されており、サーバ装置３０への電力供給を制御する。
【００２０】
図３は、ユーザ利用システム３におけるデジタルペン１０ＢとＰＣ３００とのハードウェア構成図である。デジタルペン１０Ｂは、その各部において、デジタルペン１０Ａの説明におけるＡをＢと読み替え、サーバ装置３０をＰＣ３００と読み替えれば同様の構成であるため、説明を省略する。ＰＣ３００における制御部３１０、記憶部３２０、無線通信制御部３３０、電源部３５０、及びバス３６０は、サーバ装置３０における制御部３０１、記憶部３０２、無線通信制御部３０３、電源部３０５、及びバス３０６と、それぞれ同様の構成であり、その動作が異なるだけであるから、構成についての詳細な説明を省略する。入出力部３４０は、記録媒体の読み込みが可能な、例えばリムーバブル式の光学ドライブである。ユーザが、参照用データが記憶された記録媒体４を、入出力部３４０を用いてＰＣ３００に読み込ませることで、制御部３１０は、この参照用データを記憶部３２０に保存する。
【００２１】
次に、図４〜図６を用いて、学習システム２における処理を説明する。
図４は、オフライン認識及びオンライン認識の最適な適用比率を学習する際の処理フロー図である。前述したように、学習システム２の目的は、ユーザ利用システム３が精度良く文字認識を行うための参照用データを作成することである。図４における処理フローは、この参照用データを作成するために、学習システム２において、記憶部３０２に記憶されているプログラムに従って行われる処理を表している。
【００２２】
まず、学習用サンプルデータなるものがトレーナーによって入力され、サーバ装置３０がこの入力を受け付ける（ステップＳ１）。この学習用サンプルデータは、後続の処理における比較作業の基準となるデータ（正解データという）と、トレーナーがデジタルペン１０Ａ及びドット付加用紙２０Ａを用いて入力するデータである手書きデータとが含まれている。正解データは、トレーナーがステップＳ１で手書きデータとして入力すべき文字列における一文字ごとの文字コードと、一文字ごとのストローク数、筆跡、及び筆順を表すストローク情報と、一文字ごとの文字体系とを含む。ここで正解データの一例を挙げる。例えばトレーナーが入力すべき文字列が「あいうえお」であるとした場合、文字「あ」については、「あ」に割り当てられた文字コード、「あ」のストローク数、筆跡及び筆順、「あ」についての文字体系「平仮名」、といった内容が正解データとなる。
【００２３】
学習用サンプルデータの内、正解データがサーバ装置３０に入力される方法としては、例えば以下のものがある。まず、トレーナーが、正解データが記録されたＣＤ−ＲＯＭ（Compact Disc ROM）を入出力部３０４によって読み取らせる。そして、サーバ装置３０の記憶部３０２が、正解データを記憶する。また、正解データをサーバ装置３０に入力する方法は上述の例に限ったものではない。ＤＶＤ（Digital Versatile Disk）、あるいはＵＳＢ（Universal Serial Bus）メモリなどを介しても良いし、図示しないネットワークを通じてダウンロードされることでサーバ装置３０に正解データを入力しても良い。本実施形態では、文字体系「平仮名」の文字「あ」から「ん」までの一文字ごとに文字コード及びストローク情報が含まれたものが、正解データとして入力されるものとする。
【００２４】
ステップＳ１において、トレーナーは、正解データをサーバ装置３０に入力するとともに、正解データに含まれた入力すべき文字列における文字の順番と同じ順番で、正解データと同様の文字列を、デジタルペン１０Ａを用いてドット付加用紙２０Ａに書き込む。本実施形態では正解データにおける文字体系が平仮名のみであるため、トレーナーは、入力エリア２０１Ａに対して、「あ」から「ん」までの文字を、５０音順に、デジタルペン１０Ａを用いて書き込むものとする。デジタルペン１０Ａは、撮像部１０３Ａによって撮像されたデータに基づく手書きデータを生成し、これを記憶部１０２Ａに一度記憶した後、無線通信制御部１０４Ａを通じてサーバ装置３０に送信する。サーバ装置３０の制御部３０１は、無線通信制御部３０３を通じて手書きデータを受信する。
【００２５】
次にサーバ装置３０の制御部３０１は、受信した手書きデータに対して、共通の文字体系ごとに、各文字の手書きデータをグループ化する（ステップＳ２）。ここでは、「あ」から「ん」までの４８文字について、文字体系「平仮名」というグループが割り当てられる。手書きデータに異なる文字体系の手書きデータが含まれている場合は、この手書きデータに対して該当する文字体系のグループが割り当てられる。この割り当てられたグループのことを、以降、学習サンプルグループと呼ぶ。
【００２６】
次に制御部３０１は、ステップＳ２で割り当てられた学習サンプルグループごとに、手書きデータにおける一文字ずつに対して、オフライン認識およびオンライン認識による文字認識をおこなう（ステップＳ３）。オフライン認識は、文字の形状に基づいて文字認識を行う第２の文字認識方法の一例である。ここで、オフライン認識の一例を示す。ここでは、オフライン認識は、正規化及び特徴点抽出からなる前処理と修正２次識別関数（ＭＱＤＦ２）を用いる後処理とからなるとする。「あ」という文字の手書きデータに対して制御部３０１がオフライン認識を行った場合を考える。まず制御部３０１は、「あ」という文字の図形の外縁に接する最小の矩形（外接方形という）を求め、これに対して予め定められたサイズになるように非線形正規化を行う。そして制御部３０１は、非線形正規化の結果を画像データとして記憶部３０２に保存する。次に制御部３０１は、この画像データから、所定の４方向の特徴量を得る。そして制御部３０１は、得られた特徴量を入力引数として修正２次識別関数に代入することで、入力された手書きデータ「あ」と文字認識辞書において「平仮名」に分類された全ての文字データとの両者における距離値を算出する。制御部３０１は、文字認識辞書に含まれる「平仮名」の文字データの内、手書きデータの「あ」に対して算出された距離値が小さい順に文字データを出力する。ここでは、制御部３０１は、オフライン認識において、距離値が小さい順に３つの文字データを候補として出力するものとする。また、ここにおいて、制御部３０１は、手書きデータの「あ」に対して、オフライン認識の結果、距離値が小さい順に「め」、「あ」、「わ」という文字データを候補として出力したとする。そして制御部３０１は、最も距離値が小さい「め」という文字データを認識結果として出力する。つまり、ここでは、オフライン認識による文字認識の結果が誤っている。
【００２７】
次に、オンライン認識の一例を示す。オンライン認識は、文字の筆順に基づいて文字認識を行う第１の文字認識方法の一例である。ここでは、オンライン認識は、正規化及び特徴点抽出からなる前処理と線形処理時間伸縮マッチング（ＬＴＭ：Linear-time Elastic Matching）を用いる後処理とからなるとする。「あ」という手書きデータに対して制御部３０１がオンライン認識を行った場合を考える。まず制御部３０１は、「あ」という手書きデータに対して予め定められたサイズに収まるように線形正規化を行い、その結果に対して特徴点抽出を行う。次に制御部３０１は、文字認識辞書に含まれる「平仮名」に分類された全ての文字データと、手書きデータの「あ」に基づいて特徴点抽出が行われたデータとを、ＬＴＭを用いて比較を行うことで両者における類似度を算出する。制御部３０１は、文字認識辞書に含まれる「平仮名」の文字データの内、手書きデータの「あ」に対して類似度が高い順に文字データを出力する。ここでは、制御部３０１は、オンライン認識において、類似度が高い順に３つの文字データを候補として出力するものとする。また、ここにおいて、制御部３０１は、手書きデータの「あ」に対して、オンライン認識の結果、類似度が高い順に「あ」、「め」、及び「わ」という文字データを候補として出力したとする。そして制御部３０１は、最も類似度が高い「あ」という文字データをオンライン認識の結果として出力する。つまり、ここでは、オンライン認識による文字認識の結果が正しいことになる。
【００２８】
次に制御部３０１は、入力された学習サンプルデータの一文字ごとに、オフライン認識およびオンライン認識のそれぞれについて、文字認識に適用する比率（適用比率という）を決定する（ステップＳ４）。図５は、一文字ごとにオフライン認識及びオンライン認識の適用比率が決定された一例を表す図である。本実施形態では、「あ」という手書きデータに対して、オフライン認識では「め」という認識結果が出力され、オンライン認識では「あ」という認識結果が出力された。制御部３０１は、正解データに含まれる正解の文字「あ」の文字コードと、オフライン認識及びオンライン認識によるそれぞれの出力結果である文字データの文字コードとを照合する。この照合の結果、制御部３０１は、「あ」という文字についてのオフライン認識の出力結果は誤っているため、オフライン認識の適用比率を「０」と設定する一方、オンライン認識の出力結果は正しいため、オンライン認識の適用比率を「１」と設定する。また、図５において、「い」という文字については、照合の結果、例えばオフライン認識及びオンライン認識の双方において出力結果が正解であったとする。このため、オフライン認識及びオンライン認識の双方で適用比率が「０．５」となっている。
【００２９】
制御部３０１は、入力された学習サンプルデータの全てについて、ステップＳ３及びステップＳ４の処理を行う。本実施形態においては、制御部３０１が、「平仮名」の「あ」から「ん」までの各々の文字について、オフライン認識及びオンライン認識を行い、両者の出力結果と正解データとに基づいて、オフライン認識とオンライン認識のそれぞれについて適用比率を決定する。
【００３０】
入力された学習サンプルデータの全てについて、ステップＳ３及びステップＳ４の処理が終了すると、制御部３０１は、学習サンプルグループごとに、オフライン認識及びオンライン認識の適用比率を最適化する（ステップＳ５）。図６は、学習サンプルグループごとにオフライン認識及びオンライン認識の適用比率が決定された一例を表す図である。上述したように、ステップＳ４が終了した時点において、学習サンプルグループが文字体系「平仮名」である全ての文字について、オフライン認識及びオンライン認識の適用比率が決定されている。そして、ステップＳ５において、制御部３０１は、ステップＳ４で一文字ごとに設定された適用比率を、オフライン認識ごと及びオンライン認識ごとに合計し、その各々の合計値を文字体系「平仮名」における文字の総数で除算する。この除算の結果を制御部３０１が割合として算出したものが、学習サンプルグループごとのオフライン認識及びオンライン認識の適用比率となる。例えば図６においては、学習サンプルグループが文字体系「平仮名」であるグループは、オフライン認識を６０％の割合で適用し、オンライン認識を４０％の割合で適用する結果となっている。図６においては、「平仮名」の他に、「片仮名」、「数字」、及び「漢字」といった文字体系の学習サンプルグループにおいて、それぞれオフライン認識及びオンライン認識の適用比率が算出されている。
【００３１】
制御部３０１は、上述した一連の処理によって算出された学習サンプルグループの各々と、各グループにおいて決定されたオフライン認識及びオンライン認識の適用比率とが対応付けられたデータ、すなわち冒頭で説明した参照用データを記憶部３０２に保存する（ステップＳ６）。トレーナーは、この参照用データを、入出力部３０４を用いて記録媒体４に書き込ませる。参照用データが書き込まれた記録媒体４は、ユーザに配布される。
以上が、学習システム２における処理の説明である。
【００３２】
次に、ユーザ利用システム３の処理について図７を用いて説明する。
図７は、ユーザによって入力された手書きデータが、ユーザ利用システム３において、記憶部３２０に記憶されているプログラムに従って文字認識が行われる際の処理フロー図である。なお、ユーザは、ユーザ利用システム３に文字認識を行わせる前に、記録媒体４に記録された参照用データを、入出力部３４０を用いてＰＣ３００の記憶部３２０に保存しているものとする。
【００３３】
本実施形態においては、ドット付加用紙２０Ｂにおいて、学習サンプルグループである文字体系ごとに区別された入力エリア２０１Ｂ〜２０４Ｂが設けられており、ユーザは該当する入力エリアを選択して手書きデータを入力する。例えば、平仮名を書く際には、ユーザは入力エリア２０１Ｂに書き込みを行い、漢字を書く際には、ユーザは入力エリア２０３Ｂに書き込みを行うといった具合である。
【００３４】
デジタルペン１０Ｂ及びドット付加用紙２０Ｂを用いてユーザにより入力された手書きデータを、ＰＣ３００は、無線通信制御部３３０を通じて受信する（ステップＳ１１）。つまり、無線通信制御部３３０は、手書きデータを取得する取得手段の一例として機能する。ここで、入力エリア２０１Ｂ〜２０４Ｂに、一文字ごとの入力枠が設けられている場合（ステップＳ１２；Ｙｅｓ）、ステップＳ１４へ進む。入力エリア２０１Ｂ〜２０４Ｂに、一文字ごとの入力枠が設けられていない場合（ステップＳ１２；Ｎｏ）、ＰＣ３００の制御部３１０は、受信した手書きデータに含まれる文字列に対し、一文字を単位としてストロークを切り出す処理を行う（ステップＳ１３）。文字を一文字単位で切り出す方法については、さまざまな方式が知られている。たとえば、特開平８−５０６３２号公報では、２次元平面内のデータとして入力された手書き文字データをこの平面内で各種の方向に射影し、文字間に存在するスペースを探索して文字の切れ目とする方法が開示されており、この方法を使用してもよい。入力された手書きデータについてステップＳ１３の処理が終了すると、制御部３１０の処理はステップＳ１４へ進む。
【００３５】
次に、ＰＣ３００の制御部３１０は、入力された手書きデータの一文字ごとに、学習サンプルグループにおける複数のグループのうち対応するグループを特定し、これを割り当てる（ステップＳ１４）。ここで、ユーザが、ドット付加用紙２０Ｂに対して「明日は晴れです」という文字列を手書きデータとして入力した場合を考える。なお、入力エリア２０１Ｂ〜２０４Ｂには、一文字ごとの入力枠が設けられているとする。「明」、「日」及び「晴」という文字は漢字であるため、ユーザは、入力エリア２０３Ｂにこれらの文字を書き込む。そしてＰＣ３００の制御部３１０は、これらの文字データに対して学習サンプルグループ「漢字」を割り当てる。一方、「は」、「れ」、「で」及び「す」という文字は、平仮名であるため、ユーザは、入力エリア２０１Ｂにこの文字を書き込む。そしてＰＣ３００の制御部３１０は、これらの文字データに対して学習サンプルグループ「平仮名」を割り当てる。このように、制御部３１０は、複数のグループのうち、取得した手書きデータが属するグループを特定して、この特定したグループを手書きデータの一文字ごとに割り当てるグループ特定手段の一例として機能する。
【００３６】
次に、ＰＣ３００の制御部３１０は、予め記憶部３２０に保存された参照用データを参照して、学習サンプルグループに応じたオフライン認識及びオンライン認識の適用比率を決定する（ステップＳ１５）。参照用データは、言うなれば、各々の文字認識手段による認識結果の重み付けが、文字群を予め決められた基準で分類したグループ毎と対応づけられたデータである。例えば、参照用データが図６の内容であったとすると、学習サンプルグループ「平仮名」の適用比率は、オフライン認識：オンライン認識＝０．６：０．４であり、学習サンプルグループ「漢字」の適用比率は、オフライン認識：オンライン認識＝０．３：０．７である。ＰＣ３００の制御部３１０は、参照の結果得た適用比率をＲＡＭに格納する。このように記憶部３２０は、２つ以上の文字認識手段の認識結果を統合する際に使用する、各々の文字認識手段による認識結果の重み付けを、文字群を予め決められた基準で分類したグループ毎に記憶するグループ別重み付け記憶手段として機能する。
【００３７】
次に、ＰＣ３００の制御部３１０は、手書きデータに対してオフライン認識及びオンライン認識を行い、出力結果にステップＳ１５でＲＡＭに格納した適用比率を反映する（ステップＳ１６）。図８は、オフライン認識及びオンライン認識の結果に適用比率を反映したものを統合した一例を表す図である。まず、ＰＣ３００の制御部３１０は、「明」という手書きデータについて、オフライン認識及びオンライン認識を実行する。オフライン認識の結果、距離値が低い順に、「朋」、「明」及び「唱」が文字認識結果の候補として出力されたとする。ここで制御部３１０は、距離値が小さい順に、各候補に対して評価値を付与する。例えば、距離値が最も小さい「朋」は３ポイント、距離値が中位の「明」は２ポイント、距離値が最も大きい「唱」は１ポイント、といった具合である。また、オンライン認識の結果、類似度が高い順に、「明」、「朋」及び「晴」が候補として出力されたとする。ここで制御部３１０は、類似度が高い順に、各候補に対して評価値を付与する。例えば、類似度が最も高い「明」は３ポイント、類似度が中位の「朋」は２ポイント、類似度が最も低い「晴」は１ポイント、といった具合である。このように、制御部３１０は、取得手段である無線通信制御部３３０により取得した手書きデータに対して、２つ以上の文字認識手段による文字認識を実行する文字認識実行手段として機能する。
【００３８】
制御部３１０は、上述のように、候補として評価値と共に出力された文字データに対して、ステップＳ１５でＲＡＭに格納した適用比率を選択し、これを文字認識の結果を導くための重み付けとして適用する。「明」は学習サンプルグループが漢字であるため、図６に示されるように、オフライン認識：オンライン認識＝０．３：０．７の適用比率が選択されて適用される。制御部３１０が、上述の個々の候補に付与された評価値に、この適用比率を乗算した数値を算出したものが、図８における「適用比率反映後」の数値である。
【００３９】
次に制御部３１０は、適用比率を反映した後のオフライン認識の評価値と、適用比率を反映した後のオンライン認識の評価値とを合算するという演算により両者を統合し、出力結果としての文字データを決定する（ステップＳ１７）。図８における「オフライン＆オンライン統合後」として示されている内容が、学習サンプルグループごとの適用比率を反映した後の、オフライン認識及びオンライン認識の評価値を合算した数値、すなわち２つ以上の文字認識手段による文字認識結果を、選択された重み付けにしたがって統合した結果である。図８に示される「オフライン＆オンライン統合後」では、最も評価値の高い「明」という文字データが、「明」という手書きデータに対する文字認識の結果として出力される。このように、制御部３１０は、グループ別重み付け記憶手段によって記憶された重み付けの中からグループ特定手段によって決定されたグループに対応する重み付けを選択し、文字認識実行手段による実行で得られた、２つ以上の文字認識手段による文字認識結果を、選択された重み付けにしたがって統合して、その結果を出力する文字認識結果統合手段の一例として機能する。
【００４０】
このように本実施形態によれば、予め学習した内容に基づき、文字体系ごとにオフライン認識とオンライン認識の適用比率が変更される。例えば、単純な図形パターンが多い「平仮名」はオフライン認識の適用比率が高く、複雑な字形が多い「漢字」はオンライン認識の適用比率が高いといったように、それぞれの文字体系の特徴に合わせた適用比率の設定がなされる。従って、オフライン認識とオンライン認識の適用比率を全ての文字体系で共通にした場合に比べて、手書きデータの認識処理の精度が向上する。
【００４１】
以上の実施形態は次のように変形可能である。尚、以下の変形例は適宜組み合わせて実施しても良い。
＜変形例１＞
実施形態においては、学習サンプルグループのグループを分類する単位を、「平仮名」、「片仮名」、「数字」、「漢字」、「アルファベット」及び「記号」といった文字体系としていたが、グループを分類する単位はこれに限ったものではない。制御部３０１は、例えばストローク数、文字列の意味内容により分類した文字列グループ（「日付」、「人名」、「金額」など）、漢字の部首、部首とはいえないまでも一文字の漢字を構成する一部分（漢字のサブパターン）、言語の種類（「日本語」、「中国語」、「英語」、「イタリア語」など）、または文化圏で言語を分類した文字グループ（「ヨーロッパ・アルファベット圏」、「漢字圏」、「アラビア文字圏」など）によってグループを分類してもよい。また、制御部３０１は、文字ごとの１ストロークの平均長やストロークの形状（「直線的」、「曲線的」など）、あるいは学習サンプルデータにおける文字の大きさや、外接方形においてストロークが占める面積の割合であるストローク座標密度によってグループを分類してもよい。
【００４２】
制御部３０１は、文字ごとの１ストロークの平均長を分類の基準に用いる場合、この平均長が予め定められた閾値を超えるか否かによってグループを分類すればよい。また、制御部３０１は、ストロークの形状を分類の基準に用いる場合は、手書きデータに含まれる筆跡に基づいて、一文字を構成するストロークを、例えば以下のように分類すればよい。制御部３０１は、直線で表されるストロークの数が、全ストローク数に対して予め定められた閾値以上の割合を占める場合に「直線的」グループに分類し、曲線で表されるストロークの数が、全ストローク数に対して予め定められた閾値以上の割合を占める場合に「曲線的」グループに分類する。また、制御部３０１は、学習サンプルデータにおける文字の大きさを分類の基準に用いる場合、次のようにすればよい。制御部３０１は、一文字ごとの入力枠が設けられている場合、この入力枠の面積に対して文字データの外接方形が占める割合が閾値を超えているか否かによってグループを分類する。一方、制御部３０１は、一文字ごとの入力枠が設けられていない場合、文字データの大きさそのものを数値として表す基準を閾値として、文字データの外接方形の大きさが、この閾値を超えているか否かによってグループを分類する。また、制御部３０１は、ストロークの座標密度を分類の基準に用いる場合は、算出されたストローク座標密度が、予め定められた閾値を超えるか否かによってグループを分類すればよい。さらに、制御部３０１は、文字ごとの１ストロークの平均長、ストロークの形状、学習サンプルデータにおける文字の大きさ、及びストローク座標密度によってグループを分類する場合、上述の閾値は１つに限らず複数設定してもよい。
【００４３】
＜変形例２＞
学習サンプルグループごとにオフライン認識及びオンライン認識の適用比率を算出した参照用データは、学習サンプルデータの入手状況に応じて、内容を更新したものをユーザに配布するようにしてもよい。配布の方法は、記録媒体４を郵送などでユーザに送付してもよいし、インターネットを通じてユーザにダウンロードさせるようにしてもよい。更新する内容は、サンプルの母数が増えたことによる適用比率の変更であってもよいし、グループ分けの細分化や再統合化などでもよい。
【００４４】
＜変形例３＞
実施形態においては、手書きデータを入力する方法として、デジタルペン１０及びドット付加用紙２０を用いていたが、これに限らず、タブレットや電子ペーパーを用い、スタイラスペンでタブレットや電子ペーパーの表示面をなぞるとそのペン先の軌跡をセンサが検知するような仕組みを採用しても良い。ドット付加用紙２０においては、文字体系ごとに入力エリアを用意していたが、タブレットや電子ペーパーを用いる場合は、その表示面あるいは操作面に、入力する文字体系を選択するボタンを設けるようにすれば良い。この場合、書き込みを行う際にユーザは、書き込む文字の文字体系に合わせて、該当する入力文字体系を表すボタンを押下した後に書き込みを行う。
【００４５】
＜変形例４＞
実施形態においては、文字体系という、手書きデータの属するグループを表す情報がサーバ装置３０及びＰＣ３００に入力されることで、この入力された情報に従って制御部３０１及び制御部３１０は学習サンプルグループの割り当てを行っていた。これに対して、学習サンプルグループの割り当て方法を以下のようにしてもよい。例えばユーザ利用システム３におけるドット付加用紙２０Ｂには、文字体系ごとに区分けされた入力エリアが存在せず、全ての文字体系において共通の入力エリアが存在するものとする。この場合、ユーザが、デジタルペン１０Ｂ及びドット付加用紙２０Ｂを用いて文字を書くことで、手書きデータがＰＣ３００に入力されるが、この手書きデータには文字体系、すなわち学習サンプルグループを特定する情報は含まれていない。制御部３１０は、この手書きデータに対して、例えば「０．５：０．５」といった予め定められた比率でオフライン認識とオンライン認識とによる文字認識を行う。そして制御部３１０は、この文字認識の結果と文字認識辞書とを照合して、手書きデータにおける各文字について文字体系を特定する。その後、制御部３１０は、参照用データから、この特定した文字体系すなわち学習サンプルグループに該当する適用比率を読み出して、出力する文字を決定する。
【００４６】
＜変形例５＞
実施形態においては、手書きデータは、手書きされた文字の筆跡（文字の形状）及び筆順を表す情報を含んでいたが、これ以外に次のような情報を含んでもよい。例えばデジタルペン２０のペン先が筆圧を計測する装置を備え、デジタルペン２０がこの筆圧から線の太さを算出して手書きデータに含むようにしてもよい。また、実施形態においては、文字の筆順に基づいて文字認識を行う第１の文字認識方法の一例としてオンライン認識を使用していたが、この第１の文字認識方法は、文字の筆順に限らず、さらに例えば一文字を形成するストローク数を文字認識に使用してもよい。また、実施形態においては、文字の筆順に基づかずに文字の形状に基づいて文字認識を行う第２の文字認識方法の一例としてオフライン認識を使用していたが、この第２の文字認識方法は、文字の形状に限らず、さらに例えば上述の線の太さを文字認識に使用してもよい。
【００４７】
＜変形例６＞
実施形態においては、学習サンプルグループごとにオフライン認識及びオンライン認識の適用比率を算出した参照用データを記録媒体４に記録し、この記録媒体４をユーザに配布していたが、これを次のようにしてもよい。すなわち、参照用データを記録したＵＳＢメモリを配布してもよいし、参照用データを有線あるいは無線のネットワークを通じてユーザがダウンロードするようにしてもよい。また、ユーザ利用システムにおいて、デジタルペン１０及びドット付加用紙２０に代えて、スタイラスペンでタブレットや電子ペーパーの表示面をなぞるとそのペン先の軌跡をセンサが検知するような仕組みが用いられる場合には、このタブレットや電子ペーパーが出荷される時点で、これらが内蔵するメモリに参照用データを事前に記憶させておいてもよい。つまり、参照用データがユーザに配布され、ユーザが利用できるのであれば、どのような形態で配布が行われても良い。
【００４８】
＜変形例７＞
オフライン認識及びオンライン認識において文字認識の候補を出力する方法は、実施形態における例に限ったものではない。例えばオンライン認識においては、制御部３０１及び制御部３１０は、隠れマルコフモデルを用いて、入力された学習サンプルデータの出力確率を最大にするように、ビタビアルゴリズムによってモデルパラメータを求めることで文字認識の候補を出力するようにしてもよい。つまり、オンライン認識及びオフライン認識の出力結果として、評価値と対応付けられた候補の文字が出力されれば、どのような方法を用いても良い。
【００４９】
＜変形例８＞
実施形態においては、図４のステップＳ４で、正解データに含まれる正解の文字データと、オフライン認識及びオンライン認識それぞれの出力結果である文字データとの照合に、文字コードを使用していたが、照合の方法はこれに限ったものではない。例えば、オフライン認識及びオンライン認識の結果として出力された文字データは、文字認識辞書から引用されたものであり、ストローク数や筆順等を情報として含んでいる。従って、オフライン認識及びオンライン認識それぞれの出力結果である文字データに含まれるストローク数や筆順、及び図形パターンと、正解データに含まれる文字データにおけるストローク数や筆順、及び図形パターンとを付き合わせることで照合を行っても良い。
【００５０】
＜変形例９＞
実施形態においては、図７のステップＳ１３で、文字列から一文字を切り出すのにオフライン認識を利用していたが、これに限らず他の方法を用いても良い。要するに、入力された手書きデータを一文字ずつに切り出して認識することが可能であれば良い。
【００５１】
＜変形例１０＞
実施形態においては、図４のステップＳ４で、照合の結果として出力する適用比率は、「１：０」、「０．５：０．５」、及び「０：１」のいずれかであったが、これに限らず、「０．８：０．２」、「０．３：０．７」などの比率を用いてもよい。この場合の一例として、次のような方法がある。まず、制御部３０１は、距離値をオフライン認識で算出し、類似度をオンライン認識で算出する。距離値は小さいほど評価値が高くなり、類似度は大きいほど評価値が高くなるから、両者を比較できるように、例えば、距離値を正規化した数値の逆数を求める。そして、距離値の逆数と類似度の比に応じてオフライン認識とオンライン認識の適用比率を決定する。例えば、制御部３０１は、距離値の逆数と類似度との比率そのものを、オフライン認識とオンライン認識の適用比率としたり、距離値の逆数と類似度との比率に何らかの補正を行って、オフライン認識とオンライン認識の適用比率とするといった具合である。要するに、オンライン認識及びオフライン認識について、照合の結果、正解であった方の適用比率が、不正解であった方の適用比率よりも、適用比率が有効に機能する範囲で高く設定されるようにすれば良い。
【００５２】
＜変形例１１＞
評価値は、３，２，１という予め段階的に決められた数値ではなく、距離値や類似度そのものや、或いはこれらに演算を施した値など、要するに、距離値や類似度に応じた数値であればよい。
【００５３】
＜変形例１２＞
実施形態においては、デジタルペン１０が手書きデータを生成していたが、これに限らず、次のようにしてもよい。デジタルペン１０は撮像データをサーバ装置３０或いはＰＣ３００に送信するのみとして、サーバ装置３０の制御部３０１及びＰＣ３００の制御部３１０が、受信した撮像データから手書きデータを生成してもよい。この場合、制御部３０１及び制御部３１０が、手書きデータを取得する取得手段として機能する。
【００５４】
＜変形例１３＞
実施形態においては、異なる文字認識方法としてオフライン認識及びオンライン認識を例示したが、文字認識方法としてはこれに限ったものではない。また、文字認識方法の数は２つに限ったものではなく、２つ以上であればよく、３つの異なる文字認識方法の結果を用いてもよい。要するに、文字認識のアルゴリズムや手法の特徴が異なる複数の文字認識方法を用いればよい。
【符号の説明】
【００５５】
１…システム、２…学習システム、３…ユーザ利用システム、４…記録媒体、１０Ａ，１０Ｂ…デジタルペン、２０Ａ，２０Ｂ…ドット付加用紙、２０１Ａ〜２０４Ａ，２０１Ｂ〜２０４Ｂ…入力エリア、３０…サーバ装置、３００…ＰＣ、１０１Ａ，１０１Ｂ，３０１，３１０…制御部、１０２Ａ，１０２Ｂ，３０２，３２０…記憶部、１０３Ａ，１０３Ｂ…撮像部、１０４Ａ，１０４Ｂ，３０３，３３０…無線通信制御部、３０４，３４０…入出力部、１０５Ａ，１０５Ｂ，３０５，３５０…電源部
【図１】
2012014620.tif 000003
【図２】
2012014620.tif 000004
【図３】
2012014620.tif 000005
【図４】
2012014620.tif 000006
【図５】
2012014620.tif 000007
【図６】
2012014620.tif 000008
【図７】
2012014620.tif 000009
【図８】
2012014620.tif 000010