(57)【特許請求の範囲】
【請求項１】
筆記面上を移動するペン先部の移動方向及び移動量を基に入力パターンを認識するペン型のパターン認識装置において、
ペン先部の加速度を検出する加速度検出部を有し、前記ペン先部の筆記面上の移動方向を検出する方向検出部と、
前記ペン先部が筆記面に接触しているか否かを検出する感圧部と、
該感圧部が前記ペン先部と筆記面とが接触していることを検出しているときに前記方向検出部が検出した前記ペン先部の移動方向に関する情報を分析し入力パターンの特徴を示す情報を出力するニューラルネットワーク演算部と、
前記感圧部の検出結果に応じて前記ニューラルネットワーク演算部のニューラルネットワーク結合係数を切り替える切替部と
を備えることを特徴とするパターン認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明はパターン認識装置、特にパターンの認識率の向上に関するものである。
【０００２】
【従来の技術】
ペン型のパターン認識装置ではタブレット板を用いて文字を入力していた。ペン型のパターン認識装置は文字入力があると、ペン先部のｘｙ座標を得てからストローク情報を作成し、パターンマッチング等を行なうことにより入力文字を認識していた。
【０００３】
また、特開平７−１７５８９３号公報に掲載された手書き文字認識装置ではパターンマッチングを行なう代わりにタブレット板に入力された手書き文字の特徴値をニューラルネットワーク演算部に与えニューラルネットワーク演算部で手書き文字の認識をしている。
【０００４】
【発明が解決しようとする課題】
しかしながら、タブレット板は多くのスペ−スを必要とするので使い勝手が悪く、タブレット板を用いずに正確に入力パターンの認識ができる装置が望まれていた。
【０００５】
この発明はかかる要望を満足するためになされたものであり、タブレット板を用いずに文字及び図形を入力することができるようにすると共に、ニューラルネットワークを用いて入力した文字等のパターンの認識率の向上を図ることを目的とする。
【０００６】
【課題を解決するための手段】
この発明に係るパターン認識装置は、方向検出部と感圧部とニューラルネットワーク演算部と切替部を備えている。そして、方向検出部は、ペン先部の加速度を検出する加速度検出部を有し、ペン先部の筆記面上の移動方向を検出する。また、感圧部はペン先部が筆記面に接触しているか否かを検出する。更に、ニューラルネットワーク演算部は、感圧部がペン先部と筆記面とが接触していることを検出しているときに加速度検出部が検出したペン先部の移動方向に関する情報を分析し入力パターンの特徴を示す情報を出力する。また、切替部は、感圧部の検出結果に応じてニューラルネットワーク演算部のニューラルネットワーク結合係数を切り替える。よって、簡単な構成でペン先部が筆記面に接しているとき及び接していないときのペン先部の描くパターンを検出し、両パターンを比較して図形が入力されたときのパターン認識率をより高くする。
【００１７】
【発明の実施の形態】
この発明のパターン認識装置は、ペン型の形状を有し、筆記面上を移動するペン先部の移動方向及び移動量を基に入力パターンを認識し、ホストコンピュータ等に認識結果を出力するペン型のパターン認識装置であって、ペン先部に加わる２方向の力を検出することによりパターン認識装置がタブレット板等を用いずに文字及び図形を入力することができるようにすると共に、ニューラルネットワークを用いてパターンに認識精度を高めるものである。
【００１８】
パターン認識装置は、方向検出部と演算部を有する。方向検出部はペン先部の筆記面上の移動方向を検出する。方向検出部は、例えばペン軸に直交する異なった２方向に向けて歪センサを有する歪検出部又はペン軸に直交する異なった２方向に向けて加速度センサを有する加速度検出部をペン先部に備え、ペン軸に直交する異なった２方向に対するペン先部の歪又は加速度を検出する。ペン軸に直交する異なった２方向でペン先部に対するペン先部の歪又は加速度を検出するので、パターン認識装置は方向検出部がペン先部の移動方向を検出するので、ペン先部の移動方向及び移動量を検出し、検出した移動方向及び移動量をトレースすることにより、文字及び図形を入力することができる。なお、ペン先部の移動量は、例えば加速度検出部で検出した加速度を２回積分して求める。
【００１９】
演算部は、例えば前処理部とニューラルネットワーク演算部とパターン認識部を備える。前処理部はニューラルネットワーク演算部の構成に応じて方向検出部からのデータを増幅処理をしたり、２値化したりしてニューラルネットワーク演算部に入力するのに適した信号に変換する。ニューラルネットワーク演算部は協調、競合作用及び自己組織化能力に基づいて入力信号をいくつかの特徴に分析すると共に、それらを統合することによってニューラルネットワークを構成した部分であり、方向検出部が検出したペン先部の移動方向に関する情報を入力して入力パターンを分析し、入力パターンの特徴を示す情報を出力する。ニューラルネットワーク演算部は、例えば予め認識させたいパターンを実際に入力したときの方向検出部からのデータをサンプリングしこれらのデータを入力層に入力し、出力層に分類したいパターン数分のニューロンを用意し、各パターンとニューロンを対応させておく。あるパターンが入力されたときそれに対応するニューロンの出力が「１」となり、それ以外のニューロンの出力が「０」となるように、例えばバックプロパゲーション法等で学習させておく。ニューラルネットワーク演算部はこのようにして得られた結合係数と同じ結合係数でニューラルネットワーク演算を行なう。パターン認識部はニューラルネットワーク演算部が出力した特徴を示す情報を入力して、ニューロンの出力が一番大きいものを探し出しそれに対応するパターンを認識結果として出力する。
【００２０】
さらに、ペン先部が筆記面に接触しているときにのみパターン認識をして余計な演算をしないようにしたり、ペン先部が筆記面に接触していないときのペン先部の軌跡をとり、ペン先部が筆記面に接触しているときのペン先部の軌跡と比較し、パターン認識率を高めるようにしても良い。ペン先部が筆記面に接触しているか否かは圧力センサ等を有する感圧部を用いたり、上記歪センサの検出結果から判断したり、ペン軸方向に設けた加速度センサ等を用いて行なう。なお、歪センサの検出結果から判断する場合はニューラルネットワーク演算部は歪検出部の出力が一定値以上のときに歪検出部が検出したペン先部に加わる力に関する情報を分析し入力パターンの特徴を示す情報を出力する。ここで、上記一定値とはペン先部が筆記面と接触していないときの歪センサの出力値及びノイズを遮断する程度の値である。
【００２１】
さらに、ニューラルネットワーク演算部の構成を簡単にするために、方向検出部の検出結果を一旦記憶部に記憶して、ニューラルネットワーク演算部では記憶部に記憶した情報を基に入力パターンの分析を行なう用にしても良い。方向検出部の検出結果をそのままニューラルネットワーク演算部に入力すると、ニューラルネットワーク演算部をリカレント型にしなければならず、構成が複雑になるが、一旦記憶部に記憶することにより簡単な構成のニューラルネットワーク演算部で入力パターンの分析ができるようになる。
【００２２】
【実施例】
図１はこの発明の一実施例のパターン認識装置の構成図である。パターン認識装置１は、図に示すようにペン形状をしており、感圧部２、方向検出部３、演算部４、記憶部５及び電源部６を有し、筆記面上を移動するペン先部８の移動方向及び移動量を基に入力パターンを認識し、ホストコンピュータ等に認識結果を出力する。感圧部２は圧力センサ２ａを備える。圧力センサ２ａはペン先部８に設けられ、筆記面からペン先部８に加わる圧力を検出する。移動検出手段３は、例えば歪センサ３ａ，３ｂを備える。歪センサ３ａ，３ｂはパターン認識装置１のペン先部８に設けられ、筆記面上をペン先部８が移動する際に生じるペン軸９と直交する２方向に対するペン先部８の歪からを検出して、ペン先部８の移動方向を検出する。
【００２３】
演算部４は、図２に示すように前処理部４１とニューラルネットワーク演算部４２とパターン認識部４３を備える。前処理部４１は歪センサ３ａ，３ｂからの信号を増幅処理及び２値化処理等してニューラルネットワーク演算部４２に入力するのに適した信号に変換する。前処理部４１が歪センサ３ａ，３ｂからのペン先部８の歪を示すアナログ信号を増幅した後にデジタル信号に変換し、例えば歪センサ３ａ，３ｂからのペン先部８の歪が一定値以上であると、ニューラルネットワーク演算部４２は入力層４２１から入力したペン先部８の移動方向を示すデジタル信号を分析し、入力パターンの特徴を示す情報を出力する。これにより、パターン認識装置１はペン先部８にパターン入力を開始するためのスイッチなどを設けなくとも、パターンの入力タイミングを知ることができる。
【００２４】
ニューラルネットワーク演算部４２は前処理部４１からの信号を基にニューラルネットワーク演算を行なう部分であり、協調、競合作用及び自己組織化能力に基づいて入力信号をいくつかの特徴に分析すると共に、それらを統合することによって、図３に示すようなニューラルネットワークを構成した部分であり、この実施例では演算部４内に設けたが、アナログ型のニューラルネットワークチップ又はデジタル型ニューラルネットワークチップから構成しても良い。例えば予め認識させたいパターンとして直線８種類、曲線２種類、折線２種類を用意し、実際にこれらのパターンを入力したときの歪センサ３ａ，３ｂからのデータをサンプリングし、ニューラルネットワーク演算部４２にこれらのデータを入力層４２１に入力し、出力層４２３に分類したいパターン数分のニューロンを用意し、各パターンとニューロンを対応させておく。あるパターンが入力されたときそれに対応するニューロンの出力が「１」となりそれ以外のニューロンの出力が「０」となるように、例えばバックプロパゲーション法等で学習させておく。ニューラルネットワーク演算部４２はこのようにして得られた結合係数と同じ結合係数でニューラルネットワーク演算を行なう。なお、この実施例における歪センサ３ａ，３ｂからのデータは時系列データであるので、ニューラルネットワークをリカレント型に構成する。
【００２５】
パターン認識部４３はニューラルネットワーク演算部４２からの出力信号により入力パターンを認識する部分である。パターン認識部４３は、例えば上記のように予め学習したニューラルネットワーク演算部４２の出力層４２３のニューロンの出力が最も大きいものを探しだし、それに対応するパターンを入力されたパターンとして判定し判定結果をホスト装置等に出力する。このように、ペン先部８の歪を検出することにより、タブレット等を用いずにパターン認識装置１からパターン入力をすることができる。また、入力するパターンは図形であっても良いし、文字を構成する基本的な構成要素であっても良い。文字を構成する基本的な構成要素のパターンを入力する場合は、基本構成要素の認識結果が順次得られ、得られた基本構成要素の組合せと辞書とのマッチングを行なうことにより文字の認識をすることができる。なお、演算部４、記憶部５及び電源部６はホストコンピュータ等の内部に設けても良い。
【００２６】
上記構成のパターン認識装置１の動作を、図４のフローチャートを参照して説明する。
【００２７】
前処理部４２は歪センサ３ａ，３ｂが検出したペン先部８の歪を示すアナログ信号を増幅した後にデジタル信号に変換し、ニューラルネットワーク演算部４２の入力層４２１に入力する（ステップＳ１）。ニューラルネットワーク演算部４２は圧力センサ２からの信号を基にペン先部８が筆記面に接触しパターン入力が開始されたことを検出すると（ステップＳ２）、前処理部４１から入力層４２１に入力した信号に対応するニューロンの出力を「１」とし、それ以外のニューロンの出力を「０」として、入力信号のパターンを大分類し、分類結果を中間層４２２に出力する（ステップＳ３）。その後、ニューラルネットワーク演算部４２は中間層４２２に入力した大分類結果に対応するニューロンの出力を「１」とし、それ以外のニューロンの出力を「０」として、入力信号のパターンを細分類し、パターン認識部４３に出力する（ステップＳ４）。ニューラルネットワーク演算部４２はペン先部８と筆記面とが接触していると判断している間はパターン入力が継続していると判断して、上記処理（ステップＳ２〜Ｓ４）を繰り返す（ステップＳ５）。パターン認識部４３はニューラルネットワーク演算部４２から入力した入力パターンの分析結果を基に出力値が一番大きいニューロンを探し出して入力したパターンの認識を行なう（ステップＳ６）。
【００２８】
ここで、ニューラルネットワーク演算部４２は、ニューラルネットワーク演算をするので、例えば図５（ａ）に示すような文字の構成要素が互いに離れた入力パターンを基に、図５（ｂ）に示すような正しい入力を自己想起することができ、入力パターンの認識率を高めることができる。このように、歪センサ３ａ，３ｂを用いてペン軸９に直交する異なった２方向でペン先部８に加わる力を検出するので、任意の平面上で文字及び図形等を入力することができると共に、ニューラルネットワーク演算部４２を用いることにより、入力パターンの認識率を高めることができる。また、ペン先部８が筆記面に接触していないときにはニューラルネットワーク演算部４２はニューラルネットワーク演算を行なわないので、無駄な演算を行なう必要がなく、特に複雑な処理を行なう場合に処理速度を向上することができる。
【００２９】
なお、上記実施例では歪センサ３ａ，３ｂを用いて、ペン先部に加わる力を検出してペン先部６の移動方向及び移動量を求めたが、歪センサ３ａ，３ｂの代わりに図６に示すように加速度センサ３ｃ，３ｄを用いても良い。加速度センサ３ｃ，３ｄを用いることにより、ペン先部８が筆記面に接触していない場合であっても、ペン先部８の移動軌跡をトレースすることができる。
【００３０】
さらに、ペン軸方向の加速度を検出する加速度センサを有するペン軸方向加速度検出部１０を備え、ペン先部８が筆記面に接触しているか否かを加速度センサからの信号を基にして判断するようにしても良い。これにより、ペン先部８が筆記面に接触しているか否かを検出することができると共に、ペン軸９の傾斜を検出し方向検出部３の検出結果を補正することにより、さらに正確にペン先部８の移動方向及び移動量を検出することができる。
【００３１】
また、例えば図５（ａ）に示すように文字を一筆で書くことができない場合に文字パターン全体の認識が困難になる場合もあるので、図７に示すようにペン先部８が筆記面と接触しているときにペン先部８の描くパターンを認識するニューラルネットワーク演算部４２ａと、筆記面に接触していないときにペン先部８の描くパターンを認識するニューラルネットワーク演算部４２ｂとを設けるようにしても良い。このように、ペン先部８が筆記面に接触しているときとペン先部８が筆記面に接触していないときの入力パターンの分類を各々独立に行なうことにより、両分類結果を比較及び連続させ、入力パターン全体の形状を容易に知ることができ、入力パターンの認識率をさらに高めることができる。なお、上記ニューラルネットワーク演算部４２ａ，４２ｂが認識したパターンが一つの文字の構成要素内で区切られたパターンか又は異なった文字の構成要素であるかは、例えばタイマ等を用いて一定時間以上ペン先部８が筆記面から離れているときは異なった文字と判断する。
【００３２】
また、ニューラルネットワーク演算部４２ａとニューラルネットワーク演算部４２ｂを設けると構成が複雑になるので、図８に示すような切替部４４を備えても良い。一文字を形成するためにペン先部８が描く軌跡のパターンをペン先部８が筆記面に接触しているときと離れているときのそれぞれの場合でニューラルネットワーク演算部４２に予め学習させ、それぞれの場合のニューラルネットワーク結合係数を求めておき、切替部４４はペン先部８が筆記面に接触しているときと離れているときでニューラルネットワーク結合係数を切り替える。これにより、簡単な構成でパターン認識装置１のパターン認識率をさらに高めることができる。
【００３３】
また、上記実施例ではリカレント型のニューラルネットワークを構成したが、ペン先部８の移動方向を示す情報を一旦記憶部５に記憶するようにして、リカレント型以外のニューラルネットワークを用いるようにしても良い。図９に示すように歪センサ３ａ，３ｂ又は加速度センサ３ｃ，３ｄからの信号を前処理部４１で処理した後に、例えばペン先部８が筆記面に接触している場合にのみ歪センサ３ａ，３ｂ又は加速度センサ３ｃ，３ｄからの信号を記憶部５に一旦記憶する。例えば、ペン先部８は筆記面と接触してから離れるまでの前処理部４１からのデータを「３２」個に分割し、ニューラルネットワーク演算部４２に入力する。ニューラルネットワーク演算部４２は記憶部５に記憶したデータに基づいて入力パターンの分析を出力する。これにより、ニューラルネットワーク演算部４２ではリカレント型以外のニューラルネットワークを採用することができ、ニューラルネットワーク演算部４２の構成を簡単にすることができる。
【００３５】
さらに、図１０に示すように間引補間部４５を備え、ペン先部８の移動速度の影響を調整するようにしても良い。間引補間部４５は記憶部５に記憶したペン先部８に加わる力に関するデータを、例えば同一パターンでの筆記中のデータ量が一定になるように調整する。間引補間部４５は、例えば記憶部５に記憶したデータ量が多い場合は間引き処理を行ない、記憶部５に記憶したデータ量が少ない場合は補間処理を行なう。
【００３６】
また、上記実施例では感圧部２に圧力センサ２ａを用いたがマイクロスイッチ等を用いても良い。
【００３７】
【発明の効果】
この発明は以上説明したように、この発明に係るパターン認識装置は、方向検出部と感圧部とニューラルネットワーク演算部と切替部を備えている。そして、方向検出部は、ペン先部の加速度を検出する加速度検出部を有し、ペン先部の筆記面上の移動方向を検出する。また、感圧部はペン先部が筆記面に接触しているか否かを検出する。更に、ニューラルネットワーク演算部は、感圧部がペン先部と筆記面とが接触していることを検出しているときに加速度検出部が検出したペン先部の移動方向に関する情報を分析し入力パターンの特徴を示す情報を出力する。また、切替部は、感圧部の検出結果に応じてニューラルネットワーク演算部のニューラルネットワーク結合係数を切り替える。よって、簡単な構成でペン先部が筆記面に接しているとき及び接していないときのペン先部の描くパターンを検出し、両パターンを比較して図形が入力されたときのパターン認識率をより高くする。
【図面の簡単な説明】
【図１】この発明の実施例を示す構成図である。
【図２】演算部の構成を示す構成図である。
【図３】ニューラルネットワークの構成図である。
【図４】この発明の動作を示すフローチャートである。
【図５】ニューラルネットワーク演算部の自己想起例を説明する説明図である。
【図６】方向検出部に加速度センサを用いた場合の構成図である。
【図７】ニューラルネットワーク演算部を二つ設けた場合の演算部の構成図である。
【図８】切替部を備える場合の演算部の構成部である。
【図９】方向検出部の検出結果を記憶部に記憶する場合の演算部の構成図である。
【図１０】入力パターンサイズが異なったものを判定する場合の演算部の構成図である。
【符号の説明】
１        パターン入力装置
２        感圧部
２ａ      圧力センサ
３        方向検出部
３ａ      歪センサ
３ｂ      歪センサ
３ｃ      加速度センサ
３ｄ      加速度センサ
４        演算部
４１      前処理部
４２      ニューラルネットワーク演算部
４３      パターン認識部
４４      切替部
４５      間引補間部
５        記憶部
８        ペン先部
１０      ペン軸方向加速度検出部
【図１】
0003574246.tif 000002
【図２】
0003574246.tif 000003
【図３】
0003574246.tif 000004
【図４】
0003574246.tif 000005
【図５】
0003574246.tif 000006
【図６】
0003574246.tif 000007
【図７】
0003574246.tif 000008
【図８】
0003574246.tif 000009
【図９】
0003574246.tif 000010
【図１０】
0003574246.tif 000011