(57)【要約】  【課題】携行性を改善し、日本文字においては筆記具文字のデータ化、アルファベット文字においてはサインも含めて筆記具文字形状の再現と筆記の特徴把握、ならびに文字のデータ化を実現するペン入力装置を提供する。  【解決手段】筆記面に対する筆記点２が先端にある棒状筆記具１００と、筆記面と筆記点０との間の摩擦により該棒状筆記具の軸に生じる微小しなり、または／および微小振動を検出する該棒状筆記具上に配置されるセンサ３・４と、該センサ３・４で検出される経時的信号を文字情報信号、または／および画像情報信号に変換する演算変換回路とを有する【選択図】    図１
2006099323.tif 000002
【特許請求の範囲】
【請求項１】
筆記面に対する筆記点が先端にある棒状筆記具と、筆記面と筆記点との間の摩擦により該棒状筆記具の軸に生じる微小しなり、または／および微小振動を検出する該棒状筆記具上に配置されるセンサと、該センサで検出される経時的信号を文字情報信号、または／および画像情報信号に変換する演算変換回路とを有することを特徴とするペン入力装置。
【請求項２】
前記文字情報信号、または／および画像情報信号を表示する表示装置が付加された請求項１に記載のペン入力装置であって、表示装置の表示面が前記筆記面を兼ねていることを特徴とするペン入力装置。
【請求項３】
該センサがストレンゲージであることを特徴とする請求項１または２に記載のペン入力装置。
【請求項４】
該センサが複数であって、該棒状筆記具の軸中心に関し開き角をもって軸の側面に貼付されていることを特徴とする請求項１または２に記載のペン入力装置。
【請求項５】
該演算変換回路は、周波数低域通過フィルタと高域通過フィルタを有し、低域通過信号を筆記の開始、或いは停止の信号成分として処理し、高域通過信号を筆記点が移動中の信号成分として処理する回路であることを特徴とする請求項１または２に記載のペン入力装置。
【請求項６】
該演算変換回路は、前記複数のセンサからの複数の経時的信号から、前記文字情報信号、または／および画像情報信号のＸ座標およびＹ座標を演算することを特徴とする請求項４に記載のペン入力装置
【請求項７】
該棒状筆記具は無線信号送出装置を有し、筆記に関わる該信号を無線信号として送出することを特徴とする請求項４に記載のペン入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、筆記される文字または／および画像に関する情報を筆記中の筆記具に発生する変形から得る装置に関するものであり、筆記された文字の形態再現およびも筆記文字の認識のほか文字の集合体としてのサインの認証等に適した装置に関する。
【背景技術】
【０００２】
従来筆記という作業は、任意の紙面と素朴な筆記具により行われてきた。これらの作業の一部はコンピュータへのキーボード入力という形に変わりつつあるものの、メモ、所定のフォーマットへの記入、サインなど従来どおりの筆記態勢が必要な場面も多数存在し、筆記具を手に持ち、紙面上に文字を記入する作業は消滅しないものと思われる。
しかし筆記された紙面上の情報はそのままでは紙面の疲弊によって消失してしまう運命にあり、コンピュータとの作業のつながりから書かれた文字をデータ化することが必要な場合もしばしば出現してきている。
【０００３】
このために手書きの情報をそのままデータ化する機能がいくつか実現して一般に用いられている。
【０００４】
特殊な平面上で、筆記点の圧力の加わった位置、あるいは筆記具と平面との電磁波的干渉の発生する位置などの情報で筆記点を２次元的データとして取り込む装置であり、一枚の面に筆記されていく文字などをそのままの形でデータ化すると同時に文字についてはさらに続く文字認識機能により文字データ化も可能となっている。この装置はデジタイザーあるいはタブレットなどと名付けられている。この手法では特殊な筆記具と特殊な平面の一対の装置が必要であり、筆記される面の大きさも筆記面により限られる。
【０００５】
他の手法としては筆記具から発生する超音波を平面上に設置した複数の超音波センサーにより検出して筆記具の位置を２次元的に計測する手法もある。これらの手法は、通常あるいは特殊な機能を備えた筆記具と、特殊な平面台を必要とすることになり、ペンの直下の平面でペン先の位置を検出する手法と出力信号としては同様な２次元的な筆記文字情報を得ている。この手法では、特殊な筆記具と特殊な紙面付近の装置は必要であり、筆記具と同装置の位置的な関係も重要となる。
【０００６】
もう一つの手法は、筆記具に小型ビデオカメラを取り付けて、２次元のコードを印刷した特殊な紙面上に筆記されていく筆記具の筆記点の位置情報を撮影して取り込み、筆記位置情報をデータ化するものである。この手法では、通常の紙面が使えないことと、専用の筆記具を必要とすることで、筆記作業には制限を受けることが多い。
【０００７】
以上は今までに開発実用化されている手書きデータ取り込み装置のおおよその原理であるが、いずれも特殊な筆記具と平面台を必要としているということで従来の単純な筆記具と通常の紙面の組み合わせで筆記する状態とはかなり異なった状態である。
【０００８】
これらと異なり筆記具１本で筆記文字情報を取り込もうとする提案も行われている。特許文献１に見られるように、筆記具の加速度に注目して、筆記文字のパターンを再現しようとするものである。すなわち筆記具の筆記点近くの軸内に筆記方向に関して直交する方向の加速度を計測できるように２個の加速度センサを配置しておき、筆記中に得られるそれぞれの方向の加速度を計測してからこれについてそれぞれ積分を２回繰り返すことで直交する二つの成分の変位信号を得ている。さらに筆記点と紙面が接触して筆記点が移動することにより発生する高周波加速度信号を、筆記中であることのタイミング信号として上述の変位信号と組み合わせて筆記文字の形状を再現するものである。この筆記中信号の必要性は、筆記具の加速度だけでは、筆記点が次の文字画の先頭位置に向かって空中を飛んでいるときでも加速度は計測されるためであり、この時間中の筆記点軌跡は文字ではないことによる。しかしこの空中飛翔の筆記点の軌跡も次の画の始まり位置を計算するためには必要な情報となっている。この手法の欠点は、筆記文字寸法が小さな場合、あるいは筆記速度が遅い場合には加速度信号が小さくなり、これから計算される変位信号も雑音の存在のために精度の良く得られないために再現形状精度も悪くなることである。また筆記具の筆記中の回転や傾斜変化なども筆記軌跡の再現に大きな誤差をもたらしてしまうことも懸念される。
【０００９】
以上特殊な筆記具と特殊な平面との組み合わせによる手法、加速度などペンの動きを計測することで筆記点の軌跡を計算する手法などにおいて、いくつかの課題を持つことが知られる。従来の素朴は筆記具と紙面の組み合わせによる文字筆記作業とはかなりかけ離れていることが分かる。
【００１０】
【特許文献１】平５−６３５４９号
【発明の開示】
【発明が解決しようとする課題】
【００１１】
従来の技術にはそれぞれ問題点があり、簡単な装置で手書き文字の情報を得ることは難しい。すなわち、特殊平面と特殊筆記具を用いる方式では手書き環境で常時それらを一式携帯している必要があり、気軽なメモなどを取ろうとする場合にはなじまない装置である。また通常の筆記文字は１ｃｍ以下の場合が多く、従って筆記具から得られる加速度も他の動きやセンサ自体の雑音にまぎれてしまう可能性も十分考えられる。
【００１２】
従って、筆記具文字の情報を何に使うか、筆記具対象の文字種は何かを考えなければならない。このような観点から通常筆記される文字を見てみると、日本語文字の場合は、多画が特徴であり、漢字でもひらがな、カタカナでも単一画の文字は少ない。またアルファベットでは逆に単一画が多く、筆記体文字では「i」、「t」  以外は一画である。
【００１３】
本発明は従来のペン入力装置の欠点である非携行性を改善し、日本文字においては筆記具文字のデータ化、アルファベット文字においてはサインも含めて筆記具文字形状の再現と筆記の特徴把握、ならびに文字のデータ化を実現するものである。
【００１４】
そのためには、できるだけ簡単な装置で筆記文字情報を得ること、できれば筆記具１本で実現する。このことは、筆記する対象である紙面は何でもよく、装置の携帯性が向上する。さらに文字の大きさ、筆記速度、筆記斜面角度に影響されない情報獲得も重要である。即ち、加速度等のペン運動を計測することを手段としている装置では重要であるが、特にペンの加速度を用いている場合には重力加速度の影響は避けられない、また筆記速度も筆跡再現には重要な影響を与えている。このためこのような情報は煩雑なキャンセリング手法の確立なしには用いられない可能性が大きい。また、紙面上に筆記中であるか、筆記点が空中を飛んでいる（画の終わりから次の画の始めの地点に飛ぶ）瞬間か、休止中であるかを明らかに判定する方法の確立も重要である。即ち、筆記中か非筆記中かを判別することはペンの加速度信号抽出手法でも非常に重要な要素と成っている。しかし、筆記中であることは筆記具と紙面との関係において、筆記面の微小な凹凸によって発生する筆記具の微小振動や、筆圧によって発生する筆記具の縦方向の圧力変化によっても検出できる可能性がある。しかし方式は文字認識に必要な情報を得ることを主目的として、必ずしも筆記文字形状の再現は望まない。
【課題を解決するための手段】
【００１５】
上記の課題を解決するためになされた、請求項１に記載された発明は、筆記面に対する筆記点が先端にある棒状筆記具と、筆記面と筆記点との間の摩擦により該棒状筆記具の軸に生じる微小しなり、または／および微小振動を検出する該棒状筆記具上に配置されるセンサと、該センサで検出される経時的信号を文字情報信号、または／および画像情報信号に変換する演算変換回路とを有することを特徴とするペン入力装置である。
【００１６】
同じく請求項２に記載された発明は、前記文字情報信号、または／および画像情報信号を表示する表示装置が付加された請求項１に記載のペン入力装置であって、表示装置の表示面が前記筆記面を兼ねていることを特徴とするペン入力装置である。
【００１７】
請求項３に記載された発明は、該センサがストレンゲージであることを特徴とする請求項１または２に記載のペン入力装置である。
【００１８】
請求項４に記載された発明は、該センサが複数であって、該棒状筆記具の軸中心に関し開き角をもって軸の側面に貼付されていることを特徴とする請求項１または２に記載のペン入力装置である。
【００１９】
請求項５に記載された発明は、該演算変換回路は、周波数低域通過フィルタと高域通過フィルタを有し、低域通過信号を筆記の開始、或いは停止の信号成分として処理し、高域通過信号を筆記点が移動中の信号成分として処理する回路であることを特徴とする請求項１または２に記載のペン入力装置である。
【００２０】
請求項６に記載された発明は、該演算変換回路は、前記複数のセンサからの複数の経時的信号から、前記文字情報信号、または／および画像情報信号のＸ座標およびＹ座標を演算することを特徴とする請求項４に記載のペン入力装置である。
【００２１】
請求項７に記載された発明は、該棒状筆記具からの筆記に関わる信号を該筆記具に搭載した無線機能によって外部に送出する請求項４に記載のペン入力装置である。
【００２２】
上記本発明のペン入力装置における筆記中の筆記具に起こる変形は以下のようである。
即ち、筆記点と紙面との摩擦により発生する筆記具の微小しなりは、筆記点と筆記具を持つ位置が異なることから発生し、筆記方向あるいは筆記しようとする方向に一番大きなしなりとして発生する。この成分は筆記具軸の表面に貼り付けたストレンゲージにより検出できる。さらにもうひとつの変形は筆記点と紙面上の微小凹凸による引っかかりによって発生する微小高周波しなりでありその動態は振動として捕らえることも出来る。
【００２３】
この成分は、前者に比べてレベルは小さいものの、明らかに筆記中のみ発生するもので、前者と同じ手法で検出できる。また別に筆記具に取り付けた振動センサにより検出することもできる。
【発明の効果】
【００２４】
本発明のペン入力装置によれば、筆記具１本のみで筆記中の文字情報を得ることができ、さらにこの方式に対応した識別アルゴリズムの構築により筆記文字の識別が出来るほか、アルファベットのようにほとんどの文字の画数が一画である筆記体文字においては、形状の再現、文字認識が可能である。
【発明を実施するための最良の形態】
【００２５】
以下、本発明のペン入力装置を図に従って説明するが、本発明はこの実施形態に限定されるものではない。
【００２６】
図１は上記構想に基づいて筆記具１００を示している。１は筆記具１００の軸であり、インクの入っている容器を覆う使命の他に、筆記するために筆記具を持ちやすくしている通常の筆記具である。２は筆記点であり、通常紙面上に文字を記す機能を持っている。たとえばボールペンでは筆記点は回転してこれに連なる後続の容器からインクを繰り出し紙面４に記録する機能を持っている。３および４はストレンゲージであり、筆記具１００の外部筒の表面に貼付してある。それぞれ長さ方向にしなり変形ができた場合、表面の伸びあるいは縮みの発生により電気的抵抗の増減を示す。一対のストレーゲージは筆記具軸の断面上で直交方向の伸び縮みを抵抗変化として出力するよう配置する。
【００２７】
図２は筆記具１００を持ち二つのストレンゲージが紙面４のそれぞれX,Y方向の計測ができるように合わせて持ち、紙面上X方向に筆記５を行っている状態を示している。このとき、筆記具１００を持つ手により、筆記具に力がかかりストレンゲージ付近の筆記具軸は少しのしなり変形を示すために、ストレンゲージ４は縮む方向に変化した状態となる。
この状態でストレンゲージ４の電気抵抗が小さくなり、ストレンゲージ３の電気抵抗変化は非常に少ない。
【００２８】
さらに筆記具方向を変えて筆記具を行うと、その方向に応じて二つのストレンゲージの抵抗変化が発生する。たとえば二つのストレンゲージの特性が等しいとすれば、以下のような式に応じて抵抗変化成分が発生する。
ストレンゲージ3の抵抗変化分  ΔR３＝ACOS(θ)  
ストレンゲージ４の抵抗変化分  ΔR４＝ASIN(θ) 
【００２９】
ここでAは任意の比例係数、θはX方向を0度とした紙面上および筆記具軸の方向である。このような変化は、筆記具の軸の異方性、紙面、筆記点と紙面の摩擦の異方性、ヒトによる筆記具のグリップ状況等が微小な影響を与えるため式の関係からは多少ずれることは予想される。実際の筆記に当っては紙面と筆記具の軸方向を合わせる必要はない。
【００３０】
図３は、二つのストレンゲージの抵抗変化を用いて、筆記具文字の形状傾向を表現する回路ブロック図を示している。即ち、信号１０は図１のストレンゲージ３（X方向）に対応し、信号11は図１のストレンゲージ4（Y方向）に対応する抵抗値信号である。二つの抵抗信号は12，13のブリッジ回路を含む回路構成に入力されて、しなりのない状態からの抵抗変化分が電圧信号に変換される。このためしなり変形の度合いはそれぞれ直流電圧信号１４，１５に変換される。
【００３１】
この信号はさらに低域通過フィルタ１６，１７、高域通過フィルタ１８，１９により周波数的に分割されそれぞれ二種の信号となる。二種の信号の意味は以下の様である。ここで低域通過信号は筆記具が筆記するために加えられている手の力により発生している電気信号成分であり、この信号の大きさと継続時間が筆記具の長さをあらわすものとする。また高域通過信号は筆記点が紙面上を滑って行くとき紙面の微小凹凸と接して発するものであり、筆記点が移動中の時にのみ発生するものであるので、この信号の発生中が文字筆跡の有効な時間となる。
【００３２】
高域通過信号は加算器２２で加算される。加算された信号は、さらに信号が続いている時間のみ信号を発生する制御信号２３に加工される。即ち信号２３が発生中は筆記点が紙面上を移動中である。
【００３３】
一方、低域通過信号２０，２１は積分器２４，２５でそれぞれ時間積分される。積分される時間は、制御信号２３が来ている時間中である。X,Y二つの積分信号２６，２７は、しなり方向によって発生する信号の正負によって増減し、制御信号の停止によりリセットされる。信号２６，２７をそれぞれX,Yの入力として表示する装置２８に入力してその軌跡を表示させれば、継続した筆記点移動軌跡が表示器の原点から積分出力のXY成分の組み合わせとして描かれる。継続が中断される、即ち制御信号２３が停止すると積分器のリセットにより、表示器中の表示位置は原点に戻る。以上のプロセスで、文字の1画成分のデータがX,Y成分の時系列データとして形成された。多画文字についてはこのようなデータ列が複数そろって1文字のデータ値なる。
【実施例１】
【００３４】
本発明のペン入力装置の筆記具１００としてプラスチック軸のボールペン（ペンテルハイブリッドK105）を用い、筆記点から３０mm上方に平面部を形成し、ストレーゲンジ（共和電業KFG-02-120-C1）を2枚図1のように測定方向が直交するように貼り付けた。ストレンゲージの抵抗変化をブリッジ回路と増幅回路に接続して、しなりを電気信号とした。さらに５０Hz高域通過フィルタ、５Hz低域通過フィルタの二つにより信号を分け、描画信号と制御信号とした。描画信号は積分器で積分し、制御信号で制御し筆記中の1画の描画を行った。
【００３５】
図４はその信号を蓄え、プロッタに示した例でひらがなの「あ」を書いたときのものである。1画の筆記ごとに筆記信号をリセットするために「あ」を構成する3画の要素３１，３２，３３はそれぞれ描画の始点３０から書き始めたように描かれているので、実際の文字の形状とは異なっている。ここで原点３０とは、プロッタの入力がX,Yとも０Vの表示位置である。
【００３６】
図５はアルファベット「a」の手書き文字形態であり、出発原点３０から出発して増減を繰り返して1画で「a」３４を表示している。
【実施例２】
【００３７】
図６には筆記具１００の構成実施例２を示した。筆記具の構成１〜４は実施例1と同様であるが、筆記具の筆記具面の微小凹凸と接触による微小しなり信号の抽出にあたって、別に振動のセンサとして筆記具の一部に加速度センサ（ADXL05アナログデバイセス社）３５を設置している。これにより筆記具からの出力信号数は増えるものの、感度の良い筆記具の高周波しなりを検出できる特徴を有する装置となる。
【実施例３】
【００３８】
図７には図３の信号26，27から、文字認識作業を行う装置３５と確認のための文字表示装置３６、得られたデータの保存のための記憶装置３７さらに他の電子機器への信号出力３８を有する装置である。通常の筆記具文字の認識のほかに、サインの様な一連の文字列についてそのまま1画の文字として認識して筆者を判別、認識する機能を実現できる。
【００３９】
図８はパーソナルコンピュータにおけるWindows（登録商標）付属の手書き文字認識ソフトＩＭＥパッドによる識別結果である。本プロセスでは、左側のスクリーンにＸＹ軸に関する文字信号を入力すると識別結果が右欄に確率の高い順に表示され、画面での順序は左上から右下の順に示される。このシステムに図１の筆記具を用いて「あ」を書き、図３における信号２６，２７をそれぞれＸ，Ｙ方向の信号としてコンピュータに入力すると、本発明特有の形状３９に変換されるが、その識別結果は４０として出力され、手書き「あ」が確率１位で「あ」と識別されていることを示しており、本発明のペン入力装置の抽出信号が筆記文字認識に有用であることを示している。
【図面の簡単な説明】
【００４０】
【図１】本発明を適用するペン入力装置の筆記具の一実施例を示す外観図。
【００４１】
【図２】前記実施例の筆記具の筆記中における動作状態を示す外観図。
【００４２】
【図３】本発明を適用するペン入力装置の一実施例を示すブロック回路図。
【００４３】
【図４】本発明を適用するペン入力装置による筆記出力画像を示す図。
【００４４】
【図５】本発明を適用するペン入力装置による筆記出力文字を示す図。
【００４５】
【図６】本発明を適用するペン入力装置の筆記具の別な実施例を示す外観図。
【００４６】
【図７】図３に示した回路に付加される回路のブロック図。
【００４７】
【図８】本発明を適用するペン入力装置による筆記文字の認識例を示す図。
【符号の説明】
【００４８】
１  筆記具軸
２  筆記具の筆記点
３、４      
ストレンゲージ
５  筆記軌跡
６  筆記面
１０，１１  ストレンゲージの抵抗変化信号
１２，１３  抵抗変化分を電圧に変える回路
１４，１５  筆記具の変形に対応する電圧信号
１６，１７  低域通過フィルタ
１８，１９  高域通過フィルタ
２０，２１  低域通過信号
２２        信号加算器
２３        制御信号
２４，２５  積分回路
２６，２７  積分器出力
２８        ２次元信号表示器
２９        表示画面の原点
３０        筆記具表示の原点
３１，３２，３３，３４、再現文字画
３５        文字認識を行う装置
３６        認識文字を表示する装置
３７        認識文字を記憶する装置
３８        認識文字データの出力信号
３９        入力文字データ
４０        識別結果
１００      筆記具
【図１】
2006099323.tif 000003
【図２】
2006099323.tif 000004
【図３】
2006099323.tif 000005
【図４】
2006099323.tif 000006
【図５】
2006099323.tif 000007
【図６】
2006099323.tif 000008
【図７】
2006099323.tif 000009
【図８】
2006099323.tif 000010