(57)【特許請求の範囲】
【請求項１】
文字を書く際の摺動面との摺動音を採取するマイクと、
前記マイクにより採取した摺動音を、予め文字を構成する各種のストロークにつき採取した摺動音を格納したストロークデータベースの摺動音と比較して、一致するストロークを特定するストローク検出部と、
特定されたストロークの組から、文字コードとストロークの組とを対応付けた文字認識データベースのストロークの組と比較して、一致する文字コードを特定する文字認識部と
を備えたことを特徴とする手書き文字認識装置。
【請求項２】
請求項１に記載の手書き文字認識装置において、
前記マイクは指サック状の摺動音検出部に設けられ、
前記ストローク検出部および文字認識部は別体に設けられ、
前記マイクで採取された摺動音を無線により前記ストローク検出部に伝える
ことを特徴とする手書き文字認識装置。
【請求項３】
請求項１に記載の手書き文字認識装置において、
前記マイクはペン状の摺動音検出部に設けられ、
前記ストローク検出部および文字認識部は別体に設けられ、
前記マイクで採取された摺動音を無線により前記ストローク検出部に伝える
ことを特徴とする手書き文字認識装置。
【請求項４】
請求項１に記載の手書き文字認識装置において、
前記マイクはマウス内の摺動音検出部に設けられ、
前記ストローク検出部および文字認識部は別体に設けられ、
前記マイクで採取された摺動音を有線もしくは無線により前記ストローク検出部に伝える
ことを特徴とする手書き文字認識装置。
【請求項５】
請求項１に記載の手書き文字認識装置において、
前記マイクはマウスパッド内の摺動音検出部に設けられ、
前記ストローク検出部および文字認識部は別体に設けられ、
前記マイクで採取された摺動音を有線もしくは無線により前記ストローク検出部に伝える
ことを特徴とする手書き文字認識装置。
【請求項６】
請求項１乃至５のいずれか一項に記載の手書き文字認識装置において、
前記摺動音検出部の摺動音を生じさせる接触部の一方または双方の表面は、楕円断面の起毛が配置されている
ことを特徴とする手書き文字認識装置。
【請求項７】
請求項１乃至６のいずれか一項に記載の手書き文字認識装置において、
前記ストローク検出部は、摺動音に含まれる無音期間からストロークの区切りを判断する
ことを特徴とする手書き文字認識装置。
【請求項８】
請求項１乃至７のいずれか一項に記載の手書き文字認識装置において、
前記ストローク検出部は、摺動音に含まれる無音期間から文字の区切りを判断する
ことを特徴とする手書き文字認識装置。
【請求項９】
文字を書く際の摺動面との摺動音を採取する工程と、
採取した摺動音を、予め文字を構成する各種のストロークにつき採取した摺動音を格納したストロークデータベースの摺動音と比較して、一致するストロークを特定する工程と、
特定されたストロークの組から、文字コードとストロークの組とを対応付けた文字認識データベースのストロークの組と比較して、一致する文字コードを特定する工程と
を備えたことを特徴とする手書き文字認識制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は手書き文字認識装置に関する。
【背景技術】
【０００２】
ＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistants）、携帯電話等の情報端末にあっては、例えば、Ｗｅｂ上のポータルサイトにアクセスして所望の情報を取得しようとした場合等において、検索文字列の入力等の文字入力の操作が必要となる。
【０００３】
これらの情報端末にはキーボードやボタンにより文字を入力する機能が設けられているが、キーボードやボタンの操作が行いにくい環境であったり、キーボードやボタンの操作に慣れていなかったりする場合等においては、文字の入力が困難である。
【０００４】
一方、特許文献１には、手書き文字をコンピュータに入力することができるウェアラブルな入力装置が開示されており、指先で文字を書くことにより、文字を認識することができるようになっている。
【０００５】
また、特許文献２には、ストローク方向の出現頻度を考慮したオンライン手書き文字認識装置が開示されている。
【特許文献１】特開２００４−５４３９０号公報
【特許文献２】特開平８−１６６９９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した特許文献１では、指先に装着される磁石による磁界を、腕に装着した３次元磁気センサにより検出することで、指先の移動を検出し、その移動の軌跡から手書き文字を認識するようにしている。しかし、文字を構成する一のストロークから次のストロークへ移る間の、空中を移動する間の指先の移動は文字を構成する面と垂直方向の移動で区別が可能であるが、基本的に筆圧を検出する機構が存在しないため、ほぼ同一面内で指先の移動が行われた場合にはどの移動部分が文字を構成するのかが区別できず、正確に文字を認識できないという問題がある。
【０００７】
一方、特許文献２では、入力された手書き文字の画像から、文字を直線状のストロークに分解して特徴を抽出し、文字を認識するようにしている。しかし、この特許文献２で言うストロークは手書き文字の画像から読み取った直線状の部品に過ぎず、本来の書き手が行ったストロークとは異なる。従って、文字認識の精度において限界がある。
【０００８】
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、指等で文字を書いた際の壁等の摺動面との摺動音を利用することで、書き手の本来のストロークを検出し、精度よく文字を認識することのできる手書き文字認識装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、本発明にあっては、請求項１に記載されるように、文字を書く際の摺動面との摺動音を採取するマイクと、前記マイクにより採取した摺動音を、予め文字を構成する各種のストロークにつき採取した摺動音を格納したストロークデータベースの摺動音と比較して、一致するストロークを特定するストローク検出部と、特定されたストロークの組から、文字コードとストロークの組とを対応付けた文字認識データベースのストロークの組と比較して、一致する文字コードを特定する文字認識部とを備える手書き文字認識装置を要旨としている。
【００１０】
また、請求項２に記載されるように、請求項１に記載の手書き文字認識装置において、前記マイクは指サック状の摺動音検出部に設けられ、前記ストローク検出部および文字認識部は別体に設けられ、前記マイクで採取された摺動音を無線により前記ストローク検出部に伝えるようにすることができる。
【００１１】
また、請求項３に記載されるように、請求項１に記載の手書き文字認識装置において、前記マイクはペン状の摺動音検出部に設けられ、前記ストローク検出部および文字認識部は別体に設けられ、前記マイクで採取された摺動音を無線により前記ストローク検出部に伝えるようにすることができる。
【００１２】
また、請求項４に記載されるように、請求項１に記載の手書き文字認識装置において、前記マイクはマウス内の摺動音検出部に設けられ、前記ストローク検出部および文字認識部は別体に設けられ、前記マイクで採取された摺動音を有線もしくは無線により前記ストローク検出部に伝えるようにすることができる。
【００１３】
また、請求項５に記載されるように、請求項１に記載の手書き文字認識装置において、前記マイクはマウスパッド内の摺動音検出部に設けられ、前記ストローク検出部および文字認識部は別体に設けられ、前記マイクで採取された摺動音を有線もしくは無線により前記ストローク検出部に伝えるようにすることができる。
【００１４】
また、請求項６に記載されるように、請求項１乃至５のいずれか一項に記載の手書き文字認識装置において、前記摺動音検出部の摺動音を生じさせる接触部の一方または双方の表面は、楕円断面の起毛が配置されているものとすることができる。
【００１５】
また、請求項７に記載されるように、請求項１乃至６のいずれか一項に記載の手書き文字認識装置において、前記ストローク検出部は、摺動音に含まれる無音期間からストロークの区切りを判断するようにすることができる。
【００１６】
また、請求項８に記載されるように、請求項１乃至７のいずれか一項に記載の手書き文字認識装置において、前記ストローク検出部は、摺動音に含まれる無音期間から文字の区切りを判断するようにすることができる。
【００１７】
また、請求項９に記載されるように、文字を書く際の摺動面との摺動音を採取する工程と、採取した摺動音を、予め文字を構成する各種のストロークにつき採取した摺動音を格納したストロークデータベースの摺動音と比較して、一致するストロークを特定する工程と、特定されたストロークの組から、文字コードとストロークの組とを対応付けた文字認識データベースのストロークの組と比較して、一致する文字コードを特定する工程とを備える手書き文字認識制御方法として構成することができる。
【発明の効果】
【００１８】
本発明の手書き文字認識装置にあっては、指等で文字を書いた際の壁等の摺動面との摺動音を利用することで、書き手の本来のストロークを検出し、精度よく文字を認識することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の好適な実施形態につき説明する。
【００２０】
<構成>
図１は本発明の一実施形態にかかる手書き文字認識装置の構成例を示す図である。
【００２１】
図１において、手書き文字認識装置は摺動音検出部１と手書き文字認識部２とから構成され、摺動音検出部１と手書き文字認識部２は無線（電波、赤外線等）もしくは有線（ケーブル）で接続される。また、手書き文字認識部２はＰＣ、ＰＤＡ、携帯電話等の情報端末３の内部に設けられている。なお、手書き文字認識部２を情報端末３とは別に独立して設けてもよい。
【００２２】
摺動音検出部１は、ユーザの指等を壁、机等の上をこすって文字を書く際の摺動音を採取するマイク１１と、マイク１１の出力信号を増幅するマイクアンプ１２と、マイクアンプ１２の出力信号から摺動音以外のノイズ成分を除去するノイズフィルタ１３と、ノイズフィルタ１３の出力信号（摺動音信号）を無線もしくは有線により送信する摺動音送信部１４とを備えている。
【００２３】
また、手書き文字認識部２は、無線もしくは有線により摺動音検出部１から送信された摺動音信号を受信する摺動音受信部２１と、受信した摺動音信号がストロークの区切り（無音期間の長さから判断）に達した時点でストロークデータベース２０１の音声データと比較し、対応するストロークを検出するとともに、摺動音信号が文字の区切り（無音期間の長さから判断）に達した時点で、前回の文字の区切り以降に検出したストロークの組（構成ストローク）を出力するストローク検出部２２とを備えている。また、手書き文字認識部２は、ストローク検出部２２から入力した構成ストロークに基づいて文字認識データベース２０２を検索し、一致する構成ストロークを持つ文字（文字コード）を認識する文字認識部２３と、認識文字出力部２４の認識した文字（文字コード）を情報端末３の文字入力部３１に出力する認識文字出力部２４とを備えている。
【００２４】
図２は摺動音検出部１、手書き文字認識部２および情報端末３の具体的な外観構成例を示す図である。図２（ａ）では、ユーザの指先に装着可能な指サック状の部材に摺動音検出部１を設けてあり、摺動音検出部１と手書き文字認識部２は無線で接続され、手書き文字認識部２は情報端末３の内部に設けられている。この例では、指先で壁等の摺動面Ｂをこすることにより、その摺動音が摺動音検出部１内部のマイク（１１）で拾われ、適宜に増幅・ノイズフィルタリングされた摺動音信号が手書き文字認識部２に無線で送信される。
【００２５】
図２（ｂ）では、ペン状の部材の内部に摺動音検出部１が設けられており、摺動音検出部１と手書き文字認識部２は無線で接続され、手書き文字認識部２は情報端末３の内部に設けられている。マイク（１１）はペン状の摺動音検出部１の先端部付近に設けられることが望ましい。この例では、ペン先で机等の摺動面Ｂをこすることにより、その摺動音が摺動音検出部１内部のマイク（１１）で拾われ、適宜に増幅・ノイズフィルタリングされた摺動音信号が手書き文字認識部２に無線で送信される。
【００２６】
図２（ｃ）では、マウスの内部に摺動音検出部１が設けられており、摺動音検出部１と手書き文字認識部２はケーブル（有線）で接続され、手書き文字認識部２は情報端末３の内部に設けられている。この例では、マウスを机等の摺動面Ｂの上で動かすことにより、その摺動音が摺動音検出部１内部のマイク（１１）で拾われ、適宜に増幅・ノイズフィルタリングされた摺動音信号が手書き文字認識部２に有線で送信される。なお、マウスが無線式である場合には、摺動音検出部１と手書き文字認識部２の間を無線で接続してもよい。
【００２７】
なお、図１および図２では、手書き文字認識部２の小型化が比較的困難であることから、手書き文字認識部２を情報端末３側に設けてあるが、回路の小型化が容易である場合には、手書き文字認識部２を摺動音検出部１側に設けてもよい。その場合、摺動音送信部１４と摺動音受信部２１は不要となり、代わりに、認識文字出力部２４と情報端末３の文字入力部３１の間に無線もしくは有線による文字（文字コード）の送受信手段が設けられる。
【００２８】
また、図２（ｂ）ではペン状の部材の内部に摺動音検出部１が設けられ、図２（ｃ）ではマウスの内部に摺動音検出部１が設けられるとしたが、摺動面Ｂとなるマウスパッド等の内部に摺動音検出部１を設けるようにしてもよい。
【００２９】
更に、音の誤解析をより低減する目的で、摺動面に工夫をすることができる。例えば、図２（ａ）の指サック状の部材を指の先端まで延びるものとし、その先端表面に楕円断面の起毛を配置し、摺動音の周波数を意図的に異ならせるようにすることができる。図２（ｂ）のペン状の部材の先端表面や、図２（ｃ）のマウスの裏面に楕円断面の起毛を配置してもよい。図２（ａ）〜（ｃ）の摺動面Ｂの表面に楕円断面の起毛を配置してもよい。
【００３０】
図３はストロークデータベース２０１の構造例を示す図であり、（ａ）はレコードの構成を示し、（ｂ）はストロークの特徴を示している。図３（ａ）において、ストロークデータベース２０１は複数のレコードから構成され、各レコードは、ストロークを識別する「ストローク番号」フィールドと、予め該当するストロークについて採取された「音声データ」フィールドとを含んでいる。レコード内の音声データはリファレンスのみとし、音声データ本体は別に保持してもよい。
【００３１】
（ｂ）において、例えば、ストローク番号「４４」のストロークは上から下に向かう短い直線であり、カーブ音は「０」、直線音は「１００」、跳ね上げ音は「０」、上向き音は「０」、下向き音は「１００」、右向き音は「０」、左向き音は「０」、連続時間は「１０」という特徴を有している。また、ストローク番号「４５」のストロークは左から右に向かう比較的長い直線であり、カーブ音は「０」、直線音は「１００」、跳ね上げ音は「０」、上向き音は「０」、下向き音は「０」、右向き音は「１００」、左向き音は「０」、連続時間は「６０」という特徴を有している。また、ストローク番号「４６」のストロークは上から右下に向かう長い曲線であり、カーブ音は「６０」、直線音は「０」、跳ね上げ音は「２０」、上向き音は「０」、下向き音は「７０」、右向き音は「６０」、左向き音は「０」、連続時間は「８０」という特徴を有している。また、ストローク番号「４７」のストロークは上から左下に向かう長い曲線であり、カーブ音は「６０」、直線音は「０」、跳ね上げ音は「３０」、上向き音は「０」、下向き音は「７０」、右向き音は「０」、左向き音は「６０」、連続時間は「８０」という特徴を有している。
【００３２】
図４は文字認識データベース２０２の構造例を示す図であり、（ａ）はレコードの構成を示し、（ｂ）は文字コードと構成ストロークの関係の例を示している。図４（ａ）において、文字認識データベース２０２は複数のレコードから構成され、各レコードは、文字を識別する「文字コード」フィールドと、当該文字コードの文字を構成するストローク番号の組を示す「構成ストローク」フィールドとを含んでいる。図４（ｂ）は、文字コード「６５８７」の「文」という文字が、図３（ｂ）に示したストローク番号「４５」「４６」「４７」「４８」の４つのストロークから構成されることを示している。
【００３３】
<動作>
図５は上記の実施形態の処理例を示すフローチャートである。
【００３４】
図５において、摺動音検出部１はマイク１１により摺動音を採取し、マイクアンプ１２により適宜に増幅し、ノイズフィルタ１３によりノイズを除去した後（ステップＳ１１）、摺動音送信部１４により摺動音信号を手書き文字認識部２に向けて送信する（ステップＳ１２）。摺動音の送信はアナログ状態でも、デジタル化した状態のいずれでもよい。摺動音の採取（ステップＳ１１）および摺動音の送信（ステップＳ１２）は摺動音検出部１が動作している間、繰り返し行われる。
【００３５】
次いで、手書き文字認識部２は摺動音受信部２１により摺動音を受信すると（ステップＳ２１）、受信した摺動音を一時的に記録しつつ、ストローク検出部２２により摺動音からストロークの区切りを検出したか否か判断する（ステップＳ２２）。ストロークの区切りは無音期間の長さから判断する。
【００３６】
ストロークの区切りを検出していない場合（ステップＳ２２のＮｏ）、摺動音の受信（ステップＳ２１）に戻る。
【００３７】
また、ストロークの区切りを検出した場合（ステップＳ２２のＹｅｓ）、ストローク検出部２２によりストロークデータベース２０１を検索し、受信した１ストローク分の摺動音と登録された音声データとの比較を行い（ステップＳ２３）、特徴が最も近い音声データに対応するストローク番号を特定して保持する（ステップＳ２４）。なお、受信した１ストローク分の摺動音とストロークデータベース２０１に登録された音声データとの比較にあっては、摺動音検出部１から受信した摺動音がアナログ信号である場合には、デジタル化して比較を行う。なお、ストロークデータベース２０１に登録された音声データをアナログ化し、アナログ的に比較を行ってもよい。また、比較にあっては、ストロークデータベース２０１に登録された音声データと摺動音検出部１から受信した摺動音の全長およびベースとなる周波数を標準化することが、ストロークデータベース２０１にサンプルとして登録する音声データを削減する上で望ましい。そうでない場合は、同じストローク番号につき、種々の全長もしくは周波数についての音声データを登録しておくことで対応することができる。
【００３８】
次いで、ストローク検出部２２により摺動音から文字の区切りを検出したか否か判断する（ステップＳ２５）。文字の区切りは無音期間の長さから判断する。文字の区切りの無音期間はストロークの区切りの無音期間よりも長いため、両者を区別することができる。
【００３９】
文字の区切りを検出していない場合（ステップＳ２５のＮｏ）、摺動音の受信（ステップＳ２１）に戻る。
【００４０】
また文字の区切りを検出した場合（ステップＳ２５のＹｅｓ）、ストローク検出部２２は前回の文字の区切り以降に検出したストロークの組（構成ストローク）を文字認識部２３に出力し、文字認識部２３は文字認識データベース２０２の構成ストロークと比較を行い（ステップＳ２６）、構成ストロークが一致する文字コードを認識文字として情報端末３の文字入力部３１に出力する（ステップＳ２７）。その後、摺動音の受信（ステップＳ２１）に戻る。
【００４１】
図６はストローク番号および文字コードの特定の例を示す図であり、「文」という文字を指先等でこすって書く過程で、各ストロークがストローク番号「４４」→「４５」→「４７」→「４６」と順に特定され、構成ストローク「４４、４５、４７、４６」から文字コード「６５８７」の文字「文」が特定されることを示している。
【００４２】
また、図７は情報端末３への文字入力の画面例を示す図であり、（ａ）のような検索文字入力欄にカーソルがある状態で、図６のような動作が行われることで、（ｂ）のように検索文字入力欄に文字「文」が入力された状態を示している。
【００４３】
なお、ストロークから直接に漢字を特定する例について説明したが、ひらがな・カタカナの入力を受け付けてひらがな・カタカナの文字を特定した上で、既存の仮名漢字変換装置と組み合わせることで漢字を特定してもよい。前記「文」の例では、ひらがな「ぶ」「ん」の入力を受け付け、仮名漢字変換装置に入力することにより「文」を特定することになる。
【００４４】
また、ストロークの入力に関しては、筆順予測や、筆順誤りを考慮した予測等、既存の手書き文字認識で利用される入力予測と組み合わせて適用してもよい。
【００４５】
<総括>
以上説明したように、本発明の実施形態によれば、指等で文字を書いた際の壁等の摺動面との摺動音を利用することで、書き手の本来のストロークを検出し、精度よく文字を認識することができる。
【００４６】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【図面の簡単な説明】
【００４７】
【図１】本発明の一実施形態にかかる手書き文字認識装置の構成例を示す図である。
【図２】具体的な外観構成例を示す図である。
【図３】ストロークデータベースの構造例を示す図である。
【図４】文字認識データベースの構造例を示す図である。
【図５】実施形態の処理例を示すフローチャートである。
【図６】ストローク番号および文字コードの特定の例を示す図である。
【図７】情報端末への文字入力の画面例を示す図である。
【符号の説明】
【００４８】
１        摺動音検出部
１１      マイク
１２      マイクアンプ
１３      ノイズフィルタ
１４      摺動音送信部
２        手書き文字認識部
２１      摺動音受信部
２２      ストローク検出部
２３      文字認識部
２４      認識文字出力部
２０１    ストロークデータベース
２０２    文字認識データベース
３        情報端末
３１      文字入力部
Ｂ        摺動面
【図１】
0004927009.tif 000002
【図２】
0004927009.tif 000003
【図３】
0004927009.tif 000004
【図４】
0004927009.tif 000005
【図５】
0004927009.tif 000006
【図６】
0004927009.tif 000007
【図７】
0004927009.tif 000008