(57)【要約】【課題】手書情報に含まれる筆記内容の種類をより判別しやすくすることにある。【解決手段】手書情報取得部２１が筆記領域に手書きされた手書情報を取得し、ストローク抽出部２２が、手書情報に含まれる、筆記領域の中に指定される複数の座標値のうち、１又は複数の連続する座標値をストロークとして抽出し、ストローク特徴情報取得部２３が抽出したストロークの特徴を表すストローク特徴情報を取得し、度数分布生成部２４が筆記領域におけるストローク特徴情報の度数分布を生成し、判別部２５が度数分布に基づいて、特定の手書情報を構成するストローク群を判別する。【選択図】図３
2014179024.tif 000002
【特許請求の範囲】
【請求項１】
筆記領域に手書きされた手書情報を取得する手書情報取得手段と、
前記手書情報に含まれる、前記筆記領域の中に指定される複数の座標値のうち、１又は複数の連続する座標値をストロークとして抽出するストローク抽出手段と、
前記抽出したストロークの特徴を表すストローク特徴情報を取得するストローク特徴情報取得手段と、
前記筆記領域における前記ストローク特徴情報の度数分布を生成する度数分布生成手段と、
前記度数分布に基づいて、特定の手書情報を構成するストローク群を判別する判別手段と、
を含むことを特徴とする情報処理装置。
【請求項２】
前記ストローク特徴情報取得手段は、前記ストロークを構成する前記座標値に基づいて算出されるストローク長情報を取得する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記判別手段は、前記ストローク長情報の度数分布において、度数が所定値より高く、かつ、各ストローク長の差異が少ないストローク群を、文字を構成するストローク群と判別する、
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記判別手段は、前記ストローク長情報の度数分布において、度数が低く、かつ、ストローク長が、前記文字を構成するストローク群のストローク長より長いストローク群を、罫線を構成するストローク群と判別する、
ことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記文字を構成するストローク群のストローク長より長いストローク群の中に、各ストローク長の差異が少ないストロークが複数存在する、
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記文字を構成するストローク群のストローク長より長いストローク群の中に、ストローク長が異なる複数のストローク群が存在する、
ことを特徴とする請求項４または５に記載の情報処理装置。
【請求項７】
筆記領域に手書きされた手書情報を取得する手書情報取得手段、
前記手書情報に含まれる、前記筆記領域の中に指定される複数の座標値のうち、１又は複数の連続する座標値をストロークとして抽出するストローク抽出手段、
前記抽出したストロークの特徴を表すストローク特徴情報を取得するストローク特徴情報取得手段、
前記筆記領域における前記ストローク特徴情報の度数分布を生成する度数分布生成手段、
前記度数分布に基づいて、特定の手書情報を構成するストローク群を判別する判別手段、
としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
下記特許文献１には、手書入力文字の認識方法について、手書入力における筆跡ストロークの総移動量を予め定められている設定値と比較し、設定値を上回った場合に図形または罫線を筆記したと判別し、設定値を下回った場合に文字を筆記したと判別することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−５５３２２
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的の一つは、手書情報に含まれる筆記内容の種類をより判別しやすくすることにある。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明は、情報処理装置であって、筆記領域に手書きされた手書情報を取得する手書情報取得手段と、前記手書情報に含まれる、前記筆記領域の中に指定される複数の座標値のうち、１又は複数の連続する座標値をストロークとして抽出するストローク抽出手段と、前記抽出したストロークの特徴を表すストローク特徴情報を取得するストローク特徴情報取得手段と、前記筆記領域における前記ストローク特徴情報の度数分布を生成する度数分布生成手段と、前記度数分布に基づいて、特定の手書情報を構成するストローク群を判別する判別手段と、を含むこととしたものである。
【０００６】
請求項２に記載の発明は、請求項１に記載の情報処理装置であって、前記ストローク特徴情報取得手段は、前記ストロークを構成する前記座標値に基づいて算出されるストローク長情報を取得する、こととしたものである。
【０００７】
請求項３に記載の発明は、請求項２に記載の情報処理装置であって、前記判別手段は、前記ストローク長情報の度数分布において、度数が所定値より高く、かつ、各ストローク長の差異が少ないストローク群を、文字を構成するストローク群と判別する、こととしたものである。
【０００８】
請求項４に記載の発明は、請求項３に記載の情報処理装置であって、前記判別手段は、前記ストローク長情報の度数分布において、度数が低く、かつ、ストローク長が、前記文字を構成するストローク群のストローク長より長いストローク群を、罫線を構成するストローク群と判別する、こととしたものである。
【０００９】
請求項５に記載の発明は、請求項４に記載の情報処理装置であって、前記文字を構成するストローク群のストローク長より長いストローク群の中に、各ストローク長の差異が少ないストロークが複数存在する、こととしたものである。
【００１０】
請求項６に記載の発明は、請求項４または５に記載の情報処理装置であって、前記文字を構成するストローク群のストローク長より長いストローク群の中に、ストローク長が異なる複数のストローク群が存在する、こととしたものである。
【００１１】
請求項７に記載の発明は、プログラムであって、筆記領域に手書きされた手書情報を取得する手書情報取得手段、前記手書情報に含まれる、前記筆記領域の中に指定される複数の座標値のうち、１又は複数の連続する座標値をストロークとして抽出するストローク抽出手段、前記抽出したストロークの特徴を表すストローク特徴情報を取得するストローク特徴情報取得手段、前記筆記領域における前記ストローク特徴情報の度数分布を生成する度数分布生成手段、前記度数分布に基づいて、特定の手書情報を構成するストローク群を判別する判別手段、としてコンピュータを機能させることとしたものである。
【発明の効果】
【００１２】
請求項１及び７に記載の発明によれば、手書情報に含まれる筆記内容の種類をより判別しやすくなる。
【００１３】
請求項２、３、４、５、及び６に記載の発明によれば、手書情報に含まれる筆記内容の種類をストロークの長さに基づいて判別することができることとなる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。
【図２Ａ】本発明の一実施形態に係る手書きの筆記情報の一例を示す図である。
【図２Ｂ】図２Ａに示す手書きの筆記情報に対応する電子情報の一例を示す図である。
【図３】本発明の一実施形態に係る情報処理装置により実現される機能に一例を示す機能ブロック図である。
【図４】本発明の一実施形態に係る情報処理装置で行われる処理の流れの一例を示すフロー図である。
【図５】本発明の一実施形態に係るヒストグラムである。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態について図面に基づき詳細に説明する。
【００１６】
図１は、本実施形態における情報処理装置１のハードウェア構成の一例を示す図である。情報処理装置１及び入力受付装置２は、ＬＡＮやインターネットなどの通信手段に接続されており、互いに通信されるようになっている。また、情報処理装置１と入力受付装置２との通信はＵＳＢ（Universal Serial Bus）等の通信規格に基づいて実現されてもよい。
【００１７】
情報処理装置１は、例えば、パーソナルコンピュータなどのコンピュータであり、情報処理装置１にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである制御部１１、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブ等である記憶部１２、ネットワークボード等の通信インターフェースである通信部１３、液晶ディスプレイ等の表示装置である表示部１４、マウス、キーボード等の入力装置である操作部１５を含んでいる。これらの要素は、バスを介して接続される。記憶部１２には、制御部１１によって実行されるプログラムが記憶される。また、記憶部１２は、情報処理装置１のワークメモリとしても動作する。
【００１８】
入力受付装置２は、例えば、タブレットＰＣ、電子ペンなどの手書動作を認識する入力受付装置であり、入力受付装置２にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである制御部、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブ等である記憶部、ネットワークボード等の通信インターフェースである通信部、等を含んでいる。これらの要素は、バスを介して接続される。入力受付装置２の記憶部には、入力受付装置２の制御部によって実行されるプログラムが記憶される。また、入力受付装置２の記憶部は、入力受付装置２のワークメモリとしても動作する。
【００１９】
入力受付装置２は、筆記道具（例えば、タッチペン、電子ペン、指先等）が記録媒体（例えば、タブレットＰＣのディスプレイ、紙等）に降ろされて（ペンダウン、接触の開始）から離される（ペンアップ、接触の終了）までの、筆記道具の先端部の動きを示す電気信号を生成して、情報処理装置１に出力する。また、ある文字の筆記と次の文字の筆記の間に電子ペンに設けられたボタンが押下されることにより、電子ペンが文字の切り替わりを示す信号を生成して、情報処理装置１に出力することとしてもよい。なお、生成した電気信号は入力受付装置２の記憶部に一時的に記憶され、情報処理装置１が入力受付装置２の記憶部から電気信号を取得することとしてもよい。そして、情報処理装置１が、入力受付装置２から取得した電気信号に基づいて、手書きの筆記情報を電子情報として生成する。
【００２０】
本実施形態では、入力受付装置２は電子ペンを用いることとする。この場合、記録媒体として用いる紙媒体には所定のドットパターンが印刷されており、電子ペンに備えられている撮像装置がこのドットパターンを読み取ることで筆記した情報を電気信号として生成する。紙媒体には、例えば、所定の間隔（例えば、０．３ｍｍ）の正方格子の各格子点から上下左右のいずれかへ等量ずれたところにドットが印刷されてなるものであり、紙媒体上の位置が特定できるように構成されている。
【００２１】
図２Ａは本実施形態において、ユーザが入力受付装置２に対して手書きした筆記情報の一例を示す図である。図２Ａに示すように、手書きの筆記情報には表と、複数の文字とが含まれている。入力受付装置２は、この手書きの筆記情報を示す電気信号を情報処理装置１に出力する。そして、情報処理装置１は、入力受付装置２から受信した電気信号に基づいて、手書きの筆記情報を電子情報として生成する。図２Ｂは、図２Ａに示す手書きの筆記情報に対応する電子情報の一例を示す図である。
【００２２】
次に、本実施形態において情報処理装置１が実行する機能について説明する。図３は、本実施形態における情報処理装置１により実行される主な機能の一例を示す機能ブロック図である。図３に示すように、本実施形態における情報処理装置１は、機能的には、例えば、手書情報取得部２１、ストローク抽出部２２、ストローク特徴情報取得部２３、度数分布生成部２４、判別部２５、文字認識部２６、罫線処理部２７、電子情報生成部２８を含んで構成されている。これらの機能は、記憶部１２に記憶されたプログラムを制御部１１が実行することにより実現されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ可読な情報記憶媒体を介して、あるいは、インターネットなどの通信手段を介して情報処理装置１に供給される。
【００２３】
手書情報取得部２１は、手書きの筆記情報を示す電気信号である手書情報を入力受付装置２（以下、電子ペンとする。）から取得する。具体的には、電子ペンが記録媒体（以下、紙媒体とする。）と接触した位置を示す座標値を、筆記された紙媒体のページを示すページＩＤ、接触した時刻、ペンダウン、ペンアップ等の情報を関連付けて、電子ペンから取得する。また、手書情報取得部２１は、紙媒体ごと、または紙媒体内の指定された領域ごとの筆記情報を取得することとする。
【００２４】
ストローク抽出部２２は、手書情報取得部２１が取得した手書情報から、連続する座標値をストロークとして抽出する。ストロークとは、ペンダウンからペンアップの間に連続して取得される１または複数の座標値列である。座標値列は、時間的にまたは位置的に連続する座標値の列である。つまり、電子ペンによって一筆書きで筆記された線がストロークとなり、例えば手書情報が文字であるとすれば、その文字の画数分だけストロークが抽出されることとなる。
【００２５】
ストローク特徴情報取得部２３は、手書情報取得部２１が取得した手書情報と、ストローク抽出部２２が抽出したストロークと、に基づいてストロークの特徴を示すストローク特徴情報を取得する。具体的には、ストローク特徴情報取得部２３は、ストローク抽出部２２が抽出したストロークを構成する座標列のうち隣接する座標値間の距離を算出して合計した値をストローク長情報として取得する。なお、ストローク特徴情報取得部２３は、ストローク抽出部２２が抽出したストロークにおけるペンダウンとペンアップの時刻から算出される、ストロークが筆記されていた間の筆記時間をストローク特徴情報としてもよいし、ストローク抽出部２２が抽出したストロークにおけるストローク長情報と、ペンダウンとペンアップの時刻から算出されるストロークが筆記されていた間の時間とからストロークの筆記速度を算出してストローク特徴情報としてもよい。
【００２６】
度数分布生成部２４は、ストローク特徴情報取得部２３が取得したストローク特徴情報を統計における階級に割り当て、当該ストローク特徴情報の出現頻度を度数とする度数分布を生成する。ここで、度数分布とは、標本がある変量を有するときに、変量の範囲を複数の階級に区分し、各階級に属する変量を有する標本の数を、度数として数えたものである。度数分布生成部２４は、ストロークを標本として、ストローク特徴情報を変量とし、ストローク特徴情報を複数の範囲に区分して階級とする。なお、階級は一定の幅を有する範囲としてもよいし、ストローク特徴情報と階級とを１対１で対応させることとしてもよい。
【００２７】
判別部２５は、度数分布生成部２４が生成したストローク特徴情報の度数分布に基づいて手書情報に含まれる筆記内容の種類を判別する。ここで、筆記内容の種類には、文字、罫線（表を含む。）、及び図形などが含まれる。例えば、表の中に文字を筆記している場合には、文字を構成する各ストロークの長さは、表を構成する各ストロークの長さより短くなる。また、一般的に文字を揃えて筆記するために引かれる罫線を構成するストロークの長さは、文字を構成する各ストロークの長さより長くなる。また、文字のみ、表のみだけ筆記された場合には、各ストロークの長さの差異は小さくなる。なお、ストローク特徴情報をストロークの筆記時間としても同様のことが言える。このように、紙媒体ごと、または紙媒体内の指定領域ごとにストローク特徴情報の度数分布を生成することで、文字及び罫線の判別を可能とする。
【００２８】
文字認識部２６は、判別部２５が文字を構成すると判別したストローク群に対して文字認識を行う。例えば、文字認識としてパターンマッチング法を用いるが、その他の手法を用いてもよい。具体的には、認識すべき文字に対して標準パターンを情報処理装置１の記憶部に記憶しておき、筆記されたストローク群が構成する文字のパターンと記憶部に記憶された標準パターンとマッチングさせて、最もマッチングの度合いの高い標準パターンに対応する文字コードを筆記されたストローク群に対する認識結果として決定する。マッチングの度合いは数値で評価できるため、標準パターンの中からマッチング度合いの高い順に複数個のパターンを抽出することによって、筆記されたストロークに対する複数個の認識結果候補を決定することも可能である。また、判別部２５が文字を構成するストローク群であると判別したストローク群に対して文字毎の領域に分割した上で、各領域を対象としたパターンマッチングを行い、その結果に基づいて各領域に含まれる文字を決定してもよい。
【００２９】
罫線処理部２７は、判別部２５が罫線を構成するストローク群であると判別したストローク群に対して罫線処理を行う。具体的には、例えば、標準の罫線パターンを情報処理装置１の記憶部に予め記憶しておき、罫線を構成すると判別されたストローク群が形成するストロークと記憶部に記憶された罫線パターンとマッチングさせて、最もマッチング度合いの高い罫線パターンを筆記された罫線として決定する。また、罫線を構成すると判別された各ストロークについて、ストロークの始点と終点を線形補間することとしてもよい。
【００３０】
電子情報生成部２８は、文字認識部２６が認識した文字と、罫線処理部２７で処理された罫線に基づいて、手書情報取得部２１が取得した手書情報を電子情報として生成する。そして、生成された電子情報は、情報処理装置１の記憶部１２に記憶されてもよいし、各種出力装置に出力されることとしてもよい。電子情報は、例えば、エクセルデータ、ワードデータ、ＰＤＦ、ＸＰＳなどの文書データや、ＪＰＥＧ、ＴＩＦＦなどの画像データ等をいう。
【００３１】
手書情報の取得から電子情報の生成までの処理の流れの一例を図４のフロー図を参照しながら説明する。
【００３２】
まず、手書情報取得部２１は、電子ペンから、指定される紙媒体に筆記された手書情報を取得する（Ｓ２０１）。
【００３３】
次に、ストローク抽出部２２は、処理Ｓ２０１にて手書情報取得部２１が取得した手書情報に基づいて、１または複数の連続する座標値であるストロークを抽出する（Ｓ２０２）。ここで、抽出されるストロークの数をＮ（Ｎ：２以上の整数）とし、ストロークをＳｔｉ（０≦ｉ＜Ｎ）で示す。
【００３４】
そして、ストローク特徴情報取得部２３は、ストローク抽出部２２が抽出したストロークに基づいてストロークの特徴を示すストローク特徴情報（本実施形態では、ストローク特徴情報としてストローク長情報を用いる）を取得する（Ｓ２０３）。ストローク特徴情報取得部２３は、ストロークＳｔｉのそれぞれについてストロークの長さを算出してストローク長情報を生成する。ここで、ストローク長情報はＮ−１個生成され、以下これらのストローク長情報をＬＳｔｊ（０≦ｊ＜Ｎ）で示す。
【００３５】
そして、度数分布生成部２４は、ストローク特徴情報取得部２３が取得したストローク長情報ＬＳｔｊに基づいて、ストローク長情報を階級とし、ストローク長情報の出現頻度を度数として度数分布を生成する（Ｓ２０４）。ここで、階級の幅は、紙媒体に印刷されているドットパターンにおける各ドットの間隔Ｄ（例えば、Ｄ＝０．３ｍｍ）を基準としてｎ×Ｄ（ｎ：１以上の整数）とするが、所定の幅を設定することとしてもよい。なお、階級の幅は一定としなくてもよく、ストローク特徴情報取得部２３が取得したストローク長毎に階級を設定してもよい。
【００３６】
そして、判別部２５は、度数分布生成部２４が生成したストローク長の度数分布を用いて、手書情報に含まれる筆記内容の種類を判別する（Ｓ２０５）。具体的には、まず、度数分布生成部２４が生成した度数分布において、度数が高く、かつ、ストローク長が短いストローク群は文字を構成するストローク群であると判別する。そして、度数が低く、かつ、ストローク長が、文字を構成すると判別されたストローク群のストローク長より倍以上長いストローク群は罫線を構成するストローク群であると判別する。または、度数が低く、かつ、ストローク長が、文字を構成すると判別されたストローク群のストローク長より倍以上長いストローク群であって、当該ストローク群の中にストローク長の差異が少ないストロークが複数存在する場合に、当該ストローク群は罫線を構成するストローク群であると判別する。さらに、度数が低く、かつ、ストローク長が、文字を構成すると判別されたストローク群のストローク長より倍以上長いストローク群であって、当該ストローク群の中に、ストローク長が異なる複数のストローク群が存在する場合に、当該ストローク群は罫線を構成するストローク群であると判別する。これにより、罫線を判別する場合に、精度の高い判別が可能となる。ここで、度数が高いストローク群とは、標本内の度数最大値から所定の割合（例えば、７０％）以上の度数を有するストローク群とする。各ストローク長の差異が少ないストローク群とは、当該差異が所定の数値（例えば、ｎ×Ｄ）以下となるストローク群とする。この場合、度数分布生成部２４が度数分布を生成する際に、少ない差異と認める所定の数値を階級の幅として設定しておき、同じ階級にあるストローク群を差異が少ないストローク群としてもよい。
【００３７】
また、判別部２５は、度数分布生成部２４が生成した度数分布において、ストローク長が長いストローク群とストローク長が短いストローク群とが分布されている場合に、罫線及び文字を含む手書情報であると判別し、その上で上述のような罫線と文字との判別を実行することとしてもよい。この場合、度数分布生成部２４が生成した度数分布において、ストローク長が長いストローク群のみ、またはストローク長が短いストローク群のみが存在する場合は、文字と罫線との判別を実行しない。
【００３８】
なお、判別部２５は、度数分布生成部２４が生成したストローク長の度数分布から、階級を横軸、度数を縦軸として表したヒストグラムを用いて、手書き情報に含まれる筆記内容の種類を判別することとしてもよい。図５は、度数分布生成部２４が生成したストローク長の度数分布から、階級を横軸、度数を縦軸として表したヒストグラムである。図５に示すように、ヒストグラムは横軸にストローク長、縦軸に度数、階級の幅は等間隔にｎＤとしている。そして、判別部２５は、上述の手法を用いて、ストローク群４０が文字を構成するストローク群であり、ストローク群４２及びストローク群４４が罫線を構成するストローク群であることを判別する。
【００３９】
また、判別部２５は、さらにストロークのベクトル情報を用いることで、手書情報に含まれる筆記内容の種類の判別の精度を上げることができる。例えば、ストローク長の度数分布を用いて罫線を構成すると判別された各ストロークのベクトル成分を算出し、直線的に長く筆記されたストロークであるかを判別する。具体的には、罫線を構成すると判別された各ストロークについて、ストロークを構成する座標列のうち隣接する座標値間ごとのベクトルを算出し、各ベクトルが一致する場合に罫線を構成するストロークであると判別する。そうすることで、例えば円弧を筆記したストロークが、ストローク長が長いことで罫線であると判別されている場合に、当該ストロークを、罫線を構成するストローク群から排除することが可能となる。
【００４０】
文字認識部２６は、判別部２５が文字を構成すると判別したストローク群に対して文字認識処理を行う（Ｓ２０６）。
【００４１】
罫線処理部２７は、判別部２５が判別した罫線を構成するストローク群に対して罫線処理を行う（Ｓ２０７）。罫線処理を実行した後、罫線と罫線との交点において、表を形成するよう罫線間の補間を行うこととしてもよい。例えば、交点において、罫線と罫線との間に空白が存在する場合には空白を埋めるよう罫線を構成し、また、交点において罫線が表の外側へ長く形成されている場合は、伸びた分を削除して表を形成する。
【００４２】
そして、電子情報生成部２８が、文字認識部２６が認識した文字と、罫線処理部２７が処理した罫線とに基づいて電子情報を出力して（Ｓ２０８）、処理を終了する。
【００４３】
なお、本発明は上述の実施形態に限定されるものではない。
【００４４】
例えば、本実施形態では、紙媒体ごと、所定の領域ごとに手書情報の認識に対して処理を行うこととする。ここで、手書領域は、１または複数の記録媒体であってもよいし、記録媒体上の指定される領域であってもよい。そして、手書情報には文字及び罫線に限らず、その他の図形等が含まれていてもよい。
【００４５】
また、本実施形態では、情報処理装置１及び入力受付装置２が別体の装置である例について示したが、これらは一体の装置であってもよい。その場合、ストローク抽出部は入力受付装置２からストロークを抽出する。ストローク抽出部は入力受付装置２からストロークを抽出する。
【符号の説明】
【００４６】
１  情報処理装置、２  入力受付装置、１１  制御部、１２  記憶部、１３  通信部、１４  表示部、１５  操作部、２１  手書情報取得部、２２  ストローク抽出部、２３  ストローク特徴情報取得部、２４  度数分布生成部、２５  判別部、２６  文字認識部、２７  罫線処理部、２８  電子情報生成部、４０,４２,４４  ストローク群。
【図１】
2014179024.tif 000003
【図２Ａ】
2014179024.tif 000004
【図２Ｂ】
2014179024.tif 000005
【図３】
2014179024.tif 000006
【図４】
2014179024.tif 000007
【図５】
2014179024.tif 000008