(57)【要約】【課題】ユーザの手書き情報を入力とし、ユーザが意図する部分を抽出して出力する。【解決手段】ユーザの手書き情報を入力とし、ユーザが意図する部分を抽出して出力する手書き情報抽出装置は、座標情報検出手段、時間情報検出手段、情報記憶手段、および情報抽出手段を備える。座標情報検出手段は、ユーザの手書き情報の座標を検出する。時間情報検出手段は、ユーザの手書き情報を手書きした時間情報を検出する。情報記憶手段は、座標情報検出手段による検出結果と、時間情報検出手段による検出結果と、を共に記憶する。情報抽出手段は、情報記憶手段により記憶された手書き情報に基づいて、ユーザが意図する部分を抽出する。【選択図】図６
2014182685.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの手書き情報を入力とし、ユーザが意図する部分を抽出して出力する手書き情報抽出装置であって、
ユーザの手書き情報の座標を検出する座標情報検出手段と、
該ユーザの手書き情報を手書きした時間情報を検出する時間情報検出手段と、
前記検出したユーザの手書き情報の座標とユーザの手書き情報を手書きした時間情報とを共に記憶する手書き情報記憶手段と、
前記手書き情報記憶手段に記憶された手書き情報に基づいて、ユーザが意図する部分を抽出する手書き情報抽出手段と、
を備えたことを特徴とする手書き情報抽出装置。
【請求項２】
撮像手段を備え、
前記座標情報検出手段が、ユーザの手書き情報の座標を検出し、前記時間情報検出手段が、ユーザの手書き情報を手書きした時間情報を検出することを特徴とする請求項１に記載の手書き情報抽出装置。
【請求項３】
前記ユーザの手書き情報が加算式、減算式、乗算式、除算式、微分式、積分式の数式、化学反応式である場合に、前記手書き情報抽出手段が等号を検出するとともに、該等号の後に、最後に記述された前記手書き情報を抽出することを特徴とする請求項１または請求項２に記載の手書き情報抽出装置。
【請求項４】
前記ユーザの手書き情報が四則演算（加法、減法、乗法、除法）の筆算である場合に、前記手書き情報抽出手段が加法、減法、乗法を示す数学記号の下部にある線分の下に、最後に記述された前記手書き情報または除法の筆算を示す記号（雁垂れ記号）の上に記述された前記手書き情報を抽出することを特徴とする請求項１または請求項２に記載の手書き情報抽出装置。
【請求項５】
ユーザの手書き情報を入力とし、ユーザが意図する部分を抽出して出力する手書き情報抽出装置における手書き情報抽出方法であって、
ユーザの手書き情報の座標を検出する第１のステップと、
該ユーザの手書き情報を手書きした時間情報を検出する第２のステップと、
前記検出したユーザの手書き情報の座標とユーザの手書き情報を手書きした時間情報とを共に記憶する第３のステップと、
前記記憶された手書き情報に基づいて、ユーザが意図する部分を抽出する第４のステップと、
を備えたことを特徴とする手書き情報抽出方法。
【請求項６】
ユーザの手書き情報を入力とし、ユーザが意図する部分を抽出して出力する手書き情報抽出装置における手書き情報抽出方法であって、
撮像したユーザの手書き情報の座標を検出する第１のステップと、
撮像した該ユーザの手書き情報を手書きした時間情報を検出する第２のステップと、
前記検出したユーザの手書き情報の座標とユーザの手書き情報を手書きした時間情報とを共に記憶する第３のステップと、
前記記憶された手書き情報に基づいて、ユーザが意図する部分を抽出する第４のステップと、
を備えたことを特徴とする手書き情報抽出方法。
【請求項７】
ユーザの手書き情報を入力とし、ユーザが意図する部分を抽出して出力する手書き情報抽出装置における手書き情報抽出方法をコンピュータに実行させるためのプログラムであって、
ユーザの手書き情報の座標を検出する第１のステップと、
該ユーザの手書き情報を手書きした時間情報を検出する第２のステップと、
前記検出したユーザの手書き情報の座標とユーザの手書き情報を手書きした時間情報とを共に記憶する第３のステップと、
前記記憶された手書き情報に基づいて、ユーザが意図する部分を抽出する第４のステップと、
をコンピュータに実行させるためのプログラム。
【請求項８】
ユーザの手書き情報を入力とし、ユーザが意図する部分を抽出して出力する手書き情報抽出装置における手書き情報抽出方法をコンピュータに実行させるためのプログラムであって、
撮像したユーザの手書き情報の座標を検出する第１のステップと、
撮像した該ユーザの手書き情報を手書きした時間情報を検出する第２のステップと、
前記検出したユーザの手書き情報の座標とユーザの手書き情報を手書きした時間情報とを共に記憶する第３のステップと、
前記記憶された手書き情報に基づいて、ユーザが意図する部分を抽出する第４のステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの手書き情報を入力とし、ユーザが意図する部分を抽出して出力する手書き情報抽出装置、手書き情報抽出方法およびプログラムに関する。
【背景技術】
【０００２】
従来から入力方法の一つとして、ペン等により手書きで文字を筆記し、筆記された文字を認識して入力する手書き文字認識技術が利用されている。例えば、特許文献１では入力領域に入力された手書き情報を順次文字認識し、認識した文字を入力欄へ入力することで手書きによる文字入力を実現している。
【０００３】
また、文字認識技術の別の形態として、テキストを含む文書の画像データからテキストを認識し電子文書化する技術が利用されている。例えば、特許文献２では多様な形態の印刷文書からＸＭＬやＨＴＭＬ等でタグ付けされた構造化文書を生成することを実現している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−０２５３７０号公報
【特許文献２】特開２００５−０４３９９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のような手書き入力装置では、手書きの情報は全て入力として扱われるため、例えば計算問題の途中計算式や考えを整理するためのメモ書きなど、本来ユーザが入力欄へ入力することを想定していない手書き入力も入力欄への入力として扱われてしまう。また、特許文献２では、画像中からテキストのみを抽出することが可能であるが、抽出したテキスト中のどの部分がユーザが抽出したいテキストであるかを判定することは出来ず、また、本来入力欄へ入力する方法として想定されたものではない。
【０００６】
そこで、本発明は、上述の課題に鑑みてなされたものであり、ユーザの手書き情報を入力とし、ユーザが意図する部分を抽出して出力する手書き情報抽出装置、手書き情報抽出方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するために、以下の事項を提案している。
【０００８】
（１）本発明は、ユーザの手書き情報を入力とし、ユーザが意図する部分を抽出して出力する手書き情報抽出装置であって、ユーザの手書き情報の座標を検出する座標情報検出手段と、該ユーザの手書き情報を手書きした時間情報を検出する時間情報検出手段と、前記検出したユーザの手書き情報の座標とユーザの手書き情報を手書きした時間情報とを共に記憶する手書き情報記憶手段と、前記手書き情報記憶手段に記憶された手書き情報に基づいて、ユーザが意図する部分を抽出する手書き情報抽出手段と、を備えたことを特徴とする手書き情報抽出装置を提案している。
【０００９】
（２）本発明は、（１）の手書き情報抽出装置について、撮像手段を備え、前記座標情報検出手段が、ユーザの手書き情報の座標を検出し、前記時間情報検出手段が、ユーザの手書き情報を手書きした時間情報を検出することを特徴とする手書き情報抽出装置を提案している。
【００１０】
（３）本発明は、（１）または（２）の手書き情報抽出装置について、前記ユーザの手書き情報が加算式、減算式、乗算式、除算式、微分式、積分式の数式、化学反応式である場合に、前記手書き情報抽出手段が等号を検出するとともに、該等号の後に、最後に記述された前記手書き情報を抽出することを特徴とする手書き情報抽出装置を提案している。
【００１１】
（４）本発明は、（１）または（２）の手書き情報抽出装置について、前記ユーザの手書き情報が四則演算（加法、減法、乗法、除法）の筆算である場合に、前記手書き情報抽出手段が、加法、減法、乗法を示す数学記号の下部にある線分の下に、最後に記述された前記手書き情報または除法の筆算を示す記号（雁垂れ記号）の上に記述された前記手書き情報を抽出することを特徴とする手書き情報抽出装置を提案している。
【００１２】
（５）本発明は、ユーザの手書き情報を入力とし、ユーザが意図する部分を抽出して出力する手書き情報抽出装置における手書き情報抽出方法であって、ユーザの手書き情報の座標を検出する第１のステップと、該ユーザの手書き情報を手書きした時間情報を検出する第２のステップと、前記検出したユーザの手書き情報の座標とユーザの手書き情報を手書きした時間情報とを共に記憶する第３のステップと、前記記憶された手書き情報に基づいて、ユーザが意図する部分を抽出する第４のステップと、を備えたことを特徴とする手書き情報抽出方法を提案している。
【００１３】
（６）本発明は、ユーザの手書き情報を入力とし、ユーザが意図する部分を抽出して出力する手書き情報抽出装置における手書き情報抽出方法であって、撮像したユーザの手書き情報の座標を検出する第１のステップと、撮像した該ユーザの手書き情報を手書きした時間情報を検出する第２のステップと、前記検出したユーザの手書き情報の座標とユーザの手書き情報を手書きした時間情報とを共に記憶する第３のステップと、前記記憶された手書き情報に基づいて、ユーザが意図する部分を抽出する第４のステップと、を備えたことを特徴とする手書き情報抽出方法を提案している。
【００１４】
（７）本発明は、ユーザの手書き情報を入力とし、ユーザが意図する部分を抽出して出力する手書き情報抽出装置における手書き情報抽出方法をコンピュータに実行させるためのプログラムであって、ユーザの手書き情報の座標を検出する第１のステップと、該ユーザの手書き情報を手書きした時間情報を検出する第２のステップと、前記検出したユーザの手書き情報の座標とユーザの手書き情報を手書きした時間情報とを共に記憶する第３のステップと、前記記憶された手書き情報に基づいて、ユーザが意図する部分を抽出する第４のステップと、をコンピュータに実行させるためのプログラムを提案している。
【００１５】
（８）本発明は、ユーザの手書き情報を入力とし、ユーザが意図する部分を抽出して出力する手書き情報抽出装置における手書き情報抽出方法をコンピュータに実行させるためのプログラムであって、撮像したユーザの手書き情報の座標を検出する第１のステップと、撮像した該ユーザの手書き情報を手書きした時間情報を検出する第２のステップと、前記検出したユーザの手書き情報の座標とユーザの手書き情報を手書きした時間情報とを共に記憶する第３のステップと、前記記憶された手書き情報に基づいて、ユーザが意図する部分を抽出する第４のステップと、をコンピュータに実行させるためのプログラムを提案している。
【発明の効果】
【００１６】
本発明によれば、ユーザの手書き情報からユーザが意図する部分を抽出することが可能となり、最終的に導き出した解答、アイディアなどを改めて抽出したり、別の入力欄へ入力したりする必要がなくなり、表示、入力の手間を軽減することができるという効果がある。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係る手書き情報抽出装置の構成を示す図である。
【図２】本発明の第１の実施形態に係る等号検出による解答抽出例を示す図である。
【図３】本発明の第１の実施形態に係る筆算検出による解答抽出例を示す図である。
【図４】本発明の第１の実施形態に係る筆算検出による解答抽出例を示す図である。
【図５】本発明の第１の実施形態に係る解答を示す記号による解答抽出例を示す図である。
【図６】本発明の第１の実施形態に係る選択肢問題の解答抽出例を示す図である。
【図７】本発明の第１の実施形態に係る手書き情報抽出装置の処理を示す図である。
【図８】本発明の第２の実施形態に係る手書き情報抽出装置の構成を示す図である。
【図９】本発明の第２の実施形態に係る手書き情報抽出装置の処理を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、図面を用いて、詳細に説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００１９】
＜第１の実施形態＞
図１から図７を用いて、本実施形態に係る手書き情報抽出装置につて説明する。
【００２０】
＜手書き情報抽出装置の構成＞
本実施形態に係る手書き情報抽出装置は、図１に示すように、手書き情報入力部１１０と、座標情報検出部１２０と、時間情報検出部１３０と、記憶部１４０と、手書き情報抽出部１５０とから構成されている。
【００２１】
手書き情報入力部１１０は、例えば、スマートフォンやタブレット端末のタッチパネル等である。座標情報検出部１２０は、ユーザの手書き情報の座標を検出する。時間情報検出部１３０は、ユーザの手書き情報を手書きした時間情報を検出する。
【００２２】
記憶部１４０は、検出したユーザの手書き情報の座標とユーザの手書き情報を手書きした時間情報とを共に記憶する。なお、記憶部は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の書き換え可能な素子により構成することが好ましい。手書き情報抽出部１５０は、記憶部に記憶された手書き情報に基づいて、ユーザが意図する部分を抽出する。
【００２３】
＜手書き情報抽出装置の処理＞
図７を用いて、本実施形態に係る手書き情報抽出装置の処理について説明する。
【００２４】
まず、ユーザの手書き情報の座標を検出し（ステップＳ１１０）、ユーザの手書き情報を手書きした時間情報を検出する（ステップＳ１２０）。次に、検出したユーザの手書き情報の座標とユーザの手書き情報を手書きした時間情報とを共に記憶し（ステップＳ１３０）、記憶された手書き情報に基づいて、ユーザが意図する部分を抽出する（ステップＳ１４０）。
【００２５】
以上、説明したように、本実施形態によれば、手書き情報の中からユーザが意図する部分を表す記号または手書き入力間隔の特徴からユーザが意図する部分の手書き情報を抽出することができる。
【００２６】
＜実施例＞
図２から図６を用いて、本実施例について、説明する。
【００２７】
本実施例は、電子デバイス上に再現された問題集の問題に解答する場合を例示したものである。ここで、電子デバイスとは、タブレットなどのペンや指によるタッチ入力が可能で、入力した内容を表示できる表示部、入力情報や問題データを保存する記憶部、プログラムを処理する処理部などを具備している装置を想定しているが、同等の機能を持つ別の装置でもよい。
【００２８】
電子デバイスに手書きを行った際の電子デバイス表示部上の座標及び時刻を手書き情報として記憶しておく。
【００２９】
時間を空けずに入力された手書き入力であって、前後に一定時間入力が行われなかった期間を含むまとまり、あるいは、近傍に入力された手書き入力であって、周囲に一定量の手書き入力が行われていない空間を含むまとまりを手書き入力のまとまりとして検出する。ここで、最後に入力された手書き入力のまとまりを解答として抽出し、解答欄へ入力する。
【００３０】
次に、手書き情報について、認識処理を行い、文字・記号の検出を行う。
具体的には、検出された文字・記号の座標から文字・記号が入力されている方向のベクトルを検出し、ベクトルの方向をｘ正方向、ｘ正方向から反時計回りに９０°回転した方向をｙ正方向とし、ｘ正方向、ｙ正方向の１８０°逆向きの方向をそれぞれｘ負方向、ｙ負方向とする。
【００３１】
そして、手書き情報から等号（＝）（等号１）が検出された場合、等号１の座標からｘ正方向に位置する手書き情報のまとまりを解答１として検出し、解答欄へ入力を行う。また、検出された等号１の座標からｙ負方向に別の等号（等号２）が検出された場合、等号２のｘ正方向に位置する手書き入力のまとまりを解答２として検出し、解答１を入力した解答欄へ解答２を上書き入力する。ここで、等号は「＝」以外でも「≒」「≠」「→」などでもよく、等号記号として定義されたテーブルから読み込んだ別の記号でもよい（図２）。
【００３２】
または、筆算の特徴を検出し筆算の解答にあたる部分を解答として検出し、解答欄へ入力する。ここで、筆算の特徴とは、数値が上下方向にならんでおり、その下部に四則演算記号（＋、−、×）と横方向の直線を備えたまとまりである。または、除法の筆算を示す記号（雁垂れ記号）とその上下に数値がならんでいるまとまりである。筆算の解答にあたる部分とは最下部の横方向の直線の下部に位置する数値のまとまり、あるいは除法の筆算を示す記号（雁垂れ記号）の上部に位置する数値のまとまりである（図３、図４）。
【００３３】
または、丸で囲む、下線を引くなどの解答を示す記号で示された手書き入力のまとまりを解答として検出し、解答欄へ入力する。ここで解答を示す記号とは解答記号テーブルから読み込んだ別の記号でもよい（図５）。
【００３４】
または、クリック、タップ、フリックなどのユーザ操作の近傍に位置する手書き入力のまとまりを解答として検出し、解答欄へ入力する。ここで、ユーザ操作とは、ユーザ操作テーブルから読み込んだ別の操作でもよい。
【００３５】
または、電子デバイスに表示された選択肢問題の上に丸で囲むなどの解答を示す記号が入力された場合、記号の示す選択肢を解答欄へ入力する。あるいは、選択肢問題の上に「×」、打ち消し記号などの取り消し記号が入力された場合、それら取り消し記号が入力されていない選択肢を解答欄へ入力する。ここで、解答を示す記号、取り消し記号は解答記号、取り消し記号テーブルから読み込んだ別の記号でもよい（図６）。
【００３６】
ここで、前述の方法により複数の解答が抽出された場合には、第一優先としてユーザ操作により抽出された解答、第二優先として等号、解答を示す記号により抽出された解答、第三優先として筆算の検出により抽出された解答、第四優先として最後に入力されたことにより抽出された解答の順で優先順位を付け、優先度の高い抽出結果を解答欄へ入力する。なお、この優先度はシステム、ユーザにより変更してもよい。
【００３７】
ここで、抽出した解答に対して手書き文字認識技術を用いてテキストデータに変換し、解答欄へ入力してもよい。また、電子問題集の例で説明を行なっているが、同等の機能を備える別の装置でもよい。例えば、アンケートソフト、文書作成ソフトなどである。
【００３８】
以上、説明したように、本実施例によれば、ユーザが意図する部分を表す記号、例えば、イコール（＝）などの数式記号や筆算の記号、あるいは下線、丸で囲むなどの特徴的な記号と、手書き入力間隔の特徴、例えば、一定時間入力が行われないなど時間的に区切りとなる特徴からユーザの意図する手書き情報を抽出することができる。
【００３９】
また、前述の他にクリック、フリックなどの特徴的な操作を検出して、該操作が行われた座標付近の手書き情報のまとまりをユーザが意図する部分として抽出してもよく、前述のようにユーザが意図する部分を抽出することで、メモ書きや途中計算式などユーザが意図していない部分を含む手書き情報からユーザが意図する部分のみを自動的に抽出して表示することが可能になる。
【００４０】
＜第２の実施形態＞
図８および図９を用いて、本実施形態に係る手書き情報抽出装置につて説明する。
【００４１】
＜手書き情報抽出装置の構成＞
本実施形態に係る手書き情報抽出装置は、図８に示すように、座標情報検出部１２０と、時間情報検出部１３０と、記憶部１４０と、手書き情報抽出部１５０と、撮像部１６０とから構成されている。
【００４２】
座標情報検出部１２０は、ユーザの手書き情報の座標を検出する。時間情報検出部１３０は、ユーザの手書き情報を手書きした時間情報を検出する。
【００４３】
記憶部１４０は、検出したユーザの手書き情報の座標とユーザの手書き情報を手書きした時間情報とを共に記憶する。なお、記憶部は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の書き換え可能な素子により構成することが好ましい。手書き情報抽出部１５０は、記憶部に記憶された手書き情報に基づいて、ユーザが意図する部分を抽出する。撮像部１６０は、例えば、黒板、電子黒板、白板、紙等を撮像して、ユーザの手書き情報を取り込む。
【００４４】
具体的には、黒板を光学的に撮影するカメラを設置し、黒板を撮影する。ユーザは、撮影されている黒板に対し、チョーク、ペン、マーカーなどで手書きを行う。撮影された黒板の動画像の前後フレームの差分情報からチョーク等で手書きが行われた座標を検知する。
【００４５】
あるいは、黒板の上辺の両端に赤外線レーザを設置し、黒板表面を監視してもよい。
ユーザは黒板に対しスタイラスペンやマーカーなどで手書きを行い、スタイラスペンやマーカーなどについている反射板がレーザ光線を反射することで、手書きの座標を検知する。
【００４６】
あるいは、赤外線レーザの代わりにカメラを使用し、指やスタイラスペンの位置を検出してもよい。具体的には、撮影された画像から特徴検出を行い、２枚の画像に写っている指やスタイラスペンの画像上の座標を特定する。カメラの設置された座標と画像上の座標から指やスタイラスペンの三次元上の位置を計算することが可能である。
【００４７】
あるいは、上下左右に赤外線センサを設置し、縦横斜めに赤外線を走らせ、遮られた位置を検出することで、チョーク、指、スタイラスペンなどの手書きの座標を検知してもよい。そして、検知した手書きの座標とその時刻を手書き情報として記憶しておく。
【００４８】
＜手書き情報抽出装置の処理＞
図９を用いて、本実施形態に係る手書き情報抽出装置の処理について説明する。
【００４９】
まず、ユーザの手書き情報を撮像して取り込み、ユーザの手書き情報の座標を検出し（ステップＳ１１０）、ユーザの手書き情報を手書きした時間情報を検出する（ステップＳ１２０）。次に、検出したユーザの手書き情報の座標とユーザの手書き情報を手書きした時間情報とを共に記憶し（ステップＳ１３０）、記憶された手書き情報に基づいて、ユーザが意図する部分を抽出する（ステップＳ１４０）。
【００５０】
以上、説明したように、本実施形態によれば、黒板、電子黒板、白板、紙等に書かれた手書き情報の中からユーザが意図する部分を表す記号または手書き入力間隔の特徴からユーザが意図する部分の手書き情報を抽出することができる。
【００５１】
なお、手書き情報抽出装置の処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを手書き情報抽出装置に読み込ませ、実行することによって本発明の手書き情報抽出装置を実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。
【００５２】
また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００５３】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００５４】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００５５】
１００；手書き情報抽出装置
１１０；手書き情報入力部
１２０；座標情報検出部
１３０；時間情報検出部
１４０；記憶部
１５０；手書き情報抽出部
１６０；撮像部
【図１】
2014182685.tif 000003
【図２】
2014182685.tif 000004
【図３】
2014182685.tif 000005
【図５】
2014182685.tif 000006
【図７】
2014182685.tif 000007
【図８】
2014182685.tif 000008
【図９】
2014182685.tif 000009
【図４】
2014182685.tif 000010
【図６】
2014182685.tif 000011