(57)【特許請求の範囲】
【請求項１】
操作手段、表示手段、演算手段、及び、外周部のマージン領域と前記マージン領域の内側の筆記領域とを備えた被筆記媒体に対する筆記具の移動に伴う前記筆記具の複数の位置情報を含むストロークデータを送信する電子筆記装置に対し情報送受信可能な通信手段、を備えた操作端末の前記演算手段に対し、
前記電子筆記装置から送信された前記ストロークデータを前記通信手段を介して受信し取得する軌跡データ取得手順と、
前記軌跡データ取得手順で取得された前記ストロークデータのうち、少なくとも前記マージン領域へ描かれた、文字認識領域と図形認識領域との領域区分に係わる領域区分指示を識別する領域区分識別手順と、
前記領域区分識別手順での識別結果に基づき、前記筆記領域のうち、前記文字認識領域及び前記図形認識領域をそれぞれ設定する領域設定手順と、
前記領域設定手順での設定結果に基づき、前記文字認識領域に描かれた前記ストロークデータを文字認識してテキストデータ化するとともに、前記図形認識領域に描かれた前記ストロークデータを画像認識して画像データ化するデータ化手順と、
を実行させるための筆記処理プログラムであって、
前記マージン領域は、
前記被筆記媒体の短手方向の一方側と他方側とにそれぞれ設けられており、
前記領域区分識別手順は、
前記一方側の前記マージン領域を始端とし前記被筆記媒体の前記短手方向へ前記筆記領域を横断し前記他方側の前記マージン領域を終端とする、少なくとも一本の領域分離線を検出する分離線検出手順と、
前記マージン領域に含まれ、前記分離線検出手順で検出された前記領域分離線により区分される複数の部分マージン領域のうち、少なくとも１つに描かれた、領域指定指示を検出する領域指定検出手順と、
を含む
ことを特徴とする筆記処理プログラム。
【請求項２】
操作手段、表示手段、演算手段、及び、外周部のマージン領域と前記マージン領域の内側の筆記領域とを備えた被筆記媒体に対する筆記具の移動に伴う前記筆記具の複数の位置情報を含むストロークデータを送信する電子筆記装置に対し情報送受信可能な通信手段、を備えた操作端末の前記演算手段に対し、
前記電子筆記装置から送信された前記ストロークデータを前記通信手段を介して受信し取得する軌跡データ取得手順と、
前記軌跡データ取得手順で取得された前記ストロークデータのうち、少なくとも前記マージン領域へ描かれた、文字認識領域と図形認識領域との領域区分に係わる領域区分指示を識別する領域区分識別手順と、
前記領域区分識別手順での識別結果に基づき、前記筆記領域のうち、前記文字認識領域及び前記図形認識領域をそれぞれ設定する領域設定手順と、
前記領域設定手順での設定結果に基づき、前記文字認識領域に描かれた前記ストロークデータを文字認識してテキストデータ化するとともに、前記図形認識領域に描かれた前記ストロークデータを画像認識して画像データ化するデータ化手順と、
を実行させるための筆記処理プログラムであって、
前記領域区分識別手順は、
前記被筆記媒体の長手方向へ前記筆記領域を縦断する、又は、前記被筆記媒体の短手方向へ前記筆記領域を横断する、少なくとも一本の領域分離線を検出する分離線検出手順と、
前記マージン領域に含まれ、前記分離線検出手順で検出された前記領域分離線により区分される複数の部分マージン領域のうち、少なくとも１つに描かれた、領域指定指示を検出する領域指定検出手順と、
を含み、
前記領域設定手順では、
前記筆記領域に含まれ、前記領域分離線により区分される複数の部分筆記領域のうち、前記部分マージン領域に描かれた前記領域指定指示に対応する領域に前記図形認識領域を設定しそれ以外を前記文字認識領域に設定するか、若しくは、前記部分マージン領域に描かれた前記領域指定指示に対応する領域に前記文字認識領域を設定しそれ以外を前記図形認識領域に設定する
ことを特徴とする筆記処理プログラム。
【請求項３】
請求項２記載の筆記処理プログラムにおいて、
前記分離線検出手順では、
前記短手方向における前記筆記領域を横断する少なくとも１本の第１領域分離線と、前記長手方向における前記筆記領域を縦断する少なくとも１本の第２領域分離線と、を検出し、
前記領域指定検出手順では、
前記マージン領域中の、前記第１領域分離線により区分される複数の第１部分マージン領域のうち少なくとも１つに描かれた前記領域指定指示と、前記第２領域分離線により区分される複数の第２部分マージン領域のうち少なくとも１つに記載された前記領域指定指示と、を検出し、
前記領域設定手順では、
前記筆記領域に含まれ、前記第１領域分離線及び前記第２領域分離線により区分される複数の前記部分筆記領域のうち、前記第１及び第２部分マージン領域に描かれた前記領域指定指示に対応する領域に前記図形認識領域を設定しそれ以外を前記文字認識領域に設定するか、若しくは、前記第１及び第２部分マージン領域に描かれた前記領域指定指示に対応する領域に前記文字認識領域を設定しそれ以外を前記図形認識領域に設定する
ことを特徴とする筆記処理プログラム。
【請求項４】
操作手段、表示手段、演算手段、及び、外周部のマージン領域と前記マージン領域の内側の筆記領域とを備えた被筆記媒体に対する筆記具の移動に伴う前記筆記具の複数の位置情報を含むストロークデータを送信する電子筆記装置に対し情報送受信可能な通信手段、を備えた操作端末の前記演算手段に対し、
前記電子筆記装置から送信された前記ストロークデータを前記通信手段を介して受信し取得する軌跡データ取得手順と、
前記軌跡データ取得手順で取得された前記ストロークデータのうち、少なくとも前記マージン領域へ描かれた、文字認識領域と図形認識領域との領域区分に係わる領域区分指示を識別する領域区分識別手順と、
前記領域区分識別手順での識別結果に基づき、前記筆記領域のうち、前記文字認識領域及び前記図形認識領域をそれぞれ設定する領域設定手順と、
前記領域設定手順での設定結果に基づき、前記文字認識領域に描かれた前記ストロークデータを文字認識してテキストデータ化するとともに、前記図形認識領域に描かれた前記ストロークデータを画像認識して画像データ化するデータ化手順と、
を実行させるための筆記処理プログラムであって、
前記領域区分識別手順では、
前記被筆記媒体の短手方向における少なくとも一方側の前記マージン領域において前記被筆記媒体の長手方向への範囲を指定する、若しくは、前記被筆記媒体の長手方向における少なくとも一方側の前記マージン領域において前記被筆記媒体の短手方向への範囲を指定する、少なくとも１つの範囲指定指示を識別し、
前記領域設定手順では、
前記筆記領域のうち、前記マージン領域に描かれた前記範囲指定指示に対応する領域に前記図形認識領域を設定しそれ以外を前記文字認識領域に設定するか、若しくは、前記マージン領域に描かれた前記範囲指定指示に対応する領域に前記文字認識領域を設定しそれ以外を前記図形認識領域に設定する
ことを特徴とする筆記処理プログラム。
【請求項５】
操作手段、表示手段、演算手段、及び、外周部のマージン領域と前記マージン領域の内側の筆記領域とを備えた被筆記媒体に対する筆記具の移動に伴う前記筆記具の複数の位置情報を含むストロークデータを送信する電子筆記装置に対し情報送受信可能な通信手段、を備えた操作端末の前記演算手段に対し、
前記電子筆記装置から送信された前記ストロークデータを前記通信手段を介して受信し取得する軌跡データ取得手順と、
前記軌跡データ取得手順で取得された前記ストロークデータのうち、少なくとも前記マージン領域へ描かれた、文字認識領域と図形認識領域との領域区分に係わる領域区分指示を識別する領域区分識別手順と、
前記領域区分識別手順での識別結果に基づき、前記筆記領域のうち、前記文字認識領域及び前記図形認識領域をそれぞれ設定する領域設定手順と、
前記領域設定手順での設定結果に基づき、前記文字認識領域に描かれた前記ストロークデータを文字認識してテキストデータ化するとともに、前記図形認識領域に描かれた前記ストロークデータを画像認識して画像データ化するデータ化手順と、
を実行させるための筆記処理プログラムであって、
前記領域区分識別手順では、
前記被筆記媒体の短手方向における少なくとも一方側の前記マージン領域において前記被筆記媒体の長手方向への範囲を指定する第１範囲指定指示と、前記被筆記媒体の長手方向における少なくとも一方側の前記マージン領域において前記被筆記媒体の短手方向への範囲を指定する第２範囲指定指示と、を識別し、
前記領域設定手順では、
前記筆記領域のうち、前記第１範囲指定指示で指定された範囲に対応する領域と前記第２範囲指定指示で指定された範囲に対応する領域との重なり領域に前記図形認識領域を設定しそれ以外を前記文字認識領域に設定するか、若しくは、前記重なり領域に前記文字認識領域を設定しそれ以外を前記図形認識領域に設定する
ことを特徴とする筆記処理プログラム。
【請求項６】
外周部のマージン領域と前記マージン領域の内側の筆記領域とを備えた被筆記媒体に対する、筆記具の移動に伴う前記筆記具の複数の位置情報を含む、ストロークデータを生成するストロークデータ生成手段と、
前記ストロークデータ生成手段により生成された前記ストロークデータのうち、少なくとも前記マージン領域へ描かれた、文字認識領域と図形認識領域との領域区分に係わる領域区分指示を識別する領域区分識別手段と、
前記領域区分識別手段による識別結果に基づき、前記筆記領域のうち、前記文字認識領域及び前記図形認識領域をそれぞれ設定する領域設定手段と、
前記領域設定手段の設定結果に基づき、前記文字認識領域へ描かれた前記ストロークデータを文字認識してテキストデータ化するとともに、前記図形認識領域へ描かれた前記ストロークデータを画像認識して画像データ化するデータ化手段と、
を有し、
前記マージン領域は、
前記被筆記媒体の短手方向の一方側と他方側とにそれぞれ設けられており、
前記領域区分識別手段は、
前記一方側の前記マージン領域を始端とし前記被筆記媒体の前記短手方向へ前記筆記領域を横断し前記他方側の前記マージン領域を終端とする、少なくとも一本の領域分離線を検出する分離線検出手段と、
前記マージン領域に含まれ、前記分離線検出手段により検出された前記領域分離線により区分される複数の部分マージン領域のうち、少なくとも１つに描かれた、領域指定指示を検出する領域指定検出手段と、
を含む
ことを特徴とする電子筆記装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの筆記による筆記軌跡データの処理を行うための筆記処理プログラム及び電子筆記装置に関する。
【背景技術】
【０００２】
従来、ユーザの筆記による筆記軌跡データの処理を行う技術が知られている（例えば、特許文献１参照）。この従来技術の電子筆記装置（読取装置）は、ユーザが筆記具（電子ペン）を用いて被筆記媒体（紙媒体）に筆記を行うときの、筆記具の複数の位置情報（座標情報）に基づき、被筆記媒体に対する筆記軌跡データ（線画データ）を生成し、操作端末（ＰＣ）に送信する。操作端末は、電子筆記装置から受信した筆記軌跡データを文字認識（ＯＣＲ処理）することでテキストデータ化することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１１１３６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術は、ユーザが被筆記媒体に文字と図形とを混在して記載した場合に、図形を文字と誤認識することによる不要なテキストデータ等（いわゆるごみデータ）が発生したり、本来の文字データの文字認識率が低下するおそれがあるため、筆記軌跡データ全体に対する認識精度があまり良くなかった。
【０００５】
本発明の目的は、筆記軌跡データ全体に対する認識精度を向上することができる筆記処理プログラム及び電子筆記装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本願第１発明は、操作手段、表示手段、演算手段、及び、外周部のマージン領域と前記マージン領域の内側の筆記領域とを備えた被筆記媒体に対する筆記具の移動に伴う前記筆記具の複数の位置情報を含むストロークデータを送信する電子筆記装置に対し情報送受信可能な通信手段、を備えた操作端末の前記演算手段に対し、前記電子筆記装置から送信された前記ストロークデータを前記通信手段を介して受信し取得する軌跡データ取得手順と、前記軌跡データ取得手順で取得された前記ストロークデータのうち、少なくとも前記マージン領域へ描かれた、文字認識領域と図形認識領域との領域区分に係わる領域区分指示を識別する領域区分識別手順と、前記領域区分識別手順での識別結果に基づき、前記筆記領域のうち、前記文字認識領域及び前記図形認識領域をそれぞれ設定する領域設定手順と、前記領域設定手順での設定結果に基づき、前記文字認識領域に描かれた前記ストロークデータを文字認識してテキストデータ化するとともに、前記図形認識領域に描かれた前記ストロークデータを画像認識して画像データ化するデータ化手順と、を実行させ、前記マージン領域は、前記被筆記媒体の短手方向の一方側と他方側とにそれぞれ設けられており、前記領域区分識別手順は、前記一方側の前記マージン領域を始端とし前記被筆記媒体の前記短手方向へ前記筆記領域を横断し前記他方側の前記マージン領域を終端とする、少なくとも一本の領域分離線を検出する分離線検出手順と、前記マージン領域に含まれ、前記分離線検出手順で検出された前記領域分離線により区分される複数の部分マージン領域のうち、少なくとも１つに描かれた、領域指定指示を検出する領域指定検出手順と、を含む。
【０００７】
本願第１発明の筆記処理プログラムは、筆記軌跡データの処理を行うことで、被筆記媒体に記載された文字と図形とを区別して認識することができる。
【０００８】
すなわち、まず、演算手段で本願第１発明の筆記処理プログラムが実行されると、軌跡データ取得手順で、被筆記媒体に対する上記筆記軌跡データが取得される。このとき、被筆記媒体には、予め、外周部にマージン領域が設けられると共に、そのマージン領域の内側が筆記領域となっている。被筆記媒体への筆記時において、ユーザが、上記マージン領域（又はマージン領域と筆記領域との両方）に所定の領域区分指示を行うことで、領域区分識別手順で、その領域区分指示が識別される。その識別結果に基づき、領域設定手順で、上記筆記領域のうち、どの部分が文字認識領域でありどの部分が図形認識領域であるか、がそれぞれ設定される。そして、その設定結果に基づき、データ化手順で、文字認識領域に描かれた筆記軌跡データについては適宜の手法で文字認識してテキストデータ化されるとともに、図形認識領域に描かれた筆記軌跡データについては適宜の手法で画像認識して画像データ化される。
【０００９】
以上の結果、ユーザが、被筆記媒体中に文字と図形とを混在して記載した場合であっても、マージン領域（又はマージン領域と筆記領域との両方）に上記領域区分指示を書き加えるという簡単な操作を併せて行うだけで、文字と図形とを区別してそれぞれ適切な処理を行うことができる。この結果、図形を文字と誤認識することによる不要なテキストデータ等（いわゆるごみデータ）が発生したり、本来の文字データの文字認識率が低下するのを防止し、筆記軌跡データ全体に対する認識精度を向上することができる。
【００１０】
また、上記目的を達成するために、本願第２発明は、操作手段、表示手段、演算手段、及び、外周部のマージン領域と前記マージン領域の内側の筆記領域とを備えた被筆記媒体に対する筆記具の移動に伴う前記筆記具の複数の位置情報を含むストロークデータを送信する電子筆記装置に対し情報送受信可能な通信手段、を備えた操作端末の前記演算手段に対し、前記電子筆記装置から送信された前記ストロークデータを前記通信手段を介して受信し取得する軌跡データ取得手順と、前記軌跡データ取得手順で取得された前記ストロークデータのうち、少なくとも前記マージン領域へ描かれた、文字認識領域と図形認識領域との領域区分に係わる領域区分指示を識別する領域区分識別手順と、前記領域区分識別手順での識別結果に基づき、前記筆記領域のうち、前記文字認識領域及び前記図形認識領域をそれぞれ設定する領域設定手順と、前記領域設定手順での設定結果に基づき、前記文字認識領域に描かれた前記ストロークデータを文字認識してテキストデータ化するとともに、前記図形認識領域に描かれた前記ストロークデータを画像認識して画像データ化するデータ化手順と、を実行させ、前記領域区分識別手順は、前記被筆記媒体の長手方向へ前記筆記領域を縦断する、又は、前記被筆記媒体の短手方向へ前記筆記領域を横断する、少なくとも一本の領域分離線を検出する分離線検出手順と、前記マージン領域に含まれ、前記分離線検出手順で検出された前記領域分離線により区分される複数の部分マージン領域のうち、少なくとも１つに描かれた、領域指定指示を検出する領域指定検出手順と、を含み、前記領域設定手順では、前記筆記領域に含まれ、前記領域分離線により区分される複数の部分筆記領域のうち、前記部分マージン領域に描かれた前記領域指定指示に対応する領域に前記図形認識領域を設定しそれ以外を前記文字認識領域に設定するか、若しくは、前記部分マージン領域に描かれた前記領域指定指示に対応する領域に前記文字認識領域を設定しそれ以外を前記図形認識領域に設定する。
また、上記目的を達成するために、本願第３発明は、操作手段、表示手段、演算手段、及び、外周部のマージン領域と前記マージン領域の内側の筆記領域とを備えた被筆記媒体に対する筆記具の移動に伴う前記筆記具の複数の位置情報を含むストロークデータを送信する電子筆記装置に対し情報送受信可能な通信手段、を備えた操作端末の前記演算手段に対し、前記電子筆記装置から送信された前記ストロークデータを前記通信手段を介して受信し取得する軌跡データ取得手順と、前記軌跡データ取得手順で取得された前記ストロークデータのうち、少なくとも前記マージン領域へ描かれた、文字認識領域と図形認識領域との領域区分に係わる領域区分指示を識別する領域区分識別手順と、前記領域区分識別手順での識別結果に基づき、前記筆記領域のうち、前記文字認識領域及び前記図形認識領域をそれぞれ設定する領域設定手順と、前記領域設定手順での設定結果に基づき、前記文字認識領域に描かれた前記ストロークデータを文字認識してテキストデータ化するとともに、前記図形認識領域に描かれた前記ストロークデータを画像認識して画像データ化するデータ化手順と、を実行させ、前記領域区分識別手順では、前記被筆記媒体の短手方向における少なくとも一方側の前記マージン領域において前記被筆記媒体の長手方向への範囲を指定する、若しくは、前記被筆記媒体の長手方向における少なくとも一方側の前記マージン領域において前記被筆記媒体の短手方向への範囲を指定する、少なくとも１つの範囲指定指示を識別し、前記領域設定手順では、前記筆記領域のうち、前記マージン領域に描かれた前記範囲指定指示に対応する領域に前記図形認識領域を設定しそれ以外を前記文字認識領域に設定するか、若しくは、前記マージン領域に描かれた前記範囲指定指示に対応する領域に前記文字認識領域を設定しそれ以外を前記図形認識領域に設定する。
また、上記目的を達成するために、本願第４発明は、操作手段、表示手段、演算手段、及び、外周部のマージン領域と前記マージン領域の内側の筆記領域とを備えた被筆記媒体に対する筆記具の移動に伴う前記筆記具の複数の位置情報を含むストロークデータを送信する電子筆記装置に対し情報送受信可能な通信手段、を備えた操作端末の前記演算手段に対し、前記電子筆記装置から送信された前記ストロークデータを前記通信手段を介して受信し取得する軌跡データ取得手順と、前記軌跡データ取得手順で取得された前記ストロークデータのうち、少なくとも前記マージン領域へ描かれた、文字認識領域と図形認識領域との領域区分に係わる領域区分指示を識別する領域区分識別手順と、前記領域区分識別手順での識別結果に基づき、前記筆記領域のうち、前記文字認識領域及び前記図形認識領域をそれぞれ設定する領域設定手順と、前記領域設定手順での設定結果に基づき、前記文字認識領域に描かれた前記ストロークデータを文字認識してテキストデータ化するとともに、前記図形認識領域に描かれた前記ストロークデータを画像認識して画像データ化するデータ化手順と、を実行させ、前記領域区分識別手順では、前記被筆記媒体の短手方向における少なくとも一方側の前記マージン領域において前記被筆記媒体の長手方向への範囲を指定する第１範囲指定指示と、前記被筆記媒体の長手方向における少なくとも一方側の前記マージン領域において前記被筆記媒体の短手方向への範囲を指定する第２範囲指定指示と、を識別し、前記領域設定手順では、前記筆記領域のうち、前記第１範囲指定指示で指定された範囲に対応する領域と前記第２範囲指定指示で指定された範囲に対応する領域との重なり領域に前記図形認識領域を設定しそれ以外を前記文字認識領域に設定するか、若しくは、前記重なり領域に前記文字認識領域を設定しそれ以外を前記図形認識領域に設定する。
また、上記目的を達成するために、本願第５発明は、外周部のマージン領域と前記マージン領域の内側の筆記領域とを備えた被筆記媒体に対する、筆記具の移動に伴う前記筆記具の複数の位置情報を含む、ストロークデータを生成するストロークデータ生成手段と、前記ストロークデータ生成手段により生成された前記ストロークデータのうち、少なくとも前記マージン領域へ描かれた、文字認識領域と図形認識領域との領域区分に係わる領域区分指示を識別する領域区分識別手段と、前記領域区分識別手段による識別結果に基づき、前記筆記領域のうち、前記文字認識領域及び前記図形認識領域をそれぞれ設定する領域設定手段と、前記領域設定手段の設定結果に基づき、前記文字認識領域へ描かれた前記ストロークデータを文字認識してテキストデータ化するとともに、前記図形認識領域へ描かれた前記ストロークデータを画像認識して画像データ化するデータ化手段と、を有し、前記マージン領域は、前記被筆記媒体の短手方向の一方側と他方側とにそれぞれ設けられており、前記領域区分識別手段は、前記一方側の前記マージン領域を始端とし前記被筆記媒体の前記短手方向へ前記筆記領域を横断し前記他方側の前記マージン領域を終端とする、少なくとも一本の領域分離線を検出する分離線検出手段と、前記マージン領域に含まれ、前記分離線検出手段により検出された前記領域分離線により区分される複数の部分マージン領域のうち、少なくとも１つに描かれた、領域指定指示を検出する領域指定検出手段と、を含むことを特徴とする。

【発明の効果】
【００１１】
本発明によれば、筆記軌跡データ全体に対する認識精度を向上することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態の手書き入力システムの概略構成を表すシステム構成図である。
【図２】電子筆記装置の電気的構成を表すブロック図である。
【図３】ストロークデータについて説明するための説明図である。
【図４】操作端末の電気的構成を表すブロック図である。
【図５】紙媒体の一例を表す平面図である。
【図６】紙媒体に記載された文字と図形とを区別して認識するまでの流れを説明するための説明図である。
【図７】紙媒体に記載された文字と図形とを区別して認識するまでの流れを説明するための説明図である。
【図８】紙媒体に記載された文字と図形とを区別して認識するまでの流れを説明するための説明図である。
【図９】電子筆記装置のＣＰＵが実行する制御手順を表すフローチャートである。
【図１０】操作端末のＣＰＵが実行する制御手順を表すフローチャートである。
【図１１】紙媒体の外周部のうち左側・右側に加え上側・下側にもマージン領域を設ける変形例における、紙媒体の一例を表す平面図である。
【図１２】紙媒体に記載された文字と図形とを区別して認識するまでの流れを説明するための説明図である。
【図１３】紙媒体に記載された文字と図形とを区別して認識するまでの流れを説明するための説明図である。
【図１４】操作端末のＣＰＵが実行する制御手順を表すフローチャートである。
【図１５】マージン領域において範囲指定指示を行う変形例（その１）における、紙媒体に記載された文字と図形とを区別して認識するまでの流れを説明するための説明図である。
【図１６】紙媒体に記載された文字と図形とを区別して認識するまでの流れを説明するための説明図である。
【図１７】操作端末のＣＰＵが実行する制御手順を表すフローチャートである。
【図１８】マージン領域において範囲指定指示を行う変形例（その２）における、紙媒体に記載された文字と図形とを区別して認識するまでの流れを説明するための説明図である。
【図１９】紙媒体に記載された文字と図形とを区別して認識するまでの流れを説明するための説明図である。
【図２０】操作端末のＣＰＵが実行する制御手順を表すフローチャートである。
【図２１】電子筆記装置において全部の処理を実行する変形例における、電子筆記装置のＣＰＵが実行する制御手順を表すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態を図面を参照しつつ説明する。
【００１４】
＜システム概略構成＞
まず、図１を参照しつつ、本実施形態の手書き入力システムの概略構成を説明する。なお、以下の説明では、図１の紙面の上側、下側、右側、左側、手前側、奥行き側を、それぞれ、電子筆記装置の上側、下側、右側、左側、手前側、奥行き側と定義して説明する。
【００１５】
図１に示すように、手書き入力システム１は、電子筆記装置２と、電子ペン３（筆記具に相当）と、操作端末４と、を備える。電子筆記装置２及び操作端末４は、無線又は有線通信により情報送受信可能に接続されている。
【００１６】
＜電子筆記装置＞
電子筆記装置２は、平面視で上下方向に長い薄型の直方体状の形状を備える。この電子筆記装置２の右上部には、種々の情報を表示可能な小型の表示部２１が設けられている。表示部２１の左側には、ユーザが電子筆記装置２を操作するための入力部２２が設けられている。これら表示部２１及び入力部２２の下側には、電子筆記装置２の手前側の大部分を占めるように、凹部形状の載置部２４が設けられている。載置部２４には、当該載置部２４とほぼ同一の範囲となるように、座標検出部２５が設けられている。座標検出部２５は、電子ペン３の位置を座標（例えば載置部２４の左上部を原点（０，０）とする座標）で表す座標データ（位置情報に相当）を検出する。また、載置部２４には、紙媒体７０（被筆記媒体に相当。後述の図５参照）が載置される。このとき、載置部２４は、紙媒体７０を、当該紙媒体７０の左上隅部が上記原点に一致する姿勢で保持する。
【００１７】
＜電子ペン＞
電子ペン３は、いわゆる電磁誘導式のペンであり、その先端部の内部に設けられた金属製の芯３７と、検出スイッチ３３と、ボタン型の電池３４と、コイル３５と、基板３６と、を備える。芯３７は、外部に突出したペン先３１と、インク収納部３２と、により構成されている。インク収納部３２には、インクが収納されており、インクは、ペン先３１に供給される。これにより、ユーザは、電子ペン３を用いて紙媒体７０に所望の文字や図形を目視可能に記載することができる。なお、以下の説明では、電子ペン３において、ペン先３１が設けられている方向を先端方向、先端方向の反対方向を後端方向という。
【００１８】
芯３７の後端方向には、上記基板３６が設けられている。基板３６の先端部には、上記検出スイッチ３３が実装されている。検出スイッチ３３は、基板３６上の配線を介して上記コイル３５に電気的に接続されている。コイル３５は、電子ペン３の内部の先端部において芯３７の周囲に巻回されている。また、基板３６の後端方向には、上記電池３４が設けられている。電池３４は、基板３６に接続されている。電池３４のマイナス側の電極は、基板３６上の配線を介してコイル３５に電気的に接続され、プラス側の電極は、基板３６上の配線を介して検出スイッチ３３に電気的に接続されている。
【００１９】
ここで、芯３７は、弾性部材（図示せず）により常に先端方向に付勢されている。芯３７は、上記紙媒体７０への筆記時の押圧力により、上記弾性部材の付勢力に抗して電子ペン３の内部にやや退入する。この退入により、芯３７の後端部が検出スイッチ３３を押下し、検出スイッチ３３がオン状態となる。これにより、電池３４とコイル３５とが導通して電池３４からコイル３５に向けて電流が流れ、コイル３５に電流が流れることで磁界が発生する。
【００２０】
＜電子ペンの座標データの検出＞
上記座標検出部２５は、上記のようにして電子ペン３のコイル３５から発生する磁界を電磁誘導に基づき検出する。なお、この検出は公知の手法で足りるので、詳細な説明は省略する。この座標検出部２５の検出結果に基づき、電子筆記装置２のＣＰＵ２０１（後述の図２参照）が、上記載置部２４上の紙媒体７０への筆記時の電子ペン３の移動に伴う、電子ペン３の経時的かつ離散的な複数の座標データを、一定間隔（例えば１０［ｍｓ］間隔）で取得する。本実施形態では、載置部２４の左上部の座標（Ｘ，Ｙ）を原点（０，０）とし、右方向をＸ軸、下方向をＹ軸とする座標系を用いる。すなわち、Ｘ座標の値が載置部２４における左右方向の位置、Ｙ座標の値が載置部２４における上下方向の位置を表す。
【００２１】
そして、上記のようにして取得した複数の座標データに基づき、ＣＰＵ２０１が、ユーザの電子ペン３を用いた上記紙媒体７０に対する筆記軌跡を表す筆記軌跡データとしてストロークデータ（詳細は後述）を生成し、通信により操作端末４へ送信する。
【００２２】
＜操作端末＞
操作端末４は、例えば、高機能携帯電話（スマートフォンやフィーチャーフォン）、タブレット型コンピュータ、ノート型コンピュータ、デスクトップ型コンピュータ等で実装可能である。あるいは、操作端末４は、電子筆記装置２専用の操作端末で実装されてもよい。
【００２３】
＜電子筆記装置の電気的構成＞
次に、図２を参照しつつ、電子筆記装置２の電気的構成を説明する。
【００２４】
図２に示すように、電子筆記装置２は、ＣＰＵ２０１と、ＲＯＭ２０２と、種々のデータを一時的に記憶するＲＡＭ２０３と、フラッシュメモリ２０４と、上記入力部２２と、上記表示部２１を駆動する駆動回路２０６と、上記座標検出部２５を駆動する駆動回路２０９と、上記操作端末４との情報送受信の制御を行う通信制御部２０７と、を備える。
【００２５】
ＣＰＵ２０１は、ＲＯＭ２０２、ＲＡＭ２０３、フラッシュメモリ２０４、入力部２２、駆動回路２０６，２０９、及び通信制御部２０７と電気的に接続されている。
【００２６】
ＲＯＭ２０２は、プログラム記憶領域２０２１と、画像データ記憶領域２０２３と、を備える。プログラム記憶領域２０２１には、ＣＰＵ２０１が電子筆記装置２を制御するために実行する各種プログラム（ＣＰＵ２０１に対し後述の図９に示すフローチャートの各手順を実行させるためのプログラムを含む）が記憶されている。画像データ記憶領域２０２３には、紙媒体７０のフォーマット情報に対応した画像データが記憶されている。
【００２７】
フラッシュメモリ２０４は、座標データ記憶領域２０４１を備える。座標データ記憶領域２０４１には、座標検出部２５の検出結果に基づきＣＰＵ２０１が取得した複数の上記座標データが順次記憶される。
【００２８】
ＲＡＭ２０３には、座標データ記憶領域２０４１に記憶された複数の座標データに基づきＣＰＵ２０１が生成した上記ストロークデータが一時的に記憶される。
【００２９】
ＣＰＵ２０１は、ＲＡＭ２０３に記憶されたストロークデータを、通信制御部２０７を介して操作端末４へ送信する。
【００３０】
＜ストロークデータ＞
次に、図３を参照しつつ、ストロークデータについて説明する。
【００３１】
図３において、ストロークデータは、上記紙媒体７０への筆記時に移動する電子ペン３の複数の座標データを含むペン位置データ列である。図３（ａ）（ｂ）には、２つの文字「ａ」「ｂ」にそれぞれ対応する２つのストロークデータ「ａ」「ｂ」の例を示している。
【００３２】
図３（ａ）（ｂ）に示すように、ストロークデータ「ａ」は、文字「ａ」の書き始めから書き終わりまでの一筆書き部分の筆記軌跡データであり、時系列に沿って、ペン位置番号Ｔ１，Ｔ２，・・，Ｔ１１それぞれに対応した、１１個の座標データ（Ｘ１，Ｙ１），（Ｘ２，Ｙ２），・・，（Ｘ１１，Ｙ１１）を含む。また、ストロークデータ「ｂ」は、文字「ｂ」の書き始めから書き終わりまでの一筆書き部分の筆記軌跡データであり、時系列に沿って、ペン位置番号Ｔ１２，Ｔ１３，・・，Ｔ２１それぞれに対応した、１０個の座標データ（Ｘ１２，Ｙ１２），（Ｘ１３，Ｙ１３），・・（Ｘ２１，Ｙ２１）を含む。
【００３３】
＜操作端末の電気的構成＞
次に、図４を参照しつつ、操作端末４の電気的構成を説明する。
【００３４】
図４に示すように、操作端末４は、ＣＰＵ４０１（演算手段に相当）と、ＲＯＭ４０２と、種々のデータを一時的に記憶するＲＡＭ４０３と、不揮発性のメモリ４０４と、操作部４０５（操作手段に相当）と、種々の情報を表示可能な表示部４０６（表示手段に相当）と、上記電子筆記装置２との情報送受信の制御を行う通信制御部４０７（通信手段に相当）と、を備える。
【００３５】
ＣＰＵ４０１は、ＲＯＭ４０２、ＲＡＭ４０３、メモリ４０４、操作部４０５、表示部４０６、及び通信制御部４０７と電気的に接続されている。
【００３６】
ＲＯＭ４０２には、ＣＰＵ４０１が操作端末４を制御するために実行する各種プログラムが記憶されている。
【００３７】
メモリ４０４には、ＣＰＵ４０１が操作端末４を制御するために実行する各種プログラム（ＣＰＵ４０１に対し後述の図１０等に示すフローチャートの各手順を実行させるための筆記処理プログラムを含む）が記憶されている。このとき、操作端末４の媒体読取部（図示せず）が記憶媒体（図示せず）に記憶された筆記処理プログラムを読み取ることで、その読み取られた筆記処理プログラムがメモリ４０４にインストールされてもよい。あるいは、ＣＰＵ４０１が操作端末４と情報送受信可能に接続された外部装置（図示せず）から通信制御部４０７を介して筆記処理プログラムを受信することで、その受信された筆記処理プログラムがメモリ４０４にインストールされてもよい。なお、筆記処理プログラムは、ＲＯＭ４０２に予め記憶されていてもよい。
【００３８】
ＣＰＵ４０１は、電子筆記装置２から送信された上記ストロークデータを、通信制御部４０７を介して受信する。ＲＡＭ４０３には、ＣＰＵ４０１が受信したストロークデータが順次記憶される。なお、ＣＰＵ４０１が受信したストロークデータは、メモリ４０４に記憶されてもよい。
【００３９】
＜本実施形態の特徴＞
本実施形態の特徴は、ストロークデータの処理を行うことで、紙媒体７０に記載された文字と図形とを区別して認識することにある。以下、その詳細を説明する。
【００４０】
＜紙媒体＞
図５に、本実施形態で用いられる紙媒体７０の一例を示す。
【００４１】
図５に示すように、本実施形態で用いられる紙媒体７０は、Ｘ軸方向（左右方向を短手方向（横）、Ｙ軸方向（上下方向）を長手方向（縦）とする、縦長の長方形の形状となっている。なお、紙媒体７０は、横長の長方形の形状、正方形の形状等となっていてもよい。また、紙媒体７０には、横罫線、縦罫線、格子等が印刷されていてもよい。
【００４２】
紙媒体７０には、外周部のうち左側のマージン領域７１と、外周部のうち右側のマージン領域７２と、マージン領域７１，７２の内側の筆記領域７５と、が設けられている。図中では、マージン領域７１と筆記領域７５との境界、及び、マージン領域７２と筆記領域７５との境界に、それぞれ一点鎖線を示している。なお、上記境界に線が印刷されていたり、マージン領域７１，７２と筆記領域７５とが異なる色となるように印刷が行われていてもよい。マージン領域７１，７２及び筆記領域７５は、それぞれ上記座標検出部２５に対し所定の座標値範囲に対応付けられている。
【００４３】
また、紙媒体７０には、チェック欄Ｃが印刷されている。この例では、チェック欄Ｃは、マージン領域７２の下端近傍に印刷されている。チェック欄Ｃは、上記座標検出部２５に対し所定の座標値範囲に対応付けられている。
【００４４】
＜紙媒体に記載された文字と図形とを区別して認識するまでの流れ＞
以下、図６〜図８を参照しつつ、紙媒体７０に記載された文字と図形とを区別して認識するまでの流れの一例を説明する。
【００４５】
まず、ユーザは、紙媒体７０を上記載置部２４に載置した状態で、図６に示すように、上記電子ペン３により、筆記領域７５に文字と図形とを混在して筆記する。図６に示す例では、筆記領域７５には、上部に「あいう」の文字Ｔｅ１が筆記され、その下側にフローチャート（楕円状のボックス、長方形状のボックス、三角形状のボックスを含む）の図形Ｓｈ１が筆記され、その下側に「ＡＢＣ」の文字Ｔｅ２が筆記されている。
【００４６】
そして、ユーザは、図７に示すように、紙媒体７０を、文字領域と図形領域とに分離することを意図して、上記電子ペン３により、紙媒体７０のＸ軸方向に筆記領域７５を横断する（つまり、マージン領域７１，７２のうち一方に始端が位置し他方に終端が位置する）横分離線ＳＬ（領域分離線に相当）を筆記する。すなわち、ユーザは、紙媒体７０の上記文字Ｔｅ１よりも下側でかつ上記図形Ｓｈ１よりも上側の部分に、横分離線ＳＬ１を筆記し、紙媒体７０の上記図形Ｓｈ１よりも下側でかつ上記文字Ｔｅ２よりも上側の部分に、横分離線ＳＬ２を筆記する。
【００４７】
その後、ユーザは、図形領域を指定することを意図して、上記電子ペン３により、マージン領域７１，７２のうち左側のマージン領域７１の横分離線ＳＬ１と横分離線ＳＬ２との間の部分に、チェックマーク８０（領域指定指示に相当）を筆記する。上記横分離線ＳＬ及びこのチェックマーク８０は、文字認識領域と図形認識領域との領域区分に係わる領域区分指示に相当する。なお、領域指定指示は、チェックマーク８０に限られず、他のマークでもよく、また文字でもよい。また、領域指定指示は、マージン領域７１，７２のうち左側のマージン領域７１に筆記される場合に限られず、右側のマージン領域７２に筆記されてもよく、またマージン領域７１，７２の両方に筆記されてもよい。
【００４８】
そして、ユーザは、上記電子ペン３により、上記チェック欄Ｃにチェックマーク８１を筆記する。すると、電子筆記装置２において、紙媒体７０への筆記内容に対応したストロークデータの全て（以下適宜「ストロークデータ群」という）が生成され、操作端末４に送信される。これにより、操作端末４において、紙媒体７０への筆記内容に対応したストロークデータ群が受信され、保存される。
【００４９】
図８に、上記図７に示す状態の紙媒体７０への筆記内容に対応したストロークデータ群を示す。なお、図８中では、紙媒体７０の周縁に対応する位置に破線を示している。
【００５０】
図８に示すように、上記図７に示す状態の紙媒体７０への筆記内容に対応したストロークデータ群は、上記文字Ｔｅ１，Ｔｅ２それぞれに対応したストロークデータと、上記図形Ｓｈ１に対応したストロークデータと、上記横分離線ＳＬ１，ＳＬ２それぞれに対応したストロークデータと、上記チェックマーク８０に対応したストロークデータと、を含む。
【００５１】
操作端末４において、このようなストロークデータ群が受信されると、そのストロークデータ群に対し公知の適宜の識別処理が行われることで、紙媒体７０に描かれた上記横分離線ＳＬ１，ＳＬ２が検出される。これにより、紙媒体７０に、横分離線領域ＳＥ１が設定される。すなわち、紙媒体７０うち、上記横分離線ＳＬ１の最も上側の位置と最も下側の位置との間の領域が横分離線領域ＳＥ１に設定される。図中では、横分離線ＳＬ１の最も上側の位置及び最も下側の位置に、それぞれ一点鎖線を示している。また、紙媒体７０うち、上記横分離線ＳＬ２の最も上側の位置と最も下側の位置との間の領域が横分離線領域ＳＥ２に設定される。図中では、横分離線ＳＬ２の最も上側の位置及び最も下側の位置に、それぞれ一点鎖線を示している。

【００５２】
そして、マージン領域７１，７２のうち左側のマージン領域７１が、複数の部分マージン領域７１０に区分される。すなわち、マージン領域７１が、上記横分離線領域ＳＥ１よりも上側の部分マージン領域７１０ａと、上記横分離線領域ＳＥ１よりも下側でかつ上記横分離線領域ＳＥ２よりも上側の部分マージン領域７１０ｂと、上記横分離線領域ＳＥ２よりも下側の部分マージン領域７１０ｃと、に区分される。また、筆記領域７５が、複数の部分筆記領域７５０に区分される。すなわち、筆記領域７５が、上記横分離線領域ＳＥ１よりも上側の部分筆記領域７５０ａと、上記横分離線領域ＳＥ１よりも下側でかつ上記横分離線領域ＳＥ２よりも上側の部分筆記領域７５０ｂと、上記横分離線領域ＳＥ２よりも下側の部分筆記領域７５０ｃと、に区分される。
【００５３】
その後、上記受信されたストロークデータ群に対し公知の適宜の識別処理が行われることで、上記部分マージン領域７１０ｂに描かれた上記チェックマーク８０が検出される。これにより、筆記領域７５に含まれる上記部分筆記領域７５０ａ〜７５０ｃのうち、上記部分マージン領域７１０ｂに描かれたチェックマーク８０に対応する領域、つまり部分マージン領域７１０ｂの右側に位置する部分筆記領域７５０ｂに、図形認識領域が設定され、それ以外が文字認識領域に設定される。
【００５４】
そして、上記文字認識領域に描かれた文字Ｔｅ１，Ｔｅ２それぞれのストロークデータが、公知の適宜の手法により文字認識されることで、テキストデータ化され、保存される。また、上記図形認識領域に描かれた図形Ｓｈ１のストロークデータが、公知の適宜の手法により画像認識されることで、画像データ化され、保存される。
【００５５】
＜制御手順＞
次に、図９及び図１０を参照しつつ、上記手法を実現するために、電子筆記装置２及び操作端末４においてそれぞれ実行される制御手順を説明する。
【００５６】
＜電子筆記装置側の制御手順＞
以下、図９を参照しつつ、電子筆記装置２のＣＰＵ２０１が実行する制御手順を説明する。
【００５７】
図９において、このフローチャートの処理は、例えば電子筆記装置２の電源がオンされることを契機に開始される。
【００５８】
まず、ステップＳ１０で、ＣＰＵ２０１は、ユーザが電子ペン３により紙媒体７０に筆記を行ったときの座標検出部２５の検出結果に基づき、電子ペン３の座標データを取得する。取得された座標データは、座標データ記憶領域２０４１に順次記憶される。
【００５９】
その後、ステップＳ２０で、ＣＰＵ２０１は、上記チェック欄Ｃにチェックマーク８１が筆記されたか否かを判定する。チェック欄Ｃにチェックマーク８１が筆記されるまではステップＳ２０の判定は満たされず（Ｓ２０：ＮＯ）、上記ステップＳ１０に戻り同様の手順を繰り返す。チェック欄Ｃにチェックマーク８１が筆記されるとステップＳ２０の判定が満たされて（Ｓ２０：ＹＥＳ）、ステップＳ３０に移る。
【００６０】
ステップＳ３０では、ＣＰＵ２０１は、上記ステップＳ１０で座標データ記憶領域２０４１に記憶された複数の座標データに基づき、紙媒体７０への筆記内容に対応したストロークデータ群を生成する。生成されたストロークデータ群は、ＲＡＭ２０３に一時的に記憶される。
【００６１】
そして、ステップＳ４０で、ＣＰＵ２０１は、上記ステップＳ３０でＲＡＭ２０３に記憶されたストロークデータ群を、通信制御部２０７を介して操作端末４に送信する。以上により、このフローチャートの処理が終了される。
【００６２】
＜操作端末側の制御手順＞
以下、図１０を参照しつつ、操作端末４のＣＰＵ４０１が上記筆記処理プログラムに基づき実行する制御手順を説明する。
【００６３】
図１０において、このフローチャートの処理は、例えば操作端末４の電源がオンされることを契機に開始される。
【００６４】
まず、ステップＳ１１０で、ＣＰＵ４０１は、上記図１０のステップＳ４０において電子筆記装置２から送信されたストロークデータ群を、通信制御部４０７を介して受信する。なお、このステップＳ１１０が、各請求項記載の軌跡データ取得手順に相当する。受信されたストロークデータ群は、ＲＡＭ４０３に一時的に記憶される。
【００６５】
その後、ステップＳ１２０で、ＣＰＵ４０１は、上記ステップＳ１１０でＲＡＭ４０３に記憶されたストロークデータ群に対し公知の適宜の識別処理を行うことで、紙媒体７０に描かれた、少なくとも一本の横分離線ＳＬを検出する。
【００６６】
そして、ステップＳ１２２で、ＣＰＵ４０１は、上記ステップＳ１２０での検出結果に基づき、紙媒体７０に少なくとも１つの横分離線領域ＳＥを設定する。
【００６７】
その後、ステップＳ１２４で、ＣＰＵ４０１は、上記ステップＳ１２２での設定結果に基づき、マージン領域７１を複数の部分マージン領域７１０に区分する。
【００６８】
そして、ステップＳ１２６で、ＣＰＵ４０１は、上記ステップＳ１２２での設定結果に基づき、筆記領域７５を複数の部分筆記領域７５０に区分する。
【００６９】
その後、ステップＳ１３０で、ＣＰＵ４０１は、上記ステップＳ１１０でＲＡＭ４０３に記憶されたストロークデータ群に対し公知の適宜の識別処理を行うことで、上記ステップＳ１２４で区分された複数の部分マージン領域７１０のうち少なくとも１つに描かれた、チェックマーク８０を検出する。
【００７０】
そして、ステップＳ１４０で、ＣＰＵ４０１は、上記ステップＳ１２６で区分された複数の部分筆記領域７５０のうち、上記ステップＳ１３０でチェックマーク８０が検出された部分マージン領域７１０の右側に位置する部分筆記領域７５０に図形認識領域を設定し、それ以外を文字認識領域に設定する。なお、このステップＳ１４０が、各請求項記載の領域設定手順に相当する。
【００７１】
その後、ステップＳ１５０で、ＣＰＵ４０１は、上記ステップＳ１４０での設定結果に基づき、上記ステップＳ１１０でＲＡＭ４０３に記憶されたストロークデータ群のうち、文字認識領域へ描かれた筆記内容に対応したストロークデータを、公知の適宜の手法により文字認識することでテキストデータ化する。生成されたテキストデータは、メモリ４０４に記憶される。
【００７２】
そして、ステップＳ１６０で、ＣＰＵ４０１は、上記ステップＳ１４０での設定結果に基づき、上記ステップＳ１１０でＲＡＭ４０３に記憶されたストロークデータ群のうち、図形認識領域へ描かれた筆記内容に対応したストロークデータを、公知の適宜の手法により画像認識することで画像データ化する。生成された画像データは、メモリ４０４に記憶される。以上により、このフローチャートに示す処理が終了される。
【００７３】
なお、上記ステップＳ１２０，Ｓ１３０は、各請求項記載の領域区分識別手順に相当し、そのうちステップＳ１２０が分離線検出手順、ステップＳ１３０が領域指定検出手順に相当する。また、上記ステップＳ１５０，Ｓ１６０は、各請求項記載のデータ化手順に相当する。
【００７４】
＜本実施形態の効果＞
以上説明したように、本実施形態においては、紙媒体７０に対する筆記軌跡データ（上記の例ではストロークデータ）が取得される。このとき、紙媒体７０には、予め、外周部にマージン領域７１，７２が設けられると共に、マージン領域７１，７２の内側が筆記領域７５となっている。紙媒体７０への筆記時において、ユーザが、マージン領域７１，７２と筆記領域７５との両方に所定の領域区分指示（上記の例では横分離線ＳＬ及びチェックマーク８０の筆記）を行うことで、その領域区分指示が識別される。その識別結果に基づき、筆記領域７５のうち、どの部分が文字認識領域でありどの部分が図形認識領域であるか、がそれぞれ設定される。そして、その設定結果に基づき、文字認識領域に描かれた筆記軌跡データについては適宜の手法で文字認識してテキストデータ化されるとともに、図形認識領域に描かれた筆記軌跡データについては適宜の手法で画像認識して画像データ化される。
【００７５】
以上の結果、ユーザが、紙媒体７０中に文字と図形とを混在して記載した場合であっても、マージン領域７１，７２と筆記領域７５との両方に上記領域区分指示を書き加えるという簡単な操作を併せて行うだけで、文字と図形とを区別してそれぞれ適切な処理を行うことができる。この結果、図形を文字と誤認識することによる不要なテキストデータ等（いわゆるごみデータ）が発生したり、本来の文字データの文字認識率が低下するのを防止し、筆記軌跡データ全体に対する認識精度を向上することができる。
【００７６】
また、本実施形態では特に、電子筆記装置２から送信されたストロークデータを受信し、そのストロークデータのうちの領域区分指示（上記の例では横分離線ＳＬ及びチェックマーク８０の筆記）を識別する。そして、その識別結果に基づき、筆記領域７５のうち、どの部分が文字認識領域でありどの部分が図形認識領域であるか、がそれぞれ設定され、その設定結果に基づき、文字認識領域へ描かれたストロークデータを文字認識してテキストデータ化するとともに、図形認識領域へ描かれたストロークデータを画像認識して画像データ化する。これにより、ストロークデータについての上記認識精度を向上することができる。
【００７７】
また、本実施形態では特に、横分離線ＳＬを検出し、その検出された横分離線ＳＬにより区分される複数の部分マージン領域７１０のうち、少なくとも１つに描かれた、チェックマーク８０を検出する。これにより、ユーザは、横分離線ＳＬを筆記した後に、マージン領域７１にチェックマーク８０を筆記することで、図形領域を簡単に指定することができる。
【００７８】
また、本実施形態では特に、横分離線ＳＬにより区分される複数の部分筆記領域７５０のうち、部分マージン領域７１０に描かれたチェックマーク８０に対応する領域に図形認識領域を設定しそれ以外を文字認識領域に設定する。これにより、横分離線ＳＬを筆記した後に、マージン領域７１にチェックマーク８０を筆記することで、筆記領域７５のうちの段領域に対し図形領域である旨を指定することができる。
【００７９】
なお、上記では、ユーザがマージン領域７１に図形領域として指定するためのチェックマーク８０を筆記し、ＣＰＵ４０１が、複数の部分筆記領域７５０のうち、マージン領域７１に描かれたチェックマーク８０に対応する領域に図形認識領域を設定しそれ以外を文字認識領域に設定していたが、これに限られず、ユーザがマージン領域７１に文字領域として指定するためのチェックマーク８０を筆記し、ＣＰＵ４０１が、複数の部分筆記領域７５０のうち、マージン領域７１に描かれたチェックマーク８０に対応する領域に文字認識領域を設定しそれ以外を図形認識領域に設定してもよい。
【００８０】
＜変形例等＞
なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。以下、そのような変形例を説明する。
【００８１】
（１）紙媒体の外周部のうち左側・右側に加え上側・下側にもマージン領域を設ける場合
＜紙媒体＞
図１１に、本変形例で用いられる紙媒体の一例を示す。
【００８２】
図１１に示すように、本変形例で用いられる紙媒体７０Ａ（被筆記媒体に相当）は、上記紙媒体７０と同様の形状となっている。
【００８３】
紙媒体７０Ａには、外周部のうち左側の上記マージン領域７１と、外周部のうち右側の上記マージン領域７２と、外周部のうち上側のマージン領域７３と、外周部のうち下側のマージン領域７４と、マージン領域７１〜７４の内側の筆記領域７６と、が設けられている。図中では、マージン領域７１と筆記領域７６との境界、マージン領域７２と筆記領域７６との境界、マージン領域７３と筆記領域７６との境界、及び、マージン領域７４と筆記領域７６との境界に、それぞれ一点鎖線を示している。マージン領域７１〜７４及び筆記領域７６は、それぞれ上記座標検出部２５に対し所定の座標値範囲に対応付けられている。
【００８４】
また、紙媒体７０Ａでは、上記チェック欄Ｃは、マージン領域７２の下端近傍（マージン領域７４の右端近傍）に印刷されている。
【００８５】
＜紙媒体に記載された文字と図形とを区別して認識するまでの流れ＞
以下、図１２及び図１３を参照しつつ、紙媒体７０Ａに記載された文字と図形とを区別して認識するまでの流れの一例を説明する。
【００８６】
まず、ユーザは、紙媒体７０Ａを上記載置部２４に載置した状態で、図１２に示すように、上記電子ペン３により、筆記領域７６に文字と図形とを混在して筆記する。図１２に示す例では、筆記領域７６には、左上部に上記文字Ｔｅ１が筆記され、右中部に上記図形Ｓｈ１が筆記され、左下部に上記文字Ｔｅ２が筆記されている。
【００８７】
そして、ユーザは、紙媒体７０Ａを、文字領域と図形領域とに分離することを意図して、上記電子ペン３により、紙媒体７０ＡのＸ軸方向に筆記領域７６を横断する上記横分離線ＳＬと、紙媒体７０ＡのＹ軸方向に筆記領域７６を横断する（つまり、マージン領域７３，７４のうち一方に始端が位置し他方に終端が位置する）縦分離線ＬＬと、を筆記する。なお、横分離線ＳＬ及び縦分離線ＬＬは、各請求項記載の領域分離線に相当し、そのうち横分離線ＳＬが第１領域分離線、縦分離線ＬＬが第２領域分離線に相当する。すなわち、ユーザは、紙媒体７０Ａの上記文字Ｔｅ１よりも下側でかつ上記図形Ｓｈ１よりも上側の部分に、横分離線ＳＬ１を筆記し、紙媒体７０Ａの上記図形Ｓｈ１よりも下側でかつ上記文字Ｔｅ２よりも上側の部分に、横分離線ＳＬ２を筆記し、紙媒体７０Ａの上記文字Ｔｅ１，Ｔｅ２よりも右側でかつ上記図形Ｓｈ１よりも左側の部分に、縦分離線ＬＬを筆記する。
【００８８】
その後、ユーザは、図形領域を指定することを意図して、上記電子ペン３により、マージン領域７１，７２のうち左側のマージン領域７１の横分離線ＳＬ１と横分離線ＳＬ２との間の部分に、上記チェックマーク８０を筆記し、マージン領域７３，７４のうち上側のマージン領域７３の縦分離線ＬＬよりも右側の部分に、上記チェックマーク８０を筆記する。上記横分離線ＳＬ、縦分離線ＬＬ、及びこれらチェックマーク８０は、領域区分指示に相当する。なお、マージン領域７１，７２のうち左側のマージン領域７１に領域指定指示であるチェックマーク８０を筆記するのではなく、右側のマージン領域７２に筆記してもよく、またマージン領域７１，７２の両方に筆記してもよい。同様に、マージン領域７３，７４のうち上側のマージン領域７３に領域指定指示であるチェックマーク８０を筆記するのではなく、下側のマージン領域７４に筆記してもよく、またマージン領域７３，７４の両方に筆記してもよい。
【００８９】
そして、ユーザは、上記電子ペン３により、上記チェック欄Ｃに上記チェックマーク８１を筆記する。すると、電子筆記装置２において、紙媒体７０Ａへの筆記内容に対応したストロークデータ群が生成され、操作端末４に送信される。これにより、操作端末４において、紙媒体７０Ａへの筆記内容に対応したストロークデータ群が受信され、保存される。
【００９０】
図１３に、上記図１２に示す状態の紙媒体７０Ａへの筆記内容に対応したストロークデータ群を示す。なお、図１３中では、紙媒体７０Ａの周縁に対応する位置に破線を示している。
【００９１】
図１３に示すように、上記図１２に示す状態の紙媒体７０Ａへの筆記内容に対応したストロークデータ群は、上記文字Ｔｅ１，Ｔｅ２それぞれに対応したストロークデータと、上記図形Ｓｈ１に対応したストロークデータと、上記横分離線ＳＬ１，ＳＬ２それぞれに対応したストロークデータと、上記縦分離線ＬＬに対応したストロークデータと、上記２つのチェックマーク８０それぞれに対応したストロークデータと、を含む。
【００９２】
操作端末４において、このようなストロークデータ群が受信されると、そのストロークデータ群に対し公知の適宜の識別処理が行われることで、紙媒体７０Ａに描かれた上記横分離線ＳＬ１，ＳＬ２及び縦分離線ＬＬが検出される。これにより、紙媒体７０Ａに、横分離線領域ＳＥ及び縦分離線領域ＬＥが設定される。すなわち、紙媒体７０Ａうち、上記横分離線ＳＬ１の最も上側の位置と最も下側の位置との間の領域が横分離線領域ＳＥ１に設定される。図中では、横分離線ＳＬ１の最も上側の位置及び最も下側の位置に、それぞれ一点鎖線を示している。また、紙媒体７０Ａうち、上記横分離線ＳＬ２の最も上側の位置と最も下側の位置との間の領域が横分離線領域ＳＥ２に設定される。図中では、横分離線ＳＬ２の最も上側の位置及び最も下側の位置に、それぞれ一点鎖線を示している。また、紙媒体７０Ａうち、上記縦分離線ＬＬの最も左側の位置と最も右側の位置との間の領域が縦分離線領域ＬＥに設定される。図中では、縦分離線ＬＬの最も左側の位置及び最も右側の位置に、それぞれ一点鎖線を示している。
【００９３】
そして、マージン領域７１，７２のうち左側のマージン領域７１が、複数の部分マージン領域７１０（第１部分マージン領域に相当）に区分される。すなわち、マージン領域７１が、上記横分離線領域ＳＥ１よりも上側の部分マージン領域７１０ａと、上記横分離線領域ＳＥ１よりも下側でかつ上記横分離線領域ＳＥ２よりも上側の部分マージン領域７１０ｂと、上記横分離線領域ＳＥ２よりも下側の部分マージン領域７１０ｃと、に区分される。また、マージン領域７３，７４のうち上側のマージン領域７３が、複数の部分マージン領域７３０（第２部分マージン領域に相当）に区分される。すなわち、マージン領域７３が、上記縦分離線領域ＬＥよりも左側の部分マージン領域７３０ａと、上記縦分離線領域ＬＥよりも右側の部分マージン領域７３０ｂと、に区分される。また、筆記領域７６が、複数の部分筆記領域７６０に区分される。すなわち、筆記領域７６が、上記横分離線領域ＳＥ１よりも上側でかつ上記縦分離線領域ＬＥよりも左側の部分筆記領域７６０ａと、上記横分離線領域ＳＥ１よりも上側でかつ上記縦分離線領域ＬＥよりも右側の部分筆記領域７６０ｂと、上記横分離線領域ＳＥ１よりも下側でかつ上記横分離線領域ＳＥ２よりも上側でかつ上記縦分離線領域ＬＥよりも左側の部分筆記領域７６０ｃと、上記横分離線領域ＳＥ１よりも下側でかつ上記横分離線領域ＳＥ２よりも上側でかつ上記縦分離線領域ＬＥよりも右側の部分筆記領域７６０ｄと、上記横分離線領域ＳＥ２よりも下側でかつ上記縦分離線領域ＬＥよりも左側の部分筆記領域７６０ｅと、上記横分離線領域ＳＥ２よりも下側でかつ上記縦分離線領域ＬＥよりも右側の部分筆記領域７６０ｆと、に区分される。
【００９４】
その後、上記受信されたストロークデータ群に対し公知の適宜の識別処理が行われることで、上記部分マージン領域７１０ｂに描かれた上記チェックマーク８０と、上記部分マージン領域７３０ｂに描かれた上記チェックマーク８０と、が検出される。これにより、筆記領域７６に含まれる上記部分筆記領域７６０ａ〜７５０ｆのうち、上記部分マージン領域７１０ｂ，７３０ｂに描かれたチェックマーク８０に対応する領域、つまり部分マージン領域７１０ｂの右側でかつ部分マージン領域７３０ｂの下側に位置する部分筆記領域７６０ｄに、図形認識領域が設定され、それ以外が文字認識領域に設定される。
【００９５】
そして、上記文字認識領域に描かれた文字Ｔｅ１，Ｔｅ２それぞれのストロークデータが、公知の適宜の手法により文字認識されることで、テキストデータ化され、保存される。また、上記図形認識領域に描かれた図形Ｓｈ１のストロークデータが、公知の適宜の手法により画像認識されることで、画像データ化され、保存される。
【００９６】
＜電子筆記装置側の制御手順＞
次に、図１４を参照しつつ、上記手法を実現するために、操作端末４のＣＰＵ４０１が上記筆記処理プログラムに基づき実行する制御手順を説明する。
【００９７】
図１４において、ステップＳ１１０は、上記図１０と同様である。その後のステップＳ１２０Ａで、ＣＰＵ４０１は、上記ステップＳ１１０でＲＡＭ４０３に記憶されたストロークデータ群に対し公知の適宜の識別処理を行うことで、紙媒体７０Ａに描かれた、少なくとも一本の横分離線ＳＬと、少なくとも一本の縦分離線ＬＬと、を検出する。
【００９８】
そして、ステップＳ１２２Ａで、ＣＰＵ４０１は、上記ステップＳ１２０Ａでの検出結果に基づき、紙媒体７０Ａに少なくとも１つの横分離線領域ＳＥ及び少なくとも１つの縦分離線領域ＬＥを設定する。
【００９９】
その後、ステップＳ１２４Ａで、ＣＰＵ４０１は、上記ステップＳ１２２Ａでの設定結果に基づき、マージン領域７１を複数の部分マージン領域７１０に区分し、マージン領域７３を複数の部分マージン領域７３０に区分する。
【０１００】
そして、ステップＳ１２６Ａで、ＣＰＵ４０１は、上記ステップＳ１２２Ａでの設定結果に基づき、筆記領域７６を複数の部分筆記領域７６０に区分する。
【０１０１】
その後、ステップＳ１３０Ａで、ＣＰＵ４０１は、上記ステップＳ１１０でＲＡＭ４０３に記憶されたストロークデータ群に対し公知の適宜の識別処理を行うことで、上記ステップＳ１２４Ａで区分された複数の部分マージン領域７１０のうち少なくとも１つに描かれた、チェックマーク８０と、上記ステップＳ１２４Ａで区分された複数の部分マージン領域７３０のうち少なくとも１つに描かれた、チェックマーク８０と、を検出する。
【０１０２】
そして、ステップＳ１４０Ａで、ＣＰＵ４０１は、上記ステップＳ１２６Ａで区分された複数の部分筆記領域７６０のうち、上記ステップＳ１３０Ａでチェックマーク８０が検出された部分マージン領域７１０の右側でかつ上記ステップＳ１３０Ａでチェックマーク８０が検出された部分マージン領域７３０の下側に位置する部分筆記領域７５０に図形認識領域を設定し、それ以外を文字認識領域に設定する。なお、このステップＳ１４０Ａが、各請求項記載の領域設定手順に相当する。
【０１０３】
その後のステップＳ１５０，Ｓ１６０は、上記図１０と同様である。
【０１０４】
なお、上記ステップＳ１２０Ａ，Ｓ１３０Ａは、各請求項記載の領域区分識別手順に相当し、そのうちステップＳ１２０Ａが分離線検出手順、ステップＳ１３０Ａが領域指定検出手順に相当する。
【０１０５】
＜本変形例の効果＞
本変形例においても、上記実施形態と同様の効果を得る。また、本変形例では、横分離線ＳＬと縦分離線ＬＬとを検出し、その検出された横分離線ＳＬにより区分される複数の部分マージン領域７１０のうち、少なくとも１つに描かれた、チェックマーク８０と、上記検出された縦分離線ＬＬにより区分される複数の部分マージン領域７３０のうち、少なくとも１つに描かれた、チェックマーク８０と、を検出する。そして、横分離線ＳＬ及び縦分離線ＬＬにより区分される複数の部分筆記領域７６０のうち、部分マージン領域７１０，７３０に描かれたチェックマーク８０に対応する領域に図形認識領域を設定しそれ以外を文字認識領域に設定する。これにより、横分離線ＳＬ及び縦分離線ＬＬを筆記した後に、マージン領域７１，７３にチェックマーク８０を筆記することで、筆記領域７６のうちの限られた一部領域に対しても、図形領域である旨を指定することができる。
【０１０６】
なお、上記では、ユーザがマージン領域７１，７３に図形領域として指定するためのチェックマーク８０を筆記し、ＣＰＵ４０１が、複数の部分筆記領域７６０のうち、マージン領域７１，７３に描かれたチェックマーク８０に対応する領域に図形認識領域を設定しそれ以外を文字認識領域に設定していたが、これに限られず、ユーザがマージン領域７１，７３に文字領域として指定するためのチェックマーク８０を筆記し、ＣＰＵ４０１が、複数の部分筆記領域７６０のうち、マージン領域７１，７３に描かれたチェックマーク８０に対応する領域に文字認識領域を設定しそれ以外を図形認識領域に設定してもよい。
【０１０７】
（２）紙媒体の外周部のうち上側・下側のみにマージン領域を設ける場合
上記実施形態では、紙媒体７０の外周部のうち左側及び右側のみにマージン領域７１，７２が設けられ、上記（１）の変形例では、紙媒体７０Ａのう外周部のうち左側、右側、上側、及び下側にマージン領域７１，７２，７３，７４が設けられていたが、これに限られない。すなわち、紙媒体の外周部のうち上側及び下側のみにマージン領域７３，７４が設けられていてもよい。
【０１０８】
この場合、ＣＰＵ４０１は、上記図１０のステップＳ１２０で、紙媒体に描かれた少なくとも一本の横分離線ＬＬを検出し、ステップＳ１２２で、その検出結果に基づき、紙媒体に少なくとも１つの縦分離線領域ＬＥを設定し、ステップＳ１２４で、その設定結果に基づき、マージン領域７３を複数の部分マージン領域７３０に区分し、ステップＳ１２６で、上記設定結果に基づき、筆記領域を複数の部分筆記領域に区分し、ステップＳ１３０で、上記区分された複数の部分マージン領域７３０のうち少なくとも１つに描かれたチェックマーク８０を検出し、ステップＳ１４０で、上記区分された複数の部分筆記領域のうち、上記チェックマーク８０が検出された部分マージン領域７３０の下側に位置する部分筆記領域に図形認識領域を設定し、それ以外を文字認識領域に設定すればよい。
【０１０９】
この場合も上記実施形態と同様の効果を得る。
【０１１０】
なお、上記では、ユーザがマージン領域７３に図形領域として指定するためのチェックマーク８０を筆記し、ＣＰＵ４０１が、複数の部分筆記領域のうち、マージン領域７３に描かれたチェックマーク８０に対応する領域に図形認識領域を設定しそれ以外を文字認識領域に設定していたが、これに限られず、ユーザがマージン領域７３に文字領域として指定するためのチェックマーク８０を筆記し、ＣＰＵ４０１が、複数の部分筆記領域のうち、マージン領域７３に描かれたチェックマーク８０に対応する領域に文字認識領域を設定しそれ以外を図形認識領域に設定してもよい。
【０１１１】
（３）マージン領域において範囲指定指示を行う場合（その１）
本変形例では、上記紙媒体７０（図５参照）が用いられる。
【０１１２】
＜紙媒体に記載された文字と図形とを区別して認識するまでの流れ＞
以下、図１５及び図１６を参照しつつ、紙媒体７０に記載された文字と図形とを区別して認識するまでの流れの一例を説明する。
【０１１３】
まず、ユーザは、紙媒体７０を上記載置部２４に載置した状態で、図１５に示すように、上記電子ペン３により、上記筆記領域７５に文字と図形とを混在して筆記する。図１５に示す例では、筆記領域７５には、上部に上記文字Ｔｅ１が筆記され、その下側に上記図形Ｓｈ１が筆記され、その下側に上記文字Ｔｅ２が筆記されている。
【０１１４】
そして、ユーザは、図形領域の範囲を指定することを意図して、上記電子ペン３により、上記マージン領域７１，７２のうち左側のマージン領域７１に、紙媒体７０のＹ軸方向への範囲（つまり上下方向範囲）を指定する右開き括弧マーク８２（範囲指定指示及び領域区分指示に相当）を筆記する。なお、範囲指定指示は、括弧マークに限られず、他のマークでもよい。また、範囲指定指示は、マージン領域７１，７２のうち左側のマージン領域７１に筆記される場合に限られず、右側のマージン領域７２に筆記されてもよく、またマージン領域７１，７２の両方に筆記されてもよい。すなわち、ユーザは、マージン領域７１のうち、筆記領域７５に筆記された上記図形Ｓｈ１の上端に対応する位置から下端に対応する位置を含む上下方向範囲に亘って、右開き括弧マーク８２を筆記する。
【０１１５】
そして、ユーザは、上記電子ペン３により、上記チェック欄Ｃに上記チェックマーク８１を筆記する。すると、電子筆記装置２において、紙媒体７０への筆記内容に対応したストロークデータ群が生成され、操作端末４に送信される。これにより、操作端末４において、紙媒体７０への筆記内容に対応したストロークデータ群が受信され、保存される。
【０１１６】
図１６に、上記図１５に示す状態の紙媒体７０への筆記内容に対応したストロークデータ群を示す。なお、図１５中では、紙媒体７０の周縁に対応する位置に破線を示している。
【０１１７】
図１６に示すように、上記図１５に示す状態の紙媒体７０への筆記内容に対応したストロークデータ群は、上記文字Ｔｅ１，Ｔｅ２それぞれに対応したストロークデータと、上記図形Ｓｈ１に対応したストロークデータと、上記右開き括弧マーク８２に対応したストロークデータと、を含む。
【０１１８】
操作端末４において、このようなストロークデータ群が受信されると、そのストロークデータ群に対し公知の適宜の識別処理が行われることで、マージン領域７１に描かれた上記右開き括弧マーク８２が識別される。これにより、筆記領域７５のうち、上記マージン領域７１に描かれた右開き括弧マーク８２で指定された上下方向範囲に対応する領域７５００（図中では領域７５００の上端位置及び下端位置に一点鎖線を示している）に、図形認識領域が設定され、それ以外が文字認識領域に設定される。
【０１１９】
そして、上記文字認識領域に描かれた文字Ｔｅ１，Ｔｅ２それぞれのストロークデータが、公知の適宜の手法により文字認識されることで、テキストデータ化され、保存される。また、上記図形認識領域に描かれた図形Ｓｈ１のストロークデータが、公知の適宜の手法により画像認識されることで、画像データ化され、保存される。
【０１２０】
＜電子筆記装置側の制御手順＞
次に、図１７を参照しつつ、上記手法を実現するために、操作端末４のＣＰＵ４０１が上記筆記処理プログラムに基づき実行する制御手順を説明する。
【０１２１】
図１７において、ステップＳ１１０は、上記図１０と同様である。その後のステップＳ１２５で、ＣＰＵ４０１は、上記ステップＳ１１０でＲＡＭ４０３に記憶されたストロークデータ群に対し公知の適宜の識別処理を行うことで、マージン領域７１に描かれた、少なくとも１つの右開き括弧マーク８２を識別する。なお、このステップＳ１２５が、各請求項記載の領域区分識別手順に相当する。
【０１２２】
そして、ステップＳ１４０Ｂで、ＣＰＵ４０１は、筆記領域７５のうち、上記ステップＳ１２５で識別された右開き括弧マーク８２で指定された上下方向範囲に対応する領域７５００に図形認識領域を設定し、それ以外を文字認識領域に設定する。なお、このステップＳ１４０Ｂが、各請求項記載の領域設定手順に相当する。
【０１２３】
その後のステップＳ１５０，Ｓ１６０は、上記図１０と同様である。
【０１２４】
＜本変形例の効果＞
本変形例においても、上記実施形態と同様の効果を得る。また、本変形例では、マージン領域７１において右開き括弧マーク８２を識別する。これにより、少ない手間で図形領域である旨を容易に指定することができる。
【０１２５】
また、本変形例では、筆記領域７５のうち、マージン領域７１に描かれた右開き括弧マーク８２で指定された上下方向範囲に対応する領域７５００に図形認識領域を設定しそれ以外を文字認識領域に設定する。これにより、片側のマージン領域７１に右開き括弧マーク８２を筆記するだけで、紙媒体７０のうちの段領域が図形領域である旨を指定することができる。
【０１２６】
なお、上記では、ユーザがマージン領域７１に図形領域の範囲を指定するための右開き括弧マーク８２を筆記し、ＣＰＵ４０１が、筆記領域７５のうち上記領域７５００に図形認識領域を設定しそれ以外を文字認識領域に設定していたが、これに限られず、ユーザがマージン領域７１に文字領域の範囲指定するための右開き括弧マーク８２を筆記し、ＣＰＵ４０１が、筆記領域７５のうち上記領域７５００に文字認識領域を設定しそれ以外を図形認識領域に設定してもよい。
【０１２７】
（４）マージン領域において範囲指定指示を行う場合（その２）
本変形例では、上記紙媒体７０Ａ（図１１参照）が用いられる。
【０１２８】
＜紙媒体に記載された文字と図形とを区別して認識するまでの流れ＞
以下、図１８及び図１９を参照しつつ、紙媒体７０Ａに記載された文字と図形とを区別して認識するまでの流れの一例を説明する。
【０１２９】
まず、ユーザは、紙媒体７０Ａを上記載置部２４に載置した状態で、図１８に示すように、上記電子ペン３により、上記筆記領域７６に文字と図形とを混在して筆記する。図１８に示す例では、筆記領域７５には、左上部に上記文字Ｔｅ１が筆記され、右中部に上記図形Ｓｈ１が筆記され、左下部に上記文字Ｔｅ２が筆記されている。
【０１３０】
そして、ユーザは、図形領域の範囲を指定することを意図して、上記電子ペン３により、上記マージン領域７１，７２のうち左側のマージン領域７１に、紙媒体７０のＹ軸方向への範囲（つまり上下方向範囲）を指定する上記右開き括弧マーク８２を筆記し、上記マージン領域７３，７４のうち上側のマージン領域７３に、紙媒体７０のＸ軸方向への範囲（つまり左右方向範囲）を指定する下開き括弧マーク８３を筆記する。なお、右開き括弧マーク８２及び下開き括弧マーク８３は、各請求項記載の範囲指定指示及び領域区分指示に相当し、そのうち右開き括弧マーク８２が第１範囲指定指示、下開き括弧マーク８３が第２範囲指定指示に相当する。なお、範囲指定指示は、括弧マークに限られず、他のマークでもよい。また、範囲指定指示は、マージン領域７１，７２のうち左側のマージン領域７１に筆記される場合に限られず、右側のマージン領域７２に筆記されてもよく、またマージン領域７１，７２の両方に筆記されてもよい。同様に、範囲指定指示は、マージン領域７３，７４のうち上側のマージン領域７３に筆記される場合に限られず、下側のマージン領域７４に筆記されてもよく、またマージン領域７３，７４の両方に筆記されてもよい。すなわち、ユーザは、マージン領域７１のうち、筆記領域７６に筆記された上記図形Ｓｈ１の上端に対応する位置から下端に対応する位置を含む上下方向範囲に亘って、右開き括弧マーク８２を筆記し、マージン領域７３のうち、筆記領域７６に筆記された上記図形Ｓｈ１の左端に対応する位置から右端に対応する位置を含む左右方向範囲に亘って、下開き括弧マーク８３を筆記する。
【０１３１】
そして、ユーザは、上記電子ペン３により、上記チェック欄Ｃに上記チェックマーク８１を筆記する。すると、電子筆記装置２において、紙媒体７０Ａへの筆記内容に対応したストロークデータ群が生成され、操作端末４に送信される。これにより、操作端末４において、紙媒体７０Ａへの筆記内容に対応したストロークデータ群が受信され、保存される。
【０１３２】
図１９に、上記図１８に示す状態の紙媒体７０Ａへの筆記内容に対応したストロークデータ群を示す。なお、図１９中では、紙媒体７０Ａの周縁に対応する位置に破線を示している。
【０１３３】
図１９に示すように、上記図１５に示す状態の紙媒体７０Ａへの筆記内容に対応したストロークデータ群は、上記文字Ｔｅ１，Ｔｅ２それぞれに対応したストロークデータと、上記図形Ｓｈ１に対応したストロークデータと、上記右開き括弧マーク８２に対応したストロークデータと、上記下開き括弧マーク８３に対応したストロークデータと、を含む。
【０１３４】
操作端末４において、このようなストロークデータ群が受信されると、そのストロークデータ群に対し公知の適宜の識別処理が行われることで、マージン領域７１に描かれた上記右開き括弧マーク８２と、マージン領域７３に描かれた上記下開き括弧マーク８３と、が識別される。これにより、筆記領域７６のうち、上記マージン領域７１に描かれた右開き括弧マーク８２で指定された上下方向範囲に対応する領域７６００ａ（図中では領域７６００ａの上端位置及び下端位置に一点鎖線を示している）と、上記マージン領域７３に描かれた下開き括弧マーク８３で指定された左右方向範囲に対応する領域７６００ｂ（図中では領域７６００ｂの左端位置及び右端位置に一点鎖線を示している）と、の重なり領域７６００ｃに、図形認識領域が設定され、それ以外が文字認識領域に設定される。
【０１３５】
そして、上記文字認識領域に描かれた文字Ｔｅ１，Ｔｅ２それぞれのストロークデータが、公知の適宜の手法により文字認識されることで、テキストデータ化され、保存される。また、上記図形認識領域に描かれた図形Ｓｈ１のストロークデータが、公知の適宜の手法により画像認識されることで、画像データ化され、保存される。
【０１３６】
＜電子筆記装置側の制御手順＞
次に、図２０を参照しつつ、上記手法を実現するために、操作端末４のＣＰＵ４０１が上記筆記処理プログラムに基づき実行する制御手順を説明する。
【０１３７】
図２０において、ステップＳ１１０は、上記図１０と同様である。その後のステップＳ１２５Ｃで、ＣＰＵ４０１は、上記ステップＳ１１０でＲＡＭ４０３に記憶されたストロークデータ群に対し公知の適宜の識別処理を行うことで、マージン領域７１に描かれた、少なくとも１つの右開き括弧マーク８２と、マージン領域７３に描かれた、少なくとも１つの下開き括弧マーク８３と、を識別する。なお、このステップＳ１２５Ｃが、各請求項記載の領域区分識別手順に相当する。
【０１３８】
そして、ステップＳ１４０Ｃで、ＣＰＵ４０１は、筆記領域７６のうち、上記ステップＳ１２５で識別された右開き括弧マーク８２で指定された上下方向範囲に対応する領域７５００ａと、上記ステップＳ１２５で識別された下開き括弧マーク８３で指定された左右方向範囲に対応する領域７５００ｂと、の重なり領域７５００ｃに図形認識領域を設定し、それ以外を文字認識領域に設定する。なお、このステップＳ１４０Ｃが、各請求項記載の領域設定手順に相当する。
【０１３９】
その後のステップＳ１５０，Ｓ１６０は、上記図１０と同様である。
【０１４０】
＜本変形例の効果＞
本変形例においても、上記実施形態と同様の効果を得る。また、本変形例によれば、左側及び上側のマージン領域７１，７３にそれぞれ右開き括弧マーク８２及び下開き括弧マーク８３を筆記するだけで、紙媒体７０Ａのうちの限られた一部領域に対しても、図形領域である旨を指定することができる。
【０１４１】
なお、上記では、ユーザがマージン領域７１，７３に図形領域の範囲を指定するための右開き括弧マーク８２及び下開き括弧マーク８３を筆記し、ＣＰＵ４０１が、筆記領域７５のうち上記重なり領域７６００ｃに図形認識領域を設定しそれ以外を文字認識領域に設定していたが、これに限られず、ユーザがマージン領域７１，７３に文字領域の範囲指定するための右開き括弧マーク８２及び下開き括弧マーク８３を筆記し、ＣＰＵ４０１が、筆記領域７５のうち上記重なり領域７６００ｃに文字認識領域を設定しそれ以外を図形認識領域に設定してもよい。
【０１４２】
（５）マージン領域において範囲指定指示を行う場合（その３）
上記（２）の変形例と同様、外周部のうち上側及び下側のみにマージン領域７３，７４が設けられている紙媒体を用いてもよい。
【０１４３】
この場合、ＣＰＵ４０１は、上記図１６のステップＳ１２５で、マージン領域７３に描かれた少なくとも１つの下開き括弧マーク８３を識別し、ステップＳ１４０Ｂで、筆記領域７５のうち、その識別された下開き括弧マーク８３で指定された左右方向範囲に対応する領域に図形認識領域を設定し、それ以外を文字認識領域に設定すればよい。
【０１４４】
この場合も上記実施形態と同様の効果を得る。
【０１４５】
なお、上記では、ユーザがマージン領域７３に図形領域の範囲を指定するための下開き括弧マーク８３を筆記し、ＣＰＵ４０１が、筆記領域７５のうち、マージン領域７３に描かれた下開き括弧マーク８３で指定された左右方向範囲に対応する領域に図形認識領域を設定しそれ以外を文字認識領域に設定していたが、これに限られず、ユーザがマージン領域７３に文字領域の範囲指定するための下開き括弧マーク８３を筆記し、ＣＰＵ４０１が、筆記領域７５のうち、マージン領域７３に描かれた下開き括弧マーク８３で指定された左右方向範囲に対応する領域に文字認識領域を設定しそれ以外を図形認識領域に設定してもよい。
【０１４６】
（６）電子筆記装置において全部の処理を実行する場合
上記実施形態では、ストロークデータの生成までを電子筆記装置２において実行し、その後の処理を操作端末４において実行していたが、これに限られず、電子筆記装置２において全部の処理を実行してもよい。
【０１４７】
以下、図２１を参照しつつ、本変形例における、電子筆記装置２のＣＰＵ２０１が実行する制御手順を説明する。
【０１４８】
図２１において、ステップＳ１０，Ｓ２０，Ｓ３０は、上記図９と同様である。なお、ステップＳ３０は、各請求項記載のストロークデータ生成手段として機能する。その後のステップＳ５０で、ＣＰＵ２０１は、上記ステップＳ３０でＲＡＭ２０３に記憶されたストロークデータ群に対し公知の適宜の識別処理を行うことで、紙媒体７０に描かれた、少なくとも一本の横分離線ＳＬを検出する。
【０１４９】
そして、ステップＳ５２で、ＣＰＵ２０１は、上記ステップＳ５０での検出結果に基づき、紙媒体７０に少なくとも１つの横分離線領域ＳＥを設定する。
【０１５０】
その後、ステップＳ５４で、ＣＰＵ２０１は、上記ステップＳ５２での設定結果に基づき、マージン領域７１を複数の部分マージン領域７１０に区分する。
【０１５１】
そして、ステップＳ５６で、ＣＰＵ２０１は、上記ステップＳ５２での設定結果に基づき、筆記領域７５を複数の部分筆記領域７５０に区分する。
【０１５２】
その後、ステップＳ６０で、ＣＰＵ２０１は、上記ステップＳ３０でＲＡＭ２０３に記憶されたストロークデータ群に対し公知の適宜の識別処理を行うことで、上記ステップＳ５４で区分された複数の部分マージン領域７１０のうち少なくとも１つに描かれた、チェックマーク８０を検出する。
【０１５３】
そして、ステップＳ７０で、ＣＰＵ２０１は、上記ステップＳ１２６で区分された複数の部分筆記領域７５０のうち、上記ステップＳ６０でチェックマーク８０が検出された部分マージン領域７１０の右側に位置する部分筆記領域７５０に図形認識領域を設定し、それ以外を文字認識領域に設定する。なお、このステップＳ７０が、各請求項記載の領域設定手段として機能する。
【０１５４】
その後、ステップＳ８０で、ＣＰＵ２０１は、上記ステップＳ７０での設定結果に基づき、上記ステップＳ３０でＲＡＭ２０３に記憶されたストロークデータ群のうち、文字認識領域へ描かれた筆記内容に対応したストロークデータを、公知の適宜の手法により文字認識することでテキストデータ化する。生成されたテキストデータは、フラッシュメモリ２０４に記憶される。
【０１５５】
そして、ステップＳ９０で、ＣＰＵ２０１は、上記ステップＳ７０での設定結果に基づき、上記ステップＳ３０でＲＡＭ２０３に記憶されたストロークデータ群のうち、図形認識領域へ描かれた筆記内容に対応したストロークデータを、公知の適宜の手法により画像認識することで画像データ化する。生成された画像データは、フラッシュメモリ２０４に記憶される。以上により、このフローチャートに示す処理が終了される。
【０１５６】
なお、上記ステップＳ５０，Ｓ６０は、各請求項記載の領域区分識別手段を構成する。また、上記ステップＳ８０，Ｓ９０は、各請求項記載のデータ化手段を構成する。
【０１５７】
本変形例においても、上記実施形態と同様の効果を得る。
【０１５８】
なお、上記（１）〜（５）の変形例の手法についても、電子筆記装置２において全部の処理を実行することが可能である。
【０１５９】
（７）座標データ取得の他の方式
以上においては、電子ペン３からの磁界を座標検出部２５で検出することで、ユーザの筆記動作による電子ペン３の移動を検出したが、これに限られない。すなわち、ユーザの筆記動作時における電子ペン３の先端の動きを、超音波や赤外線やカメラ撮像結果を用いて検知する方式を用いてもよい。また、電子筆記装置２の載置部２４に公知の感圧手段を設け、ユーザの筆記動作時において電子ペン３の先端が紙媒体７０等を押圧する力を上記感圧手段で検出することにより、電子ペン３の先端の動きを検出してもよい。この場合には、筆記具として、上記のような磁界を発生するためのコイル３５を備えた電子ペン３ではなく、通常のボールペンなどの汎用のペンを用いることができる。
【０１６０】
（８）紙媒体のカメラ撮像データを筆記軌跡データとして取得する場合
すなわち、ユーザが適宜の筆記具を用いて適宜の紙媒体に筆記を行った後、その紙媒体をカメラで撮像し、操作端末４において、その紙媒体の撮像データを、紙媒体に対する筆記軌跡データとして取得し、その撮像データのうち、少なくともマージン領域へ描かれた領域区分指示（上記チェックマーク８０等）を識別し、その識別結果に基づき、紙媒体の筆記領域のうち、文字認識領域と図形認識領域とをそれぞれ設定し、その設定結果に基づき、文字認識領域に描かれた撮像データを文字認識してテキストデータ化すると共に、図形認識領域に描かれた撮像データを画像認識して画像データ化することもできる。
【０１６１】
（９）その他
以上の説明において、「垂直」「平行」「平面」等の記載がある場合には、当該記載は厳密な意味ではない。すなわち、それら「垂直」「平行」「平面」等とは、設計上、製造上の公差、誤差が許容され、「実質的に垂直」「実質的に平行」「実質的に平面」等という意味である。
【０１６２】
また、以上の説明において、外観上の寸法や大きさが「同一」「等しい」「異なる」等の記載がある場合は、当該記載は厳密な意味ではない。すなわち、それら「同一」「等しい」「異なる」等とは、設計上、製造上の公差、誤差が許容され、「実質的に同一」「実質的に等しい」「実質的に異なる」等という意味である。但し、例えばしきい値や基準値等、所定の判定基準となる値あるいは区切りとなる値の記載がある場合は、それらに対しての「同一」「等しい」「異なる」等は、上記とは異なり、厳密な意味である。
【０１６３】
また、図１、図２、図４中に示す矢印は、信号の流れの一例を示すものであり、信号の流れ方向を限定するものではない。
【０１６４】
また、図９及び図１０等に示すフローチャートは、本発明を図示する手順に限定するものではなく、発明の趣旨及び技術的思想を逸脱しない範囲内で手順の追加・削除又は順番の変更等をしてもよい。
【０１６５】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用してもよい。
【０１６６】
その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。
【符号の説明】
【０１６７】
２                電子筆記装置
３                電子ペン（筆記具）
４                操作端末
７０              紙媒体（被筆記媒体）
７０Ａ            紙媒体（被筆記媒体）
７１              マージン領域
７２              マージン領域
７３              マージン領域
７４              マージン領域
７５              筆記領域
７６              筆記領域
８０              チェックマーク（領域指定指示）
８２              右開き括弧マーク（第１範囲指定指示、範囲指定指示、領域指定指示）
８３              下開き括弧マーク（第２範囲指定指示、範囲指定指示、領域指定指示）
４０１            ＣＰＵ（演算手段）
４０５            操作部（操作手段）
４０６            表示部（表示手段）
４０７            通信制御部（通信手段）
７１０            部分マージン領域（第１部分マージン領域に相当）
７３０            部分マージン領域（第２部分マージン領域に相当）
７５０            部分筆記領域
７６０            部分筆記領域
ＳＬ              横分離線（第１領域分離線、領域分離線）
ＬＬ              縦分離線（第２領域分離線、領域分離線）
【図１】
0006468151.tif 000002
【図２】
0006468151.tif 000003
【図３】
0006468151.tif 000004
【図４】
0006468151.tif 000005
【図５】
0006468151.tif 000006
【図６】
0006468151.tif 000007
【図７】
0006468151.tif 000008
【図８】
0006468151.tif 000009
【図９】
0006468151.tif 000010
【図１０】
0006468151.tif 000011
【図１１】
0006468151.tif 000012
【図１２】
0006468151.tif 000013
【図１３】
0006468151.tif 000014
【図１４】
0006468151.tif 000015
【図１５】
0006468151.tif 000016
【図１６】
0006468151.tif 000017
【図１７】
0006468151.tif 000018
【図１８】
0006468151.tif 000019
【図１９】
0006468151.tif 000020
【図２０】
0006468151.tif 000021
【図２１】
0006468151.tif 000022