(57)【要約】      （修正有）【課題】分離した複数のストロークデータを簡単にマージできるデータ処理装置及び制御プログラムを提供する。【解決手段】読取装置は、紙媒体１００の用紙１２１上の筆跡に対応するストロークデータを生成し、スマートフォン１９に送信する。ストロークデータのファイルは、筆記の確定操作毎に分離する。スマートフォン１９はファイル毎にテキストデータを生成して記憶する。ユーザは、追記によってストロークデータのファイルが分離しているページの用紙１２１を、スマートフォン１９のカメラで撮像する。スマートフォン１９は、用紙１２１の撮像データから撮像テキストデータを作成する。スマートフォン１９は、作成した撮像テキストデータと、ファイル毎に記憶したテキストデータを比較し、一致する部分を含むファイルを抽出する。スマートフォン１９は、抽出したファイルのストロークデータ同士をマージする。【選択図】図３
2017146690.tif 000002
【特許請求の範囲】
【請求項１】
記録媒体上に筆記した筆跡を、座標情報と時間情報を含むデータとして、当該筆跡を確定させる確定操作毎に分離させたストロークデータを記憶するストロークデータ記憶手段と、
前記ストロークデータ記憶手段によって記憶された前記ストロークデータに対応するテキストデータを作成するテキストデータ作成手段と、
前記テキストデータ作成手段によって作成された前記テキストデータを記憶する第一記憶手段と、
撮像する撮像手段と、
前記撮像手段によって撮像された撮像データの中から文字情報を認識し、該認識した前記文字情報に対応するテキストデータである撮像テキストデータを作成する撮像テキストデータ作成手段と、
前記撮像テキストデータ作成手段によって作成された前記撮像テキストデータと、前記第一記憶手段によって記憶された前記テキストデータとを比較し、一致する部分を含む前記テキストデータを抽出するテキストデータ抽出手段と、
前記テキストデータ抽出手段によって抽出された前記テキストデータに対応する前記ストロークデータ同士を合成する第一合成手段と
を備えたこと
を特徴とするデータ処理装置。
【請求項２】
前記ストロークデータ記憶手段によって記憶された前記ストロークデータに対応する画像データを作成する画像データ作成手段と、
前記画像データ作成手段によって作成された前記画像データを記憶する第二記憶手段と、
前記撮像手段によって撮像された前記撮像データと、前記第二記憶手段によって記憶された前記画像データとを比較し、一致する部分を含む前記画像データを抽出する画像データ抽出手段と
を備え、
前記第一合成手段は、
前記テキストデータ抽出手段が前記一致する部分を含む前記テキストデータを抽出できなかった場合、前記画像データ抽出手段によって抽出された前記画像データに対応する前記ストロークデータ同士を合成すること
を特徴とする請求項１に記載のデータ処理装置。
【請求項３】
前記第一合成手段が合成する前記ストロークデータ同士の何れかを、前記ストロークデータ記憶手段によって記憶された前記ストロークデータの中から選択する第一選択手段を備えたこと
を特徴とする請求項１又は２に記載のデータ処理装置。
【請求項４】
記録媒体上に筆記した筆跡を、座標情報と時間情報を含むデータとして、当該筆跡を確定させる確定操作毎に分離させたストロークデータを記憶するストロークデータ記憶手段と、
前記ストロークデータ記憶手段によって記憶された前記ストロークデータに対応する画像データを作成する画像データ作成手段と、
前記画像データ作成手段によって作成された前記画像データを記憶する第三記憶手段と、
撮像する撮像手段と、
前記撮像手段によって撮像された撮像データと、前記第三記憶手段によって記憶された前記画像データとを比較し、一致する部分を含む前記画像データを抽出する画像データ抽出手段と、
前記画像データ抽出手段によって抽出された前記画像データに対応する前記ストロークデータ同士を合成する第二合成手段と
を備えたこと
を特徴とするデータ処理装置。
【請求項５】
前記第二合成手段が合成する前記ストロークデータ同士の何れかを、前記ストロークデータ記憶手段によって記憶された前記ストロークデータの中から選択する第二選択手段を備えたこと
を特徴とする請求項４に記載のデータ処理装置。
【請求項６】
記録媒体上に筆記した筆跡を、座標情報と時間情報を含むデータとして、当該筆跡を確定させる確定操作毎に分離させたストロークデータを記憶するストロークデータ記憶部と、
前記ストロークデータ記憶部によって記憶された前記ストロークデータに対応するテキストデータを作成するテキストデータ作成部と、
前記テキストデータ作成部によって作成された前記テキストデータを記憶する記憶部と、
撮像する撮像部と
を備えたデータ処理装置のコンピュータに、
前記撮像部によって撮像された撮像データの中から文字情報を認識し、該認識した前記文字情報に対応するテキストデータである撮像テキストデータを作成する撮像テキストデータ作成ステップと、
前記撮像テキストデータ作成ステップにおいて作成された前記撮像テキストデータと、前記記憶部によって記憶された前記テキストデータとを比較し、一致する部分を含む前記テキストデータを抽出するテキストデータ抽出ステップと、
前記テキストデータ抽出ステップにおいて抽出された前記テキストデータに対応する前記ストロークデータ同士を合成する合成ステップと
を実行させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデータ処理装置及び制御プログラムに関する。
【背景技術】
【０００２】
筆記具の位置を示す座標情報を含むデータを生成できる手書き入力システムが知られている（例えば、特許文献１参照）。特許文献１が開示する手書き入力システムでは、ユーザがノートに筆記した筆跡を、読取装置が読み取る。ユーザは筆記したページを確定する為に、ページ上に設けられたチェックボックスにチェックを入れる。読取装置は、チェックボックスに入れられたチェックを検出すると、筆記具の軌跡における複数の位置を示す座標情報を含むストロークデータを生成する。読取装置は、生成したストロークデータを、パーソナルコンピュータ等の情報端末に送信する。情報端末は、受信したストロークデータに基づき、筆記具により筆記された線画を示す画像データを生成する。情報端末は、画像データに基づく画像をディスプレイに表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−８６０４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ユーザはチェックボックスにチェックを入れてページを一旦確定して保存した後で、同じノートのページに追記する場合がある。この場合、ストロークデータとしては別ページとして分離してしまうという問題点があった。ユーザがストロークデータを１つにまとめようとした場合、該当ページをユーザが選択してマージ処理を行う必要があり、面倒であった。
【０００５】
本発明の目的は、分離した複数のストロークデータを簡単にマージできるデータ処理装置及び制御プログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明の第一態様に係るデータ処理装置は、記録媒体上に筆記した筆跡を、座標情報と時間情報を含むデータとして、当該筆跡を確定させる確定操作毎に分離させたストロークデータを記憶するストロークデータ記憶手段と、前記ストロークデータ記憶手段によって記憶された前記ストロークデータに対応するテキストデータを作成するテキストデータ作成手段と、前記テキストデータ作成手段によって作成された前記テキストデータを記憶する第一記憶手段と、撮像する撮像手段と、前記撮像手段によって撮像された撮像データの中から文字情報を認識し、該認識した前記文字情報に対応するテキストデータである撮像テキストデータを作成する撮像テキストデータ作成手段と、前記撮像テキストデータ作成手段によって作成された前記撮像テキストデータと、前記第一記憶手段によって記憶された前記テキストデータとを比較し、一致する部分を含む前記テキストデータを抽出するテキストデータ抽出手段と、前記テキストデータ抽出手段によって抽出された前記テキストデータに対応する前記ストロークデータ同士を合成する第一合成手段とを備えたことを特徴とする。
【０００７】
第一態様によれば、マージ（合成）したいストロークデータに該当する記録媒体を撮像手段で撮像するだけで、ストロークデータを自動的にマージできるので、ユーザの手間がかからない。撮像テキストデータと、テキストデータとを比較するので、一致しているか否かのマッチングが行い易い。ストロークデータをマージするので、それから記録媒体のページ単位のテキスト化等を行い易い。
【０００８】
第一態様に係るデータ処理装置は、前記ストロークデータ記憶手段によって記憶された前記ストロークデータに対応する画像データを作成する画像データ作成手段と、前記画像データ作成手段によって作成された前記画像データを記憶する第二記憶手段と、前記撮像手段によって撮像された前記撮像データと、前記第二記憶手段によって記憶された前記画像データとを比較し、一致する部分を含む前記画像データを抽出する画像データ抽出手段とを備え、前記第一合成手段は、前記テキストデータ抽出手段が前記一致する部分を含む前記テキストデータを抽出できなかった場合、前記画像データ抽出手段によって抽出された前記画像データに対応する前記ストロークデータ同士を合成してもよい。データ処理装置は、仮に、テキストデータ抽出手段が一致する部分を含むテキストデータを抽出できなかった場合でも、画像データ抽出手段が一致する部分を含む画像データを抽出し、抽出された画像データに対応するストロークデータ同士を合成できる。データ処理装置は、撮像データと画像データを比較するので、一致しているか否かのマッチングがより行い易い。これにより、データ処理装置は、マージしたいストロークデータの抽出精度を向上できる。
【０００９】
第一態様に係るデータ処理装置は、前記第一合成手段が合成する前記ストロークデータ同士の何れかを、前記ストロークデータ記憶手段によって記憶された前記ストロークデータの中から選択する第一選択手段を備えてもよい。テキストデータを比較する前に、マージするストロークデータの何れかをユーザが選択できる。これにより、データ処理装置は、テキストデータのマッチング処理を正確且つ速やかに行うことができる。
【００１０】
第二態様に係るデータ処理装置は、記録媒体上に筆記した筆跡を、座標情報と時間情報を含むデータとして、当該筆跡を確定させる確定操作毎に分離させたストロークデータとして記憶するストロークデータ記憶手段と、前記ストロークデータ記憶手段によって記憶された前記ストロークデータに対応する画像データを作成する画像データ作成手段と、前記画像データ作成手段によって作成された前記画像データを記憶する第三記憶手段と、撮像する撮像手段と、前記撮像手段によって撮像された撮像データと、前記第三記憶手段によって記憶された前記画像データとを比較し、一致する部分を含む前記画像データを抽出する画像データ抽出手段と、前記画像データ抽出手段によって抽出された前記画像データに対応する前記ストロークデータ同士を合成する第二合成手段とを備えたことを特徴とする。
【００１１】
第二態様によれば、マージ（合成）したいストロークデータに該当する記録媒体を撮像手段で撮像するだけで、ストロークデータを自動的にマージできるので、ユーザの手間がかからない。撮像データと、画像データとを比較するので、一致しているか否かのマッチングが行い易い。ストロークデータをマージするので、それから記録媒体のページ単位のテキスト化等を行い易い。
【００１２】
第二態様に係るデータ処理装置は、前記第二合成手段が合成する前記ストロークデータ同士の何れかを、前記ストロークデータ記憶手段によって記憶された前記ストロークデータの中から選択する第二選択手段を備えてもよい。撮像データと画像データを比較する前に、マージするストロークデータ同士の何れかをユーザが選択できる。これにより、データ処理装置は、撮像データと画像データのマッチング処理を正確且つ速やかに行うことができる。
【００１３】
本発明の第三態様に係る制御プログラムは、記録媒体上に筆記した筆跡を、座標情報と時間情報を含むデータとして、当該筆跡を確定させる確定操作毎に分離させたストロークデータを記憶するストロークデータ記憶部と、前記ストロークデータ記憶部によって記憶された前記ストロークデータに対応するテキストデータを作成するテキストデータ作成部と、前記テキストデータ作成部によって作成された前記テキストデータを記憶する記憶部と、撮像する撮像部とを備えたデータ処理装置のコンピュータに、前記撮像部によって撮像された撮像データの中から文字情報を認識し、該認識した前記文字情報に対応するテキストデータである撮像テキストデータを作成する撮像テキストデータ作成ステップと、前記撮像テキストデータ作成ステップにおいて作成された前記撮像テキストデータと、前記記憶部によって記憶された前記テキストデータとを比較し、一致する部分を含む前記テキストデータを抽出するテキストデータ抽出ステップと、前記テキストデータ抽出ステップにおいて抽出された前記テキストデータに対応する前記ストロークデータ同士を合成する合成ステップとを実行させる。第三態様によれば、第一態様と同様の効果を奏することができる。
【００１４】
なお、上記第一態様の一部の構成を任意に組み合わせてもよい。
【図面の簡単な説明】
【００１５】
【図１】手書入力システム１の概要を示す図である。
【図２】手書入力システム１の電気的構成を示すブロック図である。
【図３】分離したストロークデータをマージする方法を概念的に示した説明図である。
【図４】データ生成処理のフローチャートである。
【図５】マージ制御処理のフローチャートである。
【図６】初期処理のフローチャートである。
【図７】対象ファイル１決定処理のフローチャートである。
【図８】対象ファイル２決定処理のフローチャートである。
【発明を実施するための形態】
【００１６】
本発明を具体化した実施の形態について、図面を参照して説明する。参照する図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成などは、それのみに限定する趣旨ではなく、単なる説明例である。
【００１７】
図１を参照して、手書入力システム１の概要を説明する。以下の説明では、図１の左上側、右下側、上側、下側、右上側、左下側を、夫々、読取装置２及び紙媒体１００の左側、右側、前側、後側、上側、下側とする。
【００１８】
図１に示すように、手書入力システム１は、読取装置２、電子ペン３、スマートフォン１９等を備える。読取装置２は、折り畳んで携行可能な、薄型軽量の手書入力装置である。手書入力システム１では、ユーザは電子ペン３を用いて、読取装置２に装着された紙媒体１００の用紙１２０に、線画を記入する。線画は、キャラクタ（文字、数字、記号等）、図形等を含む。読取装置２は、電子ペン３の位置を検出する。読取装置２は、経時的に検出された電子ペン３の複数の位置に基づき、電子ペン３の軌跡を特定する。スマートフォン１９は、読取装置２で特定された電子ペン３の軌跡のデータに基づき、用紙１２０に筆記された線画を電子化したテキストデータ又は画像データを生成し、記憶する。
【００１９】
読取装置２は、左右一対の左読取装置２Ｌ及び右読取装置２Ｒと、カバー４とを含む。左読取装置２Ｌ及び右読取装置２Ｒは夫々、矩形薄板状である。左読取装置２Ｌ及び右読取装置２Ｒは、カバー４の前面に左右方向に見開き可能に配置される。左読取装置２Ｌ及び右読取装置２Ｒは、フラットケーブル（図示略）により電気的に接続されている。カバー４の左側には、袋状の袋部４Ａが設けられる。左読取装置２Ｌは、袋部４Ａ内に差し込まれることで、カバー４に取り外し可能に装着される。右読取装置２Ｒは、例えば両面テープ又は粘着性を有する樹脂フィルム等により、カバー４の右前面に取り外し可能に貼り付けられる。
【００２０】
紙媒体１００は、左右方向に見開き可能な冊子状である。紙媒体１００では、一対の表紙（表表紙１１０Ｌ及び裏表紙１１０Ｒ）と複数の用紙１２０とが、各々の縁部の一部で綴じられている。一例として、紙媒体１００はＡ５サイズのノートである。表表紙１１０Ｌが左読取装置２Ｌの前面に載置され、且つ、裏表紙１１０Ｒが右読取装置２Ｒの前面に載置されるように、紙媒体１００は読取装置２に装着される。紙媒体１００は、例えば両面テープ又は粘着性を有する樹脂フィルム等により、読取装置２に取り外し可能に装着される。紙媒体１００が読取装置２に位置決めされた状態で、紙媒体１００は読取装置２に装着される。左読取装置２Ｌ及び右読取装置２Ｒは夫々、表表紙１１０Ｌ及び裏表紙１１０Ｒと一体的に移動可能である。
【００２１】
なお、読取装置２は、左読取装置２Ｌ及び右読取装置２Ｒの何れかのみを備えてもよい。この場合、読取装置２に装着可能な紙媒体１００は、例えばＡ５サイズのレポート用紙である。
【００２２】
ユーザは電子ペン３を用いて、読取装置２に装着された紙媒体１００の用紙１２０に線画を記入できる。電子ペン３は、公知の電磁誘導式の電子ペンである。電子ペン３は、筒体３０、芯体３１、コイル３２、可変容量コンデンサ３３、基板３４、コンデンサ３５、及びインク収納部３６を主に備える。
【００２３】
筒体３０は略円筒状で、芯体３１の一部、コイル３２、可変容量コンデンサ３３、基板３４、コンデンサ３５、及びインク収納部３６を内部に収容する。芯体３１は、電子ペン３の先端部に設けられる。芯体３１は、図示外の弾性部材により、電子ペン３の先端側に付勢されている。芯体３１の先端部は、筒体３０の外部に突出している。芯体３１の後端側は、インク収納部３６に接続されている。インク収納部３６はインクを収納し、芯体３１にインクを供給する。ユーザが電子ペン３を用いて用紙１２０に記入すると、インクにより用紙１２０に線画が形成される。
【００２４】
コイル３２は、インク収納部３６の周囲に巻回された状態で、芯体３１と可変容量コンデンサ３３との間に保持されている。可変容量コンデンサ３３は、基板３４により、電子ペン３の内部に固定されている。基板３４には、コンデンサ３５が搭載されている。コンデンサ３５及び可変容量コンデンサ３３は、コイル３２に並列に接続され、周知の共振（同調）回路を構成する。
【００２５】
電子ペン３は更に、検出スイッチ（図示略）を備える。検出スイッチは、基板３４の先端部に実装されている。電子ペン３を用いて用紙１２０に線画が記入されている状態では、芯体３１は、電子ペン３の内部にやや退入している。この状態で、芯体３１の後端部は検出スイッチを押し、検出スイッチはＯＮ状態である。ＣＰＵ２１（図２参照）は、検出スイッチがＯＮ状態であるか否かに基づき、用紙１２０に線画が記入されている状態であるか否かを検出できる。
【００２６】
スマートフォン１９は、タッチパネル１９１及びディスプレイ１９２を備える情報端末である。タッチパネル１９１は、各種指示を入力するために使用される。ディスプレイ１９２は、画像データに対応する画像、及びテキストデータに対応する文字等を表示可能である。なお、スマートフォン１９の代わりに、汎用ＰＣ、タブレットＰＣ等の端末装置が用いられてもよい。
【００２７】
図２を参照して、手書入力システム１の電気的構成を説明する。読取装置２は、センサ基板７Ｌ、７Ｒ、メイン基板２０、センサ制御基板２８、２９、及び入力部２５を備える。センサ基板７Ｌ、７Ｒは夫々、左読取装置２Ｌ、右読取装置２Ｒの内部に設けられる。入力部２５は、右読取装置２Ｒに設けられる。
【００２８】
メイン基板２０は、ＣＰＵ２１、ＲＡＭ２２、フラッシュＲＯＭ２３、及び無線通信部２４を備える。ＲＡＭ２２、フラッシュＲＯＭ２３、及び無線通信部２４は、ＣＰＵ２１に電気的に接続されている。ＣＰＵ２１は読取装置２の制御を行う。ＲＡＭ２２は、演算データ等の各種データを一時的に記憶する。
【００２９】
フラッシュＲＯＭ２３は、ＣＰＵ２１が読取装置２を制御するために実行する各種プログラムを記憶する。フラッシュＲＯＭ２３は、電子ペン３の軌跡を示すストロークデータを記憶する。フラッシュＲＯＭ２３は、後述の位置特定テーブルを記憶する。フラッシュＲＯＭ２３は、読取装置２に関する情報（以下、内部情報という。）を記憶する。内部情報は、例えば、読取装置２のファームウェアのバージョン情報、ストロークデータの保存回数、電源ＯＮの回数、エラー発生の回数、読取装置２に装着された紙媒体１００の種類、日付、時刻、各種設定値等を含む。フラッシュＲＯＭ２３は、内部情報を数値データで記憶する。無線通信部２４は、外部の電子機器と近距離無線通信を実行する為のコントローラである。
【００３０】
入力部２５は、ＣＰＵ２１に電気的に接続されている。入力部２５は、読取装置２に対する指示を入力する為のスイッチを含む。詳細には、入力部２５は、電源スイッチを含む。電源スイッチは、読取装置２に対して、電源のＯＮ／ＯＦＦの指示を入力する為のスイッチである。
【００３１】
センサ基板７Ｌ、７Ｒには、左右方向（Ｘ軸方向）及び上下方向（Ｙ軸方向）の各々に、細長いループコイルが多数配列されている。センサ基板７Ｌは、センサ制御基板２８のＡＳＩＣ２８Ａに電気的に接続されている。ＡＳＩＣ２８Ａは、電子ペン３による記入動作がセンサ基板７Ｌ上で行われた場合に、電子ペン３の位置を座標情報として検出する。センサ基板７Ｒは、センサ制御基板２９のＡＳＩＣ２９Ａに電気的に接続されている。ＡＳＩＣ２９Ａは、電子ペン３による記入動作がセンサ基板７Ｒ上で行われた場合に、電子ペン３の位置を座標情報として検出する。ＡＳＩＣ２８Ａ、２９Ａのうち、マスター側のＡＳＩＣ２８ＡはＣＰＵ２１に直接接続され、スレーブ側のＡＳＩＣ２９ＡはＡＳＩＣ２８Ａを介してＣＰＵ２１に接続されている。
【００３２】
センサ基板７Ｌ、７Ｒの夫々は、検出領域を含む。検出領域は、センサ基板７Ｌ、７Ｒの夫々において、ループコイルが配列されている部分に対応する領域である。従って、紙媒体１００が読取装置２に適正位置で装着されると、検出領域上に、紙媒体１００が載置される。センサ基板７Ｌの検出領域及びセンサ基板７Ｒの検出領域は、同一の構成を有する。従って、以下の説明では、センサ基板７Ｌの検出領域についてのみ説明し、センサ基板７Ｒの検出領域の説明は省略する。
【００３３】
線画データが取得される原理を説明する。ＣＰＵ２１はＡＳＩＣ２８Ａ、２９Ａを制御して、センサ基板７Ｌ、７Ｒの各々のループコイルに、一本ずつ特定の周波数の電流（励磁用送信電流）を流す。これにより、センサ基板７Ｌ、７Ｒの各々のループコイルから磁界が発生する。この状態で、例えばユーザが電子ペン３を用いて、読取装置２に固定された紙媒体１００の用紙１２０に線画を記入する動作を行うと、電子ペン３はセンサ基板７Ｌ、７Ｒに近接する。そのため、電子ペン３の共振回路は電磁誘導によって共振し、誘導磁界を生じる。
【００３４】
次に、ＣＰＵ２１はＡＳＩＣ２８Ａ、２９Ａを制御して、センサ基板７Ｌ、７Ｒの各々のループコイルからの磁界の発生を停止させる。センサ基板７Ｌ、７Ｒの各々のループコイルは、電子ペン３の共振回路から発せられる誘導磁界を受信する。ＣＰＵ２１はＡＳＩＣ２８Ａ、２９Ａを制御して、センサ基板７Ｌ、７Ｒの各々のループコイルに流れる信号電流（受信電流）を検出させる。ＡＳＩＣ２８Ａ、２９Ａがこの動作を全てのループコイルについて一本ずつ実行することで、受信電流に基づいて電子ペン３の位置が座標情報として検出される。
【００３５】
位置特定テーブルは、読取装置２で検出可能な電子ペン３の全ての座標点と、読取装置２に固定された用紙１２０における座標点との対応を定めるテーブルである。ＣＰＵ２１は、位置特定テーブルを参照することで、検出した電子ペン３の座標点に基づき、用紙１２０における線画の記入位置を特定できる。
【００３６】
本実施形態では、ＣＰＵ２１は、検出した電子ペン３の座標点に基づき、図３に示す紙媒体１００の用紙１２１における記入領域１２２及びチェックボックス１３０の何れに線画が記入されているかを判断できる。記入領域１２２に線画が記入されている場合、ＣＰＵ２１は、一の連続する線画毎に線画データを取得し、ＲＡＭ２２に一時記憶する。線画データは、電子ペン３が用紙１２１に接触してから離れるまでの一回の記入動作における、電子ペン３の軌跡を示す複数の座標情報を含む。座標情報は、絶対座標及び相対座標の何れを示してもよい。
【００３７】
チェックボックス１３０に線画が記入されている場合、ＣＰＵ２１は、ＲＡＭ２２に一時記憶されている線画データに基づき、ストロークデータを生成してフラッシュＲＯＭ２３に記憶する。ストロークデータは、記入領域１２２に記入されている線画の一部又は全体を示す座標情報と、ストローク間の順序関係を示す時間情報等を含む。検出領域は指示領域を含む。紙媒体１００が読取装置２に適正位置で装着されると、指示領域とチェックボックス１３０とが位置的に対応する。
【００３８】
スマートフォン１９は、ＣＰＵ４１、ＲＡＭ４２、フラッシュＲＯＭ４３、無線通信部４４、入力回路４５、出力回路４６、駆動回路４７、タッチパネル１９１、ディスプレイ１９２、カメラ１９３を備える。ＣＰＵ４１はスマートフォン１９の制御を行う。ＣＰＵ４１は、ＲＡＭ４２、フラッシュＲＯＭ４３、無線通信部４４、入力回路４５、出力回路４６、及び駆動回路４７と電気的に接続している。
【００３９】
ＲＡＭ４２は種々の一時データを記憶する。無線通信部４４は、外部の電子機器と近距離無線通信を実行する為のコントローラである。入力回路４５は、ＣＰＵ４１へタッチパネル１９１からの指示を送る制御を行う。出力回路４６は、ＣＰＵ４１からの指示に応じてディスプレイ１９２に画像を表示する制御を行う。駆動回路４７は、ＣＰＵ４１からの指示に応じてカメラ１９３を駆動し、カメラ１９３で撮像した撮像データをＣＰＵ４１に送信する制御を行う。
【００４０】
フラッシュＲＯＭ４３は、ＣＰＵ４１が実行する各種プログラム、及び、読取装置２から受信したストロークデータを記憶する。スマートフォン１９は、図示外の媒体読取装置（例えば、メモリカードスロット）を備える。スマートフォン１９は、記憶媒体（例えば、メモリカード）に記憶されているプログラムを、媒体読取装置で読み取り、フラッシュＲＯＭ４３にインストールできる。スマートフォン１９は、スマートフォン１９に接続されている外部機器（図示外）又はネットワークからプログラムを受信して、フラッシュＲＯＭ４３にインストールしてもよい。
【００４１】
図３を参照し、用紙１２０の一例である用紙１２１を説明する。用紙１２１は、上下方向及び左右方向に延びる矩形状である。用紙１２１の前後両面（つまり、二つの紙面）に夫々、記入領域１２２及びチェックボックス１３０が設けられている。記入領域１２２及びチェックボックス１３０は、用紙１２１の紙面において互いに独立した領域である。用紙１２１の紙面が、紙媒体１００の１ページに相当する。
【００４２】
記入領域１２２は、電子ペン３を用いて、情報を示す線画を記入する為の領域である。詳細には、記入領域１２２は、用紙１２１の紙面の端部に沿って上下方向及び左右方向に延びる略矩形状である。記入領域１２２は、用紙１２１における、チェックボックス１３０を除く領域である。例えばユーザは電子ペン３を用いて、電子化して保存したい各種情報（文字、キャラクタ、図形等）を、記入領域１２２に自由に記入する。
【００４３】
チェックボックス１３０は、電子ペン３を用いて、ＲＡＭ２２に一時記憶されている線画データに基づくストロークデータの生成を指示する為の線画を記入可能な領域である。本実施形態では、チェックボックス１３０は、用紙１２１の紙面の右下隅部に設けられる。例えばユーザは、記入領域１２２に文字等の線画を記入した後、記入した線画を確定して保存したい場合、チェックボックス１３０にチェックマークを記入する。
【００４４】
図４を参照して、データ生成処理を説明する。データ処理は、線画データに基づくストロークデータを生成する処理である。図１に示すように、ユーザは、紙媒体１００を読取装置２に適正位置で装着する。ユーザは、表表紙１１０Ｌが左読取装置２Ｌの前面に載置され、且つ、裏表紙１１０Ｒが右読取装置２Ｒの前面に載置されるように、紙媒体１００を読取装置２に装着する。この状態で、ユーザが電源スイッチを押すと、読取装置２のＣＰＵ２１は、入力部２５を介して、読取装置２の電源をＯＮする操作を検出する。この場合、ＣＰＵ２１は、フラッシュＲＯＭ２３に記憶されたプログラムに基づいて動作することで、データ生成処理を開始する。
【００４５】
図４に示すように、ＣＰＵ２１は、電子ペン３の検出スイッチがＯＮ状態であるか否かに基づき、用紙１２１に線画が記入されている状態であるか否かを判断する（Ｓ１）。用紙１２１に線画が記入されている状態である場合（Ｓ１：ＹＥＳ）、ＣＰＵ２１は、線画の記入位置がチェックボックス１３０内にあるか否かを判断する（Ｓ２）。
【００４６】
線画の記入位置がチェックボックス１３０内にない場合（Ｓ２：ＮＯ）、線画の記入位置は記入領域１２２にある。それ故、ＣＰＵ２１は、一の連続する線画毎に、線画データを取得する（Ｓ４）。ＣＰＵ２１は、取得した線画データをＲＡＭ２２に一時記憶する。線画の記入位置がチェックボックス１３０内にある場合（Ｓ２：ＹＥＳ）、ＣＰＵ２１は、ＲＡＭ２２に一時記憶されている線画データに基づき、ストロークデータを生成して（Ｓ３）、フラッシュＲＯＭ２３に記憶する（Ｓ５）。
【００４７】
用紙１２１に線画が記入されている状態でない場合（Ｓ１：ＮＯ）、或いは、Ｓ４又はＳ５を実行後、ＣＰＵ２１は、スマートフォン１９から、無線通信部２４を介して、データ要求コマンドを受信したか否かを判断する（Ｓ６）。データ要求コマンドは、スマートフォン１９がフラッシュＲＯＭ２３に記憶されたストロークデータの送信を要求するコマンドである。データ要求コマンドは、フラッシュＲＯＭ２３に記憶されたストロークデータのうち、送信対象のストロークデータを指定する情報を含む。
【００４８】
データ要求コマンドを受信していない場合（Ｓ６：ＮＯ）、ＣＰＵ２１は、Ｓ１に戻って処理を繰り返す。例えばユーザが、次ページの用紙１２１の記入領域１２２に、電子ペン３で線画を記入した場合（Ｓ１：ＹＥＳ、Ｓ２：ＮＯ）、ＣＰＵ２１は、その線画データを取得し（Ｓ４）、ＲＡＭ２２に一時記憶する。線画を記入後、ユーザがチェックボックス１３０内にチェックを入れた場合（Ｓ６：ＮＯ、Ｓ１：ＹＥＳ、Ｓ２：ＹＥＳ）、ＣＰＵ２１は、ＲＡＭ２２に一時記憶されている線画データに基づき、ストロークデータを生成する（Ｓ３）。ＣＰＵ４１は、生成したストロークデータを、先に記憶したストロークデータのファイルとは分離した別ファイルとして、フラッシュＲＯＭ２３に記憶する（Ｓ５）。即ち、本実施形態では、ユーザがチェックボックス１３０内に電子ペン３でチェックを入れる毎に、フラッシュＲＯＭ２３には、Ｓ３で生成されたストロークデータのファイルが順次記憶される。
【００４９】
スマートフォン１９からデータ要求コマンドを受信した場合（Ｓ６：ＹＥＳ）、ＣＰＵ２１は、フラッシュＲＯＭ２３に記憶したストロークデータのファイルのうち、データ要求コマンドの送信対象として指定されたファイルを、無線通信部２４を介してスマートフォン１９に向けて送信する（Ｓ７）。これに対し、スマートフォン１９のＣＰＵ４１は、読取装置２から送信されたファイルを受信し、フラッシュＲＯＭ４３に記憶する。ＣＰＵ２１は、Ｓ１に戻って処理を繰り返す。ＣＰＵ２１は、入力部２５を介して、読取装置２の電源をＯＦＦする操作を検出すると、データ生成処理を終了する。
【００５０】
スマートフォン１９のフラッシュＲＯＭ４３は、読取装置２のフラッシュＲＯＭ２３と同様に、ストロークデータのファイルを記憶する。ユーザは、用紙１２１に筆記した文章を、スマートフォン１９のディスプレイ１９２で閲覧する場合、タッチパネル１９１で閲覧したいファイルを選択し、例えばテキスト表示の操作を行う。ＣＰＵ４１は、テキスト表示の操作を検出した場合、フラッシュＲＯＭ４３に記憶されたファイルの中からユーザが選択したファイルのストロークデータを読み出し、テキストデータに変換してから、ディスプレイ１９２に表示する。スマートフォン１９は、テキスト表示の他に、画像表示を行うこともできる。ＣＰＵ４１は、画像表示の操作を検出した場合、ＣＰＵ４１は、フラッシュＲＯＭ４３から読み出したストロークデータを、画像データに変換してから、ディスプレイ１９２に表示する。
【００５１】
図３を参照し、用紙１２１に追記したときにストロークデータが分離して記憶される場合について、具体例を挙げて説明する。上記の通り、本実施形態では、ユーザがチェックボックス１３０内に電子ペン３でチェックを入れる毎に、フラッシュＲＯＭ２３には、ストロークデータのファイルが順次記憶される。例えば、ユーザが用紙１２１の記入領域１２２に「１．目的・・・・」と電子ペン３で筆記し、チェックボックス１３０内にチェックを入れる。この場合、フラッシュＲＯＭ２３には、筆記した部分に対応するストロークデータが、ｎ＝１番目のファイルとして記憶される。
【００５２】
ユーザが同じページの用紙１２１に文章等を更に追記する場合がある。例えば、ユーザが、先に筆記した「１．目的・・・」の文書の後に、「２．方法・・・」と続きの文章を追記し、チェックボックス１３０内にチェックを入れる。この場合、フラッシュＲＯＭ２３には、追記した部分のストロークデータが、ｎ＝２番目のファイルとして記憶される。つまり、フラッシュＲＯＭ２３には、同じページの用紙１２１に筆記した文章であるにも関わらず、これら文章に対応するストロークデータが二つ（ｎ＝１、２）に分離されて、別ファイルとして記憶される。ＣＰＵ２１は、スマートフォン１９からのデータ要求コマンドに基づき、これら二つのファイルを送信する。それ故、スマートフォン１９のフラッシュＲＯＭ４３にも、読取装置２と同様に、二つのストロークデータのファイルが記憶される。
【００５３】
ユーザは、用紙１２１に筆記した文章を、スマートフォン１９のディスプレイ１９２で閲覧する場合、フラッシュＲＯＭ４３には、ストロークデータが二つのファイルに分離して記憶されているので、夫々のファイルを個々にテキストデータ又は画像データに変換して表示させる必要がある。本実施形態において、ユーザは、例えばスマートフォン１９のカメラ１９３を用いることによって、二つに分離したストロークデータを簡単にマージできる。
【００５４】
図５を参照し、マージ制御処理を説明する。ユーザは、スマートフォン１９のタッチパネル１９１を用いて、マージ制御処理の開始指示を入力する。スマートフォン１９のＣＰＵ４１は、該開始指示の入力を検出すると、フラッシュＲＯＭ４３に記憶されたプログラムに基づき、本処理を開始する。ＣＰＵ４１は、初期処理を実行する（Ｓ１０）。
【００５５】
図６を参照し、初期処理を説明する。ＣＰＵ４１はｎに１を設定する（Ｓ２１）。ｎはフラッシュＲＯＭ４３に記憶されたストロークデータのファイルに付与されるファイルの番号である。ＣＰＵ４１は、ｎ＝１番目のファイルのストロークデータに対応するテキストデータを生成する（Ｓ２２）。ＣＰＵ４１は、例えばフラッシュＲＯＭ４３に予め記憶されたテキスト判定データとのマッチング処理を行うことによって、ストロークデータをテキストデータに変換してもよい。また、ストロークデータが示す字形を保持したままテキストデータに変換してもよい。ＣＰＵ４１は生成したテキストデータをＲＡＭ４２に記憶する。
【００５６】
続いて、ＣＰＵ４１はｎ＝１番目のファイルのストロークデータに対応する画像データを生成する（Ｓ２３）。ＣＰＵ４１は、例えばストロークデータに含まれる座標情報から線画データを生成し、生成した線画データの集合を画像データに変換する。ＣＰＵ４１は生成した画像データをＲＡＭ４２に記憶する。ＣＰＵ４１はｎに１加算する（Ｓ２４）。ＣＰＵ４１は、ｎがＮより大きいか否か判断する（Ｓ２５）。Ｎは、フラッシュＲＯＭ４３に記憶されたファイルの総数であり、紙媒体１００毎に設定される。ｎがＮ以下である場合（Ｓ２５：ＮＯ）、ＣＰＵ４１はＳ２２に戻り、ｎ＝２番目以降について上記処理を繰り返す（Ｓ２２、Ｓ２３）。ＣＰＵ４１は、ストロークデータのファイル毎に、テキストデータと画像データを生成してＲＡＭ４２に記憶する。ｎに１加算した結果（Ｓ２４）、ｎがＮよりも大きい場合（Ｓ２５：ＹＥＳ）、ＣＰＵ４１は初期処理を終了し、図５に示すマージ制御処理のＳ１１に処理を進める。
【００５７】
図５に示すように、ＣＰＵ４１は、ディスプレイ１９２に、ファイル選択画面を表示する（Ｓ１１）。ファイル選択場面は、マージする一の対象ファイルをユーザに選択させる画面である。ユーザがマージするストロークデータのファイルの何れかを認識している場合、ファイル選択画面において、フラッシュＲＯＭ４３に記憶されているファイルの中からマージする対象ファイルを選択するのが好ましい。
【００５８】
ユーザは、ファイル番号を入力して確定操作を行うことで、対象ファイルを選択する。対象ファイルを選択することで、ＣＰＵ４１は、後述する対象ファイル１決定処理を省略できる。それ故、ＣＰＵ４１は、マージ制御処理を速やかに且つ正確に行うことができる。対象ファイルが選択された場合（Ｓ１２：ＹＥＳ）、ＣＰＵ４１は選択されたファイルを、対象ファイル１に決定し（Ｓ１３）、次の撮像処理を実行する（Ｓ１４）。ＣＰＵ４１は、対象ファイル１が決定したことを示すフラグを、ＲＡＭ４２に記憶する。なお、ファイル選択画面において、ユーザがファイル番号を入力せずに確定操作を行った場合（Ｓ１２：ＮＯ）、ＣＰＵ４１は何もせずに、撮像処理を実行する（Ｓ１４）。
【００５９】
撮像処理では、ＣＰＵ４１は、スマートフォン１９に内蔵するカメラアプリを起動すると共に、例えばディスプレイ１９２にガイドメッセージ等を表示する。ガイドメッセージは、追記した後の用紙１２１の撮像をユーザに促すメッセージである。ユーザは、ガイドメッセージに従い、追記した後の用紙１２１をカメラ１９３で撮像する。駆動回路４７は、カメラ１９３の撮像データをＣＰＵ４１に送信する。ＣＰＵ４１は受信した撮像データを、ＲＡＭ４２に記憶する。撮像データとは、カメラ１９３で撮像した画像データである。ＣＰＵ４１は、ＲＡＭ４２に記憶した撮像データからテキストデータを抽出する（Ｓ１５）。ＣＰＵ４１は、例えば撮像データについて、フラッシュＲＯＭ４３に予め記憶されたパターンとの照合で文字等を特定することにより、テキストデータを抽出してもよい。ＣＰＵ４１は撮像データから抽出したテキストデータ（以下、撮像テキストデータと呼ぶ）を、ＲＡＭ４２に記憶する。
【００６０】
ＣＰＵ４１は、ＲＡＭ４２に記憶するフラグを参照し、対象ファイル１が決定済みか否か判断する（Ｓ１６）。対象ファイル１が決定していない場合（Ｓ１６：ＮＯ）、ＣＰＵ４１は対象ファイル１決定処理を実行する（Ｓ１７）。対象ファイル１が決定済みの場合（Ｓ１６：ＹＥＳ）、ＣＰＵ４１は、対象ファイル２決定処理を実行する（Ｓ１８）。
【００６１】
図７を参照し、対象ファイル１決定処理を説明する。ＣＰＵ４１はｎに１を設定する（Ｓ３１）。ＣＰＵ４１は、ＲＡＭ４２に記憶した撮像テキストデータと、ＲＡＭ４２に記憶したｎ＝１番目のファイルのテキストデータとを比較する（Ｓ３２）。ＣＰＵ４１は、撮像テキストデータの中に、ｎ＝１番目のファイルのテキストデータと一致する部分が有るか否か判断する（Ｓ３３）。一致する部分が無かった場合（Ｓ３３：ＮＯ）、ＣＰＵ４１はｎに１加算する（Ｓ３４）。ＣＰＵ４１はｎがＮより大きいか否か判断する（Ｓ３５）。ｎがＮ以下である場合（Ｓ３５：ＮＯ）、ＣＰＵ４１はＳ３２に戻り、処理を繰り返す。一致する部分が有った場合（Ｓ３３：ＹＥＳ）、ＣＰＵ４１はそのｎ番目のファイルを、対象ファイル１に決定する（Ｓ４２）。ＣＰＵ４１は対象ファイル１決定処理を終了し、対象ファイル２決定処理を実行する（図５のＳ１８）。
【００６２】
一致する部分が無く（Ｓ３３：ＮＯ）、ｎに１加算した結果（Ｓ３４）、ｎがＮよりも大きい場合（Ｓ３５：ＹＥＳ）、全てのファイルＮについて比較を終了したので、ＣＰＵ４１は再度ｎ＝１を設定する（Ｓ３７）。テキストデータでの比較では一致する部分が見つからなかったので、ＣＰＵ４１は、ＲＡＭ４２に記憶した撮像データと、ＲＡＭ４２に記憶したｎ＝１番目のファイルの画像データとを比較する（Ｓ３８）。
【００６３】
ＣＰＵ４１は、撮像データの中に、ｎ＝１番目のファイルの画像データと一致する部分が有るか否か判断する（Ｓ３９）。一致する部分が無かった場合（Ｓ３９：ＮＯ）、ＣＰＵ４１はｎに１加算する（Ｓ４０）。ＣＰＵ４１はｎがＮより大きいか否か判断する（Ｓ４１）。ｎがＮ以下である場合（Ｓ４１：ＮＯ）、ＣＰＵ４１はＳ３８に戻り、処理を繰り返す。一致する部分が有った場合（Ｓ３９：ＹＥＳ）、ＣＰＵ４１はそのｎ番目のファイルを、対象ファイル１に決定する（Ｓ４２）。ＣＰＵ４１は対象ファイル１決定処理を終了し、対象ファイル２決定処理を実行する（図５のＳ１８）。
【００６４】
一致する部分が無く（Ｓ３９：ＮＯ）、ｎに１加算した結果（Ｓ４０）、ｎがＮよりも大きい場合（Ｓ４１：ＹＥＳ）、ＣＰＵ４１は全てのファイルＮについて比較を終了したので、フラッシュＲＯＭ４３に記憶されたファイルの中に、撮像データと一致する部分のファイルは無い。それ故、ＣＰＵ４１はマージ制御処理をエラー終了する。エラー終了では、例えばＣＰＵ４１はマージする対象ファイルが見つからなかったことを示すメッセージを、ディスプレイ１９２にエラー表示してもよい。このように、対象ファイル１抽出処理では、テキストデータ同士の比較では撮像データと一致する部分が見つからなかったとしても、画像データと再度比較することで、撮像データと一致する部分に対応するストロークデータを精度良く抽出できる。
【００６５】
図８を参照し、対象ファイル２抽出処理を説明する。ＣＰＵ４１は、ＲＡＭ４２に記憶する撮像テキストデータから対象ファイル１のテキストデータを削除する（Ｓ５０）。これにより、ＣＰＵ４１は、既に対象ファイル１に決定されたファイルを、本処理において対象ファイル２に重複して決定するのを防止できる。ＣＰＵ４１はｎに１を設定する（Ｓ５１）。ＣＰＵ４１は、ＲＡＭ４２に記憶した撮像テキストデータと、ＲＡＭ４２に記憶したｎ＝１番目のファイルのテキストデータとを比較する（Ｓ５２）。ＣＰＵ４１は、撮像テキストデータの中に、ｎ＝１番目のファイルのテキストデータと一致する部分が有るか否か判断する（Ｓ５３）。一致する部分が無かった場合（Ｓ５３：ＮＯ）、ＣＰＵ４１はｎに１加算する（Ｓ５４）。ＣＰＵ４１はｎがＮより大きいか否か判断する（Ｓ５５）。ｎがＮ以下である場合（Ｓ５５：ＮＯ）、ＣＰＵ４１はＳ５２に戻り、処理を繰り返す。一致する部分が有った場合（Ｓ５３：ＹＥＳ）、ＣＰＵ４１はそのｎ番目のファイルを、対象ファイル２に決定する（Ｓ６２）。ＣＰＵ４１は対象ファイル２決定処理を終了し、図５のＳ１９に処理を進める。
【００６６】
一致する部分が無く（Ｓ５３：ＮＯ）、ｎに１加算した結果（Ｓ５４）、ｎがＮよりも大きい場合（Ｓ５５：ＹＥＳ）、全てのファイルＮについて比較を終了したので、ＣＰＵ４１は、ＲＡＭ４２に記憶する撮像データから対象ファイル１の画像データを削除する（Ｓ５６）。これにより、ＣＰＵ４１は、既に対象ファイル１に決定されたファイルを、本処理において対象ファイル２に重複して決定するのを防止できる。
【００６７】
ＣＰＵ４１は再度ｎ＝１を設定する（Ｓ５７）。テキストデータでの比較では一致する部分は見つからなかったので、ＣＰＵ４１は、ＲＡＭ４２に記憶した撮像データと、ＲＡＭ４２に記憶したｎ＝１番目のファイルの画像データとを比較する（Ｓ５８）。
【００６８】
ＣＰＵ４１は、撮像データの中に、ｎ＝１番目のファイルの画像データと一致する部分が有るか否か判断する（Ｓ５９）。一致する部分が無かった場合（Ｓ５９：ＮＯ）、ＣＰＵ４１はｎに１加算する（Ｓ６０）。ＣＰＵ４１はｎがＮより大きいか否か判断する（Ｓ６１）。ｎがＮ以下である場合（Ｓ６１：ＮＯ）、ＣＰＵ４１はＳ５８に戻り、処理を繰り返す。一致する部分が有った場合（Ｓ５９：ＹＥＳ）、ＣＰＵ４１はそのｎ番目のファイルを、対象ファイル２に決定する（Ｓ６２）。ＣＰＵ４１は対象ファイル２決定処理を終了し、図５のＳ１９に処理を進める。
【００６９】
一致する部分が無く（Ｓ５９：ＮＯ）、ｎに１加算した結果（Ｓ６０）、ｎがＮよりも大きい場合（Ｓ６１：ＹＥＳ）、ＣＰＵ４１は、全てのファイルＮについて比較を終了したので、フラッシュＲＯＭ４３に記憶されたファイルの中に、撮像データと一致するファイルは無い。それ故、ＣＰＵ４１はマージ制御処理をエラー終了する。このように、対象ファイル２抽出処理においても、テキストデータ同士の比較では撮像データと一致する部分が見つからなかったとしても、画像データと再度比較することで、撮像データと一致する部分に対応するストロークデータを精度良く抽出できる。
【００７０】
図５に戻り、ＣＰＵ４１は、フラッシュＲＯＭ４３に記憶されたストロークデータのファイルの中から、対象ファイル１に決定したファイルと、対象ファイル２に決定したファイルとを読み込み、ストロークデータのマージ処理を行う（Ｓ１９）。例えば、図３に示すように、ｎ＝１番目のファイルが対象ファイル１、ｎ＝２番目のファイルが対象ファイル２に決定された場合、例えば対象ファイル１に対象ファイル２をマージすることで、ｎ＝１番目のファイルは、「１．目的・・・」の後に、「２．方法・・・」の追記部分を加えた筆跡のストロークデータとなる。マージされたストロークデータのファイルは、フラッシュＲＯＭ４３に記憶される。なお、マージ処理後、ｎ＝２番目のファイルは削除してもよい。また、ＣＰＵ４１は、ｎ＝１番目と２番目のファイルをマージしたストロークデータを別ファイルで新たに生成し、二つに分離したｎ＝１番目と２番目のファイルを残してもよい。
【００７１】
このように、本実施形態では、ストロークデータが分離している該当ページの用紙１２１を、スマートフォン１９のカメラ１９３で撮像するだけで、分離したストロークデータを自動的にマージできるので、ユーザの手間がかからない。更に、本実施形態は、用紙１２１に追記した部分が、別ファイルでは無く、同一ファイルに追記されるように保存できる。それ故、本実施形態はユーザにとって扱いやすく、データの整理等における作業性を向上できる。さらに本実施形態では、ストロークデータ同士をマージするので、マージしたストロークデータからページ単位で、テキストデータ又は画像データに容易に変換できる。
【００７２】
以上説明したように、本実施形態の手書き入力システムは、読取装置２、電子ペン３、及びスマートフォン１９を備える。読取装置２は、紙媒体１００の用紙１２１上に筆記した筆跡に対応するストロークデータを生成し、フラッシュＲＯＭ２３に記憶する。ストロークデータのファイルは、筆記を確定させる確定操作毎に分離する。筆記を確定させる確定操作とは、例えばユーザが用紙１２１のチェックボックス１３０内にチェックする操作である。読取装置２はスマートフォン１９にストロークデータのファイルを送信する。スマートフォン１９は、受信したストロークデータをファイル毎にフラッシュＲＯＭ４３に記憶する。スマートフォン１９は、ストロークデータに対応するテキストデータをファイル毎に作成してＲＡＭ４２に記憶する。スマートフォン１９はカメラ１９３を備える。ユーザは、文章等の追記によってストロークデータのファイルが分離して保存されているページの用紙１２１をカメラ１９３で撮像する。スマートフォン１９は、カメラ１９３で撮像された撮像データの中から文字等を認識し、該認識した文字等に対応する撮像テキストデータを作成し、ＲＡＭ４２に記憶する。
【００７３】
スマートフォン１９は、ＲＡＭ４２に記憶した撮像テキストデータと、複数に分離して記憶するテキストデータのファイルとを比較し、一致する部分を含むファイルを抽出する。スマートフォン１９は、抽出したファイルに対応するストロークデータ同士をマージする。これにより、手書入力システム１は、筆記の確定操作毎にストロークデータが分離して記憶されても、マージしたいストロークデータに対応する紙媒体１００の該当ページである用紙１２１をカメラ１９３で撮像するだけで、分離したストロークデータを自動的にマージできるので、ユーザの手間がかからない。また、撮像テキストデータと、テキストデータとを比較するので、一致しているかどうかのマッチングを行い易い。また、ストロークデータをマージするので、そこからページ単位のテキスト化等を行い易い。
【００７４】
上記実施形態のスマートフォン１９は、フラッシュＲＯＭ４３に記憶したストロークデータに対応する画像データをファイル毎に作成し、ＲＡＭ４２に記憶する。スマートフォン１９は、仮に、スマートフォン１９が撮像テキストデータと一致する部分を含むテキストデータを抽出できなかった場合でも、カメラ１９３で撮像された撮像データと、複数に分離して記憶する画像データのファイルとを比較し、一致する部分を含むファイルを抽出できる。スマートフォン１９は、抽出したファイルに対応するストロークデータ同士をマージする。スマートフォン１９は、撮像データと画像データを比較するので、一致しているかどうかのマッチングがより行い易い。これにより、マージしたいストロークデータを抽出する精度を向上できる。
【００７５】
上記実施形態のスマートフォン１９は、マージするストロークデータの何れかを、フラッシュＲＯＭ４３に記憶されたストロークデータのファイルの中から選択できる。これにより、テキストデータの比較の際に、合成するストロークデータ同士の何れかをユーザが選択できる。これにより、テキストデータのマッチング処理を正確且つ速やかに行うことができる。
【００７６】
上記実施形態において、手書入力システム１が本発明の「データ処理装置」の一例である。Ｓ５の処理を実行するＣＰＵ２１が本発明の「ストロークデータ記憶手段」の一例である。Ｓ２２の処理を実行するＣＰＵ４１が本発明の「テキストデータ作成手段」と「第一記憶手段」の一例である。スマートフォン１９のカメラ１９３が本発明の「撮像手段」の一例である。Ｓ１５の処理を実行するＣＰＵ４１が本発明の「撮像テキストデータ作成手段」の一例である。Ｓ１７とＳ１８の処理を実行するＣＰＵ４１が本発明の「テキストデータ抽出手段」の一例である。Ｓ１９の処理を実行するＣＰＵ４１が本発明の「第一合成手段」の一例である。Ｓ２３の処理を実行するＣＰＵ４１が本発明の「画像データ作成手段」と「第二記憶手段」の一例である。Ｓ３８、Ｓ３９、Ｓ４２の処理と、Ｓ５８、Ｓ５９、Ｓ６２の処理とを実行するＣＰＵ４１が本発明の「画像データ抽出手段」の一例である。Ｓ１１〜Ｓ１３の処理を実行するＣＰＵ４１が本発明の「第一選択手段」と「第二選択手段」の一例である。
【００７７】
本発明は上記実施形態に限定されるものではなく、種々の変更が可能である。上記実施形態の対象ファイル１決定処理（図７参照）、及び対象ファイル２決定処理（図８参照）では、撮像テキストデータとテキストデータを先に比較し、一致する部分が見つからなかった場合は、撮像データと画像データを比較して一致する部分を抽出しているが、後者の撮像データと画像データの比較は省略してもよい。その場合、テキストデータ同士の比較で一致する部分が見つからなかった場合は、エラー終了するようにしてもよい。また、上記実施形態とは逆に、撮像データと画像データの比較を先に行い、一致する部分が見つからなかった場合は、撮像テキストデータとテキストデータを比較して一致する部分を抽出してもよい。
【００７８】
また、撮像データと画像データの比較のみを行い、一致する部分が見つからなかった場合は、エラー終了するようにしてもよい。なお、撮像データと画像データの比較を行い、一致する部分を抽出した画像データに対応するストロークデータ同士を合成する形態において、一致する部分を抽出した画像データに対応するストロークデータ同士を合成する処理を実行するＣＰＵが本発明の「第二合成手段」の一例である。なお、これらの変形例の場合においても、図５に示すマージ制御処理のＳ１２において、対象ファイルの選択を行うのが好ましい。
【００７９】
上記実施形態では、スマートフォン１９のＣＰＵ４１が図５に示すマージ制御処理を実行したが、読取装置２のＣＰＵ２１が実行してもよい。その場合、マージしたストロークデータのファイルを、スマートフォン１９に送信するようにしてもよい。
【００８０】
上記実施形態のマージ制御処理(図５参照）のＳ１４の撮像処理では、スマートフォン１９のカメラ１９３を用いたが、他の撮像手段を用いてもよく、例えば、スキャナ等を用いて、撮像データを取得するようにしてもよい。
【００８１】
上記実施形態のマージ制御処理では、マージする二つの対象ファイル１と２を抽出するものであるが、三つ以上の対象ファイルを抽出できるようにしてもよい。マージする対象ファイルは少なくとも二つあればマージできるので、３つ以上の対象ファイルが見つかった場合は、それらを合わせてマージすればよい。
【００８２】
上記実施形態において、図３に示す用紙１２１における記入領域１２２及びチェックボックス１３０の位置、形状、サイズなどは、上記実施形態に限定されない。例えば、チェックボックス１３０は、用紙１２１の左上隅部、左下隅部、及び右上隅部の何れかに設けられてもよい。
【００８３】
上記実施形態のデータ生成処理（図４参照）、マージ制御処理（図５参照）は、は夫々、ＣＰＵ２１、ＣＰＵ４１以外の電子部品（例えば、ＡＳＩＣ）によって実行されてもよい。データ生成処理、及びマージ制御処理は夫々、複数の電子機器（つまり、複数のＣＰＵ）によって分散処理されてもよい。
【００８４】
上記実施形態は、読取装置２からのページ情報を、スマートフォン１９で読み取るようにしてもよい。
【００８５】
上記実施形態のマージ制御処理(図５参照）では、マージする一方のファイルを選択した上で比較を行うことで処理を正確にしているが、この際に、例えば、取得したファイルをスマートフォン１９のディスプレイ１９２に複数表示させ、ユーザが確認しながら、マージする対象のファイルをドラッグ＆ドロップでマージするようにしてもよい。
【符号の説明】
【００８６】
１    手書入力システム
２    読取装置
３    電子ペン
１９    スマートフォン
２１    ＣＰＵ
２２    ＲＡＭ
２３    フラッシュＲＯＭ
４１    ＣＰＵ
４２    ＲＡＭ
４３    フラッシュＲＯＭ
１００    紙媒体
１２０    用紙
１２２    記入領域
１３０    チェックボックス
１９３    カメラ
【図１】
2017146690.tif 000003
【図２】
2017146690.tif 000004
【図３】
2017146690.tif 000005
【図４】
2017146690.tif 000006
【図５】
2017146690.tif 000007
【図６】
2017146690.tif 000008
【図７】
2017146690.tif 000009
【図８】
2017146690.tif 000010