(57)【要約】      （修正有）【課題】電子データでのスケジュール管理と、手帳やカレンダーへの手書きによるスケジュール管理との双方のメリットを活かすことのできる手書きメモ抽出プログラムを提供する。【解決手段】手書きメモ抽出プログラムは、ユーザーの手書きメモの書かれたカレンダーの画像を取得するステップと、カレンダーの画像から、手書きメモの書かれた領域の画像を切り出すステップと、手書きメモの書かれた領域の画像を、領域に対応する日付を関連付けて保存するステップとを含む。特に、手書きメモの書かれた領域の画像に、インターネットを介してアクセスするためのＵＲＬを設定するステップと、ユーザーの予定を管理するスケジュール管理サーバーに対して、ＵＲＬと対応する日付を送信し、ユーザーの予定を更新するステップとを更に含む。【選択図】図４
2020119051.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーの手書きメモの書かれたカレンダーの画像を取得するステップと、
前記カレンダーの画像から、手書きメモの書かれた領域の画像を切り出すステップと、
前記手書きメモの書かれた領域の画像を、当該領域に対応する日付を関連付けて保存するステップと、
前記手書きメモの書かれた領域の画像に、インターネットを介してアクセスするためのＵＲＬを設定するステップと、
前記ユーザーの予定を管理するスケジュール管理サーバーに対して、前記ＵＲＬと対応する日付を送信し、前記ユーザーの予定を更新するステップと、
前記ＵＲＬと前記日付を含むiCalendar形式のＩＣＳファイルを作成するステップと、
をコンピュータに実行させ、
前記スケジュール管理サーバーに前記ＩＣＳファイルを送信することで、前記ＵＲＬと対応する日付の送信を行うことを特徴とする手書きメモ抽出プログラム。
【請求項２】
前記カレンダーは、一ヵ月分の日付が表示されており、前記カレンダーの画像におけるその月の最初の日付と最後の日付の曜日の位置から年月を特定することを特徴とする請求項１に記載の手書きメモ抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子データでのスケジュール管理と、手帳やカレンダーへの手書きによるスケジュール管理との双方のメリットを活かし、それらを容易に併用することができる手書きメモ抽出プログラムに関する。
【背景技術】
【０００２】
スマートフォンの普及率が８０％を超え、スケジュール管理をスマートフォンで行っている人も増えている。スマートフォンは携帯性や即時性に優れ、それを用いたスケジュール管理は、検索や手軽さ保存性などから利便性が高いと言える（特許文献１参照）。
【０００３】
また、パソコンを用いてスケジュール管理を行っている人もいる。パソコンでのスケジュール管理は、スマートフォンのような携帯性や即時性には劣るものの、込み入った入力や編集なども容易となっている。更に、それらの中間に位置するタブレットを用いてスケジュール管理を行っている人もいる。
【０００４】
その一方で、改変や削除が容易な電子データへの依存や、スマートフォンやパソコン自体の故障などに一抹の不安を覚えたり、手書きの安心感や使い勝手の良さなどから、従前の紙の手帳やカレンダーに予定などをメモする人も今だに多い。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１８−０４１２８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従って、電子データでのスケジュール管理と、手帳やカレンダーへの手書きによるスケジュール管理には、一長一短がある。実際、電子データでのスケジュール管理を行っている人でも、従前の紙の手帳やカレンダーへの手書きによるスケジュール管理も併用している場合もある。
【０００７】
しかしながら、電子データと紙によるスケジュール管理を行うと、両方にスケジュールを書き込む必要があり、非常に面倒である。また、一方にのみ書き込むと、スケジュールの見落としが生じる虞れもある。
【０００８】
そこで、本発明の目的は、手帳やカレンダーへの手書きによる書き込みを、電子データでのスケジュール管理へ容易に移行させることが可能な手書きメモ抽出プログラムを提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の１つの様相による手書きメモ抽出プログラムは、ユーザーの手書きメモの書かれたカレンダーの画像を取得するステップと、前記カレンダーの画像から、手書きメモの書かれた領域の画像を切り出すステップと、前記手書きメモの書かれた領域の画像を、当該領域に対応する日付を関連付けて保存するステップと、前記手書きメモの書かれた領域の画像に、インターネットを介してアクセスするためのＵＲＬを設定するステップと、前記ユーザーの予定を管理するスケジュール管理サーバーに対して、前記ＵＲＬと対応する日付を送信し、前記ユーザーの予定を更新するステップと、前記ＵＲＬと前記日付を含むiCalendar形式のＩＣＳファイルを作成するステップと、をコンピュータに実行させ、前記スケジュール管理サーバーに前記ＩＣＳファイルを送信することで、前記ＵＲＬと対応する日付の送信を行うことを特徴とする。
【００１０】
また、一つの実施例では、前記カレンダーは、一ヵ月分の日付が表示されており、前記カレンダーの画像におけるその月の最初の日付と最後の日付の曜日の位置から年月を特定する。
【発明の効果】
【００１１】
本発明に係わる手書きメモ抽出プログラムによれば、手帳やカレンダーへの手書きによるスケジュール管理と、電子データでのスケジュール管理を容易に併用することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明に係る手書きメモ管理サーバーによる手書きメモ管理サービスの実施態様を説明するためのネットワーク図である。
【図２】図２は、本発明の実施例１に係る手書きメモ抽出プログラムで取り扱う、手書きで予定やメモが書かれたカレンダーの具体例を示す図である。
【図３】図３は、本発明の実施例１に係る手書きメモ抽出プログラムで抽出した手書きメモ領域の画像の一例を示す。
【図４】図４は、本発明の実施例１に係る手書きメモ抽出プログラムの動作を説明するフローチャートである。
【図５】図５は、本発明の実施例１に係る手書きメモ抽出プログラムで更新されたスケジュール管理サーバーのユーザーデータを、カレンダーアプリケーションで開いた状態を示す図である。
【図６】図６は、本発明の実施例２に係る手書きメモ抽出プログラムで取り扱う、手書きで予定やメモが書かれたカレンダーの具体例を示す図である。
【図７】図７は、本発明の実施例２に係る手書きメモ抽出プログラムで抽出した手書きメモ領域の画像の一例を示す。
【図８】図８は、本発明の実施例２に係る手書きメモ抽出プログラムで抽出した別の手書きメモ領域の画像を示す。
【発明を実施するための形態】
【実施例１】
【００１３】
以下、添付図面を参照しながら、本発明による手書きメモ抽出プログラムの実施例を説明する。この手書きメモ抽出プログラムは、インターネットに接続して、ユーザーに手書きメモ管理サービスを提供する手書きメモ管理サーバーに実装されている。
【００１４】
図１は、この手書きメモ管理サーバー１による手書きメモ管理サービスの実施態様を説明するためのネットワーク図である。ここで、インターネットには、手書きメモ管理サーバー１の他に、スケジュール管理サーバー３と、ユーザー５が携帯するスマートフォン７と、ユーザー５がオフィスなどで利用するパソコン９が接続している。
【００１５】
ユーザー５は、手書きメモ管理サーバー１およびスケジュール管理サーバー３の両方にアカウントを持ち、手書きメモ管理サービスおよびスケジュール管理サービスを利用できる。スケジュール管理サーバー３は、ユーザー５が、スマートフォン７およびパソコン９にインストールされたカレンダーアプリケーションを介して入力した予定やメモを同期して保存管理している。ユーザー５は、スケジュール管理サーバー３を利用する際の、ユーザーＩＤやパスワードといったアカウント情報を、手書きメモ管理サーバー１にも登録しておく。これで、手書きメモ管理サーバー１は、スケジュール管理サーバー３で保存管理しているデータにアクセスできる。
【００１６】
ユーザー５は、予定やメモを机上のカレンダーに書き込む。図２は、手書きで予定やメモが書かれたカレンダーの具体例を示す図である。このカレンダーは、左下に位置検出用シンボルＳが印刷されている手書きメモ管理専用のカレンダーとなっている。
【００１７】
ユーザー５は、手書きメモ管理サービスを利用するために、スマートフォンで、例えばカレンダーの一月分全体（図２）を撮影し、手書きメモ管理サーバー１へ送信する。手書きメモ管理サーバー１は、受信した撮影データを解析し、個々の手書きメモを画像として切り出し、日付に関連付けて保存する。
【００１８】
すなわち、手書きメモ管理サーバー１は、画像の右上の年月の表示（ここでは「２０１９年１月」）を文字認識し、更に左下に印刷されている位置検出用シンボルＳを認識し、それらの間の各日付の領域の位置を特定する。そして各領域に手書きメモに存在するか否かを確認し、存在する領域については、その領域の画像（図３参照）を切り出して、日付に関連付けて保存する。
【００１９】
図２の例では、２０１９年１月７日、２０１９年１月９日、２０１９年１月１１日、２０１９年１月２１日および２０１９年１月２４日の夫々に、対応する領域の画像が関連付けられて保存される。なお、ここで２０１９年１月１４日にも「成人の日」と印刷されているが、手書きメモ抽出プログラムに予め祝祭日が登録されており、手書きメモではないと認識される。
【００２０】
また、各画像データは、インターネット上のリソースとしてアクセスできるようにＵＲＬが設定される。例えば、"http://www.tegakimemo.co.jp/user5/20190107.jpg"といったＵＲＬが設定される。そして、iCalendar形式のＩＣＳファイル(例えば、user520190107.ics)も作成される。上記ＵＲＬは、このファイルのイベントに記述する。
【００２１】
例えば、イベントのタイトル（SUMMARY）として「手書きメモ」、内容（DESCRIPTION）として上記ＵＲＬを記述する。また、日付（DTSTARTおよびDTEND）として、上記日付（例えば、２０１９年１月７日）を記述し、作成日（CREATED）として、この画像データの作成日（撮影した日付）を記述する。このＩＣＳファイルにより、一般のカレンダーソフトとの連携が可能となる。
【００２２】
そして、手書きメモ管理サーバー１は、スケジュール管理サーバー３にアクセスして、上記ＩＣＳファイルを送信して、ユーザー５のデータをこれらの手書きメモで更新する。例えば、ユーザー５の２０１９年１月７日の予定に、タイトルとして"手書きメモ"、内容として上記ＵＲＬ、すなわち"http://www.tegakimemo.co.jp/user5/20190107.jpg"が入力される。その他の手書きメモも、同様に対応する日付の予定に入力される。
【００２３】
図４は、上記手書きメモ抽出プログラムの動作を説明するフローチャートである。まず、ステップＳ１で、手書きメモ管理サーバー１は、スマートフォン７で撮影されたカレンダー画像を取得する。ステップＳ２で、撮影されたカレンダー画像を解析して、各日付領域の位置を特定する。ステップＳ３でｎを１として、ステップＳ４でｎ番目の領域（最初の日付領域）に手書きメモが存在するか否かをチェックする。
【００２４】
ステップＳ４で手書きメモが存在すれば、ステップＳ５で、対応する日付に関連付けて手書きメモを含むｎ番目の領域の解析を切り出して保存する。ステップＳ６で、すべての領域がチェックされたか否かを確認する。すべての領域がチェックされていなければ、ステップＳ７でｎをインクリメントして、ステップＳ４に戻る。すべての領域がチェックされていれば、ステップＳ８で保存された手書きメモを含む領域の画像を、スケジュール管理サーバー３に入力する。
【００２５】
これによりカレンダーに書き込まれた手書きメモが、スケジュール管理サーバー３に入力される。ユーザー５が、スマートフォン７やパソコン９でスケジュール管理サーバー３にアクセスし、例えばカレンダーアプリケーションで２０１９年１月７日の予定を開くと、内容として上記ＵＲＬが表示され（図５参照）、そのＵＲＬをクリックすると、図３に示したような手書きメモが表示される。また、このカレンダーアプリケーションを用いて、手書きメモのスケジュールに対して、リマインダーやTodoリストや通知の機能等が簡単に付与できる。
【００２６】
なお、上記例ではカレンダーは一ヶ月分の表示となっているが、二ヶ月分がまとめて表示されるカレンダーであっても同様に処理できる。この場合、二ヶ月分を一つの画像として撮影して、二ヶ月分の手書きメモを日付毎に切り出して抽出することになる。三ヶ月分以上がまとめて表示されるカレンダーでも同様である。
【００２７】
更に、パソコンの場合には、カレンダーアプリケーションの画面を広く取れるので、一ヶ月分の表示の各日付欄に、手書きメモの画像を直接表示するようにしても良い。この場合、パソコンのカレンダーアプリケーションの表示画面は、図２に示したものと同様の外観となるが、画面上の電子データなので各日付をクリックして予定を追加したりすることができる。
【００２８】
更に、抽出された手書きメモ画像から上記の通りＩＣＳファイルを作成した後、このＩＣＳファイルを編集すれば、そこに含まれる手書きメモの一部からなるTodoリストを作成できる。このTodoリストの手書きメモに通知日時を設定すれば、既存アプリと連携して、容易にリマインダーの設定を行うことができる。
【実施例２】
【００２９】
通常、スケジュール管理サーバー３のサービスでは、カレンダーアプリケーションを介してメモの入力を行うにあたって、日付と共に時間の指定も行えるようになっている。実施例１では、一ヶ月分のカレンダーから手書きメモを日付毎に切り出して抽出しているので、時間の指定は行わない。しかし、図６に示したように、時間ごとに書き込みを行えるような手帳もある。この手帳では、一週間分が時間毎に切り分けられている。実施例２では、このような手帳を撮影して、手書きメモの抽出を行う。
【００３０】
この場合、やはりスマートフォン７で時間割となっている一週間分の画像を撮影して、時間スロット毎に画像を切り分けて、夫々の日付と時間に関連付けて手書きメモの画像を保存する。図６の例では、２０１９年１月の第２週のページを開いた手帳をスマートフォン７で撮影する。この手帳は、手書きメモ管理の為に予め決められたレイアウトとなっており、やはり左下に位置検出用シンボルＳが印刷されている。
【００３１】
撮影した画像は、手書きメモ管理サーバー１へ送信される。手書きメモ管理サーバー１は、受信した撮影データを解析し、個々の手書きメモを画像として切り出し、日付と時間に関連付けて保存する。
【００３２】
すなわち、手書きメモ管理サーバー１は、画像の右上の年の表示（ここでは「２０１９」）を文字認識し、更に左下に印刷されている位置検出用シンボルＳを認識し、それらの間の各日付の時間領域の位置を特定する。位置の特定では、罫線も参考とする。そして各領域毎に、手書きメモが存在するか否かを決定し、存在する領域については、その領域の画像（図７参照）を切り出して、日付と時間に関連付けて保存する。
【００３３】
図６の例では、２０１９年１月７日１１時、２０１９年１月９日１０時、２０１９年１月１１日１８時の夫々に、対応する領域の画像が関連付けられて保存される。ここでも、各画像データは、インターネット上のリソースとしてアクセスできるようにＵＲＬが設定される。例えば、２０１９年１月７日１１時に関連付けられた画像に対しては"http://www.tegakimemo.co.jp/user5/2019010711.jpg"といったＵＲＬが設定される。
【００３４】
そして、実施例１と同様に、iCalendar形式のＩＣＳファイル(例えば、user52019010711.ics)も作成される。上記ＵＲＬは、このファイルのイベントに記述される。
【００３５】
例えば、イベントのタイトル（SUMMARY）として「手書きメモ」、内容（DESCRIPTION）として上記ＵＲＬを記述する。また、日付（DTSTARTおよびDTEND）として、上記日時（例えば、２０１９年１月７日１１時）を記述し、作成日（CREATED）として、この画像データの作成日（撮影した日付）を記述する。やはり、このＩＣＳファイルにより、一般のカレンダーソフト（googleカレンダー等）との連携が可能となる。
【００３６】
そして、手書きメモ管理サーバー１は、スケジュール管理サーバー３にアクセスして、ユーザー５のデータをこのＩＣＳファイルで更新する。例えば、ユーザー５の２０１９年１月７日１１時の予定に、タイトルとして"手書きメモ"、内容として"http://www.tegakimemo.co.jp/user5/2019010711.jpg"と入力する。その他の手書きメモも、同様に対応する日時の予定に入力される。
【００３７】
これによりカレンダーに書き込まれた手書きメモが、スケジュール管理サーバー３に入力される。ユーザー５が、スマートフォン７やパソコン９でスケジュール管理サーバー３にアクセスし、例えば２０１９年１月７日１１時の予定を開くと、内容として上記ＵＲＬが表示され、そのＵＲＬをクリックすると、図７に示したような手書きメモが表示される。
【００３８】
なお、図６の例では、２０１９年１月１１日１８時の後に続いて、２０１９年１月１１日１９時と２０１９年１月１１日２０時にも引出線が書かれている。このように複数の時間帯に渡って連続する書き込みが存在する場合には、図８に示したように、その複数の時間帯を含めた画像を切り出すようにする。この画像には、例えば、"http://www.tegakimemo.co.jp/user5/2019011118-20.jpg"といったＵＲＬを設定する。
【００３９】
この場合、作成されるＩＣＳファイルは、イベントのタイトル（SUMMARY）として「手書きメモ」、内容（DESCRIPTION）として上記ＵＲＬを記述するが、開始時刻（DTSTART）として２０１９年１月１１日１８時、終了時刻（DTEND）として２０１９年１月１１日２１時を記述する。また、作成日（CREATED）として、この画像データの作成日（撮影した日付）を記述する。
【産業上の利用可能性】
【００４０】
以上のように、本発明による手書きメモ抽出プログラムによれば、電子データでのスケジュール管理と、手帳やカレンダーへの手書きによるスケジュール管理との双方のメリットを活かし、それらを容易に併用することができる。
【００４１】
なお、上記実施例では、手書きメモ抽出プログラム用に予め決められたレイアウトを持った専用カレンダーを用いているが、本発明はこの方法に限定されない。日付（及び時間）の配列が印刷されている一般のカレンダーを用いても、手書きメモ抽出プログラムは実装できる。一般のカレンダーの場合には、画像処理が若干複雑となるが、数字の認識を行い日付位置を決定することで、各日付の領域を特定すれば良い。
【００４２】
例えば、一ヵ月表示の一般のカレンダーでも、日付が矩形の領域に曜日順に並んでいるという点では共通している。この矩形領域への日付の配置は、その年と月によって異なる。例えば、２０１９年１月であれば、火曜の位置から１日が始まり、最後の日は３１日木曜となっている。手書きメモ抽出プログラムは、内部のカレンダーに照合することで、現在時刻の近くで、このような並びを持った月は、２０１９年１月であるということを特定できる。
【００４３】
従って、一般のカレンダーで年月が取得できないような場合でも、手書きメモ抽出プログラムは、月表示の撮影画像でその月の最初の日付と最後の日付の曜日の位置、すなわち１日と３１日（または３０日）の曜日の位置から年月を特定する。
【００４４】
また、上記実施例では、一つのカレンダーを撮影して、その手書きメモをスケジュール管理サーバー３へ入力しているが、本発明はこの方法に限定されない。すなわち、ユーザーが２つ又はそれ以上のカレンダーを併用している場合でも、それらを撮影して手書きメモ管理サーバー１へ送信すれば、手書きメモ管理サーバー１は、やはり受信した夫々の撮影データを解析し、個々のカレンダーの手書きメモを画像として切り出し、共にそのユーザーのデータとして、日付（と時間）に関連付けて保存する。複数のカレンダーの同一日付に手書きメモが存在すれば、例えば、夫々の手書きメモ画像を参照する"http://www.tegakimemo.co.jp/user5/20190107a.jpg"、"http://www.tegakimemo.co.jp/user5/20190107b.jpg"といった複数のＵＲＬをその日付に設定する。ＩＣＳファイルのイベント内容としては、上記複数のＵＲＬを間に改行などの区切りを挟んで記述しておく。このように、同じユーザーが併用する複数のカレンダーの手書きメモを、一つのスケジュール管理サービスにまとめることができ、対応するカレンダーアプリケーションで統一的に参照することができるので有用性が高いと言える。
【００４５】
更に、上記の通りカレンダーの撮影を行って手書きメモを抽出した後、その同じカレンダーに追加の書き込みを行うこともありえる。このような場合、同じカレンダーを再度撮影して手書きメモを抽出することになる。その際には、同一日付に複数の手書きメモ画像が関連付けられることもあり得るが、この場合も、例えば、夫々の手書きメモ画像を参照する"http://www.tegakimemo.co.jp/user5/20190107.jpg"、"http://www.tegakimemo.co.jp/user5/20190107-1.jpg"といった複数のＵＲＬをその日付に設定する。やはり、ＩＣＳファイルのイベント内容としては、上記複数のＵＲＬを間に改行などの区切りを挟んで記述しておく。このようなファイル名を付けることで、各画像の時間的な順番が、ハイホンの後の番号で認識できる。
【００４６】
なお、スマートフォン７で撮影した画像は通常exifフォーマットとなっており、位置情報を含んでいる。この位置情報を利用して、撮影したカレンダーの識別を行うこともできる。例えば、自宅のカレンダーと職場のカレンダーとでは位置情報が異なるので、そこから抽出した手書きメモの画像がとちらのカレンダーのデータであるかを、位置情報から決定することができる。この場合、手書きメモがいずれのデータであるかがわかるように、例えば、タイトルに"手書きメモ（オフィス）"とか"手書きメモ（自宅）"とする。同一日付に複数の手書きメモ画像が存在する場合には、例えば、"手書きメモ（オフィス／自宅）"といったタイトルにすることで、最初の画像がオフィスのカレンダーのもので、次の画像が自宅のカレンダーのものであることがわかる。
【００４７】
この場合、上記ＵＲＬは、"http://www.tegakimemo.co.jp/user5/calendar01/20190107.jpg"、"http://www.tegakimemo.co.jp/user5/calendar02/20190107.jpg"といったように、カレンダー毎にディレクトリを分けて保存する。
【００４８】
カレンダーアプリケーションに、手書きメモ画像の位置情報を取得する機能を追加し、この位置情報を利用して通知（アラーム）を設定できるようにしても良い。すなわち、カレンダーアプリケーションの通知設定画面で、直近の撮影場所（２〜３箇所）を表示し、適宜、この撮影場所を選択し、選択された撮影場所に来た際に該当する手書きメモ画像をリマインダーとして表示するようにしても良い。
【００４９】
例えば、外出先での打合せ等のあと手帳のカレンダーに次の打合せ予定を書き込むような場合がある。この際、次の打合せの際にリマインドすること（備忘録的内容）を追記してから、カレンダーを撮影しておく。そして、その日の手書きメモ画像の位置情報による通知（アラーム）を設定する。すなわち、次の打合せの時、その場所に到着した際に、追記した備忘録的内容が通知されリマインドされことになる。
【００５０】
また、自宅や職場のカレンダーも日付けとの組み合わせでリマインドの機能を働かせる等の利用方法もある。例えば、特定の日時（例えば、午後１時から午後２時）に家にいた場合に、通知する等が考えられる。
【符号の説明】
【００５１】
１    メモ管理サーバー
３    スケジュール管理サーバー
５    ユーザー
７    スマートフォン
９    パソコン
Ｓ    位置検出用シンボル
【図１】
2020119051.tif 000003
【図２】
2020119051.tif 000004
【図３】
2020119051.tif 000005
【図４】
2020119051.tif 000006
【図５】
2020119051.tif 000007
【図６】
2020119051.tif 000008
【図７】
2020119051.tif 000009
【図８】
2020119051.tif 000010