(57)【要約】【課題】筆記データの一部の分離や加工を簡単に行えるようにする。【解決手段】筆記データを取得する筆記データ取得部３１と、筆記データを記憶する筆記データ記憶部３２と、筆記データを文字画像と図形画像に分離する筆記データ分離部３３と、文字画像を記憶する文字記憶部３４と、文字画像を認識することで整形する文字認識部３５と、図形画像を記憶する図形記憶部４１と、図形画像から領域を切り出す領域抽出部４２と、領域内の図形画像のパターンを判定するパターン判定部４３と、領域内の図形数が多い場合に領域のサイズを調整するサイズ調整部４４と、領域内の図形数が適切な場合に変換規則に従って図形画像を変換する画像変換部４５と、予め変換規則を記憶しておく変換規則記憶部４６と、整形済の文字画像及び図形画像を合成する合成部３６と、合成された画像を記憶する合成データ記憶部３７とを備える。【選択図】図６
2007316836.tif 000002
【特許請求の範囲】
【請求項１】
媒体に対する筆記を電子化した筆記データを、当該筆記データの部分ごとに元となる筆記がなされたときのモード情報と関連付けて記憶する第１の記憶手段と、
前記第１の記憶手段に記憶された前記筆記データから、特定のモード情報に関連付けられた特定の部分を分離する分離手段と、
前記分離手段により分離された前記特定の部分を記憶する第２の記憶手段と
を備えたことを特徴とする筆記データ処理装置。
【請求項２】
前記モード情報は、前記筆記を行うペンの色であり、
前記分離手段は、特定の色が付された部分を前記特定の部分として分離することを特徴とする請求項１記載の筆記データ処理装置。
【請求項３】
前記第２の記憶手段に記憶された前記特定の部分を、当該特定の部分に関連付けられた前記モード情報に基づいて加工する加工手段を更に備えたことを特徴とする請求項１記載の筆記データ処理装置。
【請求項４】
前記加工手段は、前記特定の部分を、当該特定の部分に関連付けられた前記モード情報に応じた形状の領域を単位として整形することを特徴とする請求項３記載の筆記データ処理装置。
【請求項５】
前記モード情報は、前記筆記を行うペンの色であり、
前記加工手段は、前記特定の部分を、当該特定の部分に付された色に対応付けられた方法で加工することを特徴とする請求項３記載の筆記データ処理装置。
【請求項６】
コンピュータに、
媒体に対する筆記を電子化した筆記データを、当該筆記データの部分ごとに元となる筆記がなされたときのモード情報と関連付けて記憶する機能と、
前記筆記データから、特定のモード情報に関連付けられた特定の部分を分離する機能と、
分離された前記特定の部分を記憶する機能と
を実現させるためのプログラム。
【請求項７】
コンピュータに、
媒体に対する筆記を電子化した筆記データを、当該筆記データの部分ごとに元となる筆記がなされたときのモード情報と関連付けて記憶する機能と、
前記筆記データの特定の部分を、当該特定の部分に関連付けられた前記モード情報に基づいて加工する機能と、
加工された前記特定の部分を記憶する機能と
を実現させるためのプログラム。
【請求項８】
前記加工する機能では、前記特定の部分を、当該特定の部分に関連付けられた前記モード情報に応じた形状の領域を単位として整形することを特徴とする請求項７記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、紙等の媒体に対する筆記を電子化した筆記データを処理する筆記データ処理装置等に関する。
【背景技術】
【０００２】
紙のシートの表面の少なくとも一部上に、位置決定を可能にする光学的に読取り可能な位置符号化パターンを設け、この位置符号化パターンを用いて、表面に書かれ又は作図されている情報の電子的象徴を提供する技術が知られている(例えば、特許文献１参照)。この特許文献１において、位置符号化パターンは、複数のマーク及び複数の基準位置を備えており、複数のマークが複数の基準位置にそれぞれ関連付けられている。そして、各マークの値は基準位置に対する相対的な位置によって決定される。電子的象徴の提供は、位置符号化パターンの読取りにより、紙のシート上のペンの位置を連続的に決定することによって可能となっている。
【０００３】
【特許文献１】特表２００３−５１１７６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、このような紙のシートの表面に書かれ又は作図された情報についての一般的な要求として、その電子的象徴の提供後に、その一部を全体から分離したり、その一部を他の部分とは区別して加工したりしたいということがある。しかしながら、従来、このような要求に対する解決策は提案されていなかった。
【０００５】
本発明は、以上のような背景の下でなされたものであって、その目的は、筆記データの一部を全体から分離したり、一部を他の部分とは別に加工したりする処理を簡単に行えるようにすることにある。
【課題を解決するための手段】
【０００６】
かかる目的のもと、本発明では、筆記したときのモード情報を用いて筆記データの一部を分離するようにした。即ち、本発明の筆記データ処理装置は、媒体に対する筆記を電子化した筆記データを、その筆記データの部分ごとに元となる筆記がなされたときのモード情報と関連付けて記憶する第１の記憶手段と、この第１の記憶手段に記憶された筆記データから、特定のモード情報に関連付けられた特定の部分を分離する分離手段と、この分離手段により分離された特定の部分を記憶する第２の記憶手段とを備えている。
【０００７】
ここで、モード情報としては、筆記を行うペンの色を採用することができる。この場合、分離手段は、特定の色が付された部分を特定の部分として分離する。
また、本発明の筆記データ処理装置は、第２の記憶手段に記憶された特定の部分を、その特定の部分に関連付けられたモード情報に基づいて加工する加工手段を更に備えることもできる。
ここでも、モード情報として、筆記を行うペンの色を採用することができる。この場合、加工手段は、特定の部分を、その特定の部分に付された色に対応付けられた方法で加工する。
【０００８】
一方、本発明は、所定の機能をコンピュータに実現させるプログラムとして捉えることもできる。
その場合、本発明の第１のプログラムは、コンピュータに、媒体に対する筆記を電子化した筆記データを、その筆記データの部分ごとに元となる筆記がなされたときのモード情報と関連付けて記憶する機能と、筆記データから、特定のモード情報に関連付けられた特定の部分を分離する機能と、分離された特定の部分を記憶する機能とを実現させるためのものである。
【０００９】
また、本発明の第２のプログラムは、コンピュータに、媒体に対する筆記を電子化した筆記データを、その筆記データの部分ごとに元となる筆記がなされたときのモード情報と関連付けて記憶する機能と、筆記データの特定の部分を、その特定の部分に関連付けられたモード情報に基づいて加工する機能と、加工された特定の部分を記憶する機能とを実現させるためのものである。
【発明の効果】
【００１０】
本発明によれば、筆記データの一部を全体から分離したり、一部を他の部分とは別に加工したりする処理を簡単に行えるようになる。
【発明を実施するための最良の形態】
【００１１】
以下、添付図面を参照して、本発明を実施するための最良の形態(以下、「実施の形態」という)について詳細に説明する。
まず、本実施の形態が適用されるシステムについて説明する。
図１は、本実施の形態が適用されるシステムの全体構成を示した図である。
図示するように、このコンピュータシステムは、デジタルペン６０と、コンピュータ７０とが通信手段９０を介して接続されている。
【００１２】
デジタルペン６０は、紙等の媒体に筆記するために用いられるペンデバイスである。ここで、この媒体上には、位置符号パターンを画像化した位置符号画像が印刷されていることを前提とする。この位置符号パターンの生成方法や、位置符号画像の形状は、デジタルペン６０が筆記位置を認識することができるものであればいかなるものでもよい。例えば、特許文献１に示したものを用いることもできる。デジタルペン６０は、このような媒体に筆記した内容(手書き原稿)を光学的に読み取って電子化し、筆記データを生成する。そしてこれをコンピュータ７０に通信手段９０を介して送信する。
【００１３】
コンピュータ７０は、デジタルペン６０から筆記データを受信し、この筆記データに対して種々の処理を行う。このコンピュータ７０としては、例えば、パーソナルコンピュータ(ＰＣ)が例示される。
通信手段９０は、デジタルペン６０にて生成した筆記データをコンピュータ７０に送信できるものであれば、如何なるものであってもよい。例えば、ＵＳＢ(Universal Serial Bus)が挙げられる。
【００１４】
次に、デジタルペン６０について説明する。
図２は、デジタルペン６０のハードウェア構成を示した図である。
図示するように、デジタルペン６０は、ペン全体の動作を制御するＣＰＵ６１と、デジタルペン６０による筆記動作をペンチップ６９に加わる圧力によって検出する圧力センサ６２と、媒体上に赤外光を照射する赤外ＬＥＤ６３と、画像を入力する赤外ＣＭＯＳ６４とを有している。また、媒体から読み取ったコードパターン画像に基づいて構成した筆記データ等を格納するＲＡＭ６５と、コンピュータ７０等の外部装置と通信するための通信インターフェイス(以下、「通信Ｉ/Ｆ」という)６６と、ペンを駆動するためのバッテリ６７と、ペンの識別情報(ペンＩＤ)等を記憶するＲＯＭ６８とを有している。
【００１５】
ここで、このデジタルペン６０の動作の概略を説明する。
デジタルペン６０による筆記が行われると、ペンチップ６９に接続された圧力センサ６２が、筆記動作を検出する。これにより、赤外ＬＥＤ６３が点灯し、赤外ＣＭＯＳ６４がＣＭＯＳセンサによって媒体上の画像を撮像する。尚、赤外ＬＥＤ６３は、消費電力を抑制するために、ＣＭＯＳセンサのシャッタタイミングに同期させてパルス点灯する。
このように画像が撮像されると、デジタルペン６０は、ＣＰＵ６１の制御の下、撮像した画像から位置符号画像を取り出し、これを位置符号パターンに変換する。そして、この位置符号パターンによって決定される筆記位置をつなげることで筆記データを生成し、ＲＡＭ６５に格納する。
【００１６】
尚、図２には示していないが、本実施の形態において、デジタルペン６０は、ペンの色の切替えを可能にするスイッチを備えるものとする。そして、このスイッチによるペンの色の切替えは、リアルタイムにデジタルペン６０の内部に伝えられ、ＲＡＭ６５に記憶されるものとする。これにより、デジタルペン６０による筆記動作を圧力センサ６２が検出すると、ＣＰＵ６１の制御の下で、筆記データは、各部分の筆記がなされたときに記憶されていた色の情報に関連付けてＲＡＭ６５に記憶される。
【００１７】
次いで、コンピュータ７０について説明する。
図３は、コンピュータ７０のハードウェア構成を示した図である。
図示するように、コンピュータ７０は、演算手段であるＣＰＵ(Central Processing Unit)３０１と、記憶手段であるメインメモリ３０２及び磁気ディスク装置(ＨＤＤ：Hard Disk Drive)３０３とを備える。ここで、ＣＰＵ３０１は、ＯＳ(Operating System)やアプリケーション等の各種ソフトウェアを実行し、後述する各機能を実現する。また、メインメモリ３０２は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置３０３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
更に、コンピュータ７０は、外部との通信を行うための通信Ｉ/Ｆ３０４と、ビデオメモリやディスプレイ等からなる表示機構３０５と、キーボードやマウス等の入力デバイス３０６とを備える。
【００１８】
このようなハードウェア構成を有するシステムにおいて、本実施の形態では、手書き原稿に対して、例えば、図４及び図５に示すような加工を行う。尚、本実施の形態では、手書き原稿に対して行われることが多い「整形」を、加工の一態様として考えるものとする。
まず、図４は、文字と図形とが混在する手書きのフローチャートを図形部分と文字部分とに分離する場合について示している。ここでは、デジタルペン６０を用いて媒体にフローチャートを描く際に、「ＳＴＡＲＴ」、「ＥＮＤ」、「Ｙｅｓ」、「Ｎｏ」といった文字は色Ａで描き、図形はその他の色で描くものとする。このように文字部分とその他の部分との色を異ならせることで、文字部分をその他の部分から分離することを可能としている。
【００１９】
また、図５は、手書き原稿の図形部分と文字部分とをそれぞれ整形して結合し、整形済フローチャートを生成する場合について示している。ここでは、デジタルペン６０を用いて媒体にフローチャートを描く際に、角が丸い四角形(「ＳＴＡＲＴ」、「ＥＮＤ」を囲む図形)は色Ｂで描くものとする。また、角が直角の四角形は色Ｃで、ひし形は色Ｄで、紙のリストを表す図形は色Ｅで描くものとする。そして、これらの図形を接続する矢印は色Ｆで描くものとする。このように図形の種類ごとに色を異ならせることで、図形の種類に応じた整形ルールにより整形することを可能としている。一方、図４で分離された文字については、文字認識を行うことにより整形している。
【００２０】
以下、このような整形を行う本実施の形態について具体的に説明する。
図６は、本実施の形態における筆記データ処理装置の機能構成を示したブロック図である。尚、この筆記データ処理装置は、図１に示したデジタルペン６０にて実現することも、コンピュータ７０にて実現することも可能である。
図示するように、本実施の形態における筆記データ処理装置は、筆記データ取得部３１と、筆記データ記憶部３２と、筆記データ分離部３３と、文字記憶部３４と、文字認識部３５と、図形整形部４０と、合成部３６と、合成データ記憶部３７とを備える。
【００２１】
筆記データ取得部３１は、媒体に対する筆記を電子化した筆記データを取得し、筆記データ記憶部３２は、その筆記データを記憶する。筆記データ分離部３３は、筆記データに付加された色に基づいて、筆記データを文字画像と図形画像とに分離する。文字記憶部３４は、分離された文字画像を記憶し、文字認識部３５は、その文字画像を認識し、これを、対応する文字コードに基づく文字画像に置き換える。
図形整形部４０は、分離された図形画像を、図形ごとに、各図形に付された色に応じて整形する。合成部３６は、整形後の文字画像と図形画像とを合成し、合成データ記憶部３７は、合成後の筆記データ(整形済の筆記データ)を記憶する。
【００２２】
また、図形整形部４０について更に詳しく述べると、図形整形部４０は、図形記憶部４１と、領域抽出部４２と、パターン判定部４３と、サイズ調整部４４と、画像変換部４５と、変換規則記憶部４６とを備える。
図形記憶部４１は、筆記データ分離部３３にて分離された図形画像を記憶し、領域抽出部４２は、その図形画像から所定の領域を切り出す。パターン判定部４３は、この切り出した領域内の図形画像のパターンを判定し、サイズ調整部４４は、判定されたパターンが所定の条件を満足しなかった場合に領域のサイズを変更する。画像変換部４５は、図形画像に付加された色と、判定されたパターンとに応じた変換規則(整形ルール)を用いて、図形画像を変換する。変換規則記憶部４６は、このときに用いられる変換規則を記憶する。
【００２３】
尚、これらの機能は、ソフトウェアとハードウェア資源とが協働することにより実現される。
まず、筆記データ処理装置をデジタルペン６０にて実現するものとすると、筆記データ取得部３１、筆記データ分離部３３、文字認識部３５、合成部３６、領域抽出部４２、パターン判定部４３、サイズ調整部４４、画像変換部４５は、ＣＰＵ６１が、これらの各機能を実現するプログラムを、ＲＯＭ６８から読み込むことにより実現される。また、筆記データ記憶部３２、文字記憶部３４、図形記憶部４１は、例えばＲＡＭ６５を用いて実現することができ、変換規則記憶部４６は、例えばＲＯＭ６８を用いて実現することができる。更に、ＲＯＭ６８に記憶されるプログラムや変換規則等のデータは、ＣＤ等の記録媒体からロードしてもよいし、インターネット等のネットワークを介してダウンロードしてもよい。
【００２４】
また、筆記データ処理装置をコンピュータ７０にて実現するものとすると、筆記データ取得部３１、筆記データ分離部３３、文字認識部３５、合成部３６、領域抽出部４２、パターン判定部４３、サイズ調整部４４、画像変換部４５は、ＣＰＵ３０１が、これらの各機能を実現するプログラムを、磁気ディスク装置３０３からメインメモリ３０２に読み込むことにより実現される。また、筆記データ記憶部３２、文字記憶部３４、図形記憶部４１は、例えば磁気ディスク装置３０３を用いて実現することができる。更に、磁気ディスク装置３０３に記憶されるプログラムや変換規則等のデータは、ＣＤ等の記録媒体からロードしてもよいし、インターネット等のネットワークを介してダウンロードしてもよい。
【００２５】
ここで、変換規則記憶部４６に記憶される変換規則について具体的に説明する。
図７は、このような変換規則の一例を示した図である。
図示するように、この変換規則では、領域抽出部４２が切り出した領域内の図形画像に付された色と、その領域の枠と図形の線の交差のパターンとの組み合わせに応じて、変換後の図形画像が定義されている。尚、図では、変換前の図形画像については示していないが、これは、領域の枠と図形の線の交差のパターンが変換後の図形画像から容易に特定できるからである。例えば、色Ｂに対するパターン１は、図形の線が方形枠の左辺と２点で交差する、というパターンである。
【００２６】
以下、変換規則について具体的に説明する。
色Ｂについては、パターン１〜３に対して、変換後の図形画像が定義されている。この色Ｂは、角が丸い四角形を描く際に用いられる色である。従って、変換規則としても、角が丸い四角形を整形するのに相応しいものが定義されている。
まず、パターン１は、図形の線が方形枠の左辺と２点で交差する、というパターンである。また、パターン２は、図形の線が方形枠の左辺及び右辺とそれぞれ１点で交差する、というパターンである。そして、パターン３は、図形の線が方形枠の左辺及び下辺とそれぞれ１点で交差する、というパターンである。いずれの場合も、２つの交点の位置は変更せずに、その一方の点から他方の点へ至るまでの図形を、図示する図形に倣って整形すべきことが規定されている。
【００２７】
色Ｃについては、パターン１〜３に対して、変換後の図形画像が定義されている。この色Ｃは、角が直角の四角形を描く際に用いられる色である。従って、変換規則としても、角が直角の四角形を整形するのに相応しいものが定義されている。
まず、パターン１は、図形の線が方形枠の左辺と２点で交差する、というパターンである。また、パターン２は、図形の線が方形枠の左辺及び右辺とそれぞれ１点で交差する、というパターンである。そして、パターン３は、図形の線が方形枠の左辺及び下辺とそれぞれ１点で交差する、というパターンである。いずれの場合も、２つの交点の位置は変更せずに、その一方の点から他方の点へ至るまでの図形を、図示する図形に倣って整形すべきことが規定されている。
【００２８】
色Ｄについては、パターン１〜４に対して、変換後の図形画像が定義されている。この色Ｄは、ひし形を描く際に用いられる色である。従って、変換規則としても、ひし形を整形するのに相応しいものが定義されている。
まず、パターン１は、図形の線がひし形枠の左上辺及び左下辺とそれぞれ１点で交差する、というパターンである。また、パターン２は、図形の線がひし形枠の左上辺及び右下辺とそれぞれ１点で交差する、というパターンである。パターン３は、図形の線がひし形枠の左上辺及び右上辺とそれぞれ１点で交差する、というパターンである。そして、パターン４は、図形の線がひし形枠の左下辺及び右上辺とそれぞれ１点で交差する、というパターンである。いずれの場合も、２つの交点の位置は変更せずに、その一方の点から他方の点へ至るまでの図形を、図示する図形に倣って整形すべきことが規定されている。
【００２９】
尚、図５に示した色Ｅについても上記と同様の変換規則が定義されるが、図７では省略している。この色Ｅは、紙のリストを表す図形を描く際に用いられる色である。従って、変換規則としても、このような図形を整形するのに相応しいものが定義される。
また、整形後の図形がこのように複雑なものとなる場合、ユーザは、例えば角が直角の四角形を描くだけで済むようにすることもできる。つまり、この角が直角の四角形を整形ルールにより整形することで、ほぼ同じ大きさの紙のリストを表す図形とすることもできるのである。
【００３０】
ところで、本実施の形態では、フローチャートの整形を想定しているので、角が丸い四角形、角が直角の四角形、ひし形等に対し、矢印が接続される場合がある。ここで、矢印は、色Ｆで描かれるものとする。従って、領域内に色Ｂと色Ｆがある場合(色Ｂ＋色Ｆ)、領域内に色Ｃと色Ｆがある場合(色Ｃ＋色Ｆ)、領域内に色Ｄと色Ｆがある場合(色Ｄ＋色Ｆ)についても、変換規則が定義されている。
【００３１】
色Ｂ＋色Ｆについては、パターン１、２に対して、変換後の図形画像が定義されている。この色Ｂ＋色Ｆは、角が丸い四角形に矢印が接続された部分に現れる色の組み合わせである。従って、変換規則としても、角が丸い四角形と矢印の接続部分を整形するのに相応しいものが定義されている。
まず、パターン１は、角が丸い四角形の線が方形枠の左辺と２点で交差し、かつ、矢印の線が方形枠の右辺と１点で交差する、というパターンである。また、パターン２は、角が丸い四角形の線が方形枠の左辺及び右辺とそれぞれ１点で交差し、かつ、矢印の線が方形枠の上辺と１点で交差する、というパターンである。いずれの場合も、角が丸い四角形については、２つの交点の位置は変更せずに、その一方の点から他方の点へ至るまでの図形を、図示する図形に倣って整形すべきことが規定されている。そして、矢印については、１つの交点の位置は変更せずに、その交点から角が丸い四角形上の点へ至るまでの図形を、図示する図形に倣って整形すべきことが規定されている。
【００３２】
色Ｃ＋色Ｆについては、パターン１、２に対して、変換後の図形画像が定義されている。この色Ｃ＋色Ｆは、角が直角の四角形に矢印が接続された部分に現れる色の組み合わせである。従って、変換規則としても、角が直角の四角形と矢印の接続部分を整形するのに相応しいものが定義されている。
まず、パターン１は、角が直角の四角形の線が方形枠の左辺と２点で交差し、かつ、矢印の線が方形枠の右辺と１点で交差する、というパターンである。また、パターン２は、角が直角の四角形の線が方形枠の左辺及び右辺とそれぞれ１点で交差し、かつ、矢印の線が方形枠の上辺と１点で交差する、というパターンである。いずれの場合も、角が直角の四角形については、２つの交点の位置は変更せずに、その一方の点から他方の点へ至るまでの図形を、図示する図形に倣って整形すべきことが規定されている。そして、矢印については、１つの交点の位置は変更せずに、その交点から角が直角の四角形上の点へ至るまでの図形を、図示する図形に倣って整形すべきことが規定されている。
【００３３】
色Ｄ＋色Ｆについては、パターン１、２に対して、変換後の図形画像が定義されている。この色Ｄ＋色Ｆは、ひし形に矢印が接続された部分に現れる色の組み合わせである。従って、変換規則としても、ひし形と矢印の接続部分を整形するのに相応しいものが定義されている。
まず、パターン１は、ひし形の線がひし形枠の左上辺及び左下辺とそれぞれ１点で交差し、かつ、矢印の線がひし形枠の右上辺と１点で交差する、というパターンである。また、パターン２は、ひし形の線がひし形枠の左上辺及び右上辺とそれぞれ１点で交差し、かつ、矢印の線が左下辺と１点で交差する、というパターンである。いずれの場合も、ひし形については、２つの交点の位置は変更せずに、その一方の点から他方の点へ至るまでの図形を、図示する図形に倣って整形すべきことが規定されている。そして、矢印については、１つの交点の位置は変更せずに、その交点からひし形上の点へ至るまでの図形を、図示する図形に倣って整形すべきことが規定されている。
【００３４】
尚、図７に示したのは、あくまで変換規則の一部である。
例えば、色Ｂに対するパターン１は、図形の線が方形枠の左辺と２点で交差するものであるが、これとは別に、図形の線が方形枠の右辺と２点で交差するパターンについても、変換規則が定義される。また、色Ｂに対するパターン３は、図形の線が方形枠の左辺及び下辺とそれぞれ１点で交差するものであるが、これとは別に、図形の線が方形枠の左辺及び上辺とそれぞれ１点で交差するパターン、図形の線が方形枠の右辺及び上辺とそれぞれ１点で交差するパターン、図形の線が方形枠の右辺及び下辺とそれぞれ１点で交差するパターンについても、変換規則が定義される。
【００３５】
或いは、図７の変換規則を画像変換部４５が解釈するときに、類似するパターンについての変換後の図形画像を類推解釈するようにしてもよい。
例えば、色Ｂに対するパターン１は、図形の線が方形枠の左辺と２点で交差するものであるが、これから、図形の線が方形枠の右辺と２点で交差するパターンについての変換規則も導き出せるようにしておく。また、色Ｂに対するパターン３は、図形の線が方形枠の左辺及び下辺とそれぞれ１点で交差するものであるが、これから、図形の線が方形枠の左辺及び上辺とそれぞれ１点で交差するパターン、図形の線が方形枠の右辺及び上辺とそれぞれ１点で交差するパターン、図形の線が方形枠の右辺及び下辺とそれぞれ１点で交差するパターンについての変換規則も導き出せるようにする。
【００３６】
このようなパターンの類推を検討すると、図７の変換規則は、次のパターンに集約できる。
(ａ) 方形領域についてのパターン
・左右のどちらかの辺と２点で交差するパターン
・左右の辺それぞれと１点で交差するパターン
・隣り合う２辺のそれぞれと１点で交差するパターン
・左右のどちらかの辺と２点で交差し、その辺に向かい合う辺と１点で交差するパターン
・左右の辺それぞれと１点で交差し、それらの辺に挟まれた辺と１点で交差するパターン
(ｂ) ひし形領域についてのパターン
・向かい合う辺それぞれと１点で交差するパターン
・隣り合う２辺それぞれと１点で交差するパターン
・隣り合う２辺のそれぞれと１点で交差し、それらの辺のいずれかと向かい合う辺と１点で交差するパターン
【００３７】
次に、図６に示した筆記データ処理装置の動作について説明する。
筆記データ処理装置では、まず、筆記データ取得部３１が筆記データを取得する。尚、この筆記データ処理装置がデジタルペン６０にて実現される場合は、図２を参照して説明した動作によりＲＡＭ６５に格納された筆記データを、デジタルペン６０の筆記データ取得部３１が取得する。一方、この筆記データ処理装置がコンピュータ７０にて実現される場合は、図２を参照して説明した動作によりＲＡＭ６５に格納された筆記データは通信Ｉ/Ｆ６６を介してコンピュータ７０に送られ、コンピュータ７０の筆記データ取得部３１がこれを取得する。また、いずれの場合も、筆記データ取得部３１は、筆記データに加え、筆記データの部分ごとに付加された色の情報を取得する。
そして、筆記データ取得部３１が取得した筆記データ及び色の情報は、筆記データ記憶部３２に記憶される。
【００３８】
その後、筆記データ分離部３３は、筆記データ記憶部３２から筆記データを読み込み、これを図形画像と文字画像とに分離する。このとき、筆記データ分離部３３は、筆記データに付加された色に基づいて、筆記データを分離する。図４及び図５に示した例では、色Ａで筆記された部分は文字画像として分離し、その他の色が付加された部分は図形画像として分離する。
これにより、文字画像は文字記憶部３４に記憶され、図形画像は図形記憶部４１に記憶される。
【００３９】
このうち、文字記憶部３４に記憶された文字画像については、文字認識部３５が文字認識を行って文字コードを取得することにより、各文字コードに対応する文字画像に置き換えることで整形を行う。
これに対し、図形記憶部４１に記憶された図形画像については、図形整形部４０が整形する。
【００４０】
ここで、この図形整形部４０の動作について詳細に説明する。
図８は、このときの図形整形部４０の動作を示したフローチャートである。
動作が開始すると、まず、領域抽出部４２が、図形記憶部４１に記憶された図形画像上の１点Ｐを無作為に選ぶ(ステップ３０１)。例えば、乱数発生器により図形記憶部４１の１つのアドレスを発生し、そのアドレスの画素を読み出し、白画素であればもう一度点Ｐを選び直し、それが白以外の色の画素であればそのアドレスを点Ｐのアドレスとする。
【００４１】
次に、領域抽出部４２は、選んだ点Ｐが色Ｄかどうかを判定する(ステップ３０２)。
ここで、点Ｐが色Ｄでないと判定された場合、図５に示したように、点Ｐを含む図形はひし形以外の図形である。そこで、領域抽出部４２は、図形記憶部４１に記憶された図形画像の中から方形の領域を切り出す(ステップ３０３)。つまり、ステップ３０１で選んだ点Ｐを中心にして所定サイズの方形領域内のアドレスを順次発生し、そのアドレスにより図形画像を図形記憶部４１から読み出す。そして、領域抽出部４２は、パターン判定部４３に制御を渡す。
【００４２】
次いで、パターン判定部４３は、この方形の領域内に色Ｆを除いて２色以上が含まれるかどうかを判定する(ステップ３０４)。図７に示した変換規則は、領域内に１色の図形が含まれる場合、或いは、色Ｆの矢印が接続された１色の図形が含まれる場合に適用できるようになっているからである。
この判定の結果、色Ｆ以外に２色以上含まれるということになれば、パターン判定部４３は、サイズ調整部４４に制御を渡す。そして、サイズ調整部４４が、領域のサイズを小さくして制御を領域抽出部４２に戻し(ステップ３０５)、領域抽出部４２がその調整後のサイズの方形領域を再び切り出す(ステップ３０３)。そして、領域内に１色の図形が含まれる状態、或いは、色Ｆの矢印が接続された１色の図形が含まれる状態が得られるまで、この処理を繰り返す。
【００４３】
一方、ステップ３０２で点Ｐが色Ｄであると判定された場合、図５に示したように、点Ｐを含む図形はひし形である。そこで、領域抽出部４２は、図形記憶部４１に記憶された図形画像からひし形の領域を切り出す(ステップ３０６)。つまり、ステップ３０１で選んだ点Ｐを中心にして所定サイズのひし形領域内のアドレスを順次発生し、そのアドレスにより図形画像を図形記憶部４１から読み出す。そして、領域抽出部４２は、パターン判定部４３に制御を渡す。
【００４４】
次いで、パターン判定部４３は、このひし形の領域内に色Ｆを除いて２色以上が含まれるかどうかを判定する(ステップ３０７)。図７に示した変換規則は、領域内に１色の図形が含まれる場合、或いは、色Ｆの矢印が接続された１色の図形が含まれる場合に適用できるようになっているからである。
この判定の結果、色Ｆ以外に２色以上含まれるということになれば、パターン判定部４３は、サイズ調整部４４に制御を渡す。そして、サイズ調整部４４が、領域のサイズを小さくして制御を領域抽出部４２に戻し(ステップ３０８)、領域抽出部４２がその調整後のサイズのひし形領域を再び切り出す(ステップ３０６)。そして、領域内に１色の図形が含まれる状態、或いは、色Ｆの矢印が接続された１色の図形が含まれる状態が得られるまで、この処理を繰り返す。
【００４５】
ところで、先のステップ３０４で、領域内に１色の図形が含まれる状態、或いは、色Ｆの矢印が接続された１色の図形が含まれる状態が得られた場合は、領域内に色Ｄが存在するかどうかを判定する(ステップ３０９)。但し、点Ｐが色Ｄである場合は、ステップ３０２での判定結果が「Ｙｅｓ」となるので、ここでは、領域内に色Ｄと色Ｆの２色が含まれるかどうかが判定されることになる。
その結果、領域内に色Ｄが存在する場合は、点Ｐが色Ｄである場合と同様、ステップ３０６〜３０８の処理が実行される。
【００４６】
このような処理により、図７の変換規則を適用可能な領域を切り出せた場合、つまり、ステップ３０９での判定結果が「Ｎｏ」となった場合、又は、ステップ３０７の判定結果が「Ｎｏ」となった場合、領域抽出部４２はパターン判定部４３に制御を渡し、パターン判定部４３が、その領域内の図形画像が次のどのパターンに該当するかを判定する(ステップ３１０)。
【００４７】
(ａ) 方形領域についてのパターン
・左右のどちらかの辺と２点で交差するパターン
・左右の辺それぞれと１点で交差するパターン
・隣り合う２辺のそれぞれと１点で交差するパターン
・左右のどちらかの辺と２点で交差し、その辺に向かい合う辺と１点で交差するパターン
・左右の辺それぞれと１点で交差し、それらの辺に挟まれた辺と１点で交差するパターン
(ｂ) ひし形領域についてのパターン
・向かい合う辺それぞれと１点で交差するパターン
・隣り合う２辺それぞれと１点で交差するパターン
・隣り合う２辺のそれぞれと１点で交差し、それらの辺のいずれかと向かい合う辺と１点で交差するパターン
【００４８】
そして、パターンが判定されると、画像変換部４５に制御が渡り、画像変換部４５は、変換規則記憶部４６を参照し、図形画像を変換する(ステップ３１１)。つまり、図７の変換規則から、変換対象の部分に付された色と、ステップ３１０で判定されたパターンとの組み合わせに応じた変換後の図形画像を取り出し、変換対象の部分をこの図形画像によって置き換える。
その後、領域抽出部４２は、加工が終了したかを判定する(ステップ３１２)。例えば、図形画像の整形が完了するのに十分な点Ｐの選択回数として閾値を予め決めておき、点Ｐの選択回数がこの閾値を超えたかどうかを判定する。
そして、加工が終了していなければ、ステップ３０１に戻り、加工が終了していれば、処理を終了する。
【００４９】
以上により、本実施の形態の動作は終了する。
尚、上記では、デジタルペン６０で筆記した際の色に応じて、手書き原稿の分離や加工を行ったが、分離や加工を行うために用いる情報は必ずしも色には限られない。例えば、デジタルペン６０に文字モード、図形モードといった特殊なモードを切り替えるスイッチを設け、これらのモード情報に基づいて、手書き原稿の分離や加工を行うようにすることもできる。
また、本実施の形態では、分離、整形の対象としてフローチャートを想定したが、これはあくまで一例であり、対象に応じた規則を定義しておけば、その他のいかなる対象であっても分離、整形を行うことは可能である。
また、本実施の形態は、手書き原稿に対して「整形」を行う場合だけでなく、何らかの加工を行う場合であっても適用可能である。
【００５０】
以上述べたように、本実施の形態では、筆記したときのモード情報を用いて筆記データの一部を全体から分離したり、一部を他の部分とは別に加工したりするようにした。これにより、かかる分離や加工の処理を簡単に行えるようになった。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施の形態が適用されるシステムの構成を示した図である。
【図２】本発明の実施の形態のシステムにおけるデジタルペンのハードウェア構成を示した図である。
【図３】本発明の実施の形態のシステムにおけるコンピュータのハードウェア構成を示した図である。
【図４】本発明の実施の形態による手書きのフローチャートの分離例を示す図である。
【図５】本発明の実施の形態による手書きのフローチャートの整形例を示す図である。
【図６】本発明の実施の形態における筆記データ処理装置の機能構成を示したブロック図である。
【図７】本発明の実施の形態で用いられる変換規則の例を示した図である。
【図８】本発明の実施の形態における筆記データ処理装置の図形整形部の動作を示したフローチャートである。
【符号の説明】
【００５２】
６０…デジタルペン、７０…コンピュータ、９０…通信手段
【図１】
2007316836.tif 000003
【図２】
2007316836.tif 000004
【図３】
2007316836.tif 000005
【図４】
2007316836.tif 000006
【図５】
2007316836.tif 000007
【図６】
2007316836.tif 000008
【図７】
2007316836.tif 000009
【図８】
2007316836.tif 000010