(57)【特許請求の範囲】
【請求項１】
手書き入力された筆跡データを編集する手書きデータ編集装置であって、
筆跡データを手書き入力するストローク入力手段と、
筆跡データの編集を行う場合に、どの筆跡データを編集の対象とするかの指示と、編集内容の指示とを表す編集指示データを入力する編集指示入力手段と、
筆跡データが、文字を構成する筆跡データか、図形を構成する筆跡データかを、所定の規則に従って判定する判定手段と、
文字を構成する筆跡データを文字グループにグループ化し、図形を構成する筆跡データを図形グループにグループ化すると共に、各グループと筆跡データとの対応関係を表す情報と、各グループを包含する領域に関する情報とを生成するグループ情報生成手段と、
筆跡データと、前記グループ情報生成手段により生成された情報とを保持するデータ保持手段と、
編集指示データと、前記データ保持手段に保持される情報とに基づいて、編集の対象とする一つ又は複数の筆跡データを選択する編集対象選択手段と、
編集指示データと、前記編集対象選択手段による選択の結果と、前記データ保持手段に保持される情報とに基づいて、筆跡データの再グループ化を行う再グループ化手段と
を有し、
前記編集対象選択手段は、
編集指示データから、編集の対象とする筆跡データが包含されるべき領域として指示された選択領域を決定する選択領域決定部と、
選択領域と、文字グループを包含する領域との重なり具合を算出し、重なり具合が所定の割合以上であれば、当該文字グループを編集対象として選択する文字グループ選択部と、
選択領域と、図形グループを包含する領域との重なり具合を算出し、重なり具合が所定の割合以上であれば、当該図形グループを編集対象として選択する図形グループ選択部と
を有し、
前記再グループ化手段は、
前記判定手段により図形を構成する筆跡データと判定された筆跡データについて、当該筆跡データを含む図形グループが前記図形グループ選択部により選択されていない場合であって、当該筆跡データが選択領域に含まれる部分を有する場合に当該筆跡データを保持する図形筆跡保持部と、
前記文字グループ選択部により文字グループが選択され、かつ、前記図形筆跡保持部に保持されている筆跡データが存在する場合に、当該筆跡データと、選択された文字グループとの位置関係が所定の条件を満たすか否かを判定する筆跡判定部と、
前記筆跡判定部により、所定の条件を満たすと判定された場合に、当該筆跡データを文字を構成する筆跡データと判定し直して、当該文字グループに編入するグループ再構成部と
を有することを特徴とする手書きデータ編集装置。
【請求項２】
手書き入力された筆跡データを編集する手書きデータ編集装置であって、
筆跡データを手書き入力するストローク入力手段と、
筆跡データの編集を行う場合に、どの筆跡データを編集の対象とするかの指示と、編集内容の指示とを表す編集指示データを入力する編集指示入力手段と、
筆跡データが、文字を構成する筆跡データか、図形を構成する筆跡データかを、所定の規則に従って判定する判定手段と、
文字を構成する筆跡データを文字グループにグループ化し、図形を構成する筆跡データを図形グループにグループ化すると共に、各グループと筆跡データとの対応関係を表す情報と、各グループを包含する領域に関する情報とを生成するグループ情報生成手段と、
筆跡データと、前記グループ情報生成手段により生成された情報とを保持するデータ保持手段と、
編集指示データと、前記データ保持手段に保持される情報とに基づいて、編集の対象とする一つ又は複数の筆跡データを選択する編集対象選択手段と、
編集指示データと、前記編集対象選択手段による選択の結果と、前記データ保持手段に保持される情報とに基づいて、筆跡データの再グループ化を行う再グループ化手段と
を有し、
前記編集対象選択手段は、
編集指示データから、編集の対象とする筆跡データが包含されるべき領域として指示された選択領域を決定する選択領域決定部と、
選択領域と、文字グループを包含する領域との重なり具合を算出し、重なり具合が所定の割合以上であれば、当該文字グループを編集対象として選択する文字グループ選択部と、
選択領域と、図形グループを包含する領域との重なり具合を算出し、重なり具合が所定の割合以上であれば、当該図形グループを編集対象として選択する図形グループ選択部と
を有し、
前記再グループ化手段は、
前記判定手段により図形を構成する筆跡データと判定された筆跡データについて、当該筆跡データを含む図形グループが前記図形グループ選択部により選択されていない場合であって、当該筆跡データが選択領域に含まれる部分を有する場合に当該筆跡データを保持する図形筆跡保持部と、
前記文字グループ選択部により文字グループが選択されておらず、かつ、前記図形筆跡保持部に保持されている筆跡データが存在する場合に、当該筆跡データとの位置関係が、所定の条件を満たす文字グループが存在するか否かを判定する筆跡判定部と、
前記筆跡判定部により、存在すると判定された場合に、当該筆跡データを文字を構成する筆跡データと判定し直して、当該文字グループに編入するグループ再構成部と
を有することを特徴とする手書きデータ編集装置。
【請求項３】
手書き入力された筆跡データを編集する手書きデータ編集装置であって、
筆跡データを手書き入力するストローク入力手段と、
筆跡データの編集を行う場合に、どの筆跡データを編集の対象とするかの指示と、編集内容の指示とを表す編集指示データを入力する編集指示入力手段と、
筆跡データが、文字を構成する筆跡データか、図形を構成する筆跡データかを、所定の規則に従って判定する判定手段と、
文字を構成する筆跡データを文字グループにグループ化し、図形を構成する筆跡データを図形グループにグループ化すると共に、各グループと筆跡データとの対応関係を表す情報と、各グループを包含する領域に関する情報とを生成するグループ情報生成手段と、
筆跡データと、前記グループ情報生成手段により生成された情報とを保持するデータ保持手段と、
編集指示データと、前記データ保持手段に保持される情報とに基づいて、編集の対象とする一つ又は複数の筆跡データを選択する編集対象選択手段と、
編集指示データと、前記編集対象選択手段による選択の結果と、前記データ保持手段に保持される情報とに基づいて、筆跡データの再グループ化を行う再グループ化手段と
を有し、
前記編集対象選択手段は、
編集指示データから、編集の対象とする筆跡データが包含されるべき領域として指示された選択領域を決定する選択領域決定部と、
選択領域と、文字グループを包含する領域との重なり具合を算出し、重なり具合が所定の割合以上であれば、当該文字グループを編集対象として選択する文字グループ選択部と、
選択領域と、図形グループを包含する領域との重なり具合を算出し、重なり具合が所定の割合以上であれば、当該図形グループを編集対象として選択する図形グループ選択部と
を有し、
前記再グループ化手段は、
前記判定手段により文字を構成する筆跡データと判定された筆跡データについて、当該筆跡データを含む文字グループが前記文字グループ選択部により選択されていない場合であって、当該筆跡データが選択領域に含まれる部分を有する場合に当該筆跡データを保持する文字筆跡保持部と、
前記図形グループ選択部により図形グループが選択され、かつ、前記文字筆跡保持部に保持されている筆跡データが存在する場合に、当該筆跡データと、選択された図形グループとの位置関係が所定の条件を満たすか否かを判定する筆跡判定部と、
前記筆跡判定部により、所定の条件を満たすと判定された場合に、当該筆跡データを図形を構成する筆跡データと判定し直して、当該図形グループに編入するグループ再構成部と
を有することを特徴とする手書きデータ編集装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ペン、タブレット装置等の入力デバイスを用いて入力された手書きデータを編集する手書きデータ編集装置に関する。
【０００２】
【従来の技術】
近年、情報処理装置の小型化、携帯化に伴い、ペン、タブレット装置等の入力デバイスを用いてデータを手書き入力する装置が広く使われるようになってきている。手書き入力されたデータは、オンライン文字図形認識技術などによりコード化されて利用されることもあれば、描画軌跡を表す点列データとして入力したままの形で利用されることもある。
【０００３】
以下、手書きデータを入力したままの形で利用する手書きデータ編集装置について、従来の技術を説明する。
図１６は、従来の手書きデータ編集装置の構成を示すブロック図である。
同図に示される手書きデータ編集装置は、筆跡データ入力部８１、筆跡データ抽出部８２、筆跡データ振り分け部８３、筆跡データ管理部８４、表示部８５、筆跡データ保持部８６、編集対象選択部８７、筆跡データ編集部８８、文字図形分離部８９、グループ構成部９０、編集モード指示部９１を備える。
【０００４】
筆跡データ入力部８１としては、ペン、タブレット等の入力デバイスが使用され、ペンダウンからペンアップまでの描画軌跡（以下「ストローク」と呼ぶ）が、操作者により順次入力される。
筆跡データ抽出部８２は、筆跡データ入力部８１を通じて入力されたストロークから、ストロークを構成する点の座標の集合である点列データを抽出する。点列データはストロークを単位として抽出され、個々のストロークにおいて、ペンとタブレットとの接触位置を表す座標を、一定の間隔または可変の間隔で抽出した一連の座標点列を含む。
【０００５】
筆跡データ振り分け部８３は、筆跡データ抽出部８２にて抽出された点列データを、通常の入力データを表すストロークから抽出された点列データ（以下「筆跡データ」と呼ぶ）と、編集指示を表すストロークから抽出された点列データ（以下「編集指示データ」と呼ぶ）とに振り分け、筆跡データを筆跡データ管理部８４に送り、編集指示データを編集対象選択部８７に送る。
【０００６】
ここで、筆跡データ入力部８１から、筆跡データを入力するか、編集指示データを入力するかは、操作者が、例えばペンに備えられているスイッチを用いて切り替えることができる。
筆跡データ管理部８４は、筆跡データ振り分け部８３から送られた筆跡データの管理を行う。筆跡データは、筆跡データ保持部８６に保持されると同時に表示部８５に表示される。
【０００７】
筆跡データ保持部８６は、筆跡データや、筆跡データを文字、行、図形等にグループ分けした文字グループ、図形グループに関する情報を保持する。
編集対象選択部８７は、編集指示データの内容から、操作者がどの筆跡データに対して、どのような編集指示を行っているかを識別し、筆跡データ編集部８８に通知する。
【０００８】
筆跡データ編集部８８は、編集対象選択部８７の通知を受けて、筆跡データ管理部８４に対し、筆跡データ保持部８６の内容の変更を指示する。
文字図形分離部８９は、筆跡データ管理部８４から、入力された筆跡データを受け取り、各々の筆跡データが、文字を構成するストロークの筆跡データか、図形を構成するストロークの筆跡データかを判定し、両者を分離する。
【０００９】
グループ構成部９０は、文字図形分離部８９にて分離された、文字を構成するストロークの筆跡データについて、文字の切り出しや、行の切り出し等の技術を用いて文字、行等の文字グループにグループ化する。文字の切り出しについては、電子情報通信学会論文誌'90/10 Vol.J73-D-II No.10「運筆データからの字の切り出し」に開示されており、行の切り出しについては、電子情報通信学会論文誌'90/7 Vol.J73-D-II No.7「運筆データからの行の切り出し」に開示されている。
【００１０】
なお、グループ構成部９０は、図形を構成するストロークの筆跡データについては、グループ化を行わずストロークごとに管理を行う。
編集モード指示部９１は、操作者からの編集モードの切替えの入力を受け付け、筆跡データ編集部８８に通知する。ここで、編集モードには、文字編集モードと図形編集モードの二種類が存在する。文字編集モードと図形編集モードとの内容については後述する。
【００１１】
以上のように構成された手書きデータ編集装置を用いて、文字と図形が混在する手書きデータの編集を行う場合の編集方法について、以下に説明する。
図１７は、文字と図形が混在した手書きデータの一例を示す。図１７（ａ）のような手書きデータにおいて、例えば「３００ｍ」と記載されているところを「３０ｍ」に訂正するため、同図中（Ａ）に示すようなジェスチャ入力を行ったとする。この場合、操作者が編集モード指示部９１を通じて文字編集モードの指定を行っていれば、３００ｍの「ｍ」の文字が、恰もワードプロセッサを用いて編集したときのように左に詰まって表示される（図１７（ｂ））。しかし、図形編集モードを指定して編集がされた場合には、編集すべく指定された文字以外の文字又は図形については、何ら影響を与えないようにするため、前記「ｍ」の文字は、左に詰まることなくそのままの位置に表示されることになる（図１７（ｃ））。
【００１２】
【発明が解決しようとする課題】
しかしながら、上記のような従来の手書きデータ編集装置では、操作者が編集対象に応じて、文字編集モードと、図形編集モードとの切替えを行わなければならないという問題点を有していた。
なぜなら、手書きデータの入力直後の時点で、正確に文字の筆跡データと図形の筆跡データとの分類を行うことは事実上不可能であり、適切な編集モードを自動的に選択することができなかったためである。
【００１３】
本発明は上記の問題点に鑑み、手書きデータが文字を表す筆跡データか、図形を表す筆跡データであるかを、正確に識別することが可能な手書きデータ編集装置を提供することを目的とする。
また、本発明の第二の目的は、操作者が編集モードを切り替えなくても、編集対象に応じて適切な編集を行うことができる手書きデータ編集装置を提供することである。
【００１４】
【課題を解決するための手段】
上記の問題点を解決する目的で、本発明に係る手書きデータ編集装置は、手書き入力された筆跡データを編集する手書きデータ編集装置であって、筆跡データを手書き入力するストローク入力手段と、筆跡データの編集を行う場合に、どの筆跡データを編集の対象とするかの指示と、編集内容の指示とを表す編集指示データを入力する編集指示入力手段と、筆跡データが、文字を構成する筆跡データか、図形を構成する筆跡データかを、所定の規則に従って判定する判定手段と、文字を構成する筆跡データを文字グループにグループ化し、図形を構成する筆跡データを図形グループにグループ化すると共に、各グループと筆跡データとの対応関係を表す情報と、各グループを包含する領域に関する情報とを生成するグループ情報生成手段と、筆跡データと、前記グループ情報生成手段により生成された情報とを保持するデータ保持手段と、編集指示データと、前記データ保持手段に保持される情報とに基づいて、編集の対象とする一つ又は複数の筆跡データを選択する編集対象選択手段と、編集指示データと、前記編集対象選択手段による選択の結果と、前記データ保持手段に保持される情報とに基づいて、筆跡データの再グループ化を行う再グループ化手段とを有する。
【００１５】
また、前記編集対象選択手段は、編集指示データから、編集の対象とする筆跡データが包含されるべき領域として指示された選択領域を決定する選択領域決定部と、選択領域と、文字グループを包含する領域との重なり具合を算出し、重なり具合が所定の割合以上であれば、当該文字グループを編集対象として選択する文字グループ選択部と、選択領域と、図形グループを包含する領域との重なり具合を算出し、重なり具合が所定の割合以上であれば、当該図形グループを編集対象として選択する図形グループ選択部とを有することもできる。
【００１７】
また、前記再グループ化手段は、前記判定手段により図形を構成する筆跡データと判定された筆跡データについて、当該筆跡データを含む図形グループが前記図形グループ選択部により選択されていない場合であって、当該筆跡データが選択領域に含まれる部分を有する場合に当該筆跡データを保持する図形筆跡保持部と、前記文字グループ選択部により文字グループが選択され、かつ、前記図形筆跡保持部に保持されている筆跡データが存在する場合に、当該筆跡データと、選択された文字グループとの位置関係が所定の条件を満たすか否かを判定する筆跡判定部と、前記筆跡判定部により、所定の条件を満たすと判定された場合に、当該筆跡データを文字を構成する筆跡データと判定し直して、当該文字グループに編入するグループ再構成部とを有することもできる。
【００１８】
また、前記再グループ化手段は、前記判定手段により図形を構成する筆跡データと判定された筆跡データについて、当該筆跡データを含む図形グループが前記図形グループ選択部により選択されていない場合であって、当該筆跡データが選択領域に含まれる部分を有する場合に当該筆跡データを保持する図形筆跡保持部と、前記文字グループ選択部により文字グループが選択されておらず、かつ、前記図形筆跡保持部に保持されている筆跡データが存在する場合に、当該筆跡データとの位置関係が、所定の条件を満たす文字グループが存在するか否かを判定する筆跡判定部と、前記筆跡判定部により、存在すると判定された場合に、当該筆跡データを文字を構成する筆跡データと判定し直して、当該文字グループに編入するグループ再構成部とを有することもできる。
【００１９】
また、前記再グループ化手段は、前記判定手段により文字を構成する筆跡データと判定された筆跡データについて、当該筆跡データを含む文字グループが前記文字グループ選択部により選択されていない場合であって、当該筆跡データが選択領域に含まれる部分を有する場合に当該筆跡データを保持する文字筆跡保持部と、前記図形グループ選択部により図形グループが選択され、かつ、前記文字筆跡保持部に保持されている筆跡データが存在する場合に、当該筆跡データと、選択された図形グループとの位置関係が所定の条件を満たすか否かを判定する筆跡判定部と、前記筆跡判定部により、所定の条件を満たすと判定された場合に、当該筆跡データを図形を構成する筆跡データと判定し直して、当該図形グループに編入するグループ再構成部とを有することもできる。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
図１は、本発明の一実施の形態における手書きデータ編集装置の構成を示すブロック図である。
同図に示される手書きデータ編集装置は、筆跡データ入力部１、筆跡データ抽出部２、筆跡データ振り分け部３、筆跡データ管理部４、表示部５、筆跡データ保持部６、編集対象選択部７、筆跡データ編集部８、文字図形分離部９、入力時グループ構成部１０、編集時グループ構成部１１を備える。
【００２４】
筆跡データ入力部１としては、ペン、タブレット等の入力デバイスが使用できるが、ストロークを検知することができるものであれば、他の入力デバイスを用いてもよい。
筆跡データ抽出部２は、筆跡データ入力部１を通じて入力されたストロークから、ストロークを構成する点列の点列データを抽出する。
【００２５】
筆跡データ振り分け部３は、筆跡データ抽出部２にて抽出された点列データを、筆跡データと編集指示データに振り分け、筆跡データを筆跡データ管理部４に送り、編集指示データを編集対象選択部７に送る。ここで、筆跡データ入力部１により、筆跡データを入力するか、編集指示データを入力するかは、操作者が、例えばペンに備えられているスイッチを用いて切り替えることができる。
【００２６】
筆跡データ管理部４は、筆跡データ振り分け部３から送られた筆跡データの管理を行う。筆跡データは、筆跡データ保持部６に保持されると同時に表示部５に表示される。
筆跡データ保持部６は、筆跡データや、筆跡データを文字、行、図形等にグループ分けした文字グループ、図形グループに関する情報を保持する。
【００２７】
図２は、筆跡データ保持部６に保持される文字グループのデータ構造を示す図である。同図に示されるように、文字グループは、筆跡データの集合である文字データ、文字データの集合である行データというように階層的に管理がなされている。以下、保持されているデータの内容について説明する。
行データには、複数の文字から構成されている行（例えば行データ２１）と、一文字で構成されている行（例えば行データ２２）とが存在し得る。ここでは、例として行データ２１を用いて行データのデータ構造を説明する。
【００２８】
行データ２１は、外接矩形情報２１１、文字数２１２、文字データへのポインタ２１３、次行データへのポインタ２１４、前行データへのポインタ２１５を含む。
外接矩形情報２１１は、行データ２１に外接する矩形の座標を表す情報である。例えば図３に示すような行データにおいて、当該行データに外接する矩形の四隅の点の絶対座標がそれぞれ(X1,Y1)、(X1,Y2)、(X2,Y1)、(X2,Y2)であるとすると、外接矩形情報は(X1,Y1)-(X2,Y2)というように表される。なお、同図に示される外接矩形において座標が(X1,Y1)である点、即ち、上辺と左辺との交点を、以下の説明において、外接矩形の「原点」と呼ぶことにする。
【００２９】
文字数２１２は、当該行を構成する文字数を保持する。
文字データへのポインタ２１３は、行を構成する文字の一つについて、文字データの先頭のアドレスを保持する。文字データへのポインタ２１３に保持されるアドレスを有する文字は、例えば、行を構成する文字の中で行の原点に最も近い文字とすることが考えられる。
【００３０】
次行データへのポインタ２１４、前行データへのポインタ２１５は、行データ同士を結び付けるためのポインタである。なお、図中点線の矢印は、接続する先の表示を省略していることを表す。
次に文字データのデータ構造について、文字データ３１を例として説明する。文字データ３１は、外接矩形情報３１１、ストローク数３１２、筆跡データへのポインタ３１３、次文字データへのポインタ３１４、前文字データへのポインタ３１５を含む。
【００３１】
外接矩形情報３１１は、文字データ３１に外接する矩形の座標を表す情報である。外接矩形情報３１１のデータ構造は、行データ２１の外接矩形情報２１１と同一であるが、ここでの座標としては当該文字を含む行の外接矩形の原点からの相対座標が保持される。
ストローク数３１２は、文字を構成するストロークの数を保持する。
【００３２】
筆跡データへのポインタ３１３は、当該文字を構成するストロークの中で最初に抽出されたストロークを表す筆跡データの先頭のアドレスを保持する。
次文字データへのポインタ３１４、前文字データへのポインタ３１５は、文字データ同士を繋げるために使用される。即ち、一つの行が複数の文字から構成されているような場合であれば、当該行を構成する文字同士を結び付けるために使用される。なお、図中点線の矢印は、接続する先の表示を省略していることを表す。
【００３３】
最後に筆跡データのデータ構造について説明する。筆跡データは、図２に示されるように、文字データのそれぞれについて、当該文字を構成するストロークについての情報を保持する。
筆跡データ４１は、次筆跡データへのポインタ４１１、座標点数４１２、座標データ４１３を含む。なお、本実施の形態では、筆跡データについては外接矩形情報を保持していないが、用途、目的等によっては、保持させることも可能である。
【００３４】
次筆跡へのポインタ４１１は、当該筆跡データの次に抽出された筆跡データの先頭のアドレスを保持する。なお、図中点線の矢印は、接続する先の表示を省略していることを表す。
座標点数４１２は、当該ストロークから抽出された座標点の個数を保持する。従って、座標点数４１２として保持される数は、座標データ４１３に保持される座標の個数と一致する。
【００３５】
座標データ４１３は、当該ストロークから抽出された座標点の座標データを保持する領域である。ここでの座標としては、当該ストロークを含む文字の外接矩形の原点からの相対座標が保持される。
以上に説明したように、本実施の形態の手書きデータ編集装置においては、ストローク、文字、行等について、情報を重複して保持することなく、ポインタを用いて結び付けることにより階層的に管理を行っている。
【００３６】
次に、図形グループのデータ構造について説明する。
図４は、図形グループのデータ構造を示す図である。同図に示されるように、図形グループは、ストロークの集合である図形データ、図形データの集合である図形グループというように階層的に管理されている。
図形グループは、複数の図形から構成される場合（５１）と一つの図形から構成される場合（５２）とがある。以下、図形グループ５１を例として、図形グループのデータ構造について説明する。
【００３７】
図形グループ５１は、外接矩形情報５１１、図形数５１２、図形データへのポインタ５１３、次図形グループへのポインタ５１４、前図形グループへのポインタ５１５を含む。
外接矩形情報５１１については、行データ２１の外接矩形情報２１１と同一であるので、詳細な説明は省略するが、行データ２１の場合と同様に外接矩形の絶対座標が保持される。
【００３８】
図形数５１２は、図形グループを構成する図形数を保持する。
図形データへのポインタ５１３は、当該図形グループを構成する図形データの中の一つについて、図形データの先頭のアドレスを保持する。
次図形グループへのポインタ５１４、前図形グループへのポインタ５１５は、図形グループ同士を結び付けるために使用される。なお、図中点線の矢印は、接続する先の表示を省略していることを表す。
【００３９】
次に図形データのデータ構造について、図形データ６１を例として説明する。図形データ６１は、外接矩形情報６１１、ストローク数６１２、筆跡データへのポインタ６１３、次図形データへのポインタ６１４、前図形データへのポインタ６１５を含む。
外接矩形情報６１１は、図形データ６１に外接する矩形の座標を表す情報である。外接矩形情報のデータ構造は、行データ２１の外接矩形情報２１１と同一であるが、ここでの座標としては、当該図形データを含む図形グループの外接矩形の原点からの相対座標が用いられる。
【００４０】
ストローク数６１２は、図形を構成するストロークの数を保持する。
筆跡データへのポインタ６１３は、当該図形を構成するストロークのうち、最初に抽出されたストロークの筆跡データを保持する領域の先頭のアドレスを保持する。
次図形データへのポインタ６１４、前図形データへのポインタ６１５は、図形データ同士を繋げるために使用される。なお、図中点線の矢印は、接続する先の表示を省略していることを表す。
【００４１】
筆跡データ７１のデータ構造は、文字データを構成する筆跡データ４１と同一であるので、ここでの説明は省略する。
編集対象選択部７は、編集指示データの内容から、操作者がどの筆跡データに対して、どのような編集指示を行っているかを識別し、筆跡データ編集部８及び編集時グループ構成部１１に通知する。
【００４２】
筆跡データ編集部８は、編集対象選択部７の通知を受けて、筆跡データ管理部４に対し、筆跡データ保持部６の内容の変更を指示する。
文字図形分離部９は、筆跡データ管理部４から、入力された筆跡データを受け取り、各々の筆跡データが、文字を構成するストロークの筆跡データか、図形を構成するストロークの筆跡データかを判定し、両者を分離する。具体的な判定方法については後述する。
【００４３】
入力時グループ構成部１０は、文字を構成するストロークの筆跡データについて、文字の切り出しや、行の切り出し等の技術を用いて文字、行等の文字グループにグループ化すると共に、図形を構成するストロークの筆跡データに対して、所定の処理を行うことにより図形グループにグループ化する。入力時グループ構成部１０の詳細な処理内容については後述する。
【００４４】
編集時グループ構成部１１は、編集対象選択部７から通知された編集指示データの内容等に基づいて、文字グループ及び図形グループの再グループ化を行う。図５は、本実施の形態の手書きデータ筆跡装置において、手書きデータが入力されたときの、最初の処理である入力時グループ構成処理の詳細な処理内容を示すフロ−チャ−トである。
【００４５】
この入力時グループ構成処理は、例えば筆跡データ入力部１として備えられているペン等に備えられているスイッチの切替えによって、操作者が編集指示データの入力を行う前のタイミングで行うことが可能であるが、処理を行うタイミングは、特に限定されるものではなく、タイマを用いて定期的に行うことや、操作者の指示入力を待って行うことも可能である。
【００４６】
入力時グループ構成処理においては、まず、ループＡの処理を筆跡データ保持部６に保持されている全ての筆跡データについて行う（Ｓ１０１）。ループＡにおいては、まず文字図形分離部９が、筆跡データ管理部４を通じて、筆跡データ保持部６から筆跡データを取り出し（Ｓ１０２）、取り出された筆跡データが、文字を表すストロークのものであるか、図形を表すストロークのものであるかを判別する（Ｓ１０３）。判別の方法としては、例えば、特開昭６０−１３６８９０号公報に開示されている方法を使用することができる。
【００４７】
取り出された筆跡データが文字のストロークを表すものであれば（Ｓ１０４：Ｙｅｓ）、入力時グループ構成部１０が、文字の切り出し（Ｓ１０５）、行の切り出し（Ｓ１０６）を行い、切り出し処理の結果を筆跡データ管理部４に通知する。筆跡データ管理部４は、当該通知に従って筆跡データ保持部６の内容を追加又は変更する（Ｓ１０７）。前述の如く、文字の切り出し及び行の切り出しは公知の技術であるので、ここでの詳細な説明は省略する。
【００４８】
取り出された筆跡データが図形のストロークを表すものであれば（Ｓ１０４：Ｎｏ）、入力時グループ構成部１０が、図形ストロークの初期グループ化処理を行う（Ｓ１０８）。図形ストロークの初期グループ化処理においては、ストロークの交差判定や、ストロークの外接矩形の重なり具合などの判定により図形を表すストロークの筆跡データを図形グループとしてグループ化する。ここで、グループ化されたストロークについては、複数の図形から構成される図形グループとして筆跡データ保持部６に登録され、その他の図形については、一つの図形から構成される図形グループとして筆跡データ保持部６に登録されることになる。
【００４９】
以上の処理を全ての筆跡データについて行うと（Ｓ１０９）、次に、ループＢの処理を、筆跡データ保持部６に登録されている全ての行データについて行う（Ｓ１１０）。
ループＢにおいては、まず入力時グループ構成部１０が、筆跡データ管理部４を通じて筆跡データ保持部６から行データを一つ取り出す（Ｓ１１１）。そして、一つの図形グループとして連結すべき図形グループを格納するバッファ領域（以下「連結図形バッファ」と呼ぶ）を初期化する（Ｓ１１２）。連結図形バッファは、図形グループを一つだけ格納できる領域として定義される。
【００５０】
連結図形バッファの初期化を終了すると、入力時グループ構成部１０は、筆跡データ保持部６に登録されている全ての図形グループについて、ループＣの処理を行う（Ｓ１１３）。ループＣの処理においては、入力時グループ構成部１０は、筆跡データ管理部４を通じて筆跡データ保持部６に登録されている図形グループを一つ取り出す（Ｓ１１４）。そして、取り出された図形グループの外接矩形と、先に取り出されている行データの外接矩形情報を参照して、二つの外接矩形の重なり具合を算出する（Ｓ１１５）。
【００５１】
具体的には、行の外接矩形と図形グループの外接矩形とが重なり合っている部分の面積をＡとし、Ａを行の外接矩形の面積Ｂで除することにより、重なり具合を算出する。ここで、図６に示されるように、二つの外接矩形の重なる部分の座標値(xs3,ys3)-(xe3,ye3)は、行の外接矩形情報を(xs1,ys1)-(xe1,ye1)、図形グループの外接矩形情報を(xs2,ys2)-(xe2,ye2)とすると、以下の式（１）〜（４）に従って算出される。
【００５２】
xs3=max(xs1,xs2)        （１）
ys3=max(ys1,ys2)        （２）
xe3=min(xe1,xe2)        （３）
ye3=min(ye1,ye2)        （４）
ここで、max(a,b)は、aとbとから大きい方の値を取る関数であり、min(a,b)は、aとbとから小さい方の値を取る関数である。
【００５３】
従って、重なり具合は以下の式に従って算出される。
重なり具合=Ａ／Ｂ=(xe3-xs3)*(ye3-ys3)/(xe2-xs2)*(ye2-ys2)    （５）
（但し、xe3<xs3  または  ye3<ys3  の場合はＡ／Ｂ＝０とする）
重なり具合が所定の比率（以下「図形グループ化比」と呼ぶ）を超えている場合（Ｓ１１６：Ｙｅｓ）には、取り出された図形グループを連結図形バッファに格納する。なお、図形グループ化比としては、本実施の形態では０．１程度の値に設定するが、この値は可変である。ここで、それまでに連結図形バッファに図形グループが格納されていない場合には、新たに図形グループの格納を行えば良いが、既に図形グループが格納されている場合は、図形グループの連結処理を行う（Ｓ１１７）。図形グループの連結処理とは、それまで連結図形バッファに格納されていた図形グループと、取り出されている図形グループとを、一つの図形グループとして扱うようにする処理である。即ち、前記二つの図形グループを一つの図形グループに連結した場合の外接矩形情報を算出し、連結図形バッファに格納されている図形グループの外接矩形情報を変更すると共に、当該図形グループを構成する図形数の変更を行う。
【００５４】
連結後の外接矩形情報(xs6,ys6)-(xe6,ye6)は、連結前に連結図形バッファに格納されている図形グループの外接矩形情報が(xs4,ys4)-(xe4,ye4)であり、取り出されている図形グループの外接矩形情報が(xs5,ys5)-(xe5,ye5)であるとすると、以下の式（６）〜（９）に基づいて算出できる。
xs6=min(xs4,xs5)        （６）
ys6=min(ys4,ys5)        （７）
xe6=max(xe4,xe5)        （８）
ye6=max(ye4,ye5)        （９）
入力時グループ構成部１０は、連結図形バッファの内容の変更処理を終了すると、筆跡データ管理部４を通じて、取り出されている図形グループの情報を筆跡データ保持部６から削除する（Ｓ１１８）。
【００５５】
以上の処理を全ての図形グループについて行うと（Ｓ１１９）、入力時グループ構成部１０は、連結図形バッファに図形グループが格納されているか否かを判定し（Ｓ１２０）、格納されていれば、筆跡データ管理部４を通じて、連結図形バッファに格納されている図形グループに基づいて筆跡データ保持部６の内容を変更する（Ｓ１２１）。具体的には、連結図形バッファの図形グループを書き戻し、ポインタの内容の変更等を行うことにより、連結された図形グループを保存する。
【００５６】
これまでの処理を全ての行グループについて行う（Ｓ１２２）ことにより、入力時グループ構成処理を終了する。
次に操作者から、手書きデータの編集指示がなされた場合の手書きデータ編集装置の処理内容について説明する。
図７は、操作者から編集指示がなされた場合の、手書きデータ編集装置の詳細な処理内容を示すフロ−チャ−トである。
【００５７】
まず、編集対象選択部７が、編集指示データから、どのような編集指示がなされているかを認識する（Ｓ２０１）。
次に、編集対象選択部７は、編集指示が編集対象を必要とする編集指示か否かを判定する（Ｓ２０２）。具体的には、筆跡データの削除、拡大、縮小、並びかえ等、編集の対象となる文字又は図形を必要とする指示か、編集作業の取消指示等、編集対象を必要としない指示かを判定する。
【００５８】
編集対象を必要とする編集指示であると判定された場合のみ、編集対象選択処理（Ｓ２０３）及びグループ再構成処理（Ｓ２０４）が実行される。
図８及び図９は、編集対象選択処理の詳細な処理内容を示すフロ−チャ−トである。
編集対象選択処理においては、編集対象選択部７が、まず、編集対象選択処理及びグループ再構成処理に使用されるバッファ領域の内容のクリア処理を行う（Ｓ３０１）。ここでクリアされるバッファ領域としては、編集対象として選択された図形グループを格納するバッファ（以下「選択図形バッファ」と呼ぶ）、編集対象として選択された行グループを格納するバッファ（以下「選択行バッファ」と呼ぶ）、編集対象として選択された文字グループを格納するバッファ（以下「選択文字バッファ」と呼ぶ）、編集指示データにより指示された範囲と重なってはいるものの、編集対象として選択されたとは判断されない図形グループにおいて、当該指示された範囲と一部重なり合っているストロークの筆跡データを格納するバッファ（以下「図形筆跡バッファ」と呼ぶ）、編集指示データにより指示された範囲と重なってはいるものの、編集対象として選択されたとは判断されない文字グループにおいて、所定の割合以上、当該指示された範囲と重なり合っているストロークの筆跡データを格納するバッファ（以下「文字筆跡バッファ」と呼ぶ）の五種類がある。
【００５９】
上記五種のバッファ領域のクリアを終了すると、編集対象選択部７は、編集指示データから、編集対象として選択された範囲の外接矩形情報を算出する（Ｓ３０２）。具体的には、編集指示データのＸ座標とＹ座標との最大値と最小値とを抽出することにより、編集対象選択のための領域の外接矩形情報を生成する。以下、編集対象として選択された領域の外接矩形の範囲内を「選択領域」と称することとする。ここで、編集指示データとは、例えば図１７（ａ）を用いて説明した例において、筆跡データの削除を指示する「×」印の如きストロークをいい、「×」の部分の外接矩形の範囲内が選択領域ということになる。
【００６０】
なお、本実施の形態においては、選択領域を、選択された領域の外接矩形の範囲内とするが、実施に際しては、外接矩形ではなく、多角形の範囲内としたり、閉曲線データの範囲内とすることも可能である。
選択領域が確定すると、筆跡データ保持部６に格納されている全ての図形グループについてループＤの処理が行われる（Ｓ３０３）。ループＤの処理において、編集対象選択部７は、筆跡データ管理部４を通じて、筆跡データ保持部６から図形グループを一つ取り出す。そして、取り出された図形グループの外接矩形と選択領域との重なり具合を算出する（Ｓ３０４）。ここでは、両者の重なり具合は、図形グループの外接矩形と選択領域とが重なり合っている範囲の面積を、図形グループの外接矩形の面積で除することによって算出する。従って、矩形の重なり具合の算出は、上記式（１）〜（５）に準じた方法で行うことが可能である。
【００６１】
算出された重なり具合（以下「図形重複領域比」と呼ぶ）が、所定の比率（以下「図形選択比」と呼ぶ）を上回る場合（Ｓ３０５：Ｙｅｓ）には、編集対象選択部７は、当該図形グループは操作者による編集の対象として選択されたと判定し、当該図形グループを選択図形バッファに格納する（Ｓ３０６）。図形選択比としては、本実施の形態では、０．８程度の値を用いる。即ち、図形の外接矩形と選択領域とが八割程度重なり合っている場合に編集対象として選択されたと判定するが、図形選択比は可変であり０．８に限定されるものではない。
【００６２】
図形重複領域比が図形選択比以下である場合には、次に、編集対象選択部７は、図形重複領域比が０より大きいか否か大きいか否かを判定する（Ｓ３０７）。ここで、図形重複領域比が０より大きい場合には、取り出された図形グループは操作者からの編集対象として選択されたわけではないが、選択領域と一部重なっていることを意味する。この場合、編集対象選択部７は、当該図形グループに属する各々のストロークについて、選択領域との重なり具合を調べるべく、当該図形グループに属する全てのストロークについて、ループＥの処理を行う（Ｓ３０８）。
【００６３】
ループＥの処理においては、編集対象選択部７は、まず当該図形グループに属する筆跡データを一つ取り出す。そして、取り出された筆跡データの各座標点の間を補間した直線が選択領域を通過するか否かを判定する（Ｓ３０９）。ここで、通過とは、必ずしも貫通することを意味せず、筆跡データの各座標点の間を補間した直線が、選択領域内に入っていれば通過しているものと判定する。なお、本実施の形態では、選択領域として外接矩形を用いているため、通過の判定は容易であるが、例えば閉曲線データとした場合の前記通過の判定方法については、「佐藤、村瀬、中川：”表示一体型タブレット上でのペンの囲みに対する筆跡パタンの包含判定アルゴリズム”、情報処理学会第４４回全国大会 2N-2,2,pp339-340(1992)」に開示されている方法が使用できる。
【００６４】
選択領域を通過すると判定されたストロークの筆跡データは、図形筆跡バッファに格納される。図形筆跡バッファに格納された筆跡データとは、当該筆跡データが属する図形グループが操作者により編集対象として選択されたわけではないにもかかわらず、選択領域に入っているストロークの筆跡データであることを意味する。編集時グループ構成部１１は、このようなストロークの存在から、図形グループの再グループ化の必要性を判断するのである。
【００６５】
上記のような処理を、取り出された図形グループに属する全ての筆跡データについて行い（Ｓ３１１）、さらにステップＳ３０４からステップＳ３１１までの処理を全ての図形グループについて行った後（Ｓ３１２）、図９のフロ−チャ−トへと移行する。
図９のフロ−チャ−トにおいて、編集対象選択部７は、ループＦの処理を筆跡データ保持部６に格納されている全ての行データについて行う（Ｓ３１３）。まず、編集対象選択部７は、筆跡データ管理部４を通じて筆跡データ保持部６から行を一つ取り出す。そして取り出された行の外接矩形と、選択領域との重なり具合を算出する（Ｓ３１４）。ここでの重なり具合の算出は、行の外接矩形と選択領域とが重なり合っている範囲の面積を、行の外接矩形の面積で除することによって行う。従って、具体的な算出は、式（１）〜（５）に準ずる方法によって行うことが可能である。なお、算出された重なり具合を、以下「行重複領域比」と称する。
【００６６】
次に編集対象選択部７は、行重複領域比が所定の比率（以下「行選択比」と呼ぶ）を上回っているか否かを判定する（Ｓ３１５）。行重複領域比が行選択比を上回っていれば、取り出された行は、操作者の編集指示の対象として選択されているものと判断され、当該行の行データが選択行バッファに格納される（Ｓ３１６）。なお、行選択比としては、本実施の形態では、０．８程度の値を設定するが、この値は可変である。
【００６７】
行重複領域比が行選択比以下である場合には、編集対象選択部７は、行重複領域比が０より大きいか否かを判定する（Ｓ３１７）。ここで、行重複領域比が０より大きいということは、取り出された行が編集対象として選択されていないにもかかわらず、行の一部が選択領域と重なり合っている事を意味する。
編集対象選択部７は、このような場合には、当該行に含まれている各々の文字について、文字の外接矩形と選択領域との重なり具合を調べる。即ち、ループＧの処理を、当該行を構成する全ての文字について行う（Ｓ３１８）。
【００６８】
編集対象選択部７は、まず、当該行を構成する文字の文字データを筆跡データ保持部６から一つ取り出す。そして、取り出された文字データの外接矩形と選択領域との重なり具合（以下「文字重複領域比」と呼ぶ）を算出する（Ｓ３１９）。ここでの重なり具合の算出は、文字データの外接矩形と選択領域とが重なり合う部分の面積を、文字データの外接矩形の面積で除することによって行う。従って、具体的な重なり具合の算出は、上記式（１）〜（５）に準ずる方法により行うことが可能である。
【００６９】
次に、編集対象選択部７は、文字重複領域比が所定の比率（以下「文字選択比」と呼ぶ）を上回っているか否かを判定し（Ｓ３２０）、文字重複領域比が文字選択比を上回っていれば、当該文字が操作者からの編集の対象として選択されたものとみなして、当該文字データを選択文字バッファに格納する（Ｓ３２１）。ここで、文字選択比としては、本実施の形態では０．８程度の値を設定するが、この値は可変である。
【００７０】
一方、文字重複領域比が、文字選択比以下であった場合には、文字重複領域比が０より大きいか否かを判定する（Ｓ３２２）。ここで、文字重複領域比が、０より大きいということは、取り出された文字が編集対象として選択されているわけではないにもかかわらず、文字の外接矩形の一部が選択領域と重なり合っていることを意味する。このような場合、編集対象選択部７は、当該文字を構成する全ての筆跡データについてループＨの処理を行う（Ｓ３２３）。即ち、当該筆跡データの各座標点の間を補間した直線が選択領域を通過しているか否かを判定し（Ｓ３２４）、選択領域を通過している筆跡データを文字筆跡バッファに格納する（Ｓ３２５）。
【００７１】
文字筆跡バッファに格納された筆跡データとは、当該筆跡データが属する文字グループが、操作者から編集対象として選択されたわけではないにもかかわらず、選択領域と一部重なり合っているストロークの筆跡データであることを意味する。編集時グループ構成部１１は、このようなストロークの存在から、文字グループの再グループ化の必要性を判断するのである。
【００７２】
以上のような処理を、取り出された文字を構成する全てのストロークについて行い（Ｓ３２６）、さらに、取り出された行を構成する全ての文字について行い（Ｓ３２７）、さらに全ての行について行う（Ｓ３２８）。
全ての処理が終了すると、編集対象選択処理を終了し、図７のフロ−チャ−トに戻って、グループ再構成処理へと移行する（Ｓ２０４）。
【００７３】
図１０〜図１２は、グループ再構成処理の詳細な処理内容を示すフロ−チャ−トである。
グループ再構成処理においては、編集時グループ構成部１１は、まず図形筆跡バッファが空であるか否かを判定する（Ｓ４０１）。図形筆跡バッファが空である場合には、図１２のフロ−チャ−トに移ってステップＳ４２０に進むが、図形筆跡バッファに筆跡データが存在する場合には、図形筆跡バッファから、先頭の筆跡データを取り出す（Ｓ４０２）。
【００７４】
編集時グループ構成部１１は、次に、選択文字バッファが空であるか否かを判定する（Ｓ４０３）。ここで、選択文字バッファの内容を参照するのは、編集対象として選択されている文字が存在するということは、当該選択されている文字と、図形筆跡バッファに格納されている筆跡データとを連結できる可能性を示唆するものであるからである。別の言い方をすれば、本来、当該選択されている文字を構成するストロークと判定されるべきものが、図形のストロークであると誤判断されている可能性を示唆するものであるからである。
【００７５】
まず、選択文字バッファに文字が存在する場合（Ｓ４０３：Ｙｅｓ）の処理について説明する。編集時グループ構成部１１は、まず選択文字バッファから、先頭の文字データを取り出す（Ｓ４０４）。そして図形筆跡バッファから取り出された筆跡データの外接矩形と、選択文字バッファから取り出された文字データの外接矩形とを連結して一つの外接矩形（以下「文字連結矩形」と呼ぶ）とし、文字連結矩形と、当該文字データの外接矩形との面積の比（以下「文字連結矩形比」と呼ぶ）を算出する（Ｓ４０５）。外接矩形の連結は、前記式（６）〜（９）を用いて行うことができる。文字連結矩形の面積を、当該文字データの外接矩形の面積で除することにより文字連結矩形比を算出する。
【００７６】
次に文字連結矩形比が所定の比率（以下「文字連結比」と呼ぶ）を下回るか否かを判定する（Ｓ４０６）。ここで、文字連結矩形比が文字連結比を下回るということは、筆跡データと文字データとを連結しても、外接矩形の面積がそれほど大きく変化しないことを意味する。このような場合、編集時グループ構成部１１は、当該筆跡データは、実は選択された文字を構成するストロークであったものであるという判定に基づき、当該筆跡データを選択された文字データと連結する（Ｓ４０７）。具体的には筆跡データ保持部６に格納されているデータのポインタの値を変更し、当該筆跡データを、当該文字を構成する筆跡データとする。
【００７７】
その後、図１１のフロ−チャ−トに移行して、編集時グループ構成部１１は、図形筆跡バッファから、連結された当該筆跡データを削除し（Ｓ４０８）、ステップＳ４０１へと戻る。
ステップＳ４０６において、文字連結矩形比が文字連結比以上であった場合には、選択文字バッファに格納されている他の文字について同様の判定を行うべく、ステップＳ４０９へと進む。ステップＳ４０９においては、選択文字バッファに次の文字グループが存在するか否かを判定し、次の文字グループが存在すれば、次の文字データを取り出して（Ｓ４１０）、ステップＳ４０５へと戻る。
【００７８】
選択文字バッファに格納されている全ての文字について、上記の判定を行い、何れの文字とも連結できなかった場合（Ｓ４０９：Ｎｏ）、及びステップＳ４０３において選択文字バッファに文字が存在しないと判定された場合には、図１１のフロ−チャ−トに移行して、ステップＳ４１１へと進み、図形筆跡バッファに存在する筆跡データと、行との連結可能性について調査する。
【００７９】
編集時グループ構成部１１は、まず、筆跡データ管理部４を通じて、筆跡データ保持部６から行を一つ取り出す（Ｓ４１１）。次に当該行を構成する文字群について、その文字の外接矩形の高さの平均（以下「文字矩形平均高さ」と呼ぶ）及び幅の平均（以下「文字矩形平均幅」と呼ぶ）を算出する（Ｓ４１２）。
さらに、図形筆跡バッファから取り出された筆跡データの外接矩形の高さと文字矩形平均高さとの比の値（以下「平均高さ比」と呼ぶ）及び当該筆跡データの幅と文字矩形平均幅との比の値（以下「平均幅比」と呼ぶ）を算出し、平均高さ比が所定の比率（以下「連結高さ比」と呼ぶ）より小さく、かつ、平均幅比が所定の比率（以下「連結幅比」と呼ぶ）より小さいか否かを判定する（Ｓ４１３）。これは、行に連結すべき文字を構成するストロークであれば、当該ストロークの高さは、行の高さと比較して一定の範囲内にあり、また、当該ストロークの幅も、行を構成する文字の平均幅と比較して一定の範囲内に納まるであろうという仮定に基づく。なお、連結高さ比及び連結幅比としては、本実施の形態では、１．２程度の値を設定するが、この値は可変である。
【００８０】
上記高さ及び幅に関する条件を満たした場合（Ｓ４１３：Ｙｅｓ）には、当該ストロークの外接矩形と、行の外接矩形とを連結して一つの外接矩形（以下「行連結矩形」と呼ぶ）とし、行連結矩形の面積を、当該行データの外接矩形の面積で除した値（以下「行連結矩形比」と呼ぶ）を算出するとともに、行連結矩形の幅を当該行の外接矩形の幅で除した値（以下「行連結矩形幅比」と呼ぶ）及び行連結矩形の高さを当該行の外接矩形の高さで除した値（以下「行連結矩形高さ比」と呼ぶ）を算出する（Ｓ４１４）。
【００８１】
そして、行連結矩形比が所定の比率（以下「行連結比」と呼ぶ）を下回り、行連結矩形幅比が所定の比率（以下「行連結幅比」と呼ぶ）を下回り、かつ、行連結矩形高さ比が所定の比率（以下「行連結高さ比」と呼ぶ）を下回るか否かを判定する（Ｓ４１５）。なお、行連結比としては、本実施の形態では１．６程度の値を設定し、行連結幅比及び行連結高さ比としては、１．５程度の値を設定するが、この値は可変である。
【００８２】
ここで、行連結矩形比が行連結比を下回るということは、筆跡データと行データとを連結しても、外接矩形の面積がそれほど大きく変化しないことを意味する。また、行連結矩形幅比が行連結幅比を下回るということは、筆跡データと行データとを連結しても、外接矩形の幅がそれほど大きく変化しないことを意味し、さらに、行連結矩形高さ比が行連結高さ比を下回るということは、筆跡データと行データとを連結しても、外接矩形の高さがそれほど大きく変化しないことを意味する。このような場合、編集時グループ構成部１１は、当該筆跡データは、実は行を構成する文字のストロークであったものであるという判定を行い、当該筆跡データを新たな文字データとするとともに、当該行データに編入する（Ｓ４１６）。具体的には筆跡データ保持部６に格納されているデータのポインタの値を変更し、当該筆跡データを、文字データとし、当該行データに編入する。この処理は、例えば、行の先頭又は末尾の文字が、数字等、比較的形状の単純な文字であり、それが図形のストロークであると誤判断されたような場合に、文字のグループを正確なものにできるという実益がある。
【００８３】
一方、ステップＳ４１３の条件を満たさなかった場合、及びステップＳ４１５の条件を満たさなかった場合には、別の行について同様の判定処理を行うべく、ステップＳ４１７へと進む。ステップＳ４１７では、筆跡データ保持部６に次の行データが格納されているか否かを判定し、次の行データが存在する場合には、次の行データを取り出して（Ｓ４１８）、ステップＳ４１２へと戻る。
【００８４】
筆跡データ保持部６に格納されている全ての行について判定を行い、連結可能な行が存在しなかった場合（Ｓ４１７：Ｎｏ）には、図形筆跡バッファから取り出された当該筆跡データを新たな図形グループとし、筆跡データ保持部６に格納する（Ｓ４１９）。ここで、当該筆跡データを新たな図形グループとするのは、当該筆跡データの選択のされ方から、操作者が、当該筆跡データを図形の筆跡データと認識しているという判断が可能なこと、及び当該筆跡データのみが操作者から編集対象として選択されていることから、他の図形ストロークとグループ化するのは適当でないということに基づく。
【００８５】
その後、当該筆跡データを図形筆跡バッファから削除して（Ｓ４０８）、ステップＳ４０１に戻る。
次にステップＳ４０１において図形筆跡バッファが空である場合の処理内容について説明する。この場合には図１２のフロ−チャ−トへと移行する。
編集時グループ構成部１１は、文字筆跡バッファが空であるか否かを判定する（Ｓ４２０）。文字筆跡バッファが空である場合（Ｓ４２０：Ｎｏ）には、グループ再構成処理は終了して図７のフロ−チャ−トに戻る。
【００８６】
文字筆跡バッファに筆跡データが格納されている場合には、編集時グループ構成部１１は、文字筆跡バッファから筆跡データを一つ取り出し（Ｓ４２１）、選択図形バッファが空であるか否かを判定する（Ｓ４２２）。
選択図形バッファに図形データが存在する場合（Ｓ４２２：Ｙｅｓ）は、編集時グループ構成部１１は、文字筆跡バッファから取り出された筆跡データと、選択されている図形との連結を試みるべく、選択図形バッファから図形グループを一つ取り出す（Ｓ４２３）。そして、取り出された図形グループの外接矩形と、文字筆跡バッファから取り出されている筆跡データの外接矩形とを連結して一つの外接矩形（以下「図形連結矩形」と呼ぶ）とし、図形連結矩形の面積を、取り出された図形グループの外接矩形の面積で除することにより、図形連結矩形比を算出する（Ｓ４２４）。外接矩形の連結は、前記式（６）〜（９）を用いて行うことができる。
【００８７】
図形連結矩形比が所定の比率（以下「図形連結比」と呼ぶ）を下回る場合（Ｓ４２５：Ｙｅｓ）には、当該筆跡データを、選択図形バッファから取り出された図形グループと連結する（Ｓ４２６）。具体的には、筆跡データ保持部６のポインタの内容を変更することにより、当該筆跡データを、選択図形バッファから取り出された図形グループを構成するものに変更する。なお、図形連結比として、本実施の形態では１．５程度の値を用いるがこの値は可変である。
【００８８】
さらに、文字筆跡バッファから、当該筆跡データを削除して（Ｓ４２７）、ステップＳ４２０に戻る。
一方、ステップＳ４２５において、図形連結矩形比が図形連結比以上である場合には、選択図形バッファに次の図形グループが存在するか否かを判定し（Ｓ４２８）、次の図形グループが存在すれば、当該次の図形グループとの連結を試みるべく、当該次の図形グループを取り出し（Ｓ４２９）、ステップＳ４２４へと戻る。ステップＳ４２８にて、選択図形バッファに他の図形グループが存在しない場合には、当該筆跡データを新たな文字グループとして筆跡データ保持部６に登録し、さらに、当該登録した文字グループを選択文字バッファに格納する（Ｓ４３０）。ここで、当該筆跡データを新たな文字グループとするのは、当該筆跡データの選択のされ方から、操作者は、当該ストロークを文字のストロークと認識していると判断できるからである。
【００８９】
その後、当該筆跡データを文字筆跡バッファから削除し（Ｓ４２７）、ステップＳ４２０に戻る。
一方、ステップＳ４２２において選択図形バッファが空であった場合には（Ｓ４２２：Ｎｏ）、文字筆跡バッファから取り出された筆跡データの外接矩形と、選択領域とが重なり合う部分の面積を、当該筆跡データの外接矩形の面積で除することにより文字筆跡選択比を算出し（Ｓ４３１）、算出された文字筆跡選択比と、前述の文字選択比とを比較する（Ｓ４３２）。ここで、文字筆跡選択比は、当該筆跡データの選択のされ方を表すものと考えることができる。即ち、文字筆跡選択比が所定の値以上であれば、操作者は、当該筆跡データの全体を選択領域としているのであり、このような選択を行うのは、操作者が当該筆跡データを文字のストロークと認識している結果であると判断できる。逆に文字筆跡選択比が所定の値より小さければ、ストロークの一部を選択しているような場合、即ち、例えばストロークの一部にマーク付けをしているような選択を行っているのであり、そのような選択を行うということは、操作者が当該筆跡データを図形のストロークと識別している結果であるという判断が可能なわけである。
【００９０】
以上のような判断に基づき、文字筆跡選択比が文字選択比以上である場合（Ｓ４３２：Ｎｏ）には、ステップＳ４３０へと進み、当該筆跡データを新たな文字グループとして筆跡データ保持部６に登録し、さらに、当該登録した文字グループを選択文字バッファに格納する。これは、選択された図形が存在しない状態において、文字グループを構成するものとして認識されている複数のストローク群のうち、一のストロークが意図的に選択された状態であることから、当該ストロークをそれまでの文字グループから別の文字グループとして再グループ化するのが適当であるという判断に基づくものである。
【００９１】
また、ステップＳ４３２において、文字筆跡選択比が文字選択比を下回っていた場合には、編集時グループ構成部１１は、筆跡データ管理部４を通じて筆跡データ保持部６に登録されている図形グループを一つ取り出し（Ｓ４３３）、ステップＳ４２４へと進む。これは、前述の如く、操作者が当該ストロークを図形のストロークとして編集指示したものと判断するため、ステップＳ４２４において、他の図形グループとの連結可能性について検討を行うからである。
【００９２】
なお、この場合には、ステップＳ４２５において、図形連結矩形比が図形連結比を下回る場合（Ｓ４２５：Ｙｅｓ）には、当該筆跡データを、選択図形バッファから取り出された図形グループと連結する（Ｓ４２６）が、図形連結矩形比が図形連結比以上である場合（Ｓ４２５：Ｎｏ）には、ステップＳ４２８において、筆跡データ保持部６に次の図形が存在するか否かを判定し、筆跡データ保持部６に次の図形が存在する場合にステップＳ４２９へと進む。ステップＳ４２９では、筆跡データ保持部６から次の図形が取り出されることになる。
【００９３】
ステップ４２１からステップＳ４２７に至る処理を文字筆跡バッファが空になるまで行い、文字筆跡バッファが空になると（Ｓ４２０：Ｎｏ）、グループ再構成処理を終了する。
グループ再構成処理を終了すると、図７のフロ−チャ−トに戻って、選択図形バッファが空であるか否かを判定し（Ｓ２０５）、選択図形バッファが空でなければ、選択された図形グループに対して図形編集処理を行う（Ｓ２０６）。
【００９４】
また、図形編集処理を終了すると、選択行バッファが空であるか否かを判定し（Ｓ２０７）、選択行バッファが空でなければ選択された行グループに対して行編集処理を行う（Ｓ２０８）。
さらに、行編集処理を終了すると、選択文字バッファが空であるか否かを判定し（Ｓ２０９）、選択文字バッファが空でなければ、選択された文字に対して文字編集処理を行って（Ｓ２１０）、編集処理を終了する。なお、図形編集処理、行編集処理、文字編集処理については、既に公知の技術であるので、ここでの詳細な説明は省略する。
【００９５】
以上のように構成された手書きデータ編集装置について、以下、その動作を具体例を用いて説明する。
図１３は、本発明に係る手書きデータ編集装置において、文字を構成するストロークが、初期グループ化の時点で誤って図形のストロークであると分類された場合の処理内容を示す図である。
【００９６】
同図（ａ）は、手書きデータ６０１が、初期グループ化処理において、内部的に文字６０２、文字６０３、行６０４及び図形グループ６０５にグループ化されたことを示している。即ち初期グループ化処理の段階では、「情」の字の立心偏の縦棒が図形グループの一部であると誤判断されているわけである。このような状態において、操作者が同図（ｂ）に示されるように「情報」の「情」の字を、ジェスチャ認識装置にて編集対象として選択した場合の本実施の形態の手書きデータ編集装置の処理内容を、先に説明したフロ−チャ−トに沿って説明する。
【００９７】
まず、編集対象選択処理において編集指示データ６０６の外接矩形を作成し、選択領域を決定する（Ｓ３０２）。そしてループＤの処理を筆跡データ保持部６に登録されている全ての図形グループについて行うが、この例では、図形グループ６０５のみが筆跡データ保持部６に登録されているため、図形グループ６０５についてのみループＤの処理を行う。
【００９８】
ループＤの処理において、編集対象選択部７は、まず図形グループ６０５の外接矩形と選択領域との重なり具合を算出する（Ｓ３０４）。この例では、図形グループ６０５の約半分が選択領域と重なっているので、重なり具合は約０．５と算出される。図形選択比は０．８であるので、ステップＳ３０５での判定結果はＮｏ、ステップＳ３０７での判定結果はＹｅｓとなり、ステップＳ３０８へと進む。
【００９９】
ステップＳ３０８からのループＥの処理は、図形グループ６０５を構成する全ての筆跡データについて行われる。この例では、図形グループ６０５を構成する筆跡データとして筆跡データ６０７及び筆跡データ６０８が存在する。
まず、筆跡データ６０７についてステップＳ３０９の判定を行う。図１３（ｃ）に示されるように筆跡データ６０７は、選択領域を通過しているため、筆跡データ６０７は図形筆跡バッファに格納されることになる（Ｓ３１０）。一方筆跡データ６０８は、選択領域を通過していないため、筆跡データ６０８については図形筆跡バッファに格納されることなくループＥの処理が終了する。
【０１００】
図９のフロ−チャ−トに移って、筆跡データ保持部６に登録されている全ての行データについてループＦの処理が行われる（Ｓ３１３）。この例では、行データ６０４のみが登録されているため、行データ６０４のみについてループＦの処理が行われる。ループＦでは、まず、行データ６０４の外接矩形と選択領域の重なり具合が算出される（Ｓ３１４）。この例では、行データ６０４の約半分が選択領域と重なっているので、重なり具合は約０．５と算出される。行選択比は約０．８であるので、ステップＳ３１５での判定結果はＮｏ、ステップＳ３１７での判定結果はＹｅｓとなり、ステップＳ３１８へと進む。
【０１０１】
その後、行データ６０４を構成する全ての文字についてループＧの処理が行われる。この例では、行データ６０４を構成する文字６０２及び文字６０３についてループＧの処理が行われる。
まず、文字６０２の外接矩形と選択領域との重なり具合が算出される（Ｓ３１９）。この例では、文字６０２の外接矩形と選択領域とは、ほぼ一致しているため、文字６０２についてのステップＳ３２０の判定結果がＹｅｓとなり、文字６０２の文字データが選択文字バッファに格納される（Ｓ３２１）。一方、文字６０３については、文字６０３の外接矩形と選択領域とが全く重なっていないため、ステップＳ３２０及びステップＳ３２２の判定結果が何れもＮｏとなり、何ら処理が行われることなく、編集対象選択処理が終了する。
【０１０２】
以上の処理結果より、編集対象選択処理の終了時点において、筆跡データ６０７が図形筆跡バッファに格納され、文字６０２の文字データが選択文字バッファに格納されている。
その後、編集時グループ構成部１１はグループ再構成処理を行う。
グループ再構成処理において、編集時グループ構成部１１はまず図形筆跡バッファが空でないか否かを判定する（Ｓ４０１）。この例では、筆跡データ６０７が図形筆跡バッファに格納されているため、ステップＳ４０２へと進み、編集時グループ構成部１１は、図形筆跡バッファから筆跡データ６０７を取り出す。
【０１０３】
ついで、編集時グループ構成部１１は、選択文字バッファが空でないか否かを判定する（Ｓ４０３）。この例では、文字６０２が選択文字バッファに格納されているため、ステップＳ４０４に進み、編集時グループ構成部１１は、選択文字バッファから文字６０２の文字データを取り出す。
編集時グループ構成部１１は、文字連結矩形の情報を算出し、文字連結矩形比を算出する（Ｓ４０５）。この例において、文字６０２と、筆跡データ６０７とを連結して、文字連結矩形を作成した場合、文字連結矩形の面積と、文字の外接矩形の面積とはほとんど変化がない。即ち、文字連結矩形比は文字連結比を下回ることになるため、筆跡データ６０７が文字６０２と連結されることになる（Ｓ４０７）。
【０１０４】
その後、編集時グループ構成部１１は、筆跡データ６０７を図形筆跡バッファから削除し（Ｓ４０８）、ステップＳ４０１へと戻るが、筆跡データ６０７が削除された図形筆跡バッファは空になっており、さらに、文字筆跡バッファも空であるため（Ｓ４２０：Ｎｏ）、グループ再構成処理は終了する。
以上のような処理により、情報の「情」の文字の一部のストロークが図形グループを構成するストロークであると誤判断された場合でも、操作者からの編集指示の内容に基づいて、文字と図形との再グループ化処理を行うことにより、より正確な文字と図形のグループ化を行うことが可能になる。
【０１０５】
次に、文字のストロークが図形グループを構成するストロークであると誤判断された場合の処理内容の例について具体例を用いて説明する。
図１４において、同図（ａ）に示す如く入力された手書きデータ７０１が、初期グループ化処理において、同図（ｂ）に示されるように、内部的に行グループ７０２と図形グループ７０３とにグループ化されている。即ち、「１個か」の「１」の文字が図形グループを構成するストロークであると誤判断されている状態において、編集指示データ７０４により、文字「１」が選択された場合の処理内容について説明する。
【０１０６】
図１３の例と同様に、まず、編集対象選択部７は編集対象選択処理を行う（Ｓ２０３）。編集対象選択処理において編集対象選択部７は、バッファ領域のクリア（Ｓ３０１）の後、編集指示データ７０４の外接矩形を作成し、選択領域を決定する（Ｓ３０２）。
その後、編集対象選択部７は、筆跡データ保持部６に格納されている全ての図形グループについてループＤの処理を行う（Ｓ３０３）。筆跡データ保持部６には図形グループとして図形グループ７０３のみが登録されているので、図形グループ７０３のみについてループＤの処理が行われることになる。
【０１０７】
ループＤの処理において、編集対象選択部７は、まず図形グループ７０３の外接矩形と選択領域との重なり具合を算出する（Ｓ３０４）。前述のとおり、図形重複領域比とは、図形グループ７０３の外接矩形と選択領域の重複範囲（この例においては選択領域と一致する）の面積を図形グループ７０３の面積で除したものであるので、この例では図形重複領域比は０．５以下となる。しかし図形重複領域比は０よりは大きいので、ステップＳ３０５の判定結果はＹｅｓ、ステップＳ３０７の判定結果はＮｏとなり、ステップＳ３０８へと進む。
【０１０８】
ステップＳ３０８からは、図形グループ７０３を構成する全ての筆跡データについてループＥの処理が行われることになるが、図形グループ７０３を構成するストロークの中で、選択領域を通過するのは、文字「１」を表すストロークのみであるので、文字「１」を表すストロークの筆跡データが図形筆跡バッファに格納されてループＥの処理を終了する。
【０１０９】
さらにループＤの処理もそのまま終了し、図９のフロ−チャ−トに移行して、筆跡データ保持部６に格納されている全ての行データについてループＦの処理が行われる。この例では、筆跡データ保持部６には、行７０２のみが格納されているので、行７０２についてループＦの処理が行われる。
ループＦにおいては、編集時グループ構成部１１は、まず行７０２の外接矩形と選択領域との重なり具合を算出する（Ｓ３１４）。同図に示されるように、行７０２の外接矩形は、選択領域とは全く重なり合っていないため、ステップＳ３１５の判定結果はＮｏ、ステップＳ３１７の判定結果もＮｏとなり、そのまま編集対象選択処理が終了する。
【０１１０】
以上の処理内容から、編集対象選択処理の終了時点で、文字「１」を表すストロークの筆跡データが図形筆跡バッファに格納されている。
編集対象選択処理を終了すると、編集時グループ構成部１１は、グループ再構成処理を行う。グループ再構成処理において、編集時グループ構成部１１は、まず図形筆跡バッファが空でないか否かを判定する（Ｓ４０１）が、この例では筆跡データ７０６が図形筆跡バッファに格納されているので、図形筆跡バッファから、筆跡データ７０６を取り出してステップＳ４０３に進む。
【０１１１】
この例では選択文字バッファは空であるので、図１１のフロ−チャ−トに移行し、ステップＳ４１１へと進む。ステップＳ４１１では、編集時グループ構成部１１は、筆跡データ保持部６から先頭の行の行データを取り出す。
この例では、行データとしては行７０２のみが登録されているので、行７０２について以下の処理が行われる。ステップＳ４１２において、行７０２を構成する文字について文字矩形平均高さと文字矩形平均幅が算出される。
【０１１２】
さらにステップＳ４１３において、平均高さ比及び平均幅比を算出し、平均高さ比が連結高さ比より小さく、かつ、平均幅比が連結幅比より小さいか否かを判定する（Ｓ４１３）。前述の如く、平均高さ比とは、筆跡データ７０６の外接矩形の高さと文字矩形平均高さとの比の値であり、平均幅比とは、筆跡データ７０６の外接矩形の幅と文字矩形平均幅との比の値であるので、この例では、平均高さ比は約１．１〜１．２、平均幅比は１より小さくなる。本実施の形態では連結高さ比及び領域幅比はともに１．５程度の値に設定されているので、ステップＳ４１３の判定結果はＹｅｓとなる。
【０１１３】
この例では、ステップＳ４１４で、行７０２と筆跡データ７０６とを連結した場合の行連結矩形比は１．２〜１．３、行連結結果幅比は１．２〜１．３、行連結結果高さ比は１．１程度となる。本実施の形態では、行連結比としては１．６程度の値を設定し、行連結幅比及び行連結高さ比としては、１．５程度の値を設定するので、ステップＳ４１５の判定結果もＹｅｓとなり、ステップＳ４１６へと進む。従って、筆跡データ７０６は、新たな文字データとして登録され、さらに行７０２と連結されることになる。
【０１１４】
その後、ステップＳ４０８で筆跡データ７０６が図形筆跡バッファから削除され、その結果図形筆跡バッファが空となるため、図１２のフロ−チャ−トに移行して、ステップＳ４２０へと進むが、文字筆跡バッファが空であるため、グループ再構成処理を終了する。
以上のような処理を行うことにより、図１４に示されるように、行を構成する文字のストロークが初期グループ化処理において図形を構成するストロークであると誤判断された場合でも、編集指示データの内容に基づいて、より正確なグループ化を行うことが可能となる。
【０１１５】
最後に、図形を構成するストロークが、文字を構成するストロークであると誤判断された場合の処理内容について、具体例を用いて説明する。
図１５において、同図（ａ）に示す如く入力された手書きデータ８０１が、初期グループ化処理において、内部的に行データ８１０と図形グループ８０６とにグループ化されている。同図において、図形の一部を構成しているストロークが文字の一部であると誤判断されている状態で、編集指示データ８０７により、図形の左隅が選択された場合の処理内容について説明する。
【０１１６】
図１３及び図１４の例と同様に編集対象選択部７は編集対象選択処理を行う（Ｓ２０３）。編集対象選択処理において編集対象選択部７は、バッファ領域のクリアの後、編集指示データ８０７の外接矩形を作成し、選択領域を決定する（Ｓ３０２）。
その後、編集対象選択部７は、筆跡データ保持部６に格納されている全ての図形グループについてループＤの処理を行う（Ｓ３０３）。筆跡データ保持部６には図形グループとして図形グループ８０６のみが登録されているので、図形グループ８０６についてループＤの処理が行われることになる。
【０１１７】
ループＤの処理において、編集対象選択部７は、まず図形グループ８０６の外接矩形と選択領域との重なり具合を算出する（Ｓ３０４）。前述のとおり、図形重複領域比とは、図形グループ８０６の外接矩形と選択領域の重複範囲の面積を図形グループ８０６の外接矩形の面積で除したものであるので、この例では図形重複領域比は０．５以下となる。しかし、選択領域が少し図形グループ８０６の外接矩形に重なっており、図形重複領域比は０よりは大きいので、ステップＳ３０５の判定結果はＹｅｓ、ステップＳ３０７の判定結果はＮｏとなり、ステップＳ３０８へと進む。
【０１１８】
ステップＳ３０８からは、図形グループ８０６を構成する全ての筆跡データについてループＥの処理が行われることになるが、図形グループ８０６を構成する筆跡データは筆跡データ８１１のみであるので、筆跡データ８１１が図形筆跡バッファに格納されてループＥの処理を終了する。
さらにループＤの処理もそのまま終了し、図９のフロ−チャ−トに移行して、筆跡データ保持部６に格納されている全ての行データについてループＦの処理が行われる。この例では、筆跡データ保持部６には、行８１０のみが格納されているので、行８１０についてループＦの処理が行われる。
【０１１９】
ループＦにおいては、編集対象選択部７は、まず行８１０の外接矩形と選択領域との重なり具合を算出する（Ｓ３１４）。同図に示されるように、行８１０の外接矩形は、選択領域と少しだけ重なり合っているので、ステップＳ３１５の判定結果はＮｏ、ステップＳ３１７の判定結果はＹｅｓとなり、ループＧの処理が行われる。
【０１２０】
ループＧの処理は、行８１０を構成する全ての文字について行われる。ループＧの処理において、編集対象選択部７は、まず行８１０を構成する文字を一つ取り出し文字の外接矩形と選択領域との重なり具合を算出する（Ｓ３１９）。行８１０を構成する文字のなかで、文字８０３、文字８０４、文字８０５については文字の外接矩形と選択領域とが全く重なり合っていないため、ステップＳ３２２の判定結果がＮｏとなる。しかし、文字８０２については、筆跡データ８０２１が文字を構成するストロークであると誤判断された結果、その外接矩形が選択領域と一部重なり合っているので、ステップＳ３２０の判定結果はＮｏとなるが、ステップＳ３２２の判定結果がＹｅｓとなりループＨの処理に入る。
【０１２１】
ループＨの処理は、文字８０２を構成する全ての筆跡データについて行われる（Ｓ３２３）。編集対象選択部７は、文字８０２を構成する筆跡データを筆跡データ保持部６から一つ取り出し、取り出された筆跡データの各座標点の間を補間した直線が選択領域を通過するか否かを判定する（Ｓ３２４）。
文字８０２を構成する筆跡データとしては、筆跡データ８０２１、筆跡データ８０２２、筆跡データ８０２３、筆跡データ８０２４が存在するが、その中で、筆跡データ８０２１のみが選択領域を通過するため、筆跡データ８０２１のみが文字筆跡バッファに格納され、ループＨの処理を終了し、編集対象選択処理を終了する。
【０１２２】
以上
の処理内容から、編集対象選択処理の終了時点で、筆跡データ８１１が図形筆跡バッファに格納され、筆跡データ８０２１が文字筆跡バッファに格納されている。
編集対象選択処理を終了すると、編集時グループ構成部１１は、グループ再構成処理を行う。グループ再構成処理において、編集時グループ構成部１１は、まず図形筆跡バッファが空でないか否かを判定する（Ｓ４０１）が、この例では筆跡データ８１１が図形筆跡バッファに格納されているので、図形筆跡バッファから、筆跡データ８１１を取り出してステップＳ４０３に進む。
【０１２３】
この例では選択文字バッファは空であるので、図１１のフロ−チャ−トに移行し、ステップＳ４１１へと進む。ステップＳ４１１では、編集時グループ構成部１１は、筆跡データ保持部６から先頭の行の行データを取り出す。
この例では、行データとしては行８１０のみが登録されているので、行８１０についてのみ以下の処理が行われる。ステップＳ４１２において、行８１０を構成する文字について文字矩形平均高さと文字矩形平均幅が算出される。
【０１２４】
さらにステップＳ４１３において、平均高さ比及び平均幅比を算出し、平均高さ比が連結高さ比より小さく、かつ、平均幅比が連結幅比より小さいか否かを判定する（Ｓ４１３）。前述の如く平均高さ比とは、筆跡データ８１１の外接矩形の高さと文字矩形平均高さとの比の値であり、平均幅比とは、筆跡データ８１１の外接矩形の幅と文字矩形平均幅との比の値であるので、この例では、平均高さ比は約１．１〜１．２であるが、平均幅比はおよそ４程度と連結幅比を大きく上回ってしまう。従って、ステップＳ４１３の判定結果はＮｏとなる。即ち、筆跡データ８１１と行８１０の連結可能性は否定される。
【０１２５】
ステップＳ４１７において、筆跡データ保持部６には次の行データが存在しないため、ステップＳ４１９において筆跡データ８１１が選択図形バッファに格納され、筆跡データ８１１が図形筆跡バッファから削除されて（Ｓ４０８）、ステップＳ４０１に戻る。なお、この場合、筆跡データ８１１は、もとから図形を構成する筆跡データとして登録されているものであるため、ステップＳ４１９において、新たな図形データとする処理は行われない。
【０１２６】
ステップＳ４０１では、図形筆跡バッファが空となっているため、図１２のフロ−チャ−トに移行して、ステップＳ４２０へと進む。この例では、筆跡データ８０２１が文字筆跡バッファに格納されているため、文字筆跡バッファから筆跡データ８０２１が取り出される（Ｓ４２１）。
前述の如く、ステップＳ４１９において、筆跡データ８１１が選択図形バッファに格納されているため、ステップＳ４２２の判定結果はＹｅｓとなり、選択図形バッファから筆跡データ８１１が取り出される（Ｓ４２３）。ついで、筆跡データ８１１と、筆跡データ８０２１とから図形連結矩形を作成し、図形連結矩形比を算出する（Ｓ４２４）。この例では、図形グループ８０６の外接矩形の面積と、図形連結矩形の面積とがほぼ一致する。従ってステップＳ４２５の判定結果はＹｅｓとなり、筆跡データ８０２１が図形グループ８０６と連結され（Ｓ４２６）、筆跡データ８０２１が文字筆跡バッファから削除されて（Ｓ４２７）、ステップＳ４２０へと戻る。
【０１２７】
このとき文字筆跡バッファは既に空となっているので、グループ再構成処理は終了する。
以上のような処理を行うことにより、図１５に示されるように、図形を構成するストロークが、初期グループ化処理において文字を構成するストロークであると誤判断された場合でも、編集指示データの内容に基づいて、より正確なグループ化を行うことが可能となる。
【０１２８】
以上のように本発明の手書きデータ編集装置により、文字データと図形データとの認識をより正確に行うことが可能となるため、文字と図形が混在するようなデータの編集作業において、文字編集モードと図形編集モードを切り替える必要がなくなり、編集操作が簡単に行えるようになる。具体的には、筆跡データ編集部８に、編集対象が文字であるか、図形であるかを通知し、当該通知に従って編集方法を切り替えることにより、編集モードの切り替えを行うことなく適切な編集方法をとることが可能となる。
【０１２９】
なお、本実施の形態においては、文字グループを行と文字との２階層としたが、さらに複数の行の集合として段落グループ等を追加して定義することも可能である。また、複数の図形グループから構成される図形ブロック等を追加して定義することも可能である。
また、本実施の形態では、筆跡データ振り分け部３を用いて筆跡データと編集指示データとを振り分けることにより、筆跡データと編集指示データとを同一のペンから入力するようにしたが、別途キーボード、マウス等による入力手段を設け、編集指示データを、筆跡データと別の手段により入力するようにすることも可能である。
【０１３０】
また、本実施の形態の手書きデータ編集装置は、携帯型端末装置等のＣＰＵにおいて所定のプログラムが実行されることにより実現されるものであり、必要な情報の保持にはディスク装置、メモリ等の記憶装置が用いられる。このプログラムを含むソフトウェアは、フロッピーディスク、光ディスク等の記録媒体や、ネットワーク等の伝送媒体を介してソフトウェア市場を流通し、パッケージソフトウェアや、ダウンロード用プログラムとして取り引きの客体となり得る。
【０１３１】
【発明の効果】
以上の説明から明らかなように、本発明に係る手書きデータ編集装置は、手書き入力された筆跡データを編集する手書きデータ編集装置であって、筆跡データを手書き入力するストローク入力手段と、筆跡データの編集を行う場合に、どの筆跡データを編集の対象とするかの指示と、編集内容の指示とを表す編集指示データを入力する編集指示入力手段と、筆跡データが、文字を構成する筆跡データか、図形を構成する筆跡データかを、所定の規則に従って判定する判定手段と、文字を構成する筆跡データを文字グループにグループ化し、図形を構成する筆跡データを図形グループにグループ化すると共に、各グループと筆跡データとの対応関係を表す情報と、各グループを包含する領域に関する情報とを生成するグループ情報生成手段と、筆跡データと、前記グループ情報生成手段により生成された情報とを保持するデータ保持手段と、編集指示データと、前記データ保持手段に保持される情報とに基づいて、編集の対象とする一つ又は複数の筆跡データを選択する編集対象選択手段と、編集指示データと、前記編集対象選択手段による選択の結果と、前記データ保持手段に保持される情報とに基づいて、筆跡データの再グループ化を行う再グループ化手段とを有する。
【０１３２】
ストローク入力手段から手書き入力された筆跡データは、入力直後に判定手段により文字を構成する筆跡データか、図形を構成する筆跡データかを判定され、さらにグループ情報生成手段によりグループ化されると共に、各グループに関する情報が生成される。生成された情報は、筆跡データと共にデータ保持手段に保持される。
【０１３３】
編集指示入力手段から入力された編集指示データと、データ保持手段に保持されている情報とに基づいて、編集対象選択手段は、操作者から編集の対象として選択された筆跡データを選択し、再グループ化手段が、編集指示データと、データ保持手段に保持されている情報と、編集対象選択手段による選択の結果とに基づいて、筆跡データの再グループ化を行うため、操作者の認識を取り入れて、手書きデータが文字を表すものであるか、図形を表すものであるかという判定を、より正確に行うことが可能になるという効果がある。
【０１３４】
また、前記編集対象選択手段は、編集指示データから、編集の対象とする筆跡データが包含されるべき領域として指示された選択領域を決定する選択領域決定部と、選択領域と、文字グループを包含する領域との重なり具合を算出し、重なり具合が所定の割合以上であれば、当該文字グループを編集対象として選択する文字グループ選択部と、選択領域と、図形グループを包含する領域との重なり具合を算出し、重なり具合が所定の割合以上であれば、当該図形グループを編集対象として選択する図形グループ選択部とを有することもできる。
【０１３５】
選択領域決定部は、編集指示データから選択領域を決定し、文字グループ選択部は、選択領域と、文字グループを包含する領域との重なり具合を算出し、重なり具合が所定の割合以上であれば、当該文字グループを編集対象として選択し、図形グループ選択部は、選択領域と、図形グループを包含する領域との重なり具合を算出し、重なり具合が所定の割合以上であれば、当該図形グループを編集対象として選択することにより、編集指示データが、例えばジェスチャ認識装置により、編集の対象とする筆跡データの範囲を指定するような形式で入力された場合に、適切に編集対象を選択することができるという効果がある。
【０１３８】
また、前記再グループ化手段は、前記判定手段により図形を構成する筆跡データと判定された筆跡データについて、当該筆跡データを含む図形グループが前記図形グループ選択部により選択されていない場合であって、当該筆跡データが選択領域に含まれる部分を有する場合に当該筆跡データを保持する図形筆跡保持部と、前記文字グループ選択部により文字グループが選択され、かつ、前記図形筆跡保持部に保持されている筆跡データが存在する場合に、当該筆跡データと、選択された文字グループとの位置関係が所定の条件を満たすか否かを判定する筆跡判定部と、前記筆跡判定部により、所定の条件を満たすと判定された場合に、当該筆跡データを文字を構成する筆跡データと判定し直して、当該文字グループに編入するグループ再構成部とを有することもできる。
【０１３９】
以上のような構成をとることにより、例えば筆跡データ入力直後の時点で、文字を構成する筆跡データの一部が、誤って図形を構成する筆跡データであると誤判断されたような場合に、操作者の編集操作に基づいて、当該筆跡データを文字グループに組み入れることが可能となるため、文字を構成する筆跡データと、図形を構成する筆跡データとの識別を、より正確に行うことができるという効果がある。
【０１４０】
また、前記再グループ化手段は、前記判定手段により図形を構成する筆跡データと判定された筆跡データについて、当該筆跡データを含む図形グループが前記図形グループ選択部により選択されていない場合であって、当該筆跡データが選択領域に含まれる部分を有する場合に当該筆跡データを保持する図形筆跡保持部と、前記文字グループ選択部により文字グループが選択されておらず、かつ、前記図形筆跡保持部に保持されている筆跡データが存在する場合に、当該筆跡データとの位置関係が、所定の条件を満たす文字グループが存在するか否かを判定する筆跡判定部と、前記筆跡判定部により、存在すると判定された場合に、当該筆跡データを文字を構成する筆跡データと判定し直して、当該文字グループに編入するグループ再構成部とを有することもできる。
【０１４１】
以上のような構成をとることにより、例えば筆跡データ入力直後の時点で、行を構成する文字を表す筆跡データが、誤って、図形を構成する筆跡データであると誤判断されたような場合に、操作者の編集操作に基づいて、当該筆跡データを行グループに組み入れることが可能となるため、文字を構成する筆跡データと、図形を構成する筆跡データとの識別を、より正確に行うことができるという効果がある。
【０１４２】
また、前記再グループ化手段は、前記判定手段により文字を構成する筆跡データと判定された筆跡データについて、当該筆跡データを含む文字グループが前記文字グループ選択部により選択されていない場合であって、当該筆跡データが選択領域に含まれる部分を有する場合に当該筆跡データを保持する文字筆跡保持部と、前記図形グループ選択部により図形グループが選択され、かつ、前記文字筆跡保持部に保持されている筆跡データが存在する場合に、当該筆跡データと、選択された図形グループとの位置関係が所定の条件を満たすか否かを判定する筆跡判定部と、前記筆跡判定部により、所定の条件を満たすと判定された場合に、当該筆跡データを図形を構成する筆跡データと判定し直して、当該図形グループに編入するグループ再構成部とを有することもできる。
【０１４３】
以上のような構成をとることにより、例えば筆跡データ入力直後の時点で、図形を構成する筆跡データが、誤って、文字を構成する筆跡データであると誤判断されたような場合に、操作者の編集操作に基づいて、当該筆跡データを図形グループに組み入れることが可能となるため、文字を構成する筆跡データと、図形を構成する筆跡データとの識別を、より正確に行うことができるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施の形態における手書きデータ編集装置の構成を示すブロック図である。
【図２】本実施の形態の手書きデータ編集装置における文字グループのデータ構造を示す図である。
【図３】本実施の形態の手書きデータ編集装置における外接矩形情報について説明するための図である。
【図４】本実施の形態の手書きデータ編集装置における図形グループのデータ構造を示す図である。
【図５】本実施の形態の手書きデータ編集装置における初期グループ化処理の処理内容を示すフロ−チャ−トである。
【図６】本実施の形態の手書きデータ編集装置において矩形の重なり具合の算出方法を説明するための図である。
【図７】本実施の形態の手書きデータ編集装置において、編集指示がなされた場合の処理内容を示すフロ−チャ−トである。
【図８】編集対象選択処理の詳細な処理内容を示すフロ−チャ−トである。
【図９】編集対象選択処理の詳細な処理内容を示すフロ−チャ−トである。
【図１０】グループ再構成処理の詳細な処理内容を示すフロ−チャ−トである。
【図１１】グループ再構成処理の詳細な処理内容を示すフロ−チャ−トである。
【図１２】グループ再構成処理の詳細な処理内容を示すフロ−チャ−トである。
【図１３】本実施の形態の手書きデータ編集装置の動作の具体例を説明するための図である。
【図１４】本実施の形態の手書きデータ編集装置の動作の具体例を説明するための図である。
【図１５】本実施の形態の手書きデータ編集装置の動作の具体例を説明するための図である。
【図１６】従来の手書きデータ編集装置の構成を示すブロック図である。
【図１７】従来の手書きデータ編集装置による編集について説明するための図である。
【符号の説明】
１    筆跡データ入力部
２    筆跡データ抽出部
３    筆跡データ振り分け部
４    筆跡データ管理部
５    表示部
６    筆跡データ保持部
７    編集対象選択部
８    筆跡データ編集部
９    文字図形分離部
１０    入力時グループ構成部
１１    編集時グループ構成部
【図１】
0003825087.tif 000002
【図２】
0003825087.tif 000003
【図３】
0003825087.tif 000004
【図４】
0003825087.tif 000005
【図５】
0003825087.tif 000006
【図６】
0003825087.tif 000007
【図７】
0003825087.tif 000008
【図８】
0003825087.tif 000009
【図９】
0003825087.tif 000010
【図１０】
0003825087.tif 000011
【図１１】
0003825087.tif 000012
【図１２】
0003825087.tif 000013
【図１３】
0003825087.tif 000014
【図１４】
0003825087.tif 000015
【図１５】
0003825087.tif 000016
【図１６】
0003825087.tif 000017
【図１７】
0003825087.tif 000018