(57)【要約】【課題】手書きの図が有する情報を構造化したデータとして生成する手段を提供する。【解決手段】手書き画像から前記手書き画像内のテキストの位置情報を含むテキスト情報および図形の位置情報を含む図形情報を抽出するステップと、前記テキスト情報および前記図形情報に基づいて前記手書き画像の種別を判別する判別ステップと、抽出されたテキストの位置情報および図形の位置情報に基づいて前記テキストおよび前記図形の位置関係によりテキスト情報と図形情報とを関連付けた要素データを生成するステップと、判別された手書き画像の種別に対応する特徴情報と、生成された要素データとに基づいて構造化データを生成する構造化データ生成ステップと、を有する。【選択図】        図３
2020140450.tif 000002
【特許請求の範囲】
【請求項１】
構造化データ生成装置における構造化データ生成方法であって、
手書き画像から前記手書き画像内のテキストの位置情報を含むテキスト情報および図形の位置情報を含む図形情報を抽出するステップと、
前記テキスト情報および前記図形情報に基づいて前記手書き画像の種別を判別する判別ステップと、
抽出されたテキストの位置情報および図形の位置情報に基づいて前記テキストおよび前記図形の位置関係によりテキスト情報と図形情報とを関連付けた要素データを生成するステップと、
判別された手書き画像の種別に対応する特徴情報と、生成された要素データとに基づいて構造化データを生成する構造化データ生成ステップと、
を有することを特徴とする構造化データ生成方法。
【請求項２】
請求項１に記載の構造化データ生成方法において、
前記要素データは、前記テキストの位置と前記図形の位置との距離が閾値以下の場合、前記テキスト情報と前記図形情報とが関連付けられて生成されることを特徴とする構造化データ生成方法。
【請求項３】
請求項２に記載の構造化データ生成方法において、
前記判別ステップで前記手書き画像の種別がフローチャートと判別された場合、
前記構造化データ生成ステップにおいて、前記要素データを直線または矢印を表す情報を有する図形情報を複数の接続オブジェクトの情報とし、それ以外の図形情報およびテキスト情報を構成オブジェクトの情報として分類し、第１の接続オブジェクトに最も接近している第２の接続オブジェクトの位置情報を前記第１の接続オブジェクトの位置情報に変更し、前記第１の接続オブジェクトおよび第２の接続オブジェクトと、前記第１の接続オブジェクトおよび第２の接続オブジェクトに最も近接した前記構成オブジェクトとを関連付けて前記構造化データを生成することを特徴とする構造化データ生成方法。
【請求項４】
請求項３に記載の構造化データ生成方法において、
１つの前記構成オブジェクトが、複数の前記接続オブジェクトに関連付けられ、当該複数の接続オブジェクトの始点となっている場合、前記構成オブジェクトの属性がひし形でないとき異常と判定されることを特徴とする構造化データ生成方法。
【請求項５】
請求項２に記載の構造化データ生成方法において、
前記判別ステップで前記手書き画像の種別が工程表と判別された場合、
前記構造化データ生成ステップにおいて、前記要素データを直線または矢印を表す情報を有する図形情報を構成オブジェクトの情報とし、項目を表す情報を有するテキスト情報を項目オブジェクトの情報とし、日付を表す情報を有するテキスト情報を日付オブジェクトの情報として分類し、構成オブジェクトと、前記構成オブジェクトに最も接近している日付オブジェクとを関連付けて前記構造化データを生成することを特徴とする構造化データ生成方法。
【請求項６】
請求項１から請求項５のいずれか１項に記載の構造化データ生成方法において、
前記判別ステップでは、
前記手書き画像と、前記手書き画像から抽出したテキスト情報および図形情報とを入力データとし、前記手書き画像の種別を教師データとしてＡＩ学習を実行した結果として生成された予測モデルを用いることを特徴とする構造化データ生成方法。
【請求項７】
請求項１から請求項６のいずれか１項に記載の構造化データ生成方法において、
前記構造化データ生成ステップにおいて生成された構造化データから各オブジェクトの繋がりや階層構造が認識し易い構造化イメージデータを生成するステップを有することを特徴とする構造化データ生成方法。
【請求項８】
入力された手書き画像から前記手書き画像内のテキストの位置情報を含むテキスト情報および図形の位置情報を含む図形情報を抽出するオブジェクト抽出部と、
前記テキスト情報および前記図形情報に基づいて手書き画像の種別を判別する画像種別判別部と、
前記オブジェクト抽出部で抽出されたテキストの位置情報および図形の位置情報に基づいて前記テキストおよび前記図形の位置関係によりテキスト情報と図形情報とを関連付けた要素データを生成する要素データ作成部と、
画像種別判別部で判別された手書き画像の種別に対応する特徴情報と、前記要素データ作成部が生成した要素データとに基づいて構造化データを生成する構造化データ作成部と、
を有することを特徴とする構造化データ生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手書き画像に基づいて構造化データを生成する構造化データ生成方法および構造化データ生成装置に関する。
【背景技術】
【０００２】
従来の構造化データ生成装置は、手書きの文字や図形、記号などが混在した図に含まれる個々の要素を認識し、誤って文字や図形、記号を決定した後であっても、新たに加えられる画像とともに適切な文字や図形、記号へ動的に変換するようにしている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−９９２２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術においては、手書きの図を画像読取装置などにより電子データ化した場合、それぞれの要素（オブジェクト）の繋がりや階層構造が認識されず、手書きの図が有する情報を構造化したデータとして利用することができないという問題がある。
【０００５】
本発明は、このような問題を解決することを課題とし、手書きの図が有する情報を構造化したデータとして生成することを目的とする。
【課題を解決するための手段】
【０００６】
そのため、本発明は、構造化データ生成装置における構造化データ生成方法であって、手書き画像から前記手書き画像内のテキストの位置情報を含むテキスト情報および図形の位置情報を含む図形情報を抽出するステップと、前記テキスト情報および前記図形情報に基づいて前記手書き画像の種別を判別する判別ステップと、抽出されたテキストの位置情報および図形の位置情報に基づいて前記テキストおよび前記図形の位置関係によりテキスト情報と図形情報とを関連付けた要素データを生成するステップと、判別された手書き画像の種別に対応する特徴情報と、生成された要素データとに基づいて構造化データを生成する構造化データ生成ステップと、を有することを特徴とする。
【発明の効果】
【０００７】
このようにした本発明は、手書きの図が有する情報を構造化したデータとして生成することができるという効果が得られる。
【図面の簡単な説明】
【０００８】
【図１】実施例における構造化データ生成装置の構成を示すブロック図
【図２】実施例における予測モデルの説明図
【図３】実施例における構造化データ生成処理の流れを示すフローチャート
【図４】実施例における手書きフローチャートの説明図
【図５】実施例における手書きの線表の説明図
【図６】実施例におけるテキスト情報および図形情報の説明図
【図７】実施例におけるテキスト情報および図形情報の説明図
【図８】実施例における要素データの説明図
【図９】実施例における要素データの説明図
【図１０】実施例における要素データ作成処理の流れを示すフローチャート
【図１１】実施例における構成データの説明図
【図１２】実施例における構造化データの説明図
【図１３】実施例における構成データの説明図
【図１４】実施例における構造化データの説明図
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明による構造化データ生成方法および構造化データ生成装置の実施例を説明する。
【実施例】
【００１０】
図１は実施例における構造化データ生成装置の構成を示すブロック図である。
【００１１】
図１において、構造化データ生成装置１００は、手書きの文字（テキスト）や図形を含む手書き画像に基づいて構造化データを生成するコンピュータ装置等であり、オブジェクト抽出部１１０と、画像種別判別部１２０と、要素データ作成部１３０と、構造化データ作成部１４０と、構造化イメージ作成部１５０とを有している。
【００１２】
また、構造化データ生成装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の制御部およびメモリ等の記憶部を備え、記憶部に記憶された制御プログラム（ソフトウェア）に基づいて制御部により全体の動作が制御される。
【００１３】
オブジェクト抽出部１１０は、手書き画像２００を取得するための図示されていない手書き画像取得部が接続され、その手書き画像取得部により取得（入力）された手書き画像２００から各要素（オブジェクト）の属性情報をテキスト情報および図形情報として抽出するものである。このオブジェクト抽出部１１０は、入力された手書き画像２００から手書き画像２００内のテキストの位置情報を含むテキスト情報、並びに四角形、楕円、および矢印等の図形の位置情報を含む図形情報を抽出する。
【００１４】
手書き画像取得部は、カメラ、イメージスキャナ等の撮像素子を用いて紙やホワイトボード等の被写体に描画された手書き画像２００を取得したり、または、タブレットをスキャンしてタブレット上を指、ペンやレーザーポインタ等のポインティングデバイスでなぞられた手書き画像２００を取得する。
【００１５】
ここで、テキスト情報とは、手書き画像２００に書かれた文字（テキスト）の属性情報であり、例えば文字および文字の大きさ、字体、色、位置等の文字に関する各種情報である。
【００１６】
また、図形情報とは、手書き画像２００に書かれた図形の属性情報であり、例えば図形の形状および図形の大きさ、位置等の文字に関する各種情報である。
【００１７】
なお、手書き画像２００はスキャナ等の画像読取装置で読取られ、生成された手書きによる図（フローチャート、線表（工程表）、シーケンス図、ステートチャート図等）の画像データである。
【００１８】
また、テキスト情報は、手書き画像２００に書かれている文字の他に、手書き画像２００内の文字の位置を表す座標（手書き画像２００におけるＸＹ座標）情報を含んでいる。図形情報は、図形の種別（四角形、楕円、および矢印等）や図形の位置を表す座標（手書き画像２００におけるＸＹ座標）情報、大きさなどのベクトル情報を含んでいる。
【００１９】
画像種別判別部１２０は、入力された手書き画像２００、並びにオブジェクト抽出部１１０で抽出されたテキスト情報および図形情報に基づいて手書き画像の種別（フローチャート、線表（工程表）、シーケンス図、ステートチャート図等）を判別するものである。
【００２０】
画像種別判別部１２０は、テキスト情報および図形情報に基づいて手書き画像の種別を判別するため、ＡＩ（Ａｒｔｉｆｉｃａｌ  Ｉｎｔｅｒｌｌｉｇｅｎｃｅ：人工知能）の予測モデルを利用する。
【００２１】
図２は実施例における予測モデルの説明図である。図２に示すように、画像の種別を判別できるようにするため、ＡＩ学習処理は、手書きの画像と、手書きの画像から抽出したテキスト情報および図形情報とを入力データとし、手書きの画像の図が示す画像の種別を教師データとしてＡＩの学習を実行し、ＡＩ予測モデルを生成する。
【００２２】
この学習により得られたＡＩ予測モデルは、手書きの画像と、テキスト情報および図形情報とを入力データとして、画像の種別を予測することが可能になる。そのため、画像種別判別部１２０は、ＡＩ予測モデルを手書き画像の種別を判別するために利用する。
【００２３】
このように、画像種別判別部１２０は、手書き画像と、手書き画像から抽出したテキスト情報および図形情報とを入力データとし、手書き画像の種別を教師データとしてＡＩ学習を実行した結果として生成された予測モデルを用いる。
【００２４】
要素データ作成部１３０は、オブジェクト抽出部１１０で抽出されたテキストの位置情報および図形の位置情報に基づいてテキストおよび図形の位置関係によりテキスト情報と図形情報とを関連付けた要素データを作成（生成）するものである。
【００２５】
要素データとは、テキスト情報に含まれる位置情報および図形情報に含まれる位置情報に基づいて近傍に配置されたテキスト情報と図形情報とを関連付けた情報である。本実施例では、要素データは、テキストの位置と図形の位置との距離が閾値以下の場合、そのテキスト情報と図形情報とが関連付けられて生成される。
【００２６】
なお、テキスト情報と図形情報とを関連付けられなかった場合、それぞれのテキスト情報および図形情報が１つの要素データを構成する。
【００２７】
構造化データ作成部１４０は、画像種別判別部１２０で判別した手書き画像の種別に合わせて、手書き画像の種別に対応した特徴情報と、要素データ作成部１３０で作成された要素データとに基づいて構造化データを作成するものである。
【００２８】
ここで、構造化データとは、手書き画像２００に描かれた各要素（オブジェクト）の属性を表す情報であり、各要素（オブジェクト）の繋がりや階層構造が認識されたデータである。本実施例では、構造化データをＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）等のマークアップ言語を使用して記述し、手書き画像２００に描かれた各要素（オブジェクト）の繋がりや階層構造を認識したデータとしている。
【００２９】
この構造化データは、文書編集ソフトウェアや表計算ソフトウェア、プロジェクト管理ツール、ＵＭＬモデリングツール等の各種ソフトウェアに入力することができるものである。
【００３０】
また、特徴情報は、手書き画像の特徴となる情報であり、手書き画像の種別に対応させてメモリ等の記憶部に予め記憶された情報である。
【００３１】
この特徴情報は、例えば手書き画像の種別が“フローチャート”の場合、属性情報が直線（Ｔｙｐｅ＝Ｌｉｎｅ）または矢印（Ｔｙｐｅ＝Ａｒｒｏｗ）の要素データを“接続データ”、属性情報が直線（Ｔｙｐｅ＝Ｌｉｎｅ）または矢印（Ｔｙｐｅ＝Ａｒｒｏｗ）以外の要素データを“構成データ”とする情報である。
【００３２】
また、手書き画像の種別が“線表”の場合、属性情報が直線（Ｔｙｐｅ＝Ｌｉｎｅ）または矢印（Ｔｙｐｅ＝Ａｒｒｏｗ）の要素データを“構成データ”、属性情報が項目（Ｔｙｐｅ＝Ｉｔｅｍ）の要素データを“項目データ”、属性情報が日付（Ｔｙｐｅ＝Ｄａｔｅ）の要素データを“日付データ”とする情報である。
【００３３】
構造化イメージ作成部１５０は、構造化データ作成部１４０により作成された構造化データから整形した画像を作成するものである。
【００３４】
このように構成された構造化データ生成装置１００は、手書きの文字（テキスト）や図形を含む手書き画像に基づいて構造化データを生成する。
【００３５】
上述した構成の作用について説明する。
【００３６】
構造化データ生成装置が行う構造化データ生成処理を図３の実施例における構造化データ生成処理の流れを示すフローチャートの図中Ｓで表すステップに従って図１および図２を参照しながら説明する。
【００３７】
Ｓ３０１：構造化データ生成装置１００のオブジェクト抽出部１１０は、入力された手書き画像２００に含まれるテキスト（文字）、図形、それらの位置や大きさを認識してテキスト情報および図形情報を抽出する。オブジェクト抽出部１１０は、例えば図４に示すフローチャートの手書き画像２００ａから図６に示すテキスト情報および図形情報を抽出し、図５に示す線表（工程表）の手書き画像２００ｂから図７に示すテキスト情報および図形情報を抽出する。
【００３８】
Ｓ３０２：画像種別判別部１２０は、入力された手書き画像２００、並びにＳ３０１においてオブジェクト抽出部１１０で抽出されたテキスト情報および図形情報に基づいて図２に示すＡＩ予測モデルを利用して手書き画像の種別を判別する。（判別ステップ）
画像種別判別部１２０は、例えば図４に示す手書き画像２００ａを“フローチャート”、図５に示す手書き画像２００ｂを“線表”と判別する。
【００３９】
Ｓ３０３：要素データ作成部１３０は、オブジェクト抽出部１１０で抽出されたテキスト情報と図形情報とを関連付け、要素データを作成する要素データ作成処理を行う。
【００４０】
要素データ作成部１３０は、例えばテキストと、そのテキストを囲む図形とを関連付けたり、テキストと、そのテキストの近傍にある線や矢印とを関連付けたりし、テキスト情報と図形情報とグループ化した要素データを作成する。
【００４１】
要素データ作成部１３０は、図６に示すテキスト情報および図形情報に基づいて図８に示す要素データを作成し、また図７に示すテキスト情報および図形情報に基づいて図９に示す要素データを作成する。
【００４２】
なお、要素データ作成部１３０が行う要素データ作成処理の詳細は後述する。
【００４３】
Ｓ３０４：構造化データ作成部１４０は、Ｓ３０２において画像種別判別部１２０で判別した手書き画像の種別に基づいて構造化データの作成方法を決定する。
【００４４】
構造化データ作成部１４０は、手書き画像の種別がフローチャートの場合、Ｓ３０５ａの処理を行い、手書き画像の種別が線表の場合、Ｓ３０５ｂの処理を行い、手書き画像の種別がシーケンス図の場合、Ｓ３０５ｎの処理を行い、要素データ作成部１３０で作成された要素データより構造化データを作成する。
【００４５】
Ｓ３０５ａ：手書き画像の種別がフローチャートである場合、構造化データ作成部１４０は、フローチャートの特徴に合わせて要素データに基づいて構造化データを作成し、処理をＳ３０６へ移行する。（構造化データ生成ステップ）
構造化データ作成部１４０は、構造化データを作成するために、要素データをＴｙｐｅ＝Ｌｉｎｅ、またはＴｙｐｅ＝Ａｒｒｏｗの“接続データ”とそれ以外のＴｙｐｅを持つ“構成データ”に分類する。
【００４６】
次に、構造化データ作成部１４０は、それぞれの接続データの始点ポジション（始点位置座標）および終点ポジション（終点位置座標）の最近傍のデータを確認する。構造化データ作成部１４０は、接続データの始点ポジションまたは終点ポジションの最近傍データが異なる接続データである場合、該当する接続データの始点ポジションまたは終点ポジションを、最近傍にある別の接続データの始点ポジションまたは終点ポジションに変更する。
【００４７】
構造化データ作成部１４０は、接続データの始点ポジションまたは終点ポジションに変更した後、接続データの始点ポジションまたは終点ポジションの再近傍の構成データと接続する。
【００４８】
このように、構造化データ作成部１４０は、要素データを直線（Ｌｉｎｅ）または矢印（Ａｒｒｏｗ）を表す情報を有する図形情報を複数の接続オブジェクトの情報（接続データ）とし、それ以外の図形情報およびテキスト情報を構成オブジェクトの情報（構成データ）として分類し、第１の接続オブジェクトに最も接近している第２の接続オブジェクトの位置情報を第１の接続オブジェクトの位置情報に変更し、第１の接続オブジェクトおよび第２の接続オブジェクトと、第１の接続オブジェクトおよび第２の接続オブジェクトに最も近接した構成オブジェクトとを関連付けて構造化データを生成する。
【００４９】
図１１は、図８に示す要素データから作成した接続後の構成データの例を示している。構造化データ作成部１４０は、図１１に示すように、１つの構成データが、複数の接続データの始点（＜Ｆｒｏｍ＝・・・＞）となっている場合、分岐タグを作成した後、図１２に示す構造化データとして出力する。
【００５０】
その際、構造化データ作成部１４０は、構成データのＴｙｐｅが“ｒｈｏｍｂ”（ひし形）となっているかを確認し、Ｔｙｐｅが“ｒｈｏｍｂ”になっていない場合はエラーとする。
【００５１】
このように、構造化データ作成部１４０は、１つの構成オブジェクトが、複数の接続オブジェクトに関連付けられ、当該複数の接続オブジェクトの始点となっている場合、構成オブジェクトの属性がひし形でないとき異常と判定する。これにより、より正確な構造化データを生成することができる。
【００５２】
Ｓ３０５ｂ：手書き画像の種別が線表である場合、構造化データ作成部１４０は、線表の特徴に合わせて要素データに基づいて構造化データを作成し、処理をＳ３０６へ移行する。（構造化データ生成ステップ）
構造化データ作成部１４０は、構造化データを作成するために、要素データをＴｙｐｅ＝Ｌｉｎｅ、またはＴｙｐｅ＝Ａｒｒｏｗの“構成データ”と、Ｔｙｐｅ＝Ｉｔｅｍの“項目データ”と、Ｔｙｐｅ＝Ｄａｔｅの“日付データ”とに分類する。
【００５３】
構造化データ作成部１４０は、要素データを分類した後、構成データと、構成データの始点および終点のＸ座標近傍の日付データとを関連付ける。
【００５４】
このように、構造化データ作成部１４０は、要素データを直線（Ｌｉｎｅ）または矢印（Ａｒｒｏｗ）を表す情報を有する図形情報を構成オブジェクトの情報（構成データ）とし、項目を表す情報を有するテキスト情報を項目オブジェクトの情報（項目データ）とし、日付を表す情報を有するテキスト情報を日付オブジェクトの情報（日付データ）として分類し、構成オブジェクトと、構成オブジェクトに最も接近している日付オブジェクトとを関連付けて構造化データを生成する。
【００５５】
図１３は、日付データと関連付けた構成データの例を示している。
【００５６】
次に、構造化データ作成部１４０は、項目データのＹ座標近傍の構成データを関連付け、図１４に示す構造化データとして出力する。
【００５７】
Ｓ３０５ｎ：手書き画像の種別がシーケンス図である場合、構造化データ作成部１４０は、シーケンス図の特徴に合わせて要素データに基づいて構造化データを作成し、処理をＳ３０６へ移行する。（構造化データ生成ステップ）
なお、シーケンス図の構造化データの作成処理の詳細の説明は省略する。
【００５８】
Ｓ３０６：構造化データ作成部１４０は、Ｓ３０５ａ〜Ｓ３０５ｎで作成した構造化データをファイルとして出力する。
【００５９】
Ｓ３０７：構造化イメージ作成部１５０は、構造化データ作成部１４０により作成された構造化データに基づいて手書き画像を整形して各オブジェクトの繋がりや階層構造が認識し易い構造化イメージデータ（画像）を作成して出力し、本処理を終了する。
【００６０】
次に、構造化データ生成装置が行う要素データ作成処理を図１０の実施例における要素データ作成処理の流れを示すフローチャートの図中Ｓで表すステップに従って図１および図２を参照しながら説明する。なお、この要素データ作成処理は、図３のＳ３０３において要素データ作成部１３０が行う処理である。
【００６１】
Ｓ４０１：要素データ作成部１３０は、オブジェクト抽出部１１０で抽出されたテキスト情報（例えば、図６、図７に示すテキスト情報および図形情報）を検索し、日付に関するデータを検出すると、テキスト情報の種別を“テキスト”から“日付”に変換する。例えば、図７のＩＤ＝２の情報が日付（“３／Ｂ”）に関するデータであるため、Ｔｙｐｅ＝ＴｅｘｔからＴｙｐｅ＝Ｄａｔｅに変換する。要素データ作成部１３０は、テキスト情報をＴｙｐｅ＝ＴｅｘｔとＴｙｐｅ＝Ｄａｔｅに分類し、分類したテキスト情報をリスト１に登録する。
【００６２】
Ｓ４０２：要素データ作成部１３０は、日付情報を含むテキスト情報以外の情報（Ｔｙｐｅ＝ＴｅｘｔとＴｙｐｅ＝Ｄａｔｅ以外の情報）、即ち図形情報をリスト２に登録する。
【００６３】
Ｓ４０３：要素データ作成部１３０は、リスト２より図形情報を１つ取り出し、取り出した図形情報をリスト２から削除する。
【００６４】
Ｓ４０４：要素データ作成部１３０は、取り出した図形情報が線（Ｔｙｐｅ＝Ｌｉｎｅ）または矢印（Ｔｙｐｅ＝Ａｒｒｏｗ）か否かを判定し、取り出した図形情報が線または矢印の場合、処理をＳ４０５へ移行し、取り出した図形情報が線または矢印でない場合、処理をＳ４０６へ移行する。
【００６５】
Ｓ４０５：要素データ作成部１３０は、取り出した図形情報が線または矢印の場合、その図形情報の近傍にテキスト情報がある（存在する）か否かをリスト１に登録された情報から判定し、図形情報の近傍にテキスト情報があると判定すると処理をＳ４０７へ移行し、図形情報の近傍にテキスト情報がないと判定すると処理をＳ４０９へ移行する。
【００６６】
要素データ作成部１３０は、線または矢印、およびテキスト情報の位置情報を用いて距離を算出し、その距離が特定の閾値以下である場合、図形情報の近傍にテキスト情報があると判定し、閾値より大きい場合、図形情報の近傍にテキスト情報がないと判定する。
【００６７】
例えば、図７に示すＩＤ＝３のテキスト情報（印刷・スキャン）とＩＤ＝４の図形情報（矢印）が近傍にあると判定される。
【００６８】
Ｓ４０６：要素データ作成部１３０は、取り出した図形情報が線または矢印でない場合、取り出した図形情報の図形内にテキスト情報がある（存在する）か否かをリスト１に登録された情報に基づいて判定し、図形内にテキスト情報があると判定すると処理をＳ４０７へ移行し、図形内にテキスト情報がないと判定すると処理をＳ４０９へ移行する。
【００６９】
例えば、図６に示すＩＤ＝１の図形情報で表される図形内に、ＩＤ＝３のテキスト情報（スタート）が含まれていると判定される。
【００７０】
Ｓ４０７：要素データ作成部１３０は、線または矢印の図形情報の近傍にテキスト情報がある場合、または図形情報の図形内にテキスト情報がある場合、当該テキスト情報を近傍に存在する図形情報と関連付け、要素データを作成する。
【００７１】
例えば、図６におけるＩＤ＝１とＩＤ＝３の情報や、図７におけるＩＤ＝３とＩＤ＝４の情報は、本ステップにおいて関連付けられ、テキスト情報および図形情報からなる要素データとして作成する。
【００７２】
Ｓ４０８：要素データ作成部１３０は、図形情報と関連付けて要素データを作成したテキスト情報をリスト１から削除し、処理をＳ４１０へ移行する。
【００７３】
Ｓ４０９：要素データ作成部１３０は、線または矢印の図形情報の近傍にテキスト情報がない場合、または図形情報の図形内にテキスト情報がない場合、当該図形情報のみで要素データを作成する。
【００７４】
Ｓ４１０：要素データ作成部１３０は、リスト２に登録されている図形情報が空になったか否か（図形情報がなくなったか否か）を判定し、空になっていないと判定すると処理をＳ４０３へ戻してＳ４０３〜Ｓ４０９の処理を繰り返して行い、空になったと判定すると処理をＳ４１１へ移行する。
【００７５】
Ｓ４１１：要素データ作成部１３０は、リスト２に登録されている図形情報が空になったと判定すると、リスト１に登録されているテキスト情報が空になったか否か（テキスト情報がなくなったか否か）を判定し、空になっていないと判定すると処理をＳ４１２へ移行し、空になったと判定すると本処理を終了する。
【００７６】
Ｓ４１２：要素データ作成部１３０は、リスト１に登録されているテキスト情報が空でない場合、テキスト情報をＴｙｐｅ＝Ｉｔｅｍとし、そのテキスト情報のみで要素データを作成し、本処理を終了する。
【００７７】
要素データ作成部１３０は、Ｓ４０１〜Ｓ４１２の処理を実施することにより、例えば図６および図７のテキスト情報および図形情報に基づいてそれぞれ図８および図９の要素データを作成する。
【００７８】
このように、本実施例では、構造化データ生成装置１００において、オブジェクト抽出部１１０が手書き画像から手書き画像内のテキストの位置情報を含むテキスト情報および図形の位置情報を含む図形情報を抽出し（図３のＳ３０１）、画像種別判別部１２０がテキスト情報および図形情報に基づいて手書き画像の種別を判別し（図３のＳ３０２）、要素データ作成部１３０がオブジェクト抽出部１１０で抽出されたテキストの位置情報および図形の位置情報に基づいてテキストおよび図形の位置関係によりテキスト情報と図形情報とを関連付けた要素データを生成し（図３のＳ３０３）、構造化データ作成部１４０が手書き画像の種別に対応する特徴情報と、生成された要素データとに基づいて構造化データを生成する（図３のＳ３０５ａ、Ｓ３０５ｂ、・・・、Ｓ３０５ｎ）ようにしたことにより、手書きの図が有する情報を構造化したデータ（構造化データ）として生成することができる。
【００７９】
手書きの図から作成した構造化データはデータ構造（データの階層構造や接続関係）を認識しているため、作成した構造化データを各種ソフトウェアに直接入力することができるようになり、各種ソフトウェアにおけるユーザによる設定情報の入力作業などを軽減することができる。
【００８０】
例えば、手書きのフローチャートから構造化データを生成した場合、ユーザによる詳細な設定情報の入力作業などを必要とすることなく、各オブジェクト間の繋がりが明確で見易い電子データのフローチャートを作成することができるようになる。
【００８１】
また、手書きの線表から構造化データを生成した場合、ユーザによる詳細な設定情報の入力作業などを必要とすることなく、生成した構造化データをプロジェクト管理ツールのガントチャートに取り込むことができるようになる。
【００８２】
さらに、手書きのシーケンス図、ステートチャート図等から構造化データを生成した場合、ＵＭＬ（Ｕｎｉｆｉｅｄ  Ｍｏｄｅｌｉｎｇ  Ｌａｎｇｕａｇｅ）モデリングツールを通じてクラステンプレートを作成するが可能になる。
【００８３】
また、手書きで作成した図から生成した構造化データを文書編集ソフトウェアや表計算ソフトウェア等の電子文書ソフトウェアに取り込んだ場合、その電子文書が読者にとって視認しやすくなり、かつ誤解を招かないグラフィック画像に変換することができる。
【００８４】
以上説明したように、本実施例では、手書きの図が有する情報を構造化したデータとして生成することができるという効果が得られる。
【００８５】
したがって、手書きの図から作成した構造化データを各種ソフトウェアに直接入力することができるようになり、各種ソフトウェアにおけるユーザによる設定情報の入力作業などを軽減することができるという効果が得られる。
【００８６】
なお、本実施例では、手書きのフローチャートおよび手書きの線表から構造化データを作成する例で説明したが、それに限られるものでなく、手書きのシーケンス図やステートチャート図などその他の手書き図形や文字を有する図から構造化データを作成するようにしても良い。
【符号の説明】
【００８７】
１００  構造化データ生成装置
１１０  オブジェクト抽出部
１２０  画像種別判別部
１３０  要素データ作成部
１４０  構造化データ作成部
１５０  構造化イメージ作成部
２００  手書き画像
【図１】
2020140450.tif 000003
【図２】
2020140450.tif 000004
【図３】
2020140450.tif 000005
【図４】
2020140450.tif 000006
【図５】
2020140450.tif 000007
【図６】
2020140450.tif 000008
【図７】
2020140450.tif 000009
【図８】
2020140450.tif 000010
【図９】
2020140450.tif 000011
【図１０】
2020140450.tif 000012
【図１１】
2020140450.tif 000013
【図１２】
2020140450.tif 000014
【図１３】
2020140450.tif 000015
【図１４】
2020140450.tif 000016