(57)【特許請求の範囲】
【請求項１】
手書き形状を取得する手書き形状取得手段と、
取得した前記手書き形状を特定の形状に変換し、前記特定の形状が構成要素として配置されている手書きレイアウトを認識する手書きレイアウト認識手段と、
文書レイアウトのひな型であるレイアウトモデルに挿入するためのデータを記憶するデータ記憶手段と、
複数の前記レイアウトモデルの中から、認識された前記手書きレイアウトと類似するレイアウトモデルを取得する類似モデル取得手段と、
取得した前記レイアウトモデルに前記データ記憶手段に記憶されているデータを挿入する挿入手段と、
を備えたこと、を特徴とする文書データ作成装置。
【請求項２】
前記手書きレイアウト認識手段は、取得した前記手書き形状を前記手書き形状に適合する矩形に変換し、前記矩形が構成要素として配置されている手書きレイアウトを認識すること、を特徴とする請求項１に記載の文書データ作成装置。
【請求項３】
前記手書き形状取得手段は、利用者による入力を受け付けることにより手書き形状を取得し、
前記手書きレイアウト認識手段は、取得した前記手書き形状から手書きレイアウトを認識すること、を特徴とする請求項１または２に記載の文書データ作成装置。
【請求項４】
前記手書き形状取得手段は、利用者によって指定された、取得した前記レイアウトモデルに挿入する前記データの種類をさらに取得し、
前記類似モデル取得手段は、取得した前記データの種類と同じ種類のデータが挿入される複数の前記レイアウトモデルの中から、認識された前記手書きレイアウトと類似するレイアウトモデルを取得すること、を特徴とする請求項３に記載の文書データ作成装置。
【請求項５】
前記手書き形状取得手段は、ポインティングデバイス、または、タッチセンサー式の画面を介して手書き形状を取得すること、を特徴とする請求項３または４に記載の文書データ作成装置。
【請求項６】
前記手書き形状取得手段は、前記手書き形状が記録された記録媒体から該手書き形状を画像として取得し、
前記手書きレイアウト認識手段は、取得した前記画像から手書きレイアウトを認識すること、を特徴とする請求項１または２に記載の文書データ作成装置。
【請求項７】
前記類似モデル取得手段は、利用者によって指定された種類に属するレイアウトモデルの中から、前記手書きレイアウトと類似するレイアウトモデルを取得すること、を特徴とする請求項１から６のいずれか一項に記載の文書データ作成装置。
【請求項８】
前記データ記憶手段に記憶された前記データ、および、取得した前記レイアウトモデルを表示する表示手段をさらに備えたこと、を特徴とする請求項１から７のいずれか一項に記載の文書データ作成装置。
【請求項９】
文書データ作成装置における文書データ作成方法であって、
前記文書データ作成装置は、文書レイアウトのひな型であるレイアウトモデルに挿入するためのデータを記憶するデータ記憶手段を備え、
手書き形状を取得する手書き形状取得ステップと、
前記手書き形状取得ステップで取得した前記手書き形状を特定の形状に変換し、前記特定の形状が構成要素として配置されている手書きレイアウトを認識する手書きレイアウト認識ステップと、
複数の前記レイアウトモデルの中から、前記手書きレイアウト認識ステップで認識された前記手書きレイアウトと類似するレイアウトモデルを取得する類似モデル取得ステップと、
前記類似モデル取得ステップで取得した前記レイアウトモデルに、前記データ記憶手段に記憶されたデータを挿入する挿入ステップと、
を含むこと、を特徴とする文書データ作成方法。
【請求項１０】
請求項９に記載された文書データ作成方法をコンピュータに実行させること、を特徴とする文書データ作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書データを作成する文書データ作成装置、文書データ作成方法および文書データ作成プログラムに関する。
【背景技術】
【０００２】
画像データやテキストデータなどで構成された文書データを作成する方法の１つとして、文書データに挿入するデータの位置（長方形等の枠で囲まれた部分、レイアウト枠）が決まっている複数のレイアウトモデルの中から、希望するモデル（ひな形）を選択し、選択したレイアウトに各データを挿入することにより体裁の整った文書データを簡単に作成することができる方法がある。
【０００３】
しかしながら、選択するレイアウトモデルの数が多い場合、希望する１つのレイアウトを選択するのは面倒であり、時間がかかる。これに対して、例えば特許文献１では、１つ以上の長方形の枠が書かれた原稿を読み込み、認識した長方形の数と同じ数のレイアウト枠を持つレイアウトモデルを選択する方法が記載されている。
【０００４】
【特許文献１】特開２００６−９３８６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、原稿に手書きで長方形を書いた場合、長方形を構成する各線がきちんと直線で書かれていない場合や、各線の間にすき間がある場合には、長方形を認識することが難しい。
【０００６】
また、レイアウト枠の数が同じレイアウトモデルが複数ある場合、それらのレイアウトモデルのうち、どのレイアウトが原稿に類似しているかを判断することができない。
【０００７】
本発明は、上記に鑑みてなされたものであって、体裁の整った文書データを簡単に作成することができる文書データ作成装置、文書データ作成方法および文書データ作成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、手書き形状を取得する手書き形状取得手段と、取得した前記手書き形状を特定の形状に変換し、前記特定の形状が構成要素として配置されている手書きレイアウトを認識する手書きレイアウト認識手段と、文書レイアウトのひな型であるレイアウトモデルに挿入するためのデータを記憶するデータ記憶手段と、複数の前記レイアウトモデルの中から、認識された前記手書きレイアウトと類似するレイアウトモデルを取得する類似モデル取得手段と、取得した前記レイアウトモデルに前記データ記憶手段に記憶されているデータを挿入する挿入手段と、を備えたこと、を特徴とする。
【０００９】
また、請求項２にかかる発明は、請求項１に記載の文書データ作成装置において、前記手書きレイアウト認識手段は、取得した前記手書き形状を前記手書き形状に適合する矩形に変換し、前記矩形が構成要素として配置されている手書きレイアウトを認識すること、を特徴とする。
【００１０】
また、請求項３にかかる発明は、請求項１または２に記載の文書データ作成装置において、前記手書き形状取得手段は、利用者による入力を受け付けることにより手書き形状を取得し、前記手書きレイアウト認識手段は、取得した前記手書き形状から手書きレイアウトを認識すること、を特徴とする。
【００１１】
また、請求項４にかかる発明は、請求項３に記載の文書データ作成装置において、前記手書き形状取得手段は、利用者によって指定された、取得した前記レイアウトモデルに挿入する前記データの種類をさらに取得し、前記類似モデル取得手段は、取得した前記データの種類と同じ種類のデータが挿入される複数の前記レイアウトモデルの中から、認識された前記手書きレイアウトと類似するレイアウトモデルを取得すること、を特徴とする。
【００１２】
また、請求項５にかかる発明は、請求項３または４に記載の文書データ作成装置において、前記手書き形状取得手段は、ポインティングデバイス、または、タッチセンサー式の画面を介して手書き形状を取得すること、を特徴とする。
【００１３】
また、請求項６にかかる発明は、請求項１または２に記載の文書データ作成装置において、前記手書き形状取得手段は、前記手書き形状が記録された記録媒体から該手書き形状を画像として取得し、前記手書きレイアウト認識手段は、取得した前記画像から手書きレイアウトを認識すること、を特徴とする。
【００１４】
また、請求項７にかかる発明は、請求項１から６のいずれか一項に記載の文書データ作成装置において、前記類似モデル取得手段は、利用者によって指定された種類に属するレイアウトモデルの中から、前記手書きレイアウトと類似するレイアウトモデルを取得すること、を特徴とする。
【００１５】
また、請求項８にかかる発明は、請求項１から７のいずれか一項に記載の文書データ作成装置において、前記データ記憶手段に記憶された前記データ、および、取得した前記レイアウトモデルを表示する表示手段をさらに備えたこと、を特徴とする。
【００１６】
また、請求項９にかかる発明は、文書データ作成装置における文書データ作成方法であって、前記文書データ作成装置は、文書レイアウトのひな型であるレイアウトモデルに挿入するためのデータを記憶するデータ記憶手段を備え、手書き形状を取得する手書き形状取得ステップと、前記手書き形状取得ステップで取得した前記手書き形状を特定の形状に変換し、前記特定の形状が構成要素として配置されている手書きレイアウトを認識する手書きレイアウト認識ステップと、複数の前記レイアウトモデルの中から、前記手書きレイアウト認識ステップで認識された前記手書きレイアウトと類似するレイアウトモデルを取得する類似モデル取得ステップと、前記類似モデル取得ステップで取得した前記レイアウトモデルに、前記データ記憶手段に記憶されたデータを挿入する挿入ステップと、を含むこと、を特徴とする。
【００１７】
また、請求項１０にかかる発明は、請求項９に記載された文書データ作成方法をコンピュータに実行させること、を特徴とする。
【発明の効果】
【００１８】
本発明によれば、利用者が入力した手書き形状を構成要素として配置されている手書きレイアウトを認識することができ、さらに、認識した手書きレイアウトに類似しているレイアウトモデルを取得することができるので、体裁の整った文書データを簡単に作成することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１９】
以下に添付図面を参照して、この発明にかかる文書データ作成装置、文書データ作成方法および文書データ作成プログラムの最良な実施の形態を詳細に説明する。
【００２０】
（第１の実施の形態）
図１は、本発明の第１の実施の形態にかかる文書データ作成装置の機能的ブロック図である。文書データ作成装置１は、オンライン手書き形状取得部２、オンライン手書きレイアウト認識部３、類似モデル取得部４、データ記憶部５、レイアウトモデル記憶部６、表示部７、および、入力受付け部８を備えて構成されている。
【００２１】
オンライン手書き形状取得部２は、複数の手書き形状、および、利用者が挿入を希望するデータの種類をオンラインで取得する（読み込む）。オンライン手書き形状取得部２は、例えば、スタイラスペンやマウスなどのポインティングデバイス、または、指や専用ペンに反応するタッチタッチセンサー式の画面である。
【００２２】
オンライン手書きレイアウト認識部３は、オンラインで取得した複数の手書き形状を認識し、さらに複数の手書き形状をその形状に最も適合する複数の長方形等の図形に変換し、複数の長方形等の図形が構成要素として配置されている１つの手書きレイアウトを認識する。なお、１つの手書き形状から変換された長方形等の図形から、手書きレイアウトを認識してもよい。オンライン手書きレイアウト認識の詳細については後述する。
【００２３】
類似モデル取得部４は、複数のレイアウトモデルの中から、手書きレイアウトと類似するレイアウトモデルを類似性の高い順に取得する。類似モデル取得の詳細については後述する。
【００２４】
データ記憶部５は、レイアウトモデルのデータ挿入部（長方形等の枠内）に挿入されるデータ、作成された文書データ、後述するスコアリスト、および、距離合計を記録する。ここで、データ記憶部５に記憶されているレイアウトモデルのデータ挿入部に挿入されるデータは、画像データやテキストデータなどの文書データを構成する各種データであり、利用者が選択することによりレイアウトモデルの長方形等の枠内（プレースホルダー）に挿入される。
【００２５】
レイアウトモデル記憶部６は、類似モデル取得で取得される複数のレイアウトモデルを記録する。なお、レイアウトモデル記憶部６は、文書データ作成装置１内ではなく別途独立して存在し、ネットワークを介して文書データ作成装置１と接続される構成でもよい。
【００２６】
表示部７は、取得された手書き形状、手書き情報を変換した長方形等の図形、複数の長方形等の図形からなる手書きレイアウト、画像データ記憶部５に記憶された各種データ、レイアウトモデル記憶部６に記憶されたレイアウトモデル、および、作成された文書データなどを表示する。
【００２７】
入力受付け部８は、利用者からの指示を入力受付けする。入力受付け部８は、例えば、キーボード、スタイラスペンやマウスなどのポインティングデバイス、または、指や専用ペンに反応するタッチタッチセンサー式の画面を介して、利用者からの指示を入力する。
【００２８】
（文書データの作成方法）
次に、上述したように構成されている文書データ作成装置１による文書データの作成方法について説明する。図２は、文書データ作成装置１が行う文書データの作成手順を示すフローチャートである。
【００２９】
オンライン手書き形状取得部２は、複数の手書き形状をオンラインで取得する（ステップＳ２０１）。具体的には、オンライン手書き形状取得部２は、利用者がスタイラスペンやマウスなどのポインティングデバイスで直接描いた形状、または、タッチタッチセンサー式の画面上に指や専用ペンで直接描いた形状を読み込む。図３は、取得された複数の手書き形状が表示部７に表示された様子を表す図である。
【００３０】
また、本ステップで、利用者が手書き線で囲んだ位置に挿入を希望するデータの種類を、利用者自身がオンライン手書き形状取得部２（入力受付け部８）を使用して入力することにより、オンライン手書き形状取得部２が取得することも可能である。例えば、データの種類ごとに画面に入力する線の種類（色）を変更したり（テキストデータは緑色、画像画像は青色など）、入力後の手書き形状に対してデータの種類を別途指定したりすることなどにより取得が可能である。この結果、後述する類似モデル取得部４による類似モデル取得の処理が早くなるとともに、その精度を向上させることができる。
【００３１】
オンライン手書きレイアウト認識部３は、オンライン手書き形状取得部２が取得した複数の手書き形状を認識し、さらに手書き形状を夫々の形状に最も適合する複数の長方形に変換し、複数の長方形から構成された１つの手書きレイアウトを認識する。（ステップＳ２０２）。そして、認識された手書きレイアウトが表示部７に表示される。オンライン手書きレイアウト認識の詳細については後述する。図４は、認識された複数の手書き形状と、これらの手書き形状を変換した複数の長方形とが表示部７に表示された様子を表す図であり、図５は、認識された手書きレイアウトが表示部７に表示された様子を表す図である。
【００３２】
類似モデル取得部４は、レイアウトモデル記憶部６に記憶された複数のレイアウトモデルから、手書きレイアウトと類似するレイアウトモデルを類似性の高い順に取得する（ステップＳ２０３）。そして、取得されたレイアウトモデルのうち一定数が、類似性の高い順に表示部７に表示される。類似モデル取得の詳細については後述する。図６は、手書きレイアウトに類似するレイアウトモデルが表示部７に類似性の高い順に表示された様子を表す図である。図の右側に、取得されたレイアウトモデルが表示されており、一番上に表示されたレイアウトモデルが最も手書きレイアウトとの類似性が高く、下になるに従って類似性が低くなる。
【００３３】
利用者は、入力受付け部８を使用して、表示部７に表示された複数のレイアウトモデルの中から、希望する１つのレイアウトモデルを選択する（ステップＳ２０４）。図７は、選択されたレイアウトモデルが、表示部７に表示された様子を表す図である。
【００３４】
利用者は、入力受付け部８を使用して、選択したレイアウトモデルの希望の位置（長方形の枠内）に挿入するデータを、データ記憶部５に記憶されているデータから選択する（ステップＳ２０５）。そして、希望の位置（長方形の枠内）に、データ記憶部５に記憶されている各種類のデータが挿入される。図８は、データ記憶部５に記憶されている画像データと、希望の位置（長方形の枠内）に画像データが挿入されたレイアウトモデルとが表示部７に表示された様子を表す図である。図の左側は、データ記憶部５に記憶されている画像データを表し、図の右側は、希望の位置（長方形の枠内）に画像データが挿入されたレイアウトモデルを表す。これにより、文書データの作成が終了する。
【００３５】
（オンライン手書きレイアウト認識）
次に、オンライン手書きレイアウト認識について説明する。図９は、オンライン手書きレイアウト認識部３が行うオンライン手書きレイアウト認識手順を示すフローチャートである。オンライン手書きレイアウト認識では、利用者が文書データ作成装置に直接入力した手書き形状から、手書きレイアウト、すなわち、利用者の希望する文書レイアウトを認識することを目的とする。
【００３６】
オンライン手書きレイアウト認識部３は、オンライン手書き形状取得部２が取得した複数の手書き形状を認識する（ステップＳ９０１）。オンラインでの形状認識は、利用者がオンライン手書き形状取得部２を使用して直接描いた形状をそのまま読み込めばよいため、容易に認識することが可能である。
【００３７】
次に、オンライン手書きレイアウト認識部３は、認識した複数の手書き形状を、その手書き形状の外接矩形にそれぞれ変換する（ステップＳ９０２）。本ステップが終了した段階で、手書き形状が複数の長方形に変換される。
【００３８】
最後に、オンライン手書きレイアウト認識部３は、変換した複数の長方形から構成された１つの手書きレイアウトを認識し（ステップＳ９０３）、オンライン手書きレイアウト認識は終了する。
【００３９】
なお、ステップＳ９０２では、認識した手書き形状を、その手書き形状の外接矩形に変換しているが、他の方法を用いることもできる。例えば、認識した手書き形状を、その手書き形状の内接矩形に変換する方法や、手書き形状の上下左右の各要素の平均に位置する線を、それぞれつなげることにより長方形に変換する方法を用いてもよい。
【００４０】
（類似モデル取得）
次に、類似モデル取得について説明する。図１０は、類似モデル取得部４が行う類似モデル取得手順を示すフローチャートであり、図１１は、類似モデル取得を説明する図である。類似モデル取得では、手書き形状から認識した手書きレイアウト、すなわち、利用者の希望する文書レイアウトに最も類似しているレイアウトモデルを発見することを目的としている。
【００４１】
類似モデル取得部４は、オンライン手書きレイアウト認識部３により認識された手書きレイアウトのサイズをレイアウトモデルのサイズに正規化する（ステップＳ１００１）。これは、後のステップで、手書きレイアウトの構成要素である長方形のサイズとレイアウトモデルの構成要素である長方形のサイズとを比較するため、前もって、手書きレイアウトのサイズとレイアウトモデルのサイズとを揃えておくためである。
【００４２】
類似モデル取得部４は、データ記憶部５のスコアリストを初期化する（ステップＳ１００２）。スコアリストとは、取得が終了したレイアウトモデルと後述する距離合計との関係をリスト化したものである。
【００４３】
類似モデル取得部４は、手書きレイアウトと比較するレイアウトモデルがあるか否かを判断する（ステップＳ１００３）。類似モデル取得部４が手書きレイアウトと比較するレイアウトモデルがあると判断した場合（ステップＳ１００３：Ｙｅｓ）、類似モデル取得部４は、比較するレイアウトモデルのデータを読み込む（ステップＳ１００４）。
【００４４】
類似モデル取得部４は、データ記憶部５に記録されている、距離（ｄ１ｍｉｎ＋ｄ２ｍｉｎ）の合計である距離合計を初期化する（ステップＳ１００５）。距離（ｄ１ｍｉｎ＋ｄ２ｍｉｎ）については後述する。
【００４５】
類似モデル取得部４は、手書きレイアウトの構成要素である長方形Ａ全てについて距離（ｄ１ｍｉｎ＋ｄ２ｍｉｎ）を計算したか否かを判断する（ステップＳ１００６）。類似モデル取得部４が手書きレイアウトの構成要素である長方形Ａ全てについて距離（ｄ１ｍｉｎ＋ｄ２ｍｉｎ）を計算していないと判断した場合（ステップＳ１００６：Ｎｏ）、距離（ｄ１ｍｉｎ＋ｄ２ｍｉｎ）を計算していない、長方形Ａを特定する（ステップＳ１００７）。
【００４６】
類似モデル取得部４は、長方形Ａの垂直の方向性を有する部分（２箇所）を選択する（ステップＳ１００８）。
【００４７】
類似モデル取得部４は、長方形Ａの最も近くに存在するレイアウトモデルの構成要素である長方形Ｂを選択し、その垂直の方向性を有する部分（２箇所）を選択する（ステップＳ１００９）。
【００４８】
類似モデル取得部４は、長方形Ａの垂直の方向性を有する部分（２箇所）の各一端と、その各一端に近い方に位置する長方形Ｂの垂直の方向性を有する部分（２箇所）の各一端との間の距離（ｄ１）を計算し、その中から最も短い距離（ｄ１ｍｉｎ）を決定する（ステップＳ１０１０）。図１１を見ると、全部で４つの距離（ｄ１）が計算されていることがわかり、その中の１つが距離（ｄ１ｍｉｎ）となる。
【００４９】
類似モデル取得部４は、長方形Ａの垂直の方向性を有する部分（２箇所）のもう一方の各一端と、その各一端に近い方に位置する長方形Ｂの垂直の方向性を有する部分（２箇所）の各一端との間の距離（ｄ２）を計算し、その中から最も短い距離（ｄ２ｍｉｎ）を決定する（ステップＳ１０１１）。図１１を見ると、全部で４つの距離（ｄ２）が計算されていることがわかり、その中の１つが距離（ｄ２ｍｉｎ）となる。
【００５０】
類似モデル取得部４は、決定した２つの距離（ｄ１ｍｉｎ、ｄ２ｍｉｎ）の合計（ｄ１ｍｉｎ＋ｄ２ｍｉｎ）をデータ記憶部５の距離合計に追加記録し（ステップＳ１０１２）、ステップＳ１００６へ戻る。
【００５１】
ステップＳ１００６で、類似モデル取得部４が手書きレイアウトの構成要素である長方形Ａ全てについて距離（ｄ１ｍｉｎ＋ｄ２ｍｉｎ）を計算していると判断した場合、すなわち、手書きレイアウトを構成する全ての長方形に対する計算が終了したと判断した場合（ステップＳ１００６：Ｙｅｓ）、類似モデル取得部４は、比較したレイアウトモデルと、それに対する距離合計との関係をデータ記憶部５のスコアリストに追加記録し（ステップＳ１０１３）、ステップＳ１００３へ戻る。
【００５２】
ステップＳ１００３で、類似モデル取得部４が手書きレイアウトと比較するレイアウトモデルがないと判断した場合、すなわち、取得すべきレイアウトモデル全てに対する比較が終了したと判断した場合（ステップＳ１００３：Ｎｏ）、類似モデル取得部４は、スコアリストのレイアウトモデルの中から距離合計が小さい順、すなわち、手書きレイアウトと類似性の高い順に、一定数のレイアウトモデルを表示部７に表示し（ステップＳ１０１４）、類似モデル取得は終了する。
【００５３】
なお、文書データ作成装置１が類似モデル取得を行う前の段階で、利用者が希望するレイアウトの種類を、オンライン手書き形状取得部２や入力受付け部８を使用して文書データ作成装置１に入力することも可能である。その場合、類似モデル取得部４は、レイアウトモデル記憶部６に記憶されたレイアウトモデルの種類（例えば、ＣＶ、インボイス、カレンダー、フォトアルバムなど）から、利用者が希望する種類のレイアウト（例えば、フォトアルバム）だけを取得することができるので、モデル取得の処理が早くなるとともに、その精度を向上させることができる。
【００５４】
このように、第１の実施の形態にかかる文書データ作成装置によれば、利用者が直接入力した手書き形状を複数の長方形等の図形に変換でき、変換した複数の長方形等の図形から構成された１つの手書きレイアウトを認識することができるので、体裁の整った文書データを簡単に作成することが可能である。
【００５５】
さらに、第１の実施の形態にかかる文書データ作成装置によれば、手書きレイアウトの各長方形とレイアウトモデルの各長方形との距離を計算後すべて合計し、合計値が最も小さいレイアウトモデルを手書きレイアウトに最も類似しているレイアウトモデルと判断し取得することができるので、体裁の整った文書データを簡単に作成することが可能である。
【００５６】
（第２の実施の形態）
第１の実施の形態にかかる文書データ作成装置では、手書き形状をオンラインで取得したが、第２の実施の形態にかかる文書データ作成装置では、手書き形状をオフラインで取得する。
【００５７】
第２の実施の形態について、添付図面を参照して説明する。本実施の形態にかかる文書データ作成装置の構成例について、第１の実施の形態を異なる部分を説明する。他の部分については第１の実施の形態と同様であるので、上述した説明を参照し、ここでの説明を省略する。図１２は、本発明の第２の実施の形態にかかる文書データ作成装置の機能的ブロック図である。
【００５８】
文書データ作成装置１１は、オフライン手書き形状取得部１２、オフライン手書きレイアウト認識部１３、類似モデル取得部４、データ記憶部５、レイアウトモデル記憶部６、表示部７、および、入力受付け部８を備えて構成されている。
【００５９】
オフライン手書き形状取得部１２は、手書き形状をオフラインで画像データとして取得する（読み込む）。オフライン手書き形状取得部１２は、例えば、スキャナーなどの画像読取装置、または、デジタルカメラなどの撮像装置である。
【００６０】
オフライン手書きレイアウト認識部１３は、オフラインで取得した手書き形状を認識し、さらに手書き形状を最も適合する長方形等の図形に変換する。オフライン手書きレイアウト認識の詳細については後述する。
【００６１】
（文書データの作成方法）
次に、上述したように構成されている文書データ作成装置１１による文書データの作成方法について説明する。図１３は、文書データ作成装置１１が行う文書データの作成手順を示すフローチャートである。
【００６２】
オフライン手書き形状取得部１２は、複数の手書き形状をオフラインで取得する（ステップＳ１３０１）。具体的には、オフライン手書き形状取得部１２は、紙などの媒体に手書きされた形状を画像データとして読み込む。
【００６３】
オフライン手書きレイアウト認識部１３は、オフライン手書き形状取得部１２が取得した複数の手書き形状を認識し、さらに手書き形状を夫々の形状に最も適合する複数の長方形に変換し、複数の長方形が構成要素として配置された手書きレイアウトを認識する。（ステップＳ１３０２）。そして、認識された手書きレイアウトが表示部７に表示される。オフライン手書きレイアウト認識の詳細については後述する。
【００６４】
類似モデル取得部４は、手書きレイアウトに類似するレイアウトモデルをレイアウトモデル記憶部６に記憶された複数のレイアウトモデルから、手書きレイアウトと類似するレイアウトモデルを類似性の高い順に取得する（ステップＳ１３０３）。そして、取得されたレイアウトモデルは、類似性の高い順に表示部７に表示される。なお、類似モデル取得の方法は、第１の実施の形態に係る類似モデル取得方法（図１０）と同じであるので、詳しい説明は省略する。
【００６５】
利用者は、入力受付け部８を使用して、表示部７に表示された複数のレイアウトモデルの中から、希望する１つのレイアウトモデルを選択する（ステップＳ１３０４）。
【００６６】
利用者は、入力受付け部８を使用して、選択したレイアウトモデルの希望の位置に挿入するデータを、データ記憶部５に記憶されているデータから選択する（ステップＳ１３０５）。これにより、文書データの作成が終了する。
【００６７】
（オフライン手書きレイアウト認識）
次に、オフライン手書きレイアウト認識について説明する。図１４は、オフライン手書きレイアウト認識部１３が行うオフライン手書きレイアウト認識手順を示すフローチャートである。オフライン手書きレイアウト認識では、利用者が手書き形状を描いた紙などの媒体を文書データ作成装置が画像データとして読み込み、手書きレイアウト、すなわち、利用者の希望する文書レイアウトを認識することを目的とする。
【００６８】
オフライン手書きレイアウト認識部１３は、取得された手書き形状の画像を二値化し（画像を細かいピクセルに分割し、各ピクセルを黒か白に振り分け）、手書き形状を二値化データとして認識する（ステップＳ１４０１）。オフラインでの形状認識は、取得した画像データから手書きされた形状、特に、形状の位置を認識しなければならないため、オンラインでの形状認識よりも複雑である。
【００６９】
オフライン手書きレイアウト認識部１３は、二値化データから黒いピクセルが結合した要素を使用し、垂直の方向性を有する部分を取り出し（ステップＳ１４０２）、さらに、曲線部から垂直の方向性を有する部分を抽出する（ステップＳ１４０３）。
【００７０】
オフライン手書きレイアウト認識部１３は、１つの垂直の方向性を有する部分の終点と、他の垂直の方向性を有する部分の終点との距離が、所定の距離より近い終点どうしを接続する（ステップＳ１４０４）。なお、接続する部分同士の水平の位置は同じであることが前提である。図１５は、認識された複数の手書き形状と、ステップＳ１４０４が終了した段階の抽出された垂直の方向性を有する部分（線）とを表す図である。
【００７１】
さらに、オフライン手書きレイアウト認識部１３は、垂直の方向性を有する部分の長さが所定の数値より短い垂直の方向性を有する部分を取り除く（ステップＳ１４０５）。
【００７２】
次に、オフライン手書きレイアウト認識部１３は、二値化データから黒いピクセルが結合した要素を使用し、水平の方向性を有する部分を取り出し（ステップＳ１４０６）、さらに、曲線部から水平の方向性を有する部分を抽出する（ステップＳ１４０７）。
【００７３】
オフライン手書きレイアウト認識部１３は、１つの水平の方向性を有する部分の終点と、他の水平の方向性を有する部分の終点との距離が、所定の距離より近い終点どうしを接続する（ステップＳ１４０８）。なお、接続する部分同士の垂直の位置は同じであることが前提である。図１６は、認識された複数の手書き形状と、ステップＳ１４０８が終了した段階の抽出された水平の方向性を有する部分（線）とを表す図である。
【００７４】
さらに、オフライン手書きレイアウト認識部１３は、水平の方向性を有する部分の長さが所定の数値より短い水平の方向性を有する部分を取り除く（ステップＳ１４０９）。
【００７５】
このように、本認識手順では、ステップＳ１４０２〜Ｓ１４０５で二値化されたデータから垂直の方向性を有する部分（垂直線）を抽出し、ステップＳ１４０６〜Ｓ１４０９で二値化されたデータから水平の方向性を有する部分（水平線）を抽出している。なお、水平の方向性を有する部分（水平線）を抽出後に、垂直の方向性を有する部分（垂直線）を抽出してもよく、垂直の方向性を有する部分（垂直線）の抽出と水平の方向性を有する部分（水平線）の抽出とを同時に行ってもよい。
【００７６】
次に、長方形が形成されるまで、垂直の方向性を有する部分（垂直線）の終点と、水平の方向性を有する部分（水平線）の終点との距離が、所定の距離より近い終点どうしを接続する（ステップＳ１４１０）。
【００７７】
長方形の形成に不要だった、垂直の方向性を有する部分（垂直線）と、水平の方向性を有する部分（水平線）とを取り除く（ステップＳ１４１１）。本ステップが終了した段階で、手書き形状が複数の長方形に変換される。
【００７８】
最後に、オフライン手書きレイアウト認識部１３は、変換した複数の長方形から構成された１つの手書きレイアウトを認識し（ステップＳ１４１２）、オフライン手書きレイアウト認識は終了する。図１７は、認識された複数の手書き形状と、これらの手書き形状から認識された手書きレイアウトとが表示部７に表示された様子を表す図である。この方法では、手書き形状が曲線部やすき間を有していても手書き形状を長方形に変換することが容易である。なぜならば、手書き形状がどのような形状でも、垂直や水平の線を探し、それらを接続することにより、長方形に変換するからである。
【００７９】
このように、第２の実施の形態にかかる文書データ作成装置によれば、利用者が手書き形状を描いた紙などの媒体を画像データとして読み込み、読み込んだ手書き形状を複数の長方形等の図形に変換でき、変換した複数の長方形等の図形から構成された１つの手書きレイアウトを認識することができるので、体裁の整った文書データを簡単に作成することが可能である。
【００８０】
なお、第１の実施の形態および第２の実施の形態にかかる文書データ作成装置では、類似モデル取得部が、レイアウトモデル記憶部に記憶された複数のレイアウトモデルから手書きレイアウトと類似するレイアウトモデルを類似性の高い順に複数取得し、利用者が、その中から希望する１つのレイアウトモデルを選択している。しかしながら、類似モデル取得部が、レイアウトモデル記憶部に記憶された複数のレイアウトモデルから手書きレイアウトと最も類似する１つのレイアウトモデルを取得し、選択してもよい。
【００８１】
（ハードウェア構成）
図１８は、第１の実施の形態および第２の実施の形態の文書データ作成装置の各装置のハードウェア構成を示す図である。第１の実施の形態および第２の実施の形態の文書データ作成装置の各装置は、図１８に示すように、ＣＰＵ（Central Processing Unit）１０１などの制御装置と、ＲＯＭ（Read Only Memory）１０２やＲＡＭ（Random Access Memory）１０３などの記憶装置と、ＨＤＤ（Hard Disk Drive）、ＣＤ（Compact Disk）ドライブ装置等の外部記憶装置１０４と、モニタ等の表示装置１０５と、キーボードやマウス等の入力デバイス１０６と、通信Ｉ／Ｆ１０７と、これらを接続するバス１０８を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００８２】
第１の実施の形態および第２の実施の形態の文書データ作成装置の各装置で実行される文書データ作成プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００８３】
また、第１の実施の形態および第２の実施の形態の文書データ作成装置の各装置で実行される文書データ作成プログラムを、インタネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、第１の実施の形態および第２の実施の形態の文書データ作成装置の各装置で実行される文書データ作成プログラムを、インタネット等のネットワーク経由で提供または配布するように構成しても良い。また、第１の実施の形態および第２の実施の形態の文書データ作成装置の各装置で実行される文書データ作成プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００８４】
第１の実施の形態および第２の実施の形態の文書データ作成装置で実行される文書データ作成プログラムは、上述した各部（オンライン手書きレイアウト認識部３、類似モデル取得部４、オフライン手書きレイアウト認識部１３など）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から文書データ作成プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、オンライン手書きレイアウト認識部３、類似モデル取得部４、オフライン手書きレイアウト認識部１３などが主記憶装置上に生成されるようになっている。
【図面の簡単な説明】
【００８５】
【図１】本発明の第１の実施の形態にかかる文書データ作成装置の機能的ブロック図である。
【図２】文書データ作成装置が行う文書データの作成手順を示すフローチャートである。
【図３】取得された複数の手書き形状が表示部に表示された様子を表す図である。
【図４】認識された複数の手書き形状と、これらの手書き形状を変換した複数の長方形とが表示部に表示された様子を表す図である。
【図５】認識された手書きレイアウトが表示部に表示された様子を表す図である。
【図６】手書きレイアウトに類似するレイアウトモデルが表示部に類似性の高い順に表示された様子を表す図である。
【図７】選択されたレイアウトモデルが、表示部に表示された様子を表す図である。
【図８】データ記憶部に記憶されている画像データと、希望の位置（長方形の枠内）に画像データが挿入されたレイアウトモデルとが表示部に表示された様子を表す図である。
【図９】オンライン手書きレイアウト認識部が行うオンライン手書きレイアウト認識手順を示すフローチャートである。
【図１０】類似モデル取得部が行う類似モデル取得手順を示すフローチャートである。
【図１１】類似モデル取得を説明する図である。
【図１２】本発明の第２の実施の形態にかかる文書データ作成装置の機能的ブロック図である。
【図１３】文書データ作成装置が行う文書データの作成手順を示すフローチャートである。
【図１４】オフライン手書きレイアウト認識部が行うオフライン手書きレイアウト認識手順を示すフローチャートである。
【図１５】認識された複数の手書き形状と、ステップＳ１４０４が終了した段階の抽出された垂直の方向性を有する部分（線）とを表す図である。
【図１６】認識された複数の手書き形状と、ステップＳ１４０８が終了した段階の抽出された水平の方向性を有する部分（線）とを表す図である。
【図１７】認識された複数の手書き形状と、これらの手書き形状から認識された手書きレイアウトとが表示部７に表示された様子を表す図である。
【図１８】第１の実施の形態および第２の実施の形態の文書データ作成装置の各装置のハードウェア構成を示す図である。
【符号の説明】
【００８６】
１、１１  文書データ作成装置
２  オンライン手書き形状取得部
３  オンライン手書きレイアウト認識部
４  類似モデル取得部
５  データ記憶部
６  レイアウトモデル記憶部
７  表示部
８  入力受付け部
１２  オフライン手書き形状取得部
１３  オフライン手書きレイアウト認識部
【図１】
0005009256.tif 000002
【図２】
0005009256.tif 000003
【図３】
0005009256.tif 000004
【図４】
0005009256.tif 000005
【図５】
0005009256.tif 000006
【図６】
0005009256.tif 000007
【図７】
0005009256.tif 000008
【図８】
0005009256.tif 000009
【図９】
0005009256.tif 000010
【図１０】
0005009256.tif 000011
【図１１】
0005009256.tif 000012
【図１２】
0005009256.tif 000013
【図１３】
0005009256.tif 000014
【図１４】
0005009256.tif 000015
【図１５】
0005009256.tif 000016
【図１６】
0005009256.tif 000017
【図１７】
0005009256.tif 000018
【図１８】
0005009256.tif 000019