(57)【要約】【課題】読取装置により電子的に読み込んだ文書等のレイアウトを認識すると共に、該文書に含まれる文字や画像等の構成要素を識別して取り込み、その各構成要素を前記レイアウトを表現するデータ形式に変換する。【解決手段】文書作成支援装置１０は、文字領域及び／又は画像領域を含む文書情報が記録された原稿２２を走査して前記文書情報をイメージデータとして電子的に読み取る読取装置２１と接続可能とし、画像入力手段１０ａ，レイアウト認識手段１０ｄ，データ形式変換手段１０ｆを有する。文書作成支援装置１０は、読取装置２１により読み取った文書情報の入力を受け付けて、入力した文書情報を構成する文字領域及び／又は画像領域のレイアウトを認識し、そのレイアウトを表現するデータ形式に前記文書情報を変換する。【選択図】        図２
2004258724.tif 000002
【特許請求の範囲】
【請求項１】
文字領域及び／又は画像領域を含む文書情報が記録された紙面上を走査して前記文書情報をイメージデータとして電子的に読み取る読取装置と接続可能であり、該読取装置により読み取った文書情報の入力を受け付ける入力受付手段と、該入力した文書情報を構成する文字領域及び／又は画像領域のレイアウトを認識するレイアウト認識手段と、該認識したレイアウトを表現するデータ形式に前記文書情報を変換するデータ形式変換手段とを有することを特徴とする文書作成支援装置。
【請求項２】
文字領域及び／又は画像領域を含む文書情報を記憶した記憶手段と、該記憶した文書情報の中から所望の文書情報を選択し、該選択した文書情報を構成する文字領域及び／又は画像領域のレイアウトを認識するレイアウト認識手段と、該認識したレイアウトを表現するデータ形式に前記文書情報を変換するデータ形式変換手段とを有することを特徴とする文書作成支援装置。
【請求項３】
請求項１又は２に記載の文書作成支援装置において、前記レイアウト認識手段は、画面上に表示させた文書情報に対してレイアウト認識する範囲を指定し、該指定した範囲内に含まれる構成要素に応じた領域を画像又は文字に分類して認識すると共に、前記分類した領域が文字領域の場合、該文字領域の位置，長さ，高さ，方向，傾きのいずれか複数を認識し、前記分類した領域が画像領域の場合、該画像領域の位置，長さ，高さ，傾きのいずれか複数を認識することにより当該画像領域又は文字領域のレイアウト情報を取得することを特徴とする文書作成支援装置。
【請求項４】
請求項１又は２に記載の文書作成支援装置において、前記レイアウト認識手段は、画面上に表示させた文書情報全体をレイアウト認識する場合、前記文書情報全体に含まれる構成要素に応じた領域を画像又は文字に分類して認識すると共に、該分類した領域が文字領域の場合、該文字領域の位置，長さ，高さ，方向，傾きのいずれか複数を認識し、前記分類した領域が画像領域の場合、該画像領域の位置，長さ，高さ，傾きのいずれか複数を認識することにより当該画像領域又は文字領域のレイアウト情報を取得することを特徴とする文書作成支援装置。
【請求項５】
請求項１乃至４のいずれか１に記載の文書作成支援装置において、前記レイアウト認識手段は、文書情報全体又は文書情報に指定した範囲内に含まれる画像領域及び／又は文字領域のレイアウトを認識した結果、該認識した画像領域又は文字領域それぞれに応じた領域枠を画面上に表示すると共に、同一画面上に前記領域枠に応じたレイアウト情報を認識結果として表示できるようにしたことを特徴とする文書作成支援装置。
【請求項６】
請求項５に記載の文書作成支援装置において、前記構成要素として直線を含み、前記画像領域，文字領域，直線領域それぞれに応じて領域表示の色を設定できるようにしたことを特徴とする文書作成支援装置。
【請求項７】
請求項１乃至６のいずれか１に記載の文書作成支援装置において、前記レイアウト認識手段は、文書情報全体又は文書情報に指定した範囲内に含まれる画像領域及び／又は文字領域のレイアウトを認識する際に、該認識する領域の画素数が所定値以上の場合、該画素数を予め定めた画素数以下に低減してレイアウトを認識することを特徴とする文書作成支援装置。
【請求項８】
請求項１乃至７のいずれか１に記載の文書作成支援装置において、前記レイアウト認識手段は、文書情報全体又は文書情報に指定した範囲内に含まれる画像領域及び／又は文字領域のレイアウトを認識した結果、該認識結果の画像領域又は文字領域それぞれにおいて前記文書情報の用紙サイズに対する面積比率を算出し、前記データ形式変換手段は、前記レイアウト認識手段により認識した認識結果を所定のアプリケーションのデータ形式に変換する際に、該アプリケーションで使用する用紙サイズ，用紙の向きを少なくとも含む用紙形式を指定し、該指定した用紙形式に対する前記画像領域及び／又は文字領域のサイズを前記算出した面積比率に基づいて調整し、該サイズ調整した画像領域及び／又は文字領域を前記認識結果のレイアウトを表現するデータ形式に変換して表示することを特徴とする文書作成支援装置。
【請求項９】
請求項８に記載の文書作成支援装置において、前記データ形式変換手段によりデータ形式を変換してレイアウトされた構成要素を他の構成要素に差し替える際に、前記レイアウトされた構成要素の領域に応じて前記他の構成要素の領域サイズを調整して差し替えることができるようにしたことを特徴とする文書作成支援装置。
【請求項１０】
文字領域及び／又は画像領域を含む文書情報が記録された紙面上を走査して前記文書情報をイメージデータとして電子的に読み取る読取装置と接続された文書作成支援装置を用いて文書作成を支援するための文書作成支援方法において、前記読取装置により読み取った文書情報の入力を受け付ける入力受付ステップと、該入力した文書情報を構成する画像領域及び／又は文字領域のレイアウトを認識するレイアウト認識ステップと、該認識したレイアウトを表現するデータ形式に前記文書情報を変換するデータ形式変換ステップとを有することを特徴とする文書作成支援方法。
【請求項１１】
文書作成を支援するための文書作成支援方法において、文字領域及び／又は画像領域を含む文書情報を記憶した記憶手段の中から所望の文書情報を選択し、該選択した文書情報を構成する画像領域及び／又は文字領域のレイアウトを認識するレイアウト認識ステップと、該認識したレイアウトを表現するデータ形式に前記文書情報を変換するデータ形式変換ステップとを有することを特徴とする文書作成支援方法。
【請求項１２】
請求項１乃至９のいずれか１に記載の文書作成支援装置としての機能をコンピュータに実行させるための、あるいは、請求項１０又は１１に記載の文書作成支援方法をコンピュータに実行させるためのプログラム。
【請求項１３】
請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書作成支援装置、方法、プログラム、及び記録媒体、より詳細には、コンピュータシステム等に適用して好適なレイアウト認識技術を利用した文書作成支援装置、方法、プログラム、及び記録媒体に関する。
【０００２】
【従来の技術】
紙面上の各種文書をイメージデータとして電子化することにより、従来、複数の紙面上の文書を切り貼りして新しい文書を作成していた編集作業を、コンピュータ上で容易に行えるようにするための編集技術が種々開発されている。このような編集作業を容易且つ効率化するための技術として、文書の構成要素毎にレイアウトを認識するものが知られている。
従来のレイアウト認識技術を利用したものに、レイアウト認識技術により得られたレイアウト構成要素に関する情報に基づく文書編集作業のうち、特に表領域の拡大縮小、内容変更、一部選択などの各種編集作業をユーザの操作負担を著しく軽減して容易且つ迅速に行うことができるようにしたものが開示されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００１−２７４９８１号公報
【０００４】
【発明が解決しようとする課題】
ここで、スキャナ等により取り込んだイメージデータを他のアプリケーションのデータ形式に変換して利用する場合、イメージデータを構成する文字や画像の各要素のレイアウト情報がアプリケーション間で保持されていないために、データ変換した後に、ユーザがマニュアル操作によりレイアウトし直す必要が生じ、文書作成に手間がかかっていた。また、カタログ等を作成する場合に、既存のカタログフォームをそのままイメージデータとして取り込んで、例えば、Ｍｉｃｒｏｓｏｆｔ  Ｗｏｒｄ（Ｒ）や、ＰｏｗｅｒＰｏｉｎｔ（Ｒ）等の所望のアプリケーション上で編集作業を行うことができれば、カタログやパンフレット等を迅速且つ低コストで作成することが可能となる。
【０００５】
本発明は、上述のごとき実情に鑑みてなされたものであり、スキャナ等の読取装置により読み込んだ文書等のレイアウトを認識すると共に、その文書に含まれる文字や画像等の構成要素を識別して取り込み、取り込んだ各構成要素を前記レイアウトを表現するデータ形式に変換し、そのデータ形式に応じたアプリケーション上において各構成要素の再現、編集を可能とする文書作成支援装置、方法、プログラム、及び記録媒体を提供すること、を目的としてなされたものである。
【０００６】
【課題を解決するための手段】
請求項１の発明は、文字領域及び／又は画像領域を含む文書情報が記録された紙面上を走査して前記文書情報をイメージデータとして電子的に読み取る読取装置と接続可能であり、該読取装置により読み取った文書情報の入力を受け付ける入力受付手段と、該入力した文書情報を構成する文字領域及び／又は画像領域のレイアウトを認識するレイアウト認識手段と、該認識したレイアウトを表現するデータ形式に前記文書情報を変換するデータ形式変換手段とを有することを特徴としたものである。
【０００７】
請求項２の発明は、文字領域及び／又は画像領域を含む文書情報を記憶した記憶手段と、該記憶した文書情報の中から所望の文書情報を選択し、該選択した文書情報を構成する文字領域及び／又は画像領域のレイアウトを認識するレイアウト認識手段と、該認識したレイアウトを表現するデータ形式に前記文書情報を変換するデータ形式変換手段とを有することを特徴としたものである。
【０００８】
請求項３の発明は、請求項１又は２に記載の文書作成支援装置において、前記レイアウト認識手段は、画面上に表示させた文書情報に対してレイアウト認識する範囲を指定し、該指定した範囲内に含まれる構成要素に応じた領域を画像又は文字に分類して認識すると共に、前記分類した領域が文字領域の場合、該文字領域の位置，長さ，高さ，方向，傾きのいずれか複数を認識し、前記分類した領域が画像領域の場合、該画像領域の位置，長さ，高さ，傾きのいずれか複数を認識することにより当該画像領域又は文字領域のレイアウト情報を取得することを特徴としたものである。
【０００９】
請求項４の発明は、請求項１又は２の発明において、前記レイアウト認識手段は、画面上に表示させた文書情報全体をレイアウト認識する場合、前記文書情報全体に含まれる構成要素に応じた領域を画像又は文字に分類して認識すると共に、該分類した領域が文字領域の場合、該文字領域の位置，長さ，高さ，方向，傾きのいずれか複数を認識し、前記分類した領域が画像領域の場合、該画像領域の位置，長さ，高さ，傾きのいずれか複数を認識することにより当該画像領域又は文字領域のレイアウト情報を取得することを特徴としたものである。
【００１０】
請求項５の発明は、請求項１乃至４のいずれか１の発明において、前記レイアウト認識手段は、文書情報全体又は文書情報に指定した範囲内に含まれる画像領域及び／又は文字領域のレイアウトを認識した結果、該認識した画像領域又は文字領域それぞれに応じた領域枠を画面上に表示すると共に、同一画面上に前記領域枠に応じたレイアウト情報を認識結果として表示できるようにしたことを特徴としたものである。
【００１１】
請求項６の発明は、請求項５の発明において、前記構成要素として直線を含み、前記画像領域，文字領域，直線領域それぞれに応じて領域表示の色を設定できるようにしたことを特徴としたものである。
【００１２】
請求項７の発明は、請求項１乃至６のいずれか１の発明において、前記レイアウト認識手段は、文書情報全体又は文書情報に指定した範囲内に含まれる画像領域及び／又は文字領域のレイアウトを認識する際に、該認識する領域の画素数が所定値以上の場合、該画素数を予め定めた画素数以下に低減してレイアウトを認識することを特徴としたものである。
【００１３】
請求項８の発明は、請求項１乃至７のいずれか１の発明において、前記レイアウト認識手段は、文書情報全体又は文書情報に指定した範囲内に含まれる画像領域及び／又は文字領域のレイアウトを認識した結果、該認識結果の画像領域又は文字領域それぞれにおいて前記文書情報の用紙サイズに対する面積比率を算出し、前記データ形式変換手段は、前記レイアウト認識手段により認識した認識結果を所定のアプリケーションのデータ形式に変換する際に、該アプリケーションで使用する用紙サイズ，用紙の向きを少なくとも含む用紙形式を指定し、該指定した用紙形式に対する前記画像領域及び／又は文字領域のサイズを前記算出した面積比率に基づいて調整し、該サイズ調整した画像領域及び／又は文字領域を前記認識結果のレイアウトを表現するデータ形式に変換して表示することを特徴としたものである。
【００１４】
請求項９の発明は、請求項８の発明において、前記データ形式変換手段によりデータ形式を変換してレイアウトされた構成要素を他の構成要素に差し替える際に、前記レイアウトされた構成要素の領域に応じて前記他の構成要素の領域サイズを調整して差し替えることができるようにしたことを特徴としたものである。
【００１５】
請求項１０の発明は、文字領域及び／又は画像領域を含む文書情報が記録された紙面上を走査して前記文書情報をイメージデータとして電子的に読み取る読取装置と接続された文書作成支援装置を用いて文書作成を支援するための文書作成支援方法において、前記読取装置により読み取った文書情報の入力を受け付ける入力受付ステップと、該入力した文書情報を構成する画像領域及び／又は文字領域のレイアウトを認識するレイアウト認識ステップと、該認識したレイアウトを表現するデータ形式に前記文書情報を変換するデータ形式変換ステップとを有することを特徴としたものである。
【００１６】
請求項１１の発明は、文書作成を支援するための文書作成支援方法において、文字領域及び／又は画像領域を含む文書情報を記憶した記憶手段の中から所望の文書情報を選択し、該選択した文書情報を構成する画像領域及び／又は文字領域のレイアウトを認識するレイアウト認識ステップと、該認識したレイアウトを表現するデータ形式に前記文書情報を変換するデータ形式変換ステップとを有することを特徴としたものである。
【００１７】
請求項１２の発明は、請求項１乃至９のいずれか１に記載の文書作成支援装置としての機能をコンピュータに実行させるための、あるいは、請求項１０又は１１に記載の文書作成支援方法をコンピュータに実行させるためのプログラムである。
【００１８】
請求項１３の発明は、請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【００１９】
【発明の実施の形態】
図１は、本発明の一実施形態である文書作成支援装置の内部接続状態の一例を示すブロック図で、図中、１０は文書作成支援装置で、該文書作成支援装置１０は、ＣＰＵ１１，メモリ１２，バス１３，記憶装置１４，入力装置１５，表示装置１６，記録媒体１７，記録媒体読取装置１８，ネットワーク１９，通信インタフェイス（通信Ｉ／Ｆ）２０を有する。図１に示すように、文書作成支援装置１０は、例えばＰＣ（パーソナルコンピュータ）などのコンピュータであり、各種演算を行ない文書作成支援装置１０の各部を集中的に制御するＣＰＵ１１と、各種のＲＯＭやＲＡＭからなるメモリ１２等がバス１３で接続されている。
【００２０】
バス１３には、所定のインタフェイスを介して、ハードディスクなどの記憶装置１４と、マウスやキーボードなどで構成される入力装置１５と、ＬＣＤやＣＲＴなどの表示装置１６と、光ディスクなどの記録媒体１７を読み取る記録媒体読取装置１８とが接続され、また、インターネットなどのネットワーク１９と通信を行なう所定の通信Ｉ／Ｆ２０が接続されている。なお、記録媒体１７としては、ＣＤ（ＣＤ−ＲＯＭ，ＣＤ−ＲＷ，ＣＤ−Ｒなどを含む）や、ＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスク、各種メモリカードなどの各種方式のメディアを用いることができる。また、記録媒体読取装置１８は、具体的には記録媒体１７の種類に応じて光ディスクドライブ、光磁気ディスクドライブ、フレキシブルディスクドライブ、メモリカードドライブなどが用いられる。
【００２１】
記憶装置１４には、本発明の文書作成支援装置１０としての機能を実行するための文書作成支援プログラムが記憶されている。この文書作成支援プログラムは、記録媒体１７から記録媒体読取装置１８により読み取るか、あるいは、インターネットなどのネットワーク１９からダウンロードするなどして、記憶装置１４にインストールしたものである。このインストールにより文書作成支援装置１０は動作可能な状態となる。なお、この文書作成支援プログラムは、所定のＯＳ上で動作するものであってもよい。また、特定のアプリケーションソフトの一部をなすものであってもよい。このように本発明は、文書作成支援装置１０としての機能をコンピュータに実行させるためのプログラムとしての形態や、当該プログラムを記録した記録媒体としての形態をとることができる。
【００２２】
上記文書作成支援プログラムは、スキャナ等の読取装置により読み込んだ文書等のレイアウトを認識すると共に、その文書に含まれる文字や画像等の各構成要素を識別して取り込み、取り込んだ各構成要素を前記レイアウトを表現するデータ形式に変換し、変換したデータ形式に応じたアプリケーション上において各構成要素の再現、編集を可能とするものである。すなわち、この文書作成支援プログラムは、例えば、ワープロ、表計算、プレゼンテーション、名刺作成、カタログ作成などの各種アプリケーションにリンクされており、これらのアプリケーション上において、原稿に含まれる画像又は文字等の構成要素を当該原稿のレイアウトそのままに再現し、編集を行うことを可能とするものである。これにより、ユーザは、カタログやパンフレット等の各種書類や、名刺などを迅速且つ低コストで作成することができる。
【００２３】
ここで、レイアウト認識とは、文書又は画像データの中から、タイトル部分や、文章の段落、図、表、画像（写真含む）など、まとまった構成要素として見なせる単位で抽出し、その位置やサイズを求めると共に、各構成要素の種類（例えば、文字又は画像など）を認識し、更に関連する情報を抽出するもので、公知の技術により実現することができる。例えば、構成要素が文章部分であれば、文章を構成する各行の位置や長さ（幅）、高さ、方向、傾き、行に含まれる文字単位の位置や、大きさなども含み、構成要素が画像であれば、各画像の位置や長さ（幅）、高さ、傾きなどを含むものとする。
【００２４】
図２は、本発明の文書作成支援装置１０の構成例について説明するためのブロック図で、文書作成支援装置１０は、画像入力手段１０ａ，表示手段１０ｂ，操作入力手段１０ｃ，レイアウト認識手段１０ｄ，補正手段１０ｅ，データ形式変換手段１０ｆ，記憶部１０ｇを有し、スキャナ等の読取装置２１と接続可能とする。読取装置２１は、文字又は画像を含む文書情報が記録された原稿２２を走査して前記文書情報をイメージデータとして電子的に読み取るものとする。
【００２５】
画像入力手段１０ａは、文書作成支援装置１０に接続された読取装置２１により読み取った文書情報（但し、文書情報には画像領域及び／又は文字領域を含む）の入力を受け付ける。レイアウト認識手段１０ｄは、画像入力手段１０ａで受け付けた文書情報を構成する画像領域及び／又は文字領域のレイアウトを認識する。これら各構成要素のレイアウト情報を含む認識結果は記憶部１０ｇに記憶されるものとする。
【００２６】
また、補正手段１０ｅは、レイアウト認識手段１０ｄにより認識した結果を補正するもので、誤認識による不要な結果の一部又は全てを削除したり、認識領域の変更、追加する機能を有する。また、読み込んだ画像の向きが正しくない場合には反転や回転を行って画像補正をしたり、画素数を変更する機能を有するものとする。
【００２７】
また、データ形式変換手段１０ｆは、レイアウト認識手段１０ｄにより認識したレイアウトを表現するデータ形式に前記文書情報を変換する。これにより、例えば、ワープロ、表計算、プレゼンテーション、名刺作成、カタログ作成などの各種アプリケーション上において、原稿２２に含まれる画像領域又は文字領域等の構成要素を、原稿２２のレイアウトそのまま又は相似形に再現し、編集を行うことを可能とする。
【００２８】
ここで、別の実施形態として、レイアウト認識手段１０ｄは、読取装置２１により読み取った画像領域及び／又は文字領域データ以外に、記憶部１０ｇに記憶されている文書データの中から所望の文書データを選択し、選択した文書データを構成する画像領域又は文字領域データのレイアウトを認識するようにしてもよい。また、読み込み対象としては、例えば、カタログやパンフレット等の印刷物や、名刺を読取装置２１で読み込むことに加えて、既存のカタログ画像やパンフレット画像等を記憶部１０ｇに記憶しておけば、直接記憶部１０ｇから画像データ等を読み込むことができる。
【００２９】
以下、本発明の文書作成支援装置１０が有する各手段について詳細に説明する。
まず、レイアウトの認識を行う前に各種設定を行う。レイアウト認識手段１０ｄは、画面上に表示させた文書情報に対してレイアウト認識する範囲を指定する。但し、文書情報全体を認識する場合には範囲指定を行う必要はない。また、この範囲指定は、ユーザにより任意に指定が可能で、マウス等の入力手段により画面上に表示された文書情報の任意の範囲をドラッグすることで指定することができる。この際、指定された範囲は画面上において点線で囲まれる。このように指定した範囲内に含まれる構成要素に応じた領域を画像領域又は文字領域に分類して認識すると共に、その分類した領域が文字領域の場合、文字領域の位置，長さ，高さ，方向，傾きのいずれか複数を認識し、また、分類した領域が画像領域の場合、画像領域の位置，長さ，高さ，傾きのいずれか複数を認識することにより当該画像領域又は文字領域のレイアウト情報を取得する。また、この構成要素には直線を含めるようにしてもよい。
【００３０】
ここで、画像領域又は文字領域を認識する際に、例えば画像領域や写真を含む画像領域は画像ファイルとして認識され、文字領域はＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅａｄｅｒ）認識されたセルデータとして認識され、その認識結果がレイアウト情報と共に画面上に表示される。このようにＯＣＲ処理することで、画像領域と文字領域を分類することができる。ここで、認識した画像領域の画像は画像ファイルとしてトリミングして保存することができる。保存方法としては、例えば、認識結果の表示画面上で選択した画像を個別に保存する、認識結果の表示画面上の全ての画像を一括で保存するなどの方法がある。また、文字領域の文字についても同様に保存することができる。
【００３１】
レイアウト認識手段１０ｄは、文書情報全体又は文書情報に指定した範囲内に含まれる画像領域及び／又は文字領域のレイアウトを認識した結果、認識した画像領域及び／又は文字領域それぞれに応じた領域枠を画面上に表示すると共に、同一画面上に領域枠に応じたレイアウト情報を認識結果として表示することができる。この場合、画像領域，文字領域，直線領域の各構成要素に応じて領域表示の色、すなわち、前記領域枠の色又は領域枠内の領域の色を設定するようにしてもよく、これにより、画像の色と領域表示の色を区別しやすくなる。
【００３２】
また、レイアウト認識手段１０ｄは、文書情報全体又は文書情報に指定した範囲内に含まれる画像領域及び／又は文字領域のレイアウトを認識する際に、認識する領域の画素数が所定値以上の場合、その画素数を予め定めた画素数以下に低減してレイアウトを認識することができ、認識にかかる時間を短縮することができる。もちろん、画素数をそのままにして認識することも可能である。この場合、処理時間はかかるものの、高解像度での領域認識が可能となる。
【００３３】
また、レイアウト認識手段１０ｄは、文書情報全体又は文書情報に指定した範囲内に含まれる画像領域及び／又は文字領域のレイアウトを認識した結果、認識結果の画像領域又は文字領域それぞれにおいて上記文書情報の用紙サイズに対する面積比率を算出する。具体的には、例えば用紙サイズがＡ４の場合、このＡ４サイズに対する画像領域又は文字領域の面積比率を算出する（例えば、Ａ４サイズに対して１０％とする）。この際、画像領域及び／又は文字領域の大きさ（長さ×高さ）はレイアウトを認識したときにわかるので、この認識した領域の大きさに基づいて面積比率を算出することが可能となる。
【００３４】
データ形式変換手段１０ｆは、レイアウト認識手段１０ｄにより認識した認識結果を所定のアプリケーションのデータ形式に変換する際に、そのアプリケーションで使用する用紙サイズ，用紙の向きを少なくとも含む用紙形式を指定する。さらに、指定した用紙形式に対する前記画像領域及び／又は文字領域のサイズを前記算出した面積比率に基づいて調整し、サイズ調整した画像領域及び／又は文字領域を、上記認識結果の画像領域及び／又は文字領域のレイアウトを表現するデータ形式に変換して表示する。具体的には、例えば、認識結果の画像領域及び／又は文字領域がＡ４サイズの１０％の面積比率で且つ指定した用紙サイズがＢ５サイズである場合、このＢ５サイズに対して１０％の大きさに上記画像領域及び／又は文字領域を自動調整する。この際、画像領域及び／又は文字領域の長さ（幅）と高さ（縦と横の長さ）を同じ比率で調整するため、異なる用紙サイズにおいてもレイアウトを相似形に再現することができる。また、レイアウトする位置については、前述したレイアウト情報の位置をＡ４→Ｂ５の変倍率に応じて調整することでデータ変換後にレイアウトする位置を決定することができる。
【００３５】
また、上記データ形式変換時のサイズ調整に関して、例えば、Ａ４→Ｂ５の変倍率に応じて画像領域及び／又は文字領域の長さ（幅）と高さ（縦と横の長さ）、すなわち面積を変倍率に合わせてそれぞれ調整するようにしてもよい。この場合もレイアウトする位置については、前述したレイアウト情報の位置をＡ４→Ｂ５の変倍率に応じて調整することでデータ変換後にレイアウトする位置を決定することができる。この方法によっても、上記と同様の変換結果が得られることになる。
【００３６】
また、本文書作成支援装置１０は、データ形式変換手段１０ｆによりデータ形式を変換してレイアウトされた構成要素に対して、その構成要素の領域に応じて他の構成要素の領域サイズを調整し、レイアウトをそのままに差し替えることもできる。ユーザは、各構成要素を任意に差し替えて、編集することができるため、ユーザオリジナルの書類を容易に作成することができ、また、サイズやレイアウトの調整は適宜ユーザにより行うことができる。
【００３７】
図３は、本発明が適用される文書作成支援方法の一例を説明するためのフロー図である。本例は、図２に示した装置構成に基づいて説明するものとする。まず、ステップＳ１において、画像領域及び／又は文字領域からなる文書情報の読み込みを行う処理を選択する（以下、画像領域で代表するものとする）。この際、ユーザは、読み込み先が外部接続の読取装置２１なのか、文書作成支援装置１０が有する記憶部１０ｇなのかを選択し（ステップＳ２）、記憶部１０ｇを選択した場合（図中、記憶部の場合）、既に記憶部１０ｇに保存してある画像データから所望の画像データを読み込む（ステップＳ３）。上記ステップＳ２において、読取装置２１を選択した場合（図中、読取装置の場合）、読取装置２１（本例ではスキャナ）を利用して原稿２２を読み込む（ステップＳ４）。
【００３８】
上記ステップＳ３又はステップＳ４における読み込み処理後、読み込んだ画像データを画面上に表示し（ステップＳ５）、表示した画像データのレイアウトを認識する（ステップＳ６）。このレイアウト認識に関しては前述した方法により行うものとする。次に、レイアウトを認識した認識結果を補正し（ステップＳ７）、その認識結果をもとのレイアウト（原稿２２のレイアウト）のまま、指定のアプリケーションのデータ形式に変換する（ステップＳ８）。次に、ユーザは、データ形式を変換した画像データを、指定したアプリケーション上で表示、保存する（ステップＳ９）。
【００３９】
図４は、本発明が適用される文書作成支援方法の他の例について説明するための図で、図３に示したステップＳ６の処理について説明したサブフローである。
まず、ステップＳ１１において、画面上に表示された画像データのレイアウトを認識する処理を選択する。この際、認識する範囲が原稿２２全体なのか、原稿２２の部分なのかを選択し（ステップＳ１２）、原稿２２の部分の場合（図中、部分の場合）、画面上で認識したい部分を範囲指定する（ステップＳ１３）。上記ステップＳ１２において原稿２２全体の場合（図中、全体の場合）、ステップＳ１４に移行する。次に、ステップＳ１４において、画像データの認識レベルを設定する。この認識レベルとは、例えば、画像データの構成要素を認識する方向（文字の場合）や、２値画像レベルの設定などが含まれる。次に、原稿２２に指定した範囲（又は全体）の画像データを認識し、構成要素毎にレイアウト情報を画面上に表示する（ステップＳ１５）。
【００４０】
図５は、読取装置２１又は記憶部１０ｇから画像データを読み込むステップにおいて表示される画像データの選択画面の一例を示す図である。本例において、記憶部１０ｇに記憶されている画像データがサムネイル表示され、ユーザはこの中から所望の画像データを選択することができる。ここでは画像データ３１が選択されているものとする。尚、読取装置２１により原稿２２をイメージデータとして読み取るようにしてもよい。
【００４１】
図６は、読取装置２１又は記憶部１０ｇから画像を読み込むステップにおいて選択された画像データの表示画面例を示す図である。本例において、画面左側には選択画像（ここでは画像データ３１）が表示され、画面右側にはレイアウト認識を行った結果が認識結果３２として表示される。尚、ここではレイアウト認識を行っていないため、空白となっている。
【００４２】
図７は、レイアウト認識ステップにおいて表示される画面例を示す図である。図７（Ａ）において、ユーザは、画像データ３１に対してレイアウト認識させたい範囲をマウス等でドラッグして指定する（図中、点線部で囲まれた部分が指定範囲である）。この際、画像データ３１全体を認識する場合は、範囲指定する必要はない。さらに、範囲指定した後に、レイアウト認識を行った結果を認識結果３２に示す。図７（Ａ）に示すように、各構成要素について、属性（画像，文字，直線）、データ（画像データ，文字データ，直線データ）、文字方向（縦書き又は横書き）、用紙左端部からの左位置、用紙上端部からの上位置、幅（長さ）、高さを含むレイアウト情報が表示されている。
【００４３】
また、図７（Ｂ）に示すように、領域認識した結果、画像データ３１には、画像，文字，直線として認識された領域枠３１ａ，３１ｂ，３１ｃ，・・・が表示され、この領域枠３１ａ，３１ｂ，３１ｃ，・・・は、画面右側の認識結果３２の結果にそれぞれ対応するものとする。
【００４４】
図８は、認識結果の補正ステップにおいて表示される画面例を示す図である。
本例は、認識結果の補正ステップにおいて、画面表示の切り替えについて示したもので、表示方法として、例えば、「画像＋領域表示」、「画像表示」、「領域表示」などがあり、これらを必要に応じて切り替えることができる。図８（Ａ）は、「画像＋領域表示」を選択した場合の画面表示例で、画像３１ｄの上に認識領域（領域枠３１ｂ）が重なった状態で表示される。尚、領域枠３１ａ，３１ｃについても同様で文字及び／又は画像の上に重なって表示される。図８（Ｂ）は、「画像表示」を選択した場合の画面表示例で、認識領域（領域枠３１ｂ）は表示されずに画像３１ｄのみが表示される。尚、領域枠３１ａ，３１ｃについても同様で文字及び／又は画像の上には表示されず、文字及び／又は画像のみが画面表示される。また、図８（Ｃ）は、「領域表示」を選択した場合の画面表示例で、画像３１ｄは表示されずに認識領域（領域枠３１ｂ）のみが表示される。尚、領域枠３１ａ，３１ｃについても同様で文字及び／又は画像は表示されず、領域枠３１ａ，３１ｃのみが画面表示される。
【００４５】
図９は、他のアプリケーションを起動させて画像データ３１を表示させた画面例を示す図である。図９（Ａ）に示すように、他のアプリケーションを起動させる際に、ページ設定画面が表示される。ここでは用紙サイズにＡ４、用紙向きが縦に指定されている。図９（Ｂ）に示すように、図９（Ａ）に示すページ設定画面で指定された条件で所望のアプリケーション上において画像データ３１が表示される。このように、画像データ３１のレイアウトは、図６に示した画像データ３１のレイアウトと同じ状態、すなわち、本文書作成支援装置１０に画像データ３１を取り込んだ状態と同じレイアウトで表示される。
【００４６】
以上、本発明の文書作成支援装置における各機能を中心に各実施形態を説明してきたが、本発明は、文書作成支援装置における各ステップを実行する方法としても説明したように文書作成支援方法としての形態もとることができる。また、この各機能を有する文書作成支援装置と同様に、コンピュータに文書作成支援装置として機能させるためのプログラムとしての形態も、また、そのプログラムを記録した記録媒体としての形態も可能である。
【００４７】
本発明による文書作成支援の機能を実現するためのプログラムやデータを記憶した記録媒体の実施形態について説明する。記録媒体としては、具体的には、ＣＤ−ＲＯＭ（−Ｒ／−ＲＷ）、光磁気ディスク、ＤＶＤ−ＲＯＭ、ＦＤ、フラッシュメモリ、メモリカードや、メモリスティック及びその他各種ＲＯＭやＲＡＭ等が想定でき、これら記録媒体に上述した本発明の各実施形態の装置の機能をコンピュータに実行させ、文書作成支援の機能を実現するためのプログラムを記録して流通させることにより、当該機能の実現を容易にする。そしてコンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出すか、若しくは情報処理装置が備えている記憶媒体に当該プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に関わる文書作成支援の機能を実行することができる。
【００４８】
【発明の効果】
本発明によると、スキャナ等の読取装置により読み込んだ文書等のレイアウトを認識すると共に、その文書に含まれる文字や画像等の構成要素を識別して取り込み、取り込んだ各構成要素を前記レイアウトを表現するデータ形式に変換し、該変換したデータ形式に応じたアプリケーション上において各構成要素の再現、編集を可能とすることができる。また、これにより、ユーザは容易且つ迅速にカタログやパンフレット等の書類、名刺等を作成することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である文書作成支援装置の内部接続状態の一例を示すブロック図である。
【図２】本発明の文書作成支援装置の構成例について説明するためのブロック図である。
【図３】本発明が適用される文書作成支援方法の一例を説明するためのフロー図である。
【図４】本発明が適用される文書作成支援方法の他の例について説明するための図で、図３に示したステップＳ６の処理について説明したサブフローである。
【図５】読取装置又は記憶部から画像データを読み込むステップにおいて表示される画像データの選択画面の一例を示す図である。
【図６】読取装置又は記憶部から画像を読み込むステップにおいて選択された画像データの表示画面例を示す図である。
【図７】レイアウト認識ステップにおいて表示される画面例を示す図である。
【図８】認識結果の補正ステップにおいて表示される画面例を示す図である。
【図９】他のアプリケーションを起動させて画像データを表示させた画面例を示す図である。
【符号の説明】
１０…文書作成支援装置、１０ａ…画像入力手段、１０ｂ…表示手段、１０ｃ…操作入力手段、１０ｄ…レイアウト認識手段、１０ｅ…補正手段、１０ｆ…データ形式変換手段、１０ｇ…記憶部、１１…ＣＰＵ、１２…メモリ、１３…バス、１４…記憶装置、１５…入力装置、１６…表示装置、１７…記録媒体、１８…記録媒体読取装置、１９…ネットワーク、２０…通信Ｉ／Ｆ、２１…読取装置、２２…原稿、３１…画像データ、３１ａ，３１ｂ，３１ｃ…領域枠、３１ｄ…画像、３２…認識結果。
【図１】
2004258724.tif 000003
【図２】
2004258724.tif 000004
【図３】
2004258724.tif 000005
【図４】
2004258724.tif 000006
【図５】
2004258724.tif 000007
【図６】
2004258724.tif 000008
【図７】
2004258724.tif 000009
【図８】
2004258724.tif 000010
【図９】
2004258724.tif 000011