(57)【要約】【課題】文書画像をスキャンした画像に対して、再利用しやすく、文章、写真、図表などの構成要素を容易にレイアウト化する。【解決手段】画像編集装置は、画像入力部が原稿画像を入力し、プロセッサ部が、入力された画像を圧縮処理して画像ファイルとして記憶部に記憶し、この記憶部に記憶された画像ファイルについて圧縮の解凍を行ったのちレイアウト解析処理を行ってレイアウト情報を抽出し、このレイアウト解析処理で得られたレイアウト情報と既定のルールに基づいてレイアウトの再配列を行い、この再配列した情報およびその再配列前後のレイアウト情報も含めて画像情報をファイルにして記憶部に記憶する。【選択図】図１
2006262442.tif 000002
【特許請求の範囲】
【請求項１】
画像情報を入力する画像入力手段と、
この画像入力手段で入力された画像情報のレイアウト構成を解析してレイアウト情報を抽出するレイアウト解析手段と、
このレイアウト解析手段で抽出されたレイアウト情報と所定のルール情報とに基づいてレイアウトの再配列を行う再配列手段と、
この再配列手段で再配列された画像情報を所定のフォーマットのファイルまたはストリームとして出力する出力手段と、
を具備したことを特徴とする画像編集装置。
【請求項２】
画像情報を入力する画像入力手段と、
この画像入力手段で入力された画像情報のレイアウト構成を解析してレイアウト情報を抽出するレイアウト解析手段と、
このレイアウト解析手段で抽出されたレイアウト情報を上記画像情報にオーバレイするオーバレイ手段と、
このオーバレイ手段でオーバレイされた画像情報を表示する表示手段と、
この表示手段に表示されたオーバレイされた画像情報に対する編集操作や編集領域を指示する指示手段と、
この指示手段からの編集指示に応じてレイアウト情報を変更する変更手段と、
この変更手段で変更されたレイアウト情報と所定のルール情報とに基づいてレイアウトの再配列を行う再配列手段と、
この再配列手段で再配列された情報およびその再配列前後のレイアウト情報を含めた画像情報を所定のフォーマットのファイルまたはストリームとして出力する出力手段と、
を具備したことを特徴とする画像編集装置。
【請求項３】
画像を編集する画像編集方法であって、
入力された画像情報のレイアウト構成を解析してレイアウト情報を抽出し、
この抽出されたレイアウト情報と所定のルール情報とに基づいてレイアウトの再配列を行い、
この再配列された画像情報を所定のフォーマットのファイルまたはストリームとして出力するようにしたことを特徴とする画像編集方法。
【請求項４】
画像を編集する画像編集方法であって、
入力された画像情報のレイアウト構成を解析してレイアウト情報を抽出し、
この抽出されたレイアウト情報を上記画像情報にオーバレイし、
このオーバレイされた画像情報を表示し、
この表示されたオーバレイされた画像情報に対する編集操作や編集領域を指示し；
この編集指示に応じてレイアウト情報を変更し、
この変更されたレイアウト情報と所定のルール情報とに基づいてレイアウトの再配列を行い、
この再配列された情報およびその再配列前後のレイアウト情報を含めた画像情報を所定のフォーマットのファイルまたはストリームとして出力するようにしたことを特徴とする画像編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像のレイアウトの編集を行う画像編集装置と画像編集方法に関する。
【背景技術】
【０００２】
インターネット（ＷＷＷ）、ストレージ、コンピュータなどデジタル画像の伝送、蓄積、処理のインフラの急速な発展と普及により、従来は紙として扱っていた画像を電子文書として扱うことがますます便利になってきた。
【０００３】
電子文書にすることにより、文書の伝送が高速かつ容易にできる、蓄積・保存に場所をとらない、紙の経時劣化の影響を受けない、文書の検索が高速かつ容易にできる、文書の全部または一部を利用して新たな文書を作成することができる、などの利点がある。
【０００４】
このような電子文書の多くは、ワードプロセッサなど各種文書作成ソフトウエアとパーソナルコンピュータなどの汎用計算機により生成されるが、既存の紙の文書を電子文書に変換する必要もある。
【０００５】
紙文書を電子文書に変換する方法として、スキャナなどの画像入力装置で読取る方法がある。読取った画像のファイル形式として、ＢＭＰやＴＩＦＦなどのビットマップ形式やこれらをＪＰＥＧなどで圧縮した形式がよく用いられる。
【０００６】
しかし、ビットマップ形式では、図形や文字や写真などの領域の違いを表すレイアウト情報や文字コード情報が含まれておらず、読取った文書を検索したり、文書の一部を再利用したり、内容を並べ替えたり、一部削除したりする編集処理が行いにくい。
【０００７】
また、一般にビットマップ形式では高画質のまま高圧縮することが難しいため、ファイルサイズが膨大となってしまい、蓄積や伝送の用途でも時間やコストがかかるという問題があった。
【０００８】
また、このような文書画像を再利用、すなわちその画像の一部を切り取って、他の文書の作成に利用する場合などは煩雑であった。
【０００９】
例えば、文書画像中の特定の領域を切り出す場合にその領域の座標値を指定するか、外接矩形枠をポインティングデバイスなどで指示する必要があり、１つの領域を指定するのに複数（通常２組以上）の座標値をキーボードから入力したり、領域の外接矩形の左上と右下など少なくとも２つ以上の点を指定せねばならず操作が煩雑となっていた。
【００１０】
また、多ページにわたる文書画像に、図表、写真、文字とが入り混じって含まれる場合、これらを探して切り出すことも煩雑であった。
【００１１】
通常の文書では文章の間に図表や写真が挿入されているが、数十ページにわたる文書では写真や図表を探すのが煩雑である。また、写真や図表により、文章が分離されるので、ＯＣＲなどにより文章部分をコード化する場合に、分断されてしまい、手作業でつなげるなどの煩雑さがあった。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
この発明の目的は、文書画像をスキャンした画像に対して、再利用しやすく、文章、写真、図表などの構成要素を容易にレイアウト化することのできる画像編集装置と画像編集方法を提供することである。
【課題を解決するための手段】
【００１３】
この発明の画像編集装置は、画像情報を入力する画像入力手段と、この画像入力手段で入力された画像情報のレイアウト構成を解析してレイアウト情報を抽出するレイアウト解析手段と、このレイアウト解析手段で抽出されたレイアウト情報と所定のルール情報とに基づいてレイアウトの再配列を行う再配列手段と、この再配列手段で再配列された画像情報を所定のフォーマットのファイルまたはストリームとして出力する出力手段とから構成されている。
【００１４】
また、この発明の画像編集方法は、画像を編集する画像編集方法であって、入力された画像情報のレイアウト構成を解析してレイアウト情報を抽出し、この抽出されたレイアウト情報と所定のルール情報とに基づいてレイアウトの再配列を行い、この再配列された画像情報を所定のフォーマットのファイルまたはストリームとして出力するようにしたことを特徴とする。
【発明の効果】
【００１５】
本発明の画像編集装置は、文書画像をスキャンした画像に対して、再利用しやすく、文章、写真、図表などの構成要素を容易にレイアウト化することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して、この発明の実施の形態について詳細に説明する。
【００１７】
本画像編集装置は、スキャナなどで読取った文書画像のレイアウト構成を解析し、レイアウト内容を自動的に再配列し、これを編集前の情報も含めてファイルにして出力するものである。
【００１８】
図１は、この発明の第１実施例に係る画像編集装置の概略構成を示すものである。すなわち、画像編集装置は、画像入力部１０１、記憶部１０２、プロセッサ部１０３、及びネットワークインタフェース部１０４とから構成されている。
【００１９】
画像入力部１０１は、文書画像を読み取って電気的な画像情報として出力する。
【００２０】
記憶部１０２は、画像入力部１０１で読取った画像ファイルや、詳しくは後述する編集した画像ファイルを記憶する。
【００２１】
プロセッサ部１０３は、画像ファイルの変換や一連の動作や処理のコントロールなどを行う。
【００２２】
ネットワークインタフェース部１０４は、図示しないネットワークを通して外部と画像ファイルなどのやりとりを行う。
【００２３】
次に、このような構成において、第１実施例の画像編集装置による画像編集処理を図２のフローチャートを参照して説明する。
【００２４】
まず、ステップ１で画像入力部１０１は、原稿画像を入力する。画像入力部１０１から入力された画像は、プロセッサ部１０３でＪＰＥＧなどの圧縮処理が施されて記憶部１０２に記憶される。
【００２５】
本実施例では、記憶部１０２の容量や外部とのファイルのやり取りの容易性を考慮して標準的なＪＰＥＧ圧縮処理を適用しているが、これに限るものではなく、ＪＰＥＧ以外の圧縮方式を用いてもよく、圧縮しないで記憶してもよい。
【００２６】
ステップ２でプロセッサ部１０３は、記憶部１０２に記憶された画像ファイルについて圧縮の解凍を行ったのち、レイアウト解析処理を行ってレイアウト情報を抽出する。
【００２７】
このレイアウト解析について説明する。
【００２８】
図３は原稿画像であり、文字領域３０１，３０２，３０３、図表（グラフ）領域３０４、写真領域３０５とから構成されている。
【００２９】
レイアウト解析処理では、このような画像に対して、領域の分離と領域の種別の決定を行う。
【００３０】
レイアウト解析の方法は、例えば、登録特許Ｐ３５０４０５４号に開示されている。
【００３１】
図４は、レイアウト解析結果の例を示すものである。文字、図表、写真などの各領域が矩形領域４０１，４０２，４０３，４０４，４０５として表される。図４は結果を模式的に示すものであり、実際には図５に示すように各矩形領域の座標、サイズと領域の種別を示す情報、各領域の画像を表す情報などの集合として記述される。さらに、抽出された各領域について順序づけを行う。
【００３２】
この例では文字領域が３つあるので、この３つの領域を座標位置によって、順位づけを行う。ここではもっとも上にあるものを上位の順位、下にあるものを下位の順位とし、文字領域３０１、３０２、３０３の順位づけにする。これはこの例に限るものでなく、ルールの記述により、下から順でもよいし、左から順でもよい。また、段組原稿などの場合は段組に応じた順序づけにしてもよい。
【００３３】
ここで、順位づけのルールについて説明する。
【００３４】
図６は、文字領域の座標例を示すものである。
【００３５】
図６に示すように、文字領域１における外接矩形の左上角の座標を（Ｌ１，Ｕ１）、右下角の座標を（Ｒ１，Ｄ１）とする。同様に、文字領域２における外接矩形の左上角および右下角の座標をそれぞれ（Ｌ２，Ｕ２）、（Ｒ２，Ｄ２）とする。座標値はＹ軸（縦）は下の方ほど値が大きくなり、Ｘ軸（横）は右の方ほど値が大きくなるとする。
【００３６】
図７は、ルールの具体的な例を示すものである。
【００３７】
図７に示すルールを上段より順に評価し、最初に満たした条件に応じて右欄に書かれている領域を上位の領域とする。この領域の順序づけを各文字領域について順次行って全文字領域の順位付けを行う。続いて、同様に図表領域、写真領域の順位づけを行い、文字領域、図表領域、写真領域の順に総合的な順位づけを行う。
【００３８】
そこで、図３、図４のレイアウトに対する順位は、文字領域３０１、文字領域３０２、文字領域３０３、図表領域３０４、写真領域３０５となる。
【００３９】
ステップ３でプロセッサ部１０３は、レイアウト解析処理で得られたレイアウト情報と既定のルールに基づいてレイアウトの再配列を行う。
【００４０】
例えば、文字領域をまず上から順に並べ、その後、図表領域、写真領域を配置する。並べ方のルールとしては、例えば、まず１番目の領域をページの左上に配置する。そして、２番目の領域の横サイズ（Ｒ２−Ｌ２）と１番目の領域の横サイズの和が、ページの有効横サイズより小さければ２番目の領域を１番目の領域の右側に配置し、大きければ２番目の領域を１番目の領域の下に左詰めにて配置する。同様に、このような配置を繰り返す
。実際には、画像を動かすのではなく、配置先の座標値を記憶しておけばよい。
【００４１】
図８は、図３に示した画像を再配列した結果の例を示すものである。図８において、文字領域３０１が最上段左側に配置され、文字領域３０２が最上段右側に配置され、文字領域３０３が２段目に配置され、図表領域３０４が３段目左側に配置され、写真領域３０５が３段目右側に配置される。
【００４２】
ステップ４でプロセッサ部１０３は、これらの再配列した情報およびその再配列前後のレイアウト情報も含めて画像情報をファイルにして記憶部１０２に記憶する。記憶のさせ方としては、再配列情報からビットマップ画像を再構成し、この画像と再配列前後のレイアウト情報とを記憶するようにしても良く、各領域の画像情報と再配列前後のレイアウト情報とを記憶するようにしてもよい。
【００４３】
これにより、ユーザの意図に応じた配列に簡単な操作で変更することができる。
【００４４】
以上説明したように上記第１実施例によれば、画像入力部で読取った画像について自動的にレイアウトの再配列を行うことができる。これにより、文字領域だけをまとめることができ、文字領域が連続となるので文字領域の抜き出しやＯＣＲなどによるコード化の作業が容易になる。
【００４５】
また、図表領域や写真領域などが文章の後部にまとめられるため、これらを探して再利用をする場合にも探索が容易にできる。
【００４６】
次に、第２実施例について説明する。
【００４７】
図９は、第２実施例に係る画像編集装置の概略構成を示すものである。すなわち、画像編集装置は、画像入力部１０１、記憶部１０２、プロセッサ部１０３、ネットワークインタフェース部１０４、画像表示部７０４、及び指示部７０５とから構成されている。第１実施例と同一箇所には同一符号を付して説明を省略する。
【００４８】
画像表示部７０４は、記憶部１０２に記憶された画像や編集結果を表示する。
【００４９】
指示部７０５は、ユーザからの画像に対する編集の種別を入力したり、画像表示部７０４と連携して編集領域の指定を行うものである。
【００５０】
次に、このような構成において、第２実施例の画像編集装置による画像編集処理を図１０のフローチャートを参照して説明する。
【００５１】
まず、ステップ１１で画像入力部１０１は、原稿画像を入力する。画像入力部１０１から入力された画像は、プロセッサ部１０３でＪＰＥＧなどの圧縮処理が施されて記憶部１０２に記憶される。
【００５２】
ステップ１２でプロセッサ部１０３は、記憶部１０２に記憶された画像ファイルについて圧縮の解凍を行ったのち、レイアウト解析処理を行ってレイアウト情報を抽出する。
【００５３】
ステップ１３でプロセッサ部１０３は、レイアウト情報を原稿画像にオーバレイする。本実施例では、レイアウト解析で得られた矩形の領域情報より矩形の外枠を表す線を原稿画像上にオーバレイした画像を作成する。これは、次のステップでレイアウト情報を表示装置に表示し、ユーザにレイアウト解析の結果を確認させるためのものである。このため、オーバレイする線分は原稿画像上ではっきりと確認できることが好ましい。
【００５４】
従って、オーバレイの方法としては、特定の色の線を原稿画像の上に上書きしても良く、原稿画像の対応画素の画素値とＸＯＲをとるなどの方法でも良い。また、原稿画像の平均的な濃度情報を求め、平均濃度が薄い場合は濃い色の線を、平均濃度が高い場合は薄い色の線をオーバレイしても良い。
【００５５】
ステップ１４でプロセッサ部１０３は、オーバレイした画像を画像表示部７０４に表示する。
【００５６】
ステップ１５でプロセッサ部１０３は、ユーザが指示部７０４から入力したコマンドや領域情報に応じて、レイアウト情報の変更を行う。例えば、ステップ１４でオーバレイされた画像情報を見て、ユーザがレイアウト情報の修正を行う場合、ユーザは、本ステップでレイアウト情報の修正を指示部７０５から指示する。レイアウト情報の修正としては、領域の位置やサイズの変更、領域の属性の変更、領域の削除、新規領域の追加、２つの領域の統合（マージ）などがある。
【００５７】
本実施例ではこれらのコマンドの入力を以下のように行う。
【００５８】
まず、画像表示部７０４におけるカーソル表示に連動した指示部７０５のポイントデバイス（パソコンのマウス等）で領域の枠線が指定され、マウスのクリック動作などで領域が指定される。そして、画像表示部７０４に前記の修正処理を選択できるポップダウンメニューが表示され、同様にポイントデバイスで修正処理が選択される。
【００５９】
ステップ１５でレイアウト情報の修正が指示された際、プロセッサ部１０３は、その修正したレイアウト情報に応じて再度ステップ１３，１４，１５を繰り返す。そして、ステップ１５でユーザが編集終了のコマンドを発した場合に、このループを抜けてステップ１６に進む。
【００６０】
ここで、ステップ１３〜１５の目的について簡単に説明する。
【００６１】
ステップ１２のレイアウト解析は自動的な処理であるため、その処理結果であるレイアウト情報に誤りがあったり、ユーザの期待と違った結果である場合がある。そのような誤りや違いがあった場合に修正するのがステップ１３〜１５の目的である。
【００６２】
図１１，１２は、レイアウト情報とその修正例を示すものである。
【００６３】
図１１がレイアウト解析による処理結果であり、図１２が修正結果の例である。図１１に示す領域９０１と領域９０２は１つの文字領域が２つの領域と認識されているが、領域９０１と領域９０２をマージすることにより図１２に示すように１つの領域９０５に結合される。また、図１１に示す領域９０３は中央のごみを１つの領域と認識しているが、これを手動で削除することにより領域９０３を消すことができる。また、図１１に示す領域９０４は図表領域と写真領域とが１つの領域と認識された例であるが、これらを分離修正することにより写真領域９０６と図表領域９０７とに分けることができる。
【００６４】
続いて、ステップ１６でプロセッサ部１０３は、既定のルールとステップ１５までの修正結果のレイアウト情報とにより再配列を行う。
【００６５】
ステップ１７でプロセッサ部１０３は、この再配列したレイアウト情報に基づいて再度オーバレイ画像を画像表示部７０４表示し、ステップ１３〜１５と同様にユーザからの再配列の修正を行う。
【００６６】
ステップ１８でプロセッサ部１０３は、これらの再配列した情報およびその再配列前後のレイアウト情報も含めて画像情報をファイルにして記憶部１０２に記憶する。
【００６７】
以上説明したように上記第２実施例によれば、レイアウトの再配列を自動的に行うことにより、電子化した文書画像の編集や再利用が容易になる。
【００６８】
また、原稿画像の領域の配置を手動で対話的に修正可能なため、再配列の結果がユーザの期待と異なる場合にも簡単な操作で修正が可能である。
【００６９】
また、レイアウト解析の結果に誤りやユーザの期待とずれた結果がある場合にも修正可能である。
【００７０】
また、レイアウト解析した結果をオーバレイ表示して修正を行うことにより、座標入力や矩形エリアの入力を行う必要がなく、簡単な操作で修正を行うことが可能である。
【００７１】
また、再配列前後の情報もファイル中に保存されているため、元の原稿画像と同様のレイアウト画像も容易に復元することができる。
【００７２】
なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【００７３】
【図１】第１実施例に係る画像編集装置の概略構成を示すブロック図。
【図２】第１実施例の画像編集処理を説明するためのフローチャート。
【図３】原稿画像の例を示す図。
【図４】レイアウト解析結果の例を示す図。
【図５】レイアウトの記述例を示す図。
【図６】文字領域の座標例を示す図。
【図７】ルールの具体的な例を示す図。
【図８】画像を再配列した結果の例を示す図。
【図９】第２実施例に係る画像編集装置の概略構成を示すブロック図。
【図１０】第２実施例の画像編集処理を説明するためのフローチャート。
【図１１】レイアウト解析による処理結果を示す図。
【図１２】修正結果の例を示す図。
【符号の説明】
【００７４】
１０１…画像入力部、１０２…記憶部、１０３…プロセッサ部、１０４…ネットワークインタフェース部
【図１】
2006262442.tif 000003
【図２】
2006262442.tif 000004
【図３】
2006262442.tif 000005
【図４】
2006262442.tif 000006
【図５】
2006262442.tif 000007
【図６】
2006262442.tif 000008
【図７】
2006262442.tif 000009
【図８】
2006262442.tif 000010
【図９】
2006262442.tif 000011
【図１０】
2006262442.tif 000012
【図１１】
2006262442.tif 000013
【図１２】
2006262442.tif 000014