(57)【要約】【課題】文書画像からオブジェクトを抽出し、そのオブジェクトの縮小画像を用いて文書の編集をすることができるようにした画像編集システムを提供する。【解決手段】画像編集システムの画像記憶手段は分割された領域の画像と編集用画像に対応付けられた縮小画像とを記憶し、縮小画像表示手段は画像記憶手段によって記憶されている編集用画像に対応付けられた縮小画像を表示し、文書表示手段は編集の対象である文書を表示し、移動画像表示手段は縮小画像表示手段によって表示されている縮小画像を選択し、操作者による移動操作に連動して該縮小画像を移動させながら表示し、画像複写手段は文書表示手段によって表示されている文書に、操作者により縮小画像表示手段によって表示されている縮小画像を複写することが指定された場合に、移動画像表示手段によって表示されている縮小画像に対応する画像記憶手段によって記憶されている領域画像を複写する。【選択図】図１
2008060778.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段と、
前記画像入力手段によって入力された画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割された領域の画像を縮小する画像縮小手段と、
前記画像縮小手段によって縮小された画像を編集用画像に対応付ける編集用画像対応手段と、
前記領域分割手段によって分割された領域の画像と該画像に対応する前記編集用画像対応手段によって編集用画像に対応付けられた縮小画像とを記憶する画像記憶手段と、
前記画像記憶手段によって記憶されている編集用画像に対応付けられた縮小画像を表示する縮小画像表示手段と、
編集の対象である文書を表示する文書表示手段と、
前記縮小画像表示手段によって表示されている縮小画像を選択し、操作者による移動操作に連動して該縮小画像を移動させながら表示する移動画像表示手段と、
前記文書表示手段によって表示されている文書に、操作者により前記縮小画像表示手段によって表示されている縮小画像を複写することが指定された場合に、前記移動画像表示手段によって表示されている縮小画像に対応する前記画像記憶手段によって記憶されている領域画像を複写する画像複写手段
を具備することを特徴とする画像編集システム。
【請求項２】
画像を入力する画像入力手段と、
前記画像入力手段によって入力された画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割された領域の画像を縮小する画像縮小手段と、
前記画像縮小手段によって縮小された画像を編集用画像に対応付ける編集用画像対応手段と、
前記領域分割手段によって分割された領域の画像と該画像と対応する前記編集用画像対応手段によって編集用画像に対応付けられた縮小画像とを記憶する画像記憶手段
を具備することを特徴とする画像処理システム。
【請求項３】
分割された領域の画像と、該画像に対応しており、編集用画像に対応付けられた縮小画像とを記憶する画像記憶手段と、
前記画像記憶手段によって記憶されている編集用画像に対応付けられた縮小画像を表示する縮小画像表示手段と、
編集の対象である文書を表示する文書表示手段と、
前記縮小画像表示手段によって表示されている縮小画像を選択し、操作者による移動操作に連動して該縮小画像を移動させながら表示する移動画像表示手段と、
前記文書表示手段によって表示されている文書に、操作者により前記縮小画像表示手段によって表示されている縮小画像を複写することが指定された場合に、前記移動画像表示手段によって表示されている縮小画像に対応する前記画像記憶手段によって記憶されている領域画像を複写する画像複写手段
を具備することを特徴とする画像編集システム。
【請求項４】
前記領域分割手段は、分割した領域の画像をさらに階層的に分割し、
前記縮小画像表示手段によって表示されている縮小画像を選択する場合は、前記階層的に分割された領域の画像を選択できる
ことを特徴とする請求項１に記載の画像編集システム。
【請求項５】
前記移動画像表示手段によって表示される縮小画像は、該縮小画像の縮小率に応じて階層的に分割された画像の階層のレベルを設定する
ことを特徴とする請求項４に記載の画像編集システム。
【請求項６】
コンピュータに、
画像を入力する画像入力機能と、
前記画像入力機能によって入力された画像を領域に分割する領域分割機能と、
前記領域分割機能によって分割された領域の画像を縮小する画像縮小機能と、
前記画像縮小機能によって縮小された画像を編集用画像に対応付ける編集用画像対応機能と、
前記領域分割機能によって分割された領域の画像と該画像に対応する前記編集用画像対応機能によって編集用画像に対応付けられた縮小画像とを記憶する画像記憶機能と、
前記画像記憶機能によって記憶されている編集用画像に対応付けられた縮小画像を表示する縮小画像表示機能と、
編集の対象である文書を表示する文書表示機能と、
前記縮小画像表示機能によって表示されている縮小画像を選択し、操作者による移動操作に連動して該縮小画像を移動させながら表示する移動画像表示機能と、
前記文書表示機能によって表示されている文書に、操作者により前記縮小画像表示機能によって表示されている縮小画像を複写することが指定された場合に、前記移動画像表示機能によって表示されている縮小画像に対応する前記画像記憶機能によって記憶されている領域画像を複写する画像複写機能
を実現させることを特徴とする画像編集プログラム。
【請求項７】
コンピュータに、
画像を入力する画像入力機能と、
前記画像入力機能によって入力された画像を領域に分割する領域分割機能と、
前記領域分割機能によって分割された領域の画像を縮小する画像縮小機能と、
前記画像縮小機能によって縮小された画像を編集用画像に対応付ける編集用画像対応機能と、
前記領域分割機能によって分割された領域の画像と該画像と対応する前記編集用画像対応機能によって編集用画像に対応付けられた縮小画像とを記憶する画像記憶機能
を実現させることを特徴とする画像処理プログラム。
【請求項８】
コンピュータに、
分割された領域の画像と、該画像に対応しており、編集用画像に対応付けられた縮小画像とを記憶する画像記憶機能と、
前記画像記憶機能によって記憶されている編集用画像に対応付けられた縮小画像を表示する縮小画像表示機能と、
編集の対象である文書を表示する文書表示機能と、
前記縮小画像表示機能によって表示されている縮小画像を選択し、操作者による移動操作に連動して該縮小画像を移動させながら表示する移動画像表示機能と、
前記文書表示機能によって表示されている文書に、操作者により前記縮小画像表示機能によって表示されている縮小画像を複写することが指定された場合に、前記移動画像表示機能によって表示されている縮小画像に対応する前記画像記憶機能によって記憶されている領域画像を複写する画像複写機能
を実現させることを特徴とする画像編集プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像編集システム、画像処理システム、画像編集プログラムおよび画像処理プログラムに関する。
【背景技術】
【０００２】
近年、電子情報からなる文書の編集に関する技術として、他の文書から必要とする電子情報を参照あるいはコピーしてきて、目的とする文書を作成することが行われている。
一方、そのような文書の中には、さまざま特性を有している部品（領域）がある。例えば、文字からなる文字領域、写真からなる写真領域、ベクトル画像からなる図形領域等である。このように様々な属性を有している領域を含めて編集することが必要である。
これらに関する技術として、例えば、特許文献１には、画像中の必要な部分に用途に応じた処理を容易に実行させることを目的として、画像編集プログラムは、画像の入力を受付けるステップと、入力された画像から属性（写真属性、図形属性、文字属性）が同じ領域からなる部分画像を抽出するステップと、抽出された部分画像を縮小したサムネイルを表示するステップと、用途に応じた処理が予め関連付けられた複数の処理指定領域を表示するステップと、サムネイルを、処理指定領域に割付ける指示を受付けるステップと、サムネイルに対応する部分画像に、サムネイルが割付けられた処理指定領域に関連付けられたファクシミリ送信処理を実行するステップとをコンピュータに実行させることが開示されている。
【特許文献１】特開２００４−２４０６７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は、このような背景技術の状況の中でなされたもので、文書画像から領域（以下、オブジェクトともいう）を抽出し、そのオブジェクトの縮小画像を用いて文書の編集をすることができるようにした画像編集システム、画像処理システム、画像編集プログラムおよび画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００４】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
［１］  画像を入力する画像入力手段と、
前記画像入力手段によって入力された画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割された領域の画像を縮小する画像縮小手段と、
前記画像縮小手段によって縮小された画像を編集用画像に対応付ける編集用画像対応手段と、
前記領域分割手段によって分割された領域の画像と該画像に対応する前記編集用画像対応手段によって編集用画像に対応付けられた縮小画像とを記憶する画像記憶手段と、
前記画像記憶手段によって記憶されている編集用画像に対応付けられた縮小画像を表示する縮小画像表示手段と、
編集の対象である文書を表示する文書表示手段と、
前記縮小画像表示手段によって表示されている縮小画像を選択し、操作者による移動操作に連動して該縮小画像を移動させながら表示する移動画像表示手段と、
前記文書表示手段によって表示されている文書に、操作者により前記縮小画像表示手段によって表示されている縮小画像を複写することが指定された場合に、前記移動画像表示手段によって表示されている縮小画像に対応する前記画像記憶手段によって記憶されている領域画像を複写する画像複写手段
を具備することを特徴とする画像編集システム。
【０００５】
［２］  画像を入力する画像入力手段と、
前記画像入力手段によって入力された画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割された領域の画像を縮小する画像縮小手段と、
前記画像縮小手段によって縮小された画像を編集用画像に対応付ける編集用画像対応手段と、
前記領域分割手段によって分割された領域の画像と該画像と対応する前記編集用画像対応手段によって編集用画像に対応付けられた縮小画像とを記憶する画像記憶手段
を具備することを特徴とする画像処理システム。
【０００６】
［３］  分割された領域の画像と、該画像に対応しており、編集用画像に対応付けられた縮小画像とを記憶する画像記憶手段と、
前記画像記憶手段によって記憶されている編集用画像に対応付けられた縮小画像を表示する縮小画像表示手段と、
編集の対象である文書を表示する文書表示手段と、
前記縮小画像表示手段によって表示されている縮小画像を選択し、操作者による移動操作に連動して該縮小画像を移動させながら表示する移動画像表示手段と、
前記文書表示手段によって表示されている文書に、操作者により前記縮小画像表示手段によって表示されている縮小画像を複写することが指定された場合に、前記移動画像表示手段によって表示されている縮小画像に対応する前記画像記憶手段によって記憶されている領域画像を複写する画像複写手段
を具備することを特徴とする画像編集システム。
【０００７】
［４］  前記領域分割手段は、分割した領域の画像をさらに階層的に分割し、
前記縮小画像表示手段によって表示されている縮小画像を選択する場合は、前記階層的に分割された領域の画像を選択できる
ことを特徴とする［１］に記載の画像編集システム。
【０００８】
［５］  前記移動画像表示手段によって表示される縮小画像は、該縮小画像の縮小率に応じて階層的に分割された画像の階層のレベルを設定する
ことを特徴とする［４］に記載の画像編集システム。
【０００９】
［６］  コンピュータに、
画像を入力する画像入力機能と、
前記画像入力機能によって入力された画像を領域に分割する領域分割機能と、
前記領域分割機能によって分割された領域の画像を縮小する画像縮小機能と、
前記画像縮小機能によって縮小された画像を編集用画像に対応付ける編集用画像対応機能と、
前記領域分割機能によって分割された領域の画像と該画像に対応する前記編集用画像対応機能によって編集用画像に対応付けられた縮小画像とを記憶する画像記憶機能と、
前記画像記憶機能によって記憶されている編集用画像に対応付けられた縮小画像を表示する縮小画像表示機能と、
編集の対象である文書を表示する文書表示機能と、
前記縮小画像表示機能によって表示されている縮小画像を選択し、操作者による移動操作に連動して該縮小画像を移動させながら表示する移動画像表示機能と、
前記文書表示機能によって表示されている文書に、操作者により前記縮小画像表示機能によって表示されている縮小画像を複写することが指定された場合に、前記移動画像表示機能によって表示されている縮小画像に対応する前記画像記憶機能によって記憶されている領域画像を複写する画像複写機能
を実現させることを特徴とする画像編集プログラム。
【００１０】
［７］  コンピュータに、
画像を入力する画像入力機能と、
前記画像入力機能によって入力された画像を領域に分割する領域分割機能と、
前記領域分割機能によって分割された領域の画像を縮小する画像縮小機能と、
前記画像縮小機能によって縮小された画像を編集用画像に対応付ける編集用画像対応機能と、
前記領域分割機能によって分割された領域の画像と該画像と対応する前記編集用画像対応機能によって編集用画像に対応付けられた縮小画像とを記憶する画像記憶機能
を実現させることを特徴とする画像処理プログラム。
【００１１】
［８］  コンピュータに、
分割された領域の画像と、該画像に対応しており、編集用画像に対応付けられた縮小画像とを記憶する画像記憶機能と、
前記画像記憶機能によって記憶されている編集用画像に対応付けられた縮小画像を表示する縮小画像表示機能と、
編集の対象である文書を表示する文書表示機能と、
前記縮小画像表示機能によって表示されている縮小画像を選択し、操作者による移動操作に連動して該縮小画像を移動させながら表示する移動画像表示機能と、
前記文書表示機能によって表示されている文書に、操作者により前記縮小画像表示機能によって表示されている縮小画像を複写することが指定された場合に、前記移動画像表示機能によって表示されている縮小画像に対応する前記画像記憶機能によって記憶されている領域画像を複写する画像複写機能
を実現させることを特徴とする画像編集プログラム。
【発明の効果】
【００１２】
本発明にかかる画像編集システム、画像処理システム、画像編集プログラムおよび画像処理プログラムによれば、本構成を有していない場合に比較して、文書画像からオブジェクトを抽出し、そのオブジェクトの縮小画像を用いて文書の編集をすることができる。
【発明を実施するための最良の形態】
【００１３】
まず、本実施の形態の理解を容易にするために、本実施の形態の概要を説明する。
本実施の形態は、文書画像からオブジェクト分割を行い、オブジェクト単位の編集を編集用の縮小画像（例えば、アイコン）と実物大に表示されている文書とで行うものである。
文書の編集を行う際に用いられる文書編集アプリケーションでは、複数の文書を用いて編集を行おうとして、複数文書を表示させると、同じ縮小率で表示してしまう。これでは、複数のページ中から必要なオブジェクトを操作者（以下、ユーザともいう）が選択し、合成する場合に、文書双方の画面が大きくなり、時には重なり合うために作業がしにくくなり、編集効率が低くなってしまう。また、アイコンを用いての編集は、合成する時に、オブジェクトの位置決定において、適切な位置への配置や、微妙な調整を行うことができない。これらの課題を本実施の形態は解決するものである。
【００１４】
以下、図面に基づき本発明の好適な一実施の形態を説明する。
各図は一実施の形態を示している。図１は、本実施の形態の概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはプログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、プログラム、システムおよび方法の説明をも兼ねている。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散または並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続を含む。
また、システムとは、複数のコンピュータ、ハードウェア、装置等がネットワーク等で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。
以下、編集用画像として、ユーザインタフェースに用いられるアイコンを主に例示して説明する。
【００１５】
本実施の形態である画像編集システム、画像処理システムは、図１に示すように、画像入力モジュール１０１、オブジェクト分割モジュール１０３、オブジェクト縮小モジュール１０５、アイコン対応生成モジュール１０７、素材ＤＢ１０９、素材表示モジュール１１１、編集文書表示モジュール１１３、ドラッグ画像表示モジュール１１５、編集モジュール１１７を備えている。
画像入力モジュール１０１は、図１に示すように、オブジェクト分割モジュール１０３と接続されており、システムへ画像を入力する。より具体的には、文書をデジタル画像として入力するものにスキャナ、ファックス等がある。また、既に入力した画像を入力するものとして、文書データベース等の記憶装置からの読み出しモジュール、通信回線を介して、他のシステムから受信する受信モジュール等が該当する。
入力した画像は、主に編集のための素材として用いられるものである。入力する画像は、１ページだけでもよく、２ページ以上の複数ページであってもよい。
【００１６】
オブジェクト分割モジュール１０３は、図１に示すように、画像入力モジュール１０１、オブジェクト縮小モジュール１０５と接続されており、画像入力モジュール１０１によって入力された画像を領域に分割する。そして、分割した領域の画像をさらに階層的に分割してもよい。
オブジェクト縮小モジュール１０５は、図１に示すように、オブジェクト分割モジュール１０３、アイコン対応生成モジュール１０７と接続されており、オブジェクト分割モジュール１０３によって分割された領域の画像を縮小する。
アイコン対応生成モジュール１０７は、図１に示すように、オブジェクト縮小モジュール１０５、素材ＤＢ１０９と接続されており、オブジェクト縮小モジュール１０５によって縮小された画像を編集用画像に対応付ける。
素材ＤＢ１０９は、図１に示すように、アイコン対応生成モジュール１０７、素材表示モジュール１１１と接続されており、オブジェクト分割モジュール１０３によって分割された領域の画像と該画像に対応するアイコン対応生成モジュール１０７によって編集用画像に対応付けられた縮小画像とを記憶する。いわゆる画像データベースである。
【００１７】
素材表示モジュール１１１は、図１に示すように、素材ＤＢ１０９、編集文書表示モジュール１１３と接続されており、素材ＤＢ１０９によって記憶されている編集用画像に対応付けられた縮小画像を表示する。
編集文書表示モジュール１１３は、図１に示すように、素材表示モジュール１１１、ドラッグ画像表示モジュール１１５と接続されており、編集の対象である文書を表示する。
【００１８】
ドラッグ画像表示モジュール１１５は、図１に示すように、編集文書表示モジュール１１３、編集モジュール１１７と接続されており、素材表示モジュール１１１によって表示されている縮小画像を選択し、ユーザによる移動操作に連動して該縮小画像を移動させながら表示する。また、素材表示モジュール１１１によって表示されている縮小画像を選択する場合は、オブジェクト分割モジュール１０３によって階層的に分割された領域の画像を選択できる。また、ドラッグ画像表示モジュール１１５によって表示される縮小画像は、該縮小画像の縮小率に応じて階層的に分割された画像の階層のレベルを設定することもできる。さらに、ユーザによる移動操作によって、選択した縮小画像が編集対象である文書の上にあることを検知した場合は、その編集対象である文書の倍率でその縮小画像を表示することもできる。
編集モジュール１１７は、図１に示すように、ドラッグ画像表示モジュール１１５と接続されており、編集文書表示モジュール１１３によって表示されている文書に、ユーザにより素材表示モジュール１１１によって表示されている縮小画像を複写することが指定された場合に、ドラッグ画像表示モジュール１１５によって表示されている縮小画像に対応する素材ＤＢ１０９によって記憶されている領域画像を複写する。
【００１９】
図２を用いて、本実施の形態である画像編集システム、画像処理システムによって行われる画像処理例を説明する。主に、オブジェクト分割モジュール１０３が画像を領域に分割することを説明する。
図２（Ａ）の文書２０１は、画像入力モジュール１０１が入力した画像の一例である。図２に示すように、上部に大きめの文字でタイトルが記載されており、第１章は１段組であるが、第２章からは２段組になっているような文書である。この文書は、単なるデジタル画像として入力されるものであり、構造等は定義されていないものである。
【００２０】
図２（Ｂ）の文書２１１は、文書２０１を領域分割した結果である。
文書２１１は、領域を階層的に分割しており、第１層は領域２１２、領域２１３、領域２１６、領域２２１の４つの領域からなる。
領域２１２は、タイトル領域である。タイトルか否かは、文書に関する知識データベースを用いて、判断する。領域２１２は、第１層のみであり、第２層以下はない。
領域２１３は、第１章の領域である。領域２１３は２階層になっており、第２層は領域２１４、領域２１５からなる。
【００２１】
領域２１６は、第２章の領域である。領域２１６は３階層になっており、第２層は領域２１７、領域２１８であり、第３層はさらに領域２１８内に領域２１９、領域２２０がある。
領域２２１も領域２１６と同様に、第２章の領域であり、領域２２１は３階層になっており、第２層は領域２２２、領域２２３であり、第３層はさらに領域２２３内に領域２２４、領域２２５がある。
【００２２】
なお、領域の分割は、画像から空白等で区切られた領域を抽出することによって行われる。もちろん他の既存の方法で領域を抽出してもよい。また、その領域の画像の特徴から種別（テキスト領域、写真領域、表領域、図形領域等）を判断する。
また、領域のうち、テキスト領域については文字認識を行って、テキストデータに変換しておいてもよい。写真領域については、その領域の画像にふさわしい画像圧縮を行うようにしてもよい。
また、階層は、領域内に領域を含む場合をいい、領域の判定が階層ごとに異なる閾値あるいはアルゴリズムによって行われている。
【００２３】
図３を用いて、本実施の形態である画像編集システム、画像処理システムが取り扱うデータ構造例を説明する。図３のテーブルは、オブジェクト分割モジュール１０３による分割結果を記憶する。
このテーブルは、ＩＤ欄３０１、種別欄３０２、左上座標欄３０３、右下座標欄３０４、親欄３０５、子欄３０６、内容欄３０７を有している。
ＩＤ欄３０１は、各領域をこの画像内で一意に識別するための識別子を記憶する。
種別欄３０２は、対象としている領域の種別、すなわち、テキスト領域、写真領域、表領域、図形領域等の別を記憶する。
【００２４】
左上座標欄３０３、右下座標欄３０４は、対象としている領域の位置を表す。例えば、画像の縦をＹ軸、横をＸ軸とし、画像の左上を原点（０，０）とした座標系のものである。これによって、領域の位置を特定することができる。また、領域は矩形であるとしているが、その他の図形であってもよく、マスク画像を用いることによって任意の領域を特定することが可能である。
【００２５】
親欄３０５、子欄３０６は、領域間の階層構造を示すためのものである。つまり、親欄３０５には上層の領域の識別子が記憶され、子欄３０６には下層の領域の識別子が記憶される。なお、複数の領域の識別子が記憶されていてもよい。
内容欄３０７は、その領域の画像が記憶されているファイルの名前等を記憶する。また、テキスト領域であれば、文字認識結果の文字列を記憶してもよい。
【００２６】
次に作用・働き（動作）を説明する。
図４のフローチャートを用いて、本実施の形態である画像編集システム、画像処理システムによって行われる処理例を説明する。図４（Ａ）は、基本的な処理を示したものである。図４（Ｂ）は、基本的な処理に対して、自動判定による処理を付加したものである。図４（Ｃ）は、基本的な処理に対して、ユーザによる選択処理を付加したものである。なお、図４（Ｂ）および図４（Ｃ）の両方の処理を付加してもよい。
【００２７】
ステップＳ４０１では、画像入力モジュール１０１により、編集の素材となる画像を入力する。
ステップＳ４０２では、オブジェクト分割モジュール１０３により、ステップＳ４０１で入力した画像を領域（オブジェクト）に分割する。
ステップＳ４０３では、オブジェクト縮小モジュール１０５により、ステップＳ４０２で分割した領域それぞれの縮小画像を生成する。素材表示モジュール１１１またはドラッグ画像表示モジュール１１５で用いる縮小画像を生成する。したがって、縮小率は、アイコンとして表示する際の大きさになるようにした値である。
【００２８】
ステップＳ４０４では、アイコン対応生成モジュール１０７により、アイコンとステップＳ４０３で生成した縮小画像とを関連付ける。つまり、領域またはその領域の縮小画像がユーザによって選択され、ユーザインタフェースとしてアイコン画像が必要になった場合に、その領域等を示すものとして縮小画像を利用する。そのように利用するために、ユーザインタフェースソフトウェア内で、領域を表すアイコン画像の一つとして、その領域の縮小画像とリンクする。
ステップＳ４０５では、素材表示モジュール１１１により、縮小画像によって構成された画像を表示する。複数の文書を表示して編集を行う場合、一つの文書は主とした編集対象（以下、主文書ともいう）であり、他の文書はコピー元がある文書、参照にしたい文書等（以下、素材文書ともいう）である場合が多い。この場合、ＷＹＳＩＷＹＧ（Ｗｈａｔ  Ｙｏｕ  Ｓｅｅ  Ｉｓ  Ｗｈａｔ  Ｙｏｕ  Ｇｅｔ）となるように主文書は実物と同じ大きさで表示し、素材文書はより多くのものを表示できる大きさであることが望ましい。そのため、文書編集アプリケーションにおいて、素材文書を縮小して表示する。
ステップＳ４０６では、編集文書表示モジュール１１３により、編集対象の文書を表示する。つまり、文書編集アプリケーションにおいて、主文書を実物大に表示する。必ずしも実物大である必要はないが、素材文書よりも大きく表示する。したがって、主文書も縮小または拡大して表示する。
【００２９】
ステップＳ４０７は、文書編集アプリケーション上においてユーザが素材文書の領域を選択し、主文書にコピーするためにドラッグ処理している場合の処理である。つまり、ドラッグ画像表示モジュール１１５により、ユーザによる移動操作に連動して縮小画像をアイコンとして移動させながら表示する。そして、ドラッグした縮小画像が、主文書上にある場合は、その主文書と同じ倍率で表示する。これによって、編集時に、コピー元である領域のコピー先での位置決定において、適切な位置への配置や、微妙な調整を行うことが可能となる。
ステップＳ４０８は、文書編集アプリケーション上においてユーザが素材文書の領域をドロップした場合（コピー編集の実行）、主文書に対して、縮小画像に対応する領域の元画像を主文書にコピーする処理である。つまり、編集モジュール１１７により、コピー元の素材文書の領域を主文書にコピーする。そして、コピー編集後の主文書を再表示する。
以降、ユーザによる操作によってステップＳ４０７、ステップＳ４０８の処理が繰り返される。
【００３０】
上記ステップＳ４０２の処理に、以下のステップＳ４０２１、ステップＳ４０２２、ステップＳ４０２３を加えることもできる。
ステップＳ４０２１では、階層オブジェクトを抽出する又は抽出しないを設定する。そして、ステップＳ４０２でその設定に基づいて領域を分割する。ここでの設定には、ユーザによる設定と自動設定がある。自動設定としては、画像に単一の領域しかない場合、複数の領域がある場合に応じて、階層的な領域を抽出するか否かを設定する。または、領域抽出の精度に応じて、設定することもできる。
ステップＳ４０２２では、オブジェクト毎に分割する又は分割しないを設定する。そして、オブジェクト毎に分割すると設定した場合に、ステップＳ４０２で領域を分割する。
ステップＳ４０２３では、階層オブジェクトを抽出する又は抽出しないをユーザによって設定する。
【００３１】
上記ステップＳ４０４の処理に、ステップＳ４０４１を加えることもできる。
ステップＳ４０４１では、アイコンとして階層オブジェクトを貼付けるか否かをユーザによって設定することができる。
【００３２】
上記ステップＳ４０５の処理に、以下のステップＳ４０５１、ステップＳ４０５２、ステップＳ４０５３、ステップＳ４０５４を加えることもできる。
ステップＳ４０５１では、アイコン画像（縮小画像）の縮小率に応じて、階層レベルを設定する。例えば、縮小率が大（相対的に大きく表示される）であるならば、ステップＳ４０５で低い階層までを表示し、縮小率が小であるならば、低い階層は表示しないように設定することができ、この設定に基づいて素材画像を表示する。
ステップＳ４０５２では、アイコン画像（縮小画像）上で、オブジェクト単位のプロパティを閲覧可能とする。縮小画像には、画像の大きさ、作成日時、階層レベル等のプロパティが関連付けられており、そのプロパティを素材文書の領域を指定することによって表示させることもできる。
【００３３】
ステップＳ４０５３では、オブジェクト毎にアイコン画像を表示させるか否かを設定することができる。例えば、種別が写真の領域のみ対象とできるように、アイコン画像を表示させ、その他の種別の領域のアイコン画像は表示させないようにすることができる。
ステップＳ４０５４では、素材文書の領域に階層がある場合に、ここで表示する領域の階層レベルを指定することができる。この指定に基づいて、一定レベルの階層のみを表示することができるようになる。例えば、２階層までを表示、２階層のみを表示等に指定することができる。
【００３４】
図５、図６を用いて、本実施の形態である画像編集システム、画像処理システムによって行われる編集処理例を説明する。
図５の素材画面５０１には、素材表示モジュール１１１が素材文書を縮小した状態で表示する。そして、合成画面５１０には、編集文書表示モジュール１１３が主文書を表示する。図５に示すように、素材画面５０１には、複数の素材文書（素材文書５０２から素材文書５０６）を表示する。そして、それぞれの素材文書には領域がある。素材文書５０２にはオブジェクト５０２１があり、素材文書５０３にはオブジェクト５０３１Ａ、オブジェクト５０３２があり、素材文書５０４にはオブジェクト５０４１、オブジェクト５０４２があり、素材文書５０５にはオブジェクト５０５１Ａ、オブジェクト５０５２があり、素材文書５０６にはオブジェクト５０６１がある。その領域をユーザが選択できるように表示する。オブジェクト５０３１Ａはテキスト領域であり、オブジェクト分割モジュール１０３によって文字認識が行われ、内容として文字列が記憶されているとする。また、オブジェクト５０５１Ａは写真領域であり、画像圧縮が行われているとする。
素材画面５０１と合成画面５１０のような配置にすることによって、複数の素材文書を同時に参照しながら合成する作業が可能となる。また、編集対象の文書および素材文書の双方を実物大に表示することなく文書編集することが可能となり、作業効率を著しく向上させることが可能となる。
【００３５】
ユーザはマウス等のポインティングデバイスを用いて、ポインタ５２０Ａをオブジェクト５０３１Ａの上に移動させる。ここで、このオブジェクト５０３１Ａについてのプロパティを表示させることもできる。ここで、オブジェクト５０３１Ａの上でマウスの右ボタンを押しながらポインタ５２０Ａを移動（ドラッグ）させる動作が行われると、図５に示すように、ポインタ５２０Ｂの位置まで移動した状態では、オブジェクト５０３１Ａのアイコン画像としてオブジェクト５０３１Ｂを表示する。そして、文書５１１の上まで移動した（ポインタ５２０Ｃの位置）場合、オブジェクト５０３１Ｃのようにオブジェクト５０３１Ａを編集対象である文書（文書５１１）の倍率に合わせて表示する。そして、ユーザがマウスの右ボタンを離す（ドロップ）と、その位置でコピー動作の処理を行う。ここでは、オブジェクト５０３１Ａの内容は文字列であるので、文字列としてのコピーが行われる。また、オブジェクト５０３１Ａが下位の階層を有しているような場合は、コピーする際に、どの階層までをコピーするかについて、ユーザに指定させるようにすることもできる。
【００３６】
図６は、図５と同様に、オブジェクト５０５１Ａを表示する場合の例を示している。オブジェクト５０５１Ａの写真領域は画像圧縮が行われているので、コピー動作の際には圧縮画像の復号を行った後にコピー処理を行う。
【００３７】
図７を参照して、本実施の形態の画像処理システム、画像編集システムのハードウェア構成例について説明する。図７に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成される画像処理システム、画像編集システムであり、画像入力モジュール１０１であるスキャナ等のデータ読み取り部６１７と、プリンタなどのデータ出力部６１８を備えたハード構成例を示している。
【００３８】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）６０１は、上述の実施の形態において説明した各種のモジュール、すなわち、オブジェクト分割モジュール１０３、オブジェクト縮小モジュール１０５、アイコン対応生成モジュール１０７、素材表示モジュール１１１、編集文書表示モジュール１１３、ドラッグ画像表示モジュール１１５、編集モジュール１１７等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。
【００３９】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）６０２は、ＣＰＵ６０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）６０３は、ＣＰＵ６０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス６０４により相互に接続されている。
【００４０】
ホストバス６０４は、ブリッジ６０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス６０６に接続されている。
【００４１】
キーボード６０８、マウス等のポインティングデバイス６０９は、ユーザにより操作される入力デバイスである。ディスプレイ６１０は、液晶表示装置またはＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）などから成り、各種情報をテキストやイメージ情報として表示する。
【００４２】
ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）６１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ６０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、素材ＤＢ１０９を構成しており、画像入力モジュール１０１によって入力した画像やオブジェクト縮小モジュール１０５によって縮小した画像などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
【００４３】
ドライブ６１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体６１３に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース６０７、外部バス６０６、ブリッジ６０５、およびホストバス６０４を介して接続されているＲＡＭ６０３に供給する。リムーバブル記録媒体６１３も、ハードディスクと同様のデータ記録領域として利用可能である。
【００４４】
接続ポート６１４は、外部接続機器６１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート６１４は、インタフェース６０７、および外部バス６０６、ブリッジ６０５、ホストバス６０４等を介してＣＰＵ６０１等に接続されている。通信部６１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部６１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部６１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
【００４５】
なお、図７に示す画像処理システムのハードウェア構成は、１つの構成例を示すものであり、本実施の形態の画像処理システムは、図７に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えばＡＳＩＣ等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図７に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（多機能複写機とも呼ばれ、スキャナ、プリンタ、複写機、ファックス等の機能を有している）などに組み込まれていてもよい。
【００４６】
本実施の形態では、各オブジェクトは縮小画像を用いており、階層レベルは形態だけでは判断できないが、階層レベルに合わせて、縮小画像の形態（色、枠線の色、形状、デフォルメしたもの、文字記号を付す等）を変更するようにしてもよい。
同様に、オブジェクトの種別に応じて、縮小画像の形態を変更するようにしてもよい。
【００４７】
なお、説明したプログラムについては、記録媒体に格納することも可能であり、また、そのプログラムを通信手段によって提供することもできる。その場合、例えば、上記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えることもできる。
【００４８】
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、上記のプログラムまたはその一部は、上記記録媒体に記録して保存や流通等させることが可能である。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に乗せて搬送することも可能である。
さらに、上記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。
【図面の簡単な説明】
【００４９】
【図１】本実施の形態の各モジュール間の構成例を示すブロック図である。
【図２】本実施の形態によって行われる画像処理例の説明図である。
【図３】本実施の形態が取り扱うデータ構造の例である。
【図４】本実施の形態によって行われる処理例を説明するフローチャートである。
【図５】本実施の形態によって行われる編集処理例の説明図である。
【図６】本実施の形態によって行われる編集処理例の説明図である。
【図７】本実施の形態を実現する画像処理システム、画像編集システムのハードウェア構成例を示すブロック図である。
【符号の説明】
【００５０】
１０１…画像入力モジュール
１０３…オブジェクト分割モジュール
１０５…オブジェクト縮小モジュール
１０７…アイコン対応生成モジュール
１０９…素材ＤＢ
１１１…素材表示モジュール
１１３…編集文書表示モジュール
１１５…ドラッグ画像表示モジュール
１１７…編集モジュール
【図１】
2008060778.tif 000003
【図２】
2008060778.tif 000004
【図３】
2008060778.tif 000005
【図４】
2008060778.tif 000006
【図５】
2008060778.tif 000007
【図６】
2008060778.tif 000008
【図７】
2008060778.tif 000009