(57)【要約】【課題】１ページ内への複数コンテンツの配置をより容易に行う。【解決手段】画像処理装置において、コンテンツ取得部は、画像入力装置から出力されたコンテンツを取得すると共に、コンテンツの属性を取得する。レイアウト生成部は、属性が一致または類似するコンテンツを１ページに配置するレイアウト情報を生成する。このとき、一致または類似する属性（属性クラス）単位でのコンテンツのレイアウトは、例えば最密充填レイアウトの手法を用いて、１ページのスペースを効率的に利用すると共に、コンテンツがページを跨がないように行われる。画像生成部は、レイアウト生成部で生成されたレイアウト情報に基づき、コンテンツによる画像を形成するための出力画像を生成する。【選択図】図１３
2011065295.tif 000002
【特許請求の範囲】
【請求項１】
画像データによるコンテンツを取得するコンテンツ取得手段と、
前記コンテンツのうち属性が互いに一致または類似するコンテンツを同一のページに配置するレイアウト情報を生成するレイアウト生成手段と、
前記レイアウト生成手段で生成された前記レイアウト情報に基づき、前記属性が互いに一致または類似するコンテンツを同一ページに配置した出力画像を生成する画像生成手段と
を有する
ことを特徴とする画像処理装置。
【請求項２】
前記属性は、コンテンツの画像特性を示す情報を含み、
前記レイアウト生成手段は、
前記コンテンツのうち、前記画像特性が互いに一致または類似する該コンテンツを同一のページに配置するレイアウト情報を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記属性は、コンテンツの画像がモノクロ画像およびカラー画像の何れであるかを示す前記画像特性を含み、
前記レイアウト生成手段は、
前記コンテンツのうち、前記画像特性がモノクロ画像を示すコンテンツを同一のページに配置し、前記画像特性がカラー画像を示すコンテンツを他の同一のページに配置するレイアウト情報を生成する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記属性は、コンテンツの画像がテキストおよびイメージの何れであるかを示す前記画像特性を含み、
前記レイアウト生成手段は、
前記コンテンツのうち、前記画像特性がテキストを示すコンテンツを同一のページに配置し、前記画像特性がイメージを示すコンテンツを他の同一のページに配置するレイアウト情報を生成する
ことを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記属性は、コンテンツの画像の画質レベルを示す前記画像特性を含み、
前記レイアウト生成手段は、
前記コンテンツのうち、前記画像特性が示す前記画質レベルが一致するコンテンツを同一ページに配置するレイアウト情報を生成する
ことを特徴とする請求項２乃至請求項４の何れか１項に記載の画像処理装置。
【請求項６】
前記属性は、コンテンツの画像が自然画像および人工画像の何れであるかを示す前記画像特性を含み、
前記レイアウト生成手段は、
前記コンテンツのうち、前記画像特性が前記自然画像を示すコンテンツを同一のページに配置し、前記画像特性が前記人工画像を示すコンテンツを他の同一ページに配置するレイアウト情報を生成する
ことを特徴とする請求項２乃至請求項５の何れか１項に記載の画像処理装置。
【請求項７】
前記属性は、コンテンツに含まれる文字の大きさを示す前記画像特性を含み、
前記レイアウト生成手段は、
前記コンテンツのうち、前記画像特性が示す前記文字の大きさが類似するコンテンツを同一ページに配置するレイアウト情報を生成する
ことを特徴とする請求項２乃至請求項６の何れか１項に記載の画像処理装置。
【請求項８】
前記属性は、該属性に対応するコンテンツと他のコンテンツとの間の関連度を示す情報を含み、
前記レイアウト生成手段は、
前記コンテンツのうち、前記関連度が閾値以上のコンテンツ同士を結合してページに配置するレイアウト情報を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記属性は、コンテンツの原稿元を示す情報を含み、
前記レイアウト生成手段は、
前記コンテンツのうち、前記原稿元が同一のコンテンツを同一ページに配置するレイアウト情報を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記属性は、前記画像データが生成された時刻を示す時刻情報を含み、
前記レイアウト生成手段は、
第１の前記コンテンツおよび第２の前記コンテンツについて、該第１のコンテンツに対応する前記時刻情報が示す時刻と、該第２のコンテンツに対応する前記属性が含む前記時刻情報が示す時刻との間隔が閾値以下であれば、該第１のコンテンツと該第２のコンテンツとを同一のページに配置するレイアウト情報を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
表示部に対する表示を制御する表示制御手段と、
前記コンテンツの初期配置をユーザ操作に応じて設定する配置設定手段と
をさらに有し、
前記表示制御手段は、
前記画像生成手段により生成される前記出力画像において画像の出力が可能な出力可能領域に基づき、出力用紙のテンプレートをページ単位で前記表示部に表示させると共に、前記コンテンツを前記配置設定手段で設定された前記初期配置に配置して前記表示部に表示させ、
前記レイアウト生成手段は、
前記配置選択手段により前記出力可能領域上で選択された前記初期配置に基づき前記レイアウト情報を生成する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項１２】
前記表示制御手段は、
前記コンテンツを前記属性と関連付けて表示する
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記表示制御手段は、
前記表示部に対して、前記レイアウト生成手段で生成された前記レイアウト情報に基づく表示を行わせる
ことを特徴とする請求項１１または請求項１２に記載の画像処理装置。
【請求項１４】
前記レイアウト生成手段は、
同一のコンテンツに対してそれぞれ異なる配置がなされる複数のレイアウト生成モードを有し、該複数のレイアウト生成モードのうちユーザ操作に応じて指定された該レイアウト生成モードに従い前記レイアウト情報を生成する
ことを特徴とする請求項１乃至請求項１３の何れか１項に記載の画像処理装置。
【請求項１５】
前記レイアウト生成手段で生成された前記レイアウト情報を蓄積するレイアウト情報蓄積手段をさらに有する
ことを特徴とする請求項１乃至請求項１４の何れか１項に記載の画像処理装置。
【請求項１６】
表示部に対する表示を制御する表示制御手段をさらに有し、
前記表示部に対して、前記レイアウト生成手段で生成された前記レイアウト情報に基づく表示を行わせる
ことを特徴とする請求項１乃至請求項１０の何れか１項に記載の画像処理装置。
【請求項１７】
前記表示制御手段は、
前記コンテンツを前記属性と関連付けて表示する
ことを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
画像データを取得する画像データ取得手段と、
前記画像データ取得手段で取得された前記画像データからコンテンツを抽出するコンテンツ抽出手段と
を有する画像入力装置と、
前記コンテンツのうち属性が互いに一致または類似するコンテンツを同一のページに配置するレイアウト情報を生成するレイアウト生成手段と、
前記レイアウト生成手段で生成された前記レイアウト情報に基づき、前記属性が互いに一致または類似するコンテンツを同一ページに配置した出力画像を生成する画像生成手段と
を有する画像処理装置と、
前記出力画像に基づき画像を形成する画像形成装置と
を備える
ことを特徴とする画像処理システム。
【請求項１９】
画像データによるコンテンツを取得するコンテンツ取得ステップと、
前記コンテンツのうち属性が互いに一致または類似するコンテンツを同一のページに配置するレイアウト情報を生成するレイアウト生成ステップと、
前記レイアウト生成ステップで生成された前記レイアウト情報に基づき、前記属性が互いに一致または類似するコンテンツを同一ページに配置した出力画像を生成する画像生成ステップと
をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツのページに対するレイアウトを生成する画像処理装置、画像処理システムおよび画像処理プログラムに関する。
【背景技術】
【０００２】
近年の複写機やＭＦＰ(Multi Function Printer)などの画像形成装置では、Ｎ枚で構成される原稿を１ページ内に配置して画像形成を行う機能（Ｎｉｎ１機能）などが提供されている。
【０００３】
特許文献１には、出力可能領域と複写すべき原稿の原稿サイズを表示出力し、編集手段において出力可能領域内に複写すべき原稿を所望の状態で配置し、原稿の出力形式、例えば移動、拡大／縮小、回転、マージ、オーバーレイなどの編集を行い、編集処理結果をジョブとして実行するようにした技術が開示されている。
【０００４】
特許文献２には、出力用紙のテンプレートと入力画像のテンプレートを表示し、パネル上で出力用紙のテンプレート上に入力画像のテンプレート配置を指定するようにした技術が記載されている。特許文献２によれば、入力画像のテンプレートは、縮小拡大回転指定もできる。また、直接的な操作によって出力形態を自由に設定する事ができる。
【０００５】
これに対し、特許文献３には、ページから必要なコンテンツだけを素材として用いる場合の、コンテンツ単位での割付方法が提案されている。すなわち、特許文献３では、割付領域を示すウィンドウ（版面）と、素材となる画像をサムネイル形式のアイコンで示すリストウィンドウをと表示することにより、複数画像割付け時の操作性を考慮している。
【０００６】
また、特許文献４には、印刷物の誌面レイアウトにおいて、文書データに対し文書構造の要素毎にフレームを生成し、そのフレームを誌面上に自動的に配置するようにした技術が開示されている。ここで、文書構造の要素とは、見出し、本文、コラム、画像およびキャプションなどを指す。この特許文献４によれば、従来は作業に熟練した誌面デザイナが行っていた作業を、経験やノウハウを持たないユーザでも容易にレイアウト可能とされる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述の特許文献１および特許文献２では、複数の要素を併せて新しく文書を構成することが可能である。ここで、入力をスキャナにより読み取られた画像データとする場合、原稿サイズの大きさは、スキャンにおけるセンサなどで検出された値であり、読み取った原稿全体の画像を画像データとして扱うものであった。そのため、画像形成の際の出力可能領域に対して原稿サイズが非常に大きい場合などは、画像データを全体的に縮小せざるを得ず、原稿内の各部分をそれぞれ調整することができなかった。
【０００８】
一方、上述した特許文献３によれば、表示上で入力画像のトリミング指定が可能されている。そのため、例えば割付対象の画像データから必要な部分のみを選択的に抽出して割り付ける事が可能である。
【０００９】
しかしながら、扱うコンテンツ数が増えると、上述したようなトリミング指定や割付作業の手間も増大し、ユーザの負荷が増える。また、ＭＦＰなどにおいては、タッチパネルを入力デバイスとして用いて上述のトリミング指定や割付作業を行うことになる。
【００１０】
この場合、入力デバイスにおける表示画面の小ささや、慣れないユーザインターフェイスなどを要因として、ユーザへの負担が増大してしまう。したがって、コンテンツの抽出(トリミング）や割付は、自動化されているのが望ましい。特に、複数コンテンツのページ内へのレイアウトは、複数ページを１ページ割り付ける割付処理と比較して自由度が高く、ユーザにとって価値のあるレイアウトを容易に行えるレイアウト生成機能が望まれている。
【００１１】
さらに、上述した特許文献４では、扱う文書データの形式は、ＸＭＬ(Extensible Markup Language)形式、ＨＴＭＬ(Hyper Text Markup Language)形式、ＣＳＶ形式などのテキストデータによる形式が想定されており、スキャナから読み込んだ画像データを素材とする点については考慮されていない。
【００１２】
一般的には、文書や資料を作成する場合、新聞や雑誌、書籍、その他の印刷物を素材として用いる。これら印刷物による素材をスキャナから読み込んで得られた画像データを解析し、所定の形式による文書と同様の文書構造を得る事は、可能である。しかしながら、その精度は、電子データで直接的に素材が提供される場合に比べると、著しく低下する事が考えられる。
【００１３】
また、原稿をスキャナから読み込んだ画像データは、原稿の読み取り環境によって画質も様々となる。これは、例えば読み取り濃度の異なるコンテンツを同一ページに配して印刷した場合、コンテンツそれぞれに対して適切な画像処理を施して出力できない事を意味する。つまり、特許文献４は、最終的な印刷出力時の画質、利便性までを併せて考慮してコンテンツのページ割付、レイアウト方法を決定するものではない。
【００１４】
本発明は、上記に鑑みてなされたものであって、１ページ内への複数コンテンツの配置をより容易に行うことができる画像処理装置、画像処理システムおよび画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
上述した課題を解決し、目的を達成するために、本発明は、画像データによるコンテンツを取得するコンテンツ取得手段と、コンテンツのうち属性が互いに一致または類似するコンテンツを同一のページに配置するレイアウト情報を生成するレイアウト生成手段と、レイアウト生成手段で生成されたレイアウト情報に基づき、属性が互いに一致または類似するコンテンツを同一ページに配置した出力画像を生成する画像生成手段とを有することを特徴とする。
【００１６】
また、本発明は、画像データを取得する画像データ取得手段と、画像データ取得手段で取得された画像データからコンテンツを抽出するコンテンツ抽出手段とを有する画像入力装置と、コンテンツのうち属性が互いに一致または類似するコンテンツを同一のページに配置するレイアウト情報を生成するレイアウト生成手段と、レイアウト生成手段で生成されたレイアウト情報に基づき、属性が互いに一致または類似するコンテンツを同一ページに配置した出力画像を生成する画像生成手段とを有する画像処理装置と、出力画像に基づき画像を形成する画像形成装置とを備えることを特徴とする。
【００１７】
また、本発明は、画像データによるコンテンツを取得するコンテンツ取得ステップと、コンテンツのうち属性が互いに一致または類似するコンテンツを同一のページに配置するレイアウト情報を生成するレイアウト生成ステップと、レイアウト生成ステップで生成されたレイアウト情報に基づき、属性が互いに一致または類似するコンテンツを同一ページに配置した出力画像を生成する画像生成ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、１ページ内への複数コンテンツの配置をより容易に行うことができるという効果を奏する。
【図面の簡単な説明】
【００１９】
【図１】図１は、本発明に適用可能な画像処理システムの一例の構成を示すブロック図である。
【図２】図２は、本発明に適用可能なレイアウト生成方法について説明するための略線図である。
【図３】図３は、本レイアウト生成方法による画像処理を概念的に示す一例のフローチャートである。
【図４】図４は、ＦＦＤＨによるコンテンツの一例の配置方法を概略的に示すフローチャートである。
【図５】図５は、ＦＦＤＨにより生成した最密充填レイアウトの一例を示す略線図である。
【図６】図６は、ブロックおよび行を説明するための略線図である。
【図７−１】図７−１は、ブロックがページを跨いで配置される例を説明するための略線図である。
【図７−２】図７−２は、ブロックがページを跨がないで配置される例を説明するための略線図である。
【図８】図８は、本発明の第１の実施形態によるページレイアウトの生成方法の一例の処理を示すフローチャートである。
【図９−１】図９−１は、効率的な配置であっても適当なページ区切りが見つからない例を説明するための略線図である。
【図９−２】図９−２は、本発明の第１の実施形態によるコンテンツの配置方法の効果を説明するための略線図である。
【図１０】図１０は、本発明の第２の実施形態によるページレイアウトの生成方法の一例の処理を示すフローチャートである。
【図１１】図１１は、ブロック自体の位置を調整する処理を示す一例のフローチャートである。
【図１２】図１２は、ブロック内でコンテンツの位置を調整する処理を示す一例のフローチャートである。
【図１３】図１３は、第１の実施形態による画像処理装置の機能を示す一例の機能ブロック図である。
【図１４】図１４は、第１の実施形態による基本的な画像処理を示す一例のフローチャートである。
【図１５−１】図１５−１は、コンテンツの例を示す略線図である。
【図１５−２】図１５−２は、コンテンツの例を示す略線図である。
【図１５−３】図１５−３は、コンテンツの例を示す略線図である。
【図１６】図１６は、コンテンツによる画像がモノクロおよびカラー画像かに基づきレイアウト情報を生成する一例の処理を示すフローチャートである。
【図１７】図１７は、複数の画像特性に基づきレイアウト情報を生成する一例の処理を示すフローチャートである。
【図１８】図１８は、第３の実施形態による画像処理装置の機能を示す一例の機能ブロック図である。
【図１９】図１９は、複数のコンテンツを結合する一例の処理を示すフローチャートである。
【図２０】図２０は、第４の実施形態に適用可能な画像処理装置を含む画像処理システムの一例の構成を示すブロック図である。
【図２１】図２１は、第４の実施形態による画像処理装置の機能を示す一例の機能ブロック図である。
【図２２】図２２は、第４の実施形態による、コンテンツを確認するためのＧＵＩであるコンテンツビューアの一例の表示を示す略線図である。
【図２３】図２３は、第４の実施形態による、コンテンツを確認するためのＧＵＩであるコンテンツビューアの一例の表示を示す略線図である。
【図２４】図２４は、コンテンツの配置を指定するためのＧＵＩであるエディタの表示画面の一例を示す略線図である。
【図２５】図２５は、複数のレイアウト処理モードを選択可能としたエディタの一例の表示を示す略線図である。
【図２６】図２６は、レイアウトを確認するためのプレビュー画面の例を示す略線図である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照して、この発明にかかる画像処理装置の一実施の形態を詳細に説明する。図１は、本発明に適用可能な画像処理システムの一例の構成を示す。図１に例示されるように、本発明に適用可能な画像処理システムは、画像入力装置１１、画像処理装置１００および画像形成装置１２を有する。
【００２１】
画像入力装置１１は、例えばスキャナ、複写機、スキャン機能や印刷機能を複合的に備える複合機といった、画像を取り込んで画像データとして出力する機能を備える。画像入力装置１１がＡＤＦ(Auto Document Feeder)を備え、複数の画像を連続して自動的に取り込み出力できるようにしてもよい。これに限らず、画像入力装置１１がインターネットやＬＡＮ(Local Area Network)といったネットワークを介して通信を行う通信機能を備え、ネットワークに接続された記憶媒体から画像データを取り込むようにしてもよい。
【００２２】
また、画像入力装置１１は、取り込んだ画像データに対してトリミングなどの加工を施し、当該画像データの所定領域を切り取ってコンテンツデータとして出力する機能を有する。
【００２３】
さらに、画像入力装置１１は、原稿を読み取った画像データまたは当該画像データに対してトリミングを行ったコンテンツデータを解析し、当該コンテンツデータの属性を取得することができる。コンテンツデータの解析の詳細については、後述する。
【００２４】
コンテンツデータの属性は、例えば当該コンテンツデータによる画像の画像特性である。この画像特性は、例えば、コンテンツデータによる画像が、モノクロ画像およびカラー画像の何れであるか、テキストおよびイメージの何れであるか、自然画像および人工画像の何れであるかを示す。また、画像特性は、コンテンツデータによる画像の画質のレベル、コンテンツデータに含まれる文字の大きさなどを示す。
【００２５】
コンテンツデータの属性は、画像特性に限られない。例えば、コンテンツデータの属性は、コンテンツデータ間の関連度を示すものでもよい。また、コンテンツデータの元となる原稿の原稿元を示す情報を、コンテンツデータの属性としてもよい。さらに、コンテンツデータの元の画像データが取得された時刻を示す情報を、コンテンツデータの属性としてもよい。
【００２６】
画像処理装置１００は、画像入力装置１１から出力されたコンテンツデータおよび解析結果が入力される。画像処理装置１００は、入力されたコンテンツデータの１または複数をページ単位に配置したレイアウト情報を生成することができる。このとき、画像処理装置１００は、上述したコンテンツデータの属性に基づき、属性が一致または類似したコンテンツデータを同一のページに配置することができる。
【００２７】
画像形成装置１２は、例えばプリンタやディスプレイといった、コンテンツデータから画像を形成して出力する機能を備える。画像形成装置１２は、画像処理装置１００から供給された出力データに従い、コンテンツデータのページ単位での印刷や表示出力を行う。
【００２８】
画像処理装置１００の構成について、より詳細に説明する。画像処理装置１００において、内部バス１１０に対してＣＰＵ(Central Processing Unit)１０１、Ｉ／Ｏ(Input/Output)部１０２、ＲＯＭ(Read Only Memory)１０３、ＲＡＭ(Random Access Memory)１０４およびハードディスクドライブ（ＨＤＤ）１０５が接続される。内部バス１１０に接続される各部は、内部バス１１０を介して互いにデータのやりとりを行うことができるようになっている。
【００２９】
ＨＤＤ１０５は、各種のプログラムやデータが格納される。例えばＯＳ(Operating System)や、この発明に係る画像処理方法を実行するための画像処理プログラムなどがＨＤＤ１０５に格納される。また、画像入力装置１１から入力された画像データがＨＤＤ１０５に格納される。ＣＰＵ１０１は、ＲＯＭ１０３に予め記憶されたプログラムや、ＨＤＤ１０５に格納されたプログラムに従い、ＲＡＭ１０４をワークメモリとして用いて、この画像処理装置１００の全体の動作を制御する。Ｉ／Ｏ部１０２は、画像入力装置１１および画像形成装置１２などを含む、この画像処理装置１００に接続される外部機器との間でのデータの入出力を管理する。
【００３０】
この画像処理装置１００で処理されるコンテンツデータとしての画像データは、画像入力装置１１から画像入力装置１００に対して入力され、Ｉ／Ｏ部１０２を介してＨＤＤ１０５に格納されたり、ＣＰＵ１０１に供給される。
【００３１】
なお、画像処理装置１００は、コンテンツデータとしてテキストデータを処理することもできる。テキストデータは、例えば、画像処理装置１００に接続されたキーボード（図示しない）や、外部機器からＩ／Ｏ部１０２を介して画像処理装置１００に入力される。
【００３２】
この画像処理装置１００で生成された出力データは、Ｉ／Ｏ部１０２を介して画像形成装置１２に対して出力される。
【００３３】
なお、上述では、本発明に適用可能な画像処理システムを構成する画像入力装置１１、画像処理装置１００および画像形成装置１２がそれぞれ独立した機器であるように説明したが、これはこの例に限定されない。例えば、画像入力装置１１と画像形成装置１２とを一体的に構成し、複合機としてもよい。さらに、画像入力装置１１、画像処理装置１００および画像形成装置１２を一体的に構成することもできる。
【００３４】
＜本発明に適用可能なレイアウト生成方法＞
ここで、理解を容易とするために、本発明に適用可能なレイアウト生成方法について説明する。本レイアウト生成方法では、図２に例示されるように、様々な大きさ（幅×高さ）を有する複数の矩形コンテンツを、幅Ｗ、高さＨの配置領域２００上に配置する際のレイアウトを生成する。ここで、幅Ｗは有限の値を持ち、高さＨは、無限大の値を持つものとする。また、レイアウトとは、配置領域２００上におけるコンテンツの配置を示し、レイアウト情報は、レイアウトにおけるコンテンツの配置を示す情報（例えば座標情報）からなるものとする。また、ページとは、一度に表示を行うための領域をいい、以下では、幅Ｗを持つ配置領域を、一度に表示を行う所定の高さｈ毎に区切った各領域をページと呼ぶ。
【００３５】
図３は、本レイアウト生成方法による画像処理を概念的に示す一例のフローチャートである。この図３のフローチャートにおける各処理は、ＣＰＵ１０１により、本第１の実施形態による画像処理プログラムに従い実行される。
【００３６】
ステップＳ１で複数のコンテンツデータが画像処理装置１００に取得される。次のステップＳ２で、画像処理装置１００は、ステップＳ１で取得された複数のコンテンツデータに基づき、最密充填レイアウトを生成する。そして、次のステップＳ３で、ステップＳ２で生成された最密充填レイアウトに基づきページ毎の最終レイアウトを決定する。そして、このステップＳ３で決定された最終レイアウトを示すレイアウト情報が生成される。
【００３７】
＜最密充填レイアウトの生成＞
図３のステップＳ２における最密充填レイアウトの生成処理について、より詳細に説明する。なお、実際に入力されるコンテンツデータは、様々な形状が想定されるが、以下では、説明のため、コンテンツデータによる画像が矩形であるものとする。ここで、コンテンツデータによる画像を含む最小の矩形を想定してもよいし、コンテンツデータによる画像に対してマージンなどを考慮した矩形を想定してもよい。以下では、煩雑さを避けるため、「コンテンツデータによる画像」を単に「コンテンツ」と呼ぶ。
【００３８】
ステップＳ２の最密充填レイアウトでは、予め決められた幅を持ち、高さが無限の領域に対して、下記の条件を満たし、且つ、高さを最小にするように複数のコンテンツを配置する問題として考えて、各コンテンツのレイアウトを決める。
（１）コンテンツの形状が矩形であって、幅および高さが有理数値である。
（２）回転を許容しない。
（３）各コンテンツが互いに重ならない。
【００３９】
ここで、（３）の各コンテンツが互いに重ならないという条件は、２つのコンテンツＣｉおよびＣｊについて、下記の式(１)〜式（４）のうち少なくとも１つが成立することと等価である。なお、式(１)〜式（４）において、値ｗおよび値ｈは、それぞれコンテンツの幅および高さ、値ｘおよび値ｙは、それぞれコンテンツの一端（例えば左下隅）のｘ座標およびｙ座標である。
ｘｉ＋ｗｉ≦ｘｊ    …（１）
ｘｊ＋ｗｊ≦ｘｉ    …（２）
ｙｉ＋ｈｉ≦ｙｊ    …（３）
ｙｊ＋ｈｊ≦ｙｉ    …（４）
【００４０】
各コンテンツに対して、式(１)〜式(４)のうち何れを採用するかを決める場合、単純に見積もって４(n(n-1)/2)通りの可能性があるといえる。この問題は、一般的に箱詰め問題と称され、ＮＰ困難に属しており、実用的な演算時間で解決することが極めて困難であると考えられる。そこで、本実施形態では、最適解に近似する最適近似解をできるだけ簡単な手順で求める手法を用いて、最密充填レイアウトの生成を行う。
【００４１】
このような問題を解決するために、上述の各条件を満たし、且つ、評価値すなわち最適解からの外れ度が定まっている基本的なアルゴリズムとして、ＦＦＤＨ(First-Fit Decreasing-Height)やＮＦＤＨ(Next-Fit Decreasing-Height)などが知られている。本発明の第１の実施形態では、ＦＦＤＨを用いて最密充填レイアウトの生成を行う。ＦＦＤＨについては、「E.G.Coffman, JR., M.R.Garey, D.S.Johonson, R.E.Tarjan(Bell Lab.&Stanford Univ.) "Performance bounds for level-oriented two-dimensional packing algorithms", SIAM J. Comput, vol.9., pp808-826, No.4, 1980.」（非特許文献１）に記載がある。
【００４２】
図４は、ＦＦＤＨによるコンテンツの一例の配置方法を概略的に示すフローチャートである。この図４のフローチャートにおける各処理は、ＣＰＵ１０１により所定のプログラムに従い実行される。ＦＦＤＨによれば、先ず、コンテンツを高さの大きい順にソートして、ソート順で１番目のコンテンツ（すなわち最も高さの高いコンテンツ）を、配置領域の配置開始位置に配置して、処理を開始する。以下では、説明のため、配置開始位置を配置領域の左上隅とする。
【００４３】
図４のフローチャートによる処理の開始に先立って、何らかのコンテンツ（例えばソート順で１番目のコンテンツ）が配置領域に配置されているものとする。これを最後に配置されたコンテンツとして、図４のフローチャートによる処理が開始される。ステップＳ１０で、全てのコンテンツについて配置が完了したか否かが判定され、完了していないと判定されたら、処理がステップＳ１１に移行される。
【００４４】
ステップＳ１１で、直前に選択したコンテンツに対してソート順で次のコンテンツを選択する。次のステップＳ１２で、ステップＳ１１で選択されたコンテンツがソート順で最後のコンテンツか否かが判定される。若し、最後のコンテンツではないと判定されたら、処理はステップＳ１３に移行される。
【００４５】
ステップＳ１３では、ステップＳ１１で選択されたコンテンツが、最後に配置したコンテンツの右隣に配置可能な否かが判定される。すなわち、最後に配置したコンテンツの右端から配置領域の右端までの幅が、ステップＳ１１で選択されたコンテンツの幅以上であれば、当該選択されたコンテンツが配置可能であると判定される。若し、配置不可であると判定されたら、処理はステップＳ１０に戻され、全てのコンテンツについて配置が完了していなければソート順でさらに次のコンテンツが選択され（ステップＳ１１）、処理が繰り返される。
【００４６】
一方、ステップＳ１３で配置可能であると判定されたら、処理はステップＳ１４に移行され、最後に配置したコンテンツの右隣にステップＳ１１で選択されたコンテンツが配置される。コンテンツの配置位置を示す情報は、例えばＲＡＭ１０４に記憶される。そして、処理がステップＳ１０に戻される。
【００４７】
上述のステップＳ１２で、ステップＳ１１で選択されたコンテンツがソート順で最後のコンテンツであると判定されたら、処理はステップＳ１５に移行される。ステップＳ１５では、未配置のコンテンツのうち、ソート順が最も早い（すなわち高さが最も高い）コンテンツを、最後に配置したコンテンツに対して幅方向の左端に配置されるコンテンツの下に、配置領域に対して左詰めで配置する。コンテンツの配置位置を示す情報は、例えばＲＡＭ１０４に記憶される。そして、処理はステップＳ１１に戻される。
【００４８】
図５は、上述のようにしてＦＦＤＨにより生成した最密充填レイアウトの一例を示す。この例では、幅が「１０」の配置領域に、８個のコンテンツが配置されている。この、図３のステップＳ２において生成された最密充填レイアウトを、初期ページレイアウトと呼ぶ。
【００４９】
図５および図４のフローチャートによる処理で分かるように、ＦＦＤＨによる最密充填レイアウトでは、コンテンツの右隣には、当該コンテンツと高さが同じかまたは低いコンテンツが配置される。また、左端のコンテンツについては、コンテンツの下には当該コンテンツと高さが同じかまたは低いコンテンツが配置される。以下、配置領域の幅を持ち、左端のコンテンツの上下端で高さおよび配置領域における高さ方向の位置が規定される領域を、「ブロック」と呼び、ブロックとブロックとの区切りを、「行」と呼ぶ（図６参照）。
【００５０】
ここで、図５の例では、各コンテンツは、上端を揃えて一列に配置されている。これに限らず、左端のブロックに対して右方向に一列に配置される一連のブロックは、上下端が左端のブロックの上端および下端からなる範囲を越えなければ、他の配置でもよい。
【００５１】
なお、ＦＦＤＨでは、最適解に対する評価値が下記の式(５)のようになることが知られている。式(５)は、コンテンツの高さと幅とをそれぞれ「１」に正規化した場合の例である。また、式(５)において、値ＨalgはＦＦＤＨにより求められる高さ、値Ｈoptは最適解を表す。
Ｈalg≦１.７×Ｈopt＋１    …（５）
【００５２】
＜第１のレイアウト生成方法＞
次に、上述した図３のステップＳ３における、ページ毎の最終レイアウトの生成について説明する。図３のステップＳ２において、図４を用いて説明した手順に従い最密充填レイアウトによる初期ページレイアウトを生成した後に、配置領域を、幅が配置領域の幅と一致し、所定の高さを持つページ単位に分割する。このとき、図７−１に例示されるように、あるブロックがページに跨って配置されてしまうことがある。図７−１の例では、配置領域３００に配置されたブロック３０１〜３０４のうち、ブロック３０３がページを跨いで配置されてしまっている。このままでは、コンテンツが途中で分断されてしまう結果となり、好ましくない。そこで、この第１のレイアウト生成方法では、各ブロックがページを跨がないようにレイアウトを調整して、ページ毎の最終レイアウトを生成する。
【００５３】
本第１のレイアウト方法では、ページを跨いで配置されたブロックを、次のページの先頭に移動させる。ここで、次のページとは、ページを跨いで配置されたブロックの上端が属するページから見た次のページをいう。すなわち、図７−１の例では、ページを跨いで配置されているブロック３０３を次ページの先頭に移動させ、当該ブロック３０３より下に配置された各ブロックも、当該ブロック３０３の移動に伴い下方に位置をずらす。以降、この処理をページ毎に順次、繰り返して行うことで、最終的には全てのコンテンツがページを跨がないように配置されたレイアウトを生成することができる。
【００５４】
図８は、本第１のレイアウト生成方法によるページレイアウトの生成方法の一例の処理を示すフローチャートである。この図８のフローチャートにおける各処理は、ＣＰＵ１０１により、所定のプログラムに従い実行される。先ず、ステップＳ２０で、対象ページのページレイアウトを取得する。なお、ステップＳ２０で取得されるページレイアウトは、処理の対象となる対象ページに係るブロックからなるレイアウトである。対象ページが第１ページ目の場合は、初期ページレイアウトから対象ページのページレイアウトを取得することになる。
【００５５】
次のステップＳ２１で、対象ページのページレイアウトにページを跨るブロックがあるか否かを判定する。若し、ページを跨るブロックが無いと判定されたら、処理はステップＳ２３に移行される。
【００５６】
一方、ステップＳ２１で、対象ページのレイアウトにページを跨るブロックがあると判定されたら、処理はステップＳ２２に移行される。ステップＳ２２では、対象ページのレイアウト中においてページを跨って配置されたブロックが、対象ページの次のページの先頭に配置されるように、当該ブロックおよび当該ブロックの下に配置される各ブロックを下方へずらして再配置する。ブロックの再配置が終了すると、処理はステップＳ２３に移行される。
【００５７】
ステップＳ２３では、現在のブロックの配置状態に従い、対象ページにおけるページレイアウトを生成し、当該対象ページのページレイアウトを決定する。そして、処理はステップＳ２４に移行され、全てのページについてページレイアウトが決定されたか否かが判定される。若し、ページレイアウトが決定されていないページが存在すると判定されたら、処理はステップＳ２０に戻され、ステップＳ２３でページレイアウトが決定された次のページを対象ページとして、処理が繰り返される。
【００５８】
一方、ステップＳ２４で、全てのページについてページレイアウトが決定されたと判定されたら、一連の処理が終了される。この場合、未配置のブロックが存在しない場合に、全てのページについてページレイアウトが決定されたと判定する。
【００５９】
このように、本第１のレイアウト生成方法によれば、様々なサイズのコンテンツを複数ページに亘る配置領域に配置する場合に、出力ページ数がなるべく小さくなり、且つ、コンテンツがページで分断されないようなレイアウトを自動的に生成できる。
【００６０】
また、配置領域に対して様々なサイズのコンテンツを配置する場合、全てのコンテンツがページを跨がないようにページ区切りを設けることができる保証が無く、ページを跨いで配置されるコンテンツが発生する可能性が高い。すなわち、コンテンツが配置された状態でコンテンツを区切らないように幅方向の線（ページ区切り）を引くためには、幅方向に見たときに、コンテンツの上辺または下辺が揃っているなどの条件が必要となる。図９−１は、効率的な配置であっても、適当なページ区切りが見つからない例を示す。
【００６１】
本第１のレイアウト生成方法によれば、コンテンツを配置する際に、配置領域の幅方向については、図９−２に例示されるように、左端に配置されたコンテンツ２０１の高さからはみ出ない範囲２０２に収まるコンテンツを探索していくため、ブロック単位での配置の入れ替えが可能となる。したがって、ページ間でコンテンツが分断されないような各ページのレイアウトを、最密充填レイアウトによる初期ページレイアウトの配置から容易に決定することが可能となる。
【００６２】
＜第２のレイアウト生成方法＞
次に、第２のレイアウト生成方法について説明する。本第２のレイアウト生成方法では、上述した第１のレイアウト生成方法に対し、さらに、ページに跨るブロックが存在する場合に、当該ブロック以降のブロックから対象ページ内に収まるブロックを探索する。そして、探索されたブロックとページに跨るブロックとを入れ替えて再配置を行う。これにより、効率的なページレイアウトを簡易に生成することができる。
【００６３】
図４を用いて説明した最密充填レイアウトの生成方法によれば、新しいブロックの形成時には、その時点で未配置のコンテンツの中で高さが最大のコンテンツが当該ブロックの左端に配置されることになる。そのため、ブロックは、下方に配置されるに従い高さが単調に減少（または非増加）する。したがって、あるブロックがページを跨いで配置された場合、当該ブロックの下に、当該ブロックと配置を交換することでブロックがページを跨ぐ事態を解消可能な高さのブロックが存在している可能性がある。
【００６４】
そこで、本第２のレイアウト生成方法では、あるブロックがページを跨いで配置された場合、当該ブロックの下に位置するブロックから順次、対象ブロックと配置を交換した際にページ内に収まるか否かを判定する。そして、ページ内に収まる高さのブロックが存在したら、そのブロックの配置と、ページを跨るブロックの配置とを入れ替える。ブロックがページを跨いで配置される毎に同様の処理を繰り返すことで、最終的には、全てのコンテンツがページを跨がないようなページレイアウトを生成することができる。
【００６５】
図７を用いて、より具体的に説明する。図７−１に示される例では、配置領域３００に対してブロック３０１〜３０４が配置され、それらのうち、ブロック３０３がページを跨いで配置されブロック３０３に含まれるコンテンツがページ区切りで分断されてしまっている。このようなコンテンツの分断は、特にコンテンツの内容が図や表などの場合、好ましくない。
【００６６】
ここで、上述した処理により、ページを跨いで配置されたブロック３０３の直下に配置されるブロックから順次、ブロック３０３との配置交換を試みる。図７−１の例では、１ページの高さ「１１」に対して上から高さがそれぞれ「６」、「３」および「３」のブロック３０１〜３０３が配置され、ブロック３０３が高さ「１」だけページからはみ出している。ブロック３０３を取り去ると、ブロック３０３の直上のブロック３０２とページ下端との間に高さ「２」の余裕が生じる。一方、ブロック３０３の１つ下に配置されるブロック３０４は、高さが「２」であるため、ブロック３０２とブロック３０３とを入れ替えて再配置を行うことで、ブロックがページを跨ぐ事態が解消されることが分かる。
【００６７】
図７−２は、図７−１の状態から、ブロック３０３とブロック３０４とを入れ替えて再配置した場合の例を示す。対象ページに対して、ブロック３０３がページを跨がずに配置されていることが分かる。このような再配置を行うことで、効率性を保持しつつ、ブロックがページを跨いでしまう事態を解消することができる。
【００６８】
図１０は、本第２のレイアウト生成方法によるページレイアウトの生成方法の一例の処理を示すフローチャートである。この図１０のフローチャートにおける各処理は、ＣＰＵ１０１により、本第２の実施形態による画像処理プログラムに従い実行される。先ず、ステップＳ３０で、上述したステップＳ２０と同様にして、対象ページのページレイアウトを取得する。そして、次のステップＳ３１で、対象ページのページレイアウトにページを跨るブロックがあるか否かを判定する。若し、ページを跨るブロックが無いと判定されたら、処理はステップＳ３７に移行される。
【００６９】
一方、ステップＳ３１で、対象ページのレイアウトにページを跨るブロックがあると判定されたら、処理はステップＳ３２に移行される。ステップＳ３２では、ページを跨ると判定されたブロックの直上に配置されるブロックの下端から、対象ページの下端までの高さｙが求められる。
【００７０】
次のステップＳ３３で、対象ブロックの下にさらにブロックが配置されているか否かが判定される。ステップＳ３３による判定が、ステップＳ３１でページを跨るブロックがあると判定された直後の判定であれば、当該ページを跨るブロックが対象ブロックとされる。若し、対象ブロックの直下にさらにブロックが配置されていると判定されたら、処理はステップＳ３４に移行される。
【００７１】
ステップＳ３４では、対象ブロックの直下に配置されたブロックをページを跨るブロックと入れ替えて配置した場合に、ブロックが対象ページ内に収まるか否かが判定される。例えば、ステップＳ３２で求められた高さｙと、対象ブロックの直下に配置されたブロックの高さｈとを比較し、高さｙが高さｈb以上であれば、当該ブロックが対象ページ内に収まると判定される。
【００７２】
若し、ステップＳ３４で、高さｈbが高さｙよりも高く、対象ブロックとページを跨ぐブロックとを入れ替えて配置した際に、対象ブロックがページ内に収まらないと判定されたら、処理はステップＳ３３に戻される。そして、直前にページを跨ぐブロックとの入れ替えを試みられたブロックを新たな対象ブロックとして、当該対象ブロックの直下に配置されているブロックについて、同様にして判定が行われる。
【００７３】
一方、ステップＳ３４で、高さｈbが高さｙ以内であって、対象ブロックとページを跨ぐブロックとを入れ替えて配置した際に、対象ブロックがページ内に収まると判定されたら、処理はステップＳ３５に移行される。ステップＳ３５では、当該対象ブロックとページを跨ぐブロックとが入れ替えられて、ブロックの再配置がなされる。この場合、当該対象ブロックがページを跨ぐブロックの直上のブロックの直下に配置されると共に、ページを跨ぐブロックが対象ページの次ページの先頭に配置される。そして、このブロックの直下から、当該対象ブロックの直下から配置されていた各ブロックが、順序を変えずに配置される。ステップＳ３５でブロックの再配置が行われると、処理はステップＳ３７に移行される。
【００７４】
上述のステップＳ３３で、対象ブロックの下にブロックが配置されていないと判定されたら、処理はステップＳ３６に移行される。この場合には、対象ページ内に収まるようにページを跨ぐブロックと入れ替え可能なブロックが存在しないことを意味する。そこで、ステップＳ３６では、当該ページを跨ぐブロックを対象ページの次ページの先頭に配置されるように、当該ブロックおよび当該ブロックの下に配置される各ブロックを下方にずらして再配置する。ブロックの再配置が終了すると、処理はステップＳ３７に移行される。
【００７５】
ステップＳ３７では、現在のブロックの配置状態に従い、対象ページにおけるページレイアウトを生成し、当該対象ページのページレイアウトを決定する。そして、処理はステップＳ３８に移行され、全てのページについてページレイアウトが決定されたか否かが判定される。若し、ページレイアウトが決定されていないページが存在すると判定されたら、処理はステップＳ３０に戻され、ステップＳ３７でページレイアウトが決定された次のページを対象ページとして、処理が繰り返される。
【００７６】
一方、ステップＳ３８で、全てのページについてページレイアウトが決定されたと判定されたら、一連の処理が終了される。この場合、未配置のブロックが存在しない場合に、全てのページについてページレイアウトが決定されたと判定する。
【００７７】
このように、本第２のレイアウト生成方法によれば、様々なサイズのコンテンツを複数ページに亘る配置領域に配置する場合に、出力ページ数がなるべく小さくなり、且つ、コンテンツがページで分断されないようなレイアウトを自動的に生成できる。
【００７８】
また、本第２のレイアウト生成方法によれば、最密充填レイアウト生成により、新しいブロックの形成時には、その時点で未配置のコンテンツの中で高さが最大のコンテンツが当該ブロックの左端に配置されることになる。そのため、ブロックは、下方に配置されるに従い高さが単調に減少（または非増加）する。したがって、ブロックがページを跨いで配置されてしまった場合、直下のブロックから順次、ブロックの高さを調べていき、ページ内に収まる高さのブロックがあれば、そのブロックとページを跨ぐブロックとを入れ替えて再配置を行うことで、簡易に効率的なページレイアウトを生成することができる。
【００７９】
＜第３のレイアウト生成方法＞
次に、第３のレイアウト生成方法について説明する。本第３のレイアウト生成方法では、上述した第１または第２のレイアウト生成方法で生成された最終的なページレイアウトに対して、さらに調整を加えることで、より好ましいページレイアウトを生成する。この場合、ブロック自体の位置を調整する方法と、ブロック内でコンテンツの位置を調整する方法とが考えられる。
【００８０】
先ず、第１の方法として、ブロック自体の位置をページ内で調整する方法について説明する。すなわち、上述した第１および第２のレイアウト生成方法により生成されるページレイアウトでは、最終ページに対して１つのブロックのみが配置され、そのページの残り全ての領域が空白という事態が起こり得る。そこで、上述した第１または第２のレイアウト生成方法で説明した方法でページレイアウトを生成し、全ページ数が決定された後に、ブロック自体の位置をページ内およびページ間で調整する。
【００８１】
図１１は、ブロック自体の位置を調整する処理を示す一例のフローチャートである。この図１１のフローチャートにおける各処理は、ＣＰＵ１０１により、本第３のレイアウト生成方法による画像処理プログラムに従い実行される。先ず、ステップＳ４０で、図４を用いて説明したようにして最密充填レイアウトを取得し、次のステップＳ４１で、最密充填レイアウトから初期ページレイアウトを生成する。この初期ページレイアウトでは、既に説明したように、ページを跨いで配置されるブロックが存在する可能性がある。次のステップＳ４２で、初期ページレイアウトに基づきブロック単位で再配置を行い、ページを跨ぐブロックが全ページに亘って存在しないようにする。ステップＳ４２での処理は、図８または図９を用いて説明した手順に従い、ページを跨ぐブロックを次のページの先頭に移動させたり、他のブロックとの入れ替えを行うことで、ブロックがページを跨いで配置される事態を解消する。
【００８２】
ステップＳ４２までの処理により全ページのレイアウトが決定し、レイアウトに必要な全ページ数が確定すると、処理はステップＳ４３に移行される。ステップＳ４３では、ブロックの位置調整を行う。
【００８３】
ステップＳ４３での処理として、例えばページ下部の空白部分のページ間でのバラツキが小さくなるように、ブロックを再配置することが考えられる。一例として、ステップＳ４２の処理が終了した時点で、全ブロックの高さの合計をページ数で除して、１ページに配置されるブロックの合計高さの平均値ｈavgを算出する。そして、最終ページに配置されるブロックの合計高さが平均値ｈavgに近くなるように、各ページから１つずつ、ブロックを最終ページに移動させる。
【００８４】
また、ページ内でブロックの再配置を行ってページ毎のレイアウトを調整することもできる。例えば、ページ内の下部に生じた空白を、ブロック間のマージンとして割り当てることが考えられる。一例として、下記の式（６）に例示されるように、各ページにおいて、下部の空白領域の高さＭをブロック数ｎ−１で除して、ブロック間に対して等分にブロック間マージンＢＭを割り当てる。
ＢＭ＝Ｍ／(ｎ−１)    …（６）
【００８５】
勿論、このページ内でのブロック再配置と、上述したページ間でのブロックの移動とを組み合わせて実行してもよい。すなわち、ページ下部の空白部分のページ間でのバラツキが小さくなるようにブロックを再配置した後に、ページ内でのブロックの再配置を行い空白部分を均一化する。
【００８６】
次に、第２の方法として、ブロック内でコンテンツの位置を調整する方法について説明する。ブロック内でコンテンツを移動させても、ブロック自体を移動させない限りはページ数が増加することはない。そこで、ブロック内で例えば水平方向にコンテンツを移動させて、左右のバランスを調整する方法が考えられる。このとき、ブロック内に配置されるコンテンツのサイズや形状（アスペクト比）などを考慮してコンテンツの移動を行うと好ましい。
【００８７】
図１２は、ブロック内でコンテンツの位置を調整する処理を示す一例のフローチャートである。この図１２のフローチャートにおける各処理は、ＣＰＵ１０１により、本第３の実施形態による画像処理プログラムに従い実行される。先ず、ステップＳ５０で、図４を用いて説明したようにして最密充填レイアウトを取得し、次のステップＳ５１で、最密充填レイアウトから初期ページレイアウトを生成する。この初期ページレイアウトでは、既に説明したように、ページを跨いで配置されるブロックが存在する可能性がある。次のステップＳ５２で、初期ページレイアウトに基づきブロック単位で再配置を行い、ページを跨ぐブロックが全ページに亘って存在しないようにする。ステップＳ５２での処理は、図８または図９を用いて説明した手順に従い、ページを跨ぐブロックを次のページの先頭に移動させたり、他のブロックとの入れ替えを行うことで、ブロックがページを跨いで配置される事態を解消する。
【００８８】
ステップＳ５２までの処理により全ページのレイアウトが決定すると、処理がステップＳ５３に移行される。ステップＳ５３では、ブロック内でのコンテンツの位置調整を行う。
【００８９】
ステップＳ５３において、ブロックの視覚的な中心や、コンテンツの視覚的な中心は、例えば「Steven J.Harrington, J.Femando Naveda, Rhys Price Jones, Paul Roetling, Nishant Thakker, "Aesthetic Measures for Automated Document Layout"」（非特許文献２）に示される方法で算出可能である。例えば、ブロック内コンテンツ全体の水平方向の位置は下記の式(７)〜式(９)で、ブロック内コンテンツの左右のバランス度は下記の式（１０）でそれぞれ算出することができる。
【数１】
2011065295.tif 000003
【数２】
2011065295.tif 000004
【数３】
2011065295.tif 000005
【数４】
2011065295.tif 000006
【００９０】
なお、上述の式（７）〜式（１０）で用いられる各変数の意味は、次の通りである。
(ｘi,ｙi)：コンテンツiのｘｙ座標
(ｘc,ｙc)：ブロックの視覚的な中心
Ｍi：コンテンツの視覚的中心
(ｄx,ｄy)：ブロックの視覚的中心からの最大距離
ｄh：ブロックの高さ
【００９１】
また、ブロック内ではコンテンツを自由に移動させることができるため、例えば、ステップＳ５３において、ブロック内のコンテンツの中心位置がブロックの中央に近付くように、コンテンツの位置調整を行うこともできる。ブロック内コンテンツの中心位置は例えば下記の式（１１）および式（１２）により、バランス度は式（１３）により、それぞれ算出することができる。
【数５】
2011065295.tif 000007
【数６】
2011065295.tif 000008
【数７】
2011065295.tif 000009
【００９２】
ブロックおよびコンテンツのレイアウト調整方法は、上述の例に限定されるものではない。例えば、上述した非特許文献２に記載されている幾つかの指標を用いてブロック間のコンテンツの配置を調整することもできる。
【００９３】
上述した最密充填レイアウトでは、コンテンツは基本的に左詰め（または右詰め）で配置される。一方、レイアウトとしては、幅方向のバランスがとれた方が一般的に見やすいとされている。本第３のレイアウト生成方法によれば、ブロック内部でコンテンツの左右のバランスを調整する事で、レイアウトの効率性は保持しつつ、より美しいレイアウトを実現することができる。
【００９４】
また、上述した最密充填レイアウトでは、ブロック単位で見ると、基本的にコンテンツが左上詰め（または右上詰め）で配置される。一方、レイアウトとしては、コンテンツの重心がブロックの中央付近に位置していた方がバランスが良く、一般的に見やすいとされている。本第３のレイアウト生成方法によれば、ブロック内部でコンテンツの重心位置を調整することで、レイアウトの効率性を保持しつつ、より美しいレイアウトを実現することができる。
【００９５】
＜第１の実施形態＞
次に、本発明の第１の実施形態について説明する。本第１の実施形態では、コンテンツをページに配置する際に、属性が一致または類似するコンテンツを１ページ内に配置するように、コンテンツのレイアウト情報を生成する。
【００９６】
図１３は、本第１の実施形態による画像処理装置１００の機能を示す一例の機能ブロック図を示す。この画像処理装置１００は、図１を用いて説明したＣＰＵ１０１上で動作する画像処理プログラムにより実現されるものである。例えば、画像処理装置１００の各部は、当該画像処理プログラムにおけるモジュールとして実現される。
【００９７】
図１３において、画像処理装置１００は、コンテンツ取得部４０１、レイアウト生成部４０２および画像生成部４０３を有する。コンテンツ取得部４０１は、画像入力装置１１から出力されたコンテンツを取得すると共に、コンテンツの属性を取得する。レイアウト生成部４０２は、属性が一致または類似するコンテンツを１ページに配置するレイアウト情報を生成する。このとき、一致または類似する属性（属性クラス）単位でのコンテンツのレイアウトは、上述した最密充填レイアウトの手法を用いて、１ページのスペースを効率的に利用すると共に、コンテンツがページを跨がないように行われる。画像生成部４０３は、レイアウト生成部４０２で生成されたレイアウト情報に基づき、コンテンツによる画像を形成するための出力画像を生成する。
【００９８】
＜第１の実施形態による処理＞
図１４は、本第１の実施形態による基本的な画像処理を示す一例のフローチャートである。先ず、ユーザ操作として、ステップＳ１１０で、ユーザが、原稿を画像として読み取る画像読み取り装置としての画像入力装置１１に対して、原稿をセットし、画像入力装置１１を作動させる。画像入力装置１１は、セットされた原稿を読み取って画像を取得する（ステップＳ１００）。
【００９９】
画像入力装置１１は、次のステップＳ１０１で、取得された画像を解析し、コンテンツを抽出する。ここでコンテンツとは文書の構成要素を意味し、例えば学校の教科書などの場合、図やグラフ、練習問題や答えなど独立して意味を持つ纏まりを１つのコンテンツとして扱う。画像を解析してコンテンツを抽出する処理については、後述する。
【０１００】
図１５−１〜図１５−３は、コンテンツの例を示す。ここでいうコンテンツとは、新しく文書を作成する時に素材とするデータ全般を指す。例えば、コンピュータなどにローカルに保存されているデータや、新聞や雑誌などの紙原稿をスキャンして取得される画像などである。
【０１０１】
図１５−１は、コンピュータのフォルダ１０に格納されるデータ１１Ａ、１１Ｂの例を示す。図１５−２は、新聞２０をスキャンおよびトリミングして得られた画像２１Ａおよび２１Ｂの例を示す。また、図１５−３は、雑誌３０のあるページをスキャンおよびトリミングして得られた画像３１Ａおよび３１Ｂの例を示す。この例では、画像３１Ａおよび３１Ｂは、テキストから構成されている。また、これら以外にも、例えばＷｅｂデータの一部をコピーしたデータもコンテンツに含まれる。
【０１０２】
画像入力装置１１は、さらに、抽出したコンテンツを解析して属性を求める（ステップＳ１０２）。コンテンツおよび当該コンテンツの属性は、画像処理装置１００に供給される。
【０１０３】
これらコンテンツおよび当該コンテンツの属性は、画像処理装置１００においてコンテンツ取得部４０１により取得される。なお、画像データからコンテンツを抽出する処理や、コンテンツを解析して属性を求める処理は、画像処理装置１００において行ってもよい。
【０１０４】
画像処理装置１００にコンテンツおよび属性が供給されると、ステップＳ１１１で、ユーザは、画像処理装置１００に対して所定の操作を行って、画像入力装置１１から供給されたコンテンツの中から、供給されたページに配置したいコンテンツを選択する。画像処理装置１００において、レイアウト生成部４０２は、ステップＳ１０３で、この操作に応じてコンテンツを選択し、選択されたコンテンツをページに配置するレイアウト情報を生成する。
【０１０５】
ここで、レイアウト生成部４０２は、選択するコンテンツの属性が一致または類似するコンテンツを同一ページに配置してレイアウト情報を生成する。このときに、属性が一致または類似する属性クラス単位で上述した最密充填レイアウト方法を適用して、コンテンツがページを跨がないように配置すると共に、１ページ内に効率的にコンテンツを配置する。そして、各属性クラスのレイアウト情報を統合して、最終的なレイアウト情報とする。これにより、効率的且つ同一ページ内に属性の異なるコンテンツを含まないページ割付およびレイアウトが実現できる。
【０１０６】
レイアウト情報が生成されると、画像処理装置１００における画像生成部４０３は、レイアウト情報に基づき、コンテンツによる画像を形成するための出力画像を生成する（ステップＳ１０４）。画像出力装置１２がプリンタ装置であれば、この出力画像は、例えばＰＤＬ(Page Description Language)の形式で生成される。そして、ステップＳ１０５で、出力画像が画像形成装置１２に供給され、画像形成装置１２において出力画像に従い画像が形成されて画像の出力がなされる。
【０１０７】
画像データからコンテンツを抽出する方法について説明する。自動的な領域分割の技術としては、射影を利用する方法、黒画素の統合による方法、空白セパレータと射影を利用する方法など様々な手法が提案されており、これら既知の領域分割方法を適用可能である。
【０１０８】
例えば、特許第３１８７８９５号公報には、文書画像から文字列を含む複数の小領域を抽出し、該複数の小領域から空白部または罫線を検出し、該検出された空白部または罫線を基に、１段組、複数段組、自由段組を含む段組種類を判別し、該段組種類に応じて該空白部を用いて前記小領域を統合し、前記文書画像を所定の領域に分割する文書画像の領域分割方法が開示されている。
【０１０９】
また、例えば特開２００７−１６６５４１号公報には、画像上に混在する文字、写真、表、線画などをそれぞれ解析し、コンテンツの属性に合わせた画像処理を施したり出力形式にあったデータに変換する技術が開示されている。この特開２００７−１６６５４１号公報によれば、画像中の黒画素塊、白画素塊の集合を抽出し、その形状、大きさ、集合状態などの特徴量から文字、写真、図形、表、枠、線画といった属性、およびその領域を抽出している。
【０１１０】
原稿や画像データから自分の必要とする素材（コンテンツ）を集めて文書を作成する作業に関し、本第１の実施形態では、原稿を読み取った画像を解析して得られたコンテンツ情報を利用して、出力画像におけるコンテンツのレイアウト（ページ割付の意味も含む）を自動的に生成する機能を実現している。これにより、ユーザが簡易な処理で出力文書を構成できる。
【０１１１】
その際、コンテンツの属性が一致または類似するコンテンツ同士が同じページ上に割り付けられるようにコンテンツのレイアウトを決定するため、例えば、著作権情報をコンテンツ属性とする場合、著作権保護の観点から安易に印刷すべきでないコンテンツを特定のページにレイアウトすることができる。こうすることで、出力が許可されるコンテンツを含むページを選択することで、著作権保護を考慮した印刷が容易に可能となる。
【０１１２】
なお、図１４のフローチャートにおけるステップＳ１０３で生成されたレイアウト情報を、レイアウト生成履歴として蓄積しておくことができる。具体的には、後述するレイアウト処理モードと、レイアウト生成の際に用いた属性を、例えばＨＤＤ１０５に保持する。このとき、操作を行ったユーザのプロファイルと関連付けて、当該履歴を保持してもよい。
【０１１３】
ユーザが多用するレイアウト方法を保持しておくことで、例えば、複数用意されたコンテンツ属性からユーザがどの属性に基づいたレイアウトを好んで使用しているか、または複数のレイアウト処理モードのうち、ユーザが使用する可能性の高いレイアウト処理モードはどれか、などを分析することができる。この分析結果に基づき、図示されない表示部に対して表示される属性選択画面、レイアウト処理モード選択画面などにおいて、選択容易な位置に使用頻度の高い選択項目を表示するなどの工夫が可能となる。
【０１１４】
ユーザが多用するレイアウト方法を保持しておく事で、例えば、複数用意されたコンテンツ属性からユーザがどの属性に基づいたレイアウトを好んで使用しているか、又は複数のレイアウト処理モードのうち、ユーザが使用する可能性の高いレイアウト・モードはどれか、などを分析し、表示制御手段において属性選択画面、レイアウト・モード選択画面上で選択しやすい位置に頻度の高いオプションを表示する、などの工夫が可能となる。
【０１１５】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本第２の実施形態では、コンテンツの画像特性に関する属性に基づいてレイアウトを生成する。
【０１１６】
第１の例は、画像特性が、コンテンツによる画像がモノクロ画像であるかカラー画像であるかを示す場合の例である。図１６は、コンテンツによる画像がモノクロおよびカラー画像かに基づきレイアウト情報を生成する一例の処理を示すフローチャートである。
【０１１７】
なお、ここでは、ユーザが指定したコンテンツに、予め順序が付与されているものとする。順序は、例えばコンテンツを選択する際の選択順や、ユーザによるナンバリング指定を入力し、その結果をそのまま用いても良い。なお、コンテンツに順序が付与されていない場合は、コンテンツの面積や高さなどでソートしてもよい。
【０１１８】
先ず、ステップＳ１２０で、コンテンツ取得部４０１が、指定されたコンテンツによる画像がモノクロおよびカラー画像の何れであるかを示す属性を取得する。次に、ステップＳ１２１で、レイアウト生成部４０２は、当該属性に基づき、指定されたコンテンツによる画像がモノクロ画像およびカラー画像の何れであるかを判定する。若し、モノクロ画像であると判定されたら、処理はステップＳ１２２に移行され、モノクロ専用ページに当該コンテンツを配置する。一方、コンテンツによる画像がカラー画像であると判定されたら、処理はステップＳ１２３に移行され、カラー専用ページにコンテンツを配置する。
【０１１９】
そして、ステップＳ１２４で、指定された全てのコンテンツについて処理が終了したか否かが判定される。若し、終了していないと判定されたら、処理はステップＳ１２０に戻される。一方、指定された全コンテンツについて処理が終了したと判定されたら、処理はステップＳ１２５に移行され、レイアウト生成部４０２が、モノクロ専用ページとカラー専用ページのレイアウトを統合してレイアウト情報を生成する。
【０１２０】
このように、モノクロ画像によるコンテンツと、カラー画像によるコンテンツとを異なるページに分けて配置することで、モノクロ画像によるコンテンツが配置されたページは、画像形成装置１２においてモノクロによる印字が可能となる。そのため、モノクロ画像のコンテンツとカラー画像のコンテンツとが混在したページをカラー印刷する場合に生じる、モノクロ画像によるコンテンツの画質劣化を防ぐことができる。さらに、カラー印字の枚数を低減することが可能となり、カラー用のトナーセーブが可能となる。
【０１２１】
第２の例は、画像特性が、コンテンツによる画像がテキストであるかイメージであるかを示す場合の例である。この場合も、上述の第１の例と同様に処理を行うとができる。すなわち、コンテンツによる画像がテキストであれば、テキスト専用ページに当該コンテンツを配置し、コンテンツによる画像がイメージであれば、イメージ専用ページに当該コンテンツを配置する。
【０１２２】
この第２の例によれば、画像データにおけるテキスト領域とイメージ領域とを分離する像域分離処理部と、当該像域分離処理部に伴うパラメータ設定部とを備えていない画像処理装置では、テキストによるコンテンツとイメージによるコンテンツとを同一ページ内に混在させないようにレイアウトすることができる。これにより。ページ内で統一的な画像補正方法を適用しても、画質劣化は生じにくい。
【０１２３】
一方、像域分離処理部を有する画像処理装置において、像域分離結果を用いてスキャナγやフィルタ、階調処理などを行う場合であっても、テキスト領域およびイメージ領域に対する処理の適応性に課題が多く、エッジや粒状性に画質的な問題が生じたりすることがある。第２の例の方法により、ページ内のコンテンツの属性をテキストまたはイメージに統一することで、画質上のメリットが見込まれる。
【０１２４】
第３の例は、画像特性が、コンテンツによる画像が自然画像であるか、人工画像であるかを示す場合の例である。なお、自然画像は、写真や絵画による画像に代表されるもので、隣接画素間の相関が低く、予測符号化に適さない画像である。一方、人工画像は、コンピュータグラフィクスに代表されるもので、簡単な規則により画素が配列され、隣接画素間の相関が高く予測符号化に適している。この場合も、上述の第１の例と同様に処理を行うとができる。すなわち、コンテンツによる画像が自然画像であれば、自然画像専用ページに当該コンテンツを配置し、コンテンツによる画像が人工画像であれば、人工画像専用ページに当該コンテンツを配置する。
【０１２５】
自然画像と人工画像とでは、画質向上に関わる画像処理（輪郭補正のゲインなど）が異なる。そのため、予め自然画像と人工画像とを分けてページに割り付けることにより、ページ内で統一的な画像補正方法を適用することができ、コンテンツの画質を向上させることができる。
【０１２６】
第４の例は、画像特性が、コンテンツによる画像の画質レベルを示す場合の例である。ここで、画質レベルとは、画像の地の状態、ノイズ、濃度などに関する画像特徴から得られる数値データに対して閾値を設けることで定義される。閾値は、画像入力装置１１の機種毎の特性を反映して設定するのが望ましい。
【０１２７】
次に、複数の画像特性に基づきレイアウト情報を生成する場合の例について、図１７のフローチャートを用いて説明する。この例では、コンテンツがテキストによる画像かイメージによる画像かを示す画像特性と、コンテンツに含まれるテキストを構成する文字の大きさのレベルを示す画像特性と、コンテンツに含まれるオブジェクトの種類を示す画像特性とに基づきレイアウト情報を生成する。なお、コンテンツに含まれるオブジェクトの種類は、例えば上述した自然画像および人工画像であるものとする。
【０１２８】
先ず、ステップＳ１３０で、コンテンツ取得部４０１が、指定されたコンテンツの属性を取得する。次に、ステップＳ１３１で、レイアウト生成部４０２は、当該属性からコンテンツの画像がテキストによるものかイメージによるものかを判定する。若し、テキストに撮る画像であると判定されたら、処理はステップＳ１３２に移行され、コンテンツ取得部４０１が、文字の大きさがどのレベルに属するかを取得する。そして、次のステップＳ１３３で、レイアウト生成部４０２は、文字の大きさレベル毎のテキスト専用ページに、当該コンテンツを配置する。そして、処理がステップＳ１３６に移行される。
【０１２９】
一方、ステップＳ１３１で、コンテンツによる画像がイメージによるものであると判定されたら、処理はステップＳ１３４に移行され、コンテンツ取得部４０１が、当該コンテンツのイメージ種類が自然画像であるか人工画像であるかを取得する。そして、次のステップＳ１３５で、レイアウト生成部４０２は、オブジェクト種類毎に設けられた専用ページに、コンテンツを所定に配置する。そして、処理はステップＳ１３６に移行される。
【０１３０】
そして、ステップＳ１３６で、指定された全てのコンテンツについて処理が終了したか否かが判定される。若し、終了していないと判定されたら、処理はステップＳ１３０に戻される。一方、指定された全コンテンツについて処理が終了したと判定されたら、処理はステップＳ１３７に移行され、レイアウト生成部４０２が、各専用ページのレイアウトを統合してレイアウト情報を生成する。
【０１３１】
まず、像域分離処理部およびそれに伴うパラメータ設定部を備えていない画像処理装置において、テキストによるコンテンツとイメージによるコンテンツとを同一ページ内に混在させないようにレイアウトすることで、ページ内で統一的な画像補正方法を適用させることができる。
【０１３２】
一方、像域分離結果を用いてスキャナγやフィルタ、階調処理などを行う場合であっても、領域に対する処理の適応性に課題が多く、エッジや粒状性に画質的な問題が生じたりすることがある。そのため、ページ内のコンテンツの属性（テキストかイメージか）を統一することで、画質上のメリットが見込まれる。
【０１３３】
また、コンテンツによる画像の地の状態、ノイズ、濃度などの画質レベルを属性とし、画質レベルの異なるコンテンツを同一ページ内に混在させないことで、ページ内で統一的な画像補正処理を適用させることができる。
【０１３４】
さらに、自然画像と人工画像とでは、画質向上に関わる画像処理（輪郭補正のゲインなど）が異なるため、予め自然画像と人工画像とを分けてページに割り付けることにより、ページ内で統一的な画像補正方法を適用させることができる。
【０１３５】
さらにまた、同一ページの文字の大きさはなるべく揃っている方が読み易いという観点から、テキストによるコンテンツについて、文字の大きさがなるべく一致するようなコンテンツを同一ページに割り付ける。
【０１３６】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。本第３の実施形態では、画像取得時、コンテンツ解析時、あるいは画像指定時に取得された情報を属性として、この属性に基づきページの割付やレイアウトを決定する処理について説明する。すなわち、本第３の実施形態では、画像そのものの特性を属性として用いない。
【０１３７】
例えば、コンテンツの原稿元が雑誌や新聞などの場合、紙面節約のために１つのコンテンツが次ページに跨る場合がある。このような場合、ページを跨いだ部分が別のコンテンツなってしまい、レイアウト情報生成時に分散されて配置されてしまうおそれがある。また、コンテンツ抽出のために画像の領域分割を行った結果、２つのコンテンツに分かれて抽出されたコンテンツを１つに纏めたいというケースも考えられる。こうした状況に対し、原稿から読み取った画像データを常に画像データ単位で解析するのではなく、複数の画像データに亘って解析する。これにより、複数ページに跨ったコンテンツや、関連度の高いコンテンツを接合して１つのコンテンツとして扱う事ができるようになる。
【０１３８】
図１８は、本第３の実施形態による画像処理装置１００の機能を示す一例の機能ブロック図を示す。なお、図１８において、上述した図１３と共通する部分には同一の符号を付し、詳細な説明を省略する。図１８に例示されるように、本第３の実施形態による画像処理装置１００は、上述した図１３による画像処理装置１００に対して、複数のコンテンツを結合して１つのコンテンツとするコンテンツ結合部４０４が追加されている。
【０１３９】
例えば、図１４を用いて説明したように、ユーザにより画像入力装置１１としての画像読み取り装置に原稿がセットされ（ステップＳ１１０）、画像入力装置１１により当該原稿による画像が取得され（ステップＳ１００）、コンテンツが抽出されコンテンツの属性が求められる（ステップＳ１０１、ステップＳ１０２）。その後、ユーザ操作によりコンテンツが選択される（ステップＳ１１１）。レイアウト生成部４０２は、選択されたコンテンツをページ配置し、レイアウト情報を生成する（ステップＳ１０３）。
【０１４０】
このとき、選択された複数のコンテンツが元の原稿上では１つのコンテンツであった場合、この選択された複数のコンテンツを１つのコンテンツに結合することが考えられる。
【０１４１】
図１９は、複数のコンテンツを結合する一例の処理を示すフローチャートである。先ず、ステップＳ１４０で、コンテンツ結合部４０４は、あるコンテンツ（コンテンツＡとする）に対して指定されたコンテンツ（コンテンツＢとする）の元原稿上での位置情報を取得する。コンテンツの元原稿上での位置情報は、例えば画像入力装置１１が原稿読み取り時に属性として求め、画像処理装置１００に供給する。また、コンテンツＡの元原稿上での位置情報は、予め取得されているものとする。コンテンツ結合部４０４は、取得されたコンテンツＢの位置情報に基づき、これら２つのコンテンツＡおよびコンテンツＢが元原稿上では１つのコンテンツであったか否かを判定する。
【０１４２】
例えば、コンテンツの位置情報に基づき２つのコンテンツ間の距離を求め、この距離が閾値以下であって、且つ、例えば２つのコンテンツの原稿における高さ方向の位置が対応していれば、これら２つのコンテンツが元原稿上では連結された１つのコンテンツであったと判定する。
【０１４３】
コンテンツＡおよびコンテンツＢとが元原稿上では１つのコンテンツであったと判定されたら、コンテンツ結合部４０４は、これらコンテンツＡおよびコンテンツＢを結合して１つのコンテンツとする（ステップＳ１４１）。処理はステップＳ１４２に移行され、続けて指定されたコンテンツ全てで上述の処理を行ったか否かを判定する。指定された全てのコンテンツに対して処理が行われたと判定されたら、一連の処理が終了される。一方、未だ処理されていないコンテンツがあると判定されたら、処理はステップＳ１４０に戻される。
【０１４４】
複数のコンテンツの原稿元が同一である場合、これら複数のコンテンツ間の関連性が強い場合が多い。この場合、これら原稿元が同一の複数のコンテンツを同一ページに配置すると好ましい。また、これら原稿元が同一の複数のコンテンツは、画質レベル（地肌、ノイズ、濃度などの状態）が類似している可能性が高く、上述にした様々な効果と同様、同一ページ内に配するメリットが高い。原稿元の同一性は、例えば背景色の類似度や見出しの統一性などの画像情報から判定することができる。これに限らず、ユーザが画像を指定する際に、原稿元に関する情報も指定するなどの方法も可能である。
【０１４５】
また、画像入力装置１１における画像読み込みのタイミングや、指定された画像コンテンツの順序などの情報を利用してレイアウト情報を生成することも考えられる。例えば、複写機などを使用して複数の雑誌や新聞、教科書などから原稿をコピーする場合について考える。この場合、連続的に入力されるコンテンツは、互いに関連度が大きい、または、同種の原稿元である可能性が高いことが期待できる。
【０１４６】
より具体的には、画像入力装置１１において画像読み込み時刻を記録し、複数のコンテンツにおいて、画像読み込み時刻の差分が閾値より小さければ、これら複数のコンテンツの属性が一致すると判定することが考えられる。これにより、コンテンツの元となる画像データが生成される時刻に基づきレイアウト情報を生成し、関連度の高いコンテンツを同一ページ内に配置することができる。
【０１４７】
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。本第４の実施形態は、表示部に対してコンテンツの配置処理の経過を示すプレビュー画面や、コンテンツのページへの配置を指示するエディット画面を表示させて、コンテンツ指定やレイアウト確認を行う場合のユーザ支援を行う。
【０１４８】
図２０は、本第４の実施形態に適用可能な画像処理装置１００’を含む画像処理システムの一例の構成を示す。なお、図２０において、上述した図１と共通する部分には同一の符号を付し、詳細な説明を省略する。図２０に例示される画像処理装置１００’は、上述した図１に例示した画像処理装置１００に対してグラフィクス部１０６および入力部１０８が追加されると共に、表示部１０７が接続される。
【０１４９】
表示部１０７は、例えばＬＣＤ(Liquid Crystal Display)などによる表示デバイスと、当該表示デバイスを駆動する駆動回路を有する。グラフィクス部１０６は、ＣＰＵ１０１によりプログラムに従い出力された表示制御信号を、表示部１０７が対応可能な信号に変化し、表示部１０７に供給される。これにより、表示部１０７に対してプログラムに従った画面を表示させることができる。
【０１５０】
入力部１０８は、マウスなどのポインティングデバイスや、キーボード、タッチパネルなどの、ユーザ操作に対応した制御信号を出力する入力デバイスが接続される。
【０１５１】
図２１は、本第４の実施形態による画像処理装置１００’の機能を示す一例の機能ブロック図を示す。なお、図２１において、上述した図１３と共通する部分には同一の符号を付し、詳細な説明を省略する。図２１に例示されるように、本第４の実施形態による画像処理装置１００’は、上述した図１３による画像処理装置１００に対して、表示制御部４０５および配置設定部４０６が追加されている。画像処理装置１００’に対して、上述した図１８におけるコンテンツ結合部４０４をさらに追加してもよい。
【０１５２】
表示制御部４０５は、表示部１０７対する表示を行うための表示制御信号を生成する。配置設定部４０６は、入力部１０８に対するユーザ操作に応じた制御信号に基づき座標情報や操作情報を生成し、コンテンツの配置設定を行う。上述した入力部１０８および表示部１０７に対する表示と、配置設定部４０５および表示制御部４０６とを用いて、ＧＵＩ(Graphical User Interface)を構成することができる。
【０１５３】
図２２は、本第４の実施形態による、コンテンツを確認するためのＧＵＩであるコンテンツビューアの一例の表示を示す。図２２に例示されるコンテンツビューア４０は、原稿から画像を読み取って取得したコンテンツによる画像４１Ａ、４１Ｂ、４１Ｃおよび４１Ｄが、属性毎にグループ分けされて表示される例である。
【０１５４】
図２３は、コンテンツビューアの別の例を示す。図２３に例示されるコンテンツビューア４２は、原稿の読み取り順（原稿から読み取った画像データの生成順）に、各コンテンツ情報４３、４３、…が並べられて表示されている。各コンテンツ情報４３、４３、…は、例えばコンテンツ４４と、当該コンテンツに対応する属性情報４５とが共に表示される。
【０１５５】
図２２および図２３に例示されるように、コンテンツを表示する際に、コンテンツ４４に対して選択の指標となる属性情報４５を関連付けて表示することで、ユーザが必要なコンテンツを選択する際のヒントを与えることができる。
【０１５６】
例えば、コンテンツがテキストによるコンテンツなのか、イメージによるコンテンツなのかを分けて表示することができる。また、コンテンツビューアに表示されるコンテンツについて、背景色の同一性などから同一原稿のコンテンツを抽出し、それらを纏めて表示することができる。これにより、ユーザは、原稿を読み取った画像から生成されたコンテンツの中から、必要なコンテンツを素早く探すことができるようになる。
【０１５７】
さらに、表示部１０７の表示画面上に出力用紙テンプレートを表示し、ユーザがドラッグアンドドロップ操作などによりコンテンツの初期配置を決定するＧＵＩを構成することができる。図２４は、出力用紙テンプレートとコンテンツとを１つの画面上に表示し、コンテンツの配置を指定するためのＧＵＩであるエディタ５０の表示画面の一例を示す。
【０１５８】
図２４の例では、出力用紙テンプレート５１Ａおよび５１Ｂがページ単位で表示されると共に、出力用紙テンプレート５１Ａおよび５１Ｂの下にコンテンツ５２Ａ〜５２Ｄが表示される例である。また、エディタ５０において、入力部１０８に対する操作によりボタン５３を指定することで、他の出力用紙テンプレートを表示させることができる。また、同様にボタン５４を指定することで、他のコンテンツを表示させることができる。
【０１５９】
ユーザは、このエディタ５０の表示画面を参照しながら入力部１０８を操作することで、例えば表示されているコンテンツ５２Ａ〜５２Ｄの中から所望のコンテンツを、出力用紙テンプレート５１Ａ、５１Ｂの好みの位置にドラッグアンドドロップなどにより配置して、ページの初期配置を設定することができる。レイアウト生成部４０２は、この初期配置に基づきレイアウト情報を生成する。
【０１６０】
入出力の用紙サイズが特殊な場合など、ユーザが出力レイアウトをイメージするのが困難な場合も考えられる。従来の集約印刷や集約コピーでは、このような場合、コンテンツ配置、印字処理、レイアウト確認を繰り返すことにより試行錯誤して最終的なレイアウトを設定する必要があり、大変に手間がかかっていた。
【０１６１】
このようなユーザの負担を軽減させるために、本第４の実施形態では、画像処理装置１００において、入力部１０８、表示部１０７、表示制御部４０５および配置設定部４０６でＧＵＩを構成する。そして、ユーザがＧＵＩの画面上で出力結果画像をイメージしながらコンテンツの大雑把な配置、およびページ割付（すなわち初期配置）を設定可能とする。これにより、コンテンツからの文書構成過程が視覚的に確認でき、コンテンツのレイアウト処理の負荷を軽減させることができる。
【０１６２】
複数のレイアウト処理モードを予め用意し、ユーザがこれを選択することで、目的に沿ったレイアウトを容易に設定することが可能となる。図２５は、複数のレイアウト処理モードを選択可能としたエディタ６０の一例の表示を示す。なお、図２５において、上述の図２４と共通する部分には同一の符号を付して、詳細な説明を省略する。
【０１６３】
図２５に例示するエディタ６０は、上述の図２４で例示したエディタ５０に対してレイアウト処理モードを選択するボタン６５Ａおよび６５Ｂが追加されている。図２６は、これらボタン６５Ａおよび６５Ｂを指定した場合のレイアウトを確認するためのプレビュー画面７０の例を示す。
【０１６４】
ボタン６５Ａは、デザイン（見た目のバランス）を重視した配置が予め設定される。ボタン６５Ａが指定された場合、例えば上述した第３のレイアウト生成方法をページ内に適用させた配置を行う。一例として、ユーザがコンテンツ５２Ａ〜５２Ｄから所望のコンテンツを、ドラッグアンドドロップなどにより出力用紙テンプレート５１Ａ上に配置すると、第３のレイアウト生成方法に従い、配置されたコンテンツの位置が自動的に調整される。ボタン６５Ａを指定した場合の配置の例を、図２６の左側のプレビュー表示７２に示す。
【０１６５】
一方、ボタン６５Ｂは、コンテンツをコンパクトに配置して出力用紙の効率的な利用を可能とする。ボタン６５Ｂが指定された場合、例えば上述した第１のレイアウト生成方法を適用し、ページ内に最密充填配置によりコンテンツを配置する。ボタン６５Ｂを指定した場合の配置の例を、図２６の右側のプレビュー表示７１に示す。
【０１６６】
ユーザが求めるレイアウトは、用途に応じて様々であり、例えば個人用のメモであれば、コンテンツ配置における見た目のバランスなどは考慮する必要性が低く、出力用紙を無駄にしなくて済むように、効率的に配置する場合が多いと考えられる。一方、他人へ配布する資料などの場合には、アラインや配置のバランスなどが考慮されてコンテンツが配置されることが望ましい。このように、複数のレイアウト処理モードを用意することで、用途に応じたレイアウトを容易に設定することが可能となる。例えば、特開２００７−２４２０２１号公報に開示された技術を用いる事で、上述のような、デザイン性を考慮したレイアウトも可能となる。
【０１６７】
さらに、本発明に係る画像処理装置では、レイアウト部分を自動化する事で作業の効率化を図っている。ここで、指定されたコンテンツのレイアウトを自動化する場合、ユーザがいつも正しくレイアウト結果を推測できるとは限らない。そこで、本第４の実施形態のように、レイアウト処理結果の出力イメージを表示する（図２６参照）ことは、ユーザの期待に反するレイアウトで出力されるのを防ぐ効果がある。
【０１６８】
＜他の実施形態＞
上述した各実施形態による画像処理装置１００で実行される画像処理プログラムは、インストール可能な形式または実行可能な形式のファイルでフレキシブルディスク（ＦＤ）、ＣＤ(Compact Disk)、ＤＶＤ(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１６９】
また、上述した各実施形態による画像処理装置１００で実行される画像処理プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述した各実施形態による画像処理装置１００または画像処理装置１００’で実行される画像処理プログラムをインターネットなどのネットワーク経由で提供または配布するように構成しても良い。  
【０１７０】
また、上述した各実施形態による画像処理装置１００または画像処理装置１００’で実行される画像処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１７１】
上述した各実施形態による画像処理装置１００または画像処理装置１００’で実行される画像処理プログラムは、図１３または図１８を用いて説明した画像処理装置１００、あるいは、図２１を用いて説明した画像処理装置１００’の各部をそれぞれ生成するモジュールを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ１０１（プロセッサ）が例えばＨＤＤ１０５から画像処理プログラムを読み出して実行することにより、上述の各モジュールが主記憶装置（ＲＡＭ１０４）上にロードされ、各モジュールが主記憶装置上に生成されるようになっている。
【符号の説明】
【０１７２】
１１  画像入力装置
１２  画像形成装置
１００，１００’  画像処理装置
１０１  ＣＰＵ
１０７  表示部
１０８  入力部
４０１  コンテンツ取得部
４０２  レイアウト生成部
４０３  画像生成部
４０４  コンテンツ結合部
４０５  表示制御部
４０６  配置設定部
【先行技術文献】
【特許文献】
【０１７３】
【特許文献１】特許第３４３０５９２号公報
【特許文献２】特開２００７−１１０３９２号公報
【特許文献３】特開２００１−１４４７９号公報
【特許文献４】特開２００５−１９００９９号公報
【図１】
2011065295.tif 000010
【図２】
2011065295.tif 000011
【図３】
2011065295.tif 000012
【図４】
2011065295.tif 000013
【図５】
2011065295.tif 000014
【図６】
2011065295.tif 000015
【図７−１】
2011065295.tif 000016
【図７−２】
2011065295.tif 000017
【図８】
2011065295.tif 000018
【図９−１】
2011065295.tif 000019
【図９−２】
2011065295.tif 000020
【図１０】
2011065295.tif 000021
【図１１】
2011065295.tif 000022
【図１２】
2011065295.tif 000023
【図１３】
2011065295.tif 000024
【図１４】
2011065295.tif 000025
【図１５−１】
2011065295.tif 000026
【図１５−２】
2011065295.tif 000027
【図１５−３】
2011065295.tif 000028
【図１６】
2011065295.tif 000029
【図１７】
2011065295.tif 000030
【図１８】
2011065295.tif 000031
【図１９】
2011065295.tif 000032
【図２０】
2011065295.tif 000033
【図２１】
2011065295.tif 000034
【図２２】
2011065295.tif 000035
【図２３】
2011065295.tif 000036
【図２４】
2011065295.tif 000037
【図２５】
2011065295.tif 000038
【図２６】
2011065295.tif 000039