(57)【要約】【課題】ページを集約したレイアウトに無条件でシームカービングを適用すると画像に歪が生じたり、画像内の重要情報まで削除の対象となってしまう場合がある。【解決手段】ページ集約したレイアウトに画像を配置する際に、配置対象の画像を示す画像データを線形な変倍により縮小する。そして、その縮小された画像データから重要度の低いシームを削除することにより、その縮小された画像データをさらに縮小する。【選択図】図３
2016058868.tif 000002
【特許請求の範囲】
【請求項１】
ページ集約したレイアウトに画像を配置する指示を取得する取得手段と、
配置対象の画像を示す画像データを線形な変倍により縮小する第一の縮小手段と、
前記第一の縮小手段で縮小された画像データから重要度の低いシームを削除することにより前記第一の縮小手段で縮小された画像データをさらに縮小する第二の縮小手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記第二の縮小手段は、集約するページ数に応じて前記第二の縮小手段で用いる縮小率を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第二の縮小手段は、集約するページ数が多い場合、集約するページ数が少ない場合よりも高い縮小率を前記第二の縮小手段で用いる縮小率として決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第一の縮小手段は、前記第二の縮小手段で縮小される前の画像サイズに基づいて、前記第一の縮小手段で用いる縮小率を決定することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記第二の縮小手段で縮小される前の画像サイズは、前記第二の縮小手段で縮小された後の画像サイズと、前記第二の縮小手段で用いる縮小率とに基づいて決定されることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第二の縮小手段で縮小された後の画像サイズは、出力用紙、出力解像度、及び集約するページ数に基づいて決定されることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記取得手段は、前記レイアウトに含まれる集約されるページ数を増やす指示をさらに取得し、
前記第一の縮小手段及び前記第二の縮小手段は、前記ページ数を増やしたレイアウトに応じて縮小を行なうことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
前記第二の縮小手段は、
画像データにおける各ピクセルの重要度を表す重要度マップを生成し、
前記重要度マップを探索することで重要度の低いシームを決定し、
決定したシームを削除することを画像が所定のサイズになるまで繰り返すことで前記画像データを縮小することを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
ページ集約済みの画像を示す画像データを取得する取得手段と、
前記画像に割り付けられたページ数に応じて前記画像上の区画を決定する決定手段と、
前記決定された区画毎に、重要度の低いシームをそれぞれの区画から削除することにより画像データを縮小する縮小手段と、
シームの削除によって縮小された区画が縮小される前と同じサイズの区画になるまで、線形な変倍により前記縮小された画像データを拡大する拡大手段と
を有することを特徴とする画像処理装置。
【請求項１０】
ページ集約済みの画像を示す画像データを取得する取得手段と、
前記画像に割り付けられたページ数に応じて前記画像上の区画を決定する第一の決定手段と、
前記決定された区画毎に、重要度の低いシームをそれぞれの区画から削除することにより画像データを縮小する縮小率を決定する第二の決定手段と、
前記取得した画像データを前記決定された縮小率に基づいて線形な変倍によって拡大する拡大手段と
前記拡大手段で拡大された画像データを前記シームの削除によって縮小する縮小手段と
を有することを特徴とする画像処理装置。
【請求項１１】
複数のページ画像が集約された画像を示す画像データを取得する取得手段と、
前記集約された画像を１枚の用紙に印刷する印刷手段とを有し、
前記印刷手段で１枚の用紙上に印刷された画像は、前記複数のページ画像に対応する区画のサイズが同じであり、かつ、前記印刷された画像の各ページ画像に含まれる第一のオブジェクトの変倍率と、前記第一のオブジェクトとは異なる第二のオブジェクトの変倍率とが異なることを特徴とする画像処理装置。
【請求項１２】
複数のページ画像が集約された画像を示す画像データと、前記画像データを等倍で印刷する指示とを取得する取得手段と、
前記取得手段で取得した指示に従って、前記集約された画像を１枚の用紙に等倍で印刷する印刷手段とを有し、
前記印刷手段で１枚の用紙上に印刷された画像は、前記複数のページ画像に対応する区画のサイズが同じであり、かつ、前記印刷された画像の各ページ画像に含まれる第一のオブジェクトの変倍率と、前記第一のオブジェクトとは異なる第二のオブジェクトの変倍率とが異なることを特徴とする画像処理装置。
【請求項１３】
ページ集約したレイアウトに画像を配置する指示を取得する取得ステップと、
配置対象の画像を示す画像データを線形な変倍により縮小する第一の縮小ステップと、
前記第一の縮小ステップで縮小された画像データから重要度の低いシームを削除することにより前記第一の縮小ステップで縮小された画像データをさらに縮小する第二の縮小ステップと
を有することを特徴とする画像処理方法。
【請求項１４】
ページ集約済みの画像を示す画像データを取得する取得ステップと、
前記画像に割り付けられたページ数に応じて前記画像上の区画を決定する決定ステップと、
前記決定された区画毎に、重要度の低いシームをそれぞれの区画から削除することにより画像データを縮小する縮小ステップと、
シームの削除によって縮小された区画が縮小される前と同じサイズの区画になるまで、線形な変倍により前記縮小された画像データを拡大する拡大ステップと
を有することを特徴とする画像処理方法。
【請求項１５】
ページ集約済みの画像を示す画像データを取得する取得ステップと、
前記画像に割り付けられたページ数に応じて前記画像上の区画を決定する第一の決定ステップと、
前記決定された区画毎に、重要度の低いシームをそれぞれの区画から削除することにより画像データを縮小する縮小率を決定する第二の決定ステップと、
前記取得した画像データを前記決定された縮小率に基づいて線形な変倍によって拡大する拡大ステップと
前記拡大ステップで拡大された画像データを前記シームの削除によって縮小する縮小ステップと
を有することを特徴とする画像処理方法。
【請求項１６】
複数のページ画像が集約された画像を示す画像データを取得する取得ステップと、
前記集約された画像を１枚の用紙に印刷する印刷ステップとを有し、
前記印刷ステップで１枚の用紙上に印刷された画像は、前記複数のページ画像に対応する区画のサイズが同じであり、かつ、前記印刷された画像の各ページ画像に含まれる第一のオブジェクトの変倍率と、前記第一のオブジェクトとは異なる第二のオブジェクトの変倍率とが異なることを特徴とする画像処理方法。
【請求項１７】
複数のページ画像が集約された画像を示す画像データと、前記画像データを等倍で印刷する指示とを取得する取得ステップと、
前記取得ステップで取得した指示に従って、前記集約された画像を１枚の用紙に等倍で印刷する印刷ステップとを有し、
前記印刷ステップで１枚の用紙上に印刷された画像は、前記複数のページ画像に対応する区画のサイズが同じであり、かつ、前記印刷された画像の各ページ画像に含まれる第一のオブジェクトの変倍率と、前記第一のオブジェクトとは異なる第二のオブジェクトの変倍率とが異なることを特徴とする画像処理方法。
【請求項１８】
コンピュータを請求項１から１２のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像を変倍する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
画像内のコンテンツを意識した画像の変倍技術として、シームカービング（Ｓｅａｍ  Ｃａｒｖｉｎｇ）が知られている。シームカービングとは、画像の縮小時や、画像の縦横比を維持しない変倍時に、画像内の重要個所を保持する変倍を実現する技術である。シームカービングでは画像の各ピクセルの重要度を表す重要度マップ（エネルギーマップ）を輝度勾配やエッジ情報、視覚顕著性などに基づいて生成する。そして、その重要度マップから縦横において最も重要度の低いシーム（継ぎ目）を探索し、当該シームを削除することにより、矩形を維持したまま画像の変倍を行う。特に画像の縮小において画像の重要情報が保持されることから、画像内の重要情報の選別技術と捉えることもできる。シームカービングをドキュメントに応用した技術として、ドキュメントの背景からバランス良くシームを削除する技術が知られている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１８７３７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
シームカービングは画像内の重要箇所を保持する技術であるが、縮小率が大きいと画像の歪みが生じたり、画像内の重要な情報まで削減の対象となる場合がある。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、ページ集約したレイアウトに画像を配置する指示を取得する取得手段と、配置対象の画像を示す画像データを線形な変倍により縮小する第一の縮小手段と、前記第一の縮小手段で縮小された画像データから重要度の低いシームを削除することにより前記第一の縮小手段で縮小された画像データをさらに縮小する第二の縮小手段とを有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、適度なシームカービング処理を適用することにより、重要箇所を保持したレイアウトを提供することができる。
【図面の簡単な説明】
【０００７】
【図１】実施形態の説明で用いるハードウェアの例を示すブロック図である。
【図２】実施形態の説明で用いるソフトウェアの例を示すブロック図である。
【図３】実施形態１の説明で用いる画像レイアウトのフローを示す図である。
【図４】実施形態１の説明で用いるシームカービングを説明する図である。
【図５】実施形態２の説明で用いるページ集約済み画像の例と、この画像にシームカービングを適用した例とを示す図である。
【図６】実施形態２の説明で用いるページ集約レイアウト済みの印刷データの再レイアウト処理のフローを示す図である。
【図７】実施形態３の説明で用いるページ集約数増加時のレイアウト処理のフローを示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明を実施するための形態について図面を用いて説明する。
【実施例１】
【０００９】
＜画像処理装置のハードウェア構成図＞
図１は本実施例の画像処理装置の構成を説明するハードウェアブロック図である。本実施例では画像処理装置はプリンタ装置として機能する形態を用いて説明するが、独立した画像処理装置としても成立し得るものである。
【００１０】
図１の画像処理装置１００は、コントローラユニット１５０と、操作部１１４とプリンタエンジン１１５とを有する。コントローラユニット１５０は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、システムバス１０５、ネットワークＩ／Ｆ１０６、操作部Ｉ／Ｆ１０７、画像圧伸部１１１、画像回転部１１２、ＲＩＰ１０９、プリンタ画像処理部１１０を有する。
【００１１】
コントローラユニット１５０は、画像信号やデバイス情報の入出力を制御する。ＣＰＵ１０１はＲＯＭ１０３あるいはＨＤＤ１０４に記憶されたプログラムをＲＡＭ１０２に読み出し、実行する。さらに、システムバス１０５に接続される各デバイスをＣＰＵ１０１が統括的に制御する。ＲＡＭ１０２は、ＣＰＵ１０１のメインメモリであり、画像処理装置の制御プログラムのためのワークエリアとして使用される。ＲＯＭ１０３には電源ＯＮ時に実行されるブートプログラムが格納され、ＨＤＤ１０４にはオペレーティングシステムと画像処理装置の制御プログラム本体が格納される。また、ＨＤＤ１０４は印刷データや画像データ等の大容量データを一時的あるいは長期的に保持する目的でも使用される。
【００１２】
ネットワークＩ／Ｆ１０６はローカルエリアネットワーク１１３に接続し、印刷データやデバイス情報の入出力を担う。操作部Ｉ／Ｆ１０７は操作部１１４とのインターフェース部で、操作部１１４に表示するビットマップデータを操作部１１４に対して出力する。また、操作部１１４から画像処理装置の使用者が入力した情報を、ＣＰＵ１０１に伝える役割をする。操作部１１４は、例えば出力器として液晶パネルと音源を備え、入力器としてタッチパネルとハードキーを備えるものである。コントローラユニット１５０はデバイスＩ／Ｆ１０８を介して、プリンタエンジン１１５に接続される。デバイスＩ／Ｆ１０８はＣＰＵ１０１の指示に基づき、画像信号の送出、デバイス動作指示、デバイス情報の受信を行う。プリンタエンジン１１５はコントローラユニット１５０からの画像信号を媒体上に出力する出力機であり、電子写真方式、インクジェット方式の何れでも構わない。
【００１３】
Ｒａｓｔｅｒ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｏｒ（ＲＩＰ）１０９は中間データであるディスプレイリスト（以後、ＤＬと略記する）を画像データに展開する専用ハードウェアである。ＲＩＰ１０９はＣＰＵ１０１によりＲＡＭ１０２上に生成されたＤＬを高速かつ、ＣＰＵ１０１の実行と並列に処理するものである。プリンタ画像処理部１１０は、画像データに対して、ガンマ補正等の画像補正や、ハーフトーニングを行う。画像回転部１１２は画像データの回転を行う。画像圧伸部１１１は、例えば多値画像データについてはＪＰＥＧ方式、２値画像データについてはＪＢＩＧ、ＭＭＲ、またはＭＨ方式などの圧縮伸張処理を行う。
【００１４】
＜画像処理装置のソフトウェアモジュール構成図＞
図２は画像処理装置のコントローラユニット１５０におけるソフトウェアモジュール構成図である。図２に記載した各ソフトウェアモジュールは、プログラムとしてＨＤＤ１０４に格納され、ＲＡＭ１０２にロードされＣＰＵ１０１により実行されるものである。より具体的には、各ソフトウェアモジュールはＣＰＵ１０１上で動作するＯＳ（オペレーティングシステム）によりＲＡＭ１０２にロードされ、スレッド単位で実行権を付与され、実行されるものである。
【００１５】
画像処理装置は、データ受信部２０１、ジョブ制御部２０２、ＰＤＬインタプリタ２０３、レンダラ２０４、プリントドライバ２０５、ユーザインタフェース２０６、レイアウタ２０７、シームカービング処理部２０８、ジョブデータ管理部２０９を有する。
【００１６】
データ受信部２０１は外部のホストコンピュータから送信された印刷データを受信する。受信した印刷データはジョブ制御部２０２を介してジョブデータ管理部２０９で保持される。ジョブ制御部２０２はデータ受信から印刷までのジョブ制御の全般を司る。ＰＤＬインタプリタ２０３は印刷データに含まれるページ記述言語（ＰＤＬ）により記述されたＰＤＬデータを解釈して、中間データであるＤＬを生成する。生成されたＤＬはジョブ制御部２０２を介してジョブデータ管理部２０９で保持される。レンダラ２０４はＤＬから画像データを生成するモジュールであり、多くの処理は専用ハードウェアＲＩＰ１０９により実行される。生成された画像データはジョブ制御部２０２を介してジョブデータ管理部２０９で保持される。
【００１７】
プリントドライバ２０５はデバイスＩ／Ｆ１０８を介してプリンタエンジン１１５への印刷指示と画像データの送出を行う。この際に、プリントドライバ２０５はプリンタ画像処理部１１０による画像補正およびハーフトーニングを制御する。
【００１８】
ユーザインタフェース２０６は操作部Ｉ／Ｆ１０７を介して、操作部１１４を制御するモジュールである。操作部１１４の液晶パネルに表示するデータを生成し、タッチパネルからの入力に従い液晶パネルの表示を更新する。また、タッチパネルからの入力が何らかのジョブ実行指示であった場合は、ジョブ制御部２０２に指示を伝達する。
【００１９】
レイアウタ２０７は印刷レイアウトを制御するモジュールであり、用紙に出力するための最終レイアウト画像を表す画像データの生成を行う。特にページ集約レイアウトの為の画像の縮小や拡大などの変倍処理と画像の配置制御を行う。実際の画像の変倍処理はレイアウタ２０７がＰＤＬインタプリタ２０３やシームカービング処理部２０８に指示することにより実行されるものである。
【００２０】
シームカービング処理部２０８は、シームカービング処理により画像を指定された大きさまで縮小するモジュールである。シームカービングは、前述のように、画像の重要な箇所を残し、重要でない箇所を削減することにより画像の縮小を実現する機能である。本実施例においてシームカービング処理はソフトウェアで実行するように記述するが、ハードウェアにより処理するように構成することも可能である。
【００２１】
＜画像レイアウト基本フロー図＞
図３は、コントローラユニット１５０にて実行される印刷データに対する画像レイアウトの処理の一例を表すフローチャートである。なお、本説明では図２の各ソフトウェアモジュールによって実行されるように記述する。また、本フローチャートはＨＤＤ１０４に記憶された図２の各ソフトウェアモジュール内の各プログラムがＲＡＭ１０２に読み出され、ＣＰＵ１０１により実行されることにより実現される。
【００２２】
最初にステップＳ３０１においてデータ受信部２０１は、印刷データを受信し、ＰＤＬデータとジョブチケットとを取り出してジョブデータ管理部２０９に保存する。ジョブチケットとは両面出力や出力用紙、ページ集約などの印刷設定を記述したファイルであり、ジョブ毎の印刷設定を通知するために使用される。ジョブチケットの詳細については後述する。
【００２３】
ステップＳ３０２においてジョブ制御部２０２は、ジョブチケットを参照してページ集約が指定されているか否かを判定する。ページ集約とは、ＰＤＬデータ内の連続する複数のページを指定された用紙に縮小し、割り付けて印刷する機能である。例えば属性値として１から５の値を持ち、「１」が１ｉｎ１、「２」が２ｉｎ１、「３」が４ｉｎ１、「４」が８ｉｎ１をそれぞれ示すように指定することが可能である。例えば、ジョブチケットに含まれるページ集約の属性値が「２」（つまり２ｉｎ１）の場合は連続する２ページが一枚の出力用紙の片面に割り付けられる。なお、ここで属性値が「１」（１ｉｎ１）であるということは、ページ集約を指定しないと同義である。ステップＳ３０２においてジョブ制御部２０２は、このようなジョブチケットに含まれるページ集約の属性値に基づいて、ページ集約が指定されているか否かを判定する。ステップＳ３０２においてページ集約が指定されていると判定された場合、ステップＳ３０３へ進み、ページ集約が指定されていないと判定された場合、ステップＳ３１１へ進む。
【００２４】
ステップＳ３０３においてレイアウタ２０７は、一枚の用紙に割り付けるページ数から、「単純縮小後の画像サイズ」と「シームカービング後の画像サイズ」とを決定する。これらのサイズを説明するために、簡単に本実施例の処理の概略を説明する。本実施例においては、例えば２ｉｎ１のように一枚の用紙に２ページ分の画像を割り付ける場合には、配置対象の各画像をまず単純縮小する。単純縮小とは、シームカービングのように重要度に応じて縮小処理をするのではなく、一般的な線形の縮小処理のことである。そして、単純縮小した各画像に対して、シームカービングによる縮小処理を行なう。このシームカービングによる縮小処理がされた各画像が、２ｉｎ１のように一枚の用紙に割り付けられた領域に配置される画像となる。つまり、シームカービングによる縮小処理がされた各ページの画像（以下、割り付けられる各ページの画像のことをページ画像と呼ぶ）は、その後、等倍で所定の領域にそれぞれ配置されることになる。ステップＳ３０３においては、このように割り付けるページ数から「シームカービング後の画像サイズ」をまず決定する。そして、その「シームカービング後の画像サイズ」のシームカービング処理前の画像サイズを「単純縮小後の画像サイズ」として決定する。そして、後述のステップで説明するように、各ページのページ画像を、その「単純縮小後の画像サイズ」となるように単純縮小する。
【００２５】
ステップＳ３０３についてさらに説明する。前述のように、本実施例ではシームカービングにより生成された各ページのページ画像を等倍のままページ集約の配置に並び合わせて出力画像を生成する。従って、「シームカービング後の画像サイズ」は、ページ割り付け数と出力用紙と出力解像度との関係から算出される。ここで、シームカービング後の画像サイズはピクセル値である。ステップＳ３０３においては最初にレイアウタ２０７は、この「シームカービング後の画像サイズ」を計算する。次に、レイアウタ２０７はシームカービングによる縮小率を以下のシームカービング縮小率対応表に基づいて決定する。シームカービングによる縮小率とは、シームカービングを行った後の画像サイズとシームカービングを行なう前の画像サイズとの比のことである。このシームカービングによる縮小率は、ページ割り当て数に応じて表１に示すテーブルのように予め規定されているものとする。
【００２６】
【表１】
2016058868.tif 000003
【００２７】
表１のような縮小率が設定される理由について説明する。表１においては、ページ割り付け数が多いほど縮小率が高くなっており（つまり、縮小後の画像サイズがより小さくなっており）、シームカービングによる情報選別が強く働くものである。これは、割り付け数が少ないほど画像の歪が目立ち易く、割り付け数が多いほど画像の視認性を高める必要性が増すからである。つまり、割り付け数が多いということは各画像の１枚の用紙における１ページ分のページ画像のサイズが小さくなる。そこで、シームカービングによって重要度の高い箇所の視認性を高めるために、シームカービングによる情報選別が強く働くように縮小率を高くしている。一方で、縮小率を高くするということ意図しない情報選別が行なわれる可能性があり、画像の歪が目立ち易くなることがある。そこで割り付け数が少ない場合には、ページ割り付け数が多い場合よりも縮小率を低くしている。なお、表１はあくまで例示を示しており、必ずしもこのような縮小率に基づいていなくてもよい。また、例えばページ割り付け数が「２」と「４」の場合とで同じ縮小率であってもよい。また、このような縮小率をユーザが任意で設定できるように構成されていてもよい。
【００２８】
レイアウタ２０７は、先に計算したシームカービング後の画像サイズと、表１に示すようなシームカービング縮小率とから、単純縮小後の画像サイズ（ピクセル値）を計算する。つまり、シームカービング後の画像サイズをシームカービング縮小率に応じて拡大した画像サイズが「単純縮小後の画像サイズ」として求まる。
【００２９】
次のステップＳ３０４からステップＳ３０８までの処理は、１枚の用紙に集約される各ページごとの処理である。ステップＳ３０４においてＰＤＬインタプリタ２０３は、ＰＤＬデータ内のページを取り出し、単純縮小による縮小率を計算する。ＰＤＬデータ内のページサイズは出力解像度に依存しない論理サイズが定義されている。ＰＤＬインタプリタ２０３は、まずこの論理サイズから出力解像度を考慮したピクセルサイズを算出する。そして、算出したピクセルサイズがステップＳ３０３で決定した単純縮小後の画像サイズ（ピクセル値）と同じサイズになるように縮小率を算出する。
【００３０】
次に、ステップＳ３０５においてＰＤＬインタプリタ２０３は、当該ページのＰＤＬデータを解釈し、ステップＳ３０４で算出した縮小率で縮小してレンダリングする。ＰＤＬインタプリタ２０３は生成した画像データをジョブデータ管理部２０９に保持する。本実施例では縮小処理はＰＤＬデータ内の描画コマンドにより指示される論理座標をピクセル座標に変換する際に行う。具体的には、論理座標からピクセル座標への座標変換マトリックスに前記の縮小率を反映した変換マトリックスを連結する。そして、連結したマトリックスを使用した描画処理を行う。ただし、これは本実施例における縮小処理を限定するものではなく、等倍でレンダリングした後の画像データを縮小変換する構成でも構わない。また、この際の縮小処理は間引きによる単純縮小ではなく画像補間を伴う縮小でも構わない。画像内のコンテンツの占有比率が維持される線形の縮小処理であれば、いかなる縮小処理方法でもかまわない。
【００３１】
次に、ステップＳ３０６においてシームカービング処理部２０８は、ステップＳ３０５で生成されたレンダリング済み画像の重要度マップ（エネルギーマップ）を生成する。重要度マップは画像の各ピクセルに対応した重要度を８ビット、つまり２５６段階で表現したデータである。重要度マップの生成は画像に例えばエッジ強調フィルタを適応して生成する。エッジ強調フィルタはラプラシアンフィルタやプリューウィットフィルタ、ソーベルフィルタ等、既存の手法を適用する。ただし、重要度マップの生成方法はこれに限定されるものではなく、輝度勾配によるＬ１ノルムやＬ２ノルム、視覚顕著性マップ、Ｈｏｇ（Ｈｉｓｔｏｒａｍ  ｏｆ  Ｇｒａｄｉｅｎｔ）などを利用しても構わない。
【００３２】
次に、ステップＳ３０７においてシームカービング処理部２０８は、ステップＳ３０６５で生成した重要度マップを用いて重要度の低いシームを探索してステップＳ３０５で生成された画像から削除する。シームとは１ピクセルのパスであり、シーム内の各ピクセルは上下左右、左上、右上、左下、右下の８方向のいずれかで連結される。画像を縦断する縦シームと画像を横断する横シームの２種類があり、それぞれの方向において進行方向斜めの範囲内で連結される。例えば、縦シーム内のピクセルは左下、下、右下のいずれかの次のピクセルと連結される。シーム探索の方法に関しては後述する。ステップＳ３０７においてシームカービング処理部２０８は、縦シームと横シームを一つずつ見つけて削除する。即ち、画像は縦横に１ピクセル小さくなる。ただし、縦横いずれかの方向において目標のサイズまで縮小されている場合は、当該方向のシームの探索と削除は行わない。
【００３３】
ステップＳ３０８においてシームカービング処理部２０８は目標サイズ、即ちステップＳ３０３で算出した「シームカービング後の画像サイズ」まで縮小されたか否か判定する。縮小されたと判定した場合はステップＳ３０９へ進み、縮小されていないと判定した場合はステップＳ３０６へ戻り、シームカービングによる画像縮小処理を継続する。
【００３４】
ステップＳ３０９においてＰＤＬインタプリタ２０３は、全ページの処理が終了したか否かを判定する。全ページの処理が終了したと判定した場合はステップＳ３１０へ進む。全ページの処理が終了していないと判定した場合はステップＳ３０４へ戻り、残りのページの処理を実行する。
【００３５】
ステップＳ３１０においてレイアウタ２０７は、シームカービングによる画像縮小処理済みの各ページをページ集約レイアウトに配置する。例えば、４ｉｎ１の場合はシームカービングによる画像縮小処理済みの画像４枚を左上、右上、左下、右下の順番にならべて一枚の画像に合成する。ページが不足する場合は空白画像が代わりに配置される。レイアウタ２０７は合成した画像を示す画像データをジョブデータ管理部２０９に保存する。
【００３６】
ステップＳ３０２でジョブチケットにページ集約が指定されていないと判定した場合、ステップＳ３１１においてＰＤＬインタプリタ２０３は、全ページを等倍でレンダリングする。
【００３７】
以上に示したように、本実施例ではページ集約のレイアウトを実現するにあたり、個々のページを２段階で縮小する。最初に単純縮小を実行し、次にシームカービングによる縮小を実行する。これは、シームカービングによる縮小のみを行った場合に、画像弊害や画像加工により操作者が感じる違和感が強くなり過ぎるためである。また、ページ集約レイアウトが指定された場合のみ、シームカービングを実施するのは操作者の意図を反映することができるからである。つまり、ページ集約により多少の視認性が低下しても、省資源と閲覧性を操作者が優先していると判定することができる。つまり、操作者は元画像との同一性に強い執着が無いと判定することができるので、視認性を優先したシームカービングの適用が適当と判定できる。
【００３８】
また、シームカービングによる縮小率を画像処理の設定に応じて変更することにより、情報選別の効果と画像加工のバランスを最適に制御することも可能となる。
【００３９】
＜ジョブチケットによる印刷設定の一覧表＞
次に、ジョブチケットの詳細について説明する。表２に示すジョブチケット詳細表は、ＰＤＬデータとともに印刷データを構成するジョブチケットで指定可能な印刷設定の一覧表である。印刷設定は例えば‘両面’、‘ページ縮小’、‘省トナー’、‘用紙サイズ’、‘ページ集約’の五つを含む。‘両面’は連続するページを用紙の表面のみに印刷するか、表面、裏面、表面、裏面と交互に印刷する機能であり、属性値として、１：片面、２：両面が指定可能である。‘ページ縮小’はページを指定の縮小率で縮小する機能であり、属性値として、１：なし、２：７５％、３：５０％が指定可能である。‘省トナー’は印刷時に使用するトナーを削減する機能であり、属性値として、１：しない、２：するが指定可能である。‘用紙サイズ’は出力用紙サイズを指定する設定であり、属性値として、１：Ａ４、２：Ａ３、３：Ｂ４が指定可能である。‘ページ集約’は前述した通りである。本実施例では図３のステップＳ３０２においてページ集約が指定されているか否かに基づいてシームカービングの適用可否を決定したが、さらなる別の方法も考えられる。例えば、ページ縮小や省トナーが指定されている際、もしくは複合的な条件に応じてシームカービングを適用すると決定することもできる。
【００４０】
【表２】
2016058868.tif 000004
【００４１】
＜シームの探索処理＞
次に、ステップＳ３０７におけるシームカービング処理部２０８によるシームの探索処理について、図４を用いて模式的に説明する。シームの探索は重要度マップにおいて累積重要度が最も低い経路を探索する手法であり、動的計画法（ダイナミックプログラミング）の考え方を用いる。
【００４２】
図４（ａ）は４ピクセル×４ピクセルの画像に対応した重要度マップの例である。各セルが画像の１ピクセルに対応しており、数値が大きいほど重要度が高いことを示す。シームカービング処理部２０８は、縦シームのうち、即ち第一列目の何れかのピクセルから、第四列目のいずれかのピクセルに至る経路のうち、累積重要度が最小となる経路を探索する。
【００４３】
最初に第一列目から第二列目の各ピクセルに至る累積重要度が一番小さい経路を調べる。図４（ｂ）に示すように、［１Ａ］→［２Ａ］、［１Ｃ］→［２Ｂ］、［１Ｃ］→［２Ｃ］、［１Ｃ］→［２Ｄ］が第一列目から第二列目の各ピクセルに至る累積重要度最小の経路であることが分かる。第二列目の累積重要度は図４（ｂ）の右図に示すように、順に、４、５、５、４となる。
【００４４】
次に第三列目の各ピクセルに至る累積重要度が一番小さい経路を調べる。その際に第二列目の累積重要度を参照する。図４（ｃ）に示すように、［２Ａ］→［３Ａ］、［２Ａ］→［３Ｂ］、［２Ｄ］→［３Ｃ］、［２Ｄ］→［３Ｄ］が累積重要度最小となる経路であることが分かる。この際に第一列目からの全経路を記憶する必要はなく、第三列目の各ピクセルに至る累積重要度が図４（ｃ）の右図に示すように、順に、９、６、８、６であることを記憶すれば良い。
【００４５】
次に第４列目に至る累積重要度が一番小さい経路を調べる。図４（ｄ）に示すように、［３Ｂ］→［４Ａ］、［３Ｂ］→［４Ｂ］、［３Ｂ］→［４Ｃ］、［３Ｄ］→［４Ｃ］、［３Ｄ］→［４Ｄ］が累積重要度最小となる経路であることが分かる。［４Ｃ］に至る最小経路が［３Ｂ］からと［３Ｄ］からとの二つ存在するが、累積重要度最小となる経路のどれか一つを見つければ良いので、どちらか一つを採用すれば良い。第四列目の各ピクセルに至る累積重要度は図４（ｄ）に示すように、順に、７、８、９、８となる。従って、縦シームの下端は［４Ａ］のピクセルであり、その累積重要度が７であることが判明する。
【００４６】
最後に［４Ａ］から遡って累積重要度が最小となるパスをトレースすれば、縦シームが図４（ｅ）に示すように、［１Ａ］→［２Ａ］→［３Ｂ］→［４Ｃ］であることが判明する。同様の処理を横シームについても行ない、ステップＳ３０７ではこのように探索された縦シームと横シームとを削除する。
【００４７】
以上説明したように、本実施例によれば、適度なシームカービング処理を適用することにより、重要箇所を保持したレイアウトを提供することができる。すなわち、割り付けページの画像に対して最初に線形な縮小処理を行ない、その後にシームカービング処理を行なうことで、重要箇所を保持しつつ歪が少ないレイアウトの画像を提供することができる。なお、シームカービングは処理負荷の大きい処理であり、シームカービングによる処理を少なくすることで処理時間を短縮することもできる。
【００４８】
また、画像の線形な縮小とシームカービングによる縮小とを組み合わせて連続的に適用することにより、シームカービングによる画像弊害や画像加工を一定の範囲内に抑えることが可能となる。一方でシームカービングによる重要情報の選別機能は働くため、線形に縮小するよりも視認性や訴求力に優れた画像が生成できる。
【００４９】
また、画像データに対する縮小が明示されているか否かを判定することにより、操作者の意図に基づいた処理が可能となる。明示的な縮小は、出力枚数を減らす、もしくは画像領域を小さくすることによる省資源を意図したものとみなして差し支えが無い場合が多い。即ち、シームカービングによる多少の画像弊害や画像加工は許容されるものと判定することができる。
【００５０】
つまり、適度な重要情報の選別と操作者の意図の判定とにより、操作者のニーズを適切に組み取った画像処理が可能となる。さらに、線形な縮小とシームカービングによる縮小を組み合わせることにより、シームカービングに伴う処理負荷の軽減という副次的な効果を得ることもできる。
【実施例２】
【００５１】
＜ページ集約レイアウト済みの印刷データ＞
実施例１では、画像処理装置においてページ集約処理を行なう例を説明した。実施例２では、他の装置において既にページ集約処理がなされている場合においてシームカービング処理を行なう例を説明する。すなわち、実施例２では、ページ集約レイアウト済みの印刷データに対してシームカービングによる重要情報の選別を適用した画像処理方法を説明する。多くの印刷データはユーザ端末上にインストールされたプリンタドライバにより生成される。プリンタドライバを使ったページ集約レイアウトでは、プリンタドライバによりページ集約レイアウト済みの印刷データが生成される場合が多い。ページ集約済みの印刷データに対して、シームカービングを適用すると、集約レイアウトに含まれる各ページの境界が歪み、元のページ区画が保たれない。例えば４ｉｎ１の場合、図５（ａ）に示すように元データは均等に四等分されていたとしても、図５（ｂ）に示すようにページ境界が浸食されてしまう。この結果、ページ内のあるオブジェクトが元々どのページに属したものであるかが不明瞭になってしまう。そこで、実施例２では元々の区画を保ったままシームカービングを適用する方法について説明する。
【００５２】
＜ページ集約レイアウト済み印刷データの再レイアウトフロー＞
図６は、コントローラ内で実行されるページ集約レイアウト済みの印刷データの再レイアウト処理を行なうフローを表すフローチャートである。なお、本フローは図３の画像レイアウトの基本フローと類似する部分も多いため、異なる点を中心に説明する。
【００５３】
最初にステップＳ６０１においてデータ受信部２０１は、印刷データを受信し、ＰＤＬデータとジョブチケットを取り出してジョブデータ管理部２０９に保存する。ジョブチケットには、印刷データがページ集約レイアウト済みか否かの情報が付加されている。ページ集約設定の属性として、例えば「５」（２ｉｎ１済み）、「６」（４ｉｎ１済み）、「７」（８ｉｎ１済み）が実施例１の属性に対して、または実施例１の属性の代わりに追加されるものとする。
【００５４】
ステップＳ６０２においてジョブ制御部２０２は、ジョブチケットにページ集約済みが指定されているか否かを判定する。ページ集約済みが指定されていると判定した場合はステップＳ６０３へ進み、Ｎｏの場合はステップＳ６１０へ進む。
【００５５】
次のステップＳ６０３からステップＳ６０７の処理は、ページ集約済みのページが複数ある場合、各ページ毎に処理が行なわれる。ステップＳ６０３においてＰＤＬインタプリタ２０３は、当該ページのＰＤＬデータを解釈し、レンダリングを実行し、画像データを生成して、ジョブデータ管理部２０９に保存する。
【００５６】
ステップＳ６０４においてレイアウタ２０７は、ページ集約により割り付けられたページ数を元に各ページの画像上での区画を決定する。例えば、４ｉｎ１済みの場合は図５（ａ）のように四つの区画を決定する。
【００５７】
ステップＳ６０５においてシームカービング処理部２０８は、レンダリング済み画像の重要度マップ（エネルギーマップ）を生成する。この処理は図３のステップＳ３０６と同様である。
【００５８】
ステップＳ６０６においてシームカービング処理部２０８は、区画毎に重要度（エネルギー）の低いシームを探索して、画像から削除する。ここでは区画毎に図３のステップＳ３０７と同様の処理を実行する。シームは各区画の中では連結しているが、区画間では連結するとは限らず、多くの場合は非連結である。複数の区画から同時に縦シームと横シームを削除するため、一度に複数ピクセル分画像が縮小される。例えば、４ｉｎ１済みの場合は一度に２ピクセルずつ縦横が小さくなる。
【００５９】
ステップＳ６０７においてシームカービング処理部２０８は、目標サイズまで縮小されたか否か判定する。目標サイズは実施例１と同様に表１のシームカービング縮小率対応表に基づいて決定する。目標サイズまで縮小されたと判定した場合はステップＳ６０８へ進み、目標サイズまで縮小されていないと判定した場合はステップＳ６０５へ戻り、シームカービングによる画像縮小処理を継続する。
【００６０】
ステップＳ６０８においてＰＤＬインタプリタ２０３は全ページの処理が終了したか否かを判定する。全ページの処理が終了したと判定した場合はステップＳ６０９へ進み、全ページの処理が終了していないと判定した場合はステップＳ６０３へ戻り、残りのページの処理を実行する。
【００６１】
ステップＳ６０９においてレイアウタ２０７は各ページを元の大きさまで補間拡大する。すなわち、シームカービング処理によって各区画に対応する領域（すなわち、割り付けされたページの画像）が縮小されているので、各区画に対応する領域を基の大きさまで補間拡大する。この処理を各ページ毎に行なう。
【００６２】
また、ステップＳ６０２においてページ集約済みの印刷データではないと判定された場合、ステップＳ６１０においてＰＤＬインタプリタ２０３は、ＰＤＬデータの全ページを等倍でレンダリングする。なお、ステップＳ６１０の代わりに、図３のステップＳ３０２に処理を進めても良い。すなわち、ページ集約済みの印刷データでないと判定した場合には、図３のステップＳ３０２でジョブチケットにページ集約が指定されているかを判定し、その後は図３の処理を行なってもよい。
【００６３】
以上に示したように、ページ集約済みの画像に対してシームカービング後に元の大きさまで補間拡大することにより、重要情報の選別と強調が可能となる。また、集約済みのページ区画毎にシームの探索と削除を実行することによって、元印刷データのページ区画を維持したままシームカービング処理を適用することが可能となる。なお、本実施例に示した画像処理は、印刷データに限らずスキャンされた画像データに対しても適用可能であり、その効果が印刷データに限定されるものではない。スキャンされた画像データの割り付けページ数は、レイアウタ２０７がユーザからの入力情報によって取得してもよいし、レイアウタ２０７がスキャンされた画像データを解析して、空白領域の位置に応じて推定されるレイアウトから取得してもよい。スキャン画像データに適用する場合には、例えばページ集約済みの画像が用紙上に印刷された原稿をコピーする場面が考えられる。このとき、本実施例の処理によれば、等倍でコピー指示がされた場合であっても、印刷された用紙上の画像は次のようになっている。すなわち、複数のページ画像に対応する区画のサイズが原稿と同じであり、かつ、用紙上に印刷された画像の各ページ画像に含まれる第一のオブジェクトの変倍率と、前記第一のオブジェクトとは異なる第二のオブジェクトの変倍率とが異なることになる。つまり、印刷された用紙と原稿とを比較すると、重要情報に対応するオブジェクトは印刷された用紙では拡大されているのに対して、シームに対応するような重要度の低いオブジェクト（の一部）は削除されて縮小されることになる。
【００６４】
また、本実施例では、ページ集約済みの印刷データに対して、シームカービング処理を行ない、その後、シームカービングによって縮小されたページ画像を元のサイズに戻す拡大処理を行なう例を説明したが、逆の処理でもよい。すなわち、ページ集約済みの印刷データに対して、シームカービングの縮小率を考慮して、各区画のページ画像を拡大処理する。そして、その拡大処理された各区画のページ画像に対してシームカービング処理を行なうような形態でもよい。
【実施例３】
【００６５】
＜ページ集約におけるページ割り付け数の増加＞
実施例３では、ページ集約におけるページ割り付け数を増加させる方法について説明する。
【００６６】
図７はページ集約数増加時のレイアウト処理フロー図であり、実施例１の図３のステップＳ３０３の処理内容を変更したものである。ステップＳ７０３においてレイアウタ２０７は、画像の割り付け数を増やす。例えば２ｉｎ１を４ｉｎ１に、４ｉｎ１を８ｉｎ１に変更する。なお、元々、１ｉｎ１であった場合は２ｉｎ１には変更しない。２ｉｎ１には集約レイアウトに対する意図が認められるが、１ｉｎ１にはその意図が認められないからである。その後、増やした割り付け数を元にレイアウタ２０７は、単純縮小後の画像サイズとシームカービング後の画像サイズを決定する。その他の処理は図３で説明した処理と同一なので説明は省略する。
【００６７】
シームカービング処理による重要情報の選別と強調が働くので、より割り付け数を増やしたとしても、可読性の低下を抑えることができる。より一層の省資源化と情報集約による一覧性の向上を実現することができる。
【００６８】
＜その他の実施例＞
上記の実施例では、画像処理装置としてプリンタを例に挙げて説明した。しかしながら、例えば画像処理装置としてコンピュータを用いてもよい。例えば、コンピュータ上に実装されたプリンタドライバが、上述したようなレイアウトが施されたデータ（例えばＰＤＦデータやビットマップデータ）を出力するような構成であってもい。
【００６９】
本発明の目的は、以下の処理を実行することによっても達成される。即ち、前記実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【００７０】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【図１】
2016058868.tif 000005
【図２】
2016058868.tif 000006
【図３】
2016058868.tif 000007
【図４】
2016058868.tif 000008
【図５】
2016058868.tif 000009
【図６】
2016058868.tif 000010
【図７】
2016058868.tif 000011