(57)【要約】【課題】後処理により物理的なレイアウトが変わった印刷データを検索する場合であっても、効率的に元印刷データを検索することができる画像形成装置を提供する。【解決手段】この画像形成装置は、印刷データまたは印刷データに基づく印刷物の画像を受信するデータ受信手段と、受信した印刷データを印刷して印刷物を生成する実行手段と、後処理による物理的レイアウトの変更を考慮した印刷データに基づく印刷物の外観の画像を生成し、外観の画像の画像特徴量を抽出する第１の抽出手段と、印刷データと、外観の画像の画像特徴量と、後処理の情報とを関連付けて保存する保存手段と、受信した印刷物の画像から印刷物の画像の画像特徴量を抽出する第２の抽出手段と、受信手段が印刷物の画像を受信した場合、第２の抽出手段により抽出した画像特徴量と類似度が高い画像特徴量を有する印刷データを保存手段から検索する検索手段と、を備える。【選択図】図６
2015148900.tif 000002
【特許請求の範囲】
【請求項１】
印刷データまたは前記印刷データに基づく印刷物の画像を受信するデータ受信手段と、
前記受信した印刷データを印刷して前記印刷物を生成する実行手段と、
後処理による物理的レイアウトの変更を考慮した前記受信した印刷データに基づく印刷物の外観の画像を生成し、前記外観の画像の画像特徴量を抽出する第１の抽出手段と、
前記印刷データと、前記外観の画像の画像特徴量と、前記後処理の情報とを関連付けて保存する保存手段と、
前記受信した印刷物の画像から前記印刷物の画像の画像特徴量を抽出する第２の抽出手段と、
前記受信手段が前記印刷物の画像を受信した場合、前記第２の抽出手段により抽出した前記画像特徴量と類似度が高い画像特徴量を有する印刷データを前記保存手段から検索する検索手段と、
を備えることを特徴とする画像形成装置。
【請求項２】
前記第１の抽出手段は、前記後処理がポスター印刷である場合、複数の印刷データをポスターのレイアウトに張り合わせた画像を生成し、前記画像の画像特徴量を抽出する
ことを特徴とする請求項１に記載の画像形成装置。
【請求項３】
前記第１の抽出手段は、前記後処理が中綴じ製本である場合、表表紙と裏表紙と見開きページの画像を生成し、前記画像の画像特徴量を抽出する
ことを特徴とする請求項１に記載の画像形成装置。
【請求項４】
前記第１の抽出手段は、前記後処理が折り処理である場合、前記印刷物を折った状態で外側にくる面の画像を生成し、前記画像の画像特徴量を抽出する
ことを特徴とする請求項１に記載の画像形成装置。
【請求項５】
前記第２抽出手段は、前記画像における印刷物のエッジを抽出し、前記検索手段は、前記エッジの形状に基づいて、検索対象の後処理に応じて検索する
ことを特徴とする請求項１に記載の画像形成装置。
【請求項６】
前記検索手段は、前記エッジ形状にくぼみがある場合、後処理が中綴じ製本および折り処理である印刷データを優先して検索する
ことを特徴とする請求項５に記載の画像形成装置。
【請求項７】
前記検索手段は、前記エッジ形状の角の部分に欠けがある場合、後処理がステープル処理である印刷データを優先して検索する
ことを特徴とする請求項５に記載の画像形成装置。
【請求項８】
印刷データまたは前記印刷データに基づく印刷物の画像を受信するデータ受信工程と、
前記受信した印刷データを印刷して前記印刷物を生成する実行工程と、
後処理による物理的レイアウトの変更を考慮した前記受信した印刷データに基づく印刷物の外観の画像を生成し、前記外観の画像の画像特徴量を抽出する第１の抽出工程と、
前記印刷データと、前記外観の画像の画像特徴量と、前記後処理の情報とを関連付けて保存する保存工程と、
前記受信した印刷物の画像から前記印刷物の画像の画像特徴量を抽出する第２の抽出工程と、
前記受信工程において前記印刷物の画像を受信した場合、前記第２の抽出工程で抽出した前記画像特徴量と類似度が高い画像特徴量を有する印刷データを前記保存工程で保存された印刷データから検索する検索工程と、
を有することを特徴とする画像形成装置の制御方法。
【請求項９】
請求項１〜７のいずれか１項に記載の画像形成装置の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像形成装置、画像形成装置の制御方法およびそのプログラムに関する。特に、本発明は、印刷物を撮影装置で撮影し（またはスキャンし）、当該得られた画像から当該印刷物の元印刷データを検索する方法に関する。
【背景技術】
【０００２】
近年、印刷物の再印刷に対するニーズが高まってきている。印刷物の光学的な複写、すなわちハードコピーでは画質的に不足する場合には、特に、再印刷が期待される。当該印刷物に対応する元文書が即座に手に入ればよいが、必ずしもそのような状況ばかりではない。例えば、当該印刷物に対応する元文書の所有者が不明な場合も考えられる。なお、プリンタ内部に印刷データを保持しておき、そこから再印刷する仕組みも広く知られているが、元の印刷データの特定が必要な点は同様である。
【０００３】
印刷物から元文書もしくは元印刷データを検索するためには、印刷物のデジタル的な読み取りが必要である。従来、これはドキュメントスキャナにより実現されていた。今日ではスマートフォン等の携帯端末に装備されたデジタルカメラによる撮影が代替手段として期待されている。携帯端末は手元に所有しているケースが多く、ドキュメントスキャナに比べて圧倒的に利便性が高い。また、近年の携帯端末に装備されるデジタルカメラの解像力が向上しており、画質面でも実用に耐えるものとなっている。さらに、印刷物を撮影して電子文書化するユーティリティアプリケーションなどが利用されている。
【０００４】
撮影またはスキャンにより得たデジタル画像から元印刷データを検索する方法として、各種特徴量を用いた画像マッチングが広く知られている。撮影画像（スキャン画像）に対応する文書画像をデータベースから検索する手法として、例えば、文書画像中の単語の重心を特徴点とし、特徴点の配置から特徴量を求め検索する方法がある（特許文献１）。
【０００５】
また、画像の特徴量を表現する別の方法として、例えば、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）に代表される勾配情報を用いる方法がある。ＳＩＦＴは、検出した特徴点に対して画像の回転、スケール変化、照明変化等に頑健な特徴量を記述するため、物体認識に広く用いられている（非特許文献１）。ＳＩＦＴの処理は、特徴点の検出と特徴量の記述との２段階からなる。特徴点の検出では、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ  ｏｆ  Ｇａｕｓｓｉａｎ）処理によりスケールと特徴点とが検出される。特徴量の記述では、回転に不変な特徴を得るために特徴点の向きの正規化が行われ、その後に（濃度）勾配に基づく多次元のベクトルが算出される。
【０００６】
元文書と印刷物のマッチングを考えると、印刷レイアウトの違いが問題になる場合がある。例えば、元文書のＮページを１枚の用紙に割り付けて印刷するＮ−ＵＰ印刷がある。ここで、Ｎは２、４、６、８、１６などの整数である。Ｎ−ＵＰ印刷は、集約印刷または縮小レイアウト印刷ともいう。元文書の複数ページが１枚の印刷物に配置されるため、印刷物１枚の特徴量と元文書１ページの特徴量は部分的にしか一致しなくなる。これに対して、元文書の特徴量と一致する特徴量（特徴点）の座標位置から印刷物における元文書の画像位置を特定し、印刷物が割り付け原稿であることを判定する手法がある（特許文献２参照）。
【０００７】
また、割り付け印刷を行った原稿に対しては、印刷時にプリンタ内で割り付け後の画像から特徴量を算出する方法も考えられる。当該算出した割り付け後の画像の特徴量を元画像の特徴量として保存しておき、この割り付け後の画像の特徴量と比較してスキャン画像を検索する。この場合、用紙に対する各ページの割り付けは、ＲＩＰ（Ｒａｓｔｅｒ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｏｒ）で印刷用のビットマップ画像を生成する処理（ＲＩＰ処理）の際に行われる。従って、ＲＩＰ処理で生成されたビットマップ画像（ＲＩＰ済み画像）から特徴量を算出すればよい。Ｎ−ＵＰ印刷された原稿をそのまま撮影（スキャン）する場合、この方法で検索可能となる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−３２１０９号公報
【特許文献２】特開２００９−２７１６５５号公報
【非特許文献１】D.G.Lowe, "Object recognition from local scale-invariant features", Proc. of IEEE ICCV, pp.1150-1157, 1999.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特徴点の部分一致を検知して、割り付け原稿を判定する作業は、計算量が多く、複雑になる恐れがある。これは、特徴量の一致する特徴点が印刷物の特定領域内に集まっているか判定する必要があるためである。また、大量の画像と一致検索する場合に誤判定する可能性が高くなる。
【００１０】
また、画像形成後の後処理によって、撮影（スキャン）して得られた画像のレイアウトがＲＩＰ済み画像のレイアウトと異なる場合、検索が難しくなる。例えば、後処理として中綴じ製本を行う場合、２−ＵＰで両面印刷された複数の用紙が中央でホチキス止めされて中央で折られることにより製本される。そのため、途中の見開きページを撮影（スキャン）した場合、２枚の用紙それぞれに割りつけられた画像が半分ずつ組み合わさったものとなる。従って、検索が複雑化し、検索に大幅な時間が掛かってしまう恐れもある。
【００１１】
本発明は、上記課題を鑑みてなされたものであり、後処理により物理的なレイアウトが変わった印刷データを検索する場合であっても、効率的に元印刷データを検索することができる画像形成装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明の画像処理装置は、印刷データまたは前記印刷データに基づく印刷物の画像を受信するデータ受信手段と、前記受信した印刷データを印刷して前記印刷物を生成する実行手段と、後処理による物理的レイアウトの変更を考慮した前記受信した印刷データに基づく印刷物の外観の画像を生成し、前記外観の画像の画像特徴量を抽出する第１の抽出手段と、前記印刷データと、前記外観の画像の画像特徴量と、前記後処理の情報とを関連付けて保存する保存手段と、前記受信した印刷物の画像から前記印刷物の画像の画像特徴量を抽出する第２の抽出手段と、前記受信手段が前記印刷物の画像を受信した場合、前記第２の抽出手段により抽出した前記画像特徴量と類似度が高い画像特徴量を有する印刷データを前記保存手段から検索する検索手段と、を備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、画像特徴量を算出する際に後処理による用紙の加工を考慮した画像特徴量を算出することにより、一致度の高い画像候補を事前に準備できる。したがって、後処理により物理的なレイアウトが変わった場合でも、効率的に元印刷データを検索することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】印刷データ検索システムの全体構成を示す図である。
【図２】中綴じ製本の成果物の外観を示す図（Ａ）および元文書との面順対応を示す図（Ｂ）である。
【図３】折りの成果物の二つ折り状態を示す図（Ａ）、三つ折り状態を示す図（Ｂ）、およびＺ折り状態を示す図（Ｃ）である。
【図４】印刷データ検索装置のハードウェアブロック図である。
【図５】印刷データ検索装置のソフトウェアブロック図である。
【図６】印刷処理の基本フローチャートである。
【図７】印刷処理の詳細フローチャートである。
【図８】印刷時の画像特徴量抽出処理のフローチャートである。
【図９】ポスター印刷の成果物を示す図である。
【図１０】折り種別による外側面の組み合わせを示す図である。
【図１１】中綴じ製本時のレイアウト済み画像を示す図である。
【図１２】撮影画像からの印刷データ検索処理のフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態について図面などを参照して説明する。
【００１６】
＜印刷データ検索システムの構成図＞
図１は、印刷データ検索装置（図中、プリンタ１０３）を含む、本実施形態に係る印刷データ検索システムの構成図である。印刷データ検索システムは、ホストＰＣ１０１、携帯端末１０２、プリンタ１０３、後処理装置１（１０４）、後処理装置２（１０５）、スキャナ１０７を含み、それぞれ、ネットワーク１０６により接続される。
【００１７】
ホストＰＣ１０１は、印刷に際して、ページ記述言語（ＰＤＬ）で記述されたＰＤＬデータを印刷データとしてプリンタ１０３に送信する。携帯端末１０２は、小型のデジタルカメラを内蔵するデバイスであり、本システムでは検索用の入力画像の取得装置となる。携帯端末１０２で撮影された印刷物の画像がプリンタ１０３に転送され、元印刷データの検索用のクエリ画像として使用される。プリンタ１０３は、ＰＤＬデータを解釈し、ビットマップ画像を生成し用紙に出力する画像形成装置である。
【００１８】
後処理装置１（１０４）は、プリンタ１０３に接続されたインラインの後処理装置である。後処理装置１（１０４）は、プリンタ１０３により出力された用紙を直接受け取り、ステープル処理、中綴じ製本のフィニッシング処理を実行する。フィニッシング処理は、ホストＰＣ１０１内のプリンタドライバによりユーザ指示が可能である。プリンタドライバは、フィニッシング処理の指示をジョブチケットに書き込み、プリンタ１０３にＰＤＬデータと一緒に送信する。
【００１９】
後処理装置２（１０５）は、オフラインの後処理装置であり、折り機能を有する。後処理装置２（１０５）は、プリンタ１０３と接続されていないため、プリンタ１０３の出力用紙を後処理装置２（１０５）に手動でセットする必要がある。折りの指示は、同様に、ジョブチケットによりプリンタ１０３に伝達され、さらに後処理装置２（１０５）に転送される。
【００２０】
スキャナ１０７は、ドキュメントを光学的にスキャンして、デジタル画像に変換するデバイスであり、本システムでは携帯端末１０２と同様に検索用の入力画像の取得装置となる。なお、本実施例の以後の説明では携帯端末102で撮影した画像を入力画像として採用するが、スキャナ１０７によりスキャンした画像でも全く同様に処理可能である。
【００２１】
＜中綴じ製本の成果物を示す図＞
図２（Ａ）は、後処理装置１（１０４）の中綴じ製本機能の成果物（外観）を示す図である。複数の用紙が重ねられて、長辺方向の中央部でサドルステッチによりホチキス留めされ、半分に折られる。用紙枚数が多い場合、図中の小口方向に用紙の厚みに伴うズレが生じるため、小口部分を断裁する機能を有する。
【００２２】
図２（Ｂ）は、中綴じ製本時の元文書ページの割り付け順を示す例である。本実施形態では、１２ページの文書を中綴じ製本出力する例を示す。図中の左側は、上から順番に３枚の用紙の表裏に元文書の何ページ目が割りつけられるか示した図である。一枚目表面の左半分に１２ページ目が配置され、右半分に１ページ目が配置される。一枚目裏面の左半分に２ページ目が配置され、右半分に１１ページ目が配置される。また、表裏の関係では１ページ目の裏側に１ページ目配置され、１２ページ目の裏側に１１ページ目が配置される。二枚目、三枚目も同様に図中のページが配置される。両面に割り付け印刷された用紙は右図に示すように重ね合わされ、折り処理が実行され成果物が完成する。本実施形態では、見開きの２ページ目、３ページ目は別の用紙に割りつけられたページが製本されることにより隣り合うこととなる。
【００２３】
＜折りの成果物を示す図＞
図３（Ａ）〜（Ｃ）は、後処理装置２（１０５）の折り機能の成果物を示す図である。図３（Ａ）は、二つ折りの処理前の用紙と折り方、および仕上がりを示す図である。用紙は長辺方向で半分に折られる。図３（Ｂ）は、三つ折りの処理前の用紙と折り方、および仕上がりを示す図である。用紙は長辺方向に三等分され二回に分けて折られる。図３（Ｃ）は、Ｚ折りの処理前の用紙と折り方、および仕上がりを示す図である。まず、用紙は長辺方向で半分に折られる。次に折った片側をさらに半分に折るものである。
【００２４】
＜印刷データ検索装置のハードウェアブロック図＞
図４は、印刷データ検索装置（プリンタ１０３）のハードウェアの構成を示すブロック図である。図４において、コントローラユニット２００は、画像信号やデバイス情報の入出力を制御する。ＣＰＵ１は、ＲＯＭ３あるいはＨＤＤ４に記憶されたプログラムをＲＡＭ２に読み出し、実行する。さらに、システムバス５に接続される各デバイスをＣＰＵ１が統括的に制御する。
【００２５】
ＲＡＭ２は、ＣＰＵ１の主メモリ、ワークエリアとして機能する。ＲＯＭ３には電源ＯＮ時に実行されるブートプログラムが格納され、ＨＤＤ４にはオペレーティングシステムとプリンタ１０３の制御プログラム本体が格納される。また、ＨＤＤ４は、画像データやプリントデータ等の大容量データを一時的あるいは長期的に保持してもよい。Ｎｅｔｗｏｒｋ１０６は、ローカルエリアネットワーク１３に接続し、印刷データやデバイス情報の入出力を行う。
【００２６】
操作部Ｉ／Ｆ７は、操作部１４とのインターフェース部で、操作部１４に表示する画像データを操作部１４に対して出力する。また、操作部１４からプリンタ１０３の使用者が入力した情報を、ＣＰＵ１に伝える役割をする。操作部１４は、出力機器として液晶パネルと音源を備え、入力機器としてタッチパネルとハードキーを備えるものである。コントローラユニット２００は、デバイスＩ／Ｆ８を介して、プリンタエンジン１５に接続される。
【００２７】
デバイスＩ／Ｆ８は、ＣＰＵ１の指示に基づき、画像信号の送信、デバイス動作指示、デバイス情報の受信を行う。プリンタエンジン１５は、コントローラユニット２００からの画像信号を媒体上に出力する出力機であり、電子写真方式、インクジェット方式の何れでも構わない。
【００２８】
Ｒａｓｔｅｒ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｏｒ（ＲＩＰ）９は、ディスプレイリスト（以後、ＤＬと略記する）をビットマップ画像に展開する専用ハードウェアである。ＲＩＰ９は、ＣＰＵ１によりＲＡＭ２上に生成されたＤＬを高速、かつＣＰＵ１の実行と並列に、処理を行う。プリンタ画像処理部１０は、プリント出力画像データに対して、画像補正、ハーフトーニング等を行う。画像回転部１２は、画像データの回転を行う。画像圧伸部１１は、多値画像データとしてのＪＰＥＧ、２値画像データとしてのＪＢＩＧ、ＭＭＲ、ＭＨの圧縮伸張処理を行う。
【００２９】
＜印刷データ検索装置のソフトウェアモジュール構成図＞
図５は、印刷データ検索装置（プリンタ１０３）のソフトウェアモジュールの構成図である。図５に示す各ソフトウェアモジュールは、プログラムとしてＨＤＤ４に格納され、ＲＡＭ２にロードされＣＰＵ１により実行されるものである。具体的には、各ソフトウェアモジュールは、ＣＰＵ１上で動作するＯＳ（オペレーティングシステム）によりＲＡＭ２にロードされ、スレッド単位で実行権を付与され、実行されるものである。
【００３０】
データ通信部２０１は、ホストから送信された印刷データを受信し、受信したデータは、ジョブ制御部２０２を介してジョブデータ管理部２０９で保持される。ジョブ制御部２０２は、データ受信から印刷までのジョブ制御の全般を司る。また、ジョブ制御部２０２は、印刷データとともに送付されるジョブチケットを解釈し、後処理に必要な処理を制御する制御主体でもある。
【００３１】
レイアウタ２０３は、ジョブ制御部２０２からの指示により割り付け印刷時のページ配置を決定する。ここで、ページ配置とは、印刷データの論理ページの何ページ目を用紙のどこに配置するかを意味する。また、レイアウタ２０３は、ビットマップ画像の合成、切り出し等の加工処理も行う。ＰＤＬインタプリタ２０４は、印刷データ（ＰＤＬデータ）を解釈して、中間データであるＤＬを生成する。生成されたＤＬはジョブ制御部２０２を介してジョブデータ管理部２０９に保持される。
【００３２】
レンダラ２０５は、ＤＬからビットマップ画像を生成するモジュールであり、多くの処理は専用ハードウェアＲＩＰ９により実行される。生成されたビットマップ画像は、ジョブ制御部２０２を介してジョブデータ管理部２０９に保持される。プリントドライバ２０６は、デバイスＩ／Ｆ８を介してプリンタエンジンへの印刷指示と、ビットマップ画像の送信を行う。
【００３３】
この際、プリントドライバ２０６は、プリンタ画像処理１０による画像補正も行う。また、プリントドライバ２０６は、プリンタエンジンに対してインライン接続された後処理装置による後処理の指示を行う。オフライン接続の後処理装置による後処理の指示を行う場合は、ジョブ制御部２０２がデータ通信部２０１を介して後処理装置に対して後処理の指示を送信する。
【００３４】
撮影画像処理部２０７は、印刷物を撮影した画像から印刷物に該当する部分を切り出し、矩形状の画像に変換する画像処理を実行する。画像特徴量処理部２０８は、レンダラ２０５により生成されたビットマップ画像や撮影画像処理部２０７により変換された印刷物画像の特徴量を処理する。特に、画像特徴量処理部２０８は、画像から特徴量を抽出し、特徴量を用いた画像の検索を実行する。ジョブデータ管理部２０９は、印刷データ、ＤＬ、ビットマップ画像、画像特徴量を保持管理するデータベースである。ここで、印刷データとその画像特徴量は、関連付けされて長期保存される。また、ＤＬとビットマップ画像は、ジョブ処理中のみ一時保存される。
【００３５】
＜印刷基本フロー図＞
図６は、コントローラにて実行されるプリントの基本フローを示すフローチャートである。なお、本実施形態では、図５の各ソフトウェアモジュールによって実行される。また、このフローチャートは、ＨＤＤ４に記憶された図５の各ソフトウェアモジュール内の各プログラムがＲＡＭ２に読み出され、ＣＰＵ１により実行されることにより実現される。
【００３６】
まず、ステップＳ６００１において、データ通信部２０１は、印刷データとジョブチケットを受信する。次に、ステップＳ６００２において、ジョブ制御部２０２は、印刷データを処理し、印刷を実行する。ステップＳ６００２は、複数のソフトウェアモジュールの協調動作により実現されるが、制御主体は、ジョブ制御部２０２となる。なお、この詳細な処理フローについては後述する。
【００３７】
次に、ステップＳ６００３において、ジョブ制御部２０２は、後処理により物理的レイアウトが変わるか否かを判定する。ここで、物理的なレイアウトが変わるとは、折り処理や張り合わせ処理により印刷物の外観が用紙に印刷した時点と変わることである。具体的には、前述した中綴じ製本や折りが該当する。以後、ＲＩＰ処理によるデジタル的なレイアウトに対して、後処理による印刷物の外観が変わることを物理的レイアウトと表現する。また、後述するポスター印刷も物理的なレイアウトが変わるものと判定される。
【００３８】
ステップＳ６００３で物理的レイアウトが変わらない場合（Ｎｏ）、ステップＳ６００５に進む。一方、物理的レイアウトが変わる場合（Ｙｅｓ）、ステップＳ６００４に進み、レイアウタ２０３は、後処理を考慮したレイアウト済み画像を生成する。この処理により後処理後の最終成果物をユーザが見たものと同じ画像が生成される。
【００３９】
次に、ステップＳ６００５において、画像特徴量処理部２０８は、レイアウト済みの画像から画像特徴量を算出し、元の印刷データと関連付けてジョブデータ管理部２０９に保存する。なお、ステップＳ６００３で物理的なレイアウトが変わらないと判定された場合（Ｎｏ）、画像特徴量処理部２０８は、レイアウト済み画像として元のビットマップ画像を採用する。次に、ステップＳ６００６において、画像特徴量処理部２０８は、全ページの処理が完了したか否かを判定する。全ページの処理が終了した場合（Ｙｅｓ）、処理を終了し、処理が終了していない場合（Ｎｏ）、ステップＳ６００３へ戻り残りのページを処理する。
【００４０】
＜印刷詳細フロー図＞
図７は、印刷の詳細なフローチャートであり、図６の印刷の基本フローのステップＳ６００１とステップＳ６００２の処理を詳細に示すものである。なお、本実施形態では、スレッドＡ、スレッドＢ、スレッドＣの三つのスレッドが並列に実行される。各スレッドはＯＳにより時分割され、その実行権が割り振られる。時分割の単位は十分に小さいため、三つのスレッドは並列動作するとみなすことができる。オペレーティングシステムによるマルチスレッディング処理は一般に広く知られる技術であるため、詳細は省略する。スレッドＡ、スレッドＢ、スレッドＣは、本レイアウトシステムの起動時にオペレーティングシステムにより生成される常駐スレッドである。
【００４１】
スレッドＡでは、まず、ステップＳ７００１において、データ通信部２０１は、印刷データ（ＰＤＬデータ）とジョブチケットを受信し、ジョブ制御部２０２を介してジョブデータ管理部２０９に保持させる。次に、ステップＳ７００２へ進み、ジョブ制御部２０２は、当該ＰＤＬデータが割り付け印刷を指示されたジョブのＰＤＬデータか否かを判定する。ここで、割り付け印刷とは、中綴じ製本印刷やＮ−ＵＰ印刷のように、単一のシートに複数のページが配置される印刷方法を示す。
【００４２】
ステップＳ７００２で割り付け印刷を指示されたジョブのＰＤＬデータであると判定された場合（Ｙｅｓ）、ステップＳ７００４へ進み、レイアウタ２０３は、単一シートに割り付ける論理ページと配置場所を算出する。次に、ステップＳ７００５において、ＰＤＬインタプリタ２０４は、当該シートに割り当てられたページのＰＤＬデータを処理し、当該シートのディスプレイリスト（ＤＬ）を生成する。この際、ＰＤＬインタプリタ２０４は、算出済みの配置場所に従い各ページのシート内での描画位置を調整する。なお、ＤＬは、当該シートの描画情報を表す中間データである。
【００４３】
一方、ステップＳ７００２で印刷を指示されたジョブのＰＤＬデータでないと判定された場合（Ｎｏ）、ステップＳ７００３へ進み、ＰＤＬインタプリタ２０４は、ＰＤＬデータを処理して１ページ分のディスプレイリスト（ＤＬ）を生成する。そして、ステップＳ７００６へ進み、ＰＤＬインタプリタ２０４は、レンダラ２０５に対してディスレプリリストの生成完了を通知し、レンダリングを依頼する。そして、ステップＳ７００７へ進み、ＰＤＬインタプリタ２０４は、全ページの処理が終了したか否かを判定する。全ページの処理が終了した場合（Ｙｅｓ）、処理を終了し、処理が終了していない場合（Ｎｏ）、ステップＳ７００２へ戻り残りのページを処理する。
【００４４】
スレッドＢの処理は、レンダラ２０５によって実行される。まず、ステップＳ７１０１において、レンダラ２０５は、１シート分のＤＬの生成完了を待つ。そして、ステップＳ７００６でＤＬの生成完了が通知されると、レンダラ２０５は、ステップＳ７１０２に進む。
【００４５】
次に、ステップＳ７１０２において、レンダラ２０５は、レンダリングを行いビットマップ画像と属性マップを生成する。ここで、生成されるビットマップ画像は、ＣＭＹＫの各色８ビットの諧調を有し、属性マップは、ビットマップ画像の各ピクセルに対応した２ビットの情報を有する。ＤＬ内には、各オブジェクトの属性フラグが含まれており、オブジェクトがグラフィックス、イメージ、文字の何れであるかを識別することができる。この属性フラグがレンダリング時に属性マップに展開される。すなわち、属性マップは、各ピクセルがグラフィックス（００）、テキスト（０１）、イメージ（１０）の何れであるかを示す。
【００４６】
次に、ステップＳ７１０３において、レンダラ２０５は、ビットマップ画像をジョブデータ管理部２０９に保存し、プリントドライバ２０６にプリント（印刷）を依頼する。プリントの依頼は、プリントドライバ２０６に対してレンダリング終了通知を送信することにより実行される。そして、プリントドライバ２０６は、エンジン同期して処理を実行するために、スレッドＣとしてスレッドＡとは別スレッドで実行される。
【００４７】
依頼を受けたプリントドライバ２０６は、ステップＳ７２０１において、エンジンに対してプリント開始要求コマンドを送信し、画像転送する。また、画像転送に先立ってビットマップ画像に対して画像処理を実施する。次に、ステップＳ７１０４において、レンダラ２０５は、全ページのレンダリングが完了したか否かを判定する。全ページのレンダリングが完了した場合（Ｙｅｓ）、処理を終了する。全ページのレンダリングが完了していない場合（Ｎｏ）、ステップＳ７１０１へ戻り、処理を繰り返す。
【００４８】
＜印刷時の画像特徴量抽出処理フロー図＞
図８は、印刷時の画像特徴量抽出処理のフローチャートであり、図６の印刷の基本フローのステップＳ６００３とステップＳ６００４、およびステップＳ６００５の処理を詳細に示すものである。まず、ステップＳ８００１において、レイアウタ２２０は、ポスター印刷か否かを判定する。ポスター印刷である場合（Ｙｅｓ）、ステップＳ８００２へ進み、レイアウタ２０３は、ポスターレイアウトに張り合わせた画像を印刷用のビットマップ画像から合成する。なお、ポスター印刷については後述する。
【００４９】
一方、ステップＳ８００１でポスター印刷でない場合（Ｎｏ）、ステップＳ８００３へ進み、レイアウタ２０３は、中綴じ製本か否かを判定する。中綴じ製本である場合（Ｙｅｓ）、ステップＳ８００４へ進み、レイアウタ２０３は、表表紙と裏表紙の画像を元のビットマップ画像から切りだす。なお、図２（Ｂ）で説明したように、表表紙すなわち最初のページと裏表紙すなわち最終ページは、一枚目のシートの表面に二面付けされる。これは、図７のステップＳ７００４およびステップＳ７００５の処理により実行され、二面付けのビットマップ画像が生成されている。このビットマップ画像からレイアウタ２０３は、表表紙と裏表紙の画像を切りだす。この処理は、中綴じ製本で閉じた状態で、表表紙か裏表紙のいずれかが見える状態となることを意図したものである。
【００５０】
次に、ステップＳ８００５へ進み、レイアウタ２０３は、物理的なページならびに合わせた画像を合成する。図２（Ｂ）で説明したように、見開きページは、ページ順で中央の見開きを除いて、別シートの半分の画像が組み合わさることになる。この処理は、中綴じ製本で開いた状態の見え方を意図したものである。中綴じ製本の具体的なレイアウト済み画像については後述する。
【００５１】
一方、ステップＳ８００３で、中綴じ製本でない場合（Ｎｏ）、ステップＳ８００６へ進み、レイアウタ２０３は、折り処理か否かを判定する。折り処理である場合（Ｙｅｓ）、ステップＳ８００７へ進み、レイアウタ２０３は、折った状態で外側にくる面の画像を切りだす。なお、折りの種別による外側面の組み合わせについては後述する。なお、折りの状態は開いた状態も考えられるが、これは、ＲＩＰ済みのビットマップ画像がそのままレイアウト済み画像として使用される。一方、折り処理でない場合（Ｎｏ）、ステップＳ８００８に進む。
【００５２】
そして、ステップＳ８００８において、画像特徴量処理部２０８は、レイアウト済み画像から特徴点を抽出する。本実施形態では、特徴点の抽出は、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ  ｏｆ  Ｇａｕｓｓｉａｎ）処理により実行するが、その他の方法で抽出してもよい。なお、ステップＳ８００６で折り処理でないと判定された場合、画像特徴量処理部２０８は、レイアウト済み画像として元のビットマップ画像を採用する。次に、ステップＳ８００９において、画像特徴量処理部２０８は、各特徴点の特徴量を算出する。特徴量として、例えば、ＳＩＦＴアルゴリズムで採用される特徴点近傍の勾配情報を用いる。次に、ステップＳ８０１０において、画像特徴量処理部２０８は、印刷データ（ＰＤＬデータ）と特徴量、および後処理種別情報を関連付けてジョブデータ管理部２０９に保存する。
【００５３】
＜ポスター印刷の成果物を示す図＞
図９は、ポスター印刷の成果物を示す図である。ポスター印刷は、大判印刷のできないプリンタにおいて複数の印刷物を張り合わせることによって大判印刷相当の成果物を生成するための方法である。大判相当の元文書がホストＰＣ１０１上のプリンタドライバにより複数のページの印刷データに割り付けされる。図９では、４ページの印刷データの出力物を張り合わせる様子を模式的に示す。なお、ポスター印刷は、広義にとらえて後処理と分類したが、張り合わせ自体は手作業であってよい。
【００５４】
＜折り種別による外側面の組み合わせを示す図＞
図１０は、折り種別による外側面の組み合わせを示す図である。図１０（Ａ）は、二つ折り時の外側面を示す図である。二つ折りの場合、裏面の半分ずつの画像が二つ、外側面１、外側面２として切り出される。図１０（Ｂ）は、三つ折り時の外側面を示す図である。三つ折りの場合、図１０（Ｂ）に示すように裏面の三分の一の画像が二つ、外側面１、外側面２として切り出される。図１０（Ｃ）は、Ｚ折り時の外側面を示す図である。Ｚ折りの場合、図１０（Ｃ）に示すように表面の四分の一の画像を二つ合成した外側面１と、裏面の半分の画像が外側面２として切り出される。
【００５５】
＜中綴じ製本時のレイアウト済み画像を示す図＞
図１１は、中綴じ製本時のレイアウト済み画像を示す図である。例えば、１２ページの中綴じ製本の場合、図１１に示すように、７個のレイアウト済み画像が切り出し（必要に応じてさらに合成）される。１ページ目の表表紙と１２ページ目の裏表紙がそれぞれ１個ずつ。そして、中開ページとして５個のレイアウト済み画像が生成される。
【００５６】
＜撮影画像からの印刷データ検索処理フロー図＞
図１２は、撮影画像からの印刷データ検索処理を示すフローチャートである。まず、ステップＳ１００１において、データ通信部２０１は、撮影画像を受信する。撮影画像は、印刷データを検索するためのクエリ画像であり、例えば、携帯端末で印刷物を撮影した画像が送信される。次に、ステップＳ１００２において、撮影画像処理部２０７は、撮影画像から用紙のエッジを抽出する。エッジ抽出は、キャニー法等の周知の手法を用いて行ってよい。さらに、抽出した複数のエッジ画素から、例えば、周知の手法であるハフ変換を用いて線分抽出する。これらの処理により、撮影画像処理部２０７は、用紙の外形を表す線分リストを得る。
【００５７】
次に、ステップＳ１００３へ進み、撮影画像処理部２０７は、用紙エッジ形状にくぼみがあるか否かを判定する。くぼみがある場合（Ｙｅｓ）、ステップＳ１００４へ進み、撮影画像処理部２０７は、ジョブ種別が中綴じ製本、もしくは折りの印刷データを優先検索対象に設定する。これは、中綴じ製本もしくは折りに伴う用紙の屈折が開いた状態でも残っている場合が多いことを示す。本実施形態では、くぼみの検知は、線分リストから印刷物の長辺に該当する基準線を最小二乗法により求め、基準線との乖離が一定以上あるか否かで判定する。
【００５８】
一方、ステップＳ１００３でくぼみがない場合（Ｎｏ）、ステップＳ１００５へ進み、撮影画像処理部２０７は、用紙エッジ形状の角の部分に欠けがあるか否かを判定する。欠けがある場合（Ｙｅｓ）、ステップＳ１００６へ進み、撮影画像処理部２０７は、ジョブ種別がステープル処理ジョブの印刷データを優先検索対象に設定する。これは、複数の用紙を角の部分でステープル処理して途中ページで開いて折り込むと、ステープル処理した部分が内側に折り込まれ角の部分に欠けが生じることを示す。一方、ステップＳ１００５で欠けがない場合（Ｎｏ）、ステップＳ１００７へ進み、撮影画像処理部２０７は、印刷データの優先検索対象を設定しない。
【００５９】
そして、ステップＳ１００８において、撮影画像処理部２０７は、撮影画像の射影を補正して、撮影画像中の印刷物部分に該当する矩形画像を取り出す。次に、ステップＳ１００９において、画像特徴量処理部２０８は、当該矩形画像から特徴点を抽出する。なお、特徴点の抽出は、図８のステップＳ８００８と同様に、ＤｏＧ処理により実行する。
【００６０】
次に、ステップＳ１０１０において、画像特徴量処理部２０８は、各特徴点の特徴量を算出する。なお、特徴量としては、図８のステップＳ８００９と同様に、ＳＩＦＴアルゴリズムで採用される特徴点近傍の勾配情報を用いる。次に、ステップＳ１０１１において、画像特徴量処理部２０８は、格納済みの印刷データから特徴量の類似度が高い印刷データを検索する。なお、検索対象の印刷データは、図８のステップＳ８０１０においてジョブデータ管理部２０８に保存された印刷データである。そして、撮影画像の特徴量と印刷データの特徴量に一定以上の一致を検知した場合、類似度が高いと判断し、元印刷データを発見できたとみなす。
【００６１】
なお、特徴量同士の比較は、各特徴点の勾配情報間のユークリッド距離を計算して、一定値以下の場合に特徴点の一致とみなす。そして、一致した特徴点数の比率が一定値以上の場合、撮影画像全体の特徴量が一致したと判定する。印刷データの検索は、ステップＳ１００４、ステップＳ１００６で設定された優先検索対象のジョブ種別の印刷データから始める。一致する印刷データを発見できなかった場合、残りの印刷データを検索する。一致する印刷データを発見した時点で検索を終了する。また、各印刷データは、複数のシートもしくは外観レイアウトに基づく複数の特徴量を有する場合、どれか一つでも一致した際に元印刷データとみなす。最後に、ステップＳ１０１２において、画像特徴量処理部２０８は、最も近いと判別された印刷データの識別子を撮影画像の送信元に返信して、処理を終了する。
【００６２】
なお、本実施形態では、後処理により生じた印刷物形状の特徴を判別して優先検索対象とすることにより、一致する印刷データをより早く発見できる可能性を高めることができる。例えば、数万から数十万の印刷ファイルがある場合には検索スピードも重要であり、本実施形態を適用することで大幅なスピードの改善が期待できる。また、優先検索対象とするだけなので、印刷物の形状の特徴が後処理に由来しないものであってもリカバリすることもできる。
【００６３】
また、本実施形態では、一定以上の一致度を算出して印刷データを元印刷データとして判別する方法を採用しているが、これに限定することなく、例えば、類似度の高い複数の候補印刷データを検知する構成としてもよい。さらに、一致した特徴点の比率が高いものから順番に並べて候補印刷データとする方法を採用してもよい。さらに、本実施形態では、撮影画像からの特徴量の抽出をプリンタで実行する構成としているが、同処理を携帯端末側で実行する構成としてもよい。この場合、プリンタは、検索のクエリ情報として画像特徴量を受け取ることとなる。
【００６４】
（他の実施例）
本発明は、上述した実施形態を適宜組み合わせることにより構成された装置あるいはシステムやその方法も含まれるものとする。
ここで、本発明は、上述した実施形態の機能を実現する１以上のソフトウェア（プログラム）を実行する主体となる装置あるいはシステムである。また、その装置あるいはシステムで実行される上述した実施形態を実現するための方法も本発明の一つである。また、そのプログラムは、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給され、そのシステム或いは装置の１以上のコンピュータ（ＣＰＵやＭＰＵ等）によりそのプログラムが読み出され、実行される。つまり、本発明の一つとして、さらにそのプログラム自体、あるいは該プログラムを格納したコンピュータにより読み取り可能な各種記憶媒体も含むものとする。また、上述した実施形態の機能を実現する回路（例えば、ＡＳＩＣ）によっても、本発明は実現可能である。
【００６５】
また、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【図１】
2015148900.tif 000003
【図２】
2015148900.tif 000004
【図３】
2015148900.tif 000005
【図４】
2015148900.tif 000006
【図５】
2015148900.tif 000007
【図６】
2015148900.tif 000008
【図７】
2015148900.tif 000009
【図８】
2015148900.tif 000010
【図９】
2015148900.tif 000011
【図１０】
2015148900.tif 000012
【図１１】
2015148900.tif 000013
【図１２】
2015148900.tif 000014