(57)【要約】【課題】出荷検査時に適切な照合結果を得ること。【解決手段】情報処理装置は、封入される物の少なくとも一部が視認可能に構成された第１の対象物に対して第２の対象物を封入する処理を含む加工処理に関する加工情報と、第１の対象物の画像および第２の対象物の画像と、に基づいて基準画像を生成する。第２の対象物が封入された第１の対象物を撮像して得られた撮像画像と基準画像とを照合する。照合した結果を出力する。【選択図】図３
2018182391.tif 000002
【特許請求の範囲】
【請求項１】
封入される物の少なくとも一部が視認可能に構成された第１の対象物に対して第２の対象物を封入する処理を含む加工処理に関する加工情報と、前記第１の対象物の画像および前記第２の対象物の画像と、に基づいて基準画像を生成する生成手段と、
前記第２の対象物が封入された前記第１の対象物を撮像して得られた撮像画像と前記基準画像とを照合する照合手段と、
照合した結果を出力する出力手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記生成手段は、前記第２の対象物の画像を前記加工情報に基づいて加工して、前記第２の対象物が前記第１の対象物の中から視認される領域を含む加工画像を生成し、
前記加工画像と前記第１の対象物の画像とを合成することで前記基準画像を生成することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記加工画像は、前記視認される領域を除く領域がマスク処理された画像であることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記加工情報は、前記第２の対象物における、前記第１の対象物の中から視認される位置の情報を含み、
前記生成手段は、前記位置の情報に基づいて前記加工画像を生成することを特徴とする請求項２または３に記載の情報処理装置。
【請求項５】
前記第１の対象物が前記第２の対象物に封入される搬送方向が、前記第１の対象物と前記第２の対象物とで天地が逆転し、かつ、前記視認可能な位置が前記第１の対象物の中央部に位置する場合、前記加工画像を１８０度回転した画像と前記第１の対象物の画像とを合成することを特徴とする請求項２から４のいずれか一項に記載の情報処理装置。
【請求項６】
前記生成手段は、前記加工情報に基づいて複数の前記基準画像を生成し、
前記照合手段は、前記撮像画像と前記複数の基準画像とを照合し、
前記出力手段は、前記撮像画像が前記複数の基準画像のうちのいずれかと一致する場合、前記照合が成功したことを示す結果を出力することを特徴とする請求項１から５のいずれか一項に記載の情報処理装置。
【請求項７】
前記加工情報は、前記第１の対象物のサイズと、前記第２の対象物の加工後のサイズとを含み、
前記複数の基準画像は、前記第１の対象物のサイズから、前記第２の対象物の加工後のサイズを差し引いた差分の範囲内において前記第２の対象物の画像を移動または傾斜させることで生成されることを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記生成手段は、
前記第２の対象物の画像を前記差分だけ、移動または傾斜させることで前記複数の基準画像を生成し、その後、
前記第２の対象物の画像を第２の量だけ、移動または傾斜させることで前記複数の基準画像を生成し、前記第２の量が０に達するかまたは前記照合が成功するまで、前記第２の量を減算して前記複数の基準画像を生成することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記生成手段は、
前記第２の対象物の画像を第１の量だけ、移動または傾斜させることで前記複数の基準画像を生成し、
前記第１の量が前記差分に達するかまたは前記照合が成功するまで、前記第１の量を加算して前記複数の基準画像を生成することを特徴とする請求項７に記載の情報処理装置。
【請求項１０】
前記撮像画像は、前記第１の対象物のうち、前記第２の対象物の一部が視認される面を撮像して得られた画像であることを特徴とする請求項１から９のいずれか一項に記載の情報処理装置。
【請求項１１】
前記照合手段は、文字認識処理で得られた文字、または幾何学的特徴を比較することで前記照合を行うことを特徴とする請求項１から１０のいずれか一項に記載の情報処理装置。
【請求項１２】
前記第１の対象物は、窓付き封筒であり、前記第２の対象物は、封入用紙であり、前記加工処理は、前記封入用紙の紙折加工を含むことを特徴とする請求項１から１１のいずれか一項に記載の情報処理装置。
【請求項１３】
前記生成手段は、
前記封入用紙が紙折され、前記封筒に封入された場合に前記封筒の窓に視認される領域を除く他の領域をマスク処理した加工画像を生成し、
前記マスク処理された前記加工画像と前記封筒の画像とを合成することで前記基準画像を生成することを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
窓付き封筒に封入用紙を紙折して封入する処理を含む加工処理に関する加工情報と、前記封入用紙の画像とに基づいて、前記封入用紙の画像を加工し、前記加工された封入用紙の画像と、前記封筒の画像とを合成することで、第１の基準画像を生成し、かつ、
前記窓付き封筒のサイズから前記封入用紙が紙折されたサイズを差し引いた差分の範囲内において前記加工された封入用紙の画像を移動または傾斜させることで第２の基準画像を生成する生成手段と、
前記紙折された封入用紙が封入された前記窓付き封筒を撮像して得られた撮像画像を前記第１の基準画像および前記第２の基準画像と照合する照合手段と、
前記照合が成功するまで、前記差分の範囲内で前記移動または傾斜させる量を更新した第２の基準画像を前記生成手段に生成させる制御手段と、
照合した結果を出力する出力手段と、
を備えることを特徴とする情報処理装置。
【請求項１５】
封入される物の少なくとも一部が視認可能に構成された第１の対象物に対して第２の対象物を封入する処理を含む加工処理に関する加工情報と、前記第１の対象物の画像および前記第２の対象物の画像と、に基づいて基準画像を生成するステップと、
前記第２の対象物が封入された前記第１の対象物を撮像して得られた撮像画像と前記基準画像とを照合するステップと、
照合した結果を出力するステップと、
を含むことを特徴とする情報処理装置の制御方法。
【請求項１６】
窓付き封筒に封入用紙を紙折して封入する処理を含む加工処理に関する加工情報と、前記封入用紙の画像とに基づいて、前記封入用紙の画像を加工するステップと、
前記加工された封入用紙の画像と、前記封筒の画像とを合成することで、第１の基準画像を生成するステップと、
前記窓付き封筒のサイズから前記封入用紙が紙折されたサイズを差し引いた差分の範囲内において前記加工された封入用紙の画像を移動または傾斜させることで第２の基準画像を生成するステップと、
前記紙折された封入用紙が封入された前記窓付き封筒を撮像して得られた撮像画像を前記第１の基準画像および前記第２の基準画像と照合するステップと、
前記照合が成功するまで、前記差分の範囲内で前記移動または傾斜させる量を更新した第２の基準画像を生成するステップと、
照合した結果を出力するステップと、
を備える、情報処理装置の制御方法。
【請求項１７】
コンピュータを、請求項１から１４のいずれか一項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、加工処理が施された対象物の画像と、所定の画像とを照合する技術に関する。
【背景技術】
【０００２】
従来、画像を用いた印刷物の出荷検査が行われている。この出荷検査においては、あらかじめ登録されている印刷物の画像と、実際に印刷物を撮像して得られた撮像画像とを照合することが行われている。
【０００３】
商業印刷においては、画像形成装置と後処理装置とを組み合わせることで様々な印刷物が製造されている。例えば、画像形成装置によって印刷された封入用紙に対して、後処理装置によって、折り加工や裁断加工などが行われる。また、この加工された封入用紙が封筒に封入される封入加工が、後処理装置によって行われる。これらの加工処理を総称して後処理という。
【０００４】
ここで、封入用紙が封入される封筒が窓付き封筒の場合、封筒の画像と封入用紙の画像とを単純に合成した画像を用いて撮像画像に対する照合処理を行うと、正しい出荷検査が行われない。封入用紙には、折り加工や裁断加工などが行われるので、これらの加工に依存して窓から見える情報が変わるからである。
【０００５】
特許文献１には、封筒のサイズを考慮して封入用紙の後処理における折り位置や裁断量などが決定され、さらに、封筒の窓の位置を考慮して封入用紙の印刷のレイアウトが決定される技術が開示されている。特許文献１の技術を用いると、封筒の窓から実際に見える情報を特定することはできる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１７８０２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術では、封筒の窓の位置に依存してレイアウトが決定されてしまうので、使用可能なデザインに制約が生じてしまう。例えば、デザイン性の高いダイレクトメールなどでは、レイアウトを含む印刷のデザインを発注者が決定することがある。このような場合、まずデザインが先に決定されることになるので、特許文献１の技術を適用することができない。このため、出荷検査時に適切な照合結果が得られない。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る情報処理装置は、封入される物の少なくとも一部が視認可能に構成された第１の対象物に対して第２の対象物を封入する処理を含む加工処理に関する加工情報と、前記第１の対象物の画像および前記第２の対象物の画像と、に基づいて基準画像を生成する生成手段と、前記第２の対象物が封入された前記第１の対象物を撮像して得られた撮像画像と前記基準画像とを照合する照合手段と、照合した結果を出力する出力手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、出荷検査時に適切な照合結果を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】情報処理システムのシステム構成図である。
【図２】情報処理装置のハードウェア構成を示すブロック図である。
【図３】情報処理装置のソフトウェア構成を示すブロック図である。
【図４】注文情報の一例を示す図である。
【図５】画像加工処理と画像合成処理の模式図である。
【図６】画像照合処理の模式図である。
【図７】画像加工処理と画像合成処理のフローチャート図である。
【図８】画像照合処理のフローチャート図である。
【図９】画像照合処理のフローチャート図である。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して本発明の好適な実施の形態を例示的に詳細に説明する。但し、この実施の形態に記載されている構成等は、あくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。
【００１２】
以下では、封入される物の少なくとも一部が視認可能に構成された第１の対象物に対して第２の対象物が封入される形態を例に挙げて説明する。具体的には、第１の対象物は、窓付きの封筒であり、第２の対象物は、封入用紙である。
【００１３】
＜情報処理システムの構成例＞
図１は、本実施形態に係る情報処理システムの全体構成の一例を示す図である。なお、以下の説明における情報処理システムの全体構成は、説明を理解しやすくするためのものであり、図示する構成に限定されるものではない。
【００１４】
図１において、情報処理システムは、情報処理装置１０１、画像形成装置１０２、後処理装置１０３、情報処理装置１０４、および画像形成装置１０５を備える。各装置は、ネットワーク１００と接続されている。
【００１５】
情報処理装置１０１は、各種の情報処理を行うコンピュータなどで構成される。情報処理装置１０１は、画像形成装置１０２で行われる印刷物の製造を管理するためのジョブ管理プログラムやＷｅｂサーバーとして動作する各種プログラムを実行する。情報処理装置１０１は、画像形成装置１０２および後処理装置１０３とネットワーク１００を介して接続される。情報処理装置１０１には、画像形成装置１０２と後処理装置１０３とを制御するためのプリンタドライバプログラムなどがインストールされている。情報処理装置１０１は、印刷物を印刷させるための印刷データを画像形成装置１０２に送信する。情報処理装置１０１は、画像形成装置１０２に送信した印刷データに含まれる注文情報や印刷物の画像データを情報処理装置１０４に送る。注文情報には、印刷物の商品の種別（例えば封筒）や、印刷物の画像データを特定する情報（例えば画像データの格納場所の情報）や、後処理に関する情報などが含まれる。印刷物の画像データは、情報処理装置１０４での出荷検査用の照合処理で用いられる。詳細は後述する。情報処理装置１０１はまた、後処理装置１０３に後処理に関する情報（例えば、紙折の指示）を送信する。
【００１６】
画像形成装置１０２は、情報処理装置１０１から送信された印刷データを解析し、印刷データを１ページずつドットイメージに変換して印刷する印刷装置である。画像形成装置１０２から出力された印刷物は、印刷オペレーターによるハンドキャリーで後処理装置１０３に渡されたり、図示しないベルトコンベアーを介して後処理装置１０３に渡されたりする。
【００１７】
後処理装置１０３は、画像形成装置１０２および情報処理装置１０１とネットワーク１００を介して通信を行うことができる装置である。後処理装置１０３は、裁断、封筒と封入用紙の用紙合わせ、紙折、封入、封かんなどの後処理を行うことができる。紙折などの後処理の指示は情報処理装置１０１からネットワーク１００を介して送信される。後処理装置１０３は、画像形成装置１０２と物理的に接続されていなくてよい。
【００１８】
情報処理装置１０４は、各種の情報処理を行うコンピュータなどで構成される。情報処理装置１０４は、出荷検査に利用される画像照合プログラムなどの各種のプログラムを実行する。画像照合プログラムに従う画像照合処理の詳細については後述する。情報処理装置１０４は、画像形成装置１０５に印刷データを渡すためのプリンタドライバプログラムなどがインストールされている。情報処理装置１０４は、画像照合処理の結果、検査が合格した場合、注文情報に基づいて、納品書の印刷データを作成し、画像形成装置１０５にこの印刷データを送信する。
【００１９】
画像形成装置１０５は、情報処理装置１０４から送られてくる印刷データを含む印刷データを解析し、１ページずつドットイメージに変換して印刷する。これにより納品書が印刷される。
【００２０】
図１に示す情報処理システムでは、情報処理装置１０１，画像形成装置１０２、後処理装置１０３、情報処理装置１０４、および画像形成装置１０５がそれぞれ１つ備えられている例を示しているが、それぞれ複数備えられていてもよい。情報処理装置１０４が備えられていなくても良く、代わりに情報処理装置１０４が実行するプログラムが情報処理装置１０１にインストールされてもよい。ネットワーク１００は、インターネットであってもよく、例えば、情報処理装置１０１からインターネットを介して画像形成装置１０２、後処理装置１０３、および画像形成装置１０５へとアクセスする構成であってもよい。
【００２１】
＜情報処理装置１０４のハードウェア構成例＞
図２は、本実施形態の情報処理装置１０４のハードウェア構成の一例を示す図である。情報処理装置１０４は、一般的なコンピュータ（ＰＣ：Personal Computer）のハードウェアで構成することができる。情報処理装置１０４は、ＣＰＵ（Central Processing Unit）２０１、ＲＡＭ（Random Access Memory）２０２、およびＲＯＭ（Read Only Memory）３０３を備える。情報処理装置１０４は、キーボードコントローラ２０４、ディスプレイコントローラ２０５、ディスクコントローラ２０６、カメラコントローラ２０７、およびＮＩＣ（Network Interface Card）２０８を備える。
【００２２】
ＣＰＵ２０１は、ＲＯＭ２０３内のプログラム用ＲＯＭに記憶されたプログラムや、外部メモリ２１１からＲＡＭ２０２にロードされたＯＳ（Operating System）やアプリケーションプログラム等のプログラムを実行する。すなわち、ＣＰＵ２０１が、読み取り可能な記憶媒体に格納されたプログラムを実行することにより、後述する図３の各部として機能することになる。
【００２３】
ＲＡＭ２０２は、ＣＰＵ２０１のメインメモリであり、ワークエリア等として機能する。キーボードコントローラ２０４は、キーボード２０９や図示しないバーコードリーダー、ポインティングデバイス（マウス、タッチパッド、タッチパネル、トラックボールなど）からの操作入力を制御する。ディスプレイコントローラ２０５は、ディスプレイ２１０の表示を制御する。ディスクコントローラ２０６は、各種データを記憶するハードディスクやフレキシブルディスク等の外部メモリ２１１へのデータアクセスを制御する。カメラコントローラ２０７は、カメラ２１２によって撮像された撮像データの入力を制御する。ＮＩＣ２０８は、ネットワーク１００に接続され、ネットワークに接続された他の機器との通信制御処理を実行する。
【００２４】
なお、情報処理装置１０４が、キーボード２０９、ディスプレイ２１０、外部メモリ２１１、およびカメラ２１２を備えてもよく、あるいは、これらの一部を備えても良い。
【００２５】
＜情報処理装置１０４のソフトウェア構成例＞
図３は、本実施形態の情報処理装置１０４の各機能を示すブロック図である。情報処理装置１０４は、制御部３０１、画像加工部３０２、画像合成部３０３、撮像制御部３０４、撮像画像生成部３０５、照合部３０６、および出力部３０７を備える。前述したように、図３に示す各部は、ＣＰＵ２０１が、ＲＯＭ２０３などの読み取り可能な記憶媒体に格納されたプログラムをＲＡＭ２０２に読み出して実行することで、ＣＰＵ２０１が図３に示す各部として機能する。
【００２６】
制御部３０１は、情報処理装置１０４の各部３０２〜３０７の実行制御を行う。
【００２７】
画像加工部３０２は、情報処理装置１０１から送信された注文情報と第２の対象物（封入用紙）の画像のデータとを取得する。画像加工部３０２は、注文情報に含まれる加工情報（以下、後処理情報という）に基づいて、封入用紙の画像の加工を行う。すなわち、画像加工部３０２は、第１の対象物（窓付き封筒）の画像との合成に用いられる第２の対象物（封入用紙）の仕上がり画像を生成する。
【００２８】
図４は、本実施形態における注文情報４００の一例を示す図である。注文情報には、注文を識別する注文番号、商品種別、第１の対象物の画像データを特定する情報、第２の対象物の画像データを特定する情報、および後処理情報が含まれる。第１の対象物とは、封入される物の少なくとも一部が視認可能に構成された対象物である。本実施形態では、第１の対象物は、窓付きの封筒である。第２の対象物とは、第１の対象物に封入される処理を含む加工処理が行われる対象物である。本実施形態では、第２の対象物は、封入用紙である。つまり、注文情報４００には、封筒の画像データを特定する情報と、封入用紙の画像データを特定する情報とが含まれる。なお、図４の例では、画像データの格納場所の情報を含むパス情報が画像データを特定する情報の値として含まれている形態を例に挙げて説明したが、これに限られるものではない。注文情報４００の中に、画像データそのものが含まれてもよい。
【００２９】
後処理情報は、紙折や断裁の指示、封筒の窓のサイズ、封筒の窓の位置、封筒の窓に表示されるべき情報の位置、封筒の仕上がりサイズ、および封入用紙の仕上がりサイズなどに関する情報である。封筒の窓位置は、封筒画像における窓の座標位置（平面視における左上座標）を示している。窓の座標位置と窓のサイズとに基づいて封筒画像の窓の領域が特定される。封筒の窓に表示される情報の位置は、封入用紙の画像における座標位置（平面視における左上座標）を示している。封筒の窓に表示される情報の位置と窓のサイズとに基づいて封入用紙画像における窓に対応する領域が特定される。後処理情報には、糊付けや筋入れなど、紙折や断裁の指示以外の情報が含まれてもよい。
【００３０】
図３に戻り説明を続ける。  
画像合成部３０３は、画像加工部３０２が生成した第２の対象物の画像（封入用紙の仕上がり画像）と、情報処理装置１０１から送信された第１の対象物の画像（封筒の画像）とを合成することで、合成画像を生成する。画像合成部３０３は、後処理装置１０３における用紙の搬送方向を取得する。後処理装置１０３において、封筒の天地と封入用紙の天地とが逆になる場合は、画像合成部３０３は、封入用紙の仕上がり画像を回転させ、回転後の画像と封筒の画像とを合成する。搬送方向を考慮して画像を合成することにより、誤った照合結果が導かれることを防止できる。
【００３１】
撮像制御部３０４は、カメラ２１２を使った対象物の撮像開始および停止を制御する。撮像される対象物とは、第２の対象物（封入用紙）が第１の対象物（封筒）に封入された状態の第１の対象物（封筒）である。つまり、封筒の窓の部分から、封入用紙に印刷された文字などが視認可能な状態になっている対象物である。
【００３２】
撮像画像生成部３０５は、撮像制御部３０４による制御によって撮像された撮像データを取得し、撮像画像を生成する。なお、撮像画像生成部３０５は、画像データとして撮像画像をＲＡＭ２０２に生成してもよい。また、ＢｉｔｍａｐやＪＰＥＧ等のファイル形式で撮像画像を生成してもよい。
【００３３】
照合部３０６は、撮像画像生成部３０５で生成された撮像画像と、あらかじめ登録された画像（以下、「基準画像」という）との照合処理を行い、撮像画像と基準画像とが一致しているか否かを判定する。注文情報４００に含まれる商品種別が封筒の場合は、照合部３０６は、画像合成部３０３が生成した合成画像と撮像画像とを照合する照合処理を行う。この照合処理においては、照合部３０６は、注文情報４００に含まれる封筒の仕上がりサイズと封入用紙の仕上がりサイズとを取得して、差分を算出する。そして、差分を考慮した許容パターンの画像を作成する。この作成された許容パターンの画像も基準画像として用いられる。つまり、照合部３０６は、許容パターンの画像と撮像画像とを照合する処理も行う。このように、撮像画像と許容パターンとの画像照合を行うことにより、封入用紙が封筒の中でずれてしまい、合成画像と一致しない場合があっても、許容パターンの画像のいずれかと一致していれば、照合の結果が合格であると判定される。
【００３４】
以上、図３に示す例においては、情報処理装置１０４が、各部を備える構成を例に挙げて説明した。しかしながら、このような形態に限定されるものではない。図３に示す各部の処理が複数の装置において分散して処理されてもよい。例えば、画像加工部３０２と画像合成部３０３との処理を不図示の第１の画像処理装置で実行し、照合部３０６の処理を不図示の第２の画像処理装置で実行してもよい。この例に限らず、図３に示す任意の処理部が別個の装置において実行されてもよい。
【００３５】
＜画像合成処理の模式図＞
図５は、本実施形態における画像加工処理と画像合成処理とを説明するための模式図である。図５には、封入用紙画像５００〜５０５と、封筒画像５０６とが示されている。また、画像合成処理の結果得られる合成画像５０７、５０８が示されている。
【００３６】
封入用紙画像５００および封入用紙画像５０１は、情報処理装置１０１から送信された画像である。つまり、情報処理装置１０１から画像形成装置１０２に送られ、画像形成装置１０２において封入用紙に印刷される画像そのものである。情報処理装置１０１からは、印刷データを変換した画像が情報処理装置１０４に送られる。なお、本実施形態では、印刷データは両面印刷されることとする。この場合、封入用紙画像５００は、印刷データの１ページ目（印刷物の表面）となり、封入用紙画像５０１は、印刷データの２ページ目（印刷物の裏面）となる。これらの封入用紙画像５００、５０１は、注文情報４００を参照すると、紙折指示として「Ｚ折り」が指示されている。このため、封入用紙画像５００、５０１には、折り加工される線が併せて示されている。また、封入用紙画像５０１の下部に、封筒の窓から見えるべき情報が印刷されている。
【００３７】
画像加工部３０２は、封筒の窓から見えるべき情報が印刷されている画像を加工する。すなわち、画像加工部３０２は、封入用紙画像５０１を加工して加工画像を生成する。封入用紙画像５０１は、画像加工部３０２によって加工され、封入用紙の仕上がり画像（加工画像）５０２となる。封入用紙の仕上がり画像５０２は、加工後の封入用紙のうち、封筒の窓から見えるべき情報が印刷されている面の画像を示す図である。画像加工部３０２は、後処理情報に含まれる封筒の窓のサイズと封筒の窓に表示される情報の位置とに基づいて、仕上がり画像５０２にマスクをかけ、画像合成用の画像（加工画像）５０３を生成する。
【００３８】
なお、画像加工部３０２は、後処理装置１０３における、封筒に対する封入用紙の搬送方向に応じて仕上がり画像５０２の回転を行う。具体的には、封筒に対して封入用紙の搬送方向の天地が反転される場合、画像加工部３０２は、仕上がり画像５０２を１８０度回転させて、仕上がり画像５０４に加工する。そして、画像加工部３０２は、後処理情報に含まれる封筒の窓のサイズと封筒の窓に表示される情報の位置とに基づいて、仕上がり画像５０４にマスクをかけて、画像合成用の画像５０５を生成する。
【００３９】
このように生成された画像合成用の画像５０３は、画像合成部３０３により、封筒画像５０６と合成されて、合成画像５０７が生成される。あるいは、画像合成用の画像５０５は、画像合成部３０３により、封筒画像５０６と合成されて、合成画像５０８が生成される。
【００４０】
＜画像照合処理の模式図＞
図６は、本実施形態における画像照合処理を説明するための模式図である。図６には、撮像画像６００、合成画像５０７、および許容パターンの画像６０１〜６０４が示されている。撮像画像６００は、カメラ２１２で撮像され、撮像画像生成部３０５で生成された撮像画像である。合成画像５０７は、画像合成部３０３により生成されている画像である。画像６０１〜６０４は合成画像５０７に対する検査の許容パターンを表す画像である。許容パターンを表す画像６０１〜６０４は、照合部３０６が、合成画像５０７を構成する封筒画像５０６と、仕上がり画像５０２と、注文情報４００に含まれる封筒の仕上がりサイズおよび封入用紙の仕上がりサイズとを基に生成する。具体的には、照合部３０６は、封筒の仕上がりサイズから封入用紙の仕上がりサイズを差し引くことで差分を求める。この差分は、封入用紙が封筒内に入れられて封かんされた場合に生じ得る最大のズレ量を示している。つまり、このズレ量の範囲内において封筒内で封入用紙がずれる可能性がある。そこで、このズレ量を考慮して許容パターンを表す画像６０１〜６０４が生成される。合成画像５０７および許容パターンを表す画像６０１〜６０４は、いずれも照合処理に用いられる画像、すなわち、基準画像とすることができる。
【００４１】
照合部３０６は、画像照合処理において、撮像画像６００と基準画像とを照合し、一致するか否かを判定する。すなわち、照合部３０６は、撮像画像６００と合成画像５０７とを照合し、一致するか否かを判定する。また、照合部３０６は、撮像画像６００と許容パターンの画像６０１〜６０４とを照合し、一致するか否かを判定する。このように、照合部３０６は、撮像画像６００が合成画像６０８と一致していなくても、許容パターンを表す画像６０１〜６０４のいずれかと一致していれば照合に成功したと判定する。すなわち、出荷の検査が合格と判定する。図６に示す例においては、撮像画像６００は許容パターンの画像６０１と一致するので、検査合格と判定される。
【００４２】
次に、照合処理の一例を説明する。照合部３０６は、撮像画像の文字領域と基準画像の文字領域とを特定する。例えば、照合部３０６は、既存の文字認識ライブラリを用いて、文字領域を特定する処理を行う。そして、照合部３０６は、特定した文字領域の文字を、例えば文字認識処理（ＯＣＲ（Optical Character Recognition）処理）を行うことで抽出する。そして、抽出した文字を比較して、一致するか否かを判定する。あるいは、照合部３０６は、画像から幾何学的特徴（例えばエッジなど）を抽出し、幾何学的特徴同士の一致度が最も高くなる文字領域を特定する。そして、特徴点の特徴量を比較して一致するか否かを判定する。なお、照合処理はこれに限られるものではなく、任意の方法で行われてよい。
【００４３】
＜画像加工処理と画像合成処理のフローチャート図＞
図７は、本実施形態における画像加工処理と画像合成処理とのフローチャート図である。各フローに係るプログラムは情報処理装置１０４のＲＯＭ２０３あるいは外部メモリ２１１に格納されており、ＲＡＭ２０２に読み出され、ＣＰＵ２０１によって実行される。以下、図５に示す画像を参照しながらフローの説明を行う。
【００４４】
ステップＳ７０１において画像加工部３０２は、入力データを取得する。取得される入力データは、後処理情報を含む注文情報および印刷に用いられた画像のデータである。具体的には、注文情報４００と、封筒画像５０６と、封入用紙画像５００と、封入用紙画像５０１とのデータである。
【００４５】
ステップＳ７０２において画像加工部３０２は、注文情報に含まれる後処理情報にて指定された紙折や断裁の指示に従って封入用紙画像５０１を加工する。すなわち、画像加工部３０２は、封筒の窓に表示される情報が含まれる面の画像となるように、封入用紙画像５０１を紙折加工したり断裁加工したりする。図５の例では、紙折加工が行われる。このようにして、画像加工部３０２は、仕上がり画像５０２を生成する。
【００４６】
ステップＳ７０３において画像加工部３０２は、後処理装置１０３における封筒と封入用紙との搬送方向をそれぞれ取得する。
【００４７】
ステップＳ７０４において画像加工部３０２は、ステップＳ７０３で取得した搬送方向に基づいて、封筒と封入用紙との天地が逆になるか否かを判定する。天地が逆になる場合は、画像加工部３０２は、ステップＳ７０５に進む。天地が逆にならない場合は、画像加工部３０２は、ステップＳ７０７に進む。
【００４８】
ステップＳ７０５において画像加工部３０２は、封筒の窓の位置が封筒に対して中央部に配置されているか否かを判定する。封筒の窓の位置が封筒の中央部に配置されている場合、画像加工部３０２は、ステップＳ７０６に進む。封筒の窓の位置が封筒の中央部に配置されていない場合、画像加工部３０２は、ステップＳ７０７に進む。
【００４９】
ステップＳ７０８では、画像合成部３０３は、前記封入用紙の仕上がり画像を１８０度回転させる。
【００５０】
ステップＳ７０７において画像加工部３０２は、後処理情報から封筒の窓のサイズと封筒の窓に表示される情報の位置とを取得する。そして、これらの情報に基づいて、仕上がり画像５０２の窓に対応する領域以外の領域にマスクをかける。すなわち、画像加工部３０２は、窓の部分をマスクしない画像合成用の画像５０３を生成する。なお、ステップＳ７０６で回転が行われている場合には、画像合成用の画像５０５が生成される。
【００５１】
ステップＳ７０８において画像合成部３０３は、ステップＳ７０７で生成された、封入用紙の画像合成用の画像と、ステップＳ７０１で取得された封筒画像とを合成する。
【００５２】
ステップＳ７０９において画像合成部３０３は、ステップＳ７０８で生成された合成画像を記憶媒体（ＲＡＭ２０２あるいは外部メモリ２１１）に出力する。ここで出力された合成画像が、後述する画像照合処理における基準画像の一つとなる。
【００５３】
なお、以上説明した図７に示す処理においては、封筒と封入用紙との天地が逆になる場合、仕上がり画像５０２を回転し、その後にマスク処理を行う例を説明したが、これに限られるものではない。先にマスク処理を行い、封筒と封入用紙との天地が逆になる場合に、マスク処理後の画像を回転させてもよい。
【００５４】
また、ここでは、封筒の窓の位置が封筒の中央に配置されている場合に、仕上がり画像５０２を回転させる処理を説明した。封筒の窓の位置が封筒の中央以外の位置に配置されている場合、封筒と封入用紙の天地が逆転してしまうと宛先が見えなくなってしまうので検品ができなくなってしまうからである。しかしながら、ステップＳ７０５の処理を省略する形態を採用してもよい。すなわち、このような稀なケースをカバーするために、封筒の窓の位置が封筒の中央以外の場合であっても、封筒と封入用紙との天地が逆になる場合には、仕上がり画像５０２を回転させ、その画像を用いた処理を行ってもよい。
【００５５】
＜画像照合処理のフローチャート図＞
図８は、本実施形態における画像照合処理のフローチャート図である。図８に示すフローに係るプログラムは、情報処理装置１０４のＲＯＭ２０３あるいは外部メモリ２１１に格納されており、ＲＡＭ２０２に読み出され、ＣＰＵ２０１によって実行される。
【００５６】
ステップＳ８０１において照合部３０６は、画像の照合に必要な入力データを取得する。具体的には、照合部３０６は、画像合成部３０３が出力した合成画像と、撮像画像生成部３０５が出力した撮像画像とを取得する。また、照合部３０６は、注文情報を取得する。
【００５７】
ステップＳ８０２において照合部３０６は、ステップＳ８０１で取得した注文情報を解析し、照合処理の検査対象の商品種類が封筒であるかを判定する。商品種類が封筒でない場合は、ステップＳ８０３に進み、商品種類が封筒の場合はステップＳ８０４に進む。なお、商品種類が封筒でない場合とは、例えばチラシや名詞などの照合の処理である。
【００５８】
ステップＳ８０３において照合部３０６は、あらかじめ登録された画像と撮像画像との画像照合を行い、正解か否かを判定し、ステップＳ８１５に進む。
【００５９】
ステップＳ８０４において照合部３０６は、ステップＳ８０１で取得した注文情報から封筒の仕上がりサイズを取得する。ステップＳ８０５において照合部３０６は、ステップＳ８０１で取得した注文情報から封入用紙の仕上がりサイズを取得する。
【００６０】
ステップＳ８０６において照合部３０６は、ステップＳ８０２で取得した封筒の仕上がりサイズからステップＳ８０２で取得した封入用紙の仕上がりサイズの引き算を行い、仕上がりサイズの差分を算出する。この仕上がりサイズの差分は、封筒の中に封入用紙を入れて封かんした後に発生する、封入用紙の封筒内での移動量の最大値である。
【００６１】
ステップＳ８０７において照合部３０６は、ステップＳ８０１で取得した合成画像を基準画像として取得する。基準画像は、照合処理において撮像画像の照合に用いられる画像である。
【００６２】
ステップＳ８０８において照合部３０６は、許容パターンの画像を生成して基準画像として取得する。照合部３０６は、画像合成前の画像を取得する。具体的には、封筒画像５０６と封入用紙の仕上がり画像５０２とを取得する。照合部３０６は、ステップＳ８０６にて算出した仕上がりサイズの差分を基に、封筒画像５０６に対して、まず差分の最大値で仕上がり画像５０２をずらす。そして、そのずらした仕上がり画像５０２の窓に対応する領域以外の領域にマスクをかけ、封筒画像５０６と合成することで、許容パターンの画像を生成する。本実施形態では、図６の許容パターンの画像６０１〜６０４で示すように、上下左右の４方向に、仕上がりサイズの差分の値だけ仕上がり画像５０２を移動させ、マスク処理をして合成している。ただし、上下左右に限らず、斜め方向に移動させてもよいし、上下方向と左右方向の移動量の最大値から傾斜角度を複数個算出して、仕上がり画像５０２を傾けてもよい。例えば、移動量の最大値が上に５ｍｍ、右に５ｍｍの場合は、（Ｘ軸：５ｍｍ，Ｙ軸：５ｍｍ）の範囲内で上から右に５度ずつ傾斜角度を求め、その角度に仕上がり画像５０２を傾け、マスク処理をして合成してもよい。
【００６３】
ステップＳ８０９において照合部３０６は、ステップＳ８０１で取得した撮像画像と基準画像とを照合する。基準画像は、ステップＳ８０８で取得された許容パターンの画像である。また、最初にこのステップＳ８０９の処理を行う際には、基準画像は、ステップＳ８０７で取得された合成画像を含むものである。
【００６４】
ステップＳ８１０において照合部３０６は、ステップＳ８０９の照合結果を判定する。照合部３０６は、撮像画像が基準画像のいずれかと一致していれば、ステップＳ８１１に進み、照合結果（検査結果）を合格と判定し、ステップＳ８１５に進む。一方、照合部３０６は、撮像画像が基準画像のいずれとも一致していない場合、ステップＳ８１２に進む。
【００６５】
ステップＳ８１２において照合部３０６は、仕上がりサイズの差分の値が上下左右それぞれで０か否かを確認する。本実施形態では、封入用紙の封筒内での移動量の最大値の許容パターンから、移動量を減らした許容パターンを順次生成して、照合処理を行う。仕上がりサイズの差分の値が０であるということは、これ以上生成される許容パターンの画像が存在しないことを示している。そのため、仕上がりサイズの差分の値が０の場合、照合部３０６は、ステップＳ８１４に進み、照合結果（検査結果）を不合格と判定し、ステップＳ８１５に進む。一方、仕上がりサイズの差分の値が０より大きい場合、照合部３０６は、ステップＳ８１３に進む。
【００６６】
ステップＳ８１３において照合部３０６は、仕上がりサイズの差分の値を上下左右それぞれで減算することで、仕上がりサイズの差分の値を更新する。仕上がりサイズの差分の値を減算する減算量（第１の量）は、例えば不図示の設定ファイルで指定された減算量を使ってもよいし、１ｍｍずつ減算してもよい。その後、照合部３０６は、ステップＳ８０８に進む。その後、ステップＳ８０８では、照合部３０６は、更新された仕上がりサイズの差分の値に基づいて、許容パターンの画像を生成する。そして、前述した処理が繰り返される。このように、照合部３０６は、照合結果が一致するか、仕上がりサイズの差分の値が０になるまでステップＳ８０８〜ステップＳ８１３を繰り返す。
【００６７】
ステップＳ８１５において照合部３０６は、照合処理の結果を出力する。照合結果は、ディスプレイ２１０に出力されてもよいし、不図示のマイクなどを通じて音声で出力されてもよい。また、照合処理結果が合格の場合、画像形成装置１０５に納品書を印刷させる印刷データを出力することで照合処理の結果を出力してもよい。
【００６８】
以上説明したように、本実施形態においては、後処理の加工を考慮した照合処理が行われるので、正しい出荷検査を行うことができる。また、封筒の出荷検査作業時に、封筒の窓から見えるべき情報がずれていても、あらかじめ登録された画像と照合した際に誤検知を起こすことがなくなる。そのため、梱包作業時において出荷検査の担当者は、同一梱包にすべき封筒をひとつひとつ目視で確認する手間がなくなるので、梱包作業の効率を改善することができる。
【００６９】
＜変形例＞
図９は、照合処理の変形例を示す図である。図８の例では、封入用紙の封筒内での移動量の最大値の許容パターンから、移動量を減らした許容パターンを順次生成して、照合処理を行う形態を説明した。本変形例では、封入用紙の封筒内での移動量の最大値の許容パターンに達するまで、移動量を加算した許容パターンを順次生成して、照合処理を行う形態を説明する。
【００７０】
図９においてステップＳ９０６、Ｓ９１２、およびＳ９１３の処理が、図８の照合処理のステップＳ８０６、Ｓ８１２、およびＳ８１３と異なる。他のステップについては、図８の照合処理と同様であるので説明を省略する。
【００７１】
ステップＳ９０６において照合部３０６は、図８のステップＳ８０６と同様に仕上がりサイズの差分を算出する。ステップＳ９０６において照合部３０６は、この算出した仕上がり差分サイズを、最大値として記憶する。そして、照合部３０６は、仕上がりサイズの差分を、０より大きい値に更新する。仕上がりサイズの差分の値を加算する加算量（第２の量）は、例えば不図示の設定ファイルで指定された加算量を使ってもよいし、１ｍｍずつ加算してもよい。
【００７２】
ステップＳ９１２において照合部３０６は、差分が、ステップＳ９０６で記憶した最大値に達したか否かを判定する。最大値に達したということは、これ以上生成される許容パターンの画像が存在しないことを示している。そのため、差分が、ステップＳ９０６で記憶した最大値に達した場合、ステップＳ９１４に進み、照合部３０６は、照合結果（検査結果）をＮＧと判定する。差分が最大値に達してない場合、ステップＳ９１３に進む。
【００７３】
ステップＳ９１３において照合部３０６は、差分を加算する処理を行い、ステップＳ９０８に処理を進む。そして、前述した処理が繰り返される。このように、照合部３０６は、照合結果が一致するか、仕上がりサイズの差分の値が最大値に達するまでステップＳ９０８〜ステップＳ９１３を繰り返す。
【００７４】
封入用紙が封筒内においてずれる場面としては、常に最大値までずれることは多くなく、合成画像から微妙にずれていることが多いことが想定される。したがって、変形例のように、封入用紙の封筒内での移動量の最大値の許容パターンに達するまで、移動量を増やした許容パターンを順次生成して、照合処理を行う方が、合格と判定される場合の処理が早くなることが期待できる。
【００７５】
＜その他の実施形態＞
上述した実施形態では、照合部３０６が、封入用紙の仕上がり画像と封筒画像とに基づいて許容パターンの画像を生成する形態を例に挙げて説明したが、これに限られるものではない。許容パターンの生成は、画像合成部３０３で行われても良い。すなわち、照合部３０６が、画像合成部３０３に生成すべき許容パターンの画像のズレ量を通知して、許容パターンの画像の生成を指示し、画像合成部３０３で生成された許容パターンの画像を照合部３０６が取得する形態であってもよい。
【００７６】
また、上述した実施形態では、許容パターンの画像は、封入用紙の仕上がり画像と封筒画像とに基づいて生成される形態を例に挙げて説明した。これは、例えば図６の許容パターンの画像６０１に示すように、ずれが生じた場合に特徴的な部分（左上の黒丸の一部）が窓から見えるような場合に有用である。しかしながら、ずれが生じた場合であっても、そのずれて表示される領域に何ら特徴的な部分が存在しないような場合には、許容パターンの画像は、画像合成用の画像と封筒画像とに基づいて生成されてもよい。すなわち、封入用紙のマスク処理後の画像と封筒画像とに基づいて許容パターンの画像が生成されてもよい。
【００７７】
あるいは、許容パターンの画像が、封入用紙の仕上がり画像ではなく、加工される前の封入用紙画像（例えば封入用紙画像５０１）と、後処理情報とに基づいて生成されてもよい。つまり、加工前の封入用紙画像に対して、ずれの差分と、封筒の窓に表示される情報の位置とに基づいて、許容パターンの画像が直接生成される形態でもよい。すなわち、仕上がり画像５０２を用いずに許容パターンの画像が生成される形態でもよい。
【００７８】
また、上述した実施形態では、許容パターンの画像を順次生成して、都度、照合処理に用いる形態を説明した。このような処理によれば、合格と判定される場合には速やかに照合結果を得ることができ、利用者の待ち時間が少なくなる。しかしながら、このような形態に限られるものではなく、生成し得る許容パターンの画像を予め全て生成しておき、その画像と照合する処理を行っても良い。
【００７９】
また、上述した実施形態では、窓付き封筒に封入用紙が封入される形態を例に挙げて説明したが、これに限られるものではない。封入される物の少なくとも一部が視認可能に構成された第１の対象物に対して第２の対象物を封入する処理を含む加工処理が行われる形態であればいずれの形態にも適用できる。すなわち、第２の対象物が封入された第１の対象物を撮像した撮像画像と、これらの対象物の基準画像とに基づく照合処理が行われる形態であれば、対象物が封筒に限定されなくてよい。
【００８０】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2018182391.tif 000003
【図２】
2018182391.tif 000004
【図３】
2018182391.tif 000005
【図４】
2018182391.tif 000006
【図５】
2018182391.tif 000007
【図６】
2018182391.tif 000008
【図７】
2018182391.tif 000009
【図８】
2018182391.tif 000010
【図９】
2018182391.tif 000011