(57)【要約】      （修正有）【課題】表面と裏面との整合性によりポストカードを検品する。【解決手段】検品装置において、期待画像データ格納部３３は、表面期待画像データと裏面期待画像データとを格納する。スキャン画像データ格納部３２は、表面及び裏面スキャン画像データとを格納する。コンテンツマッチングスコア計算処理部３４は、表面期待画像データ及び表面スキャン画像データの間のコンテンツの形態類似性を示す第１スコアと、裏面期待画像データ及び裏面スキャン画像データの間のコンテンツの形態類似性を示す第２スコアとを求める。テキストマッチングスコア計算処理部３７は、表面期待画像データ及び表面スキャン画像データの間のテキスト類似性を示す第３スコアと、裏面期待画像データ及び裏面スキャン画像データの間のテキスト類似性を示す第４スコアとを求める。判定処理部３６は、第１〜第４スコアに基づいて印刷済ポストカードの表面と裏面との整合性を判定する。【選択図】図６
2019087260.tif 000002
【特許請求の範囲】
【請求項１】
ポストカードの表面印刷用の表面画像データと裏面印刷用の裏面画像データとを対応付けて格納する印刷用画像データ格納手段と、
印刷済ポストカードの表面スキャン画像データと裏面スキャン画像データとを対応付けて格納するスキャン画像データ格納手段と、
前記表面画像データに含まれるコンテンツの形態的な特徴及び前記表面スキャン画像データに含まれるコンテンツの形態的な特徴に基づいて、前記表面画像データに対する前記表面スキャン画像データのコンテンツの形態類似性を表す第１スコアを求め、前記裏面画像データに含まれるコンテンツの形態的な特徴及び前記裏面スキャン画像データに含まれるコンテンツの形態的な特徴に基づいて前記裏面画像データに対する前記裏面スキャン画像データのコンテンツの形態類似性を表す第２スコアを求める処理を実行するコンテンツマッチングスコア計算処理手段と、
前記表面画像データから抽出されたテキストデータ及び前記表面スキャン画像データから抽出されたテキストデータに基づいて、前記表面画像データに対する前記表面スキャン画像データのテキスト類似性を表す第３スコアを求め、前記裏面画像データから抽出されたテキストデータ及び前記裏面スキャン画像データから抽出されたテキストデータに基づいて、前記裏面画像データに対する前記裏面スキャン画像データのテキスト類似性を表す第４スコアを求める処理を実行するコンテンツマッチングスコア計算処理手段と、
前記第１〜第４スコアの全てが閾値以上である場合に、前記印刷済ポストカードの表面と裏面とが整合していると判定する判定処理手段と、
を具備する検品装置。
【請求項２】
ポストカードの表面印刷用の表面画像データと裏面印刷用の裏面画像データとを対応付けて格納する印刷用画像データ格納手段と、
印刷済ポストカードの表面スキャン画像データと裏面スキャン画像データとを対応付けて格納するスキャン画像データ格納手段と、
前記表面画像データに含まれるコンテンツの形態的な特徴及び前記表面スキャン画像データに含まれるコンテンツの形態的な特徴に基づいて、前記表面画像データに対する前記表面スキャン画像データのコンテンツの形態類似性を表す第１スコアを求め、前記裏面画像データに含まれるコンテンツの形態的な特徴及び前記裏面スキャン画像データに含まれるコンテンツの形態的な特徴に基づいて前記裏面画像データに対する前記裏面スキャン画像データのコンテンツの形態類似性を表す第２スコアを求める処理を実行するコンテンツマッチングスコア計算処理手段と、
前記表面画像データに含まれるコンテンツの配色の特徴及び前記表面スキャン画像データに含まれるコンテンツの配色の特徴に基づいて、前記表面画像データに対する前記表面スキャン画像データのコンテンツの配色類似性を示す第３スコアを求め、前記裏面画像データに含まれるコンテンツの配色の特徴及び前記裏面スキャン画像データに含まれるコンテンツの配色の特徴に基づいて、前記裏面画像データに対する前記裏面スキャン画像データのコンテンツの配色類似性を示す第４スコアを求める処理を実行する色マッチングスコア計算処理手段と、
前記第１〜第４スコアの全てが閾値以上である場合に、前記印刷済ポストカードの表面と裏面とが整合していると判定する判定処理手段と、
を具備する検品装置。
【請求項３】
前記コンテンツマッチングスコア計算処理手段は、
前記表面画像データから抽出された複数の特徴点それぞれの特徴量及び前記表面スキャン画像データから抽出された複数の特徴点それぞれの特徴量に基づいて前記表面画像データに対する前記表面スキャン画像データのコンテンツの形態類似性を判定する第１判定手段と、
前記表面画像データに対して前記表面スキャン画像データが類似していると判定された場合、前記表面スキャン画像データを前記表面画像データに変換するための第１変換行列を計算する第１変換行列計算手段と、
前記第１変換行列における移動パラメータが予め定められた値未満である場合、前記第１変換行列を用いて前記表面スキャン画像データを表面変換画像データに変換する第１画像データ変換手段と、
前記表面画像データから抽出された複数の特徴点それぞれの特徴量及び前記表面変換画像データから抽出された複数の特徴点それぞれの特徴量に基づいて、前記表面画像データから抽出された複数の特徴点と前記表面変換画像データから抽出された複数の特徴点との間でマッチングする複数の第１特徴点ペアを特定し、前記第１特徴点ペア毎の特徴点間距離を計算する第１特徴点間距離計算手段と、
前記第１特徴点ペア毎の特徴点間距離から計算される平均距離誤差に基づいて前記第１スコアを計算する第１スコア計算手段と、
前記裏面画像データから抽出された複数の特徴点それぞれの特徴量及び前記裏面スキャン画像データから抽出された複数の特徴点それぞれの特徴量に基づいて前記裏面画像データに対する前記裏面スキャン画像データのコンテンツの形態類似性を判定する第２判定手段と、
前記裏面画像データに対して前記裏面スキャン画像データが類似していると判定された場合、前記裏面スキャン画像データを前記裏面画像データに変換するための第２変換行列を計算する第２変換行列計算手段と、
前記第２変換行列における移動パラメータが予め定められた値未満である場合、前記第２変換行列を用いて前記裏面スキャン画像データを裏面変換画像データに変換する第２画像データ変換手段と、
前記裏面画像データから抽出された複数の特徴点それぞれの特徴量及び前記裏面変換画像データから抽出された複数の特徴点それぞれの特徴量に基づいて、前記裏面画像データから抽出された複数の特徴点と前記裏面変換画像データから抽出された複数の特徴点との間でマッチングする複数の第２特徴点ペアを特定し、前記第２特徴点ペア毎の特徴点間距離を計算する第２特徴点間距離計算手段と、
前記第２特徴点ペア毎の特徴点間距離から計算される平均距離誤差に基づいて前記第２スコアを計算する第２スコア計算手段と、
を具備する請求項１または請求項２に記載の検品装置。
【請求項４】
前記コンテンツマッチングスコア計算処理手段は、
前記表面画像データの全体に含まれるコンテンツの形態的な特徴及び前記表面スキャン画像データの全体に含まれるコンテンツの形態的な特徴に基づいて、前記表面画像データに対する前記表面スキャン画像データのコンテンツの形態類似性を表す第５スコアを求め、前記第５スコアが予め決められた閾値以上である場合に、前記表面画像データの一部分に含まれるコンテンツの形態的な特徴及び前記表面スキャン画像データの一部分に含まれるコンテンツの形態的な特徴に基づいて、前記表面画像データに対する前記表面スキャン画像データのコンテンツの形態類似性を表す前記第１スコアを求め、前記裏面画像データの全体に含まれるコンテンツの形態的な特徴及び前記裏面スキャン画像データの全体に含まれるコンテンツの形態的な特徴に基づいて、前記裏面画像データに対する前記裏面スキャン画像データのコンテンツの形態類似性を表す第６スコアを求め、前記第６スコアが予め決められた閾値以上である場合に、前記裏面画像データの一部分に含まれるコンテンツの形態的な特徴及び前記裏面スキャン画像データの一部分に含まれるコンテンツの形態的な特徴に基づいて、前記裏面画像データに対する前記裏面スキャン画像データのコンテンツの形態類似性を表す前記第２スコアを求める処理を実行することを特徴とする請求項１または請求項２に記載の検品装置。
【請求項５】
前記色マッチングスコア計算処理手段は、
前記表面画像データを構成する複数の画素それぞれの画素値に基づいて、前記表面画像データの色分布を表す３次元色ヒストグラムを計算し、前記表面スキャン画像データを構成する複数の画素それぞれの画素値に基づいて、前記表面スキャン画像データの色分布を表す３次元色ヒストグラムを計算する第１ヒストグラム計算手段と、
前記表面画像データの３次元色ヒストグラムに基づいて前記表面画像データにおける最頻値を特定し、前記表面スキャン画像データの３次元色ヒストグラムに基づいて前記表面スキャン画像データにおける最頻値を特定する第１最頻値特定手段と、
前記表面画像データの最頻値により特定される色空間上の座標と前記表面スキャン画像データの最頻値により特定される前記色空間上の座標との間の第１加重距離を計算する第１加重距離計算手段と、
前記第１加重距離に基づいて前記第３スコアを計算する第３スコア計算手段と、
前記裏面画像データを構成する複数の画素それぞれの画素値に基づいて、前記裏面画像データの色分布３次元色ヒストグラムを計算し、前記裏面スキャン画像データを構成する複数の画素それぞれの画素値に基づいて、前記裏面スキャン画像データの色分布３次元色ヒストグラムを計算する第２ヒストグラム計算手段と、
前記裏面画像データの３次元色ヒストグラムに基づいて前記裏面画像データにおける最頻値を特定し、前記裏面スキャン画像データの３次元色ヒストグラムに基づいて前記裏面スキャン画像データにおける最頻値を特定する第２最頻値特定手段と、
前記裏面画像データの最頻値により特定される前記色空間上の座標と前記裏面スキャン画像データの最頻値により特定される前記色空間上の座標との間の第２加重距離を計算する第２加重距離計算手段と、
前記第２加重距離に基づいて前記第４スコアを計算する第４スコア計算手段と、
を具備する請求項２記載の検品装置。
【請求項６】
ポストカードの表面印刷用の表面画像データと裏面印刷用の裏面画像データとを対応付けて格納する印刷用画像データ格納手段と、
印刷済ポストカードの表面スキャン画像データと裏面スキャン画像データとを対応付けて格納するスキャン画像データ格納手段と、
前記表面画像データに含まれるコンテンツの形態的な特徴及び前記表面スキャン画像データに含まれるコンテンツの形態的な特徴に基づいて、前記表面画像データに対する前記表面スキャン画像データのコンテンツの形態類似性を表す第１スコアを求め、前記裏面画像データに含まれるコンテンツの形態的な特徴及び前記裏面スキャン画像データに含まれるコンテンツの形態的な特徴に基づいて前記裏面画像データに対する前記裏面スキャン画像データのコンテンツの形態類似性を表す第２スコアを求める処理を実行するコンテンツマッチングスコア計算処理手段と、
前記第１、第２スコアの両方が閾値以上である場合に、前記印刷済ポストカードの表面と裏面とが整合していると判定する判定処理手段と、
を具備する検品装置。
【請求項７】
ポストカードの表面印刷用の表面画像データと裏面印刷用の裏面画像データとを対応付けて格納する印刷用画像データ格納手段と、
印刷済ポストカードの表面スキャン画像データと裏面スキャン画像データとを対応付けて格納するスキャン画像データ格納手段と、
前記表面画像データから抽出されたテキストデータと前記表面スキャン画像データから抽出されたテキストデータとに基づいて、前記表面画像データに対する前記表面スキャン画像データの類似性を判定する表面判定手段と、
前記裏面画像データと前記裏面スキャン画像データとにそれぞれ含まれるコンテンツの形態的な特徴およびコンテンツの配色の特徴のうち少なくとも一方に基づいて、前記裏面画像データに対する前記裏面スキャン画像データの類似性を判定する裏面判定手段と、
前記表面画像データに対して前記表面スキャン画像データが類似し、且つ、前記裏面画像データに対して前記裏面スキャン画像データが類似する場合に、前記印刷済ポストカードの表面と裏面とが整合していると判定する総合判定手段と、
を具備することを特徴とする検品装置。
【請求項８】
ポストカードの印刷用画像データを格納する印刷用画像データ格納手段と、
印刷済ポストカードのスキャン画像データを格納するスキャン画像データ格納手段と、
前記印刷用画像データに含まれるコンテンツの形態的な特徴及び前記スキャン画像データに含まれるコンテンツの形態的な特徴に基づいて、前記印刷用画像データに対する前記スキャン画像データのコンテンツの全体的形態類似性を表す第１スコアを計算する第１スコア計算手段と、
前記印刷用画像データから複数の部分的印刷用画像データを切り出し、前記スキャン画像データから複数の部分的スキャン画像データを切り出す部分的スキャン画像切出手段と、
前記部分的印刷用画像データに含まれるコンテンツの形態的な特徴及び前記部分的スキャン画像データに含まれるコンテンツの形態的な特徴に基づいて、前記部分的印刷用画像データとそれぞれ対応する前記部分的スキャン画像データとの間のコンテンツの部分的形態類似性を表す第２スコアを計算する第２スコア計算手段と、
前記第１スコアに基づいて閾値処理により前記印刷用画像データと前記スキャン画像データとの間の全体的な形態類似の有無を判定し、前記第２スコアに基づいて閾値処理により前記部分的印刷用画像データと前記部分的スキャン画像データとの間の部分的な形態類似の有無を判定する判定手段とを具備し、
前記全体的な形態類似が有ると判定されたときに前記部分的スキャン画像切出手段による前記部分的スキャン画像データの切り出し処理、前記第２スコア計算手段による前記第２スコアの計算処理及び前記判定手段による前記部分的な形態類似の有無の判定処理は実行され、前記全体的な形態類似が無しと判定されたときに前記部分的スキャン画像データの切り出し処理、前記第２スコアの計算処理及び前記部分的な形態類似の有無の判定処理は実行されず、又は前記全体的な形態類似の有無に関わらず前記部分的スキャン画像データの切り出し処理、前記第２スコアの計算処理及び前記部分的な形態類似の有無の判定処理は実行されることを特徴とする検品装置。
【請求項９】
ポストカードの表面印刷用の表面画像データと裏面印刷用の裏面画像データとを対応付けて格納する印刷用画像データ格納手段と、
印刷済ポストカードの表面スキャン画像データと裏面スキャン画像データとを対応付けて格納するスキャン画像データ格納手段と、
前記表面画像データから抽出されたテキストデータと前記表面スキャン画像データから抽出されたテキストデータとに基づいて、前記表面画像データに対する前記表面スキャン画像データの類似性を判定する表面判定手段と、
前記裏面画像データと前記裏面スキャン画像データとにそれぞれ含まれるコンテンツの形態の特徴、コンテンツの配色の特徴、及びテキストのうち二つに基づいて、前記裏面画像データに対する前記裏面スキャン画像データの類似性を判定する裏面判定手段と、
前記表面画像データに対して前記表面スキャン画像データが類似し、且つ、前記裏面画像データに対して前記裏面スキャン画像データが類似する場合に、前記印刷済ポストカードの表面と裏面とが整合していると判定する総合判定手段と、
を具備することを特徴とする検品装置。
【請求項１０】
ポストカードの表面印刷用の表面画像データと裏面印刷用の裏面画像データとを対応付けて格納し、印刷済ポストカードの表面スキャン画像データと裏面スキャン画像データとを対応付けて格納する格納手段を有する検品装置が実行する検品方法であって、
前記表面画像データに含まれるコンテンツの形態的な特徴及び前記表面スキャン画像データに含まれるコンテンツの形態的な特徴に基づいて、前記表面画像データに対する前記表面スキャン画像データのコンテンツの形態類似性を表す第１スコアを求め、前記裏面画像データに含まれるコンテンツの形態的な特徴及び前記裏面スキャン画像データに含まれるコンテンツの形態的な特徴に基づいて前記裏面画像データに対する前記裏面スキャン画像データのコンテンツの形態類似性を表す第２スコアを求める処理を実行する工程と、
前記表面画像データから抽出されたテキストデータ及び前記表面スキャン画像データから抽出されたテキストデータに基づいて、前記表面画像データに対する前記表面スキャン画像データのテキスト類似性を表す第３スコアを求め、前記裏面画像データから抽出されたテキストデータ及び前記裏面スキャン画像データから抽出されたテキストデータに基づいて、前記裏面画像データに対する前記裏面スキャン画像データのテキスト類似性を表す第４スコアを求める処理を実行する工程と、
前記第１〜第４スコアの全てが閾値以上である場合に、前記印刷済ポストカードの表面と裏面とが整合していると判定する工程と、
を具備する検品方法。
【請求項１１】
ポストカードの表面印刷用の表面画像データと裏面印刷用の裏面画像データとを対応付けて格納し、印刷済ポストカードの表面スキャン画像データと裏面スキャン画像データとを対応付けて格納する格納手段を有する検品装置のコンピュータに実行されるプログラムであって、
前記コンピュータに、
前記表面画像データに含まれるコンテンツの形態的な特徴及び前記表面スキャン画像データに含まれるコンテンツの形態的な特徴に基づいて、前記表面画像データに対する前記表面スキャン画像データのコンテンツの形態類似性を表す第１スコアを求め、前記裏面画像データに含まれるコンテンツの形態的な特徴及び前記裏面スキャン画像データに含まれるコンテンツの形態的な特徴に基づいて前記裏面画像データに対する前記裏面スキャン画像データのコンテンツの形態類似性を表す第２スコアを求める処理を実行する工程と、
前記表面画像データから抽出されたテキストデータ及び前記表面スキャン画像データから抽出されたテキストデータに基づいて、前記表面画像データに対する前記表面スキャン画像データのテキスト類似性を表す第３スコアを求め、前記裏面画像データから抽出されたテキストデータ及び前記裏面スキャン画像データから抽出されたテキストデータに基づいて、前記裏面画像データに対する前記裏面スキャン画像データのテキスト類似性を表す第４スコアを求める処理を実行する工程と、
前記第１〜第４スコアの全てが閾値以上である場合に、前記印刷済ポストカードの表面と裏面とが整合していると判定する工程と、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検品装置、検品方法及びプログラムに関する。
【背景技術】
【０００２】
一般的に、例えばポストカードの表面には宛名が印刷され、裏面には例えば写真またはイラスト等のコンテンツが印刷される。このようなポストカードが作成される際には、表面及び裏面は別々に印刷される場合が多い。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上記したポストカードの作成において、特定の宛名を表面に、当該宛名に対応するコンテンツを裏面に印刷する場合、当該表面と裏面とが正しい組み合わせであるか（つまり、表面と裏面との整合性）を例えば目視にて検品する必要がある。
【０００４】
表面に印刷される宛名と裏面に印刷されるコンテンツとの組み合わせが異なるポストカードを多数作成するような場合には、上記した検品作業は非常に煩雑である。
【０００５】
そこで、本発明の目的は、ポストカードの表面と裏面との整合性に基づいて検品することが可能な検品装置、検品方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の１つの態様によれば、ポストカードの表面印刷用の表面画像データと裏面印刷用の裏面画像データとを対応付けて格納する印刷用画像データ格納手段と、印刷済ポストカードの表面スキャン画像データと裏面スキャン画像データとを対応付けて格納するスキャン画像データ格納手段と、前記表面画像データに含まれるコンテンツの形態的な特徴及び前記表面スキャン画像データに含まれるコンテンツの形態的な特徴に基づいて、前記表面画像データに対する前記表面スキャン画像データのコンテンツの形態類似性を表す第１スコアを求め、前記裏面画像データに含まれるコンテンツの形態的な特徴及び前記裏面スキャン画像データに含まれるコンテンツの形態的な特徴に基づいて前記裏面画像データに対する前記裏面スキャン画像データのコンテンツの形態類似性を表す第２スコアを求める処理を実行するコンテンツマッチングスコア計算処理手段と、前記表面画像データから抽出されたテキストデータ及び前記表面スキャン画像データから抽出されたテキストデータに基づいて、前記表面画像データに対する前記表面スキャン画像データのテキスト類似性を表す第３スコアを求め、前記裏面画像データから抽出されたテキストデータ及び前記裏面スキャン画像データから抽出されたテキストデータに基づいて、前記裏面画像データに対する前記裏面スキャン画像データのテキスト類似性を表す第４スコアを求める処理を実行するコンテンツマッチングスコア計算処理手段と、前記第１〜第４スコアの全てが閾値以上である場合に、前記印刷済ポストカードの表面と裏面とが整合していると判定する判定処理手段とを具備する検品装置が提供される。
【発明の効果】
【０００７】
本発明は、印刷済ポストカードの表面と裏面との整合性を判定することにより、印刷済ポストカードを検品することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１、第２実施形態に係る検品装置の使用態様の一例について説明するための図。
【図２】第１実施形態に係る検品装置の機能構成の一例を示すブロック図。
【図３】図２の検品装置の期待画像データ格納部に格納される表面期待画像データ及び裏面期待画像データの組の一例を示す図。
【図４】図２の検品装置によるコンテンツマッチングスコア計算処理の処理手順の一例を示すフローチャート。
【図５】図２の検品装置による色マッチングスコア計算処理の処理手順の一例を示すフローチャート。
【図６】第２実施形態に係る検品装置の機能構成の一例を示すブロック図。
【図７】図６の検品装置によるテキストマッチングスコア計算処理の処理手順の一例を示すフローチャート。
【図８】図２の検品装置によるコンテンツマッチングスコア計算処理の処理手順の他の例を示すフローチャート。
【図９】図８の処理手順による出力例を示す図。
【図１０】図２の検品装置によるコンテンツマッチングスコア計算処理の処理手順のさらに他の例を示すフローチャート。
【図１１】図１０の処理手順による出力例を示す図。
【発明を実施するための形態】
【０００９】
以下、図面を参照して、本発明の第１、第２実施形態について説明する。  
図１は、第１、第２実施形態に係る検品装置の使用態様について説明するための図である。第１、第２実施形態においては、ポストカードに印刷するコンテンツを編集する編集装置４０から印刷機１０にポストカードの表面印刷用の表面画像データと裏面印刷用の裏面画像データとが送信される。印刷機１０は、表面画像データに従って、ポストカードの表面を印刷するとともに、当該表面画像データに対応する裏面画像データに従って、ポストカードの裏面を印刷し、これによりポストカードが作成されるものとする。なお、例えば表面画像データに従って印刷されたポストカードの裏面に、当該表面画像データに対応する裏面画像データに従って印刷された、当該ポストカードと同一の大きさのシール部材を貼り付けることによってポストカードが作成されても構わない。特に、表面と裏面とが印刷されるタイミングが違っていたり、印刷する印刷機が別であったり、貼り合わせによってポストカードを作成する場合においては、表面と裏面との不整合が発生する可能性がある。
【００１０】
印刷機１０により印刷が施された印刷済ポストカードの表面と裏面とは検品用スキャナ２０によってスキャンされる。これにより、検品用スキャナ２０は、印刷済ポストカードの表面に対応する表面スキャン画像データと、裏面に対応する裏面スキャン画像データとを発生する。検品用スキャナ２０によって発生されたスキャン画像データ（表面スキャン画像データ及び裏面スキャン画像データ）は検品装置３０に送信される。
【００１１】
第１実施形態に係る検品装置３０は、編集装置４０から受信した印刷用の画像データ（表面画像データ及び裏面画像データ）と、検品用スキャナ２０から受信したスキャン画像データ（表面スキャン画像データ及び裏面スキャン画像データ）とを用いて、印刷済ポストカードの表面と裏面とが整合しているかを判定、つまり検品する。
【００１２】
なお、上記の「コンテンツ」とは、ポストカード等の印刷対象の媒体に印刷される住所、宛名、イラスト、写真、コメント等を含み、さらに、写真に写っている人、物等のオブジェクトも含む。
【００１３】
検品装置３０は、例えばパーソナルコンピュータ（ＰＣ）等によって実現され、各種プログラムを格納する不揮発性メモリ及び当該プログラムを実行するＣＰＵ等を備える。
【００１４】
（第１実施形態）  
第１実施形態に係る検品装置３０は、ポストカードの印刷用の画像データに含まれるコンテンツの形態、配色に対する印刷済ポストカードのスキャン画像データに含まれるコンテンツの形態、配色のそれぞれの類似性に基づいて、印刷済ポストカードを検品する。
【００１５】
図２は、第１実施形態に係る検品装置３０の機能構成の一例を示すブロック図である。図２に示すように、検品装置３０は、通信処理部３１、スキャン画像データ格納部３２、期待画像データ格納部３３、コンテンツマッチングスコア計算処理部３４、色マッチングスコア計算処理部３５及び判定処理部３６を含む。
【００１６】
第１実施形態において、スキャン画像データ格納部３２及び期待画像データ格納部３３は、上記した不揮発性メモリに構築される。なお、スキャン画像データ格納部３２及び期待画像データ格納部３３は、不揮発性メモリ以外の記憶装置に構築されていてもよい。記憶装置には、例えばＨＤＤ（Hard Disk Drive）及びＳＳＤ（Solid State Drive）等が含まれる。
【００１７】
第１実施形態において、通信処理部３１、コンテンツマッチングスコア計算処理部３４、色マッチングスコア計算処理部３５及び判定処理部３６は、上記したＣＰＵ（検品装置３０のコンピュータ）が所定のプログラムを実行すること（つまり、ソフトウェア）により実現されるものとする。なお、このプログラムは、コンピュータ読み取り可能な記憶媒体に予め格納して頒布可能である。また、このプログラムは、例えばネットワークを介して検品装置３０にダウンロードされても構わない。
【００１８】
ここでは、通信処理部３１、コンテンツマッチングスコア計算処理部３４、色マッチングスコア計算処理部３５及び判定処理部３６がソフトウェアにより実現されるものとして説明したが、これらの機能は、ハードウェアにより実現されてもよいし、ソフトウェア及びハードウェアの組み合わせ構成によって実現されてもよい。
【００１９】
通信処理部３１は、インターネット等のネットワーク回線を介して外部装置４０、ここでは編集装置４０から、上記したように作成されるポストカードの表面に印刷されるべき宛名を含む印刷用の表面画像データ及び当該ポストデータの裏面に印刷されるべきコンテンツ（当該宛名に対応するコンテンツ）を含む印刷用の裏面画像データを受信する。同様に、通信処理部３１は、上記した検品用スキャナ２０により発生された印刷済ポストカードの表面スキャン画像データ及び裏面スキャン画像データ（の組）を受信する。
【００２０】
第１実施形態に係る検品装置３０において、印刷済ポストカードを検品するために、印刷用の画像データ（表面画像データ及び裏面画像データ）が正しいものとして、スキャン画像データ（表面スキャン画像データ及び裏面スキャン画像データ）が印刷用の画像データ（表面画像データ及び裏面画像データ）に類似しているかを判定する。したがって、検品装置３０において、印刷用の表面画像データ及び裏面画像データをそれぞれ表面期待画像データ及び裏面期待画像データともいう。
【００２１】
スキャン画像データ格納部３２には、通信処理部３１を介して受信した印刷済ポストカードの表面スキャン画像データ及び裏面スキャン画像データが対応付けて格納される。
【００２２】
期待画像データ格納部３３には、通信処理部３１を介して受信したポストカードの表面期待画像データ及び裏面期待画像データが対応付けて格納される。すなわち、期待画像データ格納部３３には、図３に示すように、ポストカードの表面（宛名）と当該表面に対応する裏面（コンテンツ）の正しい組み合わせ（のセット）が格納されている。
【００２３】
ここで、上記の表面期待画像データ及び裏面期待画像データと表面スキャン画像データ及び裏面スキャン画像データとは画像データであり、当該画像データは、輝度値及び色彩等が規定された画素値を有する複数の画素によって構成される。
【００２４】
コンテンツマッチングスコア計算処理部３４は、コンテンツマッチングスコア計算処理により、表面期待画像データに含まれるコンテンツに対する表面スキャン画像データに含まれるコンテンツの形態類似性を示す第１スコアと、裏面期待画像データに含まれるコンテンツに対する裏面スキャン画像データに含まれるコンテンツの形態類似性を示す第２スコアとを発生する。コンテンツマッチングスコア計算処理の詳細は後述する。
【００２５】
色マッチングスコア計算処理部３５は、色マッチングスコア計算処理により、表面期待画像データに含まれるコンテンツに対する表面スキャン画像データに含まれるコンテンツの配色類似性を示す第３スコアと、裏面期待画像データに含まれるコンテンツに対する裏面スキャン画像データに含まれるコンテンツの配色類似性を示す第４スコアとを発生する。色マッチングスコア計算処理の詳細は後述する。
【００２６】
判定処理部３６は、コンテンツマッチングスコア計算処理部３４によって計算されたコンテンツマッチングスコア（第１スコア及び第２スコア）及び色マッチングスコア計算処理部３５によって計算された色マッチングスコア（第３スコア及び第４スコア）に基づいて、印刷済ポストカードの表面と裏面とが整合しているかを判定し、その判定結果（つまり、検品結果）を出力する。
【００２７】
具体的には、判定処理部３６は、第１〜第４スコアの各々と予め設定されている値（以下、閾値と表記）とを比較する。第１スコアが閾値以上である場合、印刷済ポストカードの表面に印刷されたコンテンツの形態が正しいことを示す。第２スコアが閾値以上である場合、印刷済ポストカードの裏面に印刷されたコンテンツの形態が正しいことを示す。第３スコアが閾値以上である場合、印刷済ポストカードの表面に印刷されたコンテンツの配色が正しいことを示す。第４スコアが閾値以上である場合、印刷済ポストカードの裏面に印刷されたコンテンツの配色が正しいことを示す。判定処理部３６は、第１〜第４スコアの全てが閾値以上である場合において、印刷済ポストカードの表面と裏面とが整合しており、正しい組み合わせで印刷されている、つまり検品結果として検品ＯＫであると判定する。一方、判定処理部３６は、第１〜第４スコアの少なくとも１つが閾値以上でない場合には、印刷済ポストカードの表面と裏面とが整合しておらず、正しい組み合わせではない、つまり検品結果として検品ＮＧであると判定する。検品結果がＮＧである場合には、その旨を警報（アラート）として出力するスピーカ等を含む構成としてもよい。
【００２８】
（コンテンツマッチングスコア計算処理）  
以下、図４のフローチャートを参照して、コンテンツマッチングスコア計算処理について説明する。なお、コンテンツマッチングスコア計算処理は、表面期待画像データ及び表面スキャン画像データ（の組）と、裏面期待画像データ及び裏面スキャン画像データ（の組）とについてそれぞれ実行される。ここでは、コンテンツマッチングスコア計算処理が表面期待画像データ及び表面スキャン画像データの組を対象に実行される場合について説明する。
【００２９】
コンテンツマッチングスコア計算処理部３４は、表面期待画像データ及び表面スキャン画像データからそれぞれ複数の特徴点を抽出する（工程Ｓ１）。具体的には、コンテンツマッチングスコア計算処理部３４は、エッジ検出処理、コーナー検出処理等の既存の特徴点抽出手法を用いることができる。
【００３０】
コンテンツマッチングスコア計算処理部３４は、抽出した特徴点の特徴量を計算する（工程Ｓ２）。特徴量は、特徴点の画素値から計算される値であってもよいし、特徴点の画素値と特徴点の周囲の画素の画素値とから計算される値であってもよい。
【００３１】
なお、上記した特徴量の計算処理等は、オープンソースの画像処理ライブラリである、例えばＡＫＡＺＥアルゴリズムによって計算されるが、他の手法によって計算されても構わない。 
コンテンツマッチングスコア計算処理部３４は、表面期待画像データから抽出された複数の特徴点と表面スキャン画像データから抽出された複数の特徴点との間のマッチング処理を実行する（工程Ｓ３）。このマッチング処理では、工程Ｓ２で計算した特徴量に基づいて、表面期待画像データから抽出された複数の特徴点と表面スキャン画像データから抽出された複数の特徴点との間でマッチングする複数の特徴点ペアを特定する。
【００３２】
コンテンツマッチングスコア計算処理部３４は、表面期待画像データに対して表面スキャン画像データが類似しているか否かを判定する（工程Ｓ４）。具体的には、コンテンツマッチングスコア計算処理部３４は、表面スキャン画像データから抽出された特徴点の数に対するマッチングした特徴点の数の割合が予め定められた閾値以上である場合に、表面期待画像データに対して表面スキャン画像データが類似していると判定する。一方、表面スキャン画像データから抽出された特徴点の数に対するマッチングした特徴点の数の割合が予め定められた閾値未満である場合には、表面期待画像データに対して表面スキャン画像データが類似していないと判定する。
【００３３】
表面期待画像データに対して表面スキャン画像データが類似すると判定された場合（工程Ｓ４のＹＥＳ）、コンテンツマッチングスコア計算処理部３４は、表面スキャン画像データを表面期待画像データに変換するための変換行列を導出し（工程Ｓ５）、この変換行列から、表面期待画像に対してどれだけ表面スキャン画像が位置ずれしているかを表す指標である移動パラメータを計算する（工程Ｓ６）。
【００３４】
ここで、再度、コンテンツマッチングスコア計算処理部３４は、表面期待画像データに対して表面スキャン画像データが類似しているか否かを判定する（工程Ｓ７）。工程Ｓ７での類似判定処理には、移動パラメータの値を用いる。具体的には、コンテンツマッチングスコア計算処理部３４は、移動パラメータが予め定められた閾値以上である場合には、表面期待画像データに対して表面スキャン画像データが類似していると判定し、移動パラメータが予め定められた閾値未満である場合には、表面期待画像データに対して表面スキャン画像データが類似していないと判定する。
【００３５】
表面期待画像データに対して表面スキャン画像データが類似すると判定された場合（工程Ｓ７のＹＥＳ）、コンテンツマッチングスコア計算処理部３４は、さらに詳細な類似判定処理を実行する。すなわち、工程Ｓ５において導出された変換行列を用いて、表面スキャン画像データを表面変換画像データに変換する（工程Ｓ８）。
【００３６】
コンテンツマッチングスコア計算処理部３４は、表面変換画像データから特徴点を抽出し（工程Ｓ９）、抽出した特徴点の特徴量を計算する（工程Ｓ１０）。次に、コンテンツマッチングスコア計算処理部３４は、工程Ｓ１において表面期待画像データから抽出された複数の特徴点と工程Ｓ９において表面変換画像データから抽出された複数の特徴点との間のマッチング処理を実行する（工程Ｓ１１）。なお、工程Ｓ９、Ｓ１０，Ｓ１１の処理は上記した工程Ｓ１，２，３の処理とそれぞれ同様である。工程Ｓ１１の処理により、表面期待画像データから抽出された複数の特徴点と表面変換画像データから抽出された複数の特徴点との間でマッチングする特徴点ペアが特定される。
【００３７】
コンテンツマッチングスコア計算処理部３４は、表面期待画像データから抽出された特徴点と、その特徴点とマッチングする表面変換画像データの特徴点との間の距離誤差（位置ズレ量）を計算する。この処理は、特徴点ペア毎に実行される。コンテンツマッチングスコア計算処理部３４は、特徴点ペア毎に計算された距離誤差に基づいて、平均距離誤差を計算する（工程Ｓ１２）。なお、平均距離誤差は、例えば０〜１の間の値として計算される。
【００３８】
コンテンツマッチングスコア計算処理部３４は、工程Ｓ１２において計算された平均距離誤差に基づいて、表面期待画像データと表面スキャン画像データとの間のコンテンツの形態類似性を示すコンテンツマッチングスコア（第１スコア）を計算する（工程Ｓ１３）。なお、工程Ｓ１３において、コンテンツマッチングスコアは、例えば１．０から工程Ｓ１２において計算された平均距離誤差を減算した値として計算される。
【００３９】
なお、工程Ｓ４において表面期待画像データに対して表面スキャン画像データが類似しないと判定された場合（工程Ｓ４のＮＯ）、図４に示す処理は終了される。工程Ｓ７において移動パラメータが閾値以下でないと判定された場合（工程Ｓ７のＮＯ）についても同様である。この場合、工程Ｓ１３において、コンテンツマッチングスコアとして０が計算される（返される）。
【００４０】
なお、裏面期待画像データ及び裏面スキャン画像データについても上記のコンテンツマッチングスコア計算処理（図４に示す処理）を実行することで、裏面期待画像データと裏面スキャン画像データとの間のコンテンツの形態類似性を示すコンテンツマッチングスコア（第２のスコア）が計算される。
【００４１】
（色マッチングスコア計算処理）  
以下、図５のフローチャートを参照して、色マッチングスコア計算処理について説明する。なお、色マッチングスコア計算処理は、表面期待画像データ及び表面スキャン画像データと、裏面期待画像データ及び裏面スキャン画像データとについてそれぞれ実行される。ここでは、色マッチングスコア計算処理が表面期待画像データ及び表面スキャン画像データの組を対象に実行される場合について説明する。
【００４２】
色マッチングスコア計算処理部３５は、表面期待画像データ及び表面スキャン画像データをそれぞれ構成する複数の画素の画素値を予め決められた色座標、ここではＨＳＶモデルの色座標に変換する（工程Ｓ２１）。ＨＳＶモデルの色座標は、色相（色の種類）、彩度及び明度の３つの軸からなる。例えば、ＨＳＶモデルの色空間は円錐形状、円柱形状等で表すことができる。なお、工程Ｓ２１において変換される色座標は、ＨＳＶモデル以外の色空間であっても構わない。
【００４３】
次に、工程Ｓ２１において変換された表面期待画像データ及び表面スキャン画像データをそれぞれ構成する複数の画素の色座標に基づいて、表面期待画像データに関する３次元色ヒストグラム及び表面スキャン画像データに関する３次元色ヒストグラムをそれぞれ計算する（工程Ｓ２２）。３次元色ヒストグラムは、その画像中に同じ色（画素値）を有する画素が何個含まれているかに関する頻度情報を示す。色マッチングスコア計算処理部３５は、工程Ｓ２２において計算された３次元色ヒストグラムに基づいて、表面期待画像データにおける色の最頻値及び表面スキャン画像データにおける色の最頻値をそれぞれ特定する（工程Ｓ２３）。
【００４４】
色マッチングスコア計算処理部３５は、工程Ｓ２３においてそれぞれ特定した表面期待画像データにおける色の最頻値及び表面スキャン画像データにおける色の最頻値に基づいて加重距離を計算する（工程Ｓ２４）。具体的には、ＨＳＶ色空間上の、表面期待画像データにおける色の最頻値の位置と表面スキャン画像データにおける色の最頻値の位置との間の加重距離を計算する。なお、工程Ｓ２４における加重距離の計算に用いられる重みは、例えばgrid searchで決定される。この場合、例えば人間の目に入りやすい色彩（例えば、緑色等）については重みを強くするものとする。加重距離は、例えば０〜１の間の値として計算される。
【００４５】
色マッチングスコア計算処理部３５は、工程Ｓ２４において計算された加重距離に基づいて、表面期待画像データに対する表面スキャン画像データのコンテンツの配色類似性を示す色マッチングスコア（第３スコア）を計算する（工程Ｓ２５）。なお、工程Ｓ２５において、色マッチングスコアは、例えば１．０から工程Ｓ２４において計算された加重距離を減算した値として計算される。
【００４６】
なお、裏面期待画像データ及び裏面スキャン画像データについても上記の色マッチングスコア計算処理（図５に示す処理）を実行することで、裏面期待画像データと裏面スキャン画像データとの間のコンテンツの配色類似性を示す色マッチングスコア（第４のスコア）が計算される。
【００４７】
第１実施形態に係る検品装置３０によれば、上記の構成により、印刷済ポストカードの表面と裏面とが整合しているかを判定し、これにより印刷済ポストカードを検品することが可能となる。第１実施形態に係る検品装置３０は、コンテンツの形態類似性と配色類似性との両方を勘案した検品処理を実行できるため、特に、画像やイラストが多く印刷されているような印刷物の検品への使用に適している。
【００４８】
なお、図４で示したコンテンツマッチングスコア計算処理によれば、例えば期待画像データ（表面期待画像データまたは裏面期待画像データ）に対してスキャン画像データ（表面スキャン画像データまたは裏面スキャン画像データ）が明らかに異なるような場合であれば図４に示す工程Ｓ３において類似しないと判定される（すなわち、スコア０が返される）ため、以降の処理を実行することなく整合していないと判定することが可能となる。一方、例えば工程Ｓ３において類似すると判定された場合には、更に詳細な類似判定処理（変換行列計算等）を行うことにより、期待画像データに対するスキャン画像データの類似判定を高精度に行うことが可能となる。
【００４９】
更に、第１実施形態においては、上記したコンテンツマッチングスコア計算処理に加えて色マッチングスコア計算処理を実行することにより、画像データ中のコンテンツの形状及び配色を総合的に勘案した判定をすることが可能となり、高精度な検品を実現できる。例えば、ポストカードに印刷されたコンテンツの形状が印刷用の画像データに含まれるコンテンツと同一であっても、ポストカードに印刷されたコンテンツの配色が異なれば、このポストカードを検品結果として検品ＮＧと判定することができる。
【００５０】
なお、第１実施形態においては第１〜第４スコアの各々が同一の閾値と比較されるものとして説明したが、当該第１〜第４スコアと比較される閾値は、例えば第１〜第４スコア毎に設定されていても構わない。具体的には、例えば、主にコンテンツマッチングスコア計算処理によって整合性を判定し、色マッチングスコア計算処理が補足的に実行されるような場合には、第１及び第２スコアと比較される閾値を高く設定し、第３及び第４スコアと比較される閾値を低く設定するようにしてもよい。また、例えば、主に色マッチングスコア計算処理によって整合性を判定し、コンテンツマッチングスコア計算処理が補足的に実行されるような場合には、第１及び第２スコアと比較される閾値を低く設定し、第３及び第４スコアと比較される閾値を高く設定するようにしてもよい。
【００５１】
また、一般的に宛名は黒色（の文字）で印刷される場合が多いため、例えば表面期待画像データ及び表面スキャン画像データに対して実行される色マッチングスコア計算処理において計算される第３スコアは、比較的高い値となる場合が多い。このため第３スコアに対しては、例えば第４スコアに対して設定される閾値よりも高い値が設定されてもよい。このように、例えば色マッチングスコア計算処理において計算される第３及び第４スコアの各々に対して異なる閾値を設定してもよい。同様に、コンテンツマッチングスコア計算処理において計算される第１及び第２スコアの各々に対して異なる閾値を設定してもよい。
【００５２】
また、第１実施形態においては、第１〜第４スコアの全てが閾値以上である場合に整合性があると判定されるものとして説明したが、例えば第１〜第４スコアのうちの予め定められた数（例えば２または３）のスコアが閾値以上である場合に整合性があると判定されるようにしてもよい。なお、この場合であっても、例えば特定のスコア（例えば、第２スコア等）については必ず閾値以上でなければならない等の他の条件を更に付与しても構わない。
【００５３】
また、第１実施形態における検品装置３０においては、スキャンする際のポストカードのわずかな向きの違いにより、表面スキャン画像データに含まれる宛名と裏面スキャン画像データに含まれるコンテンツとが正しい組み合わせであっても、整合性がないと判定されてしまう可能性がある。これを避けるために、例えばコンテンツマッチングスコア計算処理に用いられる閾値は比較的低く設定されていてもよい。
【００５４】
さらに、期待画像データに従ってポストカードが印刷されていても、印刷機１０の種類によって、または印刷機１０に使用されているインクの種類によって、期待されていた色に対して、実際に印刷された色が微妙に異なる可能性があり、これにより、表面スキャン画像データに含まれる宛名と裏面スキャン画像データに含まれるコンテンツとが正しい組み合わせであっても、整合性がないと判定されてしまう場合がある。これを避けるために、例えば色マッチングスコア計算処理に用いられる閾値は比較的低く設定されていてもよい。また、色マッチングスコア計算処理において、期待画像データの色の最頻値とスキャン画像データの色の最頻値との間の加重距離に基づいて色マッチングスコア（第３スコア及び第４スコア）が計算されていたが、３次元ヒストグラムの相似性に基づいて色マッチングスコアが計算されてもよい。これにより、印刷機１０の種類やインクの種類の違いによる色の微妙な違いを許容できるかもしれない。
【００５５】
ここで、第１実施形態においては、表面と裏面との組み合わせが異なる多数のポストカードを作成するために、上記した期待画像データ格納部３３には、当該ポストカードの表面印刷用の表面期待画像データと裏面印刷用の裏面期待画像データとの組が多数格納されているものとする。この場合、検品装置３０は、検品用スキャナ２０から受信したスキャン画像データの整合性を、期待画像データ格納部３３に格納されている期待画像データを用いて次々に判定する構成とすることができる。
【００５６】
このように多数の期待画像データが期待画像データ格納部３３に格納されている場合には、例えば同じような宛名の表面期待画像データが存在している場合がある。
【００５７】
以下、同じような宛名を含む２つの表面期待画像データを第１表面期待画像データ及び第２表面期待画像データと称するものとする。また、第１表面期待画像データに対応付けて期待画像データ格納部３３に格納されている裏面期待画像データは第１裏面期待画像データ、第２表面期待画像データに対応付けて期待画像データ格納部３３に格納されている裏面期待画像データは第２裏面期待画像データと称する。また、スキャン画像データ格納部３２に格納されている表面スキャン画像データ及び裏面スキャン画像データはそれぞれ対象表面スキャン画像データ及び対象裏面スキャン画像データと称する。なお、対象表面スキャン画像データに含まれる宛名は第１表面期待画像データに含まれる宛名と一致しており、対象裏面スキャン画像データに含まれるコンテンツは第１裏面期待画像データに含まれるコンテンツと一致しているものとする。
【００５８】
対象表面スキャン画像データ及び対象裏面スキャン画像データの整合性は、第１表面期待画像データ及び第１裏面期待画像データを用いて判定されるべきである。しかしながら、例えば検品装置３０において取得されるスキャン画像データ（対象表面スキャン画像データ及び対象裏面スキャン画像データ）の順番等が入れ替わってしまったことにより、当該対象表面スキャン画像データ及び対象裏面スキャン画像データの整合性を第２表面期待画像データ及び第２裏面期待画像データを用いて判定する（つまり、第２表面期待画像データ及び第２裏面期待画像データと対象表面スキャン画像データ及び対象裏面スキャン画像データとを対比する）ことになってしまった場合を想定する。
【００５９】
この場合、第１表面期待画像データ及び第２表面期待画像データは上記したように同じような宛名を含む画像データであるため、当該第２表面期待画像データに対する対象表面スキャン画像データの類似性を示す第１及び第３スコアとしては高い値が計算される可能性があり、当該第１及び第３スコアは閾値以上となる場合がある。
【００６０】
このような事態を回避するために、例えば同じような宛名を含む他の表面期待画像データ（第１表面期待画像データ）が存在する表面期待画像データ（第２表面期待画像データ）を用いて整合性を判定する場合には、当該表面期待画像データに対する対象表面スキャン画像データの類似性を示すスコア（第１及び第３スコア）と比較される閾値を高くするようにしてもよい。
【００６１】
ここでは、同じような宛名を含む表面期待画像データが複数存在する場合について説明したが、同じようなコンテンツを含む裏面期待画像データが複数存在する場合には、裏面期待画像データに対する対象裏面スキャン画像データの類似性を示すスコア（第２及び第４スコア）と比較される閾値を高くするようにしてもよい。
【００６２】
すなわち、第１実施形態においては、例えば期待画像データ格納部３３に格納されている期待画像データ間の類似度に基づいて、第１〜第４スコアと比較される閾値を動的に変更するような構成とすることも可能である。なお、期待画像データ間の類似度（つまり、同じような期待画像データが存在するか否か）は、上記のコンテンツマッチングスコア計算処理、色マッチングスコア計算処理により計算可能である。この類似度は、典型的には予め計算されている。
【００６３】
なお、上記したようにスキャン画像データ（表面スキャン画像データ及び裏面スキャン画像データの組）が順次取得される度に、期待画像データ格納部３３に格納されている異なる期待画像データ（表面期待画像データ及び裏面期待画像データの組）を用いて検品する場合、検品対象となるスキャン画像データが本来の順番と大きく異なる順番で取得される可能性は低いと考えられる。このため、例えば整合性の判定に用いられる期待画像データの前後に類似する期待画像データ（同じような宛名を含む表面期待画像データまたは同じようなコンテンツを含む裏面期待画像データ）が存在する場合にのみ閾値を動的に変更するような構成としてもよい。
【００６４】
（第２実施形態）  
第２実施形態に係る検品装置３０は、期待画像データに含まれるコンテンツに対するスキャン画像データに含まれるコンテンツの形態類似性と、期待画像データに含まれるテキストに対するスキャン画像データに含まれるテキストの類似性とに基づいて、印刷済ポストカードを検品する。
【００６５】
図６は、第２実施形態に係る検品装置３０の機能構成の一例を示すブロック図である。図６に示すように、検品装置３０は、通信処理部３１、スキャン画像データ格納部３２、期待画像データ格納部３３、コンテンツマッチングスコア計算処理部３４、判定処理部３６及びテキストマッチングスコア計算処理部３７を含む。
【００６６】
コンテンツマッチングスコア計算処理部３４は、既に説明したコンテンツマッチングスコア計算処理により、表面期待画像データに含まれるコンテンツに対する表面スキャン画像データに含まれるコンテンツの形態類似性を示す第１スコアと、裏面期待画像データに含まれるコンテンツに対する裏面スキャン画像データに含まれるコンテンツの形態類似性を示す第２スコアとを発生する。
【００６７】
テキストマッチングスコア計算処理部３７は、テキストマッチングスコア計算処理により、表面期待画像データから抽出されたテキストデータに対する表面スキャン画像データから抽出されたテキストデータの類似性を示す第３スコアと、裏面期待画像データから抽出されたテキストデータに対する裏面スキャン画像データから抽出されたテキストデータの類似性を示す第４スコアとを計算する。
【００６８】
判定処理部３６は、コンテンツマッチングスコア計算処理部３４によって計算されたコンテンツマッチングスコア（第１スコア及び第２スコア）及びテキストマッチングスコア計算処理部３７によって計算されたテキストマッチングスコア（第３スコア及び第４スコア）に基づいて、印刷済ポストカードの表面と裏面とが整合しているかを判定し、その最終的な総合判定結果（検品結果）を出力する。つまりテキストマッチングスコアによる判定結果がＯＫ（類似）であり、且つコンテンツマッチングスコアによる判定結果もＯＫである場合に、最終的な総合判定結果（検品結果）をＯＫ（整合）とすることが原則的である。
【００６９】
その一方で、テキストマッチングスコアの精度としてはＯＣＲ精度に依存することがあり、検品対象によっては、テキストマッチングスコアによる判定結果がＮＧ（非類似）であったとしても、コンテンツマッチングスコアによる判定結果がＯＫ（類似）となり、最終的な総合判定結果（検品結果）としては実際的にはＯＫ（整合）とすべきケースもある。勿論その逆もありうる。
【００７０】
従って、テキストマッチングスコアによる判定結果がＮＧで、且つコンテンツマッチングスコアによる判定結果もＮＧであるときには、総合判定結果（検品結果）はＮＧであるのは当然として、本実施形態では、判定処理部３６は、総合判定結果（検品結果）としてＯＫを出力するための３種類のロジックを装備する。ユーザは３種類のロジックから任意のロジックを選択することが可能である。ロジック“Ａ”としては原則どおり、テキストマッチングスコアによる判定結果がＯＫであり、且つコンテンツマッチングスコアによる判定結果もＯＫであるときに、総合判定結果（検品結果）をＯＫとする。ロジック“Ｂ”としては、テキストマッチングスコアによる判定結果がＮＧであっても、コンテンツマッチングスコアによる判定結果がＯＫであるときには、総合判定結果（検品結果）をＯＫとする。ロジック“Ｃ”としては、コンテンツマッチングスコアによる判定結果がＮＧであっても、テキストマッチングスコアによる判定結果がＯＫであるときには、総合判定結果（検品結果）をＯＫとする。
【００７１】
（テキストマッチングスコア計算処理）  
以下、図７のフローチャートを参照して、テキストマッチングスコア計算処理について説明する。なお、テキストマッチングスコア計算処理は、表面期待画像データ及び表面スキャン画像データの組と、裏面期待画像データ及び裏面スキャン画像データの組とについてそれぞれ実行される。ここでは、テキストマッチングスコア計算処理が表面期待画像データ及び表面スキャン画像データの組を対象に実行される場合について説明する。
【００７２】
テキストマッチングスコア計算処理部３７は、表面期待画像データ及び裏面期待画像データからそれぞれテキストデータを抽出する（工程Ｓ３１）。同様に、テキストマッチングスコア計算処理部３７は、表面スキャン画像データ及び裏面スキャン画像データからそれぞれテキストデータを抽出する（工程Ｓ３２）。画像からテキストデータを抽出する処理は、一般的なＯＣＲ（Optical Character Recognition/Reader；光学的文字認識）処理により行われる。テキストマッチングスコア計算処理部３７は、工程Ｓ３１で表面期待画像データから抽出されたデキストデータに対する工程Ｓ３２で表面スキャン画像データから抽出されたテキストデータのテキスト類似性を示すテキストマッチングスコア（第３スコア）を計算する（工程Ｓ３３）。例えば、表面期待画像データから抽出されたデキストデータに対して表面スキャン画像データから抽出されたテキストデータが完全一致する場合、テキストマッチングスコアとして１が計算され、完全一致しない場合、テキストマッチングスコアとして０が計算される。表面／裏面の期待画像データから抽出されたデキスト（文字列）と、表面／裏面のスキャン画像データから抽出されたテキスト（文字列）との間のレーベンシュタイン距離を求め、求めたレーベンシュタイン距離の例えば逆数をテキストマッチングスコアとしてもよい。
【００７３】
なお、裏面期待画像データ及び裏面スキャン画像データについても上記のテキストマッチングスコア計算処理（図７に示す処理）を実行することで、裏面期待画像データに対する裏面スキャン画像データのテキスト類似性を示すテキストマッチングスコア（第４スコア）が計算される。
【００７４】
上記のテキストマッチングスコア計算処理における一つの特徴は、ＯＣＲ処理によりスキャン画像データから抽出されたテキストデータを、期待画像データの元データであるテキストデータではなく、同じＯＣＲ処理を用いて期待画像データから抽出されたテキストデータに対して比較する点にある。これにより、ＯＣＲ処理の特性を期待画像データとスキャン画像データとの間で許容することができる。具体的には、ポストカードに印刷された写真等に文字が含まれている場合、テキストが整合しているにもかかわらず、テキストマッチングスコアは低くなってしまう。しかし、同じＯＣＲ処理をスキャン画像データと期待画像データとに実行することで、ポストカードに印刷された写真に文字が含まれていても、両方に含まれる写真からテキストデータがそれぞれ抽出することができ、上記のようなエラーを回避できる。
【００７５】
（効果説明）  
第２実施形態に係る検品装置３０によれば、第１実施形態に係る検品装置３０と同様に、印刷済ポストカードの表面と裏面とが整合しているかを判定し、これにより印刷済ポストカードを検品することが可能となる。第２実施形態に係る検品装置３０は、コンテンツの形態類似性とテキスト類似性との両方を勘案した検品処理を実行できるため、特に、文章が多く印刷されているような印刷物の検品への使用に適している。
【００７６】
なお、第１、第２実施形態で説明したコンテンツマッチングスコア計算処理は、画像全体を対象に実行されていたが、画像全体ではなく画像の一部分を対象に実行されてもよい。図８は、コンテンツマッチングスコア計算処理の他の例を示すフローチャートである。ここで、検品対象のポストカードの総数をNと仮定する。ｎはN枚のポストカードを個々に識別する変数とする。まず、工程S４１において、ポストカード変数ｎを１に初期化する。表面期待画像データと表面スキャン画像データとの組に対して図４に示すコンテンツマッチングスコア計算処理を実行する（工程Ｓ４２）。工程Ｓ４２の処理は、画像全体が対象である。すなわち、工程Ｓ４２の処理により、表面期待画像の全体に対する表面スキャン画像の全体の形態類似性を示す全体コンテンツマッチングスコアが計算される。
【００７７】
次に、全体コンテンツマッチングスコアを閾値に対して比較する（工程Ｓ４３）。全体コンテンツマッチングスコアが閾値未満である場合（工程Ｓ４３のＮＯ）、つまり表面期待画像と表面スキャン画像とが非類似であるとき、後述の部分コンテンツマッチングスコアの計算処理（工程Ｓ４４、Ｓ４５）を実行せず、工程Ｓ４６に移行する。図９にコンテンツマッチングレポートの一例を示すように、工程Ｓ４３の全体コンテンツマッチング判定結果がＮＯ（非類似）であるとき、そのポストカード番号“ＰＭＬ００４”の全体コンテンツマッチング判定結果に“ＮＧ（非類似）”を記載するとともに、そのポストカードの最終的な検品結果に“ＮＧ（不整合）”を記載する。勿論、この場合、部分コンテンツマッチング判定処理は実施しないので、“判定処理せず”を意味する記号“−”を記載する。
【００７８】
一方、全体コンテンツマッチングスコアが閾値以上である場合（工程Ｓ４３のＹＥＳ）、つまり表面期待画像と表面スキャン画像とが類似であるとき、さらなる詳細判定としての部分コンテンツマッチング判定処理を実行する。まず表面期待画像の全体から複数の部分画像を切り出し、同様に表面スキャン画像の全体から複数の部分画像を切り出す（工程Ｓ４４）。例えば、全体画像から部分画像の切り出し処理は、期待画像データの元データに含まれる画像レイアウト情報に従って実行される。
【００７９】
次に、画像レイアウト情報に従って、表面期待画像から切り出された部分画像と、それに対応する表面スキャン画像から切り出された部分画像との組に対して図４に示すコンテンツマッチングスコア計算処理を実行する（工程Ｓ４５）。工程Ｓ４５の処理により、画像レイアウト情報に従って、表面期待画像及び表面スキャン画像からそれぞれ切り出された部分画像ペア毎のコンテンツマッチングスコアが計算される。例えば、画像レイアウト情報に３種類の画像データそれぞれのレイアウト情報が含まれていれば、工程Ｓ４４の処理により、同位置で同範囲の部分画像間のコンテンツマッチングスコアが計算される。図８に示す他のコンテンツマッチングスコア計算処理によれば、全体画像を対象とした全体コンテンツマッチングスコア計算処理（図４参照）が実行され、全体画像が類似（整合）していると判定された場合に、さらに全体画像から画像レイアウト情報に従って切り出した部分画像を対象とした部分コンテンツマッチングスコア計算処理が実行される。これにより、部分画像毎のコンテンツマッチングスコアが計算される。
【００８０】
判定処理部３６は、部分画像毎のコンテンツマッチングスコアの全てが閾値以上であるとき、表面期待画像データに含まれるコンテンツに対して表面スキャン画像データに含まれるコンテンツが形態的に一致している（ＯＫ）であると、判定する。つまり、大きさの異なる複数の画像が印刷されているようなポストカードのスキャン画像データと期待画像データとの全体同士をコンテンツマッチングスコアで比較した場合、小さな画像は大きな画像に比べてコンテンツマッチングスコアに影響を及ぼさないため、小さな画像が異なっていても全体としては、コンテンツ同士は形態的に一致している判定されるかもしれない。しかしながら、ポストカードに印刷された画像同士を部分コンテンツマッチングスコアで比較した場合、実際には非類似であるにもかかわらず、コンテンツマッチング結果が類似（ＯＫ）として誤判定されてしなう事態を確実に回避することができる。図９のポストカード番号“ＰＭＬ００３”に例示するように、全体コンテンツマッチング判定結果が“ＯＫ（類似）”であるが、部分コンテンツマッチング判定結果に少なくとも１つの“ＮＧ（非類似）”が含まれるときには、そのポストカードの最終的な検品結果は“ＮＧ（不整合）”と判定する。
【００８１】
全体コンテンツマッチング判定結果が“ＯＫ（類似）”であり、且つ部分コンテンツマッチング判定結果の全てが“ＯＫ（類似）”であるときのみ、そのポストカードの最終的な検品結果として“ＯＫ（整合）”を出力する。
【００８２】
工程S４６では次のポストカードの判定処理に移行するためにポストカード変数ｎをｎ＋１にインクリメントする。変数ｎが検品対象のポストカード総数Ｎを超過せず、検品対象が残存しているとき（工程Ｓ４７でＮＯ）、工程Ｓ４２にリターンする。変数ｎが検品対象のポストカード総数Ｎを超過しているとき（工程Ｓ４７でＹＥＳ）、検品対象の全ての検品処理が完了した判断して、図９に例示するコンテンツマッチングレポートを出力する（工程Ｓ４８）。
【００８３】
なお、図８の例では、全体コンテンツマッチングがＮＧ（非類似）と判定された場合には、部分コンテンツマッチングの判定処理は実行されない。処理効率上は有利であるが、その一方で、全体コンテンツマッチングの判定結果がＮＧと判定された要因が、全体内のどの部分にあるのかを特定することができない。従って、図１０に例示するように、全体コンテンツマッチングスコア計算処理工程（Ｓ４２）の後処理工程としての“閾値に対する全体コンテンツマッチングスコアの比較処理（工程Ｓ４３）を実行せず、期待画像と表面スキャン画像それぞれから複数の部分画像を切り出す工程（Ｓ４４）に移行するようにしてもよい。つまり全体コンテンツマッチング判定結果に関わらず、常に部分コンテンツマッチング判定処理を実行するようにしてもよい。この場合、図１１にそのレポートにおいて、ポストカード番号“ＰＭＬ００４”に例示するように、全体コンテンツマッチング判定結果が“ＮＧ（非類似）”であっても、部分画像ごとの部分コンテンツマッチング判定結果が記述される。この例ではポストカード番号“ＰＭＬ００４”のポストカードは全体コンテンツマッチング判定結果が“ＮＧ（非類似）”でり、その要因が部分画像２の非類似にあることが認識できる。従って、ポストカード番号“ＰＭＬ００４”のポストカードの検品結果がＮＧ（不整合）の原因がコンテンツの非類似であり、さらにその要因が部分画像２の非類似にあることを特定する事ができる。
【００８４】
第１実施形態においては、コンテンツマッチングスコア計算処理及び色マッチングスコア計算処理の双方が実行されることによって印刷済ポストカードの検品処理がなされ、第２実施形態においては、コンテンツマッチングスコア計算処理及びテキストマッチングスコア計算処理の双方が実行されることにより印刷済ポストカードに対して検品処理がなされた。しかしながら、例えばコンテンツマッチングスコア計算処理のみが実行されることによって印刷済ポストカードの検品処理がなされてもよいし、色マッチングスコア計算処理のみが実行されることによって印刷済ポストカードの検品処理がなされてもよい。
【００８５】
また、第１、第２実施形態においては、表面に宛名が印刷され、裏面にコンテンツが印刷されるポストカードの表面と裏面との整合性を判定（検品）する場合について説明したが、ポストカードは一例であり、第１、第２実施形態は、例えば表面及び裏面を有し、当該表面に印刷された内容と裏面に印刷された内容との整合性を判定するものであれば、ポストカード以外の検品に用いられても構わない。
【００８６】
さらに、第１、第2実施形態では、ポストカードの表面期待画像に対する表面スキャン画像の類似性を判定するために用いた処理は、裏面期待画像に対する裏面スキャン画像との類似性を判定するために用いた処理と同一であったが、異なっていても良い。例えば、表面に住所、宛名等が印刷され、裏面に画像、イラスト等が印刷されたポストカードが対象であれば、表面期待画像データに対する表面スキャン画像データの類似性を判定するためにテキストマッチングスコア計算処理を用い、裏面期待画像データに対する裏面スキャン画像データの類似性を判定するためにコンテンツマッチングスコア計算処理および色マッチングスコア計算処理の少なくとも一方を用いるようにしてもよい。また、表面に住所、宛名等が印刷され、裏面に画像、イラストとともにテキストが印刷されたポストカードであれば、表面期待画像データに対する表面スキャン画像データの類似性を判定するためにテキストマッチングスコア計算処理を用い、裏面期待画像データに対する裏面スキャン画像データの類似性を判定するためにコンテンツマッチングスコア計算処理、色マッチングスコア計算処理およびテキストマッチングスコア計算処理のうち少なくとも二つの処理を用いるようにしてもよい。
【００８７】
なお、上記した実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納して頒布することもできる。
【００８８】
また、この記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【００８９】
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
【００９０】
更に、本発明における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
【００９１】
また、記憶媒体は１つに限らず、複数の媒体から本実施形態における処理が実行される場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であってもよい。
【００９２】
なお、本発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
【００９３】
また、本発明におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。
【００９４】
なお、本願発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組合せてもよい。  
【符号の説明】
【００９５】
１０…印刷機、２０…検品用スキャナ、３０…検品装置、３１…通信処理部、３２…スキャン画像データ格納部、３３…期待画像データ格納部、３４…コンテンツマッチングスコア計算処理部、３５…色マッチングスコア計算処理部、３６…判定処理部。
【図１】
2019087260.tif 000003
【図２】
2019087260.tif 000004
【図３】
2019087260.tif 000005
【図４】
2019087260.tif 000006
【図５】
2019087260.tif 000007
【図６】
2019087260.tif 000008
【図７】
2019087260.tif 000009
【図８】
2019087260.tif 000010
【図９】
2019087260.tif 000011
【図１０】
2019087260.tif 000012
【図１１】
2019087260.tif 000013