(57)【要約】【課題】検出対象物のラベルが占有する領域と背景領域とが類似した色分布に属する画素で構成されている場合でも、ラベルが占有する領域と同背景領域とが容易に分離され、また、ラベルに覆われている部分の背景領域が円滑に再現されるラベル領域検出装置を提供する。【解決手段】撮像手段１１により撮像された検出対象物の画像が入力画像記憶手段１２に逐次入力されて複数の検出画像ｄｖ２として記憶され、位置合わせ手段１３、背景画像生成手段１４、背景画像評価手段１５及び背景画像記憶手段１６により、任意の１つの検出画像ｄｖ２内のラベルの領域に対して、他の検出画像ｄｖ２内のラベルが貼付されていない領域で補うことにより、背景画像ｄｖ６が出力され、差分画像生成手段１７及び出力手段１８により、背景画像ｄｖ６と同背景画像ｄｖ６の生成後に入力された検出画像ｄｖｂとの差分画像ｄｖ７が求められてラベル画像が生成される。【選択図】図１
2008123266.tif 000002
【特許請求の範囲】
【請求項１】
一部にラベルが貼付された検出対象物の画像からラベル領域を検出するラベル領域検出装置であって、
複数の前記検出対象物の画像を逐次入力して複数の検出画像として記憶する画像入力記憶手段と、
該画像入力記憶手段に記憶されている複数の前記検出画像を用い、任意の１つの前記検出画像内の前記ラベルが貼付されている領域に対して、他の前記検出画像内の前記ラベルが貼付されていない領域を補って合成することにより、前記ラベルを含まない背景画像を生成する背景画像合成生成手段と、
該背景画像合成生成手段で生成された前記背景画像と該背景画像の生成後に入力された前記検出画像との差分画像を求めることにより、前記ラベル領域に対応するラベル画像を生成するラベル画像生成手段とを有することを特徴とするラベル領域検出装置。
【請求項２】
前記画像入力記憶手段は、
前記各検出対象物全体を撮像して前記検出画像を取得する撮像手段と、
該撮像手段で取得された前記検出画像を複数蓄積する検出画像記憶手段とを備え、
前記背景画像合成生成手段は、
前記検出画像記憶手段に蓄積された複数の前記検出画像をそれぞれ特定の方向にシフトさせて位置合わせする位置合わせ手段と、
該位置合わせ手段により位置合わせされた複数の前記検出画像を用いて前記背景画像を生成する背景画像生成手段と、
該背景画像生成手段で生成された前記背景画像に対して、前記ラベルに対応する画像が含まれていないことを確認する背景画像評価手段と、
該背景画像評価手段で確認された前記背景画像を蓄積する背景画像記憶手段とを備え、
前記ラベル画像生成手段は、
前記該背景画像記憶手段に蓄積された前記背景画像と該背景画像の生成後に前記検出画像記憶手段に入力された前記検出画像との差分画像を生成する差分画像生成手段と、
該差分画像生成手段で生成された前記差分画像を前記ラベル画像として出力する差分画像出力手段とを備えてなることを特徴とする請求項１記載のラベル領域検出装置。
【請求項３】
前記検出画像記憶手段に蓄積された複数の前記検出画像から共通する特定の形状領域を抽出し、前記各検出画像毎に前記特定の形状領域の特徴点を抽出する特徴点抽出手段と、
該特徴点抽出手段で抽出された前記各特徴点の位置を記憶する特徴点記憶手段とが設けられ、
前記位置合わせ手段は、
前記特徴点記憶手段に記憶された前記各特徴点の位置を用いて、前記検出画像記憶手段に記憶された複数の前記検出画像をそれぞれ特定の方向にシフトさせて位置合わせする構成とされていることを特徴とする請求項２記載のラベル領域検出装置。
【請求項４】
前記背景画像生成手段は、
前記位置合わせ手段により位置合わせされた複数の前記検出画像を参照し、変化のない部分を合成して前記背景画像を生成する構成とされていることを特徴とする請求項２又は３記載のラベル領域検出装置。
【請求項５】
前記背景画像評価手段は、
前記背景画像生成手段で生成された前記背景画像が、あらかじめ設定された特定の枚数又はそれ以上の枚数の前記検出画像を用いて生成された場合に正しい背景画像として判定する構成とされていることを特徴とする請求項２、３又は４記載のラベル領域検出装置。
【請求項６】
前記背景画像評価手段は、
前記背景画像のあらかじめ設定された一定数以上の画素に対して、前記位置合わせ手段によりそれぞれ特定の方向にシフトさせた前記検出画像における同じ位置の画素があらかじめ設定された画素値の範囲内にあらかじめ設定された一定数以上存在する場合に、正しい背景画像として判定する構成とされていることを特徴とする請求項２、３又は４記載のラベル領域検出装置。
【請求項７】
前記背景画像評価手段は、
前記検出画像のあらかじめ設定された領域において、前記背景画像と判定する構成とされていることを特徴とする請求項５又は６記載のラベル領域検出装置。
【請求項８】
一部にラベルが貼付された検出対象物の画像からラベル領域を検出するラベル領域検出装置に用いられるラベル領域検出方法であって、
複数の前記検出対象物の画像を逐次入力して複数の検出画像として記憶する画像入力記憶処理と、
該画像入力記憶処理で記憶されている複数の前記検出画像を用い、任意の１つの前記検出画像内の前記ラベルが貼付されている領域に対して、他の前記検出画像内の前記ラベルが貼付されていない領域を補って合成することにより、前記ラベルを含まない背景画像を生成する背景画像合成生成処理と、
該背景画像合成生成処理で生成された前記背景画像と該背景画像の生成後に入力された前記検出画像との差分画像を求めることにより、前記ラベル領域に対応するラベル画像を生成するラベル画像生成処理とを行うことを特徴とするラベル領域検出方法。
【請求項９】
前記画像入力記憶処理では、
前記各検出対象物全体を撮像して前記検出画像を取得する撮像処理と、
該撮像処理で取得された前記検出画像を複数蓄積する検出画像記憶処理とを行い、
前記背景画像合成生成処理では、
前記検出画像記憶処理に蓄積された複数の前記検出画像をそれぞれ特定の方向にシフトさせて位置合わせする位置合わせ処理と、
該位置合わせ処理により位置合わせされた複数の前記検出画像を用いて前記背景画像を生成する背景画像生成処理と、
該背景画像生成処理で生成された前記背景画像に対して、前記ラベルに対応する画像が含まれていないことを確認する背景画像評価処理と、
該背景画像評価処理で確認された前記背景画像を蓄積する背景画像記憶処理とを行い、
前記ラベル画像生成処理では、
前記該背景画像記憶処理に蓄積された前記背景画像と該背景画像の生成後に前記検出画像記憶処理に入力された前記検出画像との差分画像を生成する差分画像生成処理と、
該差分画像生成処理で生成された前記差分画像を前記ラベル画像として出力する差分画像出力処理とを行うことを特徴とする請求項８記載のラベル領域検出方法。
【請求項１０】
前記検出画像記憶処理で蓄積された複数の前記検出画像から共通する特定の形状領域を抽出し、前記各検出画像毎に前記特定の形状領域の特徴点を抽出する特徴点抽出処理と、
該特徴点抽出処理で抽出された前記各特徴点の位置を記憶する特徴点記憶処理とを行い、
前記位置合わせ処理では、
前記特徴点記憶処理で記憶された前記各特徴点の位置を用いて、前記検出画像記憶処理で記憶された複数の前記検出画像をそれぞれ特定の方向にシフトさせて位置合わせすることを特徴とする請求項９記載のラベル領域検出方法。
【請求項１１】
前記背景画像生成処理では、
前記位置合わせ処理により位置合わせされた複数の前記検出画像を参照し、変化のない部分を合成して前記背景画像を生成することを特徴とする請求項９又は１０記載のラベル領域検出方法。
【請求項１２】
前記背景画像評価処理では、
前記背景画像生成処理で生成された前記背景画像が、あらかじめ設定された特定の枚数又はそれ以上の枚数の前記検出画像を用いて生成された場合に正しい背景画像として判定することを特徴とする請求項９、１０又は１１記載のラベル領域検出方法。
【請求項１３】
前記背景画像評価処理では、
前記背景画像のあらかじめ設定された一定数以上の画素に対して、前記位置合わせ処理によりそれぞれ特定の方向にシフトさせた前記検出画像における同じ位置の画素があらかじめ設定された画素値の範囲内にあらかじめ設定された一定数以上存在する場合に、正しい背景画像として判定することを特徴とする請求項９、１０又は１１記載のラベル領域検出方法。
【請求項１４】
前記背景画像評価処理では、
前記検出画像のあらかじめ設定された領域において、前記背景画像と判定することを特徴とする請求項１２又は１３記載のラベル領域検出方法。
【請求項１５】
コンピュータに請求項１乃至７のいずれか一に記載のラベル領域検出方法を制御させるためのラベル領域検出制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ラベル領域検出装置、該検出装置に用いられるラベル領域検出方法及びラベル領域検出制御プログラムに係り、たとえば、封書、はがき、雑誌、新聞、小包などの検出対象物を撮像した画像から、同検出対象物に貼付された宛名ラベルなどの領域を検出する場合に用いて好適なラベル領域検出装置、該検出装置に用いられるラベル領域検出方法及びラベル領域検出制御プログラムに関する。
【背景技術】
【０００２】
封書、はがき、雑誌、新聞、小包などに記載された郵便番号や住所をＯＣＲ（Optical Character Reader、光学式文字読取装置）によって区分する場合、読取りの対象となる郵便番号や住所がラベルや枠内に記載されていることが多いため、文字読取りの前処理として、同ラベルや枠に対応する領域（以下、「ラベル領域」という）の検出を行うことが有効である。このため、同ラベル領域の検出装置が製作されている。
【０００３】
従来、この種の技術としては、たとえば、特許文献１に記載されたものがある。
特許文献１に記載されたラベル領域検出装置では、カラースキャナ部により検出対象物が撮像され、画像メモリにより同検出対象物の画像データが記憶される。ラベル色記憶部には、ラベルの色成分が記憶されている。画像比較部により、上記画像メモリに記憶された画像データと、上記ラベル色記憶部に記憶されたラベルの色成分とが比較され、ラベルの色成分のみの画像データが作成される。この場合、画像比較部では、ラベル色記憶部に記憶されている各画素の色成分の範囲内にある画像データが生成される。そして、ラベル領域検出部により、画像比較部で作成されたラベルの色成分だけの画像データに基づいてラベル領域が検出される。この場合、ラベル領域検出部では、上記画像比較部で作成されたラベルの色成分だけの画像データの画素を画像の縦方向及び横方向それぞれについてカウントすることにより、ヒストグラムが生成され、縦方向及び横方向それぞれの値が所定の閾値以上となる領域を候補とし、この候補の大きさや位置などに基づいてラベル領域が検出される。
【特許文献１】特開２００１−３１２６９５号公報（要約書、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来のラベル領域検出装置では、次のような問題点があった。
すなわち、特許文献１に記載されたラベル領域検出装置では、検出対象物のラベル領域と背景領域とを分離するために色成分の情報が用いられるため、同ラベル領域と同背景領域とが類似した色分布に属する画素で構成されている場合では、同ラベル領域と同背景領域とを分離することが困難になるという問題点がある。また、１枚の入力画像毎にラベル領域が検出されるため、ラベルに覆われている部分の背景領域が再現できないという問題点がある。
【０００５】
この発明は、上述の事情に鑑みてなされたもので、検出対象物の画像のラベル領域と背景領域とが類似した色分布に属する画素で構成されている場合でも、同ラベル領域と同背景領域とが容易に分離され、また、ラベルに覆われている部分の背景領域が再現されるラベル領域検出装置、該検出装置に用いられるラベル領域検出方法及びラベル領域検出制御プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１記載の発明は、一部にラベルが貼付された検出対象物の画像からラベル領域を検出するラベル領域検出装置に係り、複数の前記検出対象物の画像を逐次入力して複数の検出画像として記憶する画像入力記憶手段と、該画像入力記憶手段に記憶されている複数の前記検出画像を用い、任意の１つの前記検出画像内の前記ラベルが貼付されている領域に対して、他の前記検出画像内の前記ラベルが貼付されていない領域を補って合成することにより、前記ラベルを含まない背景画像を生成する背景画像合成生成手段と、該背景画像合成生成手段で生成された前記背景画像と該背景画像の生成後に入力された前記検出画像との差分画像を求めることにより、前記ラベル領域に対応するラベル画像を生成するラベル画像生成手段とを有することを特徴としている。
【０００７】
請求項２記載の発明は、請求項１記載のラベル領域検出装置に係り、前記画像入力記憶手段は、前記各検出対象物全体を撮像して前記検出画像を取得する撮像手段と、該撮像手段で取得された前記検出画像を複数蓄積する検出画像記憶手段とを備え、前記背景画像合成生成手段は、前記検出画像記憶手段に蓄積された複数の前記検出画像をそれぞれ特定の方向にシフトさせて位置合わせする位置合わせ手段と、該位置合わせ手段により位置合わせされた複数の前記検出画像を用いて前記背景画像を生成する背景画像生成手段と、該背景画像生成手段で生成された前記背景画像に対して、前記ラベルに対応する画像が含まれていないことを確認する背景画像評価手段と、該背景画像評価手段で確認された前記背景画像を蓄積する背景画像記憶手段とを備え、前記ラベル画像生成手段は、前記該背景画像記憶手段に蓄積された前記背景画像と該背景画像の生成後に前記検出画像記憶手段に入力された前記検出画像との差分画像を生成する差分画像生成手段と、該差分画像生成手段で生成された前記差分画像を前記ラベル画像として出力する差分画像出力手段とを備えてなることを特徴としている。
【０００８】
請求項３記載の発明は、請求項２記載のラベル領域検出装置に係り、前記検出画像記憶手段に蓄積された複数の前記検出画像から共通する特定の形状領域を抽出し、前記各検出画像毎に前記特定の形状領域の特徴点を抽出する特徴点抽出手段と、該特徴点抽出手段で抽出された前記各特徴点の位置を記憶する特徴点記憶手段とが設けられ、前記位置合わせ手段は、前記特徴点記憶手段に記憶された前記各特徴点の位置を用いて、前記検出画像記憶手段に記憶された複数の前記検出画像をそれぞれ特定の方向にシフトさせて位置合わせする構成とされていることを特徴としている。
【０００９】
請求項４記載の発明は、請求項２又は３記載のラベル領域検出装置に係り、前記背景画像生成手段は、前記位置合わせ手段により位置合わせされた複数の前記検出画像を参照し、変化のない部分を合成して前記背景画像を生成する構成とされていることを特徴としている。
【００１０】
請求項５記載の発明は、請求項２、３又は４記載のラベル領域検出装置に係り、前記背景画像評価手段は、前記背景画像生成手段で生成された前記背景画像が、あらかじめ設定された特定の枚数又はそれ以上の枚数の前記検出画像を用いて生成された場合に正しい背景画像として判定する構成とされていることを特徴としている。
【００１１】
請求項６記載の発明は、請求項２、３又は４記載のラベル領域検出装置に係り、前記背景画像評価手段は、前記背景画像のあらかじめ設定された一定数以上の画素に対して、前記位置合わせ手段によりそれぞれ特定の方向にシフトさせた前記検出画像における同じ位置の画素があらかじめ設定された画素値の範囲内にあらかじめ設定された一定数以上存在する場合に、正しい背景画像として判定する構成とされていることを特徴としている。
【００１２】
請求項７記載の発明は、請求項５又は６記載のラベル領域検出装置に係り、前記背景画像評価手段は、前記検出画像のあらかじめ設定された領域において、前記背景画像と判定する構成とされていることを特徴としている。
【００１３】
請求項８記載の発明は、一部にラベルが貼付された検出対象物の画像からラベル領域を検出するラベル領域検出装置に用いられるラベル領域検出方法に係り、複数の前記検出対象物の画像を逐次入力して複数の検出画像として記憶する画像入力記憶処理と、該画像入力記憶処理で記憶されている複数の前記検出画像を用い、任意の１つの前記検出画像内の前記ラベルが貼付されている領域に対して、他の前記検出画像内の前記ラベルが貼付されていない領域を補って合成することにより、前記ラベルを含まない背景画像を生成する背景画像合成生成処理と、該背景画像合成生成処理で生成された前記背景画像と該背景画像の生成後に入力された前記検出画像との差分画像を求めることにより、前記ラベル領域に対応するラベル画像を生成するラベル画像生成処理とを行うことを特徴としている。
【００１４】
請求項９記載の発明は、請求項８記載のラベル領域検出方法に係り、前記画像入力記憶処理では、前記各検出対象物全体を撮像して前記検出画像を取得する撮像処理と、該撮像処理で取得された前記検出画像を複数蓄積する検出画像記憶処理とを行い、前記背景画像合成生成処理では、前記検出画像記憶処理に蓄積された複数の前記検出画像をそれぞれ特定の方向にシフトさせて位置合わせする位置合わせ処理と、該位置合わせ処理により位置合わせされた複数の前記検出画像を用いて前記背景画像を生成する背景画像生成処理と、該背景画像生成処理で生成された前記背景画像に対して、前記ラベルに対応する画像が含まれていないことを確認する背景画像評価処理と、該背景画像評価処理で確認された前記背景画像を蓄積する背景画像記憶処理とを行い、前記ラベル画像生成処理では、前記該背景画像記憶処理に蓄積された前記背景画像と該背景画像の生成後に前記検出画像記憶処理に入力された前記検出画像との差分画像を生成する差分画像生成処理と、該差分画像生成処理で生成された前記差分画像を前記ラベル画像として出力する差分画像出力処理とを行うことを特徴としている。
【００１５】
請求項１０記載の発明は、請求項９記載のラベル領域検出方法に係り、前記検出画像記憶処理で蓄積された複数の前記検出画像から共通する特定の形状領域を抽出し、前記各検出画像毎に前記特定の形状領域の特徴点を抽出する特徴点抽出処理と、該特徴点抽出処理で抽出された前記各特徴点の位置を記憶する特徴点記憶処理とを行い、前記位置合わせ処理では、前記特徴点記憶処理で記憶された前記各特徴点の位置を用いて、前記検出画像記憶処理で記憶された複数の前記検出画像をそれぞれ特定の方向にシフトさせて位置合わせすることを特徴としている。
【００１６】
請求項１１記載の発明は、請求項９又は１０記載のラベル領域検出方法に係り、前記背景画像生成処理では、前記位置合わせ処理により位置合わせされた複数の前記検出画像を参照し、変化のない部分を合成して前記背景画像を生成することを特徴としている。
【００１７】
請求項１２記載の発明は、請求項９、１０又は１１記載のラベル領域検出方法に係り、前記背景画像評価処理では、前記背景画像生成処理で生成された前記背景画像が、あらかじめ設定された特定の枚数又はそれ以上の枚数の前記検出画像を用いて生成された場合に正しい背景画像として判定することを特徴としている。
【００１８】
請求項１３記載の発明は、請求項９、１０又は１１記載のラベル領域検出方法に係り、前記背景画像評価処理では、前記背景画像のあらかじめ設定された一定数以上の画素に対して、前記位置合わせ処理によりそれぞれ特定の方向にシフトさせた前記検出画像における同じ位置の画素があらかじめ設定された画素値の範囲内にあらかじめ設定された一定数以上存在する場合に、正しい背景画像として判定することを特徴としている。
【００１９】
請求項１４記載の発明は、請求項１２又は１３記載のラベル領域検出方法に係り、前記背景画像評価処理では、前記検出画像のあらかじめ設定された領域において、前記背景画像と判定することを特徴としている。
【００２０】
請求項１５記載の発明は、ラベル領域検出制御プログラムに係り、コンピュータに請求項１乃至７のいずれか一に記載のラベル領域検出装置を制御させることを特徴としている。
【発明の効果】
【００２１】
この発明の構成によれば、画像入力記憶手段により、複数の検出対象物の画像が逐次入力されて複数の検出画像として記憶され、背景画像合成生成手段により、同画像入力記憶手段に記憶されている複数の検出画像を用い、任意の１つの検出画像内のラベルが貼付されている領域に対して、他の検出画像内のラベルが貼付されていない領域が合成されることにより、同ラベルを含まない背景画像が生成され、ラベル画像生成手段により、同背景画像合成生成手段で生成された背景画像と同背景画像の生成後に入力された検出画像との差分画像が求められ、ラベル領域に対応するラベル画像が生成されるので、同検出対象物の画像が、ラベルの占有する領域と背景領域とが類似した色分布に属する画素で構成されている場合でも、同ラベルで覆われている部分の背景画像を円滑に生成できると共に同ラベルの占有する領域を円滑に検出できる。
【００２２】
また、背景画像評価手段により、背景画像生成手段で生成された背景画像が背景として妥当であるか否かが判断される場合、同背景画像があらかじめ設定された一定数以上の検出画像を用いて生成された場合に背景として妥当であると判断される。これにより、信頼性の高い背景画像を生成できる。また、背景画像のあらかじめ設定された一定数以上の画素に対して、位置合わせ手段によりそれぞれ特定の方向にシフトさせた検出画像における同じ位置の画素が、あらかじめ設定された画素値の範囲内にあらかじめ設定された一定数以上存在する場合に背景として妥当であると判断される。これにより、より信頼性の高い背景画像を生成できる。また、検出画像のあらかじめ設定された領域において、正しい背景画像と判定されて背景画像が出力される。これにより、撮像手段より撮像される画像の一部が欠落していても、円滑に背景画像を生成できる。
【００２３】
また、特徴点抽出手段により、各検出画像毎に特定の形状の特徴点が抽出され、抽出された各特徴点の位置が特徴点記憶手段に記憶され、位置合わせ手段により、特徴点記憶手段に記憶された各特徴点の位置を用いて、検出画像記憶手段に記憶された複数の検出画像が、各特徴点の位置が合うように位置合わせされるので、比較的簡単な位置合わせ処理により、上記と同様の効果がある。
【発明を実施するための最良の形態】
【００２４】
検出対象物の画像のラベルが占有する領域と背景領域とが類似した色分布に属する画素で構成されている場合でも、同ラベルが占有する領域と同背景領域とが容易に分離され、また、ラベルに覆われている部分の背景領域が再現されるラベル領域検出装置、該検出装置に用いられるラベル領域検出方法及びラベル領域検出制御プログラムを提供する。
【実施例１】
【００２５】
図１は、この発明の第１の実施例であるラベル領域検出装置の電気的構成を示すブロック図である。
この例のラベル領域検出装置１０は、同図に示すように、撮像手段１１と、入力画像記憶手段１２と、位置合わせ手段１３と、背景画像生成手段１４と、背景画像評価手段１５と、背景画像記憶手段１６と、差分画像生成手段１７と、出力手段１８と、制御部１９とから構成されている。撮像手段１１は、たとえばカラースキャナなどで構成され、一部にラベルが貼付された検出対象物（たとえば、宛名が記載されたラベルが貼付されている郵便はがきなど）全体を撮像して検出画像ｄｖ１を取得する。入力画像記憶手段１２は、たとえばＲＡＭ（Randam Access Memory）などで構成され、撮像手段１１で取得された検出画像ｄｖ１を逐次入力して複数蓄積すると共に、複数の検出画像ｄｖ２として出力し、かつ、現時点で入力された検出画像ｄｖ１を蓄積すると共に、検出画像ｄｖｂとして出力する。
【００２６】
位置合わせ手段１３は、入力画像記憶手段１２から出力される複数の検出画像ｄｖ２をそれぞれ特定の方向にシフトさせて位置合わせすると共に、複数の検出画像ｄｖ３として出力する。背景画像生成手段１４は、位置合わせ手段１３から出力される複数の検出画像ｄｖ３を用いて、ラベルを含まない背景画像ｄｖ４を生成する。特に、この実施例では、背景画像生成手段１４は、位置合わせ手段１３により位置合わせされた複数の検出画像ｄｖ３を参照し、任意の１つの検出画像ｄｖ３内のラベルが貼付されている領域に対して、他の検出画像内ｄｖ３のラベルが貼付されていない領域を補って合成することにより、ラベルを含まない背景画像ｄｖ４を生成する。また、背景画像生成手段１４は、背景画像ｄｖ４を高解像度で生成するための高解像度画像生成機能を有する。
【００２７】
背景画像評価手段１５は、背景画像生成手段１４で生成された背景画像ｄｖ４に対して、ラベルに対応する画像が含まれていないことを確認して背景画像ｄｖ５として出力する。特に、この実施例では、背景画像評価手段１５は、背景画像ｄｖ４があらかじめ設定された特定の枚数又はそれ以上の枚数の検出画像ｄｖ３を用いて生成された場合に正しい背景画像として判定して背景画像ｄｖ５を出力する。また、背景画像評価手段１５は、背景画像ｄｖ４のあらかじめ設定された一定数以上の画素に対して、位置合わせ手段１３によりそれぞれ特定の方向にシフトさせた検出画像ｄｖ３における同じ位置の画素が、あらかじめ設定された画素値の範囲内にあらかじめ設定された一定数以上存在する場合に、正しい背景画像として判定して背景画像ｄｖ５を出力する。また、背景画像評価手段１５は、検出画像ｄｖ３のあらかじめ設定された領域において、正しい背景画像と判定して背景画像ｄｖ５を出力する。
【００２８】
背景画像記憶手段１６は、たとえばＲＡＭなどで構成され、背景画像評価手段１５から出力される背景画像ｄｖ５を蓄積すると共に、背景画像ｄｖ６として出力する。差分画像生成手段１７は、背景画像記憶手段１６から出力される背景画像ｄｖ６と、同背景画像ｄｖ６の生成後に現時点で入力画像記憶手段１２に入力されてから出力される検出画像ｄｖｂとの差分画像ｄｖ７を生成する。出力手段１８は、差分画像生成手段１７で生成された差分画像ｄｖ７をラベル画像として出力する。制御部１９は、このラベル領域検出装置１０全体を制御するコンピュータとしてのＣＰＵ（中央処理装置）１９ａ及び同ＣＰＵ１９ａを動作させるためのラベル領域検出制御プログラムが記録されたＲＯＭ（リード・オンリ・メモリ）１９ｂを有している。
【００２９】
図２は、図１のラベル領域検出装置１０の動作を説明するフローチャート、図３は、検出画像ｄｖ１の例を示す図、図４は、図３と同じ背景を有する他の検出画像ｄｖ１の例を示す図、図５は、図３と同じ背景を有するさらに他の検出画像ｄｖ１の例を示す図、図６は、生成された背景画像ｄｖ４の例を示す図、図７は、背景画像の生成後に取得されて入力画像記憶手段１２から出力される図３と同じ背景を有する検出画像ｄｖｂの例を示す図、及び図８が、差分画像ｄｖ７の例を示す図である。
これらの図を参照して、この例のラベル領域検出装置１０に用いられるラベル領域検出方法の処理内容について説明する。
このラベル領域検出装置１０では、それぞれ異なる位置にラベルが貼付された複数の検出対象物に対して、撮像手段１１により撮像された各検出対象物の画像が入力画像記憶手段１２に逐次入力されて複数の検出画像ｄｖ２として記憶され（画像入力記憶処理）、位置合わせ手段１３、背景画像生成手段１４、背景画像評価手段１５及び背景画像記憶手段１６により、同画像入力記憶処理で記憶されている複数の検出画像ｄｖ２を用い、任意の１つの検出画像ｄｖ２内のラベルが貼付されている領域に対して、他の検出画像ｄｖ２内のラベルが貼付されていない領域で補うことにより、ラベルを含まない背景部分に対応した背景画像ｄｖ６として出力され（背景画像合成生成処理）、差分画像生成手段１７及び出力手段１８により、同背景画像合成生成処理で出力された背景画像ｄｖ６と同背景画像ｄｖ６の生成後に入力された検出画像ｄｖｂとの差分画像ｄｖ７が求められてラベルが占有する領域に対応するラベル画像が生成される（ラベル画像生成処理）。
【００３０】
すなわち、撮像手段１１で検出対象物の全面画像が撮像され、検出画像ｄｖ１が取得される（撮像処理、ステップＡ１）。そして、複数の検出対象物について同様の撮像が行われ、複数の検出画像ｄｖ１が入力画像記憶手段１２に記憶（格納）される（検出画像記憶処理、ステップＡ２）。
【００３１】
複数の検出画像ｄｖ１が記憶された後、背景画像の生成の要／不要が判断される（ステップＡ３）。このとき、たとえば、既に背景画像が生成されている場合や、背景画像を生成するために十分な数の検出画像ｄｖ１が格納されていない場合などでは、“ＮＯ”となる。背景画像の生成の必要性がある（ＹＥＳ）と判断された場合、背景画像の生成に移行する。
【００３２】
背景画像の生成では、まず、入力画像記憶手段１２から出力される複数の検出画像ｄｖ２に対して、位置合わせ手段１３により位置合わせ処理が行われる（位置合わせ処理、ステップＡ４）。特に、この実施例の位置合わせ処理では、各検出画像ｄｖ２の各画素の値（グレー、Ｒ，Ｇ，Ｂ値でも良い）が、なるべく同じになるように位置合わせが行われる。たとえば、入力画像記憶手段１２から１枚目の検出画像ｄｖ２を取り出し、これを基準画像とする。次に、入力画像記憶手段１２から２枚目の検出画像ｄｖ２を取り出し、全画素について１枚目（基準画像）との差分を求め、更にその総和を計算する。続いて、２枚目の画像を縦方向に１画素平行にずらし、同様の画素値の差分の総和を求める。同様の計算を縦方向及び横方向に予め定めた範囲で実行し、差分の総和が最も小さい位置を位置合わせの結果とする。更に、３枚目、４枚目と、いずれも１枚目の画像との画素値差分の総和が最小となる位置を求め、順次位置合わせを実行する。
【００３３】
次に、位置合わせの完了した複数の検出画像ｄｖ３が背景画像生成手段１４で合成され、背景画像ｄｖ４が生成される（背景画像生成処理、ステップＡ５）。この実施例では、検出対象物の検出画像ｄｖ１として、特に同種の背景を有し、かつ、一部がラベルで覆われている誌面画像を対象としており、一般にラベルの位置は、たとえば図３、図４及び図５に示すように、都度変化することを前提としている。ここで、上記誌面画像とは、ラベルが貼付されている面を表示する画像である。よって、背景画像生成手段１４では、複数の検出画像ｄｖ３を合成するとき、複数の誌面画像を参照し、変化のない部分が合成されて背景画像ｄｖ４として生成される。この場合、ある誌面画像においてラベルで覆われている一部の画像領域が、別のラベルで覆われている誌面画像を用いて補われることにより、ラベルを含まない誌面画像（すなわち、背景画像）が生成される。また、この実施例では、たとえば、特許文献；特開平１０−６９５３７号公報に記載された画像合成方法を用いて、背景画像生成手段１４の高解像度画像生成機能により、高解像度の背景画像を生成する高解像度画像生成処理が行われ、図３、図４及び図５に示す誌面画像から図６に示す背景画像が生成される。
【００３４】
次に、背景画像評価手段１５により、背景画像生成手段１４で生成された背景画像ｄｖ４が背景として妥当であるか否かが判断される（背景画像評価処理、ステップＡ６）。この場合、たとえば、背景画像ｄｖ４があらかじめ設定された一定数以上の検出画像ｄｖ３を用いて生成された場合に背景として妥当であると判断される。これにより、信頼性の高い背景画像ｄｖ４が生成される。また、背景画像ｄｖ４のあらかじめ設定された一定数以上の画素に対して、位置合わせ手段１３によりそれぞれ特定の方向にシフトさせた検出画像ｄｖ３における同じ位置の画素が、あらかじめ設定された画素値の範囲内にあらかじめ設定された一定数以上存在する場合に背景として妥当であると判断される。これにより、より信頼性の高い背景画像ｄｖ４が生成される。また、検出画像ｄｖ３のあらかじめ設定された領域において、正しい背景画像と判定されて背景画像ｄｖ５が出力される。これにより、撮像手段１１より撮像される画像の一部が欠落していても、円滑に背景画像ｄｖ４が生成される。
【００３５】
背景画像ｄｖ４が背景として妥当と判断された場合には、背景画像評価手段１５から背景画像ｄｖ５が背景画像記憶手段１６に送出されて記憶される（背景画像記憶処理、ステップＡ７，Ａ８）。ステップＡ８で背景画像ｄｖ５が背景画像記憶手段１６に格納された場合、又はステップＡ３で、既に背景画像が格納されており、背景画像を生成不要と判断された場合（ステップＡ９）、差分画像生成手段１７により、背景画像記憶手段１６から出力される背景画像ｄｖ６（図６）と入力画像記憶手段１２から出力される検出画像ｄｖｂ（図７）との差分画像ｄｖ７（図８）が生成される（差分画像生成処理、ステップＡ１０）。生成された差分画像ｄｖ７は、ラベル画像とみなされ、最終結果として出力手段１８から出力される（差分画像出力処理、ステップＡ１１）。
【００３６】
以上のように、この第１の実施例では、撮像手段１１により撮像された同検出対象物の画像が入力画像記憶手段１２に逐次入力されて複数の検出画像ｄｖ２として記憶され、位置合わせ手段１３、背景画像生成手段１４、背景画像評価手段１５及び背景画像記憶手段１６により、同画像入力記憶手段１２で記憶されている複数の検出画像ｄｖ２を用い、任意の１つの検出画像ｄｖ２内のラベルが貼付されている領域に対して、他の検出画像ｄｖ２内のラベルが貼付されていない領域で補うことにより、ラベルを含まない背景部分に対応した背景画像ｄｖ６として出力され、差分画像生成手段１７及び出力手段１８により、背景画像ｄｖ６と同背景画像ｄｖ６の生成後に入力された検出画像ｄｖｂとの差分画像ｄｖ７が求められてラベルが占有する領域に対応するラベル画像が生成されるラベル画像が生成される。このため、検出対象物の画像がラベルが占有する領域と背景領域とが類似した色分布に属する画素で構成されている場合でも、ラベルで覆われている部分の背景画像ｄｖ６が円滑に生成されると共に同ラベルが占有する領域が円滑に検出される。
【実施例２】
【００３７】
図９は、この発明の第２の実施例であるラベル領域検出装置の電気的構成を示すブロック図であり、第１の実施例を示す図１中の要素と共通の要素には共通の符号が付されている。
この例のラベル領域検出装置１０Ａでは、同図９に示すように、入力画像記憶手段１２及び位置合わせ手段１３に代えて、異なる構成の入力画像記憶手段１２Ａ及び位置合わせ手段１３Ａが設けられ、また、特徴点記憶手段２１及び特徴点抽出手段２０が新たに設けられている。入力画像記憶手段１２Ａは、入力画像記憶手段１２と同様の機能を有しているが、特徴点抽出手段２０及び位置合わせ手段１３Ａに接続されている。特徴点抽出手段２０は、入力画像記憶手段１２Ａに蓄積された複数の検出画像ｄｖ２から共通する特定の形状領域を抽出し、各検出画像ｄｖ２毎に特定の形状領域の特徴点ｄｐ１を抽出する。特徴点記憶手段２１は、特徴点抽出手段２０で抽出された各特徴点ｄｐ１の位置ｄｐ２を記憶する。位置合わせ手段１３Ａは、特徴点記憶手段２１に記憶された各特徴点ｄｐ１の位置ｄｐ２を用いて、入力画像記憶手段１２Ａに記憶された複数の検出画像ｄｖ２をそれぞれ特定の方向にシフトさせて位置合わせする。他は、図１と同様の構成である。
【００３８】
図１０は、図９のラベル領域検出装置１０Ａの動作を説明するフローチャート、及び図１１が、複数の検出画像ｄｖ２の位置合わせを特徴点を用いて行う場合の説明図である。
これらの図を参照して、この例のラベル領域検出装置１０Ａに用いられるラベル領域検出方法の処理内容について説明する。
このラベル領域検出装置１０Ａでは、ステップＢ１，Ｂ２，Ｂ３において、第１の実施例を示す図２中のステップＡ１，Ａ２，Ａ３と同様の処理が行われる。ステップＢ４では、特徴点抽出手段２０により、入力画像記憶手段１２Ａに蓄積された複数の検出画像ｄｖ２から共通する特定の形状領域が抽出され、各検出画像ｄｖ２毎に特定の形状領域の特徴点ｄｐ１が抽出される（特徴点抽出処理）。ステップＢ５では、特徴点抽出手段２０で抽出された各特徴点ｄｐ１の位置ｄｐ２が特徴点記憶手段２１に記憶される（特徴点記憶処理）。ステップＢ６では、位置合わせ手段１３Ａにより、特徴点記憶手段２１に記憶された各特徴点ｄｐ１の位置ｄｐ２を用いて、入力画像記憶手段１２Ａに記憶された複数の検出画像ｄｖ２がそれぞれ特定の方向にシフトされ、各特徴点ｄｐ１の位置ｄｐ２が合うように位置合わせされる（位置合わせ処理）。この後、ステップＢ７乃至Ｂ１３において、図２中のステップＡ５乃至Ａ１１と同様の処理が行われる。上記特徴点抽出手段２０による特徴点抽出処理では、たとえば、非特許文献１で説明されている方法を適用して画像の頂点が抽出される。
【非特許文献１】金澤靖、金谷健一、「コンピュータビジョンのための画像の特徴点の抽出」、電子情報通信学会誌、2004、Vol.87、No.12、P.1043-1048
【００３９】
また、位置合わせ手段１３Ａによる位置合わせ処理では、１つの画像からある点を１個取り、別の画像の同じ座標の近傍に特徴点があるかを探すという処理を一定数、たとえば、抽出された各特徴点ｄｐ１の半分以上に対して行い、一定数対応が取れたら、対応点が同一座標に来るように位置合わせする。この場合、たとえば、図１１に示すように、３つの検出画像ｄｖ２の位置合わせが、各“×”印に示す特徴点を用いて行われる。これらの各“×”印は、上記非特許文献を用いた場合に抽出される特徴点である。これらの特徴点は、背景画像の文様から抽出されるものと、ラベルに相当する画像から抽出されるものとがある。これらのうちの前者は、あらかじめ印刷されたものであるから、どの入力画像に対しても同一画像内での特徴点の相対位置関係は変わらない。たとえば、背景画像上の二等辺三角形に３個の頂点に対して抽出された３つの特徴点の相対位置関係は、どの入力画像に対しても同じである。このことは、上記二等辺三角形のみならず、その左側にある長方形についても同様で、一般的には、背景画像上の文様から抽出された特徴点であれば、同一図形内の特徴点のみならず、全ての特徴点に対してその相対位置関係は同一である。
【００４０】
よって、位置合わせ手段１３Ａでは、特徴点抽出手段２０で抽出された特徴点ｄｐ１の位置を合わせるように各検出画像ｄｖ２の位置合わせが行われる。具体的には、まず、１枚目の検出画像ｄｖ２に対して抽出された特徴点ｄｐ１に対し、２枚目の検出画像ｄｖ２に対して抽出された特徴点ｄｐ１が重なるように同２枚目の検出画像ｄｖ２を平行移動又は回転移動させる。２枚目の検出画像ｄｖ２で最初に抽出された特徴点ｄｐ１に対して、１枚目の検出画像ｄｖ２に対して抽出された特徴点ｄｐ１のうち、最も近いものを選び、この２個の特徴点ｄｐ１が重なるように２枚目の検出画像ｄｖ２を平行移動させる。次に、２枚目の検出画像ｄｖ２で２番目に抽出された特徴点ｄｐ１が１枚目の検出画像ｄｖ２の特徴点ｄｐ１と重なっているか否かを調べ、重なっていなかったら、１番目の特徴点ｄｐ１を中心に２番目の特徴点ｄｐ１が重なるまで、２枚目の検出画像ｄｖ２を回転させる。
【００４１】
これらの平行移動及び回転移動によって１番目の特徴点ｄｐ１及び２番目の特徴点ｄｐ１以外の特徴点ｄｐ１についても、１枚目の検出画像ｄｖ２の特徴点ｄｐ１に重なっていることを確認する。重なっていない場合には、１番目の特徴点ｄｐ１の対応を次に近いものから選んで上記の処理を繰り返す。この処理によって、背景画像に対して抽出された特徴点ｄｐ１の誤対応、ならびに検出画像ｄｖ２によって位置が変わるラベルに相当する画像から得られる特徴点ｄｐ１との誤対応が回避される。このように、ラベルに相当する画像からも特徴点ｄｐ１が抽出されるため、１枚目の検出画像ｄｖ２の特徴点ｄｐ１と２枚目の検出画像ｄｖ２の特徴点ｄｐ１とが完全には１対１に対応しない可能性があるが、ある程度の特徴点ｄｐ１が対応すれば位置合わせが可能である。１枚目の検出画像ｄｖ２に対する２枚目の検出画像ｄｖ２の位置合わせ処理と同様に、３枚目以降の検出画像ｄｖ２に対しても同様の位置合わせを行う。
【００４２】
以上のように、この第２の実施例では、特徴点抽出手段２０により、各検出画像ｄｖ２毎に特定の形状領域の特徴点ｄｐ１が抽出され、抽出された各特徴点ｄｐ１の位置ｄｐ２が特徴点記憶手段２１に記憶され、位置合わせ手段１３Ａにより、特徴点記憶手段２１に記憶された各特徴点ｄｐ１の位置ｄｐ２を用いて、入力画像記憶手段１２Ａに記憶された複数の検出画像ｄｖ２が、各特徴点ｄｐ１の位置ｄｐ２が合うように位置合わせされるので、比較的簡単な位置合わせ処理により、第１の実施例と同様の利点がある。
【産業上の利用可能性】
【００４３】
この発明は、たとえば、同じ背景画像を有しながらも宛名ラベルの貼付位置が異なる大量の郵便物などを一度に処理する郵便宛名読取区分機などに適用できる。
【図面の簡単な説明】
【００４４】
【図１】この発明の第１の実施例であるラベル領域検出装置１０の電気的構成を示すブロック図である。
【図２】図１のラベル領域検出装置１０の動作を説明するフローチャートである。
【図３】入力画像の例を示す図である。
【図４】図３と同じ背景を有する他の入力画像の例を示す図である。
【図５】図３と同じ背景を有するさらに他の入力画像の例を示す図である。
【図６】生成された背景画像ｄｖ４の例を示す図である。
【図７】背景画像の生成後に取得されて入力画像記憶手段１２から出力される図３と同じ背景を有する検出画像ｄｖｂの例を示す図である。
【図８】差分画像ｄｖ７の例を示す図である。
【図９】この発明の第２の実施例であるラベル領域検出装置１０Ａの電気的構成を示すブロック図である。
【図１０】図９のラベル領域検出装置の動作を説明するフローチャートである。
【図１１】複数の検出画像ｄｖ２の位置合わせを特徴点を用いて行う場合の説明図である。
【符号の説明】
【００４５】
１０，１０Ａ      ラベル領域検出装置
１１      撮像手段（画像入力記憶手段の一部）
１２，１２Ａ      入力画像記憶手段（画像入力記憶手段の一部）
１３，１３Ａ      位置合わせ手段（背景画像合成生成手段の一部）
１４      背景画像生成手段（背景画像合成生成手段の一部）
１５      背景画像評価手段（背景画像合成生成手段の一部）
１６      背景画像記憶手段（背景画像合成生成手段の一部）
１７      差分画像生成手段（ラベル画像生成手段の一部）
１８      出力手段（差分画像出力手段、ラベル画像生成手段の一部）
１９      制御部（ラベル領域検出装置の一部）
１９ａ      ＣＰＵ（中央処理装置）
１９ｂ      ＲＯＭ（リード・オンリ・メモリ）
２０      特徴点抽出手段（ラベル領域検出装置の一部）
２１      特徴点記憶手段（ラベル領域検出装置の一部）
【図１】
2008123266.tif 000003
【図２】
2008123266.tif 000004
【図３】
2008123266.tif 000005
【図４】
2008123266.tif 000006
【図５】
2008123266.tif 000007
【図６】
2008123266.tif 000008
【図７】
2008123266.tif 000009
【図８】
2008123266.tif 000010
【図９】
2008123266.tif 000011
【図１０】
2008123266.tif 000012
【図１１】
2008123266.tif 000013