(57)【要約】【課題】同一の商品の同一面を同一方向に向けて重ねられた単位商品を複数まとめて梱包した梱包商品が誤って出荷されないかをより正確に判定する。【解決手段】同一の単位商品の同一面が同一方向を向いて重ねられた単位商品を複数まとめて梱包した梱包商品を含む画像を取得する。画像に含まれる梱包商品の種別の候補を単位商品の何れかの面の画像に基づいて特定する。梱包商品に含まれる単位商品それぞれの配置状態を表す幾何学情報を用いて、画像に含まれる梱包商品の領域を特定する。画像における梱包商品の候補領域と単位商品の特徴情報と幾何学情報とに基づいて候補領域に含まれる梱包商品の種別を特定する。【選択図】図１
2018140859.tif 000002
【特許請求の範囲】
【請求項１】
同一の単位商品の同一面が同一方向を向いて重ねられた前記単位商品を複数まとめて梱包した梱包商品を含む画像を取得する画像取得部と、
前記画像に含まれる前記梱包商品の種別の候補を前記単位商品の何れかの面の画像に基づいて特定する種別候補特定部と、
前記梱包商品に含まれる前記単位商品それぞれの配置状態を表す幾何学情報を用いて、前記画像に含まれる梱包商品の領域を特定する領域特定部と、
前記画像における前記梱包商品の候補領域と前記単位商品の特徴情報と前記幾何学情報とに基づいて前記候補領域に含まれる梱包商品の種別を特定する梱包種別特定部と、
を備える検品装置。
【請求項２】
前記梱包種別特定部は、前記梱包商品の候補領域において設定される複数の領域が異なる梱包商品の識別情報に関連する領域であることを示す場合には、梱包商品を構成する単位商品の所定面の局所的な特徴量情報に基づいて、前記候補領域に対応する前記梱包商品の種別を特定する
請求項１に記載の検品装置。
【請求項３】
前記種別候補特定部は、前記単位商品の面の特徴情報と前記梱包商品を構成する面の特徴情報との一致度に基づいて、前記画像に含まれる前記梱包商品の種別の候補を特定する
請求項１または請求項２に記載の検品装置。
【請求項４】
前記梱包種別特定部は、前記梱包商品としてまとめて梱包される前記単位商品の種別と、作業情報とが一致するかを判定する
を備える請求項１から請求項３の何れか一項に記載の検品装置。
【請求項５】
同一の単位商品の同一面が同一方向を向いて重ねられた前記単位商品を複数まとめて梱包した梱包商品を含む画像を取得し、
前記画像に含まれる前記梱包商品の種別の候補を前記単位商品の何れかの面の画像に基づいて特定し、
前記梱包商品に含まれる前記単位商品それぞれの配置状態を表す幾何学情報を用いて、前記画像に含まれる梱包商品の領域を特定し、
前記画像における前記梱包商品の候補領域と前記単位商品の特徴情報と前記幾何学情報とに基づいて前記候補領域に含まれる梱包商品の種別を特定する
検品方法。
【請求項６】
検品装置のコンピュータを、
同一の単位商品の同一面が同一方向を向いて重ねられた前記単位商品を複数まとめて梱包した梱包商品を含む画像を取得する画像取得手段、
前記画像に含まれる前記梱包商品の種別の候補を前記単位商品の何れかの面の画像に基づいて特定する種別候補特定手段、
前記梱包商品に含まれる前記単位商品それぞれの配置状態を表す幾何学情報を用いて、前記画像に含まれる梱包商品の領域を特定する領域特定手段、
前記画像における前記梱包商品の候補領域と前記単位商品の特徴情報と前記幾何学情報とに基づいて前記候補領域に含まれる梱包商品の種別を特定する梱包種別特定手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検品装置、検品方法、プログラムに関する。
【背景技術】
【０００２】
商品を出荷する業者においては同一の商品の同一面を同一方向に向けて重ね、それら纏まりをビニール部材などの透明部材で梱包した梱包商品を出荷することがある。当該業者は出荷作業を行うにあたり、事前に決められた単位商品の種別で揃えられ決められた単位商品の個数が梱包された梱包商品を、倉庫に置いておく。このようにすることで出荷時における梱包作業を省略することができる。
【０００３】
なお本願に関連する技術として画像内に同一または類似の被写体が多数含まれている場合であっても、精度良く照合する画像処理の技術が特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１４／００２５５４号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで上述の梱包商品を出荷するにあたり、所定の種別の単位商品が所定の個数分梱包された梱包商品を箱に詰めて出荷する。この時、上述の梱包商品が誤って出荷されないかをより正確にチェックする仕組みが必要であった。
【０００６】
そこでこの発明は、上述の課題を解決する検品装置、検品方法、プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によれば、検品装置は、同一の単位商品の同一面が同一方向を向いて重ねられた前記単位商品を複数まとめて梱包した梱包商品を含む画像を取得する画像取得部と、前記画像に含まれる前記梱包商品の種別の候補を前記単位商品の何れかの面の画像に基づいて特定する種別候補特定部と、前記梱包商品に含まれる前記単位商品それぞれの配置状態を表す幾何学情報を用いて、前記画像に含まれる梱包商品の領域を特定する領域特定部と、前記画像における前記梱包商品の候補領域と前記単位商品の特徴情報と前記幾何学情報とに基づいて前記候補領域に含まれる梱包商品の種別を特定する梱包種別特定部と、を備える。
【０００８】
本発明の第２の態様によれば、検品方法は、同一の単位商品の同一面が同一方向を向いて重ねられた前記単位商品を複数まとめて梱包した梱包商品を含む画像を取得し、前記画像に含まれる前記梱包商品の種別の候補を前記単位商品の何れかの面の画像に基づいて特定し、前記梱包商品に含まれる前記単位商品それぞれの配置状態を表す幾何学情報を用いて、前記画像に含まれる梱包商品の領域を特定し、前記画像における前記梱包商品の候補領域と前記単位商品の特徴情報と前記幾何学情報とに基づいて前記候補領域に含まれる梱包商品の種別を特定することを特徴とする。
【０００９】
本発明の第３の態様によれば、プログラムは、検品装置のコンピュータを、同一の単位商品の同一面が同一方向を向いて重ねられた前記単位商品を複数まとめて梱包した梱包商品を含む画像を取得する画像取得手段、前記画像に含まれる前記梱包商品の種別の候補を前記単位商品の何れかの面の画像に基づいて特定する種別候補特定手段、前記梱包商品に含まれる前記単位商品それぞれの配置状態を表す幾何学情報を用いて、前記画像に含まれる梱包商品の領域を特定する領域特定手段、前記画像における前記梱包商品の候補領域と前記単位商品の特徴情報と前記幾何学情報とに基づいて前記候補領域に含まれる梱包商品の種別を特定する梱包種別特定手段、として機能させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、同一の商品の同一面を同一方向に向けて重ね、それら纏まりを透明部材で梱包した梱包商品が誤って出荷されないかをより正確にチェックすることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態による検品システムの構成を示すブロック図である。
【図２】本発明の一実施形態による検品装置のハードウェア構成例を示す図である。
【図３】本発明の一実施形態による検品装置の機能ブロック図である。
【図４】本発明の一実施形態による画像の例を示す図である。
【図５】本発明の一実施形態による検品装置が記憶する情報の概要を示す図である。
【図６】本発明の一実施形態による検品装置の処理フローを示す第一の図である。
【図７】本発明の一実施形態による領域特定処理の結果の例を示す第一の図である。
【図８】本発明の一実施形態による検品装置の処理フローを示す第二の図である。
【図９】本発明の一実施形態による領域特定処理の結果の例を示す第二の図である。
【図１０】本発明の一実施形態による検品装置の最少構成を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態による検品装置、検品方法、プログラムを図面を参照して説明する。
図１は同実施形態による検品装置を備えた検品システムの構成を示すブロック図である。
この図で示すように検品システム１００は、検品装置１、梱包商品２を撮影するカメラ４、表示装置５、入力装置６を備えている。
【００１３】
本実施形態において検品システム１００は、同一の単位商品の同一面が同一方向を向いて重ねられた単位商品を複数まとめて梱包した梱包商品の検品処理を行う。本実施形態において梱包商品は単位商品がビニールなどの透明部材でまとめて梱包されたものである。具体的には、検品システム１００は、梱包商品としてまとめて梱包される単位商品の種別や梱包されている個数が、出荷情報と一致するかどうかを判定する。この判定を検品処理と定義する。この検品処理においてカメラ４は梱包商品２を撮影する。カメラ４はその撮影によって生成した画像データを検品装置１へ出力する。梱包商品２は図１で示すように箱３に入れられて出荷管理されてよい。検品装置１は箱３に入れられている梱包商品２についての検品処理を行ってよい。表示装置５は検品結果等を出力する。入力装置６は作業者が入力した情報を検品装置１へ出力する。カメラ４は梱包商品２を撮影できる位置に取り付けられていればよい。
【００１４】
図２は第一の実施形態による検品装置のハードウェア構成例を示す図である。
図２に示すように検品装置１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Solid State Drive）１０４、インタフェース１０５の各ハードウェア構成を一例として備えてよい。インタフェース１０５は例えば液晶タッチパネルやボタンなどである。検品装置１はその他のハードウェアをさらに備えて構成されてよい。
【００１５】
図３は検品装置の機能ブロック図である。
検品装置１のＣＰＵ１０１は予め記憶する検品処理プログラムを実行する。これにより検品装置１には制御部１１１、画像取得部１１２、種別候補特定部１１３、領域特定部１１４、梱包種別特定部１１５の各機能が備わる。
【００１６】
制御部１１１は他の機能部を制御する。
画像取得部１１２は、梱包商品２を含む画像を取得する。
種別候補特定部１１３は、画像に含まれる梱包商品２の種別の候補を単位商品の何れかの面の画像に基づいて特定する。
領域特定部１１４は、梱包商品２に含まれる単位商品それぞれの配置状態を表す幾何学情報を用いて、画像に含まれる梱包商品２の領域を特定する。
梱包種別特定部１１５は、画像における梱包商品２の候補領域と単位商品の特徴情報と幾何学情報とに基づいて候補領域に含まれる梱包商品２の種別を少なくとも特定する。
【００１７】
図４は画像の例を示す図である。
図４で示す画像には梱包商品２を入れて出荷管理する箱３の中を撮影した画像を示している。図４の画像は一例として２つの梱包商品２を入れた箱３の中を撮影したものである。図４の画像で示す２つの梱包商品２の一方を梱包商品２Ａ、他方を梱包商品２Ｂと呼ぶこととする。この場合、検品装置１は、梱包商品２が２つあることを検出する。また検品装置１は梱包商品２Ａと梱包商品２Ｂの種別を検出する。梱包商品２の種別は、梱包商品２として梱包された単位商品の種別と、その単位商品が梱包されている個数とで定義されてよい。一例として梱包商品２Ａと梱包商品２Ｂは同じ製品であるが、その中身の容量が異なった薬品等の各単位商品が別々に梱包されている。梱包商品２Ａと梱包商品２Ｂに梱包されている異なる容量の単位商品の面には多くの統一された薬品情報が印字されているが、それぞれ容量の印字のみが異なる場合がある。本実施形態による検品装置１は、このような梱包商品２の種別の違いを検出して、出荷情報と一致するかの検品処理を行う。
【００１８】
図５は検品装置が記憶する情報の概要を示す図である。
検品装置１は、異なる複数の梱包商品２の種別を確定するために用いられる幾何学情報をＨＤＤ１０４などの記憶部に記憶する。幾何学情報は、梱包商品２として纏められる単位商品のうち基準となる位置に配置される一個を示す基準固体と、重ねて梱包される一つまたは複数の他の個体との３次元の配置状態の関係を示す情報である。幾何学情報は、梱包商品２のＩＤと、その梱包商品２に梱包される単位商品のＩＤと、梱包商品２として単位商品が梱包された際に当該梱包商品２の表面に現れる可能性のある単位商品の何れかの面を示す梱包商品構成面の特徴情報と、その面の識別子（面ＩＤ）と、に対応付けられてＨＤＤ１０４などの記憶部に記録される。これら梱包商品のＩＤ、単位商品のＩＤ、単位商品の特徴情報、幾何学情報、面ＩＤからなる情報を、梱包商品を判定するための判定利用情報と呼ぶこととする。判定利用情報に含まれる梱包商品ＩＤは、画像に写る梱包商品２を構成する単位商品と、画像に写るその単位商品の梱包商品構成面とが一意に特定できるＩＤである。したがって同じ梱包商品２であっても、画像に写る梱包商品２を構成する単位商品の梱包商品構成面が異なる場合には、梱包商品ＩＤは異なるように、当該梱包商品ＩＤが決定されているものとする。
【００１９】
一例として梱包商品２の一部分は、立方体を成す同一の単位商品Ａが下に２つその上に２つ重ねて合計４つ配置されている図５で示すような状態であるとする。この場合、幾何学情報は、単位商品Ｂの梱包商品２の概観を構成する面（梱包商品構成面）の特徴情報を含んでいる。また幾何学情報は、上に重ねられている一方の単位商品（図５左上）の基準固体Ｂ１−１とした場合の当該基準固体Ｂ１−１に隣接して配置されている他の３つの個体Ｂ１−２，Ｂ１−３，Ｂ１−４の基準固体Ｂ１からの相対位置を示すベクトル情報ｂ２，ｂ３，ｂ４を含んでいる。また幾何学情報は、その幾何学情報に対応する梱包商品２のＩＤ（識別情報）を含んでいる。
【００２０】
検品装置１は、ＨＤＤ１０４などの記憶部にさらに単位商品の梱包商品構成面における詳細表示領域特徴量の情報を判定利用情報として記憶している。一例として単位商品ＩＤ、面ＩＤ、詳細表示領域特徴量情報を対応付けて記憶している。なお詳細表示領域特徴量の情報は、幾何学情報に含まれていてもよい。また幾何学情報に含まれる特徴情報の中に、詳細表示領域特徴量の情報が含まれていてもよい。
【００２１】
梱包商品２Ａに複数の単位商品Ｂ１が梱包され、梱包商品２Ｂに複数の単位商品Ｂ２が梱包されているとする。単位商品Ｂ１と単位商品Ｂ２はが同一商材の容量の異なる各商品である場合、単位商品Ｂ１と単位商品Ｂ２に印字されている情報は殆ど等しく、容量の表示や、商品を識別されているために印字されているバーコードの情報が異なる。詳細表示領域特徴量情報は、このような容量が表示されている面の限定された小さい領域や、バーコード情報が表示されている領域の局所的な画像の特徴量を示す。
【００２２】
検品装置１は処理の過程で第一リスト情報と第二リスト情報とを生成して記憶する。第一リスト情報と第二リスト情報の詳細は後述する。
【００２３】
本実施形態の検品装置１は、梱包商品２の画像をカメラ４から取得し、その記画像に含まれる梱包商品２の種別の候補を単位商品の何れかの面の画像に基づいて特定する。この時、複数の梱包商品２の種別が得られる。検品装置１は、梱包商品２に含まれる単位商品Ｂそれぞれの配置状態を表す幾何学情報を用いて、画像に含まれる梱包商品２の領域を特定する。これにより検品装置１は画像中のどこに梱包商品２が位置しているかを把握する。検品装置１は、画像における梱包商品２の候補領域と単位商品の詳細表示領域特徴量情報（特徴情報）と幾何学情報とに基づいて候補領域に含まれる梱包商品の種別を特定する。
【００２４】
このような処理によれば検品装置１は、先に梱包商品２がどこにあるかを決定し、梱包商品２に含まれる複数の単位商品の詳細表示領域特徴量情報によって、梱包商品２に含まれる単位商品を特定するため、梱包商品２の識別の精度を高めることが可能となる。
【００２５】
以下、検品装置１の処理を順を追って説明する。
図６は検品装置の処理フローを示す第一の図である。
検品システム１００においてまずカメラ４が梱包商品２を撮影しその画像を検品装置１へ出力する。検品装置１の画像取得部１１２は画像を取得する（ステップＳ１０１）。画像取得部１１２は画像を種別候補特定部１１３へ出力する。
【００２６】
種別候補特定部１１３はＨＤＤ１０４等の記憶部に予め記録されている判定利用情報内の梱包商品２のＩＤのうち、一つのＩＤを選択し、その梱包商品２のＩＤに紐づいて記録されている単位商品の特徴情報を取得する（ステップＳ１０２）。種別候補特定部１１３は取得した特徴情報と、画像中の単位商品と推定される領域の特徴情報との一致度を算出する（ステップＳ１０３）。この一致度の算出において種別候補特定部１１３は、記憶部から所得した特徴情報と、画像中において画素位置をずらしながら特定した各単位商品領域の特徴情報とを順次比較する。そして種別候補特定部１１３はこの比較において、記憶部から取得した特徴情報を幾何変換行列によって所定の回転角度に回転した変換後の特徴情報を算出し、異なる回転角度による複数の特徴情報と、画像中の各単位商品領域の特徴情報とを順次比較する。種別候補特定部１１３は、比較により特徴情報の一致度を算出する。一致度の算出は２つの特徴情報を比較してその一致度を求める手法であればどのような手法を用いてもよい。
【００２７】
種別候補特定部１１３は一致度が所定の閾値以上かを判定する（ステップＳ１０４）。種別候補特定部１１３は、一致度が閾値以上となった単位商品の特徴情報に紐づく梱包商品２のＩＤと、一致度が閾値以上となった画像中の単位商品領域の位置と、回転角度と、一致度の値とをリストナンバ（Ｎｏ．）に対応付けて第一リスト情報に記録する（ステップＳ１０５）。種別候補特定部１１３は第一リスト情報を領域特定部１１４へ出力する。種別候補特定部１１３は判定利用情報に含まれる全ての梱包商品２のＩＤについて一致度の算出を行ったかを判定する（ステップＳ１０６）。種別候補特定部１１３は全ての梱包商品２のＩＤについて一致度の算出を行っていない場合にはステップＳ１０２〜ステップＳ１０６の処理を繰り返す。
【００２８】
領域特定部１１４は、第一リスト情報に含まれる一つ目の梱包商品２のＩＤを特定する（ステップＳ１０７）。領域特定部１１４は、その梱包商品２のＩＤに対応して第一リスト情報に含まれる画像中の単位商品領域の位置と、回転角度を取得する。また領域特定部１１４は、梱包商品２のＩＤに対応付けて記録されている幾何学情報を記憶部から取得する（ステップＳ１０８）。
【００２９】
領域特定部１１４は、画像中の単位商品領域の位置を基準固体の位置と特定する。また領域特定部１１４は、基準固体を基準に幾何学情報に含まれるベクトル方向を回転角度によって補正した方向に位置する他の単位商品の個体領域を特定する。領域特定部１１４は特定した１つまたは複数の個体領域それぞれの各特徴情報を算出し、その特徴情報と、ステップＳ１０７で特定した梱包商品２のＩＤに紐づいて利用判定情報に含まれる単位商品の特徴情報との一致度が全て所定の閾値以上であるかを判定する（ステップＳ１０９）。領域特定部１１４は、特定した各個体領域の特徴情報が全て、単位商品の特徴情報と一致する場合には、幾何学情報が一致したと判定する。
【００３０】
領域特定部１１４は、ステップＳ１０６で特定した梱包商品２のＩＤと、その梱包商品２の幾何学情報が一致した画像中の基準固体の領域、他の個体の領域、からなる梱包商品候補領域の情報とリストナンバ（Ｎｏ．）とを対応付けて第二リスト情報に記録する（ステップＳ１１０）。なお、第一リスト情報と第二リスト情報はリストナンバによって対応する情報が紐づけられるものとする。よって、第二リスト情報においては、第一リスト情報を用いた処理によって処理対象から除外されたリストナンバの情報は含まれていないこととする。
【００３１】
領域特定部１１４は、特定した全ての各個体領域の特徴情報が、単位商品の特徴情報と一致しない場合には、幾何学情報が一致しないと判定し、その幾何学情報に対応する梱包商品２のＩＤを処理の対象から除外する（ステップＳ１１１）。領域特定部１１４は第一リスト情報に含まれる全ての梱包商品２のＩＤについて同様に幾何学情報を用いた処理を行ったかを判定する（ステップＳ１１２）。行っていない場合にはステップＳ１０６からの処理を繰り返す。領域特定部１１４は第二リスト情報を梱包種別特定部１１５へ出力する。
【００３２】
以上の処理により、画像中に写る梱包商品２の種別候補と、その梱包商品２の領域とが推定できる。上述の処理においては、画像中に写る梱包商品２の実際の領域において、複数の異なる梱包商品２の候補領域であると判定される可能性が有る。
【００３３】
図７は領域特定処理の結果の例を示す第一の図である。
上述のステップＳ１０９までの処理により生成された第二リスト情報が示す梱包商品２の候補領域を示す例を示している。領域特定部１１４は画像中に写る同一のＢ１−１〜Ｂ１−８までの８個の単位商品が梱包された梱包商品２において、候補領域７１、候補領域７２、候補領域７３のような異なる領域を、幾何学情報に基づいて一つの梱包商品２の領域として第二リスト情報に記録する場合がある。
【００３４】
一例として図７で示す候補領域７１は、画像中に写るＢ１−１〜Ｂ１−８の８個の同一の単位商品を含む梱包商品２のうち、Ｂ１−１，Ｂ１−２，Ｂ１−５，Ｂ１−６が映る領域を示す。また一例として図７で示す候補領域７２は、画像中に写るＢ１−１〜Ｂ１−８の８個の同一の単位商品を含む梱包商品２のうち、Ｂ１−２，Ｂ１−３，Ｂ１−６，Ｂ１−７が映る領域を示す。また一例として図７で示す候補領域７３は、画像中に写るＢ１−１〜Ｂ１−８の８個の同一の単位商品を含む梱包商品２のうち、Ｂ１−３，Ｂ１−４，Ｂ１−７，Ｂ１−８が映る領域を示す。
【００３５】
第二リスト情報が作成された場合、梱包種別特定部１１５は、候補領域７１，７２，７３で示される全体の領域が、一つの梱包商品２の領域を示すのか、一つのまたは異なる複数の梱包商品２の領域を示すのかを判定しなければならない。
【００３６】
したがって梱包種別特定部１１５は、第二リスト情報に記録されている梱包商品２のＩＤを取得し、同一の梱包商品２のＩＤが複数存在するかを判定する（ステップＳ１１３）。第二リスト情報に同一の梱包商品２のＩＤが複数存在する場合、画像中に写る梱包商品２の領域を確定させる梱包商品領域確定処理を開始する（ステップＳ１１４）。この処理は以下に詳細を示す。
【００３７】
また梱包種別特定部１１５は、第二リスト情報に同一の梱包商品２のＩＤが複数存在しない場合、またはステップＳ１１４の処理が終了した後、異なるＩＤの梱包商品２についての各候補領域が重なっているか、または繋がっているかを判定する（ステップＳ１１５）。梱包種別特定部１１５は、異なるＩＤの梱包商品２に紐づいて第二リスト情報に記録されている候補領域が重なっているか、または繋がっている場合には、それら重なっているか、繋がっている領域全体がどの梱包商品２の領域であるかを、詳細表示領域特徴量情報を用いて判定する（ステップＳ１１６）。
【００３８】
例えば第二リスト情報において梱包商品２のＩＤ＝１と、梱包商品２のＩＤ＝２の情報に対応付けられている候補領域が重なっているとする。この場合梱包種別特定部１１５は、ＩＤ＝１とＩＤ＝２の各梱包商品２として梱包される単位商品の詳細表示領域特徴量情報を記憶部から読み取る。詳細表示領域特徴量情報は単位商品領域内の詳細表示領域領域の特徴情報である。詳細表示領域特徴量情報は詳細表示領域における特徴点の座標などを示す情報であってよい。
【００３９】
梱包種別特定部１１５は、ＩＤ＝１とＩＤ＝２の各梱包商品２の候補領域が重なる、またはそれら候補領域が繋がる統合領域内に設定される詳細表示領域の特徴量情報を詳細表示領域の画素をずらしながら順次算出する。梱包種別特定部１１５はＩＤ＝１とＩＤ＝２の各梱包商品２に梱包される各単位商品の詳細表示領域特徴量情報と、ＩＤ＝１とＩＤ＝２の各梱包商品２の候補領域による統合領域に含まれる詳細表示領域について算出される詳細表示領域特徴量情報とを順次比較する。梱包種別特定部１１５はこの比較において、記憶部から取得した詳細表示領域特徴量情報を幾何変換行列によって所定の回転角度に回転した変換後の詳細表示領域特徴量情報を算出し、異なる回転角度による複数の詳細表示領域特徴量情報と、画像中の統合領域に設定される各詳細表示領域の特徴情報とを順次比較する。種別候補特定部１１３は、比較により詳細表示領域特徴量情報の一致度を算出し、最も値の高い一致度の算出に用いた詳細表示領域特徴量情報に対応する単位商品を含む梱包商品２のＩＤを、その統合領域に表示されている梱包商品２のＩＤとステップＳ１１６において判定する。
【００４０】
梱包種別特定部１１５は第二リスト情報において記録されている梱包商品２のＩＤについて、候補領域が重なっているまたは繋がっている他の対象が無いかを判定し（ステップＳ１１７）、ステップＳ１１３からの処理を繰り返す。
【００４１】
梱包種別特定部１１５は、ステップＳ１１４やステップＳ１１６によって特定された画像中の梱包商品２のＩＤと梱包商品２の候補領域を示す情報に基づいて、出荷伝票情報に記録されている梱包商品２のＩＤとその個数が一致しているかを判定する（ステップＳ１１８）。梱包種別特定部１１５は、画像に基づいて判定した梱包商品２のＩＤや候補領域によるその梱包商品２の個数が出荷伝票情報に記録されている情報と一致する場合には、出荷許可の表示を表示装置５へ出力する（ステップＳ１１９）。梱包種別特定部１１５は、画像に基づいて判定した梱包商品２のＩＤや候補領域によるその梱包商品２の個数が出荷伝票情報に記録されている情報と一致しない場合には、出荷不許可を示す表示を表示装置５へ出力する（ステップＳ１２０）。
【００４２】
なお検品装置１は出荷する梱包商品２が出荷伝票情報と一致するかを判定する処理の代わりに、入荷する梱包商品２が入荷伝票情報と一致するかを判定するものであってもよい。また検品装置１は組み立て作業などの何らかの作業を行う部品が梱包された梱包商品２であるかを組み立て作業情報と一致するかを判定するものであってもよい。つまり検品装置１は、梱包物としてまとめて梱包される単位物の種別と、作業情報とが一致するかを判定するものであればどのような判定を行うものであってよい。
【００４３】
図８は検品装置の処理フローを示す第二の図である。
次に上述のステップＳ１１４の梱包商品領域確定処理の詳細について説明する。第二リスト情報に基づいて、同一のＩＤの梱包商品２についての各候補領域が図７で示すように重なっているか、繋がっていると判定された場合、梱包種別特定部１１５は、梱包商品２の領域を確定させる梱包商品領域確定処理を開始する（ステップＳ１１４）。梱包種別特定部１１５は第二リスト情報を取得する（ステップＳ１１４１）。
【００４４】
梱包種別特定部１１５は、第二リスト情報に含まれる梱包商品ＩＤのうち、同一の梱包商品ＩＤのリストナンバ（Ｎｏ．）を特定する（ステップＳ１１４２）。梱包種別特定部１１５は特定した梱包商品ＩＤのリストナンバに基づいて、梱包商品２の候補領域が示す座標を第二リスト情報から取得する。梱包種別特定部１１５は、その座標情報に基づいて領域が重なっている他の候補領域を示すリストナンバを特定し、それら特定した各リストナンバに紐づいて第二リスト情報に含まれる各情報を含む第三リスト情報を生成する（ステップＳ１１４３）。
【００４５】
梱包種別特定部１１５は、第三リスト情報に含まれるリストナンバが示す候補領域のうち、各領域全体の中心から遠い座標を領域に含む幾つかの候補領域を決定する。梱包種別特定部１１５は、その候補領域に対応するリストナンバのうち、最も一致度が高いリストナンバに起点フラグを立てる（ステップＳ１１４４）。図７で示す候補領域はそれぞれが重なっているため、図７で示すような第二リスト情報に基づいて、第三リスト情報が生成された場合には、例えば候補領域７１と候補領域７３が決定される。梱包種別特定部１１５はそれら候補領域が示す各リストナンバに関する一致度のうち候補領域７１の一致度の値がより高い場合には、候補領域７１に対応するリストナンバに起点フラグを立てる。
【００４６】
梱包種別特定部１１５は起点フラグの振られたリストナンバの梱包商品２の候補領域と領域が重なっている候補領域を示すリストナンバを第三リスト情報から特定し、そのリストナンバに削除フラグを立てる（ステップＳ１１４５）。例えば図７を用いて説明すると梱包種別特定部１１５は、第三リスト情報に記録されているリストナンバのうち、候補領域７１と領域が重なる候補領域７２に対応するリストナンバに削除フラグを立てる。
【００４７】
梱包種別特定部１１５は起点フラグも削除フラグも立てられていない他のリストナンバのうち、起点フラグが立てられたリストナンバの候補領域に最も近い候補領域のリストナンバを特定し、そのリストナンバに確定フラグを立てる（ステップＳ１１４６）。例えば図７を用いて説明すると梱包種別特定部１１５は、第三リスト情報に記録されているリストナンバのうち、起点フラグが立てられたリストナンバの候補領域７１に近い候補領域７３のリストナンバに確定フラグを立てる。
【００４８】
梱包種別特定部１１５は確定フラグの振られたリストナンバの候補領域と領域が重なっている候補領域を示すリストナンバを第三リスト情報から特定し、そのリストナンバに削除フラグを立てる（ステップＳ１１４７）。
【００４９】
図９は領域特定処理の結果の例を示す第二の図である。
例えば、図７に代えて図９で示すような梱包商品２の各候補領域が特定された第三リスト情報が生成されているとする。この場合には、上述のステップＳ１１４１以降の処理が同様に行われた結果、候補領域７１を示すリストナンバに起点フラグが、候補領域７２を示すリストナンバに削除フラグが、候補領域７３を示すリストナンバに確定フラグが振られている。候補領域７４は候補領域７３に連なる領域であり、候補領域７３と領域が重なってはいない。したがって確定フラグが振られたリストナンバが示す候補領域７３に重なっている候補領域は無く、梱包種別特定部１１５は候補領域７４を示すリストナンバに削除フラグは立てない。
【００５０】
梱包種別特定部１１５は第三リスト情報において起点フラグ、削除フラグ、確定フラグの何れのフラグも立てられていないリストナンバであって、最後に立てた確定フラグのリストナンバが示す候補領域と重なる候補領域を示す他のリストナンバが存在するかを判定する（ステップＳ１１４８）。梱包種別特定部１１５はステップＳ１１４８の処理がＹｅｓの場合には、ステップＳ１１４６、ステップＳ１１４７の処理を繰り返す。ステップＳ１１４８の処理がＮｏの場合にはステップＳ１１４９の処理に移行する。なお、図７を用いて説明すると候補領域７３に重なる他の候補領域を示すリストナンバは無いためステップＳ１１４９に移行する。一方で図９を用いて説明した場合、梱包種別特定部１１５は、候補領域７４については何れのフラグも立てられていないリストナンバが示す領域であって、最後に確定フラグを立てた候補領域７３に重ならない候補領域であるためステップＳ１１４９の処理に移行する。
【００５１】
梱包種別特定部１１５は第三リスト情報において特定された起点フラグと確定フラグの各リストナンバの候補領域に属さない候補領域を有する他のリストナンバが第三リスト情報に記録されているかを判定する（ステップＳ１１４９）。図９を用いて説明すると、候補領域７４は起点フラグと確定フラグの各リストナンバの候補領域に属さない候補領域を有する領域を示すので、この場合ステップＳ１１４９においてＹｅｓとなる。梱包種別特定部１１５はＹｅｓの場合には、第三リスト情報において起点フラグを立てたことの無いリストナンバが存在するかを判定する（ステップＳ１１５０）。今上述の処理では梱包種別特定部１１５は候補領域７１以外の候補領域には起点フラグを立てていない。したがって、ステップＳ１１５０の判定結果はＹｅｓとなる。
【００５２】
梱包種別特定部１１５はステップＳ１１５０の判定結果がＹｅｓの場合には第三リスト情報を用いた処理をやり直すため、第三リスト情報を用いて各リストナンバに立てたフラグの情報を保持した判定結果候補を一時的に記録し、それら全てのフラグをリセットする（ステップＳ１１５１）。梱包種別特定部１１５はステップＳ１１４からの処理を繰り返す。
【００５３】
梱包種別特定部１１５はステップＳ１１５０でＮｏの場合には、ステップＳ１１４４〜ステップＳ１１５１の処理の繰り返しで最も良い判定結果を特定する。この特定において梱包種別特定部１１５は、第三リスト情報において特定された起点フラグと確定フラグの各リストナンバの候補領域に属さない候補領域を有する他のリストナンバの数が最も少ない判定結果候補を、判定結果と特定する（ステップＳ１１５２）。
【００５４】
そして梱包種別特定部１１５は特定した判定結果が示す第三リスト情報において削除フラグを立てたリストナンバの情報を削除する（ステップＳ１１５３）。梱包種別特定部１１５は全ての梱包商品ＩＤについて処理を行ったかを判定する（ステップＳ１１５４）。
【００５５】
以上の処理により検品装置１はカメラ４から取得した画像に基づいて、当該画像に写る梱包商品２の識別を行うことができる。
【００５６】
より具体的に説明すると、上述の処理によれば、検品装置１は、先に梱包商品２が画像中のどこにあるかを推定し、梱包商品２に含まれる複数の単位商品の詳細表示領域特徴量情報によって、梱包商品２に含まれる単位商品を特定する。単位商品が複数含まれる梱包商品２の構成面は単位商品の所定面を複数有する面であるため、梱包商品２の構成面全体の複数の領域で詳細表示領域特徴量との違いがある場合には、梱包商品２を構成する単位商品の数だけ違いの値が大きくなる。したがって画像中における梱包商品２の候補領域を特定した後に、梱包商品２に含まれる複数の単位商品の詳細表示領域特徴量情報によって、梱包商品２に含まれる単位商品を特定することで、より梱包商品２の識別の精度を高めることが可能となる。
【００５７】
図１０は検品装置の最少構成を示す図である。
検品装置１は少なくとも、画像取得部１１２と、種別候補特定部１１３と、領域特定部１１４と、梱包種別特定部１１５との各機能を備えていればよい。
【００５８】
上述の検品装置１は内部に、コンピュータシステムを有している。そして、検品装置１に上述した各処理を行わせるためのプログラムは、当該検品装置１のコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムを検品装置１のコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００５９】
また、上記プログラムは、前述した各処理部の機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００６０】
１・・・検品装置、２・・・梱包商品、３・・・箱、４・・・カメラ、５・・・表示装置、６・・・入力装置、１０１・・・ＣＰＵ、１０２・・・ＲＯＭ、１０３・・・ＲＡＭ、１０４・・・ＨＤＤ、１０５・・・インタフェース、１１１・・・制御部、１１２・・・画像取得部、１１３・・・種別候補特定部、１１４・・・領域特定部、１１５・・・梱包種別特定部
【図１】
2018140859.tif 000003
【図２】
2018140859.tif 000004
【図３】
2018140859.tif 000005
【図４】
2018140859.tif 000006
【図５】
2018140859.tif 000007
【図６】
2018140859.tif 000008
【図７】
2018140859.tif 000009
【図８】
2018140859.tif 000010
【図９】
2018140859.tif 000011
【図１０】
2018140859.tif 000012