(57)【特許請求の範囲】
【請求項１】
視覚分析に基づくプラノグラム・コンプライアンス照合のための方法であって、プロセッサにより実行される：
画像取込みデバイス（２００）の使用による、少なくとも１つの製品棚画像を取り込むステップ；
画像前処理モジュール（２１０）の使用による、前記少なくとも１つの製品棚画像から対象領域（ＲＯＩ）を特定するステップ；
前記画像前処理モジュール（２１０）により特定した前記対象領域（ＲＯＩ）に射影ひずみ補正を適用することによって、少なくとも１つの補正棚画像を生成するステップ；
列抽出モジュール（２１２）の使用による、前記補正棚画像から１つ又は複数の列を抽出するステップであって、前記補正棚画像は、複数の水平列区画を含む、ステップ；
占有計算モジュール（２１４）の使用により、
前記補正棚画像から抽出した前記１つ又は複数の列のそれぞれに対する占有を推定するために、
基準棚画像のために生成した事前定義される既存のハウスドルフ・ベース画像マップとハウスドルフ距離ベース画像マップとを照合するステップ；
製品計数・配置モジュール（２１６）の使用により、前記抽出した列及び前記推定した占有に基づき、前記抽出した１つ又は複数の列のそれぞれに対する製品計数・配置情報を得るステップ
を含む方法。
【請求項２】
前記照合は、前記補正棚画像のための前記ハウスドルフ距離ベース画像マップと、前記事前定義した基準棚画像のために生成した既存の前記ハウスドルフ・ベース画像マップとを照合することによって、部分欠落及び完全欠落のうち１つとして占有を推定することを更に含む、請求項１に記載の方法。
【請求項３】
前記製品計数・配置情報を得ることは、
製品画像のテクスチャ特性と事前定義した基準製品棚画像とを整合することによって、前記製品画像の前記テクスチャ特性に基づく製品を検出することであって、前記製品画像は、前記少なくとも１つの製品棚画像の一部であること、；及び
前記製品画像の色ヒストグラムと前記事前定義した基準製品棚画像とを整合することによって、１つ又は複数の製品誤検出を除去すること
を更に含む、請求項１に記載の方法。
【請求項４】
視覚分析に基づくプラノグラム・コンプライアンス照合のためのシステム（１０２）であって、前記システム（１０２）は、前記システムに動作可能に結合した画像取込みデバイス（２００）、プロセッサ（２０２）及びインターフェース（２０４）、前記プロセッサ（２０２）に結合したメモリ（２０６）を備え、前記システム（１０２）は、
少なくとも１つの製品棚画像を取り込むように構成した前記画像取込みデバイス（２００）；
前記少なくとも１つの製品棚画像から対象領域（ＲＯＩ）を特定するように構成した画像前処理モジュール（２１０）であって、前記特定した対象領域（ＲＯＩ）に射影ひずみ補正を適用することによって、少なくとも１つの補正棚画像を生成するように更に構成した画像前処理モジュール（２１０）；
前記補正棚画像から１つ又は複数の列を抽出するように構成した列抽出モジュール（２１２）であって、前記補正棚画像は、複数の水平列区画を含む、列抽出モジュール（２１２）；
事前定義した基準棚画像のために生成した既存のハウスドルフ・ベース画像マップに基づき、前記補正棚画像から前記抽出した１つ又は複数の列のそれぞれに対する占有を推定するために、ハウスドルフ距離ベース画像マップを適用するように構成した占有計算モジュール（２１４）；並びに
前記抽出した列及び推定した占有に基づき、前記抽出した１つ又は複数の列のそれぞれに対する製品計数・配置情報を得るように構成した製品計数・配置モジュール（２１６）
を備えるシステム（１０２）。
【請求項５】
前記占有計算モジュール（２１４）は、前記補正棚画像のためのハウスドルフ・ベース画像マップと、前記事前定義した基準棚画像のために生成した既存のハウスドルフ・ベース画像マップとを整合することによって、部分欠落及び完全欠落のうち１つとして占有を推定するように更に構成される、請求項４に記載のシステム。
【請求項６】
前記製品計数・配置モジュール（２１６）は、
製品画像のテクスチャ特性と事前定義した基準棚画像とを整合することによって、前記製品画像のテクスチャ特性に基づく製品を検出することであって、前記製品画像は、前記少なくとも１つの製品棚画像の一部であること；及び
前記製品画像の色ヒストグラムと前記事前定義した基準製品棚画像とを整合することによって、１つ又は複数の製品誤検出を除去する
ように更に構成される、請求項４に記載のシステム。
【請求項７】
システム上のプロセッサによる実行時に、
画像取込みデバイス（２００）の使用により、少なくとも１つの製品棚画像を取り込むこと；
画像前処理モジュール（２１０）の使用により、前記少なくとも１つの製品棚画像から対象領域（ＲＯＩ）を特定すること；
前記画像前処理モジュール（２１０）によって特定した前記対象領域（ＲＯＩ）に射影ひずみ補正を適用することによって、少なくとも１つの補正棚画像を生成すること；
列抽出モジュール（２１２）の使用により、前記補正棚画像から１つ又は複数の列を抽出することであって、前記補正棚画像は、複数の水平列区画を含む、抽出すること；
占有計算モジュール（２１４）の使用により、事前定義した基準棚画像のために生成した既存のハウスドルフ・ベース画像マップに基づき、前記補正棚画像から抽出した前記１つ又は複数の列のそれぞれに対する占有を推定するために、ハウスドルフ距離ベース画像マップを適用すること；
製品計数・配置モジュール（２１６）の使用により、前記抽出した列及び前記推定した占有に基づき、前記抽出した１つ又は複数の列のそれぞれに対する製品計数・配置情報を得ること
を含む方法を前記プロセッサに実施させる命令を含む非一時的コンピュータ可読媒体。
【請求項８】
システム上のプロセッサによる実行時に、前記プロセッサに、製品計数・配置情報を得る方法を実施させる命令を更に含み、前記製品計数・配置情報を得る方法は、
製品画像のテクスチャ特性と事前定義した基準棚画像とを整合することによって、前記製品画像の前記テクスチャ特性に基づき製品を検出することであって、前記製品画像は、前記少なくとも１つの製品棚画像の一部である、検出すること；及び
前記製品画像の色ヒストグラムと前記事前定義した基準製品棚画像とを整合することによって、１つ又は複数の製品誤検出を除去すること
を含む、請求項７に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、プラノグラム・コンプライアンス照合に関し、より詳細には、視覚分析に基づくプラノグラム・コンプライアンス照合に関する。
【背景技術】
【０００２】
関連出願の相互参照及び優先権
本特許出願は、２０１５年５月１６日出願のインド出願第１９２７／ＭＵＭ／２０１５号に対する優先権を主張する。上述の出願の内容全体は、参照により本明細書に組み込まれる。
【０００３】
プラノグラムは、顧客の容易さのための、棚上の小売り製品の配置を示すモデルである。小売りマーケティング調査は、プラノグラム・コンプライアンスを維持すると全体の利益を著しく改善できることを示している。
【０００４】
以前のアプローチのほとんどは、タグ又は従来の会計及び在庫管理方法に関係する。ＲＦＩＤに基づくアプローチは、センサの設置に対する指数関数的費用、及び時間がかかり重労働であるタグの取付けといった問題に直面しており、タグの取付けは、全ての製品に対し行い、更に、支払いカウンタでこれらのタグを取り外すものである。更に、大きな資本を必要とするにもかかわらず、所望の結果はもたらされない。在庫管理に基づく方法は、製品の記録を清算時点で維持し、製品が選択された場合、その製品は、同じ地点に戻されるという仮定で機能する。一部のＲＦＩＤ／センサに基づくアプローチに対し誤った推論が共有されている。これらの仮定は、特にかなり混雑した状況又は棚上の在庫品が少なく維持される閑散期の間では、有効であると考慮できない。いくつかの画像に基づく分析も存在しており、上述の問題の一部に応えることができる。それにもかかわらず、こうしたアプローチのいくつかは、店内で購入できる製品の全てに対し必要なテンプレート画像を監視するために、固定又は搭載されたカメラに頼っている。このアプローチも、製品の正面がはっきりと見えない場合、プラノグラム・コンプライアンスを適切に調べることはできない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示の実施形態は、本発明者等が従来のシステム内で認識する１つ又は複数の上述の技術的問題に対する解決策として、技術的な改善を呈示する。
【課題を解決するための手段】
【０００６】
例えば、一実施形態では、本出願は、画像取込みデバイス（２００）の使用により、少なくとも１つの製品棚画像を取り込むステップを含む、視覚分析に基づくプラノグラム・コンプライアンス照合のためのコンピュータ実装方法を開示する。方法は、画像前処理モジュール（２１０）の使用により、少なくとも１つの製品棚画像から対象領域（ＲＯＩ、ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）を特定することを更に含む。方法は、特定した対象領域（ＲＯＩ）に射影ひずみ補正を適用することによって、少なくとも１つの補正棚画像を生成することを更に含む。一実施形態では、射影ひずみ補正は、投影幾何学補正に基づく。開示する方法は、列抽出モジュール（２１２）の使用により、補正棚画像から１つ又は複数の列を抽出することを更に含み、補正棚画像は、複数の水平列区画を含む。方法は、占有計算モジュール（２１４）の使用により、事前定義した基準棚画像のために生成した既存のハウスドルフ・ベース（Ｈａｕｓｄｒｏｆｆ  ｂａｓｅｄ）画像マップに基づき、補正棚画像から抽出した１つ又は複数の列のそれぞれに対する占有を推定するために、ハウスドルフ距離ベース画像マップを適用することを更に含むことができる。最後に、方法は、製品計数・配置モジュール（２１６）の使用により、抽出した列及び推定した占有に基づき、抽出した１つ又は複数の列のそれぞれに対する製品計数・配置情報を得るステップも含むことができる。
【０００７】
別の実施形態では、別の態様では、本出願は、システム（１０２）も開示し、システム（１０２）は、システムに動作可能に結合した画像取込みデバイス（２００）、プロセッサ（２０２）及びインターフェース（２０４）、前記プロセッサ（２０２）に結合したメモリ（２０６）を備え、システム（１０２）は、少なくとも１つの製品棚画像を取り込むように構成した画像取込みデバイス（２００）、少なくとも１つの製品棚画像から対象領域（ＲＯＩ）を特定するように構成した画像前処理モジュール（２１０）を備える。更に、画像前処理モジュール（２１０）は、特定した対象領域（ＲＯＩ）に射影ひずみ補正を適用することによって、少なくとも１つの補正棚画像を生成するように構成される。一実施形態では、射影ひずみ補正は、射影幾何学補正に基づく。システム（１０２）は、複数の水平列区画を含む補正棚画像から１つ又は複数の列を抽出するように構成した列抽出モジュール（２１２）、事前定義した基準製品棚画像のために生成した既存のハウスドルフ・ベース画像マップに基づき、補正棚画像から抽出した１つ又は複数の列のそれぞれに対する占有を推定するためにハウスドルフ距離ベース画像マップを適用するように構成した占有計算モジュール（２１４）、及び抽出した列及び推定した占有に基づき、抽出した１つ又は複数の列のそれぞれに対する製品計数・配置情報を得るように構成した製品計数・配置モジュール（２１６）を更に備える。
【０００８】
更に別の実施形態では、本出願は、システム上のプロセッサによる実行時に、画像取込みデバイス（２００）の使用により、少なくとも１つの製品棚画像を取り込むことを含む方法をプロセッサに実施させる命令を含む非一時的コンピュータ可読媒体を提供する。方法は、画像前処理モジュール（２１０）の使用により、少なくとも１つの製品棚画像から対象領域（ＲＯＩ）を特定することを更に含む。方法は、特定した対象領域（ＲＯＩ）に射影ひずみ補正を適用することによって、少なくとも１つの補正棚画像を生成することを更に含む。一実施形態では、射影ひずみ補正は、投影幾何学補正に基づく。開示する方法は、列抽出モジュール（２１２）の使用により、補正棚画像から１つ又は複数の列を抽出することを更に含み、補正棚画像は、複数の水平列区画を含む。方法は、占有計算モジュール（２１４）の使用により、事前定義した基準棚画像のために生成した既存のハウスドルフ・ベース画像マップに基づき、補正棚画像から抽出した１つ又は複数の列のそれぞれに対する占有を推定するために、ハウスドルフ距離ベース画像マップを適用することを更に含むことができる。最後に、方法は、製品計数・配置モジュール（２１６）の使用により、抽出した列及び推定した占有に基づき、抽出した１つ又は複数の列のそれぞれに対する製品計数・配置情報を得るステップも含むことができる。
【０００９】
上記の概略的な説明及び以下の詳細な説明の両方は、例示及び説明のためのものにすぎず、特許請求する本発明に対する限定ではないことを理解されたい。
【００１０】
本開示内に組み込まれ、本開示の一部を構成する添付の図面は、例示的な実施形態を示し、本明細書と共に、開示する原理を説明するためのものである。
【図面の簡単な説明】
【００１１】
【図１】本発明の主題の一実施形態による、視覚分析に基づくプラノグラム・コンプライアンス照合のためのシステムのネットワーク実装形態の図である。
【図２】本発明の主題の一実施形態による、視覚分析に基づくプラノグラム・コンプライアンス照合のためのシステムの図である。
【図３】本開示の一実施形態例による、様々な製品の視覚分析を使用する、プラノグラム・コンプライアンスのための方法を示す流れ図である。
【図４】本開示の一実施形態例による、様々な製品の部分又は全体存在のために視覚分析を使用するプラノグラム・コンプライアンスのための方法を示す流れ図である。
【図５】本開示の一実施形態例による、自己ハウスドルフ・マップ作成を示す流れ図である。
【図６】本開示の一実施形態例による、列抽出の方法を示す流れ図である。
【発明を実施するための形態】
【００１２】
例示的な実施形態を添付の図面を参照しながら説明する。図面では、参照番号の最も左の桁（複数可）は、その参照番号が最初に出現する図を特定する。都合の良い場合は常に、同じ又は同様の部分を指すために、同じ参照番号を図面全体を通して使用する。開示する原理の例及び特徴を本明細書で説明するが、修正形態、適合形態及び他の実装形態が、開示する実施形態の趣旨及び範囲から逸脱しない限り、可能である。以下の詳細な説明は、単なる例としてみなすべきであり、真の範囲及び趣旨は、以下の特許請求の範囲によって示されることを意図する。
【００１３】
本出願は、プラノグラム・コンプライアンスのための視覚分析用コンピュータ実装方法及びシステムを提供する。開示する主題は、システムと通信可能に結合した画像取込みデバイス（２００）を備えるシステムを提供し、システムは、画像処理モジュール（２１０）、列抽出モジュール（２１２）、占有検出モジュール（２１４）及び計数・配置モジュール（２１６）を備える。
【００１４】
説明は、本発明の主題の原理を説明するにすぎないことを留意されたい。したがって、本明細書では明示的に記載されていないにもかかわらず、本発明の主題の原理を実現し、本発明の趣旨及び範囲内に含まれる様々な構成を考案できることを当業者であれば了解されよう。更に、本明細書に列挙する全ての例は、主に、本発明者（等）が当技術分野の促進のために与える本発明の原理及び概念に対する読者の理解を支援するため、説明の目的にすぎないことを明確に意図し、そのような具体的に列挙した例及び条件に限定するものではないと解釈すべきである。
【００１５】
ここで、図１を参照すると、本発明の主題の一実施形態による、視覚分析の使用によるプラノグラム・コンプライアンスのためのシステム１０２のネットワーク実装形態１００が示される。本発明の主題は、システム１０２がサーバ上で実施されることを考慮して説明するが、システム１０２は、ラップトップ・コンピュータ、デスクトップ・コンピュータ、ノートブック、ワークステーション、汎用コンピュータ、サーバ、ネットワーク・サーバ等の様々なコンピューティング・システム内にも実装できることを理解できよう。一実装形態では、システム１０２は、クラウドベース環境内で実装できる。システム１０２は、以下ユーザ・デバイス１０４と総称される１つ又は複数のユーザ・デバイス１０４−１、１０４−２・・・１０４−Ｎ、又はユーザ・デバイス１０４上に常駐するアプリケーションを通じて、多数のユーザがアクセスできることは理解されよう。ユーザ・デバイス１０４の例は、限定はしないが、ポータブル・コンピュータ、携帯情報端末、ハンドヘルド・デバイス及びワークステーションを含む。ユーザ・デバイス１０４は、ネットワーク１０６を通じてシステム１０２と通信可能に結合される。
【００１６】
一実装形態では、ネットワーク１０６は、ワイヤレス・ネットワーク、有線ネットワーク又はこれらの組合せとすることができる。ネットワーク１０６は、イントラネット、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット等、様々な種類のネットワークのうち１つとして実装することができる。ネットワーク１０６は、専用ネットワークであっても、共有ネットワークであってもよい。共有ネットワークは、様々なプロトコル、例えばハイパーテキスト転送プロトコル（ＨＴＴＰ）、転送制御プロトコル／インターネット・プロトコル（ＴＣＰ／ＩＰ）、ワイヤレス・アプリケーション・プロトコル（ＷＡＰ）等を使用して互いに通信する様々な種類のネットワークの提携を表す。更に、ネットワーク１０６は、ルータ、ブリッジ、サーバ、計算デバイス、記憶デバイス等を含む様々なネットワーク・デバイスを含むことができる。
【００１７】
次に図２を参照すると、開示する主題の一実施形態による、視覚分析に基づくプラノグラム・コンプライアンス照合のためのシステム（１０２）が示される。
【００１８】
図２を参照すると、一実施形態によれば、システム（１０２）は、視覚分析に基づくプラノグラム・コンプライアンスを照合するように構成され、より具体的には、システム（１０２）は、システムに動作可能に結合した画像取込みデバイス（２００）、プロセッサ（２０２）及びインターフェース（２０４）、前記プロセッサ（２０２）に結合したメモリ（２０６）を備える。更により具体的には、開示する主題の一実施形態では、画像取込みデバイス（２００）は、少なくとも１つの製品棚画像を取り込むように構成される。別の実施形態では、システム（１０２）は、少なくとも１つの製品棚画像から対象領域（ＲＯＩ）を特定するように更に構成した画像前処理モジュール（２１０）を備える。別の実施形態では、画像前処理モジュール（２１０）は、特定した対象領域（ＲＯＩ）に射影ひずみ補正を適用することによって、少なくとも１つの補正棚画像を生成するように更に構成される。一態様では、射影ひずみ補正は、射影幾何学補正に基づく。
【００１９】
製品棚画像の取込みでは、射影ひずみ補正画像は、当技術分野で利用可能なあらゆる画像取込みデバイスにより、画像取込みデバイスのタッチ・スクリーンを使用して、製品棚の端点を選択し、従来の投影幾何学補正の適用による端点の使用により画像の射影ひずみを補正することによって、取り込まれる。
【００２０】
更に、図２を再度参照すると、システム（１０２）は、列抽出モジュール（２１２）を更に備え、列抽出モジュール（２１２）は、補正棚画像から１つ又は複数の列を抽出するように構成できる。一態様では、補正棚画像は、複数の水平列区画を備え、列抽出は、補正棚画像上のこうした水平列区画の特定に基づく。別の実施形態では、列抽出は、既存の基準棚画像に適用することもできる。更に別の実施形態では、棚抽出は、ソーベル微分の使用により画像内の全ての垂直変化を発見することによって、ｃｈｇ−ｉｍｇを生成するステップ、全ての可能な水平線を検出するためにｃｈｇ−ｉｍｇにハフ変換を適用するステップ、及び棚内の最も顕著な水平線を特定することにより１つ又は複数の列を抽出するステップを含む。列抽出工程の詳細は、図６を参照して本出願の以下で更に説明する。
【００２１】
図２を再度参照すると、システム（１０２）は、占有計算モジュール（２１４）を更に備え、占有計算モジュール（２１４）は、ハウスドルフ距離ベース画像マップを適用し、補正棚画像から抽出した１つ又は複数の列のそれぞれに対する占有を推定するように構成される。一実施形態では、占有推定モジュール（２１４）は、占有が、部分欠落及び完全欠落のうち１つとして推定されるように、ハウスドルフ・ベース画像マップを適用するように更に構成される。部分欠落とは、製品が部分的に欠落している状況を指す一方で、完全欠落は、製品が完全に欠落している場合に言及される。一実施形態では、占有検出は、補正棚画像のためのハウスドルフ・ベース画像マップと、事前定義した基準棚画像のための既存のハウスドルフ・ベース画像マップとの整合に基づく。
【００２２】
図２を再度参照すると、システム（１０２）は、製品計数・配置モジュール（２１６）を更に備え、製品計数・配置モジュール（２１６）は、抽出した列及び推定した占有に基づき、抽出した１つ又は複数の列のそれぞれに対する製品計数・配置情報を得るように構成される。一実施形態では、製品計数・配置モジュール（２１６）は、製品画像のテクスチャ特性に基づき製品を検出するように構成され、この製品画像は、製品画像のテクスチャ特性の事前定義した基準棚画像との整合による補正製品棚画像の一部である。更に製品計数・配置モジュール（２１６）は、製品画像の色ヒストグラムと事前定義した基準製品棚画像とを整合することによって、１つ又は複数の製品誤検出を除去するように構成できる。
【００２３】
次に図３を参照すると、本開示の一実施形態例による、様々な製品の視覚分析の使用によるプラノグラム・コンプライアンスのための方法を示す流れ図を示す。
【００２４】
工程は、ステップ３０２で開始され、少なくとも１つの製品棚画像は、画像取込みデバイス（２００）を使用して取り込まれ、画像取込みデバイスは、システムに動作可能に結合される。
【００２５】
ステップ３０４及び３０６で、画像に対し前処理を実施し、ステップ３０４では、取り込まれた少なくとも１つの製品棚画像から対象領域（ＲＯＩ）を特定する。ステップ３０６で、特定された対象領域（ＲＯＩ）に射影ひずみ補正を適用することによって、少なくとも１つの補正棚画像を生成する。一態様では、射影ひずみ補正は、射影幾何学補正に基づく。
【００２６】
ステップ３０８で、１つ又は複数の列を補正棚画像から抽出する。一態様では、補正棚画像は、複数の水平列区画を備え、列抽出は、補正棚画像上のこうした水平列区画の特定に基づく。別の実施形態では、列抽出は、既存の基準棚画像に適用することもできる。更に別の実施形態では、棚抽出は、ソーベル微分の使用により、画像内の全ての垂直変化を発見することによってｃｈｇ−ｉｍｇを生成するステップ、全ての可能な水平線を検出するためにｃｈｇ−ｉｍｇに対しハフ変換を適用するステップ、及び棚内の最も顕著な水平線を特定することにより１つ又は複数の列を抽出するステップを含む。
【００２７】
ステップ３１０で、ハウスドルフ距離ベース画像マップを適用し、補正棚画像から抽出した１つ又は複数の列のそれぞれに対する占有を推定する。一実施形態では、占有が部分欠落及び完全欠落のうち１つとして推定されるように、ハウスドルフ・ベース画像マップを適用し、部分欠落とは、製品が部分的に欠落している状況を指す一方で、完全欠落は、製品が完全に欠落している状況である。占有推定結果は、抽出した１つ又は複数の列のそれぞれに対するものであっても、棚全体に対するものであってもよい。一実施形態では、占有検出は、補正棚画像のためのハウスドルフ・ベース画像マップと、事前定義した基準棚画像のための既存のハウスドルフ・ベース画像マップとの整合に基づく。
【００２８】
ステップ３１２で、製品計数・配置情報は、抽出した列及び推定した占有に基づき、抽出した１つ又は複数の列のそれぞれに対して得られる。一実施形態では、製品は、製品画像のテクスチャ特性に基づき検出され、製品画像は、製品画像のテクスチャ特性と事前定義した基準棚画像との整合による、補正製品棚画像の一部である。更に別の実施形態では、製品画像の色ヒストグラムと事前定義した基準製品棚画像との整合により、１つ又は複数の製品誤検出を除去することができる。
【００２９】
次に、上述の方法を図４から図６を参照して詳細に説明する。
【００３０】
以下の式を使用する、ハウスドルフ・マップに基づく占有の計算−取り込んだ製品棚画像及びハウスドルフ測定基準に基づく基準画像のための局所距離マップの計算、並びに製品棚画像と基準画像との比較：
【００３１】
式１：Ｈ（Ａ；Ｂ）＝ｍａｘ｛ｈ（Ａ；Ｂ）；ｈ（Ｂ；Ａ）｝
【００３２】
式２：ｈ（Ａ；Ｂ）＝ｍａｘ（ａ∈２）｛ｍｉｎ（ｂ∈Ｂ）｛ｄ（ａ；ｂ）｝｝
【００３３】
式中、Ａ及びＢは、基準画像及び製品棚画像の局所領域である一方で、式２のａ及びｂは、Ａ及びＢのより小さな分割であり、即ち、Ａ及びＢは、上位マスクであり、ａ及びｂは、上位マスクに対応する下位マスクを示す。式１のｈ（Ａ；Ｂ）は、式２で記述する、指示されたハウスドルフ距離を示す。
【００３４】
ハウスドルフ測定基準距離マップを使用する占有計算方法。占有計算方法は、完全欠落ケース及び部分欠落ケースの個々の特定を含む。
【００３５】
完全欠落ケースの特定
完全欠落製品の特定に関する図４に関し、比較測定基準ｄ（ａ；ｂ）としてユークリッド距離を適用し、全ての計算は、ＲＧＢ色空間で実施される。測定基準及び選択した色空間は、ＲＧＢ強度値のマークした基準画像との差異を使用して、欠落した製品、置き忘れた製品、及び間違って置かれた製品を特定する。下位マスクａ及びｂは、定義した領域のＲＢＧ平面内の画素強度の中間値として表され、値ａ、ｂ及びｄをユークリッド距離として使用して、製品棚距離マップを描き、大津の閾値処理基準を適用する。
【００３６】
部分欠落製品の特定に関する図４に関して、カイ二乗距離に基づくハウスドルフ・マップを式３に示す。
【００３７】
【数１】
0006313806.tif 000002
【００３８】
式３を参照すると、Ｈ１及びＨ２は、基準棚画像及び製品棚画像の下位マスクのヒストグラムである。この工程の間に生成されたノイズの多い人為結果は、図５に示す水平及び垂直平行移動の使用による、基準画像の自己ハウスドルフ・マップの生成により対処される。
【００３９】
製品棚列の特定
図４に関して、ステップは、ソーベル微分の使用による、出力ｃｈｇ−ｉｍｇを用いて画像内の全ての垂直変化を得るステップ、続いてｃｈｇ−ｉｍｇに対しハフ変換を適用して全ての可能な直線を検出するステップを含む。関連するパラメータ、即ちソーベル微分閾値、及びハフ変換に基づく線検出の投票閾値の選択のために、自動化された解がもたらされる。この解には以下のアルゴリズムを含む：
線低減アルゴリズム
１：ｐｒｏｃｅｄｕｒｅ  ｒｅｄｕｃｅＬｉｎｅｓ  （ｓｏｂＴ  ｈ；ｈｏｇｈＴｈ；ｉｍｇ）
２：ｍａｘＬｉｎｅｓ＜−−−（ｉｍｇ．ｈｔ／１０）
３：ｗｈｉｌｅ  ｌｉｎＤｔｃｄ＞ｍａｘＬｉｎｅｓ  ｄｏ
４：ｌｉｎＤｔｃｄ＜−−−−ＨｏｕｇｈＬｉｎｅｓ（ｓｏｂＴｈ，ｈｏｇｈＴｈ，ｉｍｇ）
５：ｉｎｃｒ＜−−−−−（ｌｉｎＤｔｃｄ／ｍａｘＬｉｎｅｓ）
６：ｈｏｇｈＴｈ＜−−−−−（ｈｏｇｈＴｈ＋ｉｎｃｒ）
７：ｓｏｂＴｈ＜−−−−−ｓｏｂＴｈ＋（ｉｎｃｒ／２）
８：ｅｎｄ  ｗｈｉｌｅ
９：ｒｅｔｕｒｎ  ｓｏｂＴ  ｈ；ｈｏｇｈＴｈ
１０：ｅｎｄ  ｐｒｏｃｅｄｕｒｅ
【００４０】
製品計数・配置計算
上記ステップからの列レベルの製品計数は、正確な製品テンプレートの利用可能性を仮定する。製品計数及び計算は、２つのステップ：ａ）製品画像のテクスチャ特性に基づき製品を検出するステップ、ｂ）色特徴を使用して誤検出を除去するステップ、を辿る。
【００４１】
ａ）製品画像のテクスチャ特性に基づく製品の検出：第１のレベルの製品検出に対しＳＵＲＦ特徴に基づく検出を適用する。製品テンプレートの縦横比に対するスライド・ウインドウの特定。ウインドウの高さは、の高さに等しい。
【００４２】
ｂ）色特徴を使用する誤検出の除去：テンプレート画像と例示画像内の検出領域との間の色ヒストグラムの整合により、第２のレベルの製品検出を適用し誤検出を取り除く。
【００４３】
更に、別の実施形態では、方法は、正規化ヒストグラムを適用するステップ、及び２つの分布間の類似度を測定するためにバッタチャリャ距離を使用するステップを含む。２つの等化したヒストグラムｈ１とｈ２との間のバッタチャリャ距離は、式４で定義される。
【００４４】
【数２】
0006313806.tif 000003
【００４５】
上述のシステムは、図４から図６の本開示で開示した１つ又は複数の実施形態に従った演算を実施するが、本出願で開示するシステム及び方法は、複数の実施形態を使用して実施でき、これらの実施形態は、本発明のシステム及び方法の動作の理解として解釈できるにすぎず、本出願の範囲を限定するものではないことは当業者には明らかであろう。
【００４６】
説明したステップは、図示する例示的な実施形態を説明するために示すものであり、進行中の技術発展が、特定の機能を実施する様式を変更することは予期すべきである。これらの例は、限定ではなく、説明のために本明細書で提示する。更に、機能的構成要素の境界は、説明の便宜上、本明細書では任意に定義してある。指定された機能及びそれらの関係が適切に実施される限り、代替的な境界を定義することができる。代替形態（本明細書に記載のものの等価物、拡張形態、変形形態、逸脱形態等を含む）は、本明細書に含まれる教示に基づき、当業者にとって明らかであろう。そのような代替形態は、開示する実施形態の範囲及び趣旨内にある。また、語「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」及び「含む（ｃｏｎｔａｉｎｉｎｇ、ｉｎｃｌｕｄｉｎｇ）」並びに他の同様の形態は、意味が等価であることを意図し、これらの語に続く１つ又は複数の項目がそのような１つ又は複数の項目の網羅的な一覧ではないことを意味するという点、又は一覧の１つ又は複数の項目のみに限定されないことを意味するという点で、無制限である。本明細書及び添付の特許請求の範囲で使用する単数形「１つの（ａ、ａｎ及びｔｈｅ）」は、文脈がそれ以外のことを明確に規定しない限り、複数の引用語句を含むことにも留意しなければならない。
【００４７】
更に、本開示に一致する実施形態の実施に際し、１つ又は複数のコンピュータ可読記憶媒体を利用できる。コンピュータ可読記憶媒体は、プロセッサが読取り可能な情報又はデータを記憶できるあらゆる種類の物理的メモリを指す。したがって、コンピュータ可読記憶媒体は、１つ又は複数のプロセッサによって実行するための命令を記憶することができ、これには、プロセッサ（複数可）に、本明細書に記載の実施形態と一致するステップ又は段階を実施させる命令を含む。用語「コンピュータ可読媒体」は、有形の物品を含み、搬送波及び一時的信号を除外する、即ち非一時的であると理解すべきである。例には、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハード・ドライブ、ＣＤ  ＲＯＭ、ＤＶＤ、フラッシュ・ドライブ、ディスク、及びあらゆる他の公知の物理的記憶媒体を含む。
【００４８】
本開示及び例は、単なる例としてみなすべきであり、開示する実施形態の真の範囲及び趣旨は、以下の特許請求の範囲によって示されることを意図する。
【図１】
0006313806.tif 000004
【図２】
0006313806.tif 000005
【図３】
0006313806.tif 000006
【図４】
0006313806.tif 000007
【図５】
0006313806.tif 000008
【図６】
0006313806.tif 000009