(57)【要約】【課題】  自動販売機が取り扱う商品を迅速且つ容易に把握する。【解決手段】  自動販売機の販売商品認識装置１０１は、注目する自動販売機が販売する商品が、顧客が判別可能に配列された商品陳列領域Ｒと、該自動販売機の前面に設けられた部品を含む周辺領域とが含まれる複数の入力画像を処理対象として、それら入力画像の位置合わせを行う画像位置合わせ部と、前記位置合わせされた前記複数の入力画像に基づいて合成画像を生成する画像合成部と、前記商品陳列領域に陳列される可能性のある商品を表す画像が、前記合成画像に含まれるか否かを照合することにより、前記注目する自動販売機が販売する商品を特定する画像照合部とを有する。【選択図】      図５
2014191423.tif 000002
【特許請求の範囲】
【請求項１】
注目する自動販売機が販売する商品が、顧客が判別可能に配列された商品陳列領域と、該自動販売機の前面に設けられた部品を含む周辺領域とが含まれる複数の入力画像を処理対象として、それら入力画像の位置合わせを行う画像位置合わせ部と、
前記位置合わせされた前記複数の入力画像に基づいて合成画像を生成する画像合成部と、
前記商品陳列領域に陳列される可能性のある商品を表す画像が、前記合成画像に含まれるか否かを照合することにより、前記注目する自動販売機が販売する商品を特定する画像照合部とを備える
ことを特徴とする自動販売機の販売商品認識装置。
【請求項２】
前記画像位置合わせ部は、
複数形式の自動販売機を対象として、それら自動販売機の前面に形式を問わず設けられる共通部品を表す共通部品画像が格納されている共通部品画像記録部と、
前記複数の入力画像を処理対象として、前記共通部品画像記録部に格納されている個々の共通部品画像を参照することにより、前記注目する自動販売機における共通部品画像の位置を検出する部品検出部と、
前記複数の入力画像を処理対象として、個々の入力画像に含まれる特徴点を求めると共に、該入力画像間における類似する特徴点がなす組として求める特徴点検出部と、
前記特徴点検出部によって求められた特徴点の組に基づいて、前記複数の入力画像間の変形量を求め、求めた変形量に従って前記個々の入力画像を変形する画像変形部を含み、
前記画像合成部は、
前記画像変形部によって求められた入力画像を利用して、変形後の前記複数の入力画像のうち、何れかの入力画像を基準として残りの入力画像を重畳することにより、前記合成画像を生成する
ことを特徴とする請求項１記載の自動販売機の販売商品認識装置。
【請求項３】
前記画像位置合わせ部において、前記部品検出部は、
前記検出された共通部品画像を対象として、その共通部品画像として検出されるべき共通部品間の相対的な位置関係を表す情報を参照することにより、前記複数の入力画像のうち、その共通部品画像が含まれる特定の入力画像の妥当性を検証する
ことを特徴とする請求項２記載の自動販売機の販売商品認識装置。
【請求項４】
前記部品検出部は、
前記特定の入力画像の妥当性を検証するに際して、前記検出された共通部品画像の位置を表す情報に基づいて、その共通部品画像に対応する部品の向き及びスケールの少なくとも何れかを比較し、比較結果に従って該共通部品画像が含まれる特定の入力画像の妥当性を検証する
ことを特徴とする請求項３記載の自動販売機の販売商品認識装置。
【請求項５】
前記複数の入力画像は、前記注目する自動販売機を、複数の異なる方向から撮影した画像である
ことを特徴とする請求項１乃至請求項４の何れかに記載の自動販売機の販売商品認識装置。
【請求項６】
注目する自動販売機が販売する商品が、顧客が判別可能に配列された商品陳列領域と、該自動販売機の前面に設けられた部品を含む周辺領域とが含まれる複数の入力画像を処理対象として、それら入力画像の位置合わせを行い、
前記位置合わせされた前記複数の入力画像に基づいて合成画像を生成し、
前記商品陳列領域に陳列される可能性のある商品を表す画像が、前記合成画像に含まれるか否かを照合することにより、前記注目する自動販売機が販売する商品を特定する
ことを特徴とする自動販売機の販売商品認識方法。
【請求項７】
前記複数の入力画像の位置合わせを行うに際して、
前記複数の入力画像を処理対象として、複数形式の自動販売機を対象として、それら自動販売機の前面に形式を問わず設けられる共通部品を表す共通部品画像が格納されている共通部品画像記録部を参照することにより、前記注目する自動販売機における共通部品画像の位置を検出し、
前記複数の入力画像を処理対象として、個々の入力画像に含まれる特徴点を求めると共に、該入力画像間における類似する特徴点がなす組として求め、
前記特徴点の組に基づいて、前記複数の入力画像間の変形量を求め、求めた変形量に従って前記個々の入力画像を変形し、
前記合成画像を生成するに際して、
前記変形した入力画像を利用して、変形後の前記複数の入力画像のうち、何れかの入力画像を基準として残りの入力画像を重畳することにより、前記合成画像を生成する
ことを特徴とする請求項６記載の自動販売機の販売商品認識方法。
【請求項８】
前記共通部品画像の位置を検出するに際して、その共通部品画像として検出されるべき共通部品間の相対的な位置関係を表す情報を参照することにより、前記複数の入力画像のうち、その共通部品画像が含まれる特定の入力画像の妥当性を検証する
ことを特徴とする請求項７記載の自動販売機の販売商品認識方法。
【請求項９】
注目する自動販売機が販売する商品が、顧客が判別可能に配列された商品陳列領域と、該自動販売機の前面に設けられた部品を含む周辺領域とが含まれる複数の入力画像を処理対象として、それら入力画像の位置合わせを行う画像位置合わせ処理と、
前記位置合わせされた前記複数の入力画像に基づいて合成画像を生成する画像合成処理と、
前記商品陳列領域に陳列される可能性のある商品を表す画像が、前記合成画像に含まれるか否かを照合することにより、前記注目する自動販売機が販売する商品を特定する画像照合処理とを、
コンピュータに実現させることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各種商品を撮影した画像を処理することにより、当該各種商品等の認識すると共に、配置を把握する技術分野に関する。
【背景技術】
【０００２】
自動販売機を利用して各種商品が販売されている。自動販売機の中でも、例えば各種飲料製品の自動販売機は、周辺に配置された他の自動販売機との販売競争が激しく、個々の飲料の販売金額や自動販売機の陳列（配置）状態により、売り上げが大きく変化することが知られている。
【０００３】
このため、係る飲料製品の自動販売機を利用するビジネスでは、周辺の他の自動販売機による販売状況を把握するため、当該他の自動販売機における取り扱い飲料の調査と、取り扱われている各種飲料の陳列状態を調査する活動が行われる場合がある。
【０００４】
前述した調査は、一般に目視により行われる。各種飲料製品の自動販売機は、市場（フィールド）に多数配置されているため、前述した調査を専任の調査員によって行うには膨大な工数が必要である。このため、係る調査を、担当する地域を循環しながら複数の自動販売機に飲料等を補充する担当者に行ってもらう方法も考えられるが、本来の業務の妨げとなるため現実的でない。
【０００５】
このような市場環境の背景から、例えば、調査対象となる自動販売機をカメラによって撮影し、撮影した画像を分析する方法が考えられる。このような方法であれば、調査を行う者の業務負担を大きく軽減することができ、前述の補充作業担当者に撮影作業を指示して対応させることが可能となる。
【０００６】
しかしながら、通常の自動販売機は、取り扱う商品見本が自動販売機の前面に設けられたガラス越しに配列（陳列）されている。このため、時々刻々と撮影環境が変化するフィールドにおいては、太陽光や照明光などに起因してガラス面への反射が生じるので、個々の自動販売機が取り扱う商品を正確且つ短時間で撮影することは困難である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２−０７３７３８
【特許文献２】特開２００５−２８４５６６
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１は、手作業で行う商品入替時の自動販売機の設定の設定漏れのリスクを低減するシステムを開示する。即ち、このシステムは、サーバに記憶されているマスタテーブルと、自動販売機で記憶されている設置データとを取得し、自動販売機のフェイス画像を撮影し、撮影したフェイス画像より画像解析データを生成し、自動販売機の設置データが自動販売機のフェイスの表示通りに設定されているか否かを比較判定し、自動販売機のフェイス表示通りに設定されていないと判定された場合に、自動販売機の設定をすべく通信を行う。
【０００９】
特許文献２では、カメラによって商品見本を撮影し、撮影した商品見本からパッケージデザインを識別すると共に、各種商品のパッケージと価格・銘柄が格納されたデータベースを参照することにより、撮影した当該商品見本の価格と銘柄を把握し、かつ当該商品に対応する自動販売機における選択ボタンとが更に紐付けされるよう、当該データベースを更新する技術が開示されている。
【００１０】
上述した特許文献では、自動販売機における各種商品の設定データにつき画像認識を用いることで効率的に取り扱う発明が開示されている。しかしながら、これらの特許文献に記載された技術によっては、周辺に配置された他の（例えば、他社の）自動販売機の販売動向の調査を、迅速且つ容易に行うことはできない。
【００１１】
本発明は、自動販売機が取り扱う商品を迅速且つ容易に把握することが可能な、自動販売機の販売商品認識装置の提供を目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成すべく、本発明に係る自動販売機の販売商品認識装置は、
注目する自動販売機が販売する商品が、顧客が判別可能に配列された商品陳列領域と、該自動販売機の前面に設けられた部品を含む周辺領域とが含まれる複数の入力画像を処理対象として、それら入力画像の位置合わせを行う画像位置合わせ部と、
前記位置合わせされた前記複数の入力画像に基づいて、合成画像を生成する画像合成部と、
前記商品陳列領域に陳列される可能性のある商品を表す画像が、前記合成画像に含まれるか否かを照合することにより、前記注目する自動販売機が販売する商品を特定する画像照合部とを備えることを特徴とする。
【００１３】
また、同目的を達成する他の見地として、本発明に係る自動販売機の販売商品認識方法は、
注目する自動販売機が販売する商品が、顧客が判別可能に配列された商品陳列領域と、該自動販売機の前面に設けられた部品を含む周辺領域とが含まれる複数の入力画像を処理対象として、それら入力画像の位置合わせを行い、
位置合わせされた前記複数の入力画像に基づいて合成画像を生成し、
前記商品陳列領域に陳列される可能性のある商品を表す画像が、前記合成画像に含まれるか否かを照合することにより、前記の注目する自動販売機が販売する商品を特定することを特徴とする。
【００１４】
尚、同目的は、上述した自動販売機の販売商品認識装置または販売商品認識方法に係る構成に対応するコンピュータ・プログラム、並びに、そのコンピュータ・プログラムを格納した、コンピュータ読み取り可能な記憶媒体によっても達成可能である。
【発明の効果】
【００１５】
本発明によれば、自動販売機が取り扱う商品を迅速且つ容易に把握することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態に係る自動販売機の販売商品認識装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像合成処理を示すフローチャートである。
【図３】第１の実施形態における画像位置合わせ処理の詳細を示すフローチャートである。
【図４】自動販売機に設置される一般的な部品例を模式的に表現した図である。
【図５】本発明の第２の実施形態に係る自動販売機の販売商品認識装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明を、図面を参照して詳細に説明する。
【００１８】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る自動販売機の販売商品認識装置の構成を示すブロック図である。図１に示す自動販売機の販売商品認識装置１０１（以下、「販売商品認識装置１０１」と略称する）は、大別して、画像入力部１、画像位置合わせ部２、画像合成部３、登録画像記録部４、及び、登録画像照合部５を有する。
【００１９】
より具体的に、画像入力部１は、認識対象である自動販売機（以下、「注目する自動販売機」とも称する場合がある）を撮影した複数の画像を入力する撮像装置である。この画像入力部１には、現在では一般的な撮像装置を採用することができる。係る撮像装置は、販売商品認識装置１０１自体が備えていてもよいし、あるいは外部装置であるデジタルカメラ、撮影機能を有する各種携帯端末などが想定される。これらの各種撮像装置自体には、一般的な技術を採用することができるので、本実施形態における詳細な説明は省略する。
【００２０】
画像位置合わせ部２は、画像入力部１に入力画像（即ち、認識対象である自動販売機を表す画像、以下、「入力画像」と称する）、自動販売機の位置を合わせるよう変換を行う機能を備える（詳細は後述する）。
【００２１】
画像合成部３は、画像位置合わせ部２において変換された複数の画像を合成することにより、当該自動販売機の合成画像を作成する。
【００２２】
登録画像記録部４は、認識対象である自動販売機において販売可能な各種商品（例えば、缶やペットボトル等に入れられた飲料）の画像（以下、「商品画像」とも称する）を予め登録可能である。
【００２３】
登録画像照合部５は、画像合成部３により合成された合成画像に対して、登録画像記録部４に登録されている各種の商品画像を照合することにより、当該合成画像の中に同一の商品画像（対応する商品画像）が含まれるか否かを照合する。なお、登録画像照合部５は、照合した認識結果を、例えば、販売商品認識装置１０１が備えるディスプレイや、通信インタフェースなどを介して外部装置に出力することができる。
【００２４】
即ち、本実施形態に係る販売商品認識装置１０１は、上述した各部に対応するコンピュータ・プログラム（ソフトウェア・プログラム）を、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：不図示）において実行することによって実現してもよい。この場合、販売商品認識装置１０１は、コンピュータ（情報処理装置）とみなすことができる。なお実施形態はこれに限るものではなく、販売商品認識装置１０１は、専用の装置であってもよい。
【００２５】
次に、画像位置合わせ部２の詳細について説明する。画像位置合わせ部２は、共通部品選出部２１、特徴点検出部２２、共通部品画像記録部２３、画像変形量算出部２４、及び、画像変形部２５を有する。
【００２６】
画像位置合わせ部２は、画像入力部１より入力された複数の入力画像を対象として、共通部品画像記録部２３に記録された共通部品画像と照合することにより、撮影された入力画像に含まれる自動販売機の部品を検出する。ここで、共通部品画像とは、自動販売機の前面に設置された各種部品（返却レバー、硬貨投入口等）を表す画像である（詳細は図３及び図４を参照して後述する）。
【００２７】
画像位置合わせ部２は、検出した部品群について、所定の条件（規則）を満たすか否かを判別することによって誤検出を防止することができる。係る所定の条件については後述する。
【００２８】
画像位置合わせ部２において、共通部品検出部２１は、画像入力部１より入力された複数の入力画像を対象として、それら入力画像に含まれる共通部品画像を検出する。ここで、共通部品画像は、認識対象である自動販売機に設置される共通部品を表す画像である。
【００２９】
次に、特徴点検出部２２は、画像入力部１より入力された複数の入力画像から、それら入力画像間の対応関係を検出するための手がかりとなる特徴点を検出する。デジタル画像から特徴点を検出する方法については、現在では一般的な手順を採用することができるので、本実施形態における詳細な説明は省略する。
【００３０】
共通部品画像記録部２３は、例えば不揮発性の記憶デバイスであって、共通部品検出部２１によって検出された共通部品画像を記録可能である。
【００３１】
画像変形量算出部２４は、共通部品検出部２１により得られた共通部品位置と、特徴点検出部２２により得られた特徴点を用いて、画像入力部１より入力された複数の入力画像間の変化量を求める。
【００３２】
画像変形部２５は、画像変形量算出部２４により求められた変形量に従って、画像入力部１より入力された複数の入力画像を変形する。
【００３３】
このような装置構成を有する販売商品認識装置１０１は、以下のように動作する。
【００３４】
即ち、まず、注目する自動販売機を撮影した複数の入力画像が画像入力部１に入力される。これら入力画像の入力は、ユーザが行っても、外部装置を介して行われてもよい。画像入力部１は、これら入力画像を、画像位置合わせ部２に入力する。
【００３５】
画像位置合わせ部２は、画像入力部１から取得した当該複数の入力画像間の対応関係を求めることにより、当該注目する自動販売機の画像について位置を合わせる処理を行う。さらに、画像位置合わせ部２における共通部品検出部２１は、画像入力部１より入力された複数の画像と、共通部品画像記録部２３に予め記録されている共通部品画像とを照合することによって、注目する自動販売機に設けられている部品（部品画像）を検出する。これにより、画像位置合わせ部２は、当該部品の位置を特定する。画像位置合わせ部２は、検出された部品が正しく検出されているかを確認するために、所定の規則に従って判定することにより、誤検出された部品を取り除いて正確な検出情報に絞り込む。
【００３６】
ここで、販売商品認識装置１０１の画像位置合わせ部２、画像合成部３、及び、登録画像照合部５による一連の動作に対応する画像合成処理について説明する。図２は、本発明の第１の実施形態に係る画像合成処理を示すフローチャートである。
【００３７】
ステップＡ１：
認識対象とする自動販売機を同一の撮像機器で撮影した複数の画像（入力画像）は、画像入力部１に入力される。ここで、係る複数の入力画像は、認識対象である自動販売機の前面が撮影された画像であって、当該自動販売機の取り扱う商品が当該商品のサンプルが配列（陳列）された領域前面のガラス（以下、「商品陳列領域Ｒ」とも称する）を通して認識可能な十分高い解像度で、且つ、周辺の光源（太陽光、室内灯等）による映り込みの位置が、当該複数の入力画像間で異なるように、複数の異なる方向から撮影された画像であるとする。画像位置合わせ部２は、係る入力画像間の対応関係を求め、変換を行う画像位置合わせ処理を行う。この画像位置合わせ処理（ステップＡ１）の詳細について、図３を参照して以下に説明する。
【００３８】
図３は、第１の実施形態における画像位置合わせ処理の詳細を示すフローチャートである。
【００３９】
画像位置合わせ部２に与えられた複数の入力画像を処理対象として、共通部品検出部２１は、共通部品検出処理（ステップＢ１０１）と検出部品確証処理（ステップＢ１０２）とを実行する。特徴点検出部２２は、特徴点検出処理（ステップＢ２）を実行する。
【００４０】
即ち、共通部品検出部２１は、共通部品検出処理（ステップＢ１０１）において、複数の入力画像を用いた当該画像の位置合わせを行う準備として、その位置合わせの手がかりとなる、当該認識対象である自動販売機の表面に設置されている共通部品の検出を行う。
【００４１】
図４は、自動販売機の一般的な操作部分を模式的に表現した図である。自動販売機の表面に設置される共通部品とは、例えば、図４に例示するように、金額表示部５１、返却レバー５２、硬貨投入口５３、紙幣投入口５４、更に、不図示の硬貨返却口、商品取り出し口、各種表示シール、ロックバー・鍵穴部、商品ボタン、電子マネー読み取り部等を表す。そして、共通部品画像とは、これらの共通部品について予め登録された画像である。
【００４２】
本実施形態において、共通部品画像記録部２３には、複数形式（型式）の自動販売機を対象として、前述した各種共通部品の画像（共通部品画像）が予め撮影されて登録されていることとする。
【００４３】
共通部品検出部２１は、当該複数の入力画像に対して、共通部品画像記録部２３に登録された部品画像（共通部品画像）が含まれるかどうかを検索する。そして、共通部品検出部２１は、登録されている部品画像に合致する箇所が係る入力画像の中から発見できた場合には、その部品画像の種別および画像の位置（例えば、２次元座標で表される特定座標値）を求める。尚、この画像間探索処理には、例えば、現在では一般的なテンプレートマッチング等の処理を採用することができるので、本実施形態における詳細な説明は省略する。
【００４４】
更に、検出部品確証処理（ステップＢ１０２）では、上述した共通部品検出処理（Ｂ１０１）により検出された部品（検出部品）を対象として、その検出部品の検出結果の確からしさを、所定の規則に照らして判定される。例えば、通常の飲料自動販売機において、例えば、コイン投入口などは１つずつ設けられる。従って、ある入力画像中に特定の共通部品画像が複数個検出された場合には、何れか１つを除いて誤検出であるとみなすことができる。また、ある入力画像中に検出された複数の部品画像間において、大きく向きやスケール等が異なることはない。更に、自動販売機を撮影した画像には、一般に、特定の部品間において相対的な位置関係が定まる（例えば、コイン投入口より上にコイン返却口が設けられることはない）。
【００４５】
こうした自動販売機についての知見を踏まえ、検出部品確証処理（ステップＢ１０２）では、単一の入力画像内、または対応する複数の入力画像間で検出された部品群について、上述したような所定の規則に基づく判断によって、係る規定（ルール）から外れる画像は除外することにより、上記の如く検出した部品の検出結果の絞り込み（即ち、検証）が行われる。
【００４６】
より具体的に、例えば、検出部品確証処理によって、ある入力画像内で検出された部品について、同一種別の部品が複数含まれるかどうかを調べる。その結果、複数含まれることが判った場合には、検出された当該複数の同一種別の部品がなす組を構成する当該各部品の向きやスケールを、その他の部品の向きやスケールの分布と比較し、双方が最も近い組を１つ残して他を削除する。
【００４７】
また、検出部品確証処理においては、ある入力画像内で検出された部品の向き及びスケールの分布を調べ、その分布から大きく外れた部品については誤検出とみなして削除する。
【００４８】
更に、検出部品確証処理においては、ある入力画像内で、複数種類の部品間において予め相対的な位置関係が定められている部品が検出されている場合には、当該複数種類の部品間の相対的な位置関係を調べ、係る位置関係を満たさない場合には信頼度が低い検出結果として削除する。
【００４９】
従って、本実施形態に係る検出部品確証処理によれば、このような規定（ルール）に基づく処理を、共通部品検出処理（ステップＢ１０１）による検出結果（検出部品）に対して順次適用することにより、自動販売機を表す入力画像からの部品の検出では通常あり得ないと思われる配置をなす画像を除くことで、より安定した部品検出結果を得ることができる。
【００５０】
検出部品確証処理は、上述した一連の処理において、複数の入力画像間で同一の部品が発見されたならば、それぞれの入力画像における特定の種類の部品に関する検出位置の組を、当該入力画像間の対応関係の手がかり（対応情報）として出力する。
【００５１】
一方、特徴点検出部２２は、上述した共通部品検出部２１による一連の処理と並行して、画像入力部１から取得した当該複数の入力画像に対して、特徴点検出処理(ステップＢ２)を実行する。
【００５２】
即ち、特徴点検出部２２は、当該それぞれの入力画像に対して特徴点算出処理を施すことによって特徴点を抽出する。更に、特徴点検出部２２は、得られた特徴点の特徴量を、当該入力画像間において比較することによって、類似する特徴点の組（グループ）を探索する。そして特徴点検出部２２は、当該複数の入力画像に亘って検出した特徴点の組を、当該複数の入力画像間の対応関係を表す手がかり（対応情報）として出力する。
【００５３】
この特徴量および検出手法については、例えばＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）等の一般的な手法を採用できるので、本実施形態における詳細な説明は省略する。
【００５４】
画像変形量算出部２４は、上述した共通部品検出処理（ステップＢ１０１，Ｂ１０２）と、特徴点検出処理（ステップＢ２）とにより得られた当該複数の入力画像間の対応情報に基づいて、画像変形量算出処理(ステップＢ３)として、当該各画像に含まれる自動販売機を表す画像部分を重畳できるように、画像を変換するためのパラメータを算出する。
【００５５】
即ち、画像変形量算出部２４は、注目する２枚の入力画像に写っている同一の平面上に存在する対応点の座標の組を４組以上用いることにより、当該画像間において当該平面が一致するようにする射影変換である行列平面射影変換行列（Ｈｏｍｏｇｒａｐｈｙ行列）を求める。このＨｏｍｏｇｒａｐｈｙ行列は、平面上に存在する点から他の平面上に存在する点への変換を表す３×３個の要素を含む行列である。このような行列を用いることにより、画像変形量算出部２４は、平面上の領域が一致するように画像を変換することができる。
【００５６】
画像変形量算出部２４は、当該複数の入力画像中の１枚を基準画像とし、他の全ての入力画像との対応点の組を解析することによって、係るＨｍｏｇｒａｐｈｙ行列を求める。これにより、画像変形量算出部２４は、注目する自動販売機の表面を、当該基準画像に対して重ねることのできる変換パラメータを得る。
【００５７】
そして、画像変形部２５は、画像変形量算出処理（Ｂ３）により得られた変換パラメータによって構成されるところの、当該各入力画像に関するＨ行列（Ｈ−ｍａｔｒｉｘ）を用いて、画像変形処理(ステップＢ４)として、当該複数の入力画像を、当該注目する自動販売機の商品陳列領域Ｒが重畳するよう射影変換する。画像変形部２５は、射影変換された複数の入力画像を、画像位置合わせ部２の出力として、登録画像照合部３に与える。
【００５８】
ここで、図２に示すフローチャートを参照した説明に戻る。
【００５９】
ステップＡ２：
画像位置合わせ部２により修正された複数の入力画像は、画像合成部３に送られ、注目する自動販売機の表面が一致するよう重ね合わせた（重畳した）後、ハイライトの影響がない画像領域を選択して合成する画像位置合わせ処理を行う。
【００６０】
画像合成部３は、例えば、変換して重畳した複数の入力画像中の、当該注目する自動販売機の表面における商品陳列領域Ｒにおいて、係る複数の入力画像間で同一の箇所に存在する、所定の大きさの小領域を構成する複数画素の色分布を比較する。そして、画像合成部３は、係る色分布が単一の白色に近い小領域（即ち、所定の閾値を超える明度の画素が領域内の所定の割合を超えて分布する小領域）については、これを反射領域として除外する。ここで、反射領域とは、入力画像のうち、周辺の光源による作用によって好ましい状態で撮影されていない領域（例えば、白色領域）である。
【００６１】
尚、反射領域の判定方法、並びに複数枚の画像領域の合成方法については、現在では一般的な手法を採用することができるので、本実施形態における詳細な説明は省略する。
【００６２】
画像合成部３は、上述した如く反射領域として除外した箇所として、当該複数の入力画像のうち、残った他の入力画像の同一領域を、当該領域における画像合成に使用することによって、商品の認識に用いる合成画像の一部とする。
【００６３】
上述した処理を、当該入力画像の全領域について行うことにより、商品陳列領域Ｒの内部に陳列される各種商品の認識が容易な合成画像を生成することができる。
【００６４】
ステップＡ３：
登録画像照合部５は、画像合成部３によって作成された合成画像に対して、登録画像記録部４に予め登録されている商品画像と照合することにより、認識対象である自動販売機が扱っている各種商品の種類や個数、配置を認識する登録画像照合処理を行う。
【００６５】
以上説明した本実施形態によれば、自動販売機が取り扱う商品を迅速且つ容易に把握することができる。その理由は、画像位置合わせ部２が実行する共通部品検出処理（ステップＢ１０１）と、検出部品確証処理（ステップＢ１０２）とにより、当該複数の入力画像のうち、外乱が含まれる可能性が高い入力画像は排除して、信頼性の高い合成画像の位置合わせを行うことができ、係る信頼性の高い合成画像を用いて、登録画像との照合ができるからである。
【００６６】
＜第２の実施形態＞
図５は、本発明の第２の実施形態に係る自動販売機の販売商品認識装置の構成を示すブロック図である。
【００６７】
本実施形態に係る自動販売機の販売商品認識装置２０１は、画像位置合わせ部１１と、画像合成部１２と、画像照合部１３とを有する。
【００６８】
即ち、画像位置合わせ部１１は、注目する自動販売機が販売する商品が、顧客が判別可能に配列された商品陳列領域Ｒと、当該自動販売機の前面に設けられた部品を含む周辺領域とが含まれる複数の入力画像を処理対象として、それら入力画像の位置合わせを行う。
【００６９】
次に、画像合成部１２は、画像位置合わせ部１１によって位置合わせされた複数の入力画像に基づいて合成画像を生成する。
【００７０】
そして、画像照合部１３は、商品陳列領域Ｒに陳列される可能性のある商品を表す画像が、画像合成部１２が生成した合成画像に含まれるか否かを照合することにより、注目する自動販売機が販売する商品を特定する。
【００７１】
以上説明した本実施形態によれば、自動販売機が取り扱う商品を迅速且つ容易に把握することができる。その理由は、本実施形態において、販売商品認識装置２０１は、商品陳列領域Ｒと、当該自動販売機の前面に設けられた部品を含む周辺領域とが含まれる複数の入力画像を処理対象として、それら入力画像の位置合わせを行い、位置合わせされた複数の入力画像に基づいて合成画像を生成し、生成した合成画像を用いて画像照合部１３が商品を特定できるからである。
【産業上の利用可能性】
【００７２】
本発明は、飲料等を販売する各種の自動販売機の他、例えば、コンビニエンスストアやスーパーマーケット等における販売商品の認識やマーケティング分野にも適用可能である。
【符号の説明】
【００７３】
１    画像入力部
２    画像位置合わせ部
３    画像合成部
４    登録画像記録部
５    登録画像照合部
２１    共通部品選出部
２２    特徴点検出部
２３    共通部品画像記録部
２４    画像変形量算出部
２５    画像変形部
５１    金額表示部
５２    返却レバー
５３    硬貨投入口
５４    紙幣投入口
１０１    販売商品認識装置
【図１】
2014191423.tif 000003
【図２】
2014191423.tif 000004
【図３】
2014191423.tif 000005
【図４】
2014191423.tif 000006
【図５】
2014191423.tif 000007