(57)【要約】【課題】セルフレジ等において操作者が使いやすい商品配置装置、商品配置方法、商品配置システム及び商品配置プログラムを提供する。【解決手段】商品配置装置は、商品を配置するための配置領域が区分された複数のエリアに対して、各々のエリアを特定するための特定情報を対応付けて設定する設定部１４Ａと、設定部１４Ａにて設定された特定情報を報知する報知部１３Ａと、を備えている。【選択図】図２
2020035196.tif 000002
【特許請求の範囲】
【請求項１】
商品を配置するための配置領域が区分された複数のエリアに対して、各々のエリアを特定するための特定情報を対応付けて設定する設定部と、
前記設定部にて設定された前記特定情報を報知する報知部と、
を備えることを特徴とする商品配置装置。
【請求項２】
前記配置領域は商品を配置するための載置面である
ことを特徴とする請求項１に記載の商品配置装置。
【請求項３】
前記複数のエリアの区分に関する方式の指定を受け付ける受付部をさらに備え、
前記設定部は、前記受付部が受け付けた前記指定に従い、前記複数のエリア各々を特定するための前記特定情報を設定する
ことを特徴とする請求項１又は２に記載の商品配置装置。
【請求項４】
前記複数のエリアに配置された商品をエリアごとに認識する認識部をさらに備え、
前記報知部は、前記認識部が認識した結果を前記特定情報に対応付けて報知する
ことを特徴とする請求項１〜３の何れか一項に記載の商品配置装置。
【請求項５】
前記報知部は、前記認識部が認識した結果に応じ、異なった態様にて報知する
ことを特徴とする請求項４に記載の商品配置装置。
【請求項６】
前記配置領域に配置された商品の配置場所を検出する検出部をさらに備え、
前記設定部は、前記検出部が検出した商品の配置場所に応じて、前記複数のエリア各々を特定するための前記特定情報を設定する
ことを特徴とする請求項１〜５の何れか一項に記載の商品配置装置。
【請求項７】
前記報知部は、前記配置領域に対して、前記特定情報を対応付けて報知する
ことを特徴とする請求項１〜６の何れか一項に記載の商品配置装置。
【請求項８】
前記配置領域の画像を取得する取得部と、
前記取得部が取得した画像を表示する表示部と、をさらに備え、
前記報知部は、前記表示部を介し、前記配置領域の画像に対応付けて前記特定情報を表示する
ことを特徴とする請求項１〜７の何れか一項に記載の商品配置装置。
【請求項９】
商品を配置するための配置領域が区分された複数のエリアに対して、各々のエリアを特定するための特定情報を対応付けて設定する設定ステップと、
前記設定ステップにて設定された前記特定情報を報知する報知ステップと、
を備えることを特徴とする商品配置方法。
【請求項１０】
商品を配置するための配置領域が区分された複数のエリアに対して、各々のエリアを特定するための特定情報を対応付けて設定する設定部と、
前記設定部にて設定された前記特定情報を報知する報知部と、
を備えることを特徴とする商品配置システム。
【請求項１１】
商品を配置するための配置領域が区分された複数のエリアに対して、各々のエリアを特定するための特定情報を対応付けて設定する設定処理と、
前記設定処理にて設定された前記特定情報を報知する報知処理と、
をコンピュータに実行させるための商品配置プログラム。
【請求項１２】
商品を配置するための配置領域を含んだ画像を取得する取得部と、
前記画像に含まれる前記配置領域を複数の分割領域に分割する分割部と、
前記分割領域の類似度情報に基づき、前記分割領域に含まれる商品を検出する検出部と
を備えることを特徴とする商品配置装置。
【請求項１３】
前記配置領域は、所定のパターンが付与されている
ことを特徴とする請求項１２に記載の商品配置装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、店舗に設けられるレジ等で商品を配置するための商品配置装置、商品配置方法、商品配置システム及び商品配置プログラムに関する。
【背景技術】
【０００２】
従来、紙箱に入った複数の商品や買い物かご等から取り出された商品をカメラで撮影可能な店舗システムが知られている（例えば、特許文献１〜２参照）。
【０００３】
特許文献１に記載の店舗システムは、店員が複数の仕切りが設けられた紙箱に購入者が注文したドーナツを収容し、この紙箱に収容された複数のドーナツをカメラで撮影した画像に基づいてドーナツの種類を認識する。そして、この認識されたドーナツの商品名や単価などの商品情報等とドーナツが収容された紙箱の画像とを同時に購入者に表示するものである。
【０００４】
特許文献２に記載の店舗システムは、所謂セルフレジであり、購入者がタッチパネルを操作してバーコードの有無を入力し、バーコード付き商品の場合は、購入者がバーコードスキャナでバーコードを読み取らせる。一方、バーコード無し商品の場合は、購入者がタッチパネルに商品名を入力すると共に、カメラで撮影した商品画像を店員が所持するタッチパネルに表示して購入者が入力した商品名と商品画像との正否を確認可能に構成している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−０４３３７１号公報
【特許文献２】特開２０１０−０５５４６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の店舗システムは、店員により紙箱に商品を収容しており、購入者はどの商品が紙箱のどの位置に収容されているかを把握できない。そこで、購入者は複数の商品を表示画面の画像にて確認しなければならないため、確認作業に時間を要する。
【０００７】
特許文献２に記載の店舗システムでは、購入者が自ら商品を確認しながら精算するため、購入商品の確認作業が容易である。しかしながら、基本的にバーコード読み取り処理が必要となるため、バーコードの位置が分かりづらい場合等においてバーコードスキャナにバーコードをかざす作業が高齢者等にとって煩雑である。また、バーコード無し商品の場合、購入者がタッチパネルに商品名を入力する必要があるため手間を要し、カメラで撮影した商品画像を店員が所持するタッチパネルに表示させて購入者が入力した商品名と商品画像との正否を確認する作業も非常に煩雑である。
【０００８】
そこで、セルフレジ等において操作者が使いやすい商品配置装置、商品配置方法、商品配置システム及び商品配置プログラムが望まれている。
【課題を解決するための手段】
【０００９】
本発明に係る商品配置装置の特徴構成は、商品を配置するための配置領域が区分された複数のエリアに対して、各々のエリアを特定するための特定情報を対応付けて設定する設定部と、前記設定部にて設定された前記特定情報を報知する報知部と、を備える点にある。
【００１０】
また、本発明に係る商品配置方法の特徴は、商品を配置するための配置領域が区分された複数のエリアに対して、各々のエリアを特定するための特定情報を対応付けて設定する設定ステップと、前記設定ステップにて設定された前記特定情報を報知する報知ステップと、を備える点にある。
【００１１】
また、本発明に係る商品配置システムの特徴構成は、商品を配置するための配置領域が区分された複数のエリアに対して、各々のエリアを特定するための特定情報を対応付けて設定する設定部と、前記設定部にて設定された前記特定情報を報知する報知部と、を備える点にある。
【００１２】
また、本発明に係るコンピュータに実行させるための商品配置プログラムの特徴構成は、商品を配置するための配置領域が区分された複数のエリアに対して、各々のエリアを特定するための特定情報を対応付けて設定する設定処理と、前記設定処理にて設定された前記特定情報を報知する報知処理と、を備える点にある。
【００１３】
上記構成又は方法によると、商品を配置するための配置領域が区分された複数のエリアに対して、各エリアを特定するための特定情報を対応付けて設定している。このため、各エリアに商品を配置した場合において、商品が配置された各エリアを特定情報により明確に区別できる。
【００１４】
また、上記構成又は方法では、各エリアを特定するための特定情報を報知するため、配置領域が区分された各エリアの確認作業が容易であり、操作者が商品を配置したエリアが何れのエリアであるかも容易に把握することができる。特にセルフレジに商品配置装置を設けた場合においては、配置領域をカメラで撮像すれば商品を１つずつバーコードにかざす必要がないため、購入者にとって利便性が高い。このように、セルフレジ等において操作者が使いやすい商品配置装置、商品配置方法、商品配置システム及び商品配置プログラムを提供できた。
【００１５】
他の特徴構成は、前記配置領域は商品を配置するための載置面である点にある。
【００１６】
本構成のように載置面を配置領域とすれば、操作者は面状で構成される配置領域を視認し易い。このため、載置面上に区分された各エリアの特定情報に基づいて載置面上に商品を容易に配置することができ、操作者にとって使いやすい。
【００１７】
他の特徴構成は、前記複数のエリアの区分に関する方式の指定を受け付ける受付部をさらに備え、前記設定部は、前記受付部が受け付けた前記指定に従い、前記複数のエリア各々を特定するための前記特定情報を設定する点にある。
【００１８】
本構成のように、受付部が受け付けた複数のエリア区分に関する方式の指定に従い、設定部が複数のエリア各々を特定するための特定情報を設定すれば、装置の利用形態に応じて適宜エリア設定ができるため利便性が高い。
【００１９】
他の特徴構成は、前記複数のエリアに配置された商品をエリアごとに認識する認識部をさらに備え、前記報知部は、前記認識部が認識した結果を前記特定情報に対応付けて報知する点にある。
【００２０】
本構成のように認識部が商品をエリアごとに認識した認識結果を特定情報に対応付けて報知すれば、操作者は、配置領域の各エリアに配置された商品の認識結果を容易に把握することができる。
【００２１】
他の特徴構成は、前記報知部は、前記認識部が認識した結果に応じ、異なった態様にて報知する点にある。
【００２２】
本構成では、認識部が認識した結果に応じて異なった態様で報知するため、認識部により商品が認識できた場合と認識部により商品が認識できなかった場合とを明確に区分して操作者に報知することができる。
【００２３】
他の特徴構成は、前記配置領域に配置された商品の配置場所を検出する検出部をさらに備え、前記設定部は、前記検出部が検出した商品の配置場所に応じて、前記複数のエリア各々を特定するための前記特定情報を設定する点にある。
【００２４】
本構成の設定部は、検出部が検出した商品の配置場所に応じて、複数のエリア各々を特定するための特定情報を設定するので、配置領域の如何なる場所に商品が配置された場合でも商品の適正な配置場所が報知される。このため、操作者は、商品のサイズや形状に関らず無作為に商品を配置領域に配置することが可能となるため、利便性が高い。
【００２５】
他の特徴構成は、前記報知部は、前記配置領域に対して、前記特定情報を対応付けて報知する点にある。
【００２６】
本構成のように、各エリアを特定する特定情報を配置領域自体に対応付けて報知すれば、配置領域の各エリアの特定情報を確認しながら商品を配置することが可能となり、操作者にとって使いやすい。
【００２７】
他の特徴構成は、前記配置領域の画像を取得する取得部と、前記取得部が取得した画像を表示する表示部と、をさらに備え、前記報知部は、前記表示部を介し、前記配置領域の画像に対応付けて前記特定情報を表示する点にある。
【００２８】
本構成のように、表示部を介して配置領域の画像に対応付けて特定情報を表示すれば、配置領域における各エリアの特定情報を容易に確認することができる。
【００２９】
本発明に係る商品配置装置の特徴構成は、商品を配置するための配置領域を含んだ画像を取得する取得部と、前記画像に含まれる前記配置領域を複数の分割領域に分割する分割部と、前記分割領域の類似度情報に基づき、前記分割領域に含まれる商品を検出する検出部と
を備える点にある。
【００３０】
本構成によれば、検出部にて商品を検出する際に類似度（例えば、正規化相関係数）情報を用いているため、照明変動に対しても安定した商品検出が可能である。その結果、商品検出の精度が高く、操作者にとって使いやすい商品配置装置となる。
【００３１】
他の特徴構成は、前記配置領域は、所定のパターンが付与されている点にある。
【００３２】
本構成のように、所定のパターンとして商品に使用されにくいパターン（模様、色等）を配置領域に使用すれば、商品の検出精度が高まる。
【図面の簡単な説明】
【００３３】
【図１】商品管理システムの全体概略図である。
【図２】商品管理システムのブロック図である。
【図３】配置領域の一例を示す図である。
【図４】配置領域の一例を示す図である。
【図５】配置領域の一例を示す図である。
【図６】タッチパネルの表示例を示す図である。
【図７】タッチパネルの表示例を示す図である。
【図８】エリア指定処理のフロー図である。
【図９】エリア変更処理のフロー図である。
【図１０】購入処理のフロー図である。
【図１１】別実施形態に係る商品管理システムのブロック図である。
【図１２】別実施形態に係る商品管理装置のブロック図である。
【図１３】別実施形態に係る商品の検出方法を示す概念図である。
【発明を実施するための形態】
【００３４】
以下に、本発明に係る商品配置装置、商品配置方法、商品配置システム及び商品配置プログラムの実施形態について、図面に基づいて説明する。本実施形態では、商品配置装置、商品配置方法、商品配置システム及び商品配置プログラムとして、病院、介護施設又はオフィスビル等に設置される小規模のコンビニエンスストアにおいて、店員の介入無しに購入者（操作者）が自ら会計を行うセルフレジシステムＸ（商品配置システムの一例）に用いられる一例を説明する。ただし、以下の実施形態に限定されることなく、その要旨を逸脱しない範囲内で種々の変形が可能である。
【００３５】
図１に示すように、セルフレジシステムＸは、購入者用端末１４を有する複数（本実施形態では２つ）のセルフ購入装置１（商品配置装置の一例）と、上位サーバー２と、を備えている。購入者用端末１４と上位サーバー端末２とは、有線又は無線でネットワーク接続されており、セルフ購入装置１での売上情報が上位サーバー２に送信されるように構成されている。
【００３６】
セルフ購入装置１は、基台１０と、可視光カメラで構成される撮像部１１（取得部の一例）と、距離センサ１２と、埋込トレイ１３と、購入者用端末１４と、を備えている。購入者用端末１４と撮像部１１，距離センサ１２及び埋込トレイ１３とは、有線又は無線でネットワーク接続されている。
【００３７】
基台１０は、撮像部１１，距離センサ１２，埋込トレイ１３及び購入者用端末１４を支持する筺体であり、埋込トレイ１３の横には、買い物かご（不図示）を載置可能なスペース１０Ａが設けられている。また、基台１０には、つり銭となる貨幣を貯留する貨幣貯留部（不図示）も内蔵されている。
【００３８】
撮像部１１は、ＣＣＤやＣＭＯＳ等の撮像素子を内蔵した可視光カメラである。撮像部１１の撮像範囲は、埋込トレイ１３の表面全体を撮影可能な範囲に設定されている。撮像部１１は、埋込トレイ１３の表面に配置された商品を撮影し、その画像を後述する認識部１４Ｃに送信する。認識部１４Ｃでは、受信した画像に基づいて、公知の物体認証技術により商品を認識する。距離センサ１２は、ＬＥＤ等の光源から光を照射し、商品で反射された反射光を受光して距離に換算するセンサである。距離センサ１２は、埋込トレイ１３の表面に配置された商品の高さを計測すること可能であり、その計測値を後述する認識部１４Ｃに送信する。認識部１４Ｃでは、受信した計測値と、後述する記憶部１４Ｇに記憶された登録商品の高さとを比較して、商品が複数重なって配置されている状態を認識する。
【００３９】
埋込トレイ１３には、買い物かごに収容された商品を、購入者の手によって配置する（移し替える）ための配置領域が表面（載置面の一例）に形成されている。本実施形態における埋込トレイ１３は、基台１０に埋め込まれており、平面状の配置領域が購入者に視認できる状態となっている。埋込トレイ１３の態様については詳細に後述するが、埋込トレイ１３の表面は複数のエリアに区分されており、各々のエリアを特定するための特定情報（番号や枠）を購入者に視認させる報知部１３Ａを有している（図２参照）。本実施形態において、報知部１３Ａは、図３に示すように、埋込トレイ１３上に区分された各エリアを数字で表示したり、図４〜図５に示すようにＬＥＤにより枠を点灯表示したりする。報知部１３Ａにより購入者に報知された特定情報に基づいて、購入者が各々のエリアに１つずつ商品を配置する。
【００４０】
図１〜図２に示すように、購入者用端末１４は、設定部１４Ａと報知制御部１４Ｂと認識部１４Ｃとタッチパネル１４Ｄ（受付部の一例、表示部の一例、報知部の一例）と精算部１４Ｅと検出部１４Ｆと記憶部１４Ｇとスピーカ１４Ｈとバーコードリーダ１４Ｉとを有している。設定部１４Ａ，報知制御部１４Ｂ，認識部１４Ｃ及び検出部１４Ｆは、ＣＰＵにより実行される各種プログラムであるソフトウェアで構成されており、タッチパネル１４Ｄ，精算部１４Ｅ，スピーカ１４Ｈ及びバーコードリーダ１４Ｉは、ハードウェアとソフトウェアの両方で構成されており、記憶部１４ＧはＲＡＭやＨＤＤといったハードウェアで構成されている。
【００４１】
設定部１４Ａは、商品を配置するための配置領域が区分された複数のエリアに対して、各々のエリアを特定するための特定情報を対応付けて設定する。配置領域は、上述した埋込トレイ１３の表面であり、埋込トレイ１３に対して区分された複数のエリアに対して、特定情報としての番号や枠等を対応付けて設定する。図３〜図５には、設定部１４Ａによって設定された特定情報に関する表示方式の具体例が示されている。
【００４２】
図３には、「エリア表示方式」が示されている。埋込トレイ１３の両側方には、各々のエリアを区分する複数の線分が等間隔に引かれており、一対の線分の間には、各々のエリアの指標となる数字（本実施形態では１〜８）が中央側に順番に表示されている。また、埋込トレイ１３の両側方の間の中央部分は、商品が各々のエリアから中央部分にはみ出しても良いように空白となっている。この「エリア表示方式」は、予めテンプレートとして記憶部１４Ｇに記憶しておき、管理者（操作者）がタッチパネル１４Ｄで選択する形式（図７参照）が好ましい。また、「手動入力」として、管理者がタッチペンにより区画線をデジタル入力しても良いし、管理者がマジックやテープ等で埋込トレイ１３の表面（受付部の一例）に区画線をアナログ入力し、撮像部１１で撮像した画像に基づいて設定部１４Ａが各々のエリアを特定するための特定情報を設定しても良い。
【００４３】
図４には、「固定枠ＬＥＤ点灯方式」が示されている。埋込トレイ１３の両側方には、各々のエリアを区分する複数の固定枠が等間隔に設定されており、これら固定枠がＬＥＤにより点灯されている。この「固定枠ＬＥＤ点灯方式」は、予めテンプレートとして記憶部１４Ｇに記憶しておき、管理者がタッチパネル１４Ｄで選択する形式（図７参照）が好ましい。また、「手動入力」として、管理者がタッチペンにより固定枠をデジタル入力しても良い。
【００４４】
図５には、「可変エリア点灯方式」が示されている。埋込トレイ１３には、碁盤目状の仮想線（図示では破線）が引かれており、検出部１４Ｆにより検出された商品の配置場所に応じて、設定部１４Ａが各々のエリアを特定するための特定情報を設定する。設定部１４Ａは、特定情報の設定に際し、検出部１４Ｆにより検出された商品の輪郭よりも外側にある仮想線のうち最も近接する仮想線で囲まれた枠を特定する。そして、この枠の内側領域が、商品が配置された配置領域に対して区分された各々のエリアとなり、設定部１４Ａは、各々のエリアを特定するための特定情報となる枠をＬＥＤにより点灯させる。図５に示す「可変エリア点灯方式」は、検出部１４Ｆが検出した商品の配置場所に応じて、複数のエリア各々を特定するための特定情報を設定するので、配置領域の如何なる場所に商品が配置された場合でも商品の適正な配置場所が報知される。このため、購入者は、商品のサイズや形状に関らず無作為に商品を埋込トレイ１３の表面に配置することが可能となるため、利便性が高い。
【００４５】
認識部１４Ｃは、上述したように、埋込トレイ１３の各々のエリアに配置された商品を撮像部１１により撮影された画像に基づいて、公知の物体認識技術により商品を認識する。ここで、「商品を認識する」とは、埋込トレイ１３の各々のエリアに配置された商品について、商品ＩＤと商品ＩＤに関連付けられた商品分類及び商品名等を認識することを言う。公知の物体認識技術について詳細な説明を省略するが、物体の輪郭、色合い及び表面形状や物体に付された文字等の対象商品特徴量と、記憶部１４Ｇに記憶された商品情報（登録商品特徴量）とを比較してスコア（一致度、１００％であれば完全一致）を算出する。そして、認識部１４Ｃは、該スコアが所定の閾値（例えば９０％）以上であれば認識部１４Ｃで認識された商品（正常認識商品）であるとし、該スコアが所定の閾値未満であれば認識部１４Ｃで認識されなかった商品（不明商品）として判定する。認識部１４Ｃによる不明商品としての認識には、距離センサ１２による埋込トレイ１３の表面に配置された商品の高さの計測値により、商品が複数重なって配置されている状態と認識することも含まれる。また、認識部１４Ｃによる不明商品としての認識には、１つのエリアに複数の商品が配置されている状態と認識することも含まれる。
【００４６】
報知制御部１４Ｂは、埋込トレイ１３の報知部１３Ａにおける報知形態やタッチパネル１４Ｄでの報知形態を制御する。報知制御部１４Ｂは、認識部１４Ｃが認識した結果に応じ、異なった態様にて購入者に報知するように制御する。例えば、図３の例では、２番，３番が認識部１４Ｃで認識された商品（正常認識商品）であるとして、図６に示すようにタッチパネル１４ＤにＯＫ表示し、７番が認識部１４Ｃで認識されなかった商品（不明商品）であるとして、図６に示すようにタッチパネル１４ＤにＮＧ表示する。図４〜図５の例では、認識部１４Ｃで認識された商品（正常認識商品）を囲む枠の点灯色（例えば青色）に対して、認識部１４Ｃで認識されなかった商品（不明商品）を囲む枠の点灯色（例えば赤色）を異ならせて強調表示する。図４〜図５の表示例は、埋込トレイ１３の報知部１３Ａ及びタッチパネル１４Ｄの少なくとも一方で表示される。
【００４７】
また、不明商品である場合、報知制御部１４Ｂは、商品を再度所定のエリアに置き直したり、商品に付されたバーコードをバーコードリーダ１４Ｉに読み取らせたりするように、スピーカ１４Ｈの音声やタッチパネル１４Ｄの画面表示にて購入者に報知する制御を実行する。さらに、報知制御部１４Ｂは、候補となる商品をタッチパネル１４Ｄに表示して購入者に選択させるように報知制御しても良い。
【００４８】
タッチパネル１４Ｄは、購入者や管理者により指やタッチペン等で画面操作可能な表示デバイスである。タッチパネル１４Ｄは、埋込トレイ１３の表面（配置領域）に設けられる複数のエリアの区分指定を受け付ける受付部としての機能と、認識部１４Ｃが認識した結果を特定情報と対応付けて報知する報知部としての機能と、撮像部１１が撮像した画像を表示する表示部としての機能と、の少なくとも何れか一つの機能を備えている。
【００４９】
図７には受付部（エリア指定）の表示画面が図示されており、「エリア表示方式」、「固定枠ＬＥＤ点灯方式」、「可変エリアＬＥＤ点灯方式」及び「手動入力」の何れか一つの方式を選択するように受け付ける画面である。この受付部の機能は、店舗にセルフレジシステムＸを導入した際に管理者によって入力され、設定部１４Ａは、入力された指定に従い複数のエリア各々を特定するための特定情報を設定する。また、セルフレジシステムＸの運用に際し、エリア区分を変更したい場合は、管理者が再度タッチパネル１４Ｄの受付部の機能を作動させる。なお、タッチパネル１４Ｄに「エリア変更」機能を設けても良く、「エリア変更」には、複数のエリアを統合又は分割する処理も含まれる。
【００５０】
図６には図３（エリア表示方式）に対応する報知部としてのタッチパネル１４Ｄの表示画面が図示されており、認識部１４Ｃにより認識した結果を特定情報に対応付けて報知（表示）する画面である。認識結果として、特定情報としての２番，３番が認識部１４Ｃで認識された商品（正常認識商品）としてＯＫ表示されており、特定情報としての７番が認識部１４Ｃで認識されなかった商品（不明商品）としてＮＧ表示されている。このとき、表示部の機能として、撮像部１１が撮像した埋込トレイ１３の表面（配置領域）の画像に対応付けて特定情報（番号）を表示し、７番の商品が不明商品であるとして枠で囲んで強調表示している。また、不明商品である７番の商品について、商品を再度所定のエリアに置き直したり、商品に付されたバーコードをバーコードリーダ１４Ｉに読み取らせたりするように、タッチパネル１４Ｄの画面表示にて購入者に報知している。なお、図示は省略するが、図４（固定枠ＬＥＤ点灯方式）や図５（可変エリアＬＥＤ点灯方式）についても、撮像部１１が撮像した埋込トレイ１３の表面（配置領域）の画像に対応付けて特定情報をタッチパネル１４Ｄに表示しても良い。
【００５１】
精算部１４Ｅは、貨幣処理装置及びカードリーダ等で構成されている。認識部１４Ｃやバーコードリーダ１４Ｉで全ての商品が認識されたとき、認識された商品に対応する、記憶部１４Ｇに記憶された商品ＩＤに関連付けられた商品名及び金額を取得する。そして、図６の２番，３番に示すように、タッチパネル１４Ｄに商品名，数量及び金額（合計金額含む）を表示し、購入者がタッチパネル１４Ｄを確認した後に精算ボタン（不図示）を押下することにより、精算部１４Ｅは、貨幣やクレジットカード等での決済を受け付ける。決済完了後は、不図示のプリンタによりレシートを印字して発行すると共に、つり銭等を返金する。なお、精算部１４Ｅでの決済方法として、スマートフォンの画面にバーコードを表示して決済する方法や、生体認証（カメラを用いた顔認証等）により決済する方法等であっても良い。
【００５２】
検出部１４Ｆは、図５に示す「可変エリア点灯方式」において、埋込トレイ１３の表面（配置領域）に配置された商品の配置場所を検出する。具体的には、検出部１４Ｆは、撮像部１１で撮像された画像から商品の輪郭を検出する。そして、検出部１４Ｆは、埋込トレイ１３の表面（配置領域）における商品の輪郭の位置座標を検出する。また、図３に示す「エリア表示方式」や図４に示す「固定枠ＬＥＤ点灯方式」においても、検出部１４Ｆが埋込トレイ１３の表面に配置された商品の配置場所を検出し、設定部１４Ａが後述するエリア変更を実行するように構成されている。
【００５３】
記憶部１４Ｇには、各種プログラムが記憶されていると共に、商品ＩＤに関連付けて商品分類，商品名，単価及び画像データ（登録商品特徴量を含む）が記憶されている。また、記憶部１４Ｇには、設定部１４Ａによって設定された特定情報に関する表示方式のテンプレートが記憶されている。さらに、記憶部１４Ｇには、商品の向き毎の高さが記憶されており、認識部１４Ｃは、上述した距離センサ１２により測定された商品の高さと記憶部１４Ｇに記憶された登録商品の高さとを比較して、１つの商品であるか否かを認識することができる。
【００５４】
図２に示すように、上位サーバー２は、販売情報記憶部２１と販売管理制御部２２と表示装置２３とを備えている。
【００５５】
販売情報記憶部２１は、購入者用端末１４から送信された商品の売上情報が記憶されている。商品の売上情報としては、購入された商品に関する商品ＩＤに関連付けた商品分類，商品名，販売金額及び販売数量等が記憶されている。販売管理制御部２２は、販売情報記憶部２１に対して売上登録制御を実行すると共に、表示装置２３の画面の表示制御を実行するＣＰＵで構成されている。表示装置２３は、管理者が販売管理するための画面を表示する表示デバイスである。
【００５６】
続いて、図８を用いて、購入者の使用前に、管理者が埋込トレイ１３の表面（配置領域）に複数のエリアの方式を指定する際の処理について説明する。
【００５７】
管理者が購入者用端末１４の初期画面（不図示）からエリア指定を選択した場合（♯８１Ｙｅｓ）、図７に示すタッチパネル１４Ｄの画面に移行する（♯８２）。次いで、管理者が図７に示すエリア指定方式のうち、規定のテンプレート（「エリア表示方式」又は「固定枠ＬＥＤ点灯方式」）を１つ選択した場合（♯８３Ｙｅｓ）、設定部１４Ａは、埋込トレイ１３の表面（配置領域）に複数のエリアを自動設定すると共に、複数のエリアに対して各々のエリアを特定するための特定情報（番号又は枠）を対応付けて設定する（設定ステップ、設定処理、♯８４〜♯８５）。また、管理者が「可変エリアＬＥＤ点灯方式」を選択した場合（♯８３Ｙｅｓ）、設定部１４Ａは、埋込トレイ１３の表面（配置領域）に商品が配置された時点で検出部１４Ｆの検出結果に基づき複数のエリアを自動設定すると共に、複数のエリアに対して各々のエリアを特定するための特定情報（番号又は枠）を対応付けて設定する（設定ステップ、設定処理、♯８４〜♯８５）。次いで、報知制御部１４Ｂにより制御された報知部１３Ａは、図３〜図５に示すように、設定部１４Ａにて設定された特定情報（番号又は枠）を報知する（報知ステップ、報知処理、♯８６）。
【００５８】
一方、管理者が図７に示すエリア指定方式のうち、「手動入力」を選択した場合（♯８３Ｎｏ）、埋込トレイ１３の表面（配置領域）を複数のエリアに区分するために、管理者がタッチパネル１４Ｄにタッチペンで区画線をデジタル入力したり、埋込トレイ１３の表面にマジックやテープ等で区画線をアナログ入力したりする（♯８７）。そして、設定部１４Ａは、タッチパネル１４Ｄに区画線がデジタル入力された場合は、複数のエリアに対して各々のエリアを特定するための特定情報（番号又は枠）を対応付けて設定し、埋込トレイ１３の表面にマジックやテープ等で区画線をアナログ入力された場合は、撮像部１１により該区画線を撮影した画像に基づいて複数のエリアに対して各々のエリアを特定するための特定情報（番号）を対応付けて設定する（設定ステップ、設定処理、♯８８）。次いで、報知制御部１４Ｂにより制御された報知部１３Ａ（埋込トレイ１３）やタッチパネル１４Ｄは、図３〜図５に示すように、設定部１４Ａにて設定された特定情報（番号又は枠）を報知（埋込トレイ１３上に表示）する（報知ステップ、報知処理、♯８９）。
【００５９】
このように、受付部としてのタッチパネル１４Ｄが受け付けた複数のエリア区分に関する指定に従い、設定部１４Ａが複数のエリア各々を特定するための特定情報を設定すれば、セルフレジシステムＸの利用形態に応じて適宜エリア設定ができるため利便性が高い。ところで、埋込トレイ１３の表面（配置領域）に指定された夫々のエリアに、購入者が１つずつ商品を配置して購入手続きを行うが、不慣れな購入者は複数のエリアに跨って商品を配置することがある。そこで、図９を用いて、エリア指定処理が完了した後に、各々のエリアを自動で変更する処理について説明する。
【００６０】
撮像部１１で商品を撮像して検出部１４Ｆで商品を検出した結果（♯７０）、購入者が複数のエリアに跨って商品を配置している場合（♯７１Ｙｅｓ）、設定部１４Ａはエリア変更を行う（エリア変更ステップ、エリア変更処理、♯７２）。次いで変更された各々のエリアを特定するための特定情報（番号又は枠）を対応付けて再設定する（再設定ステップ、再設定処理、♯７３）。このエリア変更及び再設定は、例えば、図３に示す６番と７番に跨って商品が配置された場合は、６番と７番を統合して６番として特定情報を再設定し、８番を７番として特定情報を設定する。そして、報知制御部１４Ｂにより制御された報知部１３Ａ（埋込トレイ１３）やタッチパネル１４Ｄは、設定部１４Ａにて再設定された特定情報（番号又は枠）を再報知する（再報知ステップ、再報知処理、♯７４）。
【００６１】
続いて、図１０を用いて、購入者が商品を購入する購入処理について説明する。
【００６２】
上述したように設定部１４Ａにて設定された特定情報を埋込トレイ１３の報知部１３Ａが報知（埋込トレイ１３上に表示）している（♯９１）。買い物かごに商品を入れた購入者は、基台１０のスペース１０Ａに買い物かごを置き、埋込トレイ１３の報知部１３Ａが報知した各々のエリアに商品を配置する（♯９２Ｙｅｓ）。次いで、撮像部１１で撮像された商品の画像による検出部１４Ｆの検出結果に基づき、複数のエリアに跨って商品が配置されていた場合（♯９３Ｙｅｓ）、上述したように埋込トレイ１３の報知部１３Ａは、設定部１４Ａにて再設定された特定情報（番号又は枠）を再報知する（♯９４）。次いで、各々のエリアに適正に商品が配置された場合も、複数のエリアに跨って商品が配置されており特定情報（番号又は枠）が再報知された場合も、撮像部１１で撮像された商品の画像に基づいて、認識部１４Ｃが商品を認識する（♯９５）。そして、認識部１４Ｃによる認識結果を特定情報と対応付けて報知する（♯９６）。図３の例では、図６に示すように、埋込トレイ１３の報知部１３Ａでの表示と対応する番号，商品名，金額及び認識結果（ＯＫ，ＮＧ）をタッチパネル１４Ｄに表示（報知）している。図４〜図５の例では、埋込トレイ１３の報知部１３Ａにおいて、認識部１４Ｃで認識されなかった商品（不明商品）を強調表示して報知している。
【００６３】
このように、認識部１４Ｃが商品をエリアごとに認識した認識結果を特定情報に対応付けて報知すれば、購入者は、配置領域の各エリアに配置された商品の種類を容易に把握することができる。しかも、認識部１４Ｃが認識した結果に応じて異なった態様で報知するため、認識部１４Ｃにより商品の種類が認識できた場合と認識部１４Ｃにより商品の種類が認識できなかった場合とを明確に区分して購入者に報知することができる。
【００６４】
次いで、不明商品ありの場合（♯９７Ｙｅｓ）、図６に示すタッチパネル１４Ｄでの表示やスピーカ１４Ｈからの音声により、商品を１つずつ枠内に方向を変えて置き直すか、商品に付されたバーコードをバーコードリーダ１４Ｉにより読み取らせるかの指示を行う。次いで、購入者が商品に付されたバーコードをバーコードリーダ１４Ｉにかざして読み取った場合（♯９８Ｙｅｓ）、再度、♯９６に戻り、認識結果を特定情報と対応付けて報知し、不明商品があるか否かの判定（♯９７）を行う。一方、購入者が商品を枠内に方向を変えて置き直した場合（♯９８Ｎｏ）、再度、♯９２に戻り、各々のエリアに商品が配置されたか否かの判定（♯９２）から不明商品があるか否かの判定（♯９７）までを繰り返す。
【００６５】
そして、不明商品がなく、全ての商品が正常に認識された場合（♯９７Ｎｏ）、精算部１４Ｅによる精算処理を実行する（♯９９）。このように、埋込トレイ１３の報知部１３Ａは、各エリアを特定するための特定情報を報知するため、配置領域が区分された各エリアの確認作業が容易であり、購入者が商品を配置したエリアが何れのエリアであるかも容易に認識することができる。特にセルフレジにおいては、購入者が複数の商品を各エリアに分けて配置するだけで商品の配置場所を確認できるので利便性が高い。
【００６６】
［その他の実施形態］
（１）図１１に示すように、上述した実施形態における設定部１４Ａ等の機能を上位サーバー２ａに受け持たせて、購入者端末１４ａと上位サーバー２ａとを有線又は無線で双方向通信するように構成しても良い。本実施形態では、購入者端末１４ａは、上述した構成と同様のタッチパネル１４Ｄ，精算部１４Ｅ，スピーカ１４Ｈ及びバーコードリーダ１４Ｉで構成されている。なお、購入者端末１４ａは、これらタッチパネル１４Ｄ，精算部１４Ｅ，スピーカ１４Ｈ及びバーコードリーダ１４Ｉを作動させるためのプログラムやプログラムを実行するためのＣＰＵも有しているが、図示を省略する。
【００６７】
上位サーバー２ａは、上述した購入者用端末１４の設定部１４Ａ，認識部１４Ｃ，検出部１４Ｆと同様の構成の設定部２４Ａ，認識部２４Ｃ，検出部２４Ｄを有している。また、上位サーバー２ａは、上述した購入者用端末１４の報知制御部１４Ｂと上位サーバー２の販売管理制御部２２とを含む制御部２４Ｂを有している。さらに、上位サーバー２ａは、上述した購入者用端末１４の記憶部１４Ｇと上位サーバー２の販売情報記憶部２１とを含む記憶部２４Ｅを有している。
【００６８】
（２）図１２には、購入者用端末１４の別実施形態に係るブロック図が示されている。本実施形態における購入者用端末１４において、上述した実施形態における各機能部を備えていても良いが、本図では説明に必要な機能のみ図示している。本実施形態における購入者用端末１４は、設定部１４Ａと分割部１４Ｊと特徴量抽出部１４Ｋと類似度算出部１４Ｌと検出部１４Ｆと記憶部１４Ｇとを有している。
【００６９】
設定部１４Ａは、商品を配置するための配置領域が区分された複数のエリアに対して、各々のエリアを特定するための特定情報（番号又は枠）を対応付けて設定し、基準フレームを生成する（設定ステップ、設定処理）。図１３に示す基準フレームには、一例として上述した図３と同様の「エリア表示方式」が示されている。分割部１４Ｊは、撮像部１１で撮像した商品を配置するための配置領域を含んだ画像に基づいて、当該画像に含まれる配置領域を複数のメッシュＭ（分割領域の一例）に分割する（分割ステップ、分割処理）。一例として、分割部１４Ｊは、画像を一定間隔のメッシュＭに分割（例えば、５００×４００画素の画像を５０×４０分割した場合、各メッシュＭは１０×１０画素）する（図１３参照）。記憶部１４Ｇには、配置領域に商品が置かれる前に設定部１４Ａで設定された特定情報が付与された基準フレームＤＢ１（商品が配置されていない配置領域を含む画像、背景画像）が記憶されており、分割部１４Ｊは、記憶部１４Ｇに記憶された基準フレームＤＢ１を複数のメッシュＭに分割する。この基準フレームＤＢ１を作成するにあたり、配置領域には、所定のパターンが付与されている。ここで、所定のパターンとは、商品に使用されにくいパターン（模様、色等）等である。
【００７０】
特徴量抽出部１４Ｋは、分割部１４Ｊで分割された各メッシュＭの特徴量（輝度、色等）を抽出する（特徴量抽出ステップ、特徴量抽出処理）。類似度算出部１４Ｌは、基準フレームＤＢ１の各メッシュＭの特徴量と基準フレームＤＢ１の各メッシュＭに対応する撮像画像の各メッシュＭの特徴量とを比較し、メッシュＭ同士の類似度（例えば正規化相関係数）を類似度情報として算出する（類似度算出ステップ、類似度算出処理）。ここで、例えば正規化相関係数が高いほどメッシュＭ同士の類似度が高いことを示す。類似度算出部１４Ｌは、新たな撮像画像の特徴量が入力される度に、メッシュＭ同士の類似度を算出し、類似度の算出結果を類似度情報ＤＢ２として記憶部１４Ｇに記憶する。
【００７１】
検出部１４Ｆは、分割領域の類似度情報ＤＢ２に基づき、この分割領域に含まれる商品を検出する（検出ステップ、検出処理）。図１３に示すように、検出部１４Ｆは、基準フレームＤＢ１の各メッシュＭ（商品が配置されていない配置領域を含む画像の分割領域）の特徴量と基準フレームＤＢ１の各メッシュＭに対応する撮像画像の各メッシュＭ（商品が配置された配置領域を含む画像の分割領域）の特徴量とを比較して算出された類似度情報ＤＢ２が予め定められた閾値以下であれば、商品が存在するメッシュＭであると判定する。そして、検出部１４Ｆにおいて物体が存在すると判定された各メッシュＭが隣接する集合領域が、商品の配置場所となる。画像内の商品領域を検出する従来技術として、クロマキーを用いる方法がある。しかし、太陽光等による照明変動がある場所ではクロマキーに用いる背景の明るさや色が変動するため、商品領域のみを抽出することができない。本実施形態では、明るさの変動の影響を受けにくい類似度（例えば正規化相関係数）を用いることにより、照明が変動する状況においても安定して商品領域を検出することが可能となる。また、クロマキーとして配置領域に付与した所定のパターンを用いるため、商品の検出精度を高めることができる。ここで、所定のパターンとは、商品に使用されにくいパターン（模様、色等）等である。なお、本実施形態の各機能部を上位サーバー２に備えても良く、特に限定されない。
【００７２】
（３）商品を配置する配置領域は、埋込トレイ１３の表面に限定されず、買い物かごの底面であっても良い。この場合、買い物かごの底面に区画線と特定情報（番号等）を設け、埋込トレイ１３上に買い物かごを置いたときに、撮像部１１で撮像された画像に基づいて設定部１４Ａが各々のエリアを特定するための特定情報を設定する。また、商品を配置する配置領域は、社内食堂等で使用される可搬性のあるトレイであっても良い。この場合、トレイの表面に区画線と特定情報（番号等）を設け、セルフレジにトレイを置いたときに、撮像部１１で撮像された画像に基づいて設定部１４Ａが各々のエリアを特定するための特定情報を設定（共通トレイとして予め設定していても良い）し、社員が精算部１４Ｅにて精算を行う。
（４）可視光カメラで構成される撮像部１１に距離センサ１２を内蔵しても良い。また、埋込トレイ１３を透明に構成して、下部から光を照射することで商品を浮かび上がらせ、可視光カメラで商品を立体的に撮影しても良い。
【００７３】
（５）認識部１４Ｃはスコアを多段階の閾値で判定し、認識部１４Ｃの認識結果に応じて報知制御部１４Ｂが異なる態様で報知制御しても良い。例えば、第一閾値（例えば９０％）以上であれば認識部１４Ｃで認識された商品（正常認識商品）であるとし、第二閾値（例えば７０％）以上第一閾値未満であれば候補となる商品を購入者に選択させ、第二閾値未満であれば商品に付されたバーコードをバーコードリーダ１４Ｉに読み取らせるように構成しても良い。また、商品毎に閾値を異ならせても良い。
（６）上述した実施形態では、購入者が複数のエリアに跨って商品を配置した場合、設定部１４Ａはエリア変更を行った。これに代えて、購入者が複数のエリアに跨って商品を配置した場合、置き直しの指示を出しても良いし、商品の大部分（例えば８割以上）が１つの領域に入っていれば、認識部１４Ｃは当該１つの領域に配置されたものとして認識しても良い。
【００７４】
（７）報知部の報知形態は、どのような形態であっても良い。例えば、不明商品の強調表示に点滅表示を用いても良いし、特定情報の表示にアルファベット等を用いても良い。また、特定情報を報知するにあたり、投影装置を用いて配置領域に特定情報を投影しても良い。さらに、特定情報を報知するにあたり、音声を用いて報知しても良い。
（８）バーコードリーダ１４ＩにＱＲコード（登録商標）を読み取る機能を持たせても良い。
（９）セルフレジシステムＸは、１つのセルフ購入装置１と上位サーバー２とで構成しても良いし、上位サーバー２の機能をセルフ購入装置１に内蔵しても良い。また、商品配置装置としてセルフ購入装置１を例示したが、埋込トレイ１３及び購入者用端末１４で商品配置装置を構成しても良いし、購入者用端末１４のみで商品配置装置を構成しても良い。
（１０）セルフレジシステムＸは、小規模のコンビニエンスストアに適用する場合に限定されず、大規模のコンビニエンスストアやスーパー等にも適用可能である。また、上述した実施形態における商品配置装置、商品配置方法、商品配置システム及び商品配置プログラムは、店員が介入する有人レジにも適用可能である。
【産業上の利用可能性】
【００７５】
本発明は、商品を配置するための商品配置装置、商品配置方法、商品配置システム及び商品配置プログラムに利用可能である。
【符号の説明】
【００７６】
１      ：セルフ購入装置（商品配置装置）
１１    ：撮像部（取得部）
１３    ：埋込トレイ（配置領域）
１３Ａ  ：報知部
１４Ａ  ：設定部
１４Ｃ  ：認識部
１４Ｄ  ：タッチパネル（報知部、受付部、表示部）
１４Ｆ  ：検出部
１４Ｊ  ：分割部
ＤＢ２  ：類似度情報
Ｍ      ：メッシュ（分割領域）
Ｘ      ：セルフレジシステム（商品管理システム）
【図１】
2020035196.tif 000003
【図２】
2020035196.tif 000004
【図３】
2020035196.tif 000005
【図４】
2020035196.tif 000006
【図５】
2020035196.tif 000007
【図６】
2020035196.tif 000008
【図７】
2020035196.tif 000009
【図８】
2020035196.tif 000010
【図９】
2020035196.tif 000011
【図１０】
2020035196.tif 000012
【図１１】
2020035196.tif 000013
【図１２】
2020035196.tif 000014
【図１３】
2020035196.tif 000015