(57)【要約】      （修正有）【課題】適切な学習データを選択して学習する。【解決手段】商品の画像から抽出した特徴量を、学習データ中の特徴量と比較することにより、商品の種類を識別する店舗システムにおいて、学習データ管理部は、店舗システムが種類を識別した商品の特徴量の内で信頼度が高いもの、及び店舗システムが識別した商品の種類をマニュアルで訂正したものの特徴量を学習データに追加する。さらに、同種の商品に対する学習データでの特徴量と、識別対象の商品の特徴量との、特徴量の空間での距離が所定値以上である場合、学習データを追加しないように、学習データ管理部を構成する。【選択図】図４
2015064628.tif 000002
【特許請求の範囲】
【請求項１】
商品の画像から抽出した特徴量を、学習データ中の特徴量と比較することにより、商品の種類を識別する店舗システムにおいて、
店舗システムが種類を識別した商品の特徴量の内で信頼度が高いもの、及び店舗システムが識別した商品の種類をマニュアルで訂正したものの特徴量を学習データに追加する、学習データ管理部を備えていることを特徴とする、店舗システム。
【請求項２】
同種の商品に対する学習データでの特徴量と、識別対象の商品の特徴量との、特徴量の空間での距離が所定値以上である場合、学習データを追加しないように、学習データ管理部が構成されていることを特徴とする、請求項１の店舗システム。
【請求項３】
商品の種類を識別する毎に、識別の信頼度が高い商品と、種類をマニュアルで訂正した商品との特徴量を、学習データに追加するように、学習データ管理部が構成されていることを特徴とする、請求項１または２の店舗システム。  
【請求項４】
学習データには学習した時期のデータが含まれ、
学習後所定期間以上経過した学習データと、所定個数よりも前に学習された学習データとを、商品の識別に用いないように構成されていることを特徴とする、請求項１〜３のいずれかの店舗システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、パン、野菜等の商品を画像認識により識別する店舗システムに関する。
【背景技術】
【０００２】
出願人は、パン、生野菜、果物等の食品、あるいは透明の袋に詰めた錠剤等を、画像識別により識別するシステムを開発している（例えば特許文献１  特開2011-170745）。商品を画像識別により自動的に識別できると、POS端末でのレジ打ち作業を軽減でき、またパン、生野菜等のようにバーコード等を付けるのに適さない商品を、POS端末で容易に処理できる。
【０００３】
商品の識別に関し、非特許文献１は、カラー画像の他に商品の距離画像を用い、商品の切り分けと凹凸等の形態的な特徴を利用することを開示している。また識別手法として、同種の商品のクラスターに対し主成分分析を行った際の、マイナー成分を識別に用いることを開示している。さらに識別の信頼度を表す概念として、相違度を提案している。多次元の特徴量の空間での、同種の商品のクラスターと識別対象の商品との距離の平均値を相違度とする。すると第２候補の商品と第１候補の商品との相違度の比により、識別の信頼性を表すことができる。  
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2011-170745
【非特許文献】
【０００５】
【非特許文献１】前田，森本，藤井  「距離センサを用いた物体の分離・識別に関する検討」DIA2013  動的画像処理実用化ワークショップ2013
【発明の概要】
【発明が解決しようとする課題】
【０００６】
商品の種類の単位を品番とし、品番毎に価格等があるとすると、パン、野菜、果物などでは同じ品番でも、商品の形態、色彩等の特徴が変化することがある。例えばパンであれば、パン職人の焼き方が一定ではないため徐々に焼色が強くなる、野菜であれば出始めから旬へと徐々に赤みが強くなる、等である。商品を識別するための特徴量と、商品の品番の組合せ等からなるデータを学習データとすると、学習データを更新し、有効期限を定める必要がある。このためには常時学習を続ける必要がある。
【０００７】
この発明の課題は、適切な学習データを選択して、常時学習し続ける店舗システムを提供することにある。
【課題を解決するための手段】
【０００８】
この発明は、商品の画像から抽出した特徴量を、学習データ中の特徴量と比較することにより、商品の種類を識別する店舗システムにおいて、店舗システムが種類を識別した商品の特徴量の内で信頼度が高いもの、及び店舗システムが識別した商品の種類をマニュアルで訂正したものの特徴量を学習データに追加する、学習データ管理部を備えていることを特徴とする。
【０００９】
画像識別では一般に識別のもっともらしさを数量的に表すデータ、即ち信頼度が得られる。例えば非特許文献１の相違度などがその例である。そこで信頼度が所定値以上のものを学習すると、信頼性の高い学習データを追加できる。画像識別では、識別に失敗し、店員がマニュアルで訂正することがある。訂正が必要なのは、特徴量の空間で学習データが不足している領域である。そこでマニュアルで訂正した商品を学習することにより、同種の誤識別を減らすことができる。
【００１０】
好ましくは、同種の商品に対する学習データでの特徴量と、識別対象の商品の特徴量との、特徴量の空間での距離が所定値以上である場合、学習データを追加しないように、学習データ管理部が構成されている。距離は、同種の商品での特徴量の分布の標準偏差等で正規化した距離でも、正規化をしない距離でも良い。さらに距離はユークリッド距離（２乗和の平方根形の距離）でも、マンハッタン距離（絶対値の和から成る距離）、等でも良い。識別の信頼度が高い商品では、その商品と同種の商品に対する学習データからの距離も小さいことが多い。そこで距離による検査を行うのは、種類をマニュアルで訂正した商品に限っても良い。商品の種類をマニュアルで訂正した場合、訂正が誤りであることも有る。例えば商品の合計価格が正しければ商品の種類は重要ではないと考えて、正しい価格の正しくない品番に訂正した場合等である。そこで学習データを追加する対象から、特徴空間での距離から不適切なものを検出し、学習対象からのぞくことができる。
【００１１】
また好ましくは、商品の種類を識別する毎に、識別の信頼度が高い商品と、種類をマニュアルで訂正した商品との特徴量を、学習データに追加するように、学習データ管理部が構成されている。この発明では、識別の信頼度が高い商品と、種類をマニュアルで訂正した商品とが学習の対象であるが、これらを全て学習する必要はない。例えば１種類の商品に対し、１日に学習する件数に上限を設けても良い。しかしこのような管理をせずに、識別の信頼度が高い商品と、種類をマニュアルで訂正した商品とが発生する毎に学習すると、学習の頻度を増すことができる。また新しい種類の商品を導入すると、短期間で学習データを得ることができる。
【００１２】
好ましくは、学習データには学習した時期のデータが含まれ、店舗システムは、学習後所定期間以上経過した学習データと、所定個数よりも前に学習された学習データとを、商品の識別に用いないように構成されている。所定期間は例えば30日、100日、１年等である。例えばパンの場合であれば、同じパン職人でも、焼き色が徐々に変化する、形態が徐々に変化する等のことがある。またパン職人が変われば、同じパンでも特徴量は変化する。これに対して所定期間以上古い学習データを用いないことにより、同種の商品に対する形態、色彩等の特徴が変化しても影響を小さくできる。画像による識別では、学習データの多い商品を優先して識別する傾向がある。特に学習データを追加する機会を増すと、学習データの数は商品の販売量に応じて定まる。すると販売量の多い商品を優先して識別するようになる。これに対して、学習データの数を例えば100個、500個、1000個等に制限すると、販売数が多い商品を過剰に優先して識別することが無くなる。学習データの使用期間、個数等を制限するには、例えば使用期間を越えた学習データを削除し、所定の個数を超えると古いものから削除すれば良い。特に、学習データを直近に学習した所定個数以下のデータに制限すると、単に個数に制限を設けるだけでなく、新しい学習データを優先することができる。
【図面の簡単な説明】
【００１３】
【図１】実施例の店舗システムのブロック図
【図２】識別コンピュータのブロック図
【図３】学習データの内容を模式的に示す図
【図４】学習データの追加アルゴリズムを示すフローチャート
【図５】学習データの使用条件を示す図
【発明を実施するための形態】
【００１４】
以下に最適実施例を示す。この発明の範囲は、特許請求の範囲の記載に基づき、明細書の記載とこの分野での周知技術とを参酌し、当業者の理解に従って定められるべきである。
【実施例】
【００１５】
図１〜図５に、実施例の店舗システム２を示す。４はパネルで、乳白色の半透明なパネル５と、その下部にある白色のバックライト光源６とから成り、乳白色で半透明のトレイ８を乗せるようにされている。１０はデジタルカメラで、これ以外に距離画像用カメラ１１を設けても良い。１２はタッチパネルで、商品を識別する過程でのヒューマンインターフェースとして用いる。バックライトパネル４と、デジタルカメラ１０と、距離画像用カメラ１１と、タッチパネル１２は、USB（ユニバーサル・シリアル・バス）等により、パーソナルコンピュータ等から成る識別コンピュータ１４に接続されている。またLAN等により、識別コンピュータ１４はPOS端末１６に接続され、１８はそのディスプレイである。
【００１６】
図２は識別コンピュータ１４の構成を示し、カメラドライブ２０はデジタルカメラ１０を動作させると共に、その出力画像を一時記憶し、カメラ調整インターフェース２１により、R,G,Bの各値に対するゲインを調整する。ゲインの調整では、例えばデジタルカメラ１０内でゲインを調整するが、カメラドライブ２０でゲインを変えても良い。バックライトパネルドライブ２２はバックライトパネル４をオン／オフさせる。距離画像用のカメラ１１を設ける場合、ドライブ３０によりカメラ１１をドライブし、メモリ３１に空のトレイ８の距離画像、もしくはその表面を表す方程式を記憶させて、以降の距離画像（商品を乗せたトレイ８の距離画像）との差分を求め、トレイ８の表面を基準とする距離画像とする。
【００１７】
学習データメモリ２４は、商品の特徴量と商品名、価格等から成る学習用のデータを記憶し、商品の種類（品番）毎に、例えば最大500データ等の所定個数以下のデータを記憶する。学習データの有効期間は学習から例えば100日等の所定期間である。商品の品番の数は増減するので、学習データメモリ２４は品番の増加に対応できるようにする。特徴量は、商品のRGB画像に基づいて、商品を識別するための特徴となるデータであり、距離画像を用いる場合は、距離画像上での商品の特徴を学習用データに含める。特徴量は、例えば非特許文献１に示すように、同じ品番の商品の学習データに対して主成分分析を行った際の、商品間での差が小さいマイナー成分であり、店舗システム２は特徴量として50〜200成分のデータを用いる。
【００１８】
学習データ管理部２６は、学習データを学習データメモリ２４に追加する。店舗システム２が商品を識別すると、識別の信頼性を数量的に表すデータが発生する。また客の鍵などの商品ではないもの、不良品、購入を取りやめる商品など、清算から除外するものが発生する。画像識別では誤識別が有り得るので、そのような場合、店員あるいは客がマニュアルでタッチパネル１２等を介して商品の種類を訂正する。これらの中で、識別の信頼度が所定値以上の商品、及びマニュアルで種類を訂正した商品に対し、特徴量を学習データに追加する。マニュアルで訂正した商品には、種類を誤っているものも含まれ得るので、その商品と同種の商品への学習データとの距離空間での距離が所定値以上のものを、学習対象から除外する。
【００１９】
学習データ管理部２６は、学習から100日以上経過して期限切れ、同じ品番の商品に対して500個超の学習データがある場合の最も古いデータ、等の学習データを削除する。最も古いデータを削除するには、学習日時により学習データを検索しても良く、あるいは同じ品番の商品への学習データに、1から始まり500で終わる番号を付け、最新の番号を別途に記憶し、学習する毎に次の番号に学習データを上書きしても良い。
【００２０】
商品識別部２８は、デジタルカメラ１０からのRGB画像（ゲイン調整済み）及び距離画像（トレイの距離画像との差分後の画像）と、学習データとを用いて、商品の種類を識別する。POSインターフェース３６は、識別した商品に対する、商品名、個数、及び撮像したRGB画像（例えばJPEG画像で、分解能を低下させた小容量の画像）等から成る売上げデータをPOS端末１６へ送出する。
【００２１】
POS端末１６は、送出された売上げデータ中の、商品名と個数とに基づき売上げを計算し、現金等の授受を行ってレシートを発行する。レシートには、商品名と個数、価格等の他に、例えば連続番号のレシートのID（取引番号）、売上げの日時等が記載されている。なお清算除外、商品の種類の訂正を、POS端末１６で行い、その旨を識別コンピュータ１４へ送出して、学習データの追加の処理に用いても良い。
【００２２】
図３に学習データ４０の構成を示し、１個の学習データに対し、学習の日時、あるいは月日等の学習時期のデータと、商品の品番、及び同種の商品に対する学習データ内での番号が含まれている。データ番号は1から始まり500で終わり,500の次は1となる番号で、最新の番号を学習データ管理部２６が別途に記憶する。特徴量は例えば50種類〜200種類有り、学習データ毎に記憶されている。そして前記のように、１種類の品番には、学習データは最大で500個に制限されている。
【００２３】
図４に学習データの追加アルゴリズムを示す。ステップS1で商品を画像識別し、ステップS2で清算除外、識別結果の訂正を行う。ステップS3で、高信頼度の商品と品番を訂正した商品の特徴量を、学習データの候補とする。なお特徴量はステップS1で取得済みである。      
【００２４】
ステップS4で、同品番の学習データの平均からの、特徴空間での距離Sを求める。i番目の特徴量をxi、学習データでのその平均値と標準偏差をai、diとすると、（xi-ai）２をdi２で割ったものの和、あるいは｜xi-ai｜／di和等により、距離が定まる。そして距離Sが所定値以上のものを学習対象から除外する。この処理に限らず、同品番の学習データを基準とするもっともらしさにより、学習データの適否を判別するものであればよい。そしてステップS5で学習データを追加する。
【００２５】
図５は学習データへの制限を示し、学習後所定日数以上経過したものを無効として学習データメモリ２４から削除し（C1）、また品番毎の学習データの個数が500個を越えると、直近の500個を残して、もっと古い学習データを削除する（C2）。
【００２６】
実施例ではパンの識別を示したが、野菜、果物、魚介類、肉類、薬品の錠剤等、識別対象の商品は任意である。距離画像用カメラ１１には、複眼視によるカメラ、液晶シャッタアレイカメラ等を用いても良い。また識別コンピュータ１４は物理的にはPOS端末１６と一体でも良い。識別結果に対する訂正、清算からの除外等の処理は、タッチパネル１２により行ったが、POS端末１６により行っても良い。その場合、清算除外品と識別結果を訂正した商品とをPOS端末１６から識別コンピュータ１４へ送出する。
【符号の説明】
【００２７】
２          店舗システム
４          バックライトパネル
５          パネル
６          バックライト光源
８          トレイ
１０        デジタルカメラ
１１        距離画像用カメラ
１２        タッチパネル
１４        識別コンピュータ
１５        LAN
１６        POS端末
１８        ディスプレイ
２０        カメラドライブ
２１        カメラ調整インターフェース
２２        バックライトパネルドライブ
２４        学習データメモリ
２６        学習データ管理部
２８        商品識別部
３０        ドライブ
３１        メモリ
３６        POSインターフェース
４０        学習データ    
【図１】
2015064628.tif 000003
【図２】
2015064628.tif 000004
【図３】
2015064628.tif 000005
【図４】
2015064628.tif 000006
【図５】
2015064628.tif 000007