(57)【要約】 【課題】  商品の画像識別での環境光の色調の影響を弱め、かつ周囲の照明の照度の影響を弱める。【構成】  店舗システムの商品識別装置は、バックライト光源を有するバックライトパネルと、バックライトパネル上に置かれたトレイを撮像するデジタルカメラと、デジタルカメラが撮像した画像を表示するカラーディスプレイと、画像識別により、トレイ上の商品を識別する識別コンピュータを備える。バックライトパネル上に置かれた空のトレイの画像に対し、明度の代表値を所定範囲内とし、かつトレイ画像のR値の代表値と、G値の代表値と、B値の代表値とがバランスするように、デジタルカメラのR値、G値、B値のゲインを調整する。【選択図】    図８
2015065494.tif 000002
【特許請求の範囲】
【請求項１】
商品識別装置を有する店舗システムにおいて、
前記商品識別装置は、
バックライト光源を有するバックライトパネルと、
バックライトパネル上に置かれたトレイを撮像するデジタルカメラと、
デジタルカメラが撮像した画像を表示するカラーディスプレイと、
前記画像を画像識別することにより、前記トレイ上の商品を識別する識別コンピュータと、
バックライトをオンした状態で、バックライトパネル上に置かれた、空のトレイを前記デジタルカメラにより撮像したトレイ画像に対し、トレイ画像の明度の代表値が所定範囲内となり、かつトレイ画像のR値の代表値と、G値の代表値と、B値の代表値とがバランスするように、画像のR値、G値、B値のゲインを調整するためのカメラ調整手段、とを有し、
バックライトをオンした状態で、バックライトパネル上に置かれ、商品が乗せられたトレイに対する、調整後のゲインに基づく画像を、前記識別コンピュータにより画像識別するように構成されていることを特徴とする店舗システム。
【請求項２】
前記カメラ調整手段は、
明度の代表値を前記所定範囲内とするために、R値、G値、B値の各々に対するゲインを共に増加させるか共に減少させるように、調整することと、
R値の代表値と、G値の代表値と、B値の代表値とをバランスさせるために、R値、G値、B値のゲインを個別に調整すること、とを繰り返すように構成されていることを特徴とする、請求項１の店舗システム。
【請求項３】
距離画像を撮像する距離画像用カメラと、
バックライトパネル上に置かれた、空のトレイを前記距離画像用カメラで撮像した距離画像を、トレイ表面の距離画像として記憶するためのメモリと、
商品を乗せたトレイを撮像した距離画像と、前記トレイ表面の距離画像との差分を出力するための手段、
とをさらに有することを特徴とする、請求項１または２の店舗システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、パン、野菜等の商品を画像認識により識別する店舗システムに関する。
【背景技術】
【０００２】
出願人は、パン、生野菜、果物等の食品、あるいは透明の袋に詰めた錠剤等を、画像識別により識別するシステムを開発している（例えば特許文献１  特開2011-170745）。商品を画像識別により自動的に識別できると、POS端末でのレジ打ち作業を軽減でき、またパン、生野菜等のようにバーコード等を付けるのに適さない商品を、POS端末で容易に処理できる。
【０００３】
特許文献２（特開2013-145441）は、半透明のトレイに商品を乗せ、下方からバックライト光源で照明することにより、パン等の商品の画像識別が容易にすることを開示している。バックライト光源により商品の輪郭が明瞭になり、また周囲の環境光の影響が小さくなる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2011-170745
【特許文献２】特開2013-145441
【発明の概要】
【発明が解決しようとする課題】
【０００５】
商品の識別では環境光の色調が影響し、例えば茶色の環境光では白いパンも茶色に見える。周囲の照明が暗いと、白いパンも茶色等に見えやすい。これらのことは、人の目だけではなく、コンピュータによる画像識別も妨げる。
【０００６】
この発明の課題は、商品の画像識別での、環境光の色調の影響を弱め、かつ照明の照度の影響を弱めることにある。
【課題を解決するための手段】
【０００７】
この発明は、商品識別装置を有する店舗システムにおいて、
前記商品識別装置は、
バックライト光源を有するバックライトパネルと、
バックライトパネル上に置かれたトレイを撮像するデジタルカメラと、
デジタルカメラが撮像した画像を表示するカラーディスプレイと、
前記画像を画像識別することにより、前記トレイ上の商品を識別する識別コンピュータと、
バックライトをオンした状態で、バックライトパネル上に置かれた、空のトレイを前記デジタルカメラにより撮像したトレイ画像に対し、トレイ画像の明度の代表値が所定範囲内となり、かつトレイ画像のR値の代表値と、G値の代表値と、B値の代表値とがバランスするように、画像のR値、G値、B値のゲインを調整するためのカメラ調整手段、とを有し、
バックライトをオンした状態で、バックライトパネル上に置かれ、商品が乗せられたトレイに対する、調整後のゲインに基づく画像を、前記識別コンピュータにより画像識別するように構成されていることを特徴とする。
【０００８】
この発明では、空のトレイの画像が所定範囲内の明度を持ち、空のトレイの画像がR値の代表値と、G値の代表値と、B値の代表値とがバランスするように、ゲインを調整する。代表値は例えば分布の平均値、中央値等で、ゲインは撮像素子からのデータをRGB等の出力画像に変換する過程でのゲインである。この発明では、空のトレイは所定範囲内の明度を持つようにゲインが調整され、周囲の照明が暗くても明るくても、空のトレイを基準とする明度で商品の明度を処理できる。また空のトレイの表面色を白色とするように各色のゲインが調整されるので、環境光により空のトレイが着色して見える環境でも、空のトレイを白色とするように商品の色調等が求められる。従って周囲の照明の強弱、環境光の色調等の影響を小さくできる。なお識別に用いる画像は、RGB画像でも、HSV画像等でも良い。
【０００９】
好ましくは、前記カメラ調整手段は、明度の代表値を前記所定範囲内とするために、R値、G値、B値の各々に対するゲインを共に増加させるか共に減少させるように調整することと、R値の代表値と、G値の代表値と、B値の代表値とをバランスさせるために、R値、G値、B値のゲインを個別に調整すること、とを繰り返す。このようにすると、R値、G値、B値に対するゲインを共に増加させるか共に減少させる処理と、R値、G値、B値のゲインを個別に調整する処理とを繰り返すことにより、空のトレイの画像での明度を所定範囲内とすると共に、R値の代表値と、G値の代表値と、B値の代表値とをバランスさせることができる。
【００１０】
好ましくは、距離画像を撮像する距離画像用カメラと、バックライトパネル上に置かれた、空のトレイを前記距離画像用カメラで撮像した距離画像を、トレイ表面の距離画像として記憶するためのメモリと、商品を乗せたトレイを撮像した距離画像と、前記トレイ表面の距離画像との差分を出力するための手段、とをさらに有する。このようにすると空のトレイを基準とする商品の高さを、識別に用いることができる。
【図面の簡単な説明】
【００１１】
【図１】実施例の店舗システムのブロック図
【図２】識別コンピュータのブロック図
【図３】カメラ歪みの除去を模式的に示す図
【図４】画像識別範囲と表示範囲との設定を模式的に示す図
【図５】カメラゲインの調整機構を示す図
【図６】カメラ調整のアルゴリズムを示すフローチャート
【図７】明度の分布を模式的に示す図
【図８】カラー成分の値の分布を模式的に示す図
【図９】トレイ表面へのスポット光のパターンを模式的に示す図
【図１０】トレイ表面の距離画像との差分による、距離画像の補正を示すフローチャート
【発明を実施するための形態】
【００１２】
以下に最適実施例を示す。この発明の範囲は、特許請求の範囲の記載に基づき、明細書の記載とこの分野での周知技術とを参酌し、当業者の理解に従って定められるべきである。
【実施例】
【００１３】
図１〜図１０に、実施例の店舗システム２を示す。４はパネルで、乳白色の半透明なパネル５と、その下部にある白色のバックライト光源６とから成り、乳白色で半透明のトレイ８を乗せるようにされている。１０はデジタルカメラで、これ以外に距離画像用カメラ１１（図２）を設けても良い。１２はタッチパネルで、商品を識別する過程でのヒューマンインターフェースとして用いる。バックライトパネル４と、デジタルカメラ１０と、距離画像用カメラ１１と、タッチパネル１２は、USB（ユニバーサル・シリアル・バス）等により、パーソナルコンピュータ等から成る識別コンピュータ１４に接続されている。またLAN等により、識別コンピュータ１４はPOS端末１６に接続され、１８はそのディスプレイである。
【００１４】
図２は識別コンピュータ１４の構成を示し、カメラドライブ２０はデジタルカメラ１０を動作させると共に、その出力画像を一時記憶し、カメラ調整インターフェース２１により、R,G,Bの各値に対するゲインを調整する。ゲインの調整では、例えばデジタルカメラ１０内でゲインを調整するが、カメラドライブ２０でゲインを変えても良い。バックライトパネルドライブ２２はバックライトパネル４をオン／オフさせる。距離画像用のカメラ１１を設ける場合、ドライブ３０によりカメラ１１をドライブし、メモリ３１に空のトレイ８の距離画像、もしくはその表面を表す方程式を記憶させて、以降の距離画像（商品を乗せたトレイ８の距離画像）との差分を求め、トレイ８の表面を基準とする距離画像とする。
【００１５】
学習データメモリ２４は、識別用の商品の特徴量と商品名、価格等から成る学習用のデータを記憶し、商品の種類（品番）毎に例えば最大500データ等の所定個数のデータを記憶し、有効期間は学習から例えば100日等の所定期間である。特徴量は、商品のRGB画像に基づいて、商品を識別するための特徴となるデータを表し、距離画像を用いる場合は、距離画像上での商品の特徴を学習用データに含める。学習データ管理部２６は、学習データを学習データメモリ２４に追加すると共に、期限切れ、オーバーフロー等の学習データを削除する。商品識別部２８は、デジタルカメラ１０からのRGB画像（ゲイン調整済み）及び距離画像（トレイの距離画像との差分後の画像）とにより、商品の種類を識別する。POSインターフェース３６は、識別した商品に対する、商品名、個数、及び撮像したRGB画像（例えばJPEG画像で、分解能を低下させた小容量の画像）等から成る売上げデータを、POS端末１６へ送出する。
【００１６】
POS端末１６は、送出された売上げデータ中の、商品名と個数とに基づき売上げを計算し、現金等の授受を行ってレシートを発行する。レシートには、商品名と個数、価格等の他に、例えば連続番号のレシートのID（取引番号）、売上げの日時等が記載されている。
【００１７】
図３〜図８に、デジタルカメラ１０の調整を示す。バックライトパネル４上にチェックパターン４０を乗せ、デジタルカメラ１０で撮像した画像４１から、チェックパターン４０の歪みが解消されるように、撮像素子上のアドレスと、画像上のアドレスとの対応関係を補正する。
【００１８】
また図４に示すように、タッチパネル１２への表示範囲４２と、商品を識別する識別範囲４３とを調整し、識別範囲４３が表示範囲４２に含まれるようにする。
【００１９】
図５はデジタルカメラ１０に対するゲイン調整を示し、ゲイン調整はデジタルカメラ１０内で行っても良く、また識別コンピュータ１４内で行っても良い。撮像素子５１〜５３からの信号を変換部５４でRGB画像に変換し、乗算部５６〜５８でRGB値をゲインGr，Gg，Gbと乗算し、R値、G値、B値からなる出力とする。HSV変換部５９はRGB画像をHSV画像に変換し、必要なのはV値（明度）のみなので、H値（色相値）、S値（飽和度）を求めなくても良い。また撮像素子５１〜５３がRGB出力の場合、変換部５４は不要である。
【００２０】
図６〜図８に、調整アルゴリズムを示す。ステップ１で、バックライトパネル４上に、チェックパターン４０を置き、ステップ２で表示画像４１が正しい格子になるようにして、カメラ歪みを解消する。ステップ３で、表示範囲４２がタッチパネル１２の画面に収まり、かつ表示範囲内に識別範囲４３が収まるように、調整する。
【００２１】
白色で半透明のトレイ８を発光中のバックライトパネル４上に置き（ステップ４）、トレイのRGB画像をHSV画像に変換し、Vの代表値、例えば平均値が244/255-255/255（255はフルスケールでの最高値）となるように、ゲインGr，Gg，Gbを同じ割合で増減する（ステップ５）。またR値、G値、B値の代表値、例えば各色毎の平均値、あるいは中央値がバランスするように、即ちこれらの値の比あるいは差が所定の範囲内となるように、ゲインGr，Gg，Gbを各色毎に増減する（ステップ６）。ゲインGr，Gg，Gbを調整すると、Vの代表値も変化するので、Vの代表値を再計算し、244/255-255/255等の所定範囲から外れていると（ステップ７，８）、ステップ５へ戻る。
【００２２】
これらの結果、空のトレイ８に対する調整後の明度の分布は図７のようになり、明度が高い範囲に分布が集中する。トレイ上の商品を撮像すると、その明度はトレイよりも基本的に低いので、商品画像の明度のダイナミックレンジは0/255-245/255のようになり、ダイナミックレンジが広い。また売場の照明が暗くても明るくても、空のトレイ８に対する明度は同じになり、周囲の照明に依存しない商品の明度が得られる。例えば暗い売場でも、白色の商品は白色に撮像され、商品の明度を識別に用いることができる。
【００２３】
ゲイン調整前のR値、G値、B値の分布を図８に示す。これらの分布が互いにずれていることは、商品画像での色相が、標準的な条件での色相からシフトしていることを意味する。例えば環境光となる照明が白熱灯かハロゲン灯か蛍光灯か、あるいはLEDランプか、また照明の直下か斜めから照明を受けるか等により、照明の色調と照度が異なる。そこでR値、G値、B値の代表値を揃えることにより、白色の商品は白色になり、また有色の商品は正確な色相になるように、撮像される。従って商品の色相、飽和度を識別に用いることができる。
【００２４】
図９，図１０に距離画像の処理を示す。距離画像用カメラ１１は、図９のように、格子状に配列したスポット光を投影し、スポット光を撮像する。対象が平面状であればスポット光は格子状をほぼ保ったパターンで投影され、対象が平面状でなければ、格子が乱れる。いずれの場合も、撮像したスポット光の配置から対象までの距離の分布を測定でき、位置の分解能はスポット光の間隔で定まる。
【００２５】
図１０に示すように、ステップ１１で空のトレイ８の表面の距離画像を取得し、例えば空のトレイの表面を表す平面の方程式（変数は画素の位置で、出力は例えばカメラ１１からの視線方向距離）を求めて記憶する。この方程式が表す平面（トレイ８の表面）の距離画像をTsとする。商品を乗せたトレイ８を撮像し、その距離画像Psと、トレイ表面の距離画像Tsとの差分Ps-Tsを求めると、これはトレイ８の表面からの距離の画像である。なおトレイ表面の距離画像を記憶して、Tsをその都度生成する代わりに、トレイ表面の距離画像をそのまま記憶しても良い。以上のようにすると、トレイ８の表面からの商品の高さの画像を求めることができ、商品の高さを識別に用いることができる。
【００２６】
実施例ではパンの識別を示したが、野菜、果物、魚介類、肉類、薬品の錠剤等、識別対象の商品は任意である。V値の調整ではHSV画像を経由する必要はなく、明度を求めればよい。ホワイトバランスでは、R値,G値、B値の代表値を比較する代わりに、HSV画像でのH値（色相値）がほぼ０（無色）で、S値（飽和値）がほぼ0となるように調整しても良い。代表値は平均値、中央値、値の分布のピーク値等を用いればよい。距離画像用カメラ１１には、複眼視によるカメラ、液晶シャッタアレイカメラ等を用いても良い。また識別コンピュータ１４は物理的には、POS端末１６と一体でも良い。
【符号の説明】
【００２７】
２          店舗システム
４          バックライトパネル
５          パネル
６          バックライト光源
８          トレイ
１０        デジタルカメラ
１１        距離画像用カメラ
１２        タッチパネル
１４        識別コンピュータ
１５        LAN
１６        POS端末
１８        ディスプレイ
２０        カメラドライブ
２１        カメラ調整インターフェース
２２        バックライトパネルドライブ
２４        学習データメモリ
２６        学習データ管理部
２８        商品識別部
３０        ドライブ
３１        メモリ
３６        POSインターフェース
４０        チェックシート
４２        表示範囲
４３        識別範囲
５１〜５３  撮像素子
５４        変換部
５６〜５８  乗算部
５９        HSV変換部      
【図１】
2015065494.tif 000003
【図２】
2015065494.tif 000004
【図３】
2015065494.tif 000005
【図４】
2015065494.tif 000006
【図５】
2015065494.tif 000007
【図６】
2015065494.tif 000008
【図７】
2015065494.tif 000009
【図８】
2015065494.tif 000010
【図９】
2015065494.tif 000011
【図１０】
2015065494.tif 000012