(57)【要約】【課題】商品名称や価格を手軽に確認できるようにする学習モデル生成装置を提供する。【解決手段】特定色の背景の前に置かれた商品を複数のアングルで撮影した画像を受信する受信部１１と、受信された各画像に対応付けて登録される商品情報として、画像に対応する商品の商品名称及び価格の入力を受け付ける入力受付部１２と、受信された各画像から特定色の背景を取り除く背景除去部１３と、商品が店舗で販売されるときに商品の背景となり得る複数の背景画像に対し、特定色の背景が取り除かれた画像をそれぞれ合成することで合成画像を生成する画像合成部１４と、生成された合成画像と、対応する商品情報に含まれる商品名称及び価格との組み合わせを含む教師データを用いて学習し、入力された一つ以上の商品の画像に対応する商品名称及び価格を出力する、学習モデルを生成する学習部１６と、を備える。【選択図】図１
2020119283.tif 000002
【特許請求の範囲】
【請求項１】
クロマキー合成時に取り除かれる特定色の背景の前に置かれた商品を複数のアングルで撮影した画像を受信する受信部と、
前記受信部により受信されたそれぞれの前記画像に対応付けて登録される商品情報として、少なくとも前記画像に対応する商品の商品名称及び価格の入力を受け付ける入力受付部と、
前記受信部により受信されたそれぞれの前記画像から前記特定色の背景を取り除く背景除去部と、
前記商品が店舗で販売されるときに前記商品の背景となり得る複数の背景画像に対し、前記背景除去部により前記特定色の背景が取り除かれた前記画像を、それぞれ合成することで、合成画像を生成する画像合成部と、
前記画像合成部により生成された前記合成画像と、対応する前記商品情報に含まれる商品名称及び価格との組み合わせを含む教師データを用いて学習し、入力された一つ以上の商品の画像に対応する商品名称及び価格を出力する、学習モデルを生成する学習部と、
を備える学習モデル生成装置。
【請求項２】
前記画像合成部により生成されたそれぞれの前記合成画像に対応する属性情報を調整し、前記属性情報が異なる複数の前記合成画像を生成する合成画像増殖部をさらに備え、
前記学習部は、前記画像合成部及び前記合成画像増殖部により生成された前記合成画像と、対応する前記商品情報に含まれる商品名称及び価格との組み合わせを含む教師データを用いて学習する、
請求項１記載の学習モデル生成装置。
【請求項３】
前記属性情報は、少なくとも、コントラスト、サイズ、回転角度及びノイズのいずれかを含む、
請求項２記載の学習モデル生成装置。
【請求項４】
前記背景画像は、少なくとも、買い物かごの内側を背景とする画像を含む、
請求項１から３のいずれか一項に記載の学習モデル生成装置。
【請求項５】
コンピュータに、
撮影部により撮影される一つ以上の商品をディスプレイに表示する機能、
ディスプレイに表示される一つ以上の商品の画像を学習モデルに入力する機能、
学習モデルから出力される商品名称及び価格を、前記商品に対応させてディスプレイに表示する機能、
ユーザによる集計指示に従って、ディスプレイに表示された一つ以上の商品に対応する合計金額をディスプレイに表示する機能、
を実現させるためのプログラム。
【請求項６】
端末装置に、
撮影部により撮影される一つ以上の商品をディスプレイに表示する処理、
ディスプレイに表示される一つ以上の商品の画像を学習モデルに入力する処理、
学習モデルから出力される商品名称及び価格を、前記商品に対応させてディスプレイに表示する処理、
ユーザによる集計指示に従って、ディスプレイに表示された一つ以上の商品に対応する合計金額をディスプレイに表示する処理、
を実行させるアプリケーションプログラムをインストールさせるために配信することにより、端末装置を製造する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習モデル生成装置、プログラム、及び端末装置を製造する方法に関する。
【背景技術】
【０００２】
下記特許文献１には、携帯装置を使用して商品を購入する方法が開示されている。この方法では、ユーザが、携帯装置のカメラを利用して商品のバーコードをスキャンし、バーコードに含まれる商品の識別情報をサーバに送信する。続いて、サーバが、商品の識別情報に基づいて商品名称や価格等の商品情報を取得し、取得した商品情報を仮想ショッピングカートに収容する。その後、仮想ショッピングカートに収容された商品情報に基づいて精算処理が行われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１３−５４１１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の方法では、商品名称や価格を携帯装置で確認する場合、購入を前提として、商品ごとにバーコードをスキャンさせる必要がある。したがって、陳列棚に並べられている商品や購入が未確定の商品の商品名称や価格を確認する場合には、バーコードをスキャンさせて商品名称や価格を確認し、その後、購入をキャンセルする必要がある。
【０００５】
そこで、本発明は、商品名称や価格を手軽に確認できるようにする学習モデル生成装置、プログラム、及び端末装置を製造する方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る学習モデル生成装置は、クロマキー合成時に取り除かれる特定色の背景の前に置かれた商品を複数のアングルで撮影した画像を受信する受信部と、前記受信部により受信されたそれぞれの前記画像に対応付けて登録される商品情報として、少なくとも前記画像に対応する商品の商品名称及び価格の入力を受け付ける入力受付部と、前記受信部により受信されたそれぞれの前記画像から前記特定色の背景を取り除く背景除去部と、前記商品が店舗で販売されるときに前記商品の背景となり得る複数の背景画像に対し、前記背景除去部により前記特定色の背景が取り除かれた前記画像を、それぞれ合成することで、合成画像を生成する画像合成部と、前記画像合成部により生成された前記合成画像と、対応する前記商品情報に含まれる商品名称及び価格との組み合わせを含む教師データを用いて学習し、入力された一つ以上の商品の画像に対応する商品名称及び価格を出力する、学習モデルを生成する学習部と、を備える。
【０００７】
上記態様において、前記画像合成部により生成されたそれぞれの前記合成画像に対応する属性情報を調整し、前記属性情報が異なる複数の前記合成画像を生成する合成画像増殖部をさらに備え、前記学習部は、前記画像合成部及び前記合成画像増殖部により生成された前記合成画像と、対応する前記商品情報に含まれる商品名称及び価格との組み合わせを含む教師データを用いて学習することとしてもよい。
【０００８】
上記態様において、前記属性情報は、少なくとも、コントラスト、サイズ、回転角度及びノイズのいずれかを含むこととしてもよい。
【０００９】
上記態様において、前記背景画像は、少なくとも、買い物かごの内側を背景とする画像を含むこととしてもよい。
【００１０】
本発明の他の態様に係るプログラムは、コンピュータに、撮影部により撮影される一つ以上の商品をディスプレイに表示する機能、ディスプレイに表示される一つ以上の商品の画像を学習モデルに入力する機能、学習モデルから出力される商品名称及び価格を、前記商品に対応させてディスプレイに表示する機能、ユーザによる集計指示に従って、ディスプレイに表示された一つ以上の商品に対応する合計金額をディスプレイに表示する機能、を実現させる。
【００１１】
本発明の他の態様に係る端末装置を製造する方法は、端末装置に、撮影部により撮影される一つ以上の商品をディスプレイに表示する処理、ディスプレイに表示される一つ以上の商品の画像を学習モデルに入力する処理、学習モデルから出力される商品名称及び価格を、前記商品に対応させてディスプレイに表示する処理、ユーザによる集計指示に従って、ディスプレイに表示された一つ以上の商品に対応する合計金額をディスプレイに表示する処理、を実行させるアプリケーションプログラムをインストールさせるために配信することにより、端末装置を製造する。
【発明の効果】
【００１２】
本発明によれば、商品名称や価格を手軽に確認できるようにする学習モデル生成装置、プログラム、及び端末装置を製造する方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る学習モデル生成装置の構成を例示する図である。
【図２】実施形態に係る端末装置の構成を例示する図である。
【図３】（Ａ）乃び（Ｂ）、並びに（Ｃ）乃び（Ｄ）は、グリーンの背景の前に置かれた商品をアングルを変えて撮影した画像の一例を示す模式図である。
【図４】（Ａ）乃至（Ｄ）は、図３（Ａ）乃至（Ｄ）の画像からグリーンの背景を取り除いた画像を例示する模式図である。
【図５】（Ａ）は店舗にある商品陳列棚の画像を例示し、（Ｂ）は（Ａ）の画像上に図４（Ａ）の画像を合成して作成した合成画像を例示する模式図である。
【図６】端末装置のタッチパネルに表示される画面の一例を示す模式図である。
【図７】端末装置のタッチパネルに表示される画面の一例を示す模式図である。
【図８】実施形態に係る学習モデル生成装置の動作手順の一例を説明するフローチャートである。
【図９】実施形態に係る端末装置の動作手順の一例を説明するフローチャートである。
【発明を実施するための形態】
【００１４】
添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは同一又は同様の構成を有する。
【００１５】
図１を参照し、実施形態に係る学習モデル生成装置の構成について説明する。学習モデル生成装置１は、後述する端末装置のカメラで撮影された商品の画像を入力とし、その画像に対応する商品名称及び価格を出力とする学習モデルを生成するサーバ装置である。
【００１６】
学習モデル生成装置１は、物理的な構成として、例えば、ＣＰＵ（プロセッサ）及びメモリを含む制御装置１０、通信装置２０、記憶装置３０、入力装置４０並びに出力装置（例えば、ディスプレイ、スピーカ）５０等を備えて構成される。カメラ９は、有線通信又は無線通信を用いて学習モデル生成装置１に接続することができる。ＣＰＵがメモリや記憶装置３０に格納された所定のプログラムを実行することにより、以下の各機能が発現する。
【００１７】
学習モデル生成装置１は、機能的な構成として、例えば、受信部１１、入力受付部１２、背景除去部１３、画像合成部１４、合成画像増殖部１５及び学習部１６を有する。各機能について以下に説明する。
【００１８】
受信部１１は、クロマキー合成時に取り除かれる特定色の背景の前に置かれた商品を、複数のアングルで撮影した画像をカメラ９から受信する。クロマキー合成は、映像（画像）を合成する技法の一つであり、特定の色が表示されている領域に他の映像（画像）をはめ込む技法である。特定の色として、グリーンやブルーが一般に使用される。本実施形態では、特定の色としてグリーンを用いる場合について、例示的に説明する。撮影するアングルは、異なるアングルの数が多くなるほど学習モデルの学習効果を高めることができる。他方、撮影するアングルの数が多くなるほど撮影の手間や学習時間が増大することになる。したがって、学習効果と労力とを勘案し、撮影するアングルの数を適宜定めることが望ましい。
【００１９】
図３に、異なるアングルで商品を撮影した画像について例示する。図３（Ａ）は、グリーンの背景（グリーンバック）Ｂの前に立てて置いたＡコーヒーＭａをほぼ正面から撮影した画像である。図３（Ｂ）は、図３（Ａ）のＡコーヒーＭａを横に寝かせた状態でほぼ正面から撮影した画像である。図３（Ｃ）は、グリーンの背景Ｂの前に立てて置いたＢコーヒーＭｂをほぼ正面から撮影した画像である。図３（Ｄ）は、図３（Ｃ）のＢコーヒーＭｂを真上に近い所から撮影した画像である。
【００２０】
図１に示す入力受付部１２は、受信部１１により受信されたそれぞれの画像に対応付けて登録される商品情報の入力を受け付ける。商品情報は、画像に対応する商品に関する情報であり、例えば、商品名称、価格、商品の産地、商品の賞味期限、商品の評価等を含む。本実施形態では、商品情報として、少なくとも、商品名称及び価格を含むこととする。商品情報の入力は、例えば、管理者が入力装置４０を操作して入力することができる。入力された商品情報を画像に対応付けて登録することで、後述する学習モデルを生成する際に、商品情報を入力する労力を削減することができる。
【００２１】
背景除去部１３は、受信部１１により受信されたそれぞれの画像から特定色の背景を取り除く。図４に、特定色の背景が取り除かれた画像について例示する。図４（Ａ）、（Ｂ）は、図３（Ａ）、（Ｂ）の各画像からグリーンの背景Ｂを取り除いたＡコーヒーＭａの画像である。図４（Ｃ）、（Ｄ）は、図３（Ｃ）、（Ｄ）の各画像からグリーンの背景Ｂを取り除いたＢコーヒーＭｂの画像である。
【００２２】
図１に示す画像合成部１４は、背景除去部１３により特定色の背景が取り除かれた画像を、複数の背景画像にそれぞれ合成することで、合成画像を生成する。合成に用いる背景画像は、商品が店舗で販売されるときに商品の背景となり得る画像を用いる。例えば、商品を入れる買い物かごの内側を背景とする画像や、商品が陳列される棚を背景とする画像等を用いることが好ましい。背景画像は、背景画像の数が多くなるほど学習モデルの学習効果を高めることができる。他方、背景画像の数が多くなるほど合成の手間や学習時間が増大することになる。したがって、学習効果と労力とを勘案し、背景画像の数を適宜定めることが望ましい。
【００２３】
図５に、背景画像及び合成画像の一例を示す。図５（Ａ）は、飲料品が陳列されている棚を写した背景画像である。図５（Ｂ）は、図５（Ａ）の背景画像上に、図４（Ａ）のＡコーヒーＭａの画像を合成することで作成された合成画像である。
【００２４】
図１に示す合成画像増殖部１５は、画像合成部１４により生成されたそれぞれの合成画像に対応する属性情報を調整し、属性情報が異なる複数の合成画像を生成する。属性情報は、例えば、合成画像のコントラスト、合成画像のサイズ、元の合成画像から画像全体を回転させた角度及び合成画像に含まれるノイズを含む。属性情報を変更することで合成画像の数を増やすことができるため、異なる合成画像を生成する処理の高速化を実現することが可能となる。
【００２５】
増殖させる合成画像は、増殖させる数が多くなるほど学習モデルの学習効果を高めることができる。他方、増殖させる数が多くなるほど調整の手間や学習時間が増大することになる。したがって、学習効果と労力とを勘案し、増殖させる合成画像の数を適宜定めることが望ましい。
【００２６】
学習部１６は、画像合成部１４及び合成画像増殖部１５により生成された合成画像と、その合成画像に対応する商品情報に含まれる商品名称及び価格との組み合わせを含む教師データを学習することで、学習モデルを生成する。学習部１６は、学習した教師データに基づいて、学習モデルに入力された一つ以上の商品の画像に対応する商品名称及び価格を出力する。
【００２７】
学習部１６の機能は、例えば、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、Ｒ−ＣＮＮ（Regions with CNN features）等の物体検出用のディープラーニングモデルを利用して実現することができる。
【００２８】
図２を参照し、実施形態に係る端末装置の構成について説明する。端末装置６は、物理的な構成として、例えば、ＣＰＵ（プロセッサ）及びメモリを含む制御装置６１、記憶装置６２、入力装置及びディスプレイを含むタッチパネル６３、通信装置６４並びにカメラ（撮影装置）６５等を備えて構成される。
【００２９】
端末装置６には、学習部１６が生成した学習モデルを搭載したアプリケーションプログラムがインストールされている。ＣＰＵがメモリ又は記憶装置６２に格納されたアプリケーションプログラムを実行することにより、以下の各機能が発現する。
【００３０】
端末装置６は、機能的な構成として、例えば、商品画像表示機能、入力機能、商品情報表示機能、及び合計金額表示機能を有する。商品画像表示機能は、カメラ６５で撮影されている一つ以上の商品をディスプレイに表示する機能である。入力機能は、ディスプレイに表示される一つ以上の商品の画像を学習モデルに入力する機能である。
【００３１】
商品情報表示機能は、学習モデルから出力される商品名称及び価格を、その商品に対応させてディスプレイに表示する機能である。図６に、商品に対応させて商品名称及び価格を表示する画面の一例を示す。端末装置６のディスプレイ６３には、カメラ６５により撮影されている買い物かごの内側が表示されている。買い物かごの内側には、ＡコーヒーＭａ、ＢコーヒーＭｂ、たまねぎＭｃ、りんごＭｄ、バナナＭｅが収納されている。
【００３２】
図６には、ＡコーヒーＭａに対応させて、商品名称“Ａコーヒー”及び価格“￥６７”が表示され、ＢコーヒーＭｂに対応させて、商品名称“Ｂコーヒー”及び価格“￥９５”が表示されている。同様に、たまねぎＭｃに対応させて、商品名称“たまねぎ”及び価格“￥１００”が表示され、りんごＭｄに対応させて、商品名称“りんご”及び価格“￥１０９”が表示され、バナナＭｅに対応させて、商品名称“バナナ”及び価格“￥２０１”が表示されている。画面下部にあるボタンＴをクリックすると、集計指示が送出され、後述する図７に示す画面に遷移する。
【００３３】
合計金額表示機能は、ユーザによる集計指示に従って、ディスプレイに表示された一つ以上の商品に対応する合計金額等を表示する機能である。図７に、各商品に対応する合計金額を表示する画面の一例を示す。端末装置６のディスプレイ６３には、カメラ６５により撮影されている各商品の明細情報及び最安値情報と、合計及び最安値合計とが表示されている。
【００３４】
明細情報は、カメラ６５により撮影されている各商品の商品名称及び価格であり、最安値情報は、その商品を販売している周辺店舗での最安値及び最安値の店舗名称である。合計は、カメラ６５により撮影されている各商品の価格の合計値であり、最安値合計は、各商品の最安値の合計値である。図７には、合計として、“５７２円”が表示され、最安値合計として、“４６８円”が表示されている。
【００３５】
このように、端末装置６のカメラ６５を用いて一つ以上の商品をディスプレイに表示すると、各商品の合計金額や周辺店舗を含む店舗での各商品の最安値等が表示されるため、ユーザの買い物を効率よく支援することが可能となる。
【００３６】
次に、図８を参照して、実施形態に係る学習モデル生成装置１の動作の一例について説明する。
【００３７】
最初に、学習モデル生成装置１の受信部１１は、グリーンの背景の前に置かれた商品を、複数のアングルで撮影した画像をカメラ９から受信する（ステップＳ１０１）。
【００３８】
続いて、入力受付部１２は、上記ステップＳ１０１で受信した各画像に対応付けて登録される商品情報として、商品名称及び価格の入力を受け付ける（ステップＳ１０２）。
【００３９】
続いて、背景除去部１３は、上記ステップＳ１０１で受信した各画像からグリーンの背景を取り除く（ステップＳ１０３）。
【００４０】
続いて、画像合成部１４は、上記ステップＳ１０３でグリーンの背景が取り除かれた画像を、複数の背景画像にそれぞれ合成することで、合成画像を生成する（ステップＳ１０４）。
【００４１】
続いて、合成画像増殖部１５は、上記ステップＳ１０４で生成された各合成画像に対応する属性情報を調整し、属性情報が異なる複数の合成画像を生成する（ステップＳ１０５）。
【００４２】
続いて、学習部１６は、上記ステップＳ１０４及びステップＳ１０５で生成された合成画像と、その合成画像に対応する商品情報に含まれる商品名称及び価格との組み合わせを含む教師データを用いて学習モデルを生成する（ステップＳ１０６）。そして本動作を終了する。
【００４３】
次に、図９を参照して、実施形態に係る端末装置６の動作の一例について説明する。
【００４４】
最初に、端末装置６は、カメラ６５で撮影されている一つ以上の商品をディスプレイに表示する（ステップＳ２０１）。
【００４５】
続いて、端末装置６は、ディスプレイに表示される一つ以上の商品の画像を学習モデルに入力する（ステップＳ２０２）。
【００４６】
続いて、端末装置６は、学習モデルから出力される商品名称及び価格を、その商品に対応させてディスプレイに表示する（ステップＳ２０３）。
【００４７】
続いて、端末装置６は、ユーザによる集計指示（ボタンＴをクリック）が発行されたかどうかを判定する（ステップＳ２０４）。この判定がＮＯである場合（ステップＳ２０４；ＮＯ）には、集計指示が発行されるまで待機する。ここで、集計指示の発行を待機している際に、カメラ６５で撮影される商品が変更された場合には、上記ステップＳ２０１に処理を移行し、変更された商品について、前述したステップＳ２０１からステップＳ２０３までの処理を実行する。
【００４８】
一方、上記ステップＳ２０４で集計指示が発行されたと判定された場合（ステップＳ２０４；ＹＥＳ）に、端末装置６は、ディスプレイに表示された各商品に対応する合計金額等をディスプレイに表示する（ステップＳ２０５）。そして本動作を終了する。
【００４９】
前述したように、実施形態における学習モデル生成装置１によれば、グリーンの背景の前に置かれた商品を複数のアングルで撮影した画像を受信し、その各画像に対応付けて登録される商品名称及び価格の入力を受け付けるとともに、商品が店舗で販売されるときに商品の背景となり得る複数の背景画像に対し、各画像からグリーンの背景が取り除かれた画像をそれぞれ合成して合成画像を生成し、その合成画像と、対応する商品名称及び価格との組み合わせを含む教師データを用いて学習モデルを生成することができる。そして、この学習モデルに、一つ以上の商品の画像を入力して、商品の画像に対応する商品名称及び価格を出力することが可能となる。
【００５０】
それゆえ、実施形態における学習モデル生成装置１によれば、商品名称や価格を手軽に確認させることが可能となる。
【００５１】
また、学習モデル生成装置１によれば、生成した各合成画像に対応する属性情報を調整し、属性情報が異なる複数の合成画像をさらに生成することで、教師データに用いる合成画像を増やす処理を高速化することができる。
【００５２】
[変形例]
なお、本発明は、前述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。したがって、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、前述した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更し、又は並列に実行することができる。
【００５３】
また、学習モデル生成装置１の構成要素は、前述した実施形態における構成要素に限定されることなく、必要に応じて任意の構成要素を適宜省略することや追加することができる。例えば、学習モデル生成装置１の機能的な構成のうち、合成画像増殖部１５を省略することとしてもよい。
【符号の説明】
【００５４】
１…学習モデル生成装置、６…端末装置、９…カメラ、１０…制御装置、１１…受信部、１２…入力受付部、１３…背景除去部、１４…画像合成部、１５…合成画像増殖部、１６…学習部、２０…通信装置、３０…記憶装置、４０…入力装置、６１…制御装置、６２…記憶装置、６３…タッチパネル（入力装置及びディスプレイ）、６４…通信装置、６５…カメラ。
【図１】
2020119283.tif 000003
【図２】
2020119283.tif 000004
【図３】
2020119283.tif 000005
【図４】
2020119283.tif 000006
【図５】
2020119283.tif 000007
【図６】
2020119283.tif 000008
【図７】
2020119283.tif 000009
【図８】
2020119283.tif 000010
【図９】
2020119283.tif 000011