(57)【要約】      （修正有）【課題】重なった商品を区別できる商品識別装置を提供する。【解決手段】教師データの生成方法は、１又は複数の種類の商品が写った集合画像から、集合画像に含まれる各商品の数量を演算する商品識別装置のための、演算器Ｘの生成に用いる教師データの生成方法である。教師データは、複数の学習用集合画像４１および複数の学習用集合画像４１の各々に付されたラベル４２を含む。教師データの生成方法は、各種類の１つの商品を写した個別画像４３ａ１〜４３ａ６、４３ｂ１〜４３ｂ６、４３ｃ１〜４３ｃ６を取得する第１ステップと、個別画像をランダムに配置することによって１又は複数の商品を含む複数の学習用集合画像４１を生成する第２ステップと、を備える。第２ステップで生成される複数の学習用集合画像４１は、個別画像どうしが少なくとも部分的にオーバーラップした学習用集合画像４１を含む。【選択図】図１２
2020080003.tif 000002
【特許請求の範囲】
【請求項１】
１又は複数の種類の商品が写った集合画像から、前記集合画像に含まれる各種類の前記商品の数量を演算する商品識別装置のための、演算器の生成に用いる教師データの生成方法であって、
前記教師データは、複数の学習用集合画像および複数の前記学習用集合画像の各々に付されたラベルを含み、
各種類の１つの前記商品を写した個別画像を取得する第１ステップと、
前記個別画像をランダムに配置することによって１又は複数の前記商品を含む複数の前記学習用集合画像を生成する第２ステップと、
を備え、
前記第２ステップで生成される複数の前記学習用集合画像は、前記個別画像どうしが少なくとも部分的にオーバーラップした前記学習用集合画像を含む、
教師データの生成方法。
【請求項２】
前記第２ステップで生成される前記学習用集合画像に含まれる各種類の前記商品の前記数量を、前記ラベルとして前記学習用集合画像に付す第３ステップ、
をさらに備える、
請求項１に記載の教師データの生成方法。
【請求項３】
前記第２ステップで生成される前記学習用集合画像に含まれる前記個別画像の各々に対応する重心の座標を、前記ラベルとして前記学習用集合画像に付す第３ステップ、
をさらに備える、
請求項１に記載の教師データの生成方法。
【請求項４】
前記第２ステップで生成される前記集合画像に含まれる前記個別画像の各々を、それぞれ、対応する代表画像で置換した置換画像を、前記ラベルとして前記学習用集合画像に付す第３ステップ、
をさらに備える、
請求項１に記載の教師データの生成方法。
【請求項５】
前記代表画像は、前記個別画像の各々の重心を示す画素である、
請求項４に記載の教師データの生成方法。
【請求項６】
前記代表画像は、前記個別画像の各々の輪郭である、
請求項４に記載の教師データの生成方法。
【請求項７】
前記第２ステップにおいて、前記個別画像の面積に対するオーバーラップ箇所の面積の割合で規定されるオーバーラップ率の、上限値及び下限値を指定できる、
請求項１から６のいずれか１項に記載の教師データの生成方法。
【請求項８】
前記第２ステップにおいて、前記個別画像を配置する際に、前記個別画像ごとに、
ランダムな比率で前記個別画像を拡大又は縮小する処理、
ランダムな角度で前記個別画像を回転させる処理、
ランダムな度合いで前記個別画像のコントラストを変化させる処理、及び、
ランダムに前記個別画像を反転させる処理、
の少なくとも１つを行う、
請求項１から７のいずれか１項に記載の教師データの生成方法。
【請求項９】
前記商品は、食品である、
請求項１から８のいずれか１項に記載の教師データの生成方法。
【請求項１０】
１又は複数の種類の商品が写った集合画像から、前記集合画像に含まれる各種類の前記商品の数量を演算する商品識別装置のための、演算器の生成に用いる教師データの生成プログラムであって、
前記教師データは、複数の学習用集合画像および複数の前記学習用集合画像の各々に付されたラベルを含み、
コンピュータを、
各種類の１つの前記商品を写した個別画像を取得する個別画像取得部、及び、
前記個別画像をランダムに配置することによって１又は複数の前記商品を含む複数の前記学習用集合画像を生成する学習用集合画像生成部、
として機能させ、
前記学習用集合画像のなかに、前記個別画像どうしが少なくとも部分的にオーバーラップするものが含まれる、
教師データの生成プログラム。
【請求項１１】
１又は複数の種類の商品が写った集合画像から、前記集合画像に含まれる各種類の前記商品の数量を演算する商品識別装置のための、演算器の生成に用いる教師データの生成装置であって、
前記教師データは、複数の学習用集合画像および複数の前記学習用集合画像の各々に付されたラベルを含み、
各種類の１つの前記商品を写した個別画像を取得する個別画像取得部、及び、
前記個別画像をランダムに配置することによって１又は複数の前記商品を含む複数の前記学習用集合画像を生成する学習用集合画像生成部、
を備え、
前記学習用集合画像生成部は、前記個別画像どうしを少なくとも部分的にオーバーラップさせる、
教師データの生成装置。
【請求項１２】
１又は複数の種類の商品が写った集合画像から、前記集合画像に含まれる各種類の商品の数量を演算する商品識別装置であって、
カメラと、
前記カメラの出力を処理するニューラルネットワークと、
を備え、
前記ニューラルネットワークは、教師データを用いて学習したものであり、
前記教師データは、複数の学習用集合画像および複数の前記学習用集合画像の各々に付されたラベルを含み、
複数の前記学習用集合画像は、少なくとも部分的にオーバーラップした複数の商品の個別画像を含む前記学習用集合画像を含む、
商品識別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、教師データ生成方法、教師データ生成プログラム、教師データ生成装置、及び商品識別装置に関する。
【背景技術】
【０００２】
特許文献１（特開２０１７−２７１３６号公報）が開示する店舗システムは、商品を画像認識により識別する。このようなシステムは、商店の会計係などにおける応用が期待されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
複数の商品が写った画像を撮影する際に、商品が部分的に重なることがある。このような場合、従来の画像処理では、重なり合う複数の商品の区別に支障をきたすことがある。この問題は、近年注目されている機械学習を用いた画像処理においても同様である。
【０００４】
本開示の課題は、複数の商品を識別する商品識別装置等において、商品の数量を演算する演算器を機械学習によって学習する際、重なった商品を区別できるようにすることである。
【課題を解決するための手段】
【０００５】
第１観点に係る教師データの生成方法は、１又は複数の種類の商品が写った集合画像から、集合画像に含まれる各種類の商品の数量を演算する商品識別装置のための、演算器の生成に用いるものである。教師データは、複数の学習用集合画像および複数の学習用集合画像の各々に付されたラベルを含む。教師データの生成方法は、各種類の１つの商品を写した個別画像を取得する第１ステップと、個別画像をランダムに配置することによって１又は複数の商品を含む複数の学習用集合画像を生成する第２ステップと、を備える。第２ステップで生成される複数の学習用集合画像は、個別画像どうしが少なくとも部分的にオーバーラップした学習用集合画像を含む。
【０００６】
この方法によれば、学習用集合画像の少なくとも一部として、個別画像どうしが少なくとも部分的にオーバーラップしたものが存在する。したがって、オーバーラップした商品を識別可能な演算器を構成する教師画像データを得ることができる。
【０００７】
第２観点に係る教師データの生成方法は、第１観点に係る教師データの生成方法において、第２ステップで生成される学習用集合画像に含まれる各種類の商品の数量を、ラベルとして学習用集合画像に付す第３ステップ、をさらに備える。
【０００８】
この方法によれば、教師データは、各商品の数量をラベルとして含む。したがって、商品の数量を識別できるよう、演算器を訓練できる。
【０００９】
第３観点に係る教師データの生成方法は、第１観点に係る教師データの生成方法において、第２ステップで生成される学習用集合画像に含まれる個別画像の各々に対応する重心の座標を、ラベルとして学習用集合画像に付す第３ステップ、をさらに備える。
【００１０】
この方法によれば、教師データは、個別画像の重心の座標を、ラベルとして含む。したがって、複数の商品を単一の商品であると誤認しないよう、演算器を訓練できる。
【００１１】
第４観点に係る教師データの生成方法は、第１観点に係る教師データの生成方法において、第２ステップで生成される集合画像に含まれる個別画像の各々を、それぞれ、対応する代表画像で置換した置換画像を、ラベルとして学習用集合画像に付す第３ステップ、をさらに備える。
【００１２】
この方法によれば、教師データは、個別画像を代表画像で置換した置換画像をラベルとして含む。
【００１３】
第５観点に係る教師データの生成方法は、第４観点に係る教師データの生成方法において、代表画像は、個別画像の各々の重心を示す画素である。
【００１４】
この方法によれば、教師データは、個別画像をその重心画素で置換した置換画像をラベルとして含む。
【００１５】
第６観点に係る教師データの生成方法は、第４観点に係る教師データの生成方法において、代表画像は、個別画像の各々の輪郭である。
【００１６】
この方法によれば、教師データは、個別画像をその輪郭で置換した置換画像をラベルとして含む。
【００１７】
第７観点に係る教師データの生成方法は、第１観点から第６観点のいずれか１項に記載の教師データの生成方法であって、第２ステップにおいて、個別画像の面積に対するオーバーラップ箇所の面積の割合で規定されるオーバーラップ率の、上限値及び下限値を指定できる。
【００１８】
この方法によれば、学習用集合画像における、個別画像のオーバーラップの度合いが指定される。したがって、現実的に起こりうるオーバーラップの度合いに適した演算器の学習が可能である。
【００１９】
第８観点に係る教師データの生成方法は、第１観点から第７観点のいずれか１項に記載の教師データの生成方法であって、第２ステップにおいて、個別画像を配置する際に、個別画像ごとに、ランダムな比率で個別画像を拡大又は縮小する処理、ランダムな角度で個別画像を回転させる処理、ランダムな度合いで個別画像のコントラストを変化させる処理、及び、ランダムに個別画像を反転させる処理、の少なくとも１つを行う。
【００２０】
この方法によれば、教師データの量が増える。したがって、演算器の認識精度を向上できる。
【００２１】
第９観点に係る教師データの生成方法は、第１観点から第８観点のいずれか１項に記載の教師データの生成方法であって、商品は、食品である。
【００２２】
この方法によれば、食品について演算器の認識精度を向上できる。
【００２３】
第１０観点に係る教師データの生成プログラムは、１又は複数の種類の商品が写った集合画像から、集合画像に含まれる各種類の商品の数量を演算する商品識別装置のための、演算器の生成に用いるものである。教師データは、複数の学習用集合画像および複数の学習用集合画像の各々に付されたラベルを含む。教師データの生成プログラムは、コンピュータを、各種類の１つの商品を写した個別画像を取得する個別画像取得部、及び、個別画像をランダムに配置することによって１又は複数の商品を含む複数の学習用集合画像を生成する学習用集合画像生成部、として機能させる。学習用集合画像のなかに、個別画像どうしが少なくとも部分的にオーバーラップするものが含まれる。
【００２４】
この構成によれば、学習用集合画像の少なくとも一部として、個別画像どうしが少なくとも部分的にオーバーラップしたものが存在する。したがって、オーバーラップした商品を識別可能な演算器を構成する教師画像データを得ることができる。
【００２５】
第１１観点に係る教師データの生成装置は、１又は複数の種類の商品が写った集合画像から、集合画像に含まれる各種類の商品の数量を演算する商品識別装置のための、演算器の生成に用いるものである。教師データは、複数の学習用集合画像および複数の学習用集合画像の各々に付されたラベルを含む。教師データの生成装置は、各種類の１つの商品を写した個別画像を取得する個別画像取得部、及び、個別画像をランダムに配置することによって１又は複数の商品を含む複数の学習用集合画像を生成する学習用集合画像生成部、を備える。学習用集合画像生成部は、個別画像どうしを少なくとも部分的にオーバーラップさせる。
【００２６】
この構成によれば、学習用集合画像の少なくとも一部として、個別画像どうしが少なくとも部分的にオーバーラップしたものが存在する。したがって、オーバーラップした商品を識別可能な演算器を構成する教師画像データを得ることができる。
【００２７】
第１２観点に係る商品識別装置は、１又は複数の種類の商品が写った集合画像から、集合画像に含まれる各種類の商品の数量を演算するものである。商品識別装置は、カメラと、カメラの出力を処理するニューラルネットワークと、を備える。ニューラルネットワークは、教師データを用いて学習したものである。教師データは、複数の学習用集合画像および複数の学習用集合画像の各々に付されたラベルを含む。複数の学習用集合画像は、少なくとも部分的にオーバーラップした複数の商品の個別画像を含む学習用集合画像を含む。
【００２８】
この構成によれば、ニューラルネットワークの学習には、オーバーラップした複数の商品の個別画像を含む教師データが用いられる。したがって、ニューラルネットワークの認識制度が向上している。
【発明の効果】
【００２９】
本開示によれば、オーバーラップした商品を識別可能な演算器を構成する教師画像データを得ることができる。
【図面の簡単な説明】
【００３０】
【図１】商品識別装置１０を示す模式図である。
【図２】識別コンピュータ３０のブロック図である。
【図３】教師データ４０を示す模式図である。
【図４】個別画像４３ａ〜４３ｃを示す模式図である。
【図５】商品識別装置１０の学習フェーズを示す模式図である。
【図６】商品識別装置１０の推論フェーズを示す模式図である。
【図７】本開示の第１実施形態に係る教師データ生成装置５０を示す模式図である。
【図８】生成コンピュータ６０のブロック図である。
【図９】教師データ４０の生成方法のフローチャートである。
【図１０】第１実施形態に係る、教師データ４０の生成方法（個別画像を取得するための撮影）を示す模式図である。
【図１１】第１実施形態に係る、教師データ４０の生成方法（個別画像の切り出し）を示す模式図である。
【図１２】第１実施形態に係る、教師データ４０の生成方法（学習用集合画像の生成、及びラベルの付与）を示す模式図である。
【図１３】第２実施形態に係る、教師データ４０の生成方法（学習用集合画像の生成、及びラベルの付与）を示す模式図である。
【図１４】第３実施形態に係る、教師データ４０の生成方法（学習用集合画像の生成、及びラベルの付与）を示す模式図である。
【図１５】第４実施形態に係る、教師データ４０の生成方法（学習用集合画像の生成、及びラベルの付与）を示す模式図である。
【発明を実施するための形態】
【００３１】
以下、図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明の具体例であって、本発明の技術的範囲を限定するものではない。
【００３２】
＜第１実施形態＞
（１）商品識別装置１０
（１−１）構成
図１は商品識別装置１０を示す模式図である。商品識別装置１０は、トレイＴの上に置かれた商品Ｇを識別するものである。商品Ｇは、典型的にはパンや惣菜などの食品である。商品識別装置１０は、例えば、パン販売店、又はスーパーマーケットの惣菜売り場などの店舗の会計係に設置される。商品識別装置１０のユーザは、それらの店舗の店員などである。
【００３３】
商品識別装置１０は、撮影装置２０及び識別コンピュータ３０を有する。撮影装置２０と識別コンピュータ３０はネットワークＮを介して接続されている。ここでいうネットワークＮとは、ＬＡＮでもよいし、ＷＡＮでもよい。撮影装置２０と識別コンピュータ３０は、互いに遠隔地に設置されてもよい。例えば、識別コンピュータ３０はクラウドサーバとして構成されてもよい。あるいは、撮影装置２０と識別コンピュータ３０は、ネットワークＮを介さずに直接接続されてもよい。
【００３４】
（１−１−１）撮影装置２０
撮影装置２０は、ベース２１、支持部２２、光源２３、カメラ２４、表示部２５、入力部２６を有する。ベース２１は、トレイＴを載置するための台として機能する。支持部２２は、光源２３及びカメラ２４を支持する。光源２３は、トレイＴの上に置かれた商品を照らすためのものである。カメラ２４は、トレイＴの上に置かれた商品Ｇを撮影するためのものである。表示部２５は、商品Ｇの識別結果を表示するためのものである。入力部２６は、商品Ｇの名称などを入力するためのものである。
【００３５】
（１−１−２）識別コンピュータ３０
図２に示すように、識別コンピュータ３０は、専用のプログラムを実行することによって、画像取得部３２、商品判定部３５として機能する。画像取得部３２は、カメラ２４と通信を行い、商品Ｇが置かれたトレイＴの静止画を取得する。商品判定部３５は、静止画の中に含まれる商品Ｇを識別し、商品Ｇの数量を算出する。
【００３６】
商品判定部３５は、演算器Ｘを有する。演算器Ｘは、入出力の関係を学習可能な関数近似器である。演算器Ｘは、典型的には多層ニューラルネットワークとして構成される。演算器Ｘは、事前の機械学習の結果として、学習済みモデルＭを獲得している。機械学習は、典型的にはディープラーニングとして行われるが、この態様に限定されるものではない。
【００３７】
（１−２）学習と推論
（１−２−１）教師データ
識別コンピュータ３０の演算器Ｘが学習済みモデルＭを獲得するための学習フェーズは、教師あり学習によって行われる。教師あり学習は、図３に示す教師データ４０を用いて実行される。教師データ４０は、複数の学習用集合画像４１、および、当該複数の学習用集合画像４１の各々に付されたラベル４２からなる。学習用集合画像４１は、演算器Ｘに入力される画像の例を示している。ラベル４２は、学習用集合画像４１を入力された演算器Ｘが出力すべき回答の内容を示している。
【００３８】
本実施形態では、各学習用集合画像４１は、図４に示す個別画像４３ａ〜４３ｃの組み合わせからなる。個別画像４３ａ〜４３ｃの各々は、１種類の商品１つを写した画像である。この例では、個別画像４３ａはクロワッサン（商品Ｇ１）の画像であり、個別画像４３ｂはコーンブレッド（商品Ｇ２）の画像であり、個別画像４３ｃはロールパン（商品Ｇ３）の画像である。図３に示す学習用集合画像４１は、トレイＴの上に置かれた１つ又は複数の商品Ｇ１〜Ｇ３を表現している。また、本実施形態では、ラベル４２は、対応する学習用集合画像４１の中に含まれる各商品Ｇ１〜Ｇ３の数量を表現している。
【００３９】
（１−２−２）学習フェーズ
図５に示すように、学習フェーズでは、教師データ４０を用いて、演算器Ｘに教師あり学習を行わせる。これにより、例えば誤差逆伝播法によって、演算器Ｘが学習済みモデルＭを獲得する。
【００４０】
（１−２−３）推論フェーズ
図６に示すように、推論フェーズは、商品識別装置１０を実際に使用する場面である。店舗において、顧客は購入したい商品ＧをトレイＴに載せる。顧客は会計係までトレイＴを運び、撮影装置２０のベース２１の上に置く。ユーザである店員が、商品識別装置１０を作動させる。カメラ２４が、トレイＴの上の商品の集合画像を撮影する。なお、ここでいう「集合画像」は、商品を１つだけ撮影した画像も含まれる。カメラ２４が撮影した集合画像は、ネットワークＮを介して識別コンピュータ３０の画像取得部３２へ送信される。集合画像は、商品判定部３５へ送られる。商品判定部３５は、集合画像に含まれる各商品Ｇ１〜Ｇ３の数量を推論する。推論の結果は、ネットワークＮを介して撮影装置２０へ転送される。推論の結果は、表示部２５に表示されるとともに、会計処理に利用される。
【００４１】
（２）教師データ生成装置５０
（２−１）構成
図７に示す教師データ生成装置５０は、商品識別装置１０の学習フェーズで用いる教師データ４０（図３）を生成する。教師データ生成装置５０は、商品識別装置１０に用いられるものと同じまたは類似する撮影装置２０、及び生成コンピュータ６０を有する。撮影装置２０と生成コンピュータ６０はネットワークＮを介して接続されている。ここでいうネットワークＮとは、ＬＡＮでもよいし、ＷＡＮでもよい。撮影装置２０と生成コンピュータ６０は、互いに遠隔地に設置されてもよい。例えば、撮影装置２０は、調理場に設置されてもよい。生成コンピュータ６０はクラウドサーバとして構成されてもよい。あるいは、撮影装置２０と識別コンピュータ６０は、ネットワークＮを介さずに直接接続されてもよい。生成コンピュータ６０は、専用のプログラムを搭載されたコンピュータである。図８に示すように、生成コンピュータ６０は、当該プログラムを実行することによって、個別画像取得部６１、学習用集合画像生成部６２、ラベル付与部６３として機能する。
【００４２】
（２−２）教師データの生成
教師データ生成装置５０は、図９に示す手順で教師データ４０を生成する。まず、個別画像取得部６１が商品の個別画像を取得する（ステップ１０４）。具体的には、図１０に示すように、同一の種類の商品Ｇ１を１又は複数個並べたトレイＴを、商品識別装置１０にセットする。次いで、商品Ｇ１の名前を入力部２６から入力する。図１０では、商品Ｇ１の名前として“クロワッサン”が入力されている。次いで、同一の種類の商品Ｇ１の集合画像を撮影する。集合画像は生成コンピュータ６０に送られる。図１１に示すように、生成コンピュータ６０の個別画像取得部６１は、集合画像４５から背景を取り除き、１又は複数の個別画像を、商品名と関連付けて取得する。これにより、６つの個別画像４３ａ１〜４３ａ６が商品名“クロワッサン”と関連付けて取得される。なお、同時に取得された個別画像４３ａ１〜４３ａ６の中に、他の個別画像と比較して極端に大きさ又は形が異なるものが含まれる場合には、その個別画像は廃棄してもよい。これは、例えば、２つの商品Ｇ１が不適切に接触している場合などに起こりうる。
【００４３】
この個別画像の取得を商品Ｇ２、Ｇ３についても行う。
【００４４】
次いで、設定が教師データ生成装置５０に入力される（ステップ１０６）。設定とは、例えば次の値である。
【００４５】
・画像枚数：生成される教師データ４０が何枚の学習用集合画像４１を含むか。
・オーバーラップ率の上限値及び下限値：個別画像のオーバーラップに関し、個別画像の面積に対するオーバーラップ箇所の面積の割合。その上限値と下限値。
・個別画像の含有数：１枚の学習用集合画像４１が最大でいくつの個別画像４３ａ１〜４３ａ６、４３ｂ１〜４３ｂ６、４３ｃ１〜４３ｃ６を含むか。
【００４６】
次いで、学習用集合画像生成部６２が、個別画像をランダムに配置することによって、学習用集合画像４１を１枚生成する（ステップ１０８）。具体的には、図１２に示すように、学習用集合画像生成部６２が、複数種類の個別画像４３ａ１〜４３ａ６、４３ｂ１〜４３ｂ６、４３ｃ１〜４３ｃ６を使用して、学習用集合画像４１を１枚生成する。学習用集合画像４１の中に含まれる各商品の数量、及び配置される各個別画像の位置は、設定の範囲内で無作為に選ばれる。個別画像の配置に際しては、次の処理が行われる。
【００４７】
・ランダムな比率で個別画像を拡大又は縮小する処理。
・ランダムな角度で個別画像を回転させる処理。
・ランダムな度合いで個別画像のコントラストを変化させる処理。
・ランダムに個別画像を反転させる処理。
【００４８】
これらの処理は、食品によく見られる個体差を再現することを意図している。個体差とは、同一の商品について、例えば、大きさ、形、色（パンの焼き加減）などに違いが生じることである。さらに、回転処理によって、商品Ｇの配置方向のバリエーションを扱うことができる。
【００４９】
さらに、図１２に示すように、個別画像の配置に際して、１つの個別画像が他の個別画像とオーバーラップすることが許可される。学習用集合画像４１の中の箇所Ｌ１、箇所Ｌ２、箇所Ｌ３においては、オーバーラップが発生している。このオーバーラップは、オーバーラップ率がステップ１０６で入力されたオーバーラップ率の上限値及び下限値の間に収まるようになされる。典型的には、オーバーラップは一定の割合で発生するように構成される。複数の学習用集合画像４１のうちの一部においてオーバーラップした個別画像が含まれる。
【００５０】
次いで、ラベル付与部６３がラベル４２を生成し、そのラベル４２を学習用集合画像４１に付与する（ステップ１１０）。具体的には、ラベル付与部６３が、学習用集合画像４１に配置した個別画像の記録から、ラベル４２を生成する。ラベル４２は、本実施形態では各商品Ｇ１〜Ｇ３の数量である。ラベル４２は、学習用集合画像４１に付与され、すなわち、学習用集合画像４１と関連付けて記録される。
【００５１】
教師データ生成装置５０は、ラベル４２を付された学習用集合画像４１の枚数が設定された枚数に到達するまで、ステップ１０８とステップ１１０を繰り返す。それによって、学習用集合画像４１とラベル４２の組が多数生成される。
【００５２】
（３）特徴
（３−１）複数の学習用集合画像４１の少なくとも一部として、個別画像４３ａ１〜４３ａ６、４３ｂ１〜４３ｂ６、４３ｃ１〜４３ｃ６どうしが少なくとも部分的にオーバーラップしたものが存在する。したがって、本開示による教師データ４０の生成方法、教師データ４０の生成プログラム、教師データ生成装置５０によれば、オーバーラップした商品Ｇを識別可能な演算器Ｘを構成する教師データ４０を得ることができる。
【００５３】
（３−２）教師データ４０は、各商品Ｇの数量をラベルとして含む。したがって、商品Ｇの数量を識別できるよう、演算器Ｘを訓練できる。
【００５４】
（３−３）学習用集合画像４１における、個別画像４３ａ１〜４３ａ６、４３ｂ１〜４３ｂ６、４３ｃ１〜４３ｃ６のオーバーラップの度合いが指定される。したがって、現実的に起こりうるオーバーラップの度合いに適した演算器Ｘの学習が可能である。
【００５５】
（３−４）学習用集合画像４１の中に配置される前に、個別画像４３ａ１〜４３ａ６、４３ｂ１〜４３ｂ６、４３ｃ１〜４３ｃ６は、拡大縮小、回転、コントラスト変化、反転を施される。したがって、教師データ４０の量が増えるので、演算器Ｘの認識精度を向上できる。
【００５６】
（３−５）食品について演算器Ｘの認識精度を向上できる。
【００５７】
（３−６）本開示による商品識別装置１０によれば、ニューラルネットワークの学習に、オーバーラップした複数の商品Ｇの個別画像４３ａ１〜４３ａ６、４３ｂ１〜４３ｂ６、４３ｃ１〜４３ｃ６を含む教師データ４０が用いられる。したがって、ニューラルネットワークの認識制度が向上している。
【００５８】
＜第２実施形態＞
（１）教師データの生成
図１３は、本開示の第２実施形態に係る教師データ４０の生成方法を示す。本実施形態に係る教師データ４０の生成方法は、ラベル４２のフォーマットが第１実施形態と異なっており、それ以外の点については第１実施形態と同様である。
【００５９】
本実施形態では、ラベル４２は、学習用集合画像４１に配置された個別画像４３ａ１〜４３ａ６、４３ｂ１〜４３ｂ６、４３ｃ１〜４３ｃの重心の座標を含む。図９のステップ１１０において、学習用集合画像４１にはこのようなラベル４２が付与される。
【００６０】
この教師データ４０を用いて学習済みモデルＭを獲得した商品識別装置１０は、推論フェーズにおいて、まず各商品Ｇの重心の座標を得る。重心の座標から商品Ｇの数量への換算は、識別コンピュータ３０に格納された別の専用のプログラムにより行われる。
【００６１】
（２）特徴
教師データ４０は、個別画像４３ａ１〜４３ａ６、４３ｂ１〜４３ｂ６、４３ｃ１〜４３ｃの重心の座標を、ラベル４２として含む。したがって、複数の商品Ｇを単一の商品であると誤認しないよう、演算器Ｘを訓練できる。
【００６２】
＜第３実施形態＞
（１）教師データの生成
図１４は、本開示の第３実施形態に係る教師データ４０の生成方法を示す。本実施形態に係る教師データ４０の生成方法は、ラベル４２のフォーマットが第１実施形態と異なっており、それ以外の点については第１実施形態と同様である。
【００６３】
本実施形態では、ラベル４２は、学習用集合画像４１に含まれる個別画像４３ａ１〜４３ａ６、４３ｂ１〜４３ｂ６、４３ｃ１〜４３ｃを、代表画像で置換した置換画像である。本実施形態においては、代表画像は、個別画像４３ａ１〜４３ａ６、４３ｂ１〜４３ｂ６、４３ｃ１〜４３ｃの重心画素Ｐである。図９のステップ１１０において、学習用集合画像４１にはこのようなラベル４２が付与される。
【００６４】
ラベル４２のフォーマットについてさらに説明する。ラベル４２は、例えば、学習用集合画像４１と同じサイズの画像である。学習用集合画像４１がＸ列及びＹ行に配列したＸ×Ｙ個の画素を有する場合、ラベル４２も、Ｘ列及びＹ行に配列したＸ×Ｙ個の画素を有する。ラベル４２の画素は、ＲＧＢで構成されるのではなく、Ｎ次元のベクトルとして構成される。ここで、Ｎは、教師データ生成装置５０に登録された商品Ｇの種類の数である。（例えば商品Ｇ１、Ｇ２、Ｇ３が登録されている場合、Ｎ＝３である。）ｘ列目、ｙ行目の画素は、下記のベクトルとして表される。
【００６５】
【数１】
2020080003.tif 000003
ここで、ａｘｙｉは、座標（ｘ，ｙ）におけるｉ番目の種類の商品Ｇの数であり、すなわち、座標（ｘ，ｙ）に存在するｉ番目の種類の商品Ｇに相当する重心画素Ｐの個数である。
【００６６】
この教師データ４０を用いて学習済みモデルＭを獲得した商品識別装置１０は、推論フェーズにおいて、まず置換画像を得る。この置換画像もまた、ベクトルＡで表される画素により構成されている。置換画像から商品Ｇの数量への換算は、識別コンピュータ３０に格納された別の専用のプログラムにより行われる。例えば、プログラムは、学習用集合画像４１に含まれるｉ番目の種類の商品Ｇの数量Ｈｉを下記の数式により求める。
【００６７】
【数２】
2020080003.tif 000004
【００６８】
（２）特徴
教師データ４０は、学習用集合画像４１に含まれる個別画像４３ａ１〜４３ａ６、４３ｂ１〜４３ｂ６、４３ｃ１〜４３ｃを、重心画素Ｐで置換した置換画像を、ラベル４２として含む。したがって、複数の商品Ｇを単一の商品であると誤認しないよう、演算器Ｘを訓練できる。
【００６９】
（３）変形例
（３−１）
上述の第３実施形態では、１つの個別画像を表現する代表画像として１つの重心画素Ｐを用いる。これに代えて、１つの個別画像を表現する代表画像として、重心位置を示す複数画素からなる領域を使用してもよい。この場合、上述の数式は、ｉ番目の種類の商品Ｇの数量Ｈｉを正確に算出できるように、例えば係数を乗じるなどの手段により、適宜修正される。
【００７０】
（３−２）
上述の第３実施形態では、代表画像として重心画素Ｐを用いる。これに代えて、代表画像は他の画素であってもよい。例えば、代表画像は、個別画像を囲む四角形の領域（領域の四辺のそれぞれが個別画像の上下左右の端点を通過する）の中心点の画素であってもよい。あるいは、代表画像は、個別画像を囲む四角形の領域の、１つの頂点（例えば左下の頂点）の画素であってもよい。
【００７１】
＜第４実施形態＞
（１）教師データの生成
図１５は、本開示の第４実施形態に係る教師データ４０の生成方法を示す。本実施形態に係る教師データ４０の生成方法は、ラベル４２のフォーマットが第１実施形態と異なっており、それ以外の点については第１実施形態と同様である。
【００７２】
本実施形態では、ラベル４２は、学習用集合画像４１に含まれる個別画像４３ａ１〜４３ａ６、４３ｂ１〜４３ｂ６、４３ｃ１〜４３ｃを、代表画像で置換した置換画像である。本実施形態においては、代表画像は、個別画像４３ａ１〜４３ａ６、４３ｂ１〜４３ｂ６、４３ｃ１〜４３ｃの輪郭画像Ｏである。図９のステップ１１０において、学習用集合画像４１にはこのようなラベル４２が付与される。
【００７３】
この教師データ４０を用いて学習済みモデルＭを獲得した商品識別装置１０は、推論フェーズにおいて、まず置換画像を得る。置換画像から商品Ｇの数量への換算は、識別コンピュータ３０に格納された別の専用のプログラムにより行われる。
【００７４】
（２）特徴
教師データ４０は、学習用集合画像４１に含まれる個別画像４３ａ１〜４３ａ６、４３ｂ１〜４３ｂ６、４３ｃ１〜４３ｃを、当該個別画像４３ａ１〜４３ａ６、４３ｂ１〜４３ｂ６、４３ｃ１〜４３ｃの輪郭画像Ｏで置換した置換画像を、ラベル４２として含む。したがって、複数の商品を単一の商品であると誤認しないよう、演算器Ｘを訓練できる。
【符号の説明】
【００７５】
１０      ：商品識別装置
２０      ：撮影装置
３０      ：識別コンピュータ
４０      ：教師データ
４１      ：学習用集合画像
４２      ：ラベル
４３ａ（４３ａ１〜４３ａ６）    ：個別画像
４３ｂ（４３ｂ１〜４３ｂ６）    ：個別画像
４３ｃ（４３ｃ１〜４３ｃ６）    ：個別画像
４５      ：集合画像
５０      ：教師データ生成装置
６０      ：生成コンピュータ
６１      ：個別画像取得部
６２      ：学習用集合画像生成部
６３      ：ラベル付与部
１０４    ：ステップ
１０６    ：ステップ
１０８    ：ステップ
１１０    ：ステップ
Ｇ（Ｇ１〜Ｇ３）        ：商品
Ｌ１〜Ｌ３  ：オーバーラップの箇所
Ｍ        ：モデル
Ｎ        ：ネットワーク
Ｏ        ：輪郭画像
Ｐ        ：重心画素
Ｘ        ：演算器
【先行技術文献】
【特許文献】
【００７６】
【特許文献１】特開２０１７−２７１３６号公報
【図１】
2020080003.tif 000005
【図２】
2020080003.tif 000006
【図３】
2020080003.tif 000007
【図４】
2020080003.tif 000008
【図５】
2020080003.tif 000009
【図６】
2020080003.tif 000010
【図７】
2020080003.tif 000011
【図８】
2020080003.tif 000012
【図９】
2020080003.tif 000013
【図１０】
2020080003.tif 000014
【図１１】
2020080003.tif 000015
【図１２】
2020080003.tif 000016
【図１３】
2020080003.tif 000017
【図１４】
2020080003.tif 000018
【図１５】
2020080003.tif 000019