(57)【要約】  システムおよび方法が開示され、該システムおよび方法は、第１の数の画像から始まって、第１の数の画像に対するデジタル操作によって第２の数の画像を生成することと、第２の数の画像から特徴を抽出することと、第２の数の画像に対してニューラルネットワークを訓練することによって、画像のカテゴリ化のパーセンテージ尤度を提供する、分類モデルを生成することと、分類モデルをプロセッサに埋め込むことと、カテゴリ化のために画像を受信することと、を含み、プロセッサはＰＯＳシステムと通信しており、プロセッサが分類モデルを実行して、画像のカテゴリ化のパーセンテージ尤度をＰＯＳシステムに出力する。【選択図】図１１
2021508398.tif 000002
【特許請求の範囲】
【請求項１】
品目が背景画像セットとして認識されることとなる第１の数の背景の画像を受信することと、
元の品目画像セットにおいて認識されるべき品目の元の数の画像を受信することと、
前記元の品目画像セットにおける前記画像の前記背景をマスキングして、マスキングされた品目画像セットを生成することと、
前記マスキングされた品目画像セットをデジタル拡張して、前記マスキングされた品目画像セットよりも多数の前記品目の画像を含む、拡張された品目画像セットを生成することと、
前記拡張された品目画像セットの前記画像を前記背景画像セットの画像に重畳して、訓練画像セットを生成することによって、ニューラルネットワークを訓練するのに十分な量的ばらつきを提供することと、
前記訓練画像セットから特徴を抽出することと、
前記訓練画像セットに対してニューラルネットワークを訓練することによって、画像のカテゴリ化の予測を提供する分類モデルを生成することと、
を前処理に含むとともに、
前記分類モデルをプロセッサに組み込むことと、
カテゴリ化のための画像を受信することと、
を含み、
前記プロセッサがＰＯＳシステムと通信し、前記プロセッサが前記受信した画像に対して前記分類モデルを実行して前記画像のカテゴリ化の予測を前記ＰＯＳシステムに出力する画像カテゴリ化方法。
【請求項２】
カテゴリ化のための画像の前処理が、前記画像を獲得することと、前記特徴を抽出することと、前記抽出された特徴を前記分類モデルの前記ニューラルネットワークに適用して、前記画像のカテゴリ化のパーセンテージ尤度を生成することと、を含む請求項１に記載の方法。
【請求項３】
前処理の際に、事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）が、特徴検出器として使用される、大きな関連性のない、または独立したデータセットに対して訓練される請求項１に記載の方法。
【請求項４】
前記ニューラルネットワークが全結合型ニューラルネットワークである請求項１に記載の方法。
【請求項５】
前記特徴抽出が、
ａ．前記事前訓練済みＣＮＮと、
ｂ．色空間ヒストグラムと、
ｃ．数値特徴ベクトルによるテクスチャ特徴と、
ｄ．優勢色セグメント化と、
を含む請求項３に記載の方法。
【請求項６】
前記ＰＯＳシステムが、前記分類モデルによるフォーマットされた出力の通信を受信し、前記フォーマットされた出力が、画像のカテゴリのパーセンテージ尤度のスコアを前記ＰＯＳシステムに提供するプロトコルを含む請求項１に記載の方法。
【請求項７】
販売場所（ＰＯＳ）システムの外部にあるシステムの方法であって、前記外部システムが、プロセッサを備え、画像を獲得し、前記画像のカテゴリのパーセンテージ尤度に対する出力スコアとして提供する、前記プロセッサに組み込まれた分類モデルを実行し、前記外部システムが、フォーマットされた通信を前記ＰＯＳシステムに対するプロトコルを含む出力として生成し、ＰＯＳシステムが、前記外部システムの分類モデルによる前記出力の前記フォーマットされた通信を受信する方法。
【請求項８】
プロセッサに組みこまれた前記モデルが、前処理の際に、第１の数の画像から始まって、該第１の数の画像の拡張によって第２の数の画像を生成し、該第２の数の画像から特徴を抽出し、前記第２の数の画像をニューラルネットワークによって処理することによって前記分類モデルを生成して、前記画像のカテゴリ化のパーセンテージ尤度を提供する請求項７に記載のシステム。
【請求項９】
前処理の際に、前記ニューラルネットワークが、形状およびエッジ検出器として使用される、大きな関連性のない、または独立したデータセットに対して訓練された事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）を含む請求項８に記載のシステム。
【請求項１０】
前記ニューラルネットワークが全結合型ニューラルネットワークである請求項８に記載のシステム。
【請求項１１】
前記特徴抽出が、
ａ．前記事前訓練済みＣＮＮと、
ｂ．色空間ヒストグラムと、
ｃ．数値特徴ベクトルによるテクスチャ特徴と、
ｄ．優勢色セグメント化と、
を含む請求項９に記載のシステム。
【請求項１２】
第１の数の画像を投入することと、該第１の数の画像の拡張によって第２の数の画像を生成することと、該第２の数の画像から特徴を抽出することと、を含み、該特徴を抽出することが、事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）を高度エッジおよび形状識別子として実行し、ニューラルネットワークによって前記第２の数の画像を処理することによって、画像のカテゴリ化のパーセンテージ尤度を提供する分類モデルを生成する製品カテゴリ化方法。
【請求項１３】
前記分類モデルを生成することが、前記第２の数の画像の特徴抽出を前処理することを含む請求項１２に記載の方法。
【請求項１４】
前記特徴抽出が、
ａ．前記事前訓練済みＣＮＮと、
ｂ．色空間ヒストグラムと、
ｃ．数値特徴ベクトルによるテクスチャ特徴と、
ｄ．優勢色セグメント化と、
を含む請求項１２に記載の方法。
【請求項１５】
前記ニューラルネットワークが全結合型ニューラルネットワークである請求項１２に記載の方法。
【請求項１６】
前記分類モデルが、ＰＯＳシステムの外部にあって該ＰＯＳシステムと通信しているプロセッサに組み込まれる請求項１２に記載の方法。
【請求項１７】
前記ＰＯＳシステムが、前記分類モデルによるフォーマットされた出力の通信を受信し、前記フォーマットされた出力が、前記画像のカテゴリの前記パーセンテージ尤度のスコアを前記ＰＯＳシステムに提供するプロトコルを含む請求項１６に記載の方法。
【請求項１８】
前処理の際に、第１の数の画像から始まって、該第１の数の画像をセグメント化することと、前記第１の数の画像に対するデジタル操作によって第２の数の画像を生成することと、前記第２の数の画像から特徴を抽出することと、前記第２の数の画像をニューラルネットワークによって処理することと、これによって展開のための分類モデルを生成することと、を含み、画像のセグメント化が展開時に実施されない、画像データセットを拡大する方法。
【請求項１９】
展開時に、画像を獲得し、前記特徴を抽出し、前記抽出された特徴を前記分類モデルの前記ニューラルネットワークに適用して、前記画像のカテゴリ化のパーセンテージ尤度を生成する請求項１８に記載の方法。
【請求項２０】
前処理の際に、前記特徴抽出が、形状およびエッジ検出器として使用される、大きな関連性のない、または独立したデータセットに対して訓練された事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）を含む請求項１８に記載の方法。
【請求項２１】
前記ニューラルネットワークが全結合型ニューラルネットワークである請求項１８に記載の方法。
【請求項２２】
前記特徴抽出が、
ａ．前記事前訓練済みＣＮＮと、
ｂ．色空間ヒストグラムと、
ｃ．数値特徴ベクトルによるテクスチャ特徴と、
ｄ．優勢色セグメント化と、
を含む請求項２０に記載の方法。
【請求項２３】
展開のため、前記分類モデルが、ＰＯＳシステムの外部にあって該ＰＯＳシステムと通信しているプロセッサに組み込まれる、請求項１８に記載の方法。
【請求項２４】
前記ＰＯＳシステムが、前記分類モデルによるフォーマットされた出力の通信を受信し、前記フォーマットされた出力が、前記画像のカテゴリの前記パーセンテージ尤度のスコアを前記ＰＯＳシステムに提供するプロトコルを含む請求項２３に記載の方法。
【請求項２５】
第１の数の画像から始まって、該第１の数の画像に対してデジタル操作を実施することによって、第２の数の画像を生成することと、
ａ．特徴検出器として使用される、大きな関連性のない、または独立したデータセットに対して訓練された、事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）、
ｂ．色空間ヒストグラム、
ｃ．数値特徴ベクトルによるテクスチャ特徴、および、
ｄ．優勢色セグメント化
にしたがって、第２の数の画像から特徴を抽出することと、
抽出された特徴に対して、ニューラルネットワークを訓練して、画像のカテゴリ化のパーセンテージ尤度を提供する分類モデルを生成することと、
を含む画像カテゴリ化方法。
【請求項２６】
前記分類モデルをプロセッサに組み込むことと、
カテゴリ化のために画像を受信することと、
を含み、
前記プロセッサがＰＯＳシステムと通信し、前記プロセッサが前記分類モデルを実行して、前記画像のカテゴリ化のパーセンテージ尤度を前記ＰＯＳシステムに出力する請求項２５に記載の方法。
【請求項２７】
前記ＰＯＳシステムが、前記分類モデルによるフォーマットされた出力の通信を受信し、前記フォーマットされた出力が、前記画像のカテゴリのパーセンテージ尤度のスコアを前記ＰＯＳシステムに提供するプロトコルを含む請求項２６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、小売チェックアウト端末生鮮食品識別システムに関し、より具体的には、端末で獲得した画像データを提示すると、使用中に生鮮食品タイプを視覚的に分類する、生鮮食品学習セットを使用した機械学習を用いるシステムに関する。さらに、本発明の機械学習システムは、生鮮食品小売環境に固有の制限に対処するように、特定の方式で訓練される。本発明のシステムおよび方法論は、異なるタイプの小売チェックアウト端末に対する広い用途を有するが、以下では、主にセルフサービス・チェックアウト端末を参照して記載する。しかしながら、本発明は、提供する実施形態の目的の範囲内にあるこの特定の用途に必ずしも限定されないことが認識されるべきである。
【背景技術】
【０００２】
買物客が品目をスキャンし、略自律的に支払いを済ませることができるセルフサービスレジが、現在ますます一般的になっている。
【０００３】
新鮮な果物、野菜などの生鮮食品の場合、バーコードは包装された商品上でスキャンされることがあるが、ユーザは画面表示から選択を行う必要がある。
【０００４】
しかしながら、生鮮食品品目は不注意または不正によって誤分類されている場合が多く、かかる方策は不正確である。
【０００５】
本発明は、従来技術の欠陥の少なくとも一部を克服するか、もしくは実質的に改善する方法を提供するか、または少なくとも代替案を提供することを目的とする。
【０００６】
本明細書において何らかの従来技術の情報を参照する場合、かかる参照は、オーストラリアまたは他のいずれかの国において、当該情報が当該分野の一般的知識の一部を形成することを容認するものではないことが理解されるべきである。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】欧州特許出願公開第０６８５８１４号明細書（Ｄ１）
【発明の概要】
【０００８】
本明細書では、生鮮食品を視覚的に識別する小売チェックアウト端末生鮮食品識別システムであって、機械学習を使用して訓練されるシステムが提供される。システムは、買物客が選択するように画面表示するため、１つまたは複数の予測生鮮食品タイプをチェックアウトシステムに出力することができるようにして、従来のチェックアウトＰＯＳシステムと統合してもよい。
【０００９】
システムの撮像構成要素は、照明（一般的に、ＬＥＤ照明）と、任意に適切な均一な背景と、可視スペクトルカメラとを備える機械的ジグを備えてもよい。
【００１０】
カメラは、農産物の種類を分類するために、提示された生鮮食品の画像を獲得する。
【００１１】
実施形態では、システムは、ニューラルネットワーク最適化による教師あり機械学習を用いる。
【００１２】
さらに詳細に後述するように、本発明のシステムは、所望のまたは適切な検出精度を維持しながら、生鮮食品識別システムに固有の特定の制限に対処するように、特定の方式で訓練される。
【００１３】
具体的には、多数の小売業者にわたる制御されない環境を考慮に入れるように、大きいデータセットを利用して、検出精度を増加させることができる。しかしながら、問題があることには、特に小売業者の生鮮食品品目の在庫が比較的少ない場合、かかる大きいデータセットは利用可能でないことがある。
【００１４】
さらに、大きいデータセットが利用可能な場合、代替の解決策では、データが収集されなかった場面に合わせて性能を一般化することはできなかった。記載する方法は、ＰＯＳの適用例に見られる多種多様な環境に合わせて一般化するモデルを生成することができるように、データを収集し拡大する方法について記載することによって、この問題を解決する。
【００１５】
さらに、本発明のシステムは、理想的には、システムを低コストで構築することが可能であるように、処理および記憶に関して計算要件を最小限に抑えるように適応される。さらに、システムは、画像解像度の制限（７４０×４８０ピクセルまでなど）に対処してもよい。
【００１６】
さらに、チェックアウト端末における光度および照明色の揺らぎが、提示された生鮮食品品目の撮像に影響することがある。
【００１７】
具体的には、一実施形態または好ましい実施形態では、本発明のシステムは、組み合わされて完全な特徴ベクトルを形成する色ヒストグラム特徴ベクトルおよびハラリックテクスチャ特徴を備える、生鮮食品画像データから抽出した２つの特徴ベクトルを獲得し利用する。これら２つの特徴ベクトルの組合せおよび使用方法は、小売農産物識別システムの固有の制限を所与として、十分な精度および他の利点を提供する実験中に見出されたものである。
【００１８】
実施形態では、高性能モデルをより小さい学習データセットで訓練することが可能になるように、ヒストグラムが増大した幅の様々なバンドにバンド化されて、色ヒストグラム特徴ベクトル長さを低減する。これは、多数の訓練画像を収集することが現実的でない、小中規模の生鮮食品販売業者にとって重要な考慮点である。このように、訓練モデルに利用可能な特徴を低減することによって、小さい固定サイズのデータセットにおいて性能を改善することができる。実施形態では、ニューラルネットワークの精度を最適化するように、バンドの数が最適化されてもよい。
【００１９】
さらに、実施形態では、角二次モーメント、コントラスト、相関、平方和：分散、逆差分モーメント、総平均、総分散、総エントロピー、エントロピー、差分分散、差分エントロピー、相関１の情報測度、相関２の情報測度、最大相関係数を含む、１４個のハラリックテクスチャ特徴が使用される。
【００２０】
また、これらのテクスチャ特徴のサブセレクションは、サンプルセットおよび計算上の制限に対処するのに、再びニューラルネットワークの精度を最適化する際に選択されてもよい。
【００２１】
ニューラルネットワークは、上記に示唆したように、特定の食料雑貨商に対して数が制限されることがある、生鮮食品学習セットを使用して訓練される。例えば、サンプルセット訓練データは、特定の小売店が一般に在庫を持っている生鮮食品品目のみであってもよい。
【００２２】
完全な特徴ベクトルが各画像に対して計算され、次に、ニューラル重み付けおよび構造を含む、ニューラルネットワークを最適化するのに使用される。
【００２３】
訓練されると、システムは、チェックアウト端末で提示される学習データセットのカテゴリに属する未知の入力生鮮食品品目の画像を獲得するように展開される。展開されたシステムは、同様に、収集画像から完全な特徴ベクトルを生成し、訓練済みニューラルモデルを使用して予測を生成する。予測は次に、チェックアウトシステムに転送され、既定の通信プロトコルを使用して処理される。
【００２４】
そのため、この構成によれば、消費者は画面上の生鮮食品品目から選択する必要はなく、単に生鮮食品品目をカメラの前に置いて識別させればよい。実施形態では、生鮮食品品目をある程度の精度で判定できない場合、展開されたシステムは、可能性がある複数の分類をチェックアウトシステムに送信してもよく、チェックアウトシステムが次に、消費者が選択するように、生鮮食品品目のサブセレクションを画面上に提示してもよい。
【００２５】
展開システム上に展開されると、最適化されたニューラルネットワークモデルには、各生鮮食品カテゴリのデジタル署名／色ヒストグラムに関する特定の情報は含まれないことに留意すべきである。そのため、展開システムは、生鮮食品カテゴリを識別するのに、大型のメモリまたは顕著な計算能力は要さず、計算および記憶、またしたがってコストが低減されるという利点が得られる。
【００２６】
農産物認識システムが開示されている（特許文献１参照。）。Ｄ１によれば、処理済み画像が参照画像と比較されて、一致すると対象が認識される。しかしながら、対照的に、本発明のシステムは、展開されたシステムに対して参照画像を展開するのを回避することができ、訓練済みニューラルネットワークモデルを提供するだけでよく、それによって展開されたシステムの計算ストレージが低減される。
【００２７】
さらに、Ｄ１は色およびテクスチャを含む画像特徴について言及しているが、Ｄ１は、本発明のシステムのように、色特徴ベクトルおよびテクスチャ特徴ベクトルのみの組合せを含む、完全な特徴ベクトルを利用していない。
【００２８】
さらに、Ｄ１は、計算要件を低減することを目的としておらず、したがって、学習セットの制限に対処するように精度を最適化するためにバンドの数および幅を最適化するのはもちろん、本発明のシステムのように、色ヒストグラムをバンド化することは目的としていない。さらに、Ｄ１は、かかる制限にさらに対処するためのテクスチャ特徴のサブセレクションを開示していない。
【００２９】
そのため、上記を念頭に置いて、複数の実施形態が本明細書で開示される。画像カテゴリ化の方法およびシステムが開示され、方法およびシステムは、前処理の際に、第１の数の画像から始まって、第１の数の画像に対するデジタル操作によって第２の数の画像を生成することと、第２の数の画像から特徴を抽出することと、第２の数の画像に対してニューラルネットワークを訓練することによって、画像のカテゴリ化のパーセンテージ尤度を提供する分類モデルを生成することと、分類モデルを、画像を受信してカテゴリ化するプロセッサに埋め込むことと、を含み、プロセッサはＰＯＳシステムと通信しており、プロセッサが、分類モデルを実行して、画像のカテゴリ化のパーセンテージ尤度をＰＯＳシステムに出力する。
【００３０】
一実施形態によれば、小売チェックアウト端末生鮮食品識別方法およびシステムが提供され、方法およびシステムは、少なくとも１つの可視スペクトルカメラと、可視スペクトルカメラと動作可能に通信しているプロセッサと、システムバスを通じてプロセッサと動作可能に通信している、デジタルデータを格納するメモリデバイスと、チェックアウトシステムインターフェースとを備え、使用の際、システムは訓練可能であり、プロセッサは、可視スペクトルカメラを使用して、生鮮食品画像データを生鮮食品学習セットから受信するように構成され、メモリデバイスは、各生鮮食品画像に対して完全な特徴ベクトルを生成するように構成された、特徴ベクトル生成コントローラを備え、完全な特徴ベクトルは、色ヒストグラム特徴ベクトルと、テクスチャ特徴ベクトルと、優勢色セグメントベクトルと、事前訓練済み畳み込みニューラルネットワークとの組み合わせを含み、メモリデバイスは、ニューラルネットワークモデルを最適化するニューラルネットワーク最適化コントローラを備え、ニューラルネットワーク最適化コントローラは、完全な特徴ベクトルを利用してニューラルネットワークモデルを最適化するように構成され、最適化されたニューラルネットワークモデルはシステムに対して展開され、システムは、生鮮食品分類を予測するように展開可能であり、プロセッサは、可視スペクトルカメラを介して画像データを受信するように構成され、特徴ベクトル生成コントローラは、色ヒストグラム特徴ベクトルおよびテクスチャ特徴ベクトルを含む、画像データに対する完全な特徴ベクトルを計算し、完全な特徴ベクトルを、ニューラルネットワークモデルを用いて最適化されたニューラルネットワークに入力して、生鮮食品分類予測を出力し、システムは、チェックアウトシステムインターフェースを介して生鮮食品分類予測を出力する。
【００３１】
別の実施形態では、画像カテゴリ化のシステムの方法が開示され、方法は、第１の数の画像から始まって、第１の数の画像に対してデジタル操作を実施することによって、第２の数の画像を生成するステップと、ａ．特徴検出器として使用される大きいデータセットに対して訓練された、事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）、ｂ．色空間ヒストグラム、ｃ．数値特徴ベクトルによるテクスチャ特徴、および、ｄ．優勢色セグメント化にしたがって、第２の数の画像から特徴を抽出するステップと、抽出された特徴に対して、ニューラルを訓練し、ニューラルネットワークを訓練して、画像のカテゴリ化のパーセンテージ尤度を提供する、分類モデルを生成するステップと、を含む。
【００３２】
また、製品をカテゴリ化する方法およびシステムが開示され、方法およびシステムは、第１の数の画像を投入することと、第１の数の画像に対するデジタル操作によって第２の数の画像を生成することと、事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）を特徴抽出器として実行することを含む、第２の数の画像から特徴抽出することと、次いで、ニューラルネットワークによって第２の数の画像を処理することによって、画像のカテゴリ化のパーセンテージ尤度を提供する、分類モデルを生成することと、を含む。
【００３３】
さらに、販売場所（ＰＯＳ）システムの外部にあるシステムの方法が開示され、外部システムは、プロセッサを備え、画像を獲得し、画像のカテゴリのパーセンテージ尤度に対する出力スコアとして提供する、プロセッサに組み込まれた分類モデルを実行し、外部システムは、フォーマットされた通信をＰＯＳシステムに対するプロトコルを含む出力として生成し、ＰＯＳシステムは、外部システムの分類モデルによる出力のフォーマットされた通信を受信する。
【００３４】
さらに、画像データセットを拡大する方法およびシステムが開示され、方法およびシステムは、前処理の際に、第１の数の画像から始まって、第１の数の画像をセグメント化することと、第１の数の画像に対するデジタル操作によって第２の数の画像を生成することと、第２の数の画像から特徴を抽出することと、第２の数の画像をニューラルネットワークによって処理することと、それにより、展開のための分類モデルを生成することと、を含み、画像のセグメント化は展開時には実施されない。
【００３５】
更なる特徴は、色ヒストグラム特徴ベクトルがスケールに合わせて正規化されてもよいことを含む。
【００３６】
スケールは０〜１の間であってもよい。
【００３７】
特徴ベクトル生成コントローラは、色ヒストグラム特徴ベクトルを個別のバンドへとバンド化するように構成されてもよい。
【００３８】
ニューラルネットワーク最適化コントローラは、個別のバンドの数を最適化するように構成されてもよい。
【００３９】
個別のバンドは５〜１００の間のバンドを含んでもよい。
【００４０】
個別のバンドは１０のバンドを含んでもよい。
【００４１】
テクスチャ特徴ベクトルは複数のテクスチャ特徴を含んでもよい。
【００４２】
テクスチャ特徴は、少なくとも、角二次モーメント、コントラスト、相関、平方和：分散、逆差分モーメント、総平均、総分散、総エントロピー、エントロピー、差分分散、差分エントロピー、相関１の情報測度、相関２の情報測度、最大相関係数のサブセットを含んでもよい。
【００４３】
ニューラルネットワーク最適化コントローラは、ニューラルネットワークの精度を最適化するため、複数のテクスチャ特徴のサブセットを選択するように構成されてもよい。
【００４４】
複数のテクスチャ特徴のサブセットは、８〜１２個の間のテクスチャ特徴を含んでもよい。
【００４５】
テクスチャ特徴は１０の特徴ベクトルを含んでもよい。
【００４６】
ニューラルネットワーク最適化コントローラは、隠れ層のニューロンの数を最適化するように構成されてもよい。
【００４７】
ニューロンの数は１００〜１２０の間であってもよい。
【００４８】
ニューロンの数は１１６であってもよい。
【００４９】
本発明の他の態様も開示される。
【００５０】
本発明の範囲内にある他の任意の形態にかかわらず、本開示の好ましい実施形態について、単なる例として、添付図面を参照して以下に記載する。
【図面の簡単な説明】
【００５１】
【図１】一実施形態による小売チェックアウト端末生鮮食品識別システム１００を示す図である。
【００５２】
【図２Ａ】異なる種類の果物からの例示の色ヒストグラムベクトルおよび関連するバンド化された色ヒストグラムを示す図である。
【図２Ｂ】異なる種類の果物からの例示の色ヒストグラムベクトルおよび関連するバンド化された色ヒストグラムを示す図である。
【図３Ａ】異なる種類の果物からの例示の色ヒストグラムベクトルおよび関連するバンド化された色ヒストグラムを示す図である。
【図３Ｂ】異なる種類の果物からの例示の色ヒストグラムベクトルおよび関連するバンド化された色ヒストグラムを示す図である。
【図４Ａ】異なる種類の果物からの例示の色ヒストグラムベクトルおよび関連するバンド化された色ヒストグラムを示す図である。
【図４Ｂ】異なる種類の果物からの例示の色ヒストグラムベクトルおよび関連するバンド化された色ヒストグラムを示す図である。
【図５】異なる種類の果物からの例示の色ヒストグラムベクトルおよび関連するバンド化された色ヒストグラムを示す図である。
【図６】異なる種類の果物からの例示の色ヒストグラムベクトルおよび関連するバンド化された色ヒストグラムを示す図である。
【００５３】
【図７】図２〜図６と同じ果物に対する例示のハラリック特徴ベクトルを示す図である。
【００５４】
【図８】それによる試験結果および層最適化を示す図である。
【００５５】
【図９】色バンド最適化による試験結果を示す図である。
【００５６】
【図１０】テクスチャ特徴最適化による試験結果を示す図である。
【００５７】
【図１１】試験結果検出精度を示す図である。
【００５８】
【図１２】第１の数の画像を前処理して第２の数の画像を生成することを示す図である。
【００５９】
【図１３】第２の数の画像の特徴抽出、および第２の数の画像に基づいてカテゴリ化モデルを生成する学習プロセスを示す図である。
【００６０】
【図１４】ＰＯＳシステムと使用中である展開されたカテゴリ化モデルを示す図である。
【発明を実施するための形態】
【００６１】
図１は、セルフサービス端末のために生鮮食品分類を予測するように訓練される、小売チェックアウト端末生鮮食品識別システム１００を示している。
【００６２】
システム１０２は、デジタルデータを処理するプロセッサ１０５を備える。プロセッサ１０５とシステムバスを通じて動作可能に通信されているのは、メモリデバイス１０６である。メモリデバイス１０６は、コンピュータプログラムコード命令および関連データを含む、デジタルデータを格納するように構成される。そのため、使用の際、プロセッサ１０５は、これらのコンピュータプログラムコード命令および関連データをメモリ１０６から取り出して、解釈し実行する。
【００６３】
図１に示される実施形態では、メモリデバイス１０６のコンピュータプログラムコード命令は、さらに詳細に後述する、様々なコンピュータプログラムコードコントローラに論理的に分割されるものとして示されている。
【００６４】
使用の際、システム１０２は、生鮮食品学習セット１０１を利用して訓練される。
【００６５】
これに関して、システム１０２は、訓練システム１０６として、また共有または別個の構成部分を含んでもよいそれぞれの動作に対して展開されたシステム１１４として動作してもよい。上記に示唆したように、展開されたシステム１０４は、処理および格納要件が低い低コストのコンピューティングデバイスの形態をとってもよい。
【００６６】
システム１０２は、画像データを獲得する機械的ジグ１１５を備えてもよい。これに関して、ジグ１１５は、可視スペクトルカメラ１０４および関連する照明と、画像獲得プロセスを最適化する適切な均一な表面背景（図示なし）を備えてもよい。そのため、訓練中、使用中、生鮮食品の品目は、画像データをそこから獲得するために可視スペクトルカメラ１０４の前に置かれるか、または別の形で画像データベースからロードされる。
【００６７】
訓練プロセス中、プロセッサ１０６は、生鮮食品学習セット１０１からカメラ１０４が獲得した画像データセット１０７をメモリ１０６に格納する。実施形態では、特定の食料雑貨商に関して、該食料雑貨商は、農産物の各種類のサンプルセットをシステムに提供して学習させてもよい。
【００６８】
メモリ１０５は、画像の生鮮食品を含む部分を均一な背景からクロッピングしセグメント化する、画像クロッピングおよびセグメント化コントローラ１０８を備えてもよい。実施形態では、画像セグメント化は大津のアルゴリズムを用いてもよい。
【００６９】
画像クロッピングおよびセグメント化コントローラ１０８は、生鮮食品品目画像を均一な背景から分離して、好ましい黒い背景に生鮮食品品目のみを含む完全な特徴ベクトルを生成するのに使用する。このプロセスにより、あらゆる背景の影響が最小限に抑えられ、ニューラルネットワークモデルに必要な訓練が低減されて、より小さい学習データセット１０１を使用して良好な予測性能を達成することが可能になる。
【００７０】
その後、光度補正コントローラ１０９が画像データの光度を調節してもよい。
【００７１】
光度は、ＲＧＢデータ画像の平均グレースケール輝度を正規化することによって、データ収集および予測プロセスの一部として補正される。ＲＧＢ画像は、標準色グレースケール変換を使用して、等価のグレースケールに変換されてもよい。全てのＲＧＢ画像を正規化してほぼ等しい平均グレースケール輝度を有するようにするのに、平均グレースケール画像輝度セットポイントが、一般的にはダイナミックレンジの真ん中が選択される。
【００７２】
光度補正は、以下の計算ステップを含んでもよい。
Ｉｘｙｚでｘ×ｙピクセルの画像を表す。この場合、ｚ＝｛ｒ，ｇ，ｂ｝は、ＲＧＢ画像の各色成分を表す。
ＩｇでＩｘｙｚのｘ×ｙピクセルのグレースケール表現を表す。Ｉｇ＾はＩｇの平均輝度を表す。
Ｉｓｐを平均グレースケール輝度セットポイントとする。
この場合、ＩＬＣは光度補正画像である。
ＩＬＣ＝Ｉｇ＾−Ｉｓｐ
【００７３】
メモリデバイス１０６は、色ヒストグラム特徴ベクトル１１１とハラリックテクスチャ特徴ベクトル１１２の組合せを含む、完全な特徴ベクトル１１０を生成するように構成された、特徴ベクトル生成コントローラをさらに備えてもよい。
【００７４】
色ヒストグラム
各生鮮食品品目の色ヒストグラムは、この生鮮食品品目のデジタル署名ベクトルの特徴として使用される。一連の色ヒストグラムはテクスチャ特徴とともに、ニューラルネットワークモデル１１３を訓練するのに使用される。
【００７５】
図２〜図６は、異なる種類のリンゴに対する例示のＲＧＢ色ヒストグラムを示している。
【００７６】
色ヒストグラムは、ＲＧＢ画像を撮影し、ｘ軸ビンとしての全ての可能な色強度値を使用してヒストグラムを作成し、各強度の発生頻度を収集することによって作成されてもよい。
【００７７】
色ヒストグラムは、バンド化された色ヒストグラムの最大頻度を１にスケーリングすることによって正規化されてもよい。他の全てのヒストグラム値は、同じスケーリング因子によって線形的に低減されるので、全ての色ヒストグラム値は０〜１の間となる。
【００７８】
好ましい実施形態では、ヒストグラムビン幅は「バンド化」プロセスで増加される。このプロセスによって、色ヒストグラム特徴ベクトル長さが低減されて、より小さい学習データセットを使用して高性能モデルを訓練することが可能になる。
【００７９】
これは、多数の画像を収集することが現実的でない、小中規模の生鮮食品販売業者にとって重要な特徴である。訓練モデルに利用可能な特徴を低減することによって、小さい固定サイズのデータセットにおいて性能を改善することができる。バンド化プロセスは、色ヒストグラムのビンの数を低減することによって実施される。全色ヒストグラムのビンは、より大きい各ビンに対して連続的に割り当てられ均等に分配されてもよい。より大きいビンの頻度は、このビンに割り当てられたより小さいビンにおける頻度を平均することによって計算されてもよい。結果は、図２Ｂ〜図４Ｂに示されるようなバンド化された色ヒストグラムである。
【００８０】
実施形態では、ビンの数／幅は、ニューラルネットワークを最適化するときに最適化されてもよい。
【００８１】
色ヒストグラムおよびバンド化された色ヒストグラムの計算は、次のことを含んでもよい。
完全なヒストグラム：
Ｉｘｙｚでｘ×ｙピクセルの画像を表す。この場合、ｚ＝｛ｒ，ｇ，ｂ｝は、ＲＧＢ画像の各色成分を表す。
アイバーソンの記法は、ここでは次式のように定義される。
【数１】
2021508398.tif 000003
式中、ｎは色深度であり、ヒストグラムビンは次式のように計算される。
【数２】
2021508398.tif 000004
ヒストグラムベクトルの３つの成分は次のようになる。
ＦＲ＝（ｒ０，ｒ１，・・・，ｒｎ−１）
ＦＧ＝（ｇ０，ｇ１，・・・，ｇｎ−１）
ＦＢ＝（ｂ０，ｂ１，・・・，ｂｎ−１）
最大正規化色ヒストグラムベクトルは次式の通りである。
【数３】
2021508398.tif 000005
完全なヒストグラムのベクトルは次式のように構築される。
【数４】
2021508398.tif 000006
バンド化されたヒストグラム：
ｂがバンドの数である場合、バンド幅はｎ＝として計算される。
バンド化されたヒストグラムのビンは次式のように計算される。
【数５】
2021508398.tif 000007
注：ｎがｂの整数倍でない場合、ｂ−１は（ｍ−１）成分の平均となる。
バンド化されたヒストグラムのベクトルの３つの成分は次のようになる。
ＢＲ＝（ｒ０，ｒ１，・・・，ｒｎ−１）
ＢＧ＝（ｇ０，ｇ１，・・・，ｇｎ−１）
ＢＢ＝（ｂ０，ｂ１，・・・，ｂｎ−１）
バンド化されたヒストグラムのベクトルは次式のように構築される。
【数６】
2021508398.tif 000008
【００８２】
実施形態では、角二次モーメント、コントラスト、相関、平方和：分散、逆差分モーメント、総平均、総分散、総エントロピー、エントロピー、差分分散、差分エントロピー、相関１の情報測度、相関２の情報測度、最大相関係数を含む、１４個のテクスチャ特徴（例えば、ハラリックテクスチャ特徴）が使用される。これらの特徴の数学的計算は一般的な最新技術であり、ここに提示される。
【００８３】
これら１４個のテクスチャ特徴は、組み合わされてベクトルとなり、ニューラルネットワーク予測子を訓練するための一連の特徴として使用される。具体的には、図７は、上記で言及したリンゴの品種それぞれに対してテクスチャ特徴ベクトルが収集されていることを示している。
【００８４】
完全な特徴ベクトル１１０は次に、ニューラルネットワークモデル１１３を最適化するのに利用される。
【００８５】
システム１００が出力する予測は、インターフェースを介してセルフサービス端末１１９に送られ、画面１２０に予測品目が画面表示されてもよい。かかる予測は、チェックアウトの目的で、農産物データベース１２２と相互参照されてもよい。上記に示唆したように、品目をある程度の精度で予測できない場合、ユーザに選択させるために一組の農産物品目から可能性のある候補を含む、サブセレクションインターフェース１２１が画面１２０に提示されてもよい。
【００８６】
ニューラルネットワーク最適化−例示の試験結果
最適化中、ニューラルネットワーク層の数、各層のニューラルネットワークノードの数、色ヒストグラムバンドの数、テクスチャ特徴の数といったパラメータが変動することがある。
【００８７】
システムは、ニューラルネットワークモデル１１３の検出精度を最適化するのに、上記パラメータの最適化を自動化してもよい。
【００８８】
例えば、後述する例示の試験結果に関して、以下の６つのカテゴリに対して使用される２８６６画像の色ヒストグラムおよびテクスチャ特徴ベクトルが、図２〜図７に提供される。
【００８９】
１．リンゴ−グラニー・スミス
【００９０】
２．リンゴ−ピンク・レディー
【００９１】
３．リンゴ−レッド・デリシャス
【００９２】
４．リンゴ−ロイヤル・ガラ
【００９３】
５．ミカン−インペリアル
【００９４】
６．オレンジ−ネーブル
【００９５】
さらに詳細に後述するような訓練中、システムは、１３７の隠れ層ニューロンを有し、バンド化された色ヒストグラムに対して全てのテクスチャ特徴および１０のバンドを利用する、単一の隠れ層を備えるように、ニューラルネットワークモデル１１３を最適化した。
【００９６】
図８〜図１０は、最適化プロセスを例証する様々な性能プロットを提供する。
【００９７】
様々なモデル構成それぞれについて、訓練、検証、および試験のセットの無作為な選択を使用して２２のモデルを開発した。
【００９８】
次に、２２回の工程を使用して以下が計算されプロットされる試験セットを使用して、性能をチェックした。
ａ．平均値
ｂ．平均に対する９５％信頼区間
ｃ．最小値
【００９９】
最良のニューラルネットワークモデル構成の選択は、これらのパラメータに基づく
最良に機能するモデルが、最大平均値、最小信頼区間、および低い信頼区間に近い最小値を有する場合。モデル性能をこれらのパラメータに基づいて比較する。この方策に基づいてモデルを選択することによって、小さいデータセットに対して最適性能が見出される解決策が提供される。モデル性能を向上する一般的な解決策は、データセットサイズを増大することであるが、上記に示唆したように、特に生鮮食品市場の場合、限定的な生鮮食品学習セット１０１しか利用できないことがある。そのため、本出願の場合、精度を最適化するのに学習セットのサイズを増大させる従来の方策を適用することは不可能である。
【０１００】
隠れ層最適化
図８は、隠れ層最適化を示しており、図から分かるように、平均性能は、１１６の隠れニューロンが使用される場合は約７８％で非常に一定したピークに達しているが、約１４０の隠れニューロンを使用することによって幅広く変動するモデル性能がもたらされる。
【０１０１】
色バンド最適化
図９は、小さい生鮮食品学習セット１０１に対して最適性能を達成するために、色バンド最適化がいかに重要であるかも示している。具体的には、２５６個の完全色バンドが使用される場合、性能は１１６の隠れ層ニューロンでピークに達し、平均は約７８％である。１０個の色バンドでは、性能は約８７％でピークに達する。
【０１０２】
テクスチャ特徴最適化
図１０は、テクスチャ特徴の数の最適化を示している。
【０１０３】
５個、１０個、および１４個のテクスチャ特徴を有するモデルは約８７％の平均性能を有するが、１０個のテクスチャ特徴を有するモデルはより一定した性能をもたらし、したがってこの特定の用途に対する最良の選択であろう。
【０１０４】
図１１は、この例示の試験によるシステム１００の最終性能を示している。
【０１０５】
上述したように、画像カテゴリ化の方法およびシステムの複数の実施形態が開示される。具体的には、組み合わされて完全な特徴ベクトルを形成する色ヒストグラム特徴ベクトルおよびハラリックテクスチャ特徴を備える、生鮮食品画像データから抽出した２つの特徴ベクトルを利用する一実施形態について、詳細に考察する。つまり、上記では、特徴ベクトル生成コントローラの２つの特徴抽出プロセスを利用する方法およびシステムが開示されている。別の方法として、以下の特徴抽出プロセスにしたがって画像データセットを処理する、特徴ベクトル生成コントローラが開示される。
ａ．特徴検出器として使用される、大きな関連性のない、および／または独立したデータセットに対して訓練された、事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）、
ｂ．色空間ヒストグラム、
ｃ．数値特徴ベクトルによるテクスチャ特徴、および、
ｄ．優勢色セグメント化
【０１０６】
したがって、カテゴリ化モデルの実行に影響を及ぼす特徴ベクトル生成コントローラは、展開時に利用されるプロセッサに埋め込まれてもよい。
【０１０７】
上述したように、展開場所で画像を獲得するカメラを含む展開システム１０２は、処理および格納要件が低い低コストのコンピューティングデバイスの形態をとってもよい。展開システム１０２は、ＰＯＳシステムの外部にインストールすることができ、またはＰＯＳシステムに統合されてもよい。外部にあっても統合されても、本明細書に記載のシステムおよび方法を商用設備に関連付けるためには、画像のカテゴリ化のパーセンテージ尤度を迅速、信頼性高く、また安価に提供することが好ましい。現在のＰＯＳシステムは、本明細書に記載のシステムおよび方法と外部で協働することができる。したがって、本明細書に記載のシステムおよび方法は、画像のカテゴリ化のパーセンテージ尤度を、開示するプロトコルを用いてＰＯＳシステムと通信するように設計される。
【０１０８】
上述したように、入力画像に対してニューラルネットワークを訓練するために、学習セットが提供される。図１では、画像クロップおよびセグメント化１０８、ならびに光度補正１０９を含むデジタル操作が、学習セットに対して実施される。訓練システムの更なる詳細が図１２に提供され、画像データセットは、「第１の数の画像」に対するデジタル操作の結果として生成される「第２の数の画像」である。
【０１０９】
図１２は、第１の数の画像を前処理して第２の数の画像を生成することを示している。第１の数の画像は、例えば、ステップ１５０および１５２で提供されてもよい、１つの種類の果物の１００の画像であってもよい。第１の数の画像は、製品画像の背景が除去１５４されて、マスキングされた製品画像１５６を生成することを含めて、さらに処理されてもよい。次に、画像１５２および１５６に、反転、回転、シアー、ズーム、および傾斜を含む拡張技術１５８、ならびに照明色および明るさのシフトおよび色変動雑音を含む、照明および製品のばらつきを扱う拡張が施される。この拡張プロセスは、元の画像セットを１０倍超に拡大してもよい。この拡大した製品画像セットは、分類モデルが展開されるべき空の場面を含む背景セットと組み合わされてもよく、重なり合う画像は、場面シミュレーション１６０に関して無作為または作為的であって、第２の増加した数の製品画像１６２を生成する。背景セットは、１０超の場面を含んでもよく、拡張に加えて堅牢性を提供するため、様々な照明条件を含んでもよい。予期される展開環境全体にわたって性能を最大限にするため、背景セットは、照明および色のばらつきを含めて、記載したように拡張されてもよい。背景セットは、展開に関して予期される全ての環境の包括的表現であってもよい。最初の第１の数の画像、例えば１００の画像から、ニューラルネットワークを訓練するための十分な量的ばらつきを含む、製品画像の増加および場面シミュレーションの１００００を超える数の画像（セグメント化画像または非セグメント化画像であってもよい）が生成されてもよく、それによってニューラルネットワークは、照明、背景、および自然物のばらつきに関する変動に対して堅牢になる。
【０１１０】
他のタイプの画像も、上述したように処理して、高価なデータ収集プロセスなしに条件をシミュレートすることができる。例えば、製品が半透明の包装に入れられた場合の分類性能を堅牢にするため、マスキングした農産物画像と混合した袋のテクスチャの画像を使用して、品目の上にある袋のシミュレーションが利用されてもよい。さらに、例えば、マスクと組み合わせた手の画像を使用することによって、製品と併せた手のシミュレーションが利用されてもよい。ばら物などの農産物ではない製品に対して、同じプロセスを利用することができる。利益として、バーコードを有さない品目を、バーコードを有しているかのように展開場所で迅速に処理できるということがある。
【０１１１】
次に図１３を参照すると、図１３は、第２の数の画像の特徴抽出、および第２の数の画像に基づいてカテゴリ化モデルを生成する学習プロセスを示している。特徴抽出プロセスは、事前訓練畳み込みニューラルネットワーク１８０ａ、ＣＮＮを利用して高度特徴抽出を使用することを含んでもよい。ＣＮＮは、大きいデータセット、例えば数百万の画像に対して事前訓練され、次に一般的特徴抽出／検出を送達するように切り捨てられてもよい。高性能の低計算アーキテクチャ、例えばモバイルネットアーキテクチャを選択することが有益である。この方策は、事前訓練済みＣＮＮが様々な場面で高度な特徴を識別することができるので、はるかに高い性能をもたらす。色およびテクスチャなどのより一般的な特徴と組み合わせて、非常に優れたレベルの性能および一般化を達成することができる。この方策は、一般的に、ＣＮＮアーキテクチャが利用可能なデータセットに対して明確に訓練されるであろう、製品識別の最新技術とは対照的であることに留意されたい。これらのアーキテクチャは多種多様な用途で良好に機能することが実証されているが、カテゴリ当たり１０００を大幅に超える著しい数の画像がなければ、これらのモデルを訓練することは困難なことが分かっており、モデルは一般化されない。
【０１１２】
生成された第２の増加した数の製品画像１６２が受信されて、量的特徴を抽出することができる。上述したように、特徴抽出は、特徴検出器１８０ｂとして使用される第１の画像セットとは別個の大きいデータセットに対して訓練された事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）、Ｒ、Ｇ、Ｂ色ヒストグラムなどの色空間ヒストグラム１８２（色バンドが最適化されてもよい）、ハラリックテクスチャ特徴を使用するテクスチャ特徴などの数値特徴ベクトル１８４によるテクスチャ特徴、およびＫ平均色セグメント化を使用した優勢色セグメントなどの優勢色セグメント化１８６、ならびに考察したような、大きいデータセットに対して訓練された事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）である、事前訓練済みＣＮＮ  １８０ｂを含むことができる。
【０１１３】
完全に接続されたフィードフォワードニューラルネットワーク１８８は、入力画像１６２から抽出された特徴を訓練する。フィードフォワードニューラルネットワークは、各カテゴリのスコアを生成して分類モデル１９０を出力してもよく、分類モデルは、特徴ベクトル生成コントローラで実行して、展開場所で受信される画像の予測を行うことができる。分類モデル１９０は、特徴ベクトル生成コントローラとして埋め込まれ、図１の安価なプロセッサ１０５に組み込まれてもよい。本明細書に開示するシステムおよびプロセスの商業的側面にしたがって、記載したプロセスを通して到達したカテゴリ化モデルを実行する利益は、該カテゴリ化モデルの実行には、展開場所で迅速に出力するための処理能力がほとんど必要なく、画像またはデータ署名の格納が不要な点である。
【０１１４】
図１４を参照すると、図１４は、ＰＯＳシステムと使用中である展開されたカテゴリ化モデルを示しており、つまり、開示の方法およびシステムは、展開場所において販売場所（ＰＯＳ）システム１９６の外部にあるシステム１９４を含むことができ、外部システムは、プロセッサ１０５を備え、例えば可視スペクトルカメラ１９８で、未知の生鮮製品品目２００の画像を獲得し、画像のカテゴリのパーセンテージ尤度に対する出力スコアとして提供する、プロセッサ１０５に組み込まれた分類モデルを実行する。ＰＯＳシステム展開における画像特徴抽出は、訓練で使用したのと同じパラメータおよび構成を利用する。あるいは、展開された特徴抽出は、後述する非セグメント化などのばらつきを含んでもよい。訓練データは、ローカルではなくクラウドに格納される。小さい訓練済みカテゴリ化モデルのみがプロセッサ１０５に埋め込まれるので、データのサイズの数分の一である特徴ベクトル生成コントローラが展開される。例えば、１００のカテゴリに対する訓練データは、展開されたモデルおよびコードベースが１５０ＭＢ未満の場合、４０ＧＢ超であってもよい。
【０１１５】
外部システム１９４は、ＰＯＳシステムに対するプロトコルを含む出力として、フォーマットされた通信を生成してもよく、ＰＯＳシステム１９６は、外部システムの分類モデルによる出力のフォーマットされた通信を受信する。前処理に応じて、また第１の数の画像から始まって、第１の数の画像のセグメント化が処理されてもよく、可視スペクトルカメラ１９８から受信した画像のセグメント化は展開時に実施されない。あるいは、可視スペクトルカメラ１９８は３−Ｄカメラであってもよいので、セグメント化は展開時に実施されずに、むしろ深度の閾値化によって達成される。処理を迅速に行うことが可能になるように、展開時に必要な処理量を制限する、様々な調節が行われてもよい。本発明のシステムおよび方法は迅速に動作し、視覚システム１９４のハードウェアは安価であることが意図される。
【０１１６】
セグメント化（背景なしの前景におけるマスキングされた画像の農産物のみの抽出）は、上述したように、展開場所における処理効率に影響を及ぼすことがある。言及したように、予測は非セグメント化またはセグメント化画像に対して実行されてもよい。セグメント化画像の場合、背景シミュレーションは不要である。セグメント化の堅牢性は方策に応じて決まる。閾値背景減算：１以上の画像を使用して背景のモデル（例えば、ガウス型、ＫＮＮ）を作成する。農産物画像と比較してマスクを作成する。立体撮像を使用して深度情報を取得し、既知の背景深度に基づいてマスクを作成する。非セグメント化の場合、場面シミュレーションを使用して、様々な環境において農産物を認識するようにシステムを教育してもよい。
【０１１７】
別の実施形態では、展開されたシステムは、複数の視野角を組み合わせて特徴の統計的分散を増加させてもよい。画像を組み合わせて（繋ぎ合わせて）単一の画像にし、上述した予測プロセスを通して実行することによって、複数のカメラが実現されてもよい。視野角を増強するためにミラーが使用されてもよく、同じ繋ぎ合わせプロセスで分散の増加が使用されてもよい。自動露出調節またはＨＤＲ対応カメラでは、照明は達成されないことがある。カメラは、スキャナまたは校正専用照明／レーザーのレーザーもしくは外部照明を使用して、生で校正することができる。開示のシステムおよび方法は、十分な予測スコアに達しない場合に、バーコードなしの品目の選択を使用不能にするためだけに実現されてもよい。
【０１１８】
事前訓練済みＣＮＮを含む、特徴抽出のアルゴリズム命令は、訓練済みニューラルネットワークとともに、低コストのシングルボードコンピュータなどのＰＯＳシステムに通信している外部システムで展開されるか、または通信が仮想的に促進されるＰＯＳ機械上で直接展開されてもよい。
【０１１９】
図１３に示されるように、ＰＯＳシステムとの通信は、画像の２００のカテゴリ化のパーセンテージ尤度を提供するＪＳＯＮドキュメントを送信する、ＨＴＴＰサーバで実現されてもよい。ＨＴＴＰサーバはイーサネット（登録商標）接続を使用するが、Ｗｉｆｉ、シリアル、または他のデジタルデータ転送メカニズムに適応することができる。
【０１２０】
開示のシステムおよび方法は、マスキングされた画像の閾値評価を使用するオブジェクト検出、外部入力による始動（生鮮食品ボタンの押下げ、スケールの安定）、必要に応じて外部システムが常に利用可能な結果を安定して作成する実行予測、および／または農産物が存在するかを評価し、十分な確信に達したときに外部システムを始動するための、一貫した予測の使用といった、様々な予測の選択肢を提供することができる。特定のカテゴリは、ＰＯＳシステムでアクティブではない場合は不要なことがある。ランク付けされた結果が提供された場合に任意の切り捨てスコアとともに１つまたは複数の結果を表示できるように、最小限の上位スコアが達成されてもよい。
【０１２１】
開示のシステムは、既定のプロトコルを介してＰＯＳと通信する便利な方法を含む。デバイスによって行われる予測は、ＪａｖａＳｃｒｉｐｔ（登録商標）オブジェクト表記法（ＪＳＯＮ）ファイルに格納されてもよく、ほとんどのプログラミング言語に簡単に統合することが可能である。ＪＳＯＮファイルは、周期的にまたはＰＯＳが要求したときに、ＨＴＴＰサーバまたはシリアルリンクを介して供給されてもよい。以下の情報のフォーマットを可能にする、他の標準的なデータ構造、例えばＸＭＬが使用されてもよい。
【表１】
2021508398.tif 000009
【表２】
2021508398.tif 000010
【０１２２】
開示のシステムおよび方法は、生鮮食品および一括購入品目などのバーコードなしの品目を、カメラを使用してＰＯＳシステムで識別する、拡張可能な解決策を提供する。開示のシステムおよび方法の解決策によって、新しい品目の追加が可能になる。開示のシステムおよび方法によって、有益には、照明、背景、および季節による変動を考慮に入れて教育することができる、高レベルの特徴関係を学習することによって、一般的解決策が可能になる。開示のシステムおよび方法は高価なハードウェアを回避し、したがって、実装コストが低いことにより拡張可能である。また、クラウドＡＰＩサービスの使用を妨げる恐れがある、高いインターネット帯域幅およびサーバのコストが回避される。
【０１２３】
上述の記載は、説明の目的で、本発明の徹底的な理解を提供するために特定の命名法を使用した。しかしながら、本発明を実施するために具体的な詳細は不要であることが、当業者には明白となるであろう。したがって、本発明の特定の実施形態に関する上述の記載は、例証および説明の目的で提示されるものである。記載は、包括的であること、または本発明を開示される正確な形態に限定することを意図せず、当然ながら、上述の教示に照らして、多くの修正および変形が可能である。実施形態は、本発明およびこの実用的用途の原理を最適に説明するために選択し記載したものであり、それによって当業者が、想起される特定の用途に最適に適合するような様々な修正を伴う本発明および様々な実施形態を最適に利用することができる。以下の特許請求の範囲およびこれらの等価物は本発明の範囲を定義するものとする。
【図１】
2021508398.tif 000011
【図２Ａ】
2021508398.tif 000012
【図２Ｂ】
2021508398.tif 000013
【図３Ａ】
2021508398.tif 000014
【図３Ｂ】
2021508398.tif 000015
【図４Ａ】
2021508398.tif 000016
【図４Ｂ】
2021508398.tif 000017
【図５】
2021508398.tif 000018
【図６】
2021508398.tif 000019
【図７】
2021508398.tif 000020
【図８】
2021508398.tif 000021
【図９】
2021508398.tif 000022
【図１０】
2021508398.tif 000023
【図１１】
2021508398.tif 000024
【図１２】
2021508398.tif 000025
【図１３】
2021508398.tif 000026
【図１４】
2021508398.tif 000027
【手続補正書】
【提出日】令和1年9月27日(2019.9.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
品目が背景画像セットとして認識されることとなる複数の背景の画像を受信することと、
元の品目画像セットにおいて認識されるべき品目の元の数の画像を受信することと、
前記元の品目画像セットにおける前記画像の前記背景をマスキングして、マスキングされた品目画像セットを生成することと、
前記マスキングされた品目画像セットをデジタル拡張して、前記マスキングされた品目画像セットよりも多数のマスキングされた品目の画像を含む、拡張されたマスキングされた品目画像セットを生成することと、
前記拡張された品目画像セットの各画像を前記背景画像セットの前記画像の各々に重畳して、訓練画像セットの一部として複数の新しい訓練画像を生成することによって、前記訓練画像セットがニューラルネットワークを訓練するのに十分な量的ばらつきを提供することと、
前記訓練画像セットから特徴を抽出することと、
前記訓練画像セットに対してニューラルネットワークを訓練することによって、画像のカテゴリ化の予測を提供する分類モデルを生成することと、
を前処理に含むとともに、
前記分類モデルをプロセッサに組み込むことと、
カテゴリ化のための画像を受信することと、
を含み、
前記プロセッサがＰＯＳシステムと通信し、前記プロセッサが前記受信した画像に対して前記分類モデルを実行して前記画像のカテゴリ化の予測を前記ＰＯＳシステムに出力する画像カテゴリ化方法。
【請求項２】
前処理の際に、事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）が、特徴検出器として使用される、大きな関連性のない、または独立したデータセットに対して訓練される請求項１に記載の方法。
【請求項３】
前記ニューラルネットワークが全結合型ニューラルネットワークである請求項１に記載の方法。
【請求項４】
前記特徴抽出が、
ａ．前記事前訓練済みＣＮＮと、
ｂ．色空間ヒストグラムと、
ｃ．数値特徴ベクトルによるテクスチャ特徴と、
ｄ．優勢色セグメント化と、
を含む請求項２に記載の方法。
【請求項５】
前記ＰＯＳシステムが、前記分類モデルによるフォーマットされた出力の通信を受信し、前記フォーマットされた出力が、画像のカテゴリのパーセンテージ尤度のスコアを前記ＰＯＳシステムに提供するプロトコルを含む請求項１に記載の方法。
【請求項６】
販売場所（ＰＯＳ）システムの外部にある外部システムであって、
品目が背景画像セットとして認識されることとなる複数の背景の画像を受信することと、
元の品目画像セットにおいて認識されるべき品目の元の数の画像を受信することと、
前記元の品目画像セットにおける前記画像の前記背景をマスキングして、マスキングされた品目画像セットを生成することと、
前記マスキングされた品目画像セットをデジタル拡張して、前記マスキングされた品目画像セットよりも多数のマスキングされた品目の画像を含む、拡張されたマスキングされた品目画像セットを生成することと、
前記拡張された品目画像セットの各画像を前記背景画像セットの前記画像の各々に重畳して、訓練画像セットの一部として複数の新しい訓練画像を生成することによって、前記訓練画像セットがニューラルネットワークを訓練するのに十分な量的ばらつきを提供することと、
を前処理において行うように構成されるとともに、
前記増加された画像セットから特徴を抽出して、前記増加された画像セットに対してニューラルネットワークを訓練することによって分類モデルを生成することと、
プロセッサに組み込まれた前記分類モデルを実行して、前記画像のカテゴリの予測を出力として提供することと、
フォーマットされた通信を前記ＰＯＳシステムに対するプロトコルを含む出力として生成し、前記ＰＯＳシステムが、前記外部システムの分類モデルによる前記出力の前記フォーマットされた通信を受信することと、
を行うように構成されたプロセッサを備える外部システム。
【請求項７】
前記分類モデルが、前記画像のカテゴリ化のパーセンテージ尤度を提供する請求項６に記載のシステム。
【請求項８】
前処理の際に、前記ニューラルネットワークが、形状およびエッジ検出器として使用される、大きな関連性のない、または独立したデータセットに対して訓練された事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）を含む請求項７に記載のシステム。
【請求項９】
前記ニューラルネットワークが全結合型ニューラルネットワークである請求項７に記載のシステム。
【請求項１０】
前記特徴抽出が、
ａ．前記事前訓練済みＣＮＮと、
ｂ．色空間ヒストグラムと、
ｃ．数値特徴ベクトルによるテクスチャ特徴と、
ｄ．優勢色セグメント化と、
を含む請求項８に記載のシステム。
【請求項１１】
品目が背景画像セットとして認識されることとなる複数の背景の画像を受信することと、
元の品目画像セットにおいて認識されるべき品目の元の数の画像を受信することと、
前記元の品目画像セットにおける前記画像の前記背景をマスキングして、マスキングされた品目画像セットを生成することと、
前記マスキングされた品目画像セットをデジタル拡張して、前記マスキングされた品目画像セットよりも多数のマスキングされた品目の画像を含む、拡張されたマスキングされた品目画像セットを生成することと、
前記拡張された品目画像セットの各画像を前記背景画像セットの前記画像の各々に重畳して、訓練画像セットの一部として複数の新しい訓練画像を生成することによって、ニューラルネットワークを訓練するのに十分な量的ばらつきを提供することと、
事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）を高度エッジおよび形状識別子として実行することを含む、該訓練画像セットから特徴抽出することと、
ニューラルネットワークによって前記第２の数の画像を処理することによって、画像のカテゴリ化の予測を提供する分類モデルを生成することと、
を含む製品カテゴリ化方法。
【請求項１２】
前記分類モデルを生成することが、前記訓練画像セットの画像の特徴抽出を前処理することを含む請求項１１に記載の方法。
【請求項１３】
前記特徴抽出が、
ａ．前記事前訓練済みＣＮＮと、
ｂ．色空間ヒストグラムと、
ｃ．数値特徴ベクトルによるテクスチャ特徴と、
ｄ．優勢色セグメント化と、
を含む請求項１１に記載の方法。
【請求項１４】
前記ニューラルネットワークが全結合型ニューラルネットワークである請求項１１に記載の方法。
【請求項１５】
前記分類モデルが、ＰＯＳシステムの外部にあって該ＰＯＳシステムと通信しているプロセッサに組み込まれる請求項１１に記載の方法。
【請求項１６】
前記方法が、前記分類モデルによるフォーマットされた出力の通信を前記ＰＯＳシステムに送信することを含み、前記フォーマットされた出力が、前記画像のカテゴリの前記パーセンテージ尤度のスコアを前記ＰＯＳシステムに提供するプロトコルを含む請求項１５に記載の方法。
【請求項１７】
品目が背景画像セットとして認識されることとなる複数の設定画像を受信することと、
元の品目画像セットにおいて認識されるべき品目の元の数の画像を受信することと、
前記元の品目画像セットにおける前記画像の背景をマスキングして、マスキングされた品目画像セットを生成することと、
前記マスキングされた品目画像セットをデジタル拡張して、前記マスキングされた品目画像セットよりも多数のマスキングされた品目の画像を含む、拡張されたマスキングされた品目画像セットを生成することと、
前記拡張された品目画像セットの前記画像の各々を前記背景画像セットの前記画像の各々に重畳して、訓練画像セットの一部として複数の新しい訓練画像を生成することによって、前記訓練画像セットがニューラルネットワークを訓練するのに十分な量的ばらつきを提供することと、
前記増加された画像セットから特徴を抽出することと、
前記訓練画像セットをニューラルネットワークによって処理して、展開のための分類モデルを生成することと、
を前処理に含み、画像のセグメント化が展開時に実施されない、画像データセットを拡大する方法。
【請求項１８】
展開時に、
画像を獲得することと、
該画像から少なくとも一つの特徴を抽出することと、
前記抽出された特徴を前記分類モデルの前記ニューラルネットワークに適用して、前記画像のカテゴリ化のパーセンテージ尤度を生成することと、
を含む請求項１７に記載の方法。
【請求項１９】
前処理の際に、前記特徴抽出が、形状およびエッジ検出器として使用される、大きな関連性のない、または独立したデータセットに対して訓練された事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）によって実施される請求項１７に記載の方法。
【請求項２０】
前記ニューラルネットワークが全結合型ニューラルネットワークである請求項１７に記載の方法。
【請求項２１】
前記特徴抽出が、
ａ．前記事前訓練済みＣＮＮと、
ｂ．色空間ヒストグラムと、
ｃ．数値特徴ベクトルによるテクスチャ特徴と、
ｄ．優勢色セグメント化と、
を含む請求項１９に記載の方法。
【請求項２２】
展開のため、前記分類モデルが、ＰＯＳシステムの外部にあって該ＰＯＳシステムと通信しているプロセッサに組み込まれる、請求項１７に記載の方法。
【請求項２３】
前記ＰＯＳシステムが、前記分類モデルによるフォーマットされた出力の通信を受信し、前記フォーマットされた出力が、前記画像のカテゴリの前記パーセンテージ尤度のスコアを前記ＰＯＳシステムに提供するプロトコルを含む請求項２２に記載の方法。
【請求項２４】
品目が背景画像セットとして認識されることとなる複数の設定画像を受信することと、
元の品目画像セットにおいて認識されるべき品目の元の数の画像を受信することと、
前記元の品目画像セットにおける前記画像の背景をマスキングして、マスキングされた品目画像セットを生成することと、
前記マスキングされた品目画像セットをデジタル拡張して、前記マスキングされた品目画像セットよりも多数のマスキングされた品目の画像を含む、拡張されたマスキングされた品目画像セットを生成することと、
前記拡張された品目画像セットの各画像を前記背景画像セットの前記画像の各々に重畳して、訓練画像セットの一部として複数の新しい訓練画像を生成することによって、ニューラルネットワークを訓練するのに十分な量的ばらつきを提供することと、
ａ．特徴検出器として使用される、大きな関連性のない、または独立したデータセットに対して訓練された、事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）、
ｂ．色空間ヒストグラム、
ｃ．数値特徴ベクトルによるテクスチャ特徴、および、
ｄ．優勢色セグメント化
にしたがって、第２の数の画像から特徴を抽出することと、
該抽出された特徴に対して、ニューラルネットワークを訓練して、画像のカテゴリ化のパーセンテージ尤度を提供する分類モデルを生成することと、
を含む画像カテゴリ化方法。
【請求項２５】
前記分類モデルをプロセッサに組み込むことと、
カテゴリ化のために画像を受信することと、
を含み、
前記プロセッサがＰＯＳシステムと通信し、前記プロセッサが前記分類モデルを実行して、前記画像のカテゴリ化のパーセンテージ尤度を前記ＰＯＳシステムに出力する請求項２４に記載の方法。
【請求項２６】
前記ＰＯＳシステムが、前記分類モデルによるフォーマットされた出力の通信を受信し、前記フォーマットされた出力が、前記画像のカテゴリのパーセンテージ尤度のスコアを前記ＰＯＳシステムに提供するプロトコルを含む請求項２５に記載の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
実施形態では、角二次モーメント、コントラスト、相関、平方和：分散、逆差分モーメント、総平均、総分散、総エントロピー、エントロピー、差分分散、差分エントロピー、相関１の情報測度、相関２の情報測度、最大相関係数を含む、１４個のテクスチャ特徴（例えば、ハラリックテクスチャ特徴）が使用される。これらの特徴の数学的計算は一般的な最新技術である。
【国際調査報告】
2021508398.tif 000028
2021508398.tif 000029
2021508398.tif 000030
2021508398.tif 000031
2021508398.tif 000032