(57)【要約】本発明は、コンピューター技術分野に関し、視覚及び重力感知に基づく商品認識方法、装置及びシステムが開示された。方法は、取得された商品画像を認識し、Ｎ回の取得及び返還行為に対応する複数の視覚認識結果を取得し、各視覚認識結果は１回の取得及び返還行為に対応し、支持部材に支持された商品に発生するＭ回の重量変化の各回の重量変化に対応する重量認識結果を取得し、発生されたＭ回の重量変化に対応する総重量変化値とＮ回の取得及び返還行為に対応する取得及び返還商品の総重量値とが一致するか否かを判断し、一致しないと判断する場合、Ｍ個の重量認識結果に基づいて、各視覚認識結果を改善し、Ｎ回の取得及び返還行為に対応する認識商品の合計を取得すること、を含む。装置は、視覚認識モジュールと、重量認識モジュールと、判断モジュールと、取得モジュールとを含む。上記の技術案により商品認識の確度を向上することができる。
2022501660.tif 000002
【特許請求の範囲】
【請求項１】
取得された商品画像を認識し、Ｎ回の取得及び返還行為に対応する複数の、取得及び返還動作と、取得及び返還商品と、取得及び返還時間とを含む視覚認識結果を取得し、各前記視覚認識結果は１回の取得及び返還行為に対応し、
支持部材に支持された商品に発生するＭ回の重量変化の各回の重量変化に対応する、重量変化値及び重量変化時間を含む重量認識結果を取得し、
発生したＭ回の重量変化に対応する総重量変化値と前記Ｎ回の取得及び返還行為に対応する取得及び返還商品の総重量値とが一致するか否かを判断し、
一致しないと判断する場合、Ｍ個の前記重量認識結果に基づいて、各前記視覚認識結果を改善し、前記Ｎ回の取得及び返還行為に対応する認識商品の合計を取得することを含んでおり、
但し、Ｎ、Ｍは自然数であることを特徴とする視覚及び重力感知に基づく商品認識方法。
【請求項２】
前記Ｍ個の前記重量認識結果に基づいて、各前記視覚認識結果を改善し、前記Ｎ回の取得及び返還行為に対応する認識商品の合計を取得することは、
各前記重量認識結果に対して以下のような処理を行い、
前記重量認識結果の重量変化時間とマッチする取得及び返還時間が存在するか否かを判断し、
存在しないと判断する場合、前記重量変化値に基づいて、前記認識商品の合計に属する補充商品を確定し、
存在すると判断する場合、前記取得及び返還時間に対応する前記取得及び返還商品が前記認識商品の合計に属すること、
を含むことを特徴とする請求項１に記載の商品認識方法。
【請求項３】
前記存在すると判断する場合、その後、
前記重量認識結果の重量変化値と前記取得及び返還時間に対応する取得及び返還商品の重力値とが一致するか否かを判断し、
一致しないと判断する場合、前記重量変化値と、販売しようとする各商品の重力値と、前記取得及び返還商品とに基づいて前記取得及び返還時間に対応する、前記認識商品の合計に属する実際商品を取得し、
一致すると判断する場合、前記取得及び返還時間に対応する前記取得及び返還商品が前記認識商品の合計に属するステップに移行すること、
をさらに含むことを特徴とする請求項２に記載の商品認識方法。
【請求項４】
前記Ｍ個の前記重量認識結果に基づいて、各前記視覚認識結果を改善し、前記Ｎ回の取得及び返還行為に対応する認識商品の合計を取得することは、
各前記視覚認識結果に対して以下のような処理を行い、
前記視覚認識結果の取得及び返還時間と一致する重量変化時間が存在するか否かを判断し、
存在しないと判断する場合、前記取得及び返還時間に対応する取得及び返還商品は、前記認識商品の合計に属していないこと、
をさらに含むことを特徴とする請求項２に記載の商品認識方法。
【請求項５】
前記取得された商品画像を認識することは、
取得された商品画像に対して背景分離処理を行い、前記商品画像の前景画像を取得し、
前記前景画像に対して認識を行うこと、
を含むことを特徴とする請求項１に記載の商品認識方法。
【請求項６】
取得された商品画像を認識し、Ｎ回の取得及び返還行為に対応する複数の、取得及び返還動作と、取得及び返還商品と、取得及び返還時間とを含む視覚認識結果を取得し、各前記視覚認識結果は１回の取得及び返還行為に対応する視覚認識モジュールと、
支持部材に支持された商品に発生するＭ回の重量変化の各回の重量変化に対応する、重量変化値及び重量変化時間を含む重量認識結果を取得する重量認識モジュールと、
発生したＭ回の重量変化に対応する総重量変化値と前記Ｎ回の取得及び返還行為に対応する取得及び返還商品の総重量値とが一致するか否かを判断する判断モジュールと、
一致しないと判断する場合、Ｍ個の前記重量認識結果に基づいて、各前記視覚認識結果を改善し、前記Ｎ回の取得及び返還行為に対応する認識商品の合計を取得する取得モジュールと、を含んでおり、
但し、Ｎ、Ｍは自然数であることを特徴とする視覚及び重力感知に基づく商品認識装置。
【請求項７】
前記取得モジュールは、
前記重量認識結果の重量変化時間とマッチする取得及び返還時間が存在するか否かを判断する第１判断ユニットと、
存在しないと判断する場合、前記重量変化値に基づいて、前記認識商品の合計に属する補充商品を確定する補充ユニットと、
存在すると判断する場合、前記取得及び返還時間に対応する前記取得及び返還商品が前記認識商品の合計に属することを確認する確認ユニットと、
各前記重量認識結果に対して前記第１判断ユニットと、前記補充ユニットと、前記確認ユニットとのそれぞれの機能を実施する第１トラバースユニットと、
を含むことを特徴とする請求項６に記載の商品認識装置。
【請求項８】
前記商品認識装置は、
前記第１判断ユニットが存在すると判断する場合、前記重量認識結果の重量変化値と前記取得及び返還時間に対応する取得及び返還商品の重量とが一致するか否かを判断する第２判断ユニットと、
一致しないと判断する場合、前記重量変化値と、販売しようとする各商品の重力値と、前記取得及び返還商品とに基づいて前記取得及び返還時間に対応する、前記認識商品の合計に属する実際商品を取得する実際商品確認ユニットと、
一致すると判断する場合、前記確認ユニットの取得及び返還時間に対応する前記取得及び返還商品が前記認識商品の合計に属する機能を実施する移行ユニットと、
をさらに含むことを特徴とする請求項７に記載の商品認識装置。
【請求項９】
前記商品認識装置は、
前記視覚認識結果の取得及び返還時間と一致する重量変化時間が存在するか否かを判断する第３判断ユニットと、
存在しないと判断する場合、前記取得及び返還時間に対応する取得及び返還商品は、前記認識商品の合計に属さない削除ユニットと、
各前記視覚認識結果に対して前記第３判断ユニットと前記削除ユニットとのそれぞれの機能を実施する第２トラバースユニットと、
をさらに含むことを特徴とする請求項２に記載の商品認識装置。
【請求項１０】
商品画像を取得するための画像取得装置と、
販売商品の商品棚の重量を秤量する重量計量装置と、
前記画像取得装置及び前記重量計量装置に接続される、請求項６から請求項９のいずれか一項に記載の商品認識装置と
を含むことを特徴とする視覚及び重力感知に基づく商品認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピューター技術分野に関し、特に視覚及び重力感知に基づく商品認識方法、装置及びシステムに関する。
【背景技術】
【０００２】
科学技術を発展すればするほど、顧客は無人販売が好きになっている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来技術において、ある無人販売は、純粋な重力解決案を採用したが、このような方案を使用した後、同じ重量の商品が認識できないという問題を発見した。また、ある無人販売は、純粋な視覚認識方法を採用したが、このような方案を使用した後、商品が相互に遮蔽することによる複数の商品を正確に認識できないという問題を発見した。つまり、ユーザの体験が悪く、商品の認識確度が低くなっていた。
【課題を解決するための手段】
【０００４】
従来技術における問題を解決するために、本発明の一側面は、取得された商品画像を認識し、Ｎ回の取得及び返還行為に対応する複数の、取得及び返還動作と、取得及び返還商品と、取得及び返還時間とを含む視覚認識結果を取得し、各前記視覚認識結果は１回の取得及び返還行為に対応し、支持部材に支持された商品に発生するＭ回の重量変化の各回の重量変化に対応する、重量変化値及び重量変化時間を含む重量認識結果を取得し、発生したＭ回の重量変化に対応する総重量変化値と前記Ｎ回の取得及び返還行為に対応する取得及び返還商品の総重量値とが一致するか否かを判断し、一致しないと判断する場合、Ｍ個の前記重量認識結果に基づいて、各前記視覚認識結果を改善し、前記Ｎ回の取得及び返還行為に対応する認識商品の合計を取得することを含んでおり、Ｎ、Ｍは自然数である視覚及び重力感知に基づく商品認識方法が提供されている。
【０００５】
本発明の他の側面は、取得された商品画像を認識し、Ｎ回の取得及び返還行為に対応する複数の、取得及び返還動作と、取得及び返還商品と、取得及び返還時間とを含む視覚認識結果を取得し、各前記視覚認識結果は１回の取得及び返還行為に対応するための視覚認識モジュールと、支持部材に支持された商品に発生するＭ回の重量変化の各回の重量変化に対応する、重量変化値及び重量変化時間を含む重量認識結果を取得するための重量認識モジュールと、発生したＭ回の重量変化に対応する総重量変化値と前記Ｎ回の取得及び返還行為に対応する取得及び返還商品の総重量値とが一致するか否かを判断する判断モジュールと、一致しないと判断する場合、Ｍ個の前記重量認識結果に基づいて、各前記視覚認識結果を改善し、前記Ｎ回の取得及び返還行為に対応する認識商品の合計を取得する取得モジュールと、を含んでおり、Ｎ、Ｍは自然数である視覚及び重力感知に基づく商品認識装置が提供されている。
【０００６】
本発明の別の側面は、商品画像を取得する撮像装置と、販売商品の商品棚の重量を秤量する重量計量装置と、前記画像取得装置及び重量計量装置に接続される上記の商品認識装置とを含む視覚及び重力感知に基づく商品認識システムが提供されている。
【０００７】
本発明のまた別の側面は、メモリと、メモリに接続され、メモリに記憶されたコマンドに基づいて、上記視覚及び重力感知に基づく商品認識方法を実施するように配置されるプロセッサと、を含む視覚及び重力感知に基づく商品認識方法が提供されている。
【０００８】
本発明のまた他の側面は、コンピュータープログラムを記憶するコンピューター読み取り可能の記憶媒体が提供され、このコンピュータープログラムがプロセッサで実施される時に上記視覚及び重力感知に基づく商品認識方法を実現する。
【発明の効果】
【０００９】
本発明の実施例は技術案によって以下のような有益な効果をもたらした。
商品認識の確度を大幅に向上させ、さらにユーザの体験を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の１つの実施例により提供される視覚及び重力感知に基づく商品認識方法のフローチャートである。
【図２】本発明の他の実施例により提供される視覚及び重力感知に基づく商品認識方法のフローチャートである。
【図３】本発明の別の実施例により提供される視覚及び重力感知に基づく商品認識方法のフローチャートである。
【図４】本発明のまた別の実施例により提供される視覚及び重力感知に基づく商品認識方法のフローチャートである。
【図５】本発明の１つの実施例により提供される視覚及び重力感知に基づく商品認識装置の構成模式図である。
【発明を実施するための形態】
【００１１】
本発明の目的、技術案及びメリットがより明瞭になるように、以下、図面と合わせて本発明の実施形態をさらに詳しく説明する。
図１を参照して、本発明の１つの実施例により提供される視覚及び重力感知に基づく商品認識方法は、ステップ１０１〜ステップ１０４を含む。
【００１２】
ステップ１０１において、取得された商品画像を認識し、Ｎ回の取得及び返還行為に対応する複数の視覚認識結果を取得し、各視覚認識結果は１回の取得及び返還行為に対応する。
【００１３】
該ステップにおいて、商品画像を取得するのは、カメラを例とした画像取得装置によって完成することができる。画像取得装置は、ユーザの商品の選択プロセスを撮像するものであり、それによりユーザの該プロセスにおける画像を取得することができる。画像取得装置は、商品を有する無人販売機や商品を載置する商品棚の上方及び/又は下方に取り付けられてもよく、扉を有する無人販売機のドアフレームに取り付けられてもよい。商品画像を認識するのは、畳み込みニューラルネットワークモデルを例とした認識モデルによって完成することができる。入力は取得された商品画像であり、出力は取得及び返還商品（あるいは、商品画像における商品の種類と呼ばれる）であってもよく、すなわち、ユーザの取得及び返還動作に対応する商品である。商品の選択プロセスとは、ユーザが画像取得装置で撮像された領域に商品を選択するプロセスであって、通常、Ｎ回の取得及び返還行為を含み、1回の取得及び返還行為であってもよく、その時にＮは１であり、複数回の取得及び返還行為であってもよく、その時にＮは１以上であり、Ｎは自然数である。取得及び返還行為は、商品に対する取得行為又は返還行為であり、取得行為は、ユーザが該商品を購入してほしいことを表し、返還行為は、ユーザが該商品を購入してほしくないことを表す。ユーザが商品を持ち且つ徐々に支持部材から離れると、該行為は商品に対する取得行為であると認識する。ユーザが商品を持ち且つ徐々に支持部材に近づくと、該行為は商品に対する返還行為であると認識する。前記支持部材は、販売しようとする商品を支持するものである。各回の取得及び返還行為に対して商品画像を採取し、商品画像を認識し、取得及び返還商品と、取得及び返還動作と、取得及び返還時間とを含む視覚認識結果を取得する。取得及び返還商品は、取得及び返還動作に対応する商品である。取得及び返還時間は、該回の取得及び返還行為を実施する時間であって、商品が含まれる画像を取得した任意の時間を取得及び返還時間とすることであってもよく、以下のとおりであってもよい。取得及び返還行為が取得行為であれば、今回の取得及び返還行為において、最初に商品が含まれる画像を取得する時間を取得及び返還時間（あるいは、商品取得時間と呼ばれる）とする。取得及び返還行為が返還行為であれば、今回の取得及び返還行為において、最後で商品が含まれる画像を取得する時間を取得及び返還時間（あるいは、商品返還時間と呼ばれる）とする。
【００１４】
商品認識の確度を高めるために、商品画像を取得した後且つ商品画像を認識する前に、商品画像に対して背景分離処理を行い、商品画像の前景画像を取得し、前景画像に対する認識を行う。背景分離技術は、前後のフレーム画像間の差別を比較することにより背景画像を確定し、そして背景減去法を用いて前景画像を取得することができる。
【００１５】
ステップ１０２において、支持部材に支持された商品に発生するＭ回の重量変化の各回の重量変化に対応する重量認識結果を取得する。
該ステップにおいて、各回の取得及び返還行為を実施することは、商品を支持部材から離れさせ又は支持部材に置けることにより、支持部材に支持された商品の重量（すなわち、支持部材を受け乗せる重量）が変化し、例えば減少又は増加し、該変化が重力センサ（又は重量センサ）を例とした重量計量装置により取得される。重力センサは、販売装置全体を秤量することができ、支持部材を受け乗せた重量変化値を取得し、該販売装置は、無人販売機又は商品棚であってもよい。また、重量計量装置は、販売装置の各層の支持フレームを秤量することができることにより、支持部材を受け乗せた重量変化値を取得し、各層の支持フレームは、複数の支持部材で構成され、重力センサの秤量対象に関して本実施例はこれに限定されない。Ｎ回の取得及び返還行為の実行プロセスにおいて、いくつ回の重量変化が発生され、発生の回数は、１回であってもよく、この時にＭは１であり、複数回であってもよく、この時にＭは２以上であり、Ｍは自然数である。各回の重量変化を記録し、かつ重量変化値及び重量変化時間を含む重量認識結果を取得する。重量変化時間は、重量変化が発生された時間である。Ｎ回の取得及び返還行為を1回の購入行為と見なすと、すなわち、該購入行為の実行プロセスで発生される各回の重量変化を記録する。例えば、ユーザが無人販売機を用いて商品を購入する時に、無人販売機の前にいくつ回の商品の取得及び返還行為を行ってから、該無人販売機から離れることができ、ユーザが無人販売機の前に来るから該無人販売機から離れるまでの間に実施されるいくつ回の商品の取得及び返還行為を１回の購入行為と見なすことができる。また、ユーザが無人スーパーで商品を購入する時に、ある商品棚の前にいくつ回の商品の取得及び返還行為を行ってから、該商品棚から離れることができ、ユーザが商品棚の前に来るから該商品棚から離れるまでの間に実施されるいくつ回の商品の取得及び返還行為を１回の購入行為と見なすことができる。
【００１６】
ステップ１０３において、発生したＭ回の重量変化に対応する総重量変化値とＮ回の取得及び返還行為に対応する取得及び返還商品の総重量値とが一致するか否かを判断する。
該ステップにおいて、Ｎ回の取得及び返還行為がＮ個の視覚認識結果に対応し、各視覚認識結果には取得及び返還商品が含まれ、該取得及び返還商品が認識された後、予め設定された、無人販売機または商品棚における販売しようとする商品の種類および重量値が記載される重量表によって、該取得及び返還商品に対応する重量値を取得することができる。総重量値は、全ての視覚認識結果における取得及び返還商品の重量の合計値であり、取得及び返還行為が取得行為である時、該取得及び返還行為に対応する取得及び返還商品（あるいは、商品取得と呼ばれる）の重量によって、総重量値が増加するようにする。取得及び返還行為が返還行為である時、該取得及び返還行為に対応する取得及び返還商品（あるいは、商品返還と呼ばれる）の重量によって、総重量値が減少するようにする。そのため、正値および負値を用いて、異なる取得及び返還行為を区別する。例えば、ユーザは、ある時点前にもう支持部材から続々と商品Ａ、Ｂを取得してショッピングカート（あるいは、仮想ショッピングカートまたは実体ショッピングカートである）に入れ、重量表を調べることにより、それぞれ、商品Ａの重量値はＡ’であり、商品Ｂの重量値はＢ’であり、その時の総重量値は（+Ａ’）+（+Ｂ’）であり、そして該ある時点後に商品Ｂをショッピングカート（あるいは、仮想ショッピングカートまたは実体ショッピングカートである）から取り出し、支持部材に返還し、その時の総重量値は（+Ａ’）+（+Ｂ’）+（-Ｂ’）＝Ａ’である。
【００１７】
ユーザが取得及び返還行為を実施する前の販売装置全体の重量を初期重量値とし、ユーザがＮ回の取得及び返還行為を実施した後の販売装置全体の重量を終了重量値とし、両値の差を重量変化値として取得する。他の実施において、各回の重量変化値を記録することによって取得し、例えば、ユーザが支持部材から商品を取得する時、複数の支持部材からなる支持棚を受け乗せた重量を減少させ、ユーザが支持部材に商品を返還する時、支持棚を受け乗せた重量を増加させるため、正値および負値を用いて、異なる重量の変化を区別する。いくつの重量変化値を足し算すれば、総重量変化値を取得する。例えば、ある時点の前に２回の重量変化を発生することが検出され、それぞれ、重量変化値が+Ａ’及び+Ｂ’であり、総重量変化値は（+Ａ’）+（+Ｂ’）であり、そして該ある時点の後で重量変化を発生することが検出され、重量変化値が-Ｂ’であり、その時の総重量変化値は（+Ａ’）+（+Ｂ’）+（-Ｂ’）＝Ａ’である。Ｎ回の取得及び返還行為の実行プロセスにおいて、それによりいくつかの重量変化を行い、重量変化の回数は、異なるシナリオおよび異なるユーザが取得及び返還行為を実施することによって、１回の購入行為における取得及び返還行為の回数と同じである場合があり、１回の購入行為における取得及び返還行為の回数と同じでない場合もある。Ａ’およびＢ’のいずれも正数である。
【００１８】
そして、発生したＭ回の重量変化に対応する総重量変化値と、Ｎ回の取得及び返還行為に対応する取得及び返還商品の総重量値とが一致するか否かを比較し、一致する場合、Ｎ回の視覚認識結果の合計を商品認識結果の合計とする。一致しない場合、認識確度を向上するように、視覚認識結果の改善が必要であることを示す。比較する時、両者が完全に同じであるか否かを比較してもよく、両者が適切な誤差範囲内にあるか否かを比較してもよく、該誤差は、地理的位置や商品供給者によって確定され、本実施例はこれに限定されない。該ステップは、通常、ユーザが1回の購入行為を完成した後で実施し、たとえば、ユーザが無人販売機で商品を購入する時、ユーザが購入を完了した後、無人販売機のドアを閉じて会計情報を送信する前に、実施することを開始する。ユーザは、無人店舗で商品を購入する時、現在商品を選択する商品棚から離れたり、無人店舗の出口領域に入ったり、無人店舗を出たりして会計する前に、実施することを開始する。
【００１９】
ステップ１０４において、一致しないと判断する場合、Ｍ個の重量認識結果に基づいて、各視覚認識結果を改善し、Ｎ回の取得及び返還行為に対応する認識商品の合計を取得する。
通常の状況において、１回の重量変化は、必ずユーザが取得及び返還行為を実施することによって引き起こし、さらに該得及び返還行為は１つの視覚認識結果に対応する可能性を有し、遮蔽されたシーンでは、視覚認識結果のない可能性を有し、このとき、該取得及び返還行為は、それに対応する視覚認識結果がないため、重量認識結果を用いて視覚認識結果を改善あるいは検証することによって、商品の認識確度を向上することができる。
【００２０】
要約すると、本発明の実施例は、視覚認識結果および重量認識結果を取得することによって、且つ視覚認識結果に対応する総重量値と重量認識結果に対応する総重量変化値と一致しない場合、重量認識結果に応じて視覚認識結果を改善し、ユーザが購入した認識商品の合計を取得することにより、商品の認識確度を向上することができる。
【００２１】
図２を参照して、本発明の他の実施例により提供される視覚及び重力感知に基づく商品認識方法は、ステップ２０１〜ステップ２０９を含む。
ステップ２０１において、取得された商品画像を認識し、Ｎ回の取得及び返還行為に対応する複数の視覚認識結果を取得し、各視覚認識結果は１回の取得及び返還行為に対応する。
【００２２】
ステップ２０２において、支持部材に支持された商品に発生するＭ回の重量変化の各回の重量変化に対応する重量認識結果を取得する。
ステップ２０３において、発生されたＭ回の重量変化に対応する総重量変化値とＮ回の取得及び返還行為に対応する取得及び返還商品の総重量値とが一致するか否かを判断する。
【００２３】
ステップ２０１〜ステップ２０３の説明については、上記の実施例に関連する説明を参照し、ここで一々重複説明を省略する。
ステップ２０４において、一致すると判断する場合、複数の視覚認識結果によって、Ｎ回の取得及び返還行為に対応する認識商品の合計を取得する。
該ステップにおいて、Ｍ回の重量変化に対応する総重量変化値はＮ回の取得及び返還行為に対応する取得及び返還商品の総重量値と一致すれば、視覚認識が正しいことを示し、この時、複数の視覚結果の取得及び返還商品は足し算処理を行い、その合計をＮ回の取得及び返還行為に対応する認識商品の合計とする。
【００２４】
ステップ２０５において、一致しないと判断する場合、Ｍ個の重量認識結果における第ｉ’個の重量認識結果の重量変化時間とマッチする取得及び返還時間が存在するか否かを判断し、ｉ’は、自然数であり、且つＭ以下である。
１回の重量変化が発生すれば、ユーザが取得及び返還行為（取得行為又は返還行為）を実施すべきであるが、該取得及び返還行為が１つの視覚認識結果に対応するか否か、異なるシーン及び異なるユーザが取得及び返還行為を実施する場合によって異なるため、重量変化時間とマッチする取得及び返還時間が存在するか否かを判断することにより、１回の重量変化の発生が１個の視覚認識結果を対応的に取得するか否かを確定する。重量認識結果の重量変化値は、視覚認識結果の取得及び返還動作と取得及び返還商品を時間軸に時間的に同期させることができるため、時間軸を用いて２種の結果を揃えて、重量変化時間と取得及び返還時間とのマッチングを実現することを便利になる。該処理は、各重量認識結果に対して行う。
【００２５】
ステップ２０６において、存在しないと判断する場合、重量変化値によって、認識商品の合計に属する補充商品を確定する。
該ステップにおいて、重量変化が発生されたことにより、重量認識結果のみを取得したが、対応する視覚認識結果を取得しないため、複数の視覚認識結果の合計を、Ｎ回の取得及び返還行為に対応する認識商品の合計とすれば、商品認識の確度を下げるようにする。商品認識の確度を向上するために、重量変化値及び予め設定された重量表によって、該重量変化値に対応する販売しようとする商品を取得し、該商品は、補充商品として、Ｎ回の取得及び返還行為に対応する認識商品の合計に属し、商品認識の確度を向上することができる。重量認識結果を用いて視覚認識結果を検証し、視覚認識結果で認識されず且つ重力変化が検出された重量認識結果を認識商品の合計に補充し、視覚認識結果の二次検証を完成する。
【００２６】
ステップ２０７において、存在すると判断する場合、取得及び返還時間に対応する取得及び返還商品が認識商品の合計に属する。
該ステップにおいて、重量変化が発生されたことにより、重量認識結果が取得られ、対応的に視覚認識結果をさらに取得するため、該視覚認識結果が正しいものと考え、すなわち、該視覚認識結果の取得及び返還商品を、Ｎ回の取得及び返還行為に対応する認識商品の合計に属する。
【００２７】
図３を参照し、取得及び返還動作を実施する時に、あるユーザの手で異物を有し、それは、支持部材に支持された商品ではなく、すなわち供給された販売しようとする商品に属さない、例えば携帯電話、ハンドルポケットなどである。取得された商品画像は異物が含まれるため、認識する時に、異物が含まれる取得及び返還動作を１回の取得及び返還行為と誤認し、最終の認識商品の合計に影響を与えるため、ステップ２０４の後、本商品認識方法はさらに以下のステップ２０８〜ステップ２０９を含む。
ステップ２０８において、複数の視覚認識結果における第ｉ”個の視覚認識結果の取得及び返還時間とマッチする重量変化時間が存在するか否かを判断し、ｉ”は自然数である。
【００２８】
視覚認識技術によって視覚認識結果を取得するため、正常な場合、１つの視覚認識効果を取得すると、ユーザが取得及び返還行為（取得行為又は返還行為）を実施すべきであることにより、対応的に支持部材を受け乗せる重量の変化を発生することを引き起こす。しかし、異なるシーン及び異なるユーザが取得及び返還行為を実施する場合によって異なるため、取得及び返還時間とマッチする重量変化時間が存在するか否かを判断することにより、１つの視覚認識結果が対応的に１回の重量変化が発生したか否かを確定し、すなわち１つの重量認識結果を取得する。重量認識結果の重量変化値と視覚認識結果の、取得及び返還動作と取得及び返還動作を時間軸上で時間的に同期させることができ、それにより時間軸を用いて２つの結果を揃え、重量変化時間と取得及び返還時間のマッチングを実現することが便利になる。該処理は、各重量認識結果に対して実施する。ｉ”の最大値は、視覚認識結果の数である。
【００２９】
ステップ２０９において、存在しないと判断する場合、取得及び返還時間に対応する取得及び返還商品が認識商品の合計に属さない。
該ステップにおいて、視覚認識結果のみを取得し、重量認識結果を取得しないため、この時に重量変化が発生せず、すなわち支持部材から取得される又は支持部材に返還される商品がなく、今回の取得及び返還動作に対する商品が販売しようとする商品に属さないことを示す。視覚認識結果を取得したが、それの取得及び返還商品を認識商品の合計に属さなく、即ち、該視覚認識結果の取得及び返還商品を認識商品の合計から削除することが必要である。重量認識結果を用いて視覚認識結果を検証し、重力変化のない視覚認識結果をろ過し、視覚認識結果の二次検証を完成する。
【００３０】
なお、ステップ２０８はステップ２０５と同時に行ってもよく、ステップ２０５の後で行ってもよく、ステップ２０５の前に行ってもよく、本実施例はこれに限定されない。
要約すると、本発明の実施例は、視覚認識結果及び重量認識結果を取得することにより、且つ視覚認識結果に対応する総重量値と重量認識結果に対応する総重量変化値とが一致しない時、重量認識結果に応じて視覚認識結果を改善することにより、ユーザが購入した認識商品の合計を取得し、このように商品の認識確度を向上することができる。
【００３１】
図４を参照して、本発明の他の実施例により提供される視覚及び重力感知に基づく商品認識方法は、ステップ３０１〜ステップ３０９を含む。
ステップ３０１において、取得された商品画像を認識し、Ｎ回の取得及び返還行為に対応する複数の、取得及び返還動作と、取得及び返還商品と、取得及び返還時間とを含む視覚認識結果を取得し、各視覚認識結果は１回の取得及び返還行為に対応し、取得及び返還商品は取得及び返還動作に対応する商品である。
【００３２】
ステップ３０２において、支持部材に支持された商品に発生するＭ回の重量変化の各回の重量変化に対応する、重量変化値及び重量変化時間を含む重量認識結果を取得する。
ステップ３０３において、発生したＭ回の重量変化に対応する総重量変化値とＮ回の取得及び返還行為に対応する取得及び返還商品の総重量値とが一致するか否かを判断する。
【００３３】
ステップ３０４において、一致すると判断する場合、複数の視覚認識結果によって、Ｎ回の取得及び返還行為に対応する認識商品の合計を取得する。
ステップ３０５において、一致しないと判断する場合、Ｍ個の重量認識結果における第ｉ’個の重量認識結果の重量変化時間とマッチする取得及び返還時間が存在するか否かを判断し、ｉ’は、自然数であり、且つＭ以下である。
【００３４】
ステップ３０６において、存在しないと判断する場合、重量変化値によって、認識商品の合計に属する補充商品を確定する。
ステップ３０１〜ステップ３０６の説明については、上記の実施例に関連する説明を参照し、ここで一々重複説明を省略する。
【００３５】
ステップ３０７において、存在すると判断する場合、重量認識結果の重量変化値と取得及び返還時間に対応する取得及び返還商品の重量とが一致するか否かを判断する。
該ステップにおいて、重量変化時間とマッチする取得及び返還時間が存在すれば、即ち、重量認識結果を取得しただけではなく、視覚認識結果も取得すれば、該回の取得及び返還行為の取得及び返還動作は販売しようとする商品に対する動作であることを示す。あるシーンにおいて、例えば１回で複数の商品を取得し、複数の商品の間に相互に遮蔽現象が発生する可能性があり、画像認識技術に基づいて取得した視覚認識結果の確度に影響を与え、この時に視覚認識結果の取得及び返還商品がユーザ実際に取得した商品ではない。例えば、認識された取得及び返還商品はＤであり、ユーザが実際に取得した商品はＣであり、すなわち、実際商品Ｃを商品Ｄであると認識し、商品Ｄが認識商品の合計に属すると、ユーザが会計する時に、無人買物の体験に影響を与える。したがって、ユーザのショッピング体験を向上し、商品認識の確度を向上するために、該ステップを実施する。
【００３６】
ステップ３０８において、一致しないと判断する場合、前記重量変化値と、販売しようとする各商品の重力値と、前記取得及び返還商品とに基づいて、前記取得及び返還時間に対応する、前記認識商品の合計に属する実際商品を取得する。
重量認識結果を取得しただけではなく、視覚認識結果も取得したるが、例えば、上記のようなシーンでは、重量認識結果の重量変化値と、視覚認識結果の取得及び返還商品の重量値とが一致しない場合、重量変化値と、販売しようとする各商品の重力値と、取得及び返還商品とに基づき、取得及び返還商品に対応する、認識商品の合計に属する実際商品を取得する。この時、視覚認識結果の取得及び返還商品を認識商品の合計に属さない。
【００３７】
任意選択的に、重量変化値及び販売しようとする各商品の重力値によって１種しかの重量予測商品を含む重量予測結果を取得しないと、該重量予測商品は取得及び返還時間に対応する実際商品とする。重量変化値がＧであることを限定条件として、組み合わせた後の総重量がＧと一致するように、販売しようとする各商品を組み合わせると、１種しかの組み合わせを取得しないと、該組み合わせを構成する商品を重量予測商品と呼ばれ、それを取得及び返還時間に対応する実際商品とし、実際商品は認識商品の合計に属し、この時に視覚認識結果の取得及び返還商品を認識商品の合計に属さない。Ｇは正数である。
【００３８】
任意選択的に、重量変化値及び販売しようとする各商品の重力値に基づいて、多種の重量予測結果を取得したと、多種の重量予測結果において視覚認識結果の取得及び返還商品と重なり度が最も高い重量予測結果を、取得及び返還時間に対応する実際商品とする。重なり度とは、重量予測結果における重量予測商品と、視覚認識結果における取得及び返還商品とは同じ商品を有し、すなわち、両者は交差集合を有する。換言すれば、視覚認識結果の取得及び返還商品に最も近い重量予測結果の重量予測商品を、取得及び返還時間対応する実際商品とする。
【００３９】
任意選択的に、視覚認識結果における取得及び返還商品が多規格の商品に属すると、取得及び返還商品によって商品の種類を確定し、確定した商品の種類と各販売しようとする商品の重力値に基づいて、該取得及び返還商品の商品規格を確定し、商品の規格を取得及び返還商品に属し、取得及び返還商品を更新し、この時、取得及び返還商品は、商品の種類及び商品の規格を含み、このように販売しようとする商品の多様化を実現することができ、ユーザの体験の良好性をより向上することができる。多規格の商品は、同じ外観であり且つ異なる重量の商品を含み、例えば異なる規格のコーラである。
【００４０】
ステップ３０９において、一致すると判断する場合、ステップ３０６に移行する。
該ステップにおいて、重量認識結果を取得しただけではなく、視覚認識結果も取得し、かつ対応的な、重量変化値と重量値とが一致すると、その視覚認識結果が正しいと考えされ、ステップ３０６に移行し、該視覚認識結果の取得及び返還商品を、Ｎ回の取得及び返還行為に対応する認識商品の合計に属する。ステップ３０６の説明については、上記の実施例に関連する説明を参照し、ここで一々重複説明を省略する。
要約すると、本発明の実施例は、視覚認識結果及び重量認識結果を取得することにより、且つ視覚認識結果に対応する総重量変化値と重量認識結果に対応する総重量変化値とが一致しない時、重量認識結果に応じて視覚認識結果を改善することにより、ユーザが購入した認識商品の合計を取得し、このように商品の認識確度を向上することができる。
【００４１】
図５を参照して、本発明の実施例により提供される視覚及び重力感知に基づく商品認識装置は、上記方法の実施例を実現する機能を有し、該機能はハードウェアによって実現されてもよく、ハードウェアで対応するソフトウェアを実行して実現されてもよい。該商品認識装置は、視覚認識モジュール５０１と、重量認識モジュール５０２と、判断モジュール５０３と、取得モジュール５０４とを含む。
【００４２】
視覚認識モジュール５０１は、取得された商品画像を認識し、Ｎ回の取得及び返還行為に対応する複数の、取得及び返還動作と、取得及び返還商品と、取得及び返還時間とを含む視覚認識結果を取得し、各視覚認識結果は１回の取得及び返還行為に対応するものであり、Ｎは自然数である。重量認識モジュール５０２は、支持部材に支持された商品に発生するＭ回の重量変化の各回の重量変化に対応する、重量変化値及び重量変化時間を含む重量認識結果を取得するものであり、Ｍは自然数である。判断モジュール５０３は、発生されたＭ回の重量変化に対応する総重量変化値とＮ回の取得及び返還行為に対応する取得及び返還商品の総重量値とが一致するか否かを判断するためのものである。取得モジュール５０４は、一致しないと判断する場合、Ｍ個の重量認識結果に基づいて、各視覚認識結果を改善し、Ｎ回の取得及び返還行為に対応する認識商品の合計を取得するものである。
【００４３】
任意選択的に、取得モジュールは、第１判断ユニットと、補充ユニットと、確認ユニットと、第１トラバースユニットと、を含む。第１判断ユニットは、重量認識結果の重量変化時間とマッチする取得及び返還時間が存在するか否かを判断するものである。補充ユニットは、存在しないと判断する場合、重量変化値に基づいて、認識商品の合計に属する補充商品を確定するものである。確認ユニットは、存在すると判断する場合、取得及び返還時間に対応する取得及び返還商品が認識商品の合計に属することを確認するものである。第１トラバースユニットは、各重量認識結果に対して第１判断ユニットと、補充ユニットと、確認ユニットとのそれぞれの機能を実施するものである。
【００４４】
任意選択的に、商品認識装置は、第２判断ユニットと、実際商品確認ユニットと、移行ユニットと、をさらに含む。第２判断ユニットは、第１判断ユニットが存在すると判断する場合、重量認識結果の重量変化値と取得及び返還時間に対応する取得及び返還商品の重量とが一致するか否かを判断するものである。実際商品確認ユニットは、一致しないと判断する場合、重量変化値と、販売しようとする各商品の重力値と、取得及び返還商品とに基づいて取得及び返還時間に対応する、認識商品の合計に属する実際商品を取得するものである。移行ユニットは、一致すると判断する場合、確認ユニットの、取得及び返還時間に対応する取得及び返還商品が前記認識商品の合計に属する機能を実施するものである。
任意選択的に、商品認識装置は、第３判断ユニットと、削除ユニットと、第２トラバースユニットと、をさらに含む。第３判断ユニットは、視覚認識結果の取得及び返還時間と一致する重量変化時間が存在するか否かを判断するものである。削除ユニットは、存在しないと判断する場合、取得及び返還時間に対応する取得及び返還商品は、認識商品の合計に属さないものである。第２トラバースユニットは、各視覚認識結果に対して第３判断ユニット及び削除ユニットのそれぞれの機能を実施するものである。
【００４５】
任意選択的に、商品認識装置は、取得された商品画像に対して背景分離処理を行い、前記商品画像の前景画像を取得し、前記前景画像を認識用商品画像とする画像予め処理モジュール、をさらに含む。
【００４６】
要約すると、本発明の実施例は、視覚認識結果及び重量認識結果を取得することにより、且つ視覚認識結果に対応する総重量値と重量認識結果に対応する総重量変化値とが一致しない時、重量認識結果に応じて認識視覚結果を改善することにより、ユーザが購入した認識商品の合計を取得し、このように商品の認識確度を向上することができる。
【００４７】
本発明の１つの実施例により提供される視覚及び重力感知に基づく商品認識システムは、商品画像を取得するための撮像装置（画像取得装置）と、販売商品の商品棚の重量を秤量する重量計量装置と、撮像装置及び重量計量装置に接続される上記の商品認識装置とを含む。
【００４８】
本発明の１つの実施例により提供される視覚及び重力感知に基づく商品認識装置は、メモリ及びプロセッサを含む。プロセッサは、メモリに接続され、メモリに記憶されたコマンドに基づいて上記視覚及び重力感知に基づく商品認識方法を実施するように構成される。
本発明の実施例は、コンピューター読み取り可能な記憶媒体を提供し、それはコンピュータープログラムを記憶し、該プログラムは、プロセッサに実行される時に上記視覚及び重力に基づく商品識別方法を実現する。
【００４９】
技術常識からわかるように、本発明は、その精神的な実質又は必要な特徴から逸脱しない範囲内の他の実施案によって実現することができる。したがって、上記開示された各実施例は、各側面については、例示に過ぎず、唯一のものではないと理解すべきである。本発明の範囲内に又は本発明の範囲と均等する範囲内の変更のすべては、本発明に含まれる。
【図１】
2022501660.tif 000003
【図２】
2022501660.tif 000004
【図３】
2022501660.tif 000005
【図４】
2022501660.tif 000006
【図５】
2022501660.tif 000007
【国際調査報告】
2022501660.tif 000008
2022501660.tif 000009
2022501660.tif 000010
2022501660.tif 000011