(57)【要約】【課題】画像に写った物体を認識する場合、認識すべき物体が多くなると、よく似た物体が増大し、その識別精度は低下する。また、同じような画像であっても、場所によって異なる呼称が用いられている場合はどの呼称を用いるべきか判別できない。【解決手段】画像に写った物体を認識する装置において、撮影した場所の情報を加えることで、認識精度を向上させ、他の場所にあるよく似た物体との誤認識を減らすとともに、その場所固有の情報を認識結果に加えることを可能とする。【選択図】図１
2019070887.tif 000002
【特許請求の範囲】
【請求項１】
事前に学習したパラメータを用いて画像内の物体を認識する手段と、あらかじめ登録した場所から画像を撮影した場所を特定するための第一の物体を認識するための第一のパラメータセットを記録する手段と、登録された各々の場所の範囲にある第二の物体を認識するための第二のパラメータセットを記録する手段と、少なくとも一回以上、前記第一のパラメータセットでの物体の認識を行い、その結果で場所を特定したのち、前記第二のパラメータセットの中から、特定された場所に所属する第二の物体を認識するためのパラメータセットを選択し、前記第一のパラメータセットと入れ替える手段から成る、物体認識装置。
【請求項２】
事前に学習したパラメータを用いて画像内の物体を認識する手段と、画像撮影時に受信したビーコン信号の符号を記録する手段と、前記の記録した符号により、あらかじめ登録した場所から画像を撮影した場所を特定するための手段と、登録された場所の範囲にある物体を認識するためのパラメータセットを記録する手段と、前記ビーコン信号により場所を特定するための手段で場所が特定されたのち、前記パラメータセットの中から、特定された場所に所属する物体を認識するためのパラメータセットを選択する手段から成る、物体認識装置。
【請求項３】
事前に学習したパラメータを用いて画像内の物体を認識する手段と、画像撮影時に受信した測位信号の符号を記録する手段と、前記の記録した符号により、あらかじめ登録した場所から画像を撮影した場所を特定するための手段と、登録された場所の範囲にある物体を認識するためのパラメータセットを記録する手段と、前記ビーコン信号により場所を特定するための手段で場所が特定されたのち、前記パラメータセットの中から、特定された場所に所属する物体を認識するためのパラメータセットを選択する手段から成る、物体認識装置。
【請求項４】
事前に学習したパラメータを用いて画像内の物体を認識する手段と、画像撮影時に受信した測位信号の符号を記録する手段と、前記の記録した符号により、あらかじめ登録した場所から画像を撮影した場所を特定するための手段と、あらかじめ登録した場所から画像を撮影した場所を特定するための第一の物体を認識するための第一のパラメータセットを記録する手段と、登録された各々の場所の範囲にある第二の物体を認識するための第二のパラメータセットを記録する手段と、前記の測位信号から特定したある範囲にある、あらかじめ登録した場所に係る前記第一のパラメータセットでの物体の認識を行い、その結果で場所を特定したのち、前記第二のパラメータセットの中から、特定された場所に所属する第二の物体を認識するためのパラメータセットを選択し、前記第一のパラメータセットと入れ替える手段から成る、物体認識装置。
【請求項５】
記録された画像内で認識された物体に係り、かつ撮影された場所ごとに異なる情報を、画像に紐付けて保存する手段をもつ、請求項１あるいは請求項２あるいは請求項３あるいは請求項４の物体認識装置。
【請求項６】
記録された画像内で認識された物体に係り、かつ撮影された場所ごとに異なる情報に、時間によって異なる情報を追加する手段を有する請求項５の物体認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に写った物体を認識する装置において、撮影した場所の情報を加えることで、認識精度を向上させ、他の場所にあるよく似た物体との誤認識を減らすとともに、その場所固有の情報を認識結果に加えることを可能とする物体認識装置である。
【背景技術】
【０００２】
大量のデジタル画像をコンピュータで機械学習を行い、その学習結果を用いて、画像に写った物体を認識する装置により、スマートホン等で撮影した画像が何であるかを表示することが可能となった。
【０００３】
しかし、認識すべき物体が多くなると、よく似た物体が増大し、その識別精度は低下する。また、同じような画像であっても、場所によって異なる呼称が用いられている場合はどの呼称を用いるべきか判別できない。
【０００４】
これに対して、写真を公開するソーシャルネットワークを利用するユーザーが増大し、例えばどのレストランで提供された料理であるかなどと言った場所と物体の両方の情報が求められる機会が増えている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１１４５９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
大量のデジタル画像をコンピュータで機械学習を行い、その学習結果を用いて、画像に写った物体を認識する装置により、スマートホン等で撮影した画像が何であるかを表示する際に、場所によって異なる呼称が用いられている場合でも適切な呼称を用いて表示することで、物体のより詳細な情報が得られる。
【０００７】
しかし、画像の情報からだけではよく似た物体がどこで撮影されたかを知るのは困難である。
【０００８】
特許文献１の技術を用いれば、撮影された画像から複数の物体を認識し、その中で場所に係る物体があれば撮影された場所を特定することが可能であり、同時に写っている物体の認識過程に場所に係る情報を反映することができる。
【０００９】
しかし、必ずしも場所に係る物体が写されているとは限らない。また認識の過程においてはすべての対象物体から認識する必要があり、効率がわるい。
【課題を解決するための手段】
【００１０】
本発明は、スマートホン等で撮影した画像が何であるかを表示する際に、場所によって異なる呼称が用いられている場合でも適切な呼称を用いて表示することを可能にすることを目的としている。
【００１１】
上記目的のため、本発明は、撮影された場所を限定するために、認識する物体の対象を1次物体と2次物体に分類し、1次物体は場所を限定するために使用し、その場所の情報を用いて2次物体の認識率を高め、更には場所に固有の名称を表示する手段等を持つことを特徴とする。
【００１２】
また、本発明は、上記２次物体を認識する際に、一致度の高い複数の候補に対して、1次物体で認識した場所に関連する候補を選択させることで、画像に写った物体の認識率を高くする手段を有する。
【００１３】
更に、本発明は、上記1次物体で認識した場所の範囲にある物体を機械学習した結果を用いて2次物体を認識することで、画像に写った物体の認識率を高くする手段を有する。
【００１４】
あるいは、本発明は、特定の場所に設置したQRコード（QRコードは特定の番号を画像化したもので、株式会社デンソーウェーブの登録商標）を読み込むことで、場所を特定することを特徴とする。
【００１５】
あるいは、本発明は、特定の場所に設置したビーコン信号発信器の発信するビーコンIDを受信することで、場所を特定することを特徴とする。
【００１６】
あるいは、本発明は、GPS衛星の信号を受信し、その緯度と経度の情報で、場所を認識することを特徴とする。
【００１７】
あるいは、本発明は、GPS衛星の信号を受信し、その緯度と経度の情報で、場所を認識する際に、その緯度と経度の近傍の複数の位置に紐づいた機械学習の学習結果に対して、先のGPS衛星の信号を受信して得られた位置との距離に応じて物体の認識結果に重みづけをした後、1つ以上の認識結果を表示することを特徴とする。
【００１８】
本発明は、上記のように撮影された場所を限定するために、認識する物体の対象を1次物体と2次物体に分類し、1次物体は場所を限定するために使用し、その場所の情報を用いて2次物体の認識率を高めているため、スマートホン等で撮影した画像が何であるかを表示する際に、場所によって異なる呼称が用いられている場合でも適切な呼称を用いて表示することができる。
【００１９】
また、上記２次物体を認識する際に、適合度の高い複数の候補に対して、1次物体で認識した場所に関連する候補を選択させることで、画像に写った物体の認識率を高くすることもできる。
【００２０】
また、上記1次物体を撮影して場所を特定する代わりに、特定の場所に設置したQRコード（QRコードは特定の番号を画像化したもので、株式会社デンソーウェーブの登録商標）を読み込むこと、特定の場所に設置したビーコン信号発信器の発信するビーコンIDを受信すること、GPS衛星の信号を受信し、その緯度と経度の情報を得る等の方法を用いることで場所を認識することができる。
【００２１】
あるいは、上記1次物体を撮影して場所を特定する代わりに、GPS衛星の信号を受信し、その緯度と経度の情報で、場所を認識する際に、その緯度と経度の近傍の複数の位置に紐づいた機械学習の学習結果に対して、先のGPS衛星の信号を受信して得られた位置の近傍にある複数の場所に係る物体の認識結果を表示することができる。
【００２２】
あるいは、上記1次物体を撮影して場所を特定する代わりに、GPS衛星の信号を受信し、その緯度と経度の情報で、場所を認識する際に、その緯度と経度の近傍の複数の位置に紐づいた機械学習の学習結果に対して、先のGPS衛星の信号を受信して得られた位置との距離に応じて物体の認識結果に重みづけをした後、1つ以上の認識結果を表示することができる。
【発明の効果】
【００２３】
本発明のシステムを用いて、スマートホン等で撮影した画像が何であるかを表示する際に、場所によって異なる呼称が用いられている場合でも適切な呼称を用いて表示することを可能にすることができるという利点がある。
【００２４】
また、場所によって異なる呼称が用いられている場合でも適切な呼称がわかるため、特定の店舗の、特定の商品と画像を関連付けられ、それによって画像には、特定の店舗の特定の商品の情報を紐づけることができるという利点がある。
【図面の簡単な説明】
【００２５】
【図１】図１は、本発明の実施例の1次物体撮影の概略図である。
【図２】図２は、本発明の実施例の1次物体認識の概略図である。
【図３】図３は、本発明の実施例の２次物体撮影の概略図である
【図４】図４は、本発明の実施例の２次物体認識の概略図である
【図５】図５は、本発明の実施例の動作の流れを示す図である。
【図６】図６は、本発明の実施例のサーバーの構成とデータの流れを示す図である。
【発明を実施するための形態】
【００２６】
スマートホン等で撮影した画像が何であるかを表示する際に、認識する物体の対象を1次物体と2次物体に分類し、1次物体は場所を限定するために使用し、その場所の情報を用いて2次物体の認識率を高め、場所によって異なる呼称が用いられている場合でも適切な呼称を用いて表示することを可能とした。
【実施例】
【００２７】
実施例は、店舗を利用するユーザーを想定して記載するが、店舗以外の施設においても同様な効果が得られる。また、商品として具体的な物体である必要はなく、場所で提供されるサービスのような行為や、場所の説明のような文章でもよい。
【００２８】
図１は、本発明の実施例の1次物体撮影の概略図であって、１０１はユーザー、１０２は店舗、１０３はカメラ付き情報端末である。
【００２９】
ユーザー１０１は、店舗１０２をカメラ付き情報端末１０３で撮影することで、あらかじめ1次物体として登録している店舗１０２を認識する。
【００３０】
図２は、本発明の実施例の1次物体認識の概略図であって、２０１はカメラ付き情報端末、２０２はカメラ付き情報端末に映る店舗、２０３は店舗２０２の画像の中で1次物体を認識するための画像情報を示すマーク、２０４は1次物体の第1の認識候補、２０５は1次物体の第２の認識候補、２１０は第1の候補２０４と第２の候補２０５から、ユーザーが選択するための指である。
【００３１】
カメラ付き情報端末２０１に映っている店舗２０２の画像の中に、1次物体を認識するための画像情報がある場合、1次物体を認識するための画像情報を示すマーク２０３が表示されると同時に、認識された1次物体の候補が表示される。候補が絞り切れず、複数ある場合は、画面の下側に第１候補２０４と、第２候補２０５が表示され、ユーザーがどちらかを判断して確定する。
【００３２】
画像情報を示すマーク２０３が表示されない場合は、画像の中に店舗を認識するための1次物体がないことを示しているため、ユーザーは他の部分を撮影することになるが、一般的には何が店舗を認識するための1次物体であるかはあらかじめわかっているため、ユーザーが困ることはない。
【００３３】
1次物体を認識するための画像情報としてQRコード等の幾何学図形を用いる場合も、同様に撮影することで同じ効果が得られる。
【００３４】
ビーコン信号を受信することで店舗を認識する場合には、カメラ付き情報端末２０１で撮影する必要はなく、カメラ付き情報端末２０１が受信したビーコン信号のコードに応じて、あらかじめ登録されている店舗の画像等の店舗を示す画像と、1次物体の候補が表示され、自動的に確定するか、あるいはユーザーが判断して確定する。複数の信号を受信して、候補が複数ある場合には複数の候補が表示され、ユーザーが判断して確定する。
【００３５】
GPS信号を受信することで店舗を認識する場合も同様であり、カメラ付き情報端末２０１で撮影する必要はなく、カメラ付き情報端末２０１が受信したGPS信号から計算した位置に応じて、あらかじめ登録されている店舗の画像等の店舗を示す画像と、1次物体の候補が表示され、自動的に確定するか、あるいはユーザーが判断して確定する。GPS信号から計算した位置の近くに、複数の候補がある場合にはそれらの候補が表示され、ユーザーが判断して確定する。
【００３６】
図３は、本発明の実施例の２次物体撮影の概略図であって、３０１はユーザー、３１０はテーブル、３１１は２次物体である商品、３２０はカメラ付き情報端末、３３０はサーバー、３４０はカメラ付き情報端末３２０で撮影された商品３１１を含む画像データ、３５０は店舗のコンピュータ、３５１は店舗内の商品に関する情報である。
【００３７】
ユーザー３０１がカメラ付き情報端末３２０で商品３１１を撮影し、カメラ付き情報端末３２０に具備した無線回線を介して、画像データ３４０をサーバー３３０に伝送する。サーバー３３０は、撮影された場所に応じた物体認識のためのパラメータを用いて２次物体である商品３１１が何であるかを認識し、あらかじめ店舗のコンピュータ３５０から店舗内の商品に関する情報３５１から商品３１１に関する情報を画像データ３４０に結び付けて保存する。
【００３８】
図４は、本発明の実施例の２次物体認識の概略図であって、４０１はカメラ付き情報端末、４０２はカメラ付き情報端末に映る認識対象の商品、４０３はカメラ付き情報端末に映る認識対象でない別の商品、４０４は画像の中で２次物体を認識するための画像情報を示すマーク、４１０は２次物体の第1の認識候補、４１１は２次物体の第２の認識候補、４２０は第1の候補４１０と第２の候補４１１から、ユーザーが選択するための指である。
【００３９】
カメラ付き情報端末４０１に映っている画像の中に、２次物体を認識するための画像情報がある場合、２次物体を認識するための画像情報を示すマーク４０４が表示され、認識された２次物体の候補が表示される。候補が絞り切れず、複数ある場合は、画面の下側に第１候補４１０と、第２候補４１１が表示され、ユーザーがどちらかを判断して確定する。また、認識対象でない別の商品４０３には２次物体を認識するための画像情報を示すマーク４０４は表示されない。
【００４０】
図５は、本発明の実施例の動作の流れを示す図であって、５０１、５０４、５０５、５０６、５０７、５１０、５１１、５１３はサーバー側の動作、５０２、５０３、５０８、５０９、５１２はユーザー端末の動作である。
【００４１】
動作開始にあたって、動作５０１でサーバーは画像の物体を認識するためのパラメータを店舗を対象とするものに設定する。動作５０２でユーザーはユーザー端末であらかじめ決められている店舗の象徴となる対象を撮影する。動作５０３でユーザー端末から撮影した店舗の象徴となる対象となる物体の画像をサーバーに送信する。動作５０４でサーバーは店舗の象徴となる対象となる物体の画像を受信する。動作５０５でサーバーは動作５０４で受信した画像を物体認識し、店舗の象徴である物体から店舗を特定する。動作５０６でサーバーは物体認識の為のパラメータを商品を対象とするものに設定する。動作５０７でサーバーはパラメータを商品を対象とするものに設定したことをユーザー端末に通知する。動作５０８でユーザーは店舗内で商品を撮影する。動作５０９でユーザーは商品の画像をサーバーに送信する。動作５１０でサーバーは商品の画像を受信する。動作５１１でサーバーは動作５０１０で受信した画像を物体認識し、商品を特定する。複数の候補がある場合にはそれらの候補を通知する。動作５１２でユーザーは認識された商品と撮影された対象が一致していることを確認し、通知する。ここで、候補の中に商品がない場合は、さらに別の候補を通知するように要求することもできる。動作５１３でサーバーは画像と、あらかじめ登録されている画像に関する情報、撮影者の情報を関連付けて保存する。動作５０８から動作５１３は繰り返して実施してよい。動作５１４でユーザーは店舗から出たことを通知すると、動作５０１によりサーバーは物体を認識するためのパラメータを店舗を対象とするものに戻す。
【００４２】
上記は物体認識をサーバーで行う場合の動作の流れであるが、物体認識をユーザー端末で実施する場合は、動作５０１、５０５、５０６、５１１をユーザー端末で行う。このとき、動作５０３、５０４、５０７、５０９、５１０、５１２は不要である。
【００４３】
また、ビーコン信号やGPS信号により店舗を特定する場合は、動作５０１、５０２、５０３、５０４、５０５の代わりに、ユーザー端末からビーコン信号のコードや、受信したGPS信号から計算した位置をサーバーが受信し、その値を基に店舗を特定する。
【００４４】
図６は、本発明の実施例のサーバーの構成とデータの流れを示す図であって、６０１は画像受信装置、６０２は物体認識装置、６０３は物体確定装置、６０４は重み係数入れ替え装置、６０５は物体認識用重み係数保存装置、６０７は商品情報紐付け装置、６０８は商品情報保存装置、６０９は画像情報保存装置、６１１は画像入力部、６１２は画像認識部、６１３は結果出力部、６２１は候補表示装置、６２２は結果確定装置、６２３は店舗が確定したかどうかの分岐、６３１は店舗A向けの商品認識データベース用の重み係数保存部、６３２は店舗B向けの商品認識データベース用の重み係数保存部、６３３は店舗C向けの商品認識データベース用の重み係数保存部、６３４は店舗Z向けの商品認識データベース用の重み係数保存部、６５１は商品情報選択部、６６１は店舗A向けの商品情報保存部、６６２は店舗B向けの商品情報保存部、６６３は店舗C向けの商品情報保存部、６６４は店舗Z向けの商品情報保存部、６７１は画像情報AA保存部、６７２は画像情報ZZ保存部である。
【００４５】
画像受信装置６０１はユーザー端末より撮影画像を受信し、物体認識装置６０２へ伝達する。物体認識装置６０２は認識結果を物体確定装置６０３に伝達する。店舗が確定していない状態では、物体認識装置６０２の物体認識の為の重み係数は店舗認識データベース用の重み係数であり、画像受信装置６０１から受け取った画像は店舗を認識するために用いられる。物体確定装置６０３は物体認識装置６０２の認識結果から店舗を特定し、重み係数入れ替え装置６０４に特定した店舗を通知する。重み係数入れ替え装置６０４は特定した店舗に相当する商品認識データベース用の重み係数を物体認識用の重み係数保存装置６０５から受け取り、物体認識装置画像認識装置６０２の重み係数を、店舗認識データベース用の重み係数から、商品認識データベース用の重み係数へ入れ替える。この状態で、画像受信装置６０１はユーザー端末より次の撮影画像を受信し、物体認識装置６０２へ伝達する。物体認識装置６０２は認識結果を物体確定装置６０３に伝達するが、店舗は確定しているので、その結果を商品情報紐付け装置６０７へ伝達する。商品情報紐付け装置６０７は特定された商品に関する情報を商品情報保存装置６０８から受け取り、さらに画像受信装置６０１から受け取った画像に関連付けて、画像情報保存装置６０９に保存する。この時、ユーザーに係る情報を同様に関連付けることもできる。
【００４６】
物体認識装置６０２は画像入力部６１１で画像を受け取ったのち、画像認識部６１２で画像の中からすでに登録されている物体の有無、またその物体が何であるかを検出し、認識する。この際、あらかじめ多くの画像データから例えばニューラルネットワーク等の技術を用いて機械的に学習し、その画像データの集合ごとに学習されたニューラルネットワーク等の重み係数を用いる。認識された物体は一致度の順番を付けて結果出力部６１３から出力する。
【００４７】
物体確定装置６０３の候補表示装置６２１は物体認識装置６０２の結果出力部６１３から一致度の順番を付けた物体の認識結果を受け取り、一致度の高い順にユーザー端末に物体の候補として表示する指示を出す。結果確定装置６２２はユーザー端末からユーザーが物体の候補から選択した物体が何であるかを受け取り、その結果を物体として確定する。店舗が確定していない状態では、この物体が店舗を象徴する物体であるので、店舗が確定できる。この場合は特定された店舗を重み係数入れ替え装置６０４へ伝達する。店舗が確定している状態では、特定された物体は商品であり、特定された商品を商品情報紐付け装置６０７へ伝達する。
【００４８】
物体認識用重み係数保存装置６０５は店舗を認識するために用いられる店舗認識データベース用の重み係数保存部と、店舗ごとの商品を認識するための各店舗向商品認識データベース用重み係数保存部から成る。例えば店舗A向商品認識データベース用重み係数保存部６３１には、店舗Aにいることを前提として、撮影画像に写っている物体が何であるかを認識するためのパラメータであり、例えば店舗Bによく似た商品があっても、店舗Aでの商品であることが確定できる。同様に登録されている全店舗の商品を各店舗ごとに認識するための重み係数が保存されている。
【００４９】
商品情報紐付け装置６０７は物体確定装置６０３で確定した商品と、あらかじめ商品情報保存装置６０８に保存されている商品の情報を紐づける。また、この時ユーザーの情報を紐づけることもできる。画像と、店舗名と、商品名と、商品情報と、ユーザー情報を紐づけた状態で、画像情報保存装置６０９に保存する。
【００５０】
QRコードを用いて店舗を特定する場合は、一般的なQRコードの認識装置にて店舗を確定した後、その店舗に応じた商品認識データベース用重み係数を用いればよい。
【００５１】
また、ビーコン信号やGPS信号により店舗を特定する場合も、ユーザー端末からビーコン信号のコードや、受信したGPS信号から計算した位置を受けとり、その値を基に店舗を特定すればよい。
【００５２】
店舗を確定するための物体は、可能な限り店舗に固有の物が好ましく、店舗名の記載された看板や、特徴的な外装、内装であれば一致度が高く、候補を限定しやすい。しかし、チェーン店のようによく似た看板、外装の場合には、ビーコン信号やGPS信号を組み合わせることで、一致度を高めることができる。
【００５３】
本実施例は以上のように構成されているので、例えば店舗Aの商品と店舗Bの商品が外見上非常に似ていても、店舗が異なることが認識できるため、それぞれの店舗の商品の情報を関連付けて記録できる。
【００５４】
ここでいう店舗ごとに異なる情報とは、例えば商品の値段、商品の名前、製作者の名前、販売者の名前、購入時の天候、サービス提供者の名前、商品の由来、商品の広告、店舗の広告、などである。
【００５５】
本実施例では、店舗を用いて説明したが、他の施設でも同様な動作が可能である。神社仏閣では、撮影した木や石のように他にもよく似た物体の写真に、場所ならではの由来などの情報を紐づけることができる。また、アミューズメントパークであれば、１次物体認識でアミューズメントパークを認識し、２次物体認識でアトラクションを認識し、3次物体認識で風景や小道具を認識することもできる。
【００５６】
本実施例で示したように、最終的に画像情報保存装置６０９に保存された情報は、画像と、店舗名と、商品名と、商品情報と、ユーザー情報が紐づいているため、そのどれかを検索すれば、関連情報として他の情報を参照することが可能であり、その関連情報から新たに検索することで、更に他の情報を得ることができる。
【産業上の利用可能性】
【００５７】
画像に写った物体を認識する装置において、撮影した場所の情報を加えることで、認識精度を向上させ、他の場所にあるよく似た物体との誤認識を減らすとともに、その場所固有の情報を認識結果に加えることを可能とした。これにより、撮影した画像を閲覧した際に、撮影した本人も知らなかった画像に関係する情報を知ることができる。また、それをソーシャルネットワーク等に公開することで、第三者が画像を閲覧し、同様に新しい情報を知ることができる。このように撮影した人の好奇心を用いて撮影を促すことで、店舗に多くの人が来る効果が期待できる。また、画像と、店舗名と、商品名と、商品情報と、ユーザー情報が関連付けられた情報は、店舗の販売計画の改善等に役立てることが可能であり、情報自体が大きな価値をもつ。
【００５８】
本発明は、画像に写った物体を認識する装置において、撮影した場所の情報を加えることで、認識精度を向上させ、他の場所にあるよく似た物体との誤認識を減らすとともに、その場所固有の情報を認識結果に加えることを可能とする。
【符号の説明】
【００５９】
１０１  ユーザー
１０２  店舗
１０３  カメラ付き情報端末
２０１  カメラ付き情報端末
２０２  カメラ付き情報端末に映る店舗
２０３  画像情報を示すマーク
２０４  1次物体の第1の認識候補
２０５  1次物体の第２の認識候補
２１０  ユーザーが選択するための指
３０１  ユーザー
３１０  テーブル
３１１  ２次物体である商品
３２０  カメラ付き情報端末
３３０  サーバー
３４０  商品３１１を含む画像データ
３５０  店舗のコンピュータ
３５１  店舗内の商品に関する情報
４０１  カメラ付き情報端末
４０２  認識対象の商品
４０３  認識対象でない別の商品
４０４  画像情報を示すマーク
４１０  ２次物体の第1の認識候補
４１１  ２次物体の第２の認識候補
４２０  ユーザーが選択するための指
５０１  サーバー側の動作
５０２  ユーザー端末の動作
５０３  ユーザー端末の動作
５０４  サーバー側の動作
５０５  サーバー側の動作
５０６  サーバー側の動作
５０７  サーバー側の動作
５０８  ユーザー端末の動作
５０９  ユーザー端末の動作
５１０  サーバー側の動作
５１１  サーバー側の動作
５１２  ユーザー端末の動作
５１３  サーバー側の動作
６０１  画像受信装置
６０２  物体認識装置
６０３  物体確定装置
６０４  重み係数入れ替え装置
６０５  物体認識用重み係数保存装置
６０７  商品情報紐付け装置
６０８  商品情報保存装置
６０９  画像情報保存装置
６１１  画像入力部
６１２  画像認識部
６１３  結果出力部
６２１  候補表示装置
６２２  結果確定装置
６２３  店舗が確定したかどうかの分岐
６３１  店舗A向けの商品認識データベース用の重み係数保存部
６３２  店舗B向けの商品認識データベース用の重み係数保存部
６３３  店舗C向けの商品認識データベース用の重み係数保存部
６３４  店舗Z向けの商品認識データベース用の重み係数保存部
６５１  商品情報選択部
６６１  店舗A向けの商品情報保存部
６６２  店舗B向けの商品情報保存部
６６３  店舗C向けの商品情報保存部
６６４  店舗Z向けの商品情報保存部
６７１  画像情報AA保存部
６７２  画像情報ZZ保存部
【図１】
2019070887.tif 000003
【図２】
2019070887.tif 000004
【図３】
2019070887.tif 000005
【図４】
2019070887.tif 000006
【図５】
2019070887.tif 000007
【図６】
2019070887.tif 000008