(57)【要約】【課題】在庫管理の効率を効果的に高め、顧客が実店舗内で買い物しやすいようにするためのアシストとなる在庫管理およびマーケティングのための画像認識システムを提供する。【解決手段】本発明の画像認識システムは、複数の商品が写った画像を取り込み、これらの商品とデータベース中に保存された物品情報を照合し、画像認識技術を利用して画像中の各商品を検出、分離、認識する。照合により適合結果が得られた時、当該商品と適合した物品情報はデータベースエントリに保存され、データベースエントリは新たな情報の追加更新により拡張される。また本システムは、ユーザーデバイスの現在位置を検出して商品情報を同デバイスに表示でき、各商品の実際位置や、ユーザーの現在位置から商品の実際位置までのルート情報を示すマップも同デバイス上に表示できる。また、ユーザーは商品画像を取り込むことで、その商品の情報や位置を示すマップを得ることもできる。【選択図】図３
2014218313.tif 000002
【特許請求の範囲】
【請求項１】
商品棚上に置かれた複数商品が写った画像を取り込む手段と、
前記画像を分析する手段と、
前記画像の前記複数商品中から１つの物品を分離する手段と、
前記物品に基づき前記商品棚の棚上位置標示を認識する手段と、
前記物品の物品情報およびその物品特徴を認識する手段と、
前記物品と前記棚上位置標示を関連付ける手段と、
前記物品の物品情報と適合するデータベースエントリをデータベースで検索する手段と、
前記物品に基づき前記データベースエントリを更新する手段と、
前記物品の物品情報および更新後の前記データベースエントリを前記データベースに保存する手段と、を含むことを特徴とする、
在庫管理およびマーケティングのための画像認識システム。
【請求項２】
光学式文字認識（ｏｐｔｉｃａｌ  ｃｈａｒａｃｔｅｒ  ｒｅｃｏｇｎｉｔｉｏｎ，ＯＣＲ）を利用して前記物品上のテキストを認識する手段をさらに含むことを特徴とする、請求項１に記載の在庫管理およびマーケティングのための画像認識システム。
【請求項３】
前記棚上位置標示に基づき、前記物品の実際位置を示すマップを作成する手段をさらに含むことを特徴とする、請求項１に記載の在庫管理およびマーケティングのための画像認識システム。
【請求項４】
前記棚上位置標示は、数字、文字（ｌｅｔｔｅｒ、ｃｈａｒａｃｔｅｒ）、色、色のグラデーション、大きさ（ｍｅａｓｕｒｅｍｅｎｔ）、バーコード、クイックレスポンスコード（ＱＲコード）、または画像認識技術により認識できるその他コード、として記録され、かつ前記棚上位置標示は、前記商品棚の位置、前記商品棚中の特定の段、および前記商品棚の前記特定の段上における位置、を認識するのに用いられることを特徴とする、請求項１に記載の在庫管理およびマーケティングのための画像認識システム。
【請求項５】
前記商品棚上の前記物品の幅および位置を判断する棚段幅目盛りと、前記商品棚上の前記物品の高さ、および前記物品が前記商品棚のどの段に置かれているかを判断する棚段高さ目盛りと、をさらに含むことを特徴とする、請求項１に記載の在庫管理およびマーケティングのための画像認識システム。
【請求項６】
前記画像中のその他の物品と前記データベースエントリを関連づける手段をさらに含むことを特徴とする、請求項１に記載の在庫管理およびマーケティングのための画像認識システム。
【請求項７】
前記物品の物品情報およびその物品の特徴を認識するステップは、前記物品のテキスト、色、グラフィック、テキストに使用されるフォントとスタイルを検出するステップと、前記物品の形状、大きさおよび寸法を検出するステップと、光学式文字認識を利用して前記物品上の前記テキストを認識するステップと、前記認識結果と前記データベースに保存された物品情報に基づいて比較を行い、適合した結果を検索するステップと、をさらに含むことを特徴とする、請求項１に記載の在庫管理およびマーケティングのための画像認識システム。
【請求項８】
前記物品情報は、前記物品のブランド名、商品名、販売価格、コスト、現在の在庫状況、大きさ、形状、寸法、重量、ロゴ、製造元、仕入先、色、デザイン、グラフィック、画像、テキスト、現在の在庫のトータルコスト、棚上位置標示、商品番号、バーコード、および／または前記物品の特徴を認識するのに用いられるその他のデータ、を含むことを特徴とする、請求項１に記載の在庫管理およびマーケティングのための画像認識システム。
【請求項９】
ユーザーデバイスの現在位置を検出する手段と、前記物品および前記物品情報をデータベースから読み出すとともにユーザーデバイス上に表示する手段と、前記物品の実際位置、および前記ユーザーデバイスの現在位置から前記物品の実際位置までのルートを示すマップを、前記データベースから読み出すとともに前記ユーザーデバイス上に表示する手段と、をさらに含むことを特徴とする、請求項１に記載の在庫管理およびマーケティングのための画像認識システム。
【請求項１０】
ユーザーデバイスを利用してチラシ上の商品画像を撮影する手段と、前記商品画像中の購入したい商品を認識する手段と、前記ユーザーデバイスの店舗内における現在位置を検出する手段と、前記購入したい商品と適合する物品情報を前記ユーザーデバイス上に表示する手段と、前記購入したい商品の前記店舗内における実際位置、および前記ユーザーデバイスの現在位置から前記購入したい商品の実際位置までのルートを示すマップ、を前記ユーザーデバイス上に表示する手段と、をさらに含むことを特徴とする、請求項１に記載の在庫管理およびマーケティングのための画像認識システム。
【請求項１１】
ユーザーデバイスを利用してユーザー商品画像を撮影する手段と、前記ユーザー商品画像中の購入したい商品を認識する手段と、前記ユーザーデバイスの現在位置を検出する手段と、前記ユーザーデバイス上に前記購入したい商品と適合する物品情報を表示する手段と、前記購入したい商品を販売する複数の位置、および前記ユーザーデバイスの現在位置から前記購入したい商品を販売している位置までの複数のルート、を示すマップを前記ユーザーデバイス上に表示する手段と、をさらに含むことを特徴とする、請求項１に記載の在庫管理およびマーケティングのための画像認識システム。
【請求項１２】
ユーザーデバイスを利用してユーザー商品画像を撮影する手段と、前記ユーザー商品画像中の商品情報を検出する手段と、前記商品情報中から購入したい商品を認識する手段と、前記購入したい商品およびその商品情報を前記データベースのユーザーエントリ中に保存する手段と、前記ユーザーエントリ中の前記購入したい商品およびその商品情報を前記データベース中のそれと適合する物品情報に関連付ける手段と、前記ユーザーエントリ中の前記購入したい商品を複数含むユーザーウィッシュリストを前記データベース中に作成する手段と、前記ユーザーデバイスの現在位置を検出する手段と、前記ユーザーウィッシュリスト上の複数の前記購入したい商品の位置を示すマップを前記ユーザーデバイス上に表示する手段と、各位置における前記購入したい商品の商品情報を前記ユーザーデバイス上に表示する手段と、をさらに含むことを特徴とする、請求項１に記載の在庫管理およびマーケティングのための画像認識システム。
【請求項１３】
前記ユーザーデバイスの現在位置から前記複数の購入したい商品を販売している位置までの複数のルートを前記ユーザーデバイス上に表示する手段をさらに含むことを特徴とする、請求項１２に記載の在庫管理およびマーケティングのための画像認識システム。
【請求項１４】
前記ユーザーウィッシュリスト上の各前記購入したい商品に類似する競合商品の位置を示す別のマップを前記ユーザーデバイス上に表示する手段と、各位置における前記競合商品の商品情報を前記ユーザーデバイス上に表示する手段と、をさらに含むことを特徴とする、請求項１２に記載の在庫管理およびマーケティングのための画像認識システム。
【請求項１５】
前記ユーザーウィッシュリストを他のユーザーと共有することで、他のユーザーと前記ユーザーのウィッシュリストによる相互交流を促進する手段をさらに含むことを特徴とする、請求項１２に記載の在庫管理およびマーケティングのための画像認識システム。
【請求項１６】
商品棚上に置かれた複数商品が写った画像を取り込む手段と、
前記画像を分析する手段と、前記画像の前記複数商品中から１つの物品を分離する手段と、
前記物品に基づき前記商品棚の棚上位置標示を認識する手段と、
前記物品の物品情報およびその物品特徴を認識する手段と、
前記物品と前記棚上位置標示を関連付ける手段と、
前記物品の物品情報と適合するデータベースエントリをデータベースで検索する手段と、
前記物品に基づき前記データベースエントリを更新する手段と、
前記物品の物品情報および更新後の前記データベースエントリを前記データベースに保存する手段と、
前記棚上位置標示に基づき、前記物品の実際位置を示すマップを作成する手段と、
ユーザーデバイスを利用してチラシ上の商品画像を撮影する手段と、
前記商品画像中の購入したい商品を認識する手段と、
前記ユーザーデバイスの店舗内における現在位置を検出する手段と、
前記購入したい商品と適合する物品情報を前記ユーザーデバイス上に表示する手段と、
前記購入したい商品の前記店舗内における実際位置、および前記ユーザーデバイスの現在位置から前記購入したい商品の実際位置までのルート、を示すマップを前記ユーザーデバイス上に表示する手段と、を含むことを特徴とする、
在庫管理およびマーケティングのための画像認識システム。
【請求項１７】
前記購入したい商品と併せて販売する補完商品情報（ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｅｌｅｍｅｎｔ  ｄａｔａ）を前記ユーザーデバイスに表示する手段と、前記補完商品情報の実際位置を示すマップを前記ユーザーデバイス上に表示する手段と、をさらに含むことを特徴とする、請求項１６に記載の在庫管理およびマーケティングのための画像認識システム。
【請求項１８】
前記購入したい商品と競合する競合商品情報（ｃｏｍｐｅｔｉｎｇ  ｅｌｅｍｅｎｔ  ｄａｔａ）を前記ユーザーデバイス上に表示する手段と、前記競合商品情報の実際位置を示すマップを前記ユーザーデバイス上に表示する手段と、をさらに含むことを特徴とする、請求項１６に記載の在庫管理およびマーケティングのための画像認識システム。
【請求項１９】
商品棚上に置かれた複数商品が写った画像を取り込む手段と、
前記画像を分析する手段と、
前記画像の前記複数商品中から１つの物品を分離する手段と、
前記物品に基づき前記商品棚の棚上位置標示を認識する手段と、
前記物品の物品情報およびその物品特徴を認識する手段と、
前記物品と前記棚上位置標示を関連付ける手段と、
前記物品の物品情報と適合するデータベースエントリをデータベースで検索する手段と、
前記物品に基づき前記データベースエントリを更新する手段と、
前記物品の物品情報および更新後の前記データベースエントリを前記データベースに保存する手段と、
前記棚上位置標示に基づき、前記物品の実際位置を示すマップを作成する手段と、
ユーザーデバイスを利用して商品画像を撮影する手段と、
前記商品画像中の購入したい商品を認識する手段と、
前記ユーザーデバイスの現在位置を検出する手段と、
前記購入したい商品と適合する物品情報を前記ユーザーデバイス上に表示する手段と、
前記購入したい商品を販売する複数の位置を示し、前記ユーザーデバイスの現在位置から前記購入したい商品を販売している複数の位置までの複数のルートを前記ユーザーデバイス上に表示する手段と、を含むことを特徴とする、
在庫管理およびマーケティングのための画像認識システム。
【請求項２０】
前記購入したい商品と競合する競合商品情報、および前記競合商品の実際位置を示すマップ、を前記ユーザーデバイス上に表示する手段と、前記購入したい商品と併せて販売する補完商品情報、および前記補完商品の実際位置を示すマップ、を前記ユーザーデバイス上に表示する手段と、をさらに含むことを特徴とする、請求項１９に記載の在庫管理およびマーケティングのための画像認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像認識システムに関するものであり、特に、画像認識技術を利用し、在庫管理の効率を効果的に高めると同時に、顧客が実店舗内で買い物しやすいようにするためのアシスト的役割も果たすシステムに関するものである。
【背景技術】
【０００２】
現在盛んであるｅコマースショッピングサイトのニーズに対応するために、膨大な量や種類の商品を大量に各地の倉庫に保管する必要がある。消費者のショッピングニーズの増加に伴い、商品の在庫数や倉庫スペースも継続的に増大する必要がある。
したがって、通常倉庫の棚卸しを行う際には、作業者が長い時間をかけて在庫数を数えなくてはならない。また、商品出荷時には、消費者の購入する商品を作業者が倉庫の棚から時間をかけて探し出し、出荷に至る。
このことからわかるように、従来の倉庫の在庫・出入庫管理と棚卸しは、管理者にとり相当な時間と労働力を費やす作業である。
【０００３】
また、通常倉庫には複数の商品棚が備えられ、各商品棚上には多くの異なる（しかし類似する）商品物品があり、倉庫内の作業者は商品を棚に並べる際、商品を正しい棚の位置に置くだけでなく、多くの類似商品の中から特定の単一商品を識別して、正確にカウントする必要がある。
【０００４】
棚卸しを行う際には、倉庫内の作業者が各商品に貼られたバーコードを見つけ、そのバーコードをスキャンしてコンピュータに読み込み、スキャンし終わった商品を棚に戻す。したがって、このような動作の繰り返しである棚卸し作業は、多くの人手を要し、効率も極めて悪い。
【０００５】
また、倉庫で棚卸しを行う場合、一時的に在庫の動きを止める（ｆｒｅｅｚｅ）時間を設ける必要がある。棚卸しが完了するまで、この在庫の動きを止める時間内は、商品は動かせない（即ち販売できない）。
同様に、各地の小売店でも、棚卸し中は一時的に商品を販売できなくなる。このように、商店や倉庫は棚卸しを行うために営業を一時中断する時間を設ける必要があるので、実質的に売り上げの機会損失を招き、サービス品質に影響し、消費者の購買意欲を低下させることになる。
【０００６】
従来の小売販路（ｒｅｔａｉｌ  ｃｈａｎｎｅｌ）においては、優待価格やキャンペーン商品を掲載した宣伝広告のチラシを配って顧客を引き付け、実店舗への来店を促す必要があり、これにより消費者の購買を促すという目的が達せられる。
しかし、注意すべきは、買い物のたびにチラシを持ってお店に行くこと、またはどの商品がキャンペーン中であるかを覚えておくことは、消費者にとって非常に面倒だという点である。
さらに、消費者はお店に買い物に来た時、しばしば購入したい商品の棚のある位置を探すのに時間がかかってしまい。これは事実上消費者の購買意欲を大幅に低下させることになる。
【０００７】
以上の観点から、従来の在庫棚卸しと商品管理の手段を効率的かつ経済的に改善し、消費者の実店舗における購買意欲を高めるシステムをいかにに提供するかが、この分野を熟知する者が解決すべき問題の１つであると言える。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来技術が抱える問題を解決するため、本発明は、画像認識技術（ｇｒａｐｈｉｃａｌ  ｒｅｃｏｇｎｉｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ）を利用して在庫管理の効率を効果的に高めるだけでなく、顧客が実店舗内で効率よく買い物できるようにアシストし、購買意欲を誘発する在庫管理およびマーケティングのための画像認識システムを提供することを主な目的とする。
【課題を解決するための手段】
【０００９】
本発明が開示する画像認識システムおよびその認識方法により、画像認識技術と既存の在庫管理記録を統合することで、より効率的な在庫管理およびマーケティングのためのシステムを提供する。
【００１０】
まず、ユーザーは定期的に商品棚およびその棚上の各種商品の静止画または動画を撮影する。そして、デジタル画像認識技術を利用して撮影画像中の各個別商品を自動的に分離し、各商品の商品物品情報を認識ならびに取得する。
その後、サーバーを通じてデータベースに接続し、認識された商品とデータベース中に既に保存されている物品情報の照合を行う。これにより、商品の正確な数量や在庫状況の最新情報が更新されデータベースに保存される。データベースには最新の在庫数が記録されているので、在庫管理、商品探しおよび注文処理を迅速に完了できる。また、本発明は、各商品の倉庫内または商品棚上の実際位置を示すマップを自動的に提供する。
【００１１】
本発明が開示する画像認識システムおよびその認識方法を利用することで、商品を動かしたりバーコードを読み取る必要が無くなり、在庫管理がより効率的になり、商品の正確な在庫数を簡単に把握し、在庫管理およびマーケティング作業が便利になる。
【００１２】
本発明が開示する画像認識システムおよびその認識方法を利用すると、倉庫管理者の用いるタブレット端末やスマートフォンのような携帯用電子デバイスに、商品の棚上の位置が随時表示され、倉庫内の各商品の棚上の実際位置を示すマップも表示される。
このようにマップが表示されることで、倉庫管理者は商品出荷時に当該商品の位置を容易に探すことができ、これまで費やしてきた時間や人件費が大幅に削減される。
【００１３】
他にも、商品上に外国語の文字がプリントされている場合、倉庫の棚卸し作業者は外国語が堪能でないと、商品上の文字の意味がわからず、商品確認を誤ってしまうことがある。そこで、本発明の提案する光学式文字認識（ｏｐｔｉｃａｌ  ｃｈａｒａｃｔｅｒ  ｒｅｃｏｇｎｉｔｉｏｎ，ＯＣＲ）技術により、商品上のテキスト（文字）を認識し、それに基づき当該商品の写真を提供することで、知らない外国語が原因で商品確認を誤るというこれまでの問題を解決する。
【００１４】
さらに、本発明の在庫管理およびマーケティングのための画像認識システムは、消費者の購買時の満足度と忠誠度を高めることができる。消費者がモバイル端末の画像取込装置を用いて購入したい商品を撮影した後、消費者の位置が検出され、このモバイル端末上に前記購入したい商品物品の情報が表示される。
また、このモバイル端末上には当該商品が店内のどの位置に置かれているかも表示され、かつ、消費者のいる位置から当該商品のある位置までのルートも提供される。したがって、消費者が実店舗に買い物に来た時、購入したい商品が何であったかを容易に思い出し、当該商品の置かれた位置を簡単に探し当てることができ、買い物の効率と消費者の満足度が大幅に上がる。
【００１５】
一方、本発明が開示する在庫管理およびマーケティングのための画像認識システムは、消費者がどんな商品を撮影したかを検出したり、各消費者の購入履歴や購入参考記録を検出したりしてマーケティングにも利用される。
【発明の効果】
【００１６】
本発明が開示する在庫管理およびマーケティングのための画像認識システムおよびその認識方法によれば、ユーザーの買い物時における地理的制限を解消できるだけでなく、グローバルなショッピングの効率やソーシャルネットワークの価値を高め、インターネットをビジネスネットワークにまで拡張し、経済発展を効果的に促すことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施例における在庫管理およびマーケティングのための画像認識システムの構造を示す図。
【図２】本発明の実施例において撮影された商品画像を示す図。
【図３】本発明の実施例における在庫管理およびマーケティングのための画像認識システムの画像認識方法を示すフローチャート。
【図４Ａ】本発明の実施例における、テキストを有する、分離された物品を示す図。
【図４Ｂ】本発明の実施例における、テキストを有する、分離された物品を示す図。
【図４Ｃ】本発明の実施例における、テキストを有する、分離された物品を示す図。
【図５】本発明の実施例における商品物品の側面と正面を示す図。
【図６】本発明の実施例における物品認識手順のフローチャート。
【図７】本発明の実施例における棚上位置標示を有する商品棚の構造を示す図。
【図８】本発明の実施例における在庫管理およびマーケティングのための画像認識システムの画像認識方法を示すフローチャート。
【図９】本発明の実施例における商品棚の構造を示す図。
【図１０】本発明の実施例に在庫管理およびマーケティングのための画像認識システムの構造を示す図。
【図１１】本発明の実施例における在庫管理およびマーケティングのための画像認識システムの画像認識方法を示すフローチャート。
【図１２】もう１つの本発明の実施例における在庫管理およびマーケティングのための画像認識システムの画像認識方法を示すフローチャート。
【図１３】さらにもう１つの本発明の実施例における在庫管理およびマーケティングのための画像認識システムの画像認識方法を示すフローチャート。
【発明を実施するための形態】
【００１８】
ここで述べる実施方式は、本発明の精神と原理、本発明の特許請求の範囲をさらに解釈するための例である。本発明の目的、技術内容、特徴と達成される効果の更なる理解のため、図面を参照しながら好ましい実施例について、以下に具体的かつ詳細に説明する。
【実施例】
【００１９】
図１は本発明の実施例における在庫管理およびマーケティングのための画像認識システムの構造を示す図である。
【００２０】
一般的に、倉庫、卸売店および小売店はさまざまな商品棚を備え、多様な販売商品を保管するのに用いられる。商品の正確な総数を維持するため、倉庫、卸売店および小売店は定期的に棚卸し作業を行い、商品の総数を精確にコントロールする必要がある。
【００２１】
図１を参照されたい。本発明が開示する画像認識システムは、商品棚１５０、商品棚１５０上に置かれた複数の商品１１０、画像取込装置２００、サーバー２２０およびデータベース２３０を含む。
【００２２】
データベース２３０には各商品１１０に関する商品物品情報を保存する。前記商品物品情報はたとえば、ブランド名、商品名、販売価格、コスト、現在の在庫状況、大きさ、形状、寸法、重量、ロゴ、製造元、仕入先、色、デザイン、グラフィック、画像、テキスト（文字）、現在の在庫のトータルコスト、棚上位置標示、商品番号、バーコード、および／または商品１１０の特徴を認識するのに用いられるその他の情報を含む。
【００２３】
本発明の実施例によれば、画像取込装置２００は商品棚１５０上に置かれた商品１１０の静止画または動画を撮影ならびに記録する。
まず、商品１１０は画像取込装置２００にその画像を撮影され、商品１１０の画像は分離と認識等のステップを経て商品１１０が確認される。詳しくは、商品１１０の画像はデータベース２３０中に保存された情報と照合され、適合結果が得られた時、商品１１０の商品物品情報は更新されデータベース２３０のエントリに加えられる。
たとえば、商品の数量が増加またはトラッキングされたり、商品棚上の位置が認識されたり、新たに商品物品情報が追加されたりした時、これらの情報はデータベース２３０のエントリに加えられる。
【００２４】
本発明の実施例によれば、画像取込装置２００とサーバー２２０の間は無線通信接続２１０により接続される。
【００２５】
これにより、上述の商品１１０の画像の分離と認識のステップは画像取込装置２００内またはサーバー２２０内で実行される。
【００２６】
図２は本発明の実施例において撮影された商品画像を示す図である。
【００２７】
図２が示すように、撮影画像１００は、画像取込装置２００により撮影されたものであり、複数の商品物品１１０Ａ〜１１０Ｆと物品を有さない空白エリア１０５を含む。
【００２８】
各商品物品１１０Ａ〜１１０Ｆをうまく認識するには、先にこれらの商品物品１１０Ａ〜１１０Ｆを分離するプロセスを経る必要がある。
たとえば、商品物品１１０Ａと空白エリア１０５の境界、または商品物品１１０Ａと１１０Ｂの境界を検出することにより、本撮影画像１００中の商品物品１１０Ａをその他の物品１１０Ｂ〜１１０Ｆから分離できる。
【００２９】
図３は本発明の実施例における在庫管理およびマーケティングのための画像認識システムの画像認識方法を示すフローチャートである。
【００３０】
図３が示すように、この画像認識方法３００はステップ３１０〜３４０を含み、ステップ３１０から開始される。ステップ３１０において、本発明はまず、画像取込装置２００を用いて商品画像を撮影し、その商品画像には複数の商品物品が含まれる。
そしてステップ３２０では、画像中の各商品物品は、たとえば境界検出、色変化、または高さ変化等の方式により分離が行われる。たとえば、２つの商品物品または１つの商品と空白エリアの間の境界または色変更、あるいは物品間の高さの変化を特徴として検出することにより、画像中の各物品を分離する。
【００３１】
次に、ステップ３３０では、画像認識により物品を確認する。詳しくは、分離された物品の特徴をデータベースに保存された物品情報と照合する。
たとえば、本発明は光学式文字認識（ｏｐｔｉｃａｌ  ｃｈａｒａｃｔｅｒ  ｒｅｃｏｇｎｉｔｉｏｎ，ＯＣＲ）により、商品物品上のテキストを認識し、そのテキストとデータベース中に保存された物品情報を照合し、テキストがデータベースエントリと適合するか否かを調べる。本実施例では、商品物品の実物外観特徴をもとにデータベースの照合を行う方法を実施する。
【００３２】
照合の結果、適合した場合、ステップ３４０では、分離された物品と適合したデータベースエントリをデータベースに保存する。したがって、本発明が開示するステップにより、倉庫、卸売店および各小売店データベースでは現在の在庫数を効果的に把握することができる。または、この画像認識方法により、新たな物品情報をデータベースに効果的かつ迅速に追加し、データベースサイズおよびエントリが拡張される。
【００３３】
図４Ａ〜図４Ｃは本発明の実施例における、テキストを有する、分離された物品を示す図である。
【００３４】
本発明の実施例では、画像認識過程において、この認識システムにより異なる方向から物品のテキストを検出および認識することができる。たとえば、図４Ａでは、商品１１０上のテキスト１１５は垂直方向であり、図４Ｂ中の商品上のテキスト１１５は水平方向であり、図４Ｃ中のテキスト１１５は回転したものである。
【００３５】
したがって、本発明が開示する画像認識方法および画像認識システムは、商品画像中のテキストがどの方向であろうと、物品上のテキストを検出、認識、確認するのに有効である。
【００３６】
図５は本発明の実施例における商品物品の正面と側面を示す図である。
【００３７】
一般的に、本発明が開示する画像認識過程ではまず、たとえば、物品の色、物品上のテキストまたは物品上のグラフィック等の複数の商品情報を収集する。その後、データベースで適合するエントリを検索し、新たな商品物品情報が追加されデータベースが更新され、これによりデータベースのサイズおよびエントリが拡張される。
【００３８】
たとえば、図５が示すように、分離された商品１１０の画像は、回転テキスト１１５Ａ、物品形状、寸法および背面画像を含む。図５によると、この回転テキスト１１５Ａはデータベースに保存された１１５Ｂに適合する。この適合した照合結果に基づき、データベースエントリは回転テキスト１１５Ａの情報、正面画像、寸法および正面グラフィック１２０含むところまで更新される。
このように、本発明は新たなまたは余分な物品情報を更新しデータベースへ追加するのに有効であり、これによりデータベースのサイズおよびエントリが拡張される。
【００３９】
図６は本発明の実施例における物品認識手順のフローチャートである。
【００４０】
図６が示すように、この物品認識手順３３０（図３のステップ３３０）はステップ３３１〜３３４を含み、ステップ３３１から開始される。
ステップ３３１において、本発明はまず、テキスト（文字）、色、グラフィック、テキストに使用されるフォントとスタイル等のような物品の多くの特徴を検出ならびに認識する。
続いてステップ３３２では、物品の形状、大きさおよび寸法を検出ならびに認識する。そして、ステップ３３３では、光学式文字認識（ｏｐｔｉｃａｌ  ｃｈａｒａｃｔｅｒ  ｒｅｃｏｇｎｉｔｉｏｎ，ＯＣＲ）を利用して商品物品上のテキストを確認する。
最後にステップ３３１、３３２、３３３で得た認識結果を、ステップ３３４でデータベースに保存された物品情報と照合し、適合する結果を探し出す。
【００４１】
本発明の実施例では、この照合結果と予め設定されたしきい値（ｐｒｅｓｅｔ  ｔｈｒｅｓｈｏｌｄ）を比較し、この予め設定されたしきい値より大きい場合は、照合結果がデータベース中に保存されている物品情報に適合するか否かが判断される。
【００４２】
図７は本発明の実施例における棚上位置標示を有する商品棚の構造を示す図である。
【００４３】
本発明が以下に開示する技術特徴によれば、図７が示す商品棚１５０は従来の商品棚よりも優れており、各種商品の保管と管理に役立つものである。
【００４４】
詳しくは、図７が示すように、この商品棚１５０は上段棚１８０、中段棚１８１および下段棚１８２を含む。上段棚１８０、中段棚１８１および／または下段棚１８２は、１つまたは１つ以上の棚上位置標示１６０Ａ、１６０Ｂ、１６０Ｃの配置を選択することができる。
本発明の実施例では、棚上位置標示１６０Ａは商品物品１１０Ａ、１１０Ｂ、１１０Ｃの商品棚１５０上における各位置を認識するのに用いられる。さらに、棚上位置標示１６０Ａ、１６０Ｂ、１６０Ｃは倉庫内における商品棚１５０自体の具体的位置を示すのに用いることもできる。
【００４５】
たとえば、棚上位置標示１６０Ａ、１６０Ｂ、１６０Ｃは、商品棚１５０自体の位置、商品棚１５０が上段棚１８０、中段棚１８１および／または下段棚１８２を有するか否か、および商品自体が商品棚１５０のどの段に置かれているかといった情報を含む。
【００４６】
一般的に、棚上位置標示１６０Ａ、１６０Ｂ、１６０Ｃは、数字、文字（ｌｅｔｔｅｒ、ｃｈａｒａｃｔｅｒ）、色、色のグラデーション、大きさ、バーコード、クイックレスポンスコード（ＱＲコード）、または画像認識技術により認識できるその他コード、として記録される。
【００４７】
また、図７が示すように、棚上位置標示１６０Ｃは、少なくとも２つの分離した認識標示を有する。これにより、棚上位置標示１６０Ｃ上のこれらの分離した認識標示を用いて、棚上位置標示１６０Ｃ上の中段棚１８１上にある商品物品の情報を認識できるだけでなく、棚上位置標示１６０Ｃ下の下段棚１８２上にある商品物品の情報も同時に認識できる。
【００４８】
本発明の実施例では、商品棚１５０は棚段幅目盛り１７０と棚段高さ目盛り１６５を含む。
棚段幅目盛り１７０は棚上の商品物品の幅、または棚上の商品物品の位置を判断するのに用いられ、棚段高さ目盛り１６５は棚上の商品物品の高さ、または商品物品がどの段にあるかを判断するのに用いられる。
したがって、棚段幅目盛り１７０と棚段高さ目盛り１６５の設計により、商品物品に関する各種情報を迅速に取得できる。
【００４９】
図８は本発明の実施例における在庫管理およびマーケティングのための画像認識システムの画像認識方法を示すフローチャートである。
【００５０】
図８が示すように、この画像認識方法４００はステップ４０５、４１０、４１５、４２０、４２５、４３０、４３５、４４０、４４５、４５０を含み、ステップ４０５から開始される。ステップ４０５において、画像取込装置２００はまず商品棚上にある商品の画像を撮影する。
そして、ステップ４１０とステップ４１５で、画像中の各種商品をそれぞれ解析ならびに分離する。撮影された画像は商品物品の画像だけでなく、上述の各棚上位置標示も同時に含む。これらの棚上位置標示はステップ４２０で認識される。
その後、ステップ４２５で、分離された各商品は、画像認識技術により認識され、続いてステップ４３０では、対応する棚上位置標に関連付けられる。そして、ステップ４３５で、これらの認識された物品特徴とデータベースに保存されている物品情報の照合を行い、適合する照合結果を検索した後、当該商品物品およびそれに対応する棚上位置標示を同時にデータベースエントリに保存する。
【００５１】
本発明の実施例では、データベースには各種商品物品の保管可能な希望数量を保存する。商品棚上に認識可能な商品物品が複数おかれている場合、認識された各商品物品は、データベース内の物品情報と照合され、適合すれば更新ならびにデータベースへ保存されると同時に、現在ある商品物品の在庫数も増やされる。ステップ４４０では、これらの現在の商品在庫数について、データベース中の保管可能な希望数量との比較が行われる。
【００５２】
続いてステップ４４５では、棚卸しプロセスが開始される。たとえば、データベース内の在庫数は最新の在庫数に更新され、システムは最新の在庫数とデータベース中の保管可能な希望数量を比較し、当該商品物品の販売記録を提供する。
たとえば、本発明の実施例では、前回の倉庫の棚卸しで商品物品ＡＢＣのデータベース中の保管可能な希望数量が１４であった場合、新しい棚卸しを実行した時、商品物品ＡＢＣの数量が１２であれば、本発明が開示する在庫管理システムは商品盗難の可能性について自動的に注意を促したり、在庫不足を警告したりする。
【００５３】
ステップ４５０では、認識された物品の棚上位置標示に基づいてフローマップを自動的に作成する。このフローマップは各物品のデータエントリにより形成されるものである。このフローマップは商品物品の倉庫および商品棚上における位置を示し、さらにユーザーの現在位置から商品物品までのルートを示すことができる。
【００５４】
図９は本発明の実施例における商品棚の構造を示す図である。
【００５５】
本発明の実施例では、商品棚１５０の寸法が既にわかっている場合、棚段と棚段の間の距離、幅、奥行きに基づき、商品物品１１０Ａ、１１０Ｂ、１１０Ｃの寸法も知ることができる。
たとえば、上段棚底面１５１と中段棚上面１５２の間の中段棚高さ１５５、中段棚底面１５３と下段棚上面１５４の間の下段棚高さ１５６、棚奥行き１５７および棚段幅が既にわかっている場合、商品の寸法は画像取込装置２００で商品画像を撮影し、商品の上下段棚が明らかであれば、商品の寸法は対応する棚段の比率の大きさにより算出できる。
したがって、本発明が開示するシステムは、商品の寸法を自動的に計算し、その物品情報をデータベースに保存できる。このほか、各棚上位置標示は商品棚１５０自体の寸法を認識ならびに計算するのにも用いられる。
【００５６】
図１０は本発明の実施例に在庫管理およびマーケティングのための画像認識システムの構造を示す図である。
【００５７】
図１０が示すように、本発明が開示する技術内容によれば、ユーザー、消費者または倉庫の管理者は、商品物品１１０とデータベース２３０を結び付けるのに画像認識管理システムのユーザーデバイスである画像取込装置２００を用いる。ユーザーデバイスである画像取込装置２００とデータベース２３０の間は無線通信接続２１０によって接続される。
たとえば、データベース２３０はユーザーデバイスである画像取込装置２００上に商品物品１１０の位置および取りに行くルートを表示する。ユーザーデバイスである画像取込装置２００はデータベース２３０から商品１１０の価格または在庫数を読み出し、ユーザーが買い物しやすいようにアシストする。
【００５８】
図１１は本発明の実施例における在庫管理およびマーケティングのための画像認識システムの画像認識方法を示すフローチャートである。
【００５９】
一般的に、小売店や販売店では通常大量の宣伝広告チラシを作成し、これらのチラシには優待価格やキャンペーン商品を掲載し、消費者の消費を促す。しかし、注意すべきは、買い物のたびにこれらのチラシを持ってお店に買い物に行ったり、どんなキャンペーン商品があったかを覚えておくのは非常に面倒だという点である。
【００６０】
そこで、本発明が開示する在庫管理およびマーケティングのための画像認識システムの画像認識方法５００は、図１１が示すように、ステップ５１０、５２０、５３０、５４０および５５０を含む。
まずステップ５１０では、ユーザーはユーザーデバイス（たとえば画像取込装置）を用いてチラシ上の商品画像を撮影する。一般的に、ユーザーは家でチラシを手にして、手元にあった画像取込装置でユーザー自身が購入したい商品画像を撮影できる。
その後、ステップ５２０で、画像中の商品物品を認識し、この商品の定価、値引き価格、ブランド、ロゴ、商品カテゴリーまたは店名のような商品情報も認識する。
【００６１】
そしてステップ５３０では、ユーザーの位置を検出する。たとえば、ユーザーが店内に入った時または既に店内にいた時、本在庫管理およびマーケティングのための画像認識システムは、ＧＰＳ、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｈｏｏｔｈ（登録商標）、ＲＦＩＤ（無線ＩＣタグ）またはＮＦＣ（近距離無線通信）等の方式によりユーザーデバイスの位置を検出する。
【００６２】
その後、ステップ５４０において、本システムは当該商品物品とその物品情報をユーザーデバイス上に読み出して表示する。さらにステップ５５０において、ユーザーデバイスの店内における位置および商品棚上の正確な位置、ならびにユーザーの現在位置からこの商品物品を容易に取りに行けるルートを含むフローマップを表示する。
【００６３】
このように、本発明が開示する在庫管理およびマーケティングのための画像認識方法により、ユーザーはチラシ上の購入したい商品を手軽に撮影し、実店舗に買い物に行った際、当該商品の正確な位置を素早く把握し、買い物の効率と利便性を高めることができる。
【００６４】
他にも、販売店また販売員はこのシステムにより同類の競合商品または無料商品およびその所在位置を提供することで、さらにユーザーの購買意欲を誘発する。
【００６５】
図１２はもう１つの本発明の実施例における在庫管理およびマーケティングのための画像認識システムの画像認識方法を示すフローチャートである。
【００６６】
図１２が示すように、本発明が開示する在庫管理およびマーケティングのための画像認識システムの画像認識方法６００は、ステップ６１０、６２０、６３０、６４０および６５０を含む。
まずステップ６１０では、ユーザーはユーザーデバイス（たとえば画像取込装置）を用いて商品画像を撮影する。
その後ステップ６２０で、画像中の商品物品を認識する。
次にステップ６３０では、ユーザーの位置を検出する。
続いてステップ６４０では、当該商品物品を販売しているすべての場所の位置情報をデータベースから読み出し、当該商品物品を販売している各場所の位置をユーザーデバイス上に表示する。
そしてステップ６５０では、各位置における当該商品の物品情報をユーザーデバイス上に表示する。
【００６７】
たとえば、ユーザーはまず購入したい商品であるコンピュータの画像を撮影する。その後、システムは、色、ブランド名、大きさ、寸法または型番のような画像中の物品情報とデータベース内に保存された物品情報を照合し、該当するコンピュータを認識する。
そして、システムはユーザーの位置を検出した後、このコンピュータが購入できるすべての地点を示すマップをユーザーデバイス上に表示する。また、このマップはユーザーの現在位置から上述のコンピュータを購入できる全ての地点までのルートも提供する。
さらに、各地点で販売しているこのコンピュータの価格、同類の競合商品またはその他類似品の型番をユーザーデバイス上に表示するので、ユーザーが最終的に購入に行きたい店はどこか、または購入したい商品は何かを決定するのに役立つ。
【００６８】
図１３はさらにもう１つの本発明の実施例における在庫管理およびマーケティングのための画像認識システムの画像認識方法を示すフローチャートである。
【００６９】
図１３が示すように、本発明が開示する在庫管理およびマーケティングのための画像認識システムの画像認識方法７００は、７０５、７１０、７１５、７２０、７２５、７３０、７３５、７４０および７４５を含む。
まずステップ７０５では、ユーザーはユーザーデバイス（たとえば画像取込装置）を用いて商品画像を撮影する。
その後ステップ７１０で、画像中の商品物品およびその物品情報を認識する。
次にステップ７１５では認識されたこれらの商品物品およびその物品情報をユーザーのデータベースに保存する。
そしてステップ７２０では、これらの商品物品に基づき、ユーザーのウィッシュリストを作成し、それをデータベースに保存する。
一般的には、ユーザーはウィッシュリストを作成することにより購入したい商品を記録できる、またはこのウィッシュリストを他のユーザーに公開して自分が購入したい商品を知らせ、他のユーザーがこの商品を購入して送るということもできる。
【００７０】
続いて、ステップ７２５では、ユーザーの位置を検出する。
その後ステップ７３０ではウィッシュリスト上にある各商品物品の実際位置を示すマップをユーザーデバイス上に表示する。
さらにステップ７３５では、各位置における商品物品情報をユーザーデバイス上に表示する。
そしてステップ７４０では、ウィッシュリスト上にある各商品物品の競合商品の実際位置を示すもう１つのマップをユーザーデバイス上に表示する。
最後に、ステップ７４５では、各位置における競合商品物品の情報をユーザーデバイスに表示する。
【００７１】
本発明の実施例では、ウィッシュリストをその他のユーザーと共有するか否かをユーザー自身が決定することができきる。一般的に、あるユーザーが自分のウィッシュリストを他のユーザーと共有することを選択したとき、その他のユーザーのウィッシュリスト上にはそれに関する通知が届く（図１３のステップ７３５に示す）。
このような状況であれば、ユーザーは他のユーザーがどんな商品を購入したいかを随時知ることができ、ユーザーデバイス上に表示されたマップにより、最も近距離の購入可能地点がどこであるかも同時に知ることができる。これにより、ソーシャルネットワークの価値と互いのギフトに対する満足度を高めるだけでなく、購入時の地理的制限を解消することもできる。
【００７２】
たとえば、ユーザーＡは購入したい商品の画像を撮影したが、当該商品がユーザーＡの居住する街ではまだ販売されていないとする。このとき、ユーザーＡはこの商品画像を自分のウィッシュリスト上に載せて、他のユーザーと共有する。そしてユーザーＢが居住する街で当該商品が販売されていれば、ユーザーＢはユーザーＡのウィッシュリストを見た後、ユーザーＢが居住する街でユーザーＡに代わって当該商品を購入し、ユーザーＡの居住地に郵送するということが可能である。
【００７３】
以上の実施例は本発明の技術思想および特長を説明したものに過ぎず、その目的は、この技術分野を熟知する者が本発明の内容を理解し実施できるようにすることであり、本発明の特許請求の範囲を限定するものではない。従って、本発明の精神に基づき加えた変更や潤色は全て、本発明の特許請求の範囲内に含まれる。
【符号の説明】
【００７４】
１００  撮影画像
１０５  空白エリア
１１０  商品  
１１０Ａ、１１０Ｂ、１１０Ｃ、１１０Ｄ、１１０Ｅ、１１０Ｆ  商品物品  
１１５  テキスト
１１５Ａ  回転テキスト
１１５Ｂ  水平テキスト
１２０  正面グラフィック
１５０  商品棚
１５１  上段棚底面
１５２  中段棚上面
１５３  中段棚底面
１５４  下段棚上面  
１５５  中段棚高さ  
１５６  下段棚高さ
１５７  棚奥行き  
１６０Ａ、１６０Ｂ、１６０Ｃ  棚上位置標示
１６５  棚段高さ目盛り
１７０  棚段幅目盛り
１８０  上段棚
１８１  中段棚
１８２  下段棚
２００  画像取込装置
２１０  無線通信接続  
２２０  サーバー
２３０  データベース
３００  画像認識方法
３１０、３２０、３３０、３３１、３３２、３３３、３３４、３４０  ステップ
４００  画像認識方法  
４０５、４１０、４１５、４２０、４２５、４３０、４３５、４４０、４４５、４５０  ステップ
５００  画像認識方法
５１０、５２０、５３０、５４０、５５０  ステップ  
６００  画像認識方法
６１０、６２０、６３０、６４０、６５０  ステップ
７００  画像認識方法
７０５、７１０、７１５、７２０、７２５、７３０、７３５、７４０、７４５  ステップ
【図１】
2014218313.tif 000003
【図２】
2014218313.tif 000004
【図３】
2014218313.tif 000005
【図４Ａ】
2014218313.tif 000006
【図４Ｂ】
2014218313.tif 000007
【図４Ｃ】
2014218313.tif 000008
【図５】
2014218313.tif 000009
【図６】
2014218313.tif 000010
【図７】
2014218313.tif 000011
【図８】
2014218313.tif 000012
【図９】
2014218313.tif 000013
【図１０】
2014218313.tif 000014
【図１１】
2014218313.tif 000015
【図１２】
2014218313.tif 000016
【図１３】
2014218313.tif 000017