(57)【要約】      （修正有）【課題】無人店舗化において商品の配置ミスや、商品を一旦手に取った顧客が商品を異なる位置に返却したときなど、商品を正確に特定できる商品の自動出納管理方法を提供する。【解決手段】自動出納管理システム１において、自動出納管理方法は、カメラ２０により店舗内の画像を撮影するステップと、コンピュータ装置１０の画像処理装置１２により、撮影された画像を処理して店舗内のヒトの掌を認識するステップと、出納管理部１３により、認識した掌の周囲にセンシング領域を設定するステップと、センシング領域内に店舗内の商品が存在するかしないかにより、ヒトによる商品把持状態を判定するステップと、商品が把持されていると判定されたとき、センシング領域内の画像と、一部が掌の代用図形で被覆された状態の商品パッケージの参照画像が保存されている画像ライブラリに保存されている参照画像とを比較して、商品を特定するステップと、を含む。【選択図】図１
2020170272.tif 000002
【特許請求の範囲】
【請求項１】
カメラと、画像処理部と、出納管理部及び画像ライブラリとを備える店舗内の商品の出納管理システムを用いる商品の自動出納管理方法であって、
前記カメラにより、店舗内の画像を撮影するステップ、
前記画像処理装置により、撮影された店舗内の画像を処理して店舗内のヒトの掌を認識するステップ、
前記出納管理部により、
認識した掌の周囲にセンシング領域を設定するステップ、
前記センシング領域内に前記店舗内の商品が存在するかしないかにより、前記ヒトによる商品把持状態を判定するステップ、
前記ヒトにより商品が把持されていると判定されたとき、前記センシング領域内の画像と、前記画像ライブラリに保存されている参照画像とを比較して、商品を特定するステップと、含み、
前記画像ライブラリには、一部が掌の代用図形で被覆された状態の商品パッケージの参照画像が保存されている、商品の自動出納管理方法。
【請求項２】
前記出納管理部による、前記認識した掌を前記センシング領域内で前記代用図形に変換するステップが更に含まれる、請求項１に記載の方法。
【請求項３】
前記出納管理部により、店舗内什器から所定の距離に仮想的なボーダーウォールを設定するステップが更に含まれ、
前記センシング領域が前記ボーダーウォールを往復通過したことをトリガとして前記商品を特定するステップが実行される、請求項１又は２に記載の方法。
【請求項４】
前記什器からみて前記ボーダーウォールの外側において前記商品を特定するステップを実行する、請求項３に記載の方法。
【請求項５】
カメラと、画像処理部と、出納管理部及び画像ライブラリとを備える施設内の物品の出納管理システムを用いる物品の自動出納管理方法であって、
前記カメラにより、施設内の画像を撮影するステップ、
前記画像処理装置により、撮影された施設内の画像を処理して施設内のヒトの掌を認識するステップ、
前記出納管理部により、
認識した掌の周囲にセンシング領域を設定するステップ、
前記センシング領域に前記施設内の物品が存在するかしないかにより、前記ヒトによる物品把持状態を判定するステップ、
前記ヒトにより物品が把持されていると判定されたとき、前記センシング領域内の画像と、前記画像ライブラリに保存されている参照画像とを比較して、物品を特定するステップと、含み、
前記画像ライブラリには、一部が掌の代用図形で被覆された状態の物品の外観の参照画像が保存されている、物品の自動出納管理方法。
【請求項６】
前記出納管理部による、前記認識した掌を前記センシング領域内で前記代用図形に変換するステップが更に含まれる、請求項４に記載の方法。
【請求項７】
前記出納管理部により、施設内什器から所定の距離に仮想的なボーダーウォールを設定するステップが更に含まれ、
前記センシング領域が前記ボーダーウォールを往復通過したことをトリガとして前記物品を特定するステップが実行される、請求項４又は５に記載の方法。
【請求項８】
前記什器からみて前記ボーダーウォールの外側において前記物品を特定するステップを実行する、請求項６に記載の方法。
【請求項９】
施設内の画像を撮影するカメラと、
前記カメラにより撮影された画像を処理して前記施設内のヒトの掌を認識する画像処理部と、
認識した前記掌の周囲にセンシング領域を設定するセンシング領域設定部と、
前記センシング領域に前記施設内の物品が存在するかしないかにより、前記ヒトによる物品把持状態を判定する把持状態判定部と、
一部が前記掌の代用図形で被覆された状態の物品の外観の参照画像が保存されている画像ライブラリと、
前記前記把持状態判定部により物品がヒトにより把持されていると判定されたとき、前記センシング領域内の画像と、前記画像ライブラリに保存されている参照画像とを比較して、物品を特定する物品特定部と、
を備えてなる出納管理システム。
【請求項１０】
前記認識した掌を前記センシング領域内で前記代用図形に変換する変換部が更に含まれる、請求項８に記載の出納管理システム。
【請求項１１】
施設内什器から所定の距離に仮想的なボーダーウォールを設定するボーダーウォール設定部が更に含まれ、
前記物品特定部は、前記センシング領域が前記ボーダーウォールを往復通過したことをトリガとして前記物品を特定する請求項８又は９に記載の出納管理システム。
【請求項１２】
前記物品特定部は、前記什器からみて前記ボーダーウォールの外側において前記物品を特定する請求項１０に記載の出納管理システム。
【請求項１３】
カメラと、画像処理部と、出納管理部及び一部が掌の代用図形で被覆された状態の物品の外観の参照画像が保存されている画像ライブラリとを備える施設内の物品の出納管理システムのコンピュータ用のプログラムであって、
前記カメラに、施設内の画像を撮影させ、
前記画像処理装置に、撮影された施設内の画像を処理して施設内のヒトの掌を認識させ、
前記出納管理部に、
認識した掌の周囲にセンシング領域を設定させ、
前記センシング領域に前記施設内の物品が存在するかしないかにより、前記ヒトによる物品把持状態を判定させ、
前記ヒトにより物品が把持されていると判定されたとき、前記センシング領域内の画像と、前記画像ライブラリに保存されている参照画像とを比較して、物品を特定させる、コンピュータ用のプログラム。
【請求項１４】
前記出納管理部に、前記認識した掌を前記センシング領域内で前記代用図形に変換させる、請求項１２に記載のコンピュータ用のプログラム。
【請求項１５】
前記出納管理部に、施設内什器から所定の距離に仮想的なボーダーウォールを設定させ、
前記センシング領域が前記ボーダーウォールを往復通過したことをトリガとして前記物品を特定させる請求項１２及び１３に記載のコンピュータ用のプログラム。
【請求項１６】
前記出納管理部に、前記什器からみて前記ボーダーウォールの外側において前記物品を特定させる、請求項１４に記載のコンピュータ用のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は物品の出納管理方法に関する。
【背景技術】
【０００２】
人手不足を解消する等の見地から、小売り店舗を無人化する方向で技術開発が進められている。
小売り店舗の運転を構成する要素は、大略して、什器等の店内装備品、商品、顧客及びキャッシャー、店舗環境制御装置からなる。ここで、店舗の無人化とは、おもにキャッシャーを無くすることを意味している。
キャッシャーが不在になると、商品を入手した顧客は無人のキャッシュレジスターを自ら操作して、精算する。
昨今では、キャッシュレジスターも無くする無人化店舗が提案されている。
【０００３】
キャッシュレジスターをなくした店舗では、先ずは入店した顧客を顔認証等により特定する。そして、当該顧客の銀行口座などへのアクセスを可能とする。なお、顧客は、顔認識されること、及びその結果、自身の銀行口座等へのアクセスされることを予め了承しているものとする。
かかる店舗では、画像処理により、（１）入店した顧客が（２）商品を（３）入手した（即ち、自分の所有物にした）か否を判定している。商品を入手したと判断されると（４）仮想的なカートに当該商品がのせられる。そして、（５）店舗から出るときに、カートにのせられている商品が自動的に精算され、相当の金額が顧客の銀行口座等から引き落とされる。
なお、本願発明に関連する技術を開示する先行技術文献として特許文献１及び特許文献２を参照されたい。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１１−１４２３１７号公報
【特許文献２】特許６１２１５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
無人化を達成するには、上記一連の動作において、（１）顧客の認識は汎用的な顔認識ソフトで対応できる。（４）の仮想的なカードを利用することは一般的な仮想店舗（アマゾン（登録商標）等）で汎用されており、（５）店舗に対する顧客の入出力管理も汎用技術である。
他方、（２）商品の特定は、棚などの什器における所定の位置（座標）に基づき行うことができるが、その方法では、そもそもの商品の配置ミスや、商品を一旦手に取った顧客が商品を異なる位置に返却したときなど、商品を正確に特定できなくなる。
更には、（３）その商品を顧客が入手したか否か（自身の所有物にしたか否か）を精度よく、かつ高速に特定できる技術は知られていない。
【課題を解決するための手段】
【０００６】
この発明は、かかる課題（２）、（３）の少なくとも一方を解決するものであり、その第１の局面は次のように規定される。即ち。
カメラと、画像処理部と、出納管理部及び画像ライブラリとを備える店舗内の商品の出納管理システムを用いる商品の自動出納管理方法であって、
前記カメラにより、店舗内の画像を撮影するステップ、
前記画像処理装置により、撮影された店舗内の画像を処理して店舗内のヒトの掌を認識するステップ、
前記出納管理部により、
認識した掌の周囲にセンシング領域を設定するステップ、
前記センシング領域内に前記店舗内の商品が存在するかしないかにより、前記ヒトによる商品把持状態を判定するステップ、
前記ヒトにより商品が把持されていると判定されたとき、前記センシング領域内の画像と、前記画像ライブラリに保存されている参照画像とを比較して、商品を特定するステップと、含み、
前記画像ライブラリには、一部が掌の代用図形で被覆された状態の商品パッケージの参照画像が保存されている、商品の自動出納管理方法。
【０００７】
一般的に、店舗内の商品はその撮影画像を予め保存されている商品パッケージの参照画像と比較することにより、これを特定することができる。しかしながら、顧客がその掌で商品を把持すると、そのとき撮影される画像から完全な商品パッケージを抽出することはできない。掌が遮蔽しているからである。そこでこの第１の局面に規定の発明では、掌を所定の代用図形で代用しこの代用図形で一部が被覆された商品パッケージの参照画像を画像ライブラリに保存しておく。そして、店舗内で撮影された画像から商品を掌で把持した画像を抽出して、その画像と当該参照画像とを比較して、商品を特定する。比較は、汎用的な画像マッチング処理による。
【０００８】
ここに、店舗内で撮影した画像においても掌は代用図形に変換されているので、撮影した画像と参照画像との比較が容易になる。勿論、店舗内の商品は予め決められてるので、画像ライブラリに保存されるデータ量も制限され、比較に要するコンピュータ資源のコスト（ハード及び時間）も削減される。さらには、掌を代用図形で代用するため、完全な商品パッケージの画像を代用図形に基づきコンピュータ処理して参照画像を作成できるので、即ち、商品パッケージを把持した状態を都度撮影することを要さず、画像ライブラリを構築するコストも削減できる。
また、センシング領域を定めているので、参照画像と比較すべき画像を店内撮影画像から抽出することも容易になる。
このようにして、商品の特定を正確、かつ迅速に把握可能となる。
【０００９】
この発明の第２の局面は次のように規定される。即ち、
第１の局面に規定の商品の自動出納管理方法において、
前記出納管理部による、前記認識した掌を前記センシング領域内で前記代用図形に変換するステップが更に含まれる。
これにより、センシング領域内で認識される商品の外形がその参照画像により近くなり、比較の精度及び速度が向上する。
【００１０】
この発明の第３の局面は次のように規定される。即ち、
第１の局面に規定の商品の自動出納管理方法において、
出納管理部により、店舗内什器から所定の距離に仮想的なボーダーウォールを設定するステップが更に含まれ、
前記センシング領域が前記ボーダーウォールを往復通過したことをトリガとして前記商品を特定するステップが実行される。
このように規定される第３の局面の自動出納管理方法によれば、商品を特定するステップを実行するタイミングが什器の近く、即ち陳列商品の近くで行われることとなり、商品特定の精度が向上する。その理由として、陳列された商品を掌で把持する方向はほぼ一定になるので、商品パッケージが掌で隠されていても、その画像の処理に規則性を得られるからである。更には、商品の陳列位置（座標）に基づく商品特定処理も並行して行われることが多いので、当該処理で得られる商品特定結果との対比がし易くなることもある。
また、このよううにトリガのタイミングを限定することで、商品特定の高速化も達成できる。
【００１１】
センシング領域がボーダーウォールを往復通過することによるトリガが出力されたとき、その前後の動画像を取り込まれる。ボーダーウォールの外側ににおいてセンシング領域内の商品が「無」→「有」となったとき顧客は商品を入手したもの（自身の所有にしたもの）と判断し、これが「有」→「無し」となったとき顧客は商品を返却したものと判断する。
よって、この発明の第４の局面は次のように規定される。即ち、
第２の局面に規定の商品の自動出納管理方法において、前記什器からみて前記ボーダーウォールの外側において前記商品を特定するステップを実行する。
ボーダーウォールの外側では、撮影された画像から商品パッケージを精度よく抽出できるのに対し、その内側では、店舗内カメラの視野において、什器が商品を被覆してしまるおそれがある。
【００１２】
以上、無人店舗において商品の出納管理をする例について述べてきた。商品を工業製品の部品としてみれば、工場（施設）内での部品（物品）の出納管理としても利用できることがわかる。即ち、この発明の第４の局面は次のように敷衍できる。
カメラと、画像処理部と、出納管理部及び画像ライブラリとを備える施設内の物品の出納管理システムを用いる物品の自動出納管理方法であって、
前記カメラにより、施設内の画像を撮影するステップ、
前記画像処理装置により、撮影された施設内の画像を処理して施設内のヒトの掌を認識するステップ、
前記出納管理部により、
認識した掌の周囲にセンシング領域を設定するステップ、
前記センシング領域に前記施設内の物品が存在するかしないかにより、前記ヒトによる物品把持状態を判定するステップ、
前記ヒトにより物品が把持されていると判定されたとき、前記センシング領域内の画像と、前記画像ライブラリに保存されている参照画像とを比較して、物品を特定するステップと、含み、
前記画像ライブラリには、一部が掌の代用図形で被覆された状態の物品の外観の参照画像が保存されている、物品の自動出納管理方法。
【００１３】
この発明の第５の局面は次のように規定される。即ち、第４の局面の自動出納管理方法において、前記出納管理部による、前記認識した掌を前記センシング領域内で前記代用図形に変換するステップが更に含まれる。
このように規定される第５の局面の発明によれば、第２の局面と同等の効果が得られる。
【００１４】
この発明の第６の局面は次のように規定される。即ち、第４又は第５の局面の自動出納管理方法において、前記出納管理部により、施設内什器から所定の距離に仮想的なボーダーウォールを設定するステップが更に含まれ、
前記センシング領域が前記ボーダーウォールを往復通過したことをトリガとして前記物品を特定するステップが実行される。
このように規定される第６の局面の発明によれば、第３の局面と同等の効果が得られる。
【００１５】
この発明の第７の局面は次のように規定される。即ち、第６の局面の自動出納管理方法において、前記什器からみて前記ボーダーウォールの外側において前記物品を特定するステップを実行する。
このように規定される第６の局面の発明によれば、第４の局面と同等の効果が得られる。
【００１６】
以下、物品には商品が含まれるものとして、また、施設には店舗が含まれるものとしてこの発明の他の局面を説明する。
この発明の第８の局面は次のように規定される。
施設内の画像を撮影するカメラと、
前記カメラにより撮影された画像を処理して前記施設内のヒトの掌を認識する画像処理部と、
認識した前記掌の周囲にセンシング領域を設定するセンシング領域設定部と、
前記センシング領域に前記施設内の物品が存在するかしないかにより、前記ヒトによる物品把持状態を判定する把持状態判定部と、
一部が前記掌の代用図形で被覆された状態の物品の外観の参照画像が保存されている画像ライブラリと、
前記前記把持状態判定部により物品がヒトにより把持されていると判定されたとき、前記センシング領域内の画像と、前記画像ライブラリに保存されている参照画像とを比較して、物品を特定する物品特定部と、
を備えてなる出納管理システム。
このように規定される第８の局面の発明によれば、第１の局面と同等の効果が得られる。
【００１７】
この発明の第９の局面は次のように規定される。即ち、第８の局面の自動出納管理システムにおいて、前記認識した掌を前記センシング領域内で前記代用図形に変換する変換部が更に含まれる。
このように規定される第９の局面の発明によれば、第２の局面と同等の効果が得られる。
【００１８】
この発明の第１０の局面は次のように規定される。即ち、第８又は９の局面の自動出納管理システムにおいて、施設内什器から所定の距離に仮想的なボーダーウォールを設定するボーダーウォール設定部が更に含まれ、
前記物品特定部は、前記センシング領域が前記ボーダーウォールを往復通過したことをトリガとして前記物品を特定する。
このように規定される第１０の局面の発明によれば、第３の局面と同等の効果が得られる。
【００１９】
この発明の第１１の局面は次のように規定される。即ち、第１０の局面の自動出納管理システムにおいて、前記物品特定部は、前記什器からみて前記ボーダーウォールの外側において前記物品を特定する。
このように規定される第１１の局面の発明によれば、第４の局面と同等の効果が得られる。
【００２０】
この発明の第１２の局面は次のように規定される。即ち、
カメラと、画像処理部と、出納管理部及び一部が掌の代用図形で被覆された状態の物品の外観の参照画像が保存されている画像ライブラリとを備える施設内の物品の出納管理システムのコンピュータ用のプログラムであって、
前記カメラに、施設内の画像を撮影させ、
前記画像処理装置に、撮影された施設内の画像を処理して施設内のヒトの掌を認識させ、
前記出納管理部に、
認識した掌の周囲にセンシング領域を設定させ、
前記センシング領域に前記施設内の物品が存在するかしないかにより、前記ヒトによる物品把持状態を判定させ、
前記ヒトにより物品が把持されていると判定されたとき、前記センシング領域内の画像と、前記画像ライブラリに保存されている参照画像とを比較して、物品を特定させる、コンピュータ用のプログラム。
このように規定される第１２の局面の発明によれば、第１の局面と同等の効果が得られる。
【００２１】
この発明の第１３の局面は次のように規定される。即ち、第１２の局面のプログラムにおいて、前記出納管理部に、前記認識した掌を前記センシング領域内で前記代用図形に変換させる。
このように規定される第１３の局面の発明によれば、第２の局面と同等の効果が得られる。
【００２２】
この発明の第１４の局面は次のように規定される。即ち、第１２又は１３の局面のプログラムにおいて、前記出納管理部に、施設内什器から所定の距離に仮想的なボーダーウォールを設定させ、
前記センシング領域が前記ボーダーウォールを往復通過したことをトリガとして前記物品を特定させる。
このように規定される第１４の局面の発明によれば、第３の局面と同等の効果が得られる。
【００２３】
この発明の第１５の局面は次のように規定される。即ち、第１４の局面のプログラムにおいて、前記出納管理部に、前記什器からみて前記ボーダーウォールの外側において前記物品を特定させる。
このように規定される第１５の局面の発明によれば、第４の局面と同等の効果が得られる。
【図面の簡単な説明】
【００２４】
【図１】図１は本発明の実施形態の自動出納管理システムの機能ブロック図である。
【図２】図２は無人店舗内で商品購入状態を説明する斜視図である。
【図３】図３は図２の状態を模式化した平面図である。
【図４】図４は図３の状態からヒトがその掌を商品に近づける状態を示す」平面図である。
【図５】図５は図４の状態からヒトの掌が商品を把持した状態を示す平面図である。
【図６】図６は図５の状態から商品を取り出す状態を示す平面図である。
【図７】図７は商品と掌及びその代用図面との関係を示す模式図である。
【図８】図８は本発明の自動出納管理システムの他の適用例を示す模式図である。（以降、最終的に調整）
【発明を実施するための形態】
【００２５】
以下、本発明を実施形態に基づき更に詳細に説明する。
図１は本発明の実施形態の自動出納管理システム１の機能ブロック図である。
この自動出納管理システム１はコンピュータ装置１０とカメラ２０とから大略構成される。コンピュータ装置１０はＣＰＵ１１、メモリ１４、入力装置１６、出力装置１７及び通信インターフェース１８を備える。
【００２６】
ＣＰＵ１１は画像処理部１２及び出納管理部１３として機能する。出納管理部１３の中にはセンシング領域設定部、把持状態判定部及び物品特定部とが含まれる。かかる機能は予めインストールされたプログラムを実行することにより行われる。
メモリ１４には画像ライブラリ１５の領域が備えられる。このメモリ１４にはデータを書き換え可能なハードディスクや半導体メモリを用いることが好ましい。図示はしないが、コンピュータ装置１０の動作をつかさどるプログラムを保存したＲＯＭやバッファメモリとして機能するＲＡＭも備えられる。
入力装置１６にはキーボード、ポインタ及び音声変換装置が該当し、出力装置１７にはプリンタ、モニタ、スピーカ等が該当する。通信インターフェース１８には、ＵＳＢ等の各種入出力ポートやインターネット接続装置等が該当する。
図１において符号３０は商品棚等の什器、４１、４２は商品を示す。
【００２７】
図２は、無人店舗におい顧客５０が掌５１をもって、什器３０から商品を選ぼうしている状態を示す。
図３は、図２の状態を平面から見たときの模式図である。
図３において、一点鎖線はボーダーウォールＢＷであり、コンピュータ装置１０が仮想的に作成する。このボーダーウォールＢＷは什器３０を囲むように、什器から２０〜６０ｃｍ離れた位置に設定することが好ましい。
図中の点線はセンシング領域６０を示す。このセンシング領域６０はヒト５０の掌５１の周囲の所定範囲に設定することができる。この例では、掌５１を矩形の代用図形５３に変換している。画像処理を簡易化するためである。そして、代用図形５３を全方位に３倍拡張した領域をセンシング領域６０としている。
図３の例では、ヒトは商品を何ら把持していない。
【００２８】
図４はセンシング領域６０（即ち掌）が、コンピュータ装置１０の作成する仮想空間において、ボーダーウールＢＷを通過する状態を示している。
図５はセンシング領域６０（即ち掌）が、什器３０にある商品４１を把持した状態を示す。この例では、センシング領域６０内に商品が存在するとき、その商品は把持状態であると認定している。センシング領域６０内に商品の一部が重なったときにこれが把持状態と認定してもより。なお、什器３０は複数の棚を有することがあり、上段の棚が遮蔽物となって、かかる状態を店舗内カメラ２０で撮影しきれない場合がある。
ヒトは商品を把持すると、これを引き取り（一旦、図４の状態を通過し）、図６の状態となる。
【００２９】
図５、６では掌の代用図形５３と商品４１とが離れている。これは商品に紐などが付設されておりヒトはその紐をつまんだ状態を示す。かかる状態では、商品はその外観（商品パッケージ）の全容を撮影画像、特にセンシング領域６０から抽出できる。
紐が無いときは、実際には図７のＡ１及びＢ１に示すように、商品４１はヒトの掌５１で把持されている。その結果、センシング領域６０においては、商品４１に代用図形５３が重なった状態となる。
この状態において、商品パッケージにおける文字、図形、模様、色彩は非重畳部分４１Ａ，４１Ｂにおいてのみ観察できる。
【００３０】
画像ライブラリ１５には、４１Ａ及び図４１Ｂのように、代用図形で一部が被覆されて、換言すれば、一部欠損箇所のある商品パッケージの画像の複数が参照画像として保存される。
本発明者らの検討によれば、商品の大きさやパッケージのデザインにもよるが、５から７パターンの参照画像を準備しておけば、この参照画像とセンシング領域６０内の画像とのマッチング処理を行うことにより、商品をほぼ正確に特定できた。
なお、この例では、参照画像との比較を容易にするため、掌を代用図形に抽象化しているが、掌を代用図形に変換することなく、参照図形と比較することも可能である。
【００３１】
上記において、ヒトの掌５１が、即ち画像上ではセンシング領域６０がボーダーウールＢＷを往復動している。この例では、この往復動をトリガとして、その前後の動画を一旦保存し、商品が把持されいるか否かを判断する。即ち、センシング領域６０内に商品が存在するとき、その商品は掌に把持されたものとする。よって、図３から図６の一連の動作では、ボーダーウォールＢＷの外側において商品を把持していない状態（図３）から商品を把持した状態（図６）に状態変化が生じている。この状態変化をもって、ヒト５０は商品をカートに入れたと判断する。逆の状態変化が生じたときはカートから商品を戻したと判断する。
【００３２】
図８に、組立工場においてこの発明の自動出納管理システムを適用した例を示す。
図８に示す現場では、ライン３００を移送されるワークへ２つの部品１４１と２４１を組み付けることが標準作業とされている。
部品棚１３０には、本来、正規部品１４１のみが置かれるべきところ、非正規部品１４２が混入している。他方の部品棚２３０にも正規部品２４１に交じって非正規部品２４２が置かれている。
【００３３】
これら部品１４１、１４２、２４１、２４２を商品と見立て、作業員５０を顧客と見立て、部品棚を什器と見立て、その前にボーダーウォールＢＷ１，ＢＷ２を仮定すれば、店舗の場合と同様に、どの部品がどの作業員５０よって、部品棚から取り出されたかが特定でき、そのデータが保存される。
そして、ワーク３１０を什器に見立て、その前にボーダーウォールＢＷ３を仮定すれば、ワーク３１０にどの部品がどの作業員５０によって組み付けられたかも特定でき、そのデータが保存される。
勿論、これら一連の作業の時間的なログも保存できる。
【００３４】
図８の例では、ライン３００の中央のワーク３１０に非正規部品１４２が組み付けられた例を示す。
この状態で、ワーク３１０に不具合が生じているので、その旨のアラームを出すことができる。
また、仮にワーク３１０が出荷された後にも、かかる不具合の原因が特定できるので、その対策が容易になる。
【００３５】
この発明は、上記発明の実施形態の説明に何ら限定されるものではない。特許請求の範囲の記載を逸脱せず、当業者が容易に想到できる範囲で種々の変形態様もこの発明に含まれる。本発明の摺動部材を用いた内燃機関等の軸受機構使用装置は、優れた摺動特性を発揮する。
【符号の説明】
【００３６】
１…自動出納管理システム
１２…画像処理部
１３…出納管理部
１５…画像ライブラリ
２０…カメラ
３０…什器
４１、４３…商品
５０…顧客
５１…掌
５３…掌の代用図形
６０…センシング領域
ＢＷ…ボーダーウォール
【図１】
2020170272.tif 000003
【図２】
2020170272.tif 000004
【図３】
2020170272.tif 000005
【図４】
2020170272.tif 000006
【図５】
2020170272.tif 000007
【図６】
2020170272.tif 000008
【図７】
2020170272.tif 000009
【図８】
2020170272.tif 000010
【手続補正書】
【提出日】令和2年3月3日(2020.3.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラと、画像処理部と、出納管理部及び画像ライブラリとを備える店舗内の商品の出納管理システムを用いる商品の自動出納管理方法であって、
前記カメラにより、店舗内の画像を撮影するステップ、
前記画像処理部により、撮影された店舗内の画像を処理して店舗内のヒトの掌を認識するステップ、
前記出納管理部により、
認識した掌の周囲にセンシング領域を設定するステップ、
前記センシング領域内に前記店舗内の商品が存在するかしないかにより、前記ヒトによる商品把持状態を判定するステップ、
前記ヒトにより商品が把持されていると判定されたとき、前記センシング領域内の画像と、前記画像ライブラリに保存されている参照画像とを比較して、商品を特定するステップと、含み、
前記画像ライブラリには、一部が掌の代用図形で被覆された状態の商品パッケージの参照画像が保存されている、商品の自動出納管理方法。
【請求項２】
前記出納管理部による、前記認識した掌を前記センシング領域内で前記代用図形に変換するステップが更に含まれる、請求項１に記載の方法。
【請求項３】
前記出納管理部により、店舗内什器から所定の距離に仮想的なボーダーウォールを設定するステップが更に含まれ、
前記センシング領域が前記ボーダーウォールを往復通過したことをトリガとして前記商品を特定するステップが実行される、請求項１又は２に記載の方法。
【請求項４】
前記什器からみて前記ボーダーウォールの外側において前記商品を特定するステップを実行する、請求項３に記載の方法。
【請求項５】
カメラと、画像処理部と、出納管理部及び画像ライブラリとを備える施設内の物品の出納管理システムを用いる物品の自動出納管理方法であって、
前記カメラにより、施設内の画像を撮影するステップ、
前記画像処理部により、撮影された施設内の画像を処理して施設内のヒトの掌を認識するステップ、
前記出納管理部により、
認識した掌の周囲にセンシング領域を設定するステップ、
前記センシング領域に前記施設内の物品が存在するかしないかにより、前記ヒトによる物品把持状態を判定するステップ、
前記ヒトにより物品が把持されていると判定されたとき、前記センシング領域内の画像と、前記画像ライブラリに保存されている参照画像とを比較して、物品を特定するステップと、含み、
前記画像ライブラリには、一部が掌の代用図形で被覆された状態の物品の外観の参照画像が保存されている、物品の自動出納管理方法。
【請求項６】
前記出納管理部による、前記認識した掌を前記センシング領域内で前記代用図形に変換するステップが更に含まれる、請求項５に記載の方法。
【請求項７】
前記出納管理部により、施設内什器から所定の距離に仮想的なボーダーウォールを設定するステップが更に含まれ、
前記センシング領域が前記ボーダーウォールを往復通過したことをトリガとして前記物品を特定するステップが実行される、請求項５又は６に記載の方法。
【請求項８】
前記什器からみて前記ボーダーウォールの外側において前記物品を特定するステップを実行する、請求項７に記載の方法。
【請求項９】
施設内の画像を撮影するカメラと、
前記カメラにより撮影された画像を処理して前記施設内のヒトの掌を認識する画像処理部と、
認識した前記掌の周囲にセンシング領域を設定するセンシング領域設定部と、
前記センシング領域に前記施設内の物品が存在するかしないかにより、前記ヒトによる物品把持状態を判定する把持状態判定部と、
一部が前記掌の代用図形で被覆された状態の物品の外観の参照画像が保存されている画像ライブラリと、
前記把持状態判定部により物品がヒトにより把持されていると判定されたとき、前記センシング領域内の画像と、前記画像ライブラリに保存されている参照画像とを比較して、物品を特定する物品特定部と、
を備えてなる出納管理システム。
【請求項１０】
前記認識した掌を前記センシング領域内で前記代用図形に変換する変換部が更に含まれる、請求項９に記載の出納管理システム。
【請求項１１】
施設内什器から所定の距離に仮想的なボーダーウォールを設定するボーダーウォール設定部が更に含まれ、
前記物品特定部は、前記センシング領域が前記ボーダーウォールを往復通過したことをトリガとして前記物品を特定する請求項９又は１０に記載の出納管理システム。
【請求項１２】
前記物品特定部は、前記什器からみて前記ボーダーウォールの外側において前記物品を特定する請求項１１に記載の出納管理システム。
【請求項１３】
カメラと、画像処理部と、出納管理部及び一部が掌の代用図形で被覆された状態の物品の外観の参照画像が保存されている画像ライブラリとを備える施設内の物品の出納管理システムのコンピュータ用のプログラムであって、
前記カメラに、施設内の画像を撮影させ、
前記画像処理部に、撮影された施設内の画像を処理して施設内のヒトの掌を認識させ、
前記出納管理部に、
認識した掌の周囲にセンシング領域を設定させ、
前記センシング領域に前記施設内の物品が存在するかしないかにより、前記ヒトによる物品把持状態を判定させ、
前記ヒトにより物品が把持されていると判定されたとき、前記センシング領域内の画像と、前記画像ライブラリに保存されている参照画像とを比較して、物品を特定させる、コンピュータ用のプログラム。
【請求項１４】
前記出納管理部に、前記認識した掌を前記センシング領域内で前記代用図形に変換させる、請求項１３に記載のコンピュータ用のプログラム。
【請求項１５】
前記出納管理部に、施設内什器から所定の距離に仮想的なボーダーウォールを設定させ、
前記センシング領域が前記ボーダーウォールを往復通過したことをトリガとして前記物品を特定させる請求項１３及び１４に記載のコンピュータ用のプログラム。
【請求項１６】
前記出納管理部に、前記什器からみて前記ボーダーウォールの外側において前記物品を特定させる、請求項１５に記載のコンピュータ用のプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
この発明は、かかる課題（２）、（３）の少なくとも一方を解決するものであり、その第１の局面は次のように規定される。即ち。
カメラと、画像処理部と、出納管理部及び画像ライブラリとを備える店舗内の商品の出納管理システムを用いる商品の自動出納管理方法であって、
前記カメラにより、店舗内の画像を撮影するステップ、
前記画像処理部により、撮影された店舗内の画像を処理して店舗内のヒトの掌を認識するステップ、
前記出納管理部により、
認識した掌の周囲にセンシング領域を設定するステップ、
前記センシング領域内に前記店舗内の商品が存在するかしないかにより、前記ヒトによる商品把持状態を判定するステップ、
前記ヒトにより商品が把持されていると判定されたとき、前記センシング領域内の画像と、前記画像ライブラリに保存されている参照画像とを比較して、商品を特定するステップと、含み、
前記画像ライブラリには、一部が掌の代用図形で被覆された状態の商品パッケージの参照画像が保存されている、商品の自動出納管理方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
この発明の第３の局面は次のように規定される。即ち、
第１の局面に規定の商品の自動出納管理方法において、
出納管理部により、店舗内什器から所定の距離に仮想的なボーダーウォールを設定するステップが更に含まれ、
前記センシング領域が前記ボーダーウォールを往復通過したことをトリガとして前記商品を特定するステップが実行される。
このように規定される第３の局面の自動出納管理方法によれば、商品を特定するステップを実行するタイミングが什器の近く、即ち陳列商品の近くで行われることとなり、商品特定の精度が向上する。その理由として、陳列された商品を掌で把持する方向はほぼ一定になるので、商品パッケージが掌で隠されていても、その画像の処理に規則性を得られるからである。更には、商品の陳列位置（座標）に基づく商品特定処理も並行して行われることが多いので、当該処理で得られる商品特定結果との対比がし易くなることもある。
また、このようにトリガのタイミングを限定することで、商品特定の高速化も達成できる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
センシング領域がボーダーウォールを往復通過することによるトリガが出力されたとき、その前後の動画像を取り込まれる。ボーダーウォールの外側においてセンシング領域内の商品が「無」→「有」となったとき顧客は商品を入手したもの（自身の所有にしたもの）と判断し、これが「有」→「無し」となったとき顧客は商品を返却したものと判断する。
よって、この発明の第４の局面は次のように規定される。即ち、
第２の局面に規定の商品の自動出納管理方法において、前記什器からみて前記ボーダーウォールの外側において前記商品を特定するステップを実行する。
ボーダーウォールの外側では、撮影された画像から商品パッケージを精度よく抽出できるのに対し、その内側では、店舗内カメラの視野において、什器が商品を被覆してしまうおそれがある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
以上、無人店舗において商品の出納管理をする例について述べてきた。商品を工業製品の部品としてみれば、工場（施設）内での部品（物品）の出納管理としても利用できることがわかる。即ち、この発明の第４の局面は次のように敷衍できる。
カメラと、画像処理部と、出納管理部及び画像ライブラリとを備える施設内の物品の出納管理システムを用いる物品の自動出納管理方法であって、
前記カメラにより、施設内の画像を撮影するステップ、
前記画像処理部により、撮影された施設内の画像を処理して施設内のヒトの掌を認識するステップ、
前記出納管理部により、
認識した掌の周囲にセンシング領域を設定するステップ、
前記センシング領域に前記施設内の物品が存在するかしないかにより、前記ヒトによる物品把持状態を判定するステップ、
前記ヒトにより物品が把持されていると判定されたとき、前記センシング領域内の画像と、前記画像ライブラリに保存されている参照画像とを比較して、物品を特定するステップと、含み、
前記画像ライブラリには、一部が掌の代用図形で被覆された状態の物品の外観の参照画像が保存されている、物品の自動出納管理方法。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
以下、物品には商品が含まれるものとして、また、施設には店舗が含まれるものとしてこの発明の他の局面を説明する。
この発明の第８の局面は次のように規定される。
施設内の画像を撮影するカメラと、
前記カメラにより撮影された画像を処理して前記施設内のヒトの掌を認識する画像処理部と、
認識した前記掌の周囲にセンシング領域を設定するセンシング領域設定部と、
前記センシング領域に前記施設内の物品が存在するかしないかにより、前記ヒトによる物品把持状態を判定する把持状態判定部と、
一部が前記掌の代用図形で被覆された状態の物品の外観の参照画像が保存されている画像ライブラリと、
前記把持状態判定部により物品がヒトにより把持されていると判定されたとき、前記センシング領域内の画像と、前記画像ライブラリに保存されている参照画像とを比較して、物品を特定する物品特定部と、
を備えてなる出納管理システム。
このように規定される第８の局面の発明によれば、第１の局面と同等の効果が得られる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
この発明の第１２の局面は次のように規定される。即ち、
カメラと、画像処理部と、出納管理部及び一部が掌の代用図形で被覆された状態の物品の外観の参照画像が保存されている画像ライブラリとを備える施設内の物品の出納管理システムのコンピュータ用のプログラムであって、
前記カメラに、施設内の画像を撮影させ、
前記画像処理部に、撮影された施設内の画像を処理して施設内のヒトの掌を認識させ、
前記出納管理部に、
認識した掌の周囲にセンシング領域を設定させ、
前記センシング領域に前記施設内の物品が存在するかしないかにより、前記ヒトによる物品把持状態を判定させ、
前記ヒトにより物品が把持されていると判定されたとき、前記センシング領域内の画像と、前記画像ライブラリに保存されている参照画像とを比較して、物品を特定させる、コンピュータ用のプログラム。
このように規定される第１２の局面の発明によれば、第１の局面と同等の効果が得られる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
図２は、無人店舗におい顧客５０が掌５１をもって、什器３０から商品を選ぼうとしている状態を示す。
図３は、図２の状態を平面から見たときの模式図である。
図３において、一点鎖線はボーダーウォールＢＷであり、コンピュータ装置１０が仮想的に作成する。このボーダーウォールＢＷは什器３０を囲むように、什器から２０〜６０ｃｍ離れた位置に設定することが好ましい。
図中の点線はセンシング領域６０を示す。このセンシング領域６０はヒト５０の掌５１の周囲の所定範囲に設定することができる。この例では、掌５１を矩形の代用図形５３に変換している。画像処理を簡易化するためである。そして、代用図形５３を全方位に３倍拡張した領域をセンシング領域６０としている。
図３の例では、ヒトは商品を何ら把持していない。