(57)【要約】在庫を監視するためのカメラシステムは、複数のカメラを支持する可動ベースを含む。複数のカメラは、小売店または倉庫の通路に沿って一連の写真を撮るために在庫に向けられる。複数のカメラに接続された処理モジュールを使用して、写真を互いにつなぎ合わせ、奥行き情報および製品識別情報とともに、通路の棚に配置された製品のリアルタイムまたはほぼリアルタイムの在庫のマッピングを構築する。この情報を遠隔地に転送することで、製品の注文を簡素化および迅速化したり、適切な製品の在庫レベルの維持を補助したりすることができる。【選択図】図４
2019530035.tif 000002
【特許請求の範囲】
【請求項１】
可動ベースと、
前記可動ベースによって支持された複数のカメラであって、在庫に向けることが可能な複数のカメラと、
前記複数のカメラに接続されており、在庫の関連情報を構築することが可能な処理モジュールと、
前記処理モジュールに接続されており、在庫の関連情報を格納することが可能なデータ記憶モジュールと、
在庫の関連情報を遠隔地に転送するために前記処理モジュールに接続される通信モジュールと、
を含む、在庫を監視するためのカメラシステム。
【請求項２】
在庫の関連情報は、更にリアログラムを含む、請求項１のカメラシステム。
【請求項３】
前記可動ベースが自律型ロボットをさらに含む、請求項１のカメラシステム。
【請求項４】
前記複数のカメラは、カメラ支持体上に線状に取り付けられている、請求項１のカメラシステム。
【請求項５】
前記複数のカメラのうちの少なくとも１つは、カメラ支持体に固定的に取り付けられている、請求項１のカメラシステム。
【請求項６】
前記複数のカメラのうちの少なくとも１つは、ズームカメラである、請求項１のカメラシステム。
【請求項７】
前記複数のカメラのうちの少なくとも１つは下向きであり、および前記複数のカメラのうちの少なくとも１つは上向きである、請求項１のカメラシステム。
【請求項８】
在庫に向けることが可能な複数の光源をさらに含む、請求項１のカメラシステム。
【請求項９】
前記複数のカメラは、棚に取り付けられた在庫の情報を読み取るのに十分な解像度を有する広視野カメラ、固定カメラ、および可動カメラのうちの少なくとも１つを含む、請求項１のカメラシステム。
【請求項１０】
前記複数のカメラは、赤外線カメラを含む、請求項１のカメラシステム。
【請求項１１】
自律型ロボットが通路に並ぶ在庫を保持している棚に沿って移動することを可能にするステップであって、前記自律型ロボットが複数のカメラのための可動ベースとして動作するステップと、
前記複数のカメラを通路に並ぶ前記棚の在庫及び棚ラベルに向けるステップと、
前記複数のカメラで撮影された画像内の潜在的な在庫の関連情報の周囲にバウンディングボックスを画定するステップと、
前記画像内の選択されたバウンディングボックスを選択された棚ラベルに関連付けるステップと、
通信モジュールを使用して在庫の関連情報を遠隔地に転送するステップと、
遠隔地から在庫の関連情報を受信するステップと、
を含む、在庫監視方法。
【請求項１２】
自律型ロボットが通路に並ぶ在庫を保持している棚に沿って移動することを可能にするステップであって、前記自律型ロボットが複数のカメラのための可動ベースとして動作するステップと、
前方に動きながら、通路に並ぶ在庫を保持している前記棚から実質的に一定の距離を維持するステップと、
前記複数のカメラを通路に並ぶ前記棚の在庫に向けるステップと、
前記自律型ロボットに含まれる処理モジュールを使用して、通路に並ぶ在庫を保持している前記棚に沿って配置された在庫の複数のカメラ画像から在庫の関連情報を決定するステップと、
通路に並ぶ前記棚の一部についての在庫の関連情報が不完全な場合、さらなる複数のカメラの検査のために一時停止、反転、またはマーキングを行うステップと、
を含む、在庫監視方法。
【請求項１３】
前記複数のカメラは、カメラ支持体に線状に取り付けられている、請求項１２のカメラシステム。
【請求項１４】
前記複数のカメラのうちの少なくとも１つは、カメラ支持体に固定的に取り付けられている、請求項１２のカメラシステム。
【請求項１５】
自律型ロボットが通路に並ぶ在庫を保持している棚に沿って移動することを可能にするステップであって、前記自律型ロボットが複数のカメラのための可動ベースとして動作するステップと、
前記複数のカメラを通路に並ぶ前記棚の在庫に向けるステップと、
前記自律型ロボットに含まれる処理モジュールを使用して、通路に並ぶ前記棚に沿って配置された在庫のカメラ画像から在庫の関連情報を決定するステップと、
棚ラベルを検出して読み取るステップと、
少なくとも１つの距離測定システムを使用して、前記複数のカメラの少なくとも１つから通路に並ぶ前記棚までの距離を検出するステップと、
前記複数のカメラの少なくとも１つで撮影された画像内の潜在的な在庫の周囲にバウンディングボックスを画定するステップと、
前記画像内の選択されたバウンディングボックスを選択された棚ラベルに関連付けて、製品分類器または製品ライブラリの少なくとも１つを構築するステップと、
を含む、在庫監視方法。
【請求項１６】
前記在庫の関連情報は、更にリアログラムを含む、請求項１５の在庫監視方法。
【請求項１７】
深度マップをキャプチャするために前記距離測定システムを使用するステップを更に含む、請求項１５の在庫監視システム。
【請求項１８】
棚および棚上に配置された製品の両方を含む深度マップをキャプチャするために前記距離測定システムを使用するステップを更に含む、請求項１５の在庫監視システム。
【請求項１９】
製品ライブラリを構築するステップを更に含む、請求項１５の在庫監視システム。
【請求項２０】
少なくとも１つのカメラで撮影された前記画像内の複数のバウンディングボックス内に指定される潜在的な在庫を特定するために、手動入力を使用して製品ライブラリを構築するステップをさらに含む、請求項１５の在庫監視方法。
【請求項２１】
前記バウンディングボックスは、潜在的な在庫の間の隙間の周りを取り囲むことが可能である、請求項１５の在庫監視方法。
【請求項２２】
初期プラノグラムを使用せずに前記製品ライブラリを構築するステップをさらに含む、請求項１５の在庫監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概して、小売または倉庫の製品在庫を正確に監視することのできる複数のカメラセンサスイートに関する。特定の実施形態では、複数のカメラセンサスイートは、ほぼリアルタイムの製品の追跡を提供し、データ転送要求を低減するためにオンボードの処理を含むことができる。
【背景技術】
【０００２】
小売店や倉庫は、しばしば販売され、取り除かれ、追加され、または再配置される何千もの異なる製品を有し得る。補充のスケジュールが頻繁であっても、在庫があると想定される製品は実際には在庫切れである可能性があり、これは、売上と顧客の満足度の両方を低下させる。販売時点情報管理（ＰＯＳ：point of sales）データは、製品の入手の可能性をおおまかに見積もるために使用することができるが、誤って配置されたり、盗難されたり、または破損した製品の特定には役に立たず、これらの全てが製品の入手の可能性を低下させ得る。しかし、製品の在庫を手動で監視し、製品の位置を追跡することは、費用がかかり、また、時間を消費する。
【０００３】
製品在庫を追跡するための１つの解決策は、機械視覚技術に頼る。機械視覚は、棚スペースの監視を補助するために使用することができる。例えば、多数の固定位置カメラを店舗全体にわたって使用して通路を監視することができ、棚スペースの大きな隙間にフラグが立てられる。代わりに、より少数の可動カメラを使用して店舗通路をスキャンすることができる。このようなシステムであっても、通常、製品識別番号、製品数を決定したり、および誤って配置された製品在庫を検索したりするためには人手の介在が必要である。
【発明の概要】
【０００４】
製品または他の在庫の監視のための低コストで正確で拡張性のあるカメラシステムは、可動ベースを含み得る。可動ベースによって支持された複数のカメラは、棚、或いは、製品または在庫を保持するための他のシステムに向けることが可能である。処理モジュールは、複数のカメラに接続され、そのカメラで生成された画像から製品または在庫位置の更新可能なマップを構築することができる。それがリアルタイムで、または、ほぼリアルタイムで更新され得るので、このマップは、従来の「プラノグラム」と区別するために、「リアログラム」として知られ得、これは、３Ｄモデル、カートゥーン、図またはリストの形を取り、特定の小売製品および標識が、棚またはディスプレイ上にどのように、およびどこに配置されるべきかを示す。リアログラムは、処理モジュールに接続されたデータ記憶モジュールを用いてローカルに記憶することができる。通信モジュールは、リアログラムデータを遠隔地に転送し、また、追加で、リアログラム構築を補助するためのプラノグラムを含む在庫情報を受信するために、処理モジュールに接続することができ、遠隔地は、店舗サーバまたは他のサポートされたカメラシステムを含む。リアログラムのマッピングに加えて、このシステムは在庫切れの製品の検出、枯渇した製品の推定、積み重なった山を含む製品の量の推定、製品の高さ、長さ、および幅の推定、製品の３Ｄモデルの構築、製品の位置と向きの判定、１つまたは複数の製品が、向きの操作や、区分けの操作などの是正措置を必要とする、棚上でのまとまりのない見栄えであるかどうかの判定、農産物などの製品の鮮度の評価、パッケージの完全性を含む製品の品質の評価、ホーム位置、二次位置、トップストック、ボトムストック、および裏の部屋を含む製品の位置決め、誤って配置された製品の事象（プラグ（plug）としても知られる）の検出、誤って配置された製品の特定、製品の面の数の推定またはカウント、製品の面の数のプラノグラムとの比較、ラベルの位置の推定、ラベルの種類の検出、製品名、バーコード、ＵＰＣコード、および価格設定を含むラベルコンテンツの読み取り、ラベルの欠落の検出、ラベル位置のプラノグラムとの比較、製品位置のプラノグラムとの比較、棚の高さ、棚の深さ、棚の幅と区画の幅の測定、標識の認識、表示、標識、および目玉商品を含むプロモーション用具の検出と、その提示と引下げの回数の測定、季節の製品およびプロモーション製品の検出および認識と、製品アイランドおよび目玉商品などの陳列、個々の製品、製品グループ、および、例えば、全体の通路、棚の区画、通路上の特定の製品、および、製品のディスプレイおよび製品アイランドなどの固定された備品のグループの画像のキャプチャ、仮想的に歩きまわることを可能にする仮想ツアーアプリケーションで視覚化される環境の３６０度および球面ビューのキャプチャ、拡張現実や仮想現実で見るための環境の３Ｄ画像のキャプチャ、周辺光のレベルを含む環境条件のキャプチャ、身体障害および安全基準への空間の準拠の測定、並びに電球が切れたかどうかの判定を含む、環境に関する情報のキャプチャ、リモートモニタへの空間のリアルタイムのビデオフィードの提供、ライブまたはスケジュール設定を��む特定の場所のオンデマンドの画像およびビデオの提供、および製品画像のライブラリの構築、のために使用することができる。
【０００５】
一実施形態では、可動ベースは手動で押すことができ、またはガイド可能なカートであってよい。或いは、可動ベースは、遠隔操作されるロボット、または好ましい実施形態では、自らを店舗または倉庫を通してガイドすることができる自律型ロボットとすることができる。店舗や倉庫のサイズに応じて、複数の自律型ロボットを使用することができる。製品の動きの多い通路をより頻繁に検査したりして、通路は定期的に検査され得、リアログラムを作成する。
【０００６】
画像処理を簡素化し、正確な結果を提供するために、複数のカメラは、典型的には検査プロセスの期間中に棚から決まった距離に位置付けられる。棚は、周辺光で、或いはいくつかの実施形態では、カメラの近くに位置付けられたＬＥＤのアレイまたは他の方向付け可能な光源によって、照らすことができる。複数のカメラは、カメラ支持体上に、垂直に、水平に、または他の適切な向きで線状に取り付けられ得る。いくつかの実施形態では、コストを低減するために、複数のカメラがカメラ支持体に固定して取り付けられる。このようなカメラは、カメラ支持体および棚に対して上方、下方、前方、後方、または水平を向くように配置することができる。これは、カメラを反射光路の外に向けることによって、高反射面を有する製品および棚固定具からのグレアの低減を有利に可能にする。加えて、視野が重なっている複数のカメラは、グレアが僅かなまたは全くない少なくとも１つの画像をもたらすことができる。
【０００７】
他の実施形態では、カメラは、製品の識別または画像の構築を補助したり、消費電力とモーションブラーを減らしたり、および棚から設定した距離にカメラを配置するという要件を緩和したりするために、可動カメラ、ズームカメラ、フォーカス可能カメラ、広視野カメラ、赤外線カメラ、または他の特殊カメラの１つ以上を含むことができる。例えば、広視野カメラは、狭い視野を有する高解像度カメラからのデータがマッピングされるテンプレートを作成するために使用することができる。別の例として、カメラ支持体上に位置付けられた傾きを制御可能な高解像度カメラを、棚ラベル、並びに価格および製品名を含むそれらの内容を検出し、それらのバーコードを復号するために使用することができる。
【０００８】
別の実施形態では、在庫監視方法は、複数のカメラのための可動ベースとして動作する自律型ロボットを用いて、在庫または製品を保持することができる棚が並ぶ通路に沿って、自律型ロボットを移動させることを可能にするステップを含む。複数のカメラは、通路に並んだ棚上の在庫に向けられ、少なくとも部分的にはこれらのカメラから得られたデータは、自律型ロボットに含まれる処理モジュールを使用する在庫のリアログラムを構築するために使用される。処理モジュールによって作成されたリアログラムデータは、通信モジュールを使用して遠隔地に転送することができ、通信モジュールを介して受信された在庫情報は、リアログラムの構築を補助するために使用することができる。
【０００９】
さらに別の実施形態では、在庫監視方法は、複数のカメラのための可動ベースとして動作する自律型ロボットを用いて、自律型ロボットが通路に並ぶ在庫を保持している棚に沿って移動することを可能にするステップを含む。自律型ロボットは、前方向（順方向）または逆方向に動いている間、在庫を保持しながら通路に並んだ棚から実質的に一定の距離を維持することができる。在庫を保持しながら通路に並ぶ棚に沿って位置付けられた在庫のリアログラムの少なくとも一部を、通路に並ぶ棚上の在庫に向けられた複数のカメラを使用して構築することができる。典型的には、リアログラムは、ローカルに置かれたデータ記憶装置および自律型ロボットに含まれる処理モジュールを用いて作成および更新される。通路に並ぶ棚の完全な、またはほぼ完全なカメラのカバレッジを確保するために、通路に並ぶ棚の一部に対するリアログラムの生成が不完全な場合、さらなる複数のカメラの検査のために自律型ロボットは一時停止、反転、またはマークすることができる。
【００１０】
さらに他の実施形態では、移動ベースから写真を撮ることに関連する一般的な問題は、ローリングシャッタ効果と自律型ロボットの移動方向との利点をとるような方法で、複数のカメラの１つ以上の向きによって低減することができる。実際には、ローリングシャッタの「ラスタライズされた」遅延を利用するような方法でカメラをアライメントすることは、ロボットがその経路を移動している間に生じ得るアーチファクト（伸び／短縮）を低減する。
【図面の簡単な説明】
【００１１】
【図１】通路棚または他の適切なターゲットにおける製品の変化を追跡するために可動ベースに搭載されたカメラシステムの図である。
【図２】通路における向かい側の棚を検査する２つの自律型ロボットを図解するカートゥーンである。
【図３】在庫カメラに接続された様々なシステムおよび電子モジュールの図である。
【図４】動作の一実施形態におけるステップの図である。
【図５Ａ】カメラシステムのための可動ベースとして動作することのできる自律型ロボットの側面図の例である。
【図５Ｂ】カメラシステムのための可動ベースとして動作することのできる自律型ロボットの断面図の例である。
【図６】は、可動ベースの様々な可能なカメラの支持部位の、上から見た上面図である。
【発明を実施するための形態】
【００１２】
図１は、通路棚または他のターゲット１０２における製品の変化を追跡するための可動ベース１１０（駆動ホイール１１４を備える）に搭載された在庫監視カメラシステム１００の図である。可動ベース１１０は、建物全体で独立してナビゲートおよび移動することができるナビゲーションおよび物体検知スイート（suite、一式）１３０を備える自律型ロボットである。自律型ロボットは、垂直に延びるカメラ支持体１４０によって可動ベース１１０に取り付けられた複数のカメラ１４０を備える。光源１５０は、ターゲット１０２に光を向ける位置に置かれる。物体検知スイートは、物体の検出、位置の特定、およびナビゲーションに役立つ前方（１３３）、側面（１３４および１３５）、上部（１３２）および後方（図示せず）の画像センサ並びに深度センサを含む。レーザ測距部１３６および１３８（並びにそれぞれのレーザ走査ビーム１３７および１３９）などの追加のセンサも、正確な距離の決定のために有用なセンサスイートの一部を形成する。特定の実施形態では、画像センサは、ステレオ画像から深さを推測したり、画像内の物体距離の大まかな決定を可能にする赤外線メッシュオーバーレイ（infrared mesh overlay）を投影したり、またはターゲットから反射する光の飛行時間から深さを推測したりする深度センサとすることができる。他の実施形態では、オブジェクトの位置および配置を識別するための単純なカメラおよび様々な画像処理アルゴリズムを使用することができる。選択された用途では、超音波センサ、レーダーシステム、磁力計などを、ナビゲーションを補助するために使用することができる。さらに他の実施形態では、電磁気、光、または他の位置ビーコンを検出することができるセンサは、自律型ロボットの正確な位置決めに有用であり得る。
【００１３】
図１に示されるように、更新可能なリアログラムを構築するために有用な様々な代表的なカメラの種類が示されている。前述したように、リアログラムは、製品位置または在庫位置の更新可能なマップを生成するために、カメラで生成された画像を使用することができる。或いは、カメラで生成された画像は、在庫切れ、少ない在庫、ラベルの位置および内容、棚の高さおよび深さ、セクションの境界、或いは、抽出され、利用され、顧客にサービスとして潜在的に提供され得る他の作業またはマーケティング／販売関連のデータなどの他の有用な在庫関連情報を提供することができる。典型的には、１つまたは複数の棚部（例えば、ターゲット１０２）は、様々な一式のカメラの種類によって撮影されることになり、これらは、対象となる棚部の全体よりも小さい画定されたフィールドをカバーする下方への固定焦点距離カメラ（１４２および１４４）または上方への固定焦点距離カメラ（１４３および１４８）、固定焦点距離カメラよりも大きな写真範囲を提供するための広視野カメラ１４５、および、バーコード、製品識別番号、および棚ラベルをキャプチャするための狭い視野のズーム可能な望遠１４６を含む。或いは、棚ラベルを識別するために、高解像度であって傾きを制御可能なカメラを使用することができる。これらのカメラ１４０で生成された画像は、識別された画像内の製品および決定された位置を用いて互いにつなぎ合わせる（stitched）ことができる。
【００１４】
画像処理を簡素化し、正確な結果を提供するために、複数のカメラは、典型的には検査プロセスの期間中に棚から決まった距離に位置付けられる。棚は、カメラ上またはカメラの近くに位置するＬＥＤまたは他の方向付け可能な光源１５０を用いて照らすことができる。複数のカメラは、カメラ支持体上に、垂直に、水平に、または他の適切な向きで線状に取り付けられ得る。いくつかの実施形態では、コストを低減するために、複数のカメラがカメラ支持体に固定して取り付けられる。このようなカメラは、カメラ支持体および棚に対して上方、下方、または水平を向くように配置することができる。わずかに異なる方向を向いた複数のカメラは、グレアが僅かなまたは全くない少なくとも１つの画像をもたらし得るので、これは、高反射性の表面を有する製品からのグレアの低減を有利に可能とする。
【００１５】
電子制御部１２０は、自律型ロボット検知およびナビゲーション制御モジュール１２４を含み、これはロボットの応答を管理する。ロボットの位置特定は、外部マーカおよび基準点を利用してよく、またはロボットに搭載されたセンサによって提供される位置特定情報のみに頼ってもよい。位置決定のためのセンサは、前述のイメージング、光学、超音波ソナー、レーダー、ライダー（Lidar）、飛行時間、構造化された光、またはロボットと環境間の距離を測定する他の手段、或いは、移動ベースによって移動された増分距離を計測する他の手段を含み、増分距離を計測する他の手段は、三角測量、視覚フロー、視覚走行距離測定法、ホイール走行距離測定法を含むが、これらに限定はされない技術を用いる。
【００１６】
電子制御部１２０はまた、カメラ制御およびデータ処理モジュール１２２を使用して画像処理を提供する。自律型ロボット検知およびナビゲーション制御モジュール１２４はロボットの応答を管理し、また、通信モジュール１２６はデータの入力および出力を管理する。カメラ制御およびデータ処理モジュール１２２は、処理モジュール１２５に接続された個別のデータ記憶モジュール１２３（例えば、ソリッドステートハードドライブ）を含むことができる。通信モジュール１２６は、処理モジュール１２５に接続されており、店舗サーバまたは他のサポートされているカメラシステムを含む遠隔地にリアログラムデータを転送し、さらに、リアログラムの構築に役立つ在庫情報を受信する。特定の実施形態では、リアログラムデータが主として格納され、画像は自律型ロボット内で処理される。有利なことに、これは、データ転送の必要性を低減し、ローカルサーバまたはクラウドサーバが利用できない場合でさえも動作が可能である。
【００１７】
図２は、図１に関して論じたものと同様の２つの自律型ロボット２３０および２３２を示すカートゥーン２００であり、２つの自律型ロボット２３０および２３２は、通路において向かい側の棚２０２を検査する。示されているように、各ロボットは、複数のカメラで棚２０２の画像をキャプチャしながら、通路の長手方向に沿って経路２０５を辿る。
【００１８】
いくつかの実施形態では、ロボット２３０および２３２は、複数のカメラ、棚、および棚上の製品の間の距離を、５ｃｍ未満の精度で、および典型的には、約５ｃｍから１ｍｍの間の範囲の精度で測定するための少なくとも１つの測距センサを支持する。認識されるように、ミリメートル未満の精度を有するライダー（ＬＩＤＡＲ）または他の機器もまた、選択された用途において使用することができる。絶対位置センサ、棚への相対距離測定、既知のランドマークへの三角測量、従来のＳＬＡＭ（simultaneous localization and mapping）法を用いて、或いは設計図または以前に構築されたマップ内の既知の位置に配置されたビーコンに頼って、ロボット２３０および２３２は、棚２０２に略平行な経路に沿って移動することができる。ロボットが動くと、垂直方向に位置するカメラは、棚２０２の画像を同時にキャプチャするように同期される。特定の実施形態では、棚および製品の深度マップは、画像深度センサおよびまたはレーザ測距機器を使用して、棚部の長手方向にわたって棚カメラからの棚および製品までの距離を測定することによって生成される。利用可能な情報を使用して、連続的な画像は、互いにつなぎ合わせて、棚部の全体にわたるパノラマを作成することができる。画像は、最初に全てのカメラの間で垂直につなぎ合わせられ、次いで、ロボット２３０および２３２が通路に沿って移動するにつれて、垂直方向の画像のそれぞれの新しい連続的なセットを用いて水平方向に、および漸進的につなぎ合わせられる。
【００１９】
図３は、ロボットナビゲーションおよび検知３１０を有する自律型ロボットによって支持される様々なシステムおよび電子モジュール３００の図である。在庫カメラ３４０は、ロボットナビゲーションおよび検知モジュール３１０の補助を用いて所望の位置へと移動される。光源３５０は、製品在庫に向けられ、在庫カメラ制御および画像再構成３１２は、リアログラムの形成または更新を補助するために互いにつなぎ合わせることができる一連の在庫写真を撮影する（および随意に深度を測定する）。リアログラムデータは、通信システム３１６を介してリアログラム関連情報を送信または受信することができる在庫データおよびローカル更新モジュール３１４によって処理される。データは、店舗へのローカルなサーバに伝達することができ、或いは、適切なインターネットまたはネットワーキング装置によりリモート法人サーバまたはクラウドアクセス可能なデータサイトに送信することができる。
【００２０】
在庫カメラ３４０は、製品の識別または画像の構築を補助するために、可動カメラ、ズームカメラ、フォーカス可能カメラ、広視野カメラ、赤外線カメラ、または他の特殊カメラの１つ以上を含むことができる。例えば、広視野カメラは、狭い視野を有する高解像度カメラからのデータがマッピングされる画像組織化テンプレートを作成するために使用することができる。別の例として、おおよそ棚のへりの高さにあるカメラ支持体上に配置された、傾きを制御可能な高解像度カメラを使用して、棚に取り付けられたバーコード、識別番号、またはラベルを読み取ることができる。特定の実施形態では、従来のＲＧＢ  ＣＭＯＳまたはＣＣＤセンサは、単独で、或いは狭帯域、広帯域、または偏光フィルタを含み得るスペクトルフィルタと組み合わせて使用することができる。実施形態はまた、ハイパースペクトル画像処理を可能にするために、赤外線、紫外線、または他の波長を検出することが可能なセンサを含むことができる。これは、例えば、人には見えないマーカ、ラベル、またはガイドの監視および追跡、或いは、エネルギー消費およびモーションブラーを減らしながら健康リスクの不快感を引き起こさない、不可視スペクトルにおける点滅光の使用を可能にすることができる。
【００２１】
光源は、センサと一緒に、またはセンサとは別個に取り付けることができ、レーザ、発光ダイオード（ＬＥＤ）、または有機発光ダイオード（ＯＬＥＤ）などの単色またはほぼ単色の光源を含むことができる。広帯域光源は、（赤外線ＬＥＤまたは紫外線ＬＥＤを含む）様々な波長の複数のＬＥＤ、ハロゲンランプ、または他の適切な従来の光源によって提供されてよい。狭帯域、広帯域、または偏光フィルタおよび光シールド、レンズ、ミラー、反射面、拡散板、集光器、或いは他の光学系を含み得る様々なスペクトルフィルタは、領域照明のための幅の広い光ビーム、或いは、局所照明強度を改善するためのきつく集束された光ビームを提供することができる。
【００２２】
いくつかの実施形態によれば、カメラ３４０と光源３５０の両方は、移動可能に取り付けることができる。例えば、カメラまたは光源を回転させる、上昇させる、押し下げる、振動させる、或いは、横方向または垂直方向に再配置するために、ヒンジ式、レール式、電磁式ピストン、または他の適切な作動機構が使用される。
【００２３】
さらに他の実施形態では、１つまたは複数のカメラは、ローリングシャッタ効果の利点と自律型ロボットの移動方向とをとるように搭載することができる。ローリングシャッタの「ラスタライズされた」遅延を利用するような方法でカメラをアライメントすると、ロボットがその経路を移動している間に生じ得るアーチファクト（伸び／短縮）を低減することができる。
【００２４】
在庫データ３１４は、製品種類、製品寸法、製品３Ｄモデル、製品画像、および現在の製品棚の在庫数、並びに、面数にそれぞれが関連付けられた複数の製品のデータを格納することが可能な在庫データベースを含むことができるが、これに限定はされない。異なる時刻にキャプチャされ、および生成されたリアログラムを保存することができ、製品の入手の可能性の見積もりを改善するためにデータ分析が使用される。特定の実施形態では、リアログラム生成の頻度を増減することができ、ロボットナビゲーションへの変更が判定される。
【００２５】
通信システム３１６は、サーバ、デスクトップコンピュータ、ラップトップ、タブレット、またはスマートフォンなどのデバイスと相互作用するための有線または無線接続のサブシステムの両方への接続を含むことができる。データおよび制御信号は、無線ネットワーク、パーソナルエリアネットワーク、セルラネットワーク、インターネット、またはクラウド媒介データソースを含む様々な外部データソース間で受信、生成、または転送することができる。さらに、ローカルデータのソース（例えば、ハードドライブ、ソリッドステートドライブ、フラッシュメモリ、或いはＳＲＡＭまたはＤＲＡＭなどのダイナミックメモリを含む任意の他の適切なメモリ）は、ユーザ指定のプリファレンスまたはプロトコルのローカルデータ記憶を可能にすることができる。１つの特定の実施形態では、複数の通信システムを提供することができる。例えば、ダイレクトＷｉ−Ｆｉ接続（８０２．１１ｂ／ｇ／ｎ）を個別の４Ｇセルラ接続と同様に使用することができる。
【００２６】
リモートサーバ３１８は、サーバ、デスクトップコンピュータ、ラップトップ、タブレット、またはスマートフォンを含むことができるが、これらに限定はされない。リモートサーバの実施形態はまた、クラウドコンピューティング環境において実装され得る。クラウドコンピューティングは、構成可能なコンピューティングリソース（例えば、ネットワーク、サーバ、ストレージ、アプリケーション、およびサービス）の共有プールへのユビキタスで便利なオンデマンドネットワークアクセスを可能にするためのモデルとして定義され得、これは、仮想化を介して迅速に提供され、最小限の管理作業、またはサービスプロバイダとのやりとりでリリースされ、その後、適宜に拡張され得る。クラウドモデルは、様々な特性（例えば、オンデマンドセルフサービス、広域ネットワークアクセス、リソースプーリング、高速な融通性、測定されたサービスなど）、サービスモデル（例えば、サービスとしてのソフトウェア（「ＳａａＳ」）、サービスとしてのプラットフォーム（「ＰａａＳ」）、サービスとしてのインフラストラクチャ（「ＩａａＳ」）、並びに、実装モデル（例えば、プライベートクラウド、コミュニティクラウド、パブリッククラウド、ハイブリッドクラウドなど）から成ることができる。
【００２７】
図４は、動作の一実施形態におけるリアログラム更新ステップの図である。フローチャート４００に見られるように、ロボットは識別された位置に移動し、通路の経路に沿って所定の距離で進む（ステップ４１０）。経路が人や物によって妨げられている場合、ロボットは経路が妨げられなくなるまで待ったり、移動を開始してそれが障害物に近づくので減速したり或いは待ったり、経路を再取得する前に物の周りを迂回することが要求されるまでその経路に沿って移動したり、或いは、単純に代替通路を選択したりすることができる。
【００２８】
ステップ４１２において、複数の画像がキャプチャされ、互いにつなぎ合わせられる。これらのつなぎ合わせられた画像は、距離測定システム（ライダーまたは飛行時間型システムを含むがこれらに限定されない）、赤外線深度センサ、超音波、ステレオ画像から深度を推測するシステム、または赤外線メッシュオーバーレイを投影して画像内の物体距離の大まかな決定を可能にするシステム、或いは約１０センチメートル以下のスケール（センチメートルスケール、サブセンチメートルスケール、またはミリメートルスケールを含むがこれらに限定されない）で深度を区別することができる他の適切なシステムによって生成された深度情報とともに、リアログラムを作成するために使用される（ステップ４１４）。リアログラムは、棚ラベル、バーコード、および製品識別データベースを使用して、製品を識別し、製品の配置を突き止め、製品数を見積もり、製品の面数を数え、あるいは不足している製品を特定または見つける。この情報は、例えば、店長、仕入れ従業員、または顧客アシスタント販売員による使用のために、遠隔サーバに伝達される（ステップ４１６）。さらに、他のロボット、更新された製品データベース、または他の店舗から受け取ったリアログラムまたは他の情報を使用して、後のリアログラムを更新したり、後のリアログラムの作成を補助したりすることができる（ステップ４１８）。
【００２９】
典型的には、つなぎ合わされた画像またはオリジナルの画像はセグメント化され、セグメント化された画像は、製品の面を特定していると想定される製品バウンディングボックスの画定を助けるために使用される。この情報は、製品ライブラリの開発にしばしば必要である。セグメント化された画像は、典型的には、数十から数百の、アウトライン化された画像領域または明確に識別し得る画像領域に及ぶ、複数の製品バウンディングボックスを含むことができる。バウンディングボックスは、製品の面、製品のグループ、または製品間のギャップのいずれかを囲むことができる。
【００３０】
一実施形態において、適切な識別子を有する製品バウンディングボックスは、棚の単純な画像またはパノラマのつなぎ合わせた画像と、バウンディングボックスに含まれる画像の部分について抽出された画像記述子とに登録することができる。画像記述子を生成するための方法は、画像テンプレート、勾配ヒストグラム、色ヒストグラム、スケール不変特徴変換、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）、最大安定極値領域法（Maximally Stable Extremal Regions，ＭＳＥＲ）、ＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）、ＦＲＥＡＫ（Fast Retina Keypoints）、ＫＡＺＥ特徴、およびそれらの変形形態を含むが、これに限定はされない。
【００３１】
製品の記述子を抽出する代替形態は、ラベルされたカテゴリとしてバウンディングボックスを使用し、バウンディングボックスに含まれる画像上で分類器を訓練することである。分類器は、深層構造学習、階層学習、深層機械学習、或いは畳み込み、順伝搬型、再帰型、または他の適切なニューラルネットワークに関連する他の適切な深層学習アルゴリズムに基づくものを含み得る。深層学習ベースの分類器は、注釈付きの訓練データに基づいて画像記述子を自動的に学習することができる。例えば、深層学習ベースの画像記述子は、深層畳み込みニューラルネットワークにおける複数の層に対応して階層化することができる。畳み込み層ネットワークの最終層は、指定された画像カテゴリの１つにある製品の信頼値を出力する。画像記述子生成器部分および分類部分は、畳み込みニューラルネットワークに統合され、これらの２つの部分は、訓練セットを使用して一緒に訓練される。
【００３２】
代わりに、または、加えて、深層学習ベースの画像記述子と従来の画像記述子の両方を使用する実施形態を、ハイブリッドシステムにおいて組み合わせることができる。
【００３３】
更に他の実施形態では、画像記述子を分類することができ、識別子を用いてラベル付けすることができる。分類のアルゴリズムは、サポートベクターマシンを含むことができるが、これに限定はされない。このプロセスは、画像が同じ店舗で異なる時間にキャプチャされるか、または異なる店舗でキャプチャされるかにかかわらず、同じ識別子に関連付けられたバウンディングボックスの画像ごとに、繰り返すことができる。そうするうちに、これにより、初期プラノグラムまたは特定の製品のデータベースの記憶を必要とせずに、製品ライブラリ（すなわち、「製品のライブラリ」）を自動的に構築することが可能になる。
【００３４】
一実施形態では、製品バウンディングボックス内の製品は、手動で識別することができ、クラウド（crowd）ソースまたは有料レビューアの画像識別システムを使用して識別することができ、初期プラノグラムまたはリアログラムの補助をうけて或いは初期プラノグラムまたはリアログラムの補助なしで識別することができ、或いは、本明細書で説明される様々な画像分類器を使用して自動的に識別することができる。製品間の隙間は、棚の間隔、製品の分離、在庫の不足／欠落の識別に役立つ。
【００３５】
自動識別は、自律型ロボットを単独で用いて、または外部画像分類システムと組み合わせて用いて実行することができる。特定の実施形態では、製品バウンディングボックスは、現在の棚とその上の棚との間の距離にまたがる垂直スペースとともに、同じ製品の１つ以上のコピー（面）によって占められる棚上の水平スペースとして画定することができる。現在の棚が一番上の棚である場合、垂直スペースは、概して固定具の頂部までの距離に対応する数である。或いは、垂直スペースは、深度センサによって検知される製品の頂部とすることができる。
【００３６】
製品バウンディングボックスおよび製品識別の作成を自動的に補助する画像セグメンテーションは、いくつかの実施形態では画像テンプレートの使用に頼ることができる。典型的には、各画像テンプレートは、自律型ロボットに搭載されたカメラシステムによってキャプチャされた画像と比較される。合致が肯定的である場合、画像の合致した区画は、その製品の画像セグメンテーションとして使用される。他の実施形態では、深層学習方法を含むがこれに限定されない機械学習システムによって画像セグメンテーションをサポートすることができる。
【００３７】
理解されるように、リアログラム作成の他の態様はまた、自動化された、半自動化された、または手動で提供された広範な分類器によってサポートされ得る。畳み込みニューラルネットワークまたは他の深層学習方法、テンプレートマッチング、或いはＨＡＡＲカスケードなどの分類アルゴリズムは、各棚ラベルの検出を補助するために使用することができる。各棚ラベルは、１つまたは複数の製品識別子を得るために分析される。分析は、光学式文字認識、バーコード走査、ＱＲコード走査、ＡＲコード走査、またはホログラムコード走査を含み得るが、これらに限定はされない。製品識別子は、ＵＰＣコード、製品名、或いは文字、数字、またはその他の記号のコード化されたコレクションであってよい。複数の識別子が利用可能である場合、ＵＰＣコードなどの好ましい識別子を選択することができる。特定の実施形態では、製品のパッケージングまたは棚ラベルに埋め込まれた赤外線または紫外線検出可能な製品識別子を使用することができ、並びに、製品のパッケージング上の可視のＵＰＣコードまたはシリアル番号などの他の適切なタグ、マーカ、または検出可能な識別印を使用することもできる。
【００３８】
製品ライブラリが作成される、または利用可能になった場合、リアログラムの関連情報に対してライブラリを検索することができる。例えば、製品のバウンディングボックスの作成を補助するために、多数の同様の特徴を持つ製品オブジェクトを使用することができる。潜在的な製品オブジェクトの合致ごとに、ライブラリ内の特徴の位置の幾何学的整合性を棚の画像の特徴と比較することができる。いくつかの方法は、検索性能の改善のために、および／またはストレージ要件の低減のために、ライブラリ内の記述子のセットをインデックス化することをさらに含む。インデックス化の方法は、ハッシュ技術、木表現、およびバッグオブワーズ（Bag-of-Words）エンコーディングを含むが、これらに限定はされない。或いは、プラノグラム、リアログラム、他の製品の情報、または製品ライブラリからの製品の位置情報は、検索しなければならない製品の数を、画像の棚に含まれる製品だけに減らすために使用することができる。さらに他の変形例では、識別された製品は、各識別される製品に近接して位置する価格タグまたは製品ラベルをセグメント化し、および復号し、並びに、それを製品オブジェクトの識別子と比較することによって検証することができる。図５Ａおよび図５Ｂはそれぞれ、本開示に係るカメラシステムのための可動ベースとして動作することのできる自律型ロボット５００の側面図および断面図を例示する。ロボットナビゲーションおよび検知部は、前方、側面、後方、および上部に取り付けられた複数のカメラを有するトップマウントセンサモジュール５１０を含む。垂直に整列された光源５２０のアレイは、垂直に配置されたカメラ５３０のラインの隣に配置され、この両方は、制御電子回路、電源、およびドッキング相互接続を含む駆動ベース５４０によって支持される。可動性は駆動ホイール５６０によって提供され、安定性はキャスターホイール５５０によって改善される。
【００３９】
図６は、可動ベース６１０上に位置している様々な可能なカメラの支持部位を有するカメラプラットフォーム６００の上から見た上面図である。可動ベース６１０は、小売店または倉庫の通路内の棚に対して可動ベース６１０を位置決めおよびナビゲートするのを助け、環境の３６０度画像または球面画像をキャプチャするために（随意に３６０度にわたって見る）上部に搭載されたカメラおよびセンサスイート６２０を有する。固定的に取り付けられたカメラ６３０および６４０は、可動ベースの動きに対して垂直な角度を指すように（６４０）、またはわずかに前方の角度を指すように（６３０）位置決めされ得る。特定の実施形態では、制御可能なギンブル（gimble）または傾き架台（６５０）を使用して、カメラを所望の方向に向けることができる。他の実施形態では、可動ベース６１０から水平に延びるブーム６７０を使用して、通路の両側から同時に画像を取り込むように向けられた複数の線状に広がるカメラを支持することができる。別の実施形態では、高解像度カメラは、バーコードを読み取ってラベルを識別するために通路の一方の側を指すように向けることができ、低解像度カメラは通路の他方の側に向けられる。この実施形態では、低解像度カメラは単にラベルを検出し、それらを以前に特定されたラベルと照合するだけである。ロボットが通路に沿って戻るように動かされた場合、ロボットによって支持される高解像度カメラと低解像度カメラのそれぞれは、反対側をスキャンすることができる。さらに他の実施形態では、可動ベース６１０またはカメラプラットフォーム６００上の様々な位置に取り付けられたカメラの２次元アレイまたは３６０度カメラを使用することができる。
【００４０】
本発明の多くの修正形態および他の実施形態は、前述の説明および関連する図面に提示された教示の利益を有する当業者の心に思い浮かぶだろう。従って、本発明は、開示された特定の実施形態に限定されるものではなく、その修正形態および実施形態は、添付の特許請求の範囲内に含まれることが意図されることが理解される。本発明の他の実施形態は、本明細書に具体的に開示されていない、要素／ステップが存在しない場合にも実施され得ることも理解される。
【図１】
2019530035.tif 000003
【図２】
2019530035.tif 000004
【図３】
2019530035.tif 000005
【図４】
2019530035.tif 000006
【図５Ａ】
2019530035.tif 000007
【図５Ｂ】
2019530035.tif 000008
【図６】
2019530035.tif 000009
【国際調査報告】
2019530035.tif 000010
2019530035.tif 000011
2019530035.tif 000012