(57)【要約】      （修正有）【課題】棚の構造に無駄な制約が生じることなく、欠品を検出できる欠品検出装置及び欠品検出システムを提供する。【解決手段】取込手段と、分析手段と、特定手段とを備える。取込手段は、物品Ａ１、Ａ２、Ａ３、Ａ４が置かれる棚６０を正面の側から撮影した画像を取り込む。分析手段は、取り込まれた画像を分析して、棚６０の背面にあり欠品により顕在化する指標Ｃ１、Ｃ２、Ｃ３、Ｃ４を検出する。特定手段は、検出された指標Ｃ１、Ｃ２、Ｃ３、Ｃ４から欠品を特定する。【選択図】図１
2017157032.tif 000002
【特許請求の範囲】
【請求項１】
物品が置かれる棚を正面の側から撮影した画像を取り込む取込手段と、
前記取込手段により取り込まれた前記画像を分析して、前記棚の背面にあり欠品により顕在化する指標を検出する分析手段と、
前記分析手段により検出された前記指標から前記欠品を特定する特定手段と、
を具備する欠品検出装置。
【請求項２】
複数の物品毎に、その物品の欠品により顕在化する前記指標で表わされたコードと欠品であるか否かを識別するフラグとを対応させたデータレコードを保存したデータベースを検索し、前記分析手段により検出された前記指標で表わされたコードを含むデータレコードを検出する検索手段と、
前記検索手段により検出された前記データレコードの前記フラグを欠品でないことを示す状態から欠品であることを示す状態に更新する更新手段と、
をさらに具備する請求項１記載の欠品検出装置。
【請求項３】
前記分析手段により検出された前記指標から、当該指標で表されたコードをデコードするデコード手段と、
をさらに具備する請求項２記載の欠品検出装置。
【請求項４】
物品が置かれる棚を正面の側から撮影する撮影装置と、
前記撮影装置で撮影された画像を取り込む取込手段、前記取込手段により取り込まれた前記画像を分析して、前記棚の背面にあり欠品により顕在化する指標を検出する分析手段、及び、前記分析手段により検出された前記指標から前記欠品を特定する特定手段、を備えた欠品検出装置と、
を具備する欠品検出システム。
【請求項５】
前記撮影装置は、移動機構に備え付けられている請求項４記載の欠品検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像を利用して棚に置かれた物品の欠品を検出する欠品検出装置及び欠品検出システムに関する。
【背景技術】
【０００２】
多くの物品を保管する倉庫では一般に、物品が品目毎に区分されて棚に置かれている。このため、倉庫内を見回りさえすれば、欠品の有無を確認することはできる。しかしながら、見回り作業は基本的に人手を介して行われるため、作業者の負担が大きい。また、欠品を見落とす可能性もある。
【０００３】
従来、物品が置かれた棚を撮影するカメラの画像から、残り１点となった物品が置かれる位置に設けたマーカが検出されるか否かによって、欠品の有無を判定する技術は知られている。しかしながらこの従来技術では、マーカが設けられた位置に置かれた商品が必ず最後の１点となるように棚を設計しなければならず、棚の構造に無駄な制約がある。
【０００４】
このような事情から、棚の構造に無駄な制約が生じることなく、棚に置かれた物品の欠品を検出する技術が望まれていた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−１７４１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施形態が解決しようとする課題は、棚の構造に無駄な制約が生じることなく、欠品を検出できる欠品検出装置及び欠品検出システムを提供しようとするものである。
【課題を解決するための手段】
【０００７】
一実施形態において、欠品検出装置は、取込手段と、分析手段と、特定手段と、を備える。取込手段は、物品が置かれる棚を正面の側から撮影した画像を取り込む。分析手段は、取込手段により取り込まれた画像を分析して、棚の背面にあり欠品により顕在化する指標を検出する。特定手段は、分析手段により検出された指標から欠品を特定する。
【図面の簡単な説明】
【０００８】
【図１】一実施形態である欠品検出システムの概要図。
【図２】物品データベースのデータ構造を示す模式図。
【図３】画像処理装置と物品管理サーバとの要部構成を示すブロック図。
【図４】画像処理装置と物品管理サーバとの各プロセッサが実行する情報処理の主要な手順を示す流れ図。
【図５】他の実施形態の指標を示す模式図。
【図６】他の実施形態のカメラを示す模式図。
【発明を実施するための形態】
【０００９】
以下、欠品検出装置及び欠品検出システムの実施形態について、図面を用いて説明する。  
なおこの実施形態では、図１に示すように、上下二段構造の棚６０に置かれる４種類の物品Ａ１，Ａ２，Ａ３，Ａ４の欠品を検出する場合を例示する。各物品Ａ１，Ａ２，Ａ３，Ａ４は、棚６０の予め決められた区画にそれぞれ陳列される。本実施形態では、棚６０を正面から見た場合に、物品Ａ１は上段の棚６０Ｕの左側の区画に陳列され、物品Ａ２は上段の棚６０Ｕの右側の区画に陳列され、物品Ａ３は下段の棚６０Ｄの左側の区画に陳列され、物品Ａ４は下段の棚６０Ｄの右側の区画に陳列される。そして各物品Ａ１，Ａ２，Ａ３，Ａ４がそれぞれ陳列される区画の背板６１には、二次元データコードＣ１，Ｃ２，Ｃ３，Ｃ４が付される。具体的には、二次元データコードＣ１，Ｃ２，Ｃ３，Ｃ４がそれぞれ印刷された４枚のラベルが背板６１に貼り付けられる。
【００１０】
二次元データコードＣ１，Ｃ２，Ｃ３，Ｃ４は、二次元のバーの配列によってユニークなコードを表す光学符号であり、指標の一態様である。  
二次元データコードＣ１は、対応する区画に物品Ａ１が１つでも陳列されていると、棚６０をその正面のカメラ２０が設置されている位置から見た場合にその物品Ａ１によって少なくとも一部が隠蔽される。換言すれば、二次元データコードＣ１は、対応する区画が欠品となると、棚６０をカメラ２０の設置位置から見た場合に全体が露出して顕在化する。二次元データコードＣ２，Ｃ３，Ｃ４についても同様である。因みに図１では、物品Ａ１と物品Ａ４とが欠品しておらず、物品Ａ２と物品Ａ３とが欠品している状態を示している。この状態では、棚６０をカメラ２０の設置位置から見たときに、二次元データコードＣ１とＣ４とは少なくとも一部が物品によって隠蔽されている。一方、二次元データコードＣ２とＣ３とは全体が露出し、顕在化している。
【００１１】
図１は、欠品検出システム１０の概要図である。欠品検出システム１０は、撮影装置としてのカメラ２０と、画像処理装置３０と、物品管理サーバ４０とを含む。カメラ２０は、専用の通信ケーブル５１により画像処理装置３０と接続される。画像処理装置３０は、ＬＡＮ（Local Area Network）等のネットワーク５２を介して物品管理サーバ４０と接続される。カメラ２０は、画像処理装置３０と無線通信により接続されてもよい。あるいは、画像処理装置３０がカメラ２０を内蔵してもよい。ネットワーク５２は、有線接続のネットワークでもよいし、無線接続のネットワークでもよい。
【００１２】
カメラ２０は、図１に示すように、棚６０に対してほぼ正対する向きに設置される。そして、棚６０の正面全体が撮影範囲Ｐ内に入るように、カメラ２０の設置高さ、カメラ２０から棚６０までの撮影距離、カメラ２０の画角等が決定されている。カメラ２０は、例えばデジタルビデオカメラである。
【００１３】
画像処理装置３０は、画像処理機能として、取込部３１、分析部３２及びデコード部３３を備える。画像処理装置３０は、取込部３１、分析部３２及びデコード部３３以外の画像処理機能を備えてもよい。
【００１４】
取込部３１は、カメラ２０によって撮影される画像を取り込む。前述したように、カメラ２０は、棚６０の正面全体を撮影範囲Ｐとする。すなわち取込部３１は、物品が置かれる棚６０を正面の側から撮影した画像を取り込む取込手段として機能する。取込部３１は、カメラ２０から取り込んだ画像を順次、図示しない画像メモリに格納する。
【００１５】
分析部３２は、取込部３１によって取り込まれた画像、つまりは画像メモリに格納された画像を分析して、指標である二次元データコードＣ（Ｃ１，Ｃ２，Ｃ３，Ｃ４）を検出する。分析部３２は、二次元データコードＣの全体が検出されると、二次元データコードＣを検出したものとして処理する。分析部３２は、二次元データコードＣの一部しか検出できない場合、二次元データコードＣを検出していないものとして処理する。例えば二次元データコードＣは矩形であり、少なくとも３つの角に所定のマークが記されている。分析部３２は、画像からこれら３角のマークを全て検出すると、二次元データコードＣを検出したものとして処理する。ここに分析部３２は、取込手段により取り込まれた画像を分析して、棚６０の背面にあり欠品により顕在化する指標（二次元データコードＣ）を検出する分析手段として機能する。分析部３２は、取込部３１で取り込んだ画像から二次元データコードＣを検出すると、その二次元データコードＣの画像を切り出し、デコード部３３に与える。分析部３２は、画像から複数の二次元データコードＣを検出した場合には、それぞれの二次元データコードＣの画像を切り出し、デコード部３３に与える。
【００１６】
デコード部３３は、分析部３２から与えられた二次元データコードＣの画像から、その二次元データコードＣで表わされたコードをデコード（復号）する。ここにデコード部３３は、分析手段により検出された指標（二次元データコードＣ）から、当該指標（二次元データコードＣ）で表されたコードをデコードするデコード手段として機能する。デコード部３３は、二次元データコードＣをデコードして得られたコードを物品管理サーバ４０に送信する。
【００１７】
物品管理サーバ４０は、物品データベース４１を備える。また物品管理サーバ４０は、物品管理機能として検索部４２、履歴部４３及び処理部４４を備える。物品管理サーバ４０は、検索部４２、履歴部４３及び処理部４４以外の物品管理機能を備えてもよい。なお、物品データベース４１は、必ずしも物品管理サーバ４０が備えていなくてもよい。物品管理サーバ４０以外のサーバ用コンピュータが物品データベース４１を備え、物品管理サーバ４０が上記サーバ用コンピュータにアクセスして、物品管理サーバ４０に対する情報の読出し、書込みを制御する構成であってもよい。
【００１８】
物品データベース４１は、図２に示すように、照会コード、棚情報、物品情報及び欠品フラグＦの各項目で構成されるデータレコードを保存する。データレコードは、照会コード、棚情報、物品情報及び欠品フラグＦ以外の項目が含まれてもよい。  
照会コードは、ユニークなコードである。本実施形態では、二次元データコードＣをデコードして得られるコードが照会コードとなる。図２において、照会コード“Ｃ１”は、二次元データコードＣ１をデコードして得られるコードである。照会コード“Ｃ２”は、二次元データコードＣ２をデコードして得られるコードである。照会コード”Ｃ３”及び“Ｃ４”についても同様である。
【００１９】
棚情報は、対応する照会コードを表す二次元データコードＣが付された棚６０の区画を識別する情報である。図２において、棚情報“ＵＬ”は、上段の棚６０Ｕの正面から見て左側の区画を特定する情報である。棚情報“ＵＷ”は、上段の棚６０Ｕの正面から見て右側の区画を特定する情報である。棚情報“ＤＬ”は、下段の棚６０Ｄの正面から見て左側の区画を特定する情報である。棚情報“ＤＷ”は、下段の棚６０Ｄの正面から見て右側の区画を特定する情報である。
【００２０】
物品情報は、対応する棚情報で特定される区画に置かれている物品を識別する情報である。図２において、物品情報“Ａ１”は、上段の棚６０Ｕの正面から見て左側の区画に陳列されている物品Ａ１を特定する情報である。物品情報“Ａ２”は、上段の棚６０Ｕの正面から見て右側の区画に陳列されている物品Ａ２を特定する情報である。物品情報“Ａ３”は、下段の棚６０Ｄの正面から見て左側の区画に陳列されている物品Ａ３を特定する情報である。物品情報“Ａ４”は、下段の棚６０Ｄの正面から見て右側の区画に陳列されている物品Ａ４を特定する情報である。
【００２１】
欠品フラグＦは、対応する物品情報で特定される物品が欠品であるか否かを識別する情報である。欠品フラグＦは、“０”または“１”の１ビット情報であり、本実施形態では、欠品フラグＦが“１”のとき欠品を表す。したがって、図２のデータレコードの例では、物品情報“Ａ２”と“Ａ３”とで識別される２つの物品Ａ２，Ａ３が欠品であることを示している。なお、欠品フラグＦが“０”のとき欠品を表してもよいのは言うまでもない。
【００２２】
図１に説明を戻す。  
検索部４２は、画像処理装置３０から与えられるコードで物品データベース４１を検索する。検索部４２は、物品データベース４１を検索して、コードを照会コードとして含むデータレコードの有無を判別する。検索部４２は、画像処理装置３０から複数のコードが与えられたとき、それぞれのコードについて、その情報を照会コードとして含むデータレコードの有無を判別する。検索部４２は、コードを照会コードとして含むデータレコードを物品データベース４１から検出すると、そのデータレコードの棚情報、物品情報及び欠品フラグＦの項目データを履歴部４３に与える。検索部４２は、物品データベース４１から検出したデータレコードの分だけ、棚情報、物品情報及び欠品フラグＦの項目データを履歴部４３に与える。ここに検索部４２は、複数の物品毎に、その物品の欠品により顕在化する指標（二次元データコードＣ）で表わされたコードと、欠品であるか否かを識別するフラグと、を対応させたデータレコードを保存したデータベース（物品データベース４１）を検索し、分析手段により検出された指標（二次元データコードＣ）で表わされたコードを含むデータレコードを検出する検索手段として機能する。
【００２３】
履歴部４３は、今回エリアと前回エリアとを有する。履歴部４３は、前記検索部４２から棚情報、物品情報及び欠品フラグＦの項目データが与えられると、今回エリアに記憶されているデータを前回エリアに移した後、上記項目データを今回エリアに書き込む。したがって、今回エリアには、前記検索部４２から与えられた最新の棚情報、物品情報及び欠品フラグＦの項目データが記憶される。前回エリアには、最新のデータよりも１つ前の棚情報、物品情報及び欠品フラグＦの項目データが記憶される。今回エリアに記憶された項目データの棚情報と物品情報とは、欠品に係る情報である。すなわち棚情報は、欠品となった棚の区画を特定する情報である。物品情報は、欠品となった棚の区画に置かれていた物品を特定する情報である。ここに履歴部４３は、分析手段により検出された前記指標から欠品を特定する特定手段として機能する。  
一方、前回エリアには記憶されているが今回エリアには記憶されていない項目データの棚情報と物品情報とは、欠品解消に係る情報である。すなわち棚情報は、欠品が解消された棚の区画を特定する情報である。物品情報は、欠品が解消された棚の区画に置かれている物品を特定する情報である。  
なお、今回エリアに記憶されているデータを前回エリアに移すタイミングは、検索部から新たな項目データが与えられた時点に限定されるものではない。当該時点よりも前に今回エリアに記憶されているデータを前回エリアに移してもよい。
【００２４】
処理部４４は、履歴部４３の今回エリアに記憶された項目データの欠品フラグＦを調べる。そして、欠品フラグＦが“０”であれば“１”に変更する。欠品フラグＦが“１”の場合には変更しない。処理部４４は、今回エリアに複数の項目データが記憶されている場合、それぞれの項目データについて、欠品フラグＦが“０”であれば“１”に変更する。したがって、処理部４４の作用により、今回エリアに記憶された項目データの欠品フラグＦは、いずれも“１”となる。処理部４４は、今回エリアに記憶された項目データを物品データベース４１に上書きするように検索部４２を制御する。この制御により、物品データベース４１においては、該当する項目データを含むデータレコードの欠品フラグＦが“０”である場合、“１”に更新される。ここに処理部４４は、検索手段により検出されたデータレコードの欠品フラグＦを欠品でないことを示す状態から欠品であることを示す状態に更新する更新手段として機能する。
【００２５】
また処理部４４は、履歴部４３の前回エリアに記憶されている項目データのうち、今回エリアに記憶されている項目データと一致する重複データを削除する。重複データを削除した結果、前回エリアに項目データが残っている場合、処理部４４は、その項目データの欠品フラグを“１”から“０”に変更する。そして処理部４４は、前回エリアに記憶された項目データを物品データベース４１に上書きするように検索部４２を制御する。この制御により、物品データベース４１においては、該当する項目データを含むデータレコードの欠品フラグＦが“１”から“０”に更新される。
【００２６】
以上のような機能を有する画像処理装置３０及び物品管理サーバ４０は、欠品検出装置を構成する。そして、この欠品管理装置とカメラ２０とから欠品検出システム１０が構築される。なお、欠品検出装置は、画像処理装置３０と物品管理サーバ４０とから構成されるものに限定されるものではない。例えば単体の電子機器が、画像処理装置３０としての機能と物品管理サーバ４０としての機能とを併せ持ってもよい。あるいは、画像処理装置３０が物品管理サーバ４０としての機能の一部を有してもよい。同様に、物品管理サーバ４０が画像処理装置３０としての機能の一部を有していてもよい。
【００２７】
図３は、画像処理装置３０及び物品管理サーバ４０のハードウェア構成を示すブロック図である。画像処理装置３０は、プロセッサ３０１、主記憶デバイス３０２、補助記憶デバイス３０３、通信ユニット３０４、入力デバイス３０５、表示デバイス３０６及びカメラコントローラ３０７等を備える。プロセッサ３０１と、主記憶デバイス３０２、補助記憶デバイス３０３、通信ユニット３０４、入力デバイス３０５、表示デバイス３０６及びカメラコントローラ３０７とは、アドレスバス、データバス、制御信号線等を含むシステム伝送路３０８によって直接または間接的に接続される。
【００２８】
画像処理装置３０は、プロセッサ３０１、主記憶デバイス３０２及び補助記憶デバイス３０３と、これらを接続するシステム伝送路３０８とによってコンピュータを構成する。  
プロセッサ３０１は、上記コンピュータの中枢部分に相当する。プロセッサ３０１は、オペレーティングシステムやアプリケーションプログラムに従って、画像処理装置３０としての各種の機能を実現するべく各部を制御する。
【００２９】
主記憶デバイス３０２は、上記コンピュータの主記憶部分に相当する。主記憶デバイス３０２は、不揮発性のメモリ領域（ＲＯＭ：Read Only Memory）と揮発性のメモリ領域（ＲＡＭ：Random Access Memory）とを含む。主記憶デバイス３０２は、不揮発性のメモリ領域ではオペレーティングシステムやアプリケーションプログラムを記憶する。主記憶デバイス３０２は、プロセッサ３０１が各部を制御するための処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。また主記憶デバイス３０２は、揮発性のメモリ領域を、プロセッサ３０１によってデータが適宜書き換えられるワークエリアとして使用する。このワークエリアの一部に前述した画像メモリが形成される。
【００３０】
補助記憶デバイス３０３は、上記コンピュータの補助記憶部分に相当する。補助記憶デバイス３０３は、プロセッサ３０１が各種の処理を行う上で使用するデータや、プロセッサ３０１での処理によって生成されたデータを保存する。また補助記憶デバイス３０３は、上記のアプリケーションプログラムを記憶する場合もある。
【００３１】
通信ユニット３０４は、ネットワーク５２を介して行うデータ通信のインターフェースである。  
入力デバイス３０５は、オペレータの操作入力を受け付ける。例えばキーボード、タッチパネル、ポインティングデバイス等が入力デバイス３０５に相当する。  
表示デバイス３０６は、欠品に関する情報、エラー情報等の種々の情報を表示する。例えば液晶ディスプレイ、有機ＥＬ（Electroluminescence）ディスプレイ、プラズマディスプレイ等が表示デバイス３０６に相当する。
【００３２】
カメラコントローラ３０７は、通信ケーブル５１を介して接続されるカメラ２０の撮影オン、オフを制御する。そしてカメラコントローラ３０７は、カメラ２０で撮影された画像を、通信ケーブル５１を介して取り込む。  
このようなハードウェア構成で実現される画像処理装置３０としては、例えばパーソナルコンピュータ、タブレット端末、スマートフォン等を適用することが可能である。
【００３３】
物品管理サーバ４０は、プロセッサ４０１、主記憶デバイス４０２、補助記憶デバイス４０３及び通信ユニット４０４等を備える。プロセッサ４０１と、主記憶デバイス４０２、補助記憶デバイス４０３及び通信ユニット４０４とは、アドレスバス、データバス、制御信号線等を含むシステム伝送路４０５によって直接または間接的に接続される。
【００３４】
物品管理サーバ４０は、プロセッサ４０１、主記憶デバイス４０２及び補助記憶デバイス４０３と、これらを接続するシステム伝送路４０５とによってコンピュータを構成する。  
プロセッサ４０１は、上記コンピュータの中枢部分に相当する。プロセッサ４０１は、オペレーティングシステムやアプリケーションプログラムに従って、物品管理サーバ４０としての各種の機能を実現するべく各部を制御する。
【００３５】
主記憶デバイス４０２は、上記コンピュータの主記憶部分に相当する。主記憶デバイス４０２は、不揮発性のメモリ領域（ＲＯＭ）と揮発性のメモリ領域（ＲＡＭ）とを含む。主記憶デバイス４０２は、不揮発性のメモリ領域ではオペレーティングシステムやアプリケーションプログラムを記憶する。主記憶デバイス４０２は、プロセッサ４０１が各部を制御するための処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。また主記憶デバイス４０２は、揮発性のメモリ領域を、プロセッサ４０１によってデータが適宜書き換えられるワークエリアとして使用する。
【００３６】
補助記憶デバイス４０３は、上記コンピュータの補助記憶部分に相当する。補助記憶デバイス４０３は、プロセッサ４０１が各種の処理を行う上で使用するデータや、プロセッサ４０１での処理によって生成されたデータを保存する。また補助記憶デバイス４０３は、上記のアプリケーションプログラムを記憶する場合もある。  
通信ユニット４０４は、ネットワーク５２を介して行うデータ通信のインターフェースである。
【００３７】
本実施形態において、補助記憶デバイス４０３は、前記物品データベース４１を記憶する。また補助記憶デバイス４０３は、前述した今回エリア及び今回エリアとしてのデータ記憶領域を有する。なお、必ずしも補助記憶デバイス４０３が物品データベース４１を記憶していなくてもよい。同様に、必ずしも補助記憶デバイス４０３が今回エリア及び前回エリアとしてのデータ記憶領域を有していなくてもよい。  
このようなハードウェア構成で実現される物品管理サーバ４０としては、サーバソフトウェアの実装に特化したホストコンピュータのみならず、パーソナルコンピュータ等も適用することができる。
【００３８】
図４は、画像処理装置３０のプロセッサ３０１と物品管理サーバ４０のプロセッサ４０１とが、それぞれ制御プログラムに基づいて実行する情報処理の要部手順を示す流れ図である。以下、図４を用いて画像処理装置３０及び物品管理サーバ４０の主要な動作について説明する。なお、図４に示すとともに以下に説明する処理の内容は一例であり、同様な結果を得ることが可能な様々な処理を適宜に利用できるものである。
【００３９】
画像処理装置３０において、プロセッサ３０１は、例えば図示しないタイマが所定時間（例えば１分）を計時する毎に処理を開始する。先ずプロセッサ３０１は、Act１１としてカメラ２０の撮影オンを制御するようにカメラコントローラ３０７に通知する。この通知を受けて、カメラコントローラ３０７は、カメラ２０の撮影オンを制御する。この制御により、カメラ２０は、撮影を行う。
【００４０】
次いでプロセッサ３０１は、Act１２としてカメラコントローラ３０７に画像の取込みを通知する。この通知を受けて、カメラコントローラ３０７は、カメラ２０で撮影された画像を取り込む。画像を取り込むと、カメラコントローラ３０７は、その画像データを主記憶デバイス３０２の画像メモリに書き込む。ここに、プロセッサ３０１は、Act１１〜Act１２の処理によりカメラコントローラ３０７と協働して、取込部３１としての機能を実現している。
【００４１】
プロセッサ３０１は、Act１３としてカメラ２０の撮影オフを制御するようにカメラコントローラ３０７に通知する。この通知を受けて、カメラコントローラ３０７は、カメラ２０の撮影オフを制御する。この制御により、カメラ２０は、撮影を停止する。
【００４２】
次いでプロセッサ３０１は、Act１４として画像メモリに記憶された画像データを分析する。この分析により、プロセッサ３０１は、Act１５として指標である二次元データコードＣを検出したか否かを確認する。画像から二次元データコードＣの全体を検出できた場合、プロセッサ３０１は、二次元データコードＣの検出有りと認定する。二次元データコードＣの少なくとも一部が物品等によって隠蔽されていた場合、プロセッサ３０１は、二次元データコードＣの検出無しと認定する。二次元データコードＣの検出無しの場合（Act１５にてＮＯ）、プロセッサ３０１は、今回の処理を終了する。
【００４３】
一方、二次元データコードＣの検出有りの場合には（Act１５にてＹＥＳ）、プロセッサ３０１は、Act１６としてその画像から二次元データコードＣの画像領域を切り出す。そしてプロセッサ３０１は、Act１７としてこの画像領域内の二次元データコードＣをデコードしてコードを得る。  
コードを得られたならば、プロセッサ３０１は、Act１８としてそのコードを物品管理サーバ４０に送信するように通信ユニット３０４に通知する。この通知を受けて通信ユニット３０４は、二次元データコードＣをデコードして得られたコードを、ネットワーク５２を介して物品管理サーバ４０宛に送信する。以上で、プロセッサ３０１は処理を終了する。  
ここにプロセッサ３０１は、Act１４〜Act１５の処理により、分析部３２としての機能を実現している。またプロセッサ３０１は、Act１６〜Act１８の処理により、デコード部３３としての機能を実現している。
【００４４】
画像処理装置３０から送信されたコードは、物品管理サーバ４０の通信ユニット４０４で受信される。物品管理サーバ４０のプロセッサ４０１は、通信ユニット４０４でコードを受信したことを検知すると、処理を開始する。先ずプロセッサ４０１は、Act２１として物品データベース４１を検索する。そしてプロセッサ４０１は、Act２２として通信ユニット４０４で受信したコードを照会コードとして含むデータレコードの有無を判別する。該当するデータレコードが無い場合（Act２２にてＮＯ）、プロセッサ４０１は、処理を終了する。
【００４５】
一方、該当するデータレコードが有る場合には（Act２２にてＹＥＳ）、プロセッサ４０１は、Act２３として今回エリアに記憶されている項目データを前回エリアに移動させる。次いでプロセッサ４０１は、Act２４として該当するデータレコードの棚情報、物品情報及び欠品フラグＦの項目データを今回エリアに書き込む。
【００４６】
プロセッサ４０１は、Act２５として今回エリアに記憶された項目データのうち、欠品フラグＦが“０”の項目データについて、欠品フラグＦを“０”から“１”に書き換える。またプロセッサ４０１は、Act２６として前回エリアに記憶された項目データのうち、今回エリアに記憶されている項目データと一致する項目データを削除する。そしてプロセッサ４０１は、Act２７として前回エリアに項目データが残っている場合、その項目データの欠品フラグＦを“１”から“０”に書き換える。しかる後、プロセッサ４０１は、Act２８として今回エリア内の項目データと前回エリア内の項目データとで、物品データベース４１を更新する。この処理により、今回エリア内の項目データと棚情報及び物品情報が一致するデータレコードの欠品フラグＦが“０”から“１”に更新される。また、前回エリア内の項目データと棚情報及び物品情報が一致するデータレコードの欠品フラグＦが“１”から“０”に更新される。以上で、プロセッサ４０１は、処理を終了する。  
ここにプロセッサ４０１は、Act２１〜Act２２の処理により検索部４２としての機能を実現している。またプロセッサ４０１は、Act２３〜Act２４の処理により補助記憶デバイス４０３と協働して、履歴部４３としての機能を実現している。さらにプロセッサ４０１は、Act２５〜Act２８の処理により処理部４４としての機能を実現している。
【００４７】
このように本実施形態では、画像処理装置３０がカメラ２０を制御して、物品Ａ１，Ａ２，Ａ３，Ａ４が置かれる棚６０を正面の側から撮影する。そして、その撮影された画像に二次元データコードＣが物品等に隠蔽されることなく写し出されると、画像処理装置３０及び物品管理サーバ４０が、その二次元データコードＣをデコードして得られるコードを基に欠品を検出する。このため、欠品でないときにはカメラ２０で撮影された画像に二次元データコードＣの全体が写し出されることがないようにする必要がある。そのためには、カメラ２０の撮影条件と二次元データコードＣの貼付位置とが重要な要素となる。
【００４８】
カメラ２０については、前述したように棚６０の正面全体が撮影範囲Ｐ内に入るように設置高さ、撮影距離、画角等の撮影条件が決定される。一方、二次元データコードＣの貼付位置については、区画内に物品が置かれているときにはその物品によって少なくとも一部が隠蔽されるが、区画が欠品の場合には棚板等で隠蔽されない領域となる。このような領域は、カメラ２０の撮影条件と、物品の高さ及び幅と、棚６０の高さ及び奥行き等とから導き出すことができる。なお、二次元データコードＣが撮影された場合に、デコード部３３によって正しくデコードできるように、十分な解像度を持って二次元データコードＣが撮影されるように補助照明を設けること、及び、カメラ２０の焦点距離を適正値に保つようにすることは言うまでもない。
【００４９】
以上のように、カメラ２０の撮影条件と二次元データコードＣの貼付位置とを適正なものとすることによって、本実施形態によれば、棚６０の構造に無駄な制約が生じることなく、欠品を確実に検出できるようになる。
【００５０】
さて本実施形態では、棚６０に置かれる物品毎に、その物品の欠品により顕在化する二次元データコードＣで表わされたコードと欠品であるか否かを識別する欠品フラグＦとを対応させたデータレコードを保存した物品データベース４１を備えている。したがって、例えば物品データベース４１に保存されたデータレコードの項目データを基に、欠品となっている物品のリストを容易に取得することができる。リストは、例えば画像処理装置３０の表示デバイス３０６に表示させることで、ユーザに知らしめることが可能である。なお、リストの出力先は表示デバイス３０６に限定されるものではない。例えばユーザが携帯するモバイル端末に出力したり、店舗であればＰＯＳ（Point Of Sales）端末に出力したりすることも可能である。
【００５１】
また本実施形態では、指標として二次元データコードＣを使用している。したがって、例えば照会コードだけでなく棚情報や物品情報等も含めて二次元データコードＣを作成することも可能である。その場合、物品データベース４１を簡素化できるメリットがある。
【００５２】
なお、本発明は、前記実施形態に限定されるものではない。  
前記実施形態では、指標を二次元データコードＣとしたが、指標は二次元データコードに限定されるものではない。例えば図５（ａ）に示すように、光学符号として一意の文字列整理番号７１が描かれたラベル７０を指標としてもよい。また、図５（ｂ）に示すように、光学符号として一次元のバーコード８１が描かれたラベル８０を指標としてもよい。文字列整理番号７１のラベル７０を用いることにより、デコード部３３の処理を簡素化できる。すなわちデコード部３３は、分析部３２によって切出された文字列整理番号７１の画像をＯＣＲ処理すればよい。一方、バーコード８１のラベル８０を用いる場合には、カメラ２０の代わりにレーザスキャナを適用できる。レーザスキャナは、１０ｍ程度の長距離でも良好な解像度を保有しており安定にバーコード８１の情報を読み取ることが可能であるため、大型の棚あるいは広範囲な棚を俯瞰的に管理したい場合などに好適である。
【００５３】
前記実施形態では、棚６０の正面全体が撮影範囲Ｐ内に入るようにカメラ２０を設置した。しかし、棚６０のサイズと画像に必要な解像度とを考慮すると、１台のカメラでは撮影範囲Ｐをカバーできない場合がある。このような場合には、複数台のカメラ２０を並列に設置して、棚６０の正面全体が撮影範囲Ｐ内に入るようにすればよい。あるいは、カメラ２０を移動させながら複数回撮影することにより、棚６０の正面全体が撮影範囲Ｐ内に入るようにしてもよい。
【００５４】
図６（ａ），（ｂ）は、カメラ２０を移動機構９０に備え付けた他の実施形態を示す模式図である。図６（ａ）の正面図及び図６（ｂ）の側面図に示すように、カメラ２０は、台車９１の上に固定された支持棒９２の先端に取り付けられる。台車９１は、床面と平行に前進または後進が自在である。支持棒９２は、床面に対して垂直な方向に伸縮自在である。移動機構９０は、上記台車９１と支持棒９２とによって構成される。このような構成の移動機構９０にカメラ２０を備え付けることによって、カメラ２０と棚６０との位置関係を適正な状態に保ちながら棚６０の正面全体を撮影することができる。この場合、画像処理装置３０は、撮影された画像を逐次的に処理できるので効率的である。
【００５５】
なお、移動機構９０は、図６に示すものに限定されるものではない。例えば天井に敷設されたレールに吊り下げられたカメラをレールに沿って移動させる構造でもよい。また、台車９１も、手押し式台車であってもよいし、予め決められた軌道をトレースしながら自動走行する無人搬送車であってもよい。さらには、移動から撮影までを自律的に制御できるように、自律型移動ロボットにカメラ２０を搭載した完全無人化システムとしてもよい。
移動機構９０を用いる場合、主として定期的な欠品の巡回監視業務が主体となる。このため、例えば倉庫での作業業務が終了した、あるいは店舗が閉店した夜間等に実施できるように、自動化されたシステムであることが望ましい形態となる。
【００５６】
この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５７】
１０…欠品検出システム、２０…カメラ、３０…画像処理装置、３１…取込部、３２…分析部、３３…デコード部、４０…物品管理サーバ、４１…物品データベース、４２…検索部、４３…履歴部、４４…処理部、６０…棚、７０，８０…ラベル、９０…移動機構、Ａ１，Ａ２，Ａ３，Ａ４…物品、Ｃ１，Ｃ２，Ｃ３，Ｃ４…二次元データコード（指標）。
【図１】
2017157032.tif 000003
【図２】
2017157032.tif 000004
【図３】
2017157032.tif 000005
【図４】
2017157032.tif 000006
【図５】
2017157032.tif 000007
【図６】
2017157032.tif 000008