(57)【要約】【課題】  物体の追跡管理を行うのに必要な通信帯域を低減することができる物体管理システムを提供する【解決手段】  本発明の一態様に係る物体管理システムは、庫内が撮影された画像において、前記庫内における物体の搬入又は搬出を検出する物体検出手段と、前記搬入又は前記搬出が検出された場合、撮影された時刻が、前記画像が撮影された時刻より前及び後である２枚の画像を送信する通信手段と、を備える。【選択図】      図１４
2016066277.tif 000002
【特許請求の範囲】
【請求項１】
庫内が撮影された画像において、前記庫内における物体の搬入又は搬出を検出する物体検出手段と、
前記搬入又は前記搬出が検出された場合、撮影された時刻が、前記画像が撮影された時刻より前及び後である２枚の画像を送信する通信手段と、
を備える物体管理システム。
【請求項２】
前記２枚の画像を受信するのに応じて、当該２枚の画像に基づいて前記庫内における物体の増減を判定する照合手段と、
を備える請求項１に記載の物体管理システム。
【請求項３】
前記物体検出手段は、続けて撮影された複数の前記画像を使用して、動きのある物体を検出し、当該動きのある物体が検出され、その後、当該動きのある物体が検出されなくなった場合、前記搬入又は搬出が行われたことを検出する、
請求項１又は２に記載の物体管理システム。
【請求項４】
前記物体検出手段は、前記動きのある物体として、物体を運搬する人物及び運搬機械の少なくともいずれかを検出する
請求項３に記載の物体管理システム。
【請求項５】
前記物体検出手段は、庫内が撮影された前記画像と、当該画像と異なる時刻に撮影された画像又は当該画像を使用して生成された画像との差分に基づいて、前記動きのある物体を検出する
請求項３に記載の物体管理システム。
【請求項６】
庫内が撮影された画像において、前記庫内における物体の搬入又は搬出を検出する物体検出手段と、
前記搬入又は前記搬出が検出された場合、撮影された時刻が、前記画像が撮影された時刻より前及び後である２枚の画像を、物体管理装置に送信する通信手段と、を備え、
前記物体管理装置は、前記２枚の画像を受信するのに応じて、当該２枚の画像に基づいて前記庫内における物体の増減を判定する
画像取得装置。
【請求項７】
庫内が撮影された画像において、前記庫内における物体の搬入又は搬出を検出し、
前記搬入又は前記搬出が検出された場合、撮影された時刻が、前記画像が撮影された時刻より前及び後である２枚の画像を、前記２枚の画像を受信するのに応じて、当該２枚の画像に基づいて前記庫内における物体の増減を判定する物体管理装置に送信する、
物体管理方法。
【請求項８】
続けて撮影された複数の前記画像において、動きのある物体を検出し、当該動きのある物体が検出され、その後、当該動きのある物体が検出されなくなった場合、前記搬入又は搬出が行われたことを検出する
請求項７に記載の物体管理方法。
【請求項９】
コンピュータを、
庫内が撮影された画像において、前記庫内における物体の搬入又は搬出を検出する物体検出手段と、
前記搬入又は前記搬出が検出された場合、撮影された時刻が、前記画像が撮影された時刻より前及び後である２枚の画像を、物体管理装置に送信する通信手段と、して動作させ、
前記物体管理装置は、前記２枚の画像を受信するのに応じて、当該２枚の画像に基づいて前記庫内における物体の増減を判定する
画像取得プログラム。
【請求項１０】
コンピュータを、
続けて撮影された複数の前記画像において、動きのある物体を検出し、当該動きのある物体が検出され、その後、当該動きのある物体が検出されなくなった場合、前記搬入又は搬出が行われたことを検出する前記物体検出手段
として動作させる画像取得プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、荷物の搬入搬出を記録する物流管理技術に関する。
【背景技術】
【０００２】
積載された荷物などの物体を認識する技術の例が、例えば特許文献１に記載されている。
【０００３】
特許文献１に記載されている画像処理装置は、２台のカメラで撮影した物体の画像に基づき、その物体の位置を検出する。その画像処理装置は、それらの２台のカメラによって、積載された複数の物体を撮影する。その画像処理装置は、撮影した画像をもとに、距離画像を生成する。その画像処理装置は、撮影された複数の物体の最上段領域を、生成された距離画像によって検出する。その画像処理装置は、さらに、検出された最上段領域において、認識対象物体の寸法が格納されたデータベースに基づいて生成した２次元基準パターンを使用するパターンマッチングを行うことによって、個々の認識対象物体の位置を認識する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第２９２１４９６号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示されている技術によると、トラックに搭載されたカメラ部とトラックヤードに設置されたデータベース照合部との間の通信において、大量の画像データを送受信する必要がある。そのため、特許文献１の技術では、大量の画像データを送受信するために、広い通信帯域が必要である。
【０００６】
本発明の目的の一つは、物体の追跡管理を行うのに必要な通信帯域を低減することができる物体管理システムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る物体管理システムは、庫内が撮影された画像において、前記庫内における物体の搬入又は搬出を検出する物体検出手段と、前記搬入又は前記搬出が検出された場合、撮影された時刻が、前記画像が撮影された時刻より前及び後である２枚の画像を送信する通信手段と、を備える。
【０００８】
本発明の一態様に係る画像取得装置は、庫内が撮影された画像において、前記庫内における物体の搬入又は搬出を検出する物体検出手段と、前記搬入又は前記搬出が検出された場合、撮影された時刻が、前記画像が撮影された時刻より前及び後である２枚の画像を、物体管理装置に送信する通信手段と、を備え、前記物体管理装置は、前記２枚の画像を受信するのに応じて、当該２枚の画像に基づいて前記庫内における物体の増減を判定する。
【０００９】
本発明の一態様に係る物体管理方法は、庫内が撮影された画像において、前記庫内における物体の搬入又は搬出を検出し、前記搬入又は前記搬出が検出された場合、撮影された時刻が、前記画像が撮影された時刻より前及び後である２枚の画像を、前記２枚の画像を受信するのに応じて、当該２枚の画像に基づいて前記庫内における物体の増減を判定する物体管理装置に送信する。
【００１０】
本発明の一態様に係る画像取得プログラムは、コンピュータを、庫内が撮影された画像において、前記庫内における物体の搬入又は搬出を検出する物体検出手段と、前記搬入又は前記搬出が検出された場合、撮影された時刻が、前記画像が撮影された時刻より前及び後である２枚の画像を、物体管理装置に送信する通信手段と、して動作させ、前記物体管理装置は、前記２枚の画像を受信するのに応じて、当該２枚の画像に基づいて前記庫内における物体の増減を判定する。
【発明の効果】
【００１１】
本発明によると、物体の追跡管理を行うのに必要な通信帯域を低減することができるという効果がある。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の第１、第２、第３の実施形態における、物体管理システム１の構成の例を表すブロック図である。
【図２】図２は、物体の搬入又は搬出を検出する場合における、本発明の第１の実施形態の物体管理システム１の動作を表すフローチャートである。
【図３】図３は、本実施形態の第１の実施形態の物体検出部１０２の構成の例を表すブロック図である。
【図４】図４は、本発明の第１の実施形態の物体管理システム１の画像取得装置１０の、物体検出処理の動作の例を表すフローチャートである。
【図５】図５は、本発明の第１、第２の実施形態の物体管理システム１の物体管理装置２０の動作の例を表すフローチャートである。
【図６】図６は、物体記憶部２０４に格納された物体情報の例を模式的に表す図である。
【図７】図７は、本発明の第２の実施形態の物体管理システム１の画像取得装置１０の、物体検出処理の動作の例を表すフローチャートである。
【図８Ａ】図８Ａは、本発明の第２の実施形態の物体管理システム１の動作を概念的に表す図である。
【図８Ｂ】図８Ｂは、本発明の第２の実施形態の物体管理システム１の動作を概念的に表す図である。
【図８Ｃ】図８Ｃは、本発明の第２の実施形態の物体管理システム１の動作を概念的に表す図である。
【図９】図９は、本発明の第２の実施形態の物体管理装置２０の動作の第２の例を表すフローチャートである。
【図１０】図１０は、物体の搬入又は搬出を検出する場合における、本発明の第３の実施形態の物体管理システム１の動作の例を表すフローチャートである。
【図１１】図１１は、本発明の第４の実施の形態における、物体管理システム１Ａの構成の例を表すブロック図である。
【図１２】図１２は、本発明の第５の実施の形態の物体管理システム１の構成の例を模式的に表す図である。
【図１３】図１３は、物体記憶部２０４に格納された物体情報の例を模式的に表す図である。
【図１４】図１４は、本発明の第６の実施形態の物体管理システム１Ｂの構成の例を表すブロック図である。
【図１５】図１５は、本発明の各実施形態に係る画像取得装置及び物体管理装置を実現することができる、コンピュータ１０００のハードウェア構成の一例を表す図である。
【発明を実施するための形態】
【００１３】
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１４】
また、物体を管理する技術の例として、例えば、参考文献１乃至４が開示されている。
【００１５】
参考文献１（特開２０１４−１１７４０３号公報）には、収納ケース内における、管理対象の物品である薬の有無を検出する方法が記載されている。参考文献２には、物品に取り付けられた信号発信器が発信する無線信号を検出することによって物品を検出する物品管理システムが記載されている。参考文献２の管理システムは、さらに、連続的に撮影された画像を使用して物体の位置を特定する。参考文献３には、複数の撮像手段によって得られた映像を使用して、車両などの物体の、３次元空間における位置を特定する物流計測装置が記載されている。参考文献３の物流計測装置は、さらに、所定の位置を通過する物体の速度と、その位置を通過する物体の数を計測する。参考文献４には、物流ライン全体が撮影された画像から、その物流ライン上の追跡対象物を検出する追跡装置が記載されている。参考文献４の追跡装置は、さらに、検出された追跡対象物と名称とを記憶する。
【００１６】
参考文献１乃至４の技術では、物体が撮影された映像を使用してその物体の追跡管理を行う場合における、物体の検出に使用する映像を送信するのに必要な通信帯域を低減することはできない。
【００１７】
＜第１の実施形態＞
次に、本発明の第１の実施形態について、図面を参照しながら詳細に説明する。
【００１８】
図１は、本発明の第１の実施の形態における、物体管理システム１の構成の例を表すブロック図である。図１を参照すると、物体管理システム１は、画像取得装置１０と、物体の出入りを管理する物体管理装置２０とを含む。本実施形態及び本発明の他の実施形態において、物体は、例えば荷物である。
【００１９】
画像取得装置１０の少なくとも一部は、例えば、トラックの荷台や倉庫等の、荷物などの物体が保管される場所に設置される。以下の説明では、画像取得装置１０が設置されている場所を、「庫内」と表記する。また、画像取得装置１０は、カメラ入力部１０１と、物体検出部１０２と、第１の通信部１０３とを備える。
【００２０】
カメラ入力部１０１は、庫内の画像を撮像する。カメラ入力部１０１は、例えば、続けて画像を撮影する機能と、撮影した画像を物体検出部１０２に送信する機能とを備えたカメラである。カメラ入力部１０１のカメラは、例えば、撮影範囲の明るさの分布を表す、濃淡値が画素値である濃淡画像（多値画像）を出力する。カメラ入力部１０１のカメラは、例えば、撮影範囲の色及び明るさの分布を表す、カラー画像を出力する。
【００２１】
物体検出部１０２は、庫内における、物体の搬入又は搬出を検出する。物体検出部１０２は、必ずしも、庫内に搬入された物体及び庫内から搬出された物体を検出しなくてもよい。物体検出部１０２は、例えば、庫内に動きがある物体が検出し、その物体が検出されなくなった場合、物体の搬入又は搬出が行われたと判定すればよい（すなわち、物体の搬入又は搬出を検出すればよい）。動きがある物体は、例えば、物体を搬入又は搬出するために庫内に入った、人や物体を運搬する運搬機械である。物体検出部１０２は、例えば、後述されるように、背景差分法を使用して、動きがある物体を検出してもよい。その場合、物体検出部１０２は、動きがある物体が検出される前に撮影された画像と、動きがある物体が検出されなくなった後に撮影された画像との間における、差を検出してもよい。その場合、検出された差が基準より大きい場合に、物体検出部１０２は、物体の搬入又は搬出を検出してもよい。
【００２２】
以下で説明する本実施形態の物体管理システム１の動作の例では、物体検出部１０２は、上述のように、物体の搬入又は搬出を検出する。物体検出部１０２が物体の搬入又は搬出を検出する方法は、以上に限られない。物体検出部１０２は、以下の方法や、他の方法によって、物体の搬入又は搬出を検出してもよい。これらの説明のように、物体検出部１０２は、庫内における物体の搬入又は搬出によって生じる、庫内が撮影された画像（庫内が連続して撮影された画像）の特徴を検出すると言い換えることもできる。
【００２３】
物体検出部１０２は、続けて撮影された複数の画像の差が基準より大きい場合に、動きがある物体が庫内に存在すると判定してもよい（すなわち、庫内において動きがある物体を検出してもよい）。その場合、物体検出部１０２は、動きがある物体が検出された後、動きがある物体が検出されなくなった場合に、物体の搬入又は搬出を検出してもよい。物体検出部１０２は、あらかじめ与えられた、物体を運搬する人又は運搬機械の特徴を使用して、庫内が撮影された画像から、人又は運搬機械を検出してもよい。物体検出部１０２は、あらかじめ与えられた、物体を運搬する人及び運搬機械の特徴を使用して、庫内が撮影された画像から、人及び運搬機械の少なくともいずれかを検出してもよい。物体検出部１０２は、人及び運搬機械の少なくともいずれかが検出された場合に、庫内において動きがある物体を検出してもよい。物体検出部１０２は、人及び運搬機械の少なくともいずれかが検出された後、人及び運搬機械の少なくともいずれかが検出されなくなった場合に、物体の搬入又は搬出を検出してもよい。
【００２４】
第１の通信部１０３は、前述の搬入又は搬出が検出される前に庫内が撮影された、少なくとも１枚の画像データ、及び、前述の搬入又は搬出が検出された後に庫内が撮影された、少なくとも１枚の画像データ（すなわち、少なくとも２枚の画像データ）を送信する。
【００２５】
更に、物体管理装置２０は、第２の通信部２０１と、照合部２０３と、登録部２０２と、物体記憶部２０４と、を備える。第２の通信部２０１は、画像取得装置１０から送信された、前述の少なくともの画像データを受信する。照合部２０３は、受信した画像データにおいて、物体の増加及び減少を検出する。登録部２０２は、増加（搬入）又は減少（搬出）が検出された物体の画像データを、照合結果として登録し、さらに、登録されている照合結果を管理する。登録部２０２は、例えば、物体の増加（搬入）が検出された場合、その物体の画像データを、増加（搬入）を表すデータ値に関連付ければよい。そして、登録部２０２は、増加（搬入）を表すデータ値が関連付けられた、増加が検出された物体の画像データを、物体記憶部２０４に格納すればよい。登録部２０２は、例えば、物体の減少（搬出）が検出された場合、その物体の画像データを、減少（搬出）を表すデータ値に関連付ければよい。そして、登録部２０２は、減少（搬出）を表すデータ値が関連付けられた、減少（搬出）が検出された物体の画像データを、物体記憶部２０４に格納すればよい。物体記憶部２０４は、搬入が検出された物体の情報と、搬出が検出された物体の情報を記憶する。物体の情報は、例えば、物体ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）、物体の画像、物体が搬入された時間、物体が搬入された場所、物体が搬出された時間、及び、物体が搬出された場所などである。本発明の各実施形態の説明において、物体の情報は、物体情報とも表記される。
【００２６】
物体管理システム１のうち、画像取得装置１０のカメラ入力部１０１が、例えば、映像を撮影するカメラと、カメラによって撮影された映像を物体取得装置１０が扱える信号に変換するカメラ入力インタフェースとを含んでいればよい。カメラ入力部１０１のカメラは、トラックの荷台や倉庫等の内部である庫内全体を撮像できる位置に設置されていればよい。物体管理システム１の他の構成要素を実現する装置は、カメラ入力部１０１のカメラが設置されている場所とは異なる場所に設置されていてもよい。カメラ入力部１０１に含まれるカメラとカメラ入力インタフェースは、例えば、画像転送用のケーブルによって接続されていればよい。カメラ入力部１０１と、画像取得装置１０のカメラ入力部１０１以外の部とは、例えば、公共の通信ネットワークではなく、バスやその他の高速な通信路を介して接続されている。さらに、物体管理装置２０は、画像取得装置１０と、例えば通信ネットワークを介して、通信可能に接続されていればよい。物体管理装置２０は物理的にトラックの荷台や倉庫に設置されなくてもよい。物体管理装置２０は、画像取得装置１０から、物理的に離れた場所に設置されてもよい。
【００２７】
次に、本実施形態の物体管理システム１の動作について、図面を参照して詳細に説明する。
【００２８】
図２は、物体の搬入又は搬出を検出する場合における、本実施形態の物体管理システム１の動作を表すフローチャートである。
【００２９】
図２に示す動作フローを用いて、本発明の第１の実施の形態における物体管理システム１の動作を説明する。まず、カメラ入力部１０１は、庫内を撮影可能なように設置されているカメラにより、庫内の映像を撮影する。映像は、例えば連続する静止画像によって表される動画像である。本発明の各実施形態の説明において、静止画像を「画像」とも表記する。静止画像を表すデータを、「画像データ」と表記する。静止画像を表す画像データを送信又は受信することを、「画像を送信する」又は「画像を受信する」と表記する。
【００３０】
物体検出部１０２は、カメラ入力部１０１から、庫内が連続的に撮影された画像データを受信する（ステップＳ１０１）。物体検出部１０２は、連続する画像の画像データを、順次受信すればよい。物体検出部１０２は、受信した、複数の画像の画像データを記憶していればよい。ステップＳ１０１において、画像データを受信した場合、物体検出部１０２は、直前に受信した画像データを、過去に受信にした画像の画像データとして記憶すればよい。
【００３１】
物体検出部１０２は、過去に受信した画像の少なくともいずれかを、検出前画像として記憶する（ステップＳ１０２）。物体検出部１０２は、前のフレームの画像データを、検出前画像として記憶してもよい。物体検出部１０２は、過去に受信した複数の画像の画像データを、記憶していてもよい。その場合、物体検出部１０２は、過去に受信した複数の画像から、例えばあらかじめ決められた方法によって、複数の画像を選択してもよい。物体検出部１０２は、選択した複数の画像を、検出前画像として記憶してもよい。
【００３２】
次に、物体検出部１０２は、受信した画像を使用して、物体検出処理を行う（ステップＳ１０３）。ステップＳ１０３では、物体の搬入又は搬出の有無、すなわち、物体の庫内への搬入、又は、物体の庫内への搬出が行われたか否かがが検出される。物体検出処理については、後で詳しく説明する。
【００３３】
物体の搬入又は搬出が検出された場合（ステップＳ１０４においてＹｅｓ）、物体検出部１０２は、検出後画像を記憶する。物体検出部１０２は、例えば、物体の搬入又は搬出が検出された画像より、所定枚数後に入力された画像を、検出後画像として記憶すればよい。そして、物体検出部１０２は、例えば、検出前画像として物体検出部１０２が記憶している検出前画像のうち、最も古い検出前画像を、物体検出の前に撮影された画像として選択する。物体検出部１０２は、検出前画像として記憶している画像のうち、物体の搬入又は搬出が検出された画像より前に記憶した検出前画像から、あらかじめ決められた方法に従って複数の検出前画像を選択してもよい。物体検出部１０２は、物体の搬入又は搬出が検出された場合、あらかじめ決められた方法によって選択された複数の画像を検出後画像として記憶してもよい。
【００３４】
第１の通信部１０３は、物体検出の前及び後に撮影された２枚以上の画像、すなわち、前述の選択された少なくとも１枚検出前画像及び選択された少なくとも１枚の検出後画像を、物体管理装置２０の第２の通信部２０１に送信する（ステップＳ１１１）。物体管理装置２０の第２の通信部２０１は、第１の通信部１０３によって送信された、物体検出の前に撮影された１枚以上の画像及び後に撮影された１枚以上の画像を受信する。
【００３５】
例えば物体管理システム１の管理者による指示等によって、物体検出を終了する場合（ステップＳ１２３においてＹｅｓ）、画像取得装置１０は、図２に示す動作を終了する。物体検出を終了しない場合（ステップＳ１２３においてＮｏ）、画像取得装置１０は、図２示す動作を、ステップＳ１０１から繰り返す。
【００３６】
物体の搬入又は搬出が検出されない場合（ステップＳ１０４においてＮｏ）、画像取得装置１０は、図２示す動作を、ステップＳ１０１から繰り返す。
【００３７】
次に、図２のステップＳ１０３の動作である、本実施形態の物体管理システム１の物体検出処理の動作について、図面を参照して詳細に説明する。
【００３８】
まず、物体検出部１０２の機能が、さらに細かい機能ブロックに分割した例について説明する。
【００３９】
図３は、本実施形態の物体検出部１０２の構成の例を表すブロック図である。図３を参照すると、物体検出部１０２は、短期画像差分部１０２１と、中期画像差分部１０２２と、長期画像差分部１０２３と、検出前画像記憶部１０２４と、統合部１０２５と、検出後画像記憶部１０２６と、検出部１０２７とを含む。以下では、物体検出部１０２の機能を、物体検出部１０２、短期画像差分部１０２１、中期画像差分部１０２２、長期画像差分部１０２３、検出前画像記憶部１０２４、統合部１０２５、検出後画像記憶部１０２６、又は、検出部１０２７の機能として説明する。以下では、さらに、物体検出部１０２の動作を、物体検出部１０２、短期画像差分部１０２１、中期画像差分部１０２２、長期画像差分部１０２３、検出前画像記憶部１０２４、統合部１０２５、検出後画像記憶部１０２６、又は、検出部１０２７の動作として説明する。物体検出部１０２が、物体検出部１０２、短期画像差分部１０２１、中期画像差分部１０２２、長期画像差分部１０２３、検出前画像記憶部１０２４、統合部１０２５、検出後画像記憶部１０２６、及び、検出部１０２７として動作する。
【００４０】
短期画像差分部１０２１、中期画像差分部１０２２、及び長期画像差分部１０２３は、入力された画像と、既に入力されている画像との差分を算出することによって、画像の変化を抽出する。短期画像差分部１０２１は、例えば、最も新しく入力された画像（以下、最新画像と表記する）が入力された時刻より時間Ｔ１だけ前の時刻以降に入力された画像に対して、最新画像の画素値の変化が大きい領域を検出する。上述のＴ１は、閾値ａ以下である。中期画像差分部１０２２は、例えば、最も新しく入力された画像（以下、最新画像と表記する）が入力された時刻より時間Ｔ２だけ前の時刻以降に入力された画像に対して、最新画像の画素値の変化が大きい領域を検出する。上述のＴ２は、閾値ａより大きく、閾値ｂ以下である。短期画像差分部１０２１は、例えば、最も新しく入力された画像（以下、最新画像と表記する）が入力された時刻より時間Ｔ３だけ前の時刻以降に入力された画像に対して、最新画像の画素値の変化が大きい領域を検出する。上述のＴ３は、閾値ｂより大きい。
【００４１】
短期画像差分部１０２１、中期画像差分部１０２２、及び長期画像差分部１０２３は、それぞれ、例えば、背景差分法によって、入力画像において、背景の領域と背景以外の領域をと推定してもよい。
【００４２】
その場合、短期画像差分部１０２１は、例えば、時間Ｔ１だけ前の時刻以降に入力された入力画像を使用して背景画像（以下、短期背景画像と表記）を生成すればよい。そして、短期画像差分部１０２１は、最新画像と短期背景画像の差分画像を算出すればよい。中期画像差分部１０２２は、例えば、時間Ｔ２だけ前の時刻以降に入力された入力画像を使用して背景画像（以下、中期背景画像と表記）を生成すればよい。そして、中期画像差分部１０２２は、最新画像と中期背景画像の差分画像を算出すればよい。長期画像差分部１０２３は、例えば、時間Ｔ３だけ前の時刻以降に入力された入力画像を使用して背景画像（以下、長期背景画像と表記）を生成すればよい。そして、長期画像差分部１０２３は、最新画像と長期背景画像の差分画像を算出すればよい。
【００４３】
短期画像差分部１０２１、中期画像差分部１０２２、及び長期画像差分部１０２３は、それぞれ、画素毎に、画素値の差の大きさを算出すればよい。短期画像差分部１０２１、中期画像差分部１０２２、及び長期画像差分部１０２３は、算出された差の大きさが閾値より小さい画素値を有する画素を、背景に対する変化が無い画素と推定すればよい。短期画像差分部１０２１、中期画像差分部１０２２、及び長期画像差分部１０２３は、算出された差の大きさが閾値以上である画素値を有する画素を、背景に対する変化がある画素と推定すればよい。短期画像差分部１０２１、中期画像差分部１０２２、及び長期画像差分部１０２３は、それぞれ、入力画像を、算出された差の大きさが閾値以上である画素からなる非背景領域と、算出された差の大きさが閾値未満である画素からなる背景領域とに分割すればよい。
【００４４】
長期画像差分部１０２３によって算出される背景領域は、長期間にわたって静止している領域（例えば、変化が無くなってから時間Ｔ３以上が経過した領域）を含む。変化が無くなってから時間Ｔ３以上が経過した領域は、例えば、搬入されてから時間Ｔ３以上が経過した物体の領域、搬出されてから時間Ｔ３以上が経過した物体が置かれていた領域などである。なお、長期画像差分部１０２３によって算出される背景領域には、搬入又は搬出の後時間Ｔ３が経過していない物体の領域も含まれうる。
【００４５】
中期画像差分部１０２２によって算出される背景画像は、中期間静止している領域（例えば、変化が無くなってから時間Ｔ２以上が経過した領域）を含む。変化が無くなってから時間Ｔ２以上が経過した領域は、例えば、搬入されてから時間Ｔ２以上が経過した物体の領域、搬出されてから時間Ｔ２以上が経過した物体が置かれていた領域などである。中期画像差分部１０２２によって算出される背景領域は、長期画像差分部１０２３によって算出される背景領域を含む。中期画像差分部１０２２によって算出される背景領域は、さらに、搬入されてから時間Ｔ２以上が経過した物体の領域、搬出されてから時間Ｔ２以上が経過した物体が置かれていた領域などを含む。中期画像差分部１０２２によって算出される背景領域は、搬入又は搬出後、時間Ｔ２以上経過していない物体の領域を含みうる。
【００４６】
短期画像差分部１０２１によって算出される背景画像は、例えば、変化が無くなってから時間Ｔ１以上が経過した領域を含む。
【００４７】
物体の搬入や搬出のために庫内に入る作業員等は、通常、作業を行うとすぐに庫内から退出する。作業員などは、通常、長時間静止し続けない。時間Ｔ１は、例えば、そのような作業員などの領域を非背景領域として検出し、搬入された物体の領域及び搬出された物体があった領域を速やかに背景として検出できるよう、あらかじめ実験的に求められていればよい。時間Ｔ２は、搬入された物体の領域及び搬出された物体があった領域（物体領域）を、例えば一定期間非背景領域として検出し、その後その物体領域を背景領域としてできるように、あらかじめ実験的に求められていればよい。時間Ｔ３は、例えば、庫内に設置される物体が背景として検出されない又は検出されにくいように、あらかじめ実験的に定められていればよい。長期画像差分部１０２３は、例えば、短期画像差分部１０２１又は中期画像差分部１０２２が非背景領域を検出した画像を、背景画像の生成に使用しないよう設計されていてもよい。
【００４８】
短期画像差分部１０２１、中期画像差分部１０２２、及び長期画像差分部１０２３は、他の方法で、最新画像において、画素値の変化が大きい領域と、画素値の変化が小さい領域とを推定してもよい。
【００４９】
統合部１０２５は、短期画像差分部１０２１、中期画像差分部１０２２、及び長期画像差分部１０２３によって得られた結果を使用して、搬入された物体の領域及び搬出された物体が存在した領域を推定する。統合部１０２５は、例えば、短期画像差分部１０２１によって算出された差分画像において、非背景領域として検出された領域を、作業員等の領域と推定すればよい。統合部１０２５は、さらに、例えば、長期画像差分部１０２３によって非背景領域として検出された領域のうち、作業員等の領域として推定されなかった領域を特定すればよい。統合部１０２５は、例えば、長期画像差分部１０２３によって非背景領域として検出された作業員等の領域ではない領域のうち、中期画像差分部１０２２によって非背景領域として検出されなかった領域を、物体が搬入又は搬出された領域として検出すればよい。
【００５０】
検出前画像記憶部１０２４は、例えば、入力された画像を記憶する。
【００５１】
検出後画像記憶部１０２６は、物体の搬入又は搬出が検出された後の画像を記憶する。
【００５２】
検出部１０２７は、統合部１０２５による検出の結果を使用して、庫内における、物体の搬入又は搬出の有無を検出する。統合部１０２５は、例えば、物体が搬入又は搬出された領域が検出された場合、物体が搬入又は搬出が検出されたと判定すればよい。
【００５３】
検出部１０２７は、さらに、例えば、物体の搬入又は搬出を検出した場合、検出前画像記憶部１０２４から、あらかじめ決められた方法に従って、検出前画像を抽出する。検出部１０２７は、物体の搬入又は搬出を検出した後に検出前画像記憶部１０２４に格納された画像から、あらかじめ決められた方法に従って、検出後画像を抽出してもよい。検出部１０２７は、例えば、あらかじめ定められた枚数の検出後画像が抽出されるまで、抽出された検出後画像を、検出後画像記憶部１０２６に格納してもよい。
【００５４】
検出部１０２７は、少なくとも１枚の検出前画像と、少なくとも１枚の検出後画像とを、第１の通信部１０３に出力する。前述のように第１の通信部１０３は、少なくとも１枚の検出前画像と、少なくとも１枚の検出後画像とを、物体管理装置２０の第２の通信部２０１に送信する。
【００５５】
図４は、本実施形態の物体管理システム１の画像取得装置１０の、物体検出処理の動作の例を表すフローチャートである。物体検出処理は、物体検出部１０２によって行われる。物体検出部１０２には、連続する画像が順次入力されている。
【００５６】
物体検出部１０２に入力された画像は、短期画像差分部１０２１と中期画像差分部１０２２と長期画像差分部１０２３とに入力される。図４では、ステップＳ１１８、ステップＳ１１９、及びステップＳ１２０の動作は、順次行われるように描かれている。しかし、ステップＳ１１８、ステップＳ１１９、及びステップＳ１２０の動作は、図４に示す順番とは異なる順番で行われてもよい。ステップＳ１１８、ステップＳ１１９、及びステップＳ１２０の動作は、並列に行われてもよい。短期画像差分部１０２１は、上述の説明のように、ある一定の閾値ａ以下の期間分の画像データを利用して画像の変化を抽出することによって、背景領域と非背景領域とを検出する（ステップＳ１１８）。長期画像差分部１０２３は、上述の説明のように、ある一定の閾値ｂより長い期間分の画像データを利用して画像の変化を抽出することによって、背景領域と非背景領域とを検出する（ステップＳ１２０）。中期画像差分部１０２２は、上述の説明のように、ある一定の閾値ａより長く閾値ｂ以下の期間分の画像データを利用して画像の変化を抽出することによって、背景領域と非背景領域とを検出する（ステップＳ１１９）。
【００５７】
統合部１０２５は、例えば上述のように動作することによって、期間別の画像の変化を統合する（ステップＳ１２１）。上述のように、統合部１０２５は、短期画像差分部１０２１が検出した非背景領域を、庫内において物体の出し入れを行う人の領域と推定する。統合部１０２５は、部１０２３が検出した背景領域を、長時間変化のない庫内の背景と推定する。統合部１０２５は、例えば、中期画像差分部１０２２が検出した非背景領域と長期画像差分部１０２３が検出した非背景領域の差分領域を、搬入又は搬出された物体の領域として検出する。このように、ある時突然現れまた背景に変化するような物体の状態は、中期画像差分部１０２２による結果によって捉えられる。そのため、検出部１０２７は、人が頻繁に出入りしている庫内においても物体の増減を検出できる。
【００５８】
前述のように、検出部１０２７（すなわち物体検出部１０２）は、ステップＳ１０２において検出前画像記憶部１０２４に格納されている画像から、例えばステップＳ１１１において、少なくとも１枚の、物体検出前の画像を抽出する。検出部１０２７（すなわち物体検出部１０２）は、さらに、ステップＳ１０９において検出前画像記憶部１０２４に格納されている画像から、例えばステップＳ１１１において、少なくとも１枚の、物体検出後の画像を抽出する。検出部１０２７（すなわち物体検出部１０２）は、ステップＳ１１１において、抽出された、少なくとも１枚の、物体の搬入又は搬出が検出される前の画像と、少なくとも１枚の、物体の搬入又は搬出が検出された後の画像とを、第１の通信部１０３を介して、物体管理装置２０に送信する。
【００５９】
その際、物体検出部１０２は、物体管理装置２０に送信される２枚の画像データに、それらの画像を撮影した時間を表す撮影時刻情報を付加してもよい。物体検出部１０２は、物体管理装置２０に送信される２枚の画像データに、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）情報等を用いて得られた、送信される画像を撮影した場所を表す撮影場所情報を付加してもよい。画像取得装置１０は、例えば、画像取得装置１０が備えるタイマ（図示されない）によって得られる、画像取得装置１０がその画像を受信した時刻を、画像を撮影した時刻にすればよい。また、画像取得装置１０は、画像取得装置１０が備える、例えばＧＰＳ信号等を使用して位置を検出する位置検出部（図示されない）によって、撮影場所情報を取得すればよい。そして、物体検出部１０２は、撮影時刻情報や撮影場所情報が負荷された、２枚以上の画像を、第１の通信部１０３を介して送信してもよい。
【００６０】
もし、カメラ側にこれらの処理が無ければ、管理サーバに送信する画像データはすべての画像データを送信する必要がある。特に、１台の物体管理装置２０に複数のカメラが接続されている場合、１台の物体管理装置２０に複数のカメラから画像データが送られる。そのような場合、画像データの通信量が増大してしまうために、物体管理装置２０は、膨大な通信処理及び画像処理を行う必要があり、そのために膨大な処理能力が必要になる。しかし、本実施形態の画像取得装置１０は、物体を検出した前及び後の画像データを一組として送信することにより、通信量を抑えることができる。さらに、本実施形態の画像取得装置１０は、加えて、物体管理装置２０の処理を大幅に軽減することができる。
【００６１】
次に、本実施形態の物体管理システム１の物体管理装置２０の動作について、図面を参照して詳細に説明する。
【００６２】
図５は、本実施形態の物体管理システム１の物体管理装置２０の動作の例を表すフローチャートである。
【００６３】
第２の通信部２０１は、画像取得装置１０から、少なくとも２枚の画像の画像データを受信する（ステップＳ２０１）。少なくとも２枚の画像は、少なくとも１枚の、物体の搬入又は搬出が検出される前に庫内が撮影された画像と、少なくとも１枚の、物体の搬入又搬出が検出された後に庫内が撮影された画像とである。第２の通信部２０１は、受信した少なくとも２枚の画像の画像データを、照合部２０３に送信する。以下では、簡単のため、少なくとも２枚の画像は、１枚の、物体の搬入又は搬出が検出される前に庫内が撮影された画像と、１枚の、物体の搬入又搬出が検出された後に庫内が撮影された画像とであるとして説明する。
【００６４】
照合部２０３は、受信した画像データを使用して、物体検出前に撮影された画像と、物体検出後に撮影された画像の、２枚の画像の差異を検出する。照合部２０３は、検出した際が、物体が搬入されたことによって生じたか、物体が搬出されたことによって生じたかを判定する（ステップＳ２０２）。照合部２０３は、例えば、２枚の画像の、それらの２枚の画像の間に差異がある領域に、物体が存在するか否かを、例えば、マッチングなどの既存の画像処理技術を使用して特定してもよい。その場合、搬入又は搬出が検出される物体の特徴が、あらかじめ、照合部２０３に与えられていてもよい。照合部２０３は、与えられた物体の特徴を使用して、前述の差異がある領域に物体の像が存在するか否かを判定してもよい。
【００６５】
照合部２０３は、それまで受信した複数の画像の画像データ、庫内に何も入っていない状態であらかじめ撮影された画像、及び、過去の画像を利用してもよい。例えば、照合部２０３は、前述の差異がある領域と同じ位置にある領域において、受信した画像のそれぞれと、物体が存在しない状態で撮影された画像とを比較すればよい。差異があらかじめ定められた基準より小さい場合、照合部２０３は、物体が存在しない状態で撮影された画像と比較した画像において、物体は存在しないと判定すればよい。差異があらかじめ定められた基準以上である場合、照合部２０３は、物体が存在しない状態で撮影された画像と比較した画像において、物体が存在すると判定すればよい。
【００６６】
例えば、物体の搬入又は搬出が検出された後に撮影した画像において、前述の差異がある領域に物体が存在する判定した場合、照合部２０３は、物体が搬入されたと判定すればよい（すなわち、物体の搬入を検出すればよい）。照合部２０３は、検出の結果を、例えば、フラグによって表してもよい。物体が搬入されたと判定した場合、照合部２０３は、例えば、「物体搬入フラグ」を「ＯＮ」にすればよい。物体が搬入されたと判定しなかった場合、照合部２０３は、例えば、「物体搬入フラグ」を「ＯＦＦ」にすればよい。照合部２０３は、物体の搬入又は搬出が検出された後に撮影された画像の、前述の差異がある領域を、物体が搬入された領域として特定する。
【００６７】
例えば、物体の搬入又は搬出が検出される前に撮影した画像において、前述の差異がある領域に物体が存在する判定した場合、照合部２０３は、物体が搬出されたと判定すればよい（すなわち、物体の搬入を検出すればよい）。物体が搬出されたと判定した場合、照合部２０３は、例えば、「物体搬出フラグ」を「ＯＮ」にすればよい。物体が搬出されたと判定しなかった場合、照合部２０３は、例えば、「物体搬出フラグ」を「ＯＦＦ」にすればよい。照合部２０３は、物体の搬入又は搬出が検出される前に撮影された画像の、前述の差異がある領域を、物体が搬出された領域として特定する。
【００６８】
物体の搬入が検出された場合（ステップＳ２０３においてＹｅｓ）、例えば、物体搬入フラグが「ＯＮ」であり、且つ、物体搬出フラグが「ＯＦＦ」である場合、登録部２０２は、搬入が検出された物体に、物体ＩＤを付与する（ステップＳ２０４）。新たに付与される物体ＩＤは、既に付与されている物体ＩＤと異なる物体ＩＤであればよい。そして、登録部２０２は、搬入が検出された物体の情報を登録する（ステップＳ２０５）。物体の搬入が検出された後のステップＳ２０５において、登録部２０２は、例えば、付与した物体ＩＤと、物体が搬入されたと判定された領域の画像データとを関連付ければよい。そして、登録部２０２は、互いに関連付けられた、物体ＩＤと物体が搬入されたと判定された領域の画像データとを、例えば、物体記憶部２０４に格納すればよい。登録部２０２は、例えば、物体が搬入された時刻、及び、物体が搬入された場所などを、物体ＩＤに関連付けてもよい。その場合、登録部２０２は、物体ＩＤ及び画像データに加えて、物体が搬入された時刻、及び、物体が搬入された場所などを、物体記憶部２０４に格納すればよい。
【００６９】
物体の搬入が検出されず（ステップＳ２０３においてＮｏ）、物体の搬出が検出された場合（ステップＳ２０６においてＹｅｓ）、照合部２０３は、搬出された物体が搬入されたときの画像を特定する（ステップＳ２０７）。照合部２０３は、例えば、物体の搬入又は搬出が検出される前に撮影された画像における、前述の差異がある領域と、物体記憶部２０４に画像データが格納されている画像の各々とを比較すればよい。そして、照合部２０３は、例えば、物体記憶部２０４に画像データが格納されている画像の中で、物体の搬入又は搬出が検出される前に撮影された画像における、前述の差異がある領域と、最も類似する画像を特定すればよい。照合部２０３は、画像の類似の判定を、例えば、テンプレートマッチングなどの、画像乗る維持の程度を判定する既存のいずれかの方法で行えばよい。照合部２０３は、特定した画像に関連付けられている物体ＩＤを、搬出された物体の物体ＩＤとして特定する（ステップＳ２０８）。すなわち、照合部２０３は、特定した画像に関連付けられている物体ＩＤによって特定される物体を、搬出された物体と判定する。
【００７０】
次に、登録部２０２は、搬出が検出された物体の情報を登録する（ステップＳ２０５）。物体の搬出が検出された後のステップＳ２０５では、登録部２０２は、搬出された物体と判定された物体情報を、その物体情報が、物体が搬出されたことを表すように更新する。登録部２０２は、例えば、物体記憶部２０４が記憶する物体情報において、搬出されたと判定された物体の物体ＩＤに、物体が搬出されたことを表すフラグを関連付けてもよい。登録部２０２は、例えば、搬出されたと判定された物体の搬出時刻及び搬出場所を、物体記憶部２０４に格納してもよい。
【００７１】
物体の搬入が検出されず（ステップＳ２０３においてＮｏ）、物体の搬出が検出されなかった場合（ステップＳ２０６においてＮｏ）、すなわち、物体搬入フラグ及び物体搬出フラグが共に「ＯＦＦ」であった場合、物体管理装置２０は、図５に示す動作を終了する。この場合、例えば、物体の搬入又は搬出を検出する動作において、画像取得装置１０が誤動作（例えば誤検出）した可能性が考えられる。そのため、この場合、次に、少なくとも２枚の画像を受信した場合に、照合部２０３が、少なくとも４枚の画像データを使用して、物体の搬入及び搬出を判定してもよい。
【００７２】
図６は、物体記憶部２０４に格納された物体の情報の例を模式的に表す図である。図６に示す例では、物体情報は、物体ＩＤと、搬入時刻と、搬入場所と、画像データと、搬出時刻と、搬出場所とを含む。図６に示す例では、画像データは、画像のファイル名によって表される。この場合、物体記憶部２０４は、図６に示す物体情報に加えて、物体情報に画像データとして含まれるファイル名が付与された、画像の画像データが格納されたファイルを記憶していればよい。図６に示す例では、物体が庫内に搬入された後搬出されていない場合、その物体の物体情報は、搬出時刻及び搬出場所のデータを含まない。物体が庫内に搬入された後搬出された場合、その物体の物体情報は、搬出時刻及び搬出場所のデータを含む。物体の物体情報が搬出時刻及び搬出場所のデータを含まない場合、その物体の物体情報は、搬入されたその物体が、搬出されていないことを表す。物体の物体情報が搬出時刻及び搬出場所のデータを含む場合、その物体の物体情報は、その物体が、搬入された後、搬出されたことを表す。
【００７３】
以上で説明した本実施形態には、物体の追跡管理を行うのに必要な通信帯域を低減することができるという効果がある。その理由は、物体検出部１０２が、物体の搬入又は搬出を検出するからである。そして、第１の通信部１０３が、物体の搬入又は搬出が物体検出部１０２によって検出される前の画像と、物体の搬入又は搬出が物体検出部１０２によって検出された後の画像とを、物体管理装置２０に送信するからである。
【００７４】
＜第２の実施形態＞
次に、本発明の第２の実施形態について、図面を参照して詳細に説明する。
【００７５】
図１は、本実施形態の物体管理システム１の構成の例を表すブロック図である。本実施形態の物体管理システム１は、以下で説明する相違を除き、第１の実施形態の物体管理システム１と同じである。
【００７６】
本実施形態の物体検出部１０２は、カメラ入力部１０１によって物体検出部１０２に送信される、連続画像において、物体を検出し、さらに、検出された物体を追跡する。以下の説明では、庫内において移動する物体を、動物体と表記する。本実施形態では、物体検出部１０２は、物体を検出し、検出された物体が動物体として移動するのを追跡することによって、物体の搬入又は搬出を検出する。言い換えると、物体検出部１０２は、検出した物体を動物体として追跡した場合、その物体が、搬入又は搬出されたと判定する。物体検出部１０２は、動物体が検出される前の画像を、検出前画像として記憶する。物体検出部１０２は、動物体の追跡が完了した後の画像を、検出後画像として記憶する。
【００７７】
次に、本実施形態の物体管理システム１の動作について、図面を参照して詳細に説明する。
【００７８】
図７は、本実施形態の物体管理システム１の画像取得装置１０の、物体検出処理の動作の例を表すフローチャートである。
【００７９】
まず、物体検出部１０２は、カメラ入力部１０１から、カメラによって庫内が撮影された映像（すなわち、庫内が連続的に撮影された連続画像の画像データ）を受信する（ステップＳ１０１）。連続的に撮影された連続画像の画像データは、一般的なビデオカメラを使用した撮影によって得られる、１秒間に３０枚の画像が撮影された画像データであってもよい。連続的に撮影された連続画像の画像データは、例えば、１秒間に１枚の画像が撮影された画像データのように、間欠的なフレームレートで撮影された映像の画像データであってもよい。連続画像のフレームレートは、庫内において物体を搬入又は搬出する作業員又は機械の動きの早さに応じて選択されていればよい。例えば、高速に動作するロボットアームが、庫内において物体の搬入及び搬出を行う場合、人が庫内において物体の搬入及び搬出を行う場合と比較して、庫内を撮影する連続画像のフレームレートを高くする必要がある。以下で説明するように、物体検出部１０２は、例えば、連続画像のフレーム間において、画像に大きな変化を検出した場合、庫内において物体が搬入又は搬出されていると判定する。そのため、本実施形態の物体検出部１０２が物体の搬入又は搬出を検出するためには、人又は物体運搬用の機器が庫内に入ってから出るまでの間に、その人又は物体運搬用の機器が撮影された画像が、受信した画像に少なくとも１枚以上含まれている必要がある。従って、連続画像のフレームレートは、庫内に入った人又は物体運搬用の機器が、少なくとも１枚以上の画像において撮影されるように選択されていればよい。
【００８０】
物体検出部１０２は、少なくとも、最も新しい画像の直前に（すなわち、１フレーム過去に）受信した画像を記憶している。物体検出部１０２は、例えば、フレームメモリを備えていればよい。そして、物体検出部１０２は、そのフレームメモリに、１フレーム過去に受信した画像を記憶していればよい。
【００８１】
物体検出部１０２は、まず、例えばフレームメモリに格納されている、１フレーム過去の画像と、受信した最も新しい画像との差に基づいて、動物体が庫内に存在するか否かを検出する（ステップＳ１０３Ａ）。物体検出部１０２は、例えば、１フレーム過去の画像と、受信した最も新しい画像との、画素毎の画素値の差を算出すればよい。物体検出部１０２は、画素値の差の大きさが、例えばあらかじめ定められた閾値を越える画素を特定すればよい。そして、物体検出部１０２は、特定された画素の連結領域を抽出すればよい。連結領域は、例えば、連結領域に含まれる画素は、その連結領域に含まれる他のいずれかの画素に隣接する、画素のグループである。物体検出部１０２は、所定のサイズ以上の連結領域が抽出された場合、その連結領域を、動物体の領域として検出すればよい。物体検出部１０２は、動物体の領域が検出された場合、庫内に動物体が存在することを検出すればよい。物体検出部１０２は、動物体の検出結果を、例えば以下のように、動物体検出フラグによって表せばよい。庫内に動物体があることが検出された場合、物体検出部１０２は、動物体検出フラグを「ＯＮ」に設定する。物体検出部１０２は、動物体検出フラグを「ＯＮ」である場合、後述されるように、ステップＳ１０７において、さらに、動物体追跡フラグを「ＯＮ」に設定する。従って、動物体検出フラグが「ＯＮ」であり、且つ動物体追跡フラグが「ＯＦＦ」である状態は、動物体が存在していなかった庫内に動物体が検出されたことを表す。
【００８２】
ステップＳ１０５において、動物体検出フラグが「ＯＮ」であり、且つ動物体追跡フラグが「ＯＦＦ」である場合（ステップＳ１０５においてＮｏ）、物体検出部１０２は、検出前画像を記憶する（ステップＳ１０２）。ステップＳ１０２において、物体検出部１０２は、例えばフレームメモリに格納されている画像データを、物体の搬入又は搬出が検出される前に撮影された画像すなわち検出前画像の画像データとして記憶すればよい。そして、物体検出部１０２は、動物体の追跡を開始する（ステップＳ１０７）。ステップＳ１０７において、物体検出部１０２は、動物体検出フラグを「ＯＮ」に設定すればよい。例えば、動物体検出フラグを「ＯＮ」に設定することが、動物体の追跡を開始することであればよい。動物体の追跡は、例えば、動物体が検出され続けている状態であることを記憶しておくことであってもよい。
【００８３】
ステップＳ１０５において、動物体検出フラグが「ＯＮ」であり、且つ動物体追跡フラグが「ＯＮ」である場合（ステップＳ１０５においてＹｅｓ）、物体検出部１０２は、動物体追跡中である。その場合、物体検出部１０２は、動物体の追跡を継続する（ステップＳ１０７）。すなわち、物体検出部１０２は、動物体追跡フラグを「ＯＮ」に保つ。
【００８４】
また、動物体検出フラグが「ＯＦＦ」であり、且つ動物体追跡フラグが「ＯＮ」である状態は、庫内を移動していた動物体が、静止したことを表す。動物体検出フラグが「ＯＦＦ」であり、且つ動物体追跡フラグが「ＯＮ」である場合、物体検出部１０２は、検出後画像を記憶する（ステップＳ１０９）。物体検出部１０２は、例えば、最も新しく入力された入力画像データを、物体の搬入又は搬出が検出された後に撮影された画像すなわち検出後画像の画像データとして記憶すればよい。
【００８５】
そして、物体検出部１０２は、動物体の追跡を終了する（ステップＳ１１０）。ステップＳ１１０において、動物体検出部１０２は、動物体追跡フラグを「ＯＦＦ」に設定すればよい。動物体追跡フラグを「ＯＦＦ」に設定することが、動物体の追跡を終了することであってもよい。
【００８６】
次に、物体検出部１０２は、ステップＳ１０２において記憶した検出前画像、及び、ステップＳ１０９において記憶した検出後画像の、２枚の画像の画像データを、物体管理装置２０の第２の通信部２０１に、第１の通信部１０３を介して送信する。その際、物体検出部１０２は、２枚の画像の画像データに、撮影時刻情報や、ＧＰＳ情報等を用いて特定した、それらの２枚の画像のそれぞれが撮影された場所を表す撮影場所情報を付加してもよい。そして、物体検出部１０２は、撮影時刻情報や撮影場所情報が負荷された２枚の画像の画像データを、第１の通信部１０３を介して送信してもよい。撮影時刻情報は、その撮影時刻情報が画像データに付加された２枚の画像のそれぞれが撮影された時刻を表す。前述のように、撮影時刻情報は、例えば、画像取得装置１０のタイマ（図示されない）によって特定された、物体検出部１０２がカメラ入力部１０１から画像を受信した時刻であればよい。撮影場所情報は、その撮影場所情報が画像データに付加された２枚の画像のそれぞれが撮影された場所を表す。画像が撮影された場所は、例えば、画像取得装置１０が備える位置検出部（図示されない）が、例えばＧＰＳ情報などを用いて特定した、物体検出部１０２がその画像をカメラ入力部１０１から受信した際の場所であってもよい。
【００８７】
もし、カメラ側にある画像取得装置１０がこれらの処理を行わなければ、カメラによって撮影された全ての画像の画像データが、物体管理装置２０に送信される必要がある。さらに、１台の物体管理装置２０に複数のカメラを接続され、それらのカメラから１台の物体管理装置２０に全ての画像データが往診される場合、画像データの送信に必要な通信量は増大してしまう。そのため、物体管理装置２０は、膨大な通信処理を行う必要がある。さらに、物体管理装置２０は、膨大な画像処理能力が必要になる。本実施形態の画像取得装置１０は、例えば１枚の、動物体を検出する前に撮影された画像の画像データ、及び、例えば１枚の、動物体を検出した後に撮影された画像の画像データを送信する。そのことにより、通信量を抑えることができる。さらに、物体管理装置２０の処理を大幅に軽減することができる。
【００８８】
本実施形態の物体管理装置２０の動作は、図５に示す、第１の実施家位置の物体管理装置２０の動作と同じである。
【００８９】
図８Ａ、図８Ｂ、及び図８Ｃは、本実施形態の物体管理システム１の動作を概念的に表す図である。
【００９０】
図８Ａは、庫内に何もない状態を表す。図８Ａに示す画像Ｄ１０１は、図８Ａに示す状態で、画像取得装置１０が撮像した画像である。図８Ｂは、庫内に人が物体（図８Ｂの例では荷物）を持って入ってきた状態を表す。図８Ｂに示す画像Ｄ１０２は、図８Ｂに示す状態で、画像取得装置１０が撮像した画像である。画像Ｄ１０１の次に、画像Ｄ１０２のように作業中の人が映った画像が入力された場合、物体検出部１０２は、動物体検出フラグを「ＯＮ」にする。そして、物体検出部１０２は、画像データＤ１０１を、物体の搬入又は搬出が検出される前の画像として記憶する。庫内で人が作業中である間、画像データＤ１０２のような、動いている人が映った画像の入力が続く。その場合、物体検出部１０２は、動物体追跡フラグを「ＯＮ」にする。物体を持って入ってきた人が物体を置いて庫外に出た場合、庫内に動物体は無くなる。その場合、物体検出部１０２は、庫内の動きがなくなったと判定する。そして、物体検出部１０２は、動物体検出フラグを「ＯＦＦ」に設定する。図８Ｃは、庫内に物体を置いた人が、庫内から退出した後の状態を表す。図８Ｃに示す画像Ｄ１０３は、図８Ｃに示す状態で撮影された画像である。物体検出部１０２は、画像データＤ１０３を、物体の搬入又は搬出が検出された後の画像として記憶する。物体検出部１０２は、さらに動物体追跡フラグも「ＯＦＦ」に設定する。そして、物体検出部１０２は、画像データＤ１０１とＤ１０３の２枚の画像の画像データを、物体管理装置２０に、第１の通信部１０３を介して送信する。第１の通信部１０３が、これらの２枚の画像を物体管理装置２０に送信する。物体管理装置２０の照合部２０３は、２枚の画像（Ｄ１０１及びＤ１０３）の画像データを比較することによって、２枚の画像の差を検出する。差が検出された場合、照合部２０３は、さらに、その差が生じた領域において、物体の増加（すなわち物体の搬入）及び物体の減少（すなわち物体の搬出）のどちらが起こったかを判定する。物体が増加していると判定した場合、照合部２０３は、物体搬入フラグを「ＯＮ」にする。物体が減少していると判定した場合、照合部２０３は、物体搬出フラグを「ＯＮ」にする。図８Ｃに示す例では、照合部２０３は、物体搬入フラグを「ＯＮ」に設定する。照合部２０３は、増加した物体（すなわち、搬入された物体）に、物体ＩＤを付加する。照合部２０３は、物体ＩＤに加えて、例えば、搬入を検出した時刻（すなわち搬入時刻）と、搬入場所と、画像データとを登録する。すなわち、照合部２０３は、物体ＩＤと、物体ＩＤに関連付けられた、搬入時刻、搬入場所、及び画像データを、物体記憶部２０４に格納する。物体ＩＤは通し番号でもよい。物体ＩＤ、搬入時刻と搬入場所をコード化したデータであってもよい。搬入場所は、例えば、ＧＰＳを利用して測定された緯度及び経度であってもよい。例えば、物体を搬入した人が、搬入場所を人手で入力してもよい。照合部２０３は、画像Ｄ１０３と画像Ｄ１０１を比較した結果に基づいて、物体の領域と判定した領域のみ切り出し、切り出した画像の画像データを登録された画像データとして、物体記憶部２０４に格納すればよい。
【００９１】
図９は、本実施形態の物体管理装置２０の動作の第２の例を表すフローチャートである。本実施形態の物体管理装置２０及び本発明の他の実施形態の物体管理装置２０は、図７に示す動作の代わりに、図９に示す動作を行ってもよい。図９に示す各ステップの動作は、ステップＳ２０９及びステップＳ２１０の動作を除き、図７に示す、同じ番号が付与されたステップの動作と同じである。以下では、物体は荷物である場合について説明する。本発明の各実施形態において、物体は荷物に限られない。
【００９２】
荷物が搬入されたと判定した場合（ステップＳ２０３においてＹｅｓ）、照合部２０３は、物体が再搬入されたか否かを判定する（ステップＳ２０９）。ステップＳ２０９において、照合部２０３は、搬入されたと判定された荷物と、物体記憶部２０４に物体情報が格納されている荷物との間で、例えば以下の説明のように、画像を使用した照合を行ってもよい。ステップＳ２０９において、照合部２０３は、例えば、搬入された荷物の領域の画像と、既に搬出された荷物の画像として登録されている画像を比較することによって、搬入された荷物が、搬出されたいずれかの荷物であるか否かを判定してもよい。
【００９３】
照合部２０３は、例えば、物体記憶部２０４に格納されている画像の中から、既存の方法から選択された画像の類似性を判定する方法に従って判定された、搬入された荷物の領域の画像に対する類似性が、閾値を上回る画像を検出すればよい。そのような画像が検出された場合、照合部２０３は、搬入されたと判定された荷物が、再搬入された荷物であると判定する。照合部２０３は、検出された画像に関連付けられている物体ＩＤによって特定される物体が、搬入されたと判定すればよい。本発明の各実施形態の説明において、搬入された又は搬出されたと判定された、例えば荷物などの物体の物体ＩＤが、物体情報が物体記憶部２０４に格納されているどの物体の物体ＩＤであるかを特定することを、物体を照合すると表記する。
【００９４】
荷物が再搬入された荷物ではない、すなわち、荷物が新しく搬入された荷物であると判定された場合（ステップＳ２１０においてＮｏ）、図７に示すステップＳ２０４以降の動作と同じ動作を行う。
【００９５】
荷物が再搬入されたと判定された場合（ステップＳ２１０においてＹｅｓ）、照合部２０３は、搬入された荷物に新しい物体ＩＤを付与しない。ステップＳ２０５において、照合部２０３は、例えば、検出された画像に関連付けられている物体ＩＤに関連付けられている、搬入場所、搬入時刻などを更新してもよい。照合部２０３は、例えば、検出された画像に関連付けられている物体ＩＤに、その物体ＩＤによって特定される物体が再び搬入された、搬入場所、搬入時刻、新たに撮影された画像などを、さらに関連付けてもよい。
【００９６】
例えば、荷物を届け先に届けるために、その荷物を庫内から搬出したが、届け先が不在である場合、その荷物は庫内に再び搬入される。そのような場合、照合部２０３が、搬入された荷物の画像と、物体記憶部２０４に格納されている荷物の画像とを、上述のように照合することによって、搬入された荷物が、初めて搬入されたか、再び搬入されたかを判定することができる。搬入された荷物が再び搬入された荷物であると判定した場合、照合部２０３は、その荷物に、新しく物体ＩＤを割り当てない。照合部２０３は、その荷物の物体ＩＤとして、その荷物が前回搬入された際に使用していた物体ＩＤを使用する。このように、照合部２０３が、複数回搬入された荷物の物体ＩＤとして同じ物体ＩＤを使用することよって搬入時刻及び搬入場所を管理する。そのことにより、物体管理装置２０は、再配達荷物を容易に管理することが可能となる。
【００９７】
以上で説明した本実施形態には、第１の実施形態と同じ効果がある。その理由は、第１の実施形態の効果が生じる理由と同じである。
【００９８】
＜第３の実施形態＞
次に、本発明の第３の実施形態の物体管理システム１について、図面を参照して詳細に説明する。
【００９９】
図１は、本実施形態の物体管理システム１の構成の例を表すブロック図である。本実施形態の物体管理システム１の構成は、図１に示す、第２の実施形態の物体管理システム１の構成と同じである。本実施形態の物体管理システム１は、以下で説明する相違を除き、第２の実施形態の物体管理システム１と同じである。
【０１００】
本実施形態の物体検出部１０２は、物体として、人物又は運搬機械を検出する。本実施形態では、物体検出部１０２は、人物又は運搬機械の、特徴的な部分を、庫内に設置されたカメラが撮影した画像において検出する。人物を検出する場合、物体検出部１０２は、例えば、人物の頭部を、人物の特徴的な部分として検出する。運搬機械を検出する場合、物体検出部１０２は、運搬機械の種類に応じて適宜選択された、運搬機械の特徴的な部分を検出すればよい。物体検出部１０２は、検出した人物の追跡を行う。本実施形態における人物の追跡は、人物を連続して検出することである。例えば、物体検出部１０２が、人物を連続して検出し続けている場合、物体検出部１０２は、物体を追跡している。
【０１０１】
物体検出部１０２は、人物（又は運搬機械）が検出された場合、動物体検出フラグを「ＯＮ」にすればよい。物体検出部１０２は、人物（又は運搬機械）が検出されない場合、動物体検出フラグを「ＯＦＦ」にすればよい。物体検出部１０２は、人物の追跡を開始する場合、動物体追跡フラグを「ＯＮ」に設定すればよい。物体検出部１０２は、人物の追跡を終了する場合、動物体追跡フラグを「ＯＦＦ」に設定すればよい。
【０１０２】
物体検出部１０２は、人物を検出してもよい。物体検出部１０２は、運搬機械を検出してもよい。物体検出部１０２は、人物及び運搬機械の双方を検出してもよい。以下では、物体検出部１０２が人物を検出する場合について説明する。
【０１０３】
次に、物体の搬入又は搬出を検出する場合における、本実施形態の物体管理システム１の動作について、図面を参照して詳細に説明する。
【０１０４】
図１０は、物体の搬入又は搬出を検出する場合における、本実施形態の物体管理システム１の動作の例を表すフローチャートである。本実施形態では、物体検出部１０２は、人物を検出することによって、物体の搬入又は搬出を検出する。物体検出部１０２は、人物が検出された場合に、物体の搬入又は搬出が行われたと判定する。
【０１０５】
物体検出部１０２は、庫内を撮影できるよう設置されているカメラによって連続的に撮影された、庫内の画像を、カメラ入力部１０１あら受信する（ステップＳ１０１）。ステップＳ１０１の動作は、図２に示す第１の実施形態の画像取得装置１０のステップＳ１０１の動作、及び、図７に示す第２の実施形態の画像取得装置１０のステップＳ１０１の動作と同じである。
【０１０６】
次に、物体検出部１０２は、カメラから入力された画像データにおいて、人物又は物体を運搬する機械である運搬機械を検出する（ステップＳ１１２）。物体検出部１０２は、ステップＳ１１２における検出の結果に応じて、動物体検出フラグを設定する。上述のように、人物が検出された場合、物体検出部１０２は、動物体検出フラグを「ＯＮ」に設定する。人物が検出されなかった場合、物体検出部１０２は、動物体検出フラグを「ＯＦＦ」に設定する。また、前フレームにおいて人物が検出された場合、物体検出部１０２は、動物体追跡フラグを「ＯＮ」に設定する。前フレームにおいて人物が検出されなかった場合、物体検出部１０２は、動物体検出フラグを「ＯＦＦ」に設定する。
【０１０７】
人物が検出された場合（ステップＳ１１３においてＹｅｓ）、動物体検出フラグは「ＯＮ」に設定されている。さらに、人物を追跡中でない場合、すなわち、前のフレームでは人物が検出されなかった場合（ステップＳ１１４においてＮｏ）、動物体検出フラグは「ＯＦＦ」に設定されている。その場合、物体検出部１０２は、例えば、前のフレームの画像の画像データを、物体検出直前の画像の画像データとして記憶する（ステップＳ１０２）。次に、物体検出部１０２は、人物の追跡を開始する（ステップＳ１１５）。ステップＳ１１５では、物体検出部１０２は、動物体追跡フラグを「ＯＮ」に設定すればよい。そして、画像取得装置１０は、再び、ステップＳ１０１以降の動作を行う。
【０１０８】
人物を追跡中である場合、すなわち、前のフレームにおいて人物が検出された場合（ステップＳ１１４においてＹｅｓ）、物体検出部１０２は、動物体追跡フラグを「ＯＮ」に設定したままにする（ステップＳ１１５）。そして、画像取得装置１０は、再び、ステップＳ１０１以降の動作を行う。
【０１０９】
人物が検出されず（ステップＳ１１３においてＮｏ）、人物を追跡中でない場合（ステップＳ１１６においてＮｏ）、動物体検出フラグは「ＯＦＦ」に設定され、動物体追跡フラグは「ＯＦＦ」に設定されている。その場合、画像取得装置１０は、再び、ステップＳ１０１以降の動作を行う。
【０１１０】
人物が検出されず（ステップＳ１１３においてＮｏ）、人物を追跡中である場合（ステップＳ１１６においてＹｅｓ、動物体検出フラグは「ＯＦＦ」に設定され、動物体追跡フラグは「ＯＮ」に設定されている。その場合、ステップＳ１０１において受信した画像に、人物は写っていない。すなわち、庫内から人物はいなくなっている。物体検出部１０２は、ステップＳ１０１において受信した画像を、検出後画像として記憶する（ステップＳ１０９）。そして、物体検出部１０２は、人物の追跡を終了する（ステップＳ１１７）。ステップＳ１１７において、物体検出部１０２は、動物体追跡フラグを「ＯＦＦ」に設定すればよい。さらに、物体検出部１０２は、ステップＳ１０２において記憶した検出前画像、及び、ステップＳ１０９において記憶した、検出後画像の、２枚の画像の画像データを、物体管理装置２０に送信する（ステップＳ１１１）。例えば物体管理システム１のユーザーによる指示に応じて人物検出を終了する場合（ステップＳ１２４においてＹｅｓ）、画像取得装置１０は、図１０に示す動作を終了する。人物検出を終了しない場合（ステップＳ１２４においてＮｏ）画像取得装置１０は、再び、ステップＳ１０１以降の動作を行う。
【０１１１】
以上で説明した本実施形態には、第１の実施形態と同じ効果がある。その理由は、第１の実施形態の効果が生じる理由と同じである。
【０１１２】
以上のように、カメラ側にある装置においてこれらの処理が行われない場合、物体管理装置２０に対して、カメラが撮影したすべての画像の画像データを送信する必要がある。特に、１台の物体管理装置２０に複数のカメラを接続されている場合、画像データの通信量が増大してしまう。しかし、本実施形態の画像取得装置１０は、人物を検出することによって物体の搬入又は搬出を検出する前の画像、及び物体の搬入又は搬出を検出した後の画像の画像データを送信する。そのため、本実施形態では、通信量を抑えることが可能になる。更に、本実施形態では、庫内で人物や物体を運搬する機械が静止している場合であっても、人物や物体を運搬する機械を検出することができる。すなわち、庫内で人物や物体を運搬する機械が静止している間も、動物体追跡処理は継続する。そのため、物体の搬入又は搬出が完了していない状態で、庫内で人物や物体を運搬する機械が静止した場合は、物体の搬入又は搬出を検出しない。本実施形態の物体検出部１０２は、人物や物体を運搬する機械が庫内にいなくなった場合に、物体の搬入又は搬出を検出する。よって、庫内における作業が完了した後に撮影した画像の画像データが、物体管理装置２０に送信される。従って、物体管理装置２０に送信される画像データの量は少なくて済む。
【０１１３】
＜第４の実施形態＞
次に、本発明の第４の実施形態について、図面を参照して障害に説明する。
【０１１４】
図１１は、本発明の第４の実施の形態における、物体管理システム１Ａの構成の例を表すブロック図である。図１１を参照すると物体管理システム１Ａは、画像取得装置１０Ａと、物体管理装置２０とを含む。物体管理装置２０は、本発明の他の実施形態の物体管理装置２０と同じである。画像取得装置１０Ａは、図１に示す、第３の実施形態の画像取得装置１０の各構成要素に加えて、距離測定部１０５を含む。
【０１１５】
距離測定部１０５は、例えば、カメラ入力部１０１のカメラに隣接する位置に取り付けられる。そして、距離測定部１０５は、例えば、庫内に存在する物体までの距離を測定する。距離測定部１０５は、例えば、カメラ入力部１０１のカメラと共にステレオカメラとして使用できる、そのカメラとは別のカメラであってもよい。距離測定部１０５は、例えば、ＴｏＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）に基づく距離カメラであってもよい。距離測定部１０５は、レーザー光によって距離を測定する距離計測計であってもよい。
【０１１６】
距離測定部１０５は、上述のカメラが画像を撮影するのと同時又はほぼ同時に、距離を測定する。距離測定部１０５がカメラである場合、測定結果は、濃淡画像又はカラー画像である。距離測定部１０５は、例えば、距離測定部１０５が撮影した画像と、カメラ入力部１０１が撮影した画像とを使用して、距離画像を生成する。距離画像は、撮影範囲における、画素の画素値が、その画素の方向における撮影対象までの距離を表す画像である。距離測定部１０５が距離画像を生成する方法として、既存の様々な方法が適用可能である。距離測定部１０５は、生成した距離画像を出力する。距離測定部１０５が距離カメラである場合、距離測定部１０５は、撮影によって得られる距離画像を、物体検出部１０２に出力する。距離測定部１０５が、レーザー光によって距離を測定する距離計測計である場合、距離測定部１０５は、例えば、カメラ入力部１０１のカメラが撮影する範囲又はその範囲に近い範囲において、距離を測定することによって得られた距離を使用して距離画像を生成する。
【０１１７】
本実施形態の物体検出部１０２は、検出前画像に加えて、検出前画像と同時又はほぼ同時に測定された距離に基づく距離画像（以下、検出前距離画像と表記する）を記憶する。物体検出部１０２は、検出後画像に加えて、検出後画像と同時又はほぼ同時に測定された距離に基づく距離画像（以下、検出後距離画像と表記する）を記憶する。物体検出部１０２は、検出前画像及び検出後画像に加えて、検出前距離画像と検出後距離画像とを、物体管理装置２０に送信する。
【０１１８】
照合部２０３は、検出前距離画像又は検出後距離画像によって得られる、搬入された物体のサイズ又は搬出された物体のサイズを使用して、搬入された物体と、物体記憶部２０４に物体情報が格納されている物体との照合を行う。
【０１１９】
次に、本発明の物体管理システム１の動作について、図面を参照して詳細に説明する。
【０１２０】
本実施形態の画像取得装置１０Ａの動作は、以下の相違を除き、図２、図７、又は、図９に示す、第１、第２、及び第３のいずれかの実施形態の画像取得装置１０の動作と同じである。その相違の一つは、物体検出部１０２が、検出前画像に加えて検出前距離画像を記憶すること、及び、検出後画像に加えて検出後距離画像を記憶することである。その相違の一つは、物体検出部１０２が、検出前画像及び検出後画像に加えて、検出前距離画像及び検出後距離画像を、第１の通信部１０３を介して、物体管理装置２０に送信することである。
【０１２１】
本実施形態の物体管理装置２０の動作は、以下の相違を除き、図５又は図９に示す、第１、第２、及び第３のいずれかの実施形態の物体管理装置２０の動作と同じである。その相違点の一つは、照合部２０３が、検出前距離画像又は検出後距離画像を使用して、搬入された物体と、物体記憶部２０４に物体情報が格納されている物体との照合を行うことである。
【０１２２】
以上で説明した本実施形態には、第１の実施形態と同じ効果がある。その理由は第１の実施形態の効果が生じる理由と同じである。
【０１２３】
本実施形態には、さらに、物体管理装置２０が物体情報を登録する際の物体ＩＤの管理を容易にすることができるという効果がある。その理由は、距離計測部１０４が、カメラ入力部１０１のカメラの撮影範囲において、対象までの距離を計測する空である。例えば、物体とカメラとの距離が分かった場合、その物体のサイズも分かる。そのため、画像データだけでは見分けがつきにくい物体を、物体のサイズの違いを使用して同定することが可能となる。
【０１２４】
＜第５の実施形態＞
次に、本発明の第５の実施形態について、図面を参照して詳細に説明する。
【０１２５】
図１２は、本発明の第５の実施の形態の物体管理システム１の構成の例を模式的に表す図である。本実施形態は、第１から第４の実施形態の物体管理システム１の応用例である。本実施形態では、物体は荷物である。
【０１２６】
図１２を参照すると、本実施形態の物体管理システム１は、物体管理装置２０と、荷物を保管するトラックの荷台や倉庫等に設置された複数の画像取得装置１０とを含む。複数の画像取得装置１０の各々と、物体管理装置２０は、例えば無線通信ネットワークを介して、通信可能に接続されている。図１２に示す例では、以下の説明において、トラックの荷台には、本実施形態の画像取得装置１０が取り付けられている。また、「少なくとも２枚以上の画像データ」は、物体の搬入又は搬出が検出される前に撮影された１枚以上の検出前画像と、物体の搬入又は搬出が検出された後に撮影された１枚以上の検出後画像との画像データを指す。
【０１２７】
例えば、集荷や積み替えなどによって、トラックの荷台に荷物が搬入された場合、画像取得装置１０は少なくとも２枚以上の画像データを物体管理装置２０に送信する。その場合、物体管理装置２０は、荷物が搬入されたことを検出する。そして、物体管理装置２０は、搬入された荷物に、物体ＩＤ（例えば０００１）を付与する。物体管理装置２０は、物体ＩＤを付与した荷物を登録し、その荷物を管理する。すなわち、物体管理装置２０は、物体ＩＤを付与した荷物の物体情報を記憶する。
【０１２８】
例えば、荷物が搬入されたトラックが、営業所までその荷物を運搬した後、営業所においてその荷物がトラックから降ろされた場合、画像取得装置１０は、少なくとも２枚以上の画像データを物体管理装置２０に送信する。その場合、物体管理装置２０は、搬出されたことを検出する。そして、物体管理装置２０は、搬出された荷物と、管理している物体情報と照合する。物体管理装置２０は、搬出された荷物の物体ＩＤが０００１であることを特定した場合、物体ＩＤが０００１である荷物が搬出されたことを登録する。例えば、物体管理装置２０は、物体ＩＤが０００１である荷物の搬出場所として、その営業所を記憶する。また、物体管理装置２０は、物体ＩＤが０００１である荷物の搬出時刻として、例えば、荷物の搬出が検出された画像が撮影された時刻を記憶する（すなわち、物体記憶部２０４に格納する）。
【０１２９】
営業所においてトラックから搬出された荷物が、例えば更に大規模な倉庫にその荷物を運ぶために、再び、他のトラックに積み込みこまれたとする。その場合、荷物が積み込まれたトラックの荷台に取り付けられている画像取得装置１０は、その荷台に荷物が搬入されるのに応じて、少なくとも２枚以上の画像データを物体管理装置２０に送信する。物体管理装置２０は、そのトラックの荷台に荷物が搬入されたことを検出する。物体管理装置２０は、搬入されたことが検出された荷物と、物体情報を記憶している荷物との照合を行う。照合の結果、搬入が検出された荷物の物体ＩＤが０００１である場合、物体管理装置２０は、物体ＩＤが０００１である荷物が、再びトラックに搬入されたことを登録する。物体管理装置２０は、例えば、物体ＩＤが０００１である荷物の搬入場所と搬入時間を、記憶している物体情報に追加する（すなわち、物体記憶部２０４に格納する）。
【０１３０】
図１３は、物体記憶部２０４に格納されている物体情報の例を模式的に表す図である。図１３に示すように、物体管理装置２０は、一つの物体の搬入及び搬出が繰り返された場合、一つの物体ＩＤに対して、例えば搬入の回数と同じ数の、画像データ、搬入時刻、搬入場所、搬出時刻、搬出場所等の組み合わせを、物体記憶部２０４に格納すればよい。
【０１３１】
画像取得装置１０は、例えば、倉庫内のベルトコンベアを撮影できるように取り付けられていてもよい。その場合、画像取得装置１０は、ベルトコンベア上を荷物が移動している場合、少なくとも２枚の画像データを、物体管理装置２０に送信すればよい。物体管理装置２０は、ベルトコンベア上を通過した荷物の照合を行ってもよい。その場合、物体管理装置２０は、ベルトコンベア上を通過した荷物の通過情報を登録することもできる。
【０１３２】
更に、荷物を配送する過程において、異なるトラックへの積み替えや、配達のための荷物の搬出が行われた場合にも、同様の処理を行うことによって、物体管理装置２０は、荷物の受け取りから配達の完了までのトレースが可能となる。すなわち、本実施形態によると、１台の物体管理装置２０によって、荷物の受け取りから配達の完了までのトレースが可能である。
【０１３３】
以上で説明した本実施形態には、第１の実施形態と同じ効果がある。その理由は、第１の実施形態の効果が生じる理由と同じである。
【０１３４】
以下では、本実施形態の効果についてさらに詳しく説明する。
【０１３５】
例えば、画像取得装置１０の画像を、動画像として物体管理装置２０に送信し続けることができれば、複数の画像取得装置１０に対して１台の物体管理装置２０によって荷物を管理することが可能である。しかし、その場合、大量の動画像データを送信できるだけの通信帯域と、大量の動画像データを処理できるだけの、物体管理装置２０の処理能力が必要である。
【０１３６】
本実施形態によると、画像取得装置１０が、上述の少なくとも２枚の画像データを送信するので、物体管理装置２０に送信される画像データの量を抑制することができる。さらに、物体管理装置２０が行う画像処理の負荷を軽減させることが可能である。複数の画像取得装置１０から送信される画像の処理を、１台の物体管理装置２０によって行うことが容易になる。また、本実施形態によると、物体管理装置２０は、１つの荷物に対して１つの物体ＩＤを付与し、荷物の保管場所が変わっても、荷物に付与される物体ＩＤを変更しない。そのため、荷物の保管場所が変わるたびに画像取得装置１０から送信される画像データを使用して、その荷物の物体情報を更新することによって、荷物の追跡を行うのに必要な負担を軽減することができる。本実施形態の物体管理装置２０によらずに、荷物の追跡を行う場合、例えば、荷物を運搬する作業員が、搬入時間、搬入場所、搬出時間、及び搬出場所などを、手作業で入力する必要がある。
【０１３７】
＜第６の実施形態＞
次に、本発明の第６の実施形態について、図面を参照して詳細に説明する。本実施形態は、以上で説明した各実施形態に共通する概念を表す実施形態である。
【０１３８】
図１４は、本実施形態の物体管理システム１Ｂの構成の例を表すブロック図である。
【０１３９】
図１４を参照すると、本実施形態の物体管理システム１Ｂは、庫内が撮影された画像において、前記庫内における物体の搬入又は搬出を検出する物体検出部１０２と、前記搬入又は前記搬出が検出された場合、撮影された時刻が、前記画像が撮影された時刻より前及び後である２枚の画像を送信する第１の通信部１０３と、を備える。本発明の各実施形態の説明では、単に、通信部１０３と表記される部は、第１の通信部１０３を指す。
【０１４０】
以上で説明した本実施形態には、第１の実施形態と同じ効果がある。その理由は、第１の実施形態の効果が生じる理由と同じである。
【０１４１】
＜他の実施形態＞
画像取得装置１０、画像取得装置１０Ａ、画像取得装置１０Ｂ、及び物体管理装置２０は、それぞれ、コンピュータ及びコンピュータを制御するプログラム、専用のハードウェア、又は、コンピュータ及びコンピュータを制御するプログラムと専用のハードウェアの組合せにより実現することができる。
【０１４２】
図１５は、画像取得装置１０、画像取得装置１０Ａ、画像取得装置１０Ｂ、及び物体管理装置２０を実現することができる、コンピュータ１０００のハードウェア構成の一例を表す図である。図１５を参照すると、コンピュータ１０００は、プロセッサ１００１と、メモリ１００２と、記憶装置１００３と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１００４とを含む。また、コンピュータ１０００は、記録媒体１００５にアクセスすることができる。メモリ１００２と記憶装置１００３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ハードディスクなどの記憶装置である。記録媒体１００５は、例えば、ＲＡＭ、ハードディスクなどの記憶装置、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、可搬記録媒体である。記憶装置１００３が記録媒体１００５であってもよい。プロセッサ１００１は、メモリ１００２と、記憶装置１００３に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ１００１は、Ｉ／Ｏインタフェース１００４を介して、他の装置にアクセスすることができる。プロセッサ１００１は、記録媒体１００５にアクセスすることができる。記録媒体１００５には、コンピュータ１０００を、画像取得装置１０、画像取得装置１０Ａ、画像取得装置１０Ｂ、又は物体管理装置２０として動作させるプログラムが格納されている。
【０１４３】
プロセッサ１００１は、記録媒体１００５に格納されている、コンピュータ１０００を、画像取得装置１０、画像取得装置１０Ａ、画像取得装置１０Ｂ、又は物体管理装置２０として動作させるプログラムを、メモリ１００２にロードする。そして、プロセッサ１００１が、メモリ１００２にロードされたプログラムを実行することにより、コンピュータ１０００は、画像取得装置１０、画像取得装置１０Ａ、画像取得装置１０Ｂ、又は物体管理装置２０として動作する。
【０１４４】
カメラ入力部１０１、物体検出部１０２、第１の通信部１０３、距離測定部１０５、第２の通信部２０１、登録部２０２、及び照合部２０３は、例えば、プログラムを記憶する記録媒体１００５からメモリ１００２に読み込まれた、各部の機能を実現することができる専用のプログラムと、そのプログラムを実行するプロセッサ１００１により実現することができる。また、物体記憶部２０４は、コンピュータ１０００が含むメモリ１００２やハードディスク装置等の記憶装置１００３により実現することができる。あるいは、カメラ入力部１０１、物体検出部１０２、第１の通信部１０３、距離測定部１０５、第２の通信部２０１、登録部２０２、照合部２０３、及び物体記憶部２０４の一部又は全部を、各部の機能を実現する専用の回路によって実現することもできる。
【０１４５】
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【０１４６】
１    物体管理システム
１Ａ    物体管理システム
１Ｂ    物体管理システム
１０    画像取得装置
１０Ａ    画像取得装置
１０Ｂ    画像取得装置
２０    物体管理装置
１０１    カメラ入力部
１０２    物体検出部
１０３    第１の通信部
１０５    距離測定部
２０１    第２の通信部
２０２    登録部
２０３    照合部
２０４    物体記憶部
１０００    コンピュータ
１００１    プロセッサ
１００２    メモリ
１００３    記憶装置
１００４    Ｉ／Ｏインタフェース
１００５    記録媒体
１０２１    短期画像差分部
１０２２    中期画像差分部
１０２３    長期画像差分部
１０２４    検出前画像記憶部
１０２５    統合部
１０２６    検出後画像記憶部
１０２７    検出部
【図１】
2016066277.tif 000003
【図２】
2016066277.tif 000004
【図３】
2016066277.tif 000005
【図４】
2016066277.tif 000006
【図５】
2016066277.tif 000007
【図６】
2016066277.tif 000008
【図７】
2016066277.tif 000009
【図８Ａ】
2016066277.tif 000010
【図８Ｂ】
2016066277.tif 000011
【図８Ｃ】
2016066277.tif 000012
【図９】
2016066277.tif 000013
【図１０】
2016066277.tif 000014
【図１１】
2016066277.tif 000015
【図１２】
2016066277.tif 000016
【図１３】
2016066277.tif 000017
【図１４】
2016066277.tif 000018
【図１５】
2016066277.tif 000019