(57)【要約】【課題】使用されずに冷蔵庫内で放置されている物品が存在することをユーザに気づかせる技術を提供する。【解決手段】庫内監視システム１は、冷蔵庫の内部を撮像して冷蔵庫の内部の画像データを生成する撮像部１０２と、撮像部１０２により生成された第１の画像データと当該第１の画像データよりも前に生成された第２の画像データとの差分を用いて、冷蔵庫の内部における物品の位置の変化を判断し、物品の位置履歴データを更新するデータ更新部１０４と、基準時間以上位置に変化のない位置不変物品を位置履歴データに基づいて検出した場合に、所定の報知情報を出力する報知部１０６と、を備える。【選択図】図１
2018155430.tif 000002
【特許請求の範囲】
【請求項１】
冷蔵庫の内部を監視する庫内監視システムであって、
前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成する撮像手段と、
前記撮像手段により生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新するデータ更新手段と、
基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力する報知手段と、
を備える庫内監視システム。
【請求項２】
前記撮像手段は、前記冷蔵庫の扉が閉められたタイミングで前記冷蔵庫の内部を撮像する、請求項１に記載の庫内監視システム。
【請求項３】
前記データ更新手段は、基準量以上の差分が検出された部分を、前記物品の位置の変化がある部分として認識する、請求項１または２に記載の庫内監視システム。
【請求項４】
前記データ更新手段は、
前記冷蔵庫の内部における複数の部分領域を定義するデータと前記差分とを用いて、前記物品の位置が同一の部分領域内で変化しているか否かを判断し、
前記物品の位置が同一の部分領域内で変化している場合は、前記位置履歴データ上において変化がないものとする、請求項１乃至３のいずれか１項に記載の庫内監視システム。
【請求項５】
前記冷蔵庫の内部における複数の部分領域それぞれに前記基準時間が定義されており、
前記報知手段は、前記部分領域別の前記基準時間を用いて前記位置不変物品を検出する、請求項１乃至４のいずれか１項に記載の庫内監視システム。
【請求項６】
前記報知情報を用いて、前記位置不変物品の存在を報知する画面を表示装置に表示させる表示処理手段を更に備える、請求項１乃至５のいずれか１項に記載の庫内監視システム。
【請求項７】
前記撮像手段は前記冷蔵庫の収納スペースの奥側に設けられている、請求項１乃至６のいずれか１項に記載の庫内監視システム。
【請求項８】
前記報知手段は、前記位置不変物品の検出に応じて予め定められた宛先に前記報知情報を出力する、請求項１乃至７のいずれか１項に記載の庫内監視システム。
【請求項９】
前記報知手段は、前記報知情報の送信要求に応じて、前記送信要求の送信元に前記報知情報を出力する、請求項１乃至８のいずれか１項に記載の庫内監視システム。
【請求項１０】
前記報知手段は、前記送信要求に含まれる指定条件に合致する前記位置不変物品の情報を前記報知情報として出力する、請求項９に記載の庫内監視システム。
【請求項１１】
コンピュータによって実行される、冷蔵庫の内部を監視する庫内監視方法であって、
前記コンピュータが、
前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成し、
生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新し、
基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力することを含む、
庫内監視方法。
【請求項１２】
前記コンピュータが、
前記冷蔵庫の扉が閉められたタイミングで前記冷蔵庫の内部を撮像することを含む、請求項１１に記載の庫内監視方法。
【請求項１３】
前記コンピュータが、
前記物品毎に前記差分を算出し、当該差分が基準以上の前記物品を、前記冷蔵庫の内部で位置が変化した物品として認識することを含む、請求項１１または１２に記載の庫内監視方法。
【請求項１４】
前記コンピュータが、
前記冷蔵庫の内部における複数の部分領域を定義するデータを用いて、前記物品の位置が前記部分領域を跨って変化したか否かを判断し、
前記物品の位置が前記部分領域を跨って変化していない場合は、前記位置履歴データ上において変化がないものとすることを含む、請求項１１乃至１３のいずれか１項に記載の庫内監視方法。
【請求項１５】
前記コンピュータが、
前記冷蔵庫の内部における複数の部分領域と当該部分領域別の前記基準時間とを定義するデータを用いて前記位置不変物品を検出することを含む、請求項１１乃至１４のいずれか１項に記載の庫内監視方法。
【請求項１６】
前記コンピュータが、
前記報知情報を用いて前記位置不変物品の存在を報知する画面を表示装置に表示させることを含む、請求項１１乃至１５のいずれか１項に記載の庫内監視方法。
【請求項１７】
撮像装置が前記冷蔵庫の収納スペースの奥側に設けられていることを含む、請求項１１乃至１６のいずれか１項に記載の庫内監視方法。
【請求項１８】
前記コンピュータが、
前記位置不変物品の検出に応じて予め定められた宛先に前記報知情報を出力することを含む、請求項１１乃至１７のいずれか１項に記載の庫内監視方法。
【請求項１９】
前記コンピュータが、
前記報知情報の送信要求に応じて、前記送信要求の送信元に前記報知情報を出力することを含む、請求項１１乃至１８のいずれか１項に記載の庫内監視方法。
【請求項２０】
前記コンピュータが、前記送信要求に含まれる指定条件に合致する前記位置不変物品の情報を前記報知情報として出力することを含む、請求項１９に記載の庫内監視方法。
【請求項２１】
請求項１１乃至２０のいずれか１項に記載の庫内監視方法をコンピュータに実行させるプログラム。
【請求項２２】
冷蔵庫であって、
前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成する撮像手段と、
前記撮像手段により生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新するデータ更新手段と、
基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力する報知手段と、
を備える冷蔵庫。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、冷蔵庫などに保管される物品の管理技術に関する。
【背景技術】
【０００２】
下記特許文献１および特許文献２には、冷蔵庫の内部の画像を用いて冷蔵庫に保管される物品を管理する技術の一例が開示されている。下記特許文献１は、冷蔵庫の中の収納物に遮られない位置に設けられたマーカーに基づいて、冷蔵庫の収納状況が把握しやすい画面を残し、そのデータに基づいて冷蔵庫内の収納量を推定する技術を開示している。また、下記特許文献２は、冷蔵庫の内部を撮影する撮影装置とこの撮影装置を制御する制御部とを、同一の扉に設けることによって、撮影装置と制御部との間の配線が長く煩雑化することを抑制する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−００６３７９号公報
【特許文献２】特開２０１６−２２３７３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
冷蔵庫の中に複数の物品を保管している場合、後方に位置する物品が前方に位置する物品の死角に入ってしまい、ユーザがその存在を忘れてしまうこともある。この場合、その物品は使用されずに冷蔵庫内に放置され、結果、その物品の使用期限が切れてしまう可能性がある。上述の各特許文献に開示される技術は、このような課題を解決する具体的な方法を何ら提供していない。
【０００５】
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、使用されずに冷蔵庫内で放置されている物品が存在することをユーザに気づかせる技術を提供することである。
【課題を解決するための手段】
【０００６】
本発明の庫内監視システムは、冷蔵庫の内部を監視するシステムである。当該庫内監視システムは、（１）前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成する撮像手段と、（２）前記撮像手段により生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新するデータ更新手段と、（３）基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力する報知手段と、を備える。
【０００７】
本発明の庫内監視方法は、コンピュータによって実行される。当該庫内監視方法は、（１）前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成し、（２）生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新し、（３）基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力することを含む。
【０００８】
本発明のプログラムは、本発明の庫内監視方法をコンピュータに実行させる。
【０００９】
本発明の冷蔵庫は、（１）前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成する撮像手段と、（２）前記撮像手段により生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新するデータ更新手段と、（３）基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力する報知手段と、を備える。
【発明の効果】
【００１０】
本発明によれば、使用されずに冷蔵庫内で放置されている物品が存在することを、ユーザに認識させることができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態における庫内監視システムの構成を例示するブロック図である。
【図２】第２実施形態における庫内監視システムの機能構成を例示するブロック図である。
【図３】位置履歴データの一例を示す図である。
【図４】冷蔵庫のハードウエア構成を例示するブロック図である。
【図５】サーバ装置のハードウエア構成を例示するブロック図である。
【図６】第２実施形態における庫内監視システムの第１の動作例を示すシーケンス図である。
【図７】第２実施形態における庫内監視システムの第１の動作例を示すシーケンス図である。
【図８】第２実施形態における庫内監視システムの第２の動作例を示すシーケンス図である。
【図９】第３実施形態の庫内監視システムの機能構成を例示するブロック図である。
【図１０】第３実施形態における庫内監視システムの第１の動作例を示すシーケンス図である。
【図１１】第３実施形態における庫内監視システムの第２の動作例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
【００１３】
［第１実施形態］
〔システム構成〕
図１は、第１実施形態における庫内監視システム１の構成を例示するブロック図である。図１に示されるように、庫内監視システム１は、撮像部１０２、データ更新部１０４、および報知部１０６を備える。庫内監視システム１は、冷蔵庫（図示せず）の内部を監視するためのシステムである。
【００１４】
撮像部１０２は、冷蔵庫の内部を撮像して冷蔵庫の内部の画像データを生成する。データ更新部１０４は、撮像部１０２により生成された画像データ（第１の画像データ）と、当該第１の画像データよりも前に生成された画像データ（第２の画像データ）との差分を算出する。そして、データ更新部１０４は、第１の画像データと第２の画像データとに基づいて算出した差分を用いて、冷蔵庫の内部における物品の位置の変化を判断する。そして、データ更新部１０４は、冷蔵庫の内部の物品の位置の変化に基づいて、冷蔵庫内での物品の位置の履歴を示すデータ（以下、「位置履歴データ」とも表記）を更新する。報知部１０６は、冷蔵庫内で基準時間以上位置に変化のない物品（以下、「位置不変物品」とも表記）を位置履歴データに基づいて検出する。そして、報知部１０６は、位置不変物品を検出した場合に所定の報知情報を出力する。報知情報は、位置不変物品が存在することをユーザに通知するための情報である。報知情報は、例えば、冷蔵庫が備える表示装置（図示せず）や冷蔵庫のユーザが使用する端末（図示せず）に出力される。
【００１５】
〔作用・効果〕
以上、本実施形態では、冷蔵庫の内部を撮像した画像データに基づいて冷蔵庫内の物品の位置の履歴を示す位置履歴データが更新され、その位置履歴データに基づいて基準時間以上位置に変化のない物品（位置不変物品）が存在するか否かが判別される。ここで、ある期間以上冷蔵庫の中での位置に変化がない物品（位置不変物品）について、ユーザがその物品の存在を認識していない可能性があると言える。なお、冷蔵庫の中での位置に変化があった物品については、その物品をユーザが認識しているものと判断できる。本実施形態では、位置不変物品が検出された場合には、その位置不変物品の存在を通知するための報知情報が出力される。この報知情報を確認することによって、ユーザは、自身が認識していない物品が冷蔵庫の中に存在することに気付くことができる。
【００１６】
［第２実施形態］
本実施形態では、第１実施形態をより詳細に説明する。
【００１７】
〔機能構成〕
図２は、第２実施形態における庫内監視システム１の機能構成を例示するブロック図である。庫内監視システム１は、１台以上の冷蔵庫２０、１台以上のサーバ装置３０、および１台以上の携帯端末４０を含んで構成される。なお図２では、図の簡略化のため、冷蔵庫２０、サーバ装置３０、および携帯端末４０をそれぞれ１台ずつ有する庫内監視システム１が記載されている。冷蔵庫２０は、第１実施形態で説明した撮像部１０２に加え、表示処理部１０８Ａを備えている。サーバ装置３０は、第１実施形態で説明したデータ更新部１０４および報知部１０６を備えている。携帯端末４０は、表示処理部１０８Ｂとリクエスト部１１０とを備えている。
【００１８】
＜サーバ装置３０の機能構成＞
本実施形態において、データ更新部１０４は、各冷蔵庫２０から、その冷蔵庫２０の内部の画像データ（第１の画像データ）をその冷蔵庫２０を識別する情報（例：冷蔵庫２０の個体ＩＤ（identifier）など）と共に取得する。そして、データ更新部１０４は、第１の画像データとその第１の画像データよりも前に生成された画像データ（第２の画像データ）とを比較することによって、２つの画像データの差分を算出する。データ更新部１０４は、既知の画像処理アルゴリズムを利用して、冷蔵庫２０に入れられた新たな物品の有無、冷蔵庫２０から取り出された既存の物品の有無、既存の物品の位置の変化などを、差分として抽出することができる。また、データ更新部１０４は、既知の画像処理アルゴリズムを利用して、冷蔵庫２０に保管される物品に関する情報（物品の種類やパッケージに付与される名称など）を抽出することもできる。なお、第２の画像データは、例えばサーバ装置３０のストレージデバイス（図示せず）といった所定の記憶領域に、冷蔵庫２０を識別する情報と紐付けた状態で記憶されている。データ更新部１０４は、第１の画像データと共に取得した、冷蔵庫２０を識別する情報を用いて、所定の記憶領域に記憶されている複数の画像データの中から比較対象とすべき第２の画像データを特定して読み出すことができる。そして、データ更新部１０４は、算出した差分に基づいて、その冷蔵庫２０に対応する位置履歴データを更新する。
【００１９】
位置履歴データは、例えば、冷蔵庫２０の内部の画像データを所定のマトリクスに分割して管理するデータである。位置履歴データは、報知部１０６が位置不変物品を検出できるように、例えば、物品の位置に変化がない状態が継続している期間（位置不変期間）を示す情報をマトリクス毎に紐付けて記憶する（例：図３）。図３は、位置履歴データの一例を示す図である。図３の例において、位置履歴データは、マトリクスの位置を示す情報、位置不変期間を示す情報、および、そのマトリクスの位置にある物品に関する情報（物品の名称や種類を示す情報、入庫時間を示す情報など）を含む。本実施形態において、図３に示すような位置履歴データは、冷蔵庫２０の識別情報に紐付けられた状態で記憶されている。
【００２０】
この場合、データ更新部１０４は、第１の画像データと第２の画像データとの差分を用いて、冷蔵庫２０に入れられた新たな物品の有無、冷蔵庫２０から取り出された既存の物品の有無、既存の物品の位置の変化などを所定のマトリクス毎に判定し、その結果に基づいて位置履歴データを更新することができる。例えば、データ更新部１０４は、既存の物品の位置が変化していないと判定されたマトリクスについて、そのマトリクスに紐付く位置不変期間を更新する。データ更新部１０４は、例えば、第１の画像データに付与された撮影時刻情報と第２の画像データに付与された撮影時刻情報との差分値を加えることにより、そのマトリクスに紐付く位置不変期間を更新することができる。また、データ更新部１０４は、新たな物品が入れられた、既存の物品が取り出された、或いは、既存の物品の位置が変化したと判定されたマトリクスについて、そのマトリクスに紐付く位置不変期間をリセットする。
【００２１】
ここで、ユーザが認識していない場合であっても、冷蔵庫の内部での物品の位置が変化する可能性がある。例えば、ユーザが冷蔵庫２０の収納スペースに新たな物品を入れた場合においてその新たな物品が既存の物品に触れてしまい、既存の物品の位置が移動することも有り得る。
【００２２】
上述したようなケースに対応するために、データ更新部１０４は、基準量以上の差分が検出された部分を、物品の位置が変化した部分として認識するように構成されていてもよい。差分に対して設定される基準量は、例えば、図示しないサーバ装置３０のメモリやストレージデバイスなどに予め記憶される。この場合、データ更新部１０４は、例えば次のように動作することができる。まず、データ更新部１０４は、既知の画像処理アルゴリズムを用いて第１の画像データと第２の画像データとの間における対応画素領域を特定し、その対応画素領域における差分と予め記憶された基準量とを比較する。比較の結果、基準量以上の差分が検出された場合、データ更新部１０４は、対応画素領域に対応するマトリクスの位置不変期間をリセットして位置履歴データを更新する。一方、基準量未満の差分が検出された場合、データ更新部１０４は、第１の画像データと第２の画像データとの間の撮影時刻の差分値を、対応画素領域に対応するマトリクスの位置不変期間に加えることによって位置履歴データを更新する。ここで、既存の物品が位置変化によって別のマトリクスに移動した場合、データ更新部１０４は、位置変化前のマトリクスの位置不変期間をベースとして、位置変化後のマトリクスの位置不変期間を更新することができる。なおこの場合、データ更新部１０４は移動前のマトリクスの位置不変期間をリセットする。
【００２３】
その他にも、冷蔵庫２０の内部の収納スペースを複数の部分領域に論理的に区分しておき、データ更新部１０４が、同一の部分領域の中での物品の位置の変化を変化として扱わないように構成されていてもよい。この場合、データ更新部１０４は、例えば次のように動作することができる。まず、データ更新部１０４は、既知の画像処理アルゴリズムを用いて第１の画像データと第２の画像データとの間における対応画素領域を特定し、対応画素領域の移動ベクトル（差分）を抽出する。そして、データ更新部１０４は、冷蔵庫２０の内部における複数の部分領域を定義するデータ及び第１の画像データと前記第２の画像データとの差分を用いて、対応画素領域の位置（すなわち、物品の位置）が同一の部分領域内で変化したか否かを判断する。なお、冷蔵庫２０の内部における複数の部分領域を定義するデータは、サーバ装置３０が備えるメモリやストレージデバイスなどに予め記憶される。物品の位置が同一の部分領域内で変化している場合、データ更新部１０４は、位置履歴データ上においてその物品に変化がないものとする。具体的には、データ更新部１０４は、実際には物品の位置に変化があったとしても、その物品が動いていない状態が継続しているものとして、その物品に対応するマトリクスの位置不変期間を更新する。一方、物品の位置が別の部分領域に変化している場合、データ更新部１０４は、その物品の位置に変化があったとして、その物品に対応するマトリクスの位置不変期間をリセットする。
【００２４】
そして、第１実施形態で説明したように、報知部１０６は位置履歴データに基づいて位置不変物品を検出する。例えば、報知部１０６は、図３の位置履歴データが示す各マトリクスの位置不変期間と、位置不変期間に対して予め設定された基準時間とを比較することによって、位置不変物品（位置不変物品が存在するマトリクス）を検出することができる。基準時間を示す情報は、例えば、サーバ装置３０のメモリやストレージデバイス上に予め記憶されている。
【００２５】
そして、報知部１０６は、データ更新部１０４により更新された位置履歴データに基づいて、位置不変物品を検出する。例えば、報知部１０６は、図３の位置履歴データに含まれる位置不変期間と、サーバ装置３０が備えるメモリやストレージデバイスなどに予め記憶された基準時間とを比較して、基準時間以上の位置不変期間を有するマトリクスを検出する。報知情報は、検出したマトリクスの部分画像から認識される物品の種類や名称、そのマトリクスに紐付けられた物品の入庫時間、および、検出したマトリクスを他のマトリクスと区別可能に加工（例えば、特定の色の線で囲むなど）した画像データの少なくともいずれか１つを含む。
【００２６】
ここで、冷蔵庫２０の内部において、前方に保管されている物品よりも後方に保管されている物品の方が、ユーザが気付きにくい。ユーザが気づきにくい場所に保管されている物品に対しては早めに通知を行うことが好ましい。そこで、冷蔵庫２０の内部を複数の部分領域に区分し、その部分領域それぞれに基準時間を個別に設定してもよい。具体的には、冷蔵庫２０の収納スペースの奥側に位置する部分領域ほど短い基準時間が設定される。冷蔵庫２０の内部における複数の部分領域と当該部分領域別の基準時間とを定義するデータはサーバ装置３０のメモリやストレージデバイスなどに記憶される。報知部１０６は、冷蔵庫２０の内部における複数の部分領域と当該部分領域別の基準時間とを定義するデータを用いて、位置不変物品を検出することができる。
【００２７】
ここで、報知部１０６は、位置不変物品の検出に応じて、予め定められた宛先に報知情報を出力するように構成されていてもよいし、後述するように、冷蔵庫２０の表示処理部１０８Ａや携帯端末４０の表示処理部１０８Ｂからの送信要求に応じて報知情報を出力するように構成されていてもよい。前者の場合について、宛先を特定する情報（以下、「宛先情報」とも表記）は、例えば、冷蔵庫２０や携帯端末４０との間で通信を確立するための情報であり、サーバ装置３０のストレージデバイス（図示せず）などに位置履歴データの各レコードに対応付けて記憶される。
【００２８】
＜冷蔵庫２０の機能構成＞
冷蔵庫２０は、庫内の画像を撮像するために、撮像部１０２を備えている。ここで、冷蔵庫２０の奥側のスペースほどユーザの目が届きにくく、そのようなスペースに置かれた物品ほどユーザが忘れてしまう可能性が高くなる。つまり、冷蔵庫２０の奥側ほど、位置不変物品が存在する可能性が高いと言える。よって、特に限定されないが、位置不変物品を精度よく検出するという観点から、冷蔵庫２０の収納スペースの奥側に少なくとも１台の撮像部１０２が設けられていると好ましい。これにより、前方の物品の裏に隠れてしまった奥側の物品を含む画像データを取得することができる。
【００２９】
また、撮像部１０２は、常時または所定の間隔で庫内を撮像するように構成されていてもよいし、冷蔵庫２０の扉の開閉と連動したタイミングで、庫内の画像データを撮像するように構成されていてもよい。後者の場合、撮像部１０２は、例えば、冷蔵庫２０の扉に設けられたセンサなどにより生成される「扉の閉状態」を示す信号を検出し、当該信号の検出に応じて冷蔵庫の内部を撮像するように構成することができる。
【００３０】
また、冷蔵庫２０は、サーバ装置３０の報知部１０６からの報知情報を用いて、位置不変物品の存在を報知する画面を表示させる表示処理部１０８Ａを更に備える。冷蔵庫２０は、例えば扉の外面にディスプレイを備えており、表示処理部１０８Ａは、サーバ装置３０からの報知情報に応じて、そのディスプレイに所定の報知用画面を表示させる。また、表示処理部１０８Ａは、サーバ装置３０からの報知情報に応じて通知用ランプ（図示せず）を点滅させるなどして、位置不変物品が検出されたことをユーザに知らせるように構成されていてもよい。この場合、ユーザは、通知用ランプの点滅を確認した後、例えば冷蔵庫２０上のタッチパネル上のボタンや機械式ボタンを押下する。表示処理部１０８Ａは、このようなユーザの操作に応じて、報知用画面を冷蔵庫２０のディスプレイに表示させることができる。
【００３１】
表示処理部１０８Ａは、報知情報の送信要求をサーバ装置３０に対して行うための画面を更に表示するように構成されていてもよい。冷蔵庫２０のユーザが表示処理部１０８Ａにより表示された画面を操作することにより、サーバ装置３０に対する報知情報の送信要求を冷蔵庫２０から出力させる。サーバ装置３０は、報知情報の送信要求に応じて報知情報を生成し、当該送信要求の送信元（ここでは、携帯端末４０）に報知情報を出力することができる。また、送信要求には、例えば、「Ｎ日以上位置が変わっていない物品」や「指定された日付以降から存在している物品」といった指定条件を含めることができる。サーバ装置３０の報知部１０６は、指定条件に合致する位置不変物品を位置履歴データに基づいて特定し、特定した位置不変物品に関する情報を報知情報に含めて送信要求の送信元である冷蔵庫２０に出力することができる。また、「指定された日付以降から存在している物品」の中には、冷蔵庫２０に最近入庫された物品であるために、位置不変物品に該当しない物品が含まれ得る。このような物品に関する情報もユーザにとって有用であるため、報知部１０６は、位置不変物品であるか否かを問わず指定条件に該当する物品に関する情報を報知情報に含めて、送信要求の送信元である２０に出力するように構成されていてもよい。
【００３２】
＜携帯端末４０の機能構成＞
携帯端末４０は、冷蔵庫２０のユーザが使用する端末（例えば、スマートフォンやタブレット端末など）である。携帯端末４０は表示処理部１０８Ｂを備える。表示処理部１０８Ｂは、例えば、携帯端末４０上にインストールされる専用アプリケーションとして実現される。
【００３３】
表示処理部１０８Ｂは、サーバ装置３０の報知部１０６からの報知情報を用いて、位置不変物品の存在を報知する画面を携帯端末４０のディスプレイに表示させる。例えば、表示処理部１０８Ｂは、サーバ装置３０の報知部１０６からの報知情報を受信すると、所定の通知メッセージ（例えば、ポップアップメッセージなど）を携帯端末４０のディスプレイ上に表示させる。表示処理部１０８Ｂは、例えば位置不変物品を検出したときの画像データを含む報知情報をサーバ装置３０から取得し、その画像データを携帯端末４０のディスプレイ上に表示させてもよい。この場合、サーバ装置３０の報知部１０６は、位置不変物品が存在するマトリクスを識別可能に示す画像データを報知情報に含めて出力してもよい。なお、報知部１０６は、位置履歴データに含まれる各マトリクスの位置不変期間と位置不変期間に対して予め設定される基準時間との比較結果に基づいて、位置不変物品が存在するマトリクスを特定することができる。
【００３４】
表示処理部１０８Ｂは、報知情報の送信要求をサーバ装置３０に対して行うための画面を更に表示するように構成されていてもよい。携帯端末４０のユーザが表示処理部１０８Ｂにより表示された画面を操作することにより、サーバ装置３０に対する報知情報の送信要求を携帯端末４０から出力させる。サーバ装置３０は、報知情報の送信要求に応じて報知情報を生成し、当該送信要求の送信元（ここでは、携帯端末４０）に報知情報を出力することができる。また、送信要求には、例えば、「Ｎ日以上位置が変わっていない物品」や「指定された日付以降から存在している物品」といった指定条件を含めることができる。サーバ装置３０の報知部１０６は、指定条件に合致する位置不変物品を位置履歴データに基づいて特定し、特定した位置不変物品に関する情報を報知情報に含めて送信要求の送信元である携帯端末４０に出力することができる。また、「指定された日付以降から存在している物品」の中には、冷蔵庫２０に最近入庫された物品であるために、位置不変物品に該当しない物品が含まれ得る。このような物品に関する情報もユーザにとって有用であるため、報知部１０６は、位置不変物品であるか否かを問わず指定条件に該当する物品に関する情報を報知情報に含めて、送信要求の送信元である携帯端末４０に出力するように構成されていてもよい。
【００３５】
〔ハードウエア構成〕
庫内監視システム１を構成する各装置の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、庫内監視システム１を構成する各装置の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。なお、以下の説明で用いる各図はあくまで一例であり、本発明のハードウエア構成はこれらの図に制限されない。
【００３６】
＜冷蔵庫２０のハードウエア構成＞
図４は、冷蔵庫２０のハードウエア構成を例示するブロック図である。図４に示されるように、冷蔵庫２０は計算機２００を有する。計算機２００は、例えばマイクロコンピュータなどであり、データ伝送路であるバス２０２を介して相互に接続される、プロセッサ２０４、メモリ２０６、入出力インタフェース２０８、および、ネットワークインタフェース２１０などを含む。ただし、バス２０２、メモリ２０６、入出力インタフェース２０８、ネットワークインタフェース２１０などを互いに接続する方法は、バス接続に限定されない。また、バス２０２には、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカードなどを用いて実現される補助記憶装置（図示せず）が更に接続されていてもよい。
【００３７】
プロセッサ２０４は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算装置である。メモリ２０６は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などを用いて実現される主記憶装置である。メモリ２０６には、表示処理部１０８Ａの機能を実現するプログラムモジュール（例えば、報知情報に基づいて画面データをディスプレイに出力するプログラムなど）が記憶される。プロセッサ２０４は、このプログラムモジュールを実行することによって、表示処理部１０８Ａの機能を実現する。
【００３８】
入出力インタフェース２０８は、冷蔵庫２０と周辺機器（例えば、撮像部１０２、ディスプレイ２０８２など）とを接続するためのインタフェースである。撮像部１０２は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いて検出した光を電気信号に変えて画像データを生成する。なお、撮像部１０２は、冷蔵庫の扉が閉められたタイミングを示す信号を入出力インタフェース２０８を介して取得し、その信号と連動して画像データを生成するように構成されていてもよい。ディスプレイ２０８２は、ＬＣＤ（Liquid Crystal Display）を用いたタッチパネルなどである。ディスプレイ２０８２は、例えば、冷蔵庫２０の扉の外面に設けられる。
【００３９】
ネットワークインタフェース２１０は、冷蔵庫２０を有線または無線によってインターネットに接続するためのインタフェースである。撮像部１０２により生成された画像データは、ネットワークインタフェース２１０を介してサーバ装置３０に送信される。また、サーバ装置３０からの報知情報は、ネットワークインタフェース２１０を介して取得される。
【００４０】
＜サーバ装置３０のハードウエア構成＞
図５は、サーバ装置３０のハードウエア構成を例示するブロック図である。図５に示されるように、サーバ装置３０は、データ伝送路であるバス３０２を介して相互に接続される、プロセッサ３０４、メモリ３０６、ストレージデバイス３０８、入出力インタフェース３１０、およびネットワークインタフェース３１２などを有する。ただし、プロセッサ３０４、メモリ３０６、ストレージデバイス３０８、入出力インタフェース３１０、ネットワークインタフェース３１２などを互いに接続する方法は、バス接続に限定されない。
【００４１】
プロセッサ３０４は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算装置である。メモリ３０６は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などを用いて実現される主記憶装置である。ストレージデバイス３０８は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカードなどを用いて実現される補助記憶装置である。
【００４２】
メモリ３０６またはストレージデバイス３０８は、サーバ装置３０の各機能構成部（データ更新部１０４および報知部１０６）を実現するプログラムモジュールを記憶している。プロセッサ３０４は、これら各プログラムモジュールを読み出して実行することにより、各プログラムモジュールに対応する機能を実現する。
【００４３】
また、ストレージデバイス３０８は、例えば、図３に示されるような位置履歴データを記憶する記憶部として機能することもできる。この場合、ストレージデバイス３０８は、各冷蔵庫または各ユーザを識別する情報に紐付けて、位置履歴データを記憶する。このようにすることで、サーバ装置３０は、位置履歴データと紐付けられた情報に基づいて、報知情報を出力すべき冷蔵庫２０または携帯端末４０を特定することが可能となる。
【００４４】
入出力インタフェース３１０は、サーバ装置３０と周辺機器（図示せず）とを接続するためのインタフェースである。キーボードやマウスといった入力用デバイス、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイといった出力用デバイスが、入出力インタフェース３１０を介して接続され得る。
【００４５】
ネットワークインタフェース３１２は、サーバ装置３０を各種通信網に接続するためのインタフェースである。この通信網は、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などである。図３に示されるように、サーバ装置３０は、ネットワークインタフェース３１２を介して冷蔵庫２０や携帯端末４０などと通信し、冷蔵庫２０の庫内の画像データを取得したり報知情報を送信したりすることができる。なお、通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。
【００４６】
＜携帯端末４０のハードウエア構成＞
携帯端末４０は、メモリまたはストレージデバイスに、携帯端末４０の各機能構成部（表示処理部１０８Ｂ）を実現するプログラムモジュールを記憶している。携帯端末４０のプロセッサが、このプログラムモジュールを読み出して実行することにより、表示処理部１０８Ｂに対応する機能を実現する。具体的には、携帯端末４０のプロセッサが、表示処理部１０８Ｂに対応するプログラムモジュールを実行することによって、携帯端末４０のディスプレイに位置不変物品の報知用画面が表示される。また、携帯端末４０のプロセッサが、表示処理部１０８Ｂに対応するプログラムモジュールを実行することによって、携帯端末４０のディスプレイに報知情報の送信要求を出力するための画面が表示され、当該画面に対する操作に応じて送信要求がサーバ装置３０に出力される。
【００４７】
〔第１の動作例〕
図６および図７を用いて、本実施形態における庫内監視システム１の動作の一例を説明する。図６および図７は、第２実施形態における庫内監視システム１の第１の動作例を示すシーケンス図である。
【００４８】
まず、冷蔵庫２０の撮像部１０２が第１の画像データを生成する（Ｓ１０２）。撮像部１０２は、例えば冷蔵庫２０の扉が閉められたタイミングに応じて冷蔵庫２０の内部を撮影し、第１の画像データを生成する。撮像部１０２は、例えば、冷蔵庫２０の扉などに設けられたセンサ類の出力信号に基づいて冷蔵庫２０の扉が閉められたタイミングを検知することができる。冷蔵庫２０は、撮像部１０２により生成された第１の画像データに固有の別情報を付与し、サーバ装置３０に送信する（Ｓ１０４）。
【００４９】
サーバ装置３０のデータ更新部１０４は、冷蔵庫２０から第１の画像データと固有の識別情報を受信すると、その固有の識別情報に対応する第２の画像データと位置履歴データを取得する（Ｓ１０６）。第２の画像データおよび位置履歴データは、例えば、サーバ装置３０のストレージデバイス３０８に記憶されている。そして、サーバ装置３０のデータ更新部１０４は、第１の画像データと第２の画像データとの差分を算出する（Ｓ１０８）。そして、サーバ装置３０のデータ更新部１０４は、算出した差分を用いて、Ｓ１０６で取得した位置履歴データを更新する（Ｓ１１０）。また、データ更新部１０４は、Ｓ１０４で取得した第１の画像データを、新たな第２の画像データとしてストレージデバイス３０８に記憶する（Ｓ１１２）。
【００５０】
また、サーバ装置３０の報知部１０６は、更新された位置履歴データに基づいて位置不変物品の有無を判別する（Ｓ１１４）。位置不変物品が検出されなかった場合（Ｓ１１４：ＮＯ）、以降で説明する処理は実行されない。一方、位置不変物品が検出された場合（Ｓ１１４：ＹＥＳ）、報知部１０６は報知情報を生成する（Ｓ１１６）。例えば、報知部１０６は、位置履歴データに基づいて「位置不変物品を含むマトリクス」として特定されたマトリクスを区別可能に示す画像データなどを含む報知情報を生成する。さらに、報知部１０６は、位置履歴データに紐付けられた宛先情報を読み出す（Ｓ１１８）。本図の例では、報知部１０６は、ここでは、冷蔵庫２０の宛先情報と冷蔵庫２０のユーザが所有する携帯端末４０の宛先情報を読み出している。そして、報知部１０６は、Ｓ１１６の処理で生成した報知情報を、読み出した宛先情報が示す宛先に対して出力する（Ｓ１２０）。
【００５１】
冷蔵庫２０の表示処理部１０８Ａおよび携帯端末４０の表示処理部１０８Ｂは、サーバ装置３０から受け取った報知情報を用いて、位置不変物品をユーザに通知するための処理（例えば、位置不変物品をユーザに知らせる画面を表示する処理など）を実行する（Ｓ１２２、Ｓ１２４）。
【００５２】
〔第２の動作例〕
図８を用いて、本実施形態における庫内監視システム１の動作の他の一例を説明する。図８は、第２実施形態における庫内監視システム１の第２の動作例を示すシーケンス図である。
【００５３】
携帯端末４０の表示処理部１０８Ｂは、ユーザの操作に応じて、サーバ装置３０に対して報知情報の送信要求を出力する（Ｓ２０２）。このとき、表示処理部１０８Ｂは、指定条件の入力操作を受け付け（Ｓ２０４）、入力された条件を示す情報を送信要求に含めてもよい。
【００５４】
サーバ装置３０の報知部１０６は、携帯端末４０からの送信要求に応じて、報知情報を生成する（Ｓ２０６）。例えば、送信要求に指定条件が含まれていなかった場合、報知部１０６は、位置履歴データに基づいて「位置不変物品を含むマトリクス」として特定されたマトリクスを区別可能に示す画像データなどを含む報知情報を生成する。また、送信要求に指定条件が含まれていた場合、報知部１０６は、その指定条件に合致する物品を位置履歴データに基づいて検索し、該当する物品を通知する報知情報を生成する。一例として、「Ｎ日以上位置が変わっていない物品」という指定条件を含む送信要求を受け付けた場合、報知部１０６は、Ｎ以上の位置不変期間が紐付くマトリクスを特定し、そのマトリクスに位置する物品の名称、種類、そのマトリクスを区別可能に示す画像データなどを含む報知情報を生成する。
【００５５】
そして、報知部１０６は、送信要求の送信元の携帯端末４０に対して、Ｓ２０６で生成した報知情報を送信する（Ｓ２０８）。携帯端末４０の表示処理部１０８Ｂは、サーバ装置３０から受け取った報知情報を用いた処理（例えば、報知情報に含まれる各種情報をユーザに通知する画面を表示する処理など）を実行する（Ｓ２１０）。
【００５６】
なお、冷蔵庫２０の表示処理部１０８Ａも、上記と同様に報知情報の送信要求をサーバ装置３０に対して送信し、サーバ装置３０から報知情報を取得することができる。
【００５７】
以上、本実施形態よれば、第１実施形態で説明した効果を得ることができる。また、本実施形態では、携帯端末４０を用いて、冷蔵庫２０の中の位置不変物品に関する報知情報を受け取ることができる。これにより、ユーザは、冷蔵庫２０から離れた場所にいたとしても、自身が認識していない物品が冷蔵庫の中に存在することに気付くことができる。
【００５８】
［第３実施形態］
〔機能構成〕
本実施形態では、冷蔵庫２０が第２実施形態のサーバ装置３０と同等の機能を備えている。図９は、第３実施形態の庫内監視システム１の機能構成を例示するブロック図である。本実施形態において、庫内監視システム１は、冷蔵庫２０と携帯端末４０とを含んで構成される。本実施形態の冷蔵庫２０は、上述の各実施形態で説明した撮像部１０２、データ更新部１０４、および報知部１０６を備える。なお、図９に示されるように、本実施形態の冷蔵庫２０は、第２実施形態で説明した表示処理部１０８Ａを更に備えていてもよい。
【００５９】
〔ハードウエア構成〕
本実施形態の冷蔵庫２０のハードウエア構成は、サーバ装置３０の代わりに携帯端末４０とネットワークインタフェース２１０を介して接続される点を除き、第２実施形態で説明したハードウエア構成（例：図４）と同様である。本実施形態のメモリ２０６は、データ更新部１０４、報知部１０６、および表示処理部１０８Ａの機能をそれぞれ実現するプログラムモジュールを更に記憶している。プロセッサ２０４は、これら各プログラムモジュールを実行することによって、データ更新部１０４、報知部１０６、および表示処理部１０８Ａの機能を実現する。また、メモリ２０６は、図３に示されるような位置履歴データを記憶する。なお本実施形態では、冷蔵庫２０を識別する情報は不要である。また、冷蔵庫２０はＨＤＤやフラッシュメモリなどの補助記憶装置（図示せず）を更に備えており、位置履歴データは該補助記憶装置に記憶されていてもよい。
【００６０】
〔第１の動作例〕
図１０を用いて、本実施形態における庫内監視システム１の動作の一例を説明する。図１０は、第３実施形態における庫内監視システム１の第１の動作例を示すシーケンス図である。
【００６１】
まず、撮像部１０２が第１の画像データを生成する（Ｓ３０２）。撮像部１０２は、例えば冷蔵庫２０の扉が閉められたタイミングに応じて冷蔵庫２０の内部を撮影し、第１の画像データを生成する。撮像部１０２は、例えば、冷蔵庫２０の扉などに設けられたセンサ類の出力信号に基づいて冷蔵庫２０の扉が閉められたタイミングを検知することができる。
【００６２】
次に、データ更新部１０４は、メモリ２０６などに記憶された第２の画像データを読み出す（Ｓ３０４）。データ更新部１０４は、第１の画像データと第２の画像データとの差分を算出する（Ｓ３０６）。そして、データ更新部１０４は、算出した差分を用いて、メモリ２０６などに記憶されている位置履歴データを更新する（Ｓ３０８）。また、データ更新部１０４は、Ｓ１０２で取得した第１の画像データを、新たな第２の画像データとしてメモリ２０６に記憶する（Ｓ３１０）。
【００６３】
報知部１０６は、更新された位置履歴データに基づいて位置不変物品の有無を判別する（Ｓ３１２）。位置不変物品が検出されなかった場合（Ｓ３１２：ＮＯ）、以降で説明する処理は実行されない。一方、位置不変物品が検出された場合（Ｓ３１２：ＹＥＳ）、報知部１０６は報知情報を生成し、表示処理部１０８Ａに出力する（Ｓ３１４）。例えば、報知部１０６は、位置履歴データに基づいて「位置不変物品を含むマトリクス」として特定されたマトリクスを区別可能に示す画像データなどを含む報知情報を生成し、表示処理部１０８Ａに出力する。表示処理部１０８Ａは、報知部１０６から出力された報知情報を用いた処理（例えば、報知情報に含まれる各種情報をユーザに通知する画面を冷蔵庫２０のディスプレイに表示する処理など）を実行する（Ｓ３１６）。
【００６４】
さらに、携帯端末４０の宛先情報がメモリ２０６に予め登録されている場合、報知部１０６は、その携帯端末４０の宛先情報を読み出して、報知情報を携帯端末４０へ出力してもよい（Ｓ３１８）。なおユーザは、例えば、近距離無線通信を利用して、或いは、冷蔵庫２０のタッチパネルディスプレイを操作するなどして、自身の携帯端末４０の宛先情報を冷蔵庫２０のメモリ２０６に登録することができる。携帯端末４０の表示処理部１０８Ｂは、冷蔵庫２０の報知部１０６から受け取った報知情報を用いた処理（例えば、報知情報に含まれる各種情報をユーザに通知する画面を冷蔵庫２０のディスプレイに表示する処理など）を実行することができる（Ｓ３２０）。
【００６５】
〔第２の動作例〕
図１１を用いて、本実施形態における庫内監視システム１の動作の他の一例を説明する。図１１は、第３実施形態における庫内監視システム１の第２の動作例を示すフローチャートである。
【００６６】
表示処理部１０８Ａは、報知情報の指定条件の入力操作を受け付ける（Ｓ４０２）。表示処理部１０８Ａは、例えば、タッチパネルディスプレイを介して、ユーザの入力操作を受け付けることができる。そして、表示処理部１０８Ａは、報知情報の生成要求を報知部１０６に対して出力する（Ｓ４０４）。この送信要求には、Ｓ４０２の処理で入力された指定条件が含まれる。
【００６７】
報知部１０６は、表示処理部１０８Ａからの生成要求に応じて、報知情報を生成する（Ｓ４０６）。一例として、「Ｎ日以上位置が変わっていない物品」という指定条件を含む生成要求を受け付けた場合、報知部１０６は、Ｎ以上の位置不変期間が紐付くマトリクスを特定し、そのマトリクスに位置する物品の名称、種類、そのマトリクスを区別可能に示す画像データなどを含む報知情報を生成する。
【００６８】
そして、報知部１０６は、生成要求の送信元の表示処理部１０８Ａに対して、Ｓ４０６の処理で生成した報知情報を出力する（Ｓ４０８）。そして、表示処理部１０８Ａは、報知部１０６から出力された報知情報を用いた処理（例えば、報知情報に含まれる各種情報をユーザに通知する画面を冷蔵庫２０のディスプレイに表示する処理など）を実行する（Ｓ４１０）。
【００６９】
なお、携帯端末４０の表示処理部１０８Ｂも、第２実施形態でサーバ装置３０に対して送信要求を出力したように、冷蔵庫２０に対して送信要求を出力することができる。本実施形態では、携帯端末４０は、サーバ装置３０の代わりに、冷蔵庫２０から報知情報を取得することができる。
【００７０】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【００７１】
また、上述の説明で用いたシーケンス図やフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【００７２】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
冷蔵庫の内部を監視する庫内監視システムであって、
前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成する撮像手段と、
前記撮像手段により生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新するデータ更新手段と、
基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力する報知手段と、
を備える庫内監視システム。
２．
前記撮像手段は、前記冷蔵庫の扉が閉められたタイミングで前記冷蔵庫の内部を撮像する、１．に記載の庫内監視システム。
３．
前記データ更新手段は、基準量以上の差分が検出された部分を、前記物品の位置の変化がある部分として認識する、１．または２．に記載の庫内監視システム。
４．
前記データ更新手段は、
前記冷蔵庫の内部における複数の部分領域を定義するデータと前記差分とを用いて、前記物品の位置が同一の部分領域内で変化しているか否かを判断し、
前記物品の位置が同一の部分領域内で変化している場合は、前記位置履歴データ上において変化がないものとする、１．乃至３．のいずれか１つに記載の庫内監視システム。
５．
前記冷蔵庫の内部における複数の部分領域それぞれに前記基準時間が定義されており、
前記報知手段は、前記部分領域別の前記基準時間を用いて前記位置不変物品を検出する、１．乃至４．のいずれか１つに記載の庫内監視システム。
６．
前記報知情報を用いて、前記位置不変物品の存在を報知する画面を表示装置に表示させる表示処理手段を更に備える、１．乃至５．のいずれか１つに記載の庫内監視システム。
７．
前記撮像手段は前記冷蔵庫の収納スペースの奥側に設けられている、１．乃至６．のいずれか１つに記載の庫内監視システム。
８．
前記報知手段は、前記位置不変物品の検出に応じて予め定められた宛先に前記報知情報を出力する、１．乃至７．のいずれか１つに記載の庫内監視システム。
９．
前記報知手段は、前記報知情報の送信要求に応じて、前記送信要求の送信元に前記報知情報を出力する、１．乃至８．のいずれか１つに記載の庫内監視システム。
１０．
前記報知手段は、前記送信要求に含まれる指定条件に合致する前記位置不変物品の情報を前記報知情報として出力する、９．に記載の庫内監視システム。
１１．
コンピュータによって実行される、冷蔵庫の内部を監視する庫内監視方法であって、
前記コンピュータが、
前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成し、
生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新し、
基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力することを含む、
庫内監視方法。
１２．
前記コンピュータが、
前記冷蔵庫の扉が閉められたタイミングで前記冷蔵庫の内部を撮像することを含む、１１．に記載の庫内監視方法。
１３．
前記コンピュータが、
前記物品毎に前記差分を算出し、当該差分が基準以上の前記物品を、前記冷蔵庫の内部で位置が変化した物品として認識することを含む、１１．または１２．に記載の庫内監視方法。
１４．
前記コンピュータが、
前記冷蔵庫の内部における複数の部分領域を定義するデータを用いて、前記物品の位置が前記部分領域を跨って変化したか否かを判断し、
前記物品の位置が前記部分領域を跨って変化していない場合は、前記位置履歴データ上において変化がないものとすることを含む、１１．乃至１３．のいずれか１つに記載の庫内監視方法。
１５．
前記コンピュータが、
前記冷蔵庫の内部における複数の部分領域と当該部分領域別の前記基準時間とを定義するデータを用いて前記位置不変物品を検出することを含む、１１．乃至１４．のいずれか１つに記載の庫内監視方法。
１６．
前記コンピュータが、
前記報知情報を用いて前記位置不変物品の存在を報知する画面を表示装置に表示させることを含む、１１．乃至１５．のいずれか１つに記載の庫内監視方法。
１７．
撮像装置が前記冷蔵庫の収納スペースの奥側に設けられていることを含む、１１．乃至１６．のいずれか１つに記載の庫内監視方法。
１８．
前記コンピュータが、
前記位置不変物品の検出に応じて予め定められた宛先に前記報知情報を出力することを含む、１１．乃至１７．のいずれか１つに記載の庫内監視方法。
１９．
前記コンピュータが、
前記報知情報の送信要求に応じて、前記送信要求の送信元に前記報知情報を出力することを含む、１１．乃至１８．のいずれか１つに記載の庫内監視方法。
２０．
前記コンピュータが、前記送信要求に含まれる指定条件に合致する前記位置不変物品の情報を前記報知情報として出力することを含む、１９．に記載の庫内監視方法。
２１．
１１．乃至２０．のいずれか１つに記載の庫内監視方法をコンピュータに実行させるプログラム。
２２．
冷蔵庫であって、
前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成する撮像手段と、
前記撮像手段により生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新するデータ更新手段と、
基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力する報知手段と、
を備える冷蔵庫。
２３．
前記撮像手段は、前記冷蔵庫の扉が閉められたタイミングで前記冷蔵庫の内部を撮像する、２２．に記載の冷蔵庫。
２４．
前記データ更新手段は、基準量以上の差分が検出された部分を、前記物品の位置の変化がある部分として認識する、２２．または２３．に記載の冷蔵庫。
２５．
前記データ更新手段は、
前記冷蔵庫の内部における複数の部分領域を定義するデータと前記差分とを用いて、前記物品の位置が同一の部分領域内で変化しているか否かを判断し、
前記物品の位置が同一の部分領域内で変化している場合は、前記位置履歴データ上において変化がないものとする、２２．乃至２４．のいずれか１つに記載の冷蔵庫。
２６．
前記冷蔵庫の内部における複数の部分領域それぞれに前記基準時間が定義されており、
前記報知手段は、前記部分領域別の前記基準時間を用いて前記位置不変物品を検出する、２２．乃至２５．のいずれか１つに記載の冷蔵庫。
２７．
前記報知情報を用いて、前記位置不変物品の存在を報知する画面を表示装置に表示させる表示処理手段を更に備える、２２．乃至２６．のいずれか１つに記載の冷蔵庫。
２８．
前記撮像手段は前記冷蔵庫の収納スペースの奥側に設けられている、２２．乃至２７．のいずれか１つに記載の冷蔵庫。
２９．
前記報知手段は、前記位置不変物品の検出に応じて予め定められた宛先に前記報知情報を出力する、２２．乃至２８．のいずれか１つに記載の冷蔵庫。
３０．
前記報知手段は、前記報知情報の送信要求に応じて、前記送信要求の送信元に前記報知情報を出力する、２２．乃至２９．のいずれか１つに記載の冷蔵庫。
３１．
前記報知手段は、前記送信要求に含まれる指定条件に合致する前記位置不変物品の情報を前記報知情報として出力する、３０．に記載の冷蔵庫。
【符号の説明】
【００７３】
１  庫内監視システム
１０２  撮像部
１０４  データ更新部
１０６  報知部
１０８  表示処理部
２０  冷蔵庫
２００  計算機
２０２  バス
２０４  プロセッサ
２０６  メモリ
２０８  入出力インタフェース
２０８２  ディスプレイ
２１０  ネットワークインタフェース
３０  サーバ装置
３０２  バス
３０４  プロセッサ
３０６  メモリ
３０８  ストレージデバイス
３１０  入出力インタフェース
３１２  ネットワークインタフェース
４０  携帯端末
【図１】
2018155430.tif 000003
【図２】
2018155430.tif 000004
【図３】
2018155430.tif 000005
【図４】
2018155430.tif 000006
【図５】
2018155430.tif 000007
【図６】
2018155430.tif 000008
【図７】
2018155430.tif 000009
【図８】
2018155430.tif 000010
【図９】
2018155430.tif 000011
【図１０】
2018155430.tif 000012
【図１１】
2018155430.tif 000013