(57)【要約】【課題】従来よりも手間がかからず、食品管理の制度を向上させることができる冷蔵庫を得る。【解決手段】冷蔵庫１の制御装置７は、携帯端末１８等の操作表示装置に対して、冷蔵室１００内の画像を少なくとも表示させ、操作表示装置において冷蔵室１００内の画像の移動を指示する操作が行われた際、冷蔵室１００内の画像を指示方向に移動させ、冷蔵庫１の正面側から使用者が冷蔵室１００を観察した観察状態において冷蔵室１００内と反指示方向に位置する扉８のドアポケット１０の画像を、前記観察状態において冷蔵室１００内及び扉８のドアポケット１０の位置関係と同じになるように、冷蔵室１００内の画像と連ねて表示させるものである。【選択図】図１２
2015232412.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの撮影範囲に区画された複数の貯蔵室と、
前記撮影範囲の少なくとも１つを撮影する複数の庫内カメラ、あるいは、複数の前記撮影範囲を撮影する少なくとも１つの庫内カメラと、
複数の前記撮影範囲の画像を記憶装置に記憶させ、前記画像を表示する操作表示装置と通信する制御装置と、
を備え、
前記制御装置は、前記操作表示装置に対して、
前記画像のうちの１つである第１画像を少なくとも表示させ、
前記操作表示装置において前記第１画像の移動を指示する操作が行われた際、前記第１画像を指示方向に移動させ、
冷蔵庫の正面側から使用者が前記撮影範囲を観察した観察状態において前記第１画像の前記撮影範囲と反指示方向に位置する前記撮影範囲の前記画像である第２画像を、前記観察状態において前記第１画像及び前記第２画像の前記撮影範囲の位置関係と同じになるように、前記第１画像と連ねて表示させることを特徴とする冷蔵庫。
【請求項２】
前記貯蔵室の１つは、観音開き式の２枚の扉を備え、
当該貯蔵室の内部の画像が前記第１画像であり、
２枚の前記扉における当該貯蔵室の内部と対向する側の画像が前記第２画像であることを特徴とする請求項１に記載の冷蔵庫。
【請求項３】
前記制御装置は、
前記第２画像の全てを前記操作表示装置に表示させる際、前記第１画像の一部を表示させることを特徴とする請求項１又は請求項２に記載の冷蔵庫。
【請求項４】
少なくとも１つの撮影範囲に区画された複数の貯蔵室と、
前記撮影範囲の少なくとも１つを撮影する複数の庫内カメラ、あるいは、複数の前記撮影範囲を撮影する少なくとも１つの庫内カメラと、
複数の前記撮影範囲の画像を記憶装置に記憶させ、前記画像を表示する操作表示装置と通信する制御装置と、
を備え、
前記制御装置は、前記操作表示装置に対して、
前記画像のうちの少なくとも１つを表示させ、
前記操作表示装置において表示されている前記画像を上方向に移動させる操作が行われた際、表示されている当該画像の前記撮影範囲の下方に位置する前記撮影範囲の前記画像を表示させ、
前記操作表示装置において表示されている前記画像を下方向に移動させる操作が行われた際、表示されている当該画像の前記撮影範囲の上方に位置する前記撮影範囲の前記画像を表示させることを特徴とする冷蔵庫。
【請求項５】
前記貯蔵室の少なくとも１つは、その内部に上下方向に積層された複数の収納部を備え、
前記制御装置は、前記操作表示装置に対して、上下方向に積層された複数の前記収納部の画像を表示させることを特徴とする請求項４に記載の冷蔵庫。
【請求項６】
日時を計測する計時装置を備え、
前記制御装置は、
撮影日時と関連づけて複数の前記画像を保存し、
撮影日時が異なる同一の前記撮影範囲の前記画像からこれらの画像の差分を抽出し、一定期間差分がない箇所がある場合、食品が一定期間以上保存されていることを報知することを特徴とする請求項１〜請求項５のいずれか一項に記載の冷蔵庫。
【請求項７】
前記制御装置は、
一定期間差分がない箇所がある場合、前記操作表示装置に、当該箇所を指示した画像を表示させることを特徴とする請求項６に記載の冷蔵庫。
【請求項８】
日時を計測する計時装置を備え、
前記制御装置は、
撮影日時と関連づけて複数の前記画像を保存し、
前記操作表示装置において、表示されている前記画像の特定箇所が選択された場合、
前記特定箇所が含まれた撮影日時が異なる前記画像からこれらの画像の差分を抽出し、前記特定箇所の食品が保存されている期間、あるいは、前記特定箇所に保存されていた食品が取り出された日時を表示することを特徴とする請求項１〜請求項７のいずれか一項に記載の冷蔵庫。
【請求項９】
前記制御装置は、前記操作表示装置に前記画像を表示させる際、当該画像と共に、当該画像の前記撮影範囲を示す冷蔵庫のアイコンを表示させることを特徴とする請求項１〜請求項８のいずれか一項に記載の冷蔵庫。
【請求項１０】
前記操作表示装置は、形態端末又はタブレット端末であることを特徴とする請求項１〜請求項９のいずれか一項に記載の冷蔵庫。
【請求項１１】
冷蔵庫及び操作表示装置を備え、前記冷蔵庫及び前記操作表示装置が電気通信回線を介して接続されるネットワークシステムであって、
前記冷蔵庫は、
少なくとも１つの撮影範囲に区画された複数の貯蔵室と、
前記撮影範囲の少なくとも１つを撮影する複数の庫内カメラ、あるいは、複数の前記撮影範囲を撮影する少なくとも１つの庫内カメラと、
前記操作表示装置と前記電気通信回線を介して通信する通信手段と、
複数の前記撮影範囲の画像に、当該画像の前記撮影範囲及び当該画像の撮影日時を関連づけて、前記通信手段及び前記電気通信回線を介して前記操作表示装置に送信する制御装置と、
を備え、
前記操作表示装置は、
前記冷蔵庫と前記電気通信回線を介して通信する通信装置と、
前記冷蔵庫から送信された前記画像を記憶する画像蓄積装置と、
前記画像のうちの少なくとも１つを表示する表示装置と、
前記表示装置に前記画像を表示させる操作表示装置用制御装置と、
使用者によって行われる前記表示装置に表示する前記画像を変更する操作を受け付ける操作装置と、
を備え、
前記操作表示装置用制御装置は、
前記表示装置に対して、
前記画像のうちの１つである第１画像を少なくとも表示させ、
前記操作装置に対して前記第１画像の移動を指示する操作が行われた際、前記第１画像を指示方向に移動させ、
前記冷蔵庫の正面側から使用者が前記撮影範囲を観察した観察状態において前記第１画像の前記撮影範囲と反指示方向に位置する前記撮影範囲の前記画像である第２画像を、前記観察状態において前記第１画像及び前記第２画像の前記撮影範囲の位置関係と同じになるように、前記第１画像と連ねて表示させることを特徴とするネットワークシステム。
【請求項１２】
前記貯蔵室の１つは、観音開き式の２枚の扉を備え、
当該貯蔵室の内部の画像が前記第１画像であり、
２枚の前記扉における当該貯蔵室の内部と対向する側の画像が前記第２画像であることを特徴とする請求項１１に記載のネットワークシステム。
【請求項１３】
前記操作表示装置用制御装置は、
前記第２画像の全てを前記表示装置に表示させる際、前記第１画像の一部を表示させることを特徴とする請求項１１又は請求項１２に記載のネットワークシステム。
【請求項１４】
冷蔵庫及び操作表示装置を備え、前記冷蔵庫及び前記操作表示装置が電気通信回線を介して接続されるネットワークシステムであって、
前記冷蔵庫は、
少なくとも１つの撮影範囲に区画された複数の貯蔵室と、
前記撮影範囲の少なくとも１つを撮影する複数の庫内カメラ、あるいは、複数の前記撮影範囲を撮影する少なくとも１つの庫内カメラと、
前記操作表示装置と前記電気通信回線を介して通信する通信手段と、
複数の前記撮影範囲の画像に当該画像の前記撮影範囲及び当該画像の撮影日時を関連づけて、前記通信手段及び前記電気通信回線を介して前記操作表示装置に送信する制御装置と、
を備え、
前記操作表示装置は、
前記冷蔵庫と前記電気通信回線を介して通信する通信装置と、
前記冷蔵庫から送信された前記画像を記憶する画像蓄積装置と、
前記画像のうちの少なくとも１つを表示する表示装置と、
前記表示装置に前記画像を表示させる操作表示装置用制御装置と、
使用者によって行われる前記表示装置に表示する前記画像を変更する操作を受け付ける操作装置と、
を備え、
前記操作表示装置用制御装置は、
前記表示装置に対して、
前記画像のうちの少なくとも１つを表示させ、
前記操作装置に対して、表示されている前記画像を上方向に移動させる操作が行われた際、表示されている当該画像の前記撮影範囲の下方に位置する前記撮影範囲の前記画像を表示させ、
前記操作装置に対して、表示されている前記画像を下方向に移動させる指示する操作が行われた際、表示されている当該画像の前記撮影範囲の上方に位置する前記撮影範囲の前記画像を表示させることを特徴とするネットワークシステム。
【請求項１５】
前記貯蔵室の少なくとも１つは、その内部に上下方向に積層された複数の収納部を備え、
前記操作表示装置用制御装置は、前記表示装置に対して、上下方向に積層された複数の前記収納部の画像を表示させることを特徴とする請求項１４に記載のネットワークシステム。
【請求項１６】
前記操作表示装置用制御装置は、
撮影日時が異なる同一の前記撮影範囲の前記画像からこれらの画像の差分を抽出し、一定期間差分がない箇所がある場合、食品が一定期間以上保存されていることを報知することを特徴とする請求項１１〜請求項１５のいずれか一項に記載のネットワークシステム。
【請求項１７】
前記操作表示装置用制御装置は、
一定期間差分がない箇所がある場合、前記表示装置に、当該箇所を指示した画像を表示させることを特徴とする請求項１６に記載のネットワークシステム。
【請求項１８】
前記操作装置において、表示されている前記画像の特定箇所が選択された場合、
前記特定箇所が含まれた撮影日時が異なる前記画像からこれらの画像の差分を抽出し、前記特定箇所の食品が保存されている期間、あるいは、前記特定箇所に保存されていた食品が取り出された日時を表示することを特徴とする請求項１１〜請求項１７のいずれか一項に記載のネットワークシステム。
【請求項１９】
前記操作表示装置用制御装置は、前記表示装置に前記画像を表示させる際、当該画像と共に、当該画像の前記撮影範囲を示す冷蔵庫のアイコンを表示させることを特徴とする請求項１１〜請求項１８のいずれか一項に記載のネットワークシステム。
【請求項２０】
前記操作表示装置は、形態端末又はタブレット端末であることを特徴とする請求項１１〜請求項１９のいずれか一項に記載のネットワークシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末等に冷蔵庫の収納物を表示する冷蔵庫及びネットワークシステムに関する。
【背景技術】
【０００２】
近年、食生活及び生活スタイルの多様化にともない、冷蔵庫には、多種多様な食品が収納及び保存されるようになっている。このような背景のもと、冷蔵庫は大容量化がすすみ、ますます冷蔵庫へ収納及び保存される食品は増えている。かかる環境の中、共働き世帯も含め、家族の帰宅や食事の時間がまちまちである家庭が増えていること等から、使用を予定していた食材が別の家族に食べられてしまったがために、冷蔵庫の中に所望の食材がない等の不便があった。
また、取り出し頻度が少ない食材では存在自体を忘れてしまうものがあり、気付いたときには劣化しており、廃棄するしかなく、環境としてもコストとしても非合理的な対策を取らざるを得ない場合があった。
【０００３】
このような問題点に対して、食材の情報の入出力操作により、実際の冷蔵庫のイメージに合致させることで、冷蔵庫の使い勝手の向上を狙った食材管理システムにおける操作装置が提供されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２２２４６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術は、食材名一覧表から表示されている食材名を選択した上で、収納する貯蔵室を選択する等の操作により、どの貯蔵室にどの食材が収納されているかを管理することを図っている。
しかしながら、実使用を鑑みた場合、多種多量の食材を購入後、収納する際に１つ１つの食品に対して、前述のような作業をするのは非常に時間と手間がかかることは想像に難くない。
また、入力ミス及び意図的な未入力等を含め、消費した食材が入力した食材と一致しないような場合が非常に多いと推定される。さらに、分類不能な食品については表示アイコン化も難しく、画面上から特定が難しい。このため、特許文献１に記載の技術は、食品管理の精度が低くなってしまうという課題もあった。
【０００６】
本発明は上記のような課題を解決するためになされたものであり、従来よりも手間がかからず、食品管理の精度を向上させることができる冷蔵庫及びネットワークシステムを得ることを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る冷蔵庫は、少なくとも１つの撮影範囲に区画された複数の貯蔵室と、前記撮影範囲の少なくとも１つを撮影する複数の庫内カメラ、あるいは、複数の前記撮影範囲を撮影する少なくとも１つの庫内カメラと、複数の前記撮影範囲の画像を記憶装置に記憶させ、前記画像を表示する操作表示装置と通信する制御装置と、を備え、前記制御装置は、前記操作表示装置に対して、前記画像のうちの１つである第１画像を少なくとも表示させ、前記操作表示装置において前記第１画像の移動を指示する操作が行われた際、前記第１画像を指示方向に移動させ、冷蔵庫の正面側から使用者が前記撮影範囲を観察した観察状態において前記第１画像の前記撮影範囲と反指示方向に位置する前記撮影範囲の前記画像である第２画像を、前記観察状態において前記第１画像及び前記第２画像の前記撮影範囲の位置関係と同じになるように、前記第１画像と連ねて表示させるものである。
【０００８】
また、本発明に係る冷蔵庫は、少なくとも１つの撮影範囲に区画された複数の貯蔵室と、前記撮影範囲の少なくとも１つを撮影する複数の庫内カメラ、あるいは、複数の前記撮影範囲を撮影する少なくとも１つの庫内カメラと、複数の前記撮影範囲の画像を記憶装置に記憶させ、前記画像を表示する操作表示装置と通信する制御装置と、を備え、前記制御装置は、前記操作表示装置に対して、前記画像のうちの少なくとも１つを表示させ、前記操作表示装置において表示されている前記画像を上方向に移動させる操作が行われた際、表示されている当該画像の前記撮影範囲の下方に位置する前記撮影範囲の前記画像を表示させ、前記操作表示装置において表示されている前記画像を下方向に移動させる操作が行われた際、表示されている当該画像の前記撮影範囲の上方に位置する前記撮影範囲の前記画像を表示させるものである。
【０００９】
また、本発明に係るネットワークシステムは、冷蔵庫及び操作表示装置を備え、前記冷蔵庫及び前記操作表示装置が電気通信回線を介して接続されるネットワークシステムであって、前記冷蔵庫は、少なくとも１つの撮影範囲に区画された複数の貯蔵室と、前記撮影範囲の少なくとも１つを撮影する複数の庫内カメラ、あるいは、複数の前記撮影範囲を撮影する少なくとも１つの庫内カメラと、前記操作表示装置と前記電気通信回線を介して通信する通信手段と、複数の前記撮影範囲の画像に、当該画像の前記撮影範囲及び当該画像の撮影日時を関連づけて、前記通信手段及び前記電気通信回線を介して前記操作表示装置に送信する制御装置と、を備え、前記操作表示装置は、前記冷蔵庫と前記電気通信回線を介して通信する通信装置と、前記冷蔵庫から送信された前記画像を記憶する画像蓄積装置と、前記画像のうちの少なくとも１つを表示する表示装置と、前記表示装置に前記画像を表示させる操作表示装置用制御装置と、使用者によって行われる前記表示装置に表示する前記画像を変更する操作を受け付ける操作装置と、を備え、前記操作表示装置用制御装置は、前記表示装置に対して、前記画像のうちの１つである第１画像を少なくとも表示させ、前記操作装置に対して前記第１画像の移動を指示する操作が行われた際、前記第１画像を指示方向に移動させ、前記冷蔵庫の正面側から使用者が前記撮影範囲を観察した観察状態において前記第１画像の前記撮影範囲と反指示方向に位置する前記撮影範囲の前記画像である第２画像を、前記観察状態において前記第１画像及び前記第２画像の前記撮影範囲の位置関係と同じになるように、前記第１画像と連ねて表示させるものである。
【００１０】
また、本発明に係るネットワークシステムは、冷蔵庫及び操作表示装置を備え、前記冷蔵庫及び前記操作表示装置が電気通信回線を介して接続されるネットワークシステムであって、前記冷蔵庫は、少なくとも１つの撮影範囲に区画された複数の貯蔵室と、前記撮影範囲の少なくとも１つを撮影する複数の庫内カメラ、あるいは、複数の前記撮影範囲を撮影する少なくとも１つの庫内カメラと、前記操作表示装置と前記電気通信回線を介して通信する通信手段と、複数の前記撮影範囲の画像に当該画像の前記撮影範囲及び当該画像の撮影日時を関連づけて、前記通信手段及び前記電気通信回線を介して前記操作表示装置に送信する制御装置と、を備え、前記操作表示装置は、前記冷蔵庫と前記電気通信回線を介して通信する通信装置と、前記冷蔵庫から送信された前記画像を記憶する画像蓄積装置と、前記画像のうちの少なくとも１つを表示する表示装置と、前記表示装置に前記画像を表示させる操作表示装置用制御装置と、使用者によって行われる前記表示装置に表示する前記画像を変更する操作を受け付ける操作装置と、を備え、前記操作表示装置用制御装置は、前記表示装置に対して、前記画像のうちの少なくとも１つを表示させ、前記操作装置に対して、表示されている前記画像を上方向に移動させる操作が行われた際、表示されている当該画像の前記撮影範囲の下方に位置する前記撮影範囲の前記画像を表示させ、前記操作装置に対して、表示されている前記画像を下方向に移動させる指示する操作が行われた際、表示されている当該画像の前記撮影範囲の上方に位置する前記撮影範囲の前記画像を表示させるものである。
【発明の効果】
【００１１】
本発明においては、例えば外出先等で、使用者は、実際に冷蔵庫を使っているような直感的な表示及び操作にて、携帯端末等の操作表示装置に表示された貯蔵室内の画像を視認できる。このため、本発明は、食品毎のデータを自前で入力及び削除する必要がなく、直感的に貯蔵室内に何の食材が保管されているかを確認することができる。
また、本発明は、扉部、及び、上下方向に積層された収納部内等についても、直感的な操作で操作表示装置で視認することができ、くまなく冷蔵庫内を視認でき、見落としが少なくできる効果もある。
さらに、本発明は、外出先等で冷蔵庫の中身を確認することが可能となるため、不足している食材や長期間保存している食材を買い物直前や買い物中に認知しやすくすることができ、買い物忘れや食材廃棄を抑制する効果もある。
したがって、本発明は、従来よりも手間がかからず、食品管理の精度を向上させることができる冷蔵庫及びネットワークシステムを得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１に係る冷蔵庫を示す正面図である。
【図２】本発明の実施の形態１に係る冷蔵庫における冷蔵室の扉の開いた状態を示す正面図である。
【図３】本発明の実施の形態１に係る冷蔵庫を示す側面断面図である。
【図４】本発明の実施の形態１に係る冷蔵庫を示す側面断面図である。
【図５】本発明の実施の形態１に係る冷蔵庫を示す側面断面図である。
【図６】本発明の実施の形態１に係る冷蔵庫を示す側面断面図である。
【図７】本発明の実施の形態１に係る冷蔵庫を示す側面断面図である。
【図８】本発明の実施の形態１に係る冷蔵庫を示す側面断面図である。
【図９】本発明の実施の形態１に係る冷蔵庫の機能ブロック図である。
【図１０】本発明の実施の形態１に係る冷蔵庫における、撮影及び画像蓄積処理の一例を示すフローチャートである。
【図１１】本発明の実施の形態１に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の一例である。
【図１２】本発明の実施の形態１に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。
【図１３】本発明の実施の形態１に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。
【図１４】本発明の実施の形態１に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。
【図１５】本発明の実施の形態１に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。
【図１６】本発明の実施の形態１に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。
【図１７】本発明の実施の形態１に係る冷蔵庫の制御装置が操作表示装置に表示させるアラート画面の一例である。
【図１８】本発明の実施の形態２に係るネットワークシステムの機能ブロック図である。
【図１９】本発明の実施の形態２に係るネットワークシステムにおける携帯端末での画像表示方法の一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は、本発明の実施の形態１に係る冷蔵庫を示す正面図である。図２は、この冷蔵庫における冷蔵室の扉の開いた状態を示す正面図である。また、図３〜図８は、この冷蔵庫を示す側面断面図である。なお、図３〜図８は、左側が冷蔵庫１の正面側となる。また、図５及び図７は冷凍室４００が引き出された状態を示しており、図６及び図８は野菜室５００が引き出された状態を示している。
冷蔵庫１は、複数の貯蔵室（冷蔵室１００、切替室２００、製氷室３００、冷凍室４００、野菜室５００、チルド室６００）を備えている。
【００１４】
冷蔵室１００は、冷蔵庫１の最上部に設けられており、前面側の開口部が観音開き式の扉８で開閉自在に閉塞されている。また、冷蔵室１００の内部にはチルドケース６０１が収納されており、該チルドケース６０１の内部がチルド室６００となっている。この冷蔵室１００の下方には、引出ドアタイプの、つまり、引出ドアを引き出すと貯蔵室が使用者側に引き出される切替室２００及び製氷室３００が並列に配置されている。切替室２００は、冷凍温度帯（−１８℃）から冷蔵（３℃）、チルド（０℃）、ソフト冷凍（−７℃）等の各温度帯に切り替えることのできる貯蔵室である。これら切替室２００及び製氷室３００の下方には冷凍室４００が設けられており、冷凍室４００の下方には野菜室５００が設けられている。これら冷凍室４００及び野菜室５００も、引出ドアタイプ、つまり、引出ドアを引き出すと貯蔵室が使用者側に引き出される構成となっている。
【００１５】
冷蔵室１００の扉８の表面には、各貯蔵室の温度及び設定を調節する操作スイッチ６ａと、各貯蔵室の温度等を表示する表示部６ｂ等とから構成される操作パネル６が設けられている（後述の図９も参照）。また、切替室２００、冷凍室４００及び野菜室５００には、それぞれ収納部となる収納ケース２０１，４０１，５０１が設置されており、食品を収納することができる。さらに、冷凍室４００及び野菜室５００には、それぞれ収納ケース４０１，５０１の上部に収納部となる上段トレー４０２，５０２が設置されており、食品収納状態における整理性を向上させている。つまり、冷凍室４００及び野菜室５００は、上下方向に積層された２つの収納部を有している。
【００１６】
冷蔵庫１の背面側には、各貯蔵室を冷却するための冷却機構として、圧縮機２と、冷却器３と、送風ファン４と、風路５と、制御装置７とを備える。制御装置７は、制御回路やその動作プログラムを格納した記憶装置７ａ等を備え（後述の図９参照）、冷蔵庫１の動作を制御する。圧縮機２及び冷却器３により作り出された冷気は、送風ファン４によって送風され、風路５を通って、冷凍室４００、切替室２００、製氷室３００及び冷蔵室１００へと送風され各貯蔵室を冷却する。野菜室５００は、冷蔵室１００の戻り冷気を冷蔵室用帰還風路より循環させることにより冷却され、野菜室用帰還風路より冷却器３に戻される（帰還風路は図示せず）。各貯蔵室の温度は、各貯蔵室に設置されたサーミスタ（図示せず）により検知され、各貯蔵室があらかじめ設定された温度になるように、風路５に設置されたダンパ（図示せず）の開度や圧縮機２の出力及び送風ファン４の送風量を調整することで制御される。
【００１７】
また、冷蔵室１００は、扉８の開閉状態を検知する扉開閉検知スイッチ９、扉８の内側に設けられたドアポケット１０ａ，１０ｂ，１０ｃ（以後、ドアポケット１０と総称する場合がある）、冷蔵室１００内を複数に仕切る棚１１ａ，１１ｂ，１１ｃ，１１ｄ（以後、棚１１と総称する場合がある）と、製氷用の給水タンク１４とを備える。
【００１８】
さらに、本実施の形態１に係る冷蔵庫１には、貯蔵室内を撮影する庫内カメラ１２が設けられている。また、貯蔵室内を庫内カメラ１２で撮影する際の光源として照明部１３も設けられている。
【００１９】
詳しくは、図２及び図３に示すように、冷蔵室１００内には、庫内カメラ１２ａ，１２ｂ、及び、冷蔵室１００全域を照らす照明部１３ａが設けられている。天井面に設置された庫内カメラ１２ａは、棚１１に配置された収納物を撮影する。棚１１ａ，１１ｂ，１１ｃ，１１ｄは、庫内カメラ１２ａの視野内において、それぞれ上段から下段にかけて棚の奥行寸法が長いか同等となる寸法関係となっており、下段まで死角が少なく、撮影しやすい構造となっている。同じく、天井面に設置された庫内カメラ１２ｂは、ドアポケット１０側（扉８における冷蔵室１００内部と対向する側）の面を撮影する。ドアポケット１０ａ，１０ｂ，１０ｃも庫内カメラ１２ｂの視野内において、上段から下段にかけて奥行寸法が長いか同等となる寸法関係になっているため、庫内天井面に設置された庫内カメラ１２ｂでは死角が少ない画像を撮影することが可能となる。つまり、本実施の形態１では、冷蔵室１００内を３つの撮影範囲に区画している。より詳しくは、１つの撮影範囲である冷蔵室１００の内部を庫内カメラ１２ａで撮影している。また、観音開き式の扉８は左側の扉８と右側の扉８との２つの撮影範囲に区画されており、これらの撮影範囲を庫内カメラ１２ｂで撮影している。
【００２０】
また、図３に示すように、冷蔵室１００の背面側には、冷蔵室１００内に設けられたチルド室６００を１つの撮影範囲として撮影する庫内カメラ１２ｃが設けられている。なお、チルド室６００においては、チルド室６００を形成するチルドケース６０１は透明な樹脂にて構成されているため、照明部１３ａからの光量で十分撮影は可能である。
【００２１】
同様に、図４に示したとおり、切替室２００には、その天井面に、切替室２００内を１つの撮影範囲として撮影する庫内カメラ１２ｄと、切替室２００内を照らす照明部１３ｂが設けられており、切替室２００内の撮影が可能となっている。
【００２２】
また、図５及び図６に示すとおり、冷凍室４００及び野菜室５００内においても、庫内カメラ１２ｅ，１２ｆ及び照明部１３ｃ，１３ｄがそれぞれ設置されている。冷凍室４００及び野菜室５００の庫内カメラ１２ｅ，１２ｆにおいては、それぞれの貯蔵室の天井面において開口部近くに設置されており、収納ケース４０１，５０１が一定の距離以上引き出されたことをトリガーとして撮影することで、略全域を視認できるようになっている。一定の距離以上引き出されたか否かは、引き出し検知装置３０により検知が可能である。引き出し検知装置３０は、例えばフォトカプラ又は近接センサを用いて構成し、収納ケース４０１，５０１の通過を検知することで、収納ケース４０１，５０１がどこまで引き出されているかの距離の検知が可能となり、一定距離以上収納ケース４０１，５０１が引き出された時点で、任意の位置で撮影することが可能となる。これにより、庫内カメラ１２ｅは、冷凍室４００の上段トレー４０２（上部の収納部）を１つの撮影範囲として撮影することができる。また、庫内カメラ１２ｆは、野菜室５００の上段トレー５０２（上部の収納部）を１つの撮影範囲として撮影することができる。
【００２３】
図５及び図６に示すように、収納ケース４０１，５０１が引き出される際には、それぞれ上段トレー４０２，５０２も同時に引き出される仕組みとなっている。このため、冷凍室４００及び野菜室の下部を形成する収納ケース４０１，５０１に食品を置くためには、図７及び図８に示すように、上段トレー４０２，５０２をそれぞれ単独で奥へ収納させた後に食品を設置する必要がある。その際、上段トレー４０２，５０２用にもそれぞれ引き出し検知装置３０が設けられており、上段トレー４０２，５０２が一定の距離以上奥へ収納されたことを検知した際に庫内カメラ１２ｅ，１２ｆが撮影する。これにより、庫内カメラ１２ｅは、冷凍室４００の収納ケース４０１（下部の収納部）を１つの撮影範囲として撮影することができる。また、庫内カメラ１２ｆは、野菜室５００の収納ケース５０１（下部の収納部）を１つの撮影範囲として撮影することができる。
【００２４】
つまり、冷凍室４００は収納ケース４０１内部と、上段トレー４０２の両方の撮影が可能であり、同様に野菜室５００に関しても収納ケース５０１内部と、上段トレー５０２の両方の撮影が可能となるのである。
【００２５】
なお、庫内カメラ１２は、透明なカバーで覆われる構成等が採用されており、食品等の収納物が接触しない構成となっており、衝撃や水分から保護されている。また、庫内カメラ１２の近くには図示しないヒーター等の加熱手段を設け、庫内カメラ１２の結露を防止している。また、庫内カメラ１２に上下左右の角度を変化できる駆動部を設け、庫内カメラ１２によって角度の異なる画像を撮影できる構造としてもよい。つまり、庫内カメラを首振り式に構成してもよい。このように構成することにより、死角を防止するとともに、収納物をより精度よく検出することが可能となる。また例えば、首振り可能（上下方向の角度を変更して、前後方向に視野が移動可能）な庫内カメラ１２を冷蔵室１００内に配置することにより、１台の庫内カメラ１２で、冷蔵室１００の内部の撮影範囲と、扉８の２つの撮影範囲との双方を撮影することもできる。
【００２６】
図９は、本発明の実施の形態１に係る冷蔵庫の機能ブロック図である。図１〜図８と同一の構成要素には同一の符号を付している。
制御装置７は、各貯蔵室に設けられたサーミスタから各貯蔵室内の温度を取得し、各貯蔵室内が設定された温度に維持されるよう、予め記憶されたプログラムにしたがって、圧縮機２、送風ファン４、及び、風路５に設置されたダンパ（図示せず）等の運転状態を制御する。また、制御装置７は、扉８の開閉を扉開閉検知スイッチ９により検知し、また、収納ケース４０１，５０１及び上段トレー４０２，５０２の引き出し状態を引き出し検知装置３０により検知し、照明部１３を点灯又は消灯する。
【００２７】
例えば、制御装置７は、扉８が開かれたことを検知すると、照明部１３ａを点灯し、扉８が閉じられたことを検知すると、照明部１３ａを点灯したまま、庫内カメラ１２ａ，１２ｂ，１２ｃを動作させて、冷蔵室１００内及びチルド室６００内を撮影する。そして、制御装置７は、撮影動作が終了したら、照明部１３ａを消灯する。また、制御装置７は、切替室２００が引き出された後に、閉じられたことを図示せぬ扉開閉検知スイッチで検出すると、照明部１３ｂを点灯して庫内カメラ１２ｄで切替室２００内を撮影する。そして、制御装置７は、撮影動作が終了したら、照明部１３ｂを消灯する。また、制御装置７は、上述した庫内カメラ１２ｅ，１２ｆによって収納ケース４０１，５０１及び上段トレー４０２，４０３を撮影するタイミングで照明部１３ｃ，１３ｄを点灯し、撮影動作が終了したら照明部１３ｃ，１３ｄを消灯する。
【００２８】
制御装置７は、庫内カメラ１２によって撮影された画像に対して歪み補正及び／又は色補正等の演算処理を実施し、当該画像を記憶装置７ａに記憶する（なお、本実施の形態１では、歪み補正及び／又は色補正等の演算処理が施された画像も、庫内カメラ１２によって撮影された画像と称する）。制御装置７は、操作パネル６と通信して、操作パネル６の表示部６ｂに、操作スイッチ６ａにて選択した収納箇所の画像を表示させることができる。このため、使用者は、扉８等をあけることなく、所望の箇所の画像確認が可能である。
ここで、操作パネル６が、本発明の操作表示装置に相当する。
【００２９】
さらに、制御装置７は、冷蔵庫１の上面に設けられた通信手段１５によって電気通信回線１６と接続されており、電気通信回線１６を介して、タブレット端末１８ａ及び携帯電話１８ｂ（スマートフォン）等の携帯端末１８に画像データを送信することが可能である。すなわち、使用者が冷蔵庫１のそばにいなくても、外出先等の使用者が好きな場所で、冷蔵庫１の各貯蔵室の収納状況を把握することができ、利便性が向上する。また、使用者は、買い物先等の遠隔地で、冷蔵庫１内の収納可能な空間を確認することができるため、購入する食品等の量が多すぎて冷蔵庫１に入らない等のミスを防止することもできる。
ここで、携帯端末１８も、本発明の操作表示装置に相当する。
【００３０】
なお、電気通信回線１６とは、電灯線、赤外線、非赤外線、無線、公衆回線、光ケーブル、ＩＳＤＮ、ＡＤＳＬ、インターネット及び衛星等のデジタル又はアナログの信号の通信回線を指す。また、通信手段１５とは、デジタル又はアナログの信号を送受信できるインターフェースであり、有線で通信する場合は、例えばシリアルインターフェース又はドライバが具備されているものであり、無線で通信する場合は、例えば、Ｗｉ−Ｆｉ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標）等の通信モジュールが具備されているものである。
【００３１】
図１０は、本発明の実施の形態１に係る冷蔵庫における、撮影及び画像蓄積処理の一例を示すフローチャートである。制御装置７は、冷蔵室１００の扉８が開かれたり、切替室２００、冷凍室４００及び野菜室５００が引き出されたりしたことを検知すると（Ｓ１０１）、記憶装置７ａの記憶容量の確認を行う（Ｓ１０２）。記憶装置７ａの記憶容量に余裕がある場合、制御装置７は、照明部１３を点灯する（Ｓ１０４）。また、記憶装置７ａが容量オーバーの場合、制御装置７は、例えば最も古くに記憶又は表示された画像を削除する画像削除処理（Ｓ１０３）を実施した後、照明部１３を点灯する（Ｓ１０４）。なお、照明部１３を点灯した後に、画像削除処理を行ってもよい。
【００３２】
制御装置７は、照明部１３を点灯したまま、庫内カメラ１２を動作させて撮影する（Ｓ１０５）。ここで、本実施の形態１に係る冷蔵庫１は例えば制御装置７内に計時装置７ｂを有している。このため、制御装置７は、撮影箇所と共に撮影日時も関連づけて（タグ付けして）、撮影した画像を記憶装置７ａ内に記憶する（Ｓ１０６、Ｓ１０７）。撮影終了後、制御装置７は、照明部１３を消灯する（Ｓ１０８）。
【００３３】
冷蔵庫１の各貯蔵室内の収納状況が変化する際、つまり、各貯蔵室内に収納物を追加したり、貯蔵室間で収納物を移動させたりする際には、使用者は、冷蔵室１００の扉８を開閉したり、切替室２００、冷凍室４００及び野菜室５００の引き出し及び収納を必ず実施する。このため、冷蔵室１００の扉８の開閉、並びに、切替室２００、冷凍室４００及び野菜室５００の引き出し及び収納に連動して撮影することは、収納状況を更新した際の撮影画像である可能性が非常に高く、事実上、各貯蔵室内の収納状況に変化があったことを把握できることを意味している。
【００３４】
図１１は、本発明の実施の形態１に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の一例である。なお、図１１は、タブレット端末１８ａ及び携帯電話１８ｂ（スマートフォン）等の携帯端末１８上に表示されている画像の例を示している。
制御装置７は、携帯端末１８に、スタート画像（図１１（ａ））として冷蔵庫１の外観を表示させる。使用者が表示された冷蔵庫１のいずれかの貯蔵室の位置に触れると、制御装置７は、触れられた貯蔵室の画像を携帯端末１８に表示させる。なお、本実施の形態１では、直近で変化のあった貯蔵室をゆるやかな点滅で示し、使用者に触れることを促す表示を実施している。
【００３５】
使用者が表示された冷蔵庫１のいずれかの貯蔵室の位置に触れると、各貯蔵室の画像の表示に遷移する。例えば、使用者が冷蔵室１００の位置に触れた場合、制御装置７は、図１１（ｂ）に示すように、冷蔵室１００の内部画像を表示させる。また例えば、使用者が冷凍室４００の位置に触れた場合、制御装置７は、図１１（ｃ）に示すように、冷凍室４００の内部画像を表示させる。また例えば、使用者が野菜室５００の位置に触れた場合、制御装置７は、図１１（ｄ）に示すように、野菜室５００の内部画像を表示させる。
なお、図１１（ｃ）は冷蔵室１００と冷凍室４００を連ねて表示しており、図１１（ｄ）は冷蔵室１００と野菜室５００を連ねて表示している。連ねて表示することで、使用者が各貯蔵室の位置関係を想起しやすくなるとともに、冷蔵庫１内の食品の一覧性を高めることが可能となる。
【００３６】
図１２は、本発明の実施の形態１に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。なお、この図１２は、ドアポケット１０に収納してある食品を見る際の操作を示したものである。また、図１２（ａ）は図１１（ｂ）と同様であり、図１１（ｂ）以後の遷移を示しているものである。
図１２（ａ）の画像に対して、指を触れて左右に動かす（スマートフォンやタブレット端末のタッチパネル上で実施されるいわゆるスワイプ操作やフリック操作）ことで、冷蔵室１００内の画像（本発明の第１画像に相当）の移動を指示する動作が行われた際、図１２（ｂ），１２（ｃ）に示すように、制御装置７は、冷蔵庫１の正面側から使用者が冷蔵室１００内を観察した観察状態において冷蔵室１００内と反指示方向に位置する扉８のドアポケット１０側の画像（本発明の第２画像に相当）を、冷蔵室１００内の画像と連ねて表示させる。
【００３７】
例えば、冷蔵室１００内の画像を右方向に移動するように指示された場合、制御装置７は、図１２（ｃ）に示すように、冷蔵庫１の正面側から使用者が冷蔵室１００内を観察した観察状態において左側となる扉８のドアポケット１０側の画像を、冷蔵室１００内の画像と連ねて表示させる。また例えば、冷蔵室１００内の画像を左方向に移動するように指示された場合、制御装置７は、図１２（ｂ）に示すように、冷蔵庫１の正面側から使用者が冷蔵室１００内を観察した観察状態において右側となる扉８のドアポケット１０側の画像を、冷蔵室１００内の画像と連ねて表示させる。このとき、図１２（ｂ），１２（ｃ）に示すように、制御装置７は、冷蔵庫１の正面側から使用者が冷蔵室１００内を観察した観察状態における冷蔵室１００内と左右の扉８との位置関係と同じになるように、冷蔵室１００内の画像と左右の扉８の画像とを連ねて表示させる。
【００３８】
冷蔵室１００内の画像の移動を指示する動作が行われた際、反指示方向に位置する扉８のドアポケット１０側の画像を表示することにより、実際の冷蔵庫１の扉８を開いた状態と同じ位置関係として、左右の扉８の画像を表示することが可能となる。
また、左右の扉８の画像を表示する際、冷蔵庫１の正面側から使用者が冷蔵室１００内を観察した観察状態における冷蔵室１００内と左右の扉８との位置関係と同じになるように、冷蔵室１００内の画像と左右の扉８の画像とを連ねて表示させることにより、現実感を高めた表示が可能となる。
【００３９】
なお、冷蔵室１００内の画像の移動を指示する操作は、指を触れて左右に動かす操作に限定されるものではない。例えば、図１２（ｄ）〜図１２（ｆ）に示すように、画面上に表示された方向指示表示７０をタップすることにより、画像を移動させてもよい。ここで、図１２（ｄ），図１２（ｅ），図１２（ｆ）は、それぞれ図１２（ａ），図１２（ｂ），図１２（ｃ）に対応している。
【００４０】
また、図１２では、冷蔵室１００内の画像の下方に冷凍室４００を連ねて表示した例を示したが、冷凍室４００を表示していなくてもよい。
また、冷蔵室１００以外の貯蔵室が観音開き式の扉を有している場合には、当該貯蔵室内及び扉の画像を上記のように表示しても勿論よい。
【００４１】
図１３は、本発明の実施の形態１に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。なお、この図１３は、冷凍室４００及び野菜室５００の食品を見る際の操作を示したものである。また、図１３（ａ）は図１１（ｃ）と同様であり、図１１（ｃ）以後の遷移を示しているものである。
図１３（ａ）の画像に対し、指を触れて上に動かす（あるいは方向指示表示７０をタップする）ことにより画像を変化させることができる。具体的には、冷凍室４００の上段トレー４０２上を表示している図１３（ａ）に対して画像を１回上に送る操作をすると、冷凍室４００の上段トレー４０２の画像が消え、冷凍室４００の下段である収納ケース４０１（上段トレー４０２の下方に位置する収納部（撮影範囲））の内部画像が表示される。これは冷凍室４００の上段トレー４０２が冷凍室４００奥に引き込まれたことを模擬しており、冷蔵庫１で行なう実際の作業と同じ方向に動くため、直感的に理解しやすい画像の動きとなる。更に図１３（ｂ）から画像を１回上に送る操作をすると、冷凍室４００の収納ケース４０１が奥に引き込まれたことが模擬され、図１３（ｃ）の様に野菜室５００の上段トレー５０２の画像が表示される。以下同様に、画像を１回上に送る操作をすると、図１３（ｄ）の様に野菜室５００の下段である収納ケース５０１の下部が見られる画像となる。
【００４２】
なお、図１３では、冷凍室４００及び野菜室５００の上方に冷蔵室１００内の画像を連ねて表示した例を示したが、冷蔵室１００内の画像を表示していなくてもよい。
【００４３】
図１４は、本発明の実施の形態１に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。なお、この図１４は、冷凍室４００及び野菜室５００を表示した状態から、冷蔵室１００のみを表示した状態に戻す際の遷移を表している。また、図１４（ａ）は図１３（ｄ）と同様であり、図１３（ｄ）以後の遷移を示しているものである。
図１３を用いて説明したとおり、冷凍室４００及び野菜室５００に指を触れて動かす（あるいは方向指示表示をタップする）ことにより画像を変化させることが可能であり、図１４では図１３とは逆に、野菜室５００の下段画像（収納ケース５０１）から冷蔵室１００へ戻していく遷移を示している。すなわち、指を下に動かしていくことで、各上段トレー４０２，５０２及び収納ケース４０１，５０１が引き出されることが模擬されるため、順次各収納箇所の状態を確認することが可能である。
【００４４】
さらに、図１４（ｅ）に示すとおり、冷蔵室１００部分を下側に例えばスワイプすることにより、冷蔵室１００の全景となり、冷凍室４００及び野菜室５００の表示状態に関わらず、図１１（ｂ）に戻すことが可能である。
【００４５】
なお、図１３及び図１４で示した画像の表示方法は、冷凍室４００の上段トレー４０２と収納ケース４０１との間のみで実施してもよいし、野菜室５００の上段トレー５０２及び収納ケース５０１との間のみで実施してもよい。また、冷凍室４００及び野菜室５００に上段トレー４０２，５０２が設けられていない場合、冷凍室４００の収納ケース４０１と野菜室５００の収納ケース５０１との間で、図１３及び図１４で示した画像の表示方法を実施してもよい。
【００４６】
ここで、図１２〜図１４に示すように、各貯蔵室（撮影範囲）の画像と共に、制御装置７は、冷蔵庫アイコン８０を表示させ、今どの貯蔵室のどの部分（どの撮影範囲）を表示しているかを示してもよい。画像に対応した箇所が色を変えて示されており、一目で表示している箇所が認識可能となる効果がある。なお、図１２〜図１４に示すように、扉８の開閉状態、収納ケース４０１，５０１及び上段トレー４０２，５０２の状態（引き出されているのか否か）を表示して認識可能としてもよい。
【００４７】
図１５は、本発明の実施の形態１に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。なお、この図１５は、画像の変化を時系列で表示できる機能を示したものである。
図９の機能ブロック図及び図１０のフローチャートで示したとおり、画像は、冷蔵室１００の扉８が開かれたり、切替室２００、冷凍室４００及び野菜室５００が引き出されたりしたこと等をトリガーとして撮影されており、撮影日時の情報とともに記憶装置７ａに記憶されている。このため、画像と共に撮影日時も表示することで、貯蔵室内の収納物の管理が容易となる。ここで、図１５（ａ）〜図１５（ｆ）にいたる画像は、順次撮影日時が新しい順に並んでいる状態であり、例えば携帯端末１８において図１５（ａ）の冷蔵室１００の表示を選択して下に送る操作を実施すると、１世代前の画像である図１５（ｂ）が表示される。
【００４８】
本画像で示すとおり、１２／３１（１２月３１日）の１８：００に撮影された図１５（ａ）と１２／３１の１６：００に撮影された図１５（ｂ）とを比較し、冷蔵室１００の中段におかれたケーキ８１に着目する。１世代前の画像である図１５（ｂ）にはなかったケーキが図１５（ａ）ではあることから、使用者は、１８：００のドア開閉時に冷蔵室１００に入れられたことが画像から推定可能となる。
【００４９】
また、別の例として、冷蔵室１００内に収納されたビール８２の管理例が挙げられる。ビール８２が十分に冷えているかどうかも、いつ冷蔵室１００に入れられたかで判断が可能となる。画像を遡っていくと図１５（ｄ）には存在し、図１５（ｅ）には存在していない。すなわち、ビール８２は１２／３１の１２：００に入れられたことがわかるため、使用者は、現在の時間と照らし合わせ、冷蔵室１００の中で６時間程度経っているな、ということが推測可能となる。すなわち、使用者は、ビール８２の冷却が十分されているかの判断も可能となる。
【００５０】
以上のように画像を遡っていくことで、撮影日時の履歴画像が残っているために、どのタイミングで食材（収納物）が入ったか、言い換えれば任意の食材がいつから冷蔵庫１内に入れられていたかの食材管理期間の推定が画像から可能となり、食品保存期間と劣化推定の判断ができるのである。
【００５１】
なお、過去に遡るためのタッチパネル上での入力操作は、図１５の模擬指で示している通り、特定箇所を画面スクロールしない方向へのスワイプ操作や、遡るための画像遡り表示８３のタップ等により実現が可能である。
【００５２】
図１６は、本発明の実施の形態１に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。なお、この図１６は、画像の時間的変化を利用して、選択された特定箇所における食品等の収納物の保存期間を推測する機能を示すものである。
例えば、図１６（ａ）では存在しないローストチキンが図１６（ｂ）では破線で示す通り収納されており、あわせて撮影日時が記憶装置７ａに記憶されている。制御装置７は、図１６（ａ）と図１６（ｂ）との画像の差分によって、図１６（ｂ）の撮影日時にローストチキンが冷蔵室１００内に収納されたことの判定が可能である。
【００５３】
一例として、例えば携帯端末１８のタッチパネル上での領域選択操作を実施し、保存状態の確認をする箇所を特定する作業（特定箇所を選択する作業）を実施する。制御装置７は、任意の特定箇所が選択されることにより、当該箇所の画像に時間的な変化があったか否かの判定を実施する。例えば、制御装置７は、何世代か前の画像の特定箇所に収納物が収納されている場合、直近に撮影された画像において収納状態が変わった際には、特定箇所から収納物が取り出しされたと判定し、変化がないままの場合には収納物の収納状態が維持されていると判定するのである。また例えば、制御装置７は、直近の画像の特定箇所に収納物が収納されている場合、何世代か前に撮影された画像において収納状態が変わった際には、特定箇所に収納物が収納されたと判定するのである。
【００５４】
画像による判定としては、画像を画素単位に分割して、横方向（ｘ）及び縦方向（ｙ）の位置を表す画素座標（ｘ、ｙ）を与えた上で、同一座標の画素同士の例えば輝度Ｌ（ｘ、ｙ）を比較し、その差分があらかじめ設定した閾値以上である場合には変化あり、すなわち収納物に変化があったと判定し、閾値未満である場合には変化なし、すなわち収納物に変化がないと判定する。このように、画素単位で収納物の有無を判定することが可能となる。
【００５５】
図１６（ｃ）では、特定箇所を選択する一例として、画像上で気になる食品（領域）をタップしていることを示している。タップ操作により特定箇所が選択されると、制御装置７は、例えば前回と今回の画像の差分を比較した上で変化がないと判断し、図１６（ｄ）のように前回撮影画像と今回撮影画像の時間差を保存経過期間として表示する。ここでは１／１の１６：００〜１／８の１８：００まではローストチキンは動いていないと判定され、保存経過期間は７日と２時間が経過している旨を指示部に表示する。
【００５６】
このように、制御装置７は、収納物の収納後の経過期間の判断及び表示が可能となるため、消費を急ぐ必要がある等、使用者の食材消費に対して有益な情報を与えることが可能となる。このため、収納されている食品を食べずに廃棄する等のリスクが減ることで、環境及び使用者の食品購入コストの抑制に効果を発揮することが可能である。
【００５７】
なお、制御装置７は、画像全体の時間変化を比較して、つまり、撮影日時の異なる同一撮影範囲の画像を比較することにより、収納物の収納後の経過期間等を判断してもよい。
【００５８】
図１７は、本発明の実施の形態１に係る冷蔵庫の制御装置が操作表示装置に表示させるアラート画面の一例である。
図１６で示したように、制御装置７は、収納物の保存経過期間を推測できることから、冷蔵室１００内であれば７日間、冷凍室であれば３０日間等、任意に定めた期間を過ぎた食材（領域）がある場合には、使用者に廃棄期限が迫っていることを報知するためのアラート表示を実施する。アラート表示は、保存箇所に近い部分に点滅や赤字等の強調表示を用いる等、保存箇所を指示して注意喚起を実施する。
なお、アラートする保存期間については、貯蔵室、領域、食品毎に使用者が設定してもよいし、冷蔵庫供給メーカ側が推奨する保存期間をデフォルトとして記憶装置７ａ内に記憶させておいてもよい。
本機能によって、存在を忘れていたような食材を食べずに廃棄する等リスクが減ることとなり、やはり、環境及び使用者の食品購入コストの抑制に効果を発揮することが可能である。
【００５９】
なお、庫内カメラ１２は、冷蔵室１００、切替室２００、冷凍室４００及び野菜室５００内に限定するものでなく、他の貯蔵室や貯蔵スペースに設けられていても構わない。また、庫内カメラ１２は静止画像でなく、動画として撮影しても内部や扉やケースの開閉時の視認が可能である。
【００６０】
実施の形態２．
実施の形態１では、操作表示装置に表示させる画像の表示の仕方を、冷蔵庫１の制御装置７によって制御した。これに限らず、操作表示装置としてタブレット端末１８ａ及び携帯電話１８ｂ等の携帯端末１８を用いる場合、冷蔵庫１及び携帯端末１８を備えた以下のようなネットワークシステムを構築し、携帯端末１８に表示させる画像の表示の仕方を、携帯端末１８自身によって制御してもよい。なお、本実施の形態２で記載されていない構成は実施の形態１と同様とし、実施の形態１と同様の構成には実施の形態１と同じ符号を付している。
【００６１】
図１８は、本発明の実施の形態２に係るネットワークシステムの機能ブロック図である。
本実施の形態２に係るネットワークシステム７００は、冷蔵庫１と操作表示装置である携帯端末１８（タブレット端末１８ａ及び携帯電話１８ｂ等）とが電気通信回線１６を介して接続されるものである。そして、このネットワークシステム７００においては、冷蔵庫１の制御装置７は、複数の撮影範囲の画像に当該画像の前記撮影範囲及び当該画像の撮影日時を関連づけて（タグ付けして）、通信手段１５及び電気通信回線１６を介して携帯端末１８に送信する構成となっている。また、携帯端末１８は、受信した撮影範囲の画像を携帯端末１８自身が制御して、実施の形態１の図１１〜図１７で示したように携帯端末１８自身に表示させる構成となっている。
【００６２】
このように構成された携帯端末１８は、図１８に示すように、通信装置５１５、画像蓄積装置５１６、表示装置５５０、本発明の操作表示装置用制御装置である制御装置５０７、及び、操作装置５０６を備えている。
【００６３】
通信装置５１５は、電気通信回線１６を介して、冷蔵庫１の通信手段１５と通信するものである。画像蓄積装置５１６は、冷蔵庫１から送信された撮影範囲の画像（庫内カメラ１２で撮影された画像であり、当該画像の前記撮影範囲及び撮影日時を関連づけて送信されてきた画像）を記憶するものである。また、画像蓄積装置５１６には、図１１（ａ）で示したスタート画像、撮影範囲の画像と共に表示装置５５０に表示される方向指示表示７０及び冷蔵庫アイコン８０のデータ等も記憶されている。また、本実施の形態２では、後述のように、冷蔵庫１から送信された画像が制御装置５０７で合成された後、合成された画像も画像蓄積装置５１６に記憶される（蓄積される）構成となっている。なお、本実施の形態２では、上記の合成画像も、撮影範囲の画像の一種として扱う。
【００６４】
表示装置５５０は、冷蔵庫１から送信された撮影範囲の画像の少なくとも１つ（上記の合成された画像も含む）を表示するものである。制御装置５０７は、表示装置５５０に、冷蔵庫１から送信された撮影範囲の画像の少なくとも１つ（上記の合成された画像も含む）を表示させるものである。また、操作装置５０６は、実施の形態１で示したスワイプ操作、フリック操作及び方向指示表示７０のタップ操作等、使用者によって携帯端末１８に行われる操作（表示装置に表示する画像を変更する操作等）を受け付けるものである。
【００６５】
続いて、本実施の形態２における携帯端末１８での画像表示方法の一例について説明する。
【００６６】
図１９は、本発明の実施の形態２に係るネットワークシステムにおける携帯端末での画像表示方法の一例を示すフローチャートである。
操作装置５０６が使用者からの画像表示指示を受け付けると、制御装置５０７は、通信装置５１５に冷蔵庫１から画像が送信されているか否かを確認する（Ｓ２０１）。通信装置５１５に冷蔵庫１から画像が送信されている場合、制御装置５０７は、画像蓄積装置５１６の記憶容量の確認を行う（Ｓ２０２）。画像蓄積装置５１６の記憶容量に余裕がある場合、制御装置５０７は、冷蔵庫１から送信された画像を画像蓄積装置５１６に保存（蓄積）する（Ｓ２０４）。また、画像蓄積装置５１６が容量オーバーの場合、制御装置５０７は、例えば最も古くに記憶又は表示された画像を削除する画像削除処理（Ｓ２０３）を実施した後、冷蔵庫１から送信された画像を画像蓄積装置５１６に保存（蓄積）する（Ｓ２０４）。
【００６７】
冷蔵庫１から送信された画像を画像蓄積装置５１６に保存（蓄積）した後、制御装置５０７は、冷蔵庫１から送信された画像に関連づけられた（タグ付けされた）撮影範囲及び撮影日時に基づき、冷蔵庫１から送信された画像を合成し、画像蓄積装置５１６に保存（蓄積）する（Ｓ２０５，２０６）。例えば、図１２で示したような画像を表示装置５５０に表示させる場合、制御装置５０７は、直近に撮影された（最も撮影日時が新しい）冷蔵室１００内の画像の両側に、直近に撮影された左右の扉８のドアポケット１０側の画像を接続した合成画像を作成し、画像蓄積装置５１６に保存する。また例えば、図１３及び図１４で示したような画像を表示装置５５０に表示させる場合、制御装置５０７は、直近に撮影された冷蔵室１００内の画像の下方に直近に撮影された冷凍室４００の上段トレー４０２の画像を接続した合成画像、直近に撮影された冷蔵室１００内の画像の下方に直近に撮影された冷凍室４００の収納ケース４０１の画像を接続した合成画像、直近に撮影された冷蔵室１００内の画像の下方に直近に撮影された野菜室５００の上段トレー５０２の画像を接続した合成画像、及び、直近に撮影された冷蔵室１００内の画像の下方に直近に撮影された野菜室５００の収納ケース５０１の画像を接続した合成画像等を作成し、画像蓄積装置５１６に保存する。
【００６８】
その後、制御装置５０７は、操作装置５０６に入力される使用者からの指示に基づき、画像蓄積装置５１６に保存された画像等のデータを用いて、例えば図１１〜図１４で示したような画像表示を表示装置５５０に行わせる（Ｓ２０７）。ここで、上述のように、画像蓄積装置５１６に保存されている画像には、撮影日時が関連づけられている。このため、制御装置５０７は、画像とともに撮影日時も表示装置５５０に表示させることにより、図１５で示したような表示も行うことができる。また、制御装置５０７は、撮影日時が異なる同一撮影範囲の画像を比較することにより、図１６で示したように収納物の収納後の経過期間等も判断できるし、図１７で示したようなアラート表示を行うこともできる。
【００６９】
以上、本実施の形態２のようにネットワークシステム７００を構成しても、操作表示装置である携帯端末１８によって実施の形態１と同様の画像表示を行うことができ、実施の形態１と同様の効果を得ることができる。
【符号の説明】
【００７０】
１  冷蔵庫、２  圧縮機、３  冷却器、４  送風ファン、５  風路、６  操作パネル、６ａ  操作スイッチ、６ｂ  表示部、７  制御装置、７ａ  記憶装置、７ｂ  計時装置、８  扉、９  扉開閉検知スイッチ、１０（１０ａ，１０ｂ，１０ｃ）  ドアポケット、１１（１１ａ，１１ｂ，１１ｃ，１１ｄ）  棚、１２（１２ａ，１２ｂ，１２ｃ，１２ｄ，１２ｅ，１２ｆ）  庫内カメラ、１３（１３ａ，１３ｂ，１３ｃ，１３ｄ）  照明部、１４  給水タンク、１５  通信手段、１６  電気通信回線、１８  携帯端末、１８ａ  タブレット端末、１８ｂ  携帯電話、３０  引き出し検知装置、７０  方向指示表示、８０  冷蔵庫アイコン、８１  ケーキ（収納物の一例）、８２  ビール（収納物の一例）、８３  画像遡り表示、１００  冷蔵室、２００  切替室、３００  製氷室、４００  冷凍室、５００  野菜室、６００  チルド室、６０１  チルドケース、２０１，４０１，５０１  収納ケース、４０２，５０２  上段トレー、５０６  操作装置、５０７  制御装置、５１５  通信装置、５１６  画像蓄積装置、５５０  表示装置、７００  ネットワークシステム。
【図１】
2015232412.tif 000003
【図２】
2015232412.tif 000004
【図３】
2015232412.tif 000005
【図４】
2015232412.tif 000006
【図５】
2015232412.tif 000007
【図６】
2015232412.tif 000008
【図７】
2015232412.tif 000009
【図８】
2015232412.tif 000010
【図９】
2015232412.tif 000011
【図１０】
2015232412.tif 000012
【図１８】
2015232412.tif 000013
【図１９】
2015232412.tif 000014
【図１１】
2015232412.tif 000015
【図１２】
2015232412.tif 000016
【図１３】
2015232412.tif 000017
【図１４】
2015232412.tif 000018
【図１５】
2015232412.tif 000019
【図１６】
2015232412.tif 000020
【図１７】
2015232412.tif 000021