(57)【特許請求の範囲】
【請求項１】
食品を貯蔵する貯蔵室と、
前記貯蔵室内を撮影することによって前記貯蔵室内の画像を取得する撮影装置と、
前記撮影装置によって取得された前記貯蔵室内の画像から、前記貯蔵室内に貯蔵されている食品の食品画像を抽出する制御装置と、
表示部を有する携帯端末との通信を行う通信装置と、
を備え、
前記制御装置は、
前記食品画像の色及び大きさの時間的な変化を検出する時間変化検出部と、
前記時間変化検出部によって検出された前記食品画像の色及び大きさの時間的な変化に基づいて、現状の食品の劣化の程度を示す食品の劣化に関する情報を生成する食品劣化状態推定部と、
を有し、
前記制御装置は、前記食品画像、前記劣化に関する情報、及び前記撮影装置による撮影時刻を示す時刻情報を、前記通信装置を介して前記携帯端末に送信する
ことを特徴とする冷蔵庫。
【請求項２】
前記制御装置は、前記食品画像、前記劣化に関する情報、及び前記時刻情報と共に、前記食品画像に対応する食品の前記貯蔵室への入庫及び前記貯蔵室からの出庫を示す入出庫識別情報を、前記通信装置を介して前記携帯端末に送信することを特徴とする請求項１に記載の冷蔵庫。
【請求項３】
前記食品画像に対応する食品の種類を識別して、前記食品の種類の識別情報を取得する食品画像識別部を備え、
前記食品劣化状態推定部は、前記食品の種類の識別情報を、前記食品の劣化に関する情報の生成に反映させる
ことを特徴とする請求項１又は２に記載の冷蔵庫。
【請求項４】
食品の種類に、当該食品の形状、大きさ、色、及び外装ラベルのうちの少なくとも１つを対応付けて予め記憶する食品情報記憶部をさらに備え、
前記食品画像識別部は、前記食品情報記憶部に記憶された情報を参照して、前記食品画像に対応する食品の種類を識別して、前記食品の種類の識別情報を取得する
ことを特徴とする請求項３に記載の冷蔵庫。
【請求項５】
前記食品劣化状態推定部は、前記時間変化検出部によって検出された前記食品画像の時間的な変化に基づいて、前記劣化に関する情報として、食品の劣化の進行の速さを示す食品の劣化傾向を推定し、
前記制御装置は、前記食品劣化状態推定部によって推定された前記食品の劣化傾向に基づき、当該食品に関する期限を推定する期限推定部をさらに有する
ことを特徴とする請求項３又は４に記載の冷蔵庫。
【請求項６】
前記制御装置に管理されている前記食品画像に関し、ユーザが設定期限を設定する期限設定部をさらに備えたことを特徴とする請求項５に記載の冷蔵庫。
【請求項７】
前記期限設定部は、前記携帯端末に備えられている
ことを特徴とする請求項６に記載の冷蔵庫。
【請求項８】
前記制御装置は、前記食品画像に加えて、前記食品画像識別部によって識別された前記食品の種類の識別情報及び前記期限推定部によって推定された前記食品に関する期限のうち少なくとも１つを、前記通信装置を介して前記携帯端末へ送信する
ことを特徴とする請求項６又は７に記載の冷蔵庫。
【請求項９】
請求項１から８までのいずれか１項に記載の冷蔵庫と、
表示部を有し、前記通信装置を介して有線又は無線通信により前記冷蔵庫と通信する携帯端末と、
を備え、
前記携帯端末は、前記表示部に、前記食品画像、前記劣化に関する情報、及び前記時刻情報のうちの少なくとも１つを表示させる
ことを特徴とするネットワークシステム。
【請求項１０】
請求項２に記載の冷蔵庫と、
表示部を有し、前記通信装置を介して有線又は無線通信により前記冷蔵庫と通信する携帯端末と、
を備え、
前記携帯端末は、前記表示部に、前記食品画像、前記劣化に関する情報、前記時刻情報、及び前記入出庫識別情報のうちの少なくとも１つを表示させる
ことを特徴とするネットワークシステム。
【請求項１１】
請求項３又は４に記載の冷蔵庫と、
表示部を有し、前記通信装置を介して有線又は無線通信により前記冷蔵庫と通信する携帯端末と、
を備え、
前記携帯端末は、前記表示部に、前記食品画像、前記劣化に関する情報、前記時刻情報、及び前記食品画像識別部によって識別された前記食品の種類の識別情報のうちの少なくとも１つを表示させる
ことを特徴とするネットワークシステム。
【請求項１２】
請求項５に記載の冷蔵庫と、
表示部を有し、前記通信装置を介して有線又は無線通信により前記冷蔵庫と通信する携帯端末と、
を備え、
前記携帯端末は、前記制御装置に管理されている前記食品画像に関し、ユーザが設定期限を設定する期限設定部を備えた
ことを特徴とするネットワークシステム。
【請求項１３】
請求項１から８までのいずれか１項に記載の冷蔵庫と、
表示部を有し、前記通信装置を介して有線又は無線通信により前記冷蔵庫と通信する携帯端末と、
を備え、
前記携帯端末及び前記冷蔵庫は、インターネットを介して外部サーバと接続され、
前記冷蔵庫と前記携帯端末との通信は、前記携帯端末が、前記外部サーバにより認証された携帯端末である場合に許可される、
ことを特徴とするネットワークシステム。
【請求項１４】
請求項３に記載の冷蔵庫と、
表示部を有し、前記通信装置を介して有線又は無線通信により前記冷蔵庫と通信する携帯端末と、
を備え、
前記携帯端末及び前記冷蔵庫は、インターネットを介して外部サーバと接続され、
前記冷蔵庫と前記携帯端末との通信は、前記携帯端末が、前記外部サーバにより認証された携帯端末である場合に許可され、
前記外部サーバは、食品の種類に、当該食品の形状、大きさ、色、及び外装ラベルのうちの少なくとも１つを対応付けて予め記憶する食品情報記憶部を備え、
前記食品画像識別部は、前記通信装置を介して前記食品情報記憶部に記憶された情報を参照して、前記食品画像に対応する食品の種類を識別し、
前記食品劣化状態推定部は、前記食品画像識別部によって識別された、前記食品の種類の識別情報を反映させて、前記食品の劣化状態を推定する
ことを特徴とするネットワークシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末と通信する機能を備えた冷蔵庫、及び冷蔵庫と携帯端末とを含むネットワークシステムに関するものである。
【背景技術】
【０００２】
食生活の多様化及び冷蔵庫の大容量化によって、ユーザが冷蔵庫内の食品の収納状態（在庫状態）及び劣化状態を正確に把握することが難しくなっている。また、冷蔵庫内に収納されている食品に気付かずに、重複して食品を購入することもある。このような理由から、消費期限を経過した食品を廃棄するケースが増えている。
【０００３】
一般に、冷蔵庫内に収納されている食品の在庫状態及び劣化状態を把握するために、ユーザは、冷蔵庫の扉を開けて、冷蔵庫内の食品並びに食品の状態及び表示を目視で確認する。しかし、扉の開閉頻度が増加すると冷蔵庫内の温度が上昇するため、冷却のための電力が消費され、また、食品の劣化を早める原因となる。したがって、冷蔵庫の扉を開けずに、食品の在庫状態及び劣化状態を確認できることが望ましい。
【０００４】
特許文献１は、冷蔵庫の収納室（貯蔵室）内を撮影装置で撮影し、撮影画像と基準画像とを比較分析して、収納室内の空き容量（空きスペース）を演算して表示する技術を開示している。この技術により、ユーザは、冷蔵庫の扉を開けずに、空きスペースを把握することができる。
【０００５】
また、特許文献２は、食品に無線タグを取り付け、無線タグから送られる情報と冷蔵庫内の温度センサから送られる温度情報とに基づいて、保存可能期間−保存温度−品質耐性（ＴＴＴ）理論から、食品の品質劣化特性を推定する技術を開示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−２０９０４８号公報（例えば、段落００４１−００４９、図７−図８）
【特許文献２】特開２００６−３１７１０９号公報（例えば、段落００２７−００４２、図５）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された技術では、冷蔵庫に収納されている食品の劣化状態を知ることはできないので、消費期限が切れた食品の廃棄を十分に抑制することはできないという課題がある。
【０００８】
また、特許文献２に記載された技術では、食品に貼付された無線タグ用のリーダー及びライターなどの専用の装置が必要であるため、システム全体のコストが増加するという課題がある。
【０００９】
本発明は、上記従来技術の課題を解決するためになされたものであり、既存の携帯端末を用いて、冷蔵庫内を視覚的に確認することができ、食品の劣化に関する情報を得ることができる冷蔵庫及びネットワークシステムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る冷蔵庫は、食品を貯蔵する貯蔵室と、前記貯蔵室内を撮影することによって前記貯蔵室内の画像を取得する撮影装置と、前記撮影装置によって取得された前記貯蔵室内の画像から、前記貯蔵室内に貯蔵されている食品の食品画像を抽出する制御装置と、表示部を有する携帯端末との通信を行う通信装置と、を備え、前記制御装置は、前記食品画像の色及び大きさの時間的な変化を検出する時間変化検出部と、前記時間変化検出部によって検出された前記食品画像の色及び大きさの時間的な変化に基づいて、現状の食品の劣化の程度を示す食品の劣化に関する情報を生成する食品劣化状態推定部と、を有し、前記制御装置は、前記食品画像、前記劣化に関する情報、及び前記撮影装置による撮影時刻を示す時刻情報を、前記通信装置を介して前記携帯端末に送信することを特徴とする。
【００１１】
また、本発明に係るネットワークシステムは、前記冷蔵庫と、表示部を有し、前記通信装置を介して有線又は無線通信により前記冷蔵庫と通信する携帯端末とを備え、前記携帯端末は、前記表示部に、前記食品画像、前記劣化に関する情報、及び前記時刻情報のうちの少なくとも１つを表示させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、ユーザは、専用の装置を設けることなく、携帯端末を用いて冷蔵庫内を視覚的に確認することができ、携帯端末を用いて食品の劣化に関する情報を得ることができるという効果がある。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１に係る冷蔵庫の概略構成を示す正面図である。
【図２】実施の形態１に係る冷蔵庫の冷蔵室の概略構成（図１を線分ＩＩ−ＩＩで切る断面構造と制御装置の構成とを含む）と携帯端末とを示す図である。
【図３】実施の形態１に係る冷蔵庫の動作を概略的に示すフローチャートである。
【図４】（ａ）から（ｄ）は、実施の形態１に係る冷蔵庫の冷蔵室内の撮影画像（貯蔵室画像）、撮影画像から抽出された食品画像、及び食品画像の付帯情報の例を示す図である。
【図５】（ａ）及び（ｂ）は、実施の形態１に係る冷蔵庫の冷蔵室内の撮影画像（貯蔵室画像）から抽出された食品画像の、携帯端末における表示画面の例を示す図である。
【図６】実施の形態１に係る冷蔵庫の冷蔵室内の撮影画像（貯蔵室画像）から抽出された食品画像の、携帯端末における表示画面の例を示す図である。
【図７】（ａ）及び（ｂ）は、実施の形態１に係る冷蔵庫の時間変化検出部における、食品画像の時間変化検出方法を示す模式図である。
【図８】（ａ）及び（ｂ）は、実施の形態１に係る冷蔵庫の在庫食品一覧の画像と食品変化表示の画像についての、携帯端末における表示画面の例を示す図である。
【図９】本発明の実施の形態２に係る冷蔵庫の冷蔵室の概略構成（図１を線分ＩＩ−ＩＩで切る断面構造と制御装置の構成とを含む）と携帯端末とを示す図である。
【図１０】実施の形態２に係る冷蔵庫の食品画像識別部が参照する、食品画像データベースに記憶される内容の例を表形式で示す図である。
【図１１】実施の形態２に係る冷蔵庫の動作を概略的に示すフローチャートである。
【図１２】本発明の実施の形態３に係る冷蔵庫の概略構成（図１を線分ＸＩＩ−ＸＩＩで切る断面構造と制御装置の構成とを含む）と携帯端末とを示す図である。
【図１３】（ａ）から（ｃ）は、実施の形態３に係る冷蔵庫と通信する携帯端末における食品画像の表示画面の例を示す図である。
【図１４】（ａ）から（ｃ）は、実施の形態３に係る冷蔵庫の期限推定部における推定方法の一例を示す模式図である。
【図１５】本発明の実施の形態４に係るネットワークシステムの構成を概略的に示す図である。
【発明を実施するための形態】
【００１４】
《１》実施の形態１
《１−１》構成
図１は、本発明の実施の形態１に係る冷蔵庫１０００の概略構成を示す正面図である。図１に示されるように、実施の形態１に係る冷蔵庫１０００は、複数の貯蔵室を備えている。複数の貯蔵室は、例えば、冷蔵室１００、製氷室２００、切替室３００、冷凍室４００、及び野菜室５００を含む。図１の例では、複数の貯蔵室は、上から冷蔵室１００、製氷室２００と切替室３００、冷凍室４００、及び野菜室５００の順で配置されている。また、製氷室２００と切替室３００とは、水平方向の左右に並んで配置されている。冷蔵庫１０００は、冷凍サイクル回路を有しており、複数の貯蔵室は、冷凍サイクル回路によって冷却される。冷凍サイクル回路は、後述の実施の形態３に係る冷蔵庫１０００ｂにおいて説明される。なお、図１は、後述の実施の形態２（図９）及び実施の形態３（図１２）においても参照される。冷蔵庫１０００は、実施の形態２においては冷蔵庫１０００ａと表記され、実施の形態３においては冷蔵庫１０００ｂと表記される。
【００１５】
冷蔵室１００の扉の前面（正面）には、表示部（表示画面）を有する操作パネル１が備えられてもよい。操作パネル１の表示画面には、各貯蔵室の設定温度及び各貯蔵室の現在温度などの冷蔵庫内に関する情報（庫内情報）を表示させることができる。操作パネル１は、例えば、ユーザの入力を受け付けるタッチパネルを有している。操作パネル１の設置位置は、冷蔵室１００の扉に限るものではなく、他の貯蔵室の扉の外面又は冷蔵庫１０００の側面などのような他の位置に設置されてもよい。また、製氷室２００、切替室３００、冷凍室４００、及び野菜室５００は、例えば、それらの前面に備えられた扉と共に、冷蔵庫１０００の手前側にスライドさせて引き出すことができるように構成されている。図１は、本発明が適用可能な冷蔵庫の一例を示しているが、本発明が適用可能な冷蔵庫は、図１に示されるものに限定されない。
【００１６】
図２は、実施の形態１に係る冷蔵庫１０００の冷蔵室１００の概略構成（図１を線分ＩＩ−ＩＩで切る断面構造と制御装置１００１の構成とを含む）と携帯端末８とを示す図である。実施の形態１に係る冷蔵庫１０００は、主要な構成として、食品を貯蔵する貯蔵室である冷蔵室１００と、冷蔵室１００内を撮影することによって冷蔵室１００内の撮影画像（貯蔵室画像）を取得するカメラなどの撮影装置２と、撮影装置２によって取得された貯蔵室画像（貯蔵室画像データ）から、冷蔵室１００内に貯蔵されている食品の食品画像（食品画像データ）を抽出して管理（記憶を含む）する制御装置１００１とを備える。制御装置１００１は、表示部８ａを有する携帯端末８との通信を行う無線通信部７を有している。ただし、無線通信部７は、制御装置１００１の一部であってもよいが、制御装置１００１とは別個の構成であってもよい。制御装置１００１は、例えば、食品画像の時間的な変化（時間の経過に伴う食品の変化により生じる食品画像の変化）から当該食品画像に対応する食品の劣化に関する情報を生成し、食品画像及び食品の劣化に関する情報を、無線通信部７を介して携帯端末８へ送信する。
【００１７】
また、図２に示される冷蔵庫１０００は、以下の構成を備えることができる。図２に示されるように、冷蔵室１００は、前面側（図２において左側）を冷蔵室扉１０１によって塞がれる。冷蔵室１００は、内部に複数の棚板１０２を備えることができる。棚板１０２により冷蔵室１００は、複数の空間（棚）に仕切られる。最下段の棚板１０２の下側の空間は、例えば、チルド室１１０である。チルド室１１０の内部には、レール等の案内部材（図示せず）に沿って、前方（図２において左向き）にスライドして引き出すことができるチルドケース１１１が設置されている。また、冷蔵室１００の背面側（図２において右側）には、冷却風路１０１０が備えられている。冷却風路１０１０の詳細は、実施の形態３で説明される。
【００１８】
冷蔵室扉１０１の内側の面には、撮影装置２が設置されている。図２の例では、撮影装置２は、冷蔵室１００の天井面からチルド室１１０までを視野範囲とし、ユーザの視点と同じ側である冷蔵室扉１０１側から冷蔵室１００内を撮影することが可能な構成となっている。なお、撮影装置２の設置位置は、冷蔵室扉１０１の内面に限られない。撮影装置２は、棚板１０２に載置される食品等の収納物を広範囲に撮影できる位置であれば、どの位置に設置されてもよい。また、棚板１０２に視野を遮られることを考慮して、より多くの収納物を撮影できるようにするため、複数の撮影装置２を設置してもよい。
【００１９】
また、制御装置（制御部）１００１は、制御回路（処理回路）を有する制御基板によって構成されることができる。制御装置１００１は、例えば、冷蔵庫１０００の背面に取り付けられる。図２に示される制御装置１００１は、食品画像抽出部３、食品画像管理部４、時間変化検出部５、食品劣化状態推定部６、及び通信装置としての無線通信部７を備えている。通信装置は、無線通信部及び有線通信部のいずれであってもよい。また、食品画像抽出部３、食品画像管理部４、時間変化検出部５、及び食品劣化状態推定部６のうちの全部又は一部を、ソフトウェアとしてのプログラムを格納する記憶装置（記憶部）としてのメモリと、このメモリに格納されたプログラムを実行する情報処理装置としてのプロセッサとを用いて（例えば、コンピュータにより）実現されてもよい。また、食品画像抽出部３、食品画像管理部４、時間変化検出部５、及び食品劣化状態推定部６は、ソフトウェアとしてのプログラムを格納するメモリとこのメモリに格納されたプログラムを実行するプロセッサ、並びに、処理回路の組み合わせによって実現されてもよい。
【００２０】
無線通信部７は、例えば、Ｗｉ−Ｆｉ又はＢｌｕｅｔｏｏｔｈ（登録商標）等の通信モジュールを具備している。冷蔵庫１０００は、無線通信部７を用いることによって、例えば、ルータ（後述の図１５に示されるブロードバンドルータ２００６）及びインターネット（後述の図１５に示されるインターネット３００１）のうちの少なくとも一方を経由して、宅内又は宅外に存在する、スマートフォン又は携帯タブレット等の携帯端末（ユーザ端末）８と通信することが可能である。したがって、冷蔵庫１０００は、冷蔵庫１０００に関する各種情報を携帯端末８の表示部８ａに表示させることができる。
【００２１】
食品画像抽出部３は、撮影装置２及び食品画像管理部４と通信可能に接続される。食品画像抽出部３は、例えば、冷蔵室扉１０１の開閉時（例えば、開閉した直後）に、撮影装置２によって撮影された冷蔵室１００内の画像である貯蔵室画像（例えば、冷蔵室１００内の全体画像）を受信し、受信された貯蔵室画像から食品についての画像部分である食品画像を抽出する。さらに、食品画像抽出部３は、貯蔵室画像から抽出された食品画像に、時刻情報（例えば、撮影時刻情報）を付帯情報として追加して（すなわち、食品画像と対応する付帯情報とを関連付けて）、これらの食品画像及び付帯情報を食品画像管理部４に送信する。ここで、撮影装置２及び食品画像抽出部３は、冷蔵室１００内を撮影して食品画像を検出する食品画像検出部を構成している。また、時刻情報は、時、分、秒だけでなく、日にち（月日又は年月日）の情報も含むことができる。時刻情報は、例えば、制御装置１００１内に備えられた時刻情報取得部としての時計（図示せず）から取得される。ただし、時刻情報は、時刻信号の提供者が送信する時刻信号から取得されてもよい。なお、食品画像抽出部３は、食品画像に時刻情報を付帯情報として追加する処理を行わずに、食品画像を食品画像管理部４に送信するように構成されてもよい。この場合には、時刻情報の取得は、制御装置１００１のうちの食品画像抽出部３以外の部分によって行われる。
【００２２】
食品画像管理部４は、食品画像抽出部３、時間変化検出部５、及び無線通信部７と通信可能に接続される。食品画像管理部４は、食品画像抽出部３から食品画像と時刻情報とを受信し、時刻情報に基づいて食品画像を時系列に並び換えた情報を記憶部（メモリ）に保存することができる。この記憶部は、食品画像管理部４内の記憶部又は食品画像管理部４外の記憶部のいずれであってもよい。このとき、食品画像管理部４は、食品画像に基づいて食品の入庫又は出庫を識別し、その識別結果（入出庫識別情報）を食品画像の付帯情報に追加して記憶部に保存することができる。また、食品画像管理部４は、食品画像及び付帯情報（時刻情報及び入出庫識別情報）を時間変化検出部５及び無線通信部７に送信することができる。
【００２３】
時間変化検出部５は、食品画像管理部４、食品劣化状態推定部６、及び無線通信部７と通信可能に接続される。時間変化検出部５は、食品画像管理部４から食品画像及び付帯情報を受信し、食品画像の色及び大きさの時間的な変化を検出して記憶部（メモリ）に保存することができる。この記憶部は、時間変化検出部５内の記憶部又は時間変化検出部５外の記憶部のいずれであってもよい。また、時間変化検出部５は、検出した食品画像の色及び大きさの時間的な変化を、食品劣化状態推定部６及び無線通信部７に送信する。
【００２４】
食品劣化状態推定部６は、時間変化検出部５及び無線通信部７と通信可能に接続される。食品劣化状態推定部６は、時間変化検出部５から食品画像の時間的な変化を受信し、その時間的な変化に基づいて食品の劣化状態を推定し、推定結果を無線通信部７に送信する。言い換えれば、食品劣化状態推定部６は、食品画像の時間的な変化から当該食品画像に対応する食品の劣化に関する情報（例えば、食品の劣化状態を示す情報）を生成し、無線通信部７を介して携帯端末８に送信する。
【００２５】
無線通信部７は、制御装置１００１内で、食品画像管理部４、時間変化検出部５及び食品劣化状態推定部６と通信可能に接続され、また、携帯端末８とは無線通信を行う。無線通信部７は、食品画像管理部４から食品画像及び付帯情報、時間変化検出部５から検出した食品画像の色及び大きさの時間的な変化（時間の経過に伴う食品の色及び大きさの変化により生じる食品画像の色及び大きさの変化）、及び食品劣化状態推定部６によって推定された食品の劣化状態を示す情報を受信し、これらの受信された情報を、無線通信にて携帯端末８に送信する。
【００２６】
携帯端末８は、無線にて無線通信部７と接続される。携帯端末８は、冷蔵庫１０００の無線通信部７から送信された、食品画像及び付帯情報、食品画像の色及び大きさの時間的な変化の検出結果、及び食品の劣化状態の推定結果を受信し、受信された情報を、携帯端末８の表示部８ａに表示させる。
【００２７】
《１−２》動作
次に、冷蔵庫１０００の動作の一例を、図１、図２及び図３を参照して説明する。図３は、冷蔵庫１０００の冷蔵室扉１０１が開閉されるごと（例えば、開閉された直後）に行われる動作を示すフローチャートである。
【００２８】
図３に示される動作は、冷蔵室扉１０１の開閉によって開始される。冷蔵室扉１０１が開閉されると、冷蔵室１００内の食品が出し入れされた可能性があるためである。制御装置１００１は、冷蔵室扉１０１の開閉を検知するスイッチからの信号により、冷蔵室扉１０１の開閉を検知すると（ステップＳ１１）、撮影装置２に、冷蔵室１００内を撮影させる（ステップＳ１２）。このとき、冷蔵室扉１０１の開閉の検知をするスイッチは、例えば、冷蔵室扉１０１に埋め込まれたマグネット（磁石）の近接を、冷蔵庫本体側に設置された一対のリードスイッチによって検出する、マグネット方式のセンサスイッチなどである。また、制御装置１００１は、冷蔵室扉１０１が閉じられた後、冷蔵室１００内が庫内照明装置によって照明されている間に、撮影装置２による撮影を実行させる。
【００２９】
撮影装置２は、撮影によって得られた冷蔵室１００内の画像（貯蔵室画像）を、食品画像抽出部３に送信する（ステップＳ１３）。
【００３０】
食品画像抽出部３は、冷蔵室扉１０１が開閉されるごと（すなわち、冷蔵室１００内の収納状態が変化する可能性があるごと）に、撮影装置２から貯蔵室画像を受信する。以下の説明では、今回（最新）の冷蔵室扉１０１の開閉時を「今回の扉開閉時」と称し、前回（１回前）の冷蔵室扉１０１の開閉時を「前回の扉開閉時」と称する。
【００３１】
食品画像抽出部３は、前回の扉開閉時に撮影装置２から受信した貯蔵室画像を記憶しており、今回の扉開閉時に撮影装置２から受信した貯蔵室画像を新たに記憶する。そして、食品画像抽出部３は、前回の扉開閉時の貯蔵室画像と今回の扉開閉時の貯蔵室画像との差分を演算することにより、貯蔵室画像の変化部分の画像を抽出する（ステップＳ１４）。貯蔵室画像の変化部分の画像は、入庫又は出庫された食品の画像である。例えば、前回の扉開閉時の貯蔵室画像では、棚板にビールが置かれており、今回の扉開閉時の貯蔵室画像では、同じ個所にビールが置かれていない棚板のみである場合には、２つの貯蔵室画像の差分により、ビールの食品画像が抽出される。
【００３２】
食品画像抽出部３は、このようにして抽出した食品画像に、その抽出を行った時点での現在時刻である時刻情報を付帯情報として追加し、これら食品画像及び付帯情報を食品画像管理部４に送信する（ステップＳ１５）。
【００３３】
食品画像管理部４は、食品画像抽出部３から食品画像と付帯情報である時刻情報とを受信し、時刻情報に基づいて食品画像を時系列に並び換えて保存する（ステップＳ１６）。このとき、食品画像管理部４は、食品の入庫又は出庫の判断を行う。具体的には、食品画像管理部４は、食品画像抽出部３で食品画像を抽出する際に、差分により変化した部分を分析し、例えば、エッジ処理して得られたエッジの変化量、及び、予め記憶されている空状態（冷蔵室１００内に食品が全く収容されていない状態）の貯蔵室画像との比較により、食品の入庫又は出庫を判断する。そして、食品画像管理部４は、食品の入庫又は出庫の判断結果（入出庫識別情報）を食品画像の付帯情報に追加することで保存する。
【００３４】
さらに、食品画像管理部４は、食品画像及び付帯情報（時刻情報及び入出庫識別情報）を、時間変化検出部５及び無線通信部７に送信する。
【００３５】
次のステップＳ１７では、時間変化検出部５は、食品画像管理部４から食品画像及び付帯情報を受信し、食品画像の色及び大きさの時間的な変化を検出して保存する。この処理の詳細は後述される。
【００３６】
図４（ａ）から（ｄ）は、冷蔵庫１０００の冷蔵室１００内の撮影画像、撮影画像から抽出された食品画像、及び食品画像の付帯情報の例を示す図である。図４（ａ）から（ｄ）には、冷蔵室扉１０１の開閉時に、撮影装置２によって撮影されて食品画像抽出部３に送信される撮影画像（貯蔵室画像）３１ａ，３１ｂ，３１ｃ，３１ｄと、貯蔵室画像から抽出された食品画像３２ｂ，３２ｃ，３２ｄ１，３２ｄ２と、食品画像の付帯情報（時刻情報３３ｂ，３３ｃ，３３ｄ１，３３ｄ２及び入出庫識別情報３４ｂ，３４ｃ，３４ｄ１，３４ｄ２）とが示されている。
【００３７】
図４（ａ）は、時刻Ａにおいて、撮影装置２で撮影されて食品画像抽出部３に送信される貯蔵室画像３１ａを示す。時刻Ａでは、冷蔵室扉１０１は開閉されたが、食品の入庫及び出庫は行われていない。時刻Ａと時刻Ａより前とでは貯蔵室画像３１ａに変化がないため、食品画像抽出部３では差分画像（食品画像）が生成されない。したがって、時刻Ａでは、食品画像抽出部３は、食品画像管理部４に食品画像を送信しない。
【００３８】
図４（ｂ）は、時刻Ａより後の時刻Ｂにおいて、撮影装置２で撮影されて食品画像抽出部３に送信される貯蔵室画像３１ｂと、貯蔵室画像３１ｂから抽出された食品画像３２ｂと、食品画像３２ｂの付帯情報とを示す。時刻Ｂでは、冷蔵室１００の最上段の棚板からビールが出庫されている。食品画像抽出部３は、時刻Ａの貯蔵室画像３１ａと時刻Ｂの貯蔵室画像３１ｂとの差分により食品画像（ビール）３２ｂを抽出し、食品画像（ビール）３２ｂを時刻情報（時刻Ｂ）３３ｂと共に食品画像管理部４に送信する。食品画像管理部４は、入庫又は出庫の判断結果に基づき、食品画像３２ｂと関連付けて、「出庫」という入出庫識別情報３４ｂ及び時刻情報（時刻Ｂ）３３ｂを保存する。なお、便宜上、図４（ｂ）に示される食品画像（差分画像）には棚板も示されているが、実際の食品画像には冷蔵庫棚は無く、ビールのみである。
【００３９】
図４（ｃ）は、時刻Ｂの後の時刻Ｃにおいて、撮影装置２で撮影されて食品画像抽出部３に送信される貯蔵室画像３１ｃと、貯蔵室画像３１ｃから抽出された食品画像３２ｃと、食品画像３２ｃの付帯情報とを示す。時刻Ｃでは、冷蔵室１００の最下段の棚板からサラダが出庫されている。食品画像抽出部３は、時刻Ｂの貯蔵室画像３１ｂと時刻Ｃの貯蔵室画像３１ｃとの差分により食品画像（サラダ）３２ｃを抽出し、食品画像（サラダ）３２ｃを時刻情報（時刻Ｃ）３３ｃと共に食品画像管理部４に送信する。食品画像管理部４は、入庫又は出庫の判断結果に基づき、食品画像３２ｃと関連付けて、「出庫」という入出庫識別情報３４ｃ及び時刻情報（時刻Ｃ）３３ｃを保存する。
【００４０】
図４（ｄ）は、時刻Ｃの後の時刻Ｄにおいて、撮影装置２で撮影されて食品画像抽出部３に送信される貯蔵室画像３１ｄと、貯蔵室画像３１ｄから抽出された食品画像３２ｄ１，３２ｄ２と、食品画像３２ｄ１，３２ｄ２の付帯情報とを示す。時刻Ｄでは、冷蔵室１００の最上段の棚板上に牛乳が入庫され、さらに、最下段の棚板上にケーキが入庫されている。食品画像抽出部３は、時刻Ｃの貯蔵室画像３１ｃと時刻Ｄの貯蔵室画像３１ｄとの差分により食品画像（牛乳及びケーキ）３２ｄ１，３２ｄ２を抽出し、食品画像（牛乳及びケーキ）３２ｄ１，３２ｄ２を時刻情報（時刻Ｄ）３３ｄ１，３３ｄ２と共に食品画像管理部４に送信する。食品画像管理部４は、入庫又は出庫の判断結果に基づき、食品画像と関連付けて、「入庫」という入出庫識別情報３４ｄ１，３４ｄ２及び時刻情報（時刻Ｄ）３３ｄ１，３３ｄ２を保存する。
【００４１】
このように、食品画像管理部４は、食品画像３２ｂ，３２ｃ，３２ｄ１，３２ｄ２を、時刻情報３３ｂ，３３ｃ，３３ｄ１，３３ｄ２及び入出庫識別情報３４ｂ，３４ｃ，３４ｄ１，３４ｄ２とそれぞれ関連付けて保存しているため、食品の入庫時刻を把握することができ、入庫時刻に基づいて劣化状態を推定することができる。すなわち、食品画像管理部４は、冷蔵室１００に収納されている食品（在庫食品）を画像として把握すると共に、当該食品の劣化状態の推定に必要な情報を保持している。
【００４２】
ここで、食品画像管理部４に保存される画像（画像データ）は、食品画像抽出部３によって抽出された食品画像（貯蔵室画像の変化部分）のみである。また、食品画像抽出部３に記憶される貯蔵室画像（例えば、冷蔵室１００の全体画像）も、差分の基準となる最新の貯蔵室画像のみである。すなわち、食品画像抽出部３は、食品画像を抽出した後、最新の貯蔵室画像のみを記憶し、それ以外は消去することができる。
【００４３】
このように、食品画像抽出部３及び食品画像管理部４が各々の記憶部（メモリ）に記憶させる画像のデータ量を減らしているため、メモリの記憶容量を少なくすることができ、及びデータの通信負荷を低減することができる。なお、食品画像抽出部３の記憶部と食品画像管理部４の記憶部とは、別個のメモリであってよいが、同じメモリの異なる記憶領域であってもよい。また、撮影装置２による撮影、食品画像抽出部３による食品画像の抽出、及び食品画像管理部４における画像データの保存は、冷蔵室扉１０１が開閉されたとき（食品が入出庫された可能性があるとき）に行われており、冷蔵室１００内に収納された食品を管理する上で必要なデータのみを保存している。そのため、必要最小限の動作（撮影、画像処理、及び保存）で、冷蔵室１００内の食品の収納状態及び劣化状態を把握することができる。ただし、制御装置１００１は、冷蔵室扉１０１が開閉されたとき以外のときに（例えば、一定時間ごと、又は、予め決められた時刻ごとに）、貯蔵室画像を撮影させて、食品の劣化状態を把握することも可能である。
【００４４】
ここで、食品の収納状態とは、冷蔵室１００内に、どの時点でどの食品が収納されているかを言う。また、食品の劣化状態とは、食品の劣化がどの程度まで進んだか（例えば、早期に消費する必要があるか否か）を示す情報を含むことができる。
【００４５】
食品画像管理部４は、付帯情報（時刻情報及び入出庫識別情報）と関連付けて保存した食品画像のデータを、時系列に、あるいは、入庫又は出庫に分割し、無線通信部７を経由して携帯端末８の表示部８ａに出力することができる。ユーザは、携帯端末８の表示部８ａの表示画面を見ることにより、冷蔵室１００内に収納されている食品を把握することができる。
【００４６】
図５（ａ）及び（ｂ）は、実施の形態１に係る冷蔵庫１０００の冷蔵室１００内における撮影画像から抽出された食品画像の、携帯端末８の表示部８ａにおける表示画面の例を示す図である。図５（ａ）に示されるタイムライン表示画面２１では、冷蔵室扉１０１が開閉されるごとに貯蔵室画像から抽出された食品画像４２と、その食品画像４２の付帯情報である時刻情報４３及び入出庫識別情報４４とを、上から時系列順に並べて表示されている。この例では、表示画面の横方向の中央に、食品画像４２が、時刻情報（撮影時刻情報）が示す時刻の新しいものから順に上から下に並べられており、それぞれの食品画像４２の左側に時刻情報４３、右側に入出庫識別情報４４が表示されている。また、表示画面の上側には対象とする貯蔵室（この例では、冷蔵室１００）とその設定温度３℃、及び時刻Ｄも表示されている。
【００４７】
図５（ａ）に示されるタイムライン表示画面２１では、例えば、対象とする食品について時間を遡って検索し、消費期限又は賞味期限を推定することができる。そのため、当該食品を消費期限又は賞味期限までに消費することができ、食品を無駄に廃棄することを防止することができる。
【００４８】
図５（ｂ）に示される入出庫リスト表示画面２２では、入庫と出庫とで左右の欄に分割し、それぞれの欄に食品画像５２と時刻情報５３とを上から時系列順に表示（リスト表示）している。すなわち、左側の欄には、入出庫識別情報５４が「入庫」となっている食品画像５２及びその時刻情報５３（すなわち入庫時刻）を、入庫時刻が新しいものから順に上から並べて表示している。右側の欄には、入出庫識別情報５４が「出庫」となっている食品画像５２及びその時刻情報５３（すなわち出庫時刻）を、出庫時刻が新しいものから順に並べて表示している。
【００４９】
図５（ｂ）に示される入出庫リスト表示画面２２では、対象とする食品の入庫及び出庫の履歴から、その食品の現在の残量を推定することができるので、自宅以外の場所（例えば、買い物先）において携帯端末８の表示部８ａを確認することにより、無駄な食品（例えば、食材）の買い過ぎ又は買い忘れを防止することが可能となる。
【００５０】
図６は、実施の形態１に係る冷蔵庫１０００の携帯端末８における、撮影画像から抽出された食品画像６２の表示画面の別の例を示す図である。食品画像管理部４は、冷蔵庫１０００に保存されている食品画像（ここでは、冷蔵室扉１０１の開閉ごとに抽出された食品画像）と、その付帯情報である時刻情報及び入出庫識別情報とから、ある時点で冷蔵室１００内に収納されている（入出庫識別情報が「出庫」でない）食品画像６２を特定する。そして、無線通信部７を経由して、図６に示されるように、携帯端末８の表示部８ａに、在庫食品画像の一覧を、在庫食品一覧表示画面２３として表示する。なお、図６に示される表示例では、図５（ａ）及び（ｂ）とは異なり、時刻情報を基に、入庫時刻が古いものから順に、食品画像６２が左上から順に（例えば、１行目の左、中央、右、２行目の左、中央、右、３行目の左、中央、右、４行目の左、中央、右の順に）並べられている。
【００５１】
図６に示される在庫食品一覧表示画面２３では、ある時点での在庫食品画像の一覧が表示されるため、図５（ｂ）に示されるリスト表示よりもさらに明確に、冷蔵室１００内に収納されている食品を把握することができるため、無駄な食品（例えば、食材）の買い過ぎ、又は、必要な食品の買い忘れを防止することが可能となる。また、入庫時刻が古いものから順に、上から順に食品画像が並べられているので、古い食品、すなわち「早期に消費する必要がある」食品を発見しやすくなり、食品の廃棄を抑制することが可能となる。ただし、食品画像の表示の配列順は、入庫時刻が古い食品から順に配列する方法以外の方法、例えば、入庫時刻が新しい順に配列することも可能である。これは、入庫時刻が古い食品は、長期保存可能な食品であることが多く、入庫時刻が新しい食品の中に長期保存できない食品が多く含まれている場合（例えば、肉又は魚などの生鮮食材）に、役に立つ表示方法である。
【００５２】
なお、携帯端末８の表示部８ａには、図５（ａ）の「入出庫タイムライン」、図５（ｂ）の「入出庫リスト」、及び図６の「在庫食品一覧」という、３つの種類の食品画像表示画面がある。携帯端末８の表示部８ａに、これらのいずれかを常に表示するようにしてもよいし、又は、ユーザの操作（例えば、タッチパネルに触れる等）に応じていずれかを表示するようにしてもよい。また、食品画像の表示画面の切換は、それぞれの表示画面へリンクするボタンから切り換えてもよいし、水平方向のスワイプ動作などによって切り換えてもよい。あるいは、携帯端末８の表示部８ａに、これらの種類の表示を予め決められた時間経過ごとに順次切り替えて表示するようにしてもよいし、又は、時間又は曜日に応じて、予め決められた表示画面を選択して表示する（例えば、大量の食品を購入することが多い土及び日曜日には、図６の一覧表示を表示し、少量の食品を購入することが多い月から金曜日までは図５（ａ）又は（ｂ）を表示する）ようにしてもよい。
【００５３】
また、携帯端末８の表示部８ａの画面上側には、対象とする貯蔵室（この例では、冷蔵室１００）とその設定温度、及び現在時刻が表示されているが、設定温度の他に、各貯蔵室の測定温度を表示してもよい。
【００５４】
次に、時間変化検出部５及び食品劣化状態推定部６の処理について説明する。図３に示されるステップＳ１７では、時間変化検出部５が、食品画像管理部４から受信した食品画像（例えば、冷蔵室扉１０１の開閉ごとに貯蔵室画像から抽出された食品画像）の色及び大きさの時間的な変化を検出して保存する。
【００５５】
食品の種類及び保存環境によって差異はあるが、冷蔵室１００に収納されている食品は徐々に劣化し、特に、色又は大きさ（或いは形状）に変化が現れる。例えば、肉及び魚などの生鮮食品は、酸化（メト化）により色が褐色に変化する。野菜についても、ブロッコリーは、明るい緑色が徐々に退色して黄色の部分が多くなり、劣化がさらに進行すると腐敗又はカビにより灰褐色に変化する。ホウレン草などの葉物野菜は、蒸散によって萎れ又は縮みが発生して大きさも変化する。
【００５６】
そこで、時間変化検出部５は、食品画像管理部４から食品画像を受信するごとに、受信した食品画像の色及び大きさの時間的な変化を検出して保存する。時間変化検出部５に保存された色及び大きさの時間的な変化に基づいて、後述する食品劣化状態推定部６が劣化状態の推定を行う。
【００５７】
色の変化を検出するための指標として、例えば、一般的な色指標であるＬ＊ａ＊ｂ＊表色系を用いる場合、上述した生鮮食品の酸化はａ＊値の減少（赤の退色）、ブロッコリーの退色はＬ＊値又はｂ＊値の増加（明るさ、黄色の増加）、腐敗はＬ＊値の減少（明るさの減少）として数値化される。そのため、時間変化検出部５は、食品画像管理部４から食品画像を受信するごとに、ａ＊値、ｂ＊値、及びＬ＊値を検出して保存する。
【００５８】
また、色指標はＬ＊ａ＊ｂ＊表色系に限られず、原色をＲ（赤）、Ｇ（緑）、Ｂ（青）とする表色系であるＲＧＢ表色系、又は、マンセル表色系等のような他の表色系を用いても、色の変化（赤の退色、黄色の増加等）及び明るさの変化を数値化することができる。
【００５９】
時間変化検出部５は、色分布の変化を保存してもよい。この場合、時間変化検出部５は、予め多数のカラーサンプルをデータベースとして記憶しており、食品画像管理部４から受信した食品画像から検出した色をカラーサンプルと比較して類似度を算出する。そして、食品画像全体を、最も類似しているカラーサンプルに対応する色ごとに分類して、色ごとの面積占有率を算出する。
【００６０】
図７（ａ）及び（ｂ）は、時間変化検出部５における食品画像の時間的な変化の一例を示す図である。図７（ａ）には、食品（肉）の入庫時の食品画像と、その食品画像に基づいて検出した色分布を示す。図７（ｂ）は、食品が酸化するのに十分な時間（Ｔ時間）が経過した後の食品画像と、その食品画像に基づいて検出した色分布を示す。Ｔは、０以上の値である。図７（ａ）及び（ｂ）では、食品画像における、各カラーサンプルに対応する色ごと（横軸）の面積占有率（縦軸）を棒グラフで示している。時間変化検出部５は、食品画像管理部４から食品画像を受信するごとに、新たに受信した食品画像の色分布のデータを算出して保存する。
【００６１】
また、時間変化検出部５は、大きさの変化を検出する指標として、例えば、投影面積、周囲長及び最長軸の長さなどを保存する。また、食品の輪郭形状からパターンを抽出し、そのパターンを保存してもよい。ここでは、時間変化検出部５は、食品画像の色及び大きさの変化を検出して保存するが、色の変化のみ、又は、大きさの変化のみを検出して保存するようにしてもよい。
【００６２】
このようにして、時間変化検出部５が検出して保存した色及び大きさの時間的な変化に基づいて、食品劣化状態推定部６が食品の劣化状態を推定する。食品劣化状態推定部６による食品の劣化状態の推定は、冷蔵室扉１０１の開閉ごとではなく、一定時間ごとに行うことが好ましい。
【００６３】
食品の劣化の状態は、食品の種別（肉、魚、又は野菜等）によって異なるが、ここでは、食品の種別は問わずに、一律な判断基準を用いて食品の劣化状態の判断を行う。そのため、食品劣化状態推定部６は、１つの食品画像について複数の指標に基づく判断を行い、少なくとも１つの指標が基準値を超えた場合には、「早期に消費する必要がある」と判断する。
【００６４】
例えば、色指標としてＬ＊ａ＊ｂ＊表色系を用いる場合には、食品劣化状態推定部６は、時間変化検出部５に保存したａ＊値、ｂ＊値、及びＬ＊値のうちの少なくとも１つが基準値を超えた場合に、当該食品画像に対応する食品について「早期に消費する必要がある」と判断する。
【００６５】
また、図７（ａ）及び（ｂ）に示される色分布を用いる場合には、時間変化検出部５に保存した色分布（各カラーサンプルに対応する色ごとの面積占有率）の変化に基づいて、特定の色の面積占有率が基準値を超えた場合に、当該食品画像に対応する食品について「早期に消費する必要がある」と判断する。
【００６６】
図７（ａ）及び（ｂ）に示される例では、食品の入庫時の図７（ａ）と比較して、Ｔ時間後の図７（ｂ）では、酸化によって食品（肉）の色が濃く（実際には褐色に）変化しており、また、濃い色の面積占有率が大きくなっている。褐色は、酸化すなわちメト化によってメトミオグロビンが呈する色である。
【００６７】
そこで、例えば、「メト化が進むと１０番のカラーサンプルに対応する色が増加する」、「腐敗が進むと２０番のカラーサンプルに対応する色が増加する」等の知見に基づき、食品劣化状態推定部６に、劣化を反映する色ごとに基準値を予め登録しておく。
【００６８】
そして、食品劣化状態推定部６は、予め登録された複数の色（例えば、１０番、２０番等の複数のカラーサンプルに対応する色）の面積占有率のうちの少なくとも１つが基準値を超えた場合に、当該食品画像に対応する食品について「食品の劣化が進んでいる可能性がある」と判断する。
【００６９】
また、食品は劣化によって萎れ又は縮みを呈するため、食品画像に含まれている食品の大きさの変化に基づいて、劣化状態を判断することもできる。この場合、時間変化検出部５が検出して保存した食品の大きさ（例えば、投影面積、周囲長、又は長軸の長さ等）の変化に基づき、食品劣化状態推定部６が、食品の大きさの入庫時からの減少率が基準値を超えた場合には、その食品について「早期に消費する必要がある」と判断することができる。
【００７０】
あるいは、時間変化検出部５が検出して保存した食品の輪郭形状のパターンに基づき、食品劣化状態推定部６が、入庫時の食品の輪郭形状のパターンとのパターンマッチングを行い、その誤差が基準時を超えた場合に、その食品について「早期に消費する必要がある」と判断してもよい。
【００７１】
また、図７（ａ）及び（ｂ）を参照して説明した色分布に基づく判断において、各カラーサンプルに対応する色ごとの面積占有率を求める代わりに、絶対的な面積値を求めれば、色の変化と同時に大きさの変化も反映させた判断が可能になる。
【００７２】
食品劣化状態推定部６は、時間変化検出部５に保存された各食品画像について、それぞれ劣化状態の判断を行う。携帯端末８の表示部８ａには、食品画像管理部４に保存された食品画像と共に、食品劣化状態推定部６による劣化状態の推定結果が表示される。
【００７３】
図８（ａ）及び（ｂ）は、携帯端末８における食品の劣化状態の表示例を示す図である。図８（ａ）に示される表示例では、図６で説明した在庫食品一覧表示画面２３に表示される食品画像のうち、食品劣化状態推定部６が「早期に消費する必要がある」と判断した食品画像に、アラート（ここでは、感嘆符）を重ねて表示している。これにより、携帯端末８の表示部８ａを見たユーザは、アラートが表示された食品画像の食品が、早期に消費すべき食品であることを把握することができる。すなわち、ユーザにとって、冷蔵室１００内に収納された複数の食品のうち、どの食品を早期に消費すべきかが一目瞭然になる。その結果、消費期限又は賞味期限の経過により食品を無駄に破棄することを抑制することができる。
【００７４】
したがって、例えば、冷蔵室１００内に消費期限又は賞味期限が経過した食品が収納されていて、ユーザが買い物先においてその食品を購入するか迷った際に、冷蔵室１００内の収納状況だけでなく、目的とする食品の消費期限又は賞味期限も携帯端末８の表示部８ａにて確認できるので、収納はされているが使用することができない食材の買い忘れも防止することが可能となる。
【００７５】
図８（ａ）に示される表示例では、食品画像にアラートを重ねて示しているが、表示は、このような例に限られず、食品劣化状態推定部６の推定結果に基づき、早期に消費すべき食品をユーザに知らせることができれば、他の表示であってもよい。
【００７６】
携帯端末８の表示部８ａには、また、図８（ｂ）に模式的に示されるように、時間変化検出部５によって検出した食品画像の色又は大きさの変化を表示してもよい。この場合、例えば、図６に示されるような在庫食品一覧表示画面２３上で１つの食品画像を選択すると、その食品画像の時間ごとの色又は大きさの変化を表示する食品変化表示画面２４が、携帯端末８の表示部８ａに表示される（図８（ｂ）では、食品として生肉を想定しているため、チルド室内を表示例としている）。これにより、ユーザは、食品の劣化状況を画像により把握することができる。
【００７７】
なお、冷蔵室扉１０１が長期間に亘って開閉されない場合も想定される。そのため、例えば、最新の冷蔵室扉１０１の開閉の時点では食品の劣化の兆候（例えば、褐色への変化）が僅かであっても、時間の経過により食品の劣化が進行する可能性がある。そこで、食品劣化状態推定部６は、一定時間ごとに、時間変化検出部５に保存されている各食品画像の色及び大きさの変化に基づいて食品の劣化状態を推定し、その推定結果に基づいてユーザに食品の消費を促すべき時刻（ユーザへの報知時刻）を予測し、予測時刻に達した段階で携帯端末８の表示部８ａにアラートを表示することが望ましい。
【００７８】
《１−３》効果
以上説明したように、実施の形態１に係る冷蔵庫１０００によれば、撮影装置２により撮影した貯蔵室（例えば、冷蔵室１００）内の貯蔵室画像から食品画像を抽出して管理し、携帯端末８の表示部８ａに、食品画像と、食品の劣化に関する情報（例えば、食品の劣化状態を示す情報）とを表示する。そのため、ユーザは、自宅以外の場所、例えば、買い物先であっても、冷蔵庫１０００の貯蔵室内に収納されている食品を把握し、その中で特に早期に消費すべき食品を容易に知ることができる。
【００７９】
その結果、冷蔵庫１０００は、ユーザに対し、携帯端末８によって、食品を、食品に関する期限（例えば、消費期限）までに消費することを促すことができ、食品の無駄な廃棄が抑制される。また、貯蔵室内に食品を長期間放置することによる貯蔵室内の空きスペースを減少させることができ、及び電力の無駄な消費を低減することができる。また、冷蔵室扉１０１を開けずに、携帯端末８の表示部８ａにて食品の在庫状況又は食品の劣化状態を確認することができるため、冷蔵室扉１０１の開閉による冷蔵室１００内の温度上昇を抑制し、電力の消費量を低減することができる。
【００８０】
また、携帯端末８の表示部８ａに、食品画像と共に入出庫識別情報及び時刻情報を表示することにより、ユーザは、ある食品が冷蔵室１００内にどの程度の期間収納されているかを容易に把握することができる。また、買い物先から在庫食品を確認した場合には、在庫食品の消費期限又は賞味期限も考慮したうえで、食品の購入を判断することができる。
【００８１】
また、食品画像を入出庫識別情報及び時刻情報と関連付けて保存し、これらに基づいて食品の劣化状態を推定するようにしたため、食品画像の変化及び入庫してからの時間経過等を考慮して、食品の劣化状態を高い精度で推定することができる。
【００８２】
また、冷蔵室扉１０１が開閉されるごとに撮影装置２が貯蔵室画像を撮影し、食品画像抽出部３が貯蔵室画像から食品画像を抽出するようにしたため、冷蔵室１００内の食品に変化がある可能性があるごとに情報が更新される。そのため、ユーザが在庫食品とその劣化状態をより正確に知ることができる。
【００８３】
また、食品劣化状態推定部６が、食品画像の色又は大きさ（又はその両方）の変化に基づいて食品の劣化状態を推定するため、酸化（メト化）及び腐敗等の劣化の検出精度を高めることができる。
【００８４】
《１−４》変形例
上記の説明では、食品画像管理部４が食品の入庫又は出庫を識別したが、食品の入庫及び出庫に加えて、冷蔵室１００内における食品の移動を識別するようにしてもよい。食品の移動は、例えば、以下の方法で識別する。すなわち、食品画像抽出部３が、上述したように前回の扉開閉時における貯蔵室画像と今回の扉開閉時における貯蔵室画像との差分画像である第１の差分画像を得る。さらに、前々回の扉開閉時における貯蔵室画像と前回の扉開閉時における貯蔵室画像との差分画像である第２の差分画像の中に、第１の差分画像と一致するものがあるか否かを、マッチング処理により判断する。マッチング処理の結果、第２の差分画像の中に、第１の差分画像と一致するものがある場合には、食品が冷蔵室１００内で移動したものと推定する。
【００８５】
食品劣化状態推定部６が食品の入庫からの経過時間（すなわち、在庫期間）を計算する際に、食品が冷蔵室１００内で移動する前の在庫期間も算入することで、食品の劣化状態の推定及びユーザへの報知の精度を向上することができる。
【００８６】
なお、上記の説明では、撮影装置２を冷蔵室１００に備えたが、撮影装置２（又は他の撮像装置）を冷蔵室１００以外の貯蔵室に備えてもよい。例えば、撮影装置２（又は他の撮像装置）を冷凍室４００又は野菜室５００の天井面に備えてもよい。この場合も、撮影装置２（又は他の撮像装置）により撮影した各貯蔵室の貯蔵室画像（例えば、各貯蔵室内の全体画像）から、食品画像抽出部３により食品画像を抽出し、抽出された食品画像を食品画像管理部４に付帯情報と関連付けて保存し、時間変化検出部５及び食品劣化状態推定部６により劣化状態の推定を行い、操作パネル１に食品画像及び食品の劣化状態を表示させることで、冷蔵室１００に撮影装置２を備えた場合と同様の効果が得られる。
【００８７】
《２》実施の形態２
《２−１》構成
図９は、本発明の実施の形態２に係る冷蔵庫１０００ａの冷蔵室１００の概略構成（図１を線分ＩＩ−ＩＩで切る断面構造と制御装置１００１ａの構成とを含む）と携帯端末８とを示す図である。図９において、図２に示される構成要素と同一又は対応する構成要素には、図２に示される符号と同じ符号が付される。以下では、実施の形態１との相違点について重点的に説明する。
【００８８】
図９に示されるように、実施の形態２に係る冷蔵庫１０００ａに備えられている制御回路（処理回路）である制御装置１００１ａには、実施の形態１の制御装置１００１の構成に加えて、食品画像識別部９、及び、食品の種類に、当該食品の形状、大きさ、色、及び外装ラベルのうちの少なくとも１つを対応付けて予め記憶する食品情報記憶部（食品画像データベース）１０が備えられている。制御装置１００１ａは、処理回路を有する制御基板によって構成されることができる。制御装置１００１ａは、食品画像抽出部３、食品画像管理部４、時間変化検出部５、食品劣化状態推定部６、及び通信装置としての無線通信部７を備えている。通信装置は、無線通信部及び有線通信部のいずれであってもよい。また、食品画像抽出部３、食品画像識別部９、食品画像管理部４、時間変化検出部５、及び食品劣化状態推定部６のうちの全部又は一部を、ソフトウェアとしてのプログラムを格納する記憶装置（記憶部）としてのメモリと、このメモリに格納されたプログラムを実行する情報処理装置としてのプロセッサとを用いて（例えば、コンピュータにより）実現されてもよい。また、食品画像抽出部３、食品画像識別部９、食品画像管理部４、時間変化検出部５、及び食品劣化状態推定部６は、ソフトウェアとしてのプログラムを格納するメモリとこのメモリに格納されたプログラムを実行するプロセッサ、並びに、処理回路の組み合わせによって実現されてもよい。
【００８９】
食品画像データベース１０は、食品画像識別部９と通信可能に接続される。食品画像データベース１０は、食品の種類のそれぞれについて、当該食品の種類を他の食品の種類と区別することができるための特徴的な属性（例えば、食品の形状、大きさ、色、及び外装ラベルのうちの少なくとも１つ）を、食品の種類のそれぞれに対応付けて記憶している。
【００９０】
図１０は、実施の形態２に係る冷蔵庫１０００ａの食品画像識別部９が参照する、食品画像データベース１０に記憶される内容の例を表形式で示す図である。図１０の食品画像データベース１０は、食品の種類に属する食品自体又は当該食品が入った容器の特徴量を、当該食品の種類に対応付けて記憶している。図１０の例では、食品画像データベース１０は、食品の種類の各々について、形状（輪郭）、大きさ（長軸の長さ）、代表色（ＲＧＢ値）、及びラベル（文字）等の情報を特徴量として記憶している。
【００９１】
食品画像データベース１０に記憶される食品の種類ごとの形状としては、図１０に示される形状（輪郭）に代えて、又は、図１０に示される形状（輪郭）に加えて、食品の形状に関する他の情報として、例えば、当該食品の外形に最も近い幾何学的形状（例えば、円柱形状、台形形状、直方体形状、立方体形状、三角柱形状などの情報）を用いてもよい。この場合、食品画像識別部９による識別においては、例えば、パターンマッチング等の手法により食品画像データベース１０に記憶されている形状との照合を行う。また、色については、代表色のＲＧＢ値の他、例えば、明度、彩度等の他の指標値を用いるようにしてもよい。
【００９２】
《２−２》動作
次に、実施の形態２に係る冷蔵庫１０００ａの動作の一例について、図９、図１０及び図１１を参照して、実施の形態１との相違点を中心に説明する。図１１は、実施の形態２に係る冷蔵庫１０００ａの冷蔵室扉１０１が開閉されるごとに行われる動作を示すフローチャートである。図１１において、図３に示される処理ステップと同じ処理ステップには、図３に示される符号と同じ符号が付される。
【００９３】
図１１に示される冷蔵庫１０００ａの動作において、冷蔵室扉１０１の開閉を検出するための処理（ステップＳ１１）から、食品画像抽出部３が、前回の扉開閉時の貯蔵室画像と今回の扉開閉時の貯蔵室画像との差分を演算することにより、貯蔵室画像の変化部分の画像を抽出する処理（ステップＳ１４）までは、図３に示される実施の形態１の制御装置１００１の動作と同一である。食品画像抽出部３は、抽出した食品画像と、その抽出を行った時点での現在時刻である時刻情報を付帯情報として追加し、これら食品画像及び付帯情報を、実施の形態１では食品画像管理部４に送信したが、実施の形態２では、まず食品画像識別部９に送信する（ステップＳ２１）。
【００９４】
食品画像識別部９は、図１０に示される食品画像データベース１０に記憶されている情報を参照しながら、食品画像抽出部３から受信した食品画像に基づいて、貯蔵室（ここでは、冷蔵室１００）内に収納されている食品の種類及び量を識別する（ステップＳ２２）。この識別においては、食品画像識別部９は、食品画像抽出部３により抽出された個々の食品の画像が、食品画像データベース１０に記憶されている食品の種類のうち、どの食品の種類の特徴量と合致するかを照合する。
【００９５】
食品画像識別部９は、個々の食品の画像と合致する食品画像データベース１０に記憶されている特徴量があった場合、当該画像の食品の種類は、食品画像データベース１０において合致した特徴量に対応付けられている種類であると、判断する。なお、食品画像識別部９は、食品画像データベース１０に、特徴量が合致するデータがない場合、当該画像の食品の種類を、最も類似する食品の種類で代替するか、あるいは、当該画像の食品は種類不明の収納物として大きさだけを識別するようにしてもよい。
【００９６】
食品画像識別部９は、食品画像抽出部３から受信した食品画像、及びそれぞれの食品画像についての時刻情報（撮影時刻情報）に、このようにして識別した食品の種類及び量情報を付帯情報として追加し、食品画像管理部４に送信する（ステップＳ２３）。
【００９７】
食品画像管理部４は、食品画像識別部９から食品画像と付帯情報（時刻情報、食品の種類及び量情報）とを受信し、実施の形態１より付帯情報として、食品の種類及び量情報は増えているが、同様に時刻情報に基づいて食品画像を時系列に並び換えて保存する（ステップＳ１６）。また、食品画像管理部４は、実施の形態１と同様に、食品の入庫又は出庫の判断を行い、その判断結果（入出庫識別情報）を食品画像の付帯情報として保存する。さらに、食品画像管理部４は、食品画像及び付帯情報（時刻情報、食品の種類及び量情報及び入出庫識別情報）を、時間変化検出部５及び無線通信部７に送信する。
【００９８】
次のステップＳ１７では、実施の形態１と同様に、時間変化検出部５が、食品画像管理部４から食品画像及び付帯情報を受信し、食品画像の色及び大きさの時間的な変化を検出して保存する。
【００９９】
ここで、実施の形態１では、時間変化検出部５が検出した色及び大きさの時間的な変化に基づいて、食品劣化状態推定部６が、食品の種別は問わずに、一律な判断基準を用いて食品の劣化状態を推定していた。すなわち、食品劣化状態推定部６は、１つの食品画像について複数の指標に基づく判断を行い、少なくとも１つの指標が基準値を超えた場合には、当該食品画像に対応する食品について、「早期に消費する必要がある」と判断するものである。
【０１００】
しかし、食品の劣化状態は、食品の種類（肉、魚又は野菜等）によって差異がある。例えば、同じ生鮮食品である肉と魚において、同じように酸化（メト化）によって色が赤から褐色に変化しても、刺身として生で食べる魚には厳しい劣化でも、一般的に加熱調理する肉には問題ないレベルの劣化であり、また、野菜又は果物においても、ブロッコリーでは、明るい緑色が退色して黄色になるが、みかんでは、緑が黄色になるのは、熟れて食べ頃になっていることを示すこともある。さらに、大きさについては、葉物野菜は蒸散によって萎れ又は縮みが発生して小さくなるが、牛乳又はドレッシング等、容器に入っているものは、劣化によって大きさを変化させることはない。
【０１０１】
そこで、実施の形態２では、食品劣化状態推定部６が食品の劣化状態を推定する際に、食品画像識別部９にて識別された、食品の種類及び量情報を反映し（参照し）、食品の種類及び量情報に基づいて劣化を判断する基準値を変更している。これにより、食品の劣化状態の推定精度を向上することができる。
【０１０２】
例えば、食品劣化状態推定部６は、図７（ａ）及び（ｂ）に示される色分布を用いる場合には、「メト化が進むと１０番のカラーサンプルに対応する色が増加する」、「腐敗が進むと２０番のカラーサンプルに対応する色が増加する」等の知見に基づいて、劣化を判断する基準値を予め登録しておく。食品の種類によってそれぞれ基準値を変更し、メト化又は腐敗により同じように色が変化する魚（例えば、マグロ）より、色変化の基準値を大きく設定する。
【０１０３】
《２−３》効果
以上説明したように、実施の形態２に係る冷蔵庫１０００ａによれば、撮影装置２により撮影された冷蔵室１００内の画像である貯蔵室画像から食品画像を抽出して管理し、携帯端末８の表示部８ａに、食品画像と、食品の劣化に関する情報（例えば、劣化状態を示す情報）とを共に表示する。そのため、ユーザは、自宅以外の場所（例えば、買い物先）でも冷蔵室１００に収納されている食品を把握し、その中で特に早期に消費すべき食品を容易に把握することができる。
【０１０４】
また、同じ食品（例えば、ほぼ全体が撮影できる薄切り肉と、表面しか撮影することができないブロック肉）では、メト化又は腐敗によって色が変化している面積占有率が同じでも、ブロック肉は内部の劣化も進行している可能性があるため、その量情報を反映して、基準値を小さく設定することにより、劣化を事前に推定することができる。
【０１０５】
また、食品の大きさの時間的な変化については、食品の種類情報を反映し、また、容器に入っている食品については、劣化の判断基準から除外することにより、食品の劣化状態の推定精度を向上させることができる。
【０１０６】
《３》実施の形態３
《３−１》構成
図１２は、本発明の実施の形態３に係る冷蔵庫１０００ｂの概略構成（図１に示される冷蔵庫を線分ＸＩＩ−ＸＩＩで切る断面構造と制御装置１００１ｂの構成とを含む）と携帯端末８とを示す図である。図１２において、図９に示される構成要素と同一又は対応する構成要素には、図９に示される符号と同じ符号が付される。以下では、実施の形態１及び２との相違点を中心に説明する。
【０１０７】
図１２に示されるように、実施の形態３に係る冷蔵庫１０００ｂは、各貯蔵室（冷蔵室１００、チルド室１１０、切替室３００、冷凍室４００、及び野菜室５００）に供給される空気を冷却する冷凍サイクル回路と、この冷凍サイクル回路によって冷却された空気を各貯蔵室に供給するための風路とを備えている。
【０１０８】
冷凍サイクル回路は、圧縮機１００２と、圧縮機１００２から吐出された冷媒を凝縮させる凝縮器（図示せず）と、凝縮器から流出した冷媒を膨張させる絞り装置（図示せず）と、絞り装置で膨張した冷媒によって各貯蔵室に供給される空気を冷却する冷却器１００３とを備えている。圧縮機１００２は、例えば、冷蔵庫１０００ｂの背面側の下部に配置されている。冷却器１００３は、後述する冷却風路１０１０の上流側に備えられている。冷却風路１０１０には、冷却器１００３で冷却された空気を各貯蔵室に送るための（すなわち、冷蔵庫１０００ｂ内で空気を循環させるための）空気搬送装置１００４も備えられている。
【０１０９】
冷凍サイクル回路によって冷却された空気を各貯蔵室に供給するための風路は、例えば、冷却風路１０１０と、戻り風路１０２０と、冷蔵室戻り風路１０３と、野菜室戻り風路５０１とで構成されている。
【０１１０】
冷却風路１０１０は、冷却器１００３により冷却された空気が各貯蔵室に搬送される通風路であり、例えば、冷蔵庫１０００ｂの背面部に備えられている。各貯蔵室への冷却空気の流入量は、冷却風路１０１０内に備えられた１又は複数のダンパ（図１２では、冷蔵室１００用の冷蔵室ダンパ１０４のみが示される）によって調節される。
【０１１１】
戻り風路１０２０は、各貯蔵室を冷却した空気が冷却器１００３に搬送される通風路である。冷蔵室戻り風路１０３は、冷蔵室１００及びチルド室１１０を冷却した空気が野菜室５００に搬送される通風路である。冷蔵室１００及びチルド室１１０を冷却した空気は、野菜室戻り風路５０１において野菜室５００を冷却した空気と合流して、冷却器１００３に搬送される。
【０１１２】
冷蔵庫１０００ｂの背面に備えられた制御装置１００１ｂには、実施の形態２の制御装置１００１ａの構成要素に加えて、期限推定部１１、設定温度算出部１２、及び冷却制御部１３が備えられている。また、制御装置１００１ｂに備えられた無線通信部７と接続され、冷蔵庫１０００ｂと、宅内又は宅外から通信可能な携帯端末８には、実施の形態１及び２の構成に加えて、期限設定部１４が備えられている。食品画像抽出部３、食品画像識別部９、食品画像管理部４、時間変化検出部５、食品劣化状態推定部６、期限推定部１１、設定温度算出部１２、及び冷却制御部１３のうちの全部又は一部は、ソフトウェアとしてのプログラムを格納する記憶装置（記憶部）としてのメモリと、このメモリに格納されたプログラムを実行する情報処理装置としてのプロセッサとを用いて（例えば、コンピュータにより）実現されてもよい。また、食品画像抽出部３、食品画像識別部９、食品画像管理部４、時間変化検出部５、食品劣化状態推定部６、期限推定部１１、設定温度算出部１２、及び冷却制御部１３は、ソフトウェアとしてのプログラムを格納するメモリとこのメモリに格納されたプログラムを実行するプロセッサ、並びに、処理回路の組み合わせによって実現されてもよい。また、携帯端末８の期限設定部１４は、ソフトウェアとしてのプログラムを格納するメモリと、このメモリに格納されたプログラムを実行する情報処理装置としてのプロセッサとを用いて実現されてもよい。
【０１１３】
携帯端末８の期限設定部１４は、携帯端末８の表示部８ａに、ユーザが、食品を消費することが推奨される期限（例えば、消費期限又は賞味期限）を設定するための期限設定画面２５を表示部８ａに表示する。図１３（ａ）から（ｃ）は、実施の形態３に係る冷蔵庫１０００ｂと通信する携帯端末８の表示部８ａにおける食品画像の表示画面の例を示す図である。図１３（ａ）は、期限設定画面２５の一例を示している。期限設定画面２５は、例えば、上述した在庫食品一覧表示画面２３（図６）で１つの食品画像を選択すると、携帯端末８の表示部８ａに表示される。期限設定画面２５は、選択された食品画像について、ユーザが食品に関する期限（例えば、消費期限又は賞味期限）を入力（設定）できるように構成されている。
【０１１４】
また、携帯端末８の期限設定部１４は、冷蔵室１００内に食品が入庫した際に、図１３（ａ）に示される期限設定画面２５と同様の表示画面を表示部８ａに表示し、携帯端末８によって（例えば、表示部８ａに備えられたタッチパネルによって）食品に関する期限としてのユーザ設定期限の入力を受け付けることもできる。このユーザ設定期限の入力を受け付けた携帯端末８は、入力された食品に関する期限を示す情報を、冷蔵庫１０００ｂに送信することができる。
【０１１５】
期限推定部１１は、食品劣化状態推定部６、設定温度算出部１２、及び無線通信部７を経由して携帯端末８に通信可能に接続される。期限推定部１１は、食品劣化状態推定部６における食品の劣化状態の推定結果に基づいて、食品を消費することが推奨される食品に関する期限として、例えば、消費期限又は賞味期限を推定して、推定結果（推定された食品に関する期限）を携帯端末８の表示部８ａに表示させると共に、推定結果を設定温度算出部１２に送信する。
【０１１６】
この場合、例えば、期限推定部１１によって推定された食品に関する期限までの残り期間が短期間である食品について、携帯端末８の表示部８ａに、図１３（ｂ）に示されるような期限報知画面２６が表示される。図１３（ｂ）に示される期限報知画面２６では、食品画像と、その食品画像に対応する食品に関する期限までの残り期間（例えば、１日）が表示される。
【０１１７】
設定温度算出部１２は、期限推定部１１、冷却制御部１３、及び無線通信部７を経由して携帯端末８に通信可能に接続される。このとき、設定温度算出部１２は、携帯端末８の表示部８ａだけでなく、携帯端末８に内蔵された期限設定部１４にも通信可能に接続される。設定温度算出部１２は、期限推定部１１によって推定された食品に関する期限（推定期限）と、期限設定部１４においてユーザにより設定された食品に関する期限であるユーザ設定期限とに基づいて、食品に適した設定温度（推奨設定温度）を算出する。
【０１１８】
そして、設定温度算出部１２は、推奨設定温度をユーザに知らせるため、携帯端末８の表示部８ａに、例えば、図１３（ｃ）に示されるような推奨温度報知画面２７を表示させる。また、設定温度算出部１２は、貯蔵室の温度を算出された推奨設定温度にするために必要な制御内容を冷却制御部１３に送信する。
【０１１９】
冷却制御部１３は、設定温度算出部１２に加えて、圧縮機１００２、空気搬送装置１００４、冷蔵室ダンパ１０４、及び他の貯蔵室のダンパ（図示せず）に接続され、これらの各機器を制御する。冷却制御部１３は、設定温度算出部１２から設定温度の入力を受け、圧縮機１００２、空気搬送装置１００４、冷蔵室ダンパ１０４、及び他の貯蔵室のダンパのうちの少なくとも１つに制御信号を送信して貯蔵室の冷却制御（冷却能力の変更）を行う。なお、冷蔵室ダンパ１０４及び他の貯蔵室のダンパは、「吹出風量制御装置」を構成している。
【０１２０】
《３−２》動作
次に、実施の形態３に係る冷蔵庫１０００ｂの動作の一例を、図１２及び図１３を参照して、実施の形態１及び２との相違点を中心に説明する。
【０１２１】
図１２において、冷蔵室扉１０１が開閉されると、撮影装置２は、冷蔵室１００内（望ましくは、冷蔵室１００内の全体）を撮影し、撮影によって得られた冷蔵室１００内の撮影画像である貯蔵室画像を食品画像抽出部３に送信する。食品画像抽出部３は、前回の扉開閉時の貯蔵室画像と今回の扉開閉時の貯蔵室画像との差分により食品画像を抽出し、この食品画像に時刻情報（撮影時刻情報）を付帯情報として追加して、食品画像識別部９に送信する。
【０１２２】
食品画像識別部９は、図１０に示される食品画像データベース１０に記憶されている情報を参照して、食品画像抽出部３から受信した食品画像に基づいて、貯蔵室（ここでは、冷蔵室１００）内に収納されている食品の種類及び量を識別する。食品画像識別部９は、食品画像抽出部３から受信した食品画像、及びそれぞれの食品画像に付帯する時刻情報（撮影時刻情報）に、識別した食品の種類及び量情報を付帯情報として追加し、食品画像と付帯情報とを食品画像管理部４に送信する。
【０１２３】
食品画像管理部４は、食品画像識別部９から食品画像と付帯情報（例えば、時刻情報、食品の種類及び量情報）とを受信し、時刻情報に基づいて食品画像を時系列に並び換えて、並び替えられた食品画像及び付帯情報を保存する。また、食品画像管理部４は、食品の入庫又は出庫の判断を行い、その判断結果（入出庫識別情報）を食品画像の付帯情報に追加して保存する。さらに、食品画像管理部４は、食品画像及び付帯情報（時刻情報、食品の種類及び量情報、及び入出庫識別情報）を、時間変化検出部５に送信すると共に、携帯端末８の表示部８ａに表示する（図５（ａ），（ｂ）及び図６を参照）。
【０１２４】
次に、時間変化検出部５は、食品画像管理部４から送信された食品画像の色及び大きさの時間的な変化を検出して、この検出結果を保存する。食品劣化状態推定部６は、時間変化検出部５に保存された色及び大きさの時間的な変化に基づき、また、食品画像識別部９において識別された、食品の種類及び量情報を反映して、食品の劣化状態を推定する。さらに、食品劣化状態推定部６は、食品画像と共に、食品の劣化状態の推定結果を携帯端末８の表示部８ａに表示させる（図８参照）。
【０１２５】
実施の形態３では、食品劣化状態推定部６によって推定された食品の劣化の進み方（食品の劣化の進行の速さ）を示す食品の劣化傾向に基づいて、期限推定部１１が、その食品を消費することが推奨される期限（消費期限又は賞味期限など）を推定する。食品の劣化傾向は、食品の劣化の進行の速さを示す値で表すことができ、例えば、１日当たりの食品劣化の程度であり、後述の図１４（ｃ）の曲線（ａ＊値の曲線）に対応する。そして、図１３（ｂ）に示されるように、期限推定部１１が、推定された期限が近付いた食品の食品画像を携帯端末８の表示部８ａに表示させてユーザに報知することにより、食品の消費し忘れを防ぎ、食品の無駄な廃棄の抑制を図っている。
【０１２６】
図１４（ａ）から（ｃ）は、期限推定部１１における食品の期限（ここでは、消費期限）の推定方法を示す模式図である。図１４（ａ）から（ｃ）では、期限推定部１１が、時間変化検出部５に保存されている肉の時間的な色変化（ａ＊値の減少）から消費期限を推定する例を模式的に示している。図１４（ａ）及び（ｂ）は、入庫時（経過時間０）及び経過時間Ｔ［時間］における食品画像を示す模式図であり、図１４（ｃ）は、ａ＊値の時間的な変化を示すグラフである。図１４（ｃ）において、縦軸は食品（肉）のａ＊値であり、横軸は経過時間（単位：時間）である。経過時間０は、食品の入庫時であり（図７（ａ）参照）、経過時間Ｔ［時間］は当該食品が酸化するのに十分な経過時間である（図７（ｂ）参照）。また、図１４（ｃ）において、実線（曲線）はａ＊値の変化を示しており、時間軸と平行な破線（直線）はａ＊値の消費限界を示す。
【０１２７】
図１４（ｃ）に示されるａ＊値の変化は、冷蔵室扉１０１の開閉ごとにａ＊値を測定して、それぞれのａ＊値を通る曲線として求めたものであり、時間経過にともなって減少している。ａ＊値の減少特性と、経過時間Ｔ［時間］におけるａ＊値の検出値とから、ａ＊値が消費限界に到達する時期である消費期限を推定することができる。食品劣化状態推定部６は、このようにして消費期限を推定し、消費期限が到達する前に、携帯端末８の表示部８ａを介してユーザに、消費期限までの期間が短期間である食品を報知する。ユーザへの報知は、食品画像と共にアラートを表示する方法（例えば、図８（ａ））で行われてもよいし、消費期限までの残り時間を表示する方法（例えば、図１３（ｂ））で行われてもよい。
【０１２８】
これにより、ユーザは、食品の消費期限又は賞味期限の到達前に、当該期限を知ることができる。これにより、ユーザは、報知された食品を早期に消費し、消費し忘れを防止することができる。このため、食品の無駄な廃棄を抑制することができる。
【０１２９】
なお、図１４（ｃ）に示された消費限界は、予め設定されたａ＊値の絶対値又はａ＊値の初期値からの減少幅であってもよく、あるいは、検出されたａ＊値の時間的な変化の特性データを反映した実績値であってもよい。食品に関する期限として、実使用状態に合致した適切な期限（例えば、消費期限、賞味期限、又は他の期限）を設定することができれば、ユーザにとって有益な期限情報を報知することができ、食品の廃棄量を抑制することができる。
【０１３０】
また、図１４（ｃ）では、一般的な色指標であるａ＊値の減少特性から食品に関する期限を推定する例を示したが、対象とする時間変化データは、図１４（ｃ）の例に限られるものではない。例えば、図７（ａ）及び（ｂ）の例で示される、各種カラーサンプルの面積占有率の変化、あるいは、特定のカラーサンプルの増減から推定された食品の劣化傾向を用いて、設定された消費限界に到達すると予想される時期（到達時期）を算出することによって、食品に関する期限（例えば、消費期限）を推定してもよい。
【０１３１】
期限推定部１１によって推定された食品に関する期限は、携帯端末８の表示部８ａに表示される一方で、設定温度算出部１２に送信される。さらに、携帯端末８に備えられた期限設定部１４でユーザが設定したユーザ設定期限も、設定温度算出部１２に送信される。設定温度算出部１２は、期限推定部１１によって推定された食品に関する期限と、期限設定部１４においてユーザ設定期限とを比較することによって、貯蔵室内の設定温度を決定する。
【０１３２】
すなわち、期限推定部１１によって推定された食品に関する期限が、期限設定部１４においてユーザが設定した期限よりも長い場合には、ユーザが希望する期限まで食品の品質は維持されると想定されるため、貯蔵室内の設定温度を変更する必要はない。
【０１３３】
これに対し、期限推定部１１によって推定された食品に関する期限（推定期限）が、期限設定部１４において設定されたユーザ設定期限よりも短い場合には、推定期限をユーザ設定期限に近付けるように、貯蔵室内の設定温度を低下させる。これは、冷蔵室１００内の温度が低下すれば、食品の劣化の進行の速さ（ａ＊値の減少の勾配）は緩やかになるからである。
【０１３４】
冷蔵庫１０００ｂでは、冷却器１００３で冷却された冷蔵庫内空気が、空気搬送装置１００４によって冷却風路１０１０を経由して各貯蔵室へ搬送される。そして、各貯蔵室を冷却した戻り空気が、戻り風路１０２０を経由して再度冷却器１００３に戻る。このとき、冷却器１００３で冷却された空気（例えば、−３０℃〜−２５℃）を、冷蔵室ダンパ１０４などの複数のダンパの開閉により各貯蔵室に分配する。これら複数のダンパの開閉によって各貯蔵室への冷却空気の流入量を調節することにより、各貯蔵室に対して個別の温度設定を行っている。
【０１３５】
例えば、最も低温に設定される冷凍室４００（例えば、−２２℃〜−１６℃）の流入ダンパはほぼ全開とし、最も高温に設定される野菜室５００（例えば、３℃〜９℃）の流入ダンパはほぼ全閉としている。そして、例えば、野菜室５００より温度設定の低い冷蔵室１００（例えば、０℃〜６℃）及びチルド室１１０（例えば、０℃〜２℃）を冷却した戻り空気で野菜室５００を間接冷却することにより、各貯蔵室の温度を調整している。
【０１３６】
ここで、冷却過剰又は冷却不足に応じて、各貯蔵室の設定温度は±２℃から±３℃程度の調整が可能である。例えば、冷凍室４００は、−２５℃〜−１３℃程度の範囲で設定温度の変更が可能であり、冷蔵室１００は−２℃〜９℃程度の範囲で設定温度の変更が可能である。
【０１３７】
制御装置１００１ｂは、各貯蔵室内の温度を検出する温度センサ（図示せず）の検出値に基づいて、冷却室ダンパの駆動を制御して、庫内温度を適切な温度範囲内にする。冷却不足の状態にある特定の貯蔵室の温度を下げる場合（例えば、冷蔵室１００のみの温度を低下させる場合）には、冷蔵室ダンパ１０４の開度を大きくすることによって、冷蔵室１００への冷却空気の流入量を増加させる。また、複数の貯蔵室の温度を低下させる場合には、圧縮機１００２の回転数及び空気搬送装置１００４による搬送風量を増加させて、冷凍サイクル回路の冷却能力を上昇させる必要がある。そのため、複数の貯蔵室の温度を低下させる場合には、冷蔵庫１０００ｂの消費電力は増加する。
【０１３８】
一方、冷却過剰の状態にある特定の貯蔵室の温度を上げる場合には、この特定の貯蔵室に通じる通風路を開閉するダンパの開度を小さくして、この特定の貯蔵室への冷却空気の流入量を減少させる。また、複数の貯蔵室の温度を上げる場合には、圧縮機１００２の回転数及び空気搬送装置１００４による搬送風量を減少させる。この場合、冷蔵庫１０００ｂの消費電力は減少する。
【０１３９】
したがって、冷却制御部１３は、設定温度算出部１２によって算出された設定温度に応じて、冷蔵室ダンパ１０４などの各貯蔵室のダンパの開度、圧縮機１００２の回転数、及び空気搬送装置１００４による搬送風量を制御する。このとき、特に特定の貯蔵室の温度を低下させたい場合は、できるだけ圧縮機１００２の回転数及び空気搬送装置１００４による搬送風量は増加させずに、該当する貯蔵室へ冷却空気を送る通風路のダンパの開度を増加させて温度を低下させることが望ましい。ダンパ開度の変更だけであれば消費電力は変化しないので、必要以上の冷却による電力消費の無駄を排除しつつ、ユーザの希望する消費期限又は賞味期限を満たすことができる。
【０１４０】
《３−３》効果
以上説明したように、実施の形態３に係る冷蔵庫１０００ｂによれば、食品劣化状態推定部６によって食品の劣化傾向を推定し、この推定結果に基づいて期限推定部１１が食品に関する期限（消費期限又は賞味期限など）を推定し、推定された期限が近付いた食品をユーザに報知する。このため、食品の消費し忘れを減らし、食品の無駄な廃棄を抑制することができる。
【０１４１】
また、実施の形態３に係る冷蔵庫１０００ｂによれば、携帯端末８により、宅外において、冷蔵室１００内に消費期限又は賞味期限が経過した食品が収納されているかどうかを確認することができる。ユーザは、買い物先において、目的とする食品を購入するかどうか迷った際に、冷蔵庫１０００ｂの貯蔵室内に目的とする食品があるかどうか（収納状況）だけでなく、目的とする食品の消費期限又は賞味期限も確認することができる。このように、貯蔵室に収納されているが使用することができない食品（期限切れのため）を宅外で確認することができるので、必要な食品の買い忘れを防止することができる。
【０１４２】
また、実施の形態３に係る冷蔵庫１０００ｂによれば、食品に関する期限（例えば、消費期限など）を経過した食品を冷蔵室１００内に収納し続けることによる収納スペースの不必要な占有及び電力の無駄な消費を低減することができる。例えば、貯蔵室内に食品を放置していれば浪費されていたと想定される冷却能力を、他の食品及び他の貯蔵室に分配することにより、圧縮機１００２の回転数及び空気搬送装置１００４による搬送風量を低下させることができ、冷蔵庫１０００ｂが消費する電力量を削減することができる。
【０１４３】
また、実施の形態３に係る冷蔵庫１０００ｂによれば、期限設定部１４においてユーザによる期限の設定を受け付け、このユーザ設定期限と食品劣化状態推定部６により推定された食品に関する期限とを比較して、貯蔵室内の設定温度を算出する。このため、ユーザ設定期限までの期間が長期間である場合には、食品の劣化が進行し難い低い設定温度を採用するので、ユーザ設定期限まで食品の品質を良好に維持することが可能になる。
【０１４４】
《４》実施の形態４
《４−１》構成
実施の形態４においては、実施の形態１から３のいずれかに記載された冷蔵庫を含むネットワークシステムを説明する。図１５は、本発明の実施の形態４に係るネットワークシステムの概略構成を示す図である。図１５において、実施の形態１から３で説明された構成要素と同一の構成要素には、実施の形態１から３で用いられた符号と同一の符号が付される。図１５に示されるように、実施の形態４に係るネットワークシステムは、冷蔵庫１０００（又は１０００ａ又は１０００ｂ）を含む宅内システム２０００と、インターネットによって宅内システム２０００と通信可能な宅外システム３０００とを有している。冷蔵庫１０００は、前述した実施の形態１から３のいずれかに記載の冷蔵庫１０００（又は１０００ａ又は１０００ｂ）の機能を備えている。
【０１４５】
図１５に示されるように、宅内システム２０００は、冷蔵庫１０００、ルームエアコン、給湯器、ＩＨ（Ｉｎｄｕｃｔｉｏｎ  Ｈｅａｔｉｎｇ）クッキングヒータ、電子レンジ等のような家電機器を有している。これらの家電機器及び電力計測装置２００３は、電灯線２００２によって系統電源２００１と接続され、系統電源２００１から電力を供給される。宅内システム２０００は、系統電源２００１から電灯線２００２を通して各家電機器に供給される電力を計測するための電力計測装置２００３及び電力計測端子２００４と、宅内コントローラ２００５と、ブロードバンドルータ２００６と、通信装置としての機器通信部１５とを有している。
【０１４６】
電力計測装置２００３は、各家電機器に供給される電力（すなわち、各家電機器の消費電力）、並びに、系統電源２００１から家電機器全体及び電力計測装置２００３に供給される全電力を計測し、この計測の結果（履歴）を保存することができる。電力計測装置２００３は、例えば、ＣＴ（Ｃｕｒｒｅｎｔ  Ｔｒａｎｓｆｏｒｍｅｒ）等の電力計測端子２００４によって供給電力を測定する。
【０１４７】
冷蔵庫１０００などのような家電機器及び電力計測装置２００３のそれぞれには、通信ネットワークを介して、宅内コントローラ２００５と通信するための機器通信部１５が備えられている。通信ネットワークは、例えば、有線又は無線のＬＡＮ（ローカルエリアネットワーク）である。冷蔵庫１０００などのような家電機器及び電力計測装置２００３は、それぞれの機器通信部１５を介して、宅内コントローラ２００５と有線又は無線で双方向通信することができる。なお、冷蔵庫１０００に接続された機器通信部１５は、実施の形態１から３で説明された、無線通信部７と同一の役割を果たす。したがって、冷蔵庫１０００の無線通信部７が宅内コントローラ２００５と直接、有線又は無線で通信可能である場合には、冷蔵庫１０００についての機器通信部１５を備える必要はない。
【０１４８】
機器通信部１５が有線で通信する機能を有する場合には、機器通信部１５は、例えば、シリアルインターフェース又はドライバ等の有線通信モジュールを具備している。機器通信部１５が無線で通信する機能を有する場合には、機器通信部１５は、Ｗｉ−Ｆｉ又はＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信モジュールを具備している。なお、機器通信部１５は、家電機器及び電力計測装置２００３のそれぞれに内蔵されていてもよいし、家電機器及び電力計測装置２００３の外部に備えられてもよい。
【０１４９】
宅内コントローラ２００５は、電力計測装置２００３が計測した各家電機器の消費電力及び系統電源２００１の供給電力の情報を、通信ネットワークを介して電力計測装置２００３から取得することができる。また、宅内コントローラ２００５は、各家電機器の運転状態の情報を、通信ネットワークを介して取得することができる。そして、宅内コントローラ２００５は、取得した消費電力及び供給電力並びに運転状態の情報を管理し、必要に応じて、各家電機器に対して通信ネットワークを介して制御変更指示（例えば、運転状態の変更の指示）を送信することも可能な構成となっている。
【０１５０】
また、宅内コントローラ２００５は、ブロードバンドルータ２００６を経由して、宅外システム３０００のインターネット３００１に接続される。
【０１５１】
インターネット３００１は、各種電力情報及び天気予報等の環境情報が格納されているクラウドサーバ３００２に接続される。また、インターネット３００１は、携帯端末８にも接続される。携帯端末８は、実施の形態１で説明したものと同様、ユーザが所持する、例えば、スマートフォン、携帯タブレット等である。
クラウドサーバ３００２は、特定地域の気象情報に関連する環境データベースを備えている。冷蔵庫１０００の制御装置は、この環境データベースに基づき、当該冷蔵庫が載置された地域又は食品の産地の気象情報を取得し、食品の保存環境を推定する食品保存環境推定部を備えてもよい。食品劣化状態推定部６は、食品保存環境推定部によって推定された食品の保存環境を反映させて、食品の劣化状態を推定することもできる。
【０１５２】
クラウドサーバ３００２は、インターネット３００１を介して冷蔵庫１０００及び携帯端末８と通信可能に接続された外部サーバである。クラウドサーバ３００２は、携帯端末８について冷蔵庫１０００への接続権限の有無を認証する個人認証手段３００３を備えていることが望ましい。
【０１５３】
例えば、クラウドサーバ３００２は、冷蔵庫１０００のＩＤ（識別子）に対して、当該冷蔵庫１０００への接続権限を有する携帯端末８の携帯端末ＩＤを予め記憶している。ここで、冷蔵庫１０００のＩＤとは、インターネット３００１に接続された複数の冷蔵庫の各々を一意に識別可能な情報である。また、携帯端末ＩＤとは、インターネット３００１に接続された複数の携帯端末の各々を一意に識別可能な情報である。
【０１５４】
そして、個人認証手段３００３は、携帯端末８の携帯端末ＩＤが、冷蔵庫１０００の冷蔵庫１０００に対して当該冷蔵庫１０００への接続権限を有するものとして記憶されているか否かを確認することで、携帯端末８について冷蔵庫１０００への接続権限の有無を認証する。
【０１５５】
外部サーバであるクラウドサーバ３００２は、個人認証手段３００３により冷蔵庫１０００への接続権限を有することを認証した携帯端末８が、インターネット３００１を介して冷蔵庫１０００へと接続することを許可する。すなわち、クラウドサーバ３００２は、個人認証手段３００３により冷蔵庫１０００への接続権限を有することが認証されていない携帯端末８が、インターネット３００１を介して冷蔵庫１０００へと接続することを禁止する。
【０１５６】
宅内コントローラ２００５は、宅内システム２０００において電力計測装置２００３から各家電機器の消費電力又は系統電源２００１の供給電力を入手し、また、各家電機器から運転状態又は周囲環境の情報を入手する。さらに、宅内コントローラ２００５は、ブロードバンドルータ２００６を経由してインターネット３００１に接続しており、クラウドサーバ３００２から各種電力情報又は環境情報を入手することが可能である。
【０１５７】
例えば、宅内システム２０００の宅内コントローラ２００５は、宅外システム３０００のクラウドサーバ３００２から電力情報として宅内システム２０００が載置されている地域に関する電力の需給状況を入手することができる。そして、地域の消費電力が供給電力の上限値に迫っている場合には、宅内コントローラ２００５は、特に消費電力の大きい家電機器に対して節電指示を送信することができる。また、そのような場合に、冷蔵庫１０００については、貯蔵室の設定温度と実際の温度履歴とから冷却過剰と判断された場合に、宅内コントローラ２００５から設定温度の上昇を指示することができる。
【０１５８】
また、宅内コントローラ２００５は、例えば、環境情報として、宅内システム２０００が載置されている地域に関する天気予報の情報をクラウドサーバ３００２から入手することができる。そして、この環境情報を冷蔵庫１０００の制御に活用することにより、冷蔵庫１０００外部の冷却負荷（環境負荷）の変動にも対応可能となる。そのため、食品の品質を適切に維持することができる。
【０１５９】
クラウドサーバ３００２から入手した環境情報は、冷蔵庫１０００外部の冷却負荷を推定して制御に活用するだけでなく、冷蔵庫１０００の食品劣化状態推定部６における、食品の劣化状態の推定に反映させることもできる。例えば、宅内コントローラ２００５は、クラウドサーバ３００２から環境情報、すなわち、外部の冷却負荷情報を入手し、また、冷蔵庫１０００から、一般に制御装置１００１に格納されていることが多い情報として冷蔵庫内温度情報（設定温度、測定温度）を入手する。そして、それらの情報に基づき、食品の保存環境について、過去の履歴及び未来の予測環境を反映して、食品の劣化状態を推定することにより、推定精度を向上させることができる。
【０１６０】
また、携帯端末８からインターネット３００１を経由し、宅内コントローラ２００５を介して直接的又は間接的に冷蔵庫１０００に接続することもできる。この際、クラウドサーバ３００２の個人認証手段３００３により、冷蔵庫１０００への接続権限を有することが認証された携帯端末８のみが、冷蔵庫１０００への接続を許可される。したがって、例えば、家族の携帯端末８の携帯端末ＩＤを予めクラウドサーバ３００２に登録しておくことによって、セキュリティを維持しつつ、冷蔵庫１０００の貯蔵室内の食品の在庫状態及び劣化状態等の情報を家族で共有することが可能となる。例えば、スーパーマーケット等における買い物の途中で、冷蔵庫１０００の貯蔵室内の食品の在庫状態、及び在庫食品の劣化状態を確認することが可能となるため、家族同士で同じ食材を重複して購入したり、必要な食品を購入し忘れたりすることを防ぐことができる。
【０１６１】
実施の形態４に係るネットワークシステムにおいては、食品画像識別部９が参照する食品画像データベース１０の全部又は一部を、外部サーバであるクラウドサーバ３００２に備えてもよい。食品画像データベース１０をクラウドサーバ３００２に保存することで、食品の種類に関する膨大なデータを、例えば、他のユーザ等と共有することが可能である。
【０１６２】
なお、実施の形態４に係るネットワークシステムの冷蔵庫１０００において、他の構成及び動作については実施の形態１から３に係る冷蔵庫１０００，１０００ａ，１０００ｂのいずれかと同様である。
【０１６３】
上記個人認証手段３００３は、ＩＤを用いて冷蔵庫１０００への接続権限を認証するものであるが、接続権限の認証方法は、この方法に限定されない。ＩＤの他に、例えば、ユーザの指紋、静脈、目の虹彩等の生体認証、又は、パスワードによる認証、もしくは、これらの認証方法の組み合わせによって、冷蔵庫１０００への接続権限を認証するようにしてもよい。
【０１６４】
例えば、宅内システム２０００の宅内コントローラ２００５は、宅外システム３０００のクラウドサーバ３００２から電力情報として宅内システム２０００が載置されている地域に関する電力の需給状況を入手することができる。そして、地域の消費電力が供給電力の上限値に迫っている場合には、宅内コントローラ２００５は、特に消費電力の大きい家電機器に対して節電指示を送信することができる。また、そのような場合に、冷蔵庫１０００については、貯蔵室の設定温度と実際の温度履歴とから冷却過剰と判断された場合に、宅内コントローラ２００５から設定温度の上昇を指示することができる。
【０１６５】
《４−２》効果
以上に説明したように、実施の形態４に係るネットワークシステムによれば、上記実施の形態１から３において記載した冷蔵庫による効果の他に、以下に示す効果が得られる。
【０１６６】
実施の形態４に係るネットワークシステムによれば、冷蔵庫１０００（又は、１０００ａ，１０００ｂ）外部の冷却負荷（環境負荷）の変動に応じて、冷蔵庫１０００（又は、１０００ａ，１０００ｂ）の冷却動作（冷蔵庫内の温度）を適切に制御することができるので、冷蔵庫内の食品の品質を長期間、良好に維持することができる。
【０１６７】
また、実施の形態４に係るネットワークシステムによれば、食品の保存環境についての過去の履歴（情報）を参照し、及び、未来の予測環境を反映させて、貯蔵室内の食品の劣化状態を推定することができるので、食品の劣化状態の推定精度を向上させることができる。
【０１６８】
また、実施の形態４に係るネットワークシステムによれば、冷蔵庫１０００（又は、１０００ａ，１０００ｂ）への接続権限を認証によって、セキュリティを維持しつつ、貯蔵室内の食品の在庫状態及び食品の劣化状態などの情報を、家族で共有することができる。
【０１６９】
また、実施の形態４に係るネットワークシステムにおいては、食品画像データベース１０の全部又は一部を、外部サーバであるクラウドサーバ３００２に備えてもよい。このため、冷蔵庫１０００（又は、１０００ａ，１０００ｂ）に備えられるメモリの記憶容量が小さい場合であっても、食品の種類に関する膨大なデータを、他のユーザ等と共有することができる。
【符号の説明】
【０１７０】
１  操作パネル、  ２  撮影装置、  ３  食品画像抽出部、  ４  食品画像管理部、  ５  時間変化検出部、  ６  食品劣化状態推定部、  ７  無線通信部（通信装置）、  ８  携帯端末、  ８ａ  表示部、  ９  食品画像識別部、  １０  食品画像データベース、  １１  期限推定部、  １２  設定温度算出部、  １３  冷却制御部、  １４  期限設定部、  １５  機器通信部、  ２１  タイムライン表示画面、  ２２  入出庫リスト表示画面、  ２３  在庫食品一覧表示画面、  ２４  食品変化表示画面、  ２５  期限設定画面、  ２６  期限報知画面、  ２７  推奨温度報知画面、  １００  冷蔵室（貯蔵室）、  １０１  冷蔵室扉、  １０２  棚板、  １０３  冷蔵室戻り風路、  １０４  冷蔵室ダンパ、  １１０  チルド室、  １１１  チルドケース、  ２００  製氷室（貯蔵室）、  ３００  切替室（貯蔵室）、  ４００  冷凍室（貯蔵室）、  ５００  野菜室（貯蔵室）、  ５０１  野菜室戻り風路、  １０００，１０００ａ，１０００ｂ  冷蔵庫、  １００１，１００１ａ，１００１ｂ  制御装置、  １００２  圧縮機、  １００３  冷却器、  １００４  空気搬送装置、  １０１０  冷却風路、  １０２０  戻り風路、  ２０００  宅内システム、  ２００１  系統電源、  ２００２  電灯線、  ２００３  電力計測装置、  ２００４  電力計測端子、  ２００５  宅内コントローラ、  ２００６  ブロードバンドルータ、  ３０００  宅外システム、  ３００１  インターネット、  ３００２  クラウドサーバ、  ３００３  個人認証手段。
【図１】
0006324360.tif 000002
【図２】
0006324360.tif 000003
【図３】
0006324360.tif 000004
【図４】
0006324360.tif 000005
【図５】
0006324360.tif 000006
【図６】
0006324360.tif 000007
【図７】
0006324360.tif 000008
【図８】
0006324360.tif 000009
【図９】
0006324360.tif 000010
【図１０】
0006324360.tif 000011
【図１１】
0006324360.tif 000012
【図１２】
0006324360.tif 000013
【図１３】
0006324360.tif 000014
【図１４】
0006324360.tif 000015
【図１５】
0006324360.tif 000016