(57)【要約】【課題】投入された食品の適切な収納室を通知可能な冷蔵庫システムを提供する。【解決手段】複数の温度帯の貯蔵室と、貯蔵室の少なくとも何れかに配した撮像部と、を有する冷蔵庫と、サーバー機器と、を備える冷蔵庫システムであって、冷蔵庫は、撮像部が撮像した画像データをサーバー機器に送信し、サーバー機器は、画像データに収められた食品の種類を判定し、食品に適切な温度帯の収納室を判定し、判定結果を冷蔵庫又は使用者端末に送信する。【選択図】  図５
2018179405.tif 000002
【特許請求の範囲】
【請求項１】
複数の温度帯の貯蔵室と、
前記貯蔵室の少なくとも何れかに配した撮像部と、を有する冷蔵庫と、
サーバー機器と、を備える冷蔵庫システムであって、
前記冷蔵庫は、前記撮像部が撮像した画像データを前記サーバー機器に送信し、
前記サーバー機器は、前記画像データに収められた食品の種類を判定し、該食品に適切な温度帯の収納室を判定し、該判定結果を前記冷蔵庫又は使用者端末に送信することを特徴とする冷蔵庫システム。
【請求項２】
前記サーバー機器は、前記食品の適切な収納室が現在の収納室である場合は、特に通知を発行せず、異なる収納室である場合は通知を発行して前記使用者端末に送信することを特徴とする請求項１に記載の冷蔵庫システム。
【請求項３】
前記冷蔵庫は、前記撮像部を配した収納室と同一の収納室に赤外線センサを有し、
前記赤外線センサは、該収納室の棚を含む領域の温度情報を取得し、
前記冷蔵庫は、該温度情報を前記サーバー機器に送信し、
前記サーバー機器は、前記食品の適切な収納室が現在の収納室である場合は、該現在の収納室のうち適切な領域を記載した通知を発行して前記冷蔵庫又は前記使用者端末に送信することを特徴とする請求項１又は２に記載の冷蔵庫システム。
【請求項４】
冷蔵庫から、該冷蔵庫の収納室内の画像データ及び温度データを受信し、
前記画像データに収められた食品の種類を判定し、
該食品の適切な収納室及び／又は該食品の適切な収納室における適切な領域を、前記温度データを利用して判定し、
使用者端末又は前記冷蔵庫に送信するサーバー機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、冷蔵庫システム及びサーバー機器に関する。
【背景技術】
【０００２】
貯蔵室内を撮影する撮影装置を利用して、貯蔵室内の収納状況を鮮明に把握する冷蔵庫が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−２０６９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、冷蔵庫に収納される食品は、その種類に応じて、保存に適した温度帯がある。しかし、使用者が全ての食品の適切な収納室を把握しているとは限らず、適切ではない種類の貯蔵室に食品を投入してしまう場合がある。また、食品検出手段やデータベースを全て冷蔵庫に搭載すると冷蔵庫が高価になってしまう。
【課題を解決するための手段】
【０００５】
上記事情に鑑みてなされた本発明は、複数の温度帯の貯蔵室と、前記貯蔵室の少なくとも何れかに配した撮像部と、を有する冷蔵庫と、サーバー機器と、を備える冷蔵庫システムであって、前記冷蔵庫は、前記撮像部が撮像した画像データを前記サーバー機器に送信し、前記サーバー機器は、前記画像データに収められた食品の種類を判定し、該食品に適切な温度帯の収納室を判定し、該判定結果を前記冷蔵庫又は使用者端末に送信することを特徴とする。
【０００６】
また、冷蔵庫から、該冷蔵庫の収納室内の画像データ及び温度データを受信し、前記画像データに収められた食品の種類を判定し、該食品の適切な収納室及び／又は該食品の適切な収納室における適切な領域を、前記温度データを利用して判定し、使用者端末又は前記冷蔵庫に送信するサーバー機器である。
【図面の簡単な説明】
【０００７】
【図１】実施例１におけるシステムの構成例を示す図である。
【図２】実施例１における冷蔵庫の構成例を示すブロック図である。
【図３】実施例１におけるサーバー機器の構成例を示すブロック図である。
【図４】実施例１における処理を示すフローチャートである。
【図５】実施例２における処理を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の実施例について図面を用いて説明する。
【実施例１】
【０００９】
図１は、本実施例における冷蔵庫システムの構成例を示す図である。図１において、冷蔵庫システムは、冷蔵品、冷凍品、又は野菜などに適した、或る温度帯の収納室を２種類以上有する冷蔵庫１、インターネットやＷＡＮ等の広域公衆ネットワーク２、サーバー機器３、及び携帯端末又はパーソナルコンピュータ（以下、携帯端末又はパーソナルコンピュータを総称して使用者端末４という）を有する。冷蔵庫システムに含まれる冷蔵庫１は、１つ又は２つ以上であり、冷蔵庫１の収納室のうち少なくとも２つは、互いに異なる温度帯である。
【００１０】
サーバー機器３は、広域公衆ネットワーク２を介して冷蔵庫１の情報を受信し、冷蔵庫１に収納された食品に適切な収納室を判定する。使用者端末４は、サーバー機器３による判定結果を受信する。
【００１１】
図２は、本実施例における冷蔵庫１のブロック図である。冷蔵庫１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ(Read Only Memory)としての制御プログラム部１０２、ＲＡＭ(Random Access Memory)としてのメモリ１０３、各収納室の温度を検知する温度センサ１０４、各収納室に配したファンや各収納室に供給する冷気量を調整するダンパ等を含み得る電子部品１０５、圧縮機１０６、少なくとも何れかの収納室に配された撮像部１０７と赤外線センサ１０８、通信部１０９、通信制御部１１０、各収納室の開口を開閉する扉の扉開閉センサ１１１を備え、これらが相互に情報のやり取りが可能なように配置されている。圧縮機１０６は、凝縮器、減圧器、及び蒸発器に冷媒管を介して接続された冷凍サイクルに含まれている。
【００１２】
制御プログラム部１０２は、各収納室に設けられた温度センサ１０４の情報を利用して、各収納室が適切な温度帯となるように圧縮機１０６や電子部品１０５を制御している。
【００１３】
通信部１０９は広域公衆ネットワーク２を通してサーバー機器３と相互通信を行うインターフェースである。例えば、ＢｌｕｅＴｏｏｔｈ（登録商標）や、赤外線通信部、Ｗｉ−Ｆｉ（登録商標）等の無線通信又は有線通信で家庭内に設置されたルータやブリッジ（不図示）と通信を行ない、ルータやブリッジから広域公衆ネットワーク２にアクセスする。
【００１４】
通信制御部１１０は、少なくとも何れかの収納室内に設けられた撮像部１０７の画像データ、撮像部１０７が設けられた収納室と同じ収納室に設けられた赤外線センサ１０８の温度データ等を、通信部１０９からサーバー機器３へ送信するように制御する。撮像部１０７は、収納室内の飲食物（以下、単に食品ともいう）を撮影してサーバー機器３へ送信し、サーバー機器３はこの画像から食品の種類を判別する。赤外線センサ１０８は、収納室に投入された物体（飲食物）や収納室内の壁や棚、底（床）の温度を検知することができる。このような温度データを取得できれば赤外線センサ１０８に代えて又は追加して、その他公知の温度センサを採用してもよい。
【００１５】
図３は、本実施例におけるサーバー機器３の構成例を示すブロック図である。サーバー機器３は、受信制御部２０１、判定制御部２０２、送信制御部２０３を有する。
【００１６】
受信制御部２０１は、冷蔵庫１から撮像部１０７及び赤外線センサ１０８のデータを受信し、判定制御部２０２へ送信する。判定制御部２０２は、撮像部１０７による画像データ及び赤外線センサ１０８から、画像データ中の食品の最適な収納室を判定する。
【００１７】
具体的に、判定制御部２０２は、撮像部１０７の画像データに基づいて食品の種類を判別する。例えば、肉類、魚類、野菜、乳製品、飲み物、といった大まかな分類であったり、ハムやベーコンなどの加工肉、生肉、といったさらに細かな分類であっても良い。パッケージングされたものである場合は、パッケージの印字などを読み取って判定しても良い。
食品の種類に応じて適切な収納室があるため、判定制御部２０２はこれを判定して、判定結果に係る情報を送信制御部２０３から冷蔵庫１に送信し、通知することができる。
【００１８】
なお、撮像部１０７の情報に代えて又は追加して、投入された食品にＲＦＩＤタグ等の識別情報が付されていれば、これを利用しても良い。
【００１９】
また、判定制御部２０２は、赤外線センサ１０８を利用した第１の制御として、画像データ内の食品の温度を判定し、投入された貯蔵室に収納し続けても問題がないか判定する。例えば、高温（例えば９０℃近く）の調理物が冷蔵室に投入されたことを検知したら、冷蔵室から取り出して放熱させるべきと判定することができる。
【００２０】
第２の制御としては、貯蔵室から取り出すべきほど高温ではないが貯蔵室温度よりも高温（例えば、冷凍室に０℃以上）の食品が投入された場合、その食品に冷気を集中させるように制御することができる。
【００２１】
第３の制御としては、赤外線センサ１０８の検知範囲における温度分布を取得し、赤外線センサ１０８が収められている収納室のうち、比較的低温な領域、比較的高温な領域、中間体の領域、を判別することができる。同じ貯蔵室であって、ファンや戸棚の配置、食品の配置などによって温度分布は必ずしも均一ではないため、赤外線センサ１０８によって、貯蔵室の戸棚、壁面、以前から収納されていた食品、投入されたばかりの食品、等の温度分布を読み取ることで貯蔵室の温度分布を取得できる。これにより同じ貯蔵室内であってもより適切な保存領域を食品ごとに判定して、送信制御部２０３から通知することができる。なお、赤外線センサ１０８を補助すべく、サーミスタなどの温度センサを追加しても良い。
【００２２】
撮像部１０７や赤外線センサ１０８は、常時起動していなくともよく、冷蔵庫１ごとに或る程度ばらつくように予め設定された定期または不定期なタイミングであったり、撮像部１０７や赤外線センサ１０８が設けられた貯蔵室の扉の開閉をトリガーとして起動するようにしても良い。サーバー機器３は、複数の冷蔵庫１からの情報を解析するため、同時期に大量の処理依頼が集中することを抑制することが好ましい。このため、上記のように設定することが好ましい。
【００２３】
このように、撮像部１０７で食品の種類を判別し、さらに必要に応じて赤外線センサ１０８の温度情報を利用して、撮像部１０７で種類を判定した食品の最適な収納室及び／又は収納室内の適切な位置を判定し、送信制御部２０３へ判定結果を送信する。
【００２４】
送信制御部２０３は、広域公衆ネットワーク２を介して、判定結果を使用者端末４へ送信する。使用者端末４に結果を送信するようにすることで、冷蔵庫１側にユーザインタフェース等を設けなくとも、使用者は結果を確認できる。無論、冷蔵庫１にユーザインタフェースを設けて冷蔵庫１に結果を送信するようにしても良い。
【００２５】
サーバー機器３は、判定制御部２０２が行う判定アルゴリズムの内容を、複数の冷蔵庫１からの情報を利用して更新することができる。これにより、新規食品情報の追加、食品判定精度の向上、新規冷蔵庫情報追加、最適な収納室の判定精度の向上のために更新していくことができる。
【００２６】
図４は本実施例のフローチャートである。冷蔵庫１は、撮像部１０７によって収納室内を撮影して画像データを作成するとともに、画像データをサーバー機器３に送信する（ステップＳ１００）。本ステップは、間欠的に行うことが好ましい。間欠的(例えば１時間おき)にステップＳ１００を行うことで、サーバー機器３へのアクセスが集中してしまうことを抑制できる。または、不定期(例えば、収納室の扉の開閉を検知する扉センサを設け、開閉の検知時)に行うことができる。この場合は扉の近くに使用者がいることから、サーバー機器３への送信処理、サーバー機器３での判定処理をこのタイミングで行うことで、使用者が冷蔵庫１の近くにいる間に結果を通知することができる。
【００２７】
サーバー機器３は、受信した撮像部１０７の画像データから食品の種類を判別し、適切な収納室を判定する（ステップＳ１０１）。撮像部１０７が配されている収納室は既知であるから、判定した食品の適切な収納室が、撮像部１０７の収納室の温度帯に属するのであれば（ステップＳ１０２，Ｙｅｓ）、特に使用者端末４への通知は発行せずに終了し、そうでなければ（ステップＳ１０２，Ｎｏ）、食品の適切な収納室を使用者端末４に通知する（ステップＳ１０３）。通知する食品（収納室を移動すべき食品）の通知の方法は、例えば、食品の収納室中における位置、食品名、収納時刻、などの１又は２以上の組合せが考えられるが、使用者が対象となった食品を認識しやすいように、判定した食品名を通知することが好ましい。
【００２８】
また、赤外線センサ１０８や温度センサ１０４の情報をサーバー機器３に送信することで、実使用状態での収納室の温度分布データを収集できる。このデータを利用して今後の製品開発に活用することができる。
【実施例２】
【００２９】
本実施例の構成は、以下の点を除き実施例１と同様にできる。図５は本実施例のフローチャートである。
【００３０】
冷蔵庫１は、ステップＳ１００において、併せて赤外線センサ１０８やその他の温度センサ１０４が検知した収納室内の飲食物、壁や棚、床の温度分布を取得しサーバー機器３へ送信することができる。赤外線センサ１０８の温度データを利用すれば、撮像部１０７が配された収納室内の詳細な温度分布を取得できるから、ステップＳ１０２で食品の収納室が適切と判断した場合であっても（ステップＳ１０２，Ｙｅｓ）、この収納室内で適切な位置を通知するようにしても良い（ステップＳ１０４）。
【符号の説明】
【００３１】
１：冷蔵庫
２：広域公衆ネットワーク
３：サーバー機器
４：使用者端末（携帯端末又はパーソナルコンピュータ）
１０１：ＣＰＵ
１０２：制御プログラム部
１０３：メモリ
１０４：各センサ
１０５：各電子部品
１０６：圧縮機
１０７：撮像部
１０８：赤外線センサ
１０９：通信部
１１０：通信制御部
１１１：扉開閉センサ
２０１：受信制御部
２０２：判定制御部
２０３：送信制御部
【図１】
2018179405.tif 000003
【図２】
2018179405.tif 000004
【図３】
2018179405.tif 000005
【図４】
2018179405.tif 000006
【図５】
2018179405.tif 000007