(57)【要約】【課題】カメラを移動させながら貯蔵室内を撮影可能であり、指定された視点からの貯蔵室内の画像を得られ、かつ、鮮明な貯蔵室内の全体画像を得られる冷蔵庫を提供する。【解決手段】冷蔵庫１００は、貯蔵室内の画像を撮影するカメラ９と、カメラ９を移動させるカメラ移動装置９０と、カメラ９を予め設定された移動方向に沿って移動させながら貯蔵室内の画像を撮影させるカメラ制御部１０１と、カメラ９が撮影した複数の画像から一部を切り出し、切り出した画像を合成して指定された視点からの貯蔵室内の画像を生成する画像合成部１０４とを備える。カメラが撮影する画像は、前記移動方向について、指定可能な視点に応じた第１の画素数のサイズを有する。画像合成部１０４は、前記移動方向について第１の画素数より小さい第２の画素数のサイズで画像を切り出し、切り出した画像を前記移動方向に沿って並べて合成する。【選択図】図７
2019219110.tif 000002
【特許請求の範囲】
【請求項１】
食品を収納する貯蔵室が形成された本体と、
前記貯蔵室の一側を開閉する扉と、
前記貯蔵室内の画像を撮影するカメラと、
前記カメラを移動させるカメラ移動装置と、
前記カメラ移動装置及び前記カメラの動作を制御して、前記カメラを予め設定された移動方向に沿って移動させながら前記貯蔵室内の画像を撮影させる制御手段と、
前記カメラが撮影した複数の画像のそれぞれから一部を切り出し、切り出した画像を合成して、指定された視点からの前記貯蔵室内の画像を生成する画像合成手段と、を備え、
前記カメラが撮影する画像は、前記移動方向について、指定可能な前記視点に応じた第１の画素数のサイズを有し、
前記画像合成手段は、前記移動方向について前記第１の画素数より小さい第２の画素数のサイズで前記カメラが撮影した複数の画像から切り出し、切り出した画像を前記移動方向に沿って並べて合成する冷蔵庫。
【請求項２】
前記カメラが撮影した画像と前記画像合成手段が合成した画像とを切り替えて表示可能な表示手段をさらに備えた請求項１に記載の冷蔵庫。
【請求項３】
前記貯蔵室内に設けられ、食品が載置される１以上の棚をさらに備え、
前記表示手段は、表示されている前記棚を一意に特定する棚特定情報を表示可能である請求項２に記載の冷蔵庫。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、冷蔵庫に関するものである。
【背景技術】
【０００２】
冷蔵庫内の画像を検知するカメラを備えた冷蔵庫において、移動範囲の上端から下端へ、予め定められた一定の速度でカメラを移動させながら撮影を行うことで、貯蔵室の全体を撮影するものが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１４８５０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に示されるような冷蔵庫では、移動中のカメラが撮影するタイミングによっては、貯蔵室内の棚板上の食品が大きく歪んでしまったり、棚板の奥にある食品が手前の食品又は棚板に隠れてしまったりする可能性がある。このため、得られた画像を冷蔵庫の使用者に対して表示した場合、一部が不鮮明な画像が表示されてしまったり、異なる視点からの画像により貯蔵室内の様子を確認したいという使用者のニーズに応えることができない。また、性能のよいカメラを用いれば、鮮明な画像を得ることはできるが、その場合、製造コストの増大を招く。
【０００５】
この発明は、このような課題を解決するためになされたものである。その目的は、カメラを移動させながら貯蔵室内を撮影可能な冷蔵庫であって、指定された視点からの貯蔵室内の画像を得ることができ、かつ、比較的安価なカメラであっても、鮮明な貯蔵室内の全体の画像を得ることが可能である冷蔵庫を得ることにある。
【課題を解決するための手段】
【０００６】
この発明に係る冷蔵庫は、食品を収納する貯蔵室が形成された本体と、前記貯蔵室の一側を開閉する扉と、前記貯蔵室内の画像を撮影するカメラと、前記カメラを移動させるカメラ移動装置と、前記カメラ移動装置及び前記カメラの動作を制御して、前記カメラを予め設定された移動方向に沿って移動させながら前記貯蔵室内の画像を撮影させる制御手段と、前記カメラが撮影した複数の画像のそれぞれから一部を切り出し、切り出した画像を合成して、指定された視点からの前記貯蔵室内の画像を生成する画像合成手段と、を備え、前記カメラが撮影する画像は、前記移動方向について、指定可能な前記視点に応じた第１の画素数のサイズを有し、前記画像合成手段は、前記移動方向について前記第１の画素数より小さい第２の画素数のサイズで前記カメラが撮影した複数の画像から切り出し、切り出した画像を前記移動方向に沿って並べて合成する。
【発明の効果】
【０００７】
この発明に係る冷蔵庫によれば、カメラを移動させながら貯蔵室内を撮影可能であって、指定された視点からの貯蔵室内の画像を得ることができ、かつ、比較的安価なカメラであっても、鮮明な貯蔵室内の全体の画像を得ることが可能であるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１に係る冷蔵庫を備えた冷蔵庫システムの構成を示すブロック図である。
【図２】この発明の実施の形態１に係る冷蔵庫の正面図である。
【図３】この発明の実施の形態１に係る冷蔵庫の縦断面図である。
【図４】この発明の実施の形態１に係る冷蔵庫のカメラ移動装置の斜視図である。
【図５】この発明の実施の形態１に係るカメラ移動装置の要部を透視して示す拡大斜視図である。
【図６】この発明の実施の形態１に係る冷蔵庫の制御系統の構成を示すブロック図である。
【図７】図６の制御装置の構成を示すブロック図である。
【図８】この発明の実施の形態１に係る冷蔵庫システムが備えるサーバ装置の構成を示すブロック図である。
【図９】この発明の実施の形態１に係る冷蔵庫システムが備える表示端末の構成を示すブロック図である。
【図１０】この発明の実施の形態１に係る冷蔵庫の撮影位置と得られる画像の視点を説明する図である。
【図１１】この発明の実施の形態１に係る冷蔵庫の撮影位置と得られる画像の視点を説明する図である。
【図１２】この発明の実施の形態１に係る冷蔵庫の撮影動作の一例を示すフロー図である。
【図１３】この発明の実施の形態１に係る冷蔵庫の撮影動作の別例を示すフロー図である。
【図１４】この発明の実施の形態１に係る冷蔵庫の撮影位置計算処理の一例を示すフロー図である。
【図１５】この発明の実施の形態２に係る冷蔵庫が備える制御装置の構成を示すブロック図である。
【図１６】この発明の実施の形態２に係る冷蔵庫システムが備える表示端末の構成を示すブロック図である。
【図１７】この発明の実施の形態２に係る表示端末の画像表示切り替えの一例を説明する図である。
【図１８】この発明の実施の形態２に係る表示端末の画像表示切り替えの別例を示すフロー図である。
【図１９】この発明の実施の形態２に係る表示端末の画像表示動作の一例を示すフロー図である。
【発明を実施するための形態】
【０００９】
この発明を実施するための形態について添付の図面を参照しながら説明する。各図において、同一又は相当する部分には同一の符号を付して、重複する説明は適宜に簡略化又は省略する。なお、本発明は以下の実施の形態に限定されることなく、本発明の趣旨を逸脱しない範囲で種々変形することが可能である。
【００１０】
実施の形態１．
図１から図１４は、この発明の実施の形態１に係るものである。図１は冷蔵庫を備えた冷蔵庫システムの構成を示すブロック図である。図２は冷蔵庫の正面図である。図３は冷蔵庫の縦断面図である。図４は冷蔵庫のカメラ移動装置の斜視図である。図５はカメラ移動装置の要部を透視して示す拡大斜視図である。図６は冷蔵庫の制御系統の構成を示すブロック図である。図７は図６の制御装置の構成を示すブロック図である。図８は冷蔵庫システムが備えるサーバ装置の構成を示すブロック図である。図９は冷蔵庫システムが備える表示端末の構成を示すブロック図である。図１０及び図１１は冷蔵庫の撮影位置と得られる画像の視点を説明する図である。図１２は冷蔵庫の撮影動作の一例を示すフロー図である。図１３は冷蔵庫の撮影動作の別例を示すフロー図である。そして、図１４は冷蔵庫の撮影位置計算処理の一例を示すフロー図である。
【００１１】
なお、各図では各構成部材の寸法の関係や形状等が実際のものとは異なる場合がある。また、明細書中における各構成部材同士の位置関係（例えば、上下関係等）は、原則として、冷蔵庫を使用可能な状態に設置したときのものである。
【００１２】
図１に示すように、この発明の実施の形態１に係る冷蔵庫１００を備えた冷蔵庫システムは、冷蔵庫１００と、サーバ装置２００と、端末装置３００とを備えている。冷蔵庫１００とサーバ装置２００とは、相互に通信可能に接続されている。端末装置３００とサーバ装置２００とは、相互に通信可能に接続されている。したがって、冷蔵庫１００と端末装置３００とは、サーバ装置２００を介して相互に通信可能に接続されている。なお、冷蔵庫１００と端末装置３００とを、サーバ装置２００を介さず直接相互に通信可能に接続してもよい。
【００１３】
冷蔵庫１００は、例えば、冷蔵庫１００の使用者の家宅内に設置される。サーバ装置２００は、例えば、使用者の家宅内に設置されるコンピュータ等である。サーバ装置２００は、使用者の家宅外に設置されていてもよい。端末装置３００は、例えば、使用者の家宅内に設置されるパソコン（パーソナル・コンピュータ）等である。他に例えば、端末装置３００は、スマートフォン又はタブレット端末等の携帯端末でもよい。
【００１４】
サーバ装置２００と通信可能に接続される冷蔵庫１００の数は、１つに限られず複数であってもよい。同様に、サーバ装置２００と通信可能に接続される端末装置３００の数は、１つに限られず複数であってもよい。また、サーバ装置２００は、複数のサーバ（サーバ群）からなるクラウドサーバであってもよい。
【００１５】
まず、図２から図６を参照しながら、この発明の実施の形態１に係る冷蔵庫１００の構成について説明する。冷蔵庫１００の本体は、図３に示すように断熱箱体１を有している。断熱箱体１は、前面（正面）が開口されて内部に貯蔵空間が形成されている。断熱箱体１は、外箱、内箱及び断熱材を有している。外箱は鋼鉄製である。内箱は樹脂製である。内箱は外箱の内側に配置される。断熱材は、例えば発泡ウレタン等であり、外箱と内箱との間の空間に充填されている。断熱箱体１の内部に形成された貯蔵空間は、１つ又は複数の仕切り部材により、食品を収納保存する複数の貯蔵室に区画されている。
【００１６】
図２及び図３に示すように、ここでは、冷蔵庫１００の本体は、複数の貯蔵室として、例えば、冷蔵室１０、切替室２０、製氷室３０、冷凍室４０及び野菜室５０を備えている。これらの貯蔵室は、断熱箱体１において上下方向に４段構成となって配置されている。
【００１７】
冷蔵室１０は、断熱箱体１の最上段に配置されている。切替室２０は冷蔵室１０の下方における左右の一側に配置されている。切替室２０の保冷温度帯は、複数の温度帯のうちのいずれかを選択して切り替えることができる。切替室２０の保冷温度帯として選択可能な複数の温度帯は、例えば、冷凍温度帯（例えば−１８℃程度）、冷蔵温度帯（例えば３℃程度）、チルド温度帯（例えば０℃程度）及びソフト冷凍温度帯（例えば−７℃程度）等である。製氷室３０は、切替室２０の側方に隣接して切替室２０と並列に、すなわち、冷蔵室１０の下方における左右の他側に配置されている。
【００１８】
冷凍室４０は、切替室２０及び製氷室３０の下方に配置されている。冷凍室４０は、主に貯蔵対象を比較的長期にわたって冷凍保存する際に用いるためのものである。野菜室５０は、冷凍室４０の下方の最下段に配置されている。野菜室５０は、主に野菜や容量の大きな（例えば２Ｌ等の）大型ペットボトル等を収納するためのものである。
【００１９】
冷蔵室１０の前面に形成された開口部には、当該開口部を開閉する回転式の冷蔵室扉７が設けられている。ここでは、冷蔵室扉７は両開き式（観音開き式）であり、右扉７ａ及び左扉７ｂにより構成されている。冷蔵室扉７は、貯蔵室である冷蔵室１０の一側を開閉する扉である。冷蔵庫１００の前面の冷蔵室扉７（例えば、右扉７ａ）の外側表面には、操作パネル６が設けられている。
【００２０】
冷蔵室１０以外の各貯蔵室（切替室２０、製氷室３０、冷凍室４０及び野菜室５０）は、それぞれ引き出し式の扉によって開閉される。これらの引き出し式の扉は、扉に固定して設けられたフレームを各貯蔵室の左右の内壁面に水平に形成されたレールに対してスライドさせることにより、冷蔵庫１００の奥行方向（前後方向）に開閉できるようになっている。
【００２１】
図２に示すように、冷蔵室１０は、前面側（同図に向かって左側）を冷蔵室扉７によって塞がれている。なお、図３に示す断面図は、図２中の断面Ａ−Ａ’によるものである。冷蔵室１０の内部には、１以上の冷蔵室棚板１１が設けられている。ここでは、冷蔵室棚板１１が複数設けられている場合を例に挙げている。冷蔵室１０の内部は、これらの冷蔵室棚板１１によって、上下方向に複数の空間（棚）に仕切られている。冷蔵室棚板１１の上には、食品が載置される。
【００２２】
それぞれの冷蔵室棚板１１は、棚板支持部１２によって、冷蔵室１０内の予め定められた位置で支持されている。棚板支持部１２は、冷蔵室１０の側壁内面から冷蔵室１０の内側に突出して形成されている。なお、１つの冷蔵室棚板１１の上下位置を変更できるように棚板支持部１２を構成してもよい。
【００２３】
最下段の冷蔵室棚板１１の下側の空間は、チルド室１４である。チルド室１４の内部には、チルドケース１５が設置されている。チルドケース１５は、レール等の案内部材（図示せず）に沿って、前方へ引き出すことができる。また、冷蔵室扉７の内側の面には、ドアポケット１３が設けられている。このドアポケット１３にも食品を載置、収納することができる。
【００２４】
冷蔵室扉７の内側の面には、カメラ９が設置されている。カメラ９は、冷蔵室扉７の側から貯蔵室（ここでは冷蔵室１０）の内部の画像を撮影し、貯蔵室画像として出力する。この実施の形態に係る冷蔵庫１００は、カメラ移動装置９０を備えている。カメラ移動装置９０は、カメラ９を上下方向に移動させる装置である。カメラ移動装置９０は、例えば、冷蔵室扉７の内側の面に設けられている。
【００２５】
カメラ移動装置９０は、カメラ９を可動範囲内で上下方向に移動させる。可動範囲は、予め設定された範囲である。ここでは、可動範囲の上端は、冷蔵室１０内の上端部である。また、可動範囲の下端は、最も下にあるドアポケット１３の直上の位置である。
【００２６】
次に、図４及び図５を参照しながら、カメラ移動装置９０の構成について説明する。カメラ移動装置９０は、ステッピングモータ９１、ウォームギヤ９２、ピニオン９３、ラック９４、ガイド部９５及びカメラ支持部９８を備えている。カメラ９は、カメラ支持部９８に固定されている。ガイド部９５は、冷蔵室扉７に固定されている。カメラ支持部９８は、ガイド部９５に対して移動可能である。ガイド部９５は、少なくとも前述した可動範囲にわたって上下方向に沿って配置されている。ガイド部９５は、前述した可動範囲にわたるカメラ９及びカメラ支持部９８の移動を案内する。
【００２７】
図４に示すように、カメラ支持部９８には、ステッピングモータ９１、ウォームギヤ９２及びピニオン９３が取り付けられている。ガイド部９５には、ラック９４が取り付けられている。ラック９４は、前述した可動範囲にわたって上下方向に沿って配置されている。
【００２８】
ステッピングモータ９１は、カメラ９の移動を駆動する。ステッピングモータ９１の駆動軸には、ウォームギヤ９２が固定されている。ピニオン９３は、大ギヤと小ギヤとが一体に構成されている。ピニオン９３の大ギヤと小ギヤとは回転軸が同一となるように固定されている。ピニオン９３の大ギヤは、ウォームギヤ９２と噛み合っている。ピニオン９３の小ギヤは、ラック９４と噛み合っている。
【００２９】
ステッピングモータ９１によりウォームギヤ９２を回転させると、ピニオン９３が回転する。ラック９４と噛み合った状態のピニオン９３が回転することで、ピニオン９３の回転軸がラック９４に沿って直線状に移動する。ピニオン９３の回転軸は、カメラ支持部９８に回転可能に支持されている。したがって、このようなラック・アンド・ピニオン機構により、カメラ移動装置９０は、ステッピングモータ９１の回転運動をガイド部９５に対するカメラ支持部９８の直線運転に変換し、冷蔵室扉７に対してカメラ９を上下方向に移動させる。
【００３０】
図３に示すように、冷蔵庫１００は、制御装置８を備えている。制御装置８は、例えば、冷蔵庫１００の背面側の上部に収容されている。制御装置８には、冷蔵庫１００の動作に必要な各種の制御を実施するための制御回路等が備えられている。
【００３１】
次に、図６を参照しながら、冷蔵庫１００の制御系統の構成を説明する。制御装置８は、例えばマイクロコンピュータを備えており、プロセッサ８ａ及びメモリ８ｂを備えている。制御装置８は、メモリ８ｂに記憶されたプログラムをプロセッサ８ａが実行することにより、予め設定された処理を実行し、冷蔵庫１００を制御する。
【００３２】
冷蔵庫１００は、各貯蔵室へ供給する空気を冷却する冷凍サイクル回路を備えている。冷凍サイクル回路は、圧縮機２と、いずれも図示しない凝縮器、絞り装置及び冷却器等とによって構成されている。圧縮機２は、冷凍サイクル回路内の冷媒を圧縮し吐出する。凝縮器は、圧縮機２から吐出された冷媒を凝縮させる。絞り装置は、凝縮器から流出した冷媒を膨張させる。冷却器は、絞り装置で膨張した冷媒によって各貯蔵室へ供給する空気を冷却する。圧縮機２は、例えば、冷蔵庫１００の背面側の下部に配置される。
【００３３】
冷蔵庫１００には、冷凍サイクル回路によって冷却された空気を各貯蔵室へ供給するための図示しない風路が形成されている。この風路は、主に冷蔵庫１００内の背面側に配置されている。冷凍サイクル回路の冷却器は、この風路内に設置される。また、風路内には、冷却器で冷却された空気を各貯蔵室へ送るための送風ファン４も設置されている。
【００３４】
送風ファン４が動作すると、冷却器で冷却された空気（冷気）が風路を通って冷凍室４０、切替室２０、製氷室３０及び冷蔵室１０へと送られ、これらの貯蔵室内を冷却する。野菜室５０は、冷蔵室１０からの戻り冷気を冷蔵室用帰還風路を介して野菜室５０内に導入することで冷却される。野菜室５０を冷却した冷気は、野菜室用帰還風路を通って冷却器のある風路内へと戻される（これらの帰還風路は図示していない）。そして、冷却器によって再度冷却されて、冷蔵庫１００内を冷気が循環される。
【００３５】
風路からそれぞれの貯蔵室へと通じる中途の箇所には、図示しないダンパが設けられている。各ダンパは、風路の各貯蔵室へと通じる箇所を開閉する。ダンパの開閉状態を変化させることで、各貯蔵室へと供給する冷気の送風量を調節することができる。また、冷気の温度は圧縮機２の運転を制御することで調節することができる。
【００３６】
以上のようにして設けられた圧縮機２及び冷却器からなる冷凍サイクル回路、送風ファン４、風路及びダンパは、貯蔵室の内部を冷却する冷却手段を構成している。
【００３７】
操作パネル６は、操作部６ａ、表示部６ｂ及びスピーカ６ｃを備えている。操作部６ａは、各貯蔵室の保冷温度及び冷蔵庫１００の動作モード（解凍モード等）を設定するための操作スイッチである。表示部６ｂは、各貯蔵室の温度等の各種情報を表示する液晶ディスプレイである。また、操作パネル６は、操作部６ａと表示部６ｂを兼ねるタッチパネルを備えていてもよい。スピーカ６ｃは、冷蔵庫１００の周囲、特に冷蔵室扉７の前に立つ使用者に対して、音声を鳴らすための音声出力装置である。
【００３８】
冷蔵庫１００は、サーミスタ８１及び扉開閉検知スイッチ８２を備えている。サーミスタ８１は、各貯蔵室内の温度を検出する。サーミスタ８１は、それぞれの貯蔵室に設置される。扉開閉検知スイッチ８２は、貯蔵室の扉の開閉を検知する開閉検知手段である。扉開閉検知スイッチ８２は、例えば、冷蔵室１０の冷蔵室扉７の開閉を検知する。扉開閉検知スイッチ８２は、例えば、一般的なマグネット方式のスイッチである。すなわち、扉開閉検知スイッチ８２は、例えば、冷蔵室扉７に埋め込まれた磁石の近接を、冷蔵庫１００本体側に設置された一対のリードスイッチによって検出する。
【００３９】
制御装置８には、サーミスタ８１から各貯蔵室の内部の温度の検知信号が入力される。また、制御装置８には、操作パネル６の操作部６ａからの操作信号も入力される。さらに、制御装置８には、扉開閉検知スイッチ８２からの検知信号も入力される。
【００４０】
制御装置８は、入力された信号に基づいて、各貯蔵室の内部が設定された温度に維持されるように、圧縮機２及び送風ファン４等の動作を制御する処理を実行する。すなわち、制御装置８は前述した冷却手段等を制御して、冷蔵庫１００の動作を制御する。また、制御装置８は、カメラ９の撮影動作及びカメラ移動装置９０によるカメラ９の移動についても制御する。カメラ９が撮影した画像データは、制御装置８に入力される。
【００４１】
次に、図６に加えて図７から図９も参照して、以上のように構成された冷蔵庫１００を備えた冷蔵庫システムの構成について説明する。前述したように、冷蔵庫システムは、冷蔵庫１００、サーバ装置２００及び端末装置３００を備えている。図７に示すように、冷蔵庫１００の制御装置８は、カメラ制御部１０１、扉開閉検出部１０２、棚位置検出部１０３、画像合成部１０４、画像アップロード部１０５及び冷蔵庫通信部１１０を備えている。また、図８に示すように、サーバ装置２００は、画像保存部２０１及びサーバ通信部２１０を備えている。そして、図９に示すように、端末装置３００は、画面表示部３０１及び端末通信部３１０を備えている。
【００４２】
冷蔵庫通信部１１０は、冷蔵庫１００とサーバ装置２００との間で、データを双方向に通信するためのものである。また、端末通信部３１０は、端末装置３００とサーバ装置２００との間で、データを双方向に通信するためのものである。そして、サーバ通信部２１０は、サーバ装置２００と冷蔵庫１００との間、及び、サーバ装置２００と端末装置３００との間のそれぞれで、データを双方向に通信するためのものである。
【００４３】
冷蔵庫１００の制御装置８が備えるカメラ制御部１０１は、カメラ９とカメラ移動装置９０の動作を制御する。カメラ制御部１０１は、例えば、冷蔵室扉７が開閉された時にカメラ９に冷蔵室１０内を撮影させる。冷蔵室扉７が開閉されると、冷蔵室１０内の食品が出し入れされ、冷蔵室１０内の収納状態が変化する可能性があるためである。
【００４４】
扉開閉検出部１０２は、扉開閉検知スイッチ８２から出力された信号に基づいて、冷蔵室扉７の開閉を検出する。扉開閉検出部１０２は、閉じていた冷蔵室扉７が開かれたこと、及び、開いていた冷蔵室扉７が閉じられたことを検出可能である。このようにして、扉開閉検知スイッチ８２及び扉開閉検出部１０２は、冷蔵室扉７の開閉を検出する扉開閉検出手段を構成している。カメラ制御部１０１は、例えば、開かれていた冷蔵室扉７が閉じられたことを扉開閉検出部１０２が検知した後、冷蔵室１０内が照明されている間にカメラ９に撮影を行わせる。
【００４５】
カメラ制御部１０１は、カメラ９による冷蔵室１０内の撮影を、カメラ移動装置９０によるカメラ９の移動と連係して行わせる。次に、カメラ９とカメラ移動装置９０とが連係した撮影動作について説明する。ここでいう「撮影動作」とは、開始位置から終了位置までカメラ９が予め設定された移動方向に沿って移動しながら冷蔵室１０内の画像を撮影する動作である。この撮影動作において、カメラ移動装置９０は、開始位置から終了位置までカメラ９を移動させる。開始位置は、例えば前述の可動範囲の一端である。終了位置は、例えば前述の可動範囲の他端である。
【００４６】
具体例を挙げると、開始位置を前述の可動範囲の上端とする。そして、終了位置を前述の可動範囲の下端とする。この例では、撮影動作において、カメラ移動装置９０は、カメラ９を前述の可動範囲の上端から下端までカメラ９を下方向に移動させる。そして、カメラ９は、この移動中において特定の位置を通過する時に撮影を行う。または、カメラ移動装置９０は、特定の位置でカメラ９を停止させ、この停止中にカメラ９が撮影を行うようにしてもよい。カメラ９が撮影を行う特定の位置は、１回の撮影動作により冷蔵室１０内の全体が撮影できるように設定される。このような特定の位置は、例えば隣合う冷蔵室棚板１１同士の間である。
【００４７】
なお、カメラ９の移動方向は、以上で説明した下方向に限られない。すなわち、カメラ制御部１０１は、カメラ移動装置９０によりカメラ９を前述の可動範囲の下端から上端までカメラ９を上方向に移動させながら、カメラ９による撮影を行ってもよい。この場合には、開始位置を前述の可動範囲の下端とし、終了位置を前述の可動範囲の上端とする。つまり、前述した移動方向とは、ここでは上下方向である。
【００４８】
カメラ９の移動量はステッピングモータ９１の回転量に比例する。そして、ステッピングモータ９１の回転量は、ステップ数を用いて制御することができる。この実施の形態では、カメラ制御部１０１は、カメラ移動装置９０のステッピングモータ９１のステップ数を用いてカメラ９の移動量を制御している。すなわち、カメラ制御部１０１は、カメラ９による撮影を行う特定の位置を、ステッピングモータ９１のステップ数を計数することで特定できる。
【００４９】
以上のようにして構成された制御装置８は、カメラ移動装置９０及びカメラ９の動作を制御して、前述の撮影動作を行わせる制御手段を構成している。
【００５０】
棚位置検出部１０３は、カメラ９が撮影した画像から、貯蔵室すなわちここでは冷蔵室１０内の棚の位置を検出する。棚位置検出部１０３は、カメラ９が撮影した画像を解析し、現在の冷蔵室棚板１１の位置を検出する。この際、棚位置検出部１０３は、当該画像が撮影時のカメラ９の位置に関する情報、例えばステッピングモータ９１のステップ数を併せて使用してもよい。
【００５１】
画像合成部１０４は、カメラ９が撮影した複数の画像から１枚の冷蔵室１０の画像を合成する。カメラ９が撮影した１枚の画像は、冷蔵室１０内の全体ではなく一部分の画像である。カメラ移動装置９０でカメラ９を移動させながら撮影することにより、異なる位置からカメラ９が撮影した画像のそれぞれは、冷蔵室１０内の異なる部分範囲の画像となる。画像合成部１０４は、カメラ９が撮影した複数の画像のそれぞれから一部を切り出し、冷蔵室１０内の全体の１枚の画像を合成する画像合成手段である。
【００５２】
ここで、この実施の形態に係る冷蔵庫１００では、画像合成部１０４が合成する画像について、どの視点からカメラ９が撮影したものとするかを指定できる。指定される視点は、例えば、予め制御装置８に記憶しておいてもよいし、使用者が操作パネル６の操作部６ａを操作して視点を指定できるようにしてもよい。
【００５３】
この画像の視点について、図１０及び図１１を参照しながら説明する。まず、カメラ９が撮影した画像は予め設定された一定のサイズを有している。ここでは、画像のサイズを画素数で表現する。そして、カメラ９が撮影した画像の中心部分は、カメラ９が当該画像を撮影した位置から見て正面が写っている。すなわち、カメラ９が撮影した画像の中心部分は、正面視点である（図１０）。
【００５４】
一方、カメラ９が撮影した画像の中心からずれた部分は、カメラ９が当該画像を撮影した位置から見て正面でない方向が写っている。すなわち、カメラ９が撮影した画像の中心部分は、正面視点でない。具体的に例えば、図１１に示すように、カメラ９が撮影した画像の中心より下側の部分は、カメラ９が当該画像を撮影した位置から下方向に見下げた視点で写っている。また、カメラ９が撮影した画像の中心より上側の部分は、カメラ９が当該画像を撮影した位置から上方向に見上げた視点で写っている。そして、画像の中心から上下に離れるほど、正面から離れた視点からの画像となる。なお、図１１におけるカメラ９の向きは、図１０と同じく正面向きで固定されている。
【００５５】
画像合成部１０４が合成する画像の視点は、少なくとも前述した移動方向について、１以上の視点から選択して指定可能である。そして、カメラ９が撮影する画像は、前述した移動方向について、指定可能な視点に応じた第１の画素数のサイズを有している。前述したように、画像の中心から上下に離れるほど、正面から離れた視点からの画像となる。正面からどの程度だけ離れた視点が指定可能であるのかに応じて、指定できる正面から最も離れた視点からの画像が含まれるように、第１の画素数が決定される。
【００５６】
画像合成部１０４は、カメラ９が撮影した複数の画像のそれぞれについて、前述した移動方向におけるサイズが第２の画素数となるように切り出す。第２の画素数は前述した第１の画素数より小さい。この際に切り出す位置は、指定された前述の視点に応じて決定される。そして、画像合成部１０４は、切り出したそれぞれの画像を前述の移動方向に沿って並べて合成することで、冷蔵室１０内の全体の１枚の画像を合成する。
【００５７】
特に、指定された前述の視点が正面視点である場合、画像合成部１０４が切り出す画像は、元の画像の中心部分となる。カメラ９が撮影した画像は、カメラ９が有する撮像素子、レンズ等の光学系等の性能により、画像の中心に近い部分ほど歪み等が少なく鮮明で、画像の端に近い部分ほど歪み等が多く不鮮明となる傾向がある。カメラ９が撮影した複数の画像のそれぞれについて、中心部分を切り出して合成することで、より歪み等が少なく鮮明な部分を使用した合成画像を得ることができる。したがって、１台の安価なカメラ９であっても鮮明な貯蔵室全体の画像を得ることが可能である。
【００５８】
画像アップロード部１０５は、カメラ９が撮影した複数の画像と、画像合成部１０４が合成した全体画像とをサーバ装置２００にアップロードする。画像アップロード部１０５が、サーバ装置２００にアップロードする画像は、冷蔵庫通信部１１０を介してサーバ装置２００へと送信される。このようにして、画像アップロード部１０５及び冷蔵庫通信部１１０は、カメラ９が撮影した画像及び画像合成部１０４が合成した画像を、画像データとしてサーバ装置２００に送信する送信部を構成している。
【００５９】
サーバ装置２００のサーバ通信部２１０は、冷蔵庫１００から送信された画像データを受信する。画像保存部２０１は、サーバ通信部２１０が受信した画像データを記憶して保存する。
【００６０】
また、サーバ通信部２１０は、例えば端末装置３００からの要求に応じて、画像保存部２０１に記憶されている画像データを、端末装置３００へと送信する。端末装置３００の端末通信部３１０は、サーバ装置２００から送信された画像データを受信する。端末装置３００の画面表示部３０１は、各種内容の画面を表示可能な表示装置である。画面表示部３０１は、例えば液晶ディスプレイ等である。端末装置３００は、端末通信部３１０が受信した画像データを画面表示部３０１に表示できる。すなわち、画面表示部３０１は、カメラ９が撮影した画像と、画像合成部１０４が合成した画像とを表示可能な表示手段である。
【００６１】
次に、図１２から図１４を参照しながら、以上のように構成された冷蔵庫１００の主要な動作の例について説明する。まず、図１２に示すのは、冷蔵庫１００の撮影動作の一例である。この例では、カメラ９を移動させながら撮影し、撮影と並行して画像の切り出しを行う。
【００６２】
ステップＳ１０で庫内撮影動作を開始すると、まず、ステップＳ１１において、カメラ制御部１０１は、冷蔵室扉７が閉じられたことを扉開閉検出部１０２が検出したか否かを確認する。冷蔵室扉７が閉じられたことを扉開閉検出部１０２が検出しない場合、このステップＳ１１の処理を繰り返しながら待機する。そして、冷蔵室扉７が閉じられたことを扉開閉検出部１０２が検出した場合、処理はステップＳ１２へと進む。
【００６３】
ステップＳ１２においては、カメラ制御部１０１は、カメラ移動装置９０の動作を制御して、カメラ９を移動させる。続くステップＳ１３において、カメラ制御部１０１は、移動中のカメラ９に冷蔵室１０内の画像を撮影させる。ステップＳ１３の後、処理はステップＳ１４へと進む。
【００６４】
ステップＳ１４においては、画像合成部１０４は、ステップＳ１３でカメラ９が撮影した画像から、指定された前述の視点に応じて決定された部分を切り出す。続くステップＳ１５において、カメラ制御部１０１は、カメラ９が終端すなわち前述した終了位置まで移動したか否かを確認する。カメラ９が終端まで移動していない場合、処理はステップＳ１２へと戻る。一方、カメラ９が終端まで移動した場合、処理はステップＳ１６へと進む。
【００６５】
ステップＳ１６においては、画像合成部１０４は、ステップＳ１４で切り出したそれぞれの画像を前述の移動方向に沿って並べて合成することで、冷蔵室１０内の全体の１枚の画像を合成する。ステップＳ１６の処理が完了すれば、一連の動作は終了となる。
【００６６】
なお、ステップＳ１２からステップＳ１５までのカメラ９による撮影回数は、例えば操作パネル６の操作部６ａを使用者が操作すること等により変更できるようにしてもよい。撮影回数が多ければ、その分、合成後の画像を鮮明にできる。一方、撮影回数を少なくすれば、サーバ装置２００及び端末装置３００に送信するデータ量を削減できる。また、カメラ９の寿命も長くできる。
【００６７】
次に、図１３は、冷蔵庫１００の撮影動作の別例に係るものである。この例では、カメラ９を移動させながら撮影した後に、画像の切り出しと合成を行う。図１３のフロー図は、カメラ９の移動と撮影の動作例を示している。
【００６８】
ステップＳ２０で庫内撮影動作を開始すると、まず、ステップＳ２１において、カメラ制御部１０１は、冷蔵室扉７が閉じられたことを扉開閉検出部１０２が検出したか否かを確認する。冷蔵室扉７が閉じられたことを扉開閉検出部１０２が検出しない場合、このステップＳ２１の処理を繰り返しながら待機する。そして、冷蔵室扉７が閉じられたことを扉開閉検出部１０２が検出した場合、処理はステップＳ２２へと進む。
【００６９】
ステップＳ２２においては、カメラ制御部１０１は、カメラ移動装置９０の動作を制御して、カメラ９を移動させる。続くステップＳ２３において、カメラ制御部１０１は、カメラ９が撮影を行う位置に移動したか否かを確認する。このカメラ９が撮影を行う位置を決定する方法については後述する。カメラ９の位置が撮影位置でない場合、処理はステップＳ２２へと戻る。一方、カメラ９の位置が撮影位置である場合、処理はステップＳ２４へと進む。
【００７０】
ステップＳ２４においては、カメラ制御部１０１は、カメラ９に冷蔵室１０内の画像を撮影させる。続くステップＳ２５において、カメラ制御部１０１は、カメラ９が終端すなわち前述した終了位置まで移動したか否かを確認する。カメラ９が終端まで移動していない場合、処理はステップＳ２２へと戻る。一方、カメラ９が終端まで移動した場合、一連の撮影動作は終了となる。
【００７１】
このステップＳ２５の撮影動作の終了後、画像合成部１０４は、ステップＳ２４でカメラ９が撮影したそれぞれの画像から、指定された前述の視点に応じて決定された部分を切り出す。そして、画像合成部１０４は、切り出したそれぞれの画像を前述の移動方向に沿って並べて合成することで、冷蔵室１０内の全体の１枚の画像を合成する。
【００７２】
次に、図１４は、図１３のステップＳ２３で用いたカメラ９の撮影位置を決定する処理の例である。ステップＳ３０で撮影位置の計算処理を開始すると、まず、ステップＳ３１で、棚位置検出部１０３は、カメラ９が撮影した画像の解析処理を行い、冷蔵室１０内における冷蔵室棚板１１の位置を検出する。続くステップＳ３２において、棚位置検出部１０３は、ステップＳ３１で検出した冷蔵室棚板１１の位置をステッピングモータ９１のステップ数に換算する。すなわち、当該冷蔵室棚板１１の正面位置にまでカメラ９が移動するために必要なステッピングモータ９１のステップ数を算出する。ステップＳ３２の後、処理はステップＳ３３へと進む。
【００７３】
ステップＳ３３においては、カメラ制御部１０１は、指定された前述の視点に合わせて、冷蔵室棚板１１の位置からのステップ数を計算する。すなわち、ステップＳ３２で算出した当該冷蔵室棚板１１の正面位置から冷蔵室棚板１１に対して指定された前述の視点となる位置までの距離に応じたステップ数を計算する。そして、カメラ制御部１０１は、指定された前述の視点から冷蔵室棚板１１を撮影する位置を算出する。ステップＳ３３の処理が完了すれば、一連の処理は終了となる。
【００７４】
以上のように構成された冷蔵庫は、カメラを移動させながら貯蔵室内を撮影可能である。そして、カメラを移動させながら撮影した複数の画像のそれぞれから、指定された視点に応じた一部を切り出し、切り出した画像を合成して貯蔵室内の画像を生成することで、指定された視点からの貯蔵室内の画像を得ることができる。さらに、カメラが撮影した複数の画像の中心付近を切り出して合成することで、比較的安価なカメラであっても、鮮明な貯蔵室内の全体画像を得ることが可能である。
【００７５】
実施の形態２．
図１５及び図１９は、この発明の実施の形態２に係るものである。図１５は冷蔵庫が備える制御装置の構成を示すブロック図である。図１６は冷蔵庫システムが備える表示端末の構成を示すブロック図である。図１７は表示端末の画像表示切り替えの一例を説明する図である。図１８は表示端末の画像表示切り替えの別例を示すフロー図である。そして、図１９は表示端末の画像表示動作の一例を示すフロー図である。
【００７６】
ここで説明する実施の形態２は、前述した実施の形態１の構成において、端末装置で貯蔵室内の全体画像と部分画像とを自由に切り替えて表示でき、また、表示する画像の視点も変更できるようにしたものである。以下、この実施の形態２に係る冷蔵庫について、実施の形態１との相違点を中心に説明する。説明を省略した他の構成については実施の形態１と基本的に同様である。
【００７７】
この実施の形態に係る冷蔵庫１００においては、端末装置３００の画面表示部３０１は、タッチパネルである。そして、使用者は、タッチパネルである画面表示部３０１を操作することで、画面表示部３０１に表示する冷蔵室１０内の画像を、全体画像と部分画像とで切り替えたり、画面表示部３０１に表示する冷蔵室１０内の画像の視点を変更したりできる。
【００７８】
この実施の形態においては、図１６に示すように、端末装置３００は、カメラ位置操作部３０２、画像視点操作部３０３、表示切替部３０４、棚位置情報表示部３０５及び立体視表示部３０６を備えている。また、図１５に示すように、冷蔵庫１００の制御装置８は、カメラ移動命令受付部１０６を備えている。
【００７９】
カメラ位置操作部３０２は、使用者がタッチパネルを使用して、カメラ９が冷蔵室１０内を撮影する位置を操作できるようにするものである。この際の撮影位置は、例えば、前述した視点を指定することで行う。すなわち、使用者は、撮影時の視点を例えば正面、見下げ、見上げ等のうちから選択して指定できる。また、見下げ視点又は見上げ視点を選択した場合は、正面視点からどの程度離れるのかについても指定できる。
【００８０】
カメラ位置操作部３０２により指定された視点の情報は、端末通信部３１０から、サーバ装置２００を介して又はサーバ装置２００を介さずに直接に、冷蔵庫１００へと送信される。送信された視点の情報は、冷蔵庫通信部１１０により受信される。そして、冷蔵庫通信部１１０が受信した視点の情報に基づいて、実施の形態１の図１４のフロー図で示した処理に従い、カメラ９の撮影位置が決定される。
【００８１】
なお、前述した視点を指定するのではなくカメラ位置操作部３０２により、カメラ９の位置を直接操作できるようにしてもよい。この場合、カメラ位置操作部３０２は、使用者によるタッチパネルへの操作に応じて、カメラ９の移動命令信号を出力する。カメラ位置操作部３０２により出力されたカメラ９の移動命令信号は、端末通信部３１０から、サーバ装置２００を介して又はサーバ装置２００を介さずに直接に、冷蔵庫１００へと送信される。送信された移動命令信号は、冷蔵庫通信部１１０により受信される。冷蔵庫通信部１１０が受信したカメラ９の移動命令信号は、カメラ移動命令受付部１０６により受け付けられる。カメラ制御部１０１は、カメラ移動命令受付部１０６が受け付けたカメラ９の移動命令信号に従って、カメラ９及びカメラ移動装置９０の動作を制御し、カメラ９の移動及び撮影が実現される。
【００８２】
表示切替部３０４は、使用者のタッチパネルへの操作に応じて、端末装置３００の画面表示部３０１に表示する画像を切り替える。この表示の切り替えの例について、図１７を参照しながら説明する。図１７の向かって左に示すのは、冷蔵室１０内の全体画像表示の例である。冷蔵室１０内の全体画像表示では、画面表示部３０１には、画像合成部１０４が合成した画像が表示される。この際の視点は正面視点が好ましい。
【００８３】
そして、使用者がこの表示中の拡大したい部分をタッチすると、画面表示部３０１の表示は、図１７の向かって右に示す画面に遷移する。すなわち、画面表示部３０１には、冷蔵室１０内の部分拡大画像が表示される。この部分拡大画像は、画像合成部１０４が合成した画像を拡大したものである。前述したように、正面視点で合成した画像は歪み等が少なく鮮明であり、ある程度の拡大にも耐え得るものである。
【００８４】
ここで、図１７の表示例中に示す丸数字は、棚特定情報の一例である。棚特定情報とは、表示されている冷蔵室棚板１１を複数の冷蔵室棚板１１のうちから一意に特定する情報である。棚特定情報、例えば、それぞれの冷蔵室棚板１１に上から順に割り振った番号等である。図１７の表示例中の丸数字は、この冷蔵室棚板１１に上から順に割り振った番号で画像に写っている冷蔵室棚板１１の位置を示している。
【００８５】
図１６に示す棚位置情報表示部３０５は、このような棚特定情報である棚位置の情報を表示するためのものである。まず、冷蔵庫１００の棚位置検出部１０３は、カメラ９が撮影した画像から冷蔵室棚板１１の位置を検出する際に、当該冷蔵室棚板１１が上から何番めの棚であるのかも特定し、棚特定情報として出力する。棚特定情報は、カメラ９が撮影した画像及び画像合成部１０４が合成した画像のそれぞれについて存在する。そして、画像アップロード部１０５は、画像をアップロードする際に、当該画像に写っている冷蔵室棚板１１の棚特定情報も併せてサーバ装置２００に送信する。
【００８６】
サーバ装置２００の画像保存部２０１には、各画像と棚特定情報とが対応付けられて記憶される。サーバ装置２００から端末装置３００に画像を送信する際には、当該画像に対応付けられた棚特定情報も併せて送信する。そして、使用者の操作に応じて画面表示部３０１に冷蔵室１０内の画像を表示する際、棚位置情報表示部３０５は、当該画像に写っている冷蔵室棚板１１の棚特定情報を重ね合わせて表示する。このようにして、端末装置３００は、表示されている冷蔵室棚板１１を一意に特定する棚特定情報を表示可能である。このため、使用者は、特に冷蔵室１０内の部分拡大画像が表示されている場合に、どの冷蔵室棚板１１が表示されているのかを容易に判別できる。
【００８７】
画像視点操作部３０３は、使用者がタッチパネルを使用して、画面表示部３０１に表示される画像の視点を操作できるようにするものである。画面表示部３０１に表示される画像の視点操作の例について、図１８を参照しながら説明する。図１７と同じく、図１８の向かって左に示すのは、冷蔵室１０内の全体画像表示の例である。冷蔵室１０内の全体画像表示では、画面表示部３０１には、画像合成部１０４が合成した画像が表示される。この際の視点は正面視点が好ましい。
【００８８】
そして、使用者がこの表示中の拡大したい部分をタッチすると、画面表示部３０１の表示は、図１８の向かって右に示す画面に遷移する。すなわち、画面表示部３０１には、冷蔵室１０内の部分拡大画像が表示される。この部分拡大画像では、使用者がタッチした位置を視点とする冷蔵室１０内の画像が表示される。
【００８９】
この部分拡大画像には、カメラ９が当該視点から撮影した画像、すなわち、合成前の画像がそのまま用いられる。このように、画面表示部３０１には、カメラ９が撮影した画像と画像合成部が合成した画像とを切り替えて表示可能である。
【００９０】
この部分拡大画像に複数の冷蔵室棚板１１が写っている場合、冷蔵室棚板１１毎に異なる視点からの画像となる。図１８の例では、２番めの冷蔵室棚板１１は見上げ視点、３番めの冷蔵室棚板１１は正面視点、４番めの冷蔵室棚板１１は見下げ視点となっている。
【００９１】
図１８の部分拡大画像が表示されている状態で、例えば、使用者がタッチしている指をスライドさせると、画面表示部３０１に表示される画像の視点を指の上下方向における位置に応じて変更可能としてもよい。すなわち、画像視点操作部３０３は、使用者がスライドさせた指の位置の変化に応じて、画面表示部３０１に表示させる冷蔵室１０内の画像を、スライド後の指の位置を視点とする画像に変化させる。このようにすることで、使用者は、容易かつ直感的に所望する視点からの冷蔵室１０内の画像を画面表示部３０１に表示させることができる。
【００９２】
なお、この際の表示に必要になる画像については、冷蔵庫１００のカメラ９による撮影を予め行っておき、サーバ装置２００の画像保存部２０１に保存しておくことが考えられる。または、使用者のタッチパネルへの操作に応じてリアルタイムで撮影を行うようにしてもよい。リアルタイムで行う場合、前述したカメラ位置操作部３０２及びカメラ移動命令受付部１０６の機能を利用することができる。
【００９３】
また、画面表示部３０１に現在表示されている視点では、例えば、手前側の食品に隠れて見えない食品が冷蔵室棚板１１の奥にある場合、このような隠れて見えない食品が存在することを、使用者に知らせるようにしてもよい。具体的に例えば、隠れて見えない食品の輪郭を点線等で画面表示部３０１に現在表示に重ねて表示する。または、単に隠れて見えない食品が存在することのみを例えばマーク等の表示により報知してもよい。隠れて見えない食品の有無の判定は、例えば、サーバ装置２００から端末装置３００にダウンロードした他視点からの画像を、端末装置３００で解析することで可能である。
【００９４】
立体視表示部３０６は、立体視が可能な画像として冷蔵室１０内の画像を画面表示部３０１に表示するためのものである。立体視が可能な画像を得るためには、人の両目に合わせて左右に離れた視点から撮影された画像が必要である。このため、例えば、カメラ移動装置９０によりカメラ９の位置を左右に移動できるようにすることが考えられる。また、他に例えば、２つのカメラ９を左右に並べて設けるようにしてもよい。そして、立体視表示部３０６は、左右に離れた視点から撮影された画像を組み合わせて、例えば裸眼で立体視が可能なように画面表示部３０１に表示させる。このようにすることで、使用者は冷蔵室１０内の様子を立体的に把握できる。
【００９５】
次に、図１９のフロー図を参照しながら、以上のように構成された冷蔵庫システムの端末装置３００における画面表示部３０１への画像表示動作の一例について説明する。ステップＳ４０で画像表示動作を開始すると、まず、ステップＳ４１において、端末装置３００は、画面表示部３０１に、画像合成部１０４が合成した冷蔵室１０内の全体画像を表示する。続くステップＳ４２において、表示切替部３０４は、画面表示部３０１のタッチパネルがタッチされたか否かを確認する。タッチパネルがタッチされない場合は、タッチパネルがタッチされるまで、全体画像が画面表示部３０１に表示される。そして、タッチパネルがタッチされた場合、処理はステップＳ４３へと進む。
【００９６】
ステップＳ４３においては、表示切替部３０４は、タッチされた位置を中心とする冷蔵室１０内の部分拡大画像を画面表示部３０１に表示させる。続くステップＳ４４において、画像視点操作部３０３は、画面表示部３０１のタッチパネル上でスライド操作がなされたか否かを確認する。タッチパネルにスライド操作がなされた場合、処理はステップＳ４５へと進む。ステップＳ４５においては、画像視点操作部３０３は、スライド後の指の位置を視点とする画像を画面表示部３０１に表示させる。ステップＳ４５の処理が完了すれば、一連の動作は終了となる。
【００９７】
一方、ステップＳ４４でタッチパネルにスライド操作がなされない場合、処理はステップＳ４６へと進む。ステップＳ４６においては、表示切替部３０４は、タッチパネルから指が離れたか否かを確認する。タッチパネルから指が離れない場合、処理はステップＳ４４へと戻る。タッチパネルから指が離れた場合、処理はステップＳ４７へと進む。ステップＳ４７においては、表示切替部３０４は、画面表示部３０１に、画像合成部１０４が合成した冷蔵室１０内の全体画像を表示させる。ステップＳ４７の処理が完了すれば、一連の動作は終了となる。
【００９８】
なお、以上の端末装置３００の画面表示部３０１における冷蔵室１０内の画像表示と同様のことを、操作パネル６の表示部６ｂで行ってもよい。すなわち、操作パネル６の表示部６ｂを、前述した表示手段としてもよい。
【００９９】
以上のように構成された冷蔵庫においても、実施の形態１と同様の効果を奏することができる。さらに、貯蔵室内の全体画像と部分画像とを自由に切り替えて表示したり、表示する画像の視点を変更したりすることで、画像から使用者がより容易に貯蔵室内の様子を把握でき、利便性を向上することが可能である。
【符号の説明】
【０１００】
１    断熱箱体
２    圧縮機
４    送風ファン
６    操作パネル
６ａ  操作部
６ｂ  表示部
６ｃ  スピーカ
７    冷蔵室扉
７ａ  右扉
７ｂ  左扉
８    制御装置
８ａ  プロセッサ
８ｂ  メモリ
９    カメラ
１０    冷蔵室
１１    冷蔵室棚板
１２    棚板支持部
１３    ドアポケット
１４    チルド室
１５    チルドケース
２０    切替室
３０    製氷室
４０    冷凍室
５０    野菜室
８１    サーミスタ
８２    扉開閉検知スイッチ
９０    カメラ移動装置
９１    ステッピングモータ
９２    ウォームギヤ
９３    ピニオン
９４    ラック
９５    ガイド部
９８    カメラ支持部
１００    冷蔵庫
１０１    カメラ制御部
１０２    扉開閉検出部
１０３    棚位置検出部
１０４    画像合成部
１０５    画像アップロード部
１０６    カメラ移動命令受付部
１１０    冷蔵庫通信部
２００    サーバ装置
２０１    画像保存部
２１０    サーバ通信部
３００    端末装置
３０１    画面表示部
３０２    カメラ位置操作部
３０３    画像視点操作部
３０４    表示切替部
３０５    棚位置情報表示部
３０６    立体視表示部
３１０    端末通信部
【図１】
2019219110.tif 000003
【図２】
2019219110.tif 000004
【図３】
2019219110.tif 000005
【図４】
2019219110.tif 000006
【図５】
2019219110.tif 000007
【図６】
2019219110.tif 000008
【図７】
2019219110.tif 000009
【図８】
2019219110.tif 000010
【図９】
2019219110.tif 000011
【図１０】
2019219110.tif 000012
【図１１】
2019219110.tif 000013
【図１２】
2019219110.tif 000014
【図１３】
2019219110.tif 000015
【図１４】
2019219110.tif 000016
【図１５】
2019219110.tif 000017
【図１６】
2019219110.tif 000018
【図１７】
2019219110.tif 000019
【図１８】
2019219110.tif 000020
【図１９】
2019219110.tif 000021