(57)【要約】      （修正有）【課題】冷蔵室内の最も手前である棚板の端部付近に収納物が置かれた場合でも、カメラによる冷蔵室内の収納物の識別が確実になる冷蔵庫を提供する。【解決手段】冷蔵庫１は、冷蔵室１０の扉２１に、棚段Ｒ１、Ｒ２，Ｒ３毎に鉛直面上に配置された上カメラ６１、中カメラ６２，下カメラ６３を備え、各カメラの画角は、隣接する棚段との間の棚板の端部を含める範囲として、中カメラ６２の画像に加え、上カメラ６１や下カメラ６３の撮影画像を組み合わせることにより、収納物の正面側の面に加えて、上側と下側の面も視認でき、ユーザが立体形状を把握しやすくなり、収納物が何であるかを認識することが容易になる。【選択図】図１
2020016406.tif 000002
【特許請求の範囲】
【請求項１】
棚板により仕切られた棚段を複数有した冷蔵室と、
前記冷蔵室の扉と、
前記棚段に対向するように前記扉に設けられたカメラとを備え、
前記カメラは、前記棚段毎に前記扉に平行な鉛直面上に複数配置されるとともに、当該カメラが対向する棚段とこれに上側または下側に隣接する棚段との間の棚板の扉側の端部を含める範囲の画角を有することを特徴とする冷蔵庫。
【請求項２】
前記画角は、
前記隣接する棚段とは反対側に隣接する棚段と、前記カメラが対向する棚段との間の棚板の扉側の端部をさらに含める範囲であることを特徴とする、請求項１に記載の冷蔵庫。
【請求項３】
前記カメラが撮影した画像に基づいて、前記棚段における収納物の配置状態を判定する判定部と、
前記判定部による判定の結果、前記収納物の配置が正常でないことを使用者に報知する報知部とを備え、
前記判定部は、
前記収納物が前記カメラに近接しているか否かを、当該カメラが撮影した画像に基づいて判定し、
前記報知部は、
前記収納物が前記カメラに近接していると判定された場合に、使用者に報知することを特徴とする、請求項１または２に記載の冷蔵庫。
【請求項４】
前記カメラが撮影した画像に基づいて、前記棚段における収納物の配置状態を判定する判定部と、
前記判定部による判定の結果、前記収納物の配置が正常でないことを使用者に報知する報知部とを備え、
前記判定部は、
前記収納物が前記棚板の扉側の端部付近の所定の範囲内に載置されているか否かを、当該棚段に隣接する棚段に対向して設けられたカメラが撮影した画像に基づいて判定し、
前記報知部は、
前記収納物が前記棚板の扉側の端部付近の所定の範囲内に載置されていると判定された場合に、使用者に報知することを特徴とする、請求項１または２に記載の冷蔵庫。
【請求項５】
前記棚段の画像として、当該棚段に対向するカメラが撮影した画像、及び当該棚段に隣接する棚段に対向するカメラが撮影した画像が表示される、表示部を備える請求項１から４のいずれか１項に記載の冷蔵庫。
【請求項６】
複数の前記カメラが鉛直線上に配置されることを特徴とする、請求項１から５のいずれか１項に記載の冷蔵庫。
【請求項７】
前記棚板を通して収納物が視認可能であることを特徴とする請求項１から６のいずれか１項に記載の冷蔵庫。
【請求項８】
前記棚板の扉側の端部領域には、模様が設けられていることを特徴とする請求項１から７のいずれか１項に記載の冷蔵庫。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、冷蔵庫に関する。
【背景技術】
【０００２】
特許文献１には、扉にカメラを設置し、冷蔵室内の収納物を撮影できるとともに、携帯端末に画像を送信し、その画像情報に基づいた収納物の保存管理や購入のサポートを行わせることができるようにする冷蔵庫が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２４３３３５号公報（２００２年８月２８日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述のような従来技術では、冷蔵室内の最も手前である棚板の端部付近に収納物が置かれた際にカメラの撮影範囲がほとんど塞がれてしまい、食品が何であるかを画像から認識できない場合があるという問題があった。
【０００５】
本発明の一態様は、カメラによる冷蔵室内の収納物の識別が確実にできる冷蔵庫を実現することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様に係る冷蔵庫は、棚板により仕切られた棚段を複数有した冷蔵室と、前記冷蔵室の扉と、前記棚段に対向するように前記扉に設けられたカメラとを備え、前記カメラは、前記棚段毎に前記扉に平行な鉛直面上に複数配置されるとともに、当該カメラが対向する棚段とこれに上側または下側に隣接する棚段との間の棚板の扉側の端部を含める範囲の画角を有する構成を有している。
【発明の効果】
【０００７】
本発明の一態様によれば、冷蔵室内のカメラによる収納物の識別が確実になる冷蔵庫を実現できる。
【図面の簡単な説明】
【０００８】
【図１】実施形態１に係る冷蔵庫の、扉を開いた状態の正面図である。
【図２】実施形態１に係る冷蔵庫の、右側扉の内側の正面図である。
【図３】（ａ）は、実施形態１に係る冷蔵庫の扉を閉めた状態の正面図であり、（ｂ）は、（ａ）におけるＡ−Ａ線の断面図である。
【図４】実施形態１に係る冷蔵庫が備える冷蔵室の側方断面図である。
【図５】（ａ）〜（ｃ）は、実施形態１に係る冷蔵庫のカメラの撮影画像の例を示す図である。
【図６】（ａ）〜（ｃ）は、実施形態１に係る冷蔵庫のカメラの撮影画像を示す図である。
【図７】実施形態１に係る冷蔵庫において表示された画像を示す図である。
【図８】実施形態２に係る冷蔵庫の要部の構成を示すブロック図である。
【図９】実施形態２に係る冷蔵庫における処理を示すフローチャートである。
【図１０】実施形態３に係る冷蔵庫における処理を示すフローチャートである。
【図１１】（ａ）は、実施形態４に係る冷蔵庫の棚板の例を示す上面図である。（ｂ）、（ｃ）は、実施形態４に係る冷蔵庫の棚板の別の例を示す上面図、断面図である。
【発明を実施するための形態】
【０００９】
〔実施形態１〕
以下、本発明の一実施形態について、図１〜４を用いて詳細に説明する。
【００１０】
図１は、本実施形態に係る冷蔵庫１の、扉２０を開いた状態の正面図である。図２は、冷蔵庫１の右側扉２１の内側の正面図である。図３の（ａ）は、冷蔵庫１の、扉２０を閉めた状態の正面図であり、（ｂ）は、（ａ）におけるＡ−Ａ線の断面図である。図４は、冷蔵庫１が備える冷蔵室１０（貯蔵室）の側方断面図である。
【００１１】
図１〜図４に示すように、冷蔵庫１は、冷蔵室１０、扉２０、製氷室３０、野菜室４０、及び冷凍室５０を備える。図１において、製氷室３０、野菜室４０、及び冷凍室５０は、扉を閉じた状態で示されている。なお、本実施形態に係る冷蔵庫は、少なくとも冷蔵室１０を備えていればよく、上記の製氷室３０、野菜室４０、及び冷凍室５０については必ずしも備えている必要はない。
【００１２】
冷蔵室１０は、断熱材を充填した断熱箱体で形成されている。冷蔵室１０の内部には、収納物を載置する棚板１１〜１３が設けられている。各棚板１１〜１３は、各棚板１１〜１３を通じて反対側の収納物が視認できるような光透過性を有する、ガラス、樹脂などの材料で形成されている。また各棚板１１〜１３の端部１１ａ〜１３ａの付近には、滑り止めの目的と、端部１１ａ〜１３ａの位置を撮影画像から容易に認識できるようにする目的の半透明な枠が設けられる。なおここで、端部１１ａ〜１３ａとは手前側、すなわち、扉２０側の端部を指しており、以下でもいちいち扉側とは記載しない。
【００１３】
冷蔵室１０は、各棚板１１〜１３により仕切られており、複数の棚段に区分されている。各棚板は上から順に、上棚板１１、中棚板１２、下棚板１３である。棚段は上から順に、上棚段Ｒ１、中棚段Ｒ２、下棚段Ｒ３、底棚段Ｒ４である。よって、上棚段Ｒ１に収納される収納物は上棚板１１上に載置され、以下同様である。
【００１４】
また、冷蔵室１０の奥壁１０ａには、冷蔵室１０内に冷気を吹き出す吹出口Ｈ１、Ｈ２、Ｈ３及びＨ４が、上からこの順に設けられている。具体的には、吹出口Ｈ１〜Ｈ４は、各棚段Ｒ１〜Ｒ４内のそれぞれに冷気を吹き出す。さらに、底棚段Ｒ４の下方には、チルドルームＣと貯水タンクＴが設けられているが、これらについては必ずしも備えている必要はない。また、図示されないが、チルドルームＣの下方には、循環する冷気を吸い込む吸込口が設けられている。
【００１５】
扉２０は、冷蔵室１０の前面に、開閉可能に設けられている。具体的には、扉２０は、右側扉２１と左側扉２２とを有し、それぞれが冷蔵室１０の右端及び左端に設けられた回転軸の周りで回転することで冷蔵室１０を開閉できる。しかし冷蔵庫１は、必ずしもこのようなフレンチドアタイプに限られるわけではない。扉２０は、冷蔵室１０の右端または左端に設けられた回転軸の周りで回転することで冷蔵室１０を開閉できる、単一の扉であってもよい。
【００１６】
右側扉２１の内側には、冷蔵室１０を撮影するための複数のカメラが各棚段Ｒ１〜Ｒ４ごとに対向するように設けられている。上カメラ６１、中カメラ６２、下カメラ６３、底カメラ６４は、それぞれ上棚段Ｒ１、中棚段Ｒ２、下棚段Ｒ３、底棚段Ｒ４を主に撮影するためのカメラである。より具体的には、各段のカメラ６１〜６４の高さ方向の位置は、各棚段Ｒ１〜Ｒ４の高さの範囲内にあり、各カメラ６１〜６４は、その撮影の中心方向がそれぞれの棚段Ｒ１〜Ｒ４に向けられている。また、各カメラ６１〜６４は、水平方向について、冷蔵室１０の中央付近に配置されている。
【００１７】
さらに、右側扉２１の内側には、収納ポケット２５、２６、２７が設けられている。各収納ポケット２５、２６、２７に収納物が載置されても各棚段Ｒ１〜Ｒ４が撮影可能なように、各カメラ６１〜６４は、右側扉２１の扉板２４から冷蔵室１０の内部方向に突き出た、隆起部材２８上に鉛直方向に一列に並ぶように配置されている。このことにより、本実施形態において、各カメラ６１〜６４の撮影画像に各収納ポケット２５〜２７が写りこまないようになっている。しかし、各カメラ６１〜６４による各棚段Ｒ１〜Ｒ４の収納物の撮影を阻害しない程度に、撮影範囲の端の部分に各収納ポケット２５〜２７が写りこむ構成としても良い。各カメラ６１〜６４としては、例えばＣＣＤ（Charge Coupled Device）カメラ、またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等、様々な公知の撮像装置が使用できる。
【００１８】
また、図３の（ａ）に示すように、右側扉２１の外面には、表示部２３が設けられている。表示部２３は、例えば液晶ディスプレイなどであってよい。表示部２３は、冷蔵庫の運転に関する情報やカメラの撮影画像などをユーザ（使用者）に提示し得る。さらに、図３の（ｂ）に一部示されているように、棚板１１〜１３（図には上棚板１１が表示）と、収納ポケット２５〜２７（図には収納ポケット２５が表示）及び各カメラ６１〜６４（図には上カメラ６１が表示）との間には、空間Ｓが存在している。
【００１９】
図４の縦断面図には、各カメラ６１〜６４の画角６１ａ〜６４ａを同時に示している。例えば、上カメラ６１の画角６１ａは、上棚段Ｒ１と中棚段Ｒ２との間の棚板である上棚板１１の端部１１ａを含めている。つまり、上カメラ６１の撮影画像には、少なくとも上棚板１１の端部１１ａが写りこみ、さらにその先の空間Ｓの領域までをも含んでいる。同様に、中カメラ６２の撮影画像には、少なくとも上棚板１１の端部１１ａと中棚板１２の端部１２ａが写りこみ、さらにそれぞれその先の空間Ｓの領域までを含んでいる。その他も同様である。よって、各カメラ６１〜６４の画角６１ａ〜６４ａは非常に広角であり、例えば１３０°以上であり得て、典型的には、１５０°程度であるが、カメラと棚との位置関係によって、上記内容を満たす画角のカメラを選定すればよい。なお本願明細書において、画角は、少なくとも鉛直方向（上下方向）の画角を指している。
【００２０】
本実施形態の冷蔵庫１の製造方法については、上記説明した構造に従って公知の冷蔵庫の製造技術を適宜適用することで、当業者であれば容易に理解できる。
【００２１】
次に、本実施形態の冷蔵庫１の特徴的な動作について説明する。ここでは、収納物Ｂが載置された中棚段Ｒ２の撮影画像について説明する。
【００２２】
図５は、中棚段Ｒ２の収納物Ｂが、中棚板１２の端部１２ａ付近ではあるが、端部１２ａからはみ出さない、やや内側の位置に載置されているときの、各カメラ６１〜６３による撮影画像を示す。上述のように各カメラ６１〜６３は非常に広角であるため、撮影画像は歪んだものとなっている。本実施形態では、魚眼レンズを有したカメラの撮影画像にて説明する。
【００２３】
図５の（ｂ）は、中棚段Ｒ２を主に撮影するための中カメラ６２の画像である。画像の上下に、上棚板１１及び中棚板１２が視認でき、それぞれの端部１１ａ及び１１ｂも視認できる。中カメラ６２の撮影画像からは、収納物Ｂの正面側の面全体が視認できる。しかし、ユーザには特徴のない正面側の面しか視認できていないため、収納物Ｂが何であるかを判断するのはやや困難である。
【００２４】
図５の（ａ）は、上カメラ６１の画像である。撮影画像の下部に、上棚板１１の端部１１ａが認められる。また、透視可能な材料で形成されている上棚板１１を通しまたは直接に、収納物Ｂの上側の面と正面側の面とが視認できている。これにより、ユーザは収納物Ｂの立体形状が認識でき、収納物Ｂが味噌パックであることが判断できる。また、収納物Ｂの上面にしか設けられていない商品ラベルが視認できることも、収納物Ｂが何であるかの判断に役立っている。
【００２５】
図５の（ｃ）は、下カメラ６３の撮影画像である。撮影画像の上部に、中棚板１２の端部１２ａが認められる。また、透視可能な材料で形成されている中棚板１２を通しまたは直接に、収納物Ｂの下側の面と正面側の面とが視認できている。これにより、ユーザは収納物Ｂの立体形状が認識でき、収納物Ｂが味噌パックであることが判断できる。
【００２６】
このように、収納物Ｂが手前に置かれているために、中カメラ６２の撮影画像だと、収納物Ｂの正面側の面しか視認できず、立体形状を把握することは困難である。そのため収納物の形態や模様によっては、ユーザが収納物が何であるかを認識することができないことがある。しかし、しかしながら、上カメラ６１や下カメラ６３の撮影画像からは、正面側の面に加えて正面側以外の面も視認できるから、ユーザが立体形状を把握でき、収納物が何であるかを認識することが容易になる。図５においては、各カメラ６１〜６３の撮影画像を総合的に判断すると、ユーザは収納物が何であるかを容易に認識することができる。
【００２７】
図６は、中棚段Ｒ２の収納物Ｂが中棚板１２の端部１２ａから一部がはみ出して載置されているときの、各カメラ６１〜６３による撮影画像を示す。図６の（ｂ）に示されるように、収納物Ｂが中カメラ６２の直近に置かれているため、その撮影範囲を占めて覆ってしまっている。よって、中カメラ６２の撮影画像では、収納物Ｂが何であるかを全く判断把握できない。しかし、図６の（ａ）に示される上カメラ６１の撮影画像では、収納物Ｂの上側の面が上棚板１１の端部１１ａを跨ぐように写っていて、上面のラベルから、ユーザは収納物Ｂが味噌パックであることが認識できる。図６の（ｃ）に示される下カメラ６３の撮影画像では、収納物Ｂの下面が視認できる。このように、図６の収納例においては、中カメラ６２の撮影画像だけでは、収納物Ｂが何であるかを認識することができない。しかし、各カメラ６１〜６３の撮影画像を総合的に判断すると、ユーザは中棚段Ｒ２の収納物の立体形状をある程度認識できるようになり、収納物Ｂの判断ができるようになる。また、本例では上カメラ６１の撮影画像から、上面のラベルも視認できるから、何であるかを認識することができるようになる。
【００２８】
このように、特に棚板の端部付近に収納物が載置され、中カメラ６２だけの撮影画像だけからでは、中棚段Ｒ２に載置された収納物が何であるかを、ユーザが認識することが困難な場合や不可能である場合がある。しかし、本実施形態の冷蔵庫１では、上カメラ６１や下カメラ６３の撮影画像も合わせてユーザに提供することにより、収納物が何であるかをユーザがより確実に認識できるようになるのである。ユーザへの画像の表示は、冷蔵庫１の表示部２３において行うことができる。また、通信により冷蔵庫１外部の携帯端末に表示させても良い。
【００２９】
次に、これら撮影画像の提供方法について、さらに工夫を行った例について説明する。図５や図６に示される各カメラ６１〜６３の撮影画像は、広角であるためそれぞれが複数の棚段の領域を含んでいる。そこで、ユーザにとって理解しやすくするため、各棚段Ｒ１〜Ｒ４に特に関係する領域を切り取って示すことが好ましい。また、各カメラ６１〜６３の撮影画像は歪んでいるため、補正して示すことが好ましい。図７は、図５の各カメラ６１〜６３の撮影画像を元にこのような処理を行った、ユーザへの提供画像Ｐを示している。本提供画像Ｐを、中棚段Ｒ２の状態として示すことで、ユーザが収納物Ｂが何であるかをより認識しやすくすることができる。
【００３０】
なお、図７に示すユーザへの提供画像Ｐは、ユーザの操作によって提供されることが好ましい。具体的には、ユーザが特別な操作を行わなければ、ユーザへの提供画像は、各カメラ６１〜６４がそれぞれ対向する棚段Ｒ１〜Ｒ４を正面視した領域を切り取って補正した画像を並べたものとし、例えば、ユーザが棚段Ｒ２を選択して上下画像を見る、といった操作を行った場合に、図７に示す画像をユーザに提供する。これにより、ユーザは通常では棚段Ｒ１〜Ｒ４の画像を全て確認できるとともに、必要に応じて特定の棚段の状態を精査することができる。
【００３１】
以上の説明では、中棚段Ｒ２に収納物Ｂが収納されることを例として説明したが、他の棚段Ｒ１、Ｒ３、Ｒ４においても同様であることはいうまでもない。
【００３２】
本実施形態の冷蔵庫１においては、上下に隣接する棚段Ｒ１〜Ｒ４に、それぞれ対向してカメラ６１〜６４が設けられている。またこれらのカメラ６１〜６４は、同一鉛直線上に設けられている。そのため、上下に隣接するカメラ６１〜６４が互いに補完して、棚段Ｒ１〜Ｒ４の収納物を確認するための画像を取得することができる。またこのことにより、各カメラを取り付ける扉２１の隆起部材２８を鉛直線に沿ったものとすることができる。そのため、扉２１の収納スペースである収納ポケット２５〜２７の領域を最大限確保することができる。しかしながら、カメラ６１〜６４の配置は、必ずしも同一鉛直線上にあることに限られるわけではなく、右側扉２１（扉板２４）に平行な同一鉛直面上にあればよい。この場合においても、上下に隣接するカメラ６１〜６４が互いに補完して、棚段Ｒ１〜Ｒ４の収納物を確認するための画像を取得することができる。例えば、同一鉛直面上で斜めに配置したり、千鳥配置したりすることもできる。上記の例示では、各カメラ６１〜６４の画角６１ａ〜６４ａについて、それぞれ上下とも棚段の端部を含む範囲としたが、これに限られるものではなく、例えば上側や下側のみ棚段の端部を含む範囲とすることもできる。この場合、各カメラ６１〜６４では、それぞれ、上側若しくは下側への補完のみが行えることになる。
【００３３】
また、各カメラの撮影画角は、当該カメラが対向する棚段の上側または下側の少なくとも一方に隣接する棚段を仕切る上下の棚板の扉側の端部を含める範囲の画角を有するようにしてもよい。例えば、中カメラ６２の撮影画像には、少なくとも中棚板１２の端部１２ａと下棚板１３の端部１３ａが写りこむ。これにより、下棚段Ｒ３の前端に収納した収納物の正面側の面を、下棚段Ｒ３に対向するカメラ６３だけでなく、上方に隣接する中棚段Ｒ２に対向するカメラ６２によっても視認できるため、ユーザが収納物をより認識しやすくすることができる。
【００３４】
〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。以下の実施形態についても同様である。
【００３５】
本実施形態の冷蔵庫２は、図１〜図４に示された冷蔵庫１と同様の構造を有し、さらに制御部７０及び記憶部８０を備えている。図８は、冷蔵庫２の要部の構成を示すブロック図である。カメラ６１〜６４及び表示部２３については上述したとおりである。制御部７０は、判定部７１と、報知部７２とを備える。判定部７１は、各カメラ６１〜６４の撮影画像に基づいて、各棚段Ｒ１〜Ｒ４内のそれぞれに載置された収納物の配置状態を判定する。報知部７２は、判定部７１の判定に従ってユーザへの報知を行う。報知部７２は、例えば警報用の画像を表示部２３に表示させることで、ユーザに対して警報を発することができる。また、冷蔵庫２がスピーカーを備える場合には、報知部７２は、警報用の音声を当該スピーカーから出力することでユーザに警報を発してもよい。記憶部８０は、制御部７０による冷蔵庫１の制御に必要なデータを記憶する。また、記憶部８０は、各カメラ６１〜６４の撮影画像を記録しても良い。制御部７０は、ユーザの求めに応じて、記憶部８０に記録した撮影画像を表示部２３に表示させるように構成されていても良い。報知部７２は、通信回線を通じて画像を伝送するように構成されていても良い。
【００３６】
次に、本実施形態の冷蔵庫２における棚段Ｒ１〜Ｒ４のそれぞれに関する処理を、図９のフローチャートを用いつつ説明する。
【００３７】
まず、判定部７１は、カメラ６１〜６４から撮影画像を取得する（Ｓ１１）。次に、判定部７１は、取得した撮影画像が収納物によって覆われているか否かを判定する（Ｓ１２）。ここで、例えば、撮影画像の面積の４０％以上で、且つ撮影画像の中央部を含んだ領域が、単一の収納物により占められていると判断されるか否かを具体的な判定基準とすることができる。しかしながらこれは例示であって判定基準は適宜に設定できる。また、判定基準として、予め複数の判断条件（面積、位置、明度など、収納物の大きさや位置、状態などを判別可能な条件）を用意して、ユーザが選択できるようにしてもよい。
【００３８】
撮影画像が収納物によって覆われている（画像の例示として図６の（ｂ））と判定された場合には（Ｓ１２でＹＥＳ）、収納物がカメラに近接した状況にあり、収納状態が不適切であると判断される。このときには、報知部７２がユーザに報知を行い（Ｓ１３）、処理を終了する。取得した撮影画像が収納物によって覆われていない（画像の例示として図５の（ｂ））と判定された場合（Ｓ１２でＮＯ）、処理を終了する（Ｓ１３をスキップ）。判定部７１は、以上の処理を、各カメラ６１〜６４について行う。
【００３９】
好ましくは、このような処理を扉２０が閉められたことにより開始し、収納状態が不適切であれば直ちにユーザに報知し、収納状態の改善を促すようにするのが良い。
【００４０】
次に、以上の動作により提供されるユーザにとっての利便性について説明する。
【００４１】
第１に、収納状態が不適切であると報知がなされるので、ユーザは収納状態を改善することができる。よって、各棚段Ｒ１〜Ｒ４に収納されている収納物の識別がし難くなる状況の発生を防止できることである。特に、扉２０が閉められた直後にユーザに報知することで、ユーザは即座に収納状態を改善することができる。したがって、ユーザが外出先で冷蔵室１０内の収納物を確認しようとして携帯端末に撮影画像を表示させた場合に、収納状態が不適切であるが故に収納状態を満足に確認できない、といった問題を未然に防止できる。
【００４２】
第２に、ユーザが収納状態を改善すると、冷蔵室１０内の各部の冷却の不均衡が解消できることである。このことについて、図３の（ｂ）、図４を参照して、以下に説明する。各吹出口Ｈ１〜Ｈ４から冷蔵室１０内に導入された冷気は、各棚段Ｒ１〜Ｒ４を経て扉２０の方向に流れた後、各棚板１１〜１３の端部１１ａ〜１３ａと扉との間の空間Ｓを通じてチルドルームの下方の吸込口から回収され、循環する。よって、カメラ６１〜６４の直近にまで収納物が載置され、空間Ｓまではみだすような状態にあると、冷気の循環が阻害される。冷気の循環が不十分になると、特定の吹出口付近のみが冷えすぎて収納物が凍結することがある。また、逆に十分に冷えない領域が一部にできる問題が生じることもある。このような冷却の不均衡の発生が、ユーザへの報知により、未然に防止できることになる。
【００４３】
上記第１及び第２の利点は各々独立であり、少なくともいずれかの効果が発揮されれば、本実施形態の冷蔵庫２の有利な効果が発揮されたことになる。
【００４４】
〔実施形態３〕
本実施形態の冷蔵庫は、図１〜図４、図８に示された冷蔵庫２と同様の構成を備える。本実施形態の冷蔵庫においても、判定部７１は、各カメラ６１〜６４の撮影画像に基づいて、棚段Ｒ１〜Ｒ４内のそれぞれに載置された収納物の配置状態を判定する。しかし、本実施形態の冷蔵庫においては、制御部７０により実現される処理が実施形態２の冷蔵庫２とは異なっている。本実施形態の冷蔵庫での棚段Ｒ１〜Ｒ４のそれぞれに関する処理を、図１０のフローチャートを用いつつ説明する。なお、以下では、中棚段Ｒ２についての処理を例に説明するが、他の棚段Ｒ１、Ｒ３、Ｒ４についても同様である。
【００４５】
まず、判定部７１は、中棚段Ｒ２に隣接する棚段Ｒ１、Ｒ３に対向して設けられたカメラである、上カメラ６１、下カメラ６３から撮影画像を取得する（Ｓ２１）。次に、判定部７１は、上カメラ６１の撮影画像の下部及び下カメラ６３の撮影画像の上部を調べ、中棚段Ｒ２に載置された収納物が、中棚板１２の端部１２ａをはみ出しているか否かを判定する（Ｓ２２）。収納物が、中棚板１２の端部１２ａをはみ出している（画像の例示として図６の（ａ）、（ｃ））と判定された場合には（Ｓ２２でＹＥＳ）、収納状態が不適切であると判断される。このときには、報知部７２がユーザに報知し（Ｓ２３）、処理を終了する。収納物が、中棚板１２の端部１２ａをはみ出してはいない（画像の例示として図６の（ａ）、（ｃ））と判定される場合（Ｓ２でＮＯ）、処理を終了する（Ｓ２３をスキップ）。本実施形態の冷蔵庫は、以上のような処理を、各カメラ６１〜６４について行う。
【００４６】
好ましくは、このような処理を扉２０が閉められたことにより開始し、収納状態が不適切であれば直ちにユーザに報知し、収納状態の改善を促すようにするのが良い。
【００４７】
次に、以上の動作により提供されるユーザにとっての利便性について説明する。
【００４８】
第１に、収納状態が不適切であると報知がなされるので、ユーザは収納状態を改善することができる。よって、各棚段Ｒ１〜Ｒ４に収納されている収納物の識別がし難くなる状況の発生を防止できることである。
【００４９】
第２に、冷蔵室１０内の各部の冷却の不均衡を未然に防止できることであり、その理由は実施形態２において記載した通りである。
【００５０】
なお、上記説明においては、ステップＳ２２における判定のために、収納物がはみ出す対象として、収納物が載置されていてはならない領域の境界を端部１１ａ〜３１ａを用いた。しかしながら、この例に限らず、領域の境界は、端部１１ａ〜３１ａの内側であっても、外側であっても良い。上述の目的達成のために、端部１１ａ〜３１ａ近傍の所要の領域を、収納物が載置されていてはならない領域として適宜に設定することができる。
【００５１】
〔実施形態４〕
上記各実施形態の冷蔵庫は、中棚段Ｒ２を例にとると、中棚段Ｒ２への収納物の載置状態、特に端部１２ａ付近における載置状態の確認を、中カメラ６２だけでなく、上カメラ６１や下カメラ６３の撮影画像も利用して行うことを特徴の一つとする。本実施形態の冷蔵庫においては、棚板１１〜１３の端部１１ａ〜１３ａ付近の端部領域に模様を有する。これにより、上側または下側に位置するカメラ６１〜６４からの撮影画像において各棚板１１〜１３の端部１１ａ〜１３ａがより認識しやすくなり、ユーザは端部１１ａ〜１３ａ付近における収納状態をより把握しやすくなる。
【００５２】
図１１はそのような模様の例を示す。ここで、中棚板１２を例示するが、上棚板１１及び下棚板１３についても同様に構成できる。図１１の（ａ）は、中棚板１２の端部１２ａ付近に設けた枠１２ｂに模様１２ｃをペイントした例である。なお、模様１２ｃは枠１２ｂの下面にも同様に設けていうる。
【００５３】
また、図１１の（ｂ）及び（ｃ）は、中棚板１２の端部１２ａ付近に設けた枠１２ｂに、溝１２ｄを設け、溝１２ｄ内に彩色を施したしたものを模様としたものである。溝１２ｄ内に彩色を行うことにより、冷蔵庫の正面方向からは彩色が見えないが、上方向若しくは下方向からは彩色が見える。よって、ユーザが冷蔵室１０内を観察するときのデザインへの影響を抑えつつ、上カメラ６１または下カメラ６３からの撮影画像において棚板１２の端部１２ａが認識しやすくなる。
【００５４】
〔ソフトウェアによる実現例〕
上記各実施形態の冷蔵庫の制御ブロック（特に制御部７０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【００５５】
後者の場合、冷蔵庫は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００５６】
〔まとめ〕
本発明の態様１に係る冷蔵庫は、棚板により仕切られた棚段を複数有した冷蔵室と、前記冷蔵室の扉と、前記棚段に対向するように前記扉に設けられたカメラとを備え、前記カメラは、前記棚段毎に前記扉に平行な鉛直面上に複数配置されるとともに、当該カメラが対向する棚段とこれに上側または下側に隣接する棚段との間の棚板の扉側の端部を含める範囲の画角を有する構成を備えている。
【００５７】
上記の構成によれば、棚板の扉側の端部付近に収納物が載置されたとしても収納物が何であるかをユーザが識別することが可能になる。
【００５８】
ここで、棚段を複数有するとは、例えば図１の冷蔵室１０において上棚段Ｒ１と中棚段Ｒ２とを有していることを含む。
【００５９】
本発明の態様２に係る冷蔵庫は、上記態様１において、前記画角は、前記隣接する棚段とは反対側に隣接する棚段と、前記カメラが対向する棚段との間の棚板の扉側の端部をさらに含める範囲である構成を有していても良い。
【００６０】
上記の構成によれば、棚板の扉側の端部付近に収納物が載置されたとしても収納物が何であるかをユーザがより容易に識別することが可能になる。
【００６１】
本発明の態様３に係る冷蔵庫は、上記態様１または２において、前記カメラが撮影した画像に基づいて、前記棚段における収納物の配置状態を判定する判定部と、前記判定部による判定の結果、前記収納物の配置が正常でないことを使用者に報知する報知部とを備え、前記判定部は、前記収納物が前記カメラに近接しているか否かを、当該カメラが撮影した画像に基づいて判定し、前記報知部は、前記収納物が前記カメラに近接していると判定された場合に、使用者に報知する構成を備えていても良い。
【００６２】
上記の構成によれば、簡易な構成で、収納物の載置方法が不適切であるかどうかを判定でき、収納物の載置方法が不適切である際に、使用者に対して改善を促すことで、カメラによる収納物の観察が困難になる事態を防止し、また、冷蔵室内の各部の冷却の不均衡になる事態を防止できる。
【００６３】
本発明の態様４に係る冷蔵庫は、上記態様１または２において、前記カメラが撮影した画像に基づいて、前記棚段における収納物の配置状態を判定する判定部と、前記判定部による判定の結果、前記収納物の配置が正常でないことを使用者に報知する報知部とを備え、前記判定部が、前記収納物が前記棚板の扉側の端部付近の所定の範囲内に載置されているか否かを、当該棚段に隣接する棚段に対向して設けられたカメラが撮影した画像に基づいて判定し、前記報知部が、前記収納物が前記棚板の扉側の端部付近の所定の範囲内に載置されていると判定された場合に、使用者に報知する構成を備えていても良い。
【００６４】
上記の構成によれば、簡易な構成で、収納物の載置方法が不適切であるかどうかを判定でき、収納物の収納方法が不適切である際に、使用者に対して改善を促すことで、カメラによる収納物の観察が困難になる事態を防止し、また、冷蔵室内の各部の冷却の不均衡になる事態を防止できる。
【００６５】
本発明の態様５に係る冷蔵庫は、上記態様１〜４において、前記棚段の画像として、当該棚段に対向するカメラが撮影した画像、及び当該棚段に隣接する棚段に対向するカメラが撮影した画像が表示される、表示部を備えていても良い。
【００６６】
上記の構成によれば、棚段への収納物の収納状態を使用者にわかりやすく提示することができる。
【００６７】
本発明の態様６に係る冷蔵庫は、上記態様１〜５において、複数の前記カメラが鉛直線上に配置される構成を備えていても良い。
【００６８】
上記の構成によれば、複数のカメラが設置される扉の内側の収納スペースを最大限確保できる。
【００６９】
本発明の態様７に係る冷蔵庫は、上記態様１〜６において、前記棚板を通して収納物が視認可能である構成を備えていても良い。
【００７０】
上記の構成によれば、棚板を通じて上方若しくは下方のカメラから、棚段内の収納物を識別することができるようになる。
【００７１】
本発明の態様８に係る冷蔵庫は、上記態様１〜７において、前記棚板の扉側の端部領域に、模様が設けられていても良い。
【００７２】
上記の構成によれば、上方若しくは下方のカメラから、棚段を観察した際に、棚板の扉側の端部を認識しやすくすることができ、棚段内の収納状態の把握が容易となる。
【００７３】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【００７４】
１、２  冷蔵庫
１０  冷蔵室
１０ａ  奥壁
１１  上棚板
１２  中棚板
１３  下棚板
１１ａ、１２ａ、１３ａ  端部
１２ｂ  枠
１２ｃ  模様
１２ｄ  溝
２０  扉
２１  右側扉
２２  左側扉
２３  表示部
２４  扉板
２５、２６、２７  収納ポケット
２８  隆起部材
６１  上カメラ
６２  中カメラ
６３  下カメラ
６４  底カメラ
６１ａ、６２ａ、６３ａ、６４ａ  画角
７０  制御部
７１  判定部
７２  報知部
Ｂ  収納物
Ｈ１〜Ｈ４  吹出口
Ｒ１  上棚段
Ｒ２  中棚段
Ｒ３  下棚段
Ｒ４  底棚段
Ｓ  空間
【図１】
2020016406.tif 000003
【図２】
2020016406.tif 000004
【図３】
2020016406.tif 000005
【図４】
2020016406.tif 000006
【図５】
2020016406.tif 000007
【図６】
2020016406.tif 000008
【図７】
2020016406.tif 000009
【図８】
2020016406.tif 000010
【図９】
2020016406.tif 000011
【図１０】
2020016406.tif 000012
【図１１】
2020016406.tif 000013