(57)【要約】【課題】カメラレンズが結露することを防止すると共に、庫内容積を減少させない冷蔵庫を提供する。【解決手段】内箱と、外箱と、前記内箱と外箱との間に設置された断熱材と、前記内箱内部の庫内を閉塞する扉とを備える冷蔵庫において、前記扉が、収納品を配置するポケットを備えた内板を有し、前記内箱の外部に配置され前記内板の撮影を行なうカメラを備える。【選択図】  図１
2004183987.tif 000002
【特許請求の範囲】
【請求項１】
内箱と、外箱と、前記内箱と外箱との間に設置された断熱材と、前記内箱内部の庫内を閉塞する扉とを備える冷蔵庫において、前記扉が、収納品を配置するポケットを備えた内板を有し、前記内箱の外部に配置され前記内板の撮影を行なうカメラを備えた冷蔵庫。
【請求項２】
請求項１において、カメラの設置高さが、撮影対象となる扉の最上部と同じか、又は、それよりも高い位置である冷蔵庫。
【請求項３】
請求項１又は２において、内板がその周囲に光学的な手段による撮影対象領域の検知を行う枠を有している冷蔵庫。
【請求項４】
請求項３において、枠が内板に設けられたパッキングである冷蔵庫。
【請求項５】
請求項３又は４において、枠が、撮影画像の歪みを補正する基準となる冷蔵庫。
【請求項６】
請求項１乃至５のいずれかにおいて、更にカメラにより撮影された画像の大きさが、表示装置の大きさに合わせて拡大又は縮小補正する冷蔵庫。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、冷蔵庫に関する。
【０００２】
【従来の技術】
冷蔵庫の内部を撮影して表示できる冷蔵庫としては、特開平８−４９９５８号公報に記載されるものが有り、冷蔵庫の本体側とドア側とに設けたカメラによって、ドア側又は本体棚側に収納された食品を撮影し、冷蔵庫のドア、引き出し等を開くことなく、外部から視覚的に確認できる冷蔵庫が記載されている。
【０００３】
図１６は、従来例である内部状態表示装置付き冷蔵庫のドアを閉じた正面図、図１７は冷蔵庫のドアを開いた時の正面図、図１８はドアを開いた時の平面図、図１９はドアを開いた時の側面図、図２０は内部状態表示装置のブロック図、図２１は撮影から表示迄のフロー図、図２２〜図２４はドアの撮影構図である。
【０００４】
図１６は、従来冷蔵庫のドア１及びドア２を閉じた状態を示す正面図であり、冷蔵庫本体３は、２枚のドア１、２が配置され、冷蔵庫を正面から見て左側にはドア１、２を開閉するためのハンドル４、４が設けられている。尚、ドア１、２の右側は、ドア開閉のヒンジとして懸架される構成となっている。また、下側となるドア２の外面には、内部状態表示装置の表示部５と操作部６が一体となって配設されている。
【０００５】
図１７は、図１６に示す冷蔵庫のドア２を開いた時の正面図であり、本体３側には棚７、ドア２側にはポケット８の収納部が形成されており、更に、冷蔵庫本体３の左上部に、ドア２の収納物を撮影するカメラ９が設けられ、ドア２側の内面右上部には、冷蔵庫本体１の収納物を撮影するカメラ１０が配設されている。
【０００６】
図１８は、図１６に示す冷蔵庫のドア２を開いた時の平面図で、カメラ１０で撮影するドア２に対するポケット８の水平方向の画角αを示している。図１９は、図１６に示す冷蔵庫のドア２を開いた時の側面図で、カメラ１０で撮影するドア２に対するポケット８収納部の垂直方向の画角βを示している。
【０００７】
カメラ９にて撮影してから表示部５に至るまでの制御回路の構成を、図２０に示す内部状態表示装置のブロック図で説明すると、撮影アングル調整機構１１を具備したカメラ９で庫内撮影した画像情報は、Ａ／Ｄ変換器１２を介してメモリー１３に記憶され、更にＤ／Ａ変換器１４を介して表示部５に出力し表示する構成である。これらの画像情報の授受はＣＰＵ１５によって制御され、ＣＰＵ１５の動作は、ドア２の開き角度を検知する角度センサー１６や操作部６、タイマー１７からの指令信号で制御されるシステムとなっている。
【０００８】
また、撮影から表示迄の動作フローを図２１を用いて説明すると、ドア２を開閉操作した場合、角度センサー１６にて、ドア２が開く方向に回動し、且つ、所定の角度θ以上開いたことを検出すると、カメラ９の電源をＯＮにする。更に、収納品の出し入れ後、角度センサー１６にて、ドア２が閉じる方向に回動し、且つ、所定の角度θ以下の角度域となったことを検出して撮影対象領域１８となるドア２のポケット８収納部を撮影する。
【０００９】
カメラ９で取り込まれた画像情報は、図２０の内部状態表示装置のブロック図で説明したように、Ａ／Ｄ変換器１２を介してメモリー１３に記憶され、その後はカメラ９の電源をＯＦＦとする。メモリー１３に記憶された画像情報を出力して表示部５に表示する場合は、操作部６の指令信号により表示部の電源をＯＮすると共に、メモリー１３に記憶された画像情報を出力し、Ｄ／Ａ変換器１４を介して表示部５に出力して表示をしている。更に、表示部５の表示をＯＦＦする場合は、操作部６の指令信号により表示部の電源をＯＦＦする制御をＣＰＵ１５により行っている。また、タイマー１７の機能は、年月日と時刻の情報を発生し、画像情報をメモリー１３へ取り込んだ年月日及び時刻の記録と、表示部５に出力して表示する際に、当該画像と共に年月日と時刻を提示するための機能である。ＣＰＵ１５は、前述の制御全般を司る機能を具備しており、カメラ９やカメラ１０で撮影する際の撮影アングル調整機構１１の制御なども含まれている。
【００１０】
図２２は、ドア２の撮影対象領域１８となる面とカメラ９が直角を為す位置で撮影し、表示部５に出力して表示した画面１９の構図であり、画面１９の下側になるほど撮影対象領域１８の幅が狭められた形状で表示される画像となっている。図２３は、図２２に示したドアの撮影位置より、更にドア２が閉じた状態でドア２の撮影対象領域１８を右上方の位置から撮影し、表示部５に出力して表示した画面１９の構図であり、画面１９の左側になるほど、及び、下側になるほど、撮影対象領域１８の幅が狭められた形状で表示される画像となっている。
【００１１】
図２２及び図２３に示した画面１９の構図は、いずれも撮影アングル調整機構１１の動作機能を考慮して、画面１９の中央にドア２の撮影対象領域１８を位置させた構図として提示したが、製造上やカメラ９の性能上から、実際に表示される構図は、図２４に示すように、撮影対象領域１８が画面１９の中央から右又は左側、あるいは上又は下側に寄った構図となって表示される。
【００１２】
以上、従来例として特開平８−４９９５８号公報に記載される内容を説明したが、ドア２を閉める操作を行った時点、即ちドア２が閉まる直前の冷蔵庫内の収納状況が、現在の冷蔵庫内の収納状況にほぼ等しいとの認識に基づくもので、少なくともドア２が閉まる直前の冷蔵庫内の収納状況が表示できれば、有効に所望の機能を発揮する、との考え方で構成されたものである。また、当該カメラ９の配設位置に関しては、収納スペースを阻害しにくい位置が選択されている。
【００１３】
【特許文献１】
特開平８−４９９５８号公報（第２図〜第４図）
【００１４】
【発明が解決しようとする課題】
カメラによって冷蔵庫内に収納されている食品の一部、あるいは全部を撮影し、撮影画像を得ようとした場合、課題を論ずる前に撮影目的を明確にする必要が有る。先ず、「冷蔵庫内の収納品の状況を確認したい」という確認シーンを想定すると、冷蔵庫が設置されている台所近傍又は住居内に居る場合は、即座に冷蔵庫のドアを開けての収納物確認ができるためカメラでの撮影を行なう必要性は低く、必要性が高いのは、冷蔵庫が設置されている住居外に居る場合となる。従って、買い物又は仕事等の外出先、移動途中等での遠隔確認ニーズということになり、確認の内容と方法が問題となる。
【００１５】
次に、実態として一般家庭で使われる冷蔵庫の冷蔵室内の収納品を調べてみると、使用頻度と使い勝手の利便性から、ドアのポケット収納部には飲料類、調味料類、卵等が収納され、本体の棚収納部には盛り付け品などの惣菜類を主体として収納されている。同時に、外出先や移動途中で、確認したいと思う冷蔵庫の収納品を調べてみると、飲料類、調味料類、卵等が多く挙げられる。飲料としては、牛乳や茶系飲料が多く、調味料としてはソース類、ケチャップ、マヨネーズ、ドレッシング、たれ類、そして山葵や辛子などのチューブ入り香辛料が多く、卵も多く挙げられている。
【００１６】
このような状況から、食事のメニューを考える場合は、主菜や付け合わせなどの材料は確認して買い物に出掛けるが、付帯する飲料類、調味料類、卵等は往々にして忘れやすいものと考えられる。また、その対象となる食品類の収納場所は、ドアのポケット収納部として特定される。このようなことが「冷蔵庫内収納品の状況を確認したい」というニーズの背景に有ることを前提として認識し、以下、順に具体的な課題を説明する。
【００１７】
先ず、冷蔵庫内の収納品が撮影対象となるが故に複数の課題を生じる。従来の冷蔵庫では、図１７に示したように、冷蔵庫の庫内にカメラ９を配設しているため、ドア２を開けた時に居室内の暖気が庫内に流入し、冷えているカメラ９に結露を発生させる。即ち、結露を発生することで光学系のレンズが曇り、付帯する精密メカ部や回路部の機能の誤動作やレンズカビ発生の要因となって、信頼性をも低下させてしまう点である。また、冷蔵庫内にカメラ２を配置設置すると、カメラを設置するスペースの分だけ収納スペースの領域が狭められることになる。更に、ドアの収納部を撮影しようとする場合、狭い冷蔵庫内のスペースに１台、あるいは複数台のカメラを配設し、１台のカメラでの収納部の撮影対象領域をできるだけ広くした撮影画像を得ようとしている点で、少ないカメラ台数でできるだけ多くの収納部をカバーしようとすることで新たな課題が発生する。
【００１８】
一台のカメラで撮影できる範囲を拡大しようとした場合、一般的なカメラによる方法では、ａ「被写体からより離れた位置で撮影する」、ｂ「レンズを広角にする」、といった方法が採られる。ａの撮影対象からより離れた位置で撮影する方法は、より広い撮影対象領域を得られる反面、弊害として、画像表示装置の画面上に表示される撮影対象を構成する個々の要素が小さくなってしまい、視覚での確認がしにくくなり、狭い冷蔵庫内なのでカメラの配設位置に限界を生じる問題がある。
【００１９】
そこで、ｂの広角レンズを用いる方法について考えると、カメラとしてＣＣＤやＣ−ＭＯＳといった半導体撮像素子を用いる方法が採用されており、撮像素子自体が小さいためレンズの焦点距離も短くなり、撮影可能な領域、つまり画角も自ずと広角になるという利点を有している。
【００２０】
しかし、画角が広くなるということは、撮影画像を画像表示装置の画面上に表示した場合、固体撮像素子を用いたカメラ自体の焦点距離が短いことに起因して、上下、左右、奥行などの遠近差がことさら強調され、画面の中央に表示される近接した撮影対象の構成要素は一段と大きな画像となる一方、画面の上下、左右の端部や中央奥側に位置する撮影対象の画像は一段と小さな画像となって表示されるという問題が発生する。
【００２１】
ｂの方法を用いた場合の問題を、図１８、１９により具体的に説明すると、ドアが開いた状況で、冷蔵庫本体３上部のドア２に接する面に配設した半導体撮像素子を用いたカメラ９により、ドア２の収納部を撮影して表示部５の画面１９いっぱいにドア２の収納部を表示しようとすると、図２２に示すように撮影対象を構成する個々の要素の遠近差による歪みがことさら強調された画像となり、カメラ９から離れたドア２の下方の収納部においては、撮影対象を構成する個々の要素が小さな画像となって、収納部の収納品の確認がしにくくなってしまう欠点を生じていた。
【００２２】
図２２は、表示部５に出力して表示した画面１９の構図で、画面１９の下側になるほど撮影対象領域１８の幅が狭められた形状で表示される画像となっている。この事例は、ドア２の撮影対象領域１８となる面とカメラ９が直角を為す位置で撮影した例であるが、図２３で示すように、図２２のドアの撮影位置より更にドア２が閉じた状態の時、ドア２の撮影対象領域１８を右上方の位置から撮影した場合は、撮影対象を構成する個々の要素の遠近差による歪みの発生が、左右のみならず上下方向にも歪みがことさら強調されることになり、撮影画像を表示してのドア２収納品の確認をしにくくする欠点となっていた。
【００２３】
更に、冷蔵庫本体３上部に配設した半導体撮像素子のカメラ９の配設位置を固定した場合、ドア２の回動方向と角度を角度センサー１６で検出することになるが、当然、撮影機能と表示機能を包含した性能上や製造上の理由から、撮影動作を行うに十分な検出角度領域の設定が必要とされる。
【００２４】
従って、この撮影動作を行う撮影対象領域１８内で撮影された画像にも位置的な差異が発生し、本来なら画像表示装置の画面１９いっぱいに表示すべき出力された画像が、画面の右側や左側、あるいは上側や下側に偏って映し出されることになり、視覚での収納品の確認がしにくくなるという欠点を発生する。
【００２５】
本発明は、カメラレンズが結露することを防止すると共に、庫内容積を減少させない冷蔵庫を提供することを目的とし、また、撮影画像を見た際に写されたものを視覚により容易に認識することができる冷蔵庫を提供することを目的とする。
【００２６】
【課題を解決するための手段】
本発明の目的は、内箱と、外箱と、前記内箱と外箱との間に設置された断熱材と、前記内箱内部の庫内を閉塞する扉とを備える冷蔵庫において、前記扉が、収納品を配置するポケットを備えた内板を有し、前記内箱の外部に配置され前記内板の撮影を行なうカメラを備えることで達成される。
【００２７】
カメラの結露に関しては、カメラが常に冷やされた環境に設置されており、暖気に触れることによって結露するメカニズムが明らかになっていることから、常に冷却されている庫内への設置を避け、冷蔵庫内箱の外側に設置することによって、急激な温度変化に起因する結露の発生を回避できる。また、カメラの設置場所が、外箱よりも外側であれば、結露を防ぐと共に、庫内の容積を減少させることもなくなる。
【００２８】
カメラにより広い範囲を撮影することの問題に関しては、撮影対象領域を扉の内板に特定できるため、無理に広い範囲を撮影する必要がなくなり、且つ、使用者が確認をしたい収納品の配置位置も扉の内板に設けられたポケットであるので、利便性が損なわれることもない。
【００２９】
また、本発明による冷蔵庫に設けられるカメラの設置高さは、撮影対象となる扉の最上部と同じか、又は、それよりも高い位置であることが好ましい。このような高さにカメラを設置すると、ポケット内に収納されている食品類の撮影に適したアングルを得ることができる。また、ポケットは、ドアへの多量収納ニーズから前列、後列といった複数列での収納部構成が多く、後列に収納されている飲料や調味料などに対しても、上方の高い位置から下向きのアングルとすることによって、後列の収納品の見えにくさを解決することができる。
【００３０】
更に、ドアのポケット全域を冷蔵庫の庫外から撮影する訳であるから、当然、ドアが開いた状態で撮影することを意図しており、ドアの開き角度との関係が重視され、さらに、撮影対象領域をカバーし得ることが重視される。つまり、ドアの開き角度の過不足によっては対象とする撮影画像に欠けを生じることになるため、できるだけドアのポケットと対面するに近い状態で、撮影対象領域全体を画面いっぱいに撮影できる画角が選定されることになる。従って、ドアの回動支点となるヒンジと反対側、つまり、ハンドルなどが形成される手掛け側の天面からのアングルでの画角が、撮影対象領域を捉える上で最適な条件として選定できる。
【００３１】
ドア開閉と撮影タイミングに関しては、ドアを閉める操作を行った時点、即ちドアが閉まる直前の冷蔵庫内の収納状況が、現在の冷蔵庫内の収納状況にほぼ等しいとの認識に基づくもので、少なくともドアが閉まる直前の冷蔵庫内の収納状況が表示できれば、有効に所望の機能を発揮するとの考え方が背景に有り、ドアの開閉と撮影タイミングとは、撮影するに適したドアを閉じる時の角度として置き換えられる。カメラの位置とアングル、そして画角が特定できると、自ずと冷蔵庫の寸法と撮影対象領域の寸法関係から、ドアが閉じる動作中での撮影に適した角度は、特定されるものである。但し、撮影するに適したドアを閉じる時の角度を決める前提条件として、収納品の出し入れが終了した状況の撮影であるからでき得る限りドアが閉じる直前の収納状況が望ましいことになる。
【００３２】
冷蔵庫の内板は、その周囲に光学的な手段による撮影対象領域の検知を行う枠を有していることが好ましい。そして、この枠は、パッキングであることが好ましく、更には、枠が、撮影画像の歪みを補正する基準となるようにすることが好ましい。
【００３３】
撮影画像あるいは表示画像の歪みに関しては、撮影した画像の補正内容と補正方法、及び補正時期として説明できる。画像の歪みに関する課題を要約すると，半導体撮像素子を用いたカメラによって、冷蔵庫内のドアに収納されている食品の一部、或いは全部を撮影し、撮影画像を得ようとした場合、（Ａ）光学系に起因する幾何学的な歪みが画面端部に近いほど強調される点、（Ｂ）画像表示装置の画面いっぱいに対象となる収納領域を表示できない点が挙げられるが、前記（Ａ）（Ｂ）の課題解決を図る場合、何等かの工夫によって撮影対象領域を画像表示装置の画面いっぱい表示するため、指標となるものが必要になる。先ず、（Ａ）の課題である光学系に起因する幾何学的な歪みが画面端部に近いほど強調される点の解決手段であるが、幸いに画像情報のデータはデジタル化されているため、デジタル画像処理手段を用いることで表示画面上に表示する撮影画像の部分的な拡大や縮小を容易に行え、画像表示装置の画面１９いっぱいに撮影画像を拡大表示することを容易にできる。次に、（Ｂ）の課題である画像表示装置の画面１９いっぱいに撮影画像を表示できない点の解決手段であるが、前述の（Ａ）による方法で記載した方法と同様に、デジタル化されている画像情報のデータを、デジタル画像処理する方法が考えられる。前記（Ａ）（Ｂ）の課題を解決するための指標については、光学的な半導体撮像素子のカメラを使用した撮影・表示システムであることから、当然、光学的に検知できる撮影対象領域の特定手段が考えられ、画像の特徴抽出手段としては、エッジ／輪郭／線成分の抽出、領域分割による抽出、テクスチャーの抽出等による方法が存在し、識別方法に関しても、パターンマッチング、統計的識別法、構造識別法等があり、撮影画像データのデジタル化と共に開発された技術を適用することが可能となっている。
【００３４】
撮影画像の表示位置に関しては、ニーズの背景として説明したように、利用シーンの関係から必然的に当居外からのニーズになる。従って、本システムの本質となる収納品の画像表示機能は、冷蔵庫の本体あるいはドアの一部に画像表示部を具備させることより、冷蔵庫から離れた位置で収納品の在庫を画像により確認できることが利用方法での主眼となり、携帯電話や携帯情報端末などのモバイル機器、あるいはパソコン画面での画像表示による手段により解決しようとするものである。
【００３５】
【発明の実施の形態】
図１は、本発明による画像補正の機能を搭載した冷蔵庫の正面図、図２は、図１に示す冷蔵庫のドアを開いた状態の平面図、図３は、図１に示す冷蔵庫のドアを開いた状態の側面図、図４は、図１に示す冷蔵庫のドアを開いた状態の撮影対象部の斜視図、図５は、図１に示す冷蔵庫のドアヒンジ部の拡大構成図、図６は、図１の冷蔵庫の撮影画角を示す平面図、図７は、図１の冷蔵庫の撮影画角を示す側面図、図８は、撮影（入力）と表示（出力）のデーター構成の説明図、図９は、撮影対象領域を検出する枠の構成図、図１０は、ドアポケット部の画像の表示構図、図１１は、画像補正の機能構成を示すブロック図、図１２は、画像補正を行うフロー図、図１３は、画像補正時のドアポケット部の構図（１）、図１４は、画像補正時のドアポケット部の構図（２）、図１５は、本発明による機能を搭載した冷蔵庫を用いたシステムの構成図である。
【００３６】
図１は、本発明の実施例である画像補正の機能を搭載した冷蔵庫の正面図で、冷蔵庫本体３は、冷蔵室ドア２０、野菜室引出ドア２１、製氷室引出ドア２２、切替室引出ドア２３、冷凍室引出ドア２４を備えている。また、冷蔵庫本体３の庫外上面の冷蔵室ドア２０のヒンジ２５と相対する側、つまり冷蔵室ドア２０を開閉する手掛け部を構成するハンドル４側に、冷蔵室ドア２０の収納部を撮影するカメラ９を配設している。
【００３７】
図２は、図１の冷蔵庫の冷蔵室ドア２０を開いた状態の平面図で、カメラ９は、冷蔵室ドア２０の撮影対象領域１８となるＡ部ポケット８の撮影を容易にする位置として、冷蔵室ドア２０を開閉する手掛け部を構成するハンドル４側の冷蔵庫本体３上面の冷蔵室ドア２０に近接する位置に配設されている。
【００３８】
図３は、図１の冷蔵庫の冷蔵室ドア２０が開いた状態の側面図で、カメラ９は、冷蔵室ドア２０の撮影対象領域１８となるポケット８の撮影を容易にする位置として、冷蔵室ドア２０のヒンジ２５と相対する側、つまり冷蔵室ドア２０を開閉する手掛け部を構成するハンドル４側の冷蔵庫本体３上面の冷蔵室ドア２０に近接する位置に配設されている。
【００３９】
図４は、図１の冷蔵庫の冷蔵室ドア２０が開いている状態でのカメラ９と、撮影対象領域１８となる冷蔵室ドア２０のポケット８と、冷蔵室本体３側に設けられた棚７、カメラ９の配設位置の位置関係を表した斜視図である。
【００４０】
図１乃至図４に示すように、本実施例においては、カメラを冷蔵庫の外箱よりも外側である天板上に設けているが、カメラの設置位置は、庫内を形成する内箱よりも外部となる部分、換言すれば庫内の冷気に触れない部分であれば良く、具体的には、内箱と外箱との間の断熱材中、外箱側壁等に設置することができる。また、カメラを設置する高さについては、特に限定されるものではないが、撮影対象となる扉の内板最上部と同じか、又は、それよりも高い位置とすることで、ポケット８内の状況をより良く撮影することができる。
【００４１】
図５は、図１に示す冷蔵庫の冷蔵室ドア２０を軸支するヒンジ２５部の拡大平面図で、冷蔵庫本体３の上面にヒンジ２５が固定され、冷蔵室ドア２０の対応する端部には、冷蔵室ドア２０の回動の支点となる軸２６と、冷蔵室ドア２０の回動方向と回動角度を検出する角度センサー１６とが配設されている。また、冷蔵室ドア２０には、回動によって冷蔵庫本体３と接する面に庫内冷気の漏出を阻止するパッキング２７が配設されている。冷蔵室ドア２０の回動方向と回動角度を検出する方法としては、電気抵抗や静電容量、磁気、光などを利用して回動する冷蔵室ドア２０の軸部で検知する方法のほか、超音波や光を本体側から冷蔵室ドア２０の庫内面の一部に照射し、反射音あるいは反射光を受けるに要する時間や角度から冷蔵室ドア２０との距離を演算し、回動方向と回動角度を検出する方法もある。
【００４２】
図６は、図１の冷蔵庫の撮影アングルβ１と画角α１を示す平面図で、冷蔵室ドア２０が角度ψまで閉じた時に撮影画角α１を有するカメラ９が撮影対象領域１８となる冷蔵室ドア２０のポケット８収納部をアングルβ１で捉え、撮影を行う構図を示している。
【００４３】
図７は、図１の冷蔵庫の撮影アングルβ２と画角α２を示す側面図で、冷蔵室ドア２０が角度ψ（図６参照）まで閉じた際に撮影画角α２を有するカメラ９が撮影対象領域１８となる冷蔵室ドア２０のポケット８をアングルβ２で捉え、撮影を行う構図を示している。
【００４４】
図８は、撮影と表示のデータ構成の説明図で、先ず、撮影時刻の異なるＡ〜Ｃといった複数の画像を撮影した場合、Ａ〜Ｃ各々の画像データと同時にＡ〜Ｃの日時データを対で管理すべきデータとしてメモリーに記憶させる。メモリーに記憶されたＡ〜Ｃの撮影画像を表示する場合は、最新の撮影画像となる「Ｃ」を優先して表示すると共に、必要に応じて日時データをも同一画面上に表示する動作の流れを模式的に示した図である。また、複数の画像データと日時データを対として保存することによって、最新の収納状況を確認できるほか、前歴となる撮影画像「Ｂ」の画像データと比較することによって差異を抽出して新たな収納品や消費した収納品の確認をも容易にしようとする方法である。
【００４５】
画像データは、記憶容量の許容範囲内で保存しつづけても良いが、予め指定した期間が撮影日時より経過した時点で消去するようにしても良い。期間は、任意に設定できるものであるが、賞味期限及び食生活を考えると、１週間を超えて保存する必要性は低く、１日〜１週間の範囲内で冷蔵庫の使用者が消去期間を設定できるようにすることが好ましい。
【００４６】
図９は、撮影対象領域１８を検出する指標となる枠の構成図で、冷蔵室ドア２０のポケット８を撮影対象領域１８として検出するため、当該冷蔵室ドア２０の庫内側面の内周に配設している冷気の漏出を阻止するパッキング２７を利用しようとするもので、斜線で示した部分が相当し、周辺の部材とは色彩又は光沢等を変化させ光学的に検知し得る機能を付加させ、撮影時の画角や表示の際の画面と整合させる手段として課題解決を図ったものである。本実施例では、パッキング２７を利用した例として説明しているが、光学的に検知し得る別の部材を付加することもでき、光学的に検知し得る処理を行うことでも同等の効果が得られるものである。
【００４７】
光学的に検知しうる機能を付加させるのには、色を変化させることが最も容易に行なえるものであり、具体的には、パッキング２７の色をパッキング２７周辺の色と異ならせるようにすれば良い。
【００４８】
図１０は、冷蔵室ドア２０のポケット８の画像表示構図で、図９で説明した撮影対象領域１８検出の指標となるパッキング２７を利用し、画面１９の表示可能な領域いっぱいに表示した時の画面１９を示している。画面１９の表示可能な領域となるＡ×Ｂの寸法に対し、指標となるパッキング２７の表示画面上の隙間ａ〜ｄを限りなく小さくする、つまり撮影対象領域１８をＡ×Ｂの寸法に近づけることにより実現しようとする方法で、デジタル信号による画像処理と画像補正を行うことによって実現している。
【００４９】
図１１は、図１０の画像補正の機能構成を示すブロック図で、被写体となる撮影対象領域１８を撮影する光学系レンズ（Ｌｅｎｓ）２８から入射した光をＣＣＤ、あるいはＣ−ＭＯＳといった半導体撮像素子２９で捉え、Ａ／Ｄコンバーター（ＡＤＣ）３０で撮影した画像データをデジタル信号化して一時メモリー（Ｌ−Ｍｅｍｏｒｙ）３１に一時記憶させ、更に、輝度や彩度、画素の欠落などの補正処理を行う画像処理部３２を介して主メモリー（Ｍ−Ｍｅｍｏｒｙ）３３に記憶させる。主メモリー３３に記憶された画像データを画像化して画面１９に表示する時は、主メモリー３３から画像処理部３２を経由し、更にＤ／Ａコンバーター（ＤＡＣ）３４を介して画像信号としてアナログ信号化し、画像出力（Ｖ−ｏｕｔ）３５に送出している。
【００５０】
本実施例における画像補正の方法は、輝度や彩度、画素の欠落などを補正する画像処理部３２に併設した光学系に起因する幾何学的な歪みを補正する画像補正部３６において、同時に画像データの処理を行うもので、主メモリー３３への入力時、あるいは主メモリー３３からの出力時にインターフェイス部（Ｉ／Ｆ）３７を介して機能させる構成としている。なお、図中には記載していないが各信号の授受や制御に関しては、冷蔵庫が具備するＣＰＵによって管理されるものである。
【００５１】
図１２は、図１１の画像補正を行う機能による動作フロー図で、撮影から表示に至る動作の流れを通常使用時の動作と絡めて説明する。まず、冷蔵室ドア２０を開くと開方向へ開く動作であることを検知し、さらに所定の角度以上に開かれているかを判断してカメラ９の電源を０Ｎする。冷蔵室ドア２０を含む冷蔵室内収納品の出し入れ終了後、冷蔵室ドア２０が閉じられる動作に移行したことと、冷蔵庫本体３と冷蔵室ドア２０との閉じ角度を角度センサー１６で検知し、所定の角度に達した時にカメラ９で撮影対象領域１８の撮影を行う。撮影により得られた画像データは、Ａ／Ｄコンバーター３０でデジタル信号に変換されて画像処理部３２と画像補正部３６に送られ、その後、主メモリー３３に記録されてカメラ９の電源がＯＦＦされる動作となる。また、主メモリー３３に記録されている画像データを画面１９に表示する場合は、冷蔵庫外からの画像の表示指令操作、あるいは表示指令信号により、主メモリー３３に記録されている画像データを、画像処理部３２と画像補正部３６を介し、更にＤ／Ａコンバーター３４でアナログ信号に変換された後、画面１９にて画像表示される動作となる。
【００５２】
図１３は、画像補正時における冷蔵室ドア２０のポケット８の構図（１）で、この図面により画像補正の内容を説明する。表示する画面１９に対し、撮影対象領域１８となる冷蔵室ドア２０のポケット８の画像は、画像補正を行わずに表示すると、光学系に起因する幾何学的な歪みが発生して図１３の２点鎖線で示したように撮影対象領域１８が歪んだ画像となることは既に説明した。この幾何学的な歪みを光学的に検知し得る部材や処理によって撮影対象領域１８を検知し、ｅ〜ｈの歪み部を矢印の方向に伸張させて画面と相似形にすると共に、画面いっぱいに撮影対象領域１８を表示させるべく、ａ〜ｄのスペースを限りなく小さな寸法として画面１９上に表示させるものである。光学系に起因する幾何学的な歪み補正の手段に関しては、光学系のレンズを複数枚用いて改善する方法も有るが、コストが高額となり、カメラ容積も大きくなってしまうこと、更に撮影後での画像処理や画像補正がしにくくなることから、一般的には敬遠されている。
【００５３】
図１４は、図１３と同様の、画像補正時における冷蔵室ドア２０のポケット８の構図（２）であるが、画面１９の中心に対して撮影対象領域１８の位置が右または左にずれた場合、あるいは上または下にずれた場合に伸張補正する方向を矢印で示している。本実施例では冷蔵室ドア２０が１枚の場合を例として説明しているが、大形冷蔵庫では、冷蔵室を観音開きドアとして２枚で構成している商品もある。観音開きドアに対しては図１４に示す考え方を発展させ、観音開きドアの分割位置に近接する冷蔵庫本体３の上面に１台のカメラ９を配設し、観音開きドアの２枚が開いた状態でも双方のドアを一度に撮影できるような画角を保有させ、カメラのアングルを変えずにどちらの冷蔵室ドア２０のポケット８でも撮影できるように設置させることで容易に対処できる。
【００５４】
観音開きドアの片方の冷蔵室ドア２０のみが開閉された場合、当然開閉された冷蔵室ドア２０の撮影対象領域１８のみ撮影されることになるが、撮影対象領域１８を光学的に検知し得る枠などを具備していれば、図１３と図１４で説明した画像補正を容易に行え、画面１９いっぱいに撮影対象領域１８を表示し得る。また、観音開きドアの２枚を同時に開閉し、１シーンの画像データとして観音開きドアの両方の撮影対象領域１８が同時に取り込まれた場合には、２枚のドア間に撮影対象領域１８外の不必要な画像をも取り込むことになるが、撮影対象領域１８を光学的に検知し得る枠などを具備していれば、図１３と図１４で説明した画像補正を容易に行え、画面１９いっぱいに撮影対象領域１８を表示し得るものとしている。
【００５５】
図１５は、本実施例の冷蔵庫を用いたシステムの構成図で、冷蔵庫の使われ方を示している。冷蔵庫の庫内収納品を撮影した画像データは、画像処理部３１と画像補正部３６を介してメモリー３３に保存され、携帯電話やＰＤＡ、パソコンなどの通信と画像表示機能を併せ持った機器からのアクセスにより、当該冷蔵庫の有する通信機能によって伝送されるもので、伝送路は、宅内のネットワーク家電品群の双方向情報通信窓口となるＢＴ（Ｂｌｅｕ  Ｔｏｏｔｈ）アクセスポイントを介してモデムに接続され、更にＡＤＳＬやＣＡＴＶなどの回線により宅外インターネットに接続される。従って、宅内はもとより、買い物や仕事などでの外出先からもインターネットを介して携帯電話などで宅内のネットワーク家電品群に接続でき、冷蔵庫においても、光学系に起因する幾何学的な歪みを補正した画像が得られる冷蔵庫収納品の画像確認システムに構成している。構成方法に関しては、カメラ９に本実施例の画像に関わる画像処理部３１、画像補正部３６、メモリー３３などの諸機能のほか、一連の制御を統括するＣＰＵ、通信機能を含めてモジュール化して具備させることによって、冷蔵庫とは別体の装置化することも可能とするものである。
【００５６】
本発明によれば、第１にカメラの信頼性が確保できる。冷えた庫内ではなく、内箱よりも外部にカメラを設置することによって、カメラのレンズ、カメラ内の回路部への結露などの心配がなく、回路部の動作の信頼性が確保できると共に光学系においてもレンズカビの発生を改善できる。また、庫外にカメラを設置するとキッチン環境特有の蒸気や油煙、温度上昇といった対環境の配慮も必要になるが、現在では、オープンキッチンが多く使用されており、ＬＤＫ化されて快適な居住環境となっていることから、殆ど対環境性の心配なくなっており、カメラの画角が下向きとなる点や撮影対象領域を有するドアを閉じた時には、カメラのレンズ部を保護する構成にできる点などによって、容易に改善が図れる環境条件となっている。
【００５７】
第２には、撮影対象領域を冷蔵室のドア収納品に特定したことによって、往々にして買い忘れしやすい調味料や香辛料、各種飲料、卵といった冷蔵室のドア収納品の在庫確認を、外出先からでも容易に行える点で、実用性、受益性を兼ね備えた使用意向の高い在庫管理を可能とした。
【００５８】
第３には、カメラの設置位置を、冷蔵室ドアを開閉するハンドルが設けられている側の冷蔵庫本体の天板上面にドアと近接するように設置したことによる効果で、斜め上方からのカメラアングルで撮影対象領域となる冷蔵室ドアのポケット内まで撮影できるカメラアングルを選定できた点である。この効果としては、ポケットの内側まで撮影できるため、複数列で収納されている時の後列食品の確認や、ポケット内に隠れた背の低い収納品をも撮影できることになり、画像による在庫確認を行う上で、より確認をしやすくしている。
【００５９】
第４には、冷蔵室のドアが閉じる直前の状態で撮影する効果として、ドアを閉じたら収納品の出し入れが不能となることが前提に有り、撮影された画像を見れば、いつでも冷蔵室収納品の最新状況が把握できる。撮影するタイミングに関しては、角度センサーをドアの回動に連動する機構としてヒンジ部の軸に配設することによって、回動方向と位置の確認を容易にしており、低コストの検知手段として構成できるものである。このほか、超音波や光を用いて冷蔵室ドアの回動方向と本体と冷蔵室ドアとの距離を検出する機能を付加する方法も有り、冷蔵庫とは別体装置化する上では、有効な検知手段として利用できる。
【００６０】
第５には、撮影対象領域をニーズの高い冷蔵室ドアのポケットとし、撮影対象領域を特定する光学系で検知し得る指標となる枠を設けたことによって、光学系に起因する幾何学的な歪みを補正し、見やすく、わかりやすい画像を提供できる点である。一般的な画像の処理としては、輝度や彩度、画素の欠落などが行われているが、光学系に起因する幾何学的な画像の歪み補正に関しては、撮影画像の画像データをデジタル化したことによる効果として挙げられるものである。さらなる効果として、画像の大きさ補正、画像の位置補正をも可能としていることも挙げられる。
【００６１】
第６には、撮影画像の画像データーに管理データーを対として付加する効果として、撮影された年月日や時刻が把握できることのほか、前歴の画像との差異を確認すれば追加された収納品や消費された収納品の確認も可能としている点である。この前歴の画像との差異の確認に関しては、前歴の画像と最新の画像を重ねることによっても、追加された収納品や消費された収納品の確認をすることをも可能としている。
【００６２】
第７には、画像の表示部を当該冷蔵庫以外の携帯電話やＰＤＡ、パソコンなどの機器とし、当該冷蔵庫とインターネット接続することによって、宅内での当該冷蔵庫から離れた場所で確認できることはもとより、買い物や仕事などでの外出先などでの受益性が高く、実用的な効果が期待でき、外出中に消費されることなどへの在庫確認対応も可能とするものである。
【００６３】
第８には、画像処理部、画像補正部、メモリーなどの諸機能のほか、通信機能を含めてモジュール化してカメラに具備させることによって、冷蔵庫とは別体の装置化することが可能となり、当該機能が具備されていない冷蔵庫に対する機能付加をも可能にするもので、必要に応じて付加できる利点としても挙げられる。
【００６４】
【発明の効果】
本発明の冷蔵庫によれば、カメラ及びカメラレンズが結露することを防止すると共に、庫内容積を減少させない冷蔵庫を提供することができる。また、枠を用いたことにより、歪みのない画像とすることができ、撮影画像を見た際に写されたものを視覚により容易に認識することができる。
【図面の簡単な説明】
【図１】本発明の実施例である画像補正の機能を搭載した冷蔵庫の正面図。
【図２】図１に示す冷蔵庫のドアが開いた状態の平面図。
【図３】図１に示す冷蔵庫のドアが開いた状態の側面図。
【図４】図１に示す冷蔵庫のドアが開いた状態の撮影対象部の斜視図。
【図５】図１に示す冷蔵庫のドアヒンジ部の拡大平面図。
【図６】図１に示す冷蔵庫の撮影画角を示す平面図。
【図７】図１に示す冷蔵庫の撮影画角を示す側面図。
【図８】本発明の実施例である撮影と表示のデータ構成の説明図。
【図９】本発明の実施例である撮影対象領域を検出する枠の構成図。
【図１０】本発明の実施例であるドアポケット部の画像の表示構図。
【図１１】本発明の実施例である画像補正の機能構成を示すブロック図。
【図１２】本発明の実施例である画像補正を行うフロー図。
【図１３】本発明の実施例である画像補正時のドアポケット部の構図（１）。
【図１４】本発明の実施例である画像補正時のドアポケット部の構図（２）。
【図１５】本発明の実施例である冷蔵庫を用いたシステムの構成図。
【図１６】従来例となる内部状態表示装置付き冷蔵庫のドアを閉じた時の正面図。
【図１７】従来例となる内部状態表示装置付き冷蔵庫のドアを開いた時の正面図。
【図１８】従来例となる内部状態表示装置付き冷蔵庫のドアを開いた時の平面図。
【図１９】従来例となる内部状態表示装置付き冷蔵庫のドアを開いた時の側面図。
【図２０】従来例となる内部状態表示装置のブロック図。
【図２１】従来例となる内部状態表示装置付き冷蔵庫の撮影〜表示フロー図。
【図２２】従来例となる内部状態表示装置付き冷蔵庫のドアの撮影構図（１）。
【図２３】従来例となる内部状態表示装置付き冷蔵庫のドアの撮影構図（２）。
【図２４】従来例となる内部状態表示装置付き冷蔵庫のドアの撮影構図（３）。
【符号の説明】
１…ドア、２…ドア、３…冷蔵庫本体、４…ハンドル、５…表示部、６…操作部、７…棚、８…ポケット、９…カメラ、１０…カメラ、１１…撮影アングル調整機構、１２…Ａ／Ｄ変換機、１３…メモリー、１４…Ｄ／Ａ変換機、１５…ＣＰＵ、１６…角度センサ、１７…タイマー、１８…撮影対象領域、１９…画面、２０…冷蔵室ドア、２１…野菜室引出ドア、２２…製氷室引出ドア、２３…切替室引出ドア、２４…冷凍室引出ドア、２５…ヒンジ、２６…軸、２７…パッキング、２８…光学系レンズ、２９…半導体撮像素子、３０…Ａ／Ｄコンバーター、３１…一時メモリー、３２…画像処理部、３３…主メモリー、３４…Ｄ／Ａコンバーター、３５…画像出力、３６…画像補正部、３７…インターフェース部。
【図１】
2004183987.tif 000003
【図２】
2004183987.tif 000004
【図３】
2004183987.tif 000005
【図４】
2004183987.tif 000006
【図５】
2004183987.tif 000007
【図６】
2004183987.tif 000008
【図７】
2004183987.tif 000009
【図８】
2004183987.tif 000010
【図９】
2004183987.tif 000011
【図１０】
2004183987.tif 000012
【図１１】
2004183987.tif 000013
【図１２】
2004183987.tif 000014
【図１３】
2004183987.tif 000015
【図１４】
2004183987.tif 000016
【図１５】
2004183987.tif 000017
【図１６】
2004183987.tif 000018
【図１７】
2004183987.tif 000019
【図１８】
2004183987.tif 000020
【図１９】
2004183987.tif 000021
【図２０】
2004183987.tif 000022
【図２１】
2004183987.tif 000023
【図２２】
2004183987.tif 000024
【図２３】
2004183987.tif 000025
【図２４】
2004183987.tif 000026