(57)【要約】【課題】収納室内の空き容量をより正確に計測することができる。【解決手段】情報処理装置は、冷蔵庫にある収納室の内部を、異なる位置から撮像する複数の撮像装置と、複数の撮像装置それぞれが撮像した画像を比較することにより、収納室の空き容量を計測する計測部と、を備える。【選択図】図１
2017219270.tif 000002
【特許請求の範囲】
【請求項１】
冷蔵庫にある収納室の内部を、異なる位置から撮像する複数の撮像装置と、
前記複数の撮像装置それぞれが撮像した画像を比較することにより、前記収納室の空き容量を計測する計測部と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記計測部が計測した空き容量を出力する出力部をさらに備える
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記計測部は、三角測量の原理を用いたステレオ法により前記空き容量を計測する
ことを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記複数の撮像装置は、冷蔵庫本体の上部に前記収納室を撮像可能な様態で設置されており、
前記収納室は、冷蔵庫本体から引き出して開くものである
ことを特徴とする請求項１から３いずれか１項に記載の情報処理装置。
【請求項５】
前記収納室の天面には、マーカがあり、
前記計測部は、前記マーカの位置を基準にして、前記空き容量を計測する
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記複数の撮像装置は、前記収納室内の引き出し手前側の上部に前記収納室内を撮像可能な様態で設置されている
ことを特徴とする請求項１から３いずれか１項に記載の情報処理装置。
【請求項７】
前記複数の撮像装置は、前記収納室内の引き出し手前側の上部の高さの異なる位置に前記収納室内を撮像可能な様態で設置されている
ことを特徴とする請求項１から３いずれか１項に記載の情報処理装置。
【請求項８】
冷蔵庫本体と、
前記冷蔵庫本体にある収納室の内部を、異なる位置から撮像する複数の撮像装置と、
前記撮像装置それぞれが撮像した画像を比較することにより、前記収納室の空き容量を計測する計測部と、
を備えることを特徴とする冷蔵庫。
【請求項９】
コンピュータに、
冷蔵庫にある収納室の内部を、異なる位置から撮像する複数の撮像装置それぞれが撮像した画像を比較することにより、前記収納室の空き容量を計測する計測ステップ、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、冷蔵庫及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、カメラで収納室内部を撮像し、食材を入れる前の空状態を撮影した基準画像と比較分析して空き容量もしくは空きスペースを表示する冷蔵庫が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４―２０９０４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、撮像した画像と基準画像との差分を分析することにより空き容量を推定するため、撮像した画像と基準画像とが一致していない部分については「空いていない」ということしかわからない。すなわち、壁面が見えていない部分については「空いていない」と判定されるため、手前の方に空きスペースがあってもそれを正しく認識することができない、という問題がある。一般に、冷蔵庫の冷凍室は箱型の形状になっており、上から物を入れる構造になっている場合が多い。このような構造においては、庫内の物は底の方から上に積みあがっていく場合が多い。また、その積み上がり方も一様でなく、手前の方は低く、奥の方は高く積みあがる場合が多い。特許文献１に記載の技術では、このように均一でない状態で物が積みあがっている冷凍庫の「空容量」を正しく推定することは、困難である。
【０００５】
本発明は上記の点に鑑みてなされたものであり、収納室内の空き容量をより正確に計測することができる情報処理装置、冷蔵庫及びプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明は上記の課題を解決するためになされたものであり、本発明の第１の態様は、冷蔵庫にある収納室の内部を、異なる位置から撮像する複数の撮像装置と、前記複数の撮像装置それぞれが撮像した画像を比較することにより、前記収納室の空き容量を計測する計測部と、を備えることを特徴とする情報処理装置である。
【０００７】
また、本発明の第２の態様は、冷蔵庫本体と、前記冷蔵庫本体にある収納室の内部を、異なる位置から撮像する複数の撮像装置と、前記撮像装置それぞれが撮像した画像を比較することにより、前記収納室の空き容量を計測する計測部と、を備えることを特徴とする冷蔵庫である。
【０００８】
また、本発明の第３の態様は、コンピュータに、冷蔵庫にある収納室の内部を、異なる位置から撮像する複数の撮像装置それぞれが撮像した画像を比較することにより、前記収納室の空き容量を計測する計測ステップ、を実行させるためのプログラムである。
【発明の効果】
【０００９】
本発明によれば、収納室内の空き容量をより正確に計測することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係る冷蔵庫の外観構成を示す図である。
【図２】第１の実施形態に係る冷蔵庫が備える情報処理装置の機能構成を示すブロック図である。
【図３】第１の実施形態に係る三角測量を説明するための図である。
【図４】第１の実施形態に係るステレオ法を説明するための図である。
【図５】第１の実施形態に係るカメラが撮像する冷凍室を示す図である。
【図６】第１の実施形態に係る計測部が計測する空きスペースを説明するための図である。
【図７】第１の実施形態に係る画像処理部が生成する表示画像の一例を示すイメージ図である。
【図８】第１の実施形態に係る情報処理装置の計測処理の一例を示すフローチャートである。
【図９】本発明の第２の実施形態に係る冷蔵庫の外観構成を示す図である。
【図１０】第２の実施形態に係るカメラの設置位置を説明するための図である。
【図１１】本発明の第３の実施形態に係る冷蔵庫の外観構成を示す図である。
【図１２】第３の実施形態に係るカメラの設置位置を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。
図１は、第１の実施形態に係る冷蔵庫１の外観構成を示す図である。
冷蔵庫１は、２台のカメラ１０２−１，１０２−２を備える。カメラ１０２−１，１０２−２は、冷蔵庫１にある冷凍室１０の内部を、異なる位置から撮像する撮像装置である。カメラ１０２−１，１０２−２は、引き出し式の冷凍室１０が引き出された状態において、冷凍室１０の内部を上から撮像可能な態様で、冷蔵庫１本体の上部の手前側に光軸が平行になるように設置されている。なお、以降の説明にあたり、カメラ１０２−１，１０２−２について特に区別しない場合には、カメラ１０２と記載する。
【００１２】
また、冷蔵庫１を正面視したときの右方向をｘ軸方向とし、奥行き方向をｙ軸方向とし、下方向をｚ軸方向としてｘｙｚ座標系を定める。カメラ１０２−１，１０２−２は、水平（ｘ軸に対して平行）に設置されている。
【００１３】
冷凍室１０は、冷蔵庫１本体からｙ軸に沿って手前方向に引き出して開く引き出し式の収納室であり、冷凍ケース上段１１と、冷凍ケース下段１２とを備える。冷凍ケース上段１１の手前側にある天面には、冷凍ケース上段１１の上段マーカＭｕがある。また、冷凍ケース下段１２の手前側にある天面には、冷凍ケース下段１２の下段マーカＭｌがある。
【００１４】
図２は、第１の実施形態に係る冷蔵庫１が備える情報処理装置１００の機能構成を示すブロック図である。
情報処理装置１００は、制御部１０１と、カメラ１０２−１と、カメラ１０２−２と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１０３と、開閉検出部１０４と、画像記憶部１０５と、計測部１０６と、画像処理部１０７と、表示部１０８と、操作部１０９と、通信部１１０と、を備える。
【００１５】
制御部１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を備え、情報処理装置１００を統括して制御する。カメラ１０２は、冷凍室１０の内部を撮像し、撮像した撮像画像を示すアナログ信号をＡ／Ｄ変換部１０３に出力する。Ａ／Ｄ変換部１０３は、カメラ１０２から入力されるアナログ信号をデジタル信号に変換して制御部１０１に出力する。開閉検出部１０４は、冷凍室１０の開閉を検出する。例えば、開閉検出部１０４は、冷凍室１０の開閉時に動作するローラーの回転や停止を検出する。
【００１６】
画像記憶部１０５は、カメラ１０２が撮像した撮像画像を記憶する。計測部１０６は、画像記憶部１０５に記憶されている、カメラ１０２−１が撮像した撮像画像とカメラ１０２−２が撮像した撮像画像とを比較し、三角測量の原理を用いたステレオ法により、冷凍室１０の空き容量を計測する。このとき、計測部１０６は、上段マーカＭｕ及び下段マーカＭｌを基準にして、冷凍室１０の空き容量を計測する。画像処理部１０７は、計測部１０６が計測した空き容量を示す表示画像を生成する。
【００１７】
表示部１０８は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示装置である。操作部１０９は、各種ボタンや表示部１０８の表示画面に設置されたタッチパネルから構成され、操作入力を受け付ける。通信部１１０は、他の通信装置と通信する。
【００１８】
次に、本実施形態に係る情報処理装置１００による空き容量の計測方法について説明する。計測部１０６は、カメラ１０２−１及びカメラ１０２−２それぞれが撮像した撮像画像を比較して、三角測量の原理を用いたステレオ法で対象点までの距離を計測する。
【００１９】
図３は、第１の実施形態に係る三角測量を説明するための図である。図示するように、三角測量では、次の式（１）により対象点までの距離ｄを計測する。
【００２０】
【数１】
2017219270.tif 000003
【００２１】
ｂは、カメラ１０２−１とカメラ１０２−２との距離（ベースライン）である。αは、カメラ１０２−１から対象点までの直線とベースラインとがなす角度である。また、βは、カメラ１０２−２から対象点までの直線とベースラインとがなす角度である。
【００２２】
図４は、第１の実施形態に係るステレオ法を説明するための図である。計測部１０６は、上述した三角測量の原理を用いたステレオ法により対象点までの距離を計測する。計測部１０６は、次の式（２）〜（４）により、対象点のｘｙｚ座標値Ｐ（Ｘ，Ｙ，Ｚ）を計測する。
【００２３】
【数２】
2017219270.tif 000004
【００２４】
【数３】
2017219270.tif 000005
【００２５】
【数４】
2017219270.tif 000006
【００２６】
ｂは、カメラ１０２−１とカメラ１０２−２との距離である。また、ｆは、カメラ１０２の焦点距離である。また、ｐｌ（ｘｌ，ｙｌ）は、カメラ１０２−２が撮像する左画像における対象点のｘｙ座標値である。また、ｐｒ（ｘｒ，ｙｒ）は、カメラ１０２−１が撮像する右画像における対象点のｘｙ座標値である。また、ｐｒｘ＝ｘｌ−ｘｒである。
【００２７】
図５は、第１の実施形態に係るカメラ１０２が撮像する冷凍室１０を示す図である。
カメラ１０２は、冷凍室１０が開けられたことを開閉検出部１０４が検出すると、撮像を開始し、冷凍室１０が閉められたことを開閉検出部１０４が検出すると、撮像を停止する。例えば、カメラ１０２は、冷凍室１０を開けるときにローラーが回転してから停止したことを検出すると撮像を開始し、冷凍室１０を閉めるときにローラーが回転したことを検出すると撮像を停止するようにしてもよい。また、カメラ１０２は、冷凍ケース上段１１がスライドしたことを開閉検出部１０４が検出したときに撮像の開始や停止をするようにしてもよい。
【００２８】
カメラ１０２は、上部から冷凍室１０の内部を撮像する。まず、ユーザが冷凍室１０を引き出すと、冷凍ケース上段１１の上段領域Ａｕが撮像される。そして、ユーザが冷凍ケース上段１１をｙ軸方向にスライドさせると、カメラ１０２の撮像する上段領域Ａｕが狭くなり、冷凍ケース下段１２の下段領域Ａｌが広くなる。計測部１０６は、カメラ１０２が撮像する上段マーカＭｕと下段マーカＭｌとを基準にして、冷凍ケース上段１１及び冷凍ケース下段１２の空き容量を計測する。
【００２９】
具体的には、計測部１０６は、撮像画像に上段マーカＭｕがある場合には、冷蔵庫１本体のラインＬから上段マーカＭｕまでのｙ軸方向の領域と上段マーカＭｕのｘ軸方向の領域を冷凍ケース上段１１のｘｙ軸の上段領域Ａｕと判定する。また、計測部１０６は、撮像画像に上段マーカＭｕと下段マーカＭｌとの両方がある場合には、冷蔵庫１本体のラインＬから上段マーカＭｕまでのｙ軸方向の領域と上段マーカＭｕのｘ軸方向の領域を冷凍ケース上段１１のｘｙ軸の上段領域Ａｕと判定し、上段マーカＭｕから下段マーカＭｌまでのｙ軸方向の領域と下段マーカＭｌのｘ軸方向の領域を冷凍ケース下段１２のｘｙ軸の下段領域Ａｌと判定する。
【００３０】
なお、カメラ１０２は、上段マーカＭｕまたは下段マーカＭｌをキャリブレーションに利用してもよい。
【００３１】
図６は、第１の実施形態に係る計測部１０６が計測する空きスペースを説明するための図である。
計測部１０６は、例えば、冷凍ケース下段１２にある対象点（ｘ２，ｙ２，ｚ２）におけるｚ軸方向の空きスペース（空き容量）を計測する場合には、下段マーカＭｌの座標（ｘ１，ｙ１，ｚ１）を冷凍ケース下段１２の上端とし、当該座標を基準にする。具体的には、計測部１０６は、ｚ２−ｚ１により、対象点におけるｚ軸方向の空きスペースを計測する。同様に、計測部１０６は、冷凍ケース上段１１にある対象点におけるｚ軸方向の空きスペースを計測する場合には、冷凍ケース上段１１の上端（上段マーカＭｕ）の座標を基準にする。このようにして、計測部１０６は、撮像画像にある上段領域Ａｕ及び下段領域Ａｌにおける各対象点のｚ軸方向の空きスペースを計測する。また、計測部１０６は、各地点のｚ軸方向の空きスペースに基づいて、冷凍室１０内の空き容量を計測する。
【００３２】
計測部１０６は、計測した各地点の空きスペースを示す空き容量データを制御部１０１に出力する。制御部１０１は、空き容量データが入力されると、当該空き容量データと、画像記憶部１０５が記憶する撮像画像とを画像処理部１０７に出力する。画像処理部１０７は、入力された空き容量データと撮像画像とに基づいて、冷凍室１０の空き容量を示す表示画像を生成する。
【００３３】
図７は、第１の実施形態に係る画像処理部１０７が生成する表示画像の一例を示すイメージ図である。
計測部１０６は、撮像画像Ｉ１において、アイスＩｃがある領域には、ｚ軸方向に１０ｃｍ（センチメートル）の空きスペースがあると判定する。また、計測部１０６は、撮像画像Ｉ１において、ピザＰｚがある領域には、ｚ軸方向に１５ｃｍの空きスペースがあると判定する。また、計測部１０６は、何も置いていない領域には、ｚ軸方向に２０ｃｍの空きスペースがあると判定する。画像処理部１０７は、ｚ軸方向の空きスペースの大きさに応じて、各領域に色を付ける。例えば、画像処理部１０７は、ｚ軸方向を５ｃｍ刻みで色分けする。本例では、画像処理部１０７は、アイスＩｃがある１０ｃｍの空きスペースの領域には黄色を、ピザＰｚがある１５ｃｍの空きスペースの領域には緑色を、何も置いていない２０ｃｍの空きスペースの領域には青色を付け、表示画像Ｉ２を生成する。また、画像処理部１０７は、縮尺の長さを表示画像Ｉ２に表示してもよい。図示する例では、画像処理部１０７は、アイスＩｃがある領域付近に縮尺の長さ１０ｃｍを表示している。
【００３４】
画像処理部１０７は、生成した表示画像Ｉ２を制御部１０１に出力する。制御部１０１は、通信部１１０を介して、表示画像Ｉ２をサーバ装置に送信（アップロード）する。サーバ装置にアップロードされた表示画像Ｉ２は、サーバ装置にアクセスしたスマートフォンやタブレット端末等の電子装置において表示可能である。或いは、制御部１０１は、表示画像Ｉ２を表示部１０８に表示してもよい。ここで、通信部１１０または表示部１０８が、計測部１０６が計測した空き容量を出力する出力部を構成する。なお、表示部１０８と通信部１１０は、冷蔵庫１に一体化されたものであってもよいし、着脱可能なモジュールとして構成されたものであってもよい。すなわち、冷蔵庫１は、表示部１０８及び通信部１１０を備えていなくともよい。
【００３５】
図８は、第１の実施形態に係る情報処理装置１００の計測処理の一例を示すフローチャートである。
（ステップＳ１０１）開閉検出部１０４は、冷凍室１０がオープン（開）であるか否かを判定する。冷凍室１０がオープンであると開閉検出部１０４が判定した場合には、ステップＳ１０２の処理に進む。また、冷凍室１０がオープンでないと開閉検出部１０４が判定した場合には、ステップＳ１０１の処理を再度実行する。
【００３６】
（ステップＳ１０２）制御部１０１は、カメラ１０２の撮像を開始する。その後、ステップＳ１０３の処理に進む。
（ステップＳ１０３）開閉検出部１０４は、冷凍室１０がクローズ（閉）であるか否かを判定する。冷凍室１０がクローズであると開閉検出部１０４が判定した場合には、ステップＳ１０４の処理に進む。また、冷凍室１０がクローズでないと開閉検出部１０４が判定した場合には、ステップＳ１０３の処理を再度実行する。
【００３７】
（ステップＳ１０４）制御部１０１は、カメラ１０２の撮像を停止する。その後、ステップＳ１０５の処理に進む。
（ステップＳ１０５）計測部１０６は、カメラ１０２が撮像した撮像画像に上段マーカＭｕがあるか否かを判定する。上段マーカＭｕがあると計測部１０６が判定した場合には、ステップＳ１０６の処理に進む。また、上段マーカＭｕがないと計測部１０６が判定した場合には、ステップＳ１１０の処理に進む。
【００３８】
（ステップＳ１０６）計測部１０６は、上段マーカＭｕまでの距離を計測する。その後、ステップＳ１０７の処理に進む。
（ステップＳ１０７）計測部１０６は、冷凍ケース上段１１のｘｙ方向の領域を計測する。その後、ステップＳ１０８の処理に進む。
【００３９】
（ステップＳ１０８）計測部１０６は、ステップＳ１０７において計測した領域における各地点までの距離を計測する。その後、ステップＳ１０９の処理に進む。
（ステップＳ１０９）計測部１０６は、ステップＳ１０６において計測した上段マーカＭｕまでの距離と、ステップＳ１０８において計測した各地点までの距離とに基づいて、各地点におけるｚ軸方向の空きスペースを計測し、冷凍ケース上段１１の空き容量を計測する。その後、ステップＳ１１０の処理に進む。
【００４０】
（ステップＳ１１０）計測部１０６は、カメラ１０２が撮像した撮像画像に下段マーカＭｌがあるか否かを判定する。下段マーカＭｌがあると計測部１０６が判定した場合には、ステップＳ１１１の処理に進む。また、下段マーカＭｌがないと計測部１０６が判定した場合には、処理を終了する。
【００４１】
（ステップＳ１１１）計測部１０６は、下段マーカＭｌまでの距離を計測する。その後、ステップＳ１１２の処理に進む。
（ステップＳ１１２）計測部１０６は、冷凍ケース下段１２のｘｙ方向の領域を計測する。その後、ステップＳ１１３の処理に進む。
【００４２】
（ステップＳ１１３）計測部１０６は、ステップＳ１１２において計測した領域における各地点までの距離を計測する。その後、ステップＳ１１４の処理に進む。
（ステップＳ１１４）計測部１０６は、ステップＳ１１１において計測した下段マーカＭｌまでの距離と、ステップＳ１１３において計測した各地点までの距離とに基づいて、各地点におけるｚ軸方向の空きスペースを計測し、冷凍ケース下段１２の空き容量を計測する。その後、処理を終了する。
【００４３】
なお、本実施形態では、冷凍室１０にケースが２段（冷凍ケース上段１１及び冷凍ケース下段１２）ある場合について説明したが、これに限らず、ケースが３段以上ある場合であっても同様にマーカを用いてその領域を判定することができる。
【００４４】
また、本実施形態では、カメラ１０２は、冷凍室１０がオープン（開）で撮像を開始し、冷凍室１０がクローズ（閉）で撮像を停止しているが、この間の撮像を動画で行い、フレームレートを変更できるようにしてもよい。計測部１０６の計測はこの間に撮像した全ての画像で行うが、これに限らず、フレームレートが高い場合や撮像枚数が多い場合、計測対象とする画像を減らしてもよい。
【００４５】
また、本実施形態では、計測部１０６は、上段マーカＭｕ及び下段マーカＭｌを用いて、冷凍ケース上段１１及び冷凍ケース下段１２の上端までの距離を計測しているが、これに限らず、予め情報処理装置１００に冷凍ケース上段１１及び冷凍ケース下段１２の上端までの距離を登録しておいてもよい。
【００４６】
また、本実施形態では、画像処理部１０７が空き容量を示す表示画像Ｉ２を生成しているが、これに限らず、例えば、冷食の袋のサイズ、箱入りアイスやカップアイスなどのサイズを予め登録し、計測した空き容量に対して、冷食の袋なら何袋、カップアイスなら何個入るかを提示するようにしてもよい。
【００４７】
このように、本実施形態によれば、情報処理装置１００は、冷蔵庫１にある収納室（冷凍室１０）の内部を、異なる位置から撮像する複数のカメラ１０２と、複数のカメラ１０２それぞれが撮像した画像を比較することにより、冷凍室１０の空き容量を計測する計測部１０６と、を備える。計測部１０６は、三角測量の原理を用いたステレオ法により空き容量を計測する。また、複数のカメラ１０２は、冷蔵庫１本体の上部に水平に設置されており、冷凍室１０は、冷蔵庫１本体から引き出して開くものであって、その天面にはマーカがあり、計測部１０６は、マーカの位置を基準にして、空き容量を計測する。
【００４８】
これにより、情報処理装置１００は、ｚ軸方向の空きスペースを計測することができるため、均一でない状態で物が積み上がっている冷凍室１０内の空き容量をより正確に計測することができる。
【００４９】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【００５０】
図９は、第２の実施形態に係る冷蔵庫１の外観構成を示す図である。
本実施形態では、カメラ１０２が冷凍室１０の内部に設置されている点が、第１の実施形態と異なる。カメラ１０２は、冷凍室１０の内部を撮像可能な態様で、冷凍室１０の内部の引き出し手前側の上部に水平（ｘ軸に対して平行）に設置されている。本実施形態における冷蔵庫１本体の構成及び情報処理装置１００の構成は、第１の実施形態と同様であるため、その説明を省略する。
【００５１】
図１０は、第２の実施形態に係るカメラ１０２の設置位置を説明するための図である。
図示するように、カメラ１０２は、冷凍ケース上段１１と冷凍ケース下段１２との境界部に水平に設置されている。そのため、計測部１０６は、カメラ１０２の仰角θが冷凍ケース上段１１の上段領域Ａｕと判定し、カメラ１０２の俯角φが冷凍ケース下段１２の下段領域Ａｌと判定する。そして、計測部１０６は、第１の実施形態と同様に、カメラ１０２−１及びカメラ１０２−２それぞれが撮像した撮像画像を比較して、三角測量の原理を用いたステレオ法で空き容量を計測する。なお、冷凍ケース上段１１は、透明な素材が用いられており、その中身がカメラ１０２から撮像できるようになっている。
【００５２】
また、カメラ１０２は、冷凍室１０の引き出し手前側がよく撮像できるように、魚眼レンズのカメラであってもよい。
【００５３】
また、カメラ１０２は、開閉検出部１０４が冷凍室１０の開閉を検出したときに撮像の開始や停止をしてもよいし、スマートフォンやタブレット端末などの電子装置からの遠隔操作で撮像の開始や停止をしてもよい。カメラ１０２は、冷凍室１０内に設置されているため、冷凍室１０が閉じてある状態であっても、その内部を撮像することができる。なお、冷凍室１０が閉じてある状態でカメラ１０２が撮像する場合、その冷凍室１０内にＬＥＤや蛍光管を用いた照明を設け、撮像開始時に点灯し、撮像停止時に消灯できるようにしてもよい。
【００５４】
このように、本実施形態によれば、カメラ１０２は、冷凍室１０内の引き出し手前側の上部に水平に設置されている。すなわち、カメラ１０２は、空きスペースができやすい引き出し手前側の上部に設置されているため、空きスペースができやすい方向から冷凍室１０の内部を撮像することができる。よって、情報処理装置１００は、より正確に空きスペースを計測することができる。
【００５５】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
【００５６】
図１１は、第３の実施形態に係る冷蔵庫１の外観構成を示す図である。
本実施形態では、カメラ１０２が冷凍室１０の内部に設置されている点が、第１の実施形態と異なる。カメラ１０２は、冷凍室１０の内部の引き出し手前側に垂直（ｚ軸に対して平行）に設置されている。すなわち、カメラ１０２は、冷凍室１０の内部を撮像可能な態様で、冷凍室１０の内部の引き出し手前側の上部の高さの異なる位置に設置されている。本実施形態における冷蔵庫１本体の構成及び情報処理装置１００の構成は、第１の実施形態と同様であるため、その説明を省略する。
【００５７】
図１２は、第３の実施形態に係るカメラ１０２の設置位置を説明するための図である。
図示するように、カメラ１０２−１は、冷凍ケース上段１１の上端に設置されている。また、カメラ１０２−２は、冷凍ケース下段１２の上端に設置されている。そのため、計測部１０６は、カメラ１０２−１の俯角φ１及びカメラ１０２−２の仰角θ２を冷凍ケース上段１１の上段領域Ａｕと判定し、カメラ１０２−２の俯角φ２を冷凍ケース下段１２の下段領域Ａｌと判定する。そして、計測部１０６は、第１の実施形態と同様に、カメラ１０２−１及びカメラ１０２−２それぞれが撮像した撮像画像を比較して、三角測量の原理を用いたステレオ法で空き容量を計測する。なお、冷凍ケース上段１１は、透明な素材が用いられており、その中身がカメラ１０２−２から撮像できるようになっている。
【００５８】
また、カメラ１０２は、冷凍室１０の引き出し手前側がよく撮像できるように、魚眼レンズのカメラであってもよい。
【００５９】
また、本実施形態では、カメラ１０２−１を冷凍ケース上段１１の上端に設置し、カメラ１０２−２を冷凍ケース下段１２の上端に設置しているが、これに限らず、カメラ１０２は、冷凍室１０内の上半分や、冷食２袋分の空きスペースが確認できるところなど、冷凍室１０の引き出し手前側の上部にある他の位置に設置してもよい。
【００６０】
また、カメラ１０２は、開閉検出部１０４が冷凍室１０の開閉を検出したときに撮像の開始や停止をしてもよいし、スマートフォンやタブレット端末などの電子装置からの遠隔操作で撮像の開始や停止をしてもよい。カメラ１０２は、冷凍室１０内に設置されているため、冷凍室１０が閉じてある状態であっても、その内部を撮像することができる。なお、冷凍室１０が閉じてある状態でカメラ１０２が撮像する場合、その冷凍室１０内にＬＥＤや蛍光管を用いた照明を設け、撮像開始時に点灯し、撮像停止時に消灯ができるようにしてもよい。
【００６１】
このように、本実施形態によれば、カメラ１０２は、冷凍室１０内の引き出し手前側の上部に垂直に設置されている。すなわち、カメラ１０２は、空きスペースができやすい引き出し手前側の上部に垂直に設置されているため、垂直方向（ｚ軸方向）に空きスペースができやすい方向から冷凍室１０の内部を撮像することができる。よって、情報処理装置１００は、より正確に垂直方向（ｚ軸方向）の空きスペースを計測することができる。
【００６２】
なお、上述した実施形態における情報処理装置１００の一部、例えば、制御部１０１、計測部１０６、または、画像処理部１０７をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、情報処理装置１００に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００６３】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【００６４】
例えば、上述した実施形態では、情報処理装置１００は、冷凍室１０の空き容量を計測しているが、これに限らず、冷凍室１０以外にも野菜室や、製氷室や、冷蔵室などについても同様に空き容量を計測することができる。また、カメラ１０２は、冷蔵室内全体が撮像できるように、魚眼レンズのカメラであってもよい。
【００６５】
（１）冷蔵庫にある収納室の内部を、異なる位置から撮像する複数の撮像装置と、複数の撮像装置それぞれが撮像した画像を比較することにより、収納室の空き容量を計測する計測部と、を備えることを特徴とする情報処理装置。
【００６６】
（２）計測部が計測した空き容量を出力する出力部をさらに備えることを特徴とする（１）に記載の情報処理装置。
【００６７】
（３）計測部は、三角測量の原理を用いたステレオ法により空き容量を計測することを特徴とする（１）または（２）に記載の情報処理装置。
【００６８】
（４）複数の撮像装置は、冷蔵庫本体の上部に収納室を撮像可能な態様で設置されており、収納室は、冷蔵庫本体から引き出して開くものであることを特徴とする（１）から（３）いずれか１項に記載の情報処理装置。
【００６９】
（５）収納室の天面には、マーカがあり、計測部は、マーカの位置を基準にして、空き容量を計測することを特徴とする（４）に記載の情報処理装置。
【００７０】
（６）複数の撮像装置は、収納室内の引き出し手前側の上部に収納室を撮像可能な態様で設置されていることを特徴とする（１）から（３）いずれか１項に記載の情報処理装置。
【００７１】
（７）複数の撮像装置は、収納室内の引き出し手前側の上部に高さの異なる位置に収納室内を撮像可能な態様で設置されていることを特徴とする（１）から（３）いずれか１項に記載の情報処理装置。
【００７２】
（８）冷蔵庫本体と、冷蔵庫本体にある収納室の内部を、異なる位置から撮像する複数の撮像装置と、撮像装置それぞれが撮像した画像を比較することにより、収納室の空き容量を計測する計測部と、を備えることを特徴とする冷蔵庫。
【００７３】
（９）コンピュータに、冷蔵庫にある収納室の内部を、異なる位置から撮像する複数の撮像装置それぞれが撮像した画像を比較することにより、収納室の空き容量を計測する計測ステップ、を実行させるためのプログラム。
【符号の説明】
【００７４】
１・・・冷蔵庫、１０・・・冷凍室、１００・・・情報処理装置、１０１・・・制御部、１０２・・・カメラ、１０３・・・Ａ／Ｄ変換部、１０４・・・開閉検出部、１０５・・・画像記憶部、１０６・・・計測部、１０７・・・画像処理部、１０８・・・表示部、１０９・・・操作部、１１０・・・通信部
【図１】
2017219270.tif 000007
【図２】
2017219270.tif 000008
【図３】
2017219270.tif 000009
【図４】
2017219270.tif 000010
【図５】
2017219270.tif 000011
【図６】
2017219270.tif 000012
【図７】
2017219270.tif 000013
【図８】
2017219270.tif 000014
【図９】
2017219270.tif 000015
【図１０】
2017219270.tif 000016
【図１１】
2017219270.tif 000017
【図１２】
2017219270.tif 000018