(57)【要約】【課題】冷蔵庫の中の食材が他の食材によって隠れていたり、容器に入った食材があったり、冷蔵庫以外に食材が保管されている場合でも食材が出し入れされる映像から食材が出されたのか保管されたのか判定でき、好みに合ったレシピと購入する必要がある食材を表示できる使い勝手の良い食材管理システムの提供。【解決手段】食材と食材の出し入れを撮影する音声映像取得装置と、撮影された食材の食材名を学習し食材名判定手段を生成できる食材名学習手段と、食材の出し入れ動作を学習し、動作判定手段を生成できる動作学習手段から成り、食材名判定手段と動作判定手段により判定された在庫情報を管理し記憶する手段を備え、使用者のレシピに対する評価を管理し、在庫情報とレシピ評価情報を用いてレシピを検索できるレシピ管理手段を備え、携帯端末にて、レシピと購入が必要な材料を表示できる構成としてある。これにより使い勝手の良い食材管理システムとなる。【選択図】図３
2019095172.tif 000002
【特許請求の範囲】
【請求項１】
食材を保存する食材保管庫と、前記食材保管庫から出し入れする食材を撮影できる音声映像取得手段と、前記音声映像取得手段により撮影された食材の名称を学習できる食材名学習手段と、前記音声映像取得手段により撮影された食材を出し入れする動作を学習できる動作学習手段から成り、前記食材名学習手段によって作成される食材名判定手段と、前記動作学習手段によって作成される動作判定手段を備え、食材保管庫に出し入れされる食材の映像から前記食材名判定手段を用いて判定される食材名と、前記動作判定手段を用いて判定される食材の入庫と出庫の状態変化により食材を管理する在庫管理手段と食材の在庫を記憶する在庫記憶手段からなる食材管理システム。
【請求項２】
前記在庫記憶手段から取得する食材在庫情報とレシピ評価記憶手段に記憶されるレシピに対する評価情報を取得してレシピを検索し送信するレシピ検索手段と、レシピと購入が必要な材料が表示されるレシピ表示手段を更に備えることを特徴とする請求項１に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、冷蔵庫等、食材の保管場所に保存されている食材を材料とするレシピを表示し、購入が必要な食材を表示することができる冷蔵庫システム及び食材管理システムに関するものである。
【背景技術】
【０００２】  特許文献１に記載されている冷蔵庫内の在庫情報を元にレシピを表示するシステムはカメラを冷蔵庫内に配置し、カメラからの画像を元に在庫情報を判断しレシピを表示できるように構成してある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２０９０５０号  公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】  以上に述べた従来の冷蔵庫システムでは、冷蔵庫内に配置されたカメラを用いて食材名を特定しレシピ等の食材関連情報を表示することができるが、食材が他の食材で隠れていたり、また食材が使用者の使うタッパーや瓶に入れて保存されていることもあり、食材名の判別が困難な場合がある。こうした状況でも容易に食材名の判定ができることが望まれている。また、食材は冷蔵庫以外にも保存されるため、冷蔵庫以外の食材についても在庫管理ができるシステムが望まれている。さらに、使用者は、表示されたレシピから気に入ったレシピに必要な食材のうち、購入が必要な食材を把握するのが困難であった。こうした環境であるがゆえに、会社から自宅に帰る前に何を作るか何を購入すべきか判断できずに大変な負担を強いられていた。【０００５】  本発明はこのような点に鑑みてなしたもので、食材の見た目をもとに食材名を学習し、学習の結果得られる食材名判定器を利用して食材の見た目から食材名を判定する。また食材の出し入れ動作を学習し、学習の結果得られる動作名判定器を利用することにより、冷蔵庫の中にカメラを置く必要がなく、また冷蔵庫以外の食材保管庫に対しても、食材の出し入れを検知し、食材の在庫を管理できる。またこれにより得られる在庫情報と使用者から入力されるレシピへの評価情報を利用して、レシピ情報を表示し、購入が必要な食材一覧を表示する、使い勝手を向上させた冷蔵庫システム及び食材管理システムを提供するものである。
【課題を解決するための手段】
【０００６】  本発明は上記目的を達成するため、食材を出し入れする映像を取得する音声映像取得手段と、前音声映像取得手段によって得られる音声映像情報から、食材名と出し入れ動作を学習し、食材名と出し入れ動作の判定を行い、食材の在庫を管理する食材監視手段と、食材の在庫とレシピに対する評価情報からお勧めするレシピと購入が必要な食材の情報を送信するレシピ管理手段と、前レシピ管理手段により提供されたレシピと購入が必要な食材を表示するレシピ表示手段と、前レシピ表示手段により表示されたレシピに対する評価を入力できるレシピ評価手段を備えた構成としてある。【０００７】  これにより、隠れている食材があったり、使用者がタッパーや瓶に入れた食材であっても、食材名を学習させたのちに、冷蔵庫及びその他の食材保管庫から出し入れするだけで、在庫が管理される。また在庫情報と使用者の設定したレシピに対する評価情報を元に、レシピが検索、表示され、レシピ情報に記載の食材のうち、冷蔵庫やその他の食材保管庫にない食材が表示されることによって、会社から帰宅途中に購入する必要のある食材がわからない精神的苦痛や、買い忘れがあって再び買いに行くといった非効率な作業を軽減することができる。
【発明の効果】
【０００８】  本発明は、冷蔵庫内で食材が隠れている場合、食材が容器に入っている場合、また冷蔵庫以外に保管された食材でも食材の在庫を管理できる。また本在庫情報に加え、使用者のレシピに対する評価情報を管理できるため、使用者は、好みにあったレシピとレシピ毎に購入する必要のある材料を確認できる、使い勝手の良い冷蔵庫システム及び食材管理システムとすることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態における食材管理システムのシステム構成図
【図２】同食材管理システムのハードウエア構成図
【図３】同食材管理システムの機能構成図
【図４】同食材管理システムの食材監視のフローチャート
【図５】同食材管理システムのレシピ提供のフローチャート
【図６】同食材管理システムのレシピ表示操作画面
【発明を実施するための形態】
【００１０】  以下、本発明の実施の形態を図１から６を用いて説明する。
【００１１】  図１は、本実施の形態に係る冷蔵庫システム及び食材管理システムのシステム構成図である。本システムは、食材が格納される冷蔵庫１と、冷蔵庫１のドアの開閉と出し入れされる食材が映る位置に置かれたネットワークカメラ等の音声映像取得装置２と、音声映像取得装置から公衆網３を通して音声や映像が送信され食材の在庫が管理されるサーバー装置４と、食材の在庫情報を元にレシピや購入が必要な材料が表示されるスマートフォンやタブレット等の携帯端末５から構成される。以後、本冷蔵庫システムを説明するが、これによって本発明が限定されるものではない。食材が格納されるのは冷蔵庫１以外に食材を保管できる入れ物であれば、食戸棚、ワゴン、箱、カゴ、袋などであっても良い。また音声映像取得装置２とサーバー装置４は公衆網３でなく、イントラネットなどのプライベートネットワークで接続されていても良く、あるいは音声映像取得装置とサーバー装置が同一ハードウエア上に構成されていても良い。
【００１２】  図２は本冷蔵庫システムのハードウエア構成図である。本冷蔵庫システムは音声映像取得装置６とサーバー装置８と携帯端末９が公衆網７で接続される。
【００１３】  サーバー装置８は、音声映像取得装置６と携帯端末９との通信を行う通信部１０と、演算処理を行う演算部１１と、演算内容を格納するメモリ１２と、プログラムやデータが保存される記憶媒体部１３から構成される。
【００１４】  サーバー装置８では、音声映像取得装置６より受信した音声と映像データが、通信部１０で受信され、音声と映像データから食材監視プログラム１４が在庫情報を在庫記憶部１５に記憶する。
【００１５】  サーバー装置８では、携帯端末９からレシピの情報要求が、通信部１０で受信され、レシピ管理プログラム１６が、在庫記憶部１５から食材の在庫情報を取得し、レシピ評価記憶部１７から使用者のレシピに対する評価情報を取得し、レシピ情報を通信部１０を通して携帯端末９に送信する。
【００１６】  携帯端末９では、サーバー装置８から送信されたレシピを表示部１８が表示する。またレシピに対する評価情報を入力できる入力部１９を備え、レシピに対する評価情報をサーバー装置８に送信する。
【００１７】  サーバー装置８では、レシピに対する評価情報が、通信部１０で受信され、レシピ管理プログラム１６がレシピに対する評価情報をレシピ評価記憶部１７に記憶する。
【００１８】  図３は本冷蔵庫システムの機能構成図である。本冷蔵庫システムの機能は、音声映像取得装置２０とサーバー装置２１と携帯端末２２にて機能する。
【００１９】  音声映像取得装置２０では、音声映像取得手段２３が音声と映像を取得する。
【００２０】サーバー装置２１は、食材監視手段２４と在庫記憶手段３１とレシピ管理手段３２とレシピ評価記憶手段３５から構成される。
【００２１】  サーバー装置２１では、音声判定手段２５が音声と映像を受け取り、食材名を判定するために学習する食材名学習手段２６か、食材の出し入れを判定するために学習する動作学習手段２７か、食材名を判定する食材名判定手段２８のどちらの処理に移行するべきかを音声情報を元に判定する。食材名学習手段２６は、食材の見た目と食材名を学習し、食材名を判定する食材名判定手段２８を作成する。動作学習手段２７は、食材を出しているのか、入れているのかを判定する動作判定手段２９を作成する。食材名判定手段２８は、映像から食材名を判定し、動作判定手段２９は、食材を出しているのか入れているのかを判定する。在庫管理手段３０は、食材の増減を管理し、在庫情報を在庫記憶手段３１に記憶する。
【００２２】  携帯端末２２では、レシピ表示手段３３がサーバー装置２１にレシピ情報の要求を送信し、サーバー装置２１から受信したレシピを表示する。またレシピ評価手段３６がレシピに対する評価情報の入力を受け付けサーバー装置２１にレシピ評価情報を送信する。
【００２３】サーバー装置２１では、レシピ検索手段３４が、レシピ情報の要求を受け付け、在庫記憶手段３１より食材の在庫情報を取得し、レシピ評価記憶手段３５よりレシピに対する評価情報を取得し、レシピ情報を携帯端末２２に送信する。またレシピ評価管理手段３７がレシピに対する評価情報を受け付け、レシピ評価記憶手段３５にレシピ評価情報を記憶する。
【００２４】  図４は本冷蔵庫システムのサーバー装置２１の食材監視手段２４のフローチャートである。使用者はネットワークカメラ等の前で、食材を見せながら、「これは、ジャガイモです」というように食材名を学習させることができる。本システムは、音声と映像を受け付け（Ｓ００１）、音声中に「これは」「です」という音声があるかないかを判定する（Ｓ００２）。「これは」「です」という音声があれば、本音声を含む映像を映像クリップとして保存し、「これは」と「です」の間の音声を食材名として、映像クリップと食材名からなる学習データを作成する（Ｓ００５）。本学習データを用いて食材監視プログラム内の深層学習ライブラリが映像と食材名を学習する（Ｓ００８）。学習後作成された食材名判定器を本システムで使われている食材名判定器として新たに更新する（Ｓ００９）。
【００２５】  使用者は、ネットワークカメラ等の前で、「入れます」と言いながら食材を食材保管庫に入れ、「出します」と言いながら食材を出すことで、出し入れ動作を学習させることができる。音声に「これは」「です」があるか判定し（Ｓ００２）なければ、音声中に「入れます」という音声があるかどうかを判定する（Ｓ００３）。「入れます」という音声がある場合、「入れます」という音声がある映像クリップを作成し、オプティカルフローを映像に付加し、「入庫」という動作名の学習データを作成する（Ｓ００６）。また「入れます」という音声が検出されない場合、「出します」という音声が検出されるか判定し（Ｓ００４）、「出します」という音声がある場合は、本音声を含む映像を映像クリップを作成し、オプティカルフローを映像に付加し、「出庫」という動作めいの学習データを作成する（Ｓ００７）。入庫用学習データもしくは出庫用学習データが作成された後、食材監視プログラムの深層学習ライブラリを用いて映像から出庫もしくは入庫の動作を判定する動作名判定器の学習を行う（Ｓ０１０）。学習後作成された動作名判定器を本システムで使われている動作名判定器に置き換える（Ｓ０１１）。音声が、「これは」「です」でも「入れます」でも「出します」でもない場合、食材名判定器が映像を処理し食材名を判定する（Ｓ０１２）。その後、映像にオプティカルフローを付加した映像を作成し（Ｓ０１３）、動作名判定器がＳ０１３にて作成した映像を読み込み「入庫」か「出庫」かどちらの動作かを判定する（Ｓ０１４）。その後、食材の在庫の増減情報から食材の在庫数を変更し、記憶する（Ｓ０１５）。分岐処理に利用される「これは」「です」「入れます」「出します」という音声は、設定により変更でき、他の音声により分岐されても良い。
【００２６】  図５は、本冷蔵庫システムのサーバー装置２１のレシピ管理手段３２のためのフローチャートである。
【００２７】  使用者は、携帯端末でアプリまたはブラウザを起動し、レシピを表示するボタンを押下することができる。この結果、レシピ情報の送信要求がサーバー装置に送信される。サーバー装置では、レシピ情報の送信要求を受け取り（Ｓ０１６）、食材の在庫情報を取得（Ｓ０１７）し、レシピに対する評価情報を取得する（Ｓ０１８）。在庫のある食材名のセットから、食材が含まれるレシピのセットをレシピデータベースから取り出し、レシピに含まれる材料のうち、在庫のない食材を購入食材とし、レシピに対する評価がない場合は、購入食材がレシピに必要な食材の２割以下になるレシピを送信対象とし、レシピに対する評価が高い場合は、購入食材がレシピに必要な食材の９割以下になるレシピを送信対象とする。レシピに対する評価が低い場合は、購入食材がないレシピを送信対象とし、送信するレシピを決定する（Ｓ０１９）。本レシピ決定条件は設定により変更することが可能であり、また全く別のアルゴリズムであっても良い。最後に、送信対象のレシピをレシピを携帯端末に送信する（Ｓ０２０）。またレシピデータベースはレシピ管理プログラムに含まれるバイナリデータでも、レシピ管理プログラム外のデータベースでも、公衆網を経由した別のシステムの一部でも良い。
【００２８】  図６は、携帯端末２２に表示されるユーザの操作画面である。
【００２９】  レシピ検索開始画面３８上のレシピ検索開始ボタン３９が押下されるとレシピ検索結果表示画面４０に遷移し、レシピ名とレシピに対する購入食材がレシピリスト４１に表示される。レシピリストのうち任意のレシピが押下されるとレシピ詳細表示画面４２に遷移し、レシピ評価設定ボタン４３にてレシピに対する評価の入力が可能となる。
【符号の説明】
【００３０】１  冷蔵庫
２  音声映像取得装置
３  公衆網
４  サーバー装置
５  携帯端末
６  音声映像取得装置
７  公衆網
８  サーバー装置
９  携帯端末
１０  通信部
１１  演算部
１２  メモリ
１３  記憶媒体部
１４  食材監視プログラム
１５  在庫記憶部
１６  レシピ管理プログラム
１７  レシピ評価記憶部
１８  表示部
１９  入力部
２０  音声映像取得装置
２１  サーバー装置
２２  携帯端末
２３  音声映像取得手段
２４  食材監視手段
２５  音声判定手段
２６  食材名学習手段
２７  動作学習手段
２８  食材名判定手段
２９  動作判定手段
３０  在庫管理手段
３１  在庫記憶手段
３２  レシピ管理手段
３３  レシピ表示手段
３４  レシピ検索手段
３５  レシピ評価記憶手段
３６  レシピ評価手段
３７  レシピ評価管理手段
３８  レシピ検索開始画面
３９  レシピ検索開始ボタン
４０  レシピ検索結果表示画面
４１  レシピリスト
４２  レシピ詳細表示画面
４３  レシピ評価設定ボタン
【図１】
2019095172.tif 000003
【図２】
2019095172.tif 000004
【図３】
2019095172.tif 000005
【図４】
2019095172.tif 000006
【図５】
2019095172.tif 000007
【図６】
2019095172.tif 000008