(57)【要約】【課題】利用者の負担を軽減することができる残量判定システムを提供する。【解決手段】音声を取得する音声取得装置１０と、取得された音声を文字情報として認識する音声認識部１１０と、所定のキーワードと物品の残量を段階的に示す残量レベルとが互いに紐付けされた判定基準データを記憶する判定基準データ記憶部１２０と、音声認識部１１０によって認識された文字情報から所定のキーワードを抽出し、抽出した所定のキーワードと判定基準データとを照合することにより、物品の残量レベルを判定する制御部１３０と、を具備する。【選択図】図１
2018026022.tif 000002
【特許請求の範囲】
【請求項１】
音声を取得する音声取得部と、
取得された前記音声を文字情報として認識する音声認識部と、
所定のキーワードと物品の残量を段階的に示す残量レベルとが互いに紐付けされた判定基準データを記憶する判定基準データ記憶部と、
前記音声認識部によって認識された前記文字情報から前記所定のキーワードを抽出し、抽出した前記所定のキーワードと前記判定基準データとを照合することにより、物品の前記残量レベルを判定する残量判定部と、
を具備する、
残量判定システム。
【請求項２】
利用者に物品の補充の必要性を通知可能な通知部を具備し、
前記通知部は、
前記残量判定部によって判定された前記残量レベルに応じた通知を行う、
請求項１に記載の残量判定システム。
【請求項３】
取得された前記音声を発した個人を識別する個人識別部を具備し、
前記残量判定部は、
前記個人識別部の識別結果に基づいて抽出された、特定の１以上の個人が発した音声を用いて、前記残量レベルを判定する、
請求項１又は請求項２に記載の残量判定システム。
【請求項４】
取得された前記音声を発した個人を識別する個人識別部を具備し、
前記判定基準データは、
前記所定のキーワードと前記残量レベルとが個人ごとに互いに紐付けされており、
前記残量判定部は、
前記個人識別部によって識別された個人の前記判定基準データを抽出し、抽出した前記判定基準データを用いて前記残量レベルを判定する、
請求項１から請求項３までのいずれか一項に記載の残量判定システム。
【請求項５】
物品の画像を取得する画像取得部と、
取得された前記画像に基づいて物品の個数を判定し、判定された物品の前記個数と前記残量判定部によって判定された当該物品の前記残量レベルとを互いに紐付けて記憶する在庫管理部と、
を具備する、
請求項１から請求項４までのいずれか一項に記載の残量判定システム。
【請求項６】
物品の補充履歴を取得する補充履歴データ取得部と、
取得された前記補充履歴に基づいて、物品の残量が閾値以下となる時期を予測する予測部と、
を具備する、
請求項１から請求項５までのいずれか一項に記載の残量判定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物品の残量判定システムの技術に関する。
【背景技術】
【０００２】
従来、物品の残量判定システムの技術は公知となっている。例えば、特許文献１に記載の如くである。
【０００３】
特許文献１には、家庭の冷蔵庫や収納棚に収納されている食品や日用品の在庫量（残量）を検出及び管理する在庫情報管理装置が記載されている。また、特許文献１には、当該在庫情報管理装置がマイク等の音声認識部を備え、音声により物品の在庫量の入力を受け付けることができることが記載されている。
【０００４】
しかしながら、特許文献１に記載の技術においては、利用者は、物品の正確な在庫量を把握して、且つ、意識的に音声入力する必要があり、このため利用者の負担が大きいという問題があった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２５０６９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は以上の如き状況に鑑みてなされたものであり、その解決しようとする課題は、利用者の負担を軽減することができる残量判定システムを提供するものである。
【課題を解決するための手段】
【０００７】
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
【０００８】
即ち、請求項１においては、音声を取得する音声取得部と、取得された前記音声を文字情報として認識する音声認識部と、所定のキーワードと物品の残量を段階的に示す残量レベルとが互いに紐付けされた判定基準データを記憶する判定基準データ記憶部と、前記音声認識部によって認識された前記文字情報から前記所定のキーワードを抽出し、抽出した前記所定のキーワードと前記判定基準データとを照合することにより、物品の前記残量レベルを判定する残量判定部と、を具備するものである。
【０００９】
請求項２においては、利用者に物品の補充の必要性を通知可能な通知部を具備し、前記通知部は、前記残量判定部によって判定された前記残量レベルに応じた通知を行うものである。
【００１０】
請求項３においては、取得された前記音声を発した個人を識別する個人識別部を具備し、前記残量判定部は、前記個人識別部の識別結果に基づいて抽出された、特定の１以上の個人が発した音声を用いて、前記残量レベルを判定するものである。
【００１１】
請求項４においては、取得された前記音声を発した個人を識別する個人識別部を具備し、前記判定基準データは、前記所定のキーワードと前記残量レベルとが個人ごとに互いに紐付けされており、前記残量判定部は、前記個人識別部によって識別された個人の前記判定基準データを抽出し、抽出した前記判定基準データを用いて前記残量レベルを判定するものである。
【００１２】
請求項５においては、物品の画像を取得する画像取得部と、取得された前記画像に基づいて物品の個数を判定し、判定された物品の前記個数と前記残量判定部によって判定された当該物品の前記残量レベルとを互いに紐付けて記憶する在庫管理部と、を具備するものである。
【００１３】
請求項６においては、物品の補充履歴を取得する補充履歴データ取得部と、取得された前記補充履歴に基づいて、物品の残量が閾値以下となる時期を予測する予測部と、を具備するものである。
【発明の効果】
【００１４】
本発明の効果として、以下に示すような効果を奏する。
【００１５】
請求項１においては、利用者の負担を軽減することができる。
【００１６】
請求項２においては、利用者は、物品の補充が必要な時期の目安を把握することができる。
【００１７】
請求項３においては、残量レベルを判定するための音声を特定の人の音声に限定することができる。
【００１８】
請求項４においては、人の残量に対するとらえ方の違いを考慮して物品の残量レベルを判定することができるので、残量レベルの判定の精度を向上させることができる。
【００１９】
請求項５においては、物品の個数と残量レベルの両方を把握することで、物品の在庫を精度良く管理することができる。
【００２０】
請求項６においては、物品の補充が必要な時期を自動的に予測することができるので、利用者により有用なものとすることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る残量判定システムの構成を示す図。
【図２】本発明の一実施形態に係る残量判定システムの判定基準データテーブルを示す図。
【図３】本発明の一実施形態に係る残量判定システムの制御を示すフローチャート。
【図４】本発明の一実施形態に係る残量判定システムの構成の別例を示す図。
【図５】本発明の第二実施形態に係る残量判定システムの構成を示す図。
【図６】本発明の第二実施形態に係る残量判定システムの制御を示すフローチャート。
【図７】本発明の第三実施形態に係る残量判定システムの制御を示すフローチャート。
【図８】（ａ）本発明の第三実施形態に係る残量判定システムの母親用判定基準データテーブルを示す図。（ｂ）同じく、父親用判定基準データテーブルを示す図。（ｃ）同じく、子供用判定基準データテーブルを示す図。
【図９】本発明の第四実施形態に係る残量判定システムの構成を示す図。
【図１０】本発明の第四実施形態に係る残量判定システムの制御を示すフローチャート。
【発明を実施するための形態】
【００２２】
まず、図１を用いて、本発明の一実施形態に係る残量判定システム１の構成の概要について説明する。
【００２３】
残量判定システム１は、物品の残量を判定するためのシステムである。残量判定システム１は、主に家庭で使用される。なお、本実施形態及び後述する第二実施形態から第四実施形態においては、父親、母親及び子供から構成される家庭を想定し、このうち母親が残量判定システム１の利用者（残量の判定結果を利用する者）であるものとして説明を行う。「物品」には、日々の生活において消費される常備品が含まれ、例えば牛乳や卵、調味料などの食品、トイレットペーパーや洗剤などの日用品が含まれる。また、残量判定システム１は、物品の残量の判定結果に基づいて、物品の補充が必要である旨を利用者に通知する。残量判定システム１は、音声取得装置１０、利用者端末２０及びサーバー１００を具備する。
【００２４】
音声取得装置１０は、音声を取得するものである。音声取得装置１０としては、例えばマイクロフォンが使用される。音声取得装置１０は、家族の会話や独り言の音声を取得可能な位置に配置され、例えば冷蔵庫の近傍や収納棚の近傍に配置される。音声取得装置１０の数は、１つであってもよいし、複数であってもよい。
【００２５】
利用者端末２０は、残量判定システム１の利用者が使用する端末である。利用者端末２０としては、データを送受信可能な端末が用いられ、例えばパーソナルコンピュータや高機能携帯電話端末が用いられる。
【００２６】
サーバー１００は、データの格納や分析等を行うものである。サーバー１００は、音声認識部１１０、判定基準データ記憶部１２０、制御部１３０及び通知部１４０を具備する。
【００２７】
音声認識部１１０は、音声取得装置１０によって取得された音声を文字情報として認識するものである。音声認識部１１０は、音声認識機能を用いて、音声取得装置１０によって取得された音声をテキスト化する。これにより、音声取得装置１０は、音声取得装置１０によって取得された音声の文字情報を作成する。以下では、音声取得装置１０によって取得された音声の文字情報を、「音声テキスト」ということもある。
【００２８】
判定基準データ記憶部１２０は、物品の残量を判定する基準となる判定基準データを記憶するものである。判定基準データは、所定のキーワード及び残量レベルを含んでおり、両者は互いに紐付けされている。ここで、所定のキーワードとは、物品の残量を推定する鍵となる、予め決められた語句のことをいう。所定のキーワードには、物品の残量に関連する種々の語句を含めることができる。残量レベルは、物品の残量を段階的に示すものである。残量レベルは、物品の残量の大小（補充の必要性）によって、複数の段階（レベル）に区分されている。
【００２９】
図２は、判定基準データを規定する判定基準データテーブルを示す図である。判定基準データテーブルには、残量レベルと所定のキーワードとが紐付けられて記憶されている。残量レベルは、「充分レベル」、「許容レベル」及び「必要レベル」に区分されている。「充分レベル」は、残量が多く、未だ補充する必要のないことを示すものである。「許容レベル」は、残量が少なく、そろそろ補充の必要があることを示すものである。「必要レベル」は、残量が０であって、すぐに補充の必要があることを示すものである。充分レベルに紐付けされたキーワードは、特に規定されていない。許容レベルに紐付けされたキーワードには、例えば「まだ少し」、「あと少し」、「ちょっとある」などのワードが含まれている。必要レベルに紐付けされたキーワードには、例えば「もう無い」、「無くなった」、「買いに行かないと」などのワードが含まれている。
【００３０】
制御部１３０は、サーバー１００の制御を行うものである。特に、制御部１３０は、物品の残量（残量レベル）を判定するものである。制御部１３０は、音声認識部１１０によって作成された文字情報（音声テキスト）、及び判定基準データ記憶部１２０に記憶された判定基準データに基づいて、物品の残量レベルを判定する。
【００３１】
具体的には、制御部１３０は、音声認識部１１０によって作成された音声テキストから、残量に関連するキーワードを抽出する。そして、制御部１３０は、判定基準データ記憶部１２０の判定基準データテーブルを参照して（抽出したキーワードと判定基準データとを照合して）、抽出したキーワードと一致する所定のキーワードを選択する。そして、制御部１３０は、選択したキーワードに紐付けされた残量レベルに基づいて、残量レベルを判定する。
【００３２】
また、制御部１３０は、音声認識部１１０によって作成された音声テキストに基づいて、対象物品（判定した残量レベルがどの物品についてのものであるか）を判定する。具体的には、制御部１３０は、音声認識部１１０によって作成された音声テキスト（特に、残量に関連するキーワードの前後の部分）から物品に関連する単語を抽出し、所定のデータを参照して物品を判定する。
【００３３】
通知部１４０は、利用者に物品の補充の必要性を通知するものである。通知部１４０は、制御部１３０による制御に基づいて、利用者端末２０に対する通知を実行する。通知部１４０は、制御部１３０によって判定された残量レベルに応じた通知を実行する。具体的には、通知部１４０は、判定結果（残量レベル）が「充分レベル」である場合には、通知を行わない。通知部１４０は、判定結果が「許容レベル」である場合には、そろそろ補充の必要がある旨の通知（「そろそろ○○が切れそうなので、次回の買い物で買いましょう。」などの通知）を行う。また、通知部１４０は、判定結果が「必要レベル」である場合には、すぐに補充の必要がある旨の通知（「○○が切れています。買い物に行きましょう。」などの通知）を行う。
【００３４】
以下、図３を参照して、残量判定システム１の制御について説明する。
【００３５】
ステップＳ１０において、音声取得装置１０は、音声取得を行う。このステップにおいて、音声取得装置１０は、家族の会話や独り言の音声を取得する。音声取得装置１０によって取得される音声としては、例えば「醤油が無くなったよ」、「卵がもう少ししかないわ」、「牛乳がもう無いよ」などの音声を例示することができる。ここでは、音声取得装置１０は、「牛乳がもう無いよ」との音声を取得したとする。
【００３６】
ステップＳ１１において、音声認識部１１０は、音声認識を行う。このステップにおいて、音声認識部１１０は、音声取得装置１０によって取得された「牛乳がもう無いよ」との音声をテキスト化して、音声テキストを作成する。
【００３７】
ステップＳ１２において、制御部１３０は、物品の残量レベルを判定する。このステップにおいて、制御部１３０は、音声認識部１１０によって作成された音声テキスト、及び判定基準データ記憶部１２０に記憶された判定基準データテーブルを用いて、物品の残量レベルを判定する。
【００３８】
具体的には、制御部１３０は、判定基準データテーブルに規定された所定のキーワードに基づいて、音声認識部１１０によって作成された音声テキストから、残量に関連するキーワードを抽出する。ここでは、制御部１３０は、判定基準データテーブルを参照し、「牛乳がもう無いよ」との音声テキストから、残量に関連するキーワードとして「もう無い」とのワードを抽出する。また、制御部１３０は、「牛乳がもう無いよ」との音声テキストに基づいて、対象物品が牛乳であると判定する。
【００３９】
そして、制御部１３０は、抽出したキーワードと判定基準データとを照合することにより、抽出したキーワードに紐付けられた残量レベルを抽出する。具体的には、制御部１３０は、判定基準データテーブルを参照し、「もう無い」とのキーワードに紐付けられた残量レベルから、残量レベルが「必要レベル」であると判定する。
【００４０】
ステップＳ１３において、制御部１３０は、通知部１４０を介して、利用者に物品の購入（補充）の必要性を通知させる。具体的には、制御部１３０は、ステップＳ１２で判定された残量レベルに対応する通知を実行するための通知信号を通知部１４０に送信する。ここでは、制御部１３０は、ステップＳ１２で判定された残量レベルが「必要レベル」であるので、すぐに補充の必要がある旨の通知を実行するための通知信号を通知部１４０に送信する。通知部１４０には、各残量レベルに応じてメッセージが予め記憶されている。通知部１４０は、所定の時刻になると、制御部１３０から供給された通知信号に基づいて、「牛乳が切れています。買い物に行きましょう。」とのメッセージを、利用者端末２０に送信する。メッセージが送信される時刻は、適宜の時刻に設定することができ、例えば利用者が普段家を出る時刻や、普段買い物をする時刻に設定することができる。
【００４１】
このように、本実施形態に係る残量判定システム１においては、自動的に物品の残量（残量レベル）が判定される。したがって、利用者は、自ら物品の残量を管理する手間を省くことができる。また、残量レベルに応じた通知が利用者に対してなされるので、利用者は、物品の購入（補充）が今すぐ必要である、或いは次回の買い物時に購入しておく必要がある等、物品の購入が必要となる時期を把握することができる。
【００４２】
また、残量判定システム１においては、日々の生活における会話や独り言から物品の残量レベルを判定することができるので、わざわざ残量の入力を意識的に行わなくてもよい。したがって、残量の入力作業などの手間を減らすことができ、ひいては利用者の負担を軽減することができる。
【００４３】
また、本実施形態に係る残量判定システム１においては、利用者（本実施形態においては母親）が例えば外出中に利用者以外の家族が発した音声（例えば、父親と子供との会話、父親又は子供の独り言）からも残量判定を行うことができる。したがって、利用者は、ある物品の残量が少なくなっていた、或いは０になっていたことを認識していなかった場合でも、その旨を知ることが可能となる。
【００４４】
また、本実施形態に係る残量判定システム１においては、利用者自身（母親）が発した音声からも残量判定を行うことができる。利用者は、冷蔵庫を開けたときに、ある物品（食品）の残量が少なくなっている（或いは、０になっている）ことを一旦確認したとしても、時間が経過するとそのことを忘れてしまいがちである。しかしながら、残量判定システム１においては、所定の時刻（例えば、普段家を出る時刻、普段買い物する時刻など）に、物品の購入に関する通知がなされるように設定しておけば、買い忘れを防止することができる。
【００４５】
以上の如く、本実施形態に係る残量判定システム１は、音声を取得する音声取得装置１０（音声取得部）と、取得された前記音声を文字情報として認識する音声認識部１１０と、所定のキーワードと物品の残量を段階的に示す残量レベルとが互いに紐付けされた判定基準データを記憶する判定基準データ記憶部１２０と、前記音声認識部１１０によって認識された前記文字情報から前記所定のキーワードを抽出し、抽出した前記所定のキーワードと前記判定基準データとを照合することにより、物品の前記残量レベルを判定する制御部１３０（残量判定部）と、を具備するものである。
このように構成することにより、利用者の負担を軽減することができる。
【００４６】
また、本実施形態に係る残量判定システム１は、利用者に物品の補充の必要性を通知可能な通知部１４０を具備し、前記通知部１４０は、前記制御部１３０によって判定された前記残量レベルに応じた通知を行うものである。
このように構成することにより、利用者は、物品の補充が必要な時期の目安を把握することができる。
【００４７】
なお、本実施形態に係る音声取得装置１０は、音声取得部の実施の一形態である。
また、本実施形態に係る制御部１３０は、残量判定部の実施の一形態である。
【００４８】
以上、本発明の実施形態を説明したが、本発明は上記構成に限定されるものではなく、特許請求の範囲に記載された発明の範囲内で種々の変更が可能である。
【００４９】
例えば、本実施形態においては、通知部１４０は、利用者端末２０にメッセージを通知するものとしたが、通知の形態はこれに限定されるものではなく、購入する必要のある物品を載せた買い物リストを通知するようにしてもよい。また、残量判定システム１が例えば一般の通販アプリケーションと連携すると、通知部１４０が利用端末２０にメッセージと共に（又はメッセージの代わりに）購入する必要のある物品を載せた商品注文画面を表示させることもできる。このような構成により、利用者は、利用端末２０に表示された商品注文画面を用いて必要な物品を購入することができるため、必要な物品を買い忘れすることなく、適切なタイミングで購入することができる。
【００５０】
また、本実施形態においては、通知部１４０は、所定の時刻になると、利用者端末２０に通知を行うものとしたが、通知の形態はこれに限定されるものではなく、通知内容が所定の場所にアップロードされ、利用者が必要なときにアクセスできるようにしてもよい。
【００５１】
また、判定基準データのキーワードは、図２に示す判断基準データテーブルに記載したものに限定されるものではなく、他の様々なワードを含めることができる。また、音声認識部１１０で作成された音声テキストの履歴に基づいて、キーワードを追加及び修正することができるようにしてもよい。また、判定基準データ記憶部１２０は、他の家庭で使用される残量判定システム１と連動してキーワードを追加及び修正することができるようにしてもよい。また、本実施形態に係る残量判定システム１は、学習機能を備え、キーワードと実際の残量に相違があった場合は、補正をかけるようにしてもよい。
【００５２】
また、本実施形態においては、判定基準データの残量レベルは３段階としたが、残量レベルの段階数は、これに限定されるものではなく、適宜の数とすることができる。また、残量レベルの区分の基準も適宜のものとすることができる。
【００５３】
また、本実施形態においては、残量判定システム１は家庭で使用されるものとしたが、使用の形態はこれに限定されるものではなく、様々な場所（例えば、ホテルや飲食店）で使用可能である。
【００５４】
また、例えば「あれ」や「これ」などの代名詞が使われて（話されて）物品が不明確な場合は、利用者が残量判定システム１に物品名を入力するようにしてもよい。また、例えば制御部１３０が自然言語理解機能を有し、当該制御部１３０によって会話の意図に基づいて前記代名詞が指す物品が判定されてもよい。このような構成によれば、利用者が意識的に物品名を入力しなくとも、前記代名詞が指す物品の残量レベルを判定することができる。
【００５５】
また、本実施形態においては、家族の会話などの音声から残量を判定するものとしたが、もちろん、利用者が音声取得装置１０に向かって意識的に残量を音声入力してもよい。
【００５６】
また、図４に示すように、残量判定システム１は、音声認識による判定の補助として、さらに購入履歴データ取得部１５０を具備していてもよい。購入履歴データ取得部１５０は、利用者端末２０などを介して入力された購入履歴データ（物品の購入日の履歴を示すデータ）を取得及び蓄積する。そして、制御部１３０は、購入履歴データに基づいて、購入日から次回の購入日までの日数を算出する。制御部１３０は、算出した日数を平均化することで、物品の残量が閾値以下となる（例えば０となる）日（購入予定日）を予測する。これにより、音声認識による判定がなされない場合（例えば、物品の残量に関する会話がなされない場合）でも、購入の必要な日を知ることができる。なお、購入履歴データには、物品を購入した量（購入量）を含めることができ、購入量を考慮して購入予定日の予測が行われるようにしてもよい。
【００５７】
また、利用者の属性（家族人数、地域、収入など）を活用して、購入履歴データを取得及び蓄積してもよい。具体的には、属性が近い他の利用者とのマッチングを行い、マッチングした利用者の購入履歴データを購入日の予測に用いてもよい。これにより、予測の精度を向上させることができ、或いは初期のデータ未収集時にも購入予定日の予測が可能となる。
【００５８】
また、ＲＦＩＤタグを併用して、物品の管理空間（タグリーダーを設置した保管空間）からの物品の持ち出し回数（使用回数）を計数し、この使用回数を考慮して購入日を予測するようにしてもよい。具体的には、購入日のデータに加えて、購入日間の使用回数のデータを蓄積し、蓄積した購入日及び使用回数のデータに基づいて購入予定日を予測するようにしてもよい。これにより、より精度良く購入予定日の予測をすることができる。
【００５９】
以上の如く、本実施形態に係る残量判定システム１は、物品の購入履歴（補充履歴）を取得する購入履歴データ取得部１５０（補充履歴データ取得部）と、取得された前記購入履歴に基づいて、物品の残量が閾値以下となる時期を予測する制御部１３０（予測部）と、を具備するものである。
このように構成することにより、物品の購入（補充）が必要な時期を自動的に予測することができるので、利用者により有用なものとすることができる。
【００６０】
次に、図５を用いて、本発明の第二実施形態に係る残量判定システム２の構成の概要について説明する。
【００６１】
第二実施形態に係る残量判定システム２が、第一実施形態に係る残量判定システム１と異なる主な点は、サーバー１００に代えてサーバー２００を具備する点である。また、第二実施形態に係るサーバー２００が、第一実施形態に係るサーバー１００と異なる主な点は、個人識別部２１０をさらに具備する点である。よって以下では、第二実施形態に係る残量判定システム２のうち第一実施形態に係る残量判定システム１と同一の構成については、同一の符号を付して説明を省略する。
【００６２】
図５に示す如く、第二実施形態に係る残量判定システム２は、音声取得装置１０、利用者端末２０及びサーバー２００を具備する。サーバー２００は、音声認識部１１０、判定基準データ記憶部１２０、制御部１３０及び通知部１４０に加えて、個人識別部２１０を具備する。
【００６３】
個人識別部２１０は、音声取得装置１０によって取得された音声を発した個人を識別するものである。個人識別部２１０は、話者認識機能を用いて、音声取得装置１０によって取得された音声が誰の音声であるかを識別する。
【００６４】
次に、図６を参照して、本発明の第二実施形態に係る残量判定システム２の制御について説明する。
【００６５】
ステップＳ２０において、音声取得装置１０は、音声取得を行う（第一実施形態のステップＳ１０と同様）。ここでは、音声取得装置１０は、父親が話した「牛乳がもう無い」との音声、及び子供が話した「牛乳がまだ少しある」との音声を取得したとする。
【００６６】
ステップＳ２１において、音声認識部１１０は、音声認識を行う（第一実施形態のステップＳ１１と同様）。このステップにおいて、音声認識部１１０は、音声取得装置１０によって取得された「牛乳がもう無い」との音声及び「牛乳がまだ少しある」との音声をテキスト化して、それぞれ音声テキストを作成する。
【００６７】
ステップＳ２２において、個人識別部２１０は、音声取得装置１０によって取得された音声を発した個人を識別する。このステップにおいて、個人識別部２１０は、話者認識機能により、音声取得装置１０によって取得された「牛乳がもう無い」との音声が父親により発せられたものであり、「牛乳がまだ少しある」との音声が子供により発せされたものであると認識する。
【００６８】
ステップＳ２３において、制御部１３０は、ステップＳ２２の識別結果に基づいて、音声テキストを抽出する。このステップにおいて、制御部１３０は、音声認識部１１０によって作成された音声テキストの中から、特定の１以上の個人が発した音声の音声テキストを抽出する。ここでは、制御部１３０は、父親及び母親の音声テキストを抽出し、子供の音声テキストを抽出しないように設定されているとする。制御部１３０は、父親の「牛乳がもう無い」との音声テキストを抽出する。
【００６９】
ステップＳ２４において、制御部１３０は、ステップＳ２３で抽出した音声テキストを用いて、物品の残量レベルを判定する。このステップにおいて、制御部１３０は、父親の音声テキスト、及び判定基準データ記憶部１２０に記憶された判定基準データテーブルを用いて、物品の残量レベルを判定する。制御部１３０は、第一実施形態のステップＳ１２と同様に、判定基準データテーブルを参照し、「もう無い」とのキーワードに紐付けられた残量レベルから、残量レベルが「必要レベル」であると判定する。
【００７０】
ステップＳ２５において、制御部１３０は、通知部１４０を介して、利用者に物品の補充の必要性を通知させる（第一実施形態のステップＳ１３と同様）。通知部１４０は、所定の時刻になると、すぐに牛乳を購入する必要がある旨を伝えるメッセージを、利用者端末２０に送信する。
【００７１】
このように、第二実施形態においては、特定の個人が発した音声の音声テキストを用いて残量レベルの判定を行うので、残量レベルの判定の信頼性を向上させることができる。具体的には、第二実施形態においては、父親（及び母親）の音声のみを判定の材料とし、子供の音声を判定の材料から除外することで、子供がいたずらで実際の残量と異なる残量を言った場合に、誤った判定がなされるのを防止することができる。また、子供がまだ幼い等により残量を正確に理解できない場合にも、誤った判定がなされるのを防止することができる。
【００７２】
以上の如く、第二実施形態に係る残量判定システム２は、取得された前記音声を発した個人を識別する個人識別部２１０を具備し、前記制御部１３０は、前記個人識別部２１０の識別結果に基づいて抽出された、特定の１以上の個人が発した音声を用いて、前記残量レベルを判定するものである。
このように構成することにより、残量レベルを判定するための音声を特定の人の音声に限定することができる。これにより、残量レベルの判定の信頼性を向上させることができる。
【００７３】
次に、図７及び図８を用いて、本発明の第三実施形態に係る残量判定システム２の制御について説明する。なお、第三実施形態に係る残量判定システム２の構成は、第二実施形態と同様である。また、第三実施形態に係る残量判定システム２の制御は、図７に示すＳ３０からＳ３５までにより構成されるが、ステップＳ３０からＳ３２及びＳ３５はそれぞれ、第二実施形態のステップＳ２０からＳ２２及びＳ２５と同様の内容であるので、ここでは説明を省略する。
【００７４】
ステップＳ３３において、制御部１３０は、ステップＳ３２で識別された個人の判断基準データテーブルを抽出する。
【００７５】
図８に示すように、第三実施形態において判定基準データ記憶部１２０は、個人別に判定基準データテーブルを有している。各判定基準データテーブルにおいては、残量レベルと所定のキーワードとの紐付けが異なっている。例えば、父親用判定基準データテーブルにおいては、「買ってきて」とのキーワードに対して紐付けられた残量レベルは、「必要レベル」である（図８（ｂ）参照）。一方、子供用判定基準データテーブルにおいては、「買ってきて」とのキーワードに対して紐付けられた残量レベルは、「許容レベル」である（図８（ｃ）参照）。
【００７６】
また、各判定基準データテーブルにおいては、規定されるキーワードが異なっている。例えば、「買いに行かないと」とのキーワードは、母親用判定基準データテーブルには含まれているが、父親用判定基準データテーブル及び子供用判定基準データテーブルには含まれていない。一方、「買ってきて」とのキーワードは、父親用判定基準データテーブル及び子供用判定基準データテーブルには含まれているが、母親用判定基準データテーブルには含まれていない。
【００７７】
制御部１３０は、例えば音声テキストが母親のものである場合は、母親用判断基準データテーブルを抽出する。
【００７８】
ステップＳ３４において、制御部１３０は、ステップＳ３３で抽出した判断基準データテーブルを用いて、物品の残量レベルを判定する。このステップにおいて、制御部１３０は、音声認識部１１０で作成された音声テキスト、及び抽出した判定基準データテーブルを用いて、物品の残量レベルを判定する。
【００７９】
このように、第三実施形態においては、個人ごとに用意された、残量レベルとキーワードとの紐付けが異なる判断基準データテーブルを用いて、残量レベルの判定を行う。例えば、「買ってきて」という言葉について、父親は残量が０になったときに言う、子供は残量が半分になってから言う等、人によって残量に対するとらえ方は様々である。第三実施形態においては、このような人の残量に対するとらえ方の違いを考慮して物品の残量レベルを判定することができるので、残量レベルの判定の精度を向上させることができる。
【００８０】
また、第三実施形態においては、各判断基準データテーブルごとに、規定するキーワードが異なっている。よって、個人の言い回しを考慮したキーワードや、家庭での役割に応じたキーワードを規定することができる。したがって、残量に関連するキーワードの漏れを減少させることができる。
【００８１】
以上の如く、第三実施形態に係る残量判定システム２は、取得された前記音声を発した個人を識別する個人識別部２１０を具備し、前記判定基準データは、前記所定のキーワードと前記残量レベルとが個人ごとに互いに紐付けされており、前記制御部１３０は、前記個人識別部２１０によって識別された個人の前記判定基準データを抽出し、抽出した前記判定基準データを用いて前記残量レベルを判定するものである。
このように構成することにより、人の残量に対するとらえ方の違いを考慮して物品の残量レベルを判定することができるので、残量レベルの判定の精度を向上させることができる。
【００８２】
次に、図９を用いて、本発明の第四実施形態に係る残量判定システム３の構成の概要について説明する。
【００８３】
第四実施形態に係る残量判定システム３が、第一実施形態に係る残量判定システム１と異なる主な点は、画像撮影装置３０をさらに具備する点である。よって以下では、第四実施形態に係る残量判定システム３のうち第一実施形態に係る残量判定システム１と同一の構成については、同一の符号を付して説明を省略する。
【００８４】
第四実施形態に係る残量判定システム３は、画像認識及び音声認識の両方を用いて物品の在庫を管理するシステムである。残量判定システム３は、音声取得装置１０、利用者端末２０、画像撮影装置３０及びサーバー１００を具備する。
【００８５】
画像撮影装置３０は、物品の画像を取得するものである。画像撮影装置３０は、物品の画像を取得可能な位置に配置され、例えば冷蔵庫の中に配置される。
【００８６】
次に、図１０を参照して、本発明の第四実施形態に係る残量判定システム３の制御について説明する。なお、第四実施形態に係る残量判定システム３の制御は、図１０に示すＳ４０からＳ４４までにより構成されるが、ステップＳ４０からＳ４２はそれぞれ、第一実施形態のステップＳ１０からＳ１２と同様の内容であるので、ここでは説明を省略する。
【００８７】
ステップＳ４３において、制御部１３０は、画像撮影装置３０によって取得された画像を画像データとして認識する。制御部１３０は、画像認識機能によって、画像に映っている物品及び物品の個数や在庫期間などを判定する。そして、制御部１３０は、判定された物品の個数（及び在庫期間）と、ステップＳ４２で判定された残量レベルとを、互いに紐付けて記憶する。
【００８８】
ステップＳ４４において、制御部１３０は、物品の個数及び残量に応じた通知を、通知部１４０を介して、利用者端末２０に対して行う。
【００８９】
例えば紙パックの牛乳の場合、従来の画像認識による在庫管理では、個数は判定できても紙パックの中の残量は判定できない。第四実施形態に係る残量判定システム３においては、画像認識による残量管理と音声認識による残量管理とを組み合せることにより、画像認識では把握できない物品の残量をも判定することができるので、より細やかな在庫管理を行うことができる。
【００９０】
以上の如く、第四実施形態に係る残量判定システム３は、物品の画像を取得する画像撮影装置３０（画像取得部）と、取得された前記画像に基づいて物品の個数を判定し、判定された物品の前記個数と前記残量判定部によって判定された当該物品の前記残量レベルとを互いに紐付けて記憶する制御部１３０（在庫管理部）と、を具備するものである。
このように構成することにより、物品の個数と残量レベルの両方を把握することで、物品の在庫を精度良く管理することができる。
【００９１】
なお、第四実施形態に係る画像撮影装置３０は、画像取得部の実施の一形態である。
また、第四実施形態に係る制御部１３０は、在庫管理部の実施の一形態である。
【符号の説明】
【００９２】
１，２，３  残量判定システム
１０        音声取得装置
３０        画像撮影装置
１１０      音声認識部
１２０      判定基準データ記憶部
１３０      制御部
１４０      通知部
１５０      購入履歴データ取得部
２１０      個人識別部
【図１】
2018026022.tif 000003
【図２】
2018026022.tif 000004
【図３】
2018026022.tif 000005
【図４】
2018026022.tif 000006
【図５】
2018026022.tif 000007
【図６】
2018026022.tif 000008
【図７】
2018026022.tif 000009
【図８】
2018026022.tif 000010
【図９】
2018026022.tif 000011
【図１０】
2018026022.tif 000012