(57)【特許請求の範囲】
【請求項１】
調理前の食材を撮影して食材画像データを得る食材撮影手段と、前記食材を計量して食材重量データを得る食材計量手段と、前記食材画像データに基づいて、前記食材の種類を推定する食材種類推定手段と、前記食材の種類と、前記食材重量データに基いて、前記食材に含まれる栄養素量を算出する栄養素量算出手段と、を具備し、
前記食材撮影手段は、前記食材計量手段で計量される前記食材重量データの変動が一定未満となったら、前記食材を撮影し、
前記食材計量手段は、一定間隔で前記食材を計量することで前記食材重量データを取得し、
前記食材撮影手段は、直前に計量された複数回における前記食材重量データの標準偏差が一定未満の場合に、前記食材を撮影することを特徴とする栄養素量算出装置。
【請求項２】
調理前の食材を撮影して食材画像データを得る食材撮影手段と、前記食材を計量して食材重量データを得る食材計量手段と、前記食材画像データに基づいて、前記食材の種類を推定する食材種類推定手段と、前記食材の種類と、前記食材重量データに基いて、前記食材に含まれる栄養素量を算出する栄養素量算出手段と、を具備し、
前記食材撮影手段は、前記食材計量手段で計量される前記食材重量データの変動が一定未満となったら、前記食材を撮影し、
前記食材撮影手段は、前記食材重量データが前回撮影時と異なる場合に前記食材を撮影することで、前記食材計量手段に順次載置される前記食材を、前記食材が載置される度に撮影することを特徴とする栄養素量算出装置。
【請求項３】
前記食材撮影手段は、前記食材計量手段に載置された前記食材の重量が確定してから一定期間後に、前記食材を撮影することを特徴とする請求項１または請求項２に記載の栄養素量算出装置。
【請求項４】
前記食材種類推定手段は、前記食材画像データから画像特徴量を算出し、前記画像特徴
量と前記食材の種類とが対応づけてリスト化された食材リストから、前記画像特徴量が近
い前記食材を選択し、
前記栄養素量算出手段は、選択された前記食材の単位量当たりの栄養素量と、前記食材重量データとを乗算することで前記食材の栄養素量を算出することを特徴とする請求項１から請求項３の何れかに記載の栄養素量算出装置。
【請求項５】
前記食材種類推定手段で選択された、前記食材の種類と前記画像特徴量とを、前記食材
リストに追加することを特徴とする請求項４に記載の栄養素量算出装置。
【請求項６】
前記食材撮影手段は、前記食材計量手段に順次載置される前記食材を、前記食材が載置
される度に撮影することで、複数の前記食材画像データを取得し、
前記食材種類推定手段は、最新の前記食材画像データと、前回に撮影した前記食材画像
データとの差分を取ることで、新たに追加された前記食材の画像部分を特定し、前記画像
部分から前記画像特徴量を算出することを特徴とする請求項４に記載の栄養素量算出装置。
【請求項７】
前記食材種類推定手段および前記栄養素量算出手段は、携帯端末の機能として実現され
ることを特徴とする請求項１から請求項６の何れかに記載の栄養素量算出装置。
【請求項８】
請求項１から請求項７の何れかに記載の栄養素量算出装置を備えたことを特徴とする冷
蔵庫。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者が料理に使用する食材の栄養素の量を算出する栄養素量算出装置およびそれを備えた冷蔵庫に関する。
【背景技術】
【０００２】
使用者が摂取する食材や料理の栄養素量を算出することは、健康管理や体調維持のために重要である。料理の栄養素量は、料理に用いられる食材の種類および量により決定されることから、食材の情報を基に料理の栄養素量を算出することは可能である。具体的には、食材の重量を計量し、その重量に食材の単位量当たりの栄養素量を乗算することで、その食材の総栄養素量が算出できる。しかしながら、使用者が料理を作る度にこの算出作業を行うことは煩雑であった。
【０００３】
下記特許文献１に食材のカロリーを自動的に算出できるカロリー算出装置が記載されている。具体的には、図１および〔００１１〕−〔００２１〕等を参照して、ここでのカロリー算出装置１は、測定部２０、重量検出部３０、および制御部７０を有して構成されている。また、測定部２０は分析対象物Ｓに含まれる水分を測定し、重量検出部３０は、分析対象物Ｓの重量を測定している。制御部７０は、測定部の測定結果および重量検出部の測定結果を用いて分析対象物Ｓのカロリーを算出している。これにより、例えば食品である分析対象物Ｓのカロリーを計測できる効果が得られている。
【先行技術文献】
【特許文献】
【０００４】
特開２０１４−１２６５５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した特許文献１に記載された発明では、カロリーの算出方法を簡易化する観点から改善の余地があった。具体的には、カロリーを算出するために測定部を動作させるためには、使用者が別途に設けられている操作部を操作する必要があった。また、通常の調理では複数の食材を使用するが、かかるカロリー算出装置では、食材毎にカロリーを算出するための作業を必要としていた。
【０００６】
更に、特許文献１に記載されたカロリー算出装置では、解析対象物Ｓの水分比率に基いて分析対象物Ｓのカロリーを算出している。しかしながら、赤外線等を用いた解析方法では解析対象物の表面の状態を解析することは可能であるものの、内部の状態を解析することは困難であるため、その種類を特定することが難しい。よって、解析対象物Ｓのカロリーを適切に解析することが困難な場合が予想される。
【０００７】
更にまた、特許文献１では、食材に含まれるタンパク質、炭水化物等の重量から総カロリーを算出していたが、これらに加えて、ビタミンなどの無機質等の栄養素の量を推定できれば、使用者の利便性を更に向上することができる。
【０００８】
本発明の目的は、簡便な操作で使用者が料理に使用する食材の栄養素量を推定する栄養素量算出装置およびそれを具備する冷蔵庫を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の栄養素量算出装置は、調理前の食材を撮影して食材画像データを得る食材撮影手段と、前記食材を計量して食材重量データを得る食材計量手段と、前記食材画像データに基づいて、前記食材の種類を推定する食材種類推定手段と、前記食材の種類と、前記食材重量データに基いて、前記食材に含まれる栄養素量を算出する栄養素量算出手段と、を具備し、前記食材撮影手段は、前記食材計量手段で計量される前記食材重量データの変動が一定未満となったら、前記食材を撮影し、前記食材計量手段は、一定間隔で前記食材を計量することで前記食材重量データを取得し、前記食材撮影手段は、直前に計量された複数回における前記食材重量データの標準偏差が一定未満の場合に、前記食材を撮影することを特徴とする。
【００１０】
更に、本発明の栄養素量算出装置は、調理前の食材を撮影して食材画像データを得る食材撮影手段と、前記食材を計量して食材重量データを得る食材計量手段と、前記食材画像データに基づいて、前記食材の種類を推定する食材種類推定手段と、前記食材の種類と、前記食材重量データに基いて、前記食材に含まれる栄養素量を算出する栄養素量算出手段と、を具備し、前記食材撮影手段は、前記食材計量手段で計量される前記食材重量データの変動が一定未満となったら、前記食材を撮影し、前記食材撮影手段は、前記食材重量データが前回撮影時と異なる場合に前記食材を撮影することで、前記食材計量手段に順次載置される前記食材を、前記食材が載置される度に撮影することを特徴とする。
【００１１】
更に本発明の栄養素量算出装置は、前記食材撮影手段は、前記食材計量手段に載置された前記食材の重量が確定してから一定期間後に、前記食材を撮影することを特徴とする。
【００１２】
更に本発明の栄養素量算出装置は、前記食材種類推定手段は、前記食材画像データから画像特徴量を算出し、前記画像特徴量と前記食材の種類とが対応づけてリスト化された食材リストから、前記画像特徴量が近い前記食材を選択し、前記栄養素量算出手段は、選択された前記食材の単位量当たりの栄養素量と、前記食材重量データとを乗算することで前記食材の栄養素量を算出することを特徴とする。
【００１３】
更に本発明の栄養素量算出装置は、前記食材種類推定手段で選択された、前記食材の種類と前記画像特徴量とを、前記食材リストに追加することを特徴とする。
【００１４】
更に本発明の栄養素量算出装置は、前記食材撮影手段は、前記食材計量手段に順次載置される前記食材を、前記食材が載置される度に撮影することで、複数の前記食材画像データを取得し、前記食材種類推定手段は、最新の前記食材画像データと、前回に撮影した前記食材画像データとの差分を取ることで、新たに追加された前記食材の画像部分を特定し、前記画像部分から前記画像特徴量を算出することを特徴とする。
【００１５】
更に本発明の栄養素量算出装置は、前記食材種類推定手段および前記栄養素量算出手段は、携帯端末の機能として実現されることを特徴とする。
【００１６】
更に本発明の冷蔵庫は、上記した栄養素量算出装置を備えたことを特徴とする。
【発明の効果】
【００１７】
本発明の栄養素量算出装置は、調理前の食材を撮影して食材画像データを得る食材撮影手段と、前記食材を計量して食材重量データを得る食材計量手段と、前記食材画像データに基づいて、前記食材の種類を推定する食材種類推定手段と、前記食材の種類と、前記食材重量データに基いて、前記食材に含まれる栄養素量を算出する栄養素量算出手段と、を具備し、前記食材撮影手段は、前記食材計量手段で計量される前記食材重量データの変動が一定未満となったら、前記食材を撮影し、前記食材計量手段は、一定間隔で前記食材を計量することで前記食材重量データを取得し、前記食材撮影手段は、直前に計量された複数回における前記食材重量データの標準偏差が一定未満の場合に、前記食材を撮影することを特徴とする。従って、食材撮影手段を用いて、より安定化した状態で食材を撮影することが可能となる。
【００１８】
更に、本発明の栄養素量算出装置は、調理前の食材を撮影して食材画像データを得る食材撮影手段と、前記食材を計量して食材重量データを得る食材計量手段と、前記食材画像データに基づいて、前記食材の種類を推定する食材種類推定手段と、前記食材の種類と、前記食材重量データに基いて、前記食材に含まれる栄養素量を算出する栄養素量算出手段と、を具備し、前記食材撮影手段は、前記食材計量手段で計量される前記食材重量データの変動が一定未満となったら、前記食材を撮影し、前記食材撮影手段は、前記食材重量データが前回撮影時と異なる場合に前記食材を撮影することで、前記食材計量手段に順次載置される前記食材を、前記食材が載置される度に撮影することを特徴とする。従って、使用者が撮影のための特段の操作をせずとも、食材の画像データを逐次的に撮影することが出来る。
【００１９】
更に本発明の栄養素量算出装置は、前記食材撮影手段は、前記食材計量手段に載置された前記食材の重量が確定してから一定期間後に、前記食材を撮影することを特徴とする。従って、食材を操作する使用者の手などが誤って食材画像データに写り込むことが防止される。
【００２０】
更に本発明の栄養素量算出装置は、前記食材種類推定手段は、前記食材画像データから画像特徴量を算出し、前記画像特徴量と前記食材の種類とが対応づけてリスト化された食材リストから、前記画像特徴量が近い前記食材を選択し、前記栄養素量算出手段は、選択された前記食材の単位量当たりの栄養素量と、前記食材重量データとを乗算することで前記食材の栄養素量を算出することを特徴とする。従って、画像の色彩等から算出される画像特徴量を用いて食材の種類を特定するため、使用者が食材の名称等を入力せずとも、食材の種類を簡易に特定することが可能となる。
【００２１】
更に本発明の栄養素量算出装置は、前記食材種類推定手段で選択された、前記食材の種類と前記画像特徴量とを、前記食材リストに追加することを特徴とする。従って、次回の検索から用いられる食材リストの数が増大するので、その後の画像特徴量に基づいた食材種類の推定精度を向上することが出来る。
【００２２】
更に本発明の栄養素量算出装置は、前記食材撮影手段は、前記食材計量手段に順次載置される前記食材を、前記食材が載置される度に撮影することで、複数の前記食材画像データを取得し、前記食材種類推定手段は、最新の前記食材画像データと、前回に撮影した前記食材画像データとの差分を取ることで、新たに追加された前記食材の画像部分を特定し、前記画像部分から前記画像特徴量を算出することを特徴とする。従って、食材が撮影された部分のみの画像データを用いて食材の画像特徴量を算出するので、より正確に画像特徴量を算出して、食材の種類を連続的に推定する精度を向上することが出来る。
【００２３】
更に本発明の栄養素量算出装置は、前記食材種類推定手段および前記栄養素量算出手段は、携帯端末の機能として実現されることを特徴とする。従って、携帯端末を介して電話通信回線に接続し、サーバーに蓄積された情報を利用することで、上記した食材の種類を推定する精度を向上することが出来る。
【００２４】
更に本発明の冷蔵庫は、上記した栄養素量算出装置を備えたことを特徴とする。従って、食材が貯蔵される冷蔵庫に、食材の栄養素量を算出する機能を持たせることで、冷蔵庫を利用する使用者の利便性を向上することが出来る。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の実施の形態にかかる栄養素量算出装置を示す模式図である。
【図２】本発明の第１の実施の形態にかかる栄養素量算出装置を用いて栄養素量を算出する方法を示すフローチャートである。
【図３】本発明の第１の実施の形態にかかる栄養素量算出装置を用いて栄養素量を算出する方法を示すフローチャートである。
【図４】本発明の第１の実施の形態にかかる栄養素量算出装置を用いて栄養素量を算出する方法において、画像データから食材の種類を推定する方法を示す図である。
【図５】本発明の第２の実施の形態にかかる栄養素量算出装置を示す図であり、（Ａ）は栄養素量算出装置の構成を示すブロック図であり、（Ｂ）は使用されるデータ構成を示すブロック図である。
【図６】（Ａ）は本発明の第２の実施の形態にかかる栄養素量算出装置の構成を示す斜視図であり、（Ｂ）は冷蔵庫を示す斜視図である。
【図７】本発明の第２の実施の形態にかかる栄養素量算出装置で料理の栄養素量を算出する方法を示すフローチャートである。
【図８】本発明の第２の実施の形態にかかる栄養素量算出装置で料理の栄養素量を算出する方法を示すフローチャートである。
【発明を実施するための形態】
【００２６】
＜第１の実施の形態＞
以下、本形態に係る栄養素量算出装置１０を説明する。
【００２７】
図１に栄養素量算出装置１０の構成を説明する。栄養素量算出装置１０は、調理前の食材１６を計量すると共にその撮影を行う測定器１２と、測定器１２から入力される情報を基にその食材種類の推定および栄養素量の算出を行う携帯端末２４と、を備えている。栄養素量算出装置１０の主たる機能は、測定器１２に載置された食材１６に含まれる栄養素量を算出し、その算出結果を使用者に提示することにある。従って、使用者は、料理前の食材１６を測定器１２に載置することで、その食材１６の栄養素量を容易に知ることが出来る。本形態で、栄養素とは、例えば、カロリー、塩分等の無機質、ビタミン、タンパク質、炭水化物、脂肪等を含む。
【００２８】
また、本形態の栄養素量算出装置１０は、上記した測定器１２および携帯端末２４に加えて、サーバー２８を含んでも良い。この場合は、携帯端末２４または測定器１２は、インターネット等の通信網を経由して、サーバー２８に接続される。そして、食材１６を撮影した食材画像データ、この食材１６の種類（食材名）を示す食材ＩＤ、その食材１６の重量を示す食材重量データ、は携帯端末２４からサーバー２８に送信される。また、サーバー２８では、多数の使用者の携帯端末２４から送信されたこれらのデータを蓄積および解析し、その解析結果に基づく解析情報を携帯端末２４にフィードバックすることで、食材１６を撮影した食材画像データから、その食材１６の種類を推定する精度を向上することが可能となる。
【００２９】
測定器１２は、計量部１４（食材計量手段）と、計量部１４の上方に配置された撮像部１８（食材撮影手段）および照明部２０と、計量部１４と接続された制御部２２と、を主要に備えている。
【００３０】
計量部１４は、所謂電子天秤であり、その上面に載置された食材１６の重量を示す電気信号を制御部２２に伝達する。計量部１４の上面の色は、載置される食材１６の外縁を明瞭化するために、一般的な食材の色とは異なる色が採用される。本形態では、計量部１４で計量される食材重量データに基づいて、食材１６の栄養素量を算出するので、食材画像データのみから算出する場合と比較すると、栄養素量を正確に算出することが出来る。
【００３１】
撮像部１８は、例えばＣＣＤ等の撮像素子から成り、計量部１４の上方に配置されている。撮像部１８は、食材１６が載置された計量部１４を上方から撮影することで、食材画像データを得る。得られた食材画像データは、制御部２２に伝送される。撮像部１８が食材１６を撮影する際には、撮像部１８と計量部１４との相対的な位置は固定されている。従って、計量部１４の上面に載置された食材１６を安定して撮影することが可能となる。本形態では、撮像部１８で食材画像データを取得するタイミングは、計量部１４の出力に基づいて決定しているが、係る事項は図２等を参照して後述する。
【００３２】
照明部２０は、例えばＬＥＤから成り、計量部１４の上方であって撮像部１８の近傍に配置されている。照明部２０は、撮像部１８が食材１６を撮影する際に、食材１６に向けて発光する機能を有する。照明部２０の、撮像部１８および計量部１４に対する相対的位置が固定されていることで、食材１６を撮影する際の条件を同一にし、取得される食材画像データを用いて食材１６の種類を推定する際の精度を向上させることが出来る。
【００３３】
制御部２２は、所定の制御プログラムがインストールされており、上記した食材画像データおよび食材重量データが入力されると共に、撮像部１８、照明部２０の動作を制御する機能を有する。また、制御部２２は、測定器１２の近傍に配置された携帯端末２４と通信する機能も有する。制御部２２と携帯端末２４とは、有線接続されても良いし無線接続されても良い。無線接続される場合は、例えば、Ｗｉ−Ｆｉ規格のデータ通信を採用することが出来る。
【００３４】
携帯端末２４は、例えば使用者が所有するスマートフォンであり、上記した測定器１２を制御するためのアプリケーションがインストールされている。携帯端末２４には、例えばタッチパネルである表示部２６が備えられており、上記した撮像部１８で撮影した食材画像データを表示部２６に表示することが出来る。また、表示部２６を操作することによって、後述するように、食材１６の種類を特定することも出来る。携帯端末２４には、栄養素量算出手段、食材種類推定手段であるプログラムが、予めそれぞれ格納されている。
【００３５】
本形態では、使用者は、測定器１２とは別体の携帯端末２４を操作して、食材１６の栄養素量を推定しているが、両者の機能を統合しても良い。即ち、測定器１２にタッチパネル等の操作部を設け、その操作部を使用者が操作することで食材１６の選択などをするようにしても良い。
【００３６】
次に、図２に基づいて、上記した図１も参照しつつ、上述した栄養素量算出装置１０を用いて食材１６の栄養素量を算出する方法を説明する。ここで、以下に述べるステップＳ１１からステップＳ１３、ステップＳ１６からステップＳ２１までの各ステップは、上記した測定器１２で行われる。一方、ステップＳ１４からステップＳ１５、ステップＳ２２からステップＳ３６は、携帯端末２４で行われる。
【００３７】
先ず、食材１６の栄養素量を算出するために、使用者が測定器１２の電源を入れる（ステップＳ１０、Ｓ１１）。次に、計量部１４から重量に関する情報である初期重量データを取得し、初期値（０ｇ）として制御部２２に記録する（ステップＳ１２）。その後、上面に食材１６が載置されていない状態の計量部１４を、撮像部１８で撮影する（ステップＳ１３）。撮影された初期の食材画像データは、初期値として制御部２２に保存される。
【００３８】
ここで、測定器１２の周囲の照度が不足するなどの場合は、計量部１４の上面を鮮明に撮影する為に、撮像部１８で計量部１４を撮影する際に、照明部２０で計量部１４を照射しても良い。係る場合は、撮影条件を均一化するために、後述するステップで食材１６の食材画像データを撮影する際にも照明部２０による照射が行われる。
【００３９】
次に、スマートフォンである携帯端末２４で専用のアプリケーションを起動した後に、Ｗｉ−Ｆｉ規格による無線接続などを用いて、測定器１２と携帯端末２４とを接続する（ステップＳ１４）。そして、そのアプリケーションが、上記したステップで得られた初期の食材重量データおよび初期の食材画像データを、測定器１２から取得する（ステップＳ１５）。
【００４０】
その後、測定器１２の計量部１４の上面に、調理予定の食材１６を載置する（ステップＳ１６）。計量部１４で計測された食材重量データは制御部２２に逐次伝達されているが、食材１６が計量部１４に載置された直後では、計量部１４で計測される食材重量データの値は安定していない。よって、本形態では食材重量データの値が一定値になるまで待つ（ステップＳ１７）。更に本形態では、食材を取り扱う使用者の手が食材画像データに写り込んでしまう結果、食材１６を推定する精度が低下することを抑制するために、ステップＳ１７にて計量部１４で計量される食材重量データが安定した後に、更に一定時間撮影を待機するようにしている（ステップＳ１８）。
【００４１】
上記した一定時間が経過したら、その時に計量部１４が計測する食材１６の食材重量データを制御部２２に記録すると共に、撮像部１８で上方から食材１６を撮影することで食材画像データを得る（ステップＳ１９、Ｓ２０）。その後、取得した食材重量データと食材画像データを、測定器１２から携帯端末２４に送信する（ステップＳ２１）。
【００４２】
以下のステップでは、携帯端末２４で、送信された食材画像データおよび食材重量データを基に、その食材１６の種類および栄養素量を算出する。
【００４３】
具体的には、先ず、前回受信した食材重量データの値との差分を取る（ステップＳ２２）。即ち、１回目の食材１６を計量する場合は、１回目の食材１６を載置した場合の食材重量データの値から、食材１６が載置されていない状態、即ち０ｇを減算する。また、２回目の食材１６を計量する場合は、２回目の食材１６を載置した場合の食材重量データの値から、１回目の食材１６を載置した場合の食材重量データの値を減算する。
【００４４】
係る事項を、図４を参照して詳述する。図４では、３つの食材Ａ、Ｂ、Ｃを順次計量および撮影した場合の画像処理等の状況を模式的に示している。最初に食材Ａを計量部１４に載置して計測された重量Ｘｇは、そのまま食材Ａの食材重量データとしてその後の処理で用いられる。次に食材Ｂが計量部１４に載置された場合には、Ｙｇが計測されるが、（Ｙ−Ｘ）ｇが食材Ｂの食材重量データとされる。また、更に食材Ｃが計量部１４に載置された場合には、Ｚｇが計測されるが、（Ｚ−Ｙ−Ｘ）ｇが食材Ｂの食材重量データとされる。
【００４５】
次に、前回撮影した食材画像データとの差分を取ることにより、更新された画像部分を新たに追加された食材１６の画像として利用する（ステップＳ２３、Ｓ２４）。
【００４６】
係る事項を、図４を参照して説明する。例えば、最初に食材Ａを計量部１４に載置された食材画像データ３０を取得し、食材が載置されていない食材画像データ（ここでは図示せず）との差分から、食材Ａの画像部分が分離された食材画像データ３２を生成する。その後に、更に食材Ｂを載置して食材画像データ３６を取得した場合は、食材画像データ３０と食材画像データ３６との差分を取ることで、食材Ｂの画像部分が分離された食材画像データ３８が生成される。更に、更に食材Ｃを載置して食材画像データ４２を取得した場合は、食材画像データ３６と食材画像データ４２との差分を取ることで、食材Ｃの画像部分が分離された食材画像データ４４が生成される。
【００４７】
次に、画像特徴量を算出する（ステップＳ２５）。具体的には、上記のように生成された画像部分の色彩や粗度を基に、その画像部分の特徴を数値化した画像特徴量を算出する。そして、「過去に選択された食材リスト」および事前学習データの中から画像特徴量が近いものを検索する（ステップＳ２６）。この「過去に選択された食材リスト」では、過去に選択された食材１６の種類を示す食材ＩＤと、その画像特徴量とを対応づけてリスト化されている。また、事前学習データは、携帯端末２４のアプリケーションの出荷時に予め入力されているもので、食材ＩＤと、その画像特徴量とを対応づけてリスト化されたものである。以下の説明では、「過去に選択された食材リスト」および事前学習データを、食材リストと総称する場合もある。そして、ステップＳ２５で算出した画像特徴量と、画像特徴量が近い食材を、この食材リストの中から検索する（ステップＳ２６）。
【００４８】
ステップＳ２７では、食材リストの中から、検索対象となる食材と画像特徴量が近い上位複数の候補食材を、携帯端末２４の表示部２６に表示する。ここで、候補食材を表示部２６に表示する場合は、食材名を表示しても良いし、食材を模した画像を表示しても良い。
【００４９】
ここで、原理的には食材リストの中から、最も画像特徴量が近い食材を、検索対象の食材として採用することも可能である。本形態では、後述するように、食材リストから画像特徴量が近い食材を複数選び、その複数の食材から検索対象食材を使用者が選択することで、食材１６を推定する精度を向上させている。
【００５０】
表示部２６に表示された食材の中に、検索対象食材が存在する場合は（ステップＳ２８のＹＥＳ）、タッチパネルである表示部２６を使用者が操作するなどして、正解の食材を選択する（ステップＳ２９）。この時、図４の下部に示すように、選択された食材を示す食材画像データ３４、４０、４６を表示部２６に表示しても良い。
【００５１】
また、選択された食材１６に対応する食材ＩＤと、その食材１６の画像特徴量とを対応づけて、「過去に選択された食材リスト」に追加する（ステップＳ３０）。これにより、今回の検索結果を、次回からの食材の候補検索で利用することが出来るので、候補検索の精度を向上させることが出来る。即ち、「過去に選択された食材リスト」を、使用者の生活習慣に則して学習させることが出来る。
【００５２】
一方、ステップＳ２８で表示された食材候補に、正解の食材が存在しない場合（ステップＳ２８のＮＯ）は、使用者が携帯端末２４に食材１６をテキスト入力し、入力された食材名と同名の食材を、食材マスタから検索する（ステップＳ３１）。ここで、食材マスタとは、食材ＩＤと、その食材の栄養素量とを対応させてリスト化したものである。入力されたテキストに基づく検索結果は、携帯端末２４の表示部２６に表示される（ステップＳ３２）。
【００５３】
その後、使用者は、表示された食材の中から、正解の食材を選択する（ステップＳ３３）。選択された食材１６を示す食材ＩＤとその画像特徴量は、上記したステップＳ３０と同様に、関連づけされて記録される（ステップＳ３４）。
【００５４】
次に、上記したステップで特定された食材１６の種類およびその重量を用いて、食材１６の栄養素量を算出する（ステップＳ３５）。具体的には、上記した食材マスタに含まれる食材ＩＤに紐付く単位量あたりの栄養素量に、食材１６の重量を乗算することにより、食材１６に含まれる栄養素量を算出する。ここで上記したように、本形態における栄養素量には、カロリー、塩分等の無機質、ビタミン、タンパク質、炭水化物、脂肪等を含む。また、積算された栄養素量は、携帯端末２４の表示部２６に表示される（ステップＳ３６）。これより、使用者は、測定器１２に載置された食材１６に含まれる全ての栄養素量を知ることが出来る。
【００５５】
上記したステップＳ１６からステップＳ３６までの各ステップは、使用者が用意する各食材１６に対して行われる（ステップＳ３７）。
【００５６】
次に、図３を参照して、食材１６を計量部１４に載置した後に、それを撮影するステップＳ１６からステップＳ２１を、以下に詳述する。
【００５７】
先ず、食材１６が計量部１４に載置された後に、測定器１２の制御部２２は、計量部１４から食材１６の重量を示す食材重量データを取得する（ステップＳ５０）。この食材重量データの取得は、一定間隔で連続して行われ、例えば、０．１秒間隔で連続して行われる。本形態では、連続して取得される食材重量データに対して、以下のステップを適用することで、安定した状態で食材画像データが取得され、その食材画像データを使用して食材種類の推定精度を向上することが出来る。
【００５８】
次に、後述する演算処理を可能とするために、アナログデータである食材重量データをデジタルデータに変換する（ステップＳ５１）。次に、ｔ回目のループに於いて直前５回の食材重量データの平均値ｗ（ｔ）を求める（ステップＳ５２）。例えば、その食材重量データが５回目に測定されたものであれば、１回目から５回目までの食材重量データの平均値を算出する。更に、この直前５回の食材重量データを用いて、直前５回の食材重量データの標準偏差α（ｔ）を算出する（ステップＳ５３）。
【００５９】
上記のステップで算出した標準偏差α（ｔ）が、所定の値（例えば０．５）より小さければ（ステップＳ５４のＹＥＳ）、直前の５回で計測された食材重量データの値は収束しつつあると判断する。即ち、制御部２２は、食材重量データの時間変動が十分に小さく、食材１６の姿勢が安定しており、食材画像データが鮮明に撮影できると判断できる。
【００６０】
次に、ステップＳ５５では、食材重量データの時間変動が不安定状態（例えば３gを超える変動）を経ており且つ、食材重量データが前回撮影時の食材重量データと異なるか否かを判断する。食材重量データの時間変動が不安定状態を経ていることを確認することで、測定器１２の長時間運用時のドリフト現象により、食材１６の追加が行われていない状況下にて、食材重量データが僅かに変化（例えば３g以下）した場合に、撮像部１８が撮影してしまうことを防止することができる。また、食材重量データが前回撮影時の食材重量データと異なることを確認することで、新たに食材１６が計量部１４に載置された場合のみに、後述する食材１６を撮影することができる。
【００６１】
食材重量データの時間変動が不安定状態を経ており且つ食材重量データが前回撮影時と異なる場合は（ステップＳ５５のＹＥＳ）、計測された食材重量データを確定する（ステップＳ５７）。更に、制御部２２は、食材１６を操作する使用者の手を撮像部１８の視野から待避させるために、所定時間（例えば０．５秒）経過した後に、撮像部１８で食材１６を撮影し、食材画像データを得る。更に、計量部１４は安定状態に移行したと判断する。一方、食材重量データが不安定状態を経ていないか、又は食材重量データが前回撮影時と同じ場合は（ステップＳ５５のＮＯ）、食材重量データを確定することなく上記したステップＳ５１に戻る。
【００６２】
また、上記した標準偏差α（ｔ）が、０．５以上であれば（ステップＳ５４のＮＯ）、ｔ回目（例えば５回目）に測定された食材重量データと、ｔ−１回目（例えば４回目）に測定された食材重量データとの差の絶対値が、所定（例えば３グラム）以下であるかを確認する（ステップＳ５６）。上記した値が所定以上で有れば（ステップＳ５６のＹＥＳ）、計量部１４には新たな食材１６が載置された可能性があり、食材重量データの時間変動は不安定状態に移行したと判断し、上記したステップＳ５１に戻る。一方、上記した値が所定未満であれば（ステップＳ５６のＮＯ）、食材重量データの時間変動は安定状態のままであると判断し、上記したステップＳ５１に戻る。
【００６３】
上記した本形態によれば、食材１６を計量部１４に載置することで、計量部１４の出力に基づいて撮像部１８が食材１６を撮影するので、使用者が撮影のための特段の操作をせずとも、食材画像データを簡易に取得することが出来る。
【００６４】
また、計量部１４で計測される食材重量データの偏差値が所定以下の場合に、撮像部１８が食材１６を撮影するので、計量部１４の上面で静止した状態の食材１６を撮影することが可能となり、鮮明な食材画像データを取得し、食材１６の種類を推定する精度を向上させることが出来る。
【００６５】
更に本形態では、計量部１４の出力に基づいて撮像部１８で食材画像データを取得し、その食材画像データを用いて携帯端末２４側で食材１６の栄養素量を算出している。ここで本形態における食材画像データは静止画である。もし、計量部１４の出力に基づいて静止画を撮影する時期を決定する機能が無ければ、動画像を解析して食材の栄養素量を算出する必要があるが、動画像の解析に要求される情報処理量は静止画に比べて多い。従って、本形態では携帯端末２４側の情報処理量を格段に低減することができるとともに消費電力量を低減することが出来る。
【００６６】
本形態では、食材画像データは、計量部１４の上面で静止した状態の食材１６を撮影した画像データであるので、食材１６の種類を推定するうえで最も精度の高い画像データである。したがって、動画像を解析して食材の栄養素量を算出する場合と比較しても、食材１６の種類を推定する精度が見劣りすることはない。即ち、本形態は、食材１６の解析に最も適した食材画像データの撮像を、計量部１４の出力をトリガーとして行い、解析すべきデータの情報量を低く抑えつつ、食材１６の栄養素量を精度良く算出するものである。
【００６７】
ここで、図４を参照して、上記した形態では、食材１６を追加しつつ栄養素量を算出したが、途中で食材１６を削除しても良い。その場合は、制御部２２は、計量部１４で計量される食材重量データが減少することで、食材１６が削除されたことを検出することができる。また、制御部２２は、撮像部１８で撮影される食材画像データを直前のものと比較することで、削除された食材１６の種類が特定される。
【００６８】
更に、上記した栄養素量算出装置１０は、冷蔵庫の機能として取り込まれても良い。多数の食材１６が貯蔵される冷蔵庫に、食材１６の栄養素量を算出する機能を持たせることで、冷蔵庫の付加価値を向上させることが出来る。
【００６９】
本形態は、食材１６の栄養素量の算出をサーバー２８にて行う場合に特に有効である。前述のように、食材画像データは静止画であり動画像に比べて格段に情報量が少ない。しかしながら、食材画像データは、撮像を計量部１４の出力をトリガーとして行ったものであるので精度は高い。したがって、通信回線を通じてサーバー２８に送信する情報量を低減しつつ、精度高く食材１６の栄養素量を算出することができる。
【００７０】
＜第２の実施の形態＞
以下、本発明の実施形態に係る栄養素量算出装置１１０を図面に基づき詳細に説明する。本形態に係る栄養素量算出装置１１０では、調理前の食材１４０を撮影した食材画像データから栄養素量を算出すると共に、これらの食材１４０を調理することで得られた料理の種類と料理画像データ１３０とを対応して記録している。これにより、調理後の料理の画像を撮影するのみで、その栄養素量を算出することが可能となる。
【００７１】
図５（Ａ）は栄養素量算出装置１１０の概略的構成を示すブロック図であり、図５（Ｂ）は栄養素量を算出するために参照される栄養素量算出データ１２４を示すブロック図である。
【００７２】
図５（Ａ）を参照して、本形態の栄養素量算出装置１１０は、食材撮影手段１１２と、食材計量手段１１４と、料理撮影手段１１６と、料理計量手段１１８と、栄養素量算出手段１２０と、記憶手段１２２、とを備えている。栄養素量算出装置１１０の概略的機能は、料理に用いる食材１４０または料理自体の重量データや画像データから、調理される料理の栄養素量を簡易に算出することにある。
【００７３】
食材撮影手段１１２は、調理予定の食材１４０をカラー撮影するための手段である。具体的には、ＣＣＤ等の撮影素子等で食材撮影手段１１２が構成される。食材撮影手段１１２は食材１４０を撮影することで食材画像データ１２６を生成し、この食材画像データ１２６は栄養素量算出手段１２０に伝送される。ここで、食材撮影手段１１２は、料理に用いられる食材１４０を一つずつ撮影してもよいし、同種の材料を複数個撮影してもよい。
【００７４】
食材計量手段１１４は、調理予定の食材１４０の重量を計量する手段である。食材計量手段１１４が食材１４０を計量することで、食材１４０の重量を示す食材重量データ１２８が得られ、この食材重量データ１２８は栄養素量算出手段１２０に伝送される。ここで、食材計量手段１１４は、食材１４０を一つずつ計量してもよいし、同種の食材１４０を複数個同時に計量してもよい。
【００７５】
料理撮影手段１１６は、上記した食材１４０を調理することで作られた料理を撮影する手段である。料理撮影手段１１６により料理を撮影することで得られた料理画像データ１３０は栄養素量算出手段１２０に伝送される。
【００７６】
料理計量手段１１８は、調理された料理を計量する手段である。料理計量手段１１８が料理を計量することで得られた料理重量データ１３２は栄養素量算出手段１２０に伝送される。
【００７７】
ここで、上記した食材撮影手段１１２と料理撮影手段１１６とは、個別に設けられても良いし、１つの撮影手段が兼用されても良い。更に、食材計量手段１１４と料理計量手段１１８とは、個別に設けられても良いし、１つの撮影手段が兼用されても良い。
【００７８】
栄養素量算出手段１２０は、上記した各手段から伝送された各データから調理される料理の栄養素量を算出する。栄養素量算出手段１２０としては例えばＣＰＵが採用される。また、栄養素量算出手段１２０は、料理の栄養素量に加えて、後述するように塩分等の栄養素量も算出してもよい。
【００７９】
具体的には、食材１４０から料理の栄養素量を算出する場合は、食材画像データ１２６から食材１４０の種類を推定し、推定された食材１４０の単位量当たりの栄養素量に食材重量データ１２８を乗算する等して各食材１４０の栄養素量を算出する。そして、料理に用いられる全ての食材１４０の栄養素量を加算することで料理予定の料理の栄養素量が算出される。
【００８０】
また、調理された料理に関するデータから栄養素量を算出する場合は、料理画像データ１３０から料理の種類を推定し、推定された料理の単位量当たりの栄養素量に料理重量データ１３２を乗算する等して料理の栄養素量が算出される。
【００８１】
料理の栄養素量の具体的算出方法に関しては、図７等に示すフローチャートを参照して後述する。
【００８２】
記憶手段１２２は、上記した各手段で得られた各画像データ、各重量データ等を保存する手段である。具体的には、記憶手段１２２としては、ハードディスクや半導体記憶装置が採用される。また、栄養素量算出装置１１０は、必ずしも記憶手段１２２を備える必要はなく、ネットワーク等を介して接続されたサーバー等を記憶手段として用い、上記した各データをサーバーに保存してもよい。
【００８３】
図５（Ｂ）を参照して、上記した栄養素量の算出に用いる栄養素量算出データ１２４に関して説明する。栄養素量算出データ１２４は、食材画像データ１２６、食材重量データ１２８、料理画像データ１３０、料理重量データ１３２、食材データベース１２５、料理データベース１２７、食材栄養素量データベース１２９、料理栄養素量データベース１３１を備えている。
【００８４】
これら各データを次に説明する。食材画像データ１２６は上記した食材撮影手段１１２で撮影することにより得られる静止画の画像データである。食材重量データ１２８は食材計量手段１１４で計量することにより得られた食材１４０の重量を示すデータである。料理画像データ１３０は、食材１４０を調理することで作られた料理を料理撮影手段１１６で撮影することで得られた静止画の画像データである。料理重量データ１３２は、作られた料理を料理計量手段１１８で計量することで計測された料理の重量を示すデータである。
【００８５】
食材データベース１２５は、食材画像データ１２６から抽出される特徴と食材１４０の種類とを関連付けるデータから成るデータベースであり、例えば、食材画像データ１２６から抽出された色彩や表面の粗度と食材１４０とを関連付けるデータベースである。料理データベースは、料理画像データ１３０と料理の種類とを関連付けるデータベースであり、例えば、料理の表面の色彩等と料理の種類とを関連付けるデータから構成されている。
【００８６】
食材栄養素量データベース１２９は、食材１４０と、その食材１４０の単位量当たりの栄養素量とを関連付けるデータベースである。料理栄養素量データベース１３１は、料理と、その料理の単位量当たりの栄養素量とを関連付けるデータベースである。これらのデータとしては、公的機関が一般に公表しているデータを用いても良いし、使用者が本形態の栄養素量算出装置１１０を用いることで蓄積・改定されたデータを用いても良いし、両データを組み合わせて用いても良い。
【００８７】
ここで、上記したデータベースは２以上が統合されても良い。例えば、食材データベース１２５と料理データベース１２７とを１つのデータベースに統合して用いても良い。また、食材栄養素量データベース１２９と料理栄養素量データベース１３１とを１つのデータベースに統合して用いても良い。
【００８８】
図６を参照して具現化された栄養素量算出装置１１０の構成を説明する。図６（Ａ）は栄養素量算出装置１１０の具体的な構成を示す斜視図であり、図６（Ｂ）は栄養素量算出装置１１０が組み込まれた冷蔵庫１４２を示す斜視図である。
【００８９】
図６（Ａ）を参照して、栄養素量算出装置１１０は、食材１４０が載置される台座１３４と、この台座１３４に端部が固定された可動式の支持部１３６と、支持部１３６に備えられた撮像部１３８とを有している。
【００９０】
台座１３４は、食材１４０を載置するための平坦面を有する板状の部材であり、食材１４０を計量するための計量モジュールが内蔵されている。また、この計量モジュールおよび撮像部１３８から各種データを受けて栄養素量を算出する栄養素量算出手段１２０が台座１３４に内蔵されても良い。
【００９１】
支持部１３６は台座１３４の端部付近に配置された棒状の部材であり、その下端は台座１３４に対して回転可能に接続されている。また、台座１３４の上面には支持部１３６の形状に対応した凹状領域が設けられているので、倒された支持部１３６がこの凹状領域に収納される。
【００９２】
支持部１３６の上端部付近に例えばＣＣＤ等からなる撮像部１３８が備えられている。撮像部１３８は、支持部１３６を起立させた状態で、台座１３４の上面に載置された食材１４０を撮影する位置に据え付けられている。撮像部１３８が撮影することで得られた食材画像データ１２６は、台座１３４に内蔵された処理部に伝送される。
【００９３】
ここで、図５（Ｂ）を参照して説明した栄養素量算出データ１２４は、栄養素量算出装置１１０に内蔵されたハードディスク等の記録媒体に記録されても良いし、外部に配置された記録装置に記録されても良い。または、栄養素量算出データ１２４の一部が栄養素量算出装置１１０に内蔵された記録装置に記録され、栄養素量算出データ１２４の他の部分が外部に配置された記録装置に記録されても良い。ここでは、栄養素量算出データ１２４の全部または一部が、サーバー１５６に記録されている。栄養素量算出装置１１０とサーバー１５６とは、インターネット網等の通信網１５８を経由して接続されている。上記した栄養素量算出装置１１０の使用方法は、図７等を参照して後述する。
【００９４】
図６（Ｂ）に、上記した栄養素量算出装置１１０の適用例の一つとして冷蔵庫１４２を例示している。この冷蔵庫１４２は、冷蔵庫や冷凍庫等の複数の貯蔵庫を備えており、各貯蔵庫の前面開口部は扉１４４、１４６、１４８、１５０により開閉可能に閉鎖されている。例えば、扉１４４は左右の何れかの端部を支点として左右方向に回転開閉し、扉１４６、１４８、１５０は前後方向に開閉する。
【００９５】
小扉１５２は、扉１４６の一部を前後方向に回転可能とした扉であり、下端を支点として回転開閉する。開放状態とされた小扉１５２の上面が図６（Ａ）に示した台座１３４として機能する。そして、扉１４６の開口部分付近に、食材１４０を撮影する撮像部１５４が配置されている。
【００９６】
使用者が冷蔵庫１４２を用いて料理の栄養素量を算出する際には、先ず、小扉１５２を開き、この開かれた状態の小扉１５２の上面に食材１４０や料理を載置する。そして、この食材１４０または料理を小扉１５２に内蔵された計量モジュールで計量する。また、この食材１４０または料理は撮像部１５４で撮影される。これにより、食材１４０や料理の計量および撮影が行われる。
【００９７】
冷蔵庫１４２に栄養素量算出装置１１０を組み込むことにより、料理に用いられる食材１４０は一般に冷蔵庫に貯蔵される場合が多いので、食材１４０を直ぐに計量等することが可能になり、計量や撮影を更に簡易に行うことが可能となる。
【００９８】
図７および図８に基いて、上記した各図も参照しつつ、栄養素量算出装置１１０を用いた料理の栄養素量の算出方法を説明する。図７は特定の料理を調理する最初の段階での栄養素量算出方法を示し、図８は特定の料理を調理する２回目以降の栄養素量算出方法を示している。ここで、以下に説明する各データは、図６（Ａ）に示した栄養素量算出装置１１０やサーバー１５６等に適宜保存される。
【００９９】
図７を参照して、特定の料理を調理する最初の段階での栄養素量算出方法を説明する。
【０１００】
先ず、図６（Ａ）に示す栄養素量算出装置１１０を起動さる（ステップＳ１１１）。具体的には、支持部１３６を台座１３４に対して起立させ、起動スイッチをＯＮ状態にする。
【０１０１】
そして、調理前の食材１４０を台座１３４の上面に載置する（ステップＳ１１２）。図６（Ａ）では、調理前の魚が食材１４０として採用された場合を例示している。ここは、台座１３４の上面には１つのみの食材１４０が載置されているが、同種の複数の食材１４０が台座１３４の上面に載置されても良い。これにより、食材１４０の計量および撮影を簡便に行うことが可能となる。
【０１０２】
次に、台座１３４の上面に載置された食材１４０を撮像部１３８で撮影する（ステップＳ１１３）。具体的には、必要に応じて不図示の発光手段にて食材１４０に光を照射した状態で、撮像部１３８で食材１４０を撮影する。これにより、食材１４０を撮影した食材画像データ１２６が得られる。取得された食材画像データ１２６はハードディスク等の記憶手段に記憶される。ここで、撮影される食材１４０は、加工前の物でもよいし加工後の物でも良い。例えば、食材１４０がバナナであれば、皮が剥かれる前の状態でも良いし、皮を剥いた後の状態でも良い。皮を向く前のバナナが撮影されたら、この画像で食材１４０の推定を行い、皮に相当する部分を除外して栄養素量算出を行う。一方、皮を剥いた後のバナナが撮影されたら、この食材画像データ１２６で食材１４０の推定を行い、全体が食材１４０として使用されるものとして栄養素量算出を行う。
【０１０３】
次に、上記の食材画像データ１２６から食材の種類を推定する（ステップＳ１１４）。食材画像データ１２６から食材１４０を推定する方法としては様々な手法が考えられるが、ここでは一例として食材１４０の表面の色彩と粗度に注目して食材１４０を推定する方法を説明する。
【０１０４】
具体的には、図６（Ａ）を参照して、上記した食材画像データ１２６から食材１４０が撮影された部分を抽出し、この部分の色彩および表面粗度に関するデータを抽出する。一方、図５（Ｂ）に示した食材データベース１２５には、食材毎に、その食材の表面の色彩、表面粗度、種類等がテーブル化されている。よって、食材画像データ１２６から抽出された食材１４０の色彩および表面粗度と、食材データベース１２５に食材毎に記録された色彩および表面粗度とを比較し、これらの値が最も近似する食材が「推定される食材」とされる。
【０１０５】
次に、前ステップにて推定された食材が正しいか否かを使用者が判断する（ステップＳ１１５）。具体的には、栄養素量算出装置１１０に付随する表示装置等に、推定された食材の画像や名称を表示する。そして、使用者が推定された食材が正しいと判断したら、その旨の操作を行うことで次ステップに移行する（ステップＳ１１５のＹＥＳ）。一方、表示された食材が正しくなければ（ステップＳ１１５のＮＯ）、色彩および粗度が近い他の食材を使用者に対して表示（提示）する（ステップＳ１１６）。その結果、新たに表示された食材が正しければ次ステップに移行し（ステップＳ１１７のＹＥＳ）、正しくなければ更に他の食材を推定して表示する（ステップＳ１１７のＮＯ）。尚、この判断を行うステップＳ１１５、Ｓ１１７は、栄養素量算出装置１１０自体に備えられたスイッチやタッチパネルを使用者が操作して行っても良い。更には、特定のアプリケーションがインストールされたスマートフォン等の携帯情報端末に、推定された食材の画像や名称を表示し、それを使用者が操作して行っても良い。
【０１０６】
ここで、ステップＳ１１５およびステップＳ１１７にて食材１４０の種類が特定された場合は、これらのステップに於ける、食材画像データ１２６と食材１４０の組み合わせが正しいものとして、対応付けられて記憶される。即ち、図５（Ｂ）に示す食材データベース１２５が改定される。そして、次回からは、この組み合わせがステップＳ１１４にて用いられることにより上記推定の精度が向上する。
【０１０７】
一般に、単位量当たりの栄養素量は食材１４０の種類により決定されるが、上記のステップにより栄養素量算出装置１１０に載置された食材１４０の種類が特定されることで、この栄養素量算出が可能となる。食材１４０の種類を特定する種類データは保存され、後のステップで使用される。
【０１０８】
また、上記したステップＳ１１５からステップＳ１１７では、推定された食材１４０が正しくなければ他の食材１４０を提示しているが、この推定が所定回以上（例えば５回以上）正しくなかったら、使用者が手入力にて食材１４０を入力するようにしても良い。これにより、使用者が食材１４０を選択するステップを簡易にすることが出来る。
【０１０９】
次に、栄養素量算出装置１１０の台座１３４の上面に載置された食材１４０を計量する（ステップＳ１１８）。具体的には、台座１３４に内蔵された計量モジュールで、食材１４０の重量を測定する。この測定により得られた食材重量データ１２８は、栄養素量算出装置１１０が備える記憶装置に記憶される。
【０１１０】
次に、栄養素量算出装置１１０が備えるＣＰＵなどの演算手段（栄養素量算出手段１２０）にて、上記した食材１４０の種類の推定結果および食材重量データ１２８を用いて、調理される予定の料理の総栄養素量（第１推定料理栄養素量）を算出する（ステップＳ１１９）。
【０１１１】
具体的には、食材栄養素量データベース１２９（図５（Ｂ））には、各食材毎に、その単位量当たりの栄養素量がデータ化されている。よって、食材１４０毎に食材重量データ１２８に単位量当たりの栄養素量を乗算し、これらを加算することで、調理される料理の総栄養素量（第１推定料理栄養素量）が算出される。
【０１１２】
上記したステップＳ１１２からステップＳ１１９までの作業は、食材１４０毎に行われる。一例としてカレーを調理する場合、人参、玉ねぎ、肉、馬鈴薯等の各材料に関して、ステップＳ１１２からステップＳ１１７の作業が行われる。これにより、各食材１４０の種類が特定され、それらの計量・積算も行われる。また、積算された食材１４０と栄養素量とは、栄養素量算出装置１１０が備えるディスプレイに表示される等して使用者に報知される。算出された食材１４０と栄養素量とは、栄養素量毎に積算されて料理と対応付けられて記憶され、後のステップにて栄養素量データベースとして用いられても良い。
【０１１３】
ステップＳ１２０では、上記した食材１４０から料理を調理する。例えば、上記した人参等の材料を炒める、茹でる等してカレーを調理する。
【０１１４】
次に、調理することにより作られた料理を図６（Ａ）に示した台座１３４に載置して計量する（ステップＳ１２１）。このステップでは、料理に用いた鍋等の容器と共に料理を台座１３４に載置するので、容器の重量等を予め記憶させておくことで、容器の重量を総重量から差し引くことで、料理のみの重量を計量できる。本ステップにより、調理された料理の料理重量データ１３２が得られる。更に、台座１３４に載置された料理を、撮像部１３８を用いて撮影することで料理画像データ１３０が得られる。
【０１１５】
ここで、上記したステップＳ１２０とステップＳ１２１との間で、具体的な調理方法を選択するステップが行われても良い。具体的には、茹でる、炒める、蒸す、揚げる等の調理方法を使用者が栄養素量算出装置１１０にタッチパネル等の入力手段を介して入力する。一般に、使用される食材１４０が同種同量であっても調理の方法が異なると料理の栄養素量が異なる。例えば、炒めた場合は調理に使用する油が料理に添加されるので、蒸す場合と比較して調理される料理の栄養素量が高くなる。よって、例えば、「炒める」が調理方法として入力された際には、使用される油量も勘案して料理の栄養素量を再算出することで、算出される栄養素量の精度を向上させることが出来る。
【０１１６】
更に、台座１３４の上面に載置された料理を撮像部１３８で撮影することで、料理画像データ１３０を得る。ここでは、料理の上面を撮影している。
【０１１７】
次に、前ステップで得られた料理画像データ１３０に基いて調理された料理を推定する（ステップＳ１２３）。この推定方法は、上記したステップＳ１１３と同様で良い。
【０１１８】
具体的には、図６（Ａ）を参照して、上記した食材画像データ１２６から料理が撮影された部分を抽出し、この部分の色彩および表面粗度に関するデータを抽出する。一方、図５（Ｂ）に示した料理データベース１２７には、料理毎に、その料理の上面の色彩、表面粗度、種類等がテーブル化されている。よって、料理画像データ１３０から抽出される料理の色彩および表面粗度と、料理データベース１２７に記録された色彩および表面粗度とを比較し、これらの値が最も近似する料理が「推定される料理」とされる。
【０１１９】
次に、前ステップにて推定された料理が正しいか否かを使用者が判断する（ステップＳ１２４）。具体的には、栄養素量算出装置１１０に付随する表示装置等に、推定された料理の画像や名称を表示する。そして、使用者が推定された料理が正しいと判断したら、その旨の操作を行うことで栄養素量の算出は終了する（ステップＳ１２７）。尚、調理された料理の種類特定と計量が行われることで、料理画像データ１３０から推定された料理の種類（例えばカレー）と、その単位量当たりの栄養素量が対応付けられる。そして、この事項を示すデータが図５（Ｂ）に示す料理栄養素量データベース１３１に登録され、次回からの料理にこのデータが用いられる。
【０１２０】
一方、表示された料理が正しくなければ（ステップＳ１２４のＮＯ）、色彩および粗度が近い他の料理を使用者に対して表示（提示）する（ステップＳ１２５）。その結果、その推定された料理が正しければ次ステップに移行し（ステップＳ１２６のＹＥＳ）、正しくなければ更に他の料理を推定して表示する（ステップＳ１２６のＮＯ）。
【０１２１】
また、上記したステップＳ１２４からステップＳ１２６では、推定された料理が正しくなければ他の料理を提示するようにしているが、この推定が所定回以上（例えば５回以上）正しくなかったら、使用者が手入力にて料理の種類を入力するようにしても良い。これにより、使用者が選択するステップを簡易にすることが出来る。
【０１２２】
ここで、料理の種類が特定された後は、これらのステップに於ける、料理画像データ１３０と料理の組み合わせが正しいものとして、対応付けられて料理データベース１２７として記憶される。具体的には、料理毎に、料理の種類と、単位量当たりの栄養素量が対応付けられて記憶される。そして、次回の料理からは、この組み合わせがステップＳ１２３にて用いられることにより上記推定の精度が向上する。
【０１２３】
上記した本形態の栄養素量算出方法では、先ず、ステップＳ１１３からステップＳ１１６に示した方法により、使用者が食材１４０の種類を入力せずとも、上記した画像解析により食材１４０の種類を特定できるので利便性が向上されている。同様に、ステップＳ１２２からステップＳ１２５に示した方法により料理の種類も特定されるので、その入力作業が不要になり、利便性が向上されている。
【０１２４】
図８を参照して、次に、使用者が同じ料理に関して行う２回目以降の料理方法を説明する。ここで示す調理方法は図７に基いて説明した方法と共通しており、ここでは調理前に食材１４０の撮影および計量を行わない点が異なる。
【０１２５】
先ず、図６（Ａ）に示す栄養素量算出装置１１０を起動させた後に（ステップＳ１５１）、食材１４０を用いて調理を行う（ステップＳ１５２）。ここでは、同様の使用者が調理を行う場合は、調理に用いる食材１４０の種類や割合は類似であると仮定しており、簡便さのために食材１４０の撮影および計量は省くことが出来る。尚、同じ料理を調理する場合であっても、使用する食材１４０の種類や割合が異なる場合は、食材１４０の撮影および計量を行っても良い。
【０１２６】
ここで、料理の調理を行った後に、上記したように、調理の種類（炒める、茹でる）等を使用者が栄養素量算出装置１１０に入力してもよい。これにより、調理に用いる調味料等を考慮することで正確に栄養素量を算出することが可能となる。
【０１２７】
調理が終了した後は、その料理を図６（Ａ）に示す栄養素量算出装置１１０の台座１３４の上面に載置して、その重量を計測することで料理重量データ１３２を得る（ステップＳ１５３）。そして、撮像部１３８を用いて上方から料理を撮影することで料理画像データ１３０を得る（ステップＳ１５４）。
【０１２８】
次に、料理画像データ１３０に基づいて調理された料理の種類を推定し、この推定が誤っている場合は訂正する（ステップＳ１５５、Ｓ１５６、Ｓ１５７、Ｓ１５８）。これらの各ステップの具体的な方法は、図７を参照して説明したステップＳ１２３、Ｓ１２４、Ｓ１２５、Ｓ１２６と同様である。
【０１２９】
次に、上記ステップで得られた、料理の種類に関するデータおよび料理重量データ１３２に基いて、調理された料理の栄養素量を算出する（ステップＳ１５９）。また、本ステップでは、各料理とその単位量当たりの栄養素量とが対応付けられた栄養素量データベースを用意し、計量された料理の重量に、対応する種類の料理の単位量当たりの栄養素量を乗算することで、総栄養素量が算出される。
【０１３０】
具体的には、図７に示された栄養素量算出方法により、対象となる使用者が例えばカレーを調理した場合の、調理されるカレーの単位量当たりの栄養素量は予め記録されている。この情報は、図５（Ｂ）に示す料理栄養素量データベース１３１として、料理の種類毎に記録されている。従って、料理栄養素量データベース１３１に記録された、対象となる料理の単位量当たりの栄養素量に、上記したステップＳ１５３で計量された料理重量データ１３２を乗算することで、料理の総栄養素量（第２推定料理栄養素量）が算出される（ステップＳ１６０）。
【０１３１】
上記した栄養素量算出方法によれば、図７に示した１回目の調理により撮影した食材１４０に関する情報を用いて、調理される料理の単位量当たりの栄養素量が推定される。よって、調理後の料理の撮影および計量を行うのみでその栄養素量を算出することが可能となる。
【０１３２】
上記した本形態は、例えば以下のように変更することが可能である。
【０１３３】
図７に示すステップＳ１１８では、使用する調味料や、材料のロス率を考慮して栄養素量を算出してもよい。これにより、栄養素量をより正確に算出することが可能となる。
【０１３４】
ここで、上記した各実施形態は互いに組み合わせて実施することが可能である。例えば、第１の実施の形態に記載した食材１６の計量方法および撮影方法を、第２の実施の形態に適用することも出来る。
【符号の説明】
【０１３５】
１０ 栄養素量算出装置
１２ 測定器
１４ 計量部
１６、Ａ、Ｂ、Ｃ 食材
１８ 撮像部
２０ 照明部
２２ 制御部
２４ 携帯端末
２６ 表示部
２８ サーバー
３０ 食材画像データ
３２ 食材画像データ
３４ 食材画像データ
３６ 食材画像データ
３８ 食材画像データ
４０ 食材画像データ
４２ 食材画像データ
４４ 食材画像データ
４６ 食材画像データ
１１０ 栄養素量算出装置
１１２ 食材撮影手段
１１４ 食材計量手段
１１６ 料理撮影手段
１１８ 料理計量手段
１２０ 栄養素量算出手段
１２２ 記憶手段
１２４ 栄養素量算出データ
１２５ 食材データベース
１２６ 食材画像データ
１２７ 料理データベース
１２８ 食材重量データ
１２９ 食材栄養素量データベース
１３０ 料理画像データ
１３１ 料理栄養素量データベース
１３２ 料理重量データ
１３４ 台座
１３６ 支持部
１３８ 撮像部
１４０ 食材
１４２ 冷蔵庫
１４４ 扉
１４６ 扉
１４８ 扉
１５０ 扉
１５２ 小扉
１５４ 撮像部
１５６ サーバー
１５８ 通信網
【図１】
0006577365.tif 000002
【図２】
0006577365.tif 000003
【図３】
0006577365.tif 000004
【図４】
0006577365.tif 000005
【図５】
0006577365.tif 000006
【図６】
0006577365.tif 000007
【図７】
0006577365.tif 000008
【図８】
0006577365.tif 000009