(57)【要約】【課題】調理過程において指標を算出することが可能な情報処理装置および記憶媒体を提供する。【解決手段】センサにより検出された信号に基づいて、調理対象の食材および調理に使用する調味料の少なくともいずれかの使用量を推定する推定部と、前記推定部による推定結果に応じて、所定の調理指標を算出する指標算出部と、前記指標算出部により算出された調理指標を通知するよう制御する通知制御部と、を備える、情報処理装置。【選択図】図１
2014132521.tif 000002
【特許請求の範囲】
【請求項１】
センサにより検出された信号に基づいて、調理対象の食材および調理に使用する調味料の少なくともいずれかの使用量を推定する推定部と、
前記推定部による推定結果に応じて、所定の調理指標を算出する指標算出部と、
前記指標算出部により算出された調理指標を通知するよう制御する通知制御部と、
を備える、情報処理装置。
【請求項２】
前記情報処理装置は、調理方法を特定する調理方法特定部をさらに備え、
前記指標算出部は、前記調理方法特定部により特定された調理方法に応じて、前記算出した調理指標を変換する、請求項１に記載の情報処理装置。
【請求項３】
前記情報処理装置は、前記通知制御部による制御に従って前記調理指標を表示する表示部をさらに備える、請求項１に記載の情報処理装置。
【請求項４】
前記指標算出部は、算出した調理指標を積算する、請求項１に記載の情報処理装置。
【請求項５】
前記通知制御部は、前記指標算出部により算出された調理指標が所定値付近に達した場合、ユーザに対して警告通知を行うよう制御する、請求項１に記載の情報処理装置。
【請求項６】
前記所定値は、限界指標であって、
前記積算された料理指標は、複数の限界指標と比較される、請求項５に記載の情報処理装置。
【請求項７】
前記複数の限界指標は、健康を優先した所定の値および好みを優先した所定の値を含む、請求項６に記載の情報処理装置。
【請求項８】
前記通知制御部は、前記指標算出部により積算された調理指標と調理完成時の所定値の比較結果に応じて、ユーザに対して警告通知を行うよう制御する、請求項４に記載の情報処理装置。
【請求項９】
前記調理指標は、前記調理対象の食材または前記調味料の質量または熱量の値である、請求項１に記載の情報処理装置。
【請求項１０】
前記質量または熱量の値は、栄養成分毎の質量または熱量の値である、請求項９に記載の情報処理装置。
【請求項１１】
前記センサは、濃度センサ、撮像センサ、または匂いセンサである、請求項１に記載の情報処理装置。
【請求項１２】
前記情報処理装置は、頭部装着型または眼鏡型のヘッドマウントディスプレイである、請求項１に記載の情報処理装置。
【請求項１３】
前記情報処理装置は、スマートフォン、携帯電話端末、タブレット端末、ＰＣ、デジタルカメラ、またはデジタルカムコーダである、請求項１に記載の情報処理装置。
【請求項１４】
コンピュータに、
センサにより検出された信号に基づいて、調理対象の食材および調理に使用する調味料の少なくともいずれかの使用量を推定する推定部と、
前記推定部による推定結果に応じて、所定の調理指標を算出する指標算出部と、
前記指標算出部により算出された調理指標を通知するよう制御する通知制御部と、
として機能させるためのプログラムが記憶された、記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置および記憶媒体に関する。
【背景技術】
【０００２】
近年、食生活管理を支援する装置が提案されている。【０００３】
例えば、下記特許文献１には、無線携帯端末により撮像された料理の撮像画像に基づき、摂取カロリーや食事噛み時間を算出し、リアルタイムで料理の摂取カロリーや食事噛み時間の管理を食事中に行う技術が開示されている。【０００４】
また、下記特許文献２には、食品成分について習熟するための長い期間や労力が少なくなるよう、栄養データ記憶部（例えば食品の梱包容器に貼付されるＩＣタグ）と、栄養データ読取部（例えばＩＣタグのリーダ）と、データ出力部とを含むナビゲーションシステムが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−３３３２６号公報
【特許文献２】特開２００６−１９５９４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１では、既に出来上がった料理の撮像画像に基づいて解析するので、調理過程においてどのような調味料がどれくらい使用されたのかを認識することは困難である。【０００７】
また、上記特許文献２でも、調理過程におけるカロリーや栄養成分の算出には言及されていない。【０００８】
そこで、本開示では、調理過程において指標を算出することが可能な、新規かつ改良された情報処理装置および記憶媒体を提案する。
【課題を解決するための手段】
【０００９】
本開示によれば、センサにより検出された信号に基づいて、調理対象の食材および調理に使用する調味料の少なくともいずれかの使用量を推定する推定部と、前記推定部による推定結果に応じて、所定の調理指標を算出する指標算出部と、前記指標算出部により算出された調理指標を通知するよう制御する通知制御部と、を備える、情報処理装置を提案する。【００１０】
本開示によれば、コンピュータに、センサにより検出された信号に基づいて、調理対象の食材および調理に使用する調味料の少なくともいずれかの使用量を推定する推定部と、前記推定部による推定結果に応じて、所定の調理指標を算出する指標算出部と、前記指標算出部により算出された調理指標を通知するよう制御する通知制御部と、として機能させるためのプログラムが記憶された、記憶媒体を提案する。
【発明の効果】
【００１１】
以上説明したように本開示によれば、調理過程において指標を算出することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施形態による調理指標表示の概要を説明するための図である。
【図２】本実施形態によるＨＭＤの内部構成例を示すブロック図である。
【図３】本実施形態による使用量推定部による食材／調味料の使用量推定方法について説明するための図である。
【図４】本実施形態による調理指標表示処理を示すフローチャートである。
【図５Ａ】食材を投入した場合の調理指標の画面表示例を示す図である。
【図５Ｂ】調味料を追加した場合の調理指標の画面表示例を示す図である。
【図６】本実施形態による警告表示の画像表示例を示す図である。
【図７】本実施形態による比較結果通知の画面表示例を示す図である。
【図８】調理指標を用いて飲食時に飲食指標を行う際の主制御部の機能構成を示すブロック図である。
【図９】調理指標を用いて飲食時に飲食指標の通知を行う際の動作処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による調理指標表示の概要
２．ＨＭＤの基本構成および動作処理
２−１．ＨＭＤの基本構成
２−２．ＨＭＤの動作処理
３．画面表示例
３−１．指標表示
３−２．比較結果に基づく表示
４．補足
５．まとめ
【００１５】
＜＜１．本開示の一実施形態による調理指標表示の概要＞＞
まず、本開示の一実施形態による調理指標表示の概要について、図１を参照して説明する。
【００１６】
図１は、本開示の一実施形態による調理指標表示の概要を説明するための図である。図１に示すように、ユーザ８は、眼鏡型のＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）１を装着している。ＨＭＤ１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを有し、図１に示すように両耳殻にかけられることでユーザ８に装着される。
【００１７】
また、ＨＭＤ１は、装着状態において、ユーザ８の両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２が配置される構成となっている。表示部２には、例えば撮像レンズ３ａで撮像された現実空間の撮像画像が表示される。また、表示部２は透過型であってもよく、ＨＭＤ１により表示部２がスルー状態、即ち透明または半透明の状態とされることで、ユーザ８は、ＨＭＤ１を眼鏡のように常時装着していても通常の生活には支障がない。
【００１８】
また、ＨＭＤ１には、図１に示すように、ユーザ８に装着された状態で、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。さらに、撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光部４ａは例えばＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）により形成される。
【００１９】
また、図１では左耳側しか示されていないが、装着状態でユーザの右耳孔および左耳孔に挿入できる一対のイヤホンスピーカ５ａが設けられる。また、右眼用の表示部２の右方と、左眼用の表示部２の左方に、外部音声を集音するマイクロホン６ａ、６ｂが配置される。
【００２０】
なお、図１に示すＨＭＤ１の外観は一例であり、ＨＭＤ１をユーザが装着するための構造は多様に考えられる。ＨＭＤ１は、一般に眼鏡型、あるいは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられていればよい。また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
【００２１】
また、撮像レンズ３ａ、照明を行う発光部４ａは、図１に示す例では右眼側に前方に向けて配置されているが、左眼側に配置されてもよいし、両側に配置されてもよい。
【００２２】
また、イヤホンスピーカ５ａは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。また、マイクロホンも、マイクロホン６ａ、６ｂのうちの一方でもよい。
【００２３】
さらに、マイクロホン６ａ、６ｂやイヤホンスピーカ５ａを備えない構成も考えられる。また発光部４ａを設けない構成も考えられる。
【００２４】
以上、図１に示すＨＭＤ１の外観構成について説明した。本明細書では、調理指標表示を行う情報処理装置の一例としてＨＭＤ１を用いるが、本開示による情報処理装置はＨＭＤ１に限定されない。例えば、情報処理装置は、スマートフォン、携帯電話端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、タブレット端末等であってもよい。
【００２５】
ここで、上述したように、上記特許文献１では、既に出来上がった料理の撮像画像に基づいて、調理過程においてどのような調味料がどれくらい使用されたのかを解析することは困難である。また、調理過程において食材や調味料のカロリーや質量を示す調理指標をリアルタイムで算出し、ユーザに通知することができれば、調理の段階から食生活の支援を行うことができる。
【００２６】
特に近年、生活習慣病の問題などから、食生活を改善しなければならない場合、カロリー、脂質、糖分、プリン体、コレステロール等の摂取や数値が問題となるが、食生活改善に好ましい・好ましくない食品に関する情報の量は多く、ユーザの負担となっていた。また、食事を行う際や調理を行う際には忘れてしまったり、意外な食品が好ましくない場合もあったりして、ユーザが常に好ましい食品を摂取することは難しかった。
【００２７】
そこで、上記事情を一着眼点にして本開示の各実施形態によるＨＭＤ１（情報処理装置）を創作するに至った。本開示の各実施形態によるＨＭＤ１は、調理過程において指標を算出することができる。
【００２８】
具体的には、本実施形態によるＨＭＤ１（情報処理装置）は、調理中の様子を撮像レンズ３ａにより撮像し、撮像した画像中の食材または調味料の使用量を推定し、推定結果に基づいて各食材また調味料の調理指標を算出し、算出した調理指標をユーザに実時間で通知する。本明細書において、調理指標とは、例えば食材または調味料の質量または熱量（カロリー）の値である。また、質量、熱量の値は、食材や調味料に含まれる各栄養成分の質量または熱量の値であってもよい。各栄養成分とは、例えばビタミン、脂質、タンパク質、炭水化物、カルシウム、マグネシウム、食物繊維、カリウム、鉄、レチノール、塩分、糖分、プリン体、コレステロール、アルコール等である。また、食材、調味料の使用量の推定は、撮像画像の他、匂いセンサや各種濃度センサ（塩分センサ、糖分センサ等）から検出された結果に基づいて行われてもよい。各種濃度センサは、計量スプーンや鍋等の調理器具に設けられ、検出された測定データがＨＭＤ１に送信される。
【００２９】
例えば図１に示す例では、ＨＭＤ１はユーザ８の調理過程を撮像レンズ３ａにより撮像し、画像解析により、塩の容器、計量スプーン（小さじ／大さじ）、フライパン等の調理器具（オブジェクト）を認識する。調理器具の認識は、撮像画像の解析の他、調理器具に設けられたＩＣタグやマーカー、２次元バーコード等を読み取ることにより行われてもよい。そして、ＨＭＤ１は、ユーザ８が塩の容器から計量スプーンで塩をすくってフライパンに入れる動作（または入れようとする動作）を認識すると、塩の質量を調理指標として算出してユーザに通知したり、料理に加えた塩分を蓄積して積算した塩分を通知したりする。
【００３０】
調理指標の通知方法としては、表示部２による表示通知またはイヤホンスピーカ５ａによる音声通知が可能である。例えばＨＭＤ１は、図１に示すように、表示部２に、各食材および調味料の熱量や質量を示す調理指標表示３０を表示してユーザ８に通知する。ＨＭＤ１は、食材や調味料が加えられる度に実時間で積算した調理指標表示３０を表示することで、調理過程における調理指標をユーザ８に通知することができる。この際、ＨＭＤ１は、撮像画像Ｐに調理指標表示３０を重畳表示してもよいし、表示部２を半透過に制御して実空間の景色が見える状態で調理指標表示３０を表示してもよい。
【００３１】
また、ＨＭＤ１は、調理指標を所定値と比較し、所定値付近に達した場合にユーザに警告通知を行ってもよい。所定値とは、限界指標であって、具体的には健康を優先した所定の値、またはユーザの味の好みを優先した所定の値である。また、ＨＭＤ１は、調理指標を、調理完成時の所定値と比較し、比較結果に応じてユーザに警告通知を行ってもよい。
【００３２】
以上、本実施形態による調理指標表示の概要について説明した。続いて、本実施形態による調理指標表示を行うＨＭＤ１の基本構成および動作処理について、図２〜図４を参照して説明する。
【００３３】
＜＜２．ＨＭＤの基本構成および動作処理＞＞
＜２−１．ＨＭＤの基本構成＞
図２は、本実施形態によるＨＭＤ１の内部構成例を示す図である。図２に示すように、本実施形態によるＨＭＤ１は、表示部２、撮像部３、照明部４、音声出力部５、音声入力部６、主制御部１０、撮像制御部１１、撮像信号処理部１２、撮像画像解析部１３、照明制御部１４、音声信号処理部１５、表示制御部１７、音声制御部１８、通信部２１、およびストレージ部２２を有する。
【００３４】
（主制御部１０）
主制御部１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、ＨＭＤ１の各構成を制御する。
【００３５】
本実施形態による主制御部１０は、図２に示すように、使用量推定部１０ａ、調理方法特定部１０ｂ、指標算出部１０ｃ、指標比較部１０ｄ、および通知制御部１０ｅとして機能する。
【００３６】
使用量推定部１０ａは、センサにより検出された信号に基づいて、調理対象の食材および調理に使用する調味料の少なくともいずれかの使用量を推定し、推定結果を指標算出部１０ｃに供給する。センサにより検出された信号とは、例えば撮像センサ（撮像部３）により撮像された撮像画像、各種濃度センサにより検出された数値、匂いセンサにより検出された匂いデータ等である。
【００３７】
各種濃度センサ（塩分濃度センサ、糖分濃度センサ、イオン濃度センサ、ｐＨ（ペーハー）センサ等）は、上述したように、計量スプーンや鍋等の調理器具に設けられ、検出された測定データがＨＭＤ１に送信される。
【００３８】
また、匂いセンサは、ＨＭＤ１または外部（調理器具または調理場等）に設けられ、食材や調味料の匂い成分を検出する。ここで、匂いセンサとしては、例えば、複数種類の金属酸化物半導体センサ素子を用いて構成される。通常、金属酸化物半導体は、空気中に存在する酸素が結晶粒の表面に吸着されており、この酸素がキャリアである結晶中の電子をトラップし、導電率が低い状態にある。この状態で、匂い成分が金属酸化物半導体の表面に近付くと、匂い分子が酸化されることによって、表面の吸着酸素が奪われて、導電率が増加する。この導電率の変化は、金属酸化物半導体の種類や粒径、添加する触媒の違いによって異なるので、この性質を利用して、匂い成分が識別される。
【００３９】
撮像画像に基づいて推定する場合、使用量推定部１０ａは、後述する撮像画像解析部１３による解析結果を用いて、食材や調味料の使用量を推定する。例えば使用量推定部１０ａは、食材または調味料が収容されている容器や袋に張り付けられているラベルの文字認識、またはバーコードやマーカーの読み取り等に基づいて食材／調味料の認識および認識した食材／調味料の使用量を推定することができる。ここで、図３を参照して使用量推定部１０ａによる食材／調味料の使用量推定方法について説明する。
【００４０】
図３は、使用量推定部１０ａによる食材／調味料の使用量推定方法を説明するための図である。図３に示すように、撮像画像Ｐ１から、第１の食材ｏｂｊ１、第２の食材ｏｂｊ２、および調味料容器ｏｂｊ３が抽出された場合、使用量推定部１０ａは、各オブジェクトの文字領域Ｒ１、Ｒ２、Ｒ３の文字認識を行い、食材／調味料の認識や使用量の推定を行う。図３に示す例では、第１の食材ｏｂｊ１が「豚レバー」、第２の食材ｏｂｊ２が「にら」、調味料容器ｏｂｊ３が「塩」であることを認識することができる。また、図３に示す例では、使用量推定部１０ａは、第１の食材ｏｂｊ１の文字領域Ｒ１から、「内容量：１００ｇ」の文字を認識し、豚レバーの使用量を推定することができる。
【００４１】
また、使用量推定部１０ａは、撮像画像の解析結果を参照し、解析された食材／調味料の色や形、大きさの特徴等に基づいて、食材／調味料の認識および認識した食材／調味料の使用量を推定することも可能である。この際、使用量推定部１０ａは、ストレージ部２２に格納されている使用量推定用のデータ（色や形、大きさの特徴等と食材／調味料が紐付けられているデータベース）を用いてもよい。
【００４２】
さらに、使用量推定部１０ａは、撮像画像解析部１３による撮像画像の解析結果と、匂いセンサによって検出された匂いデータと、各種測定データを組み合わせて総合的に食材／調味料の使用量を推定することもできる。
【００４３】
調理方法特定部１０ｂは、調理過程における調理方法（炒めもの、焼き料理、茹で料理、揚げ料理、蒸し料理、生もの、または和えもの等）を判別し、判別結果を指標算出部１０ｃに供給する。具体的には、調理方法特定部１０ｂは、撮像センサ（撮像部３）により取得された撮像画像や、赤外線センサ（熱画像センサ）、温度センサ、湿度センサ等により検出された測定データに基づいて、調理方法を特定することができる。例えば調理方法特定部１０ｂは、撮像画像から認識された調理器具（フライパン、鍋、天ぷら鍋、蒸し器等）に応じて調理方法を特定してもよい。また、調理方法特定部１０ｂは、併せて各種測定データ（温度データ、湿度データ等）を用いて料理方法を特定してもよい。この際、調理方法特定部１０ｂは、ストレージ部２２に格納されている調理方法特定用のデータ（調理器具や、温度データ等と調理方法が紐付けられているデータベース）を用いてもよい。
【００４４】
指標算出部１０ｃは、使用量推定部１０ａにより推定された食材／調味料の使用量に応じて、所定の調理指標を算出する。また、指標算出部１０ｃは、調理方法特定部１０ｂにより特定された調理方法に応じて、算出した調理指標を変換することも可能である。指標算出部１０ｃは、算出／変換した調理指標を、指標比較部１０ｄおよび通知制御部１０ｅに供給する。また、算出／変換された調理指標は、ストレージ部２２に蓄積される。
【００４５】
指標算出部１０ｃは、ストレージ部２２に格納されている指標算出用のデータ（食材／調味料の量と調理指標が紐付けられているデータベース）を用いて算出してもよい。例えば、指標算出部１０ｃは、塩小さじ１の場合は「食塩６ｇ」、塩ひとつまみ（親指、人さし指、中指の３本の指でつまんだ量）の場合は「食塩１ｇ」と算出する。
【００４６】
また、栄養成分の性質によっては、調理方法によって調理指標（カロリーや質量）が変化する場合があるので、指標算出部１０ｃは、調理方法特定部１０ｂに特定された調理方法に応じて算出した指標を変換してもよい。例えば、指標算出部１０ｃは、ストレージ部２２に格納されている調理指標変換用のデータ（調理方法と各調理指標の変化が紐付けられているデータベース）を用いて調理指標を変換する。
【００４７】
また、指標算出部１０ｃは、算出／変換した調理指標と、ストレージ部２２に蓄積された調理指標を積算することも可能である。
【００４８】
指標比較部１０ｄは、指標算出部１０ｃから供給された調理指標を所定値と比較し、比較結果を通知制御部１０ｅに供給する。具体的には、指標比較部１０ｄは、調理指標を、健康を優先した限界指標と比較し、調理指標が限界指標付近（限界指標を基準とする所定の範囲内）に達したか否かを判断する。健康を優先した限界指標とは、健康上一般的に摂取可とされる調理指標の上限値、または、ユーザ８の医療情報（病歴や薬歴を含む）や、健康情報（現在の体調情報を含む）、遺伝情報、体質情報（アレルギー情報を含む）等に基づいて摂取可とされる調理指標の上限値である。ユーザ８の医療情報や健康情報等は、ストレージ部２２から抽出されてもよいし、通信部２１を介して所定のサーバから取得されてもよい。また、ユーザ８の現在の体調情報は、ＨＭＤ１に設けられた生体情報（血圧、体温、脈拍、脳波等）を検出する各種生体センサにより検出されてもよいし、ＨＭＤ１とは別にユーザが所有する生体情報検出装置（不図示）により検出されてもよい。
【００４９】
一方、ユーザ８の好みによっては、健康を優先した限界指標は必ずしも最適ではないので、指標比較部１０ｄは、調理指標を、ユーザ８の好みを優先した限界指標と比較し、調理指標が限界指標付近（限界指標を基準とする所定の範囲内）に達したか否かを判断してもよい。
【００５０】
また、指標比較部１０ｄは、調理完成時の限界指標（上限値）が取得可能な場合、調理指標を、調理完成時の限界指標（上限値）と比較してもよい。例えば調理の仕上げでチーズや生ハム、ソース等を追加する際に塩分が上限値を超えてしまうといった状況を避けるために、ＨＭＤ１は、調理過程において調理完成時の限界指標（上限値）と現在の調理指標（積算された料理指標）との比較結果を通知する。これにより、ユーザ８は、調理途中における塩の入れ過ぎを防止することができる。なお調理完成時の限界指標（上限値）は、現在調理している料理のレシピデータや、ユーザ８が指定した料理名に基づいて取得され得る。
【００５１】
通知制御部１０ｅは、指標算出部１０ｃから供給された調理指標や、指標比較部１０ｄから供給された比較結果をユーザ８に通知するよう制御する。ユーザ８への通知は、表示通知または音声通知が可能である。表示通知の場合、通知制御部１０ｅは調理指標を示す画像データ（例えば図１に示す調理指標表示３０）を生成して表示制御部１７に出力し、また、音声通知の場合、通知制御部１０ｅは調理指標を発声する音声信号を生成して音声制御部１８に出力する。
【００５２】
また、通知制御部１０ｅは、指標比較部１０ｄから供給された比較結果に基づいて、調理指標が限界指標付近（限界指標を基準とする所定の範囲内）に達している場合、警告通知を行うよう制御する。ユーザ８への警告通知は、表示通知、音声通知、振動通知等が可能である。表示通知の場合、通知制御部１０ｅは警告を示す画像データ（例えば図６に示す警告表示３５）を生成して表示制御部１７に出力し、また、音声通知の場合、通知制御部１０ｅはアラーム音声を生成して音声制御部１８に出力する。また、振動通知の場合、通知制御部１０ｅは、ＨＭＤ１に設けられた振動部（不図示）を駆動するための制御信号を生成して振動部に出力する。
【００５３】
（撮像部）
撮像部３は、撮像レンズ３ａ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
【００５４】
（撮像制御部）
撮像制御部１１は、主制御部１０からの指示に基づいて、撮像部３及び撮像信号処理部１２の動作を制御する。例えば撮像制御部１１は、撮像部３、撮像信号処理部１２の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御（モータ制御）を行うものとされる。また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１２のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
【００５５】
さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１２における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。
【００５６】
（撮像信号処理部）
撮像信号処理部１２は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ)回路や、ビデオＡ／Ｄ（アナログ／デジタル）コンバータを備える。これにより、撮像信号処理部１２は、デジタルデータとしての撮像信号を得る。また、撮像信号処理部１２は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。
【００５７】
（撮像画像解析部）
撮像画像解析部１３は、外界情報を取得するための構成の一例である。具体的には、撮像画像解析部１３は、撮像部３により撮像され、撮像信号処理部１２により処理された画像データ（撮像画像）を解析し、画像データに含まれる画像の情報を得る。
【００５８】
具体的には、例えば撮像画像解析部１３は、画像データに対して点検出、線・輪郭検出、領域分割等の解析を行い、解析結果を主制御部１０の使用量推定部１０ａおよび調理方法特定部１０ｂに出力する。
【００５９】
（照明部、照明制御部）
照明部４は、図１に示した発光部４ａとその発光部４ａ（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１４は、主制御部１０の制御に応じて、照明部４に発光動作を実行させる。照明部４における発光部４ａが図１に示したように前方に対する照明を行うものとして取り付けられていることで、照明部４はユーザの視界方向に対する照明動作を行うことになる。
【００６０】
（音声入力部、音声信号処理部）
音声入力部６は、図１に示したマイクロホン６ａ、６ｂと、そのマイクロホン６ａ、６ｂで得られた音声信号を増幅処理するマイクアンプ部やＡ／Ｄ変換器を有し、音声データを音声信号処理部１５に出力する。音声信号処理部１５は、音声入力部６で得られた音声データに対して、ノイズ除去、音源分離等の処理を行う。そして処理した音声データを主制御部１０に供給する。本実施形態によるＨＭＤ１は、音声入力部６および音声信号処理部１５を備えることで、例えばユーザによる音声入力を可能にする。
【００６１】
（表示制御部）
表示制御部１７は、主制御部１０の制御に応じて、通知制御部１０ｅから供給される画像データを表示部２に表示するための駆動制御を行う。表示制御部１７は、例えば液晶ディスプレイとされる表示部２において表示させるための画素駆動回路で構成されていてもよい。また、表示制御部１７は、表示部２の各画素の透過率を制御し、表示部２をスルー状態（透過または半透過状態）にすることもできる。また、表示制御部１７は、例えばビデオプロセッサ、デジタルシグナルプロセッサ、Ｄ／Ａ変換器などを含んでもよく、表示する画像データの輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整等を行う。
【００６２】
（表示部）
表示部２は、表示制御部１７による制御に従って、画像データを表示する。具体的には、本実施形態による表示部２は、調理指標表示や警告表示等を行う。
【００６３】
（音声制御部）
音声制御部１８は、主制御部１０の制御に応じて、通知制御部１０ｅから供給される音声信号データを音声出力部５から出力するための制御を行う。また、音声制御部１８は、出力する音声信号データの音量調整、音質調整、音響エフェクト等を行う。
【００６４】
（音声出力部）
音声出力部５は、図１に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路を有する。また、音声出力部５は、いわゆる骨伝導スピーカとして構成されてもよい。音声出力部５は、音声制御部１８による制御に従って、音声信号データを出力（再生）する。
【００６５】
（ストレージ部）
ストレージ部２２は、所定の記録媒体に対してデータの記録再生を行う部位とされる。ストレージ部２２は、例えばＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部２２としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
【００６６】
また、本実施形態によるストレージ部２２は、使用量推定部１０ａに用いられる使用量推定用のデータ、調理方法特定部１０ｂに用いられる調理方法特定用のデータ、指標算出部１０ｃに用いられる指標算出用のデータおよび指標変換用のデータ等を格納する。また、ストレージ部２２は、ユーザ８の医療情報、健康情報、遺伝情報、および体質情報等を格納する。
【００６７】
さらに、ストレージ部２２は、指標算出部１０ｃにより算出／変換された調理指標を格納する。このように、ＨＭＤ１は、調理過程において算出した調理指標を蓄積していくことで、出来上がった料理のより正確な調理指標を生成することができる。ストレージ部２２には、出来上がった料理と、その調理指標（モニタ結果）が紐付けて記憶される。
【００６８】
（通信部）
通信部２１は外部機器との間でのデータの送受信を行う。通信部２１は、例えば無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。
【００６９】
本実施形態による通信部２１は、例えば濃度センサが設けられた調理器具から測定データを受信する。
【００７０】
以上、本実施形態によるＨＭＤ１の内部構成について詳細に説明した。なお、音声系の構成として、音声出力部５、音声入力部６、音声信号処理部１５、音声制御部１８を示したが、これらは必ずしも全てを備える必要はない。また、ＨＭＤ１の構成として通信部２１を示したが、必ずしも備える必要はない。
【００７１】
上記構成により、本実施形態によるＨＭＤ１は、調理過程において、調理対象の食材または調理に使用する調味料の使用量を推定し、推定結果に基づいて食材また調味料の調理指標を算出し、算出した調理指標をユーザに実時間で通知することができる。また、ＨＭＤ１は、調理過程において算出した調理指標を蓄積していくことで、出来上がった料理のより正確な調理指標を生成することができる。続いて、本実施形態のＨＭＤ１の動作処理について説明する。
【００７２】
＜２−２．ＨＭＤの動作処理＞
上述したように、本実施形態によるＨＭＤ１は、ユーザ８に装着され、ユーザ８が調理している際に、調理指標をリアルタイムで通知する。このようなＨＭＤ１による調理指標通知について、以下図４を参照して具体的に説明する。
【００７３】
図４は、本実施形態によるＨＭＤ１による調理指標表示処理を示すフローチャートである。図４に示すように、まず、ステップＳ１０３において、ＨＭＤ１は、撮像部３により調理過程の撮影を開始する。
【００７４】
次に、ステップＳ１０６において、ＨＭＤ１の使用量推定部１０ａは、撮像部３により撮像された調理過程の撮像画像に基づいて、調理対象の食材または調理に使用する調味料の使用量を推定する。
【００７５】
次いで、ステップＳ１０９において、指標算出部１０ｃは、使用量推定部１０ａにより推定された食材または調味料の使用量に応じて、食材または調味料の調理指標Ａを生成する。
【００７６】
次に、ステップＳ１１２において、指標算出部１０ｃは、調理方法特定部１０ｂにより調理方法が特定された場合、算出した調理指標Ａを調理方法に応じて変換する。
【００７７】
次いで、ステップＳ１１５において、通知制御部１０ｅは、指標算出部１０ｃから供給された調理指標（調理指標Ａの現在値）を表示部２に表示するよう表示制御部１７に指示を出す。または、指標比較部１０ｄにより、調理指標Ａと、所定の限界指標（上限値）が比較された場合、通知制御部１０ｅは、比較結果（上限値に対する調理指標Ａの現在値の割合；Ｐ％）を表示部２に表示するよう表示制御部１７に指示を出してもよい。
【００７８】
続いて、ステップＳ１１８において、通知制御部１０ｅは、上記Ｐ％（上限値に対する調理指標Ａの現在値の割合）が、９０％以上か否かを判断する。
【００７９】
９０％を下回る場合（Ｓ１１８／Ｎｏ）、ステップＳ１２１において、通知制御部１０ｅは、Ｐ％を通常表示するよう制御する。
【００８０】
一方、９０％以上の場合（Ｓ１１８／Ｙｅｓ）、ステップＳ１２４において、通知制御部１０ｅは、Ｐ％が、１００＋ａ（アルファ）％以上か否かを判断する。すなわち、通知制御部１０ｅは、調理指標Ａの現在値が、上限値＋ａ（アルファ）を超えたか否かを判断する。
【００８１】
１００＋ａ％を下回る場合（Ｓ１２４／Ｎｏ）、ステップＳ１３０において、通知制御部１０ｅは、表示部２からの警告表示または音声出力部５からの警告アナウンスを行うよう表示制御部１７または音声制御部１８に指示する。これにより、ＨＭＤ１は、調理指標Ａの現在値が９０〜１００＋ａ％の間の場合に、ユーザに対して警告を行うことができる。
【００８２】
一方、１００＋ａ％以上の場合（Ｓ１２４／Ｙｅｓ）、ステップＳ１２７において、通知制御部１０ｅは、表示部２からのストップ表示または音声出力部５からのストップアナウンスを行うよう表示制御部１７または音声制御部１８に指示する。
【００８３】
ストップ通知（禁止通知）は、警告通知よりも注意レベルが高く、例えば通知制御部１０ｅは「投入禁止」と大きく表示部２に表示させたり、食材や調味料の投入を止める（撮像部３の画角から外れる）まで音声出力部５から警告音を出力させたりする。また、調味料容器の蓋が駆動式の場合、通知制御部１０ｅは、ＨＭＤ１から調味料容器に対して、蓋を閉じさせるコマンドを発信し、自動的に調味料容器の蓋を閉じさせ、調味料の料理への投入ができないようにしてもよい。
【００８４】
そして、ステップＳ１３３において、主制御部１０は、食材または調味料の追加があるか否かを判断する。例えば、撮像レンズ３ａにより撮像された撮像画像に基づいて、ユーザ８がフライパン等の調理器具に食材または調味料を追加しようとする動作が抽出された場合に、追加ありと判断されてもよい。
【００８５】
食材または調味料の追加がある場合（Ｓ１３３／Ｙｅｓ）、ステップＳ１０６において、使用量推定部１０ａは、追加される食材または調味料の使用量を推定し、続くステップＳ１０９において、指標算出部１０ｃが、食材または調味料の調理指標Ａを生成する。この際、指標算出部１０ｃは、調理開始時から蓄積（積算）した調理指標に、今回算出した調理指標を積算した値を、調理指標Ａの現在値として生成する。以下、上記Ｓ１１２〜Ｓ１３３が繰り返される。
【００８６】
食材または調味料の追加がない場合（Ｓ１３３／Ｎｏ）、調理終了と判断し、調理指標の通知処理が終了する。
【００８７】
以上、本実施形態による調理指標表示処理について具体的に説明した。
【００８８】
＜＜３．画面表示例＞＞
次に、本実施形態による調理指標の画面表示例について図５〜図７を参照して説明する。上述したように、本実施形態によるＨＭＤ１は、食材や調味料の調理指標を、調理過程においてリアルタイムで表示することで、ユーザ８の食生活を支援することができる。
【００８９】
＜３−１．指標表示＞
図５Ａは、食材を投入した場合の調理指標の画面表示例を示す図である。図５Ａでは、撮像画像Ｐ３の画像解析の結果に基づいて、撮像画像Ｐ３から抽出されたオブジェクトであるフライパンｏｂｊ５に、図３に示す撮像画像Ｐ１から抽出され認識済みの第１の食材ｏｂｊ１（豚レバー）が投入された場合に表示される調理指標表示３１を示す。本実施形態によるＨＭＤ１は、調理開始時から調理過程を継続的に撮像（一連の調理動作を撮像）し、撮像画像から抽出した食材や調味料容器、調理器具等の各オブジェクトの色や形、大きさ等の特徴量を記憶し、トラッキングすることが可能である。これにより、ＨＭＤ１は、ユーザ８がどのような食材、調味料を調理過程において追加（投入）したのかを継続的に観察することができる。
【００９０】
図５Ａに示す調理指標表示３１は、第１の食材ｏｂｊ１（豚レバー）のカロリーの表示や、栄養成分の表示を含む。第１の食材ｏｂｊ１については、図３に示す撮像画像Ｐ１からラベルの文字認識により「豚レバー、１００ｇ」であることが推定されている。したがって、指標算出部１０ｃは、「豚レバー、１００ｇ」のカロリーや栄養成分を示す調理指標を算出することができる。
【００９１】
次いで、調理が進み、他の食材もフライパンに追加されていくと、指標算出部１０ｃは、各食材の調理指標を算出し、算出した料理指標を積算していく。
【００９２】
続いて、調味料の調理指標の表示について図５Ｂを参照して説明する。図５Ｂは、調味料を追加した場合の調理指標の画面表示例を示す図である。図５Ｂの上側に示すように、調理過程において、ユーザ８が例えば塩の調味料容器から計量スプーンで塩をすくう過程が撮像されると、使用量推定部１０ａは、撮像された撮像画像Ｐ５の画像解析の結果に基づいて、調味料容器ｏｂｊ３と計量スプーンｏｂｊ７を認識する。調味料容器ｏｂｊ３は、図３に示す撮像画像Ｐ１から抽出され認識済みの「塩」の調味料容器ｏｂｊ３であるので、使用量推定部１０ａは、計量スプーンｏｂｊ７でどの程度の量がすくわれたかに応じて、塩の使用量を推定することができる。なお調味料の使用量推定は、このような画像解析に限定されず、例えば計量スプーンに塩分濃度センサが設けられている場合、使用量推定部１０ａは、計量スプーンから送信された測定データに基づいて塩の使用量を推定してもよい。
【００９３】
次に、図５Ｂの下側に示す撮像画像Ｐ６の画像解析の結果に基づいて、計量スプーンｏｂｊ７ですくった塩をフライパンｏｂｊ５に追加しようとする動作が抽出された場合、指標算出部１０ｃは、追加される調味料（ここでは「塩」）の調理指標を算出する。
【００９４】
そして、通知制御部１０ｅは、算出された調理指標の表示を含む調理指標表示３３を表示部２に表示するよう表示制御部１７に指示を出す。
【００９５】
以上説明したように、本実施形態によるＨＭＤ１は、調理過程を継続的に観察し、調理される食材や調理に使用される調味料の調理指標を算出し、ユーザ８に通知することができる。なおＨＭＤ１による通知は、算出した調理指標の通知に限定されず、さらに、算出した調理指標を所定値と比較した比較結果に基づく警告通知や、比較結果の通知を行うことも可能である。以下、一例として、調理指標と所定値との比較結果に基づく画面表示について、図６〜図７を参照して説明する。
【００９６】
＜３−２．比較結果に基づく表示＞
（３−２−１．警告表示）
図６は、本実施形態による警告表示の画像表示例を示す図である。図６に示す撮像画像Ｐ７の画像解析の結果に基づいて、指標算出部１０ｃは、計量スプーンｏｂｊ７でフライパンｏｂｊ５に追加される塩の量を示す調理指標を算出し、算出した調理指標を指標比較部１０ｄに供給する。この際、指標算出部１０ｃは、調理過程において蓄積された塩の量を示す調理指標に、追加される塩の量を示す調理指標を積算した調理指標を算出してもよい。
【００９７】
次いで、指標比較部１０ｄは、指標算出部１０ｃにより算出された調理指標を所定値と比較する。比較する所定値は、上述したように例えば健康を優先した所定の上限値、または味の好みを優先した所定の上限値である。
【００９８】
そして、通知制御部１０ｅは、指標比較部１０ｄから供給された比較結果に基づいて、指標算出部１０ｃにより算出された塩の量を示す調理指標が所定値付近に達していた場合、図６に示すように、「食塩の量が上限を超えます」との警告を示す警告表示３５を表示部２に表示させる。ここで、所定値付近に達していた場合とは、例えば調理指標で示される食塩の量が、上限値に対して９０％〜１００＋ａ％の割合の場合とする。
【００９９】
また、調理指標が所定値付近に達し、さらに超えていた場合、具体的には上限値に対して１００＋ａ％以上の割合であった場合、通知制御部１０ｅは、「食塩の使用禁止」との警告を示す禁止表示を表示部２に表示させてもよい。
【０１００】
（３−２−１．比較結果表示）
以上説明したように、所定の調理指標が所定値付近に達した場合、通知制御部１０ｅは、警告表示を行い、ユーザ８に警告を行うことができる。しかしながら、調理の仕上げで重要な材料を最後に追加する際など、塩分や糖分が上限値を超えることが通知されても当該材料を追加しないことは完成品として望ましくない場合も想定される。そこで、本実施形態によるＨＭＤ１の指標比較部１０ｄは、指標算出部１０ｃにより算出された調理指標と、調理完成時の限界指標（上限値）との比較を行い、通知制御部１０ｅにより、かかる比較の結果をユーザ８に通知することで、完成時の上限値を考慮した通知を行うことができる。以下、図７を参照してこのような比較結果の通知の一例について説明する。
【０１０１】
図７は、本実施形態による比較結果通知の画面表示例を示す図である。図７に示すように、通知制御部１０ｅは、指標比較部１０ｄによる比較結果に基づいて、調理完成時の上限値に対する現在の調理指標の割合を示すバー表示３７を表示部２に表示させるよう表示制御部１７に指示を出す。図７に示す例では、撮像画像Ｐ９にバー表示３７が重畳表示されているが、表示制御部１７は、表示部２を透過制御した上でバー表示３７をＡＲ表示してもよい。
【０１０２】
これにより、ユーザ８は、現時点での調理指標の割合を把握することができ、調理途中に特定の調味料や食材を入れ過ぎないようにすることができる。なお図７に示す例では、撮像画像Ｐ９にバー表示３７が重畳表示されているが、表示制御部１７は、表示部２を透過制御した上でバー表示３７をＡＲ表示してもよい。
【０１０３】
＜＜４．補足＞＞
上述したように、本実施形態によるＨＭＤ１は、調理過程において、調理対象の食材や調理に使用する調味料の調理指標を算出し、算出した調理指標をリアルタイムでユーザ８に通知することができる。また、ＨＭＤ１は、調理過程において継続的に算出した調理指標を蓄積することで、完成した料理のより正確な調理指標を生成することができる。ここで、このように生成した調理指標の利用例について補足として説明する。
【０１０４】
料理の調理指標は、例えば飲食時に料理のカロリーや栄養成分をユーザに通知する際に利用される。ユーザは、料理のカロリーや栄養成分が飲食時に通知されることで、摂取カロリーや栄養成分を直感的に把握することができる。
【０１０５】
このような飲食時におけるカロリーや栄養成分の通知も、ＨＭＤ１の通知制御部１０ｅにより行うことが可能である。具体的には、ＨＭＤ１が、図８に示す主制御部１０’を有することで、調理過程において生成した調理指標を用いて、飲食時に、料理の調理指標をユーザ８に通知することができる。
【０１０６】
＜４−１．主制御部の機能構成＞
主制御部１０’は、図８に示すように、料理判別部１０ｆ、調理指標取得部１０ｇ、飲食指標算出部１０ｈ、飲食指標比較部１０ｉ、および通知制御部１０ｅとして機能する。料理判別部１０ｆは、撮像部３により撮像された飲食対象となる料理の撮像画像の解析結果（料理の色、形、大きさ等の特徴量）に基づいて、料理や料理の数を判別する。料理判別部１０ｆによる料理の判別方法は、撮像画像の解析結果に基づく場合の他、料理が盛りつけられている皿に付加されたＩＣタグやマーカー等の読み取り結果に基づく判別方法であってもよい。
【０１０７】
調理指標取得部１０ｇは、料理判別部１０ｆにより判別された料理の調理指標を取得する。ここでは、調理過程において図２に示す指標算出部１０ｃにより算出された調理指標がストレージ部２２に蓄積され、完成品の料理画像や料理名称と紐付けられてデータベース化されている場合を前提とする。したがって、調理指標取得部１０ｇは、ストレージ部２２から調理指標を取得することができる。
【０１０８】
飲食指標算出部１０ｈは、ユーザ８が飲食する飲食物の指標を算出する。具体的には、飲食指標算出部１０ｈは、撮像部３により撮像された撮像画像の解析結果に基づいて、ユーザ８が飲食する飲食分の指標を算出する。飲食する飲食物の指標とは、すなわち摂取カロリーや、摂取する栄養成分の質量を示す指標である。
【０１０９】
飲食指標比較部１０ｉは、飲食指標算出部１０ｈにより算出された飲食指標を、所定値と比較する。所定値とは、例えば１日の摂取カロリー上限値、１日の摂取栄養成分上限値等である。
【０１１０】
通知制御部１０ｅは、飲食指標算出部１０ｈにより算出された飲食指標や飲食指標比較部１０ｉによる比較結果をユーザ８に通知するよう、表示制御部１７または音声制御部１８に指示を出す。
【０１１１】
以上、ＨＭＤ１の主制御部１０’の機能構成について具体的に説明した。続いて、料理の調理指標に基づいて飲食時に料理のカロリーや栄養成分をユーザに通知する場合の動作処理について、図９を参照して説明する。
【０１１２】
＜４−２．飲食指標の通知処理＞
図９は、調理指標を用いて飲食時に飲食指標の通知を行う際の動作処理を示すフローチャートである。図９に示すように、まず、ステップＳ２０３において、ＨＭＤ１は、撮像部３により飲食時の撮影を開始する。ここで、ユーザ８が飲食した量を飲食指標ＡＥとする。飲食指標ＡＥは、摂取カロリーや摂取した栄養成分の質量を示す。
【０１１３】
次に、ステップＳ２０６において、ＨＭＤ１の主制御部１０’は、飲食開始時に、飲食指標ＡＥ＝０と認識する。
【０１１４】
次いで、ステップＳ２０９において、主制御部１０’の料理判別部１０ｆは、撮像部３により撮像された撮像画像の解析結果に基づいて料理の数を判別し、調理指標取得部１０ｇは、各料理の調理指標Ａを取得する。料理判別部１０ｆは、料理の数を判別した際、各料理にナンバーを振ってもよい。また、調理指標取得部１０ｇは、例えば料理がナンバー１〜５の５つある場合、各料理の調理指標Ａ１〜Ａ５を取得する。
【０１１５】
次に、ステップＳ２１２において、飲食指標算出部１０ｈは、撮像部３により撮像された撮像画像の解析結果に基づいて、ユーザ８が現在飲食している料理のナンバーｉを特定し、当該料理の調理指標Ａｉを、摂取した飲食指標ＡＥｉとして積算する。すなわち、飲食指標算出部１０ｈは、飲食指標ＡＥ（現在値）＝ＡＥｉ（今回摂取した飲食指標）として算出し、また、摂取した飲食指標ＡＥｉが追加飲食の場合は、飲食指標ＡＥ（現在値）＝ＡＥ（前回までの積算した飲食指標）＋ＡＥｉ（今回摂取した飲食指標）として算出する。
【０１１６】
次いで、ステップＳ２１５において、主制御部１０の通知制御部１０ｅは、飲食指標算出部１０ｈにより算出された飲食指標ＡＥの現在値を表示部２に表示するよう表示制御部１７に指示を出す。または、飲食指標比較部１０ｉにより現在の飲食指標ＡＥと所定値（摂取上限値）が比較された場合、通知制御部１０ｅは、比較結果（上限値に対する飲食指標ＡＥの現在値の割合；Ｑ％）を表示部２に表示するよう表示制御部１７に指示を出してもよい。摂取上限値は、例えば１日の摂取カロリー上限値や、１週間の摂取カロリー上限値、１日のコレステロール上限値等である。また、このような上限値は、ユーザの医療情報や健康情報に基づいて設定されていてもよい。
【０１１７】
続いて、ステップＳ２１８において、通知制御部１０ｅは、上記Ｑ％（摂取上限値に対する飲食指標ＡＥの現在値の割合）が、９０％以上か否かを判断する。
【０１１８】
９０％を下回る場合（Ｓ２１８／Ｎｏ）、ステップＳ２２１において、通知制御部１０ｅは、Ｑ％を通常表示するよう制御する。
【０１１９】
一方、９０％以上の場合（Ｓ２１８／Ｙｅｓ）、ステップＳ２２４において、通知制御部１０ｅは、Ｑ％が、１００＋ａ（アルファ）％以上か否かを判断する。すなわち、通知制御部１０ｅは、飲食指標ＡＥの現在値が、摂取上限値＋ａ（アルファ）を超えたか否かを判断する。
【０１２０】
１００＋ａ％を下回る場合（Ｓ２２４／Ｎｏ）、ステップＳ２３０において、通知制御部１０ｅは、表示部２からの警告表示または音声出力部５からの警告アナウンスを行うよう表示制御部１７または音声制御部１８に指示する。これにより、ＨＭＤ１は、飲食指標ＡＥの現在値が９０〜１００＋ａ％の間の場合に、ユーザに対して警告を行うことができる。
【０１２１】
一方、１００＋ａ％以上の場合（Ｓ２２４／Ｙｅｓ）、ステップＳ２２７において、通知制御部１０ｅは、表示部２からのストップ表示または音声出力部５からのストップアナウンスを行うよう表示制御部１７または音声制御部１８に指示する。
【０１２２】
ストップ通知（禁止通知）は、警告通知よりも注意レベルが高く、例えば通知制御部１０ｅは「飲食禁止」と大きく表示部２に表示させたり、飲食を止めるまで音声出力部５から警告音を出力させたりする。
【０１２３】
そして、ステップＳ２３３において、主制御部１０’は、追加飲食があるか否かを判断する。例えば、撮像レンズ３ａにより撮像された撮像画像に基づいて、ユーザ８が飲食を継続しようとする動作が抽出された場合に、追加飲食ありと判断されてもよい。
【０１２４】
追加飲食がある場合（Ｓ２３３／Ｙｅｓ）、ステップＳ２１２において、飲食指標算出部１０ｈは、追加飲食する料理ｉの調理指標Ａｉに基づいて、飲食指標ＡＥ（現在値）＝ＡＥ（前回までの積算した飲食指標）＋ＡＥｉ（今回摂取した飲食指標）として算出する。以下、上記Ｓ２１５〜Ｓ２３３が繰り返される。
【０１２５】
追加飲食がない場合（Ｓ２３３／Ｎｏ）、飲食終了と判断し、飲食指標の通知処理が終了する。
【０１２６】
＜＜５．まとめ＞＞
上述したように、本実施形態によるＨＭＤ１では、調理過程において指標を算出し、調理中にリアルタイムで調理指標をユーザに通知することができる。また調理指標は、料理の調理方法に応じて変換され得る。
【０１２７】
また、ＨＭＤ１は、現在の調理指標を、所定値と比較した比較結果に基づく警告通知や禁止通知、所定値に対する調理指標の現在値の割合の通知等を行うこともできる。
【０１２８】
さらに、ＨＭＤ１は、調理過程を継続的に観察して調理対象の食材や調理に使用された調味料の各調理指標を算出し、算出した調理指標を蓄積していくので、出来上がった料理のより正確な調理指標を生成することができる。
【０１２９】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１３０】
例えば、ＨＭＤ１に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、上述したＨＭＤ１の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【０１３１】
また、上記各実施形態では、情報処理装置の一例としてＨＭＤ１を用いたが、本実施形態による情報処理装置はＨＭＤ１に限定されず、例えば、スマートフォンおよび眼鏡型ディスプレイから形成される表示制御システムであってもよい。スマートフォン（情報処理装置）は、眼鏡型ディスプレイと無線／有線により接続可能であって、データの送受信を行うことができる。
【０１３２】
ここで、眼鏡型ディスプレイとは、図１に示すＨＭＤ１と同様に、両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを有し、両耳殻にかけられることでユーザに装着される。また、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部が配置される構成とされている。ＨＭＤ１は表示部２の液晶パネルの透過率を制御することで、スルー状態、即ち透明または半透明の状態にできるので、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
【０１３３】
また、眼鏡型ディスプレイには、図１に示すＨＭＤ１と同様に、装着状態において、ユーザの視線方向を撮像するための撮像レンズが設けられ、眼鏡型ディスプレイは、撮像した画像をスマートフォン（情報処理装置）に送信する。
【０１３４】
スマートフォン（情報処理装置）は、主制御部１０と同様の機能を有し、撮像画像から調理対象の食材や調味料の使用量を推定し、推定した調理指標を示す調理指標表示画像を生成する。そして、スマートフォン（情報処理装置）は、生成した調理指標表示画像を眼鏡型ディスプレイに送信し、眼鏡型ディスプレイの表示部に、調理指標表示画像が表示される。
【０１３５】
また、眼鏡型ディスプレイと形状は類似しているが表示機能を有しない眼鏡型装置への適用も考えられる。この場合、眼鏡型装置に設けられた、装着者（ユーザ）の視線方向を撮影するカメラにより調理過程を撮像し、撮像画像がスマートフォン（情報処理装置）に送信される。そして、スマートフォン（情報処理装置）は、撮像画像に写る調理過程に基づいて調理指標を示す調理指標表示画像を生成し、スマートフォンの表示部に表示する。
【０１３６】
さらに、上述した実施形態では、ＨＭＤ１の撮像画像解析部１３による撮像画像の解析結果に基づいて、使用量推定部１０ａが食材や調味料の使用量を判別したり、調理方法特定部１０ｂが調理方法を特定したりする旨を記載したが、かかる撮像画像の解析処理はクラウド上で行われてもよい。ＨＭＤ１は、通信部２１を介して調理過程の撮像画像をクラウド上に送り、クラウド上（例えば解析用サーバ）で解析された結果を受信し、これに基づいて使用量推定部１０ａや調理方法特定部１０ｂにより、使用量の推定や調理方法の特定を行う。
【０１３７】
なお、本技術は以下のような構成も取ることができる。
（１）
センサにより検出された信号に基づいて、調理対象の食材および調理に使用する調味料の少なくともいずれかの使用量を推定する推定部と、
前記推定部による推定結果に応じて、所定の調理指標を算出する指標算出部と、
前記指標算出部により算出された調理指標を通知するよう制御する通知制御部と、
を備える、情報処理装置。
（２）
前記情報処理装置は、調理方法を特定する調理方法特定部をさらに備え、
前記指標算出部は、前記調理方法特定部により特定された調理方法に応じて、前記算出した調理指標を変換する、前記（１）に記載の情報処理装置。
（３）
前記情報処理装置は、前記通知制御部による制御に従って前記調理指標を表示する表示部をさらに備える、前記（１）または（２）に記載の情報処理装置。
（４）
前記指標算出部は、算出した調理指標を積算する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記通知制御部は、前記指標算出部により算出された調理指標が所定値付近に達した場合、ユーザに対して警告通知を行うよう制御する、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記所定値は、限界指標であって、
前記積算された料理指標は、複数の限界指標と比較される、前記（５）に記載の情報処理装置。
（７）
前記複数の限界指標は、健康を優先した所定の値および好みを優先した所定の値を含む、前記（６）に記載の情報処理装置。
（８）
前記通知制御部は、前記指標算出部により積算された調理指標と調理完成時の所定値の比較結果に応じて、ユーザに対して警告通知を行うよう制御する、前記（４）に記載の情報処理装置。
（９）
前記調理指標は、前記調理対象の食材または前記調味料の質量または熱量の値である、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記質量または熱量の値は、栄養成分毎の質量または熱量の値である、前記（９）に記載の情報処理装置。
（１１）
前記センサは、濃度センサ、撮像センサ、または匂いセンサである、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記情報処理装置は、頭部装着型または眼鏡型のヘッドマウントディスプレイである、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記情報処理装置は、スマートフォン、携帯電話端末、タブレット端末、ＰＣ、デジタルカメラ、またはデジタルカムコーダである、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
コンピュータに、
センサにより検出された信号に基づいて、調理対象の食材および調理に使用する調味料の少なくともいずれかの使用量を推定する推定部と、
前記推定部による推定結果に応じて、所定の調理指標を算出する指標算出部と、
前記指標算出部により算出された調理指標を通知するよう制御する通知制御部と、
として機能させるためのプログラムが記憶された、記憶媒体。
【符号の説明】
【０１３８】
１    ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）
２    表示部
３    撮像部
３ａ    撮像レンズ
４    照明部
４ａ    発光部
５    音声出力部
６    音声入力部
１０、１０’    主制御部
１０ａ    使用量推定部
１０ｂ    調理方法特定部
１０ｃ    指標算出部
１０ｄ    指標比較部
１０ｅ    通知制御部
１０ｆ    料理判別部
１０ｇ    調理指標取得部
１０ｈ    飲食指標算出部
１０ｉ    飲食指標比較部
１１    撮像制御部
１２    撮像信号処理部
１３    撮像画像解析部
１４    照明制御部
１５    音声信号処理部
１７    表示制御部
１８    音声制御部
２１    通信部
２２    ストレージ部
【図１】
2014132521.tif 000003
【図２】
2014132521.tif 000004
【図３】
2014132521.tif 000005
【図４】
2014132521.tif 000006
【図５Ａ】
2014132521.tif 000007
【図５Ｂ】
2014132521.tif 000008
【図６】
2014132521.tif 000009
【図７】
2014132521.tif 000010
【図８】
2014132521.tif 000011
【図９】
2014132521.tif 000012
【国際調査報告】
2014132521.tif 000013
2014132521.tif 000014
2014132521.tif 000015
2014132521.tif 000016