(57)【要約】【課題】複数種類の飲食物を含んだ飲食物のセットについても、その食事内容の指定を容易にでき、情報入力の効率を向上できる情報処理装置を提供する。【解決手段】少なくとも一種類の飲食物を含んだ飲食物のセットを過去に飲食した際に取得した飲食時情報と、当該セットを識別するセット識別情報とを関連付けたセット参照情報、及び、セット識別情報と栄養価の情報を含む設定値とを関連付けた設定情報を保持する。飲食物の飲食時に、予め定めた種類の情報を受け入れると、この受け入れた情報に類似する飲食時情報をセット参照情報のうちから少なくとも一つ検索する。【選択図】図１
2015132864.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一種類の飲食物を含んだ飲食物のセットを過去に飲食した際に取得した飲食時情報と、当該セットを識別するセット識別情報とを関連付けたセット参照情報、及び、前記セット識別情報と栄養価の情報を含む設定値とを関連付けた設定情報を保持する保持手段と、
飲食物の飲食時に、予め定めた種類の情報を受け入れる受入手段と、
前記受け入れた情報に類似する飲食時情報を前記保持手段に保持されたセット参照情報のうちから少なくとも一つ検索する検索手段と、
前記検索により見出されたセット参照情報に係るセット識別情報を提示し、利用者の選択を促す提示手段と、
前記提示手段で提示されたセット識別情報のうちから利用者が選択したセット識別情報を含む設定情報を、前記保持手段から読み出し、読み出した設定情報に含まれる設定値の情報を取得する取得手段と、
当該取得した設定値の情報を出力する出力手段と、
を含む情報処理装置。
【請求項２】
請求項１記載の情報処理装置であって、
前記保持手段は、飲食時情報として、セットに含まれる各種類の飲食物の画像情報と、当該画像情報に撮影された飲食物を識別する個別識別情報とを関連付けた個別参照情報をさらに保持し、
前記保持手段に保持されたセット参照情報には、さらに、当該セットに含まれる種類の飲食物を識別する個別識別情報が関連付けられて保持されており、
前記受入手段は、予め定めた種類の情報として飲食物の画像の情報を受け入れ、
前記検索手段は、前記受け入れた画像情報に含まれる各種類の飲食物の画像に類似する複数の画像情報を前記保持手段から検索して、当該検索により見出された複数の画像情報のそれぞれに関連付けられた個別識別情報を取得し、当該取得した複数の個別識別情報を含むセット参照情報を検索して、当該検索の結果を出力する情報処理装置。
【請求項３】
請求項１または２記載の情報処理装置であって、
利用者を識別する情報を取得する手段をさらに含み、
前記保持手段は、設定情報としてさらに、飲食物の分量に関する情報を利用者ごとに保持し、
前記出力手段は、前記取得した情報で識別される利用者に係る、前記取得した設定値の飲食物の分量に関する情報を用いて、当該設定値における栄養価の情報を補正し、補正した栄養価の情報を出力する情報処理装置。
【請求項４】
コンピュータを、
少なくとも一種類の飲食物を含んだ飲食物のセットを過去に飲食した際に取得した飲食時情報と、当該セットを識別するセット識別情報とを関連付けたセット参照情報、及び、前記セット識別情報と栄養価の情報を含む設定値とを関連付けた設定情報を保持する保持手段と、
飲食物の飲食時に、予め定めた種類の情報を受け入れる受入手段と、
前記受け入れた情報に類似する飲食時情報を前記保持手段に保持されたセット参照情報のうちから少なくとも一つ検索する検索手段と、
前記検索により見出されたセット参照情報に係るセット識別情報を提示し、利用者の選択を促す提示手段と、
前記提示手段で提示されたセット識別情報のうちから利用者が選択したセット識別情報を含む設定情報を、前記保持手段から読み出し、読み出した設定情報に含まれる設定値の情報を取得する取得手段と、
当該取得した設定値の情報を出力する出力手段と、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、飲食物の情報に係る処理を行う情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
食品の種類（コロッケである、など）と量とを画像から識別して、当該種類の食品の、識別された量だけのカロリー値を演算するという考えが、特許文献１に開示されている。
【０００３】
また、撮像された画像から作業員がカロリー値を決定するにあたり、作業員の業務を支援するため、過去の食事の内容から類似のものを検索させる技術が、特許文献２に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１２２３１１号公報
【特許文献２】特開２００２−０７３８１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、今日、一回の食事で飲食する食品が一品のみであることは却って少ない。例えば昼食ではいわゆる「定食」などのセットメニューが用意されており、この単位で注文するのが一般的である。
【０００６】
このような常態に鑑みると、食品の種類や量を画像から識別する技術では、過去に同じセットで飲食したときの記録があるにも関わらず、毎回各食品の種類や量を識別することとなって効率が低い。
【０００７】
本発明は上記実情に鑑みて為されたもので、飲食物の情報入力を効率良く行うことのできる情報処理装置、及びプログラムを提供することを、その目的の一つとする。
【課題を解決するための手段】
【０００８】
上記従来例の問題点を解決する本発明は、情報処理装置であって、少なくとも一種類の飲食物を含んだ飲食物のセットを過去に飲食した際に取得した飲食時情報と、当該セットを識別するセット識別情報とを関連付けたセット参照情報、及び、前記セット識別情報と栄養価の情報を含む設定値とを関連付けた設定情報を保持する保持手段と、飲食物の飲食時に、予め定めた種類の情報を受け入れる受入手段と、前記受け入れた情報に類似する飲食時情報を前記保持手段に保持されたセット参照情報のうちから少なくとも一つ検索する検索手段と、前記検索により見出されたセット参照情報に係るセット識別情報を提示し、利用者の選択を促す提示手段と、前記提示手段で提示されたセット識別情報のうちから利用者が選択したセット参照情報を含む設定情報を、前記保持手段から読み出し、読み出した設定情報に含まれる設定値の情報を取得する取得手段と、当該取得した設定値の情報を出力する出力手段と、を含むこととしたものである。
【０００９】
またここで前記保持手段は、飲食時情報として、セットに含まれる各種類の飲食物の画像情報と、当該画像情報に撮影された飲食物を識別する個別識別情報とを関連付けた個別参照情報をさらに保持し、前記保持手段に保持されたセット参照情報には、さらに、当該セットに含まれる種類の飲食物を識別する個別識別情報が関連付けられて保持されており、前記受入手段は、予め定めた種類の情報として飲食物の画像の情報を受け入れ、前記検索手段は、前記受け入れた画像情報に含まれる各種類の飲食物の画像に類似する複数の画像情報を前記保持手段から検索して、当該検索により見出された複数の画像情報のそれぞれに関連付けられた個別識別情報を取得し、当該取得した複数の個別識別情報を含むセット参照情報を検索して、当該検索の結果を出力することとしてもよい。
【００１０】
また、利用者を識別する情報を取得する手段をさらに含み、前記保持手段は、設定情報としてさらに、飲食物の分量に関する情報を利用者ごとに保持し、前記出力手段は、前記取得した情報で識別される利用者に係る、前記取得した設定値の飲食物の分量に関する情報を用いて、当該設定値における栄養価の情報を補正し、補正した栄養価の情報を出力こととしてもよい。
【００１１】
さらに本発明の一態様に係るプログラムは、コンピュータを、少なくとも一種類の飲食物を含んだ飲食物のセットを過去に飲食した際に取得した飲食時情報と、当該セットを識別するセット識別情報とを関連付けたセット参照情報、及び、前記セット識別情報と栄養価の情報を含む設定値とを関連付けた設定情報を保持する保持手段と、飲食物の飲食時に、予め定めた種類の情報を受け入れる受入手段と、前記受け入れた情報に類似する飲食時情報を前記保持手段に保持されたセット参照情報のうちから少なくとも一つ検索する検索手段と、前記検索により見出されたセット参照情報に係るセット識別情報を提示し、利用者の選択を促す提示手段と、前記提示手段で提示されたセット識別情報のうちから利用者が選択したセット参照情報を含む設定情報を、前記保持手段から読み出し、読み出した設定情報に含まれる設定値の情報を取得する取得手段と、当該取得した設定値の情報を出力する出力手段と、として機能させることとしたものである。
【発明の効果】
【００１２】
本発明によると、複数種類の飲食物を含んだ飲食物のセットについても、その食事内容の指定を容易にでき、情報入力の効率を向上できる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る情報処理装置の構成例を表すブロック図である。
【図２】本発明の実施の形態に係る情報処理装置が保持するセット参照情報の内容例を表す説明図である。
【図３】本発明の実施の形態に係る情報処理装置が保持する設定情報の内容例を表す説明図である。
【図４】本発明の実施の形態に係る情報処理装置の制御部の例を表す機能ブロック図である。
【図５】本発明の実施の形態に係る情報処理装置により表示される画面の例を表す説明図である。
【図６】本発明の実施の形態に係る情報処理装置の動作例を表すフローチャート図である。
【図７】本発明の実施の形態に係る情報処理装置の別の構成例を表すブロック図である。
【図８】本発明の実施の形態に係る情報処理装置の制御部の別の例を表す機能ブロック図である。
【図９】本発明の実施の形態に係る情報処理装置により表示される別の画面の例を表す説明図である。
【図１０】本発明の実施の形態に係る情報処理装置により記録される情報の一例を表す説明図である。
【発明を実施するための形態】
【００１４】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報処理装置１は、図１に例示するように、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、撮像部１５と、現在位置取得部１６とを含んで構成される。
【００１５】
制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作している。この制御部１１は、利用者が飲食物を飲食する時にした操作により、予め定めた種類の情報を受け入れる。またこの制御部１１は、当該受け入れた情報に類似する飲食時情報を記憶部１２に保持されたセット参照情報（後述）のうちから少なくとも一つ検索する。そして制御部１１は、検索により見出されたセット参照情報に係るセット識別情報を提示し、利用者の選択を促し、利用者がセット識別情報を選択すると、当該セット識別情報に関連する設定情報を記憶部１２から読み出し、読み出した設定情報に含まれる設定値の情報を取得して出力する処理を行う。この制御部１１の処理については後に詳しく述べる。
【００１６】
記憶部１２は、ＳＳＤ（Solid State Disk）や、フラッシュメモリ、ＲＡＭ（Random Access Memory）等を含んだ記憶デバイスであり、本発明における保持手段として機能する。この記憶部１２は、制御部１１によって実行されるプログラムを保持する。このプログラムは、ＤＶＤ−ＲＯＭ等のコンピュータ可読な記録媒体に格納されて提供され、あるいはネットワークを介して配信され、この記憶部１２に格納されたものであってもよい。
【００１７】
この記憶部１２はまた、制御部１１のワークメモリとしても動作する。さらに本実施の形態では、この記憶部１２は、図２に例示するように、少なくとも一種類の飲食物を含んだ飲食物のセットを過去に飲食した際に取得した飲食時情報（Ａ）と、当該セットを識別するセット識別情報（Ｂ）とを関連付けたセット参照情報、及び、図３に例示するように、このセット識別情報（Ｂ）と栄養価の情報を含む設定値（Ｃ）とを関連付けた設定情報を保持する。ここでセット識別情報（Ｂ）は、利用者によって入力された飲食物のセットの名称（例えば「Ａ定食」など）でよい。なお、以下の説明でこれらの情報をセット参照情報、セット識別情報等と称しているが、セットとなった飲食物の情報を含むことができるための名称であり、単品の飲食物の情報がセット参照情報に含まれてもよい。この場合は当該単品の飲食物の画像等の飲食時情報に対して、セット識別情報として単品の飲食物を特定する情報が関連付けられる。
【００１８】
具体的に、セット参照情報に含まれる飲食時情報は、飲食時に利用者が撮像した飲食物の画像情報（セットの少なくとも一部の飲食物を含んだ画像情報）、飲食した日時を表す情報、飲食した場所を表す情報（緯度、経度の情報や、店名等であってもよいし、イベントに関する情報等、利用者が任意に入力した情報であってもよい。なお、画像情報を必ず含むこととすれば、当該画像情報に関連するタグ（例えばExif（Exchangeable image file format）情報）として、飲食した日時や場所等の情報が記録されていてもよい。
【００１９】
操作部１３は、例えば表示部１４に重ね合わせて設置されたタッチパネルであり、利用者の指が接触したことを検出して、当該指の接触した位置を表す情報を制御部１１に出力する。表示部１４は、液晶や有機ＥＬ等の表示デバイスであり、制御部１１から入力される指示に従って、画像等の情報を表示する。
【００２０】
撮像部１５は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を含み、制御部１１から入力される指示に従って、これらのイメージセンサによって取得した画像情報を取込み、制御部１１に出力する。
【００２１】
現在位置取得部１６は、例えばＧＰＳ（Global Positioning System）デバイスを含み、制御部１１から入力される指示に従って、現在位置を測定し、当該測定によって得た現在位置を表す情報（緯度、経度等の情報）を制御部１１に出力する。なお、この現在位置取得部１６は、ＧＰＳでなくとも、例えば受信可能な無線ＬＡＮ信号を利用して現在位置を取得してもよいし、通信可能な携帯電話基地局の情報を利用して現在位置を取得することとしてもよい。
【００２２】
次に、本実施の形態の制御部１１によって実行される処理の具体的例について説明する。本実施の形態の制御部１１は、記憶部１２に格納されたプログラムに従って動作することで、機能的には図４に例示する構成を備えるものとして動作する。すなわち制御部１１は、機能的に、図４に例示するように、情報受入部２１と、検索処理部２２と、提示部２３と、設定情報取得部２４と、情報入力部２５と、情報記録部２６とを含んで構成される。
【００２３】
情報受入部２１は、飲食物の飲食時に、予め定めた種類の情報を受け入れる受入手段を実現する。この情報受入部２１は、予め定めた種類の情報として、例えば撮像部１５に対して画像情報の取得を指示することとしてもよい。利用者は撮像部１５を用いて飲食物の画像情報を撮像する操作を行い、撮像部１５が当該利用者の操作により得た画像情報を情報受入部２１に出力する。このとき情報受入部２１は、現在位置取得部１６に対して現在位置を取得するよう指示し、現在位置取得部１６が出力する現在位置の情報を受け入れて、撮像部１５から取得した画像情報に対して、Exif情報の一部として当該現在位置の情報を関連付けて記憶部１２に保持してもよい。
【００２４】
さらに情報受入部２１は、図示しないカレンダーチップ等から、撮像部１５にて撮像が行われた日時を表す情報を取得し、Exif情報の一部として、撮像部１５から取得した画像情報に関連付けて記憶部１２に格納してもよい。
【００２５】
検索処理部２２は、情報受入部２１が情報を受け入れると動作し、情報受入部２１にて受け入れた情報に類似する飲食時情報を保持手段としての記憶部１２に保持されたセット参照情報のうちから少なくとも一つ検索する検索手段を実現する。
【００２６】
ここで例えば記憶部１２に格納されているセット参照情報には、飲食時情報として必ず、飲食物の画像情報が記録されているものとすると、この検索処理部２２は情報受入部２１が受け入れた画像情報から予め定めた特徴量を算出する。この特徴量は広く知られた画像比較のための特徴量、例えばＳＩＦＴ（Scale Invariant Feature Transform）特徴量等でよい。
【００２７】
検索処理部２２は、記憶部１２に格納されているセット参照情報を順次比較対象として選択して、当該比較対象に含まれる飲食物の画像情報に関するＳＩＦＴ特徴量を取得する（予め演算されてセット参照情報に含まれて記録されていてもよいし、ここで演算して求めてもよい）。そして比較対象として選択したセット参照情報に含まれる画像情報から演算したＳＩＦＴ特徴量と、情報受入部２１が受け入れた画像情報から算出したＳＩＦＴ特徴量とを比較する。
【００２８】
ＳＩＦＴ特徴量には、キーポイントと、各キーポイントの特徴量とを関連付けた要素が、画像から見出されたキーポイントの数だけ含まれる。そこでＳＩＦＴ特徴量の比較では、特徴量が一致すると判断されるキーポイントがいくつあるかにより、例えば比較対象として選択したセット参照情報に含まれる画像情報から演算したＳＩＦＴ特徴量と、情報受入部２１が受け入れた画像情報から算出したＳＩＦＴ特徴量との間で特徴量が一致すると判断されるキーポイントの数が予め定めたしきい値を超える場合に、比較対象として選択したセット参照情報に含まれる画像情報と、情報受入部２１が受け入れた画像情報とが類似すると判断すればよい。
【００２９】
検索処理部２２は、情報受入部２１が受け入れた画像情報に類似する画像情報を含んだセット参照情報を少なくとも一つ見出すと、見出したセット参照情報を特定する情報（セット識別情報でよい）を提示部２３に出力する。なお、この検索処理部２２は、情報受入部２１が受け入れた画像情報に類似する画像情報を含んだセット参照情報を見出すことができなかった場合は、情報入力部２５に対して情報の入力を受け入れるよう指示する。
【００３０】
提示部２３は、検索処理部２２にて見出されたセット参照情報に係るセット識別情報を提示し、利用者の選択を促す提示手段を実現する。この提示部２３は具体的には、検索処理部２２から入力されるセット参照情報を特定する情報の一覧を表示部１４に表示する。この表示は例えば図５に例示するように、検索処理部２２から入力される情報で特定されるセット参照情報のうち、画像情報（Ｇ）と、セット識別情報（Ｂ）とを読み出して、レイアウトして表示したものである。また、検索処理部２２から入力される情報で特定されるセット参照情報に係るセット識別情報に関連付けられた設定値の情報をさらに記憶部１２から読み出し、この設定値の情報（Ｃ）を併せて表示してもよい。そして提示部２３は、利用者に対して当該一覧のうちからセット参照情報の一つを選択させる。
【００３１】
さらにこの提示部２３は、利用者から情報を直接入力する旨の指示を受けると、情報入力部２５に対して情報の入力を受け入れるよう指示する。
【００３２】
設定情報取得部２４は、提示部２３の処理において、利用者が選択したセット参照情報に係るセット識別情報を含む設定情報を、保持手段としての記憶部１２から読み出す。そして当該読み出した設定情報に含まれる設定値の情報を取得して出力する。つまり、この設定情報取得部２４は、取得手段及び出力手段を実現するものである。
【００３３】
情報入力部２５は、情報の入力を受け入れるべき旨の指示が入力されると、利用者に対して、セット識別情報の入力を求める。情報入力部２５は、利用者からセット識別情報が入力されると、当該入力された情報を情報記録部２６に出力する。
【００３４】
情報記録部２６は、情報受入部２１が受け入れた画像情報（Exifタグを含む）と、提示部２３にて利用者が選択したセット参照情報に含まれるセット識別情報と、設定情報取得部２４が出力する設定値の情報とを受け入れると、これらの情報を互いに関連付けて、記憶部１２に格納する。またこの情報記録部２６は、情報受入部２１が受け入れた画像情報（Exifタグを含む）と、情報入力部２５が受け入れたセット識別情報とが入力されると、これらの情報を互いに関連付けて、記憶部１２に格納する。これら情報記録部２６によって記録された情報がセット参照情報となる。
【００３５】
本実施の形態の一例に係る情報処理装置１は以上の構成を有してなり、次のように動作する。利用者は過去に飲食した飲食物の画像情報を撮影し、それぞれセット識別情報を入力しているものとする。一例としてここでは記憶部１２に、セット参照情報として、画像情報ａに対してセット識別情報「Ａ定食」を関連付けた情報と、画像情報ｂに対してセット識別情報「Ｂセット」を関連付けた情報とが保持されているものとする。また、セット識別情報「Ａ定食」に対し栄養価の情報「αCal」が、「Ｂセット」に対して栄養価の情報「βCal」が、それぞれ関連付けられているものとする。
【００３６】
利用者がまた別の機会に「Ａ定食」を注文し、この「Ａ定食」の画像情報を撮像すると、制御部１１が、図６に例示する処理を開始し、制御部１１は、当該撮像して得た画像情報からＳＩＦＴ特徴量を算出する（Ｓ１）。次に制御部１１は、記憶部１２に格納されているセット参照情報のうち、未選択のセット参照情報の一つを比較対象として選択する（Ｓ２）。そして当該比較対象に含まれる飲食物の画像情報に関するＳＩＦＴ特徴量を取得する（Ｓ３）。既に述べたように、このＳＩＦＴ特徴量が予め演算されてセット参照情報に含まれて記録されている場合は、選択したセット参照情報に含まれる当該ＳＩＦＴ特徴量を取得する。また、そうでない場合はここで制御部１１が演算して求める。
【００３７】
制御部１１は、処理Ｓ１で得たＳＩＦＴ特徴量と、処理Ｓ３で取得したＳＩＦＴ特徴量とを比較して、撮像して得た画像情報と、比較対象に含まれる飲食物の画像情報とが類似するか否かを判断する（Ｓ４）。ここでの比較は種々の方法が考えられるが、処理Ｓ１で得たＳＩＦＴ特徴量と、処理Ｓ３で取得したＳＩＦＴ特徴量とからそれぞれ選択されるＳＩＦＴ特徴量であって、互いの距離（ＳＩＦＴ特徴量はベクトル量であるので、そのユークリッド距離を用いればよい）が予め定めた距離しきい値を下回るＳＩＦＴ特徴量の組の数をカウントし、この数が予め定めた個数しきい値を超える場合に、撮像して得た画像情報と、比較対象に含まれる飲食物の画像情報とが類似すると判断することとしてもよい。
【００３８】
ここでＳＩＦＴ特徴量のように画像の局所で定義可能な特徴量を用いることで、定食のように盆の上で各料理がどのように配されるかが毎回異なる可能性のあるものであっても互いに類似する画像として検索させることが可能となる。さらに、ＳＩＦＴ特徴量の場合は、回転に対しても不変であるという特徴を有するので、皿の向きが異なっている場合でも類似の画像を検索できる。
【００３９】
制御部１１は、処理Ｓ４の比較において、撮像して得た画像情報と、比較対象に含まれる飲食物の画像情報とが類似すると判断すると（Yesであると）、当該類似していると判断した比較対象のセット参照情報を特定する情報を、選択候補リストの候補の一つとして記憶部１２に記録する（Ｓ５）。
【００４０】
制御部１１は、記憶部１２に格納されているセット参照情報のうち、比較対象として選択されていないものがまだあるか否かを判断し（Ｓ６）、選択されていないものがあれば（Yesならば）、処理Ｓ２に戻って当該選択されていないセット参照情報を選択する。
【００４１】
また制御部１１は、処理Ｓ６において、記憶部１２に格納されているセット参照情報のうち、比較対象として選択されていないものがなければ（Noならば）、記憶部１２に格納した選択候補リストに、セット参照情報を特定する情報が少なくとも一つあるか否かを調べる（Ｓ７）。ここで選択候補リストに、セット参照情報を特定する情報が少なくとも一つあるならば（Yesならば）、制御部１１は、当該選択候補リストに含まれるセット参照情報に基づく一覧を表示出力して、利用者の選択を促す（Ｓ８）。この表示は図５に例示したようなものとなる。
【００４２】
制御部１１は、利用者が一覧から選択したセット参照情報を特定する情報（例えばセット識別情報）を受け入れて（Ｓ９）、当該セット識別情報を含む設定情報を、記憶部１２から読み出す。そして制御部１１は当該読み出した設定情報に含まれる設定値の情報を取得し（Ｓ１０）、撮像して得られた画像情報と、処理Ｓ９で受け入れたセット識別情報と、処理Ｓ１０で取得した設定値の情報とを関連付けて記憶部１２に格納して（Ｓ１１）、処理を終了する。
【００４３】
また制御部１１は、処理Ｓ４にて撮像して得た画像情報と、比較対象に含まれる飲食物の画像情報とが類似していないと判断すると（Noであると）、処理Ｓ６に移行して処理を続ける。
【００４４】
また処理Ｓ７において、選択候補リストに、セット参照情報を特定する情報が一つもなければ（Noであれば）、制御部１１は、利用者に対してセット識別情報を求める（Ｓ１２）。このとき制御部１１は、設定情報の入力を併せて求めてもよい。
【００４５】
処理Ｓ１２にて利用者がセット識別情報を入力すると、制御部１１は、撮像して得られた画像情報と当該入力されたセット識別情報とを関連付けて、記憶部１２に格納して（Ｓ１３）、処理を終了する。
【００４６】
なお、制御部１１は処理Ｓ８において選択候補リストに含まれるセット参照情報に基づく一覧を表示する際に、「新たに情報を入力する」（つまり一覧にない）旨の指示を選択の候補に加えて表示してもよい。利用者が処理Ｓ８にてこの指示を選択した場合、制御部１１は、処理Ｓ１２に移行して処理を続けることとすればよい。
【００４７】
またここまでの説明では制御部１１の検索処理部２２がＳＩＦＴ特徴量を用いて取得した画像情報に類似する過去の画像情報を検索する例について説明したが、本実施の形態はこれに限られず、他の特徴量として局所特徴量や、ヒストグラム等の色に関わる特徴量を用いてもよい。例えば検索処理部２２は、比較の対象となる画像情報を、セットに含まれる各種類の飲食物ごとに分割して比較してもよい。具体的には比較の対象となる画像情報を各料理の皿ごとに分割し、皿ごとに画像情報を比較してもよい。この場合のセット参照情報は、皿ごとに分割された画像情報と、皿ごとの飲食物を特定するセット識別情報（以下区別のため個別識別情報と呼ぶ）とを関連付けたエントリー（以下区別のため個別参照情報と呼ぶ）と、複数の飲食物を特定する個別識別情報の組を含んだエントリー（以下区別のため識別情報エントリーと呼ぶ）と、を含む。
【００４８】
またこの分割は例えば利用者から各皿が撮像されている領域について、制御部１１がそれぞれ一点ずつ指定を受け、次の処理を行うことで実現できる。すなわち、制御部１１は撮像した画像情報を表示部１４に表示し、この表示された画像情報上で、抽出したい画像部分中の一点のタップを操作部１３から受け入れる。制御部１１は、当該タップされた位置に対応する画像情報上の座標情報を取得して、処理対象座標情報リストとして記録する。この操作を利用者がタップ終了を指示するまで繰り返す。つまり利用者は、各皿についてその皿が写っている領域の内部の点を一つずつ指定し、すべての皿の領域の指定を終了すると、その旨の入力を行うこととする。
【００４９】
利用者が点の指定を終了した旨の操作を行うと、制御部１１は、処理対象座標情報リストに含まれる座標情報を参照し、利用者の指示操作により受け入れた点ごとに、当該点を含む所定形状の領域を画像情報内に形成する。ここでは所定形状は例えば円であるとする。また、各領域は重なり合わずに互いに接する大きさ以下の大きさとする。
【００５０】
制御部１１は、形成した領域を、前景を表す初期領域としてグラブカットなどのプログラムを利用してセグメンテーション処理を実行する。そしてセグメンテーションの処理により得られた画像情報のうち、前景となる部分画像を処理の対象として取り出す。
【００５１】
このセグメンテーション処理では、制御部１１は、処理対象座標情報リストに含まれる座標情報Ｐiについて確定した円形状の領域（区別のため外周領域と呼ぶ）内に、さらに当該座標情報Ｐiによって表される座標を含む小領域をさらに形成する。この小領域は具体的に、確定した外周領域の形状と相似の形状であって、予め定めた大きさのものとすればよい。なお、この予め定めた大きさによって確定される小領域が、確定した外周領域からはみ出る場合は、外周領域と小領域とが重なりあっている（いわばそれらの論理積によって確定される）領域を小領域とする。
【００５２】
そして制御部１１は、この小領域内にある画素はすべて前景を構成する画素であるとしてセグメンテーションの処理を実行する。具体的にグラブカット（C. Rother, V. Kolmogorov, and A. Blake, GrabCut: Interactive foreground extraction using iterated graph cuts, ACM Trans. Graph., vol. 23, pp. 309-314, 2004）を用いる場合、外周領域を初期領域として自動セグメンテーションを行った後、この小領域が利用者から前景として指定された領域（上記論文においてαn＝１（foreground brush）とされる領域）であるとして、再度セグメンテーションの評価を実行する。
【００５３】
これにより、皿ごとの画像がセグメントとして分割されることとなる。制御部１１は、各皿の画像情報を抽出し、今回撮像された皿ごとの画像情報に類似する画像情報を、過去に撮影され、皿ごとに分割されて記録されたセット参照情報の個別参照情報に含まれる画像情報のうちから検索する。そして今回撮像された皿ごとの画像情報についてそれぞれ、過去に撮像された皿ごとの画像情報のうち最も類似すると判断される画像情報を検索する。この検索は例えばヒストグラムを利用する処理や、ＳＩＦＴ特徴量を利用する処理など広く知られた種々の画像検索の方法を採用して行うことができる。
【００５４】
そして制御部１１は、今回撮像された皿ごとの画像情報についてそれぞれ検索された、過去に撮像された皿ごとの画像情報のうち最も類似すると判断される画像情報のそれぞれに関連付けられている個別識別情報を取得する。これにより、今回撮像された皿ごとの画像情報について、過去に記録された画像情報を元に、個別識別情報が得られることとなる。
【００５５】
制御部１１は、今回撮像された皿ごとの画像情報について得られた個別識別情報の組に最も多く一致する個別識別情報を含む、識別情報エントリーのセット参照情報を記憶部１２から検索する。この例では、利用者は、複数の皿の料理を含むセットを撮像したときに、各皿の画像情報について、各画像情報に写っている飲食物を特定する情報を入力するとともに、これらの飲食物のセット全体のメニューの名称を入力しておく。例えば利用者は、カレーと、サラダと、飲み物からなるセットを撮像し、情報処理装置１に対してカレーの皿と、サラダの皿と、飲み物の容器の画像情報とに切り分けさせる。そしてそれぞれの皿（や容器）の料理の名称を個別識別情報として入力する。情報処理装置１は、これによりカレーの皿の画像情報に「カレー」の名称の個別識別情報を関連付けた個別参照情報と、サラダの皿の画像情報に「サラダ」の名称の個別識別情報を関連付けた個別参照情報と、飲み物の容器の画像情報に当該飲み物の名称（「アイスコーヒー」等）を個別識別情報として関連付けた個別参照情報とを記録する。
【００５６】
また、これらの皿を含むセットの名称として「カレーＡセット」のセット識別情報の入力を受け入れ、このセット識別情報に対して、「カレー」、「サラダ」、「アイスコーヒー」の個別識別情報を関連付けたセット参照情報の識別情報エントリーを記録しておく。また他の識別情報エントリーである「パスタＢセット」として、「ミートソーススパゲティ」、「サラダ」、「アイスコーヒー」の個別識別情報を含んだ識別情報エントリーが記録されているものとする。
【００５７】
利用者が再び「カレーＡセット」を注文し、その画像情報の入力を受け入れると、情報処理装置１は、この画像情報を皿（や容器）ごとに切り分け、切り分けた結果の画像情報に最も類似する画像情報を記憶部１２から検索する。ここでは色のヒストグラム等から、過去の「カレー」の皿が写された画像情報と、サラダの皿が写された画像情報と、「アイスコーヒー」入りの容器が写された画像情報とが検索により見出されたものとする（この場合の各画像情報は必ずしも過去のカレーＡセット注文時の画像情報でなくても構わない）。
【００５８】
情報処理装置１は、この検索結果より、「カレー」、「サラダ」、「アイスコーヒー」の個別識別情報の組を得る。そしてこの個別識別情報の組に最もよく一致する（最も多く含んだ）セット参照情報の識別情報エントリーを検索する。
【００５９】
具体的に、上述の例であれば、「パスタＢセット」の識別情報エントリーとは「サラダ」、「アイスコーヒー」の二品が一致することとなり（一致飲食物数「２」）、「カレーＡセット」の識別情報エントリーとは、「カレー」、「サラダ」、「アイスコーヒー」の三品が一致することとなる（一致飲食物数「３」）。そこで情報処理装置１は、一致飲食物数の最も大きい識別情報エントリーを参照し、今回撮像された画像情報は「カレーＡセット」の画像情報であると判断する。
【００６０】
この例では、皿ごとに飲食物を判断し、その組み合わせを検索することとしているので、皿の位置が変わってしまっても検索の結果に影響がない。また、セットに含まれる皿の数が多く、一部しか撮像できなかった場合等でも、検索できる可能性が増大する。
【００６１】
さらに、本実施の形態において、設定情報取得部２４は設定情報を記憶部１２から読み出したときに、予め利用者により設定されている、分量に係る情報がある当該設定情報に含まれる場合は、当該分量に係る情報を用いて、取得した設定情報に含まれる設定値における栄養価の情報を補正し、補正した栄養価の情報を出力することとしてもよい。
【００６２】
具体的にこの分量に係る情報は、平均的な分量に対して利用者が当該セット識別情報で識別される飲食物をどの程度の分量だけ飲食するかを設定するものである。一例として、常に７割ほどしか飲食しない場合は０．７、毎回大盛りで飲食する場合は２．０などとしておく。そして設定情報取得部２４は、取得した設定情報に、この分量に関する情報が含まれる場合は、当該設定情報に含まれる栄養価の情報にこの分量に関する情報を乗じて補正し、当該補正後の栄養価の情報を出力する。
【００６３】
また本実施の形態の別の態様においては、上記の情報処理装置としての処理をサーバ装置において行ってもよい。図７は、情報処理装置をサーバ装置として実装する場合の例を表す構成ブロック図である。
【００６４】
図７に例示するように、サーバ装置としての情報処理装置１′は、制御部１１′と、記憶部１２と、通信部１７とを含んで構成される。ここで既に述べたものと同様の構成をとるものについては同じ符号を付して詳しい説明を省略する。またこの情報処理装置１′には、端末装置２がネットワーク等の通信手段を介して接続される。この端末装置２は例えばスマートフォン等のデバイスであり、カメラ等の撮像手段や、タッチパネルや液晶表示部等のデバイス、さらには携帯電話通信網やネットワークを介して情報処理装置１′との間で通信を行う通信デバイスを含んで構成されている。
【００６５】
本実施の形態のこの例では、制御部１１′は、記憶部１２に格納されたプログラムに従い、図８に例示するように、機能的に情報受入部２１′と、検索処理部２２と、提示部２３′と、設定情報取得部２４と、情報入力部２５′と、情報記録部２６とを含む装置を実現する。なお、ここでの例でも、既に述べたものと同様の構成をとるものについては同じ符号を付して詳しい説明を省略する。
【００６６】
情報受入部２１′は、利用者を認証する。この認証は例えば利用者に予め設定させた利用者名とパスワードとを入力させる一般的な方法で行うことができる。情報受入部２１′は、認証した利用者の端末装置２において当該利用者が飲食時に入力した、予め定めた種類の情報を受け入れる受入手段として機能する。この情報受入部２１は、予め定めた種類の情報として、例えば端末装置２のカメラで撮像した画像情報を受け入れることとしてもよい。この場合端末装置２は、当該画像情報に付加したExif情報の一部として、端末装置２の現在位置の情報や撮影日時の情報を併せて情報処理装置１′へ送信し、情報処理装置１′の情報受入部２１′はこれらの情報を画像情報とともに受け入れることとしてもよい。
【００６７】
検索処理部２２は、情報受入部２１′が情報を受け入れると動作し、情報受入部２１′にて受け入れた情報に類似する飲食時情報を保持手段としての記憶部１２に保持されたセット参照情報のうちから少なくとも一つ検索する検索手段を実現する。
【００６８】
具体的に記憶部１２に格納されているセット参照情報に、飲食時情報として必ず、飲食物の画像情報が記録されているものとすると、この検索処理部２２は情報受入部２１′が受け入れた画像情報に類似する画像情報を含んだセット参照情報を記憶部１２から検索する。この類似する画像情報の検索は、既に述べたようにＳＩＦＴ特徴量を利用する方法であってもよい。また、皿ごとに飲食物を判断し、その組み合わせを検索する、上記情報処理装置１′の例において説明したのと同様の方法も採用できる。この場合に、撮像した画像上で、各皿が撮像されている画像部分中の一点の指定を受け入れる場合は、端末装置２に撮像した画像情報を提示して、各点の指定を受け入れさせ、受け入れた各点の情報を送信させることとしておけばよい。制御部１１′は当該送信された各点の情報を用いてセグメンテーションの処理を行うことができる。
【００６９】
提示部２３′は、検索処理部２２にて見出されたセット参照情報に係るセット識別情報を提示し、利用者の選択を促す提示手段を実現する。この提示部２３′は具体的には、検索処理部２２から入力されるセット参照情報を特定する情報の一覧を生成して端末装置２宛に送出し、端末装置２にて表示させる。
【００７０】
この表示は図５に例示したものと同様となる。提示部２３′はさらに検索処理部２２から入力される情報で特定されるセット参照情報に係るセット識別情報に関連付けられた設定値の情報をさらに記憶部１２から読み出し、この設定値の情報（Ｃ）を併せて送出し、端末装置２にて表示させてもよい。
【００７１】
またこの提示部２３′は、端末装置２側の利用者が当該一覧のうちから選択したセット参照情報を特定する情報を受信する。さらにこの提示部２３′は、利用者から情報を直接入力する旨の指示が端末装置２にて行われると、その旨の情報を受けて、情報入力部２５′に対して情報の入力を受け入れるよう指示する。
【００７２】
設定情報取得部２４は、提示部２３′の処理において、利用者が選択したセット参照情報に係るセット識別情報を含む設定情報を、保持手段としての記憶部１２から読み出す。そして当該読み出した設定情報に含まれる設定値の情報を取得して出力する。つまり、この設定情報取得部２４は、取得手段及び出力手段を実現するものである。
【００７３】
情報入力部２５′は、端末装置２にセット識別情報の入力を求める画面を表示する。この画面は、図９に例示するように、撮像された画像情報とともに、セット識別情報の入力欄（Ｓ）を表示したものである。またこの画面ではさらに、栄養価の情報等、設定情報として記憶される情報の入力を併せて求めてもよい（Ｖ）。端末装置２にてセット識別情報が入力されて送信されると、情報入力部２５′は、当該送信されたセット識別情報を受け入れて、当該セット識別情報を情報記録部２６に出力する。またここで栄養価の情報等設定情報として記憶されるべき情報が入力された場合、情報入力部２５′は当該情報を情報記録部２６に出力する。
【００７４】
情報記録部２６は、情報受入部２１′が受け入れた飲食時情報としての画像情報（Exifタグを含む）と、提示部２３′にて受け入れた端末装置２の利用者が選択したセット参照情報に含まれるセット識別情報と、設定情報取得部２４が出力する設定値の情報とを受け入れると、これらの情報と認証した利用者を特定する情報とを互いに関連付けて、記憶部１２に格納する（図１０）。またこの情報記録部２６は、情報受入部２１′が受け入れた画像情報（Exifタグを含む）と、情報入力部２５′が受け入れたセット識別情報とが入力されると、これらの情報と、認証した利用者を特定する情報とを互いに関連付けて、記憶部１２に格納する。これら情報記録部２６によって記録された情報がセット参照情報となる。さらに情報記録部２６は、情報入力部２５′からセット識別情報とともに栄養価の情報等設定情報として記憶されるべきものが入力された場合、当該セット識別情報と当該栄養価の情報等とを関連付けて記憶する
【００７５】
この処理により、利用者ごとに飲食した飲食物の情報が蓄積されることとなる。こうして蓄積された情報は、閲覧の処理に供される。具体的に制御部１１′は、端末装置２から入力される指示に従い、認証した利用者の情報に関連付けられたセット参照情報を読み出して当該セット参照情報に含まれる画像情報等の一覧を表示する。また、制御部１１′は、このセット参照情報に含まれるセット識別情報を参照し、当該参照したセット識別情報に関連付けられた栄養価の情報等を読み出して端末装置２に送信し、一覧に含めて表示させてもよい。
【００７６】
またここで述べたように、情報受入部２１′は、利用者を識別する情報を取得する手段として機能する。ここで利用者により予め分量に係る情報の設定を受け入れておき、当該分量に係る情報を記憶部１２に格納しておいてもよい。具体的には利用者は、飲食した飲食物（のセット識別情報）に関連する設定情報に、分量に関する情報を設定しておく。具体的にこの分量に係る情報は、既に述べた例と同様に、平均的な分量に対して利用者が当該セット識別情報で識別される飲食物をどの程度の分量だけ飲食するかを設定するものである。一例として、常に７割ほどしか飲食しない場合は０．７、毎回大盛りで飲食する場合は２．０などとしておく。
【００７７】
この場合、設定情報取得部２４は、取得した設定情報に、この分量に関する情報が含まれる場合は、当該設定情報に含まれる栄養価の情報にこの分量に関する情報を乗じて補正し、当該補正後の栄養価の情報を出力することとすればよい。
【００７８】
本実施の形態の各例によれば、複数種類の飲食物を含んだ飲食物のセットであっても、その指定を容易にでき、情報入力の効率を向上できる。
【００７９】
さらに本実施の形態のここまでの説明では、制御部１１や制御部１１′の処理における検索処理部２２は、撮像した画像情報に類似する画像情報を検索することとしていたが、これに限られない。例えば、利用者の飲食時情報としての位置情報（Exifに含まれる場合はそれでもよい）を利用してもよい。例えば、取得した現在位置の情報（緯度経度の情報）を参照し、当該参照した緯度経度から予め定めた距離しきい値の範囲内の位置情報を含むセット参照情報を検索することとしてもよい。また、画像情報と位置情報とを利用してもよい。例えば撮像した画像情報に類似する画像情報を含むセット参照情報が複数見出されたときに、撮像した画像情報のExif情報に含まれる位置情報と、見出したセット参照情報に含まれる画像情報のExif情報内の位置情報とを比較し、より位置情報間の距離が短いほど尤もらしいとして一覧を並替えてより上位に表示させるようにしてもよい。
【符号の説明】
【００８０】
１，１′  情報処理装置、２  端末装置、１１，１１′  制御部、１２  記憶部、１３  操作部、１４  表示部、１５  撮像部、１６  現在位置取得部、１７  通信部、２１，２１′  情報受入部、２２  検索処理部、２３，２３′  提示部、２４  設定情報取得部、２５，２５′  情報入力部、２６  情報記録部。
【図１】
2015132864.tif 000003
【図２】
2015132864.tif 000004
【図３】
2015132864.tif 000005
【図４】
2015132864.tif 000006
【図５】
2015132864.tif 000007
【図６】
2015132864.tif 000008
【図７】
2015132864.tif 000009
【図８】
2015132864.tif 000010
【図９】
2015132864.tif 000011
【図１０】
2015132864.tif 000012