(57)【要約】【課題】飲食物の推定栄養価情報を出力するにあたり、その処理の内容を簡略にした情報処理装置を提供する。【解決手段】飲食物を撮影した画像と、当該画像に含まれる飲食物に関して設定された栄養価情報とを関連付けて、参照情報として保持し、飲食物を含む画像を受け入れて、当該受け入れた画像に類似する複数の画像を保持された参照情報から検索する。当該検索により見出された複数の画像に関連づけられた複数の栄養価情報の統計値を演算し、当該演算した統計値を出力する情報処理装置である。【選択図】図１
2012014678.tif 000002
【特許請求の範囲】
【請求項１】
飲食物を撮影した画像と、前記画像に含まれる飲食物に関して設定された栄養価情報とを関連付けて、参照情報として保持する保持手段と、
飲食物を含む画像を受け入れる手段と、
前記受け入れた画像に類似する複数の画像を前記保持手段に保持された参照情報から検索する検索手段と、
前記検索により見出された複数の画像に関連づけられた複数の栄養価情報の統計値を演算する手段と、
前記演算された統計値を出力する手段と、
を含む情報処理装置。
【請求項２】
請求項１記載の情報処理装置であって、
前記検索手段は、互いに異なる複数の類似画像検索方法により、複数の画像を検索することを特徴とする情報処理装置。
【請求項３】
請求項１または２に記載の情報処理装置であって、
前記保持手段は、互いに異なる参照情報を保持するＮ個（Ｎ≧２）の保持手段要素を含んでなり、
前記検索手段は、前記複数の画像を、前記Ｎ個の保持手段要素のうちから選択されるＭ個（Ｎ≧Ｍ≧２）の選択保持手段要素のうちから検索することを特徴とする情報処理装置。
【請求項４】
コンピュータを、
飲食物を撮影した画像と、前記画像に含まれる飲食物に関して設定された栄養価情報とを関連付けて、参照情報として保持する保持手段と、
飲食物を含む画像を受け入れる手段と、
前記受け入れた画像に類似する複数の画像を前記保持手段に保持された参照情報から検索する検索手段と、
前記検索により見出された複数の画像に関連づけられた複数の栄養価情報の統計値を演算する手段と、
前記演算された統計値を出力する手段と、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、飲食物の推定栄養価情報を出力する情報処理装置に関する。
【背景技術】
【０００２】
食品の種類（コロッケである、など）と量とを画像から識別して、当該種類の食品の、識別された量だけのカロリー値を演算するという考えが、特許文献１に開示されている。
【０００３】
また、撮像された画像から作業員がカロリー値を決定するにあたり、作業員の業務を支援するため、過去の食事の内容から類似のものを検索させる技術が、特許文献２に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１２２３１１号公報
【特許文献２】特開２００２−０７３８１８号公報
【非特許文献】
【０００５】
【非特許文献１】Szuba T., Computational CollectiveIntelligence, Wiley NY, 2001
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の技術においては食品の種類や量の同定が必須であり、画像処理が複雑になるか、あるいは上述のように最終的には作業員が情報の処理を行うこととなっている。
【０００７】
本発明は上記従来の実情に鑑みて為されたもので、飲食物の推定栄養価情報を出力するにあたり、その処理の内容を簡略にした情報処理装置を提供することを、その目的の一つとする。
【課題を解決するための手段】
【０００８】
上記従来例の問題点を解決するための本発明は、情報処理装置であって、飲食物を撮影した画像と、前記画像に含まれる飲食物に関して設定された栄養価情報とを関連付けて、参照情報として保持する保持手段と、飲食物を含む画像を受け入れる手段と、前記受け入れた画像に類似する複数の画像を前記保持手段に保持された参照情報から検索する検索手段と、前記検索により見出された複数の画像に関連づけられた複数の栄養価情報の統計値を演算する手段と、前記演算された統計値を出力する手段と、を含むこととしたものである。
【０００９】
また、本発明の別の態様においては、前記検索手段が、互いに異なる複数の類似画像検索方法により、複数の画像を検索することとしてもよい。
【００１０】
さらにまた別の態様においては、前記保持手段が、互いに異なる参照情報を保持するＮ個（Ｎ≧２）の保持手段要素を含んでなり、前記検索手段が、前記複数の画像を、前記Ｎ個の保持手段要素のうちから選択されるＭ個（Ｎ≧Ｍ≧２）の選択保持手段要素のうちから検索することとしてもよい。
【００１１】
さらに本発明の別の態様に係るプログラムは、コンピュータを、飲食物を撮影した画像と、前記画像に含まれる飲食物に関して設定された栄養価情報とを関連付けて、参照情報として保持する保持手段と、飲食物を含む画像を受け入れる手段と、前記受け入れた画像に類似する複数の画像を前記保持手段に保持された参照情報から検索する検索手段と、前記検索により見出された複数の画像に関連づけられた複数の栄養価情報の統計値を演算する手段と、前記演算された統計値を出力する手段と、として機能させることとしたものである。
【発明の効果】
【００１２】
本発明によると、食品種類や量の同定を行うことなく、また訓練された作業員により栄養価の推定を行わなくても、集合知としての結果が得られることとなるので、飲食物の推定栄養価情報を出力するにあたり、その処理の内容を簡略にできる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る情報処理装置の構成とその接続例を表すブロック図である。
【図２】本発明の実施の形態に係る情報処理装置が利用する参照情報の内容例を表す説明図である。
【図３】本発明の実施の形態に係る情報処理装置の一例を表す機能ブロック図である。
【図４】本発明の実施の形態に係る情報処理装置による情報の表示例を表す説明図である。
【図５】本発明の実施の形態に係る情報処理装置の別の例を表す機能ブロック図である。
【図６】本発明の実施の形態に係る情報処理装置のさらに別の例を表す機能ブロック図である。
【図７】本発明の実施の形態に係る情報処理装置における参照情報の格納態様の別の例を表す説明図である。
【図８】本発明の実施の形態に係る情報処理装置の動作例を表す説明図である。
【図９】本発明の実施の形態に係る情報処理装置のもう一つの動作例を表す説明図である。
【図１０】本発明の実施の形態に係る情報処理装置のまた別の動作例を表す説明図である。
【図１１】本発明の実施の形態に係る情報処理装置のさらに別の動作例を表す説明図である。
【発明を実施するための形態】
【００１４】
本発明の実施の形態について図面を参照しながら説明する。
【００１５】
人間やコンピュータを個別に行動、動作させるよりも、人間やコンピュータをグループとして行動、動作させる方が、その発揮する知性がより高まるという考えの下に、集合知（Collective Intelligence）と呼ばれる考え方が研究されている（例えば、http://cci.mit.edu/index.html）。また、これを数学的にモデリングする研究なども行われている（非特許文献１）。この数学的モデリングの研究では、数学的論理の表式を処理する抽象的な情報処理の単位を準ランダム的に動作させる例が挙げられている。
【００１６】
本発明の実施の形態に係る情報処理装置１の一例は、図１に示すように、制御部１１と、記憶部１２と、操作部１３と、表示部１４とを含み、撮像装置２に接続される。なお、ここでは撮像装置２は情報処理装置１と別体のものとしているが、情報処理装置１が撮像装置２を一体的に含んでいてもよい。また、本実施の形態では情報処理装置１が撮像装置２から画像情報を受け入れるものとしているが、これに代えて、情報処理装置１は、例えばネットワーク等を介して他の情報処理装置（ＰＣ等）から処理の対象となる画像情報を受け入れてもよい。
【００１７】
制御部１１は、ＣＰＵなどのプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作している。本実施の形態の制御部１１は、撮像装置２により撮像された飲食物の画像を受け入れて、当該受け入れた画像に類似する複数の画像を、予め用意された情報のうちから検索し、当該検索により見出された情報に関連づけて予め記録されている栄養価情報の統計値を演算して出力する。この制御部１１の詳しい処理の内容については後に述べる。
【００１８】
記憶部１２は、図２に例示するように、飲食物を撮影した画像と、当該画像に含まれる飲食物の推定栄養価情報とを関連付けて、参照情報として保持する。また、この記憶部１２は、制御部１１によって実行されるプログラムを保持している。さらに記憶部１２は、制御部１１のワークメモリとしても動作する。
【００１９】
操作部１３は、キーボードや、タッチパネル等であり、利用者の操作を受け入れて、当該操作の内容を制御部１１に出力する。表示部１４は、ディスプレイ等であり、制御部１１から入力される指示に従って情報を表示出力する。
【００２０】
撮像装置２は、ＣＣＤやＣＭＯＳ等の光学センサを備えたカメラであり、これら光学センサで捉えた画像をディジタル化した画像情報として出力する。
【００２１】
次に制御部１１による処理の内容について説明する。本実施の形態の一例に係る制御部１１は、機能的には図３に例示するように、参照情報取得部２１と、画像受入部２２と、類似画像検索部２３と、対応情報取得部２４と、統計演算部２５と、出力部２６とを含んで構成される。
【００２２】
ここで参照情報取得部２１は、記憶部１２に格納されている参照情報を読み出す。本実施の形態の一例では、参照情報は図２に示したように、一つの記録領域に複数格納されている。
【００２３】
画像受入部２２は、撮像装置２が撮像した画像情報を受け入れる。類似画像検索部２３は、予め定められた類似画像検索方法により、画像受入部２２が受け入れた画像情報を検索のキーとして、このキーに類似する画像情報を含む参照情報を、参照情報取得部２１が取得する参照情報のうちから検索する。具体的な例として、この類似画像検索部２３は、検索のキーとなった画像情報に基づき、予め定めた画像特徴量を演算する。この画像特徴量としては例えばシフト特徴量（ＳＩＦＴ特徴量）等、スケールに依存しない変化点を表す特徴量などがある。そして類似画像検索部２３は、参照情報取得部２１に対して、記憶部１２に格納された参照情報を順次読み出させ、読み出された参照情報に含まれる画像情報に基づく画像特徴量を演算する。ここで演算する画像特徴量は、キーとなった画像情報に基づいて演算した画像特徴量と同じものを用いる。
【００２４】
類似画像検索部２３は、キーとなった画像情報に基づく画像特徴量と、参照情報に含まれる画像情報に基づいて演算した画像特徴量とを比較し、キーとなった画像情報に基づく画像特徴量に最も近い順に、上位Ｌ個の画像特徴量に対応するＬ個の画像情報を類似画像として見出す。
【００２５】
対応情報取得部２４は、類似画像検索部２３が見いだしたＬ個の類似画像のそれぞれに関連づけられたＬ個の栄養価情報を取得して統計演算部２５に出力する。統計演算部２５は、対応情報取得部２４から入力される栄養価情報の統計値を算出して、出力部２６に出力する。本実施の形態のある例では、栄養価情報はカロリー値であり、統計演算部２５はその平均値を統計値として演算して出力する。なお、本実施の形態の統計演算部２５は、この例に限られるものではなく、平均値のほか、最大値、最小値、中央値、その他の統計演算値を出力するものであってもよい。出力部２６は、統計演算部２５が出力する情報を表示部１４に表示出力させる。
【００２６】
この例（以下、第１例と呼ぶ）によると、飲食物を撮影した画像情報に対して、予め当該撮影されている飲食物についての栄養価の推定値が関連づけて参照情報として、記憶部１２に蓄積されている。
【００２７】
そして新たに撮影された飲食物の画像情報をキーとして、このキーとなった画像情報について予め定められた特徴量が演算される（以下、ここで演算された特徴量を「キー特徴量」と呼ぶ）、また、各参照情報に含まれる画像情報に対しても同じ特徴量が演算され、演算された特徴量がキー特徴量に近い順に複数Ｌ個の画像情報が選択される。そして当該選択された画像情報とともに参照情報に含まれる（選択された画像情報に関連づけられた）栄養価の推定値が読み出され、Ｌ個の栄養価の推定値が得られる。
【００２８】
情報処理装置１は、この推定値の平均値等の統計量を算出し、当該算出した統計量を表示部１４に表示して利用者に対して提示する。具体的には、撮像した飲食物の画像（キーとなった画像情報）とともに、算出した統計量の情報を表示する（図４）。
【００２９】
本実施の形態においては、集合知の考えの下、記憶部１２に蓄積されている個々の参照情報における栄養価の推定値は正確である必要はない。統計値としておおよそ正しい値が得られればよいからである。
【００３０】
また、本実施の形態の別の例（第２例と呼ぶ）に係る制御部１１の動作について次に説明する。本実施の形態の別の例に係る制御部１１は、機能的には図５に例示するように、参照情報取得部２１と、画像受入部２２と、類似画像検索部２３′と、対応情報取得部２４と、統計演算部２５と、出力部２６とを含んで構成される。なお、先に説明した例と同様の構成を採るものについては同じ符号を付して繰り返しての説明を省略する。
【００３１】
この例においても、参照情報は図２に示したように、一つの記録領域に複数格納されている。この例においては、先に説明した例に対し、類似画像検索部２３′の動作が異なっている。すなわちこの例の類似画像検索部２３′は、予め定められた複数の類似画像検索方法により、画像受入部２２が受け入れた画像情報を検索のキーとして、このキーに類似する画像情報を含む参照情報を、参照情報取得部２１が取得する参照情報のうちから検索する。
【００３２】
具体的な例として、この類似画像検索部２３′は、検索のキーとなった画像情報に基づき、予め定めた複数のｋ種類の画像特徴量を演算する。この画像特徴量としては例えばシフト特徴量（ＳＩＦＴ特徴量）、輪郭線、配色（色相・明度・彩度の平均および分散、明度彩度の共分散等）、輝度勾配ヒストグラム、方向線素、ハフ変換や、これらの組み合わせ等を用いる。
【００３３】
また、類似画像検索部２３′は、参照情報取得部２１に対して、記憶部１２に格納された参照情報を順次読み出させ、読み出された参照情報に含まれる画像情報についても、同じようにｋ種類の画像特徴量を演算する。ここで演算する画像特徴量は、キーとなった画像情報に基づいて演算した画像特徴量と同じ組み合わせのものを用いる。
【００３４】
類似画像検索部２３′は、キーとなった画像情報に基づくｋ種類の各画像特徴量と、参照情報に含まれる画像情報に基づいて演算したｋ種類の各画像特徴量とを比較し、各画像特徴量について、キーとなった画像情報に基づく画像特徴量に最も近い順に、上位Ｌi（ｉ＝１，２，…ｋ；各Ｌiは１以上）個の画像特徴量に対応するＬ＝Σ（Ｌi）（Ｌi、ｉ＝１，２，…ｋの総和）個の画像情報を類似画像として見出す。
【００３５】
対応情報取得部２４は、類似画像検索部２３′が見いだしたＬ個の類似画像のそれぞれに関連づけられたＬ個の栄養価情報を取得して統計演算部２５に出力する。統計演算部２５は、対応情報取得部２４から入力される栄養価情報の統計値を算出して、出力部２６に出力する。出力部２６は、統計演算部２５が出力する情報を表示部１４に表示出力させる。
【００３６】
次に、本実施の形態のさらに別の例（第３例と呼ぶ）に係る制御部１１の動作について次に説明する。本実施の形態のさらに別の例に係る制御部１１は、機能的には図６に例示するように、複数ｎ個の参照情報取得部２１′と、画像受入部２２と、参照情報取得部２１′と同じ数ｎ個だけの類似画像検索部２３と、対応情報取得部２４と、統計演算部２５と、出力部２６とを含んで構成される。なお、先に説明した例と同様の構成を採るものについては同じ符号を付して繰り返しての説明を省略する。
【００３７】
この例においては、参照情報は図２に示したものと異なり、図７に例示するように記憶部１２に形成された複数ｎ個の記録領域にそれぞれ複数格納される。この際、各記録領域に格納された参照情報の組み合わせは互いに異なるものとする。もっとも、その一部に重複があっても構わない。
【００３８】
この例においては、各参照情報取得部２１′はｎ個の記録領域の各々に対応しており、対応する記録領域から参照情報を順次読み出して出力する。
【００３９】
また類似画像検索部２３もまた、参照情報取得部２１′ごとに対応して設けられ、キーとなった画像情報に基づく画像特徴量を演算するとともに、対応する参照情報取得部２１′が出力する参照情報に含まれる画像情報に基づいて演算した画像特徴量とを比較し、キーとなった画像情報に基づく画像特徴量に最も近い順に、上位Ｌi個（ｉは、類似画像検索部２３ごとに異なる整数とし、ｉ＝１，２，…ｎとする。またＬiは１以上）の画像特徴量に対応するＬi個の画像情報を類似画像として見出す。
【００４０】
対応情報取得部２４は、各類似画像検索部２３が見いだしたＬ＝Σ（Ｌi）（Ｌi、ｉ＝１，２，…ｎの総和）個の類似画像のそれぞれに関連づけられたＬ個の栄養価情報を取得して統計演算部２５に出力する。統計演算部２５は、対応情報取得部２４から入力される栄養価情報の統計値を算出して、出力部２６に出力する。出力部２６は、統計演算部２５が出力する情報を表示部１４に表示出力させる。
【００４１】
さらにこの例において、類似画像検索部２３に代えて、複数種類の画像特徴量を用いる先の例の類似画像検索部２３′を用いてもよい（第４例と呼ぶ）。この場合も、類似画像検索部２３′は、検索のキーとなった画像情報に基づき、予め定めた複数のｋ種類の画像特徴量を演算する。この画像特徴量としては例えばシフト特徴量（ＳＩＦＴ特徴量）、輪郭線、配色（色相・明度・彩度の平均および分散、明度彩度の共分散等）、輝度勾配ヒストグラム、方向線素、ハフ変換や、これらの組み合わせ等を用いる。
【００４２】
また、類似画像検索部２３′は、参照情報取得部２１′に対して、記憶部１２の対応する記録領域に格納された参照情報を順次読み出させ、読み出された参照情報に含まれる画像情報についても、同じようにｋ種類の画像特徴量を演算する。ここで演算する画像特徴量は、キーとなった画像情報に基づいて演算した画像特徴量と同じ組み合わせのものを用いる。
【００４３】
類似画像検索部２３′は、キーとなった画像情報に基づくｋ種類の各画像特徴量と、対応する参照情報取得部２１′が出力する参照情報に含まれる画像情報に基づいて演算したｋ種類の各画像特徴量とを比較し、各画像特徴量について、キーとなった画像情報に基づく画像特徴量に最も近い順に、上位Ｐj（ｊ＝１，２，…ｋ；各Ｐiは１以上）個の画像特徴量に対応するＬi＝Σ（Ｐj）（Ｐj、ｊ＝１，２，…ｋの総和）個の画像情報を類似画像として見出すことになる。
【００４４】
［動作］
本実施の形態の第１例の情報処理装置１によると、図８に示すように、記憶部１２には単独の領域に複数の参照情報が格納されている。情報処理装置１は、飲食物を撮像した画像情報を受け入れると（Ｓ１）、当該受け入れた画像情報をキーとして、このキーとなった画像情報について予め定められた１種類の画像特徴量を演算する（Ｓ２）。また情報処理装置１は、記憶部１２に格納されている参照情報を順次読み出して（Ｓ３）、各参照情報に含まれる画像情報について、予め定められた画像特徴量を演算し、当該演算した画像特徴量を、対応する参照情報を特定する情報に関連づけて記録する（Ｓ４）。そしてキーとなった画像情報に関して演算した画像特徴量（キー特徴量）と、処理Ｓ４で各参照情報に含まれる画像情報について演算した画像特徴量とを比較し、キー特徴量に近い順にＬ個の画像特徴量を選択し（Ｓ５）、当該選択したＬ個の画像特徴量に関連づけて記録されている情報で特定される参照情報に含まれる栄養価情報を取り出す（Ｓ６）。情報処理装置１は、ここで取り出した栄養価情報の統計値を演算して出力する（Ｓ７）。
【００４５】
また本実施の形態の第２例の情報処理装置１によると、図９に示すように、記憶部１２には単独の領域に複数の参照情報が格納されている。情報処理装置１は、飲食物を撮像した画像情報を受け入れると（Ｓ１１）、当該受け入れた画像情報をキーとして、このキーとなった画像情報について予め定められた複数ｋ種類の画像特徴量を演算する（Ｓ１２）。また情報処理装置１は、記憶部１２に格納されている参照情報を順次読み出して（Ｓ１３）、各参照情報に含まれる画像情報について、予め定められた複数ｋ種類の画像特徴量を演算し、当該演算したｋ種類の画像特徴量を、対応する参照情報を特定する情報に関連づけて記録する（Ｓ１４）。そして情報処理装置１は、キーとなった画像情報に関して演算したｋ種類の画像特徴量（キー特徴量Ｆj，ｊ＝１，２，…ｋ）のうちからｉ番目（ｉ＝１，２，…ｋ）のキー特徴量Ｆiを取り出し、処理Ｓ１４で各参照情報に含まれる画像情報について演算したｋ種類の画像特徴量のうち、取り出したキー特徴量Ｆiに対応する画像特徴量と取り出したキー特徴量Ｆiとを比較し、キー特徴量Ｆiに近い順にＬi個の画像特徴量を選択する（Ｓ１５）。情報処理装置１は、この処理Ｓ１４，Ｓ１５を、ｉを「１」ずつｋまでインクリメントしながら（なおｉの初期値は「１」とする）繰り返して実行し、この繰り返しにより選択された画像特徴量の集合の和を得て、当該和集合に含まれるＬ＝Σ（Ｌi）（Ｌi、ｉ＝１，２，…ｋの総和）個の画像特徴量に関連づけて記録されている情報を取得し（Ｓ１６）、当該取得した情報で特定される参照情報に含まれる栄養価情報を取り出す（Ｓ１７）。そして情報処理装置１は、ここで取り出した栄養価情報の統計値を演算して出力する（Ｓ１８）。
【００４６】
なお、ここでは、処理Ｓ１４，Ｓ１５の繰り返しにより見いだされた類似画像を含む参照情報に重複があることもある。つまり、第１種目の画像特徴量により類似画像Ｘが見いだされ、第２種目の画像特徴量により同じ類似画像Ｘが見いだされるということもあり得る。ここではこのような場合は類似画像Ｘを重複を許して検索結果に含める（つまり類似画像Ｘに関連づけて参照情報に含む栄養価情報は重複の分だけ加重した統計値が出力される）こととしている。しかしながら、このように重複する場合は、当該重複を排除する処理を行ってもよい。この場合、処理Ｓ１４，Ｓ１５の繰り返しで見いだされる類似画像の数はＬ以下となる。
【００４７】
さらに本実施の形態の第３例の情報処理装置１によると、図１０に示すように、記憶部１２には複数ｎ個の記録領域が形成され、各記録領域にそれぞれ複数の参照情報が格納されている。情報処理装置１は、飲食物を撮像した画像情報を受け入れると（Ｓ２１）、当該受け入れた画像情報をキーとして、このキーとなった画像情報について予め定められた１種類の画像特徴量を演算する（Ｓ２２）。また情報処理装置１は、記憶部１２のｉ番目の記録領域に格納されている複数の参照情報を順次読み出して（Ｓ２３）、各参照情報に含まれる画像情報について、予め定められた画像特徴量を演算し、当該演算した画像特徴量を、対応する参照情報を特定する情報に関連づけて記録する（Ｓ２４）。そしてキーとなった画像情報に関して演算した画像特徴量（キー特徴量）と、処理Ｓ２４で各参照情報に含まれる画像情報について演算した画像特徴量とを比較し、キー特徴量に近い順にＬi個の画像特徴量を選択する（Ｓ２５）。
【００４８】
情報処理装置１は、処理Ｓ２３から処理Ｓ２５を、ｉを「１」ずつインクリメントしつつ（なおｉの初期値は「１」とする）繰り返して実行し、この繰り返しにより選択された画像特徴量の集合の和を得て、当該和集合に含まれるＬ＝Σ（Ｌi）（Ｌi、ｉ＝１，２，…ｎの総和）個の画像特徴量に関連づけて記録されている情報を取得し、当該取得した情報で特定される参照情報に含まれる栄養価情報を取り出す（Ｓ２６）。情報処理装置１は、ここで取り出した栄養価情報の統計値を演算して出力する（Ｓ２７）。
【００４９】
また本実施の形態の第４例の情報処理装置１によると、図１１に示すように、記憶部１２には複数ｎ個の記録領域が形成され、各記録領域にそれぞれ複数の参照情報が格納されている。情報処理装置１は、飲食物を撮像した画像情報を受け入れると（Ｓ３１）、当該受け入れた画像情報をキーとして、このキーとなった画像情報について予め定められたｋ種類の画像特徴量を演算する（Ｓ３２）。また情報処理装置１は、記憶部１２のｉ番目の記録領域に格納されている複数の参照情報を順次読み出して（Ｓ３３）、各参照情報に含まれる画像情報について、予め定められた複数ｋ種類の画像特徴量を演算し、演算したｋ種類の画像特徴量を、対応する参照情報を特定する情報に関連づけて記録する（Ｓ３４）。
【００５０】
そして情報処理装置１は、キーとなった画像情報に関して演算したｋ種類の画像特徴量（キー特徴量Ｆj，ｊ＝１，２，…ｋ）のうちからｊ番目（ｊ＝１，２，…ｋ）のキー特徴量Ｆjを取り出す。情報処理装置１は、処理Ｓ３４において、ｉ番目の記録領域に保持された各参照情報に含まれる画像情報について演算したｋ種類の画像特徴量のうち、取り出したキー特徴量Ｆjに対応する画像特徴量と、取り出したキー特徴量Ｆjとを比較し、キー特徴量Ｆjに近い順にＰj個の画像特徴量を選択する（Ｓ３５）。情報処理装置１は、この処理Ｓ３５を、ｊを「１」ずつｋまでインクリメントしながら（なおｊの初期値は「１」とする）繰り返して実行し、この繰り返しにより選択された画像特徴量の集合の和を得て、当該和集合に含まれるＬi＝Σ（Ｐj）（Ｐj、ｊ＝１，２，…ｋの総和）個の画像特徴量に関連づけて記録されている情報を取得する（Ｓ３６）。
【００５１】
さらに情報処理装置１は、処理Ｓ３３から処理Ｓ３６までの処理を、ｉを「１」ずつインクリメントしつつ（なおｉの初期値は「１」とする）繰り返して実行し、この繰り返しにより選択された画像特徴量の集合の和を得て、当該和集合に含まれるＬ＝Σ（Ｌi）（Ｌi、ｉ＝１，２，…ｎの総和）個の画像特徴量に関連づけて記録されている情報を取得し、当該取得した情報で特定される参照情報に含まれる栄養価情報を取り出す（Ｓ３７）。そして情報処理装置１は、ここで取り出した栄養価情報の統計値を演算して出力する（Ｓ３８）。
【００５２】
この第４例でも、処理Ｓ３５，Ｓ３６の繰り返しにより見いだされた類似画像を含む参照情報に重複があることもある。つまり、第１種目の画像特徴量に基づき類似画像Ｘが見いだされ、第２種目の画像特徴量により同じ類似画像Ｘが見いだされるということもあり得る。ここではこのような場合は類似画像Ｘを重複を許して検索結果に含める（つまり類似画像Ｘに関連づけて参照情報に含む栄養価情報は重複の分だけ加重した統計値が出力される）こととしている。しかしながら、このように重複する場合は、当該重複を排除する処理を行ってもよい。この場合、処理Ｓ３５，Ｓ３６の繰り返しで見いだされる類似画像の数はＬ以下となる。
【００５３】
［参照情報の記録］
さらに本実施の形態において参照情報は、次のようにして生成することができる。すなわち、予め複数の飲食物について撮像された画像を用意し、各画像を順次提示しつつ、利用者に対して当該画像に撮像されている飲食物の推定のカロリー値など、栄養価の情報の入力を求める。そして利用者から入力された栄養価の情報を、当該対応する画像に関連づけて参照情報として記録するのである。
【００５４】
既に述べたように、本実施の形態においては、集合知として情報が得られればよいので、個々の参照情報における栄養価の推定値は正確である必要はなく、利用者が個人的な感覚で画像だけから適当と考える数値を入力すればよい。
【００５５】
また、別の例では、利用者が飲食物について画像を撮像するごとに、当該撮像した飲食物の推定のカロリー値など、栄養価の情報の入力を求め、利用者から入力された栄養価の情報を、当該対応する画像に関連づけて参照情報として記録するようにしてもよい。この場合も、利用者が個人的な感覚で画像だけから適当と考える数値を入力すればよい。
【００５６】
［皿の認識］
さらに本実施の形態において、制御部１１が画像情報を受け入れるときに（画像受入部２２として動作するときに）、当該受け入れた画像情報に含まれる皿の画像や当該皿の大きさを認識し、その認識結果を栄養価情報の演算処理に利用してもよい。
【００５７】
この例においては参照情報に含まれる画像情報についても、予め次のようにしておく。すなわちこの例の参照情報には、一つの皿に載せられた（あるいは一つの皿に入れられた）飲食物の画像情報が含まれる。また、当該皿の大きさについての情報が例えば皿の面積の値として入力されるか、あるいは「大」、「中」、「小」等の文字列によって入力され、参照情報に含めて記録される。
【００５８】
制御部１１は、処理の対象となる画像情報の入力を受けると、当該画像情報に含まれる皿ごとに画像情報を分割する。ここで皿の画像部分の認識は、例えば円形ないし矩形の輪郭線を検出することで行う。一般に飲食物は円形、矩形になっていないことを利用したものである。そして制御部１１は、皿ごとに分割された画像情報を、それぞれ画像受入部２２の出力とする。
【００５９】
この際、分割された各画像情報に含まれる皿の大きさの情報の入力を、利用者から受けるようにしておいてもよい。一例として、「大」、「中」、「小」等の文字列によって入力させるようにしておけばよい。
【００６０】
また、撮像装置２が焦点距離の情報等のメタデータを出力している場合、焦点距離の情報と、画像のサイズとに基づいて皿の面積を推定してもよい。この推定の方法は広く知られた方法を用いることができるので、ここでの詳細な説明を省略する。
【００６１】
このように処理する場合、個々の皿ごとの画像情報について、参照情報から類似画像が検索される。そして参照情報ごとに、参照情報に含まれる画像情報に関連づけられた皿の大きさの情報Ｕと、キーとなった画像情報（皿ごとに分割された画像情報）に含まれる皿の大きさの情報Ｖとの比Ｖ／Ｕを、対応する参照情報に含まれる栄養価情報に乗じて統計値の演算を行う。
【００６２】
なお、「大」、「中」、「小」等の文字列によって皿の大きさを特定する場合、「大」、「中」、「小」の比を、１．５：１：０．７等として予め定めておき、比Ｖ／Ｕを求めることとすればよい。
【００６３】
また、この例においては撮像されて、情報処理装置１に入力された画像情報を、それぞれ皿一枚を含む画像情報に分割し、当該分割して得た画像情報ごとに栄養価情報の統計値が求められる。そこで情報処理装置１は、当該分割して得た画像情報毎に求めた統計値を累算して、撮像された画像情報全体に含まれる飲食物の栄養価情報として出力することとしてもよい。
【００６４】
［変形例］
さらに上述の第４例のように、複数の記録領域に格納されている参照情報について複数ｋ個の画像特徴量を算出する場合、既に述べた説明では、各記録領域に格納された参照情報についてそれぞれｋ個の画像特徴量を算出していたが、本実施の形態はこれに限らず、例えば参照情報を保持する記録領域ごとに、ｋ個の画像特徴量のうちから一つの画像特徴量を対応特徴量として選択し、当該選択した対応特徴量を、対応する記録領域から読み出される参照情報内の画像情報について演算するようにしてもよい。
【００６５】
つまり、記録領域ごとに一つの画像特徴量を対応づけ、記録領域ごとに当該対応する画像特徴量に基づいて、入力された（キーとなる）画像情報に類似する類似画像を検索するのである。
【００６６】
このようにした場合、個々の記録領域（個々の知識に対応する）から、個々の画像特徴量（個々の栄養価の評価感覚に対応する）で類似画像が検索されることとなり、より集合知に近い結果が得られる。
【００６７】
［別の変形例］
ここまでの説明において、統計演算部２５は、入力されたＬ個の栄養価情報の平均を演算する例を挙げたが、既に述べたように、この統計演算部２５による統計演算は単なる平均に限らず、例えば、加重平均を用いてもよい。具体的に、Ｌ個の栄養価情報（推定値）を、ｘ1,ｘ2,…ｘL、これら各推定値に関連づけられている画像特徴量をｐ1，ｐ2，…ｐLとするとき、統計演算部２５は、統計量Ｘとして、
Ｘ＝ａ1・ｘ1＋ａ2・ｘ2＋…＋ａL・ｘL＋ｂ
ただしａi（ｉ＝１，２，…Ｌ）及びｂは、別途定めた係数
を演算して、この統計量Ｘを出力部２６に出力し、出力部２６が、この統計演算部２５が出力する情報を表示部１４に表示出力させることとしてもよい。
【００６８】
ここでａi（ｉ＝１，２，…Ｌ）及びｂの係数は、例えば次のように定める。すなわち、係数ａiは、対応する（乗じる）栄養価情報ｘi（ｉ＝１，２，…Ｌ）に関連する画像特徴量ｐiと、それと比較したキー特徴量ｐKとの差｜ｐi−ｐK｜（ここで、｜＊｜は、＊の絶対値を意味する）が小さいほど大きくなる値としてもよい。また係数ｂは「０」であってもよいし、経験的に統計量Ｘが本来あるべき栄養価情報より高めに演算されるようであれば負の数とし、統計量Ｘが本来あるべき栄養価情報より高めに演算されるようであれば正の値として、結果の調整のために用いるようにすればよい。もっとも、この係数の定め方はこれに限るものではない。
【００６９】
例えば、このほか、Ｌ個の栄養価情報ｘj（ｊは１，２，…Ｌのいずれか）を、各栄養価情報ｘjに関連する画像特徴量ｐjと、それと比較したキー特徴量ｐKとの差｜ｐj−ｐK｜の昇順（あるいは降順）に配列してｘi（ｉ＝１，２，…Ｌ）とし（つまり、｜ｐi-1−ｐK｜＜｜ｐi−ｐK｜または｜ｐi-1−ｐK｜＞｜ｐi−ｐK｜となるようにｘiを配列した結果、ｘ1，ｘ2，…，ｘLとなるとする）、
Ｘ＝ａ1・ｘ1＋ａ2・ｘ2＋…＋ａL・ｘL＋ｂ
を演算するものとしておき、予め、栄養価情報が既知であるような複数の画像をそれぞれサンプルとして、各サンプルの画像から得たキー特徴量を用いて、Ｌ個の栄養価情報を取得する処理（図８から図１１の処理）を行い（このとき各統計演算では、上記Ｘを演算する）、上記サンプルごとにＸを得て、このサンプルごとのＸがそれぞれサンプルごとの既知の栄養価情報に近接するよう、ａi（ｉ＝１，２，…Ｌ）及びｂの係数を調整する。
このような調整の処理は、広く知られた最適化問題の処理方法（例えばラグランジュの未定乗数法など）を利用できるので、ここでの詳しい説明を省略する。
【００７０】
統計演算部２５による演算は関数を用いたものであってもよい。すなわち、統計演算部２５は、統計量Ｘとして、別途定めた関数ｆを用い、
Ｘ＝ｆ（ｘ1，ｘ2，…，ｘL）
としてもよい。この関数ｆは、線形な関数であっても、非線形な関数であってもよい。
【００７１】
［食事バランス情報の利用］
また本実施の形態の情報処理装置１は、皿の認識を行う例において、皿の大きさだけでなく、皿内の色を表す情報（例えば一つの皿の領域内にある画素の輝度や色相値の平均値）を利用し、主食（ご飯、パン類：一般に輝度が高い）、副菜（野菜等：一般に輝度が低く、色相が緑ないし黄色に近い）、主菜（肉や魚など：色相が茶や赤色に近い）のいずれであるかの推定を行ってもよい。この場合、皿ごとの画像情報について、参照情報から少なくとも一つの類似画像を検索し、当該類似画像に関連する栄養価情報を得る。そして各皿内の画素の輝度や色相値の平均値に基づいて、皿ごとに主食・副菜・主菜の別の情報を得る。
【００７２】
また、この場合では予め主食、副菜、主菜のそれぞれについて、平均的な栄養価情報（以下、食事バランス栄養価情報と呼ぶ）を関連づけて記憶部１２に格納しておく。情報処理装置１は、この情報を利用し、皿ごとに判断された主食・副菜・主菜の別を表す情報に基づき、皿ごとの食事バランス栄養価情報を得る。また情報処理装置１は、皿ごとに得られた類似画像に関連する栄養価情報と、食事バランス栄養価情報とを用いた演算を行う（この演算は例えば平均の演算であってもよいし、上記加重平均であってもよい）。
またこの演算において参照情報ごとに、参照情報に含まれる画像情報に関連づけられた皿の大きさの情報Ｕと、キーとなった画像情報（皿ごとに分割された画像情報）に含まれる皿の大きさの情報Ｖとの比Ｖ／Ｕを、対応する参照情報に含まれる栄養価情報に乗じて演算を行うこととしてもよい。
【符号の説明】
【００７３】
１  情報処理装置、２  撮像装置、１１  制御部、１２  記憶部、１３  操作部、１４  表示部、２１，２１′  参照情報取得部、２２  画像受入部、２３，２３′  類似画像検索部、２４  対応情報取得部、２５  統計演算部、２６  出力部。
【図１】
2012014678.tif 000003
【図２】
2012014678.tif 000004
【図３】
2012014678.tif 000005
【図４】
2012014678.tif 000006
【図５】
2012014678.tif 000007
【図６】
2012014678.tif 000008
【図７】
2012014678.tif 000009
【図８】
2012014678.tif 000010
【図９】
2012014678.tif 000011
【図１０】
2012014678.tif 000012
【図１１】
2012014678.tif 000013