食事前における皿の状態を撮影した食前画像と、食後における皿の状態を撮影した食後画像とを格納する画像格納部と、前記画像格納部に格納されている前記食前画像と前記食後画像とに基づき、前記食前画像における皿領域の各々について、当該皿領域の皿部分と前記食後画像における各皿候補領域の皿部分との第1の類似度を算出し、第1データ格納部に格納する皿部分類似度算出部と、前記画像格納部に格納されている前記食前画像と前記食後画像とに基づき、前記食前画像における皿領域の各々について、当該皿領域の食事部分と前記食後画像における各皿候補領域の食事部分との第2の類似度を算出して、前記第1データ格納部に格納する食事部分類似度算出部と、前記食前画像における皿領域の各々について、前記第1データ格納部に格納されている前記第1の類似度と前記第2の類似度とから算出される第3の類似度が最も大きい値となる前記食後画像における皿候補領域を特定する領域特定部と、前記食前画像における皿領域の各々について、当該皿領域の食事部分と、当該皿領域について特定された、前記食後画像における皿候補領域の食事部分とに基づき食事摂取割合を算出し、第2データ格納部に格納する摂取割合算出部と、前記食前画像における皿領域に載せられている食事のカロリー数と前記食前画像における皿領域について前記第2データ格納部に格納されている前記食事摂取割合との積を、前記食前画像における皿領域の全てについて加算することで総摂取カロリーを算出し、第3データ格納部に格納するカロリー計算部と、を有する情報処理装置。前記皿部分類似度算出部が、前記食前画像における皿領域の皿部分と前記食後画像における各皿候補領域の皿部分との差を表す皿部分差分画像を生成し、当該皿部分差分画像から皿部分についての第1の類似度を算出する請求項1記載の情報処理装置。前記食事部分類似度算出部が、前記食前画像における皿領域の食事部分と前記食後画像における各皿候補領域の食事部分との差を表す食事部分差分画像を生成し、当該食事部分差分画像から食事部分についての第2の類似度を算出する請求項1又は2記載の情報処理装置。前記領域特定部が、前記第1の類似度と前記第2の類似度との重み付け加算により前記第3の類似度を算出する請求項1乃至3のいずれか1つ記載の情報処理装置。前記領域特定部が、前記食前画像における皿領域の各々について、前記食後画像における各皿候補領域との距離を算出し、当該距離によって前記第3の類似度を補正する請求項1乃至4のいずれか1つ記載の情報処理装置。前記食前画像における皿領域の画像エントロピーに基づく重み値を算出する重み算出部をさらに有する請求項4記載の情報処理装置。前記食前画像における皿領域の食事部分に対する、前記食後画像における皿候補領域の食事部分の面積比に応じた重み値を算出する重み算出部をさらに有する請求項4記載の情報処理装置。前記摂取割合算出部が、前記食前画像における皿領域の各々について、当該皿領域の食事部分の二値画像の画素値と、当該皿領域について特定された、前記食後画像における皿候補領域の食事部分の二値画像の画素値との差の総和を、前記食前画像における皿領域の食事部分の二値画像の画素値の総和で除することで食事摂取割合を算出する請求項1乃至7のいずれか1つ記載の情報処理装置。食事前における皿の状態を撮影した食前画像と、食後における皿の状態を撮影した食後画像とを格納する画像格納部に格納されている前記食前画像と前記食後画像とに基づき、前記食前画像における皿領域の各々について、当該皿領域の皿部分と前記食後画像における各皿候補領域の皿部分との第1の類似度を算出し、第1データ格納部に格納する皿部分類似度ステップと、前記画像格納部に格納されている前記食前画像と前記食後画像とに基づき、前記食前画像における皿領域の各々について、当該皿領域の食事部分と前記食後画像における各皿候補領域の食事部分との第2の類似度を算出して、前記第1データ格納部に格納する食事部分類似度算出ステップと、前記食前画像における皿領域の各々について、前記第1データ格納部に格納されている前記第1の類似度と前記第2の類似度とから算出される第3の類似度が最も大きい値となる前記食後画像における皿候補領域を特定する領域特定ステップと、前記食前画像における皿領域の各々について、当該皿領域の食事部分と、当該皿領域について特定された、前記食後画像における皿候補領域の食事部分とに基づき食事摂取割合を算出し、第2データ格納部に格納する摂取割合算出ステップと、前記食前画像における皿領域に載せられている食事のカロリー数と前記食前画像における皿領域について前記第2データ格納部に格納されている前記食事摂取割合との積を、前記食前画像における皿領域の全てについて加算することで総摂取カロリーを算出し、第3データ格納部に格納するカロリー計算ステップと、を含み、コンピュータにより実行される情報処理方法。食事前における皿の状態を撮影した食前画像と、食後における皿の状態を撮影した食後画像とを格納する画像格納部に格納されている前記食前画像と前記食後画像とに基づき、前記食前画像における皿領域の各々について、当該皿領域の皿部分と前記食後画像における各皿候補領域の皿部分との第1の類似度を算出し、第1データ格納部に格納する皿部分類似度ステップと、前記画像格納部に格納されている前記食前画像と前記食後画像とに基づき、前記食前画像における皿領域の各々について、当該皿領域の食事部分と前記食後画像における各皿候補領域の食事部分との第2の類似度を算出して、前記第1データ格納部に格納する食事部分類似度算出ステップと、前記食前画像における皿領域の各々について、前記第1データ格納部に格納されている前記第1の類似度と前記第2の類似度とから算出される第3の類似度が最も大きい値となる前記食後画像における皿候補領域を特定する領域特定ステップと、前記食前画像における皿領域の各々について、当該皿領域の食事部分と、当該皿領域について特定された、前記食後画像における皿候補領域の食事部分とに基づき食事摂取割合を算出し、第2データ格納部に格納する摂取割合算出ステップと、前記食前画像における皿領域に載せられている食事のカロリー数と前記食前画像における皿領域について前記第2データ格納部に格納されている前記食事摂取割合との積を、前記食前画像における皿領域の全てについて加算することで総摂取カロリーを算出し、第3データ格納部に格納するカロリー計算ステップと、を、コンピュータに実行させる情報処理プログラム。従って、本技術の目的は、一側面において、正確に摂取カロリーを算出するための技術を提供することである。本情報処理装置は、A食事前における皿の状態を撮影した食前画像と、食後における皿の状態を撮影した食後画像とを格納する画像格納部と、B画像格納部に格納されている食前画像と食後画像とに基づき、食前画像における皿領域の各々について、当該皿領域の皿部分と食後画像における各皿候補領域の皿部分との第1の類似度を算出し、第1データ格納部に格納する皿部分類似度算出部と、C画像格納部に格納されている食前画像と食後画像とに基づき、食前画像における皿領域の各々について、当該皿領域の食事部分と食後画像における各皿候補領域の食事部分との第2の類似度を算出して、第1データ格納部に格納する食事部分類似度算出部と、D食前画像における皿領域の各々について、第1データ格納部に格納されている第1の類似度と第2の類似度とから算出される第3の類似度が最も大きい値となる食後画像における皿候補領域を特定する領域特定部と、E食前画像における皿領域の各々について、当該皿領域の食事部分と、当該皿領域について特定された、食後画像における皿候補領域の食事部分とに基づき食事摂取割合を算出し、第2データ格納部に格納する摂取割合算出部と、F食前画像における皿領域に載せられている食事のカロリー数と食前画像における皿領域について第2データ格納部に格納されている食事摂取割合との積を、食前画像における皿領域の全てについて加算することで総摂取カロリーを算出し、第3データ格納部に格納するカロリー計算部とを有する。正確に摂取カロリーを算出することができるようになる。[実施の形態1]本実施の形態に係るシステムの概要を図1に示す。例えば携帯電話ネットワークやインターネット等のネットワーク10には、本実施の形態における主要な処理を実施する情報処理装置1000が接続されており、例えばデジタルカメラ機能付きの携帯電話機であるユーザ端末も無線で接続されている。ユーザは、ユーザ端末を操作して、食事が皿に載せられている食前の状態を撮影し、ネットワーク10を介して情報処理装置1000へ食前画像として送信させる。さらに、ユーザは、ユーザ端末を操作して、食後の皿の状態を撮影し、ネットワーク10を介して情報処理装置1000へ食後画像として送信させる。情報処理装置1000は、食前画像及び食後画像を受信し、以下で述べる処理を実施して、カロリー計算結果を、送信元のユーザ端末に返信する。なお、このようなサービス提供形態だけではなく、情報処理装置1000の機能をユーザ端末に備えさせて、ユーザ端末のみでカロリー計算ができるようにしても良い。ユーザ端末は、携帯電話機ではなく、カメラ機能及び通信機能を有する他の端末装置であってもよい。また、単にカメラであって、別途パーソナルコンピュータなどから、当該カメラで撮影した食事画像を、情報処理装置1000に送信するようにしても良い。さらに、このパーソナルコンピュータ自体が情報処理装置1000である場合もある。次に、図2に情報処理装置1000の機能ブロック図を示す。情報処理装置1000は、入力部100と、画像データ格納部101と、皿領域検出部102と、食事認識部103と、食事認識結果格納部104と、皿領域データ格納部105と、皿候補領域検出部106と、皿候補領域データ格納部107と、皿部分類似度算出部108と、第1データ格納部109と、食事部分類似度算出部110と、統合類似度算出部111と、重み算出部112と、第2データ格納部113と、対応領域選択部114と、第3データ格納部115と、摂取割合算出部116と、第4データ格納部117と、カロリーデータベースDB118と、カロリー計算部119と、第5データ格納部120と、出力部121とを有する。入力部100は、例えばネットワーク10を介して送信されてきた画像データを、画像データ格納部101に格納する。皿領域検出部102は、画像データ格納部101から食前画像を読み出し、食事認識部103と連携して皿領域検出処理を実施して、処理結果を皿領域データ格納部105に格納する。食事認識部103は、皿領域検出部102と連携して処理を実施して、処理結果を食事認識結果格納部104に格納する。皿候補領域検出部106は、画像データ格納部101から食後画像を読み出して皿領域検出処理を実施して、処理結果を皿候補領域データ格納部107に格納する。皿部分類似度算出部108は、皿領域データ格納部105及び皿候補領域データ格納部107に格納されているデータを用いて処理を実施し、処理途中のデータ及び処理結果を第1データ格納部109に格納する。食事部分類似度算出部110は、皿領域データ格納部105、第1データ格納部109及び皿候補領域データ格納部107に格納されているデータを用いて処理を実施し、処理途中のデータ及び処理結果を第1データ格納部109に格納する。統合類似度算出部111は、第1データ格納部109等に格納されているデータを用いて処理を行い、第2データ格納部113に格納する。なお、統合類似度算出部111は、皿領域データ格納部105及び皿候補領域データ格納部107に格納されているデータや重み算出部112の処理結果を用いる場合もある。重み算出部112は、第1データ格納部109や皿領域データ格納部105に格納されるデータを用いて処理を行う。対応領域選択部114は、第2データ格納部113及び第1データ格納部109に格納されているデータを用いて処理を行い、処理結果を第3データ格納部115に格納する。摂取割合算出部116は、第3データ格納部115に格納されているデータを用いて処理を行い、処理結果を第4データ格納部117に格納する。カロリー算出部119は、カロリーDB118に格納されているデータと第4データ格納部117に格納されているデータを用いて処理を実施し、処理結果を第5データ格納部120に格納する。出力部121は、第5データ格納部120に格納されているデータを、処理要求元のユーザ端末に送信する。次に、図3A乃至図19を用いて図2に示した情報処理装置1000の処理内容を説明する。まず、皿領域検出部102は、画像データ格納部101に格納されている食前画像から皿領域候補を抽出し、皿領域候補の画像データを食事認識部103に出力する。食事認識部103は、皿領域候補の画像データから食事品目を特定するための処理を実施する。そして、食事認識部103は、食事品目が特定できた皿領域候補を皿領域として特定し、当該皿領域の識別子に対応付けて食事品目を食事認識結果格納部104に格納する。また、食事認識部103は、食事品目が特定できた皿領域候補の識別子を皿領域検出部102に出力し、皿領域検出部102は、この出力データに基づき、皿領域の画像データを皿領域データ格納部105に格納する図3A:ステップS1。より具体的には、皿領域検出部102は、食前画像から楕円や四角の検出を行うことで皿領域候補を抽出する。楕円や四角の検出には一般化ハフ変換例えば、DHBallardGeneralizingtheHoughTransformtoDetectArbitraryShapesPatternRecognitionVol13No2p1111221981を参照のことなどを用いる。さらに、食事認識部103は、各皿領域候補の画像から特徴量を抽出して特徴ベクトルを生成し、特徴ベクトルから食事が含まれているか否かを判定する識別器を用いる。例えば、特徴量は、SIFT例えば米国特許第6711293号やDavidGLoweObjectrecognitionfromlocalscaleinvariantfeaturesInternationalConferenceonComputerVisionCorfuGreecepp11501157を参照のこと。やSURF例えば国際特許公報WO2007/128452号やHerbertBayAndreasEssTinneTuytelaarsLucVanGoolSURFSpeededUpRobustFeaturesComputerVisionandImageUnderstandingVol110No3pp346359を参照のことなどの局所特徴量である。特徴ベクトルはBagofwords例えば、CsurkaGBrayCDanceCandFanLVisualcategorizationwithbagsofkeypointsinProcofECCVWorkshoponStatisticalLearninginComputerVisionpp5974等を参照のことと呼ばれる表現で生成する。そして、識別器にはサポートベクターマシンSupportVectorMachineを用いる。また、識別器は、認識対象とする食事の種類と同じ数だけ用意し、1つの識別器は1種類の食事を識別する。それぞれの識別器は認識対象の食事画像を用いて事前に学習を行っているものとする。このように食事認識部103の処理自体は、既に知られた技術に基づくので、これ以上述べない。なお、図3Bに示すようなデータが食事認識結果格納部104に格納される。図3Bの例では、皿領域毎に、食事品目例えば食事品目の識別子が登録されるようになっている。また、皿領域検出部102の検出結果の一例を図4に示す。皿領域検出部102は、例えば図4の点線で囲まれた領域を皿領域候補として検出する。図4の例でも分かるように、検出結果だけでは、箸袋まで皿領域候補として特定されてしまう。そのため、食事認識部103によって食事品目が特定された場合に、有効な皿領域として取り扱うようにする。すなわち、箸袋は食事品目が特定されないので、箸袋の領域を以下では処理しない。皿領域データ格納部105には、例えば、皿領域の識別子と、食前画像内における皿領域の位置を表すデータ例えば領域の左上の座標値と、皿領域の画像データとが格納される。また、皿候補領域検出部106は、画像データ格納部101に格納されている食後画像から皿候補領域を抽出し、皿候補領域データ格納部107に格納するステップS3。処理自体は、皿領域検出部102と同様であり、食後画像から楕円や四角を検出する。但し、食後画像の場合は、食事が食べられて残っていないか、残っていても食前状態とは見た目が変わってしまっている場合もあり、食事認識部103では皿領域候補が有効であるか判定することはできない。そこで、以降の処理で、どの皿領域候補が有効であり、食前画像におけるどの皿領域と対応するかを特定する。なお、皿候補領域データ格納部107には、例えば、皿候補領域の識別子と、食後画像内における皿候補領域の位置を表すデータ例えば領域の左上の座標値と、皿候補領域の画像データとが格納される。次に、皿部分類似度算出部108は、皿領域データ格納部105において、食前画像における未処理の皿領域を1つ特定するステップS5。そして、皿部分類似度算出部108は、特定された皿領域と食後画像における各皿候補領域との組み合わせについて、皿部分の類似度Spを算出し、第1データ格納部109に格納するステップS7。本ステップでは、皿領域から食事部分を排除した皿部分にのみ着目し、皿部分の類似度を算出する。この処理については、図5を用いて説明する。最初に、皿領域から皿部分の抽出を行う。例えば図6Aのような皿領域を処理する場合を考える。図6Aのような皿領域に対して、色クラスタリングなどにより減色処理を施し、皿領域内の外側周辺の連続した色クラスを選択して、当該色クラスと同一色の領域を選択領域として特定する。そして、皿部分類似度算出部108は、黒画像画素値=0の上に、選択領域のみを白画素値=1で塗りつぶした二値画像である皿部分マスクを生成し、第1データ格納部109に格納する図5:ステップS31。図6Bに、食前画像の皿部分マスクの一例を示す。同様に、皿部分類似度算出部108は、皿候補領域データ格納部107に格納されている各皿候補領域についても同様の処理を実施する。すなわち、食後画像の各皿候補領域について皿部分マスクを生成し、第1データ格納部109に格納するステップS33。そうすると、例えば、図7に示すような食後画像の皿部分マスクが得られる。なお、以下の演算では、皿領域の画像と皿候補領域の画像のサイズは同一の方が好ましいので、皿候補領域の画像のサイズを、皿領域の画像に合わせるスケーリング処理を実施する。なお、ステップS33については、図3Aの処理の繰り返しの初回のみ実施すればよい。2回目以降は、第1データ格納部109に格納されたデータをそのまま使用できる。そして、図8に模式的に示すように、皿部分類似度算出部108は、食前画像の皿部分マスクと食後画像の皿部分マスクとの論理積を算出することで、合成皿部分マスクを生成し、第1データ格納部109に格納するステップS35。合成皿部分マスクは、食前及び食後ともに皿が見えている領域を白で表す。その後、図9に模式的に示すように、皿部分類似度算出部108は、食前画像における皿領域と、食後画像における皿候補領域との輝度値についての差分を算出して、グレースケールの差分画像を生成する。輝度値についての差分値については絶対値とする。さらに、皿部分類似度算出部108は、このグレースケールの差分画像と合成皿部分マスクとの論理積を算出することで、皿部分差分画像を生成し、第1データ格納部109に格納するステップS37。皿部分差分画像は、グレースケールの画像となる。よって、皿部分差分画像は、黒い部分ほど食前と食後で輝度値の差が少なく、白い部分ほど食前と食後で輝度値の差が大きいことを表している。このような処理は、食前画像における皿領域と食後画像における皿候補領域との組み合わせ毎に実施され、組み合わせ毎に皿部分差分画像が生成される。そして、皿部分類似度算出部108は、以下の式に従って、食前画像における皿領域と食後画像における皿候補領域との組み合わせ毎に、皿部分差分画像の画素値から類似度Spを算出し、第1データ格納部109に格納するステップS39。1式におけるNは、皿部分差分画像の画素数を表し、piはi番目の画素の画素値を表す。なお、画素値は0から1までの値に分布するようになっている。例えば、0から255で分布する場合には、0から1の範囲にマッピングする。例えば、図14に示すようなデータが第1データ格納部109に格納される。図14の例では、皿候補領域毎に、類似度Spの値が登録されるようになっている。なお、図14の例では、類似度Sfの値も登録されるようになっているが、類似度Sfについては後の処理で登録される。また、食事部分類似度算出部110は、特定された皿領域と食後画像における各皿候補領域との組み合わせについて、食事部分の類似度Sfを算出し、第1データ格納部109に格納するステップS9。この処理については図10を用いて説明する。本ステップでは、皿領域から皿部分を排除した食事部分にのみ着目し、食事部分の類似度を算出する。最初に、食前画像における皿領域から食事部分の抽出を行う。既に、皿部分マスクが生成されているので、食事部分類似度算出部110は、皿部分マスクの白黒を反転させることによって、食前画像についての食事部分マスクを生成し、第1データ格納部109に格納する図10:ステップS41。図6Bの皿部分マスクの場合には、図11Aに示すような食事部分マスクが生成される。食後画像における皿候補領域の各々についても、食事部分類似度算出部110は、食後画像についての皿部分マスクの白黒を反転させることによって、食後画像についての食事部分マスクを生成し、第1データ格納部109に格納するステップS43。図7の皿部分マスクの場合には、図11Bに示すような食事部分マスクが生成される。なお、以下の演算では、皿領域の画像と皿候補領域の画像のサイズは同一の方が好ましいので、皿候補領域の画像のサイズを、皿領域の画像に合わせるスケーリング処理を実施する。ステップS43についても、図3Aの処理の繰り返しの初回のみ実施すればよい。2回目以降は、第1データ格納部109に格納されたデータをそのまま使用できる。そして、図12に模式的に示すように、食事部分類似度算出部110は、食前画像の食事部分マスクと食後画像の食事部分マスクとの論理積を算出することで、合成食事部分マスクを生成し、第1データ格納部109に格納するステップS45。合成食事部分マスクは、食前及び食後ともに食事が見えている領域を白で表す。その後、図13に模式的に示すように、食事部分類似度算出部110は、食前画像における皿領域と、食後画像における皿候補領域との輝度値についての差分を算出して、グレースケールの差分画像を生成する。輝度値についての差分値については絶対値とする。なお、このようなグレースケールの差分画像については、ステップS37でも生成されているので、第1データ格納部109に格納しておき、それを用いるようにしても良い。さらに、食事部分類似度算出部110は、このグレースケールの差分画像と合成食事部分マスクとの論理積を算出して、食事部分差分画像を生成し、第1データ格納部109に格納するステップS47。食事部分差分画像は、グレースケールの画像となる。よって、食事部分差分画像は、黒い部分ほど食前と食後で輝度値の差が少なく、白い部分ほど食前と食後で輝度値の差が大きいことを表している。このような処理は、食前画像における皿領域と食後画像における皿候補領域との組み合わせ毎に実施され、組み合わせ毎に食事部分差分画像が生成される。そして、食事部分類似度算出部110は、以下の式に従って、食前画像における皿領域と食後画像における皿候補領域との組み合わせ毎に、食事部分差分画像の画素値から類似度Sfを算出し、第1データ格納部109に格納するステップS49。2式におけるNは、食事部分差分画像の画素数を表し、piはi番目の画素の画素値を表す。なお、画素値は0から1までの値に分布するようになっている。例えば、0から255で分布する場合には、0から1の範囲にマッピングする。図14に示すようなデータSfの部分を含む。が第1データ格納部109に格納されることになる。また、重み算出部112は、例えば皿領域データ格納部105に格納されている皿領域の画像データを用いて、類似度Sp及びSfの重み付け加算に用いられる重み値wを算出し、統合類似度算出部111に出力するステップS11。重み値wの算出法は様々に存在しているが、例えば食事の複雑度に基づく方法を用いる。食事の見た目は食事の種類によって大きく異なる傾向がある。例えば、図15及び図16のように、オムライスや冷奴などの食前の見た目が単純であったり構造的であるものは、食後では見た目が大きく変化する傾向があり、その場合は食事部分の類似度に対する信頼性は低くなる。一方で、チャーハンや野菜炒めなどの食前の見た目が構造的でなく乱雑であるものは食後においても食前の見た目と変わらない傾向があり、その場合は食事部分の類似度に対する信頼性は高くなる。そこで、食事部分が乱雑であるかどうかを表す指標として画像エントロピーを用いる。食前画像の画像エントロピーが小さい場合は、見た目が単純であったり構造的であると判断し、重み値wを小さく設定し、食前画像のエントロピーが大きい場合は、見た目が構造的でなく乱雑であると判断し、重み値wを大きく設定することで、適切な統合類似度を算出できるようになる。食前画像における皿領域の食事部分についてのエントロピーを加味した重み値wを、次のような処理で算出する。まず、食前画像における皿領域についてヒストグラム特徴量を抽出する。ヒストグラム特徴量は、輝度ヒストグラム、色ヒストグラム、SIFTやSURFなどの局所特徴量をbagofwordsで表現したvisualwordヒストグラムなどを用いる。そして、ヒストグラムを、当該ヒストグラムにおける各ビン出現頻度のカウントの値を合計した値が1になるように正規化し、各ビンについての出現頻度を求め、以下の式により重み値wを算出する。3式において、Nはヒストグラムのビンの数であり、riは、i番目のビンについての出現頻度合計値が1になるように正規化されているので出現割合である。重み算出部112は、例えばこのような演算によって、重み値wを算出して、重み値wを統合類似度算出部111に出力する。なお、フーリエ変換やウェーブレット変換などの周波数分析手法で、高周波成分の大きさを抽出することにより、複雑度を算出した上で、重み値wを算出しても良い。次に、統合類似度算出部111は、第1データ格納部109に格納されている類似度Sp及びSfと、重み値wとから、食前画像における皿領域と食後画像における各皿候補領域との組み合わせについて統合類似度を算出して、第2データ格納部113に格納するステップS13。以下に示す式で統合類似度Sは算出される。S=1-wSpwSfこのように食事部分の類似度Sfと皿部分の類似度Spとをwによる重み付け加算したものとなる。本実施の形態では、重み値wが大きいほど食事部分が重視され、小さいほど皿部分が重視される統合類似度が算出される。ステップS13の処理を実施すると、例えば図17に示すようなデータが、第2データ格納部113に格納される。図17の例では、皿候補領域毎に、統合類似度Sの値が登録されるようになっている。そして、対応領域選択部114は、統合類似度Sが最大となる皿候補領域を特定し、摂取割合を算出するために用いるので第1データ格納部109から処理に係る皿領域についての食事部分マスクと統合類似度Sが最大となる皿候補領域についての食事部分マスクとを読み出して、第3データ格納部115に格納するステップS15。皿領域の識別子及び統合類似度Sが最大となる皿候補領域の識別子も、第3データ格納部115に格納する。処理は、端子Aを介して図18の処理に移行する。図18の処理の説明に移行して、例えば皿部分類似度算出部108は、食前画像において未処理の皿領域が存在するか判断する図18:ステップS17。未処理の皿領域が存在する場合には、端子Bを介してステップS5に戻る。一方、食前画像における未処理の皿領域が存在しなければ、摂取割合算出部116は、第3データ格納部115に格納されているデータから、食前画像における皿領域毎に、摂取割合を算出し、第4データ格納部117に格納するステップS19。本実施の形態では、対応する領域について、食前画像の食事部分マスクから食後画像の食事部分マスクを引くことで、食前と食後の食事部分における変化量がわかる。従って、食事部分における変化の割合を、ユーザの摂取割合として算出する。具体的には、以下の式で算出する。4式において、Nは、食前画像の皿部分マスクの画素数であり、pbiは食前画像の食事部分マスクのi番目の画素値を表し、paiは食後画像の食事部分マスクのi番目の画素値を表す。このように、食前画像の皿部分マスクの画素値の累積値に対する、画素値の差の累積値の割合で、摂取割合が算出される。第4データ格納部117には例えば図19に示すようなデータが格納される。図19の例では、皿領域毎に、摂取割合vの値が登録されるようになっている。そして、カロリー算出部119は、食事認識結果格納部104から各皿領域の食事品目を読み出して、カロリーDB118から対応するカロリー数を読み出し、第4データ格納部117から各皿領域の摂取率を読み出し、これらから摂取カロリーを算出し、第5データ格納部120に格納する。カロリーDB118は、例えば食事品目毎に、典型的なカロリー数が登録されている。食事認識結果格納部104には、皿領域毎に食事品目名が登録されているので、各食事品目に対応するカロリー数を読み出す。同様に、第4データ格納部117には、各皿領域について摂取割合vが登録されているので、これを読み出し、以下の式で摂取カロリーcを算出する。5式において、ciは、i番目の皿領域の食事品目のカロリー数を表し、viは、i番目の皿領域の摂取割合を表す。出力部121は、第5データ格納部120に格納されている摂取カロリーcを、要求元のユーザ端末に出力するステップS21。これによって、ユーザは、正確な摂取カロリーcを自動的に得ることができるようになる。[実施の形態2]上で述べた実施の形態1では、画像データだけで統合類似度Sを算出する処理フローを示したが、本実施の形態では、以下のような観点で統合類似度を補正することで、食前画像と食後画像との領域対応付けの精度を向上させる。具体的には、実際の食事シーンでは、ほとんどの場合、食前と食後で各食事品目の位置があまり変わらない傾向がある。例えば、図4のような食前画像における皿の配置は、食後であってもほとんど変わらない場合が多い。従って、食前と食後で皿領域の移動量が小さい場合は、同一の食事品目である可能性が高いと判断でき、逆に皿領域の移動量が大きい場合は、同一の食事品目である可能性が低いと判断できる。このため、本実施の形態では、図20に示すような統合類似度算出部111を採用する。本実施の形態における統合類似度算出部111は、類似度算出部1111と、類似度格納部1112と、距離算出部1113と、距離格納部1114と、拡張統合類似度算出部1115とを有する。類似度算出部1111は、第1データ格納部109に格納されているデータから、食前画像における皿領域と食後画像における各皿候補領域との組み合わせについて統合類似度Sを算出し、類似度格納部1112に格納する。距離算出部1113は、皿領域データ格納部105と皿候補領域データ格納部107とに格納されているデータを用いて距離算出処理を実施し、食前画像における皿領域と食後画像における各皿候補領域との組み合わせについて距離データを、距離格納部1114に格納する。拡張統合類似度算出部1115は、類似格納部1112と距離格納部1114とに格納されているデータを用いて処理を実施し、処理結果を第2データ格納部113に格納する。次に、図21乃至図23を用いて図2及び図20に示した情報処理装置1000の処理内容を説明する。まず、皿領域検出部102は、画像データ格納部101に格納されている食前画像から皿領域候補を抽出し、皿領域候補の画像データを食事認識部103に出力する。食事認識部103は、皿領域候補の画像データから食事品目を特定するための処理を実施する。そして、食事認識部103は、食事品目が特定できた皿領域候補を皿領域として特定し、当該皿領域の識別子に対応付けて食事品目を食事認識結果格納部104に格納する。また、食事認識部103は、食事品目が特定できた皿領域候補の識別子を皿領域検出部102に出力し、皿領域検出部102は、この出力データに基づき、皿領域の画像データを皿領域データ格納部105に格納する図21:ステップS101。ステップS1と同様であるから、これ以上は述べない。皿領域データ格納部105には、例えば、皿領域の識別子と、食前画像内における皿領域の位置を表すデータ例えば領域の左上の座標値と、皿領域の画像データとが格納される。また、皿候補領域検出部106は、画像データ格納部101に格納されている食後画像から皿候補領域を抽出し、皿候補領域データ格納部107に格納するステップS103。処理自体は、皿領域検出部102と同様であり、食後画像から楕円や四角を検出する。なお、皿候補領域データ格納部107には、例えば、皿候補領域の識別子と、食後画像内における皿候補領域の位置を表すデータ例えば領域の左上の座標値と、皿候補領域の画像データとが格納される。次に、皿部分類似度算出部108は、皿領域データ格納部105において、食前画像における未処理の皿領域を1つ特定するステップS105。そして、皿部分類似度算出部108及び食事部分類似度算出部110は、統合類似度算出処理を実施するステップS107。この処理については、ステップS7乃至S13と同様であり、ここでは詳細な説明は省略する。なお、類似度算出部1111によりステップS107は実施される。そして、距離算出部1113は、特定された皿領域と食後画像における各皿候補領域との組み合わせについて距離dを算出し、距離格納部1114に格納するステップS109。距離は、例えばユークリッド距離とし、例えば図22に示すようなデータが、距離格納部1114に格納される。図22の例では、皿候補領域毎に、距離dが登録されるようになっている。その後、拡張統合類似度算出部1115は、距離格納部1114に格納されている距離dのうち最大値dmaxを特定しステップS111、特定された皿領域と食後画像における各皿候補領域の組み合わせについて、拡張統合類似度Seを算出し、第2データ格納部113に格納するステップS113。拡張統合類似度Seについては、以下の式で算出される。dは、食前画像における皿領域と食後画像における皿候補領域との距離を表す。また、Kは、移動距離の影響度を表す0乃至1の定数である。従って、K=0のときは距離を加味しない統合類似度だけで拡張統合類似度が算出され、K=1のときは統合類似度を加味しない距離だけで拡張統合類似度が算出される。なお、健康管理サービスにおける一般的なユーザの場合には、K=0.3乃至0.4程度を設定することによって適切な拡張統合類似度が算出されることが経験的に知られている。ステップS113を実施することによって、例えば図23に示すようなデータが、第2データ格納部113に格納されることになる。図23の例では、皿候補領域毎に、拡張統合類似度Seの値が登録されるようになっている。その後、対応領域選択部114は、第2データ格納部113に格納されている拡張統合類似度Seが最大となる皿候補領域を特定し、摂取割合を算出するために用いるので第1データ格納部109から処理に係る皿領域についての食事部分マスクと統合類似度Seが最大となる皿候補領域についての食事部分マスクとを読み出して、第3データ格納部115に格納するステップS115。皿領域の識別子及び拡張統合類似度Seが最大となる皿候補領域の識別子も、第3データ格納部115に格納する。処理は、端子Aを介して図18の処理に移行する。本実施の形態でも、図18の処理については同じであるので、説明を省略する。以上のような処理を実施することによって、皿領域と皿候補領域とをより精度良く対応付けることができるようになる。[実施の形態3]また、以下で述べるような方法で重みwを算出するようにしても良い。食事の見た目は、食前と食後で変わる場合がある。一般的に、食事の見た目は食べた量によって大きく変わる傾向がある。例えば、ほとんど食べられてしまった食事は、食前の形を留めていない場合が多く、その場合は食事部分の類似度に対して信頼性は低くなる。一方で、ほとんど食べられなかった食事は、食後においても食前の形を留めており、その場合は食事部分の類似度に対して信頼性は高くなる。従って、本実施の形態では、食前と食後で食事部分の変化量が大きい場合は、食事部分の類似度が与える影響を少なくするため、重みwを小さく設定する。また、食前と食後で食事の変化量が小さい場合は、食事部分の類似度が与える影響を大きくするため、重みwを大きく設定する。そこで、適切な統合類似度を求めるために、食前画像の皿領域における食事部分の面積に対する、食後画像の皿領域における食事部分の面積の比によって、食前食後での食事部分の変化を加味した重みwを算出する。この重みwは以下の7式で算出される。Nは食前画像の食事部分マスクのピクセル数サイズは同じなので食後画像の合成食事部分マスクのピクセル数も同じである。paiは、食後画像における皿候補領域の合成食事部分マスクのi番目のピクセル値である。また、pbiは、食前画像における皿領域の合成食事部分マスクのi番目のピクセル値である。これらの合成食事マスクは二値画像であるから、そのピクセル値は0又は1である。従って、重み算出部112は、第1データ格納部109から、皿領域の合成食事部分マスクと、各皿候補領域の合成食事部分マスクとを読み出して、上で述べた7式に従って、各皿候補領域について重みwを算出し、統合類似算出部111に出力する。これ以外の処理については実施の形態1と同じであるから、説明を省略する。この手法では、食事の変化量が大きいと食事の見た目の変化も大きくなるという知識を前提とし、食前画像の皿領域と、食後の皿候補領域とが正しく対応付けられている場合において、統合類似度ができるだけ大きくなるように重みを設定するものである。正しくない対応付けの場合は、適切でない重みが設定されるため算出される統合類似度にも影響は出るものの、前提とする知識が成立する状況下においては、それよりも正しく対応付けられた場合の統合類似度の方が大きくなる傾向があるため、問題なく本手法が有効に機能する。[実施の形態4]さらに、他の方法にて重みwを算出するようにしても良い。第3の実施の形態で述べた重み算出手法は、ユーザが摂取した食事量に基づき食事部分の類似度に対する信頼性を決定する手法である。ユーザが食事を多く摂取すると、食事部分の見た目も変わり、食事部分の面積も減るため、食事部分の類似度が与える影響を少なくする考え方を採用したものである。この方法は、食事の種類を問わず、平均的に適切な重みを算出できる特性を有する。一方、第1の実施の形態で示した重み算出手法は、食前の食事特徴から食事部分の類似度に対する信頼性を決定する手法である。オムライスのような食事は、食前と食後で見た目が変わりやすいため、食事部分の類似度が与える影響を少なくするという考え方に基づく。この手法は一部の食事に対しては、極めて適切な重みを算出できる。このように、上で述べた手法は特性が異なっている。もし、撮影対象の食事の種類が限られていて、オムライスのような見た目が変わりやすい食事が対象にない場合は、第1の実施の形態で述べた重み算出手法のみを用いれば良い。一方で、見た目が変わりやすい食事が頻繁に出ることがわかっている場合は、食事の複雑度による重み算出法を用いれば良い。しかしながら、撮影対象の食事が限定されていない場合は、どちらか片方だけでなく、両方の特性を併せ持つ重み算出方法を適用することが望ましい。そのような場合、第3の実施の形態で述べた第1の重みwaと第1の実施の形態で述べた第2の重みwbとの平均値8式を採用しても良い。8式を採用して重み値を算出することで、両方の特性を併せ持つ重みを算出することができるようになる。以上本技術の実施の形態を説明したが、本技術はこれに限定されない。例えば、上で述べた機能ブロック図は一例であって、必ずしも実際のプログラムモジュール構成とは一致しない。また、処理フローについても、処理結果が変わらない限り変更することができる。例えば処理順番を入れ替えたり、複数のステップを並列実行することができる。具体的には、食前画像と食後画像との処理については並列実行できる場合がある。さらに、システム構成についても、上でも述べたように1つの装置で全ての機能を有するようにしても良いし、複数の装置で機能分担を行うようにしても良い。特に、画像を撮影する装置と、画像を送信したり処理結果を受信したりする装置を別にすることも可能である。なお、上で述べた情報処理装置1000は、コンピュータ装置であって、図24に示すように、メモリ2501とCPU2503とハードディスクドライブHDD2505と表示装置2509に接続される表示制御部2507とリムーバブルディスク2511用のドライブ装置2513と入力装置2515とネットワークに接続するための通信制御部2517とがバス2519で接続されている。オペレーティングシステムOS:OperatingSystem及び本実施例における処理を実施するためのアプリケーションプログラムは、HDD2505に格納されており、CPU2503により実行される際にはHDD2505からメモリ2501に読み出される。CPU2503は、アプリケーションプログラムの処理内容に応じて表示制御部2507、通信制御部2517、ドライブ装置2513を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ2501に格納されるが、HDD2505に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーションプログラムはコンピュータ読み取り可能なリムーバブルディスク2511に格納されて頒布され、ドライブ装置2513からHDD2505にインストールされる。インターネットなどのネットワーク及び通信制御部2517を経由して、HDD2505にインストールされる場合もある。このようなコンピュータ装置は、上で述べたCPU2503、メモリ2501などのハードウエアとOS及びアプリケーションプログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。以上述べた本実施の形態をまとめると、以下のようになる。本実施の形態に係る情報処理方法は、A食事前における皿の状態を撮影した食前画像と、食後における皿の状態を撮影した食後画像とを格納する画像格納部に格納されている食前画像と食後画像とに基づき、食前画像における皿領域の各々について、当該皿領域の皿部分と食後画像における各皿候補領域の皿部分との第1の類似度を算出し、第1データ格納部に格納する皿部分類似度ステップと、B画像格納部に格納されている食前画像と食後画像とに基づき、食前画像における皿領域の各々について、当該皿領域の食事部分と食後画像における各皿候補領域の食事部分との第2の類似度を算出して、第1データ格納部に格納する食事部分類似度算出ステップと、C食前画像における皿領域の各々について、第1データ格納部に格納されている第1の類似度と第2の類似度とから算出される第3の類似度が最も大きい値となる食後画像における皿候補領域を特定する領域特定ステップと、D食前画像における皿領域の各々について、当該皿領域の食事部分と、当該皿領域について特定された、食後画像における皿候補領域の食事部分とに基づき食事摂取割合を算出し、第2データ格納部に格納する摂取割合算出ステップと、E食前画像における皿領域に載せられている食事のカロリー数と食前画像における皿領域について第2データ格納部に格納されている前記食事摂取割合との積を、食前画像における皿領域の全てについて加算することで総摂取カロリーを算出し、第3データ格納部に格納するカロリー計算ステップとを含む。このように皿部分と食事部分とに分けて類似度を算出した上で統合することで、より精度良く食前画像の皿領域と食後画像の皿候補領域とを対応付けることができるようになる。従って、一般的な食前画像及び食後画像によって、カロリー計算を精度良く行うことができるようになる。また、上で述べた皿部分類似度算出ステップが、食前画像における皿領域の皿部分と食後画像における各皿候補領域の皿部分との差を表す皿部分差分画像を生成し、当該皿部分差分画像から皿部分についての第1の類似度を算出するステップを含むようにしてもよい。さらに、上で述べた食事部分類似度算出ステップが、食前画像における皿領域の食事部分と食後画像における各皿候補領域の食事部分との差を表す食事部分差分画像を生成し、当該食事部分差分画像から食事部分についての第2の類似度を算出するステップを含むようにしてもよい。また、上で述べた領域特定ステップにおいて、第1の類似度と第2の類似度との重み付け加算により第3の類似度を算出するようにしてもよい。皿部分と食事部分とのいずれを重要視するのかを設定できる。さらに、上で述べた領域特定ステップが、食前画像における皿領域の各々について、食後画像における各皿候補領域との距離を算出し、当該距離によって第3の類似度を補正するステップを含むようにしてもよい。食前と食後とでは皿を移動させることは多くない。例えば距離が短い場合には可能性が高くなるので第3の類似度を増加させるようにしても良い。また、本情報処理方法は、食前画像における皿領域の画像エントロピーに基づく重み値を算出する重み算出ステップをさらに含むようにしても良い。例えば、画像エントロピーが高い場合には、食前から食後へ画像の変化が小さいと考えられ、画像エントロピーが低い場合には、食前から食後へ画像の変化が大きいと考えられる。そのため、画像エントロピーが高い場合には食事部分の重みを高くするような設定が好ましい。さらに、本情報処理方法は、食前画像における皿領域の食事部分に対する、食後画像における皿候補領域の食事部分の面積比に応じた重み値を算出する重み算出ステップをさらに含むようにしてもよい。食前から食後へ画像の変化が小さい場合には食事部分の重みを大きくする方が良い場合もある。また、上で述べた摂取割合算出ステップが、食前画像における皿領域の各々について、当該皿領域の食事部分の二値画像の画素値と、当該皿領域について特定された、食後画像における皿候補領域の食事部分の二値画像の画素値との差の総和を、食前画像における皿領域の食事部分の二値画像の画素値の総和で除することで食事摂取割合を算出するステップを含むようにしてもよい。これによって、より正確に食事摂取割合を推定することができる。さらに、上で述べた皿部分類似度算出ステップが、食前画像から皿領域における皿部分を抽出して得られる第1の二値画像と、食後画像から皿候補領域における皿部分を抽出して得られる第2の二値画像との論理積により第1の合成二値画像を生成し、食前画像における皿領域と食後画像における皿候補領域との輝度についての差分の絶対値と第1の合成二値画像との論理積により皿部分差分画像を生成するステップを含むようにしてもよい。また、上で述べた食事部分類似度算出ステップが、食前画像の皿領域における食事部分についての第3の二値画像と、食後画像の皿候補領域における食事部分についての第4の二値画像との論理積により第2の合成二値画像を生成し、食前画像の皿領域と食後画像の皿領域との輝度についての差分と第2の合成二値画像との論理積により食事部分差分画像を生成するステップを含むようにしてもよい。さらに、上で述べた領域特定部が、食前画像における皿領域の各々について、食後画像における各皿候補領域との距離を算出し、当該距離が短いほど大きな値となるように第3の類似度を補正するようにしてもよい。なお、上で述べたような処理をコンピュータに実施させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、CD-ROMなどの光ディスク、光磁気ディスク、半導体メモリ例えばROM、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。なお、処理途中のデータについては、RAM等の記憶装置に一時保管される。以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。付記1食事前における皿の状態を撮影した食前画像と、食後における皿の状態を撮影した食後画像とを格納する画像格納部と、前記画像格納部に格納されている前記食前画像と前記食後画像とに基づき、前記食前画像における皿領域の各々について、当該皿領域の皿部分と前記食後画像における各皿候補領域の皿部分との第1の類似度を算出し、第1データ格納部に格納する皿部分類似度算出部と、前記画像格納部に格納されている前記食前画像と前記食後画像とに基づき、前記食前画像における皿領域の各々について、当該皿領域の食事部分と前記食後画像における各皿候補領域の食事部分との第2の類似度を算出して、前記第1データ格納部に格納する食事部分類似度算出部と、前記食前画像における皿領域の各々について、前記第1データ格納部に格納されている前記第1の類似度と前記第2の類似度とから算出される第3の類似度が最も大きい値となる前記食後画像における皿候補領域を特定する領域特定部と、前記食前画像における皿領域の各々について、当該皿領域の食事部分と、当該皿領域について特定された、前記食後画像における皿候補領域の食事部分とに基づき食事摂取割合を算出し、第2データ格納部に格納する摂取割合算出部と、前記食前画像における皿領域に載せられている食事のカロリー数と前記食前画像における皿領域について前記第2データ格納部に格納されている前記食事摂取割合との積を、前記食前画像における皿領域の全てについて加算することで総摂取カロリーを算出し、第3データ格納部に格納するカロリー算出部と、を有する情報処理装置。付記2前記皿部分類似度算出部が、前記食前画像における皿領域の皿部分と前記食後画像における各皿候補領域の皿部分との差を表す皿部分差分画像を生成し、当該皿部分差分画像から皿部分についての第1の類似度を算出する付記1記載の情報処理装置。付記3前記食事部分類似度算出部が、前記食前画像における皿領域の食事部分と前記食後画像における各皿候補領域の食事部分との差を表す食事部分差分画像を生成し、当該食事部分差分画像から食事部分についての第2の類似度を算出する付記1又は2記載の情報処理装置。付記4前記領域特定部が、前記第1の類似度と前記第2の類似度との重み付け加算により前記第3の類似度を算出する付記1乃至3のいずれか1つ記載の情報処理装置。付記5前記領域特定部が、前記食前画像における皿領域の各々について、前記食後画像における各皿候補領域との距離を算出し、当該距離によって前記第3の類似度を補正する付記1乃至4のいずれか1つ記載の情報処理装置。付記6前記食前画像における皿領域の画像エントロピーに基づく重み値を算出する重み算出部をさらに有する付記4記載の情報処理装置。付記7前記食前画像における皿領域の食事部分に対する、前記食後画像における皿候補領域の食事部分の面積比に応じた重み値を算出する重み算出部をさらに有する付記4記載の情報処理装置。付記8前記摂取割合算出部が、前記食前画像における皿領域の各々について、当該皿領域の食事部分の二値画像の画素値と、当該皿領域について特定された、前記食後画像における皿候補領域の食事部分の二値画像の画素値との差の総和を、前記食前画像における皿領域の食事部分の二値画像の画素値の総和で除することで食事摂取割合を算出する付記1乃至7のいずれか1つ記載の情報処理装置。付記9食事前における皿の状態を撮影した食前画像と、食後における皿の状態を撮影した食後画像とを格納する画像格納部に格納されている前記食前画像と前記食後画像とに基づき、前記食前画像における皿領域の各々について、当該皿領域の皿部分と前記食後画像における各皿候補領域の皿部分との第1の類似度を算出し、第1データ格納部に格納する皿部分類似度ステップと、前記画像格納部に格納されている前記食前画像と前記食後画像とに基づき、前記食前画像における皿領域の各々について、当該皿領域の食事部分と前記食後画像における各皿候補領域の食事部分との第2の類似度を算出して、前記第1データ格納部に格納する食事部分類似度算出ステップと、前記食前画像における皿領域の各々について、前記第1データ格納部に格納されている前記第1の類似度と前記第2の類似度とから算出される第3の類似度が最も大きい値となる前記食後画像における皿候補領域を特定する領域特定ステップと、前記食前画像における皿領域の各々について、当該皿領域の食事部分と、当該皿領域について特定された、前記食後画像における皿候補領域の食事部分とに基づき食事摂取割合を算出し、第2データ格納部に格納する摂取割合算出ステップと、前記食前画像における皿領域に載せられている食事のカロリー数と前記食前画像における皿領域について前記第2データ格納部に格納されている前記食事摂取割合との積を、前記食前画像における皿領域の全てについて加算することで総摂取カロリーを算出し、第3データ格納部に格納するカロリー計算ステップと、を含み、コンピュータにより実行される情報処理方法。付記10前記皿部分類似度算出ステップが、前記食前画像における皿領域の皿部分と前記食後画像における各皿候補領域の皿部分との差を表す皿部分差分画像を生成し、当該皿部分差分画像から皿部分についての第1の類似度を算出するステップを含む付記9記載の情報処理方法。付記11前記食事部分類似度算出ステップが、前記食前画像における皿領域の食事部分と前記食後画像における各皿候補領域の食事部分との差を表す食事部分差分画像を生成し、当該食事部分差分画像から食事部分についての第2の類似度を算出するステップを含む付記9又は10記載の情報処理方法。付記12前記領域特定ステップにおいて、前記第1の類似度と前記第2の類似度との重み付け加算により前記第3の類似度を算出する付記9乃至11のいずれか1つ記載の情報処理方法。付記13前記領域特定ステップが、前記食前画像における皿領域の各々について、前記食後画像における各皿候補領域との距離を算出し、当該距離によって前記第3の類似度を補正するステップを含む付記10乃至12のいずれか1つ記載の情報処理方法。付記14前記食前画像における皿領域の画像エントロピーに基づく重み値を算出する重み算出ステップをさらに含む付記12記載の情報処理方法。付記15前記食前画像における皿領域の食事部分に対する、前記食後画像における皿候補領域の食事部分の面積比に応じた重み値を算出する重み算出ステップをさらに含む付記12記載の情報処理方法。付記16前記摂取割合算出ステップが、前記食前画像における皿領域の各々について、当該皿領域の食事部分の二値画像の画素値と、当該皿領域について特定された、前記食後画像における皿候補領域の食事部分の二値画像の画素値との差の総和を、前記食前画像における皿領域の食事部分の二値画像の画素値の総和で除することで食事摂取割合を算出するステップを含む付記9乃至15のいずれか1つ記載の情報処理方法。付記17食事前における皿の状態を撮影した食前画像と、食後における皿の状態を撮影した食後画像とを格納する画像格納部に格納されている前記食前画像と前記食後画像とに基づき、前記食前画像における皿領域の各々について、当該皿領域の皿部分と前記食後画像における各皿候補領域の皿部分との第1の類似度を算出し、第1データ格納部に格納する皿部分類似度ステップと、前記画像格納部に格納されている前記食前画像と前記食後画像とに基づき、前記食前画像における皿領域の各々について、当該皿領域の食事部分と前記食後画像における各皿候補領域の食事部分との第2の類似度を算出して、前記第1データ格納部に格納する食事部分類似度算出ステップと、前記食前画像における皿領域の各々について、前記第1データ格納部に格納されている前記第1の類似度と前記第2の類似度とから算出される第3の類似度が最も大きい値となる前記食後画像における皿候補領域を特定する領域特定ステップと、前記食前画像における皿領域の各々について、当該皿領域の食事部分と、当該皿領域について特定された、前記食後画像における皿候補領域の食事部分とに基づき食事摂取割合を算出し、第2データ格納部に格納する摂取割合算出ステップと、前記食前画像における皿領域に載せられている食事のカロリー数と前記食前画像における皿領域について前記第2データ格納部に格納されている前記食事摂取割合との積を、前記食前画像における皿領域の全てについて加算することで総摂取カロリーを算出し、第3データ格納部に格納するカロリー計算ステップと、を、コンピュータに実行させる情報処理プログラム。付記18前記皿部分類似度算出ステップが、前記食前画像における皿領域の皿部分と前記食後画像における各皿候補領域の皿部分との差を表す皿部分差分画像を生成し、当該皿部分差分画像から皿部分についての第1の類似度を算出するステップを含む付記17記載の情報処理プログラム。付記19前記食事部分類似度算出ステップが、前記食前画像における皿領域の食事部分と前記食後画像における各皿候補領域の食事部分との差を表す食事部分差分画像を生成し、当該食事部分差分画像から食事部分についての第2の類似度を算出するステップを含む付記17又は18記載の情報処理プログラム。付記20前記領域特定ステップにおいて、前記第1の類似度と前記第2の類似度との重み付け加算により前記第3の類似度を算出する付記17乃至19のいずれか1つ記載の情報処理プログラム。付記21前記領域特定ステップが、前記食前画像における皿領域の各々について、前記食後画像における各皿候補領域との距離を算出し、当該距離によって前記第3の類似度を補正するステップを含む付記17乃至19のいずれか1つ記載の情報処理プログラム。付記22前記食前画像における皿領域の画像エントロピーに基づく重み値を算出する重み算出ステップをさらに含む付記20記載の情報処理プログラム。付記23前記食前画像における皿領域の食事部分に対する、前記食後画像における皿候補領域の食事部分の面積比に応じた重み値を算出する重み算出ステップをさらに含む付記20記載の情報処理プログラム。付記24前記摂取割合算出ステップが、前記食前画像における皿領域の各々について、当該皿領域の食事部分の二値画像の画素値と、当該皿領域について特定された、前記食後画像における皿候補領域の食事部分の二値画像の画素値との差の総和を、前記食前画像における皿領域の食事部分の二値画像の画素値の総和で除することで食事摂取割合を算出するステップを含む付記17乃至23のいずれか1つ記載の情報処理プログラム。