(57)【要約】【課題】画像からの料理認識の精度を維持しつつ、認識にあたって参照されるデータを限定して処理負荷を抑制する。【解決手段】１または複数の料理を撮影した料理画像を取得する画像取得部と、予め登録された料理データから、上記料理画像に関連する人物、上記料理画像の撮影環境、上記料理画像の撮影場所、または上記料理画像の撮影時刻のうちの少なくとも１つに関する条件に基づいて選択された料理データを参照して、上記料理画像に含まれる上記１または複数の料理を認識する第１の料理認識部とを含む情報処理装置が提供される。【選択図】図１
2014089564.tif 000002
【特許請求の範囲】
【請求項１】
１または複数の料理を撮影した料理画像を取得する画像取得部と、
予め登録された料理データから、前記料理画像に関連する人物、前記料理画像の撮影環境、前記料理画像の撮影場所、または前記料理画像の撮影時刻のうちの少なくとも１つに関する条件に基づいて選択された料理データを参照して、前記料理画像に含まれる前記１または複数の料理を認識する第１の料理認識部と
を備える情報処理装置。
【請求項２】
前記第１の料理認識部による第１の認識結果と、前記条件を用いることなく前記料理画像に含まれる前記１または複数の料理を認識する第２の料理認識部による第２の認識結果とを統合する認識結果統合部をさらに備える、請求項１に記載の情報処理装置。
【請求項３】
前記第２の認識結果に基づいて前記料理データを追加的に登録する料理データ管理部をさらに備える、請求項２に記載の情報処理装置。
【請求項４】
前記第２の認識結果は、前記１または複数の料理が自動的に認識されなかった場合にはユーザの入力に基づいて決定され、
前記料理データ管理部は、前記ユーザの入力に基づいて決定された第２の認識結果に基づいて前記料理データを追加的に登録する、請求項３に記載の情報処理装置。
【請求項５】
前記第２の認識結果は、前記１または複数の料理を自動的に認識した結果、または前記結果をユーザが入力する情報に基づいて修正したものであり、
前記料理データ管理部は、前記ユーザが入力する情報に基づく修正を経て決定された前記第２の認識結果に基づいて前記料理データを追加的に登録する、請求項３に記載の情報処理装置。
【請求項６】
前記情報処理装置は、前記料理画像を撮影したユーザによって使用されるクライアントであり、
前記画像取得部は、取得した前記料理画像を、前記第２の料理認識部を有するサーバに送信し、
前記認識結果統合部は、前記サーバから前記第２の認識結果を受信する、請求項２に記載の情報処理装置。
【請求項７】
前記料理データを追加的に登録するとともに、前記料理データが所定の数に到達した場合に所定の基準で前記料理データの一部を削除する料理データ管理部をさらに備える、請求項１に記載の情報処理装置。
【請求項８】
前記第１の料理認識部は、前記料理画像と前記選択された料理データとをマッチングすることによって前記１または複数の料理を認識する、請求項７に記載の情報処理装置。
【請求項９】
前記料理データ管理部は、前記料理データが前記料理画像とのマッチングに使用された回数または日時を基準にして前記料理データの一部を削除する、請求項８に記載の情報処理装置。
【請求項１０】
前記料理データ管理部は、前記料理データと前記料理画像とのマッチングが成功した回数または日時を基準にして前記料理データの一部を削除する、請求項８に記載の情報処理装置。
【請求項１１】
前記画像取得部は、メタデータを伴う前記料理画像を取得し、
前記情報処理装置は、前記料理画像に関連する人物、前記料理画像の撮影環境、前記料理画像の撮影場所、または前記料理画像の撮影時刻のうちの少なくとも１つに関する情報を前記メタデータから抽出する情報抽出部をさらに備える、請求項１に記載の情報処理装置。
【請求項１２】
前記情報抽出部は、前記料理画像に関連する人物に関する情報を抽出し、
前記第１の料理認識部は、前記人物に関連付けて登録された前記料理データを参照して前記１または複数の料理を認識する、請求項１１に記載の情報処理装置。
【請求項１３】
前記情報抽出部は、前記料理画像の撮影環境に関する情報を抽出し、
前記第１の料理認識部は、前記撮影環境と共通する環境を示す情報に関連付けて登録された前記料理データを用いて前記１または複数の料理を認識する、請求項１１に記載の情報処理装置。
【請求項１４】
前記情報抽出部は、前記料理画像の撮影場所に関する情報を抽出し、
前記第１の料理認識部は、前記撮影場所に関連付けて登録された前記料理データを用いて前記１または複数の料理を認識する、請求項１１に記載の情報処理装置。
【請求項１５】
前記情報抽出部は、前記料理画像の撮影時刻に関する情報を抽出し、
前記第１の料理認識部は、前記撮影時刻を含む時間帯に関連付けて登録された前記料理データを用いて前記１または複数の料理を認識する、請求項１１に記載の情報処理装置。
【請求項１６】
前記第１の料理認識部は、前記料理画像全体の特徴を、前記料理画像の撮影環境、前記料理画像の撮影場所、または前記料理画像の撮影時刻のうちの少なくとも１つに関する情報として扱う、請求項１に記載の情報処理装置。
【請求項１７】
前記料理データは、ソース画像から切り出された画像のデータであり、前記ソース画像に関する情報に関連付けて登録され、
前記第１の料理認識部は、前記料理画像全体の特徴が前記ソース画像の特徴に類似する場合に、該ソース画像から切り出された画像のデータを用いて前記１または複数の料理を認識する、請求項１６に記載の情報処理装置。
【請求項１８】
１または複数の料理を撮影した料理画像を取得することと、
予め登録された料理データから、前記料理画像に関連する人物、前記料理画像の撮影環境、前記料理画像の撮影場所、または前記料理画像の撮影時刻のうちの少なくとも１つに関する条件に基づいて選択された料理データを参照して、前記料理画像に含まれる前記１または複数の料理を認識することと
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
日々の食事管理などのために、ユーザが摂取した食事の情報を電子的に記録し、例えば栄養分やカロリーを算出してユーザに情報として提供する技術が普及してきている。このような技術では、ユーザが使用している端末装置で食事の情報を入力してサーバに送信することが一般的であるが、このときの入力を簡便化する方法として、ユーザが撮影した画像を食事の情報の入力として利用する技術が提案されている。
【０００３】
例えば、特許文献１には、ユーザが撮影した食事の画像から、個々の料理（例えば、ご飯、味噌汁、野菜炒め、コーヒー、など）の領域を検出し、その領域に写っている料理が何であるかをテンプレートマッチングなどによって認識する技術が記載されている。ここで、認識に用いられるテンプレートとしては、ユーザが過去に摂取した料理の画像と、標準で登録されている料理の画像との両方を用いることが可能である。
【０００４】
このように、ユーザが過去に摂取した料理の画像を認識のためのテンプレートとして用いることで、ユーザが日常的に摂取している料理を精度よく識別することができる。また、標準で登録されている料理の画像を併せて用いることで、ユーザが日常的には摂取していない料理についても識別することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２８３８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の技術では、テンプレートとして用いられる料理の画像が数多く登録されるほど、多くの料理を精度よく識別することが可能になる。ところが、料理の認識に用いられるテンプレートマッチングなどの処理の負荷は、マッチングの対象になる（画像に写っている料理の候補である）画像が多ければ多いほど増加する。つまり、特許文献１などに記載の技術では、料理認識の使い勝手の向上は、処理負荷の抑制とは相容れない。
【０００７】
そこで、本開示では、画像からの料理認識の精度を維持しつつ、認識にあたって参照されるデータを限定して処理負荷を抑制することが可能な、新規かつ改良された情報処理装置および情報処理方法を提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、１または複数の料理を撮影した料理画像を取得する画像取得部と、予め登録された料理データから、上記料理画像に関連する人物、上記料理画像の撮影環境、上記料理画像の撮影場所、または上記料理画像の撮影時刻のうちの少なくとも１つに関する条件に基づいて選択された料理データを参照して、上記料理画像に含まれる上記１または複数の料理を認識する第１の料理認識部とを含む情報処理装置が提供される。
【０００９】
また、本開示によれば、１または複数の料理を撮影した料理画像を取得することと、予め登録された料理データから、上記料理画像に関連する人物、上記料理画像の撮影環境、上記料理画像の撮影場所、または上記料理画像の撮影時刻のうちの少なくとも１つに関する条件に基づいて選択された料理データを参照して、上記料理画像に含まれる上記１または複数の料理を認識することとを含む情報処理方法が提供される。
【００１０】
料理画像に関連する人物、料理画像の撮影環境、料理画像の撮影場所、または料理画像の撮影時刻などに基づいて参照する料理データを選択することによって、当該料理画像との関連性がある料理データを選択的に参照して料理認識を実行することができる。料理認識に有用であると推定される料理データを選択的に参照することで、料理認識の精度を維持しつつ、処理負荷を抑制することができる。
【発明の効果】
【００１１】
以上説明したように本開示によれば、画像からの料理認識の精度を維持しつつ、認識にあたって参照されるデータを限定して処理負荷を抑制することができる。
【図面の簡単な説明】
【００１２】
【図１】本開示の第１の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。
【図２】本開示の第１の実施形態における料理認識処理について概略的に説明するための図である。
【図３Ａ】本開示の第１の実施形態における料理画像のメタデータの第１の例を示す図である。
【図３Ｂ】本開示の第１の実施形態において料理データに関連付けられる情報の第１の例を示す図である。
【図４】本開示の第１の実施形態における料理認識処理の例を示すフローチャートである。
【図５Ａ】本開示の第１の実施形態における料理画像のメタデータの第２の例を示す図である。
【図５Ｂ】本開示の第１の実施形態において料理データに関連付けられる情報の第２の例を示す図である。
【図６】本開示の第２の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。
【図７】本開示の第２の実施形態において料理データに関連付けられる情報の例を示す図である。
【図８】本開示の第２の実施形態における料理認識処理の例を示すフローチャートである。
【図９】本開示の第３の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。
【図１０】本開示の第３の実施形態において料理データに関連付けられる情報の例を示す図である。
【図１１】本開示の第４の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。
【図１２】本開示の第５の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。
【図１３】本開示の第５の実施形態における料理データの追加登録の例について説明するための図である。
【図１４】本開示の第６の実施形態に係るシステムの概略的な機能構成を示すブロック図である。
【図１５】情報処理装置のハードウェア構成を説明するためのブロック図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１−１．機能構成
１−２．料理認識処理の概要
１−３．料理認識処理の第１の例
１−４．料理認識処理の第２の例
２．第２の実施形態
３．第３の実施形態
４．第４の実施形態
５．第５の実施形態
６．第６の実施形態
７．ハードウェア構成
８．補足
【００１５】
（１．第１の実施形態）
（１−１．機能構成）
図１は、本開示の第１の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。図１を参照すると、情報処理装置１００は、画像取得部１１０、情報抽出部１２０、料理認識部１３０、データベース１４０、および結果出力部１５０を含む。情報処理装置１００は、料理画像を入力として取得し、当該料理画像に含まれる料理を識別する処理を実行する装置である。
【００１６】
情報処理装置１００は、例えばユーザによって使用される端末装置であってもよく、クライアントである端末装置と通信してユーザにサービスを提供するサーバであってもよい。端末装置は、例えば、タブレット型、ノート型、もしくはデスクトップ型などのＰＣ（Personal  Computer）、携帯電話（スマートフォン）、メディアプレーヤ、またはゲーム機などでありうる。一方、サーバの機能は、単一のサーバ装置、または有線もしくは無線のネットワークで接続された複数のサーバ装置によって実現されうる。端末装置およびサーバ装置は、例えば後述する情報処理装置のハードウェア構成を用いて実現されうる。
【００１７】
画像取得部１１０は、１または複数の料理を撮影した料理画像を取得する。例えば、情報処理装置１００が端末装置である場合、画像取得部１１０は料理画像を撮影するカメラ（撮像部）として実現される。あるいは、画像取得部１１０は、カメラを搭載した装置によって撮影された料理画像を受信する通信装置として実現されてもよい。この場合、通信装置は、例えば家庭内のネットワークで接続された、ユーザが保有する他の装置から料理画像を受信する。一方、情報処理装置１００がサーバである場合、ネットワークで接続されたクライアントの端末装置から料理画像を受信する通信装置として実現される。
【００１８】
料理画像は、例えばユーザが摂取した１回の食事を写した画像である。例えば軽い食事であれば、１つの料理だけが料理画像に含まれる。また、通常の食事であれば、主食、主菜、副菜などの複数の料理が料理画像に含まれる。情報処理装置１００は、後述する料理認識部１３０の処理によって、料理画像に含まれている料理、すなわちユーザが摂取した食事に含まれる料理を認識する。
【００１９】
また、本実施形態において、料理画像はメタデータを伴う。メタデータは、例えば、料理画像に関連する人物、料理画像の撮影環境、料理画像の撮影場所、または料理画像の撮影時刻などを示す情報を含む。これらの情報は、例えば料理画像を撮影する端末装置によって自動的に設定されてもよく、またユーザの入力操作に従って設定されてもよい。また、メタデータは、例えばＥｘｉｆ（Exchangeable  image  file  format）などの共通フォーマットに従って記録されてもよいし、料理画像の解析を提供するアプリケーションに固有のフォーマットで記録されてもよい。
【００２０】
情報抽出部１２０は、画像取得部１１０が取得した料理画像のメタデータから、料理画像に関連する人物、料理画像の撮影環境、料理画像の撮影場所、または料理画像の撮影時刻のうちの少なくとも１つに関する情報を抽出して料理認識部１３０に提供する。情報抽出部１２０は、例えばＣＰＵ（Central  Processing  Unit）などのプロセッサがメモリに格納されたプログラムに従って動作することによって実現される。
【００２１】
料理認識部１３０は、予め登録された料理データから、料理画像に関連する人物、料理画像の撮影環境、料理画像の撮影場所、または料理画像の撮影時刻のうちの少なくとも１つに関する条件に基づいて選択された料理データを参照して、料理画像に含まれる１または複数の料理を認識する。本実施形態において、上記の条件を設定するための情報は、情報抽出部１２０によって料理画像のメタデータから抽出される。また、料理データは、データベース１４０に格納されている。料理データは、料理画像に含まれる可能性がある個々の料理に対応するデータである。料理認識部１３０が料理認識の処理で参照する料理データを所定の条件に基づいて選択することによって、料理認識の処理負荷が抑制される。なお、料理データを参照して料理を認識する処理の詳細については後述する。料理認識部１３０も、例えばＣＰＵなどのプロセッサがメモリに格納されたプログラムに従って動作することによって実現される。
【００２２】
なお、本明細書において、“料理画像に関連する人物”は、料理画像を撮影したユーザや、料理画像を撮影したときに一緒にいた人物、つまり料理画像に写っている食事を一緒に食べていた人物などを含む。“料理画像の撮影環境”は、料理画像を撮影したときの周囲の明るさや、背景になるテーブルやトレーなどの色、照明の状態（自然光か、蛍光灯の光か、電球の光か、など）などを含む。“料理画像の撮影場所”は、料理画像が撮影された場所の座標（緯度経度）や、場所の具体的な名称（オフィス、自宅、レストラン、など）を含む。なお、料理画像の撮影場所は、点で指定されなくてもよく、例えば所定のサイズの領域や、行政区画、地域名称などによって指定されてもよい。“料理画像の撮影時刻”は、料理画像が撮影された時刻である。時刻には、日付が含まれてもよい。本実施形態では、料理認識部１３０が参照する料理データが、上記のような料理画像の周辺的な情報に基づく条件によって選択される。
【００２３】
データベース１４０は、料理認識部１３０による料理認識の処理で参照される料理データを格納する。料理データは、例えば人物、撮影状況、撮影場所、または撮影時刻などの情報に関連付けて格納される。料理認識部１３０は、料理データに関連付けられたこれらの情報と、情報抽出部１２０が料理画像のメタデータから抽出した情報に基づいて設定される条件とに基づいて、料理認識の処理で参照する料理データを選択する。データベース１４０は、例えば情報処理装置１００のストレージ装置によって実現される。あるいは、データベース１４０は、情報処理装置１００の外部のストレージ装置によって実現され、料理認識部１３０はネットワークを経由してデータベース１４０にアクセスしてもよい。
【００２４】
結果出力部１５０は、料理認識部１３０による料理認識の結果に関する情報を出力する。例えば、情報処理装置１００が端末装置である場合、結果出力部１５０は、認識結果に関する情報を画像または音声によって出力するディスプレイまたはスピーカなどの出力装置として実現されうる。あるいは、結果出力部１５０は、料理認識の結果に関する情報を他の装置に送信する通信装置として実現されてもよい。情報処理装置１００がサーバである場合、結果出力部１５０は料理認識の結果に関する情報を、例えばクライアントの端末装置に送信する。結果出力部１５０が料理認識の結果に関する情報を出力する先は、例えばユーザに向けて情報の出力を実行する装置であってもよいし、料理認識の結果を利用してさらなる解析やデータの蓄積を実行する装置であってもよい。
【００２５】
個々の料理については、料理の材料や調理法に基づいて、栄養分やカロリーといった情報が既に提供されている。このような情報は、データベース１４０に格納することも可能であり、またネットワーク上の適切なサービスから取得することも可能である。それゆえ、料理画像に含まれる料理が認識されれば、認識された料理の栄養分やカロリーなどの情報に基づいて、ユーザが摂取した食事の栄養分やカロリーを算出し、結果出力部１５０を介してその情報をユーザに提供することができる。このような認識結果に関する情報は、食事の度にユーザに提供されてもよいし、ログとして蓄積されて、必要に応じてさらに解析を加えた上でユーザに提供されてもよい。
【００２６】
（１−２．料理認識処理の概要）
図２は、本開示の第１の実施形態における料理認識処理について概略的に説明するための図である。図２を参照すると、情報処理装置１００の料理認識部１３０は、料理画像１０１０を料理データ１０２０とマッチングすることによって、料理画像１０１０に含まれる料理１０１２を認識する。図示された例では、料理１０１２として、ご飯１０１２ａ、サラダ１０１２ｂ、卵１０１２ｃ、魚１０１２ｄ、および味噌汁１０１２ｅが認識されている。
【００２７】
料理画像１０１０は、例えばユーザが摂取した１回の食事を写した画像であり、画像取得部１１０によって取得される。一方、料理データ１０２０は、料理画像１０１０に含まれる可能性がある個々の料理に対応するデータであり、予め登録されてデータベース１４０に格納されている。料理認識部１３０は、料理画像１０１０と料理データ１０２０とをマッチングする。例えば、料理データ１０２０が各料理の画像のデータである場合、料理認識部１３０は、例えばテンプレートマッチングなどの画像同士のマッチングを実行する。マッチングには、例えば特開２０１１−２８３８２号公報などに記載されたような公知のさまざまな技術を適用することが可能である。
【００２８】
なお、本明細書では、料理認識部１３０による処理について、料理画像１０１０と料理データ１０２０とのマッチングを例として説明するが、料理認識部１３０はマッチング以外の処理によって料理画像１０１０に含まれる料理１０１２を認識してもよい。例えば、料理認識部１３０は、選択された料理データ１０２０を学習サンプルとして用いて、物体認識によって料理１０１２を認識してもよい。
【００２９】
上記のようなマッチングや物体認識の処理は、いずれも負荷が高い処理である。従って、例えばデータベース１４０に登録された料理データ１０２０が多いほど、料理認識部１３０における処理負荷は高くなる。その一方で、登録された料理データ１０２０の数が少ないと、認識可能な料理が減少することで、料理認識部１３０による料理認識の精度が低下してしまう。
【００３０】
そこで、本実施形態では、料理認識部１３０が、料理画像１０１０に関連する人物、料理画像１０１０の撮影状況、料理画像１０１０の撮影場所、または料理画像１０１０の撮影時刻などに関する条件に基づいて、料理認識の処理にあたって参照する料理データ１０２０を選択する。これによって、料理認識部１３０による料理認識の精度を維持しつつ、参照される料理データ１０２０を限定して処理負荷を抑制することができる。
【００３１】
以下、料理画像１０１０のメタデータによって示される条件、および料理データ１０２０に関連付けられる情報の具体的な例を参照しながら、本実施形態における料理認識の処理について、さらに説明する。
【００３２】
（１−３．料理認識処理の第１の例）
図３Ａおよび図３Ｂは、本開示の第１の実施形態における料理画像のメタデータおよび料理データに関連付けられる情報の第１の例を示す図である。図３Ａには、料理画像のメタデータ１０３０の例として、メタデータ１０３０ａ〜１０３０ｃが示されている。図３Ｂには、料理データ１０２０の例として、料理データ１０２０ａ，１０２０ｂ，１０２０ｐ，１０２０ｑが示されている。
【００３３】
図３Ａに示されるメタデータ１０３０は、各料理画像（００１．ｊｐｇ〜００３．ｊｐｇ）に対応する。なお、料理画像はｊｐｇ形式の画像には限定されない。この第１の例では、メタデータ１０３０の項目として、日付（Ｄａｔｅ）、時刻（Ｔｉｍｅ）、場所（Ｐｌａｃｅ）、誰が撮影したか（Ｂｙ）、誰と一緒か（Ｗｉｔｈ）が設定されている。例えば、料理画像００１．ｊｐｇのメタデータ１０３０ａは、撮影日が２０１２年１０月１２日（金曜日）であり、撮影時刻が１２時１０分であり、撮影場所がオフィスであり、撮影したのがＪｏｈｎであり、一緒にいたのがＰａｕｌおよびＧｅｏｒｇｅであったことを示している。
【００３４】
このようなメタデータ１０３０は、料理画像を撮影する端末装置によって自動的に検出された情報に基づいて設定されてもよい。例えば、撮影日、撮影時刻、およびＧＰＳ（Global  Positioning  System）などを利用して取得した撮影場所の位置情報は、例えばＥｘｉｆなどの共通フォーマットを用いて画像にメタデータとして付加される情報として一般的である。さらに、料理画像を撮影したユーザや、料理画像を撮影したときに一緒にいた他の人物の情報についても、装置に登録されたユーザ情報や、他の人物が所持している端末装置から提供される位置情報などに基づいて自動的にメタデータとして画像に付加することが可能である。
【００３５】
あるいは、メタデータ１０３０は、料理画像の撮影時、またはその後のユーザの入力操作に従って設定されてもよい。この場合、ユーザは、例えば料理画像の撮影場所や、料理画像を撮影したユーザ、料理画像を撮影したときに一緒にいた人物などについて、いわゆるタグ付けなどの入力操作によってメタデータを設定する。メタデータ１０３０は、上記のようなユーザの入力操作によって設定される項目と自動的に検出される項目との両方を含んでもよいし、これらの項目のうちいずれか一方だけを含んでもよい。
【００３６】
なお、メタデータ１０３０に含まれるそれぞれの項目の情報は、説明のために具体化して図示されているが、これはメタデータの形式を限定するものではない。例えば、時刻情報が日付と一緒になって記録されたり、位置情報が座標（緯度経度）で記録されたり、撮影した人物や一緒にいた人物がユーザＩＤで記録されたりしてもよい。また、メタデータ１０３０は、図示された項目をすべて含まなくてもよく、このうちの少なくとも１つを含んでいればよい。
【００３７】
図３Ｂに示される料理データ１０２０は、個々の料理ごとに登録される。図示された例において、各料理データ１０２０は、料理の画像データ（Ｐ００１．ｊｐｇ，Ｐ００２．ｊｐｇ，Ｐ０１１．ｊｐｇ，Ｐ０２１．ｊｐｇ）に対応する。なお、料理の画像データは、ｊｐｇ形式の画像データには限定されない。この第１の例では、料理データ１０２０に、誰のデータか（Ｗｈｏｓｅ  ｄａｔａ？）、料理を食べる時間帯（Ｗｈｅｎ？）、料理を食べる場所（Ｗｈｅｒｅ？）、料理を一緒に食べる人（Ｗｉｔｈ  ｗｈｏｍ？）という情報が関連付けられている。例えば、料理“ご飯”の料理データ１０２０ａには、料理データ１０２０ａがＪｏｈｎのデータであり、“ご飯が”平日のランチに、オフィスで、同僚（Ｐａｕｌ、Ｇｅｏｒｇｅなど）と一緒に食べる料理であることを示す情報が関連付けられている。
【００３８】
なお、料理データ１０２０と料理との対応は、必ずしも１対１ではない。つまり、同じ料理について、複数の料理データ１０２０が設定されうる。例えば、上記の料理データ１０２０ａによって示される料理は、“ご飯”の中でも“平日の昼にオフィスで同僚と食べるご飯”であるが、これとは別に“週末の夜に自宅で家族と食べるご飯”を示す“ご飯”の料理データ１０２０ｐが存在しうる。これは、同じ料理であっても、例えば食べる時間帯やその他の状況によって、料理画像に現れる特徴が異なりうるためである。例えば、平日の昼にオフィスの食堂で食べる“ご飯”と、週末の夜に食べる“ご飯”とでは、食器の色や形が異なっていたり、周囲の明るさが異なっていたりすることによって、料理画像に異なる特徴が現れる。従って、これらの“ご飯”については別々の料理データ１０２０を用意し、どちらの場合の料理画像についても“ご飯”が含まれることを認識可能であることが望ましい。
【００３９】
このような料理データ１０２０は、ユーザの明示的な入力操作によって登録されてもよい。例えば、ユーザは、撮影した料理画像に含まれている料理の領域とその領域に含まれる料理とを手入力し、これに基づいて料理データ１０２０が登録されてもよい。この場合、料理データ１０２０に関連付けられる情報は、元の料理画像の撮影日時や撮影場所などの情報に基づいて設定されうる。あるいは、料理データ１０２０は、所定の条件を満たすユーザに配布されてもよい。例えば、会社の従業員に、オフィスの食堂のメニューにある料理の料理データ１０２０を配布したり、飲食店などで会員登録したユーザに、その店のメニューにある料理の料理データ１０２０を配布したりしてもよい。
【００４０】
なお、料理データ１０２０に含まれるそれぞれの項目についても、説明のために具体化して図示されているが、これは料理データの形式を限定するものではない。例えば、位置情報が座標（緯度経度）の範囲で記録されたり、人物がユーザＩＤで記録されたりしてもよい。また、料理データ１０２０は、図示された情報をすべて含まなくてもよく、このうちの少なくとも１つを含んでいればよい。ただし、メタデータ１０３０と、料理データ１０２０とは、少なくとも１つの対応する情報を含む。例えば、メタデータ１０３０が日付（Ｄａｔｅ）および時刻（Ｔｉｍｅ）の情報だけを含む場合、料理データ１０２０は少なくとも料理を食べる時間帯（Ｗｈｅｎ？）の情報に関連付けられる。また、例えば、料理データ１０２０に料理を食べる場所（Ｗｈｅｒｅ？）の情報だけが関連付けられる場合、メタデータ１０３０は少なくとも場所（Ｐｌａｃｅ）の情報を含む。
【００４１】
上記のようなメタデータ１０３０および料理データ１０２０を用いた料理認識処理の例について、以下で図４のフローチャートを参照しながら説明する。
【００４２】
図４は、本開示の第１の実施形態における料理認識処理の例を示すフローチャートである。図示された例において、料理認識部１３０は、料理画像に含まれる料理を認識するにあたり、料理データ１０２０単位でループ処理を実行する（ステップＳ１０１）。
【００４３】
料理認識部１３０は、各料理データ１０２０について、料理画像のメタデータによって示される条件に合致しているか否かを判定する（ステップＳ１０３）。ここで、料理データ１０２０が条件に合致する場合（ＹＥＳ）、料理認識部１３０は、料理データ１０２０を料理画像とのマッチングに用いる（ステップＳ１０５）。一方、料理データ１０２０が条件に合致しない場合（ＮＯ）、料理認識部１３０は、料理データ１０２０をマッチングに用いることなく、次の料理データ１０２０の処理に移行する（ステップＳ１０１）。
【００４４】
以上の処理を、図３Ａおよび図３Ｂに例示したメタデータ１０３０および料理データ１０２０を用いる場合について、さらに説明する。
【００４５】
例として、画像取得部１１０がメタデータ１０３０ａを伴う料理画像（００１．ｊｐｇ）を取得した場合について説明する。この場合、料理画像００１．ｊｐｇについて、“金曜日（平日）の昼ごろに”（撮影時刻）、“オフィスで”（撮影場所）、“Ｐａｕｌ，Ｇｅｏｒｇｅと一緒に”、“Ｊｏｈｎによって撮影された”（関連する人物）、という条件が、メタデータ１０３０ａによって示されている。そこで、料理認識部１３０は、上記の条件に対応する情報に関連付けて登録された料理データ１０２０を、マッチングに用いる料理データとして選択する。なお、料理データ１０２０の抽出には、上記の条件のすべてが用いられなくてもよく、そのうちの一部、例えば撮影時刻、撮影場所、または関連する人物のうちのいずれか１つまたは２つが用いられてもよい。
【００４６】
ここで、料理データ１０２０のうち、料理データ１０２０ａ，１０２０ｂは、“平日のランチに食べる”、“オフィスで食べる”、“同僚（Ｐａｕｌ、Ｇｅｏｒｇｅを含む）と一緒に食べる”ことを示す情報に関連付けられている。従って、これらの料理データは、上記のメタデータ１０３０ａによって示される条件に合致する。一方、料理データ１０２０ｐ，１０２０ｑは、“週末のランチに食べる”ものであったり、“自宅で食べる”ものであったりして、メタデータ１０３０ａによって示される条件に合致しない。
【００４７】
従って、ステップＳ１０３の判定は、料理データ１０２０ａ，１０２０ｂについてはＹＥＳになり、料理データ１０２０ｐ，１０２０ｑについてはＮＯになる。よって、ステップＳ１０５でマッチングに用いられるのは料理データ１０２０ａ，１０２０ｂであり、料理データ１０２０ｐ，１０２０ｑはマッチングに用いられない。
【００４８】
料理データ１０２０ｐ，１０２０ｑは、関連付けられた情報によって示されるように、自宅で家族と一緒に夕食として食べる料理のデータであったり、レストランで友人と一緒に週末の昼食として食べる料理のデータであったりする。従って、これらの料理データを料理画像００１．ｊｐｇ（オフィスで同僚と一緒に平日の昼食として食べた料理の画像）とのマッチングに使用しても、マッチしない可能性が高い。このような料理データ１０２０を参照の対象から除いて料理認識を実行することで、認識の精度を維持しつつ処理負荷を抑制することができる。
【００４９】
なお、図示された例では、料理データ１０２０ａ，１０２０ｂ，１０２０ｐ，１０２０ｑは、いずれもＪｏｈｎのデータであるため、料理画像の撮影者の条件では料理データ１０２０が選別されない。別の例において、例えばサーバである情報処理装置１００のデータベース１４０に複数のユーザのデータが格納されている場合、料理認識部１３０は、メタデータ１０３０によって示される料理画像の撮影者のデータであることが示される料理データ１０２０を選択的に参照してもよい。
【００５０】
（１−４．料理認識処理の第２の例）
図５Ａおよび図５Ｂは、本開示の第１の実施形態における料理画像のメタデータおよび料理データに関連付けられる情報の第２の例を示す図である。図５Ａには、料理画像のメタデータ１０３２の例として、メタデータ１０３２ａ〜１０３２ｃが示されている。図５Ｂには、料理データ１０２２の例として、料理データ１０２２ａ，１０２２ｂ，１０２２ｐ，１０２２ｑが示されている。
【００５１】
図５Ａに示されるメタデータ１０３２は、各料理画像（００１．ｊｐｇ〜００３．ｊｐｇ）に対応する。なお、料理画像はｊｐｇ形式の画像には限定されない。この第２の例では、メタデータ１０３２の項目として、日付（Ｄａｔｅ）、時刻（Ｔｉｍｅ）、シャッタースピード（Ｓｈｕｔｔｅｒ  Ｓｐｅｅｄ）、フラッシュ使用の有無（Ｆｌａｓｈ？）などが設定されている。例えば、料理画像００１．ｊｐｇのメタデータ１０３２ａは、撮影日が２０１２年１０月１２日（金曜日）であり、撮影時刻が１２時１０分であり、シャッタースピードが１／２４０秒であり、フラッシュを使用せずに撮影したことを示している。
【００５２】
このようなメタデータ１０３２は、例えば料理画像を撮影する端末装置によって自動的に検出された情報に基づいて設定されうる。メタデータ１０３２に含まれる、料理画像の撮影環境を示す項目は、例えばＥｘｉｆなどの共通フォーマットを用いて記録することが一般的である。従って、１つの例として、情報抽出部１２０は、料理画像に付加されたＥｘｉｆのデータから、料理認識部１３０が料理データの選択に使用する条件を示す情報を抽出してもよい。
【００５３】
図５Ｂに示される料理データ１０２２は、個々の料理ごとに設定される。図示された例において、各料理データ１０２２は、料理の画像データ（Ｐ００１．ｊｐｇ，Ｐ００２．ｊｐｇ，Ｐ０１１．ｊｐｇ，Ｐ０２１．ｊｐｇ）に対応する。なお、料理の画像データは、ｊｐｇ形式の画像データには限定されない。この第２の例では、料理データ１０２２に、誰のデータか（Ｗｈｏｓｅ  ｄａｔａ？）、シャッタースピード（Ｓｈｕｔｔｅｒ  Ｓｐｅｅｄ）、フラッシュ使用の有無（Ｆｌａｓｈ？）などの情報が関連付けられている。これらの情報は、例えば料理の画像データが過去の料理画像から切り出された画像であるような場合に、元の画像の撮影状況を示すＥｘｉｆなどの情報に基づいて設定される。
【００５４】
なお、この第２の例でも、料理データ１０２２と料理との対応は、必ずしも１対１ではない。つまり、同じ料理について、複数の料理データ１０２２が設定されうる。例えば、料理データ１０２２ａ，１０２２ｐは、いずれも“ご飯”の料理データであるが、料理データ１０２２ａは、シャッタースピードが速く、フラッシュを使用せずに撮影された画像であるため、例えば昼間の明るいオフィスの食堂で撮影された画像から切り出されたものと推定される。一方、料理データ１０２２ｐは、シャッタースピードが遅く、フラッシュを使用して撮影された画像であるため、例えば夜の少し暗い自宅で撮影された画像から切り出されたものと推定される。従って、これらの“ご飯”については別々の料理データ１０２２を用意し、どちらを含む料理画像についても“ご飯”が含まれることを認識可能であることが望ましい。
【００５５】
上記で図５Ａおよび図５Ｂに例示したメタデータ１０３２および料理データ１０２２を用いて、図４で示した料理識別の処理を実行した場合について、さらに説明する。
【００５６】
例として、画像取得部１１０がメタデータ１０３２ｂを伴う料理画像（００２．ｊｐｇ）を取得した場合について説明する。この場合、料理画像００２．ｊｐｇは、シャッタースピード１／１２０秒で、フラッシュを使用して撮影されたことが、メタデータ１０３２ａによって示されている。そこで、料理認識部１３０は、上記の条件に対応する情報に関連付けて登録された料理データ１０２２を、マッチングに用いる料理データとして選択する。なお、料理データ１０２２の抽出には、上記の条件のすべてが用いられなくてもよく、そのうちの一部、例えばシャッタースピードまたはフラッシュの有無のうちのいずれかが用いられてもよい。
【００５７】
ここで、料理データ１０２２のうち、料理データ１０２２ｐは、メタデータ１０３２ｂのシャッタースピード（１／１２５秒）に近いシャッタースピード（１／１２５秒）で、かつフラッシュを使用して撮影されたことを示す情報に関連付けられている。従って、料理データ１０２２ｐは、上記のメタデータ１０３２ｂによって示される条件に合致する。一方、料理データ１０２２ａ，１０２２ｂ，１０２２ｑは、料理画像に比べてシャッタースピードが速すぎる（１／２５０秒）、または遅すぎる（１／６０秒）ものであったり、フラッシュを使用しないで撮影されたものであったりして、メタデータ１０３２ａによって示される条件に合致しない。
【００５８】
従って、ステップＳ１０３の判定は、料理データ１０２２ｐについてはＹＥＳになり、料理データ１０２２ａ，１０２２ｂ，１０２２ｑについてはＮＯになる。よって、ステップＳ１０５でマッチングに用いられるのは料理データ１０２０ｐであり、料理データ１０２２ａ，１０２２ｂ，１０２２ｑはマッチングに用いられない。
【００５９】
料理データ１０２２ａ，１０２２ｂは、関連付けられた情報によって示されるように、かなり明るい環境下で食べる料理のデータである。同様に、料理データ１０２２ｑは、かなり暗い環境下で食べる料理のデータである。従って、これらの料理データを料理画像００２．ｊｐｇ（少し暗い環境下で撮影された画像）とのマッチングに使用しても、マッチしない可能性が高い。このような料理データ１０２２を参照の対象から除いて料理認識を実行することで、認識の精度を維持しつつ処理負荷を抑制することができる。
【００６０】
なお、上記の例に示されるように、料理データ１０２２がメタデータ１０３２によって示される条件に合致しているか否かは、ある程度の幅をもって判定されうる。上記の例では、メタデータ１０３２ｂによって示される料理画像の撮影時のシャッタースピードが１／１２０秒であり、料理データ１０２２ｐに関連付けられたシャッタースピードが１／１２５秒であるが、料理データ１０２２ｐはメタデータ１０３２ｂによって示される条件に合致するものとして扱われている。
【００６１】
（２．第２の実施形態）
図６は、本開示の第２の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。図６を参照すると、情報処理装置２００は、画像取得部１１０、料理認識部１３０、データベース１４０、および結果出力部１５０を含む。上記の第１の実施形態に係る情報処理装置１００と異なる点として、情報処理装置２００は、情報抽出部１２０を含まない。従って、本実施形態では、料理認識部１３０において料理データを選択するための条件を抽出する処理が、第１の実施形態とは異なる。なお、それ以外の部分について、本実施形態の構成は第１の実施形態の構成とほぼ同様であるため、重複した詳細な説明は省略する。
【００６２】
本実施形態において、料理認識部１３０は、料理画像全体の特徴を、料理画像の撮影環境、料理画像の撮影場所、または料理画像の撮影時刻のうちの少なくとも１つに関する情報として扱う。これは、撮影状況、撮影場所、または撮影時刻が共通する画像であれば、料理画像全体の特徴が類似すると考えられるためである。例えば、同じ場所（例えばオフィスの食堂、自宅、レストランなど）での食事を撮影した料理画像は、例えばトレーやテーブル、食器などが共通であるために、画像全体として特徴が類似する。
【００６３】
また、場所までは特定されなくても、比較的明るい環境（例えばオフィスの食堂、屋外など）での食事を撮影した料理画像と、比較的暗い環境（例えば自宅、雰囲気のある飲食店など）での食事を撮影した料理画像との間では、料理画像全体の特徴に差が現れるため、どちらの環境で撮影された料理画像であるかは料理画像全体の特徴から判定可能である。さらに、例えば同じ場所での食事であっても、時間帯による明るさの差が、料理画像全体の特徴に反映される場合もある。
【００６４】
上記のような点に着目し、本実施形態では、料理認識部１３０が、料理画像全体の特徴を料理データの画像が切り出されたソース画像の特徴と比較し、その結果に応じて参照する料理データを選択する。より具体的には、料理認識部１３０は、料理画像全体の特徴と類似する特徴を有するソース画像から切り出された画像のデータを料理データとして選択的に参照して、料理画像に含まれる料理を認識する。以下、かかる料理認識の処理について、料理データの具体的な例を参照しながらさらに説明する。
【００６５】
図７は、本開示の第２の実施形態において料理データに関連付けられる情報の例を示す図である。図７には、料理データ２０２０の例として、料理データ２０２０ａ，２０２０ｂ，２０２０ｐ，２０２０ｑが示されている。
【００６６】
料理データ２０２０は、個々の料理ごとに登録される。料理データ２０２０は、ソース画像（Ｓｏｕｒｃｅ）と、ソース画像からの切り出し領域（Ａｒｅａ）とによって指定される。つまり、料理データ２０２０は、ソース画像から切り出された画像のデータであり、ソース画像に関する情報に関連付けて登録されている。例えば、料理データ２０２０ａ，２０２０ｂは、同じソース画像（Ｓ００１．ｊｐｇ）の異なる領域が切り出された画像である。なお、ソース画像はｊｐｇ形式の画像には限定されない。また、料理データ２０２０の画像サイズは２０×２０＝４００（ピクセル）に正規化されているが、他の方法で正規化されていてもよく、また正規化されていなくてもよい。
【００６７】
本実施形態では、データベース１４０にソース画像のデータが格納され、料理データ２０２０はソース画像から指定された領域を切り出すことによって参照される。別の例として、料理データ２０２０の画像がソース画像とは別にデータベース１４０に格納されていてもよい。
【００６８】
図８は、本開示の第２の実施形態における料理認識処理の例を示すフローチャートである。図示された例において、料理認識部１３０は、料理画像に含まれる料理を認識するにあたり、まず料理データ２０２０のソース画像単位でループ処理を実行する（ステップＳ２０１）。
【００６９】
料理認識部１３０は、各ソース画像について、画像取得部１１０が取得した料理画像とソース画像とが類似しているか否かを判定する（ステップＳ２０３）。料理画像とソース画像とが類似しているか否かは、例えばそれぞれの画像の輝度の平均値または色の平均値などの特徴を基準にして判定されうる。
【００７０】
ステップＳ２０３において、料理画像とソース画像とが類似している場合（ＹＥＳ）、料理認識部１３０は、当該ソース画像に対応する料理データ２０２０、すなわち当該ソース画像から切り出された料理データ２０２０を対象としてループ処理を実行する（ステップＳ２０５）。このループ処理において、料理認識部１３０は、料理データ２０２０を料理画像とのマッチングに用いる（ステップＳ２０７）。一方、料理画像とソース画像とが類似していない場合（ＮＯ）、料理認識部１３０は、当該ソース画像に対応する料理データ２０２０をマッチングに用いることなく、次のソース画像の処理に移行する（ステップＳ２０１）。
【００７１】
なお、料理画像とソース画像とが同じ撮影条件で撮影された場合でも、それぞれの画像に含まれる料理は異なりうるため、ステップＳ２０３での画像の類否判定を厳密にすると、本来除外すべきでないソース画像に対応する料理データを、マッチングの対象から除外してしまうことになる。従って、ステップＳ２０３での画像の類比判定では、例えば類似していると判定されるための閾値を低く設定し、料理画像とは明らかに異なる撮影条件で撮影されたソース画像から切り出された料理データだけがマッチングの対象から除外されるようにしてもよい。
【００７２】
以上のような本実施形態の構成によって、料理画像のメタデータを取得したり、料理データにさまざまな情報を関連付けたりしなくても、料理認識の精度を維持しつつ処理負荷を抑制することができる。
【００７３】
（３．第３の実施形態）
図９は、本開示の第３の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。図９を参照すると、情報処理装置３００は、画像取得部１１０、料理認識部１３０、データベース１４０、結果出力部１５０、および料理データ管理部３６０を含む。情報処理装置３００は、さらに、情報抽出部１２０を含んでもよい。
【００７４】
図示されているように、情報処理装置３００は、料理データ管理部３６０が設けられる点を除いて、上記の第１の実施形態または第２の実施形態と同様の構成をとりうる。それゆえ、以下の説明では、主に料理データ管理部３６０の機能について説明し、それ以外の点についての重複した詳細な説明は省略する。
【００７５】
料理データ管理部３６０は、料理データを追加的に登録するとともに、料理データが所定の数に到達した場合に所定の基準で料理データの一部を削除する。料理データ管理部３６０は、例えばＣＰＵなどのプロセッサがメモリに格納されたプログラムに従って動作することによって実現される。
【００７６】
上述のように、料理データは、例えばユーザの入力操作に従って登録されたり、所定の条件を満たすユーザに配布されたりしうる。このとき、料理データ管理部３６０は、新たな料理データをデータベース１４０に追加的に登録する。ところが、料理データが追加的に登録される一方では、料理認識部１３０が使用する料理データの数も一方的に増加してしまい、所定の条件によって料理データを選択して参照するとはいえ、料理認識の処理負荷が大きくなってしまう。そこで、本実施形態では、料理データ管理部３６０が、料理データを追加的に登録するとともに、所定の基準で料理データの自動削除を実行する。
【００７７】
図１０は、本開示の第３の実施形態において料理データに関連付けられる情報の例を示す図である。図１０には、料理データ３０２０の例として、料理データ３０２０ａ，３０２０ｂ，３０２０ｐ，３０２０ｑが示されている。
【００７８】
料理データ３０２０は、個々の料理ごとに登録される。なお、料理認識部１３０において参照する料理データの選択に使用される項目については、上記の第１の実施形態または第２の実施形態と同様であるため図示されていない。料理データ３０２０には、これらの項目に加えて、最終マッチ日（Ｌａｓｔ  ｍａｔｃｈｅｄ）、マッチ回数（Ｍａｔｃｈ  ｃｏｕｎｔ）、最終使用日（Ｌａｓｔ  ｕｓｅｄ）、使用回数（Ｕｓａｇｅ  ｃｏｕｎｔ）が関連付けられている。例えば、料理データ３０２０ｂには、最後に料理画像にマッチしたのは２０１２年８月２０日であり、これまで料理画像にマッチした回数は１８回であり、最後にマッチングに使用されたのは２０１２年１０月１１日であり、これまでマッチングに使用された回数は１３０回であることを示す情報が関連付けられている。
【００７９】
本実施形態において、料理データ管理部３６０は、これらの情報を指標として用いて料理データ３０２０の自動削除を実行し、料理データ３０２０の数を適切な範囲に維持する。例えば、料理データ管理部３６０は、最終マッチ日が古いもの、つまり最後に料理画像にマッチしてからより長い期間が経過したものから削除を実行する。この基準で自動削除を実行した場合、図示された例ではまず料理データ３０２０ｂが、次いで料理データ３０２０ｐが削除される。
【００８０】
また、例えば、料理データ管理部３６０は、マッチ回数が少ないもの、つまり料理画像にマッチした実績が少ないものから削除を実行してもよい。この基準で自動削除を実行した場合、図示された例ではまず料理データ３０２０ｑが、次いで料理データ３０２０ｂが削除される。同様に、料理データ管理部３６０は、最終使用日が古いものから削除を実行したり、使用回数が少ないものから削除を実行したりしてもよい。
【００８１】
図示された例の場合、料理データ管理部３６０が最終マッチ日やマッチ回数を自動削除の基準として用いれば、頻繁にマッチングに使用されるもののマッチする確率が低い料理データ３０２０ｂのようなデータが削除される。一方、料理データ管理部３６０が最終使用日やマッチ回数を自動削除の基準として用いれば、使用されればマッチする確率は高いものの使用されることが稀な料理データ３０２０ｑのようなデータが削除される。
【００８２】
あるいは、料理データ管理部３６０は、上記の指標を組み合わせて自動削除の基準として用いてもよい。例えば、料理データ管理部３６０は、複数の指標を重みづけ加算することによって、料理データ３０２０の自動削除のための評価値を算出してもよい。この場合、料理データ３０２０は、例えば評価値が低いものから順に削除される。
【００８３】
また、料理データ管理部３６０は、複数の指標を決定木的に用いて自動削除を実行してもよい。この場合、料理データ管理部３６０は、最初に第１の指標を基準にして削除対象を決定し、第１の指標が同一である料理データ３０２０の間では、別の第２の指標を基準にして削除対象を決定する。例えば、図示された例において料理データ３０２０の４件中２件を削除する場合、例えば最終使用日を第１の指標に設定すると、料理データ３０２０ｑが削除対象として決定されるが、残る料理データ３０２０ａ，３０２０ｂ，３０２０ｐでは指標が同一になる。そこで、第２の指標として例えば使用回数を用いると、その３件の中から料理データ３０２０ｐを削除対象として決定することができる。
【００８４】
なお、料理データの自動削除に用いられる指標は上記の例には限られない。例えばマッチングに周期性がある料理データは、上記のような指標に関わらず、有用なデータとして自動削除の対象から除外されてもよい。これによって、例えば季節料理など、頻度は高くないものの所定の期間内に必ず登場する料理を認識するためのデータが削除されないようにすることができる。また、料理データ管理部３６０による料理データ３０２０の自動削除は、ユーザの入力操作による料理データ３０２０の管理と併用されてもよい。例えば、ユーザは、入力操作によって特定の料理データ３０２０をプロテクトし、自動削除の対象から除外することが可能であってもよい。また、ユーザは、入力操作によって特定の料理データ３０２０を強制的に削除してもよい。
【００８５】
以上のような本実施形態の構成によって、新しい料理データを取り入れて料理認識の精度を向上させるとともに、料理データが際限なく増加することによる処理負荷の増大を防止することができる。
【００８６】
（４．第４の実施形態）
図１１は、本開示の第４の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。図１１を参照すると、情報処理装置４００は、画像取得部１１０、料理認識部１３０、データベース１４０、結果出力部１５０、標準料理認識部４７０、および認識結果統合部４８０を含む。情報処理装置４００は、さらに、情報抽出部１２０または料理データ管理部３６０を含んでもよい。
【００８７】
図示されているように、情報処理装置４００は、標準料理認識部４７０および認識結果統合部４８０が設けられる点を除いて、上記の第１〜第３の実施形態と同様の構成をとりうる。それゆえ、以下の説明では、主に標準料理認識部４７０および認識結果統合部４８０の機能について説明し、それ以外の点についての重複した詳細な説明は省略する。
【００８８】
標準料理認識部４７０は、料理認識部１３０が認識の処理にあたって参照する料理データを選択するために用いた条件を用いることなく、画像取得部１１０が取得した料理画像に含まれる１または複数の料理を認識する。標準料理認識部４７０における料理認識処理の手法は特に限定されないが、例えばエッジ検出などによって料理画像における料理の領域を特定し、学習ベースの物体認識によって当該領域に含まれる料理を認識してもよい。標準料理認識部４７０は、例えばＣＰＵなどのプロセッサがメモリに格納されたプログラムに従って動作することによって実現される。
【００８９】
料理認識部１３０による料理認識の処理が、例えばユーザが料理画像を撮影したときの状況を示す情報や、食事がされる状況を示す情報に関連付けられた料理データを用いた、いわば各ユーザについて個人化された処理であるのに対して、標準料理認識部４７０は、各ユーザに共通のデータを用いて、より標準的な、一般化された料理認識処理を提供する。標準料理認識部４７０は、料理画像に関連する人物や、料理画像の撮影環境、料理画像の撮影場所、料理画像の撮影時刻に依存せずに料理認識を実行する。
【００９０】
従って、例えば、料理画像にメタデータが付加されておらず情報が得られない場合や、メタデータなどの情報によって示される条件に合致する料理データがデータベース１４０に格納されていない場合（例えば、初めての店で食事をした場合）など、料理認識部１３０による料理認識が困難である場合でも、標準料理認識部４７０による料理認識が成功する場合がありうる。
【００９１】
その一方で、例えば雰囲気のある店のとても暗い照明の下や、自宅で使っている変わった形の食器に料理を盛った場合など、特殊な状況下で撮影された料理画像については、標準料理認識部４７０による適切な料理認識は困難である。また、予めデータとして用意されていない、ユーザのオリジナル料理などについても認識が困難である。それゆえ、例えば料理画像のメタデータなどから必要な情報が得られ、またその情報によって示される条件に合致する料理データがデータベース１４０に格納されている場合（例えば、ユーザが同じ場所で同じ料理を２回以上食べた場合）には、料理認識部１３０による料理認識が有効である。
【００９２】
そこで、本実施形態では、料理認識部１３０および標準料理認識部４７０の両方を設け、ユーザが日常的に食べているような料理については料理認識部１３０による確実な認識を可能にするとともに、ユーザが初めて食べるような料理についても標準料理認識部４７０で認識することを可能にする。
【００９３】
認識結果統合部４８０は、料理認識部１３０による認識結果と、標準料理認識部４７０による認識結果とを統合する。料理認識部１３０または標準料理認識部４７０のいずれかが料理認識に成功した場合、認識結果統合部４８０は、その認識結果を結果出力部１５０に提供する。料理認識部１３０および標準料理認識部４７０の両方が料理認識に成功した場合、認識結果統合部４８０は、例えば予め設定された優先順位に従って認識結果を採用して結果出力部１５０に提供する。あるいは、例えばそれぞれの認識部において認識結果の確からしさを示すスコアが算出される場合、認識結果統合部４８０はスコアが高い方の認識結果を採用してもよい。認識結果統合部４８０も、例えばＣＰＵなどのプロセッサがメモリに格納されたプログラムに従って動作することによって実現される。
【００９４】
さらに、認識結果統合部４８０は、料理認識部１３０および標準料理認識部４７０の両方が料理認識に成功し、かつ両方の認識結果が一致した場合に、料理認識部１３０で料理画像とマッチした料理データについてネガティブな評価をしてもよい。これは、当該料理データを用いて認識される料理は標準料理認識部４７０での一般化された料理認識でも認識可能であるため、料理認識部１３０で認識する必要性が薄いと考えられるためである。ネガティブな評価がされた料理データは、例えば、料理データ管理部３６０が実行する自動削除によって削除されやすくなる。
【００９５】
（５．第５の実施形態）
図１２は、本開示の第５の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。図１２を参照すると、情報処理装置５００は、画像取得部１１０、料理認識部１３０、データベース１４０、結果出力部１５０、標準料理認識部４７０、認識結果統合部４８０、および料理データ管理部５６０を含む。情報処理装置４００は、さらに、情報抽出部１２０を含んでもよい。
【００９６】
図示されているように、情報処理装置５００は、料理データ管理部５６０が設けられる点を除いて、上記の第４の実施形態と同様の構成をとりうる。それゆえ、以下の説明では、主に料理データ管理部５６０の機能について説明し、それ以外の点についての重複した詳細な説明は省略する。
【００９７】
料理データ管理部５６０は、標準料理認識部４７０での認識結果に基づいて、データベース１４０に料理データを追加的に登録する。本実施形態において、標準料理認識部４７０では、料理画像に含まれる料理が自動的に認識されなかった場合に、ユーザの入力に基づいて認識結果が決定される。この場合、料理データ管理部５６０は、自動的には認識されなかった料理のデータを、料理データとして追加的に登録する。また、標準料理認識部４７０では、料理画像に含まれる料理を自動的に認識した結果が、ユーザの入力に基づいて修正されうる。この場合、料理データ管理部５６０は、修正を経て決定された認識結果に係る料理のデータを、料理データとして追加的に登録する。料理データ管理部５６０は、例えばＣＰＵなどのプロセッサがメモリに格納されたプログラムに従って動作することによって実現される。
【００９８】
図１３は、本開示の第５の実施形態における料理データの追加登録の例について説明するための図である。図１３には、標準料理認識部４７０による自動認識結果の例が示されている。この結果では、料理画像１０１０に含まれる料理１０１２として、ご飯１０１２ａ、卵１０１２ｃ、魚１０１２ｄ、および味噌汁１０１２ｅが認識されているが、サラダ１０１２ｂが認識されていない。また、味噌汁１０１２ｅは認識されているものの、料理の領域が実際の味噌汁の領域よりも小さく判定されている。
【００９９】
そこで、ユーザは、認識された領域の修正、および認識結果の手入力を実行する。これらの入力は、例えば、標準料理認識部４７０による認識結果が認識結果統合部４８０および結果出力部１５０を介してユーザに提示され、ユーザがこれに対して修正や手入力の操作を実行することで取得される。図では、ユーザが、タッチパネルなどを用いて画像上の位置を指定して、表示された料理画像１０１０の領域を指定する例が示されているが、ユーザによる入力の例はこれに限られず、各種の入力装置を用いた入力が可能である。
【０１００】
図示された例では、まず、ユーザが、認識された味噌汁１０１２ｅの領域の修正を実行している。これによって、認識結果における味噌汁１０１２ｅの領域は、実際の味噌汁の椀が映った領域に整合する。このとき、料理データ管理部５６０は、修正後の味噌汁１０１２ｅに対応する料理データを、データベース１４０に追加的に登録する。これは、標準料理認識部４７０が味噌汁１０１２ｅの領域を正しく認識しなかったことから、次回以降の料理画像に含まれる味噌汁１０１２ｅについては、料理認識部１３０において今回登録された料理データを用いて認識する方が適切と考えられるためである。
【０１０１】
次に、ユーザは、認識されなかったサラダ１０１２ｂを、手入力によって認識させる。このとき、ユーザは、例えば料理画像１０１０においてサラダ１０１２ｂの領域を指定し、指定した領域に対して「サラダ」という料理名を入力する。このとき、料理データ管理部５６０は、サラダ１０１２ｂに対応する料理データを、データベース１４０に追加的に登録する。これは、標準料理認識部４７０がサラダ１０１２ｂを認識しなかったことから、次回以降の料理画像に含まれるサラダ１０１２ｂについては、料理認識部１３０において今回登録された料理データを用いて認識する方が適切と考えられるためである。
【０１０２】
なお、データベース１４０に追加的に料理データを登録する料理データ管理部５６０は、料理データの際限ない増加を防ぐため、第３の実施形態で説明した料理データ管理部３６０と同様に、所定の基準で料理データの自動削除を実行してもよい。
【０１０３】
以上のような本実施形態の構成によって、ユーザが明示的に料理データの登録処理をしなくても、標準料理認識部４７０が正しく自動認識しなかった料理に関する料理データが料理データ管理部５６０によって自動的にデータベース１４０に登録される。従って、料理認識部１３０がデータベース１４０に格納された料理データを用いて認識する料理を、標準料理認識部４７０では認識が難しい料理に限定することができる。これによって、データベース１４０に格納される料理データの数が必要最小限に抑えられ、料理認識部１３０での料理認識の処理負荷が軽減される。
【０１０４】
（６．第６の実施形態）
図１４は、本開示の第６の実施形態に係るシステムの概略的な機能構成を示すブロック図である。図１４を参照すると、システム６０は、クライアント６００と、サーバ７００とを含む。クライアント６００は、画像取得部１１０、料理認識部１３０、データベース１４０、結果出力部１５０、および認識結果統合部４８０を含む。クライアント６００は、さらに、情報抽出部１２０、または料理データ管理部５６０を含んでもよい。サーバ７００は、標準料理認識部７７０を含む。
【０１０５】
本実施形態は、上記の第４または第５の実施形態と同様の機能構成が、クライアント６００およびサーバ７００に分散して実現される点で、これらの実施形態と相違する。例えば、クライアント６００はユーザによって使用される端末装置によって実現され、サーバ７００はクライアント６００である端末装置と通信してユーザにサービスを提供する１または複数のサーバ装置によって実現される。なお、それ以外の部分について、本実施形態の構成は第４または第５の実施形態の構成とほぼ同様であるため、重複した詳細な説明は省略する。
【０１０６】
サーバ７００の標準料理認識部７７０は、クライアント６００の画像取得部１１０から料理画像を受信し、上記の第４または第５の実施形態で説明した標準料理認識部４７０と同様の標準化された料理認識の処理を実行する。標準料理認識部７７０は、認識結果をクライアント６００の認識結果統合部４８０に送信する。つまり、本実施形態では、クライアント６００が、標準料理認識部７７０による標準化された料理認識の処理を、サーバ７００に依頼しているといえる。
【０１０７】
上記の第４および第５の実施形態に係る情報処理装置４００，５００は、端末装置（クライアント）でもありえ、サーバでもありえる。つまり、これらの実施形態では、料理認識部１３０による料理認識処理と標準料理認識部４７０による料理認識処理とが、クライアントまたはサーバで一括して実行される。しかしながら、上述の通り、料理認識の処理負荷は高い。それゆえ、処理能力が比較的低いクライアントで料理認識処理を一括して実行するのは現実的でない場合もある。従って、処理能力が高いサーバで料理認識処理を一括して実行するのが、処理負荷の適正化の観点からは好ましい。
【０１０８】
ところが、例えば図３Ｂの例に示されるように、料理データはユーザの個人情報を含む場合がある。従って、料理データをサーバに格納することは、好ましくない場合がある。そこで、本実施形態では、料理データを格納したデータベース１４０と、料理データを用いて料理認識処理を実行する料理認識部１３０とをクライアント６００に配置してユーザのプライバシーを確保するとともに、一般的なデータを使用する標準化された料理認識処理についてはサーバ７００に配置された標準料理認識部７７０に依頼し、クライアント６００での処理負荷の軽減を図る。
【０１０９】
（７．ハードウェア構成）
次に、図１５を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図１５は、情報処理装置のハードウェア構成を説明するためのブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態における情報処理装置１００〜５００、クライアント６００、およびサーバ７００を実現しうる。
【０１１０】
情報処理装置９００は、ＣＰＵ（Central  Processing  unit）９０１、ＲＯＭ（Read  Only  Memory）９０３、およびＲＡＭ（Random  Access  Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital  Signal  Processor）などの処理回路を有してもよい。
【０１１１】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral  Component  Interconnect/Interface）バスなどの外部バス９１１に接続されている。
【０１１２】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
【０１１３】
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid  Crystal  Display）、ＰＤＰ（Plasma  Display  Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
【０１１４】
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard  Disk  Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
【０１１５】
ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
【０１１６】
接続ポート９２３は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal  Serial  Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small  Computer  System  Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（High-Definition  Multimedia  Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。
【０１１７】
通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local  Area  Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless  USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric  Digital  Subscriber  Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
【０１１８】
撮像装置９３３は、例えば、ＣＣＤ（Charge  Coupled  Device）またはＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
【０１１９】
センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global  Positioning  System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
【０１２０】
以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
【０１２１】
（８．補足）
本開示の実施形態は、例えば、上記で説明したような情報処理装置、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された記録媒体を含みうる。
【０１２２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２３】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）１または複数の料理を撮影した料理画像を取得する画像取得部と、
予め登録された料理データから、前記料理画像に関連する人物、前記料理画像の撮影環境、前記料理画像の撮影場所、または前記料理画像の撮影時刻のうちの少なくとも１つに関する条件に基づいて選択された料理データを参照して、前記料理画像に含まれる前記１または複数の料理を認識する第１の料理認識部と
を備える情報処理装置。
（２）前記第１の料理認識部による第１の認識結果と、前記条件を用いることなく前記料理画像に含まれる前記１または複数の料理を認識する第２の料理認識部による第２の認識結果とを統合する認識結果統合部をさらに備える、前記（１）に記載の情報処理装置。
（３）前記第２の認識結果に基づいて前記料理データを追加的に登録する料理データ管理部をさらに備える、前記（２）に記載の情報処理装置。
（４）前記第２の認識結果は、前記１または複数の料理が自動的に認識されなかった場合にはユーザの入力に基づいて決定され、
前記料理データ管理部は、前記ユーザの入力に基づいて決定された第２の認識結果に基づいて前記料理データを追加的に登録する、前記（３）に記載の情報処理装置。
（５）前記第２の認識結果は、前記１または複数の料理を自動的に認識した結果、または前記結果をユーザが入力する情報に基づいて修正したものであり、
前記料理データ管理部は、前記ユーザが入力する情報に基づく修正を経て決定された前記第２の認識結果に基づいて前記料理データを追加的に登録する、前記（３）または（４）に記載の情報処理装置。
（６）前記情報処理装置は、前記料理画像を撮影したユーザによって使用されるクライアントであり、
前記画像取得部は、取得した前記料理画像を、前記第２の料理認識部を有するサーバに送信し、
前記認識結果統合部は、前記サーバから前記第２の認識結果を受信する、前記（２）〜（５）のいずれか１項に記載の情報処理装置。
（７）前記料理データを追加的に登録するとともに、前記料理データが所定の数に到達した場合に所定の基準で前記料理データの一部を削除する料理データ管理部をさらに備える、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）前記第１の料理認識部は、前記料理画像と前記選択された料理データとをマッチングすることによって前記１または複数の料理を認識する、前記（７）に記載の情報処理装置。
（９）前記料理データ管理部は、前記料理データが前記料理画像とのマッチングに使用された回数または日時を基準にして前記料理データの一部を削除する、前記（８）に記載の情報処理装置。
（１０）前記料理データ管理部は、前記料理データと前記料理画像とのマッチングが成功した回数または日時を基準にして前記料理データの一部を削除する、前記（８）または（９）に記載の情報処理装置。
（１１）前記画像取得部は、メタデータを伴う前記料理画像を取得し、
前記情報処理装置は、前記料理画像に関連する人物、前記料理画像の撮影環境、前記料理画像の撮影場所、または前記料理画像の撮影時刻のうちの少なくとも１つに関する情報を前記メタデータから抽出する情報抽出部をさらに備える、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）前記情報抽出部は、前記料理画像に関連する人物に関する情報を抽出し、
前記第１の料理認識部は、前記人物に関連付けて登録された前記料理データを参照して前記１または複数の料理を認識する、前記（１１）に記載の情報処理装置。
（１３）前記情報抽出部は、前記料理画像の撮影環境に関する情報を抽出し、
前記第１の料理認識部は、前記撮影環境と共通する環境を示す情報に関連付けて登録された前記料理データを用いて前記１または複数の料理を認識する、前記（１１）または（１２）に記載の情報処理装置。
（１４）前記情報抽出部は、前記料理画像の撮影場所に関する情報を抽出し、
前記第１の料理認識部は、前記撮影場所に関連付けて登録された前記料理データを用いて前記１または複数の料理を認識する、前記（１１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）前記情報抽出部は、前記料理画像の撮影時刻に関する情報を抽出し、
前記第１の料理認識部は、前記撮影時刻を含む時間帯に関連付けて登録された前記料理データを用いて前記１または複数の料理を認識する、前記（１１）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）前記第１の料理認識部は、前記料理画像全体の特徴を、前記料理画像の撮影環境、前記料理画像の撮影場所、または前記料理画像の撮影時刻のうちの少なくとも１つに関する情報として扱う、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１７）前記料理データは、ソース画像から切り出された画像のデータであり、前記ソース画像に関する情報に関連付けて登録され、
前記第１の料理認識部は、前記料理画像全体の特徴が前記ソース画像の特徴に類似する場合に、該ソース画像から切り出された画像のデータを用いて前記１または複数の料理を認識する、前記（１６）に記載の情報処理装置。
（１８）１または複数の料理を撮影した料理画像を取得することと、
予め登録された料理データから、前記料理画像に関連する人物、前記料理画像の撮影環境、前記料理画像の撮影場所、または前記料理画像の撮影時刻のうちの少なくとも１つに関する条件に基づいて選択された料理データを参照して、前記料理画像に含まれる前記１または複数の料理を認識することと
を含む情報処理方法。
【符号の説明】
【０１２４】
１００，２００，３００，４００，５００    情報処理装置
１１０    画像取得部
１２０    情報抽出部
１３０    料理認識部
１４０    データベース
１５０    結果出力部
３６０，５６０    料理データ管理部
４７０，７７０    標準料理認識部
４８０    認識結果統合部
６０      システム
６００    クライアント
７００    サーバ
【図１】
2014089564.tif 000003
【図２】
2014089564.tif 000004
【図３Ａ】
2014089564.tif 000005
【図３Ｂ】
2014089564.tif 000006
【図４】
2014089564.tif 000007
【図５Ａ】
2014089564.tif 000008
【図５Ｂ】
2014089564.tif 000009
【図６】
2014089564.tif 000010
【図７】
2014089564.tif 000011
【図８】
2014089564.tif 000012
【図９】
2014089564.tif 000013
【図１０】
2014089564.tif 000014
【図１１】
2014089564.tif 000015
【図１２】
2014089564.tif 000016
【図１３】
2014089564.tif 000017
【図１４】
2014089564.tif 000018
【図１５】
2014089564.tif 000019