(57)【要約】【課題】入力された画像の特徴に基づいて付帯情報を精度よく推定すること。【解決手段】画像データと、画像データに関連する関連単語を含む関連単語列との関係性を表す画像認識モデルを生成する画像認識学習部と、画像認識モデルに基づいて、入力された画像データの関連単語列を推定し、入力画像関連単語列として出力する画像認識部と、画像認識部によって出力された入力画像関連単語列と、付帯情報との関係性を表す付帯情報推定モデルを生成する付帯情報推定学習部と、付帯情報推定モデルに基づいて、入力画像関連単語列に関連する付帯情報を推定する付帯情報推定部と、を備える情報推定装置である。【選択図】図１
2015095155.tif 000002
【特許請求の範囲】
【請求項１】
画像データと、前記画像データに関連する関連単語を含む関連単語列との関係性を表す画像認識モデルを生成する画像認識学習部と、
前記画像認識モデルに基づいて、入力された画像データの前記関連単語列を推定し、入力画像関連単語列として出力する画像認識部と、
前記画像認識部によって出力された前記入力画像関連単語列と、付帯情報との関係性を表す付帯情報推定モデルを生成する付帯情報推定学習部と、
前記付帯情報推定モデルに基づいて、前記入力画像関連単語列に関連する付帯情報を推定する付帯情報推定部と、
を備える情報推定装置。
【請求項２】
前記画像認識学習部は、複数の料理画像と、前記料理画像の料理に対応する材料の記載を含むテキストデータとの情報に基づいて前記画像認識モデルを生成し、
前記付帯情報推定学習部は、複数の料理画像と、前記料理画像の料理の摂取カロリーについての記載を含むテキストデータとの情報に基づいて前記付帯情報推定モデルを生成し、
前記入力画像関連単語列は、前記材料を表す単語と、入力画像の料理に対する前記単語の出現確率と、前記単語が示す材料の入力画像の料理に占める面積とを要素とするベクトルである、請求項１に記載の情報推定装置。
【請求項３】
コンピュータを、請求項１又は２に記載の情報推定装置として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を認識する技術に関する。
【背景技術】
【０００２】
従来、料理画像の特徴と料理画像に関連する情報との関係性を学習し、料理画像の特徴に基づいて関連する情報を推定する手法が提案されている。例えば、料理画像を一般的な料理の種別に分類し、摂取カロリーや栄養素などの付帯情報を推定する手法（例えば、非特許文献１参照。）がある。一般的な料理の種別とは、例えば、「カレー」や「ラーメン」などの一般的な料理名を表す種別である。また、料理画像を一般的な料理の種別に分類することなく、料理画像の特徴から直接的に付帯情報を推定する手法（例えば、非特許文献２参照。）もある。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】FoodLog:画像による食の記録と解析、相澤清晴、日本色彩学会誌、第３６巻、第４号、pp.293-296, 2012.
【非特許文献２】候補領域推定に基づく複数品目食事画像認識、松田裕司、甫足創、柳井啓司、電子情報通信学会論文誌  D Vol. J95-D No.8 pp.1554-1564, 2012.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、家庭での料理のように、一般的な料理の種別に分類することが難しい料理については、料理画像から付帯情報を推定することが困難であるという問題があった。また、料理画像の特徴から直接的に推定された付帯情報に対しては、使用者の納得感が小さいという問題もあった。なお、この問題は、料理画像に限らず、被写体を一般的な種別に分類することが難しい他の種類の画像の認識においても、同様の問題がある。
【０００５】
上記事情に鑑み、本発明は、入力された画像の特徴に基づいて付帯情報を精度よく推定する情報推定装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の一態様は、画像データと、前記画像データに関連する関連単語を含む関連単語列との関係性を表す画像認識モデルを生成する画像認識学習部と、前記画像認識モデルに基づいて、入力された画像データの前記関連単語列を推定し、入力画像関連単語列として出力する画像認識部と、前記画像認識部によって出力された前記入力画像関連単語列と、付帯情報との関係性を表す付帯情報推定モデルを生成する付帯情報推定学習部と、前記付帯情報推定モデルに基づいて、前記入力画像関連単語列に関連する付帯情報を推定する付帯情報推定部と、を備える情報推定装置である。
【０００７】
本発明の一態様は、上述の情報推定装置であって、前記画像認識学習部は、複数の料理画像と、前記料理画像の料理に対応する材料の記載を含むテキストデータとの情報に基づいて前記画像認識モデルを生成し、前記付帯情報推定学習部は、複数の料理画像と、前記料理画像の料理の摂取カロリーについての記載を含むテキストデータとの情報に基づいて前記付帯情報推定モデルを生成し、前記入力画像関連単語列は、前記材料を表す単語と、入力画像の料理に対する前記単語の出現確率と、前記単語が示す材料の入力画像の料理に占める面積とを要素とするベクトルである。
【０００８】
本発明の一態様は、コンピュータを、上述の情報推定装置として機能させるためのコンピュータプログラムである。
【発明の効果】
【０００９】
本発明により、入力された画像の特徴に基づいて付帯情報を精度よく推定する事が可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施形態の情報推定装置１００のシステム構成を表すシステム構成図である。
【図２】画像認識学習部１１０の機能及び入出力の構成を表す機能ブロック図である。
【図３】画像認識部１２０の機能及び入出力の構成を表す機能ブロック図である。
【図４】付帯情報推定学習部１３０の入出力の構成を表す機能ブロック図である。
【図５】付帯情報推定部１４０の入出力の構成を表す機能ブロック図である。
【図６】実施形態の情報推定装置１００が付帯情報を推定する処理の流れを表すフローチャートである。
【図７】情報推定装置１００の関連単語列の推定処理における入出力の具体例を示す図である。
【図８】情報推定装置１００の付帯情報の推定処理における入出力の具体例を示す図である。
【発明を実施するための形態】
【００１１】
［概略］
本発明の実施形態における情報推定装置は、料理画像と料理画像に関連する情報（以下、「関連情報」という。）との関係性を予め学習する。例えば、関連情報は、料理名やレシピ、材料リストなどである。情報推定装置は、料理画像と関連情報との関係性を、料理画像の特徴に基づいて学習する。したがって、情報推定装置は、料理画像を一般的な料理の種別に分類することを必要としない。情報推定装置は、学習された関係性に基づいて、入力された料理画像に対して関連情報を推定する。
【００１２】
このような料理画像と関連情報との関係性の学習によって、情報推定装置は、料理画像を一般的な料理の種別に分類することなく、料理画像の特徴から関連情報を推定することが可能となる。
【００１３】
また、実施形態の情報推定装置は、入力された料理画像に対して推定された関連情報と、関連情報に付帯する情報（以下、「付帯情報」という。）との関係性を予め学習する。付帯情報は、料理画像の特徴に対する関連性は低いが、関連情報との関連性が高いと推測される情報である。例えば、付帯情報は、料理の摂取カロリーや栄養素などの情報である。
【００１４】
このような関連情報と付帯情報との関係性の学習によって、情報推定装置は、入力された料理画像の関連情報に対してより関係性が高い推定結果を得ることができる。以下、実施形態の情報推定装置について詳細に説明する。
【００１５】
［詳細］
図１は、実施形態の情報推定装置１００のシステム構成を表すシステム構成図である。
画像１は、情報推定装置１００に入力される学習用の料理画像の集合である。テキスト２は、情報推定装置１００に入力される学習用のテキストデータの集合である。テキスト２は、画像１の料理に関連する情報（関連情報）を含む。画像１に含まれる各料理画像と、テキスト２に含まれる各関連情報とは予め対応付けされている。画像１及びテキスト２は、料理画像と関連情報との対応付けを表す情報とともに、情報推定装置１００に入力される。情報推定装置１００は、入力された画像１及びテキスト２のうち、対応付けられた料理画像及び関連情報に基づいて、料理画像と関連情報との関係性を学習する。
【００１６】
画像３は、情報推定装置１００に入力される学習用の画像データの集合である。付帯情報４は、情報推定装置１００に入力される学習用の付帯情報の集合である。
付帯情報４は、画像３の料理の関連情報に付帯する情報（付帯情報）を含む。画像３に含まれる各料理画像と、付帯情報４に含まれる各付帯情報とは予め対応付けされている。画像３及び付帯情報４は、料理画像と付帯情報との対応付けを表す情報とともに、情報推定装置１００に入力される。情報推定装置１００は、入力された画像３及び付帯情報４のうち、対応付けられた料理画像及び付帯情報に基づいて、料理画像と付帯情報との関係性を学習する。
画像５は、情報推定装置１００に入力される推定用の画像データである。情報推定装置１００は、入力された画像５に含まれる料理画像の関連情報と付帯情報とを推定する。
【００１７】
情報推定装置１００は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、情報推定プログラムを実行することによって、画像認識学習部１１０、画像認識部１２０、付帯情報推定学習部１３０、付帯情報推定部１４０及び記憶部１５０を備える装置として機能する。なお、画像認識学習部１１０、画像認識部１２０、付帯情報推定学習部１３０、付帯情報推定部１４０及び記憶部１５０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。情報推定プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。情報推定プログラムは、電気通信回線を介して送信されてもよい。
【００１８】
画像認識学習部１１０には、画像１及びテキスト２が入力される。画像認識学習部１１０は、入力された画像１から画像の特徴を抽出する。画像認識学習部１１０は、入力されたテキスト２に含まれる関連情報から、料理に関連する単語（以下、「関連単語」という。）を抽出する。そして、画像認識学習部１１０は、抽出された画像１の特徴と関連単語との関係性を学習する。画像認識学習部１１０は、学習した情報を記憶部１５０に保存する。画像認識学習部１１０の構成の詳細は後述する。
【００１９】
画像認識部１２０には、画像３又は画像５が入力される。画像認識部１２０は、画像認識学習部１１０によって学習された情報に基づいて、入力された画像３又は画像５の料理に関連する確率が高い関連単語を推定する。画像認識部１２０の構成の詳細は後述する。
【００２０】
付帯情報推定学習部１３０には、画像認識部１２０によって推定された画像３の料理の関連単語と、付帯情報４とが入力される。付帯情報推定学習部１３０は、画像３の料理の関連単語と付帯情報４との関係性を学習する。付帯情報推定学習部１３０は、学習した情報を記憶部１５０に保存する。付帯情報推定学習部１３０の処理の詳細は後述する。
【００２１】
付帯情報推定部１４０には、画像認識部１２０によって推定された画像５の料理の関連単語が入力される。付帯情報推定部１４０は、付帯情報推定学習部１３０によって学習された情報に基づいて、入力された画像５の料理に関連する確率が高い付帯情報を推定する。付帯情報推定部１４０の処理の詳細は後述する。
【００２２】
記憶部１５０は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部１５０は、画像認識学習部１１０及び付帯情報推定学習部１３０によって学習された情報を記憶する。
【００２３】
図２は、画像認識学習部１１０の機能及び入出力の構成を表す機能ブロック図である。
画像認識学習部１１０は、画像切り出し部１１１、画像特徴抽出部１１２、関連単語抽出部１１３及び画像認識モデルパラメータ学習部１１４を備える。
【００２４】
画像切り出し部１１１は、入力された画像１から、画像１の特徴を抽出するための対象となる領域を切り出す。例えば、画像切り出し部１１１は、料理画像から背景領域を取り除いた料理部分の領域を切り出す。厳密に料理部分の領域のみを切り出すことが困難な場合でも、おおまかに背景領域を取り除くことによって、情報推定装置１００の推定精度を向上させる効果が得られる。領域を切り出す方法には、GrabCutやサリエンシー検出などの手法が用いられてもよい。画像切り出し部１１１は、切り出された領域の画像を画像特徴抽出部１１２に出力する。
【００２５】
画像特徴抽出部１１２は、画像切り出し部１１１によって切り出された領域の画像から、画像１の特徴を表す特徴量を抽出する。抽出される画像１の特徴量には、ＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded-Up Robust Features）における局所特徴量や色ヒストグラムなどが用いられてもよいし、ＧＩＳＴなどの大域特徴量が用いられてもよい。また、料理画像の認識に有効とされるBag of colorなどの色特徴が用いられてもよい。画像特徴抽出部１１２は、抽出された画像１の特徴量を画像認識モデルパラメータ学習部１１４に出力する。
【００２６】
関連単語抽出部１１３は、入力されたテキスト２に含まれる関連情報から料理に関連する単語（関連単語）を抽出する。関連単語抽出部１１３は、テキスト２が文章の形態で入力された場合、テキスト２に対して形態素解析を行い、文章を単語の列（以下、「単語列」という。）に変換する。関連単語抽出部１１３は、単語列で構成された入力情報から、関連単語を抽出し、関連単語の単語列（以下、「関連単語列」という。）を生成する。
【００２７】
さらに、関連単語抽出部１１３は、助詞・助動詞・感嘆詞などの料理と関連のない単語や著しく出現頻度の低い単語などを、生成された関連単語列から除去する。さらに、同一の内容を表す異なる単語（例えば、「小麦粉」と「薄力粉」など。）を一つの単語に集約する。このような単語の除去や集約を行うことによって、情報推定装置１００の推定精度を向上させる効果が得られる。関連単語抽出部１１３は、生成された関連単語列を画像認識モデルパラメータ学習部１１４に出力する。
【００２８】
画像認識モデルパラメータ学習部１１４は、画像特徴抽出部１１２によって抽出された画像１の特徴量と、関連単語抽出部１１３によって抽出された関連単語列との関係性をトピックモデルをベースとした手法を用いて学習する。画像認識モデルパラメータ学習部１１４は、画像１の特徴量に基づいて、画像１に対して複数のトピックを割り当てる。画像認識モデルパラメータ学習部１１４は、割り当てられた各トピックに対して関連単語が出現する確率を推定するためのモデルパラメータを生成する。画像認識モデルパラメータ学習部１１４は、生成されたモデルパラメータを画像認識モデルパラメータ１５１として記憶部１５０に保存する。
【００２９】
画像認識モデルパラメータ学習部１１４における学習手法には、ＳＶＭ（Support Vector Machine）などによる１クラス識別器を関連単語毎に学習する手法などが用いられてもよい。また、Correspondence ＬＤＡやMax-Margin ＬＤＡのようなトピックモデルを応用した手法などが用いられてもよいし、適切な誤差関数を設定した構造学習（Structured Learning）による手法などが用いられてもよい。トピックモデルを用いた手法では、情報推定装置は、入力された画像から抽出された特徴量に基づいて、入力された画像に対して複数のトピックを割り当てる。そして、情報推定装置は、学習された推定モデルに基づいて、関連単語が割り当てられたトピックに出現する確率を得ることができる。例えば、入力された画像の料理に使用されている材料をトピックとして考えた場合、割り当てられた各材料（トピック）がどの材料（関連単語）であるかを確率的に推定することができる。また、情報推定装置は、割り当てられた各トピックが、画像から抽出された特徴量をどの程度含むかの情報（以下、「量的情報」という。）を得ることができる。例えば、この量的情報が料理画像に占める材料の量であると考えた場合、情報推定装置は、入力された料理画像から、画像の料理に使用されている材料と、材料の量とを推定することができる。
本実施形態では、このような量的情報を後述する付帯情報の推定に使用するために、学習手法にトピックモデルや構造学習を用いた手法を用いている。
【００３０】
図３は、画像認識部１２０の機能及び入出力の構成を表す機能ブロック図である。
画像認識部１２０は、画像切り出し部１２１、画像特徴抽出部１２２及び関連単語列推定部１２３を備える。
画像切り出し部１２１は、画像認識学習部１１０の画像切り出し部１１１と同様の処理を行う。画像切り出し部１２１は、入力された画像３から、画像３の特徴を抽出するための対象となる領域を切り出す。画像切り出し部１２１は、切り出された領域の画像を画像特徴抽出部１２２に出力する。
【００３１】
画像特徴抽出部１２２は、画像認識学習部１１０の画像特徴抽出部１１２と同様の処理を行う。画像特徴抽出部１２２は、画像切り出し部１２１によって切り出された領域の画像から、画像３の特徴を表す特徴量を抽出する。画像特徴抽出部１２２は、抽出された画像３の特徴量を関連単語列推定部１２３に出力する。
【００３２】
関連単語列推定部１２３は、画像特徴抽出部１２２によって抽出された画像３の特徴量に基づいて、画像３に関連する関連単語列を推定する。関連単語列推定部１２３は、画像３の特徴量と、画像認識モデルパラメータとを推定モデルに適用することにより、画像３に割り当てられるトピックを選択する。関連単語列推定部１２３は、画像３に割り当てられた各トピックについて、関連単語が出現する確率を算出する。関連単語列推定部１２３は、各トピックにおいて出現する確率が高い関連単語を選択する。また、関連単語列推定部１２３は、各トピックに対応する量的情報を生成する。そして、関連単語列推定部１２３は、各トピックについて選択された関連単語と、各トピックに対応する量的情報とを組み合わせたベクトル（以下、「関連単語列ベクトル」という。）を出力する。
【００３３】
図４は、付帯情報推定学習部１３０の入出力の構成を表す機能ブロック図である。
付帯情報推定学習部１３０は、画像認識部１２０によって生成された画像３の関連単語列ベクトルと、付帯情報４との関係性を回帰分析によってモデル化する手法を用いて学習する。付帯情報推定学習部１３０は、関連単語列ベクトル及び付帯情報４の全ての組の関係を入力として回帰分析を行うことによって、１つの関連単語列ベクトルから付帯情報４を推定するためのモデルパラメータを生成する。付帯情報推定学習部１３０は、生成されたモデルパラメータを付帯情報推定モデルパラメータ１５２として記憶部１５０に保存する。
【００３４】
付帯情報推定学習部１３０における回帰分析を用いた学習手法には、線形回帰のようなパラメトリックな手法や、ガウス過程のようなノンパラメトリックな手法などが用いられてもよい。これらの手法は、学習に用いられるテキストデータや付帯情報に応じて選択されるとよい。
【００３５】
図５は、付帯情報推定部１４０の入出力の構成を表す機能ブロック図である。
付帯情報推定部１４０は、単語列付帯情報推定部１４１を備える。
単語列付帯情報推定部１４１は、画像認識部１２０によって生成された画像５の関連単語列ベクトルに基づいて、画像５の料理の付帯情報を推定する。単語列付帯情報推定部１４１は、画像５の関連単語列ベクトルと、付帯情報推定モデルパラメータとを推定モデルに適用することにより、画像５の料理の付帯情報を推定する。
【００３６】
図６は、実施形態の情報推定装置１００が付帯情報を推定する処理の流れを表すフローチャートである。
まず、情報推定装置１００は、付帯情報の推定を行う対象の画像の入力を受け付ける（ステップＳ１０１）。
画像認識部１２０の画像切り出し部１２１は、入力された画像から、画像の特徴を抽出する対象となる領域を切り出す（ステップＳ１０２）。画像切り出し部１２１は、切り出された領域の画像を画像特徴抽出部１２２に出力する。
【００３７】
画像特徴抽出部１２２は、ステップＳ１０１で切り出された領域の画像から、画像の特徴量を抽出する（ステップＳ１０３）。画像特徴抽出部１２２は、抽出された画像の特徴量を関連単語列推定部１２３に出力する。
【００３８】
関連単語列推定部１２３は、ステップＳ１０３で出力された画像の特徴量と、事前に学習された画像認識モデルパラメータ１５１とを、推定モデルに適用し、入力された画像に対して複数のトピックを割り当てる（ステップＳ１０４）。例えば、料理画像の特徴量が、料理画像において材料と推定される領域に関する特徴を有する特徴量である場合、料理画像に割り当てられた各トピックは、料理画像を材料と推定される領域に分割した各領域を表すと考えらえる。
【００３９】
関連単語列推定部１２３は、ステップＳ１０４で割り当てられた各トピックについて、関連単語が出現する確率を算出する。関連単語列推定部１２３は、各トピックにおいて出現する確率が高い関連単語を選択する（ステップＳ１０５）。例えば、関連単語列が料理画像の料理に使用されている材料のリストとして学習されている場合、料理画像に割り当てられたトピックが各材料の領域を表すとすれば、各トピックに出現する確率が高い関連単語を選択することによって、各トピック（各材料の領域）に対応する材料を選択することができる。
【００４０】
関連単語列推定部１２３は、ステップＳ１０４で割り当てられた各トピックが含む画像の特徴量の量的情報を算出する（ステップＳ１０６）。例えば、料理画像の特徴量が、料理画像において材料と推定される領域に関する特徴を有する特徴量である場合、算出される量的情報は、料理画像に占める各材料の面積の割合に対応すると考えられる。
【００４１】
関連単語列推定部１２３は、ステップＳ１０５で選択された各トピックに対する関連単語と、ステップＳ１０４で算出された各トピックに対応する量的情報とを組み合わせて関連単語列ベクトルを生成する（ステップＳ１０７）。
単語列付帯情報推定部１４１は、ステップＳ１０７で生成された関連単語列ベクトルと、付帯情報推定モデルパラメータ１５２とを、推定モデルに適用し、入力された画像に対する付帯情報を推定する（ステップＳ１０８）。
【００４２】
図７は、情報推定装置１００の関連単語列の推定処理における入出力の具体例を示す図である。
情報推定装置１００は、料理画像と材料リスト（関連単語列）とを学習用のデータとして、料理画像の特徴と材料との関係性を表すパラメータ（画像認識モデルパラメータ１５１）を予め学習している。図の例では、情報推定装置１００は、料理画像において材料と推定される領域に関する特徴を、料理画像の特徴量として学習している。このような情報を学習することによって、情報推定装置１００は、入力された料理画像に対して、使用されている材料と、各材料が画像に占める面積の割合とを推定することができる。
【００４３】
情報推定装置１００は、摂取カロリー（付帯情報）を推定する対象の料理画像（入力画像）が入力されると、入力画像から画像の特徴量を抽出する。情報推定装置１００は、入力画像の特徴量と、“料理画像の特徴と材料との関係パラメータ”とを推定モデルに適用することによって、入力画像の料理に使用されている材料（関連単語）を推定する。また、情報推定装置１００は、入力画像の特徴量と関連単語との関係性から、各材料（関連単語）が入力画像の料理に占める面積の割合を推定する。情報推定装置は、推定された材料のリストと、当該材料が入力画像の料理に占める面積の割合とを組み合わせて、関連単語列ベクトルとして出力する。なお、図の例では、推定された各材料の推定確度も関連単語列ベクトルに含めている。
【００４４】
図８は、情報推定装置１００の付帯情報の推定処理における入出力の具体例を示す図である。
情報推定装置１００は、料理画像と摂取カロリー（付帯情報）とを学習用のデータとして、材料（料理画像から推定された関連単語列ベクトル）と摂取カロリーとの関係性を表すパラメータ（付帯情報推定モデルパラメータ１５２）を予め学習している。図の例の場合、“材料と摂取カロリーとの関係パラメータ”は、すなわち各材料の摂取カロリーの推定値に相当するため、材料に関する知識を有する使用者によって設定されてもよい。
【００４５】
情報推定装置１００は、摂取カロリー（付帯情報）を推定する対象の料理画像（入力画像）が入力されると、入力画像から生成された関連単語列ベクトルと、“材料と摂取カロリーの関係パラメータ”とを推定モデルに適用することによって、入力画像の料理の摂取カロリー（付帯情報）を推定する。
【００４６】
このように構成された情報推定装置１００は、入力された画像の特徴と関連情報との関係性を学習する。そのため、情報推定装置１００は、画像の認識において、画像を分類するための種別を必要としない。情報推定装置１００は、学習された画像の特徴と関連情報との関係性に基づいて、入力された画像に対する関連情報を推定する。情報推定装置１００は、入力された画像の特徴から推定された関連情報と、付帯情報との関係性を学習することにより、関連情報との関係性がより強い付帯情報を推定することが可能となる。
【００４７】
＜変形例＞
情報推定装置１００は、実施形態で説明した付帯情報の推定を料理画像以外の画像について行うように構成されてもよい。
本発明の一態様は、上述した情報推定装置であって、前記画像認識学習部は、複数の画像と、画像に対応する関連単語列とに基づいて前記画像認識モデルを生成し、前記付帯情報推定学習部は、複数の画像と、画像に対応する付帯情報とに基づいて前記付帯情報推定モデルを生成する。
本発明の一態様は、上述した情報推定装置であって、前記入力画像関連単語列は、関連単語と、入力された画像データに対する関連単語の発生確率と、関連単語に対応する画像の領域の情報と、を含む。
【００４８】
上述した実施形態における情報推定装置１００をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００４９】
１、３、５…画像，  ２…テキスト，  ４…付帯情報，  １００…情報推定装置，  １１０…画像認識学習部，  １１１、１２１…画像切り出し部，  １１２、１２２…画像特徴抽出部，  １１３…関連単語抽出部，  １１４…画像認識モデルパラメータ学習部，  １２０…画像認識部，  １２３…関連単語列推定部，  １３０…付帯情報推定学習部，  １４０…付帯情報推定部，  １４１…単語列付帯情報推定部，  １５０…記憶部，  １５１…画像認識モデルパラメータ，  １５２…付帯情報推定モデルパラメータ
【図１】
2015095155.tif 000003
【図２】
2015095155.tif 000004
【図３】
2015095155.tif 000005
【図４】
2015095155.tif 000006
【図５】
2015095155.tif 000007
【図６】
2015095155.tif 000008
【図７】
2015095155.tif 000009
【図８】
2015095155.tif 000010