(57)【要約】【課題】ラベルの推定精度を向上させることができるラベル推定関数を学習する。【解決手段】ベル情報学習部２００は、学習データ記憶部２０から学習データを読み出し、ラベル間共起性特徴及びラベル別位置存在確率を含むラベル情報を学習して、ラベル情報記憶部２０３に記憶する。画像特徴抽出部１０１は、学習データ記憶部２０から学習データの内の画像データを読み出し、読み出した画像データに基づいて、学習画像の画像特徴を抽出するための画像特徴抽出フィルタ１０２を用いて、学習画像の画像特徴を抽出する。ラベル推定関数学習部１０３は、画像特徴抽出部１０１により抽出された学習画像の画像特徴と、ラベル情報記憶部２０３から読み出したラベル情報とに基づいて、ラベルを推定するためのラベル推定関数を学習する。【選択図】図１
2017027227.tif 000002
【特許請求の範囲】
【請求項１】
複数の要素を備えた被写体の学習画像の複数の画像データと前記複数の画像データの各々に対応付けられた各要素の名称であるラベルのデータとを含む複数の学習データを記憶する学習データ記憶部と、
前記複数の学習データに基づいて、前記複数の学習画像に存在する要素のラベルのラベル別位置存在確率を計算するラベル別位置存在確率学習部と、
前記複数の学習データに基づいて、ラベルに対応する要素と他のラベルに対応する要素とが前記学習画像に同時に存在する度合いを表すラベル間共起性特徴を計算するラベル間共起性特徴学習部と、
前記複数の画像データに基づいて、前記複数の学習画像の各々の複数の画像特徴を抽出する画像特徴抽出部と、
前記複数の学習データ、前記抽出された前記複数の学習画像の各々の複数の画像特徴、前記計算されたラベル別位置存在確率、及び前記計算されたラベル間共起性特徴に基づくラベル間共起性確率に基づいて、前記複数の画像特徴に対応する複数の要素の存在を推定するラベル推定関数を学習するラベル推定関数学習部と、
を備えたラベル推定関数学習装置。
【請求項２】
前記ラベル推定関数は、前記ラベル別位置存在確率に対する第１のパラメータと、前記ラベル間共起性確率に対する第２のパラメータとを含み、
前記ラベル推定関数学習部は、前記第１のパラメータ及び前記第２のパラメータを学習する
請求項１記載のラベル推定関数学習装置。
【請求項３】
複数の要素を備えた被写体のクエリ画像の画像データを入力するクエリ画像入力部と、
前記画像データに基づいて、前記クエリ画像の画像特徴を抽出する画像特徴抽出部と、
前記抽出された画像特徴と、請求項１又は請求項２に記載のラベル推定関数学習装置により学習されたラベル推定関数とに基づいて、前記クエリ画像の複数の要素の各々のラベルを推定するラベル推定部と、
を備えたラベル推定装置。
【請求項４】
複数の要素を備えた被写体の学習画像の複数の画像データと前記複数の画像データの各々に対応付けられた各要素の名称であるラベルのデータとを含む複数の学習データを記憶する学習データ記憶部の前記複数の学習データに基づいて、前記複数の学習画像に存在する要素のラベルのラベル別位置存在確率を計算し、
前記複数の学習データに基づいて、ラベルに対応する要素と他のラベルに対応する要素とが前記学習画像に同時に存在する度合いを表すラベル間共起性特徴を計算し、
前記複数の画像データに基づいて、前記複数の学習画像の各々の複数の画像特徴を抽出し、
前記複数の学習データ、前記抽出された前記複数の学習画像の各々の複数の画像特徴、前記計算されたラベル別位置存在確率、及び前記計算されたラベル間共起性特徴に基づくラベル間共起性確率に基づいて、前記複数の画像特徴に対応する複数の要素の存在を推定するラベル推定関数を学習する
ことを含むラベル推定関数学習方法。
【請求項５】
前記ラベル推定関数は、前記ラベル別位置存在確率に対する第１のパラメータと、前記ラベル間共起性確率に対する第２のパラメータとを含み、
前記ラベル推定関数を学習する際は、前記第１のパラメータ及び前記第２のパラメータを学習する
請求項４に記載のラベル推定関数学習方法。
【請求項６】
複数の要素を備えた被写体のクエリ画像の画像データを入力し、
前記画像データに基づいて、前記クエリ画像の画像特徴を抽出し、
前記抽出された画像特徴と、請求項４又は請求項５に記載のラベル推定関数学習方法により学習されたラベル推定関数とに基づいて、前記クエリ画像の複数の要素の各々のラベルを推定する
ことを含むラベル推定方法。
【請求項７】
コンピュータを、請求項１又は請求項２に記載のラベル推定関数学習装置又は請求項３に記載のラベル推定装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ラベルを推定するためのラベル推定関数を学習するラベル推定関数学習装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
複数の要素の組み合わせから成る被写体の画像から、その中に含まれている要素を推定する方法及び装置が提案されている。ここで、要素は、画像の中の分割可能な領域である。被写体とは、単一または複数の要素を含む、物体やシーンのことである。
【０００３】
要素を推定する従来の方法及び装置では、複数の要素の組み合わせから成る被写体の画像から、その中に含まれている要素を詳細に分類する試みが多く行われている。特に近年、洋服、服飾雑貨、料理等を被写体とする商品画像やＳＮＳに投稿された画像について、各画像がどのようなカテゴリの画像であるかということだけではなく、画像の中にどのような要素を含んでいるかを自動で認識することが様々に試みられている。
【０００４】
非特許文献１では、画像の局所特徴やカラー特徴を用いて、人物の上半身の服装について、ジャケット、ドレス、スーツ等の要素を推定する技術を提案している。
【０００５】
非特許文献２では、髪、顔、トップス、スカートなどの要素ごとに画像を分解することで画像の分割の精度を高めている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】L. Bossard, M. Dantone, C. Leistner, C. Wengert, T. Quack and L. V. Gool, 「Apparel Classification with Style」 ACCV, pp. 1-14 (2012)
【非特許文献２】J. Dong, Q. Chen, W. Xia, Z. Huang and S. Yan, 「A Deformable Mixture Parsing Model with Parselets」 ICCV (2013).
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、従来の技術では、画像の中にどのような要素を含んでいるかを精度よく推定することができない。非特許文献１では、上半身の服装について要素を推定するので、上下の服装の組み合わせを考慮して要素を推定していない。また、非特許文献２では、要素の名称であるラベルの整合性は考慮されていない。そのため、上着がスーツのジャケットに似ていると、ボトムスの種類によらずスーツと推定する。また、被写体の人物がスカートと組み合わせトップスを着ている場合でも、スカートとは本来組み合わされないドレスという推定がされるような場合がある。
【０００８】
このように、要素に対して、他の要素との関係で通常考えにくいラベル付けがされている。
【０００９】
本発明は、上記の課題に鑑みてなされたもので、ラベルの推定精度を向上させることができるラベル推定関数を得ることができるラベル推定関数学習装置、方法、及びプログラム、及び、ラベルの推定精度を向上させたラベル推定装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために本発明に係るラベル推定関数学習装置は、複数の要素を備えた被写体の学習画像の複数の画像データと前記複数の画像データの各々に対応付けられた各要素の名称であるラベルのデータとを含む複数の学習データを記憶する学習データ記憶部と、前記複数の学習データに基づいて、前記複数の学習画像に存在する要素のラベルのラベル別位置存在確率を計算するラベル別位置存在確率学習部と、前記複数の学習データに基づいて、ラベルに対応する要素と他のラベルに対応する要素とが前記学習画像に同時に存在する度合いを表すラベル間共起性特徴を計算するラベル間共起性特徴学習部と、前記複数の画像データに基づいて、前記複数の学習画像の各々の複数の画像特徴を抽出する画像特徴抽出部と、前記複数の学習データ、前記抽出された前記複数の学習画像の各々の複数の画像特徴、前記計算されたラベル別位置存在確率、及び前記計算されたラベル間共起性特徴に基づくラベル間共起性確率に基づいて、前記複数の画像特徴に対応する複数の要素の存在確率を推定するラベル推定関数を学習するラベル推定関数学習部を備えている。
【００１１】
学習データ記憶部は、複数の要素を備えた被写体の学習画像の複数の画像データと前記複数の画像データの各々に対応付けられた各要素の名称であるラベルのデータとを含む複数の学習データを記憶する。
【００１２】
ラベル別位置存在確率学習部は、前記複数の学習データに基づいて、前記複数の学習画像に存在する要素のラベルのラベル別位置存在確率を計算する。ラベル間共起性特徴学習部は、前記複数の学習データに基づいて、ラベルに対応する要素と他のラベルに対応する要素とが前記学習画像に同時に存在する度合いを表すラベル間共起性特徴を計算する。画像特徴抽出部は、前記複数の画像データに基づいて、前記複数の学習画像の各々の複数の画像特徴を抽出する。
【００１３】
ラベル推定関数学習部は、前記複数の学習データ、前記抽出された前記複数の学習画像の各々の複数の画像特徴、前記計算されたラベル別位置存在確率、及び前記計算されたラベル間共起性特徴に基づくラベル間共起性確率に基づいて、前記複数の画像特徴に対応する複数の要素の存在確率を推定するラベル推定関数を学習する。
【００１４】
このように、ラベル別位置存在確率の他にラベル間共起性特徴に基づくラベル間共起性確率に基づいて、複数の画像特徴に対応する複数の要素の存在確率を推定するラベル推定関数を学習するので、ラベルの推定精度を向上させることができるラベル推定関数を得ることができる。
【００１５】
上記の目的を達成するために本発明に係るラベル推定装置は、複数の要素を備えた被写体のクエリ画像の画像データを入力するクエリ画像入力部と、前記画像データに基づいて、前記クエリ画像の画像特徴を抽出する画像特徴抽出部と、前記抽出された画像特徴と、上記ラベル推定関数学習装置により学習されたラベル推定関数とに基づいて、前記クエリ画像の複数の要素の各々のラベルを推定するラベル推定部を備えている。
【００１６】
クエリ画像入力部は、複数の要素を備えた被写体のクエリ画像の画像データを入力する。画像特徴抽出部は、前記画像データに基づいて、前記クエリ画像の画像特徴を抽出する。ラベル推定部は、前記抽出された画像特徴と、上記ラベル推定関数学習装置により学習されたラベル推定関数とに基づいて、前記クエリ画像の複数の要素の各々のラベルを推定する。
【００１７】
このように、ラベルの推定精度を向上させることができるラベル推定関数を用いて、クエリ画像の複数の要素の各々のラベルを推定するので、ラベルの推定精度を向上させることができる。
【００１８】
本発明に係るプログラムは、コンピュータを、上記のラベル推定関数学習装置又はラベル推定装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１９】
以上説明したように、本発明のラベル推定関数学習装置、方法、及びプログラムによれば、ラベルの推定精度を向上させることができるラベル推定関数を得ることができる、という効果が得られる。
【００２０】
以上説明したように、本発明のラベル装置、方法、及びプログラムによれば、ラベルの推定精度を向上させることができる、という効果が得られる。
【図面の簡単な説明】
【００２１】
【図１】本実施の形態のラベル推定関数学習装置１０のブロック図である。
【図２】ラベル推定関数学習装置１０を構成するラベル情報学習部２００のブロック図である。
【図３】ラベル推定装置３０のブロック図である。
【図４】ラベル推定関数学習装置１０が実行するラベル推定関数学習プログラムを示すフローチャートである。
【図５】複数のファッションアイテムを含む人物を被写体とした画像を示す図である。
【図６】（Ａ）は、想定しているドメインの１つの画像に出現する可能性のある複数の要素のラベルを縦及び横に並べてマトリクス状に相関係数ｃi,jを配置して得られたデータテーブルを示す図であり、（Ｂ）は、図６（Ａ）に示したデータテーブルにおける相関係数ｃi,jを、１の場合には白、−１の場合には黒、１に近くなるに従って白に近く、−１に近くなるに従って黒に近くなるように、グレースケールで表現した図である。
【図７】（Ａ）は、要素の平均画像を、画素位置を無視して所定の順番に並べた図であり、（Ｂ）は、要素の平均画像を囲む矩形（バウンディングボックス）を画素位置に対応して配置した図である。
【図８】ラベル推定装置３０が実行するラベル推定プログラムを示すフローチャートである。
【図９】画像特徴抽出フィルタ１０２としてＣＮＮのフィルタを用いる場合のラベル推定器学習部１００のブロック図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本実施の形態のラベル推定関数学習装置１０及びラベル推定装置３０の構成を説明する。
【００２３】
図１は、本実施の形態のラベル推定関数学習装置１０のブロック図である。図１に示すように、本実施の形態のラベル推定関数学習装置１０は、複数の学習データを記憶する学習データ記憶部２０を備えている。
【００２４】
ここで、複数の学習データの各々は、所定のドメイン、即ち、例えば、複数の要素としての複数のファッションアイテムを含む人物を撮影して得られた学習画像の画像データを含む。また、複数の学習データの各々は、当該画像データに対応付けられると共に、上記複数の要素の各々の名称である複数のラベル、例えば、サングラス、ドレス、シューズ、バッグ、ネックレス等のデータを含む。
【００２５】
ラベル推定関数学習装置１０は、学習データ記憶部２０から学習データを読み出し、後述するラベル間共起性特徴及びラベル別位置存在確率を含むラベル情報を学習するラベル情報学習部２００を備えている。ラベル推定関数学習装置１０は、ラベル情報学習部２００により学習されたラベル情報を記憶するラベル情報記憶部２０３を備えている。
【００２６】
また、ラベル推定関数学習装置１０は、ラベルを推定するラベル推定関数を学習するラベル推定器学習部１００を備えている。ラベル推定器学習部１００は、画像特徴抽出部１０１を備えている。画像特徴抽出部１０１は、学習データ記憶部２０から複数の学習データの内の各画像データを読み出し、各学習画像の画像特徴を抽出するための画像特徴抽出フィルタ１０２を用いて、読み出した各画像データについて各学習画像の画像特徴を抽出する。ラベル推定器学習部１００は、画像特徴抽出部１０１により抽出された各学習画像の画像特徴と、ラベル情報記憶部２０３から読み出したラベル情報とに基づいて、ラベルを推定するためのラベル推定関数を学習するラベル推定関数学習部１０３を備えている。
【００２７】
更に、ラベル推定関数学習装置１０は、ラベル推定器学習部１００により学習されたラベル推定関数を記憶するラベル推定関数記憶部１０４を備えている。
【００２８】
図２は、ラベル推定関数学習装置１０を構成するラベル情報学習部２００のブロック図である。図２に示すように、ラベル情報学習部２００は、学習データ記憶部２０から複数の学習データを読み出し、読み出した複数の学習データに基づいてラベル間共起性特徴を学習するラベル間共起性特徴学習部２０１を備えている。また、ラベル情報学習部２００は、学習データ記憶部２０から学習データを読み出し、読み出した複数の学習データに基づいてラベル別位置存在確率を学習するラベル別位置存在確率学習部２０２を備えている。
【００２９】
図２に示すように、ラベル情報記憶部２０３は、ラベル間共起性特徴学習部２０１により得られたラベル間共起性特徴を記憶するラベル間共起性特徴記憶領域２０５を備えている。また、ラベル情報記憶部２０３は、ラベル別位置存在確率学習部２０２により得られたラベル別位置存在確率を記憶するラベル別位置存在確率記憶領域２０６を備えている。
【００３０】
図３は、ラベル推定装置３０のブロック図である。図３に示すように、ラベル推定装置３０は、クエリ画像を入力するクエリ画像入力部３５と、入力されたクエリ画像の中の被写体の要素のラベルを推定するラベル推定装置３００とを備えている。
【００３１】
図３に示すように、ラベル推定装置３００は、図１に示す画像特徴抽出部１０１と同様の構成の画像特徴抽出部１０１を備えている。ラベル推定装置３００は、画像特徴抽出部１０１により抽出された画像特徴と、図１に示すラベル推定関数学習装置１０により得られたラベル推定関数とに基づいて、クエリ画像の中の被写体の要素のラベルを推定するラベル推定部３０１を備えている。
【００３２】
ラベル推定関数学習装置１０は、図示しないＣＰＵ、ＲＯＭ、メモリ、ディスプレイ、及び後述するラベル推定関数学習プログラムを記憶する記憶装置などを含んで構成されている。ＣＰＵが記憶装置に記憶されたラベル推定関数学習プログラムを実行することで、ＣＰＵは、上記各部（２００（２０１、２０２）、１００（１０１、１０３））として機能する。ラベル推定装置３００は、図示しないＣＰＵ、ＲＯＭ、メモリ、ディスプレイ、及び後述するラベル推定プログラムを記憶する記憶装置などを含んで構成されている。ＣＰＵが記憶装置に記憶されたラベル推定プログラムを実行することで、ＣＰＵは、上記各部（３００（１０１、３０１））として機能する。
【００３３】
次に、本実施の形態の作用を説明する。
図４は、ラベル推定関数学習装置１０が実行するラベル推定関数学習プログラムを示すフローチャートである。
【００３４】
図４に示すように、ステップ２０１Ｓで、ラベル間共起性特徴学習部２０１（図２参照）は、２つのラベルの要素の組み合わせ毎に、当該組み合わせの一方の要素が画像の中に出現する確率と他方の要素が画像の中に出現する確率との相関係数を、当該組み合わせの各要素が画像に同時に存在する度合いを表すラベル間共起性特徴として学習して、ラベル間共起性特徴をラベル間共起性特徴記憶領域２０５におけるデータテーブルに記憶する。なお、相関係数としては、例えば、ピアソン相関係数がある。ラベル間共起性特徴は、後述する式４におけるｃi,jに相当する。
【００３５】
図５は、複数のファッションアイテムを含む人物を被写体とした画像を示す図である。図６（Ａ）は、想定しているドメインの１つの画像に出現する可能性のある複数の要素のラベルを縦及び横に並べてマトリクス状に相関係数ｃi,jを配置して得られたデータテーブルを示す図である。図６（Ｂ）は、図６（Ａ）に示したデータテーブルにおける相関係数ｃi,jを、１の場合には白、−１の場合には黒、１に近くなるに従って白に近く、−１に近くなるに従って黒に近くなるように、グレースケールで表現した図である。
【００３６】
ラベル間共起性特徴の学習処理（ステップ２０１Ｓ）を更に説明する。ラベル間共起性特徴学習部２０１（図２参照）は、学習データ記憶部２０から複数の学習データを読み出し、読み出した複数の学習データに基づいてラベル間共起性特徴を学習する。具体的には、ラベル間共起性特徴学習部２０１は、複数の学習データに基づいて、想定しているドメインの画像に出現する可能性のある複数の要素の各ラベルの出現確率を計算する。ラベル間共起性特徴学習部２０１は、各ラベルと、他の全てのラベルの各々との出現確率のピアソン相関係数を、ラベル間共起性特徴として計算する。ラベル間共起性特徴記憶領域２０５には、図６（Ａ）に示すように、想定しているドメインの画像に出現する可能性のある複数の要素のラベルを縦及び横に並べてマトリクス状に配置したデータテーブルが設けられている。ラベル間共起性特徴学習部２０１は、ラベル間共起性特徴（ｃi,jの値）を、データテーブルの対応する位置に記憶して、データテーブルを完成する。なお、想定しているドメインは、例えば、図５に示すように、複数の要素としての複数のファッションアイテムを含む人物などである。ラベル間共起性特徴（ｃi,jの値）は、２つのラベルの間に完全な正の相関がある場合の１から負の相関の−１の間の値をとる。図５に示すように複数のファッションアイテムを含む人物を被写体とした画像においては、シャツ、トップス、ドレスといったラベルは、いずれも上半身の領域をカバーしてつけられるラベルであるため、同一の被写体の画像につけられることはほとんどない。同様に、ドレス、パンツ、スカート、ショートパンツなども同一の被写体の画像につけられることはほとんどない。こうした場合に、これらのラベル間の相関係数は−１に近い値となる。例えば、図６（Ａ）に示す縦の列の上から３番目の「shirt」のラベルと、横の行の左から４番目の「top」のラベルとのラベル間共起性特徴は、−０．２５となっている。
【００３７】
図４のステップ２０２Ｓで、ラベル別位置存在確率学習部２０２はラベル別位置存在確率を学習する。具体的には、ラベル別位置存在確率学習部２０２は、学習データ記憶部２０から、同じラベルが対応付けられている複数の学習画像の画像データを読み出す。ラベル別位置存在確率学習部２０２は、複数の学習画像の全てについて画素毎に、要素に該当することを示す画素データの個数をカウントする。各画素のカウント値を、全ての学習画像の個数で割る。以上を全てのラベルについて同様に行う。これにより、ラベル別のラベルに対応する要素の画素位置の存在確率がラベル別位置存在確率として計算される。
【００３８】
ラベル別位置存在確率学習部２０２は、ラベル別位置存在確率に基づいて、ラベル別の要素の平均画像を作成する。例えば、ある画素位置でのシャツの要素の個数が９０個で、全ての学習画像の個数が１００個とすると、当該画素位置でのラベル別位置存在確率は、０．９となる。また、別のある画素位置でのシャツの要素の個数が１０個の場合には、当該別の画素位置でのラベル別位置存在確率は、０．１となる。ラベル別位置存在確率が１の場合に白、０の場合に黒、１に近くなるに従って白に近く、０に近くなるに従って黒に近くなるように、各要素の平均画像を作成する。図７（Ａ）は、要素の平均画像を、画素位置を無視して所定の順番に並べた図である。図７（Ａ）に示すように、各要素の平均画像は、各要素の形状をぼかした画像となる。
【００３９】
図７（Ｂ）は、要素の平均画像を囲む矩形（バウンディングボックス）を画素位置に対応して配置した図である。ラベル別位置存在確率学習部２０２は、上記平均画像を囲む矩形（バウンディングボックス）を作成し、各要素のバウンディングボックスを画素位置に対応して配置する。図７（Ｂ）に示すように、各要素のバウンディングボックスが、当該要素の位置に応じた位置に配置される。例えば、画像に人物の全身が収まるように撮影されているファッション系ＳＮＳのファッション画像を複数の学習画像とする場合、帽子、靴、上半身の服装、下半身の服装など、要素ごとに画像内で偏った位置に配置される。
【００４０】
なお、図４のステップ２０１Ｓとステップ２０２Ｓの処理の順番は、この順番に限らず、ステップ２０２Ｓの処理の後にステップ２０１Ｓの処理を実行したり、両者を同時に実行したりしてもよい。
【００４１】
図４のステップ１０１Ｓで、画像特徴抽出部１０１は、画像特徴を抽出する。具体的には、画像特徴抽出部１０１は、学習データ記憶部２０から各学習データの内の各画像データを読み出す。画像特徴抽出部１０１は、各学習画像の画像特徴を抽出するための画像特徴抽出フィルタ１０２を用いて、読み出した各画像データに基づいて、各学習画像の複数の画像特徴を抽出する。各画像特徴ｘを変数ｉ（ｉ＝１、２、・・・）で識別する。画像特徴群を、Ｘ＝{ｘi}とする。なお、後述するｊ（ｊ＝１、２、・・・）も画像特徴ｘを識別する変数である。
【００４２】
画像特徴抽出フィルタ１０２は、次の画像特徴を抽出する。色特徴、例えば、ＲＧＢ、Ｌａｂ、ＨＳＶ等のカラーヒストグラムである。また、局所特徴、例えば、エッジや輝度勾配を反映するような特徴量、例えば、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）等である。また、ＣＮＮ（Convolutional Neural Network）のフィルタを用いることができる。図９には、画像特徴抽出フィルタ１０２としてＣＮＮのフィルタを用いる場合のラベル推定器学習部１００のブロック図が示されている。図９に示すように、ラベル推定器学習部１００には、複数のラベルに対応する複数の要素を表す複数の画像から、複数のラベルに対応する複数の画像特徴を抽出するためのＣＮＮのフィルタを学習する画像特徴学習部１０５が設けられる。画像特徴抽出部１０１は、画像特徴抽出フィルタ１０２を用いて、学習画像から複数の画像特徴を抽出する。
【００４３】
図４のステップ１０３Ｓで、ラベル推定関数学習部１０３は、画像特徴抽出部１０１により抽出された学習画像の画像特徴と、ラベル情報記憶部２０３から読み出したラベル情報とに基づいて、ラベルを推定するラベル推定関数を学習する。ラベル推定関数学習部１０３は、ラベル推定関数をラベル推定関数記憶部１０４に記憶する。以下、詳細に説明する。
【００４４】
画像特徴群Ｘ＝{ｘi}の画像特徴ｘiに対応するラベルｙiのラベル群ＹをＹ＝{ｙi}とする。なお、ｙiは、ｙi＝{０，１}とする。ラベルｙi が画像特徴ｘiに対応する場合には、ｙi＝１、ラベルｙi が画像特徴ｘiに対応しない場合には、ｙi＝０である。なお、画像特徴ｘjに対応するラベルをｙjとする。
【００４５】
ラベル推定関数学習部１０３は、画像特徴群Ｘからラベル群Ｙの発生確率Ｉｎ（Ｐ（Ｙ｜Ｘ））を推定するラベル推定関数（式１）を学習する。例えば、ラベル推定関数（式１）は、画像特徴群Ｘ＝（ｘ１、ｘ２、ｘ５、ｘ６）からラベル群Ｙ＝（ｙ１、ｙ２、ｙ５、ｙ６）の発生確率Ｉｎ（Ｐ（Ｙ｜Ｘ））を推定する関数である。ラベル推定関数（式（１））を学習する１つの方法として、Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄ(ＣＲＦ)を用いた確率表現の方法を用いることができる。式（１）は、最大周辺化事後確率推定（ＭＡＰ推定）により、ラベル群Ｙの発生確率Ｉｎ（Ｐ（Ｙ｜Ｘ））が求められることを表す。ラベル群Ｙの発生確率Ｉｎ（Ｐ（Ｙ｜Ｘ））は、画像特徴ｘiに依存する要素のラベルｙiのラベル別位置存在確率φ（ｘi，ｙi）と、２つのラベルｙi、ｙjが１つの画像に共に出現する確率（ラベル間共起性確率）ψ（ｙi、ｙj）とに基づいて求められる。
【００４６】
（数１）
Ｉｎ（Ｐ（Ｙ｜Ｘ））＝Σwiφ（ｘi，ｙi）＋Σwi,j∈Ｖψ（ｙi，ｙj）−ＩｎＺ    （１）
Ｘ＝{ｘi}
ｙi＝{０，１}
【００４７】
ここで、ｉは１つの要素を示し、Ｖは、要素の集合を示し、wi、wi,jは、モデルパラメータであり、ＩｎＺは、正規化項である。
【００４８】
式（１）におけるラベル別位置存在確率φ（ｘi，ｙi）は、次式（２）に示すように、画像特徴群Ｘ＝{ｘi}からｙi＝{０，１}を求める関数で表され、式３に示すように、ロジスティック回帰により、ａ、ｂを係数とするｘの多項式を入力とするシグモイド関数σの出力を用いて計算される。
【００４９】
（数２）
φ（ｘi，ｙi）＝Ｉｎｐ（ｙi｜ｘi）    （２）
【００５０】
（数３）
ｐ（ｙi＝１｜ｘi）＝σ（ａiTｘi＋ｂi）    （３）
【００５１】
また、ψ（ｙi，ｙj）は次の通りである。
【００５２】
（数４）
ψ（ｙi，ｙj）＝Ｉｎ（１/２）（１＋ｃi,j）      if  ｙi=ｙj
ψ（ｙi，ｙj）＝Ｉｎ（１/２）（１−ｃi,j）      otherwise            （４） 
【００５３】
式１のφ（ｘi，ｙi）とψ（ｙi，ｙj）とを統合すると次式（５）が得られる。
【００５４】
（数５）
Ｉｎ（Ｐ（Ｙ｜Ｘ））＝wTΨ（Ｘ、Ｙ）−ＩｎＺ    （５）
【００５５】
ここで、画像特徴抽出部１０１が、学習データ記憶部２０から読み出したｋ個の学習データから画像特徴群Ｘｋを抽出したとする。
【００５６】
ラベル推定関数学習部１０３は、ｋ個の学習データから、各画像特徴群Ｘｋに対する正しいラベル群Ｙｋに対する確率を求める。
【００５７】
ラベル推定関数学習部１０３は、式（５）において、画像特徴群Ｘｋに対する正しいラベル群Ｙｋの確率がそれ以外のラベル群に対する確率よりも大きくなるようにモデルパラメータｗ（wi、wi,j）を、Ｓｔｒｕｃｔｕｒａｌ ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などを用いて学習する。本実施形態では、当該学習の際には次のデータを用いる。即ち、上記のように求めた画像特徴群Ｘｋに対応する正しいラベル群Ｙｋに対する確率（式（５）の左辺）を用いる。また、ラベル間共起性確率ψ（ｙi，ｙj）として、ラベル間共起性特徴記憶領域２０５から読み出したラベル間共起性特徴（ｃi,j）に基づいて数（４）より求めた値を用いる。更に、ラベル別位置存在確率記憶領域２０６から読み出したラベル別位置存在確率を、φ（ｘi，ｙi）として用いる。
【００５８】
ラベル推定関数学習部１０３は、以上の学習に基づいて生成された式（１）〜式（４）で示される推定モデルをラベル推定関数として、ラベル推定関数記憶部１０４に記憶する。
【００５９】
図８は、ラベル推定装置３０が実行するラベル推定プログラムを示すフローチャートである。
ステップ３５Ｓで、クエリ画像入力部３５は、クエリ画像を入力する。ステップ１０１Ｓで、画像特徴抽出部１０１は、対象をクエリ画像とすること以外は、図４のステップ１０１Ｓと同様に画像特徴を抽出する。
【００６０】
ステップ３０１Ｓで、ラベル推定部３０１は、ステップ１０１Ｓで得られたクエリ画像の画像特徴と、ラベル推定関数学習装置１０により得られたラベル推定関数とに基づいて、クエリ画像の中の被写体の要素のラベルを推定する。具体的には、ラベル推定部３０１は、クエリ画像の画像特徴とラベル推定関数学習装置１０により得られたラベル推定関数とに基づいて、式（６）に示すように、最も高い確率のラベル群Ｙ*を、ディスプレイに表示する。
【００６１】
（数６）
Ｙ*∈ａｒｇYｍａxＰ（Ｙ｜Ｘ）        （６）
【００６２】
以上説明したように本実施の形態のラベル推定関数学習装置１０は、ラベル群Ｙの発生確率Ｉｎ（Ｐ（Ｙ｜Ｘ））を求めるラベル推定関数を求める。ラベル推定関数は、複数の学習画像から抽出した画像特徴ｘiに依存する要素のラベルｙiのラベル別位置存在確率φ（ｘi，ｙi）と、２つのラベルｙi、ｙjが１つの画像に共に出現する確率（ラベル間共起性確率）ψ（ｙi、ｙj）とを用いて求めている。よって、画像特徴のみによる場合と比較してラベルの推定精度を向上させたラベル推定関数を求めることができる。
【００６３】
また、ラベル推定装置３０は、ラベル推定関数学習装置１０により求められたラベル推定関数を用いてクエリ画像の要素のラベルを推定する。よって、画像特徴のみによる場合と比較してラベルの推定精度を向上させることができる。
【００６４】
上記のように本実施形態では、ラベル推定関数を求める。よって、複数の学習画像から抽出された画像特徴以外の画像特徴がクエリ画像から抽出されても、ラベル推定関数を用いてクエリ画像の要素のラベルを推定することができる。
【００６５】
［変形例］
【００６６】
ラベル別位置存在確率学習部２０２により生成された、ラベル別位置存在確率のバウンディングボックスは、ラベル毎の特徴量領域の絞り込みによる画像特徴の学習の効率的化およびラベル推定関数への組み込みによる高精度化に利用できる。例えば、バウンディングボックス内の画像領域をＣＮＮの入力とし、その中間層の出力を特徴量して、特徴抽出の精度を高めることができる。
【００６７】
また、要素どうしの空間的な配置関係を含めたラベル別位置存在確率を学習し、空間的な情報をもつ共起性特徴としてラベル推定関数に反映させることもできる。例えば、画像特徴ｘiに位置座標を含めたり、ｃi,jをｉとｊの位置座標の関数としたり、ψ（ｙi，ｙj）の定義においてｉとｊの位置関係を含めた条件分岐を行う、などの方法がある。
【００６８】
前述した実施の形態によれば、想定しているドメインは、例えば、図５のように、複数の要素としての複数のファッションアイテムを含む人物であるが、これに限定されない。例えば、他の画像を対象として、料理の素材の推定に適用することができる。具体的には、ラベル間共起性特徴学習部では、例えば、皿の種類や素材の種類のラベルつき学習画像を学習する。これにより、スイーツと野菜は共起性が低い、揚げ物と野菜は共起性が高いといった一緒に用いられやすい素材の相互関係が学習される。また、皿が中央付近にあり、料理素材が更にその中央付近にあるなど、ラベル別位置存在確率も意味のあるデータになりやすいため、これをラベル推定関数に反映させラベル推定を行うことで、より高精度な素材ラベル認識が可能になる。
【００６９】
なお、ラベル推定関数学習装置１０及びラベル推定装置３０のラベル推定関数学習プログラム及びラベル推定プログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたラベル推定関数学習プログラム及びラベル推定プログラムをコンピュータシステムに読み込ませ、実行することにより、ラベル推定関数学習装置１０及びラベル推定装置３０に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００７０】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００７１】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００７２】
１０    ラベル推定関数学習装置
２０    学習データ記憶部
３０    ラベル推定装置
３５    クエリ画像入力部
１００  ラベル推定器学習部
１０１  画像特徴抽出部
１０２  画像特徴抽出フィルタ
１０３  ラベル推定関数学習部
１０４  ラベル推定関数記憶部
１０５  画像特徴学習部
２００  ラベル情報学習部
２０１  ラベル間共起性特徴学習部
２０２  ラベル別位置存在確率学習部
２０３  ラベル情報記憶部
２０５  ラベル間共起性特徴記憶領域
２０６  ラベル別位置存在確率記憶領域
３００  ラベル推定器
３０１  ラベル推定部
【図１】
2017027227.tif 000003
【図２】
2017027227.tif 000004
【図３】
2017027227.tif 000005
【図４】
2017027227.tif 000006
【図８】
2017027227.tif 000007
【図９】
2017027227.tif 000008
【図５】
2017027227.tif 000009
【図６】
2017027227.tif 000010
【図７】
2017027227.tif 000011