(57)【要約】      （修正有）【課題】認識が容易なタグを特定する。【解決手段】画像特徴生成部２４０が、画像から得られる複数の画像特徴の各々に対し、ポジティブセットの画像の画像特徴の分布を表すヒストグラムと、ネガティブセットの画像の画像特徴の分布を表すヒストグラムとを生成する。画像特徴分布比較部２４２が、複数の画像特徴の各々についての、ポジティブセットのヒストグラムとネガティブセットのヒストグラムとの間の距離を計算する。特徴記述子選択部２４４が、計算された距離について上位Ｎ個の画像特徴を画像特徴記述子として選択する。学習部２４６が、識別器を学習する。信頼度算出部２４８が、画像特徴記述子を識別器に入力して、高信頼データを取得する。認識容易性評価用識別学習部が、高信頼データに基づいて、識別器を更新し認識容易性評価用識別器として得る。正解率算出部が、認識容易性評価用識別器に基づいて、タグの認識容易性指標を算出する。【選択図】図２
2018013886.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる特定の物体を表すタグが付与された画像の集合であるポジティブセット及び前記タグが付与されていない画像の集合であるネガティブセットに基づいて、前記画像から得られる複数の画像特徴の各々に対し、前記ポジティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムと、前記ネガティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムとを生成する画像特徴生成部と、
前記画像特徴生成部によって生成された、複数の前記画像特徴の各々についての、前記ポジティブセットの前記ヒストグラムと前記ネガティブセットの前記ヒストグラムとの間の距離を計算する画像特徴分布比較部と、
前記画像特徴分布比較部によって計算された前記距離について上位Ｎ個の前記画像特徴を画像特徴記述子として選択する特徴記述子選択部と、
前記ポジティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子、及び前記ネガティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子に基づいて、前記画像特徴記述子から前記画像に前記特定の物体が含まれているか否かを識別するための識別器を学習する学習部と、
前記ポジティブセットに含まれる画像から得られる前記画像特徴記述子と、前記ネガティブセットに含まれる画像から得られた前記画像特徴記述子と、前記学習部によって得られた前記識別器とに基づいて、
前記ポジティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ポジティブセットの画像に対して前記特定の物体が含まれている度合いを表す第１の信頼度が、予め定められた第１の値以上である前記ポジティブセットの画像を高信頼データとして取得し、
前記ネガティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ネガティブセットの画像に対して前記特定の物体が含まれていない度合いを表す第２の信頼度が、予め定められた第２の値以上である前記ネガティブセットの画像を前記高信頼データとして取得する信頼度算出部と、
前記信頼度算出部によって得られた前記高信頼データに含まれる画像から得られる複数の前記画像特徴に基づいて、前記学習部によって得られた前記識別器を更新し認識容易性評価用識別器として得る認識容易性評価用識別学習部と、
前記ポジティブセットの各画像と、前記ネガティブセットの各画像と、前記認識容易性評価用識別学習部によって得られた前記認識容易性評価用識別器とに基づいて、前記ポジティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていると識別される割合を表す第１の正解率と、前記ネガティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出し、前記第１の正解率と前記第２の正解率との比を、前記タグの認識容易性指標として算出する正解率算出部と、
を含む認識容易性指標算出装置。
【請求項２】
前記画像特徴生成部は、前記ポジティブセット及び前記ネガティブセットと、予め学習されたニューラルネットワークとに基づいて、前記ポジティブセットに含まれる画像の各々及び前記ネガティブセットに含まれる画像の各々を前記ニューラルネットワークへ入力し、前記画像から得られる複数の画像特徴の各々としての前記ニューラルネットワークの各ユニットの出力に対し、前記ポジティブセットに含まれる画像の各々についての前記ユニットの出力の分布を表すヒストグラムと、前記ネガティブセットに含まれる画像の各々についての前記ユニットの出力の分布を表すヒストグラムとを生成し、
前記特徴記述子選択部は、前記画像特徴分布比較部によって計算された前記距離について上位Ｎ個の前記ユニットの出力を画像特徴記述子として選択する
請求項１に記載の認識容易性指標算出装置。
【請求項３】
前記ニューラルネットワークにはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いる
請求項２に記載の認識容易性指標算出装置。
【請求項４】
画像特徴生成部が、画像に含まれる特定の物体を表すタグが付与された画像の集合であるポジティブセット及び前記タグが付与されていない画像の集合であるネガティブセットに基づいて、前記画像から得られる複数の画像特徴の各々に対し、前記ポジティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムと、前記ネガティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムとを生成するステップと、
画像特徴分布比較部が、前記画像特徴生成部によって生成された、複数の前記画像特徴の各々についての、前記ポジティブセットの前記ヒストグラムと前記ネガティブセットの前記ヒストグラムとの間の距離を計算するステップと、
特徴記述子選択部が、前記画像特徴分布比較部によって計算された前記距離について上位Ｎ個の前記画像特徴を画像特徴記述子として選択するステップと、
学習部が、前記ポジティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子、及び前記ネガティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子に基づいて、前記画像特徴記述子から前記画像に前記特定の物体が含まれているか否かを識別するための識別器を学習するステップと、
信頼度算出部が、前記ポジティブセットに含まれる画像から得られる前記画像特徴記述子と、前記ネガティブセットに含まれる画像から得られた前記画像特徴記述子と、前記学習部によって得られた前記識別器とに基づいて、
前記ポジティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ポジティブセットの画像に対して前記特定の物体が含まれている度合いを表す第１の信頼度が、予め定められた第１の値以上である前記ポジティブセットの画像を高信頼データとして取得し、
前記ネガティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ネガティブセットの画像に対して前記特定の物体が含まれていない度合いを表す第２の信頼度が、予め定められた第２の値以上である前記ネガティブセットの画像を前記高信頼データとして取得するステップと、
認識容易性評価用識別学習部が、前記信頼度算出部によって得られた前記高信頼データに含まれる画像から得られる複数の前記画像特徴に基づいて、前記学習部によって得られた前記識別器を更新し認識容易性評価用識別器として得るステップと、
正解率算出部が、前記ポジティブセットの各画像と、前記ネガティブセットの各画像と、前記認識容易性評価用識別学習部によって得られた前記認識容易性評価用識別器とに基づいて、前記ポジティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていると識別される割合を表す第１の正解率と、前記ネガティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出し、前記第１の正解率と前記第２の正解率との比を、前記タグの認識容易性指標として算出するステップと、
を含む認識容易性指標算出方法。
【請求項５】
コンピュータを、請求項１〜請求項３の何れか１項に記載の認識容易性指標算出装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認識容易性指標算出装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
信頼度の低いタグが付与された大量の画像データの例として、ソーシャルネットワークサービス（ＳＮＳ）に各ユーザがタグ付きで投稿する画像データ等がある。サービスユーザが自由に付与したタグは非常に多様であり、そうしたタグ付きの画像はコンピュータによる画像認識のための教師データとして有用でありながら、どのようなタグが真に有用かを整理することが課題となる。
【０００３】
例えば、非特許文献１の従来技術では、ウェブから収集したタグ付きの画像データセットから、画像特徴が高い相関をもつ画像のタグ同士は意味的に近いとみなし、それらのタグをもつ画像群を利用してタグ識別器を更新する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Chen, X., Shrivastava, A., Gupta, A., "Neil: Extracting visual knowledge from web data.", In: ICCV. (Dec 2013) p.1409-1416
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の非特許文献１の技術では、タグの有無と画像特徴の近さとに着目し、それによって信頼度の低いタグが付けられた大量の画像データの認識を容易にしているが、タグの視覚的な認識容易性の指標を抽出していないため、画像に付与されたタグが有用であるか否かを判別することができず、認識が容易なタグを特定することができない。
【０００６】
本発明は、上記問題点を解決するために成されたものであり、認識が容易なタグを特定することができる認識容易性指標算出装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る認識容易性指標算出装置は、画像に含まれる特定の物体を表すタグが付与された画像の集合であるポジティブセット及び前記タグが付与されていない画像の集合であるネガティブセットに基づいて、前記画像から得られる複数の画像特徴の各々に対し、前記ポジティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムと、前記ネガティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムとを生成する画像特徴生成部と、前記画像特徴生成部によって生成された、複数の前記画像特徴の各々についての、前記ポジティブセットの前記ヒストグラムと前記ネガティブセットの前記ヒストグラムとの間の距離を計算する画像特徴分布比較部と、前記画像特徴分布比較部によって計算された前記距離について上位Ｎ個の前記画像特徴を画像特徴記述子として選択する特徴記述子選択部と、前記ポジティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子、及び前記ネガティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子に基づいて、前記画像特徴記述子から前記画像に前記特定の物体が含まれているか否かを識別するための識別器を学習する学習部と、前記ポジティブセットに含まれる画像から得られる前記画像特徴記述子と、前記ネガティブセットに含まれる画像から得られた前記画像特徴記述子と、前記学習部によって得られた前記識別器とに基づいて、前記ポジティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ポジティブセットの画像に対して前記特定の物体が含まれている度合いを表す第１の信頼度が、予め定められた第１の値以上である前記ポジティブセットの画像を高信頼データとして取得し、前記ネガティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ネガティブセットの画像に対して前記特定の物体が含まれていない度合いを表す第２の信頼度が、予め定められた第２の値以上である前記ネガティブセットの画像を前記高信頼データとして取得する信頼度算出部と、前記信頼度算出部によって得られた前記高信頼データに含まれる画像から得られる複数の前記画像特徴に基づいて、前記学習部によって得られた前記識別器を更新し認識容易性評価用識別器として得る認識容易性評価用識別学習部と、前記ポジティブセットの各画像と、前記ネガティブセットの各画像と、前記認識容易性評価用識別学習部によって得られた前記認識容易性評価用識別器とに基づいて、前記ポジティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていると識別される割合を表す第１の正解率と、前記ネガティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出し、前記第１の正解率と前記第２の正解率との比を、前記タグの認識容易性指標として算出する正解率算出部と、を含んで構成されている。
【０００８】
本発明に係る認識容易性指標算出方法は、画像特徴生成部が、画像に含まれる特定の物体を表すタグが付与された画像の集合であるポジティブセット及び前記タグが付与されていない画像の集合であるネガティブセットに基づいて、前記画像から得られる複数の画像特徴の各々に対し、前記ポジティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムと、前記ネガティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムとを生成するステップと、画像特徴分布比較部が、前記画像特徴生成部によって生成された、複数の前記画像特徴の各々についての、前記ポジティブセットの前記ヒストグラムと前記ネガティブセットの前記ヒストグラムとの間の距離を計算するステップと、特徴記述子選択部が、前記画像特徴分布比較部によって計算された前記距離について上位Ｎ個の前記画像特徴を画像特徴記述子として選択するステップと、学習部が、前記ポジティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子、及び前記ネガティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子に基づいて、前記画像特徴記述子から前記画像に前記特定の物体が含まれているか否かを識別するための識別器を学習するステップと、信頼度算出部が、前記ポジティブセットに含まれる画像から得られる前記画像特徴記述子と、前記ネガティブセットに含まれる画像から得られた前記画像特徴記述子と、前記学習部によって得られた前記識別器とに基づいて、前記ポジティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ポジティブセットの画像に対して前記特定の物体が含まれている度合いを表す第１の信頼度が、予め定められた第１の値以上である前記ポジティブセットの画像を高信頼データとして取得し、前記ネガティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ネガティブセットの画像に対して前記特定の物体が含まれていない度合いを表す第２の信頼度が、予め定められた第２の値以上である前記ネガティブセットの画像を前記高信頼データとして取得するステップと、認識容易性評価用識別学習部が、前記信頼度算出部によって得られた前記高信頼データに含まれる画像から得られる複数の前記画像特徴に基づいて、前記学習部によって得られた前記識別器を更新し認識容易性評価用識別器として得るステップと、正解率算出部が、前記ポジティブセットの各画像と、前記ネガティブセットの各画像と、前記認識容易性評価用識別学習部によって得られた前記認識容易性評価用識別器とに基づいて、前記ポジティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていると識別される割合を表す第１の正解率と、前記ネガティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出し、前記第１の正解率と前記第２の正解率との比を、前記タグの認識容易性指標として算出するステップと、を含んで実行することを特徴とする。
【０００９】
また、本発明の前記画像特徴生成部は、前記ポジティブセット及び前記ネガティブセットと、予め学習されたニューラルネットワークとに基づいて、前記ポジティブセットに含まれる画像の各々及び前記ネガティブセットに含まれる画像の各々を前記ニューラルネットワークへ入力し、前記画像から得られる複数の画像特徴の各々としての前記ニューラルネットワークの各ユニットの出力に対し、前記ポジティブセットに含まれる画像の各々についての前記ユニットの出力の分布を表すヒストグラムと、前記ネガティブセットに含まれる画像の各々についての前記ユニットの出力の分布を表すヒストグラムとを生成し、前記特徴記述子選択部は、前記画像特徴分布比較部によって計算された前記距離について上位Ｎ個の前記ユニットの出力を画像特徴記述子として選択するようにしてもよい。
【００１０】
また、前記ニューラルネットワークにはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いるようにしてもよい。
【００１１】
本発明に係るプログラムは、コンピュータを、上記の認識容易性指標算出装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１２】
本発明の映像パターン学習装置、方法、及びプログラムによれば、画像から得られる複数の画像特徴の各々に対し、ポジティブセットに含まれる画像の各々についての画像特徴の分布を表すヒストグラムと、ネガティブセットに含まれる画像の各々についての画像特徴の分布を表すヒストグラムとの間の距離を計算し、計算された距離について上位Ｎ個の画像特徴を画像特徴記述子として選択し、ポジティブセットに含まれる画像から得られる画像特徴記述子、及びネガティブセットに含まれる画像から得られる画像特徴記述子に基づいて、画像に対しタグが表す特定の物体が含まれているか否かを識別するための識別器を学習し、識別器の出力に応じて高信頼データとして取得し、高信頼データに含まれる画像から得られる複数の画像特徴に基づいて、識別器を更新し認識容易性評価用識別器として取得し、ポジティブセットの各画像を認識容易性評価用識別器に入力した場合に、画像に対してタグが表す特定の物体が含まれていると識別される割合を表す第１の正解率と、ネガティブセットの各画像を認識容易性評価用識別器に入力した場合に、画像に対してタグが表す特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出し、第１の正解率と第２の正解率との比を、タグの認識容易性指標として算出することにより、認識が容易なタグを特定することができる、という効果が得られる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る認識容易性指標算出装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る認識容易性指標算出装置の高信頼データ生成部の一構成例を示す図である。
【図３】本発明の実施の形態に係る認識容易性指標算出装置の認識容易性指標算出部の一構成例を示す図である。
【図４】本発明の実施の形態に係る認識容易性指標算出装置における認識容易性指標算出処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１５】
＜本発明の実施の形態に係る概要＞
【００１６】
本発明の実施の形態では、信頼度の低いタグが付与された大量の画像データから、視覚的に認識が容易なタグを選択する技術に関する。具体的には、信頼度の低いタグが付与された大量の画像データに対し、画像データから得られる画像特徴とタグとの関係性に基づいて、視覚的に認識が容易なタグを選択する。
【００１７】
本発明の実施の形態では、タグの有無による画像特徴の分布の変化を用いてタグの認識容易性を評価する。具体的には、何らかの局所的な画像特徴記述子を画像集合に適用し、あるタグが付与された画像集合から得られる画像特徴の分布と、タグが付与されていない画像集合から得られる画像特徴の分布との間の距離を算出し、最も距離が離れているものから認識容易なタグであるとして選出する。
【００１８】
このとき、画像特徴記述子を複数用意することで、分布間の距離の大きいタグと同時に分布間の距離の大きな画像特徴記述子を得ることができる。これは、視覚的な認識において有用な画像特徴記述子であると見ることができる。
【００１９】
＜本発明の実施の形態に係る認識容易性指標算出装置の構成＞
【００２０】
次に、本発明の実施の形態に係る認識容易性指標算出装置の構成について説明する。図１に示すように、本発明の実施の形態に係る認識容易性指標算出装置１００は、ＣＰＵと、ＲＡＭと、後述する認識容易性指標算出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この認識容易性指標算出装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部４０とを備えている。
【００２１】
入力部１０は、低信頼タグ付き画像集合Ｄを受け付ける。タグは、画像に特定の物体が含まれていることを表す。低信頼タグ付き画像集合Ｄには、タグｕ毎に、タグｕが付与された画像の集合であるポジティブセットＤｕ＋と、タグｕが付与されていない画像の集合であるネガティブセットＤｕ−とが含まれている。
【００２２】
本実施の形態では、低信頼タグ付き画像集合Ｄとして、ＳＮＳに投稿されたファッションコーディネート画像と関連するタグとのセットを想定する。本実施の形態で想定するファッションコーディネート画像とタグのセットとを含む画像集合のような低信頼タグ付き画像集合Ｄでは、信頼度の低いタグ付けがなされている。例えば、ポジティブセットＤｕ＋には、実際にはタグｕが含まれていない画像が存在する場合や、ネガティブセットＤｕ−には、実際にはタグｕが含まれる画像が存在する場合があり得る。
【００２３】
演算部２０は、画像集合データベース２２と、高信頼データ生成部２４と、認識容易性指標算出部２６とを備えている。
【００２４】
画像集合データベース２２は、入力部１０によって受け付けた、各タグｕのポジティブセットＤｕ＋とネガティブセットＤｕ−とを含む低信頼タグ付き画像集合Ｄが格納される。
【００２５】
高信頼データ生成部２４は、画像集合データベース２２に格納された、ポジティブセットＤｕ＋とネガティブセットＤｕ−とを入力として高信頼データを生成する。そして、高信頼データ生成部２４は、ポジティブセットＤｕ＋とネガティブセットＤｕ−とから、高信頼データとしてポジティブセットＤｕC＋とネガティブセットＤｕC−とを抽出する。高信頼データ生成部２４は、図２に示すように、画像特徴生成部２４０と、画像特徴分布比較部２４２と、特徴記述子選択部２４４と、学習部２４６と、信頼度算出部２４８とを備えている。
【００２６】
画像特徴生成部２４０は、タグｕ毎に、画像集合データベース２２に格納されているポジティブセットＤｕ＋及びネガティブセットＤｕ−と、予め学習されたニューラルネットワークとに基づいて、ポジティブセットＤｕ＋及びネガティブセットＤｕ−に含まれる全ての画像に対し、画像特徴を生成する。
【００２７】
具体的には、まず、画像特徴生成部２４０は、画像集合データベース２２に格納されたポジティブセットＤｕ＋に含まれる画像の各々及びネガティブセットＤｕ−に含まれる画像の各々を、予め学習されたニューラルネットワークへ入力する。
【００２８】
本実施の形態では、画像から得られる各画像特徴として、予め学習されたニューラルネットワークの各ユニットの出力を用いる場合を例に説明する。また、予め学習されたニューラルネットワークとして、Convolutional Neural Network（ＣＮＮ）を用いる場合を例に説明する。ＣＮＮは局所的な画像特徴記述子としてみなすことができる。ＣＮＮは内部に多数のフィルタを保持しており、それぞれのフィルタの出力を異なる特徴記述子として用いることができる。なお、本実施の形態では、ＣＮＮのフィルタは物体認識のための画像データセットなどを用いて事前に学習されたものを用いる。以下では、ＣＮＮの各層において用いられるフィルタをユニットと呼ぶ。
【００２９】
次に、画像特徴生成部２４０は、画像から得られる各画像特徴としてのニューラルネットワークの各ユニットｉの出力に対し、ポジティブセットＤｕ＋に含まれる画像の各々についての当該ユニットｉの出力の分布を表すヒストグラムＰｉ＋と、ネガティブセットＤｕ−に含まれる画像の各々についての当該ユニットｉの出力の分布を表すヒストグラムＰｉ−とを生成する。
【００３０】
画像特徴分布比較部２４２は、タグｕ毎に、複数のユニットｉの各々について、画像特徴生成部２４０によって生成されたポジティブセットＤｕ＋のヒストグラムＰｉ＋とネガティブセットＤｕ−のヒストグラムＰｉ−との間の距離を計算する。
【００３１】
本実施の形態では、ヒストグラムＰｉ＋とヒストグラムＰｉ−と間の距離として、カルバック・ライブラー距離（以下、ＫＬ距離と称する）を用いる場合を例に説明する。
【００３２】
画像集合データベース２２に格納された低信頼タグ付き画像集合Ｄから得られる、タグｕに対する、ポジティブセットＤｕ＋とネガティブセットＤｕ−との間のＫＬ距離Ｓｉ（ｕ│Ｄ）は、ヒストグラムの各ｂｉｎをｘとして以下の式（１）に示すように求められる。なお、ｘは各ユニットから出力される値を表す。
【００３３】
【数１】
2018013886.tif 000003
【００３４】
例えば、ｕが視覚的に認識容易でないタグである場合、ポジティブセットＤｕ＋の画像特徴の分布はランダムに近くなり、ポジティブセットＤｕ＋の画像特徴の分布とネガティブセットＤｕ−の画像特徴の分布との差は小さくなる。一方、ｕが視覚的に認識容易なタグである場合、ポジティブセットＤｕ＋の画像特徴の分布とネガティブセットＤｕ−の画像特徴の分布との差が大きくなる。
【００３５】
そのため、例えば「赤」「白」といった色の名前のタグや、「ボーダー」「花柄」といったテクスチャのタグの場合、ＫＬ距離Ｓｉ（ｕ│Ｄ）の値は大きくなる。
【００３６】
そして、画像特徴分布比較部２４２は、複数のユニットの各々についての、ＫＬ距離Ｓｉ（ｕ│Ｄ）を出力する。
【００３７】
特徴記述子選択部２４４は、タグｕ毎に、画像特徴分布比較部２４２によって計算された距離について上位Ｎ個のユニットの出力を画像特徴記述子として選択する。
【００３８】
具体的には、特徴記述子選択部２４４は、画像特徴分布比較部２４２によって計算されたＫＬ距離Ｓｉ（ｕ│Ｄ）を入力として、ＫＬ距離Ｓｉ（ｕ│Ｄ）の値が大きい方からＮ個のユニットの出力を画像特徴記述子として選択し、選択されたＫＬ距離Ｓｉ（ｕ│Ｄ）の上位Ｎ個の集合をθｕとする。
【００３９】
学習部２４６は、タグｕ毎に、ポジティブセットＤｕ＋に含まれる画像から得られる、特徴記述子選択部２４４によって選択された画像特徴記述子、及びネガティブセットＤｕ−に含まれる画像から得られる、特徴記述子選択部２４４によって選択された画像特徴記述子に基づいて、画像特徴記述子から、画像に、タグｕが表す特定の物体が含まれているか否かを識別するための識別器ｆを学習する。
【００４０】
具体的には、学習部２４６は、特徴記述子選択部２４４で選択された各ユニットの出力ｙｉ（ｕ│Ｄ），ｉ∈θｕを画像特徴記述子として、ポジティブセットＤｕ＋とネガティブセットＤｕ−に対し、初期の２クラスの識別器ｆを生成する。２クラスの識別器ｆの生成には、例えばナイーブベイズ識別器、ロジスティック回帰、ＳＶＭ等を用いることができる。
【００４１】
信頼度算出部２４８は、タグｕ毎に、ポジティブセットＤｕ＋に含まれる画像から得られる画像特徴記述子と、ネガティブセットＤｕ−に含まれる画像から得られた画像特徴記述子と、学習部２４６によって得られた識別器ｆとに基づいて、高信頼データとしてポジティブセットＤｕC＋とネガティブセットＤｕC−とを取得する。
【００４２】
具体的には、信頼度算出部２４８は、ポジティブセットＤｕ＋及びネガティブセットＤｕ−に対し、学習部２４６によって得られた識別器ｆを用いた識別を実施し、識別器ｆの出力値を信頼度として算出する。
【００４３】
例えば、信頼度算出部２４８は、ポジティブセットＤｕ＋の画像から得られる画像特徴記述子を、学習部２４６によって得られた識別器ｆに入力し、ポジティブセットＤｕ＋の画像に対してタグｕが表す特定の物体が含まれている度合いを表す第１の信頼度を算出する。
【００４４】
また、信頼度算出部２４８は、ネガティブセットＤｕ−の画像から得られる画像特徴記述子を、学習部２４６によって得られた識別器ｆに入力し、ネガティブセットＤｕ−の画像に対してタグｕが表す特定の物体が含まれていない度合いを表す第２の信頼度を算出する。
【００４５】
そして、信頼度算出部２４８は、算出された信頼度の高さに応じて画像を順位づけし、ポジティブセットＤｕ＋とネガティブセットＤｕ−のうち信頼度が一定以上であるもののみを抽出したセットを、高信頼データのポジティブセットＤｕC＋とネガティブセットＤｕC−とする。
【００４６】
具体的には、信頼度算出部２４８は、第１の信頼度が予め定められた第１の値以上であるポジティブセットＤｕ＋の画像を高信頼データＤｕC＋として取得する。また、信頼度算出部２４８は、第２の信頼度が予め定められた第２の値以上であるネガティブセットＤｕ−の画像を高信頼データＤｕC−として取得する。
【００４７】
認識容易性指標算出部２６は、タグｕ毎に、高信頼データ生成部２４によって出力された高信頼データ（ＤｕC＋，ＤｕC−）に基づいて、当該タグｕについての認識容易性指標Ｖを算出する。認識容易性指標算出部２６は、図３に示すように、認識容易性評価用識別器学習部２６０と、正解率算出部２６２とを備えている。
【００４８】
認識容易性評価用識別器学習部２６０は、タグｕ毎に、信頼度算出部２４８によって得られた高信頼データ（ＤｕC＋，ＤｕC−）と、ＣＮＮとに基づいて、高信頼データ（ＤｕC＋，ＤｕC−）に含まれる画像から得られるＣＮＮの全てのユニットの出力に基づいて、学習部２４６によって得られた識別器ｆを更新し認識容易性評価用識別器ｆ￣として得る。
【００４９】
具体的には、認識容易性評価用識別器学習部２６０は、高信頼データのポジティブセットＤｕC＋とネガティブセットＤｕC−とを用いて、高信頼データ（ＤｕC＋，ＤｕC−）をＣＮＮに入力し、ＣＮＮの全てのユニットの出力ｙｉ（ｕ│Ｄ）を入力として識別器ｆを学習させて更新し、認識容易性評価用識別器ｆ￣とする。
【００５０】
正解率算出部２６２は、タグｕ毎に、認識容易性評価用識別器学習部２６０によって更新された識別器ｆ￣に、ＣＮＮの全てのユニットの出力ｙｉ（ｕ│Ｄ）を入力し、タグｕが表す特定の物体の有無を識別して、タグｕの認識容易性指標を算出する。
【００５１】
具体的には、正解率算出部２６２は、ポジティブセットＤｕ＋の各画像と、ネガティブセットＤｕ−の各画像と、認識容易性評価用識別器学習部２６０によって得られた認識容易性評価用識別器ｆ￣とに基づいて、ポジティブセットＤｕ＋の各画像を認識容易性評価用識別器ｆ￣に入力した場合に、画像に対してタグｕが表す特定の物体が含まれていると識別される割合を表す第１の正解率と、ネガティブセットＤｕ−の各画像を認識容易性評価用識別器ｆ￣に入力した場合に、画像に対してタグｕが表す特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出する。
【００５２】
そして、正解率算出部２６２は、第１の正解率と第２の正解率との比を、タグの認識容易性指標として算出する。
【００５３】
画像に付与された複数のタグのうちのあるタグの正解率のバランスは、そのタグと見た目の相関が強いかどうかを示すと考えられる。ポジティブセットＤｕ＋とネガティブセットＤｕ−との正解率が変わらなければ、タグｕは見た目との相関は弱く、正解率が大きく変わる場合は、タグｕと見た目の相関は強いと考えられる。
【００５４】
そこで、認識容易性評価用識別器ｆ￣を用いて、ポジティブセットＤｕ＋の正解率とネガティブセットＤｕ−の正解率との比として、視覚的な認識容易性指標Ｖ（ｕ，ｆ￣）を定義する。このとき、ポジティブセットＤｕ＋とネガティブセットＤｕ−との数の不均衡の影響を低減するため、それぞれの数が同じになるようにＤｕ＋，Ｄｕ−をリサンプリングしてもよい。
【００５５】
本実施の形態では、認識容易性指標Ｖ（ｕ，ｆ￣）を、認識容易性評価用識別器ｆ￣を用いたデータＤｕ＋，Ｄｕ−の正解率（accuracy）により以下の式（２）に示すように定義する。
【００５６】
【数２】
2018013886.tif 000004
【００５７】
出力部４０は、認識容易性評価用識別器学習部２６０によって得られた、各タグｕについての認識容易性指標Ｖ（ｕ，ｆ￣）を結果として出力する。
【００５８】
出力部４０により出力された認識容易性指標を用いて、認識容易性指標が高いタグを選択して画像認識器を学習させることで、ノイズが多い学習データセットをそのまま用いて画像認識器を学習するよりも、高精度な画像認識器を構築することが可能である。
【００５９】
＜本発明の実施の形態に係る認識容易性指標算出装置の作用＞
【００６０】
次に、本発明の実施の形態に係る認識容易性指標算出装置１００の作用について説明する。入力部１０において低信頼タグ付き画像集合Ｄを受け付けて画像集合データベース２２に格納すると、認識容易性指標算出装置１００は、タグｕ毎に、図４に示す認識容易性指標算出処理ルーチンを実行する。
【００６１】
まず、ステップＳ１００において、画像特徴生成部２４０は、画像集合データベース２２に格納された、ポジティブセットＤｕ＋とネガティブセットＤｕ−とを取得する。
【００６２】
次に、ステップＳ１０２において、画像特徴生成部２４０は、上記ステップＳ１００で取得したポジティブセットＤｕ＋に含まれる画像の各々及びネガティブセットＤｕ−に含まれる画像の各々を、ＣＮＮへ入力する。そして、画像特徴生成部２４０は、ＣＮＮの各ユニットｉの出力に対し、ポジティブセットＤｕ＋に含まれる画像の各々についての当該ユニットｉの出力の分布を表すヒストグラムＰｉ＋と、ネガティブセットＤｕ−に含まれる画像の各々についての当該ユニットｉの出力の分布を表すヒストグラムＰｉ−とを生成する。
【００６３】
ステップＳ１０４において、画像特徴分布比較部２４２は、上記ステップＳ１０２で生成された、複数のユニットの各々についての、ポジティブセットＤｕ＋のヒストグラムＰｉ＋とネガティブセットＤｕ−のヒストグラムＰｉ−との間の距離を、上記式（１）に従って計算する。
【００６４】
ステップＳ１０６において、特徴記述子選択部２４４は、上記ステップＳ１０４で計算された距離について上位Ｎ個のユニットを画像特徴記述子θｕとして選択する。
【００６５】
ステップＳ１０８において、学習部２４６は、ポジティブセットＤｕ＋に含まれる画像から得られる、上記ステップＳ１０６で選択された画像特徴記述子、及びネガティブセットＤｕ−に含まれる画像から得られる、上記ステップＳ１０６で選択された画像特徴記述子に基づいて、画像特徴記述子から画像に対しタグｕが表す特定の物体が含まれているか否かを識別するための識別器ｆを学習する。
【００６６】
ステップＳ１１０において、信頼度算出部２４８は、ポジティブセットＤｕ＋に含まれる画像から得られる画像特徴記述子と、ネガティブセットＤｕ−に含まれる画像から得られた画像特徴記述子と、上記ステップＳ１０８で得られた識別器ｆとに基づいて信頼度を算出する。そして、信頼度算出部２４８は、信頼度が一定以上であるポジティブセットＤｕC＋とネガティブセットＤｕC−とを高信頼データとして取得する。
【００６７】
ステップＳ１１２において、認識容易性評価用識別器学習部２６０は、上記ステップＳ１１０で得られた高信頼データ（ＤｕC＋，ＤｕC−）と、ＣＮＮとに基づいて、高信頼データ（ＤｕC＋，ＤｕC−）に含まれる画像から得られる全てのユニットの出力を用いて、上記ステップＳ１０８で得られた識別器ｆを更新し認識容易性評価用識別器ｆ￣として得る。
【００６８】
ステップＳ１１４において、正解率算出部２６２は、ポジティブセットＤｕ＋の各画像と、ネガティブセットＤｕ−の各画像と、上記ステップＳ１１２で得られた認識容易性評価用識別器ｆ￣とに基づいて、上記式（２）に示す、タグｕの認識容易性指標Ｖ（ｕ，ｆ￣）を算出する。
【００６９】
ステップＳ１１６において、出力部４０は、上記ステップＳ１１４で得られた、タグｕについての認識容易性指標Ｖ（ｕ，ｆ￣）を結果として出力し処理を終了する。
【００７０】
＜実験例＞
【００７１】
表１は、実際の海外の商品画像のデータセットに、本実施の形態を適用した場合の結果の例である。なお、表１に示す結果は、認識容易性指標Ｖ（ｕ，ｆ￣）が予め設定された閾値よりも大きいタグを「認識容易性が高いタグ」とし、認識容易性指標Ｖ（ｕ，ｆ￣）が予め設定された閾値以下のタグを「認識容易性が低いタグ」としている。
【００７２】
表１に示すように、認識容易性が高いものには色やテクスチャなどの画像と相関が高いと思われるタグが含まれており、認識容易性が低いものには抽象的なタグが含まれている。
【００７３】
【表１】
2018013886.tif 000005
【００７４】
以上説明したように、本発明の実施の形態に係る認識容易性指標算出装置によれば、画像から得られるＣＮＮの各ユニットの出力に対し、ポジティブセットに含まれる画像の各々についてのユニットの出力の分布を表すヒストグラムと、ネガティブセットに含まれる画像の各々についてのユニットの出力の分布を表すヒストグラムとの間の距離を計算し、計算された距離について上位Ｎ個のユニットを画像特徴記述子として選択し、ポジティブセットに含まれる画像から得られる画像特徴記述子、及びネガティブセットに含まれる画像から得られる画像特徴記述子に基づいて、画像に対しタグが表す特定の物体が含まれているか否かを識別するための識別器を学習し、識別器の出力に応じて高信頼データとして取得し、高信頼データに含まれる画像から得られる全てのユニットの出力に基づいて、識別器を更新し認識容易性評価用識別器として取得し、ポジティブセットの各画像を認識容易性評価用識別器に入力した場合に、画像に対してタグが表す特定の物体が含まれていると識別される割合を表す第１の正解率と、ネガティブセットの各画像を認識容易性評価用識別器に入力した場合に、画像に対してタグが表す特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出し、第１の正解率と第２の正解率との比を、タグの認識容易性指標として算出することにより、認識が容易なタグを特定することができる。
【００７５】
また、本発明の実施の形態によって、信頼度の低いタグが付与された大量の画像データから視覚的な認識が容易なタグを選び出すことができる。
【００７６】
上述のようにして得られたタグは、画像から自動で認識できる可能性が高く、得られたタグが付与された画像に基づいて画像認識器を学習することで、高精度なタグ認識器を構築できることが期待される。これによって、タグの付与されていない画像に新たにタグを付与する認識システムを構築する際に、多種多様なタグ候補から信頼度が高くなるであろうタグのみを事前に選び出すことで、システム利用者の満足度を高めることができると考えられる。
【００７７】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００７８】
例えば、上記の実施の形態は、画像から得られる各画像特徴として、予め学習されたニューラルネットワークの各ユニットの出力を用いる場合を例に説明したが、これに限定されるものではなく、他の画像特徴を用いてもよい。
【００７９】
また、上記の実施の形態は、例えば画像検索に用いることができる。タグが付与されたある画像集合から獲得されたタグは、同じドメインの別の画像集合においても有用であると考えられるため、上記の実施の形態によってタグが付与されていない画像集合に対して自動でタグ付けを行うことで、信頼度の高いタグベースの画像検索を実現することができる。
【００８０】
また、上述した実施の形態では、ニューラルネットワークとしてＣＮＮを用いる場合を例に説明したがこれに限定されるものではなく、他のニューラルネットワークを用いてもよい。
【００８１】
また、上述した実施の形態では、ヒストグラム間の距離としてカルバック・ライブラー距離を用いる場合を例に説明したがこれに限定されるものではなく、他の距離を用いてもよい。
【００８２】
上述の認識容易性指標算出装置１００は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００８３】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００８４】
１０   入力部
２０   演算部
２２   画像集合データベース
２４   高信頼データ生成部
２６   認識容易性指標算出部
４０   出力部
１００ 認識容易性指標算出装置
２４０ 画像特徴生成部
２４２ 画像特徴分布比較部
２４４ 特徴記述子選択部
２４６ 学習部
２４８ 信頼度算出部
２６０ 認識容易性評価用識別器学習部
２６２ 正解率算出部
【図１】
2018013886.tif 000006
【図２】
2018013886.tif 000007
【図３】
2018013886.tif 000008
【図４】
2018013886.tif 000009