(57)【要約】【課題】確率モデルにより学習した学習結果を利用して、入力される画像情報に識別情報を付与する画像識別情報付与プログラム及び画像識別情報付与装置を提供する。【解決手段】画像識別情報付与装置１は、予め識別情報が関連付けられた画像情報から識別情報毎に画像情報を取得する画像取得手段１００と、取得した画像情報から特徴情報を生成する特徴ベクトル生成手段１０２と、生成した特徴情報と当該特徴情報に対応する画像情報の識別情報との関係を確率分布の混合による確率モデルにより学習して学習結果を生成するものであって、当該確率モデルの混合要素生成過程の変数を前記取得手段によって識別情報の内容に関わらず取得された全ての画像情報から得られる特徴情報の集合を用いて定めるとともに、前記確率分布の変数に対して事前分布を定めるモデル学習手段１０４とを有する。【選択図】図１
2013061732.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータを、
予め識別情報が関連付けられた画像情報から識別情報毎に画像情報を取得する取得手段と、
前記取得手段が取得した画像情報から特徴情報を生成する生成手段と、
前記生成手段が生成した特徴情報と当該特徴情報に対応する画像情報の識別情報との関係を確率分布の混合による確率モデルにより学習して学習結果を生成するものであって、当該確率モデルの混合要素生成過程の変数を前記取得手段によって識別情報の内容に関わらず取得された全ての画像情報から得られる特徴情報の集合を用いて定めるとともに、前記確率分布の変数に対して事前分布を定める学習手段と、
前記学習手段が生成した前記学習結果に基づいて、識別情報毎に前記確率モデルを用いて識別情報の付与対象である画像情報から前記生成手段によって生成される特徴情報の事後分布を計算する計算手段と、
前記事後分布に基づき前記識別情報の付与対象である画像情報に関連付けられる識別情報を推定する推定手段として機能させる画像識別情報付与プログラム。
【請求項２】
前記学習手段は、前記事前分布の変数の初期値を、前記取得手段により識別情報の内容に関わらず全ての画像情報から得られる特徴情報の集合を用いて定める請求項１に記載の画像識別情報付与プログラム。
【請求項３】
予め識別情報が関連付けられた画像情報から識別情報毎に画像情報を取得する取得手段と、
前記取得手段が取得した画像情報から特徴情報を生成する生成手段と、
前記生成手段が生成した特徴情報と当該特徴情報に対応する画像情報の識別情報との関係を確率分布の混合による確率モデルにより学習して学習結果を生成するものであって、当該確率モデルの混合要素生成過程の変数を前記取得手段によって識別情報の内容に関わらず取得された全ての画像情報から得られる特徴情報の集合を用いて定めるとともに、前記確率分布の変数に対して事前分布を定める学習手段と、
前記学習手段が生成した前記学習結果に基づいて、識別情報毎に前記確率モデルを用いて識別情報の付与対象である画像情報から前記生成手段によって生成される特徴情報の事後分布を計算する計算手段と、
前記事後分布に基づき前記識別情報の付与対象である画像情報に関連付けられる識別情報を推定する推定手段とを有する画像識別情報付与装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像識別情報付与プログラム及び画像識別情報付与装置に関する。
【背景技術】
【０００２】
従来の画像識別情報付与装置として、画像情報等から得られる特徴情報に基づいて付される識別情報（以下、「ラベル」という。）が予め用意されたとき、特徴情報とラベルとの関係について予め学習を行っておき、学習の結果に基づき入力される画像情報がどのラベルに所属するか識別するものがある（例えば、特許文献１参照）。
【０００３】
特許文献１に記載のパターン認識装置は、画像情報から多次元の特徴情報を生成し、当該特徴情報に予めラベルを用意したものを学習データとしてラベルと特徴情報とを対応付けることで学習するとともに、入力される画像情報の特徴情報を算出して学習した特徴情報を参照することで入力された画像情報の特徴情報が各ラベルに所属する度合いを表す値を算出して、当該所属する度合いを表す値が最大となったラベルに入力された画像情報が所属すると認識する画像識別情報付与装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−２３１３６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、確率モデルにより学習した学習結果を利用して、入力される画像情報に識別情報を付与する画像識別情報付与プログラム及び画像識別情報付与装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様は、上記目的を達成するため、以下の画像識別情報付与プログラム及び画像識別情報付与装置を提供する。
【０００７】
［１］コンピュータを、
予め識別情報が関連付けられた画像情報から識別情報毎に画像情報を取得する取得手段と、
前記取得手段が取得した画像情報から特徴情報を生成する生成手段と、
前記生成手段が生成した特徴情報と当該特徴情報に対応する画像情報の識別情報との関係を確率分布の混合による確率モデルにより学習して学習結果を生成するものであって、当該確率モデルの混合要素生成過程の変数を前記取得手段によって識別情報の内容に関わらず取得された全ての画像情報から得られる特徴情報の集合を用いて定めるとともに、前記確率分布の変数に対して事前分布を定める学習手段と、
前記学習手段が生成した前記学習結果に基づいて、識別情報毎に前記確率モデルを用いて識別情報の付与対象である画像情報から前記生成手段によって生成される特徴情報の事後分布を計算する計算手段と、
前記事後分布に基づき前記識別情報の付与対象である画像情報に関連付けられる識別情報を推定する推定手段として機能させる画像識別情報付与プログラム。
【０００８】
［２］前記学習手段は、前記事前分布の変数の初期値を識別情報の内容に関わらず全ての画像情報から得られる特徴情報の集合を用いて定める前記［１］に記載の画像識別情報付与プログラム。
【０００９】
［３］予め識別情報が関連付けられた画像情報から識別情報毎に画像情報を取得する取得手段と、
前記取得手段が取得した画像情報から特徴情報を生成する生成手段と、
前記生成手段が生成した特徴情報と当該特徴情報に対応する画像情報の識別情報との関係を確率分布の混合による確率モデルにより学習して学習結果を生成するものであって、当該確率モデルの混合要素生成過程の変数を前記取得手段によって識別情報の内容に関わらず取得された全ての画像情報から得られる特徴情報の集合を用いて定めるとともに、前記確率分布の変数に対して事前分布を定める学習手段と、
前記学習手段が生成した前記学習結果に基づいて、識別情報毎に前記確率モデルを用いて識別情報の付与対象である画像情報から前記生成手段によって生成される特徴情報の事後分布を計算する計算手段と、
前記事後分布に基づき前記識別情報の付与対象である画像情報に関連付けられる識別情報を推定する推定手段とを有する画像識別情報付与装置。
【発明の効果】
【００１０】
請求項１又は３に係る発明によれば、本発明の構成を有していない場合と比較して、識別情報が既知の学習データに対する過学習を抑制し、入力される画像情報に対する識別性能を向上させ、入力される画像情報に識別情報を付与することができる。
【００１１】
請求項２に係る発明によれば、事前分布の変数の初期値を識別情報の内容に関わらず全ての画像情報から得られる特徴情報の集合を用いて定めることができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施の形態に係る画像識別情報付与装置の構成の一例を示す図である。
【図２】図２は、モデル学習手段が学習動作に用いる確率生成モデルの一例を示した概略図である。
【図３】図３は、画像識別情報付与装置の動作例を示すフローチャートである。
【図４】図４は、学習アルゴリズムの内容を示すフローチャートである。
【図５】図５は、画像識別情報付与装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
（画像識別情報付与装置の構成）
図１は、本発明の実施の形態に係る画像識別情報付与装置の構成の一例を示す図である。
【００１４】
画像識別情報付与装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やフラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、外部とネットワークを介して通信する通信部１２を備える。
【００１５】
画像識別情報付与装置１は、通信部１２等を介して入力される画像に「山」「川」「子供」等の被写体が含まれるとき、これら「山」「川」「子供」等の語句（以下、「アノテーション単語」という。）を画像情報に対する識別情報（以下、「ラベル」という。）として付与する。また、画像識別情報付与装置１は、記憶部１１等に格納された予めラベルが付与された学習用の画像情報を用いて学習を行うものである。
【００１６】
制御部１０は、後述する画像識別情報付与プログラム１１０を実行することで、画像取得手段１００、画像分割手段１０１、特徴ベクトル生成手段１０２、学習データ集合取得手段１０３、モデル学習手段１０４、尤度計算手段１０５、アノテーション単語推定手段１０６及び出力手段１０７等として機能する。
【００１７】
画像取得手段１００は、学習の際に記憶部１１に格納された画像情報を取得し、又ラベルを推定する際に通信部１２を介して外部の端末装置等から入力された画像情報を取得する。
【００１８】
画像分割手段１０１は、画像取得手段１００が取得した画像情報及び記憶部１１に格納された学習用の画像情報１１１を、それぞれ複数の領域に分割し、部分領域を生成する。画像分割手段１０１は、例えば、矩形でメッシュ状に分割する方法やｋ近傍法等のクラスタリング手法を用いて類似の近接する画素を同一の部分領域と定める方法等を用いる。
【００１９】
特徴ベクトル生成手段１０２は、画像分割手段１０１が生成した部分領域のそれぞれから、例えば、ガボールフィルタを用いる方法やＲＧＢ、正規化ＲＧ、ＣＩＥＬＡＢ等の特徴量を抽出する方法によって特徴ベクトルを生成する。ここで、特徴ベクトルは特徴情報の一例である。
【００２０】
学習データ集合取得手段１０３は、画像情報１１１から同一のラベルが与えられた画像情報を取得し、当該画像情報に含まれる特徴ベクトルの集合を学習データ集合として取得する。また、ラベルの内容に関わらず全ての画像情報１１１から得られる特徴ベクトルの集合（以下、「ユニバーサルモデル」という。）を学習データ集合として取得する。
【００２１】
モデル学習手段１０４は、学習データ集合取得手段１０３が取得した学習データ集合を用いて学習を行う。
【００２２】
尤度計算手段１０５は、画像取得手段１００が取得した画像情報の特徴ベクトルの任意のラベルに対する尤度を計算する。
【００２３】
アノテーション単語推定手段１０６は、尤度の高いラベルに対応したアノテーション単語を入力された画像情報の識別情報として推定する。
【００２４】
出力手段１０７は、アノテーション単語推定手段１０６が推定したアノテーション単語のうち、例えば、尤度の高い上位数個を表示装置、印刷装置、記憶部１１等に出力する。
【００２５】
記憶部１１は、制御部１０を上述した各手段として動作させる画像識別情報付与プログラム１１０、学習の際に用いられる画像情報１１１、画像情報１１１に含まれる画像情報とラベルとを関連付けるラベル情報１１２及びモデル学習手段１０４による学習結果として保存される学習情報１１３等を記憶する。
【００２６】
（画像識別情報付与装置の動作）
以下に、画像識別情報付与装置の動作例を各図を参照しつつ、（１）基本学習動作、（２）詳細学習動作、（３）アノテーション推定動作に分けて説明する。
【００２７】
図３は、画像識別情報付与装置の動作例を示すフローチャートである。
【００２８】
（１）基本学習動作
まず、画像取得手段１００は、記憶部１１から学習用データとして画像情報１１１を取得する（Ｓ１）。画像情報１１１は、複数の画像情報を含むものとする。
【００２９】
次に、画像分割手段１０１は、画像をｎ個の領域に分割し、部分領域を生成する（Ｓ２）。一例として、矩形でメッシュ状に分割する。この動作は、画像情報１１１に含まれる複数の画像情報のそれぞれについて行われる。
【００３０】
次に、特徴ベクトル生成手段１０２は、部分領域から、一例としてガボールフィルタ等を用いて複数の特徴量を抽出し、部分領域毎にこれら特徴量を成分とした特徴ベクトルｘ１、ｘ２、…、ｘｎを生成する（Ｓ３）。この動作についても、画像情報１１１に含まれる複数の画像情報のそれぞれについて行われる。
【００３１】
次に、学習データ集合取得手段１０３は、ラベル情報１１２を参照し、画像情報１１１から、まずラベルＣ１に対応付けられた画像情報を取得するとともに、取得した画像情報から生成された特徴ベクトルの集合を学習データ集合として取得する（Ｓ４、Ｓ５）。
【００３２】
次に、モデル学習手段１０４は、学習データ集合取得手段１０３が取得したラベルＣ１の学習データについて学習を実行し（Ｓ６）、学習結果を記憶部１１の学習情報１１３に保存する（Ｓ７）。
【００３３】
上記ステップＳ５〜Ｓ７は、すべてのラベル（上限Ｍ）について実行される（Ｓ１８、Ｓ１９）。
【００３４】
以下の「（２）詳細学習動作」において、ステップＳ６でモデル学習手段１０４が実行する学習動作の詳細について説明する。
【００３５】
（２）詳細学習動作
モデル学習手段１０４は、確率生成モデルとして、混合ガウス分布モデル（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ：ＧＭＭ）を用いる。入力される学習データ集合をＸ＝{ｘ1,…ｘN}とし、特徴ベクトルの次元をＤとすると、混合ガウスモデルｐは、次式で定義される。
【数１】
2013061732.tif 000003
ここで、入力される学習データ数をＮ、混合要素数をＫとしている。πkは混合比を表わし、Ｎ(ｘi｜μk,Λk-1)は、平均μk、分散Λk-1であるＤ次元ガウス分布である。
【００３６】
また、混合比は、次式を満たす。
【数２】
2013061732.tif 000004
ここで、混合要素数Ｋは、事前に定めず、無限個の混合比率の和としている。
【００３７】
また、混合要素をデータに合わせて適切に選択するため、混合比πは、Ｄｉｒｉｃｈｌｅｔ過程（Ｓｔｉｃｋ  ｂｒｅａｋｉｎｇ表現）から生成されるものとする。
【数３】
2013061732.tif 000005
ここで、は、パラメータαをもつベータ分布Beta(1,α)に従い、さらにαは、Ｃ＝{c1,c2}をハイパーパラメータに持つガンマ分布Gamma(c1,c2)に従うものとする。
【００３８】
また、より柔軟な確率推定を可能とするため、ガウス分布のパラメータ（平均、分散）に対して事前分布を定める。ここでは、平均値、分散のそれぞれの共役事前分布であるガウス分布、ウィシャート分布をそれぞれの事前分布として定める。すなわち、
【数４】
2013061732.tif 000006
【００３９】
ここで、ウィシャート分布Ｗ(Λk｜Ｗ0,υ0)は次式で定義される。
【数５】
2013061732.tif 000007
ここで、
【数６】
2013061732.tif 000008
【００４０】
以上が、本発明の実施の形態で用いた確率生成モデルの説明である。これをベイジアンネットワークの表現により図示すると、図２のようになる。
【００４１】
図２は、モデル学習手段１０４が学習動作に用いる確率生成モデルの一例を示した概略図である。
【００４２】
黒丸で示されたｃ１、ｃ２、Ｗ０、ν０、β０、ｍ０は定数を示し、中抜きの丸で示されたαπ、π，ｖ、ｚｎ、ｘｎ、Λ、μ、は確率変数を示す。また、ｘｎは観測ノードを表わす。矢印は、確率的な依存関係を表わしている。また、ｚｎ、ｘｎを含む四角はＮ個の独立同時分布の観測値を示す。
【００４３】
学習データ集合に対するモデルパラメータ{τ1,k,τ2,k,λ1,λ2,βk,υk,Ｗk,mk}の最尤解を求めることを、機械学習ではモデルパラメータの学習という。ここで、単純なＥＭアルゴリズムは適用できず、変分ベイズ法（ＶａｒｉａｔｉｏｎａｌＢａｙｅｓ法：ＶＢ法）を用いて最尤解を求める。
【００４４】
変分ベイズ法を用いて、導出する学習アルゴリズムを以下に示す。
【００４５】
図４は、学習アルゴリズムの内容を示すフローチャートである。
【００４６】
まず、モデル学習手段１０４は、パラメータ{τ1,k,τ2,k,λ1,λ2,βk,υk,Ｗk,mk}を初期化する（Ｓ１１）。初期化方法には、ランダムに初期化する、ｋ−ｍｅａｎｓクラスタリングの結果を用いる等の方法があるが、ここでは、ユニバーサルモデルの学習結果のパラメータをパラメータの初期値とする。
【００４７】
次に、次式で定められる変分下限を計算する。
【数７】
2013061732.tif 000009
【００４８】
次に、モデル学習手段１０４は、ＶＢ−Ｅステップとして負担率ｒｊｋを算出する。
【数８】
2013061732.tif 000010
ただし、
【数９】
2013061732.tif 000011
ここで、
【数１０】
2013061732.tif 000012
【００４９】
φ(・）はディガンマ関数、Ｉ(・)は、引数が真の場合に１を返し、偽の場合に０を返すパラメータである。
【００５０】
次に、モデル学習手段１０４は、ＶＢ−Ｍステップとしてパラメータを更新する。
【数１１】
2013061732.tif 000013
ここで、
【数１２】
2013061732.tif 000014
である。
【００５１】
次に、モデル学習手段１０４は、収束条件を満たすか否か判定し（Ｓ１４）、変分下限（式（７））の変化が予め定められた既定値以下であれば（Ｓ１４；Ｙｅｓ）、計算を終了し、既定値以下でなければ（Ｓ１４；Ｎｏ）、ステップＳ１２に戻る。
【００５２】
本発明の実施の形態では、パラメータに事前分布を定めることにより、より柔軟な学習を実現したが、パラメータの分布を定めるためのハイパーパラメータβ0、υ0、ｍ0、Ｗ0は依然として適切な値を定めなければならない。
【００５３】
モデル学習手段１０４は、ユニバーサルモデルを活用し、蓋然性のあるハイパーパラメータ設定を行う。ユニバーサルモデルのハイパーパラメータはデフォルトの値に定め、上記のステップＳ１１〜Ｓ１４に従い予め学習を行なう。
【００５４】
デフォルトのハイパーパラメータをそれぞれ、
2013061732.tif 000015
とする。ユニバーサルモデルの学習結果を用いることによって、一律のハイパーパラメータをそれぞれのガウス分布に与えるのではなく、その学習データの全体の傾向を反映した、混合要素毎に異なるハイパーパラメータの設定を行うことができる。
【００５５】
また、ｋ番目の混合要素のハイパーパラメータを{ｍ0k,Ｗ0k,υ0k,β0k }
とする。このとき、ユニバーサルモデルの学習結果を用いて、ハイパーパラメータを次のように設定する。
【数１３】
2013061732.tif 000016
ここで、変数の右肩にあるｕは、ユニバーサルモデルの学習結果であることを示している。
【００５６】
さらに、ユニバーサルモデルのサンプル数が多いとユニバーサルモデルの影響が大きくなりすぎるので、ユニバーサルモデル（事前分布）の影響をコントロールする、新たなパラメータκ(０≦κ≦１)を導入してもよい。
【数１４】
2013061732.tif 000017
【００５７】
さらに、簡易的な方法としては、
【数１５】
2013061732.tif 000018
としてもよい。いずれの場合も、κ＝１の場合は、（２７）〜（２８）となり、κ＝０の場合には、デフォルトのハイパーパラメータが設定される。
【００５８】
κの一つの決め方として、ユニバーサルモデルのサンプル数と、現在学習しているモデルのサンプル数を比較し、ユニバーサルモデルのサンプル数が多い場合には、κを小さな値に、少ない場合には、大きな値にする。例えば、Ｎｕ、Ｎそれぞれ、ユニバーサルモデルと現在学習しているモデルのサンプル数とすると、κを決定する関数の一例として、
【数１６】
2013061732.tif 000019
を用いてもよい。また、さらに単純に
【数１７】
2013061732.tif 000020
としてもよい。ここで、Ｆ(・)は、原点を通り、１に漸近する単調増加関数となる。
【００５９】
（３）アノテーション推定動作
図５は、画像識別情報付与装置の動作例を示すフローチャートである。
【００６０】
まず、画像取得手段１００は、ラベルを推定する対象として通信部１２を介して外部から入力された画像情報を取得する（Ｓ２１）。
【００６１】
次に、画像分割手段１０１は、画像をｎ個の領域に分割し、部分領域を生成する（Ｓ２２）。
【００６２】
次に、特徴ベクトル生成手段１０２は、部分領域から複数の特徴量を抽出し、部分領域毎にこれら特徴量を成分とした特徴ベクトルｘ１、ｘ２、…、ｘｎを生成する（Ｓ２３）。
【００６３】
次に、尤度計算手段１０５は、学習情報１１３からステップＳ６で学習した各ラベルのモデルを読み込む（Ｓ２４）。具体的には、モデルのパラメータ{τ1,k,τ2,k,λ1,λ2,βk,υk,Ｗk,mk}を記憶部１１から読み込み、図示しないメモリに展開する。
【００６４】
次に、尤度計算手段１０５は、各部分領域の特徴ベクトルについて事後確率を算出する（Ｓ２５）。予測するべき入力画像Ｉから抽出される特徴ベクトルのセットＸ＝{ｘ1,…ｘn}が与えられた場合のラベルcの事後確率p(c｜Ｘ)がベイズの定理を用いて次のように計算される。
【数１８】
2013061732.tif 000021
ここで、ｐ(c)は、ラベルｃの事前確率である。これには、学習データ集合における相対頻度を用いる。p(x1…xn)は、特徴ベクトル集合の事前分布であるが、ラベルに対しては一定値をとる。したがって、画像Ｉに対するラベルｃの対数尤度は、定数部分を除いて、次式のように表わせる。
【数１９】
2013061732.tif 000022
式（40）が大きいほど画像Ｉのラベルとして適していると考えられる。式の大きいものから数個を画像Ｉのラベル（アノテーション単語）とする。
【００６５】
次に、尤度計算手段１０５は、あるラベルｃに対する部分画像の特徴ベクトルｘiの尤度を次式で算出する（Ｓ２６）。
【数２０】
2013061732.tif 000023
ただし、
【数２１】
2013061732.tif 000024
ここで、Γ(・)は、ガンマ関数を表わす。
【００６６】
上記の計算によって尤度が計算されると、アノテーション単語推定手段１０６は、尤度の大きいものから順に、例えば、上位５つのラベルを取得し、画像情報の識別情報としてラベルに対応付けられたアノテーション単語を付与する（Ｓ２７）。
【００６７】
次に、出力手段１０７は、図示しない定められた出力装置（ディスプレイ、プリンター、ハードディスク等）にアノテーション単語推定結果を出力する（Ｓ２８）。
【００６８】
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。
【００６９】
また、上記実施の形態で使用される画像識別情報付与プログラム１１０は、ＣＤ−ＲＯＭ等の記憶媒体から装置内の記憶部に読み込んでも良く、インターネット等のネットワークに接続されているサーバ装置等から装置内の記憶部にダウンロードしてもよい。また、上記実施の形態で使用される手段１００〜１０７の一部または全部をＡＳＩＣ等のハードウェアによって実現してもよい。
【符号の説明】
【００７０】
１  画像識別情報付与装置
１０  制御部
１１  記憶部
１２  通信部
１００  画像取得手段
１０１  画像分割手段
１０２  特徴ベクトル生成手段
１０３  学習データ集合取得手段
１０４  モデル学習手段
１０５  尤度計算手段
１０６  アノテーション単語推定手段
１０７  出力手段
１１０  画像識別情報付与プログラム
１１１  画像情報
１１２  ラベル情報
１１３  学習情報
【図１】
2013061732.tif 000025
【図２】
2013061732.tif 000026
【図３】
2013061732.tif 000027
【図４】
2013061732.tif 000028
【図５】
2013061732.tif 000029