(57)【要約】【課題】カテゴリ識別精度を向上させる。【解決手段】個別特徴抽出部１０２は、第１のデータから特徴を抽出する。バックグラウンドモデル生成部１０３は、第１のデータから抽出された特徴についてバックグラウンドモデルを生成する。ノイズ判別部１０４は、バックグラウンドモデル中のノイズ分布を判別する。また、個別特徴抽出部１０２は、第２のデータから特徴を抽出する。モデル生成部１−６は、バックグラウンドモデルのうちのノイズ分布以外の分布に基づいて、第２のデータから抽出された特徴についてモデルを生成する。識別器生成部１０８は、上記モデルに基づいて、カテゴリを識別するための識別器を生成する。【選択図】図１
2013254254.tif 000002
【特許請求の範囲】
【請求項１】
第１のデータを入力する第１のデータ入力手段と、
前記第１のデータから特徴を抽出する第１の特徴抽出手段と、
前記第１の特徴抽出手段により抽出された特徴についてバックグラウンドモデルを生成するバックグラウンドモデル生成手段と、
前記バックグラウンドモデル中のノイズ分布を判別する判別手段と、
第２のデータを入力する第２のデータ入力手段と、
前記第２のデータから特徴を抽出する第２の特徴抽出手段と、
前記バックグラウンドモデルのうちの前記ノイズ分布以外の分布に基づいて、前記第２の特徴抽出手段により抽出された特徴についてモデルを生成するモデル生成手段と、
前記モデルに基づいて、カテゴリを識別するための識別器を生成する識別器生成手段とを有することを特徴とする識別装置。
【請求項２】
前記判別手段は、前記ノイズ分布をカテゴリ毎に判別し、前記モデル生成手段は、それぞれのカテゴリのノイズ分布以外の分布に基づいて、カテゴリ毎にモデルを生成することを特徴とする請求項１に記載の識別装置。
【請求項３】
前記判別手段は、前記バックグラウンドモデルに含まれる各分布について、当該分布を構成する識別対象のカテゴリの特徴の頻度又は割合を算出し、算出した頻度又は割合が所定の閾値以下となる分布を当該カテゴリのノイズ分布として判別することを特徴とする請求項２に記載の識別装置。
【請求項４】
第３のデータを入力する第３のデータ入力手段と、
前記識別器を用いて、前記第３のデータのカテゴリを識別する識別手段とを更に有することを特徴とする請求項１乃至３のいずれか１項に記載の識別装置。
【請求項５】
前記識別器生成手段は、カテゴリ毎の識別器を生成することを特徴とする請求項１乃至４のいずれか１項に記載の識別装置。
【請求項６】
識別装置の制御方法であって、
第１のデータを入力する第１のデータ入力ステップと、
前記第１のデータから特徴を抽出する第１の特徴抽出ステップと、
前記第１の特徴抽出ステップにより抽出された特徴についてバックグラウンドモデルを生成するバックグラウンドモデル生成ステップと、
前記バックグラウンドモデル中のノイズ分布を判別する判別ステップと、
第２のデータを入力する第２のデータ入力ステップと、
前記第２のデータから特徴を抽出する第２の特徴抽出ステップと、
前記バックグラウンドモデルのうちの前記ノイズ分布以外の分布に基づいて、前記第２の特徴抽出ステップにより抽出された特徴についてモデルを生成するモデル生成ステップと、
前記モデルに基づいて、カテゴリを識別するための識別器を生成する識別器生成ステップとを有することを特徴とする識別装置の制御方法。
【請求項７】
第１のデータを入力する第１のデータ入力ステップと、
前記第１のデータから特徴を抽出する第１の特徴抽出ステップと、
前記第１の特徴抽出ステップにより抽出された特徴についてバックグラウンドモデルを生成するバックグラウンドモデル生成ステップと、
前記バックグラウンドモデル中のノイズ分布を判別する判別ステップと、
第２のデータを入力する第２のデータ入力ステップと、
前記第２のデータから特徴を抽出する第２の特徴抽出ステップと、
前記バックグラウンドモデルのうちの前記ノイズ分布以外の分布に基づいて、前記第２の特徴抽出ステップにより抽出された特徴についてモデルを生成するモデル生成ステップと、
前記モデルに基づいて、カテゴリを識別するための識別器を生成する識別器生成ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データのカテゴリ識別を行う技術に関するものである。
【背景技術】
【０００２】
画像データの中から「飛行機」や「歌っている人」といった高次特徴を検出するタスクに対し、ＳＩＦＴ特徴とＭＦＣＣ特徴との混合ガウス分布（ＧＭＭ）による統計的手法を用いた認識手法が知られている（非特許文献１参照）。この方法では、GMM Supervector SVM(ＧＳ−ＳＶＭ)により高次特徴の検出が行われる。ＧＳ−ＳＶＭでは、各ショット画像データのＧＭＭが求められ、ＧＭＭ間の距離から定義されるＲＢＦカーネルを用いたＳＶＭで学習及び識別が行われる。ショット画像データ毎にＧＭＭを生成する際には、先ず、カテゴリに関わらず、ショット画像データ全体から特徴をサンプリングすることで、ユニバーサルバックグラウンドモデル（ＵＢＭ）と呼ばれるモデルが生成される。次に、最大事後確率（Maximum A Posteriori; MAP）適応によって当該ショット画像データのパラメータが推定される。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】井上 中順, 斉藤 辰彦, 篠田 浩一, 古井 貞煕, "大規模映像資源のためのマルチモーダル高次特徴検出,"電子情報通信学会論文誌 D, vol.J93-D, no.12, pp.2633-2644, Dec, 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に開示された技術では、カテゴリに関わらず、ショット画像データ全体を使用してユニバーサルバックグラウンドモデル（ＵＢＭ）を生成し、カテゴリ毎にＵＢＭからＭＡＰ適応したＧＭＭを構成するようにしている。従って、或るカテゴリに着目した場合、ＵＢＭに含まれる分布の中には、そのカテゴリから抽出される特徴からは生成されない分布が存在する。当該カテゴリにとっては、その分布は、認識には貢献しないノイズ分布となる。従って、非特許文献１に開示された技術では、ノイズ分布をも考慮した識別を行っており、このようなノイズ分布がカテゴリ識別精度の向上を阻害している。
【０００５】
そこで、本発明の目的は、カテゴリ識別精度を向上させることにある。
【課題を解決するための手段】
【０００６】
本発明の識別装置は、第１のデータを入力する第１のデータ入力手段と、前記第１のデータから特徴を抽出する第１の特徴抽出手段と、前記第１の特徴抽出手段により抽出された特徴についてバックグラウンドモデルを生成するバックグラウンドモデル生成手段と、前記バックグラウンドモデル中のノイズ分布を判別する判別手段と、第２のデータを入力する第２のデータ入力手段と、前記第２のデータから特徴を抽出する第２の特徴抽出手段と、前記バックグラウンドモデルのうちの前記ノイズ分布以外の分布に基づいて、前記第２の特徴抽出手段により抽出された特徴についてモデルを生成するモデル生成手段と、前記モデルに基づいて、カテゴリを識別するための識別器を生成する識別器生成手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、カテゴリ識別精度を向上させることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る識別装置の構成を示す図である。
【図２】図１に示した本実施形態に係る識別装置の構成から、バックグラウンドモデル生成処理に関わる構成を抜粋して示した図である。
【図３】バックグラウンドモデル生成処理を示すフローチャートである。
【図４】図１に示した本実施形態に係る識別装置の構成から、カテゴリ別識別器の学習処理に関わる構成を抜粋して示した図である。
【図５】カテゴリ別識別器の学習処理を示すフローチャートである。
【図６】図１に示した本実施形態に係る識別装置の構成から、カテゴリの識別処理に関わる構成を抜粋して示した図である。
【図７】カテゴリの識別処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１０】
図１は、本発明の実施形態に係る識別装置の構成を示す図である。図１において、１００は識別装置である。図１に示すように、識別装置１００は、データ入力部１０１、個別特徴抽出部１０２、バックグラウンドモデル生成部１０３、ノイズ判別部１０４、記憶装置１０５、モデル生成部１０６、高次特徴生成部１０７、識別器生成部１０８及び識別部１０９により構成される。なお、識別装置１００は、例えばパーソナルコンピュータによって構成される。即ち、上述したデータ入力部１０１、個別特徴抽出部１０２、バックグラウンドモデル生成部１０３、ノイズ判別部１０４、モデル生成部１０６、高次特徴生成部１０７、識別器生成部１０８及び識別部１０９は、識別装置１００内のＣＰＵがＲＯＭ等の不揮発性記録媒体から必要なプログラム及びデータをＲＡＭにロードし、実行することで実現する機能構成である。また、記憶装置１０５は、ＲＡＭ等の書き換え可能な記録媒体に相当する構成である。
【００１１】
本実施形態に係る識別装置１００は、（Ｉ）バックグラウンドモデルの生成処理、（ＩＩ）カテゴリ別識別器の学習処理、及び、（ＩＩＩ）カテゴリの識別処理を実行する。以下では、説明を分かりやすくするため、本実施形態に係る識別装置１００の処理を、（Ｉ）バックグラウンドモデルの生成処理、（ＩＩ）カテゴリ別識別器の学習処理、及び、（ＩＩＩ）カテゴリの識別処理に分けて説明する。
【００１２】
先ず、（Ｉ）バックグラウンドモデルの生成処理について説明する。ここで生成されるバックグラウンドモデルは、（ＩＩ）カテゴリ別識別器の学習処理と（Ｉ）カテゴリの識別処理との両方で使用される。
【００１３】
図２は、図１に示した本実施形態に係る識別装置１００の構成から、バックグラウンドモデル生成処理に関わる構成を抜粋して示した図である。以下では、識別装置１００の構成のうち、バックグラウンドモデル生成処理に関わる構成を、バックグラウンドモデル生成装置と称して説明する。
【００１４】
図２において、２００はバックグラウンドモデル生成装置である。図２に示すように、バックグラウンドモデル生成装置２００は、データ入力部１０１、個別特徴抽出部１０２、バックグラウンドモデル生成部１０３、ノイズ判別部１０４及び記憶装置１０５により構成される。
【００１５】
次に、図３を参照しながら、バックグラウンドモデル生成装置２００の処理について説明する。ステップＳ３０１において、データ入力部１０１は、バックグラウンドモデルの生成に必要な、複数の画像データと、それぞれの画像データが属するカテゴリ情報が記されたアノテーションデータとを入力する。ここで入力される画像データは、数秒から数十秒のショット画像データである。カテゴリ情報としては、例えば、誕生日パーティーやパレード等のシーン情報や、画像データ中に現れる飛行機や車等の被写体情報が挙げられる。ここで入力される可能性があるカテゴリ情報は、予め定められているものとする。なお、ステップＳ３０１において画像データを入力する処理は、第１のデータ入力手段の処理例である。
【００１６】
ステップＳ３０２において、個別特徴抽出部１０２は、ステップＳ３０１において入力された各画像データから個別特徴を抽出する。各個別特徴はベクトルで表現される。本実施形態では、個別特徴として、画像特徴であるＳＩＦＴ特徴と音響特徴であるＭＦＣＣ特徴とが抽出される。そして、個別特徴抽出部１０２は、抽出した個別特徴と、ステップＳ３０１において入力されたアノテーションデータであるカテゴリ情報とをリンクさせる。なお、ステップＳ３０２は、第１の特徴抽出手段の処理例である。
【００１７】
ステップＳ３０３において、バックグラウンドモデル生成部１０３は、個別特徴の種別毎に、即ち、ＳＩＦＴ特徴とＭＦＣＣ特徴とのそれぞれについて、バックグラウンドモデルを生成する。本実施形態では、バックグラウンドモデルとしてガウス混合分布（ＧＭＭ）が生成される。以下では、バックグラウンドモデルとなるＧＭＭをユニバーサルバックグラウンドモデル（ＵＢＭ）と称す。バックグラウンドモデル生成部１０３は、ＵＢＭを生成すると、ＵＢＭを構成する各分布について、そのパラメータである平均ベクトルと分散共分散行列とを記憶装置１０５に保存する。
【００１８】
ステップＳ３０４において、ノイズ判別部１０４は、個別特徴とリンクされたカテゴリ情報に基づいて、カテゴリ毎にＵＢＭ中のノイズ分布を判別する。具体的には、例えば「車」カテゴリについてのノイズ分布を判別する場合、ノイズ判別部１０４は、ステップＳ３０３においてＵＢＭが生成された個別特徴のうち、「車」カテゴリとリンクされた個別特徴に着目する。以下では、これを「車」特徴ベクトルと称す。ノイズ判別部１０４は、ＵＢＭを構成する各分布について、その分布を構成する全個別特徴に対する「車」特徴ベクトルの頻度又は割合を算出する。そして、ノイズ判別部１０４は、算出した頻度又は割合が所定の閾値以下となる分布について、その分布を「車」カテゴリについてのノイズ分布と判別する。ノイズ分布は、複数判別される場合もあるし、１つも判別されない場合もあり得る。また、ここでは「車」カテゴリを例に挙げて説明したが、他のカテゴリについても同様にノイズ分布が判別される。ノイズ判別部１０４は、このようにしてカテゴリ毎に判別したノイズ分布を記憶装置１０５に保存する。
【００１９】
次に、（ＩＩ）カテゴリ別識別器の学習処理について説明する。画像データのカテゴリ識別には、カテゴリ別識別器の学習が必要となる。ここでは、説明を分かりやすくするため、学習対象を「車」カテゴリとして説明する。
【００２０】
図４は、図１に示した本実施形態に係る識別装置１００の構成から、カテゴリ別識別器の学習処理に関わる構成を抜粋して示した図である。以下では、識別装置１００の構成のうち、カテゴリ別識別器の学習処理に関わる構成を、カテゴリ別識別器学習装置と称して説明する。
【００２１】
図４において、４００はカテゴリ別識別器学習装置である。図４に示すように、カテゴリ別識別器学習装置４００は、データ入力部１０１、個別特徴抽出部１０２、モデル生成部１０６、高次特徴生成部１０７、識別器生成部１０８及び記憶装置１０５により構成される。
【００２２】
次に、図５を参照しながら、カテゴリ別識別器学習装置４００の処理について説明する。ステップＳ５０１において、データ入力部１０１は、カテゴリ別識別器の学習処理に必要な、複数の画像データと、それぞれの画像データが属するカテゴリ情報が記されたアノテーションデータとを入力する。ステップＳ３０１と同様に、ここで入力される画像データは、数秒から数十秒のショット画像データである。ステップＳ５０２において、個別特徴抽出部１０２は、ステップＳ５０１において入力された画像データから個別特徴を抽出する。ここでは、上述したバックグラウンドモデルの生成処理と同様に、画像特徴であるＳＩＦＴ特徴と音響特徴であるＭＦＣＣ特徴とが個別特徴として抽出される。そして、個別特徴抽出部１０２は、抽出した個別特徴と、ステップＳ５０１において入力されたアノテーションデータであるカテゴリ情報とをリンクさせる。なお、ステップＳ５０１において画像データを入力する処理は、第２のデータ入力手段の処理例である。また、ステップＳ５０２は、第２の特徴抽出手段の処理例である。
【００２３】
ステップＳ５０３において、モデル生成部１０６は、個別特徴の種別毎に、即ち、ＳＩＦＴ特徴とＭＦＣＣ特徴とのそれぞれについて、正例のモデルとして「車」カテゴリのモデルと、負例のモデルとして「非車」カテゴリのモデルとを生成する。ここでは、ガウス混合分布（ＧＭＭ）がモデルとして生成される。ＧＭＭの確率密度関数ｐ（ｘ）は、次の式１で与えられる。
【００２４】
【数１】
2013254254.tif 000003
【００２５】
ここで、ｘ∈Ｒdは、次元ｄの個別特徴である。Ｋは、混合数（分布数）である。ｋは、分布を特定するための添え字である。ｗk、μk及びΣkは、それぞれｋ番目の分布の重み係数、平均ベクトル及び分散共分散行列である。ここでのＧＭＭの生成は、ＵＢＭからのパラメータのMaximum A Posteriori（ＭＡＰ）適応によって行われる。また、モデル生成部１０６は、ＧＭＭの重み係数ｗkと分散共分散行列Σkとが全ての画像データについて共通であると仮定し、「車」カテゴリの一つの画像データから抽出された個別特徴の集合の平均ベクトルを、次の式２で推定する。
【００２６】
【数２】
2013254254.tif 000004
【００２７】
ここで、ｇkは、平均ベクトルμkと分散共分散行列Σkとを持つガウス分布の確率密度関数である。τは、事前分布への依存度を定めるためのパラメータである。ｃikは、個別特徴ｘiに対するｋ番目の混合要素の負担率である。同様に、モデル生成部１０６は、「非車」カテゴリの画像データから抽出された個別特徴の集合ＹFの平均ベクトルについても同様に推定する。
【００２８】
このとき、モデル生成部１０６は、ステップ３０４でカテゴリ毎に判定されたノイズ分布を記憶装置１０５から読み出す。モデル生成部１０６は、ＵＢＭからのＭＡＰ適応によるＧＭＭ生成時において、ノイズ分布についてはＭＡＰ適応を行わず、ノイズ分布以外の分布についてのみＭＡＰ適応を行う。即ち、ノイズ分布がｍ個ある場合、ＭＡＰ適応が行われる分布数は、Ｋ−ｍ個となる。
【００２９】
ステップＳ５０４において、高次特徴生成部１０７は、モデル生成部１０６により生成されたモデルに基づいて、高次特徴φ（ＸF）を次の式３により生成する。同様に、高次特徴生成部１０７は、モデル生成部１０６により生成されたモデルに基づいて、高次特徴φ（ＹF)も生成する。各高次特徴φ（ＸF）、φ（ＹF）はベクトルで表現される。なお、ＸF＝｛ｘi｝Ni=1は、「車」カテゴリの一つの画像データから抽出された個別特徴の集合（Ｆは、個別特徴の種別)である。また、ＹF＝｛ｙi｝Ni=1は、「非車」カテゴリの一つの画像データから抽出された個別特徴の集合である。
【００３０】
【数３】
2013254254.tif 000005
【００３１】
高次特徴φ（ＸF）又はφ（ＹF）は、ステップＳ５０１において入力された複数の画像データそれぞれについて生成される。ステップＳ５０５において、識別器生成部１０８は、「車」カテゴリに対するカテゴリ別識別器（識別関数）ｆFを学習により生成する。カテゴリ別識別器の学習は、個別特徴の種別毎に行われる。識別器生成部１０８は、複数の高次特徴φ（ＸF)と複数の高次特徴φ（ＹF)とを入力としたＳＶＭで学習する。識別器生成部１０８によって生成されたカテゴリ別識別器ｆFは、記憶装置１０５に格納される。
【００３２】
次に、（ＩＩＩ）カテゴリの識別処理について説明する。ここでは、説明を分かりやすくするため、識別対象の画像データが「車」カテゴリであるとして説明する。即ち、ここでは、識別対象の画像データに車が写っているか否かが識別される。
【００３３】
図６は、図１に示した本実施形態に係る識別装置１００の構成から、カテゴリの識別処理に関わる構成を抜粋して示した図である。以下では、識別装置１００の構成のうち、カテゴリの識別処理に関わる構成を、カテゴリ識別装置６００と称して説明する。
【００３４】
図６において、６００はカテゴリ識別装置である。図６に示すように、カテゴリ識別装置６００は、データ入力部１０１、個別特徴抽出部１０２、モデル生成部１０６、高次特徴生成部１０７、識別部１０９及び記憶装置１０５により構成される。
【００３５】
次に、図７を参照しながら、カテゴリ識別装置６００の処理について説明する。ステップＳ７０１において、データ入力部１０１は、識別対象の画像データを入力する。ステップＳ３０１と同様に、ここで入力される画像データは、数秒から数十秒のショット画像データである。一般に、識別対象の画像データはアノテーションデータを持たない。ステップＳ７０２において、個別特徴抽出部１０２は、ステップＳ７０１において入力された画像データから個別特徴を抽出する。ここでは、上述したバックグラウンドモデルの生成処理及びカテゴリ別識別器の学習処理と同様に、ステップＳ７０１において入力された画像データから、画像特徴であるＳＩＦＴ特徴と音響特徴であるＭＦＣＣ特徴とが個別特徴として抽出される。なお、ステップＳ７０１において画像データを入力する処理は、第３のデータ入力手段の処理例である。
【００３６】
ステップＳ７０３において、モデル生成部１０６は、個別特徴の種別毎に、即ち、ＳＩＦＴ特徴とＭＦＣＣ特徴とのそれぞれについて、モデルを生成する。モデルの生成は、カテゴリ別識別器の学習処理と同様の手法により行われる。即ち、モデル生成部１０６は、モデルとしてガウス混合分布（ＧＭＭ）を生成する。ＧＭＭの確率密度関数は、上記式１で与えられる。ここでのＧＭＭの生成は、ＵＢＭからのパラメータのMaximum A Posteriori（ＭＡＰ）適応によって行われる。また、モデル生成部１０６は、ＧＭＭの重み係数と分散行列とが全ての画像データについて共通であると仮定し、平均ベクトルのみを上記式２で推定する。さらに、モデル生成部１０６は、ステップＳ３０４で判別された「車」カテゴリについてのノイズ分布を記憶装置１０５から読み出す。モデル生成部１０６は、ＵＢＭからのＭＡＰ適応によるＧＭＭ生成時において、ノイズ分布についてはＭＡＰ適応を行わず、ノイズ分布以外の分布についてのみＭＡＰ適応を行う。即ち、ノイズ分布がｍ個ある場合、ＭＡＰ適応が行われる分布数は、Ｋ−ｍ個となる。
【００３７】
ステップＳ７０４において、高次特徴生成部１０７は、高次特徴φ（ＺF）を上記式３により生成する。なお、高次特徴φ（ＺF）はベクトルで表現される。ステップＳ７０５において、識別部１０９は、ステップＳ７０１において入力された画像データに車が写っているか否かを識別する。この識別処理では、識別部１０９は、ステップＳ５０５で生成された「車」カテゴリに対するカテゴリ別識別器を使用し、個別特徴の種別毎に識別関数値を算出する。次に、識別部１０９は、次の式４により識別関数値の重み付き和を計算し、最終的なスコアを算出する。
【００３８】
【数４】
2013254254.tif 000006
【００３９】
ここで、Ｆは、個別特徴の種類(ここでは、ＳＩＦＴ特徴及びＭＦＣＣ特徴)である。ｆFは、個別特徴Ｆに対するカテゴリ別識別器である。αFは、重み係数である。αFは、validation setでAverage Precisionが最大となるものが選ばれる。
【００４０】
本実施形態においては、ノイズ分布を除外してカテゴリ別識別器を生成し、ショット画像データのカテゴリを識別するようにしているので、カテゴリ識別精度を向上させることができる。
【００４１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４２】
１００：識別装置、１０１：データ入力部、１０２：個別特徴抽出部、１０３：バックグラウンドモデル生成部、１０４：ノイズ判別部、１０５：記憶装置、１０６：モデル生成部、１０７：高次特徴生成部、１０８：識別器生成部、１０９：識別部、２００：バックグラウンドモデル生成部、４００：カテゴリ別識別器学習装置、６００：カテゴリ識別装置
【図１】
2013254254.tif 000007
【図２】
2013254254.tif 000008
【図３】
2013254254.tif 000009
【図４】
2013254254.tif 000010
【図５】
2013254254.tif 000011
【図６】
2013254254.tif 000012
【図７】
2013254254.tif 000013