(57)【要約】【課題】画像辞書の精度を向上させること。【解決手段】ある意味ラベルに対応付けられた複数の学習画像について特徴量を抽出し、特徴量に基づいて、意味ラベルに対応付けられた複数の学習画像の特徴を示す全局代表情報を抽出し、特徴量をクラスタリングし、クラスタ毎にそのクラスタに含まれる特徴量に基づいて局所代表情報を抽出し、全局代表情報及び局所代表情報に基づいて、学習画像とクラスタとを対応付け、クラスタと複数の学習画像との対応付けに基づいて、各クラスタの識別器を生成し、識別器の組み合わせを意味ラベルの画像辞書として取得する。【選択図】図１
2015109024.tif 000002
【特許請求の範囲】
【請求項１】
ある意味ラベルに対応付けられた複数の学習画像について特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記意味ラベルに対応付けられた複数の学習画像の特徴を示す全局代表情報を抽出する全局代表情報抽出部と、
前記特徴量をクラスタリングし、クラスタ毎にそのクラスタに含まれる前記特徴量に基づいて局所代表情報を抽出する局所代表情報抽出部と、
前記全局代表情報及び前記局所代表情報に基づいて、前記学習画像と前記クラスタとを対応付ける学習画像対応付け部と、
前記クラスタと複数の学習画像との対応付けに基づいて、各クラスタの識別器を生成し、前記識別器の組み合わせを前記意味ラベルの画像辞書として取得する画像辞書生成部と、
を備える画像辞書生成装置。
【請求項２】
前記学習画像対応付け部は、前記全局代表情報及び前記局所代表情報に基づいて各学習画像と前記クラスタとの再構成誤差を算出し、前記再構成誤差が小さい順に前記学習画像と前記クラスタとを対応付ける、請求項１に記載の画像辞書生成装置。
【請求項３】
ある意味ラベルに対応付けられた複数の学習画像について特徴量を抽出する特徴量抽出ステップと、
前記特徴量に基づいて、前記意味ラベルに対応付けられた複数の学習画像の特徴を示す全局代表情報を抽出する全局代表情報抽出ステップと、
前記特徴量をクラスタリングし、クラスタ毎にそのクラスタに含まれる前記特徴量に基づいて局所代表情報を抽出する局所代表情報抽出ステップと、
前記全局代表情報及び前記局所代表情報に基づいて、前記学習画像と前記クラスタとを対応付ける学習画像対応付けステップと、
前記クラスタと複数の学習画像との対応付けに基づいて、各クラスタの識別器を生成し、前記識別器の組み合わせを前記意味ラベルの画像辞書として取得する画像辞書生成ステップと、
を有する画像辞書生成方法。
【請求項４】
請求項１又は２に記載の画像辞書生成装置としてコンピュータを動作させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像辞書を生成する技術に関する。
【背景技術】
【０００２】
従来の画像辞書生成方法として次のような方法がある。
まず、画像辞書の対象となる全ての意味ラベルに関する学習画像群から複数のトピックモデルが求められる。次に、個々の学習画像とトピックモデルとの類似度が算出される。次に、類似度の高い順で学習画像が複数のトピックに対応付けられる。次に、ある意味ラベルに関する画像辞書を構築するときに、各トピックに属する学習画像群から、その意味ラベルに付与された学習画像が収集される。次に、機械学習手法を用いてトピック毎の識別モデルが構築される。そして、トピック毎の識別モデルを合わせることによって、その意味ラベルの画像辞書が生成される（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】TRECVID 2012 Semantic Video Concept Detection by NTT-MD-DUTY. Sun, K. Sudo, Y. Taniguchi -- NTT Media Intelligence Laboratories, Japan H. Li, L. Yi, Y. Guan -- School of Software, Dalian University of Technology, China, http://www-nlpir.nist.gov/projects/tvpubs/tv12.papers/ntt.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しがしながら、上記の非特許文献１に示す画像辞書生成方法には、以下の問題がある。
意味ラベルが、画像における複数の要素（トピック）の組み合わせで構成されることがある。例えば、“ビーチ”という意味ラベルは、“海”、“太陽”、“砂”、“人”などの複数のトピックの組み合わせで構成される。その結果、複数のトピックを用いて画像の内容を再構成することが必要である。トピックが多数存在する場合、一部のトピックのみが用いられてしまうと、学習画像群（全局情報）の情報の利用が不十分となってしまう。そのため、画像辞書の精度が低くなるという問題がある。
【０００５】
また、画像の平均特徴ベクトルでトピックを表現する従来技術では、画像辞書の表現力が充分ではない。そのため、結果として意味ラベル付与の精度が低くなるという問題があった。
【０００６】
また、画像の意味が複数のトピックで構成される場合、各トピックの貢献度が異なることがある。例えば、“ビーチ”という画像の意味は、複数のトピック“海”、“太陽”、“砂”、“人”の組み合わせで表現される。しかし、“海”が大きく映され、“人”が小さく映される一枚の“ビーチ”の画像では、トピック“海”とトピック“人”とでは貢献度が異なる。このようなトピック毎の貢献度が処理に反映されていなかったため、意味ラベル付与の精度が低くなるという問題がある。
【０００７】
上記事情に鑑み、本発明は、画像辞書の精度を向上させることを可能とする技術の提供を目的としている。
【課題を解決するための手段】
【０００８】
本発明の一態様は、ある意味ラベルに対応付けられた複数の学習画像について特徴量を抽出する特徴量抽出部と、前記特徴量に基づいて、前記意味ラベルに対応付けられた複数の学習画像の特徴を示す全局代表情報を抽出する全局代表情報抽出部と、前記特徴量をクラスタリングし、クラスタ毎にそのクラスタに含まれる前記特徴量に基づいて局所代表情報を抽出する局所代表情報抽出部と、前記全局代表情報及び前記局所代表情報に基づいて、前記学習画像と前記クラスタとを対応付ける学習画像対応付け部と、前記クラスタと複数の学習画像との対応付けに基づいて、各クラスタの識別器を生成し、前記識別器の組み合わせを前記意味ラベルの画像辞書として取得する画像辞書生成部と、を備える画像辞書生成装置である。
【０００９】
本発明の一態様は、上記の画像辞書生成装置であって、前記学習画像対応付け部は、前記全局代表情報及び前記局所代表情報に基づいて各学習画像と前記クラスタとの再構成誤差を算出し、前記再構成誤差が小さい順に前記学習画像と前記クラスタとを対応付ける。
【００１０】
本発明の一態様は、ある意味ラベルに対応付けられた複数の学習画像について特徴量を抽出する特徴量抽出ステップと、前記特徴量に基づいて、前記意味ラベルに対応付けられた複数の学習画像の特徴を示す全局代表情報を抽出する全局代表情報抽出ステップと、前記特徴量をクラスタリングし、クラスタ毎にそのクラスタに含まれる前記特徴量に基づいて局所代表情報を抽出する局所代表情報抽出ステップと、前記全局代表情報及び前記局所代表情報に基づいて、前記学習画像と前記クラスタとを対応付ける学習画像対応付けステップと、前記クラスタと複数の学習画像との対応付けに基づいて、各クラスタの識別器を生成し、前記識別器の組み合わせを前記意味ラベルの画像辞書として取得する画像辞書生成ステップと、を有する画像辞書生成方法である。
【００１１】
本発明の一態様は、上記の画像辞書生成装置としてコンピュータを動作させるためのコンピュータプログラムである。
【発明の効果】
【００１２】
本発明により、画像辞書の精度を向上させることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】画像辞書生成装置の構成を示す概略ブロック図である。
【図２】画像辞書生成装置の処理の具体例を示すフローチャートである。
【図３】学習画像対応付け部が学習画像をトピックに対応付ける処理の具体例を示すフローチャートである。
【図４】画像辞書生成部が画像辞書を生成する処理の具体例を示すフローチャートである。
【図５】画像意味ラベル付与装置の構成を示す概略ブロック図である。
【図６】画像辞書生成装置によって生成された画像辞書を用いて、画像や映像に意味ラベルを付与する処理の具体例を表すフローチャートである。
【図７】画像辞書を用いて画像や映像に意味ラベルを付与する処理の概略を表す概略図である。
【発明を実施するための形態】
【００１４】
本発明における画像辞書生成装置の一実施例の詳細について説明する。
図１は、画像辞書生成装置１０の構成を示す概略ブロック図である。画像辞書生成装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、画像辞書生成プログラムを実行する。画像辞書生成装置１０は、画像辞書生成プログラムの実行によって、蓄積部１、学習画像群収集部２、特徴量抽出部３、代表情報抽出部４、学習画像対応付け部５及び画像辞書生成部６を備える装置として機能する。なお、画像辞書生成装置１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。画像辞書生成プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。
【００１５】
蓄積部１は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。蓄積部１は、事前に用意された学習画像を意味ラベル毎に蓄積する。学習画像と意味ラベルとの対応付けは、どのような処理によって行われても良い。例えば、人の手によって意味ラベルに学習画像が対応付けされても良い。例えば、Ｗｅｂ上に存在する画像及びタグを、対応付けられた学習画像及び意味ラベルとして取得しても良い。蓄積部１は、学習画像群収集部２から意味ラベルの指定を受けると、指定された意味ラベルに対応付けられた複数の学習画像を学習画像群収集部２に対して出力する。
【００１６】
学習画像群収集部２は、蓄積部１に対して意味ラベルの指定を出力することによって、指定された意味ラベルに対応付けられた複数の学習画像を受け取る。学習画像群収集部２は、受け取った複数の学習画像（以下、「学習画像群」という。）を特徴量抽出部３へ出力する。学習画像群には、各学習画像の意味ラベルに関する情報（以下、「意味ラベル情報」という。）も含まれる。
【００１７】
特徴量抽出部３は、学習画像群収集部２から意味ラベルに関する学習画像群を受け取る。特徴量抽出部３は、受け取った学習画像群に含まれる個々の学習画像について、特徴量を抽出する。特徴量抽出部３は、例えば、色ヒストグラムや模様ヒストグラムなどの特徴量（物理特徴量）を抽出しても良い。特徴量抽出部３は、学習画像を分割し、各領域から特徴量を抽出しても良い。特徴量抽出部３は、学習画像からＳＩＦＴ特徴点を抽出し、ＳＩＦＴなどの局所特徴量を抽出しても良い。特徴量抽出部３は、抽出された特徴量を局所代表情報抽出部４２へ出力する。
【００１８】
代表情報抽出部４は、代表情報を抽出する。代表情報抽出部４は、全局代表情報抽出部４１と、局所代表情報抽出部４２と、を備える。
【００１９】
全局代表情報抽出部４１は、特徴量抽出部３から抽出された学習画像群の特徴量を受け取る。全局代表情報抽出部４１は、受け取った特徴量に基づいて、全局代表情報を抽出する。全局代表情報は、一つの意味ラベルに対応付けられた学習画像群の全体の情報を簡潔且つ精度よく表す情報である。例えば、全局代表情報抽出部４１は、学習画像群の画像の全てのＳＩＦＴ特徴点における局所特徴量に基づき、全局代表情報を抽出してもよい。例えば、この処理にはsparse representation手法が適用されてもよい。sparse representation手法には、以下に示す参考文献１に開示された技術が適用されてもよい。
参考文献１：http://www.stanford.edu/class/cs294a/sparseAutoencoder_2011new.pdf
【００２０】
この手法により求められた基底ＤＳ（複数の特徴量で構成される行列Ｎ×Ｍ，Ｎは特徴量の次元数，Ｍ＞Ｎ）が全局代表情報である。全局代表情報抽出部４１は、抽出した全局代表情報を蓄積部１に格納する。また、全局代表情報抽出部４１は、抽出した全局代表情報を学習画像対応付け部５に出力する。
【００２１】
局所代表情報抽出部４２は、特徴量抽出部３によって抽出された複数の特徴量を受け取る。局所代表情報抽出部４２は、受け取った複数の特徴量についてクラスタリング処理を行い、複数のクラスタを生成する。生成された各クラスタが一つのトピックに対応する。例えば、クラスタリング処理は、k-means法、ＬＤＡ（Latent Dirichlet Allocation）法などを用いて実行されても良い。
【００２２】
クラスタリング処理では、特徴量から算出される画像類似度が近い画像群が、一つのクラスタ（トピック）として出力される。局所代表情報は、各クラスタに含まれる学習画像の情報を簡潔且つ精度よく表す情報である。例えば、局所代表情報抽出部４２は、クラスタに含まれる学習画像のＳＩＦＴ特徴点における局所特徴量に基づき、局所代表情報を抽出してもよい。例えば、この処理にはsparse representation手法が適用されてもよい。以下、局所代表情報をＤＩｃとして表す。ｃ＝１，２…Ｋである。Ｋはトピックの数である。
【００２３】
局所代表情報抽出部４２は、抽出された局所代表情報を蓄積部１に格納する。また、局所代表情報抽出部４２は、抽出された局所代表情報を学習画像対応付け部５へ出力する。
【００２４】
学習画像対応付け部５は、全局代表情報抽出部４１から、全局代表情報を受け取る。学習画像対応付け部５は、局所代表情報抽出部４２から、局所代表情報を受け取る。なお、以下の説明では、全体代表情報及び局所代表情報をまとめて「代表情報」と記載する。学習画像対応付け部５は、代表情報を用いて学習画像群の各画像の再構成誤差を取得する。学習画像対応付け部５は、再構成誤差が小さい画像から順に、各学習画像を複数のトピックに対応付ける。学習画像対応付け部５は、トピックと学習画像との対応関係を画像辞書生成部６へ出力する。
【００２５】
画像辞書生成部６は、学習画像対応付け部５からトピック毎の学習画像を受け取る。画像辞書生成部６は、画像辞書を生成しようとしている意味ラベル（以下、「処理対象意味ラベル」という。）に付与された学習画像を収集し、機械学習手法を用いてトピック毎の識別モデルを構築する。そして、画像辞書生成部６は、トピック毎の識別モデルを合わせて、処理対象意味ラベルの画像辞書を生成する。画像辞書生成部６は、生成した画像辞書を蓄積部１に格納する。
【００２６】
次に、全局代表情報及び局所代表情報について説明する。
sparse representationが用いられた場合、全局代表情報及び局所代表情報はそれぞれ以下の式１及び式２によって表される。
【数１】
2015109024.tif 000003
【００２７】
式１において、Ｄｃは全局代表情報と局所代表情報から構成される代表情報を表す基底である。ＤＳは全局代表情報を表す基底である。ＤＩｃは局所代表情報を表す基底である。
【数２】
2015109024.tif 000004
【００２８】
式２において、ＧｃはＤｃに対応する係数である。ＧＳｃは画像がＤＳで再構成されるときのＤＳに対応する係数である。ＧＩｃは画像があるＤＩｃ（ｃ＝１、２、・・・）で再構成されるときのＤＩｃに対応する係数である。
【００２９】
Ｄｃは、学習画像群のsparse codingの基底と個々のトピックの基底とを結合する。すなわち、［ＤＳ，ＤＩｃ］は行列を横に並べたものであり、Ｇｃは基底に対応する係数である。
参考文献１におけるトピックモデルは、１セットのパラメータ（k-meansによる平均特徴量など）で表される。これに対し、本実施形態では、全局代表情報及び局所代表情報を用いてトピックモデルが表される。このように全体の情報及び局所の情報が利用されるため、情報量ロスが少なく精度よくトピックの内容を表現できる。
【００３０】
図２は、画像辞書生成装置１０の処理の具体例を示すフローチャートである。以下、図２を用いて画像辞書生成装置１０の処理例について説明する。
【００３１】
まず、学習画像群収集部２が、蓄積部１から、意味ラベルに対応付けられた全ての学習画像（学習画像群）を読み出す（ステップＳ２０１）。次に、特徴量抽出部３が、読み出された学習画像群において、学習画像毎に特徴量を抽出する（ステップＳ２０２）。次に、全局代表情報抽出部４１が、全局代表情報を抽出する（ステップＳ２０３）。次に、局所代表情報抽出部４２が、特徴量抽出部３によって抽出された特徴量に対してクラスタリング処理を行う。そして、局所代表情報抽出部４２が、各クラスタの局所代表情報を抽出する（ステップＳ２０４）。
【００３２】
次に、学習画像対応付け部５が、代表情報に基づいて、学習画像群における各学習画像を各トピックに対応付ける（ステップＳ２０５）。
【００３３】
図３は、学習画像対応付け部５が学習画像をトピックに対応付ける処理の具体例を示すフローチャートである。まず、学習画像対応付け部５は、全ての意味ラベルに関する学習画像群（Ｎ枚の学習画像を含む：Ｎは１以上の整数）を読み出す（ステップＳ３０１）。次に、学習画像対応付け部５は、ステップＳ２０３及びステップＳ２０４において抽出された代表情報を読み出す（ステップＳ３０２）。
【００３４】
次に、学習画像対応付け部５は、変数ｎに１を代入する（ステップＳ３０３）。学習画像対応付け部５は、Ｋ個のトピックモデルを用いて、ｎ番目の学習画像（特徴量はｘｉ）の再構成誤差を算出する（ステップＳ３０４）。
Sparse codingが用いられる場合、ｃ番目のトピックモデルを用いて再構成する数式は以下の様に表される。
【数３】
2015109024.tif 000005
【００３５】
ｇｃｉは係数Ｇｃにおけるｉ番目の列の係数である。そして、ｎ番目の学習画像について、ｃ番目のトピックモデルを用いた再構成誤差は以下の数式で表される。
【数４】
2015109024.tif 000006
【００３６】
次に、学習画像対応付け部５は、学習画像群に含まれる全ての学習画像について再構成誤差の算出が完了したか否か判定する（ステップＳ３０５）。具体的には、学習画像対応付け部５は、変数ｎが学習画像群の枚数Ｎよりも小さいか否か判定する。変数ｎがＮよりも小さい場合（ステップＳ３０５−ＹＥＳ）、学習画像対応付け部５は、変数ｎをインクリメントしてステップＳ３０４の処理に戻る（ステップＳ３０７）。一方、変数ｎがＮ以上である場合（ステップＳ３０５−ＮＯ）、学習画像対応付け部５は、各トピックについて、算出された再構成誤差の小さい方から順に上位Ｐ個（Ｐは１以上の整数）の学習画像をそのトピックに対応付ける（ステップＳ３０６）。
【００３７】
Ｐの値は例えば以下の様に設定されてもよい。まず、再構成誤差εｉｃを小さい順に一列で並べる。例えば、（０．５８，０．６，０．６２，０．９５，０．９６，０．９８）のように再構成誤差が並べられる。次に、再構成誤差εｉｃを、一つ前の再構成誤差εｉｃで除算する。このようにして得られる値を前後で比較し、数値が急に高くなる時点までに処理されたトピックの数をＰとして採用する。上記の例では、０．９５の属するトピックよりも前のトピックが採用される。このような処理を行うことにより、上位Ｐ個を自動で決定することが可能となる。
【００３８】
以上の処理によって、学習画像が複数のトピックに対応付けられる。例えば、ＳＩＦＴ点や領域特徴量が用いられた場合、意味ラベル“ビーチ”に対応付けられた学習画像が、“太陽”、“人”、“海”のようなトピックに対応付けられる。
【００３９】
図２の説明に戻る。ステップＳ２０５の処理の後、画像辞書生成部６は、トピック毎に対応付けられた学習画像に基づいて、意味ラベルに関する画像辞書を生成する（ステップＳ２０６）。
【００４０】
図４は、画像辞書生成部６が画像辞書を生成する処理の具体例を示すフローチャートである。まず、画像辞書生成部６が、Ｍ個のトピックモデル毎に、各トピックモデルに対応付けられた複数の学習画像を読み込む（ステップＳ４０１）。次に、画像辞書生成部６が、変数ｃに１を代入する（ステップＳ４０２）。次に、画像辞書生成部６が、変数ｍに１を代入する（ステップＳ４０３）。
【００４１】
次に、画像辞書生成部６が、ｍ番目のトピックモデルに対応付けられた学習画像の中から、ｃ番目の意味ラベルに付与された学習画像を取得する（ステップＳ４０４）。この処理において、画像辞書生成部６は、このような条件に該当する全ての学習画像を取得する。次に、画像辞書生成部６が、取得された学習画像の数が所定の閾値以上であるか否か判定する（ステップＳ４０５）。所得された学習画像の数が所定の閾値以上である場合（ステップＳ４０５−ＹＥＳ）、画像辞書生成部６が、機械学習手法を用いて、ｃ番目の意味ラベルに関するｍ番目のトピックの識別器を生成する（ステップＳ４０６）。機械学習手法の具体例として、ＳＶＭ（Support vector machine）がある。識別器を生成する際に用いられる特徴量については、ステップＳ２０２において抽出される特徴量が物理的な特徴量（色や模様など）である場合、そのまま特徴量が使用されても良い。ステップＳ２０２において抽出される特徴量がＳＩＦＴ特徴点や領域特徴量の場合、ｎ番目の学習画像におけるｍ番目のトピックモデルとの類似度が一定の値以上である特徴点や領域特徴量を特徴量として用いれば良い。
【００４２】
ステップＳ４０５の処理において、取得された学習画像の数が所定の閾値未満である場合（ステップＳ４０５−ＮＯ）、又はステップＳ４０６の処理の後、画像辞書生成部６が、ｃ番目の意味ラベルに関して、全てのトピックに対してステップＳ４０４〜Ｓ４０６の処理が完了したか否か判定する（ステップＳ４０７）。処理が完了していないトピックが存在する場合、すなわち変数ｍがＭより小さい場合（ステップＳ４０７−ＹＥＳ）、画像辞書生成部６が、ｍをインクリメントして（ステップＳ４１０）、ステップＳ４０４の処理に戻る。
【００４３】
一方、ステップＳ４０７の処理において、全てのトピックについてステップＳ４０４〜Ｓ４０６の処理が完了した場合（ステップＳ４０７−ＮＯ）、すなわち変数ｍがＭ以上である場合、画像辞書生成部６が、各トピックの識別器をｃ番目の意味ラベルの画像辞書として蓄積部１に格納する（ステップＳ４０８）。
【００４４】
次に、画像辞書生成部６が、全ての意味ラベルに対してステップＳ４０８の処理が行われたか否か判定する（ステップＳ４０９）。ステップＳ４０８の処理が行われていない意味ラベルが存在する場合（ステップＳ４０９−ＹＥＳ）、すなわち変数ｃがＣよりも小さい場合、画像辞書生成部６が、変数ｃをインクリメントしてステップＳ４０３の処理に戻る。一方、全ての意味ラベルについてステップＳ４０８の処理が完了している場合（ステップＳ４０９−ＮＯ）、すなわち変数ｃがＣ以上である場合、画像辞書生成部６は処理を終了する。
【００４５】
図５は、画像意味ラベル付与装置２０の構成を示す概略ブロック図である。画像意味ラベル付与装置２０は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、画像意味ラベル付与プログラムを実行する。画像意味ラベル付与装置２０は、画像意味ラベル付与プログラムの実行によって、蓄積部２１、画像収集部２２、特徴量抽出部２３、対応付け部２４、類似度統合部２５及び画像意味ラベル付与部２６を備える装置として機能する。なお、画像意味ラベル付与装置２０の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。画像辞書生成プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。
【００４６】
蓄積部２１は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。蓄積部２１は、分類対象となる画像、代表情報、画像辞書等のデータを蓄積する。
【００４７】
画像収集部２２は、蓄積部２１に対して分類の指定を出力することによって、蓄積部２１に格納された分析対象画像を受け取る。画像収集部２２は、受け取った分析対象画像を特徴量抽出部２３へ出力する。
【００４８】
特徴量抽出部２３は、画像収集部２２から分析対象画像を受け取る。特徴量抽出部２３は、受け取った分析対象画像について、特徴量を抽出する。特徴量抽出部２３は、例えば、色ヒストグラムや模様ヒストグラムなどの特徴量（物理特徴量）を抽出しても良い。特徴量抽出部２３は、学習画像を分割し、各領域から特徴量を抽出しても良い。特徴量抽出部２３は、学習画像からＳＩＦＴ特徴点を抽出し、ＳＩＦＴなどの局所特徴量を抽出しても良い。特徴量抽出部２３が特徴量を抽出する際に用いるアルゴリズムは、画像辞書生成装置１０の特徴量抽出部３と同じアルゴリズムであることが望ましい。特徴量抽出部２３は、抽出された特徴量を対応付け部２４へ出力する。
【００４９】
対応付け部２４は、特徴量抽出部２３から受け取った特徴量と、蓄積部２１から受け取った代表情報と、に基づいて分析対象画像の再構成誤差を算出する。対応付け部２４は、再構成誤差が小さい順に複数のトピックに分析対象画像を対応付ける。対応付け部２４は、対応付けの結果を示す情報（対応付け情報）を類似度統合部２５へ出力する。
【００５０】
類似度統合部２５は、対応付け部２４から対応付け情報を受け取る。類似度統合部２５は、蓄積部２１から画像辞書を受け取る。類似度統合部２５は、分析対象画像と各トピックの識別器との類似度を算出する。類似度統合部２５は、対応付け部２４から受け取ったトピック毎の再構成誤差を用いて類似度を統合する。類似度統合部２５は、統合された結果を示す情報（統合情報）を画像意味ラベル付与部２６へ出力する。
【００５１】
画像意味ラベル付与部２６は、類似度統合部２５から受け取った統合情報を用いて、分析対象画像に意味ラベルを付与する。画像意味ラベル付与部２６は、意味ラベルが付与された画像を蓄積部２１に格納する。
【００５２】
図６は、画像辞書生成装置１０によって生成された画像辞書を用いて、画像意味ラベル付与装置２０が画像や映像に意味ラベルを付与する処理の具体例を表すフローチャートである。図７は、画像辞書を用いて画像や映像に意味ラベルを付与する処理の概略を表す概略図である。以下、画像辞書を用いて画像や映像に意味ラベルを付与する処理の具体例について説明する。
【００５３】
まず、意味ラベル付与装置２０は、全局代表情報及び局所代表情報を蓄積部１から取得する（ステップＳ５０１）。次に、意味ラベル付与装置２０は、意味ラベルの付与対象となる画像（例えばＪ枚）を読み込む（ステップＳ５０２）。次に、意味ラベル付与装置２０は、変数ｊに１を代入する（ステップＳ５０３）。次に、意味ラベル付与装置２０は、ｊ番目の画像とトピックモデルＤｃ（ｃ＝１、・・・、Ｋ）とを用いて、再構成誤差εｊｃを算出する。意味ラベル付与装置２０は、所定の閾値以下の再構成誤差が算出されたトピックモデルＤｃとｊ番目の画像とを対応付ける。例えば、図７において、クロス“×”で表示されているトピックモデル（Ｔ１及びＴｍ−１）と画像ｊとが対応付けられている。
【００５４】
次に、意味ラベル付与装置２０は、図７の表の列毎に、ｊが対応付けられたトピックモデルに関する特徴量とその列にある個々の識別器との類似度ｓｃとを算出する。そして、意味ラベル付与装置２０は、意味ラベルＣｉ（ｉ＝１，…，Ｌ：ｉ及びＬは１以上の整数）毎に算出した再構成誤差を重み付けとして用いて、算出された類似度ｓｃを統合することで、画像ｊと意味ラベルＣｉとの類似度を取得する。対応付けられた再構成誤差をεｊｃ’とすると、重み付けｗｊｃは以下の式５によって算出される。
【数５】
2015109024.tif 000007
【００５５】
Ｑは、行毎に画像ｊが対応するトピックの数を表す。画像ｊとある意味ラベルとの類似度は、式６によって算出される。
【数６】
2015109024.tif 000008
【００５６】
次に、意味ラベル付与装置２０は、ステップＳ５０５において取得された類似度の高い方から順にＲ個までの意味ラベルを画像ｊに付与する（ステップＳ５０６）。次に意味ラベル付与装置２０は、全ての画像に意味ラベルを付与したか否か判定する（ステップＳ５０７）。意味ラベルが付与されていない画像が存在する場合（ステップＳ５０７−ＹＥＳ）、すなわち変数ｊがＪよりも小さい場合、意味ラベル付与装置２０は変数ｊをインクリメントしてステップＳ５０４の処理に戻る。一方、意味ラベルが付与されていない画像が存在しない場合（ステップＳ５０７−ＮＯ）、すなわち変数ｊがＪ以上である場合、意味ラベル付与装置２０は処理を終了する。
【００５７】
画像辞書生成装置１０では、画像群の全体情報を表す全局代表情報と、画像群に分けられたトピックの局所代表情報とを用いて、画像が複数のトピックに対応付けられる。また、それぞれのトピックの画像への貢献度は、再構成誤差の逆数によって与えられる。それぞれのトピックの画像への貢献度を利用して、トピック毎の識別結果が統合される。これらの処理により、精度良く画像辞書を生成することが可能となる。
【００５８】
また、画像辞書生成装置１０では、全ての意味ラベルに関する学習画像群（様々な意味合いを持つ画像群）に基づいて、全ての意味ラベルに共通したトピックモデルが生成される。そのため、よりバリエーションに長けたトピックモデルを生成することが可能となる。例えば、“ビーチ”という意味ラベルに関する画像群のみから“人”のトピックモデルを生成する場合に比べて、“ビーチ”、“祭り”、“会議”、“野生”、“飲み会”などの豊富な意味ラベルに関する画像群から“人”のトピックモデルを生成した方が、より精度が良く汎用性の高いトピックモデルを生成することが可能となる。
【００５９】
なお、画像辞書の生成に際して機械学習手法が用いられるため、従来は学習データが多くなるにつれて処理時間が多くなるという問題もあった。例えば、非特許文献１のように一つの意味ラベルに対して全ての学習データを用いて一つの識別モデルを算出するような画像辞書生成方法では、学習画像の量に応じて膨大な処理時間を要してしまうという問題があった。このような問題に対し、画像辞書生成装置１０では、全ての意味ラベルに対して共通したトピックモデルを生成するため、学習画像の量が増大した場合に処理時間の増大を抑える事が可能となる。
また、意味ラベルが大量に存在する場合や、意味ラベル付与対象となる画像が大量に存在する場合、より効率よく意味ラベルを付与することが可能となる。
【００６０】
＜変形例＞
図３のフローチャートのステップＳ３０６の処理において、学習画像対応付け部５は、再構成誤差に基づいて他の基準でトピックと学習画像との対応付けを行っても良い。例えば、学習画像対応付け部５は、各トピックについて、予め定められた閾値以下の再構成誤差の画像を全てそのトピックに対応付けても良い。
【００６１】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００６２】
１０…画像辞書生成装置，  １…蓄積部，  ２…学習画像群収集部，  ３…特徴量抽出部，  ４…代表情報抽出部，  ４１…全局代表情報抽出部，  ４２…局所代表情報抽出部，  ５…学習画像対応付け部，  ６…画像辞書生成部，  ２０…画像意味ラベル付与装置，  ２１…蓄積部，  ２２…画像収集部，  ２３…特徴量抽出部，  ２４…対応付け部，  ２５…類似度統合部，  ２６…画像意味ラベル付与部
【図１】
2015109024.tif 000009
【図２】
2015109024.tif 000010
【図３】
2015109024.tif 000011
【図４】
2015109024.tif 000012
【図５】
2015109024.tif 000013
【図６】
2015109024.tif 000014
【図７】
2015109024.tif 000015