"音響付き動画像である映像と、前記映像を説明する情報である付加情報との関係性を学習する映像付加情報関係性学習装置であって、付加情報が予め付与された映像の集合である蓄積映像集合の要素である蓄積映像の各々から、画像の特性を表現するベクトルである蓄積画像特徴を抽出する蓄積画像特徴抽出手段と、前記蓄積映像集合の要素である蓄積映像の各々から、音響の特性を表現するベクトルである蓄積音響特徴を抽出する蓄積音響特徴抽出手段と、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報の各々から、付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出手段と、前記蓄積画像特徴の集合である蓄積画像特徴集合、前記蓄積音響特徴の集合である蓄積音響特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合に基づいて、前記蓄積付加情報特徴の各種類について、前記蓄積付加情報特徴が抽出される前記蓄積付加情報が付与された映像における前記蓄積画像特徴及び前記蓄積音響特徴と前記映像のトピックとの関係を表すトピックモデルに対する、前記蓄積付加情報が付与された蓄積映像について抽出された前記蓄積画像特徴の集合及び前記蓄積音響特徴の集合の尤度を最大化するように、前記トピックモデルのモデルパラメータの集合を学習する映像付加情報関係性学習手段とを含む映像付加情報関係性学習装置。前記映像付加情報関係性学習手段は、前記蓄積画像特徴集合、前記蓄積音響特徴集合、前記蓄積付加情報特徴集合、及び前記モデルパラメータの集合に基づいて、前記モデルパラメータの集合によって規定される前記トピックモデルに対する前記蓄積画像特徴の集合及び前記蓄積音響特徴の集合の尤度を計算するモデル尤度更新手段と、前記蓄積画像特徴集合、前記蓄積音響特徴集合、前記蓄積付加情報特徴集合、前記モデル尤度更新部によって計算された前記尤度、及び前記尤度に対応する前記モデルパラメータの集合に基づいて、前記モデルパラメータの集合を更新するモデルパラメータ更新手段と、を備える請求項1記載の映像付加情報関係性学習装置。入力映像から、画像の特性を表現するベクトルである入力画像特徴を抽出する入力画像特徴抽出手段と、前記入力映像から、音響の特性を表現するベクトルである入力音響特徴を抽出する入力音響特徴抽出手段と、前記入力画像特徴及び前記入力音響特徴を、前記学習した前記モデルパラメータの集合によって規定される前記トピックモデルに与え、前記蓄積付加情報集合から、前記入力映像との関連性の高い付加情報を選択する映像認識手段とを更に含む請求項1又は2に記載の映像付加情報関係性学習装置。音響付き動画像である映像と、前記映像を説明する情報である付加情報との関係性を学習する映像付加情報関係性学習装置において用いられる映像付加情報関係性学習方法であって、蓄積画像特徴抽出手段によって、付加情報が予め付与された映像の集合である蓄積映像集合の要素である蓄積映像の各々から、画像の特性を表現するベクトルである蓄積画像特徴を抽出するステップと、蓄積音響特徴抽出手段によって、前記蓄積映像集合の要素である蓄積映像の各々から、音響の特性を表現するベクトルである蓄積音響特徴を抽出するステップと、蓄積付加情報特徴抽出手段によって、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報の各々から、付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出するステップと、映像付加情報関係性学習手段によって、前記蓄積画像特徴の集合である蓄積画像特徴集合、前記蓄積音響特徴の集合である蓄積音響特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合に基づいて、前記蓄積付加情報特徴の各種類について、前記蓄積付加情報特徴が抽出される前記蓄積付加情報が付与された映像における前記蓄積画像特徴及び前記蓄積音響特徴と前記映像のトピックとの関係を表すトピックモデルに対する、前記蓄積付加情報が付与された蓄積映像について抽出された前記蓄積画像特徴の集合及び前記蓄積音響特徴の集合の尤度を最大化するように、前記トピックモデルのモデルパラメータの集合を学習するステップとを含む映像付加情報関係性学習方法。前記映像付加情報関係性学習手段によって学習するステップは、モデル尤度更新手段によって、前記蓄積画像特徴集合、前記蓄積音響特徴集合、前記蓄積付加情報特徴集合、及び前記モデルパラメータの集合に基づいて、前記モデルパラメータの集合によって規定される前記トピックモデルに対する前記蓄積画像特徴の集合及び前記蓄積音響特徴の集合の尤度を計算するステップと、モデルパラメータ更新手段によって、前記蓄積画像特徴集合、前記蓄積音響特徴集合、前記蓄積付加情報特徴集合、前記モデル尤度更新部によって計算された前記尤度、及び前記尤度に対応する前記モデルパラメータの集合に基づいて、前記モデルパラメータの集合を更新するステップと、を含む請求項4記載の映像付加情報関係性学習方法。入力画像特徴抽出手段によって、入力映像から、画像の特性を表現するベクトルである入力画像特徴を抽出するステップと、入力音響特徴抽出手段によって、前記入力映像から、音響の特性を表現するベクトルである入力音響特徴を抽出するステップと、映像認識手段によって、前記入力画像特徴及び前記入力音響特徴を、前記学習した前記モデルパラメータの集合によって規定される前記トピックモデルに与え、前記蓄積付加情報集合から、前記入力映像との関連性の高い付加情報を選択するステップとを更に含む請求項5又は6に記載の映像付加情報関係性学習方法。コンピュータを、請求項1~請求項3の何れか1項記載の映像付加情報関係性学習装置の各手段として機能させるためのプログラム。これらの技術は、画像情報のみを利用することで映像の認識を実現している。しかし、通常、映像には音響信号も同時に付与されている。この音響信号が映像の内容を理解する上で非常に重要となる事象が多数存在する。例えば、歌っている、歓声など、音響情報が観測されることでしか内容が明らかにならない事象だけでなく、サッカーのゴール、爆発など、音響情報が画像情報と同時に観測されることによって事象の内容がより明確になる場合が挙げられる。本発明は、このような事情を考慮してなされたものである。その目的は、映像に含まれる画像情報と音響情報との双方を利用し、かつその相互の共起関係を考慮して、それら情報と言語情報との関係性の学習をより高精度に行うことができる映像付加情報関係性学習装置、方法、及びプログラムを提供することにある。上記の目的を達成するために本発明に係る映像付加情報関係性学習装置は、音響付き動画像である映像と、前記映像を説明する情報である付加情報との関係性を学習する映像付加情報関係性学習装置であって、付加情報が予め付与された映像の集合である蓄積映像集合の要素である蓄積映像の各々から、画像の特性を表現するベクトルである蓄積画像特徴を抽出する蓄積画像特徴抽出手段と、前記蓄積映像集合の要素である蓄積映像の各々から、音響の特性を表現するベクトルである蓄積音響特徴を抽出する蓄積音響特徴抽出手段と、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報の各々から、付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出手段と、前記蓄積画像特徴の集合である蓄積画像特徴集合、前記蓄積音響特徴の集合である蓄積音響特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合に基づいて、前記蓄積付加情報特徴の各種類について、前記蓄積付加情報特徴が抽出される前記蓄積付加情報が付与された映像における前記蓄積画像特徴及び前記蓄積音響特徴と前記映像のトピックとの関係を表すトピックモデルに対する、前記蓄積付加情報が付与された蓄積映像について抽出された前記蓄積画像特徴の集合及び前記蓄積音響特徴の集合の尤度を最大化するように、前記トピックモデルのモデルパラメータの集合を学習する映像付加情報関係性学習手段とを含んで構成されている。本発明に係る映像付加情報関係性学習方法は、音響付き動画像である映像と、前記映像を説明する情報である付加情報との関係性を学習する映像付加情報関係性学習装置において用いられる映像付加情報関係性学習方法であって、蓄積画像特徴抽出手段によって、付加情報が予め付与された映像の集合である蓄積映像集合の要素である蓄積映像の各々から、画像の特性を表現するベクトルである蓄積画像特徴を抽出するステップと、蓄積音響特徴抽出手段によって、前記蓄積映像集合の要素である蓄積映像の各々から、音響の特性を表現するベクトルである蓄積音響特徴を抽出するステップと、蓄積付加情報特徴抽出手段によって、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報の各々から、付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出するステップと、映像付加情報関係性学習手段によって、前記蓄積画像特徴の集合である蓄積画像特徴集合、前記蓄積音響特徴の集合である蓄積音響特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合に基づいて、前記蓄積付加情報特徴の各種類について、前記蓄積付加情報特徴が抽出される前記蓄積付加情報が付与された映像における前記蓄積画像特徴及び前記蓄積音響特徴と前記映像のトピックとの関係を表すトピックモデルに対する、前記蓄積付加情報が付与された蓄積映像について抽出された前記蓄積画像特徴の集合及び前記蓄積音響特徴の集合の尤度を最大化するように、前記トピックモデルのモデルパラメータの集合を学習するステップとを含む。本発明によれば、蓄積画像特徴抽出手段によって、付加情報が予め付与された映像の集合である蓄積映像集合の要素である蓄積映像の各々から、画像の特性を表現するベクトルである蓄積画像特徴を抽出する。蓄積音響特徴抽出手段によって、前記蓄積映像集合の要素である蓄積映像の各々から、音響の特性を表現するベクトルである蓄積音響特徴を抽出する。蓄積付加情報特徴抽出手段によって、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報の各々から、付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する。そして、映像付加情報関係性学習手段によって、前記蓄積画像特徴の集合である蓄積画像特徴集合、前記蓄積音響特徴の集合である蓄積音響特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合に基づいて、前記蓄積付加情報特徴の各種類について、前記蓄積付加情報特徴が抽出される前記蓄積付加情報が付与された映像における前記蓄積画像特徴及び前記蓄積音響特徴と前記映像のトピックとの関係を表すトピックモデルに対する、前記蓄積付加情報が付与された蓄積映像について抽出された前記蓄積画像特徴の集合及び前記蓄積音響特徴の集合の尤度を最大化するように、前記トピックモデルのモデルパラメータの集合を学習する。このように、蓄積映像の各々から抽出される蓄積画像特徴及び蓄積音響特徴と、付与された付加情報の集合から抽出される蓄積付加情報特徴とから、蓄積付加情報特徴が抽出される蓄積付加情報が付与された映像における蓄積画像特徴及び蓄積音響特徴と映像のトピックとの関係を表すトピックモデルを学習することにより、映像に含まれる画像情報と音響情報との双方を利用し、かつその相互の共起関係を考慮して、それら情報と言語情報との関係性の学習をより高精度に行うことができる。本発明に係るプログラムは、上記の映像付加情報関係性学習装置の各手段としてコンピュータを機能させるためのプログラムである。以上説明したように、本発明の映像付加情報関係性学習装置、方法、及びプログラムによれば、蓄積映像の各々から抽出される蓄積画像特徴及び蓄積音響特徴と、付与された付加情報の集合から抽出される蓄積付加情報特徴とから、蓄積付加情報特徴が抽出される蓄積付加情報が付与された映像における蓄積画像特徴及び蓄積音響特徴と映像のトピックとの関係を表すトピックモデルを学習することにより、映像に含まれる画像情報と音響情報との双方を利用し、かつその相互の共起関係を考慮して、それら情報と言語情報との関係性の学習をより高精度に行うことができる、という効果が得られる。以下、図面を参照して本発明の実施の形態を詳細に説明する。第1の実施の形態<システム構成>図1は、本発明の第1の実施の形態に係る映像付加情報関係性学習装置100を示すブロック図である。映像付加情報関係性学習装置100は、映像を説明する情報である付加情報が予め付与された映像画像信号音響信号の集合である蓄積映像集合、及び映像に付与された付加情報の集合である蓄積付加情報集合を入力し、映像と付加情報との関係性を記述するモデルである映像付加情報関係モデルを出力する装置であり、具体的にはCPUCentralProcessingUnitと、RAMと、後述するモデル学習処理ルーチンを実行するためのプログラムを記憶したROMとを備えたコンピュータで構成され、機能的には次に示すように構成されている。映像付加情報関係性学習装置100は、入力部10、演算部20、及び出力部30を備えている。入力部10は、映像を説明する情報である付加情報が予め付与された映像の集合である蓄積映像集合、及び映像に付与された付加情報の集合である蓄積付加情報集合の入力を受け付ける。演算部20は、蓄積付加情報データベース1、蓄積映像データベース2、蓄積付加情報特徴抽出部3、蓄積画像特徴抽出部4、蓄積音響特徴抽出部5、特徴データベース6、映像付加情報間関係性学習部7を備えている。蓄積付加情報データベース1は、入力された蓄積付加情報集合を記憶する。蓄積映像データベース2は、入力された蓄積映像集合を記憶する。蓄積画像特徴抽出部4は、蓄積映像集合を入力し、蓄積映像集合の要素である蓄積映像のそれぞれから、各蓄積映像に含まれる画像信号の特性を表現するベクトルである完全蓄積画像特徴を抽出し、蓄積画像特徴の集合である蓄積画像特徴集合を出力する。蓄積画像特徴の抽出方法は、特に限定されるものではないが、ここでは、蓄積画像基礎特徴抽出部41と、蓄積画像区間特徴抽出部42とを用いる方法について記述する。蓄積画像基礎特徴抽出部41は、蓄積映像集合を入力し、蓄積映像のそれぞれから、各蓄積映像に含まれる画像信号の特性を表現するベクトルである蓄積画像基礎特徴を抽出し、その蓄積画像基礎特徴の集合である蓄積画像基礎特徴集合を出力する。蓄積画像基礎特徴の抽出方法は、特に限定されるものではないが、例えば、蓄積映像の構成要素たる画像信号の各フレームである蓄積画像のそれぞれから、以下のような方法、及びそれらの任意の組み合わせによって特徴を抽出する方法が考えられる。色ヒストグラム画像中の各小領域のディジタルコサイン変換の低周波成分HaarWaveletの低周波及び/または高周波成分のヒストグラム高次局所自己相関特徴参考文献1NOtsuandTKuritaAnewschemeforpracticalflexibleandintelligentvisionsystemsProcIAPRWorkshoponComputerVisionpp4314351988参照SIFT参考文献2DLoweDistinctiveimagefeaturesfromscaleinvariantkeypointsInternationalJournalofComputerVisionVol60No2pp911102004参照及びその各種改良BagofFeatures参考文献3GCsurkaCBrayCDanceandLFanVisualcategorizationwithbagsofkeypointsinProcofECCVWorkshoponStatisticalLearninginComputerVisionpp59-742004参照このようにして、蓄積画像基礎特徴抽出部41は、蓄積画像基礎特徴を抽出し、これらの集合である蓄積画像基礎特徴集合を出力する。蓄積画像区間特徴抽出部42は、蓄積画像基礎特徴集合を入力し、蓄積映像の各々から、その映像に含まれる画像信号の特性を表現するベクトルである蓄積画像区間特徴を抽出し、その蓄積画像区間特徴の集合である蓄積画像区間特徴集合を出力する。蓄積画像区間特徴の抽出方法は、特に限定されるものではないが、例えば、1つの蓄積映像に含まれる各蓄積画像フレームから抽出した蓄積画像基礎特徴を、BagofFeaturesと同様の方法で作成したヒストグラムを、蓄積画像区間特徴として採用する方法が考えられる参考文献4KKashinoTKurozumiandHMuraseAquicksearchmethodforaudioandvideosignalsbasedonhistogrampruningIEEETransactionsonMultimediaVol5No3pp3483572003参照。このようにして、蓄積画像区間特徴抽出部42は、蓄積画像区間特徴を抽出し、これらの集合である蓄積画像区間特徴集合を出力する。蓄積音響特徴抽出部5は、蓄積映像集合を入力し、蓄積映像集合の要素である蓄積映像のそれぞれから、各蓄積映像に含まれる音響信号の特性を表現するベクトルである蓄積音響特徴を抽出し、蓄積音響特徴の集合である蓄積音響特徴集合を出力する。蓄積音響特徴の抽出方法は,特に限定されるものではないが、ここでは、蓄積音響基礎特徴抽出部51と、蓄積音響区間特徴抽出部52とを用いる方法について記述する。蓄積音響基礎特徴抽出部51は、蓄積映像集合を入力し、蓄積映像のそれぞれから、各蓄積映像に含まれる音響信号の特性を表現するベクトルである蓄積音響基礎特徴を抽出し、その蓄積音響基礎特徴の集合である蓄積音響基礎特徴集合を出力する。蓄積音響基礎特徴の抽出方法は、特に限定されるものではないが、例えば、各蓄積映像の構成要素たる音響信号に分析窓をかけ、各分析窓から以下のような方法、及びそれらの任意の組み合わせによって特徴を抽出する方法が考えられる。メル周波数ケプストラム係数参考文献5JFooteContentbasedretrievalofmusicandaudioInMultimediaStorageandArchivingSystemsIIProcofSPIEvolume3229pages138-1471997参照デルタケプストラム参考文献6SFuruiSpeakerindependentisolatedwordrecognitionusingdynamicfeaturesspeechspectrumIEEETransactionsonAcousticsSpeechandSignalProcessingVol34No1pp52591986参照帯域通過フィルタバンク参考文献7柏野スミス村瀬ヒストグラム特徴を用いた音響信号の高速探索法―時系列アクティブ探索法―電子情報通信学会論文誌VolJ82D2No9pp136513731998このようにして、蓄積音響基礎特徴抽出部51は、蓄積音響基礎特徴を抽出し、これらの集合である蓄積音響基礎特徴集合を出力する。蓄積音響区間特徴抽出部52は、蓄積音響基礎特徴集合を入力し、各蓄積映像から、その映像に含まれる音響信号の特性を表現するベクトルである蓄積音響区間特徴を抽出し、その蓄積音響区間特徴の集合である蓄積音響区間特徴集合を出力する。蓄積音響区間特徴の抽出方法は、特に限定されるものではないが、例えば、1つの蓄積映像に含まれる各分析窓から抽出した蓄積音響基礎特徴を、BagofFeaturesと同様の方法で作成したヒストグラムを、蓄積音響区間特徴として採用する方法が考えられる。このようにして、蓄積音響区間特徴抽出部52は、蓄積音響区間特徴を抽出し、これらの集合である蓄積音響区間特徴集合を出力する。蓄積付加情報特徴抽出部3は、蓄積付加情報集合を入力し、蓄積付加情報集合の要素である蓄積付加情報のそれぞれから、付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出し、この蓄積付加情報特徴の集合である蓄積付加情報特徴集合を出力する。蓄積付加情報特徴の抽出方法は、特に限定されるものではないが、本実施の形態においては、付加情報として言語ラベルを想定し、その言語ラベルに対応する番号、もしくは、その言語ラベルの有無を表現する2値ベクトルを蓄積付加情報特徴とする。後者の場合、蓄積付加情報特徴は、以下のように構成される。蓄積付加情報特徴は、考慮すべき言語ラベルの総数と同数の次元を持つベクトルであり、ベクトルの各次元が言語ラベルに対応する。以降、便宜的に、言語ラベルを、上記ベクトルにおいて対応する次元のインデックスを用いて表現する。蓄積付加情報に第i番目の言語ラベルが含まれている場合には、蓄積付加情報特徴の第i次元を1とし、そうでない場合には、0とする。あるいは、上記の方法で作成した特徴を、主成分分析を用いて圧縮した多次元ベクトルを蓄積付加情報特徴としても良い。このようにして、蓄積付加情報特徴抽出部3は、蓄積付加情報特徴を抽出し、この蓄積付加情報特徴の集合である蓄積付加情報特徴集合を出力する。特徴データベース6は、抽出された蓄積画像特徴集合としての蓄積画像区間特徴集合、蓄積音響特徴集合としての蓄積音響区間特徴集合、及び蓄積付加情報特徴集合を記憶する。映像付加情報間関係性学習部7は、蓄積音響特徴集合、蓄積画像特徴集合、及び蓄積付加情報特徴集合を入力し、これら集合から、映像と付加情報との関係性を記述するモデルである映像付加情報関係モデルを学習し、この映像付加情報関係モデルを出力する。映像付加情報関係モデルの学習方法は、特に限定されるものではないが、ここでは、モデル尤度更新部71と、モデルパラメータ更新部72とを用いる方法について説明する。なお、映像付加情報関係モデルの構成は、図2に示すような、各カテゴリについて、当該カテゴリが付与された映像における画像特徴及び音響特徴と映像のトピックとの関係を表すトピックモデルであり、以下の式で表される。ここで、cはカテゴリであり、ηは、カテゴリ生起の多項分布パラメータであり、C次元ベクトルであるCはカテゴリ数である。Zは、映像のトピックであり、πは、トピック生成の多項分布パラメータであり、K次元ベクトルであるKはトピック数である。θは、π生成のディリクレパラメータであり、C個のK次元ベクトルである。Xは、動画像の単語量子化された画像特徴、すなわち、蓄積画像区間特徴が表わすヒストグラムの各要素であり、WXを動画像の単語の種類数蓄積画像区間特徴が表わすヒストグラムの要素数とする。βは、動画像単語の多項分布パラメータであり、K個のMX次元ベクトルである。φXは、β生成のディリクレパラメータであり、MX次元ベクトルである。Yは音響単語量子化された音響特徴、すなわち、蓄積音響区間特徴が表わすヒストグラムの各要素であり、WYを音響単語の種類数蓄積音響区間特徴が表わすヒストグラムの要素数とする。αは、音響単語の多項分布パラメータであり、K個のMY次元ベクトルである。φYは、α生成のディリクレパラメータであり、MY次元ベクトルである。Vは、映像の数であり、Nvは映像vにおける単語の生起数フレーム数である。上記図2に示すトピックモデルは、V個の映像の各々について、Nv個の音響単語及び画像単語を有する映像のトピックが生成されることを表している。なお、本実施の形態では、言語ラベルが上記カテゴリに対応していることに注意する。また、映像付加情報関係モデルは、カテゴリごとに構築学習されることに注意する。すなわち、蓄積付加情報特徴の第i次元が1である特徴集合のみを利用して第i番目の映像付加情報関係モデルが構築学習される。モデル尤度更新部71は、蓄積画像特徴集合、蓄積音響特徴集合、蓄積付加情報特徴集合、及び映像付加情報関係モデルを記述するモデルパラメータの集合である映像付加情報関係モデルパラメータ集合を入力し、この映像付加情報関係モデルパラメータによって規定されるトピックモデルに対する蓄積画像特徴集合及び蓄積音響特徴集合の尤度である映像付加情報関係モデル尤度を計算し、この映像付加情報関係モデル尤度を出力する。モデルパラメータ更新部72は、蓄積画像特徴集合、蓄積音響特徴集合、映像付加情報関係モデル尤度、及び前の時点での映像付加情報関係モデルパラメータ集合を入力し、映像付加情報関係モデルパラメータ集合を更新し、更新後の映像付加情報関係モデルパラメータ集合を出力する。映像付加情報関係モデル尤度の計算方法及び映像付加情報関係モデルパラメータの更新方法は、特に限定されるものではないが、ここでは、下記に示す2通りの実施例について記述する。なお、映像付加情報関係モデルパラメータ集合は、π、θ、β、φX、α、φYで構成される。第1の実施例StandardGibbssamplingまず、モデル尤度更新部71は、言語ラベルiに対するトピックモデルについて、以下の1式に示すトピックの条件付き確率分布を算出する。Dirは、ディリクレ分布であり、Iは指示関数indicatorfunctionである。モデル尤度更新部71は、上記1式に示す確率分布に基づいて、各蓄積映像vにおける各区間nについて、以下の9式に従って、トピックZvnのサンプルを所定の数だけ生成する。このトピックのサンプルの集合から得られる経験分布を、言語ラベルiに対するトピックモデルにおける映像付加情報関係モデル尤度として採用する。モデルパラメータ更新部72は、言語ラベルiに対するトピックモデルについて、以下の10式~12式に示す更新式にしたがって、映像付加情報関係モデルパラメータ集合のうち、π、β、αのサンプルを所定の数だけ生成し、例えば、その期待値を採用することで、映像付加情報関係モデルパラメータ集合を更新する。各言語ラベルiに対するトピックモデルについて、モデル尤度更新部71及びモデルパラメータ更新部72は交互に繰り返される。モデルパラメータ更新部72は、以下の13式に従って、統計量perplexityを計算し、計算された統計量perplexityが収束したと判定した場合には、モデル尤度更新部71及びモデルパラメータ更新部72の繰り返しを終了し、その時点における映像付加情報関係モデルパラメータ集合を、言語ラベルiに対する映像付加情報関係モデルトピックモデルとして出力する。第2の実施例StandardvariationalBayesまず、潜在変数トピックZの事後分布pを、以下の17式に示す分布qで近似する。実際には、qzvn=kの計算は複雑であるため、以下の19式に示す近似を用いる。モデル尤度更新部71は、言語ラベルiに対するトピックモデルについて、言語ラベルiに対するトピックモデルの映像付加情報関係モデル尤度として、上記の19式に示すトピックの確率分布を算出する。モデルパラメータ更新部72は、言語ラベルiに対するトピックモデルについて、以下の24式~26式に示す更新式にしたがって、映像付加情報関係モデルパラメータ集合のうち、π、β、αの条件付き確率分布を更新する。モデルパラメータ更新部72は、必要に応じて、上記の条件付き確率の最尤解として、パラメータそのものπ、β、αを、上記14式~16式にしたがって更新する。各言語ラベルiに対するトピックモデルについて、モデル尤度更新部71及びモデルパラメータ更新部72は交互に繰り返される。モデルパラメータ更新部72は、上記13式に従って、統計量perplexityを計算し、計算された統計量perplexityが収束したと判定した場合には、モデル尤度更新部71及びモデルパラメータ更新部72の繰り返しを終了し、その時点における映像付加情報関係モデルパラメータ集合を、言語ラベルiに対する映像付加情報関係モデルトピックモデルとして出力する。<映像付加情報関係性学習装置の作用>次に、第1の実施の形態に係る映像付加情報関係性学習装置100の作用について説明する。まず、付加情報が与えられた蓄積映像集合、及びその付加情報の集合である蓄積付加情報集合が、映像付加情報関係性学習装置100に入力されると、映像付加情報関係性学習装置100によって、入力された蓄積付加情報集合が、蓄積付加情報データベース1へ格納され、入力された蓄積映像集合が、蓄積映像データベース2へ格納される。そして、映像付加情報関係性学習装置100によって、図3に示すモデル学習処理ルーチンが実行される。まず、ステップS101において、蓄積映像集合の各蓄積映像から、フレーム毎に蓄積画像基礎特徴を抽出し、そして、ステップS102において、上記ステップS101で抽出された蓄積画像基礎特徴に基づいて、蓄積映像集合の各蓄積映像について、各区間の蓄積画像区間特徴を抽出して、特徴データベース6へ格納する。次のステップS103では、蓄積映像集合の各蓄積映像から、分析窓毎に蓄積音響基礎特徴を抽出し、そして、ステップS104において、上記ステップS103で抽出された蓄積音響基礎特徴に基づいて、蓄積映像集合の各蓄積映像について、各区間の蓄積音響区間特徴を抽出して、特徴データベース6へ格納する。そして、ステップS105において、蓄積付加情報集合の各付加情報から、蓄積付加情報特徴を抽出して、特徴データベース6へ格納する。ステップS106では、付加情報言語ラベルを識別するための変数iに、初期値である0を設定する。次のステップS107では、言語ラベルiに対するトピックモデルのモデルパラメータの集合に、初期値をそれぞれ設定する。ステップS108において、上記9式又は19式を用いて、映像付加情報関係モデル尤度を計算し、ステップS109において、上記ステップS108で計算した映像付加情報関係モデル尤度に基づいて、上記10式~12式を用いて、モデルパラメータの集合を更新するか、あるいは上記24式~26式を用いて、モデルパラメータの集合の条件付き確率分布を更新すると共に上記14式~16式を用いて、モデルパラメータの集合を更新する。そして、ステップS110において、上記13式に基づいて計算される統計量に基づいて、収束したか否かを判定する。収束していないと判定された場合には、上記ステップS108へ戻るが、一方、収束したと判定された場合には、ステップS111へ進む。ステップS111では、全ての言語ラベルについて、上記ステップS107~S110の処理を実行したか否かを判定し、上記ステップS107~S110の処理を実行していない言語ラベルが存在する場合には、ステップS112において、変数iを1インクリメントとして、上記ステップS107へ戻る。一方、全ての言語ラベルについて、上記ステップS107~S110の処理を実行した場合には、ステップS113において、上記ステップS109によって最終的に更新されたモデルパラメータの集合を出力部30により出力して、モデル学習処理ルーチンを終了する。以上説明したように、第1の実施の形態に係る映像付加情報関係性学習装置によれば、蓄積映像の各々から抽出される蓄積画像特徴及び蓄積音響特徴と、付与された付加情報の集合から抽出される蓄積付加情報特徴とから、各言語ラベルについて、付加情報として言語ラベルが付与された映像における蓄積画像特徴及び蓄積音響特徴と映像のトピックとの関係を表すトピックモデルを学習することにより、映像に含まれる画像情報と音響情報との双方を利用し、かつその相互の共起関係を考慮して、それら情報と言語情報との関係性の学習をより高精度に行うことができる。第2の実施の形態<システム構成>次に、本発明の第2の実施の形態について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。第2の実施の形態では、モデル尤度の計算方法と、モデルパラメータの計算方法とが第1の実施の形態と異なっている。図4に示すように、第2の実施の形態に係る映像付加情報関係性学習装置200の演算部220は、蓄積付加情報データベース1、蓄積映像データベース2、蓄積付加情報特徴抽出部3、蓄積画像特徴抽出部4、蓄積音響特徴抽出部5、特徴データベース6、映像付加情報間関係性学習部207を備えている。映像付加情報間関係性学習部207は、蓄積音響特徴集合、蓄積画像特徴集合、及び蓄積付加情報特徴集合を入力し、これら集合から、映像と付加情報との関係性を記述するモデルである映像付加情報関係モデルを学習し、この映像付加情報関係モデルを出力する。映像付加情報関係モデルの学習方法は、特に限定されるものではないが、ここでは、モデル尤度更新部271と、モデルパラメータ更新部272とを用いる方法について説明する。モデル尤度更新部271は、蓄積画像特徴集合、蓄積音響特徴集合、蓄積付加情報特徴集合、及び映像付加情報関係モデルパラメータ集合を入力し、この映像付加情報関係モデルパラメータ集合を繰り返し更新しながら、映像付加情報関係モデルパラメータ集合によって規定されるトピックモデルに対する蓄積画像特徴集合及び蓄積音響特徴集合の尤度映像付加情報関係モデル尤度を計算し、最終的に得られた映像付加情報関係モデル尤度を出力する。モデルパラメータ更新部272は、蓄積画像特徴集合、蓄積音響特徴集合、映像付加情報関係モデル尤度、及びモデル尤度更新部271により得られた映像付加情報関係モデルパラメータ集合を入力し、映像付加情報関係モデルパラメータを更新し、更新後の映像付加情報関係モデルパラメータを出力する。映像付加情報関係モデル尤度の計算方法及び映像付加情報関係モデルパラメータの更新方法は、特に限定されるものではないが、ここでは、下記に示す2通りの実施例について記述する。なお、映像付加情報関係モデルパラメータ集合は、π、θ、β、φX、α、φYで構成される。第3の実施例CollapsedGibbssamplingまず、モデル尤度更新部271は、言語ラベルiに対するトピックモデルについて、以下の29式に示すトピックの条件付き確率分布を算出する。上記29式に示す確率分布に基づいて、ある1つのv、nの組を固定して、トピックZvnのサンプルを所定の数だけ生成する。この手順を、v、nを順に変化させながら繰り返して、各蓄積映像vにおける各区間nについて、言語ラベルiに対するトピックモデルにおける、トピックZvnのサンプルを生成する。モデル尤度更新部271は、言語ラベルiに対するトピックモデルについて、上記13式に従って、統計量perplexityを計算し、計算された統計量perplexityが収束していないと判定した場合には、上記29式に示す確率分布の計算、及びトピックのサンプルの生成を繰り返して、トピックのサンプルの集合を更新する。計算された統計量perplexityが収束したと判定した場合には、上記29式に示す確率分布の計算、及びトピックのサンプルの生成の繰り返しを終了し、その時点におけるトピックのサンプルの集合から得られる経験分布を、言語ラベルiに対するトピックモデルの映像付加情報関係モデル尤度として採用する。なお、上記13式による統計量perplexityの計算の際には、上記式を用いて、映像付加情報関係モデルパラメータ集合を計算すればよい。また、初期設定された映像付加情報関係モデルパラメータ集合を用いてもよい。第4の実施例CollapsedvariationalBayesまず、潜在変数トピックZの事後分布pを、以下の30式に示す分布qで近似する。近似した部分の事後分布は、以下の31式で繰り返し更新される。実際には上記の事後分布を計算することはできないため、モデル尤度更新部271は、言語ラベルiに対するトピックモデルについて、映像付加情報関係モデル尤度として、以下の32式に示すトピックの確率分布を算出する。モデル尤度更新部271は、上記13式に従って、統計量perplexityを計算し、計算された統計量perplexityが収束していないと判定した場合には、上記32式に示す映像付加情報関係モデル尤度の計算を繰り返す。計算された統計量perplexityが収束したと判定した場合には、上記32式に示す映像付加情報関係モデル尤度の計算を終了し、その時点における映像付加情報関係モデル尤度を出力する。このようにして、モデル尤度更新部271は、各言語ラベルiに対するトピックモデルについて、映像付加情報関係モデル尤度を算出して出力する。第3の実施例、第4の実施例CollapsedGibbssampling、CollapsedvariationalBayesモデルパラメータ更新部272は、言語ラベルiに対するトピックモデルについて、上記14式~16式にしたがって、映像付加情報関係モデルパラメータのうち、π、β、αを更新する。このようにして、モデルパラメータ更新部272は、各言語ラベルiに対するトピックモデルにおける映像付加情報関係モデルパラメータ集合を更新して出力する。なお、第2の実施の形態に係る映像付加情報関係性学習装置200の他の構成については、第1の実施の形態と同様であるため、説明を省略する。<映像付加情報関係性学習装置の作用>次に、第2の実施の形態に係るモデル学習処理ルーチンについて、図5を用いて説明する。なお、第1の実施の形態と同様の処理については、同一符号を付して説明を省略する。まず、ステップS101において、蓄積映像集合の各蓄積映像から、フレーム毎に蓄積画像基礎特徴を抽出し、そして、ステップS102において、蓄積映像集合の各蓄積映像について、各区間の蓄積画像区間特徴を抽出して、特徴データベース6へ格納する。次のステップS103では、蓄積映像集合の各蓄積映像から、分析窓毎に蓄積音響基礎特徴を抽出し、そして、ステップS104において、蓄積映像集合の各蓄積映像について、各区間の蓄積音響区間特徴を抽出して、特徴データベース6へ格納する。そして、ステップS105において、蓄積付加情報集合の各付加情報から、蓄積付加情報特徴を抽出して、特徴データベース6へ格納する。ステップS106では、付加情報言語ラベルを識別するための変数iに、初期値である0を設定する。次のステップS201では、上記29式を用いて、言語ラベルiに対するトピックモデルにおけるトピックのサンプルの集合を生成する。上記13式に基づいて計算される統計量に基づいて、収束したか否かを判定し、収束したと判定されるまで、トピックのサンプリングを行い、最終的に生成されたトピックのサンプルの集合に基づいて、言語ラベルiに対するトピックモデルにおける映像付加情報関係モデル尤度を計算する。あるいは、ステップS201で、上記32式に従って、言語ラベルiに対するトピックモデルにおける映像付加情報関係モデル尤度を計算し、上記13式に基づいて計算される統計量に基づいて、収束したか否かを判定し、収束したと判定されるまで、映像付加情報関係モデル尤度の計算を行い、最終的に計算された映像付加情報関係モデル尤度を、言語ラベルiに対するトピックモデルにおける映像付加情報関係モデル尤度とする。そして、ステップS204において、上記ステップS201で計算した映像付加情報関係モデル尤度に基づいて、上記14式~16式を用いて、言語ラベルiに対するトピックモデルにおけるモデルパラメータの集合を計算する。そして、ステップS112において、変数iを1インクリメントとして、上記ステップS201へ戻る。一方、全ての言語ラベルについて、上記ステップS201~S204の処理を実行した場合には、ステップS113において、上記ステップS204によって計算された、各言語ラベルiに対するトピックモデルにおけるモデルパラメータの集合を出力部30により出力して、モデル学習処理ルーチンを終了する。以上説明したように、第2の実施の形態に係る映像付加情報関係性学習装置によれば、蓄積映像の各々から抽出される蓄積画像特徴及び蓄積音響特徴と、付与された付加情報の集合から抽出される蓄積付加情報特徴とから、各言語ラベルについて、付加情報として言語ラベルが付与された映像における蓄積画像特徴及び蓄積音響特徴と映像のトピックとの関係を表すトピックモデルを学習することにより、映像に含まれる画像情報と音響情報との双方を利用し、かつその相互の共起関係を考慮して、それら情報と言語情報との関係性の学習をより高精度に行うことができる。第3の実施の形態<システム構成>次に、本発明の第3の実施の形態について説明する。なお、第3の実施の形態に係る映像付加情報関係性学習装置の構成は、第1の実施の形態と同様であるため、同一符号を付して説明を省略する。第3の実施の形態では、映像付加情報関係モデルとしてのトピックモデルの構成が、第1の実施の形態と異なっている。蓄積画像基礎特徴抽出部41は、蓄積映像の構成要素たる画像信号の各フレームである蓄積画像について、蓄積画像基礎特徴として、画像の局所特徴量を抽出し、その蓄積画像基礎特徴の集合である蓄積画像基礎特徴集合を出力する。局所特徴量としては、例えば、Harris-Laplae法によって抽出された特徴量の各位置におけるSIFTScaleInbariantFeatureTransform特徴量を用いればよい。蓄積画像区間特徴抽出部42は、蓄積画像基礎特徴集合を入力し、蓄積映像の各フレームから、そのフレームに含まれる画像信号の特性を表現するベクトルである蓄積画像フレーム特徴を抽出する。例えば、フレームに含まれる各特徴点の位置から抽出した局所特徴量を、BagofFeaturesと同様の方法で作成したヒストグラムを、蓄積画像フレーム特徴として採用する。また、蓄積画像区間特徴抽出部42は、蓄積画像フレーム特徴の集合を入力し、蓄積映像の各々から、その蓄積映像に含まれる画像信号の特性を表現するベクトルである蓄積画像区間特徴を抽出し、その蓄積画像区間特徴の集合である蓄積画像区間特徴集合を出力する。例えば、1つの映像に含まれる各フレームから抽出した蓄積画像フレーム特徴を、BagofFeaturesと同様の方法で作成したヒストグラムを、蓄積画像区間特徴として採用する。蓄積音響基礎特徴抽出部51は、蓄積映像集合を入力し、蓄積映像集合の要素である蓄積映像のそれぞれから、分析窓毎に蓄積音響基礎特徴を抽出し、蓄積音響基礎特徴の集合である蓄積音響基礎特徴集合を出力する。蓄積音響区間特徴抽出部52は、蓄積音響基礎特徴集合を入力し、蓄積映像の各々から、その映像に含まれる音響信号の特性を表現するベクトルである蓄積音響区間特徴を抽出し、その蓄積音響区間特徴の集合である蓄積音響区間特徴集合を出力する。例えば、1つの蓄積映像に含まれる各分析窓から抽出した蓄積音響基礎特徴を、BagofFeaturesと同様の方法で作成したヒストグラムを、蓄積音響区間特徴として採用する方法が考えられる。映像付加情報関係モデルの構成は、図6に示すような、各カテゴリについて、当該カテゴリが付与された映像における画像特徴及び音響特徴とフレーム及び局所特徴量の各々のトピックとの関係を表すトピックモデルであり、以下の33式~38式で表される。ここで、Z∈{1,,K}は、フレームのトピックであり、Z={Zv}vは、フレームトピックの集合であり、V個の要素である。z=z1,z2,,zk、zk∈{0,1}、Σkzk=1は、フレームトピックのバイナリ表現であり、フレームトピックの代用表現、すなわち、zk=1故にzk’=0∀k’≠kは、Z=kと等価である。πは、フレームトピック生成の多項分布パラメータであり、K次元ベクトルであるKをフレームトピック数である。θは、π生成のディリクレパラメータであり、C個のK次元ベクトルである。Fvは、映像vのフレームの数=映像vでの音響単語の生起数であり、fv∈{1Fv}は、映像v内のフレームのインデックスであり、WYは、音響単語の種類数であり、Y∈1WYは音響単語量子化された音響特徴である。YYvnvnは、音響単語集合であり、各vについてのFv個の要素である。y=、yw∈01、Σwyw1は、音響単語のバイナリ表現であり、音響単語の代用表現である。αは、音響単語の多項分布パラメータであり、K個のWY次元ベクトルである。φYは、α生成のディリクレパラメータであり、WY次元ベクトルである。Z∈{1,,L}は、画像単語トピックであり、Z={Zvk}vfは、画像単語トピックの集合であり、各vについてFv個の要素である。z=z1,z2,,zL、zk∈{0,1}、Σkzk=1は、画像単語トピックのバイナリ表現であり、画像単語トピックの代用表現である。πは、画像単語トピック生成の多項分布パラメータであり、L次元ベクトルであるLを画像単語トピック数である。θは、π生成のディリクレパラメータであり、C個のL次元ベクトルである。Nvfは、映像vのフレームfでの画像単語の生起数である。nvf∈1Nvfは、映像vのフレームfでの画像単語のインデックスであり、WXは、画像単語の種類数である。X∈1WXは、画像単語量子化された画像特徴であり、XXvknvknは、画像単語集合である。各についてNvk個の要素であり、xxw∈01Σwxw1は、画像単語のバイナリ表現であり、画像単語の代用表現である。βは、画像単語の多項分布パラメータであり、L個のWX次元ベクトルである。φXは、β生成のディリクレパラメータであり、WX次元ベクトルである。上記図6に示すトピックモデルは、V個の映像の各々について、フレーム単語を有する局所特徴量のトピックが生成されると共に、音響単語とNvf個の局所特徴量のトピックを有するフレームのトピックが生成されることを表している。ここで、映像付加情報関係モデルパラメータ集合を推定する原理について説明する。本実施の形態では、StandardvariationalBayesを用いる。推定アルゴリズムは、後述するE-STEP、M-STEPにより構成される。まず、潜在変数の事後分布pππ|XYθθαβを、以下の39式に示す分布qππφφγγで近似する。ここで、上記17式と比較すると、パラメータ記号が変わっていることに注意する。上記17式と比較すると、φはθに、φはθに対応するパラメータになっているが、γ及びγに対応するパラメータはない。E-STEPでは、以下のi~ivの処理により、近似した事後分布qのパラメータを導出する。iφvfnlkに関する最大化φvfnlkは、映像v、フレームf、画像単語インデックスnにおいて、zlが与えられたときのzkとなる確率分布多項分布のパラメータである。これに関する制約は、以下の44式で表わされる。Lagrange未定乗数法を用いて最適解を導出すると、φvfnlkは、以下の45式で表される。ただし、Ψは、以下の46式で表されるディガンマ関数、すなわち,ガンマ関数の対数の1階微分である。iiφvflに関する最大化φvflは、映像v、フレームfにおいて,zlとなる確率分布多項分布のパラメータである。これに関する制約は、以下の式で表される。Lagrange未定乗数法を用いて最適解を導出すると,φvflは、以下の48式で表される。iiiγvlkに関する最大化γvlkは、映像vにおいて,zlが与えられたときのzの確率分布多項分布のパラメータの分布ディリクレ分布のk番目のハイパーパラメータである。これに関する制約は特にないので、微分して極値を取ると、以下の49式で表される最適解が得られる。ivγvlに関する最大化γvlは、映像vにおいて,zの確率分布多項分布のパラメータの分布ディリクレ分布のl番目のハイパーパラメータである。これに関する制約は特にないので、微分して極値を取ると、以下の50式で表される最適解が得られる。モデル尤度更新部71は、上記、の処理と、上記、の処理とを交互に繰り返し実行する。具体的には、上記の式、式、式、式を、パラメータの導出式として用いる。ただし、2種類のφそれぞれには、上記式、式の制約条件があることに注意する。M-STEPでは、以下のi~ivの処理によりモデルパラメータを導出する。iβに関する最大化βに関する制約は、以下の51式で表される。Lagrange未定乗数法を用いて最適解を導出すると、βは以下の52式で表される。iiαに関する最大化αに関する制約は、以下の53式で表される。Lagrange未定乗数法を用いて最適解を導出すると、αは、以下の54式で表される。iiiθに関する最大化θに関して制約はない。以下の55式におけるθlkについての解が最適解となるが、閉じた解は得られない。よってNewton法などの数値計算法で解を導出する。ivθに関する最大化θに関して制約はない。以下の56式におけるのθlについての解が最適解となるが。閉じた解は得られない.よってNewton法数値計算法で解を導出する。モデルパラメータ更新部72は、モデル尤度更新部71によるESTEPの結果を考慮して、上記M-STEPのi~ivの処理を独立に行うことにより、モデルパラメータを更新する。具体的には、上記式、式、式、式がパラメータの導出式となる。ただし、βとαについては、それぞれ上記式、式の制約条件があること、上記式、式からのパラメータ計算にはNewton法などの数値計算法が必要となることに注意する。なお、第3の実施の形態に係る映像付加情報関係性学習装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。第4の実施の形態<システム構成>次に、本発明の第4の実施の形態について説明する。なお、第3の実施の形態に係る映像付加情報関係性学習装置の構成は、第1の実施の形態と同様であるため、同一符号を付して説明を省略する。第4の実施の形態では、映像付加情報関係モデルとしてのトピックモデルの構成が、第1の実施の形態と異なっている。蓄積画像基礎特徴抽出部41は、蓄積映像の構成要素たる画像信号の各フレームである蓄積画像について、蓄積画像基礎特徴を抽出し、その蓄積画像基礎特徴の集合である蓄積画像基礎特徴集合を出力する。蓄積画像区間特徴抽出部42は、蓄積画像基礎特徴集合を入力し、蓄積映像の各ショットシーンの切り替わりで規定される区間から、そのショットに含まれる画像信号の特性を表現するベクトルである蓄積画像ショット特徴を抽出する。例えば、ショットに含まれる各フレームから抽出した蓄積画像基礎特徴を、BagofFeaturesと同様の方法で作成したヒストグラムを、蓄積画像ショット特徴として採用する。また、蓄積画像区間特徴抽出部42は、蓄積画像ショット特徴の集合を入力し、各蓄積映像から、その蓄積映像に含まれる画像信号の特性を表現するベクトルである蓄積画像区間特徴を抽出し、その蓄積画像区間特徴の集合である蓄積画像区間特徴集合を出力する。例えば、1つの映像に含まれる各ショットから抽出した蓄積画像ショット特徴を、BagofFeaturesと同様の方法で作成したヒストグラムを、蓄積画像区間特徴として採用する。蓄積音響基礎特徴抽出部51は、蓄積映像集合を入力し、蓄積映像集合の要素である蓄積映像のそれぞれから、分析窓毎に蓄積音響特徴を抽出し、蓄積音響特徴の集合である蓄積音響特徴集合を出力する。蓄積音響区間特徴抽出部52は、蓄積音響基礎特徴集合を入力し、蓄積映像の各ショットから、そのショットに含まれる音響信号の特性を表現するベクトルである蓄積音響ショット特徴を抽出し、その蓄積音響区間特徴の集合である蓄積音響区間特徴集合を出力する。例えば、ショットに含まれる各分析窓から抽出した蓄積音響基礎特徴を、BagofFeaturesと同様の方法で作成したヒストグラムを、蓄積音響ショット特徴として採用する。また、蓄積音響区間特徴抽出部52は、蓄積音響ショット特徴の集合を入力し、各蓄積映像から、その蓄積映像に含まれる音響信号の特性を表現するベクトルである蓄積音響区間特徴を抽出し、その蓄積音響区間特徴の集合である蓄積音響区間特徴集合を出力する。例えば、1つの映像に含まれる各ショットから抽出した蓄積音響ショット特徴を、BagofFeaturesと同様の方法で作成したヒストグラムを、蓄積音響区間特徴として採用する。映像付加情報関係モデルの構成は、図7に示すような、各カテゴリについて、当該カテゴリが付与された映像における画像特徴及び音響特徴とショット及びフレームの各々のトピックとの関係を表すトピックモデルであり、上記、zk∈{0,1}、Σkzk=1は、ショットトピックのバイナリ表現であり、ショットトピックの代用表現、すなわち、zk=1故にzk’=0∀k’≠kは、Z=kと等価である。πは、ショットトピック生成の多項分布パラメータであり、K次元ベクトルであるKはショットトピック数である。θは、π生成のディリクレパラメータであり、C個のK次元ベクトルである。Fvは、映像vのショットの数=映像vでの音響単語の生起数であり、fv∈{1Fv}は、映像v内のショットのインデックスであり、WYは、音響単語の種類数であり、Y∈1WYは音響単語量子化された音響特徴である。YYvnvnは、画像単語集合であり、各vについてのFv個の要素である。Z∈{1,,L}は、画像単語トピックであり、Z={Zvk}vfは、画像単語トピックの集合であり、各vについてFv個の要素である。z=z1,z2,,zL、zk∈{0,1}、Σkzk=1は、画像単語トピックのバイナリ表現であり、画像単語トピックの代用表現である。πは、画像単語トピック生成の多項分布パラメータであり、L次元ベクトルであるLを画像単語トピック数である。θは、π生成のディリクレパラメータであり、C個のL次元ベクトルである。Nvfは、映像vのショットfでの画像単語の生起数である。nvf∈1Nvfは、映像vのショットfでの画像単語のインデックスであり、WXは、画像単語の種類数である。X∈1WXは、画像単語量子化された画像特徴であり、XXvknvknは、画像単語集合である。各についてNvk個の要素であり、xxw∈01Σwxw1は、画像単語のバイナリ表現であり、画像単語の代用表現である。βは、画像単語の多項分布パラメータであり、L個のWX次元ベクトルである。φXは、β生成のディリクレパラメータであり、WX次元ベクトルである。βは、画像単語の多項分布パラメータであり、L個のWX次元ベクトルである。φXは、β生成のディリクレパラメータであり、WX次元ベクトルである。上記図7に示すトピックモデルは、V個の映像の各々について、画像単語を有するフレームのトピックが生成されると共に、音響単語とNvf個のフレームトピックを有するショットのトピックが生成されることを表している。モデル尤度更新部71は、上記の第3の実施の形態と同様に、上記の式、式、式、式を、パラメータの導出式として用いて、E-STEPの上記、の処理と、上記、の処理とを交互に繰り返し実行する。モデルパラメータ更新部72は、上記の第3の実施の形態と同様に、上記式、式、式、式を、パラメータの導出式として用いて、上記M-STEPのi~ivの処理を行うことにより、モデルパラメータを更新する。なお、第4の実施の形態に係る映像付加情報関係性学習装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。第5の実施の形態<システム構成>次に、本発明の第5の実施の形態について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。第5の実施の形態では、映像付加情報関係モデルを用いて、入力された映像と関連性が高い付加情報を出力する点が、第1の実施の形態と異なっている。また、入力映像を説明する付加情報又は付加情報の集合を出力する映像認識装置に、本発明を適用した場合を例に説明する。図8に示すように、第5の実施の形態による映像認識装置500は、蓄積映像集合、蓄積付加情報集合、及び蓄積映像集合と別に与えられた映像である入力映像を入力し、入力映像に対応する付加情報である映像関連付加情報又は当該付加情報の集合である映像関連付加情報集合を出力する装置である。映像認識装置500は、入力部10、演算部520、及び出力部30を備えている。入力部10は、蓄積映像集合、及び蓄積付加情報集合の入力を受け付けると共に、映像認識対象となる入力映像の入力を受け付ける。演算部520は、蓄積付加情報データベース1、蓄積映像データベース2、蓄積付加情報特徴抽出部3、蓄積画像特徴抽出部4、蓄積音響特徴抽出部5、特徴データベース6、映像付加情報間関係性学習部7、入力画像特徴抽出部8、入力音響特徴抽出部9、及び映像認識部11を備えている。入力画像特徴抽出部8は、入力映像を入力し、この入力映像に含まれる画像信号の特性を表現するベクトルである入力画像特徴を抽出し、この入力画像特徴を出力する。入力画像特徴抽出部8は、入力画像基礎特徴抽出部81および入力画像区間特徴抽出部82を備え、入力画像特徴の抽出方法は、蓄積画像特徴抽出部4と同様であるため、説明を省略する。入力音響特徴抽出部9は、入力映像を入力し、この入力映像に含まれる音響信号の特性を表現するベクトルである入力音響特徴を抽出し、この入力音響特徴を出力する。入力音響特徴抽出部9は、入力音響基礎特徴抽出部91および入力音響区間特徴抽出部92を備え、入力音響特徴の抽出方法は、蓄積音響特徴抽出部5と同様であるため、説明を省略する。映像認識部11は、入力画像特徴、入力音響特徴、及び学習された映像付加情報関係モデルを入力し、入力画像特徴と入力音響特徴を映像付加情報関係モデルに与えることで、入力映像との関連性が高い付加情報である映像関連付加情報を抽出し、この映像関連付加情報、又は映像関連付加情報集合を出力する。映像関連付加情報の選択方法は、特に限定されるものではないが、ここでは、以下の方法について述べる。まず、入力画像特徴、入力音響特徴、及び言語ラベルごとに学習された映像付加情報関係モデルパラメータの集合を用いて、上記13式に示した統計量perplexityを、言語ラベルごとに計算する。次に、言語ラベルごとに計算された統計量に基づいて、映像関連付加情報を選択する。例えば、以下の2通りの方法が考えられる。第1の方法として、最も小さな統計量を出力した映像付加情報関係モデルに対応する言語ラベルを、映像関連付加情報として選択する。第2の方法として、統計量があらかじめ定められた値よりも小さい値を出力した映像付加情報関係モデルに対応する言語ラベルを、映像関連付加情報として選択する。このようにして、映像認識部11は、映像関連付加情報を選択し、この映像関連付加情報又は映像関連付加情報集合を出力部30により出力する。<映像認識装置の作用>まず、蓄積映像集合および蓄積付加情報集合が、映像認識装置500に入力されると、映像認識装置500によって、入力された蓄積付加情報集合が、蓄積付加情報データベース1へ格納され、入力された蓄積映像集合が、蓄積映像データベース2へ格納される。そして、映像認識装置500は、第1の実施の形態と同様に、モデル学習処理ルーチンを実行する。また、映像認識対象の入力映像が、映像認識装置500に入力されると、映像認識装置500によって、図9に示す映像認識処理ルーチンが実行される。まず、ステップS501において、入力された入力映像を受け付け、ステップS502において、入力映像から、フレーム毎に入力画像基礎特徴を抽出し、ステップS503において、入力画像基礎特徴に基づいて、各区間の入力画像区間特徴を抽出する。そして、ステップS504において、入力映像から、分析窓毎に入力音響基礎特徴を抽出し、ステップS505において、入力音響基礎特徴に基づいて、各区間の入力音響区間特徴を抽出する。そして、ステップS506において、言語ラベルを識別するための変数iに初期値0を設定し、ステップS507において、上記ステップS503、S505で抽出された入力画像区間特徴及び入力音響区間特徴と、言語ラベルiについて学習した映像付加情報関係モデル映像付加情報関係モデルパラメータ集合とを用いて、上記13式に従って、言語ラベルiに対する統計量を算出する。次のステップS508では、全ての言語ラベルについて、上記ステップS507の処理を実行したか否かを判定する。上記ステップS507の処理を実行していない言語ラベルが存在する場合には、ステップS509において、変数iを1インクリメントして、上記ステップ507へ戻る。一方、全ての言語ラベルについて、上記ステップS507の処理を実行した場合には、ステップS510へ進む。ステップS510では、上記ステップS507で算出された各言語ラベルに対する統計量に基づいて、映像関連付加情報を選択する。そして、ステップS511において、上記ステップS510で選択された映像関連付加情報又は映像関連付加情報集合を、出力部30により出力し、映像認識処理ルーチンを終了する。なお、入力映像が複数ある場合には、入力映像毎に、上記の映像認識処理ルーチンが実行される。以上説明したように、第5の実施の形態に係る映像認識装置によれば、言語ラベル毎に学習した、言語ラベルが付与された映像における蓄積画像特徴及び蓄積音響特徴と映像のトピックとの関係を表すトピックモデルを用いることにより、入力映像との関連性が高い付加情報を、映像認識結果として精度よく得ることができる。なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、上記の第5の実施の形態で説明した、入力映像に関連する付加情報を選択する技術を、上記の第2の実施の形態~第4の実施の形態で説明した映像付加情報関係性学習装置に適用してもよいまた、上記の第5の実施の形態において、入力映像が複数存在する場合に、言語ラベルごとに計算した統計量の小さい順に入力映像を並べ替え、あらかじめ定められた順位以内に入った入力映像に対して、当該言語ラベルを映像関連付加情報として選択するようにしてもよい。この場合には、各言語ラベルに対する入力映像集合の関連順位列を出力するようにしてもよい。また、上記の第1の実施の形態~第5の実施の形態では、言語ラベル毎にモデルパラメータ集合を学習する場合を例に説明したが、これに限定されるものではない。言語ラベルに関するパラメータを含めたモデルパラメータ集合を学習するようにしてもよい。例えば、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。"