(57)【要約】【課題】映像に含まれる画像情報と音響情報との双方を利用し、かつその相互の共起関係を考慮して、それら情報と言語情報との関係性の学習をより高精度に行うことができるようにする。【解決手段】蓄積画像特徴抽出部４によって、蓄積映像の各々から蓄積画像特徴を抽出する。蓄積音響特徴抽出部５によって、蓄積映像の各々から、蓄積音響特徴を抽出する。蓄積付加情報特徴抽出部３によって、映像に付与された付加情報の集合から、蓄積付加情報特徴を抽出する。映像・付加情報間関係性学習部７によって、各言語ラベルについて、付加情報として当該言語ラベルが付与された映像における蓄積画像特徴及び蓄積音響特徴と映像のトピックとの関係を表すトピックモデルに対する、蓄積画像特徴の集合及び蓄積音響特徴の集合の尤度を最大化するように、トピックモデルのモデルパラメータの集合を学習する。【選択図】図１
2013101503.tif 000002
【特許請求の範囲】
【請求項１】
音響付き動画像である映像と、前記映像を説明する情報である付加情報との関係性を学習する映像付加情報関係性学習装置であって、
付加情報が予め付与された映像の集合である蓄積映像集合の要素である蓄積映像の各々から、画像の特性を表現するベクトルである蓄積画像特徴を抽出する蓄積画像特徴抽出手段と、
前記蓄積映像集合の要素である蓄積映像の各々から、音響の特性を表現するベクトルである蓄積音響特徴を抽出する蓄積音響特徴抽出手段と、
付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報の各々から、付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出手段と、
前記蓄積画像特徴の集合である蓄積画像特徴集合、前記蓄積音響特徴の集合である蓄積音響特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合に基づいて、前記蓄積付加情報特徴の各種類について、前記蓄積付加情報特徴が抽出される前記蓄積付加情報が付与された映像における前記蓄積画像特徴及び前記蓄積音響特徴と前記映像のトピックとの関係を表すトピックモデルに対する、前記蓄積付加情報が付与された蓄積映像について抽出された前記蓄積画像特徴の集合及び前記蓄積音響特徴の集合の尤度を最大化するように、前記トピックモデルのモデルパラメータの集合を学習する映像付加情報関係性学習手段と
を含む映像付加情報関係性学習装置。
【請求項２】
前記映像付加情報関係性学習手段は、
前記蓄積画像特徴集合、前記蓄積音響特徴集合、前記蓄積付加情報特徴集合、及び前記モデルパラメータの集合に基づいて、前記モデルパラメータの集合によって規定される前記トピックモデルに対する前記蓄積画像特徴の集合及び前記蓄積音響特徴の集合の尤度を計算するモデル尤度更新手段と、
前記蓄積画像特徴集合、前記蓄積音響特徴集合、前記蓄積付加情報特徴集合、前記モデル尤度更新部によって計算された前記尤度、及び前記尤度に対応する前記モデルパラメータの集合に基づいて、前記モデルパラメータの集合を更新するモデルパラメータ更新手段と、を備える請求項１記載の映像付加情報関係性学習装置。
【請求項３】
入力映像から、画像の特性を表現するベクトルである入力画像特徴を抽出する入力画像特徴抽出手段と、
前記入力映像から、音響の特性を表現するベクトルである入力音響特徴を抽出する入力音響特徴抽出手段と、
前記入力画像特徴及び前記入力音響特徴を、前記学習した前記モデルパラメータの集合によって規定される前記トピックモデルに与え、前記蓄積付加情報集合から、前記入力映像との関連性の高い付加情報を選択する映像認識手段と
を更に含む請求項１又は２に記載の映像付加情報関係性学習装置。
【請求項４】
音響付き動画像である映像と、前記映像を説明する情報である付加情報との関係性を学習する映像付加情報関係性学習装置において用いられる映像付加情報関係性学習方法であって、
蓄積画像特徴抽出手段によって、付加情報が予め付与された映像の集合である蓄積映像集合の要素である蓄積映像の各々から、画像の特性を表現するベクトルである蓄積画像特徴を抽出するステップと、
蓄積音響特徴抽出手段によって、前記蓄積映像集合の要素である蓄積映像の各々から、音響の特性を表現するベクトルである蓄積音響特徴を抽出するステップと、
蓄積付加情報特徴抽出手段によって、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報の各々から、付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出するステップと、
映像付加情報関係性学習手段によって、前記蓄積画像特徴の集合である蓄積画像特徴集合、前記蓄積音響特徴の集合である蓄積音響特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合に基づいて、前記蓄積付加情報特徴の各種類について、前記蓄積付加情報特徴が抽出される前記蓄積付加情報が付与された映像における前記蓄積画像特徴及び前記蓄積音響特徴と前記映像のトピックとの関係を表すトピックモデルに対する、前記蓄積付加情報が付与された蓄積映像について抽出された前記蓄積画像特徴の集合及び前記蓄積音響特徴の集合の尤度を最大化するように、前記トピックモデルのモデルパラメータの集合を学習するステップと
を含む映像付加情報関係性学習方法。
【請求項５】
前記映像付加情報関係性学習手段によって学習するステップは、
モデル尤度更新手段によって、前記蓄積画像特徴集合、前記蓄積音響特徴集合、前記蓄積付加情報特徴集合、及び前記モデルパラメータの集合に基づいて、前記モデルパラメータの集合によって規定される前記トピックモデルに対する前記蓄積画像特徴の集合及び前記蓄積音響特徴の集合の尤度を計算するステップと、
モデルパラメータ更新手段によって、前記蓄積画像特徴集合、前記蓄積音響特徴集合、前記蓄積付加情報特徴集合、前記モデル尤度更新部によって計算された前記尤度、及び前記尤度に対応する前記モデルパラメータの集合に基づいて、前記モデルパラメータの集合を更新するステップと、
を含む請求項４記載の映像付加情報関係性学習方法。
【請求項６】
入力画像特徴抽出手段によって、入力映像から、画像の特性を表現するベクトルである入力画像特徴を抽出するステップと、
入力音響特徴抽出手段によって、前記入力映像から、音響の特性を表現するベクトルである入力音響特徴を抽出するステップと、
映像認識手段によって、前記入力画像特徴及び前記入力音響特徴を、前記学習した前記モデルパラメータの集合によって規定される前記トピックモデルに与え、前記蓄積付加情報集合から、前記入力映像との関連性の高い付加情報を選択するステップと
を更に含む請求項５又は６に記載の映像付加情報関係性学習方法。
【請求項７】
コンピュータを、請求項１〜請求項３の何れか１項記載の映像付加情報関係性学習装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像付加情報関係性学習装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
与えられた映像に対してその映像を説明する言語情報を自動的に付与する映像認識技術は、ディジタルカメラ・携帯電話などの撮像装置の普及、インターネット上での映像共有の一般化などに伴い、非常に重要な技術となってきている。映像は静止画像の時系列と考えることができ、映像検索や映像認識を目的とした多くの技術では、映像を静止画像に分割した上で、画像検索・画像認識の技術を用いている（例えば、非特許文献１）。
【０００３】
また、近年では、自然言語処理分野で発展した統計モデルに基づく画像認識技術についても、非特許文献２など数多くの技術が開発されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Sivic, J. and Zisserman, A. “Video Google: A Text Retrieval Approach to Object Matching in Videos,” Proceedings of the International Conference on Computer Vision (2003)
【非特許文献２】Fei-Fei, L. and Perona, P. “ for Learning Natural Scene Categories,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2005).
【発明の概要】
【発明が解決しようとする課題】
【０００５】
これらの技術は、画像情報のみを利用することで映像の認識を実現している。しかし、通常、映像には音響信号も同時に付与されている。この音響信号が映像の内容を理解する上で非常に重要となる事象が多数存在する。例えば、「歌っている」、「歓声」など、音響情報が観測されることでしか内容が明らかにならない事象だけでなく、「サッカーのゴール」、「爆発」など、音響情報が画像情報と同時に観測されることによって事象の内容がより明確になる場合が挙げられる。
【０００６】
本発明は、このような事情を考慮してなされたものである。その目的は、映像に含まれる画像情報と音響情報との双方を利用し、かつその相互の共起関係を考慮して、それら情報と言語情報との関係性の学習をより高精度に行うことができる映像付加情報関係性学習装置、方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために本発明に係る映像付加情報関係性学習装置は、音響付き動画像である映像と、前記映像を説明する情報である付加情報との関係性を学習する映像付加情報関係性学習装置であって、付加情報が予め付与された映像の集合である蓄積映像集合の要素である蓄積映像の各々から、画像の特性を表現するベクトルである蓄積画像特徴を抽出する蓄積画像特徴抽出手段と、前記蓄積映像集合の要素である蓄積映像の各々から、音響の特性を表現するベクトルである蓄積音響特徴を抽出する蓄積音響特徴抽出手段と、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報の各々から、付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出手段と、前記蓄積画像特徴の集合である蓄積画像特徴集合、前記蓄積音響特徴の集合である蓄積音響特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合に基づいて、前記蓄積付加情報特徴の各種類について、前記蓄積付加情報特徴が抽出される前記蓄積付加情報が付与された映像における前記蓄積画像特徴及び前記蓄積音響特徴と前記映像のトピックとの関係を表すトピックモデルに対する、前記蓄積付加情報が付与された蓄積映像について抽出された前記蓄積画像特徴の集合及び前記蓄積音響特徴の集合の尤度を最大化するように、前記トピックモデルのモデルパラメータの集合を学習する映像付加情報関係性学習手段とを含んで構成されている。
【０００８】
本発明に係る映像付加情報関係性学習方法は、音響付き動画像である映像と、前記映像を説明する情報である付加情報との関係性を学習する映像付加情報関係性学習装置において用いられる映像付加情報関係性学習方法であって、蓄積画像特徴抽出手段によって、付加情報が予め付与された映像の集合である蓄積映像集合の要素である蓄積映像の各々から、画像の特性を表現するベクトルである蓄積画像特徴を抽出するステップと、蓄積音響特徴抽出手段によって、前記蓄積映像集合の要素である蓄積映像の各々から、音響の特性を表現するベクトルである蓄積音響特徴を抽出するステップと、蓄積付加情報特徴抽出手段によって、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報の各々から、付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出するステップと、映像付加情報関係性学習手段によって、前記蓄積画像特徴の集合である蓄積画像特徴集合、前記蓄積音響特徴の集合である蓄積音響特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合に基づいて、前記蓄積付加情報特徴の各種類について、前記蓄積付加情報特徴が抽出される前記蓄積付加情報が付与された映像における前記蓄積画像特徴及び前記蓄積音響特徴と前記映像のトピックとの関係を表すトピックモデルに対する、前記蓄積付加情報が付与された蓄積映像について抽出された前記蓄積画像特徴の集合及び前記蓄積音響特徴の集合の尤度を最大化するように、前記トピックモデルのモデルパラメータの集合を学習するステップとを含む。
【０００９】
本発明によれば、蓄積画像特徴抽出手段によって、付加情報が予め付与された映像の集合である蓄積映像集合の要素である蓄積映像の各々から、画像の特性を表現するベクトルである蓄積画像特徴を抽出する。蓄積音響特徴抽出手段によって、前記蓄積映像集合の要素である蓄積映像の各々から、音響の特性を表現するベクトルである蓄積音響特徴を抽出する。蓄積付加情報特徴抽出手段によって、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報の各々から、付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する。
【００１０】
そして、映像付加情報関係性学習手段によって、前記蓄積画像特徴の集合である蓄積画像特徴集合、前記蓄積音響特徴の集合である蓄積音響特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合に基づいて、前記蓄積付加情報特徴の各種類について、前記蓄積付加情報特徴が抽出される前記蓄積付加情報が付与された映像における前記蓄積画像特徴及び前記蓄積音響特徴と前記映像のトピックとの関係を表すトピックモデルに対する、前記蓄積付加情報が付与された蓄積映像について抽出された前記蓄積画像特徴の集合及び前記蓄積音響特徴の集合の尤度を最大化するように、前記トピックモデルのモデルパラメータの集合を学習する。
【００１１】
このように、蓄積映像の各々から抽出される蓄積画像特徴及び蓄積音響特徴と、付与された付加情報の集合から抽出される蓄積付加情報特徴とから、蓄積付加情報特徴が抽出される蓄積付加情報が付与された映像における蓄積画像特徴及び蓄積音響特徴と映像のトピックとの関係を表すトピックモデルを学習することにより、映像に含まれる画像情報と音響情報との双方を利用し、かつその相互の共起関係を考慮して、それら情報と言語情報との関係性の学習をより高精度に行うことができる。
【００１２】
本発明に係るプログラムは、上記の映像付加情報関係性学習装置の各手段としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００１３】
以上説明したように、本発明の映像付加情報関係性学習装置、方法、及びプログラムによれば、蓄積映像の各々から抽出される蓄積画像特徴及び蓄積音響特徴と、付与された付加情報の集合から抽出される蓄積付加情報特徴とから、蓄積付加情報特徴が抽出される蓄積付加情報が付与された映像における蓄積画像特徴及び蓄積音響特徴と映像のトピックとの関係を表すトピックモデルを学習することにより、映像に含まれる画像情報と音響情報との双方を利用し、かつその相互の共起関係を考慮して、それら情報と言語情報との関係性の学習をより高精度に行うことができる、という効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施の形態に係る映像付加情報関係性学習装置の一構成例を示すブロック図である。
【図２】トピックモデルを説明するための図である。
【図３】本発明の第１の実施の形態に係る映像付加情報関係性学習装置におけるモデル学習処理ルーチンの内容を示すフローチャートである。
【図４】本発明の第２の実施の形態に係る映像付加情報関係性学習装置の一構成例を示すブロック図である。
【図５】本発明の第２の実施の形態に係る映像付加情報関係性学習装置におけるモデル学習処理ルーチンの内容を示すフローチャートである。
【図６】トピックモデルを説明するための図である。
【図７】トピックモデルを説明するための図である。
【図８】本発明の第５の実施の形態に係る映像検索装置の一構成例を示すブロック図である。
【図９】本発明の第５の実施の形態に係る映像検索装置における映像検索処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１６】
〔第１の実施の形態〕
＜システム構成＞
図１は、本発明の第１の実施の形態に係る映像付加情報関係性学習装置１００を示すブロック図である。映像付加情報関係性学習装置１００は、映像を説明する情報である付加情報が予め付与された映像（画像信号＋音響信号）の集合である蓄積映像集合、及び映像に付与された付加情報の集合である蓄積付加情報集合を入力し、映像と付加情報との関係性を記述するモデルである映像・付加情報関係モデルを出力する装置であり、具体的にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭと、後述するモデル学習処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【００１７】
映像付加情報関係性学習装置１００は、入力部１０、演算部２０、及び出力部３０を備えている。
【００１８】
入力部１０は、映像を説明する情報である付加情報が予め付与された映像の集合である蓄積映像集合、及び映像に付与された付加情報の集合である蓄積付加情報集合の入力を受け付ける。
【００１９】
演算部２０は、蓄積付加情報データベース１、蓄積映像データベース２、蓄積付加情報特徴抽出部３、蓄積画像特徴抽出部４、蓄積音響特徴抽出部５、特徴データベース６、映像・付加情報間関係性学習部７を備えている。
【００２０】
蓄積付加情報データベース１は、入力された蓄積付加情報集合を記憶する。蓄積映像データベース２は、入力された蓄積映像集合を記憶する。
【００２１】
蓄積画像特徴抽出部４は、蓄積映像集合を入力し、蓄積映像集合の要素である蓄積映像のそれぞれから、各蓄積映像に含まれる画像信号の特性を表現するベクトルである完全蓄積画像特徴を抽出し、蓄積画像特徴の集合である蓄積画像特徴集合を出力する。
【００２２】
蓄積画像特徴の抽出方法は、特に限定されるものではないが、ここでは、蓄積画像基礎特徴抽出部４１と、蓄積画像区間特徴抽出部４２とを用いる方法について記述する。
【００２３】
蓄積画像基礎特徴抽出部４１は、蓄積映像集合を入力し、蓄積映像のそれぞれから、各蓄積映像に含まれる画像信号の特性を表現するベクトルである蓄積画像基礎特徴を抽出し、その蓄積画像基礎特徴の集合である蓄積画像基礎特徴集合を出力する。
【００２４】
蓄積画像基礎特徴の抽出方法は、特に限定されるものではないが、例えば、蓄積映像の構成要素たる画像信号の各フレームである蓄積画像のそれぞれから、以下のような方法、及びそれらの任意の組み合わせによって特徴を抽出する方法が考えられる。
【００２５】
・色ヒストグラム
・画像中の各小領域のディジタルコサイン変換の低周波成分
・Haar Waveletの低周波及び／または高周波成分のヒストグラム
・高次局所自己相関特徴（参考文献１「N. Otsu and T. Kurita “A new scheme for practical flexible and intelligent vision systems,” Proc. IAPR Workshop on Computer Vision, pp.431-435, 1988.」参照）
・SIFT（参考文献２「D. Lowe, “Distinctive image features from scale-invariant keypoints, ”International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004.」参照）及びその各種改良
・Bag of Features（参考文献３「G. Csurka, C. Bray, C. Dance and L. Fan “Visual categorization with bags of keypoints,” in Proc. of ECCV Workshop on Statistical Learning in Computer Vision, pp. 59−74, 2004.」参照）
【００２６】
このようにして、蓄積画像基礎特徴抽出部４１は、蓄積画像基礎特徴を抽出し、これらの集合である蓄積画像基礎特徴集合を出力する。
【００２７】
蓄積画像区間特徴抽出部４２は、蓄積画像基礎特徴集合を入力し、蓄積映像の各々から、その映像に含まれる画像信号の特性を表現するベクトルである蓄積画像区間特徴を抽出し、その蓄積画像区間特徴の集合である蓄積画像区間特徴集合を出力する。
【００２８】
蓄積画像区間特徴の抽出方法は、特に限定されるものではないが、例えば、１つの蓄積映像に含まれる各蓄積画像（フレーム)から抽出した蓄積画像基礎特徴を、Bag of Featuresと同様の方法で作成したヒストグラムを、蓄積画像区間特徴として採用する方法が考えられる（参考文献４「K. Kashino, T. Kurozumi and H. Murase: "A quick search method for audio and video signals based on histogram pruning", IEEE Transactions on Multimedia, Vol.5, No.3, pp.348-357, 2003.」参照）。
【００２９】
このようにして、蓄積画像区間特徴抽出部４２は、蓄積画像区間特徴を抽出し、これらの集合である蓄積画像区間特徴集合を出力する。
【００３０】
蓄積音響特徴抽出部５は、蓄積映像集合を入力し、蓄積映像集合の要素である蓄積映像のそれぞれから、各蓄積映像に含まれる音響信号の特性を表現するベクトルである蓄積音響特徴を抽出し、蓄積音響特徴の集合である蓄積音響特徴集合を出力する。
【００３１】
蓄積音響特徴の抽出方法は，特に限定されるものではないが、ここでは、蓄積音響基礎特徴抽出部５１と、蓄積音響区間特徴抽出部５２とを用いる方法について記述する。
【００３２】
蓄積音響基礎特徴抽出部５１は、蓄積映像集合を入力し、蓄積映像のそれぞれから、各蓄積映像に含まれる音響信号の特性を表現するベクトルである蓄積音響基礎特徴を抽出し、その蓄積音響基礎特徴の集合である蓄積音響基礎特徴集合を出力する。
【００３３】
蓄積音響基礎特徴の抽出方法は、特に限定されるものではないが、例えば、各蓄積映像の構成要素たる音響信号に分析窓をかけ、各分析窓から以下のような方法、及びそれらの任意の組み合わせによって特徴を抽出する方法が考えられる。
【００３４】
・メル周波数ケプストラム係数（参考文献５「J. Foote “Content-based retrieval of music and audio,” In Multimedia Storage and Archiving Systems II, Proc. of SPIE, volume 3229, pages 138−147, 1997.」参照）
・デルタケプストラム（参考文献６「S. Furui, “Speaker independent isolated word recognition using dynamic features speech spectrum,” IEEE Transactions on Acoustics, Speech and Signal Processing, Vol.34, No.1, pp.52-59, 1986.」参照）
・帯域通過フィルタバンク（参考文献７「柏野, スミス, 村瀬“ヒストグラム特徴を用いた音響信号の高速探索法 ― 時系列アクティブ探索法―”電子情報通信学会論文誌, Vol.J82-D2, No.9, pp.1365-1373, 1998」）
【００３５】
このようにして、蓄積音響基礎特徴抽出部５１は、蓄積音響基礎特徴を抽出し、これらの集合である蓄積音響基礎特徴集合を出力する。
【００３６】
蓄積音響区間特徴抽出部５２は、蓄積音響基礎特徴集合を入力し、各蓄積映像から、その映像に含まれる音響信号の特性を表現するベクトルである蓄積音響区間特徴を抽出し、その蓄積音響区間特徴の集合である蓄積音響区間特徴集合を出力する。
【００３７】
蓄積音響区間特徴の抽出方法は、特に限定されるものではないが、例えば、１つの蓄積映像に含まれる各分析窓から抽出した蓄積音響基礎特徴を、Bag of Featuresと同様の方法で作成したヒストグラムを、蓄積音響区間特徴として採用する方法が考えられる。
【００３８】
このようにして、蓄積音響区間特徴抽出部５２は、蓄積音響区間特徴を抽出し、これらの集合である蓄積音響区間特徴集合を出力する。
【００３９】
蓄積付加情報特徴抽出部３は、蓄積付加情報集合を入力し、蓄積付加情報集合の要素である蓄積付加情報のそれぞれから、付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出し、この蓄積付加情報特徴の集合である蓄積付加情報特徴集合を出力する。
【００４０】
蓄積付加情報特徴の抽出方法は、特に限定されるものではないが、本実施の形態においては、付加情報として言語ラベルを想定し、その言語ラベルに対応する番号、もしくは、その言語ラベルの有無を表現する２値ベクトルを蓄積付加情報特徴とする。後者の場合、蓄積付加情報特徴は、以下のように構成される。
【００４１】
蓄積付加情報特徴は、考慮すべき言語ラベルの総数と同数の次元を持つベクトルであり、ベクトルの各次元が言語ラベルに対応する。以降、便宜的に、言語ラベルを、上記ベクトルにおいて対応する次元のインデックスを用いて表現する。蓄積付加情報に第ｉ番目の言語ラベルが含まれている場合には、蓄積付加情報特徴の第ｉ次元を「１」とし、そうでない場合には、「０」とする。あるいは、上記の方法で作成した特徴を、主成分分析を用いて圧縮した多次元ベクトルを蓄積付加情報特徴としても良い。
【００４２】
このようにして、蓄積付加情報特徴抽出部３は、蓄積付加情報特徴を抽出し、この蓄積付加情報特徴の集合である蓄積付加情報特徴集合を出力する。
【００４３】
特徴データベース６は、抽出された蓄積画像特徴集合としての蓄積画像区間特徴集合、蓄積音響特徴集合としての蓄積音響区間特徴集合、及び蓄積付加情報特徴集合を記憶する。
【００４４】
映像・付加情報間関係性学習部７は、蓄積音響特徴集合、蓄積画像特徴集合、及び蓄積付加情報特徴集合を入力し、これら集合から、映像と付加情報との関係性を記述するモデルである映像・付加情報関係モデルを学習し、この映像・付加情報関係モデルを出力する。映像・付加情報関係モデルの学習方法は、特に限定されるものではないが、ここでは、モデル尤度更新部７１と、モデルパラメータ更新部７２とを用いる方法について説明する。
【００４５】
なお、映像・付加情報関係モデルの構成は、図２に示すような、各カテゴリについて、当該カテゴリが付与された映像における画像特徴及び音響特徴と映像のトピックとの関係を表すトピックモデルであり、以下の式で表される。
【００４６】
【数１】
2013101503.tif 000003
【００４７】
ここで、ｃはカテゴリであり、ηは、カテゴリ生起の多項分布パラメータであり、Ｃ次元ベクトルである（Ｃはカテゴリ数である）。Ｚは、映像のトピックであり、πは、トピック生成の多項分布パラメータであり、Ｋ次元ベクトルである（Ｋはトピック数である）。θは、π生成のディリクレパラメータであり、Ｃ個のＫ次元ベクトルである。Ｘは、動画像の単語（量子化された画像特徴、すなわち、蓄積画像区間特徴が表わすヒストグラムの各要素）であり、ＷXを動画像の単語の種類数（蓄積画像区間特徴が表わすヒストグラムの要素数）とする。βは、動画像単語の多項分布パラメータであり、Ｋ個のＭX次元ベクトルである。φXは、β生成のディリクレパラメータであり、ＭX次元ベクトルである。Ｙは音響単語（量子化された音響特徴、すなわち、蓄積音響区間特徴が表わすヒストグラムの各要素）であり、ＷYを音響単語の種類数（蓄積音響区間特徴が表わすヒストグラムの要素数）とする。αは、音響単語の多項分布パラメータであり、Ｋ個のＭY次元ベクトルである。φYは、α生成のディリクレパラメータであり、ＭY次元ベクトルである。Ｖは、映像の数であり、Ｎvは映像ｖにおける単語の生起数（フレーム数）である。
【００４８】
上記図２に示すトピックモデルは、Ｖ個の映像の各々について、Ｎv個の音響単語及び画像単語を有する映像のトピックが生成されることを表している。
【００４９】
なお、本実施の形態では、言語ラベルが上記「カテゴリ」に対応していることに注意する。また、映像・付加情報関係モデルは、「カテゴリ」ごとに構築・学習されることに注意する。すなわち、蓄積付加情報特徴の第ｉ次元が１である特徴集合のみを利用して第ｉ番目の映像・付加情報関係モデルが構築・学習される。
【００５０】
モデル尤度更新部７１は、蓄積画像特徴集合、蓄積音響特徴集合、蓄積付加情報特徴集合、及び映像・付加情報関係モデルを記述するモデルパラメータの集合である映像・付加情報関係モデルパラメータ集合を入力し、この映像・付加情報関係モデルパラメータによって規定されるトピックモデルに対する蓄積画像特徴集合及び蓄積音響特徴集合の尤度である映像・付加情報関係モデル尤度を計算し、この映像付加情報関係モデル尤度を出力する。
【００５１】
モデルパラメータ更新部７２は、蓄積画像特徴集合、蓄積音響特徴集合、映像・付加情報関係モデル尤度、及び前の時点での映像・付加情報関係モデルパラメータ集合を入力し、映像・付加情報関係モデルパラメータ集合を更新し、更新後の映像・付加情報関係モデルパラメータ集合を出力する。
【００５２】
映像・付加情報関係モデル尤度の計算方法及び映像・付加情報関係モデルパラメータの更新方法は、特に限定されるものではないが、ここでは、下記に示す２通りの実施例について記述する。なお、映像・付加情報関係モデルパラメータ集合は、π、θ、β、φX、α、φYで構成される。
【００５３】
[第１の実施例]（Standard Gibbs sampling）
まず、モデル尤度更新部７１は、言語ラベルｉに対するトピックモデルについて、以下の（１）式に示すトピックの条件付き確率分布を算出する。
【００５４】
【数２】
2013101503.tif 000004
【００５５】
Ｄｉｒ(・)は、ディリクレ分布であり、Ｉ[・]は指示関数（indicator function）である。
【００５６】
モデル尤度更新部７１は、上記（１）式に示す確率分布に基づいて、各蓄積映像ｖにおける各区間ｎについて、以下の（９）式に従って、トピックＺv,nのサンプルを所定の数だけ生成する。このトピックのサンプルの集合から得られる経験分布を、言語ラベルｉに対するトピックモデルにおける映像・付加情報関係モデル尤度として採用する。
【００５７】
【数３】
2013101503.tif 000005
【００５８】
モデルパラメータ更新部７２は、言語ラベルｉに対するトピックモデルについて、以下の（１０）式〜（１２）式に示す更新式にしたがって、映像・付加情報関係モデルパラメータ集合のうち、π、β、αのサンプルを所定の数だけ生成し、例えば、その期待値を採用することで、映像・付加情報関係モデルパラメータ集合を更新する。
【００５９】
【数４】
2013101503.tif 000006
【００６０】
各言語ラベルｉに対するトピックモデルについて、モデル尤度更新部７１及びモデルパラメータ更新部７２は交互に繰り返される。モデルパラメータ更新部７２は、以下の（１３）式に従って、統計量ｐｅｒｐｌｅｘｉｔｙを計算し、計算された統計量ｐｅｒｐｌｅｘｉｔｙが収束したと判定した場合には、モデル尤度更新部７１及びモデルパラメータ更新部７２の繰り返しを終了し、その時点における映像・付加情報関係モデルパラメータ集合を、言語ラベルｉに対する映像・付加情報関係モデル（トピックモデル）として出力する。
【００６１】
【数５】
2013101503.tif 000007
【００６２】
[第２の実施例]（Standard variational Bayes）
まず、潜在変数（トピック）Ｚの事後分布p(Z,π,β,α｜X,Y,φX,φY)を、以下の（１７）式に示す分布q(Z,π, β,α)で近似する。
【００６３】
【数６】
2013101503.tif 000008
【００６４】
実際には、ｑ（ｚv,n ＝ｋ）の計算は複雑であるため、以下の（１９）式に示す近似を用いる。
【００６５】
【数７】
2013101503.tif 000009
【００６６】
モデル尤度更新部７１は、言語ラベルｉに対するトピックモデルについて、言語ラベルｉに対するトピックモデルの映像・付加情報関係モデル尤度として、上記の（１９）式に示すトピックの確率分布を算出する。
【００６７】
モデルパラメータ更新部７２は、言語ラベルｉに対するトピックモデルについて、以下の（２４）式〜（２６）式に示す更新式にしたがって、映像・付加情報関係モデルパラメータ集合のうち、π、β、αの条件付き確率分布を更新する。
【００６８】
【数８】
2013101503.tif 000010
【００６９】
モデルパラメータ更新部７２は、必要に応じて、上記の条件付き確率の最尤解として、パラメータそのもの（π、β、α）を、上記（１４）式〜（１６）式にしたがって更新する。
【００７０】
各言語ラベルｉに対するトピックモデルについて、モデル尤度更新部７１及びモデルパラメータ更新部７２は交互に繰り返される。モデルパラメータ更新部７２は、上記（１３）式に従って、統計量ｐｅｒｐｌｅｘｉｔｙを計算し、計算された統計量ｐｅｒｐｌｅｘｉｔｙが収束したと判定した場合には、モデル尤度更新部７１及びモデルパラメータ更新部７２の繰り返しを終了し、その時点における映像・付加情報関係モデルパラメータ集合を、言語ラベルｉに対する映像・付加情報関係モデル（トピックモデル）として出力する。
【００７１】
＜映像付加情報関係性学習装置の作用＞
次に、第１の実施の形態に係る映像付加情報関係性学習装置１００の作用について説明する。まず、付加情報が与えられた蓄積映像集合、及びその付加情報の集合である蓄積付加情報集合が、映像付加情報関係性学習装置１００に入力されると、映像付加情報関係性学習装置１００によって、入力された蓄積付加情報集合が、蓄積付加情報データベース１へ格納され、入力された蓄積映像集合が、蓄積映像データベース２へ格納される。そして、映像付加情報関係性学習装置１００によって、図３に示すモデル学習処理ルーチンが実行される。
【００７２】
まず、ステップＳ１０１において、蓄積映像集合の各蓄積映像から、フレーム毎に蓄積画像基礎特徴を抽出し、そして、ステップＳ１０２において、上記ステップＳ１０１で抽出された蓄積画像基礎特徴に基づいて、蓄積映像集合の各蓄積映像について、各区間の蓄積画像区間特徴を抽出して、特徴データベース６へ格納する。
【００７３】
次のステップＳ１０３では、蓄積映像集合の各蓄積映像から、分析窓毎に蓄積音響基礎特徴を抽出し、そして、ステップＳ１０４において、上記ステップＳ１０３で抽出された蓄積音響基礎特徴に基づいて、蓄積映像集合の各蓄積映像について、各区間の蓄積音響区間特徴を抽出して、特徴データベース６へ格納する。
【００７４】
そして、ステップＳ１０５において、蓄積付加情報集合の各付加情報から、蓄積付加情報特徴を抽出して、特徴データベース６へ格納する。ステップＳ１０６では、付加情報（言語ラベル)を識別するための変数ｉに、初期値である０を設定する。
【００７５】
次のステップＳ１０７では、言語ラベルｉに対するトピックモデルのモデルパラメータの集合に、初期値をそれぞれ設定する。ステップＳ１０８において、上記（９)式又は（１９）式を用いて、映像・付加情報関係モデル尤度を計算し、ステップＳ１０９において、上記ステップＳ１０８で計算した映像・付加情報関係モデル尤度に基づいて、上記（１０）式〜（１２）式を用いて、モデルパラメータの集合を更新するか、あるいは上記（２４）式〜（２６）式を用いて、モデルパラメータの集合の条件付き確率分布を更新すると共に上記（１４）式〜（１６）式を用いて、モデルパラメータの集合を更新する。
【００７６】
そして、ステップＳ１１０において、上記（１３)式に基づいて計算される統計量に基づいて、収束したか否かを判定する。収束していないと判定された場合には、上記ステップＳ１０８へ戻るが、一方、収束したと判定された場合には、ステップＳ１１１へ進む。
【００７７】
ステップＳ１１１では、全ての言語ラベルについて、上記ステップＳ１０７〜Ｓ１１０の処理を実行したか否かを判定し、上記ステップＳ１０７〜Ｓ１１０の処理を実行していない言語ラベルが存在する場合には、ステップＳ１１２において、変数ｉを１インクリメントとして、上記ステップＳ１０７へ戻る。
【００７８】
一方、全ての言語ラベルについて、上記ステップＳ１０７〜Ｓ１１０の処理を実行した場合には、ステップＳ１１３において、上記ステップＳ１０９によって最終的に更新されたモデルパラメータの集合を出力部３０により出力して、モデル学習処理ルーチンを終了する。
【００７９】
以上説明したように、第１の実施の形態に係る映像付加情報関係性学習装置によれば、蓄積映像の各々から抽出される蓄積画像特徴及び蓄積音響特徴と、付与された付加情報の集合から抽出される蓄積付加情報特徴とから、各言語ラベルについて、付加情報として言語ラベルが付与された映像における蓄積画像特徴及び蓄積音響特徴と映像のトピックとの関係を表すトピックモデルを学習することにより、映像に含まれる画像情報と音響情報との双方を利用し、かつその相互の共起関係を考慮して、それら情報と言語情報との関係性の学習をより高精度に行うことができる。
【００８０】
〔第２の実施の形態〕
＜システム構成＞
次に、本発明の第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００８１】
第２の実施の形態では、モデル尤度の計算方法と、モデルパラメータの計算方法とが第１の実施の形態と異なっている。
【００８２】
図４に示すように、第２の実施の形態に係る映像付加情報関係性学習装置２００の演算部２２０は、蓄積付加情報データベース１、蓄積映像データベース２、蓄積付加情報特徴抽出部３、蓄積画像特徴抽出部４、蓄積音響特徴抽出部５、特徴データベース６、映像・付加情報間関係性学習部２０７を備えている。
【００８３】
映像・付加情報間関係性学習部２０７は、蓄積音響特徴集合、蓄積画像特徴集合、及び蓄積付加情報特徴集合を入力し、これら集合から、映像と付加情報との関係性を記述するモデルである映像・付加情報関係モデルを学習し、この映像・付加情報関係モデルを出力する。映像・付加情報関係モデルの学習方法は、特に限定されるものではないが、ここでは、モデル尤度更新部２７１と、モデルパラメータ更新部２７２とを用いる方法について説明する。
【００８４】
モデル尤度更新部２７１は、蓄積画像特徴集合、蓄積音響特徴集合、蓄積付加情報特徴集合、及び映像・付加情報関係モデルパラメータ集合を入力し、この映像・付加情報関係モデルパラメータ集合を繰り返し更新しながら、映像・付加情報関係モデルパラメータ集合によって規定されるトピックモデルに対する蓄積画像特徴集合及び蓄積音響特徴集合の尤度（映像・付加情報関係モデル尤度）を計算し、最終的に得られた映像付加情報関係モデル尤度を出力する。
【００８５】
モデルパラメータ更新部２７２は、蓄積画像特徴集合、蓄積音響特徴集合、映像・付加情報関係モデル尤度、及びモデル尤度更新部２７１により得られた映像・付加情報関係モデルパラメータ集合を入力し、映像・付加情報関係モデルパラメータを更新し、更新後の映像・付加情報関係モデルパラメータを出力する。
【００８６】
映像・付加情報関係モデル尤度の計算方法及び映像・付加情報関係モデルパラメータの更新方法は、特に限定されるものではないが、ここでは、下記に示す２通りの実施例について記述する。なお、映像・付加情報関係モデルパラメータ集合は、π、θ、β、φX、α、φYで構成される。
【００８７】
[第３の実施例]（Collapsed Gibbs sampling）
まず、モデル尤度更新部２７１は、言語ラベルｉに対するトピックモデルについて、以下の（２９）式に示すトピックの条件付き確率分布を算出する。
【００８８】
【数９】
2013101503.tif 000011
【００８９】
上記（２９）式に示す確率分布に基づいて、ある１つの（ｖ、ｎ）の組を固定して、トピックＺv,nのサンプルを所定の数だけ生成する。この手順を、（ｖ、ｎ）を順に変化させながら繰り返して、各蓄積映像ｖにおける各区間ｎについて、言語ラベルｉに対するトピックモデルにおける、トピックＺv,nのサンプルを生成する。
【００９０】
モデル尤度更新部２７１は、言語ラベルｉに対するトピックモデルについて、上記（１３）式に従って、統計量ｐｅｒｐｌｅｘｉｔｙを計算し、計算された統計量ｐｅｒｐｌｅｘｉｔｙが収束していないと判定した場合には、上記（２９）式に示す確率分布の計算、及びトピックのサンプルの生成を繰り返して、トピックのサンプルの集合を更新する。計算された統計量ｐｅｒｐｌｅｘｉｔｙが収束したと判定した場合には、上記（２９）式に示す確率分布の計算、及びトピックのサンプルの生成の繰り返しを終了し、その時点におけるトピックのサンプルの集合から得られる経験分布を、言語ラベルｉに対するトピックモデルの映像・付加情報関係モデル尤度として採用する。
【００９１】
なお、上記（１３)式による統計量ｐｅｒｐｌｅｘｉｔｙの計算の際には、上記(１４）式〜（１６)式を用いて、映像・付加情報関係モデルパラメータ集合を計算すればよい。また、初期設定された映像・付加情報関係モデルパラメータ集合を用いてもよい。
【００９２】
[第４の実施例]（Collapsed variational Bayes）
まず、潜在変数（トピック）Ｚの事後分布p(Z,π,β,α｜X,Y,φX,φY)を、以下の（３０）式に示す分布q(Z,π, β,α)で近似する。
【００９３】
【数１０】
2013101503.tif 000012
【００９４】
近似した部分の事後分布は、以下の（３１）式で繰り返し更新される。
【００９５】
【数１１】
2013101503.tif 000013
【００９６】
実際には上記の事後分布を計算することはできないため、モデル尤度更新部２７１は、言語ラベルｉに対するトピックモデルについて、映像・付加情報関係モデル尤度として、以下の（３２）式に示すトピックの確率分布を算出する。
【００９７】
【数１２】
2013101503.tif 000014
【００９８】
モデル尤度更新部２７１は、上記（１３）式に従って、統計量ｐｅｒｐｌｅｘｉｔｙを計算し、計算された統計量ｐｅｒｐｌｅｘｉｔｙが収束していないと判定した場合には、上記（３２）式に示す映像・付加情報関係モデル尤度の計算を繰り返す。計算された統計量ｐｅｒｐｌｅｘｉｔｙが収束したと判定した場合には、上記（３２）式に示す映像・付加情報関係モデル尤度の計算を終了し、その時点における映像・付加情報関係モデル尤度を出力する。
【００９９】
このようにして、モデル尤度更新部２７１は、各言語ラベルｉに対するトピックモデルについて、映像・付加情報関係モデル尤度を算出して出力する。
【０１００】
[第３の実施例、第４の実施例]（Collapsed Gibbs sampling、Collapsed variational Bayes）
モデルパラメータ更新部２７２は、言語ラベルｉに対するトピックモデルについて、上記（１４）式〜（１６）式にしたがって、映像・付加情報関係モデルパラメータのうち、π、β、αを更新する。
【０１０１】
このようにして、モデルパラメータ更新部２７２は、各言語ラベルｉに対するトピックモデルにおける映像・付加情報関係モデルパラメータ集合を更新して出力する。
【０１０２】
なお、第２の実施の形態に係る映像付加情報関係性学習装置２００の他の構成については、第１の実施の形態と同様であるため、説明を省略する。
【０１０３】
＜映像付加情報関係性学習装置の作用＞
次に、第２の実施の形態に係るモデル学習処理ルーチンについて、図５を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して説明を省略する。
【０１０４】
まず、ステップＳ１０１において、蓄積映像集合の各蓄積映像から、フレーム毎に蓄積画像基礎特徴を抽出し、そして、ステップＳ１０２において、蓄積映像集合の各蓄積映像について、各区間の蓄積画像区間特徴を抽出して、特徴データベース６へ格納する。
【０１０５】
次のステップＳ１０３では、蓄積映像集合の各蓄積映像から、分析窓毎に蓄積音響基礎特徴を抽出し、そして、ステップＳ１０４において、蓄積映像集合の各蓄積映像について、各区間の蓄積音響区間特徴を抽出して、特徴データベース６へ格納する。
【０１０６】
そして、ステップＳ１０５において、蓄積付加情報集合の各付加情報から、蓄積付加情報特徴を抽出して、特徴データベース６へ格納する。ステップＳ１０６では、付加情報（言語ラベル）を識別するための変数ｉに、初期値である０を設定する。
【０１０７】
次のステップＳ２０１では、上記（２９）式を用いて、言語ラベルｉに対するトピックモデルにおけるトピックのサンプルの集合を生成する。上記（１３)式に基づいて計算される統計量に基づいて、収束したか否かを判定し、収束したと判定されるまで、トピックのサンプリングを行い、最終的に生成されたトピックのサンプルの集合に基づいて、言語ラベルｉに対するトピックモデルにおける映像・付加情報関係モデル尤度を計算する。
【０１０８】
あるいは、ステップＳ２０１で、上記（３２)式に従って、言語ラベルｉに対するトピックモデルにおける映像・付加情報関係モデル尤度を計算し、上記（１３)式に基づいて計算される統計量に基づいて、収束したか否かを判定し、収束したと判定されるまで、映像・付加情報関係モデル尤度の計算を行い、最終的に計算された映像・付加情報関係モデル尤度を、言語ラベルｉに対するトピックモデルにおける映像・付加情報関係モデル尤度とする。
【０１０９】
そして、ステップＳ２０４において、上記ステップＳ２０１で計算した映像・付加情報関係モデル尤度に基づいて、上記（１４）式〜（１６）式を用いて、言語ラベルｉに対するトピックモデルにおけるモデルパラメータの集合を計算する。
【０１１０】
そして、ステップＳ１１２において、変数ｉを１インクリメントとして、上記ステップＳ２０１へ戻る。
【０１１１】
一方、全ての言語ラベルについて、上記ステップＳ２０１〜Ｓ２０４の処理を実行した場合には、ステップＳ１１３において、上記ステップＳ２０４によって計算された、各言語ラベルｉに対するトピックモデルにおけるモデルパラメータの集合を出力部３０により出力して、モデル学習処理ルーチンを終了する。
【０１１２】
以上説明したように、第２の実施の形態に係る映像付加情報関係性学習装置によれば、蓄積映像の各々から抽出される蓄積画像特徴及び蓄積音響特徴と、付与された付加情報の集合から抽出される蓄積付加情報特徴とから、各言語ラベルについて、付加情報として言語ラベルが付与された映像における蓄積画像特徴及び蓄積音響特徴と映像のトピックとの関係を表すトピックモデルを学習することにより、映像に含まれる画像情報と音響情報との双方を利用し、かつその相互の共起関係を考慮して、それら情報と言語情報との関係性の学習をより高精度に行うことができる。
【０１１３】
〔第３の実施の形態〕
＜システム構成＞
次に、本発明の第３の実施の形態について説明する。なお、第３の実施の形態に係る映像付加情報関係性学習装置の構成は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。
【０１１４】
第３の実施の形態では、映像・付加情報関係モデルとしてのトピックモデルの構成が、第１の実施の形態と異なっている。
【０１１５】
蓄積画像基礎特徴抽出部４１は、蓄積映像の構成要素たる画像信号の各フレームである蓄積画像について、蓄積画像基礎特徴として、画像の局所特徴量を抽出し、その蓄積画像基礎特徴の集合である蓄積画像基礎特徴集合を出力する。局所特徴量としては、例えば、Ｈａｒｒｉｓ−Ｌａｐｌａｅ法によって抽出された特徴量の各位置におけるＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｂａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量を用いればよい。
【０１１６】
蓄積画像区間特徴抽出部４２は、蓄積画像基礎特徴集合を入力し、蓄積映像の各フレームから、そのフレームに含まれる画像信号の特性を表現するベクトルである蓄積画像フレーム特徴を抽出する。例えば、フレームに含まれる各特徴点の位置から抽出した局所特徴量を、Bag of Featuresと同様の方法で作成したヒストグラムを、蓄積画像フレーム特徴として採用する。
【０１１７】
また、蓄積画像区間特徴抽出部４２は、蓄積画像フレーム特徴の集合を入力し、蓄積映像の各々から、その蓄積映像に含まれる画像信号の特性を表現するベクトルである蓄積画像区間特徴を抽出し、その蓄積画像区間特徴の集合である蓄積画像区間特徴集合を出力する。例えば、１つの映像に含まれる各フレームから抽出した蓄積画像フレーム特徴を、Bag of Featuresと同様の方法で作成したヒストグラムを、蓄積画像区間特徴として採用する。
【０１１８】
蓄積音響基礎特徴抽出部５１は、蓄積映像集合を入力し、蓄積映像集合の要素である蓄積映像のそれぞれから、分析窓毎に蓄積音響基礎特徴を抽出し、蓄積音響基礎特徴の集合である蓄積音響基礎特徴集合を出力する。
【０１１９】
蓄積音響区間特徴抽出部５２は、蓄積音響基礎特徴集合を入力し、蓄積映像の各々から、その映像に含まれる音響信号の特性を表現するベクトルである蓄積音響区間特徴を抽出し、その蓄積音響区間特徴の集合である蓄積音響区間特徴集合を出力する。例えば、１つの蓄積映像に含まれる各分析窓から抽出した蓄積音響基礎特徴を、Bag of Featuresと同様の方法で作成したヒストグラムを、蓄積音響区間特徴として採用する方法が考えられる。
【０１２０】
映像・付加情報関係モデルの構成は、図６に示すような、各カテゴリについて、当該カテゴリが付与された映像における画像特徴及び音響特徴とフレーム及び局所特徴量の各々のトピックとの関係を表すトピックモデルであり、以下の（３３）式〜（３８）式で表される。
【０１２１】
【数１３】
2013101503.tif 000015
【０１２２】
ここで、Ｚ∈｛１，・・・，Ｋ｝は、フレームのトピックであり、Ｚ＝｛Ｚv｝vは、フレームトピックの集合であり、Ｖ個の要素である。ｚ＝（ｚ1，ｚ2，・・・，ｚk)、ｚk∈｛０，１｝、Σkｚk＝１は、フレームトピックのバイナリ表現であり、フレームトピックの代用表現、すなわち、ｚk＝１（故にｚk’＝０  ∀ｋ’≠ｋ）は、Ｚ＝ｋと等価である。πは、フレームトピック生成の多項分布パラメータであり、Ｋ次元ベクトルである（Ｋをフレームトピック数である）。θは、π生成のディリクレパラメータであり、Ｃ個のＫ次元ベクトルである。Ｆvは、映像ｖのフレームの数（＝映像ｖでの音響単語の生起数)であり、ｆv∈｛1, . . . , Fv｝は、映像ｖ内のフレームのインデックスであり、ＷYは、音響単語の種類数であり、Ｙ∈{1, . . . ,WY }は音響単語（量子化された音響特徴）である。Y = {Yv,n}v,nは、音響単語集合であり、各vについてのFv個の要素である。ｙ＝(y1, y2, . . . , yWY)、yw∈{0,1}、Σwyw = 1は、音響単語のバイナリ表現であり、音響単語の代用表現である。αは、音響単語の多項分布パラメータであり、K個のWY 次元ベクトルである。φYは、α生成のディリクレパラメータであり、WY次元ベクトルである。Ｚ(X)∈｛１，・・・，Ｌ｝は、画像単語トピックであり、Ｚ(X)＝｛Ｚv,k(X)｝v,fは、画像単語トピックの集合であり、各ｖについてＦv個の要素である。ｚ(X)＝（ｚ1(X)，ｚ2(X)，・・・，ｚL(X))、ｚk(X)∈｛０，１｝、Σkｚk(X)＝１は、画像単語トピックのバイナリ表現であり、画像単語トピックの代用表現である。π(X)は、画像単語トピック生成の多項分布パラメータであり、Ｌ次元ベクトルである（Ｌを画像単語トピック数である）。θ(X)は、π(X)生成のディリクレパラメータであり、Ｃ個のＬ次元ベクトルである。Ｎv,fは、映像ｖのフレームｆでの画像単語の生起数である。nv,f ∈ {1, . . . ,Nv,f }は、映像ｖのフレームfでの画像単語のインデックスであり、ＷXは、画像単語の種類数である。X ∈ {1, . . . ,WX}は、画像単語（量子化された画像特徴）であり、Ｘ = {Xv,k,n}v,k,nは、画像単語集合である。各(v, k) についてNv,k個の要素であり、ｘ = (x1, x2, . . . , xWX), xw ∈ {0, 1},Σw xw = 1は、画像単語のバイナリ表現であり、画像単語の代用表現である。βは、画像単語の多項分布パラメータであり、Ｌ個のWX 次元ベクトルである。φXは、β生成のディリクレパラメータであり、WX次元ベクトルである。
【０１２３】
上記図６に示すトピックモデルは、Ｖ個の映像の各々について、フレーム単語を有する局所特徴量のトピックが生成されると共に、音響単語とＮv,f個の局所特徴量のトピックを有するフレームのトピックが生成されることを表している。
【０１２４】
ここで、映像・付加情報関係モデルパラメータ集合を推定する原理について説明する。本実施の形態では、Standard variational Bayesを用いる。推定アルゴリズムは、後述するＥ−ＳＴＥＰ、Ｍ−ＳＴＥＰにより構成される。
まず、潜在変数の事後分布p(Z, Z(X),π, π(X)｜X,Y, θ,θ(X),α,β)を、以下の（３９）式に示す分布q(Z,Z(X),π,π(X)|φ(Z),φ(X),γ(Z), γ(X))で近似する。ここで、上記（１７）式と比較すると、パラメータ記号が変わっていることに注意する。上記（１７）式と比較すると、φ(Z)はθに、φ(X)はθ(X)に対応するパラメータになっているが、γ(Z)及びγ(X)に対応するパラメータはない。
【０１２５】
【数１４】
2013101503.tif 000016
【０１２６】
Ｅ−ＳＴＥＰでは、以下の（ｉ）〜（ｉｖ）の処理により、近似した事後分布ｑのパラメータを導出する。
【０１２７】
（ｉ）φv,f,n,l,k(X)に関する最大化
φv,f,n,l,k(X)は、映像v、フレームf、画像単語インデックスｎにおいて、z=ｌが与えられたときのz(X)=kとなる確率分布（多項分布）のパラメータである。これに関する制約は、以下の（４４）式で表わされる。
【０１２８】
【数１５】
2013101503.tif 000017
【０１２９】
Lagrange 未定乗数法を用いて最適解を導出すると、φv,f,n,l,k(X)は、以下の（４５）式で表される。
【０１３０】
【数１６】
2013101503.tif 000018
【０１３１】
ただし、Ψ(x)は、以下の（４６）式で表されるディガンマ関数、すなわち，ガンマ関数の対数の１階微分である。
【０１３２】
【数１７】
2013101503.tif 000019
【０１３３】
（ｉｉ）φv,f,l(Z)に関する最大化
φv,f,l(Z)は、映像v、フレームfにおいて，z=ｌとなる確率分布（多項分布）のパラメータである。これに関する制約は、以下の(４７)式で表される。
【０１３４】
【数１８】
2013101503.tif 000020
【０１３５】
Lagrange 未定乗数法を用いて最適解を導出すると，φv,f,l(Z)は、以下の（４８）式で表される。
【０１３６】
【数１９】
2013101503.tif 000021
【０１３７】
（ｉｉｉ）γv,l,k (X)に関する最大化
γv,l,k (X)は、映像vにおいて，z=ｌが与えられたときのz(X)の確率分布（多項分布）のパラメータの分布（ディリクレ分布）のk番目のハイパーパラメータである。これに関する制約は特にないので、微分して極値を取ると、以下の（４９）式で表される最適解が得られる。
【０１３８】
【数２０】
2013101503.tif 000022
【０１３９】
（ｉｖ）γv,l(Z)に関する最大化
γv,l(Z)は、映像ｖにおいて，zの確率分布（多項分布）のパラメータの分布（ディリクレ分布）のｌ番目のハイパーパラメータである。これに関する制約は特にないので、微分して極値を取ると、以下の（５０）式で表される最適解が得られる。
【０１４０】
【数２１】
2013101503.tif 000023
【０１４１】
モデル尤度更新部７１は、上記(i)、(ii)の処理と、上記(iii)、(iv)の処理とを交互に繰り返し実行する。具体的には、上記の(４５)式、(４８)式、(４９)式、(５０)式を、パラメータの導出式として用いる。ただし、２種類のφそれぞれには、上記(４４)式、(４７)式の制約条件があることに注意する。
【０１４２】
Ｍ−ＳＴＥＰでは、以下の（ｉ）〜（ｉｖ）の処理によりモデルパラメータを導出する。
【０１４３】
（ｉ）βに関する最大化
βに関する制約は、以下の（５１）式で表される。
【０１４４】
【数２２】
2013101503.tif 000024
【０１４５】
Lagrange未定乗数法を用いて最適解を導出すると、βは以下の（５２）式で表される。
【０１４６】
【数２３】
2013101503.tif 000025
【０１４７】
（ｉｉ）αに関する最大化
αに関する制約は、以下の（５３）式で表される。
【０１４８】
【数２４】
2013101503.tif 000026
【０１４９】
Lagrange 未定乗数法を用いて最適解を導出すると、αは、以下の（５４）式で表される。
【０１５０】
【数２５】
2013101503.tif 000027
【０１５１】
（ｉｉｉ）θ(X)に関する最大化
θ(X)に関して制約はない。以下の（５５）式におけるθl,k(X)についての解が最適解となるが、閉じた解は得られない。よってNewton法などの数値計算法で解を導出する。
【０１５２】
【数２６】
2013101503.tif 000028
【０１５３】
（ｉｖ）θに関する最大化
θに関して制約はない。
【０１５４】
以下の（５６）式におけるのθlについての解が最適解となるが。閉じた解は得られない．よってNewton 法数値計算法で解を導出する。
【０１５５】
【数２７】
2013101503.tif 000029
【０１５６】
モデルパラメータ更新部７２は、モデル尤度更新部７１によるE-STEPの結果を考慮して、上記Ｍ−ＳＴＥＰの（ｉ）〜（ｉｖ）の処理を独立に行うことにより、モデルパラメータを更新する。具体的には、上記(５２)式、(５４)式、(５５)式、(５６)式がパラメータの導出式となる。ただし、βとαについては、それぞれ上記(５１)式、(５３)式の制約条件があること、上記(５５)式、(５６)式からのパラメータ計算にはNewton法などの数値計算法が必要となることに注意する。
【０１５７】
なお、第３の実施の形態に係る映像付加情報関係性学習装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【０１５８】
〔第４の実施の形態〕
＜システム構成＞
次に、本発明の第４の実施の形態について説明する。なお、第３の実施の形態に係る映像付加情報関係性学習装置の構成は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。
【０１５９】
第４の実施の形態では、映像・付加情報関係モデルとしてのトピックモデルの構成が、第１の実施の形態と異なっている。
【０１６０】
蓄積画像基礎特徴抽出部４１は、蓄積映像の構成要素たる画像信号の各フレームである蓄積画像について、蓄積画像基礎特徴を抽出し、その蓄積画像基礎特徴の集合である蓄積画像基礎特徴集合を出力する。
【０１６１】
蓄積画像区間特徴抽出部４２は、蓄積画像基礎特徴集合を入力し、蓄積映像の各ショット（シーンの切り替わりで規定される区間）から、そのショットに含まれる画像信号の特性を表現するベクトルである蓄積画像ショット特徴を抽出する。例えば、ショットに含まれる各フレームから抽出した蓄積画像基礎特徴を、Bag of Featuresと同様の方法で作成したヒストグラムを、蓄積画像ショット特徴として採用する。
【０１６２】
また、蓄積画像区間特徴抽出部４２は、蓄積画像ショット特徴の集合を入力し、各蓄積映像から、その蓄積映像に含まれる画像信号の特性を表現するベクトルである蓄積画像区間特徴を抽出し、その蓄積画像区間特徴の集合である蓄積画像区間特徴集合を出力する。例えば、１つの映像に含まれる各ショットから抽出した蓄積画像ショット特徴を、Bag of Featuresと同様の方法で作成したヒストグラムを、蓄積画像区間特徴として採用する。
【０１６３】
蓄積音響基礎特徴抽出部５１は、蓄積映像集合を入力し、蓄積映像集合の要素である蓄積映像のそれぞれから、分析窓毎に蓄積音響特徴を抽出し、蓄積音響特徴の集合である蓄積音響特徴集合を出力する。
【０１６４】
蓄積音響区間特徴抽出部５２は、蓄積音響基礎特徴集合を入力し、蓄積映像の各ショットから、そのショットに含まれる音響信号の特性を表現するベクトルである蓄積音響ショット特徴を抽出し、その蓄積音響区間特徴の集合である蓄積音響区間特徴集合を出力する。例えば、ショットに含まれる各分析窓から抽出した蓄積音響基礎特徴を、Bag of Featuresと同様の方法で作成したヒストグラムを、蓄積音響ショット特徴として採用する。
【０１６５】
また、蓄積音響区間特徴抽出部５２は、蓄積音響ショット特徴の集合を入力し、各蓄積映像から、その蓄積映像に含まれる音響信号の特性を表現するベクトルである蓄積音響区間特徴を抽出し、その蓄積音響区間特徴の集合である蓄積音響区間特徴集合を出力する。例えば、１つの映像に含まれる各ショットから抽出した蓄積音響ショット特徴を、Bag of Featuresと同様の方法で作成したヒストグラムを、蓄積音響区間特徴として採用する。
【０１６６】
映像・付加情報関係モデルの構成は、図７に示すような、各カテゴリについて、当該カテゴリが付与された映像における画像特徴及び音響特徴とショット及びフレームの各々のトピックとの関係を表すトピックモデルであり、上記(３３）〜（３８）式と同様の式で表される。
【０１６７】
ただし、Ｚ∈｛１，・・・，Ｋ｝は、ショットのトピックであり、Ｚ＝｛Ｚv｝vは、ショットトピックの集合であり、Ｖ個の要素である。ｚ＝（ｚ1，ｚ2，・・・，ｚk)、ｚk∈｛０，１｝、Σkｚk＝１は、ショットトピックのバイナリ表現であり、ショットトピックの代用表現、すなわち、ｚk＝１（故にｚk’＝０  ∀ｋ’≠ｋ）は、Ｚ＝ｋと等価である。πは、ショットトピック生成の多項分布パラメータであり、Ｋ次元ベクトルである（Ｋはショットトピック数である）。θは、π生成のディリクレパラメータであり、Ｃ個のＫ次元ベクトルである。Ｆvは、映像ｖのショットの数（＝映像ｖでの音響単語の生起数)であり、ｆv∈｛1, . . . , Fv｝は、映像ｖ内のショットのインデックスであり、ＷYは、音響単語の種類数であり、Ｙ∈{1, . . . ,WY }は音響単語（量子化された音響特徴）である。Y = {Yv,n}v,nは、画像単語集合であり、各vについてのFv個の要素である。Ｚ(X)∈｛１，・・・，Ｌ｝は、画像単語トピックであり、Ｚ(X)＝｛Ｚv,k(X)｝v,fは、画像単語トピックの集合であり、各ｖについてＦv個の要素である。ｚ(X)＝（ｚ1(X)，ｚ2(X)，・・・，ｚL(X))、ｚk(X)∈｛０，１｝、Σkｚk(X)＝１は、画像単語トピックのバイナリ表現であり、画像単語トピックの代用表現である。π(X)は、画像単語トピック生成の多項分布パラメータであり、Ｌ次元ベクトルである（Ｌを画像単語トピック数である）。θ(X)は、π(X)生成のディリクレパラメータであり、Ｃ個のＬ次元ベクトルである。Ｎv,fは、映像ｖのショットｆでの画像単語の生起数である。nv,f ∈ {1, . . . ,Nv,f }は、映像ｖのショットfでの画像単語のインデックスであり、ＷXは、画像単語の種類数である。X ∈ {1, . . . ,WX}は、画像単語（量子化された画像特徴）であり、Ｘ = {Xv,k,n}v,k,nは、画像単語集合である。各(v, k) についてNv,k個の要素であり、ｘ = (x1, x2, . . . , xWX), xw ∈ {0, 1},Σwxw = 1は、画像単語のバイナリ表現であり、画像単語の代用表現である。βは、画像単語の多項分布パラメータであり、Ｌ個のWX 次元ベクトルである。φXは、β生成のディリクレパラメータであり、WX次元ベクトルである。βは、画像単語の多項分布パラメータであり、Ｌ個のＷX次元ベクトルである。φXは、β生成のディリクレパラメータであり、ＷX次元ベクトルである。
【０１６８】
上記図７に示すトピックモデルは、Ｖ個の映像の各々について、画像単語を有するフレームのトピックが生成されると共に、音響単語とＮv,f個のフレームトピックを有するショットのトピックが生成されることを表している。
【０１６９】
モデル尤度更新部７１は、上記の第３の実施の形態と同様に、上記の(４５)式、(４８)式、(４９)式、(５０)式を、パラメータの導出式として用いて、Ｅ−ＳＴＥＰの上記(i)、(ii)の処理と、上記(iii)、(iv)の処理とを交互に繰り返し実行する。
【０１７０】
モデルパラメータ更新部７２は、上記の第３の実施の形態と同様に、上記(５２)式、(５４)式、(５５)式、(５６)式を、パラメータの導出式として用いて、上記Ｍ−ＳＴＥＰの（ｉ）〜（ｉｖ）の処理を行うことにより、モデルパラメータを更新する。
【０１７１】
なお、第４の実施の形態に係る映像付加情報関係性学習装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【０１７２】
〔第５の実施の形態〕
＜システム構成＞
次に、本発明の第５の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【０１７３】
第５の実施の形態では、映像・付加情報関係モデルを用いて、入力された映像と関連性が高い付加情報を出力する点が、第１の実施の形態と異なっている。また、入力映像を説明する付加情報又は付加情報の集合を出力する映像認識装置に、本発明を適用した場合を例に説明する。
【０１７４】
図８に示すように、第５の実施の形態による映像認識装置５００は、蓄積映像集合、蓄積付加情報集合、及び蓄積映像集合と別に与えられた映像である入力映像を入力し、入力映像に対応する付加情報である映像関連付加情報又は当該付加情報の集合である映像関連付加情報集合を出力する装置である。映像認識装置５００は、入力部１０、演算部５２０、及び出力部３０を備えている。
【０１７５】
入力部１０は、蓄積映像集合、及び蓄積付加情報集合の入力を受け付けると共に、映像認識対象となる入力映像の入力を受け付ける。
【０１７６】
演算部５２０は、蓄積付加情報データベース１、蓄積映像データベース２、蓄積付加情報特徴抽出部３、蓄積画像特徴抽出部４、蓄積音響特徴抽出部５、特徴データベース６、映像・付加情報間関係性学習部７、入力画像特徴抽出部８、入力音響特徴抽出部９、及び映像認識部１１を備えている。
【０１７７】
入力画像特徴抽出部８は、入力映像を入力し、この入力映像に含まれる画像信号の特性を表現するベクトルである入力画像特徴を抽出し、この入力画像特徴を出力する。入力画像特徴抽出部８は、入力画像基礎特徴抽出部８１および入力画像区間特徴抽出部８２を備え、入力画像特徴の抽出方法は、蓄積画像特徴抽出部４と同様であるため、説明を省略する。
【０１７８】
入力音響特徴抽出部９は、入力映像を入力し、この入力映像に含まれる音響信号の特性を表現するベクトルである入力音響特徴を抽出し、この入力音響特徴を出力する。入力音響特徴抽出部９は、入力音響基礎特徴抽出部９１および入力音響区間特徴抽出部９２を備え、入力音響特徴の抽出方法は、蓄積音響特徴抽出部５と同様であるため、説明を省略する。
【０１７９】
映像認識部１１は、入力画像特徴、入力音響特徴、及び学習された映像・付加情報関係モデルを入力し、入力画像特徴と入力音響特徴を映像・付加情報関係モデルに与えることで、入力映像との関連性が高い付加情報である映像関連付加情報を抽出し、この映像関連付加情報、又は映像関連付加情報集合を出力する。映像関連付加情報の選択方法は、特に限定されるものではないが、ここでは、以下の方法について述べる。
【０１８０】
まず、入力画像特徴、入力音響特徴、及び言語ラベルごとに学習された映像・付加情報関係モデルパラメータの集合を用いて、上記（１３）式に示した統計量（perplexity）を、言語ラベルごとに計算する。
【０１８１】
次に、言語ラベルごとに計算された統計量に基づいて、映像関連付加情報を選択する。例えば、以下の２通りの方法が考えられる。第１の方法として、最も小さな統計量を出力した映像・付加情報関係モデルに対応する言語ラベルを、映像関連付加情報として選択する。第２の方法として、統計量があらかじめ定められた値よりも小さい値を出力した映像・付加情報関係モデルに対応する言語ラベルを、映像関連付加情報として選択する。
【０１８２】
このようにして、映像認識部１１は、映像関連付加情報を選択し、この映像関連付加情報又は映像関連付加情報集合を出力部３０により出力する。
【０１８３】
＜映像認識装置の作用＞
まず、蓄積映像集合および蓄積付加情報集合が、映像認識装置５００に入力されると、映像認識装置５００によって、入力された蓄積付加情報集合が、蓄積付加情報データベース１へ格納され、入力された蓄積映像集合が、蓄積映像データベース２へ格納される。そして、映像認識装置５００は、第１の実施の形態と同様に、モデル学習処理ルーチンを実行する。
【０１８４】
また、映像認識対象の入力映像が、映像認識装置５００に入力されると、映像認識装置５００によって、図９に示す映像認識処理ルーチンが実行される。
【０１８５】
まず、ステップＳ５０１において、入力された入力映像を受け付け、ステップＳ５０２において、入力映像から、フレーム毎に入力画像基礎特徴を抽出し、ステップＳ５０３において、入力画像基礎特徴に基づいて、各区間の入力画像区間特徴を抽出する。
【０１８６】
そして、ステップＳ５０４において、入力映像から、分析窓毎に入力音響基礎特徴を抽出し、ステップＳ５０５において、入力音響基礎特徴に基づいて、各区間の入力音響区間特徴を抽出する。
【０１８７】
そして、ステップＳ５０６において、言語ラベルを識別するための変数ｉに初期値０を設定し、ステップＳ５０７において、上記ステップＳ５０３、Ｓ５０５で抽出された入力画像区間特徴及び入力音響区間特徴と、言語ラベルｉについて学習した映像・付加情報関係モデル（映像・付加情報関係モデルパラメータ集合）とを用いて、上記（１３）式に従って、言語ラベルｉに対する統計量を算出する。
【０１８８】
次のステップＳ５０８では、全ての言語ラベルについて、上記ステップＳ５０７の処理を実行したか否かを判定する。上記ステップＳ５０７の処理を実行していない言語ラベルが存在する場合には、ステップＳ５０９において、変数ｉを１インクリメントして、上記ステップ５０７へ戻る。一方、全ての言語ラベルについて、上記ステップＳ５０７の処理を実行した場合には、ステップＳ５１０へ進む。
【０１８９】
ステップＳ５１０では、上記ステップＳ５０７で算出された各言語ラベルに対する統計量に基づいて、映像関連付加情報を選択する。そして、ステップＳ５１１において、上記ステップＳ５１０で選択された映像関連付加情報又は映像関連付加情報集合を、出力部３０により出力し、映像認識処理ルーチンを終了する。
【０１９０】
なお、入力映像が複数ある場合には、入力映像毎に、上記の映像認識処理ルーチンが実行される。
【０１９１】
以上説明したように、第５の実施の形態に係る映像認識装置によれば、言語ラベル毎に学習した、言語ラベルが付与された映像における蓄積画像特徴及び蓄積音響特徴と映像のトピックとの関係を表すトピックモデルを用いることにより、入力映像との関連性が高い付加情報を、映像認識結果として精度よく得ることができる。
【０１９２】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、上記の第５の実施の形態で説明した、入力映像に関連する付加情報を選択する技術を、上記の第２の実施の形態〜第４の実施の形態で説明した映像付加情報関係性学習装置に適用してもよい
【０１９３】
また、上記の第５の実施の形態において、入力映像が複数存在する場合に、言語ラベルごとに計算した統計量の小さい順に入力映像を並べ替え、あらかじめ定められた順位以内に入った入力映像に対して、当該言語ラベルを映像関連付加情報として選択するようにしてもよい。この場合には、各言語ラベルに対する入力映像集合の関連順位列を出力するようにしてもよい。
【０１９４】
また、上記の第１の実施の形態〜第５の実施の形態では、言語ラベル毎にモデルパラメータ集合を学習する場合を例に説明したが、これに限定されるものではない。言語ラベルに関するパラメータを含めたモデルパラメータ集合を学習するようにしてもよい。
【０１９５】
例えば、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０１９６】
１     蓄積付加情報データベース
２     蓄積映像データベース
３     蓄積付加情報特徴抽出部
４     蓄積画像特徴抽出部
５     蓄積音響特徴抽出部
６     特徴データベース
７、２０７    映像・付加情報間関係性学習部
８     入力画像特徴抽出部
９     入力音響特徴抽出部
１０   入力部
１１   映像認識部
２０、２２０、５２０ 演算部
７１、２７１  モデル尤度更新部
７２、２７２  モデルパラメータ更新部
１００、２００  映像付加情報関係性学習装置
５００ 映像認識装置
【図１】
2013101503.tif 000030
【図２】
2013101503.tif 000031
【図３】
2013101503.tif 000032
【図４】
2013101503.tif 000033
【図５】
2013101503.tif 000034
【図６】
2013101503.tif 000035
【図７】
2013101503.tif 000036
【図８】
2013101503.tif 000037
【図９】
2013101503.tif 000038