(57)【要約】【課題】動画像そのものをクエリとする検索やグループ化を、従来よりも計算コストを低く抑えて高い精度で容易に行なう。【解決手段】第１の特徴量抽出手段１２や第２の特徴量抽出手段２２は、クエリ動画像と対象動画像の特徴量をそれぞれ抽出する。クエリ動画像代表フレーム選出手段１３や対象動画像代表フレーム選出手段２３が、クエリ動画像と前記対象動画像について、時間窓で制限された時間幅の範囲内で、特徴量間の関係から各フレームをクラスター化し、時間窓を時間軸上でスライドさせる。これにより、シーン毎に時系列で代表フレームを取得する。さらに類似度算出手段３１や類似動画像表示制御手段３２が、クエリ動画像と対象動画像との間の代表フレーム間類似度から、クエリ動画像と対象動画像との間の類似度を求めて、クエリ動画像に類似する動画像を検索する。【選択図】図１
2016014990.tif 000002
【特許請求の範囲】
【請求項１】
クエリ動画像に対して対象動画像の類似度を算出して、前記クエリ動画像に類似する動画像を検索する動画像検索装置による動画像検索方法であって、
前記クエリ動画像と前記対象動画像の各フレームから特徴量を抽出する第１ステップと、
前記クエリ動画像と前記対象動画像について、時間窓で制限された時間幅の範囲内で、前記特徴量間の関係から前記各フレームをクラスター化し、前記時間窓を時間軸上でスライドさせることで、シーン毎に時系列で代表フレームを取得する第２ステップと、
前記クエリ動画像における前記代表フレームと、前記対象動画像における前記代表フレームとの間の代表フレーム間類似度から、前記クエリ動画像と前記対象動画像との間の前記類似度を求めて、前記クエリ動画像に類似する前記動画像を検索する第３ステップと、を備えたことを特徴とする動画像検索方法。
【請求項２】
前記第３ステップでは、
前記クエリ画像のｉ番目の前記代表フレームが表わすフレーム数ＥＡｉと、前記対象動画像のｊ番目の前記代表フレームが表わすフレーム数ＥＢｊと、前記クエリ画像のｉ番目の前記代表フレームと前記対象動画像のｊ番目の前記代表フレームとの間の前記代表フレーム間類似度ｓ（ｉ，ｊ）と、をそれぞれ取得し、
ギャップペナルティーｇを設定し、
前記クエリ動画像における前記代表フレームの数がｍであり、前記対象動画像における前記代表フレームの数がｎであるときに、（ｍ＋１）×（ｎ＋１）の行列の各成分ｆ（ｉ，ｊ）について、
ｉ＝０の行の各成分ｆ（０，ｊ）を、次の数１に基づいて算出し、
【数１】
2016014990.tif 000027
ｊ＝０の列の各成分ｆ（ｉ，０）を、次の数２に基づいて算出し、
【数２】
2016014990.tif 000028
前記フレーム数ＥＡｉ，ＥＢｊに応じて算出される重みをｒ（ｉ，ｊ）としたときに、ｉ＝０の行とｊ＝０の列以外の残りの行列成分ｆ（ｉ，ｊ）を、次の数３に基づいて算出し、
【数３】
2016014990.tif 000029
前記行列の最終行最終列の数値を利用して、前記クエリ動画像と前記対象動画像との間の前記類似度を算出することを特徴とする請求項１記載の動画像検索方法。
【請求項３】
前記第３ステップでは、
前記クエリ画像のｉ番目の前記代表フレームが表わすフレーム数ＥＡｉと、前記対象動画像のｊ番目の前記代表フレームが表わすフレーム数ＥＢｊと、前記クエリ画像のｉ番目の前記代表フレームと前記対象動画像のｊ番目の前記代表フレームとの間の前記代表フレーム間類似度ｓ（ｉ，ｊ）と、をそれぞれ取得し、
ギャップペナルティーｇを設定し、
前記クエリ動画像における前記代表フレームの数がｍであり、前記対象動画像における前記代表フレームの数がｎであるときに、（ｍ＋１）×（ｎ＋１）の行列の各成分ｆ（ｉ，ｊ）について、
ｉ＝０の行の各成分ｆ（０，ｊ）と、ｊ＝０の列の各成分ｆ（ｉ，０）を、全て０に設定し、
前記フレーム数ＥＡｉ，ＥＢｊに応じて算出される重みをｒ（ｉ，ｊ）としたときに、ｉ＝０の行とｊ＝０の列以外の残りの行列成分ｆ（ｉ，ｊ）を、次の数４に基づいて算出し、
【数４】
2016014990.tif 000030
前記行列の各成分の中の最大値を利用して、前記クエリ動画像と前記対象動画像との間の前記類似度を算出することを特徴とする請求項１記載の動画像検索方法。
【請求項４】
前記第２ステップでは、時間拘束アフィニティ伝播法によって前記代表フレームを取得することを特徴とする請求項１〜３の何れか１項に記載の動画像検索方法。
【請求項５】
クエリ動画像に対して検索対象となる対象動画像の類似度を算出して、前記クエリ動画像に類似する動画像を検索する動画像検索装置であって、
前記クエリ動画像と前記対象動画像の各フレームから特徴量を抽出する特徴量抽出手段と、
前記クエリ動画像と前記対象動画像について、時間窓で制限された時間幅の範囲内で、前記特徴量間の関係から前記各フレームをクラスター化し、前記時間窓を時間軸上でスライドさせることで、シーン毎に時系列で代表フレームを取得する代表フレーム選出手段と、
前記クエリ動画像における前記代表フレームと、前記対象動画像における前記代表フレームとの間の代表フレーム間類似度から、前記クエリ動画像と前記対象動画像との間の前記類似度を求めて、前記クエリ動画像に類似する前記動画像を検索する動画像検索手段と、を備えたことを特徴とする動画像検索装置。
【請求項６】
前記動画像検索手段は、
前記クエリ画像のｉ番目の前記代表フレームが表わすフレーム数ＥＡｉと、前記対象動画像のｊ番目の前記代表フレームが表わすフレーム数ＥＢｊと、前記クエリ画像のｉ番目の前記代表フレームと前記対象動画像のｊ番目の前記代表フレームとの間の前記代表フレーム間類似度ｓ（ｉ，ｊ）と、をそれぞれ取得し、
ギャップペナルティーｇを設定し、
前記クエリ動画像における前記代表フレームの数がｍであり、前記対象動画像における前記代表フレームの数がｎであるときに、（ｍ＋１）×（ｎ＋１）の行列の各成分ｆ（ｉ，ｊ）について、
ｉ＝０の行の各成分ｆ（０，ｊ）を、次の数５に基づいて算出し、
【数５】
2016014990.tif 000031
ｊ＝０の列の各成分ｆ（ｉ，０）を、次の数６に基づいて算出し、
【数６】
2016014990.tif 000032
前記フレーム数ＥＡｉ，ＥＢｊに応じて算出される重みをｒ（ｉ，ｊ）としたときに、ｉ＝０の行とｊ＝０の列以外の残りの行列成分ｆ（ｉ，ｊ）を、次の数７に基づいて算出し、
【数７】
2016014990.tif 000033
前記行列の最終行最終列の数値を利用して、前記クエリ動画像と前記対象動画像との間の前記類似度を算出する構成としたことを特徴とする請求項５記載の動画像検索装置。
【請求項７】
前記動画像検索手段は、
前記クエリ画像のｉ番目の前記代表フレームが表わすフレーム数ＥＡｉと、前記対象動画像のｊ番目の前記代表フレームが表わすフレーム数ＥＢｊと、前記クエリ画像のｉ番目の前記代表フレームと前記対象動画像のｊ番目の前記代表フレームとの間の前記代表フレーム間類似度ｓ（ｉ，ｊ）と、をそれぞれ取得し、
ギャップペナルティーｇを設定し、
前記クエリ動画像における前記代表フレームの数がｍであり、前記対象動画像における前記代表フレームの数がｎであるときに、（ｍ＋１）×（ｎ＋１）の行列の各成分ｆ（ｉ，ｊ）について、
ｉ＝０の行の各成分ｆ（０，ｊ）と、ｊ＝０の列の各成分ｆ（ｉ，０）を、全て０に設定し、
前記フレーム数ＥＡｉ，ＥＢｊに応じて算出される重みをｒ（ｉ，ｊ）としたときに、ｉ＝０の行とｊ＝０の列以外の残りの行列成分ｆ（ｉ，ｊ）を、次の数８に基づいて算出し、
【数８】
2016014990.tif 000034
前記行列の各成分の中の最大値を利用して、前記クエリ動画像と前記対象動画像との間の前記類似度を算出する構成としたことを特徴とする請求項５記載の動画像検索装置。
【請求項８】
前記代表フレーム選出手段は、時間拘束アフィニティ伝播法によって前記代表フレームを取得する構成としたことを特徴とする請求項５〜７の何れか１項に記載の動画像検索装置。
【請求項９】
コンピュータを、請求項５〜８の何れか１項に記載の動画像検索装置として機能させるための動画像検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像検索方法、動画像検索装置及びそのプログラムに関する。
【背景技術】
【０００２】
インターネット上には、莫大な量の動画像データが蓄積されている。これらの動画像の検索に関してよく使われる方法として、テキストベースの検索手法が知られている。このテキストベースの検索手法は、動画像のそれぞれに適切なテキスト情報を対応させ、テキスト検索を行なうことで所望の動画像を検索するものである。しかしながら、このような手法では、以下のような問題がある。
（ａ）動画像とテキスト情報の対応付け（ラベル付け）は手作業で行なう必要があり、コストがかかる。
（ｂ）汎用性が乏しい不適切なラベルが付けられることにより、検索の精度や効率が低下する可能性がある。
【０００３】
上記問題点を解決する手法として、画像の内容（コンテンツ）そのものをクエリとして用いるコンテンツベースの検索が期待される。
【０００４】
コンテンツベースの検索方法として、画像全体の輝度の変化と複雑度、エッジ量の複雑度、輝度分布を用いた簡易構図情報など画像全体に関する情報、またはそれらの組み合わせで、クエリ画像と検索対象画像との類似度を計算する手法が提案されている（例えば特許文献１参照）。また、複数の検索対象画像をそれぞれ所定の大きさの要素画像に分割し、分割された要素画像から代表的な要素画像を選択し、この代表的な要素画像を用いて描画した検索参照画像による画像の検索を行う手法も提案されている（例えは特許文献２参照）。
【０００５】
しかしながらこれらの提案手法は、静止画像をクエリとして用いて静止画像の検索を行なうものであり、動画像をクエリとして検索する手法については考慮されていない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−５６８２０号公報
【特許文献２】特開２００２−１４０３３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記したように、従来技術においてはテキストベース又は静止画像をクエリとして用いる手法について開示があるのみであり、動画像をクエリとする、動画像のコンテンツに基づいた動画像検索について開示されたものはなく、検討されていなかった。本発明は、動画像そのものをクエリとする検索を、計算コストを低く抑えつつ精度良く行なうことが可能な動画像検索方法、動画像検索装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、大量の動画像間の相互関係、すなわち位相を数値的に計算できる手段を与えるものである。これにより、動画像からなるビッグデータに対して機械学習によりラベルを付け、動画像そのものをクエリとする検索やグループ化を行なうことを可能にする。このとき、ラベルは代表フレームの枚数や、番号や、それらの支配フレーム数をヘッダーに付加したものとなる。このようなフォーマット化は容易であり、標準化への道を有している。
【０００９】
すなわち本発明は、クエリ動画像に対して対象動画像の類似度を算出して、前記クエリ動画像に類似する動画像を検索する動画像検索装置による動画像検索方法であって、
前記クエリ動画像と前記対象動画像の各フレームから特徴量を抽出する第１ステップと、
前記クエリ動画像と前記対象動画像について、時間窓で制限された時間幅の範囲内で、前記特徴量間の関係から前記各フレームをクラスター化し、前記時間窓を時間軸上でスライドさせることで、シーン毎に時系列で代表フレームを取得する第２ステップと、
前記クエリ動画像における前記代表フレームと、前記対象動画像における前記代表フレームとの間の代表フレーム間類似度から、前記クエリ動画像と前記対象動画像との間の前記類似度を求めて、前記クエリ動画像に類似する前記動画像を検索する第３ステップと、を備えたことを特徴とする。
【００１０】
上記動画像検索方法において、前記第３ステップでは、
前記クエリ画像のｉ番目の前記代表フレームが表わすフレーム数ＥＡｉと、前記対象動画像のｊ番目の前記代表フレームが表わすフレーム数ＥＢｊと、前記クエリ画像のｉ番目の前記代表フレームと前記対象動画像のｊ番目の前記代表フレームとの間の前記代表フレーム間類似度ｓ（ｉ，ｊ）と、をそれぞれ取得し、
ギャップペナルティーｇを設定し、
前記クエリ動画像における前記代表フレームの数がｍであり、前記対象動画像における前記代表フレームの数がｎであるときに、（ｍ＋１）×（ｎ＋１）の行列の各成分ｆ（ｉ，ｊ）について、
ｉ＝０の行の各成分ｆ（０，ｊ）を、次の数１に基づいて算出し、
【００１１】
【数１】
2016014990.tif 000003
【００１２】
ｊ＝０の列の各成分ｆ（ｉ，０）を、次の数２に基づいて算出し、
【００１３】
【数２】
2016014990.tif 000004
【００１４】
前記フレーム数ＥＡｉ，ＥＢｊに応じて算出される重みをｒ（ｉ，ｊ）としたときに、ｉ＝０の行とｊ＝０の列以外の残りの行列成分ｆ（ｉ，ｊ）を、次の数３に基づいて算出し、
【００１５】
【数３】
2016014990.tif 000005
【００１６】
前記行列の最終行最終列の数値を利用して、前記クエリ動画像と前記対象動画像との間の前記類似度を算出する。
【００１７】
代わりに、前記第３ステップでは、
前記クエリ画像のｉ番目の前記代表フレームが表わすフレーム数ＥＡｉと、前記対象動画像のｊ番目の前記代表フレームが表わすフレーム数ＥＢｊと、前記クエリ画像のｉ番目の前記代表フレームと前記対象動画像のｊ番目の前記代表フレームとの間の前記代表フレーム間類似度ｓ（ｉ，ｊ）と、をそれぞれ取得し、
ギャップペナルティーｇを設定し、
前記クエリ動画像における前記代表フレームの数がｍであり、前記対象動画像における前記代表フレームの数がｎであるときに、（ｍ＋１）×（ｎ＋１）の行列の各成分ｆ（ｉ，ｊ）について、
ｉ＝０の行の各成分ｆ（０，ｊ）と、ｊ＝０の列の各成分ｆ（ｉ，０）を、全て０に設定し、
前記フレーム数ＥＡｉ，ＥＢｊに応じて算出される重みをｒ（ｉ，ｊ）としたときに、ｉ＝０の行とｊ＝０の列以外の残りの行列成分ｆ（ｉ，ｊ）を、次の数４に基づいて算出し、
【００１８】
【数４】
2016014990.tif 000006
【００１９】
前記行列の各成分の中の最大値を利用して、前記クエリ動画像と前記対象動画像との間の前記類似度を算出してもよい。
【００２０】
また本発明は、クエリ動画像に対して検索対象となる対象動画像の類似度を算出して、前記クエリ動画像に類似する動画像を検索する動画像検索装置であって、
前記クエリ動画像と前記対象動画像の各フレームから特徴量を抽出する特徴量抽出手段と、
前記クエリ動画像と前記対象動画像について、時間窓で制限された時間幅の範囲内で、前記特徴量間の関係から前記各フレームをクラスター化し、前記時間窓を時間軸上でスライドさせることで、シーン毎に時系列で代表フレームを取得する代表フレーム選出手段と、
前記クエリ動画像における前記代表フレームと、前記対象動画像における前記代表フレームとの間の代表フレーム間類似度から、前記クエリ動画像と前記対象動画像との間の前記類似度を求めて、前記クエリ動画像に類似する前記動画像を検索する動画像検索手段と、を備えている。
【００２１】
上記動画像検索装置において、前記動画像検索手段は、
前記クエリ画像のｉ番目の前記代表フレームが表わすフレーム数ＥＡｉと、前記対象動画像のｊ番目の前記代表フレームが表わすフレーム数ＥＢｊと、前記クエリ画像のｉ番目の前記代表フレームと前記対象動画像のｊ番目の前記代表フレームとの間の前記代表フレーム間類似度ｓ（ｉ，ｊ）と、をそれぞれ取得し、
ギャップペナルティーｇを設定し、
前記クエリ動画像における前記代表フレームの数がｍであり、前記対象動画像における前記代表フレームの数がｎであるときに、（ｍ＋１）×（ｎ＋１）の行列の各成分ｆ（ｉ，ｊ）について、
ｉ＝０の行の各成分ｆ（０，ｊ）を、次の数５に基づいて算出し、
【００２２】
【数５】
2016014990.tif 000007
【００２３】
ｊ＝０の列の各成分ｆ（ｉ，０）を、次の数６に基づいて算出し、
【００２４】
【数６】
2016014990.tif 000008
【００２５】
前記フレーム数ＥＡｉ，ＥＢｊに応じて算出される重みをｒ（ｉ，ｊ）としたときに、ｉ＝０の行とｊ＝０の列以外の残りの行列成分ｆ（ｉ，ｊ）を、次の数７に基づいて算出し、
【００２６】
【数７】
2016014990.tif 000009
【００２７】
前記行列の最終行最終列の数値を利用して、前記クエリ動画像と前記対象動画像との間の前記類似度を算出する構成としている。
【００２８】
代わりに、前記動画像検索手段は、
前記クエリ画像のｉ番目の前記代表フレームが表わすフレーム数ＥＡｉと、前記対象動画像のｊ番目の前記代表フレームが表わすフレーム数ＥＢｊと、前記クエリ画像のｉ番目の前記代表フレームと前記対象動画像のｊ番目の前記代表フレームとの間の前記代表フレーム間類似度ｓ（ｉ，ｊ）と、をそれぞれ取得し、
ギャップペナルティーｇを設定し、
前記クエリ動画像における前記代表フレームの数がｍであり、前記対象動画像における前記代表フレームの数がｎであるときに、（ｍ＋１）×（ｎ＋１）の行列の各成分ｆ（ｉ，ｊ）について、
ｉ＝０の行の各成分ｆ（０，ｊ）と、ｊ＝０の列の各成分ｆ（ｉ，０）を、全て０に設定し、
前記フレーム数ＥＡｉ，ＥＢｊに応じて算出される重みをｒ（ｉ，ｊ）としたときに、ｉ＝０の行とｊ＝０の列以外の残りの行列成分ｆ（ｉ，ｊ）を、次の数８に基づいて算出し、
【００２９】
【数８】
2016014990.tif 000010
【００３０】
前記行列の各成分の中の最大値を利用して、前記クエリ動画像と前記対象動画像との間の前記類似度を算出する構成としてもよい。
【発明の効果】
【００３１】
上述した本発明の動画像検索方法、動画像検索装置およびそのプログラムにより、動画像をクエリとする検索を、計算コストを低く抑えつつ精度良く行なうことができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施例において、動画像検索装置のシステム構成を示すブロック図である。
【図２】同上、図１の処理装置で処理される動作フローの説明図である。
【図３】本発明の一実施例で適用する時系列情報を考慮したクラスタリングと、従来技術の時系列情報を考慮していないクラスタリングとの違いを示す説明図である。
【図４】本発明の一実施例において、時間窓を用いたaffinity propagation 法（TBAP，Time-Bound Affinity Propagation）による代表フレーム選出アルゴリズムを示すフローチャートである。
【図５】本発明の一実施例と従来技術において、メッセージ交換の様子を示す説明図である。
【図６】本発明の一実施例において、メッセージ交換のリンク行列を示す説明図である。
【図７】同上、TBAPにおける時間窓と、改良したk-means法やharmonic competition法における時間ブロックを、それぞれ時間軸上で示した説明図である。
【図８】同上、Ｍ距離による類似度算出アルゴリズムを示すフローチャートである。
【図９】実験で使用した元の動画像データの生成過程を表わす説明図である。
【図１０】図９の動画像データの構造を示す説明図である。
【図１１】５つのガウス型クラスターのそれぞれを、時間方向で２つに分けて１０集団としたプロットであり、時間性を反映した代表点（典型静止画）の出現と計算速度を調べるために使用した図である。
【図１２】動画像ｖＡと動画像ｖＢの各典型静止画の距離を行列として表した図である。
【図１３】実験で得られた大域アラインメント用テーブルの一例を示す図である。
【図１４】実験で得られた局所アラインメント用テーブルの一例を示す図である。
【図１５】図１３の大域アラインメント用テーブルに対応して、計算を省略した個所を黒く塗り潰した図である。
【図１６】実験で得られた動画像検索における適合率−再現率曲線を示すグラフである。
【発明を実施するための形態】
【００３３】
以下、添付図面に基づき、本発明における動画像検索方法と、それを実現する装置の好ましい実施例を詳しく説明する。
【００３４】
図１は、本実施例における動画像検索装置のシステム構成について、好ましい一例を模式的に示したものである。同図において、１は動画像の集合を記憶保存するデータベース、２は類似画像の検索を行なうコンピュータなどの処理装置、３は検索に用いる動画像や検索対象の動画像を表示したり、検索結果を表示するディスプレイ、４はマウスやキーボード等からなる入力手段である。データベース１は処理装置２に読み出し可能な状態に接続される。処理装置２は、必要に応じてデータベース１に蓄積された動画像を表示手段であるディスプレイ３に表示できるようになっている。なお、データベース１は処理装置２に内蔵または外付けされる記憶媒体（ハードディスクなど）であってもよく、あるいは処理装置２に通信手段を介して接続されるサーバ上に構築されていてもよい。また、クエリ画像と検索対象画像とを別々のデータベースに記憶させておくこともでき、どのような形態であるかは特に限定されない。また、処理装置２は入力手段４と接続されており、ユーザーによる入力を適宜受け付けることができる。
【００３５】
処理装置２には類似動画像検索を行なうためのアプリケーションソフトウェアがインストールされる。処理装置２はインストールされたプログラムを実行することによって、データベース１から動画像を取込み、取り込まれた動画像の特徴量を算出して解析した上で、クエリ動画像に類似している動画像を対象動画像から検索する処理を行なうものである。また、アプリケーションソフトウェアがインストールされることにより、以下に示すような各手段として機能させることができる。
【００３６】
処理装置２は、クエリ動画像の処理を行う機能手段として、クエリ動画像取込み手段１１と、第１の特徴量抽出手段１２と、クエリ動画像代表フレーム選出手段１３とを備えている。クエリ動画像取込み手段１１は、データベース１に保存された動画像の中から、入力手段４によってユーザーが選択したクエリ動画像を取込むものである。第１の特徴量抽出手段１２は、クエリ動画像取込み手段１１で取込んだクエリ動画像の特徴量を抽出するためのものである。クエリ動画像代表フレーム選出手段１３は、第１の特徴量抽出手段１２で抽出したクエリ動画像の特徴量に基づき、当該クエリ動画像内における一乃至複数の代表フレームを選出するためのものである。
【００３７】
処理装置２は、対象動画像の処理を行なう機能手段として、対象動画像取込み手段２１と、第２の特徴量抽出手段２２と、対象動画像代表フレーム選出手段２３とを備えている。対象動画像取込み手段２１は、データベース１に保存された動画像の中から、検索の対象となる対象動画像を取込むものである。第２の特徴量抽出手段２２は、対象動画像取込み手段２１で取込んだ対象動画像の特徴量を抽出するためのものである。対象動画像代表フレーム選出手段２３は、第２の特徴量抽出手段２２で抽出したクエリ動画像の特徴量に基づき、当該対象動画像内における一乃至複数の代表フレームを選出するためのものである。
【００３８】
処理装置２はその他に、クエリ動画像に類似する対象動画像を検索する手段として、類似度算出手段３１と、類似動画像表示制御手段３２とを備えている。類似度算出手段３１は、クエリ動画像内における各代表フレームの特徴量と対象動画像内における各代表フレームの特徴量とをそれぞれ比較し、類似度を算出するものである。類似動画像表示制御手段３２は、類似度算出手段３１で算出した類似度の高い順に、対象動画像をディスプレイ３に一乃至複数表示させるものである。
【００３９】
図２は、本発明の処理装置２の処理概要を示したものである。図中、左経路はクエリ動画像の処理ステップを表し、右経路は対象動画像の処理ステップを表す。図２の処理により、最終的にクエリ動画像に対する対象動画像の類似度が算出される。
【００４０】
図２の左経路のクエリ動画像の処理ステップを説明する。ステップＳ１１０で、データベース１からクエリ動画像を取り込む。次にステップＳ１２０で、クエリ動画像の特徴量を抽出する。特徴量としては、MPEG-7で提案されている画像特徴量の一つである色構造記述子（Color Structure Descriptor；CSD）を用いることができる。次にステップＳ１３０で、典型静止画としてクエリ動画像の代表フレームを決める。このとき、時間拘束アフィニティ伝播法（Time-Bound Affinity propagation：TBAP）などのように、動画像の経過時間の要素を考慮した手法を用いて代表フレームは決められる。クエリ動画像のフレーム数にもよるが、通常は複数の代表フレームが選択され、選択された代表フレームに対応するそれぞれの典型静止画が持つ特徴量の集合がクエリ動画像の特徴量とされる。
【００４１】
図２の右経路の対象動画像の処理ステップもクエリ動画像の処理ステップと同様の手順で行われる。すなわち、ステップＳ１４０で、データベース１から対象動画像を取り込む。次にステップＳ１５０で、対象動画像の特徴量を抽出する。特徴量として前記したCSDを用いることができる。次にステップＳ１６０で、典型静止画として代表フレームを決める。このとき、前記したTBAPなどのように、動画像の経過時間の要素を考慮した手法を用いて代表フレームは決められる。対象動画像のフレーム数にもよるが、通常は複数の代表フレームが選択され、選択された代表フレームに対応するそれぞれの典型静止画が持つ特徴量の集合が対象動画像の特徴量とされる。
【００４２】
なお、対象動画像代表フレーム選出手段２３は、TBAPの代替技術として時間ブロックを導入したk-means法や、その一般化である時間ブロックを導入したharmonic competitionを適用することも可能である。harmonic competition法は、参考文献１などに記載されるが、本発明で提案する改良したk-means法やharmonic competition法については、後程詳しく説明する。
【００４３】
参考文献１：Matsuyama, Yasuo,“Harmonic Competition: A Self-Organizing Multiple Criteria Optimization”、IEEE Transactions on Neural Networks、Vol.7、No.3、pp.652-668、MAY 1996
【００４４】
こうして、クエリ動画像と対象動画像について、それぞれの代表フレーム（典型静止画）が選出されると、ステップＳ１７０の類似度算出の処理が行われる。ここでの典型静止画の数は各動画像に依存するので、クエリ動画像と対象動画像との類似度は、ギャップの挿入が可能な重み付きＭ距離によって算出される。なお、Ｍ距離については後程詳しく説明する。ステップＳ１８０において、ステップＳ１７０で算出した類似度スコアを基に、類似度の高い対象動画像を検索してディスプレイ３に表示する。
【００４５】
上述の処理ステップで、ステップＳ１２０，Ｓ１５０における特徴量の抽出を段階１とし、ステップＳ１３０，Ｓ１６０における代表フレームの選出を段階２とし、ステップＳ１７０における類似度の算出を段階３とする。以下、それぞれの段階１〜３を詳しく説明していく。
【００４６】
・段階１：各フレームに対する特徴量の抽出
段階１では、クエリ動画像や代表動画像（以下、単に動画像という）に含まれる各フレームの特徴量を抽出する。ここで抽出された特徴量は、時系列を考慮したベクトル｛ｘｔ｝ｎｔ＝１として表現される。例えば、類似画像検索で用いるアプリケーションソフトフェアによる処理が色情報を持つ動画像を扱えるように、当該ベクトルを先に述べたMPEG-7のCSDによって表現し、ベクトルをすべて正規化されたCSDヒストグラムとすることができる。
【００４７】
ただし、動画像の各フレームの特徴量はCSDを用いたものに限らず、当該特徴量は以下の正規化条件を満たすベクトル量であればどのようなものでも構わない。
・正規化の条件
（ｉ）各ベクトルの成分は非負とする。
（ｉｉ）ベクトル成分全部の和は、1.0となるようにする。
これは、次の手順で得られる。
（ａ）動画像の各フレームについて、その特徴を表すベクトル量に変えておく（特徴量抽出）。
（ｂ）類似度の比較法およびそれをソフトウェアとして実現した時の汎用性を確保できるように、各ベクトルを正規化できる手法を採用する。
【００４８】
上記手順（ｂ）は、実質的に各ベクトルの最小値と総和を使うことで常に可能になる。また、CSDは手順（ａ）における特徴ベクトルの単なる一例で、画像フレーム全体だけを対象にするさらに簡単なものがヒストグラムである。
【００４９】
CSDは簡単な特徴量ではあるが、良好な結果を得ることができて好ましい。また、CSDの代わりに、計算量が多くなるものの、別な手法による特徴量を用いることも可能である。例えば、動画像の各フレームの特徴量は、SIFT（Scale-Invariant Feature Transform）や、SURF（Speeded Up Robust Features）や、FREAK（Fast Retina Keypoint）や、bag of visual wordsなどを用いることができる。また、これらCSD以外の特徴量や、CSDを含む特徴量を組み合わせることも可能である。
【００５０】
例えば、前述した｛CSD，FREAK，bag of visual words，SIFT，…｝などを個別の正規化済み特徴量の集団として、個別の正規化済み特徴量をNormalizedFeatureVector（ｉ）と表記すると、動画像フレームの特徴量として、以下の数９に定義される合成特徴量ベクトルCompositeFeatureVectorを利用することもできる。
【００５１】
【数９】
2016014990.tif 000011
【００５２】
ただし、合成特徴量ベクトルCompositeFeatureVectorは上式において正規化条件：ｗｉ≧０、ΣＮｉ＝０ｗｉ＝１を満たすものとする。上記数９の式は、合成特徴量ベクトルCompositeFeatureVectorを得る一例に過ぎず、例えば特徴量同士を掛け算したものも、合成特徴量ベクトルCompositeFeatureVectorとして利用できる。したがって、合成特徴量ベクトルCompositeFeatureVectorは、次の数１０の一般式で得られる。これは、幾つかの個別の特徴量FeatureVector（ｉ）を組み合わせて最終的に正規化したものが、合成特徴量ベクトルCompositeFeatureVectorになるという表現を、数式化したものである。
【００５３】
【数１０】
2016014990.tif 000012
【００５４】
・段階２：時系列を保つ代表フレームの選出
本段階は、段階１で動画像の各フレームについて、様々な手法を利用して正規化された特徴量を抽出した後に行なわれる。ここでは、処理装置２が動画像内の各フレームを当該特徴量に基づいてクラスター化し、各クラスターを代表するフレームを選出する。各クラスターを代表するフレームを典型静止画と呼ぶが、典型静止画の選出には時系列情報が加味されていなければならない。本段階での具体的なアルゴリズムを説明する前に、注意点をいくつか述べる。
【００５５】
図３は、本実施例と通常のアフィニティ伝播法（AP）におけるクラスタリングの違いを説明する図である。図中上段にある時系列データは、段階１で抽出した時間ｔ＝１から時間ｔ＝１０までのｎ＝１０個の時系列の特徴ベクトル｛ｘｔ｝１０ｔ＝１を表している。ここでの各ボックスは各時間ｔにおけるフレームを表し、例えば時間ｔ＝１のフレームには１の数字を、時間ｔ＝５のフレームには５の数字が付してある。また、図で同じグラデーションで描いたフレームは、互いに類似しているフレーム（例えば動画の中の１シーン等）を表し、同じクラスに属するものとする。図示の例では、｛１，２，１０｝のクラス、｛３，４，５｝のクラス、｛６，７，８，９｝のクラスと、類似フレームのセットが３種類存在する。
【００５６】
これらのフレームを特徴量別にクラスター化する際、通常のアフィニティ伝播法（AP）を用いた場合には、図中左側下段に示すように、典型静止画として例えばフレーム｛２，４，７｝が選出される。しかし、これは時系列情報が考慮されておらず、動画像を検索するラベルとして適切ではない。時系列が正しく考慮されることにより、図中右側下段に示すように、典型静止画は｛２，４，７，１０｝と選出される。動画像の経過時間を考慮する時間拘束アフィニティ伝播法（TBAP）や、それを近似する改良したk-means法若しくはharmonic competition法などの手法では、そのような時系列を考慮したクラスタリングが可能となる。つまり図３の例では、時間拘束アフィニティ伝播法を適用すると、典型静止画が正しく｛（１，２，０）（１，４，１），（１，７，２），（０，１０，０）｝と選出される。このようなクラスタリングは、TBAPに限らず、改良したk-means法やharmonic competition法でも、時間窓に制限を設けることによって実現される。
【００５７】
なお、これらの典型静止画のフレーム数は動画像の長さやコンテンツに応じて可変する。したがって、各々の典型静止画は、時間順序におけるその左右に、責任のある（responsible）フレームを含んでいる。
【００５８】
以下、時系列を保つ典型静止画を選出するためのアルゴリズムの一つであるTBAPのアルゴリズムについて、図４のフローチャートを参照しながら詳しく説明する。
【００５９】
ステップＳ２１０：Similarityの計算
ここでは、時間ｔ＝１から時間ｔ＝ｎまでの動画像フレームについて、段階１で抽出されたｎ個の時系列の特徴ベクトル｛ｘｔ｝ｎｔ＝１が与えられる。前述のように、各々の特徴ベクトル｛ｘｔ｝ｎｔ＝１は、合計が１となる正規化されたCSDヒストグラムである。時間ｔ＝ｉの特徴ベクトルｘｉから、時間ｔ＝ｊの特徴ベクトルｘｊへの関係性を表わすSimilarity測度ｓ（ｘｉ，ｘｊ）を、ｓ（ｉ，ｊ）として定義する。そして、特徴ベクトルｘｉが特徴ベクトルｘｊよりも時間ｔ＝ｋの特徴ベクトルｘｋに類似している時かつその時に限り、ｓ（ｋ，ｉ）＞ｓ（ｋ，ｊ）を満たすような性質を持つものとする。
【００６０】
本実施例では、以下の数１１の式で計算したSimilarity測度ｓ（ｉ，ｊ）を用いることとする。
【００６１】
【数１１】
2016014990.tif 000013
【００６２】
ただし、bar（Ｄ）（以下、数１１の右辺第１項のように、記号Ｄにオーバーラインが付いたものを、本文中ではbar（Ｄ）と表記する）は、例えば入力手段４によりユーザーが設定可能な定数パラメータである。
【００６３】
Similarityは、「値が大きいほど関係性も大きく、値が小さいほど関係性も小さい」というルールに則った値の設定であれば、数１１の式に限らずどのようなものでも構わない。また、bar（Ｄ）の選び方はTBAPの結果に影響しないので、ここでは０としておくが、当該パラメータは動画像間を比較する上では重要な要素となり、０以外の値をとりうる。
【００６４】
ステップＳ２２０：行列Ａを初期化
ここでは、初期値を零行列にした行列Ａ＝［ａｉｊ］を用意する（ａｉｊ←０）。この行列Ａは、availabilityを表す行列である。availabilityは、典型静止画候補のデータポイントｊからデータポイントｉへ送られるメッセージで、データポイントｉがデータポイントｊの典型静止画として選ぶことがどれだけ適切かを表す値である。
【００６５】
ステップＳ２３０：行列Ａを用いて行列Ｒを算出（または更新）
ここでは先ず、スライドする時間窓の長さを、その中心が対角成分に位置するように、Ｗ＝２ω−１に設定した後、時間窓内での時系列を考慮して、特徴ベクトルｘｉ，ｘｊ，ｘｋを選択する。
【００６６】
次に、responsibilityを表す行列Ｒの成分ｒｉｊを、先に説明したavailability行列Ａを利用して計算更新する。responsibilityは、データポイントｉから典型静止画候補のデータポイントｊへ送られるメッセージで、データポイントｉがデータポイントｊの典型静止画としてどのくらい適切かを表す値である。このresponsibility行列Ｒの計算と、後述するavailability行列Ａの計算では、データポイントｉ，ｊを次の数１２の範囲に設定して算出する。つまりTBAPでは、メッセージ交換を行なう範囲に数１２に示す制限を設けている。
【００６７】
【数１２】
2016014990.tif 000014
【００６８】
responsibility行列Ｒは通常対称的であり、行列Ａを用いて数１３に示すように更新される。
【００６９】
【数１３】
2016014990.tif 000015
【００７０】
数１３において、ρｉｊは、データポイントｉとデータポイントｊとの間のresponsibilityの伝播値である。また、λ∈（０，１）は設計パラメータとしてのダンピング係数であり、これを用いて後述するステップＳ２５０での収束を遅らせ、安定した結果を得ることができる。行列Ｒも初期値は零行列とされるが、例えばダンピング係数λが０であれば、responsibilityの伝播値ρｉｊがそのまま行列Ｒの値として更新される。
【００７１】
ステップＳ２４０：行列Ａを算出
ここでは、データポイントｉ，ｊを数１２で示した範囲に制限し、次の数１４を用いてavailability行列Ａの成分ａｉｊを更新する。
【００７２】
【数１４】
2016014990.tif 000016
【００７３】
数１４において、αｉｊは、データポイントｉとデータポイントｊとの間のavailabilityの伝播値である。
【００７４】
・ステップＳ２５０：行列Ａと行列Ｒの総和が収束したか否かを判定
以上のように算出した行列Ａの成分ａｉｊと行列Ｒの成分ｒｉｊとを加算し、その値ａｉｊ＋ｒｉｊが収束の基準を満たすまで、ステップＳ２３０とステップＳ２４０の手順を繰り返す。一方、ａｉｊ＋ｒｉｊの値が収束の基準を満たすと、次のステップＳ２６０の手順に移行する。
【００７５】
・ステップＳ２６０：代表フレーム選出
ここでは、以下の数１５に定義されるインデックスが、典型静止画のインデックスとして採用される。
【００７６】
【数１５】
2016014990.tif 000017
【００７７】
つまり、ａｉｊ＋ｒｉｊの値が最大となるデータポイントでの静止画が、典型静止画として採用される。例えば、データポイントｉは、ａｉｊ＋ｒｉｊの値が最大となるデータポイントｊを中心とするクラスターに属する。最終的に代表フレームとして選出される典型静止画の集合は、こうしたインデックスを収集して見つけ出される。
【００７８】
上記一連のステップＳ２３０〜ステップＳ２６０の中で、時間窓を設定する上で必要なωは、行列Ａや行列Ｒを算出する際のメッセージ交換の範囲を制限するパラメータとなる。この制限下におけるメッセージ交換の様子を、図５に示す。同図において、上段の「AP」は、従来技術となるアフィニティ伝播法によるメッセージ交換の範囲を示している。また下段の「TBAP」は、本実施例における時間拘束アフィニティ伝播法によるメッセージ交換の範囲を示している。ここでは、前記図３で説明したものと同じフレームが時系列に並べられているものとする。
【００７９】
従来技術では、全てのデータポイントに対して、メッセージの交換が行われるが、本実施例では、時間窓で制限された近傍のデータポイントに対して、メッセージの交換が行われる。具体的には、図５に示す「AP」の例では、データポイントｉ＝５を中心として、データポイントｊ＝１からｊ＝１０の全範囲にデータ交換が行われる。一方、同図「TBAP」の例では、パラメータω＝４に設定して、時間窓２ω―１＝７の範囲でメッセージ交換を行なう構成になっている。そのため、データポイントｉ＝５を中心として、データポイントｊ＝２からｊ＝７の範囲にメッセージ交換の範囲が制限される。
【００８０】
図６は、本実施例のTBAPを適用したメッセージ交換のリンク行列を示している。ここでもパラメータω＝４に設定しており、データポイントｉを１から１０の何れかに選択したときに、どのデータポイントｊとの間でメッセージ交換が行われるのかを塗り潰して示している。
【００８１】
通常のAPの特性として、メッセージ交換を行なったデータポイントのみが典型静止画の候補として最終的に選出される。これは、本実施例のTBAPでも同じことがいえる。本実施例のTBAPでは、メッセージを交換する範囲を時系列を考慮して制限しているため、結果としてメッセージ交換を行わない時系列的に遠いデータポイント（例えば、図３に示す時間ｔ＝１０）の典型静止画も、クラスタリングにより代表フレームの一つとして選出できる。
【００８２】
また、TBAPにおける典型静止画の採用に関して、連続する類似フレームについては時間窓を越えても同じ典型静止画をとることができる。具体的には、いま第ｉフレームに対する典型静止画ｅｉを決定するとする。このとき、第ｉフレームより前にある第ｋフレームから第ｉ−１フレームまでの特徴ベクトルが、閾値などを用いて類似していると判定され、そして第ｋフレームに対する典型静止画ｅｋと第ｉフレームに対する典型静止画ｅｉも類似していると判定される場合、新たな典型静止画ｅｉを生成せずに典型静止画ｅｋをそのまま用いることができる。これによって、本発明の性能を向上させることができる。
【００８３】
以上のように、本実施例では上記TBAPに基づく処理ステップを類似動画像検索処理装置２が実行することにより、時系列を考慮した典型静止画の集合を、クエリ動画像および対象動画像よりそれぞれ抽出することができる。そしてこの抽出された代表フレームの特徴量を、当該動画像の特徴量として決定し、本段階を終える。特に、本実施例で採用するTBAPでは、選択したデータポイントと共にスライドする時間窓を設けているので、メッセージ交換の回数が制限され、メッセージ伝達の複雑さはＯ（ωｎ）となる。一方、通常のAPでの複雑さはＯ（ｎ２）である。つまり、APの計算コストはデータポイントの数の２乗に比例するため、データポイントの数が多くなると計算時間を要するといった問題点がある。それに対して、本実施例では一般的にω＜ｎであるため、TBAPはAPよりも計算コストを低く抑えることができる。また、APと比べてTBAPのアルゴリズムは検索速度も速い。
【００８４】
次に、TBAPの代替手法である改良したk-means法やharmonic competition法について、図７を参照しながら説明する。同図左側には、TBAPにおける時間軸上でスライドする時間窓Ｗが示されており、同図右側には、改良したk-means法やharmonic competition法における時間軸上でスライドする時間窓Ｗが示されている。
【００８５】
TBAPは、時間軸に沿って重なり合うようにスライドする時間窓Ｗ中の一連の画像フレームを計算対象とする。これに対して、代替技術である改良したk-meansやharmonic competitionでは、重なりの無い時間窓Ｗの画像フレームを計算対象としている。つまりTBAPでは、時間窓Ｗのずらし幅が時間窓Ｗのフレーム長さよりも小さく、一乃至複数フレームずつ時間窓Ｗがスライディングするのに対し、改良したk-meansやharmonic competitionでは、時間窓Ｗのずらし幅と時間窓Ｗのフレーム長さが一致し、時間窓Ｗの単位で時間窓Ｗがスライディングしている。
【００８６】
例えば前記段階２の手順で、改良したk-meanやharmonic competitionを用いた場合、時間軸に沿って画像フレームを時間窓Ｗに分割し、分割された時間窓Ｗの中でクラスタリングがなされる。ここで得られる代表点ベクトルは、元の画像そのものに対応するものではなく、k-meanやharmonic competitionに基づく計算により生成された類似画像（人工画像）の特徴ベクトルである。したがって、その代表点ベクトルと最も類似した特徴を持つフレームを、典型静止画として選出するという、二段階の計算手順が必要となる。この二段階の計算により得られた典型静止画は、TBAPの典型静止画と近似している。
【００８７】
なお、前述した図４のフローチャートは、スライドする時間窓Ｗを用いるTBAPの処理手順を示しているが、k-meanやharmonic competitionでも、時間窓Ｗの長さを２ω−１に設定することで、同様の処理手順を適用できる。
【００８８】
こうして、TBAPにおける時間窓Ｗの概念を、k-meanやharmonic competitionにも適用し、当該時間窓Ｗを時間軸に沿って重なり合わないようにスライドさせながら、個々の時間窓Ｗの中から代表点ベクトルを取得すれば、その代表点ベクトルに最も近い特徴を持つフレームを典型静止画として選出できる。
【００８９】
また、データの正規化と距離測度に関して、上記Similarity測度ｓ（ｉ，ｊ）は、アルゴリズムが収束すればどのようなものを用いてもよい。パラメータλを適切に設定すれば、数３におけるSimilarity測度ｓ（ｉ，ｊ）の形式は、アルゴリズムの収束をもたらす。
【００９０】
各々の特徴ベクトルｘｔは、各成分の総和が１になる非負成分だけを有するように正規化されるので、bar（Ｄ）の基準となる選択肢は次の通りである：
（ａ）全データ距離の平均値：これは、データのサイズが小さい場合にのみ許される。
（ｂ）√２，√（（ｄ−２）／（２ｄ）），または√（１−（１／ｄ））のいずれか：ただし、ｄはシンプレックスに存在する特徴ベクトルｘｔの次元を表わす。√２はシンプレックスのエッジであり、√（（ｄ−２）／（２ｄ））≒１／√２は内球の半径であり、√（１−（１／ｄ））≒１は外球の半径を表す。なお、≒は近似記号を意味し、ｄが十分大きい場合に当該近似が有効となる。
【００９１】
例えば、前述のCSDではHSV（色相−彩度−明度）色空間表現を用いており、Ｈ，Ｓ，Ｖの各値の比率を、Ｈ：Ｓ：Ｖ＝12：８：８に量子化するのが好ましいとされる。この場合、各画像は12×８×８＝768色で表現され、CSDによる特徴量は768次元のヒストグラムとなるので、CSD２値のサイズがｄ＝768で、外球の半径を表す値をbar（Ｄ）として用いる。
【００９２】
・段階３：動画像間の解析による類似度の算出
段階３では、異なる典型静止画の集合を有する異なる動画像同士の比較を行なう。コンテンツに基づいた動画像間の検索をするためには、クエリの動画像とターゲットの動画像の類似度を比較する必要がある。ここでは、段階１〜段階２で解析された動画像内の情報をもとに、異なる動画像同士の比較を、以下に説明する２つの方法の何れかで行なう。本実施例では比較対象を動画像とするが、代表フレームのようなexemplarを持つ時系列データであれば、これに限るものではない。
【００９３】
（１）大域アライメントを求めるＭ距離を適用した類似度の比較
本実施例では、類似度を比較するための尺度としてＭ距離（M-distance）と呼ぶ距離を用いる。大域アライメント用のＭ距離は、文字列の類似度を測るためのレーベンシュタイン距離（L-distance）や、生命情報学において大域アライメントを求めるためのNeedleman−Wunschアルゴリズムを一般化したものである。したがって、この大域アライメント用のＭ距離は、レーベンシュタイン距離や、Needleman−Wunschアルゴリズムのそれぞれ特例として含んでいる。
【００９４】
以下、大域アライメント用のＭ距離を利用したアルゴリズムについて、図８のフローチャートを参照しながら詳しく説明する。
【００９５】
ステップＳ３１０：クエリ動画像と対象動画像の各典型静止画を用意
クエリ動画像に相当する動画像ｖＡに対して、典型静止画の集合｛ｅＡｉ｝と、当該典型静止画が所有するフレーム数の集合｛ＥＡｉ｝（ｉ＝１，２，…）が与えられる。また、動画像ｖＡと比較される対象動画像に相当する動画像ｖＢに対しても、同様の集合｛ｅＢｊ｝，｛ＥＢｊ｝（ｊ＝１，２，…）が与えられる。ここでは、数１１におけるSimilarity測度ｓ（ｉ，ｊ）が、代表フレーム間類似度として選択される。
【００９６】
ステップＳ３２０：テーブルを作成し、次の動的計画法の手順に従って経路を元に辿る。
動画像ｖＡの典型静止画の数をｍとし、動画像ｖＢの典型静止画の数をｎとしたときに、（ｍ＋１）×（ｎ＋１）の行列を大域アライメントのテーブルとして作成する。行列の各成分ｆ（ｉ，ｊ）は、動的計画法により次の手順で算出される。
【００９７】
先ず、ステップＳ３２１では、設計パラメータとして設定したギャップペナルティーｇが選択される。このギャップペナルティーｇを導入することで、クエリ動画像の典型静止画の数ｍと、対象動画像の典型静止画の数ｎが異なっていても、これらの時系列を考慮した典型静止画同士の類似性を、正しく判定できるようになる。
【００９８】
次のステップＳ３２２では、｛ｉ＝０｝の行と、｛ｊ＝０｝の列について、ギャップｇにフレームの総数を掛け合わせて、段階的に値が下降するように、テーブルを構成する行列の各成分を計算する。具体的には、｛ｉ＝０｝の行は、次の数１６に基づいて行列成分ｆ（０，ｊ）を算出する。
【００９９】
【数１６】
2016014990.tif 000018
【０１００】
また、｛ｊ＝０｝の列は、次の数１７に基づいて行列成分ｆ（ｉ，０）を算出する。
【０１０１】
【数１７】
2016014990.tif 000019
【０１０２】
さらにステップＳ３２３では、（ｉ，ｊ）＝（１，１）の位置から開始し、｛ｉ＝０｝の行と｛ｊ＝０｝の列以外の残りの行列成分ｆ（ｉ，ｊ）を、次の数１８に基づいて算出する。
【０１０３】
【数１８】
2016014990.tif 000020
【０１０４】
その後、最大値を与える成分に向かって矢印を描く。この計算は、全ての行列成分が算出されるまで続けられる。ここでｒ（ｉ，ｊ）は、典型静止画の所有度を反映する重みを表し、その値は例えば、次の数１９に基づいて算出される。
【０１０５】
【数１９】
2016014990.tif 000021
【０１０６】
数１８に示すように、ここでの行列成分ｆ（ｉ，ｊ）は、行または列の数が大きくなる順に向けて逐次的に生成される。そして、ｉ行ｊ列の行列成分ｆ（ｉ，ｊ）は、（ｉ−１）行ｊ列を経由しｉ行ｊ列に至る経路、ｉ行（ｊ−１）列を経由しｉ行ｊ列に至る経路、（ｉ−１）行（ｊ−１）列を経由しｉ行ｊ列に至る経路のうち、コストの最も大きい経路が最適経路として選択され、そのときの数値が当該行列の成分として逐次的に決められていく。
【０１０７】
ステップＳ３３０：大域アライメントの決定
テーブルを構成する全ての行列成分の算出が終了した後、行列ｆ（ｉ，ｊ）の最終行最終列の成分から矢印を元に辿ることで、大域アライメントの経路を得ることができる。
【０１０８】
ステップＳ３４０：類似度の算出
動画像ｖＡと動画像ｖＢの類似度ｕ（Ａ，Ｂ）を、次の数２０に基づいて算出する。
【０１０９】
【数２０】
2016014990.tif 000022
【０１１０】
ただしｈ（ｘ）は正の増加関数とし、ｆｌａｓｔは当該行列の最終行最終列の数値である。また、ｗは平均化関数とする。当該平均化関数は例えば、ΣｉＥｉＡとΣｉＥｉＢとの算術平均とすることができる。
【０１１１】
（２）局所アライメントを求めるＭ距離を適用した類似度の比較
比較すべき動画像が互いに大きく相違している場合、上述した大域アライメントは人間の感覚からずれたものとなる。このような場合には、局所アライメントが利用できる。局所アラインメントは、配列が全体としては似ておらず、部分的類似を見つけたい場合に有効である。以下に記述するアルゴリズムは、上記の大域的アライメントによる方法を、局所アライメントに適応させたもので、類似度の尺度として局所アライメント用のＭ距離を用いる。この局所アライメント用のＭ距離は、生命情報学における局所アライメントを求めるためのSmith-Watermanアルゴリズムの一般化となっている。したがって、本実施例で適用する局所アライメント用のＭ距離は、Smith-Watermanアルゴリズムを特例として含んでいる。
【０１１２】
以下、局所アライメント用のＭ距離を利用したアルゴリズムについて、図８のフローチャートを参照しながら詳しく説明する。ただし、既に説明した大域アライメント用のＭ距離と重複する手順が多いため、違いを記述するに留める。
【０１１３】
ステップＳ３１０：クエリ動画像と対象動画像の各典型静止画を用意
これは、大域アライメント用のＭ距離と同じ処理手順である。
【０１１４】
ステップＳ３２０：テーブルを作成し、次の動的計画法の手順に従って経路を元に辿る。
動画像ｖＡの典型静止画の数をｍとし、動画像ｖＢの典型静止画の数をｎとしたときに、（ｍ＋１）×（ｎ＋１）の行列を局所アライメントのテーブルとして作成する。行列の各成分は、動的計画法により次の手順で算出される。
【０１１５】
先ず、ステップＳ３２１では、設計パラメータとして設定したギャップペナルティーｇが選択される。これは、大域アライメント用のＭ距離と同じ処理手順である。
【０１１６】
次のステップＳ３２２では、｛ｉ＝０｝の行と、｛ｊ＝０｝の列について、各成分をすべて０に設定する。
【０１１７】
さらにステップＳ３２３では、（ｉ，ｊ）＝（１，１）の位置から開始し、｛ｉ＝０｝の行と｛ｊ＝０｝の列以外の残りの行列成分ｆ（ｉ，ｊ）を、次の数２１に基づいて算出する。
【０１１８】
【数２１】
2016014990.tif 000023
【０１１９】
その後、０ではない最大値を与える成分に向かって矢印を描く。数２１の右辺では数１８と異なり、ｍａｘ記号の中の最左成分を０としている。これにより、スコア値が負になった場合に値を０にリセットし、アラインメントを新しく始めることができる。
【０１２０】
ステップＳ３３０：局所アライメントの決定
テーブルを構成する全ての行列成分の算出が終了した後、行列ｆ（ｉ，ｊ）の中の最大値ｆｍａｘの成分から矢印を元に辿ることで、局所アライメントの経路を得ることができる。
【０１２１】
ステップＳ３４０：類似度の算出
大域アライメント用のＭ距離と同じ処理手順を用い、動画像ｖＡと動画像ｖＢの類似度ｕ（Ａ，Ｂ）を、数２０に基づいて算出する。
【０１２２】
以上の段階１〜段階３の手順を、類似動画像検索処理装置２が処理実行して、動画像ｖＡに対する個々の動画像ｖＢの類似度ｕ（Ａ，Ｂ）を算出する。これにより、クエリ動画像に類似する類似動画像を対象動画像の中から検索することができる。
【０１２３】
なお、上述の段階２で用いたTBAPは、段階３との組み合わせにおいて、時間で拘束しないAPを利用してもよい。類似度の評価に用いるためのクラスタリング法として、APの他に既存のharmonic competitionや、既存のk-means法を使用することも可能である。
【０１２４】
次に、上記動画像検索装置を用いた実験の詳細と結果を述べる。
【０１２５】
先ず、実験データについて、検索のエンドユーザーは人間であるので、類似度の最終判断は人間のもつ感性に強く依存する。したがって、類似度の判断は、題目にできるだけ依存しないことが望ましい。しかし、単なるセットでは、プレーンな機器でも判断するのが容易になり過ぎるので、実験では次の条件を満足するデータセットを用意した。
【０１２６】
・元の動画像データは、ラベル付けされていないものとする。
・検索における適合率および再現率を、自動的に判断できるものとする。
・図３の右下に示すような時間に依存する性質を判別できるように、各動画像は、シーンの時間変化を捉えた情報を有するものとする。
【０１２７】
図９は、元の動画像データの生成過程を表したものである。グループＡの動画像は「鳥瞰図」を表し、グループＢの動画像は「鳥」を表す。実験において、これらのグループＡ，Ｂより20の動画クラスが作られる（図１０を参照）。各クラス１〜２０はそれぞれ21個の動画像を構成するので、互いに異なる合計で420個のテスト動画を使用した。
【０１２８】
・事前実験
APアルゴリズムの収束はデータに依存するので、数１３と数１４におけるパラメータλの範囲を確認する必要がある。試行データの集合として、５集団のガウス型クラスターを生成し、さらに、それぞれの時間方向について２集団に分け、１０集団とした。図１１は、これらのデータを図示したものである。
【０１２９】
図１１に示す試行データの集合に関して、本実施例で提案するTBAPと、通常のAPに対して実験を行なった。主な目的は収束のためのパラメータλの範囲と、時間窓パラメータωの効果とを確認することにある。繰り返しの実験により、パラメータλ∈［0.3，1.0−ε］の選択はデータの特徴に依存する。ただしεは正の微少量であり、図１１の実験ではε＝0.02とした。
【０１３０】
表１は、収束の傾向と計算時間を示したものである。収束は、初期値で正規化されたａ（ｉ，ｋ）およびｒ（ｉ，ｋ）のＬ１ノルムにより、それが10−５未満であるか否かによりチェックされた。表１では、時間窓Ｗのパラメータωを変化させたときの典型静止画の数「exemplars」、反復回数「iterations」、メッセージ伝達数「message passing」をそれぞれ示している。表１より、例えばω＝10のとき、本実施例のTBAPは通常のAPのメッセージ伝達と比べて６倍高速であることがわかる。
【０１３１】
【表１】
2016014990.tif 000024
【０１３２】
ω＝１の場合は、全フレームが典型静止画であることを意味する。ω＝ｎ＝100は、時間依存性のある典型静止画抽出を含まない通常のAPの場合に相当する。これは収束傾向を見るため比較例として求めた。ω＝５，10，20，50とした場合を見ると、メッセージ伝達数に単調増加が認められ、これは時間窓のサイズに起因するためＣＰＵタイムに直接関わる。しかし、通常のAPのメッセージ伝達数に対して、TBAPのメッセージ伝達数の比率は小さいまま保たれているので、これらは望ましい範囲にあるといえる。
【０１３３】
準備した図１０の動画像セット（クラス１〜２０）に対して、信頼できるフレームを伴う典型静止画を見つけ出すのにTBAPを適用した。これは、各動画像に「数値的な注釈」を付与するのに重要な手順であり、図１０に示す整理されていない動画像の集合を、数値的なタグという観点から構造化することと等価である。こうしたタグは、オンラインとオフラインの何れかで算出できる。
【０１３４】
こうして、TBAPにより得られた、比較対象とする二つのクラスの動画像（動画像ｖＡと動画像ｖＢ）の各典型静止画について、それらのSimilarity測度ｓ（ｉ，ｊ）から得られる距離行列の一例を図１２に示す。同図において、動画像ｖＡは４つの典型静止画を有し、動画像ｖＢは３つの典型静止画を有するので、当該行列は３×４行列である。表中の数字は、動画像ｖＡと動画像ｖＢとの典型静止画（代表フレーム）間の距離行列の各成分を表し、例えば動画像ｖＡの代表フレーム２と、動画像ｖＢの代表フレーム３との距離は0.26となる。当該距離は各代表フレーム間の類似度に対応して数値化したもので、ここでは距離が小さいほど代表フレーム同士が類似したものとなり、反対に距離が大きいほど代表フレーム同士が互いに相違したものとなる。
【０１３５】
図１３は、上述した大域アライメント用のＭ距離を適用して作成したテーブルの一例である。この大域アライメント用のテーブルを作成する上で、アルゴリズムのパラメータは、bar（Ｄ）＝１／√（１−（１／ｄ）），ｄ＝３×256＝768，ｇ＝0.05にそれぞれ設定した。同図において、テーブルの右下に記載される数字26.60が最終成分の数値ｆｌａｓｔであり、そこから元に辿る最適経路を大域アライメントとして網掛けで示している。その後、動画像ｖＡと動画像ｖＢの類似度ｕ（Ａ，Ｂ）を求めるために、算出された数値ｆｌａｓｔは平均化関数で正規化される。例えば、ギャップｇとフレーム数の集合との積の総和で正規化する場合、図１３において、その総和は、0.05×（８＋12＋10＋７）＋0.05×（12＋７＋10）＝1.85＋1.45＝3.30であるので、正規化された類似度ｕ（Ａ，Ｂ）は26.60／（1.85＋1.45）＝8.06と算出される。また適合パターンは、当該行列の最終行最終列より矢印を辿って探すことができる。こうして、動画像ｖＡと動画像ｖＢとの間で、大域アライメント用の重み付きＭ距離による適切な類似度ｕ（Ａ，Ｂ）の算出が可能となる。
【０１３６】
図１４は、上述した局所アライメント用のＭ距離を適用して作成したテーブルの一例である。アルゴリズムのパラメータは、bar（Ｄ）＝√（１−（１／ｄ）），ｄ＝３×256＝768，ｇ＝0.05と設定した。局所アライメント用のテーブルでは、大域アライメント用のテーブルでスコアがマイナスになる成分、すなわち数１６や数１７で算出した成分が、すべて０にリセットされることが確認できる。ここでは最大値ｆｍａｘが26.95であり、その最大値ｆｍａｘの成分から元に辿る最適経路を、局所アライメントとして網掛けで示している。こうして、比較する動画像が大きく異なるものであっても、動画像ｖＡと動画像ｖＢとの間で、局所アライメント用の重み付きＭ距離による適切な類似度ｕ（Ａ，Ｂ）の算出が可能となる。
【０１３７】
なお、好ましい変形例として、上述したＭ距離による類似度の算出は、その計算量を削減するために、図１５に示すように、シーケンス全体の割合に対して任意の幅ｒだけを計算に用いることもできる。これは、Ｍ距離をコンテンツベースの動画像検索の類似度算出に特化させることで高速化した算出手法である。図１５において、黒く塗りつぶされた部分は、計算を省略した個所を示す。またこの図は、大域アラインメントによる図１３のテーブルに対応する。この場合、計算の範囲は以下の数２２によって定められる。
【０１３８】
【数２２】
2016014990.tif 000025
【０１３９】
上記数２２において、ｍは動画像ｖＡの代表フレーム数であり、ｎは動画像ｖＢの代表フレーム数である。幅ｒは、類似度比較における計算範囲の絞り具合を表すパラメータであって、計算範囲を数２２のように絞ることで、通常の全ての行列成分を算出する計算と比べて、100×（１−ｒ）２％の計算量削減が可能となる。図１５の例では、計算範囲を絞ったにもかかわらず、計算範囲を絞っていない図１３の計算結果と同じ結果を算出していることが確認できる。
【０１４０】
次に、前述した時間窓のパラメータωと、類似度ｕ（Ａ，Ｂ）を算出した後の再現率や適合率との関係について説明する。ここでは、全ての動画像が類似度の高い順に分類された後、再現率と適合率が次の数２３のように定義される。
【０１４１】
【数２３】
2016014990.tif 000026
【０１４２】
再現率（recall）：＝  検索によって見つかった正解動画像の数／同じクラスに属する動画像数
適合率（precision）：＝  検索によって見つかった正解動画像の数／検索された上位動画像数
【０１４３】
再現率とは、検索要求を満たす全動画像に対しての、検索要求を満たす検索結果の割合を意味し、検索の網羅性を表す指標である。一方、適合率とは、全検索結果に対しての、検索要求を満たす検索結果の割合を表し、検索の正確さを表す指標である。一般に再現率や適合率が高いほど検索の性能が高いとみなされる。
【０１４４】
図１６は、実験で得られた適合率−再現率曲線の結果を示している。同図において、縦軸は適合率を表し、横軸は再現率を表す。曲線がグラフ中右上に行くほど、検索性能が高い。ここでは、TBAPを適用した時間窓パラメータが「ω＝５」と「ω＝10」の各実験を載せている。図中枠内に記載されるように、数２０で示した関数ｈ（ｘ）を定義し、そこで使用する係数ａ＝１に設定した。また比較として、通常のAPを適用した「Plain AP」の実験結果も併せて掲載した。
【０１４５】
これらの実験結果から、再現率として20％までを要求する関心領域（図中「ROI」で囲んだ領域）において、本実施例のTBAPによる適合率は非常に高く、処理能力は満足のいくものであることが読み取れる。一方、通常のAPは時間軸を考慮していないため、本発明のTBAPと比べてその性能は劣ることが見てとれる。
【０１４６】
以上、本実施例における動画像検索装置のシステム構成とアルゴリズムを提示したが、動画像は大きな容量サイズであり、各典型静止画とそれらの責任のあるフレームの集合は、通常オフラインで算出される。そのため、大きなデータ集合の構造情報に対する数値ラベルとして、こうした集合を利用できる。また本実施例では、各々の典型静止画が責任のあるフレームを含んでいることを考慮して、レーベンシュタイン距離を含む新規な類似度の算出方法を、Ｍ距離として提案している。このＭ距離は、選出した典型静止画に対して、大域アライメントと局所アライメントの両方で利用が可能である。
【０１４７】
特に本実施例では、大量の動画像に互いの相互関係を与えるソフトなラベルを与えてそれらを比較することにより、動画像検索を行なう考えを示しており、その特徴は次の通りである。
・各動画像中の複数枚のフレームを、典型静止画として選出する。
・それぞれの典型静止画は責任のあるフレームを含み、勢力範囲となる近傍の枚数を有する。
・異なる枚数、異なる勢力範囲の典型静止画集合同士の類似度を数値として比較できる計算法を得ることができて、高速化も可能にしている。これは、動画像間の検索である。なお、この検索は生命情報配列の類似度を測る方法の完全な一般化になっており、この方面での新展開ももたらし得るものである。
・与えられた動画像内にある典型静止画とその勢力範囲を自動計算する方法として、通常のアフィニティ伝播法に時間窓を導入することにより、動画像に特有な時間進行性を反映できるものとなっている。これは、単一の動画像内での検索であり（intra-video retrieval）、オフラインでの計算が可能である。
【０１４８】
本実施例では、動画像の各フレームから特徴量（例えは輝度ヒストグラム）を抽出し、例えばAPを用いてクラスター化してシーン毎の代表フレームを求める。このとき、所定時間幅の時間窓を用いてAPを適用するフレーム数を制限することで、クエリ動画像と検索対象動画像との間で抜け（ギャップ）を許した時系列の代表フレーム列を抽出し、代表フレーム同士の類似性とその時系列の類似性を判定することで検索を行なう。この判定方法では、ギャップペナルティーｇを導入した新たなＭ距離を提案し、採取的に望ましい再現率と適合率を達成できた。
【０１４９】
以上のように、本実施例では、クエリ動画像に対して検索対象となる対象動画像の類似度を算出して、クエリ動画像に類似する動画像を検索する動画像検索装置のシステムを用いた動画像検索方法を提案する。特にこの方法は、次の３つのステップからなる。
【０１５０】
すなわち第１ステップでは、処理装置２に組み込まれた特徴量抽出手段としての第１の特徴量抽出手段１２や第２の特徴量抽出手段２２が、クエリ動画像と対象動画像の各フレームから、好ましくはCSDを用いて特徴量をそれぞれ抽出する。第２ステップでは、処理装置２に組み込まれた代表フレーム選出手段としてのクエリ動画像代表フレーム選出手段１３や対象動画像代表フレーム選出手段２３が、クエリ動画像と対象動画像について、好ましくはTBAPや、改良したk-means法や、改良したharmonic competition法を用いた時間窓で制限された時間幅の範囲内で、第１ステップで得た特徴量間の関係から各フレームをクラスター化し、時間窓を時間軸上でスライドさせる。これにより、シーン毎に時系列で代表フレームを取得する。さらに第３ステップでは、処理装置２に組み込まれた動画像検索手段としての類似度算出手段３１や類似動画像表示制御手段３２が、クエリ動画像における代表フレームと、対象動画像における代表フレームとの間の代表フレーム間類似度から、クエリ動画像と対象動画像との間の類似度を求めて、クエリ動画像に類似する動画像を検索する。
【０１５１】
このような方法を採用すると、クエリ動画像と対象動画像に対して、時間軸上で時間窓をスライドさせながら、その時間窓で制限された時間幅内のフレームについて、各フレームの特徴量に基づくクラスタリングを、より少ない計算コストで行なうことができる。そのため、特に時間軸を有する動画像に対して、時系列を考慮したシーン毎の代表フレームを取得することが可能になる。そして、この時系列の代表フレームを利用して、クエリ動画像と対象動画像との間で類似性を判定することで、対象動画像の中からクエリ動画像に類似する動画像を検索できる。こうして、大量の動画像間の相互関係、すなわち位相を数値的に計算できる手段を与えることで、動画像そのものをクエリとする検索やグループ化を、計算コストを低く抑えて高い精度で容易に行なうことが可能になる。
【０１５２】
また、上記第３ステップでは、クエリ画像のｉ番目の代表フレームが表わすフレーム数ＥＡｉと、対象動画像のｊ番目の前記代表フレームが表わすフレーム数ＥＢｊを取得し、第２ステップのTBAPで得られたクエリ画像のｉ番目の代表フレームと、対象動画像のｊ番目の代表フレームとの間のSimilarity測度ｓ（ｉ，ｊ）を、前記代表フレーム間類似度として取得する。
【０１５３】
そして、ギャップペナルティーｇを設定した上で、クエリ動画像における代表フレームの数がｍであり、対象動画像における代表フレームの数がｎであるときに、（ｍ＋１）×（ｎ＋１）の行列の各成分ｆ（ｉ，ｊ）について、ｉ＝０の行の各成分ｆ（０，ｊ）を数１６に基づいて算出し、ｊ＝０の列の各成分ｆ（ｉ，０）を、数１７に基づいて算出する。さらに、フレーム数ＥＡｉ，ＥＢｊに応じて算出される重みをｒ（ｉ，ｊ）としたときに、ｉ＝０の行とｊ＝０の列以外の残りの行列成分ｆ（ｉ，ｊ）を、数１８に基づいて算出する。こうして、行列の最終行最終列の数値ｆｌａｓｔを算出したら、その数値ｆｌａｓｔを利用してクエリ動画像と対象動画像との間の類似度ｕ（Ａ，Ｂ）を、例えば数２０で算出し、クエリ動画像に類似する動画像を検索する
【０１５４】
このような方法を採用すれば、クエリ動画像と対象動画像との間で代表フレームの数が異なっていても、ギャップペナルティーｇを導入することで、双方の代表フレーム同士の類似性とその時系列の類似性を、正しく判定して検索を行なうことができる。また、こうして得られた行列ｆ（ｉ，ｊ）の各成分から、大域アライメントの経路を得ることができる。しかも、ここで得られる動画像データに適合した類似度の算出は、レーベンシュタイン距離や、Needleman−Wunschアルゴリズムのそれぞれを単なる特例として含んでおり、生命情報配列の類似度を測る手法にも適用できる。
【０１５５】
また別な手法として、上記第３ステップでは、フレーム数ＥＡｉ，ＥＢｊと、Similarity測度ｓ（ｉ，ｊ）をそれぞれ取得し、ギャップペナルティーｇを設定した上で、（ｍ＋１）×（ｎ＋１）の行列の各成分ｆ（ｉ，ｊ）について、ｉ＝０の行の各成分ｆ（０，ｊ）と、ｊ＝０の列の各成分ｆ（ｉ，０）を、全て０に設定する。そして、フレーム数ＥＡｉ，ＥＢｊに応じて算出される重みをｒ（ｉ，ｊ）としたときに、ｉ＝０の行とｊ＝０の列以外の残りの行列成分ｆ（ｉ，ｊ）を、数２１に基づいて算出する。こうして、行列の各要素の中で最大値ｆｍａｘを算出したら、その数値ｆｍａｘを利用してクエリ動画像と対象動画像との間の類似度ｕ（Ａ，Ｂ）を、例えば数２０でｆｌａｓｔをｆｍａｘに代えて算出し、クエリ動画像に類似する動画像を検索する。
【０１５６】
この場合も、クエリ動画像と対象動画像との間で代表フレームの数が異なっていても、ギャップペナルティーｇを導入することで、双方の代表フレーム同士の類似性とその時系列の類似性を、正しく判定して検索を行なうことができる。また、こうして得られた行列ｆ（ｉ，ｊ）の各成分から、局所アライメントの経路を得ることができる。しかも、ここで得られる動画像データに適合した類似度の算出は、Smith-Watermanアルゴリズムを単なる特例として含んでおり、生命情報配列の類似度を測る手法にも適用できる。
【０１５７】
上述した動画検索方法において、特に第２ステップでは、TBAPによって代表フレームを取得するのが好ましい。すなわちTBAPでは、時間窓の中の一連の画像フレームを計算対象として、そこから一段階で代表フレームを選出することが可能となり、計算手順を簡素化できる。
【０１５８】
そして、上述した作用効果は、上記第１ステップ〜第３ステップを実行することができる動画像検索装置や、その動画像検索装置をコンピュータである処理装置２に機能させることができる動画像検索プログラムにおいても同様に実現する。
【０１５９】
以上、本発明の実施の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。例えば上述した各パラメータ値の設定は、入力手段４を操作して適宜変更することも可能である。
【産業上の利用可能性】
【０１６０】
本発明は、上述した情報処理方法や情報処理装置の製造産業などに利用可能である。なお、本発明で提示した類似度の概念は、生命情報配列の類似度を測る方法の完全な一般化になっており、この方面に応用することも可能である。特に、本発明におけるTBAPは、時系列情報を持ったデータに幅広く適応可能であり、例えば自然言語処理の分野では、時系列を考慮したトピック抽出などにも利用できる。このように、TBAPは今後様々な分野での利用が期待される。
【符号の説明】
【０１６１】
１２  第１の特徴量抽出手段（特徴量抽出手段）
１３  クエリ動画像代表フレーム選出手段（代表フレーム選出手段）
２２  第２の特徴量抽出手段（特徴量抽出手段）
２３  対象動画像代表フレーム選出手段（代表フレーム選出手段）
３１  類似度算出手段（動画像検索手段）
３２  類似動画像表示制御手段（動画像検索手段）
【図１】
2016014990.tif 000035
【図２】
2016014990.tif 000036
【図３】
2016014990.tif 000037
【図４】
2016014990.tif 000038
【図５】
2016014990.tif 000039
【図６】
2016014990.tif 000040
【図７】
2016014990.tif 000041
【図８】
2016014990.tif 000042
【図１１】
2016014990.tif 000043
【図１２】
2016014990.tif 000044
【図１３】
2016014990.tif 000045
【図１４】
2016014990.tif 000046
【図１５】
2016014990.tif 000047
【図１６】
2016014990.tif 000048
【図９】
2016014990.tif 000049
【図１０】
2016014990.tif 000050