(57)【要約】【課題】楽曲に適した映像を精度よく検索することができる。【解決手段】入力されたタグが付与された楽曲の歌詞データから、映像の各々に対する、抽出された歌詞用キーワード及び映像に付与された概要テキストデータから抽出される概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、抽出された歌詞用トピック及び映像に付与された概要テキストデータから抽出される概要テキスト用トピックの組み合わせを表すトピックペア特徴量と、歌詞に関するフィルタとに基づいて、入力された楽曲の歌詞データに対する映像の各々のスコアを算出し、楽曲のタグの付加情報と、タグに関するフィルタとに基づいて、タグの付加情報に対する映像の各々のスコアを算出し、歌詞データに対する映像の各々のスコアと、タグの付加情報に対する映像の各々のスコアとに基づいて、楽曲に適した映像を検索する。【選択図】図１０
2019003270.tif 000002
【特許請求の範囲】
【請求項１】
概要テキストデータが付与された複数の映像から、楽曲に適した映像を検索する映像検索装置であって、
入力された、楽曲の付加情報を表す１種類以上のタグが付与された楽曲の歌詞データから、歌詞用キーワードを抽出する歌詞用キーワード抽出部と、
楽曲の歌詞データと、前記楽曲の歌詞データに適した映像に付与された概要テキストデータとのペアである正解データの前記歌詞データから抽出された歌詞用キーワード及び前記正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、楽曲の歌詞データと、前記楽曲の歌詞データに適していない映像に付与された概要テキストデータとのペアである不正解データの前記歌詞データから抽出された歌詞用キーワード及び前記不正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量とに基づいて予め学習された、楽曲の歌詞データに適した映像を検索するための歌詞に関するフィルタを記憶する歌詞フィルタ記憶部と、
前記複数の映像の各々に対する、前記歌詞用キーワード抽出部によって抽出された歌詞用キーワード及び前記映像に付与された概要テキストデータから抽出される概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、前記歌詞に関するフィルタとに基づいて、前記入力された楽曲の歌詞データに対する前記映像の各々のスコアを算出する歌詞フィルタ適用部と、
前記タグが付与された学習用の楽曲の各々と、前記複数の映像の各々との予め求められた対応付けに基づいて予め学習された、前記タグの種類毎の、前記タグの種類が表す付加情報と前記複数の映像の各々との結び付きの強さを測るための前記タグに関するフィルタを記憶するタグフィルタ記憶部と、
前記タグの種類毎に、前記入力された楽曲の前記タグの前記付加情報と、前記タグに関するフィルタとに基づいて、前記入力された楽曲の前記タグの前記付加情報に対する前記映像の各々のスコアを算出するタグフィルタ適用部と、
前記算出された前記入力された楽曲の歌詞データに対する前記映像の各々のスコアと、前記算出された前記入力された楽曲の前記タグの前記付加情報に対する前記映像の各々のスコアとに基づいて、前記入力された楽曲に適した映像を検索する映像検索部と、
を含む映像検索装置。
【請求項２】
前記タグの種類は、前記楽曲のジャンル、及び前記楽曲のテンポを含み、
前記タグフィルタ適用部は、前記入力された楽曲の前記ジャンルに関する前記付加情報に対する前記映像の各々のスコアと、前記入力された楽曲の前記テンポに関する前記付加情報に対する前記映像の各々のスコアとを算出し、
前記映像検索部は、前記算出された前記入力された楽曲の歌詞データに対する前記映像の各々のスコアと、前記ジャンルに関する前記付加情報に対する前記映像の各々のスコアと、前記テンポに関する前記付加情報に対する前記映像の各々のスコアとに基づいて、映像を検索する請求項１に記載の映像検索装置。
【請求項３】
概要テキストデータが付与された複数の映像から、楽曲の歌詞データに適した映像を検索するためのフィルタを学習する学習装置であって、
楽曲の付加情報を表す１種類以上のタグが付与された楽曲の歌詞データと、前記楽曲の歌詞データに適した映像に付与された概要テキストデータとのペアである正解データ、及び楽曲の歌詞データと、前記楽曲の歌詞データに適していない映像に付与された概要テキストデータとのペアである不正解データに含まれる歌詞データの各々から、歌詞用キーワードを抽出する歌詞用キーワード抽出部と、
前記正解データ及び前記不正解データに含まれる概要テキストデータの各々から、概要テキスト用キーワードを抽出する概要テキスト用キーワード抽出部と、
前記正解データの前記歌詞データから抽出された歌詞用キーワード及び前記正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、前記不正解データの前記歌詞データから抽出された歌詞用キーワード及び前記不正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量とに基づいて、歌詞に関するフィルタを学習する歌詞フィルタ学習部と、
前記タグが付与された学習用の楽曲の各々と、前記複数の映像の各々との予め求められた対応付けとに基づいて、前記タグの種類毎の、前記タグの種類が表す付加情報と前記複数の映像の各々との結び付きの強さを測るための前記タグに関するフィルタを学習するタグフィルタ学習部と、
を含む学習装置。
【請求項４】
前記タグの種類は、前記楽曲のジャンル、及び前記楽曲のテンポを含み、
前記タグフィルタ学習部は、前記ジャンル、及び前記テンポの各々のタグに関するフィルタを学習する請求項３に記載の学習装置。
【請求項５】
概要テキストデータが付与された複数の映像から、楽曲に適した映像を検索する映像検索装置における映像検索方法であって、
歌詞用キーワード抽出部が、入力された、楽曲の付加情報を表す１種類以上のタグが付与された楽曲の歌詞データから、歌詞用キーワードを抽出するステップと、
歌詞フィルタ適用部が、前記複数の映像の各々に対する、前記歌詞用キーワード抽出部によって抽出された歌詞用キーワード及び前記映像に付与された概要テキストデータから抽出される概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、歌詞フィルタ記憶部に記憶された、楽曲の歌詞データと、前記楽曲の歌詞データに適した映像に付与された概要テキストデータとのペアである正解データの前記歌詞データから抽出された歌詞用キーワード及び前記正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、楽曲の歌詞データと、前記楽曲の歌詞データに適していない映像に付与された概要テキストデータとのペアである不正解データの前記歌詞データから抽出された歌詞用キーワード及び前記不正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量とに基づいて予め学習された、楽曲の歌詞データに適した映像を検索するための歌詞に関するフィルタとに基づいて、前記入力された楽曲の歌詞データに対する前記映像の各々のスコアを算出するステップと、
タグフィルタ適用部が、前記タグの種類毎に、前記入力された楽曲の前記タグの前記付加情報と、タグフィルタ記憶部に記憶された、前記タグが付与された学習用の楽曲の各々と、前記複数の映像の各々との予め求められた対応付けに基づいて予め学習された、前記タグの種類毎の、前記タグの種類が表す付加情報と前記複数の映像の各々との結び付きの強さを測るための前記タグに関するフィルタとに基づいて、前記入力された楽曲の前記タグの前記付加情報に対する前記映像の各々のスコアを算出するステップと、
映像検索部が、前記算出された前記入力された楽曲の歌詞データに対する前記映像の各々のスコアと、前記算出された前記入力された楽曲の前記タグの前記付加情報に対する前記映像の各々のスコアとに基づいて、前記入力された楽曲に適した映像を検索するステップと、
を含む映像検索方法。
【請求項６】
概要テキストデータが付与された複数の映像から、楽曲の歌詞データに適した映像を検索するためのフィルタを学習する学習装置における学習方法であって、
歌詞用キーワード抽出部が、楽曲の付加情報を表す１種類以上のタグが付与された楽曲の歌詞データと、前記楽曲の歌詞データに適した映像に付与された概要テキストデータとのペアである正解データ、及び楽曲の歌詞データと、前記楽曲の歌詞データに適していない映像に付与された概要テキストデータとのペアである不正解データに含まれる歌詞データの各々から、歌詞用キーワードを抽出するステップと、
概要テキスト用キーワード抽出部が、前記正解データ及び前記不正解データに含まれる概要テキストデータの各々から、概要テキスト用キーワードを抽出するステップと、
歌詞フィルタ学習部が、前記正解データの前記歌詞データから抽出された歌詞用キーワード及び前記正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、前記不正解データの前記歌詞データから抽出された歌詞用キーワード及び前記不正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量とに基づいて、歌詞に関するフィルタを学習するステップと、
タグフィルタ学習部が、前記タグが付与された学習用の楽曲の各々と、前記複数の映像の各々との予め求められた対応付けとに基づいて、前記タグの種類毎の、前記タグの種類が表す付加情報と前記複数の映像の各々との結び付きの強さを測るための前記タグに関するフィルタを学習するステップと、
を含む学習方法。
【請求項７】
コンピュータを、請求項１又は請求項２に記載の映像検索装置の各部として機能させるためのプログラム。
【請求項８】
コンピュータを、請求項３又は請求項４に記載の学習装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習装置、映像検索装置、方法、及びプログラムに係り、特に、楽曲の歌詞データに適した映像を検索するための学習装置、映像検索装置、方法、及びプログラムに関する。
【０００２】
Web検索におけるイメージ検索など、テキストから映像を検索するニーズは高い。テキストから映像を検索することができれば、映像を目視で確認しながら検索する必要はなく、コストを低減できる。また、テキストに合った映像が取得できれば、テキストの内容を視覚的に補助することも可能である。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】情報検索と言語処理(言語と計算)，第２章  情報検索の基礎、第４章  言語処理技術の利用、徳永 健伸(著)，東京大学出版会，1999
【発明の概要】
【発明が解決しようとする課題】
【０００４】
イメージ検索などでは、入力されるテキストはキーワードであることが多い。しかし、楽曲の歌詞といった長文かつ主観的な文章を入力として、該当する映像を検索する手法はこれまでに確立されていない。
【０００５】
本発明は、上記事情を鑑みて成されたものであり、楽曲の歌詞データに適した映像を精度よく検索するためのランキングモデルを学習することができる学習装置、方法、及びプログラムを提供することを目的とする。
【０００６】
また、楽曲の歌詞データに適した映像を精度よく検索することができる映像検索装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、第１の発明に係る映像検索装置は、概要テキストデータが付与された複数の映像から、楽曲に適した映像を検索する映像検索装置であって、入力された、楽曲の付加情報を表す１種類以上のタグが付与された楽曲の歌詞データから、歌詞用キーワードを抽出する歌詞用キーワード抽出部と、楽曲の歌詞データと、前記楽曲の歌詞データに適した映像に付与された概要テキストデータとのペアである正解データの前記歌詞データから抽出された歌詞用キーワード及び前記正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、楽曲の歌詞データと、前記楽曲の歌詞データに適していない映像に付与された概要テキストデータとのペアである不正解データの前記歌詞データから抽出された歌詞用キーワード及び前記不正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量とに基づいて予め学習された、楽曲の歌詞データに適した映像を検索するための歌詞に関するフィルタを記憶する歌詞フィルタ記憶部と、前記複数の映像の各々に対する、前記歌詞用キーワード抽出部によって抽出された歌詞用キーワード及び前記映像に付与された概要テキストデータから抽出される概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、前記歌詞に関するフィルタとに基づいて、前記入力された楽曲の歌詞データに対する前記映像の各々のスコアを算出する歌詞フィルタ適用部と、前記タグが付与された学習用の楽曲の各々と、前記複数の映像の各々との予め求められた対応付けに基づいて予め学習された、前記タグの種類毎の、前記タグの種類が表す付加情報と前記複数の映像の各々との結び付きの強さを測るための前記タグに関するフィルタを記憶するタグフィルタ記憶部と、前記タグの種類毎に、前記入力された楽曲の前記タグの前記付加情報と、前記タグに関するフィルタとに基づいて、前記入力された楽曲の前記タグの前記付加情報に対する前記映像の各々のスコアを算出するタグフィルタ適用部と、前記算出された前記入力された楽曲の歌詞データに対する前記映像の各々のスコアと、前記算出された前記入力された楽曲の前記タグの前記付加情報に対する前記映像の各々のスコアとに基づいて、前記入力された楽曲に適した映像を検索する映像検索部と、を含んで構成されている。
【０００８】
また、第１の発明に係る映像検索装置において、前記タグの種類は、前記楽曲のジャンル、及び前記楽曲のテンポを含み、前記タグフィルタ適用部は、前記入力された楽曲の前記ジャンルに関する前記付加情報に対する前記映像の各々のスコアと、前記入力された楽曲の前記テンポに関する前記付加情報に対する前記映像の各々のスコアとを算出し、前記映像検索部は、前記算出された前記入力された楽曲の歌詞データに対する前記映像の各々のスコアと、前記ジャンルに関する前記付加情報に対する前記映像の各々のスコアと、前記テンポに関する前記付加情報に対する前記映像の各々のスコアとに基づいて、映像を検索するようにしてもよい。
【０００９】
また、第２の発明に係る学習装置において、概要テキストデータが付与された複数の映像から、楽曲の歌詞データに適した映像を検索するためのフィルタを学習する学習装置であって、楽曲の付加情報を表す１種類以上のタグが付与された楽曲の歌詞データと、前記楽曲の歌詞データに適した映像に付与された概要テキストデータとのペアである正解データ、及び楽曲の歌詞データと、前記楽曲の歌詞データに適していない映像に付与された概要テキストデータとのペアである不正解データに含まれる歌詞データの各々から、歌詞用キーワードを抽出する歌詞用キーワード抽出部と、前記正解データ及び前記不正解データに含まれる概要テキストデータの各々から、概要テキスト用キーワードを抽出する概要テキスト用キーワード抽出部と、前記正解データの前記歌詞データから抽出された歌詞用キーワード及び前記正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、前記不正解データの前記歌詞データから抽出された歌詞用キーワード及び前記不正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量とに基づいて、歌詞に関するフィルタを学習する歌詞フィルタ学習部と、前記タグが付与された学習用の楽曲の各々と、前記複数の映像の各々との予め求められた対応付けとに基づいて、前記タグの種類毎の、前記タグの種類が表す付加情報と前記複数の映像の各々との結び付きの強さを測るための前記タグに関するフィルタを学習するタグフィルタ学習部と、を含んで構成されている。
【００１０】
また、第２の発明に係る学習装置において、前記タグの種類は、前記楽曲のジャンル、及び前記楽曲のテンポを含み、前記タグフィルタ学習部は、前記ジャンル、及び前記テンポの各々のタグに関するフィルタを学習するようにしてもよい。
【００１１】
第３の発明に係る映像検索方法は、概要テキストデータが付与された複数の映像から、楽曲に適した映像を検索する映像検索装置における映像検索方法であって、歌詞用キーワード抽出部が、入力された、楽曲の付加情報を表す１種類以上のタグが付与された楽曲の歌詞データから、歌詞用キーワードを抽出するステップと、歌詞フィルタ適用部が、前記複数の映像の各々に対する、前記歌詞用キーワード抽出部によって抽出された歌詞用キーワード及び前記映像に付与された概要テキストデータから抽出される概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、歌詞フィルタ記憶部に記憶された、楽曲の歌詞データと、前記楽曲の歌詞データに適した映像に付与された概要テキストデータとのペアである正解データの前記歌詞データから抽出された歌詞用キーワード及び前記正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、楽曲の歌詞データと、前記楽曲の歌詞データに適していない映像に付与された概要テキストデータとのペアである不正解データの前記歌詞データから抽出された歌詞用キーワード及び前記不正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量とに基づいて予め学習された、楽曲の歌詞データに適した映像を検索するための歌詞に関するフィルタとに基づいて、前記入力された楽曲の歌詞データに対する前記映像の各々のスコアを算出するステップと、タグフィルタ適用部が、前記タグの種類毎に、前記入力された楽曲の前記タグの前記付加情報と、タグフィルタ記憶部に記憶された、前記タグが付与された学習用の楽曲の各々と、前記複数の映像の各々との予め求められた対応付けに基づいて予め学習された、前記タグの種類毎の、前記タグの種類が表す付加情報と前記複数の映像の各々との結び付きの強さを測るための前記タグに関するフィルタとに基づいて、前記入力された楽曲の前記タグの前記付加情報に対する前記映像の各々のスコアを算出するステップと、映像検索部が、前記算出された前記入力された楽曲の歌詞データに対する前記映像の各々のスコアと、前記算出された前記入力された楽曲の前記タグの前記付加情報に対する前記映像の各々のスコアとに基づいて、前記入力された楽曲に適した映像を検索するステップと、を含んで実行することを特徴とする。
【００１２】
第４の発明に係る学習方法は、概要テキストデータが付与された複数の映像から、楽曲の歌詞データに適した映像を検索するためのフィルタを学習する学習装置における学習方法であって、歌詞用キーワード抽出部が、楽曲の付加情報を表す１種類以上のタグが付与された楽曲の歌詞データと、前記楽曲の歌詞データに適した映像に付与された概要テキストデータとのペアである正解データ、及び楽曲の歌詞データと、前記楽曲の歌詞データに適していない映像に付与された概要テキストデータとのペアである不正解データに含まれる歌詞データの各々から、歌詞用キーワードを抽出するステップと、概要テキスト用キーワード抽出部が、前記正解データ及び前記不正解データに含まれる概要テキストデータの各々から、概要テキスト用キーワードを抽出するステップと、歌詞フィルタ学習部が、前記正解データの前記歌詞データから抽出された歌詞用キーワード及び前記正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、前記不正解データの前記歌詞データから抽出された歌詞用キーワード及び前記不正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量とに基づいて、歌詞に関するフィルタを学習するステップと、タグフィルタ学習部が、前記タグが付与された学習用の楽曲の各々と、前記複数の映像の各々との予め求められた対応付けとに基づいて、前記タグの種類毎の、前記タグの種類が表す付加情報と前記複数の映像の各々との結び付きの強さを測るための前記タグに関するフィルタを学習するステップと、を含んで実行することを特徴とする。
【００１３】
第５の発明に係るプログラムは、コンピュータを、第１の発明に係る映像検索装置の各部として機能させるためのプログラムである。
【００１４】
第６の発明に係るプログラムは、コンピュータを、第２の発明に係る学習装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１５】
本発明の映像検索装置、方法、及びプログラムによれば、入力されたタグが付与された楽曲の歌詞データから、歌詞用キーワードを抽出し、入力された楽曲の歌詞データから、歌詞用トピックを抽出し、映像の各々に対する、抽出された歌詞用キーワード及び映像に付与された概要テキストデータから抽出される概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、抽出された歌詞用トピック及び映像に付与された概要テキストデータから抽出される概要テキスト用トピックの組み合わせを表すトピックペア特徴量と、歌詞に関するフィルタとに基づいて、入力された楽曲の歌詞データに対する映像の各々のスコアを算出し、楽曲のタグの付加情報と、タグに関するフィルタとに基づいて、タグの付加情報に対する映像の各々のスコアを算出し、歌詞データに対する映像の各々のスコアと、タグの付加情報に対する映像の各々のスコアとに基づいて、楽曲に適した映像を検索することにより、楽曲に適した映像を精度よく検索することができる。
【００１６】
本発明の学習装置、方法、及びプログラムによれば、正解データの歌詞データから抽出された歌詞用キーワード及び正解データの概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、不正解データの歌詞データから抽出された歌詞用キーワード及び不正解データの概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、正解データの歌詞データから抽出された歌詞用トピック及び正解データの概要テキストデータから抽出された概要テキスト用トピックの組み合わせを表すトピックペア特徴量と、不正解データの歌詞データから抽出された歌詞用トピック及び不正解データの概要テキストデータから抽出された概要テキスト用トピックの組み合わせを表すトピックペア特徴量とに基づいて、歌詞フィルタを学習し、タグが付与された学習用の楽曲の各々と、複数の映像の各々との予め求められた対応付けに基づいて、タグが表す付加情報と複数の映像の各々との結び付きの強さを測るためのタグに関するフィルタを学習することにより、楽曲に適した映像を精度よく検索するためのフィルタを学習することができる、という効果が得られる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態に係る学習装置の構成を示すブロック図である。
【図２】歌詞データの形態素解析の結果の一例を示す図である。
【図３】単語抽出の結果の一例を示す図である。
【図４】概要テキストの形態素解析の結果の一例を示す図である。
【図５】ある歌詞のトピックの上位５個の確率値の一例を示す図である。
【図６】ジャンルの付加情報が付与された各楽曲ID、各映像IDの対応付けの一例を示す図である。
【図７】テンポの付加情報が付与された各楽曲ID、各映像IDの対応付けの一例を示す図である。
【図８】ジャンルと映像の結び付きの強さを表すジャンルフィルタの一例を示す図である。
【図９】テンポと映像の結び付きの強さを表すジャンルフィルタの一例を示す図である。
【図１０】本発明の実施の形態に係る映像検索装置の構成を示すブロック図である。
【図１１】歌詞データの一例を示す図である。
【図１２】映像の概要テキストの一例を示す図である。
【図１３】ランキングした上位5件の映像、及び映像のスコアの一例を示す図である。
【図１４】本発明の実施の形態に係る学習装置における学習処理ルーチンを示すフローチャートである。
【図１５】本発明の実施の形態に係る映像検索装置における映像検索処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１９】
＜本発明の実施の形態に係る概要＞
【００２０】
まず、本発明の実施の形態における概要を説明する。
【００２１】
本発明の実施の形態における楽曲映像検索は、学習処理と、検索処理とからなる。学習処理では、学習装置において、検索処理を行うために必要となるフィルタが作成される。検索処理では、映像検索装置において、学習処理で作成されたフィルタを元に、楽曲の歌詞データに対して映像の検索を行う。
【００２２】
＜本発明の実施の形態に係る学習装置の構成＞
【００２３】
次に、本発明の実施の形態に係る学習装置の構成について説明する。図１に示すように、本発明の実施の形態に係る学習装置１００は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この学習装置１００は、機能的には図１に示すように演算部２０を備えている。
【００２４】
演算部２０は、歌詞データＤＢ３０と、歌詞用キーワード抽出部３２と、各歌詞のキーワードリスト３４と、概要テキストデータＤＢ３６と、概要テキスト用キーワード抽出部３８と、各概要テキストのキーワードリスト４０と、歌詞用トピックモデル作成部４２と、歌詞用トピックモデル４４と、歌詞用トピック抽出部４６と、各歌詞のトピックリスト４８と、概要テキスト用トピックモデル作成部５０と、概要テキスト用トピックモデル５２と、概要テキスト用トピック抽出部５４と、各概要テキストのトピックリスト５６と、歌詞・概要テキストペア正解データ５８と、不正解データ作成部６０と、歌詞・概要テキストペア不正解データ６２と、歌詞フィルタ学習部６４と、歌詞フィルタ記憶部６６と、タグ付き楽曲映像ペアデータ記憶部７０と、ジャンルフィルタ学習部７２と、テンポフィルタ学習部７４と、タグフィルタ記憶部７６とを含んで構成されている。ジャンルフィルタ学習部７２、及びテンポフィルタ学習部７４がタグフィルタ学習部の一例である。
【００２５】
歌詞データＤＢ３０には、複数の楽曲の歌詞データが格納されている。
【００２６】
歌詞用キーワード抽出部３２は、以下に説明するように、歌詞データＤＢ３０に格納されている歌詞データの各々から、歌詞用キーワードを抽出し、歌詞ごとのキーワードリストを作成して、各歌詞のキーワードリスト３４として保存する。
【００２７】
歌詞用キーワード抽出部３２は、具体的には、まず、歌詞データ中の歌詞それぞれについて、形態素解析を行う。
【００２８】
例えば、以下のような歌詞があるとする。
【００２９】
私はあなたに会いたい
今すぐにでも会いたいの
・・・
【００３０】
上記の歌詞は、図２に示すように形態素解析される。ここで、形態素解析器にはNTT(R)が開発したJTAGを用いている。
【００３１】
図２において各行が１単語を表しており、左から順に表層形、品詞、標準形、基本形、読み、意味属性を表している。意味属性は３つのフィールドからなっており、名詞に関する意味属性、固有名詞に関する意味属性、用言に関する意味属性である。意味属性とは意味を表す番号である。
【００３２】
上記の形態素解析結果から、「あなた」は意味属性として15と2651を持つことが分かる。意味属性の詳細は以下の非特許文献２に示されている。
【００３３】
非特許文献２：池原悟,宮崎正弘,白井諭,横尾昭男,中岩浩巳,小倉健太郎,大山芳史,林良彦(1997) 日本語語彙大系．岩波書店．
【００３４】
歌詞用キーワード抽出部３２は、次に、形態素解析の結果を利用して、所定の単語をキーワードとして抽出する。具体的には、品詞が名詞、動詞語幹、形容詞語幹のいずれかであり、かつ接尾辞ではない単語を抽出する。上記の形態素解析の結果では、図３に示す単語が抽出される。
【００３５】
ここで、品詞が動詞語幹、および、形容詞語幹である形態素からは基本形を抽出対象とする。また、品詞が名詞である形態素からは標準形を抽出対象とする。
【００３６】
上記の手続きの結果、対象となる歌詞に対して、以下のキーワードリストが作成される。
【００３７】
[私、あなた、会う、今、会う、・・・]
【００３８】
当該キーワード抽出処理を歌詞データ中の全ての歌詞に対して適用し、歌詞ごとにキーワードリストを作成し、各歌詞のキーワードリスト３４として保存する。
【００３９】
概要テキストデータＤＢ３６には、映像に付与された概要テキストが格納されている。概要テキストとは、映像の説明であったり、映像の台本であったり、映像中の会話の情報であったり、テキストで表されるものであれば何でもよい。本実施例では、映像の説明が書かれたテキストを概要テキストと呼ぶ。
【００４０】
概要テキスト用キーワード抽出部３８は、以下に説明するように、概要テキストデータＤＢ３６に格納されている概要テキストデータの各々から、概要テキスト用キーワードを抽出し、概要テキストごとにキーワードリストを作成して、各概要テキストのキーワードリスト４０として保存する。各概要テキストのキーワードリスト４０は、概要テキストにおいて説明されている映像中の状況を表すキーワードのリストである。
【００４１】
概要テキスト用キーワードには、具体的には以下に列挙する６種類のキーワードがある。
【００４２】
・人物キーワード：映像中の人物を表す単語や表現
・場所キーワード：映像中の場所を表す単語や表現
・季節キーワード：映像中の季節を表す単語や表現
・イベントキーワード：映像中のイベントを表す単語や表現
・行動キーワード：映像中の行動や動作を表す単語や表現
・感情キーワード：映像中の感情を表す単語や表現
【００４３】
なお、アプリケーション依存で、これら以外のキーワードを定義してもよい。ここでは、映像を検索するのに重要と考えられるキーワードを定義している。
【００４４】
概要テキスト用キーワード抽出部３８では、これらのキーワードを抽出するために、日本語語彙大系（図示省略）、感情語抽出器（図示省略）、評価表現抽出器（図示省略）を用いる。
【００４５】
日本語語彙大系は、上記の状況のうち、人物キーワード、場所キーワード、季節キーワード、イベントキーワードを表す単語を抽出するために利用する。日本語語彙大系には、名詞の意味属性が階層的に整理されており、各意味属性には、上位の意味属性と、下位の意味属性がある。
【００４６】
例えば、「場所」の意味属性の上位には「具体」があり、下位には「施設」、「地域」、「自然」がある。この意味属性の階層情報を利用して、以下のように、各状況を表すと考えられるキーワードを列挙した。
【００４７】
・人物キーワード：「人」、「衣」、「衣料」、および、これらの下位の意味属性に対応する単語
・場所キーワード：「場所」、「建造物」、「乗り物」、「仕事場」、および、これらの下位の意味属性に対応する単語
・季節キーワード：「季節」、および、これらの下位の意味属性に対応する単語
・イベントキーワード：「式・行事等」、「生活」、および、これらの下位の意味属性に対応する単語
【００４８】
ここで、列挙されたキーワードにマッチした単語が概要テキストにあれば、それらは、人物、場所、季節、もしくは、イベントキーワードとして抽出される。
【００４９】
例えば、以下の概要テキストを考える。
【００５０】
夏になる
少年が公園に行く
【００５１】
上記の概要テキストに対し形態素解析を行った結果を図４に示す。先に述べたように、最後のカラムには意味属性が記述されている。
【００５２】
ここで、「夏」は、意味属性が2674（夏）であり、2672（季節）の下位属性であるため、季節キーワードとして抽出される。現状、単語が複数の意味属性を持つ場合は、先頭の意味属性を利用して抽出を行うが、すべてを用いても良い。
【００５３】
なお、単語を抽出する際は、単語の標準形（３列目）を抽出する。標準形を用いることで、表記の僅かな違いを吸収してキーワードを抽出することができる。
【００５４】
上記の概要テキストに対しては、以下の単語が抽出される。
【００５５】
人物キーワード「少年」
場所キーワード「公園」
季節キーワード「夏」
イベントキーワードなし
【００５６】
次に、感情語抽出器について説明する。感情語抽出器は、感情キーワードを抽出するために用いる。感情語抽出器としては、NTT(R)が開発したリッチインデクサという言語処理ツールを用いる。リッチインデクサには、予め決められた所定のキーワードリストを元に、感情に関わるキーワードを抽出する機能がある。この、リッチインデクサの機能を用いて、感情キーワードとして、例えば、楽しい、驚く、悲しい、幸せ、安心、心配といったキーワードを抽出する。
【００５７】
次に、評価表現抽出器について説明する。評価表現抽出器は、行動・感情キーワードを抽出するために用いる。行動にも様々あるが、ポジティブやネガティブといった極性に関わる行動を映像に関する重要な行動・感情と捉え、評価表現の中で、行動・感情に関するものを抽出する。評価表現とは、評価・感情に関わる言語表現を指す。ここでは、行動・感情に関する評価表現のリストを作成し、それらに合致するものを抽出することで、行動・感情キーワードとする。例えば、ほほえむ、ゆっくり、爽やか、切ない、慌てるといったキーワードを抽出する。
【００５８】
概要テキスト用キーワード抽出部３８では、上記の日本語語彙大系、感情語抽出器、及び評価表現抽出器を用いて、概要テキストデータＤＢ３６に格納されている全ての概要テキストデータに対して概要テキスト用キーワードの抽出を行い、概要テキストごとにキーワードのリストを作成し、各概要テキストのキーワードリストと４０して保存する。
【００５９】
歌詞用トピックモデル作成部４２は、歌詞データＤＢ３０に格納されている歌詞データの各々から歌詞用トピックモデル４４を作成する。
【００６０】
トピックモデルとは、文書が複数の潜在トピックから生成されると仮定したモデルであり、単語の表層だけではない、文書の背後にある構造を分析するためによく用いられるものである。トピックモデルについては、以下の非特許文献３が詳しい。
【００６１】
非特許文献３：トピックモデル,岩田具治(著),講談社,2015.
【００６２】
歌詞用トピックモデル作成部４２では、具体的には、Latent Dirichlet Allocation（LDA）というアルゴリズムを用いて、歌詞データからトピックモデルを作成する。これは、トピックモデルを作成するのに一般的なアルゴリズムである。トピックモデルの構築には、各文書（すなわち、歌詞データのそれぞれ）を単語集合で表す必要があるが、ここでは、形態素解析の結果得られるすべての単語を利用した。トピック数は300とした。トピックモデル作成のツールには、gensimと呼ばれるライブラリを用いた。LDAについては、フリーソフトも多いため、それらを用いてもよい。
【００６３】
歌詞用トピック抽出部４６は、歌詞データＤＢ３０に格納されている歌詞データの各々から、歌詞用トピックモデル４４に基づいて、歌詞用トピックを抽出し、各歌詞のトピックリスト４８を作成する。先に述べたように、トピックモデルでは、文書の背後に存在する潜在トピックを仮定し、それらが混ざりあって一つの文書が生成されていると考える。逆に言えば、一つの文書を、トピックモデルを用いて分析することで（これをinferenceという）、含まれている潜在トピックを調べることができる。ある文書に多く含まれている潜在トピックは、その文書の主要なトピックと考えられるので、それらを抽出する。
【００６４】
歌詞データについて、トピックを抽出する際には、歌詞用トピックモデル４４を利用する。歌詞用トピックモデルを用いた分析により、歌詞データ中のトピックリストを作成する。具体的には、各歌詞において、一定の割合以上含まれるトピックのみを抽出し、その歌詞のトピックリストとする。本発明の実施の形態ではこの閾値を0.1と定めた。例えば、ある歌詞のトピックの上位５個の含まれる度合い（確率値）が、図５に示すようになっていた場合、閾値が0.1以上のトピックを抽出することで、トピック85と122をこの歌詞のトピックリストとして抽出する。なお、85や122はトピックを表す番号である。
【００６５】
概要テキスト用トピックモデル作成部５０は、歌詞用トピックモデル作成部４２と同様の処理を、概要テキストデータＤＢ３６に格納されている概要テキストデータに対して行うことで、概要テキストデータについての概要テキスト用トピックモデル５２を作成する。本実施の形態では、トピック数は50とした。
【００６６】
概要テキスト用トピック抽出部５４は、概要テキストデータＤＢ３６に格納されている概要テキストデータの各々から、概要テキスト用トピックモデル５２に基づいて、概要テキスト用トピックを抽出し、各概要テキストのトピックリスト５６を作成する。閾値は、歌詞用トピック抽出部４６と同じとした。
【００６７】
歌詞・概要テキストペア正解データ５８は、楽曲の歌詞データと、当該楽曲の歌詞データに適した映像に付与された概要テキストデータとが正しく対応付いている正解データのペアの集合である。これらの対応付けは人手で行ったものである。
【００６８】
不正解データ作成部６０は、歌詞・概要テキストペア正解データ５８を用いて、楽曲の歌詞データと、当該楽曲の歌詞データに適していない映像に付与された概要テキストデータとが対応付いたペアの集合である歌詞・概要テキストペア不正解データ６２を作成する。
【００６９】
本実施の形態の目的は、歌詞に合った概要テキストを検索することで、その概要テキストに紐付いた映像を検索することである。すなわち、歌詞に対して、複数の概要テキストから対応付くものと対応付かないものを分類出来ればよい。
【００７０】
一般に、分類問題は教師あり学習で行われる。そのためには、正解データ（正例と呼ぶ）と不正解データ（負例と呼ぶ）の両方が必要である。
【００７１】
しかしながら、教師データとして、対応付けられた正例は持っているものの、負例を持っていなかったため、負例を自動生成することにした。具体的には、歌詞について、所定の概要テキストの集合からランダムに選択し、それを負例とした。ランダムに選ばれた概要テキストは対応付いていることは稀であると考えられるため、負例として利用することが可能である。このような手法は疑似負例の生成とも呼ばれ、機械学習において、よく用いられる手法である。
【００７２】
このように、不正解データ作成部６０は、不正解データとして、歌詞と概要テキスト（歌詞と対応付いているもの以外の概要テキスト）とをランダムに組み合わせたペアを作成する。なお、ランダムに選択する以外に、人手で対応付かないことが確認されている歌詞と概要テキストのペアを不正解データとして利用してもよい。
【００７３】
本実施の形態では、正例と負例の割合は１:１に設定した。この割合は、後段の歌詞フィルタ学習部６４の性能に応じて、変更してもよい。
【００７４】
歌詞・概要テキストペア正解データ５８のそれぞれについて不正解データを一つずつ作成し、学習データとした。学習データには、更に、歌詞データと当該歌詞に紐付く概要テキスト、及び歌詞データと当該歌詞データに紐付かない概要テキストが含まれている。
【００７５】
歌詞フィルタ学習部６４は、正解データの歌詞データから抽出された歌詞用キーワード及び正解データの概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、不正解データの歌詞データから抽出された歌詞用キーワード及び不正解データの概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、正解データの歌詞データから抽出された歌詞用トピック及び正解データの概要テキストデータから抽出された概要テキスト用トピックの組み合わせを表すトピックペア特徴量と、不正解データの歌詞データから抽出された歌詞用トピック及び不正解データの概要テキストデータから抽出された概要テキスト用トピックの組み合わせを表すトピックペア特徴量とに基づいて、歌詞に関する歌詞フィルタを学習し、歌詞フィルタ記憶部６６に記憶する。上記において、正解データは歌詞・概要テキストペア正解データ５８に基づき、不正解データは歌詞・概要テキストペア不正解データ６２に基づく。
【００７６】
歌詞フィルタ学習部６４においては、上記の学習用データから特徴量を抽出し、この特徴量を元に評価関数を学習することで、楽曲の歌詞データに適した映像のランキングが可能なランキングモデル（ランカ）を歌詞フィルタとして作成する。
【００７７】
特徴量の抽出には、学習データのそれぞれから得られる、各歌詞のキーワードリスト３４と各概要テキストのキーワードリスト４０、及び各歌詞のトピックリスト４８と各概要テキストのトピックリスト５６を用いる。特徴量としては、２種類あり、キーワードペア特徴量とトピックペア特徴量がある。それぞれの特徴量は、正解データは歌詞・概要テキストペア正解データ５８と、不正解データは歌詞・概要テキストペア不正解データ６２とのそれぞれの全ての組み合わせについて抽出する。
【００７８】
キーワードペア特徴量とは、歌詞用キーワード抽出部３２で作成した、歌詞データの各歌詞のキーワードリスト３４に含まれる単語と、概要テキスト用キーワード抽出部３８で作成した、概要テキストの各概要テキストのキーワードリスト４０に含まれる単語をもとに、そのすべての組み合わせを特徴量にしたものである。例えば、歌詞データと概要テキストとのキーワードリストのそれぞれが、以下のように構成されているとする。
【００７９】
歌詞のキーワードリスト:[君(4回),会う(3回) ,ドキドキ(1回) ,...]
概要テキストのキーワードリスト:[カジュアル(2回),二人(2回),楽しい(1回),...]
【００８０】
この場合に、上記の歌詞のキーワードリスト及び概要テキストのキーワードリストの組み合わせから、キーワードペア特徴量として、"君-カジュアル","君-二人","君-楽しい","会う-カジュアル","会う-二人","会う-楽しい","ドキドキ-カジュアル","ドキドキ-二人","ドキドキ-楽しい"といった特徴量を抽出する。このようにして、歌詞のキーワードリスト及び概要テキストのキーワードリストの全ての組み合わせについてキーワードペア特徴量を抽出する。
【００８１】
キーワードペア特徴量の値としては、当該キーワードペア特徴量を持つ組み合わせ、すなわち歌詞のキーワードリスト及び概要テキストのキーワードリストの組み合わせにおいて当該キーワードペア特徴量が出現したか否かを２値として利用する。なお、二値ではなく、特徴量の値として組み合わせにおける頻度情報を利用してもよい。
【００８２】
学習に使う素性は、学習データの全ての正例において、一定数以上出現する特徴量のみとしてもよい。そうすることで、特徴量の空間が小さくなり学習コストが低くなる。本発明の実施の形態では出現数の閾値を５に設定した。すなわち、学習データの組み合わせに５個以上含まれる特徴量が学習に使用される。
【００８３】
トピックペア特徴量は、歌詞用トピック抽出部４６で作成した、各歌詞のトピックリスト４８と、概要テキスト用トピック抽出部５４で作成した、各概要テキストのトピックリスト５６に含まれるトピックをもとに、キーワードペア特徴量と同様に、その組み合わせすべてを特徴量にしたものである。例えば、歌詞データと概要テキストとのトピックリストがそれぞれ以下のように構成されているとする。
【００８４】
歌詞のトピックリスト:[85,122]
概要テキストのトピックリスト:[33,2,27]
【００８５】
この場合に、特徴量として、"85-33","85-2","85-27","122-33","122-2","122-27"というトピックペア特徴量が抽出される。
【００８６】
ここでも、学習データの全ての正例において、一定数以上出現する特徴量のみを用いてもよいが、本発明の実施の形態では学習データの正例における全てのトピックペア特徴量を利用している。
【００８７】
このようにして、学習データにおける正例、負例のそれぞれについてキーワードペア特徴量及びトピックペア特徴量を抽出し、正例と負例を分類することのできる評価関数を機械学習によって学習する。これは単純な二値分類問題であるので、分類問題によく用いられるアルゴリズムを用いればよい。ここでは、ロジスティック回帰を利用する。ほかのアルゴリズムとして、サポートベクトルマシン（SVM）を用いてもよい。なお、二値分類問題のモデルは、一般に分類対象の事例について正例らしさ（もしくは負例らしさ）の信頼度を出力できるため、その数値を用いて、複数の分類対象をランキングすることができる。本発明の実施の形態でも、ロジスティック回帰で得られた分類モデルを用いてランキングを行う。なお、ランキングSVMのようにランキングに特化した機械学習のアルゴリズムを用いて学習を行ってもよい。その場合は、正例を負例よりも上位にランキングするように評価関数を学習すればよい。
【００８８】
歌詞フィルタ記憶部６６には、歌詞フィルタ学習部６４で学習された、楽曲の歌詞データに適した映像を検索するための歌詞フィルタが格納される。
【００８９】
タグ付き楽曲映像ペアデータ記憶部７０は、楽曲の付加情報を表すタグが付与された学習用の楽曲の各々と、複数の映像の各々との対応付けが格納されている。対応付けは、例えば、タグの付与された各楽曲IDに対して、各楽曲のどの映像が対応付けられているのかを表す映像IDが対応したデータである。タグは、ジャンル、及びテンポとする。例えば、1000曲の楽曲（SONG0001〜SONG1000）に対して、100種類の映像（MOVIE001〜MOVIE100）のいずれかが対応付いたデータが存在するとする。
【００９０】
ジャンルのタグについては、図６に示すように、ジャンルの付加情報（JPOP、洋楽、及び演歌のいずれか）が付与された各楽曲IDに対して、映像IDが対応付けられており、各楽曲にどの映像が対応付けられているのかを表す。SONG0002のように、1つの楽曲に複数の映像が対応付けられていてもよい。また、SONG0004のように、1つの楽曲に複数のジャンルを表すラベルが付与されていてもよい。
【００９１】
テンポのタグについては、図７に示すように、テンポの付加情報（SLOW、MID、及びFASTのいずれか）が付与された各楽曲IDに対して、映像IDが対応付けられており、各楽曲にどの映像が対応付けられているのかを表す。SONG0002のように、1つの楽曲に複数の映像が対応付けられていてもよい。また、SONG0004のように、1つの楽曲に複数のテンポを表すラベルが付与されていてもよい。
【００９２】
ジャンルフィルタ学習部７２は、タグ付き楽曲映像ペアデータ記憶部７０に記憶されているジャンルのタグが付与された学習用の楽曲の各々と、複数の映像の各々との予め求められた対応付けに基づいて、ジャンルのタグの、タグが表す付加情報と複数の映像の各々との結び付きの強さを測るためのジャンルに関するジャンルフィルタを学習する。
【００９３】
ジャンルフィルタ学習部７２は、具体的には、図８に示すような、映像IDに対して、ジャンルのJPOP、洋楽、及び演歌の各数値が、そのジャンルと映像の結び付きの強さ（0〜1）を表わし、1に近いほど結び付きが強いことを表すデータをジャンルフィルタとして学習し、ジャンルフィルタを、タグフィルタ記憶部７６に記憶する。
【００９４】
ジャンルフィルタにおける結び付きの強さを表すスコアの計算方法について説明する。
【００９５】
計算手法として、本実施の形態ではフィッシャーの正確確率検定を利用する。検定を用いて、特定のジャンルの楽曲のみに多く出現する映像を求める。検定については、非特許文献４を参照する。なお、カイ二乗検定を利用してもよい。
【００９６】
非特許文献４：生命情報処理における機械学習多重検定と推定量設計，瀬々潤，講談社
まず、各ジャンルで、概要テキストごとに下記のようなクロス集計と呼ばれる表を作成する。
【表１】
2019003270.tif 000003
【００９７】
次に、表１の中の数値A，B，C，Dを利用して、フィッシャーの正確確率検定を行うことで、JPOPの楽曲においてMOVIE-001が有意に多く出現しているかを判定することができる。
【００９８】
フィッシャーの正確確率検定で求まったp値を利用して、JPOPとMOVIE001との結び付きの強さを表すスコアを以下のように計算する。JPOPの楽曲におけるMOVIE001の期待出現回数とAの値を比較し、Aの方が大きく、かつp値が閾値未満であれば、スコアを1−p値とする。それ以外であれば、スコア0をとする。
【００９９】
期待出現回数は以下の（１）式で求めることができる。本実施の形態では、閾値は0.001とした。ただし、閾値は、どの程度ジャンルとの結び付きの強さを考慮するかによって、適切な閾値を設定することが望ましい。
【数１】
2019003270.tif 000004
・・・（１）
【０１００】
テンポフィルタ学習部７４は、タグ付き楽曲映像ペアデータ記憶部７０に記憶されているテンポのタグが付与された学習用の楽曲の各々と、複数の映像の各々との予め求められた対応付けに基づいて、テンポのタグの、タグが表す付加情報と複数の映像の各々との結び付きの強さを測るためのテンポに関するテンポフィルタを学習する。
【０１０１】
テンポフィルタ学習部７４では、ジャンルフィルタ学習部７２と同様に、タグ付き楽曲映像ペアデータ記憶部７０に記憶されているテンポに関する対応付けに基づいて、テンポごとに映像との結び付きの強さを表すスコア計算する。まず、各テンポで、概要テキストごとにクロス集計を作成する。次に、フィッシャーの正確確率検定を行う。最後に、各テンポで、計算されたp値と設定した閾値を用いて、映像の各々のスコアを計算する。
【０１０２】
テンポフィルタ学習部７４は、図９に示すような、映像IDに対して、テンポのSLOW、MID、及びFASTの各数値が、そのジャンルと映像の結び付きの強さ（0〜1）を表わし、1に近いほど結び付きが強いことを表すデータをテンポフィルタとして学習し、テンポフィルタを、タグフィルタ記憶部７６に記憶する。
【０１０３】
タグフィルタ記憶部７６には、ジャンルフィルタ学習部７２で学習されたジャンルフィルタ、及びテンポフィルタ学習部７４で学習されたテンポフィルタが格納される。
【０１０４】
＜本発明の実施の形態に係る映像検索装置の構成＞
【０１０５】
次に、本発明の実施の形態に係る映像検索装置の構成について説明する。図１０に示すように、本発明の実施の形態に係る映像検索装置２００は、ＣＰＵと、ＲＡＭと、後述する映像検索処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この映像検索装置２００は、機能的には図１０に示すように入力部２１０と、演算部２２０と、出力部２９０とを備えている。
【０１０６】
入力部２１０は、楽曲の付加情報を表すジャンル及びテンポのタグが付与された楽曲の歌詞データを受け付ける。例えば、ジャンルがJPOP、テンポがMID、図１１に示すようなテキストが歌詞データであるような楽曲の情報を受け付ける。他のジャンルとしては、例えば、歌手名、作曲者名などの情報も受け付けてもよい。歌詞の情報は演算部２２０へと出力され、解析が行われる。
【０１０７】
演算部２２０は、歌詞用キーワード抽出部２３２と、各概要テキストのキーワードリスト２４０と、歌詞用トピックモデル２４４と、歌詞用トピック抽出部２４６と、各概要テキストのトピックリスト２５６と、歌詞フィルタ適用部２６４と、歌詞フィルタ記憶部２６６と、ジャンルフィルタ適用部２７２と、テンポフィルタ適用部２７４と、タグフィルタ記憶部２７６と、映像検索部２７８とを含んで構成されている。なお、ジャンルフィルタ適用部２７２、及びテンポフィルタ適用部２７４が、タグフィルタ適用部の一例である。
【０１０８】
歌詞用キーワード抽出部２３２は、入力部２１０で受け付けた楽曲の歌詞データから、歌詞用キーワードを抽出する。具体的な処理は、上記歌詞用キーワード抽出部３２と同様の処理を行えばよい。
【０１０９】
各概要テキストのキーワードリスト２４０には、上記各概要テキストのキーワードリスト４０と同様のものが格納されている。
【０１１０】
歌詞用トピックモデル２４４には、上記歌詞用トピックモデル４４と同様のものが格納されている。
【０１１１】
歌詞用トピック抽出部２４６は、入力部２１０で受け付けた楽曲の歌詞データから、歌詞用トピックモデル２４４に基づいて、歌詞用トピックを抽出する。具体的な処理は、上記歌詞用トピック抽出部４６と同様の処理を行えばよい。
【０１１２】
歌詞フィルタ記憶部２６６には、上記歌詞フィルタ記憶部６６と同様のものが格納されている。
【０１１３】
タグフィルタ記憶部２７６には、上記タグフィルタ記憶部７６と同様のものが格納されている。
【０１１４】
歌詞フィルタ適用部２６４は、複数の映像の各々に対する、歌詞用キーワード抽出部２３２によって抽出された歌詞用キーワード、及び各概要のキーワードリスト２４０において映像に付与された概要テキストデータから抽出される概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、歌詞用トピック抽出部２４６によって抽出された歌詞用トピック、及び各概要テキストのトピックリスト２５６において映像に付与された概要テキストデータから抽出された概要テキスト用トピックの組み合わせを表すトピックペア特徴量と、歌詞フィルタ記憶部２６６に格納されている歌詞フィルタとに基づいて、入力された楽曲の歌詞データに対する映像の各々のスコアを算出し、ランキングする。
【０１１５】
歌詞フィルタ適用部２６４は、まず、歌詞用キーワード抽出部２３２で抽出した歌詞用キーワードのリストと、検索対象である概要テキストのキーワードリスト２４０とのペアを作り、前述のキーワードペア特徴量を抽出する。また、歌詞用トピック抽出部２４６で抽出した歌詞用トピックのリストと、検索対象である概要テキストのトピックリスト２５６とのペアを作り、前述のトピックペア特徴量を抽出する。そして、キーワードペア特徴量及びトピックペア特徴量のそれぞれの特徴量について、歌詞フィルタ記憶部２６６に格納されているランキングモデル（本発明の実施の形態においてはロジスティック回帰のモデル）を適用することで、正例らしさ（すなわち、対応付いているかどうか）のスコアを求める。各映像の概要テキストのスコアを0〜1で表し、スコアは1に近いほど、適切な映像であることを表す。このスコアに基づいて、概要テキストをランキングすることができる。ランキングにより、最も対応付いていると考えられる概要テキストが取得でき、また、その結果概要テキストに紐付いている映像を出力することができる。例えば、入力された歌詞に対して、最も高いスコアの映像の概要テキストの例を図１２に示す。
【０１１６】
ジャンルフィルタ適用部２７２は、入力された楽曲のジャンルの付加情報について、入力された楽曲のタグの付加情報と、タグフィルタ記憶部２７６に格納されているジャンルのタグに関するジャンルフィルタとに基づいて、入力された楽曲のジャンルの付加情報の各々に対する映像の各々のスコアを算出し、ランキングする。
【０１１７】
ランキングの作成には、タグフィルタ記憶部２７６に記憶されているジャンルフィルタを利用する。入力されたジャンルにおける各映像のスコアを元に、昇順に映像を並び換えることで、ランキングを作成する。映像のランキングを0〜1のスコア付きで、ランキングとして出力する。スコアは1に近いほど、適切な映像であることを表す。
【０１１８】
テンポフィルタ適用部２７４は、入力された楽曲のテンポの付加情報について、入力された楽曲のタグの付加情報と、タグフィルタ記憶部２７６に格納されているテンポのタグに関するテンポフィルタとに基づいて、入力された楽曲のテンポの付加情報の各々に対する映像の各々のスコアを算出し、ランキングする。
【０１１９】
楽曲のテンポを入力として受け取り、映像のランキングを0〜1のスコア付きで、ランキングとして出力する。1に近いほど、適切な映像であることを表す。
【０１２０】
ランキングの作成には、タグフィルタ記憶部２７６に記憶されているテンポフィルタを利用する。入力された填補における各映像のスコアを元に、昇順に映像を並び換えることで、ランキングを作成する。
【０１２１】
映像検索部２７８は、歌詞フィルタ適用部２６４で算出された入力された楽曲の歌詞データに対する映像の各々のスコアと、ジャンルフィルタ適用部２７２で算出された入力された楽曲のジャンルのタグに対する映像の各々のスコアと、テンポフィルタ適用部２７４で算出された入力された楽曲のテンポのタグに対する映像の各々のスコアとに基づいて、各映像の最終的なスコアを算出してランキングし、入力された楽曲に適した映像を検索する。
【０１２２】
各映像の最終的なスコア（Score）は、以下の（２）式で計算される。
【数２】
2019003270.tif 000005
・・・（２）
【０１２３】
LyricsScoreは歌詞フィルタ適用部が出力した映像のスコアを表し、GenreScoreはジャンルフィルタ適用部２７２が出力した映像のスコアを表し、TempoScoreはテンポフィルタ適用部２７４が出力した映像のスコアを表す。a，b，cは各フィルタが出力したスコアの重みを表す係数である。
【０１２４】
係数が大きい程、そのフィルタのスコアが最終的なスコアに反映される。例えば、aを1.0，bを0.5，cを0と定めると、歌詞フィルタの影響を大きくし、テンポフィルタの影響をなくすことができる。利用したい状況に応じて、適切な値を調整しつつ設定することが望ましい。映像検索部２７８は計算された最終的な各映像のスコアを昇順に並べることで、ランキングを作成する。例えば、歌詞データが上記図１１のテキストであり、ジャンルがJPOPである楽曲が入力された場合、入力に適した映像として、図１３に示す上位5件の映像、及び映像のスコアを出力する。最も上位のMOVIE083の映像には上記図１２で示した概要テキストが付与されている。
【０１２５】
＜本発明の実施の形態に係る学習装置の作用＞
【０１２６】
次に、本発明の実施の形態に係る学習装置１００の作用について説明する。学習装置１００は、図１４に示す学習処理ルーチンを実行する。
【０１２７】
まず、ステップＳ１００では、歌詞データＤＢ３０に格納されている歌詞データの各々から、歌詞用キーワードを抽出し、歌詞ごとのキーワードリストを作成して、各歌詞のキーワードリスト３４として保存する。
【０１２８】
次に、ステップＳ１０２では、概要テキストデータＤＢ３６に格納されている概要テキストデータの各々から、概要テキスト用キーワードを抽出し、概要テキストごとにキーワードリストを作成して、各概要テキストのキーワードリスト４０として保存する。
【０１２９】
ステップＳ１０４では、歌詞データＤＢ３０に格納されている歌詞データの各々から歌詞用トピックモデル４４を作成する。
【０１３０】
ステップＳ１０６では、歌詞データＤＢ３０に格納されている歌詞データの各々から、歌詞用トピックモデル４４に基づいて、歌詞用トピックを抽出し、各歌詞のトピックリスト４８を作成する。
【０１３１】
ステップＳ１０８では、ステップＳ１０４と同様の処理を、概要テキストデータＤＢ３６に格納されている概要テキストデータに対して行う事で、概要テキストデータについての概要テキスト用トピックモデル５２を作成する。
【０１３２】
ステップＳ１１０では、概要テキストデータＤＢ３６に格納されている概要テキストデータの各々から、概要テキスト用トピックモデル５２に基づいて、概要テキスト用トピックを抽出し、各概要テキストのトピックリスト５６を作成する。
【０１３３】
ステップＳ１１２では、歌詞・概要テキストペア正解データ５８を用いて、楽曲の歌詞データと、当該楽曲の歌詞データに適していない映像に付与された概要テキストデータとが対応付いたペアの集合である歌詞・概要テキストペア不正解データ６２を作成する。
【０１３４】
ステップＳ１１４では、正解データの歌詞データから抽出された歌詞用キーワード及び正解データの概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、不正解データの歌詞データから抽出された歌詞用キーワード及び不正解データの概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、正解データの歌詞データから抽出された歌詞用トピック及び正解データの概要テキストデータから抽出された概要テキスト用トピックの組み合わせを表すトピックペア特徴量と、不正解データの歌詞データから抽出された歌詞用トピック及び不正解データの概要テキストデータから抽出された概要テキスト用トピックの組み合わせを表すトピックペア特徴量とに基づいて、歌詞に関する歌詞フィルタを学習し、歌詞フィルタ記憶部６６に記憶する。
【０１３５】
ステップＳ１１６では、タグ付き楽曲映像ペアデータ記憶部７０に記憶されているジャンルのタグが付与された学習用の楽曲の各々と、複数の映像の各々との予め求められた対応付けに基づいて、ジャンルのタグの、タグが表す付加情報と複数の映像の各々との結び付きの強さを測るためのジャンルに関するジャンルフィルタを学習し、タグフィルタ記憶部７６に記憶する。
【０１３６】
ステップＳ１１８では、タグ付き楽曲映像ペアデータ記憶部７０に記憶されているテンポのタグが付与された学習用の楽曲の各々と、複数の映像の各々との予め求められた対応付けに基づいて、テンポのタグの、タグが表す付加情報と複数の映像の各々との結び付きの強さを測るためのテンポに関するテンポフィルタを学習し、タグフィルタ記憶部７６に記憶して処理を終了する。
【０１３７】
以上説明したように、本発明の実施の形態に係る学習装置によれば、正解データの歌詞データから抽出された歌詞用キーワード及び正解データの概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、不正解データの歌詞データから抽出された歌詞用キーワード及び不正解データの概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、正解データの歌詞データから抽出された歌詞用トピック及び正解データの概要テキストデータから抽出された概要テキスト用トピックの組み合わせを表すトピックペア特徴量と、不正解データの歌詞データから抽出された歌詞用トピック及び不正解データの概要テキストデータから抽出された概要テキスト用トピックの組み合わせを表すトピックペア特徴量とに基づいて、歌詞フィルタを学習し、タグが付与された学習用の楽曲の各々と、複数の映像の各々との予め求められた対応付けに基づいて、タグが表す付加情報と複数の映像の各々との結び付きの強さを測るためのタグに関するフィルタを学習することにより、楽曲に適した映像を精度よく検索するためのフィルタを学習することができる。
【０１３８】
＜本発明の実施の形態に係る映像検索装置の作用＞
【０１３９】
次に、本発明の実施の形態に係る映像検索装置２００の作用について説明する。入力部２１０において楽曲の歌詞データを受け付けると、映像検索装置２００は、図９に示す映像検索処理ルーチンを実行する。
【０１４０】
まず、ステップＳ２００では、入力部２１０で受け付けた楽曲の歌詞データから、歌詞用キーワードを抽出する。
【０１４１】
次に、ステップＳ２０２では、入力部２１０で受け付けた楽曲の歌詞データから、歌詞用トピックモデル２４４に基づいて、歌詞用トピックを抽出する。
【０１４２】
ステップＳ２０４では、複数の映像の各々に対する、歌詞用キーワード抽出部２３２によって抽出された歌詞用キーワード、及び各概要のキーワードリスト２４０において映像に付与された概要テキストデータから抽出される概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、歌詞用トピック抽出部２４６によって抽出された歌詞用トピック、及び各概要テキストのトピックリスト２５６において映像に付与された概要テキストデータから抽出された概要テキスト用トピックの組み合わせを表すトピックペア特徴量と、歌詞フィルタ記憶部２６６に格納されている歌詞フィルタとに基づいて、入力された楽曲の歌詞データに対する映像の各々のスコアを算出し、ランキングする。
【０１４３】
ステップＳ２０６では、入力された楽曲のジャンルの付加情報について、入力された楽曲のタグの付加情報と、タグフィルタ記憶部２７６に格納されているジャンルのタグに関するジャンルフィルタとに基づいて、入力された楽曲のジャンルの付加情報の各々に対する映像の各々のスコアを算出し、ランキングする。
【０１４４】
ステップＳ２０８では、入力された楽曲のテンポの付加情報について、入力された楽曲のタグの付加情報と、タグフィルタ記憶部２７６に格納されているテンポのタグに関するテンポフィルタとに基づいて、入力された楽曲のテンポの付加情報の各々に対する映像の各々のスコアを算出し、ランキングする。
【０１４５】
ステップＳ２１０では、歌詞フィルタ適用部２６４で算出された入力された楽曲の歌詞データに対する映像の各々のスコアと、ジャンルフィルタ適用部２７２で算出された入力された楽曲のジャンルのタグに対する映像の各々のスコアと、テンポフィルタ適用部２７４で算出された入力された楽曲のテンポのタグに対する映像の各々のスコアとに基づいて、各映像の最終的なスコアを算出してランキングし、上位Ｎ個の映像ID及びスコアを出力して処理を終了する。
【０１４６】
以上説明したように、本発明の実施の形態に係る映像検索装置によれば、入力されたタグが付与された楽曲の歌詞データから、歌詞用キーワードを抽出し、入力された楽曲の歌詞データから、歌詞用トピックを抽出し、映像の各々に対する、抽出された歌詞用キーワード及び映像に付与された概要テキストデータから抽出される概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、抽出された歌詞用トピック及び映像に付与された概要テキストデータから抽出される概要テキスト用トピックの組み合わせを表すトピックペア特徴量と、歌詞に関するフィルタとに基づいて、入力された楽曲の歌詞データに対する映像の各々のスコアを算出し、楽曲のタグの付加情報と、タグに関するフィルタとに基づいて、タグの付加情報に対する映像の各々のスコアを算出し、歌詞データに対する映像の各々のスコアと、タグの付加情報に対する映像の各々のスコアとに基づいて、楽曲に適した映像を検索することにより、楽曲に適した映像を精度よく検索することができる。
【０１４７】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【符号の説明】
【０１４８】
２０、２２０  演算部
３２、２３２  歌詞用キーワード抽出部
３４   各歌詞のキーワードリスト
３８   概要テキスト用キーワード抽出部
４０、２４０  各概要テキストのキーワードリスト
４２   歌詞用トピックモデル作成部
４４、２４４  歌詞用トピックモデル
４６、２４６  歌詞用トピック抽出部
４８   各歌詞のトピックリスト
５０   概要テキスト用トピックモデル作成部
５２   概要テキスト用トピックモデル
５４   概要テキスト用トピック抽出部
５６、２５６  各概要テキストのトピックリスト
５８   歌詞・概要テキストペア正解データ
６０   不正解データ作成部
６２   歌詞・概要テキストペア不正解データ
６４   歌詞フィルタ学習部
６６   歌詞フィルタ記憶部
７０   タグ付き楽曲映像ペアデータ記憶部
７２   ジャンルフィルタ学習部
７４   テンポフィルタ学習部
７６   タグフィルタ記憶部
１００ 学習装置
２００ 映像検索装置
２１０ 入力部
２６４ 歌詞フィルタ適用部
２６６ 歌詞フィルタ記憶部
２７２ ジャンルフィルタ適用部
２７４ テンポフィルタ適用部
２７６ タグフィルタ記憶部
２７８ 映像検索部
２９０ 出力部
【図１】
2019003270.tif 000006
【図２】
2019003270.tif 000007
【図３】
2019003270.tif 000008
【図４】
2019003270.tif 000009
【図５】
2019003270.tif 000010
【図６】
2019003270.tif 000011
【図７】
2019003270.tif 000012
【図８】
2019003270.tif 000013
【図９】
2019003270.tif 000014
【図１０】
2019003270.tif 000015
【図１１】
2019003270.tif 000016
【図１２】
2019003270.tif 000017
【図１３】
2019003270.tif 000018
【図１４】
2019003270.tif 000019
【図１５】
2019003270.tif 000020