(57)【要約】【課題】時系列の順序を有するシーンでシナリオを作成でき、楽曲再生に対応した自然な印象の同期映像を再生できるシナリオ生成システム、シナリオ生成方法およびシナリオ生成プログラムを提供する。【解決手段】楽曲再生と同期した映像再生に用いられるシナリオ生成システム１００であって、楽曲が表わす状況を推定する状況推定部１３０と、時系列の順序を有するシーンにより構成される映像のうち、推定された状況に合った映像を少なくとも一つ特定する映像特定部１４０と、特定された映像を構成するシーンを楽曲の区分ごとに関連付けたシナリオを生成するシナリオ生成部１５０と、を備える。これにより、時系列の順序を有するシーンでシナリオを作成でき、そのシナリオに基づいて楽曲再生に対応した自然な印象の同期映像を再生できる。【選択図】図１
2015012322.tif 000002
【特許請求の範囲】
【請求項１】
楽曲再生と同期した映像再生に用いられるシナリオ生成システムであって、
楽曲が表わす状況を推定する状況推定部と、
時系列の順序を有するシーンにより構成される映像のうち、前記推定された状況に合った映像を少なくとも一つ特定する映像特定部と、
前記特定された映像を構成するシーンを前記楽曲の区分ごとに関連付けたシナリオを生成するシナリオ生成部と、を備えることを特徴とするシナリオ生成システム。
【請求項２】
前記シナリオ生成部は、前記特定された映像のシーンを時系列の順序を保持しつつ前記楽曲の区分ごとに関連付けたシナリオを生成することを特徴とする請求項１記載のシナリオ生成システム。
【請求項３】
前記状況推定部は、楽曲の歌詞を解析して前記楽曲が表わす状況を推定することを特徴とする請求項１または請求項２記載のシナリオ生成システム。
【請求項４】
前記楽曲の区分ごとに前記楽曲の歌詞からキーワードを抽出し、前記抽出されたキーワードを用いて調整用の映像を特定する調整用映像特定部と、
前記調整用の映像を用いて、前記シナリオで特定されるシーンの時系列の順序を保持しつつ、前記シナリオを調整するシナリオ調整部と、を更に備えることを特徴とする請求項１から請求項３のいずれかに記載のシナリオ生成システム。
【請求項５】
前記状況推定部は、楽曲が表わす状況に相当する各カテゴリの内容を推定することで前記楽曲が表わす状況を推定することを特徴とする請求項１から請求項４のいずれかに記載のシナリオ生成システム。
【請求項６】
前記映像調整部は、前記楽曲の区分ごとに、前記シナリオで特定されるシーンと前記調整用の映像とをあらかじめ設定した基準に基づいて比較し、どちらか一方を、新たに前記シナリオで特定されるシーンとして採用することを特徴とする請求項１から請求項５のいずれかに記載のシナリオ生成システム。
【請求項７】
前記生成されたシナリオによる同期映像の視聴者から前記同期映像に対する評価を収集し、前記収集された評価を前記評価情報ＤＢに格納させる評価情報収集部と、
前記収集された評価を格納する評価情報ＤＢと、を更に備え、
前記映像調整部は、前記評価情報ＤＢに格納された評価情報に基づいて、前記シナリオで特定されるシーンの組合せを修正することを特徴とする請求項１から請求項６のいずれかに記載のシナリオ生成システム。
【請求項８】
前記生成されたシナリオに基づいて同期映像を再生する再生部を備えることを特徴とする請求項１から請求項７のいずれかに記載のシナリオ生成システム。
【請求項９】
楽曲再生と同期した映像再生に用いられるシナリオを生成するシナリオ生成方法であって、
楽曲が表わす状況を推定するステップと、
時系列の順序を有するシーンにより構成される映像のうち、前記推定された状況に合った映像を少なくとも一つ特定するステップと、
前記特定された映像を構成するシーンを前記楽曲の区分ごとに関連付けたシナリオを生成するステップと、を含むことを特徴とするシナリオ生成方法。
【請求項１０】
楽曲再生と同期した映像再生に用いられるシナリオを生成するシナリオ生成プログラムであって、
楽曲が表わす状況を推定する処理と、
時系列の順序を有するシーンにより構成される映像のうち、前記推定された状況に合った映像を少なくとも一つ特定する処理と、
前記特定された映像を構成するシーンを前記楽曲の区分ごとに関連付けたシナリオを生成する処理と、をコンピュータに実行させることを特徴とするシナリオ生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲再生と同期した映像再生に用いられるシナリオを生成するシナリオ生成システム、シナリオ生成方法およびシナリオ生成プログラムに関する。
【背景技術】
【０００２】
現在利用されているカラオケシステムでは、表示画面に楽曲、歌詞の背景映像が再生される。背景映像は、歌唱者のみならず、その場に同席する者が目にするものであり、楽曲に適した映像であることが求められている。
【０００３】
例えば、特許文献１記載の装置は、楽曲の音楽の変化に合わせた映像コンテンツを生成する際に、楽曲に基づいて選択された動きデータを対象にして、動きデータ間を連結することで、背景映像を作成している。
【０００４】
特許文献２記載のシステムは、カラオケ利用時に、携帯等からアップロードされた様々な画像の中から抽出した複数の画像を用いてカラオケ背景映像を生成することで、バラエティに富んだカラオケ背景映像を表示しながらユーザがカラオケを楽しめるようにしている。
【０００５】
特許文献３記載の装置は、演奏曲の進行に伴って生じる歌詞の意味に応じて、映像を生成する。上記の装置は、選択された所望の演奏曲を出力させるとともに、抑揚等、感情に合わせて文字を変化させる映像を作成している。
【０００６】
特許文献４記載のシステムは、カラオケ演奏とともに長編ストーリー映像を断続再生できるようにし、映像データを時分割的に並行して断続再生している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−０４４４８４号公報
【特許文献２】特開２０１１−０７５７０１号公報
【特許文献３】特開２００４−３５４４２３号公報
【特許文献４】特開２００３−１０８１５５号公報
【非特許文献】
【０００８】
【非特許文献１】舟澤慎太郎、石先広海、帆足啓一郎、滝嶋康弘、甲藤二郎、「歌詞特徴を考慮したＷｅｂ画像と楽曲同期再生システムの提案」，ＦＩＴ２００９  第８回情報科学技術フォーラム  講演論文集，社団法人情報処理学会、社団法人電子情報通信学会，２００９年  ８月２０日，第２分冊，pp.333〜334
【非特許文献２】舟澤慎太郎, 石先広海, 帆足啓一郎, 滝嶋康弘, 甲藤二郎、「歌詞の印象に基づく楽曲検索のための楽曲自動分類に関する検討」, 第71 回情報処理学会全国大会, 5R-2 (2009).
【非特許文献３】Thorsten Joachims, "SVMLIGHT",[online], 2008年8月14日, Cornell University,［2013年6月18日検索］, インターネット〈URL：http://svmlight.joachims.org/〉
【非特許文献４】"Mecab" ,[online],［2013年6月18日検索］, インターネット〈URL： http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html〉
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記のような装置では、データベースに格納された素材映像を組み合わせて多様な背景映像を作成したりすることは困難である。すなわち、時系列を維持した順序で楽曲の各区分に適した映像で同期映像を再生できず、楽曲再生に対応した自然な印象の同期映像を再生することができない。その結果、楽曲の歌詞の内容に応じて背景映像を変化させて背景映像にストーリー性を確保するのは難しくなる。
【００１０】
本発明は、このような事情に鑑みてなされたものであり、時系列の順序を有するシーンでシナリオを作成でき、楽曲再生に対応した自然な印象の同期映像を再生できるシナリオ生成システム、シナリオ生成方法およびシナリオ生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
（１）上記の目的を達成するため、本発明のシナリオ生成システムは、楽曲再生と同期した映像再生に用いられるシナリオ生成システムであって、楽曲が表わす状況を推定する状況推定部と、時系列の順序を有するシーンにより構成される映像のうち、前記推定された状況に合った映像を少なくとも一つ特定する映像特定部と、前記特定された映像を構成するシーンを前記楽曲の区分ごとに関連付けたシナリオを生成するシナリオ生成部と、を備えることを特徴としている。これにより、時系列の順序を有するシーンでシナリオを作成でき、そのシナリオに基づいて楽曲再生に対応した自然な印象の同期映像を再生できる。
【００１２】
（２）また、本発明のシナリオ生成システムは、前記シナリオ生成部が、前記特定された映像のシーンを時系列の順序を保持しつつ前記楽曲の区分ごとに関連付けたシナリオを生成することを特徴としている。これにより、もとの映像のシーンが有する時系列の順序を維持したまま、さらに楽曲の区分ごとに映像をマッチさせた同期映像のシナリオを生成できる。
【００１３】
（３）また、本発明のシナリオ生成システムは、前記状況推定部が、楽曲の歌詞を解析して前記楽曲が表わす状況を推定することを特徴としている。このように、楽曲の歌詞を解析することで的確に楽曲に合った映像を対応させることができる。
【００１４】
（４）また、本発明のシナリオ生成システムは、前記楽曲の区分ごとに前記楽曲の歌詞からキーワードを抽出し、前記抽出されたキーワードを用いて調整用の映像を特定する調整用映像特定部と、前記調整用の映像を用いて、前記シナリオで特定されるシーンの時系列の順序を保持しつつ、前記シナリオを調整するシナリオ調整部と、を更に備えることを特徴としている。これにより、調整用の映像を用いてもとのシナリオを補完し、多様でより適切な同期映像のシナリオを作成することができる。
【００１５】
（５）また、本発明のシナリオ生成システムは、前記状況推定部が、楽曲が表わす状況に相当する各カテゴリの内容を推定することで前記楽曲が表わす状況を推定することを特徴としている。これにより、例えば５Ｗ１Ｈを各カテゴリとして楽曲が表わす状況を推定し、映像との適切なマッチングを行なうことができる。
【００１６】
（６）また、本発明のシナリオ生成システムは、前記映像調整部が、前記楽曲の区分ごとに、前記シナリオで特定されるシーンと前記調整用の映像とをあらかじめ設定した基準に基づいて比較し、どちらか一方を、新たに前記シナリオで特定されるシーンとして採用することを特徴としている。これにより、より楽曲に適した好ましい映像を採用してシナリオを作成することができる。
【００１７】
（７）また、本発明のシナリオ生成システムは、前記生成されたシナリオによる同期映像の視聴者から前記同期映像に対する評価を収集し、前記収集された評価を前記評価情報ＤＢに格納させる評価情報収集部と、前記収集された評価を格納する評価情報ＤＢと、を更に備え、前記映像調整部は、前記評価情報ＤＢに格納された評価情報に基づいて、前記シナリオで特定されるシーンの組合せを修正することを特徴としている。これにより、ユーザの評価を反映してシナリオを生成できる。
【００１８】
（８）また、本発明のシナリオ生成システムは、前記生成されたシナリオに基づいて同期映像を再生する再生部を備えることを特徴としている。これにより、自動で映像を組み合わせて作成された楽曲に適した同期映像を再生できる。例えば、カラオケの背景映像に利用できる。
【００１９】
（９）また、本発明のシナリオ生成方法は、楽曲再生と同期した映像再生に用いられるシナリオを生成するシナリオ生成方法であって、楽曲が表わす状況を推定するステップと、時系列の順序を有するシーンにより構成される映像のうち、前記推定された状況に合った映像を少なくとも一つ特定するステップと、前記特定された映像を構成するシーンを前記楽曲の区分ごとに関連付けたシナリオを生成するステップと、を含むことを特徴としている。これにより、時系列の順序を有するシーンでシナリオを作成でき、そのシナリオに基づいて楽曲再生に対応した自然な印象の同期映像を再生できる。
【００２０】
（１０）また、本発明のシナリオ生成プログラムは、楽曲再生と同期した映像再生に用いられるシナリオを生成するシナリオ生成プログラムであって、楽曲が表わす状況を推定する処理と、時系列の順序を有するシーンにより構成される映像のうち、前記推定された状況に合った映像を少なくとも一つ特定する処理と、前記特定された映像を構成するシーンを前記楽曲の区分ごとに関連付けたシナリオを生成する処理と、をコンピュータに実行させることを特徴としている。これにより、時系列の順序を有するシーンでシナリオを作成でき、そのシナリオに基づいて楽曲再生に対応した自然な印象の同期映像を再生できる。
【発明の効果】
【００２１】
本発明によれば、時系列の順序を有するシーンでシナリオを作成でき、そのシナリオに基づいて楽曲再生に対応した自然な印象の同期映像を再生できる。
【図面の簡単な説明】
【００２２】
【図１】本発明のシナリオ生成システムの構成を示すブロック図である。
【図２】本発明のシナリオ生成システムの動作を示すフローチャートである。
【図３】シナリオの生成および調整の処理イメージを示す図である。
【図４】映像全体に対するメタ情報とシーン毎のメタ情報の関係を示す図である。
【図５】映像素材とメタ情報とを関連付けるテーブルを示す図である。
【図６】楽曲状況情報推定の処理例を示すフローチャートである。
【図７】歌詞から受ける印象の推定処理を模式的に示す図である。
【図８】事前に設定するカテゴリと、カテゴリ毎の状態を表わす単語の例を示すテーブルである。
【図９】映像特定の処理の一例を示す模式図である。
【図１０】シナリオフォーマット例を示すテーブルである。
【発明を実施するための形態】
【００２３】
次に、本発明の実施の形態について、図面を参照しながら説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては同一の参照番号を付し、重複する説明は省略する。
【００２４】
（シナリオ生成システムの構成）
本発明のシナリオ生成システムは、楽曲再生と同期した映像再生に用いられるシナリオを生成する。すなわち、楽曲歌詞から推定した楽曲状況情報（例えば５Ｗ１Ｈの情報）に基づいて主軸映像を選定し、主軸映像と、歌詞行から抽出したキーワードによって特定した調整用の映像を組み合わせることで楽曲歌詞の内容に応じた背景映像を構成するシナリオを生成する。シナリオとは、歌詞と同期して映像を生成する際に、内容に応じた複数の映像を組み合わせて再生するための、映像プレイリストである。
【００２５】
（各部の構成）
図１は、シナリオ生成システム１００の構成を示すブロック図である。映像ＤＢ１１０は、映像素材を格納する。あらかじめ映像には、メタ情報が付与される。メタ情報は、例えば、映像素材全体、もしくはシーンごとに付与されており、人物詳細、季節、時間帯、等映像に含まれる情報がテキスト情報として関連付けられて保存されている。シーンは、映像を構成する複数の短時間の映像を意味し、必ずしも１つの場面や１カットに限定されない。なお、映像素材とメタ情報との関連付けについては後述する。
【００２６】
楽曲ＤＢ１２０は、楽曲の歌詞、音源ファイル、メタ情報を格納する。楽曲のメタ情報には、例えば、ジャンル、タイトル、アーティスト、楽曲時刻に対する歌詞表示時間が含まれる。ジャンル等は、事前に推定することも可能である。例えば、歌詞による全体印象語推定と音響データによるジャンル判定を利用することができる。また、全体印象語は、画像検索エンジンにより検索された画像数やユニークな画像投稿者数を用いて推定できる。そして、音響データによるジャンル判定は、学習データをもとに未知のデータを各印象カテゴリに分類するＳＶＭ（Support Vector Machine）により次元ベクトルで表現されたオブジェクトを分類することで実行できる（非特許文献１、２参照）。一度生成したシナリオ等も、楽曲に関連付けて格納できる。通信機能により格納される楽曲の追加、情報の更新等を行なってもよい。
【００２７】
状況推定部１３０は、楽曲の歌詞を解析して楽曲が表わす状況を推定する。このように、楽曲の歌詞をテキスト解析することで楽曲歌詞が表現する情景や状況等を推定できる。その結果、的確に楽曲に合った映像を特定できる。
【００２８】
状況推定部１３０は、楽曲が表わす状況に相当する各カテゴリの内容を推定することで楽曲が表わす状況を推定することが好ましい。このような推定には、事前に映像ＤＢ１１０に付与するメタ情報と同一のメタ情報や、５Ｗ１Ｈに該当するカテゴリを利用できる。
【００２９】
例えば、歌詞の全ての段落に対して、重要語を抽出し、５Ｗ１Ｈの各項目に該当するカテゴリを事前に設定する。そして、設定されたカテゴリ内の状態単語（男、女、１０代等）毎にＳＶＭ等の識別器を用意し、歌詞入力結果が正となった情報を楽曲状況情報として利用することができる。なお、５Ｗ１Ｈの全部を用いずに、２つあるいは３つのみを重視することで楽曲状況を推定してもよい。
【００３０】
映像特定部１４０は、時系列の順序を有するシーンにより構成される映像のうち、推定された状況に合った主軸映像を少なくとも一つ特定する。これにより、時系列の順序を有するシーンで同期映像のシナリオを作成でき、そのシナリオにより楽曲再生に対応した自然な印象の同期映像を再生することができる。なお、複数の映像を特定して、主軸映像としてもよい。例えば、男性、春、君、島国、等５Ｗ１Ｈから選ばれたキーワードからＯＲ検索し、１００件程度の映像を特定できたとして、その１００件についているメタ情報とキーワードとの関連度を算出すれば順位付けできるため、その上位を主軸映像として選択できる。
【００３１】
シナリオ生成部１５０は、主軸映像を構成するシーンを楽曲の区分ごとに関連付けたシナリオを生成する。すなわち、各楽曲区分に対して主軸映像として特定された各シーンを組み合わせる。その際には、主軸映像を構成するシーンの時系列の順序を保持しつつシナリオを生成することが好ましい。これにより、もとの主軸映像が有する複数のシーンの時系列の順序を維持したまま、楽曲の区分ごとにシーンをマッチさせた同期映像のシナリオを生成できる。
【００３２】
同期映像の一連の映像の組み合わせは、シナリオフォーマットの作成により行なわれる。シナリオフォーマットについては後述する。また、各シーンを各楽曲区分に関連付ける際に楽曲区分よりシーンの再生時間が多い場合があるが、その場合にはシーンの最初から楽曲区分の時間が経過するまで再生することになる。関連付けられたシーンでは映像が足らない場合には調整用の映像で補完できる。
【００３３】
調整用映像特定部１６０は、楽曲の区分ごとに楽曲の歌詞からキーワードを抽出し、抽出されたキーワードを用いて調整用の映像を特定する。調整用の映像は、シーンの集合であってもよいし、単体のシーンであってもよい。基本的に歌詞のキーワードを用いるため、歌詞が存在しない楽曲区分（前奏、間奏）は、調整せずもとのシナリオを用いることになる。
【００３４】
シナリオ調整部１７０は、調整用の映像を用いて、シナリオで特定される映像の時系列の順序を保持しつつ、シナリオを調整する。すなわち、調整用の映像と主軸映像内のシーンとの関連度を評価して、評価に応じて主軸映像を修正する。これにより、もとのシナリオを補完し、多様でより楽曲に合ったシナリオを作成することができる。
【００３５】
シナリオ調整部１７０は、楽曲の区分ごとに、シナリオで特定されるシーンと調整用の映像とをあらかじめ設定した基準に基づいて比較し、どちらか一方を、新たにシナリオで特定されるシーンとして採用することが好ましい。これにより、より楽曲に適した好ましい映像を採用してシナリオを作成することができる。
【００３６】
また、シナリオ調整部１７０は、評価情報ＤＢ１９５に格納された情報に基づいて、シナリオで特定されるシーンの組合せを修正することが好ましい。これにより、ユーザの評価を反映して同期映像のシナリオを生成できる。
【００３７】
再生部１８０は、生成された楽曲の再生に同期させてシナリオに基づき同期映像を再生する。これにより、自動で映像を組み合わせて作成された楽曲に適した同期映像を再生できる。例えば、カラオケの背景映像に利用できる。
【００３８】
評価情報収集部１９０は、生成されたシナリオに基づく同期映像の視聴者から同期映像に対する評価を収集し、収集された評価を評価情報ＤＢ１９５に格納する。例えば、評価情報はＧＯＯＤまたはＢＡＤの２値、または５段階で評価値を取得することができる。また、映像全体、シーンごとに評価値を入力することもできる。入力された評価情報は、シーン、映像全体またはシナリオと関連付けられて、評価情報ＤＢ１９５に格納される。
【００３９】
評価情報ＤＢ１９５は、生成されたシナリオにより再生された同期映像に対する評価情報を格納する。評価に応じて同期映像のシナリオを調整する際には、評価情報ＤＢ１９５に格納された評価情報が抽出され、用いられる。
【００４０】
（シナリオ生成システムの動作）
次に、上記のように構成されたシナリオ生成システムの動作を説明する。図２は、シナリオ生成システムの動作を示すフローチャートである。以下、図２に示すステップＳ１〜Ｓ７に沿って説明する。
【００４１】
（Ｓ１）主軸映像の検索
背景映像の主軸となる映像を映像ＤＢ１１０より検索する。例えば、楽曲状況情報に含まれるキーワードを利用して、映像を検索することができる。歌詞の全体印象語と歌詞の行から得られる印象語から楽曲の状況にあった１映像を検索してもよい（非特許文献１参照）。また、フィルタリングにより、人物を含む映像・シーンのみ、人物を含まない映像・シーンのみ等として検索することもできる。
【００４２】
（Ｓ２）楽曲区分分割
歌詞情報に基づいて、楽曲を分割し、各楽曲区分にＩＤを付与する。例えば、Ｐｐ：前奏、Ｐ１−Ｐｎ：段落、Ｐｉ:間奏、Ｐｅ:後奏のような固有ＩＤを楽曲区分に付与する。これ以外に、段落を複数に分割することもできる。例えば、Ｐ１に５行含まれていた場合、Ｐ１−１を最初の３行文のＩＤとし、Ｐ１−２を残りの２行分のＩＤとしてもよい。なお、組合せはこの限りではない。
【００４３】
（Ｓ３）シーン組合せ候補算出
主軸映像のシーン情報において、時系列の順序を保持しつつ、全ての組合せをリストアップする。例えば、Ｐｐ：Ｓ１，Ｐ１：Ｓ３，Ｐ２：Ｓ４，…，Ｐｅ：Ｓ３９を主軸映像のシーンの組合せとしてリストアップする。
【００４４】
（Ｓ４）歌詞ＫＷによる映像検索
楽曲区分Ｐに含まれる歌詞行から抽出したＫＷ（キーワード）を利用して、映像を検索する。複数の映像が検索された場合には、ユニークな投稿者数の多い画像を用いたり（非特許文献１参照）、映像のメタ情報をフィルタリングすることで、検索結果を絞りこむことができる。また絞り込み結果に対してランダムに選択する等で、区分に対して一つの映像を検索することができる。
【００４５】
（Ｓ５）関連度比較
主軸映像内で組み合わされたシーンと、歌詞ＫＷにより検索された映像とを、各分割区分を単位として、比較基準に基づいて比較し、比較基準に適合、もしくは数値が高いものを選択する。比較基準は例えば、以下の（ａ）〜（ｅ）等を利用できる。
（ａ）利用回数が少ない物
（ｂ）関連度（非特許文献１参照）が低いもの
（ｃ）登録日時が新しいもの
（ｄ）メタ情報が多く付与されているもの
（ｅ）評価情報ＤＢ１９５の評価数もしくは評価値が高いもの
【００４６】
（Ｓ６）評価情報による組合せ修正
評価情報ＤＢ１９５に格納された評価値が低いシーンまたはシーンの組み合わせが含まれている場合には、検索されたシーンを利用せずに、他のシーンと置き換えることができる。例えば、関連度比較処理で次点となったシーンや、検索結果が次点となったシーンを順次利用する。
【００４７】
（Ｓ７）シナリオ生成
最終的に、楽曲区分で再生する映像を記録する。作成されたシナリオは、シナリオフォーマットとして記録され、フォーマットでシナリオ情報を生成できる。なお、上記のような動作は、プログラムを実行することで可能になる。
【００４８】
（全体の処理イメージ）
図３は、シナリオの生成および調整の処理イメージを示す図である。図３に示すように、まず、シナリオ生成システムは、楽曲の分割区分に対して、主軸映像（Ｓｐ〜Ｓｅのシーンからなる映像）の各映像を関連付けている。このようにして得られたシナリオに対して、歌詞行から得られたキーワードで映像を検索し、映像Ｋ１〜Ｋ４を得る。そして、得られた映像Ｋ１〜Ｋ４について、それぞれＳ１、Ｓ２、Ｓ３、Ｓ４と対比し関連度を評価する。関連度を比較して関連度がＳ１＜Ｋ１、Ｓ２＞Ｋ２、Ｓ３＞Ｋ３、Ｓ４＜Ｋ４であった場合には、シナリオで特定される映像を関連度の高い映像に入れ替える（Ｓ１⇔Ｋ１、Ｓ４⇔Ｋ４）。
【００４９】
（映像素材とメタ情報との関連付け）
図４は、映像全体に対するメタ情報とシーン毎のメタ情報の関係を示す図である。図４に示すように、映像ＤＢ１１０に格納される映像素材に関連付けられるメタ情報には、素材全体向けのものと、各シーン向けのものがある。例えば、素材全体向けのメタ情報を００１のＩＤで管理し、各シーン向けのメタ情報を００１−１，２等で管理できる。
【００５０】
図５は、映像素材とメタ情報とを関連付けるテーブルを示す図である。例えば、ＩＤ００１で特定される映像に対しては、変更不可、被写体が「桜」、「青空」であり、場所が「桜並木」であり、季節が「春」であり、時間が「朝」、「昼」であり、人物は映っていないというメタ情報が関連付けられている。
【００５１】
（楽曲状況情報推定の処理例）
図６は、楽曲状況情報推定の処理例を示すフローチャートである。図６に示すように、まず、予め識別器の学習を行なう（ステップＴ１）。次に、特定段落の歌詞について形態素解析を行なう（ステップＴ２）。そして、形態素解析された単語をもとに、ＷＨＯ推定、ＷＨＡＴ推定、ＷＨＥＮ推定、ＷＨＥＲＥ推定、ＷＨＹ推定、ＨＯＷ推定を行なう（ステップＴ３〜Ｔ８）。推定結果に基づいて特定段落の歌詞の重要語を抽出する（ステップＴ９）。そして、全ての段落について処理が終了したかを確認し、全ての段落について処理が終わってない場合にはステップＴ２に戻る。全ての段落について処理が終了した場合には処理を完了する。なお、上記のような動作は、プログラムを実行することで可能になる。
【００５２】
図７は、歌詞から受ける印象の推定処理を模式的に示す図である。図７に示すように、予め学習用歌詞ＤＢにより全体印象識別器群を学習させる。そして、歌詞から特徴語を抽出し、全体印象識別器にかける。得られた印象語の単語の関連性を考慮し、歌詞から受ける印象を推定する。
【００５３】
例えば、「あのこ」、「あにき」、「おやじ」は男性目線の楽曲に頻出であることから、ＷＨＯについて「男性」と判断することができる。また、ＷＨＥＮについて、「春」、「冬」、「雪解け」という単語が歌詞にあれば、雪の残る時期と判定できる。ＷＨＹについて「おふくろ」「もう５年」のような表現は、「望郷」をテーマにしていると推定できる。
【００５４】
図８は、事前に設定するカテゴリと、カテゴリ毎の状態を表わす単語の例を示すテーブルである。例えば、ＷＨＯの項目に対して、「男」識別器の結果が正、「サラリーマン」識別器の結果が正であった場合、状況情報のＷＨＯ情報として、「男」「サラリーマン」が利用される。識別器は、ＳＶＭを用いて構成可能である（非特許文献２参照）。楽曲状況情報の推定処理は、歌詞全体、段落毎、歌詞行毎等、分割して適用することができる。推定結果は、必ずしもすべてをマッチングに利用する必要はない。一方、各々の組合せを利用することもできる。
【００５５】
（映像特定）
図９は、映像特定の処理の一例を示す模式図である。図９に示すように、５Ｗ１Ｈによるメインキーワードとして「男性」、「春」、「島」、「国」、「君」、「演歌」、「ふるさと」で映像を検索すると、映像１〜３が候補として検索される。このうち、最もキーワードと映像のメタ情報とがマッチするのは映像１であり、映像１では関連メタ情報が多く、矛盾するメタ情報が無い。一方、映像２では、関連メタ情報として「北国」、「男」、「冬」があるものの、矛盾するメタ情報として「漁師」、「海」があり、映像３では、「冬」の関連メタ情報に対して「男女」が矛盾するメタ情報となっている。
【００５６】
（シナリオフォーマット）
図１０は、シナリオフォーマット例を示すテーブルである。シナリオ生成部１５０は、例えば図１０のようなフォーマットでシナリオ情報を生成できる。図１０のテーブル２１０は、楽曲ＩＤに対して曲名とメタ情報とを関連付けたテーブルである。図１０のテーブル２２０において、区分Ｐｐ〜Ｐｅは、楽曲の区分を示している。このシナリオフォーマットは、それぞれの区分Ｐｐ〜Ｐｅに対して開始時刻、前奏等または歌詞、主軸映像の映像ＩＤ、調整用映像の映像ＩＤでシナリオの内容を特定している。
【００５７】
（総括）
なお、上記のシナリオ生成システムは、処理能力や処理速度を考慮すると、再生部１８０以外の構成をサーバとし、再生部１８０のみをクライアントとしたクライアント・サーバ型のシステムで構成することが好ましい。その他、データベースのみをサーバとし、その他の構成をクライアントとしてストリーミングを活用する形態であってもよいし、すべての構成をクライアントとする形態であってもよいし、サーバ、クライアントの切り分けは限定されない。また、上記の説明において、映像は基本的に動画を指すが、静止画であってもよい。特に、歌詞の１行程度の時間に再生する映像としては、静止画であっても違和感を生じさせないので使いやすい。
【符号の説明】
【００５８】
１００  シナリオ生成システム
１１０  映像ＤＢ
１２０  楽曲ＤＢ
１３０  状況推定部
１４０  映像特定部
１５０  シナリオ生成部
１６０  調整用映像特定部
１７０  シナリオ調整部
１８０  再生部
１９０  評価情報収集部
１９５  評価情報ＤＢ
２１０、２２０  テーブル
【図１】
2015012322.tif 000003
【図２】
2015012322.tif 000004
【図３】
2015012322.tif 000005
【図４】
2015012322.tif 000006
【図５】
2015012322.tif 000007
【図６】
2015012322.tif 000008
【図７】
2015012322.tif 000009
【図８】
2015012322.tif 000010
【図９】
2015012322.tif 000011
【図１０】
2015012322.tif 000012