(57)【要約】【課題】楽曲のフレーズ（＝音の並び）に合せて、静止画を動かすパターンデータを割当てること。楽曲のフレーズを構成する音の特徴量に合せて、動きパターンのパラメータを生成することによって、音の特徴と静止画の動きをマッチさせる。【解決手段】音楽データから抽出した音楽特徴量によって、音楽をフレーズ単位の分割し、各フレーズからフレーズ情報を生成する。そのフレーズ情報に従って、動作パターンデータを割当てる。次に、基本動作パラメータ生成手段において、フレーズを構成する音の特徴量に対応する動作のパラメータ（動き距離、時間、速さなど）を決定することによって、音そのものと静止画の動きをマッチさせる。【選択図】図１
2006101362.tif 000002
【特許請求の範囲】
【請求項１】
静止画と音楽を素材として、動画コンテンツを生成・再生する動画生成装置であって、
音楽データから音楽特徴量を抽出する音楽特徴量抽出手段と、
前記音楽特徴量に基づいて、音楽をフレーズ単位に分割して、フレーズ情報を生成するフレーズ検出手段と、
前記フレーズに対して、前記フレーズ情報に基づいて、動作パターンデータを割当て、それを時系列に並べることによって、動画コンテンツのシナリオの雛型を生成する動作パターンデータ割当て手段と、
前記シナリオの雛型内の動作パターンデータの夫々に対して、画像を割当て、シナリオを完成させるシナリオ生成手段と、
前記シナリオを読み込み、実際に動画コンテンツを再生するシナリオ再生手段
とを具備したことを特徴とする動画生成装置。
【請求項２】
静止画と音楽を素材として、動画コンテンツを生成・再生する動画生成装置であって、
音楽データから音楽特徴量を抽出する音楽特徴量抽出手段と、
前記音楽特徴量に基づいて、音楽をフレーズ単位に分割して、フレーズ情報を生成するフレーズ検出手段と、
前記フレーズに対して、前記フレーズ情報に基づいて動作パターンデータを割当て、それを時系列に並べることによって、動画コンテンツのシナリオの雛型を生成する動作パターンデータ割当て手段と、
前記シナリオの雛型内の動作パターンデータの夫々に対して、前記音楽特徴量抽出手段が抽出した音楽特徴量の音特徴量に基づき、動作パラメータを生成する基本動作パラメータ生成手段と、
前記シナリオの雛型内の動作パターンデータの夫々に対して、画像を割当て、シナリオを完成させるシナリオ生成手段と、
前記シナリオを読み込み、動画コンテンツを再生するシナリオ生成手段
とを具備したことを特徴とする動画生成装置。
【請求項３】
音楽と静止画を素材として、動画コンテンツを生成する動画生成装置であって、
音楽データから音楽特徴量を抽出する音楽特徴量抽出手段と、
前記音楽特徴量に基づいて、音楽をフレーズ単位に分割し、各フレーズ情報を出力するフレーズ検出手段と、
前記フレーズ情報に基づいて、フレーズに割当てる動作パターンデータを生成し、また、生成した動作パターンデータを時系列に並べることによって、動画コンテンツのシナリオの雛型を生成する動作パターンデータ生成手段と、
前記動作パターンデータをフレーズに関連付けて保存する動作パターンデータ保存手段と、
前記シナリオの雛型において、各フレーズの音特徴量に基づいて、フレーズに割当てられた動作パターンデータの動作パラメータを生成する基本動作パラメータ生成手段と、
前記シナリオの雛型内の動作パターンデータの夫々に対して、画像を割当て、シナリオを完成させるシナリオ生成手段と、
前記シナリオを読み込み、動画コンテンツを再生するシナリオ再生手段
とを具備したことを特徴とする動画生成装置。
【請求項４】
静止画と音楽を素材として、動画コンテンツを生成する方法であって、
音楽データから音楽特徴量を抽出するステップと、
前記音楽特徴量に基づいて、音楽をフレーズ単位に分割するステップと、
前記フレーズに対して、動作パターンデータを割当て、それらを時系列に並べることによって、動画コンテンツのシナリオの雛型を生成するステップと、
前記シナリオの雛型を構成する動作パターンデータの夫々に対して、画像を割当て、シナリオを完成させるステップと、
完成したシナリオを読み込み、動画コンテンツを再生するステップ
から成る動画生成方法。
【請求項５】
静止画と音楽を素材として、動画コンテンツを生成する方法であって、
音楽データから音楽特徴量を抽出するステップと、
前記音楽特徴量に基づいて、音楽をフレーズ単位に分割するステップと、
前記フレーズに対して、動作パターンデータを割当て、それらを時系列に並べることによって、動画コンテンツのシナリオの雛型を生成するステップと、
前記シナリオの雛型に対して、前記音楽特徴量の音の特徴量に基づき、動作パラメータを生成するステップと、
前記シナリオの雛型を構成する動作パターンデータの夫々に対して、画像を割当て、シナリオを完成させるステップと、
前記シナリオを読み込み、動画コンテンツを再生するステップ
とを含むことを特徴とする動画生成方法。
【請求項６】
音楽と静止画を素材として動画コンテンツを生成する方法であって、
音楽データから音楽特徴量を抽出するステップと、
前記音楽特徴量に基づいて、音楽をフレーズ単位に分割し、各フレーズ情報を出力するステップと、
前記フレーズ情報に基づいて、そのフレーズに割当てる動作パターンデータを生成し、また、生成した動作パターンデータを時系列に並べることによって、動画コンテンツのシナリオの雛型を生成するステップと、
前記動作パターンデータをフレーズに関連付けて保存するステップと、
前記シナリオの雛型において、各フレーズの音特徴量に基づいて、フレーズに割当てられた動作パターンデータの動作パラメータを生成するステップと、
前記シナリオの雛型を構成する動作パターンデータの夫々に対して、画像を割当て、シナリオを完成させるステップと、
前記シナリオを読み込み、動画コンテンツを再生するステップ
とを含むことを特徴とする動画生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は楽曲と映像が同期した動画コンテンツを生成する装置並びに方法に関するものである。
【背景技術】
【０００２】
従来、静止画を再生する場合には、スライドショーと言われるアプリケーションによって、時間の経過と共に静止画を切り替え表示することが一般的で、その切り替えタイミングをＢＧＭとなる楽曲のテンポやリズム、特徴的な音の発生するタイミングに同期させることが普通に行われている。
【０００３】
このようなスライドショーでは、画像の切り替えが一定のテンポになるため、単調になりがちで、ＢＧＭとなる楽曲のフレーズの内容に応じた変化が求められていた。例えば、特許文献１によれば、こういったニーズに応えることは可能である。
【０００４】
特許文献１は、カラオケシステムにおいて、ユーザーが歌っている時に室内の照明による演出効果を自動的に行う為の発明であって、楽曲データをフレーズに分割して、そのフレーズの内容に適した演出パターンデータを割当てることによって、演出データを自動生成するものであるが、演出パターンデータをスライドショーの画像の動きパターンデータに置き換えれば、同等の効果を得ることができると考えるのは容易である。
【特許文献１】特開平１０−１２４０７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記従来例では、次のような課題が残る。
【０００６】
第１に、楽曲をフレーズというブロック単位に分割した上で、その内容（イントロ、Ａメロ、Ｂメロ、サビなど）に応じて、動きパターンデータを選出しただけでは、ブロックの始端、もしくは終端で、音楽と映像が同期しているだけであって、フレーズ内でも音と画像の動きが同期しているとは言い難い。
【０００７】
第２に、フレーズを構成する音の特徴量と動きパターンデータを構成する基本動作の特徴量がマッチしているとは限らないことである。すなわち、音は音程、音量、音質の３つの要素に分解できるが、それらにマッチするよう基本動作を設定しない限り、音の発生するタイミングで画像を切り替えるだけでは、質の高いマルチメディアコンテンツとならない。
【０００８】
本発明は、前記従来の課題を解決するもので、映像と音楽の相乗効果によって高品質なマルチメディアコンテンツを自動生成することが可能な動画生成装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記従来の課題を解決するために、本発明は、静止画と音楽を素材として、動画コンテンツを生成・再生する動画生成装置であって、音楽データから音楽特徴量を抽出する音楽特徴量抽出手段と、前記音楽特徴量に基づいて、音楽をフレーズ単位に分割して、フレーズ情報を生成するフレーズ検出手段と、前記フレーズに対して、前記フレーズ情報に基づいて、動作パターンデータを割当て、それを時系列に並べることによって、動画コンテンツのシナリオの雛型を生成する動作パターンデータ割当て手段と、前記シナリオの雛型内の動作パターンデータの夫々に対して、画像を割当て、シナリオを完成させるシナリオ生成手段と、前記シナリオを読み込み、実際に動画コンテンツを再生するシナリオ再生手段とを具備したことを特徴とする動画生成装置に関する。
【発明の効果】
【００１０】
本発明の動画生成装置によれば、音楽の各フレーズの音の構成パターンに合致する動作パターンデータを割当てた上で、動作パターンデータを構成する基本動作を定義する動作パラメータをフレーズ内の音の特徴量によって決定するので、音楽と静止画の動きがマッチした、質の高い動画コンテンツを生成することができる。
【発明を実施するための最良の形態】
【００１１】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１２】
（実施の形態１）
図１は、本発明の実施の形態１における動画生成装置の構成を示すブロック図である。
【００１３】
図１において、１００は音楽特徴量抽出手段、１０１はフレーズ検出手段、１０２は動作パターンデータ割当て手段、１０３は、シナリオ生成手段、１０４はシナリオ再生手段である。
【００１４】
音楽特徴量抽出手段１００は、楽曲データから音楽特徴量を抽出する。フレーズ検出手段１０１は、抽出された音楽特徴量を元に時間軸上で連続する特徴的な音を一つの固まりであるフレーズとして括り、それをフレーズ情報として出力する。動作パターンデータ割当て手段１０２は、フレーズ情報を読み込んで、その中に含まれる音の並びを元に動きパターンデータを選出／割当て、時系列に並べることによってシナリオスケルトンを生成する。シナリオスケルトンは、シナリオ生成手段１０３によって、各基本動作に対象となる静止画が割当てられて、シナリオとして完成される。
【００１５】
シナリオは、スクリプト言語で記述された形式のデータであって、これをシナリオ再生手段１０４が読み込んでデコードすることによって、ユーザーは動画として見ることができる。
【００１６】
楽曲からフレーズを抽出する方法は、特許文献１や特許第３３０７１５６号公報に示された方法などが公知であり、こういった方法により、楽曲をフレーズという小ブロックに分割することができる。図８は分割されたフレーズついて、閾値以上の振幅を持つ部分を黒いブロックで、そうでない部分を白いブロックで示している。
【００１７】
黒いブロックは特徴的な音が存在する区間であり、その長さが特徴的な音の時間長である。
【００１８】
特徴的な音の区間は、予め決めた時間長、Ｔ１、Ｔ２（Ｔ１＜Ｔ２）によって、Ｚｏｎｅ１、Ｚｏｎｅ２、Ｚｏｎｅ３と３段階に分類する。黒いブロックの時間長が、Ｔ１未満の場合はＺｏｎｅ１、Ｔ１以上Ｔ２未満の場合はＺｏｎｅ２、Ｔ２以上の場合はＺｏｎｅ３となる。
【００１９】
フレーズ検出手段１０１の動作後は、(表１)に示すテーブルが出来上がる。すなわち、ｐｈｒａｓｅ１は、順にＺｏｎｅ１、Ｚｏｎｅ１、Ｚｏｎｅ１、Ｚｏｎｅ２の特徴音を含むブロックであり、ｐｈｒａｓｅ２は、同様にＺｏｎｅ３、Ｚｏｎｅ１、Ｚｏｎｅ１、Ｚｏｎｅ１の順に特徴音を含むブロックとなる。検出の結果、ｐｈｒａｓｅ１とｐｈｒａｓｅ３は、同一の区間の特徴音が、同一の並びで現れるので、同一にフレーズであると認知されることとなる。
【００２０】
【表１】
2006101362.tif 000003
【００２１】
以下、動作パターンデータ割当て手段１０２における動作について、図９〜図１１を用いて説明を加える。
【００２２】
図９は、基本動作の動きを表す絵コンテである。
【００２３】
Ｓｔｉｌｌは、静止画を静止したまま表示する基本動作である。
【００２４】
ＳｌｉｄｅＯｕｔは、表示している静止画を表示フレームから引き抜くように動かす基本動作で、時間の経過と共に静止画の中心点も移動する。引き抜く方向は、３６０°いずれであっても構わない。逆に、ＳｌｉｄｅＩｎは、静止画を表示フレーム内に挿入していく基本動作であり、ＳｌｉｄｅＯｕｔ同様挿入する方向は、３６０°いずれであっても構わない。
【００２５】
ＺｏｏｍＩｎは、静止画を徐々に拡大表示する基本動作である。
【００２６】
Ｐａｎは静止画を表示フレームよりも拡大した上で、表示フレームを動かすようことで表示可能な領域を動かす基本動作である。
【００２７】
Ｆｌｉｐは、静止画を縮小表示したうえで、重心を中心として静止画を回転させる基本動作である。
【００２８】
ＷｉｐｅＩｎは、静止画に掛けられたカバーを徐々に外していくような動作をする基本動作であって、ＳｌｉｄｅＩｎと異なり、静止画の中心点は移動しない。もちろん、”カバーを外す”方向は、３６０°いずれであっても構わない。
【００２９】
ＢｏｘＩｎは、表示された静止画全体を縮小表示する動作をする基本動作である。
【００３０】
ここに示した基本動作は、本発明による実施例１における基本動作の一例を示したものであって、これらがすべてではない。
【００３１】
なお、各基本動作には、Ｚｏｎｅを決定する時と同様に予め決められた時間Ｔ１、Ｔ２によって、（表２）に示す記号が付与されている。Ｓｔｉｌｌを例に挙げると、記号はＣ１もしくはＣ２を選択可能で、これは表示する時間の長さが、Ｔ１未満であっても、Ｔ１以上Ｔ２未満であっても構わないことを意味している。
【００３２】
【表２】
2006101362.tif 000004
【００３３】
図１０は、動作パターンデータの一例を示したブロック図である。
【００３４】
動作パターンデータは、本発明による動画生成装置を使用するユーザーが作成するデータではないが、本装置を提供する者が装置と共に提供することが要求されるデータである。
【００３５】
動作パターンデータは、基本動作を組み合わせることによって、構成される。動作パターンデータは、ランダムに基本動作を組み合わせたものではなく、意味のある組み合わせによって一つ一つの動作パターンデータに意味をもたせることができる。また、ここでは、説明を簡単化するために４つの基本動作の順列による動作パターンデータのみを例示したが、順列する基本動作の数は、いくつであっても構わないのは当然である。
【００３６】
図１０のパターン１を例に挙げると、Ｓｔｉｌｌ→Ｓｔｉｌｌ→Ｓｔｉｌｌ→ＢｏｘＯｕｔであるので、３枚の写真を順に切り替えた後、最後の写真を縮小表示する動作パターンを示す。
【００３７】
動作パターンデータを定義した際に同時に（表３）に示す記号の配列を決定する。パターン１の場合は、最初の３つのＳｔｉｌｌについて、Ｃ１を選択し、最後のＢｏｘＯｕｔは、Ｃ２を選択することによって、Ｃ１−Ｃ１−Ｃ１−Ｃ２の記号配列属性を持つデータとなる。
【００３８】
【表３】
2006101362.tif 000005
【００３９】
図１１は、動作パターンデータ割当て手段１０２の動作を示すフローチャート図である。まず、動作パターンデータ割当て手段１０２は、フレーズ検出部１０１が検出したフレーズ情報を読み出す（Ｓ１１０１）。次にフレーズ情報中の音（特徴的な音のみ）の並びを調べる（Ｓ１１０２）。音の並びをキーとして、表３のテーブルを検索し対応する動作パターンデータを選出する（Ｓ１１０３）。このとき、候補となる動作パターンデータが２つ以上ある場合には、それらの中からランダムに選択するルールであっても構わないし、同一のフレーズには毎回同じ動作パターンデータをマップするルールであっても構わない。そして、最後に、選出した動作パターンデータを時間軸上に配置して、シナリオスケルトンを構築していく。
【００４０】
表３を検索する際には、Ｚｏｎｅ１→Ｃ１、Ｚｏｎｅ２→Ｃ２、Ｚｏｎｅ３→Ｃ３と対応させ、配列の先頭からの一致度を比較することによって、フレーズにマッチする動作パターンデータを選択することが可能である。こういった文字列照合アルゴリズムは公知であり、Ｋｎｕｔｈ、Ｐｒａｔｔおよびこの二人の他にＭｏｒｒｉｓが同時期に考案したＫｎｕｔｈ−Ｍｏｒｒｉｓ−Ｐｒａｔｔ（ＫＭＰ）法などが有名である。
【００４１】
（実施の形態２）
図２は、本発明の実施の形態２の動画生成装置の構成を示すブロック図である。図２において、図１と同じ構成要素については同じ符号を用い、説明を省略する。図２において、１０５は基本動作パラメータ生成手段であり、音楽特徴量抽出手段１００によって抽出された音楽特徴量中の単一の音の特徴量に従って、基本動作の動きパラメータを生成する。
【００４２】
一般に、同じ動きであっても、動く距離とその距離を動く為に要する時間の長さによって、視聴者が受ける印象は変わり、シャープに感じたり、冗長に感じたりするものである。動きパラメータを音の特徴量によって変化させることよって、異なる動きを定義することが可能となるので、動きの種類が少ない場合でもバラエティに富んだマルチメディアコンテンツを生成することが可能となる。
【００４３】
図３は、基本動作パラメータ生成手段の動作シーケンスを示すフローチャート図である。
【００４４】
基本動作パラメータ生成手段１０５は、動きパターンデータを構成する基本動作を読み出す（Ｓ３０１）。基本動作は、ＷｉｐｅＩｎ、ＳｌｉｄｅＩｎ、Ｐａｎ、ＦｏｃｕｓＩｎなどの視覚効果であって、どこからどこまで動くかといった座標値、それには何ミリ秒かかるかといった時間、α値などのパラメータは未定義のものを言う。次に、基本動作に対応する音の特徴量を読み出す（Ｓ３０２）。そして、音の特徴量に基づいて、基本動作のパラメータを決定し（Ｓ３０３）、決定したパラメータをシナリオに書き出す（Ｓ３０４）。そして、動作パターンデータ内のすべての基本動作について終了したら（Ｓ３０５）、処理を終わる。
【００４５】
以下、基本動作のパラメータについて、図４〜５を用いて説明する。
【００４６】
図４に示すＢｏｘＩｎは、表示フレームと同等の大きさ（オリジナルサイズ）から、任意の大きさまで画像全体を縮小していく基本動作であり、距離と時間の２つのパラメータが必要である。距離は、表示フレームの座標値と縮小表示されるフレームの座標値によって決まる値であり、時間はその距離を移動するのに要する時間である。
【００４７】
図４中のグラフは、横軸に時間、縦軸に音量をとったグラフであり、音（ａ）は、ｔ０−ｔ２では、閾値以上の音量があり、ｔ２−ｔ３は閾値以下の音量である。ｔ３は音の時間的な長さである。音（ｂ）は、ｔ０−ｔ１では、閾値以上の音量があって、ｔ１−ｔ３は閾値以下の音量である。音（ｃ）は、音（ｂ）と同様に、ｔ０−ｔ１で閾値を超える音量があり、ｔ１−ｔ３では、閾値以下の音量である。また、音（ａ）、（ｃ）の音量の最大値は、音（ｂ）の音量の最大値よりも大きく、音（ａ）と音（ｃ）の最大値は同じである。
【００４８】
これらの音の特長量を元に音量によって距離を決定し、閾値を下回るまでの時間をその距離を移動するために要する時間としてＢｏｘＩｎの動きパラメータを決定する。従って、音（ａ）と音（ｃ）は音量の最大値が同値であるので、最終表示フレームの大きさは同じである（即ち、移動する距離は等しい）が、閾値を下回るまでの時間長が異なるので、最後の表示フレームの大きさに縮小するまでの時間が、それぞれｔ２、ｔ１と異なることになる。また、音（ｂ）は、音量の最大値が音（ｃ）よりも小さいので、最終表示フレームの大きさは、ＷｉｐｅＩｎ（ｂ）の方がＷｉｐｅＩｎ（ｃ）よりも大きいように決定する。
【００４９】
この結果、ＷｉｐｅＩｎ（ｃ）とＷｉｐｅＩｎ（ａ）を比較すると、最終表示フレームの大きさは同じであるが、そこへ至るまでの時間長が異なるので、視聴者にとっては、異なる演出のＷｉｐｅＩｎを見ることになり、ＷｉｐｅＩｎ（ｃ）の方がシャープな印象を受ける。同様に、ＷｉｐｅＩｎ（ｃ）とＷｉｐｅＩｎ（ｂ）を比較しても、動いている時間長は同じであっても、最終表示フレームのサイズが異なる＝動きの距離が異なることになり、やはり、異なる演出のＷｉｐｅＩｎを見ることとなる。
【００５０】
従って、音の特徴量によって、基本動作のパラメータを決定することによって、より多様な演出を表現できることになり、より質の高いコンテンツを生成することが可能となることは明白である。
【００５１】
図５に示すＷｉｐｅＩｎは、画像にカバーが掛けられて、全く表示されずに隠された状態から、徐々にカバーが外されて、最終的に全体が表示される基本動作であり、距離はデフォルトで決まっているので、それに要する時間がパラメータとなる。
【００５２】
図５中のグラフは、図４と同様のグラフであり、音（ａ）は、ｔ０−ｔ２で閾値以上の音量があり、ｔ２−ｔ３では閾値を下回る。音（ｂ）は、ｔ０−ｔ１で閾値以上の音量があり、ｔ１−ｔ３ではそれを下回る。ＷｉｐｅＩｎをマップした場合は、音量の最大値は関係なく、閾値を上回っている時間の長さを動きパラメータに反映する。ＷｉｐｅＩｎ（ａ）は、ｔ０−ｔ２の時間で徐々に画像が現れ、ｔ２−ｔ３は静止している。ＷｉｐｅＩｎ（ｂ）は、ｔ０−ｔ１の時間で画像が現れ、ｔ１−ｔ３は静止している。両者を比較すると、同じ距離を動く基本動作であるが、ＷｉｐｅＩｎ（ｂ）の方が、動いている時間が短いので、同じＷｉｐｅＩｎという基本動作でありながら、視聴者が受ける印象が異なることは明らかである。
【００５３】
従って、ＢｏｘＩｎ同様にＷｉｐｅＩｎであっても、音の特徴量を基本動作のパラメータ（ここでは時間）に反映させることによって、一つの基本動作を多様に見せることが可能となり、より多様なマルチメディアコンテンツを生成することができる。
【００５４】
（実施の形態３）
図６は、本発明の実施の形態３の動画生成装置の構成を示すブロック図である。図６において、図２と同じ構成要素については同じ符号を用い、説明を省略する。図６において、１０６は動作パターンデータ生成手段であり、フレーズ検出手段１０１の出力であるフレーズに対して、基本動作をマップしていき、その並びを一つの動作パターンデータとして生成する。生成した動作パターンデータは、動作パターンデータ保存手段１０７に保存し、再利用する。
【００５５】
一般に、同じフレーズには同じ動作パターンデータを割当てることによって、例えば、サビの部分を深く印象付けることが可能となり、マルチメディアコンテンツの出来の良さに繋がるものである。
【００５６】
以下、図７のフローチャート図を用いて、動作パターンデータの生成と保存、再利用について説明する。
【００５７】
動作パターンデータ生成手段１０６は、まず、フレーズ情報を読み出す（７０１）。次に、そのフレーズ情報によって、動作パターンデータ保存手段１０７を検索し、既に登録済みの動作パターンデータがないか調べる（７０２）。動作パターンデータがない場合は、フレーズを構成する音情報に基づいて、基本動作を時間軸上に並べ、動作パターンデータを構築する（７０３）。動作パターンデータは、フレーズと共にセットで、動作パターンデータ保存手段１０７に保存しておく（７０４）。再度同じフレーズが現れ、登録済みの動作パターンデータが見つかった場合は、それを読み出して割当てる（７０５）。
【００５８】
以上の動作によって、本発明によれば、予め動作パターンデータを持たない場合であっても、構築した動作パターンデータをフレーズとリンクして保存しておくことによって、楽曲中で同じフレーズが繰り返された場合には、同じ動きパターンデータをマップすることができる。従って、サビなどの繰り返し使用されるフレーズには同じパターンの動作を割当てることが可能となり、コンテンツにおける盛り上がり部分での印象を深くすることに繋がる。
【産業上の利用可能性】
【００５９】
本発明にかかる動画生成装置、並びにその方法は、静止画、音楽に基づいてマルチメディアコンテンツの自動生成に有用である。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施の形態１における動画生成装置のブロック図
【図２】本発明の実施の形態２における動画生成装置のブロック図
【図３】本発明の実施の形態２における動画生成装置の基本動作パラメータ生成手段の動作を示すフローチャート
【図４】本発明の実施の形態２における音とＢｏｘＯｕｔ基本動作パラメータの関係を示すグラフと図
【図５】本発明の実施の形態２における音とＷｉｐｅＩｎ基本動作パラメータの関係を示すグラフと図
【図６】本発明の実施の形態３における動画生成装置のブロック図
【図７】本発明の実施の形態３における動画生成装置の動作パターンデータ生成装置の動作を示すフローチャート
【図８】本発明の実施の形態１におけるフレーズのブロック図
【図９】本発明の実施の形態１における基本動作の絵コンテを示す図
【図１０】本発明の実施の形態１における基本動作の順列による動作パターンデータの一例を示すブロック図
【図１１】本発明の実施の形態１における動作パターンデータ割当て手段の動きを説明するフローチャート
【符号の説明】
【００６１】
１００    音楽特徴量抽出手段
１０１    フレーズ検出手段
１０２    動作パターンデータ割当て手段
１０３    シナリオ生成手段
１０４    シナリオ再生手段
１０５    基本動作パラメータ生成手段
１０６    動作パターンデータ生成手段
１０７    動作パターンデータ保存手段
【図１】
2006101362.tif 000006
【図２】
2006101362.tif 000007
【図３】
2006101362.tif 000008
【図４】
2006101362.tif 000009
【図５】
2006101362.tif 000010
【図６】
2006101362.tif 000011
【図７】
2006101362.tif 000012
【図８】
2006101362.tif 000013
【図９】
2006101362.tif 000014
【図１０】
2006101362.tif 000015
【図１１】
2006101362.tif 000016