(57)【要約】【課題】画像の属性にも同期性を持たせ、出力動画のクオリティを大幅に向上させる。【解決手段】Ｓ２で求めた楽曲構成に関する特徴量（楽曲における構成部分の出現順序や、Ａメロ、Ｂメロ、サビなど）と、Ｓ３で求めた画像群の特徴量（特定の画像群に属する画像に共通するイベント情報や撮影日など）とを照合し、その照合結果に基づいて、両者を関連づける。【選択図】  図３
2008066956.tif 000002
【特許請求の範囲】
【請求項１】
楽曲の特徴量を抽出するステップと、
抽出された楽曲の特徴量に基づいて楽曲の構成を抽出し、該抽出結果に基づいて楽曲を複数の構成部分に分割するステップと、
画像の特徴量を解析するステップと、
楽曲の構成部分に対応する特徴量と画像の特徴量とに応じて、楽曲と画像とを関連づけるステップと、
関連づけられた楽曲と画像とを同期して再生可能な動画シナリオを生成するステップと、
を含む楽曲画像シンクロ動画シナリオ生成方法。
【請求項２】
特徴量が共通または類似する画像を同一の画像群に分類するステップと、
楽曲のフレーズに関する特徴量と画像群の特徴量とに応じて、楽曲のフレーズと画像群とを関連づけるステップと、
楽曲の構成部分の拍または裏拍に関する特徴量と前記楽曲の構成部分に関連づけられた画像群に含まれる各画像の特徴量とに応じて、楽曲の構成部分の拍または裏箔と画像とを関連づけるステップと、
をさらに含む請求項１に記載の楽曲画像シンクロ動画シナリオ生成方法。
【請求項３】
前記画像の特徴量は、画像のボケまたはブレに関する評価値を含み、
前記評価値に基づいて、前記楽曲の構成部分に関連づけるべき画像を排除するステップと、
をさらに含む請求項１または２に記載の楽曲画像シンクロ動画シナリオ生成方法。
【請求項４】
前記動画シナリオに基づいて、楽曲に同期して再生可能な動画を生成するステップをさらに含む請求項１〜３のいずれかに記載の楽曲画像シンクロ動画シナリオ生成方法。
【請求項５】
前記生成された動画を再生するステップをさらに含む請求項４に記載の楽曲画像シンクロ動画シナリオ生成方法。
【請求項６】
請求項１〜５のいずれかに記載の楽曲画像シンクロ動画シナリオ生成方法を演算装置に実行させるための楽曲画像シンクロ動画シナリオ生成プログラム。
【請求項７】
請求項６に記載の楽曲画像シンクロ動画シナリオ生成プログラムを記憶する記憶部と、
前記記憶部の楽曲画像シンクロ動画シナリオ生成プログラムを実行する演算装置と、
を備える楽曲画像シンクロ動画シナリオ生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は楽曲にシンクロした動画を生成する技術に関する。
【背景技術】
【０００２】
引用文献１は、音楽データからテンポ情報を取り出し、そのテンポ情報から画像データに対してカット編集を施すことで、ビデオ編集を行う。
【０００３】
引用文献２は、入力素材から記述子を分析し、それをもとにスタイル情報を定義し、入力素材・入力素材から得た記述子・スタイル情報を基に作業セットを作成し、それを実行することで出力データを生成するシステムである。入力・出力には少なくとも１つの映像・オーディオ各データが含まれており、記述子の取得は、入力素材を分析することで得られる。また、記述子はユーザからも受け取ることができる。
【特許文献１】特開２００４−９６６１７号公報
【特許文献２】特表２００５−５０６６４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
動画全体の流れにストーリーを持たせる、タイミングよく楽曲にマッチした画像を出力させるなど、画像の表示タイミングと楽曲の相関は、出力動画の質を大きく左右する。
【０００５】
ところが、引用文献１では、楽曲からテンポ情報のみを使用してビデオを編集する方法を示しており、テンポ情報以外の楽曲の特徴量を使用する方法は明示されていない。また、引用文献２では、楽曲にシンクロしたムービーを作成できるが、どのタイミングでどの画像を出力させるかは明示されていない。
【０００６】
そこで、本発明は、単に楽曲の特徴点にシンクロするだけでなく、画像の属性にも同期性を持たせ、出力動画のクオリティを大幅に向上させることを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明に係る楽曲画像シンクロ動画シナリオ生成方法は、楽曲の特徴量を抽出するステップと、抽出された楽曲の特徴量に基づいて楽曲の構成を抽出し、該抽出結果に基づいて楽曲を複数の構成部分に分割するステップと、画像の特徴量を解析するステップと、楽曲の構成部分に対応する特徴量と画像の特徴量とに応じて、楽曲と画像とを関連づけるステップと、関連づけられた楽曲と画像とを同期して再生可能な動画シナリオを生成するステップと、を含む。
【０００８】
この発明によると、画像の特徴量に応じて楽曲の構成部分と画像とが関連づけられるから、従来に比して、楽曲の再生内容とマッチした画像の同期再生が可能となる。
【０００９】
特徴量が共通または類似する画像を同一の画像群に分類するステップと、楽曲のフレーズに関する特徴量と画像群の特徴量とに応じて、楽曲のフレーズと画像群とを関連づけるステップと、楽曲の構成部分の拍または裏拍に関する特徴量と楽曲の構成部分に関連づけられた画像群に含まれる各画像の特徴量とに応じて、楽曲の構成部分の拍または裏拍と画像とを関連づけるステップと、をさらに含んでもよい。
【００１０】
画像の特徴量は、画像のボケまたはブレに関する評価値を含み、評価値に基づいて、楽曲の構成部分に関連づけるべき画像を排除するステップと、をさらに含んでもよい。
【００１１】
動画シナリオに基づいて、楽曲に同期して再生可能な動画を生成するステップをさらに含んでもよい。
【００１２】
生成された動画を再生するステップをさらに含んでもよい。
【００１３】
上記の楽曲画像シンクロ動画シナリオ生成方法を演算装置に実行させるための楽曲画像シンクロ動画シナリオ生成プログラムも本発明に含まれる。
【００１４】
上記の楽曲画像シンクロ動画シナリオ生成プログラムを記憶する記憶部と、記憶部の楽曲画像シンクロ動画シナリオ生成プログラムを実行する演算装置と、を備える楽曲画像シンクロ動画シナリオ生成装置も本発明に含まれる。
【発明の効果】
【００１５】
この発明によると、画像の特徴量に応じて楽曲の構成部分と画像とが関連づけられるから、従来に比して、楽曲の再生内容とマッチした画像の同期再生が可能となる。
【発明を実施するための最良の形態】
【００１６】
＜第１実施形態＞
図１は本発明の好ましい実施形態に係るシナリオ作成装置のブロック図である。
【００１７】
画像入力装置１１は、シナリオを生成するために必要な画像群を入力するものであり、例えば、メモリカードリーダーなどが考えられる。
【００１８】
楽曲入力装置１２は、シナリオを生成するために必要な楽曲を入力するものであり、例えば、メモリカードリーダーなどが考えられる。
【００１９】
入力装置１３は、ユーザがシステムの各種操作を行うためのものであり、例えば、キーボードやマウスなどが考えられる。
【００２０】
シナリオ生成装置１４は、入力された楽曲を解析したり、シナリオを生成したり、画像を選択したりするものである。
【００２１】
図２は、シナリオ生成装置１４に含まれる画像処理装置２０のブロック図である。画像処理装置２０は主として、複数の処理モジュールを含む個別処理部２１、全体処理部２２、および制御部２３を備える。
【００２２】
個別処理部２１は、画像または画像に付帯する各種情報（撮影日時等）の少なくともいずれか一方を用いて特徴量もしくは個別評価値を算出する機能を備える。ここで、特徴量とは、画像もしくは画像群の入力に対して、一意的・絶対的な結果が得られる情報（例えば、ある画像のエッジの強さを表すボケ情報）を指す。また、個別評価値とは、画像もしくは画像群の入力に対して、ユーザの好みにより結論が変わりうる多義的・相対的な情報（例えば、ボケの観点から当該画像の評価度合を表すボケ評価値）を指す。以下の表１に、個別処理部の例を記述する。
【００２３】
【表１】
2008066956.tif 000003
全体処理部２２は、上記特徴量のうちの一部または全部の合計、もしくは上記個別評価値のうちの一部または全部の合計、または上記特徴量および上記個別評価値のうちの一部または全部の合計をもとに、画像全体評価値を算出する機能を備える。
【００２４】
例えば、イベント情報（特徴量）、顔評価値（個別評価値）、明るさ評価値（個別評価値）の３個の数値を元に特定の画像の画像全体評価値（プリントなど特定の用途に向くか否かを表す数値）を算出する。
【００２５】
ただし、本実施形態では、画像のプリントは前提としておらず、画像の画像全体の評価を行う必要がない場合は、全体処理部２２は設けなくてもよい。
【００２６】
制御部２３は、画像処理装置２０と外部機器（他の画像処理装置やオペレータの操作対象となる操作装置）とのインターフェースを持つほか、個別処理部２１や全体処理部２２への処理の制御を受け持つ。
【００２７】
以下、図３のフローチャートを参照し、動画シナリオ作成装置の実行する動画シナリオ生成処理の流れを説明する。
【００２８】
Ｓ１では、楽曲から特徴量を抽出する。楽曲の特徴量とは、楽曲の拍や裏拍、アクセント、テンポの変化点などを指す。楽曲の特徴量を抽出する方法は、従来の手法で可能であり、例えば、特開２００３−２６３１６２号公報、特開２００５−０２７７５１号公報などが挙げられる。
【００２９】
Ｓ２では、楽曲の構成（これも楽曲の特徴量に含めてよい）を抽出し、抽出された構成に従って、楽曲を複数の部分に分割する。例えば、以下のような分割方法が考えられる。
【００３０】
（１）テンポの変わり目で楽曲の構成を区切る。
【００３１】
（２）拍の頭から８拍を１構成として区切る。
【００３２】
（３）Ａメロ、Ｂメロ、サビなど一般的に「フレーズ」と呼ばれているものに分ける。
【００３３】
（４）ある閾値以上のテンポを持つ曲に対しては、４拍を１構成とし、ある閾値以下のテンポを持つ曲に対しては、８拍を１構成として区切る。
【００３４】
なお、フレーズを取得する方法は、従来の手法で可能であり、例えば、特開平９−９０９７８号公報、特開２００４−２３３９６５号公報などが挙げられる。
【００３５】
Ｓ３では、画像を解析する。画像の解析は、画像処理装置２０によって実施される。
【００３６】
Ｓ４では、Ｓ２／Ｓ３の解析結果に基づき、楽曲の構成部分と画像群とを関連づける。すなわち、Ｓ２で求めた楽曲構成に関する特徴量（楽曲における構成部分の出現順序や、Ａメロ、Ｂメロ、サビなど）と、Ｓ３で求めた画像群の特徴量（特定の画像群に属する画像に共通するイベント情報や撮影日など）とを照合し、その照合結果に基づいて、両者を関連づける。関連づけの具体例は次のようなものが考えられる。
【００３７】
例１）同日の撮影日時の付帯情報を有する画像は同一の画像群に分類するなど、撮影されたイベントの異同に応じたカテゴライズによって時系列にグルーピングされた画像群を順番に、楽曲の構成要素の先頭からフレーズ１つ１つに当てはめていくことで、両者を関連づける（図４参照）。フレーズに対して、同一または類似の属性（撮影日時など）を持った画像群（類似画像群）を割り当てるので、楽曲の区切りに自然に画像が切り替わる動画を再生するシナリオを作成することができる。
【００３８】
例２）類似画像群の各々を楽曲構成部分の各々に関連づける（図５参照）。類似画像が楽曲構成部分ごとに切り替わるので、メリハリのある動画を再生するシナリオを生成することができる。
【００３９】
例３）同じフレーズには同じ画像群を関連づける（図６参照）。同じ画像群を反復利用することで、楽曲になじんだ動画を再生するシナリオを生成することができる。
【００４０】
例４）楽曲のサビに相応しい所定の特徴量を有する画像群をサビに関連づける（図７参照）。
【００４１】
例えば、サビに相応しい特徴を有する画像群としては、以下のようなものが考えられる。
【００４２】
（１）輝度の最も高い画像群
（２）直近のイベント（あるいは最新の撮影日時）で撮影された画像群
（３）予め登録されているユーザが被写体として撮影されている画像群
上記のような例のいずれかあるいは一部または全部の組み合わせで、サビに関連づけるのに相応しい特徴を有する画像群を特定し、これをサビと関連づける。
【００４３】
Ｓ５では、Ｓ１で求めた拍または裏拍と、Ｓ３で求めた個々の画像の特徴量を照合し、その結果に従って、各構成部分における拍または裏拍と、その構成部分に関連づけられている画像群に属する個々の画像とを関連づける。具体例は以下のようなものが考えられる。
【００４４】
例１）拍や裏拍に合わせて、対応する画像群の画像の各々を順次表示させるように関連づける。
【００４５】
例２）例１の方法に加えて、フレーズ内の拍数より画像群の画像枚数の方が少ない場合は、特定の画像あるいはランダムに選択された画像を繰り返し使用する。
【００４６】
例３）顔が抽出されている画像の属する画像群（顔画像群）に対しては、拍や裏拍に合わせて、顔に対するズームアウトやズームインといった表示効果（エフェクト）を取り入れる。
【００４７】
例４）アクセントとなる拍に対しては、その拍が含まれる楽曲構成に対応する画像群のうち最も明るい画像を特定して関連づける。
【００４８】
例５）楽曲から抽出された全ての拍を使うのではなく、パターンを決め、それに合わせて、画像を割り当てる。例えば図８に示すように、楽曲構成内を８拍で切り、１拍目、３拍目、６拍目の裏拍、８拍目に画像を表示させる。このようなパターンを増やし、繰り返すことによって、単調な画像切り替えを避けられる。上記のような例を組み合わせて楽曲の構成部分全てに対し、画像を割り当てる。
【００４９】
Ｓ６では、動画再生シナリオを作成する。シナリオの形式は特に問われず、例えば図９に示したようなＸＭＬ（Extensible Markup Language）でもよいし、あるいはSMIL (Synchronized Multimedia Integration Language)でもよいし、バイナリ形式であってもよい。シナリオには画像の選択方法や選択された画像の表示時間等が記述されており、これに基づいて画像を表示させることにより、楽曲と同期した動画を再生することができる。
【００５０】
＜第２実施形態＞
図１０は第２実施形態に係る動画シナリオ生成処理の流れを示すフローチャートである。
【００５１】
Ｓ１１〜Ｓ１３、Ｓ１５〜Ｓ１７は、それぞれ第１実施形態のＳ１〜Ｓ３、Ｓ４〜Ｓ６と同様である。
【００５２】
ただし、Ｓ１４では、Ｓ１３の画像解析から得たボケブレ評価値が、所定の値より高いものを、楽曲の構成部分に関連づけるべき画像群から排除する。Ｓ１６の処理では、Ｓ１３で排除された画像の関連づけを行わない。
【００５３】
このように、ボケやブレのあるクオリティの低い画像を動画から排除できるので、必然的にクオリティの高い動画を再生するシナリオを生成することができる。
【００５４】
なお、画像を排除した結果、画像が不足した場合は、ボケブレ評価値の低い画像を繰り返し使うなどして補うとよい。
【００５５】
＜第３実施形態＞
上述のようにして作成されたシナリオに基づいて、動画を作成する装置も本発明に含まれる。
【００５６】
図１１は本発明の好ましい実施形態に係る動画作成装置のブロック図である。
【００５７】
この装置は、シナリオ生成装置（図１）と同様、画像入力装置１１、楽曲入力装置１２、入力装置１３、シナリオ生成装置１４を備えており、さらに、動画生成装置１５を備えている。
【００５８】
図１２は動画生成処理の流れを示すフローチャートである。
【００５９】
Ｓ２１では、シナリオ生成装置１４によってシナリオを生成する（例えば図９のようなＸＭＬファイル）。
【００６０】
Ｓ２２では、動画生成装置１５は、画像入力装置１１・楽曲入力装置１２にそれぞれ入力された画像およびに楽曲のうち、シナリオに指定されている、動画生成に必要な画像および楽曲を取得する。シナリオに指定されているデータは、例えばＰＣ上に保存されているデータであったり、Ｗｅｂ上に公開されているデータである。
【００６１】
そしてＳ２３では、動画生成装置１５は、シナリオの記述に基づき、取得した画像および楽曲から、動画を生成する。具体的には、取得した全ての画像データに対して、ある瞬間でのエフェクトや変更を考慮した画像処理を施し、オーダー順に重ね合わせて、フレーム画像を作成する。このフレーム画像を時間順につなげ合わせることで動画を作成する。作成された動画の圧縮記録方式は、アニメーションＧＩＦ、ＭＰＥＧなど何でもよい。
【００６２】
＜第４実施形態＞
上記のようにして作成された動画を再生出力する動画出力装置も本発明に含まれる。
【００６３】
図１３は本発明の好ましい実施形態に係る動画出力装置のブロック図である。動画出力装置は、動画作成装置（図１１）と同様、画像入力装置１１、楽曲入力装置１２、入力装置１３、シナリオ生成装置１４、動画生成装置１５を備えており、さらに、動画再生装置１６および出力装置１７を備えている。
【００６４】
動画再生装置１６は、動画生成装置１５の生成した動画を、出力装置１７用の再生信号に変換する装置であり、例えば、パソコン上で動作するネットワークメディアプレーヤーなどの動画プレーヤーや、ＭＰＥＧデコーダなどが挙げられる。
【００６５】
出力装置１７は、動画再生装置１６からの再生信号に基づいて動画を出力するとともに、楽曲音声を出力する装置であり、例えば、ディスプレイやスピーカーが挙げられる。
【図面の簡単な説明】
【００６６】
【図１】シナリオ作成装置のブロック図
【図２】画像処理装置のブロック図
【図３】第１実施形態に係るシナリオ生成処理の流れを示すフローチャート
【図４】楽曲の構成要素と画像群との関連づけ（楽曲のフレーズと画像のイベントの関連づけ）の一例を示す図
【図５】楽曲の構成要素と画像群との関連づけ（楽曲のサビと類似像群の関連づけ）の一例を示す図
【図６】楽曲の構成要素と画像群との関連づけ（楽曲の各フレーズと各類似像群の関連づけ）の一例を示す図
【図７】楽曲の構成要素と画像群との関連づけ（楽曲のサビとサビ用画像群の関連づけ）の一例を示す図
【図８】拍または裏拍と画像との関連づけの一例を示す図
【図９】シナリオの一例を示す図
【図１０】第２実施形態に係るシナリオ生成処理の流れを示すフローチャート
【図１１】動画作成装置のブロック図
【図１２】動画生成処理の流れを示すフローチャート
【図１３】動画出力装置のブロック図
【符号の説明】
【００６７】
１１：画像入力装置、１２：楽曲入力装置、１３：入力装置、１４：シナリオ生成装置、１５：動画生成装置、１６：動画再生装置、１７：出力装置
【図１】
2008066956.tif 000004
【図２】
2008066956.tif 000005
【図３】
2008066956.tif 000006
【図４】
2008066956.tif 000007
【図５】
2008066956.tif 000008
【図６】
2008066956.tif 000009
【図７】
2008066956.tif 000010
【図８】
2008066956.tif 000011
【図９】
2008066956.tif 000012
【図１０】
2008066956.tif 000013
【図１１】
2008066956.tif 000014
【図１２】
2008066956.tif 000015
【図１３】
2008066956.tif 000016