(57)【要約】【課題】楽曲とともに動画像を再生する動画再生装置、動画再生方法、及びプログラムに関し、曲の調子により適合した状態で動画像を再生する。【解決手段】生成手段１０３は例えば、進行度算出手段１０６により算出された進行度１１１と、第１の取得手段１０１により取得された複数のキーフレームデータ１０７に基づいて、第２の取得手段１０２により取得された楽曲データ１０８に基づいて属性判別手段１０５で判別された所定の楽曲データの属性１０９に応じた補間フレームデータ１１０を生成する。動画再生手段１０４は、生成手段１０３により生成された補間フレームデータ１１０に基づいて、楽曲データ１０８とともに動画像を再生する。【選択図】図１
2014063371.tif 000002
【特許請求の範囲】
【請求項１】
複数のキーフレームデータを取得する第１の取得手段と、
楽曲データを取得する第２の取得手段と、
前記第１の取得手段により取得された複数のキーフレームデータと、前記第２の取得手段により取得された楽曲データに基づいて、当該楽曲データの所定の属性に応じた補間フレームデータを生成する生成手段と、
前記生成手段により生成された補間フレームデータに基づいて、前記楽曲データとともに動画像を再生する動画再生手段と
を備えることを特徴とする動画再生装置。
【請求項２】
前記第２の取得手段により取得された楽曲データ中の所定の属性として、当該楽曲データ中の拍の強弱の属性を判別する属性判別手段を更に備え、
前記生成手段は、更に、前記属性判別手段により判別された拍の強弱の属性に応じた補間フレームデータを生成する
ことを特徴とする請求項１に記載の動画再生装置。
【請求項３】
前記動画再生手段により再生される動画像の前記第１の取得手段により取得された複数のキーフレームデータ中の第１のキーフレームデータの再生タイミングから前記第１のキーフレームデータより後の第２のキーフレームデータの再生タイミングまでの進行度を算出する進行度算出手段を更に備え、
前記生成手段は、前記進行度算出手段により算出された進行度と、前記第１の取得手段により取得された複数のキーフレームデータと、前記第２の取得手段により取得された楽曲データとに基づいて、前記楽曲データの所定の属性と前記進行度に応じた補間フレームデータを生成する
ことを特徴とする請求項１又は２に記載の動画再生装置。
【請求項４】
前記属性判別手段は、前記楽曲データ中の再生タイミングの拍が強調される拍であるか否かを判別することにより、前記拍の強弱の属性を判別し、
前記生成手段は、前記属性判別手段により前記再生タイミングの拍が強調される拍であると判別されると、前記第１のキーフレームデータと前記第２のキーフレーム間の前記進行度が小さいほど前記第１のキーフレームデータからの変化が小さく、前記進行度が大きいほど前記第１のキーフレームデータからの変化が大きくなる複数の補間フレーム画像を生成する
ことを特徴とする請求項２に記載の動画再生装置。
【請求項５】
前記第２の取得手段により取得された楽曲データ中のベロシティデータを算出する算出手段と、
前記算出手段により算出されたベロシティデータが所定の閾値以上か否かを判定する閾値判定手段と、を更に備え、
前記生成手段は、前記閾値判定手段によりベロシティデータが所定の閾値以上と判定され、前記属性判別手段により前記再生タイミングの拍が強調される拍であると判別されると、前記第１のキーフレームデータと前記第２のキーフレーム間の前記進行度が小さいほど前記第１のキーフレームデータからの変化が小さく、前記進行度が大きいほど前記第１のキーフレームデータからの変化が大きくなる複数の補間フレーム画像を生成する
ことを特徴とする請求項４に記載の動画再生装置。
【請求項６】
前記第１のキーフレームデータの再生タイミングから前記第２のキーフレームデータの再生タイミングまでの経過時間を等分割して得られる複数の離散補間経過時間ごとに前記進行度をそれぞれ記憶したテーブルデータ記憶手段を更に備え、
前記進行度算出手手段は、前記テーブルデータ記憶手段に記憶された関数テーブルデータを参照することにより、前記進行度を算出する
ことを特徴とする請求項３に記載の動画再生装置。
【請求項７】
前記キーフレームデータは、当該キーフレームデータによって表示される画像中のキャラクタの動作を特徴付ける複数の制御点の座標を示す制御点座標データを含み、
前記生成手段は、更に、前記複数のキーフレームデータ間で対応する前記制御点座標データごとに座標値を補間することで、前記補間フレームデータを生成する
ことを特徴とする請求項１から６の何れかに記載の動画再生装置。
【請求項８】
前記第１の取得手段により取得された複数のキーフレームデータ中の所定のキーフレームデータの再生タイミングが、前記第２の取得手段により取得された楽曲データ中の所定の属性を有する再生タイミングに対応するかどうかを判別する判別手段を更に備え、
前記生成手段は、前記判別手段による判別結果に基づいて、前記所定のキーフレームデータと当該所定のキーフレームレートに対し直近のキーフレームレートとの間における前記所定の属性に応じた補間フレームデータを生成し、
前記動画再生手段は、前記第１の取得手段により取得された複数のキーフレームデータと前記生成手段により生成された補間フレームデータとに基づいて、前記楽曲データとともに前記動画像を再生する
ことを特徴とする請求項１に記載の動画再生装置。
【請求項９】
動画像を再生する動画再生方法であって、
複数のキーフレームデータを取得する第１の取得ステップと、
楽曲データを取得する第２の取得ステップと、
前記第１の取得ステップにより取得された複数のキーフレームデータと、前記第２の取得ステップにより取得された楽曲データに基づいて、当該楽曲データの所定の属性に応じた補間フレームデータを生成する生成ステップと、
前記第１の取得ステップにより取得された複数のキーフレームデータと前記生成ステップにより生成された補間フレームデータとに基づいて、前記楽曲データとともに動画像を再生する動画再生ステップと
を含むことを特徴とする動画再生方法。
【請求項１０】
コンピュータを、
複数のキーフレームデータを取得する第１の取得手段、
楽曲データを取得する第２の取得手段、
前記第１の取得手段により取得された複数のキーフレームデータと、前記第２の取得手段により取得された楽曲データに基づいて、当該楽曲データの所定の属性に応じた補間フレームデータを生成する生成手段、
前記生成手段により生成された補間フレームデータに基づいて、前記楽曲データとともに動画像を再生する動画再生手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲とともに動画像を再生する動画再生装置、動画再生方法、及びプログラムに関する。
【背景技術】
【０００２】
従来より、曲に合わせて画像を再生する技術が知られている。例えば、予め画像の動きの速度が異なる画像パターンを複数種用意しておき、これらの内から演奏曲の曲想（リズムテンポや音量など）に合致する種類の画像パターンを選択して再生する技術が知られている（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特公平４−７３１５９号公報
【非特許文献】
【０００４】
【非特許文献１】Ｙ．Ｂｏｙｋｏｖ  ａｎｄ  Ｇ．Ｆｕｎｋａ−Ｌｅａ：“Ｉｎｔｅｒａｃｔｉｖｅ  Ｇｒａｐｈ  Ｃｕｔｓ  ｆｏｒ  Ｏｐｔｉｍａｌ  Ｂｏｕｎｄａｒｙ  ＆  Ｒｅｇｉｏｎ  Ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  Ｏｂｊｅｃｔｓ  ｉｎ  Ｎ−Ｄ  Ｉｍａｇｅｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  “Ｉｎｔｅｒｎａｔｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ”，Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ，ｖｏｌ．Ｉ，ｐ．１０５−１１２，Ｊｕｌｙ  ２００１．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術では、動画像を構成する画像パターンを所定のフレームレートで再生するのみであるため、特定の画像パターンが曲の調子に必ずしもうまく合わない虞がある。
【０００６】
そこで、本発明は、曲の調子により適合した状態で動画像を再生することを目的とする。
【課題を解決するための手段】
【０００７】
態様の一例では、複数のキーフレームデータを取得する第１の取得手段と、楽曲データを取得する第２の取得手段と、第１の取得手段により取得された複数のキーフレームデータと、第２の取得手段により取得された楽曲データに基づいて、その楽曲データの所定の属性に応じた補間フレームデータを生成する生成手段と、生成手段により生成された補間フレームデータに基づいて、楽曲データとともに動画像を再生する動画再生手段とを備える。
【発明の効果】
【０００８】
本発明によれば、曲の調子により適合した状態で動画像を再生できる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係る動画再生装置の機能構成図である。
【図２】本実施形態に係る動画再生装置のハードウェア構成図である。
【図３】切抜き画像の例を示す図である。
【図４】制御点の例を示す図である。
【図５】制御点座標データの例を示す図である。
【図６】切抜き画像のアニメーションの説明図である。
【図７】制御点座標データの座標値変化の説明図（その１）である。
【図８】制御点座標データの座標値変化の説明図（その２）である。
【図９】動きデータの説明図である。
【図１０】本実施形態によるアニメーション表示処理を示すフローチャートである。
【図１１】制御点座標の計算処理の詳細を示すフローチャートである。
【図１２】補間経過度出力関数データの例を示す図である。
【図１３】或る点の時間経過補間結果の例を示す図（その１）である。
【図１４】或る点の時間経過補間結果の例を示す図（その２）である。
【図１５】ガンマ補間カーブの例を示す図（その１）である。
【図１６】ガンマ補間カーブの例を示す図（その２）である。
【図１７】ガンマ補間カーブの例を示す図（その３）である。
【図１８】補間経過度出力関数データの補間カーブと動きの関係を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。
本実施形態は、楽曲を構成する楽曲データの再生発音に合わせて画像を再生する動画再生方式を採用している。この動画再生方式では、複数の連続したキーフレームデータに基づいて、楽曲に同期させて動画の再生表示を行うものである。キーフレームデータの再生表示だけでは、表示が滑らかでないため、キーフレームデータの再生タイミング間の再生タイミングで、その再生タイミングの周囲の再生タイミング（例えばその直前と直後の再生タイミング）のキーフレームデータを用いた補間演算処理によって補間フレームデータが生成され、再生表示される。
図１は、本実施形態に係る動画再生装置の機能構成図である。
【００１１】
第１の取得手段１０１は、複数のキーフレームデータ１０７を取得する。
第２の取得手段１０２は、楽曲データ１０８を取得する。
【００１２】
生成手段１０３は、第１の取得手段１０１により取得された複数のキーフレームデータ１０７と、第２の取得手段１０２により取得された楽曲データ１０８に基づいて、その楽曲データ１０８の所定の属性１０９に応じた補間フレームデータ１１０を生成する。
【００１３】
ここで例えば、第２の取得手段１０２により取得された楽曲データ１０８中の所定の属性１０９として、楽曲データ１０８中の拍の強弱の属性を判別する属性判別手段１０５を更に備えてよい。この場合、生成手段１０３は、更に例えば、属性判別手段１０５により判別された楽曲データの属性１０９である拍の強弱の属性に応じた補間フレームデータ１１０を生成してよい。
また例えば、動画再生手段１０４により再生される動画像の第１の取得手段１０１により取得された複数のキーフレームデータ１０７中の第１のキーフレームデータの再生タイミングから第１のキーフレームデータより後の第２のキーフレームデータの再生タイミングまでの進行度１１１を算出する進行度算出手段１０６を更に備えてよい。この場合、生成手段は例えば、進行度算出手段１０６により算出された進行度１１１と、第１の取得手段１０１により取得された複数のキーフレームデータ１０７と、第２の取得手段１０２により取得された楽曲データ１０８とに基づいて、所定の楽曲データの属性１０９と進行度１１１に応じた補間フレームデータ１１０を生成してよい。
【００１４】
動画再生手段１０４は、生成手段１０３により生成された補間フレームデータ１１０に基づいて、楽曲データ１０８とともに動画像を再生する。
【００１５】
以上の構成により、拍の強弱等の楽曲データの属性１０９によって、キーフレームデータ１０７から異なる補間特性で補間フレームデータ１１０を生成し、動画に異なる動きを与えることができる。これにより、少ないキーフレームデータ１０７で楽曲の例えばリズムに合わせて動画が動くような再生表示を行うことが可能となる。
【００１６】
上述の構成において、補間演算は例えば、現在の再生タイミング１０４の直前及び直後にそれぞれ再生される第１及び第２のキーフレームデータ１０７を用いて実行される。
このとき、楽曲データの属性１０９により、例えば進行度算出手段１０６が、補間の進行度を変化させることができ、楽曲に合わせた動きを与えることが可能となる。
【００１７】
このとき、属性判別手段１０５は、楽曲データ１０８中の再生タイミングの拍が強調される拍であるか否かを判別することにより、拍の強弱の属性を判別する。そして、生成手段１０３は、属性判別手段１０５により再生タイミングの拍が強調される拍であると判別されると、第１のキーフレームデータ１０７と第２のキーフレーム１０７間の進行度が小さいほど第１のキーフレームデータ１０７からの変化が小さく、進行度が大きいほど第１のキーフレームデータ１０７からの変化が大きくなる複数の補間フレーム画像を生成する。
以上の構成により、楽曲の拍が強調されるタイミングの前後に合わせて動き速度が遅くなる動画が実現され、楽曲のリズムに合わせた動画の動きを実現することが可能となる。
【００１８】
また他の例として、第２の取得手段１０２により取得された楽曲データ１０８中のベロシティデータを算出する算出手段と、算出手段により算出されたベロシティデータが所定の閾値以上か否かを判定する閾値判定手段とを更に備えてよい。この場合、生成手段1０３は、閾値判定手段によりベロシティデータが所定の閾値以上と判定され、属性判別手段１０５により再生タイミングの拍が強調される拍であると判別されると、第１のキーフレームデータ１０７と第２のキーフレーム１０７間の進行度が小さいほど第１のキーフレームデータ１０７からの変化が小さく、進行度が大きいほど第１のキーフレームデータ１０７からの変化が大きくなる複数の補間フレーム画像を生成してよい。
以上の構成により、楽曲の拍のタイミングであって特に強く再生発音されるタイミングの前後に合わせて動き速度が遅くなる動画が実現され、やはり楽曲のリズムに合わせた動画の動きを実現することが可能となる。
【００１９】
図１の構成において、第１のキーフレームデータ１０７の再生タイミングから第２のキーフレームデータ１０７の再生タイミングまでの経過時間を等分割して得られる複数の離散補間経過時間ごとに進行度をそれぞれ記憶したテーブルデータ記憶手段を更に備え、進行度算出手手段１０６は、テーブルデータ記憶手段に記憶された関数テーブルデータを参照することにより、進行度を算出する用に構成してよい。
【００２０】
ここまでの構成において、キーフレームデータ１０７は、それによって表示される画像中のキャラクタの動作を特徴付ける複数の制御点の座標を示す制御点座標データを含むように構成することができる。
この場合、生成手段１０３は、更に、複数のキーフレームデータ１０７間で対応する制御点座標データごとに座標値を補間することで、補間フレームデータ１１０を生成する。
このような構成により、少ないデータ量で、効率的な補間演算が実現される。
【００２１】
図１に示される本実施形態に係る動画再生装置の機能構成を実現するための、本実施形態のさらに具体的な構成及び動作について、以下にさらに詳細に説明する。
図２は、本実施形態に係る動画再生装置のハードウェア構成図である。
【００２２】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：中央演算処理装置）２０１は、入力装置２０５が発生する操作イベントに応じて装置各部の動作状態を設定する。特に、ＣＰＵ２０１は、後述する図１０及び図１１のフローチャートで示される補間制御処理を実行する。
【００２３】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ：読出し専用メモリ）２０２には、ＣＰＵ２０１にロードされる各種プログラムが記憶される。ここで言う各種プログラムとは、後述する図１０及び図１１のフローチャートで示される補間制御処理を含む。
【００２４】
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３は、ワークエリア２０３ａを備える。ワークエリア２０３ａには、ＣＰＵ２０１の演算結果を格納する各種レジスタ・フラグデータ・変数データ等が一時記憶される。
【００２５】
外部記憶装置２０４は、例えばＳＤメモリまたはハードディスク等の記憶装置である。外部記憶装置２０４には、図１で説明したキーフレームデータ１０７を構成する動きデータ２０４ａと切抜きデータ２０４ｄ、図１で説明した進行度の出力関数データであるカーブ変換データ２０４ｂ、楽曲データ２０４ｃ等が記憶される。
動きデータ２０４ａ及び切抜きデータ２０４ｄ、カーブ変換データ２０４ｂについては、後述する。
楽曲データ２０４ｃは、楽曲を構成する各音符の発音時刻、音高、音量及び消音時刻を表すと共に、テンポや拍、拍の強調指示、小節タイミングなどの図１で説明した楽曲データの属性１０９を表す公知のＭＩＤＩ（Ｍｕｓｉｃａｌ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）データである。
【００２６】
入力装置２０５は、表示装置２０６の表示画面上に配設される例えばタッチパネルから構成され、その表示画面に表示される各種アイコンやボタンあるいはソフトウェアキーボードに対してタッチ操作をすることで操作信号を出力する。
【００２７】
動画処理部２０７は、動画処理専用のプロセッサを備え、ＣＰＵ２０１から供給される再生パラメータに従って、図１で説明したキーフレームデータ１０７及び補間フレームデータ１１０に対応する動画を再生出力する。
【００２８】
表示装置２０６は、カラー液晶表示パネル及び駆動回路から構成され、動画処理部２０７から再生出力される動画（アニメーション）を画面表示する。
【００２９】
音源２０８は、例えば公知の波形メモリ読み出し方式にて構成され、複音同時発音可能な複数の発音チャンネルを備える。音源２０８は、ＣＰＵ２０１が外部記憶装置２０４から読み出す楽曲データ２０４ｃのＭＩＤＩデータに従って、自動演奏を実行する。
【００３０】
サウンドシステム２０９は、音源２０８から出力される楽曲波形を、アナログ信号形式に変換した後、不要ノイズ除去やレベル増幅を行ってから、スピーカを介して発音を行う。
【００３１】
バス２１０は、２０１〜２０８の各部分を相互に通信可能な状態に接続する。
【００３２】
図１で説明したキーフレームデータ１０７は、図２の動きデータ２０４ａと切抜きデータ２０４ｄとによって構成される。
【００３３】
図３は、切抜きデータ２０４ｄによって表示装置２０６に表示される切抜き画像の例を示す図である。切抜きデータ２０４ｄは、例えば、Ｇｒａｐｈ  Ｃｕｔｓ手法（例えば非特許文献１に記載の技術）等の公知の被写体切抜手法を用いて、任意に設営された画像データからアニメーションが行われる被写体が含まれる領域のみが切り抜かれた、図３に例示されるような切抜き画像を表現する画像データである。
【００３４】
図４は、制御点の例を示す図である。図３に切抜き画像として例示される切抜きデータ２０４ｄには、図４に示されるように、動きの制御を行う点である制御点が設定される。
図５は、制御点のデータである制御点座標データの例を示す図である。図４に例示される各制御点に対応する名称（図５中の「ｐｏｉｎｔＮａｍｅ」）ごとに、ｘ座標値（図５中の「ｘ」）とｙ座標値（図５中の「ｙ」）が記憶される。
【００３５】
制御点座標データの各制御点の座標値を変化させることにより、元の切抜きデータ２０４ｄによって表現される切抜き画像の変形処理が実行され、切抜き画像のアニメーションが実現される。
図６は、切抜き画像のアニメーションの説明図である。いま例えば、切抜き画像において、図６（ａ）に示されるように手を横に広げた状態から、図６（ｂ）に示されるように手を上に上げた状態に動かす場合を考える。この場合、制御点座標データは例えば、図７に示される状態から図８に示される状態に変化する。この例では特に、「右肘＿中央」「右手首」「右手」の各名称の制御点（図４参照）の座標値が大きく変化させられていることがわかる。
【００３６】
図７、図８に示される制御点座標データのみでは時間変化がないが、図７、図８に示されるような制御点座標データを、図９に模式的に示されるように時間経過に沿って並べて記憶し、それらを順次読み出して補間しながら再生表示することによって、連続的なアニメーションを実現することができる。
このようにして並べられた制御点座標データの組が、図２の外部記憶装置２０４に動きデータ２０４ａとして記憶される。すなわち、動きデータ２０４ａは、図５に例示される各フレームの１画像分の制御点座標データにそのフレームの再生タイミングを示す時間情報（図５中の「ｔｉｍｅ」）（図５では時間情報が無効であることを示す「−１」が登録されている）とともに、各フレームごとに連続的に記憶したものである。この動きデータ２０４ａが、図１のキーフレームデータ１０７を構成する。
【００３７】
このとき、キーフレームデータ１０７の再生タイミングを、楽曲データ２０４ｃを構成する音楽の音符（たとえば四分音符）に合わせることによって、楽曲にあった動きが実現される。
【００３８】
図１０は、本実施形態によるアニメーション表示処理を示すフローチャートである。この処理は、図２において、ＣＰＵ２０１が、ＲＯＭ２０２に記憶された制御プログラムを、ＲＡＭ２０３のワークエリア２０３ａを使用しながら実行する処理として実現される。
【００３９】
まず、ＣＰＵ２０１は、音楽終了の判定を行いながら（図１０のステップＳ１００１）、外部記憶装置２０４から順次読み出した楽曲データ２０４ｃに合わせて、現在のビート（拍）位置（何小節目から何分の一経過したか)を取得する（図１０のステップＳ１００２）。
【００４０】
次に、ＣＰＵ２０１は、変形を行うための補間した制御点座標の計算処理を実行する（図１０のステップＳ１００３）。
このステップＳ１００３の処理は、図１の第１の取得手段１０１、第２の取得手段１０３、生成手段１０３、属性判別手段１０４、および進行度算出手段１０６の機能を実現する。
【００４１】
続いて、ＣＰＵ２０１は、ステップＳ１００３で計算した制御点座標データに基づいて、外部記憶装置２０４から読み出した切抜きデータ２０４ｄの変形処理を実行する（図１０のステップＳ１００４）。
【００４２】
その後、ＣＰＵ２０１は、ステップＳ１００４の変形結果として得られた切抜きデータ２０４ｄを、図２の動画処理部２０７に送る。動画処理部２０７は、切抜きデータ２０４ｄに基づいて、図２の表示装置２０６に変形された動画を表示する（以上、図１０のステップＳ１００５）。
以上のステップＳ１００４とＳ１００５の処理は、図１の動画再生手段１０４の機能を実現する。
【００４３】
ＣＰＵ２０１は、フレームレート分の時間が経過したか否かを判定しながら（図１０のステップＳ１００６）、フレームレート分の時間が経過するまで待機する（ステップＳ１００６の判定がＮＯの繰返し）。
【００４４】
フレームレート分の時間が経過してステップＳ１００６の判定がＹＥＳになると、ＣＰＵ２０１は、ステップＳ１００１の処理に戻って、次のフレームレートに対応するアニメーションの表示処理を繰り返す。
【００４５】
なお、フレームレートは、キーフレームデータ１０７のフレームレートよりも細かい時間間隔であり、キーフレームデータ１０７が存在しないフレームの再生タイミング１０４（図１）では、図１で説明した補間フレームデータ１１０が生成され再生表示される。
【００４６】
楽曲データ２０４ｃの再生が終了すると、ステップＳ１００１の判定がＹＥＳとなって、アニメーション表示処理が終了する。
【００４７】
図１１は、図１０のステップＳ１００３の制御点座標の計算処理の詳細を示すフローチャートである。
【００４８】
まず、ＣＰＵ２０１は、現在の時刻（音楽の位置）（図１の再生タイミング１０４に対応する）の直前と直後のキーフレーム（第１及び第２のキーフレームデータ１０７に対応）を取得する（図１１のステップＳ１１０１）。
このステップＳ１１０１の処理は、図１の第１の取得手段１０１の機能を実現する。
【００４９】
次に、ＣＰＵ２０１は、ステップＳ１１０１で読み込んだ各キーフレーム内の最初の制御点座標データを、外部記憶装置２０４内の動きデータ２０４ａから読み込む（図１１のステップＳ１１０２）。例えば図５の例では、「ｐｏｉｎｔＮｏ」が「１」のｘ座標値とｙ座標値が、現在の時刻（音楽の位置）の直前のキーフレームと直後のキーフレームのそれぞれから取得される。
【００５０】
次に、ＣＰＵ２０１は、１フレーム分の制御点（図４参照）について計算が終了したか否かを判定した後（図１１のステップＳ１１０３）、その判定がＮＯならば、直後のキーフレームが強調する拍の位置にあるか否かを判定する（図１１のステップＳ１１０４）。より具体的には、ＣＰＵ２０１は、外部記憶装置２０４に記憶されている楽曲データ２０４ｃ中の上記直後のキーフレームに対応する楽曲データの属性１０９（図１）を読み込み、そこに強調拍が設定されているか否かを判定する。
【００５１】
強調拍が設定されておらずステップＳ１１０４の判定がＮＯならば、ＣＰＵ２０１は、補間カーブ（図１で説明した進行度の出力関数データに対応する）として、リニア補間カーブを、ＲＡＭ２０３のワークエリア２０３ａにセットする（図１１のステップＳ１１０５）。リニア補間カーブは、例えば図１２（ａ）に示されるような特性を有する。図１２（ａ）で、横軸は図１で説明した補間経過時間であり、縦軸は補間経過度（図１で説明した進行度に対応する）である。このリニア補間カーブは例えば、ＲＡＭ２０３のワークエリア２０３ａに、直前のキーフレームの再生タイミングから直後のキーフレームの再生タイミングまでの経過時間を等分割して得られる複数の離散補間経過時間ごとに補間経過度の値を記憶した関数テーブルデータである。
【００５２】
一方、強調拍が設定されておりステップＳ１１０４の判定がＹＥＳならば、ＣＰＵ２０１は、補間カーブとして、ガンマ補間カーブを、ＲＡＭ２０３のワークエリア２０３ａにセットする（図１１のステップＳ１１０６）。ガンマ補間カーブは、例えば図１２（ｂ）に示されるような特性を有する。図１２（ａ）と同様に、図１２（ｂ）で、横軸は図１で説明した補間経過時間であり、縦軸は補間経過度（図１で説明した進行度に対応する）である。このガンマ補間カーブも例えば、ＲＡＭ２０３のワークエリア２０３ａに、直前のキーフレームの再生タイミングから直後のキーフレームの再生タイミングまでの経過時間を等分割して得られる複数の離散補間経過時間ごとに補間経過度の値を記憶した関数テーブルデータである。
【００５３】
以上のステップＳ１１０４からＳ１１０６までの処理は、図１の第２の取得手段１０２および属性判別手段１０５の機能を実現する。
【００５４】
次に、ＣＰＵ２０１は、ステップＳ１１０５またはＳ１１０６でセットした補間カーブを用いて、直前のキーフレームの再生タイミングから現在の時刻までの補間経過時間に対応する補間経過度（図１の進行度に対応）を計算する（図１１のステップＳ１１０７）。より具体的にはＣＰＵ２０１は、上記補カーブに対応するＲＡＭ２０３のワークエリア２０３ａ上の関数テーブルデータを参照することにより、補間経過時間に一致する離散補間経過時間に対応する補間経過度を読み出して取得する。
このステップＳ１１０７の処理は、図１の進行度算出手段１０６の機能を実現する。
【００５５】
続いて、ＣＰＵ２０１は、ステップＳ１１０７で計算した補間経過度を用いて、現在の時刻に対応する制御点情報（制御点座標データ）を、下記数１式に従って生成する（図１１のステップＳ１１０８）。
【００５６】
【数１】
2014063371.tif 000003
上記数１式において、
「Ｘ開始点」：現在の時刻の直前の時間の制御点座標データのｘ座標
「Ｙ開始点」：現在の時刻の直前の時間の制御点座標データのｙ座標
「Ｘ終了点」：現在の時刻の直後の時間の制御点座標データのｘ座標
「Ｙ終了点」：現在の時刻の直後の時間の制御点座標データのｙ座標
である。そして、「Ｘ補間点」、「Ｙ補間点」が、現在の時刻に対して算出される制御点座標データである。
【００５７】
以上のステップＳ１１０７とＳ１１０８の処理は、図１の生成手段１０３の機能を実現する。
【００５８】
なお、本実施形態では、直前のキーフレームと直後のキーフレームの２点間の補間を直線補間で行ったが、２点以上の近傍の点を用いて曲線補間を行ってもよい。
【００５９】
ステップＳ１１０８の後、ＣＰＵ２０１は、ステップＳ１１０１で読み込んだ各キーフレーム内の次の制御点座標データを、外部記憶装置２０４内の動きデータ２０４ａから読み込む（図１１のステップＳ１１０９）。
その後、ＣＰＵ２０１は、ステップＳ１１０３の処理に戻り、上記と同様の制御点座標の計算処理を繰り返す。
【００６０】
１フレーム分の制御点について計算が終了してステップＳ１１０３の判定がＹＥＳになると、ＣＰＵ２０１は、図１０のステップＳ１００３の制御点座標の計算処理を終了する。
【００６１】
以上の制御処理において、例えば、制御点座標が（０，０）から（５，５）まで移動した場合に、２点間を例えば１０分割した場合、速度一定（補間経過度を一定)で補間を行うと、図１３に示されるように、補間点の間隔が一定となる。これに対して、強調拍のタイミングで、補間経過度を図１２（ｂ）に示されるガンマ補間カーブを用いて変換することにより、補間経過時間に対して、一定速度とならない補間が実行される。これにより、補間結果は、図１４に示されるように、一定の間隔とならない制御点の移動となる。
この結果、本実施形態では、強調拍付近の動きを強調することができ、ビート（２，４，８分音符など）の直前、直後の動き速度を遅くする補間によって、動画の動きがリズムにあっているように見えるような動作を生成することが可能となる。
【００６２】
図１５は、ガンマカーブの例を示す図（その１）である。このガンマ補間カーブは、下記数２式で示される補間経過時間ｘから補間経過度ｙへの変換特性を有する。
【００６３】
【数２】
2014063371.tif 000004
【００６４】
このガンマ補正カーブは、図１で説明したように、現在の時刻の直後のキーフレームに同期して再生される楽曲データが強調される拍の属性を有しているときに、補間経過時間に対する補間経過度の変化が補間経過時間が小さいほど大きく補間経過時間が大きいほど小さくなる特性を有する補間カーブ（補間経過度出力関数データ）を実現することができる。
【００６５】
図１６は、ガンマカーブの例を示す図（その２）である。このガンマ補間カーブは、下記数３式で示される補間経過時間ｘから補間経過度ｙへの変換特性を有する。
【００６６】
【数３】
2014063371.tif 000005
【００６７】
このガンマ補正カーブは、図１で説明したように、現在の時刻の直前のキーフレームに同期して再生される楽曲データが強調される拍の属性を有しているときに、補間経過時間に対する補間経過度の変化が補間経過時間が小さいほど小さく補間経過時間が大きいほど大きくなる特性を有する補間カーブ（補間経過度出力関数データ）を実現することができる。
【００６８】
図１７は、ガンマカーブの例を示す図（その３）である。このガンマ補間カーブは、下記数４式で示される補間経過時間ｘから補間経過度ｙへの変換特性を有する。
【００６９】
【数４】
2014063371.tif 000006
【００７０】
このガンマ補正カーブは、一度手を上げかけてちょっと戻してまた上げるといったおもしろい動きを実現することが可能となる。
【００７１】
図１８は、図１５から図１７に例示した補間カーブと動画の動きの関係を示す図である。図１８（ａ）が、図１２（ａ）のリニア補間カーブに対応し、図１８（ｂ）が図１５の補間カーブに対応し、図１８（ｃ）が図１６の補間カーブに対応し、図１８（ｃ）が図１７の補間カーブに対応する。図１８（ａ）（ｂ）（ｃ）（ｄ）のそれぞれにおいて、第１番目の動作の右手を横に広げた状態から、第５番目の動作の右手を上に上げた状態に至るまでの第２から第４番目の動作までを、選択した補間カーブに応じて多彩に変化させることが可能になることが理解できる。
【００７２】
以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
複数のキーフレームデータを取得する第１の取得手段と、
楽曲データを取得する第２の取得手段と、
前記第１の取得手段により取得された複数のキーフレームデータと、前記第２の取得手段により取得された楽曲データに基づいて、当該楽曲データの所定の属性に応じた補間フレームデータを生成する生成手段と、
前記生成手段により生成された補間フレームデータに基づいて、前記楽曲データとともに動画像を再生する動画再生手段と
を備えることを特徴とする動画再生装置。
（付記２）
前記第２の取得手段により取得された楽曲データ中の所定の属性として、当該楽曲データ中の拍の強弱の属性を判別する属性判別手段を更に備え、
前記生成手段は、更に、前記属性判別手段により判別された拍の強弱の属性に応じた補間フレームデータを生成する
ことを特徴とする付記１に記載の動画再生装置。
（付記３）
前記動画再生手段により再生される動画像の前記第１の取得手段により取得された複数のキーフレームデータ中の第１のキーフレームデータの再生タイミングから前記第１のキーフレームデータより後の第２のキーフレームデータの再生タイミングまでの進行度を算出する進行度算出手段を更に備え、
前記生成手段は、前記進行度算出手段により算出された進行度と、前記第１の取得手段により取得された複数のキーフレームデータと、前記第２の取得手段により取得された楽曲データとに基づいて、前記楽曲データの所定の属性と前記進行度に応じた補間フレームデータを生成する
ことを特徴とする付記１又は２に記載の動画再生装置。
（付記４）
前記属性判別手段は、前記楽曲データ中の再生タイミングの拍が強調される拍であるか否かを判別することにより、前記拍の強弱の属性を判別し、
前記生成手段は、前記属性判別手段により前記再生タイミングの拍が強調される拍であると判別されると、前記第１のキーフレームデータと前記第２のキーフレーム間の前記進行度が小さいほど前記第１のキーフレームデータからの変化が小さく、前記進行度が大きいほど前記第１のキーフレームデータからの変化が大きくなる複数の補間フレーム画像を生成する
ことを特徴とする付記２に記載の動画再生装置。
（付記５）
前記第２の取得手段により取得された楽曲データ中のベロシティデータを算出する算出手段と、
前記算出手段により算出されたベロシティデータが所定の閾値以上か否かを判定する閾値判定手段と、を更に備え、
前記生成手段は、前記閾値判定手段によりベロシティデータが所定の閾値以上と判定され、前記属性判別手段により前記再生タイミングの拍が強調される拍であると判別されると、前記第１のキーフレームデータと前記第２のキーフレーム間の前記進行度が小さいほど前記第１のキーフレームデータからの変化が小さく、前記進行度が大きいほど前記第１のキーフレームデータからの変化が大きくなる複数の補間フレーム画像を生成する
ことを特徴とする付記４に記載の動画再生装置。
（付記６）
前記第１のキーフレームデータの再生タイミングから前記第２のキーフレームデータの再生タイミングまでの経過時間を等分割して得られる複数の離散補間経過時間ごとに前記進行度をそれぞれ記憶したテーブルデータ記憶手段を更に備え、
前記進行度算出手手段は、前記テーブルデータ記憶手段に記憶された関数テーブルデータを参照することにより、前記進行度を算出する
ことを特徴とする付記３に記載の動画再生装置。
（付記７）
前記キーフレームデータは、当該キーフレームデータによって表示される画像中のキャラクタの動作を特徴付ける複数の制御点の座標を示す制御点座標データを含み、
前記生成手段は、更に、前記複数のキーフレームデータ間で対応する前記制御点座標データごとに座標値を補間することで、前記補間フレームデータを生成する
ことを特徴とする付記１から６の何れかに記載の動画再生装置。
（付記８）
前記第１の取得手段により取得された複数のキーフレームデータ中の所定のキーフレームデータの再生タイミングが、前記第２の取得手段により取得された楽曲データ中の所定の属性を有する再生タイミングに対応するかどうかを判別する判別手段を更に備え、
前記生成手段は、前記判別手段による判別結果に基づいて、前記所定のキーフレームデータと当該所定のキーフレームレートに対し直近のキーフレームレートとの間における前記所定の属性に応じた補間フレームデータを生成し、
前記動画再生手段は、前記第１の取得手段により取得された複数のキーフレームデータと前記生成手段により生成された補間フレームデータとに基づいて、前記楽曲データとともに前記動画像を再生する
ことを特徴とする付記１に記載の動画再生装置。
（付記９）
動画像を再生する動画再生方法であって、
複数のキーフレームデータを取得する第１の取得ステップと、
楽曲データを取得する第２の取得ステップと、
前記第１の取得ステップにより取得された複数のキーフレームデータと、前記第２の取得ステップにより取得された楽曲データに基づいて、当該楽曲データの所定の属性に応じた補間フレームデータを生成する生成ステップと、
前記第１の取得ステップにより取得された複数のキーフレームデータと前記生成ステップにより生成された補間フレームデータとに基づいて、前記楽曲データとともに動画像を再生する動画再生ステップと
を含むことを特徴とする動画再生方法。
（付記１０）
コンピュータを、
複数のキーフレームデータを取得する第１の取得手段、
楽曲データを取得する第２の取得手段、
前記第１の取得手段により取得された複数のキーフレームデータと、前記第２の取得手段により取得された楽曲データに基づいて、当該楽曲データの所定の属性に応じた補間フレームデータを生成する生成手段、
前記生成手段により生成された補間フレームデータに基づいて、前記楽曲データとともに動画像を再生する動画再生手段
として機能させるためのプログラム。
【符号の説明】
【００７３】
１０１  第１の取得手段
１０２  第２の取得手段
１０３  生成手段
１０４  動画再生手段
１０５  属性判別手段
１０６  進行度算出手段
１０７  キーフレームデータ
１０８  楽曲データ１０８
１０９  楽曲データの属性
１１０  補間フレームデータ
１１１  進行度
２０１  ＣＰＵ
２０２  ＲＯＭ
２０３  ＲＡＭ
２０４  外部記憶装置
２０５  入力装置
２０６  表示装置
２０７  動画処理部
２０８  音源
２０９  サウンドシステム
２１０  バス
【図１】
2014063371.tif 000007
【図２】
2014063371.tif 000008
【図５】
2014063371.tif 000009
【図７】
2014063371.tif 000010
【図８】
2014063371.tif 000011
【図１０】
2014063371.tif 000012
【図１１】
2014063371.tif 000013
【図３】
2014063371.tif 000014
【図４】
2014063371.tif 000015
【図６】
2014063371.tif 000016
【図９】
2014063371.tif 000017
【図１２】
2014063371.tif 000018
【図１３】
2014063371.tif 000019
【図１４】
2014063371.tif 000020
【図１５】
2014063371.tif 000021
【図１６】
2014063371.tif 000022
【図１７】
2014063371.tif 000023
【図１８】
2014063371.tif 000024