(57)【特許請求の範囲】
【請求項１】
複数の画像を用いて、動画を作成する動画作成装置であって、
タイムラインに沿って、楽曲素材のデータを配置する楽曲トラックと、写真素材を配置する写真トラックと、前記写真素材に映像効果を施すための映像効果トラックとを独立して有する動画作成画面をディスプレイに表示する動画作成画面表示手段と、
前記楽曲トラックに配置された楽曲素材に対応した音楽の同期情報を検出する同期情報検出手段と、
前記映像効果トラックに配置された映像効果を前記写真素材に対して加えるとともに、前記楽曲素材に対応した音楽の同期情報に同期した映像効果処理を行い、音楽に同期させて写真素材に多彩な演出効果を施した動画を作成する動画作成手段と、
同期タイミングを動画作成トラック上に表示する表示制御手段とを有し、
前記表示制御手段は、
前記楽曲素材に対応した音楽の同期情報であるグリッドがオンのときは最寄りの同期タイミングに映像効果を自動配置し、グリッドオフのときは操作者が指示したタイミングに映像効果を自動配置することを特徴とする動画作成装置。
【請求項２】
前記動画作成手段により作成された動画を再生する動画再生手段を有することを特徴とする請求項１に記載の動画作成装置。
【請求項３】
前記映像効果トラックとして、切り替えトラック、フレームトラック、フォーカストラック、カメラトラック、照明トラック、背景トラック、テキストトラック、イラストトラック、スクリーントラックのうち、いずれか２つ以上のトラックを設けたことを特徴とする請求項１または２に記載の動画作成装置。
【請求項４】
前記映像効果トラックごとに、さらに区間映像トラックと瞬間映像トラックを設けたことを特徴とする請求項１〜３の何れか１項に記載の動画作成装置。
【請求項５】
前記楽曲素材に対応した音楽の同期情報は、「グリッド情報」、「ドラム情報」、「盛り上がり情報」、「イントロ／エンディング情報」のうち、いずれか１つまたは２つ以上であることを特徴とする請求項１〜４の何れか１項に記載の動画作成装置。
【請求項６】
前記タイムライン上に配置された楽曲に対応した同期情報に基づいて、同期時刻を示すマークを、前記動画作成画面に表示する表示制御手段を有することを特徴とする請求項１〜４の何れか１項に記載の動画作成装置。
【請求項７】
前記表示制御手段は、前記動画再生手段により再生されている動画を操作者の指示に従って中断し、動画作成手段により作成された動画を編集可能な編集画面を前記ディスプレイに表示することを特徴とする請求項２に記載の動画作成装置。
【請求項８】
複数の画像を用いて、動画を作成する処理をコンピュータに実行させるコンピュータプログラムであって、
タイムラインに沿って、楽曲素材のデータを配置する楽曲トラックと、写真素材を配置する写真トラックと、前記写真素材に映像効果を施すための映像効果トラックとを独立して有する動画作成画面をディスプレイに表示する動画作成画面表示工程と、
前記楽曲トラックに配置された楽曲素材に対応した音楽の同期情報を検出する同期情報検出工程と、
前記映像効果トラックに配置された映像効果を前記写真素材に対して加えるとともに、前記楽曲素材に対応した音楽の同期情報に同期した映像効果処理を行い、音楽に同期させて写真素材に多彩な演出効果を施した動画を作成する動画作成工程と、
同期タイミングを動画作成トラック上に表示する表示制御工程とを有し、
前記表示制御工程は、
前記楽曲素材に対応した音楽の同期情報であるグリッドがオンのときは最寄りの同期タイミングに映像効果を自動配置し、グリッドオフのときは操作者が指示したタイミングに映像効果を自動配置することを特徴とするコンピュータプログラム。
【請求項９】
前記動画作成工程により作成された動画を再生する動画再生工程を有することを特徴とする請求項８に記載のコンピュータプログラム。
【請求項１０】
前記映像効果トラックとして、切り替えトラック、フレームトラック、フォーカストラック、カメラトラック、照明トラック、背景トラック、テキストトラック、イラストトラック、スクリーントラックのうち、いずれか２つ以上のトラックを設けたことを特徴とする請求項８または９に記載のコンピュータプログラム。
【請求項１１】
前記映像効果トラックごとに、さらに区間映像トラックと瞬間映像トラックを設けたことを特徴とする請求項８〜１０の何れか１項に記載のコンピュータプログラム。
【請求項１２】
前記楽曲素材に対応した音楽の同期情報は、「グリッド情報」、「ドラム情報」、「盛り上がり情報」、「イントロ／エンディング情報」のうち、いずれか１つまたは２つ以上であることを特徴とする請求項８〜１１の何れか１項に記載のコンピュータプログラム。
【請求項１３】
前記タイムライン上に配置された楽曲に対応した同期情報に基づいて、同期時刻を示すマークを、前記動画作成画面に表示する表示制御工程を有することを特徴とする請求項９〜１２の何れか１項に記載のコンピュータプログラム。
【請求項１４】
前記表示制御工程は、前記動画再生工程により再生されている動画を操作者の指示に従って中断し、動画作成工程により作成された動画を編集可能な編集画面を前記ディスプレイに表示することを特徴とする請求項９に記載のコンピュータプログラム。
【請求項１５】
請求項８〜１４の何れか１項に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画作成装置、コンピュータプログラム及び記憶媒体に関し、特に、音楽のビートを検出し、そのビートタイミングで写真を切り替えながら動画を生成するのに用いて好適な技術に関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータ等には、ユーザーが撮影した静止画や動画を、ユーザー自身で編集したり、フォトアルバム（電子アルバム）を作成したりする機能を搭載するものがある。
【０００３】
例えば、特許文献１では、ユーザーがハードディスク等に記憶されている画像を指定すると、指定された画像に所定の編集処理（エフェクト処理）を施し、予め用意された音楽（ＢＧＭ）に合わせて画像が順次表示されるコンテンツを作成する画像編集処理が開示されている。この画像編集処理は、画像に施す編集処理がランダムに決定されるため、同一の画像を指定しても、異なるコンテンツを作成することができるという特徴を有するものである。
【０００４】
また、特許文献２では、ユーザーが予め用意されている楽曲を選択するとともに、再生対象とする静止画が格納されたフォトアルバムを選択することにより、楽曲の雰囲気に合わせたエフェクトが施された静止画を、曲とともに順次表示するスライドショーコンテンツ（プレイリスト）を作成する技術が開示されている。
【０００５】
また、特許文献３では、音楽のコード変化が生じるビート時刻を抽出してビート特徴成分を設定するととともに、音楽に盛り上がりが生じる部分を抽出して音楽盛り上がり成分を設定する。そして、モーショングラフ上の選択可能なパスの中からビート特徴成分とキーフレーム成分との相関値が高いＮ個のパスを選択し、選択したＮ個のパスの中から音楽盛り上がり成分と動き盛り上がり成分との相関値が最大のパスを実行パスに設定して、ディスプレイに表示出力する。このようにして、音楽にあったモーションをリアルタイムに作成できるようにしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−２８５７８４号公報
【特許文献２】特開２００６−８６６２１号公報
【特許文献３】特開２００７−１８３８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来技術では、タイムライン上に静止画素材およびそれに付加する映像効果を配置するためのエフェクトトラック（映像効果トラック）と、音楽素材を配置するためのＢＧＭトラックのみにより静止画と音楽とを組み合わせたスライドショーを作成していた。
【０００８】
そして、従来技術では、写真（静止画）自体を演出するためのズーム、パンニング、色変更などの「エフェクト」と、クロスフェード、ワイプなど時系列上隣接する静止画間を演出するための「トランジション」とを複数用意しておき、各静止画に「エフェクト」を選択して割り当て、静止画間に「トランジション」を選択して割り当てることで、スライドショーを演出できるようにしていた。
【０００９】
しかし、このような方法では、バラエティに富んだスライドショーを作成できるようにするためには、色々な種類の「エフェクト」や「トランジション」を用意しておく必要があるので、膨大な数のデータが必要であった。また、「エフェクト」や「トランジション」の数が膨大になるので、音楽に同期した映像効果を、自由自在でしかも容易に編集することは不可能であった。
【００１０】
また、特許文献３において行われているのは、単にビートタイミングで写真を切り替えているだけである。このため、変化に富んで魅力的なムービーを作成することができないし、厳密に言えば音楽に同期しているとは言い難い問題点があった。
本発明は前述の問題点に鑑み、再生している音楽に同期させながら変化に富んだ多彩な演出効果を実現できるようにすることを第１の目的とする。
また、音楽同期タイミングをまったく意識することなく、簡単な操作により音楽に同期した動画を誰でも容易に作成できるようにすることを第２の目的とする。
【課題を解決するための手段】
【００１１】
本発明の動画作成装置は、複数の画像を用いて、動画を作成する動画作成装置であって、タイムラインに沿って、楽曲素材のデータを配置する楽曲トラックと、写真素材を配置する写真トラックと、前記写真素材に映像効果を施すための映像効果トラックとを独立して有する動画作成画面をディスプレイに表示する動画作成画面表示手段と、前記楽曲トラックに配置された楽曲素材に対応した音楽の同期情報を検出する同期情報検出手段と、前記映像効果トラックに配置された映像効果を前記写真素材に対して加えるとともに、前記楽曲素材に対応した音楽の同期情報に同期した映像効果処理を行い、音楽に同期させて写真素材に多彩な演出効果を施した動画を作成する動画作成手段と、同期タイミングを動画作成トラック上に表示する表示制御手段とを有し、前記表示制御手段は、前記楽曲素材に対応した音楽の同期情報であるグリッドがオンのときは最寄りの同期タイミングに映像効果を自動配置し、グリッドオフのときは操作者が指示したタイミングに映像効果を自動配置することを特徴とする。
【００１２】
本発明のコンピュータプログラムは、複数の画像を用いて、動画を作成する処理をコンピュータに実行させるコンピュータプログラムであって、タイムラインに沿って、楽曲素材のデータを配置する楽曲トラックと、写真素材を配置する写真トラックと、前記写真素材に映像効果を施すための映像効果トラックとを独立して有する動画作成画面をディスプレイに表示する動画作成画面表示工程と、前記楽曲トラックに配置された楽曲素材に対応した音楽の同期情報を検出する同期情報検出工程と、前記映像効果トラックに配置された映像効果を前記写真素材に対して加えるとともに、前記楽曲素材に対応した音楽の同期情報に同期した映像効果処理を行い、音楽に同期させて写真素材に多彩な演出効果を施した動画を作成する動画作成工程と、同期タイミングを動画作成トラック上に表示する表示制御工程とを有し、前記表示制御工程は、前記楽曲素材に対応した音楽の同期情報であるグリッドがオンのときは最寄りの同期タイミングに映像効果を自動配置し、グリッドオフのときは操作者が指示したタイミングに映像効果を自動配置することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、楽曲素材に対応した音楽の同期情報であるグリッドがオンのときは最寄りの同期タイミングに映像効果を自動配置し、グリッドオフのときは操作者が指示したタイミングに映像効果を自動配置するようにしたので、楽曲入力後に編集で入力した写真や映像効果を、同期タイミングに自動配置することが可能となり、音楽同期タイミングをまったく意識することなく、簡単な操作により音楽に同期した動画を誰でも容易に作成できる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態を示し、動画作成方法を実行する動画作成装置の構成例を説明するブロック図である。
【図２】動画作成手順の一例を示すフローチャートである。
【図３】動画作成及び動画編集を行う画面の一例を示す図である。
【図４】「楽曲タブ」が選択された状態の一例を示す図である。
【図５】「写真タブ」が選択された状態の一例を示す図である。
【図６】「切り替えタブ」が選択された状態の一例を示す図である。
【図７】「フォーカスタブ」が選択された状態の一例を示す図である。
【図８】「カメラタブ」が選択された状態の一例を示す図である。
【図９】「照明タブ」が選択された状態の一例を示す図である。
【図１０】「背景タブ」が選択された状態の一例を示す図である。
【図１１】「テキストタブ」が選択された状態の一例を示す図である。
【図１２】「スクリーンタブ」が選択された状態の一例を示す図である。
【図１３】楽曲素材に対応した音楽の同期情報を検出する処理手順の一例を示すフローチャートである。
【図１４】動画作成の具体例を説明する図である。
【図１５】静止画に映像効果が施されて動画が生成される様子を説明する図である。
【発明を実施するための形態】
【００１５】
図１は、本実施形態の動画作成装置の構成例を説明するブロック図である。
図１に示すように、本実施形態の動画作成装置１００において行われるコンピュータプログラム（動画作成プログラム）により実行する一連の処理は、ＣＰＵ１０１、１０２、及びＲＡＭ１０３よりなるコンピュータシステムにより制御されて実行される。
【００１６】
動画作成装置１００において、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００１７】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【００１８】
また、入力部１０６には、キーボード１１２、マウス１１３、マイクロホン１１４などが接続されている。また、出力部１０７には、ディスプレイ１１５、スピーカ１１６などが接続されている。
【００１９】
以上のように構成される動画作成装置１００では、ＣＰＵ１０１が、例えば、記憶部１０８に記憶されている動画作成プログラムを、入出力インタフェース１０５及びバス１０４を介して、ＲＡＭ１０３にロードして実行することにより、動画作成処理が行われる。
【００２０】
本実施形態の動画作成装置１００において、ＣＰＵ１０１が実行する動画作成プログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００２１】
具体的には、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、有線または無線の伝送媒体を介して送信される動画作成プログラムを通信部１０９で受信して、記憶部１０８にインストールすることができる。その他、動画作成プログラムは、ＲＯＭ１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【００２２】
なお、動画作成装置１００が実行する動画作成プログラムは、本明細書で説明する順序に沿って時系列に処理が行われる動画作成プログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われる動画作成プログラムであってもよい。
【００２３】
前述した動画作成処理をソフトウェアにより実行する場合、一連の処理を１つのアプリケーションプログラムで実現してもよいし、機能的に分割した複数のアプリケーションプログラムで実現してもよい。
【００２４】
次に、図２のフローチャートを参照しながら本実施形態の動画作成処理手順の一例を説明する。
処理が開始されると、ステップＳ２１において動画作成画面をディスプレイ１１５に表示する動画作成画面表示処理が行われる。本実施形態の動画作成方法において用いる動画作成画面には、図３に示すように、音楽素材を配置するための楽曲トラックと、写真素材（静止画素材）を配置するための写真トラック、及び静止画素材に付加する映像効果を配置するためのエフェクトトラック（映像効果トラック）が複数設けられていて、これらのトラックを独立して操作することができる。
【００２５】
さらに、映像効果トラックは、「区間トラック」と「瞬間トラック」とで構成される。「区間トラック」上に配置された映像オブジェクトによる映像効果処理は、タイムライン上に配置された次の映像オブジェクト位置まで継続される。一方、「瞬間トラック」上に配置された映像オブジェクトによる映像効果処理は、配置タイミングを中心とした前後の短い時間のみ行われる。
【００２６】
図３に示したように、本実施形態においては、エフェクトトラックとして、切り替えトラック、フレームトラック、フォーカストラック、カメラトラック、照明トラック、背景トラック、テキストトラック、イラストトラック、スクリーントラック等が設けられている。また、映像トラックごとに、さらに区間映像トラックと瞬間映像トラックを設けている。さらに、それぞれの映像トラックに対応して、複数の映像スタイルが用意されており、さらに各スタイルには複数のパターンの映像オブジェクトが用意され、それぞれの映像オブジェクト毎に映像効果のレベル設定ができる。
【００２７】
また、これらのトラックに対応するタブが複数設けられていて、入力するトラックに対応するタブをクリックすることにより、所望の素材を選択することができるように構成されている。図３の例では、「フレームタブ」が選択されていて、選択画面には「矩形」、「手書き風」、「額縁」、「ガラス」、「スタンプ」・・・等が選択可能に表示されている。フレームの「映像効果」は、写真を表示する形状、例えば、４角形やハート形などの形状に表示するためのデータである。
【００２８】
図４は、「楽曲タブ」が選択された状態の一例を示している。この例では、「その１」〜「その３」の楽曲が表示されていて、「その３」が選択されている様子を示している。
図５は、「写真タブ」が選択された状態の一例を示していて、「写真Ａ」、「写真Ｂ」、「写真Ｃ」、「写真Ｄ」・・・等の写真が選択可能に表示されている。
【００２９】
図６は、「切り替えタブ」が選択された状態の一例を示している。切り替えの「映像効果」は、各写真をどのようにモーションさせながら切り替え表示をするかを決めるためのデータである。この例では、スタイル名のウィンドに「ツイスト」、「リバース」、「インサイドキューブ」等の映像効果が選択可能に表示されている。また、パターン名のウィンドに「ノーマル」、「左旋回」、「右旋回」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。
【００３０】
効果レベルは、例えば「左旋回」というパターンの映像オブジェクトであれば、効果レベルの値が小さいほどゆっくり旋回し、大きいほどはやく旋回するようにしてもよいし、効果レベルの値が小さいほど小さい角度で旋回し、大きいほど大きい角度で旋回するようにしてもよい。つまり、効果レベルとは、同じパターンの映像オブジェクトであっても、微妙な映像の違いを表現するためのさじ加減を調整するために用意されているものである。上記例に限らず、同じようなパターンの映像効果についてその映像表現の違いを調整するようなものであれば何でもよい。なお、本項の「切り替え」についての効果レベルだけでなく、次項以降の効果レベルについても同様である。
【００３１】
図７は、「フォーカスタブ」が選択された状態の一例を示している。フォーカスの映像効果は、表示する写真に焦点を合わせる等の効果を施すためのものである。この例では、スタイル名のウィンドに「ズーム」、「パンニング」、「ジャンプ」、「不安定」等の映像効果が選択可能に表示されている。また、パターン名のウィンドに「横方向」、「縦方向」、「斜め方向」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。
【００３２】
図８は、「カメラタブ」が選択された状態の一例を示している。この例では、スタイル名のウィンドに「ズーム」、「パンニング」、「不安定」、「ビートズーム」、「ビートパンニング」等が選択可能に表示されている。また、パターン名のウィンドに「ズームイン（等速）」、「ズームイン（加速）」、「ズームイン（減速）」、「ズームアウト（等速）」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。
【００３３】
図９は、「照明タブ」が選択された状態の一例を示している。この例では、スタイル名のウィンドに「パンニング」、「回転」、「トーチ」、「ビートズーム」、「ビートパンニング」等が選択可能に表示されている。また、パターン名のウィンドに「時計回り（ノーマル）」、「反時計回り（ノーマル）」、「時計回り（リバース）」、「反時計回り（リバース）」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。また、色を選択するためのボタンも表示されている。
【００３４】
図１０は、「背景タブ」が選択された状態の一例を示している。「背景」の映像効果は、表示している写真の背景を任意に選択できるようにするためのデータである。この例では、スタイル名のウィンドに「カラー」、「ノイズ」、「移動」、「不安定」、「星」等が選択可能に表示されている。また、パターン名のウィンドに「縦方向のみ」、「横方向のみ」、「全方向」等が選択可能に表示されている。また、利用写真を選択するウィンドが設けられていて、「フォーカス写真」、「前の写真」、「次の写真」、「ランダム」の選択項目のうち、「フォーカス写真」が選択された状態で表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。
【００３５】
図１１は、「テキストタブ」が選択された状態の一例を示している。「テキスト」は、表示中の写真に重ねて表示するテキストに対する効果データである。この例では、スタイル名のウィンドに「なし」、「ノーマル」、「ズーム」、「伸張」、「スピン」等が選択可能に表示されている。また、パターン名のウィンドに「全文字」、「１文字」、「全文字」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。また、「編集」ボタンをクリックすると、テキストの文字列やフォントの種類、色、テキスト表示位置等を設定するためのウィンドが開くようになっている。
【００３６】
図１２は、「スクリーンタブ」が選択された状態の一例を示している。「スクリーン」はムービー全体に対する映像効果であり、画面全体を暗くしたり、ぼかしたりするデータである。この例では、スタイル名のウィンドに「ノーマル」、「フェードイン」、「フェードアウト」、「ブライト」、「カラー」等が選択可能に表示されている。また、パターン名のウインドに「固定」が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。
【００３７】
本実施形態においては、フレームトラック〜テキストトラックにおいては、複数のエフェクトトラックを設けた例を示している（図３の例では２列）。
すなわち、フレームトラックの上段には、「タイム０：０２」に「矩形、ラウンド大」、「タイム０：１４」に「額縁、リアル」、「タイム０：２８」に「矩形、ラウンド大」、「タイム０：３０」に「ユーザー、回転型」の「映像効果」が配置されている。また、下段には、「タイム０：３３」に「手書き風、矩形」の「映像効果」が配置されている。
【００３８】
フォーカストラックの上段には、「タイム０：０２」に「ノーマル、矩形」、「タイム０：２５」に「ジャンプ」の「映像効果」が配置されている。また、背景トラックの上段には、「タイム０：０２」に「カラー」、「タイム０：１７」に「ノイズ、周期変化」、「タイム０：３０」に「カラー、選択カラー」の「映像効果」が配置されている。また、下段には、「タイム０：２１」に「ノイズ、周期変化」、「タイム０：３７」に「ノイズ、周期変化」の「映像効果」が配置されている。
【００３９】
前述したような、「動画作成画面」に対して、ユーザーがマウス１１３を操作することにより動画作成処理が実行される。すなわち、ステップＳ２２においては、ユーザーにより楽曲選択が終了したか否かが判断される。この判断の結果、楽曲選択が終了していない場合には待機状態となる。また、ステップＳ２２の判断の結果、楽曲選択が終了した場合にはステップＳ２３に進む。本実施形態においては、図４を参照しながら説明したように、「その３」が選択されているので、ステップＳ２２からステップＳ２３に進む。ステップＳ２３においては、音楽同期情報を検出する処理を行う。処理の詳細は、図１３のフローチャートを参照しながら後述する。音楽同期情報の検出処理が終了したら、次に、ステップＳ２４に進む。
【００４０】
ステップＳ２４においては、写真選択が終了したか否かが判断される。この判断の結果、写真選択が終了していない場合には待機状態となる。また、ステップＳ２４の判断の結果、写真選択が終了して写真トラックに写真が配置された場合にはステップＳ２５に進む。
ステップＳ２５においては、ステップＳ２４で写真トラックに配置された画像に所定の編集処理（エフェクト処理）を施すために、切り替えトラック〜スクリーントラックのそれぞれに、図４〜図１２を参照しながら説明した「映像効果」が入力されるのを待機する。そして、各エフェクトトラックに「映像効果」が入力されたら、ステップＳ２６に進む。前述したＳ２２〜Ｓ２５の各工程が情報入力工程となる。
【００４１】
ステップＳ２６においては、ステップＳ２２〜ステップＳ２５の各工程において、動画作成画面に入力された情報に基いて動画作成処理が行われる。本実施形態における動画作成処理は、先ず、楽曲素材に対応した音楽の同期情報検出を行い、同期情報を作成する。この同期情報は、楽曲を周波数分析する周知の手法等により得られたタイミング及び音圧レベルなどから分析して作成することができ、種々の特徴情報として用いる。
【００４２】
本実施形態においては、特徴情報として、「グリッド情報」、「ドラム情報」、「盛り上がり情報」、「イントロ／エンディング情報」を用いた例を示している。ここで、「グリッド情報」は、周期的な音圧ピークのタイミング、パワー、信頼性で構成される情報配列である。「ドラム情報」は、低音域の音圧ピークが周期的に現れる区間の情報配列である。
【００４３】
「盛り上がり情報」は、広範囲の周波数帯で高い音圧ピークが頻発する区間の情報配列である。具体的には、（イ）音の高低が大きい。（ロ）音量が大きい。（ハ）音が多い（楽器、音数が多い）。（ニ）高低の変化が大きい、等の区間を盛り上がり区間と称している。「イントロ／エンディング情報」は、フェードインやフェードアウトや大きな音で始まる／終わる、ドラムなしで始まる／終わる、長い音が出ている区間、等の情報配列である。これらの特徴情報を取得する処理手順の一例を、図１３を参照しながら後述する。以上の特徴情報を利用して、以下のような音楽同期映像効果処理を施す。
【００４４】
写真トラックに配置された各画像に対して「映像効果」に従った処理を個々に実行する。これにより、１つの「静止画」に対して複数の映像処理を施すことが可能となり、従来のように、映像効果処理の種類を大量に用意することなく、変化に富んだ多彩な演出効果を施した動画を生成することができる。動画作成処理が終了したら、次に、ステップＳ２７に進む。
【００４５】
ステップＳ２７においては、ステップＳ２６で作成した動画の再生処理が行われる。この動画再生処理が行われている期間中は、予め設定されている所定のタイミングでステップＳ２８に進み、ユーザー（操作者）により動画再生処理の中断操作が行われるか否かを判断する。この判断の結果、ユーザーにより中断操作が行われた場合には、動画再生中であってもステップＳ２２に戻り、ステップＳ２２〜ステップＳ２５の動画作成工程により作成された動画を編集可能な編集画面を表示する表示制御が行われる。これにより、ステップＳ２２〜ステップＳ２５において所望の効果を追加したり、変更したりする編集処理を行うことが可能となる。そして、編集結果に基いて、ステップＳ２６において動画作成処理が行われる（この場合、動画編集処理となる）。これにより、動画作成結果を確認しながら編集作業を自由に行うことができる。また、ステップＳ２８の判断の結果、ユーザーによる中断操作が行われなかった場合にはステップＳ２９に進む。
【００４６】
ステップＳ２９においては、動画再生処理が終了したか否かを判断する。この判断の結果、動画再生処理が終了していない場合にはステップＳ２２に戻る。この場合、ユーザーによる中断操作が行われないので、ステップＳ２２〜ステップＳ２６はスルーとなり、ステップＳ２７の動画再生処理が続行する。また、ステップＳ２９の判断の結果、動画再生処理が終了した場合にはエンド処理となる。
【００４７】
本実施形態においては、前述のようにして動画作成を行うことにより、映像効果処理の種類を大量に用意することなく、変化に富んだ多彩な演出効果を施した動画を生成することができる。
【００４８】
次に、図１３のフローチャートを参照しながら特徴情報を検出する処理手順の一例を説明する。
処理が開始されると、ステップＳ２３１においてグリッド情報、ステップＳ２３２においてドラム情報、ステップＳ２３３において盛り上がり情報、ステップＳ２３４においてイントロ／エンディング情報、ステップＳ２３５においてその他の特徴情報を検出する。以上のステップＳ２３１〜Ｓ２３５で、楽曲トラックに配置された楽曲素材に対応した音楽の同期情報を検出する同期情報検出処理が行われる。
【００４９】
次に、ステップＳ２３１〜Ｓ２３５で検出される特徴情報に同期した映像効果処理の例を説明する。
グリッド情報に同期した映像効果処理の例としては、（ａ）写真の登場と退出時刻を同期タイミングに一致させる。（ｂ）フォーカス、カメラ、照明をビートに合わせてパンニングする。（ｃ）パワーや信頼性が高いタイミングで、照明、背景をフラッシュしたり色変更したりする。ここで、パワーとはグリッド位置（ビートやサブビートなどのタイミング）における音圧ピークに対応する情報であり、信頼性とはグリッド位置の信頼性を示す情報である。
【００５０】
ドラム情報に同期した映像効果処理の例としては、（ａ）ドラム区間は写真モーション加速度を大きくし、逆にドラムなし区間は写真モーション加速度を小さくするとともに写真の登場退出時刻をグリッドタイミングからわざとずらす。（ｂ）ドラムなし区間は、グリッドに同期した映像処理はできるだけ控え目にする。（ｃ）ドラムなし区間は、写真の切り替え頻度をドラム区間より低くする。
【００５１】
盛り上がり情報に同期した映像効果処理の例としては、（ａ）盛り上がり区間では写真の切り替え頻度を通常の区間よりも高くする。（ｂ）盛り上がり区間では、いろんな映像効果の効果レベル値を高くして大げさにする。（ｃ）盛り上がり区間では、一度に登場する写真の枚数を多くする、あるいは同じ写真をたくさん並べるなどして賑やかな雰囲気にする。
イントロ／エンディング情報に同期した映像効果処理の例としては、（ａ）この区間では、写真の切り替えは極力行わない。（ｂ）イントロでは、写真をズームアップしたりフェードインしたりする（エンディングはその逆）、等である。（ｃ）イントロやエンディングが大きい音で始まったり終わったりする曲では、瞬間的に画面をフラッシュしたり写真をズームアップしたり色を変化させたりする。（ｄ）イントロやエンディングが長い音で始まったり終わったりする曲では、長い音の区間では写真を切り替えないようにする。
【００５２】
前述のような特徴情報を用いることにより得られる効果としては、例えば、ドラムのないビートが不明確なアカペラなどの部分では、ゆったりとした演出にでき、逆にドラムが鳴ってビートがはっきりしている部分では、メリハリの効いた乗りのよい演出にできる。また、曲の始まりや終わりの感じに相応しい演出にできる。さらに、曲の盛り上がりで、気分を盛り上げてくれるような演出にすることができる、等の顕著な効果を得ることができる。
【００５３】
次に、図１４及び図１５を参照しながら、動画作成の具体例を説明する。
図１４に示すように、この例では、切り替えトラックには「タイム０：１２」付近に「リバース」の「映像効果」、「タイム０：１６」付近には、上段には「パレード」の「映像効果」、下段には「左奥→右手前（シンクロ）」の「映像効果」が配置されている。また、「タイム０：２４」付近には、上段には「合体」の「映像効果」、下段には「右が手前で左が奥（ｘ軸回転）」の「映像効果」が配置されている。
【００５４】
また、フレームトラックには「タイム０：０９」付近に「矩形、ラウンド大」の「映像効果」が配置されている。また、フォーカストラックには、「タイム０：１２」に「ジャンプ」の「映像効果」が配置されている。また、カメラトラックには、「タイム０：０９」付近に「ビートズーム３拍子」の「映像効果」が配置されている。
【００５５】
写真トラックに配置されている各写真は、図１４中において台形で示したように、フェードイン〜全表示〜フェードアウトによりディスプレイ１１５に表示される。具体的に説明すると、写真１は、「タイム０：０８」付近においてフェードインを開始する。そして、「タイム０：０９」付近においてフェードインを終了して全表示となる。その後、「タイム０：１０」を少し過ぎた付近でフェードアウトを開始し、「タイム０：１２」付近でフェードアウトを終了する。
【００５６】
また、写真２は、写真１がフェードアウトを開始した「タイム０：１０」付近でフェードインを開始する。そして、写真１がフェードアウトを終了した時刻にフェードインを終了して全表示となる。したがって、写真１がフェードアウトを開始してからフェードアウトを終了するまでの期間は、写真１と写真２とがディスプレイ１１５にオーバーラップして表示される。
【００５７】
写真２は、「タイム０：１５」付近でフェードアウトを開始し、「タイム０：１６」付近でフェードアウトを終了する。また、写真３は、写真２がフェードアウトを開始した「タイム０：１５」付近でフェードインを開始する。そして、写真２がフェードアウトを終了した時刻にフェードインを終了して全表示となる。その後、「タイム０：２５」付近でフェードアウトを開始し、「タイム０：２５」付近でフェードアウトを終了する。また、写真４は、写真３がフェードアウトを開始した「タイム０：２５」付近でフェードインを開始する。そして、写真３がフェードアウトを終了した時刻付近でフェードインを終了して全表示となる。
【００５８】
各エフェクトトラックに、前述のような「映像効果」が配置されることにより写真トラックに配置されている写真は、図１５（１)〜（８）に示すように処理されて動画作成が行われる。すなわち、図１５（１)において、フォーカス「ジャンプ」（ビート明確区間）で表示されていた写真２は、図１５（２）に示すように、「ジャンプ効果」が付与される。この場合、ビートで左右にパンされる。
【００５９】
次に、図１５（３）に示すように、同期時刻直前に写真を大きく回転させるひねり処理が施される。次に、図１５（４）に示すように、同期時刻で回転を瞬時に戻す処理が施されて、パンチ感が与えられる。グリッド情報における同期時刻のパワーや信頼性が高い場合には、この例のように、同期時刻に合わせて瞬間的に映像に大きな変化を加えると、音楽に合った非常に効果的な演出になる。
【００６０】
次に、図１５（５）に示すように、「パレード」の「映像効果」が開始されて、盛り上がり区間の開始となる。図１５（６）「パレード」の「映像効果」が継続されていて、盛り上がり効果を演出している。この例では、同じ写真をたくさん登場させることで盛り上がり感を演出するようにしているが、いろんな写真を同時にたくさん登場させるような演出をしても効果的である。その後、図１５（７）は、「切り替え（合体）が開始され、盛り上がり演出が終了する。図１５（８）は、「切り替え（合体）が継続中で、非盛り上がり区間である。非盛り上がり区間では、賑やかな演出にならないようにすることで音楽に合った演出にできる。
【００６１】
本発明における動画生成の手法としては、３次元座標を持つポリゴンデータに写真画像テクスチャを貼り付けてアニメーションさせ、それに照明効果や色調変更などの画像処理を施し、カメラワーク的な座標変換を行った上で２次元座標に投影した画像をレンダリングによって生成するなど、ごく一般的に行われている周知の技術を応用することができる。
【００６２】
前述したように、本実施形態においては、夫々の効果毎に、複数の「スタイル」データ、及び複数「パターン」データを有しているので、写真に付与可能な効果は、「映像トラック」×「スタイル」×「パターン」の数だけ得ることができる。したがって、映像効果の種類をたくさん所持することなく莫大な種類で変化に富んだ演出効果を実現することができる。
【００６３】
（第２の実施形態）
本実施形態においては、楽曲素材に対応した音楽同期情報（同期タイミング情報）を有する。この同期情報は、楽曲を周波数分析する周知の手法等により得られたビートタイミングや音圧レベルなどの特徴検出情報であるが、ユーザー自身が楽曲全体あるいは楽曲の一部を聴きながらタップするなどの手入力によって得られる情報であってもよい。音楽同期情報は、図３及び図１３において、ムービーの時間情報のタイミングとは別に、楽曲トラック上に貼り付けられている楽曲に対応する音楽同期情報のタイミングで縦方向に示されている情報である。上記の図例では、音楽同期情報は、例えばビートやサブビート、小節先頭など周期的なタイミング情報を示すものであるが、これに限らず、イントロやエンディング区間、あるいは盛り上がり区間など、楽曲の特徴に対応した区間的な情報を示すものであってもよい。
【００６４】
本実施形態のように、音楽同期情報を有することにより、タイムライン上の楽曲トラックに配置された楽曲素材とそれに対応する同期情報とにより、それ以外のトラックに後から入力されるオブジェクトは、楽曲に対応した楽曲同期情報に基づいて、同期時刻に対応するマークを、前記動画作成画面に自動的に配置するように表示制御することが可能になる。
【００６５】
また、同期グリッドをオンオフするモードを設け、グリッドオンのときは最寄りの同期タイミングに自動配置され、グリッドオフのときはポインティングデバイス等で指示したタイミングに自動配置されるようにすることができる。配置後のタイムライン上の写真素材のフェードインフェードアウト時刻の変更や映像オブジェクトの切り替えタイミング時刻の変更等の編集もこれに準じる。
【００６６】
グリッドオンのときは、グリッド位置をタイムライン上に判別できるように表示する。前記の「フレーム」、「フォーカス」、「カメラ」、「照明」、「背景」、「テキスト」、「スクリーン」の各映像効果は、写真（静止画）、テキスト、イラスト等の映像素材を利用して、前記の同期情報に基づいてリアルタイムに映像処理を行うことで、楽曲に同期したムービーを作成して再生することができる。
【００６７】
映像が楽曲に同期するのは、ある映像スタイルから次の映像スタイルへ切り替わるタイミングのみではない。例えば、「フォーカス」や「照明」などの映像効果スタイルの中には、「ビートパンニング」という映像スタイルが用意されているが、このスタイルに属する映像オブジェクトを映像トラックに配置した場合、楽曲の同期情報に対応するビート位置に合わせてパンニングするような映像処理を行うようにする。
【００６８】
また、「フレーム」や「テキスト」、「カメラ」などの映像効果スタイルの中には、「ビートズーム」という映像スタイルが用意されているが、それに属する映像オブジェクトを映像トラックに配置した場合、ビートに合わせてズームするような映像処理を行うようにする。
【００６９】
これに限らず、各映像トラックに対応した映像スタイルには、同期情報に同期する映像処理に関連するものを含んでおり、これらの映像スタイルの映像オブジェクトを配置した場合には、次の映像スタイル時刻までの間に、周期的あるいは瞬間的な映像表現などの映像処理を行うようにする。さらに、本実施例にはないが、「イラスト」という映像トラックを用意して、選択したイラスト素材を、選択した映像スタイルに対応した映像処理を行うようにしてもよい。
【００７０】
ムービー編集中に、編集途中のムービーデータを再生しながら、選択した映像オブジェクトの入力操作を行うと、ムービー再生ポインタに対応した位置に、前記グリッドモードに応じて自動的に配置される。
【００７１】
（本発明の他の実施形態）
前述した実施形態の機能を実現するべく各プログラムコードを動作させるように、前記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納された動画作成プログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００７２】
また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記録する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７３】
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれる。
【００７４】
さらに、コンピュータ読み取り可能な記憶媒体から供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれる。
【符号の説明】
【００７５】
Ｓ２１  動画作成画面表示工程、Ｓ２２  楽曲選択工程、Ｓ２３  写真選択工程、Ｓ２４  映像効果入力工程、Ｓ２５  動画作成工程、Ｓ２６  動画再生工程、Ｓ２７  編集操作受付工程、Ｓ２８  終了判断工程
【図１】
0005551403.tif 000002
【図２】
0005551403.tif 000003
【図３】
0005551403.tif 000004
【図４】
0005551403.tif 000005
【図５】
0005551403.tif 000006
【図６】
0005551403.tif 000007
【図７】
0005551403.tif 000008
【図８】
0005551403.tif 000009
【図９】
0005551403.tif 000010
【図１０】
0005551403.tif 000011
【図１１】
0005551403.tif 000012
【図１２】
0005551403.tif 000013
【図１３】
0005551403.tif 000014
【図１４】
0005551403.tif 000015
【図１５】
0005551403.tif 000016