(57)【要約】【課題】だれでも簡単に高度な編集を行うことができるようにする。【解決手段】素材画像供給部２１は、予め再生する順番に並べられた画像データを蓄積し、操作入力部２３から供給される操作信号に基づいて、画像データを画像再生部２４に供給し、画像再生部２４が、画像データをデコードして再生する。音声供給部２２は、予め指定された音声データを音声再生部２５に供給し、音声再生部２５は、音声データをデコードして再生する。編集操作処理が開始されると、ユーザは、スピーカから出力される音声や楽曲を聴きながら、ディスプレイに表示される再生された素材画像を視て、素材画像を切り替えるタイミングを、操作入力部２３を介して指定し、操作記録部２６は、操作入力部２３から出力される操作信号であって、素材画像の切り替えを指令する操作信号を時刻に対応付けて、操作情報として記録する。【選択図】図１
2012084957.tif 000002
【特許請求の範囲】
【請求項１】
画像と音声とにより構成されるコンテンツを生成するコンテンツ編集装置であって、
コンテンツ編集操作処理を実行する場合、
前記コンテンツを構成する音声の音声データを供給する第１の音声供給手段と、
前記供給された音声データを再生する第１の音声再生手段と、
前記再生された音声を出力する出力手段と、
予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給する第１の素材画像供給手段と、
前記供給された画像データを再生する第１の画像再生手段と、
前記再生された画像データを表示する画像表示手段と、
前記ユーザによる切り替えの指令に係る操作が行われた時刻を前記音声データの供給が開始された時刻からの経過時刻に対応づけて操作情報として記録する操作情報記録手段と、
コンテンツファイル生成処理を実行する場合、
前記コンテンツを構成する音声の音声データを供給する第２の音声供給手段と、
前記供給された音声データを再生する第２の音声再生手段と、
予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給する第２の素材画像供給手段と、
前記供給された画像データを再生する第２の画像再生手段と、
前記再生された音声および画像をキャプチャするキャプチャ手段と、
前記キャプチャされた音声および画像のデータをエンコードして前記コンテンツのファイルを生成するエンコード手段と
を備えるコンテンツ編集装置。
【請求項２】
画像と音声とにより構成されるコンテンツを生成するコンテンツ編集装置のコンテンツ編集方法であって、
コンテンツ編集操作処理を実行する場合、
第１の音声供給手段が、前記コンテンツを構成する音声の音声データを供給し、
第１の音声再生手段が、前記供給された音声データを再生し、
出力手段が、前記再生された音声を出力し、
第１の素材画像供給手段が、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給し、
第１の画像再生手段が、前記供給された画像データを再生し、
画像表示手段が、前記再生された画像データを表示し、
操作情報記録手段が、前記ユーザによる切り替えの指令に係る操作が行われた時刻を前記音声データの供給が開始された時刻からの経過時刻に対応づけて操作情報として記録し、
コンテンツファイル生成処理を実行する場合、
第２の音声供給手段が、前記コンテンツを構成する音声の音声データを供給し、
第２の音声再生手段が、前記供給された音声データを再生し、
第２の素材画像供給手段が、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給し、
第２の画像再生手段が、前記供給された画像データを再生し、
キャプチャ手段が、前記再生された音声および画像をキャプチャし、
エンコード手段が、前記キャプチャされた音声および画像のデータをエンコードして前記コンテンツのファイルを生成する
ステップを含むコンテンツ編集方法。
【請求項３】
コンピュータを、
画像と音声とにより構成されるコンテンツを生成するコンテンツ編集装置であって、
コンテンツ編集操作処理を実行する場合、
前記コンテンツを構成する音声の音声データを供給する第１の音声供給手段と、
前記供給された音声データを再生する第１の音声再生手段と、
前記再生された音声を出力する出力手段と、
予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給する第１の素材画像供給手段と、
前記供給された画像データを再生する第１の画像再生手段と、
前記再生された画像データを表示する画像表示手段と、
前記ユーザによる切り替えの指令に係る操作が行われた時刻を前記音声データの供給が開始された時刻からの経過時刻に対応づけて操作情報として記録する操作情報記録手段と、
コンテンツファイル生成処理を実行する場合、
前記コンテンツを構成する音声の音声データを供給する第２の音声供給手段と、
前記供給された音声データを再生する第２の音声再生手段と、
予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給する第２の素材画像供給手段と、
前記供給された画像データを再生する第２の画像再生手段と、
前記再生された音声および画像をキャプチャするキャプチャ手段と、
前記キャプチャされた音声および画像のデータをエンコードして前記コンテンツのファイルを生成するエンコード手段と
を備えるコンテンツ編集装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ編集装置および方法、並びにプログラムに関し、特に、だれでも簡単に高度な編集を行うことができるようにするコンテンツ編集装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来より、複数の素材となる画像をつなぎ合わせて１つの動画コンテンツを生成する、コンテンツの編集のための技術が提案されている。また、カムコーダやレコーダの低価格化などにより、一般家庭においても、気軽に動画コンテンツの編集を行うことができるソフトウェアなどのツールも普及し始めている。
【０００３】
コンテンツの編集を行うにあたり、画像や音声に係る情報を表示する際には、数値や画像などをそのまま表示するだけでなく、例えば、タイムライン表示するなど、視覚的に分かりやすい表示方式が工夫されている。
【０００４】
タイムライン表示を用いたコンテンツの編集では、通常、横軸が時間とされたＧＵＩ画面などにおいて、複数の素材となる画像データのそれぞれのＩＮ点、ＯＵＴ点を指定するなどして、１つの動画コンテンツが生成されていく。
【０００５】
従来より、タイムラインの表示として音声信号や画素の輝度値の変化などの波形の画像を表示する例が知られている。
【０００６】
また、タイムライン表示エリア内に字幕設定ボックスを割り付けることで、字幕を再生している期間が適切か否かを容易に判断でき、１つの字幕用データを、複数の人で作成できるようにする技術も提案されている（例えば、特許文献１参照）。
【０００７】
【特許文献１】特開２０１０−１５７９６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の技術のように、時間軸が設定されたタイムライン表示を基に素材となる画像をつなぎ合わせていく方式では、プロのエディターのような高度な編集を行うことができなかった。
【０００９】
すなわち、素材となる画像をＢＧＭなどに合わせて切り替えるなどの編集をうまく行うことができなかった。このため、できあがった動画コンテンツを再生したとき、いわゆる素人くさい作品となってしまうことが多かった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、だれでも簡単に高度な編集を行うことができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面は、画像と音声とにより構成されるコンテンツを生成するコンテンツ編集装置であって、コンテンツ編集操作処理を実行する場合、前記コンテンツを構成する音声の音声データを供給する第１の音声供給手段と、前記供給された音声データを再生する第１の音声再生手段と、前記再生された音声を出力する出力手段と、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給する第１の素材画像供給手段と、前記供給された画像データを再生する第１の画像再生手段と、前記再生された画像データを表示する画像表示手段と、前記ユーザによる切り替えの指令に係る操作が行われた時刻を前記音声データの供給が開始された時刻からの経過時刻に対応づけて操作情報として記録する操作情報記録手段と、コンテンツファイル生成処理を実行する場合、前記コンテンツを構成する音声の音声データを供給する第２の音声供給手段と、前記供給された音声データを再生する第２の音声再生手段と、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給する第２の素材画像供給手段と、前記供給された画像データを再生する第２の画像再生手段と、前記再生された音声および画像をキャプチャするキャプチャ手段と、前記キャプチャされた音声および画像のデータをエンコードして前記コンテンツのファイルを生成するエンコード手段とを備えるコンテンツ編集装置である。
【００１２】
本発明の一側面は、画像と音声とにより構成されるコンテンツを生成するコンテンツ編集装置のコンテンツ編集方法であって、コンテンツ編集操作処理を実行する場合、第１の音声供給手段が、前記コンテンツを構成する音声の音声データを供給し、第１の音声再生手段が、前記供給された音声データを再生し、出力手段が、前記再生された音声を出力し、第１の素材画像供給手段が、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給し、第１の画像再生手段が、前記供給された画像データを再生し、画像表示手段が、前記再生された画像データを表示し、操作情報記録手段が、前記ユーザによる切り替えの指令に係る操作が行われた時刻を前記音声データの供給が開始された時刻からの経過時刻に対応づけて操作情報として記録し、コンテンツファイル生成処理を実行する場合、第２の音声供給手段が、前記コンテンツを構成する音声の音声データを供給する音声供給手段と、第２の音声再生手段が、前記供給された音声データを再生し、第２の素材画像供給手段が、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給し、第２の画像再生手段が、前記供給された画像データを再生する画像再生手段と、キャプチャ手段が、前記再生された音声および画像をキャプチャし、エンコード手段が、前記キャプチャされた音声および画像のデータをエンコードして前記コンテンツのファイルを生成するステップを含むコンテンツ編集方法である。
【００１３】
本発明の一側面は、コンピュータを、画像と音声とにより構成されるコンテンツを生成するコンテンツ編集装置であって、コンテンツ編集操作処理を実行する場合、前記コンテンツを構成する音声の音声データを供給する第１の音声供給手段と、前記供給された音声データを再生する第１の音声再生手段と、前記再生された音声を出力する出力手段と、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給する第１の素材画像供給手段と、前記供給された画像データを再生する第１の画像再生手段と、前記再生された画像データを表示する画像表示手段と、前記ユーザによる切り替えの指令に係る操作が行われた時刻を前記音声データの供給が開始された時刻からの経過時刻に対応づけて操作情報として記録する操作情報記録手段と、コンテンツファイル生成処理を実行する場合、前記コンテンツを構成する音声の音声データを供給する第２の音声供給手段と、前記供給された音声データを再生する第２の音声再生手段と、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給する第２の素材画像供給手段と、前記供給された画像データを再生する第２の画像再生手段と、前記再生された音声および画像をキャプチャするキャプチャ手段と、前記キャプチャされた音声および画像のデータをエンコードして前記コンテンツのファイルを生成するエンコード手段とを備えるコンテンツ編集装置として機能させるプログラムである。
【００１４】
本発明一側面においては、コンテンツ編集操作処理を実行する場合、前記コンテンツを構成する音声の音声データが供給され、前記供給された音声データが再生され、前記再生された音声が出力され、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データが、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給され、前記供給された画像データが再生され、前記再生された画像データが表示され、前記ユーザによる切り替えの指令に係る操作が行われた時刻が前記音声データの供給が開始された時刻からの経過時刻に対応づけられて操作情報として記録され、コンテンツファイル生成処理を実行する場合、前記コンテンツを構成する音声の音声データが供給され、前記供給された音声データが再生され、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データが、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給され、前記供給された画像データが再生され、前記再生された音声および画像がキャプチャされ、前記キャプチャされた音声および画像のデータがエンコードされて前記コンテンツのファイルが生成される。
【発明の効果】
【００１５】
本発明によれば、だれでも簡単に高度な編集を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施の形態に係るコンテンツ編集装置の構成例を示すブロック図である。
【図２】コンテンツ編集装置における編集操作処理の際に表示されるＧＵＩの画面の例を示す図である。
【図３】従来のタイムライン表示による編集の例を説明する図である。
【図４】本発明による編集の例を説明する図である。
【図５】編集操作処理の例を説明するフローチャートである。
【図６】コンテンツファイル作成処理の例を説明するフローチャートである。
【図７】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本発明の実施の形態について説明する。図１は、本発明の一実施の形態に係るコンテンツ編集装置１０の構成例を示すブロック図である。
【００１８】
同図の例では、コンテンツ編集装置１０に、素材画像供給部２１、音声供給部２２、操作入力部２３、画像再生部２４、音声再生部２５、操作記録部２６、タイマ２７が設けられている。また、コンテンツ編集装置１０に、キャプチャ処理部３１、エンコーダ３２、画像表示部３３、および音声出力部３４が設けられている。
【００１９】
コンテンツ編集装置１０は、音声や楽曲にのせて素材となる画像を順次切り替えたコンテンツのデータ（コンテンツファイルと称することにする）を生成するようになされている。最初に、ユーザは、コンテンツ編集装置１０を用いて音声や楽曲を聴きながら、素材となる画像を順次切り替える操作を行う編集操作処理を行う。その後、音声データと画像データを一体化したコンテンツファイルを生成するコンテンツファイル生成処理が行われる。
【００２０】
素材画像供給部２１は、予め再生する順番に並べられた画像データを蓄積し、操作入力部２３から供給される操作信号に基づいて、画像データを画像再生部２４に供給するようになされている。画像データは、例えば、ＪＰＥＧ方式でエンコードされた静止画の画像データであってもよいし、ＭＰＥＧ方式でエンコードされた動画の画像データであってもよい。
【００２１】
なお、素材画像供給部２１に蓄積される画像データは、素材画像と称される。素材画像の蓄積については後述する。
【００２２】
例えば、操作入力部２３に接続される図示せぬキーボードの所定のキーが押下されたとき、素材画像供給部２１に操作信号が出力される。これにより、素材画像供給部２１が、それまで画像再生部２４に供給していた画像データの次の順番の画像データを画像再生部２４に供給するようになされている。
【００２３】
画像再生部２４は、操作入力部２３から供給される操作信号に基づいて、素材画像供給部２１から供給される画像データをデコードするなどして再生する。画像再生部２４は、例えば、操作入力部２３から再生開始の指令に対応する操作信号が供給されたとき、素材画像供給部２１から供給される画像データの再生処理を開始するようになされており、操作入力部２３から再生終了の指令に対応する操作信号が供給されたとき、素材画像供給部２１から供給される画像データの再生処理を終了するようになされている。
【００２４】
音声供給部２２は、予め指定された音声データであって所定の形式（例えば、ｍｐ３など）で符号化された音声データを蓄積し、操作入力部２３から供給される操作信号に基づいて、音声データを音声再生部２５に供給するようになされている。音声データは、例えば、ＣＤなどに記録された楽曲をそのままコピーしたものでもよいし、プレイリストに従って再生されるものでもよい。
【００２５】
例えば、操作入力部２３に接続される図示せぬキーボードの上述した所定のキーが押下されたとき、素材画像供給部２１とともに音声供給部２２にも操作信号が出力される。これにより、音声供給部２２が、音声データを音声再生部２５に供給するようになされている。つまり、音声データの供給が開始されるとともに、第１番目の素材画像の画像データの供給が開始されるようになされており、音声データと画像データとが同期して供給されるようになされている。
【００２６】
音声再生部２５は、操作入力部２３から供給される操作信号に基づいて、音声供給部２２から供給される音声データをデコードするなどして再生する。音声再生部２５は、例えば、操作入力部２３から再生開始の指令に対応する操作信号が供給されたとき、音声供給部２２から供給される音声データの再生処理を開始するようになされており、操作入力部２３から再生終了の指令に対応する操作信号が供給されたとき、音声供給部２２から供給される音声データの再生処理を終了するようになされている。
【００２７】
編集操作処理においては、画像再生部２４により再生された画像のデータは、画像表示部３３に供給される。画像表示部３３は、画像再生部２４により再生された画像のデータとＧＵＩ画像のデータとを必要に応じて合成するなどして画像信号を生成し、図示せぬディスプレイに出力するようになされている。これにより、ユーザは、素材画像が順次再生された画像を視ることができる。
【００２８】
また、編集操作処理においては、音声再生部２５により再生された音声のデータは、音声出力部３４に供給される。音声出力部３４は、音声再生部２５により再生された音声のデータに基づいて音声信号を生成し、図示せぬスピーカに出力するようになされている。これにより、ユーザは、再生された音声や楽曲を聴くことができる。
【００２９】
すなわち、コンテンツ編集装置１０による編集操作処理が開始されると、ユーザは、スピーカから出力される音声や楽曲を聴きながら、ディスプレイに表示される再生された素材画像を視て、素材画像を切り替えるタイミングを、操作入力部２３を介して指定することになる。
【００３０】
また、コンテンツ編集装置１０による編集操作処理が開始されると、タイマ２７が計時を開始し、計時した情報を操作記録部２６に出力するようになされている。
【００３１】
操作記録部２６は、操作入力部２３から出力される操作信号であって、素材画像の切り替えを指令する操作信号を時刻に対応付けて、操作情報として記録するようになされている。すなわち、第１番目の素材画像の再生が開始されてから○○秒後に第２番目の素材画像への切り替えが指令され、その△△秒後に第３番目の素材画像への切り替えが指令され、・・・のような情報が記録されることになる。
【００３２】
また、コンテンツ編集装置１０によるコンテンツファイル生成処理が開始されると、操作記録部２６は、記録された操作情報に対応する操作信号を出力するようになされている。すなわち、操作記録部２６は、第１番目の素材画像の再生が開始されてから○○秒後に第２番目の素材画像への切り替えが指令され、その△△秒後に第３番目の素材画像への切り替えが指令され、・・・のように操作信号を出力することになる。
【００３３】
これにより、素材画像供給部２１は、素材画像の画像データを画像再生部２４に順次供給し、画像再生部２４がこれを再生する。同様に、音声供給部２２は、音声データを音声再生部２５に供給し、音声再生部２５がこれを再生する。
【００３４】
なお、コンテンツファイル生成処理が実行される場合、画像再生部２４が再生した画像がディスプレイに表示されることはなく、音声再生部２５が再生した音声がスピーカから出力されることはない。また、コンテンツファイル生成処理が実行される場合、例えば、画像再生部２４の再生レートと音声再生部２５の再生レートが通常の再生レートの２倍となるように設定される。
【００３５】
このようにコンテンツ編集装置１０においては、編集操作処理では、操作情報の記録のみが行われ、コンテンツファイルの生成は行われないようになされている。
【００３６】
このようにすることで、例えば、コンテンツ編集装置１０に内蔵されるプロセッサなどの処理負荷を軽減することができ、また、画像の切り替え時にノイズなどが発生することなどを抑止できる。
【００３７】
また、編集操作処理が終了した後、例えば、編集操作の出来栄えを確認するために、コンテンツファイルを生成することなく、操作情報に基づいて画像と音声を再生するプレビュー処理が実行されるようにしても構わない。
【００３８】
コンテンツ編集装置１０のコンテンツファイル生成処理においては、キャプチャ処理部３１が画像再生部２４から出力されたデータと音声再生部２５から出力されたデータとをキャプチャするようになされている。
【００３９】
キャプチャ処理部３１は、キャプチャしたデータをエンコーダ３２に出力し、エンコーダ３２は、キャプチャ処理部３１から出力されるデータを所定の形式（例えば、ＭＰＥＧやＷＭＶなどの方式）で符号化（エンコード）するようになされている。これにより、編集操作処理においてユーザが視聴した音声と画像からなる１つのコンテンツファイルが生成されることになる。
【００４０】
このようにすることで、ユーザは、例えば、ＢＧＭに合わせて画像が変化するコンテンツを生成することができる。コンテンツ編集装置１０を用いることで、例えば、アマチュアの音楽グループが自分で撮影した画像と自分で演奏した楽曲を用いて、プロモーションビデオなどを作成することも可能である。
【００４１】
図２は、コンテンツ編集装置１０における編集操作処理の際に、図示せぬディスプレイに表示されるＧＵＩの画面の例を示す図である。なお、この画面は、例えば、操作入力部２３を介して入力されるユーザの操作に基づいて、素材画像供給部２１により、表示データが生成されて表示されるようになされている。
【００４２】
同図に示される画面１００には、素材画像供給部２１に蓄積されている画像データの一覧を表示するシナリオウィンドウ１０１が設けられている。この例では、シナリオウィンドウ１０１に、各画像データのサムネイル１１１−１乃至サムネイル１１１−６が表示されている。
【００４３】
なお、上述したように、素材画像供給部２１には、予め再生する順番に並べられた画像データが蓄積されており、図中ではサムネイル１１１−１に対応する画像データ、サムネイル１１１−２に対応する画像データ、・・・サムネイル１１１−６に対応する画像データの順に再生されるものとして並べられている。
【００４４】
例えば、ユーザが図示せぬポインティングデバイスなどを操作してサムネイルをドラッグアンドドロップすることにより、画像データの順番を並べ替えることができる。また、図中のボタン１０５をクリックすることにより、リムーバブルメディアなどに記録されている画像データを、素材画像供給部２１にコピーして蓄積できるようになされている。すなわち、ユーザは、素材画像の画像データを、追加、削除したり、順番の並べ替えを行うことができる
【００４５】
このように、ユーザは、シナリオウィンドウ１０１に表示されているサムネイルにより、素材となる画像データの再生の順番を確認することができる。
【００４６】
また、画面１００には、素材ウィンドウ１０２が設けられている。素材ウィンドウ１０２は、素材画像供給部２１に蓄積されている画像データを加工するときに表示されるウィンドウとされる。例えば、ユーザがシナリオウィンドウ１０１に表示されているサムネイルのいずれかをダブルクリックすることにより、素材ウィンドウ１０２が表示される。そして、ユーザは、表示部１０４に表示された画像データの画像を視ながら、パレット１０３に表示されたボタンやバーなどのＧＵＩ部品を操作して、素材となる画像データの画像のトリミング、カット、回転などの加工を行うことができるようになされている。
【００４７】
上述したように、コンテンツ編集装置１０による編集操作処理が開始されると、音声再生部２５が音声供給部２２から供給される音声データをデコードするなどして再生する。また、画像再生部２４が素材画像供給部２１から供給される画像データをデコードするなどして再生する。このとき、シナリオウィンドウ１０１の中で、例えば、最初に再生される画像データのサムネイル１１１−１が中央にハイライトされて表示されるようになされている。また、サムネイル１１１−１の画像データを再生して得られた画像は、例えば、画面１００の一部、または画面１００とは別の画面としてディスプレイに表示されるようになされている。
【００４８】
そして、ユーザが操作入力部２３に接続される図示せぬキーボードの所定のキーを押下すると、サムネイル１１１−２に対応する画像データの再生が開始されることになる。なお、このとき、音声データは、連続して再生されている。
【００４９】
従来より、コンテンツの編集を行うにあたり、画像や音声に係る情報を表示する際には、数値や画像などをそのまま表示するだけでなく、例えば、タイムライン表示するなど、視覚的に分かりやすい表示方式が工夫されている。
【００５０】
タイムライン表示を用いたコンテンツの編集では、通常、横軸が時間とされたＧＵＩ画面などにおいて、複数の素材となる画像データのそれぞれのＩＮ点、ＯＵＴ点を指定するなどして、１つの動画コンテンツが生成されていく。
【００５１】
しかしながら、従来の技術のように、時間軸が設定されたタイムライン表示を基に素材となる画像をつなぎ合わせていく方式では、プロのエディターのような高度な編集を行うことができなかった。
【００５２】
すなわち、素材となる画像をＢＧＭなどに合わせて切り替えるなどの編集をうまく行うことができなかった。
【００５３】
例えば、プロのエディターにより編集された楽曲のプロモーションビデオにおいては、楽曲の進行に同期させて画像の切り替えが行われていることが多い。また、楽曲の中で特に高揚感の高い部分などでは、シンバルなどのパーカッションの拍子に同期して画像が切り替えられる場合もある。
【００５４】
例えば、４分の４拍子の楽曲のテンポが１２０ＢＰＭ（Beats Per Minute）である場合、１拍の長さは０.５秒となるが、シャッフルやスウィングなどのリズムで演奏される楽曲の場合、各１拍の時間的長さが異なるものとなる。加えてシンコペーションなどの技法を取り入れた演奏がなされると、楽曲に同期したタイミングを、画面に視覚的に表示された時間軸上で特定することは極めて困難である。
【００５５】
このため、従来の個人向け編集ツールなどを用いて動画コンテンツを編集しても、できあがった動画コンテンツを再生したとき、いわゆる素人くさい作品となってしまうことが多かった。
【００５６】
そこで、本発明においては、ユーザに、音声データを再生して出力される楽曲を聴きながら、画像の切り替えを指令する操作のみを行わせるようにした。
【００５７】
すなわち、従来の技術による動画コンテンツの編集は、図３に示されるように、ユーザが時間軸とコンテンツの長さを目で確認しながら行われるものであった。すなわち、動画コンテンツのデータを、あたかもフィルムのようにその長さに基づいてカットしてつなぎ合わせるなどして編集されていた。
【００５８】
これに対して、本願発明においては、図４に示されるように、ユーザが楽曲を聴きながら、リズムに合わせて画像を切り替えていくことで動画コンテンツが編集される。尚、図中の菱形の記号により、画像の切り替えの操作が行われたタイミングが示されている。つまり、本発明によれば、ユーザは視覚的な時間軸を意識することなく、聴覚により時間軸を意識して編集を行うことが可能となるのである。
【００５９】
このようにすることで、例えば、楽曲のプロモーションビデオを制作する際に、楽曲の進行に同期させて画像の切り替える編集を簡単に行うことができる。また、楽曲の中で特に高揚感の高い部分などでは、シンバルなどのパーカッションの拍子に同期して画像が切り替えられるようにすることもでき、シャッフルやスウィング、シンコペーションなどの演奏の楽曲に同期したタイミングも、簡単に特定することができる。
【００６０】
従って、本発明によれば、だれでも簡単に高度な編集を行うことができるのである。
【００６１】
次に、図５のフローチャートを参照して、コンテンツ編集装置１０による編集操作処理の例について説明する。
【００６２】
ステップＳ２１において、タイマ２７は計時を開始する。
【００６３】
ステップＳ２２において、音声供給部２２は、予め指定された音声データの音声再生部２５への供給を開始する。
【００６４】
ステップＳ２３において、素材画像供給部２１は、予め再生する順番に並べられた素材画像の画像データの画像再生部２４への供給を開始する。
【００６５】
ステップＳ２４において、音声再生部２５は、音声供給部２２から供給される音声データをデコードするなどして再生する。
【００６６】
ステップＳ２５において、画像再生部２４は、素材画像供給部２１から供給される画像データをデコードするなどして再生する。
【００６７】
ステップＳ２６において、操作入力部２３を介して編集操作処理の終了が指令されたか否かが判定される。
【００６８】
ステップＳ２６において、まだ、編集操作処理の終了が指令されていないと判定された場合、処理は、ステップＳ２７に進む。
【００６９】
ステップＳ２７において、素材画像供給部２１は、操作入力部２３を介して素材画像の切り替えが指令されたか否かを判定し、切り替えが指令されたと判定されるまで待機する。
【００７０】
ステップＳ２７において、切り替えが指令されたと判定された場合、処理は、ステップＳ２８に進む。ステップＳ２８において、素材画像供給部２１は、画像再生部２４に供給する画像データを、次の素材画像の画像データに切り替える。
【００７１】
ステップＳ２９において、操作記録部２６は、ステップＳ２７において指令されたと判定された、操作入力部２３から出力される操作信号をタイマ２７が計時する時刻に対応付けて、操作情報として記録する。
【００７２】
ステップＳ２９の処理の後、処理は、ステップＳ２５に戻り、それ以降の処理が繰り返し実行される。
【００７３】
ステップＳ２６において、編集操作処理の終了が指令されたと判定された場合、編集操作処理は終了する。
【００７４】
このようにして、編集操作処理が実行される。
【００７５】
次に、図６のフローチャートを参照して、コンテンツファイル生成処理の例について説明する。
【００７６】
ステップＳ４１において、音声供給部２２は、音声データの音声再生部２５への供給を開始する。
【００７７】
ステップＳ４２において、素材画像供給部２１は、操作記録部２６から出力される、操作情報に対応する操作信号に基づいて、素材画像の画像データを画像再生部２４に順次供給する。
【００７８】
ステップＳ４３において、音声再生部２５は、音声データを再生する。
【００７９】
ステップＳ４４において、画像再生部２４は、画像データを再生する。
【００８０】
なお、コンテンツファイル生成処理が実行される場合、画像再生部２４が再生した画像がディスプレイに表示されることはなく、音声再生部２５が再生した音声がスピーカから出力されることはない。また、コンテンツファイル生成処理が実行される場合、例えば、画像再生部２４の再生レートと音声再生部２５の再生レートが通常の再生レートの２倍となるように設定される。
【００８１】
ステップＳ４５において、キャプチャ処理部３１は、画像再生部２４から出力されたデータと音声再生部２５から出力されたデータとをキャプチャする。
【００８２】
ステップＳ４６において、エンコーダ３２は、ステップＳ４５の処理でキャプチャされたデータを所定の形式（例えば、ＭＰＥＧやＷＭＶなどの方式）でエンコードする。これにより、編集操作処理においてユーザが視聴した音声と画像からなる１つのコンテンツファイルが生成されることになる。
【００８３】
このようにしてコンテンツファイル生成処理が実行される。
【００８４】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。すなわち、図１に示される各機能ブロックを、コンピュータのプロセッサにより実行されるプログラムなどのソフトウェアにより構成することも可能である。
【００８５】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータにネットワークや記録媒体からインストールされる。また、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図７に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【００８６】
図７において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００８７】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【００８８】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７が接続されている。また、入出力インタフェース７０５には、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【００８９】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着されている。そして、それらのリムーバブルメディアから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【００９０】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【００９１】
なお、この記録媒体は、図７に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【００９２】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９３】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００９４】
１０  コンテンツ編集装置，
２１  素材画像供給部，
２２  音声供給部，
２３  操作入力部，
２４  画像再生部，
２５  音声再生部，
２６  操作記録部，
２７  タイマ，
３１  キャプチャ処理部，
３２  エンコーダ
【図１】
2012084957.tif 000003
【図２】
2012084957.tif 000004
【図３】
2012084957.tif 000005
【図４】
2012084957.tif 000006
【図５】
2012084957.tif 000007
【図６】
2012084957.tif 000008
【図７】
2012084957.tif 000009
【手続補正書】
【提出日】平成23年10月26日(2011.10.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像と音声とにより構成されるコンテンツを生成するコンテンツ編集装置であって、
コンテンツ編集操作処理を実行する場合、
前記コンテンツを構成する音声の音声データを供給する第１の音声供給手段と、
前記第１の音声供給手段により供給された音声データを再生する第１の音声再生手段と、
前記第１の音声再生手段により再生された音声を出力する出力手段と、
予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給する第１の素材画像供給手段と、
前記第１の素材画像供給手段により供給された画像データを再生する第１の画像再生手段と、
前記第１の画像再生手段により再生された画像データを表示する画像表示手段と、
前記ユーザによる切り替えの指令に係る操作が行われた時刻を前記音声データの供給が開始された時刻からの経過時刻に対応づけて操作情報として記録する操作情報記録手段と、
コンテンツファイル生成処理を実行する場合、
前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する音声の音声データを供給する第２の音声供給手段と、
前記第２の音声供給手段により供給された音声データを再生する第２の音声再生手段と、
予め再生される順番に蓄積された、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給する第２の素材画像供給手段と、
前記第２の素材画像供給手段により供給された画像データを再生する第２の画像再生手段と、
前記第２の音声再生手段および第２の画像再生手段により再生された音声および画像をキャプチャするキャプチャ手段と、
前記キャプチャされた音声および画像のデータをエンコードして前記コンテンツのファイルを生成するエンコード手段と
を備えるコンテンツ編集装置。
【請求項２】
画像と音声とにより構成されるコンテンツを生成するコンテンツ編集装置のコンテンツ編集方法であって、
コンテンツ編集操作処理を実行する場合、
第１の音声供給手段が、前記コンテンツを構成する音声の音声データを供給し、
第１の音声再生手段が、前記第１の音声供給手段により供給された音声データを再生し、
出力手段が、前記第１の音声再生手段により再生された音声を出力し、
第１の素材画像供給手段が、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給し、
第１の画像再生手段が、前記第１の素材画像供給手段により供給された画像データを再生し、
画像表示手段が、前記第１の画像再生手段により再生された画像データを表示し、
操作情報記録手段が、前記ユーザによる切り替えの指令に係る操作が行われた時刻を前記音声データの供給が開始された時刻からの経過時刻に対応づけて操作情報として記録し、
コンテンツファイル生成処理を実行する場合、
第２の音声供給手段が、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する音声の音声データを供給し、
第２の音声再生手段が、前記第２の音声供給手段により供給された音声データを再生し、
素材画像供給手段が、予め再生される順番に蓄積された、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給し、
第２の画像再生手段が、前記第２の素材画像供給手段により供給された画像データを再生し、
キャプチャ手段が、前記第２の音声再生手段および第２の画像再生手段により再生された音声および画像をキャプチャし、
エンコード手段が、前記キャプチャされた音声および画像のデータをエンコードして前記コンテンツのファイルを生成する
ステップを含むコンテンツ編集方法。
【請求項３】
コンピュータを、
画像と音声とにより構成されるコンテンツを生成するコンテンツ編集装置であって、
コンテンツ編集操作処理を実行する場合、
前記コンテンツを構成する音声の音声データを供給する第１の音声供給手段と、
前記第１の音声供給手段により供給された音声データを再生する第１の音声再生手段と、
前記第１の音声再生手段により再生された音声を出力する出力手段と、
予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給する第１の素材画像供給手段と、
前記第１の素材画像供給手段により供給された画像データを再生する第１の画像再生手段と、
前記第１の画像再生手段により再生された画像データを表示する画像表示手段と、
前記ユーザによる切り替えの指令に係る操作が行われた時刻を前記音声データの供給が開始された時刻からの経過時刻に対応づけて操作情報として記録する操作情報記録手段と、
コンテンツファイル生成処理を実行する場合、
前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する音声の音声データを供給する第２の音声供給手段と、
前記第２の音声供給手段により供給された音声データを再生する第２の音声再生手段と、
予め再生される順番に蓄積された、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給する第２の素材画像供給手段と、
前記第２の素材画像供給手段により供給された画像データを再生する第２の画像再生手段と、
前記第２の音声再生手段および第２の画像再生手段により再生された音声および画像をキャプチャするキャプチャ手段と、
前記キャプチャされた音声および画像のデータをエンコードして前記コンテンツのファイルを生成するエンコード手段と
を備えるコンテンツ編集装置として機能させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の一側面は、画像と音声とにより構成されるコンテンツを生成するコンテンツ編集装置であって、コンテンツ編集操作処理を実行する場合、前記コンテンツを構成する音声の音声データを供給する第１の音声供給手段と、前記第１の音声供給手段により供給された音声データを再生する第１の音声再生手段と、前記第１の音声再生手段により再生された音声を出力する出力手段と、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給する第１の素材画像供給手段と、前記第１の素材画像供給手段により供給された画像データを再生する第１の画像再生手段と、前記第１の画像再生手段により再生された画像データを表示する画像表示手段と、前記ユーザによる切り替えの指令に係る操作が行われた時刻を前記音声データの供給が開始された時刻からの経過時刻に対応づけて操作情報として記録する操作情報記録手段と、コンテンツファイル生成処理を実行する場合、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する音声の音声データを供給する第２の音声供給手段と、前記第２の音声供給手段により供給された音声データを再生する第２の音声再生手段と、予め再生される順番に蓄積された、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給する第２の素材画像供給手段と、前記第２の素材画像供給手段により供給された画像データを再生する第２の画像再生手段と、前記第２の音声再生手段および第２の画像再生手段により再生された音声および画像をキャプチャするキャプチャ手段と、前記キャプチャされた音声および画像のデータをエンコードして前記コンテンツのファイルを生成するエンコード手段とを備えるコンテンツ編集装置である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明の一側面は、画像と音声とにより構成されるコンテンツを生成するコンテンツ編集装置のコンテンツ編集方法であって、コンテンツ編集操作処理を実行する場合、第１の音声供給手段が、前記コンテンツを構成する音声の音声データを供給し、第１の音声再生手段が、前記第１の音声供給手段により供給された音声データを再生し、出力手段が、前記第１の音声再生手段により再生された音声を出力し、第１の素材画像供給手段が、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給し、第１の画像再生手段が、前記第１の素材画像供給手段により供給された画像データを再生し、画像表示手段が、前記第１の画像再生手段により再生された画像データを表示し、操作情報記録手段が、前記ユーザによる切り替えの指令に係る操作が行われた時刻を前記音声データの供給が開始された時刻からの経過時刻に対応づけて操作情報として記録し、コンテンツファイル生成処理を実行する場合、第２の音声供給手段が、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する音声の音声データを供給し、第２の音声再生手段が、前記第２の音声供給手段により供給された音声データを再生し、素材画像供給手段が、予め再生される順番に蓄積された、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給し、第２の画像再生手段が、前記第２の素材画像供給手段により供給された画像データを再生し、キャプチャ手段が、前記第２の音声再生手段および第２の画像再生手段により再生された音声および画像をキャプチャし、エンコード手段が、前記キャプチャされた音声および画像のデータをエンコードして前記コンテンツのファイルを生成するステップを含むコンテンツ編集方法である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本発明の一側面は、コンピュータを、画像と音声とにより構成されるコンテンツを生成するコンテンツ編集装置であって、コンテンツ編集操作処理を実行する場合、前記コンテンツを構成する音声の音声データを供給する第１の音声供給手段と、前記第１の音声供給手段により供給された音声データを再生する第１の音声再生手段と、前記第１の音声再生手段により再生された音声を出力する出力手段と、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給する第１の素材画像供給手段と、前記第１の素材画像供給手段により供給された画像データを再生する第１の画像再生手段と、前記第１の画像再生手段により再生された画像データを表示する画像表示手段と、前記ユーザによる切り替えの指令に係る操作が行われた時刻を前記音声データの供給が開始された時刻からの経過時刻に対応づけて操作情報として記録する操作情報記録手段と、コンテンツファイル生成処理を実行する場合、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する音声の音声データを供給する第２の音声供給手段と、前記第２の音声供給手段により供給された音声データを再生する第２の音声再生手段と、予め再生される順番に蓄積された、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給する第２の素材画像供給手段と、前記第２の素材画像供給手段により供給された画像データを再生する第２の画像再生手段と、前記第２の音声再生手段および第２の画像再生手段により再生された音声および画像をキャプチャするキャプチャ手段と、前記キャプチャされた音声および画像のデータをエンコードして前記コンテンツのファイルを生成するエンコード手段とを備えるコンテンツ編集装置として機能させるプログラムである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明一側面においては、コンテンツ編集操作処理を実行する場合、前記コンテンツを構成する音声の音声データが供給され、前記供給された音声データが再生され、前記再生された音声が出力され、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データが、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給され、前記供給された画像データが再生され、前記再生された画像データが表示され、前記ユーザによる切り替えの指令に係る操作が行われた時刻が前記音声データの供給が開始された時刻からの経過時刻に対応づけられて操作情報として記録され、コンテンツファイル生成処理を実行する場合、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する音声の音声データが供給され、前記供給された音声データが再生され、予め再生される順番に蓄積された、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する画像の素材となる複数の素材画像の画像データが、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給され、前記供給された画像データが再生され、前記再生された音声および画像がキャプチャされ、前記キャプチャされた音声および画像のデータがエンコードされて前記コンテンツのファイルが生成される。