(57)【要約】【課題】  楽曲音に関する楽曲構成情報を作成し、当該楽曲構成情報を利用して利用者の利便性を図る。【解決手段】  作成手段７１０が、楽曲コンテンツを解析し、再生楽曲音の拍の位置情報を含む楽曲構成情報を作成する。作成された楽曲構成情報の確認用の画面が表示手段８４０に表示される際には、各小節に含まれる拍数が数字で表示される。そして、作成された楽曲構成情報が、裏拍に基づいて作成されていたりした場合には、作成手段７１０は、利用者により行われる編集入力操作を反映した拍構成情報を作成する。また、作成手段７１０は、利用者によるダンスの演出に関する入力操作に従って、楽曲構成情報における拍位置のそれぞれに対応する「メンバの立ち位置」等の演出情報を作成する。そして、再生音を出力した際に、楽曲構成情報における拍位置のそれぞれに対応する「メンバの立ち位置」等の演出情報が表示させる。【選択図】  図１
2013171070.tif 000002
【特許請求の範囲】
【請求項１】
楽曲コンテンツを解析して、前記楽曲コンテンツに対応する再生楽曲音の拍の位置情報を含む拍情報を抽出し、前記抽出された拍情報を含む楽曲構成情報を作成する作成手段と；
前記作成された楽曲構成情報に基づいて、前記再生楽曲音の再生出力の進行と同期した拍進行状況情報を表示手段に表示させる表示制御手段と；
を備えることを特徴とする楽曲情報処理装置。
【請求項２】
前記表示制御手段は、前記楽曲構成情報に含まれる前記拍情報に基づいて、拍位置を表現する数字を用いた前記拍進行状況情報を前記表示手段に表示させる、ことを特徴とする請求項１に記載の楽曲情報処理装置。
【請求項３】
前記作成手段は、前記楽曲構成情報の修正が入力手段への操作入力により指定された場合に、前記楽曲構成情報の修正を行う、ことを特徴とする請求項１又は２に記載の楽曲情報処理装置。
【請求項４】
前記楽曲コンテンツは、複数の個別楽曲コンテンツが接続されて構成され、
前記楽曲コンテンツに対応する再生楽曲音の拍情報には、前記複数の個別楽曲コンテンツ間の切替位置情報が含まれる、
ことを特徴とする請求項１〜３のいずれか一項に記載の楽曲情報処理装置。
【請求項５】
映像データ及び楽曲データを含む複合コンテンツにおける楽曲データに対応する楽曲音の拍情報を抽出する抽出手段を更に備え、
前記表示制御手段は、前記楽曲コンテンツの楽曲構成情報、及び、前記抽出手段により抽出された前記楽曲データに対応する楽曲音の拍情報に基づいて、前記楽曲コンテンツに基づく再生楽曲音の再生タイミングとの同期を図りつつ、前記複合コンテンツにおける映像データに基づく再生映像を前記表示手段に表示させる、
ことを特徴とする請求項１〜４のいずれか一項に記載の楽曲情報処理装置。
【請求項６】
前記再生映像は、前記楽曲構成情報における予め定められた拍位置における静止映像、及び、前記楽曲構成情報における予め定められた拍間位置における静止映像の少なくとも一方を含む、ことを特徴とする請求項５に記載の楽曲情報処理装置。
【請求項７】
撮影手段による周辺映像の撮影結果の録画を制御する録画制御手段；を更に備え、
前記録画制御手段は、入力手段への操作入力により録画開始拍位置及び録画終了拍位置の少なくとも一方の指定が行われた場合に、前記指定に基づいて定まる録画期間にわたる録画の制御を行う、
ことを特徴とする請求項１〜６のいずれか一項に記載の楽曲情報処理装置。
【請求項８】
前記楽曲コンテンツに対応する再生楽曲音は、ダンス用楽曲音であり、
前記作成手段は、入力手段に入力された演出指定に従って、前記楽曲構成情報における拍位置のそれぞれに対応する演出情報を更に作成する、
ことを特徴とする請求項１〜７のいずれか一項に記載の楽曲情報処理装置。
【請求項９】
前記演出指定には、ダンスメンバのそれぞれのパート指定が含まれ、
前記演出情報には、前記楽曲構成情報における拍位置のそれぞれに対応する担当メンバ情報が含まれる、
ことを特徴とする請求項８に記載の楽曲情報処理装置。
【請求項１０】
前記演出指定には、前記楽曲構成情報における拍位置のそれぞれに対応する担当メンバの立ち位置指定が含まれ、
前記演出情報には、前記楽曲構成情報における拍位置のそれぞれに対応する担当メンバの立ち位置情報が含まれ、
前記表示制御手段は、前記立ち位置情報に基づいて、前記再生楽曲音の再生出力の進行と同期した立ち位置進行情報を前記表示手段に更に表示させる、
ことを特徴とする請求項８又は９に記載の楽曲情報処理装置。
【請求項１１】
楽曲コンテンツを解析して、前記楽曲コンテンツに対応する再生楽曲音の拍の位置情報を含む拍情報を抽出し、前記抽出された拍情報を含む楽曲構成情報を作成する作成工程と；
前記作成された楽曲構成情報に基づいて、前記再生楽曲音の再生出力の進行と同期した拍進行状況情報を表示手段に表示させる表示制御工程と；
を備えることを特徴とする楽曲情報処理方法。
【請求項１２】
請求項１１に記載の楽曲情報処理方法を演算手段に実行させる、ことを特徴とする楽曲情報処理プログラム。
【請求項１３】
請求項１２に記載の楽曲情報処理プログラムが、演算手段により読み取り可能に記録されている、ことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲情報処理装置、楽曲情報処理方法及び楽曲情報処理プログラム、並びに、当該楽曲情報処理プログラムが記録された記録媒体に関する。
【背景技術】
【０００２】
従来から、楽曲音データを解析し、当該楽曲音に関する情報を生成することが広く行われている。こうした楽曲音に関する情報を生成する技術として、楽曲音データを解析して、楽曲音の小節の小節番号を表示するものがある（特許文献１参照：以下、「従来例１」と呼ぶ）。また、楽曲音に関する情報を生成する技術として、楽曲音データを楽譜表示データに自動的に変換するものがある（特許文献２参照：以下、「従来例２」と呼ぶ）。
【０００３】
この従来例１の技術では、１小節目に拍子記号やテンポ情報、音色情報等の情報が記録され、２節目からノード（音符）情報が記録された楽曲音データから、楽曲音の小節の位置を検出し、楽曲音データの再生の進行にともない、現在演奏中の小節番号を表示するようになっている。また、従来例２の技術では、楽曲音データから楽曲音の周波数情報及び振幅情報を抽出し、符号開始位置を検出する。そして、符号開始位置事象からの楽曲音データを解析することによって、テンポデータ、拍子データ、調データ等のデータを生成するようになっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２３３６１４号公報
【特許文献２】特表２０１０−５１８４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した従来例１，２の技術では、楽曲音データの詳細な解析を行い、楽曲音に関する情報を生成している。そして、当該楽曲音に関する情報は、楽曲音を聴取する者にとっては有用な情報となっている。ここで、従来例１，２の技術では、楽曲音の聴取の有用性に特化した情報が提供されるようになっている。
【０００６】
ところで、楽曲音データを解析して生成される楽曲音に関する情報は、楽曲音を聴取する用途以外にも、例えば、ダンスの動きと楽曲との同期の確認や、ダンスの演出等に有用に活用することができる可能性がある。しかしながら、従来例の技術１，２の技術では、生成された楽曲音に関する情報を、楽曲音を聴取する用途以外の他の用途にも、活用できるとはいえなかった。
【０００７】
このため、楽曲音を聴取する以外の他の用途にも利用することのできる楽曲音に関する情報を生成し、生成された楽曲音に関する情報を、楽曲音の聴取以外の用途に有用に利用することができる情報とすることができる技術が望まれている。かかる要請に応えることが、本発明が解決すべき課題の一つとして挙げられる。
【０００８】
本発明は、上記の事情を鑑みてなされたものであり、楽曲音の聴取以外の用途に活用可能な楽曲音に関する楽曲構成情報を作成し、当該楽曲構成情報を利用して利用者の利便性を図るための新たな楽曲情報処理装置及び楽曲情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
請求項１に記載の発明は、楽曲コンテンツを解析して、前記楽曲コンテンツに対応する再生楽曲音の拍の位置情報を含む拍情報を抽出し、前記抽出された拍情報を含む楽曲構成情報を作成する作成手段と；前記作成された楽曲構成情報に基づいて、前記再生楽曲音の再生出力の進行と同期した拍進行状況情報を表示手段に表示させる表示制御手段と；を備えることを特徴とする楽曲情報処理装置である。
【００１０】
請求項１１に記載の発明は、楽曲コンテンツを解析して、前記楽曲コンテンツに対応する再生楽曲音の拍の位置情報を含む拍情報を抽出し、前記抽出された拍情報を含む楽曲構成情報を作成する作成工程と；前記作成された楽曲構成情報に基づいて、前記再生楽曲音の再生出力の進行と同期した拍進行状況情報を表示手段に表示させる表示制御工程と；を備えることを特徴とする楽曲情報処理方法である。
【００１１】
請求項１２に記載の発明は、請求項１１に記載の楽曲情報処理方法を演算手段に実行させる、ことを特徴とする楽曲情報処理プログラムである。
【００１２】
請求項１３に記載の発明は、請求項１２に記載の楽曲情報処理プログラムが、演算手段により読み取り可能に記録されている、ことを特徴とする記録媒体である。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る楽曲情報処理装置の構成を説明するためのブロック図である。
【図２】本発明の一実施例に係る楽曲情報処理装置の構成を説明するためのブロック図である。
【図３】図２の楽曲コンテンツ情報の内容を説明するための図である。
【図４】図２の複合コンテンツ情報の内容を説明するための図である。
【図５】図２の楽曲構成情報の内容を説明するための図である。
【図６】図２の演出情報の内容を説明するための図である。
【図７】図２の拍同期情報の内容を説明するための図である。
【図８】図２の拍同期映像情報の内容を説明するための図である。
【図９】図２の楽曲情報処理装置による楽曲構成情報の作成処理を説明するためのフローチャートである。
【図１０】楽曲構成情報の表示例を説明するための図である。
【図１１】拍進行に応じた楽曲構成情報の表示例を説明するための図である。
【図１２】図２の楽曲情報処理装置による付加情報の編集処理を説明するためのフローチャートである。
【図１３】図２の楽曲情報処理装置による演出情報の作成処理を説明するためのフローチャートである。
【図１４】拍進行に応じた楽曲構成情報及び演出情報の表示例を説明するための図である。
【図１５】図２の楽曲情報処理装置による拍同期映像情報の抽出処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態を、図１を参照して説明する。なお、以下の説明においては、同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
【００１５】
［構成］
図１には、一実施形態に係る楽曲情報処理装置７００の概略的な構成が示されている。
【００１６】
図１に示されるように、楽曲情報処理装置７００は、作成手段７１０と、楽曲関連情報記録手段７１５と、抽出手段７２０と、拍同期情報記録手段７２５と、取得手段７２７と、音出力制御手段７３０とを備えている。また、楽曲情報処理装置７００は、録画制御手段７４０と、拍同期映像情報記録手段７５０と、表示制御手段７６０とを備えている。
【００１７】
さらに、楽曲情報処理装置７００は、楽曲コンテンツ記録手段８１０と、複合コンテンツ記録手段８１５と、撮影手段８２０とを備えている。また、楽曲情報処理装置７００は、音出力手段８３０と、表示手段８４０と、入力手段８５０とを備えている。
【００１８】
上記の楽曲コンテンツ記録手段８１０は、複数の楽曲コンテンツのデータを記録している。当該楽曲コンテンツ記録手段８１０には、作成手段７１０及び音出力制御手段７３０がアクセス可能となっている。
【００１９】
本実施形態では、楽曲コンテンツ記録手段８１０内に記録される楽曲コンテンツには、ストリートダンス等のダンスのパフォーマンスの際に利用されるダンス用楽曲に関する楽曲コンテンツが含まれている。ここで、楽曲コンテンツ記録手段８１０に記憶される楽曲コンテンツとしては、１楽曲のみから構成されるものもあるし、複数の楽曲のそれぞれの全部又は一部が直列的に接続されて構成されているものもある。なお、複数の楽曲が接続されて構成されている楽曲コンテンツのデータには、楽曲音データに加えて、個別の楽曲に関する個別楽曲コンテンツが、どのタイミングで繋がれる編集が行われているかを示す接続位置情報が含まれるようになっている。
【００２０】
上記の複合コンテンツ記録手段８１５は、映像データ及び楽曲データを含む複数の複合コンテンツのデータを記録している。こうした複合コンテンツは、例えば、不図示のネットワーク等を介して、複合コンテンツサーバから取得される。当該複合コンテンツ記録手段８１５には、抽出手段７２０、音出力制御手段７３０及び表示制御手段７６０がアクセス可能となっている。
【００２１】
上記の撮影手段８２０は、楽曲情報処理装置の周辺映像の撮影を行い、撮影結果を映像データとして出力するビデオカメラ等を備えている。音出力手段８３０からの楽曲音の出力に同期して行われた撮影手段８２０による撮影結果は、映像データとして、取得手段７２７へ送られる。
【００２２】
上記の音出力手段８３０は、スピーカを備えて構成される。この音出力手段８３０は、音出力制御手段７３０から送られた出力音データを受ける。そして、音出力手段８３０は、当該出力音データに対応する出力音を再生出力する。
【００２３】
上記の表示手段８４０は、液晶ディスプレイパネル等の表示デバイスを備えて構成される。この表示手段８４０は、表示制御手段７６０から送られた表示データを受ける。そして、表示手段８４０は、当該表示データに対応する映像や画像を表示する。
【００２４】
上記の入力手段８５０は、キーボード等を備えて構成されている。入力手段８５０は、利用者の入力操作に応答して、当該入力操作に対応した指令を、当該指令の伝達が必要な要素へ送るようになっている。
【００２５】
上記の作成手段７１０は、入力手段８５０から送られた「楽曲構成情報」の作成に関連する指令を受ける。そして、作成手段７１０は、入力手段８５０から送られた指令に従って、楽曲コンテンツを解析して楽曲構成情報の作成処理を実行し、「楽曲構成情報」を作成する。こうして生成された楽曲構成情報は、楽曲関連情報記録手段７１５内に記録される。
【００２６】
ここで、作成手段７１０により作成される「楽曲構成情報」には、楽曲構成情報識別子、楽曲コンテンツ識別子、拍構成情報が含まれている。この拍構成情報には、拍位置、拍と拍との間の位置、小節の開始に当たる拍（第１拍）位置等が含まれている。
【００２７】
また、楽曲コンテンツが、複数の個別楽曲コンテンツが接続されて構成されている場合には、拍構成情報には、当該複数の個別楽曲コンテンツ間の切替位置情報が含まれている。
【００２８】
また、「楽曲構成情報」には、楽曲構成情報の編集により付加情報が付加された場合には、当該付加情報が含まれる。こうした付加情報としては、録画に際しての録画開始拍位置、及び、録画終了拍位置、並びに、静止画の録画に際しての録画位置（録画拍位置又は録画拍間位置）、及び、進行報告位置（進行報告拍位置又は進行報告拍間位置）等がある。
【００２９】
本実施形態では、静止画の録画に際しての録画拍位置又は録画拍間位置としては、各小節に共通した小節内の録画拍位置又は録画拍間位置が指定されるようになっている。また、本実施形態では、進行報告拍位置又は進行報告拍間位置としては、各小節に共通した小節内の進行報告拍位置又は進行報告拍間位置が指定されるようになっている。
【００３０】
このようにして作成された「楽曲構成情報」の確認用の画像が表示手段８４０に表示される際には、小節に含まれる拍数が数字で表示されるようになっている。例えば、再生楽曲音の拍の強さのパターンが、「強拍、弱拍、中拍、弱拍、強拍、弱拍、中拍、弱拍」の繰り返しであり、４小節単位でフレーズが構成されるときは、「８８８８／８８８８／…」と表示される。また、例えば、再生楽曲音の拍の強さのパターンが、「強拍、弱拍、弱拍、強拍、弱拍、弱拍」の繰り返しであり、４小節単位でフレーズが構成されるときは、「６６６６／６６６６／…」と表示される。
【００３１】
また、作成手段７１０は、入力手段８５０から送られたダンスの「演出情報」の作成に関連する指令を受ける。そして、作成手段７１０は、入力手段８５０から送られた指令に従って演出情報の作成処理を実行し、ダンスの「演出情報」を作成する。こうして生成された演出情報は、楽曲関連情報記録手段７１５内に記録される。
【００３２】
ここで、作成手段７１０により作成されるダンスの「演出情報」には、演出情報識別子、楽曲コンテンツ識別子、担当メンバ情報が含まれている。この「担当メンバ情報」には、楽曲コンテンツ識別子により識別される楽曲コンテンツの楽曲構成情報における拍位置のそれぞれに対応する「ダンスのメンバの割り振り」、「ステージ上におけるメンバの立ち位置」等の情報が含まれている。
【００３３】
なお、作成手段７１０が実行する処理については、後述する。
【００３４】
上記の楽曲関連情報記録手段７１５には、作成手段７１０により作成された「楽曲構成情報」及び「演出情報」が記録される。こうして楽曲関連情報記録手段７１５に記録された「楽曲構成情報」は、音出力制御手段７３０、録画制御手段７４０及び表示制御手段７６０により読み取り可能となっている。また、楽曲関連情報記録手段７１５に記録された「演出情報」は、表示制御手段７６０により読み取り可能となっている。
【００３５】
上記の抽出手段７２０は、入力手段８５０から送られた「拍情報」の抽出に関連する指令を受ける。そして、抽出手段７２０は、入力手段８５０から送られた指令に従って、複合コンテンツにおける楽曲データを解析して拍情報の抽出処理を実行し、拍情報を抽出する。
【００３６】
また、抽出手段７２０は、入力手段８５０から送られた指令に従って、複合コンテンツにおける映像データから当該「拍情報」と対応付けた拍同期映像データを抽出する。こうして抽出された拍情報、及び、拍同期映像データは、拍同期情報として、拍同期情報記録手段７２５内に記録される。
【００３７】
ここで、抽出手段７２０により抽出される「拍情報」には、拍情報識別子、複合コンテンツ識別子、拍構成情報が含まれている。この拍構成情報には、楽曲構成情報の拍構成情報と同様に、拍位置、拍と拍との間の位置、第１拍位置等が含まれている。
【００３８】
上記の拍同期情報記録手段７２５には、抽出手段７２０により抽出された「拍情報」及び「拍同期映像データ」が記録される。こうして拍同期情報記録手段７２５に記録された「拍情報」及び「拍同期映像データ」は、表示制御手段７６０により読み取り可能となっている。
【００３９】
上記の取得手段７２７は、撮影手段８２０から送られた映像データを取得する。そして、取得手段７２７は、取得された映像データを、録画制御手段７４０及び表示制御手段７６０へ送る。
【００４０】
上記の音出力制御手段７３０は、入力手段８５０から送られた楽曲コンテンツ、及び、スロー再生や通常再生等に対応する再生速度を指定した楽曲音再生の開始指令を受ける。楽曲音再生の開始指令を受けた音出力制御手段７３０は、指定された再生速度に応じた速度で、指定された楽曲コンテンツのデータを楽曲コンテンツ記録手段８１０から、順次読み取る。そして、音出力制御手段７３０は、楽曲関連情報記録手段７１５内の当該指定された楽曲コンテンツの楽曲構成情報を参照して、当該指定された再生速度による拍進行状況を検出する。こうして検出された拍進行状況は、録画制御手段７４０及び表示制御手段７６０へ送られる。
【００４１】
音出力制御手段７３０は、楽曲音再生の開始指令において指定された再生速度が通常速度であった場合に、読み取られた楽曲コンテンツのデータに基づいて、出力音データを生成する。こうして生成された出力音データは、音出力手段８３０へ送られる。
【００４２】
なお、楽曲音再生の開始指令において指定された再生速度が通常速度でなかった場合には、音出力制御手段７３０は、指定された楽曲コンテンツのデータに基づく出力音データを生成しない。こうした出力音データを生成しない場合には、本実施形態では、音出力制御手段７３０は、拍の進行により進行報告位置となると、所定の効果音データを生成する。こうして生成された効果音データは、出力音データとして、音出力手段８３０へ送られる。
【００４３】
音出力制御手段７３０は、上述した楽曲音再生を、再生すべき楽曲音の全ての再生が終了するまで、又は、入力手段８５０から送られた楽曲音再生の終了指令を受けるまで継続する。
【００４４】
また、音出力制御手段７３０は、入力手段８５０から送られた「楽曲構成情報」が指定された確認用再生の開始指令を受ける。確認用再生の開始指令を受けた音出力制御手段７３０は、楽曲関連情報記録手段７１５内における当該指定された楽曲構成情報を参照し、指定された楽曲構成情報に対応する楽曲コンテンツを特定する。引き続き、音出力制御手段７３０は、通常速度で、特定された楽曲コンテンツのデータを楽曲コンテンツ記録手段８１０から、順次読み取る。以後、音出力制御手段７３０は、上述した通常速度が指定された楽曲音再生の開始指令を受けた場合と同様の処理を行う。
【００４５】
音出力制御手段７３０は、上述した確認用再生のための音出力制御を、再生すべき楽曲音の再生が終了するまで、又は、入力手段８５０から送られた確認用再生の終了指令を受けるまで継続する。
【００４６】
また、音出力制御手段７３０は、入力手段８５０から送られた「演出情報」が指定された演出確認用再生の開始指令を受ける。演出確認用再生の開始指令を受けた音出力制御手段７３０は、楽曲関連情報記録手段７１５内における当該指定された演出情報を参照し、指定された演出情報に含まれる楽曲コンテンツ識別子により識別される楽曲コンテンツを特定する。引き続き、音出力制御手段７３０は、通常速度で、特定された楽曲コンテンツのデータを楽曲コンテンツ記録手段８１０から、順次読み取る。以後、音出力制御手段７３０は、上述した通常速度が指定された楽曲音再生の開始指令を受けた場合と同様の処理を行う。
【００４７】
音出力制御手段７３０は、上述した演出確認用再生のための音出力制御を、再生すべき楽曲音の再生が終了するまで、又は、入力手段８５０から送られた演出確認用再生の終了指令を受けるまで継続する。
【００４８】
上記の録画制御手段７４０は、取得手段７２７から送られた映像データを受ける。また、録画制御手段７４０は、入力手段８５０から送られた楽曲コンテンツを指定した拍同期映像情報の抽出指令を受ける。なお、入力手段８５０から拍同期映像情報の抽出指令が送られる場合には、同時に、入力手段８５０から音出力制御手段７３０へ、当該楽曲コンテンツ及び通常速度を指定した楽曲音再生の開始指令が送られるようになっている。
【００４９】
拍同期映像情報の抽出指令を受けると、録画制御手段７４０は、楽曲関連情報記録手段７１５内の当該指定された楽曲コンテンツに対応する楽曲構成情報、及び、音出力制御手段７３０から送られた拍進行状況に基づいて、録画時に使用される楽曲コンテンツ記録手段８１０内の楽曲コンテンツに対応する楽曲音（以下、「録画時楽曲音」ともいう）における拍進行タイミングと、当該映像データに対応する映像の進行タイミングとの同期関係情報を抽出する。また、録画制御手段７４０は、当該指定された楽曲コンテンツに対応する楽曲構成情報において、動画の録画に際しての録画開始拍位置、録画終了拍位置、静止画の録画に際しての録画拍位置又は録画拍間位置が設定されている場合には、これらの設定情報に基づいて、同期再生用映像データを抽出する。そして、録画制御手段７４０は、当該同期再生用映像データ、及び、同期関係情報を、拍同期映像情報として、拍同期映像情報手段７５０内に記録する。
【００５０】
上記の拍同期映像情報記録手段７５０には、録画制御手段７４０から送られた拍同期映像情報が記録される。この拍同期映像情報は、表示制御手段７６０により読み取り可能となっている。
【００５１】
ここで、拍同期映像情報記録手段７５０内に記録される拍同期映像情報は、撮影手段８２０により撮影された映像データを、再生楽曲音の拍進行と同期させて再生出力するための情報である。一方、上述した拍同期情報記録手段７２５内に記録される拍同期情報は、複合コンテンツにおける映像データを、再生楽曲音の拍進行と同期させて再生出力するための情報である。
【００５２】
上記の表示制御手段７６０は、入力手段８５０から送られたモニタ表示の開始指令を受ける。モニタ表示の開始指令を受けると、表示制御手段７６０は、取得手段７２７から送られている映像データに基づいて、撮影中の映像をリアルタイムで表示させるための表示データを生成し、生成された表示データを表示手段８４０へ送る。この結果、撮影中の映像が、リアルタイムで、表示手段８４０に表示される。
【００５３】
表示制御手段７６０は、上述したモニタ表示の制御処理を、入力手段８５０から送られたモニタ表示の終了指令を受けるまで継続する。
【００５４】
また、表示制御手段７６０は、入力手段８５０から送られた、「複合コンテンツ」及び「楽曲コンテンツ」を指定した同期映像再生の開始指令を受ける。なお、入力手段８５０から同期映像再生の開始指令が送られる場合には、同時に、入力手段８５０から音出力制御手段７３０へ、楽曲コンテンツ及び通常速度を指定した楽曲音再生の開始指令が送られるようになっている。
【００５５】
同期映像再生の開始指令を受けると、表示制御手段７６０は、拍同期情報記録手段７２５内における当該指定された複合コンテンツに対応する拍情報及び拍同期映像データ、楽曲関連情報記録手段７１５内における当該指定された楽曲コンテンツに対応する楽曲構成情報、並びに、音出力制御手段７３０から送られた拍進行状況に基づいて、楽曲コンテンツに基づく再生楽曲音の再生タイミングとの同期を図りつつ、複合コンテンツにおける映像データに基づく再生映像を表示させるための表示データを順次生成する。こうして順次生成された表示データは、表示手段８４０へ送られる。この結果、再生楽曲音の拍進行と同期して進行する複合コンテンツにおける映像データに基づく再生映像が、表示手段８４０に表示される。
【００５６】
また、表示制御手段７６０は、入力手段８５０から送られた、拍同期映像情報記録手段７５０内に記録された「拍同期映像情報」を指定した同期表示の開始指令を受ける。なお、入力手段８５０から同期表示の開始指令が送られる場合には、同時に、入力手段８５０から音出力制御手段７３０へ、楽曲コンテンツ及び通常速度を指定した楽曲音再生の開始指令が送られるようになっている。
【００５７】
同期表示の開始指令を受けると、表示制御手段７６０は、拍同期映像情報記録手段７５０内における当該指定された拍同期映像情報、及び、音出力制御手段７３０から送られた拍進行状況に基づいて、楽曲音再生の拍進行と同期した、指定された拍同期映像情報における映像データに基づく映像を表示させるための表示データを順次生成し、生成された表示データを表示手段８４０へ送る。この結果、再生楽曲音の拍進行と同期して進行する映像が、表示手段８４０に表示される。
【００５８】
表示制御手段７６０は、上述した同期表示の制御処理を、当該指定された拍同期映像情報における映像データに対応する映像の全てを表示するまで、又は、入力手段８５０から送られた同期表示の終了指令を受けるまで継続する。
【００５９】
また、表示制御手段７６０は、作成手段７１０から送られた編集用画面データに基づいて、編集用画面を表示するための表示データを生成する。こうして生成された表示データは、表示手段８４０へ送られる。この結果、表示手段８４０には、楽曲構成情報の編集用画面が表示される。
【００６０】
また、表示制御手段７６０は、入力手段８５０から送られた「楽曲構成情報」が指定された確認用再生の開始指令を受ける。確認用再生の開始指令を受けた表示制御手段７６０は、楽曲関連情報記録手段７１５内における当該指定された楽曲構成情報を参照し、音出力制御手段７３０から送られた拍進行状況に基づいて、楽曲音再生の拍進行と同期した拍進行状況を示すための表示データを生成する。こうして生成された表示データは、表示手段８４０へ送られる。この結果、表示手段８４０には、楽曲構成情報の確認用の画像が表示される。
【００６１】
本実施形態では、楽曲構成情報の確認用の画像は、楽曲構成情報に含まれる拍情報に基づいて、拍位置を表現する数字を用いた拍進行状況の画像となっている。例えば、再生楽曲音の１小節当たりの拍数が８拍であるときには、拍進行に応じて、「８８８８／「３」８８８／…」→「８８８８／「４」８８８／…」→「８８８８／「５」８８８／…」→…と表示される。
【００６２】
また、表示制御手段７６０は、入力手段８５０から送られた「演出情報」が指定された演出確認用再生の開始指令を受ける。演出確認用再生の開始指令を受けた表示制御手段７６０は、楽曲関連情報記録手段７１５内における当該指定された演出情報を参照し、音出力制御手段７３０から送られた拍進行状況に基づいて、楽曲音再生の拍進行と同期した演出情報の内容を示すための表示データを生成する。こうして生成された表示データは、表示手段８４０へ送られる。この結果、表示手段８４０には、演出情報の確認用の画像が表示される。
【００６３】
［動作］
次に、上記のように構成された楽曲情報処理装置７００の動作について、楽曲構成情報の作成処理、演出情報の作成処理、演出情報の表示処理、拍同期情報の作成処理、及び、再生楽曲音と複合コンテンツにおける映像との同期再生処理に主に着目して説明する。また、楽曲情報処理装置７００の動作について、拍同期映像情報の抽出処理、及び、再生楽曲音と録画映像との同期再生処理についても説明する。
【００６４】
＜楽曲構成情報の作成処理＞
楽曲構成情報の作成処理では、まず、拍構成情報の作成処理が行われる。
【００６５】
かかる拍構成情報の作成処理は、利用者による楽曲構成情報の作成対象となる楽曲コンテンツを指定した楽曲構成情報の作成指令の入力手段８５０への入力に応答して実行される。当該楽曲構成情報の作成指令の入力手段８５０への入力が行われると、入力手段８５０は、当該楽曲構成情報の作成指令を作成手段７１０へ送る。この楽曲構成情報の作成指令を受けた作成手段７１０は、まず、楽曲コンテンツ記録手段８１０から、当該指定された楽曲コンテンツのデータを読み取る。
【００６６】
引き続き、作成手段７１０は、読み取られた楽曲コンテンツの楽曲音データを解析し、通常速度で読み取られて再生された場合の楽曲音の拍位置、拍と拍との間の位置、第１拍位置等を検出し、当該検出の結果を含む拍構成情報を作成する。そして、作成手段７１０は、作成された拍構成情報を、当該指定された楽曲コンテンツに関する拍構成情報として、楽曲関連情報記録手段７１５内に記録する。
【００６７】
なお、読み取られた楽曲コンテンツが、複数の個別楽曲コンテンツが接続されて構成されている場合には、作成手段７１０は、当該複数の楽曲コンテンツ間の切替位置情報を更に含む拍構成情報を作成する。
【００６８】
《拍構成情報の正確性の確認用処理》
次に、上述のようにして作成された拍構成情報の正確性の確認用処理が行われる。かかる正確性の確認用処理は、利用者による拍構成情報の確認指令に応答して実行される。
【００６９】
当該拍構成情報の確認指令の入力手段８５０への入力が行われると、入力手段８５０は、当該拍構成情報の確認指令を作成手段７１０へ送るとともに、確認対象の楽曲構成情報を指定した確認用再生の開始指令を音出力制御手段７３０及び表示制御手段７６０へ送る。入力手段８５０から送られた確認用再生の開始指令を受けた音出力制御手段７３０は、当該指定された楽曲コンテンツのデータを、通常速度で、楽曲コンテンツ記録手段８１０から、順次読み取る。引き続き、音出力制御手段７３０は、読み取られた楽曲コンテンツのデータに基づいて、出力音データを生成し、生成された出力音データを音出力手段８３０へ送る。この結果、音出力手段８３０から、指定された楽曲コンテンツに対応する楽曲音が出力される。
【００７０】
かかる指定された楽曲コンテンツに対応する楽曲音の再生制御と並行して、音出力制御手段７３０は、当該作成された拍構成情報を参照して、楽曲音再生中の拍進行状況を検出する。そして、音出力制御手段７３０は、検出された拍進行状況を表示制御手段７６０へ送る。
【００７１】
また、入力手段８５０から送られた確認用再生の開始指令を受けた表示制御手段７６０は、楽曲関連情報記録手段７１５における当該指定された楽曲コンテンツの楽曲構成情報、及び、音出力制御手段７３０から送られた拍進行状況に基づいて、拍進行を表示するための表示データを順次生成する。そして、表示制御手段７６０は、生成された表示データを表示手段８４０へ送る。
【００７２】
この結果、音出力手段８３０から、指定された楽曲コンテンツの再生音が出力されるとともに、表示手段８４０に、拍進行が表示される。こうして出力された再生音、及び、表示された拍進行を参照することにより、拍情報の正確性が、利用者により確認される。
【００７３】
かかる確認により、楽曲構成情報が裏拍に基づいて作成されていたり、楽曲の繋ぎ目で拍位置を見失っているものとなっていたりした場合には、利用者が入力手段８５０に拍構成情報編集の開始指令を入力する。拍構成情報編集の開始指令を受けた作成手段７１０は、当該拍構成情報を表示するための編集用画面データを作成する。そして、作成手段７１０は、作成された編集用画面データを表示制御手段７６０へ送る。この結果、表示手段８４０には、拍構成情報の編集用画面が表示される。
【００７４】
拍構成情報の編集用画面が表示された後、表示手段８４０における表示画面を参照しつつ行われる入力手段８５０に対する拍構成情報の編集入力操作が行われるたびに、作成手段７１０は、拍構成情報を逐次更新するとともに、当該更新された拍構成情報を表示するための編集用画面データを作成する。そして、作成手段７１０は、作成された編集用画面データを表示制御手段７６０へ送る。
【００７５】
こうして拍位置、拍と拍との間の位置、及び、第１拍位置の変更のための編集が行われる。そして、利用者が拍構成情報の編集を終了したと判断すると、利用者が入力手段８５０に拍構成情報編集の終了指令を入力する。この拍構成情報編集の終了指令が入力されると、入力手段８５０は、当該拍構成情報編集の終了指令を作成手段７１０へ送る。拍構成情報編集の終了指令を受けると、作成手段７１０は、編集結果を楽曲関連情報記録手段７１５内に記録する。
【００７６】
《付加情報の編集処理》
また、楽曲構成情報に上述した付加情報を付加する場合には、上述した拍構成情報の編集の後、利用者が入力手段８５０に付加情報編集の開始指令を入力する。この付加情報拍情報編集の開始指令が入力されると、入力手段８５０は、当該付加情報編集の開始指令を作成手段７１０へ送る。
【００７７】
付加情報編集の開始指令を受けた作成手段７１０は、当該付加情報を編集するための編集用画面データを作成する。そして、作成手段７１０は、作成された編集用画面データを表示制御手段７６０へ送る。この結果、表示手段８４０には、付加情報の編集用画面が表示される。
【００７８】
付加情報の編集用画面が表示された後、表示手段８４０における表示画面を参照しつつ行われる入力手段８５０に対する付加情報の編集入力操作が行われるたびに、作成手段７１０は、付加情報を逐次更新するとともに、当該更新された付加情報を表示するための編集用画面データを作成する。そして、作成手段７１０は、作成された編集用画面データを表示制御手段７６０へ送る。
【００７９】
こうして、付加情報の編集が行われる。そして、利用者が付加情報の編集を終了したと判断すると、利用者が入力手段８５０に付加情報編集の終了指令を入力する。この付加情報編集の終了指令が入力されると、入力手段８５０は、当該付加情報編集の終了指令を作成手段７１０へ送る。付加情報編集の終了指令を受けると、作成手段７１０は、編集結果を楽曲関連情報記録手段７１５内に記録する。
【００８０】
＜演出情報の作成処理＞
【００８１】
かかる演出情報の作成処理は、利用者による演出情報の作成対象となる楽曲コンテンツを指定した演出情報の作成指令の入力手段８５０への入力に応答して実行される。当該演出情報の作成指令の入力手段８５０への入力が行われると、入力手段８５０は、当該演出情報の作成指令を作成手段７１０へ送る。
【００８２】
演出情報の作成指令を受けた作成手段７１０は、楽曲関連情報記録手段７１５における当該指定された楽曲コンテンツの楽曲構成情報を利用した演出情報を作成するための編集用画面データを作成する。そして、作成手段７１０は、作成された編集用画面データを表示制御手段７６０へ送る。この結果、表示手段８４０には、演出情報の編集用画面が表示される。
【００８３】
演出情報の編集用画面が表示された後、表示手段８４０における表示画面を参照しつつ行われる入力手段８５０に対する「ダンスのメンバの割り振り」、「ステージ上におけるメンバの立ち位置」等の演出情報の編集入力操作が行われるたびに、作成手段７１０は、演出情報を逐次更新するとともに、当該更新された演出情報を表示するための編集用画面データを作成する。そして、作成手段７１０は、作成された編集用画面データを表示制御手段７６０へ送る。
【００８４】
こうして、演出情報の作成が行われる。そして、利用者が演出情報の作成を終了したと判断すると、利用者が入力手段８５０に演出情報作成の終了指令を入力する。この演出情報作成の終了指令が入力されると、入力手段８５０は、当該演出情報作成の終了指令を作成手段７１０へ送る。演出情報作成の終了指令を受けると、作成手段７１０は、作成結果を、当該指定された楽曲コンテンツに関する演出情報として、楽曲関連情報記録手段７１５内に記録する。
【００８５】
＜演出情報の表示処理＞
演出情報の表示処理は、利用者による楽曲関連情報記録手段７１５内の演出情報を指定した演出情報の表示指令に応答して開始される。当該演出情報の表示指令の入力手段８５０への入力が行われると、入力手段８５０は、当該演出情報の表示指令を表示制御手段７６０へ送るとともに、楽曲音再生の開始指令を音出力制御手段７３０へ送る。
【００８６】
入力手段８５０から送られた楽曲音再生の開始指令を受けた音出力制御手段７３０は、当該指定された演出情報に含まれる楽曲コンテンツ識別子により識別される楽曲コンテンツのデータを、通常速度で、楽曲コンテンツ記録手段８１０から、順次読み取る。引き続き、音出力制御手段７３０は、読み取られた楽曲コンテンツのデータに基づいて、出力音データを生成し、生成された出力音データを音出力手段８３０へ送る。この結果、音出力手段８３０から、楽曲コンテンツに対応する楽曲音が出力される。
【００８７】
かかる楽曲コンテンツに対応する楽曲音の再生制御と並行して、音出力制御手段７３０は、当該楽曲コンテンツの拍構成情報を参照して、楽曲音再生中の拍進行状況を検出する。そして、音出力制御手段７３０は、検出された拍進行状況を表示制御手段７６０へ送る。
【００８８】
入力手段８５０から送られた演出情報の表示指令を受けた表示制御手段７６０は、楽曲関連情報記録手段７１５における当該指定された演出情報、及び、音出力制御手段７３０から送られた拍進行状況に基づいて、拍進行を対応した演出情報を表示するための表示データを順次生成する。そして、表示制御手段７６０は、生成された表示データを表示手段８４０へ送る。
【００８９】
この結果、音出力手段８３０から、演出情報に含まれる楽曲コンテンツ識別子により識別される楽曲コンテンツの再生音が出力されるとともに、表示手段８４０に、当該楽曲コンテンツの楽曲構成情報における拍位置のそれぞれに対応する「ダンスのメンバの割り振り」、「ステージ上におけるメンバの立ち位置」等の演出情報が表示される。
【００９０】
＜拍同期情報の作成処理＞
拍同期情報の作成処理は、利用者による複合コンテンツを指定した拍同期情報の作成指令の入力手段８５０への入力に応答して開始される。当該拍同期情報の作成指令の入力手段８５０への入力が行われると、入力手段８５０は、当該拍同期情報の作成指令を抽出手段７２０へ送るとともに、当該複合コンテンツの音声データ及び通常速度を指定した楽曲音再生の開始指令を音出力制御手段７３０へ送る。また、当該拍同期情報の作成指令の入力手段８５０への入力が行われると、入力手段８５０は、モニタ表示の開始指令を表示制御手段７６０へ送る。
【００９１】
この楽曲音再生の開始指令を受けた音出力制御手段７３０は、通常速度で、当該指定された複合コンテンツの楽曲データを複合コンテンツ記録手段８１５から、順次読み取る。次に、音出力制御手段７３０は、読み取られた複合コンテンツの楽曲データに基づいて、出力音データを生成し、生成された出力音データを音出力手段８３０へ送る。この結果、音出力手段８３０から、複合コンテンツの楽曲音が出力される。
【００９２】
また、モニタ表示の開始指令を受けた表示制御手段７６０は、複合コンテンツ記録手段８１５における当該指定された複合コンテンツの映像データに基づく映像を表示させるための表示データを順次生成し、生成された表示データを表示手段８４０へ送る。
【００９３】
拍同期情報の作成指令を受けた抽出手段７２０は、まず、複合コンテンツ記録手段８１５から、当該指定された複合コンテンツの楽曲データを読み取る。引き続き、抽出手段７２０は、読み取られた楽曲データを解析し、通常速度で読み取られて再生された場合の楽曲音の拍位置、拍と拍との間の位置、第１拍位置、１分間当たりの拍数等を検出し、当該検出の結果を含む拍情報を抽出する。そして、抽出手段７２０は、抽出された拍情報を、当該指定された複合コンテンツに関する楽曲データの拍情報として、拍同期情報記録手段７２５内に記録する。
【００９４】
また、抽出手段７２０は、拍情報の抽出と並行して、当該拍情報と対応付けた複合コンテンツの映像データを、拍同期映像データとして抽出する。そして、抽出手段７２０は、抽出された拍同期映像データを、拍同期情報記録手段７２５内に記録する。
【００９５】
＜再生楽曲音と複合コンテンツにおける映像との同期再生処理＞
複合コンテンツ、及び、再生楽曲コンテンツを指定した同期再生の開始指令が入力手段８５０に入力されると、入力手段８５０は、当該同期再生の開始指令を、音出力手段７３０及び表示制御手段７６０へ送る。
【００９６】
当該同期再生の開始指令を受けた音出力制御手段７３０は、通常速度で、再生楽曲コンテンツのデータを楽曲コンテンツ記録手段８１０から、順次読み取る。そして、音出力制御手段７３０は、楽曲関連情報記録手段７１５内における再生楽曲コンテンツの楽曲構成情報を参照して、通常速度による拍進行状況を検出する。こうして検出された拍進行状況は、表示制御手段７６０へ送られる。
【００９７】
音出力制御手段７３０から送られた拍進行状況を受けた表示制御手段７６０は、拍同期情報記録手段７２５における当該指定された複合コンテンツに対応する拍情報、拍同期映像データ、及び、再生楽曲音の拍進行状況に基づいて、再生楽曲音の拍進行と同期した複合コンテンツの映像データに基づく映像を表示させるための表示データを順次生成し、生成された表示データを表示手段８４０へ送る。この結果、再生楽曲音の拍進行と同期して進行する複合コンテンツの映像が、表示手段８４０に表示される。
【００９８】
＜拍同期映像情報の抽出処理＞
拍同期映像情報の抽出処理は、利用者による録画時楽曲音に対応する楽曲コンテンツ（以下、「録画時楽曲コンテンツ」と呼ぶ）を指定した拍同期映像情報の抽出指令の入力手段８５０への入力に応答して開始される。当該拍同期映像情報の抽出指令の入力手段８５０への入力が行われると、入力手段８５０は、当該拍同期映像情報の抽出指令を録画制御手段７４０へ送るとともに、当該録画時楽曲コンテンツ及び通常速度を指定した楽曲音再生の開始指令を音出力制御手段７３０へ送る。また、当該拍同期映像情報の抽出指令の入力手段８５０への入力が行われると、入力手段８５０は、モニタ表示の開始指令を表示制御手段７６０へ送る。
【００９９】
この楽曲音再生の開始指令を受けた音出力制御手段７３０は、通常速度で、録画時楽曲コンテンツのデータを楽曲コンテンツ記録手段８１０から、順次読み取る。次に、音出力制御手段７３０は、読み取られた録画時楽曲コンテンツのデータに基づいて、出力音データを生成し、生成された出力音データを音出力手段８３０へ送る。この結果、音出力手段８３０から、録画時の楽曲コンテンツに対応する楽曲音が出力される。
【０１００】
また、モニタ表示の開始指令を受けた表示制御手段７６０は、取得手段７２７から送られている映像データに基づいて、撮影中の映像をリアルタイムで表示させるための表示データを生成し、生成された表示データを表示手段８４０へ送る。この結果、撮影中の映像が、リアルタイムで、表示手段８４０に表示される。
【０１０１】
かかる録画時楽曲コンテンツに対応する録画時楽曲音の再生制御と並行して、音出力制御手段７３０は、楽曲関連情報記録手段７１５内の録画時楽曲コンテンツに関する楽曲構成情報を参照して、録画時楽曲音再生中の拍進行状況を検出する。そして、音出力制御手段７３０は、検出された拍進行状況を録画制御手段７４０へ送る。
【０１０２】
拍同期映像情報の抽出指令を受けると、録画制御手段７４０は、楽曲関連情報記録手段７１５内の録画時楽曲コンテンツに対応する楽曲構成情報、及び、音出力制御手段７３０から送られた拍進行状況に基づいて、録画時楽曲音における拍進行タイミングと、当該映像データに対応する映像の進行タイミングとの同期関係情報を抽出する。
【０１０３】
また、録画制御手段７４０は、当該楽曲構成情報における録画開始拍位置及び録画終了拍位置の指定に従って、録画期間における動画像データ又は静止画像データを同期再生用映像データとして抽出する。そして、録画制御手段７４０は、同期再生用映像データ、及び、同期再生用映像と録画時楽曲音との同期関係情報を、拍同期映像情報として、拍同期映像情報記録手段７５０内に記録する。
【０１０４】
ここで、当該楽曲構成情報において録画開始拍位置が指定されていない場合には、録画制御手段７４０は、入力手段８５０に入力された録画開始指令を受けると、同期再生用映像データの抽出を開始する。また、当該楽曲構成情報において録画終了拍位置が指定されていない場合には、録画御手段７４０は、入力手段８５０に入力された録画終了指令を受けると、同期再生用映像データの抽出を終了する。
【０１０５】
また、当該楽曲構成情報において静止画の録画に際しての録画拍位置又は録画拍間位置の指定が行われている場合には、録画制御手段７４０は、録画期間内における当該指定された録画拍位置又は録画拍間位置における映像フレームのデータを、同期再生用映像データとして抽出する。一方、当該楽曲構成情報において静止画の録画に際しての録画拍位置又は録画拍間位置の指定が行われていない場合には、録画制御手段７４０は、録画期間内における動画映像データを、同期再生用映像データとして抽出する。
【０１０６】
なお、本実施形態では、録画時楽曲コンテンツに関する楽曲構成情報が楽曲関連情報記録手段７１５内に記録されていなかった場合には、録画制御手段７４０は、同期再生用映像データ及び同期関係情報の抽出を行わずに、録画期間内に取得手段７２７から送られた映像データをそのまま、不図示の通常映像記録手段内に、録画時楽曲コンテンツに関連付けて記録するようになっている。
【０１０７】
＜再生楽曲音と録画映像との同期再生処理＞
拍同期映像情報、及び、再生楽曲コンテンツを指定した同期再生の開始指令が入力手段８５０に入力されると、入力手段８５０は、当該同期再生の開始指令を、音出力手段７３０及び表示制御手段７６０へ送る。なお、当該同期再生の開始指令では、再生楽曲音の再生速度も指定される。
【０１０８】
当該同期再生の開始指令を受けた音出力制御手段７３０は、指定された再生速度に応じた速度で、再生楽曲コンテンツのデータを楽曲コンテンツ記録手段８１０から、順次読み取る。そして、音出力制御手段７３０は、楽曲関連情報記録手段７１５内における再生楽曲コンテンツの楽曲構成情報を参照して、当該指定された再生速度による拍進行状況を検出する。こうして検出された拍進行状況は、表示制御手段７６０へ送られる。
【０１０９】
音出力制御手段７３０から送られた拍進行状況を受けた表示制御手段７６０は、拍同期映像情報記録手段７５０における当該指定された拍同期映像情報、及び、当該拍進行状況に基づいて、再生楽曲音の拍進行と同期した、指定された拍同期映像情報における映像データに基づく映像を表示させるための表示データを順次生成し、生成された表示データを表示手段８４０へ送る。この結果、再生楽曲音の拍進行と同期して進行する映像が、表示手段８４０に表示される。このため、再生楽曲音の再生速度に関わり無く、再生楽曲音の拍進行と同期して進行する映像が、表示手段８４０に表示される。
【０１１０】
ここで、再生楽曲音の再生速度として、通常速度とは異なるスロー再生速度又は早送り再生速度等が指定された場合には、再生楽曲音は再生されないが、拍の進行により進行報告位置となると、所定の効果音が、音出力手段８３０から出力される。この結果、再生楽曲音が再生されない場合であっても、再生映像と再生楽曲音との同期関係が把握できる。
【０１１１】
なお、本実施形態では、表示制御手段７６０は、再生楽曲音の拍進行状況を、再生映像とともに、表示手段８４０に表示させる表示制御を行う。かかる拍進行状況の表示に際して、同期再生期間の小節構成における各時点の再生楽曲音の小節位置を拍位置ごとに、拍数を表現する数字を表示することにより、再生楽曲音の拍進行を表示するようになっている。
【０１１２】
こうした同期再生処理は、入力手段８５０への同期再生の終了指令が入力されるか、再生楽曲音の全ての出力が終了すると、終了する。ここで、入力手段８５０への同期再生の終了指令が入力されると、入力手段８５０は、楽曲音再生の終了指令を音出力制御手段７３０へ送るとともに、同期表示処理の終了指令を表示制御手段７６０へ送る。この結果、再生楽曲音の出力及び同期映像の表示が終了する。
【０１１３】
以上説明したように、本実施形態では、作成手段７１０が、楽曲コンテンツを解析して、当該楽曲コンテンツに対応する再生楽曲音の拍の位置情報を含む拍情報を抽出し、抽出された拍情報を含む楽曲構成情報を作成する。こうして作成された楽曲構成情報の確認用の画面が表示手段８４０に表示される際には、各小節に含まれる拍数が数字で表示される。そして、作成された楽曲構成情報の正確性の確認の結果、楽曲構成情報が裏拍に基づいて作成されていたり、楽曲の繋ぎ目で拍位置を見失っているものとなっていたりした場合には、作成手段７１０は、拍構成情報の編集用画面を参照して利用者により行われる編集入力操作を反映した拍構成情報を作成する。
【０１１４】
また、作成手段７１０は、利用者によるダンスの演出に関する入力操作に従って、楽曲構成情報における拍位置のそれぞれに対応する「ダンスのメンバの割り振り」、「ステージ上におけるメンバの立ち位置」等の演出情報を作成する。そして、音出力手段８３０から楽曲コンテンツの再生音を出力した際に、表示手段８４０に、当該楽曲コンテンツの楽曲構成情報における拍位置のそれぞれに対応する「ダンスのメンバの割り振り」、「ステージ上におけるメンバの立ち位置」等の演出情報が表示させることができる。
【０１１５】
また、作成手段７１０は、利用者による入力操作に従って、楽曲構成情報に、録画に際しての録画開始拍位置、及び、録画終了拍位置、並びに、静止画の録画に際しての録画位置（録画拍位置又は録画拍間位置）等の付加情報を付加することができる。そして、当該付加情報を付与した場合には、録画制御手段７４０は、録画時楽曲音の再生出力中に撮影手段８２０により撮影された映像のデータを取得し、付加情報を参照して、録画期間における動画像データ又は静止画像データを同期再生用映像データとして抽出し、拍同期映像情報記録手段７５０に記録させる。
【０１１６】
また、本実施形態では、抽出手段７２０が、複合コンテンツにおける楽曲データを解析して、当該楽曲データに対応する再生楽曲音の拍の位置情報を含む拍情報を抽出する。また、抽出手段７２０は、複合コンテンツにおける映像データから拍情報と対応付けた拍同期映像データを抽出する。そして、表示制御手段７６０は、再生楽曲音の楽曲構成情報、並びに、抽出された拍情報及び拍同期映像データに基づいて、楽曲コンテンツに対応する再生楽曲音の再生タイミングとの同期を図りつつ、複合コンテンツにおける映像データに基づく再生映像を表示手段８４０に表示させる。
【０１１７】
したがって、本実施形態によれば、楽曲音の拍情報を含む楽曲構成情報を作成し、当該楽曲構成情報を利用して利用者の利便性を図ることができる。
【０１１８】
また、上記の実施形態では、同期再生用映像データに対応する映像位置を拍位置、小節位置で管理できるので、通常の再生時におけるコマ送り／コマ戻しに代えて、拍送り／拍戻し、小節送り／小節戻し、所定数の小節送り／所定数の小節戻し等を行うようにすることができる。
【０１１９】
また、本実施形態では、表示制御手段７６０が、再生楽曲音の拍構成情報に基づいて、再生映像の進行と同期した拍進行状況情報を、再生映像と同時に表示手段８４０に表示させる。このため、再生映像と、再生楽曲音の拍進行との同期とを、視覚的にも把握できる。
【０１２０】
また、本実施形態では、録画時楽曲音の拍構成情報において静止画の録画に際しての録画拍位置又は録画拍間位置が設定されている場合には、録画制御手段７４０は、取得手段７２７が取得した映像データ中における当該設定された位置における静止画のみを、同期再生用映像データとして抽出し、拍同期映像情報として拍同期映像情報記録手段７５０に記録させる。このため、録画時における映像と楽曲との同期関係の確認に利用するための映像データのデータ量を低減させることができる。
【０１２１】
［実施形態の変形］
本発明は、上記の実施形態に限定されるものではなく、様々な変形が可能である。
【０１２２】
例えば、上記の実施形態では、同期再生時において、再生楽曲音の再生速度として通常速度以外の再生速度が指定された場合に、拍の進行により進行報告位置となるたびに、所定の効果音が、音出力手段８３０から出力されようにした。これに対し、拍の進行により進行報告位置となるたびに、ＬＥＤ（Light Emitting Diode）を点灯させる等、視覚的に当該進行報告位置となったことを提示するようにしてもよい。
【０１２３】
また、録画時楽曲音に対応する楽曲コンテンツと、再生時楽曲音に対応する楽曲コンテンツとは、同一であってもよいし、互いに異なっていてもよい。
【０１２４】
また、上記の実施形態では、楽曲コンテンツ記録手段、複合コンテンツ記録手段、撮影手段、音出力手段、表示手段及び入力手段を楽曲情報処理装置が備えるようにした。これに対し、これらの一部又は全部の機能を他の装置が有しているときには、当該他の装置の機能を利用するようにしてもよい。
【０１２５】
また、上記の実施形態の楽曲情報処理装置を、演算部としてのコンピュータを備えたコンピュータ装置として構成し、上述した作成手段、抽出手段、録画制御手段、音出力制御手段及び表示制御手段の機能の一部又は全部の機能を、プログラムを実行することにより実現するようにすることができる。これらのプログラムは、ＣＤ−ＲＯＭ，ＤＶＤ等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにすることができる。
【実施例】
【０１２６】
以下、本発明の楽曲情報処理装置の一実施例を、図２〜図１５を参照して説明する。なお、以下の説明及び図面においては、同一又は同等の要素については同一の符号を付し、重複する説明を省略する。
【０１２７】
［構成］
図２には、一実施例に係る楽曲情報処理装置１００の概略的な構成が示されている。なお、楽曲情報処理装置１００は、上述した実施形態の楽曲情報処理装置７００（図１参照）の一態様となっている。
【０１２８】
図２に示されるように、楽曲情報処理装置１００は、作成手段７１０、抽出手段７２０、取得手段７２７、音出力制御手段７３０、録画制御手段７４０、表示制御手段７６０、及び、入力手段８５０の一部としての制御ユニット１１０と、楽曲コンテンツ記録手段８１０としての音源ユニット１２０と、複合コンテンツ記録手段８１５としての複合コンテンツ源ユニット１２５と、楽曲関連情報記録手段７１５、拍同期情報記録手段７２５及び拍同期映像情報記録手段７５０としての記憶ユニット１３０とを備えている。また、楽曲情報処理装置１００は、音出力手段８３０としての音出力ユニット１４０と、表示手段８４０としての表示ユニット１６０と、入力手段８５０の一部としての操作入力ユニット１７０と、撮影手段８２０としての撮影ユニット１８０とを備えている。
【０１２９】
上記の制御ユニット１１０は、楽曲情報処理装置１００の全体を統括制御するとともに、様々な処理を実行する。この制御ユニット１１０は、中央処理装置（ＣＰＵ）及びその周辺回路を備えて構成されている。制御ユニット１１０が様々なプログラムを実行することにより、上述した作成手段７１０、抽出手段７２０、取得手段７２７、音出力制御手段７３０、録画制御手段７４０、表示制御手段７６０及び入力手段８５０の一部の機能が実現されるようになっている。
【０１３０】
すなわち、制御ユニット１１０は、楽曲構成情報の作成処理、演出情報の作成処理、演出情報の表示処理、拍同期情報の作成処理、及び、再生楽曲音と複合コンテンツにおける映像との同期再生処理を行う。また、制御ユニット１１０は、拍同期映像情報の抽出処理、及び、再生楽曲音と録画映像との同期再生処理を行う。かかる制御ユニット１１０が実行する処理の詳細については、後述する。
【０１３１】
上記の音源ユニット１２０は、不揮発性の記憶素子を備えて構成される。この音源ユニット１２０は、ダンス用楽曲を含む様々な楽曲に関する楽曲コンテンツ情報ＭＣＤを記憶する。この楽曲コンテンツ情報ＭＣＤの内容については、後述する。
【０１３２】
上記の複合コンテンツ源ユニット１２５は、不揮発性の記憶素子を備えて構成される。この複合コンテンツ源ユニット１２５は、様々な映像及び楽曲に関する複合コンテンツ情報ＣＣＤを記憶する。この複合コンテンツ情報ＣＣＤの内容については、後述する。
【０１３３】
上記の記憶ユニット１３０は、不揮発性の記憶装置であるハードディスク装置等から構成される。記憶ユニット１２０は、楽曲構成情報ＭＤＡ、演出情報ＭＤＢ、拍同期情報ＭＤＣ及び拍同期映像情報ＭＤＤを記憶する。これら楽曲拍情報ＭＤＡ、演出情報ＭＤＢ、拍同期情報ＭＤＣ及び拍同期映像情報ＭＤＤの内容については、後述する。
【０１３４】
上記の音出力ユニット１４０は、スピーカを備えて構成される。この音出力ユニット１４０は、制御ユニット１１０から送られた出力音データを受ける。そして、音出力ユニット１４０は、制御ユニット１１０による制御のもとで、当該出力音データに対応する出力音を再生出力する。
【０１３５】
上記の表示ユニット１６０は、液晶パネル等の表示デバイスを備えて構成される。この表示ユニット１６０は、制御ユニット１１０から送られた表示データを受ける。そして、表示ユニット１６０は、当該表示データに対応する画像を表示する。
【０１３６】
上記の操作入力ユニット１７０は、楽曲情報処理装置１００の本体部に設けられたキー部、及び／又はキー部を備えるリモート入力装置等により構成される。ここで、本体部に設けられたキー部としては、表示ユニット１６０の表示デバイスに設けられたタッチパネルを用いることができる。なお、キー部を有する構成に代えて、又は併用して音声認識技術を利用して音声にて入力する構成を採用することもできる。また、カメラによる撮影画像についての画像認識や、モーションキャプチャによる動作認識を操作入力に際して利用することもできる。
【０１３７】
この操作入力ユニット１７０を利用者が操作することにより、楽曲情報処理装置１００の動作内容の設定や動作指令の入力が行われる。操作入力ユニット１７０への入力内容は、操作入力データとして、制御ユニット１１０へ送られる。
【０１３８】
上記の撮影ユニット１８０は、撮影カメラを備えて構成されている。この撮影ユニット１８０は、制御ユニット１１０による制御のもとで、楽曲情報処理装置の周辺映像を撮影する。撮影ユニット１８０による撮影結果は、映像データとして、制御ユニット１１０へ送られる。
【０１３９】
次に、音源ユニット１２０内に記憶される楽曲コンテンツ情報ＭＣＤについて、説明する。楽曲コンテンツ情報ＭＣＤには、図３に示されるように、楽曲コンテンツ情報＃１，＃２，…が含まれている。かかる楽曲コンテンツが単一楽曲構成の場合には、図３において楽曲コンテンツ情報＃１として例示されるように、楽曲コンテンツ識別子、楽曲コンテンツ名及び楽曲音データが含まれている。一方、楽曲コンテンツが複数楽曲構成の場合には、図３において楽曲コンテンツ情報＃２として例示されるように、楽曲コンテンツ識別子、楽曲コンテンツ名及び楽曲音データに加えて、繋ぎ位置情報が含まれている。
【０１４０】
次いで、複合コンテンツ源ユニット１２５内に記憶される複合コンテンツ情報ＣＣＤについて、説明する。複合コンテンツ情報ＣＣＤには、図４に示されるように、複合コンテンツ情報＃１，＃２，…が含まれている。かかる複合コンテンツ情報には、複合コンテンツ識別子、複合コンテンツ名、映像データ及び楽曲データが含まれている。
【０１４１】
次に、記憶ユニット１３０内に記憶される楽曲構成情報ＭＤＡについて、説明する。楽曲構成情報ＭＤＡには、図５に示されるように、楽曲構成情報＃１，＃２，…が含まれている。かかる楽曲構成情報に付加情報が付加されていない場合には、図５において楽曲構成情報＃１として例示されるように、楽曲構成情報識別子、楽曲コンテンツ識別子及び拍構成情報が含まれている。ここで、拍構成情報には、拍位置及び第１拍位置が含まれている。
【０１４２】
一方、楽曲構成情報内において付加情報が付加されている場合には、図５において楽曲構成情報＃２として例示されるように、楽曲構成情報識別子、楽曲コンテンツ識別子及び拍構成情報に加えて、付加情報が含まれている。この付加情報には、録画開始位置、録画終了位置、静止画録画位置及び進行報告位置の少なくとも一つが含まれる。
【０１４３】
ここで、録画開始位置は、録画開始拍位置となっており、また、録画終了位置は、録画終了拍位置となっている。また、静止画録画位置は、静止画の録画に際しての録画拍位置又は録画拍間位置となっている。また、進行報告位置は、進行報告拍位置又は進行報告拍間位置となっている。
【０１４４】
なお、付加情報において録画開始位置が設定されていない場合には、録画開始位置として、利用者による録画開始指令の操作入力ユニット１７０への入力がされた時点の撮影映像位置が設定されているものとみなされるようになっている。また、付加情報において録画終了位置が設定されていない場合には、録画終了位置として、利用者による録画終了指令の操作入力ユニット１７０への入力がされた時点、及び、録画時における楽曲コンテンツの再生が終了した撮影映像位置が設定されているものとみなされるようになっている。
【０１４５】
さらに、付加情報において静止画録画位置が設定されていない場合には、動画像の録画が設定されているものとみなされるようになっている。また、付加情報において進行報告位置が設定されていない場合には、進行報告位置として、第１拍位置が設定されているものとみなされるようになっている。
【０１４６】
次いで、記憶ユニット１３０内に記憶される演出情報ＭＤＢについて、説明する。演出情報ＭＤＢには、図６に示されるように、演出情報＃１，＃２，…が含まれている。かかる演出情報には、演出情報識別子、楽曲コンテンツ識別子及び担当メンバ情報が含まれている。この担当メンバ情報には、楽曲コンテンツ識別子により識別される楽曲コンテンツの楽曲構成情報における拍位置のそれぞれに対応する「ダンスのメンバの割り振り」、「ステージ上におけるメンバの立ち位置」等の情報が含まれる。
【０１４７】
次に、記憶ユニット１３０内に記憶される拍同期情報ＭＤＣについて、説明する。拍同期情報ＭＤＣには、図７に示されるように、拍同期情報＃１，＃２，…が含まれている。かかる拍同期情報＃ｒ（ｒ＝１，２，…）のそれぞれには、拍同期情報識別子、複合コンテンツ識別子、拍情報及び拍同期映像データが含まれている。
【０１４８】
次いで、記憶ユニット１３０内に記憶される拍同期映像情報ＭＤＤについて、説明する。拍同期映像情報ＭＤＤには、図８に示されるように、拍同期映像情報＃１，＃２，…が含まれている。かかる拍同期映像情報＃ｓ（ｓ＝１，２，…）のそれぞれには、拍同期映像情報識別子、録画時楽曲コンテンツ識別子、同期再生用映像データ及び同期関係情報が含まれている。
【０１４９】
ここで、拍同期映像情報ＭＤＤは、撮影ユニット１８０により撮影された映像データを、再生楽曲音の拍進行と同期させて再生出力するための情報である。一方、上述した拍同期情報ＭＤＣは、複合コンテンツにおける映像データを、再生楽曲音の拍進行と同期させて再生出力するための情報である。
【０１５０】
［動作］
次に、上記のように構成された楽曲情報処理装置１００の動作について、楽曲構成情報の作成処理、演出情報の作成処理、演出情報の表示処理、拍同期情報の作成処理、及び、再生楽曲音と複合コンテンツにおける映像との同期再生処理に主に着目して説明する。また、楽曲情報処理装置１００の動作について、拍同期映像情報の抽出処理、及び、再生楽曲音と録画映像との同期再生処理についても説明する。
【０１５１】
＜楽曲構成情報の作成処理＞
まず、楽曲構成情報の作成処理について説明する。楽曲構成情報の作成処理では、最初に、拍構成情報の作成処理が行われる。
【０１５２】
かかる拍構成情報の作成処理では、図９に示されるように、まず、ステップＳ１１において、楽曲コンテンツを指定した楽曲構成情報の作成指令が操作入力ユニット１７０に入力されたか否かを、制御ユニット１１０が判定する。この判定の結果が否定的であった場合（ステップＳ１１：Ｎ）には、ステップＳ１１の処理が繰り返される。
【０１５３】
楽曲構成情報の作成指令が入力され、ステップＳ１１における判定の結果が肯定的となると（ステップＳ１１：Ｙ）、処理はステップＳ１２へ進む。ステップＳ１２では、制御ユニット１１０が、記憶ユニット１３０内の楽曲構成情報ＭＤＡを参照し、指定された楽曲コンテンツに対応する拍構成情報が作成済であるか否かを判定する。ステップＳ１２における判定の結果が肯定的であった場合（ステップＳ１２：Ｙ）には、制御ユニット１１０は、楽曲構成情報の作成処理を終了する。
【０１５４】
ステップＳ１２における判定の結果が否定的であった場合（ステップＳ１２：Ｎ）には、処理はステップＳ１３へ進む。このステップＳ１３では、制御ユニット１１０が、指定された楽曲コンテンツに対応する楽曲音の拍構成情報を作成する。
【０１５５】
かかる拍構成情報の作成に際して、制御ユニット１１０は、まず、音源ユニット１２０から、当該指定された楽曲コンテンツのデータを読み取る。引き続き、制御ユニット１１０は、読み取られた楽曲コンテンツのデータを解析し、通常速度で読み取られて再生された場合の楽曲音の拍位置、拍と拍との間の位置、第１拍位置等を検出し、当該検出の結果を含む拍構成情報を作成する。そして、制御ユニット１１０は、作成された拍構成情報を、当該指定された楽曲コンテンツに関する拍構成情報として、楽曲構成情報識別子及び楽曲コンテンツ識別子とともに、楽曲構成情報として記憶ユニット１３０内に格納する。
【０１５６】
本実施例では、このようにして作成された「楽曲構成情報」の確認用の画像が表示ユニット１６０の表示デバイス１６１に表示される際には、小節に含まれる拍数が数字で表示されるようになっている。例えば、再生楽曲音の拍の強さのパターンが、「強拍、弱拍、中拍、弱拍、強拍、弱拍、中拍、弱拍」の繰り返しであり、４小節単位でフレーズが構成されているときは、図１０に示されるように、「８８８８／８８８８／…」と表示される。
【０１５７】
次に、ステップＳ１４において、上述のようにして作成された拍構成情報の正確性の確認用処理が行われる。かかる確認用処理は、利用者による当該作成された楽曲構成情報に対する拍情報確認指令に応答して実行される。
【０１５８】
拍構成情報の確認用処理に際して、制御ユニット１１０は、当該指定された楽曲コンテンツのデータを、通常速度で、音源ユニット１２０から、順次読み取る。引き続き、制御ユニット１１０は、読み取られた楽曲コンテンツのデータに基づいて、出力音データを生成し、生成された出力音データを音出力ユニット１４０へ送る。この結果、音出力ユニット１４０から、当該指定された楽曲コンテンツに対応する楽曲音が出力される。
【０１５９】
かかる指定された楽曲コンテンツに対応する楽曲音の再生制御と並行して、制御ユニット１１０は、当該作成された拍構成情報を参照して、楽曲音再生中の拍進行状況を検出する。そして、制御ユニット１１０は、当該指定された楽曲コンテンツの楽曲構成情報、及び、検出された拍進行状況に基づいて、拍進行を表示するための表示データを順次生成する。そして、制御ユニット１１０は、生成された表示データを表示ユニット１６０へ送る。
【０１６０】
この結果、音出力ユニット１４０から、指定された楽曲コンテンツの再生音が出力されるとともに、表示ユニット１６０の表示デバイス１６１に、例えば、図１１に示される拍進行の確認用の画面が表示される。こうして出力された再生音、及び、表示された拍進行を参照することにより、楽曲構成情報の正確性が、利用者により確認される。
【０１６１】
次いで、ステップＳ１５において、制御ユニット１１０が、拍構成情報の編集処理を行うか否かを判定する。ここで、操作入力ユニット１７０に編集不要指令が入力された場合には、ステップＳ１５における判定の結果が否定的となり（ステップＳ１５：Ｎ）、制御ユニット１１０は、拍構成情報の作成処理を終了する。
【０１６２】
一方、楽曲構成情報が裏拍に基づいて作成されていたり、楽曲の繋ぎ目で拍位置を見失っているものとなっていたりした場合には、利用者が操作入力ユニット１７０に拍構成情報編集の開始指令を入力する。この結果、ステップＳ１５における判定の結果が肯定的となり（ステップＳ１５：Ｙ）、処理はステップＳ１６へ進む。
【０１６３】
ステップＳ１６では、制御ユニット１１０が、拍構成情報の編集処理を行う。かかる拍構成情報の編集処理に際して、制御ユニット１１０は、当該拍構成情報を表示するための編集用画面データを作成する。そして、制御ユニット１１０は、作成された編集用画面データを表示ユニット１６０へ送る。この結果、表示ユニット１６０には、拍構成情報の編集用画面が表示される。
【０１６４】
拍構成情報の編集用画面が表示された後、表示ユニット１６０における表示画面を参照しつつ行われる操作入力ユニット１７０に対する拍構成情報の編集入力操作が行われるたびに、制御ユニット１１０は、拍構成情報を逐次更新するとともに、当該更新された拍構成情報を表示するための編集用画面データを作成する。そして、制御ユニット１１０は、作成された編集用画面データを表示ユニット１６０へ送る。
【０１６５】
こうして、拍位置、拍と拍との間の位置、及び、第１拍位置の変更が行われる。そして、利用者が拍構成情報の編集を終了したと判断すると、利用者が操作入力ユニット１７０に拍構成情報編集の終了指令を入力する。この拍構成情報編集の終了指令が入力されると、制御ユニット１１０は、当編集結果を記憶ユニット１３０内に格納し、拍構成情報の作成処理を終了する。
【０１６６】
なお、上述した拍構成情報の確認用処理及び拍構成情報の編集処理は、上述したステップＳ１１〜Ｓ１６の実行後においても、改めて行うことができる。
【０１６７】
《付加情報の編集処理》
楽曲構成情報には、上述した付加情報を付加することができる。かかる付加情報の編集処理に際しては、図１２に示されるように、まず、ステップＳ２１において、制御ユニット１１０が、操作入力ユニット１７０に、付加情報の編集をすべき楽曲構成情報を指定した付加情報編集の開始指令が入力されたか否かを判定する。この判定の結果が否定的であった場合（ステップＳ２１：Ｎ）には、ステップＳ２１の処理が繰り返される。
【０１６８】
付加情報編集の開始指令が入力され、ステップＳ２１における判定の結果が肯定的となると（ステップＳ２１：Ｙ）、制御ユニット１１０は、当該付加情報を編集するための編集用画面データを作成する。そして、制御ユニット１１０は、作成された編集用画面データを表示ユニット１６０へ送る。この結果、表示ユニット１６０には、付加情報の編集用画面が表示される。
【０１６９】
この後、処理はステップＳ２２へ進む。このステップＳ２２では、制御ユニット１１０が、操作入力ユニット１７０から操作入力がされた否かを判定する。この判定の結果が否定的であった場合（ステップＳ２２：Ｎ）には、ステップＳ２２の処理が繰り返される。
【０１７０】
操作入力がされ、ステップＳ２２における判定の結果が肯定的となると（ステップＳ２２：Ｙ）、処理はステップＳ２３へ進む。ステップＳ２３では、当該操作入力が付加情報編集の終了指令であるか否かを、制御ユニット１１０が判定する。この判定の結果が肯定的であった場合（ステップＳ２３：Ｙ）には、制御ユニット１１０は、付加情報の編集処理を終了する。
【０１７１】
ステップＳ２３における判定の結果が否定的であった場合（ステップＳ２３：Ｎ）には、処理はステップＳ２４へ進む。このステップＳ２４では、制御ユニット１１０は、操作入力に応じた付加情報の編集を行い、当該編集後の付加情報を表示するための編集用画面データを作成する。そして、制御ユニット１１０は、作成された編集用画面データを表示ユニット１６０へ送る。この結果、表示ユニット１６０には、付加情報の編集用画面が表示される。この後、処理はステップＳ２２へ戻る。
【０１７２】
以後、ステップＳ２３における判定の結果が肯定的となるまで、ステップＳ２２〜Ｓ２４の処理が繰り返される。そして、ステップＳ２３における判定の結果が肯定的となると（ステップＳ２３：Ｙ）、制御ユニット１１０は、編集結果を、指定された楽曲構成情報における付加情報として、記憶ユニット１３０に格納する。この後、制御ユニット１１０は、付加情報の編集処理を終了する。
【０１７３】
＜演出情報の作成処理＞
次に、演出情報の作成処理について説明する。
【０１７４】
演出情報の作成処理に際しては、図１３に示されるように、まず、ステップＳ３１において、制御ユニット１１０が、操作入力ユニット１７０に楽曲コンテンツを指定した演出情報の作成指令が入力されたか否かを判定する。この判定の結果が否定的であった場合（ステップＳ３１：Ｎ）には、ステップＳ３１の処理が繰り返される。
【０１７５】
演出情報の作成指令が入力され、ステップＳ３１における判定の結果が肯定的となると（ステップＳ３１：Ｙ）、処理はステップＳ３２へ進む。ステップＳ３２では、制御ユニット１１０は、記憶ユニット１３０内の指定された楽曲コンテンツの楽曲構成情報を利用した演出情報を作成するための編集用画面データを作成する。そして、制御ユニット１１０は、作成された編集用画面データを表示ユニット１６０へ送る。この結果、表示ユニット１６０には、演出情報の編集用画面が表示される。
【０１７６】
演出情報の編集用画面が表示された後、表示ユニット１６０における表示画面を参照しつつ行われる操作入力ユニット１７０に対する「ダンスのメンバの割り振り」、「ステージ上におけるメンバの立ち位置」等の演出情報の編集入力操作が行われるたびに、制御ユニット１１０は、演出情報を逐次更新するとともに、当該更新された演出情報を表示するための編集用画面データを作成する。そして、制御ユニット１１０は、作成された編集用画面データを表示ユニット１６０へ送る。
【０１７７】
そして、利用者が演出情報の編集を終了したと判断すると、利用者が操作入力ユニット１７０に演出情報作成の終了指令を入力する。この演出情報作成の終了指令が入力されると、制御ユニット１１０は、作成結果を記憶ユニット１３０内に格納し、演出情報の作成処理を終了する。
【０１７８】
＜演出情報の表示処理＞
次いで、演出情報の表示処理について説明する。
【０１７９】
演出情報の表示処理は、利用者による演出情報を指定した演出情報の表示指令に応答して実行される。当該演出情報の表示指令の操作入力ユニット１７０への入力が行われると、制御ユニット１１０は、指定された演出情報に含まれる楽曲コンテンツ識別子により識別される楽曲コンテンツのデータを、通常速度で、音源ユニット１２０から、順次読み取る。そして、制御ユニット１１０は、読み取られた楽曲コンテンツのデータに基づいて、出力音データを生成し、生成された出力音データを音出力ユニット１４０へ送る。この結果、音出力ユニット１４０から、楽曲コンテンツに対応する楽曲音が出力される。
【０１８０】
楽曲コンテンツに対応する楽曲音の再生制御と並行して、制御ユニット１１０は、当該楽曲コンテンツの拍構成情報を参照して、楽曲音再生中の拍進行状況を検出する。そして、制御ユニット１１０は、指定された演出情報、及び、拍進行状況に基づいて、拍進行を対応した演出情報を表示するための表示データを順次生成する。そして、制御ユニット１１０は、生成された表示データを表示ユニット１６０へ送る。
【０１８１】
この結果、音出力ユニット１４０から、演出情報に含まれる楽曲コンテンツ識別子により識別される楽曲コンテンツの再生音が出力されるとともに、表示ユニット１６０の表示デバイス１６１に、当該楽曲コンテンツの楽曲構成情報における拍位置のそれぞれに対応する「ダンスのメンバの割り振り」、「ステージ上におけるメンバの立ち位置」等の演出情報が表示される。
【０１８２】
表示デバイス１６１に表示される楽曲音の拍進行に応じた演出情報の例が、図１４に示されている、ここで、図１４には、メンバ「Ａ」、「Ｂ」、「Ｃ」のステージ上における立ち位置が示されている。
【０１８３】
＜拍同期情報の作成処理＞
次に、拍同期情報の作成処理について説明する。
【０１８４】
拍同期情報の作成処理は、利用者による複合コンテンツを指定した拍同期情報の作成指令に応答して開始される。当該拍同期情報の作成指令の操作入力ユニット１７０への入力が行われると、制御ユニット１１０は、通常速度で、当該指定された複合コンテンツの楽曲データを複合コンテンツ源ユニット１２５から、順次読み取る。そして、制御ユニット１１０は、読み取られた複合コンテンツの楽曲データに基づいて、出力音データを生成し、生成された出力音データを音出力ユニット１４０へ送る。この結果、音出力ユニット１４０から、複合コンテンツの楽曲音が出力される。
【０１８５】
また、制御ユニット１１０は、複合コンテンツ源ユニット１２５における当該指定された複合コンテンツの映像データに基づく映像を表示させるための表示データを順次生成し、生成された表示データを表示ユニット１６０へ送る。この結果、複合コンテンツの映像が表示ユニット１６０に表示される。
【０１８６】
かかる複合コンテンツの再生処理と並行して、制御ユニット１１０は、複合コンテンツの楽曲データを解析し、通常速度で読み取られて再生された場合の楽曲音の拍位置、拍と拍との間の位置、第１拍位置、１分間当たりの拍数等を検出し、当該検出の結果を含む拍情報を作成する。また、制御ユニット１１０は、拍情報の作成と並行して、当該拍情報と対応付けた複合コンテンツの映像データを、拍同期映像データとして抽出する。そして、制御ユニット１１０は、拍情報及び拍同期映像データを、拍同期情報識別子及び複合コンテンツ識別子とともに、拍同期情報として記憶ユニット１３０内に格納する。
【０１８７】
＜再生楽曲音と複合コンテンツにおける映像との同期再生処理＞
次いで、再生楽曲音と複合コンテンツにおける映像との同期再生処理について説明する。この同期再生処理は、複合コンテンツ、及び、再生楽曲コンテンツを指定した同期再生の開始指令が操作入力ユニット１７０に入力されると、開始する。
【０１８８】
かかる同期再生処理が開始されると、制御ユニット１１０は、通常速度で、再生楽曲コンテンツのデータを音源ユニット１２０から、順次読み取る。そして、制御ユニット１１０は、記憶ユニット１３０内の再生楽曲音に対応する楽曲構成情報を参照して、通常速度による拍進行状況を検出する。
【０１８９】
また、制御ユニット１１０は、記憶ユニット１３０内の当該指定された複合コンテンツの拍情報、拍同期映像データ、及び、再生楽曲音の拍進行状況に基づいて、再生楽曲音の拍進行と同期した複合コンテンツの映像データに基づく映像を表示させるための表示データを順次生成し、生成された表示データを表示ユニット１６０へ送る。この結果、再生楽曲音の拍進行と同期して進行する複合コンテンツの映像が、表示ユニット１６０に表示される。
【０１９０】
＜拍同期映像情報の抽出処理＞
次に、拍同期映像情報の抽出処理について説明する。
【０１９１】
拍同期映像情報の抽出処理に際しては、図１５に示されるように、まず、ステップＳ４１において、制御ユニット１１０が、操作入力ユニット１７０に録画時楽曲音に対応する録画時楽曲コンテンツを指定した拍同期映像情報の抽出指令が入力されたか否かを判定する。この判定の結果が否定的であった場合（ステップＳ４１：Ｎ）には、ステップＳ４１の処理が繰り返される。
【０１９２】
拍同期映像情報の抽出指令が入力され、ステップＳ４１における判定の結果が肯定的となると（ステップＳ４１：Ｙ）、制御ユニット１１０は、録画時楽曲音の再生出力、及び、撮影結果のモニタ表示を開始する。そして、処理はステップＳ４２へ進む。
【０１９３】
なお、録画時楽曲音の再生出力に際して、制御ユニット１１０は、通常速度で、録画時楽曲コンテンツのデータを音源ユニット１２０から、順次読み取る。引き続き、制御ユニット１１０は、読み取られた録画時楽曲コンテンツのデータに基づいて、出力音データを生成し、生成された出力音データを音出力ユニット１４０へ送る。この結果、音出力ユニット１４０から、録画時楽曲音が出力される。かかる録画時楽曲音の再生制御と並行して、制御ユニット１１０は、録画時楽曲コンテンツに関する楽曲構成を参照して、録画時楽曲音再生中の拍進行状況を検出する。
【０１９４】
また、撮影結果のモニタ表示に際して、制御ユニット１１０は、撮影ユニット１８０から映像データに基づいて、撮影中の映像をリアルタイムで表示させるための表示データを生成し、生成された表示データを表示ユニット１６０へ送る。この結果、撮影中の映像が、リアルタイムで、表示ユニット１６０に表示される。
【０１９５】
次に、ステップＳ４２では、制御ユニット１１０が、録画時楽曲音に対応する楽曲構成情報が記憶ユニット１３０内にあるか否かを判定する。この判定の結果が肯定的であった場合（ステップＳ４２：Ｙ）には、処理はステップＳ４３へ進む。
【０１９６】
ステップＳ４３では、制御ユニット１１０が、録画を開始するタイミングとなったか否かを判定する。かかる判定に際して、当該楽曲構成情報において録画開始拍位置が設定されていない場合には、制御ユニット１１０は、操作入力ユニット１７０に録画開始指令が入力されたか否かを判定する。また、当該楽曲構成情報において録画開始拍位置が設定されている場合には、制御ユニット１１０は、録画時楽曲音の拍進行が録画開始拍位置に到達したか否かを判定する。
【０１９７】
ステップＳ４３における判定の結果が否定的であった場合（ステップＳ４３：Ｎ）には、ステップＳ４３の処理が繰り返される。そして、ステップＳ４３における判定の結果が肯定的となると（ステップＳ４３：Ｙ）、処理はステップＳ４４へ進む。
【０１９８】
ステップＳ４４では、拍同期映像情報の抽出が行われる。かかる拍同期映像情報の抽出に際して、制御ユニット１１０は、記憶ユニット１３０内の録画時楽曲コンテンツに対応する楽曲構成情報、及び、検出された拍進行状況に基づいて、録画時楽曲音における拍進行タイミングと、当該映像データに対応する映像の進行タイミングとの同期関係情報を抽出する。
【０１９９】
また、制御ユニット１１０は、動画像データ又は静止画像データを同期再生用映像データとして抽出する。ここで、当該楽曲構成情報において静止画の録画に際しての録画拍位置又は録画拍間位置の指定が行われている場合には、制御ユニット１１０は、当該指定された録画拍位置又は録画拍間位置における映像フレームのデータを、同期再生用映像データとして抽出する。一方、当該楽曲構成情報において静止画の録画に際しての録画拍位置又は録画拍間位置の指定が行われていない場合には、制御ユニット１１０は、動画映像データを、同期再生用映像データとして抽出する。
【０２００】
次に、ステップＳ４５において、制御ユニット１１０は、録画を終了するタイミングとなったか否かを判定する。かかる判定に際して、当該楽曲構成情報において録画終了拍位置が設定されていない場合には、制御ユニット１１０は、操作入力ユニット１７０に録画終了指令が入力されたか否かを判定する。また、当該楽曲構成情報において録画開始拍位置が設定されている場合には、制御ユニット１１０は、録画時楽曲音の拍進行が録画終了拍位置に到達したか否かを判定する。なお、制御ユニット１１０は、録画時楽曲音の全てが出力された場合にも、録画を終了するタイミングとなったと判定する。
【０２０１】
ステップＳ４５における判定の結果が否定的であった場合（ステップＳ４５：Ｎ）には、処理はステップＳ４４へ戻る。そして、ステップＳ４４，Ｓ４５の処理が繰り返される。
【０２０２】
この後、ステップＳ４５における判定の結果が肯定的となると（ステップＳ４５：Ｙ）、制御ユニット１１０は、同期再生用映像データ、及び、同期再生映像と録画時楽曲音との同期関係情報を、拍同期映像情報識別子及び録画時楽曲コンテンツ識別子とともに、記憶ユニット１３０内に格納する。そして、制御ユニット１１０は、拍同期映像情報の抽出処理を終了する。
【０２０３】
上述したステップＳ４２における判定の結果が否定的であった場合（ステップＳ４２：Ｎ）には、処理はステップＳ４６へ進む。このステップＳ４６では、制御ユニット１１０は、操作入力ユニット１７０に録画開始指令が入力されたか否かを判定することにより、録画開始タイミングとなったか否かを判定する。この判定の結果が否定的であった場合（ステップＳ４６：Ｎ）には、ステップＳ４６の処理が繰り返される。
【０２０４】
録画開始指令が入力され、ステップＳ４６における判定の結果が肯定的となると（ステップＳ４６：Ｙ）、処理はステップＳ４７へ進む。このステップＳ４７では、通常の録画が行われる。そして、映像データを、記憶ユニット１３０内の不図示の通常録画領域に逐次格納する。
【０２０５】
次に、ステップＳ４８において、制御ユニット１１０が、操作入力ユニット１７０に録画終了指令が入力されたか否かを判定することにより、録画終了タイミングとなったか否かを判定する。この判定の結果が否定的であった場合（ステップＳ４８：Ｎ）には、処理はステップＳ４７へ戻る。そして、ステップＳ４６，Ｓ４７の処理が繰り返される。
【０２０６】
この後、ステップＳ４８における判定の結果が肯定的となると（ステップＳ４８：Ｙ）、制御ユニット１１０は、拍同期映像情報の抽出処理を終了する。
【０２０７】
＜再生楽曲音と録画映像との同期再生処理＞
次いで、再生楽曲音と録画映像との同期再生処理について説明する。この同期再生処理は、拍同期映像情報、及び、再生時楽曲コンテンツを指定した同期再生の開始指令が操作入力ユニット１７０に入力されると、開始する。なお、当該同期再生の開始指令では、再生時楽曲音の再生速度も指定される。
【０２０８】
かかる同期再生処理が開始されると、制御ユニット１１０は、指定された再生速度に応じた速度で、再生時楽曲コンテンツのデータを音源ユニット１２０から、順次読み取る。そして、制御ユニット１１０は、記憶ユニット１３０内の再生時楽曲音に対応する楽曲構成情報を参照して、当該指定された再生速度による拍進行状況を検出する。
【０２０９】
また、制御ユニット１１０は、記憶ユニット１３０内の当該指定された拍同期映像情報、及び、当該拍進行状況に基づいて、再生楽曲音の拍進行と同期した、指定された拍同期映像情報における同期再生用映像データに基づく映像を表示させるための表示データを順次生成し、生成された表示データを表示ユニット１６０へ送る。この結果、再生楽曲音の拍進行と同期して進行する映像が、表示ユニット１６０に表示される。このため、再生時楽曲音の再生速度に関わり無く、再生時楽曲音の拍進行と同期して進行する映像が、表示ユニット１６０に表示される。
【０２１０】
ここで、再生時楽曲音の再生速度として、通常速度が指定されている場合には、制御ユニット１１０は、読み取られた再生時楽曲コンテンツのデータに基づいて、再生楽曲音を音出力ユニット１４０から出力するための出力音データを生成する。そして、制御ユニット１１０は、生成された出力音データを音出力ユニット１４０へ送る。この結果、利用者は、再生映像と再生楽曲音との同期関係が把握できる。
【０２１１】
また、再生楽曲音の再生速度として、通常速度とは異なるスロー再生速度又は早送り再生速度等が指定された場合には、再生楽曲音は再生されないが、拍の進行により進行報告位置となると、制御ユニット１１０は、所定の効果音を音出力ユニット１４０から出力するための出力音データを生成する。そして、制御ユニット１１０は、生成された出力音データを音出力ユニット１４０へ送る。この結果、再生楽曲音が再生されない場合であっても、再生映像と再生時楽曲音との同期関係が把握できる。
【０２１２】
なお、本実施例では、制御ユニット１１０は、再生楽曲音の拍進行情報を、再生映像とともに、表示ユニット１６０に表示させる表示制御を行う。かかる拍進行情報の表示に際して、同期再生期間の小節構成における各時点の再生時楽曲音の小節位置を拍位置ごとに点滅表示することにより、再生時楽曲音の拍進行を表示するようになっている。
【０２１３】
こうした同期再生処理は、操作入力ユニット１７０に同期再生終了指令が入力されるか、再生時楽曲音の全ての出力が終了すると、終了する。
【０２１４】
以上説明したように、本実施例では、制御ユニット１１０が、楽曲コンテンツを解析して、当該楽曲コンテンツに対応する再生楽曲音の拍の位置情報を含む拍情報を抽出し、抽出された拍情報を含む楽曲構成情報を作成する。こうして作成された楽曲構成情報の確認用の画面が表示ユニット１６０の表示デバイスに表示される際には、各小節に含まれる拍数が数字で表示される。そして、作成された楽曲構成情報の正確性の確認の結果、楽曲構成情報が裏拍に基づいて作成されていたり、楽曲の繋ぎ目で拍位置を見失っているものとなっていたりした場合には、制御ユニット１１０は、拍構成情報の編集用画面を参照して利用者により行われる編集入力操作を反映した拍構成情報を作成する。
【０２１５】
また、制御ユニット１１０は、利用者によるダンスの演出に関する入力操作に従って、楽曲構成情報における拍位置のそれぞれに対応する「ダンスのメンバの割り振り」、「ステージ上におけるメンバの立ち位置」等の演出情報を作成する。そして、音出力ユニット１４０から楽曲コンテンツの再生音を出力した際には、表示ユニット１６０に、当該楽曲コンテンツの楽曲構成情報における拍位置のそれぞれに対応する「ダンスのメンバの割り振り」、「ステージ上におけるメンバの立ち位置」等の演出情報が表示させることができる。
【０２１６】
また、制御ユニット１１０は、利用者による入力操作に従って、楽曲構成情報に、録画に際しての録画開始拍位置、及び、録画終了拍位置、並びに、静止画の録画に際しての録画位置等の付加情報を付加することができる。そして、当該付加情報を付与した場合には、制御ユニット１１０は、録画時楽曲音の再生出力中に撮影ユニット１８０により撮影された映像のデータを取得し、付加情報を参照して、録画期間における動画像データ又は静止画像データを同期再生用映像データとして抽出し、記憶ユニット１３０に記録させる。
【０２１７】
また、本実施例では、制御ユニット１１０が、複合コンテンツにおける楽曲データを解析して、当該楽曲データに対応する再生楽曲音の拍の位置情報を含む拍情報を抽出するとともに、複合コンテンツにおける映像データから拍情報と対応付けた拍同期映像データを抽出する。そして、制御ユニット１１０は、再生楽曲音の楽曲構成情報、並びに、抽出された拍情報及び拍同期映像データに基づいて、楽曲コンテンツに基づく再生楽曲音の再生タイミングとの同期を図りつつ、複合コンテンツにおける映像データに基づく再生映像を表示ユニット１６０に表示させる。
【０２１８】
したがって、本実施例によれば、楽曲音の拍情報を含む楽曲構成情報を作成し、当該楽曲構成情報を利用して利用者の利便性を図ることができる。
【０２１９】
また、上記の実施例では、同期再生用映像データに対応する映像位置を拍位置、小節位置で管理できるので、通常の再生時におけるコマ送り／コマ戻しに代えて、拍送り／拍戻し、小節送り／小節戻し、所定数の小節送り／所定数の小節戻し等を行うようにすることができる。
【０２２０】
また、本実施例では、制御ユニット１１０が、再生楽曲音の拍情報に基づいて、再生映像の進行と同期した拍進行状況情報を、再生映像と同時に表示ユニット１６０に表示させる。このため、再生映像と、再生楽曲音の拍進行との同期を、視覚的にも把握できる。
【０２２１】
また、本実施例では、録画時楽曲音の拍情報において静止画の録画に際しての録画拍位置又は録画拍間位置が設定されている場合には、制御ユニット１１０は、当該設定された位置における静止画のみを、同期再生用映像データとして抽出し、記憶ユニット１３０内に格納する。このため、録画時における映像と楽曲との同期関係の確認に利用するための映像データのデータ量を低減させることができる。
【０２２２】
［実施例の変形］
本発明は、上記の実施例に限定されるものではなく、上述した実施形態の場合と同様に、様々な変形が可能である。
【０２２３】
すなわち、上記の実施例では、同期再生時において、再生楽曲音の再生速度として通常速度以外の再生速度が指定された場合に、拍の進行により進行報告位置となるたびに、所定の効果音が、音出力ユニット１４０から出力されようにした。これに対し、拍の進行により進行報告位置となるたびに、ＬＥＤ（Light Emitting Diode）を点灯させる等、視覚的に当該進行報告位置となったことを提示するようにしてもよい。
【０２２４】
また、録画時楽曲音に対応する楽曲コンテンツと、再生楽曲音に対応する楽曲コンテンツとは、同一であってもよいし、互いに異なっていてもよい。
【０２２５】
また、上記の実施例では、音源ユニット１２０、複合コンテンツ源ユニット１２５、音出力ユニット１４０、表示ユニット１６０、操作入力ユニット１７０及び撮影ユニット１８０を楽曲情報処理装置が備えるようにした。これに対し、これらの一部又は全部の機能を他の装置が有しているときには、当該他の装置の機能を利用するようにしてもよい。
【０２２６】
なお、上記の実施例では、制御ユニット１１０によるプログラムの実行により、楽曲構成情報の作成処理、演出情報の作成処理、演出情報の表示処理、拍同期情報の作成処理、再生楽曲音と複合コンテンツにおける映像との同期再生処理、拍同期映像情報の抽出処理、及び、再生楽曲音と録画映像との同期再生処理を行うようにしたが、これらの処理の全部又は一部を、専用のＬＳＩ（Large Scale Integrated circuit）等を用いたハードウェアにより行うようにしてもよい。
【符号の説明】
【０２２７】
１００  …  楽曲情報処理装置
１１０  …  制御ユニット（作成手段、抽出手段、録画制御手段、表示制御手段及び
入力手段の一部）
１６０  …  表示ユニット（表示手段）
１７０  …  操作入力ユニット（入力手段の一部）
７００  …  楽曲情報処理装置
７１０  …  作成手段
７２０  …  抽出手段
７４０  …  録画制御手段
７６０  …  表示制御手段
８２０  …  撮影手段
８４０  …  表示手段
８５０  …  入力手段
【図１】
2013171070.tif 000003
【図２】
2013171070.tif 000004
【図３】
2013171070.tif 000005
【図４】
2013171070.tif 000006
【図５】
2013171070.tif 000007
【図６】
2013171070.tif 000008
【図７】
2013171070.tif 000009
【図８】
2013171070.tif 000010
【図９】
2013171070.tif 000011
【図１０】
2013171070.tif 000012
【図１１】
2013171070.tif 000013
【図１２】
2013171070.tif 000014
【図１３】
2013171070.tif 000015
【図１４】
2013171070.tif 000016
【図１５】
2013171070.tif 000017