(57)【要約】リミックス処理部は、楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置を含むメタデータと、リミックスパターンを決定するファイルに基づいてリミックス処理を行う。同期再生制御部は、マスタービートを生成し、このマスタービートを上記リミックス処理部に送るとともに、上記リミックス処理部がリミックスパターンとメタデータに応じて指示してきたリミックス処理に応じて複数の楽曲を再生する。混合部は、同期再生制御部にて再生された楽曲を混合する。ハードディスクやフラッシュメモリなどの記憶媒体に、記録されている多数の楽曲の全体あるいは部分をビートを揃えて重ねたり、つなぐという編集を実現できる音楽編集装置を提供する。
2007066819.tif 000002
【特許請求の範囲】
【請求項１】
楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置を含むメタデータと、リミックスパターンを決定するファイルに基づいてリミックス処理を行うリミックス処理部と、
マスタービートを生成し、このマスタービートを上記リミックス処理部に送るとともに、上記リミックス処理部がリミックスパターンとメタデータに応じて指示してきたリミックス処理に応じ、各メタデータを用いて複数の楽曲を再生する同期再生制御部と、
上記同期再生制御部にて再生された楽曲を混合する混合部と
を備えることを特徴とする音楽編集装置。
【請求項２】
上記リミックス処理部は、上記メタデータを処理するメタデータ処理部と、上記リミックスパターンを読み込むリミックスパターン読み込み部を備えることを特徴とする請求の範囲１記載の音楽編集装置。
【請求項３】
上記同期再生制御部は、マスタービートを生成し、上記リミックス処理部に供給するマスタービート生成部と、複数の楽曲の音声信号を生成する複数系統の音声信号生成部を備えることを特徴とする請求の範囲１記載の音楽編集装置。
【請求項４】
上記メタデータを記憶しているメタデータ用記憶装置、上記楽曲データを記憶している楽曲用記憶装置及びリミックスパターンを記憶しているリミックスパターン用記憶装置を備えることを特徴とする請求の範囲１記載の音楽編集装置。
【請求項５】
上記同期再生制御部は、複数の楽曲の全体あるいは一部分を使用することを特徴とする請求の範囲１記載の音楽編集装置。
【請求項６】
上記同期再生制御部の複数系統の各音声信号生成部は、デコーダ、タイムストレッチ装置を備えることを特徴とする請求の範囲３記載の音楽編集装置。
【請求項７】
ネットワーク通信装置をさらに備え、上記メタデータをネットワーク上のサーバから取得することを特徴とする請求の範囲１記載の音楽編集装置。
【請求項８】
ネットワーク通信装置をさらに備え、上記リミックスパターンファイルをネットワーク上で共有することを特徴とする請求の範囲１記載の音楽編集装置。
【請求項９】
ユーザの歩行又はジョギングのテンポを計測して取得するセンサー値取得部をさらに備え、上記同期再生制御部は上記計測されたテンポに基づいてマスタービートテンポを生成することを特徴とする請求項１記載の音楽編集装置。
【請求項１０】
楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置を含むメタデータと、リミックスパターンを決定するファイルに基づいてリミックス処理を行うリミックス処理工程と、
マスタービートを生成し、このマスタービートを上記リミックス処理工程に送るとともに、上記リミックス処理工程がリミックスパターンとメタデータに応じて指示してきたリミックス処理に応じて複数の楽曲を再生する同期再生制御工程と、
上記同期再生制御工程にて再生された楽曲を混合する混合工程と
を備えることを特徴とする音楽編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、楽曲を楽曲パート、小節などに細分化することにより得られる音楽コンテンツなどを素材として用いて編集することにより、新たな楽曲（音楽コンテンツ）を生成する音楽編集装置及び音楽編集方法に関する。
【背景技術】
【０００２】
メモリ型オーディオの普及とともにユーザは大量の楽曲を持ち歩くことが日常的になった。大量の楽曲をメディアの交換無く連続して聴けるメモリ型オーディオにおいては、もともとのＣＤアルバム単位で聴くだけではなく、すべての楽曲をアルバムをまたいでシャッフルして聴いたり、自分の気に入った曲だけをプレイリストとして再構成して聴くというスタイルが広まっている。予めアルバムに録音されている順番を守らずに、ユーザが自分で聴きたい曲を聴きたい順番で聴く自由が広まったとも言える。
しかしながら、１曲１曲については先頭から最後まで聴くことが前提となっており、また曲と曲の間には無音部分ができてしまう。すなわち、曲は１曲という単位が最小になっており、その１曲で完結する聴き方しかできない。そのため、そこで集中、あるいはいわゆるノリが途切れてしまうことがあるので、ある一定のテンションを保ったまま楽曲を聴き続けることが難しい。
第２３図には楽曲Ａと楽曲Ｂを用いた従来の音楽再生を示す。二つの楽曲はそれぞれ楽曲の持つオリジナルのテンポで再生される。もちろん、曲間には無音部分ができてしまう。
そこで、複数の音楽素材を組み合わせて編集する技術が考えられた。特開２００３−４４０４６号公報には、キーボードやマウスを介したユーザ入力に応じて、複数の音素材を組み合わせて楽曲を対話的に編集したり再生して楽しむ技術が開示されている。キーボードの各キーに対して、サウンドパターンやワンショットなどの音片や、これら音片に適用するエフェクトなどからなるチップが割り当てられている。ユーザがキーを押下することによって、この押下キーに対応するチップが実行される。複数のキーを同時に押下操作することによって、該当するチップを合成出力する。また、各キーを順に押下してチップを時系列的に組み合わせて楽曲を構成する。
しかし、特開２００３−４４０４６号公報に記載の技術によっても、例えばディスクジョッキー（ＤＪ）が行うリミックスのように曲の一部分を他の曲とつないで複数の曲からあたかも一つの曲を、ビートを揃えて繋ぐように再構成するということは困難であった。ＤＪは現在では一般的な職業であり、リミックス音楽もそれ専用のレーベル会社がありそれを楽しんでいるユーザ層も規模が大きくなってきている。
本発明は、上記実情に鑑みてなされたものであり、ハードディスクやフラッシュメモリなどの記憶媒体に、記録されている多数の楽曲の全体あるいは部分をビートを揃えて重ねたり、あるいはつなぐという編集を実現できる音楽編集装置及び音楽編集方法の提供を目的とする。また、楽曲の全体または一部をリアルタイムにその場その場でつないで再生することのできる音楽編集装置及び音楽編集方法の提供を目的とする。
【発明の開示】
【０００３】
本発明に係る音楽編集装置は、上記課題を解決するために、楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置を含むメタデータと、リミックスパターンを決定するファイルに基づいてリミックス処理を行うリミックス処理部と、マスタービートを生成し、このマスタービートを上記リミックス処理部に送るとともに、上記リミックス処理部がリミックスパターンとメタデータに応じて指示してきたリミックス処理に応じて複数の楽曲を再生する同期再生制御部と、上記同期再生制御部にて再生された楽曲を混合する混合部とを備える。
本発明に係る音楽編集方法は、上記課題を解決するために、楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置を含むメタデータと、リミックスパターンを決定するファイルに基づいてリミックス処理を行うリミックス処理工程と、マスタービートを生成し、このマスタービートを上記リミックス処理工程に送るとともに、上記リミックス処理工程がリミックスパターンとメタデータに応じて指示してきたリミックス処理に応じて複数の楽曲を再生する同期再生制御工程と、上記同期再生制御工程にて再生された楽曲を混合する混合工程とを備える。
【図面の簡単な説明】
【０００４】
第１図は、本発明による装置、方法の一実施の形態が適用される音楽編集装置１のブロック図、第２図は、同期再生制御装置と音声ミキシング装置の詳細な構成を示すブロック図、第３図は、音楽編集装置の機能ブロック図、第４図は、音楽編集装置がＣＰＵによって実行する音楽編集プログラムの処理手順を示すフローチャート、第５図は、時間軸上のメタデータを示す図、第６図は、時間軸メタデータの具体例を示す図、第７図は、時間軸メタデータの他の具体例を示す図、第８図Ａ、第８図Ｂ及び第８図Ｃは、メタデータの格納方法を示す図、第９図は、リミックスパターンファイルの具体例を示す図、第１０図は、本発明による音楽再生を説明するための図、第１１図は、クロスフェードによるつなぎを説明するための図、第１２図は、カットインによるつなぎを説明するための図、第１３図は、効果音を用いたつなぎを説明するための図、第１４図は、効果音を用いたクロスフェードによるつなぎを説明するための図、第１５図は、同時同期再生を説明するための図、第１６図は、エフェクトの適用を説明するための図、第１７図は、部分再生を説明するための図、第１８図は、ネットワーク通信装置を有する音楽編集装置の構成図、第１９図は、ネットワーク通信装置を有する音楽編集装置の機能ブロック図、第２０図は、センサー値取得部を有する音楽編集装置の構成図、第２１図は、センサー値取得部を有する音楽編集装置の機能ブロック図、第２２図Ａ及び第２２図Ｂは、センサー値取得部を有する音楽編集装置の処理手順を示すフローチャート、第２３図は、従来の音楽再生を説明するための図である。
【符号の説明】
【０００５】
１        音楽編集装置
２        ＣＰＵ
４        記憶装置
５        楽曲用記憶装置
６        メタデータ用記憶装置
７        リミックスパターン用記憶装置
８        同期再生装置
９        同期再生制御装置
１０      音声ミキシング装置
２０      リミックス処理部
２１      メタデータ処理部
２２      リミックスパターン読み込み部
９０      マスタービート生成部
９３ａ、９３ｂ、９３ｃ      音声信号生成部
Ｓ１      リミックスパターンファイルを取得する
Ｓ２      次の楽曲を取得する
Ｓ３      次の曲があるか？
Ｓ４      マスタービートテンポを決定する
Ｓ５      つなぎ方パターンを取得する
Ｓ６      楽曲のメタデータを取得する
Ｓ７      エフェクト処理が必要か？
Ｓ８      エフェクト処理部を有効にする
Ｓ９      音量フェード処理が必要か？
Ｓ１０    フェードパラメータを設定する
Ｓ１１    同期再生制御部に楽曲のオリジナルテンポをセットする
Ｓ１２    空いている音声信号生成部を取得する
Ｓ１３    同期再生制御部に楽曲をセットする
Ｓ１４    各楽曲の現在の再生位置を取得する
Ｓ１５    次の楽曲を用意するポイントに到達したか？
Ｓ２１１  センサー優先モードかパターン優先モードかを決定する
Ｓ２１２  センサ優先モードか？
Ｓ２１３  センサーの入力から楽曲とテンポを決める
Ｓ２１４  次の曲があるか？
Ｓ２１５  マスタービートテンポを設定する
Ｓ２１６  つなぎ方パターンを自動で決定
Ｓ２１７  楽曲のメタデータを取得
Ｓ２１８  エフェクト処理が必要か？
Ｓ２１９  エフェクト処理部を有効にする
Ｓ２２０  音量フェード処理が必要か？
Ｓ２２１  フェードパラメータを設定する
Ｓ２２２  同期再生制御部に楽曲のオリジナルテンポをセットする
Ｓ２２３  空いている音声信号生成部を取得する
Ｓ２２４  同時再生制御部に楽曲をセットする
Ｓ２２５  各楽曲の現在の再生位置を取得
Ｓ２２６  次の楽曲を用意するポイントに到達したか？
Ｓ２２７  センサー優先モードか？
Ｓ２２８  リミックスパターンファイルを取得
Ｓ２２９  次の楽曲を取得
Ｓ２３０  次の曲があるか？
Ｓ２３１  マスタービートテンポを決定する
Ｓ２３２  つなぎ方パターンを取得
【発明を実施するための最良の形態】
【０００６】
以下、本発明を実施するための最良の形態について図面を参照しながら説明する。第１図は本発明による装置、方法の一実施の形態が適用される音楽編集装置１のブロック図である。
この音楽編集装置１は、ハードディスク（ＨＤ）、コンパクトディスク（ＣＤ）、ミニディスク（ＭＤ）、ディジタルバーサタイルディスク（ＤＶＤ）などの種々の記録媒体やインターネットなどのネットワークを通じて提供される楽曲の音楽コンテンツデータ（オリジナルデータ）に対して、後述するメタデータを用いて、例えば本来テンポが異なる楽曲Ａと楽曲Ｂとをビートを揃えて繋いで再生したり、重ねて再生することができる。つまり、自動的にＤＪ再生を行う装置である。
第１図に示すように、この音楽編集装置１は、中央演算処理装置（ＣＰＵ）２にバス３を介して記憶装置４、同期再生装置８を接続している。また、ＣＰＵ２にバス３を介してＲＯＭ１３、ＲＡＭ１４、ユーザ操作Ｉ／Ｆ装置１５及びユーザインターフェース（Ｕ／Ｉ）表示装置１６を接続している。
ＣＰＵ２はリアルタイムに楽曲のつなぎ方を決定し、同期再生装置８に対して必要な楽曲素材を必要なタイミングで与える。また、ユーザの操作に応じて同期再生装置８に対し、テンポの指示やビート同期／非同期の指示を行う。
記憶装置４は、楽曲用記憶装置５、メタデータ用記憶装置６及びリミックスパターン用記憶装置７からなる。楽曲用記憶装置５は、複数の楽曲データを保持する記憶装置である。据え置き用の音楽再生装置や、携帯用の音楽再生装置が持っているようなフラッシュメモリやハードディスクなどの記憶装置である。なお、楽曲用記憶装置５に記憶される楽曲データは圧縮されたものでも非圧縮のものでもかまわない。
メタデータ用記憶装置６は、フラッシュメモリやハードディスクなどの種々の記憶装置であり、楽曲に付加されている、時間軸上のメタデータを記憶している。詳細は後述するが、メタデータは楽曲に付加された時間軸上の補助データであり、テンポだけでなくビートの位置情報、小節の先頭（単に頭と記す）位置情報、前奏（イントロ）やテーマ（サビ）などのメロディ情報が記述されている。
リミックスパターン用記憶装置７は、楽曲用記憶装置５と同様に記憶装置であれば特に制限を付ける必要はない。リミックスパターン指定方法を指示したリミックスパターンファイルを保持する記憶装置である。リミックスパターンファイルについては、詳細を後述するが、曲順が書いてあるだけでなく、曲順＋どういうふうに組み合わせるか、あるいは楽曲Ａと楽曲Ｂのどこを使ってどこに組み合わせるかというような、ことが書いてあるファイルである。
同期再生装置８は、音楽編集装置１が自動的にＤＪ再生を行うための信号処理ブロックであり、ＣＰＵ２のリミックス制御機能により指示された楽曲素材を基準ビートに同期して再生する。同期再生制御装置９、音声ミキシング装置１０、デジタル／アナログ変換装置（Ｄ／Ａ）１１及び音声出力装置１２からなる。
同期再生制御装置９は、複数の音声信号生成部を有し、複数の音楽信号を、自分の中で生成したクロック信号に同期して再生する。また、メタデータ用記憶装置６からのメタデータに基づいて現在再生されている楽曲の位置を常に監視し、ＣＰＵ２のリミックス処理機能部に、今どこを再生しているのかという位置（楽曲の再生をしているサンプル数とかの位置）や、何小節目の何拍目を再生しているのかという位置を返す。
音声ミキシング装置１０は、同期再生制御装置９内の複数の音声信号生成部で生成された複数系統の音声信号を合成して出力する。Ｄ／Ａ１１は音声ミキシング装置１０で再生されたデジタル信号をアナログ信号に変換する。音声出力装置１２は、Ｄ／Ａ１１からのアナログ音声信号を増幅し、スピーカやヘッドホンなどに出力する。
ＲＯＭ１３は、本発明の音楽編集方法にしたがった処理手順からなる音楽編集プログラムを格納している。また、デフォルトの各種データを格納している。ＲＡＭ１４は、ＣＰＵ２が上記音楽編集プログラムを実行するときのワークエリアになる。また、上記音楽編集プログラムを実行するときの各種更新データを記憶する。
ユーザ操作Ｉ／Ｆ装置１５はユーザによる操作を受けつける例えばキーボードや、マウス、タッチパットなどである。Ｕ／Ｉ表示装置１６は、現在の操作状況、音楽編集処理状況、あるいはユーザによる操作を可能とするタッチパネルを含めた表示部であり、例えば液晶表示装置である。もちろん、ＣＲＴでもよい。
第２図は同期再生制御装置９と音声ミキシング装置１０の詳細な構成を示すブロック図である。同期再生制御装置９は、マスタービート生成部９０と、３系統の音声信号生成部からなる。マスタービート生成部９０は、ビートに相当するクロックを生成する。詳細には、リミックス時のテンポとそのテンポに同期したビート信号を出力する。マスタービート生成部９０は指定された拍子（４／４拍子や３／４拍子など）にあわせて、小節の頭信号とそれ以外の通常のビート信号を生成し、出力する。
３系統（トラック）の音声信号生成部は、リアルタイムにステレオの音を複数だせるようにするために、典型的な例として、楽曲Ａ、楽曲Ｂ、効果音（Ｓｏｕｎｄ  ｅｆｆｅｃｔ：ＳＥ）ということで３トラックとしているものである。もちろん、楽曲の構成数に応じて４トラック、５トラックあるいはそれ以上のトラック数でもかまわない。この音声信号生成部は、マスタービート生成部９０が生成した同期信号（クロック、あるいはビート）をもとに楽曲の小節／ビート位置をマスタービートの小節／ビート位置に合わせて同期再生を行う。
各トラックには、それぞれ、デコーダ（Ｄｅｃｏｄｅｒ）９１ａ、９１ｂ及び９１ｃと、タイムストレッチ装置（Ｔｉｍｅ  Ｓｔｒｅｔｃｈ）９２ａ、９２ｂ及び９２ｃが備えられている。デコーダ９１ａ、９１ｂ及び９１ｃは、ＭＰ３やＡＴＲＡＣ等の圧縮音声をデコードし、ＰＣＭデータとして出力する。ここで、ＳＥは長さが短く、データサイズも小さいため必ずしも圧縮する必要は無い。そのため、このＳＥトラックのデコーダは省略してもよい。タイムストレッチ装置９２ａ、９２ｂ及び９２ｃは、音程を一定に保ったまま再生速度を変換する装置である。メタデータ用記憶装置６からのメタデータに基づいて異なるテンポを持つ楽曲素材を基準ビートのテンポに合わせる。楽曲のオリジナルテンポとマスタービートとの比率に鑑みて、再生速度をリアルタイムに変化させるという処理を行う。これによって、楽曲のオリジナルテンポをマスタービートのテンポに合わせることができる。もちろん、上述したように音程を変えることはない。
なお、これら音声信号生成部には、ピッチシフト（Ｐｉｔｃｈ  Ｓｈｉｆｔｅｒ）機能を搭載してもよい。ピッチシフト機能は、再生速度を一定に保ったまま音程を変更する。これは異なるキーや音程を持つ楽曲素材を音楽的に調和させるのに利用されるが、必ずしも必要な機能ではなく付加的な機能である。
音声ミキシング装置１０は、上記３トラックの音声信号生成部に対応して、３系統のエフェクト処理部１００ａ、１００ｂ及び１００ｃと、音量調整装置１０１ａ、１０１ｂ及び１０１ｃを備える。これら３系統の出力は音声ミックス装置１０２によりミックスされてから音声出力装置１０３により増幅されて外部のスピーカ、ヘッドホンに出力される。音声信号生成部の各トラックからの出力音声信号に対してそれぞれエフェクト処理と、音量調整処理ができる構成となっている。同期再生制御装置９と音声ミキシング装置１０とは、ＣＰＵバス又は同期再生装置内部のローカルバスを介してＣＰＵ２と接続されている。
第３図は音楽編集装置１の機能ブロック図である。第１図にハードウェア構成として示したＣＰＵ２の機能が、リミックス処理部２０として示してある。リミックス処理部２０は、さらにメタデータ処理部２１とリミックスパターン読み込み部２２に分かれている。
リミックス処理部２０は、メタデータ用記憶装置６に格納されたメタデータをメタデータ処理部２１によって処理する。上述したように、楽曲には時間軸上のメタデータが付加されており、テンポだけでなくビートの位置情報、小節の頭位置情報、イントロやサビなどのメロディ情報を保持している。
メタデータ処理部２１は、楽曲に対応した時間軸上のメタデータを読み込み、リミックスパターン読み込み部２２で読み込んだリミックスパターン情報の指示に従って当該楽曲の位置情報を調査する。例えば、今、どこのビートに自分がいるのかとか、今組み合わせようとしている楽曲のビートはどこにあるのかということを把握したうえで、複数ある楽曲とか、効果音というものを、どの時点で、どういうふうに再生するかを決めている。
また、リミックス処理部２０は、リミックスパターン用記憶装置７に格納されたリミックスパターンファイル７ａをリミックスパターン読み込み部２２で読み込む。リミックスパターンファイル７ａは、フェードアウトするのか、カットインするのか、ＳＥは何をかけるのか、というようなことを指定したファイルである。リミックスパターンは、ユーザあるいは第三者の手によって人為的に指示されたデータ列（この曲の後にはこういふうにつなげとか）でもよいし、自動生成アルゴリズムによって作られたものでもよい（勝手に機械側が決めるようなリミックスのようなもの）。
同期再生制御装置９は、マスタービート生成部９０によりマスタービートを生成し、このマスタービートをリミックス処理部２０に送るとともに、リミックス処理部２０がリミックスパターンとメタデータに応じて指示してきたリミックス処理に応じ、メタデータ用記憶装置６からの各メタデータを用いて複数の楽曲を再生する。
第４図は音楽編集装置１がＣＰＵ２によって実行する音楽編集プログラムの処理手順である。この音楽編集プログラムは本発明の音楽編集方法の具体例である。
まず、ＣＰＵ２のリミックス処理部２０はリミックスパターン用記憶装置７からのリミックスパターンファイル７ａをリミックパターン読み込み部２２で読み込んで取得する（ステップＳ１）。次に、楽曲、例えば１曲目を同期再生制御装置９に取得させる（ステップＳ２）。さらに、次の曲があれば（ステップＳ３にてＹＥＳ）、同期再生制御装置９のマスタービート生成部９０のテンポを決定する（ステップＳ４）。これは、１４０なら１４０で固定でもいいし、ユーザが何か指定しているものでもよい。次に、つなぎかたパターン（これもパターンファイルに書いてある）を取得する（ステップＳ５）。
これで、曲とつなぎ方のパターンが決まったので、楽曲のメタデータを取得する（ステップＳ６）。楽曲Ａであれば楽曲Ａのメタデータのことである。次に、エフェクト処理が必要かどうかをリミックスパターンファイルから判断する（ステップＳ７）し、必要であれば（ＹＥＳ）、エフェクト処理部１００にて、しかるべきエフェクトをかけるように有効にする（ステップＳ８）。
次に、音量フェード処理が必要かどうかをリミックスパターンファイルから判断する（ステップＳ９）。例えば楽曲Ａと楽曲Ｂを編集して重ねるときに上げたり下げたりの音量フェードが必要かを選択する。もし必要があれば（ＹＥＳ）、フェードパラメータを設定する（ステップＳ１０）。自動的に上げたり、下げたりを前提にして書いたが、そこにパラメータを設定しておく。
次に、同期再生制御装置９のマスタービート生成部９０に対して、楽曲のオリジナルのテンポをセットする（ステップＳ１１）。楽曲のオリジナルのテンポはメタデータに付与されている。そして、同期再生制御装置９内の空いている音声信号生成部を取得する。３ｃｈの具体例を上述したが、空いているところを取得して再生させたい楽曲をセットする（ステップＳ１３）。
そして、各楽曲の現在の再生位置を取得してから（ステップＳ１４）、次の楽曲を用意するポイントに到達したかを判断する（ステップＳ１５）。例えば、ＳＥがクロスフェードであれば、クロスフェードが終わるのはその小節の何小節か前であったり、カットインであれば、すぐに始まるので１小節前から準備しても間に合う。もちろん、同時再生は全く同時に再生である。そういうポイントに到達したかを見て、もし楽曲を用意するポイントに到達していないのであれば、ステップＳ１４にもどり、到達するまで待っている。もし、次の楽曲を用意するポイントに到達したのであれば（ＹＥＳ）、ステップＳ２に戻る。
第５図は時間軸上のメタデータ３０を示す図である。メタデータ３０は、上述したように、楽曲に付加された時間軸上の補助データであり、テンポだけでなくビートの位置情報、小節の頭位置情報、イントロやサビなどのメロディ情報が記述されている。小節／拍３１は１小節目の何拍目かを表している。「１１」は１小節目の１拍目を表す。「１４」は１小節目の４拍目を表す。同様に、「２１」は２小節目の１拍目を表す。特に、「１１」、「２１」は各小節の先頭の拍を表すことになる。属性３２はその位置に何があるかを示している。小節の頭、普通の拍、メロディ、テーマ（サビ）等の位置を示す。「０１８００００１」は小節の先頭であることを示す。前記「１１」、「２１」の属性として示している。サンプル位置は、例えば楽曲が４４．１ｋＨｚでサンプリングされているのであれば、１秒間に４４１００サンプルであるが、その位置がサンプル単位で記述されていることになる。この第５図に示したようなメタデータ３０はテキスト形式やバイナリ形式で記述されている。
第６図は時間軸メタデータの具体例である。音声信号４０とビート信号４１、４２の時間軸のメタデータを同時に表示している。音声信号４０は左から右に時間の経過とともに変化しているが、それとともにビートも乗っている。第６図において長い線４１が小節の頭、短い線４２が通常のビートを示している。小節の先頭４１とそれ以外のビート４２（４拍子であれば小節頭のあとに４分音符のタイミングで３拍）位置を楽曲のサンプル位置に対応させて保持しているものである。
第７図も時間軸メタデータの具体例を示す図である。音声信号５０に、ビート位置５５だけでなく楽曲のイントロ５１や、Ａメロディ５２及び５３、Ｂメロディ５４、テーマ（サビ）といったメロディ構成を示す位置情報を付けることが可能である。この情報を利用して対象の楽曲の小節位置や特定のメロディの開始位置がわかる。
上記第１図等に構成を示した音楽編集装置１では、メタデータはメタデータ用記憶装置６に格納されていた。メタデータの格納方法は、第８図Ａ、第８図Ｂ及び第８図Ｃに示すようにしてもよい。第８図Ａは、ＭＰ３のようにメタデータ７１と楽曲データ７２が論理的に別で物理的に同じメディアに存在する例である。また、第８図ＢはＭＰＥＧ４のように楽曲データ７４にメタデータ７３が混在している例である。また、第８図Ｃは例えばネットワークを介して楽曲データ７６に対応するメタデータ７５が検索される例である。論理的にも物理的に楽曲データとメタデータは別々である。これは、後述する音楽編集装置８０及び１１０のように、ネットワーク通信装置を備え、インターネットなどのネットワークに接続する形態のときに適用される。楽曲ＩＤに応じてネットワーク上のサイトからメタデータをダウンロードすることができる。
第９図はリミックスパターンファイルの具体例を示す図である。楽曲のメタデータは楽曲に対して１対１のものであるが、リミックスパターンのほうは、ユーザが自由に作ることができ、楽曲とは何の依存関係もないようにすることもできる。楽曲間をどうつなぐかというファイルである。リミックスのパターン６０における、曲ＩＤ（ファイル）６１のＩＤ＿Ａ〜ＩＤ＿Ｅは、曲名Ａ〜Ｅと同じであってもよい。絶対的なファイル名やファイルパスでもよい。再生部分６２は、それぞれの楽曲に対してどこを再生するかを示す。曲Ａに対しては「サビ」、Ｂに対しては「イントロ」、Ｃに対しては「８小節目から２０小節目」まで、Ｄに対しては全体、Ｅに対しては「サビ」という位置を指定する。再生時（エフェクト）６３は、各曲の各部分に、それぞれどういうふうなエフェクトをかけるかを指定する。つなぎ方（パターン）６４は、曲Ａに対してクロスフェードとあるが、Ｂとつなぐときにクロスフェードでつなぎなさいということを示す。また、ＢからＣはカットインで、ＣからＤはクロスフェードで、ＤとＥはサビの部分を同時再生でつなぐということを示す。また、つなぎ時（エフェクト）６５はつなぎ時にエフェクトとしてリバーブ、ローカット、ディストーションをかけることを指定する。つなぎＳＥ６６は、効果音を指定する。
第９図に示したパターンを指示した場合、実際の再生は次のように行われる。「ＩＤ＿Ａのサビが再生される。→ＩＤ＿Ａのサビ終わり付近でＩＤＢイントロがクロスフェードで入ってくる。→ＩＤ＿Ｂのイントロ終わりと同時にＩＤ＿Ｃの８小節目の再生が開始される→ＩＤ＿Ｃ２０小節の数小節からＩＤ＿Ｄがクロスフェードで入ってくる。同時にＳＥ＿Ａもミックスされる。→ＩＤ＿ＤのサビがくるとＩＤ＿Ｅのサビも同時に再生される。」という具合である。
このように、リミックスパターンは概念的に従来のプレイリストに対し曲のどこをどのようにつなぐかという指示を追加したものであるともいえる。
次に、第１０図〜第１７図を参照して楽曲をつなぐ方法の実例を概略的に説明する。従来の音楽再生では第２３図のように二つの楽曲Ａと楽曲Ｂはそれぞれの楽曲のもつオリジナルのテンポで再生され、曲と曲の間には無音部分ができることがほとんどであった。再生装置の仕組み的に無音部分なく繋ぐことができるものもあるが、楽曲の前後には多少なり無音部分がある曲も多く、それらの曲は曲の前後に曲の一部として無音部分を含んでいるためどうしても曲間に無音部分ができてしまう。
第１図に構成を示した音楽編集装置１によれば、第１０図のように、楽曲のオリジナルテンポによらずユーザあるいはシステムが決定したテンポにすべての楽曲Ａ，Ｂ，Ｃのテンポを合わせ、そして楽曲Ａ，Ｂ，Ｃの拍位置（ダウンビート位置）も合わせて再生することで、曲を違和感なくシームレスにノンストップに繋ぐことを可能にする。
これは音楽編集装置１が楽曲Ａと楽曲Ｂと楽曲Ｃを上述したようにビート同期再生することによる。異なるテンポの３つの楽曲のビート（拍）を同期させて再生するためには、それぞれの楽曲Ａ，Ｂ，Ｃのオリジナルのテンポと拍（ビート）位置を知らなくてはならない。また、再生時にはテンポとビート位置を揃えるために楽曲Ａ，Ｂ，Ｃの再生速度を変化させなくてはならない。
オリジナルのテンポとビート位置を知るために、音楽編集装置１では楽曲Ａ，Ｂ，Ｃとそれぞれのペアとなった時間軸上のメタデータを用いている。再生時には楽曲のオリジナルテンポと現在のマスタービートテンポの比から再生速度を変化させたうえで、おのおのの楽曲の小節の頭位置を合わせて再生を開始する。
上記のように複数の楽曲のテンポとビート位置を正確に扱って、リアルタイムに再生位置を制御して同期再生を行う。ここで説明する楽曲をシームレスにつなぐ手法はすべてこのビート同期再生という方法を用いることが前提となっている。
第１１図には、楽曲Ａと楽曲Ｂをビートを揃えて重ねながら、クロスフェード処理によりつなぐという例を示す。現在の楽曲Ａをフェードアウト（音量を徐々に小さくする）しながら次にくる楽曲Ｂをフェードイン（音量を徐々に大きくする）し、その両方を同時に再生することで双方の曲がシームレスに入れ替わる効果が得られる。クロスフェードは、従来からＦＭラジオ放送などでよく利用される手法であるが本発明のポイントはこれらの楽曲Ａと楽曲Ｂのテンポとビート位置が揃えられているため違和感なくノンストップで楽曲がつながるところにある。
音楽編集装置１では、第１２図に概要を示すカットイン処理も行える。楽曲Ａ、楽曲Ｂ、楽曲Ｃ間の繋ぎ目が音楽的に切れがよい場合などではクロスフェードを行うよりも第１２図のようにそのまま繋いでしまった方がよい場合もある。また、楽曲のビートの切れ目で意図的に切って次のビートから次の曲に切換えることも考えられる。
また、音楽編集装置１では、上述したように効果音（ＳＥ）を用いて楽曲をつないでいる。つまり、楽曲だけでなく、楽曲つなぎ部分や任意の部分に効果音（ＳＥ：Ｓｏｕｎｄ  Ｅｆｆｅｃｔ）をはさむことができる。第１３図は楽曲Ａと楽曲Ｂと楽曲Ｃのそれぞれの楽曲間に効果音を挟んだ例である。第１４図はＳＥを用いた楽曲Ａと楽曲Ｂのクロスフェードによるつなぎを示す例である。もちろんこの場合の効果音もマスタービートテンポに同期させることが可能である。ＳＥを挟んだり重ねたりすることで曲調が大きく異なる楽曲同士をつなぐ場合により自然につなぐことが可能となる。
また、音楽編集装置１では、同時再生を行ってもよい。異なる楽曲をつなぐだけではなく、第１５図に示すように、ビート同期を行い同時に再生を続ける。テンポとビート位置が同期しているため、あたかも最初からそのような１曲であったかのように錯覚することすらある。
また、音楽編集装置１は、第１６図に示すように、一つの楽曲Ａ中にエフェクトを適用してもよい。楽曲Ａの一部分もしくは全体にエフェクト（音響効果）を適用し音質を変化させる。単に低音や高音を強調するものだけでなく、リバーブ、ディレイ、ディストーション、マキシマイザといった音色そのものを変化させるものまでを含む。
エフェクトは楽曲Ａにはリバーブ、楽曲Ｂにはローカットフィルタをかけながら同時に再生したり上記さまざまなつなぎ方を同時に適用することによってより自然で魅力的なつなぎ方を実現することができる。
また、音楽編集装置１は、上記つなぎ方を適用するには楽曲全体に限らず、第１７図のように各楽曲のサビの部分であったり、イントロ部分であったりしてもかまわない。楽曲の部分をつなぐことで例えばサビだけリミックスするようなつなぎ方が可能となる。
以上説明したように、音楽編集装置１によれば、リミックスパターンを記述したリミックスパターンファイルをもとに楽曲のリミックスをノンストップで行うことができる。その際ユーザが指定したテンポでマスタービートテンポを決定してもよいし、メインとなる楽曲のテンポに全体をあわせてもよい。
したがって、音楽編集装置１によれば、ユーザはこれまでの音楽の楽しみ方に加えて、次の新しい次元の楽しみ方ができる。これらの楽しみはこれまでのように受動的に音楽を聴いているだけでは決して得られないものであり、能動的に音楽にかかわり、自分自身に合った音楽の聴き方を創出したり自分自身の顕示欲を満たすものである。
つまり、楽曲の好きな部分をかっこうよくつないでノンストップのリミックス音楽として聞くことができる。また、楽曲のつなぎ方を自分で試行錯誤して選んで魅力的なものを作るという創造欲を満たすことができる。
なお、第１８図には、本発明の実施の形態が適用される他の音楽編集装置８０の構成を示す。第１９図は、音楽編集装置８０の機能ブロック図である。この音楽編集装置８０は、ネットワーク通信装置８１を備え、インターネット８２に接続できる。
ネットワーク通信装置８１を有することで、上記メタデータをネットワーク上のサイトからもってくることができる。楽曲のＩＤされ判れば、メタデータは上記第８図に示したようにインターネット上から持ってこれる。
また、リミックスパターンファイルをインターネット８２などのネットワークで交換、共有することによってあるユーザが作成したリミックスを第三者がダウンロードして楽しむことができる。また、個人のユーザに限らずコンテンツサービス側が提供したリミックスパターンを用いてもよい。
この音楽編集装置８０によれば、楽曲のつなぎ方をインターネットなどで公開し、それを他の人と共有したり複数人でリミックスを作り上げ評価しあうといった新しい音楽を軸としたコミュニケーションが可能となる。また、楽曲のＩＤさえわかれば、楽曲のメタデータをインターネット上のサーバから持ってくることもできる。
第２０図及び第２１図にはさらに他の音楽編集装置１１０のハードウェア構成及び機能ブロック図を示す。この音楽編集装置１１０は、Ａ／Ｄコンバータ１１１を介してセンサー１１２からセンサー値を取得する構成であり、機能的にセンサー値取得部を備える。
センサー値取得部１１３は、例えば、「再生様態制御装置及び再生様態制御方法（特願２００３−３９１３５９）」の発明にあるように、加速度センサーを利用して歩行テンポを検出し、その歩行テンポに合わせて楽曲のテンポを変化させる技術を適用している。この例を応用すると、歩行テンポに合わせてマスタービート生成部のテンポを変更し、すべての楽曲を歩行やジョギングのテンポに合わせてリミックス再生することが可能となる。また、「楽曲の切り替え方法」（「オーディオ信号の再生機および再生方法」（特願２００５−３０３０９９））にあるように歩行やジョギングのテンポに合わせて楽曲を選択する発明を適用してもよい。
これらを使うためには、センサーが不可欠で、そのセンサーとこれら発明のアルゴリズムを本システムに適用することで、ユーザの状態に合わせて楽曲が選ばれ、さらにそれらがリミックスされてノンストップ再生することが可能である。
第２２図Ａ及び第２２図Ｂはセンサー優先モードを備えた音楽編集装置１１０の処理手順を示すフローチャートである。この処理手順は、リミックスパターン優先モードのほかに、センサー優先モードがあり、例えばユーザの選択に応じて処理を異ならせる。センサー優先モードでは、歩行とか、ジョギングとかのパターンをセンサーが検出し、そのパターンに応じてビートを変化させるものである。
まず、センサー優先モードかパターン優先モードかを決定する（ステップＳ２１１）。この場合、センサー優先モードというのは、さきほどのユーザがジョギングするとか、歩くとかで選曲するという技術であり、曲の順番とか、選曲そのものはセンサーによって決定されるもので、パターンによって決定されるとはかぎらない。これは、動的にかわるというのを示唆しているとも言える。あらかじめフィックスされているパターンファイルを読むのではなくて、センサーからの値によって、パターンファイルを動的に作るというようなイメージである。
ステップＳ２１１にてセンサー優先ではなくパターン優先モードが選択されたときには、上述した第４図の処理手順と同様である。
ステップＳ２１１、ステップＳ２１２にてセンサー優先モードが選択されたときについて説明する。ジョギングに合わせて楽曲が自動的に選ばれてそれに合わせて楽曲を自動的につなぐ場合である。
サブルーチンとなっているが、センサーの入力から楽曲とテンポを決める（ステップＳ２１３）。ステップＳ２１４にて次の曲があると判定すると、ステップＳ２１５にてマスタービートテンポを設定する。この場合、歩行のテンポから検出されて設定されたテンポとなる。この場合は、曲のつなぎかたがあらかじめ決められたものとはかぎらないので、自動的に決定する（ステップＳ２１６）。例えば、ジョギングモードならば全部クロスフェードでつなぐ安易なものや、次の曲のメタデータを見て、フェードインしている曲なので、そのまま重ねる場合もある。ステップＳ２１７以降の処理については第４図のステップＳ６乃至ステップＳ１５と同一であるため説明を省略する。
このように音楽編集装置１１０によれば、ジョギングのテンポに合わせた楽曲選択をし、さらにそれらをノンストップでつなぐことによってジョギングのテンションやテンポを狂わせることなく快適にジョギングを楽しむことができる。また、ジョギングに限らず、センサーによっては他のリズミカルな運動（ダンスなど）や心拍に合わせたリミックスなどが実現できる。
センサーからの入力を使って、曲を選択してさらにそのテンポもジョギングのテンポに合わせてやって、リミックスしてやる。自分の好きな曲を自分のテンポに合わせて、楽しむことができる。
また、タイマーリミックス再生を行うこともできる。例えば気に入ったアルバムの曲や自分で作ったプレイリストを通勤時間の３０分の間に聞きたいという要求がある。従来であれば、アルバムが６０分である場合、毎回３０分再生したところで、曲を途中停止するしかなかったが、本発明のシステムを利用することで指定した楽曲集が３０分にちょうどおさまるようにテンポおよび曲の使用する部分を選びリミックスすることが可能となる。ジョギングと組み合わせることもできる。３０分だけ走りたいときに、３０分リミックスでジョギングテンポで曲が鳴っているが、３０分でぴったりと曲が終わるようにする。
サビだけを通勤時の３０分に合うようにリミックスし、目的地についたときにちょうどリミックスが終わるようにすることが可能である。また、同時に到着時刻付近ではテンポをだんだん遅くしたり、特定のＳＥを重ねるなどしてそろそろ到着するという雰囲気を演出することもできる。
以上に説明したように、音楽編集装置８０及び１１０によれば、楽曲のつなぎ方をインターネットなどで公開し、それを他の人と共有したり複数人でリミックスを作り上げ評価しあうといった新しい音楽を軸としたコミュニケーションが可能となる。また、メタデータをインターネット上のサイトから楽曲に対応させて持ってくることもできる。また、センサーを利用して、より自分の状況や状態にあった音楽を聴くことができる。
これらの特徴は、これまでのプロクリエータ、ミュージシャンが作った作品をそのまま楽しむことを当たり前としてきた世界に一石を投じ、それら作品を自分の表現のための素材として再利用し再構成して楽しむという新しい世界をユーザに体験させることができる。
これにより、音楽に楽しみを見出すユーザが増えれば音楽業界全体が活性化される。また、音楽業界側から見てもユーザ側で新たに再構成することを前提とした楽曲作品とそれを創出する新たなクリエータが登場する可能性がある。業界とユーザによって新しい音楽文化創造の可能性がある。
最後に、本発明の音楽編集装置の利用可能な特徴について記述する。この音楽編集装置は、記憶装置に記録された複数の楽曲のテンポとダウンビートを定められたタイミングに揃え、複数の再生制御装置を保持する再生部において、前記複数の楽曲をすべて同時に同期再生することを特徴とした楽曲生成・再生装置である。また、上記楽曲は曲の全体あるいは一部分を使用することを特徴とする。また、上記楽曲は音楽的に構成された一つの曲だけでなく、効果音や会話、アナウンスなどの音声を含むことを特徴とする。
また、上記同期再生時に任意の楽曲に対して任意の楽曲開始位置、任意のタイミングで自由に発音開始／停止ができることを特徴とする。また、上記任意の位置、任意のタイミングは特に小節単位、拍単位、メロディ構成単位での指定が可能なことを特徴とする。
また、上記特徴を利用し、現在再生中の楽曲に対し異なる別の楽曲の任意部分を任意のタイミングで同時に再生することを可能とする。同様に、上記特徴を利用し、現在再生中の楽曲の任意の部分で再生を停止し、途切れることなく異なる別の楽曲の任意部分を即座に再生開始することを可能とする。
また、上記同期再生時に同時に再生中の各々の楽曲に対して、個別に音量調整可能なことを特徴とする。上記音量調整を利用し、上記同時再生時に現在再生中の楽曲の音量を下げながら次の楽曲の音量を上げながら同時に合成して再生することを可能とする。
また、上記同期再生時に同時に再生中の各々の楽曲に対して、個別に信号処理によるエフェクト処理を適用できることを特徴とする。また、上記同期再生は、上記楽曲に対応して前もって記録されたテンポ、拍子、ダウンビート位置、メロディ構成変化位置情報などで構成されるメタデータをもとにタイミング制御を行うことを特徴とする。
また、上記メタデータは楽曲と同一のファイルに記録されているか、別ファイルとして記録され楽曲との対応をデータベースおよび識別子を用いて管理することを特徴とする。また、上記同期再生時の楽曲の範囲、発音開始タイミング、音量の制御方法、エフェクト処理の種類は、生成・再生方法を記述したパターンファイルを別に用意し、それをもとにリアルタイムに再生制御を行うことを特徴とする。
また、上記テンポはユーザが指定するか本装置が自動的に決定することを特徴とする。上記の本装置が自動的に決定するテンポとしてセンサーからの入力データを使用することを特徴とする。
上記センサーには加速度センサー、ジャイロセンサー、心拍センサー、体温センサー、体動センサー、脳波センサーなどあらゆるセンサーを付加できることを特徴とする。上記パターンファイルは本装置内の記憶装置に記録されるだけでなく、外部記憶装置またはインターネットから取得可能なことを特徴とする。
本発明によれば、ハードディスクやフラッシュメモリなどの記憶媒体に、記録されている多数の楽曲の全体あるいは部分をビートを揃えて重ねたりつなぐという編集を実現できる。また、楽曲の全体または一部をリアルタイムにその場その場でつないで再生することができる。
【図１】
2007066819.tif 000003
【図２】
2007066819.tif 000004
【図３】
2007066819.tif 000005
【図４】
2007066819.tif 000006
【図５】
2007066819.tif 000007
【図６】
2007066819.tif 000008
【図７】
2007066819.tif 000009
【図８Ａ】
2007066819.tif 000010
【図８Ｂ】
2007066819.tif 000011
【図８Ｃ】
2007066819.tif 000012
【図９】
2007066819.tif 000013
【図１０】
2007066819.tif 000014
【図１１】
2007066819.tif 000015
【図１２】
2007066819.tif 000016
【図１３】
2007066819.tif 000017
【図１４】
2007066819.tif 000018
【図１５】
2007066819.tif 000019
【図１６】
2007066819.tif 000020
【図１７】
2007066819.tif 000021
【図１８】
2007066819.tif 000022
【図１９】
2007066819.tif 000023
【図２０】
2007066819.tif 000024
【図２１】
2007066819.tif 000025
【図２２Ａ】
2007066819.tif 000026
【図２２Ｂ】
2007066819.tif 000027
【図２３】
2007066819.tif 000028
【国際調査報告】
2007066819.tif 000029
2007066819.tif 000030
2007066819.tif 000031
2007066819.tif 000032