(57)【特許請求の範囲】
【請求項１】
楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置情報および小節の先頭位置情報を含むメタデータと、楽曲同士のつなぎ方が規定されるリミックスパターンファイルに基づいてリミックス処理を行うリミックス処理部と、
マスタービートを生成し、このマスタービートを上記リミックス処理部に送るとともに、上記リミックス処理部がリミックスパターンファイルとメタデータに応じて指示してきたリミックス処理に応じ、各メタデータを用いて複数の楽曲を再生する同期再生制御部と、
上記同期再生制御部にて再生された楽曲を混合する混合部とを備え、
上記同期再生制御部は、複数の楽曲の音声信号を生成する複数系統の音声信号生成部を備え、
上記複数系統の音声信号生成部ごとに、上記メタデータから生成したビートシンク信号とマスタービート信号との位相を比較する位相比較器と、上記位相比較器の位相比較出力を積分する積分回路と、上記積分回路の積分出力に基づいてテンポを補正するタイムストレッチ部とを備え、
上記複数系統の音声信号生成部のうち、少なくとも一の音声信号生成部は、デコーダを備える音楽編集装置。
【請求項２】
上記リミックス処理部は、上記メタデータを処理するメタデータ処理部と、上記リミックスパターンファイルを読み込むリミックスパターン読み込み部を備える請求項１に記載の音楽編集装置。
【請求項３】
上記タイムストレッチ部にて用いられるテンポ補正量は系の位相誤差が最小となるように働き、系として負帰還を形成する請求項１または２に記載の音楽編集装置。
【請求項４】
上記楽曲は、楽曲全体あるいは一部分である請求項１乃至３のいずれか１に記載の音楽編集装置。
【請求項５】
ネットワーク通信部をさらに備え、上記メタデータをネットワーク上のサーバから取得する請求項１乃至４のいずれか１に記載の音楽編集装置。
【請求項６】
ネットワーク通信部をさらに備え、上記リミックスパターンファイルをネットワーク上で共有する請求項１乃至５のいずれか１に記載の音楽編集装置。
【請求項７】
ユーザの歩行又はジョギングのテンポを計測して取得するセンサー値取得部をさらに備え、上記同期再生制御部は上記計測されたテンポに基づいてマスタービートテンポを生成する請求項１乃至６のいずれか１に記載の音楽編集装置。
【請求項８】
楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置情報および小節の先頭位置情報を含むメタデータと、楽曲同士のつなぎ方が規定されるリミックスパターンファイルに基づいてリミックス処理を行い、
マスタービートを生成し、このマスタービートをリミックス処理部に送るとともに、上記リミックス処理部がリミックスパターンファイルとメタデータに応じて指示してきたリミックス処理に応じ、各メタデータを用いて複数の楽曲を再生し、
上記再生された楽曲を混合し、
複数系統の音声信号生成部ごとに複数の楽曲の音声信号を生成し、
上記複数系統の音声信号生成部ごとに、上記メタデータから生成したビートシンク信号とマスタービート信号との位相を比較し、上記位相比較出力を積分し、積分出力に基づいてテンポを補正し、
上記複数系統の音声信号生成部のうち、少なくとも一の音声信号生成部は、圧縮音声信号をデコードする
音楽編集装置における音楽編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、楽曲を楽曲パート、小節などに細分化することにより得られる音楽コンテンツなどを素材として用いて編集することにより、新たな楽曲（音楽コンテンツ）を生成する音楽編集装置及び音楽編集方法に関する。
【背景技術】
【０００２】
メモリ型オーディオの普及とともにユーザは大量の楽曲を持ち歩くことが日常的になった。大量の楽曲をメディアの交換無く連続して聴けるメモリ型オーディオにおいては、もともとのＣＤアルバム単位で聴くだけではなく、すべての楽曲をアルバムをまたいでシャッフルして聴いたり、自分の気に入った曲だけをプレイリストとして再構成して聴くというスタイルが広まっている。予めアルバムに録音されている順番を守らずに、ユーザが自分で聴きたい曲を聴きたい順番で聴く自由が広まったとも言える。
【０００３】
しかしながら、１曲１曲については先頭から最後まで聴くことが前提となっており、また曲と曲の間には無音部分ができてしまう。すなわち、曲は１曲という単位が最小になっており、その１曲で完結する聴き方しかできない。そのため、そこで集中、あるいはいわゆるノリが途切れてしまうことがあるので、ある一定のテンションを保ったまま楽曲を聴き続けることが難しい。
【０００４】
第３２図には楽曲Ａと楽曲Ｂを用いた従来の音楽再生を示す。二つの楽曲はそれぞれ楽曲の持つオリジナルのテンポで再生される。もちろん、曲間には無音部分ができてしまう。
【０００５】
そこで、複数の音楽素材を組み合わせて編集する技術が考えられた。特開２００３−４４０４６号公報には、キーボードやマウスを介したユーザ入力に応じて、複数の音素材を組み合わせて楽曲を対話的に編集したり再生して楽しむ技術が開示されている。キーボードの各キーに対して、サウンドパターンやワンショットなどの音片や、これら音片に適用するエフェクトなどからなるチップが割り当てられている。ユーザがキーを押下することによって、この押下キーに対応するチップが実行される。複数のキーを同時に押下操作することによって、該当するチップを合成出力する。また、各キーを順に押下してチップを時系列的に組み合わせて楽曲を構成する。
【０００６】
しかし、特開２００３−４４０４６号公報の技術によっても、例えばディスクジョッキー（ＤＪ）が行うリミックスのように曲の一部分を他の曲とつないで複数の曲からあたかも一つの曲を、ビートを揃えて繋ぐように再構成するということは困難であった。ＤＪは現在では一般的な職業であり、リミックス音楽もそれ専用のレーベル会社がありそれを楽しんでいるユーザ層も規模が大きくなってきている。
【０００７】
そこで、音楽編集装置における、音楽のリズムに着目した場合、現在再生している楽曲のリズムにリアルタイムに追従しながら、プロフェッショナルのＤＪが行なうように、各楽曲のリズムをうまく揃えながら、順または同時に複数の楽曲を再生することが望まれる。
【０００８】
現在、ＤＪと呼ばれる職種の人達は、レコード盤のターンテーブルを用いながら楽曲の再生開始タイミングや楽曲テンポを制御して、あたかもそれらが一連の曲であるかのように複数の楽曲を順につないで再生する事が出来る。一般にリミックスと呼ばれる手法である。このようなリズム同期再生を行なう事により、単純な音楽の聴き方から一歩進んだ新しい音楽の聴き方として、新たな感覚や感動をリスナーに与えている。それ故、近年、このＤＪリミックスという手法は新たな音楽表現手法として、一般化してきている。
【０００９】
しかし、上記ＤＪによる再生手法を機械により自動化するのは現在のところ極めて困難である。なぜなら、音楽のリズムやビートやテンポの感覚といったものは人間にとっては容易に知覚可能な感覚量であるが、機械にとってはその認識は極めて困難なものであるからである。また例え、自動認識技術があったとしても、その精度は１００％に満たず、完璧性を要求される音楽アレンジという面に対しては実用性に乏しい。機械が音楽の構造そのものを理解する事ができないという結果、ＤＪプレイのような音楽構造に根ざしたフレキシブルなアレンジ再生を自動で行なう事は出来ない。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
以上のような背景を鑑み、本発明は以下の問題や課題を解決するものである。ＤＪは現在再生中の楽曲のビートや小節に合わせて、次の楽曲のビートや小節を揃えながらシームレスに再生開始する事が出来る。しかし、機械はビートや小節を認識する事が出来ないので、それが自動で出来ない。
【００１１】
ＤＪは現在再生中の楽曲のテンポに合わせて、次の楽曲のテンポを揃えながらシームレスに再生開始する事が出来る。機械はテンポを認識する事が出来ないので、それが自動で出来ない。
【００１２】
ＤＪは現在再生中の楽曲のテンポが揺らいでいても、次の楽曲のテンポを揃えながらシームレスに再生開始する事が出来る。機械はテンポを認識する事が出来ないので、それが自動で出来ない。
【００１３】
ＤＪは現在再生中の楽曲のメロディに合わせて、次の楽曲のメロディを揃えながらシームレスに再生開始する事が出来る。機械はメロディを認識する事が出来ないので、それが自動で出来ない。
【００１４】
本発明は、上記実情に鑑みてなされたものであり、楽曲のビートやメロディ構造を予め記述したタイムラインメタデータというもの用い、これを利用する事により、自動的かつ低負荷にて自動ＤＪリミックスプレイを実現する音楽編集装置の提供を目的とする。
【課題を解決するための手段】
【００１５】
本発明に係る音楽編集装置は、上記課題を解決するために、楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置情報および小節の先頭位置情報を含むメタデータと、楽曲同士のつなぎ方が規定されるリミックスパターンファイルに基づいてリミックス処理を行うリミックス処理部と、
マスタービートを生成し、このマスタービートをリミックス処理部に送るとともに、リミックス処理部がリミックスパターンファイルとメタデータに応じて指示してきたリミックス処理に応じ、各メタデータを用いて複数の楽曲を再生する同期再生制御部と、
同期再生制御部にて再生された楽曲を混合する混合部とを備え、
同期再生制御部は、複数の楽曲の音声信号を生成する複数系統の音声信号生成部を備え、
複数系統の音声信号生成部ごとに、メタデータから生成したビートシンク信号とマスタービート信号との位相を比較する位相比較器と、位相比較器の位相比較出力を積分する積分回路と、積分回路の積分出力に基づいてテンポを補正するタイムストレッチ部とを備え、
複数系統の音声信号生成部のうち、少なくとも一の音声信号生成部は、デコーダを備える。
【００１６】
本発明に係る音楽編集方法は、課題を解決するために、楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置情報および小節の先頭位置情報を含むメタデータと、楽曲同士のつなぎ方が規定されるリミックスパターンファイルに基づいてリミックス処理を行い、
マスタービートを生成し、このマスタービートをリミックス処理部に送るとともに、リミックス処理部がリミックスパターンファイルとメタデータに応じて指示してきたリミックス処理に応じ、各メタデータを用いて複数の楽曲を再生し、
再生された楽曲を混合し、
複数系統の音声信号生成部ごとに複数の楽曲の音声信号を生成し、
複数系統の音声信号生成部ごとに、メタデータから生成したビートシンク信号とマスタービート信号との位相を比較し、位相比較出力を積分し、積分出力に基づいてテンポを補正し、
複数系統の音声信号生成部のうち、少なくとも一の音声信号生成部は、圧縮音声信号をデコードする。
【発明の効果】
【００１７】
本発明によれば、異なるテンポや異なるリズムの楽曲同士をリミックス再生する場合、元の音楽ビートに揺れがあっても、互いに一定のテンポや一定のリズムとなるよう、リアルタイムかつ自動的にビート同期再生することができる。
【００１８】
したがって、本発明によれば、リアルタイムかつ自動的に音楽のＤＪリミックスプレイができるため、音楽再生装置において新たな音楽の聴き方を提供する事が可能となる。また発展系として、音楽のビートと他のメディアのシンクロが容易となり、新たなエンターテイメントを創造できる。
【図面の簡単な説明】
【００１９】
【第１図】本発明による装置、方法の一実施の形態が適用される音楽編集装置１のブロック図である。
【第２図】同期再生制御部と音声ミキシング部の詳細な構成を示すブロック図である。
【第３図】音楽編集装置の機能ブロック図である。
【第４図】音楽編集装置がＣＰＵによって実行する音楽編集プログラムの処理手順を示すフローチャートである。
【第５図】時間軸上のメタデータを示す図である。
【第６図】時間軸メタデータの具体例を示す図である。
【第７図】時間軸メタデータの他の具体例を示す図である。
【第８図】メタデータの格納方法を示す図である。
【第９図】リミックスパターンファイルの具体例を示す図である。
【第１０図】効果音を用いたクロスフェードによるつなぎを説明するための図である。
【第１１図】本発明による音楽再生を説明するための図である。
【第１２図】クロスフェードによるつなぎを説明するための図である。
【第１３図】カットインによるつなぎを説明するための図である。
【第１４図】効果音を用いたつなぎを説明するための図である。
【第１５図】同時同期再生を説明するための図である。
【第１６図】エフェクトの適用を説明するための図である。
【第１７図】部分再生を説明するための図である。
【第１８図】第１０図に示した楽曲Ａと楽曲ＢとをクロスフェードでＳＥを挟むように編集し再生することを可能とする同期再生部の構成を示す図である。
【第１９図】本発明の主要部となる同期再生制御部とリミックス処理部の機能を説明するための図である。
【第２０図】ビート同期再生の仕組みを示す図である。
【第２１図】詳細なビート同期再生タイミングチャートを示す図である。
【第２２図】ある楽曲のテンポの変動例を示す図である。
【第２３図】テンポの変動に伴う課題を説明するための図である。
【第２４図】タイムラインメタデータの記述例を示す図である。
【第２５図】常に変動する音楽ビートに同期して再生するシステムの構成図である。
【第２６図】タイムラインメタデータを利用した同期方法を説明するためのＰＬＬの出力波形図である。
【第２７図】ネットワーク通信部を有する音楽編集装置の構成図である。
【第２８図】ネットワーク通信部を有する音楽編集装置の機能ブロック図である。
【第２９図】センサー値取得部を有する音楽編集装置の構成図である。
【第３０図】センサー値取得部を有する音楽編集装置の機能ブロック図である。
【第３１図】センサー値取得部を有する音楽編集装置の処理手順を示すフローチャートである。
【第３２図】従来の音楽再生を説明するための図である。
【発明を実施するための形態】
【００２０】
以下、本発明を実施するための最良の形態について図面を参照しながら説明する。第１図は本発明による部、方法の一実施の形態が適用される音楽編集装置１のブロック図である。
【００２１】
この音楽編集装置１は、ハードディスク（ＨＤ）、コンパクトディスク（ＣＤ）、ミニディスク（ＭＤ）、ディジタルバーサタイルディスク（ＤＶＤ）などの種々の記録媒体やインターネットなどのネットワークを通じて提供される楽曲の音楽コンテンツデータ（オリジナルデータ）に対して、後述するメタデータを用いて、例えば本来テンポが異なる楽曲Ａと楽曲Ｂとをビートを揃えて再生したり、重ねて再生する自動ＤＪ再生を行う部である。
【００２２】
第１図に示すように、この音楽編集装置１は、中央演算処理部（ＣＰＵ）２にバス３を介して記憶部４、同期再生部８を接続している。また、ＣＰＵ２にバス３を介してＲＯＭ１３、ＲＡＭ１４、ユーザ操作Ｉ／Ｆ部１５及びユーザインターフェース（Ｕ／Ｉ）表示部１６を接続している。
【００２３】
ＣＰＵ２はリアルタイムに楽曲のつなぎ方を決定し、同期再生部８に対して必要な楽曲素材を必要なタイミングで与える。また、ユーザの操作に応じて同期再生部８に対し、テンポの指示やビート同期／非同期の指示を行う。
【００２４】
記憶部４は、楽曲用記憶部５、楽曲メタデータ用記憶部６及びリミックスパターン用記憶部７からなる。楽曲用記憶部５は、複数の楽曲データを保持する記憶部である。据え置き用の音楽再生装置や、携帯用の音楽再生装置が持っているようなフラッシュメモリやハードディスクなどの記憶部を外部接続してもよい。なお、楽曲用記憶部５に記憶される楽曲データは圧縮されたものでも非圧縮のものでもかまわない。
【００２５】
楽曲メタデータ用記憶部６は、フラッシュメモリやハードディスクなどの種々の記憶部であり、楽曲に付加されている、時間軸上のメタデータを記憶している。詳細は後述するが、メタデータは楽曲に付加された時間軸上の補助データであり、テンポだけでなくビートの位置情報、小節の先頭（単に頭と記す）位置情報、前奏（イントロ）やテーマ（サビ）などのメロディ情報が記述されている。
【００２６】
リミックスパターン用記憶部７は、楽曲用記憶部５と同様に記憶部であれば特に制限を付ける必要はない。リミックスパターン指定方法を指示したリミックスパターンファイルを保持する記憶部である。リミックスパターンファイルについては、詳細を後述するが、曲順が書いてあるだけでなく、曲順＋どういうふうに組み合わせるか、あるいは楽曲Ａと楽曲Ｂのどこを使ってどこに組み合わせるかというような、ことが書いてあるファイルである。
【００２７】
同期再生部８は、音楽編集装置１が自動的にＤＪ再生を行うための信号処理ブロックであり、ＣＰＵ２のリミックス制御機能により指示された楽曲素材を基準ビートに同期して再生する。同期再生制御部９、音声ミキシング部１０、デジタル／アナログ変換部（Ｄ／Ａ）１１及び音声出力部１２からなる。
【００２８】
同期再生制御部９は、複数の音声信号生成部を有し、複数の音楽信号を、自分の中で生成したクロック信号に同期して再生する。また、メタデータ用記憶部６からのメタデータに基づいて現在再生されている楽曲の位置を常に監視し、ＣＰＵ２のリミックス処理機能部に、今どこを再生しているのかという位置（楽曲の再生をしているサンプル数とかの位置）や、何小節目の何拍目を再生しているとかの位置を返す。
【００２９】
音声ミキシング部１０は、同期再生制御部９内の複数の音声信号生成部で再生された複数系統の音声信号を合成して出力する。Ｄ／Ａ１１は音声ミキシング部１０で再生されたデジタル信号をアナログ信号に変換する。音声出力部１２は、Ｄ／Ａ１１からのアナログ音声信号を増幅し、スピーカやヘッドホンなどに出力する。
【００３０】
ＲＯＭ１３は、本発明の音楽編集方法にしたがった処理手順からなる音楽編集プログラムを格納している。また、デフォルトの各種データを格納している。ＲＡＭ１４は、ＣＰＵ２が上記音楽編集プログラムを実行するときのワークエリアになる。また、上記音楽編集プログラムを実行するときの各種更新データを記憶する。
【００３１】
ユーザ操作Ｉ／Ｆ部１５はユーザによる操作を受けつける例えばキーボードや、マウス、タッチパットなどである。Ｕ／Ｉ表示部１６は、現在の操作状況、音楽編集処理状況、あるいはユーザによる操作を可能とするタッチパネルを含めた表示部であり、例えば液晶表示部である。もちろん、ＣＲＴでもよい。
【００３２】
第２図は同期再生制御部９と音声ミキシング部１０の詳細な構成を示すブロック図である。同期再生制御部９は、マスタービート生成部９０と、３系統の音声信号生成部からなる。マスタービート生成部９０は、ビートに相当するクロックを生成する。詳細には、リミックス時のテンポとそのテンポに同期したビート信号を出力する。マスタービート生成部９０は指定された拍子（４／４拍子や３／４拍子など）にあわせて、小節の頭信号とそれ以外の通常のビート信号を生成し、出力する。
【００３３】
３系統（トラック）の音声信号生成部は、リアルタイムにステレオの音を複数だせるようにするために、典型的な例として、楽曲Ａ、楽曲Ｂ、効果音（Sound effect：ＳＥ）ということで３トラックとしているものである。もちろん、楽曲の構成数に応じて４トラック、５トラッあるいはそれ以上のトラック数でもかまわない。この音声信号生成部は、マスタービート生成部９０が生成した同期信号（クロック、あるいはビート）をもとに楽曲の小節／ビート位置をマスタービートの小節／ビート位置に合わせて同期再生を行う。
【００３４】
各トラックには、それぞれ、デコーダ（Decoder）９１ａ、９１ｂ及び９１ｃと、タイムストレッチ部（Time Stretch）９２ａ、９２ｂ及び９２ｃが備えられている。デコーダ９１ａ、９１ｂ及び９１ｃは、ＭＰ３やＡＴＲＡＣ等の圧縮音声をデコードし、ＰＣＭデータとして出力する。ここで、ＳＥは長さが短く、データサイズも小さいため必ずしも圧縮する必要は無い。そのため、このＳＥトラックのデコーダは省略してもよい。タイムストレッチ部９２ａ、９２ｂ及び９２ｃは、音程を一定に保ったまま再生速度を変換する部である。メタデータ用記憶部６からのメタデータに基づいて異なるテンポを持つ楽曲素材を基準ビートのテンポに合わせる。楽曲のオリジナルテンポとマスタービートとの比率に鑑みて、再生速度をリアルタイムに変化させるという処理を行う。これによって、楽曲のオリジナルテンポをマスタービートのテンポに合わせることができる。もちろん、上述したように音程を変えることはない。
【００３５】
なお、これら音声信号生成部には、ピッチシフト（Pitch Shifter）機能を搭載してもよい。ピッチシフト機能は、再生速度を一定に保ったまま音程を変更する。これは異なるキーや音程を持つ楽曲素材を音楽的に調和させるのに利用されるが、必ずしも必要な機能ではなく付加的な機能である。
【００３６】
音声ミキシング部１０は、上記３トラックの音声信号生成部に対応して、３系統のエフェクト処理部１００ａ、１００ｂ及び１００ｃと、音量調整部１０１ａ、１０１ｂ及び１０１ｃを備える。これら３系統の出力は音声ミックス部１０２によりミックスされてから音声出力部１０３により増幅されて外部のスピーカ、ヘッドホンに出力される。音声信号生成部の各トラックからの出力音声信号に対してそれぞれエフェクト処理と、音量調整処理ができる構成となっている。
【００３７】
第３図は音楽編集装置１の機能ブロック図である。第１図にハードウェア構成として示したＣＰＵ２の機能が、リミックス処理部２０として示してある。リミックス処理部２０は、さらにメタデータ処理部２１とリミックスパターン読み込み部２２に分かれている。
【００３８】
リミックス処理部２０は、メタデータ用記憶部６に格納されたメタデータをメタデータ処理部２１によって処理する。上述したように、楽曲には時間軸上のメタデータが付加されており、テンポだけでなくビートの位置情報、小節の頭位置情報、イントロやサビなどのメロディ情報を保持している。
【００３９】
メタデータ処理部２１は、楽曲に対応した時間軸上のメタデータを読み込み、リミックスパターン読み込み部２２で読み込んだリミックスパターン情報の指示に従って当該楽曲の位置情報を調査する。例えば、今、どこのビートに自分がいるのかとか、今組み合わせようとしている楽曲のビートはどこにあるのかということを把握したうえで、複数ある楽曲とか、効果音というものを、どの時点で、どういうふうに再生するかを決めている。
【００４０】
また、リミックス処理部２０は、リミックスパターン用記憶部７に格納されたリミックスパターンファイル７ａをリミックスパターン読み込み部２２で読み込む。リミックスパターンファイル７ａは、フェードアウトするのか、カットインするのか、ＳＥは何をかけるのか、というようなことを指定したファイルである。リミックスパターンは、ユーザあるいは第三者の手によって人為的に指示されたデータ列（この曲の後にはこういふうにつなげとか）でもよいし、自動生成アルゴリズムによって作られたものでもよい（勝手に機械側が決めるリミックスのようなもの）。
【００４１】
同期再生制御部９は、マスタービート生成部９０によりマスタービートを生成し、このマスタービートをリミックス処理部２０に送るとともに、リミックス処理部２０がリミックスパターンとメタデータに応じて指示してきたリミックス処理に応じ、メタデータ用記憶部６からの各メタデータを用いて複数の楽曲を再生する。
【００４２】
第４図は音楽編集装置１がＣＰＵ２によって実行する音楽編集プログラムの処理手順である。この音楽編集プログラムは本発明の音楽編集方法の具体例である。
【００４３】
まず、ＣＰＵ２のリミックス処理部２０はリミックスパターン用記憶部７からのリミックスパターンファイル７ａをリミックパターン読み込み部２２で読み込んで取得する（ステップＳ１）。次に、楽曲、例えば１曲目を同期再生制御部９に取得させる（ステップＳ２）。さらに、次の曲があれば（ステップＳ３にてＹＥＳ）、同期再生制御部９のマスタービート生成部９０のテンポを決定する（ステップＳ４）。これは、１４０なら１４０で固定でもいいし、ユーザが何か指定しているものでもよい。次に、つなぎかたパターン（これもパターンファイルに書いてある）を取得する（ステップＳ５）。
【００４４】
これで、曲とつなぎ方のパターンが決まったので、楽曲のメタデータを取得する（ステップＳ６）。楽曲Ａであれば楽曲Ａのメタデータのことである。次に、エフェクト処理が必要かどうかをリミックスパターンファイルから判断する（ステップＳ７）し、必要であれば（ＹＥＳ）、エフェクト処理部１００にて、しかるべきエフェクトをかけるように有効にする（ステップＳ８）。
【００４５】
次に、音量フェード処理が必要かどうかをリミックスパターンファイルから判断する（ステップＳ９）。例えば楽曲Ａと楽曲Ｂを編集して重ねるときに上げたり下げたりの音量フェードが必要かを選択する。もし必要があれば（ＹＥＳ）、フェードパラメータを設定する（ステップＳ１０）。自動的に上げたり、下げたりを前提にして書いたが、そこにパラメータを設定しておく。
【００４６】
次に、同期再生制御部９のマスタービート生成部９０に対して、楽曲のオリジナルのテンポをセットする（ステップＳ１１）。楽曲のオリジナルのテンポはメタデータに付与されている。そして、同期再生制御部９内の空いている音声信号生成部を取得する。３ｃｈの具体例を上述したが、空いているところを取得して再生させたい楽曲をセットする（ステップＳ１３）。
【００４７】
そして、各楽曲の現在の再生位置を取得してから（ステップＳ１４）、次の楽曲を用意するポイントに到達したかを判断する（ステップＳ１５）。例えば、ＳＥがクロスフェードであれば、クロスフェードが終わるのはその小節の何小節か前であったり、カットインであれば、すぐに始まるので１小節前から準備しても間に合う。もちろん、同時再生は全く同時に再生である。そういうポイントに到達したかを見て、もし楽曲を用意するポイントに到達していないのであれば、ステップＳ１４にもどり、到達するまで待っている。もし、次の楽曲を用意するポイントに到達したのであれば（ＹＥＳ）、ステップＳ２に戻る。
【００４８】
第５図は時間軸上のメタデータ３０を示す図である。メタデータ３０は、上述したように、楽曲に付加された時間軸上の補助データであり、テンポだけでなくビートの位置情報、小節の頭位置情報、イントロやサビなどのメロディ情報が記述されている。小節／拍３１は１小節目の何拍目かを表している。「１１」は１小節目の１拍目を表す。「１４」は１小節目の４拍目を表す。同様に、「２１」は２小節目の１拍目を表す。特に、「１１」、「２１」は各小節の先頭の拍を表すことになる。属性３２はその位置に何があるかを示している。小節の頭、普通の拍、メロディ、テーマ（サビ）等の位置を示す。「01800001」は小節の先頭であることを示す。前記「１１」、「２１」の属性として示している。サンプル位置は、例えば楽曲が44.1kHzでサンプリングされているのであれば、１秒間に44100サンプルであるが、その位置がサンプル単位で記述されていることになる。この第５図に示したようなメタデータ３０はテキスト形式やバイナリ形式で記述されている。
【００４９】
第６図は時間軸メタデータの具体例である。音楽信号４０とビート信号４１、４２の時間軸のメタデータを同時に表示している。音声信号４０は左から右に時間の経過とともに変化しているが、それとともにビートも乗っている。第６図においてビート信号の長い線４１が小節の先頭ビート、短い線４２が通常のビートを示している。小節の先頭ビート４１とそれ以外のビート４２（４拍子であれば小節頭のあとに４分音符のタイミングで３拍）位置を楽曲のサンプル位置に対応させて保持しているものである。
【００５０】
第７図も時間軸メタデータの具体例を示す図である。音声信号５０に、ビート位置５５だけでなく楽曲のイントロ５１や、Ａメロディ５２及び５３、Ｂメロディ５４、テーマ（サビ）といったメロディ構成を示す位置情報を付けることが可能である。この情報を利用して対象の楽曲の小節位置や特定のメロディの開始位置がわかる。
【００５１】
上記第１図等に構成を示した音楽編集装置１では、メタデータは楽曲メタデータ用記憶部６に格納されていた。メタデータの格納方法は、第８図Ａ、第８図Ｂ、及び第８図Ｃに示すようにしてもよい。第８図Ａは、ＭＰ３のようにメタデータ７１と楽曲データ７２が論理的に別で物理的に同じメディアに存在する例である。また、第８図ＢはＭＰＥＧ４のように楽曲データ７４にメタデータ７３が混在している例である。また、第８図Ｃは例えばネットワークを介して楽曲データ７６に対応するメタデータ７５が検索される例である。論理的にも物理的に楽曲データとメタデータは別々である。これは、後述する音楽編集装置８０及び１１０のように、ネットワーク通信部を備え、インターネットなどのネットワークに接続する形態のときに適用される。楽曲ＩＤに応じてネットワーク上のサイトからメタデータをダウンロードすることができる。
【００５２】
第９図はリミックスパターンファイルの具体例を示す図である。楽曲のメタデータは楽曲に対して１対１のものであるが、リミックスパターンのほうは、ユーザが自由に作ることができ、楽曲とは何の依存関係もないようにすることもできる。楽曲間をどうつなぐかというファイルである。リミックスのパターン６０における、曲ＩＤ（ファイル）６１のID_A〜ID_Eは、曲名Ａ〜Ｅと同じであってもよい。絶対的なファイル名やファイルパスでもよい。再生部分６２は、それぞれの楽曲に対してどこを再生するかを示す。曲Ａに対しては「サビ」、Ｂに対しては「イントロ」、Ｃに対しては「８小節目から２０小節目」まで、Ｄに対しては全体、Ｅに対しては「サビ」という位置を指定する。再生時（エフェクト）６３は、各曲の各部分に、それぞれどういうふうなエフェクトをかけるかを指定する。つなぎ方（パターン）４４は、曲Ａに対してクロスフェードとあるが、Ｂとつなぐときにクロスフェードでつなぎなさいということを示す。また、ＢからＣはカットインで、ＣからＤはクロスフェードで、ＤとＥはサビの部分を同時再生でつなぐということを示す。また、つなぎ時（エフェクト）６５はつなぎ時にエフェクトとしてリバーブ、ローカット、ディストーションをかけることを指定する。つなぎＳＥ６６は、効果音を指定する。
【００５３】
第９図に示したパターンを指示した場合、実際の再生は次のように行われる。「ID_Aのサビが再生される。→ID_Aのサビ終わり付近でID_Bイントロがクロスフェードで入ってくる。→ID_Bのイントロ終わりと同時にID_Cの８小節目の再生が開始される→ID_C２０小節の数小節からID_Dがクロスフェードで入ってくる。同時にSE_Aもミックスされる。→ID_DのサビがくるとID_Eのサビも同時に再生される。」という具合である。
【００５４】
このように、リミックスパターンは概念的に従来のプレイリストに対し曲のどこをどのようにつなぐかという指示を追加したものであるともいえる。
【００５５】
次に、第１０図〜第１７図を参照して楽曲をつなぐ方法の実例を概略的に説明する。従来の音楽再生では後述する第３２図のように二つの楽曲Ａと楽曲Ｂはそれぞれの楽曲のもつオリジナルのテンポで再生され、曲と曲の間には無音部分ができることがほとんどであった。再生部の仕組み的に無音部分なく繋ぐことができるものもあるが、楽曲の前後には多少なり無音部分がある曲も多く、それらの曲は曲の前後に曲の一部として無音部分を含んでいるためどうしても曲間に無音部分ができてしまう。
【００５６】
第１図に構成を示した音楽編集装置１によれば、第１０図のように、楽曲Ａと楽曲Ｂが共に基準ビートに同期して再生できる。楽曲Ａと楽曲Ｂは本来異なるテンポであるにも関わらず、共に同一のテンポにて再生されている。この同一テンポとなる基準ビートのテンポ（発振周波数）はユーザーからの設定等により決定することが出来る。
【００５７】
第１０図に示すように、楽曲Ａ、楽曲Ｂはそれぞれ小節からなりたっている。小節と小節の長さが等しい。なおかつ、小節の先頭も合っている。さらに効果音（ＳＥ）も音楽であり、小節があっている。テンポが合っているので、小節の長さがすべてあっている。周波数と位相が両方あっているということになる。このようにつなぐことで、音楽的に違和感のない調和がとれたような聞き方ができる。
【００５８】
さらに、第１０図にあっては、楽曲Ａから楽曲Ｂへの過渡部では、例えば、楽曲Ａと楽曲Ｂのビートや小節の先頭位置が共に同期しながらクロスフェードされ、２つの楽曲が同時に発音される。更には上述したようにＳＥの音素材も付加され、楽曲Ａから楽曲Ｂへの過渡部が更に音楽的に装飾される。このＳＥが持つテンポやビートも当然ながら基準ビートに同期している。
【００５９】
尚、本発明はこの楽曲Ａ、楽曲Ｂ、ＳＥのみの構成に限定するものではない。楽曲Ｃや更なるＳＥが付加されるケースも当然有り得る。しかしながら、本説明では簡単のため、以後、楽曲Ａ、楽曲Ｂ、ＳＥの構成を用いて説明するものとする。
【００６０】
第１１図には、楽曲Ａ、楽曲Ｂ、楽曲Ｃを連続して再生する例を示す。楽曲のオリジナルテンポによらずユーザあるいはシステムが決定したテンポにすべての楽曲のテンポを合わせ、そしてそれら楽曲の拍位置（ダウンビート位置）も合わせて再生することで、曲を違和感なくシームレスにノンストップに繋ぐことを可能にする。
【００６１】
これは音楽編集装置１が楽曲Ａと楽曲Ｂと楽曲Ｃを上述したようにビート同期再生することによる。異なるテンポの楽曲のビート（拍）を同期させて再生するためには、それぞれの楽曲のオリジナルのテンポと拍（ビート）位置を知らなくてはならない。また、再生時にはテンポとビート位置を揃えるために楽曲の再生速度を変化させなくてはならない。
【００６２】
オリジナルのテンポとビート位置を知るために、音楽編集装置１では楽曲とペアとなった時間軸上のメタデータを用いている。再生時には楽曲のオリジナルテンポと現在のマスタービートテンポの比から再生速度を変化させたうえで、おのおのの楽曲の小節の頭位置を合わせて再生を開始する。
【００６３】
上記のように複数の楽曲のテンポとビート位置を正確に扱って、リアルタイムに再生位置を制御して同期再生を行う。ここで説明する楽曲をシームレスにつなぐ手法はすべてこのビート同期再生という方法を用いることが前提となっている。
【００６４】
第１２図には、楽曲Ａと楽曲Ｂをビートを揃えて重ねながら、クロスフェード処理によりつなぐという例を示す。現在の楽曲Ａをフェードアウト（音量を徐々に小さくする）しながら次にくる楽曲Ｂをフェードイン（音量を徐々に大きくする）し、その両方を同時に再生することで双方の曲がシームレスに入れ替わる効果が得られる。クロスフェードは、従来からＦＭラジオ放送などでよく利用される手法であるが本発明のポイントはこれらの楽曲Ａと楽曲Ｂのテンポとビート位置が揃えられているため違和感なくノンストップで楽曲がつながるところにある。
【００６５】
音楽編集装置１では、第１３図に概要を示すカットイン処理も行える。楽曲Ａ、楽曲Ｂ、楽曲Ｃ間の繋ぎ目が音楽的に切れがよい場合などではクロスフェードを行うよりも第１３図のようにそのまま繋いでしまった方がよい場合もある。また、楽曲のビートの切れ目で意図的に切って次のビートから次の曲に切換えることも考えられる。
【００６６】
また、音楽編集装置１では、上述したように効果音（ＳＥ）を用いて楽曲をつないでいる。つまり、楽曲だけでなく、楽曲つなぎ部分や任意の部分に効果音（ＳＥ：Sound Effect）をはさむことができる。第１４図は楽曲Ａと楽曲Ｂと楽曲Ｃのそれぞれの楽曲間に効果音を挟んだ例である。もちろんこの場合の効果音もマスタービートテンポに同期させることが可能である。ＳＥを挟んだり重ねたりすることで曲調が大きく異なる楽曲同士をつなぐ場合により自然につなぐことが可能となる。
【００６７】
また、音楽編集装置１では、同時再生を行ってもよい。異なる楽曲をつなぐだけではなく、第１５図に示すように、ビート同期を行い同時に再生を続ける。テンポとビート位置が同期しているため、あたかも最初からそのような１曲であったかのように錯覚することすらある。
【００６８】
また、音楽編集装置１は、第１６図に示すように、一つの楽曲Ａ中にエフェクトを適用してもよい。楽曲Ａの一部分もしくは全体にエフェクト（音響効果）を適用し音質を変化させる。単に低音や高音を強調するものだけでなく、リバーブ、ディレイ、ディストーション、マキシマイザといった音色そのものを変化させるものまでを含む。
【００６９】
エフェクトは楽曲Ａにはリバーブ、楽曲Ｂにはローカットフィルタをかけながら同時に再生したり上記さまざまなつなぎ方を同時に適用することによってより自然で魅力的なつなぎ方を実現することができる。
【００７０】
また、音楽編集装置１は、上記つなぎ方を適用するには楽曲全体に限らず、第１７図のように各楽曲のサビの部分であったり、イントロ部分であったりしてもかまわない。楽曲の部分をつなぐことで例えばサビだけリミックスするようなつなぎ方が可能となる。
【００７１】
以上説明したように、音楽編集装置１によれば、リミックスパターンを記述したリミックスパターンファイルをもとに楽曲のリミックスをノンストップで行うことができる。その際ユーザが指定したテンポでマスタービートテンポを決定してもよいし、メインとなる楽曲のテンポに全体をあわせてもよい。または加速度センサー等を用いて、ユーザの歩行やジョギングのテンポを計測して、そのテンポに合うようにマスタービートテンポを決定してもよい。
【００７２】
したがって、音楽編集装置１によれば、ユーザはこれまでの音楽の楽しみ方に加えて、次の新しい次元の楽しみ方ができる。これらの楽しみはこれまでのように受動的に音楽を聴いているだけでは決して得られないものであり、能動的に音楽にかかわり、自分自身に合った音楽の聴き方を創出したり自分自身の顕示欲を満たすものである。
【００７３】
つまり、楽曲の好きな部分をかっこうよくつないでノンストップのリミックス音楽として聞くことができる。また、楽曲のつなぎ方を自分で試行錯誤して選んだカッコウのよいものを作るという創造欲を満たすことができる。
【００７４】
第１８図には、第１０図に示した楽曲Ａと楽曲ＢとをクロスフェードでＳＥを挟むように編集し再生することを可能とする同期再生部８の構成を示す。同期再生制御部９としては、第２図に示したように、３系統（トラック）の音声信号生成部と音声ミキシング部１０を備えている。
【００７５】
各トラックはそれぞれ、楽曲Ａ、楽曲Ｂ、ＳＥの再生を担当している。楽曲の構成数によりこのトラック数は変化する。各トラックには、それぞれ、デコーダ９１ａ、９１ｂ、タイムストレッチ部９２ａ、９２ｂ及び９２ｃ、ピッチシフト部９４ａ、９４ｂ及び９４ｃの機能が搭載されている。デコーダは、ＭＰ３やＡＴＲＡＣ等の圧縮音声をデコードし、ＰＣＭデータとして出力する。ここで、ＳＥは長さが短く、データサイズも小さいため必ずしも圧縮する必要は無い。そのため、このＳＥトラックのデコーダは省略し、ＰＣＭout９１ｄを用いている。
【００７６】
タイムストレッチ部は、音程を一定に保ったまま再生速度を変換する。これは異なるテンポを持つ楽曲素材を基準ビートのテンポに合わせるのに利用する。ピッチシフト部は、再生速度を一定に保ったまま音程を変更する。これは異なるキーや音程を持つ楽曲素材を音楽的に調和させるのに利用されるが、必ずしも必要な機能ではなく付加的な機能である。
【００７７】
第１９図は本発明の主要部となる同期再生制御部９とリミックス処理部２０の機能を説明するための図である。リミックス処理部２０は再生する楽曲を選択し、同期再生制御部９に再生の指示を行なう。この場合、楽曲全体の再生を指示する場合もあれば、楽曲の一部分のみを再生指示する場合もある。第１０図の例で言えば、楽曲Ａ、楽曲Ｂ、ＳＥの選択、及び、その再生タイミングを指示する。
【００７８】
同期再生制御部９はリミックス処理部２０により指示された楽曲素材を基準ビートに同期して再生する。同期再生制御部９は、音楽信号を、自分の中で生成したクロック信号に同期して再生する。クロック信号というのは、ビートに相当するクロックを自分のなかで生成している。このクロックの立ち上がりエッジの割り込みをリミックス処理部２０に割り込みとして与える。トリガーが入ることにより、頭から数えて何小節目の何拍目ということがこれをカウントすることで分かる。リミックス処理部２０はこのクロックを割り込みでずっとカウントアップしているので、楽曲Ａなり楽曲Ｂなりを投入する時期だというタイミングを知ることができるので、そのタイミングにしたがって同期再生制御部９に命令を投げる。
【００７９】
従来の音楽編集装置１と違って同期再生制御部９は、単なる音声信号の再生部ではなくて、同時にクロックも生成していて、そのクロックはビートに相当するクロックであり、そのクロックをリミックス処理部２０に与えて割り込みをかけるというのが特徴的である。
【００８０】
このように、基準ビートは小節の先頭を示すトリガー信号と、拍を示すビート信号から構成される。１小節当たりの拍数は拍子（４／４拍子等）に依存する。基準ビートはリミックス処理部２０へ割り込み信号として供給され、リミックス処理部２０はこのクロックをカウントする事により、現在の再生位置が何小節目か、何拍目かという事を知る事が出来る。また、楽曲素材を投入するタイミング信号としても利用する事が出来る。
【００８１】
第２０図には、ビート同期再生の仕組みを示す。本例では音楽ビートの特に小節の先頭ビートに同期する例を示す。尚、これは小節の先頭に限ったものではなく、当然ながら通常の拍や、１６ビートといった、更に細かい拍に関しても同様に同期再生可能である。
【００８２】
リミックス処理部２０は基準ビートとして小節の先頭ビートのタイミングを割り込み信号として得ている。リミックス処理部２０は次に再生したい楽曲素材を予め選択しておき、再生開始したい次の小節の先頭ビートの少し前のタイミングで楽曲素材を同期再生制御部９へ投入する。
【００８３】
すると同期再生制御部９は次の小節の先頭ビートタイミングにて、その楽曲素材の再生を開始する。全ての楽曲素材は同様にこの基準ビートに同期して再生開始されるため、例えば、楽曲Ａ、楽曲Ｂ、ＳＥは全て同期再生する事ができる。
【００８４】
具体的に、第２０図にあっては、楽曲Ａ、楽曲Ｂ、ＳＥをクロスフェードしている。つなぎ部分のクロスフェードをしている部分のタイミングチャートである。楽曲Ａが頭から再生されてき、なおかつ次にクロスフェードして再生するときは、ちょうど小節の頭なので、楽曲Ｂの再生を揃えたい。ＳＥも同じく先頭で再生したいが、実際にはセットアップタイムのような準備時間が必要になるので、今、必要といってもアクセス時間や他の要因があり、今すぐは再生はできない。ある程度準備状態が必要となる。つまり、空白部分が必要となる。リミックス処理部２０が、1個まえの小節のタイミングで、次の小節の頭で再生を開始しろということで命令を投入すると、同期再生制御部９がタイミングを見計らって小節の頭で再生を開始する。
【００８５】
つまり、リミックス処理部２０はラフなタイミングで管理している。それに対して同期再生制御部９は非常に細かいタイミングで命令どおりに処理を行うという形になっている。
【００８６】
このように、音楽編集装置１にあって、同期再生制御部９は自分でクロックを生成していて、なおかつそのクロックに正確に同期したタイミングで楽曲素材を再生する。リミックス処理部２０は、全体を制御するシステム制御部のような働きをする。ラフなタイミングを制御している。ラフなタイミングで同期再生制御部９に指示を与えて、同期再生制御部９にて正確に動作する。
【００８７】
第２１図には、詳細なビート同期再生タイミングチャートを示す。リミックス処理部２０は全３トラックにどの楽曲素材を投入するかを予め準備している。また、リミックス処理部２０は基準ビートを割り込みとして受けているため、各楽曲素材を各トラックへ投入するタイミングを知る事が出来る。投入された楽曲素材ＳＣ１、ＳＣ２は一旦、同期再生制御部９の（ａ）ウェイティング（Waiting）領域内へ保持される。そして、次の小節の先頭ビートのタイミングにて、（ｂ）カレントアイテム（Current Item）領域へロードされ、再生が開始される。この例では、ＳＣ１は（ｃ）バーBar（小節）クロックの先頭ビートのタイミングにてフェードアウトを開始し、同時にＳＣ２がフェードインにて再生を開始する。（ｄ）投入タイミングに示すように、ＳＣ１はフェードアウト後に再生を停止するが、ＳＣ２は更に次の小節の先頭ビートにてループ再生を開始する。このフェードイン、フェードアウト、ループ再生ＯＮ／ＯＦＦ、ループ再生の反復数等はリミックス処理部２０が指示し、同期再生制御部９が実行する。投入された楽曲素材はリミックス処理部２０からの除去指示（ｅ）により、次の小節の先頭ビートにて再生停止する事も出来る。
【００８８】
これらのリミックス処理部２０からの指示は全て基準ビートに同期して、同期再生制御部９が実行する。基準ビートの同期モードとして、本例では小節の先頭ビートを例に挙げたが、これが拍であったり、１６ビートといった、より細かいビートに同期するといった事も可能である。また同期モードがＯＦＦの場合は、リミックス処理部２０からの指示により即座に同期再生制御部９が再生を開始する。これら同期モードの指示はリミックス処理部２０が同期再生制御部９に対して行なう。
【００８９】
第２２図には、ある楽曲のテンポの変動例を示す。横軸が拍を縦軸が瞬時ＢＰＭを示す。本発明が解決すべき課題を含んでいる。実際の音楽のテンポというものは演奏者の演奏能力や演奏意図により、かなり変動するものである。この例では平均ＢＰＭ＝約９６であるが、実際には一曲を通して１０ＢＰＭくらいの変動幅にて変動している。この変動幅や変動パターンは各楽曲により千差万別であり、一概に定量化、定性化出来るものではない。
【００９０】
第２１図の例のように各楽曲素材の再生開始タイミングを正確に制御する事は出来ても、実際の音楽のビートは常に変動しているため、再生が継続すると基準ビートから徐々にずれてくる。このずれは再生開始の数秒から数十秒後には数十ｍ／ｓｅｃのずれに到達する事が多く、その結果、楽曲Ａ、楽曲Ｂ、ＳＥ間のリズムのずれはリスナーである人間が知覚できるレベルにまで達してしまう。この音楽的に不自然なリズムのずれを何らかの方法で補正する事が必要である。
【００９１】
第２３図Ａ、第２３図Ｂ、及び第２３図Ｃには、この問題を解決するための方法の概念を示す。まず実際の楽曲のテンポやビート間隔は常に変動しているため、それらのビートのタイムスタンプを記録したタイムラインメタデータというものを予め作成する。
【００９２】
時間波形（第２３図Ａ）をスペクトル分析（第２３図Ｂ）して、ピークをとることによってビート（第２３図Ｃ）を抽出する。これが４分音符に相当する。その４分音符の位置をタイムスタンプとしてとって、そのビートの位置を記録することによってタイムラインメタデータ（単にメタデータともいう）を作る。実際には生の音楽データに含まれる揺れるビートも記録してやる。これも含めてメタデータとする。つまり、時間波形にビートの位置を含めたものをメタデータといっている。
【００９３】
第２４図にはタイムラインメタデータの記述例を示す。タイムラインメタデータにはその楽曲のＰＣＭ波形ファイルに一対一に対応する、ビート位置が記されている。小節の先頭ビートや各ビートの位置に相当する音楽波形上のタイムスタンプが、例えばタイムコード、例えば先頭からの何サンプル目といった単位にて記録されている。このデータサイズは単なるタイムスタンプを記録したものなので、元のＰＣＭデータの数千分から数万分の一のサイズとなり、非常に小さいものである。具体的に、４／４拍子のとき、１曲の中に１回目から３９回目のビートの位置は３３２３８１５というタイムスタンプがある。このタイムスタンプと音声信号を見て、同期再生制御部９はこのクロックを生成している。
【００９４】
第２５図には、本課題を解決するための、同期信号生成部２１０に対する解決案として、常に変動する音楽ビートに同期して再生するシステムの構成図を示す。同期信号生成部２１０（マスタービート生成部９０、生体リズム取得部２００、楽曲リズム取得部２０１）は基準ビートとなる小節シンク信号とビートシンク信号を生成して、同期再生部８の同期再生制御部９へ入力する。同期再生制御部９内では、楽曲リズム取得部２０６が現在再生中の楽曲のタイムラインメタデータから楽曲の再生に同期して、自分の楽曲のビートに相当するビートシンク信号を生成する。このタイムラインメタデータから生成されたビートシンク信号は位相比較器及び積分回路２０４にて基準ビートと位相比較され、位相誤差信号として出力される。位相誤差信号は同回路２０４内の積分回路にて積分され、テンポ補正量として、タイムストレッチ部９２ｃに入力される。このテンポ補正量は系の位相誤差が最小となるように働き、系として負帰還を形成する。これは一般的なＰＬＬ回路に相当するものである。このＰＬＬ回路はトラック毎に形成され、各トラックの再生楽曲の音楽ビートが基準ビートに位相ロックするよう、常にフィードバック制御する。こうする事により、全てのトラックのビート位相が揃い、長時間再生してもテンポやビート位相が互いにずれない。
【００９５】
いま、楽曲Ａ、楽曲Ｂ、ＳＥという３種類の音楽を同時に再生することを考える。その周波数と位相をロックするために、まずはマスタークロックを用意する。それが、マスタービート生成部９０である。マスタービート生成部９０は、同期信号生成部２１０内部にある。単なる発振回路であり、そのマスタークロックに同期するように同期再生部８の同期再生制御部９は自分の音楽のビートを追従する。マスタービットは、例えば１２０ＢＰＭで、それに追従するように、３種類の再生部はクロックに位相同期するように、再生テンポが誤差の累積がないようにフィードバック制御をかける。楽曲リズム取得部２０６がタイムラインメタデータからビートシンク信号を作る。この生成したビートとマスタークロックのビートの位相と周波数を位相比較器及び積分回路２０４で比較する。そのずれが累積しないように負帰還をかけてやる。そして、タイムストレッチのテンポを微妙に調整する。マスタークロックより遅れてきたらテンポを早くする。マスタークロックより早くなったらテンポを遅らすという具合である。つまり、マスタークロックに音楽再生を同期させることになる。
【００９６】
第２６図Ａ、第２６図Ｂ、第２６図Ｃ、及び第２６図Ｄには、タイムラインメタデータを利用した同期方法を説明するために、実際のＰＬＬ動作の出力波形を示す。基準ビートのビートシンク信号（第２６図Ａ）とタイムラインメタデータから生成されたビートシンク信号（第２６図Ｂ）の位相比較を位相比較器が行なう。位相比較器の出力（第２６図Ｃ）として、遅れ位相は正の出力パルス列、進み位相は負の出力パルス列を得る事ができる。この出力パルス列は積分回路にて積分され、ＤＣ値のテンポ補正入力値（第２６図Ｄ）に変換される。このテンポ補正入力値はタイムストレッチ部に入力され、正の値でテンポＵｐ、負の値でテンポＤｏｗｎするよう再生速度変換を行なう。これにより全ての楽曲のビートが基準ビートに位相ロックするよう負帰還制御が掛かる事になる。
【００９７】
さらに説明すると、タイムラインメタデータを使って、自分の音楽のビートに相当するビートシンクを生成し、それとマスタークロックを比較し、位相がずれないようにフィードバックループをかける。これによって、何時間再生しても互いにずれなくなる。
【００９８】
したがって、音楽編集装置１によれば、異なるテンポや異なるリズムの楽曲同士をリミックス再生する場合、元の音楽ビートに揺れがあっても、互いに一定のテンポや一定のリズムとなるよう、リアルタイムかつ自動的にビート同期再生する事ができる。
【００９９】
なお、第２７図には、本発明の実施の形態が適用される他の音楽編集装置８０の構成を示す。第２８図は、音楽編集装置８０の機能ブロック図である。この音楽編集装置８０は、ネットワーク通信部８１を備え、インターネット８２に接続できる。
【０１００】
ネットワーク通信部８１を有することで、リミックスパターンファイルをインターネット８２などのネットワークで交換、共有することによってあるユーザが作成したリミックスを第三者がダウンロードして楽しむことができる。また、個人のユーザに限らずコンテンツサービス側が提供したリミックスパターンを用いてもよい。
【０１０１】
この音楽編集装置８０によれば、楽曲のつなぎ方をインターネットなどで公開し、それを他の人と共有したり複数人でリミックスを作り上げ評価しあうといった新しい音楽を軸としたコミュニケーションが可能となる。
【０１０２】
第２９図及び第３０図にはさらに他の音楽編集装置１１０のハードウェア構成及び機能ブロック図を示す。この音楽編集装置１１０は、Ａ／Ｄコンバータ１１１を介してセンサー１１２からセンサー値を取得する構成であり、機能的にセンサー値取得部を備える。
【０１０３】
センサー値取得部１１３は、例えば、「再生様態制御装置及び再生様態制御方法（特開２００５−１５６６４１）」の発明にあるように、加速度センサーを利用して歩行テンポを検出し、その歩行テンポに合わせて楽曲のテンポを変化させる技術を適用している。この例を応用すると、歩行テンポに合わせてマスタービート生成部のテンポを変更し、すべての楽曲を歩行やジョギングのテンポに合わせてリミックス再生することが可能となる。また、「オーディオ信号の再生機および再生方法」（特願２００５−３６３０９４）にあるように歩行やジョギングのテンポに合わせて楽曲を選択する発明を適用してもよい。
【０１０４】
これらを使うためには、センサーが不可欠で、そのセンサーとこれら発明のアルゴリズムを本システムに適用することで、ユーザの状態に合わせて楽曲が選ばれ、さらにそれらがリミックスされてノンストップ再生することが可能である。
【０１０５】
第３１図Ａ及び第３１図Ｂはセンサー優先モードを備えた音楽編集装置１１０の処理手順を示すフローチャートである。この処理手順は、リミックスパターン優先モードのほかに、センサー優先モードがあり、例えばユーザの選択に応じて処理を異ならせる。センサー優先モードでは、歩行とか、ジョギングとかのパターンをセンサーが検出し、そのパターンに応じてビートを変化させるものである。
【０１０６】
まず、センサー優先モードかパターン優先モードかを決定する（ステップＳ１１）。この場合、センサー優先モードというのは、さきほどのユーザがジョギングするとか、歩くとかで選曲するという技術であり、曲の順番とか、選曲そのものはセンサーによって決定されるもので、パターンによって決定されるとはかぎらない。これは、動的にかわるというのを示唆しているとも言える。あらかじめフィックスされているパターンファイルを読むのではなくて、センサーからの値によって、パターンファイルを動的に作るというようなイメージである。
【０１０７】
ステップＳ３１１にてセンサー優先ではなくパターン優先モードが選択されたときには、上述した第４図の処理手順と同様である。
【０１０８】
ステップＳ３１１、ステップＳ３１２にてセンサー優先モードが選択されたときについて説明する。ジョギングに合わせて楽曲が自動的に選ばれてそれに合わせて楽曲を自動的につなぎましょうというような場合である。
【０１０９】
サブルーチンとなっているが、センサーの入力から楽曲とテンポを決める（ステップＳ３１３）。ステップＳ３１４にて次の曲があると判定すると、ステップＳ３１５にてマスタービートテンポを設定する。この場合、歩行のテンポから検出されて設定されたテンポとなる。この場合は、曲のつなぎかたがあらかじめ決められたものとはかぎらないので、自動的に決定する（ステップＳ３１６）。例えば、ジョギングモードならば全部クロスフェードでつなぐ安易なものもあるし、次の曲のメタデータを見て、フェードインしている曲なので、そのまま重ねる場合もある。ステップＳ３１７以降の処理については第４図のステップＳ６〜Ｓ１５と同一であるため、説明を省略する。
【０１１０】
このように音楽編集装置１１０によれば、ジョギングのテンポに合わせた楽曲選択をし、さらにそれらをノンストップでつなぐことによってジョギングのテンションやテンポを狂わせることなく快適にジョギングを楽しむことができる。また、ジョギングに限らず、センサーによっては他のリズミカルな運動（ダンスなど）や心拍に合わせたリミックスなどが実現できる。
【０１１１】
センサーからの入力を使って、曲を選択してさらにそのテンポもジョギングのテンポに合わせてやって、リミックスしてやる。自分の好きな曲を自分のテンポに合わせて、楽しむことができる。
【０１１２】
また、タイマーリミックス再生を行うこともできる。例えば気に入ったアルバムの曲や自分で作ったプレイリストを通勤時間の３０分の間に聞きたいという要求がある。従来であれば、アルバムが６０分である場合、毎回３０分再生したところで、曲を途中停止するしかなかったが、本発明のシステムを利用することで指定した楽曲集が３０分にちょうどおさまるようにテンポおよび曲の使用する部分を選びリミックスすることが可能となる。
ジョギングと組み合わせることもできる。３０分だけ走りたいときに、３０分リミックスでジョギングテンポで曲がなっているが、３０分でぴったり曲がおわるようにすることができる。
【０１１３】
サビだけを通勤時の３０分に合うようにリミックスし、目的地についたときにちょうどリミックスが終わるようにすることが可能である。また、同時に到着時刻付近ではテンポをだんだん遅くしたり、特定のＳＥを重ねるなどしてそろそろ到着するという雰囲気を演出することもできる。
【０１１４】
以上に説明したように、音楽編集装置８０及び１１０によれば、楽曲のつなぎ方をインターネットなどで公開し、それを他の人と共有したり複数人でリミックスを作り上げ評価しあうといった新しい音楽を軸としたコミュニケーションが可能となる。また、センサーを利用して、より自分の状況や状態にあった音楽を聴くことができる。
【０１１５】
これらの特徴は、これまでのプロクリエータ、ミュージシャンが作った作品をそのまま楽しむことを当たり前としてきた世界に一石を投じ、それら作品を自分の表現のための素材として再利用し再構成して楽しむという新しい世界をユーザに体験させることができる。
【０１１６】
これにより、音楽に楽しみを見出すユーザが増えれば音楽業界全体が活性化される。また、音楽業界側から見てもユーザ側で新たに再構成することを前提とした楽曲作品とそれを創出する新たなクリエータが登場する可能性がある。業界とユーザによって新しい音楽文化創造の可能性がある。
【０１１７】
最後に、本発明の音楽編集装置の利用可能な特徴について記述する。まず、リアルタイムに音楽のリズムのビートにトラッキングする手段を有する事を特徴とする。また、予めタイムラインメタデータ（ビート位置等のタイムスタンプ情報等の時刻情報）を持つ事で、正確かつ精度良く、リアルタイムに音楽のリズムのビートにトラッキングする手段を有する事を特徴とする。また、タイムラインメタデータ（ビート位置等のタイムスタンプ情報等の時刻情報）から再生楽曲に同期したビートシンク信号を生成する手段を有する事を特徴とする。
【０１１８】
また、曲の途中でテンポの変更やリズムの揺れがある音楽に対しても、タイムラインメタデータからリアルタイムに音楽のリズムのビートにトラッキングする手段を有する事を特徴とする。また、異なるテンポや異なるリズムの複数の楽曲を連続または同時に再生するための複数の再生トラックを有する事を特徴とする。
【０１１９】
また、異なるテンポや異なるリズムの複数の楽曲を連続または同時に再生するための複数の再生トラックを有し、再生楽曲の切替え過渡時に別の楽曲をオーバーラップして同期再生する手段を有する事を特徴とする。また、異なるテンポや異なるリズムの複数の楽曲を連続または同時に再生するための複数の再生トラックを有し、再生楽曲の切替え時の過渡状態にオーバーラップして同期再生する楽曲を選択する手段を有する事を特徴とする。
【０１２０】
また、異なるテンポや異なるリズムの複数の楽曲を連続または同時に再生する場合でも、お互いにずれることなく基準ビートに対して同期再生する手段を有する事を特徴とする。また、異なるテンポや異なるリズムの複数の楽曲を連続または同時に再生する場合でも、お互いにずれることなく基準ビートに対して同期再生するための手段として、トラック毎にＰＬＬ回路を有する事を特徴とする。
【０１２１】
また、異なるテンポや異なるリズムの複数の楽曲を連続または同時に再生する場合でも、お互いにずれることなく基準ビートに対して同期再生するための手段として、各トラックに基準ビートを入力する事を特徴とする。また、異なるテンポや異なるリズムの複数の楽曲を連続または同時に再生する場合でも、お互いにずれることなく基準ビートに対して同期再生するための手段として、トラック毎にタイムラインメタデータからビートシンク信号を生成する手段を有する事を特徴とする。
【０１２２】
また、再生の同期マスターとなる基準ビートのテンポを決定する手段を有する事を特徴とする。また、リアルタイムに音楽のリズムのビートにトラッキングし、現在のビートカウント値を生成する手段を有することを特徴とする。また、リアルタイムに音楽のリズムのビートにトラッキングし、現在の小節カウント値を生成する手段を有することを特徴とする。
【符号の説明】
【０１２３】
１        音楽編集装置
２        ＣＰＵ
４        記憶部
５        楽曲用記憶部
６        楽曲メタデータ用記憶部
７        リミックスパターン用記憶部
８        同期再生部
９        同期再生制御部
１０      音声ミキシング部
２０      リミックス処理部
２１      メタデータ処理部
２２      リミックスパターン読み込み部
９０      マスタービート生成部
９３      音声信号生成部
Ｓ１      リミックスパターンファイルを取得する
Ｓ２      次の楽曲を取得する
Ｓ３      次の曲があるか？
Ｓ４      マスタービートテンポを決定する
Ｓ５      つなぎ方パターンを取得する
Ｓ６      楽曲のメタデータを取得する
Ｓ７      エフェクト処理が必要か？
Ｓ８      エフェクト処理部を有効にする
Ｓ９      音量フェード処理が必要か？
Ｓ１０    フェードパラメータを設定する
Ｓ１１    同期再生制御部に楽曲のオリジナルテンポをセットする
Ｓ１２    空いている音声信号生成部を取得する
Ｓ１３    同期再生制御部に楽曲をセットする
Ｓ１４    各楽曲の現在の再生位置を取得する
Ｓ１５    次の楽曲を用意するポイントに到達したか？
Ｓ３１１  センサー優先モードかパターン優先モードかを決定する
Ｓ３１２  センサ優先モードか？
Ｓ３１３  センサーの入力から楽曲とテンポを決める
Ｓ３１４  次の曲があるか？
Ｓ３１５  マスタービートテンポを設定する
Ｓ３１６  つなぎ方パターンを自動で決定
Ｓ３１７  楽曲のメタデータを取得
Ｓ３１８  エフェクト処理が必要か？
Ｓ３１９  エフェクト処理部を有効にする
Ｓ３２０  音量フェード処理が必要か？
Ｓ３２１  フェードパラメータを設定する
Ｓ３２２  同期再生制御部に楽曲のオリジナルテンポをセットする
Ｓ３２３  空いている音声信号生成部を取得する
Ｓ３２４  同時再生制御部に楽曲をセットする
Ｓ３２５  各楽曲の現在の再生位置を取得
Ｓ３２６  次の楽曲を用意するポイントに到達したか？
Ｓ３２７  センサー優先モードか？
Ｓ３２８  リミックスパターンファイルを取得
Ｓ３２９  次の楽曲を取得
Ｓ３３０  次の曲があるか？
Ｓ３３１  マスタービートテンポを決定する
Ｓ３３２  つなぎ方パターンを取得
【図１】
0005243042.tif 000002
【図２】
0005243042.tif 000003
【図３】
0005243042.tif 000004
【図４】
0005243042.tif 000005
【図５】
0005243042.tif 000006
【図６】
0005243042.tif 000007
【図７】
0005243042.tif 000008
【図８Ａ】
0005243042.tif 000009
【図８Ｂ】
0005243042.tif 000010
【図８Ｃ】
0005243042.tif 000011
【図９】
0005243042.tif 000012
【図１０】
0005243042.tif 000013
【図１１】
0005243042.tif 000014
【図１２】
0005243042.tif 000015
【図１３】
0005243042.tif 000016
【図１４】
0005243042.tif 000017
【図１５】
0005243042.tif 000018
【図１６】
0005243042.tif 000019
【図１７】
0005243042.tif 000020
【図１８】
0005243042.tif 000021
【図１９】
0005243042.tif 000022
【図２０】
0005243042.tif 000023
【図２１】
0005243042.tif 000024
【図２２】
0005243042.tif 000025
【図２３Ａ】
0005243042.tif 000026
【図２３Ｂ】
0005243042.tif 000027
【図２３Ｃ】
0005243042.tif 000028
【図２４】
0005243042.tif 000029
【図２５】
0005243042.tif 000030
【図２６Ａ】
0005243042.tif 000031
【図２６Ｂ】
0005243042.tif 000032
【図２６Ｃ】
0005243042.tif 000033
【図２６Ｄ】
0005243042.tif 000034
【図２７】
0005243042.tif 000035
【図２８】
0005243042.tif 000036
【図２９】
0005243042.tif 000037
【図３０】
0005243042.tif 000038
【図３１Ａ】
0005243042.tif 000039
【図３１Ｂ】
0005243042.tif 000040
【図３２】
0005243042.tif 000041