(57)【特許請求の範囲】
【請求項１】
楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを記憶する記憶部と、
前記メタデータに基づいて、前記楽曲の小節ごとに、小節の属性又はビートの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを算出するスコア算出部と、
前記スコアに応じて前記楽曲から特徴的な小節を抽出することにより、前記楽曲とは時間長の異なる楽曲を再構成する再構成部と、
を備え、
前記特徴的な小節は、小節又はビートのコードが変化する時点のうち相対的に出現頻度の低い変化パターンが出現する時点の前後の小節を含む、
情報処理装置。
【請求項２】
前記特徴的な小節は、小節又はビートが属するメロディの種類が変化する時点の前後の小節を含む、請求項１に記載の情報処理装置。
【請求項３】
前記特徴的な小節は、小節又はビートのキー又はスケールが変化する時点の前後の小節を含む、請求項１に記載の情報処理装置。
【請求項４】
前記特徴的な小節は、小節又はビートの拍子が変化する時点の前後の小節を含む、請求項１に記載の情報処理装置。
【請求項５】
前記特徴的な小節は、小節又はビートにおいて演奏されている楽器の種類が変化する時点の前後の小節を含む、請求項１に記載の情報処理装置。
【請求項６】
前記特徴的な小節は、歌声の有無が変化する時点の前後の小節を含む、請求項１に記載の情報処理装置。
【請求項７】
前記特徴的な小節は、前記楽曲の音量が所定の変化量を超えて変化する時点の前後の小節を含む、請求項１に記載の情報処理装置。
【請求項８】
前記スコア算出部は、小節若しくはビートが属するメロディの種類、小節の位置、又は小節若しくはビートにおいて演奏されている楽器の種類に応じて、前記スコアを小節ごとにさらに調整する、請求項１に記載の情報処理装置。
【請求項９】
前記情報処理装置は、
前記再構成部により前記楽曲から抽出された小節のうち抽出前には不連続であって抽出後に連続する第１の小節及び第２の小節にクロスフェードを適用するフェード処理部、
をさらに備える、請求項１に記載の情報処理装置。
【請求項１０】
前記フェード処理部は、前記第１の小節と前記第２の小節とを重ね合わせた場合に協和音及び不協和音のいずれが生じるかを判定し、当該判定の結果に応じてフェード時間の長さを変化させる、請求項９に記載の情報処理装置。
【請求項１１】
前記再構成部は、指定される閾値を超えるスコアを有する小節を前記楽曲から抽出する、請求項１に記載の情報処理装置。
【請求項１２】
前記再構成部は、指定される時間長に応じた小節数とスコアに関連する閾値を用いて抽出される小節数とが適合しない場合には、抽出される小節を追加し又は削除することにより、再構成される楽曲の時間長を調整する、請求項１に記載の情報処理装置。
【請求項１３】
情報処理装置の処理手段を用いた楽曲再構成方法であって、
楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを取得するステップと、
前記メタデータに基づいて、前記楽曲の小節ごとに、小節の属性又はビートの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを算出するステップと、
前記スコアに応じて前記楽曲から特徴的な小節を抽出することにより、前記楽曲とは時間長の異なる楽曲を再構成するステップと、
を含み、
前記特徴的な小節は、小節又はビートのコードが変化する時点のうち相対的に出現頻度の低い変化パターンが出現する時点の前後の小節を含む、
楽曲再構成方法。
【請求項１４】
楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを記憶する記憶部を備える情報処理装置を制御するコンピュータを、
前記メタデータに基づいて、前記楽曲の小節ごとに、小節の属性又はビートの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを算出するスコア算出部と、
前記スコアに応じて前記楽曲から特徴的な小節を抽出することにより、前記楽曲とは時間長の異なる楽曲を再構成する再構成部と、
として機能させ、
前記特徴的な小節は、小節又はビートのコードが変化する時点のうち相対的に出現頻度の低い変化パターンが出現する時点の前後の小節を含む、
プログラム。
【請求項１５】
楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを記憶する記憶部と、
前記メタデータに基づいて、前記楽曲の小節ごとに、小節の属性又はビートの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを算出するスコア算出部と、
前記スコアに応じて前記楽曲から特徴的な小節を抽出することにより、前記楽曲とは時間長の異なる楽曲を再構成する再構成部と、
を備え、
前記再構成部は、指定される時間長が前記楽曲の時間長よりも長い場合には、メロディ単位で選択される複数の小節を前記楽曲内で複製した後、前記スコアが相対的に高い小節を抽出する、
情報処理装置。
【請求項１６】
情報処理装置の処理手段を用いた楽曲再構成方法であって、
楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを取得するステップと、
前記メタデータに基づいて、前記楽曲の小節ごとに、小節の属性又はビートの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを算出するステップと、
前記スコアに応じて前記楽曲から特徴的な小節を抽出することにより、前記楽曲とは時間長の異なる楽曲を再構成するステップと、
を含み、
指定される時間長が前記楽曲の時間長よりも長い場合には、前記再構成するステップにおいて、メロディ単位で選択される複数の小節が前記楽曲内で複製された後、前記スコアが相対的に高い小節が抽出される、
楽曲再構成方法。
【請求項１７】
楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを記憶する記憶部を備える情報処理装置を制御するコンピュータを、
前記メタデータに基づいて、前記楽曲の小節ごとに、小節の属性又はビートの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを算出するスコア算出部と、
前記スコアに応じて前記楽曲から特徴的な小節を抽出することにより、前記楽曲とは時間長の異なる楽曲を再構成する再構成部と、
として機能させ、
前記再構成部は、指定される時間長が前記楽曲の時間長よりも長い場合には、メロディ単位で選択される複数の小節を前記楽曲内で複製した後、前記スコアが相対的に高い小節を抽出する、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、楽曲再構成方法及びプログラムに関する。
【背景技術】
【０００２】
従来、例えば楽曲配信サービスにおいて、ユーザによる楽曲の購入の判断を支援するために、最終的に販売されるバージョンとは別の視聴用バージョンがユーザに提供されている。視聴用バージョンは、一般的には、楽曲の一部分を切り出すことにより楽曲の再生時間を短縮して作製される。この視聴用バージョンを再生することで、ユーザは、楽曲の内容を短い時間で手軽に把握し、その楽曲が自らの好みに合うか否かを判断することができる。
【０００３】
また、いわゆるサブスクリプションと呼ばれるサービスモデルでは、例えば月ごとの定額の利用料を支払うユーザは、サービスにより提供される大量の楽曲データを自由にダウンロードすることができる。この場合、ユーザは大量の楽曲を入手することができるが、ユーザにとって、入手した大量の楽曲から自分の好みに合った楽曲を探し出すことは容易ではない。結局のところ、再生時間を短縮した視聴用バージョンが提供されなければ、ユーザは、楽曲を峻別するために、大量の楽曲を延々と再生して多大な時間を浪費することになる。
【０００４】
楽曲の全体を既に入手済みであって、楽曲の内容を簡易に把握したいユーザは、早送り及び再生の操作を繰り返すことで、手動でのダイジェスト再生を行う場合もある。しかし、この場合、再生時間は短縮されるものの、ユーザが楽曲の特徴的な部分を聴き逃すことなく的確にダイジェスト再生を行うことは難しい。
【０００５】
一方、多くの楽曲配信サービスにより提供されている推薦機能を利用すれば、ユーザは、楽曲そのものを聴かなくとも、ある程度自らの好みに合った楽曲を知ることができる。しかし、ユーザの好みは必ずしも一様ではない。例えば、同じユーザが特徴の大きく異なる複数の楽曲に興味を示すこともある。また、似通った２人のユーザの楽曲の好みが相違することもある。そのため、既存の推薦技術は、楽曲そのものを試聴したい（又はダイジェスト再生したい）というニーズをなくすには至っていない。従って、依然として、楽曲の再生時間を短縮したバージョンを効率的に作製できる技術が求められている。
【０００６】
楽曲の再生時間を自動的に短縮するための技術の一例として、下記特許文献１に記載された技術が挙げられる。下記特許文献１は、楽曲をメロディ構成（イントロ、…、エンディングなど）に従って時間軸上で複数の領域に区分し、各領域に予め優先順位を割り当て、優先度の低い領域の再生を省略することを提案している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第４１７６８９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１により提案された技術では、予め高い優先順位を与えられた領域のみがいわゆるブツ切りで再生されるため、領域が不連続となる点において楽曲の流れが不自然になっていた。また、市場で流通する楽曲は多様であり、例えば、通常高い優先順位が与えられる「サビ」に相当する領域内で冗長な節が繰り返される楽曲もあれば、優先順位の低い領域内に特徴的な部分を有する楽曲もある。そのため、メロディ構成に応じて区分された領域ごとに優先順位を割り当てるのみでは、再生時間を短縮したバージョンにおいて元の楽曲の音楽的特徴を効率的に再現することが難しかった。
【０００９】
そこで、本発明は、既存の技術と比較して元の楽曲の音楽的特徴を大きく損なうことなく楽曲の再生時間を変更することのできる、情報処理装置、楽曲再構成方法及びプログラムを提供しようとするものである。
【課題を解決するための手段】
【００１０】
本発明のある実施形態によれば、楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを記憶する記憶部と、上記メタデータに基づいて、上記楽曲の小節ごとに、小節の属性又はビートの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを算出するスコア算出部と、上記スコアに応じて上記楽曲から特徴的な小節を抽出することにより、上記楽曲とは時間長の異なる楽曲を再構成する再構成部と、を備える情報処理装置が提供される。
【００１１】
また、上記特徴的な小節は、小節又はビートが属するメロディの種類が変化する時点の前後の小節を含んでもよい。
【００１２】
また、上記特徴的な小節は、小節又はビートのキー又はスケールが変化する時点の前後の小節を含んでもよい。
【００１３】
また、上記特徴的な小節は、小節又はビートの拍子が変化する時点の前後の小節を含んでもよい。
【００１４】
また、上記特徴的な小節は、小節又はビートのコードが変化する時点のうち相対的に出現頻度の低い変化パターンが出現する時点の前後の小節を含んでもよい。
【００１５】
また、上記特徴的な小節は、小節又はビートにおいて演奏されている楽器の種類が変化する時点の前後の小節を含んでもよい。
【００１６】
また、上記特徴的な小節は、歌声の有無が変化する時点の前後の小節を含んでもよい。
【００１７】
また、上記特徴的な小節は、上記楽曲の音量が所定の変化量を超えて変化する時点の前後の小節を含んでもよい。
【００１８】
また、上記スコア算出部は、小節若しくはビートが属するメロディの種類、小節の位置、又は小節若しくはビートにおいて演奏されている楽器の種類に応じて、上記スコアを小節ごとにさらに調整してもよい。
【００１９】
また、上記情報処理装置は、上記再構成部により上記楽曲から抽出された小節のうち抽出前には不連続であって抽出後に連続する第１の小節及び第２の小節にクロスフェードを適用するフェード処理部、をさらに備えてもよい。
【００２０】
また、上記フェード処理部は、上記第１の小節と上記第２の小節とを重ね合わせた場合に協和音及び不協和音のいずれが生じるかを判定し、当該判定の結果に応じてフェード時間の長さを変化させてもよい。
【００２１】
また、上記再構成部は、指定される閾値を超えるスコアを有する小節を上記楽曲から抽出してもよい。
【００２２】
また、上記再構成部は、指定される時間長に応じた小節数とスコアに関連する閾値を用いて抽出される小節数とが適合しない場合には、抽出される小節を追加し又は削除することにより、再構成される楽曲の時間長を調整してもよい。
【００２３】
また、上記再構成部は、指定される時間長が上記楽曲の時間長よりも長い場合には、メロディ単位で選択される複数の小節を上記楽曲内で複製した後、上記スコアが相対的に高い小節を抽出してもよい。
【００２４】
また、上記再構成部は、上記楽曲に現れるメロディの種類の変化のパターンが繰り返されるような位置に上記複数の小節を複製してもよい。
【００２５】
また、本発明の別の実施形態によれば、情報処理装置の処理手段を用いた楽曲再構成方法であって、楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを取得するステップと、上記メタデータに基づいて、上記楽曲の小節ごとに、小節の属性又はビートの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを算出するステップと、上記スコアに応じて上記楽曲から特徴的な小節を抽出することにより、上記楽曲とは時間長の異なる楽曲を再構成するステップと、を含む楽曲再構成方法が提供される。
【００２６】
また、本発明の別の実施形態によれば、楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを記憶する記憶部を備える情報処理装置を制御するコンピュータを、上記メタデータに基づいて、上記楽曲の小節ごとに、小節の属性又はビートの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを算出するスコア算出部と、上記スコアに応じて上記楽曲から特徴的な小節を抽出することにより、上記楽曲とは時間長の異なる楽曲を再構成する再構成部と、として機能させるための、プログラムが提供される。
【発明の効果】
【００２７】
本発明に係る情報処理装置、楽曲再構成方法及びプログラムによれば、既存の技術と比較して元の楽曲の音楽的特徴を大きく損なうことなく楽曲の再生時間を変更することができる。
【図面の簡単な説明】
【００２８】
【図１】一実施形態に係る情報処理装置の構成の一例を示すブロック図である。
【図２】楽曲の小節ごとの属性又はビートごとの属性の一例を説明するための説明図である。
【図３】楽曲のビート位置及び小節線の位置を定義するデータの一例を説明するための説明図である。
【図４】楽曲の小節ごとの属性又はビートごとの属性を表すメタデータの一例を説明するための説明図である。
【図５】特徴的な小節を識別するためのスコアを記憶するスコアテーブルの一例を説明するための説明図である。
【図６】メロディの種類の変化に応じたスコアの加算について説明するための説明図である。
【図７】キーの変化に応じたスコアの加算について説明するための説明図である。
【図８】拍子の変化に応じたスコアの加算について説明するための説明図である。
【図９】コードの変化に応じたスコアの加算について説明するための説明図である。
【図１０】楽器の種類の変化に応じたスコアの加算について説明するための説明図である。
【図１１】歌声の有無の変化に応じたスコアの加算について説明するための説明図である。
【図１２】音量の変化に応じたスコアの加算について説明するための説明図である。
【図１３】小節位置に応じたスコアの加算について説明するための説明図である。
【図１４】メロディの種類に応じたスコアの加算について説明するための説明図である。
【図１５】スコア算出部によるスコア算出処理の結果の一例について説明するための説明図である。
【図１６Ａ】再構成部による小節抽出処理について説明するための第１の説明図である。
【図１６Ｂ】再構成部による小節抽出処理について説明するための第２の説明図である。
【図１６Ｃ】再構成部による小節抽出処理について説明するための第３の説明図である。
【図１７Ａ】再構成部による小節抽出処理の流れの一例を示すフローチャートの前半部である。
【図１７Ｂ】再構成部による小節抽出処理の流れの一例を示すフローチャートの後半部である。
【図１８】再構成部による小節抽出処理の流れの他の例を示すフローチャートである。
【図１９】一実施形態に係る楽曲再構成処理の流れの一例を示すフローチャートである。
【図２０】再構成部による小節複製処理の一例について説明するための説明図である。
【図２１】一実施形態に係る楽曲再構成処理の流れの他の例を示すフローチャートである。
【発明を実施するための形態】
【００２９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００３０】
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．一実施形態に係る情報処理装置の構成例
２．一実施形態に係る楽曲再構成処理の流れの例
３．応用例
４．まとめ
【００３１】
＜１．一実施形態に係る情報処理装置の構成例＞
本実施形態において説明する情報処理装置は、例えば、ＰＣ（Personal  Computer）、スマートフォン、携帯情報端末（Personal  Digital  Assistant）、音楽プレーヤ、ゲーム端末又はデジタル家電機器などであってよい。また、当該情報処理装置は、上述した装置から送信される要求に応じて以下に説明する楽曲再構成処理を実行するサーバ装置であってもよい。
【００３２】
図１は、本発明の一実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。図１を参照すると、情報処理装置１００は、記憶部１１０、スコア算出部１２０、再構成部１３０、ユーザインタフェース部１４０、フェード処理部１５０及び再生部１６０を備える。
【００３３】
［１−１．記憶部］
記憶部１１０は、ハードディスク又は半導体メモリなどの記憶媒体を用いて、本実施形態に係る楽曲再構成処理のために使用される様々なデータを記憶する。例えば、記憶部１１０は、再生時間を変更すべき楽曲の波形データを記憶する。楽曲の波形データは、例えば、ＷＡＶＥ、ＭＰ３（MPEG  Audio  Layer‐3）又はＡＡＣ（Advanced  Audio  Coding）などの任意の音声符号化方式に従って符号化されたデータであってよい。また、記憶部１１０は、楽曲に含まれるビート（拍）及び小節線を識別するためのデータを記憶する。さらに、本実施形態において、記憶部１１０は、楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを記憶する。
【００３４】
図２は、楽曲の小節ごとの属性又はビートごとの属性の一例を説明するための説明図である。図２の最上部には、ある楽曲についての時間軸に沿った波形が示されている。楽曲の波形は、所定のサンプリングレートでサンプリングされ、符号化される。１つの楽曲の中で実質的な音（音声波形）が符号化された実効サンプル数は、総サンプル数よりも少なくてよい。
【００３５】
図２において、波形の下の時間軸上に、短い縦線でビートの時間的位置、長い縦線で小節線の時間的位置がそれぞれプロットされている。これらビート位置及び小節線の位置は、例えば、特開２００７−２４８８９５号公報に記載された手法に従って楽曲の波形データを解析することにより予め自動的に認識されてもよく、その代わりに手動で指定されてもよい。図３を参照すると、楽曲のビート位置を定義するビート位置データ、及び小節線の位置（小節の開始点の時間的位置）を定義する小節線データの例が示されている。ビート位置データは、例えば、楽曲に含まれる複数のビートの各々を識別するためのビートＩＤと各ビートの時間的位置とを関連付けて定義するデータであってよい。図３の例では、ビートの時間的位置は、楽曲のサンプリング開始時点を原点とした場合の当該時点までのサンプリング数によって表されている。サンプリング数の代わりに、経過時間によって時間的位置が表されてもよい。図３の例では、ビートＢ１の位置はゼロ、ビートＢ２の位置は“１２５０００（サンプル）”、ビートＢ３の位置は“２５００００（サンプル）”、ビートＢ４の位置は“３７５０００（サンプル）”、ビートＢ５の位置は“５０００００（サンプル）”である。小節線データは、例えば、楽曲に含まれる小節線の位置をいずれかのビートのビートＩＤを指定することにより定義するデータであってよい。図３の例では、ビートＢ４、Ｂ８、Ｂ１２、Ｂ１６、…の位置が楽曲の小節線の位置として定義されている
【００３６】
図２の下部には、楽曲の小節ごとの属性（又は各小節に含まれるビートごとの属性）の例として、“メロディ種別”、“コード”、“キー”、“拍子”、“楽器”及び“歌詞”が示されている。“メロディ種別”は、例えば「前奏」、「Ａメロ」、「Ｂメロ」、「サビ」及び「後奏」などの、各小節又は各ビートが属するメロディの種類を表す。“コード”は、各小節又は各ビートにおいて演奏されるコード（Ｃ、Ｃ＃、Ｃｍなど）を表す。“キー”は、各小節又は各ビートにおいて演奏されるキー（スケールを含む）を表す。“拍子”は、各小節又は各ビートにおいて演奏される拍子（４分の４拍子、４分の２拍子など）を表す。“楽器”は、各小節又は各ビートにおいて演奏される楽器の種類を表す。図３の例のように、ギター及びドラムなどの通常の楽器に加えて、ボーカル（歌声）がデータ上１つの楽器の種類として扱われてもよい。これら属性は、例えば、特開２０１０−１２２６２９号公報に記載された手法に従って楽曲の波形データを解析することにより予め自動的に認識されてもよい。その代わりに、楽曲を聴いて属性を判断したユーザが手動で属性を楽曲に付与してもよい。
【００３７】
上述した属性を表すメタデータは、例えば、図３に例示したビート位置データに含まれるビートＩＤとメロディ種別、コード、キー、拍子、楽器及び歌声の有無などの属性値とを直接的に関連付けるデータであってもよい。その代わりに、メタデータは、楽曲の進行に沿って個々の属性値が現れる時間的位置を指定することにより、時間軸を介して間接的に小節又はビートと属性とを関連付けるデータであってもよい。
【００３８】
図４は、記憶部１１０により記憶されるメタデータの一例を説明するための説明図である。図４を参照すると、メタデータの一例として、時間軸を介して間接的に小節又はビートと属性とを関連付けるタイムラインデータが示されている。タイムラインデータは、“位置”、“カテゴリ”及び“サブカテゴリ”の３つのデータ項目を有する。このうち、“位置”は、例えば楽曲のサンプリング開始時点を原点とするサンプリング数（又は経過時間）を用いて、楽曲の進行に沿った時間的位置を特定する。“カテゴリ”及び“サブカテゴリ”は、“位置”により特定される時間的位置、又は当該時間的位置から始まる期間に対応する属性を表す。より具体的には、例えば“カテゴリ”が「メロディ」である場合には、演奏されているメロディの種類（即ちメロディ種別）が“サブカテゴリ”により表される。“カテゴリ”が「コード」である場合には、演奏されているコードの種類が“サブカテゴリ”により表される。“カテゴリ”が「キー」である場合には、演奏されているキーの種類が“サブカテゴリ”により表される。“カテゴリ”が「楽器」である場合には、演奏されている楽器の種類が“サブカテゴリ”により表される。
【００３９】
図４の例において、例えば、メタデータに含まれるデータＴＬ１及びＴＬ５から、１２５０００サンプルから２６２５０００サンプルまでの各小節（各ビート）のメロディ種別が「前奏」であることが分かる。また、データＴＬ５及びＴＬ６から、２６２５０００サンプルから６８７５０００サンプルまでの各小節（各ビート）のメロディ種別が「Ａメロ」であることが分かる。同様に、例えば、データＴＬ１、ＴＬ２、ＴＬ３及びＴＬ４などから、第４小節である小節ＢＲ１がメロディ種別「前奏」、コード「Ｃ」、キー「Ｃ」及び楽器「ギター」などの属性を有することが分かる。
【００４０】
記憶部１１０は、これら波形データ、ビート位置データ、小節線データ及びメタデータを、個々の楽曲の識別子（楽曲ＩＤ）及びタイトルなどと関連付けて予め記憶する。また、記憶部１１０は、楽曲の歌詞に含まれる各フレーズを記述したテキストと当該フレーズが歌われる時間的位置とを関連付ける歌詞データを記憶してもよい。さらに、記憶部１１０は、以下に説明するスコア算出部１２０及び再構成部１３０により使用されるスコアテーブル及び小節抽出テーブルを記憶する。
【００４１】
［１−２．スコア算出部］
スコア算出部１２０は、上述したメタデータに基づいて、音楽性の観点で特徴的な小節を識別するためのスコアを、当該楽曲の小節ごとに算出する。本明細書において、特徴的な小節とは、例えば、楽曲内の小節の属性又はビートの属性が変化する時点の前後の小節を含む。スコア算出部１２０は、例えば、メタデータに基づいて算出される小節ごとのスコアを、図５に例示したようなスコアテーブルに格納する。
【００４２】
図５は、スコア算出部１２０により算出されるスコアを記憶するスコアテーブルの一例を説明するための説明図である。図５を参照すると、スコアテーブルは、“小節番号”、“原曲位置”及び“スコア”という３つのデータ項目を有する。“小節番号”は、楽曲の各小節に付与される時間順の番号である。“原曲位置”は、再構成前の楽曲（以下、原曲という）における各小節の開始点の時間的位置を表す。“スコア”は、各小節についてスコア算出部１２０により算出されるスコアを表す。
【００４３】
スコア算出部１２０は、スコア算出処理に先立って、図３に例示したビート位置データ及び小節線データに基づいて“小節番号”及び“原曲位置”をスコアテーブルに登録すると共に、対応する“スコア”をゼロに初期化する。次に、スコア算出部１２０は、メタデータにより表される楽曲の小節ごとの属性又はビートごとの属性に基づき、以下に説明する考え方に従って音楽性の観点で特徴的な小節を識別し、識別した各小節のスコアに所定の値を加算する。なお、図５におけるｎＢａｒは、楽曲の最大の小節番号である。
【００４４】
（１）メロディ種別の変化
スコア算出部１２０は、例えば、メロディ種別が変化する時点の前後の小節を特徴的な小節であると識別してもよい。図６は、メロディ種別の変化に応じたスコアの加算について説明するための説明図である。図６を参照すると、メタデータにより示されるメロディ種別が、時間軸に沿って示されている。この例において、第５小節から第６小節にかけて、メロディ種別は、「前奏」から「Ａメロ」に変化している。第１３小節から第１４小節にかけて、メロディ種別は、「Ａメロ」から「Ｂメロ」に変化している。第１７小節から第１８小節にかけて、メロディ種別は、「Ｂメロ」から「サビ」に変化している。従って、これら第５、第６、第１３、第１４、第１７及び第１８小節は、メロディ種別が変化する時点の前後の特徴的な小節であると識別され得る。そこで、スコア算出部１２０は、これら小節のスコアに所定の値（図６の例では、６）を加算する。
【００４５】
なお、ここでの加算値は一例に過ぎず、他の値がスコアに加算されてもよい。また、図６の例では、スコア算出部１２０は、メロディ種別が変化する時点の直前及び直後の２つの小節のスコアのみを加算している。しかしながら、スコア算出部１２０は、メロディ種別が変化する時点の前の複数個の小節及び後の複数個の小節のスコアを加算してもよい。また、スコアに加算される値は、メロディ種別が変化する時点からの時間的距離が長いほど小さい値であってもよい。以下に説明する他の属性の変化に応じたスコアの加算についても同様である。
【００４６】
さらに、対応するメロディ種別の変化が特定のパターンに該当する小節について、他の小節よりも大きい値がスコアに加算されてもよい。特定のパターンとは、例えば、「Ａメロ」から「サビ」及び「Ｂメロ」から「サビ」などであってよい。
【００４７】
（２）キーの変化
スコア算出部１２０は、例えば、キー（又はスケール）が変化する時点の前後の小節を特徴的な小節であると識別してもよい。図７は、キーの変化に応じたスコアの加算について説明するための説明図である。図７を参照すると、メタデータにより示されるキーが、時間軸に沿って示されている。この例において、第１９小節から第２０小節にかけて、キーは、「Ｃ」から「Ｃ＃」に変化している。従って、これら第１９及び第２０小節は、キーが変化する時点の前後の特徴的な小節であると識別され得る。そこで、スコア算出部１２０は、これら小節のスコアに所定の値（図７の例では、８）を加算する。
【００４８】
（３）拍子の変化
スコア算出部１２０は、例えば、拍子が変化する時点の前後の小節を特徴的な小節であると識別してもよい。図８は、拍子の変化に応じたスコアの加算について説明するための説明図である。図８を参照すると、メタデータにより示される拍子が、時間軸に沿って示されている。この例において、第１３小節から第１４小節にかけて、拍子は、「４／４」から「２／４」に変化している。第１７小節から第１８小節にかけて、拍子は、「２／４」から「４／４」に変化している。従って、これら第１３、第１４、第１７及び第１８小節は、拍子が変化する時点の前後の特徴的な小節であると識別され得る。そこで、スコア算出部１２０は、これら小節のスコアに所定の値（図８の例では、６）を加算する。
【００４９】
（４）コードの変化
スコア算出部１２０は、例えば、コードが変化する時点のうち相対的に出現頻度の低い変化パターンが出現する時点の前後の小節を特徴的な小節であると識別してもよい。一般的に、楽曲内で１つのコードが持続する期間は、短ければ１ビート、長くても数小節である。従って、コードが変化した場合であっても、その変化パターン（変化の前後のコードの組合せ）の出現頻度が高い場合には、その出現箇所は特徴的な箇所とは言えない。一方、出現頻度の低い変化パターンが出現した箇所は、特徴的な箇所であると言える。そこで、本実施形態において、スコア算出部１２０は、コードに関するメタデータに基づいて、コードの変化パターンの出現頻度を集計し、相対的に出現頻度の低い変化パターンが出現する時点の前後の小節を、特徴的な小節であると識別する。
【００５０】
図９は、コードの変化に応じたスコアの加算について説明するための説明図である。図９を参照すると、メタデータにより示されるコードが、時間軸に沿って示されている。この例において、例えば「Ｃ」から「Ｇ」へのコード進行は２回出現している。「Ｇ」から「Ｇｍ７」へのコード進行も２回出現している。これに対し、例えば第９小節から第１０小節にかけての「Ｇｍ７」から「Ｄ７」へのコード進行は、１回だけ出現している。また、例えば第１７小節から第１８小節にかけての「Ｇｍ７」から「Ｃ」へのコード進行も、１回だけ出現している。そこで、スコア算出部１２０は、これら第９、第１０、第１７及び第１８小節のスコアに所定の値（図９の例では、６）を加算する。なお、例えば、対応するコード進行の出現頻度に応じて異なる加算値（例えば、出現頻度が低いほど大きい加算値）が使用されてもよい。
【００５１】
なお、スコア算出部１２０は、コードの変化パターンの出現頻度を、２つの小節ごとではなく、３つ（又はそれ以上）の小節ごとに集計してもよい。
【００５２】
（５）楽器の変化
スコア算出部１２０は、例えば、演奏されている楽器の種類が変化する時点の前後の小節を特徴的な小節であると識別してもよい。図１０は、楽器の種類の変化に応じたスコアの加算について説明するための説明図である。図１０を参照すると、メタデータにより示される演奏されている楽器の種類が、時間軸に沿って示されている。この例では、第１小節において、「ドラム」の演奏が開始されている。また、第３小節から第４小節にかけて、「ギター」の演奏が開始されている。第１６小節から第１８小節にかけて、「ギター」の演奏が一時的に中断され、再開されている。第６１小節から第６２小節にかけて、「ドラム」の演奏が終了している。第６４小節において、「ギター」の演奏が終了している。従って、これら第１、第３、第４、第１６、第１７、第１８、第６１、第６２及び第６４小節は、楽器の種類が変化する時点の前後の特徴的な小節であると識別され得る。そこで、スコア算出部１２０は、これら小節のスコアに所定の値（図１０の例では、５）を加算する。なお、例えば、対応する楽器の種類に応じて異なる加算値が使用されてもよい。
【００５３】
（６）歌声の有無の変化
スコア算出部１２０は、例えば、歌声の有無が変化する時点の前後の小節を特徴的な小節であると識別してもよい。図１１は、歌声の有無の変化に応じたスコアの加算について説明するための説明図である。図１１を参照すると、「楽器」に関するメタデータにより示される歌声の有無が、時間軸に沿って示されている。また、図１１では、歌詞データにより示される歌声の有無が追加的に示されている。歌声の有無は、これらのいずれかのデータに基づいて判定されてよい。図１１の例では、第６小節において、歌声の発声が開始されている。第１６小節から第１８小節にかけて、発声が一時的に中断され、再開されている。従って、これら第６、第１６、第１７及び第１８小節は、歌声の有無が変化する時点の前後の特徴的な小節であると識別され得る。そこで、スコア算出部１２０は、これら小節のスコアに所定の値（図１１の例では、８）を加算する。
【００５４】
（７）音量の変化
スコア算出部１２０は、例えば、音量が所定の変化量を超えて変化する時点の前後の小節を特徴的な小節であると識別してもよい。図１２は、音量の変化に応じたスコアの加算について説明するための説明図である。図１２を参照すると、音量が、波形のエネルギーの強さの１つの小節にわたる平均値として小節ごとに算出されている。図１２の例において、音量は、第１小節から第２小節、第５小節から第６小節、第１６小節から第１７小節、及び第１７小節から第１８小節にかけて、それぞれ所定の変化量ｄＶを超えて変化している。従って、これら第１、第２、第５、第６、第１６、第１７及び第１８小節は、特徴的な小節であると識別され得る。そこで、スコア算出部１２０は、これら小節のスコアに所定の値（図１２の例では、６）を加算する。
【００５５】
（８）小節位置
スコア算出部１２０は、例えば、特定の位置の小節のスコアにさらに値を加算することにより、小節ごとにスコアを調整し得る。特定の位置とは、例えば、ｎを０以上の整数とした場合の、第４ｎ小節及び第４ｎ＋１小節、又は第８ｎ小節及び第８ｎ＋１小節であってよい。これは、楽曲が４小節又は８小節などの単位で類似するメロディの繰り返しになっているケースが多いという事実に基づく。図１３は、小節位置に応じたスコアの加算について説明するための説明図である。図１３の例においては、第４ｎ小節及び第４ｎ＋１小節が、特徴的な小節であると識別され、これら小節のスコアに所定の値（図１３の例では、６）が加算されている。
【００５６】
（９）属性の種類
スコア算出部１２０は、例えば、特定の種類の属性を有する小節のスコアにさらに追加的な値を加算することにより、小節ごとにスコアを調整し得る。特定の種類とは、例えば、いずれかのメロディ種別又はいずれかの楽器の種類であってもよい。図１４は、メロディ種別に応じたスコアの加算について説明するための説明図である。図１４を参照すると、メロディ種別ごとにスコアの加算値を定義する加算スコアテーブルが示されている。当該テーブルにおいて、例えば、「前奏」についての加算値は３である。従って、スコア算出部１２０は、メロディ種別が「前奏」である第１〜第５小節のスコアに３を加算する。同様に、スコア算出部１２０は、他の小節のスコアにも加算スコアテーブルにより定義された値を加算する。このような属性の種類に応じた加算値は、予め固定的に定義されてもよい。例えば、図１４の例のように、「サビ」についての加算値は、他のメロディ種別よりも大きく定義され得る。
【００５７】
また、例えば、楽曲内で同じメロディ種別が複数回出現する場合に、その出現位置に応じて異なる加算値が適用されてもよい。例えば、「サビ」のうち最後の「サビ」についての加算値は、他の位置の「サビ」についての加算値よりも大きくてよい。また、例えば、「Ａメロ」のうち最初の「Ａメロ」についての加算値は、他の位置の「Ａメロ」についての加算値よりも大きくてよい。
【００５８】
さらに、属性の種類に応じた加算値がユーザごとに定義されてもよい。例えば、特定の種類の楽器（「ギター」又は「ボーカル」など）を好むユーザについて、その特定の種類に対応する加算値を大きく定義することで、同じ再生時間であってもユーザごとに内容の異なる再構成後の楽曲を得ることが可能となる。
【００５９】
（１０）スコア算出処理の結果の一例
スコア算出部１２０は、上述した考え方の少なくとも１つに従って、楽曲の小節ごとにスコアを算出し、算出したスコアをスコアテーブルに格納する。図１５は、スコア算出部１２０によるスコア算出処理の結果の一例について説明するための説明図である。図１５を参照すると、横軸を小節番号、縦軸を算出されたスコアとするスコア算出結果のグラフが示されている。このグラフから、スコア算出処理の結果として、小節ごとの属性が変化しない期間ではスコアは低く、属性が変化する時点の前後ではスコアは高くなっていることが理解される。例えば、第６小節から第１３小節までの期間において、「Ａメロ」が続いている途中の小節のスコアよりも、「Ａメロ」の開始時点にあたる第６小節及び「Ａメロ」の終了時点にあたる第１３小節のスコアが相対的に高い。また、「Ａメロ」に属する小節の中では、第９小節の前後のスコアが他の小節のスコアと比較してより高い。これは、第９小節の前後のコードの変化などを理由とする。
【００６０】
［１−３．再構成部］
再構成部１３０は、スコア算出部１２０により算出されたスコアが相対的に高い小節を原曲から抽出することにより、原曲とは時間長の異なる楽曲を再構成する。例えば、再構成部１３０は、指定される閾値を超えるスコアを有する小節を原曲から抽出してもよい。再構成部１３０は、抽出する小節についての情報を、小節抽出テーブルに格納する。
【００６１】
図１６Ａ〜図１６Ｃは、再構成部１３０による小節抽出処理について説明するための説明図である。各図の上には、図１５に一例として示した小節ごとのスコアのグラフが示されている。斜線の網掛けは、網掛けされた小節のスコアが、各図に対応する閾値を超えることを表している。各図の左下には、スコア算出処理後のスコアテーブルの内容の一例が示されている。また、各図の右下には、再構成部１３０による小節抽出処理により生成される小節抽出テーブルの一例が示されている。例えば、図１６Ａを参照すると、小節抽出テーブルは、“新小節番号”、“元小節番号”、“原曲開始位置”及び“原曲終了位置”という４つのデータ項目を有する。“新小節番号”は、小節抽出処理の結果として再構成される楽曲の各小節の時間順の番号である。“元小節番号”は、当該小節の原曲における小節番号である。“原曲開始位置”は、原曲における当該小節の開始点の時間的位置を表す。原曲終了位置”は、原曲における当該小節の終了点の時間的位置を表す。
【００６２】
図１６Ａの例では、小節の抽出のための閾値Ｔｈは、２０である。この場合、原曲における第５、第６、第１７及び第１８小節が、再構成後の楽曲の第１、第２、第３及び第４小節として抽出される。また、図１６Ｂの例では、小節の抽出のための閾値Ｔｈは、１９である。この場合、原曲における第１、第５、第６、第１３、第１６、第１７及び第１８小節が、再構成後の楽曲の第１〜第７小節として抽出される。また、図１６Ｃの例では、小節の抽出のための閾値Ｔｈは、１２である。この場合、原曲における第１、第４、第５、第６、第９、第１３、第１４、第１６、第１７、第１８、第１９及び第２０小節が、再構成後の楽曲の第１〜第１２小節として抽出される。
【００６３】
このように、閾値Ｔｈを小さくするほど、抽出される小節の数は多くなり、従って再構成される楽曲の再生時間は長くなる。閾値Ｔｈは、ユーザにより指定されてもよい。その代わりに、情報処理装置１００は、再構成後の楽曲の再生時間をユーザに指定させ、指定された当該再生時間が実現されるように閾値Ｔｈを動的に調整してもよい。
【００６４】
（１）第１のシナリオ
図１７Ａ及び図１７Ｂは、再構成部１３０による小節抽出処理の流れの一例を示すフローチャートを示している。図１７Ａ及び図１７Ｂのフローチャートは、再構成後の楽曲の再生時間がユーザにより指定されるシナリオに沿ったフローチャートである。
【００６５】
図１７Ａを参照すると、まず、再構成部１３０は、ユーザにより指定される再生時間Ｌを取得する（ステップＳ１４２）。次に、再構成部１３０は、取得した再生時間Ｌに応じて、原曲から抽出すべき小節の数の目標である目標小節数Ｎｔを計算する（ステップＳ１４４）。楽曲のテンポ（１分当たりのビート数）をＢＰＭ（Beat  Per  Minute）、楽曲の主たる拍子をＭＥＴＥＲ（４分の４拍子なら４、４分の２拍子なら２、など）とすると、目標小節数Ｎｔは次の式（１）に従って計算され得る。
【００６６】
【数１】
0005594052.tif 000002
【００６７】
なお、１つの小節の長さＬＢＡＲは次の式（２）のように計算され得る。
【００６８】
【数２】
0005594052.tif 000003
【００６９】
次に、再構成部１３０は、変数Ｔｖ及びＤｍｉｎを初期化する（ステップＳ１４６）。変数Ｔｖは、暫定的な閾値の値を保持する変数である。変数Ｔｖの初期値は、例えばゼロである。変数Ｄｍｉｎは、目標小節数Ｎｔと暫定的に抽出される小節の数との差を保持する変数である。変数Ｄｍｉｎの初期値は、原曲の小節数を超える十分に大きい値であってよい。
【００７０】
次に、再構成部１３０は、スコアがＴｖを超える小節の数Ｎｖをカウントする（ステップＳ１４８）。次に、再構成部１３０は、カウントした小節数Ｎｖと目標小節数Ｎｔとの間の差の絶対値｜Ｎｖ−Ｎｔ｜がＤｍｉｎよりも小さいか否かを判定する（ステップＳ１５０）。ここで、｜Ｎｖ−Ｎｔ｜がＤｍｉｎよりも小さい場合には、再構成部１３０は、Ｄｍｉｎに｜Ｎｖ−Ｎｔ｜を代入すると共に、閾値ＴｈにＴｖを代入する（ステップＳ１５２）。｜Ｎｖ−Ｎｔ｜がＤｍｉｎよりも小さくない場合には、ステップＳ１５２の処理はスキップされる。
【００７１】
次に、再構成部１３０は、Ｔｖが所定の最大値Ｔｍａｘよりも小さいか否かを判定する（ステップＳ１５４）。最大値Ｔｍａｘは、例えば、スコアテーブルに格納されているスコアのうちの最大値であってよい。ここで、ＴｖがＴｍａｘよりも小さい場合には、再構成部１３０は、Ｔｖをインクリメント（例えば１を加算）する（ステップＳ１５６）。そして、処理はステップＳ１４８に戻る。一方。ＴｖがＴｍａｘよりも小さくない場合には、処理は図１７ＢのステップＳ１５８へ進む。
【００７２】
ステップＳ１５８では、再構成部１３０は、閾値Ｔｈを超えるスコアを有する小節を原曲から抽出する（ステップＳ１５８）。その結果、図１６Ａ〜図１６Ｃに例示したような小節抽出テーブルが形成される。次に、再構成部１３０は、抽出した小節数Ｎｖと目標小節数Ｎｔとの間の残差Ｎｖ−Ｎｔを評価する（ステップＳ１６０、Ｓ１６２）。
【００７３】
ここで、残差Ｎｖ−Ｎｔがゼロに等しい場合には、再構成部１３０による小節抽出処理は終了する。
【００７４】
また、残差Ｎｖ−Ｎｔがゼロよりも大きい場合には、再構成部１３０は、残差Ｎｖ−Ｎｔに相当する数の小節を小節抽出テーブルから削除する（ステップＳ１６４）。再構成部１３０は、例えば、スコアの低い小節から順に選択される小節を削除してもよい。また、再構成部１３０は、例えば、削除すべきスコアであってスコアの等しい小節が複数存在する場合には、配列の前方（若しくは後方）の小節又はランダムに選択される小節を削除してもよい。
【００７５】
また、残差Ｎｖ−Ｎｔがゼロよりも小さい場合には、再構成部１３０は、残差Ｎｖ−Ｎｔに相当する数の小節を小節抽出テーブルに追加する（ステップＳ１６６）。再構成部１３０は、例えば、未抽出の小節のうちスコアの高い小節から順に選択される小節を追加してもよい。また、再構成部１３０は、例えば、追加すべきスコアであってスコアの等しい小節が複数存在する場合には、配列の前方（若しくは後方）の小節又はランダムに選択される小節を追加してもよい。
【００７６】
（２）第２のシナリオ
図１８は、再構成部１３０による小節抽出処理の流れの他の例を示すフローチャートを示している。図１８のフローチャートは、小節の抽出のための閾値Ｔｈがユーザにより指定されるシナリオに沿ったフローチャートである。
【００７７】
図１８を参照すると、まず、再構成部１３０は、ユーザにより指定される閾値Ｔｈを取得する（ステップＳ１７２）。次に、再構成部１３０は、閾値Ｔｈを超えるスコアを有する小節を原曲から抽出する（ステップＳ１７４）。その結果、図１６Ａ〜図１６Ｃに例示したような小節抽出テーブルが形成される。
【００７８】
［１−４．ユーザインタフェース部］
ユーザインタフェース部１４０は、情報処理装置１００による楽曲再構成処理のためのユーザインタフェースをユーザに提供する。例えば、ユーザインタフェース部１４０は、再構成後の楽曲の再生時間Ｌをユーザに指定させるための画面を情報処理装置１００と接続されるディスプレイ（又は情報処理装置１００と通信する他の装置のディスプレイ）上に表示してもよい。また、ユーザインタフェース部１４０は、上記閾値Ｔｈをユーザに指定させるための画面を表示してもよい。再構成の対象の楽曲もまた、これら画面を介してユーザにより指定され得る。
【００７９】
また、ユーザインタフェース部１４０は、再生時間Ｌ又は閾値Ｔｈの指定に応じて、抽出される小節を画面上で確認できるような表示（例えば、図１６Ａ〜図１６Ｃに例示したようなグラフなど）をユーザに提供してもよい。
【００８０】
また、ユーザインタフェース部１４０は、例えば、図６〜図１４を用いて説明したスコア算出処理における様々な属性に応じたスコアの加算値をユーザに設定させるための設定画面を、ユーザに提供してもよい。
【００８１】
［１−５．フェード処理部］
フェード処理部１５０は、再構成部１３０により楽曲から抽出された小節のうち抽出前には不連続であって抽出後に連続する第１の小節及び第２の小節に、クロスフェードを適用する。
【００８２】
例えば、フェード処理部１５０は、再構成部１３０により楽曲から小節が抽出されると、小節抽出テーブルに登録された小節の波形を新小節番号の順に波形データから切り出す。そして、フェード処理部１５０は、続けて切り出される２つの小節の元小節番号が不連続である場合には、先の小節の末尾をフェードアウトさせると共に、後の小節の先頭をフェードインさせる。フェード処理部１５０は、このように取得及び加工される再構成後の楽曲の一連の波形を、記憶部１１０に記憶させてもよい。
【００８３】
その代わりに、フェード処理部１５０は、楽曲の再生の際に、記憶部１１０から原曲の波形データを取得し、小節抽出テーブルに登録されているデータに従ってリアルタイムで楽曲をリミックスしてもよい。この場合にも、フェード処理部１５０は、元小節番号が不連続な２つの小節にクロスフェードを適用し得る。原曲の波形データからリアルタイムで楽曲をリミックスして楽曲を再生する技術については、例えば特開２００８−１６４９３２号公報に記載されている。
【００８４】
また、フェード処理部１５０は、フェードイン及びフェードアウトの時間長、即ちクロスフェードにおけるフェード時間の長さを、２つの小節を重ね合わせた場合の和音の種類に応じて変化させてもよい。例えば、フェード処理部１５０は、第１の小節と第２の小節とを重ね合わせた場合に協和音及び不協和音のいずれが生じるかを、２つの小節のコードに関するメタデータを用いて判定する。そして、フェード処理部１５０は、協和音が生じる場合には長いフェード時間を、不協和音が生じる場合には短いフェード時間を使用する。
【００８５】
［１−６．再生部］
再生部１６０は、再構成部１３０により原曲から抽出され、フェード処理部１５０により処理された再構成後の楽曲を再生する。ここで、ユーザにより指定された再生時間Ｌが式（２）に従って計算され得る小節の長さＬＢＡＲの整数倍でない場合には、再構成後の楽曲の時間長が厳密に再生時間Ｌに一致しない可能性がある。そこで、再生部１６０は、再生される楽曲の時間長が再生時間Ｌに一致するように、楽曲の再生の際に楽曲のテンポを微調整してもよい。
【００８６】
＜２．一実施形態に係る楽曲再構成処理の流れの例＞
図１９は、本実施形態に係る情報処理装置１００による楽曲再構成処理の流れの一例を示すフローチャートである。
【００８７】
図１９を参照すると、まず、スコア算出部１２０は、楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを記憶部１１０から取得する（ステップＳ１１０）。次に、スコア算出部１２０は、取得したメタデータに基づいて、例えばメロディ種別などの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを、小節ごとに算出する（ステップＳ１２０）。次に、再構成部１３０は、図１７Ａ〜図１７Ｂ又は図１８を用いて説明した小節抽出処理を行い、原曲とは時間長の異なる楽曲を再構成する（ステップＳ１４０）。次に、フェード処理部１５０は、抽出された小節のうち元小節番号の不連続な点の前後の小節に、クロスフェードを適用する（ステップＳ１８０）。そして、再生部１６０は、再構成され再生時間が短縮された楽曲を再生する（ステップＳ１９０）。
【００８８】
＜３．応用例＞
上述した楽曲再構成処理では、再構成された楽曲の再生時間は、原曲の再生時間よりも短い。しかしながら、本節で説明するように、上述した楽曲再構成処理を楽曲の再生時間の伸長のために応用することも可能である。
【００８９】
例えば、再構成部１３０は、原曲の再生時間よりも長い再生時間Ｌが指定されると、メロディ単位で選択される複数の小節を原曲内で複製する。小節を複製する位置は、例えば、原曲に現れるメロディ種別の変化のパターンが繰り返されるような位置であってもよく、他の位置であってもよい。
【００９０】
図２０は、応用例に係る再構成部１３０による小節抽出処理の一例について説明するための説明図である。図２０の上部には、原曲の小節線、小節ごとに算出されたスコア、及び各小節のメロディ種別が時間軸に沿って示されている。一方、図２０の下部には、当該原曲内の一部の小節が複製された様子が示されている。例えば、複製後の区間ＢＤ１内の小節は、原曲の「Ａメロ」及び「Ｂメロ」に属する小節の複製である。このような複製により、原曲に現れるメロディ種別の変化のパターンのうち、「Ａメロ」→「Ｂメロ」→「サビ」というパターンが繰り返されている。また、複製後の区間ＢＤ２内の小節は、原曲の２番目の「サビ」に属する小節の複製である。
【００９１】
再構成部１３０は、複製後の楽曲の時間長が再生時間Ｌよりも十分に長くなるように、複製する小節の数を決定する。そして、再構成部１３０は、上述したように複数の小節を複製した後、図１７Ａ〜図１７Ｂに例示した小節抽出処理に従って、再構成される楽曲の時間長が再生時間Ｌに等しくなる（又は少なくとも近くなる）ように、スコアが相対的に高い小節を抽出する。
【００９２】
このように、再構成される楽曲の時間長が再生時間Ｌに等しくなるように原曲に単純に小節を追加するのではなく、メロディ単位で複数の小節を複製して楽曲の時間長を十分に伸長した後で上述したスコアに基づく小節抽出処理を適用することで、再構成後の楽曲においても原曲の音楽性がより良好に再現され得る。
【００９３】
図２１は、本応用例に係る楽曲再構成処理の流れの一例を示すフローチャートである。
【００９４】
図２１を参照すると、まず、スコア算出部１２０は、楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを記憶部１１０から取得する（ステップＳ１１０）。次に、スコア算出部１２０は、取得したメタデータに基づいて、例えばメロディ種別などの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを、小節ごとに算出する（ステップＳ１２０）。
【００９５】
次に、再構成部１３０は、例えばユーザインタフェース部１４０を介して指定された楽曲の再生時間Ｌが原曲の時間長よりも長いか否かを判定する（ステップＳ１３０）。ここで、再生時間Ｌが原曲の時間長よりも長い場合には、再構成部１３０は、図２０を用いて説明したように、原曲内の複数の小節を複製する（ステップＳ１３２）。一方、再生時間Ｌが原曲の時間長よりも長くない場合には、ステップＳ１３２の処理はスキップされる。
【００９６】
次に、再構成部１３０は、図１７Ａ〜図１７Ｂに例示した小節抽出処理を行い、原曲とは時間長の異なる楽曲を再構成する（ステップＳ１４０）。次に、フェード処理部１５０は、抽出された小節のうち元小節番号の不連続点の前後の小節に、クロスフェードを適用する（ステップＳ１８０）。そして、再生部１６０は、再構成され再生時間が変更された楽曲を再生する（ステップＳ１９０）。
【００９７】
＜４．まとめ＞
ここまで、図１〜図２１を用いて、本発明の一実施形態について説明した。上述した実施形態によれば、楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータに基づいて、属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアが算出され、当該スコアが相対的に高い小節が上記楽曲から抽出される。そして、抽出された小節から、上記楽曲とは時間長の異なる楽曲が再構成される。かかる構成によれば、例えば同じメロディ種別、同じコード、又は同じキーなどが続いている期間、即ち楽曲の音楽的特徴がおおよそ維持されている期間の途中の小節が省略される一方、当該期間の先頭及び末尾の小節は優先的に再構成後の楽曲に残される。従って、再構成により楽曲の再生時間を短縮する場合にも、音楽的特徴の異なる部分がブツ切りに再生されることが少なく、楽曲の自然な流れを保つことができる。
【００９８】
また、音楽的特徴が変化する時点の前後の小節が優先的に再構成後の楽曲に残されることで、１つの楽曲に含まれる様々な音楽的特徴の多くが、再生時間の短縮後においても少なくとも断片的に再現される。それにより、楽曲の様々な音楽的特徴を効率的にユーザに聴かせることが可能となる。その結果、ユーザによる購買をより効果的に促進することができる。また、ユーザが大量の楽曲の中から自分の好みに合った楽曲を探し出すこともより容易になる。
【００９９】
また、本実施形態によれば、小節の単位で楽曲が再構成されるため、再構成によって楽曲のビート感、テンポ及びリズムが崩れることがない。
【０１００】
また、本実施形態によれば、メロディ種別の変化、キー又はスケールの変化、拍子の変化、コードの変化、演奏されている楽器の変化、歌声の有無の変化、及び音量の変化など、様々な音楽的特徴に基づいて、小節の抽出の基準となるスコアが算出される。これらスコアの算出基準は、どのように組み合わせて利用されてもよい。また、ユーザごとに異なる算出基準が利用されてもよい。即ち、サービスの目的、利用可能なデータの種類、又はユーザの好みなどに応じて内容の異なる再構成後のバージョンを提供することが可能である。
【０１０１】
また、本実施形態によれば、原曲において不連続であった２つの小節にクロスフェードが適用されることにより、再構成後の楽曲の自然な流れが補強され得る。
【０１０２】
また、本実施形態によれば、楽曲の時間長を伸長する場合には、メロディ単位で選択される複数の小節が複製された後、上述したスコアが相対的に高い小節が抽出され、指定された時間長に適合するように楽曲が再構成される。複数の小節が複製される位置は、メロディの種類の変化のパターンが繰り返されるような位置であってよい。それにより、楽曲の音楽的特徴をより自然に再構成後の楽曲において再現することができる。
【０１０３】
なお、本明細書において説明した情報処理装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random  Access  Memory）に読み込まれ、ＣＰＵ（Central  Processing  Unit）などのプロセッサにより実行される。
【０１０４】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１０５】
１００    情報処理装置
１１０    記憶部
１２０    スコア算出部
１３０    再構成部
１５０    フェード処理部
１６０    再生部
【図１】
0005594052.tif 000004
【図２】
0005594052.tif 000005
【図３】
0005594052.tif 000006
【図４】
0005594052.tif 000007
【図５】
0005594052.tif 000008
【図６】
0005594052.tif 000009
【図７】
0005594052.tif 000010
【図８】
0005594052.tif 000011
【図９】
0005594052.tif 000012
【図１０】
0005594052.tif 000013
【図１１】
0005594052.tif 000014
【図１２】
0005594052.tif 000015
【図１３】
0005594052.tif 000016
【図１４】
0005594052.tif 000017
【図１５】
0005594052.tif 000018
【図１６Ａ】
0005594052.tif 000019
【図１６Ｂ】
0005594052.tif 000020
【図１６Ｃ】
0005594052.tif 000021
【図１７Ａ】
0005594052.tif 000022
【図１７Ｂ】
0005594052.tif 000023
【図１８】
0005594052.tif 000024
【図１９】
0005594052.tif 000025
【図２０】
0005594052.tif 000026
【図２１】
0005594052.tif 000027