(57)【要約】【課題】楽曲の構造区間を高精度に特定する。【解決手段】楽曲解析装置１００は、楽曲内の音楽的な構造の区分である構造区間を解析する装置であって、楽曲の音響を表す音響信号Ｘの単位区間毎に、音響の音色の特徴を表す音色特徴量ＦTと当該音響の和音の特徴を表す和音特徴量ＦCとを抽出する特徴抽出部２２と、複数の単位区間を含む構造区間毎に音色特徴量ＦTの生成過程を確率的に表現する音色観測モデルと、各構造区間内の単位区間毎に和音特徴量ＦCの生成過程を確率的に表現する和音観測モデルとの各々について、特徴抽出部２２が抽出した音色特徴量ＦTおよび和音特徴量ＦCを適用した推定処理により事後分布を推定する推定処理部２４と、推定処理の結果から楽曲の複数の構造区間を特定する構造解析部２６とを具備する。【選択図】図１
2017090848.tif 000002
【特許請求の範囲】
【請求項１】
楽曲の音響を表す音響信号の単位区間毎に、前記音響の音色の特徴を表す音色特徴量と当該音響の和音の特徴を表す和音特徴量とを抽出する特徴抽出部と、
前記楽曲内の音楽的な構造の区分であり少なくともひとつの単位区間を含む構造区間毎に前記音色特徴量の生成過程を確率的に表現する音色観測モデルと、各構造区間内の単位区間毎に和音特徴量の生成過程を確率的に表現する和音観測モデルとの各々について、前記特徴抽出部が抽出した音色特徴量および和音特徴量を適用した推定処理により事後分布を推定する推定処理部と、
前記推定処理の結果から前記楽曲の複数の構造区間を特定する構造解析部と
を具備する楽曲解析装置。
【請求項２】
前記特徴抽出部は、前記音響の音色に応じた複数の要素を含む基礎音色特徴量を前記単位区間毎に前記音響信号から抽出し、複数の単位区間の各々について、当該単位区間の前後の複数の周辺単位区間の各々との間で前記基礎音色特徴量の前記要素毎の最小値を選択する第１処理と、前記複数の周辺単位区間にわたる前記最小値の最大値を前記要素毎に選択する第２処理とを実行することで、前記音色特徴量を生成する
請求項１の楽曲解析装置。
【請求項３】
前記推定処理部は、確率分布の混合数が無限である無限混合分布を前記音色観測モデルとして前記推定処理を実行する
請求項１または請求項２の楽曲解装置。
【請求項４】
前記推定処理部は、構造区間内の各単位区間に対応する複数の状態の系列を複数の構造区間について包含し、前記各構造区間の最後の状態から他の構造区間の最初の状態への遷移が可能な状態遷移モデルを前記推定処理に使用する
請求項１から請求項３の何れかの楽曲解析装置。
【請求項５】
前記推定処理部は、初期値を相違させて複数回にわたり前記推定処理を反復することで、構造区間を示す識別符号を前記楽曲の単位区間毎に配列した構造推定系列を前記推定処理毎に特定し、
前記構造解析部は、複数回にわたる前記推定処理で特定された複数の構造推定系列から前記楽曲の構造区間を特定する
請求項１から請求項４の何れかの楽曲解析装置。
【請求項６】
コンピュータシステムが、
楽曲の音響を表す音響信号の単位区間毎に、前記音響の音色の特徴を表す音色特徴量と当該音響の和音の特徴を表す和音特徴量とを抽出し、
前記楽曲内の音楽的な構造の区分であり少なくともひとつの単位区間を含む構造区間毎に前記音色特徴量の生成過程を確率的に表現する音色観測モデルと、各構造区間内の単位区間毎に和音特徴量の生成過程を確率的に表現する和音観測モデルとの各々について、前記抽出した音色特徴量および和音特徴量を適用した推定処理により事後分布を推定し、
前記推定処理の結果から前記楽曲の複数の構造区間を特定する
楽曲解析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲を解析する技術に関する。
【背景技術】
【０００２】
楽曲のうち「サビ」や「Ａメロ」等の特定の区間を選択的に再生したり、複数の楽曲から抽出された各区間を相互に連結して再生（例えばＤＪ用途のリミックス）したりするためには、楽曲の音楽的な構造の解析が必要である。特許文献１には、音響信号から順次に抽出される各特徴量の類似度を解析することで繰返し区間を検出および統合し、統合後の複数の繰返し区間から楽曲のサビの区間を選択する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２３３９６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の技術を含む既存の解析技術で楽曲の構造を高精度に解析することは実際には困難である。以上の事情を考慮して、本発明は、楽曲の構造区間を高精度に特定することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明の好適な態様に係る楽曲解析装置は、楽曲の音響を表す音響信号の単位区間毎に、音響の音色の特徴を表す音色特徴量と当該音響の和音の特徴を表す和音特徴量とを抽出する特徴抽出部と、楽曲内の音楽的な構造の区分であり少なくともひとつの単位区間を含む構造区間毎に音色特徴量の生成過程を確率的に表現する音色観測モデルと、各構造区間内の単位区間毎に和音特徴量の生成過程を確率的に表現する和音観測モデルとの各々について、特徴抽出部が抽出した音色特徴量および和音特徴量を適用した推定処理により事後分布を推定する推定処理部と、推定処理の結果から楽曲の複数の構造区間を特定する構造解析部とを具備する。以上の態様では、構造区間毎の音色観測モデルと各構造区間内の単位区間毎の和音観測モデルとの各々の事後分布が推定処理で推定される。すなわち、楽曲の１個の構造区間内では概略的には音色が統一されるという傾向を反映した音色観測モデルと、構造区間内の単位区間毎に和音は順次に遷移するという傾向を反映した和音観測モデルとが推定処理に利用される。したがって、楽曲の構造区間を高精度に特定することが可能である。
【０００６】
本発明の好適な態様において、単位区間は、楽曲の小節である。以上の態様では、楽曲の複数の小節の各々を単位区間として音色特徴量および和音特徴量が単位区間毎に抽出されるから、相前後する小節の境界で構造区間が遷移するという傾向のもとで楽曲の構造区間を高精度に推定できるという利点がある。
【０００７】
本発明の好適な態様において、特徴抽出部は、音響の音色に応じた複数の要素を含む基礎音色特徴量を単位区間毎に音響信号から抽出し、複数の単位区間の各々について、当該単位区間の前後の複数の周辺単位区間の各々との間で基礎音色特徴量の要素毎の最小値を選択する第１処理と、複数の周辺単位区間にわたる最小値の最大値を要素毎に選択する第２処理とを実行することで、音色特徴量を生成する。以上の態様では、音響信号の複数の単位区間の各々について、各周辺単位区間との間で基礎音色特徴量の要素毎の最小値を選択する第１処理と、複数の周辺単位区間にわたる当該最小値の最大値を要素毎に選択する第２処理とを実行することで音色特徴量が生成される。すなわち、単位区間と各周辺単位区間との間の共通成分が第１処理で抽出され、複数の周辺単位区間にわたる要素の統合で音色特徴量が生成される。したがって、経時的に変動する非定常的な雑音成分を簡便に低減して適切な音色特徴量を生成することが可能である。
【０００８】
本発明の好適な態様において、推定処理部は、確率分布の混合数が無限である無限混合分布を音色観測モデルとして推定処理を実行する。以上の態様では、無限混合分布が音色観測モデルとして利用されるから、音響信号の音色の特性に応じて確率分布の混合数が変動する。したがって、音色観測モデルの事後分布を音響信号の特性に応じて適切に推定できるという利点がある。
【０００９】
本発明の好適な態様において、推定処理部は、構造区間内の各単位区間に対応する複数の状態の系列を複数の構造区間について包含し、各構造区間の最後の状態から他の構造区間の最初の状態への遷移が可能な状態遷移モデルを推定処理に使用する。以上の態様では、単位区間に対応する複数の状態の系列を複数の構造区間について包含し、かつ、各構造区間の末尾の状態から他の構造区間の先頭の状態への遷移が可能な状態遷移モデルが推定処理に適用される。すなわち、複数の単位区間で構成される構造区間が楽曲内で順次に遷移するという傾向が状態遷移モデルで適切に表現される。したがって、楽曲の構造区間を高精度に推定することが可能である。
【００１０】
本発明の好適な態様において、推定処理部は、初期値を相違させて複数回にわたり推定処理を反復することで、構造区間を示す識別符号を楽曲の単位区間毎に配列した構造推定系列を推定処理毎に特定し、構造解析部は、複数回にわたる推定処理で特定された複数の構造推定系列から楽曲の構造区間を特定する。以上の態様では、相異なる初期値を適用した推定処理で生成された複数の構造推定系列から楽曲の構造区間が特定される。したがって、各推定処理に適用される初期値の変動（推定処理毎の構造推定系列の相違）に対して頑健に楽曲の構造区間を高精度に推定できるという利点がある。
【００１１】
本発明の好適な態様に係る楽曲解析方法は、コンピュータシステムが、楽曲の音響を表す音響信号の単位区間毎に、音響の音色の特徴を表す音色特徴量と当該音響の和音の特徴を表す和音特徴量とを抽出し、楽曲内の音楽的な構造の区分であり少なくともひとつの単位区間を含む構造区間毎に音色特徴量の生成過程を確率的に表現する音色観測モデルと、各構造区間内の単位区間毎に和音特徴量の生成過程を確率的に表現する和音観測モデルとの各々について、抽出した音色特徴量および和音特徴量を適用した推定処理により事後分布を推定し、推定処理の結果から楽曲の複数の構造区間を特定する。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態に係る楽曲解析装置の構成図である。
【図２】特徴抽出処理のフローチャートである。
【図３】対象楽曲の単位区間（小節）の説明図である。
【図４】雑音圧縮処理のフローチャートである。
【図５】雑音抑圧処理の説明図である。
【図６】構造推定系列の説明図である。
【図７】楽曲構造モデルの説明図である。
【図８】構造解析部による処理の説明図である。
【図９】推定結果画像の模式図である。
【図１０】楽曲解析装置の動作のフローチャートである。
【図１１】第２実施形態における構造解析部の動作の説明図である。
【発明を実施するための形態】
【００１３】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る楽曲解析装置１００の構成図である。第１実施形態の楽曲解析装置１００は、任意の１個の楽曲（以下「対象楽曲」という）の音楽的な構造を解析する情報処理装置である。具体的には、楽曲解析装置１００は、音楽的な構造（音楽的な意味や聴感的な印象）に応じて対象楽曲を時間軸上で区分した複数の区間（以下「構造区間」という）を解析する。各構造区間は、例えば「イントロ」「Ａメロ」「Ｂメロ」「Ｃメロ」「サビ」等の区間（対象楽曲を構成する要素）である。
【００１４】
図１に例示される通り、第１実施形態の楽曲解析装置１００は、演算処理装置１２と記憶装置１４と表示装置１６とを具備するコンピュータシステムで実現される。例えば携帯電話機やスマートフォン等の可搬型の情報処理装置やパーソナルコンピュータ等の可搬型または据置型の情報処理装置が楽曲解析装置１００として利用され得る。表示装置１６（例えば液晶表示パネル）は、演算処理装置１２から指示された画像を表示する。例えば対象楽曲の解析結果が表示装置１６に表示される。
【００１５】
記憶装置１４は、演算処理装置１２が実行するプログラムや演算処理装置１２が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１４として任意に採用される。第１実施形態の記憶装置１４は、対象楽曲の音響（例えば演奏音や歌唱音）を表す音響信号Ｘを記憶する。なお、記録媒体（例えば光ディスク）に記録された音響信号Ｘを再生する再生装置等の外部装置から楽曲解析装置１００に音響信号Ｘを供給することも可能である。
【００１６】
演算処理装置１２は、記憶装置１４に記憶されたプログラムを実行することで、対象楽曲の構造を解析するための複数の要素（特徴抽出部２２，推定処理部２４，構造解析部２６）として機能する。なお、演算処理装置１２の機能を複数の装置の集合（すなわちシステム）で実現した構成や、演算処理装置１２の機能の一部を専用の電子回路が分担する構成も採用され得る。演算処理装置１２が実現する各機能について以下に詳述する。
【００１７】
＜特徴抽出部２２＞
特徴抽出部２２は、音響信号Ｘの特徴量を抽出する。第１実施形態の特徴抽出部２２は、音響信号Ｘを時間軸上で区分した単位区間毎に音色特徴量ＦT（T：timbre）と和音特徴量ＦC（C：chord）とを抽出する。音色特徴量ＦTは、音響信号Ｘが表す音響の音色の特徴を表す特徴量である。第１実施形態では音響信号ＸのＭＦＣＣ（Mel-Frequency Cpestrum Coefficient）に応じた音色特徴量ＦTを例示する。他方、和音特徴量ＦCは、音響信号Ｘが表す音響の和音（コード）の特徴を表す特徴量である。第１実施形態ではクロマベクトルに応じた特徴量ＦCを例示する。クロマベクトルは、音響信号Ｘのうち音階音（例えば平均律の１２半音の各々）に対応する周波数成分の強度を複数のオクターブにわたり加算した数値を、相異なる複数の音階音の各々について配列した１２次元ベクトルである。
【００１８】
図２は、第１実施形態の特徴抽出部２２が音色特徴量ＦTおよび和音特徴量ＦCを抽出する処理（以下「特徴抽出処理」という）ＳA1のフローチャートである。対象楽曲の解析が利用者から指示された場合に図２の特徴抽出処理ＳA1が開始される。
【００１９】
特徴抽出処理ＳA1を開始すると、特徴抽出部２２は、図３に例示される通り、音響信号Ｘを時間軸上で複数の単位区間に区分する（ＳA11）。具体的には、特徴抽出部２２は、音響信号Ｘの拍点を検出し、拍点の所定個に相当する１小節分の区間を単位区間として画定する。拍点や小節（単位区間）の検出には、例えば特開２０１５−１１４３６１号公報に記載された技術が好適に利用される。ただし、音響信号Ｘを複数の単位区間に区分する方法は任意であり、以上の例示には限定されない。以上の説明の通り、第１実施形態では、対象楽曲の複数の小節の各々を単位区間として音色特徴量ＦTおよび和音特徴量ＦCが単位区間毎（すなわち小節毎）に抽出されるから、相前後する小節の境界で構造区間が遷移するという音楽的な前提のもとで対象楽曲の構造区間を高精度に推定できるという利点がある。
【００２０】
音響信号Ｘを複数の単位区間に区分すると、特徴抽出部２２は、基礎音色特徴量ＦT0と基礎和音特徴量ＦC0とを単位区間毎に音響信号Ｘから抽出する（ＳA12）。基礎音色特徴量ＦT0は、音色特徴量ＦTの基礎となる音色の特徴量であり、基礎和音特徴量ＦC0は、和音特徴量ＦCの基礎となる和音の特徴量である。
【００２１】
具体的には、特徴抽出部２２は、図３に例示される通り、任意の１個の単位区間を時間軸上で区分した複数の区間σの各々について音響信号ＸのＭＦＣＣを算定し、当該単位区間内の複数の区間σにわたりＭＦＣＣを配列したベクトルを当該単位区間の基礎音色特徴量ＦT0として生成する。区間σは、例えば対象楽曲の１６分音符に相当する区間である。したがって、第１実施形態の基礎音色特徴量ＦT0は、任意の１個のＭＦＣＣの次元数（例えば１２次元）と単位区間内の区間σの総数（例えば１６個）との積に相当するＩ個の要素を配列したＩ次元ベクトルである（Ｉは２以上の自然数）。すなわち、基礎音色特徴量ＦT0は、単位区間内（１小節内）の音色の時間的な遷移を表現する。また、特徴抽出部２２は、単位区間内の区間σ毎に音響信号Ｘのクロマベクトルを算定し、当該単位区間内の複数の区間σにわたりクロマベクトルを配列したベクトルを当該単位区間の基礎和音特徴量ＦC0として生成する。すなわち、基礎和音特徴量ＦCは、単位区間内の和音の時間的な遷移（すなわちコード進行）を表現する。
【００２２】
ところで、基礎音色特徴量ＦT0には、経時的に変動する非定常的な加法性の雑音成分が含有され得る。第１実施形態の特徴抽出部２２は、時間軸上で相互に近い複数の単位区間にわたり共通に含有される成分（共通成分）を抽出することで雑音成分を抑圧する（ＳA13）。図４は、特徴抽出部２２が基礎音色特徴量ＦT0から雑音成分を抑圧する処理（以下「雑音抑圧処理」という）ＳA13のフローチャートであり、図５は、雑音抑圧処理ＳA13の説明図である。
【００２３】
雑音抑圧処理ＳA13を開始すると、特徴抽出部２２は、音響信号Ｘの複数の単位区間から１個の単位区間（以下「対象単位区間」という）を選択する（ＳA130）。具体的には、特徴抽出部２２は、音響信号Ｘの先頭から末尾にかけて複数の単位区間の各々を順次に対象単位区間として選択する。
【００２４】
図５に例示される通り、１個の対象単位区間の周辺に位置するＪ個（Ｊは２以上の自然数）の単位区間を以下では「周辺単位区間」と表記する。周辺単位区間の個数Ｊは任意である。また、図５では、対象単位区間の前方と後方とに位置する複数の単位区間を周辺単位区間としたが、対象単位区間に対して前方および後方の一方のみに位置する複数の単位区間を周辺単位区間とすることも可能である。
【００２５】
対象単位区間を選択すると、特徴抽出部２２は、当該対象単位区間について第１処理ＳA131と第２処理ＳA132とを順次に実行する。第１処理ＳA131および第２処理ＳA132の具体的な内容を以下に詳述する。なお、以下の説明では、図５に例示される通り、対象単位区間の基礎音色特徴量ＦT0が、Ｉ個の要素ｆA(1)〜ｆA(I)を包含するＩ次元のベクトルであり、第ｊ番目（ｊ＝１〜Ｊ）の周辺単位区間の基礎音色特徴量ＦT0が、Ｉ個の要素ｆB(1,j)〜ｆB(I,j)を包含するＩ次元のベクトルである場合を想定する。
【００２６】
第１処理ＳA131は、対象単位区間とＪ個の周辺単位区間の各々との間で基礎音色特徴量ＦT0の要素毎の最小値を選択する処理である。具体的には、図５に例示される通り、第１処理ＳA131では、対象単位区間の周辺のＪ個の周辺単位区間の各々についてＩ個の要素ｆC(1,j)〜ｆC(I,j)の系列が生成される。第ｊ番目の周辺単位区間について生成される第ｉ番目の要素ｆC(i,j)は、対象単位区間の基礎音色特徴量ＦT0内の第ｉ番目の要素ｆA(i)と、当該周辺単位区間の基礎音色特徴量ＦT0内の第ｉ番目の要素ｆB(i,j)とのうちの最小値（ｆC(i,j)＝min｛ｆA(i),ｆB(i,j)｝）である。以上の説明から理解される通り、対象単位区間および周辺単位区間の一方のみに出現する雑音成分は第１処理ＳA131で除去される。すなわち、第１処理ＳA131は、対象単位区間と周辺単位区間との間の基礎音色特徴量ＦT0の共通成分を抽出する処理に相当する。
【００２７】
第２処理ＳA132は、Ｊ個の周辺単位区間にわたる要素ｆC(i,1)〜ｆC(i,J)（すなわち要素ｆA(i)および要素ｆB(i,j)の最小値）の最大値をＩ個の要素の各々について選択する処理である。具体的には、図５に例示される通り、第２処理ＳA132では、Ｉ個の要素ｆD(1)〜ｆD(I)を包含するＩ次元のベクトルが基礎音色特徴量ＦT1として生成される。基礎音色特徴量ＦT1の第ｉ番目の要素ｆD(i)は、Ｊ個の周辺単位区間にわたる第ｉ番目の要素ｆC(i,1)〜ｆC(i,J)の最大値（ｆD(i)＝max｛ｆC(i,1)〜ｆC(i,J)｝）である。以上の説明から理解される通り、第２処理ＳA132は、Ｊ個の周辺単位区間にわたる要素ｆC(i,j)の統合で基礎音色特徴量ＦT1を生成する処理である。
【００２８】
１個の対象単位区間について第１処理ＳA131および第２処理ＳA132を実行すると、特徴抽出部２２は、音響信号Ｘの全部の単位区間について基礎音色特徴量ＦT1の生成（ＳA130〜ＳA132）が完了したか否かを判定する（ＳA133）。判定結果が否定である場合（ＳA133：NO）、特徴抽出部２２は、前述のステップＳA130に処理を移行し、基礎音色特徴量ＦT1の未生成の単位区間（例えば現時点の対象単位区間の直後の単位区間）を対象単位区間として選択（ＳA130）したうえで第１処理ＳA131および第２処理ＳA132を順次に実行する。音響信号Ｘの全部の単位区間について基礎音色特徴量ＦT1が生成されると（ＳA133：YES）、図４の雑音抑圧処理ＳA13は終了する。
【００２９】
以上に例示した処理（ＳA11〜ＳA13）で音響信号Ｘの単位区間毎に基礎音色特徴量ＦT1と基礎和音特徴量ＦC0とを生成すると、特徴抽出部２２は、基礎音色特徴量ＦT1および基礎和音特徴量ＦC0に対する次元圧縮を実行する（ＳA14）。具体的には、特徴抽出部２２は、基礎音色特徴量ＦT1に対する次元圧縮で低次元（例えば５次元）の音色特徴量ＦTを生成し、基礎和音特徴量ＦC0に対する次元圧縮で低次元（例えば１０次元）の和音特徴量ＦCを生成する（ＳA14）。基礎音色特徴量ＦT1および基礎和音特徴量ＦC0の次元圧縮には、例えば主成分分析等の公知の技術が任意に採用される。以上に例示した特徴抽出処理ＳA1（ＳA11〜ＳA14）により音響信号Ｘの単位区間毎に音色特徴量ＦTと和音特徴量ＦCとが生成される。
【００３０】
第１実施形態では、音響信号Ｘの複数の単位区間の各々（対象単位区間）について、各周辺単位区間との間で基礎音色特徴量ＦT0の要素毎の最小値を選択する第１処理ＳA131と、Ｊ個の周辺単位区間にわたる当該最小値の最大値を要素毎に選択する第２処理ＳA132とを実行することで基礎音色特徴量ＦT1が生成される。以上の構成によれば、対象単位区間と各周辺単位区間との間の共通成分が第１処理ＳA131で抽出されるから、経時的に変動する非定常的な雑音成分を簡便に低減して適切な音色特徴量ＦTを生成することが可能である。
【００３１】
ところで、基礎音色特徴量ＦT0の雑音成分の抑圧という観点のみからすると、任意の１個の対象単位区間と直前または直後の周辺単位区間との間で第１処理ＳA131を実行した結果（例えば図５の要素ｆC(1,1)〜ｆC(I,1)）を音色特徴量ＦTとして抽出する構成（以下「対比例」という）も想定される。しかし、構造区間の境界の前後では音響信号Ｘの音色（基礎音色特徴量ＦT0）が大きく変動し得る。したがって、第１処理ＳA131だけを実行する対比例の構成では、構造区間の境界での音色の変動が雑音成分として抑圧され、当該境界の前後の単位区間にて適切な音色特徴量ＦTを生成できない可能性がある。第１実施形態では、Ｊ個の周辺単位区間にわたり要素ｆC(i,j)を統合する第２処理ＳA132で基礎音色特徴量ＦT1が生成されるから、構造区間の境界の前後の単位区間についても音色特徴量ＦTを適切に生成できるという利点がある。すなわち、第１実施形態では、第１処理ＳA131と第２処理ＳA132との双方を実行することで、雑音成分を低減しながら構造区間の境界の前後でも音色特徴量ＦTを適切に生成できるという利点がある。
【００３２】
＜推定処理部２４＞
図１の推定処理部２４は、特徴抽出部２２が単位区間毎に抽出した音色特徴量ＦTおよび和音特徴量ＦCを利用して対象楽曲の楽曲構造（各構造区間）を推定する。具体的には、第１実施形態の推定処理部２４は、特定の楽曲構造のもとで特徴量の時系列が観測される確率を記述した確率モデルについて、特徴抽出部２２が抽出した音色特徴量ＦTおよび和音特徴量ＦCの時系列が観測されたときの事後確率の確率分布（以下「事後分布」という）を推定するとともに、事後分布を最大化させる対象楽曲の楽曲構造を推定（ＭＡＰ（maximum a posteriori）推定）する。図６に例示される通り、対象楽曲の楽曲構造は、各構造区間を識別するためのラベルとなる符号（以下「区間符号」という）ｓを音響信号Ｘの単位区間毎に時系列に配列した構造推定系列Ｙで表現される。図６では区間符号ｓが１個のアルファベット（Ａ,Ｂ,Ｃ,……）で表記されている。図６に例示される通り、任意の１個の構造区間に包含される複数の単位区間には共通の区間符号ｓが付加され、相異なる構造区間に包含される複数の単位区間には別個の区間符号ｓが付加される。すなわち、区間符号ｓの内容が変化する時点が対象楽曲の各構造区間の境界の候補となる。
【００３３】
第１実施形態の推定処理部２４が対象楽曲の楽曲構造を推定する処理（以下「推定処理」という）には、楽曲構造モデルＭSと音色観測モデルＭTkと和音観測モデルＭCkとが利用される。楽曲構造モデルＭSは、楽曲構造を確率的に記述した確率モデルである。また、音色観測モデルＭTkは、音色特徴量ＦTの生成過程を確率的に記述した確率モデルであり、和音観測モデルＭCkは、和音特徴量ＦCの生成過程を確率的に記述した確率モデルである。推定処理部２４は、楽曲構造モデルＭSと音色観測モデルＭTkと和音観測モデルＭCkとの各々について、特徴抽出部２２が単位区間毎に抽出した音色特徴量ＦTおよび和音特徴量ＦCを使用した推定処理により事後分布を推定する。楽曲構造モデルＭSの事後分布を最大化させる区間符号ｓの時系列が構造推定系列Ｙとして推定される。具体的には、対象楽曲のうち構造区間が遷移すると推定される時点で区間符号ｓが変化するように構造推定系列Ｙが生成される。
【００３４】
図７は、楽曲構造モデルＭSの説明図である。第１実施形態の楽曲構造モデルＭSは、相互に連鎖する複数の状態を状態空間に配列した状態遷移モデル（具体的には隠れマルコフモデル）である。具体的には、図７に例示される通り、任意の１個の構造区間内の相異なる単位区間に対応する複数の状態の系列（例えば図７の１列分）が複数の構造区間について並列に配置される。楽曲構造モデルＭSで表現される任意の１個の状態は、各構造区間の区間符号ｓ（ｓ＝Ａ,Ｂ,Ｃ,……）と、当該構造区間内の状態に滞留した時間長（以下「滞留時間」という）ｕとの組合せで特定される。滞留時間ｕは、構造区間内の先頭からの単位区間の個数（小節数）で表現される。すなわち、任意の状態（ｓ,ｕ）は、区間符号ｓで指定される構造区間内の第ｕ番目の単位区間（すなわち、構造区間の始点から単位区間のｕ個分にわたり当該構造区間内に滞留していること）を意味する。
【００３５】
第１実施形態の楽曲構造モデルＭSは、各構造区間の末尾の状態から他の構造区間の先頭の状態への遷移が可能である。具体的には、第１実施形態の楽曲構造モデルＭSでは、滞留時間ｕが閾値Ｄを下回る場合には現在の構造区間内で直後の状態に遷移し（すなわち滞留時間ｕが単位区間の１個分だけ増加し（ｕ＝ｕ＋１））、滞留時間ｕが閾値Ｄに到達した場合に遷移確率τで他の構造区間の先頭の状態（ｕ＝１）に遷移する。閾値Ｄは、構造区間の遷移が発生する可能性が高い単位区間の個数に設定される。例えば、通常の楽曲では、４小節または８小節を単位として構造区間の遷移が発生する場合が多い。以上の傾向を考慮すると、閾値Ｄを例えば４または８に設定した構成が好適である。遷移確率τは、任意の構造区間の末尾の状態から他の構造区間の先頭の状態に遷移する確率であり、任意の１個の構造区間の組合せについて設定される。遷移確率τの事前分布にはディリクレ（Dirichlet）分布が好適に採用される。
【００３６】
対象区間の複数の単位区間のうち第ｋ番目の単位区間の状態を(ｓk,ｕk)と表記する。第１実施形態では、対象楽曲の第ｋ番目の単位区間における音色特徴量ＦTの発生を確率的に表現する音色観測モデルＭTkとして、以下の数式(1)で表現される確率モデルを採用する。
【数１】
2017090848.tif 000003
数式(1)の記号Normal(μsk,η(T),Λsk,η-1,(T))は、平均μsk,η(T)および精度行列（共分散行列の逆行列）Λsk,η-1,(T)で規定される正規分布を意味する。平均μsk,η(T)および精度行列Λsk,η-1,(T)の事前分布には、例えば正規-ウィシャート（Normal-Wishart）分布が好適に採用される。また、数式(1)の記号ωηは、第η番目の正規分布Normal(μsk,η(T),Λsk,η-1,(T))の加重値である。加重値ωηの事前分布には例えばＧＥＭ（Griffith-Engen-McCloskey）分布が好適に採用される。数式(1)から理解される通り、第１実施形態では、確率分布の混合数が無限である無限混合分布（具体的には確率分布に正規分布を採用した無限混合ガウス分布）を音色観測モデルＭTkとして利用する。すなわち、音色観測モデルＭTkは、加重値ωηを適用した無限個の正規分布Normal(μsk,η(T),Λsk,η-1,(T))の加重和として表現される。
【００３７】
楽曲の音色は、相異なる各構造区間の間では相違する一方、任意の１個の構造区間内では概略的には統一される（例えば楽曲の演奏パートや音楽的な印象は構造区間毎に変化する）という傾向がある。以上の傾向を考慮して、第１実施形態の音色観測モデルＭTkは、数式(1)からも理解される通り、音色特徴量ＦTの生成過程を構造区間毎に表現する確率モデルであり、構造区間内の滞留時間ｕには依存しない。すなわち、任意の１個の構造区間に対応する複数の状態にわたり音色観測モデルＭTkは共通する。
【００３８】
また、第１実施形態では、対象楽曲の第ｋ番目の単位区間における和音特徴量ＦCの発生を確率的に表現する和音観測モデルＭCkとして、以下の数式(2)で表現される確率モデルを採用する。
【数２】
2017090848.tif 000004
数式(2)から理解される通り、第１実施形態では、平均μsk,uk(C)および精度行列Λsk,,uk-1,(C)で規定される正規分布Normal(μsk,uk(C),Λsk,,uk-1,(C)）が和音観測モデルＭCkとして利用される。音色観測モデルＭTkに適用される平均μsk,η(T)および精度行列Λsk,η-1,(T)と同様に、数式(2)の平均μsk,uk(C)および精度行列Λsk,,uk-1,(C)の事前分布には、例えば正規-ウィシャート分布が好適に採用される。
【００３９】
前述の通り、楽曲の音色が１個の構造区間内で概略的には統一される傾向があるのに対し、楽曲の和音は、相異なる各構造区間の間で相違するだけでなく、構造区間内の単位区間毎（小節毎）に刻々と変動するという傾向がある。以上の傾向を考慮して、第１実施形態の和音観測モデルＭCkは、数式(2)からも理解される通り、構造区間と単位区間との組合せ毎（状態(ｓk,ｕk)毎）に和音特徴量ＦCの生成過程を表現する確率モデルであり、区間符号ｓkおよび滞留時間ｕkの双方に依存する。
【００４０】
なお、以上に説明した確率モデルの事前分布は前述の例示に限定されない。例えば、遷移確率τの事前分布をLogistic Normal分布とした構成や、音色観測モデルＭTkの加重値ωηの事前分布にPitman-Yor過程を適用した構成も採用され得る。また、楽曲構造モデルＭSにおける構造区間の総数も任意であり、例えばノンパラメトリックベイジアンＨＭＭ（Hidden Markov Model）のように例えば可算無限の状態数を想定した確率モデルに拡張することも可能である。
【００４１】
第１実施形態の推定処理部２４は、以上に説明した各確率モデル（楽曲構造モデルＭS，音色観測モデルＭTk，和音観測モデルＭCk）について、特徴抽出部２２が抽出した音色特徴量ＦTおよび和音特徴量ＦCの時系列が観測されたときの事後分布を例えば変分ベイズ法等の反復推定アルゴリズムで推定し、事後分布を最大化させる構造推定系列Ｙを特定する。以上に説明した推定処理は、特徴抽出部２２が抽出した音色特徴量ＦTおよび和音特徴量ＦCの時系列を利用してＮ回にわたり反復される。
【００４２】
推定処理で各事前分布から抽出（サンプリング）される初期値は推定処理毎に相違する。例えば、正規-ウィシャート分布を事前分布として抽出される音色観測モデルＭTkの平均μsk,η(T)および精度行列Λsk,η-1,(T)や、同様に正規-ウィシャート分布を事前分布として通出される和音観測モデルＭCkの平均μsk,uk(C)および精度行列Λsk,,uk-1,(C)は、推定処理毎（すなわち試行毎）に相違し得る。したがって、Ｎ回にわたる推定処理の反復が完了した段階では、相異なるＮ個の構造推定系列Ｙが生成される。
【００４３】
以上に説明した通り、第１実施形態では、構造区間毎の音色観測モデルＭTkと各構造区間内の単位区間毎の和音観測モデルＭCkとの各々の事後分布が推定処理で推定される。すなわち、対象楽曲の１個の構造区間内では概略的には音色が統一されるという傾向を反映した音色観測モデルＭTkと、構造区間内の単位区間毎に和音は順次に遷移するという傾向を反映した和音観測モデルＭCkとが推定処理に利用される。したがって、楽曲内の音色の遷移の傾向と和音の遷移の傾向との相違を加味しない構成と比較して、対象楽曲の構造区間を高精度に特定することが可能である。また、第１実施形態では、数式(1)で例示した無限混合分布が音色観測モデルＭTkとして利用されるから、音響信号Ｘの音色の特性（具体的には対象楽曲の音色の複雑性）に応じて正規分布Normal(μsk,η(T),Λsk,η-1,(T))の混合数が変動する。したがって、音色観測モデルＭTkの事後分布を音響信号Ｘの特性に応じて適切に推定できるという利点がある。
【００４４】
第１実施形態では、単位区間に対応する複数の状態の系列を複数の構造区間の各々について包含し、かつ、各構造区間の末尾の状態から他の構造区間の先頭の状態への遷移が可能な状態遷移モデルが楽曲構造モデルＭSとして推定処理に適用される。すなわち、複数の単位区間で構成される構造区間が対象楽曲内で順次に遷移するという傾向が楽曲構造モデルＭSで適切に表現される。したがって、対象楽曲の構造区間を高精度に推定することが可能である。
【００４５】
＜構造解析部２６＞
図１の構造解析部２６は、推定処理部２４による推定処理の結果から対象楽曲の複数の構造区間を特定する。図８は、構造解析部２６が構造区間を特定する処理の説明図である。第１実施形態では、各確率モデル（楽曲構造モデルＭS，音色観測モデルＭTk，和音観測モデルＭCk）の変数の初期値を相違させたＮ回の推定処理により、図８に例示される通り、区間符号ｓの配列が相違するＮ個（図８ではＮ＝５）の構造推定系列Ｙが生成される。構造解析部２６は、推定処理部２４が生成したＮ個の構造推定系列Ｙから楽曲の構造区間を特定する。
【００４６】
図８では、各構造推定系列Ｙにおいて区間符号ｓが変化する時点（以下「候補境界」という）が破線で図示されている。各候補境界は、対象楽曲の構造区間の境界の候補となる地点である。図８から理解される通り、確率モデルの初期値の相違に起因して各候補境界の位置はＮ個の構造推定系列Ｙの間で相違し得るが、基本的には多数の構造推定系列Ｙにわたり候補境界が共通し易いという傾向がある。候補境界が共通する構造推定系列Ｙが多数であるほど、当該候補境界が対象楽曲の構造区間の実際の境界である確度は高い。以上の傾向を考慮して、第１実施形態の構造解析部２６は、図８に例示される通り、所定の閾値ＮTHを上回る個数の構造推定系列Ｙにわたり共通する候補境界を推定境界として選択し、各推定境界を構造区間の境界として対象楽曲の楽曲構造を表す構造推定系列Ｚを生成する。推定境界は、対象楽曲の構造区間の実際の境界である確度が高い候補境界である。閾値ＮTHは、構造推定系列Ｙの総数Ｎを下回る所定の正数（例えばＮ/２）に設定される。
【００４７】
構造推定系列Ｚは、構造推定系列Ｙと同様に、対象楽曲の各単位区間に対応する複数の区間符号（ラベル）ｓZの時系列である。図８に例示される通り、推定境界で区画される各構造区間内の単位区間毎に区間符号ｓZが設定される。具体的には、構造解析部２６は、推定境界で区画される１個の構造区間内の複数の単位区間について、Ｎ個の構造推定系列Ｙにわたる区間符号ｓの代表値（例えば中央値）を算定し、構造推定系列Ｚのうち当該代表値が共通する各構造区間内の各単位区間には共通の区間符号ｓZを設定する。区間符号ｓの代表値が共通する各構造区間は、音色や和音の遷移が相互に類似または共通する区間（すなわち、「Ａメロ」「サビ」等の音楽的な意味合いが共通する区間）であると推定される。
【００４８】
第１実施形態の構造解析部２６は、以上の処理で生成した構造推定系列Ｚを表示装置１６に表示させる。具体的には、構造解析部２６は、図９に例示される通り、構造推定系列Ｚを表現する推定結果画像４２を音響信号Ｘの信号波形４４に重ねて表示装置１６に表示させる。推定結果画像４２は、時間軸の方向に延在する矩形状の図形であり、構造推定系列Ｚが指定する推定境界の位置で複数の領域４６に区画される。すなわち、推定結果画像４２の各領域４６は対象楽曲の構造区間を表象する。推定結果画像４２の複数の領域４６のうち構造推定系列Ｚにて別個の区間符号ｓZに対応する各領域４６は相異なる表示態様（色彩や階調）で表示され、区間符号ｓZが共通する区間は共通の表示態様で表示される。したがって、利用者は、推定結果画像４２を視認することで、対象楽曲の各構造区間と音響信号Ｘとの時間的な関係を把握することが可能である。
【００４９】
以上に説明した通り、第１実施形態では、相異なる初期値を利用した推定処理で生成されたＮ個の構造推定系列Ｙから対象楽曲の各構造区間（構造推定系列Ｚ）が特定される。したがって、各推定処理に利用される初期値の変動に対して頑健に対象楽曲の楽曲構造を高精度に推定できるという利点がある。
【００５０】
図１０は、第１実施形態における楽曲解析装置１００の全体的な動作のフローチャートである。例えば利用者からの指示を契機として図１０の処理を開始すると、特徴抽出部２２は、前掲の図２および図４を参照して説明した特徴抽出処理ＳA1を音響信号Ｘに対して実行することで音色特徴量ＦTおよび和音特徴量ＦCを単位区間毎に抽出する。推定処理部２４は、特徴抽出部２２が単位区間毎に抽出した音色特徴量ＦTおよび和音特徴量ＦCを利用した推定処理で、対象楽曲の楽曲構造を示す構造推定系列Ｙを推定する（ＳA2）。推定処理部２４による推定処理はＮ回にわたり反復される（ＳA3：NO）。推定処理の反復によりＮ個の構造推定系列Ｙの生成が完了すると（ＳA3：YES）、構造解析部２６は、Ｎ個の構造推定系列Ｙを相互に比較することで時間軸上の複数の推定境界を特定し、推定境界を各構造区間の境界として対象楽曲の楽曲構造を表す構造推定系列Ｚを生成する（ＳA4）。また、構造解析部２６は、構造推定系列Ｚを表象する推定結果画像４２を表示装置１６に表示させる（ＳA5）。
【００５１】
＜第２実施形態＞
本発明の第２実施形態を説明する。以下に例示する各態様において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
【００５２】
図１１は、第２実施形態における構造解析部２６の動作の説明図である。図１１には、構造解析部２６が特定した構造推定系列Ｚが例示されている。図１１では、区間符号ｓZが共通する複数の単位区間が１個の区画で表現されている。すなわち、図１１に図示された１個の区画が対象楽曲の１個の構造区間に相当する。
【００５３】
図１１から理解される通り、構造推定系列Ｚには、複数の区間符号ｓZの特定の配列が複数回にわたり観測される場合がある。例えば図１１の第１段目の例示では、「Ａ-Ｂ-Ａ-Ｂ」という配列と「Ｃ-Ｄ-Ｃ-Ｄ」という配列とが対象楽曲内で複数回にわたり反復される。第２実施形態の構造解析部２６は、対象楽曲内で複数回にわたり反復される区間符号ｓZの配列に対応した複数の構造区間を１個の構造区間に統合する。具体的には、図１１の構造推定系列Ｚにて「Ａ-Ｂ-Ａ-Ｂ」という区間符号ｓZの配列に対応する４個の構造区間は、区間符号ｓZが「Ｇ」に設定された１個の構造区間に統合され、「Ｃ-Ｄ-Ｃ-Ｄ」という区間符号ｓZの配列に対応する４個の構造区間は、区間符号ｓZが「Ｈ」に設定された１個の構造区間に統合される。以上に説明した複数の構造区間の統合を累積的に実行することで、第２実施形態の構造解析部２６は、構造区間の区間長や総数が相違する複数の階層的な構造推定系列Ｚを生成する。複数の構造区間の統合には、例えば２-gram等の統計処理が好適に利用される。構造解析部２６は、以上の手順で生成した複数の構造推定系列Ｚの何れかを確定的な解析結果として選択し、当該構造推定系列Ｚを表す推定結果画像４２を表示装置１６に表示させる。なお、複数の構造推定系列Ｚの各々に対応する推定結果画像４２を表示装置１６に並列に表示させ、所望の推定結果画像４２を利用者に選択させることも可能である。第２実施形態においても第１実施形態と同様の効果が実現される。
【００５４】
＜変形例＞
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
【００５５】
（１）基礎音色特徴量ＦT1および基礎和音特徴量ＦC0に対する次元圧縮（ＳA14）は省略され得る。すなわち、第１実施形態における基礎音色特徴量ＦT1を音色特徴量ＦTとして推定処理に利用する構成や、基礎和音特徴量ＦC0を和音特徴量ＦCとして推定処理に利用する構成も採用され得る。また、雑音抑圧処理ＳA13を省略し、基礎音色特徴量ＦT0を音色特徴量ＦTとして推定処理に利用することも可能である。
【００５６】
（２）前述の各形態では、滞留時間ｕが閾値Ｄに到達した場合に遷移確率τで他の構造区間に遷移する楽曲構造モデルＭSを例示したが、構造区間の継続長の確率πを規定した隠れセミマルコフモデル（ＨＳＭＭ:hidden semi-Markov model）を楽曲構造モデルＭSとして利用することも可能である。例えば構造区間の遷移が発生し易い継続長（例えば４小節や８小節）で確率πが大きい数値となる。確率πの事前分布としてはディリクレ分布が好適である。
【００５７】
（３）前述の各形態では、
構成１：構造区間毎の音色観測モデルＭTkと各構造区間内の単位区間毎の和音観測モデルＭCkとを推定処理に利用する構成と、
構成２：対象楽曲の小節を単位区間として単位区間毎に特徴量を抽出する構成と、
構成３：第１処理ＳA131と第２処理ＳA132とを含む雑音抑圧処理ＳA13で音色特徴量ＦTを生成する構成と、
構成４：無限混合分布を音色観測モデルＭTkとして利用する構成と、
構成５：構造区間内の各単位区間に対応する複数の状態(ｓ,ｕ)の系列を複数の構造区間について包含し、各構造区間の最後の状態から他の構造区間の最初の状態への遷移が可能な状態遷移モデル（楽曲構造モデルＭS）を推定処理に利用する構成と、
構成６：初期値を相違させた推定処理で生成されたＮ個の構造推定系列Ｙから構造推定系列Ｚを生成する構成と
を具備する楽曲解析装置１００を例示したが、構成１から構成６の各々は相互に独立に成立し得る。すなわち、構成１から構成６の各々にとって他の構成は必須ではない。例えば構成６を省略した構成では、推定処理部２４が１回だけ推定処理を実行し、当該推定処理で生成された構造推定系列Ｙが構造推定系列Ｚとして確定される。
【００５８】
（４）移動体通信網やインターネット等の通信網を介して端末装置（例えば携帯電話機やスマートフォン）と通信するサーバ装置で楽曲解析装置１００を実現することも可能である。具体的には、楽曲解析装置１００は、端末装置から通信網を介して受信した音響信号Ｘの解析で構造推定系列Ｚを生成して端末装置に送信する。
【００５９】
（５）前述の各形態で例示した楽曲解析装置１００は、前述の各形態の例示の通り、演算処理装置１２とプログラムとの協働で実現される。本発明の好適な態様に係るプログラムは、対象楽曲の音響を表す音響信号Ｘの単位区間毎に、音響の音色の特徴を表す音色特徴量ＦTと当該音響の和音の特徴を表す和音特徴量ＦCとを抽出する特徴抽出部２２、対象楽曲内の音楽的な構造の区分であり少なくともひとつの単位区間を含む構造区間毎に音色特徴量ＦTの生成過程を確率的に表現する音色観測モデルＭTkと、和音特徴量ＦCの生成過程を各構造区間内の単位区間毎に確率的に表現する和音観測モデルＭCkとの各々について、特徴抽出部２２が抽出した音色特徴量ＦTおよび和音特徴量ＦCを適用した推定処理により事後分布を推定する推定処理部２４、および、推定処理の結果から対象楽曲の複数の構造区間を特定する構造解析部２６としてコンピュータを機能させる。以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、通信網を介した配信の形態でプログラムをコンピュータに配信することも可能である。
【００６０】
（６）本発明は、前述の各形態に係る楽曲解析装置１００の動作方法（楽曲解析方法）としても特定される。例えば、本発明の一態様に係る楽曲解析方法は、楽曲解析装置１００を実現するコンピュータシステム（単体のコンピュータまたは複数のコンピュータで構成されるシステム）が、対象楽曲の音響を表す音響信号Ｘの単位区間毎に、音響の音色の特徴を表す音色特徴量ＦTと当該音響の和音の特徴を表す和音特徴量ＦCとを抽出し（特徴抽出処理ＳA1）、対象楽曲内の音楽的な構造の区分であり少なくともひとつの単位区間を含む構造区間毎に音色特徴量ＦTの生成過程を確率的に表現する音色観測モデルＭTkと、和音特徴量ＦCの生成過程を各構造区間内の単位区間毎に確率的に表現する和音観測モデルＭCkとの各々について、音色特徴量ＦTおよび和音特徴量ＦCを適用した推定処理により事後分布を推定し（推定処理ＳA2）、推定処理の結果から対象楽曲の複数の構造区間を特定する（楽曲構造解析ＳA4）。
【符号の説明】
【００６１】
１００……楽曲解析装置、１２……演算処理装置、１４……記憶装置、１６……表示装置、２２……特徴抽出部、２４……推定処理部、２６……構造解析部。
【図１】
2017090848.tif 000005
【図２】
2017090848.tif 000006
【図３】
2017090848.tif 000007
【図４】
2017090848.tif 000008
【図５】
2017090848.tif 000009
【図６】
2017090848.tif 000010
【図７】
2017090848.tif 000011
【図８】
2017090848.tif 000012
【図９】
2017090848.tif 000013
【図１０】
2017090848.tif 000014
【図１１】
2017090848.tif 000015