(57)【要約】【課題】演算量を削減しながら楽曲内の時点を高精度に推定する。【解決手段】楽曲解析装置は、楽曲内で音楽的な意味をもつ特定点（例えば拍点）の候補となる複数の暫定点Ｐaを当該楽曲の音響信号から第１処理により推定し、複数の暫定点Ｐaと複数の暫定点Ｐaの間隔を分割する複数の分割点Ｐdとを含む複数の候補点Ｐbの一部を複数の選択点Ｐcとして選択し、複数の選択点Ｐcの各々について、当該選択点Ｐcが特定点である確率を、第１処理とは異なる第２処理により算定した結果から、楽曲内の複数の特定点を推定する。【選択図】図２
2019020631.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが、
楽曲内で音楽的な意味をもつ特定点の候補となる複数の暫定点を当該楽曲の音響信号から第１処理により推定し、
前記複数の暫定点と前記複数の暫定点の間隔を分割する複数の分割点とを含む複数の候補点の一部を複数の選択点として選択し、
前記複数の選択点の各々について、当該選択点が特定点である確率を、前記第１処理とは異なる第２処理により算定した結果から、前記楽曲内の複数の特定点を推定する
楽曲解析方法。
【請求項２】
前記第２処理は、当該選択点が特定点である確率を、前記音響信号の当該選択点に対応する特徴量から算定する処理である
請求項１の楽曲解析方法。
【請求項３】
前記複数の選択点の選択においては、前記複数の選択点の集合と、前記複数の候補点のうち前記選択点として選択されない複数の非選択点の集合との間における劣モジュラ性の評価指標が最大化されるように、前記複数の候補点から前記複数の選択点を選択する
請求項１または請求項２の楽曲解析方法。
【請求項４】
前記複数の非選択点の各々について、前記第２処理により前記各選択点について算定された確率に応じて、当該非選択点が特定点である確率を算定し、
前記複数の特定点の推定においては、前記各選択点について算定された確率と前記各非選択点について算定された確率とに応じて前記楽曲内の複数の特定点を推定する
請求項３の楽曲解析方法。
【請求項５】
前記第１処理は、前記第２処理と比較して演算量が少ない
請求項１から請求項４の何れかの楽曲解析方法。
【請求項６】
前記第２処理は、前記第１処理と比較して特定点の推定精度が高い
請求項１から請求項５の何れかの楽曲解析方法。
【請求項７】
楽曲内で音楽的な意味をもつ特定点の候補となる複数の暫定点を当該楽曲の音響信号から第１処理により推定する第１処理部、
前記複数の暫定点と前記複数の暫定点の間隔を分割する複数の時点とを含む複数の候補点の一部を複数の選択点として選択する候補点選択部、および、
前記複数の選択点の各々について、当該選択点が特定点である確率を、前記第１処理とは異なる第２処理により算定した結果から、前記楽曲内の複数の特定点を推定する特定点推定部
としてコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲の音を表す音響信号を解析する技術に関する。
【背景技術】
【０００２】
楽曲の音を表す音響信号を解析することで楽曲内の複数の拍点を推定する技術が従来から提案されている。例えば特許文献１には、音響信号のパワースペクトルの変化量が大きい時点を拍点として検出する構成が開示されている。特許文献２には、拍点間におけるコードの遷移確率が設定された確率モデル（例えば隠れマルコフモデル）と、最尤の状態系列を推定するビタビアルゴリズムとを利用して、音響信号から拍点を推定する技術が開示されている。また、非特許文献１には、再帰型のニューラルネットワークを利用して音響信号から拍点を推定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０３３８５１号公報
【特許文献２】特開２０１５−１１４３６１号公報
【非特許文献】
【０００４】
【非特許文献１】S. Bock, F. Krebs, and G. Widmer, "Joint beat and downbeat tracking with recurrent neural networks," In Proc. of the 17th Int. Society for Music Information Retrieval Conf.(ISMIR), 2016
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１または特許文献２の技術においては、拍点の推定に必要な演算量が少ないという利点はあるものの、拍点の高精度な推定は実際には困難であるという問題がある。他方、非特許文献１の技術においては、特許文献１または特許文献２のような技術と比較して高精度に拍点を推定できるという利点はあるものの、演算量が多いという問題がある。なお、以上の説明では楽曲内の拍点の推定に着目したが、拍点だけでなく、例えば小節の先頭など、楽曲内で音楽的に意味のある時点を特定する場面では、同様の問題が発生し得る。以上の事情を考慮して、本発明の好適な態様は、演算量を削減しながら楽曲内の時点を高精度に推定することを目的とする。
【課題を解決するための手段】
【０００６】
以上の課題を解決するために、本発明の好適な態様に係る楽曲解析方法は、コンピュータが、楽曲内で音楽的な意味をもつ特定点の候補となる複数の暫定点を当該楽曲の音響信号から第１処理により推定し、前記複数の暫定点と前記複数の暫定点の間隔を分割する複数の分割点とを含む複数の候補点の一部を複数の選択点として選択し、前記複数の選択点の各々について、当該選択点が特定点である確率を、前記第１処理とは異なる第２処理により算定した結果から、前記楽曲内の複数の特定点を推定する。
本発明の他の態様に係るプログラムは、楽曲内で音楽的な意味をもつ特定点の候補となる複数の暫定点を当該楽曲の音響信号から第１処理により推定する第１処理部、前記複数の暫定点と前記複数の暫定点の間隔を分割する複数の時点とを含む複数の候補点の一部を複数の選択点として選択する候補点選択部、前記複数の選択点の各々について、当該選択点が特定点である確率を、前記第１処理とは異なる第２処理により算定した結果から、前記楽曲内の複数の特定点を推定する特定点推定部としてコンピュータを機能させる。
【図面の簡単な説明】
【０００７】
【図１】本発明の好適な形態に係る楽曲解析装置の構成を示すブロック図である。
【図２】楽曲解析装置の動作の説明図である。
【図３】第２処理に利用されるニューラルネットワークの構成を示すブロック図である。
【図４】制御装置が楽曲内の拍点を推定する処理のフローチャートである。
【図５】実施形態の効果を示す図表である。
【発明を実施するための形態】
【０００８】
図１は、本発明の好適な形態に係る楽曲解析装置１００の構成を示すブロック図である。図１に例示される通り、本実施形態の楽曲解析装置１００は、制御装置１１と記憶装置１２とを具備するコンピュータシステムで実現される。例えばパーソナルコンピュータ等の各種の情報処理装置が楽曲解析装置１００として利用される。
【０００９】
制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の処理回路を含んで構成される。例えば単数または複数のチップで制御装置１１が実現される。記憶装置１２は、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置１２として任意に採用され得る。
【００１０】
本実施形態の記憶装置１２は、楽曲の音（例えば楽器音または歌唱音）を表す音響信号Ａを記憶する。本実施形態の楽曲解析装置１００は、音響信号Ａを解析することで楽曲の拍点を推定する。拍点は、楽曲のリズムの基礎となる時間軸上の時点であり、基本的には時間軸上に等間隔に存在する。
【００１１】
図１に例示される通り、本実施形態の制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、音響信号Ａの解析により楽曲内の複数の拍点を推定するための複数の要素（第１処理部２１，候補点選択部２２，第２処理部２３および推定処理部２４）として機能する。なお、制御装置１１の一部の機能を専用の電子回路により実現してもよい。
【００１２】
第１処理部２１は、楽曲内の拍点の候補となる複数の時点（以下「暫定点」という）Ｐaを、当該楽曲の音響信号Ａに対する第１処理により推定する。図２に例示される通り、楽曲の全体にわたる暫定点Ｐaが第１処理により推定される。複数の暫定点Ｐaは、楽曲の実際の拍点（表拍）に該当する可能性もあるが、例えば裏拍に該当する可能性もある。すなわち、複数の暫定点Ｐaの時系列と、実際の複数の拍点の時系列との間には、位相差が存在する可能性がある。ただし、楽曲の１拍の時間長（以下「拍周期」という）は、相前後する２個の暫定点Ｐaの間隔に近似または合致する可能性が高いという傾向がある。
【００１３】
図１の候補点選択部２２は、第１処理部２１が推定した複数の暫定点Ｐaを含む複数（Ｎ個）の候補点Ｐbの一部を、複数の選択点Ｐcとして選択する（Ｎは２以上の自然数）。図２に例示される通り、Ｎ個の候補点Ｐbは、第１処理部２１が推定した複数の暫定点Ｐaと、複数の暫定点Ｐaの間隔を区分する複数の分割点Ｐdとで構成される。本実施形態の分割点Ｐdは、時間軸上で相前後する２個の暫定点Ｐaの間隔（拍周期）をΔｎ個に等分する時点である。すなわち、楽曲の１拍がΔｎ個（図２においてはΔｎ＝４）に区分される。
【００１４】
候補点選択部２２は、Ｎ個の候補点ＰbのうちＫ個（Ｋ＜Ｎ）の候補点Ｐbを選択点Ｐcとして選択する（Ｋは２以上の自然数）。第２処理部２３は、候補点選択部２２が選択したＫ個の選択点Ｐcの各々について、第１処理とは異なる第２処理により、当該選択点Ｐcが拍点である確率（事後確率）Ｂnを算定する（ｎ＝１〜Ｎ）。なお、図２においては、確率Ｂnが符号Ｂで表記されている。
【００１５】
図１の推定処理部２４は、第２処理部２３による第２処理の結果から楽曲内の複数の拍点を推定する。具体的には、推定処理部２４は、第２処理部２３が各選択点Ｐcについて算定した確率Ｂnから、候補点選択部２２が選択しなかった各候補点Ｐb（以下「非選択点Ｐe」という）について、当該非選択点Ｐeが拍点である確率Ｂnを算定する。すなわち、Ｋ個の選択点Ｐcと(Ｎ−Ｋ)個の非選択点Ｐeとで構成されるＮ個の候補点Ｐbの各々について確率Ｂnが算定される。そして、推定処理部２４は、Ｎ個の候補点Ｐbの各々の確率Ｂn（Ｂ1〜ＢN）から楽曲内の拍点を推定する。すなわち、Ｎ個の候補点Ｐbの一部が楽曲内の拍点として選択される。以上の説明から理解される通り、第２処理部２３および推定処理部２４は、Ｋ個の選択点Ｐcの各々について第２処理により確率Ｂnを算定した結果から楽曲内の拍点を推定する要素（特定点推定部）として機能する。
【００１６】
第１処理および第２処理の具体例について説明する。第１処理と第２処理とは相異なる処理である。具体的には、第１処理は、第２処理と比較して演算量が少ない処理である。他方、第２処理は、第１処理と比較して拍点の推定精度が高い処理である。
【００１７】
第１処理は、例えば、音響信号Ａが表す楽器音または歌唱音の発音点を暫定点Ｐaとして推定する処理である。具体的には、音響信号Ａの信号強度またはスペクトルが変化する時点を暫定点Ｐaとして推定する処理が第１処理として好適である。和声が変化する時点を暫定点Ｐaとして推定する処理を第１処理として実行してもよい。また、特許文献２の開示のように隠れマルコフモデル等の確率モデルとビタビアルゴリズムとを利用して音響信号Ａから暫定点Ｐaを推定する処理を第１処理として採用してもよい。
【００１８】
第２処理は、例えばニューラルネットワークを利用して拍点を推定する処理である。図３は、ニューラルネットワーク３０を利用した第２処理の説明図である。図３に例示されたニューラルネットワーク３０は、畳込み層Ｌ1と最大値プーリング層Ｌ2とを含む処理単位Ｕの３層以上を積層し、第１全結合層Ｌ3とバッチ正規化層Ｌ4と第２全結合層Ｌ5とを接続した構造の深層ニューラルネットワーク（DNN：Deep Neural Network）である。畳込み層Ｌ1および第１全結合層Ｌ3の活性化関数は、例えば正規化線形ユニット（ReLU：Rectified Linear Unit）であり、第２全結合層Ｌ5の活性化関数は、例えばソフトマックス関数である。
【００１９】
本実施形態のニューラルネットワーク３０は、音響信号Ａの任意の候補点Ｐbにおける特徴量Ｆから、当該候補点Ｐbが楽曲内の拍点である確率Ｂnを出力する数理モデルである。第２処理により算定される確率Ｂnは０または１の何れかに設定される。任意の１個の候補点Ｐbにおける特徴量Ｆは、時間軸上で当該候補点Ｐbを含む単位期間内のスペクトログラムである。具体的には、候補点Ｐbの特徴量Ｆは、単位期間内の複数の候補点Ｐbに対応する複数の強度スペクトルｆの時系列である。任意の１個の強度スペクトルｆは、例えばメル周波数でスケーリングされた対数スペクトル（MSLS：Mel-Scale Log-Spectrum）である。
【００２０】
特徴量Ｆと確率Ｂn（正解データ）とを含む複数の教師データを利用した機械学習により、第２処理で利用されるニューラルネットワーク３０が生成される。本実施形態では、再帰的（リカレント）な接続を含まない非再帰型のニューラルネットワーク３０が利用される。したがって、音響信号Ａの任意の候補点Ｐbについて、過去の時点に関する処理の結果を必要とすることなく確率Ｂnを出力することが可能である。
【００２１】
前述の通り、第２処理は第１処理と比較して拍点の推定精度が高いから、推定精度の向上という観点のみからすれば、楽曲の全区間にわたり第２処理を実行することが望ましい。しかし、第２処理は第１処理と比較して演算量が多いから、楽曲の全区間にわたり第２処理を実行することは現実的ではない。以上の事情を考慮して、本実施形態では、第１処理で推定された複数の暫定点Ｐaを含むＮ個の候補点Ｐbから、候補点選択部２２がＫ個の選択点Ｐcを選択し、Ｋ個の選択点Ｐcの各々について第２処理部２３が第２処理を実行することで確率Ｂnを算定する。すなわち、第１処理は楽曲の全区間にわたり実行されるのに対し、第２処理は、楽曲の一部（Ｎ個の候補点ＰbのなかのＫ個の選択点Ｐc）について限定的に実行される。
【００２２】
Ｎ個の候補点Ｐbのうち何れの候補点Ｐbを選択点Ｐcとして選択すべきかを検討する。選択点Ｐcの選択においては、第２処理で確率Ｂnを算定する選択点Ｐcの個数を削減しながら、選択点Ｐcについて算定された確率Ｂnから非選択点Ｐeの確率Ｂnを適切に算定できることが重要である。以上の事情を考慮して、本実施形態では、Ｋ個の選択点Ｐcに対応する確率Ｂnの系列Ｇcと、(Ｎ−Ｋ)個の非選択点Ｐeに対応する(Ｎ−Ｋ)個の確率Ｂnの系列Ｇeとの間の相互情報量Ｉ(Ｇc;Ｇe)が最大化されるように、Ｎ個の候補点ＰbからＫ個の選択点Ｐcを選択する。
【００２３】
いま、確率Ｂnをガウス過程としてモデル化する。ガウス過程とは、任意の変数Ｘおよび変数Ｙに対して、以下の数式(1)で表現される確率過程である。なお、数式(1)の記号Ｎ(a,b)は、平均ａおよび分散ｂの正規分布（ガウス分布）を意味する。
【数１】
2019020631.tif 000003
【００２４】
数式(1)の記号ΣX,Yは、変数Ｘと変数Ｙとの相互相関である。すなわち、相互相関ΣX,Yは、Ｎ個の候補点Ｐbから選択された任意の２個の候補点Ｐb（第Ｘ番目および第Ｙ番目）が共起される度合を意味する。相互相関ΣX,Yは、例えば既知の楽曲について事前（具体的には本実施形態による処理前）に学習される。例えば、楽曲内の全部の候補点Ｐbについて前述の第２処理により確率Ｂnを算定し、各候補点Ｐbの確率Ｂnを利用した機械学習により相互相関ΣX,Yが算定されて記憶装置１２に保持される。楽曲内の相関の構造が時不変であり、かつ、相異なる楽曲間で共通であると仮定すると、既知の楽曲について学習された相互相関ΣX,Yを、任意の未知の楽曲について適用することが可能である。なお、相互相関ΣX,Yを生成する方法は、以上に例示した機械学習に限定されない。例えば、特徴量Ｆの自己相関行列を相互相関ΣX,Yとして近似的に利用することもできる。
【００２５】
各選択点Ｐcの確率Ｂnの系列Ｇcと各非選択点Ｐeの確率Ｂnの系列Ｇeとの相互情報量は、選択点Ｐcの個数Ｋが候補点Ｐbの個数Ｎに対して充分に小さい場合には、劣モジュラ性を満たす評価指標である。劣モジュラ性とは、集合に１個の要素が追加された場合における関数の増加量が、集合の拡大（要素の増加）に連動して減少する性質である。相互情報量を最大化する問題（いわゆるセンサ配置問題）はＮＰ困難であるが、以上のように相互情報量の劣モジュラ性に着目すると、最適解に充分に近似する結果を貪欲法（greedy algorithm）により効率的に取得することが可能である。以上の知見を背景として、Ｋ個の選択点Ｐcに対応する系列Ｇcと、(Ｎ−Ｋ)個の非選択点Ｐeに対応する系列Ｇeとの間における相互情報量Ｉ(Ｇc;Ｇe)の最大化を以下に検討する。
【００２６】
Ｎ個の候補点Ｐbから順次に選択された選択点Ｐcの集合Ｓkを想定し（ｋ＝１〜Ｋ）、Ｋ個の選択点Ｐcに対応する系列Ｇcと(Ｎ−Ｋ)個の非選択点Ｐeに対応する系列Ｇeとの間の相互情報量Ｉ(Ｇc;Ｇe)が最大化されるように候補点Ｐb（識別子ｎ）を選択点Ｐcとして逐次的に集合Ｓkに追加する。選択点ＰcがＫ個に到達した時点で集合ＳKが確定する。系列Ｇcと系列Ｇeとの間の相互情報量Ｉ(Ｇc;Ｇe)が最大化されるように候補点Ｐb（識別子ｎ）を集合Ｓkに追加する処理は、以下の数式(2)で表現される。なお、数式(2)における記号Ｉ(Ｓk-1)は、Ｎ個の候補点Ｐbから選択された(ｋ−１)個の選択点Ｐcの集合Ｓk-1と、集合Ｓk-1以外の残余の候補点Ｐbの集合との間の相互情報量である。
【数２】
2019020631.tif 000004
数式(2)内の括弧｛｝内は、識別子ｎの候補点Ｐbを集合Ｓk-1に追加する前後における相互情報量の増加量（Ｉ(Ｓk-1∪ｎ)−Ｉ(Ｓk-1)）が最大となる識別子ｎを選択する演算である。したがって、数式(2)は、相互情報量の増加量を最大化する識別子ｎの候補点Ｐbを、直前の集合Ｓk-1に選択点Ｐcとして追加することで集合Ｓkとする演算を意味する。
【００２７】
数式(2)を以下の数式(3)のように表現する。
【数３】
2019020631.tif 000005
【００２８】
数式(1)および数式(2)を考慮すると、数式(3)の関数δnを表現する以下の数式(4)が導出される。
【数４】
2019020631.tif 000006
【００２９】
数式(4)から理解される通り、楽曲内の任意の候補点Ｐbが拍点である確率Ｂnは、数式(4)の演算に不要である。したがって、確率Ｂnを算定する第２処理の実行前に、数式(3)および数式(4)を利用して、Ｎ個の候補点ＰbからＫ個の選択点Ｐcを選択することが可能である。
【００３０】
図４は、制御装置１１が楽曲内の拍点を推定する処理（楽曲解析方法）の内容を例示するフローチャートである。例えば利用者からの指示を契機として図４の処理が開始される。
【００３１】
まず、第１処理部２１は、音響信号Ａについて第１処理を実行することで、楽曲内の拍点の候補となる複数の暫定点Ｐaを推定する（Ｓ1）。候補点選択部２２は、第１処理で推定された複数の暫定点Ｐaと複数の分割点Ｐdとを含むＮ個の候補点ＰbからＫ個の選択点Ｐcを選択する（Ｓ2）。具体的には、候補点選択部２２は、数式(3)の演算を反復することでＫ個の選択点Ｐc（集合ＳK）を選択する。すなわち、Ｋ個の選択点Ｐcの集合ＳKと(Ｎ−Ｋ)個の非選択点Ｐeの集合との間における相互情報量（劣モジュラ性の評価指標の例示）が最大化されるように、候補点選択部２２はＮ個の候補点ＰbからＫ個の選択点Ｐcを選択する。
【００３２】
第２処理部２３は、候補点選択部２２が選択したＫ個の選択点Ｐcの各々について、非再帰型のニューラルネットワーク３０を利用した第２処理により確率Ｂnを算定する（Ｓ3）。具体的には、第２処理部２３は、音響信号Ａの解析により各選択点Ｐcの特徴量Ｆを算定し、特徴量Ｆをニューラルネットワーク３０に付与することで当該選択点Ｐcの確率Ｂnを算定する。
【００３３】
推定処理部２４は、第２処理部２３による第２処理の結果（各選択点Ｐcが拍点である確率Ｂn）から楽曲内の拍点を推定する（Ｓ4）。具体的には、推定処理部２４が楽曲内の複数の拍点を推定する処理は、複数の非選択点Ｐeの各々について確率Ｂnを算定する処理（Ｓ41）と、Ｎ個の候補点Ｐbについて算定された確率Ｂnから拍点を推定する処理（Ｓ42）とを含む。各処理の具体例を以下に詳述する。
【００３４】
まず、推定処理部２４は、第２処理部２３が第２処理により各選択点Ｐcについて算定した確率Ｂnから、候補点選択部２２が選択しなかった(Ｎ−Ｋ)個の非選択点Ｐeの各々について確率Ｂnを算定する（Ｓ41）。具体的には、推定処理部２４は、各非選択点Ｐeの確率Ｂnに関する確率分布を算定する。非選択点Ｐeの確率Ｂnの確率分布は、以下の数式(5)で表現される期待値Ｅ(Ｂn)と数式(6)で表現される分散Ｖ(Ｂn)とで規定される。
【数５】
2019020631.tif 000007
【００３５】
推定処理部２４は、各候補点Ｐbの確率Ｂnに応じてＮ個の候補点Ｐbの一部を楽曲内の拍点として選択する。具体的には、推定処理部２４は、確率Ｂnの総和が最大となる複数の候補点Ｐbの時系列を、楽曲内の複数の拍点として推定する。
【００３６】
前述の通り、Ｎ個の候補点Ｐbは、第１処理部２１が推定した複数の暫定点Ｐaと、各暫定点の間隔をΔｎ個に区分する複数の分割点Ｐdとで構成される。したがって、Ｎ個の候補点Ｐbのうち第Λ番目の１個の候補点（以下「特定候補点」という）Ｐbが拍点に該当することを推定できたと仮定すると、特定候補点Ｐb以降において拍点と推定される候補点Ｐbの識別子ｎは、以下の数式(7)で表現される。数式(7)の記号ｍは非負の整数（ｍ＝０,１,２,…）である。例えば拍周期が４等分される場合（Δｎ＝４）を想定すると、Ｎ個の候補点Ｐbのうち、第Λ番目（特定候補点Ｐb），第(Λ＋４)番目，第(Λ＋８)番目，第(Λ＋１２)番目，…の各候補点Ｐbが楽曲内の拍点に該当する。
【数６】
2019020631.tif 000008
【００３７】
特定候補点Ｐbの識別子Λは、以下の数式(8)で表現される通り、確度指標Ｒ(λ)を最大化する変数λに設定される。
【数７】
2019020631.tif 000009
【００３８】
数式(8)の確度指標Ｒ(λ)は、以下の数式(9)で表現される。
【数８】
2019020631.tif 000010
数式(9)から理解される通り、確度指標Ｒ(λ)は、第λ番目の候補点Ｐbから拍周期毎に存在する複数の候補点Ｐbについて確率Ｂnを総和した数値である。以上の説明から理解される通り、確度指標Ｒ(λ)は、第λ番目の候補点Ｐbから拍周期毎に存在する複数の候補点Ｐbの時系列が、楽曲内の拍点に該当する確度の指標である。すなわち、確度指標Ｒ(λ)が大きいほど、第λ番目の候補点Ｐbから拍周期毎に存在する複数の候補点Ｐbが楽曲の拍点に該当する可能性が高い。
【００３９】
推定処理部２４は、数式(9)の確度指標Ｒ(λ)を複数の候補点Ｐbの各々について算定し、確度指標Ｒ(λ)が最大となる変数λを特定候補点Ｐbの識別子Λとして選択する（数式(8)）。そして、数式(7)の通り、Ｎ個の候補点Ｐbのうち第Λ番目の特定候補点Ｐbと、当該特定候補点Ｐbから拍周期毎に存在する候補点Ｐbとを、楽曲内の拍点として推定する。
【００４０】
以上に説明した通り、本実施形態では、第１処理により推定された複数の暫定点Ｐaを含むＮ個の候補点ＰbからＫ個の選択点Ｐcが選択され、Ｋ個の選択点Ｐcの各々について第２処理により算定された確率Ｂnに応じて楽曲内の複数の拍点が推定される。したがって、楽曲内の全区間にわたり第２処理を実行する構成と比較して、第２処理の演算量を削減しながら楽曲内の拍点を高精度に推定することが可能である。
【００４１】
本実施形態では特に、第１処理は第２処理と比較して演算量が少ないから、楽曲の全体にわたり第２処理を実行する構成と比較して、楽曲内の拍点の推定に必要な演算量が削減される。他方、第２処理は第１処理と比較して拍点の推定精度が高いから、第１処理のみで楽曲内の拍点を推定する構成と比較して拍点を高精度に推定できる。すなわち、演算量を削減しながら拍点を高精度に推定できるという効果は格別に顕著である。
【００４２】
また、本実施形態では、劣モジュラ性の評価指標（具体的には相互情報量）が最大化されるようにＮ個の候補点ＰbからＫ個の選択点が選択される。したがって、例えば貪欲法等の手法により適切な選択点を効率的に選択できるという利点がある。
【００４３】
また、本実施形態では、非選択点Ｐeが拍点である確率Ｂnが、選択点Ｐcの確率Ｂnに応じて算定される。すなわち、楽曲内のＮ個の候補点Ｐbの各々について確率Ｂn（Ｂ1〜ＢN）が算定される。以上の態様によれば、選択点Ｐcの確率Ｂnに加えて非選択点Ｐeの確率Ｂnも加味することで、楽曲内の拍点を高精度に推定できるという利点がある。
【００４４】
図５は、楽曲内の拍点の推定精度を示す図表である。図５には、Ｎ個の候補点Ｐbから選択される選択点Ｐcの個数Ｋを相違させた複数の場合（Ｋ＝Ｎ,４,８,１６,３２）の各々について、複数の楽曲のうち拍点を正確に推定できなかった楽曲の比率（以下「誤推定率」という）が表記されている。図５の結果１は、音響信号Ａに対する第１処理で推定された暫定点Ｐaを拍点として確定した場合である。また、結果２（Ｋ＝Ｎ）は、Ｎ個の候補点Ｐbの全部について第２処理により確率Ｂnを算定したうえで拍点を推定した場合である。なお、候補点Ｐbの個数Ｎは１７００個程度である。
【００４５】
図５から理解される通り、Ｎ個の候補点Ｐbのうちの８個以上を選択点Ｐcとして選択することで、第１処理のみで拍点を推定する場合（結果１）と比較して高精度に拍点を推定することが可能である。また、Ｎ個の候補点Ｐbのうちの３２個を選択点Ｐcとして選択した場合に、Ｎ個の候補点Ｐbの全部について第２処理で確率Ｂを算定する場合（結果２）と同等の精度（誤推定率６.１％）で拍点を推定できることが、図５から確認できる。すなわち、楽曲内の拍点の推定精度を同等に維持しながら、第２処理の対象となる選択点Ｐcの個数を約９８％も削減する（１７００個→３２個）ことが可能である。
【００４６】
＜変形例＞
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
【００４７】
（１）前述の形態では、楽曲内の拍点を推定したが、本発明の好適な態様により特定される楽曲内の時点は拍点に限定されない。例えば、楽曲内の小節の先頭の時点を特定する場合にも本発明を適用することができる。以上の説明から理解される通り、本発明の好適な態様は、楽曲内で音楽的な意味をもつ特定点（例えば拍点、小節の先頭など）を推定するために好適に利用される。なお、前述の形態により推定される拍点は、音楽再生や音響処理等の各種の用途に有効に利用される。
【００４８】
（２）前述の形態では、相互情報量を最大化する場合を例示したが、劣モジュラ性の評価指標は相互情報量に限定されない。例えばエントロピーまたは分散を、劣モジュラ性の評価指標として最大化してもよい。
【００４９】
（３）前述の形態では、移動体通信網またはインターネット等の通信網を介して端末装置（例えば携帯電話機またはスマートフォン）と通信するサーバ装置により楽曲解析装置１００を実現することも可能である。具体的には、楽曲解析装置１００は、端末装置から受信した音響信号Ａに対する処理で楽曲内の複数の拍点を推定し、推定結果（例えば各拍点の位置を示すデータ）を端末装置に送信する。
【００５０】
（４）以上に例示した形態から、例えば以下の構成が把握される。
＜態様１＞
本発明の好適な態様（態様１）に係る楽曲解析方法は、コンピュータ（単体のコンピュータまたは複数のコンピュータで構成されるコンピュータシステム）が、楽曲内で音楽的な意味をもつ特定点の候補となる複数の暫定点を当該楽曲の音響信号から第１処理により推定し、前記複数の暫定点と前記複数の暫定点の間隔を分割する複数の分割点とを含む複数の候補点の一部を複数の選択点として選択し、前記複数の選択点の各々について、当該選択点が特定点である確率を、前記第１処理とは異なる第２処理により算定した結果から、前記楽曲内の複数の特定点を推定する。以上の態様では、第１処理により推定された複数の暫定点を含む複数の候補点の一部が複数の選択点として選択され、複数の選択点の各々について第２処理により算定された確率に応じて楽曲内の複数の特定点が推定される。したがって、楽曲の全体にわたり第２処理を実行する構成と比較して、第２処理の演算量を削減することが可能である。
＜態様２＞
態様１の好適例（態様２）において、前記第２処理は、当該選択点が特定点である確率を、前記音響信号の当該選択点に対応する特徴量から算定する処理である。以上の態様によれば、音響信号における各選択点に対応する特徴量から、当該選択点が特定点である確率が算定されるから、楽曲内の特定点を適切に推定することが可能である。
＜態様３＞
態様１または態様２の好適例（態様３）において、前記複数の選択点の選択では、前記複数の選択点の集合と、前記複数の候補点のうち前記選択点として選択されない複数の非選択点の集合との間における劣モジュラ性の評価指標が最大化されるように、前記複数の候補点から前記複数の選択点を選択する。以上の態様では、劣モジュラ性の評価指標が最大化されるように複数の選択点が選択される。したがって、例えば貪欲法等の手法により適切な選択点を効率的に選択できるという利点がある。
＜態様４＞
態様３の好適例（態様４）において、前記複数の非選択点の各々について、前記第２処理により前記各選択点について算定された確率に応じて、当該非選択点が特定点である確率を算定し、前記複数の特定点の推定においては、前記各選択点について算定された確率と前記各非選択点について算定された確率とに応じて前記楽曲内の複数の特定点を推定する。以上の態様では、非選択点が特定点である確率が、選択点の確率に応じて算定され、選択点と非選択点とを含む複数の暫定点の各々が特定点である確率に応じて、楽曲内の特定点が推定される。したがって、楽曲内の複数の特定点を高精度に推定できるという利点がある。
＜態様５＞
態様１から態様４の何れかの好適例（態様５）において、前記第１処理は、前記第２処理と比較して演算量が少ない。以上の態様では、第１処理は第２処理と比較して演算量が少ないから、楽曲の全体にわたり第２処理を実行する構成と比較して、楽曲内の特定点の推定に必要な演算量が低減される。
【００５１】
＜態様６＞
態様１から態様５の何れかの好適例（態様６）において、第２処理は第１処理と比較して特定点の推定精度が高い。以上の態様では、第１処理のみで楽曲内の特定点を推定する構成と比較して特定点を高精度に推定できる。態様５および態様６の双方を具備する構成によれば、演算量を削減しながら特定点を高精度に推定できるという利点がある。
＜態様７＞
本発明の好適な態様（態様７）に係るプログラムは、楽曲内で音楽的な意味をもつ特定点の候補となる複数の暫定点を当該楽曲の音響信号から第１処理により推定する第１処理部、前記複数の暫定点と前記複数の暫定点の間隔を分割する複数の時点とを含む複数の候補点の一部を複数の選択点として選択する候補点選択部、前記複数の選択点の各々について、当該選択点が特定点である確率を、前記第１処理とは異なる第２処理により算定した結果から、前記楽曲内の複数の特定点を推定する特定点推定部としてコンピュータを機能させる。以上の態様では、第１処理により推定された複数の暫定点を含む複数の候補点の一部が複数の選択点として選択され、複数の選択点の各々について第２処理により算定された確率に応じて楽曲内の複数の特定点が推定される。したがって、楽曲の全体にわたり第２処理を実行する構成と比較して、第２処理の演算量を削減することが可能である。
【００５２】
本発明の好適な態様に係るプログラムは、例えばコンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。
【符号の説明】
【００５３】
１００…楽曲解析装置、１１…制御装置、１２…記憶装置、２１…第１処理部、２２…候補点選択部、２３…第２処理部、２４…推定処理部、Ｐa…暫定点、Ｐb…候補点、Ｐc…選択点、Ｐd…分割点、Ｐe…非選択点。
【図１】
2019020631.tif 000011
【図２】
2019020631.tif 000012
【図３】
2019020631.tif 000013
【図４】
2019020631.tif 000014
【図５】
2019020631.tif 000015