(57)【要約】【課題】コードが継続する一連の連続区間を音響信号の解析により高精度に推定する。【解決手段】音響解析装置１００は、特徴量Ｙの時系列とコードが継続する連続区間の境界を表す境界データＢとの関係を学習した学習済モデルであって、音響信号Ｖの特徴量Ｙの時系列の入力に対して境界データＢを生成する境界推定モデル２２を具備する。【選択図】図２
2020086289.tif 000002
【特許請求の範囲】
【請求項１】
特徴量の時系列とコードが継続する連続区間の境界を表す境界データとの関係を学習した境界推定モデルに音響信号の特徴量の時系列を入力することにより境界データを生成する
コンピュータにより実現される音響解析方法。
【請求項２】
前記音響信号の特徴量は、当該音響信号のうち音階音に対応する音響成分の強度に応じた成分強度を音階音毎に含む
請求項１の音響解析方法。
【請求項３】
前記境界データは、時間軸上の複数の時点の各々が前記連続区間の境界であるか否かを２値的に表す
請求項１または請求項２の音響解析方法。
【請求項４】
前記境界データは、時間軸上の複数の時点の各々が前記連続区間の境界である尤度を表す
請求項１または請求項２の音響解析方法。
【請求項５】
特徴量の時系列とコードが継続する連続区間の境界を表す境界データとの関係を学習した学習済モデルであって、音響信号の特徴量の時系列の入力に対して境界データを生成する境界推定モデル
を具備する音響解析装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号を解析する技術に関する。
【背景技術】
【０００２】
楽曲の歌唱音または演奏音等の音響を表す音響信号からコードを推定する技術が従来から提案されている。例えば特許文献１には、入力楽音の波形データから解析した周波数スペクトルに基づいてコードを判定する技術が開示されている。特許文献２には、入力音の基本周波数の確率密度関数にピークが観測される基本周波数の構成音を含むコードを同定する技術が開示されている。特許文献３には、機械学習済のニューラルネットワークを利用してコードを推定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２９８４７５号公報
【特許文献２】特開２００８−２０９５５０号公報
【特許文献３】特開２０１７−２１５５２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
楽曲内において同じコードが継続する区間（以下「連続区間」という）の推定が要求される場面が想定される。特許文献１から特許文献３の技術により推定されたコードの時系列から各連続区間を推定することも可能である。しかし、特許文献１から特許文献３の技術のもとでコードが誤推定された場合には、連続区間も誤推定されるという問題がある。本発明は、音響信号の解析により連続区間を高精度に推定することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明の好適な態様に係る音響解析方法は、特徴量の時系列とコードが継続する連続区間の境界を表す境界データとの関係を学習した境界推定モデルに音響信号の特徴量の時系列を入力することにより境界データを生成する。
【０００６】
本発明の好適な態様に係る音響解析装置は、特徴量の時系列とコードが継続する連続区間の境界を表す境界データとの関係を学習した学習済モデルであって、音響信号の特徴量の時系列の入力に対して境界データを生成する境界推定モデルを具備する。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態に係る音響解析装置の構成を例示するブロック図である。
【図２】音響解析装置の機能的な構成を例示するブロック図である。
【図３】特徴量および境界データの説明図である。
【図４】特徴量の説明図である。
【図５】境界推定処理の具体的な手順を例示するフローチャートである。
【図６】学習処理部の動作の説明図である。
【発明を実施するための形態】
【０００８】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る音響解析装置１００の構成を例示するブロック図である。音響解析装置１００は、楽曲の歌唱音または演奏音等の音響を表す音響信号Ｖを解析することで、当該楽曲における各連続区間を推定する情報処理装置である。連続区間は、１個のコードが継続する一連の区間を意味する。楽曲内に複数の連続区間が推定される。
【０００９】
音響解析装置１００は、制御装置１１と記憶装置１２と処理装置１３とを具備するコンピュータシステムで実現される。例えば携帯電話機、スマートフォンまたはパーソナルコンピュータ等の情報端末が、音響解析装置１００として好適に利用される。処理装置１３は、音響信号Ｖを解析した結果に応じた処理を実行する電子機器である。音響信号Ｖから推定された各連続区間を表示する表示装置が処理装置１３として好適である。
【００１０】
制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の単数または複数の処理回路で構成され、音響解析装置１００の各要素を統括的に制御する。記憶装置１２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成された単数または複数のメモリであり、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。例えば記憶装置１２は音響信号Ｖを記憶する。なお、複数種の記録媒体の組合せにより記憶装置１２を構成してもよい。また、音響解析装置１００に対して着脱可能な可搬型の記録媒体、または音響解析装置１００が通信網を介して通信可能な外部記録媒体（例えばオンラインストレージ）を、記憶装置１２として利用してもよい。
【００１１】
図２は、記憶装置１２に記憶されたプログラムを制御装置１１が実行することで実現される機能を例示するブロック図である。制御装置１１は、特徴抽出部２１と境界推定モデル２２と学習処理部２３とを実現する。なお、相互に別体で構成された複数の装置により制御装置１１の機能を実現してもよい。制御装置１１の機能の一部または全部を専用の電子回路により実現してもよい。
【００１２】
特徴抽出部２１は、記憶装置１２に記憶された音響信号Ｖから特徴量Ｙを抽出する。図３に例示される通り、特徴量Ｙは単位期間Ｔ（Ｔ1，Ｔ2，Ｔ3，…）毎に抽出される。すなわち、音響信号Ｖから特徴量Ｙの時系列が生成される。単位期間Ｔは、例えば楽曲の１拍分に相当する期間である。ただし、楽曲の拍点とは無関係に、固定長または可変長の単位期間Ｔを画定してもよい。
【００１３】
各単位期間Ｔの特徴量Ｙは、音響信号Ｖのうち当該単位期間Ｔ内の部分に関する音響的な特徴を表す指標である。図４に例示される通り、第１実施形態の特徴量Ｙは、クロマベクトルＱと強度Ｐとを含む。クロマベクトルＱは、相異なる音階音（具体的には平均律の１２半音）に対応する１２個の成分強度ｑ1〜ｑ12を含む１２次元ベクトルである。音階音は、オクターブの相違を無視した音名（ピッチクラス）である。クロマベクトルＱを構成する任意の１個の成分強度ｑn（ｎ＝１〜１２）は、音響信号Ｖにおいて第ｎ番目の音階音に対応する音響成分の強度を複数のオクターブにわたり加算した数値である。特徴量Ｙに含まれる強度Ｐは、音響信号Ｖの音量またはパワーである。
【００１４】
図２に例示される通り、特徴抽出部２１が生成した特徴量Ｙの時系列が境界推定モデル２２に入力される。境界推定モデル２２は、特徴量Ｙの時系列と境界データＢとの関係を学習した学習済モデルである。すなわち、境界推定モデル２２は、特徴量Ｙの時系列の入力により境界データＢを出力する。境界データＢは、時間軸上における各連続区間の境界を表す時系列データである。
【００１５】
図３に例示される通り、境界データＢは、時間軸上の各単位期間Ｔ（Ｔ1，Ｔ2，Ｔ3，…）に対応する単位データｂの時系列で構成される。各単位期間Ｔの特徴量Ｙ毎に境界推定モデル２２から１個の単位データｂが出力される。各単位期間Ｔに対応する単位データｂは、当該単位期間Ｔに対応する時点が連続区間の境界に該当するか否かを２値的に表すデータである。例えば任意の１個の単位期間Ｔに対応する単位データｂは、当該単位期間Ｔの始点が連続区間の境界である場合に数値１に設定され、当該単位期間Ｔの始点が連続区間の境界に該当しない場合に数値０に設定される。すなわち、単位データｂの数値１は、当該単位データｂに対応する単位期間Ｔが連続区間の先頭であることを意味する。以上の説明から理解される通り、境界推定モデル２２は、特徴量Ｙの時系列から各連続区間の境界を推定する統計的推定モデルである。また、第１実施形態の境界データＢは、時間軸上の複数の時点の各々が連続区間の境界に該当するか否かを２値的に表す時系列データである。
【００１６】
境界推定モデル２２は、特徴量Ｙの時系列から境界データＢを生成する演算を制御装置１１に実行させるプログラム（例えば人工知能ソフトウェアを構成するプログラムモジュール）と、当該演算に適用される複数の係数Ｋとの組合せで実現される。複数の係数Ｋは、複数の教師データを利用した機械学習（特に深層学習）により設定されて記憶装置１２に記憶される。例えば時系列データの処理に好適な長短期記憶（ＬＳＴＭ：Long Short Term Memory）等の再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）が境界推定モデル２２として好適に利用される。
【００１７】
図５は、音響信号Ｖから各連続区間の境界を推定する処理（以下「境界推定処理」という）の具体的な手順を例示するフローチャートである。例えば利用者からの指示を契機として境界推定処理が開始される。境界推定処理を開始すると、特徴抽出部２１は、記憶装置１２に記憶された音響信号Ｖから特徴量Ｙを単位期間Ｔ毎に抽出する（Ｓa1）。境界推定モデル２２は、特徴抽出部２１が抽出した特徴量Ｙの時系列から境界データＢを生成する（Ｓa2）。制御装置１１は、境界推定モデル２２から出力される境界データＢが表す各連続区間を処理装置１３に表示させる（Ｓa3）。なお、境界推定モデル２２による推定の結果を表す表示画面の内容は任意である。例えば、音響信号Ｖが表す楽曲の楽譜が、当該楽曲内の連続区間毎に相異なる態様（例えば色彩）で表示される。
【００１８】
図２の学習処理部２３は、境界推定モデル２２の複数の係数Ｋを機械学習（特に深層学習）により設定する。学習処理部２３は、複数の教師データＬを利用した機械学習により複数の係数Ｋを設定する。図６に例示される通り、複数の教師データＬの各々は、特徴量Ｙの時系列と境界データＢxとの組合せで構成される。各教師データＬの境界データＢxは、当該教師データＬにおける特徴量Ｙの時系列に対する正解値に相当し、特徴量Ｙの時系列に対応する既知の単位データｂの時系列で構成される。すなわち、境界データＢxの複数の単位データｂのうち、各連続区間の先頭の単位期間Ｔに対応する単位データｂは数値１に設定され、各連続区間の先頭以外の単位期間Ｔに対応する単位データｂは数値０に設定される。
【００１９】
図２の学習処理部２３は、教師データＬの特徴量Ｙの時系列を入力することにより暫定的な境界推定モデル２２から出力される境界データＢと、当該教師データＬの境界データＢxとの相違が低減されるように、境界推定モデル２２の複数の係数Ｋを更新する。具体的には、学習処理部２３は、境界データＢと境界データＢxとの相違を表す評価関数が最小化されるように、例えば誤差逆伝播法により複数の係数Ｋを反復的に更新する。以上の手順で学習処理部２３が設定した複数の係数Ｋが記憶装置１２に記憶される。したがって、境界推定モデル２２は、複数の教師データＬにおける特徴量Ｙの時系列と境界データＢxとの間に潜在する傾向のもとで、未知の特徴量Ｙの時系列に対して統計的に妥当な境界データＢを出力する。
【００２０】
以上に説明した通り、第１実施形態によれば、特徴量Ｙの時系列と境界データＢとの関係を学習した境界推定モデル２２に音響信号Ｖの特徴量Ｙを入力することで境界データＢが生成される。すなわち、境界データＢの生成は、コードの推定を必要としない独立した処理である。したがって、音響信号Ｖの解析により推定されたコードの時系列から各連続区間を特定する構成と比較して、コードの推定結果に影響されることなく音響信号Ｖの解析により各連続区間を高精度に推定することが可能である。
【００２１】
また、第１実施形態では、音響信号Ｖのうち音階音に対応する音響成分の強度に応じた成分強度ｑnを音階音毎に含む特徴量Ｙが、境界データＢの生成に利用される。以上の構成によれば、音響信号Ｖが表す楽曲のコードが適切に反映された特徴量Ｙを利用して、各連続区間の境界を高精度に推定できるという利点がある。
【００２２】
＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下の各例示において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
【００２３】
第１実施形態では、各単位期間Ｔが連続区間の境界に該当するか否かを２値的に表す境界データＢを例示した。第２実施形態の境界データＢは、各単位期間Ｔが連続区間の境界である尤度を表す。具体的には、境界データＢを構成する複数の単位データｂの各々は、０以上かつ１以下の範囲内の数値に設定され、複数の単位データｂが表す数値の合計は所定値（例えば１）となる。境界データＢを構成する複数の単位データｂのうち、数値が大きい単位データｂに対応する単位期間Ｔが、連続区間の境界に位置すると判定される。第２実施形態においても第１実施形態と同様の効果が実現される。
【００２４】
＜変形例＞
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
【００２５】
（１）前述の各形態では、境界推定モデル２２と学習処理部２３とを具備する音響解析装置１００を例示したが、音響解析装置１００とは別体の情報処理装置（以下「機械学習装置」という）に学習処理部２３を搭載してもよい。機械学習装置の学習処理部２３が設定した複数の係数Ｋを適用した境界推定モデル２２が、音響解析装置１００に転送されて連続区間の境界の推定に利用される。以上の説明から理解される通り、音響解析装置１００から学習処理部２３は省略される。
【００２６】
（２）携帯電話機またはスマートフォン等の情報端末との間で通信するサーバ装置により音響解析装置１００を実現してもよい。例えば、音響解析装置１００は、情報端末から受信した音響信号Ｖの解析により境界データＢを生成して情報端末に送信する。なお、音響信号Ｖから特徴量Ｙを抽出する特徴抽出部２１が情報端末に搭載された構成では、音響解析装置１００は、情報端末から受信した特徴量Ｙの時系列を境界推定モデル２２に入力することで境界データＢを生成し、当該境界データＢを情報端末に送信する。以上の説明から理解される通り、音響解析装置１００から特徴抽出部２１を省略してもよい。
【００２７】
（３）前述の各形態では、クロマベクトルＱと強度Ｐとを含む特徴量Ｙを例示したが、特徴量Ｙの内容は以上の例示に限定されない。例えば、クロマベクトルＱを単独で特徴量Ｙとして利用してもよい。また、例えば音響信号Ｖの複数の周波数帯域の各々についてクロマベクトルＱと強度Ｐとを含む特徴量Ｙを生成してもよい。例えば、音響信号Ｖのうち所定の周波数に対して低域側の帯域成分と高域側の帯域成分との各々についてクロマベクトルＱと強度Ｐとを含む特徴量Ｙを生成してもよい。
【００２８】
（４）前述の各形態では境界データＢを表示したが、境界推定モデル２２が生成する境界データＢの用途は以上の例示に限定されない。具体的には、公知の解析技術により音響信号Ｖからコードの時系列（以下「コード系列」という）を推定し、境界推定モデル２２が生成した境界データＢを利用してコード系列を修正してもよい。例えば、境界データＢが表す各連続区間内では同じコードが継続するように、音響信号Ｖから推定されたコード系列が修正される。
【００２９】
また、各種の処理装置１３の制御に境界データＢを利用してもよい。例えば、楽曲の自動演奏を実行する自動演奏装置（例えば自動演奏ピアノ）を処理装置１３として想定する。自動演奏装置は、自動演奏時の演奏スタイルを変更可能である。自動演奏装置は、音響信号Ｖが表す楽曲の自動演奏時に、境界データＢが表す連続区間毎に演奏スタイルを変更する。以上の構成によれば、楽曲内の連続区間毎に自動演奏の音楽的な表情を多様に変化させることが可能である。なお、演奏スタイルは、例えば自動演奏のパターンまたは音楽的な表情付けを含む。音楽的な表情付けは、例えば音色、エフェクト、音量、強弱または奏法である。
【００３０】
例えばカラオケボックス等の音響空間に設置された照明装置を処理装置１３として想定する。照明装置は、境界データＢが表す連続区間毎に照明装置による照明条件を変更する。照明条件は、例えば発光量、発光色または発光パターン等の各種の特性である。以上の構成によれば、楽曲内の連続区間毎に照明装置による照明を多様に変化させることが可能である。
【００３１】
（５）前述の各形態に係る音響解析装置１００は、各形態での例示の通り、コンピュータ（具体的には制御装置１１）とプログラムとの協働により実現される。前述の各形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含み得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供することも可能である。
【００３２】
なお、境界推定モデル２２を実現するプログラムの実行主体はＣＰＵ等の汎用の処理回路に限定されない。例えば、Tensor Processing UnitまたはNeural Engine等の人工知能に特化した処理回路、または信号処理用の電子回路（ＤＳＰ：Digital Signal Processor）がプログラムを実行してもよい。また、以上の例示から選択された複数種の主体が協働してプログラムを実行してもよい。
【００３３】
（６）以上に例示した形態から、例えば以下の構成が把握される。
【００３４】
本発明の好適な態様（第１態様）に係る音響解析方法は、特徴量の時系列とコードが継続する連続区間の境界を表す境界データとの関係を学習した境界推定モデルに音響信号の特徴量の時系列を入力することにより境界データを生成する。以上の態様によれば、特徴量の時系列と連続区間の境界を表す境界データとの関係を学習した境界推定モデルに音響信号の特徴量を入力することで、音響信号に関する境界データが生成される。すなわち、境界データの生成にコードの推定は必要ない。したがって、音響信号の解析によりコードを解析した結果から各連続区間を特定する構成と比較して、コードの推定結果に影響されることなく音響信号の解析により各連続区間を高精度に推定できるという利点がある。
【００３５】
第１態様の好適例（第２態様）において、前記音響信号の特徴量は、当該音響信号のうち音階音に対応する音響成分の強度に応じた成分強度を音階音毎に含む。以上の態様によれば、音響信号が表す楽曲のコードが適切に反映された特徴量を利用して、各連続区間の境界を高精度に推定できるという利点がある。
【００３６】
以上に例示した各態様の音響解析方法を実行する音響解析装置、または、以上に例示した各態様の音響解析方法をコンピュータに実行させるプログラムとしても、本発明の好適な態様は実現される。例えば、本発明の好適な態様に係る音響解析装置は、特徴量の時系列とコードが継続する連続区間の境界を表す境界データとの関係を学習した学習済モデルであって、音響信号の特徴量の時系列の入力に対して境界データを生成する境界推定モデルを具備する。
【符号の説明】
【００３７】
１００…音響解析装置、１１…制御装置、１２…記憶装置、１３…処理装置、２１…特徴抽出部、２２…境界推定モデル、２３…学習処理部。
【図１】
2020086289.tif 000003
【図２】
2020086289.tif 000004
【図３】
2020086289.tif 000005
【図４】
2020086289.tif 000006
【図５】
2020086289.tif 000007
【図６】
2020086289.tif 000008