(57)【要約】【課題】調を高精度に推定する。【解決手段】音響解析装置１００は、音響信号Ｖの特徴量Ｙの時系列と調との関係を学習した学習済モデルであって、音響信号Ｖの特徴量Ｙの時系列の入力から、調を表す調情報Ｈを生成する調推定モデル２２を具備する。【選択図】図２
2020112683.tif 000002
【特許請求の範囲】
【請求項１】
音響信号の特徴量の時系列と調との関係を学習した学習済モデルに、音響信号の特徴量の時系列を入力することで、調を表す調情報を生成する
コンピュータにより実現される音響解析方法。
【請求項２】
同じコードが継続する継続区間毎に前記音響信号の特徴量を前記学習済モデルに入力することで、当該継続区間毎に前記調情報を生成する
請求項１の音響解析方法。
【請求項３】
各継続区間の前記特徴量は、前記音響信号のうち音階音に対応する成分強度における当該継続区間の時間変化に関する指標を音階音毎に含む
請求項２の音響解析方法。
【請求項４】
前記特徴量は、前記音響信号のうち音階音に対応する成分強度を複数のオクターブにわたり加算した成分強度を音階音毎に含む
請求項１の音響解析方法。
【請求項５】
前記調情報が表す調が連続する調区間の時間長が所定値を下回る場合に、当該調区間の調を、当該調区間の直前または直後の調情報が表す調に置換する
請求項１から請求項４の音響解析方法。
【請求項６】
音響信号におけるコードの時系列に応じて、前記調情報が表す調が連続する調区間の端点を変更する
請求項１から請求項５の音響解析方法。
【請求項７】
前記調区間の始点を含む探索区間における音響信号のコードの時系列に、当該調区間の調情報が表す調の主音を根音とするコードがある場合に、当該調区間の始点を、当該コードに対応する区間の始点に変更する
請求項６の音響解析方法。
【請求項８】
音響信号の特徴量の時系列と調との関係を学習した学習済モデルであって、音響信号の特徴量の時系列の入力から、調を表す調情報を生成する調推定モデル
を具備する音響解析装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲を解析する技術に関する。
【背景技術】
【０００２】
楽曲の歌唱音または演奏音等の音響から各種の情報を推定する技術が従来から提案されている。例えば、特許文献１には、楽曲を表す音響信号からコードを推定する構成が開示されている。具体的には、音響信号から楽曲の調が推定され、当該推定された調を加味してコードが推定される。また、特許文献２には、楽曲のパワースペクトルの形状から調性の種別を特定する構成が開示されている。パワースペクトルの時系列データから算出された音名毎のパワーに応じて調性の種別が特定される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−３１７３８号公報
【特許文献２】特開２００７−２４８６１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術では、最も出現頻度が高い音符から楽曲の調が推定される。しかし、調に対応する音符の出現頻度が低い楽曲もある。また、特許文献２の技術では、各音名のパワーと調性の種別との相関関係を利用して調性の種別が特定される。しかし、各音名のパワーと調性の種別とが相関関係にない楽曲もある。すなわち、特許文献１および特許文献２の技術のもとでは、多様な楽曲に対して高精度に調を推定することは実際には困難である。以上の事情を考慮して、本発明は、調を高精度に推定することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明の好適な態様に係る音響解析方法は、音響信号の特徴量の時系列と調との関係を学習した学習済モデルに、音響信号の特徴量の時系列を入力することで、調を表す調情報を生成する。
【０００６】
本発明の好適な態様に係る音響解析装置は、音響信号の特徴量の時系列と調との関係を学習した学習済モデルであって、音響信号の特徴量の時系列の入力から、調を表す調情報を生成する調推定モデルを具備する。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態に係る音響解析装置の構成を例示するブロック図である。
【図２】音響解析装置の機能的な構成を例示するブロック図である。
【図３】特徴量および調情報の概略的な説明図である。
【図４】特徴量の説明図である。
【図５】調情報の説明図である。
【図６】調推定処理の具体的な手順を例示するフローチャートである。
【図７】学習処理部の動作の説明図である。
【図８】第２実施形態に係る音響解析装置の機能構成を例示するブロック図である。
【図９】第２実施形態に係る後処理により修正された調の時系列の説明図である。
【図１０】第２実施形態に係る後処理の具体的な手順を例示するフローチャートである。
【図１１】第３実施形態に係る音響解析装置の機能構成を例示するブロック図である。
【図１２】第３実施形態に係る後処理により修正された調の時系列の説明図である。
【図１３】第３実施形態に係る後処理の具体的な手順を例示するフローチャートである。
【発明を実施するための形態】
【０００８】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る音響解析装置１００の構成を例示するブロック図である。音響解析装置１００は、楽曲の歌唱音または演奏音等の音響を表す音響信号Ｖを解析することで、当該楽曲の調を推定する情報処理装置である。音響解析装置１００は、複数の主音（具体的には平均律の１２半音）と調名（長調および短調）との組合せに相当する２４種類の調を候補として音響信号Ｖから何れかの調を推定する。なお、調の種類数は、２４種類に限定されない。
【０００９】
音響解析装置１００は、制御装置１１と記憶装置１２と表示装置１３とを具備する。例えば携帯電話機、スマートフォンまたはパーソナルコンピュータ等の情報端末が、音響解析装置１００として好適に利用される。表示装置１３は、音響信号Ｖから推定された調を表示する。表示装置１３は、音響信号Ｖを解析した結果を再生する再生装置の一例である。例えば、音響信号Ｖを解析した結果に応じた音響を放音する放音装置を再生装置として利用してもよい。
【００１０】
制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の単数または複数の処理回路で構成され、音響解析装置１００の各要素を制御する。記憶装置１２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成された単数または複数のメモリであり、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。例えば記憶装置１２は音響信号Ｖを記憶する。なお、複数種の記録媒体の組合せにより記憶装置１２を構成してもよい。また、音響解析装置１００に対して着脱可能な可搬型の記録媒体、または音響解析装置１００が通信網を介して通信可能な外部記録媒体（例えばオンラインストレージ）を、記憶装置１２として利用してもよい。
【００１１】
図２は、記憶装置１２に記憶されたプログラムを制御装置１１が実行することで実現される機能を例示するブロック図である。制御装置１１は、特徴抽出部２１と調推定モデル２２と学習処理部２３とを実現する。なお、相互に別体で構成された複数の装置により制御装置１１の機能を実現してもよい。制御装置１１の機能の一部または全部を専用の電子回路により実現してもよい。
【００１２】
特徴抽出部２１は、記憶装置１２に記憶された音響信号Ｖから、当該音響信号Ｖの特徴量Ｙを抽出する。第１実施形態の特徴抽出部２１は、第１処理部２１１と第２処理部２１２と第３処理部２１３とを具備する。
【００１３】
第１処理部２１１は、音響信号Ｖから当該音響信号Ｖの特徴量Ｘを抽出する。第２処理部２１２は、第１処理部２１１が抽出した特徴量ＸからコードＯを推定する。第３処理部２１３は、音響信号Ｖから特徴量Ｙを抽出する。特徴量Ｙは、音響信号Ｖの時間変化を加味して音響的な特徴を表す指標である。一例として、第３処理部２１３は、第１処理部２１１が抽出した特徴量Ｘと、第２処理部２１２が推定したコードＯとから特徴量Ｙを抽出する。特徴量Ｙの時系列が調推定モデル２２に入力される。
【００１４】
調推定モデル２２は、特徴量Ｙの時系列と調との関係を学習した学習済モデルである。
具体的には、調推定モデル２２は、特徴量Ｙの時系列の入力により、調を表す情報（以下「調情報Ｈ」という）を生成する。
【００１５】
図３は、特徴量Ｘ，特徴量Ｙおよび調情報Ｈの説明図である。特徴量Ｘは、単位期間Ｔ（Ｔ1，Ｔ2，Ｔ3，…）毎に抽出される。単位期間Ｔは、例えば楽曲の１拍分に相当する期間である。すなわち、音響信号Ｖから特徴量Ｘの時系列が生成される。なお、楽曲の拍点とは無関係に固定長または可変長の単位期間Ｔを画定してもよい。
【００１６】
特徴量Ｘは、音響信号Ｖのうち各単位期間Ｔに対応した部分について音響的な特徴を表す指標である。コードＯは、特徴量Ｘ毎（すなわち単位期間Ｔ毎）に推定される。すなわち、コードＯの時系列が生成される。例えば、相異なるコードが対応付けられた複数の特徴量Ｘのうち、第１処理部２１１が抽出した特徴量Ｘに最も類似する特徴量Ｘに対応付けられたコードがコードＯとして推定される。なお、音響信号Ｖの入力によりコードＯを生成する統計的推定モデル（例えば隠れマルコフモデルまたはニューラルネットワーク）をコードＯの推定に利用してもよい。
【００１７】
特徴量Ｙは、第２処理部２１２が推定した同じコードＯが継続する一連の区間（以下「継続区間」という）Ｕ毎に抽出される。第２処理部２１２により同じコードが推定された区間が継続区間Ｕである。楽曲内に複数の継続区間Ｕ（Ｕ1，Ｕ2，Ｕ3…）が推定される。例えばコードＯとして「Ｆ」が推定された継続区間Ｕ1（単位期間Ｔ1−Ｔ4に相当する区間）について、１個の特徴量Ｙが抽出される。
【００１８】
図４は、特徴量Ｘおよび特徴量Ｙを模式的に示した図である。特徴量Ｘは、複数の音階音（具体的には平均律の１２半音）にそれぞれ対応する複数の要素を含むクロマベクトル（ＰＣＰ：Pitch Class Profile）と、音響信号Ｖの強度Ｐvを含む。音階音は、オクターブの相違を無視した音名（ピッチクラス）である。クロマベクトルのうち任意の音階音に対応する要素は、音響信号Ｖのうち当該音階音に対応する成分の強度を複数のオクターブにわたり加算した強度（以下「成分強度」という）Ｐqに設定される。特徴量Ｘは、所定の周波数よりも低域側の帯域と高域側の帯域との各々について、クロマベクトルおよび強度Ｐvを含む。つまり、音響信号Ｖのうち低域側の帯域に関するクロマベクトルと、当該帯域内の音響信号Ｖの強度Ｐvと、音響信号Ｖのうち高域側の帯域に関するクロマベクトルと、当該帯域内の音響信号Ｖの強度Ｐvとが特徴量Ｘに含まれる。すなわち、特徴量Ｘは、全体として２６次元のベクトルで表現される。
【００１９】
特徴量Ｙは、音階音毎の成分強度Ｐqの時系列に関する分散σqおよび平均μqと、音響信号Ｖの強度Ｐvの時系列に関する分散σvおよび平均μvとを、低域側の帯域と高域側の帯域との各々について含む。第３処理部２１３は、継続区間Ｕ内の複数の特徴量Ｘの各々に含まれる成分強度Ｐq（つまり継続区間Ｕ内における成分強度Ｐqの時系列）の分散σqおよび平均μqと、継続区間Ｕ内の複数の特徴量Ｘの各々に含まれる強度Ｐv（つまり継続区間Ｕ内における強度Ｐvの時系列）の分散σvおよび平均μvとを算定することにより、特徴量Ｙを抽出する。特徴量Ｙは、全体として５２次元のベクトルで表現される。以上の説明から理解される通り、各継続区間Ｕの特徴量Ｙは、音響信号Ｖのうち音階音に対応する成分強度Ｐqにおける当該継続区間Ｕの時間変化に関する指標（典型的には分散σq等の散布度）を含む。
【００２０】
図５は、調情報Ｈの説明図である。調情報Ｈは、推定の候補となる２４種類の調の各々について、継続区間Ｕの調に該当するか否かを表す指標Ｑ（Ｑ1〜Ｑ24）を含む。例えば、任意の１個の調に対応する指標Ｑは、当該調が継続区間Ｕの調に該当するか否かを２値的に表す。すなわち、調情報Ｈは、複数の調のうち何れかを示す情報である。継続区間Ｕ毎に特徴量Ｙを調推定モデル２２に入力することで、当該継続区間Ｕ毎に調情報Ｈが生成される。すなわち、調情報Ｈの時系列が調推定モデル２２により生成される。以上の説明から理解される通り、調推定モデル２２は、特徴量Ｙの時系列から各継続区間Ｕの調を推定する統計的推定モデルである。すなわち、楽曲における調の時系列が推定される。
【００２１】
調推定モデル２２は、特徴量Ｙの時系列から調情報Ｈを生成する演算を制御装置１１に実行させるプログラム（例えば人工知能ソフトウェアを構成するプログラムモジュール）と、当該演算に適用される複数の係数Ｋとの組合せで実現される。複数の係数Ｋは、複数の教師データを利用した機械学習（特に深層学習）により設定されて記憶装置１２に記憶される。例えば時系列データの処理に好適な長短期記憶（ＬＳＴＭ：Long Short Term Memory）等の再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）が調推定モデル２２として利用される。
【００２２】
図６は、音響信号Ｖから各継続区間Ｕの調情報Ｈを推定する処理（以下「調推定処理」という）の具体的な手順を例示するフローチャートである。例えば利用者からの指示を契機として調推定処理が開始される。調推定処理を開始すると、特徴抽出部２１は、記憶装置１２に記憶された音響信号Ｖから特徴量Ｙを継続区間Ｕ毎に抽出する（Ｓa1）。調推定モデル２２は、特徴抽出部２１が抽出した特徴量Ｙの時系列から調情報Ｈを生成する（Ｓa2）。制御装置１１は、調推定モデル２２から出力される調情報Ｈが表す調を継続区間Ｕ毎に表示装置１３に表示させる（Ｓa3）。なお、調推定モデル２２による推定の結果を表す表示画面の内容は任意である。例えば、第２処理部２１２が推定したコードの時系列と調推定モデル２２が推定した調とを併記した表示画面が表示される。なお、調推定モデル２２が推定した調に応じて構成音が共通するコードの標記を表示してもよい。例えば、調「Ｄ♭major」が推定された継続区間Ｕについてコード「Ｇ♭」を表示し、調「Ｂmajor」が推定された継続区間Ｕについてコード「Ｆ♯」を表示する。
【００２３】
学習処理部２３は、調推定モデル２２の複数の係数Ｋを機械学習（特に深層学習）により設定する。学習処理部２３は、複数の教師データＬを利用した機械学習により複数の係数Ｋを設定する。図７は、学習処理部２３の動作の説明図である。複数の教師データＬの各々は、特徴量Ｙの時系列と、調情報Ｈxの時系列との組合せで構成される。各教師データＬの調情報Ｈxの時系列は、当該教師データＬにおける特徴量Ｙの時系列に対する正解値に相当する。既存の楽曲の演奏音から抽出される特徴量Ｙの時系列と、当該楽曲の調を表す調情報Ｈの時系列とが教師データＬに含められる。
【００２４】
学習処理部２３は、教師データＬの特徴量Ｙの時系列を入力することにより暫定的な調推定モデル２２から出力される調情報Ｈの時系列と、当該教師データＬの調情報Ｈxとの相違が低減されるように、調推定モデル２２の複数の係数Ｋを更新する。具体的には、学習処理部２３は、調情報Ｈと調情報Ｈxとの相違を表す評価関数が最小化されるように、例えば誤差逆伝播法により複数の係数Ｋを反復的に更新する。以上の手順で学習処理部２３が設定した複数の係数Ｋが記憶装置１２に記憶される。したがって、調推定モデル２２は、複数の教師データＬにおける特徴量Ｙの時系列と調情報Ｈxとの間に潜在する傾向のもとで、未知の特徴量Ｙの時系列に対して統計的に妥当な調情報Ｈを出力する。
【００２５】
以上に説明した通り、音響信号Ｖの特徴量Ｙと調との関係を学習した調推定モデル２２に音響信号Ｖの特徴量Ｙを入力することで調情報Ｈが生成されるから、所定の規則に従って楽曲の調情報Ｈを生成する構成と比較して、調を高精度に推定することができる。
【００２６】
＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下の各例示において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
【００２７】
楽曲における調が短期間で変化する可能性は低いという傾向がある。第２実施形態では、以上の傾向をもとに、第１実施形態で推定された調を修正する。
【００２８】
図８は、第２実施形態に係る音響解析装置１００の機能構成を例示するブロック図である。第２実施形態の音響解析装置１００は、第１実施形態の音響解析装置１００に後処理部２４を追加した構成である。特徴抽出部２１と調推定モデル２２と学習処理部２３とは、第１実施形態と同様である。図９には、調推定モデル２２により推定された調の時系列Ｗaが模式的に図示されている。図９の調区間Ｉ（Ｉ1，Ｉ2，Ｉ3…）は、調推定モデル２２が生成した調情報Ｈが表す調が連続する区間である。図９に例示される通り、１個の調区間Ｉには、同じ調が推定された連続する１個以上の継続区間Ｕが含まれる。
【００２９】
後処理部２４は、調推定モデル２２により推定された調の時系列Ｗaを修正する。具体的には、後処理部２４は、調の時系列Ｗaに対応する複数の調区間Ｉのうち時間長が所定値を下回る調区間Ｉの調を修正することで、時系列Ｗbを生成する。所定値は、例えば楽曲の３拍分に相当する時間長である。図９では、調「Ｅmajor」が推定された調区間Ｉ2が所定値を下回る場合が例示される。第２実施形態の後処理部２４は、調区間Ｉの時間長が所定値を下回る場合に、当該調区間Ｉの調を当該調区間Ｉの直前の調情報Ｈが表す調に置換する。具体的には、調区間Ｉ2の直前の継続区間Ｕ（すなわち調区間Ｉ1の末尾の継続区間Ｕ）の調情報Ｈが表す調「Ｆmajor」に、調区間Ｉ2の調「Ｅmajor」が置換される。
【００３０】
図１０は、調推定モデルが推定した調を修正する処理（以下「後処理１」という）の具体的な手順を例示するフローチャートである。調推定モデルにより調の時系列Ｗaが推定された後に、例えば利用者からの指示を契機として後処理１が開始される。後処理１を開始すると、後処理部２４は、調の時系列Ｗaから複数の調区間Ｉ（Ｉ1，Ｉ2，Ｉ3…）を時間軸上に画定する（Ｓb1）。すなわち、調区間Ｉの時系列が特定される。後処理部２４は、複数の調区間Ｉの何れかを選択する（Ｓb2）。具体的には、先頭から末尾に向かって調区間Ｉが順次に選択される。後処理部２４は、ステップＳb2において選択した調区間Ｉの時間長が所定値を下回るか否かを判定する（Ｓb3）。調区間Ｉの時間長が所定値を下回る場合（Ｓb3:YES）、後処理部２４は、当該調区間Ｉの調を当該調区間Ｉの直前の調情報Ｈが表す調に置換する（Ｓb4）。一方で、調区間Ｉの時間長が所定値を上回る場合（Ｓb3:NO）、調の修正は実行されず、当該調区間Ｉの直後に位置する調区間Ｉが選択される（Ｓb2）。全部の調区間Ｉの各々について時間長の判定（Ｓb3）と所定値よりも短い調区間Ｉの調の修正（Ｓb4）とを実行すると（Ｓb5:YES）、制御装置１１は、後処理部２４が生成した調の時系列Ｗbを表示装置１３に表示させる（Ｓb6）。すなわち、複数の調区間Ｉのうち時間長が所定値を下回る全ての調区間Ｉについて調が置換された時系列Ｗｂが表示装置１３により表示される。一方で、ステップＳb2において未選択の調区間Ｉがある場合（Ｓb5:NO）、後処理部２４は、当該未選択の調区間ＩについてステップＳb2〜Ｓb4の処理を繰り返し実行する。なお、調区間Ｉの時系列のうち先頭の調区間Ｉにおける調が置換対象となる場合には、当該調区間Ｉの直後の調情報Ｈが表す調に置換する。
【００３１】
第２実施形態でも第１実施形態と同様の効果が実現される。第２実施形態では、調情報Ｈが表す調が連続する調区間Ｉの時間長が所定値を下回る場合に、当該調区間Ｉの調が、当該調区間Ｉの直前の調情報Ｈが表す調に置換される。したがって、調が短期間で変化する可能性が低いという傾向を加味して、調推定モデルにより推定された調を適切に修正することができる。なお、第２実施形態では、置換元の直前の調区間Ｉの調情報Ｈが表す調を置換先としたが、置換元の直後の調区間Ｉの調情報Ｈが表す調を置換先としてもよい。以上の構成では、例えば図１０のステップＳb2において複数の調区間Ｉのうち末尾から先頭に向かって調区間Ｉを順次に選択する。
【００３２】
＜第３実施形態＞
楽曲のコードと調とは相関関係がある。例えば、楽曲の調の音階を構成音とするコードが当該楽曲内で演奏される。特に、楽曲において特定の調が設定された区間の先頭のコードは、当該調の主音を根音とするコードと一致する可能性が高いという傾向がある。第３実施形態では、以上の傾向をもとに第１実施形態で推定された調を修正する。
【００３３】
図１１は、第３実施形態に係る音響解析装置１００の機能構成を例示するブロック図である。第３実施形態の音響解析装置１００は、第２実施形態と同様に後処理部２４を具備する。後処理部２４は、調推定モデル２２により推定された調の時系列Ｗaを修正することで時系列Ｗbを生成する。第３実施形態の後処理部２４は、音響信号ＶにおけるコードＯの時系列（例えば第２処理部２１２が推定したコードＯの時系列）を利用して時系列Ｗbを生成する。図１２は、第３実施形態に係る後処理部２４が生成する時系列Ｗbの説明図である。具体的には、後処理部２４は、音響信号ＶにおけるコードＯの時系列に応じて、調区間Ｉの端点（具体的には始点Ｓ）を変更する。第３実施形態の後処理部２４は、調区間Ｉの始点Ｓを含む区間（以下「探索区間」という）Ｒにおける音響信号ＶのコードＯの時系列に、当該調区間Ｉの調情報Ｈが表す調に対応するコード（以下「調対応コード」という）がある場合に、当該調区間Ｉの始点Ｓを、当該調対応コードに対応する区間（典型的には継続区間Ｕ）の始点に変更する。探索区間Ｒは、例えば調区間Ｉの始点Ｓを中心とした複数（図１２では６個）の継続区間Ｕが探索区間Ｒとして例示される。調対応コードは、例えば調の主音を根音とするコード（典型的にはトニックコード）である。図１２では、「Ｅmajor」が推定された調区間Ｉ2の始点Ｓが、探索区間Ｒについて推定された複数のコードＯうちコード「Ｅ」が推定された継続区間Ｕの始点に変更される場合が例示されている。
【００３４】
図１３は、第３実施形態に係る後処理部２４が調推定モデルにより推定された調を修正する処理（以下「後処理２」という）の具体的な手順を例示するフローチャートである。後処理部２４は、調推定モデル２２により調の時系列Ｗaが推定された後に、例えば利用者からの指示を契機として後処理２が開始される。後処理２を開始すると、後処理部２４は、調の時系列Ｗaから複数の調区間Ｉを時間軸上に画定する（Ｓc1）。すなわち、調区間Ｉの時系列が特定される。後処理部２４は、複数の調区間Ｉの何れかを選択する（Ｓc2）。具体的には、先頭から末尾に向かって調区間Ｉが順次に選択される。
【００３５】
次に、後処理部２４は、ステップＳc2において選択された調区間Ｉにおける探索区間Ｒについて推定された複数のコード（以下「候補コード」という）の各々について、当該候補コードと調対応コードとの間における類似度とを算定する（Ｓc3）。類似度は、調対応コードを表すベクトルと候補コードを表すベクトルとの距離または相関を表す指標である。調対応コードまたは候補コードを表すベクトルとしては、例えば文献「山口直彦、管村昇，"非調構成音を含む和音への対応を目的としたＴＰＳ（Tonal Pitch Space）の拡張−ジャズ音楽理論への適用を目指して−"，情報処理学会研究報告，２０１１年２月１１日」に記載されたベーシックスペース関数が好適である。次に、後処理部２４は、複数の候補コードのうち調対応コードとの類似度が最大となる候補コードを探索する（Ｓc4）。ステップＳc3およびステップＳc4は、調区間Ｉの調が表す調対応コードに最も類似（典型的には一致）する１個の候補コードを、当該調区間Ｉにおける探索区間Ｒの複数の候補コードから探索する処理である。
【００３６】
後処理部２４は、調区間Ｉの始点Ｓを、ステップＳc4で探索された候補コードに対応する区間の始点に変更する（Ｓc5）。具体的には、当該候補コードが推定された継続区間Ｕの始点に調区間Ｉの始点Ｓが変更される。なお、調区間Ｉの先頭における候補コードの類似度が最大となる場合には、調区間Ｉの始点Ｓは変更されずに維持される。全部の調区間Ｉの各々についてステップＳc2〜Ｓc6の処理を実行した場合（Ｓc6:YES）、制御装置１１は、後処理部２４が生成した時系列Ｗbを表示装置１３に表示させる（Ｓc7）。すなわち、時系列Ｗaから画定された複数の調区間Ｉの各々について始点Ｓが変更または維持された時系列Ｗbが表示装置１３により表示される。一方で、ステップＳc2において未選択の調区間Ｉがある場合（Ｓc6:NO）、後処理部２４は、当該未選択の調区間ＩについてステップＳc2〜Ｓc6の処理を実行する。
【００３７】
第３実施形態においても第１実施形態と同様の効果が実現される。第３実施形態では、音響信号ＶにおけるコードＯの時系列に応じて、調区間Ｉの端点が変更されるから、コードの時間変化を加味して、調推定モデル２２により推定された調を適切に修正することができる。また、第３実施形態では、調区間Ｉの始点Ｓを含む探索区間Ｒにおける音響信号Ｖのコードの時系列（すなわち複数の候補コード）に、当該調区間Ｉの調情報Ｈが表す調の主音を根音とする調対応コードがある場合に、当該調区間Ｉの始点Ｓが、当該調対応コードに対応する区間の始点に変更される。したがって、調区間Ｉに対応する音響信号ＶのコードＯの時系列の先頭が、当該調の主音を根音とするコードである可能性が高いという傾向を加味して、調情報Ｈに適切に修正することができる。なお、第２実施形態における後処理１および第３実施形態における後処理２を組み合わせてもよい。
【００３８】
＜変形例＞
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された複数の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
【００３９】
（１）前述の各形態では、調推定モデル２２と学習処理部２３とを具備する音響解析装置１００を例示したが、音響解析装置１００とは別体の情報処理装置（以下「機械学習装置」という）に学習処理部２３を搭載してもよい。機械学習装置の学習処理部２３が設定した複数の係数Ｋを適用した調推定モデル２２が、音響解析装置１００に転送されて調情報Ｈの生成に利用される。以上の説明から理解される通り、音響解析装置１００から学習処理部２３は省略される。
【００４０】
（２）携帯電話機またはスマートフォン等の情報端末との間で通信するサーバ装置により音響解析装置１００を実現してもよい。例えば、音響解析装置１００は、情報端末から受信した音響信号Ｖの解析により調情報Ｈを生成して情報端末に送信する。なお、音響信号Ｖから特徴量Ｙを抽出する特徴抽出部２１が情報端末に搭載された構成では、音響解析装置１００は、情報端末から受信した特徴量Ｙの時系列を調推定モデル２２に入力することで調情報Ｈを生成し、当該調情報Ｈを情報端末に送信する。以上の説明から理解される通り、音響解析装置１００から特徴抽出部２１を省略してもよい。
【００４１】
（３）前述の各形態において、例えば楽曲の楽譜において指定された既知のコードＯの時系列を特徴量Ｙの抽出に利用してもよい。第３処理部２１３は、第１処理部２１１が抽出した特徴量Ｘと既知のコードＯの時系列とから特徴量Ｙを生成する。すなわち、第２処理部２１２は省略され得る。以上の構成では、既知のコードＯの時系列と調推定モデル２２が推定した調の時系列とを併記した表示画面が表示装置１３により表示される。なお、既知のコードＯの時系列は、事前に記憶装置１２に記憶される。
【００４２】
（４）前述の各形態では、継続区間Ｕ毎の特徴量Ｙを調推定モデル２２に入力することで、当該継続区間Ｕ毎に調情報Ｈを生成したが、調推定モデル２２に対する入力および出力は以上の例示に限定されない。例えば以下の［Ａ］−［Ｄ］の構成が採用される。
【００４３】
［Ａ］第１処理部２１１が生成した単位期間Ｔ毎の特徴量Ｘの時系列を調推定モデル２２に入力することで、当該単位期間Ｔ毎に調情報Ｈを生成する。すなわち、調推定モデル２２は、特徴量Ｘの時系列と調情報Ｈとの関係を学習する。なお、第２処理部２１２および第３処理部２１３は省略される。
【００４４】
［Ｂ］第１処理部２１１が生成した単位期間Ｔ毎の特徴量Ｘの時系列と、第２処理部２１２が生成した単位期間Ｔ毎のコードＯの時系列とを調推定モデル２２に入力することで、単位期間Ｔ毎に調情報Ｈを生成する。すなわち、調推定モデル２２は、特徴量Ｘの時系列およびコードＯの時系列と、調情報Ｈとの関係を学習する。なお、第３処理部２１３は省略される。
【００４５】
［Ｃ］第２処理部２１２が生成した単位期間Ｔ毎のコードＯの時系列を調推定モデル２２に入力することで、単位期間Ｔ毎に調情報Ｈを生成してもよい。すなわち、調推定モデル２２は、コードＯの時系列と調情報Ｈとの関係を学習する。第３処理部２１３は省略される。なお、［Ｂ］および［Ｃ］において、例えば楽曲の既知の楽譜から生成されたコードＯの時系列を調推定モデル２２に対する入力として利用してもよい。
【００４６】
［Ｄ］第１処理部２１１が生成した単位期間Ｔ毎の特徴量Ｘの時系列と、継続区間Ｕの時系列を表すデータ（以下「区間データ」という）とを調推定モデル２２に入力することで、継続区間Ｕ毎に調情報Ｈを生成する。すなわち、調推定モデル２２は、特徴量Ｘの時系列および区間データと、調情報Ｈとの関係を学習する。なお、第３処理部２１３は省略される。区間データは、例えば継続区間Ｕの境界を示すデータであり、例えば第２処理部２１２が生成したコードＯの時系列から生成してもよいし、例えば楽曲の既知の楽譜から生成された区間データを利用してもよい。
【００４７】
以上の説明から理解される通り、調推定モデル２２に対する入力および出力は任意である。なお、入力および出力の単位は、入力の種類に応じて適宜に変更し得る。例えば継続区間Ｕ毎または単位期間Ｔ毎の入力および出力が例示される。また、調推定モデル２２に対する入力に応じて、特徴抽出部２１の構成も適宜に変更し得る。
【００４８】
（５）前述の各形態では、複数種の調の何れかを２値的に表す指標Ｑを含む調情報Ｈを例示したが、調情報Ｈの内容は以上の例示に限定されない。例えば、各調に対応する指標Ｑが、楽曲の調がその調に該当する尤度を表す調情報Ｈを利用してもよい。尤度を表す指標Ｑは、０以上かつ１以下の範囲内の数値に設定され、相異なる調に対応する全部の調にわたる指標Ｑの合計値は所定値（例えば１）となる。また、複数種の調の何れかを識別するための識別情報を調情報Ｈとして調推定モデル２２が生成してもよい。
【００４９】
（６）前述の各形態では、クロマベクトルと強度Ｐvとを含む特徴量Ｘを例示したが、特徴量Ｘの内容は以上の例示に限定されない。例えば、クロマベクトルを単独で特徴量Ｙとして利用してもよい。また、音響信号Ｖのうち所定の周波数に対して低域側の帯域成分と高域側の帯域成分の各々についてクロマベクトルと強度Ｐvとを含む特徴量Ｘを例示したが、音響信号Ｖにおける全体の周波数帯域についてクロマベクトルと強度Ｐvとを含む特徴量Ｘを生成してもよい。また、同様に、特徴量Ｙが、音階音毎の成分強度Ｐqの時系列に関する分散σqおよび平均μqと、音響信号Ｖの強度Ｐvの時系列に関する分散σvおよび平均μvとを、音響信号Ｖの全体の周波数帯域について含んでもよい。
【００５０】
（７）第３実施形態の後処理２において、音響信号Ｖに対応する楽曲の音楽構造上の構造区間（例えばＡメロ，サビ，Ｂメロ等の各フレーズ）を加味してもよい。例えば、調が構造区間毎に変化するという傾向がある。以上の傾向を利用して、例えば調区間Ｉにおける探索区間Ｒ内に構造区間の始点が位置する場合には、当該構造区間の始点に当該調区間Ｉの始点Ｓを変更してもよい。
【００５１】
（８）前述の各形態では、調推定モデル２２が生成した調情報Ｈが表す調を表示したが、調情報Ｈの用途は以上の例示に限定されない。表示装置１３が表示するコード（第２処理部２１２が推定したコード）が、例えば利用者の演奏が困難なコードである場合には、当該コードを簡単なコードに変更したいという事情がある。以上の事情を考慮して、利用者による変更の候補となる複数のコードの特定に、調推定モデル２２が推定した調を利用してもよい。調推定モデル２２が推定した調を加味して、音響的に近似した複数のコードが変更の候補として特定される。
【００５２】
（９）前述の形態において、調推定モデルは平均律における調を推定したが、調推定モデルが推定する調の基礎となる音律は、平均律に限定されない。例えば、インド音楽等の民族音楽の音律における調を調推定モデルが推定してもよい。
【００５３】
（１０）前述の各形態に係る音響解析装置１００は、各形態での例示の通り、コンピュータ（具体的には制御装置１１）とプログラムとの協働により実現される。前述の各形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含み得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供することも可能である。
【００５４】
なお、調推定モデル２２を実現するプログラムの実行主体はＣＰＵ等の汎用の処理回路に限定されない。例えば、Tensor Processing UnitまたはNeural Engine等の人工知能に特化した処理回路、または信号処理用の電子回路（ＤＳＰ：Digital Signal Processor）がプログラムを実行してもよい。また、以上の例示から選択された複数種の主体が協働してプログラムを実行してもよい。
【００５５】
（１１）学習済モデル（調推定モデル２２）は、制御装置（コンピュータの例示）により実現される統計的推定モデル（例えばニューラルネットワーク）であり、入力Ａに応じた出力Ｂを生成する。具体的には、学習済モデルは、入力Ａから出力Ｂを特定する演算を制御装置に実行させるプログラム（例えば人工知能ソフトウェアを構成するプログラムモジュール）と、当該演算に適用される複数の係数との組合せで実現される。学習済モデルの複数の係数は、入力Ａと出力Ｂとを対応させた複数の教師データを利用した事前の機械学習（深層学習）により最適化されている。すなわち、学習済モデルは、入力Ａと出力Ｂとの間の関係を学習した統計的推定モデルである。制御装置は、学習済の複数の係数と所定の応答関数とを適用した演算を未知の入力Ａに対して実行することにより、複数の教師データに潜在する傾向（入力Ａと出力Ｂとの間の関係）のもとで入力Ａに対して統計的に妥当な出力Ｂを生成する。
【００５６】
（１２）以上に例示した形態から、例えば以下の構成が把握される。
【００５７】
本発明の態様（第１態様）に係る音響解析方法は、音響信号の特徴量の時系列と調との関係を学習した学習済モデルに、音響信号の特徴量の時系列を入力することで、調を表す調情報を生成する。以上の態様によれば、音響信号の特徴量と調との関係を学習した学習済モデルに音響信号の特徴量を入力することで調を表す調情報が生成されるから、所定の規則に従って楽曲の調情報を生成する構成と比較して、調を高精度に推定することができる。
【００５８】
第１態様の一例（第２態様）において、同じコードが継続する継続区間毎に前記音響信号の特徴量を前記学習済モデルに入力することで、当該継続区間毎に前記調情報を生成する。以上の態様によれば、同じコードが継続する継続区間毎に音響信号の特徴量を学習済モデルに入力することで、当該継続区間毎に調情報が生成されるから、同じコードが継続する継続区間内では調が変化しないという傾向を加味して、調情報を高精度に推定することができる。
【００５９】
第２態様の一例（第３態様）において、各継続区間の前記特徴量は、前記音響信号のうち音階音に対応する成分強度における当該継続区間の時間変化に関する指標を音階音毎に含む。以上の態様によれば、音響信号のうち音階音に対応する成分強度における継続区間の時間変化に関する指標を音階音毎に含む特徴量が継続区間毎に学習済モデルに入力されるから、音響信号の時間変化を加味して、高精度に調情報を推定することができる。
【００６０】
第１態様の一例（第４態様）において、前記特徴量は、前記音響信号のうち音階音に対応する成分強度を複数のオクターブにわたり加算した成分強度を音階音毎に含む。以上の態様によれば、音響信号のうち音階音に対応する成分強度を複数のオクターブにわたり加算した成分強度を音階音毎に含む特徴量が学習済モデルに入力されるから、音響信号が表す楽曲のコードが適切に反映された特徴量を利用して、調情報を高精度に推定できるという利点がある。
【００６１】
第１態様から第４態様の何れかの一例（第５態様）において、前記調情報が表す調が連続する調区間の時間長が所定値を下回る場合に、当該調区間の調を、当該調区間の直前または直後の調情報が表す調に置換する。以上の態様によれば、調情報が表す調が連続する調区間の時間長が所定値を下回る場合に、当該調区間の調が、当該調区間の直前または直後の調情報が表す調に置換される。したがって、調が短期間で変化する可能性が低いという傾向を加味して、学習済モデルにより推定された調を適切に修正することができる。
【００６２】
第１態様から第５態様の何れかの一例（第６態様）において、音響信号におけるコードの時系列に応じて、前記調情報が表す調が連続する調区間の端点を変更する。以上の態様によれば、音響信号におけるコードの時系列に応じて、調情報が表す調が連続する調区間の端点が変更されるから、コードの時間変化を加味して、学習済モデルにより推定された調を適切に修正することができる。
【００６３】
第６態様の一例（第７態様）において、前記調区間の始点を含む探索区間における音響信号のコードの時系列に、当該調区間の調情報が表す調の主音を根音とするコードがある場合に、当該調区間の始点を、当該コードに対応する区間の始点に変更する。以上の態様によれば、調区間の始点を含む探索区間における音響信号のコードの時系列に、当該調区間の調情報が表す調の主音を根音とするコードに音響的に近似するコード（理想的には一致するコード）がある場合に、当該調区間の始点が、当該コードに対応する区間の始点に変更される。したがって、調区間に対応する音響信号のコードの時系列の先頭が、当該調の主音を根音とするコードに音響的に近似するコード（理想的には一致するコード）である可能性が高いという傾向を加味して、調情報に適切に修正することができる。
【００６４】
本発明の好適な態様（第８態様）に係る音響解析装置は、音響信号の特徴量の時系列と調との関係を学習した学習済モデルであって、音響信号の特徴量の時系列の入力から、調を表す調情報を生成する調推定モデルを具備する。以上の態様によれば、音響信号の特徴量と調との関係を学習した学習済モデルに音響信号の特徴量を入力することで調を表す調情報が生成されるから、所定の規則に従って楽曲の調情報を生成する構成と比較して、調を高精度に推定することができる。
【符号の説明】
【００６５】
１００…音響解析装置、１１…制御装置、１２…記憶装置、１３…表示装置、２１…特徴抽出部、２１１…処理部、２１２…処理部、２１３…処理部、２２…調推定モデル、２３…学習処理部、２４…後処理部。
【図１】
2020112683.tif 000003
【図２】
2020112683.tif 000004
【図３】
2020112683.tif 000005
【図４】
2020112683.tif 000006
【図５】
2020112683.tif 000007
【図６】
2020112683.tif 000008
【図７】
2020112683.tif 000009
【図８】
2020112683.tif 000010
【図９】
2020112683.tif 000011
【図１０】
2020112683.tif 000012
【図１１】
2020112683.tif 000013
【図１２】
2020112683.tif 000014
【図１３】
2020112683.tif 000015