(57)【要約】【課題】発音位置を推定するための確率分布の妥当性を適切に評価する。【解決手段】コンピュータシステムが、音響信号Ａが表す音が楽曲内の各位置で発音された確率の分布である発音確率分布Ｄを音響信号Ａから算定し、楽曲内における音の発音位置Ｙを発音確率分布Ｄから推定し、発音確率分布Ｄの妥当性の指標Ｑを発音確率分布Ｄから算定する。【選択図】図２
2018077262.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータシステムが、
音響信号が表す音が楽曲内の各位置で発音された確率の分布である発音確率分布を前記音響信号から算定し、
前記楽曲内における前記音の発音位置を前記発音確率分布から推定し、
前記発音確率分布の妥当性の指標を前記発音確率分布から算定する
音響解析方法。
【請求項２】
前記指標の算定においては、前記発音確率分布のピークにおける散布度に応じて前記指標を算定する
請求項１の音響解析方法。
【請求項３】
前記指標の算定においては、前記発音確率分布の最大のピークにおける極大値と他のピークにおける極大値との差分に応じて前記指標を算定する
請求項１の音響解析方法。
【請求項４】
前記コンピュータシステムは、さらに、
前記発音確率分布の妥当性の有無を前記指標に基づいて判定する
請求項１から請求項３の何れかの音響解析方法。
【請求項５】
前記コンピュータシステムは、さらに、
前記発音確率分布の妥当性がないと判定した場合に利用者に報知する
請求項４の音響解析方法。
【請求項６】
前記コンピュータシステムは、さらに、
前記推定した発音位置の進行に同期するように前記楽曲の自動演奏を実行し、
前記発音確率分布の妥当性がないと判定した場合に、前記自動演奏を前記発音位置の進行に同期させる制御を解除する
請求項４の音響解析方法。
【請求項７】
音響信号が表す音が楽曲内の各位置で発音された確率の分布である発音確率分布を前記音響信号から算定する分布算定部と、
前記楽曲内における前記音の発音位置を前記発音確率分布から推定する位置推定部と、
前記発音確率分布の妥当性の指標を前記発音確率分布から算定する指標算定部と
を具備する音響解析装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号を解析する技術に関する。
【背景技術】
【０００２】
楽曲の演奏により発音された音を表す音響信号を解析することで、楽曲内で実際に発音されている位置（以下「発音位置」という）を推定するスコアアライメント技術が従来から提案されている。例えば特許文献１には、楽曲内の各時点が実際の発音位置に該当する尤度（観測尤度）を音響信号の解析により算定し、隠れセミマルコフモデル（ＨＳＭＭ：Hidden Semi Markov Model）を利用した尤度の更新により発音位置の事後確率を算定する構成が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−７９１８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、発音位置の誤推定が発生する可能性を完全に排除することは現実的には困難である。そして、例えば誤推定の発生を予測して適切な対処を事前に実行するためには、事後確率の確率分布の妥当性を定量的に評価することが重要である。以上の事情を考慮して、本発明の好適な態様は、発音位置に関する確率分布の妥当性を適切に評価することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明の好適な態様に係る音響解析方法は、コンピュータシステムが、音響信号が表す音が楽曲内の各位置で発音された確率の分布である発音確率分布を前記音響信号から算定し、前記楽曲内における前記音の発音位置を前記発音確率分布から推定し、前記発音確率分布の妥当性の指標を前記発音確率分布から算定する。
本発明の好適な態様に係る音響解析装置は、音響信号が表す音が楽曲内の各位置で発音された確率の分布である発音確率分布を前記音響信号から算定する分布算定部と、前記楽曲内における前記音の発音位置を前記発音確率分布から推定する位置推定部と、前記発音確率分布の妥当性の指標を前記発音確率分布から算定する指標算定部とを具備する。
【図面の簡単な説明】
【０００６】
【図１】本発明の好適な形態に係る自動演奏システムの構成図である。
【図２】制御装置の機能に着目した構成図である。
【図３】発音確率分布の説明図である。
【図４】第１実施形態における発音確率分布の妥当性の指標の説明図である。
【図５】制御装置の動作を例示するフローチャートである。
【図６】第２実施形態における発音確率分布の妥当性の指標の説明図である。
【図７】第３実施形態における制御装置の機能に着目した構成図である。
【図８】第３実施形態における制御装置の動作を例示するフローチャートである。
【発明を実施するための形態】
【０００７】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る自動演奏システム１００の構成図である。自動演奏システム１００は、演奏者Ｐが楽器を演奏する音響ホール等の空間に設置され、演奏者Ｐによる楽曲（以下「対象楽曲」という）の演奏に並行して対象楽曲の自動演奏を実行するコンピュータシステムである。なお、演奏者Ｐは、典型的には楽器の演奏者であるが、対象楽曲の歌唱者も演奏者Ｐであり得る。
【０００８】
図１に例示される通り、第１実施形態の自動演奏システム１００は、音響解析装置１０と演奏装置１２と収音装置１４と表示装置１６とを具備する。音響解析装置１０は、自動演奏システム１００の各要素を制御するコンピュータシステムであり、例えばパーソナルコンピュータ等の情報処理装置で実現される。
【０００９】
演奏装置１２は、音響解析装置１０による制御のもとで対象楽曲の自動演奏を実行する。第１実施形態の演奏装置１２は、対象楽曲を構成する複数のパートのうち、演奏者Ｐが演奏するパート以外のパートについて自動演奏を実行する。例えば、対象楽曲の主旋律のパートを演奏者Ｐが演奏し、対象楽曲の伴奏のパートの自動演奏を演奏装置１２が実行する。
【００１０】
図１に例示される通り、第１実施形態の演奏装置１２は、駆動機構１２２と発音機構１２４とを具備する自動演奏楽器（例えば自動演奏ピアノ）である。発音機構１２４は、自然楽器の鍵盤楽器と同様に、鍵盤の各鍵の変位に連動して弦（発音体）を発音させる打弦機構を鍵毎に具備する。任意の１個の鍵に対応する打弦機構は、弦を打撃可能なハンマと、当該鍵の変位をハンマに伝達する複数の伝達部材（例えばウィペン，ジャック，レペティションレバー）とを具備する。駆動機構１２２は、発音機構１２４を駆動することで対象楽曲の自動演奏を実行する。具体的には、駆動機構１２２は、各鍵を変位させる複数の駆動体（例えばソレノイド等のアクチュエータ）と、各駆動体を動作させる駆動回路とを含んで構成される。音響解析装置１０からの指示に応じて駆動機構１２２が発音機構１２４を駆動することで対象楽曲の自動演奏が実現される。なお、音響解析装置１０を演奏装置１２に搭載することも可能である。
【００１１】
収音装置１４は、演奏者Ｐによる演奏で発音された音（例えば楽器音または歌唱音）を収音した音響信号Ａを生成する。音響信号Ａは、音の波形を表す信号である。なお、電気弦楽器等の電気楽器から出力される音響信号Ａを利用することも可能である。したがって、収音装置１４は省略され得る。複数の収音装置１４が生成する信号を加算することで音響信号Ａを生成することも可能である。表示装置１６（例えば液晶表示パネル）は、音響解析装置１０による制御のもとで各種の画像を表示する。
【００１２】
図１に例示される通り、音響解析装置１０は、制御装置２２と記憶装置２４とを具備するコンピュータシステムで実現される。制御装置２２は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、自動演奏システム１００を構成する複数の要素（演奏装置１２，収音装置１４および表示装置１６）を統括的に制御する。記憶装置２４は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成され、制御装置２２が実行するプログラムと制御装置２２が使用する各種のデータとを記憶する。なお、自動演奏システム１００とは別体の記憶装置２４（例えばクラウドストレージ）を用意し、移動体通信網またはインターネット等の通信網を介して制御装置２２が記憶装置２４に対する書込および読出を実行することも可能である。すなわち、記憶装置２４は自動演奏システム１００から省略され得る。
【００１３】
第１実施形態の記憶装置２４は、楽曲データＭを記憶する。楽曲データＭは、例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した形式のファイル（ＳＭＦ：Standard MIDI File）であり、対象楽曲の演奏内容を指定する。図１に例示される通り、第１実施形態の楽曲データＭは、参照データＭAと演奏データＭBとを包含する。
【００１４】
参照データＭAは、対象楽曲のうち演奏者Ｐが演奏を担当するパートの演奏内容（例えば対象楽曲の主旋律のパートを構成する音符列）を指定する。演奏データＭBは、対象楽曲のうち演奏装置１２が自動演奏するパートの演奏内容（例えば対象楽曲の伴奏のパートを構成する音符列）を指定する。参照データＭAおよび演奏データＭBの各々は、演奏動作（発音／消音）を指定する指示データと、当該指示データの発生時点を指定する時間データとが時系列に配列された時系列データである。指示データは、例えば音高（ノートナンバ）と音量（ベロシティ）とを指定して発音および消音等の各種のイベントを指示する。他方、時間データは、例えば相前後する指示データの間隔を指定する。
【００１５】
制御装置２２は、記憶装置２４に記憶されたプログラムを実行することで、対象楽曲の自動演奏を実現するための複数の機能（音響解析部３２，演奏制御部３４および評価処理部３６）を実現する。なお、制御装置２２の機能を複数の装置の集合（すなわちシステム）で実現した構成、もしくは、制御装置２２の機能の一部または全部を専用の電子回路が実現した構成も採用され得る。また、演奏装置１２と収音装置１４とが設置された音響ホール等の空間から離間した位置にあるサーバ装置が、制御装置２２の一部または全部の機能を実現することも可能である。
【００１６】
図２は、制御装置２２の機能に着目した構成図である。音響解析部３２は、対象楽曲のうち演奏者Ｐによる演奏で実際に発音されている位置（以下「発音位置」という）Ｙを推定する。具体的には、音響解析部３２は、収音装置１４が生成する音響信号Ａを解析することで発音位置Ｙを推定する。第１実施形態の音響解析部３２は、収音装置１４が生成する音響信号Ａと楽曲データＭ内の参照データＭAが示す演奏内容（すなわち複数の演奏者Ｐが担当する主旋律のパートの演奏内容）とを相互に照合することで発音位置Ｙを推定する。音響解析部３２による発音位置Ｙの推定は、演奏者Ｐによる演奏に並行して実時間的に反復される。例えば、発音位置Ｙの推定は所定の周期で反復される。
【００１７】
図２に例示される通り、第１実施形態の音響解析部３２は、分布算定部４２と位置推定部４４とを含んで構成される。分布算定部４２は、音響信号Ａが表す音が対象楽曲内の各位置ｔで発音された確率（事後確率）の分布である発音確率分布Ｄを算定する。分布算定部４２による発音確率分布Ｄの算定は、音響信号Ａを時間軸上で区分した単位区間（フレーム）毎に順次に実行される。単位区間は、所定長の区間である。相前後する単位区間は時間軸上で相互に重複し得る。
【００１８】
図３は、発音確率分布Ｄの説明図である。図３に例示される通り、任意の１個の単位区間の発音確率分布Ｄは、対象楽曲の任意の位置ｔが、その単位区間の音響信号Ａが表す音の発音位置に該当する確率を、対象楽曲内の複数の位置ｔについて配列した確率分布である。すなわち、発音確率分布Ｄのうち確率が大きい位置ｔは、１個の単位区間の音響信号Ａが表す音の発音位置に該当する可能性が高い。したがって、対象楽曲の複数の位置ｔのうち１個の単位区間の発音位置に該当する可能性が高い位置ｔにはピークが存在し得る。例えば対象楽曲内で同様の旋律が反復される複数の区間の各々に対応してピークが存在する。すなわち、図３に例示される通り、発音確率分布Ｄには複数のピークが存在し得る。なお、対象楽曲内の任意の位置（時間軸上の時点）ｔは、例えば対象楽曲の先頭を起点としたＭＩＤＩのティック数で表現される。
【００１９】
具体的には、第１実施形態の分布算定部４２は、各単位区間の音響信号Ａと対象楽曲の参照データＭAとを相互に照合することで、その単位区間の発音位置が対象楽曲の各位置ｔに該当する尤度（観測尤度）を算定する。そして、分布算定部４２は、音響信号Ａの単位区間が観測されたという条件のもとで当該単位区間の発音の時点が対象楽曲内の位置ｔであった事後確率の確率分布（事後分布）を、各位置ｔの尤度から発音確率分布Ｄとして算定する。観測尤度を利用した発音確率分布Ｄの算定には、例えば特許文献１に開示される通り、隠れセミマルコフモデル（ＨＳＭＭ）を利用したベイズ推定等の公知の統計処理が好適に利用される。
【００２０】
位置推定部４４は、対象楽曲のうち音響信号Ａの単位区間が表す音の発音位置Ｙを、分布算定部４２が算定した発音確率分布Ｄから推定する。発音確率分布Ｄを利用した発音位置Ｙの推定には、例えばＭＡＰ（Maximum A Posteriori）推定等の公知の統計処理が任意に採用され得る。位置推定部４４による発音位置Ｙの推定は音響信号Ａの単位区間毎に反復される。すなわち、音響信号Ａの複数の単位区間の各々について、対象楽曲の複数の位置ｔの何れかが発音位置Ｙとして特定される。
【００２１】
図２の演奏制御部３４は、楽曲データＭ内の演奏データＭBに応じた自動演奏を演奏装置１２に実行させる。第１実施形態の演奏制御部３４は、音響解析部３２が推定する発音位置Ｙの進行（時間軸上の移動）に同期するように演奏装置１２に自動演奏を実行させる。具体的には、演奏制御部３４は、対象楽曲のうち発音位置Ｙに対応する時点について演奏データＭBが指定する演奏内容を演奏装置１２に対して指示する。すなわち、演奏制御部３４は、演奏データＭBに含まれる各指示データを演奏装置１２に対して順次に供給するシーケンサとして機能する。
【００２２】
演奏装置１２は、演奏制御部３４からの指示に応じて対象楽曲の自動演奏を実行する。演奏者Ｐによる演奏の進行とともに発音位置Ｙは対象楽曲内の後方に経時的に移動するから、演奏装置１２による対象楽曲の自動演奏も発音位置Ｙの移動とともに進行する。すなわち、演奏者Ｐによる演奏と同等のテンポで演奏装置１２による対象楽曲の自動演奏が実行される。以上の説明から理解される通り、対象楽曲の各音符の強度またはフレーズ表現等の音楽表現を演奏データＭBで指定された内容に維持したまま自動演奏が演奏者Ｐによる演奏に同期するように、演奏制御部３４は演奏装置１２に自動演奏を指示する。したがって、例えば現在では生存していない過去の演奏者等の特定の演奏者の演奏を表す演奏データＭBを使用すれば、その演奏者に特有の音楽表現を自動演奏で忠実に再現しながら、当該演奏者と実在の複数の演奏者Ｐとが恰も相互に呼吸を合わせて協調的に合奏しているかのような雰囲気を醸成することが可能である。
【００２３】
なお、演奏制御部３４が演奏データＭB内の指示データの出力により演奏装置１２に自動演奏を指示してから演奏装置１２が実際に発音する（例えば発音機構１２４のハンマが打弦する）までには、実際には数百ミリ秒程度の時間が必要である。すなわち、演奏装置１２による実際の発音は演奏制御部３４からの指示に対して遅延し得る。そこで、演奏制御部３４が、対象楽曲のうち音響解析部３２が推定した発音位置Ｙに対して後方（未来）の時点の演奏を演奏装置１２に指示することも可能である。
【００２４】
図２の評価処理部３６は、分布算定部４２が単位区間毎に算定した発音確率分布Ｄの妥当性を評価する。第１実施形態の評価処理部３６は、指標算定部５２と妥当性判定部５４と動作制御部５６とを含んで構成される。指標算定部５２は、分布算定部４２が算定した発音確率分布Ｄの妥当性の指標Ｑを発音確率分布Ｄから算定する。指標算定部５２による指標Ｑの算定は、発音確率分布Ｄ毎（すなわち単位区間毎）に実行される。
【００２５】
図４は、発音確率分布Ｄの任意の１個のピークの模式図である。図４に例示される通り、発音確率分布Ｄのピークの散布度ｄが小さい（すなわちピークの範囲が狭い）ほど、発音確率分布Ｄの妥当性が高いという傾向がある。散布度ｄは、確率値の散らばりの度合を示す統計量であり、例えば分散または標準偏差である。発音確率分布Ｄのピークの散布度ｄが小さいほど、対象楽曲内で当該ピークに対応する位置ｔが発音位置に該当する可能性が高いと換言することも可能である。
【００２６】
以上の傾向を背景として、指標算定部５２は、発音確率分布Ｄの形状に応じて指標Ｑを算定する。第１実施形態の指標算定部５２は、発音確率分布Ｄのピークにおける散布度ｄに応じて指標Ｑを算定する。具体的には、指標算定部５２は、発音確率分布Ｄに存在する１個のピーク（以下「選択ピーク」という）の分散を指標Ｑとして算定する。したがって、指標Ｑが小さい（すなわち選択ピークが先鋭である）ほど発音確率分布Ｄの妥当性が高いと評価できる。なお、図３の例示のように発音確率分布Ｄに複数のピークが存在する場合には、例えば極大値が最大である１個のピークを選択ピークとして指標Ｑが算定される。また、発音確率分布Ｄの複数のピークのうち直前の単位区間の発音位置Ｙに最も近い位置ｔのピークを選択ピークとして選択することも可能である。また、極大値の降順で上位に位置する複数の選択ピークにわたる散布度ｄの代表値（例えば平均値）を指標Ｑとして算定する構成も採用され得る。
【００２７】
図２の妥当性判定部５４は、指標算定部５２が算定した指標Ｑに基づいて発音確率分布Ｄの妥当性の有無を判定する。前述の通り、指標Ｑが小さいほど発音確率分布Ｄの妥当性が高いという傾向がある。以上の傾向を考慮して、第１実施形態の妥当性判定部５４は、指標Ｑと所定の閾値ＱTHとを比較した結果に応じて発音確率分布Ｄの妥当性の有無を判定する。具体的には、妥当性判定部５４は、指標Ｑが閾値ＱTHを下回る場合には発音確率分布Ｄに妥当性があると判定し、指標Ｑが閾値ＱTHを上回る場合には発音確率分布Ｄに妥当性がないと判定する。閾値ＱTHは、例えば、妥当性があると判定された発音確率分布Ｄを利用して発音位置Ｙを推定した場合に目標の推定精度が達成されるように実験的または統計的に選定される。
【００２８】
動作制御部５６は、妥当性判定部５４による判定結果（発音確率分布Ｄの妥当性の有無）に応じて自動演奏システム１００の動作を制御する。第１実施形態の動作制御部５６は、発音確率分布Ｄの妥当性がないと妥当性判定部５４が判定した場合にその旨を利用者に報知する。具体的には、動作制御部５６は、発音確率分布Ｄの妥当性がないことを意味するメッセージ（例えば、「演奏位置の推定精度が低下しています」等の文字列）を表示装置１６に表示させる。利用者は、表示装置１６の表示を視認することで、自動演奏システム１００が発音位置Ｙを充分な精度で推定できていないことを把握できる。なお、以上の説明では、妥当性判定部５４による判定結果を画像表示により視覚的に利用者に報知したが、例えば判定結果を音声により聴覚的に利用者に報知することも可能である。例えば、動作制御部５６は、「演奏位置の推定精度が低下しています」等の音声をスピーカまたはイヤホン等の放音機器から再生する。
【００２９】
図５は、制御装置２２の動作（音響解析方法）を例示するフローチャートである。音響信号Ａの単位区間毎に図５の処理が実行される。図５の処理を開始すると、分布算定部４２は、処理対象となる１個の単位区間における音響信号Ａの解析により発音確率分布Ｄを算定する（Ｓ1）。位置推定部４４は、発音確率分布Ｄから発音位置Ｙを推定する（Ｓ2）。演奏制御部３４は、位置推定部４４が推定した発音位置Ｙに同期するように演奏装置１２に対象楽曲の自動演奏を実行させる（Ｓ3）。
【００３０】
他方、指標算定部５２は、分布算定部４２が算定した発音確率分布Ｄの妥当性の指標Ｑを算定する（Ｓ4）。具体的には、発音確率分布Ｄのうち選択ピークの散布度ｄが指標Ｑとして算定される。妥当性判定部５４は、発音確率分布Ｄの妥当性の有無を指標Ｑに基づいて判定する（Ｓ5）。具体的には、妥当性判定部５４は、指標Ｑが閾値ＱTHを下回るか否かを判定する。
【００３１】
指標Ｑが閾値ＱTHを上回る場合（Ｑ＞ＱTH）には、発音確率分布Ｄの妥当性がないと評価できる。発音確率分布Ｄの妥当性がないと妥当性判定部５４が判定した場合（Ｓ5：NO）、動作制御部５６は、発音確率分布Ｄの妥当性がないことを利用者に報知する（Ｓ6）。他方、指標Ｑが閾値ＱTHを下回る場合（Ｑ＜ＱTH）には、発音確率分布Ｄの妥当性があると評価できる。発音確率分布Ｄの妥当性があると妥当性判定部５４が判定した場合（Ｓ5：YES）、発音確率分布Ｄの妥当性がないことを報知する動作（Ｓ6）は実行されない。ただし、発音確率分布Ｄの妥当性があると妥当性判定部５４が判定した場合に動作制御部５６が利用者にその旨を報知することも可能である。
【００３２】
以上に説明した通り、第１実施形態では、発音確率分布Ｄの妥当性の指標Ｑが発音確率分布Ｄから算定される。したがって、発音確率分布Ｄの妥当性（ひいては発音確率分布Ｄから推定され得る発音位置Ｙの妥当性）を定量的に評価することが可能である。第１実施形態では、発音確率分布Ｄのピークにおける散布度ｄ（例えば分散）に応じて指標Ｑが算定される。したがって、発音確率分布Ｄのピークの散布度ｄが小さいほど発音確率分布Ｄの妥当性（統計的な信頼性）が高いという傾向のもとで、発音確率分布Ｄの妥当性を高精度に評価できる指標Ｑを算定することが可能である。
【００３３】
また、第１実施形態では、発音確率分布Ｄの妥当性がないという判定結果が利用者に報知される。したがって、発音位置Ｙの推定結果を利用した自動的な制御を利用者による手動の制御に変更する等の対応が可能である。
【００３４】
＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下に例示する各形態において作用または機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
【００３５】
第２実施形態の自動演奏システム１００においては、指標算定部５２が発音確率分布Ｄの妥当性の指標Ｑを算定する方法が第１実施形態とは相違する。指標算定部５２以外の動作および構成は第１実施形態と同様である。
【００３６】
図６は、第２実施形態の指標算定部５２が指標Ｑを算定する動作の説明図である。図６に例示される通り、発音確率分布Ｄには、極大値が相違する複数のピークが存在し得る。適正な発音位置Ｙを高精度に特定し得る発音確率分布Ｄにおいては、当該発音位置Ｙに相当する位置ｔのピークの極大値が他のピークの極大値と比較して大きいという傾向がある。すなわち、発音確率分布Ｄの特定のピークにおける極大値が他のピークにおける極大値と比較して大きいほど発音確率分布Ｄの妥当性（統計的な信頼性）が高いと評価できる。以上の傾向を背景として、第２実施形態の指標算定部５２は、発音確率分布Ｄの最大のピークにおける極大値と他のピークにおける極大値との差分δに応じて指標Ｑを算定する。
【００３７】
具体的には、指標算定部５２は、発音確率分布Ｄの複数のピークのうち極大値の降順で最上位のピーク（すなわち最大のピーク）と第２位のピークとの間における極大値の差分δを、指標Ｑとして算定する。ただし、第２実施形態における指標Ｑの算定方法は以上の例示に限定されない。例えば、発音確率分布Ｄにおける最大のピークと残余の複数のピークの各々との間で極大値の差分δを算定し、複数の差分δの代表値（例えば平均値）を指標Ｑとして算定することも可能である。
【００３８】
前述の通り、第２実施形態では、指標Ｑが大きいほど発音確率分布Ｄの妥当性が高いという傾向を想定する。以上の傾向を考慮して、第２実施形態の妥当性判定部５４は、指標Ｑと閾値ＱTHとを比較した結果に応じて発音確率分布Ｄの妥当性の有無を判定する。具体的には、妥当性判定部５４は、指標Ｑが閾値ＱTHを上回る場合には発音確率分布Ｄに妥当性があると判定し（Ｓ5：YES）、指標Ｑが閾値ＱTHを下回る場合には発音確率分布Ｄに妥当性がないと判定する（Ｓ5：NO）。他の動作は第１実施形態と同様である。
【００３９】
第２実施形態においても、発音確率分布Ｄの妥当性の指標Ｑが発音確率分布Ｄから算定されるから、第１実施形態と同様に、発音確率分布Ｄの妥当性（ひいては発音確率分布Ｄから推定され得る発音位置Ｙの妥当性）を定量的に評価できるという利点がある。また、第２実施形態では、発音確率分布Ｄのピーク間の極大値の差分δに応じて指標Ｑが算定される。したがって、発音確率分布Ｄの特定のピークにおける極大値が他のピークにおける極大値と比較して大きい（すなわち差分δが大きい）ほど発音確率分布の妥当性が高いという傾向のもとで、発音確率分布Ｄの妥当性を高精度に評価し得る指標Ｑを算定することが可能である。
【００４０】
＜第３実施形態＞
図７は、第３実施形態における制御装置２２の機能に着目した構成図である。第１実施形態では、発音確率分布Ｄに妥当性がないことを動作制御部５６が利用者に報知する構成を例示した。第３実施形態の動作制御部５６は、演奏制御部３４が演奏装置１２に自動演奏を実行させる動作（すなわち自動演奏の制御）を妥当性判定部５４による判定結果に応じて制御する。したがって、表示装置１６は省略され得る。ただし、発音確率分布Ｄに妥当性がないことを利用者に報知する前述の構成を第３実施形態でも同様に採用することは可能である。
【００４１】
図８は、第３実施形態における制御装置２２の動作（音響解析方法）を例示するフローチャートである。音響信号Ａの単位区間毎に図８の処理が実行される。発音確率分布Ｄの算定（Ｓ1）と発音位置Ｙの推定（Ｓ2）と自動演奏の制御（Ｓ3）とは第１実施形態と同様である。指標算定部５２は、発音確率分布Ｄの妥当性の指標Ｑを算定する（Ｓ4）。例えば、発音確率分布Ｄの選択ピークの散布度ｄに応じて指標Ｑを算定する第１実施形態の処理、または、発音確率分布Ｄのピーク間の極大値の差分δに応じて指標Ｑを算定する第２実施形態の処理が好適に採用される。妥当性判定部５４は、第１実施形態または第２実施形態と同様に、発音確率分布Ｄの妥当性の有無を指標Ｑに基づいて判定する（Ｓ5）。
【００４２】
発音確率分布Ｄに妥当性がないと妥当性判定部５４が判定した場合（Ｓ5：NO）、動作制御部５６は、演奏装置１２による自動演奏を演奏制御部３４が発音位置Ｙの進行に同期させる制御を解除する（Ｓ10）。例えば、演奏制御部３４は、動作制御部５６からの指示に応じて、演奏装置１２による自動演奏のテンポを、発音位置Ｙの進行とは無関係のテンポに設定する。例えば、発音確率分布Ｄの妥当性がないと妥当性判定部５４が判定する直前のテンポ、または、楽曲データＭで指定された標準的なテンポで自動演奏が実行されるように、演奏制御部３４は演奏装置１２を制御する（Ｓ3）。他方、発音確率分布Ｄに妥当性があると妥当性判定部５４が判定した場合（Ｓ5：YES）、動作制御部５６は、自動演奏を発音位置Ｙの進行に同期させる制御を演奏制御部３４に継続させる（Ｓ11）。したがって、演奏制御部３４は、自動演奏が発音位置Ｙの進行に同期するように演奏装置１２を制御する（Ｓ3）。
【００４３】
第３実施形態においても第１実施形態または第２実施形態と同様の効果が実現される。また、第３実施形態では、発音確率分布Ｄに妥当性がないと妥当性判定部５４が判定した場合に、自動演奏を発音位置Ｙの進行に同期させる制御が解除される。したがって、妥当性が低い発音確率分布Ｄから推定された発音位置Ｙ（例えば誤推定された発音位置Ｙ）が自動演奏に反映される可能性を低減することが可能である。
【００４４】
＜変形例＞
以上に例示した態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
【００４５】
（１）第１実施形態では、発音確率分布Ｄのピークの散布度ｄ（例えば分散）を指標Ｑとして算定したが、散布度ｄに応じた指標Ｑの算定方法は以上の例示に限定されない。例えば、散布度ｄを利用した所定の演算により指標Ｑを算定することも可能である。以上の例示から理解される通り、発音確率分布Ｄのピークにおける散布度ｄに応じて指標Ｑを算定することには、散布度ｄを指標Ｑとして算定する構成（Ｑ＝ｄ）のほか、散布度ｄとは相違する指標Ｑ（Ｑ≠ｄ）を当該散布度ｄに応じて算定する構成も包含される。
【００４６】
（２）第２実施形態では、発音確率分布Ｄにおけるピーク間の極大値の差分δを指標Ｑとして算定したが、差分δに応じた指標Ｑの算定方法は以上の例示に限定されない。例えば、差分δを利用した所定の演算により指標Ｑを算定することも可能である。以上の例示から理解される通り、発音確率分布Ｄのピーク間の極大値の差分δに応じて指標Ｑを算定することには、差分δを指標Ｑとして算定する構成（Ｑ＝δ）のほか、差分δとは相違する指標Ｑ（Ｑ≠δ）を当該差分δに応じて算定する構成も包含される。
【００４７】
（３）前述の各形態では、発音確率分布Ｄの妥当性の有無を指標Ｑに基づいて判定したが、発音確率分布Ｄの妥当性の有無の判定は省略され得る。例えば、指標算定部５２が算定した指標Ｑを画像表示または音声出力により利用者に報知する構成、または、指標Ｑの時系列を履歴として記憶装置２４に記憶する構成では、発音確率分布Ｄの妥当性の有無の判定は必須ではない。以上の例示から理解される通り、前述の各形態で例示した妥当性判定部５４と動作制御部５６とは音響解析装置１０から省略され得る。
【００４８】
（４）前述の各形態では、対象楽曲の全区間にわたる発音確率分布Ｄを分布算定部４２が算定したが、対象楽曲の一部の区間における発音確率分布Ｄを分布算定部４２が算定することも可能である。例えば、対象楽曲のうち直前の単位区間について推定された発音位置Ｙの近傍に位置する一部の区間について、分布算定部４２が発音確率分布Ｄ（すなわち、当該区間内の各位置ｔにおける確率の分布）を算定する。
【００４９】
（５）前述の各形態では、位置推定部４４が推定した発音位置Ｙを演奏制御部３４が自動演奏の制御に使用したが、発音位置Ｙの用途は以上の例示に限定されない。例えば、対象楽曲を演奏した音を表す音楽データを、発音位置Ｙの進行に同期するように放音機器（例えばスピーカやイヤホン）に供給することで、対象楽曲を再生することも可能である。また、発音位置Ｙの時間変化から演奏者Ｐによる演奏のテンポを算定し、算定結果から演奏を評価（例えばテンポの変動の有無を判定）することも可能である。以上の例示から理解される通り、演奏制御部３４は音響解析装置１０から省略され得る。
【００５０】
（６）前述の各形態で例示した通り、音響解析装置１０は、制御装置２２とプログラムとの協働で実現される。本発明の好適な態様に係るプログラムは、音響信号Ａが表す音が対象楽曲内の各位置ｔで発音された確率の分布である発音確率分布Ｄを音響信号Ａから算定する分布算定部４２、対象楽曲内における音の発音位置Ｙを発音確率分布Ｄから推定する位置推定部４４、および、発音確率分布Ｄの妥当性の指標Ｑを発音確率分布Ｄから算定する指標算定部５２としてコンピュータを機能させる。以上に例示したプログラムは、例えば、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。
【００５１】
記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、「非一過性の記録媒体」とは、一過性の伝搬信号（transitory, propagating signal）を除く全てのコンピュータ読取可能な記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに配信することも可能である。
【００５２】
（７）以上に例示した形態から、例えば以下の構成が把握される。
＜態様１＞
本発明の好適な態様（態様１）に係る音響解析方法は、コンピュータシステムが、音響信号が表す音が楽曲内の各位置で発音された確率の分布である発音確率分布を前記音響信号から算定し、前記楽曲内における前記音の発音位置を前記発音確率分布から推定し、前記発音確率分布の妥当性の指標を前記発音確率分布から算定する。態様１では、発音確率分布の妥当性の指標が発音確率分布から算定される。したがって、発音確率分布の妥当性（ひいては発音確率分布から発音位置を推定した結果の妥当性）を定量的に評価することが可能である。
【００５３】
＜態様２＞
態様１の好適例（態様２）では、前記指標の算定において、前記発音確率分布のピークにおける散布度に応じて前記指標を算定する。発音確率分布のピークの散布度（例えば分散）が小さいほど発音確率分布の妥当性（統計的な信頼性）が高いという傾向が想定される。以上の傾向を前提とすると、発音確率分布のピークにおける散布度に応じて指標を算定する態様２によれば、発音確率分布の妥当性を高精度に評価できる指標を算定することが可能である。例えば、発音確率分布のピークの散布度を指標として算定する構成では、指標が閾値を下回る場合（例えば分散が小さい場合）に発音確率分布の妥当性があり、指標が閾値を上回る場合（例えば分散が大きい場合）に発音確率分布に妥当性がないと評価することが可能である。
【００５４】
＜態様３＞
態様１の好適例（態様３）では、指標の算定において、前記発音確率分布の最大のピークにおける極大値と他のピークにおける極大値との差分に応じて前記指標を算定する。発音確率分布の特定のピークにおける極大値が他のピークにおける極大値と比較して大きいほど発音確率分布の妥当性（統計的な信頼性）が高いという傾向が想定される。以上の傾向を前提とすると、最大のピークにおける極大値と他のピークにおける極大値との差分に応じて指標を算定する態様３によれば、発音確率分布の妥当性を高精度に評価できる指標を算定することが可能である。例えば、最大のピークと他のピークとにおける極大値の差分を指標として算定する構成では、指標が閾値を上回る場合に発音確率分布の妥当性があり、指標が閾値を下回る場合に発音確率分布に妥当性がないと評価することが可能である。
【００５５】
＜態様４＞
態様１から態様３の何れかの好適例（態様４）において、前記コンピュータシステムは、さらに、前記発音確率分布の妥当性の有無を前記指標に基づいて判定する。態様４によれば、発音確率分布の妥当性の有無を客観的に判定することが可能である。
【００５６】
＜態様５＞
態様４の好適例（態様５）において、前記コンピュータシステムは、さらに、前記発音確率分布の妥当性がないと判定した場合に利用者に報知する。態様５では、発音確率分布の妥当性がないと判定した場合に利用者に報知される。したがって、発音位置の推定結果を利用した自動的な制御を利用者による手動の制御に変更する等の対応が可能である。
【００５７】
＜態様６＞
態様４の好適例（態様６）において、前記コンピュータシステムは、さらに、前記推定した発音位置の進行に同期するように前記楽曲の自動演奏を実行し、前記発音確率分布の妥当性がないと判定した場合に、前記自動演奏を前記発音位置の進行に同期させる制御を解除する。態様６では、発音確率分布の妥当性がないと判定した場合に、自動演奏を発音位置の進行に同期させる制御が解除される。したがって、妥当性が低い発音確率分布から推定された発音位置（例えば誤推定された発音位置）が自動演奏に反映されることを回避することが可能である。
【００５８】
＜態様７＞
本発明の好適な態様（態様７）に係る音響解析装置は、音響信号が表す音が楽曲内の各位置で発音された確率の分布である発音確率分布を前記音響信号から算定する分布算定部と、前記楽曲内における前記音の発音位置を前記発音確率分布から推定する位置推定部と、前記発音確率分布の妥当性の指標を前記発音確率分布から算定する指標算定部とを具備する。態様７では、発音確率分布の妥当性の指標が発音確率分布から算定される。したがって、発音確率分布の妥当性（ひいては発音確率分布から発音位置を推定した結果の妥当性）を定量的に評価することが可能である。
【符号の説明】
【００５９】
１００…自動演奏システム、１０…音響解析装置、１２…演奏装置、１２２…駆動機構、１２４…発音機構、１４…収音装置、１６…表示装置、２２…制御装置、２４…記憶装置、３２…音響解析部、３４…演奏制御部、３６…評価処理部、４２…分布算定部、４４…位置推定部、５２…指標算定部、５４…妥当性判定部、５６…動作制御部。
【図１】
2018077262.tif 000003
【図２】
2018077262.tif 000004
【図３】
2018077262.tif 000005
【図４】
2018077262.tif 000006
【図５】
2018077262.tif 000007
【図６】
2018077262.tif 000008
【図７】
2018077262.tif 000009
【図８】
2018077262.tif 000010