(57)【特許請求の範囲】
【請求項１】
楽曲を演奏する演奏者の合図動作を検出し、
前記楽曲を演奏した音を表す音響信号の解析により、前記楽曲内の各時点が演奏位置に該当する確度の指標である第１尤度を算定し、
前記合図動作を検出しない場合には第１値に設定され、前記合図動作を検出した場合には、前記楽曲について時間軸上に指定された基準点の前方の期間において、前記第１値を下回る第２値に設定される第２尤度を算定し、
前記第１尤度と前記第２尤度との乗算により観測尤度を算定し、
前記観測尤度の分布に応じて前記演奏位置を推定する
演奏解析方法。
【請求項２】
前記第１値は１であり、前記第２値は０である
請求項１の演奏解析方法。
【請求項３】
楽曲を演奏する演奏者の合図動作を検出し、
前記楽曲を演奏した音を表す音響信号の解析により前記楽曲内の演奏位置を推定し、
前記演奏位置の進行に同期するように前記楽曲の自動演奏を自動演奏装置に実行させ、
前記演奏位置の推定においては、
前記音響信号の解析により、前記楽曲内の各時点が演奏位置に該当する確度の指標である第１尤度を算定し、
前記合図動作を検出しない場合には第１値に設定され、前記合図動作を検出した場合には、前記楽曲について時間軸上に指定された基準点の前方の期間において、前記第１値を下回る第２値に設定される第２尤度を算定し、
前記第１尤度と前記第２尤度との乗算により観測尤度を算定し、
前記観測尤度の分布に応じて前記演奏位置を推定する
自動演奏方法。
【請求項４】
前記楽曲の演奏内容を表す楽曲データに従って前記自動演奏装置に自動演奏を実行させ、
前記基準点は、前記楽曲データにより指定される
請求項３の自動演奏方法。
【請求項５】
前記自動演奏の進行を表す画像を表示装置に表示させる
請求項３または請求項４の自動演奏方法。
【請求項６】
楽曲を演奏する演奏者の合図動作を検出する合図検出部と、
前記楽曲を演奏した音を表す音響信号の解析により前記楽曲内の演奏位置を推定する解析処理部と、
前記合図検出部が検出する合図動作と前記演奏解析部が推定する演奏位置の進行とに同期するように楽曲の自動演奏を自動演奏装置に実行させる演奏制御部とを具備し、
前記解析処理部は、
前記音響信号の解析により、前記楽曲内の各時点が演奏位置に該当する確度の指標である第１尤度を算定する第１演算部と、
前記合図動作を検出しない場合には第１値に設定され、前記合図動作を検出した場合には、前記楽曲について時間軸上に指定された基準点の前方の期間において、前記第１値を下回る第２値に設定される第２尤度を算定する第２演算部と、
前記第１尤度と前記第２尤度との乗算により観測尤度を算定する第３演算部と、
前記観測尤度の分布に応じて前記演奏位置を推定する位置推定部とを含む
自動演奏システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲の演奏を解析する技術に関する。
【背景技術】
【０００２】
楽曲を演奏した音の解析により、楽曲内で現に演奏されている位置（以下「演奏位置」という）を推定するスコアアライメント技術が従来から提案されている（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−７９１８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
他方、楽曲の演奏内容を表す楽曲データを利用して鍵盤楽器等の楽器を発音させる自動演奏技術が普及している。演奏位置の解析結果を自動演奏に適用すれば、演奏者による楽器の演奏に同期した自動演奏が実現され得る。しかし、例えば楽曲の開始の直後または長時間にわたる休符後の状態では、音響信号の解析のみで演奏位置を高精度に推定することは困難である。以上の事情を考慮して、本発明は、演奏位置を高精度に推定することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明の好適な態様に係る演奏解析方法は、楽曲を演奏する演奏者の合図動作を検出し、前記楽曲を演奏した音を表す音響信号の解析により、前記楽曲内の各時点が演奏位置に該当する確度の指標である観測尤度の分布を算定し、前記観測尤度の分布に応じて前記演奏位置を推定し、前記観測尤度の分布の算定において、前記合図動作を検出した場合には、前記楽曲について時間軸上に指定された基準点の前方の期間における観測尤度を低下させる。
本発明の好適な態様に係る自動演奏方法は、楽曲を演奏する演奏者の合図動作を検出し、前記楽曲を演奏した音を表す音響信号の解析により前記楽曲内の演奏位置を推定し、前記演奏位置の進行に同期するように前記楽曲の自動演奏を自動演奏装置に実行させ、前記演奏位置の推定においては、前記音響信号の解析により、前記楽曲内の各時点が演奏位置に該当する確度の指標である観測尤度の分布を算定し、前記観測尤度の分布に応じて前記演奏位置を推定し、前記観測尤度の分布の算定において、前記合図動作を検出した場合には、前記楽曲について時間軸上に指定された基準点の前方の期間における観測尤度を低下させる。
本発明の好適な態様に係る自動演奏システムは、楽曲を演奏する演奏者の合図動作を検出する合図検出部と、前記楽曲を演奏した音を表す音響信号の解析により前記楽曲内の演奏位置を推定する解析処理部と、前記合図検出部が検出する合図動作と前記演奏解析部が推定する演奏位置の進行とに同期するように楽曲の自動演奏を自動演奏装置に実行させる演奏制御部とを具備し、前記解析処理部は、前記音響信号の解析により、前記楽曲内の各時点が演奏位置に該当する確度の指標である観測尤度の分布を算定する尤度算定部と、前記観測尤度の分布に応じて前記演奏位置を推定する位置推定部とを含み、前記尤度算定部は、前記合図動作を検出した場合には、前記楽曲について時間軸上に指定された基準点の前方の期間における観測尤度を低下させる。
【図面の簡単な説明】
【０００６】
【図１】本発明の実施形態に係る自動演奏システムのブロック図である。
【図２】合図動作および演奏位置の説明図である。
【図３】画像合成部による画像合成の説明図である。
【図４】演奏対象曲の演奏位置と自動演奏の指示位置との関係の説明図である。
【図５】合図動作の位置と演奏対象曲の演奏の始点との関係の説明図である。
【図６】演奏画像の説明図である。
【図７】演奏画像の説明図である。
【図８】制御装置の動作のフローチャートである。
【図９】第２実施形態における解析処理部のブロック図である。
【図１０】第２実施形態における解析処理部の動作の説明図である。
【図１１】第２実施形態における解析処理部の動作のフローチャートである。
【図１２】自動演奏システムのブロック図である。
【図１３】演奏者の発音タイミングと伴奏パートの発音タイミングとのシミュレーション結果である。
【図１４】自動演奏システムの評価結果である。
【発明を実施するための形態】
【０００７】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る自動演奏システム１００のブロック図である。自動演奏システム１００は、複数の演奏者Ｐが楽器を演奏する音響ホール等の空間に設置され、複数の演奏者Ｐによる楽曲（以下「演奏対象曲」という）の演奏に並行して演奏対象曲の自動演奏を実行するコンピュータシステムである。なお、演奏者Ｐは、典型的には楽器の演奏者であるが、演奏対象曲の歌唱者も演奏者Ｐであり得る。すなわち、本出願における「演奏」には、楽器の演奏だけでなく歌唱も包含される。また、実際には楽器の演奏を担当しない者（例えば、コンサート時の指揮者またはレコーディング時の音響監督など）も、演奏者Ｐに含まれ得る。
【０００８】
図１に例示される通り、本実施形態の自動演奏システム１００は、制御装置１２と記憶装置１４と収録装置２２と自動演奏装置２４と表示装置２６とを具備する。制御装置１２と記憶装置１４とは、例えばパーソナルコンピュータ等の情報処理装置で実現される。
【０００９】
制御装置１２は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、自動演奏システム１００の各要素を統括的に制御する。記憶装置１４は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体、あるいは複数種の記録媒体の組合せで構成され、制御装置１２が実行するプログラムと制御装置１２が使用する各種のデータとを記憶する。なお、自動演奏システム１００とは別体の記憶装置１４（例えばクラウドストレージ）を用意し、移動体通信網またはインターネット等の通信網を介して制御装置１２が記憶装置１４に対する書込および読出を実行してもよい。すなわち、記憶装置１４は自動演奏システム１００から省略され得る。
【００１０】
本実施形態の記憶装置１４は、楽曲データＭを記憶する。楽曲データＭは、自動演奏による演奏対象曲の演奏内容を指定する。例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した形式のファイル（ＳＭＦ：Standard MIDI File）が楽曲データＭとして好適である。具体的には、楽曲データＭは、演奏内容を示す指示データと、当該指示データの発生時点を示す時間データとが配列された時系列データである。指示データは、音高（ノートナンバ）と強度（ベロシティ）とを指定して発音および消音等の各種のイベントを指示する。時間データは、例えば相前後する指示データの間隔（デルタタイム）を指定する。
【００１１】
図１の自動演奏装置２４は、制御装置１２による制御のもとで演奏対象曲の自動演奏を実行する。具体的には、演奏対象曲を構成する複数の演奏パートのうち、複数の演奏者Ｐの演奏パート（例えば弦楽器）とは別個の演奏パートが、自動演奏装置２４により自動演奏される。本実施形態の自動演奏装置２４は、駆動機構２４２と発音機構２４４とを具備する鍵盤楽器（すなわち自動演奏ピアノ）である。発音機構２４４は、自然楽器のピアノと同様に、鍵盤の各鍵の変位に連動して弦（すなわち発音体）を発音させる打弦機構である。具体的には、発音機構２４４は、弦を打撃可能なハンマと、鍵の変位をハンマに伝達する複数の伝達部材（例えばウィペン，ジャックおよびレペティションレバー）とで構成されるアクション機構を鍵毎に具備する。駆動機構２４２は、発音機構２４４を駆動することで演奏対象曲の自動演奏を実行する。具体的には、駆動機構２４２は、各鍵を変位させる複数の駆動体（例えばソレノイド等のアクチュエータ）と、各駆動体を駆動する駆動回路とを含んで構成される。制御装置１２からの指示に応じて駆動機構２４２が発音機構２４４を駆動することで、演奏対象曲の自動演奏が実現される。なお、自動演奏装置２４に制御装置１２または記憶装置１４を搭載してもよい。
【００１２】
収録装置２２は、複数の演奏者Ｐが演奏対象曲を演奏する様子を収録する。図１に例示される通り、本実施形態の収録装置２２は、複数の撮像装置２２２と複数の収音装置２２４とを具備する。撮像装置２２２は、演奏者Ｐ毎に設置され、演奏者Ｐの撮像により画像信号Ｖ0を生成する。画像信号Ｖ0は、演奏者Ｐの動画像を表す信号である。収音装置２２４は、演奏者Ｐ毎に設置され、演奏者Ｐによる演奏（例えば楽器の演奏または歌唱）で発音された音（例えば楽音または歌唱音）を収音して音響信号Ａ0を生成する。音響信号Ａ0は、音の波形を表す信号である。以上の説明から理解される通り、相異なる演奏者Ｐを撮像した複数の画像信号Ｖ0と、相異なる演奏者Ｐが演奏した音を収音した複数の音響信号Ａ0とが収録される。なお、電気弦楽器等の電気楽器から出力される音響信号Ａ0を利用してもよい。したがって、収音装置２２４を省略してもよい。
【００１３】
制御装置１２は、記憶装置１４に記憶されたプログラムを実行することで、演奏対象曲の自動演奏を実現するための複数の機能（合図検出部５２，演奏解析部５４，演奏制御部５６および表示制御部５８）を実現する。なお、制御装置１２の機能を複数の装置の集合（すなわちシステム）で実現した構成、または、制御装置１２の機能の一部または全部を専用の電子回路で実現してもよい。また、収録装置２２と自動演奏装置２４と表示装置２６とが設置された音響ホール等の空間から離間した位置にあるサーバ装置が、制御装置１２の一部または全部の機能を実現してもよい。
【００１４】
各演奏者Ｐは、演奏対象曲の演奏の合図となる動作（以下「合図動作」という）を実行する。合図動作は、時間軸上の１個の時点を指示する動作（ジェスチャー）である。例えば、演奏者Ｐが自身の楽器を持上げる動作、または演奏者Ｐが自身の身体を動かす動作が、合図動作の好適例である。例えば演奏対象曲の演奏を主導する特定の演奏者Ｐは、図２に例示される通り、演奏対象曲の演奏を開始すべき始点に対して所定の期間（以下「準備期間」という）Ｂだけ手前の時点Ｑで合図動作を実行する。準備期間Ｂは、例えば演奏対象曲の１拍分の時間長の期間である。したがって、準備期間Ｂの時間長は演奏対象曲の演奏速度（テンポ）に応じて変動する。例えば演奏速度が速いほど準備期間Ｂは短い時間となる。演奏者Ｐは、演奏対象曲に想定される演奏速度のもとで１拍分に相当する準備期間Ｂだけ演奏対象曲の始点から手前の時点で合図動作を実行したうえで、当該始点の到来により演奏対象曲の演奏を開始する。合図動作は、他の演奏者Ｐによる演奏の契機となるほか、自動演奏装置２４による自動演奏の契機として利用される。なお、準備期間Ｂの時間長は任意であり、例えば複数拍分の時間長としてもよい。
【００１５】
図１の合図検出部５２は、演奏者Ｐによる合図動作を検出する。具体的には、合図検出部５２は、各撮像装置２２２が演奏者Ｐを撮像した画像を解析することで合図動作を検出する。図１に例示される通り、本実施形態の合図検出部５２は、画像合成部５２２と検出処理部５２４とを具備する。画像合成部５２２は、複数の撮像装置２２２が生成した複数の画像信号Ｖ0を合成することで画像信号Ｖを生成する。画像信号Ｖは、図３に例示される通り、各画像信号Ｖ0が表す複数の動画像（＃1，＃2，＃3，……）を配列した画像を表す信号である。すなわち、複数の演奏者Ｐの動画像を表す画像信号Ｖが画像合成部５２２から検出処理部５２４に供給される。
【００１６】
検出処理部５２４は、画像合成部５２２が生成した画像信号Ｖを解析することで複数の演奏者Ｐの何れかによる合図動作を検出する。検出処理部５２４による合図動作の検出には、演奏者Ｐが合図動作の実行時に移動させる要素（例えば身体または楽器）を画像から抽出する画像認識処理と、当該要素の移動を検出する動体検出処理とを含む公知の画像解析技術が使用され得る。また、ニューラルネットワークまたは多分木等の識別モデルを合図動作の検出に利用してもよい。例えば、複数の演奏者Ｐによる演奏を撮像した画像信号から抽出された特徴量を所与の学習データとして利用して、識別モデルの機械学習（例えばディープラーニング）が事前に実行される。検出処理部５２４は、実際に自動演奏が実行される場面で画像信号Ｖから抽出した特徴量を機械学習後の識別モデルに適用することで合図動作を検出する。
【００１７】
図１の演奏解析部５４は、演奏対象曲のうち複数の演奏者Ｐが現に演奏している位置（以下「演奏位置」という）Ｔを各演奏者Ｐによる演奏に並行して順次に推定する。具体的には、演奏解析部５４は、複数の収音装置２２４の各々が収音した音を解析することで演奏位置Ｔを推定する。図１に例示される通り、本実施形態の演奏解析部５４は、音響混合部５４２と解析処理部５４４とを具備する。音響混合部５４２は、複数の収音装置２２４が生成した複数の音響信号Ａ0を混合することで音響信号Ａを生成する。すなわち、音響信号Ａは、相異なる音響信号Ａ0が表す複数種の音の混合音を表す信号である。
【００１８】
解析処理部５４４は、音響混合部５４２が生成した音響信号Ａの解析により演奏位置Ｔを推定する。例えば、解析処理部５４４は、音響信号Ａが表す音と楽曲データＭが示す演奏対象曲の演奏内容とを相互に照合することで演奏位置Ｔを特定する。また、本実施形態の解析処理部５４４は、演奏対象曲の演奏速度（テンポ）Ｒを音響信号Ａの解析により推定する。例えば、解析処理部５４４は、演奏位置Ｔの時間変化（すなわち、時間軸方向における演奏位置Ｔの変化）から演奏速度Ｒを特定する。なお、解析処理部５４４による演奏位置Ｔおよび演奏速度Ｒの推定には、公知の音響解析技術（スコアアライメント）が任意に採用され得る。例えば、特許文献１に開示された解析技術を演奏位置Ｔおよび演奏速度Ｒの推定に利用してもよい。また、ニューラルネットワークまたは多分木等の識別モデルを演奏位置Ｔおよび演奏速度Ｒの推定に利用してもよい。例えば、複数の演奏者Ｐによる演奏を収音した音響信号Ａから抽出された特徴量を所与の学習データとして利用して、識別モデルを生成する機械学習（例えばディープラーニング）が自動演奏前に実行される。解析処理部５４４は、実際に自動演奏が実行される場面で音響信号Ａから抽出した特徴量を、機械学習により生成された識別モデルに適用することで演奏位置Ｔおよび演奏速度Ｒを推定する。
【００１９】
合図検出部５２による合図動作の検出と演奏解析部５４による演奏位置Ｔおよび演奏速度Ｒの推定とは、複数の演奏者Ｐによる演奏対象曲の演奏に並行して実時間的に実行される。例えば、合図動作の検出と演奏位置Ｔおよび演奏速度Ｒの推定とが所定の周期で反復される。ただし、合図動作の検出の周期と演奏位置Ｔおよび演奏速度Ｒの推定の周期との異同は不問である。
【００２０】
図１の演奏制御部５６は、合図検出部５２が検出する合図動作と演奏解析部５４が推定する演奏位置Ｔの進行とに同期するように自動演奏装置２４に演奏対象曲の自動演奏を実行させる。具体的には、演奏制御部５６は、合図検出部５２による合図動作の検出を契機として自動演奏の開始を自動演奏装置２４に対して指示するとともに、演奏対象曲のうち演奏位置Ｔに対応する時点について楽曲データＭが指定する演奏内容を自動演奏装置２４に指示する。すなわち、演奏制御部５６は、演奏対象曲の楽曲データＭに含まれる各指示データを自動演奏装置２４に対して順次に供給するシーケンサである。自動演奏装置２４は、演奏制御部５６からの指示に応じて演奏対象曲の自動演奏を実行する。複数の演奏者Ｐによる演奏の進行とともに演奏位置Ｔは演奏対象曲内の後方に移動するから、自動演奏装置２４による演奏対象曲の自動演奏も演奏位置Ｔの移動とともに進行する。以上の説明から理解される通り、演奏対象曲の各音の強度またはフレーズ表現等の音楽表現を楽曲データＭで指定された内容に維持したまま、演奏のテンポと各音のタイミングとは複数の演奏者Ｐによる演奏に同期するように、演奏制御部５６は自動演奏装置２４に自動演奏を指示する。したがって、例えば特定の演奏者（例えば現在では生存していない過去の演奏者）の演奏を表す楽曲データＭを使用すれば、当該演奏者に特有の音楽表現を自動演奏で忠実に再現しながら、当該演奏者と実在の複数の演奏者Ｐとが恰も相互に呼吸を合わせて協調的に合奏しているかのような雰囲気を醸成することが可能である。
【００２１】
ところで、演奏制御部５６が指示データの出力により自動演奏装置２４に自動演奏を指示してから自動演奏装置２４が実際に発音する（例えば発音機構２４４のハンマが打弦する）までには数百ミリ秒程度の時間が必要である。すなわち、演奏制御部５６からの指示に対して自動演奏装置２４による実際の発音は不可避的に遅延する。したがって、演奏対象曲のうち演奏解析部５４が推定した演奏位置Ｔ自体の演奏を演奏制御部５６が自動演奏装置２４に指示する構成では、複数の演奏者Ｐによる演奏に対して自動演奏装置２４による発音が遅延する結果となる。
【００２２】
そこで、本実施形態の演奏制御部５６は、図２に例示される通り、演奏対象曲のうち演奏解析部５４が推定した演奏位置Ｔに対して後方（未来）の時点ＴAの演奏を自動演奏装置２４に指示する。すなわち、遅延後の発音が複数の演奏者Ｐによる演奏に同期する（例えば演奏対象曲の特定の音符が自動演奏装置２４と各演奏者Ｐとで略同時に演奏される）ように、演奏制御部５６は演奏対象曲の楽曲データＭ内の指示データを先読みする。
【００２３】
図４は、演奏位置Ｔの時間的な変化の説明図である。単位時間内の演奏位置Ｔの変動量（図４の直線の勾配）が演奏速度Ｒに相当する。図４では、演奏速度Ｒが一定に維持された場合が便宜的に例示されている。
【００２４】
図４に例示される通り、演奏制御部５６は、演奏対象曲のうち演奏位置Ｔに対して調整量αだけ後方の時点ＴAの演奏を自動演奏装置２４に指示する。調整量αは、演奏制御部５６による自動演奏の指示から自動演奏装置２４が実際に発音するまでの遅延量Ｄと、演奏解析部５４が推定した演奏速度Ｒとに応じて可変に設定される。具体的には、演奏速度Ｒのもとで遅延量Ｄの時間内に演奏対象曲の演奏が進行する区間長を、演奏制御部５６は調整量αとして設定する。したがって、演奏速度Ｒが速い（図４の直線の勾配が急峻である）ほど調整量αは大きい数値となる。なお、図４では演奏対象曲の全区間にわたり演奏速度Ｒが一定に維持された場合を想定したが、実際には演奏速度Ｒは変動し得る。したがって、調整量αは、演奏速度Ｒに連動して経時的に変動する。
【００２５】
遅延量Ｄは、自動演奏装置２４の測定結果に応じた所定値（例えば数十から数百ミリ秒程度）に事前に設定される。なお、実際の自動演奏装置２４では、演奏される音高または強度に応じて遅延量Ｄが相違し得る。そこで、自動演奏の対象となる音符の音高または強度に応じて遅延量Ｄ（さらには遅延量Ｄに依存する調整量α）を可変に設定してもよい。
【００２６】
また、演奏制御部５６は、合図検出部５２が検出する合図動作を契機として演奏対象曲の自動演奏の開始を自動演奏装置２４に指示する。図５は、合図動作と自動演奏との関係の説明図である。図５に例示される通り、演奏制御部５６は、合図動作が検出された時点Ｑから時間長δが経過した時点ＱAで自動演奏装置２４に対する自動演奏の指示を開始する。時間長δは、準備期間Ｂに相当する時間長τから自動演奏の遅延量Ｄを減算した時間長である。準備期間Ｂの時間長τは演奏対象曲の演奏速度Ｒに応じて変動する。具体的には、演奏速度Ｒが速い（図５の直線の勾配が急峻である）ほど準備期間Ｂの時間長τは短くなる。ただし、合図動作の時点ＱAでは演奏対象曲の演奏は開始されていないから、演奏速度Ｒは推定されていない。そこで、演奏制御部５６は、演奏対象曲に想定される標準的な演奏速度（標準テンポ）Ｒ0に応じて準備期間Ｂの時間長τを算定する。演奏速度Ｒ0は、例えば楽曲データＭにて指定される。ただし、複数の演奏者Ｐが演奏対象曲について共通に認識している速度（例えば演奏練習時に想定した速度）を演奏速度Ｒ0として設定してもよい。
【００２７】
以上に説明した通り、演奏制御部５６は、合図動作の時点ＱAから時間長δ（δ＝τ−Ｄ）が経過した時点ＱAで自動演奏の指示を開始する。したがって、合図動作の時点Ｑから準備期間Ｂが経過した時点ＱB（すなわち、複数の演奏者Ｐが演奏を開始する時点）において、自動演奏装置２４による発音が開始される。すなわち、複数の演奏者Ｐによる演奏対象曲の演奏の開始と略同時に自動演奏装置２４による自動演奏が開始される。本実施形態の演奏制御部５６による自動演奏の制御は以上の例示の通りである。
【００２８】
図１の表示制御部５８は、自動演奏装置２４による自動演奏の進行を視覚的に表現した画像（以下「演奏画像」という）Ｇを表示装置２６に表示させる。具体的には、表示制御部５８は、演奏画像Ｇを表す画像データを生成して表示装置２６に出力することで演奏画像Ｇを表示装置２６に表示させる。表示装置２６は、表示制御部５８から指示された演奏画像Ｇを表示する。例えば液晶表示パネルまたはプロジェクタが表示装置２６の好適例である。複数の演奏者Ｐは、表示装置２６が表示する演奏画像Ｇを、演奏対象曲の演奏に並行して随時に視認することが可能である。
【００２９】
本実施形態の表示制御部５８は、自動演奏装置２４による自動演奏に連動して動的に変化する動画像を演奏画像Ｇとして表示装置２６に表示させる。図６および図７は、演奏画像Ｇの表示例である。図６および図７に例示される通り、演奏画像Ｇは、底面７２が存在する仮想空間７０に表示体（オブジェクト）７４を配置した立体的な画像である。図６に例示される通り、表示体７４は、仮想空間７０内に浮遊するとともに所定の速度で降下する略球状の立体である。仮想空間７０の底面７２には表示体７４の影７５が表示され、表示体７４の降下とともに底面７２上で当該影７５が表示体７４に接近する。図７に例示される通り、自動演奏装置２４による発音が開始される時点で表示体７４は仮想空間７０内の所定の高度まで上昇するとともに、当該発音の継続中に表示体７４の形状が不規則に変形する。そして、自動演奏による発音が停止（消音）すると、表示体７４の不規則な変形が停止して図６の初期的な形状（球状）に復帰し、表示体７４が所定の速度で降下する状態に遷移する。自動演奏による発音毎に表示体７４の以上の動作（上昇および変形）が反復される。例えば、演奏対象曲の演奏の開始前に表示体７４は降下し、演奏対象曲の始点の音符が自動演奏により発音される時点で表示体７４の移動の方向が降下から上昇に転換する。したがって、表示装置２６に表示された演奏画像Ｇを視認する演奏者Ｐは、表示体７４の降下から上昇への転換により自動演奏装置２４による発音のタイミングを把握することが可能である。
【００３０】
本実施形態の表示制御部５８は、以上に例示した演奏画像Ｇが表示されるように表示装置２６を制御する。なお、表示制御部５８が表示装置２６に画像の表示または変更を指示してから、表示装置２６による表示画像に当該指示が反映されるまでの遅延は、自動演奏装置２４による自動演奏の遅延量Ｄと比較して充分に小さい。そこで、表示制御部５８は、演奏対象曲のうち演奏解析部５４が推定した演奏位置Ｔ自体の演奏内容に応じた演奏画像Ｇを表示装置２６に表示させる。したがって、前述の通り、自動演奏装置２４による実際の発音（演奏制御部５６による指示から遅延量Ｄだけ遅延した時点）に同期して演奏画像Ｇが動的に変化する。すなわち、演奏対象曲の各音符の発音を自動演奏装置２４が実際に開始する時点で演奏画像Ｇの表示体７４の移動は降下から上昇に転換する。したがって、各演奏者Ｐは、自動演奏装置２４が演奏対象曲の各音符を発音する時点を視覚的に確認することが可能である。
【００３１】
図８は、自動演奏システム１００の制御装置１２の動作を例示するフローチャートである。例えば、所定の周期で発生する割込信号を契機として、複数の演奏者Ｐによる演奏対象曲の演奏に並行して図８の処理が開始される。図８の処理を開始すると、制御装置１２（合図検出部５２）は、複数の撮像装置２２２から供給される複数の画像信号Ｖ0を解析することで、任意の演奏者Ｐによる合図動作の有無を判定する（ＳA1）。また、制御装置１２（演奏解析部５４）は、複数の収音装置２２４から供給される複数の音響信号Ａ0の解析により演奏位置Ｔと演奏速度Ｒとを推定する（ＳA2）。なお、合図動作の検出（ＳA1）と演奏位置Ｔおよび演奏速度Ｒの推定（ＳA2）との順序は逆転され得る。
【００３２】
制御装置１２（演奏制御部５６）は、演奏位置Ｔおよび演奏速度Ｒに応じた自動演奏を自動演奏装置２４に対して指示する（ＳA3）。具体的には、合図検出部５２が検出する合図動作と演奏解析部５４が推定する演奏位置Ｔの進行とに同期するように自動演奏装置２４に演奏対象曲の自動演奏を実行させる。また、制御装置１２（表示制御部５８）は、自動演奏の進行を表現する演奏画像Ｇを表示装置２６に表示させる（ＳA4）。
【００３３】
以上に例示した実施形態では、演奏者Ｐによる合図動作と演奏位置Ｔの進行とに同期するように自動演奏装置２４による自動演奏が実行される一方、自動演奏装置２４による自動演奏の進行を表す演奏画像Ｇが表示装置２６に表示される。したがって、自動演奏装置２４による自動演奏の進行を演奏者Ｐが視覚的に確認して自身の演奏に反映させることが可能である。すなわち、複数の演奏者Ｐによる演奏と自動演奏装置２４による自動演奏とが相互に作用し合う自然な合奏が実現される。本実施形態では特に、自動演奏による演奏内容に応じて動的に変化する演奏画像Ｇが表示装置２６に表示されるから、演奏者Ｐが自動演奏の進行を視覚的および直観的に把握できるという利点がある。
【００３４】
また、本実施形態では、演奏解析部５４が推定した演奏位置Ｔに対して時間的に後方の時点ＴAの演奏内容が自動演奏装置２４に指示される。したがって、演奏制御部５６による演奏の指示に対して自動演奏装置２４による実際の発音が遅延する場合でも、演奏者Ｐによる演奏と自動演奏とを高精度に同期させることが可能である。また、演奏解析部５４が推定した演奏速度Ｒに応じた可変の調整量αだけ演奏位置Ｔに対して後方の時点ＴAの演奏が自動演奏装置２４に指示される。したがって、例えば演奏速度Ｒが変動する場合でも、演奏者による演奏と自動演奏とを高精度に同期させることが可能である。
【００３５】
＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下に例示する各形態において作用または機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
【００３６】
図９は、第２実施形態における解析処理部５４４の構成を例示するブロック図である。図９に例示される通り、第２実施形態の解析処理部５４４は、尤度算定部８２と位置推定部８４とを具備する。図１０は、尤度算定部８２の動作の説明図である。
【００３７】
尤度算定部８２は、複数の演奏者Ｐによる演奏対象曲の演奏に並行して、演奏対象曲内の複数の時点ｔの各々における観測尤度Ｌを算定する。すなわち、演奏対象曲内の複数の時点ｔにわたる観測尤度Ｌの分布（以下「観測尤度分布」という）が算定される。音響信号Ａを時間軸上で区分した単位区間（フレーム）毎に観測尤度分布が算定される。音響信号Ａの１個の単位区間について算定された観測尤度分布のうち任意の１個の時点ｔにおける観測尤度Ｌは、当該単位区間の音響信号Ａが表す音が演奏対象曲内の当該時点ｔで発音された確度の指標である。観測尤度Ｌは、複数の演奏者Ｐが演奏対象曲内の各時点ｔを演奏している確度の指標とも換言される。すなわち、任意の１個の単位区間について算定された観測尤度Ｌが高い時点ｔは、当該単位区間の音響信号Ａが表す音の発音位置に該当する可能性が高い。なお、相前後する単位区間は時間軸上で相互に重複し得る。
【００３８】
図９に例示される通り、第２実施形態の尤度算定部８２は、第１演算部８２１と第２演算部８２２と第３演算部８２３とを具備する。第１演算部８２１は第１尤度Ｌ1(A)を算定し、第２演算部８２２は第２尤度Ｌ2(C)を算定する。第３演算部８２３は、第１演算部８２１が算定した第１尤度Ｌ1(A)と第２演算部８２２が算定した第２尤度Ｌ2(C)との乗算により観測尤度Ｌの分布を算定する。すなわち、観測尤度Ｌは、第１尤度Ｌ1(A)と第２尤度Ｌ2(C)との積で表現される（Ｌ＝Ｌ1(A)Ｌ2(C)）。
【００３９】
第１演算部８２１は、各単位区間の音響信号Ａと演奏対象曲の楽曲データＭとを相互に照合することで、演奏対象曲内の複数の時点ｔの各々について第１尤度Ｌ1(A)を算定する。すなわち、図１０に例示される通り、演奏対象曲内の複数の時点ｔにわたる第１尤度Ｌ1(A)の分布が単位区間毎に算定される。第１尤度Ｌ1(A)は、音響信号Ａの解析により算定される尤度である。音響信号Ａの１個の単位区間の解析により任意の１個の時点ｔについて算定された第１尤度Ｌ1(A)は、当該単位区間の音響信号Ａが表す音が演奏対象曲内の当該時点ｔで発音された確度の指標である。時間軸上の複数の時点ｔのうち音響信号Ａの１個の単位区間の演奏位置に該当する可能性が高い時点ｔには、第１尤度Ｌ1(A)のピークが存在する。音響信号Ａから第１尤度Ｌ1(A)を算定する方法については、例えば特開２０１４−１７８３９５号公報の技術が好適に利用され得る。
【００４０】
図９の第２演算部８２２は、合図動作の検出の有無に応じた第２尤度Ｌ2(C)を算定する。具体的には、第２尤度Ｌ2(C)は、合図動作の有無を表す変数Ｃに応じて算定される。変数Ｃは、合図検出部５２から尤度算定部８２に通知される。合図検出部５２が合図動作を検出した場合に変数Ｃは１に設定され、合図動作５２が合図動作を検出しない場合に変数Ｃは０に設定される。なお、変数Ｃの数値は０および１の２値に限定されない。例えば、合図動作の非検出時の変数Ｃを所定の正数（ただし、合図動作の検出時の変数Ｃの数値を下回る数値）に設定してもよい。
【００４１】
図１０に例示される通り、演奏対象曲の時間軸上には複数の基準点ａが指定される。基準点ａは、例えば楽曲の開始時点、または、フェルマータ等で指示された長時間の休符から演奏が再開される時点である。例えば、演奏対象曲内の複数の基準点ａの各々の時刻が楽曲データＭにより指定される。
【００４２】
図１０に例示される通り、第２尤度Ｌ2(C)は、合図動作が検出されない単位区間（Ｃ＝０）では１に維持される。他方、合図動作が検出された単位区間（Ｃ＝１）では、第２尤度Ｌ2(C)は、各基準点ａから時間軸上で前方側の所定長にわたる期間（以下「参照期間」という）ρにて０（第２値の例示）に設定され、各参照期間ρ以外の期間にて１（第１値の例示）に設定される。参照期間ρは、例えば、演奏対象曲の１拍分から２拍分ほどの時間長に設定される。前述の通り、観測尤度Ｌは、第１尤度Ｌ1(A)と第２尤度Ｌ2(C)との積で算定される。したがって、合図動作が検出された場合には、演奏対象曲に指定された複数の基準点ａの各々の前方の参照期間ρにおける観測尤度Ｌが０に低下する。他方、合図動作が検出されない場合には、第２尤度Ｌ2(C)は１に維持されるから、第１尤度Ｌ1(A)が観測尤度Ｌとして算定される。
【００４３】
図９の位置推定部８４は、尤度算定部８２が算定した観測尤度Ｌに応じて演奏位置Ｔを推定する。具体的には、位置推定部８４は、観測尤度Ｌから演奏位置Ｔの事後分布を算定し、当該事後分布から演奏位置Ｔを推定する。演奏位置Ｔの事後分布は、単位区間内の音響信号Ａが観測されたという条件のもとで当該単位区間の発音の時点が演奏対象曲内の位置ｔであった事後確率の確率分布である。観測尤度Ｌを利用した事後分布の算定には、例えば特開２０１５−７９１８３号公報に開示される通り、隠れセミマルコフモデル（ＨＳＭＭ）を利用したベイズ推定等の公知の統計処理が利用される。
【００４４】
前述の通り、合図動作に対応する基準点ａの前方の参照期間ρでは観測尤度Ｌが０に設定されるから、事後分布は、当該基準点ａ以降の区間にて有効となる。したがって、合図動作に対応する基準点ａ以降の時点が演奏位置Ｔとして推定される。また、位置推定部８４は、演奏位置Ｔの時間変化から演奏速度Ｒを特定する。解析処理部５４４以外の構成および動作は第１実施形態と同様である。
【００４５】
図１１は、解析処理部５４４が演奏位置Ｔおよび演奏速度Ｒを推定する処理（図８のステップＳA2）の内容を例示するフローチャートである。複数の演奏者Ｐによる演奏対象曲の演奏に並行して、時間軸上の単位区間毎に図１１の処理が実行される。
【００４６】
第１演算部８２１は、単位区間内の音響信号Ａを解析することにより、演奏対象曲内の複数の時点ｔの各々について第１尤度Ｌ1(A)を算定する（ＳA21）。また、第２演算部８２２は、合図動作の検出の有無に応じた第２尤度Ｌ2(C)を算定する（ＳA22）。なお、第１演算部８２１による第１尤度Ｌ1(A)の算定（ＳA21）と第２演算部８２２による第２尤度Ｌ2(C)の算定（ＳA22）との順序を逆転してもよい。第３演算部８２３は、第１演算部８２１が算定した第１尤度Ｌ1(A)と第２演算部８２２が算定した第２尤度Ｌ2(C)とを乗算することで観測尤度Ｌの分布を算定する（ＳA23）。
【００４７】
位置推定部８４は、尤度算定部８２が算定した観測尤度分布に応じて演奏位置Ｔを推定する（ＳA24）。また、位置推定部８４は、演奏位置Ｔの時間変化から演奏速度Ｒを算定する（ＳA25）。
【００４８】
以上に説明した通り、第２実施形態では、音響信号Ａの解析結果に加えて合図動作の検出結果が演奏位置Ｔの推定に加味されるから、例えば音響信号Ａの解析結果のみを考慮する構成と比較して演奏位置Ｔを高精度に推定することが可能である。例えば楽曲の開始時点または休符から演奏が再開される時点においても高精度に演奏位置Ｔが推定される。また、第２実施形態では、合図動作が検出された場合に、演奏対象曲に指定された複数の基準点ａのうち当該合図動作が検出された基準点ａに対応する参照期間ρ内の観測尤度Ｌが低下する。すなわち、参照期間ρ以外の合図動作の検出時点は演奏時点Ｔの推定に反映されない。したがって、合図動作が誤検出された場合の演奏時点Ｔの誤推定を抑制できるという利点がある。
【００４９】
＜変形例＞
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
【００５０】
（１）前述の実施形態では、合図検出部５２が検出した合図動作を契機として演奏対象曲の自動演奏を開始したが、演奏対象曲の途中の時点における自動演奏の制御に合図動作を使用してもよい。例えば、演奏対象曲内で長時間にわたる休符が終了して演奏が再開される時点で、前述の各形態と同様に、合図動作を契機として演奏対象曲の自動演奏が再開される。例えば、図５を参照して説明した動作と同様に、演奏対象曲内で休符後に演奏が再開される時点に対して準備期間Ｂだけ手前の時点Ｑで特定の演奏者Ｐが合図動作を実行する。そして、遅延量Ｄと演奏速度Ｒとに応じた時間長δが当該時点Ｑから経過した時点で、演奏制御部５６は、自動演奏装置２４に対する自動演奏の指示を再開する。なお、演奏対象曲の途中の時点では既に演奏速度Ｒが推定されているから、時間長δの設定には、演奏解析部５４が推定した演奏速度Ｒが適用される。
【００５１】
ところで、演奏対象曲のうち合図動作が実行され得る期間は、演奏対象曲の演奏内容から事前に把握され得る。そこで、演奏対象曲のうち合図動作が実行される可能性がある特定の期間（以下「監視期間」という）を対象として合図検出部５２が合図動作の有無を監視してもよい。例えば、演奏対象曲に想定される複数の監視期間の各々について始点と終点とを指定する区間指定データが記憶装置１４に格納される。区間指定データを楽曲データＭに内包させてもよい。合図検出部５２は、演奏対象曲のうち区間指定データで指定される各監視期間内に演奏位置Ｔが存在する場合に合図動作の監視を実行し、演奏位置Ｔが監視期間の外側にある場合には合図動作の監視を停止する。以上の構成によれば、演奏対象曲のうち監視期間に限定して合図動作が検出されるから、演奏対象曲の全区間にわたり合図動作の有無を監視する構成と比較して合図検出部５２の処理負荷が軽減されるという利点がある。また、演奏対象曲のうち実際には合図動作が実行され得ない期間について合図動作が誤検出される可能性を低減することも可能である。
【００５２】
（２）前述の実施形態では、画像信号Ｖが表す画像の全体（図３）を解析することで合図動作を検出したが、画像信号Ｖが表す画像のうち特定の領域（以下「監視領域」という）を対象として、合図検出部５２が合図動作の有無を監視してもよい。例えば、合図検出部５２は、画像信号Ｖが示す画像のうち合図動作が予定されている特定の演奏者Ｐを含む範囲を監視領域として選択し、当該監視領域を対象として合図動作を検出する。監視領域以外の範囲については合図検出部５２による監視対象から除外される。以上の構成によれば、監視領域に限定して合図動作が検出されるから、画像信号Ｖが示す画像の全体にわたり合図動作の有無を監視する構成と比較して合図検出部５２の処理負荷が軽減されるという利点がある。また、実際には合図動作を実行しない演奏者Ｐの動作が合図動作と誤判定される可能性を低減することも可能である。
【００５３】
なお、前述の変形例（１）で例示した通り、演奏対象曲の演奏中に複数回にわたり合図動作が実行される場合を想定すると、合図動作を実行する演奏者Ｐが合図動作毎に変更される可能性もある。例えば、演奏対象曲の開始前の合図動作は演奏者Ｐ1が実行する一方、演奏対象曲の途中の合図動作は演奏者Ｐ2が実行する。したがって、画像信号Ｖが表す画像内で監視領域の位置（またはサイズ）を経時的に変更する構成も好適である。合図動作を実行する演奏者Ｐは演奏前に決定されるから、例えば監視領域の位置を時系列に指定する領域指定データが記憶装置１４に事前に格納される。合図検出部５２は、画像信号Ｖが表す画像のうち領域指定データで指定される各監視領域について合図動作を監視し、監視領域以外の領域については合図動作の監視対象から除外する。以上の構成によれば、合図動作を実行する演奏者Ｐが楽曲の進行とともに変更される場合でも、合図動作を適切に検出することが可能である。
【００５４】
（３）前述の実施形態では、複数の撮像装置２２２を利用して複数の演奏者Ｐを撮像したが、１個の撮像装置２２２により複数の演奏者Ｐ（例えば複数の演奏者Ｐが所在する舞台の全体）を撮像してもよい。同様に、複数の演奏者Ｐが演奏した音を１個の収音装置２２４により収音してもよい。また、複数の画像信号Ｖ0の各々について合図検出部５２が合図動作の有無を監視する構成（したがって、画像合成部５２２は省略され得る）も採用され得る。
【００５５】
（４）前述の実施形態では、撮像装置２２２が撮像した画像信号Ｖの解析で合図動作を検出したが、合図検出部５２が合図動作を検出する方法は以上の例示に限定されない。例えば、演奏者Ｐの身体に装着された検出器（例えば加速度センサ等の各種のセンサ）の検出信号を解析することで合図検出部５２が演奏者Ｐの合図動作を検出してもよい。ただし、撮像装置２２２が撮像した画像の解析により合図動作を検出する前述の実施形態の構成によれば、演奏者Ｐの身体に検出器を装着する場合と比較して、演奏者Ｐの演奏動作に対する影響を低減しながら合図動作を検出できるという利点がある。
【００５６】
（５）前述の実施形態では、相異なる楽器の音を表す複数の音響信号Ａ0を混合した音響信号Ａの解析により演奏位置Ｔおよび演奏速度Ｒを推定したが、各音響信号Ａ0の解析により演奏位置Ｔおよび演奏速度Ｒを推定してもよい。例えば、演奏解析部５４は、複数の音響信号Ａ0の各々について前述の実施形態と同様の方法で暫定的な演奏位置Ｔおよび演奏速度Ｒを推定し、各音響信号Ａ0に関する推定結果から確定的な演奏位置Ｔおよび演奏速度Ｒを決定する。例えば各音響信号Ａ0から推定された演奏位置Ｔおよび演奏速度Ｒの代表値（例えば平均値）が確定的な演奏位置Ｔおよび演奏速度Ｒとして算定される。以上の説明から理解される通り、演奏解析部５４の音響混合部５４２は省略され得る。
【００５７】
（６）前述の実施形態で例示した通り、自動演奏システム１００は、制御装置１２とプログラムとの協働で実現される。本発明の好適な態様に係るプログラムは、演奏対象曲を演奏する演奏者Ｐの合図動作を検出する合図検出部５２、演奏された音を表す音響信号Ａを当該演奏に並行して解析することで演奏対象曲内の演奏位置Ｔを順次に推定する演奏解析部５４、合図検出部５２が検出する合図動作と演奏解析部５４が推定する演奏位置Ｔの進行とに同期するように演奏対象曲の自動演奏を自動演奏装置２４に実行させる演奏制御部５６、および、自動演奏の進行を表す演奏画像Ｇを表示装置２６に表示させる表示制御部５８、としてコンピュータを機能させる。すなわち、本発明の好適な態様に係るプログラムは、本発明の好適な態様に係る楽曲データ処理方法をコンピュータに実行させるプログラムである。以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、通信網を介した配信の形態でプログラムをコンピュータに配信してもよい。
【００５８】
（７）本発明の好適な態様は、前述の実施形態に係る自動演奏システム１００の動作方法（自動演奏方法）としても特定される。例えば、本発明の好適な態様に係る自動演奏方法は、コンピュータシステム（単体のコンピュータ、または複数のコンピュータで構成されるシステム）が、演奏対象曲を演奏する演奏者Ｐの合図動作を検出し（ＳA1）、演奏された音を表す音響信号Ａを当該演奏に並行して解析することで演奏対象曲内の演奏位置Ｔを順次に推定し（ＳA2）、合図動作と演奏位置Ｔの進行とに同期するように演奏対象曲の自動演奏を自動演奏装置２４に実行させ（ＳA3）、自動演奏の進行を表す演奏画像Ｇを表示装置２６に表示させる（ＳA4）。
【００５９】
（８）以上に例示した形態から、例えば以下の構成が把握される。
［態様Ａ１］
本発明の好適な態様（態様Ａ１）に係る演奏解析方法は、楽曲を演奏する演奏者の合図動作を検出し、前記楽曲を演奏した音を表す音響信号の解析により、前記楽曲内の各時点が演奏位置に該当する確度の指標である観測尤度の分布を算定し、前記観測尤度の分布に応じて前記演奏位置を推定し、前記観測尤度の分布の算定において、前記合図動作を検出した場合には、前記楽曲について時間軸上に指定された基準点の前方の期間における観測尤度を低下させる。以上の態様では、音響信号の解析結果に加えて合図動作の検出結果が演奏位置の推定に加味されるから、例えば音響信号の解析結果のみを考慮する構成と比較して演奏位置を高精度に推定することが可能である。
［態様Ａ２］
態様Ａ１の好適例（態様Ａ２）において、前記観測尤度の分布の算定では、前記楽曲内の各時点が演奏位置に該当する確度の指標である第１尤度を前記音響信号から算定し、前記合図動作が検出されない状態において第１値に設定され、前記合図動作が検出された場合には、前記基準点の前方の期間において、前記第１値を下回る第２値に設定される第２尤度を算定し、前記第１尤度と前記第２尤度との乗算により前記観測尤度を算定する。以上の態様では、音響信号から算定された第１尤度と合図動作の検出結果に応じた第２尤度との乗算により観測尤度を簡便に算定できるという利点がある。
［態様Ａ３］
態様Ａ２の好適例（態様Ａ３）において、前記第１値は１であり、前記第２値は０である。以上の態様によれば、合図動作が検出された場合と検出されない場合とで観測尤度を明確に区別することが可能である。
［態様Ａ４］
本発明の好適な態様（態様Ａ４）に係る自動演奏方法は、楽曲を演奏する演奏者の合図動作を検出し、前記楽曲を演奏した音を表す音響信号の解析により前記楽曲内の演奏位置を推定し、前記演奏位置の進行に同期するように前記楽曲の自動演奏を自動演奏装置に実行させ、前記演奏位置の推定においては、前記音響信号の解析により、前記楽曲内の各時点が演奏位置に該当する確度の指標である観測尤度の分布を算定し、前記観測尤度の分布に応じて前記演奏位置を推定し、前記観測尤度の分布の算定において、前記合図動作を検出した場合には、前記楽曲について時間軸上に指定された基準点の前方の期間における観測尤度を低下させる。以上の態様では、音響信号の解析結果に加えて合図動作の検出結果が演奏位置の推定に加味されるから、例えば音響信号の解析結果のみを考慮する構成と比較して演奏位置を高精度に推定することが可能である。
［態様Ａ５］
態様Ａ４の好適例（態様Ａ５）において、前記観測尤度の分布の算定では、前記楽曲内の各時点が演奏位置に該当する確度の指標である第１尤度を前記音響信号から算定し、前記合図動作が検出されない状態において第１値に設定され、前記合図動作が検出された場合には、前記基準点の前方の期間において、前記第１値を下回る第２値に設定される第２尤度を算定し、前記第１尤度と前記第２尤度との乗算により前記観測尤度を算定する。以上の態様では、音響信号から算定された第１尤度と合図動作の検出結果に応じた第２尤度との乗算により観測尤度を簡便に算定できるという利点がある。
［態様Ａ６］
態様Ａ４または態様Ａ５の好適例（態様Ａ６）において、前記楽曲の演奏内容を表す楽曲データに従って前記自動演奏装置に自動演奏を実行させ、前記複数の基準点は、前記楽曲データにより指定される。以上の態様では、自動演奏装置に自動演奏を指示する楽曲データにより各基準点が指定されるから、楽曲データとは別個に複数の基準点を指定する構成と比較して構成および処理が簡素化されるという利点がある。
［態様Ａ７］
態様Ａ４から態様Ａ６の何れかの好適例（態様Ａ７）において、前記自動演奏の進行を表す画像を表示装置に表示させる。以上の態様によれば、自動演奏装置による自動演奏の進行を演奏者が視覚的に確認して自身の演奏に反映させることが可能である。すなわち、演奏者による演奏と自動演奏装置による自動演奏とが相互に作用し合う自然な演奏が実現される。
［態様Ａ８］
本発明の好適な態様（態様Ａ８）に係る自動演奏システムは、楽曲を演奏する演奏者の合図動作を検出する合図検出部と、前記楽曲を演奏した音を表す音響信号の解析により前記楽曲内の演奏位置を推定する解析処理部と、前記合図検出部が検出する合図動作と前記演奏解析部が推定する演奏位置の進行とに同期するように楽曲の自動演奏を自動演奏装置に実行させる演奏制御部とを具備し、前記解析処理部は、前記音響信号の解析により、前記楽曲内の各時点が演奏位置に該当する確度の指標である観測尤度の分布を算定する尤度算定部と、前記観測尤度の分布に応じて前記演奏位置を推定する位置推定部とを含み、前記尤度算定部は、前記合図動作を検出した場合には、前記楽曲について時間軸上に指定された基準点の前方の期間における観測尤度を低下させる。以上の態様では、音響信号の解析結果に加えて合図動作の検出結果が演奏位置の推定に加味されるから、例えば音響信号の解析結果のみを考慮する構成と比較して演奏位置を高精度に推定することが可能である。
【００６０】
（９）前述の形態で例示した自動演奏システムについて、例えば以下の構成が把握される。
［態様Ｂ１］
本発明の好適な態様（態様Ｂ１）に係る自動演奏システムは、楽曲を演奏する演奏者の合図動作を検出する合図検出部と、演奏された音を表す音響信号を当該演奏に並行して解析することで楽曲内の演奏位置を順次に推定する演奏解析部と、合図検出部が検出する合図動作と演奏解析部が推定する演奏位置の進行とに同期するように楽曲の自動演奏を自動演奏装置に実行させる演奏制御部と、自動演奏の進行を表す画像を表示装置に表示させる表示制御部とを具備する。以上の構成では、演奏者による合図動作と演奏位置の進行とに同期するように自動演奏装置による自動演奏が実行される一方、自動演奏装置による自動演奏の進行を表す画像が表示装置に表示される。したがって、自動演奏装置による自動演奏の進行を演奏者が視覚的に確認して自身の演奏に反映させることが可能である。すなわち、演奏者による演奏と自動演奏装置による自動演奏とが相互に作用し合う自然な演奏が実現される。
［態様Ｂ２］
態様Ｂ１の好適例（態様Ｂ２）において、演奏制御部は、楽曲のうち演奏解析部が推定した演奏位置に対して後方の時点の演奏を自動演奏装置に指示する。以上の態様では、演奏解析部が推定した演奏位置に対して時間的に後方の時点の演奏内容が自動演奏装置に指示される。したがって、演奏制御部による演奏の指示に対して自動演奏装置による実際の発音が遅延する場合でも、演奏者による演奏と自動演奏とを高精度に同期させることが可能である。
［態様Ｂ３］
態様Ｂ２の好適例（態様Ｂ３）において、演奏解析部は、音響信号の解析により演奏速度を推定し、演奏制御部は、楽曲のうち、演奏解析部が推定した演奏位置に対して演奏速度に応じた調整量だけ後方の時点の演奏を、自動演奏装置に指示する。以上の態様では、演奏解析部が推定した演奏速度に応じた可変の調整量だけ演奏位置に対して後方の時点の演奏が自動演奏装置に指示される。したがって、例えば演奏速度が変動する場合でも、演奏者による演奏と自動演奏とを高精度に同期させることが可能である。
［態様Ｂ４］
態様Ｂ１から態様Ｂ３の何れかの好適例（態様Ｂ４）において、合図検出部は、撮像装置が演奏者を撮像した画像の解析により合図動作を検出する。以上の態様では、撮像装置が撮像した画像の解析により演奏者の合図動作が検出されるから、例えば演奏者の身体に装着した検出器により合図動作を検出する場合と比較して、演奏者による演奏に対する影響を低減しながら合図動作を検出できるという利点がある。
［態様Ｂ５］
態様Ｂ１から態様Ｂ４の何れかの好適例（態様Ｂ５）において、表示制御部は、自動演奏による演奏内容に応じて動的に変化する画像を表示装置に表示させる。以上の態様では、自動演奏による演奏内容に応じて動的に変化する画像が表示装置に表示されるから、演奏者が自動演奏の進行を視覚的および直観的に把握できるという利点がある。
［態様Ｂ６］
本発明の好適な態様（態様Ｂ６）に係る自動演奏方法は、コンピュータシステムが、楽曲を演奏する演奏者の合図動作を検出し、演奏された音を表す音響信号を当該演奏に並行して解析することで楽曲内の演奏位置を順次に推定し、合図動作と演奏位置の進行とに同期するように楽曲の自動演奏を自動演奏装置に実行させ、自動演奏の進行を表す画像を表示装置に表示させる。
【００６１】
＜詳細な説明＞
本発明の好適な態様は、以下のように表現され得る。
１．前提
自動演奏システムとは、人間の演奏に対し、機械が合わせて伴奏を生成するシステムである。ここでは、クラシック音楽のように、自動演奏システムと人間それぞれが弾くべき楽譜表現が与えられている自動演奏システムについて論じる。このような自動演奏システムは、音楽演奏の練習支援、または、演奏者に合わせてエレクトロニクスを駆動するような音楽の拡張表現など、幅広い応用がある。なお、以下では、合奏エンジンが演奏するパートのことを「伴奏パート」と呼ぶ。音楽的に整合した合奏を行うためには、伴奏パートの演奏タイミングを適切に制御することが必要である。適切なタイミング制御には、以下に記載する４つの要求がある。
【００６２】
［要求１］原則として、自動演奏システムは、人間の奏者が弾いている場所を弾く必要がある。したがって、自動演奏システムは、再生する楽曲の位置を、人間の演奏者に合わせる必要がある。特にクラシック音楽では、演奏速度(テンポ)の抑揚が音楽表現上重要であるため、演奏者のテンポ変化を追従する必要がある。また、より精度が高い追従を行うために、演奏者の練習(リハーサル)を解析することで、演奏者のクセを獲得することが好ましい。
【００６３】
［要求２］自動演奏システムは、音楽的に整合した演奏を生成すること。つまり、伴奏パートの音楽性が保たれる範囲内で人間の演奏を追従する必要がある。
【００６４】
［要求３］楽曲のコンテキストに応じて、伴奏パートが演奏者に合わせる度合い（主従関係）を変えることが可能であること。楽曲中には、音楽性を多少損なってでも人に合わせるべき場所、または、追従性を損なっても伴奏パートの音楽性を保持すべき場所がある。従って、要件１と要件２でそれぞれ述べた「追従性」と「音楽性」のバランスは楽曲のコンテキストにより変わる。たとえば、リズムが不明瞭なパートは、リズムをよりはっきり刻むパートに追従する傾向がある。
【００６５】
［要求４］演奏者の指示によって、即座に主従関係を変えることが可能であること。追従性と自動演奏システムの音楽性のトレードオフは、リハーサル中に人間同士が対話を通じて調整することが多い。また、このような調整を行った場合、調整を行った箇所を弾き直すことで、調整結果を確認する。したがって、リハーサル中に追従性の挙動を設定できる自動演奏システムが必要である。
【００６６】
これらの要求を同時に満たすためには、演奏者が演奏している位置を追従した上で、音楽的に破綻しないように伴奏パートを生成する必要がある。これらを実現するためには、自動演奏システムは、(1)演奏者の位置を予測するモデル、(2)音楽的な伴奏パートを生成するためのタイミング生成モデル、(3)主従関係を踏まえ、演奏タイミングを補正するモデル、の三要素が必要となる。また、これらの要素は独立して操作もしくは学習できる必要がある。しかし、従来はこれらの要素を独立に扱うことが難しかった。そこで、以下の説明では、(1)演奏者の演奏タイミング生成過程、(2)自動演奏システムが音楽的に演奏できる範囲を表現した演奏タイミング生成過程、(3)自動演奏システムが主従関係を持ちながら演奏者に合わせるための、自動演奏システムと演奏者の演奏タイミングを結合する過程、これら三要素を独立にモデル化し、統合することを考える。独立に表現することにより、個々の要素を独立に学習したり、操作することが可能になる。システム使用時には、演奏者のタイミング生成過程を推論しながら、自動演奏システムが演奏できるタイミングの範囲を推論し、合奏と演奏者のタイミングを協調させるように伴奏パートを再生する。これにより、自動演奏システムは音楽的に破綻しない合奏を、人間に合わせながら演奏することが可能になる。
【００６７】
２．関連技術
従来の自動演奏システムでは、楽譜追従を用いることで演奏者の演奏タイミングを推定する。その上で、合奏エンジンと人間を協調させるため、大きく分けて二つのアプローチが用いられる。第一に、多数のリハーサルを通じて演奏者と合奏エンジンの演奏タイミングに対する関係性を回帰することで、楽曲における平均的な挙動、もしくは時々刻々と変化する挙動、を獲得することが提案されている。このようなアプローチでは、合奏の結果自体を回帰するため、結果的に伴奏パートの音楽性と、伴奏パートの追従性を同時に獲得できる。一方、演奏者のタイミング予測、合奏エンジンの生成過程と、合わせる度合いを切り分けて表現することが難しいため、リハーサル中に追従性または音楽性を独立に操作することは難しいと考えられる。また、音楽的な追従性を獲得するためには、人間同士の合奏データを別途解析する必要があるため、コンテンツ整備にコストがかかる。第二に、少ないパラメータで記述される動的システムを用いることでテンポ軌跡に対して制約を設けるアプローチがある。このアプローチでは、テンポの連続性といった事前情報を設けた上で、リハーサルを通じて演奏者のテンポ軌跡などを学習する。また、伴奏パートは伴奏パートの発音タイミングを別途学習できる。これらは少ないパラメータでテンポ軌跡を記述するため、リハーサル中に伴奏パートまたは人間の「癖」を容易に手動で上書きできる。しかし、追従性を独立に操作することは難しく、追従性は演奏者と合奏エンジンそれぞれが独立に演奏した時における発音タイミングのばらつきから間接的に得られていた。リハーサル中における瞬発力を高めるためには、自動演奏システムによる学習と、自動演奏システムと演奏者との対話を交互に行うことが有効と考えられる。そこで、追従性を独立に操作するため、合奏再生ロジック自体を調整する方法が提案されている。本手法では、このようなアイディアに基づき、「合わせ方」「伴奏パートの演奏タイミング」「演奏者の演奏タイミング」を独立かつ対話的に制御できるような数理モデルを考える。
【００６８】
３．システムの概要
自動演奏システムの構成を図１２に示す。本手法では、演奏者の位置を追従するために、音響信号とカメラ映像に基づき楽譜追従を行う。また、楽譜追従の事後分布から得られた統計情報を元に、演奏者の演奏している位置の生成過程に基づき、演奏者の位置を予測する。伴奏パートの発音タイミングを決定するためには、演奏者のタイミングを予測モデルと、伴奏パートが取りうるタイミングの生成過程を結合することで、伴奏パートのタイミングを生成する。
【００６９】
４．楽譜追従
演奏者が現在弾いている楽曲中の位置を推定するために、楽譜追従を用いる。本システムの楽譜追従手法では、楽譜の位置と演奏されているテンポを同時に表現する離散的な状態空間モデルを考える。観測音を状態空間上の隠れマルコフ過程(hidden Markov model;ＨＭＭ)としてモデル化し、状態空間の事後分布をdelayed-decision型のforward-backwardアルゴリズムで逐次推定する。delayed-decision型のfoward-backwardアルゴリズムとは、forwardアルゴリズムを逐次実行し、現在の時刻がデータの終端と見なしbackwardアルゴリズムを走らせることで、現在の時刻より数フレーム前の状態に対する事後分布を算出することを言う。事後分布のＭＡＰ値が楽譜上でオンセットとみなされる位置を通過した時点で、事後分布のラプラス近似を出力する。
【００７０】
状態空間の構造に関して述べる。まず、楽曲をＲ個の区間に分け、それぞれの区間を一つの状態とする。ｒ番目の区間では、その区間を通過するのに必要なフレーム数ｎと、それぞれのｎに対し、現在の経過フレーム０≦１＜ｎを状態変数として持つ。つまり、ｎはある区間のテンポに相当し、ｒとｌを組み合わせたものが楽譜上の位置に相当する。このような状態空間上の遷移を、次のようなマルコフ過程として表現する。
【数１】
0006614356.tif 000002
このようなモデルは、explicit-duration HMMとleft-to-right HMMとの双方の特長を兼備する。すなわち、ｎの選択により、区間内の継続長を大まかに決めつつも、区間内における微小なテンポ変動を自己遷移確率ｐで吸収できる。区間の長さまたは自己遷移確率は、楽曲データを解析して求める。具体的には、テンポ指令またはフェルマータといったアノテーション情報を活用する。
【００７１】
次に、このようなモデルの観測尤度を定義する。それぞれの状態（ｒ,ｎ,ｌ）には、ある楽曲中の位置~ｓ(ｒ,ｎ,ｌ)が対応している。また、楽曲中における任意の位置ｓに対して、観測される定Ｑ変換(ＣＱＴ)とΔＣＱＴの平均値/~ｃs2と/Δ~ｃs2とに加え、精度κs(c)とκs(Δc)とがそれぞれ割り当てられる（記号/はベクトルを意味し、記号~は数式内のオーバーラインを意味する）。これらに基づき、時刻tにおいて、ＣＱＴ，ｃt，ΔＣＱＴ，Δｃtを観測したとき、状態（ｒt,ｎt,ｌt）に対応する観測尤度を以下のように定義する。
【数２】
0006614356.tif 000003
【００７２】
ここで、ｖＭＦ(x|μ,κ)とはvon Mises-Fisher分布を指し、具体的には、ｘ∈ＳD（ＳD：Ｄ−１次元単位球面）となるよう正規化して以下の数式で表現される。
【数３】
0006614356.tif 000004
【００７３】
~ｃまたはΔ~ｃを決める際には、楽譜表現のピアノロールと、各音から想定されるＣＱＴのモデルを用いる。まず楽譜上に存在する音高と楽器名のペアに対して固有のインデックスｉを割り当てる。また、ｉ番目の音に対して、平均的な観測ＣＱＴωifを割り当てる。楽譜上の位置sにおいて、ｉ番目の音の強度をｈsiと置くと、~ｃs,fは次のように与えられる。Δ~ｃは、~ｃs,fに対してs方向に一次差分を取り、半波整流することで得られる。
【数４】
0006614356.tif 000005
【００７４】
無音の状態から楽曲を開始する際には、視覚情報がより重要になる。そこで、本システムでは、前述の通り、演奏者の前に配置されたカメラから検出された合図動作（キュー）を活用する。本手法では、自動演奏システムをトップダウンに制御するアプローチとは異なり、観測尤度に直接に合図動作の有無を反映させることで、音響信号と合図動作を統一的に扱う。そこで、まず楽譜情報に合図動作が必要とされる箇所｛^ｑi｝を抽出する。^ｑiには、楽曲の開始地点またはフェルマータの位置が含まれる。楽譜追従を実行中に合図動作を検出した場合、楽譜上の位置Ｕ[^ｑi−Τ,^ｑi]に対応する状態の観測尤度を０にすることで、合図動作の位置以降に事後分布を誘導する。楽譜追従により、合奏エンジンは、楽譜上で音が切り替わった位置から数フレーム後に、現在推定される位置またはテンポの分布を正規分布として近似したものを受け取る。すなわち、楽譜追従エンジンは、楽曲データ上に存在するn番目の音の切り替わり(以下「オンセットイベント」という)を検出したら、そのオンセットイベントが検出された時刻のタイムスタンプｔnと、推定された楽譜上の平均位置μnとその分散σn2を合奏タイミング生成部に通知する。なお、delayed-decision型の推定を行うため、通知自体には１００ｍｓの遅延が生じる。
【００７５】
５．演奏タイミング結合モデル
合奏エンジンは、楽譜追従から通知された情報(ｔn,μn,σn2)を元に、適切な合奏エンジンの再生位置を計算する。合奏エンジンが演奏者に合わせるためには、(1)演奏者が演奏するタイミングの生成過程、(2)伴奏パートが演奏するタイミングの生成過程、(3)演奏者を聞きながら伴奏パートが演奏する過程の三つを独立にモデル化することが好ましい。このようなモデルを使い、伴奏パート生成したい演奏タイミングと、演奏者の予測位置を加味しながら、最終的な伴奏パートのタイミングを生成する。
【００７６】
５.１  演奏者の演奏タイミング生成過程
演奏者の演奏タイミングを表現するため、演奏者が、ｔnとｔn+1の間で楽譜上の位置を、速度ｖn(p)で直線運動していると仮定する。すなわち、ｘn(p)をｔnでの演奏者が弾いている楽譜上の位置とし、εn(p)を速度または楽譜上の位置に対するノイズとし、次のような生成過程を考える。ただし、ΔＴm,n＝ｔm−ｔnとする。
【数５】
0006614356.tif 000006
【００７７】
ノイズεn(p)は、テンポの変化に加え、アゴーギクまたは発音タイミング誤差が含まれる。前者を表すためには、テンポ変化に応じて発音タイミングも変わることを踏まえ、ｔnとｔn-1の間を、分散ψ2の正規分布から生成された加速度で遷移するモデルを考える。すると、εn(p)の共分散行列は、ｈ＝[ΔＴn,n-12／２,ΔＴn,n-1]とすると、Σn(p)＝ψ2ｈ’ｈと与えられ、テンポ変化と発音タイミング変化が相関するようになる。また、後者を表すため、標準偏差σn(p)の白色雑音を考え、σn(p)をΣn,0,0(p)に加算する。したがって、σn(p)をΣn,0,0(p)に加算した行列をΣn(p)とすると、εn(p)〜Ｎ(０,Σn(p))と与えられる。Ｎ(a,b)は、平均ａおよび分散ｂの正規分布を意味する。
【００７８】
次に、楽譜追従システムが報告する、ユーザの演奏タイミングの履歴/μn＝[μn,μn-1,…,μn-In]と/σn2＝[σn,σn-1,…,σn-In]を、式(3)または式(4)と結びつけることを考える。ここで、Ｉnは、考慮する履歴の長さであり、ｔnよりも１拍前のイベントまでを含むように設定される。このような/μnまたは/σn2の生成過程を次のように定める。
【数６】
0006614356.tif 000007
【００７９】
ここで、/Ｗnは、ｘn(p)とｖn(p)から観測/μnを予測するための回帰係数である。ここでは、/Ｗnを以下のように定義する。
【数７】
0006614356.tif 000008
【００８０】
従来のように、観測値として直近のμnを使うのではなく、それ以前の履歴も用いることにより、楽譜追従が一部で失敗しても動作が破綻しにくくなると考えられる。また、/Ｗnをリハーサルを通じて獲得することも可能であると考えられ、テンポの増減のパターンといった、長時間の傾向に依存する演奏法にも追従ができるようになると考えられる。このようなモデルは、テンポと楽譜上の位置変化の関係性を明記するという意味では、トラジェクトリＨＭＭのコンセプトを連続状態空間に適用したものに相当する。
【００８１】
５.２  伴奏パートの演奏タイミング生成過程
前述したような、演奏者のタイミングモデルを使うことで、演奏者の内部状態［ｘn(p),ｖn(p)］を、楽譜追従が報告した位置の履歴から推論することができる。自動演奏システムは、このような推論と、伴奏パートがどのように「弾きたいか」というクセを協調させながら、最終的な発音タイミングを推論する。そこで、ここでは伴奏パートがどのように「弾きたいか」という、伴奏パートにおける演奏タイミングの生成過程について考える。
【００８２】
伴奏パートの演奏タイミングでは、与えられたテンポ軌跡から一定の範囲内のテンポ軌跡で演奏される過程を考える。与えられるテンポ軌跡とは、演奏表情付けシステムまたは人間の演奏データを使うことが考えられる。自動演奏システムがｎ番目のオンセットイベントを受け取ったときに、楽曲上のどの位置を弾いているかの予測値^ｘn(a)とその相対速度^ｖn(a)を次のように表現する。
【数８】
0006614356.tif 000009
【００８３】
ここで、~ｖn(a)とは時刻ｔnで報告された楽譜上の位置ｎにおいて事前に与えたテンポであり、事前に与えたテンポ軌跡を代入する。また、ε(a)は、事前に与えたテンポ軌跡から生成された演奏タイミングに対して許容される逸脱の範囲を定める。このようなパラメータにより、伴奏パートとして音楽的に自然な演奏の範囲を定める。β∈［０,１］とは事前に与えたテンポにどれだけ強く引き戻そうとするかを表す項であり、テンポ軌跡を~ｖn(a)に引き戻そうとする効果がある。このようなモデルはオーディオアラインメントにおいて一定の効果があるため、同一楽曲を演奏するタイミングの生成過程として妥当性があると示唆される。なお、このような制約がない場合（β＝１）、^ｖはウィナー過程に従うため、テンポが発散し、極端に速かったり遅い演奏が生成されうる。
【００８４】
５.３  演奏者と伴奏パートの演奏タイミング結合過程
ここまでは、演奏者の発音タイミングと、伴奏パートの発音タイミングをそれぞれ独立にモデル化した。ここでは、これらの生成過程を踏まえた上で、演奏者を聞きながら、伴奏パートが「合わせる」過程について述べる。そこで、伴奏パートが人に合わせる際、伴奏パートが現在弾こうとする位置の予測値と、演奏者の現在位置の予測値の誤差を徐々に補正するような挙動を記述することを考える。以下では、このような、誤差を補正する程度を記述した変数を「結合係数」と呼ぶ。結合係数は、伴奏パートと演奏者の主従関係に影響される。例えば、演奏者が伴奏パートよりも明瞭なリズムを刻んでいる場合、伴奏パートは演奏者に強めに合わせること多い。また、リハーサル中に主従関係を演奏者から指示された場合は、指示されたように合わせ方を変える必要がある。つまり、結合係数は、楽曲のコンテキストまたは演奏者との対話に応じて変わる。そこで、ｔnを受け取った際の楽譜位置における結合係数γn∈［０,１］が与えられたとき、伴奏パートが演奏者に合わせる過程を以下のように記述する。
【数９】
0006614356.tif 000010
【００８５】
このモデルでは、γnの大小に応じて、追従度合いが変わる。例えば、γn＝０の時は、伴奏パートは演奏者に一切合わせず、γn＝１の時は、伴奏パートは演奏者に完璧に合わせようとする。このようなモデルでは、伴奏パートが演奏しうる演奏^ｘn(a)の分散と、演奏者の演奏タイミングｘn(p)における予測誤差も結合係数によって重み付けられる。そのため、ｘ(a)またはｖ(a)の分散は演奏者の演奏タイミング確率過程自体と、伴奏パートの演奏タイミング確率過程自体が協調されたものになる。そのため、演奏者と自動演奏システム、両者が「生成したい」テンポ軌跡を自然に統合できていることがわかる。
【００８６】
β＝０.９における、本モデルのシミュレーションを図１３に示す。このようにγを変えることで、伴奏パートのテンポ軌跡(正弦波)と、演奏者のテンポ軌跡(ステップ関数)の間を補完できることが分かる。また、βの影響により、生成されたテンポ軌跡は、演奏者のテンポ軌跡よりも伴奏パートの目標とするテンポ軌跡に近づけるようになっていることが分かる。つまり、~ｖ(a)よりも演奏者が速い場合は演奏者を「引っ張り」、遅い場合は演奏者を「急かす」ような効果があると考えられる。
【００８７】
５.４  結合係数γの算出方法
結合係数γnに表すような演奏者同士の同期度合いは、いくつかの要因により設定される。まず、楽曲中のコンテキストに主従関係が影響される。例えば、合奏をリードするのは、分かりやすいリズムを刻むパートであることが多い。また、対話を通じて主従関係を変えることもある。楽曲中のコンテキストから主従関係を設定するため、楽譜情報から、音の密度φn＝［伴奏パートに対する音符密度の移動平均、演奏者パートに対する音符密度の移動平均］を算出する。音の数が多いパートの方が、テンポ軌跡を決めやすいため、このような特徴量を使うことで近似的に結合係数を抽出できると考えられる。このとき、伴奏パートが演奏を行っていない場合（φn,0＝０）、合奏の位置予測は演奏者に完全に支配され、また、演奏者が演奏を行わない箇所（φn,1＝０)では、合奏の位置予測は演奏者を完全に無視するような挙動が望ましい。そこで、次のようにγnを決定する。
【数１０】
0006614356.tif 000011
【００８８】
ただし、ε＞０は十分に小さい値とする。人間同士の合奏では、完全に一方的な主従関係（γn＝０またはγn＝１）は発生しにくいのと同様に、上式のようなヒューリスティックは、演奏者と伴奏パートどちらも演奏している場合は完全に一方的な主従関係にはならない。完全に一方的な主従関係は、演奏者・合奏エンジンどちらかがしばらく無音である場合のみ起こるが、このような挙動はむしろ望ましい。
【００８９】
また、γnはリハーサル中など、必要に応じて、演奏者またはオペレータが上書きすることができる。γnの定義域が有限であり、かつその境界条件での挙動が自明であること、または、γnの変動に対し挙動が連続的に変化することは、リハーサル中に適切な値を人間が上書きする上で望ましい特性であると考えられる。
【００９０】
５.５  オンライン推論
自動演奏システムの運用時は、（ｔn,μn,σn2）を受け取ったタイミングで、前述の演奏タイミングモデルの事後分布を更新する。提案手法はカルマンフィルタを用いて効率的に推論することができる。（ｔn,μn,σn2）が通知された時点でカルマンフィルタのpredictとupdateステップを実行し、時刻ｔにおいて伴奏パートが演奏すべき位置を以下のように予測する。
【数１１】
0006614356.tif 000012
【００９１】
ここでτ(s)とは、自動演奏システムにおける入出力遅延である。なお、本システムでは、伴奏パート発音時にも状態変数を更新する。つまり、前述したように、楽譜追従結果に応じてpredict/updateステップを実行することに加え、伴奏パートが発音した時点で、predictステップのみを行い、得られた予測値を状態変数に代入する。
【００９２】
６．評価実験
本システムを評価するため、まず演奏者の位置推定精度を評価する。合奏のタイミング生成に関しては、合奏のテンポを規定値に引き戻そうとする項であるβ、または、伴奏パートを演奏者にどれだけ合わせるかの指標であるγの有用性を、演奏者へのヒアリングを行うことで評価する。
【００９３】
６.１  楽譜追従の評価
楽譜追従精度の評価を行うため、Bergmullerのエチュードに対する追従精度を評価した。評価データとして、Bergmullerのエチュード(Op.100)のうち、14曲(1番，4番-10番，14番，15番，19番，20番，22番，23番)をピアニストが演奏したデータを収録したものを使い、譜面追従精度を評価した。なお、この実験ではカメラの入力は使用しなかった。評価尺度にはＭＩＲＥＸに倣い、Total precisionを評価した。Total precisionとは、アラインメントの誤差がある閾値τに収まる場合を正解とした場合の、コーパス全体に対する精度を示す。
【００９４】
まず、delayed-decision型の推論に関する有用性を検証するため、delayed-decision forward backwardアルゴリズムにおける遅延フレーム量に対するtotal precision(τ＝３００ｍｓ)を評価した。結果を図１４に示す。数フレーム前の結果の事後分布を活用することで精度が上がることが分かる。また、遅延量が２フレームを超えると精度は徐々に下がることも分かる。また、遅延量２フレームの場合、τ＝１００ｍｓでtotal precision＝８２％、τ＝５０ｍｓで６４％であった。
【００９５】
６.２  演奏タイミング結合モデルの検証
演奏タイミング結合モデルの検証は、演奏者へのヒアリングを通じて行った。本モデルの特徴としては、合奏エンジンが想定テンポに引き戻そうとするβと、結合係数γの存在であり、これら両者についての有効性を検証した。
【００９６】
まず、結合係数の影響を外すため、式(4)をｖn(p)＝βｖn-1(p)＋(１−β)~ｖn(a)とし、ｘn(a)＝ｘn(p)、ｖn(a)＝ｖn(p)としたシステムを用意した。つまり、テンポの期待値が^ｖにあり、その分散がβにより制御されるようなダイナミクスを仮定しながら、楽譜追従の結果をフィルタリングした結果を直接伴奏の演奏タイミング生成に使うような合奏エンジンを考えた。まず、β＝０に設定した場合の自動演奏システムを、ピアニスト６名に一日間利用してもらったあと、使用感に関してヒアリングを行った。対象曲はクラシック・ロマン派・ポピュラーなど幅広いジャンルの曲から選曲した。ヒアリングでは、合奏に人間が合わせようとすると、伴奏パートも人間に合わせようとし、テンポが極端に遅くなったり速くなるという不満が支配的であった。このような現象は、式(12)におけるτ(s)が不適切に設定されていることにより、システムの応答が演奏者と微妙に合わない場合に発生する。例えば、システムの応答が想定よりも少し早い場合、ユーザは少し早めに返されるシステムに合わせようとするため、テンポを上げる。その結果、そのテンポに追従するシステムが更に早めに応答を返すことで、テンポが加速し続ける。
【００９７】
次に、β＝０.１で同じ曲目を使って別のピアニスト５名と、β＝０の実験にも参加したピアニスト１名で実験を行った。β＝０の場合と同じ質問内容でヒアリングを行ったが、テンポが発散する問題は聞かれなかった。また、β＝０でも実験に協力したピアニストからも追従性が改善しているというコメントがあった。ただし、演奏者がある曲に対して想定しているテンポと、システムが引き戻そうとするテンポに大きな齟齬がある場合、システムがもたつく・急かす、といったコメントが聞かれた。この傾向は特に未知の曲を弾く場合、つまり演奏者が「常識的な」テンポを知らない場合、において見られた。このことから、システムが一定のテンポに引き込もうとする効果により、テンポの発散を未然に防ぐ一方で、伴奏パートとテンポに関する解釈が極端に異なる場合、伴奏パートに煽られるような印象を受けることが示唆された。また、追従性に関しては、楽曲のコンテキストに応じて変えたほうがよいことも示唆された。なぜならば、楽曲の特性よって「引っ張ってもらったほうがいい」「もっと合わせて欲しい」といった、合わせ方の度合いに関する意見がほぼ一貫したためである。
【００９８】
最後に、プロの弦カルテットにγ＝０に固定したシステムと、演奏のコンテキストに応じてγを調整したシステムを使ってもらったところ、後者の方が挙動が良いというコメントがあり、その有用性が示唆された。ただし、この検証では後者のシステムが改善後のシステムであることを被験者が知っていたため、好適にはＡＢ法などを使い追加検証する必要がある。また、リハーサル中の対話に応じてγを変更する局面がいくつか存在したため、結合係数をリハーサル中で変更することが有用であると示唆された。
【００９９】
７．事前の学習処理
演奏者の「癖」を獲得するため、楽譜追従から算出された時刻ｔでのＭＡＰ状態^ｓtと、その入力特徴系列｛ｃt｝Tt=1をもとに、ｈsiとωifおよびテンポ軌跡を推定する。ここでは、これらの推定方法について簡単に述べる。ｈsiとωifの推定においては、次のようなPoisson-Gamma 系のInformed NMFモデルを考え、事後分布を推定する。
【数１２】
0006614356.tif 000013
【０１００】
ここで現れる超パラメータは楽器音データベースまたは楽譜表現のピアノロールから適当に算出する。事後分布は、変分ベイズ法で近似的に推定する。具体的には、事後分布ｐ(ｈ,ω|c)をｑ(h)ｑ(w)という形で近似し、事後分布とｑ(h)ｑ(w)の間のＫＬ距離を、補助変数を導入しながら最小化する。このようにして推定された事後分布から、楽器音の音色に相当するパラメータωのＭＡＰ推定を保存し、以降のシステム運用で使う。なお、ピアノロールの強さに相当するｈを使うことも可能である。
【０１０１】
続いて、演奏者がそれぞれの楽曲上の区間を演奏する長さ(すなわちテンポ軌跡)を推定する。テンポ軌跡を推定すると演奏者特有のテンポ表現を復元できるため、演奏者の位置予測が改善される。一方、リハーサルの回数が少ない場合は推定誤差などによりテンポ軌跡の推定が誤り、位置予測の精度がむしろ悪化する可能性もある。そこで、テンポ軌跡を変更する際には、テンポ軌跡に関する事前情報をまず持たせ、演奏者のテンポ軌跡が事前情報から一貫して逸脱している場所のテンポのみを変えることを考える。まず、演奏者のテンポがどれだけばらつくかを計算する。ばらつき度合いの推定値自体もリハーサルの回数が少ないと不安定になるため、演奏者のテンポ軌跡の分布自体にも事前分布を持たせる。演奏者が楽曲中の位置ｓにおけるテンポの平均μs(p)と分散λs(p)とがＮ(μs(p)|ｍ0,ｂ0λs(p)-1)Gamma(λs(p)-1|ａ0λ,ｂ0λ)に従うとする。すると、Ｋ回の演奏から得られたテンポの平均がμs(R)、精度（分散）がλs(R)-1であったとすると、テンポの事後分布は以下のように与えられる。
【数１３】
0006614356.tif 000014
【０１０２】
このようにして得られた事後分布を、楽曲中の位置ｓで取りうるテンポの分布Ｎ(μsS,λsS-1)から生成された分布とみなした場合の事後分布を求めると、その平均値は以下のように与えられる。
【数１４】
0006614356.tif 000015
このようにして算出されたテンポを元に、式(3)または式(4)で用いられるεの平均値を更新する。
【符号の説明】
【０１０３】
１００…自動演奏システム、１２…制御装置、１４…記憶装置、２２…収録装置、２２２…撮像装置、２２４…収音装置、２４…自動演奏装置、２４２…駆動機構、２４４…発音機構、２６…表示装置、５２…合図検出部、５２２…画像合成部、５２４…検出処理部、５４…演奏解析部、５４２…音響混合部、５４４…解析処理部、５６…演奏制御部、５８…表示制御部、Ｇ…演奏画像、７０…仮想空間、７４…表示体、８２…尤度算定部、８２１…第１演算部、８２２…第２演算部、８２３…第３演算部、８４…位置推定部。
【図１】
0006614356.tif 000016
【図２】
0006614356.tif 000017
【図３】
0006614356.tif 000018
【図４】
0006614356.tif 000019
【図５】
0006614356.tif 000020
【図６】
0006614356.tif 000021
【図７】
0006614356.tif 000022
【図８】
0006614356.tif 000023
【図９】
0006614356.tif 000024
【図１０】
0006614356.tif 000025
【図１１】
0006614356.tif 000026
【図１２】
0006614356.tif 000027
【図１３】
0006614356.tif 000028
【図１４】
0006614356.tif 000029