(57)【要約】【課題】自動演奏を実演奏に同期させる場合に想定される種々の課題を解決する。【解決手段】コンピュータが、演奏者による楽曲の演奏を解析することにより楽曲の演奏位置を推定し、楽曲の演奏内容を指定する演奏データに応じた自動演奏を演奏位置の進行に同期するように演奏装置に実行させ、演奏データとは独立の制御データに応じて演奏位置の進行と自動演奏との関係を制御する。【選択図】図１
2018063295.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが、
演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定し、
前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させ、
前記演奏データとは独立の制御データに応じて前記演奏位置の進行と前記自動演奏との関係を制御する
演奏制御方法。
【請求項２】
前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏を前記演奏位置の進行に同期させる制御を解除する
請求項１の演奏制御方法。
【請求項３】
前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏のテンポを、前記演奏データで指定される所定値に初期化する
請求項２の演奏制御方法。
【請求項４】
前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏のテンポを、当該部分の直前における前記自動演奏のテンポに維持する
請求項２の演奏制御方法。
【請求項５】
前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記演奏位置の進行を前記自動演奏に反映させる度合を、前記制御データに応じて制御する
請求項１から請求項４の何れかの演奏制御方法。
【請求項６】
前記楽曲のうち前記制御データにより指定される部分において前記演奏位置の推定を停止する
請求項１から請求項５の何れかの演奏制御方法。
【請求項７】
前記演奏データと前記制御データとは１個の楽曲ファイルに含まれる
請求項１から請求項６の何れかの演奏制御方法。
【請求項８】
演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部と、
前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部とを具備し、
前記演奏制御部は、前記演奏データとは独立の制御データに応じて前記演奏位置の進行と前記自動演奏との関係を制御する
演奏制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動演奏を制御する技術に関する。
【背景技術】
【０００２】
例えば特許文献１に開示される通り、楽曲の演奏を解析することで、楽曲において現に演奏されている位置（以下「演奏位置」という）を推定するスコアアライメント技術が従来から提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−７９１８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
他方、楽曲の演奏内容を表す演奏データを利用して鍵盤楽器等の楽器を発音させる自動演奏技術が従来から普及している。前述の演奏位置の推定結果を自動演奏に適用すれば、演奏者による楽器の演奏（以下「実演奏」という）に同期した自動演奏が実現され得る。しかし、演奏位置の推定結果を自動演奏に実際に適用する場面では、種々の問題が発生し得る。例えば、楽曲のうち実演奏のテンポが極端に変動する部分では、自動演奏を実演奏に高精度に追従させることは実際には困難である。以上の事情を考慮して、本発明は、自動演奏を実演奏に同期させる場合に想定される種々の課題の解決を目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明の好適な態様に係る演奏制御方法は、コンピュータが、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定し、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させ、前記演奏データとは独立の制御データに応じて前記演奏位置の進行と前記自動演奏との関係を制御する。
また、本発明の好適な態様に係る演奏制御装置は、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部と、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部とを具備し、前記演奏制御部は、前記演奏データとは独立の制御データに応じて前記演奏位置の進行と前記自動演奏との関係を制御する。
【図面の簡単な説明】
【０００６】
【図１】本発明の第１実施形態に係る自動演奏システムの構成図である。
【図２】楽曲ファイルの模式図である。
【図３】演奏画像の模式図である。
【図４】制御装置が演奏装置に自動演奏を実行させる動作のフローチャートである。
【図５】楽曲ファイルの編集画面の模式図である。
【図６】制御装置が制御データを利用する動作のフローチャートである。
【図７】第２実施形態に係る自動演奏システムの構成図である。
【発明を実施するための形態】
【０００７】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る自動演奏システム１００の構成図である。自動演奏システム１００は、複数の演奏者Ｐが楽器を演奏する音響ホール等の空間に設置され、複数の演奏者Ｐによる楽曲（以下「対象楽曲」という）の演奏に並行して対象楽曲の自動演奏を実行するコンピュータシステムである。なお、演奏者Ｐは、典型的には楽器の演奏者であるが、対象楽曲の歌唱者も演奏者Ｐであり得る。また、実際には楽器の演奏を担当しない関係者（例えば対象楽曲の演奏を主導する指揮者または音響監督）も演奏者Ｐに含まれ得る。図１に例示される通り、第１実施形態の自動演奏システム１００は、演奏制御装置１０と演奏装置１２と収音装置１４と表示装置１６とを具備する。演奏制御装置１０は、自動演奏システム１００の各要素を制御するコンピュータシステムであり、例えばパーソナルコンピュータ等の情報処理装置で実現される。
【０００８】
演奏装置１２は、演奏制御装置１０による制御のもとで対象楽曲の自動演奏を実行する。第１実施形態の演奏装置１２は、対象楽曲を構成する複数のパートのうち、複数の演奏者Ｐが演奏するパート以外のパートについて自動演奏を実行する。例えば、対象楽曲の主旋律のパートが複数の演奏者Ｐにより演奏され、対象楽曲の伴奏のパートの自動演奏を演奏装置１２が実行する。
【０００９】
図１に例示される通り、第１実施形態の演奏装置１２は、駆動機構１２２と発音機構１２４とを具備する自動演奏楽器（例えば自動演奏ピアノ）である。発音機構１２４は、自然楽器の鍵盤楽器と同様に、鍵盤の各鍵の変位に連動して弦（発音体）を発音させる打弦機構を鍵毎に具備する。任意の１個の鍵に対応する打弦機構は、弦を打撃可能なハンマと、当該鍵の変位をハンマに伝達する複数の伝達部材（例えばウィペン，ジャック，レペティションレバー）とを具備する。駆動機構１２２は、発音機構１２４を駆動することで対象楽曲の自動演奏を実行する。具体的には、駆動機構１２２は、各鍵を変位させる複数の駆動体（例えばソレノイド等のアクチュエータ）と、各駆動体を駆動する駆動回路とを含んで構成される。演奏制御装置１０からの指示に応じて駆動機構１２２が発音機構１２４を駆動することで対象楽曲の自動演奏が実現される。なお、演奏制御装置１０を演奏装置１２に搭載することも可能である。
【００１０】
図１に例示される通り、演奏制御装置１０は、制御装置２２と記憶装置２４とを具備するコンピュータシステムで実現される。制御装置２２は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、自動演奏システム１００を構成する複数の要素（演奏装置１２，収音装置１４および表示装置１６）を統括的に制御する。記憶装置２４は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成され、制御装置２２が実行するプログラムと制御装置２２が使用する各種のデータとを記憶する。なお、自動演奏システム１００とは別体の記憶装置２４（例えばクラウドストレージ）を用意し、移動体通信網またはインターネット等の通信網を介して制御装置２２が記憶装置２４に対する書込および読出を実行することも可能である。すなわち、記憶装置２４は自動演奏システム１００から省略され得る。
【００１１】
本実施形態の記憶装置２４は、対象楽曲の楽曲ファイルＦを記憶する。楽曲ファイルＦは、例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した形式のファイル（ＳＭＦ：Standard MIDI File）である。図２に例示される通り、第１実施形態の楽曲ファイルＦは、参照データＲと演奏データＤと制御データＣとを含む１個のファイルである。
【００１２】
参照データＲは、複数の演奏者Ｐによる対象楽曲の演奏内容（例えば対象楽曲の主旋律のパートを構成する音符列）を指定する。具体的には、参照データＲは、演奏内容（発音／消音）を指定する指示データと、当該指示データの発生時点を指定する時間データとが時系列に配列されたＭＩＤＩ形式の時系列データである。他方、演奏データＤは、演奏装置１２による自動演奏の演奏内容（例えば対象楽曲の伴奏のパートを構成する音符列）を指定する。演奏データＤは、参照データＲと同様に、演奏内容を指定する指示データと当該指示データの発生時点を指定する時間データとが時系列に配列されたＭＩＤＩ形式の時系列データである。参照データＲおよび演奏データＤの各々における指示データは、音高と強度とを指定して発音および消音等の各種のイベントを指示する。また、参照データＲおよび演奏データＤの各々における時間データは、例えば相前後する指示データの間隔を指示する。第１実施形態の演奏データＤは、対象楽曲のテンポ（演奏速度）も指定する。
【００１３】
制御データＣは、演奏データＤに応じた演奏装置１２の自動演奏を制御するためのデータである。制御データＣは、参照データＲおよび演奏データＤとともに１個の楽曲ファイルＦを構成するが、参照データＲおよび演奏データＤからは独立したデータである。具体的には、制御データＣは、参照データＲおよび演奏データＤとは別個に編集され得る。すなわち、参照データＲおよび演奏データＤの内容に影響せずに制御データＣを単独で編集することが可能である。例えば、参照データＲと演奏データＤと制御データＣとは、１個の楽曲ファイルＦにおける相異なるＭＩＤＩチャンネルのデータである。以上のように制御データＣが参照データＲおよび演奏データＤとともに１個の楽曲ファイルＦに含まれる構成によれば、制御データＣが参照データＲおよび演奏データＤとは別個のファイルである構成と比較して、制御データＣの取扱いが容易であるという利点がある。なお、制御データＣの具体的な内容については後述する。
【００１４】
図１の収音装置１４は、複数の演奏者Ｐによる楽器の演奏で発音された音（例えば楽器音または歌唱音）を収音した音響信号Ａを生成する。音響信号Ａは、音の波形を表す信号である。なお、電気弦楽器等の電気楽器から出力される音響信号Ａを利用することも可能である。したがって、収音装置１４は省略され得る。なお、複数の収音装置１４が生成する信号を加算することで音響信号Ａを生成することも可能である。
【００１５】
表示装置１６は、演奏制御装置１０（制御装置２２）による制御のもとで各種の画像を表示する。例えば液晶表示パネルまたはプロジェクタが表示装置１６の好適例である。複数の演奏者Ｐは、表示装置１６が表示する画像を、対象楽曲の演奏に並行して随時に視認することが可能である。
【００１６】
制御装置２２は、記憶装置２４に記憶されたプログラムを実行することで、対象楽曲の自動演奏を実現するための複数の機能（演奏解析部３２，演奏制御部３４および表示制御部３６）を実現する。なお、制御装置２２の機能を複数の装置の集合（すなわちシステム）で実現した構成、または、制御装置２２の機能の一部または全部を専用の電子回路が実現した構成も採用され得る。また、収音装置１４と演奏装置１２と表示装置１６とが設置された音響ホール等の空間から離間した位置にあるサーバ装置が、制御装置２２の一部または全部の機能を実現することも可能である。
【００１７】
演奏解析部３２は、対象楽曲のうち複数の演奏者Ｐが現に演奏している位置（以下「演奏位置」という）Ｔを推定する。具体的には、演奏解析部３２は、収音装置１４が生成する音響信号Ａを解析することで演奏位置Ｔを推定する。演奏解析部３２による演奏位置Ｔの推定は、複数の演奏者Ｐによる演奏（実演奏）に並行して実時間的に順次に実行される。例えば、演奏位置Ｔの推定は所定の周期で反復される。
【００１８】
第１実施形態の演奏解析部３２は、音響信号Ａが表す音と楽曲ファイルＦ内の参照データＲが示す演奏内容（すなわち複数の演奏者Ｐが担当する主旋律のパートの演奏内容）とを相互に照合することで演奏位置Ｔを推定する。演奏解析部３２による演奏位置Ｔの推定には、公知の音響解析技術（スコアアライメント技術）が任意に採用され得る。例えば、特許文献１に開示された解析技術を演奏位置Ｔの推定に利用することが可能である。また、ニューラルネットワークまたは多分木等の識別モデルを演奏位置Ｔの推定に利用することも可能である。例えば、実演奏で発音された音の特徴量を学習データとして識別モデルの機械学習（例えばディープラーニング）が事前に実行される。演奏解析部３２は、実際に自動演奏が実行される場面で音響信号Ａから抽出した特徴量を機械学習後の識別モデルに適用することで演奏位置Ｔを推定する。
【００１９】
図１の演奏制御部３４は、楽曲ファイルＦ内の演奏データＤに応じた自動演奏を演奏装置１２に実行させる。第１実施形態の演奏制御部３４は、演奏解析部３２が推定する演奏位置Ｔの進行（時間軸上の移動）に同期するように演奏装置１２に自動演奏を実行させる。具体的には、演奏制御部３４は、対象楽曲のうち演奏位置Ｔに対応する時点について演奏データＤが指定する演奏内容を演奏装置１２に対して指示する。すなわち、演奏制御部３４は、演奏データＤに含まれる各指示データを演奏装置１２に対して順次に供給するシーケンサとして機能する。
【００２０】
演奏装置１２は、演奏制御部３４からの指示に応じて対象楽曲の自動演奏を実行する。実演奏の進行とともに演奏位置Ｔは対象楽曲内の後方に経時的に移動するから、演奏装置１２による対象楽曲の自動演奏も演奏位置Ｔの移動とともに進行する。すなわち、実演奏と同等のテンポで演奏装置１２による対象楽曲の自動演奏が実行される。以上の説明から理解される通り、対象楽曲の各音符の強度またはフレーズ表現等の音楽表現を演奏データＤで指定された内容に維持したまま自動演奏が実演奏に同期するように、演奏制御部３４は演奏装置１２に自動演奏を指示する。したがって、例えば現在では生存していない過去の演奏者等の特定の演奏者の演奏を表す演奏データＤを使用すれば、その演奏者に特有の音楽表現を自動演奏で忠実に再現しながら、当該演奏者と実在の複数の演奏者Ｐとが恰も相互に呼吸を合わせて協調的に合奏しているかのような雰囲気を醸成することが可能である。
【００２１】
なお、演奏制御部３４が演奏データＤ内の指示データの出力により演奏装置１２に自動演奏を指示してから演奏装置１２が実際に発音する（例えば発音機構１２４のハンマが打弦する）までには、実際には数百ミリ秒程度の時間が必要である。すなわち、演奏装置１２による実際の発音は演奏制御部３４からの指示に対して遅延し得る。そこで、演奏制御部３４が、対象楽曲のうち演奏解析部３２が推定した演奏位置Ｔに対して後方（未来）の時点の演奏を演奏装置１２に指示することも可能である。
【００２２】
図１の表示制御部３６は、演奏装置１２による自動演奏の進行を視覚的に表現した画像（以下「演奏画像」という）を表示装置１６に表示させる。具体的には、表示制御部３６は、演奏画像を表す画像データを生成して表示装置１６に出力することで演奏画像を表示装置１６に表示させる。第１実施形態の表示制御部３６は、演奏装置１２による自動演奏に連動して動的に変化する動画像を演奏画像として表示装置１６に表示させる。
【００２３】
図３は、演奏画像Ｇの表示例である。図３に例示される通り、演奏画像Ｇは、例えば仮想空間内で楽器を演奏する仮想的な演奏者（以下「仮想演奏者」という）Ｈを表現した動画像である。表示制御部３６は、演奏装置１２に対する発音または消音の指示（発音を指示する指示データの出力）の時点で仮想演奏者Ｈによる押鍵または離鍵が模擬されるように、演奏装置１２による自動演奏に並行して演奏画像Ｇを経時的に変化させる。したがって、表示装置１６が表示する演奏画像Ｇを視認した各演奏者Ｐは、演奏装置１２が対象楽曲の各音符を発音する時点を仮想演奏者Ｈの動作から視覚的に把握することが可能である。
【００２４】
図４は、制御装置２２の動作を例示したフローチャートである。例えば、所定の周期で発生する割込を契機として、複数の演奏者Ｐによる対象楽曲の実演奏に並行して図４の処理が実行される。図４の処理を開始すると、制御装置２２（演奏解析部３２）は、収音装置１４から供給される音響信号Ａの解析により演奏位置Ｔを推定する（ＳA1）。制御装置２２（演奏制御部３４）は、演奏位置Ｔに応じた自動演奏を演奏装置１２に対して指示する（ＳA2）。具体的には、制御装置２２は、演奏解析部３２が推定する演奏位置Ｔの進行に同期するように演奏装置１２に対象楽曲の自動演奏を実行させる。制御装置２２（表示制御部３６）は、自動演奏の進行を表現する演奏画像Ｇを表示装置１６に表示させ、自動演奏の進行とともに演奏画像Ｇを変化させる。
【００２５】
以上に説明した通り、第１実施形態では、演奏位置Ｔの進行に同期するように演奏装置１２による自動演奏が実行される一方、演奏装置１２による自動演奏の進行を表す演奏画像Ｇが表示装置１６に表示される。したがって、演奏装置１２による自動演奏の進行を各演奏者Ｐが視覚的に確認して自身の演奏に反映させることが可能である。以上の構成によれば、複数の演奏者Ｐによる実演奏と演奏装置１２による自動演奏とが相互に作用し合う自然な合奏が実現される。すなわち、各演奏者Ｐが仮想演奏者Ｈと恰も実際に合奏しているかのような感覚で演奏できる。第１実施形態では特に、自動演奏による演奏内容に応じて動的に変化する演奏画像Ｇが表示装置１６に表示されるから、複数の演奏者Ｐが自動演奏の進行を視覚的および直観的に把握できるという利点がある。
【００２６】
楽曲ファイルＦに含まれる制御データＣについて以下に詳述する。第１実施形態の演奏制御部３４は、概略的には、楽曲ファイルＦ内の制御データＣに応じて演奏位置Ｔの進行と演奏装置１２による自動演奏との関係を制御する。制御データＣは、対象楽曲のうち制御対象となる部分（以下「制御対象部分」という）を指定するデータである。例えば、任意の１個の制御対象部分は、対象楽曲の開始点を起点とした当該部分の始点の時刻と継続長（または終点の時刻）とで指定される。対象楽曲内に１個以上の制御対象部分が制御データＣにより指定される。
【００２７】
図５は、楽曲ファイルＦの管理者が楽曲ファイルＦを編集する場合に表示装置１６に表示される画面（以下「編集画面」という）の説明図である。図５に例示される通り、編集画面は、領域Ｘ1と領域Ｘ2と領域Ｘ3とを包含する。領域Ｘ1および領域Ｘ2の各々には、時間軸（横軸）と音高軸（縦軸）とが設定される。参照データＲが示す主旋律のパートの音符列が領域Ｘ1に表示され、演奏データＤが示す伴奏のパートの音符列が領域Ｘ2に表示される。管理者は、領域Ｘ1に対する操作で参照データＲの編集を指示し、領域Ｘ2に対する操作で演奏データＤの編集を指示することが可能である。
【００２８】
他方、領域Ｘ3には、領域Ｘ1および領域Ｘ2と共通の時間軸（横軸）が設定される。管理者は、領域Ｘ3に対する操作で、対象楽曲のうち任意の１個以上の区間を制御対象部分Ｑとして指定することが可能である。制御データＣは、領域Ｘ3に指示された制御対象部分Ｑを指定する。領域Ｘ1の参照データＲと領域Ｘ2の演奏データＤと領域Ｘ3の制御データＣとの各々は相互に独立に編集することが可能である。すなわち、参照データＲおよび演奏データＤを変更することなく制御データＣが変更され得る。
【００２９】
図６は、制御装置２２が制御データＣを使用する処理のフローチャートである。例えば、自動演奏の開始後に所定の周期で発生する割込を契機として、図４の処理による自動演奏に並行して図６の処理が実行される。図６の処理を開始すると、制御装置２２（演奏制御部３４）は、制御対象部分Ｑが到来したか否かを判定する（ＳB1）。制御対象部分Ｑが到来した場合（ＳB1：YES）、制御装置２２は、制御データＣに応じた処理を実行する（ＳB2）。制御対象部分Ｑが到来していない場合（ＳB1：NO）、制御データＣに応じた処理は実行されない。
【００３０】
第１実施形態の楽曲ファイルＦは、演奏装置１２による自動演奏のテンポを制御するための制御データＣ1を制御データＣとして包含する。制御データＣ1は、対象楽曲内の制御対象部分Ｑにおける自動演奏のテンポの初期化を指示するデータである。具体的には、第１実施形態の演奏制御部３４は、対象楽曲のうち制御データＣ1により指定される制御対象部分Ｑにおいて、演奏装置１２による自動演奏のテンポを、演奏データＤで指定される所定値に初期化し、制御対象部分Ｑ内において当該所定値に維持する（ＳB2）。他方、制御対象部分Ｑ以外の区間では、演奏制御部３４は、前述の通り、複数の演奏者Ｐによる実演奏と同等のテンポで自動演奏を進行させる。以上の説明から理解される通り、対象楽曲のうち制御対象部分Ｑの開始前には実演奏と同等の可変のテンポで進行していた自動演奏が、制御対象部分Ｑの到来を契機として、演奏データＤで指定された標準的なテンポに初期化される。制御対象部分Ｑが経過すると、実演奏の演奏位置Ｔに応じた自動演奏のテンポの制御が再開され、自動演奏のテンポは実演奏と同等の可変のテンポに設定される。
【００３１】
制御データＣ1は、例えば、対象楽曲のうち複数の演奏者Ｐによる実演奏のテンポが変動し易い箇所が制御対象部分Ｑに内包されるように事前に生成される。したがって、実演奏のテンポに連動して自動演奏のテンポが不自然に変動する可能性が低減され、適切なテンポの自動演奏を実現することが可能である。
【００３２】
＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下に例示する各形態において作用または機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
【００３３】
第２実施形態の楽曲ファイルＦは、演奏装置１２による自動演奏のテンポを制御するための制御データＣ2を制御データＣとして包含する。制御データＣ2は、対象楽曲内の制御対象部分Ｑにおける自動演奏のテンポの保持を指示するデータである。具体的には、第２実施形態の演奏制御部３４は、対象楽曲のうち制御データＣ2により指定される制御対象部分Ｑにおいて、演奏装置１２による自動演奏のテンポを、当該制御対象部分Ｑの開始の直前における自動演奏のテンポに維持する（ＳB2）。すなわち、制御対象部分Ｑでは、第１実施形態と同様に、実演奏のテンポが変動しても自動演奏のテンポは変動しない。他方、制御対象部分Ｑ以外の区間では、演奏制御部３４は、第１実施形態と同様に、複数の演奏者Ｐによる実演奏と同等のテンポで自動演奏を進行させる。以上の説明から理解される通り、対象楽曲のうち制御対象部分Ｑの開始前には実演奏と同等の可変のテンポで進行していた自動演奏が、制御対象部分Ｑの到来を契機として、当該制御対象部分Ｑの直前のテンポに固定される。制御対象部分Ｑが経過すると、実演奏の演奏位置Ｔに応じた自動演奏のテンポの制御が再開され、自動演奏のテンポは実演奏と同等のテンポに設定される。
【００３４】
制御データＣ2は、例えば、実演奏のテンポは音楽的な表現のために変動し得るけれども自動演奏のテンポは一定に維持されるべき箇所が制御対象部分Ｑに内包されるように事前に生成される。したがって、対象楽曲のうち実演奏のテンポが変動しても自動演奏のテンポは保持すべき部分において、適切なテンポの自動演奏を実現することが可能である。
【００３５】
以上の説明から理解される通り、第１実施形態および第２実施形態の演奏制御部３４は、対象楽曲のうち制御データＣ（Ｃ1，Ｃ2）により指定される制御対象部分Ｑにおいて、自動演奏を演奏位置Ｔの進行に同期させる制御を解除する。
【００３６】
＜第３実施形態＞
第３実施形態の楽曲ファイルＦは、演奏位置Ｔの進行と自動演奏との関係を制御するための制御データＣ3を制御データＣとして包含する。制御データＣ3は、対象楽曲内の制御対象部分Ｑにおいて演奏位置Ｔの進行を自動演奏に反映させる度合（以下「演奏反映度」という）を指示するデータである。具体的には、制御データＣ3は、対象楽曲内の制御対象部分Ｑと、当該制御対象部分Ｑにおける演奏反映度の時間的な変動とを指定する。対象楽曲内の複数の制御対象部分Ｑの各々について演奏反映度の時間的な変動を制御データＣ3で指定することが可能である。第３実施形態の演奏制御部３４は、対象楽曲内の制御対象部分Ｑにおいて、演奏装置１２による自動演奏に関する演奏反映度を制御データＣ3に応じて制御する。すなわち、演奏反映度が制御データＣ3による指示に応じた数値に変動するように、演奏制御部３４は、演奏位置Ｔの進行に応じた指示データの出力を制御する。他方、制御対象部分Ｑ以外の区間では、演奏制御部３４は、自動演奏に関する演奏反映度が所定値に保持されるように、演奏位置Ｔに応じて演奏装置１２による自動演奏を制御する。
【００３７】
以上に説明した通り、第３実施形態では、対象楽曲の制御対象部分Ｑにおける演奏反映度が制御データＣ3に応じて制御される。したがって、自動演奏を実演奏に追従させる度合を対象楽曲内の特定の部分にて変動させた多様な自動演奏を実現することが可能である。
【００３８】
＜第４実施形態＞
図７は、第４実施形態における自動演奏システム１００の構成図である。第４実施形態の自動演奏システム１００は、第１実施形態と同様の要素（演奏制御装置１０，演奏装置１２，収音装置１４および表示装置１６）に加えて撮像装置１８を具備する。撮像装置１８は、複数の演奏者Ｐを撮像した画像信号Ｖを生成する。画像信号Ｖは、複数の演奏者Ｐが演奏する様子の動画像を表す信号である。なお、複数の撮像装置１８を設置することも可能である。
【００３９】
図７に例示される通り、第１実施形態における演奏制御装置１０の制御装置２２は、記憶装置２４に記憶されたプログラムを実行することで、第１実施形態と同様の要素（演奏解析部３２，演奏制御部３４および表示制御部３６）に加えて合図検出部３８としても機能する。
【００４０】
複数の演奏者Ｐのうち対象楽曲の演奏を主導する特定の演奏者Ｐ（以下「特定演奏者Ｐ」という）は、対象楽曲の演奏の合図となる動作（以下「合図動作」という）を実行する。合図動作は、時間軸上の１個の時点（以下「目標時点」という）を指示する動作（ジェスチャー）である。例えば、特定演奏者Ｐが自身の楽器を持上げる動作、または特定演奏者Ｐが自身の身体を動かす動作が、合図動作の好適例である。目標時点は、例えば、対象楽曲の演奏の開始点、または、対象楽曲内で長時間にわたる休符から演奏が再開される時点である。特定演奏者Ｐは、目標時点に対して所定の時間（以下「合図間隔」という）だけ手前の時点で合図動作を実行する。合図間隔は、例えば対象楽曲の１拍分の時間長である。合図動作は、合図間隔の経過により目標時点が到来することを予告する動作であり、特定演奏者Ｐ以外の各演奏者Ｐによる演奏の契機となるほか、演奏装置１２による自動演奏の契機として利用される。
【００４１】
図７の合図検出部３８は、特定演奏者Ｐによる合図動作を検出する。具体的には、合図検出部３８は、撮像装置１８が特定演奏者Ｐを撮像した画像を解析することで合図動作を検出する。合図検出部３８による合図動作の検出には、特定演奏者Ｐが合図動作の実行時に移動させる要素（例えば身体や楽器）を画像から抽出する画像認識処理と、当該要素の移動を検出する動体検出処理とを含む公知の画像解析技術が使用され得る。また、ニューラルネットワークまたは多分木等の識別モデルを合図動作の検出に利用することも可能である。例えば、特定演奏者Ｐによる演奏を撮像した画像信号から抽出された特徴量を学習データとして利用して、識別モデルの機械学習（例えばディープラーニング）が事前に実行される。合図検出部３８は、実際に自動演奏が実行される場面で画像信号Ｖから抽出した特徴量を機械学習後の識別モデルに適用することで合図動作を検出する。
【００４２】
第４実施形態の演奏制御部３４は、合図検出部３８が検出する合図動作を契機として対象楽曲の自動演奏の開始を演奏装置１２に指示する。具体的には、合図動作の時点から合図間隔だけ経過した目標時点で演奏装置１２による対象楽曲の自動演奏が開始されるように、演奏制御部３４は演奏装置１２に対する自動演奏の指示（すなわち指示データの出力）を開始する。したがって、目標時点では、複数の演奏者Ｐによる対象楽曲の実演奏と演奏装置１２による実演奏とが略同時に開始される。
【００４３】
第４実施形態の楽曲ファイルＦは、合図検出部３８が検出する合図動作に応じて演奏装置１２による自動演奏を制御するための制御データＣ4を制御データＣとして包含する。制御データＣ4は、合図動作を利用した自動演奏の制御を指示するデータである。具体的には、第４実施形態の演奏制御部３４は、対象楽曲のうち制御データＣ4により指定される制御対象部分Ｑにおいて、合図検出部３８が検出する合図動作に演奏装置１２の自動演奏を同期させる。他方、制御対象部分Ｑ以外の区間では、演奏制御部３４は、合図検出部３８が検出する合図動作に応じた自動演奏の制御を停止する。したがって、制御対象部分Ｑ以外の区間では特定演奏者Ｐによる合図動作は自動演奏に反映されない。すなわち、制御データＣ4は、合図動作に応じた自動演奏の制御の許否を指示するデータである。
【００４４】
以上に説明した通り、第４実施形態では、対象楽曲のうち制御データＣ4により指定される制御対象部分Ｑにおいて自動演奏を合図動作に同期させる。したがって、特定演奏者Ｐによる合図動作に同期した自動演奏が実現される。他方、特定演奏者Ｐの意図しない動作が合図動作として誤検出される可能性がある。第４実施形態では、自動演奏と合図動作とを同期させる制御が対象楽曲内の制御対象部分Ｑ内に制限される。したがって、制御対象部分Ｑ以外の箇所で特定演奏者Ｐの合図動作が誤検出された場合でも、その合図動作が自動演奏に反映される可能性は低減されるという利点がある。
【００４５】
＜第５実施形態＞
第５実施形態の楽曲ファイルＦは、演奏解析部３２による演奏位置Ｔの推定を制御するための制御データＣ5を制御データＣとして包含する。制御データＣ5は、演奏解析部３２による演奏位置Ｔの推定の停止を指示するデータである。具体的には、第５実施形態の演奏解析部３２は、対象楽曲のうち制御データＣ5により指定される制御対象部分Ｑにおいて演奏位置Ｔの推定を停止する。他方、制御対象部分Ｑ以外の区間では、演奏解析部３２は、第１実施形態と同様に、複数の演奏者Ｐによる実演奏に並行して演奏位置Ｔを順次に推定する。
【００４６】
制御データＣ5は、例えば、対象楽曲のうち演奏位置Ｔの正確な推定が困難である箇所が制御対象部分Ｑに内包されるように事前に生成される。すなわち、対象楽曲のうち演奏位置Ｔの誤推定が発生し易い箇所では演奏位置Ｔの推定が停止される。したがって、第５実施形態では、演奏解析部３２が演奏位置Ｔを誤推定する可能性（ひいては演奏位置Ｔの誤推定の結果が自動演奏に反映される可能性）を低減することが可能である。また、制御対象部分Ｑの内外に関わらず演奏位置Ｔを推定する構成と比較して制御装置２２の処理負荷が軽減されるという利点もある。
【００４７】
＜第６実施形態＞
第６実施形態の表示制御部３６は、表示装置１６に表示される演奏画像Ｇを変化させることで、対象楽曲内の目標時点を複数の演奏者Ｐに報知することが可能である。具体的には、表示制御部３６は、仮想演奏者Ｈが合図動作を実行する様子を表現した動画像を演奏画像Ｇとして表示装置１６に表示させることで、当該合図動作から所定の合図間隔だけ経過した時点を目標時点として各演奏者Ｐに報知する。なお、演奏装置１２の自動演奏に並行して仮想演奏者Ｈによる通常の演奏動作が模擬されるように表示制御部３６が演奏画像Ｇを変化させる動作は、対象楽曲の自動演奏の実行中に継続的に実行される。すなわち、仮想演奏者Ｈが通常の演奏動作に並行して突発的に合図動作を実行する様子が演奏画像Ｇにより模擬される。
【００４８】
第６実施形態の楽曲ファイルＦは、表示制御部３６による演奏画像の表示を制御するための制御データＣ6を制御データＣとして包含する。制御データＣ6は、表示制御部３６による目標時点の報知を指示するデータであり、目標時点を指示する合図動作を仮想演奏者Ｈが実行すべき箇所が制御対象部分Ｑに内包されるように事前に生成される。
【００４９】
第６実施形態の表示制御部３６は、対象楽曲のうち制御データＣ6により指定される制御対象部分Ｑにおいて、表示装置１６に表示される演奏画像Ｇを変化させることで、対象楽曲内の目標時点を各演奏者Ｐに報知する。具体的には、表示制御部３６は、制御対象部分Ｑにおいて仮想演奏者Ｈにより合図動作が実行されるように演奏画像Ｇを変化させる。複数の演奏者Ｐは、表示装置１６に表示された演奏画像Ｇを視認することで目標時点を把握し、当該目標時点にて実演奏を開始する。したがって、目標時点では、複数の演奏者Ｐによる対象楽曲の実演奏と演奏装置１２による実演奏とが略同時に開始される。他方、制御対象部分Ｑ以外の区間では、表示制御部３６は、仮想演奏者Ｈが通常の演奏動作を継続的に実行する様子が演奏画像Ｇで表現される。
【００５０】
以上に説明した通り、第６実施形態では、対象楽曲のうち制御データＣ6により指定される制御対象部分Ｑにおいて、演奏画像Ｇの変化により対象楽曲の目標時点を各演奏者Ｐに視覚的に報知することが可能である。したがって、自動演奏と実演奏とを目標時点において相互に同期させることができる。
【００５１】
＜変形例＞
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
【００５２】
（１）第１実施形態ないし第６実施形態から任意に選択された２以上の形態は併合され得る。例えば、第１実施形態から第６実施形態で例示した複数の制御データＣ（Ｃ1〜Ｃ6）から任意に選択された２以上の制御データＣを組合せて楽曲ファイルＦに含めた構成も採用され得る。すなわち、
（Ａ）制御データＣ1に応じた自動演奏のテンポの初期化（第１実施形態）、
（Ｂ）制御データＣ2に応じた自動演奏のテンポの保持（第２実施形態）、
（Ｃ）制御データＣ3に応じた演奏反映度の制御（第３実施形態）、
（Ｄ）制御データＣ4に応じて合図動作を自動演奏に反映させる動作（第４実施形態）、
（Ｅ）制御データＣ5に応じた演奏位置Ｔの推定の停止（第５実施形態）、および、
（Ｆ）制御データＣ6に応じた演奏画像Ｇの制御（第６実施形態）
から任意に選択された２以上の構成を併合することが可能である。なお、複数の制御データＣを併用する構成では、制御対象部分Ｑは制御データＣ毎に個別に設定される。
【００５３】
（２）前述の実施形態では、撮像装置１８が撮像した画像信号Ｖの解析で合図動作を検出したが、合図検出部３８が合図動作を検出する方法は以上の例示に限定されない。例えば、特定演奏者Ｐの身体に装着された検出器（例えば加速度センサ等の各種のセンサ）の検出信号を解析することで合図検出部３８が合図動作を検出することも可能である。ただし、撮像装置１８が撮像した画像の解析により合図動作を検出する前述の第４実施形態の構成によれば、特定演奏者Ｐの身体に検出器を装着する場合と比較して、特定演奏者Ｐの演奏動作に対する影響を低減しながら合図動作を検出できるという利点がある。
【００５４】
（３）前述の各形態で例示した通り、自動演奏システム１００は、制御装置２２とプログラムとの協働で実現される。本発明の好適な態様に係るプログラムは、演奏者による対象楽曲の演奏を解析することにより対象楽曲の演奏位置Ｔを推定する演奏解析部３２、および、対象楽曲の演奏内容を指定する演奏データＤに応じた自動演奏を演奏位置Ｔの進行に同期するように演奏装置１２に実行させる演奏制御部３４としてコンピュータを機能させるプログラムであり、演奏制御部３４は、演奏データＤとは独立の制御データＣに応じて演奏位置Ｔの進行と自動演奏との関係を制御する。以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。
【００５５】
記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、「非一過性の記録媒体」とは、一過性の伝搬信号（transitory, propagating signal）を除く全てのコンピュータ読み取り可能な記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに配信することも可能である。
【００５６】
（４）以上に例示した具体的な形態から把握される本発明の好適な態様を以下に例示する。
＜態様１＞
本発明の好適な態様（態様１）に係る演奏制御方法は、コンピュータが、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定し、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させ、前記演奏データとは独立の制御データに応じて前記演奏位置の進行と前記自動演奏との関係を制御する。以上の態様では、演奏データとは独立の制御データに応じて演奏位置の進行と自動演奏との関係が制御されるから、演奏装置による自動演奏の制御に演奏データのみを使用する構成と比較して、自動演奏を実演奏に同期させる場合に想定される問題が低減されるように、演奏位置に応じて自動演奏を適切に制御することが可能である。
【００５７】
＜態様２＞
態様１の好適例（態様２）において、前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏を前記演奏位置の進行に同期させる制御を解除する。以上の態様では、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏を前記演奏位置の進行に同期させる制御が解除される。したがって、楽曲のうち自動演奏を演奏位置の進行に同期させるべきでない部分について適切な自動演奏を実現することが可能である。
【００５８】
＜態様３＞
態様２の好適例（態様３）において、前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏のテンポを、前記演奏データで指定される所定値に初期化する。以上の態様では、楽曲のうち制御データにより指定される部分において、自動演奏のテンポが、演奏データで指定される所定値に初期化される。したがって、制御データが指定する部分について、実演奏のテンポに連動して自動演奏のテンポが不自然に変動する可能性が低減されるという利点がある。
【００５９】
＜態様４＞
態様２の好適例（態様４）において、前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏のテンポを、当該部分の直前における前記自動演奏のテンポに維持する。以上の態様では、楽曲のうち制御データにより指定される部分において、自動演奏のテンポが当該部分の直前でのテンポに維持される。したがって、楽曲のうち実演奏のテンポが変動しても自動演奏のテンポは保持すべき部分について適切なテンポの自動演奏を実現することが可能である。
【００６０】
＜態様５＞
態様１から態様４の何れかの好適例（態様５）において、前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記演奏位置の進行を前記自動演奏に反映させる度合を、前記制御データに応じて制御する。以上の態様では、楽曲のうち制御データにより指定される部分において、演奏位置の進行を自動演奏に反映させる度合が制御データに応じて制御される。したがって、自動演奏を実演奏に追従させる度合を対象楽曲内の特定の部分にて変動させた多様な自動演奏を実現することが可能である。
【００６１】
＜態様６＞
態様１から態様５の何れかの好適例（態様６）において、前記コンピュータが、前記楽曲の演奏者による合図動作を検出し、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏を前記合図動作に同期させる。以上の態様では、楽曲のうち制御データにより指定される部分において、前記自動演奏を合図動作に同期させる。したがって、演奏者による合図動作に同期した自動演奏が実現される。他方、自動演奏と合図動作とを同期させる制御は、楽曲のうち制御データにより指定される部分に制限される。したがって、当該部分とは無関係の箇所で合図動作が誤検出された場合でも、その合図動作が自動演奏に反映される可能性は低減される。
【００６２】
＜態様７＞
態様１から態様６の何れかの好適例（態様７）において、前記楽曲のうち前記制御データにより指定される部分において前記演奏位置の推定を停止する。以上の態様では、楽曲のうち制御データにより指定される部分において演奏位置の推定が停止される。したがって、例えば演奏位置の誤推定が発生し易い部分を制御データにより指定することで、演奏位置の誤推定の可能性を低減することが可能である。
【００６３】
＜態様８＞
態様１から態様７の何れかの好適例（態様８）において、前記コンピュータが、前記自動演奏の進行を表す演奏画像を表示装置に表示させ、前記楽曲のうち前記制御データにより指定される部分において、前記演奏画像を変化させることで、前記楽曲の特定の地点を演奏者に報知する。以上の態様では、楽曲のうち制御データにより指定される部分において、演奏画像を変化させることで楽曲の特定の地点が演奏者に報知される。したがって、例えば楽曲の演奏が開始される時点や長時間にわたる休符から演奏が再開される時点を、演奏者に対して視覚的に報知することが可能である。
【００６４】
＜態様９＞
態様１から態様８の何れかの好適例において、前記演奏データと前記制御データとは１個の楽曲ファイルに含まれる。以上の態様では、演奏データと制御データとが１個の楽曲ファイルに含まれるから、演奏データと制御データとが別個のファイルを構成する場合と比較して演奏データおよび制御データの取扱いが容易であるという利点がある。
【００６５】
＜態様１０＞
本発明の好適な態様（態様１０）に係る演奏制御方法は、コンピュータが、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定し、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させ、前記楽曲のうち前記演奏データとは独立の制御データにより指定される部分において、前記演奏位置の推定を停止する。以上の態様では、楽曲のうち制御データにより指定される部分において演奏位置の推定が停止される。したがって、例えば演奏位置の誤推定が発生し易い部分を制御データにより指定することで、演奏位置の誤推定の可能性を低減することが可能である。
【００６６】
＜態様１１＞
本発明の好適な態様（態様１１）に係る演奏制御方法は、コンピュータが、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定し、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させ、前記自動演奏の進行を表す演奏画像を表示装置に表示させ、前記楽曲のうち前記制御データにより指定される部分において、前記演奏画像を変化させることで、前記楽曲の特定の地点を演奏者に報知する。以上の態様では、楽曲のうち制御データにより指定される部分において、演奏画像を変化させることで楽曲の特定の地点が演奏者に報知される。したがって、例えば楽曲の演奏が開始される時点や長時間にわたる休符から演奏が再開される時点を、演奏者に対して視覚的に報知することが可能である。
【００６７】
＜態様１２＞
本発明の好適な態様（態様１２）に係る演奏制御装置は、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部と、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部とを具備し、前記演奏制御部は、前記演奏データとは独立の制御データに応じて前記演奏位置の進行と前記自動演奏との関係を制御する。以上の態様では、演奏データとは独立の制御データに応じて演奏位置の進行と自動演奏との関係が制御されるから、演奏装置による自動演奏の制御に演奏データのみを使用する構成と比較して、自動演奏を実演奏に同期させる場合に想定される問題が低減されるように、演奏位置に応じて自動演奏を適切に制御することが可能である。
【００６８】
＜態様１３＞
本発明の好適な態様（態様１３）に係る演奏制御装置は、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部と、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部とを具備し、前記演奏解析部は、記楽曲のうち前記演奏データとは独立の制御データにより指定される部分において、前記演奏位置の推定を停止する。以上の態様では、楽曲のうち制御データにより指定される部分において演奏位置の推定が停止される。したがって、例えば演奏位置の誤推定が発生し易い部分を制御データにより指定することで、演奏位置の誤推定の可能性を低減することが可能である。
【００６９】
＜態様１４＞
本発明の好適な態様（態様１４）に係る演奏制御装置は、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部と、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部と、前記自動演奏の進行を表す演奏画像を表示装置に表示させる表示制御部とを具備し、前記表示制御部は、前記楽曲のうち前記制御データにより指定される部分において、前記演奏画像を変化させることで、前記楽曲の特定の地点を演奏者に報知する。以上の態様では、楽曲のうち制御データにより指定される部分において、演奏画像を変化させることで楽曲の特定の地点が演奏者に報知される。したがって、例えば楽曲の演奏が開始される時点や長時間にわたる休符から演奏が再開される時点を、演奏者に対して視覚的に報知することが可能である。
【符号の説明】
【００７０】
１００…自動演奏システム、１０…演奏制御装置、１２…演奏装置、１２２…駆動機構、１２４…発音機構、１４…収音装置、１６…表示装置、１８…撮像装置、２２…制御装置、２４…記憶装置、３２…演奏解析部、３４…演奏制御部、３６…表示制御部、３８…合図検出部。
【図１】
2018063295.tif 000003
【図２】
2018063295.tif 000004
【図３】
2018063295.tif 000005
【図４】
2018063295.tif 000006
【図５】
2018063295.tif 000007
【図６】
2018063295.tif 000008
【図７】
2018063295.tif 000009