(57)【要約】【課題】利用者の演奏の傾向に適合した多様な時系列データを生成する。【解決手段】情報処理装置は、利用者による楽曲の演奏を表す観測演奏データＸを学習済モデルＬaに付与することで、相異なる複数の演奏傾向の各々について、演奏が当該演奏傾向に該当する確度を示す指標値Ｗ_1〜Ｗ_Kを特定する指標特定部２２と、複数の演奏傾向に対応する情報の時系列をそれぞれ表す複数の基礎データＢ_1〜Ｂ_Kから、各演奏傾向について特定された指標値Ｗ_1〜Ｗ_Kに応じて、楽曲に関する情報の時系列を表す時系列データＺを生成する情報処理部２３とを具備する。【選択図】図３
2019152716.tif 000002
【特許請求の範囲】
【請求項１】
利用者による楽曲の演奏を表す観測演奏データを学習済モデルに入力することで、相異なる複数の演奏傾向の各々について、前記演奏が当該演奏傾向に該当する確度を示す指標値を特定し、
前記複数の演奏傾向に対応する情報の時系列をそれぞれ表す複数の基礎データから、前記各演奏傾向について特定された指標値に応じて、前記楽曲に関する情報の時系列を表す時系列データを生成する
情報処理方法。
【請求項２】
時間軸上の複数の解析期間の各々について、
当該解析期間内の前記観測演奏データから前記各演奏傾向の指標値を特定し、
前記複数の基礎データにおける当該解析期間内の部分から、当該解析期間について特定された前記各演奏傾向の指標値に応じて、前記時系列データのうち当該解析期間内の部分を生成する
請求項１の情報処理方法。
【請求項３】
前記時系列データは、音符の時系列を表すデータである
請求項１または請求項２の情報処理方法。
【請求項４】
前記時系列データの生成においては、前記複数の基礎データの間で相互に対応する音符を前記各演奏傾向の指標値に応じて合成することで、前記時系列データを生成する
請求項３の情報処理方法。
【請求項５】
前記各演奏傾向の基礎データが表す音符の時系列は、前記複数の基礎データの間で相互に対応する共通音符と、前記基礎データ毎に相違する個別音符とを含み、
前記時系列データの生成においては、前記複数の基礎データの間で相互に対応する前記共通音符を前記各演奏傾向の指標値に応じて合成し、かつ、前記各演奏傾向に対応する基礎データが表す個別音符を当該演奏傾向の指標値に応じて選択することで、前記時系列データを生成する
請求項４の情報処理方法。
【請求項６】
前記楽曲を構成する音符の時系列を指定する楽曲データから生成されて当該楽曲の演奏を表す参照演奏データと、前記観測演奏データとを前記学習済モデルに付与することで、利用者による演奏が特定の演奏傾向に該当する確度を示す指標値を特定する
請求項１から請求項５の何れかの情報処理方法。
【請求項７】
前記観測演奏データは、相異なる音量に対応する複数の要素を含む音量データを複数の音高の各々について含み、
前記各音高の音量データにおける前記複数の要素のうち、利用者が当該音高を演奏した音量に対応する要素は第１値に設定され、残余の要素は、前記第１値とは相違する第２値に設定される
請求項１から請求項６の何れかの情報処理方法。
【請求項８】
利用者による楽曲の演奏を表す観測演奏データを学習済モデルに付与することで、相異なる複数の演奏傾向の各々について、前記演奏が当該演奏傾向に該当する確度を示す指標値を特定する指標特定部と、
前記複数の演奏傾向に対応する情報の時系列をそれぞれ表す複数の基礎データから、前記各演奏傾向について特定された指標値に応じて、前記楽曲に関する情報の時系列を表す時系列データを生成する情報処理部と
を具備する情報処理装置。
【請求項９】
時間軸上の複数の解析期間の各々について、
前記指標特定部は、当該解析期間内の前記観測演奏データから前記各演奏傾向の指標値を特定し、
前記情報処理部は、前記複数の基礎データにおける当該解析期間内の部分から、当該解析期間について特定された前記各演奏傾向の指標値に応じて、前記時系列データのうち当該解析期間内の部分を生成する
請求項８の情報処理装置。
【請求項１０】
前記時系列データは、音符の時系列を表すデータである
請求項８または請求項９の情報処理装置。
【請求項１１】
前記情報処理部は、前記複数の基礎データの間で相互に対応する音符を前記各演奏傾向の指標値に応じて合成することで、前記時系列データを生成する
請求項１０の情報処理装置。
【請求項１２】
前記各演奏傾向の基礎データが表す音符の時系列は、前記複数の基礎データの間で相互に対応する共通音符と、前記基礎データ毎に相違する個別音符とを含み、
前記情報処理部は、前記複数の基礎データの間で相互に対応する前記共通音符を前記各演奏傾向の指標値に応じて合成し、かつ、前記各演奏傾向に対応する基礎データが表す個別音符を当該演奏傾向の指標値に応じて選択することで、前記時系列データを生成する
請求項１１の情報処理装置。
【請求項１３】
前記指標特定部は、前記楽曲を構成する音符の時系列を指定する楽曲データから生成されて当該楽曲の演奏を表す参照演奏データと、前記観測演奏データとを前記学習済モデルに付与することで、利用者による演奏が特定の演奏傾向に該当する確度を示す指標値を特定する
請求項８から請求項１２の何れかの情報処理装置。
【請求項１４】
前記観測演奏データは、相異なる音量に対応する複数の要素を含む音量データを複数の音高の各々について含み、
前記各音高の音量データにおける前記複数の要素のうち、利用者が当該音高を演奏した音量に対応する要素は第１値に設定され、残余の要素は、前記第１値とは相違する第２値に設定される
請求項８から請求項１３の何れかの情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲の演奏に関するデータを処理する技術に関する。
【背景技術】
【０００２】
例えば特許文献１には、楽曲の演奏音を表す音響信号を処理することで、演奏音のうち任意の楽器の音色を他の楽器の音色に変更する技術が開示されている。また、特許文献１には、特定の音楽的な表情が付与された音響信号を生成する技術も開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１０／０９５６２２号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
楽曲の演奏には、演奏者に特有の傾向（例えば音楽的な表情または演奏の癖）が反映される。楽曲の標準的な演奏の内容を表す既存の楽曲データ（例えばＭＩＤＩデータ）に演奏に関する特定の傾向を反映させるためには、音楽制作者等の作業者が楽曲データを手動で編集する作業が必要であり、作業負荷が過大であるという問題がある。以上の事情を考慮して、本発明は、利用者の演奏の傾向に適合した多様な時系列データを生成することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明の好適な態様に係る情報処理方法は、利用者による楽曲の演奏を表す観測演奏データを学習済モデルに入力することで、相異なる複数の演奏傾向の各々について、前記演奏が当該演奏傾向に該当する確度を示す指標値を特定し、前記複数の演奏傾向に対応する情報の時系列をそれぞれ表す複数の基礎データから、前記各演奏傾向について特定された指標値に応じて、前記楽曲に関する情報の時系列を表す時系列データを生成する。
【０００６】
本発明の好適な態様に係る情報処理装置は、利用者による楽曲の演奏を表す観測演奏データを学習済モデルに付与することで、相異なる複数の演奏傾向の各々について、前記演奏が当該演奏傾向に該当する確度を示す指標値を特定する指標特定部と、前記複数の演奏傾向に対応する情報の時系列をそれぞれ表す複数の基礎データから、前記各演奏傾向について特定された指標値に応じて、前記楽曲に関する情報の時系列を表す時系列データを生成する情報処理部とを具備する。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１実施形態に係る情報処理装置の構成を例示するブロック図である。
【図２】各基礎データが指定する音符の説明図である。
【図３】情報処理装置の機能的な構成を例示するブロック図である。
【図４】情報処理装置の動作の説明図である。
【図５】演奏解析処理の手順を例示するフローチャートである。
【図６】第２実施形態において複数の基礎データを合成する処理の説明図である。
【図７】第３実施形態の情報処理装置の機能的な構成を例示するブロック図である。
【図８】第４実施形態における観測演奏データの説明図である。
【発明を実施するための形態】
【０００８】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る情報処理装置１００の構成を例示するブロック図である。図１に例示される通り、第１実施形態の情報処理装置１００は、制御装置１１と記憶装置１２と音源装置１３と放音装置１４とを具備するコンピュータシステムである。例えば携帯電話機もしくはスマートフォン等の可搬型の情報端末、またはパーソナルコンピュータ等の可搬型または据置型の情報端末が、情報処理装置１００として好適に利用される。
【０００９】
第１実施形態の情報処理装置１００には演奏装置１６が接続される。情報処理装置１００と演奏装置１６との接続の方式は有線および無線の何れでもよい。演奏装置１６は、利用者Ｕが楽曲（以下「演奏楽曲」という）の演奏に利用する入力機器である。例えば利用者Ｕが操作する複数の鍵が配列された鍵盤楽器型の演奏機器（例えばＭＩＤＩ楽器）が、演奏装置１６として好適に利用される。なお、演奏装置１６と情報処理装置１００とを一体に構成してもよい。
【００１０】
演奏装置１６は、利用者Ｕによる操作毎に指示データＥを順次に出力する。指示データＥは、利用者Ｕが演奏した複数の音符の各々について生成され、当該音符の音高と音量とを指定して発音または消音を指示するデータ（例えばＭＩＤＩイベントデータ）である。第１実施形態では、演奏楽曲を構成する複数の演奏パートのうちの第１演奏パートを、利用者Ｕが演奏装置１６を利用して演奏する場合を想定する。第１演奏パートは、例えば演奏楽曲の旋律パートである。
【００１１】
利用者Ｕによる演奏装置１６の演奏には、当該利用者Ｕに特有の傾向（以下「演奏傾向」という）が反映される。演奏傾向は、演奏者の音楽的な意図または演奏動作の癖等の事情に起因して演奏に付加される特徴である。具体的には、音符毎の音長および音量の傾向に応じて演奏傾向が分類される。例えば、標準的な演奏傾向（ノーマル）、各音符を長く演奏するとともに音量を弱めた演奏傾向（繊細）、各音符を長く演奏するとともに音量を強めた演奏傾向（ダイナミクス）、各音符を短く演奏する演奏傾向（メロディアス）等の複数の演奏傾向が想定される。
【００１２】
制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、情報処理装置１００の各要素を統括的に制御する。記憶装置１２（メモリ）は、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せで記憶装置１２は構成される。なお、情報処理装置１００とは別体の記憶装置１２を用意し、制御装置１１が通信網を介して記憶装置１２に対する書込および読出を実行してもよい。すなわち、記憶装置１２を情報処理装置１００から省略してもよい。
【００１３】
第１実施形態の記憶装置１２は、相異なる演奏傾向（以下「候補傾向」という）に対応する複数（Ｋ個）の基礎データＢ_1〜Ｂ_Kを記憶する。各基礎データＢ_k（ｋ＝１〜Ｋ）は、演奏楽曲の内容を表す時系列データである。具体的には、各基礎データＢ_kは、演奏楽曲の第２演奏パートを構成する音符の時系列を指定する。第２演奏パートは、演奏楽曲のうち利用者Ｕが演奏する第１演奏パート以外の演奏パートである。例えば演奏楽曲の１以上の伴奏パートが第２演奏パートの好適例である。具体的には、各基礎データＢ_kは、演奏楽曲の第２演奏パートを構成する複数の音符の各々について音高と音量と発音期間とを指定する。音高および音量を指定して発音または消音を指示する指示データと、各指示データの処理時点を指定する時間データとが時系列に配列されたＭＩＤＩ形式のファイル（ＳＭＦ：Standard MIDI File）が基礎データＢ_kの好適例である。
【００１４】
各基礎データＢ_kは、Ｋ種類の候補傾向Ｃ_1〜Ｃ_Kのうち第ｋ番目の候補傾向Ｃ_kに対応する。任意の１種類の候補傾向Ｃ_kに対応する基礎データＢ_kは、当該候補傾向Ｃ_kのもとで演奏されるべき演奏楽曲の第２演奏パートの内容を指定する。すなわち、基礎データＢ_kが表す第２演奏パートは、候補傾向Ｃ_kに近似する演奏傾向のもとで演奏された第１演奏パートに対して音楽的に調和する。
【００１５】
図２は、Ｋ個の基礎データＢ_1〜Ｂ_Kが指定する音符の説明図である。図２においては、基礎データＢ_k1および基礎データＢ_k2の２個（ｋ1，ｋ2＝１〜Ｋ，ｋ1≠ｋ2）が便宜的に例示されている。図２に例示される通り、Ｋ個の基礎データＢ_1〜Ｂ_Kの間では、各音符は相互に対応するものの、演奏傾向の相違に起因して各音符の特性値（音長および音量）が相違する。Ｋ個の基礎データＢ_1〜Ｂ_Kの間で編曲（アレンジ）が相違すると表現してもよい。
【００１６】
第１実施形態の制御装置１１は、演奏装置１６から順次に供給される指示データＥに応じてＫ個の基礎データＢ_1〜Ｂ_Kから時系列データＺを生成する。時系列データＺは、演奏楽曲の第２演奏パートを構成する音符の時系列を指定する。具体的には、時系列データＺは、各基礎データＢ_kと同様に、演奏楽曲の第２演奏パートを構成する複数の音符の各々について音高と音量と発音期間とを指定する。第１実施形態の制御装置１１は、利用者Ｕの演奏傾向が反映された第２演奏パートの演奏内容を表す時系列データＺを生成する。
【００１７】
図１の音源装置１３は、制御装置１１が生成する時系列データＺに応じた音響信号Ａを生成する。音響信号Ａは、時系列データＺにより指定される第２演奏パートの演奏音を表す信号である。例えばＭＩＤＩ音源が音源装置１３として好適に利用される。放音装置１４は、音源装置１３が生成した音響信号Ａが表す音響を放音する。例えばスピーカ装置またはヘッドホンが放音装置１４として好適に利用される。なお、音源装置１３が生成した音響信号Ａをデジタルからアナログに変換するＤ/Ａ変換器、および、音響信号Ａを増幅する増幅器の図示は便宜的に省略した。以上の説明から理解される通り、利用者Ｕによる第１演奏パートの演奏傾向を反映した第２演奏パートの演奏音が放音装置１４から放音される。なお、情報処理装置１００が音源装置１３および放音装置１４を具備する構成を図１では例示したが、音源装置１３および放音装置１４を情報処理装置１００の外部に設置してもよい。例えば、情報処理装置１００とは別体の音源装置１３または放音装置１４を情報処理装置１００に有線または無線で接続した構成が例示される。
【００１８】
図３は、情報処理装置１００の機能的な構成を例示するブロック図である。図３に例示される通り、制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、指示データＥの時系列とＫ個の基礎データＢ_1〜Ｂ_Kとから時系列データＺを生成するための複数の機能（演奏解析部２１、指標特定部２２および情報処理部２３）を実現する。なお、相互に別体で構成された複数の装置で制御装置１１の機能を実現してもよいし、制御装置１１の機能の一部または全部を専用の電子回路で実現してもよい。
【００１９】
演奏解析部２１は、演奏装置１６が順次に出力する指示データＥから観測演奏データＸを生成する。観測演奏データＸは、利用者Ｕによる楽曲の演奏を表すデータである。演奏解析部２１による観測演奏データＸの生成は、時間軸上の単位期間（フレーム）毎に順次に実行される。単位期間は、演奏楽曲の１個の音符と比較して充分に短い時間長に設定される。
【００２０】
第１実施形態の観測演奏データＸは、演奏装置１６により演奏可能な複数（Ｎ個）の音高の各々について演奏音量（ベロシティ）を示すＮ次元ベクトルである。すなわち、観測演奏データＸが示すベクトルのＮ個の要素Ｖxのうち、利用者Ｕが演奏した音高に対応する要素Ｖxは、利用者Ｕによる演奏音量を示す数値に設定され、利用者Ｕが演奏していない音高に対応する要素Ｖxは、利用者Ｕが演奏していないことを意味する数値（例えば０）に設定される。
【００２１】
図３の指標特定部２２は、演奏解析部２１が順次に生成する観測演奏データＸから、相異なる候補傾向Ｃ_kに対応するＫ個の指標値Ｗ_1〜Ｗ_Kを特定する。任意の１種類の候補傾向Ｃ_kに対応する指標値Ｗ_kは、利用者Ｕによる演奏傾向が当該候補傾向Ｃ_kに該当する確度を示す指標である。具体的には、利用者Ｕによる演奏傾向が候補傾向Ｃ_kに近似するほど指標値Ｗ_kは大きい数値となる。したがって、Ｋ個の指標値Ｗ_1〜Ｗ_Kは、利用者Ｕによる演奏傾向を表す情報とも換言される。第１実施形態では、Ｋ個の合計値が１となるように正規化された確率を指標値Ｗ_kとして例示する。第１実施形態の指標特定部２２は、時間軸上の所定長の期間（以下「解析期間」という）毎にＫ個の指標値Ｗ_1〜Ｗ_Kを特定する。すなわち、任意の１個の解析期間では、当該解析期間内の観測演奏データＸからＫ個の指標値Ｗ_1〜Ｗ_Kが特定される。解析期間は、複数の単位期間を含む期間である。例えば演奏楽曲の１小節に相当する期間が解析期間として好適である。
【００２２】
第１実施形態の指標特定部２２は、利用者Ｕによる演奏楽曲の演奏を表す観測演奏データＸを学習済モデルＬaに入力することでＫ個の指標値Ｗ_1〜Ｗ_Kを特定する。学習済モデルＬaは、観測演奏データＸとＫ個の指標値Ｗ_1〜Ｗ_Kとの関係を学習した統計的予測モデルであり、観測演奏データＸの入力に対してＫ個の指標値Ｗ_1〜Ｗ_Kを出力する。学習済モデルＬaとしてはニューラルネットワークが好適に利用される。例えば、学習済モデルＬaは、相互に直列に接続された複数の長短期記憶（ＬＳＴＭ：Long Short Term
Memory）ユニットで構成される。長短期記憶ユニットは、時系列データの解析に好適な再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）の具体例である。学習済モデルＬaは、各単位期間の観測演奏データＸから単位期間毎にＫ個の指標値Ｗ_1〜Ｗ_Kを出力する。指標特定部２２は、解析期間内の各単位期間について算定されたＫ個の指標値Ｗ_1〜Ｗ_Kから当該解析期間の確定的なＫ個の指標値Ｗ_1〜Ｗ_Kを算定する。例えば、解析期間内の複数の単位期間における指標値Ｗ_kの代表値（例えば平均値または中央値）が、当該解析期間の指標値Ｗ_kとして確定される。なお、解析期間内の複数の単位期間における指標値Ｗ_kから当該解析期間の指標値Ｗ_kを確定する方法は任意である。例えば、解析期間内の複数の単位期間における指標値Ｗ_kのうちの最新の数値（すなわち解析期間内の最後の単位期間の指標値Ｗ_k）を、当該解析期間の指標値Ｗ_kとして確定してもよい。
【００２３】
学習済モデルＬaは、観測演奏データＸからＫ個の指標値Ｗ_1〜Ｗ_Kを生成する演算を制御装置１１に実行させるプログラム（例えば人工知能ソフトウェアを構成するプログラムモジュール）と、当該演算に適用される複数の係数ωとの組合せで実現される。複数の係数ωは、多数の教師データを利用した機械学習（特に深層学習）により設定されて記憶装置１２に格納される。
【００２４】
機械学習に利用される各教師データは、観測演奏データＸとＫ個の指標値Ｗ_1〜Ｗ_Kとを相互に対応付けたデータである。機械学習では、教師データの観測演奏データＸを暫定的なモデルに入力したときに生成されるＫ個の指標値Ｗ_1〜Ｗ_Kと、当該教師データのＫ個の指標値Ｗ_1〜Ｗ_K（すなわち正解）との差異を表す損失関数が最小化されるように、学習済モデルＬaの複数の係数ωが設定される。したがって、学習済モデルＬaは、機械学習に利用された多数の教師データから抽出される傾向のもとで、未知の観測演奏データＸに対して統計的に妥当なＫ個の指標値Ｗ_1〜Ｗ_Kを出力する。
【００２５】
図３の情報処理部２３は、記憶装置１２に記憶されたＫ個の基礎データＢ_1〜Ｂ_Kから、各候補傾向Ｃ_kについて特定された指標値Ｗ_kに応じて時系列データＺを生成する。図４は、情報処理部２３の動作の説明図である。図４に例示される通り、Ｋ個の基礎データＢ_1〜Ｂ_Kの各々は、解析期間毎に時間軸上で区分される。任意の１個の解析期間についてＫ個の指標値Ｗ_1〜Ｗ_Kが特定されると、情報処理部２３は、各基礎データＢ_kのうち当該解析期間内の部分をＫ個の基礎データＢ_1〜Ｂ_Kについて合成することで単位データＺuを生成する。すなわち、解析期間毎に単位データＺuが生成される。各解析期間に対応する複数の単位データＺuの時系列が時系列データＺである。以上の説明から理解される通り、情報処理部２３は、時間軸上の任意の１個の解析期間について、各基礎データＢ_kにおける当該解析期間内の部分から、当該解析期間について特定された各候補傾向Ｃ_kの指標値Ｗ_kに応じて、時系列データＺのうち当該解析期間内の部分である単位データＺuが生成される。したがって、時系列データＺにおける演奏傾向を解析期間毎に切替えることが可能である。
【００２６】
第１実施形態の情報処理部２３は、Ｋ個の基礎データＢ_1〜Ｂ_Kの間で相互に対応する音符を各候補傾向Ｃ_kの指標値Ｗ_kに応じて合成することで、時系列データＺの単位データＺuを生成する。具体的には、情報処理部２３は、以下の数式(1)で表現される通り、Ｋ個の基礎データＢ_1〜Ｂ_Kの間で相互に対応する音符の特性値Ｆ_k（Ｆ_1〜Ｆ_K）を、指標値Ｗ_kを加重値として加重平均することで、単位データＺuの１個の音符の特性値Ｆzを特定する。各音符の特性値Ｆ_kは、例えば当該音符の音長または音量である。解析期間内の音符毎に数式(1)の演算が実行されることで、単位データＺuの複数の音符の各々について特性値Ｆzが特定される。
Ｆz＝Ｗ_1・Ｆ_1＋Ｗ_2・Ｆ_2＋…＋Ｗ_K・Ｆ_K    (1)
【００２７】
数式(1)から理解される通り、指標値Ｗ_kが大きい基礎データＢ_kが指定する音符の特性値Ｆ_kほど時系列データＺに対して優勢に反映される。前述の通り、利用者Ｕの演奏傾向が候補傾向Ｃ_kに近似するほど指標値Ｗ_kは大きい数値となる。したがって、利用者Ｕの演奏傾向に近似する候補傾向Ｃ_kの基礎データＢ_kほど時系列データＺに対して優勢に反映される。すなわち、情報処理部２３は、利用者Ｕの演奏傾向が反映された時系列データＺを生成する。
【００２８】
図５は、第１実施形態の制御装置１１が時系列データＺを生成する処理（以下「演奏解析処理」という）の手順を例示するフローチャートである。演奏解析処理は、例えば情報処理装置１００に対する利用者Ｕからの指示を契機として開始されて解析期間毎に反復される。
【００２９】
演奏解析処理を開始すると、演奏解析部２１は、演奏装置１６から順次に供給される指示データＥから観測演奏データＸを生成する（Ｓ1）。指標特定部２２は、観測演奏データＸを学習済モデルＬaに入力することで、相異なるＫ種類の候補傾向Ｃ_1〜Ｃ_Kの各々について指標値Ｗ_kを特定する（Ｓ2）。情報処理部２３は、記憶装置１２に記憶されたＫ個の基礎データＢ_1〜Ｂ_Kから、各候補傾向Ｃ_kについて特定された指標値Ｗ_kに応じて、時系列データＺのうち処理対象の解析期間に対応する単位データＺuを生成する（Ｓ3）。以上の手順で生成された単位データＺuが音源装置１３に順次に供給されることで、利用者Ｕによる演奏傾向を反映した第２演奏パートの演奏音が放音装置１４から放音される。
【００３０】
以上に説明した通り、第１実施形態によれば、相異なる候補傾向Ｃ_kに対応するＫ個の基礎データＢ_1〜Ｂ_Kから各候補傾向Ｃ_kの指標値Ｗ_kに応じて時系列データＺが生成されるから、利用者Ｕの演奏傾向に適合した多様な時系列データＺを生成できるという利点がある。具体的には、利用者Ｕが自身の演奏傾向のもとで演奏し易い音符の時系列を表す時系列データＺを生成することが可能である。
【００３１】
＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下に例示する各形態において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。第２実施形態は、情報処理部２３の動作を第１実施形態から変更した形態である。情報処理装置１００の他の要素の構成および動作は第１実施形態と同様である。
【００３２】
図６は、第２実施形態において情報処理装置１００がＫ個の基礎データＢ_1〜Ｂ_Kを合成する処理の説明図である。図６においては、基礎データＢ_k1が指定する音符の時系列と基礎データＢ_k2が指定する音符の時系列とが併記されている。
【００３３】
図６に例示される通り、第２実施形態において各基礎データＢ_kが指定する複数の音符は、Ｋ個の基礎データＢ_1〜Ｂ_Kの間で相互に対応する音符（以下「共通音符」という）と、基礎データＢ_k毎に相違する音符（以下「個別音符」という）とに区別される。共通音符は、Ｋ個の基礎データＢ_1〜Ｂ_Kに共通に存在する音符である。具体的には、共通音符は、Ｋ個の基礎データＢ_1〜Ｂ_Kの間で、音高が共通し、時間軸上の位置が近似または一致する。他方、個別音符は、各基礎データＢ_kに特有の音符であり、他の基礎データＢには存在しない。すなわち、個別音符は、個々の候補傾向Ｃ_kに特有の特徴を表現するための音符である。
【００３４】
情報処理部２３は、共通音符については、第１実施形態と同様に、Ｋ個の基礎データＢ_1〜Ｂ_Kの間で各候補傾向Ｃ_kの指標値Ｗ_kに応じて合成する。具体的には、各共通音符の特性値Ｆ_kについて前掲の数式(1)の演算を実行することで、時系列データＺの音符の特性値Ｆzを特定する。他方、各候補傾向Ｃ_kの基礎データＢ_kが表す個別音符について、情報処理部２３は、当該候補傾向Ｃ_kの指標値Ｗ_kに応じて、時系列データＺの音符として選択するか否かを判定する。具体的には、指標値Ｗ_kが所定の閾値を上回る場合、情報処理部２３は、基礎データＢ_kの個別音符を時系列データＺの音符として選択する。他方、指標値Ｗ_kが閾値を下回る場合、情報処理部２３は、基礎データＢ_kの個別音符を選択しない。すなわち、当該個別音符は時系列データＺに含まれない。以上の説明から理解される通り、共通音符についてはＫ個の基礎データＢ_1〜Ｂ_Kの間で合成されるのに対し、個別音符については、他の基礎データＢの音符とは合成されず、指標値Ｗ_kと閾値との比較の結果に応じて選択および非選択の何れかが判別される。
【００３５】
第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、基礎データＢ_k毎の個別音符について候補傾向Ｃ_kの指標値Ｗ_kに応じて選択される。したがって、各基礎データＢ_kの内容を適切に反映した時系列データＺを生成できるという利点がある。
【００３６】
＜第３実施形態＞
本発明の第３実施形態を説明する。図７は、第３実施形態における情報処理装置１００の機能的な構成を例示するブロック図である。第３実施形態の記憶装置１２は、Ｋ個の基礎データＢ_1〜Ｂ_Kに加えて、演奏楽曲の第１演奏パートの内容を表す楽曲データＤを記憶する。楽曲データＤは、第１演奏パートを構成する音符の時系列を指定する。具体的には、楽曲データＤは、第１演奏パートを構成する複数の音符の各々について音高と音量と発音期間とを指定する。各基礎データＢ_kと同様に、ＭＩＤＩ形式のファイルが楽曲データＤとして好適に利用される。
【００３７】
図７に例示される通り、第３実施形態の制御装置１１は、第１実施形態と同様の要素（演奏解析部２１、指標特定部２２および情報処理部２３）に加えて演奏解析部２４として機能する。演奏解析部２４は、記憶装置１２に記憶された楽曲データＤから、単位期間毎に参照演奏データＹを順次に生成する。参照演奏データＹは、楽曲の標準的な演奏（例えば楽譜に忠実な演奏）を表すデータである。具体的には、参照演奏データＹは、演奏楽曲のうち特定の時点（以下「演奏時点」という）における音高毎の演奏音量を示すベクトルである。演奏時点は、利用者Ｕが演奏楽曲の演奏を開始した時点から当該演奏楽曲の演奏速度（テンポ）に応じた速度で時間軸上を進行する時点である。参照演奏データＹが示すベクトルのＮ個の要素Ｖyのうち、演奏時点での演奏が楽曲データＤにより指示されている音高に対応する要素Ｖyは、楽曲データＤが指定する音量を示す数値に設定され、演奏時点での演奏が指示されていない音高に対応する要素Ｖyは、演奏がされないことを意味する数値（例えば０）に設定される。
【００３８】
なお、演奏楽曲のうち利用者Ｕが演奏していると推定される時点（演奏位置）を演奏時点として参照演奏データＹを生成してもよい。利用者Ｕが演奏している位置の推定には、例えば特開２０１５−７９１８３号公報等に開示された公知の音響解析技術（スコアアライメント）が任意に採用され得る。
【００３９】
図７に例示される通り、演奏解析部２１が生成した観測演奏データＸと演奏解析部２４が生成した参照演奏データＹとを含む演奏データＸyが単位期間毎に指標特定部２２に供給される。指標特定部２２は、演奏データＸyを学習済モデルＬbに入力することでＫ個の指標値Ｗ_1〜Ｗ_Kを特定する。第３実施形態の学習済モデルＬbは、演奏データＸyとＫ個の指標値Ｗ_1〜Ｗ_Kとの関係を学習した統計的予測モデルであり、演奏データＸyの入力に対してＫ個の指標値Ｗ_1〜Ｗ_Kを出力する。第２実施形態の学習済モデルＬbは、第１実施形態の学習済モデルＬaと同様に、相互に直列に接続された複数の長短期記憶ユニットで構成される。
【００４０】
学習済モデルＬbを規定する複数の係数ωは、多数の教師データを利用した機械学習（特に深層学習）により設定されて記憶装置１２に格納される。各教師データは、演奏データＸyとＫ個の指標値Ｗ_1〜Ｗ_Kとを相互に対応付けたデータである。機械学習では、教師データの演奏データＸyを暫定的なモデルに入力したときに生成されるＫ個の指標値Ｗ_1〜Ｗ_Kと、当該教師データのＫ個の指標値Ｗ_1〜Ｗ_Kとの差異を表す損失関数が最小化されるように、学習済モデルＬbの複数の係数ωが設定される。したがって、学習済モデルＬbは、機械学習に利用された多数の教師データから抽出される傾向のもとで、未知の演奏データＸyに対して統計的に妥当なＫ個の指標値Ｗ_1〜Ｗ_Kを出力する。なお、観測演奏データＸと参照演奏データＹとの関係（例えば両者間の相違）がＫ個の指標値Ｗ_1〜Ｗ_Kの特定にとって重要である場合には、観測演奏データＸと参照演奏データＹとの関係が反映されるように機械学習により複数の係数ωが設定される。指標特定部２２が特定したＫ個の指標値Ｗ_1〜Ｗ_Kを利用して情報処理部２３が時系列データＺを生成する処理の具体的な手順は第１実施形態と同様である。
【００４１】
第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態では、観測演奏データＸと参照演奏データＹとが学習済モデルＬbに入力されるから、例えば観測演奏データＸと参照演奏データＹとの差異も考慮して候補傾向Ｃ_k毎の指標値Ｗ_kを特定できるという利点がある。なお、共通音符と個別音符とで処理を相違させる第２実施形態の構成を第３実施形態に適用してもよい。
【００４２】
＜第４実施形態＞
本発明の第４実施形態を説明する。第４実施形態は、観測演奏データＸの形式を第１実施形態から変更した形態である。情報処理装置１００の他の要素の構成および動作は第１実施形態と同様である。
【００４３】
第１実施形態では、音高毎の演奏音量を表す要素ＶxをＮ個の音高について配列したＮ次元ベクトルを観測演奏データＸとして例示した。第４実施形態の観測演奏データＸは、図８に例示される通り、相異なる音高に対応するＮ個の音量データＶ_1〜Ｖ_Nを含んで構成される。各音量データＶ_n（ｎ＝１〜Ｎ）は、相異なる音量に対応するＭ個の要素Ｇ_1〜Ｇ_Mを配列したＭ次元ベクトルである。すなわち、第４実施形態の観測演奏データＸは、Ｍ行×Ｎ列の行列を表す。
【００４４】
各音高の音量データＶ_nにおけるＭ個の要素Ｇ_1〜Ｇ_Mのうち、利用者Ｕが当該音高を演奏した音量に対応する１個の要素Ｇ_m（ｍ＝１〜Ｍ）は数値λ1に設定され、残余の(Ｍ−１)個の要素Ｇは、数値λ1とは相違する数値λ2に設定される。数値λ1（第１値の例示）は例えば１であり、数値λ2（第２値の例示）は例えば０である。なお、複数の音符で構成される和音を利用者Ｕが演奏した場合には、当該和音に対応する２個以上の音量データＶの各々について、Ｍ個の要素Ｇ_1〜Ｇ_Mのうち演奏音量に応じた１個の要素Ｇ_mが数値λ1に設定される。
【００４５】
指標特定部２２は、以上に例示した形式の観測演奏データＸを学習済モデルＬaに入力することで、相異なる候補傾向Ｃ_kに対応するＫ個の指標値Ｗ_1〜Ｗ_Kを特定する。学習済モデルＬaの機械学習に利用される教師データの観測演奏データＸは、Ｎ個の音量データＶ_1〜Ｖ_Nを含む図８のデータである。指標特定部２２が特定したＫ個の指標値Ｗ_1〜Ｗ_Kを利用して情報処理部２３が時系列データＺを生成する処理の具体的な手順は第１実施形態と同様である。
【００４６】
第４実施形態においても第１実施形態と同様の効果が実現される。なお、各音高の音量を示す要素Ｖxを含む第１実施形態の観測演奏データＸを学習済モデルＬaに入力する構成では、利用者Ｕが各音符を演奏した音量がＫ個の指標値Ｗ_1〜Ｗ_Kに充分に反映されない場合がある。学習済モデルＬaに長短期記憶ユニットを利用した構成では特に以上の傾向が顕著である。第４実施形態においては、Ｍ個の要素Ｇ_1〜Ｇ_Mの系列により音量を２値的に表す音量データＶ_nをＮ個の音高について配列した観測演奏データＸが学習済モデルＬaに入力される。したがって、例えば学習済モデルＬaに長短期記憶ユニットを利用した場合でも、利用者Ｕが各音符を演奏した音量を適切に反映した指標値Ｗ_kを特定できるという利点がある。すなわち、演奏音量が利用者Ｕの演奏傾向として有効に検出される。
【００４７】
なお、共通音符と個別音符とで処理を相違させる第２実施形態の構成を第４実施形態に適用してもよい。また、観測演奏データＸと参照演奏データＹとを学習済モデルＬbに入力することでＫ個の指標値Ｗ_1〜Ｗ_Kを特定する第３実施形態の構成を第４実施形態に適用してもよい。第３実施形態の構成を第４実施形態に適用する場合、観測演奏データＸと同様に、参照演奏データＹについても、Ｍ個の要素Ｇ_1〜Ｇ_Mにより音量を２値的に表す音量データＶ_nをＮ個の音高について配列したデータが利用される。
【００４８】
＜変形例＞
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
【００４９】
（１）前述の各形態では、演奏装置１６から供給される指示データＥから演奏解析部２１が観測演奏データＸを生成したが、例えば演奏楽曲の演奏音の波形を表す音響信号から演奏解析部２１が観測演奏データＸを生成してもよい。例えば、演奏解析部２１は、短時間フーリエ変換等の周波数解析を音響信号に対して実行することで周波数スペクトルを算定し、周波数スペクトルのピークに対応する要素Ｖxが当該ピークでの強度に設定された観測演奏データＸを生成する。以上の説明から理解される通り、観測演奏データＸの生成に指示データＥは必須ではない。
【００５０】
（２）前述の各形態では、Ｋ個の基礎データＢ_1〜Ｂ_Kを各指標値Ｗ_kに応じて合成することで時系列データＺを生成したが、Ｋ個の基礎データＢ_1〜Ｂ_Kの何れかを指標値Ｗ_kに応じて時系列データＺとして選択してもよい。例えば、情報処理部２３は、Ｋ個の指標値Ｗ_1〜Ｗ_Kの最大値に対応する１個の基礎データＢ_kを解析期間毎に単位データＺuとして選択する。以上の説明から理解される通り、時系列データＺの生成には、Ｋ個の基礎データＢ_1〜Ｂ_Kの合成だけでなく、Ｋ個の基礎データＢ_1〜Ｂ_Kの何れかの選択も含まれる。
【００５１】
（３）前述の各形態では、制御装置１１が生成した時系列データＺを音源装置１３に供給したが、時系列データＺの供給先は音源装置１３に限定されない。例えば、時系列データＺが指定する音響を放音可能な楽器（例えば電子楽器）に、制御装置１１が生成した時系列データＺを供給してもよい。時系列データＺを楽器に供給する構成は、前述の各形態における音源装置１３および放音装置１４として楽器を利用した形態とも換言される。時系列データＺが供給される楽器の好適例としては、例えば時系列データＺに応じて発音源（例えば弦）を駆動することで演奏楽曲の自動演奏を実行する自動演奏楽器（例えば自動演奏ピアノ）が想定される。
【００５２】
（４）例えばインターネット等の通信網を介して端末装置（例えば携帯電話機またはスマートフォン）と通信するサーバ装置により情報処理装置１００を実現してもよい。具体的には、情報処理装置１００は、端末装置から受信した指示データＥに対する演奏解析処理(図５)により時系列データＺを生成し、当該時系列データＺを端末装置に送信する。なお、演奏解析部２１による観測演奏データＸの生成、または、演奏解析部２４による参照演奏データＹの生成を、端末装置により実行してもよい。すなわち、演奏解析部２１および演奏解析部２４を情報処理装置１００から省略してもよい。
【００５３】
（５）前述の各形態では、音符の時系列を表す時系列データＺを生成したが、時系列データＺが指定する情報は音符の時系列に限定されない。例えば、表示装置に表示されるオブジェクト（例えば仮想的な演奏者）の動作を示すＫ個の基礎データＢ_1〜Ｂ_Kから、利用者Ｕの演奏傾向に応じてオブジェクトを動作させる時系列データＺを生成してもよい。また、例えば照明装置の発光（例えば点滅、光量または発光色）を制御するためのＫ個の基礎データＢ_1〜Ｂ_Kから、利用者Ｕの演奏傾向に応じて照明装置を動作させる時系列データＺを生成してもよい。以上の説明から理解される通り、時系列データＺは、演奏楽曲に関する情報の時系列を表すデータとして包括的に表現される。
【００５４】
（６）前述の各形態に係る情報処理装置１００の機能は、コンピュータ（例えば制御装置１１）とプログラムとの協働により実現される。本発明の好適な態様に係るプログラムは、利用者Ｕによる演奏楽曲の演奏を表す観測演奏データＸを学習済モデルＬaに付与することで、相異なるＫ種類の候補傾向Ｃ_1〜Ｃ_Kの各々について、利用者Ｕによる演奏が当該候補傾向Ｃ_kに該当する確度を示す指標値Ｗ_kを特定する指標特定処理（Ｓ2）と、Ｋ種類の候補傾向Ｃ_1〜Ｃ_Kに対応する情報の時系列をそれぞれ表すＫ個の基礎データＢ_1〜Ｂ_Kから、各候補傾向Ｃ_kについて特定された指標値Ｗ_kに応じて、演奏楽曲に関する情報の時系列を表す時系列データＺを生成する情報処理（Ｓ3）とをコンピュータに実行させる。
【００５５】
以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含む。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。
【００５６】
（７）学習済モデル（Ｌa，Ｌb）を実現するための人工知能ソフトウェアの実行主体はＣＰＵに限定されない。例えば、Tensor Processing UnitおよびNeural Engine等のニューラルネットワーク専用の処理回路、または、人工知能に専用されるＤＳＰ（Digital Signal Processor）が、人工知能ソフトウェアを実行してもよい。また、以上の例示から選択された複数種の処理回路が協働して人工知能ソフトウェアを実行してもよい。
【００５７】
＜付記＞
以上に例示した形態から、例えば以下の構成が把握される。
【００５８】
本発明の好適な態様（第１態様）に係る情報処理方法は、利用者による楽曲の演奏を表す観測演奏データを学習済モデルに入力することで、相異なる複数の演奏傾向の各々について、利用者による演奏が当該演奏傾向に該当する確度を示す指標値を特定し、複数の演奏傾向に対応する情報の時系列をそれぞれ表す複数の基礎データから、各演奏傾向について特定された指標値に応じて、楽曲に関する情報の時系列を表す時系列データを生成する。以上の態様によれば、相異なる演奏傾向に対応する複数の基礎データから各演奏傾向の指標値に応じて時系列データが生成されるから、利用者の演奏傾向に適合した多様な時系列データを生成することが可能である。
【００５９】
第１態様の好適例（第２態様）では、時間軸上の複数の解析期間の各々について、当該解析期間内の観測演奏データから各演奏傾向の指標値を特定し、複数の基礎データにおける当該解析期間内の部分から、当該解析期間について特定された各演奏傾向の指標値に応じて、時系列データのうち当該解析期間内の部分を生成する。以上の態様では、時間軸上の複数の解析期間の各々について、演奏傾向毎の指標値の特定と、時系列データのうち当該解析期間に対応する部分の生成とが実行される。したがって、時系列データにおける演奏傾向を解析期間毎に切替えることが可能である。
【００６０】
第１態様または第２態様の好適例（第３態様）において、時系列データは、音符の時系列を表すデータである。以上の態様によれば、利用者が自身の演奏傾向のもとで演奏し易い音符の時系列を表す時系列データを生成できる。
【００６１】
第３態様の好適例（第４態様）において、時系列データの生成では、複数の基礎データの間で相互に対応する音符を各演奏傾向の指標値に応じて合成することで、時系列データを生成する。以上の態様によれば、複数の基礎データの間で相互に対応する音符を合成することで、複数の基礎データを反映した内容の時系列データを生成できる。
【００６２】
第４態様の好適例（第５態様）において、各演奏傾向の基礎データが表す音符の時系列は、複数の基礎データの間で相互に対応する共通音符と、基礎データ毎に相違する個別音符とを含み、時系列データの生成においては、複数の基礎データの間で相互に対応する共通音符を各演奏傾向の指標値に応じて合成し、かつ、各演奏傾向に対応する基礎データが表す個別音符を当該演奏傾向の指標値に応じて選択することで、時系列データを生成する。以上の態様によれば、複数の基礎データの間で相互に対応する音符を合成することで、複数の基礎データを反映した内容の時系列データを生成できる。また、基礎データ毎の個別音符については演奏傾向の指標値に応じて選択される。すなわち、個別音符については他の音符とは合成されない。したがって、各基礎データの内容を適切に反映した時系列データを生成できるという利点がある。
【００６３】
第１態様から第５態様の何れかの好適例（第６態様）において、楽曲を構成する音符の時系列を指定する楽曲データから生成されて当該楽曲の演奏を表す参照演奏データと、観測演奏データとを学習済モデルに付与することで、利用者による演奏が特定の演奏傾向に該当する確度を示す指標値を特定する。以上の態様では、観測演奏データと参照演奏データとが学習済モデルに付与されるから、例えば観測演奏データと参照演奏データとの関係（例えば両者間の差異）も考慮して演奏傾向毎の指標値を特定できる。
【００６４】
第１態様から第６態様の何れかの好適例（第７態様）において、観測演奏データは、相異なる音量に対応する複数の要素を含む音量データを複数の音高の各々について含み、各音高の音量データにおける複数の要素のうち、利用者が当該音高を演奏した音量に対応する要素は第１値に設定され、残余の要素は、第１値とは相違する第２値に設定される。以上の態様によれば、例えば学習済モデルとして長短期記憶（ＬＳＴＭ）ユニットを利用した場合でも、利用者による各音符の演奏の音量を適切に反映した指標値を特定できる。
【００６５】
以上に例示した各態様の情報処理方法を実行する情報処理装置、または、以上に例示した各態様の情報処理方法をコンピュータに実行させるプログラムとしても、本発明の好適な態様は実現される。
【符号の説明】
【００６６】
１００…情報処理装置、１１…制御装置、１２…記憶装置、１３…音源装置、１４…放音装置、１６…演奏装置、２１…演奏解析部、２２…指標特定部、２３…情報処理部、２４…演奏解析部。
【図１】
2019152716.tif 000003
【図２】
2019152716.tif 000004
【図３】
2019152716.tif 000005
【図４】
2019152716.tif 000006
【図５】
2019152716.tif 000007
【図６】
2019152716.tif 000008
【図７】
2019152716.tif 000009
【図８】
2019152716.tif 000010