(57)【要約】【課題】シーケンスデータをより容易に加工する技術を提供する。【解決手段】シーケンスデータ加工方法は、所定の楽曲のシーケンスデータの少なくとも一部を、前記所定の楽曲の音信号に基づいて加工するステップを有する。【選択図】図３
2018155937.tif 000002
【特許請求の範囲】
【請求項１】
所定の楽曲のシーケンスデータの少なくとも一部を、前記所定の楽曲の音信号に基づいて加工する
シーケンスデータ加工方法。
【請求項２】
前記音信号は、楽器の演奏音を含み、
前記シーケンスデータは、楽器を演奏するためのシーケンスを示す
請求項１に記載のシーケンスデータ加工方法。
【請求項３】
前記シーケンスデータは、音高を示す情報を含み、
前記シーケンスデータと前記音信号とのマッチングをするステップを有し、
前記マッチングの結果に応じて前記シーケンスデータを加工する
請求項１又は２に記載のシーケンスデータ加工方法。
【請求項４】
前記加工されたシーケンスデータをフィルター処理するステップ
を有する請求項１乃至３のいずれか一項に記載のシーケンスデータ加工方法。
【請求項５】
前記フィルター処理は、シーケンスデータにおける音高の変化を抑制する処理である
請求項４に記載のシーケンスデータ加工方法。
【請求項６】
前記フィルター処理は、音長がしきい値より短い音に対してはシーケンスデータの加工を抑制する処理である
請求項４に記載のシーケンスデータ加工方法。
【請求項７】
前記フィルター処理は、複音に対してはシーケンスデータの加工を抑制する処理である
請求項４に記載のシーケンスデータ加工方法。
【請求項８】
前記加工されたシーケンスデータの編集の指示を受け付けるステップと、
前記指示に応じて前記シーケンスデータを編集するステップと
を有する請求項１乃至７のいずれか一項に記載のシーケンスデータ加工方法。
【請求項９】
所定の楽曲のシーケンスデータの少なくとも一部を、前記所定の楽曲の音信号に基づいて加工するする加工部
を有する情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、シーケンスデータを加工する技術に関する。
【背景技術】
【０００２】
ＣＤ（Compact Disc）等の記録媒体に記録された楽曲の少なくとも一部をＭＩＤＩ（Musical Instrument Digital Interface）等のシーケンスデータを用いて記述することが知られている。ＭＩＤＩデータの入力は、ユーザー（作業者）が楽曲を聴きながら手作業で行うのが一般的である。これに関し、特許文献１には与えられたパターンに基づいて、演奏データに音量制御情報を付加する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３９００１８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ユーザーが手作業でシーケンスデータの入力を行うと、音楽表現としてのアーティキュレーション（ビブラート等）の情報を入力するための加工が煩雑であるという問題があった。また、特許文献１の技術においては、パターンに無い音量制御情報が付加できないという問題があった。
【０００５】
これに対し本発明は、音信号に基づいてシーケンスデータをより容易に加工する技術を提供する。
【課題を解決するための手段】
【０００６】
本発明は、所定の楽曲のシーケンスデータの少なくとも一部を、前記所定の楽曲の音信号に基づいて加工するシーケンスデータ加工方法を提供する。
【０００７】
前記音信号は、楽器の演奏音を含み、前記シーケンスデータは、楽器を演奏するためのシーケンスを示してもよい。
【０００８】
前記シーケンスデータは、音高を示す情報を含み、前記シーケンスデータと前記音信号とのマッチングをするステップを有し、前記マッチングの結果に応じて前記シーケンスデータを加工してもよい。
【０００９】
このシーケンスデータ加工方法は、前記加工されたシーケンスデータをフィルター処理するステップを有してもよい。
【００１０】
前記フィルター処理は、シーケンスデータにおける音高の変化を抑制する処理であってもよい。
【００１１】
前記フィルター処理は、音長がしきい値より短い音に対してはシーケンスデータの加工を抑制する処理であってもよい。
【００１２】
前記フィルター処理は、複音に対してはシーケンスデータの加工を抑制する処理であってもよい。
【００１３】
このシーケンスデータ加工方法は、前記加工されたシーケンスデータの編集の指示を受け付けるステップと、前記指示に応じて前記シーケンスデータを編集するステップとを有してもよい。
【００１４】
また、本発明は、所定の楽曲のシーケンスデータの少なくとも一部を、前記所定の楽曲の音信号に基づいて加工するする加工部を有する情報処理装置を提供する。
【発明の効果】
【００１５】
本発明によれば、シーケンスデータを音信号に基づいて容易に加工することができる。
【図面の簡単な説明】
【００１６】
【図１】第１実施形態に係るシーケンスデータ加工システム１の機能構成を例示する図。
【図２】シーケンスデータ加工システム１のハードウェア構成を例示する図。
【図３】第１実施形態に係る動作を例示するフローチャート。
【図４】ステップＳ３における加工処理の詳細を例示するフローチャート。
【図５】ステップＳ３５における処理を例示する図。
【図６】加工部１３により処理されたシーケンスデータを例示する図。
【図７】シーケンスデータ加工システム１の第２実施形態に係る機能構成を例示する図。
【図８】第２実施形態に係る動作を例示するフローチャート。
【図９】フィルター処理の一例を示す図。
【図１０】フィルター処理の別の例を示す図。
【図１１】フィルター処理のさらに別の例を示す図。
【図１２】シーケンスデータ加工システム１の第３実施形態に係る機能構成を例示する図。
【図１３】第３実施形態に係る動作を例示する図。
【図１４】シーケンスデータを編集するためのＵＩ画面を例示する図。
【発明を実施するための形態】
【００１７】
１．第１実施形態
１−１．構成
図１は、第１実施形態に係るシーケンスデータ加工システム１の機能構成を例示する図である。シーケンスデータ加工システム１は、与えられたシーケンスデータを加工する。シーケンスデータは、処理装置２において行われる処理のシーケンス、すなわち処理の内容とそのタイミングを記述したデータである。処理装置２は、シーケンスデータに従って処理を行う装置である。一例において、処理装置２はミュージックシーケンサー又は自動演奏楽器であり、シーケンスデータは自動演奏楽器において所定の楽曲を演奏するためのシーケンスを示すデータである。シーケンスデータは、例えばＭＩＤＩ（Musical Instrument Digital Interface）であり、音高を示す情報を含む。
【００１８】
シーケンスデータ加工システム１は、シーケンス入力部１１、音入力部１２、加工部１３、出力部１４、及びＵＩ（User Interface）部１５を有する。シーケンス入力部１１は、シーケンスデータの入力を受け付ける。音入力部１２は、音信号の入力を受け付ける。一例において、音信号は楽器の演奏音を含み、シーケンスデータはミュージックシーケンサーにおいてその楽器の音を出力するためのデータ、又は自動演奏楽器において演奏を行うためのデータである。加工部１３は、シーケンス入力部１１を介して入力されたシーケンスデータの少なくとも一部を、音入力部１２を介して入力された音信号に基づいて加工する。出力部１４は、加工されたシーケンスデータを出力する。ＵＩ部１５は、シーケンスデータの加工を行うためのユーザーインターフェースを提供する。
【００１９】
図２は、シーケンスデータ加工システム１のハードウェア構成を例示する図である。この例において、シーケンスデータ加工システム１は、情報処理装置１０によって構成される。情報処理装置１０は、ＣＰＵ（Central Processing Unit）１０１、メモリー１０２、ストレージ１０３、通信ＩＦ１０４、入出力ＩＦ１０５、入力装置１０６、ディスプレイ１０７、及びスピーカ１０８を有するコンピュータ装置、例えばスマートフォン、タブレット端末、又はパーソナルコンピュータである。ＣＰＵ１０１は、プログラムに従って各種の演算を行い、情報処理装置１０の他のハードウェア要素を制御する制御装置である。メモリー１０２はＣＰＵ１０１が処理を実行する際のワークエリアとして機能する主記憶装置であり、例えばＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む。ストレージ１０３は各種のデータ及びプログラムを記憶する補助記憶装置であり、例えばＳＳＤ（Solid State Drive）又はＨＤＤ（Hard Disk Drive）を含む。通信ＩＦ２０４は、所定の通信規格に従って他の装置と通信を行うための装置であり、例えば無線通信を行うためのアンテナ及びチップセットを含む。入出力ＩＦ１０５は、外部装置と信号の入出力を行うための装置であり、例えば信号の入力端子及びＡ／Ｄ変換器を含む。この例においては、音信号が入出力ＩＦ１０５を介して入力される。入力装置１０６はユーザーが情報又は指示を入力するための装置であり、例えばタッチデバイス又はキーボードを含む。ディスプレイ１０７は、映像を出力する装置である。スピーカ１０８は、音声を出力する装置である。
【００２０】
この例において、ストレージ１０３は、コンピュータ装置をシーケンスデータ加工システム１として機能させるためのプログラム（以下「シーケンスデータ加工プログラム」という）を記憶する。ＣＰＵ１０１がシーケンスデータ加工プログラムを実行している状態において、通信ＩＦ１０４、入出力ＩＦ１０５、及び入力装置１０６の少なくとも１つはシーケンス入力部１１の一例である。入出力ＩＦ１０５は音入力部１２の一例である。ＣＰＵ１０１は加工部１３の一例である。ストレージ１０３、入出力ＩＦ１０５、及びディスプレイ１０７の少なくとも１つは出力部１４の一例である。入力装置１０５、ディスプレイ１０７、及びスピーカ１０８は、ＵＩ部１５の一例である。
【００２１】
１−２．動作
図３は、シーケンスデータ加工システム１の第１実施形態に係る動作（シーケンスデータ加工方法）を例示するフローチャートである。図３のフローは、例えば、ＵＩ部１５を介してユーザーからシーケンスデータの加工を開始する指示が入力されたことを契機として開始される。以下においてはＵＩ部１５等の機能要素を処理の主体として記載するが、これは、シーケンスデータ加工プログラムを実行しているＣＰＵ１０１等のハードウェア要素が他のハードウェア要素と協働して処理を実行することを意味する。また、ここでは、処理装置２がミュージックシーケンサーであり、シーケンスデータがＭＩＤＩデータである例を説明する。
【００２２】
ステップＳ１において、シーケンス入力部１１は、シーケンスデータの入力を受け付ける。このシーケンスデータは、ある楽曲（以下「対象曲」という。所定の楽曲の一例）のうちある楽器（以下「対象楽器」という。例えばギター）の演奏音を出力するためのデータである。このシーケンスデータは、例えば、対象曲を聞いた作業者（ユーザー）が、ＵＩ部１５を介して手作業で入力したデータである。このシーケンスデータは、対象楽器による演奏音の音高、音長、及び発音タイミングを示す情報を含んでいるが、音楽表現としてのアーティキュレーションの情報は含んでいないか、含んでいたとしても十分ではない。ここでいうアーティキュレーションは、例えば、音の強弱、スラー、スタッカート、ビブラート、及びチョーキング等の表現を含む。
【００２３】
ステップＳ２において、音入力部１２は、音信号の入力を受け付ける。この音信号は、対象曲の演奏音を示す信号である。この演奏音は、対象楽器の音だけでなく、他の楽器の音、及び楽器以外の音源から発せられた音（例えば人間の声）を含む。一例において、この音信号は、ＣＤ（Compact Disc）等の媒体に記録された対象曲の音信号を再生したものである。
【００２４】
ステップＳ３において、加工部１３は、シーケンスデータを音信号に基づいて加工する。ここでいう加工には、例えば、アーティキュレーションの情報を付加する処理を含む。ステップＳ３の処理は後述する。ステップＳ４において、出力部１４は、加工されたシーケンスデータを出力する。ここでいう出力には、例えば、記憶装置又は記憶媒体への記録、有線又は無線通信による送信、及び表示装置における表示のうち少なくとも１つが含まれる。
【００２５】
図４は、ステップＳ３における加工処理の詳細を例示するフローチャートである。ステップＳ３における加工処理は、音信号から主だったピッチ成分の候補を抽出する処理、音信号とシーケンスデータとのマッチングを取る処理、及び音信号からピッチの動きをシーケンスデータに転写する処理を含む。以下において、加工前のシーケンスデータにより示される、時刻ｔ［ｋ］における音高をＰｂ（ｔ［ｋ］）と表す。時刻ｔ［ｋ］は対象楽曲の時間領域における位置を示す。以下の処理は、時間領域を所定のフレームに区分して繰り返し行われる。時刻ｔ［ｋ］は第ｋフレームの時刻を示す。また、加工後のシーケンスデータにより示される、時刻ｔにおける音高をＰａ（ｔ［ｋ］）と表す。
【００２６】
ステップＳ３１において、加工部１３は、入力された音信号からピッチ尤度関数Ｌ（ｐ，ｔ［ｋ］）を得る。ピッチ尤度関数とは、ピッチ（音高）の尤もらしさの時間変化を示す情報である。ピッチ尤度関数Ｌ（ｐ，ｔ［ｋ］）は、時刻ｔ［ｋ］において音高がｐである尤度を示す。音信号からピッチ尤度関数を得る手法としては、周知の技術が用いられる。一例において、J. Salamon et. al., Emilia Gomez and Jordi Bonada “SINUSOID EXTRACTION AND SALIENCE FUNCTION DESIGN FOR PREDOMINANT MELODY ESTIMATION”,Proc. of the 14th Int. Conference on Digital Audio Effects (DAFx-11), Paris, France, September 19-23, 2011に記載された技術が用いられる。なおステップＳ３１の処理は、音信号から主だったピッチ成分の候補を抽出する処理の一例である。
【００２７】
ステップＳ３２において、加工部１３は、時刻ｔ［ｋ］を初期化する。具体的には、加工部１３は、ｋ＝０に初期化する。
【００２８】
ステップＳ３３において、加工部１３は、現在のフレームがノートの開始位置を含んでいるか判断する。シーケンスデータには、ノートの開始位置を示す情報が含まれている。加工部１３は、シーケンスデータを参照し、現在のフレームがノートの開始位置を含んでいるか判断する。現在のフレームがノートの開始位置を含んでいると判断された場合（ステップＳ３３：ＹＥＳ）、加工部１３は、処理をステップＳ３４に移行する。現在のフレームがノートの開始位置を含んでいないと判断された場合（ステップＳ３３：ＮＯ）、加工部１３は、処理をステップＳ３５に移行する。
【００２９】
ステップＳ３４において、加工部１３は、次のステップＳ３４における計算に用いるため、前フレームの加工後の音高Ｐａ（ｔ［ｋ−１］）を、加工前の音高Ｐｂ（ｔ［ｋ］）と同じ値に設定する。すなわち、
Ｐａ（ｔ［ｋ−１］）＝Ｐｂ（ｔ［ｋ］）
である（ステップＳ３４において計算されるＰａ（ｔ［ｋ−１］）はステップＳ３４の計算に用いるための仮の値であり、シーケンスデータに付加される情報とは異なる）。なおステップＳ３４の処理は、音信号とシーケンスデータとのマッチングを取る処理の一例である。ステップＳ３４の処理を終えると、加工部１３は、処理をステップＳ３５に移行する。
【００３０】
ステップＳ３５において、加工部１３は、前フレームの加工後の音高Ｐａ（ｔ［ｋ−１］）を中心とする所定の分布関数ｆ（ｔ［ｋ−１］）に、ピッチ尤度関数Ｌ（ｐ，ｔ［ｋ］）を乗算する。両者の積においてピークを与える音高を、現フレームの音高Ｐａ（ｔ［ｋ］）とする。すなわち、
Ｐａ（ｔ［ｋ］）＝ｐ［ｍａｘ］
ただし、ｐ［ｍａｘ］は、ｆ（ｔ［ｋ−１］）・Ｌ（ｐ，ｔ［ｋ］）の最大値を与えるｐである。分布関数ｆとしては、例えば、ガウス分布が用いられる。Ｐａ（ｔ［ｋ］）は、Ｐｂ（ｔ［ｋ］）に対しシーケンスデータに従った情報（例えばＭＩＤＩにおけるピッチベンドイベント）に変換され、シーケンスデータに付加される。なおステップＳ３５の処理は、音信号からピッチの動きをシーケンスデータに転写する処理の一例である。
【００３１】
図５は、ステップＳ３５における処理を例示する図である。図の背景部分が尤度関数を示している。横軸が時刻を、縦軸が周波数を、それぞれ示している。尤度は色の濃淡で示されており、濃い（暗い）部分は尤度が低いことを、淡い（明るい）部分は尤度が高いことを示している。前フレームの加工後の音高Ｐａ（ｔ［ｋ−１］）及び分布関数ｆ（ｔ［ｋ−１］）が図中に例示されている。
【００３２】
再び図４を参照して説明する。ステップＳ３６において、加工部１３は、処理対象のフレームを次のフレームに更新する。処理対象のフレームを更新すると、加工部１３は、処理を再びステップＳ３３に移行する。加工部１３は、シーケンスデータのすべてのフレームについて処理が完了するまでステップＳ３３〜Ｓ３６の処理を繰り返し実行する。
【００３３】
図６は、加工部１３により処理されたシーケンスデータを例示する図である。この図は図５と同様に、背景部分が尤度関数を示している。加工前の音高Ｐｂ及び加工後の音高Ｐａが背景に重ねて示されている。この図においては、シーケンスデータは音高の時間変化を示すピッチカーブとして描かれている。この例によれば、シーケンスデータに対してアーティキュレーションの情報を自動的に付加することができる。
【００３４】
２．第２実施形態
図７は、シーケンスデータ加工システム１の第２実施形態に係る機能構成を例示する図である。以下、第１実施形態と共通する事項については説明を省略する。第２実施形態において、シーケンスデータ加工システム１は、フィルター部１６を有する。フィルター部１６は、加工部１３により加工されたシーケンスデータをフィルター処理する。ここで、フィルター処理とは、加工部１３において付加されたアーティキュレーションの情報の少なくとも一部を除去する処理をいう。
【００３５】
図８は、シーケンスデータ加工システム１の第２実施形態に係る動作（シーケンスデータ加工方法）を例示するフローチャートである。ステップＳ５において、フィルター部１６は、加工部１３により加工されたシーケンスデータをフィルター処理する。
【００３６】
図９は、フィルター処理の一例を示す図である。この例において、フィルター処理は、音高の急激な変化を抑制する処理である。シーケンスデータとピッチ尤度関数とのマッチングが上手くいかなかった場合、又はピッチ尤度関数からシーケンスデータへのピッチの動きの転写が上手くいかなかった場合等に、音高の急激な変化（ジャンプ）が生じることがある。そこでこの例においては、音高の急激な変化が生じた場合には加工部１３における加工処理において不具合が発生したものとみなし、音高さの急激な変化を生じさせる情報をシーケンスデータから除去する。一例において、加工部１３はシーケンスデータにピッチベンドイベントを付加するので、フィルター部１６は、ピッチベンドイベントにより示される音高の変化がしきい値を超えた場合、そのピッチベンドイベントをシーケンスデータから削除する。このしきい値は、シーケンスデータ加工システム１においてあらかじめ設定されている。あるいは、このしきい値は、ＵＩ部１５を介してユーザーにより指定されてもよい。
【００３７】
この例によれば、しきい値Ｔｈを超える大きさのピッチベンドイベントは、しきい値Ｔｈと同じ大きさのピッチベンドイベントに置換される。すなわち、結果的に、しきい値を超える音高の変化は、しきい値と同じ音高の変化に抑制される。別の例において、しきい値Ｔｈを超える大きさのピッチベンドイベントが付加されたノートについては、すべてのピッチベンドイベントが削除されてもよい。
【００３８】
なおこの例において、音高の変化の大きさ（しきい値との対比）に加え、音高が変化した後における音高の変化の安定性を考慮してフィルター処理を行ってもよい。例えば、フィルター部１６は、音高の変化の大きさがしきい値よりも大きく、かつ変化後の音高が不安定である場合にのみ、そのピッチベンドイベントを削除してもよい。音高の変化の安定性は、例えば、音高の変化量の絶対値を積算した値を、ノートの時間長で除した値により評価される。
【００３９】
図１０は、フィルター処理の別の例を示す図である。この例において、フィルター処理は、短音について加工を抑制する処理である。一般に音楽表現としてのアーティキュレーションは音長がある程度長いノートに付加されることが多く、音長が短いノートにアーティキュレーションが付加されることはほとんどない。そこでこの例においては、音長がしきい値より短いノートについては、フィルター部１６は、アーティキュレーションの情報をシーケンスデータから削除する。
【００４０】
図１１は、フィルター処理の別の例を示す図である。この例において、フィルター処理は、複音について加工を抑制する処理である。一般に音楽表現としてのアーティキュレーションは単音に付加されることが多く、複音にアーティキュレーションが付加されることはほとんどない。そこでこの例においては、複音を構成するノートについては、フィルター部１６は、アーティキュレーションの情報をシーケンスデータから削除する。なお複音とは、同じタイミングにおいて発せられる複数のノートをいう。
【００４１】
再び図８を参照する。ステップＳ６において、出力部１４は、フィルター部１６によりフィルター処理されたシーケンスデータを出力する。出力処理の詳細は図３のステップＳ４と同様である。これらの例によれば、誤って付加されたアーティキュレーション情報、又は音楽表現上アーティキュレーションが付加される可能性が低い部分に付加されたアーティキュレーション情報を除去することができる。なお、図９〜１１において例示されたフィルター処理のうち２つ以上の処理が組み合わせて用いられてもよい。
【００４２】
３．第３実施形態
図１２は、シーケンスデータ加工システム１の第３実施形態に係る機能構成を例示する図である。第２実施形態において、シーケンスデータ加工システム１は、編集部１７を有する。編集部１７は、ユーザーからの指示に応じてシーケンスデータを編集する。ユーザーからの指示は、ＵＩ部１５を介して入力される。
【００４３】
図１３は、シーケンスデータ加工システム１の第３実施形態に係る動作（シーケンスデータ加工方法）を例示する図である。ステップＳ７において、編集部１７は、フィルター部１６によりフィルター処理されたシーケンスデータを編集する。
【００４４】
図１４は、シーケンスデータを編集するためのＵＩ画面を例示する図である。このＵＩ画面は、背景９１及びピッチカーブ９２を含む。背景９１は、音信号から得られるピッチ尤度関数を示す。ピッチカーブ９２は、フィルター処理後のシーケンスデータから得られる音高の時間変化を示す。ピッチカーブ９２は、背景９１として表示されるピッチ尤度関数と、横軸（時間軸）及び縦軸（周波数軸）における位置が合わせられた状態で表示される。ＵＩ部１５は、ドラッグ＆ドロップ、又はダイアログボックスにおけるパラメータ入力など周知の技術によりピッチカーブを編集するための指示を受け付ける。編集部１７は、ＵＩ部１５を介して入力された指示に応じてシーケンスデータを編集する。
【００４５】
再び図１３を参照して説明する。ステップＳ８において、出力部１４は、編集部１７により編集されたシーケンスデータを出力する。出力処理の詳細は図３のステップＳ４と同様である。この例によれば、ピッチ尤度関数を視覚的に確認しながら、ピッチ尤度関数に合わせてピッチカーブ（シーケンスデータ）を編集（修正）することができる。なお、ここでは第２実施形態のシーケンスデータ加工システム１に対し編集部１７を追加した例を説明したが、第１実施形態のシーケンスデータ加工システム１に対し編集部１７が追加されてもよい。
【００４６】
４．変形例
本発明は上述の第１〜第３実施形態に限定されるものではなく、種々の変形実施が可能である。上述の実施形態のうち２つ以上のものが組み合わせて用いられてもよい。また、上述の実施形態のそれぞれ、又は２つ以上の組み合わせに対し、以下の変形例のうち少なくとも１つが適用されてもよい。
【００４７】
加工部１３による加工処理においてシーケンスデータに付加される情報は、ピッチベンドイベントすなわち音高の変化を示す情報に限定されない。音高の変化を示す情報に代えて、又は加えて、音高以外のパラメータの変化を示す情報がシーケンスデータに付加されてもよい。一例において、加工部１３は、音量の変化を示す情報を付加してもよい。この場合、加工部１３は、ピッチ尤度関数を用い、ノート毎に平均のパワーを計算する。加工部１３は、こうして得られたパワーをシーケンスデータの書式に従った情報（例えばＭＩＤＩにおけるベロシティイベント）に変換し、この情報をシーケンスデータに付加する。この例によれば、音楽表現としての音量の変化（ダイナミクス）をシーケンスデータに付加することができる。
【００４８】
加工部１３は、いわゆるスコアアライメントの技術を用いて、シーケンスデータ及び音信号の時間軸上の位置を合わせてもよい。スコアアライメントの技術は、例えば、特開２０１５−７９１８３号公報に記載されている。すなわち、加工部１３は、スコアアライメントの技術を用い、シーケンスデータにおいて発音タイミング及び終音タイミング（例えばＭＩＤＩにおけるノートオンイベント及びノートオフイベントのタイミング）を調整する。この例によれば、音楽表現としてのタイミングのずれ（いわゆるタメ、ノリ、又はグルーブ）を示す情報をシーケンスデータに付加することができる。
【００４９】
シーケンスデータと音信号とのマッチングを取る方法は、ピッチ尤度関数を用いるものに限定されない。例えば、ピッチ尤度関数に代わりパワースペクトルが用いられてもよい。パワースペクトルは、音信号をフレームに区切り、各フレームにおけるパワーを周波数毎に計算したものである。
【００５０】
音信号は楽曲の演奏音を含むものに限定されず、また、シーケンスデータはミュージックシーケンサーにおいてその楽器の音を出力するためのデータ、又は自動演奏楽器において演奏を行うためのデータに限定されない。音信号は、例えば、朗読又は話し声であってもよいし、シーケンスデータは照明装置を制御するためのデータであってもよい。
【００５１】
データ加工システム１のハードウェア構成は、図２で例示したものに限定されない。要求される機能を実現できるものであれば、シーケンスデータ加工システム１はどのようなハードウェア構成を有していてもよい。例えば、複数の情報処理装置が協働してデータ加工システム１として機能してもよい。この場合において、複数の情報処理装置がサーバ／クライアントシステムを構成し、シーケンスデータ加工システム１の機能の一部がネットワーク上のサーバに実装されてもよい。
【００５２】
情報処理装置１０において実行されるプログラムは、光ディスク、磁気ディスク、半導体メモリーなどの記憶媒体により提供されてもよいし、インターネット等の通信回線を介してダウンロードされてもよい。また、このプログラムは、図３のすべてのステップを備える必要はない。これらのステップの一部が省略されてもよい。
【符号の説明】
【００５３】
１…シーケンスデータ加工システム、２…処理装置、１０…情報処理装置、１１…シーケンス入力部、１２…音入力部、１３…加工部、１４…出力部、１５…ＵＩ部、１６…フィルター部、９１…背景、９２…ピッチカーブ、１０１…ＣＰＵ、１０２…メモリー、１０３…ストレージ、１０４…通信ＩＦ、１０５…入出力ＩＦ、１０６…入力装置、１０７…ディスプレイ、１０８…スピーカ
【図１】
2018155937.tif 000003
【図２】
2018155937.tif 000004
【図３】
2018155937.tif 000005
【図４】
2018155937.tif 000006
【図５】
2018155937.tif 000007
【図６】
2018155937.tif 000008
【図７】
2018155937.tif 000009
【図８】
2018155937.tif 000010
【図９】
2018155937.tif 000011
【図１０】
2018155937.tif 000012
【図１１】
2018155937.tif 000013
【図１２】
2018155937.tif 000014
【図１３】
2018155937.tif 000015
【図１４】
2018155937.tif 000016