(57)【要約】      （修正有）【課題】楽音データ内の位置と、記号データが示す位置との対応関係があらかじめ記憶されていなくても、記号データを用いて楽音データ内の対応する楽音を指定できる楽音データ処理方法及び楽音データ処理装置を提供する。【解決手段】楽音データ処理方法は、楽曲の記号データＳが示す複数の記号の並びに対応するメロディ又はコード進行の配列と、楽曲の楽音データＭが示す音の波形に対応するメロディ又はコード進行の配列とを比較することにより、記号データＳにおける複数の記号それぞれの位置と、楽音データＭにおける音の波形の各部の位置との対応関係を特定し、記号データＳにおけるいずれかの記号の位置を、記号位置ＰＳとしてユーザが指示することによって、特定された対応関係に基づき、記号位置ＰＳに対応する楽音データＭにおける音の波形の位置を、楽音位置ＰＭとして特定する。【選択図】図２
2018105956.tif 000002
【特許請求の範囲】
【請求項１】
楽曲に係る記号データが示す複数の記号の並びに対応するメロディ又はコード進行の配列と、楽曲に係る楽音データが示す音の波形に対応するメロディ又はコード進行の配列とを比較することにより、前記記号データにおける複数の記号それぞれの位置と前記楽音データにおける音の波形の各部の位置との対応関係を特定し、
前記記号データにおけるいずれかの記号の位置を、記号位置としてユーザが指示することによって、前記特定された対応関係に基づき、前記記号位置に対応する前記楽音データにおける音の波形の位置を、楽音位置として特定することを特徴とする楽音データ処理方法。
【請求項２】
前記記号データ及び前記楽音データを取得し、
前記取得した記号データが示す記号の並びを解析してメロディ又はコード進行の配列を示す第１解析データを生成し、
前記取得した楽音データが示す音の波形を解析してメロディ又はコード進行の配列を示す第２解析データを生成し、
前記第１解析データと前記第２解析データとを比較することにより、前記記号データにおける複数の記号それぞれの位置と前記楽音データにおける音の波形の各部の位置との対応関係を特定する
ことを特徴とする請求項１に記載の楽音データ処理方法。
【請求項３】
前記記号データが示す記号の並びを、画像認識を用いた方法により解析してメロディ又はコード進行の配列を示す第１解析データを生成し、
前記楽音データが示す音の波形を、フーリエ変換を用いた方法により解析してメロディ又はコード進行の配列を示す第２解析データを生成する
ことを特徴とする請求項１又は請求項２に記載の楽音データ処理方法。
【請求項４】
前記記号データは、楽曲に係るコードの並びを示すコード譜である
ことを特徴とする請求項１から請求項３のいずれか１項に記載の楽音データ処理方法。
【請求項５】
前記記号データが示す記号の並びを表示部に表示した状態で、操作入力部によりユーザが記号位置を指示する操作を行ったことに応じて、前記特定された対応関係に基づき、前記記号位置に対応する前記楽音位置を特定し、
前記特定された前記楽音位置に基づいて前記楽音データを再生する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の楽音データ処理方法。
【請求項６】
表示部に、楽曲に係る音符とコードの両方の並びが記された楽譜を前記記号データとして表示した状態で、操作入力部によりユーザが指示操作した記号位置が音符とコードのどちらであるかを判断し、音符の位置が指示操作されたと判断された場合には、前記記号データが示す記号の並びに対応するメロディの配列と、前記楽音データが示す音の波形に対応するメロディの配列とを比較することにより、前記記号データにおける複数の記号それぞれの位置と前記楽音データにおける音の波形の各部の位置との対応関係を特定し、コードの位置が指示操作されたと判断された場合には、前記記号データが示す記号の並びに対応するコード進行の配列と、前記楽音データが示す音の波形に対応するコード進行の配列とを比較することにより、前記記号データにおける複数の記号それぞれの位置と前記楽音データにおける音の波形の各部の位置との対応関係を特定する
ことを特徴とする請求項１から請求項５のいずれか１項に記載の楽音データ処理方法。
【請求項７】
前記記号データが示す記号の並びに対応するコード進行、又は前記楽音データが示す音の波形に対応するコード進行が、規定のコード進行のパターンから外れる場合は、エラーを示す情報を出力するか、あるいは、そのパターンから外れたコード進行を、最も類似する規定のコード進行のパターンに補正する
ことを特徴とする請求項１から請求項６のいずれか１項に記載の楽音データ処理方法。
【請求項８】
前記楽音データの再生中に、表示部に表示されている前記記号データにおける再生位置に対応する記号の位置を識別して表示させる
ことを特徴とする請求項１から請求項７のいずれか１項に記載の楽音データ処理方法。
【請求項９】
表示部に前記記号データを表示させた状態で、前記記号データにおける記号の範囲である記号範囲が操作入力部によりユーザに指示操作された場合は、
前記指示操作された記号範囲の開始位置に対応する楽音位置と終了位置に対応する楽音位置とを特定し、
前記楽音データにおける前記特定された開始位置に対応する楽音位置から終了位置に対応する楽音位置までを再生する
ことを特徴とする請求項１から請求項８のいずれか１項に記載の楽音データ処理方法。
【請求項１０】
表示部に前記記号データを表示させた状態で、前記記号データにおける記号の範囲である記号範囲を操作入力部によりユーザに指示操作させ、
前記指示操作された記号範囲に含まれる複数の記号の並びに対応する前記楽音データにおける音の波形の範囲である楽音範囲を検索する
ことを特徴とする請求項１から請求項８のいずれか１項に記載の楽音データ処理方法。
【請求項１１】
複数の楽曲それぞれに対応する複数の楽音データを取得し、
前記取得された複数の楽音データの中から、前記記号データのメロディ又はコード進行の配列と、前記楽音データのメロディ又はコード進行の配列とが一致する楽音データを特定し、
前記特定された楽音データを再生対象として指定し、
前記再生対象として指定された楽音データを対象として、表示部に表示された記号データに対して指示操作された記号位置に基づく再生制御を行う
ことを特徴とする請求項１から請求項１０のいずれか１項に記載の楽音データ処理方法。
【請求項１２】
前記操作入力部及び前記表示部は、両者が組み合わされたタッチパネルであり、
前記特定された記号データを前記表示部に表示した状態で、前記操作入力部により記号位置をユーザに指示操作させる
ことを特徴とする請求項５に記載の楽音データ処理方法。
【請求項１３】
請求項１から請求項１２のいずれか１項に記載の楽音データ処理方法を実行する制御部と、
前記記号データが示す記号の並びを表示する表示部と、
ユーザが前記記号位置を指示する操作を行う操作入力部と、を備える
ことを特徴とする楽音データ処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽音データ処理方法及び楽音データ処理装置に関するものである。
【背景技術】
【０００２】
従来、楽音データ（演奏データ）と楽譜上の記号位置とがあらかじめ対応付けられた演奏シーケンスデータに基づいて楽音を再生させる場合に、この楽譜を示す画像をタッチパネル付きの表示部に表示させた状態で、ユーザが任意の記号位置に対応する小節位置をタッチすることにより、このタッチされた小節位置に対応する楽音位置からの楽音を再生対象として指定できるようにした技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１８４４２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術において、タッチパネル付きの表示部に表示させる楽譜は、あらかじめ楽音データとの間で小節位置の対応関係が記憶されたものであり、このような対応関係が記憶されていない楽譜に基づいて再生対象となる楽音位置に対応する楽音をタッチ操作で指定することはできなかった。
本発明は、上記事情に鑑みてなされたものであり、楽音データ（音の波形）内の楽音位置（音の波形の各部の位置）と、記号データ（楽譜やコード譜などの記号の並び）が示す記号位置（記号の位置）との対応関係があらかじめ記憶されていなくても、記号データを用いて楽音データ内の対応する楽音を指定できる楽音データ処理方法及び楽音データ処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明は、以下の構成によって把握される。
本発明の楽音データ処理方法及び楽音データ処理装置は、楽曲に係る記号データが示す複数の記号の並びに対応するメロディ又はコード進行の配列と、楽曲に係る楽音データが示す音の波形に対応するメロディ又はコード進行の配列とを比較することにより、前記記号データにおける複数の記号それぞれの位置と前記楽音データにおける音の波形の各部の位置との対応関係を特定し、前記記号データにおけるいずれかの記号の位置を、記号位置としてユーザが指示することによって、前記特定された対応関係に基づき、前記記号位置に対応する前記楽音データにおける音の波形の位置を、楽音位置として特定することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、楽音データ内の楽音位置と、記号データが示す記号位置との対応関係があらかじめ記憶されていなくても、記号データを用いて楽音データ内の対応する楽音を指定できる楽音データ処理方法及び楽音データ処理装置を提供できる。
【図面の簡単な説明】
【０００７】
【図１】楽音データ処理装置の概念図である。
【図２】記号データ及び楽音データが変換されるイメージを説明する説明図である。
【図３】表示処理のフロー図である。
【図４】操作指示による制御のフロー図である。
【図５】再生処理のフロー図である。
【図６】検索処理のフロー図である。
【図７】表示画面の例を示す図である。
【図８】コード進行が選択された状態における表示画面の例を示す図である。
【図９】選択されたコード進行と一致するコード進行及び類似するコード進行の箇所が反転表示された状態における表示画面の例を示す図である。
【発明を実施するための形態】
【０００８】
（実施形態）
以下、図面を参照して本発明を実施するための形態（以下、実施形態）について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号を付している。
【０００９】
図１は楽音データ処理装置１の概念図である。
図２は、記号データＳ及び楽音データＭが変換されるイメージを説明する説明図である。
【００１０】
楽音データ処理装置１は、例えば、電子楽器やスマートフォンやタブレット等のような、タッチパネルを搭載した装置に搭載される。
【００１１】
図１に示すように、楽音データ処理装置１は、制御部１０と操作入力部２０と表示部３０と記憶部４０と発音部５０とスイッチ部６０と、を備える。なお、楽音データ処理装置１は、別途、記号データＳを記憶部４０に読み込むため、撮像画像から記号データＳを光学認識（画像認識）するためのカメラ等の認識部（不図示）やキーボード（不図示）を備えてもよい。
【００１２】
（制御部）
制御部１０は、ＲＯＭに記憶されたプログラムを実行してＲＡＭに記憶された各種データを処理することにより各種機能を実行する汎用のプロセッサなどで構成される。
【００１３】
制御部１０は、詳細は後述するが、図２に示すように、楽曲に係る記号データＳが示す複数の記号の並びに対応するメロディ又はコード進行の配列と、楽曲に係る楽音データＭが示す音の波形に対応するメロディ又はコード進行の配列とを比較することにより、記号データＳにおける複数の記号それぞれの位置と楽音データＭにおける音の波形の各部の位置との対応関係を特定し、記号データＳにおけるいずれかの記号の位置を、記号位置ＰＳとしてユーザが指示することによって、特定された対応関係に基づき、記号位置ＰＳに対応する楽音データＭにおける音の波形の位置を、楽音位置ＰＭとして特定する処理を行う。
【００１４】
制御部１０は、記号データＳ及び楽音データＭを取得し、取得した記号データＳが示す記号の並びを解析してメロディ又はコード進行の配列を示す第１解析データＳ’を生成し、取得した楽音データＭが示す音の波形を解析してメロディ又はコード進行の配列を示す第２解析データＭ’を生成し、第１解析データＳ’と第２解析データＭ’とを比較することにより、記号データＳにおける複数の記号それぞれの位置と楽音データＭにおける音の波形の各部の位置との対応関係を特定する処理を行う。
【００１５】
制御部１０は、表示部３０の表示画面１００（図７から図９参照）に記号データＳが示す記号の並びを表示させた状態で、操作入力部２０によりユーザが指示操作した表示画面１００上の表示位置である小節位置Ｐに対応する第１解析データＳ’における位置を、記号位置ＰＳとして特定し、記号位置ＰＳ、第１解析データＳ’及び第２解析データＭ’に基づいて、記号位置ＰＳに対応する楽音データＭにおける位置を、楽音位置ＰＭとして特定する処理を行う。つまり、制御部１０は、記号データＳが示す記号の並びを表示部３０に表示した状態で、操作入力部２０によりユーザが記号位置ＰＳを指示する操作を行ったことに応じて、特定された対応関係に基づき、記号位置ＰＳに対応する楽音位置ＰＭを特定する処理を行う。
【００１６】
第１解析データＳ’の生成は、例えば、記号データＳが示す記号の並びを、画像認識を用いた方法により解析することにより行われる。これにより、記号データＳの入力を簡単に行うことができる。
【００１７】
第２解析データＭ’の生成は、例えば、楽音データＭが示す音の波形を、フーリエ変換を用いた方法により解析することにより行われる。これにより、楽音データＭが示す音の波形から音程がわかるので、メロディ又はコード進行の配列を示す第２解析データＭ’が簡単に解析できる。
【００１８】
制御部１０は、表示部３０に、楽曲に係る音符とコードの両方の並びが記された楽譜を記号データＳとして表示した状態で、操作入力部２０によりユーザが指示操作した記号位置ＰＳが音符とコードのどちらであるかを判断し、音符の位置が指示操作されたと判断された場合には、記号データＳが示す記号の並びに対応するメロディの配列と、楽音データＭが示す音の波形に対応するメロディの配列とを比較することにより、記号データＳにおける複数の記号それぞれの位置と楽音データＭにおける音の波形の各部の位置との対応関係を特定し、コードの位置が指示操作されたと判断された場合には、記号データＳが示す記号の並びに対応するコード進行の配列と、楽音データＭが示す音の波形に対応するコード進行の配列とを比較することにより、記号データＳにおける複数の記号それぞれの位置と楽音データＭにおける音の波形の各部の位置との対応関係を特定する処理を行う。
【００１９】
制御部１０は、表示部３０に記号データＳを表示させた状態で、記号データＳにおける記号の範囲である記号範囲（開始小節位置Ｐｎから終了小節位置Ｐｎ＋ｋの範囲）が操作入力部２０によりユーザに指示操作された場合は、指示操作された記号範囲（開始小節位置Ｐｎから終了小節位置Ｐｎ＋ｋの範囲）の開始位置（開始小節位置Ｐｎ）に対応する楽音位置（開始楽音位置）と終了位置（終了小節位置Ｐｎ＋ｋ）に対応する楽音位置（終了楽音位置）とを特定し、楽音データＭにおける特定された開始位置に対応する楽音位置（開始楽音位置）から終了位置に対応する楽音位置（終了楽音位置）までを再生する処理を行う。
【００２０】
制御部１０は、表示部３０に記号データＳを表示させた状態で、記号データＳにおける記号の範囲である記号範囲（開始小節位置Ｐｎから終了小節位置Ｐｎ＋ｋの範囲）を操作入力部２０によりユーザに指示操作させ、指示操作された記号範囲（開始小節位置Ｐｎから終了小節位置Ｐｎ＋ｋの範囲）に含まれる複数の記号の並びに対応する楽音データＭにおける音の波形の範囲である楽音範囲を検索する処理を行う。
【００２１】
（操作入力部）
操作入力部２０は、ユーザが記号位置ＰＳを指示する操作を行うものであり、例えば、タッチパッドやマウスのような入力装置である。
操作入力部２０と表示部３０とを組み合わせてタッチパネルとすると、表示された内容に対して直感的な入力操作ができるので好ましい。
【００２２】
（表示部）
表示部３０は、記号データＳが示す記号の並びを表示するものであり、例えば、液晶パネルのような表示装置であり、表示画面１００（図７から図９参照）を有する。
操作入力部２０と表示部３０とを組み合わせてタッチパネルとすると、表示された内容に対して直感的な入力操作ができるので好ましい。
【００２３】
（記憶部）
記憶部４０は、記号データＳ及び楽音データＭを記憶する。記憶部４０は、ＲＯＭ４１とＲＡＭ４２とを備える。記号データＳは、制御部１０からの指令により記憶部４０から読み出されて、第１解析データＳ’に変換される。同様に、楽音データＭは、制御部１０からの指令により記憶部４０から読み出されて、第２解析データＭ’に変換される。第１解析データＳ’及び第２解析データＭ’は、主に、ＲＡＭ４２に一時的に記憶される。
【００２４】
（発音部）
発音部５０は、例えば、スピーカであり、楽音データＭの電気信号エネルギーを音波に変換して、外部に放射する音響機器であり、制御部１０からの指令により制御される。
【００２５】
（スイッチ部）
スイッチ部６０は、再生スイッチ（不図示）や検索スイッチ（不図示）や電源スイッチ等を備えるものである。スイッチ部６０は、例えば、押しボタンスイッチやシーソースイッチで構成される。スイッチ部６０からの検出信号は、制御部１０に送信される。なお、再生スイッチ（不図示）や検索スイッチ（不図示）は、表示部３０の表示画面１００に設けられる場合、なくてもよい。
【００２６】
次に、図２を用いて、記号データＳ及び楽音データＭが変換されるイメージを説明する。
【００２７】
記憶部４０に記憶される記号データＳは、例えば、図２の上段左に示すような、Ｆ＃ｍ７、Ｂｍ、Ｇなどの楽曲に係るコードの並びが紙面上に記されたコード譜である。なお、記号データＳは、コード譜に限らず、五線譜やタブ譜等のように楽曲を演奏記号や符号等の記号によって書き表した楽譜であってよく、コードや音符に沿って歌詞１０５（図７から図９参照）が付されていてもよい。また、記号データＳは、紙面上に記されたものに限らず、イメージデータやテキストデータ等のデジタルデータであってもよい。
【００２８】
一方、楽音データＭは、例えば、図２の上段右に示すような、オーディオデータや音声データや波形データである。なお、楽音データＭは、ＭＩＤＩデータのようなデジタルデータであってよく、マイクから直接記録されたアナログデータであってもよい。
【００２９】
制御部１０は、記号データＳに基づき、前奏、メロディ（Ａメロ、Ｂメロ、Ｃメロ・・・等）又は間奏等を識別し、図２の中段左に示すような、記号位置ＰＳとコードＣＳとが関連付けられたコード進行を示す第１解析データＳ’を生成する。同様に、制御部１０は、楽音データＭに基づき、図２の中段右に示すような、楽音位置ＰＭとコードＣＭとが関連付けられたコード進行を示す第２解析データＭ’を生成する。
【００３０】
そして、制御部１０は、第１解析データＳ’におけるコードＣＳの配列と第２解析データＭ’におけるコードＣＭの配列とを比較し、配列が一致する部分を共通コードＣで表し、小節位置Ｐを示す共通番号を時系列的に順番に付していき、図２の下段に示すような、小節位置Ｐに対して記号位置ＰＳと楽音位置ＰＭと共通コードＣが関連付けられたデータテーブルＴ（図２参照）を作成する。
【００３１】
（動作）
以下、楽音データ処理装置１における制御部１０による楽音データ処理方法の内容を、実施形態に基づいて、図２から図９を用いて説明する。
図３は、表示処理のフロー図である。図４は、操作指示による制御のフロー図である。図５は、再生処理のフロー図である。図６は、検索処理のフロー図である。図７は、表示画面１００の例を示す図である。図８は、コード進行（Ｃｎ，Ｃｎ＋ｋ）が選択された状態における表示画面１００の例を示す図である。図９は、選択されたコード進行（Ｃｎ，Ｃｎ＋ｋ）と一致するコード進行（Ｃｎ，Ｃｎ＋ｋ）’及び類似するコード進行（Ｃｎ，Ｃｎ＋ｋ）’’の箇所が反転表示された状態における表示画面１００の例を示す図である。
なお、以下では、記号データＳとしてコード譜を用いる場合で説明するが、コード譜に限らない。また、以下では、楽音データＭとしてオーディオデータ（ＭＩＤＩデータ、音声データ、波形データ等）を用いる場合で説明するが、オーディオデータに限らない。さらに、以下では、操作入力部２０と表示部３０との機能が一体化され、指先等で画面に触れることで入力を行うことが可能なタッチパネルを有するタブレットを使用することを前提として説明するが、操作入力部２０と表示部３０とを別に設けてもよく、その際、操作入力部２０をマウスのようなポインティングデバイスとし、ポインティングデバイスの動きに応じて表示部３０にポインタを表示するようにしてもよい。
また、以下では、第１解析データＳ’と第２解析データＭ’は、コード進行を示すものとしているが、コード進行に換えて、メロディとしてもよい。
【００３２】
（表示処理）
制御部１０による表示処理について、主に、図２、図３及び図７を用いて説明する。
（Ａ１）図３に示すように、まず、記号位置ＰＳとコードＣＳの情報を含むコード譜等の記号データＳを、手入力やスキャナや有線又は無線によるデータ転送等の手段によって読み込み、記憶部４０に記憶する（ステップＡ１）。なお、ＳＤカードやＵＳＢメモリ等のフラッシュメモリを制御部１０に直接接続して、そのフラッシュメモリを記憶部４０としてもよい。
（Ａ２）同様に、オーディオデータである楽音データＭを、記憶部４０に記憶する（ステップＡ２）。
（Ａ３）すると、制御部１０は、記号データＳ及び楽音データＭの各データの構成を解析する全体構成解析を行う（ステップＡ３）。詳細には、制御部１０は、記号データＳに基づき、前奏、メロディ（Ａメロ、Ｂメロ、Ｃメロ・・・等）又は間奏等を識別し、記号位置ＰＳとコードＣＳとが関連付けられたコード進行を示す第１解析データＳ’ （図２参照）を生成する。同様に、制御部１０は、楽音データＭに基づき、楽音位置ＰＭとコードＣＭとが関連付けられたコード進行を示す第２解析データＭ’ （図２参照）を生成する。
（Ａ４）次に、制御部１０は、第１解析データＳ’と第２解析データＭ’とを比較し、同期処理をする（ステップＡ４）。詳細には、コードＣＳ及びコードＣＭを、共通する小節位置Ｐに関連付ける。例えば、コードＣＳの配列とコードＣＭの配列とを比較し、両者が一致した共通コードＣである部分には、小節位置Ｐを示す共通番号を時系列的に順番に付していき、小節位置Ｐに対して記号位置ＰＳと楽音位置ＰＭと共通コードＣが関連付けられたデータテーブルＴ（図２参照）を作成する。
（Ａ５）そして、図７に示すように、制御部１０は、表示部３０の表示画面１００に、小節位置Ｐと共通コードＣとの関係（コード進行１０４）を示すコード譜を表示する（ステップＡ５）。
また、表示画面１００には、コード進行１０４の他に、再生ボタン１０１や検索ボタン１０２が表示される。
さらに、表示画面１００には、コード進行１０４に沿って、歌詞１０５が表示されてもよい。
なお、コード進行１０４に沿って音符（不図示）を表示してもよい。
このようにして、制御部１０は、読み込んだ記号データＳ及び楽音データＭに基づき、表示部３０を制御して、表示処理を行う。
これにより、楽音データＭ内の位置と、記号データＳが示す位置との対応関係があらかじめ記憶されていなくても、楽音データＭ内の位置と、記号データＳが示す位置とを関係付けられる。よって、楽音データＭ内の位置と、記号データＳが示す位置との対応関係があらかじめ記憶されていなくても、記号データＳを用いて楽音データＭ内の対応する楽音を指定できる。
【００３３】
（操作指示処理）
次に、制御部１０による操作指示処理について、主に、図４、図７、図８及び図９を用いて説明する。前提として、上述の表示処理により、表示部３０には既に図７に示すようなコード譜が表示されている。
（Ｂ１）図４に示すように、まず、制御部１０は、ユーザによるタッチパネルの操作を検出する（ステップＢ１）。
（Ｂ２）ここで、制御部１０は、検出された操作が初回であるか否かを判定し（ステップＢ２）、検出された操作が初回であれば（ステップＢ２の判定がＹｅｓの場合）、ステップＢ３に移行し、そうでなければ（ステップＢ２の判定がＮｏの場合）、ステップＢ７に移行する。
（Ｂ３）制御部１０は、関連するＲＡＭ４２を初期化し（ステップＢ３）、ステップＢ４に移行する。
（Ｂ４）制御部１０は、初回タッチ位置を保存し（ステップＢ４）、ステップＢ５に移行する。
（Ｂ５）制御部１０は、例えば、表示部３０の表示画面１００における初回タッチ位置に対応する箇所の色を反転させる等して、表示を更新し（ステップＢ５）、ステップＢ６に移行する。
（Ｂ６）制御部１０は、初回タッチ位置に最も近い小節位置Ｐを、開始小節位置Ｐｎ（図８参照）として保存し（ステップＢ６）、ステップＢ１に移行する。
（Ｂ７）制御部１０は、ユーザによってドラッグ操作がなされているか否かを判定し（ステップＢ７）、ドラッグ操作がなされていれば（ステップＢ７の判定がＹｅｓの場合）、ステップＢ８に移行し、そうでなければ（ステップＢ７の判定がＮｏの場合）、ステップＢ９に移行する。
（Ｂ８）制御部１０は、ステップＢ７でドラッグ位置（範囲）を保存した後、例えば、表示部３０におけるドラッグ位置（範囲）に対応する箇所の色を反転させる等して、表示を更新する（ステップＢ８）。
（Ｂ９）制御部１０は、ユーザによってタッチリリースがなされたか否かを判定し（ステップＢ９）、タッチリリースがなされれば（ステップＢ９の判定がＹｅｓの場合）、ステップＢ１０に移行し、そうでなければ（ステップＢ９の判定がＮｏの場合）、ステップＢ１２に移行する。
（Ｂ１０）制御部１０は、タッチリリースされた位置に最も近い小節位置Ｐを終了小節位置Ｐｎ＋ｋ（図８参照）として保存し（ステップＢ１０）、ステップＢ１１に移行する。
（Ｂ１１）制御部１０は、選択フラグをＯＮし（ステップＢ１１）、ステップＢ１に移行する。
（Ｂ１２）制御部１０は、例えば、スイッチ部６０における再生スイッチ（不図示）からの検出信号や画面に表示された再生ボタン１０１がタッチされたことを検出することにより、ユーザによって再生操作がなされたか否かを判定し（ステップＢ１２）、再生操作がなされれば（ステップＢ１２の判定がＹｅｓの場合）、ステップＢ１３に移行し、そうでなければ（ステップＢ１２の判定がＮｏの場合）、ステップＢ１４に移行する。
（Ｂ１３）制御部１０は、後述する再生処理を行い（ステップＢ１３）、制御を終了する。
（Ｂ１４）制御部１０は、例えば、スイッチ部６０における検索スイッチ（不図示）からの検出信号や画面に表示された検索ボタン１０２がタッチされたことを検出することにより、ユーザによって検索操作がなされたか否かを判定し（ステップＢ１４）、検索操作がなされれば（ステップＢ１４の判定がＹｅｓの場合）、ステップＢ１５に移行し、そうでなければ（ステップＢ１４の判定がＮｏの場合）、ステップＢ１に移行する。
（Ｂ１５）制御部１０は、後述する検索処理を行い（ステップＢ１５）、制御を終了する。
【００３４】
（再生処理）
次に、制御部１０による再生処理について、主に、図５、図７、図８及び図９を用いて説明する。
（Ｃ１）図５に示すように、制御部１０は、選択フラグ（ステップＢ１１参照）がＯＮであるか否かを判定し（ステップＣ１）、選択フラグがＯＮであれば（ステップＣ１の判定がＹｅｓの場合）、ステップＣ２に移行し、そうでなければ（ステップＣ１の判定がＮｏの場合）、ステップＣ５に移行する。
（Ｃ２）制御部１０は、データテーブルＴ（ステップＡ４参照）を参照し、開始小節位置Ｐｎに対応する開始楽音位置ＰＭｎを求め（ステップＣ２）、ステップＣ３に移行する。
（Ｃ３）制御部１０は、データテーブルＴ（ステップＡ４参照）を参照し、終了小節位置Ｐｎ＋ｋに対応する終了楽音位置ＰＭｎ＋ｋを求め（ステップＣ３）、ステップＣ４に移行する。
（Ｃ４）制御部１０は、開始楽音位置ＰＭｎから終了楽音位置ＰＭｎ＋ｋまでの範囲の特定された楽音位置ＰＭに基づく楽音データＭを再生するように、発音部５０を制御し（ステップＣ４）、制御を終了する。なお、再生は、ループするように繰り返し行われてもよい。また、制御は、所定時間又は所定回数の繰り返し再生がなされた後、終了するようにしてもよい。
（Ｃ５）制御部１０は、楽音データＭの全体を再生するように、発音部５０を制御し（ステップＣ５）、制御を終了する。なお、再生は、ループするように繰り返し行われてもよい。また、制御は、所定時間又は所定回数の繰り返し再生がなされた後、終了するようにしてもよい。
【００３５】
（検索処理）
次に、制御部１０による検索処理について、主に、図６、図７、図８及び図９を用いて説明する。なお、以下の説明において、開始小節位置Ｐｎから終了小節位置Ｐｎ＋ｋに対応する、コードＣｎからコードＣｎ＋ｋまでのコードの配列であるコード進行（Ｃｎ，Ｃｎ＋ｋ）は、記号範囲及び楽音範囲に対応する。
（Ｄ１）図６に示すように、制御部１０は、選択フラグ（ステップＢ１１参照）がＯＮであるか否かを判定し（ステップＤ１）、選択フラグがＯＮであれば（ステップＤ１の判定がＹｅｓの場合）、ステップＤ２に移行し、そうでなければ（ステップＤ１の判定がＮｏの場合）、制御を終了する。
（Ｄ２）制御部１０は、データテーブルＴ（ステップＡ４参照）を参照し、開始小節位置Ｐｎから終了小節位置Ｐｎ＋ｋに対応する、コードＣｎからコードＣｎ＋ｋまでのコードの配列であるコード進行（Ｃｎ，Ｃｎ＋ｋ）（図９参照）を保存し（ステップＤ２）、ステップＤ３に移行する。
（Ｄ３）制御部１０は、データテーブルＴ（ステップＡ４参照）を参照し、保存したコード進行（Ｃｎ，Ｃｎ＋ｋ）と一致するコード進行（Ｃｎ，Ｃｎ＋ｋ）’又は対応するコード進行（Ｃｎ，Ｃｎ＋ｋ）’’を検索し（ステップＤ３）、ステップＤ４に移行する。なお、対応するコード進行（Ｃｎ，Ｃｎ＋ｋ）’’は、例えば、保存したコード進行を基調としたときの転調されたコード進行を含む。
（Ｄ４）制御部１０は、ステップＤ３で検索してヒットしたコード進行（Ｃｎ，Ｃｎ＋ｋ）’，（Ｃｎ，Ｃｎ＋ｋ）’’を保存した後、例えば、表示部３０におけるコード進行（Ｃｎ，Ｃｎ＋ｋ）’，（Ｃｎ，Ｃｎ＋ｋ）’’に対応する箇所の色を反転させる（図９参照）等して、表示を更新し（ステップＤ４）、制御を終了する。
【００３６】
以上、本発明の好ましい実施形態について詳述したが、本発明に係る楽音データ処理装置１は上述した実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変化が可能である。
【００３７】
例えば、上記実施形態においては、ユーザが表示画面１００上で指示操作した小節位置Ｐに対応する楽音位置ＰＭから楽音を再生する場合を説明したが、これに限らず、小節位置Ｐと記号位置ＰＳと楽音位置ＰＭとは、それぞれ関連付けられているので、現在再生している楽音位置ＰＭに対応する小節位置Ｐを、楽曲の進行に合わせて、表示画面１００上で、例えば強調表示する等することにより、識別して表示することができる。つまり、制御部１０は、楽音データＭの再生中に、表示部３０に対して、再生位置を識別して表示させることができる。
【００３８】
例えば、制御部１０は、楽音データＭの再生中に、表示部３０に表示されている記号データＳにおける再生位置に対応する記号の位置を識別して表示させる処理を行うことができる。
【００３９】
また、例えば、制御部１０は、表示部３０に音符とコード譜の両方が記された楽譜を表示した状態で、操作入力部２０によりユーザが指示操作した位置が音符とコード譜のどちらであるかをパターン認識等により判断し、この判断結果に基づいて、楽音データＭとの対応関係を特定することができる。
【００４０】
例えば、制御部１０は、第１解析データＳ’又は第２解析データＭ’における記号データＰＳが示す記号の並びに対応するコード進行、又は楽音データＭが示す音の波形に対応するコード進行が、規定のコード進行のパターンから外れる場合は、エラーを示す情報を出力してもよい。
【００４１】
例えば、制御部１０は、第１解析データＳ’又は第２解析データＭ’における記号データＰＳが示す記号の並びに対応するコード進行が、規定のコード進行のパターンから外れる場合は、そのパターンから外れたコード進行を、最も類似する規定のコード進行のパターンに補正できるようにしてもよい。
【００４２】
例えば、制御部１０は、複数の楽曲それぞれに対応する複数の楽音データＭを取得し、取得された複数の楽音データＭの中から、記号データＳのメロディ又はコード進行の配列と、楽音データＭのメロディ又はコード進行の配列とが一致する楽音データＭを特定し、特定された楽音データＭを再生対象として指定する処理を行うことができる。
また、制御部１０は、再生対象として指定された楽音データＭを対象として、表示部３０に表示された記号データＳに対して指示操作された記号位置ＰＳに基づく再生制御を行うことができる。
【００４３】
例えば、制御部１０は、複数の楽曲それぞれに対応する複数の記号データＳを取得し、取得された複数の記号データＳの中から、楽音データＭのメロディ又はコード進行の配列と、記号データＳのメロディ又はコード進行の配列とが一致する記号データＳを特定し、特定された記号データＳを表示部３０に表示した状態で、操作入力部２０により記号位置ＰＳをユーザに指示操作させる処理を行うことができる。
【００４４】
本発明の楽音データ処理方法及び楽音データ処理装置１によれば、楽曲に係る記号データＳが示す記号の並びに対応するメロディ又はコード進行１０４の配列と、楽曲に係る楽音データＭが示す音の波形に対応するメロディ又はコード進行の配列とを比較することにより、記号データＳにおける複数の記号それぞれの位置と楽音データＭにおける音の波形の各部の位置との対応関係を特定し、記号データＳにおける記号の位置である記号位置ＰＳをユーザが指示することによって、特定された対応関係に基づき、記号位置ＰＳに対応する楽音データにおける音の波形の位置を、楽音位置ＰＭとして特定するので、楽音データＭ内の位置と、記号データＳが示す位置との対応関係があらかじめ記憶されていなくても、記号データＳを用いて楽音データＭ内の対応する楽音を指定できる。
【００４５】
本発明の楽音データ処理方法及び楽音データ処理装置１によれば、記号データＳ及び楽音データＭを取得し、取得した記号データＳが示す記号の並びを解析してメロディ又はコード進行の配列を示す第１解析データＳ’を生成し、取得した楽音データＭが示す音の波形を解析してメロディ又はコード進行の配列を示す第２解析データＭ’を生成し、第１解析データＳ’と第２解析データＭ’とを比較することにより、記号データＳにおける複数の記号それぞれの位置と楽音データＭにおける音の波形の各部の位置との対応関係を特定するので、記号データＳにおける指定箇所から、その箇所に対応する楽音データＭを再生したり、記号データＳにおけるコードと一致する又は対応するコードの部分を、記号データＳ又は楽音データＭの中から検索したりできる。よって、楽音データＭの再生する範囲を時刻で指定したりすることなく、楽譜等の記号データＳが表示された表示画面１００に対する直感的な操作によって、楽音データＭにおけるループ再生する範囲や検索したいコード進行を指定することができ、楽器練習や耳コピなどを行う際の手間を少なくできる。
【００４６】
本発明の楽音データ処理方法及び楽音データ処理装置１によれば、記号データＳは、楽曲に係るコードの並びを示すコード譜であるので、コード譜からはメロディが直接認識できなくても、記号データＳに基づき、記号データＳに対応する楽音データＭを再生し、メロディを認識できる。
【００４７】
本発明の楽音データ処理方法及び楽音データ処理装置１によれば、制御部１０は、特定された楽音位置ＰＭに基づいて楽音データＭを再生するので、楽音データＭ内の位置と、記号データＳが示す位置との対応関係があらかじめ記憶されていなくても、記号データＳを用いて楽音データＭ内の対応する楽音を再生できる。
【００４８】
本発明の楽音データ処理方法及び楽音データ処理装置１によれば、記号データＳが示す記号の並びを表示部３０に表示した状態で、操作入力部２０によりユーザが記号位置ＰＳを指示する操作を行ったことに応じて、特定された対応関係に基づき、記号位置ＰＳに対応する楽音位置ＰＭを特定するので、ユーザが表示部３０を見ながら操作入力部２０を直感的に操作することができる。
【００４９】
本発明の楽音データ処理方法及び楽音データ処理装置１によれば、表示部３０に、楽曲に係る音符とコードの両方の並びが記された楽譜を記号データＳとして表示した状態で、操作入力部２０によりユーザが指示操作した記号位置ＰＳが音符とコードのどちらであるかを判断し、音符の位置が指示操作されたと判断された場合には、記号データＳが示す記号の並びに対応するメロディの配列と、楽音データＭが示す音の波形に対応するメロディの配列とを比較することにより、記号データＳにおける複数の記号それぞれの位置と楽音データＭにおける音の波形の各部の位置との対応関係を特定し、コードの位置が指示操作されたと判断された場合には、記号データＳが示す記号の並びに対応するコード進行の配列と、楽音データＭが示す音の波形に対応するコード進行の配列とを比較することにより、記号データＳにおける複数の記号それぞれの位置と楽音データＭにおける音の波形の各部の位置との対応関係を特定するので、楽譜に音符とコード譜とが混在していても、記号データＳと楽音データＭとを適切に関係付けられる。
【００５０】
本発明の楽音データ処理方法及び楽音データ処理装置１によれば、記号データＳが示す記号の並びに対応するコード進行、又は楽音データが示す音の波形に対応するコード進行が、規定のコード進行のパターンから外れる場合は、エラーを示す情報を出力するので、ユーザに対して、記号データＳ又は楽音データＭの修正や変更を促すことができる。
【００５１】
本発明の楽音データ処理方法及び楽音データ処理装置１によれば、記号データＳが示す記号の並びに対応するコード進行、又は楽音データＭが示す音の波形に対応するコード進行が、規定のコード進行のパターンから外れる場合は、そのパターンから外れたコード進行を、最も類似する規定のコード進行のパターンに補正するので、ユーザに対して、記号データＳ又は楽音データＭにおける明らかな誤りの修正や変更を課すことがない。
【００５２】
本発明の楽音データ処理方法及び楽音データ処理装置１によれば、楽音データＭの再生中に、表示部３０に対して、再生位置を識別して表示させるので、ユーザは、現在再生している楽音位置ＰＭが、小節位置Ｐ又は記号位置ＰＳにおけるどの部分であるかをリアルタイムに目で追うことができる。
【００５３】
本発明の楽音データ処理方法及び楽音データ処理装置１によれば、楽音データＭの再生中に、表示部３０に表示されている記号データＳにおける再生位置に対応する記号の位置を識別して表示させるので、ユーザは、現在再生している楽音位置ＰＭが、記号位置ＰＳにおけるどの部分であるかをリアルタイムに目で追うことができる。
【００５４】
本発明の楽音データ処理方法及び楽音データ処理装置１によれば、表示部３０に記号データＳを表示させた状態で、記号データＳにおける記号の範囲である記号範囲が操作入力部２０によりユーザに指示操作された場合は、指示操作された記号範囲の開始位置に対応する楽音位置と終了位置に対応する楽音位置とを特定し、楽音データＭにおける特定された開始位置に対応する楽音位置から終了位置に対応する楽音位置までを再生するので、ユーザが表示部３０を見ながら操作入力部２０を直感的に操作することにより、再生したい範囲を指定して楽曲を再生することができる。
【００５５】
本発明の楽音データ処理方法及び楽音データ処理装置１によれば、表示部３０に記号データＳを表示させた状態で、記号データＳにおける記号の範囲である記号範囲を操作入力部２０によりユーザに指示操作させ、指示操作された記号範囲に含まれる複数の記号の並びに対応する楽音データＭにおける音の波形の範囲である楽音範囲を検索するので、ユーザが表示部３０を見ながら操作入力部２０を直感的に操作することにより、検索したい楽曲の部分を検索できる。
【００５６】
本発明の楽音データ処理方法及び楽音データ処理装置１によれば、複数の楽曲それぞれに対応する複数の楽音データＭを取得し、取得された複数の楽音データＭの中から、記号データＳのメロディ又はコード進行の配列と、楽音データＭのメロディ又はコード進行の配列とが一致する楽音データＭを特定し、特定された楽音データＭを再生対象として指定するので、一つのコード譜等に対応する楽曲を、複数の楽曲の中から自動的に選択できる。
また、再生対象として指定された楽音データＭを対象として、表示部３０に表示された記号データＳに対して指示操作された記号位置ＰＳに基づく再生制御を行うので、一つのコード譜等に対応する楽曲を、複数の楽曲の中から自動的に選択し、再生できる。
【００５７】
本発明の楽音データ処理方法及び楽音データ処理装置１によれば、複数の楽曲それぞれに対応する複数の記号データＳを取得し、取得された複数の記号データＳの中から、楽音データＭのメロディ又はコード進行の配列と、記号データＳのメロディ又はコード進行の配列とが一致する記号データＳを特定し、特定された記号データＳを表示部３０に表示した状態で、操作入力部２０により記号位置ＰＳをユーザに指示操作させるので、一つの楽曲に対応するコード譜等を、複数のコード譜等の中から自動的に選択して表示できる。
【００５８】
本発明の楽音データ処理方法及び楽音データ処理装置１によれば、操作入力部２０及び表示部３０は、両者が組み合わされたタッチパネルであるので、操作入力部２０によって操作指示する小節位置Ｐが、表示部３０の表示画面１００に表示された記号位置ＰＳと一致し、指定箇所である記号位置ＰＳを視覚的に操作指示しやすい。
【００５９】
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
＜請求項１＞
楽曲に係る記号データが示す複数の記号の並びに対応するメロディ又はコード進行の配列と、楽曲に係る楽音データが示す音の波形に対応するメロディ又はコード進行の配列とを比較することにより、前記記号データにおける複数の記号それぞれの位置と前記楽音データにおける音の波形の各部の位置との対応関係を特定し、
前記記号データにおけるいずれかの記号の位置を、記号位置としてユーザが指示することによって、前記特定された対応関係に基づき、前記記号位置に対応する前記楽音データにおける音の波形の位置を、楽音位置として特定することを特徴とする楽音データ処理方法。
＜請求項２＞
前記記号データ及び前記楽音データを取得し、
前記取得した記号データが示す記号の並びを解析してメロディ又はコード進行の配列を示す第１解析データを生成し、
前記取得した楽音データが示す音の波形を解析してメロディ又はコード進行の配列を示す第２解析データを生成し、
前記第１解析データと前記第２解析データとを比較することにより、前記記号データにおける複数の記号それぞれの位置と前記楽音データにおける音の波形の各部の位置との対応関係を特定する
ことを特徴とする請求項１に記載の楽音データ処理方法。
＜請求項３＞
前記記号データが示す記号の並びを、画像認識を用いた方法により解析してメロディ又はコード進行の配列を示す第１解析データを生成し、
前記楽音データが示す音の波形を、フーリエ変換を用いた方法により解析してメロディ又はコード進行の配列を示す第２解析データを生成する
ことを特徴とする請求項１又は請求項２に記載の楽音データ処理方法。
＜請求項４＞
前記記号データは、楽曲に係るコードの並びを示すコード譜である
ことを特徴とする請求項１から請求項３のいずれか１項に記載の楽音データ処理方法。
＜請求項５＞
前記記号データが示す記号の並びを表示部に表示した状態で、操作入力部によりユーザが記号位置を指示する操作を行ったことに応じて、前記特定された対応関係に基づき、前記記号位置に対応する前記楽音位置を特定し、
前記特定された前記楽音位置に基づいて前記楽音データを再生する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の楽音データ処理方法。
＜請求項６＞
表示部に、楽曲に係る音符とコードの両方の並びが記された楽譜を前記記号データとして表示した状態で、操作入力部によりユーザが指示操作した記号位置が音符とコードのどちらであるかを判断し、音符の位置が指示操作されたと判断された場合には、前記記号データが示す記号の並びに対応するメロディの配列と、前記楽音データが示す音の波形に対応するメロディの配列とを比較することにより、前記記号データにおける複数の記号それぞれの位置と前記楽音データにおける音の波形の各部の位置との対応関係を特定し、コードの位置が指示操作されたと判断された場合には、前記記号データが示す記号の並びに対応するコード進行の配列と、前記楽音データが示す音の波形に対応するコード進行の配列とを比較することにより、前記記号データにおける複数の記号それぞれの位置と前記楽音データにおける音の波形の各部の位置との対応関係を特定する
ことを特徴とする請求項１から請求項５のいずれか１項に記載の楽音データ処理方法。
＜請求項７＞
前記記号データが示す記号の並びに対応するコード進行、又は前記楽音データが示す音の波形に対応するコード進行が、規定のコード進行のパターンから外れる場合は、エラーを示す情報を出力するか、あるいは、そのパターンから外れたコード進行を、最も類似する規定のコード進行のパターンに補正する
ことを特徴とする請求項１から請求項６のいずれか１項に記載の楽音データ処理方法。
＜請求項８＞
前記楽音データの再生中に、表示部に表示されている前記記号データにおける再生位置に対応する記号の位置を識別して表示させる
ことを特徴とする請求項１から請求項７のいずれか１項に記載の楽音データ処理方法。
＜請求項９＞
表示部に前記記号データを表示させた状態で、前記記号データにおける記号の範囲である記号範囲が操作入力部によりユーザに指示操作された場合は、
前記指示操作された記号範囲の開始位置に対応する楽音位置と終了位置に対応する楽音位置とを特定し、
前記楽音データにおける前記特定された開始位置に対応する楽音位置から終了位置に対応する楽音位置までを再生する
ことを特徴とする請求項１から請求項８のいずれか１項に記載の楽音データ処理方法。
＜請求項１０＞
表示部に前記記号データを表示させた状態で、前記記号データにおける記号の範囲である記号範囲を操作入力部によりユーザに指示操作させ、
前記指示操作された記号範囲に含まれる複数の記号の並びに対応する前記楽音データにおける音の波形の範囲である楽音範囲を検索する
ことを特徴とする請求項１から請求項８のいずれか１項に記載の楽音データ処理方法。
＜請求項１１＞
複数の楽曲それぞれに対応する複数の楽音データを取得し、
前記取得された複数の楽音データの中から、前記記号データのメロディ又はコード進行の配列と、前記楽音データのメロディ又はコード進行の配列とが一致する楽音データを特定し、
前記特定された楽音データを再生対象として指定し、
前記再生対象として指定された楽音データを対象として、表示部に表示された記号データに対して指示操作された記号位置に基づく再生制御を行う
ことを特徴とする請求項１から請求項１０のいずれか１項に記載の楽音データ処理方法。
＜請求項１２＞
前記操作入力部及び前記表示部は、両者が組み合わされたタッチパネルであり、
前記特定された記号データを前記表示部に表示した状態で、前記操作入力部により記号位置をユーザに指示操作させる
ことを特徴とする請求項５に記載の楽音データ処理方法。
＜請求項１３＞
請求項１から請求項１２のいずれか１項に記載の楽音データ処理方法を実行する制御部と、
前記記号データが示す記号の並びを表示する表示部と、
ユーザが前記記号位置を指示する操作を行う操作入力部と、を備える
ことを特徴とする楽音データ処理装置。
【符号の説明】
【００６０】
１      楽音データ処理装置
１０    制御部
２０    操作入力部
３０    表示部
４０    記憶部
Ｓ      記号データ
Ｓ’    第１解析データ
Ｍ      楽音データ
Ｍ’    第２解析データ
ＰＳ    記号位置
ＰＭ    楽音位置
Ｐ      小節位置
Ｃ      コード（共通コード）
ＣＳ    コード
ＣＭ    コード
１００  表示画面
１０１  再生ボタン
１０２  検索ボタン
１０４  コード進行
１０５  歌詞
【図１】
2018105956.tif 000003
【図２】
2018105956.tif 000004
【図３】
2018105956.tif 000005
【図４】
2018105956.tif 000006
【図５】
2018105956.tif 000007
【図６】
2018105956.tif 000008
【図７】
2018105956.tif 000009
【図８】
2018105956.tif 000010
【図９】
2018105956.tif 000011