(57)【特許請求の範囲】
【請求項１】
経過時間に対応する周波数成分を表す音程データを表示させながら編集する音楽データ編集システムであって、
前記音程データが表示された編集画面上の任意の２点を指定する第１の位置指定手段と、
前記第１の位置指定手段によって指定された前記２点の間を結ぶ直線に近接する所定領域を設定する領域設定手段と、
前記領域設定手段によって設定される前記所定領域内に含まれる前記音程データを抽出する第１の音程データ抽出手段と、
を備えていることを特徴とする音楽データ編集システム。
【請求項２】
請求項１において、
前記領域設定手段によって設定される前記所定領域は、面積が可変に設定されることを特徴とする音楽データ編集システム。
【請求項３】
経過時間に対応する周波数成分を表す音程データを表示させながら編集する音楽データ編集システムであって、
前記音程データが表示された編集画面上の任意の位置を指定する第２の位置指定手段と、
前記第２の位置指定手段によって指定された位置の近傍に存在する第１の音程データを特定する音程データ特定手段と、
前記音程データ特定手段により特定された前記第１の音程データと時間軸上で近接し、かつ周波数が近接している第２の音程データを抽出する第２の音程データ抽出手段と、
を備えていることを特徴とする音楽データ編集システム。
【請求項４】
請求項３において、
前記音程データは、音量値に関する情報をさらに含んでおり、
前記第２の音程データ抽出手段は、前記音程データ特定手段により特定された前記第１の音程データと時間軸上で近接し、かつ周波数と音量値とが近接している前記音程データを前記第２の音程データとして抽出することを特徴とする音楽データ編集システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、オーディオデータに対して所定の変換処理を行って得られる楽譜データを表示させながら各種の編集処理を行う音楽データ編集システムに関する。
【０００２】
【従来の技術】
従来から、マイクロホンによって歌や楽器音を集音し、これに対してＦＦＴ（高速フーリエ変換）処理等を行うことにより楽譜などの単旋律に変換し、パソコン等の編集装置上で各種の編集処理を行う音楽データ編集システムが知られている。このような音楽データ編集システムを用いることにより、入力されたオーディオデータからＭＩＤＩ（Musical Instruments Digital Interface ）等の楽譜データを抽出したり、ピアノロールと称される音程の時間変化を示すグラフ状のデータを得ることができる。
【０００３】
また、楽譜データ等を編集する際には、操作部に備わっているマウス等のポインティングデバイスを操作して、編集画面上で編集対象としたい楽譜データを含むような矩形領域を指定して、この矩形領域内に入る楽譜データを選択状態した後に、各種の編集処理、例えば、選択した楽譜データの属性（音程、音符長等）を変更する処理や選択した楽譜データを削除する処理等を行っている。
【０００４】
【発明が解決しようとする課題】
ところで、従来の音楽データ編集システムでは、複雑でないオーディオデータを入力して単旋律の楽譜データに変換する場合はよいが、オーディオＣＤ等から抽出される複雑なオーディオデータ、すなわち、声や楽器音などの複数の旋律とリズム楽器等によるノイズ音など多数の音が含まれるオーディオデータを楽譜データに変換した場合には、編集画面上に表示される楽譜データが非常に煩雑なものとなる。
【０００５】
ところが、従来の音楽データ編集システムでは、編集画面上で任意に指定された２点を結ぶ直線を対角線とし、かつ２辺がほぼ水平となっている矩形領域に含まれる楽譜データが選択されるため、上述したように多数の楽譜データが混在して編集画面が煩雑となっている場合には、編集処理の対象としたい楽譜データだけでなく、不必要な楽譜データまで矩形領域内に含まれてしまうことが多かった。このため、所望の楽譜データを選択するには、狭い矩形領域を繰り返し指定して楽譜データを選択しなければならず、編集作業時の効率が悪かった。
【０００６】
また、複数の旋律に対応した楽譜データがある時刻において同じ音程で交わっているような場合には、楽譜データが特定の領域に密集してしまうために、いずれかの旋律に対応する楽譜データのみを効率良く選択することが非常に難しかった。
【０００７】
本発明は、このような点に鑑みて創作されたものであり、その目的は、所望の楽譜データ等を効率よく選択することができる音楽データ編集システムを提供することにある。
【０００８】
【課題を解決するための手段】
上述した課題を解決するために、本発明の音楽データ編集システムは、経過時間に対応する周波数成分を表す音程データを表示させながら編集する場合に、音程データが表示された編集画面上の任意の２点を第１の位置指定手段によって指定し、この指定された前記２点の間を結ぶ直線に近接する所定領域を領域設定手段によって設定しており、領域設定手段によって設定される所定領域内に含まれる音程データを第１の音程データ抽出手段によって抽出している。編集画面上において指定された任意の２点を結ぶ直線に近接する音程データが自動的に抽出されるので、従来のように矩形領域を指定する場合に比べて、所望の音程データが存在する領域を的確に指定することができ、所望の音程データを効率よく選択することができる。
【０００９】
また、上述した領域設定手段によって設定される所定領域は、面積が可変に設定されることが望ましい。これにより、例えば、複数の旋律等に対応して音程データが密集している領域では、所定領域の面積を狭く設定することで、音程データを抽出する範囲を絞り込むことができるので、所望の音程データだけを確実に選択することができる。また、音程データが密集していない領域では、所定領域の面積を広く設定することで広範囲に音程データを抽出することができるので、所望の音程データを効率よく選択することができる。
【００１０】
また、本発明の音楽データ編集システムは、経過時間に対応する周波数成分を表す音程データを表示させながら編集する場合に、音程データが表示された編集画面上の任意の位置を第２の位置指定手段によって指定し、この指定された位置の近傍に存在する第１の音程データを音程データ特定手段によって特定しており、この特定された第１の音程データと時間軸上で近接し、かつ周波数が近接している第２の音程データを第２の音程データ抽出手段によって抽出している。編集対象としたい音程データの近傍を指定するだけで、この指定された位置の近傍にある音程データと時間軸上で近接し、かつ周波数の近接した音程データが自動的に抽出されるので、複数の旋律等に対応した音程データが特定の領域に密集している場合にも、所望の音程データのみを効率良く選択することができる。
【００１１】
また、上述した音程データは、音量値に関する情報をさらに含んでおり、上述した第２の音程データ抽出手段は、音程データ特定手段により特定された第１の音程データと時間軸上で近接し、かつ周波数と音量値とが近接している音程データを第２の音程データとして抽出することが望ましい。一般的に、異なる楽器または歌声等により奏でられた旋律の間では、その音量値に差があり、また、１つの旋律に着目するとその音量が短時間で急激に増減することがほとんどないという性質があるので、第２の音程データを抽出する際に音量値を考慮することにより、複数の旋律がある時刻において同じ音程で交わるような場合でも、第１の音程データを含む一の旋律に対応した第２の音程データのみを確実に抽出することができる。
【００１２】
【発明の実施の形態】
以下、本発明を適用した一実施形態の音楽データ編集システムについて、図面を参照しながら説明する。
〔第１の実施形態〕
図１は、第１の実施形態の音楽データ編集システムの構成を示す図である。同図に示すように、本実施形態の音楽データ編集システム１００は、オーディオデータ格納部１０、ＦＦＴ処理部２０、和音変換部３０、編集処理部４０、表示処理部６０、操作部７０、合成音生成部８０、スピーカ８２、表示装置９０を含んで構成されている。
【００１３】
オーディオデータ格納部１０は、オーディオＣＤやＷａｖｅファイル等から読み出されたオーディオデータを格納する。
ＦＦＴ処理部２０は、オーディオデータ格納部１０に格納されているオーディオデータを読み出して高速フーリエ変換処理による周波数分析を行い、時間軸に沿った所定の時間間隔で、周波数毎の音量値を出力する。単旋律の音楽の場合には、周波数と音量値との組み合わせが１組だけ抽出されることになるが、オーディオＣＤ等に記録された一般のオーディオデータには、歌声、楽器音、リズム楽器等によるノイズ音等、複数の音が含まれるため、通常は、複数の周波数とそれぞれに対応する音量値が抽出される。なお、以下では、周波数と音量値との組み合わせを「音程データ」と称して説明を行う。
【００１４】
和音変換部３０は、所定の和音処理を行う。ここで、和音処理とは、ＦＦＴ処理部２０によって得られた複数の音程データに対して、不要な倍音成分を除去する処理をいう。和音処理の詳細内容については後述する。
編集処理部４０は、和音処理後の音程データに対して所定の編集処理を行う。また、表示処理部６０は、編集処理部４０による編集の前後の音程データをグラフ化した表示画像を作成して表示装置９０に表示する。例えば、このグラフ化は、横軸を経過時間に、縦軸をＭＩＤＩデータにそれぞれ対応させて音程データをプロットすることにより行われる。また、このグラフには、音量値に応じた着色が付されており、音量値が大きな、すなわち利用者（聴取者）が聞き取りやすい旋律が目視によって確認できるようになっている。
【００１５】
操作部７０は、マウス等のポインティングデバイス７２とキーボード７４を含んで構成されており、利用者がポインティングデバイス７２やキーボード７４等を操作して、表示装置９０に表示された編集画面を見ながら、編集処理部４０に対して操作指示を与えるために用いられる。
【００１６】
合成音生成部８０は、編集処理部４０による編集後のＭＩＤＩデータ（楽譜データ）に対応する音を生成するＭＩＤＩ音源として機能し、生成音をスピーカ８２から出力する。また、合成音生成部８０は、本実施形態の音楽データ編集システム１００による処理が行われる前のオーディオデータ（オーディオデータ格納部１０に格納されたオーディオデータ）に基づいて、元のオーディオ音を生成する機能も有している。このため、利用者は、編集後のＭＩＤＩデータに基づいて生成される音と、元のオーディオ音とを聞き比べることができる。
【００１７】
次に、上述した編集処理部４０および表示処理部６０の詳細構成について説明する。図１に示す編集処理部４０は、着目位置設定部４１、領域設定部４２、音程データ抽出部４３を含んで構成されている。
着目位置設定部４１は、編集対象とする音程データを選択するために、着目する位置を設定する。具体的には、着目位置設定部４１は、操作部７０を用いた利用者の操作指示により、編集画面上の任意の位置に２点が指定されると、これら２点を着目位置として設定する。なお、以降の説明では、上述した２点を指定する際に、先に指定された着目位置を「始点」、後から指定された着目位置を「終点」と称して説明を行うものとする。
【００１８】
領域設定部４２は、着目位置設定部４１により着目位置が設定されると、この着目位置に対応して音程データの抽出を行う対象となる領域を設定する。領域設定部４２によって設定される領域の詳細については後述する。
音程データ抽出部４３は、領域設定部４２により設定された領域内に含まれる音程データを抽出する処理を行う。
【００１９】
また、表示処理部６０は、着目位置描画部６１と強調表示処理部６２を含んで構成されている。
着目位置描画部６１は、着目位置設定部４１により着目位置の始点が設定されると、この始点とポインタ（画面上において、所望の位置を指し示すために表示されている矢印画像）とを結ぶ直線を表示するための描画データを作成して、表示装置９０に出力する。
【００２０】
強調表示処理部６２は、音程データ抽出部４３によって抽出された音程データを強調表示する処理を行う。強調表示を行うことにより、利用者は、現在の表示画面に含まれる音程データの中でどの音程データが抽出された状態にあるかを容易に把握することができるようになる。
【００２１】
上述した着目位置設定部４１、操作部７０が第１の位置指定手段に、領域設定部４２が領域設定手段に、音程データ抽出部４３が第１の音程データ抽出手段にそれぞれ対応している。
本実施形態の音楽データ編集システムはこのような構成を有しており、次にその動作を説明する。
【００２２】
図２は、本実施形態の音楽データ編集システムの全体動作を示す流れ図である。まず、ＦＦＴ処理部２０は、オーディオデータ格納部１０に格納されているオーディオデータを読み込み（ステップ１００）、ＦＦＴ処理による周波数分析を行う（ステップ１０１）。これにより、ある時間間隔に対応して複数の音程データが得られる。この音程データには、周波数と音量値の他に、着目している時間間隔の開始時間と終了時間が対応づけられている。
【００２３】
次に、和音変換部３０は、着目している時間間隔に含まれる全ての音程データを用いて和音処理を行う（ステップ１０２）。
図３は、和音変換部３０によって行われる和音処理の詳細な動作手順を示す流れ図である。まず、和音変換部３０は、着目している全ての音程データに対して、音量値に基づく順位付けを行って、音量が大きい音程データから順番にインデックスを付与する（ステップ２００）。例えば、音量が最も大きい音程データから順番にインデックス番号Ｉ＝１，２，３，…が付与される。
【００２４】
図４は、インデックスが付与された音程データの一例を示す図である。図４において、横軸は周波数を、縦軸は音量をそれぞれ示しており、括弧内の数字がインデックス番号に対応している。上述したように、各音程データは、周波数軸に沿って分散して配置されており、それぞれが固有な音量値を有する。したがって、一般には周波数軸に沿った順番とは異なる順番にインデックス番号が付与される。また、周波数が異なり、音量値がほぼ同じ音程データが複数存在する場合には、例えば周波数が低い方の音程データに小さなインデックス番号を付与するものとする。
【００２５】
なお、人間の耳に聞こえないような小さな音量値を有する音程データを抽出する必要はないため、インデックス付与の対象となる音程データは、ある程度音量値が大きなものに限定することが望ましい。このために、カットオフ率Ｃが用いられている。このカットオフ率Ｃとは、音量値が最大の音程データ（インデックス番号が「１」の音程データ）の音量値に乗算することにより、この乗算値より小さい音量値を有する音程データを処理の対象から除外するために用いられるものであり、例えば１０〜１５％の範囲内で設定される。また、このカットオフ率Ｃは、音楽のジャンル等によって可変に設定するようにしてもよい。例えばクラシック音楽の場合には、小さな音量値を有する音程データであっても特徴的な楽器については抽出したいということであれば、このカットオフ率Ｃを小さく設定すればよい。また、非常に多くの周波数成分を有する音楽については、カットオフ率Ｃを大きくして、処理対象となる音程データの数を減らすようにしてもよい。
【００２６】
次に、和音変換部３０は、インデックス番号が小さい方から順番に音程データを指定し（ステップ２０１）、この指定した音程データが基音に対応しているものと仮定して、倍音に対する切り抜き処理と、この切り抜き処理に伴う基音への加算処理を行う（ステップ２０２）。ここで、着目音の周波数に対し、２倍、３倍、…等の２以上の整数倍の周波数が存在する場合の着目音を基音という。また、基音に対して、２倍の周波数を有する倍音を「２倍音」、３倍の周波数を有する倍音を「３倍音」、ｎ倍の周波数を有する倍音を「ｎ倍音」という。また、切り抜き処理とは、倍音の音量値Ｖに対して、倍音数で決まる一定の割合Ｒを差し引く処理をいう。切り抜き処理によって、この倍音の音量値Ｖ′はＶ×（１−Ｒ）となる。さらに、切り抜き処理に伴う基音への加算処理とは、切り抜き処理によって差し引かれた値Ｖ×Ｒを、その倍音に対応する基音の音量値に加算する処理をいう。
【００２７】
図５は、切り抜き処理とこれに対応する加算処理の具体的な内容を示す図である。図５において、基音の周波数をｆ1 とすると、２倍音の周波数ｆ2 は２ｆ1 、３倍音の周波数ｆ3 は３ｆ1 となる。なお、基音に対して他の音が倍音であるか否かは、他の音の周波数ｆi を基音の周波数ｆ1 で割った値が２以上の整数に一致するか否かを調べることにより判定（この判定処理を「倍音判定」と称する）することができる。但し、実際にこの倍音判定を行う場合には、ｆi ／ｆ1 の値が整数値の±Ｆ％の範囲に含まれている場合にこの周波数ｆi の音が倍音であると判定している。このＦを倍音一致精度という。
【００２８】
図５に示すように、２倍音に対する切り抜き処理は、２倍音の音量値Ｖ2 に対して２倍音に対応する一定の割合Ｒ2 を乗算した値（Ｖ2 ×Ｒ2 ）を、この２倍音の音量値Ｖ2 から差し引くことにより行われる。この結果、２倍音の音量値は、Ｖ2 ×（１−Ｒ2 ）となる。また、３倍音に対する切り抜き処理は、３倍音の音量値Ｖ3 に対して３倍音に対応する一定の割合Ｒ3 を乗算した値（Ｖ3 ×Ｒ3 ）を、この３倍音の音量値Ｖ3 から差し引くことにより行われる。この結果、３倍音の音量値は、Ｖ3 ×（１−Ｒ3 ）となる。同様にして、ｎ倍音に対する切り抜き処理は、ｎ倍音の音量値Ｖn に対してｎ倍音に対応する一定の割合Ｒn を乗算した値（Ｖn ×Ｒn ）を、このｎ倍音の音量値Ｖn から差し引くことにより行われる。この結果、ｎ倍音の音量値は、Ｖn ×（１−Ｒn ）となる。なお、図５に示した例では、２倍音、３倍音、４倍音が存在する場合について説明したが、実際には検出されない倍音もあるため、その倍音については切り抜き処理は行われない。
【００２９】
このようにして切り抜き処理が行われると、切り抜き処理によって差し引かれた成分Ｖ2 ×Ｒ2 、Ｖ3 ×Ｒ3 、Ｖ4 ×Ｒ4 が、周波数ｆ1 の基音の音量値Ｖ1 に加算される。図５に示した例では、基音の音量Ｖ1 に２倍音〜４倍音のそれぞれから差し引かれた値（Ｖ2 ×Ｒ2 、Ｖ3 ×Ｒ3 、Ｖ4 ×Ｒ4 ）が加算されるため、加算後の基音の音量値Ｖ1 ′は、Ｖ1 ＋Ｖ2 ×Ｒ2 ＋Ｖ3 ×Ｒ3 ＋Ｖ4 ×Ｒ4 となる。
【００３０】
次に、和音変換部３０は、ステップ２０１においてインデックス番号が指定された音程データが２倍音に対応するものであって、そのときの基音が存在しないものと仮定して、倍音に対する切り抜き処理と、この切り抜き処理に伴う基音への加算処理を行う（ステップ２０３）。
【００３１】
図６は、基音が存在せずに倍音数が２以上の倍音のみが存在する場合の切り抜き処理とこれに対応する加算処理の具体的な内容を示す図である。
図６に示すように、周波数ｆ1 の基音が存在せずに、２倍音、３倍音、４倍音が存在する場合に、２倍音〜４倍音に対する切り抜き処理は、基音が存在する場合と同様に行われる。すなわち、２倍音の音量値Ｖ2 からはＶ2 ×Ｒ2 が差し引かれ、２倍音の音量値はＶ2 ×（１−Ｒ2 ）となる。３倍音の音量値Ｖ3 からはＶ3 ×Ｒ3 が差し引かれ、３倍音の音量値はＶ3 ×（１−Ｒ3 ）となる。４倍音の音量値Ｖ4 からはＶ4 ×Ｒ4 が差し引かれ、４倍音の音量値はＶ4 ×（１−Ｒ4 ）となる。
【００３２】
このようにして切り抜き処理が行われると、切り抜き処理によって差し引かれた成分Ｖ2 ×Ｒ2 、Ｖ3 ×Ｒ3 、Ｖ4 ×Ｒ4 が、周波数ｆ1 の基音の音量値Ｖ1 に加算される。図６に示した例では、基音が存在しないので、その音量Ｖ1 は０であり、これに２倍音〜４倍音のそれぞれから差し引かれた成分（Ｖ2 ×Ｒ2 、Ｖ3 ×Ｒ3 、Ｖ4 ×Ｒ4 ）が加算されて、加算後の基音の音量値Ｖ1 ′は、Ｖ2 ×Ｒ2 ＋Ｖ3 ×Ｒ3 ＋Ｖ4 ×Ｒ4 となる。
【００３３】
同様にして、和音変換部３０は、ステップ２０１においてインデックス番号が指定された音程データが３倍音に対応するものであって、そのときの基音と２倍音が存在しないものと仮定して、３倍音以上の倍音に対する切り抜き処理と、この切り抜き処理に伴う基音への加算処理を行う（ステップ２０４）。
【００３４】
次に、和音変換部３０は、上述したステップ２０２〜２０４のそれぞれにおける加算処理によって得られた基音の音量値Ｖ1 ′の中で最大値を抽出し（ステップ２０５）、音量値Ｖ1 ′が最大値となった基音と各倍音の各音量値を上述した加算処理後の値にすることにより、実際に音程データの変更を行う（ステップ２０６）。
【００３５】
１つのインデックス番号に対応した切り抜き処理と加算処理が終了すると、次に和音変換部３０は、次のインデックス番号が存在するか否か、すなわち現在のインデックス番号に１を加えたインデックス番号に対応する音程データが存在するか否かを判定する（ステップ２０７）。存在する場合には肯定判断を行い、ステップ２０１に戻って、次に大きなインデックス番号の音程データを指定する。また、最も大きなインデックス番号に対応する音程データの変更が終了した場合には、次のインデックス番号が存在しないため、ステップ２０７の判定において否定判断が行われ、図２のステップ１０２において行われる和音処理が終了する。
【００３６】
このようにして、一つの時間間隔に対応するデータの読み込み、ＦＦＴ処理、和音処理が行われ（ステップ１００〜１０２）、全ての時間間隔に対応するこれらの処理が繰り返される（ステップ１０３）。なお、全ての時間間隔とは、オーディオデータ格納部１０に格納された全てのオーディオデータに対応させる必要はなく、例えば、後の編集処理において１０秒分のオーディオデータに対応する編集画面が表示される場合には、この編集内容の時間分の時間間隔に対応する。
【００３７】
編集対象となる全ての時間間隔に対応する和音処理が終了すると、次に、和音処理部３０は、音程データをＭＩＤＩデータの形式に変換する（ステップ１０４）。このような変換を行うのは、上述した和音処理では倍音判定を行う必要があったために周波数をパラメータとして音程データを扱ったが、以後の処理では、旋律自体を表示したり編集したりするため、ＭＩＤＩデータの形式で音程データを扱った方が都合がよいためである。
【００３８】
音程データをＭＩＤＩデータに変換する方法について具体的に説明する。周波数ｆとＭＩＤＩデータの値（ＭＩＤＩ番号）Ｎとの間には、
ｆ＝Ａ×２(N-69)/12                                       …（１）
の関係がある。ここで、Ａは、４３５〜４４５の値である。また、右辺の指数部分に含まれる「６９」は、ＭＩＤＩにおけるＡと同等の音程を表現するためのものである。この（１）式を変形すると、
Ｎ＝１２×ｌｏｇ2（ｆ／Ａ）＋６９                         …（２）
となる。この（２）式を用いることにより、周波数ｆから容易にＭＩＤＩ番号を得ることができる。
【００３９】
次に、表示処理部６０は、ＭＩＤＩデータの形式に変換された音程データを表示装置９０に表示する（ステップ１０５）。図７は、表示装置９０に表示された音程データの具体例を示す図である。図７に示す表示例では、横軸が経過時間を、縦軸がＭＩＤＩ番号をそれぞれ示している。表示画面内で、点あるいは線で表された部分が各音程データである。また、図７に示した表示例では、各音程データを黒色の点あるいは線で表現したが、カラー表示が可能な実際の表示装置９０の画面では、各音程データの音量値の大小に応じて異なる色が付される。例えば、音量値が大きな音程データは赤色に、音量値が小さくなるにしたがって、橙色、黄色、緑色、青色等に表示される。
【００４０】
次に、編集処理部４０は、利用者によって操作部７０が操作されて、所定の編集指示がなされたか否かを判定する（ステップ１０６）。例えば、利用者は、操作部７０に備わったポインティングデバイス７２を用いて、編集を行う旨と、編集の内容を編集処理部４０に対して指示することができる。利用者による編集指示がなされると、編集処理部４０は、ステップ１０６の判定において肯定判断を行って、利用者によって指示された編集内容にしたがった編集処理を行う（ステップ１０７）。なお、編集処理の詳細な内容については後述する。
【００４１】
このような編集処理が終了した後、あるいは編集処理と並行して、ステップ１０５に戻って音程データの表示処理が行われる。図８は、表示装置９０に表示された編集処理後の音程データの具体例を示す図である。例えば、図７に示した音程データの中から、音量値が大きな一つの旋律を抽出した場合の例が示されている。
【００４２】
また、利用者による編集指示が行われない場合には、編集処理部４０はステップ１０６の判定において否定判断を行う。この場合には、合成音生成部８０は、合成音の出力指示が利用者によって行われたか否かを判定する（ステップ１０８）。例えば、利用者は、操作部７０を操作することにより、編集が終了した旋律に対応したＭＩＤＩ音の生成を指示することができる。このような指示が行われると、合成音生成部８０は、その時点で表示されている編集後の音程データに対応したＭＩＤＩ音を生成して（ステップ１０９）、スピーカ８２から出力する（ステップ１１０）。
【００４３】
また、利用者による編集指示や合成音の出力指示が行われない場合にはステップ１０８の判定において否定判断が行われ、次に編集処理部４０は、編集の終了指示が利用者によってなされたか否かを判定する（ステップ１１１）。利用者によって終了指示が行われると、一連の編集処理が終了する。また、終了指示が行われない場合には、ステップ１０６に戻って、一連の編集処理が繰り返される。
【００４４】
次に、上述したステップ１０７において各種の編集処理を行うために、所望の音程データを選択する際の動作手順について説明する。
図９は、所望の音程データを選択する際の動作手順を示す流れ図である。また、図１０〜図１３は、所望の音程データを選択する一連の動作において表示装置９０に表示される編集画面の一例を示す図である。
【００４５】
初めに、着目位置設定部４１は、利用者により操作部７０が操作されて着目位置の始点が指定されたか否かを判定する（ステップ３００）。具体的には、表示装置９０の画面上には、図１０に示すようにポインタ２００（矢印画像）が表示されており、操作部７０を操作してこのポインタ２００を所望の位置に移動した後に所定の指示ボタン、例えば、ポインティングデバイス７２に備わった左ボタンを押下することにより、着目位置の始点が指定される。
【００４６】
着目位置の始点が指定されると、ステップ３００で肯定判断がなされ、着目位置描画部６１は、着目位置の始点とポインタ位置とを結ぶ直線を表示する（ステップ３０１）。
図１１は、始点とポインタ位置とを結ぶ直線の表示例を示す図である。同図に示すように、始点２１０が指定されると、操作部７０の操作指示に応じて移動するポインタ２００の位置と始点２１０とを結ぶ直線２２０が表示される。なお、図１１では、始点２１０の位置を分かりやすくするために、始点２１０が黒丸で表されているが、実際の表示では、始点２１０（後述する終点２３０も同様）の表現方法は、上述した黒丸の他にも種々の表現（例えば、十字型のカーソルを表示する等）が考えられる。また、簡単には、始点２１０を特に表示せず、直線２２０の一方の端点をもって始点２１０を表現してもよい。
【００４７】
次に、着目位置設定部４１は、操作部７０が操作されて着目位置の終点が指定されたか否かを判定する（ステップ３０２）。終点が指定されない間は、ステップ３０２で否定判断がなされ、着目位置設定部４１は、ステップ３００において指定した着目位置の始点を解除する旨の指示（解除指示）がなされたか否かを判定する（ステップ３０３）。例えば、ポインティングデバイス７２に備わった右ボタンが押下された場合に、解除指示がなされるものとする。
【００４８】
解除指示が与えられると、ステップ３０３で肯定判断がなされ、着目位置設定部４１は、既に指定されている着目位置の始点を解除し、ステップ３００に戻り、以降の処理を繰り返す。
また、解除指示が与えられない場合には、ステップ３０３で否定判断がなされ、上述したステップ３０１に戻り、以降の処理が繰り返される。すなわち、上述した図１１に示した直線２２０は、ポインタ２００の表示位置の移動に対応して、随時、更新して表示されることとなる。したがって、利用者は、始点２１０を指定した後に、編集画面上に表示される直線２２０と音程データとの重なり具合を見ながら、操作部７０を用いてポインタ２００の位置を自在に移動させて、終点の位置を決めることができる。
【００４９】
着目位置の終点が指定されると、上述したステップ３０２で肯定判断がなされ、領域設定部４２は、着目位置の始点と終点を結ぶ直線の周囲に所定領域を設定する（ステップ３０４）。
図１２は、領域設定部４２によって設定される所定領域の一例を示す図である。同図に示すように、領域設定部４２は、着目位置の始点２１０と終点２３０を結ぶ直線２２０と平行でありかつ同じ長さを有する２辺と、この２辺に垂直であり所定の長さを有する２辺により構成されており、直線２２０をその内部に含むような矩形領域２４０を設定する。
【００５０】
なお、矩形領域２４０は、図１２に示すように、矩形領域２４０を構成する辺であり直線２２０にほぼ垂直な２辺の中点と直線２２０の両端とが重なるような位置に設定されるのが好ましい。また、直線２２０にほぼ垂直な２辺の長さは、予め適当な値に設定されており、また任意の値に変更することができるものとする。この直線２２０にほぼ垂直な２辺の長さを可変することにより、矩形領域２４０の面積を可変に設定することができる。
【００５１】
矩形領域が設定されると、強調表示処理部６２は、設定された矩形領域内に含まれる音程データを強調表示する処理を行う（ステップ３０５）。また、音程データ抽出部４３は、設定された所定領域内に含まれる音程データを抽出して、選択状態に設定する（ステップ３０６）。ここで、選択状態とは、所定領域内に含まれる音程データが各種の編集指示を与える対象として、他の音程データと区別された状態を言うものとする。
【００５２】
このようにして、所望の音程データが選択状態に設定されると、編集処理部４０は、利用者からの編集指示にしたがって各種の編集処理を行う（ステップ３０７）。編集処理の具体的な内容としては、例えば、図１３に示すように選択状態となっている音程データを旋律の一部として抽出して表示する処理や、音程データを削除する処理、音程（周波数）や音量等の属性を変更する処理等が行われる。
【００５３】
各種の編集処理が終了すると、上述したステップ３００に戻り、新たな着目位置の始点が指定されたか否かの判定以降の処理が繰り返される。
このように、本実施形態の音楽データ編集システム１００では、編集画面上において、任意の２点を着目位置として指定することにより、これら２点を結ぶ直線の周囲に所定領域が設定され、この所定領域に含まれる音程データが抽出されて選択状態となるので、所望の音程データが存在する領域をより的確に指定することができ、これにより所望の音程データを効率よく選択することができる。
【００５４】
〔第２の実施形態〕
ところで、上述した第１の実施形態では、編集画面上に着目位置を設定し、この着目位置に応じて設定される所定領域の中に含まれる音程データを抽出することにより、所望の音程データを選択して各種の編集処理を行っていたが、編集画面上において任意の位置を指定し（以後、この指定された任意の位置を「指定点」と称する）、指定点の周辺にある音程データを所定の条件下で抽出するようにしてもよい。
【００５５】
図１４は、第２の実施形態の音楽データ編集システムの構成を示す図である。同図に示す音楽データ編集システム１００ａは、上述した第１の音楽データ編集システム１００と比較して、編集処理部４０ａおよび表示処理部６０ａの内部構成が異なっている点以外は、同一の構成を有している。以下、両者の相違点に着目して詳細な説明を行う。
【００５６】
図１４に示す編集処理部４０ａは、音程データ特定部４５と音程データ抽出部４６を含んで構成されている。
音程データ特定部４５は、利用者の操作指示に基づいて、編集画面上において着目する音程データを特定する。具体的には、音程データ特定部４５は、操作部７０を用いて利用者により編集画面上の任意の１点が指定されたときに、この指定点の時間軸上での位置と同じ時間間隔に存在する音程データの中から、指定点との距離が所定距離内に近接している音程データを特定する。なお、指定点との距離が所定距離内に近接した音程データが複数ある場合には、予め設定可能な所定条件（例えば、最も音量値の大きなものを選択する等）に基づいて、いずれか１つの音程データが特定されるものとする。
【００５７】
音程データ抽出部４６は、音程データ特定部４５によって着目する音程データ（以後、これを「着目音程データ」と称する）が特定されると、この着目音程データを基準位置として時間軸上で前後に存在する音程データの中から、音程（周波数）および音量値が近接している音程データを抽出する。具体的には、着目音程データと音程の差が半音の１／４以内であり、音量値の差が±２０％以内である音程データが全て抽出される。
【００５８】
なお、上述したように、音程データは、編集に適したＭＩＤＩデータの形式に変換されており、半音は、ＭＩＤＩ番号の差に換算すると１に相当する。したがって、音程の差を調べる際には、ＭＩＤＩ番号の差が０．２５（＝１／４）以内であるかどうかを判定すればよい。また、音程の差（半音の１／４以内）および音量の差（±２０％以内）の判断基準は、上述した値に限定されるものではなく、他の値に設定してもよい。
【００５９】
また、図１４に示す表示処理部６０ａは、強調表示処理部６２を含んで構成されている。強調表示処理部６２は、上述した第１の実施形態の場合と同様に、編集処理部４０ａ内の音程データ抽出部４６によって抽出された音程データを強調表示する処理を行う。
【００６０】
上述した操作部７０が第２の位置指定手段に、音程データ特定部４５が音程データ特定手段に、音程データ抽出部４６が第２の音程データ抽出手段にそれぞれ対応している。
本実施形態の音楽データ編集システム１００ａはこのような構成を有しており、次にその動作を説明する。なお、本実施形態の音楽データ編集システム１００ａの全体動作は、上述した図２に示した第１の実施形態の音楽データ編集システム１００のものと同様であり、ステップ１０７において行われる処理内容のみが異なっている。以下、ステップ１０７において、各種編集処理を行うために所望の音程データを選択する際の動作手順について詳細に説明する。
【００６１】
図１５は、所望の音程データを選択する際の動作手順を示す流れ図である。初めに、音程データ特定部４５は、利用者により操作部７０が操作されて編集画面上の任意位置が指定されたか否かを判定する（ステップ４００）。具体的には、表示装置９０の画面上には、ポインタが表示されており、操作部７０を操作してこのポインタを所望の位置に移動した後に所定の指示ボタン、例えば、ポインティングデバイス７２に備わった左ボタンを押下することにより、編集画面上の任意の１点が指定される。編集画面上の１点が指定されるまでの間は、ステップ４００の判定が繰り返される。
【００６２】
編集画面上の１点が指定されると、ステップ４００で肯定判断がなされ、音程データ特定部４５は、この指定点に近接する音程データがあるか否かを判定する（ステップ４０１）。具体的には、音程データ特定部４５は、指定点の時間軸上での位置と同じ時間間隔に存在する音程データの中から、指定点との距離が所定距離内に近接している音程データがあるか否かを判定する。所定距離内に近接する音程データが存在しない場合には、ステップ４０１で否定判断がなされ、音程データ特定部４５は、上述したステップ４００に戻り、編集画面上の１点が指定されたか否かの判定以降の処理を繰り返す。
【００６３】
また、指定点から所定距離内に近接する音程データが存在する場合には、ステップ４０１で肯定判断がなされ、音程データ特定部４５は、この音程データを着目音程データとして特定する（ステップ４０２）。
なお、指定点から所定距離内に近接する音程データが複数存在する場合には、音程データ特定部４５は、例えば、最も音量値の大きいものを着目音程データとして特定するものとする。なお、「最も音量値の大きなものを選択する」という判断基準は一例であり、他の判断基準、例えば、周波数の最も低い（または高い）ものを選択する等により着目音程データを特定してもよい。
【００６４】
上述したステップ４０２に示した処理が行われて着目音程データが特定されると、音程データ抽出部４６は、着目音程データを基準として時間軸上で前後に存在する音程データを着目音程データに近いものから順に調べ、音程（周波数）および音量値が近接している音程データを抽出する（ステップ４０３）。上述したように、ここでは、着目音程データと音程の差が半音の１／４以内であり、音量値が±２０％以内である音程データが全て抽出される。
【００６５】
図１６は、着目音程データと音程および音量値が近接している音程データを抽出する処理の具体例を示す図である。図１６（Ａ）に示すように、着目音程データ３００が特定されると、音程データ抽出部４６は、この着目音程データ３００を基準として、まず、時間軸上で前方（図１６（Ａ）中に示す矢印ａの方向）に向かって、着目音程データ３００に近接している音程データの音程および音量値を調べ、上述した所定の判断基準に沿う音程データを抽出する。例えば、着目音程データ３００の音程がＭＩＤＩ番号で６９であるとすると、６９±０．２５のＭＩＤＩ番号を有する音程データであり、かつ、音量値が±２０％以内である音程データが抽出される。この抽出動作は、着目音程データ３００から近い音程データから順に行われ、音程または音量値の判定基準を満たさない音程データがあった時点で抽出動作が終了となる。
【００６６】
時間軸上で前方に向かっての音程データ抽出動作が完了すると、音程データ抽出部４６は、同様な手順で、時間軸上で後方（図１６（Ａ）中に示す矢印ｂの方向）に向かって音程データの抽出動作を行う。
例えば、図１６（Ａ）において示されている音程データが１つの旋律に対応するものであり、その音量値の増減が±２０％以内に収まっているものと仮定すると、図１６（Ｂ）に示した領域Ｑに含まれる音程データ、すなわち、着目音程データ３００を基準にして音程が半音の１／４以内に入る音程データが抽出される。
【００６７】
なお、一般に、ある楽器または歌声により奏でられた１つの旋律に着目すると、その音量値が急激に増減することはほとんどなく、音量値の増減が±２０％程度に収まっていることが多いので、図１６（Ｂ）に示した例のように、着目音程データに対してその音程が半音の１／４以内に入る音程データであれば、そのまま抽出される可能性が高い。
【００６８】
ところで、複数の旋律がある時間間隔において同じ音程で交わるような場合でも、本実施形態では、音量値を判断基準としているため、確実に所望の音程データのみを抽出することができる。これは、一般的な音楽においては、異なる楽器または歌声により奏でられた旋律の間では、その音量値に差があり、また、上述したように１つの旋律に着目するとその音量が急激に増減することがほとんどないという性質によるものである。
【００６９】
図１７は、複数の旋律がある時間間隔において同じ音程で交わる場合の一例を示す図である。なお、図１７では、２つの旋律がある時間間隔で交わる様子を分かりやすくするために各旋律が実線または一点鎖線で表現されているが、実際には、上述した図１６等と同様に、これらの旋律は、所定の時間間隔毎に存在する音程データの集合として表されているものとする。また、例えば、図１７に実線で示した旋律が歌声によるものであり、一点鎖線で示した旋律がギター音によるものであり、これら２つの旋律に対応する音程データがある時間間隔で交わっているとする。
【００７０】
このとき、歌声による旋律に対応する音程データを抽出することを考えると、例えば、着目音程データ４００を指定して、時間軸上で後方に向かって音程データの抽出を行うと、２つの旋律が交わる位置Ｐよりも後方にある音程データを調べる際に、音程のみを判断材料とした場合には、歌声に対応する音程データとともにギター音に対応する音程データも抽出されることとなる。ところが、音量値を判断材料とすると、上述した性質により、歌声とギター音とでは音量値が異なるので、音量値が±２０％以内であるか否かを判断することにより、歌声に対応する音程データのみを抽出することが可能となる。
【００７１】
着目音程データと周波数および音量値が近接している音程データが抽出されると、強調表示処理部６２は、抽出された音程データを強調表示する処理を行う（ステップ４０４）。また、音程データ抽出部４６は、抽出された音程データを選択状態に設定する（ステップ４０５）。上述したように、選択状態とは、抽出された音程データが各種の編集指示を与える対象として、他の音程データと区別された状態を言うものとする。
【００７２】
このようにして、所望の音程データが選択状態に設定されると、編集処理部４０は、利用者からの編集指示にしたがって各種の編集処理を行う（ステップ４０６）。編集処理の具体的な内容としては、例えば、選択状態となっている音程データを旋律の一部として抽出して表示する処理や、音程データを削除する処理、音程（周波数）や音量等の属性を変更する処理等が行われる。
【００７３】
各種の編集処理が行われた後には、上述したステップ４００に戻り、編集画面上の１点が指定されたか否かの判定以降の処理が繰り返される。
このように、本実施形態の音楽データ編集システム１００ａでは、編集画面上の任意の一点を指定するだけで、この指定された１点（指定点）の近傍にある音程データが着目音程データとして特定され、この着目音程データと時間軸上で近接し、かつ音程（周波数）および音量が近接している音程データが自動的に抽出されて選択状態となるので、複数の旋律等に対応した音程データが密集している場合にも、所望の音程データのみを効率よく選択することができる。
【００７４】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。
例えば、上述した説明では、所望の音程データを選択する方法として２つの実施形態を説明したが、実際の音楽データ編集システムでは、これら第１および第２の実施形態で説明した構成を兼ね備えておき、選択したい音程データの状況に応じて両者を選択的に用いることが好ましい。具体的には、音程データがそれほど煩雑でない場合には、第１の実施形態において説明した方法により所望の音程データを広範囲に選択し、音程データが密集していたり、ある時間間隔で交わっているような場合には、第２の実施形態において説明した方法により、所望の音程データのみを確実に選択するようにすれば、より効率よく所望の音程データを選択して各種編集処理を行うことができるようになる。
【００７５】
また、上述した第１の実施形態では、着目位置の始点および終点を結ぶ直線とほぼ垂直な２辺の長さは、予め適当な値に設定されているものとしていたが、着目位置を指定する操作を行う毎に自由に設定できるようにしてもよい。図１８は、始点と終点を結ぶ直線とほぼ垂直な２辺の長さを自由に設定する変形例について説明する図である。同図に示すように、例えば、始点２１０と終点２３０が指定された後に、ポインタ２００を移動させることにより、直線２２０に垂直な２辺の長さが変化し、その後、任意の位置２５０が指定されたときに、矩形領域２４０を設定するようにすればよい。このようにすることで、矩形領域２４０の面積を可変に設定することができるので、所望の音程データをさらに効率よく選択することができるようになる。
【００７６】
また、上述した第１の実施形態では、着目位置の始点と終点を結ぶ直線に基づいて矩形領域を設定することにより、この矩形領域に含まれる音程データを抽出していたが、設定する領域の形状は矩形に限定されるものではなく、種々の変形例が考えられる。図１９は、領域の形状の変形例を示す図である。領域の形状としては、例えば、図１９（Ａ）に示すように、始点２１０と終点２３０を結ぶ直線２２０と平行な２辺と水平方向に対して垂直な２辺から構成される平行四辺形としてもよく、図１９（Ｂ）に示すように、直線２２０とほぼ平行な長軸を有する楕円形にしてもよい。
【００７７】
また、上述した第２の実施形態では、指定点に近接する着目音程データを基準として、周波数や音量値が近接しているか否かを判定したが、着目音程データを順次変更していき、次々に近接する音程データを抽出してもよい。この場合には、初めに、指定点に近接する着目音程データを基準として、時間軸上で前方（または後方）に隣接する時間間隔の音程データが所定の基準（音程および音量値）に基づいて近接しているかを判断し、近接している場合には、この隣接する位置にある音程データを抽出した後に、これを新たな着目音程データとして、さらに前方（または後方）に存在する音程データが近接しているか否かの判断を繰り返していけばよい。
【００７８】
また、上述した実施形態では、オーディオＣＤやＷａｖｅファイル等から読み出されたオーディオデータに対して高速フーリエ変換処理を行って得られた音程データに対して所定の和音処理を行うことにより、不要な周波数成分（倍音成分）を除去していたが、和音処理は必ずしも必要ではなく、簡単には、単にオーディオデータに対してＦＦＴ処理を行った結果得られた音程データを編集対象としてもよい。
【００７９】
【発明の効果】
上述したように、本発明によれば、編集画面上において、任意の２点を指定するだけで、この２点を結ぶ直線に近接する音程データが自動的に抽出されるので、所望の音程データが存在する領域をより的確に指定することができ、所望の音程データを効率よく選択することができる。
【００８０】
また、本発明によれば、編集対象としたい音程データの近傍を指定するだけで、この指定された位置の近傍にある音程データと時間軸上で近接し、かつ周波数の近接した音程データが自動的に抽出されるので、複数の旋律等に対応した音程データが特定の領域に密集している場合にも、所望の音程データのみを効率良く選択することができる。
【図面の簡単な説明】
【図１】第１の実施形態の音楽データ編集システムの構成を示す図である。
【図２】第１の実施形態の音楽データ編集システムの全体動作を示す流れ図である。
【図３】和音変換部によって行われる和音処理の詳細な動作手順を示す流れ図である。
【図４】インデックスが付与された音程データの一例を示す図である。
【図５】切り抜き処理とこれに対応する加算処理の具体的な内容を示す図である。
【図６】基音が存在せずに倍音数が２以上の倍音のみが存在する場合の切り抜き処理とこれに対応する加算処理の具体的な内容を示す図である。
【図７】表示装置に表示された音程データの具体例を示す図である。
【図８】表示装置に表示された編集処理後の音程データの具体例を示す図である。
【図９】所望の音程データを選択する際の動作手順を示す流れ図である。
【図１０】所望の音程データを選択する一連の動作において表示装置に表示される編集画面の一例を示す図である。
【図１１】所望の音程データを選択する一連の動作において表示装置に表示される編集画面の一例を示す図である。
【図１２】所望の音程データを選択する一連の動作において表示装置に表示される編集画面の一例を示す図である。
【図１３】所望の音程データを選択する一連の動作において表示装置に表示される編集画面の一例を示す図である。
【図１４】第２の実施形態の音楽データ編集システムの構成を示す図である。
【図１５】所望の音程データを選択する際の動作手順を示す流れ図である。
【図１６】着目音程データと音程および音量値が近接している音程データを抽出する処理の具体例を示す図である。
【図１７】複数の旋律がある時間間隔において同じ音程で交わる場合の一例を示す図である。
【図１８】始点と終点を結ぶ直線とほぼ垂直な２辺の長さを自由に設定する変形例について説明する図である。
【図１９】領域の形状の変形例を示す図である。
【符号の説明】
１０  オーディオデータ格納部
２０  ＦＦＴ処理部
３０  和音変換部
４０  編集処理部
４１  着目位置設定部
４２  領域設定部
４３、４６  音程データ抽出部
４５  音程データ特定部
６０  表示処理部
６１  着目位置描画部
６２  強調表示処理部
７０  操作部
７２  ポインティングデバイス
７４  キーボード
８０  合成音生成部
８２  スピーカ
９０  表示装置
１００、１００ａ  音楽データ編集システム
【図１】
0003782291.tif 000002
【図２】
0003782291.tif 000003
【図３】
0003782291.tif 000004
【図４】
0003782291.tif 000005
【図５】
0003782291.tif 000006
【図６】
0003782291.tif 000007
【図７】
0003782291.tif 000008
【図８】
0003782291.tif 000009
【図９】
0003782291.tif 000010
【図１０】
0003782291.tif 000011
【図１１】
0003782291.tif 000012
【図１２】
0003782291.tif 000013
【図１３】
0003782291.tif 000014
【図１４】
0003782291.tif 000015
【図１５】
0003782291.tif 000016
【図１６】
0003782291.tif 000017
【図１７】
0003782291.tif 000018
【図１８】
0003782291.tif 000019
【図１９】
0003782291.tif 000020