(57)【要約】音楽信号を音符基準表記に変換する方法において、まず、音楽信号の周波数時間表示が作成され（１０）、この周波数時間表示は座標を含み、一つの座標は周波数値と時間値を有し、時間値はその音楽信号内でその周波数の発生時を示すものである。その後、時間関数として適当な関数が算出され（１２）、その算出方法は周波数時間表示の座標によって決定される。周波数時間表示の時間分割のために、前記関数の少なくとも二つの隣接する極値が決定される（１４）。この決定された極値に基づき、分割が行われ（１６）、分割は関数の二つの隣接する最小値によって限定され、分割された区分の時間的長さはその区分に対する音の時間的長さを示す。音の高さ決定のために、区分に対する音の高さはその区分内の座標を用いて決定される（２０）。適当な関数を算出し、分割のためにその関数の極値を決定するために、音符基準表記に変換されるべき音楽信号に対して何の要求もない。従って、この方法は連続的な音楽信号にも適している。【選択図】図１
2004526203.tif 000002
【特許請求の範囲】
【請求項１】
音楽信号を音符基準表記に変換するための方法であり、以下のステップを含む、
音楽信号の周波数時間表示を作成するステップ（１０）であり、周波数時間表示は座標を含み、一つの座標は周波数値と時間値を有し、時間値は音楽信号のその周波数の発生時を示す、
時間関数として適正な関数を算出するステップ（１２）であり、その算出方法は前記周波数時間表示の座標によって決定される、
前記関数の少なくとも二つの隣接する極値を決定するステップ（１４）
決定された極値に基づき、周波数時間表示を時間分割するステップ（１６）であり、一つの区分は前記関数の二つの隣接する極値によって限定され、その区分の時間的長さはこの区分に対する音の時間的長さを示す、
区分内の座標を用いて、その区分に対する音の高さを決定するステップ（２０）。
【請求項２】
請求項１に記載の方法であり、前記関数は解析関数であり、隣接する極値を決定する手段（１４）は解析関数の偏差とゼロ決定を行う。
【請求項３】
請求項１又は請求項２に記載の方法であり、前記手段（１４）によって決定された極値は、前記関数の最小値である。
【請求項４】
請求項１、請求項２又は請求項３に記載の方法であり、前記関数は、ｎ次（ｎは２以上）の多項式関数である。
【請求項５】
請求項１、請求項２、請求項３又は請求項４に記載の方法であり、前記分割ステップ（１６）において、較正値を用いて、二つの隣接する極値の時間的距離から一つの音の時間的長さが決定され、該較正値は、一つの音の特定の時間的長さの二つの極値間距離に対する関係であり、その音のために前記関数を用いて決定されたものである。
【請求項６】
請求項４又は請求項５に記載の方法であり、前記関数の次数は、周知の多様な長さの特定の音を使用し、関数の次数を変化させて、前もって決定され、前記算出ステップ（１２）で、隣接する極値によって決定される音の長さと周知の音の長さの間に特定の適合性が得られるように次数が使用される。
【請求項７】
請求項３、請求項４、請求項５又は請求項６に記載の方法であり、前記時間分割ステップ（１６）において、前記関数の唯一のこのような最小値が区分され、その周波数値は、隣接する最大値の周波数値とは、少なくとも疑似最小値を排除するための最小最大閾値の差で、異なっている。
【請求項８】
請求項１、請求項２、請求項３、請求項４、請求項５、請求項６又は請求項７に記載の方法であり、前記作成ステップ（１０）において、以下のステップが実行される、
時間信号の信号エッジ発生時を検出するステップ（１０ｃ）、
二つの選択検出された信号エッジの間の時間的距離を決定し（１０ｄ）、決定した時間的距離から周波数値を計算し、その周波数値を音楽信号内のその周波数値発生時に与え、その周波数値及びこの周波数値の発生時から座標を得る。
【請求項９】
請求項８に記載の方法であり、前記検出ステップ（１０ｃ）において、ハフ変換が実行される。
【請求項１０】
請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７、請求項８又は請求項９に記載の方法であり、前記作成ステップ（１０）において、周波数時間表示は、ピッチ輪郭帯域が残るようにフィルター処理（１０ｅ）に供され、前記関数算出ステップ（１２）において、ピッチ輪郭帯域内の座標のみが考慮される。
【請求項１１】
請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７、請求項８、請求項９又は請求項１０に記載の方法であり、音楽信号はモノラル又は主なモノラル域を有する多音である。
【請求項１２】
請求項１１に記載の方法であり、前記音楽信号は歌われた又は楽器で演奏された一連の音である。
【請求項１３】
請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７、請求項８、請求項９、請求項１０、請求項１１又は請求項１２に記載の方法であり、前記周波数時間表示作成ステップ（１０）において、サンプルレートが特定のサンプルレートに変換される（１０ｂ）。
【請求項１４】
請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７、請求項８、請求項９、請求項１０、請求項１１、請求項１２又は請求項１３に記載の方法であり、前記周波数時間表示作成ステップ（１０）において、調整率を乗じることで音量標準化（１０ｂ）が行われ、該調整率は一部分の中間音量又は特定の最大音量に基づくものである。
【請求項１５】
請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７、請求項８、請求項９、請求項１０、請求項１１、請求項１２、請求項１３又は請求項１４に記載の方法であり、前記作成ステップ（１０）において、楽器特定周波数時間表示を得るために、前記周波数時間表示の楽器特定後処理（１０ｆ）が実行され、
前記関数算出ステップ（１２）は、該楽器特定周波数時間表示に基づき実行される。
【請求項１６】
請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７、請求項８、請求項９、請求項１０、請求項１１、請求項１２、請求項１３、請求項１４又は請求項１５に記載の方法であり、前記区分毎の音の高さ決定ステップ（２０）において、一つの区分の座標の平均値又は中央値が使用され、一つの区分の平均値又は中央値は、その区分に対する音の絶対的高さ値を示すものである。
【請求項１７】
請求項１６に記載の方法であり、前記音の高さ決定ステップ（２０）は、音楽信号の区分に対する音の絶対的高さ値を用いて、音楽信号の基礎となる調律を決定するステップ（２０ｂ，２０ｃ）を含む。
【請求項１８】
請求項１７に記載の方法であり、前記調律決定ステップは以下のステップを含む、
周波数差座標系を得るために、音楽信号の音の高さ値から多数の周波数差を求める（２０ｂ）、
前記周波数差座標系及び複数の保存された調律座標系（４０）を用いて、補償計算によって、音楽信号の基礎となる絶対調律を決定する（２０ｃ）。
【請求項１９】
請求項１８に記載の方法であり、前記音の高さ決定ステップ（２０）は、各区分に対して一つの音を得るために、絶対調律及び基準音に基づき絶対的音の高さ値を量子化するステップを含む。
【請求項２０】
請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７、請求項８、請求項９、請求項１０、請求項１１、請求項１２、請求項１３、請求項１４、請求項１５、請求項１６、請求項１７、請求項１８又は請求項１９に記載の方法であり、前記分割ステップ（１６）は以下のステップを含む、
音の時間的長さを標準化するステップ（１６ａ）であり、音の時間的長さをヒストグラム化し（１６ｂ）、音の時間的長さが基本音符長の整数倍又は整数分数として示されるような基本音符長を認識し（１６ｃ）、標準化された音の時間的長さを得るために、音の時間的長さを次の整数倍又は次の整数分数に量子化する（１６ｄ）。
【請求項２１】
請求項２０に記載の方法であり、前記分割ステップ（１６）は、該量子化された音の長さから、連続する音が小節体系にグループ分けできるかどうかを調査することによって、小節を決定するステップ（１６ｅ）を含む。
【請求項２２】
請求項２１に記載の方法であり、以下のステップを含む、
音楽信号を表す一連の音を、各音が構成ルールに関する開始、長さ及び音の高さによって特定されるように調査し（６０）、構成ルールに矛盾する音にはマークをつける。
【請求項２３】
音楽信号（７０）を、複数のデータベース音楽信号の音符基準表記を含むデータベース（７８）に照会する方法であり、以下のステップを含む、
音楽信号を請求項１ないし請求項２２のうちの一つに記載の方法で音符基準表記（７４）を変換するステップ（７２）、
前記音楽信号の音符基準表記（７４）をデータベース（７８）の複数のデータベース音楽信号の音符基準表記と比較するステップ（７６）、
前記比較ステップに基づき、前記音楽信号（７０）に関する一覧表を作成するステップ（７６）。
【請求項２４】
請求項２３に記載の方法であり、データベース音楽信号の音符基準表記はＭＩＤＩフォーマットを有し、音の開始と音の終了が時間関数として特定されており、
比較ステップの前に、音の並びの差を得るために、前記音楽信号の二つの隣接する音の差を求めるステップ、及び前記データベース音楽信号の音符基準表記の二つの隣接する音の差を求めるステップが実行され、
比較ステップにおいて、前記音楽信号の音の並びの差はデータベース音楽信号の音の並びの差と比較される。
【請求項２５】
請求項２３又は請求項２４に記載の方法であり、前記比較ステップ（７６）はＤＮＡシーケンスアルゴリズム、特にボワイエ−ムーアアルゴリズムを用いて実行される。
【請求項２６】
請求項２３、請求項２４又は請求項２５に記載の方法であり、前記一覧表作成ステップは、データベース音楽信号の音符基準表記と前記音楽信号の音符基準表記が同一である場合、この音楽信号とデータベース音楽信号の同一性を証明することを含む。
【請求項２７】
請求項２３、請求項２４又は請求項２５に記載の方法であり、音楽信号に関する一覧表作成のステップは、前記音楽信号（２０）の全ての音の高さ及び／又は音の長さがデータベース音楽信号の音の高さ及び／又は音の長さと適合する場合、この音楽信号（２０）とデータベース音楽信号との間の類似性を証明する。
【請求項２８】
請求項２３、請求項２４、請求項２５又は請求項２６に記載の方法であり、前記音符基準表記はリズム表記を含み、前記比較ステップ（７６）において、前記音楽信号のリズムとデータベース音楽信号のリズムとの比較が行われる。
【請求項２９】
請求項２３、請求項２４、請求項２５、請求項２６、請求項２７又は請求項２８に記載の方法であり、音符基準表記は音の高さ表記を含み、前記比較ステップ（７６）において、前記音楽信号の音の高さとデータベース音楽信号の音の高さとの比較が行われる。
【請求項３０】
請求項２５、請求項２６、請求項２７、請求項２８又は請求項２９に記載の方法であり、前記比較ステップ（７６）において、前記音楽信号（７０）の音符基準表記（７４）に関して挿入、置換又は削除処理が行われ、前記一覧表作成ステップにおいて、前記音楽信号（７０）の音符基準表記（７４）とデータベース音楽信号の音符基準表記との間の可能な限りの適合を達成するために必要とされる挿入、置換又は削除処理の回数に基づき、前記音楽信号（７０）とデータベース音楽信号の類似性が確認される。
【請求項３１】
音楽信号を音符基準表記に変換する装置であり、以下のものを含む、
音楽信号の周波数時間表示を作成する手段（１０）であり、周波数時間表示は座標を含み、一つの座標は周波数値と時間値を有し、時間値は音楽信号のその周波数の発生時を示す、
時間関数として適正な関数を算出する手段（１２）であり、その算出方法は前記周波数時間表示の座標によって決定される、
前記関数の少なくとも二つの隣接する極値を決定する手段（１４）
決定された極値に基づき、周波数時間表示を時間分割する手段（１６）であり、一つの区分は前記関数の二つの隣接する極値によって限定され、その区分の時間的長さはこの区分に対する音の時間的長さを示す、
区分内の座標を用いて、その区分に対する音の高さを決定するステップ（２０）。
【請求項３２】
音楽信号（７０）を、複数のデータベース音楽信号の音符基準表記を含むデータベース（７８）に照会する装置であり、以下のステップを含む、
音楽信号を請求項１ないし請求項２２のうちの一つに記載の方法で音符基準表記（７４）を変換する手段（７２）、
前記音楽信号の音符基準表記（７４）をデータベース（７８）の複数のデータベース音楽信号の音符基準表記と比較する手段（７６）、
前記比較ステップに基づき、前記音楽信号（７０）に関する一覧表を作成する手段（７６）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽信号処理の分野に関し、詳しくは、音楽信号を音符基準表記に変換することに関する。
【背景技術】
【０００２】
一連の音を特定することによって歌を参照するという概念が、多くのユーザーによって利用されている。ある歌の一部のメロディーを口ずさむことができるが、その歌の曲名を覚えてはいないという状況は、誰にもあることであろう。一連のメロディーを歌うか又はそれを楽器で演奏し、このメロディーが音楽データベースに含まれている場合には、この情報によって、まさにこのメロディーをその音楽データベースに照会するということが望ましいであろう。
【０００３】
ＭＩＤＩフォーマット（ＭＩＤＩ＝ｍｕｓｉｃ  ｉｎｔｅｒｆａｃｅ  ｄｅｓｃｒｉｐｔｉｏｎ）は、音楽信号の音符基準の標準的な表記である。ＭＩＤＩファイルは、一つの音の始まりと終わり及び／又はその音の始まりと持続期間が時間関数として記録されているような音符基準表記を含む。ＭＩＤＩファイルは、例えば電子キーボードに読み込まれ、再生されてもよい。もちろん、サウンドカードを用い、コンピュータのサウンドカードに接続されているスピーカを介して、ＭＩＤＩファイルを再生してもよい。このことから、音符基準表記の変換は、その最たる原形においては、音符という手段で記録された歌を楽器で再生する楽器演奏家によって「手動で」行われるものであるが、それが自動的に行われてもよいことがわかる。
【０００４】
しかし、比較はより複雑である。音楽信号、つまり歌われたり楽器で演奏されたりスピーカによって記録された音楽信号、あるいはファイルという形において可能であるが、デジタル化され任意に圧縮された音楽信号をＭＩＤＩファイルという形の音符基準表記又は奇習の楽譜に変換することには、大きな制約がある。
【０００５】
１９９６年９月に発表されたマサチューセッツ工科大学のＡ．Ｌｉｎｄｓａｙによる博士論文”Ｕｓｉｎｇ Ｃｏｎｔｏｕｒ ａｓ ａ Ｍｉｄ−Ｌｅｖｅｌ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ Ｍｅｌｏｄｙ”では、歌われた音楽信号を一連の音符に変換する方法が説明されている。歌は破裂子音を用いて、例えば、「ダ、ダ、ダ」というように歌われなければならない。次に、その歌い手によって生成された音楽信号のパワー分布を、時間に関して調べる。破裂子音のために、パワー時間ダイアグラムにおいて、一つの音の終わりと次の音の始まりとの間に明らかなパワー降下が認められる。パワー降下を基準にして、音楽信号が分割され、各区分において一つの音符が可能になる。周波数分析が各区分に音の高さを与え、それらの周波数の並びはピッチ輪郭ラインと称される。
【０００６】
この方法は、歌われた入力に制限されるという点で不利である。メロディーを特定する際、録音された音楽信号の一つの区分を得るために、そのメロディーは「ダ、ダ、ダ」という形の破裂子音と母音によって歌わなければならない。このことは、すでにこの方法をオーケストラ楽曲に応用することを排除している。オーケストラ楽曲においては、主な楽器はまとまった音、つまり休止によって分けられていない音を演奏するからである。
【０００７】
前記先行技術による方法は、分割の後、一連のピッチ値において、二つの連続するピッチ値つまり音の高さ値の間隔を計算する。この間隔値は後に間隔基準として用いられる。得られたピッチシーケンスはデータベースに保持されている参照シーケンスと比較され、全ての参照シーケンスに対して差の２乗の合計が最小値になるものを解、つまりそのデータベース内で照会された音符シーケンスとする。
【０００８】
この方法の別の不利点は、後に埋め合わせられなければならないオクターブジャンプエラーを含むピッチトラッカーが使用されていることにある。更に、このピッチトラッカーは有効な値を得るためには正確に調律されていなければならない。この方法は、単に二つの連続するピッチ値の間隔を用いるのみである。間隔の量子化は雑に行われ、この雑な量子化は、「非常に大きい」、「大きい」、「連続している」というだけの分類をする単に雑なステップを含むものである。この雑な量子化により、ヘルツにおける絶対音の設定が損なわれ、結果として、メロディーのより良い決定がもはや不可能となる。
【０００９】
音楽の認識を可能にするためには、一連の再生されたメロディーから音符基準表記を決定することが望ましい。音符基準表記は例えばＭＩＤＩファイル又は奇習の楽譜という形のものであり、各音符は音の始まり、音の長さ及び音の高さによって表されているものである。
【００１０】
さらに、入力されたメロディーは必ずしも正確であるとは限らないことを考慮すべきである。特に、商業的使用のために、歌われたメロディーは、音の高さ、音のリズム、音の順序に関して不完全であるかもしれないと仮定すべきである。このメロディーが楽器で演奏される場合、その楽器が誤って調律されている、つまり異なる周波数基本音（例えば４４０Ｈｚという標準音Ａではなく、４３５Ｈｚの”Ａ”）に合わされているかもしれないと考えなければならない。更に、楽器は、例えばＢクラリネットやＥｓサクソフォンのように、それぞれのキーに調律されている場合がある。メロディーを楽器で演奏する場合でさえ、音を抜かしたり（削除）、音を挿入したり（挿入）あるいは異なる（間違った）音を演奏したり（置換）して、メロディーの音の順序が不完全である場合もある。同様に、テンポも変わっているかもしれない。また、各楽器は独自の音色を有し、ある楽器によって演奏される音は、基本音と他の周波数シェアの混合物、いわゆる倍音であることを考慮すべきである。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明の目的は、音楽信号を音符基準表記に変換するための確実な方法及び確実な装置を提供することである。
【００１２】
本発明のこの目的は、請求項１に係る方法又は請求項３１に係る装置によって達成される。
【００１３】
本発明の別の目的は、音楽信号を、複数のデータベース音楽信号の音符基準表記を含むデータベースに照会するためのより確実な方法及びより確実な装置を提供することである。
【００１４】
この目的は請求項２３に係る方法及び請求項３２に係る装置によって達成される。
【課題を解決するための手段】
【００１５】
本発明は、音楽信号の音符基準表記への効果的で確実な変換のためには、歌われた又は楽器で演奏されたメロディーが破裂子音で演奏され、その結果、音楽信号のパワー時間表示が明らかなパワー降下を含み、そのメロディーの個々の音を互いに切り離すために音楽信号の分割を実行するのに使用され得るという際に、いかなる制約も受け入れられないという認識に基づいている。
【００１６】
本発明によると、歌われたり楽器で演奏されたり、あるいはいかなる他の形で得られた音符基準表記の音楽信号からでも、以下の方法によって音符基準表記が達成される。まず、その音楽信号の周波数時間表示を生成し、この周波数時間表示は座標を含み、一つの座標は周波数値と時間値を有し、時間値はその音楽信号内でのその周波数の発生時を特定するものである。次に、時間関数として適当な関数を算出し、その方法は周波数時間表示の座標によって決定される。この関数から少なくとも二つの隣接した極値を決定する。一連のメロディー内の音の識別を可能にするために、周波数時間表示の時間分割は決定された極値に基づいて行われ、一つの区分は関数の少なくとも二つの隣接した極値によって限定され、その区分の長さはその区分に対応する音の長さを示すものである。音のリズムはこのようにして得られる。音の高さは、最終的に各区分内の座標のみを用いて決定される。各区分に関して一つの音が決定され、連続した区分のそれぞれの音が一連のメロディーを示すことになる。
【００１７】
本発明の利点は、音楽信号の分割が、その音楽信号が楽器によって演奏されたものか又は歌われたものかには関係無く行われることである。本発明によると、処理されるべき音楽信号はパワー時間方法、つまり、分割を可能にするために明らかな降下を有するものによる必要がもはやない。本発明の方法によると、メロディーを入力する型はもはや限定されない。本発明の方法は、一人の声や一つの楽器によって生成されるようなモノラルな音楽信号に関して最も効果を発揮するが、この方法はまた、一つの楽器及び／又は一つの声が際立っているならば、多音演奏にも適している。
【００１８】
この事実に基づき、音楽信号を表すメロディーの音の時間分割がもはやパワーを考慮して行われるのではなく、周波数時間表示を用いた適当な関数を計算することによって行われ、これにより、自然な歌又は自然な楽器演奏に相当すると最も思われる連続的な入力が可能になる。
【００１９】
本発明の好ましい一実施形態において、ある楽器の特徴を知ることによって周波数時間表示の後処理をし、より正確なピッチ輪郭ラインを得、より精密な音の高さを決定するために、周波数時間表示の楽器特定の後処理が行われる。
【００２０】
本発明の利点は、音楽信号は、いかなる倍音を有する楽器によっても演奏され得ることである。倍音を有する楽器とは、金管楽器、木管楽器、弦楽器、撥弦楽器、打楽器を含むものである。周波数時間分布から、楽器の音色とは無関係に、演奏された基本的な音が抜粋され、それが楽譜の音符によって特定される。
【００２１】
このように、本発明は、一連のメロディー、つまり音楽信号はいかなる楽器によってでも演奏できるという選択を与えるという点で特徴的である。本発明は、熟練していない人があるメロディーを歌ったり口笛で吹いたり、処理されるべき歌のテンポを間違えて演奏した場合、誤って調律された楽器や間違ったピッチに対しても確実である。
【００２２】
更に、好ましい実施形態において、音楽信号の周波数時間表示を生成するのに、ハフ変換が用いられ、本発明の方法は時間計算に関して効率的な方法で実行され、これにより高い処理速度が達成される。
【００２３】
本発明の別の利点は、歌われた又は楽器によって演奏された音楽信号を参照するのに、リズム及び音の高さを表示する音符基準表記に基づき、多数の音楽信号が保存されているデータベースへの照会が行われるということにある。特に、ＭＩＤＩ標準の大きな流通に基づき、膨大な数の音楽作品の多数のＭＩＤＩファイルが存在している。
【００２４】
本発明の更に別の利点は、作成された音符基準表記に基づき、ＤＮＡ配列方法を用いて、例えば、ボワイエ−ムーアアルゴリズムのような強力なＤＮＡ配列アルゴリズムで置換／挿入／削除演算をして、例えばＭＩＤＩフォーマット内の音楽データベースを検索することが可能であることである。音楽信号の同時制御操作を用いる時間順序比較の型は、さらに、熟練していない楽器演奏者や熟練していない歌い手によって生成されるような不正確な音楽信号に対して求められる確実性を提供する。この点は音楽認識システムの広い普及にとって重要である。熟練した楽器演奏者や熟練した歌い手の数は、我々の人口から見ると、非常に少ないからである。
【発明を実施するための最良の形態】
【００２５】
本発明の好ましい実施形態を、添付図面を参照しながら以下に説明する。
【００２６】
図１は、音楽信号を音符基準表記に変換するための本発明に係る装置のブロック図である。歌われた形、楽器で演奏された形、あるいはデジタル的に時間サンプリングされた値という形で入手可能な音楽信号は、その音楽信号の周波数時間表示を生成するための手段１０に入力される。周波数時間表示は、座標を含み、一つの座標は周波数値と時間値を有し、時間値はその音楽信号内におけるその周波数の発生時を示すものである。この周波数時間表示は、時間関数として適当な関数を算出するための手段１２に送られ、関数の算出方法は周波数時間表示の座標によって決定される。この関数から、二つの隣接する極値が手段１４によって決定され、これらの極値は音のリズムを示す分割を実行するために周波数時間表示を分割するための手段１６によって使用され、この音のリズムは出力１８に出力される。この区分情報はさらに手段２０で使われ、区分毎の音の高さを決定する。区分毎の音の高さを決定するのに、手段２０は各区分の座標のみを使用し、連続する区分に関する連続する音の高さを出力２２に出力する。リズム情報である出力１８のデータと音の高さ情報である出力２２のデータは共に音符基準表記を形成し、この音符基準表記から、ＭＩＤＩファイル又は図式インターフェースを介して楽譜を作成することもできる。
【００２７】
以下に、図２を参照して、音楽信号の周波数時間表記を生成するための好ましい実施形態をさらに詳しく説明する。例えば、音楽信号を歌うか又は楽器で演奏して録音し、それをサンプリングしてＡ／Ｄ変換することによって作成されるような一連のＰＣＭサンプルとして入手した音楽信号は、音声Ｉ／Ｏ装置１０ａに送り込まれる。あるいは、デジタルフォーマットで入手した音楽信号もまた、コンピュータのハードディスクやコンピュータのサウンドカードから直接、この音声Ｉ／Ｏ装置１０ａに送られる。Ｉ／Ｏ装置１０ａがファイル終了マークを確認するや否や、そのオーディオファイルを閉じ、必要に応じて、次のファイルを読み込むか又は読み込み処理を終了する。電流という形で入手したＰＣＭ（パルスコード変調）サンプルは前処理手段１０ｂに順に送られ、そのデータストリームは一定のサンプルレートに変換される。好ましくは、いくつかのサンプルレートを処理可能であり、信号のサンプルレートから次の信号エッジ検知ユニット１０ｃのパラメータを決定できるように、信号サンプルレートが知らされる。
【００２８】
前処理手段１０ｂは更に、概して音楽信号の音量を標準化するレベル調節ユニットを含む。音楽信号の音量情報は周波数時間表示には必要ないからである。音量情報が周波数時間座標の決定に影響を及ぼさないように、音量標準化は以下のようにして行われる。音楽信号のレベルを標準化する前処理ユニットは先読みバッファを備え、そこから信号の中程度の音量を決定する。そしてその信号に調整率を乗じる。調整率は、重み付けファクターと全音階のずれと中程度の音量からの商との積である。先読みバッファの長さは可変である。
【００２９】
エッジ検出手段１０ｃは、音楽信号から特定の長さの信号エッジを抜粋するように設置されている。この手段１０ｃは好ましくはハフ変換を実行する。
【００３０】
ハフ変換はＰａｕｌ Ｖ．Ｃ． Ｈｏｕｇｈによる米国特許第３，０６９，６５４号明細書に記載されている。このハフ変換は、複雑な構造を認識するために、特に写真や他の画像表示中の複雑なラインを自動的に認識するために使用される。本発明におけるこのハフ変換の応用は、時間信号から特定の時間長さを有する信号エッジを抜粋するのにハフ変換を利用することである。信号エッジはまずその時間長さによって特定される。理想的な正弦波の場合には、信号エッジは０から９０度への正弦関数の立ち上がりエッジによって定義づけされる。あるいは、正弦エッジは−９０度から＋９０度への正弦関数の立ち上がりによって特定されてもよい。
【００３１】
時間信号が時間値のサンプリング結果として得られた場合、信号エッジの時間長さは、サンプルを生成する際のサンプリング周波数を考慮すると、ある数のサンプル値に相当する。従って、信号エッジの長さは、信号エッジが含んでいるはずのサンプル値の数を特定することによって容易に特定できる。
【００３２】
また、信号エッジが一様で単調な波形を有する場合のみ、つまり、正の信号エッジの場合には単調な立ち上がり波形を有している場合にのみ、信号エッジとして検出することが好ましい。もちろん、負の信号エッジの場合には、単調な立ち下がりの信号エッジが検出される。
【００３３】
信号エッジを分類するさらなる基準は、信号エッジがあるレベルの範囲内にある場合にのみ、信号エッジとして検出することである。いかなるノイズの妨害をも拒絶するためには、信号エッジのための最小レベル範囲又は最小振幅範囲を出力し、この範囲よりも下の単調な立ち上がり信号エッジは信号エッジとして検出しないことが望ましい。
【００３４】
信号エッジ検出ユニット１２は、このように、信号エッジとその信号エッジの発生時を検出する。この場合、連続して発生する信号エッジが同様に扱われているならば、一つの信号エッジ内の最初のサンプル値採取時、最後のサンプル値採取時あるいはどのサンプル値の採取時をその信号エッジの時間として扱うのかは重要ではない。
【００３５】
エッジ検出器１０ｃの後段には周波数計算ユニット１０ｄが設置されている。周波数計算ユニット１０ｄは、互いに時間的に連続し、等しいあるいは許容範囲内で等しい二つの信号エッジを検索し、そしてこれらの信号エッジの発生時の差を計算するために設置されている。この差の逆数はこれらの二つの信号エッジによって決定される周波数に相当する。単純な正弦音を考えると、正弦音の期間は、二つの連続する例えば等しい長さの正の信号エッジの時間差によって与えられる。
【００３６】
ハフ変換は、音楽信号の信号エッジを検出する際、高い分解能を有するので、周波数計算ユニット１０ｄによって音楽信号の周波数時間表示が得られるが、この周波数時間表示は、ある時点で入手可能な周波数を高い分解能で含むものである。このような周波数時間表示を図８に示す。図８に示されている周波数時間表示では、秒で絶対時間を示す時間軸を横軸とし、ヘルツで周波数を示す周波数軸を縦軸としている。図８中の全ての点は、Ｗ．Ａ．モーツァルトのケッヘル番号５８１の最初の１３秒がハフ変換された場合に得られる時間周波数座標を示している。この作品の最初の約５．５秒において、約６００〜９５０Ｈｚの間で比較的規則的に発生する広い周波帯域で、比較的多音のオーケストラ部分がある。そして、約５．５秒後、ｈ１，ｃ２，ｃｉｓ２，ｄ２，ｈ１，ａ１という一連の音を演奏するクラリネットが主な楽器として入ってくる。クラリネットとは対称的に、オーケストラはバックに退き、図８の周波数時間表示では、周波数時間座標の主な分布は限られた帯域８００内にあり、これはピッチ輪郭帯域と称される。一つの周波数値近辺に蓄積している座標は、その音楽信号が比較的モノラルなシェアを有していることを示しているが、通常の金管／木管楽器は、その基本音とは別に、例えばオクターブや次の５音というような多数の倍音を生成するということを考慮すべきである。これらの倍音は、また、ハフ変換及びそれに続くユニット１０ｄによる周波数計算によって決定され、ピッチ輪郭帯域を拡大する。楽器のビブラートは演奏された音の持続時間に対する速い周波数変化ということで特徴づけられるが、これはピッチ輪郭帯域を拡大する。一連の正弦音が生成された場合には、ピッチ輪郭帯域はピッチ輪郭ラインに狭まるだろう。
【００３７】
周波数計算ユニット１０ｄの後段には、蓄積範囲を決定する手段１０ｅが設置されている。蓄積範囲を決定する手段１０ｅにおいて、処理音声ファイルが機能する際に統計的特徴となる特性が集まってくる。この目的のために、空間的に隣の座標まである特定の最大距離を超える離れた周波数時間座標は全て取り除いてもよい。このような処理は、図８の場合を考えると、ピッチ輪郭帯域８００を超えるほとんど全ての座標が除去され、ピッチ輪郭帯域とピッチ輪郭帯域よりも低いいくつかの蓄積範囲のみが、６〜１２秒の間に残るという結果になる。
【００３８】
ピッチ輪郭帯域８００は、従って、ある周波数幅と時間長さの集まりからなり、これらの集まりは演奏された音によって引き起こされるものである。
【００３９】
離れた座標がすでに除去された、手段１０ｅによって生成された周波数時間表示は、好ましくは図３に示す装置を使用する更なる処理に用いられる。あるいは、ピッチ輪郭帯域外の座標の除去は、時間周波数表示の分割のためには、しなくてもよい。しかし、このことは計算されるべき関数が誤って導き出され、何の音の制限にも割り当てられていないが、ピッチ輪郭帯域外に広がる座標を基に入手可能である極値を与えるという結果になるかもしれない。
【００４０】
本発明の好ましい実施形態において、図３に示されているように、ピッチ輪郭帯域８００から一つのピッチ輪郭ラインの生成を可能にするために、楽器特定の後処理１０ｆが行われる。この目的のために、ピッチ輪郭帯域は楽器特定解析を受ける。例えばオーボエやフレンチホーンのような特定の楽器は特徴的なピッチ輪郭帯域を有している。例えばオーボエの場合、二つの平行な帯域が現れる。オーボエのマウスピースがダブルリードなので、空気の柱が異なる周波数の縦の振動を発生させるように誘起され、その振動モードはこれらの二つのモードの間で振動する。楽器特定後処理手段１０ｆは周波数時間表示をいくつかの特徴に関して調べる。そしてこれらの特徴が認識されれば、楽器特定後処理方法に変更し、例えば、データベースに保存されている多様な楽器のうちの特定のものに詳しい照会をする。例えば、一つの可能な方法として、更なる処理に必要とされる基礎として、オーボエの二つの平行な帯域から上又は下の帯域を取るか、あるいは二つの帯域の中間値を取るかする。原則的に、個々の楽器の周波数時間ダイアグラムで個々の特徴点を認識することは可能である。何故ならば、各楽器は倍音の構成及び基本周波数及び倍音の時間経過によって決定される典型的な音色を有しているからである。
【００４１】
理想的には、手段１０ｆの出力側で、ピッチ輪郭ライン、つまり非常に幅の狭いピッチ輪郭帯域が得られる。例えば図８の右半分のクラリネットの音のように主なモノラルな音を有する多音混合の場合、楽器特定後処理を行ってもピッチ輪郭ラインは得られない。何故ならば、バックの楽器も音を演奏し、それが帯域拡大につながるからである。
【００４２】
しかし、モノラルな歌声やバックのオーケストラのない個別の楽器の場合には、手段１０ｆによる楽器特定後処理の後に、狭いピッチ輪郭ラインが得られる。
【００４３】
ここで、例えば、図２でユニット１０の後に入手可能であるような周波数時間表示は、また、例えば、高速フーリエ変換のような周波数変換方法によって生成されてもよい。フーリエ変換によって、音楽信号の採取された時間値の一ブロックから短時間スペクトルが生成される。しかし、フーリエ変換の一つの問題点は、多数のサンプル値を有するブロックが周波数範囲に変換される場合には、低い時間分解能であるという事実である。しかし、多数のサンプル値を有するブロックは、良好な周波数分解をされる必要がある。逆に、良好な時間分解を達成するためには、低い周波数分解しか達成できない。このことから、フーリエ変換では、高い周波数分解又は高い時間分解のどちらかしか達成できないことが明らかである。フーリエ変換が使用される場合には、高い周波数分解と高い時間分解は互いに排他的である。対称的に、周波数時間表示を得るために、ハフ変換によるエッジ検出と周波数計算が行われる場合には、高い周波数分解と高い時間分解のどちらもが達成できる。周波数値の決定を可能にするために、ハフ変換を用いた手順では、例えば二つの立ち上がり信号エッジと従ってたった二つの持続期間が必要とされるのみである。しかしフーリエ変換とは対称的に、低い分解を有する周波数が決定され、その間に、高い時間分解が達成される。このような理由で、周波数時間表示を作成するためには、ハフ変換の方がフーリエ変換よりも好ましいのである。
【００４４】
一方では音の高さを決定し、他方では音楽信号のリズムを決定するために、ピッチ輪郭ラインから、一つの音の開始時とその音の終了時を決定しなければならない。この目的のために、本発明によれば適当な関数が使用され、本発明の好ましい実施形態においては、ｎ次の多項式関数が使用される。
【００４５】
例えば、正弦関数又は指数関数に基づく他の適当な関数が可能であるが、本発明によるとｎ次の多項式関数が好ましい。多項式関数が使用される場合、その多項式関数の二つの最小値の間の距離は、音楽信号の時間分割、つまり音楽信号の一連の音を示す。このような多項式関数８２０を図８に示す。最初及び約２．８秒後に、この多項式関数８２０は二つの多項式ゼロ８３０，８３２を有し、これら二つの多項式ゼロは、二つの多項式累積範囲をこのモーツァルトの作品の始まりに「導入」する。そして、このモーツァルトの作品はモノラル形態に入って来る。弦楽器の伴奏に対して、クラリネットが主な楽器として、ｈ１（８分音符）、ｃ２（８分音符）、ｃｉｓ２（８部音符）、ｄ２（付点８部音符）、ｈ１（１６分音符）、ａ１（４分音符）という連続した音を奏でる。時間軸に沿って、多項式関数の最小値は小さな矢印（例えば８３４）で記されている。本発明の好ましい実施形態においては、最小値の発生時点をそのまま分割に使用することは好ましくなく、前もって計算された調整特性曲線を使って調整を行うことが好ましい。しかし調整特性曲線を使用しない分割でも、図８から明らかなように、すでに使用可能な結果となっている。
【００４６】
多項式関数の係数は３０を超える範囲の高い次数を有していてもよいが、図８に示されている周波数時間座標を使用した補償計算方法を用いて算出される。図８に示した例では、全ての座標がこの目的のために使用される。従って多項式関数は、作品のある一部分、図８においては最初の１３秒の座標に最適になるように、周波数時間表示に当てはめられ、それによりこれらの座標から多項式関数への距離が全体として最小となる。その結果、例えば約１０．６秒の多項式における最小値のような、「擬似最小値」が作成される。この最小値はピッチ輪郭帯域の下に密集群があるという事実から派生するが、これらの密集群は好ましくは蓄積範囲決定手段１０ｅ（図２参照）によって除去される。
【００４７】
多項式関数の係数が算出された後、多項式関数の最小値は手段１０ｈによって決定されてもよい。多項式関数は解析的な形でも可能であるので、単純派生及びゼロ地点検索の実施は簡単に可能となる。他の多項式を求めるために、派生及びゼロ地点検索のための数的な方法を用いてもよい。
【００４８】
前述したように、時間周波数表示の分割は、決定された最小値に基づいて手段１６によって行われる。
【００４９】
多項式関数の係数は手段１２によって算出されるが、本発明においてその次数はどのようにして決定されるのかを、以下に説明する。この目的のために、本発明の装置を較正するための一定の標準となる長さを有する標準的なメロディーが再生される。その後、異なる次数の多項式を得るために係数計算及び最小値決定が行われる。そして、多項式の二つの連続する最小値それぞれと演奏された基準メロディーの例えばある音の長さを区切ることによって測定された音の長さとの差の合計が最小となるように、次数が選択される。多項式の次数が低すぎると、その多項式は雑な機能しか果たせず、個々の音を認識することができない。多項式の次数が高すぎると、その多項式関数はあまりにも変動が大きいという結果になり得ない。図８に示す例では、５０次の多項式が選択された。この多項式は、後の処理の基礎となる。計算時間節約のために、関数算出手段（図１中の１２）は、好ましくは多項式関数の係数のみを計算し、多項式の次数は計算しない。
【００５０】
特定の長さの標準的な基準音からのメロディーを用いる較正は、さらに、多項式関数の最小値の時間的距離を調整する分割（３０）のために手段１６に送り込まれる調整特性曲線を決定するのにも使用してもよい。図８から明らかなように、多項式関数の最小値は、音ｈ１を表す重なりの始まり直後つまり約５．５秒後にはなく、約５．８秒後にある。より高次の多項式関数が選択されていれば、最小値はこの重なりのエッジの方に移動していただろう。しかし、これは多項式があまりにも変動しすぎて、あまりにも多くの擬似最小値を生成してしまうという結果になったかもしれない。故に、それぞれの計算された最小距離のために用意された調整率を有する調整特性曲線を作成することが好ましい。演奏された基準メロディーの量子化に基づき、自由に選択可能な分解能を有する調整特性曲線が作成されてもよい。この較正及び／又は調整特性曲線は、音楽信号を音符基準表記に変換するための装置の作動中に使用可能なように、作動の前に一度だけ作成すればよい。
【００５１】
このように、手段１６の時間分割はｎ次の多項式によって実行され、多項式の次数は、装置の作動前に、多項式の二つの連続する最小値それぞれの、基準メロディーから測定された音の長さとの差の合計が最小となるように選択される。中間部から、本発明の方法で測定された音の長さと実際の音の長さとを照合する調整特性曲線が決定される。調整しなくても有用な結果は得られるが、図８から明らかなように、この方法の精密性は調整特性曲線によってさらに向上する。
【００５２】
図４を参照して、区分毎の音の高さを決定する手段２０の好ましい構成を以下に説明する。図３に示されている手段１６によって分割された時間周波数表示は、区分毎の全ての周波数の平均値又は全ての座標の中央値を形成するために手段２０ａに送られる。ピッチ輪郭ライン内の座標のみが使用された場合、最良の結果が得られる。
【００５３】
手段２０ａでは、ピッチ値つまり音の高さ値が、分割手段１６（図３参照）によってその間隔制限が決定された各密集群毎に作成される。音楽信号は、従って手段２０ａの出力側ですでに一連の絶対ピッチ高さとして得られる。原則的には、この一連の絶対ピッチ高さは一連の音符及び／又は音符基準表記として使用できる。
【００５４】
より確定的な音符計算を可能にするため、そして様々な楽器の調律から独立するために、二つの連続する半音階の周波数関係及び基準音を示すことによって特定される絶対調律が、手段２０ａの出力側での一連のピッチ値を用いて決定される。この目的のために、音程座標系は手段２０ｂによって一連の音の絶対ピッチ値から計算される。音楽信号全ての音が取られ、その音楽信号に基づく音階の全ての半音が得られるように、すべての音から他の音を差し引く。例えば、一連の音の音程組合せペアは、音１−音２、音１−音３、音１−音４、音１−音５、音２−音３、音２−音４、音２−音５、音３−音４、音３−音５、音４−音５である。
【００５５】
音程値の集合は音程座標系を形成する。この音程座標系は、補償計算を行い、手段２０ｂによって算出された音程座標系を調律データベース４０に保存されている音程座標系と比較する手段２０ｃに送り込まれる。調律は、ホイヘンスに基づき、等しく（１２の均等な半音階でのオクターブ区分）、倍音化または本来的に倍音であり、ピタゴラス的であり、中音であり、ケプラー、オイラー、マッテソン、キルンベルガーI，II、マルコムに基づく自然倍音を有する１２部分であり、ジルバーマン、ウェルクマイスターIII，IV，V，VI、ナイトハルトI，II，IIIに基づき変調された５音であってもよい。この調律はその楽器の構造、例えば、フラップや鍵盤等の配列等に起因する楽器特定のものであってもよい。この補償計算方法によって、手段２０ｃは、半音階のピッチ値からの距離の残余の合計を最小化するバリエーション計算によって調律を推定することにより、絶対半音階を決定する。絶対半音階は、半音階を１Ｈｚから段階的に平行に変化させ、これらの半音階を半音階のピッチ値からの距離の残余の合計を最小化する絶対値として扱うことによって決定される。各ピッチ値から、次の半音階からの偏差値が導き出される。この結果、極端に異なっている値が決定でき、これらの異なる値を使用せずに調律計算を繰り返すことにより、これらの値を排除することができる。手段２０ｃの出力側において、音楽信号の基礎になる調律の次の半音階の分割が各ピッチ値に対して可能である。量子化手段２０ｄの出力側において、音楽信号の基礎となる調律に関する情報に付加して、一連の音の高さ及び基準音が入手可能であるように、手段２０ｄによってピッチ値は次の半音階に置き換えられる。手段２０ｄの出力側のこの情報は、楽譜作成又はＭＩＤＩファイル書き込みのために、容易に使用され得る。
【００５６】
量子化手段２０ｄは、音楽信号を送り出す楽器から独立していることが好ましい。図７に示されているように、手段２０ｄは、好ましくは、絶対的に量子化されたピッチ値のみを出力するだけではなく、二つの連続する音がいくつの半音階を飛び越しているかを決定し、そしてこの半音飛び越しの並びを図７を参照して説明するＤＮＡシーケンサの検索シーケンスとして使用するようになっている。楽器によって演奏された又は歌われた音楽信号は、その楽器の調律（例えばＢクラリネット、Ｅｓサクソフォン）に応じて、異なる音の型になるかもしれないので、図７を参照して説明する照会に使用するのは絶対音階の並びではなく、異型の並びである。これらの異なる周波数は絶対音階に順じているからである。
【００５７】
図５を参照して、音のリズムを作成するために周波数時間表示を分割する手段１６の好ましい実施形態を以下に説明する。分割情報は一つの音の持続期間を与えるので、それはリズム情報としてすでに使用可能である。しかし、分割された時間周波数表示、及び／又は手段１６ａによってその表示から二つの隣接する最小値の距離で決定される音の長さを、標準的な音の長さに変換することが好ましい。この標準化は、主観的期間特性曲線によって音の長さから計算される。心理音響リサーチは、例えば１／８の休止は１／８の音符よりも長いことを示している。標準化された音の長さ及び標準化された休止を得るために、このような情報が主観的な期間特性曲線に入れられる。そして、標準化された音の長さはヒストグラム手段１６ｂに送り込まれる。手段１６ｂは、どの音の長さが発生しているか及び／又はどのような音の長さの累積が起こっているかについての統計を出す。音の長さのヒストグラムに基づいて、基本音符長が手段１６ｄによって認識されるが、音の長さが基本音符長の整数倍であると特定できるように基本音符長を分割することで行われる。このように、１６分音符、８分音符、４分音符、半音又は全音を得ることが可能である。手段１６は、通常の音楽信号内において、いくつかの音の長さを特定することは全く一般的ではなく、使用される音の長さは通常互いに一定の関係にあるという事実に基づいている。
【００５８】
基本音符長、及びこれに応じて１６分音符、８分音符、４分音符、半音又は全音が認識された後、手段１６ａによって算出された標準化された音の長さは、手段１６ｄで、標準化された音の長さのそれぞれが基本音符長によって決定された次の音の長さに置換されることで、量子化される。このようにして、量子化された標準的な音の長さの並びが得られ、これらは好ましくはリズムフィッタ／バーモジュール１６ｅに送り込まれる。リズムフィッタは、いくつかの音符が３／４の音符グループを形成しているか、等を計算することによって、小節の型を決定する。小節の型は、音符の数に関して標準化された最大限正確な入り方が可能である小節の型と推定される。
【００５９】
このように、音の高さ情報と音のリズム情報は、出力側２２（図４参照），１８（図５参照）で得られる。この情報は構成ルール調査手段６０に取り込まれる。手段６０は演奏されたメロディーが音調指導の構成ルールに従って構成されているかどうかを調査する。そのメロディー中の機構に当てはまらない音はマークされ、図７に示されているようにＤＮＡシーケンサ内のマークされた音は別に扱われることになる。手段１６は意味のある創作品を検索し、例えば、ある音の並びが演奏され得ない又は起らないかどうかを認識するようになっている。
【００６０】
図７を参照して、本発明の別の局面に係る、音楽信号をデータベースに照会する方法を以下に説明する。音楽信号は例えばファイル７０として入力側で得られる。図１〜図６に示す本発明に係る構成を有する音楽信号を音符基準表記に変換する手段７２によって、音のリズム情報及び／又は音の高さ情報が生成され、それはＤＮＡシーケンサのための検索シーケンス７４を形成する。検索シーケンス７４によって代表される音の並びは、音のリズム及び／又は音の高さに関して、様々な作品（トラック１〜トラックｎ）の多数の音符基準表記と比較される。これら様々な作品の音符基準表記は楽譜データベース７８に保存されていてもよい。ＤＮＡシーケンサは音楽信号をデータベース７８の音符基準表記と比較する手段を代表するものであるが、これは何らかの同一性及び／又は類似性を調べる。このように、比較に基づき音楽信号に関する一覧表が作成される。ＤＮＡシーケンサ７６は音楽データベース８０に接続されていることが好ましく、そのデータベース内には様々な作品（トラック１〜トラックｎ）の音符基準表記がオーディオファイルとして保存されている。もちろん、データベース７８とデータベース８０は同一のものであってもよい。あるいは、楽譜データベースが楽譜基準表記を保存している作品に関するメタ情報、例えば作者、作品名、発行元、奥付け等を含んでいるならば、データベース８０はなくてもよい。
【００６１】
概して、図７に示す装置によって、歌の照会が達成できる。人によって歌われたり楽器によって演奏されたメロディーが記録されたオーディオファイル部分が音の並びに変換され、この音の並びは検索基準として楽譜データベースに保存された音の並びと比較され、楽譜データベースからその歌が照会される。その照会において、入力された音の並びに最も匹敵するデータベース内の音の並びが得られる。音符基準表記としては、ＭＩＤＩ表記が好ましい。何故ならば、すでに膨大な数の音楽作品のためのＭＩＤＩファイルが存在するからである。あるいは、図７に示す装置は、また、点線矢印８２で示されているように、データベースが最初に学習モードで作動される場合に、音符基準表記そのものを作成するように構成されていてもよい。学習モード８２において、手段７２は最初多数の音楽信号の音符基準表記を作成し、これらを楽譜データベース７８に保存する。楽譜データベースが十分に満たされた後は、音楽信号の照会を行うために接続８２は遮断される。多数の作品に関するＭＩＤＩファイルが入手可能になった後で、既に入手可能である楽譜データベースを調べることが好ましい。
【００６２】
特に、ＤＮＡシーケンサ７６は、置換／挿入／削除という操作でそのメロディーの音の並びを多様化し、楽譜データベース内の最も類似したメロディーの音の並びを検索する。各基本操作はコスト基準に関連している。特別な操作をしなくても全ての各音が一致すれば最良の状況である。ｎ〜ｍ値が一致すれば、まずまずであろう。この結果、言わばメロディーのランキングが提示され、その音楽信号７０とデータベースの音楽信号トラック１〜トラックｎとの類似が量的に示されてもよい。例えば、楽譜データベースからの最良の候補が類似性の高いものから低いものへと並ぶリストとして提示することが好ましい。
【００６３】
リズムデータベースでは、音は１６分音符、８分音符、４分音符、半音又は全音として保存されている。ＤＮＡシーケンサは置換／挿入／削除という操作でリズムの並びを多様化してリズムデータベース内の最も類似のリズムの並びを検索する。これらの各基本操作もまた、コスト基準に関連している。全ての音の長さが一致すれば最良の状況であり、ｎ〜ｍ値が一致すればまずまずであろう。この結果、リズムの並びのランキングが提示され、リズムの並びの類似性の高いものから低いものの順にリストとして出力されてもよい。
【００６４】
本発明の好ましい実施形態において、ＤＮＡシーケンサは更にピッチの並び及びリズムの並びの両方からどの並びが一致するのかを見極めるメロディー／リズム均等化ユニットを備えている。このメロディー／リズム均等化ユニットは、匹敵するものの数を照会基準とすることにより、両方の並びが可能な限り一致するものを探し出す。全ての値が一致すれば最適であり、ｎ〜ｍの値が一致すればまずまずであろう。この結果として、ランキングが提示され、メロディー／リズムの並びの類似性が高いものから低いものの順にリストとして出力される。
【００６５】
ＤＮＡシーケンサは、さらに、結果がいくつかの異なる値によって不必要に変造されないように、構成ルールチェッカ６０（図６参照）によってマークされた音を無視するか及び／又は低い重みつけを与えてもよい。
【図面の簡単な説明】
【００６６】
【図１】音楽信号を音符基準表記に変換するための本発明に係る装置のブロック図である。
【図２】音楽信号から周波数時間表示を作成するための好ましい装置のブロック図であり、この装置においては、エッジ検出のためにハフ変換が用いられている。
【図３】図２に示した周波数時間表示から、分割時間周波数表示を作成するための好ましい装置のブロック図である。
【図４】図３から決定された分割時間周波数表示に基づき、音の高さの並びを決定するための本発明に係る装置を示す。
【図５】図３の分割時間周波数表示に基づき、音のリズムを決定するための好ましい装置を示す。
【図６】音の高さ及び音のリズムを認識することにより、決定された値が構成ルールに適合しているかどうかを判断するための構成ルール調査手段の概要を示す。
【図７】音楽信号をデータベースに照会するための本発明に係る装置のブロック図である。
【図８】Ｗ．Ａ．モーツァルトのケッヘル番号５８１、Ａメジャーのクラリネット五重奏（ラルゲット、ジャック・ブライナーによるクラリネット演奏、１９６９年１２月ロンドンにおいて録音、フィリップス４２０  ７１０−２）の最初の１３秒の周波数時間ダイアグラムであり、適当な関数及び音の高さをも示す。
【図１】
2004526203.tif 000003
【図２】
2004526203.tif 000004
【図３】
2004526203.tif 000005
【図４】
2004526203.tif 000006
【図５】
2004526203.tif 000007
【図６】
2004526203.tif 000008
【図７】
2004526203.tif 000009
【図８】
2004526203.tif 000010
【国際公開パンフレット】
2004526203.tif 000011
2004526203.tif 000012
2004526203.tif 000013
2004526203.tif 000014
2004526203.tif 000015
2004526203.tif 000016
2004526203.tif 000017
2004526203.tif 000018
2004526203.tif 000019
2004526203.tif 000020
2004526203.tif 000021
2004526203.tif 000022
2004526203.tif 000023
2004526203.tif 000024
2004526203.tif 000025
2004526203.tif 000026
2004526203.tif 000027
2004526203.tif 000028
2004526203.tif 000029
2004526203.tif 000030
2004526203.tif 000031
2004526203.tif 000032
2004526203.tif 000033
2004526203.tif 000034
2004526203.tif 000035
2004526203.tif 000036
2004526203.tif 000037
2004526203.tif 000038
2004526203.tif 000039
2004526203.tif 000040
2004526203.tif 000041
2004526203.tif 000042
2004526203.tif 000043
2004526203.tif 000044
2004526203.tif 000045
2004526203.tif 000046
2004526203.tif 000047
2004526203.tif 000048
2004526203.tif 000049
2004526203.tif 000050
2004526203.tif 000051
2004526203.tif 000052
2004526203.tif 000053
2004526203.tif 000054
2004526203.tif 000055
【国際調査報告】
2004526203.tif 000056
2004526203.tif 000057
2004526203.tif 000058
2004526203.tif 000059
2004526203.tif 000060
2004526203.tif 000061