(57)【要約】【課題】  ポリフォニー音響材料の音符対象配位処理を行う方法を提供する。【解決手段】  録音されたオーディオ材料の音符の意味の音楽対象を特定し、次いで上記音符対象を全録音から音響的に抽出して、音高さ及び時間に関する相互の音符相対位置を変更でき、且つ原音響印象が保存された状態で、原録音を音楽的に自由に変更可能にし、この特定された音符対象は処理のためユーザに提供され、ユーザによる音高さのシフトなどの処理後、再合成を行う。【選択図】        図７
2009217260.tif 000002
【特許請求の範囲】
【請求項１】
時間信号Ｆ（Ａ，ｔ）として存在するディジタル化ポリフォニー音響録音の音響対象配位解析及び音符対象配位処理を行う方法であって、下記の解析及び処理工程、すなわち、  ・窓関数及び部分的重畳窓を使用して時間信号Ｆ（Ａ，ｔ）を部分的に読み出す工程と、
・特に、離散フーリエ変換の実施によって、周波数領域に読み出した信号のフーリエ変換を行う工程と、
・フーリエ変換から得られる周波数振幅から、実部分及び虚部分の二乗によって又はこれから導出されたエネルギ値の形成によって、各ビンについてエネルギ値Ｅを算出する工程と、
・三次元関数Ｆ（ｔ，ｆ，Ｅ）を生成する工程と、
・事象的対象を特定する工程と、
・音符対象を特定する工程と、
・事象的対象及び音符対象の出現を時間的に比較し、時間的に妥当な出現の事例について音符対象に事象的対象を関連づける工程と、
・各音符対象についてスペクトル成分ファクタを算出する工程と、
・算出した成分ファクタに基づき、検出された音符対象に周波数信号Ｆ（ｆ，ｔ，Ｅ）の信号成分を関連づける工程と、
・音符対象に関連づけられた周波数信号成分を時間信号に逆変換する工程と、
・モニタに時間／周波数表示として音符対象及び／又は事象的対象をグラフ表示する工程と、
・１つ又は複数の音符対象をユーザよる制御状態で又は自動的に処理する工程と、
・処理した音符対象の時間信号を記憶する工程と、
・音符対象に関連づけた時間信号だけ減じた時間信号と共に、記憶されている処理された音符対象の時間信号を再生する工程と、
を含む形式の方法。
【請求項２】
基本周波数ｆ及びその全ての倍数において時間ｔに関する全てのエネルギ値Ｅの和であるエネルギ値Ｅ′を使用して、関数Ｆ（ｔ，ｆ，Ｅ）から関数Ｆ′（ｔ，ｆ，Ｅ′）を算出することを特徴とする請求項１に係る方法。
【請求項３】
１とは異なるファクタを加重した後、基本周波数の倍数におけるエネルギ値を加算することを特徴とする請求項２に係る方法。
【請求項４】
音符対象の特定のため、下記操作工程、すなわち、
・関数Ｆ′（ｆ，ｔ，Ｅ′）のエネルギ最大値を求める工程と、
・最大値に属する関連の数値場を求める工程と、
・検出された数値場を当該の音符対象に関連づける工程と、
を実施することを特徴とする請求項２又は３に係る方法。
【請求項５】
音符対象に配分された数値場のエネルギ値Ｅを関数Ｆ（ｔ，ｆ，Ｅ）から減算することを特徴とする請求項４に係る方法。
【請求項６】
レベルＧ×Ｅのみにおいてエネルギ値Ｅを減算し、この場合、係数Ｇについて、下式、すなわち、０＜Ｇ＜１が成り立つことを特徴とする請求項５に係る方法。
【請求項７】
係数Ｇが、ユーザが変更できるパラメータであることを特徴とする請求項６に係る方法。
【請求項８】
エネルギ値を減算した関数又はこれから算出された関数について関数の最大値探査を継続することを特徴とする請求項５，６又は７のいずれかに係る方法。
【請求項９】
中止基準に達するまで、最大値探査を反復して実施することを特徴とする先行請求項のいずれか１つに係る方法。
【請求項１０】
関数Ｆ（ｔ，ｆ，Ｅ）について全エネルギ値Ｅges を算出し、この全エネルギ値の所定成分Ｈ×Ｅges が検出された音符対象に関連づけられたならば直ちに、特に、上記成分が９０％を越えた場合に、反復を中止することを特徴とする請求項９に係る方法。
【請求項１１】
係数Ｈが、ユーザが変更できるパラメータであることを特徴とする請求項10に係る方法。
【請求項１２】
下記規準の１つ又は複数が存在する場合、すなわち、
・検出された音符対象のエネルギが全エネルギに比して極めて小さい場合、
・音符対象の音の高さ及び振幅の推移が、本質的に、低周波数の他の音符対象の上記推移と一致した場合、特に、基本周波数よりも低い周波数が問題である場合、
・一つの音符対象と他の音符対象の周波数差異が極めて大きい場合、
特定された音符対象を以降の自動的清浄化時に破棄することを特徴とする先行請求項のいずれか１つに係る方法。
【請求項１３】
後処理工程において、ユーザが、自動的に特定された音符対象を分離、結合及び／又は消去することを特徴とする先行請求項のいずれか１つに係る方法。
【請求項１４】
各ビンについて、ビンの周波数として関数Ｆ（ｔ，ｆ，Ｅ）又はＦ′（ｔ，ｆ，Ｅ′）に使用される瞬時周波数を隣接ビンの位相差から計算によって求めることを特徴とする先行請求項のいずれか１つに係る方法。
【請求項１５】
各ビンについて事象的対象を検出するため、調性値及び／又は雑音頻度値を算出することを特徴とする先行請求項のいずれか１つに係る方法。
【請求項１６】
各ビンのエネルギ値に調性値を加重することを特徴とする請求項15に係る方法。
【請求項１７】
音符対象の特定のため、ファイルされた音符に依拠することを特徴とする先行請求項のいずれか１つに係る方法。
【請求項１８】
検出された事象的対象を時間信号Ｆ（Ａ，ｔ）から抽出し、残存する信号において音響分解を行うことを特徴とする先行請求項のいずれか１つに係る方法。
【請求項１９】
事象的対象を別個に記憶することを特徴とする請求項18に係る方法。
【請求項２０】
ファイルされたスペクトル成分関数から音符対象のスペクトル成分係数を算出することを特徴とする先行請求項のいずれか１つに係る方法。
【請求項２１】
ファイルされたスペクトル成分関数が、下記公準の１つ又は複数、すなわち、
・基本音周波数の基本音に属する、基本音周波数の整数倍のスペクトル成分、すなわち、倍音周波数の倍音が存在すると言う公準、
・基本音に対する倍音の振幅推移が、倍音モデル又は経験的に求めた倍音振幅推移から生ずる規則性に従うと言う公準、
・倍音振幅が、基本音エネルギの推移に対して一定の比をなすと言う公準、
を形成する音符対象の音響モデルの数学的写像であることを特徴とする請求項20に係る方法。
【請求項２２】
ファイルされたスペクトル成分関数が、所定の楽器で演奏された音符の音響の数学的写像であることを特徴とする請求項20に係る方法。
【請求項２３】
複数のスペクトル成分関数、特に、複数の楽器について異なる成分関数、特に、請求項22に記載の如き成分関数をファイルすることを特徴とする請求項20に係る方法。
【請求項２４】
ユーザが、複数の成分関数の１つを選択することを特徴とする請求項23に係る方法。
【請求項２５】
如何なる楽器で音符を演奏したかがユーザによって入力されるか自動的に確認された場合、複数の成分関数の１つが音符対象に自動的に配分されることを特徴とする請求項23に係る方法。
【請求項２６】
スペクトル成分関数が、窓関数を介して、周波数範囲において所定の周波数幅の加重を行うことを特徴とする請求項20〜25のいずれか１つに係る方法。
【請求項２７】
音符対象及び事象的対象に配分された全ての時間信号を原時間信号から減算することによって残存信号を算出することを特徴とする先行請求項のいずれか１つに係る方法。
【請求項２８】
残存信号に対して、音符対象又は事象的対象の更なる確認操作を行うことを特徴とする請求項27に係る方法。
【請求項２９】
音響再生のため、音符対象の処理後、音符対象の音響成分を全音響から除去し、かくして得られた差信号を音符対象の音響成分と共に演奏することを特徴とする先行請求項のいずれか１つに係る方法。
【請求項３０】
音響再生時、音符対象の処理後、ユーザが、残存信号を共に再生することを特徴とする請求項27に係る方法。
【請求項３１】
コンピュータプログラムがコンピュータにおいて実行される場合に、先行請求項のいずれか１つに係る方法を実施するためのプログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、請求項１に記載の、ポリフォニー音響録音の音響対象配位解析及び音符対象配位処理を行う方法に関する。
【背景技術】
【０００２】
音楽内容を含む録音に対して音響後処理を行うことは、以前から知られている。以前のスタジオ技術では、更に高経費のハードウエア・コンポーネントの支援の下で、例えば、複雑なフィルタ層を使用して、上記操作を行っているが、現在では、このため、それ程高経費ではなく、したがって、普及度の高いコンピュータ及び特殊なコンピュータプログラムを使用する。更にディジタル録音技術の導入が、進められている。このような後処理の目的は、一般に、録音の音響を改善するか、音響効果を導入することにある。この種の音響後処理は、何れも、単に効果配位的に作用し、信号の音楽的内容を確認できず、オーディオ信号は時間的に変化される信号振幅として理解されるに過ぎないと考えられている。
【０００３】
先行技術、例えば、特許文献１又は特許文献２には、オーディオ信号の音響及び音高さを変更する方法及び装置が記載されている。この場合、通常の音楽製作の場合に使用される如き複雑な音響材料を使用できないと言うことは、不利と見なされている。
【０００４】
録音を構成する各音のレベルにおけるオーディオ材料の処理が望ましい。音高さ、音長さ及び出現時点に鑑みてオーディオ録音から各音を抽出することは、先行技術から公知である。このような音抽出は、例えば、オーディオ信号からメロディーラインを決定するため、特許文献３から公知である。データバンクにおいてオーディオ信号を照会できるように、オーディオ信号を音依拠の記述に移行することは、特許文献４から公知である。抽出した音を、例えば、周波数の変更又は時間のシフトによって、処理することは、行われない。この公報には、更なる先行技術が挙げられている。
【０００５】
オーディオ材料の処理の場合の特にクリティカルな点は、処理後も、例えば、声楽声部の原音響印象を保持することにある。これは、驚くべきことには、先行技術に属し且つ音依拠の着手方式に依拠するセレモニー・ソフトウエア社のソフトウエア“Ｍelodyne ”で達成される。もちろん、このソフトウエアは、単音材料の存在を前提とする。和音楽器（例えば、ギター、ピアノ）又は合唱は、これまで、音依拠によっては満足できるように処理できない。これまで、このような和音録音は、和音に基づきカットできるに過ぎないか、時間軸伸長に基づき時間又は音高さについて処理できるに過ぎず、この場合、勿論、和音の各音に対するアクセスは起きない。すなわち、これまで、和音の他の音を同時に共に処理することなく、和音の各音（例えば、Ｃ長調和音のＥ）を（例えば、Ｃ短調のＥに）変更することは不可能であった。
【０００６】
和音確認及び各音の特定の手掛りは、先行技術において、例えば、音符をプリントするため（ソフトウエアＷＩＤＩ）又はタイトルを自動的に確認するために（特許文献３）、もちろん既知である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】欧州特許第０７５０７７６Ｂ１号明細書
【特許文献２】独国特許第６９６１４９３８Ｔ２号明細書
【特許文献３】独国特許公開公報第１０２００４０４９４７７Ａ１号
【特許文献４】国際公開第０２／０８４６４１Ａ１号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の課題は、ポリフォニー音響材料の音符対象配位処理を行う方法を提示することにある。
【課題を解決するための手段】
【０００９】
この課題は、請求項１の方法によって解決される。有利な構成は、従属請求項に開示されている。
【００１０】
本発明に係る方法は、第１工程において、録音されたオーディオ材料の音符の意味の音楽対象を特定する。次いで、第２工程において、上記対象を全録音から音響的に抽出し、かくして、有意な音響ロス又は有意な音響粗悪化なく、操作可能とする。この音響抽出は、先行技術には、記載されてなく、特定された音符対象に全音響の一部が関連づけられると言うことを意味する。かくして、音高さ及び時間に関する相互の音符相対位置を変更でき、しかも、原音響印象が保持された態様で、原録音を音楽的に自由に変更できる。本方法に基づき、更に、特定された音符対象は、処理のためユーザに提供される。次いで、ユーザは、各音楽対象又は複数の音楽対象を変更でき、例えば、音高さをシフトできる。ユーザによるこのような処理後、音響再生、すなわち、再合成を行う。この場合、変更された対象を、未変更の対象と共に又は変更された対象だけ減じた全信号と共に再生する。この場合、出力信号は、既にディジタルの形に存在でき又はアナログ信号として存在することもできる。その場合、分析の前にアナログ信号のディジタル化が必要となることがある。
【００１１】
本方法は、各種の態様で適用できる。例えば、各誤演奏を適切に排除できる。すなわち、ピアニストが、間違って１つの音弦を過度に打っても、この音は、後処理において排除される。他の用途は、音声修正、すなわち、変調状態のギター又は不正確な弦楽器群の修正に関する。調整された録音をクリーンな調律に変換できる。録音を和音変換することもできる。例えば、ギターのリフをＣ長調からＦ短調に変換できる。これまで、和音は、総括して、音高さをシフトできるに過ぎず、各音の和音関係は変更されない。更に、上記方式は、新しい作曲まで及ぶ。なぜならば、各音へのアクセスが可能であるからである。
【００１２】
本発明に係る方法は、特に、音楽製作中に録音された個々のトラックに関する。しかしながら、混和ずみタイトルを新しい音楽的装いとして出現させるため、上記混和ずみタイトルにも適用できる。
【００１３】
従来の技術の場合、上記の説明は、音響的にモノフォニー材料についてのみ、すなわち、例えば、別個に録音された声楽音声又は吹奏楽音の処理の場合にのみ実現できる。この場合、音符を１つずつ特定可能な音響の高さで同時に演奏する。本発明に係る方法によって、ポリフォーン演奏楽器、すなわち、一般に、複数の音符又は全和音を同時に演奏する楽器（例えば、ピアノ、ギターなど）について単一音符処理の目的を実現できる。この場合、和音を全体として移調できるのみならず（すなわち、和音内の音の高さの相対的関係を保持して音高さの変更）、特に、和音音響内の音符相互の相対的変更（例えば、長調から短調への和音音響の変更）も実施できる。
【００１４】
本方法は、優先的に、録音ずみの音楽材料に関し、“リアルタイム”の、すなわち、音楽演奏の時点の解析及び処理には関しない。これは、本発明が、あるコンテクスト（context ）の完結した対象の意味における“音符”の有意な確認を前提とすると言うことに関連する。したがって、解析は、録音進行時も、バックグランドにおいて実施できるが、この場合、既に録音された、例えば、おおよそ数秒の時間関係を把握しなければならない。
【００１５】
本方法は、全信号の各音の高さ又は音高さの推移を確認、区別するように構成されているが、各音響源を分離するように構成されてはいない。すなわち、例えば、道路の騒音又は部屋内の複数の発言者の騒音の録音から各騒音源又は各音声源を分離することは対象ではない。一般に、２種の楽器で同一の音高さに同時に演奏された２つの音符は、唯一つの対象として特定され、同じく、同一の音符を演奏するオーケストラの多数の第１バイオリンの音響は、唯一つの音符として特定される。音符対象のここで専用された概念は、特定された音符対象が、本来の音楽的意味の音符に、対応する必要はないが、対応できるとしても、本発明の意味における“音符”が本来の音符意味の音符を意味する必要がないと言うことを強調するものである。
【００１６】
見いだすべき音符は、例えば、ピアノ音の如く、経時的に一定の音高さを有する必要はないが、ビブラート及び／又はポルタメントの声楽音の如く、経時的に、任意の音高さ推移を有することもできる。このような音高さ推移自体が一定に保持される場合、信号の時間経過による音符を確認できる。この限りにおいて、音高さの推移が異なる場合に交差する２つの音符も２つの異種の音符として特定できる。
【００１７】
本発明は、本質的に、双方の主要工程、すなわち、ａ）全音響に関与する各対象、すなわち、音符を特定し、場合によっては、複数の事象的な／パーカッション的音響事象も特定する工程と、ｂ）確認された各対象において全音響を音響的に分解する工程とからなり、上記の各対象を加算すると全音響となるが、かくして、各対象をそれぞれ別個に操作でき、この場合、しかも、残余の対象の音響または全音響の音響が、聴取可能な望ましくない人工音の意味において、影響されることはない。本発明は、まさに工程ｂ）において、先行技術と区別される。
【００１８】
音響自体に介入することなく音楽的内容の認識及び提示のみが対象である場合、音響分解工程ｂ）を行うことなく、特定工程ａ）の結果自体を取り上げることもできる。これは、既存の録音から音楽的表示を形成する又は音楽的内容を他の方法でグラフ表示する事例と言える。あるいは、例えば、他の楽器で音楽を豊潤化するため、一連の音楽ハーモニーを確認し指定するのに上記結果を利用できる。
【００１９】
特定工程ａ）の結果の品質は、工程ｂ）の音響分解の品質にも影響を与える。工程ａ）を、既述の如く、音楽内容の確認にのみ利用する場合は、一般に、例えば、音符“嬰ハ調”の音の高さを有する音楽対象が所定の時点に現れ、この対象が音を発生する時間長を確認すれば十分である。他方、工程ｂ）の音響分解が目的である場合は、確認された音符対象の推移及びパラメータ、例えば、音高さ曲線の正確な時間的推移、対象の振幅及びその経時的変化、音符の組込態様、同一録音の類似の音の高さ音符に対する音符の部分音の混合物の整合性などに関するできる限り多数の情報を利用するのが有利である。しかしながら、要求に応じて、特定の情報を省くこともできる。
【００２０】
既述の如く、オーディオ材料において確認される各対象の主要性質は、各対象が一貫した音高さ又は一貫した音高さ推移を有すると言う点である。更に、各対象は、各部分音の一貫した推移を有する。すなわち、確認される音響対象は、基本音の推移からなると共に、基本音周波数のほぼ整数倍の原理的に無制限の数の倍音とからなると想定される。更に、音響対象に属する部分音の推移は、動機のない飛躍を有していてはならない。この仮定は、自然の楽器によって形成された音響の性質から誘導される。したがって、本発明に係る方法は、恐らく、任意のランダムな態様で音楽を合成したところに、その限界を有する。
【００２１】
オーディオ材料において特定される上記の対象は、“音響的”対象と呼ぶことができ、請求項では、音符対象と呼ぶ。その主要性質は、認知可能な期間にわたって音高さ又は音高さ推移を有することにあり、その時間信号の曲線形状は、本質的に、周期的に又は準周期的に推移する。非音響的対象、すなわち、雑音的対象は、上記対象とは区別される。事象的（event ）対象は、雑音的対象の部分量である。
【００２２】
事象的対象は、事象的対象が、時間信号に、飛躍的振幅上昇を有し、したがって、この場合、周期的ではないことを特徴とする。更に、上記対象は、概ね、迅速に消音する。上記対象は、音楽的に、概ね、突然の事象、例えば、弦の打ち鳴らし又はつまびき、あるいは、打楽器（例えば、ドラム）の打ち鳴らしによっても形成される。これに関連して、上記対象は、本発明に係る方法とは更に大きく区別されることになる。すなわち、事象的対象に、音響的対象の振幅上昇が直ちに続く場合、事象は、音符の演奏を提示し、したがって、上記音符に関連づけ得ると想定できる。この場合、音響的対象及び事象的対象は、提示及び操作に関して、同じく音符対象と呼ばれる唯一つの対象に統合されることになる。しかしながら、再合成時に、すなわち、１つの音符対象又は複数の音符対象の処理後の音響再生時に音響形成のため、音響的理由から双方の上記部分対象を別個に処理するのが合目的と言える。
【００２３】
事象的対象を下記の音響的対象に関連づけ得ない場合、音高さが問題とはならない純粋に打楽的・リズム的と理解される音符（例えば、ドラム演奏）が対象であると想定できる。かかる事象的対象は、以降の処理において、異なる態様で処理できる。
【００２４】
雑音的対象は、事象的対象と共通に、周期的音響成分を有していないが、突然に始まることも急速に消失することもなく、時間的に延長され得ると言う点で、事象的対象とは異なる。このような対象は、例えば、歌唱の子音の歯擦音、呼吸騒音、演奏者の雑音（例えば、ギター弦上の指のスリップ）又は本来の音楽に全く属さない二次騒音と考えられる。ユーザは、例えば、このような雑音的対象を別個に更に操作できるか、単に、“残存信号”として一括して処理できる。
【図面の簡単な説明】
【００２５】
【図１】時間ｔに関して振幅Ａをプロットしたオーディオ信号Ｆ（Ａ，ｔ）のグラフである。
【図２】図１の 0.5秒の拡大時間部分である。
【図３】各ビンに関して瞬時周波数及びグレー符号でコード化したエネルギを求めることによって、図１のオーディオ信号のフーリエ変換から得られる関数Ｆ（ｆ，ｔ，Ｅ）を時間ｔに対して周波数ｆ（単位：セント）をプロットしたグラフであり、暗い範囲で高エネルギを示した。
【図４】上記周波数ｆ1 及び時間ｔ1 において計算したエネルギＥを示す、図３のｘ方向及びｙ方向部分を含むグラフである。
【図５】図４と類似のエネルギ図Ｆ（ｆ，ｔ，Ｅ）であって、エネルギ値を窓関数によって加算し、時間方向へ平滑化した形式の、周波数ｆ1 及び時間ｔ1 のｘ方向及びｙ方向部分を示すグラフである。
【図６】検出された最初の最大値を示すｘ方向及びｙ方向部分を含む、図５のエネルギ図の関連図である。
【図７】反復実施した特定操作の終了後に検出された全ての音符対象を示すグラフである。
【発明を実施するための形態】
【００２６】
次に、本発明を実施するための形態について説明する。
【実施例】
【００２７】
以下に、各操作工程の結果を示す図面を参照して、本発明に係る方法の実施例を説明する。本方法は、Ｊ・Ｓ・バッハのインベンションＮo.１，Ｃ長調のピアノ録音の６秒セクションについて実施した。
【００２８】
本発明の説明のため、概念を使用するが、まず、これら概念の意味を定義する。
【００２９】
概念“時間領域”又は“周波数領域”は、英語名time domain （時間領域）及びfrequency domain（周波数領域）の通常の使用に対応し、すなわち、原時間信号Ｆ（Ａ，ｔ）自体（＝時間領域）あるいは離散フーリエ変換、特に、ＦＦＴを介して移行された形の時間信号の表現Ｆ（ｆ，ｔ）（＝周波数領域）の検査又は計算に関する。
【００３０】
“窓関数”は、時間箇所又は周波数箇所における信号処理時の信号のフェードイン及びフェードアウトに関して用いる。すなわち、窓関数は、時間又は周波数スペクトルに関することになる。窓形状は、定められておらず、簡単な事例では三角形であってよい。例えば、フォン・ハン（von-Hann）窓は、より良い結果を与える。窓形状の選択は、当該の目的に関して最適化できる。本発明に係る方法の以下に記載の実施例の場合、部分的重畳窓を使用する。
【００３１】
ＦＦＴの使用から得られる周波数帯域を“ビン（Ｂin）”と呼ぶ。瞬時周波数の方法を適用した場合、１つの帯域の場合によっては変更された周波数もビンと呼ばれる。
【００３２】
１つのビンの瞬時周波数は、各ビンの位相値の考慮によって与えられる。解析窓が部分的に重畳する場合、時間進行によって予期されるビン位相値と実際に存在するビン位相値との間の差から、各ビンの瞬時周波数を求めることができる。重畳頻度が高ければ高い程、より多くの隣接ビンが、ビンの計算周波数自体と一致する必要のない特定周波数を表すことができる。
【００３３】
本発明に係る方法の場合、ビンについてエネルギ量を計算する。このエネルギ量は、略号Ｅで表され、以下では、“エネルギ”及び“マグニチュード”と呼ぶ。ＦＦＴ処理に基づき、各ビンには、それぞれ、（Ｒｅ×Ｒｅ）＋（Ｉｍ×Ｉｍ）に基づきフーリエ級数の実部及び虚部から計算されるエネルギが配される。マグニチュードは、その累乗根である。しかしながら、解析時に各数値を最適にクラス分けするため、マグニチュード値を、場合によっては、１〜２の範囲の適切な数値で累乗し、かくして、この際に得られた量は、ほぼ、エネルギとマグニチュードとの間にある。この場合、概念であるエネルギは、総合的な意味で使用され、音響エネルギまたは他のエネルギ概念の意味で使用されるものではない。
【００３４】
セントは、音楽的関係において周波数比について使用される尺度、すなわち、インターバル量であり、セント＝ｌog（ｆ１／ｆ２）／ｌog（２）×１２００として定義される。したがって、この単位の場合、音楽的インターバル（音程）は、その音高さ絶対値とは無関係で、常に等しい大きさであり、すなわち、半音＝１００セント、オクターブ＝１２００セントである。
【００３５】
音符対象の特定のため、上記の方法は、図的に言って、エネルギ図を使用する。このエネルギ図は、数学的三次元系Ｆ（ｔ，ｆ，Ｅ）と理解され、この系において、ｘ軸は、時間ｔを表し、ｙ軸は、周波数ｆを表し、ｚ軸は、当該の時間／周波数箇所のエネルギＥを表す。この場合、各周波数範囲の音インターバルが常に等しくなるように、周波数軸をセントで目盛るのが合目的的である。エネルギ図は、以下に述べる方法の場合、離散点で表し、時間軸は、例えば、約0.01秒の間隔の時間測定点で表し、周波数軸は、例えば、それぞれ５セントのインターバル間隔で表す。若干の操作工程において、離散点を窓関数を介して連続のスペクトルグラフに変換するが、この操作は、任意と見なされる。
【００３６】
被検オーディオ材料は、録音及びアナログ／ディジタル変換後、例えば、ＰＣＭフォーマットのオーディオデータとして存在する（パルスコード変調、数値及び時間離散信号）。更なる説明における量データ、例えば、解析窓の量データは、４４１００サンプル／秒のサンプル速度で存在するディジタル信号に関する。その量データは、他のサンプル速度に対して同量に適合させる。
【００３７】
ａ）音符対象及び事象的対象の特定
例示した方法は、特定の部分課題について解析時も音響抽出時も、時間領域において直接に作用し（図１及び図２）、他の部分課題について周波数領域において作用する（図３〜７）。この場合、時間領域における処理は、事象的対象についてより好適であり、周波数領域における処理は、音響的対象により好適である。離散的音符対象は、経時的に探査されるので、信号は、連続的に処理されるのではなく、時間領域においても周波数領域においても、時間部分を中間的に記憶し、次いで、検討する。
【００３８】
図１に、オーディオ録音の信号推移Ｆ（Ａ，ｔ）を示した。図２に、図１の拡大図を示した。これらの図面において、振幅飛躍によって特定される事象的対象を１で示した。他方、２で示した範囲は、明らかにより高い周期性を示すものである。
【００３９】
周波数領域における処理の場合、均一に連続し部分的に重畳する窓関数によって信号を読み出し、まず、各時間スライスについてＦＦＴを介して複雑なアレーに移行させる。ＦＦＴの大きさは、例えば、２０４８個の試料であってよく、重畳度は、少なくとも４重でなければならない。かくして、例えば、５１２個の試料又は約0.01秒の時間スライス間隔が生ずる。
【００４０】
図３に、更に処理した変換結果の例を示した。この場合、ビンに関して瞬時周波数及びエネルギを求めることによって、図１〜２に示した時間信号Ｆ（Ａ，ｔ）のフーリエ変換から得られる関数Ｆ（ｆ，ｔ，Ｅ）を示した。各ビンのエネルギを、グレイ符号としてコード化して、時間に関する瞬時周波数によってプロットした。上図において、瞬時周波数の均一な分割によって事象的対象３を示した。この場合、上記分割は、上記対象の騒音頻度（傾向）を示すものである。少ない瞬時周波数にエネルギを集中させることによって音符対象を特徴付けた。この差異は、基本的に非周期的信号関数は多数の周期関数の重畳によって十分に示すことができ、他方、周期的範囲は少数の周期関数のみを用いることによって良好に表わされると言うことに起因する。したがって、時間信号の周期的範囲は、共通の瞬時周波数の隣接のビン４のエネルギの集中された重畳を誘起する。
【００４１】
周波数領域の信号Ｆ（ｆ，ｔ，Ｅ）について、下記数値、すなわち、全てのビンのマグニチュード、全てのビンの瞬時周波数、全てのビンの調性値を求める。この場合、調性値は、ビン周波数の周期性を表す計算量である。調性値は、各ビンについて、隣接ビンの瞬時周波数が当該ビンの瞬時周波数に如何に近いかと言うことを確かめることによって決定される。この場合、関連させた隣接ビンの数は、窓の重畳数に等しい。なぜならば、後者は、如何に多数のビンが１つの周波数を表し得るかを決定するからである。ビンの瞬時周波数がその周辺とより近く重畳すればするほど、１つのビンの調性値は大きくなる。この場合、大きい調性値は、傾向的に音符対象が存在することを意味し、他方、小さい調性値は、傾向的に、事象的対象を表す。調性値は、０〜１の数値範囲に正規化される。更に、各ビンには、調性値から直接に誘導され、且つ（１−調性値）として計算される騒音頻度値を割付ける。騒音頻度値の突然の増大は、事象的対象を表す。
【００４２】
次いで、図４に時間ｔ1 及び周波数ｆ1 に沿う断面図として例示したエネルギ図を形成する。このエネルギ図は、時間ｔ及び周波数ｆにおけるエネルギＥの配分を表し、上記エネルギ図における山の列の形態としての音符対象の本来の検出に用いられる。時間方向の平滑化を実施できる。更に、更なる計算のために、エネルギ値の挿入によって図４のエネルギ図から窓関数を介して得られた改良エネルギ図を使用するのが好ましい。この場合、図５に示した平滑化関数Ｆ（ｆ，ｔ，Ｅ）が得られる。双方の図面において、明らかに、大きいエネルギ値が与えられた対象５を示している。
【００４３】
まず、音響的対象の発見が本発明の方法であるので、ビンのエネルギ計算値に、追加的に求めた調性値を加重する。すなわち、各時間スライスについて、各ビンのエネルギにその調性値を乗ずる。実施されたこの加重操作は、結果を漸次的に変化するに過ぎず、したがって、省くこともできる。次いで、ビンの瞬時周波数に基づき、エネルギ図におけるビンのセント位置（＝ｙ位置）を求め、この点から出発して、適用された窓関数を介して、セント方向へ若干の分配幅を有するエネルギ−調性値積をエネルギ図に加算する。セントの分配幅は、ほぼ、半音の大きさにあれば合目的的である。図４のディスプレーは、調性値によるこのような加重にもとづく。エネルギ図において全ての時間スライスを加算すれば、低域フィルタによってエネルギ図を時間方向へ平滑化できる（図５参照）。かくして、山の列としての関連の音符対象の発見が容易化される。エネルギ図の全エネルギを加算し、以降の繰り返し反復の中止基準の数値として利用する。
【００４４】
音符対象の特定は、反復によって、最大値の意味において明確に現れる各対象を山の列として追跡し、次いで、そのエネルギをエネルギ図から減算する態様で行い、かくして、次の最も顕著な対象を探査する（以下、同順）。しかしながら、最も明確に音響的に現れる対象は、エネルギ図Ｆ（ｆ，ｔ，Ｅ）の最大高さの山の列とは同一ではない。これは、音響的対象が、エネルギ図の単一の山の列によって定義されず、基本周波数の整数倍に属する山の列のエネルギが、基本周波数の基本音の倍音であるので、まさに探査された上記音楽的対象にも属すると想定されると言うことに起因する。この場合、勿論、基本音のエネルギは、倍音のエネルギよりも小さいが、それにも拘わらず、基本音の周波数に基づき上記対象を探査、追跡しなければならない。この考え方のバックグランドは、基本周波数は１つの音の音高さを決定するが、１つの音の音響は、実質的に倍音によって形成されると言うことにある。
【００４５】
上記事実の考慮のため、図６に例示した第２エネルギ図、いわゆる、関連エネルギ図を図面的に説明する。上記の第２エネルギ図は、そのｘ軸、ｙ軸およびその大きさに関してエネルギ図Ｆ（ｆ，ｔ，Ｅ）と同一であるが、そのｚ値Ｅ′は、上記エネルギ図から誘導される。すなわち、このため、関連エネルギ図Ｆ′（ｆ，ｔ，Ｅ′）の各ｘ−ｙ座標点について、ｚ値Ｅ′として、エネルギ図Ｆ（ｆ，ｔ，Ｅ）の上記のｘ−ｙ点及び出発点の周波数の整数倍に対応する全ての点にある全てのｚ値Ｅの和を形成する。この場合、周波数の倍数の次数の増加と共に、存在するエネルギ値に減少するウェイトを加算すれば合目的的である。この態様で可能な基本音の部分音（倍音）を考慮する関連エネルギ図Ｆ′（ｆ，ｔ，Ｅ′）が得られ、上記部分音の最高点は、最適な音符の音響的に最適な点である。図６に示した関連エネルギ図Ｆ′（ｆ，ｔ，Ｅ′）は、同一のエネルギ的に顕著な対象５を示す。倍音に含まれたエネルギを考慮することによって、図５に比して、相対的なエネルギレベルにおけるシフトが生ずる。
【００４６】
基本的に単に１つのに特殊なエネルギ図、すなわち、倍音エネルギを考慮するエネルギ図である既述の如く形成された関連エネルギ図における音符対象の検出は、数学的反復法によって行う。以下に、上記の関連エネルギ図において音符対象を見つける方法を説明するが、本発明は、この方法に限定されるものではない。なぜならば、音符対象の発見は、基本的に、既述の他のエネルギ図又は更に改良されたエネルギ図においても行うことができるが、かくして、倍音が、固有の音符として特定され、例えば、後処理によって基本音に結合されると言う欠点があるからである。音符対象を音響的にも分離すると云う課題は、基本音と倍音との連結を行った場合に、特に良好に解決される。したがって、関連エネルギ図における最大値探査が好ましい。なぜならば、この探査は、最良な結果をもたらすからである。
【００４７】
まず、関連エネルギ図の最高点を探査する。図６において、ｔ1 及びｆ1 について、エネルギ最大値が発見される。上記最大値に属する山の列の頂きを時間の前後方向へ追跡する。このため、エネルギ図の隣接の各時間スライスにおいて、最後に検出された点に最も近い音高さ方向へ見て次の最大値をエネルギ図で探査する。同一対象としての音高さラインの継続が考えられず、例えば、１つの時間スライスから次の時間スライスまで５０セントよりも大きい飛躍があるほど、次の最も近い最大値までの距離が大きい場合、同じ方向への探査を中止する。検出された最大値の所定の高さ値、例えば、初期値の１０％を下回った場合、同じく、探査を中止する。山の列の追跡は、関連エネルギ図において行うのが合目的的である。なぜならば、山の列の推移は、部分音の加重に基づき、探査された対象の音高さ推移に、より良好に対応するからである。双方の方向の探査を中止した場合、新しい音符対象を形成し、この音符対象に、検出された頂きの全ての点をその音高さ推移に対応して加える。これに関連して、請求項において、最大値に属する数値場を確認することを取り上げた。この場合、上記数値場の確認態様は、既述の態様とは異なる態様で行うことができ、この場合、例えば、他の数学的方法を使用できる。例えば、各方向へ閾値を下回るまで、全ての方向へ、最大値から離れて点毎に数値場を照会できる。閾値上方にある全ての点は、数値場として最大値に関連される。
【００４８】
次いで、エネルギ図Ｆ（ｆ，ｔ，Ｅ）から、その基本音の推移箇所において且つ全ての部分音（倍音）、すなわち、基本音周波数の全整数倍において、検出された音符対象の計算エネルギを取去る。これは、基本的に、関連エネルギ図Ｆ′（ｆ，ｔ，Ｅ′）において行うことができるが、実施態様は不良となる。なぜならば、異なる基本音に属する倍音の可能な重畳が、エネルギ図からのエネルギの取り去り時に、より良好に除去されるからである。
【００４９】
しかしながら、有利なことには、存在する上記全エネルギが取り去られることはなく、一定の割合、例えば、５０％のみが取り去られるに過ぎない。この割合は、例えば、パラメータとして、ユーザが他の数値を設定できる。なぜならば、オーディオ材料に応じて、他の割合が、より良い結果を与えることができるからである。倍音の重畳が大きい場合、例えば、２５％に低下すれば、より良い結果が得られる。エネルギの一部のみの取り去りが有意義である。なぜならば、第１に、同時に可聴の他の音符対象が、始めに検出された音符対象の部分音（倍音）に近い部分音を有しているか否かが未知であるからである。部分的にのみエネルギを取り去ることによって、以降の反復操作において、他の音符対象を発見できる。
【００５０】
エネルギ図Ｆ（ｆ，ｔ，Ｅ）の所与の周波数箇所におけるエネルギ削減は、同じく、半音の大きさの幅を有し上下方向へフェードアウトする窓関数の形態で行うのが有利である。例えば、音響を生成する楽器に関して基準スペクトルが存在するかモデル的に既知であるので、音響の倍音スペクトルのモデルが既知である場合、倍音のエネルギ取り去り操作は、上記基準スペクトル又はモデルに対応して行うことができる。音符対象は、その以降の評価のため、取り去られたエネルギ割合を“記憶する”。この場合、上記エネルギ割合は音符に加えられる。
【００５１】
新たに発見された音符対象に関する時間領域において、関連エネルギ図を、既述の如く、新たに算出する。なぜならば、この時間領域において、エネルギ図は、エネルギ取り去り操作によって、関連エネルギ図の基礎として変更されるからである。
【００５２】
新たに発見された音符対象について、この音符対象が時間において且つまたその基本周波数の推移において、既に検出された他の音符対象と交差するか否かを確認する。この音符対象が、発見ずみのこのような音符対象と交差するか、このような音符対象に直接に続き、この音符対象が同一の音符対象であると考えられる場合、（場合によっては、その音高さ推移を広げながら）この音符対象を上記他の音符対象に加える。さもない場合には、この音符対象は、新規の音符対象として、検出された音符対象の集合に取り入れられる。各反復工程において、音符対象について、例えば、エネルギの５０％のみが取り去られるに過ぎないので、一般に、反復過程において、各音符対象が、多数回、見いだされる。
【００５３】
変更された関連エネルギ図において、同じく、最高点を探査することによって、反復操作を継続する。反復操作は、中止基準に達するまで継続する。反復操作の有利な中止基準は、エネルギ図の原エネルギに対するエネルギ減少である。例えば、エネルギ図において原エネルギの１０％のみが残存する場合、反復操作が中止されることになる。ユーザは、これも可変のパラメータとして利用できる。
【００５４】
信号の雑音成分の急激な増大に起因する事象的対象の検出は、増大が高域フィルタで濾波した信号成分に起因する場合には、時間領域信号において行うことができるか、周波数領域において、各ビンのエネルギを加重して各時間スライスについて加算されるビンの雑音頻度値によって行うことができる。双方の事例において、全信号の雑音成分の推移曲線が得られる。場合によっては、勾配の閾値によって規定される、上記曲線の最大勾配上昇点において、事象的対象が想定される。
【００５５】
先行の工程において発見された事象的対象は、純粋な打楽事象の場合の如く、信号内にそれ自体分離して現れることになるか、つま弾かれる又は打ち鳴らされる有調楽器（例えば、ギター、ピアノなど）の場合の如く、反復操作において既に発見された音符対象の打撃（タッチ）騒音であると言える。これらを区別するため、検出された各事象的対象について、その出現時に、この場合に存在する１つ又は複数の音符対象において、事象出現の直後に、そのエネルギの有意な増大が現れるか否かを調べる。有意な増大が現れた場合は、事象的対象は、音符対象の打撃（タッチ）として考えられ、音符対象に関連される。複数の音符のエネルギ増大の場合、事象的対象は、上記の全ての音符に関連される。エネルギ増大が音符対象の中心に現れた場合、音符対象は、この時点で分離され、以後には、新規の音符対象と理解される。事象的対象の時点に、対応する音符対象が発見されない場合、この事象的対象は、分離された打楽事象と理解される。図７に、本例で検出された音符対象及びこの音符対象に関連させることができた事象的対象（垂直な破線で示した）を一緒に示した。
【００５６】
音符的対象の検出に評価工程を追従させれば有利である。上記の反復操作による音符対象の探査の場合、一般に、音楽的に妥当に存在する複数の対象が発見される。したがって、発見された音符対象の数量を、最後に、異なる妥当性基準に基づき更に点検し、場合によっては、十分に妥当性のない音符対象を除去する。妥当性判定基準は、例えば、相対的エネルギ及び隠蔽である。一般に、上記の反復操作の場合、過多な小音符対象及び過小なエネルギが発見される。したがって、音符が、その時間領域の全エネルギに比して如何に多量のエネルギを有するかを調べる。音符が、過小の相対エネルギを有する場合、この音符を除去できる。
【００５７】
多くの場合、存在する他の音符の本来の倍音である対象も独立の音符として特定される。この場合、例えば、より高い音符が音高さ、振幅及び持続期間の独立の推移を有するか否か、あるいは、より高い音符が、上記のパラメータにおいて、より低い音符と本質的に同様に推移するか否かを調べることができる。本質的に同様に推移する場合は、対象を除去できるか、より低い音符に加えることができる。
【００５８】
音楽的観点に基づき、更なる評価を行うことができる。例えば、音符対象の音高さ近傍が著しく孤立している場合に（他の音符が存在しなければ極めて高いか極めて低い場合に）、このような音符は、音楽的に妥当ではない。例えば、音符が、音高さ的に且つ時間的に近傍の他の音符と結合して上昇線または下降線を形成する場合は、音符は、むしろ弱いようなことがあっても、音楽的に極めて妥当である。これらの全ての判断基準は、できる限り妥当な数量の音符対象を得るため、数学的に形成され、例えば、加重される。
【００５９】
上述のこの特定工程には、ユーザによる介入を追従させることもでき、すなわち、ユーザは、検出された音符対象を適切な態様で、例えば、図７に示した態様で、グラフ表示し、例えば、マウス制御及び／又はメニュー制御で音符として特定された対象を更に分割できるか、分離された音符を１つの対象に統合できる。ユーザは、勿論、各対象を抹消できるか、考慮すべき対象を加えることができる。この場合、活性化のため、事前の自動的解析において関連性過小と評価された対象を提供できる。
【００６０】
自動的特定は、選択的に、録音された音楽部分片の音符をファイルすることによって、最適化でき、かくして、上記方法において、ファイルされた音符に基づき、ファイルされた音符の周波数に対応する基本音を発見することを試みる。これは、例えば、録音された曲の音符を含むファイルされたＭＩＤＩデータの解析によって行うことができる。他の方式として、本来的に使用された全信号の録音と同時に、例えば、楽器演奏者又は歌手の個々のマイクロホン操作によって、あるいは、ギターの場合には、弦の個々の取り外しによって、支持トラックを録音することもできる。各音声のこの際に際立ったモノフォーン信号において、全信号の所望の音符をより明確に特定でき、かくして、処理のため全音響をより良好に分離できる。
【００６１】
ｂ）音符対象に対する音響割付
全音響に関与した各対象の特定の終了後、次の工程において、全音響の音響分解を行うことができる。この場合、存在する音符対象、その音高さ推移、その振幅推移及びその使用特性のできる限り正確な決定は、音響分解の結果の品質に影響を与えるパラメータである。以下に記載の音響分解の場合、全音響は、新しい全音響の再合成に必要な程度にのみ各音響的対象に分解される。すなわち、例えば、検出された複雑な和音において、ユーザが単一の音符のみを把握し、その音高さを変更した場合、上記の１つの音符の信号のみを抽出し、原信号から減ずる。かくして、変更した音符が多ければ多いほど、多数の単一の信号が形成される。この場合、各信号は、それぞれ、モノフォーン周期的信号であり、時間及び音高さに依存しない再生のための既知の方法によって、変更、加算、及び演奏できる。
【００６２】
音響分解の第１工程において、事象的対象を原信号から抽出する。原信号を各音符対象に属する各信号に分解する場合、周波数スペクトルの分割によって、時間信号の事象的箇所を抹消する。したがって、まず、事象的対象の箇所を時間信号から分離し、かくして生じた残存信号において音符対象を各信号に分解する。しかしながら、この選択的操作工程は省くこともできる。
【００６３】
事象的対象の分離のため、まず、音響成分をできる限り完全に除去した修正時間信号を形成する。この場合、周波数領域において、全てのビンのマグニチュードにビンの雑音頻度値を乗じ、この新規のマグニチュード及び原位相から、ＦＦＴによって、時間信号を再び形成する。選択的に、マグニチュード係数に、更に、より低い信号成分の減衰係数を導入できる。なぜならば、事象的対象について、しばしば、より高い成分がより適切であるからである。この新しい雑音的時間信号から、上記の特定工程において事象的対象が発見された箇所において、適切な窓関数によって、例えば、約 0.005秒の短い上昇時間及び約0.05秒の減衰時間によって、事象的対象の時間信号を分離する。事象的対象のこれらの短い時間信号は、原時間信号から差し引き、例えば、別個に記憶する。
【００６４】
次いで、原信号から音符対象を分離する。（事象的成分を差引いた）原信号を音符対象の各音響に分割する操作は、周波数領域において行う。この場合、原信号は、事象対象の分離（上記参照）によるその修正後、まず、新たに周波数領域に変換する。
【００６５】
音符対象の各音響への分割は、各音符対象が、各時間スライスにおいて、全信号Ｆ（ｆ，ｔ，Ｅ）のスペクトル成分に対する“要求”を報知することに基づく。この要求は、各音符対象についてスペクトル成分関数から計算されるスペクトル成分係数によって数学的に示され、上記のスペクトル成分関数は、例えば、単一の各音符の音響モデルから得られる。このモデルは、簡単に予め設定できるか、音符対象が依拠する楽器が既知である場合に、楽器の実音響にシュミレートできる。本例の場合、モデルは、下記成分に依拠する。すなわち、音符対象の基本音推移に関して、倍音が基本音周波数の整数倍のスペクトル成分として存在すると想定される。更に、基本音に関する倍音の振幅が倍音モデルに従うと想定される。これは、最も簡単な事例では、倍音ナンバーの逆数の振幅減少と云える。しかしながら、倍音モデルは、経験的音響から誘導される倍音振幅推移をシュミレートすることもできる。更に、倍音振幅は、音符対象の基本音エネルギの推移に関連すると想定される。倍音振幅は、最も簡単な事例では、基本音エネルギに比例すると想定されるが、経験的音響から他の関連性を誘導することもできる。
【００６６】
この想定に基づき、例えば、異なる楽器について異なると考えられるスペクトル成分関数が予め設定され、各音符対象について、各時間スライスにおいて、スペクトル成分係数が計算され、すなわち、これは、上記対象の各ビンについての要求である。
【００６７】
複数の成分関数がファイルされた場合、例えば、ユーザが成分関数の１つを選択するように構成できる。例えば、ユーザが音符対象を演奏する楽器を入力した場合、又は音符対象を所定の楽器で演奏したことが自動的に確認された場合、自動的に選択を行うこともでき、これは、例えば、１つの音符対象の倍音振幅比がファイルされた成分関数に対応すると言うことから可能である。
【００６８】
成分係数の計算値の大きさは、部分音（倍音）周波数及び部分音振幅に依存し、これらの周波数及び振幅は、例えば、各音符の依拠する音響モデルから導かれる。更に、成分係数の大きさは、部分音周波数と各ビンの瞬時周波数との差異に依存する。上記差異に依存する成分係数の大きさは、例えば、加重曲線を介して周波数領域に導入することができる。この加重曲線は、所与の周波数に対する僅かな偏差が許容されるように、例えば、十分に幅が広くなければならない。他方、基本音高さが異なり同時に音を発生する異なる音符の倍音成分係数を十分に良好に分離でき、倍音を正しい音符に関連づけ得るように、この加重曲線は、中心範囲において狭くなければならない。周波数差異間隔の評価に適切な加重曲線は、例えば、４乗された、例えば、２つの半音に対応する全幅を有するフォン・ハン（von-Hann）窓である。
【００６９】
実際の各時間スライスにおいて、ここで音響発生と確認された全ての音符対象が、全てのビンの成分係数に関する要求を報知した場合、各ビンについて全ての音符の成分係数の和は、１に規格化される。各音符対象について、上記音符対象の持続期間を有する固有の時間信号が適用される。各時間スライスについて、全てのビンのマグニチュード又は他の適切なエネルギ数値は、規格化成分係数に基づき、音符対象に分配される。周波数領域の各音符対象の上記成分は、原位相でＦＦＴによって時間領域に逆変換され、時間信号は、音符対象の各時間信号に累積される。
【００７０】
マグニチュード成分又は他のエネルギ的成分は、既に変更されているので、時間窓の信号端は、時間領域への逆変換後、もはや、減衰してゼロになることはなく、したがって、望ましくない加工物が誘起される。したがって、逆変換の結果は、再び、窓処理しなければならない。この場合、本来的に設定された窓関数から根を求め、次いで、ＦＦＴ前に及び逆ＦＦＴ後に、この窓を使用するのが合目的的である。
【００７１】
更に、音符対象を事象的成分に統合する。更に、音符対象に事象的対象を関連づけ、事象的対象のために時間信号を生成すると言うことは既に上述した。さて、事象的対象を関連させた音符対象の始端に、上記時間信号を加算する。複数の音符対象を同時に打ち鳴らすと想定されるので、これらの音符対象を１つの事象的対象に関連づけた場合、事象的対象の時間信号の振幅を関連の音符対象に分配する。これは、音符対象自体のエネルギに比して合目的的に起こり得るか、想定される楽器モデルに基づき行うことができる。
【００７２】
音符対象に関連づけられていない事象的対象は、その抽出された時間信号によって、独立のパーカッション対象として利用できる。
【００７３】
検出された全ての音符対象及びこれら音符対象に関連づけた事象的対象についてその時間信号を形成した場合、全ての音符の上記時間信号を原信号から取り去る。音響分割に依拠する音響モデルにおいて、音符対象は、本質的に、基本周波数のほぼ整数倍の部分音（倍音）からなると言うことが前提となるので、全音響も全時間信号も各対象に配分することはできない。したがって、原信号から全ての各対象の時間信号を差し引いた後、むしろ雑音的成分を含む残存信号が残る。この残存信号は、再合成時、簡単に再生できるか、更なる処理のため、完全な状態で又は他の各対象に分解した状態でユーザに提供できる。
【００７４】
上記の各操作工程の時系列は、他の態様で選択できる。すなわち、例えば、音符対象に対する事象的対象の関連づけは、再合成の直前に始めて行うこともできる。これは、他の操作工程、例えば、事象的対象又は音符対象の特定、又は成分係数の計算にも同様に通用する。
【符号の説明】
【００７５】
１  事象的対象
２  周期的推移
３  事象的対象
４  ビン
５  高エネルギ対象
Ａ  振幅
ｆ  周波数
ｔ  時間
【図１】
2009217260.tif 000003
【図２】
2009217260.tif 000004
【図３】
2009217260.tif 000005
【図４】
2009217260.tif 000006
【図５】
2009217260.tif 000007
【図６】
2009217260.tif 000008
【図７】
2009217260.tif 000009