(57)【要約】  情報信号を解析するために、重要な短時間スペクトルは、情報信号から抽出され、抽出するための手段（１６）は、情報信号の他の短時間スペクトルより特定の特徴により近くなるそのような短時間スペクトルを抽出するように構成されている。次に、抽出された短時間スペクトルは、ＩＣＡ解析を用いて、成分信号に分解（１８）され、成分信号スペクトルは、シークされる特徴に対応しているトーンを発生するトーンソースのプロファイルスペクトルを表す。情報信号の短時間スペクトルのシーケンスから、および、決定されたプロファイルスペクトルから、振幅エンベロープが、結局各々のプロファイルスペクトルのために計算（２０）され、振幅エンベロープは、トーンソースのプロファイルスペクトルが全体で時間とともにどのように変わるかを示す。プロファイルスペクトルおよびそれに関連する全ての振幅エンベロープは、例えば音楽信号の場合におけるトランスクリプション目的のためにさらに評価される情報信号の記述を提供する。【選択図】図１
2007536587.tif 000002
【特許請求の範囲】
【請求項１】
情報信号を解析するための装置であって、
前記情報信号から、重要な短時間スペクトルまたは前記情報信号の短時間スペクトルから導き出される重要な短時間スペクトルを抽出するための手段（１６）であって、抽出するための前記手段（１６）は、前記情報信号の他の短時間スペクトルより特定の特徴により近くなるそのような短時間スペクトルを抽出するように構成されている、手段（１６）と、
前記抽出された短時間スペクトルを、成分信号スペクトル、シークされる特徴に対応しているトーンを発生するトーンソースのプロファイルスペクトルを表す成分信号スペクトル、およびシークされる前記特徴に対応しているトーンを発生する他のトーンソースのプロファイルスペクトルを表す他の成分信号スペクトルに分解するための手段（１８）と、
前記トーンソースのための振幅エンベロープを計算するための手段（２０）であって、トーンソースのための振幅エンベロープは、前記トーンソースのプロファイルスペクトルが時間とともにどのように変わるかを、前記プロファイルスペクトルおよび前記情報信号を表している短時間スペクトルのシーケンスを用いて示す、手段（２０）とを備える、装置。
【請求項２】
抽出するための前記手段（１６）は、より高い周波数で前記情報信号に存在する信号部分が、より低い周波数で前記情報信号に存在する信号部分と比較して、前記情報信号において、強調されるように、前記情報信号を前処理（８）するように構成されている、請求項１に記載の装置。
【請求項３】
抽出するための前記手段（１６）は、
前記前処理（８）において、
前記情報信号を高域通過フィルタ処理し、
非線形方法で前記情報信号の前記高域通過フィルタ処理バージョンをディストートし、
前記非線形にディストートされた信号を前記オリジナルの情報信号に加えるように構成されている、請求項２に記載の装置。
【請求項４】
抽出するための前記手段（１６）は、短時間スペクトルのシーケンスを得るために前記情報信号を時間領域/周波数領域変換（１２）するように構成され、時間において隣接した２つの短時間スペクトルは、ホッピングインターバルを除いてオーバーラップする前記情報信号の部分に関連する、先行する請求項のいずれかに記載の装置。
【請求項５】
各々の短時間スペクトルは、スペクトル係数のシーケンスを備え、
抽出するための前記手段（１６）は、微分された短時間のシーケンスを得るために時間に関して短時間スペクトルの前記シーケンスを微分（１６ａ）するように構成され、微分された時間スペクトルは、先行するまたは次の短時間スペクトルと比較して、短時間スペクトルの変化について情報を提供する、請求項４に記載の装置。
【請求項６】
抽出するための前記手段（１６）は、各々のスペクトル係数のために、現在の短時間スペクトルと先行するまたは次の短時間スペクトルとにおける前記スペクトル係数の差を形成することによって微分された短時間スペクトルを得るように構成されている、請求項５に記載の装置。
【請求項７】
抽出するための前記手段（１６）は、微分され整流された短時間スペクトルがいかなる負の値も呈しないように、前記微分された短時間スペクトルを整流（１６ｂ）するように構成されている、請求項５または請求項６に記載の装置。
【請求項８】
抽出するための前記手段（１６）は、前記微分された短時間スペクトルに基づいて重要な信号を決定するように構成されている、請求項５ないし請求項７のいずれかに記載の装置。
【請求項９】
抽出するための前記手段（１６）は、各々の微分された短時間スペクトルのために、短時間スペクトルのための合計値を得るように、前記微分された短時間スペクトルから、スペクトル係数またはスペクトル係数から導き出される値を合計（１６ｃ）するように構成され、その結果、時間とともに検出関数が生じる、請求項８に記載の装置。
【請求項１０】
抽出するための前記手段（１６）は、時間とともに前記検出関数を平滑化するように構成されている、請求項９に記載の装置。
【請求項１１】
抽出するための前記手段（１６）は、ある時点で前記検出関数における最大値を見つけ（１６ｃ）、それに関連しその時点で前記検出関数が最大値を呈する時点を有する重要なスペクトルとして、微分された短時間スペクトルまたは短時間スペクトルを用いるように構成されている、請求項９または請求項１０に記載の装置。
【請求項１２】
抽出するための前記手段（１６）は、前記検出関数のそのような最大値だけを、所定の時間周期を超えて時間において離れて間隔を置かれる重要なものとして見なすように構成されている、請求項９ないし請求項１１のいずれかに記載の装置。
【請求項１３】
抽出するための前記手段（１６）は、総量スペクトルを短時間スペクトルのシーケンスとして決定し、前記重要な短時間スペクトルを抽出するときに前記短時間スペクトルのフェーズ情報を用いるように構成されている、請求項４ないし請求項１２のいずれかに記載の装置。
【請求項１４】
分解するための前記手段（１８）は、減少された数の抽出された短時間スペクトルを得るために重み付け方法において前記抽出された短時間スペクトルを加える（１８ａ）ように構成されている、先行する請求項のいずれかに記載の装置。
【請求項１５】
分解するための前記手段（１８）は、処理された短時間スペクトルを得るために次元減少のための主成分解析を実行（１８ａ）するように構成されている、請求項１ないし請求項１４のいずれかに記載の装置。
【請求項１６】
分解するための前記手段（１８）は、複数の成分信号を生じるために独立成分解析（１８ｂ）を実行するように構成され、成分信号は、前記情報信号に貢献している情報ソースに関連する、先行する請求項のいずれかに記載の装置。
【請求項１７】
前記振幅エンベロープを計算するための前記手段（２０）は、前記トーンソースのための前記振幅エンベロープを得るために、前記プロファイルスペクトルを含んでいるマトリックスと前記情報信号の短時間スペクトルのシーケンスを含んでいるマトリックスとを乗じるように構成されている、先行する請求項のいずれかに記載の装置。
【請求項１８】
前記振幅エンベロープを計算するための前記手段は、前記トーンソースのための前記プロファイルスペクトルを用いて、さらに前記差スペクトログラムを用いて、微分された振幅エンベロープをさらに決定するように構成されている、先行する請求項のいずれかに記載の装置。
【請求項１９】
前記成分信号を打楽器の成分信号および非打楽器の成分信号に分類するための手段（２２）をさらに備える、先行する請求項のいずれかに記載の装置。
【請求項２０】
分類するための前記手段（２２）は、前記プロファイルスペクトルおよび／または前記振幅エンベロープに基づいて分類を実行するように構成されている、請求項１９に記載の装置。
【請求項２１】
分類するための前記手段（２０）は、前記プロファイルスペクトルまたは前記振幅エンベロープから特徴を抽出し、それをデータベースにおける周知のソースの特徴と比較するように構成されている、請求項１９または請求項２０に記載の装置。
【請求項２２】
抽出するための前記手段（１６）が閾値に類似した時点で重要な短時間スペクトルを抽出するときに、トーンソースのための前記振幅エンベロープを、前記トーンソースから信号の開始として前記振幅エンベロープの最大値を受け入れるために、検討するための手段（２４）をさらに備える、先行する請求項のいずれかに記載の装置。
【請求項２３】
前記振幅エンベロープを計算するための前記手段（２０）は、トーンソースのための前記振幅エンベロープを、前記振幅エンベロープが前記トーンソースのプロファイルスペクトルのインテンシティまたは重み付けが時間とともにどのように変わるかを示すように、計算するように構成されている、先行する請求項のいずれかに記載の装置。
【請求項２４】
情報信号を解析するための方法であって、
前記情報信号から重要な短時間スペクトルまたは前記情報信号の短時間スペクトルから導き出される重要な短時間スペクトルを抽出するステップ（１６）であって、抽出される前記短時間スペクトルは、前記情報信号の他の短時間スペクトルより特定の特徴により近くなるそのような短時間スペクトルである、ステップ（１６）と、
前記抽出された短時間スペクトルを、成分信号スペクトル、シークされる特徴に対応しているトーンを発生するトーンソースのプロファイルスペクトルを表す成分信号スペクトル、およびシークされる前記特徴に対応しているトーンを発生する他のトーンソースのプロファイルスペクトルを表す他の成分信号スペクトルに分解するステップ（１８）と、
前記トーンソースのための振幅エンベロープを計算するステップ（２０）であって、トーンソースのための振幅エンベロープは、前記トーンソースのプロファイルスペクトルが時間とともにどのように変わるかを、前記プロファイルスペクトルおよび前記情報信号を表している短時間スペクトルのシーケンスを用いて示す、ステップ（２０）とを備える、方法。
【請求項２５】
コンピュータプログラムがコンピュータ上で動作するときに、請求項２４に記載された情報信号を解析するための前記方法を実行するためのプログラムコードを有する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号のような情報信号を解析することに関し、特に、個々のソースまたは１グループの個々のソースから生じることが可能である部分的な信号の重畳から成る情報信号を解析することに関する。
【背景技術】
【０００２】
マルチメディアコンテンツのためのデジタル配布メディアの進行中の発展は、提供される多種多様なデータに至った。提供される莫大な種類のデータは、人間のユーザに対して扱いやすさの許容値を大きく超えていた。このように、メタデータによるデータのコンテンツの記述は、ますます重要になる。原則として、目的は、テキストファイルだけでなく、例えば音楽ファイル、ビデオファイルまたは他の情報信号ファイルをサーチすることを可能にすることであり、その一方で、一般のテキストデータベースと同様に同じ利便性を想定することである。この状況における１つのアプローチは、周知のＭＰＥＧ７規格である。
【０００３】
特に、オーディオ信号、すなわち音楽および／または音声を含む信号の解析において、フィンガープリントを抽出することは、非常に重要である。
【０００４】
また、例えば音楽のために、想定されることは、フィンガープリントに基づいてメタデータを読み出すためにオーディオデータをメタデータで「充実させる」ことである。「フィンガープリント」は、一方では、関連情報の十分な量を提供することであり、他方では、できるだけ短くて簡潔であることである。このように、「フィンガープリント」は、音楽信号から発生され、かつ、メタデータを含まないが、例えばオーディオマテリアル（「オーディオＩＤ」）を識別するためのシステムにおいて、例えばデータベースをサーチすることによって、メタデータを参照するために役立つ圧縮された情報信号を示す。
【０００５】
通常、音楽データは、個々のソースからの部分的な信号の重畳から成る。ポップスにおいて、比較的少ない個々のソース、すなわちシンガー、ギター、ベースギター、ドラムおよびキーボードが典型的に存在するが、ソースの数は、オーケストラ部分のために非常に大きくなる場合がある。オーケストラ部分およびポップスは、例えば、個々の楽器によって発せられるトーンの重畳から成る。このように、オーケストラ部分またはいかなる音楽も、個々のソースからの部分的な信号の重畳を表し、部分的な信号は、オーケストラおよび／またはポップスのフォーメーションの個々の楽器によって発生されたトーンであり、個々の楽器は、個々のソースである。
【０００６】
また、複数グループのオリジナルソースでさえ個々のソースと見なされ、その結果、１つの信号は少なくとも２つの個々のソースに割り当てられる。
【０００７】
一般の情報信号の解析は、オーケストラ信号について、例えば、以下に示される。オーケストラ信号の解析は、さまざまな方法で実行される。例えば、個々の楽器を認識し、楽器の個々の信号を全体の信号から抽出し、そして、それらを、音符が「メタデータ」として作用する場合に、音符にできる限り変換したいという要望がある場合がある。解析の他の可能性は、主要なリズムを抽出することであり、調和的にサステインがある楽器といわれるトーンをかなり生じる楽器に基づくよりも、打楽器に基づいてリズムを抽出することが、より容易である。打楽器は、典型的にケトルドラム、ドラム、ガラガラまたは他の打楽器を含む一方、調和的にサステインがある楽器は、例えばバイオリン、管楽器などの他の全ての楽器を含む。
【０００８】
さらに、打楽器は、それらのサウンド特性を理由にリズムセクションに貢献する全てのそれらの音響または合成サウンドプロデューサーを含む（例えばリズムギター）。
【０００９】
このように、例えば音楽におけるリズム抽出のために、音楽全体から打楽器の部分だけを抽出し、調和的にサステインがある楽器からの信号によってリズム検出に「干渉する」ことのないこれらの打楽器の部分に基づいてリズム検出を実行することが望ましい。
【００１０】
一方、調和的にサステインがある楽器について情報だけを必要とするメタデータを抽出する目的を追い求めているいかなる解析（例えば調和的なまたは旋律的な解析）も、アップストリームの分離から、調和的にサステインがある部分の更なる処理での利益を得る。
【００１１】
ごく最近、この状況において、信号処理および信号解析のためのブラインドソース分離（ＢＳＳ）および独立成分解析（ＩＣＡ）技術の利用について報告があった。適用分野は、特に、生医学技術、通信技術、人工知能および画像処理である。
【００１２】
通常、ＢＳＳは、ミキシング処理および信号の性質の知識または最小限の前の経験で信号の混合物から信号を分離するための技術を含む。ＩＣＡは、混合物の基礎となるソースが少なくともある程度は統計的に互いに独立であるという仮定に基づく方法である。さらに、ミキシング処理は、時間において不変であると仮定され、観察された混合信号の数は、混合物の基礎となるソース信号の数以上であると仮定される。
【００１３】
独立部分空間解析（ＩＳＡ）は、ＩＣＡの拡張を表す。ＩＳＡについて、成分は独立部分空間に再分割され、それの成分は統計的に独立である必要はない。音楽信号を変換することによって、混合信号の多次元表現は決定され、ＩＣＡのための後の仮定は応じられる。ここ数年において、独立成分を計算するさまざまな方法が開発された。後に続くものは、部分的に、オーディオ信号を解析することを扱っている関連文献である：
［１］エム・エー  ケーシー（Ｍ．Ａ．  Ｃａｓｅｙ）およびエー  ウエストナー（Ａ．  Ｗｅｓｔｎｅｒ）の「独立部分空間解析による混合オーディオソースの分離（Ｓｅｐａｒａｔｉｏｎ  ｏｆ  Ｍｉｘｅｄ  Ａｕｄｉｏ  Ｓｏｕｒｃｅｓ  ｂｙ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｓｕｂｓｐａｃｅ  Ａｎａｌｙｓｉｓ）」、国際コンピュータ音楽会議のプロシーディング中（ｉｎ  Ｐｒｏｃ．  ｏｆ  ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｍｐｕｔｅｒ  Ｍｕｓｉｃ  Ｃｏｎｆｅｒｅｎｃｅ）、ベルリン、２０００年
［２］アイ・エフ・オー  オリーフ（Ｉ．Ｆ．Ｏ．  Ｏｒｉｆｅ）の「リディム：独立部分空間解析に基づくリズム解析および分解ツール（Ｒｉｄｄｉｍ：Ａ  ｒｈｙｔｈｍ  ａｎａｌｙｓｉｓ  ａｎｄ  ｄｅｃｏｍｐｏｓｉｔｉｏｎ  ｔｏｏｌ  ｂａｓｅｄ  ｏｎ  ｉｎｄｅｐｅｎｄｅｎｔ  ｓｕｂｓｐａｃｅ  ａｎａｌｙｓｉｓ）」、マスター論文（Ｍａｓｔｅｒ  ｔｈｅｓｉｓ）、ダートマス大学（Ｄａｒｔｈｍｏｕｔｈ  Ｃｏｌｌｅｇｅ）、ハノーバー、ニューハンプシャー、２００１年
［３］シー  ウーレ（Ｃ．  Ｕｈｌｅ）、シー  ディットマー（Ｃ．  Ｄｉｔｔｍａｒ）およびティー  スポーラー（Ｔ．  Ｓｐｏｒｅｒ）の「独立部分空間解析を用いたポリフォニー音楽からのドラムトラックの抽出（Ｅｘｔｒａｃｔｉｏｎ  ｏｆ  Ｄｒｕｍ  Ｔｒａｃｋ  ｆｒｏｍ  ｐｏｌｙｐｈｏｎｉｃ  Ｍｕｓｉｃ  ｕｓｉｎｇ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｓｕｂｓｐａｃｅ  Ａｎａｌｙｓｉｓ）」、独立成分解析に関する第４回国際シンポジウムのプロシーディング中（ｉｎ  Ｐｒｏｃ．  ｏｆ  ｔｈｅ  Ｆｏｕｒｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）、奈良、日本、２００３年
［４］ディー  フィッツジェラルド（Ｄ．  Ｆｉｔｚｇｅｒａｌｄ）、ビー  ロウラー（Ｂ．  Ｌａｗｌｏｒ）およびイー  コイル（Ｅ．  Ｃｏｙｌｅ）の「ドラムトランスクリプションのための従来の部分空間解析（Ｐｒｉｏｒ  Ｓｕｂｓｐａｃｅ  Ａｎａｌｙｓｉｓ  ｆｏｒ  Ｄｒｕｍ  Ｔｒａｎｓｃｒｉｐｔｉｏｎ）」、第１１４回ＡＥＳコンベンションのプロシーディング中（ｉｎ  Ｐｒｏｃ．  ｏｆ  ｔｈｅ  １１４ｔｈ  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ）、アムステルダム、２００３年
［５］ディー  フィッツジェラルド（Ｄ．  Ｆｉｔｚｇｅｒａｌｄ）、ビー  ロウラー（Ｂ．  Ｌａｗｌｏｒ）およびイー  コイル（Ｅ．  Ｃｏｙｌｅ）の「従来の部分空間解析を用いた標準音高の楽器の存在下でのドラムトランスクリプション（Ｄｒｕｍ  Ｔｒａｎｓｃｒｉｐｔｉｏｎ  ｉｎ  ｔｈｅ  ｐｒｅｓｅｎｃｅ  ｏｆ  ｐｉｔｃｈｅｄ  ｉｎｓｔｒｕｍｅｎｔｓ  ｕｓｅｉｎｇ  Ｐｒｉｏｒ  Ｓｕｂｓｐａｃｅ  Ａｎａｌｙｓｉｓ）」、ＩＳＳＣのプロシーディング中（ｉｎ  Ｐｒｏｃ．  ｏｆ  ｔｈｅ  ＩＳＳＣ）、リメリック、アイルランド、２００３年
［６］エム  プランブレイ（Ｍ．  Ｐｌｕｍｂｌｅｙ）の「負でない独立成分解析のためのアルゴリズム（Ａｌｇｏｒｉｔｈｍｓ  ｆｏｒ  Ｎｏｎ−Ｎｅｇａｔｉｖｅ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）」、ニューラルネットワークに関するＩＥＥＥトランザクション中（ｉｎ  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ、１４（３）、第５３４頁−第５４３頁、２００３年５月
【００１４】
［１］において、モノラルオーディオ信号の個々のソースを分離する方法が表されている。［２］は、信号トレースへの再分割のための適用、および、その後に、リズム解析を示している。［３］において、成分解析は、ポリフォニー部分の打楽器のおよび非打楽器のサウンドへの再分割を達成するために実行される。［４］において、独立成分解析（ＩＣＡ）は、一般に計算された周波数ベースによってドラムトレースのスペクトル表現から得られた振幅ベースに適用される。これは、トランスクリプション目的のために実行される。［５］において、この方法は、音楽のポリフォニー部分を含むために拡張される。
【００１５】
ケーシーによる第１の前述の公表は、従来技術の例として、以下に表される。前記公表は、独立部分空間解析の技術によって混合オーディオサウンドを分離する方法を述べる。これは、ＢＳＳ技術を用いる個々の成分信号にオーディオ信号を分けることを含む。個々の成分信号のうちのどれがマルチ成分部分空間に属するかを決定するために、成分の相互の類似性がいわゆるイクセグラムによって表されるという効果に、グループ化が実行される。イクセグラムは、独立成分のクロスエントロピーマトリックスといわれる。それは、２つの成分の相互の類似性の程度を見つけるために、相関計算において対になって全ての個々の成分信号を検討することによって計算される。このように、徹底的なペアワイズ類似性計算は、全ての成分信号全体にわたって実行され、そのため、結果として生じるものは、全ての成分信号がｙ軸に沿ってプロットされ、さらに、全ての成分信号がｘ軸に沿ってプロットされる類似性マトリックスである。各々の成分信号のために、この２次元配列は、それぞれ、他の１つの成分信号との類似性の程度を提供する。イクセグラム、すなわち２次元マトリックスは、クラスタ化を実行するために現在用いられ、そのために、目的グループ化が２個一組のデータに基づいてクラスタアルゴリズムを用いて実行される。ｋ個のカテゴリにイクセグラムの最適な区切りを実行するために、クラスタの中でコンパクト性を測定し、クラスタ間の等質性を決定する費用関数が規定される。費用関数は最小化され、その結果、結局結果として生じるものは、個々の部分空間に対する個々の成分の割り当てである。もし、これが滝の連続的な轟音という状況でスピーカを表す信号に適用されるとすれば、部分空間として結果として生じるものはスピーカであり、スピーカ部分空間の再構築された情報信号が滝の轟音の重要な減衰を呈する。
【００１６】
記載されているコンセプトについて不利な点は、ソースの信号部分が異なった成分信号にあるようになる場合の可能性が非常にあるということである。そのため、上述のように、複雑で計算時間集中的な類似性計算は、２次元類似性マトリックスを得るために全ての成分信号間で実行され、それに基づいて、部分空間への成分信号の分類は、結局、最小化される費用関数によって実行される。
【００１７】
また、不利な点は、いくつかの個々のソースがある場合、すなわち出力信号が推測的に知られていない場合、類似性配布がやや長い計算の後であっても、類似性配布そのものが実際のオーディオシーンについての実際のアイデアを与えないということである。このように、ビューアは、単に、特定の成分信号が最小化された費用関数に関して互いに類似しているということを知っているだけである。しかしながら、どの情報が、結局得られたこれらの部分空間に含まれるかについて、および／または、どのオリジナルの個々のソースまたはどのグループの個々のソースが、部分空間によって表されるかについて知られない。したがって、独立部分空間解析（ＩＳＡ）は、オーディオ信号の時間−周波数表現すなわちスペクトログラムを独立成分スペクトルに分解するために用いられてもよい。このために、上述の従来の方法は、全体のスペクトログラムからの周波数および振幅ベースの計算機的に集中的な決定に、または、推測的に決定される周波数ベースに依存する。そのような推測的に決定される周波数ベースおよび／またはプロファイルスペクトルは、例えば、部分がトランペットを特徴とする可能性が非常にあると言われ、さらに、トランペットの例示的なスペクトルが信号解析のために用いられるということにある。
【００１８】
この手順は、前もって楽器を特徴としている全てを知らなければならないという不利な点を有し、それは、すでに原理上、オートメーション化された処理に反する。更なる不利な点は、非常に注意深い方法で動作したい場合、例えば、トランペットだけでなく、それらの全てがサウンドの品質または音色において異なり、そのためそれらのスペクトルにおいて異なる多くの異なった種類のトランペットもあるということである。このアプローチが成分解析のための全種類の例示的なスペクトルを使用することになっている場合、方法は、再び、非常に時間がかかり、高価になり、非常に高い冗長性を呈するようになり、その理由は、典型的に、全ての可能な異なった種類のトランペットではなく、単一の種類のすなわち単一のプロファイルスペクトルを有する、または、場合により数少ない異なった音色を有するすなわち数少ないプロファイルスペクトルを有するトランペットだけが、１つの部分において大きな特徴となるからである。この問題は、ピッチに応じて、特に各々のトーンが拡散／収縮プロファイルスペクトルを備えるように、トランペットの異なった音符になるときは悪化する。これを考慮に入れることは、莫大な計算経費を伴う。
【００１９】
一方、全体のスペクトログラムが用いられる場合、ＩＳＡコンセプトに基づく分解は、極端に計算機的に集中的で、干渉の影響を受けやすくなる。スペクトログラムが、典型的に、一連の個々のスペクトル、個々のスペクトルの間で規定されるホッピング時間周期、およびサンプルの特定数を表すスペクトルから成ると指摘され、そのため、スペクトルがそれに関連した特定の時間期間すなわち信号の１ブロックのサンプルを有する。典型的に、スペクトルが計算されるサンプルのブロックで表されるこの間隔は、必要とされる周波数分解能に関しておよび必要とされる時間分解能に関して満足なスペクトログラムを得るために、ホッピング時間よりかなり長い。しかしながら、一方では、このスペクトログラム表現が非常に冗長であるということが分かる。例えば、ホッピング時間期間が１０ミリ秒に達し、スペクトルが例えば１００ミリ秒の時間期間を有する１ブロックのサンプルに基づく場合を考慮すると、あらゆるサンプルは、１０個の連続的なスペクトルにおいて生じる。このように発生される冗長性は、特に比較的多数の楽器がサーチされる場合、計算時間に関する要求を桁外れに大きくする。
【００２０】
さらに、全体のスペクトログラムに基づいて作用するアプローチは、含まれる全てのソースが信号から抽出されるのではなく、例えば、特定の種類のソース、すなわち特定の特徴を有するソースだけが抽出されるそのような場合に不利である。そのような特徴は、打楽器のソースすなわち打楽器に、または、例えばトランペット、バイオリンなどのように、トーンの典型的楽器である、調和的にサステインがある楽器ともいわれる、いわゆる標準音高の楽器に関連する。全てのこれらのソースに基づいて動作する方法は、あまりに時間がかかり、高価であり、結局、例えば、いくらかのソースだけすなわち特定の特徴を満たすそれらのソースが抽出される場合、十分に頑健でない。この場合、そのようなソースが生じなくまたは非常に小さき範囲にだけ生じるスペクトログラムの個々のスペクトルは、崩壊するか、全体の結果を「ぼやけさせ」、その理由は、スペクトログラムのこれらのスペクトルが重要なスペクトルとちょうど同じだけの最終的な成分解析計算に明らかに含まれるからである。
【００２１】
【非特許文献１】エム・エー  ケーシー（Ｍ．Ａ．  Ｃａｓｅｙ）およびエー  ウエストナー（Ａ．  Ｗｅｓｔｎｅｒ）の「独立部分空間解析による混合オーディオソースの分離（Ｓｅｐａｒａｔｉｏｎ  ｏｆ  Ｍｉｘｅｄ  Ａｕｄｉｏ  Ｓｏｕｒｃｅｓ  ｂｙ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｓｕｂｓｐａｃｅ  Ａｎａｌｙｓｉｓ）」、国際コンピュータ音楽会議のプロシーディング中（ｉｎ  Ｐｒｏｃ．  ｏｆ  ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｍｐｕｔｅｒ  Ｍｕｓｉｃ  Ｃｏｎｆｅｒｅｎｃｅ）、ベルリン、２０００年
【非特許文献２】アイ・エフ・オー  オリーフ（Ｉ．Ｆ．Ｏ．  Ｏｒｉｆｅ）の「リディム：独立部分空間解析に基づくリズム解析および分解ツール（Ｒｉｄｄｉｍ：Ａ  ｒｈｙｔｈｍ  ａｎａｌｙｓｉｓ  ａｎｄ  ｄｅｃｏｍｐｏｓｉｔｉｏｎ  ｔｏｏｌ  ｂａｓｅｄ  ｏｎ  ｉｎｄｅｐｅｎｄｅｎｔ  ｓｕｂｓｐａｃｅ  ａｎａｌｙｓｉｓ）」、マスター論文（Ｍａｓｔｅｒ  ｔｈｅｓｉｓ）、ダートマス大学（Ｄａｒｔｈｍｏｕｔｈ  Ｃｏｌｌｅｇｅ）、ハノーバー、ニューハンプシャー、２００１年
【非特許文献３】シー  ウーレ（Ｃ．  Ｕｈｌｅ）、シー  ディットマー（Ｃ．  Ｄｉｔｔｍａｒ）およびティー  スポーラー（Ｔ．  Ｓｐｏｒｅｒ）の「独立部分空間解析を用いたポリフォニー音楽からのドラムトラックの抽出（Ｅｘｔｒａｃｔｉｏｎ  ｏｆ  Ｄｒｕｍ  Ｔｒａｃｋ  ｆｒｏｍ  ｐｏｌｙｐｈｏｎｉｃ  Ｍｕｓｉｃ  ｕｓｉｎｇ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｓｕｂｓｐａｃｅ  Ａｎａｌｙｓｉｓ）」、独立成分解析に関する第４回国際シンポジウムのプロシーディング中（ｉｎ  Ｐｒｏｃ．  ｏｆ  ｔｈｅ  Ｆｏｕｒｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）、奈良、日本、２００３年
【非特許文献４】ディー  フィッツジェラルド（Ｄ．  Ｆｉｔｚｇｅｒａｌｄ）、ビー  ロウラー（Ｂ．  Ｌａｗｌｏｒ）およびイー  コイル（Ｅ．  Ｃｏｙｌｅ）の「ドラムトランスクリプションのための従来の部分空間解析（Ｐｒｉｏｒ  Ｓｕｂｓｐａｃｅ  Ａｎａｌｙｓｉｓ  ｆｏｒ  Ｄｒｕｍ  Ｔｒａｎｓｃｒｉｐｔｉｏｎ）」、第１１４回ＡＥＳコンベンションのプロシーディング中（ｉｎ  Ｐｒｏｃ．  ｏｆ  ｔｈｅ  １１４ｔｈ  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ）、アムステルダム、２００３年
【非特許文献５】ディー  フィッツジェラルド（Ｄ．  Ｆｉｔｚｇｅｒａｌｄ）、ビー  ロウラー（Ｂ．  Ｌａｗｌｏｒ）およびイー  コイル（Ｅ．  Ｃｏｙｌｅ）の「従来の部分空間解析を用いた標準音高の楽器の存在下でのドラムトランスクリプション（Ｄｒｕｍ  Ｔｒａｎｓｃｒｉｐｔｉｏｎ  ｉｎ  ｔｈｅ  ｐｒｅｓｅｎｃｅ  ｏｆ  ｐｉｔｃｈｅｄ  ｉｎｓｔｒｕｍｅｎｔｓ  ｕｓｅｉｎｇ  Ｐｒｉｏｒ  Ｓｕｂｓｐａｃｅ  Ａｎａｌｙｓｉｓ）」、ＩＳＳＣのプロシーディング中（ｉｎ  Ｐｒｏｃ．  ｏｆ  ｔｈｅ  ＩＳＳＣ）、リメリック、アイルランド、２００３年
【非特許文献６】エム  プランブレイ（Ｍ．  Ｐｌｕｍｂｌｅｙ）の「負でない独立成分解析のためのアルゴリズム（Ａｌｇｏｒｉｔｈｍｓ  ｆｏｒ  Ｎｏｎ−Ｎｅｇａｔｉｖｅ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）」、ニューラルネットワークに関するＩＥＥＥトランザクション中（ｉｎ  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ、１４（３）、第５３４頁−第５４３頁、２００３年５月
【発明の開示】
【発明が解決しようとする課題】
【００２２】
本発明の目的は、情報信号を解析するための頑健で計算時間効率的なコンセプトを提供することである。
【課題を解決するための手段】
【００２３】
この目的は、請求項１に記載の情報信号を解析するための装置、請求項２４に記載の情報信号を解析するための方法、または、請求項２５に記載のコンピュータプログラムによって達成される。
【００２４】
本発明は、頑健で効率的な情報信号解析が、全体の情報信号からおよび／または情報信号のスペクトログラムから、例えば差スペクトルなど、重要な短時間スペクトルまたは重要な短周期スペクトルから導き出される短時間スペクトルを、最初に抽出することによって、達成される発見に基づき、抽出される短周期スペクトルは、情報信号の他の短時間スペクトルより特定の特徴により近くなるそのような短時間スペクトルである。
【００２５】
好ましくは抽出されるものは、打楽器の部分を有する短時間スペクトルであり、その結果、調和的な部分を有する短時間スペクトルは、抽出されない。この場合、特定の特徴は、打楽器またはドラムの特徴である。
【００２６】
次に、抽出された短周期または抽出された短周期スペクトルから導き出される短周期スペクトルは、短周期スペクトルを、成分信号スペクトル、シークされる特徴に対応しているトーンを発生するトーンソースのプロファイルスペクトルを表す成分信号スペクトル、およびシークされる特徴に対応しているトーンを発生するトーンソースの他のプロファイルスペクトルを表す他の成分信号スペクトルに分解するための手段に送られる。
【００２７】
結局、振幅エンベロープは、トーンソースのプロファイルスペクトルに基づいて時間とともに計算され、オリジナルの短時間スペクトルと同様に決定されるプロファイルスペクトルは、時間とともに振幅エンベロープを計算するために用いられ、その結果、各時点のために、短時間スペクトルが取られたところで、振幅値が同様に得られる。
【００２８】
このように得られた情報、すなわちプロファイルスペクトルのための振幅エンベロープと同様にさまざまなプロファイルスペクトルは、抽出が実行されたものに関する特定の特徴に関して音楽および／または情報信号の総合的な記述を提供し、その結果、この情報は、トランスクリプションを実行するために、すなわち、特徴抽出およびセグメント化のコンセプトによって、どの楽器がプロファイルスペクトルに「属する」か、および、どのリズム運動が近くにあるか、すなわち特定の時点で演奏されるこの楽器の音符を示す高低のイベントであるかを、最初に確立するために十分である。
【００２９】
本発明は、全体のスペクトログラムより、抽出された短時間スペクトルだけが成分解析を計算するために、すなわち分解のために用いられることについて利点があり、その結果、独立部分空間解析（ＩＳＡ）の計算が全てのスペクトルのサブセットを用いるためだけに実行され、その結果、計算必要条件が下げられる。さらに、特定のソースを見つけることに関する頑健さは、特に、特定の特徴を満たさない他の短時間スペクトルが成分解析に存在せず、そのため、実際のスペクトルのいかなる干渉および／または「ぼやけさせる」ことを表さないように、増加する。
【００３０】
さらに、本発明のコンセプトは、プロファイルスペクトルが、不正確な結果またはさらなる計算経費を再び導く既存のプロファイルスペクトルの課題を生じることなく、信号から直接決定されるという利点がある。
【００３１】
好ましくは、本発明のコンセプトは、プロファイルスペクトルおよび個々のプロファイルスペクトルのための振幅エンベロープの両方を得るために、ポリフォニーのオーディオ信号において打楽器の非調和的な楽器を検出しおよび分類するために使用される。
【００３２】
本発明の好ましい実施態様が添付図面に関して詳細に以下に説明されるが、これらの図としては：
図１は、情報信号を解析するための本発明の装置のブロック図を示し、
図２は、情報信号を解析するための本発明の装置の好ましい実施形態のブロック図を示し、
図３ａは、打楽器のソースのための振幅エンベロープの例を示し、
図３ｂは、打楽器のソースのためのプロファイルスペクトルの例を示し、
図４ａは、調和的にサステインがある楽器のための振幅エンベロープの例を示し、
図４ｂは、調和的にサステインがある楽器のためのプロファイルスペクトルの例を示す。
【発明を実施するための最良の形態】
【００３３】
図１は、入力ライン１０を介して情報信号を表す短時間スペクトルのシーケンスを提供するための手段１２に送られる情報信号を解析するための本発明の装置の好ましい実施形態を示す。図１に破線で描かれる迂回ルーティング１４によって表されるように、情報信号は、たとえば時間的なフォームで、情報信号から、重要な短時間スペクトル、または短時間スペクトルから導き出される短時間スペクトルを抽出するための手段１６に送られ、抽出するための手段は、情報信号の他の短時間スペクトルより特定の特徴により近くなるそのような短時間スペクトルを抽出するように構成されている。
【００３４】
抽出されたスペクトル、すなわちオリジナルの短時間スペクトルまたはオリジナルの短時間スペクトルから導き出された短時間スペクトルは、例えば、微分、微分および整流、または、他の動作によって、抽出された短時間スペクトルを、成分信号スペクトル、シークされる特徴に対応しているトーンを発生するトーンソースのプロファイルスペクトルを表す１つの成分信号スペクトル、およびシークされる特徴に対応しているトーンを発生する他のトーンソースを表す他のプロファイルスペクトルに分解するための手段１８に送られる。
【００３５】
プロファイルスペクトルは、結局、１つのトーンソースのための振幅エンベロープを計算するための手段２０に送られ、振幅エンベロープは、トーンソースのプロファイルスペクトルが時間とともにどのように変わるか、および、特に、プロファイルスペクトルのインテンシティまたは重み付けが時間とともにどのように変わるかを示す。手段２０は、図１から分かるように、一方では短時間スペクトルのシーケンスに基づいて、他方ではプロファイルスペクトルに基づいて機能するように構成されている。出力側において、計算するための手段２０は、ソースのための振幅エンベロープを提供するが、手段１８は、トーンソースのためのプロファイルスペクトルを提供する。プロファイルスペクトルは、関連付けられた振幅エンベロープと同様に、特定の特徴に対応する情報信号の部分の総合的な記述を提供する。好ましくは、この部分は、音楽の打楽器の部分である。しかしながら、代わりに、この部分は、調和的な部分でもよい。この場合、重要な短時間スペクトルを抽出するための手段は、特定の特徴が打楽器の特徴である場合とは異なって構成される。
【００３６】
図２に関して、本発明の好ましい実施形態が以下に表される。好ましくは、打楽器の非調和的な楽器の検出および分類は、図２のブロック２２によって表されるように、プロファイルスペクトルＦおよび振幅エンベロープＥによって実行される。しかしながら、これは、後により詳細に述べる。
【００３７】
2007536587.tif 000003
【００３８】
2007536587.tif 000004
【００３９】
2007536587.tif 000005
【００４０】
2007536587.tif 000006
【００４１】
2007536587.tif 000007
【００４２】
振幅基準は、対応しているスペクトルプロファイルの１セットの時間可変振幅エンベロープと解釈される。
【００４３】
本発明によれば、スペクトルプロファイルは、音楽信号自体から得られる。これによって、計算の複雑さは、前の方法と比較して減少され、定常信号部分すなわち調和的にサステインがある楽器による信号部分に対して増加した頑健さが達成される。
【００４４】
ブロック２２において、特徴抽出および分類動作が実行される。特に、成分は、２つのサブセットに、すなわち、最初に「非打楽器の」すなわち調和的な特性を有するサブセットにおよび他に打楽器のサブセットに区別される。さらに、「打楽器の／不調和の」特性を有する成分は、楽器のさまざまなクラスにさらに分類される。
【００４５】
２つのサブセットへの分類のために、打楽器またはスペクトル不調和の特徴が用いられる。
【００４６】
次の特徴は、楽器を分類するために使用される：
個々の楽器のプロファイル、スペクトル中心、スペクロラム分布、スペクトル歪み、中心周波数、インテンシティ、広がり、最も明白な部分的な線の歪み、などを有するトレーニングデータベースにおけるサーチパターンとしてのスペクトルプロファイルの平滑化バージョン。
【００４７】
分類は、例えば、楽器の次のクラスに実行される：
キックドラム、スネアドラム、ハイハット、シンバル、タム、ボンゴ、コンガ、ウッドブロック、カウベル、タンバール、シェーカ、タブラ、タンバリン、トライアングル、ダブルカ、カスタネット、手拍子。
【００４８】
さらに発明コンセプトの頑健さを増加するために、打楽器開始のための決定および／または打楽器の最大値の受け入れは、ブロック２４において実行される。このように、可変閾値より上の振幅エンべロープにおける一時的な上昇を有する最大値は、打楽器のイベントと考えられるが、可変閾値より下の一時的な上昇を有する最大値は、破棄され、または、アーチファクトとして認識され、無視される。可変閾値は、最大値周辺で比較的に広範囲において全体の振幅によって、好ましくは変動する。出力は、打楽器のイベントの時点を、楽器のクラス、インテンシティおよび、できる限り、例えばＭＩＤＩフォームにおける音符および／またはリズム情報などの更なる情報に関連付ける適切なフォームで実行される。
【００４９】
ここで、重要な短時間スペクトルを抽出するための手段１６は、例えば短時間フーリエ変換によって得られるような実際の短時間スペクトルを用いてこの抽出を実行するように構成されてもよいことが指摘される。特に本発明の適用の例については、特定の特徴は打楽器の特徴であり、それは、実際の短時間スペクトルではなく、微分されたスペクトログラムすなわち差スペクトルから短時間スペクトルを抽出することが好ましい。図２のブロック１６ａに示される微分は、短時間スペクトルのシーケンスを、導き出されおよび／または微分されたスペクトルのシーケンスに導き、各々の（微分された）短時間スペクトルは、現在、オリジナルスペクトルおよび次のスペクトルの間で生じている変化を含む。このように、信号における定常部分、すなわち、例えば、調和的にサステインがある楽器による信号部分は、頑健で信頼性が高い方法で除去される。これは、微分が信号の変化を強調し、同一部分を抑制するということによる。しかしながら、打楽器は、これらの楽器によって生じるトーンがそれらの時間の経過に関して非常に一時的であるということを特徴とする。
【００５０】
さらに、ＰＣＡ１８ａおよび負でないＩＣＡ１８ｂを、すなわち、より一般的に言って、オリジナルの短時間スペクトルよりむしろ導き出された短時間スペクトルに対して図１のブロック１８において抽出された短時間スペクトルを分解するための分解動作を実行することが好ましい。これは、非常に極めて一時的な信号のために、非常に急速な変化が信号にある場合に特に真である、微分された信号が微分より前のオリジナル信号と非常に類似しているという効果を活用する。これは、打楽器にあてはまる。
【００５１】
さらに、次の負でないＩＣＡ（１８ｂ）を有するＰＣＡ１８ａを実行する、分解するための手段１８は、プロファイルスペクトルを決定するために、手段によって提供される抽出されたスペクトルの重み付け線形補償をとにかく実行することが指摘される。これは、個々の方法によって計算される特定の重み付けファクタが、抽出されるスペクトルに適用され、または、抽出されるスペクトルが、すなわち減算または加算によって、線形に結合されることを意味する。したがって、少なくとも部分的に、抽出される短時間スペクトルを堆積するために、手段１８が微分に反対に作用する機能性を有する効果を観察することができ、その結果、トーンソースのために決定されるプロファイルスペクトルは、微分されたプロファイルスペクトルではなくて、実際のプロファイルスペクトルである。いずれにせよ、微分されたスペクトル、すなわち、分解アルゴリズム−抽出される個々のスペクトルの重み付け線形結合に基づく分解アルゴリズム−と結合する差スペクトログラムからの差スペクトルの使用が、手段１８における個々の高品質で高選択性のトーンソースのためのプロファイルスペクトルを導くことが見つけられた。一方では、定常部分がさらに処理されるだけで、すなわち、特定の特徴が打楽器的でないが調和的な特徴である場合、一時的な部分と比較して定常部分を補強するために、積分によって、すなわち合計することによって、スペクトログラムの前処理を達成することが好ましい。この場合、また、合計スペクトルすなわち積分されたスペクトログラムを用いている、個々の−この場合調和的な−トーンソースのためのプロファイルスペクトルを計算することが好ましい。
【００５２】
発明コンセプトの個々の機能性は、以下により詳細に示される。しかしながら、本発明の好ましい実施態様において、代表的なデジタルオーディオ信号は、最初に手段８の前処理によって前処理される。さらに、前処理手段８に入力されるＰＣＭオーディオ信号として、４４．１Ｈｚのサンプリング周波数でサンプルごとに１６ビットの幅を有するモノラルファイルを供給することが好ましい。これらのオーディオ信号、すなわち、ビデオサンプルのストリームであってもよくて、通常、情報サンプルのストリームであってもよいオーディオサンプルのこのストリームは、「エキサイタ」とよくいわれる音響効果装置のソフトウェアに基づくエミュレーションを用いている時間範囲内で前処理を実行するために、前処理手段８に送られる。このコンセプトについて、前処理ステージ８は、オーディオ信号の高周波数部分を増幅する。これは、信号の高域通過フィルタ処理バージョンを有する非線形ディストーションを実行することによって、さらに、ディストーションの結果をオリジナル信号に加えることによって達成される。この前処理は、評価されるハイハットまたは同様にハイピッチおよびローインテンシティを有するイディオフォーンがあるときに、特に有利なことが分かる。全体の音楽信号に関してそれらのエネルギッシュな重みは、このステップによって増加するが、より低いトーンを有する大部分の調和的にサステインがある楽器および打楽器は、否定的に影響を受けない。
【００５３】
他の肯定的な副作用は、この処理によって本質的に低域通過フィルタ処理されたＭＰ３の符号化および復号化されたファイルが、再び高周波数情報を得るということである。
【００５４】
前処理時間信号のスペクトル表現は、好ましくは短時間フーリエ変換（ＳＴＦＴ）を実行する時間／周波数手段１２を用いて得られる。
【００５５】
時間／周波数手段を実施するために、好ましくは４０９６値の比較的大きいブロックサイズおよび高度のオーバーラップが好ましい。最初に必要とされるものは、低周波数範囲のために、すなわちより低いスペクトル係数のために、良好なスペクトル分解能である。さらに、時間分解能は、少ないホップサイズ、すなわち隣接したブロック間の小さいホップインターバルを得ることによって、所望の精度に増加される。この好ましい実施形態において、すでに説明されたように、ブロックごとに４０９６個のサンプルは、９２ミリ秒の時間ブロック期間に対応する短時間フーリエ変換による。１０ミリ秒の値が、ホップサイズとして用いられる。これは、各々のサンプルが短時間スペクトル中の列において９回を超えて生じることを意味する。
【００５６】
2007536587.tif 000008
【００５７】
2007536587.tif 000009
【００５８】
微分が負の値を導くことが指摘され、その結果、半波整流は、この影響を除去するためにブロック１６ｂにおいて実行される。しかしながら、その代わりに、負の符号は、実行されないが、成分の次の分解のために、簡単に反転することができる。
【００５９】
整流器１６ｂのために、負でない差スペクトログラムが得られ、最大値サーチャー１６ｃに送られる。
【００６０】
最大値サーチャー１６ｃは、以下で取り扱われるイベント検出を実行する。いくつかの局部の極値の、好ましくは音楽信号における一時的な開始イベントに関連する極大値の検出は、最初に２つの連続的なドラム開始を分離する時間許容範囲を規定することによって実行される。この好ましい実施例において、６８ミリ秒の時間周期が、時間分解能から、および、音楽信号についての知識から導き出される一定値として用いられる。特に、この値は、フレームおよび／または個々のスペクトルおよび／または２つの連続的な開始間で少なくとも生じなければならない微分された個々のスペクトルの数を決定する。この最小距離の使用は、２５０ｂｐｍの非常に高速の上限速度で１６分音符が６０ミリ秒持続するという考慮事項によって支持される。
【００６１】
2007536587.tif 000010
【００６２】
最大値のサーチの信頼性は、好ましくは、瞬間より長いもののためのウインドウに現れるそれらの最大値だけが維持されるということによって改善され、その理由は、それらが興味深いピークである可能性が非常にあるからである。このように、瞬間、すなわち例えば３つの瞬間の所定の閾値を超える最大値を表すそれらの最大値を用いることが好ましく、この閾値は、ブロック期間およびポップサイズの比率によって決まる。これは、最大値が、それが実際に重要な最大値である場合、一定数の瞬間のための最大値でなければならない、すなわち、結局、上述の数値について、各々のサンプルが少なくとも９つの連続的な短時間スペクトル「に関係している」ということを考慮する場合、一定数のオーバーラップするスペクトルのための最大値でなければならないことを示す。
【００６３】
2007536587.tif 000011
【００６４】
本発明によれば、差スペクトログラムの小さい部分、特に微分によって形成される短時間スペクトルは、抽出され、次の分解手段に送られる。
【００６５】
2007536587.tif 000012
【００６６】
この周知の技術を用いて、小さい再構成エラーを有するオリジナルデータの良好な表現を生じる、限定数の非相関関係の主成分に集められる全セットの短時間スペクトルを減少することが可能である。この目的のために、データセットの共分散マトリックスの固有値分解（ＥＶＤ）が計算される。１セットの固有ベクトルから、ｄ個の最大固有値を有するそれらの固有ベクトルは、以下の方程式に従ってオリジナルベクトルの線形結合のための係数を提供するために選択される：
2007536587.tif 000013
【００６７】
2007536587.tif 000014
【００６８】
2007536587.tif 000015
【００６９】
2007536587.tif 000016
【００７０】
2007536587.tif 000017
【００７１】
その絶対最大値とのＲの正規化は、−１から＋１までの範囲の重み係数を生じ、その結果、次の方程式
2007536587.tif 000018
を用いて抽出されるスペクトルプロファイルは、オリジナルスペクトログラムの範囲の値を有する。更なる正規化は、そのＬ２ノルムによる各々のスペクトルプロファイルを分割することによって達成される。
【００７２】
上述のように、独立の仮定および不変の仮定は、与えられた短時間スペクトルのために１００パーセント、必ずしも満足しない。したがって、非混合の後に得られるスペクトルプロファイルが特定の依存性をまだ呈することは、思いがけないことではない。しかしながら、これは、不完全な挙動として見なされてはならない。個々の打楽器のトーンのスペクトルプロファイルを用いて行われるテストは、スペクトルプロファイルも、異なった打楽器の開始スペクトル間で大量の依存性を呈することが分かった。周波数軸に沿って相互のオーバーラップおよび類似性の程度を測定する１つの可能性は、クロストーク測定を行うことである。説明のために、ＩＣＡプロセスから得られるスペクトルプロファイルは、フィルタバンクにおける非常に周波数選択的な部分の伝達関数として見なされ、通過バンドにとってフィルタバンクチャネルの出力におけるクロストークに導くことが可能である。２つのスペクトルプロファイル間に存在するクロストークは、以下の方程式に従って計算される：
2007536587.tif 000019
【００７３】
上述の方程式において、ｉは１からｄの範囲に及び、ｊは１からｄの範囲に及び、ｊはｉと異なる。実際に、この値はよく知られた相関係数に関連するが、後者は異なった正規化を用いる。
【００７４】
決定されるスペクトルプロファイルに基づいて、振幅エンベロープ決定は、図２のブロック２０において実行される。この目的のために、オリジナルスペクトル、すなわち、例えば図１の手段１２によってまたは図２の時間／周波数変換器１２において得られる短時間スペクトルのシーケンスが用いられる。次の方程式が適用する：
2007536587.tif 000020
【００７５】
第２の情報ソースとして、差スペクトログラムから、次の方程式に従って、振幅エンベロープの微分されたバージョンが決定できる：
2007536587.tif 000021
【００７６】
このコンセプトについて本質的なことは、更なるＩＣＡ計算が振幅エンベロープによって実行されないということである。また、本発明のコンセプトは、信号において実際に生じるそれらの楽器のスペクトルに非常に近くなる非常に専門化されたスペクトルプロファイルを提供する。それにもかかわらず、例えば非常に主要な打楽器のリズム部分を有するダンスを指向する音楽のために、抽出された振幅エンベロープが鋭いピークを有する優れた検出関数であることは、特定の場合にだけである。振幅エンベロープは、上述のクロストーク効果によってもよい比較的小さいピークおよびプラトーをよく含む。
【００７７】
特徴抽出および分類のための手段２２のより詳細な実施は、以下に指し示される。成分の実際の数が最初に現実の音楽信号のために知られていないことは、よく知られている。この状況において、「成分」は、スペクトルプロファイルおよび対応している振幅エンベロープの両方を示す。抽出される成分の数ｄがあまりに低い場合、考慮されてない成分のアーチファクトは、他の成分において生じる可能性が非常にある。一方、多すぎる成分が抽出される場合、大部分の顕著な成分は、いくつかの成分に分割される。残念なことに、この分割は、成分の正しい数によってさえ生じ、時々現実の成分の検出を難しくする。
【００７８】
この問題を克服するために、成分の最大数ｄは、ＰＣＡまたはＩＣＡプロセスにおいて特定される。その後、抽出される成分は、１セットのスペクトルベースおよび時間ベースの特徴を用いて分類される。分類は、２種類の情報を提供することである。最初に、検出されるそれらの成分は、高度の確実性によって、非打楽器のように、更なる手順から除去されることになる。さらに、残りの成分は、楽器の所定のクラスに割り当てられることになる。
【００７９】
2007536587.tif 000022
【００８０】
このように、振幅エンベロープは、以下に説明されるように、打楽器のソース（図３ｂ；ハイハット）の場合および調和的にサステインがある楽器（図４ｂ；ギター）の場合において明らかに異なるプロファイルスペクトルとして、等しくよく分類および／または特徴抽出のために用いられる。このように、調和的にサステインがある楽器については、ハーモニックスを強く生じるのに対して、打楽器的なソースは、明らかに発音されたハーモニックスを有しないが、全体でエネルギーが集中される範囲を有し、集中されたエネルギーのこの範囲が非常に広帯域である、かなりノイズのようなスペクトルを有する。
【００８１】
このように、スペクトルベースの測定、すなわちプロファイルスペクトル（例えば図３ｂおよび４ｂ）から導き出される測定は、打楽器のトーンに関連するスペクトルから調和的にサステインがあるトーンのスペクトルを分離するために好ましくは用いる。再び、好ましい実施形態において、この測定を計算する修正バージョンが用いられ、スペクトル遅延現象に対する許容範囲、全てのハーモニックスを有する不調和および適切な正規化を呈する。より高度の計算効率は、オリジナルの不調和関数を周波数対のための重みマトリックスと交換することによって達成される。
【００８２】
打楽器の所定のクラスにスペクトルプロファイルを割り当てることは、トレーニングデータベースとして個々の楽器のスペクトルプロファイルを有するｋ個の次の隣接したものを分類するための単純な分類器によって提供される。距離関数は、クエリープロファイルおよびデータベースプロファイル間の少なくとも１つの相関係数から計算される。低い信頼性の場合に分類を検査するために、すなわち低い相関係数のために、または、同じ楽器の多数の発生を検査するために、スペクトルプロファイルのフォームについて詳細な情報を提供する付加的な特徴が抽出される。これらの特徴は、すでに上述の個々の特徴を含む。
【００８３】
以下に、図２の決定器２４の機能性が取り扱われる。ドラムのような開始は、ピークピッキングともいわれる一般のピーク選択方法を用いて、例えば図３ａの振幅エンベロープのような振幅エンベロープにおいて検出される。オリジナルの時間ｔ、すなわち最大値サーチャー１６ｃが結果を提供する時間に加えて許容範囲内で生じているピークだけが、主に開始の候補として考えられる。振幅エンベロープから抽出されるいかなる残りのピークも、更なる考慮のために最初に格納される。振幅エンベロープの量の値は、その位置で、各々の開始候補と関連付けられる。この値が所定の動的な閾値を超えない場合、開始は受け入れられない。開始を包囲している比較的大きい時間範囲において、エネルギー量全体にわたって、閾値は変動する。調和的にサステインがある楽器および同時に演奏される打楽器の大部分のクロストーク影響は、このステップにおいて減少される。さらに、さまざまな打楽器の同時開始が、実際に存在するか、または、クロストーク効果に基づいてだけ存在するかどうかについては微分することが好ましい。この問題に対する解決策は、開始時に大部分の激しい楽器の値と比較すると比較的高い値を有するこれらの更なる発生を受け入れることが好ましい。
【００８４】
本発明によれば、現実のポリフォニー音楽信号における非標準音高の打楽器の自動検出および好ましくは自動分類が達成され、このための開始基準は、一方では、プロファイルスペクトルであり、他方では、振幅エンベロープである。さらに、音楽のリズム情報は、次々に好ましい音符から音符へのトランスクリプションを導く可能性が高い、打楽器から容易に抽出することができる。
【００８５】
状況によっては、情報信号を解析するための本発明の方式は、ハードウェアまたはソフトウェアでも実施されてもよい。この実施は、その方法が実行されるように、プログラム可能なコンピュータシステムと相互に作用することができ、電子的に読み出すことができる制御信号を有する、デジタル記憶媒体、特に、プロッピー（登録商標）ディスクまたはＣＤ上で行うことができる。本発明は、一般に、コンピュータプログラム製品がコンピュータ上で実行されるときに、機械で読み出し可能なキャリアに格納されたこの方法を実行するためのプログラムコードを有するコンピュータプログラム製品にも存在する。言い換えれば、本発明は、コンピュータプログラムがコンピュータ上で実行されるときに、この方法を実行するためのプログラムコードを有するコンピュータプログラムとしても実現することができる。
【図面の簡単な説明】
【００８６】
【図１】図１は、情報信号を解析するための本発明の装置のブロック図を示す。
【図２】図２は、情報信号を解析するための本発明の装置の好ましい実施形態のブロック図を示す。
【図３ａ】図３ａは、打楽器のソースのための振幅エンベロープの例を示す。
【図３ｂ】図３ｂは、打楽器のソースのためのプロファイルスペクトルの例を示す。
【図４ａ】図４ａは、調和的にサステインがある楽器のための振幅エンベロープの例を示す。
【図４ｂ】図４ｂは、調和的にサステインがある楽器のためのプロファイルスペクトルの例を示す。
【図１】
2007536587.tif 000023
【図２】
2007536587.tif 000024
【図３ａ】
2007536587.tif 000025
【図３ｂ】
2007536587.tif 000026
【図４ａ】
2007536587.tif 000027
【図４ｂ】
2007536587.tif 000028
【国際調査報告】
2007536587.tif 000029
2007536587.tif 000030
2007536587.tif 000031
2007536587.tif 000032
2007536587.tif 000033
2007536587.tif 000034