(57)【要約】本発明は、音響信号に少なくとも１つの音響クラスを割り当てる方法に関するものであり、この方法は、音響信号を特定の持続時間を有する時間セグメントに分割するステップと、最小周波数と最大周波数間の周波数範囲内の周波数スペクトルの一連の値を判定することにより、それぞれの時間セグメント内において音響信号の周波数パラメータを抽出するステップと、時間セグメントの持続時間を上回る特定の持続時間を有する時間ウィンドウ内にパラメータをアセンブルするステップと、それぞれの時間ウィンドウから特徴成分を抽出するステップと、抽出された特徴成分に基づいて、クラシファイアを使用し、音響信号の時間ウィンドウの音響クラスを識別するステップと、を有することを特徴としている。
2005532582.tif 000002
【特許請求の範囲】
【請求項１】
音響信号に少なくとも１つの音響クラスを割り当てる方法であって、
前記音響信号を、所定の持続時間を有する時間セグメント（Ｔ）に分割するステップと、
最小周波数と最大周波数間の周波数範囲内の周波数スペクトルの一連の値を判定することにより、前記時間セグメント（Ｔ）のそれぞれにおいて前記音響信号の周波数パラメータを抽出するステップと、
前記時間セグメント（Ｔ）の前記持続時間を上回る所定の持続時間を有する時間ウィンドウ（Ｆ）内に前記パラメータをアセンブルするステップと、
それぞれの時間ウィンドウ（Ｆ）から特徴成分を抽出するステップと、
前記抽出された特徴成分に基づいて、クラシファイアを使用し、前記音響信号の前記時間ウィンドウ（Ｆ）の前記音響クラスを識別するステップと、
を有することを特徴とする方法。
【請求項２】
その持続時間が１０〜３０ミリ秒の間である時間セグメント（Ｔ）内に前記音響信号を抽出するステップを有することを特徴とする請求項１記載の方法。
【請求項３】
離散フーリエ変換を使用して前記周波数パラメータを抽出するステップを有することを特徴とする請求項１記載の方法。
【請求項４】
周波数パラメータの変換又はフィルタリングの操作を提供するステップを有することを特徴とする請求項３記載の方法。
【請求項５】
恒等タイプ、２つの隣接周波数の平均、又はメル尺度に準拠した変換を実行するステップを有することを特徴とする請求項４記載の方法。
【請求項６】
０．３秒を上回る（好ましくは、０．５〜２秒の間の）持続時間の前記時間ウィンドウ内に前記周波数パラメータをアセンブルするステップを有することを特徴とする請求項４又は５記載の方法。
【請求項７】
平均、分散、瞬間、周波数監視パラメータ、又は無音交差率などの特徴成分をそれぞれの時間ウィンドウから抽出するステップを有することを特徴とする請求項１記載の方法。
【請求項８】
前記クラシファイアの１つ又は複数の入力特徴成分を使用するステップを有することを特徴とする請求項７記載の方法。
【請求項９】
前記特徴成分の標準化操作を提供するステップを有することを特徴とする請求項７又は８記載の方法。
【請求項１０】
前記標準化操作は、
前記平均、前記分散、又は前記瞬間において、最大値を有する成分をサーチし、その他の成分を前記最大値によって除算するステップと、
前記周波数監視又は前記無音交差率において、０．５〜１間の値を取得するべく、実験の後に決定された定数によって前記特徴成分のそれぞれを除算するステップと、
を有することを特徴とする請求項７及び９記載の方法。
【請求項１１】
クラシファイアとして、ニューラルネットワーク又はＫ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｕｒを使用するステップを有することを特徴とする請求項１又は８記載の方法。
【請求項１２】
前記クラシファイア用の音響信号トレーニングフェーズを生成するステップを有することを特徴とする請求項１１記載の方法。
【請求項１３】
クラシファイアを使用して、音響信号の音声又は音楽、男性の声又は女性の声、特徴的な瞬間又は非特徴的な瞬間を識別するステップを有し、前記特徴的な瞬間又は非特徴的な瞬間は、例えば、映画や試合などを表すビデオ信号を伴っていることを特徴とする請求項１〜１２記載の方法。
【請求項１４】
前記時間ウィンドウを２秒とし、前記平均、分散、周波数監視、及び無音交差率パラメータの標準化を行った後に、該パラメータを使用することにより、前記音響信号を音楽又は音声に分類するステップを有することを特徴とする請求項１３記載の方法。
【請求項１５】
前記特徴成分の標準化を適用することなしに、メル尺度による変換により、前記平均及び分散パラメータを使用して、前記信号を試合の重要な瞬間又は非重要な瞬間に分類するステップから構成されることを特徴とする請求項１３記載の方法。
【請求項１６】
試合の音響信号内における感動的な瞬間を識別するステップを有することを特徴とする請求項１３記載の方法。
【請求項１７】
前記感動的な瞬間の識別を使用して試合の要約を作成するステップを有することを特徴とする請求項１６記載の方法。
【請求項１８】
音響信号内の音声を識別及び監視するステップを有することを特徴とする請求項１３記載の方法。
【請求項１９】
前記音響信号の前記音声部分について男性及び／又は女性の音声を識別及び監視するステップを有することを特徴とする請求項１８記載の方法。
【請求項２０】
音響信号内の音楽を識別及び監視するステップを有することを特徴とする請求項１３記載の方法。
【請求項２１】
前記音響信号が音声又は音楽を含んでいるかどうかを判定するステップを有することを特徴とする請求項１３記載の方法。
【請求項２２】
クラスに割り当てられたそれぞれの時間ウィンドウのラベルを割り当てるステップを有することを特徴とする請求項１３記載の方法。
【請求項２３】
音響信号のラベルをサーチするステップを有することを特徴とする請求項２２記載の方法。
【請求項２４】
音響信号に少なくとも１つの音響クラスを割り当てる装置であって、
前記音響信号（Ｓ）を所定の持続時間を有する時間セグメント（Ｔ）に分割する手段（１０）と、
前記音響信号の周波数パラメータをそれぞれの前記時間セグメント（Ｔ）内に抽出する手段（２０）と、
前記時間セグメントの前記持続時間を上回る所定の持続時間を有する時間ウィンドウ（Ｆ）内に前記周波数パラメータをアセンブルする手段（３０）と、
それぞれの時間ウィンドウ（Ｆ）から特徴成分を抽出する手段（４０）と、
前記抽出された特徴成分に基づいて、クラシファイアを使用し、前記音響信号の前記時間ウィンドウ（Ｆ）の前記音響クラスを識別する手段（６０）と、
を有することを特徴とする装置。
【請求項２５】
前記周波数パラメータを抽出する前記手段（２０）は、離散フーリエ変換を使用することを特徴とする請求項２４記載の装置。
【請求項２６】
周波数パラメータの変換又はフィルタリングの操作を提供する手段（２５）を有することを特徴とする請求項２４又は２５記載の装置。
【請求項２７】
０．３秒を上回る（好ましくは、０．５〜２秒の間の）持続時間の前記時間ウィンドウ（Ｆ）内に前記周波数パラメータをアセンブルする手段（３０）を有することを特徴とする請求項２４〜２６の中の一項記載の装置。
【請求項２８】
それぞれの時間ウィンドウから特徴成分を抽出する手段（４０）として、平均、分散、瞬間、及び周波数監視パラメータ又は無音交差率を抽出する手段を有することを特徴とする請求項２４記載の装置。
【請求項２９】
特徴成分標準化手段（４５）を有することを特徴とする請求項２８記載の装置。
【請求項３０】
クラシファイアとして、ニューラルネットワーク又はＫ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｕｒを有することを特徴とする請求項２４記載の装置。
【請求項３１】
音響信号の音声又は音楽、男性の声又は女性の声、特徴的な又は非特徴的な瞬間などの前記音響クラスを識別する手段（６０）を有し、特徴的な又は非特徴的な瞬間は、例えば、映画や試合などを表すビデオ信号を伴っていることを特徴とする請求項２４記載の装置。
【請求項３２】
クラスに割り当てられたそれぞれの時間ウィンドウのラベルを割り当てる手段を有することを特徴とする請求項２４記載の装置。
【請求項３３】
データベース内に記録されている音響信号のラベルをサーチする手段を有することを特徴とする請求項３２記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、意味論（ｓｅｍａｎｔｉｃ）を反映した音響クラスに音響信号を分類する分野に関するものである。
【０００２】
更に詳しくは、本発明は、音楽、音声、雑音、無音、男性、女性、ロックミュージック、ジャズなどの意味情報を音響信号から自動的に抽出する分野に関するものである。
【背景技術】
【０００３】
従来技術によれば、大量のマルチメディア文書には、多数の人間の介入を要する索引作成が必要とされ、これには、費用と時間を所要する操作を問題なく実行することが必要となる。このため、意味情報の自動抽出には、分析及び索引作成（ｉｎｄｅｘｉｎｇ）作業の円滑な実行を可能にする高価な支援が必要になる。
【０００４】
多数のアプリケーションにおいて、音響帯域の意味におけるセグメント化及び分類は、多くの場合に、音響信号に関するその他の分析及び処理を考える前に必要な操作である。
【０００５】
意味論におけるセグメント化及び分類を必要とする既存のアプリケーションとしては、音声帯域のテキスト変換に適した音声ディクテーションシステムとも呼ばれる自動音声認識システムに関係するものが挙げられる。音楽／音声セグメントへの音響帯域のセグメント化及び分類は、許容可能なレベルの性能を得るために不可欠なステップである。
【０００６】
例えば、テレビのニュースなどのオーディオビジュアル文書の内容の索引作成に自動音声認識システムを使用する際には、誤り率を低下させるべく、非音声セグメントを除去することが必要である。又、基本的に、発話者（男性又は女性）に関する情報を得ることができれば、自動音声認識システムの使用により、性能の大幅な改善を実現することができる。
【０００７】
音響帯域の意味におけるセグメント化及び分類を必要とする別の既存のアプリケーションは、統計及び監視システムに関係するものである。実際に、著作権又は放送時間割当遵守の観点から、フランスのＣＳＡ又はＳＡＣＥＭなどの規制及び検閲機関の活動は、（例えば、ＣＳＡの場合には、テレビネットワーク上における政治家による放送の持続時間に関する、一方、ＳＡＣＥＭの場合には、ラジオによって放送された歌のタイトル及び持続時間に関する）具体的な報告に基づいたものでなければならない。従って、このような自動統計及び監視システムの実装は、事前の音楽／音声音響帯域のセグメント化及び分類に基づいたものになる。
【０００８】
考えられる更なるアプリケーションは、自動的なオーディオビジュアル番組の要約又はフィルタリングシステムに関連するものである。例えば、オーディオビジュアル番組のモバイルテレフォニー又はメールオーダー販売などの多くのアプリケーションにおいては、ユーザーの関心点に応じて、２時間のオーディオビジュアル番組を数分間の感動的な瞬間（ｓｔｒｏｎｇ  ｍｏｍｅｎｔｓ）の編集物に要約することが必要であろうと考えられる。このような要約は、オフライン（即ち、オリジナルの番組に関連して要約を予め算出する方式）又はオンライン（即ち、放送又はストリーミングモードにおいて、プログラムの感動的な瞬間のみを維持できるようにオーディオビジュアル番組をフィルタリングする方式）のいずれかによって生成可能である。尚、これらの感動的な瞬間は、オーディオビジュアル番組とユーザーの関心によって左右されることになる。例えば、サッカーの試合の場合には、感動的な瞬間とは、ゴールの動作が存在する部分である。アクション映画の場合には、感動的な瞬間とは、戦いや追跡などに対応する部分である。このような感動的な瞬間は、結果的に、音響帯域上における振動を伴うことが多い。そして、これらを識別するには、特定の特性を有する（又は、具備していない）セグメントへの音響帯域のセグメント化及び分類を利用するのが有利である。
【０００９】
従来技術には、音響信号を様々に分類するシステムが存在している。例えば、国際特許第９８２７５４３号（ＷＯ９８２７５４３）明細書には、音響信号を音楽又は音声に分類する技法について記述されている。この明細書においては、４Ｈｚにおける変調エネルギー、スペクトルフラックス、スペクトルフラックスの変動、及びゼロ交差率などの音響信号の様々な計測可能なパラメータの検討方法を考案している。即ち、スペクトルフラックスの変動やゼロ交差率などのフレームを定義するべく、１秒又は別の持続期間のウィンドウにおいて、これらのパラメータを抽出する。次いで、例えば、正規（ガウス分布）法則の組み合わせに基づいたクラシファイア、又はＮｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｕｒ（最近接）クラシファイアなどの様々なクラシファイアを使用し、６％レベルの誤り率を得ている。これらのクラシファイアのトレーニングは、３６分にわたって実行されており、試験は４分にわたっている。この結果は、この提案された技法が、９５％の認識レートを実現するために、大きなサイズのトレーニングベースを必要とすることを示すものである。従って、これを４０分のオーディオビジュアル文書に適用する場合に、その分類対象のデータが、様々な文書ソースのそれそれごとに異なる雑音及び分解能レベルを有する様々な文書ソースから生成された高度な多様性を有する大きなサイズを具備している場合には、この技法は、ほとんど適用不能であろうと思われる。
【００１０】
米国特許第５７１２９５３号（ＵＳ５７１２９５３）は、音楽信号を検出するべく、周波数関連スペクトルの第１の瞬間の時点に関連する変動を使用するシステムについて記述している。この明細書は、非音楽信号と比べ、音楽の場合には、このような変動が非常に小さいことを前提としている。しかしながら、様々なタイプの音楽は、同一の構造を具備してはおらず、この結果、例えば、ＡＳＲの場合には、このシステムの性能は、不十分である。
【００１１】
欧州特許第１１０００７３号（ＥＰ１１０００７３）は、例えば、信号パワーの平均及び分散や中間周波数パワーなどの１８個のパラメータを使用して音響信号を様々なカテゴリーに分類する方法を提案している。分類のために、ベクトル量子化を実行し、Ｍａｈａｌａｎｏｂｉｓ距離を使用している。しかしながら、様々なソースからの信号は、常に様々なレベルのスペクトルパワーによって記録されるため、信号パワーの使用は、安定しないと考えられる。又、音楽及び音声の極端な変動が存在する場合には、音楽と音声を区別するための低周波数又は高周波数パワーなどのパラメータの使用は、重大な制限となる。そして、最後に、この方法には、その重要性に応じた１８個のパラメータに対する異なる重みの割当が関係しており、１８個の非均質的なパラメータのベクトルの適切な距離の選択が明らかではない。
【００１２】
同様に、ＺＨＵ  ＬＩＵ他による「ＡＵＤＩＯ  ＦＥＡＴＵＲＥ  ＥＸＴＲＡＣＴＩＯＮ  ＡＮＤ  ＡＮＡＬＹＳＩＳ  ＦＯＲ  ＳＣＥＮＥ  ＳＥＧＭＥＮＴＡＴＩＯＮ  ＡＮＤ  ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ」（ＪＯＵＲＡＮＬ  ＯＦ  ＶＬＳＩ  ＳＩＧＮＡＬ  ＰＲＯＣＥＳＳＩＮＧ  ＳＹＳＴＥＭＳ  ＦＯＲ  ＳＩＧＮＡＬ、ＩＭＡＧＥ  ＡＮＤ  ＶＩＤＥＯ  ＴＥＣＨＮＯＬＯＧＹ、ＫＬＵＷＥＲ  ＡＣＡＤＥＭＩＣ  ＰＵＢＬＩＳＨＥＲＳ、ＤＯＲＤＲＥＣＨＴ，ＮＬ、第２０巻、ｎｏ．１／２、１９９８年１０月１日、６１〜７８頁、ＸＰ０００７８６７２８、ＩＳＢＮ：０９２２−５７７３）という記事には、音響信号を音響クラスに分類する技法について記述されている。この技法においては、数十ミリ秒のウィンドウへの音響信号のセグメント化と、１秒のウィンドウへのアセンブルを考案している。アセンブルは、周波数パラメータと呼ばれる特定のパラメータの平均を算出することによって行われる。この周波数パラメータを取得するべく、この方法は、信号スペクトルから、周波数の重心、又は低周波数（０〜６３０Ｈｚ）、中間周波数（６３０〜１，７２０Ｈｚ）、高周波数（１，７２０〜４，４００Ｈｚ）エネルギー／エネルギー比などの計測値を抽出するステップを含んでいる。
【００１３】
この方法においては、特に、スペクトルに関する演算の後に抽出されたパラメータを考慮することが提案されている。このような方法の実装によっては、満足できる認識率を得ることはできない。
【発明の開示】
【発明が解決しようとする課題】
【００１４】
従って、本発明は、必要とされるトレーニング時間を削減しつつ、高い認識率によって音響信号の意味クラスへの分類を可能にする技法を提案することにより、前述の欠点を解決することを目的とするものである。
【課題を解決するための手段】
【００１５】
この目的を達成するために、本発明による方法は、音響信号に少なくとも１つの音響クラスを割り当てる方法に関するものであり、この方法は、特定の持続時間を有する時間セグメントに音響信号を分割するステップと、時間セグメントのそれぞれにおいて音響信号の周波数パラメータを抽出するステップと、時間セグメントの持続時間を上回る特定の持続時間を有する時間ウィンドウ内にパラメータをアセンブルするステップと、それぞれの時間ウィンドウから特徴成分を抽出するステップと、抽出した特徴成分に基づいて、クラシファイアを使用し、音響信号のそれぞれの時間ウィンドウの音響クラスを識別するステップと、を有している。
【００１６】
本発明の別の目的は、少なくとも１つの音響クラスを音響信号に割り当てる装置を提案することにあり、この装置は、特定の持続時間を有する時間セグメントに音響信号を分割する手段と、時間セグメントのそれぞれにおいて音響信号の周波数パラメータを抽出する手段と、時間セグメントの持続時間を上回る特定の持続時間を有する時間ウィンドウ内に周波数パラメータをアセンブルする手段と、それぞれの時間ウィンドウから特徴成分を抽出する手段と、抽出した特徴成分に基づいて、クラシファイアを使用して音響信号の時間ウィンドウの音響クラスを識別する手段と、を有している。
【００１７】
その他の様々な特徴については、非限定的な例として本発明の実施例の形態を示している添付の図面を引用した以下の説明から明らかである。
【発明を実施するための最良の形態】
【００１８】
図１に更に正確に示されているように、本発明は、あらゆるタイプの音響クラスの音響信号Ｓの分類を可能にする装置１に関するものである。即ち、音響信号Ｓが、その内容に応じてラベル付けされたセグメントに切断され、例えば、音楽、音声、雑音、男性、女性などのそれぞれのセグメントに割り当てられたこれらのラベルにより、意味カテゴリー又は意味音響クラスに音響信号が分類される。
【００１９】
本発明によれば、分類対象の音響信号Ｓは、それぞれが特定の持続時間を有する時間セグメントＴに音響信号Ｓを分割可能なセグメント化手段１０の入力に印加される。好ましくは、これらの時間セグメントＴは、いずれも、好ましくは、１０〜３０ミリ秒の同一の持続時間を具備している。それぞれの時間セグメントＴが、数ミリ秒の持続時間を具備している場合には、信号は安定していると考えることが可能であり、この結果、時間信号を周波数ドメインに変更する変換を続いて適用可能である。例えば、単純な矩形ウィンドウ、Ｈａｎｎｉｎｇ又はＨａｍｍｉｎｇウィンドウなどの様々なタイプの時間セグメントを使用可能である。
【００２０】
従って、装置１は、時間セグメントＴのそれぞれにおいて音響信号の周波数パラメータを抽出可能な抽出手段２０を有している。又、装置１は、時間セグメントＴの持続時間を上回る特定の持続時間を有する時間ウィンドウＦ内にこれらの周波数パラメータをアセンブルする手段３０をも有している。
【００２１】
実施例の好適な特徴に従うと、これらの周波数パラメータは、０．３秒を上回る（好ましくは、０．５〜２秒の）持続時間を有する時間ウィンドウＦ内にアセンブルされる。尚、この時間ウィンドウＦのサイズの選択は、例えば、音声、音楽、男性、女性、無音などの２つの異なるウィンドウを音響的に弁別できるように決定される。この時間ウィンドウＦが、例えば、数十ミリ秒などの短いものである場合には、音量変化タイプの局所的な音響の変化、楽器の変化、及び単語の始まり又は終わりを検出可能である。一方、例えば、数百ミリ秒などのようにウィンドウが大きい場合には、検出可能な変化は、例えば、音楽リズム又は音声リズムのタイプの変化など、更に一般的なタイプの変化となろう。
【００２２】
又、装置１は、それぞれの時間ウィンドウＦから特徴成分を抽出可能な抽出手段４０をも有している。そして、識別手段６０により、この抽出された特徴成分に基づいて、クラシファイア５０を使用し、音響信号Ｓのそれぞれの時間ウィンドウＦの音響クラスを識別することができる。
【００２３】
以下、音響信号を分類する方法の実施例の好適な一形態について説明する。
【００２４】
実施例の好適な特徴によれば、時間ドメインから周波数ドメインに変換するべく、抽出手段２０は、サンプリングされた音響信号の場合に、離散フーリエ変換（Ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ：ＤＦＴ）を使用する。離散フーリエ変換によれば、一連の時系列の信号振幅値について、一連の周波数スペクトル値が得られる。離散フーリエ変換式は、次の通りである。
【００２５】
【数１】
2005532582.tif 000003
【００２６】
ここで、ｘ（ｋ）は、時間ドメインにおける信号である。
【００２７】
｜Ｘ（ｎ）｜項は、振幅スペクトルとよばれ、これは、信号ｘ（ｋ）の周波数ドメインにおける振幅を表している。
【００２８】
ａｒｇ［Ｘ（ｎ）］項は、位相スペクトルと呼ばれ、これは、信号ｘ（ｋ）の周波数ドメインにおける位相を表している。
【００２９】
｜Ｘ（ｎ）｜2項は、エネルギースペクトルと呼ばれ、信号ｘ（ｋ）の周波数ドメインにおけるエネルギーを表している。
【００３０】
広く使用されている値は、エネルギースペクトル値である。
【００３１】
この結果、時間セグメントＴの信号ｘ（ｋ）の振幅の一連の時間値について、最小周波数と最大周波数間の周波数範囲内の周波数スペクトルの値の組Ｘiが得られる。この周波数値又はパラメータの集合を「ＤＦＴベクトル」又はスペクトルベクトルと呼ぶ。それぞれのＸiベクトル（ｉ＝１〜ｎ）は、それぞれの時間セグメントＴごとのスペクトルベクトルに対応している。
【００３２】
実施例の好適な特徴に従えば、事前に取得されたこの周波数パラメータに対して、抽出手段２０とアセンブル手段３０間に介在する変換手段２５により、変換又はフィルタイリング操作が実行される。図２に更に正確に示されているように、この変換操作により、Ｘiスペクトルベクトルから、変換済みの特徴ベクトルＹiを生成可能である。この変換は、変換を正確に定義するｂｏｕｎｄａｒｙ１、ｂｏｕｎｄａｒｙ２、及びａｊという変数を有する式ｙiによって提供される。
【００３３】
この変換は、Ｘi特徴値が変化しないように、恒等タイプ（ｉｄｅｎｔｉｔｙ  ｔｙｐｅ）のものであってよい。この変換によれば、Ｂｏｕｎｄａｒｙ１及びＢｏｕｎｄａｒｙ２は、ｊに等しく、パラメータａｊは、１に等しい。そして、スペクトルベクトルＸiは、Ｙiに等しい。
【００３４】
この変換は、２つの隣接する周波数の平均変換であってもよい。このタイプの変換によれば、２つの隣接する周波数スペクトルの平均を取得すればよい。例えば、ｂｏｕｎｄａｒｙ１はｊに等しく、ｂｏｕｎｄａｒｙ２はｊ＋１に等しく、ａｊは０．５に等しい、というものを選定可能である。
【００３５】
使用する変換は、メル尺度（Ｍｅｌ  ｓｃａｌｅ）の近似に準拠した変換であってもよい。この変換は、０、１、２、３、４、５、６、８、９、１０、１２、１５、１７、２０、２３、２７、３１、３７、４０という値に基づいてｂｏｕｎｄａｒｙ１及びｂｏｕｄａｒｙ２変数を変化させ、ａj＝１／（｜ｂｏｕｎｄａｒｙ１−ｂｏｕｎｄａｒｙ２｜）によって取得することができる。
【００３６】
例えば、前述のようにｂｏｕｎｄａｒｙ１及びｂｏｕｎｄａｒｙ２を選択することにより、図２に示されている式を使用して、グロスＸ次元ベクトル４０からＹ次元ベクトル２０を取得可能である。
【００３７】
ｂｏｕｎｄａｒｙ１＝０→ｂｏｕｄａｒｙ２＝１
ｂｏｕｎｄａｒｙ１＝１→ｂｏｕｄａｒｙ２＝２
ｂｏｕｎｄａｒｙ１＝２→ｂｏｕｄａｒｙ２＝３
ｂｏｕｎｄａｒｙ１＝３→ｂｏｕｄａｒｙ２＝４
ｂｏｕｎｄａｒｙ１＝４→ｂｏｕｄａｒｙ２＝５
ｂｏｕｎｄａｒｙ１＝５→ｂｏｕｄａｒｙ２＝６
ｂｏｕｎｄａｒｙ１＝６→ｂｏｕｄａｒｙ２＝８
ｂｏｕｎｄａｒｙ１＝８→ｂｏｕｄａｒｙ２＝９
ｂｏｕｎｄａｒｙ１＝９→ｂｏｕｄａｒｙ２＝１０
ｂｏｕｎｄａｒｙ１＝１０→ｂｏｕｄａｒｙ２＝１２
ｂｏｕｎｄａｒｙ１＝１２→ｂｏｕｄａｒｙ２＝１５
ｂｏｕｎｄａｒｙ１＝１５→ｂｏｕｄａｒｙ２＝１７
ｂｏｕｎｄａｒｙ１＝１７→ｂｏｕｄａｒｙ２＝２０
ｂｏｕｎｄａｒｙ１＝２０→ｂｏｕｄａｒｙ２＝２３
ｂｏｕｎｄａｒｙ１＝２３→ｂｏｕｄａｒｙ２＝２７
ｂｏｕｎｄａｒｙ１＝２７→ｂｏｕｄａｒｙ２＝３１
ｂｏｕｎｄａｒｙ１＝３１→ｂｏｕｄａｒｙ２＝３７
ｂｏｕｎｄａｒｙ１＝３７→ｂｏｕｄａｒｙ２＝４０
【００３８】
このＸiスペクトルベクトルに対する変換は、アプリケーションに応じて（即ち、分類対象の音響クラスに応じて）、その重要度が異なってくる。尚、この変換の選択の例は、本明細書の次の部分で説明する。
【００３９】
以上の説明から明らかなように、本発明による方法は、相対的に大きな持続時間を有するウィンドウに基づいて音響信号の種類を取得可能な特徴成分をそれぞれの時間ウィンドウＦから抽出するステップを有している。従って、それぞれの時間ウィンドウＦのＹiベクトルについて算出される特徴成分は、平均、分散、瞬間、周波数監視パラメータ、又は無音交差率であってよい。この特徴成分の推定は、次の式に従って行われる。
【００４０】
【数２】
2005532582.tif 000004
【００４１】
ここで、
【００４２】
【数３】
2005532582.tif 000005
【００４３】
は、平均ベクトルであり、
【００４４】
【数４】
2005532582.tif 000006
【００４５】
は、分散ベクトルであり、
【００４６】
【数５】
2005532582.tif 000007
【００４７】
は、時間ウィンドウＦを構成するための前述のフィルタリングされたスペクトルベクトルそのものである特徴値である。
【００４８】
【数６】
2005532582.tif 000008
【００４９】
ここで、ｊは、スペクトルベクトル
【００５０】
【数７】
2005532582.tif 000009
【００５１】
内の周波数帯域に対応し、ｌは、時点（即ち、ベクトルが抽出された瞬間（時間セグメントＴ））に対応し、Ｎは、ベクトル内の要素の数（又は、周波数帯域の数）、Ｍは、その統計を分析するためのベクトルの数（時間ウィンドウＦ）に対応し、μij内のｉは、μijを算出する時間ウィンドウＦの瞬間に対応し、ｊは、周波数帯域に対応している。
【００５２】
【数８】
2005532582.tif 000010
【００５３】
ここで、ｊは、スペクトルベクトル
【００５４】
【数９】
2005532582.tif 000011
【００５５】
及び平均ベクトル
【００５６】
【数１０】
2005532582.tif 000012
【００５７】
内の周波数帯域に対応し、ｌは、時点、即ち、ベクトル
【００５８】
【数１１】
2005532582.tif 000013
【００５９】
を抽出する瞬間（時間セグメントＴ））に対応し、Ｎは、ベクトル内の要素の数（又は、周波数帯域の数）であり、Ｍiは、その統計を分析するためのベクトルの数（時間ウィンドウＦ）に対応し、μij及びｖij内のｉは、
【００６０】
【数１２】
2005532582.tif 000014
【００６１】
と
【００６２】
【数１３】
2005532582.tif 000015
【００６３】
を算出する時間ウィンドウの瞬間に対応し、ｊは、周波数帯域に対応している。
【００６４】
データの振る舞いを記述するのに重要な瞬間は、次のように算出される。
【００６５】
【数１４】
2005532582.tif 000016
【００６６】
ここで、添え字ｉ、ｊ、Ｎ、ｌ、Ｍiは、分散について説明したものであり、ｎ＞２である。
【００６７】
本発明による方法によれば、周波数の監視を可能にする特徴成分として、パラメータＦＭを判定することも可能である。実際に、音楽の場合には、周波数の特定の連続性が存在しており（即ち、信号内における最も有意な周波数（大部分のエネルギーを集中させるもの）が特定の時間にわたって同一に維持されており）、音声又は雑音（非高調波）の場合には、周波数の最も有意な変化は、より高速で発生することが認められている。この報告から、例えば、２００Ｈｚの正確なインターバルにより、複数の周波数の監視を同時に実行することを提案する。これは、音楽における最も有意な周波数は、変化するものの、その変化は穏やかである、という事実によるものである。この周波数監視パラメータＦＭの抽出は、次のように実行する。即ち、それぞれの離散フーリエ変換Ｙiベクトル毎に、例えば、５つの最も重要な周波数を識別する。そして、これらの周波数の中の１つが、１００Ｈｚ帯域内において、離散フーリエ変換ベクトルの５つの最も重要な周波数に出現しない場合に、カットを通知する。それぞれの時間ウィンドウＦ内におけるカットの数をカウントし、これにより、周波数監視パラメータＦＭが定義される。音楽セグメントにおけるこのパラメータＦＭは、音声又は雑音のものに比べて、明らかに小さい、このパラメータは、音楽と音声間の弁別に重要である。
【００６８】
本発明の別の特徴によれば、この方法は、特徴成分として、無音交差率（Ｓｉｌｅｎｃｅ  Ｃｒｏｓｓｉｎｇ  Ｒａｔｅ：ＳＣＲ）を定義するステップを有している。このパラメータは、例えば、２秒などの固定されたサイズのウィンドウ内において、エネルギーが無音閾値に到達する回数をカウントするステップを有している。実際に、単語を表現する際には、音響信号のエネルギーは、通常、大きく、単語間においては、無音閾値未満に低下すると見なさなければならない。このパラメータの抽出は、次のように行われる。即ち、信号のそれぞれの１０ｍｓ毎に、信号のエネルギーを算出する。エネルギーの時間微分（即ち、Ｔ＋１のエネルギーから瞬間Ｔにおけるエネルギーを減算したもの）を算出する。そして、２秒のウィンドウ内において、このエネルギーの微分値が特定の閾値を超過する回数をカウントする。
【００６９】
図３に更に正確に示されているように、それぞれの時間ウィンドウＦから抽出されたパラメータにより、特徴値Ｚが定義される。即ち、この特徴値Ｚは、定義された特徴成分（即ち、平均、分散、及び瞬間ベクトル、並びに、周波数監視ＦＭ及び無音交差率ＳＣＲ）を連結したものになっている。アプリケーションに応じて、分類の観点から、この特徴値Ｚの一部のみの（又は、その全部の）成分を使用する。例えば、スペクトルを抽出する周波数レンジが、０〜４，０００Ｈｚ（周波数ピッチ：１００Ｈｚ）の場合には、スペクトルベクトルとして４０要素が取得される。グロスＸi特徴値の変換に、恒等変換を適用する場合には、平均ベクトルとして４０要素、分散ベクトルとして４０要素、及び瞬間ベクトルとして４０要素が取得される。そして、ＳＣＲ及びＦＭパラメータの連結及び追加の後に、１２２要素を有する特徴値Ｚが取得されることになる。アプリケーションに応じて、例えば、４０又は８０要素を考慮することにより、これらの特徴値の全部又はサブセットのみを選定可能である。
【００７０】
本発明の好適な実施例によれば、この方法は、抽出手段４０とクラシファイア５０間に介在する標準化手段４５を使用して特徴成分の標準化操作を提供するステップを有している。この標準化は、平均ベクトルの場合には、最大値を有する成分をサーチするステップと、平均ベクトルのその他の成分をこの最大値によって除算するステップと、から構成されている。分散及び瞬間ベクトルについても同様の操作を実行する。そして、周波数監視ＦＭ及び無音交差率ＳＣＲの場合には、常に０．５〜１間の値を取得するべく、実験の後に決定される定数により、これら２つのパラメータを除算する。
【００７１】
この標準化ステップの後に、成分のそれぞれが０〜１間の値を有する特徴値が得られる。尚、スペクトルベクトルに対して変換が既に適用されている場合には、この特徴値の標準化ステップが不要な場合もあろう。
【００７２】
図４に更に正確に示されているように、本発明による方法は、パラメータの抽出又は特徴値Ｚの構成の後に、識別又は分類手段６０を使用し、定義された音響クラスの中の１つして効率的にラベルをベクトルのそれぞれに付加可能なクラシファイア５０を選択するステップを有している。
【００７３】
第１実施例によれば、使用するクラシファイアは、２つの隠れレイヤ（ｈｉｄｄｅｎ  ｌａｙｅｒｓ）を有するマルチレイヤパーセプトロン（ｍｕｌｔｉｌａｙｅｒ  ｐｅｒｃｅｐｔｒｏｎ）などのニューラルネットワークである。図５は、例えば、８２入力要素、隠れレイヤの３９要素、及び７出力要素を有するニューラルネットワークのアーキテクチャを示している。当然のことながら、これらの要素の数が変更可能であることは明らかである。入力レイヤ要素は、特徴値Ｚの成分に対応している。例えば、８０ノード入力レイヤについて選択する際には、例えば、平均及び瞬間に対応する成分など、特徴値Ｚの一部を使用可能である。隠れレイヤの場合には、３９要素を使用することで十分であると考えられる（ニューロンの数を増やしても、性能の顕著な改善は結果的に得られない）。出力レイヤの要素数は、分類対象のクラスの数に対応している。例えば、音楽と音声という２つの音響クラスを分類する場合には、出力レイヤは、２つのノードを有することになる。
【００７４】
当然のことながら、従来のＫ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｕｒ（ＫＮＮ）クラシファイアなどの別のタイプのクラシファイアも使用可能である。この場合には、トレーニングの知識は、単純にトレーニングデータから構成されることになる。トレーニングストレージは、トレーニングデータのすべてを保存するステップを有している。尚、分類のために特徴値Ｚが提示される場合には、最近接クラス（ｎｅａｒｅｓｔ  ｃｌａｓｓｅｓ）を選択するべく、トレーニングデータのすべてについて、距離を算出することを推奨する。
【００７５】
クラシファイアを使用することにより、音響信号の音声又は音楽、男性の声又は女性の声、特徴的な瞬間又は非特徴的な瞬間などの音響クラスの識別が可能になる（特徴的な瞬間又は非特徴的な瞬間は、例えば、映画や試合などを表すビデオ信号を伴っている）。
【００７６】
以下、音響帯域を音楽又は音声に分類する本発明による方法の適用例について説明する。この例によれば、入力音響帯域が、一連の音声、音楽、無音、又はその他のインターバルに分割される。無音セグメントの特徴判定は容易であるため、音声又は音楽セグメント化に関する実験を実施した。このアプリケーションにおいては、８２要素（平均及び分散の８０要素、並びに、ＳＣＲ及びＦＭが１つずつ）を含む特徴値Ｚのサブセットを使用した。そして、ベクトルには、恒等変換と標準化を適用し、それぞれの時間ウィンドウＦのサイズは、２秒とした。
【００７７】
前述の音響セグメントの特性及び抽出物の品質を示すべく、ニューラルネットワークに基づくものと、単純なｋ−ＮＮ（即ち、ｋ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｕｒ）原理を使用した別のものという２つのクラシファイアを使用した。そして、この方法の一般性を試験する目的で、アラビア語のＡｌｊａｚｅｅｒａｈネットワーク「ｈｔｔｐ：／／ｗｗｗ．ａｌｊａｚｅｅｒａ．ｎｅｔ／」から抽出された音楽８０秒及び音声80秒に基づいて、ＮＮ及びｋ−ＮＮトレーニングを実行した。次いで、音楽コーパス及び音声コーパスに基づいて、２つのクラシファイアを試験した（これらの２つのコーパスは、非常に異なった特性を有し、合計が１，２８０秒（２１分超）であった）。音楽セグメントの分類に関する結果が、次の表に示されている。
【００７８】
【表１】
2005532582.tif 000017
【００７９】
全体として、ｋ−ＮＮクラシファイアは、９４％を上回る成功率を提供し、ＮＮクラシファイアは、９７．８％という高い成功率に到達している。又、ＮＮの良好な一般化能力も認めることができる。実際に、トレーニングは、８０秒のレバノン音楽に基づいて行われたが、完全にタイプの異なる音楽であるＧｅｏｒｇｅ  Ｍｉｃｈａｅｌに関しては、分類に１００％成功し、困難であると考えられるロックミュージックのＭｅｔａｌｌｉｃａの場合にも、９７．５％という分類の成功率を記録している。
【００８０】
音声セグメントに関する実験については、英語のＣＮＮの番組、フランス語のＬＣＩの番組、及び映画「Ｇｌａｄｉａｔｏｒ」からの様々な抽出物に基づいて実行され、２つのクラシファイアのトレーニングは、アラビア語の８０秒の音声に基づいて行われた。次の表には、２つのクラシファイアの結果が示されている。
【００８１】
【表２】
2005532582.tif 000018
【００８２】
１００％の正確な分類が行われていることから、クラシファイアがフランス語のＬＣＩの抽出物に関して特に有効であることを、この表は示している。英語のＣＮＮの抽出物の場合にも、いずれも、９２．５％を上回る同一の良好な分類が行われており、全体として、ＮＮクラシファイアは、９７％の分類成功率を達成し、ｋ−ＮＮクラシファイアは、８７％の良好な分類率を記録している。
【００８３】
別の実験によれば、前述のＮＮクラシファイアの有望な結果を選択し、音声と音楽が混合しているセグメントに対して適用した。この場合には、音楽トレーニングは、「Ａｌｊａｚｅｅｒａｈ」ネットワークによって放送された番組「Ｌｅｂａｎｅｓｅ  ｗａｒ」の中の４０秒、並びに、この同じ番組から抽出されたアラビア語の８０秒の音声に基づいて行われた。そして、このＮＮクラシファイアを、セグメント化並びに分類された映画「Ｔｈｅ  Ａｖｅｎｇｅｒｓ」の３０分に基づいて試験した。この実験の結果が、次の表に示されている。
【００８４】
【表３】
2005532582.tif 000019
【００８５】
従来技術によるものと本発明によるクラシファイアの比較を目的として、これらと同じコーパスに基づいて、Ｖｉｒａｇｅが使用している「Ｍｕｓｃｌｅ  Ｆｉｓｈ」（ｈｔｔｐ：／／ｍｕｓｃｌｅｆｉｓｈ．ｃｏｍ／ｓｐｅｅｃｈＭｕｓｉｃ．ｚｉｐ）ツールを試験し、次の結果が得られた。
【００８６】
【表４】
2005532582.tif 000020
【００８７】
精度の観点で、ＮＮクラシファイアがＭｕｓｃｌｅ  Ｆｉｓｈツールを約１０ポイント上回っていることを明瞭に確認することができる。
【００８８】
最後に、ＮＮクラシファイアを、「ｌ’ｅｄｉｔｏ」、「ｌ’ｉｎｖｉｔｅ」、及び「ｌａ  ｖｉｅ  ｄｅｓ  ｍｅｄｉａｓ」からなる「ＬＣＩ」の１０分間の番組に基づいて試験し、次の結果が得られた。
【００８９】
【表５】
2005532582.tif 000021
【００９０】
一方、「Ｍｕｓｃｌｅ  Ｆｉｓｈ」ツールにより、次の結果が得られた。
【００９１】
【表６】
2005532582.tif 000022
【００９２】
ＮＮクラシファイアによる結果の要約は、次のとおりである。
【００９３】
【表７】
2005532582.tif 000023
【００９４】
この実験の５０分にわたる９２％を上回る精度の場合にＮＮクラシファイアが記録したＴ／Ｔ率（トレーニング持続時間／試験持続時間）は、わずかに４％であり、これは、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）事後確率パラメータに基づくＧＭＭを使用する［Ｗｉｌｌ  ９９］システム（Ｇｅｔｈｉｎ  Ｗｉｌｌｉａｍｓ、Ｄａｎｉｅｌ  Ｅｌｌｉｓによる「Ｓｐｅｅｃｈ／ｍｕｓｉｃ  ｄｉｓｃｒｉｍｉｎａｔｉｏｎ  ｂａｓｅｄ  ｏｎ  ｐｏｓｔｅｒｉｏｒ  ｐｒｏｂａｂｉｌｉｔｙ  ｆｅａｔｕｒｅｓ」（Ｅｕｒｏｓｐｅｅｃｈ  １９９９））のＴ／Ｔレートの３００％と比べて、極めて有望である。
【００９５】
音響信号を男性の声と女性の声に分類するべく、第２の実験例を実施した。この実験によれば、音声セグメントが、男性の声又は女性の声というラベルが付加された断片に切断されることになる。このために、特徴値には、無音交差率及び周波数監視が含まれていない。即ち、これら２つのパラメータの重みが０に設定されている。そして、時間ウィンドウＦのサイズは１秒に固定した。
【００９６】
実験は、「Ｌｉｎｇｕｉｓｔｉｃ  Ｄａｔａ  Ｃｏｎｓｏｒｔｉｕｍ」ＬＣＤ（ｈｔｔｐ：／／ｗｗｗ．ｌｄｃ．ｕｐｅｎｎ．ｅｄｕ）Ｓｗｉｔｃｈｂｏａｒｄからの通話データに基づいて実施した。同一タイプの発話者間におけるトレーニング並びに通話試験を選択した（即ち、男性−男性間、及び女性−女性間の会話）。トレーニングは、４つの男性−男性通話から抽出された３００秒の音声と、４つの女性−女性通話から抽出された３００秒の音声に基づいて実行した。そして、６，０００秒（１００分）（即ち、トレーニングに使用された通話とは異なる１０個の男性−男性通話の３，０００秒の抽出物と、こちらもトレーニング用に使用された通話とは異なる１０個の女性−女性通話から抽出された３，０００秒）に基づいて、本発明による方法を試験した。次の表は、得られた結果を要約したものである。
【００９７】
【表８】
2005532582.tif 000024
【００９８】
全体としての検出率が８７．５％であることがわかり、この場合に、トレーニング用の音声サンプルは、試験対象の音声の１０％に過ぎない。又、本発明による方法は、男性（８５％）よりも女性（９０％）の音声検出に優れていることを確認することもできる。ブラインドセグメント化の後に、多数決原理（Ｍａｊｙｏｒｉｔｙ  ｖｏｔｅ  ｐｒｉｎｃｉｐｌｅ）を均質なセグメントに適用し、且つ長い無音を除去することにより（これは、電話の会話においては、かなり頻繁に発生し、本発明による技法による女性のラベル付加に結び付くことになる）、この結果を更に大幅に改善可能である。
【００９９】
別の実験は、スポーツの試合において、音響信号を、重要な瞬間（ａｎ  ｉｍｐｏｒｔａｎｔ  ｍｏｍｅｎｔ）であるか、又はそうでないか、に分類することを目的とするものである。直接的なオーディオビジュアル録画放送の際の、例えば、サッカーなどのスポーツの試合における主要な瞬間の検出は、オーディオビジュアル要約（これは、画像の編集物であってよい）の自動作成を実現するのに非常に重要であり、この結果、主要な瞬間が（Ｋｅｙ  ｍｏｍｅｎｔｓ）検出される。尚、サッカーの試合の場合には、主要な瞬間とは、ゴールの動作やペナルティなどが発生する瞬間である。バスケットボールの試合の場合には、主要な瞬間とは、例えば、バスケットにボールを入れる動作が発生する瞬間として定義可能である。そして、ラグビーの試合の場合には、主要な瞬間とは、例えば、トライの動作が発生する瞬間として定義することができる。当然のことながら、このような主要な瞬間に関する概念は、あらゆるスポーツの試合に適用可能である。
【０１００】
スポーツのオーディオビジュアルシーケンスにおける主要な瞬間の検出は、試合の進行に伴う音響帯域、環境、支援、及び解説者を分類する問題に帰着する。実際に、例えば、サッカーなどのスポーツの試合における重要な瞬間においては、結果的に、解説者の音声のトーンにおける緊張と、観客からの雑音の増大がもたらされることになる。この実験に際して、使用された特徴値は、音楽／音声の分類に使用されたものと同一である（但し、ＳＣＲ及びＦＭという２つのパラメータは除去されている）。そして、グロス特徴値に対して使用された変換は、メル尺度に準拠したものであり、標準化ステップは、特徴値に対して適用しなかった。そして、時間ウィンドウＦのサイズは２秒とした。
【０１０１】
実験用に、ＵＥＦＡカップの３つのサッカーの試合を選択した。トレーニングにおいては、第１の試合の主要な瞬間の２０秒と、非主要な瞬間の２０秒を選択した。従って、主要な瞬間及び非主要な瞬間という２つの音響クラスが存在している。
【０１０２】
このトレーニングの後に、３つの試合に関する分類を実行した。そして、検出されたゴール数と、重要であると分類された時点の観点から結果を評価した。
【０１０３】
【表９】
2005532582.tif 000025
【０１０４】
この表は、ゴールの瞬間のすべてが検出されたことを示している。又、９０分のサッカーの試合において、ゴールの瞬間のすべてを含む最大９０秒の要約が生成されている。
【０１０５】
当然のことながら、この重要な又は非重要な瞬間への分類は、アクション映画やポルノ映画などのあらゆるオーディオビジュアル文書の音響分類に一般化することができる。
【０１０６】
又、本発明の方法によれば、クラスに割り当てられたそれぞれの時間ウィンドウのラベルの割当と、データベースに記録されている（例えば、音響信号などの）ラベルのサーチも、なんらかの適切な手段によって実行可能である。
【０１０７】
尚、本発明は、その範囲を逸脱することなしに、様々な変更を加えることが可能であり、前述及び図示の例に限定されるものではない。
【図面の簡単な説明】
【０１０８】
【図１】本発明による音響信号を分類する方法を実装する装置を示すブロックダイアグラムである。
【図２】本発明による方法の特徴的なステップ、即ち、変換を示す図である。
【図３】本発明の別の特徴的なステップを示す図である。
【図４】本発明による音響信号分類ステップを示している。
【図５】本発明の範囲内において使用されるニューラルネットワークの例を示す図である。
【図１】
2005532582.tif 000026
【図２】
2005532582.tif 000027
【図３】
2005532582.tif 000028
【図４】
2005532582.tif 000029
【図５】
2005532582.tif 000030
【国際調査報告】
2005532582.tif 000031
2005532582.tif 000032
2005532582.tif 000033
2005532582.tif 000034