(57)【要約】【課題】  全てのタイプの音楽ジャンルの音楽索引付けに適用されうる音楽生データの自動音楽要約化を行う。【解決手段】  オーディオ生データ用の自動要約化（１２）の際に、オーディオ生データから純粋音楽とボーカル音楽を識別する。即ち、音楽フレームから識別特徴を抽出し、分類器を設計し適応学習／訓練アルゴリズムを用いて分類補助変数（２０）を決定し、分類器により音楽を純粋音楽あるいはボーカル音楽に識別する。純粋音楽に対しては、時間的、スペクトラムおよびケプストラム特徴が計算され、計算済み特徴による音楽コンテンツの構造化のために適応クラスタリング方法が用いられる。ボーカル音楽については、音声関連特徴が抽出され、音楽コンテンツの構造化に用いられ、音楽要約が、構造化されたコンテンツと音楽ジャンルの学習的規則の点で創作される。
2006508390.tif 000002
【特許請求の範囲】
【請求項１】
オーディオデータの少なくとも１個の計算された特徴の特性を有するオーディオデータの表現を確認するためにオーディオデータを解析するステップと、
少なくとも２個の分類区分から選ばれた分類区分に、表現を基礎としたオーディオデータを分類するステップと、
デジタルオーディオデータの要約を代表する音響信号を生成するステップを備え、
前記要約化が選ばれた分類区分に依存することを特徴とするデジタルオーディオデータの要約方法。
【請求項２】
前記分析ステップが更に、オーディオデータをセグメントフレームに分割すること、そしてフレームを重ね合わせることを備えることを特徴とする請求項１に記載のデジタルオーディオデータの要約方法。
【請求項３】
前記分類ステップが更に、各フレームから訓練データを収集することによりフレームを分類区分に分類することと、訓練計算を用いることにより分類補助変数を決定することを備えることを特徴とする請求項２に記載のデジタルオーディオデータの要約方法。
【請求項４】
前記計算された特徴は、音楽コンテンツに関係した知覚および主観特徴を備えることを特徴とする請求項１から３のいずれか１項に記載のデジタルオーディオデータの要約方法。
【請求項５】
前記訓練計算は、統計学習アルゴリズムを備え、統計学習アルゴリズムは、隠れマルコフモデル、ニューラルネットワークあるいはサポートベクターマシンであることを特徴とする請求項３に記載のデジタルオーディオデータの要約方法。
【請求項６】
前記音響信号の形式が音楽であることを特徴とする請求項１から５のいずれか１項に記載のデジタルオーディオデータの要約方法。
【請求項７】
前記音響信号の形式がボーカル音楽（声楽）あるいは純粋音楽であることを特徴とする請求項１から６のいずれか１項に記載のデジタルオーディオデータの要約方法。
【請求項８】
前記計算された特徴は、音量エンベロープ、電力スペクトラムあるいはメル頻度ケプストラム係数（mel-frequency cepstral coefficients）であることを特徴とする請求項１から７のいずれか１項に記載のデジタルオーディオデータの要約方法。
【請求項９】
階層化された結果および純粋音楽あるいはボーカル音楽に関係した発見的規則の点で前記要約化を生成することを特徴とする請求項１から８のいずれか１項に記載のデジタルオーディオデータの要約方法。
【請求項１０】
前記計算された特徴は、純粋音楽あるいはボーカル音楽に関係し、線形予測係数、ゼロ交差レートあるいはメル頻度ケプストラム係数であることを特徴とする請求項１から９のいずれか１項に記載のデジタルオーディオデータの要約方法。
【請求項１１】
オーディオデータを受信し、オーディオデータの少なくとも１個の計算された特徴の特性を有するオーディオデータの表現を確認するためにオーディオデータを解析するための特徴抽出器と、
前記特徴抽出器から少なくとも２個の分類区分から選ばれた分類区分に受け取られた表現を基礎とした音声データを分類するための前記特徴抽出器と連絡をとる分類器と、
デジタルオーディオデータの要約を代表する音響信号を生成するための前記分類器と連絡をとる要約器を備え、
前記要約化が前記分類器によって選ばれた分類区分に依存することを特徴とするデジタルオーディオデータの要約装置。
【請求項１２】
更に、オーディオファイルを受け取り、オーディオデータをセグメントフレームに分割し、前記特徴抽出器のためにフレームを重ね合わすための前記特徴抽出器と連絡をとる分割器（セグメント器）を備えることを特徴とする請求項１１に記載のデジタルオーディオデータの要約装置。
【請求項１３】
更に、前記分類器と連絡をとる分類補助変数発生器を備え、各フレームから訓練データを収集し、前記分類補助変数発生器内の訓練計算を用いることにより分類補助変数を決定することにより、前記分類器は各フレームを分類区分に分類することを特徴とする請求項１１に記載のデジタルオーディオデータの要約装置。
【請求項１４】
前記計算された特徴は、音楽コンテンツに関係した知覚および主観特徴を備えることを特徴とする請求項１１から１３のいずれか１項に記載のデジタルオーディオデータの要約装置。
【請求項１５】
前記訓練計算は、統計学習アルゴリズムを備え、統計学習アルゴリズムは、隠れマルコフモデル、ニューラルネットワークあるいはサポートベクターマシンであることを特徴とする請求項１１から１４のいずれか１項に記載のデジタルオーディオデータの要約装置。
【請求項１６】
前記音響信号が音楽であることを特徴とする請求項１１から１５のいずれか１項に記載のデジタルオーディオデータの要約装置。
【請求項１７】
前記音響信号がボーカル音楽あるいは純粋音楽であることを特徴とする請求項１１から１６のいずれか１項に記載のデジタルオーディオデータの要約装置。
【請求項１８】
前記計算された特徴は、音量エンベロープ、電力スペクトラムあるいはメルケプストラム係数であることを特徴とする請求項１１から１７のいずれか１項に記載のデジタルオーディオデータの要約装置。
【請求項１９】
前記要約器が、階層化結果および純粋音楽あるいはボーカル音楽に関係した発見的規則の点で、前記要約化を生成することを特徴とする請求項１１から１８のいずれか１項に記載のデジタルオーディオデータの要約装置。
【請求項２０】
前記計算された特徴は、純粋音楽あるいはボーカル音楽コンテンツに関係し、線形予測係数、ゼロ交差レートあるいはメル頻度（mel-frequency）であることを特徴とする請求項１１から１９のいずれか１項に記載のデジタルオーディオデータの要約装置。
【請求項２１】
デジタルオーディオデータの要約を行わせるための記媒体に収録されたコンピュータ読み取り可能プログラムコード手段を有するコンピュータ利用可能媒体を備えたデジタルオーディオデータの要約のためのコンピュータプログラム製品であって、
オーディオデータの少なくとも１個の計算された特徴の特性を有するオーディオデータの表現を確認するためにオーディオデータを解析するためのコンピュータ読み取り可能プログラムコード手段と、
少なくとも２個の分類区分から選ばれた分類区分へ表現を基礎とした音声データを分類するためのコンピュータ読み取り可能プログラムコードと、
デジタルオーディオデータの要約を代表する音響信号を生成するためのコンピュータ読み取り可能プログラムコードを備え、
前記要約化が選ばれた分類区分に依存することを特徴とするコンピュータプログラム製品。
【請求項２２】
分析が更に、オーディオデータをセグメントフレームに分割し、そしてフレームを重ね合わすことを備えることを特徴とする請求項２１に記載のコンピュータプログラム製品。
【請求項２３】
分類が更に、各フレームから訓練データを収集することによりフレームを分類区分に分類し、訓練計算を用いることにより分類補助変数を決定することを備えることを特徴とする請求項２２に記載のコンピュータプログラム製品。
【請求項２４】
前記計算された特徴は、音楽コンテンツに関係した知覚および主観特徴を備えることを特徴とする請求項２１から２３のいずれか１項に記載のコンピュータプログラム製品。
【請求項２５】
前記訓練計算は、統計学習アルゴリズムを備え、統計学習アルゴリズムは、隠れマルコフモデル、ニューラルネットワークあるいはサポートベクターマシンであることを特徴とする請求項２１から２４のいずれか１項に記載のコンピュータプログラム製品。
【請求項２６】
前記音響信号が音楽であることを特徴とする請求項２１から２５のいずれか１項に記載のコンピュータプログラム製品。
【請求項２７】
前記音響信号の形式がボーカル音楽あるいは純粋音楽であることを特徴とする請求項２１から２６のいずれか１項に記載のコンピュータプログラム製品。
【請求項２８】
前記計算された特徴は、音量エンベロープ、電力スペクトラムあるいはメル頻度ケプストラム係数であることを特徴とする請求項２１から２７のいずれか１項に記載のコンピュータプログラム製品。
【請求項２９】
階層化結果および純粋音楽あるいはボーカル音楽に関係した発見的規則の点で、前記要約化を.生成することを特徴とする請求項２１から２８のいずれか１項に記載のコンピュータプログラム製品。
【請求項３０】
前記計算された特徴は、純粋音楽あるいはボーカル音楽コンテンツに関係し、線形予測係数、ゼロ交差レートあるいはメル頻度であることを特徴とする請求項２１から２９のいずれか１項に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオデータ索引付けや分類などのオーディオデータ解析に関する。特に、本発明は、例えば、コンテンツ基礎の音楽検索やウエッブ基礎のオンライン音楽配布のような様々な応用のためにデジタル音楽生データを自動的に要約することに関する。
【背景技術】
【０００２】
コンピュータネットワークとマルチメディア技術の急速な進歩は、デジタルマルチメディアデータ収集の規模を急速に増大させる結果をもたらした。この進歩に対応して、大規模な情報組織と処理の中から当初のコンテンツの必須要素をうまく捕らえる膨大なマルチメディアデータ収集の簡素で有益な要約が必要である。そこで、数多くの技術が提案され、自動にテキスト、音声および映像要約を作成するための開発が行われた。しかしながら、音楽要約は、音楽の代表として用いおよび視聴者により容易に認識される与えられた音楽のもっとも一般的なおよび顕著なテーマの決定に言及する。テキスト、音声および映像要約と比較して、音楽要約は、特別な挑戦を提供する、それは生デジタル音楽データが、高度に体系化されていないモノリシックなファイルの形式においてのみ利用可能である、特徴の無いバイト（ｂｙｔｅ）の収集であるからである。
【０００３】
（株）ＩＢＭの２００１年５月１日に発行された米国特許USP No. 6,225,546は、音楽要約に関係し、与えられた１個の音楽の主なメロディテーマセグメントの自動認識のためにＭＩＤＩ構成の繰り返し性質を用いるＭＩＤＩ（音楽装置設計インタフェース）データ形式用の要約システムを開示している。
【０００４】
検出エンジンは、メロディ認識および様々な記号列処理問題としての音楽要約問題を作り、問題を処理するアルゴリズムを使用する。システムは、音楽部分のＭＩＤＩ形式の各トラック内の重要な繰り返しを有する最大長セグメントを認識する。これらのセグメントは、音楽構成の基本ユニットであり、音楽部分内のメロディ候補である。しかしながら、ＭＩＤＩ形式データは、標本化された生オーディオデータ、つまり実際の音声の音、ではない。代わりに、ＭＩＤＩ形式データは、音声データ生成のためにシンセサイザー指示あるいはＭＩＤＩメモを含む。特に、シンセサイザーは、ＭＩＤＩ形式データ内の指示から実際の音を生成する。実際の音声音と比較して、ＭＩＤＩデータは、共通の再生経験および楽器と音声効果の双方に対しての無制限音声パレット(道具箱)を提供しえない。一方、ＭＩＤＩデータは、その体系に従って要約の創作を容易にする体系化された形式である。
【０００５】
従って、ＭＩＤＩ要約化は実時間再生においては実用的ではない。だから、実際の生デジタル音声データから音楽要約を作るための必要性が存在する。
【０００６】
非特許文献１には、音声認識応用に使用を発見したメルケプストラム特徴を用いる各々の歌を補助変数化することにより音楽を要約する方法が開示されている。
【０００７】
これらスピーチ認識の特徴は、ボーカル(声楽)を持つ１個の音楽の歌体系を発見するために様々なクラスタ解析技術と共に応用されえる。そして、発見的方法はこの体系を与えるキー・フレーズを抽出するために用いられる。この要約化方法は、ロックやフォーク音楽などのボーカル(声楽)を持つ特定のジャンルの音楽に対して適当であるが、この方法は純粋音楽あるいは、古典あるいはジャズ音楽のような楽器のジャンルには不向きである。
【０００８】
メルケプストラム特徴は、特徴的に音楽コンテンツ、特に、純粋音楽、例えば、楽器音楽の特性を反映し得ない。だから、この方法の要約化品質は、特に、全てのタイプの音楽ジャンルの音楽要約化を要求する応用には受け入れられない。
【非特許文献１】名称「キー・フレーズを用いる音楽要約」筆者：ベス  ローガンおよびステファン  チュー、（音声、スピーチおよび信号処理に関するＩＥＥＥ国際会議、オランドー、米国、２０００年、ページ７４９−７５４）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従って、例えば、コンテンツ基礎の音楽検索や実時間応用のためのウエッブ基礎の音楽配布内での利用のため、全てのタイプの音楽ジャンルの音楽索引付けに適用されうるデジタル音楽生データの自動音楽要約化の必要がある。
【課題を解決するための手段】
【００１０】
本発明の１側面によれば、オーディオデータの少なくとも１個の計算された特徴の特性を有するオーディオデータの表現を確認するためにオーディオデータを解析するステップと、少なくとも２個の分類区分から選ばれた分類区分に、表現を基礎としたオーディオデータを分類するステップと、デジタルオーディオデータの要約を代表する音響信号を生成するステップを備え、要約化が選ばれた分類区分に依存することを特徴とするデジタルオーディオデータの要約方法を提供する。
【００１１】
他の実施の形態においては、分析ステップが更に、オーディオデータをセグメントフレームに分割することと、フレームを重ね合わすことを備え、そして・あるいは、分類ステップが更に、各フレームから訓練データを収集することによりフレームを分類区分に分類することと、訓練計算を用いることにより分類補助変数を決定することを備える。
【００１２】
本発明の別の側面によれば、オーディオデータを受信し、オーディオデータの少なくとも１個の計算された特徴の特性を有するオーディオデータの表現を確認するためにオーディオデータを解析するための特徴抽出器と、特徴抽出器から少なくとも２個の分類区分から選ばれた分類区分に受け取られた表現を基礎とした音声データを分類するための特徴抽出器と連絡をとる分類器と、デジタルオーディオデータの要約を代表する音響信号を生成するための分類器と連絡をとる要約器を備え、要約化が分類器によって選ばれた分類区分に依存することを特徴とするデジタルオーディオデータの要約装置を提供する。
【００１３】
他の実施の形態においては、装置は、更に、オーディオファイルを受け取り、オーディオデータをセグメントフレームに分割し、特徴抽出器のためにフレームを重ね合わすための特徴抽出器と連絡をとる分割器（セグメント器）を備える。装置は、更に、前記分類器と連絡をとる分類補助変数発生器を備え、各フレームから訓練データを収集し、分類補助変数発生器内の訓練計算を用いることにより分類補助変数を決定することにより、分類器は各フレームを分類区分に分類する。
【００１４】
本発明の更なる側面によれば、デジタルオーディオデータの要約を行わせるための記媒体に収録されたコンピュータ読み取り可能プログラムコード手段を有するコンピュータ利用可能媒体を備えたデジタルオーディオデータの要約のためのコンピュータプログラム製品であって、オーディオデータの少なくとも１個の計算された特徴の特性を有するオーディオデータの表現を確認するためにオーディオデータを解析するためのコンピュータ読み取り可能プログラムコード手段と、少なくとも２個の分類区分から選ばれた分類区分へ表現を基礎とした音声データを分類するためのコンピュータ読み取り可能プログラムコードと、デジタルオーディオデータの要約を代表する音響信号を生成するためのコンピュータ読み取り可能プログラムコードを備え、要約化が選ばれた分類区分に依存することを特徴とするコンピュータプログラム製品を提供する。
【発明の効果】
【００１５】
本発明の実施の形態は、本質的に高度に体系化された音楽生データのようなデジタルオーディオデータの自動要約を提供する。一実施の形態は、例えば、古典、ジャズ、ポップ、ロックあるいは楽器音楽の純粋および・またはボーカル音楽のようなオーディオファイルに対する要約を提供する。一実施の形態の別の特徴は、純粋音楽やボーカル音楽を確認するために分類器を設計するために適応訓練アルゴリズムを用いることである。一実施の形態の別の特徴は、適応クラスタリング（階層化)アルゴリズムを用い、領域(ドメイン)基礎の音楽知識を適用して音楽コンテンツを体系化することにより、純粋音楽やボーカル音楽用に音楽要約を創作することである。
【００１６】
一実施の形態は、音楽フレームから独特の特徴を抽出すること、分類器を設計すること、適応学習・訓練アルゴリズムを用いて分類補助変数を決定することおよび分類器によって純粋な音楽かボーカル音楽へ音楽を確認することによりデジタルオーディオデータから純粋音楽やボーカル音楽を確認するためにデジタルオーディオ生データに対して自動要約を提供する。純粋音楽に対して、時間、スペクトラムおよびケプストラム特徴は音楽コンテンツを特徴付けるために計算される、そして適応クラスタリング方法は、計算された特徴によって音楽コンテンツを体系化するために用いられる。
【００１７】
要約は、階層化（クラスタ）された結果と領域基礎の音楽知識によって創作される。ボーカル音楽に対して、特徴に関係した音声は抽出され、音楽コンテンツを体系化するために使われる、同様に音楽要約は、体系化されたコンテンツおよび音楽ジャンルに関係した発見的規則の点で創作される。
【発明を実施するための最良の形態】
【００１８】
図１は、本発明の実施の形態によるオーディオ要約を発生するために用いられたシステム１００のコンポーネントかつ/あるいはモジュールを示すブロック図である。システムは、分割器（又はセグメント器）１１４で音楽コンテンツ１２のようなオーディオファイルを受け取る。
【００１９】
音楽シーケンス(連続)１２はフレームに分割(セグメント化)され、特徴抽出器１１６の各フレームで特徴が抽出される。分類器１１８は、分類補助変数発生器１２０から供給された分類補助変数を基準に、抽出されたフレームの特徴を純粋音楽シーケンス１４０あるいはボーカル音楽シーケンス１６０のような分類区分に分類する。純粋音楽を歌声のない音楽コンテンツとして定義し、ボーカル音楽を歌声のある音楽コンテンツとして定義する。オーディオ要約は、分類区分用に特に設計されたオーディオコンテンツ、分類器により分類されたオーディオコンテンツのいずれかの要約化を遂行する音楽要約器１２２および１２４のいずれでも発生し、オーディオ知識モジュール内あるいは参照表１５０のオーディオコンテンツの特定の分類区分の情報の援助で計算されえる。２個の要約器が図１に示されるが、オーディオファイルの１個の形式用には１個の要約器のみしか要求されないことが望ましい、例えば、全てのオーディオファイルは、純粋音楽あるいはボーカル音楽のような音楽コンテンツの１個の形式のみを含む。図１は、例えば純粋音楽要約器１２２およびボーカル音楽要約器１２４のような２個の音楽の一般形式用に装備される２個の要約器を示す。そして、システムはオーディオシーケンス要約、例えば、音楽要約２６を提供する。
【００２０】
図１に描かれた実施の形態とこれとともに論議された方法は、公知の技術のコンピュータアーキテクチャ上で一般に装備されえる。記述された発明の実施の形態の機能はハードウェアあるいはソフトウェアのいずれでも装備されえる。システムのソフトウェア感覚のコンポーネントは、通常特別な機能あるいは関連した機能を遂行するプロセス、プログラム、あるいはそれについての部分でありえる。ハードウェア感覚において、コンポーネントは他のコンポーネントでの使用のために設計された機能的なハードウェアユニットである。例えば、コンポーネントは、個別の電気部品を用いて装備しうる、あるいは、特定用途用のＩＣ（ASIC）のようなすべて電子回路の一部を形成しうる。存在する数々の他の可能性があり、それら分野の技術者は、システムが同様にハードウェアとソフトウェアコンポーネントの組み合わせとして装備されることが望ましい。
【００２１】
パーソナルコンピュータあるいはサーバーは、実施の形態が内部にあるいは上で実行しうるコンピュータアーキテクチャの例である。そのようなコンピュータアーキテクチャは、マイクロプロセッサーを持つ中央処理ユニット（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、それぞれ情報の一時的あるいは永久記憶用のリードオンリーメモリ（ＲＯＭ）およびハードドライブ、ディスクあるいはＣＤＲＯＭなどのような大容量記憶装置のようなコンポーネントかつ/あるいはモジュールから構成される。そのようなコンピュータアーキテクチャは更に、コンポーネントおよびコンポーネントや制御情報およびコンポーネントの間の通信を連絡するためのバスを備える。更に、ユーザ入力用キーボード、マウス、マイクロホーンなど、および出力用表示、プリンター、スピーカなどのような、ユーザ入出力インタフェースが通常備えられる。一般的に、各々のユーザ入出力インタフェースはコントローラによりバスに接続され、コントローラソフトウェアで実行される。勿論、全ての数の入出力装置がそのようなシステムで実行しうることは明白である。コンピュータシステムは通常CPUにあるオペレーティングソフトウェアにより制御・管理される。一般に利用出来、知られたたくさんのオペレーティングソフトウェアがある。だから、本発明の実施の形態は、そのようなコンピュータアーキテクチャ内かつ/あるいは上で実行されえる。
【００２２】
図２は、システムのコンポーネントかつ/あるいは本発明の実施の形態による音楽要約のようなオーディオ要約を自動的に創作するために用いられた方法１０のブロック図を示す。この実施の形態は入力されるオーディオデータを受信して始まる。オーディオファイル１２のような入力オーディオデータは、例えば、音楽シーケンスあるいはコンテンを構成する。音楽コンテンツは、まずセグメント化ステップ１４でフレームに分割（セグメント化）される。
【００２３】
そして、特徴抽出ステップ１６はそのように特徴付ける、例えば、音楽コンテンツの特性を表現するために、線形予測係数、ゼロ交差レートおよびメルケプストラル係数を抽出し、そして各フレームの特徴ベクトルを形成するため互いに計算される。全音楽シーケンスの各フレームの特徴ベクトルは分類器を通じて、純粋音楽あるいはボーカル音楽のような分類区分に送られる。どんな数の分類区分も利用しうることが望ましい。分類器１８の分類補助変数２０は、図３に示す訓練・分類プロセスによって決定される。一度、音楽分類区分、純粋音楽４０あるいはボーカル音楽６０のようなオーディオ分類区分に分類されれば、各分類区分が要約され、そしてオーディオ要約２６が終わる。例えば、純粋音楽の要約化ステップ２２を図４に詳細に示す。同様に、ボーカル音楽の要約化ステップ２４を図５に詳細に示す。
【００２４】
図３は、本発明の一実施の形態による分類器１８の分類補助変数２０（図２に示す）を生成するための一実施の形態の訓練・分類補助変数プロセス３８の概略ブロック図を示す。純粋音楽やボーカル音楽のような異なる分類区分へ音楽コンテンツを識別するために、分類器１８が備えられる。分類器１８のための分類補助変数２０は訓練プロセス３８により決定される。訓練プロセスは、音楽フレームを、例えば、ボーカル６０あるいは非ボーカル４０のクラスのような分類に分類するための最適な方法を見出すために音楽訓練サンプルデータを分析する。訓練オーディオ３０は統計的に重要であることで十分である。例えば、訓練データは、様々な供給源から生成され、様々なジャンルの音楽を含むべきである。そして図２のセグメント化１４で述べたように、訓練サンプルオーディオデータは、また固定長と重複フレームに分割（セグメント化）される（３２）。
【００２５】
線形予測係数、ゼロ交差レートおよびメル・頻度ケプストラル係数などの特徴が各フレームから抽出される（３４）。各フレームから選ばれた特徴は、分類を最も特徴付ける特徴である、例えば、特徴は、ボーカルクラスを最も特徴付けるボーカルクラスのために選ばれる。計算された特徴は、分類補助変数２０の生成のために、隠れマルコフモデル、ニューラルネットワークあるいはサポートベクターマシなどの訓練アルゴリズム３６によって階層化される。全てのそのような訓練アルゴリズムが使用しうる、しかし、いくつかの訓練アルゴリズムが、すべての特別な用途により適しているかもしれない。例えば、サポートベクターマシ訓練アルゴリズムは良い分類結果を達成しうるが、他の訓練アルゴリズムに比べて訓練時間が長い。訓練プロセスは一度だけ実行される必要があるが、全ての回数で実行しうる。得られた分類補助変数は、例えば、非ボーカルあるいは純粋音楽やボーカル音楽のオーディオコンテンツの異なる分類の識別に用いられる。
【００２６】
図４は、純粋音楽要約化の一実施の形態の概略ブロック図を示す、そして図５は、ボーカル音楽要約化の一実施の形態の概略ブロック図を示す。要約化の目的は、音楽シーケンスのような与えられたオーディオデータを分析し、音楽の顕著なテーマを反映するために重要なフレームを抽出することである。各フレームの計算された特徴を基準に、適応クラスタリング方法が音楽フレームと音楽コンテンツの構造をグループ化するために用いられる。隣接フレームは重複（オーバラップ）があるので、重複の長さは、フレームのグルーピングのために決定される。初期段階で、正確に重複の長さを決定することは困難である。もしクラスタリング結果がフレームグループ化に理想的でなければ調節されて、重複の長さは適応可能でありうる。一般的なクラスタリングアルゴリズムの例は以下の通りである。
（１）図６に示すように、分割器（セグメント器）１１４あるいはセグメント化ステップ４２、６２で、音楽信号は、Ｎ個の固定長、７３、７４、７５、７６に分割され、重複フレーム７７，７８，７９を提供する、例えば、図６に示すように５０％、そして各フレームに数ｉ（ｉ＝１，２，…Ｎ）をラベル付けする、クラスタの初期セットは全フレームである。ステップ４２、４６でのセグメント化プロセスは、また、上述し図２および３に示すようにセグメント化ステップ１４、３２のような他の発生で実行されたセグメント化プロセスの同じ手順に従う。
（２）各フレームについて、特徴抽出ステップで特徴抽出を計算する、特にオーディオファイルの特別な分類区分で、例えば、線形予測係数、ゼロ交差レートおよびメル・頻度ケプストラル係数を抽出ベクトル
【数１】
2006508390.tif 000003
を形成するために計算する。ここでＬＰＣiは、線形予測係数を、ＺＣＲiは、ゼロ交差レートをＭＦＣＣiは、メル・頻度ケプストラル係数を表す。
（３）全ての一対の音楽フレームi とj 間の距離を、例えばマハラノビス距離を用いて計算する、
【数２】
2006508390.tif 000004
ここで、Ｒは特徴ベクトルの共分散行列である。Ｒ-1が対称であるのでＲ-1は半(ｓｅｍｉ)あるいは正行列である。Ｒ-1は、ＰTΛＰとして対角化しうる。ここでΛは対角化行列でありＰは直交行列である。（２）式はユークリッド距離の点で次のように簡略化しうる。
【数３】
2006508390.tif 000005
ΛとＰは、Ｒ-1から直接計算しうるので、ベクトル距離の複雑な計算は、Ｏ(ｎ2)からＯ(ｎ)に減少しうる。
（４）図７に示すように２次元表現８０に計算済み距離をはめ込む。行列Ｓ８０は、全てのフレームの組み合わせに対する計算された類似量を含む、フレーム添え字iとjなので、Ｓのi, j番目の要素がＤ(i, j) になる。
（５）２次元行列Ｓの各行に対して、もし全ての２個のフレーム間の距離が事前定義の閾値より小であれば、例えば、この実施の形態では、事前定義の閾値は、１．０のような値である、そして、フレームは同じクラスタ（階層）にグループ化される。
（６）もし最終のクラスタリング結果が理想的でなければ、２個のフレームの重複長を調整し、ステップ（２）から（５）までを繰り返す、図４の矢印４５および図５の矢印６５で示す。例えば、この実施の形態では、理想の結果は、クラスタリング後、クラスタの数が初期クラスタ数より十分に少ないことを意味する。もし、結果が理想的でなければ、重複は、重複長の変更、例えば５０％から４０％、により調整されうる。
【００２７】
特定の分類区分に対するクラスタリングを参照する、図４は、純粋／非ボーカル音楽に対する要約化プロセスを示し、図５は、ボーカル音楽に対する要約化プロセスを示す。図４において、まず、純粋音楽コンテンツ４０は長さに分割され４２、例えば、上記のように固定長と重複フレーム、そして特徴抽出４４は、上述のように各フレームで実行される。抽出された特徴は、音量エンベロープ、電力スペクトラムあるいはメル・頻度ケプストラム係数などを含む、それらは純粋音楽コンテンツを時間的、スペクトラムおよびケプストラム領域に特徴付ける。純粋音楽コンテンツに特徴付けするために、他の特徴を抽出することは望ましいし、ここに挙げた特徴に限るものではない。計算された特徴を基準に、適応クラスタリング４６アルゴリズムがフレームのグループ化に適用される、そして音楽コンテンツの構造を得る。セグメント化および適応クラスタリングアルゴリズムは上記と同じである。例えば、最初のパス後、クラスタリング結果が、判定ステップ４７、６９で理想的でなければ、セグメント化ステップ４２、６２と特徴抽出ステップ４４、６４は、異なる重複関係を持つフレームで繰り返される。このプロセスは、矢印４５、６５で示すように、照会ステップ４７、６９で、所望クラスタリング結果に達するまで、繰り返される。クラスタリング後、類似特徴を持つフレームが、音楽コンテンツの構造を表す同じクラスタにグループ化される。そして、要約発生４８は、この構造と領域基準の音楽知識５０の点で実行される。音楽知識によって、最も識別的あるいは代表的音楽テーマが、全部の音楽作業内で繰り返し生じるべきである。
【００２８】
要約５２の長さは、最も独特であるかあるいは全体音楽の代表的な専門を表すに十分長くあるべきである。通常、３から４分の音楽に対して、３０秒は要約の適切な長さである。音楽作業の要約発生のための例は、次のようである。
（１）フレームの最大量を含むクラスタを判別する。
これらフレームのラベルは、ｆ1, ｆ2, …..ｆn である。ここで、
ｆ１＜ｆ2 ＜………..＜ｆn   .
（２）これらフレームから、次の規則によって最小ラベルｆiを持つフレームを選ぶ。
ｍ＝１からｋに対して、
もし、フレーム(ｆi＋ｍ)とフレーム(ｆj＋ｍ)が同じクラスタに属しているならば、
i, j∈｛１，ｎ｝, i＜j,ｋは要約長を決定するための数である。
（３）フレーム(ｆi＋１), (ｆi＋２),…….., (ｆi＋ｋ)は最終の音楽要約である。
【００２９】
図５は一実施の形態によるボーカル音楽要約化の概略ブロック図である。まず、ボーカル音楽コンテン６０は固定長にセグメント化され６２、そして上記で論じた同じ方法で実行されるフレームに重ねられる。特徴抽出６４は各フレームで行われ、抽出された特徴は、ボーカル音楽コンテンツを特徴しうる線形予測係数、ゼロ交差レートおよびメルケプストラル係数などを含む。勿論、非ボーカル音楽について上述したように、その他の特徴がボーカル音楽コンテンツを特徴付けるために抽出されることは望ましいし、ここに挙げた特徴に限定されるものではない。計算された特徴を基準に、ボーカルフレーム６６が突き止められ、他の非ボーカルフレームは捨てられる。適応クラスタリング(階層化)アルゴリズム６８がこれらボーカルフレームをグループ化するために適用され、そしてボーカル音楽コンテンツの構造を得る。セグメント化と適応クラスタリングアルゴリズムは、上記と同じであり、例えば、もし、クラスタリング結果が理想的でなければ、セグメント化ステップ６２と特徴抽出ステップ６２は、異なる重複関係を持つフレームで繰り返される。
【００３０】
図５の判定ステップ６９および分岐６５に示すように、プロセスは、所望クラスタリング結果が達成されるまで繰り返される。最後に、音楽要約７０が、クラスタ結果とボーカル音楽に関連する音楽知識５０を基準に作られる。
【００３１】
ボーカル音楽に対する要約化プロセス７２は、純粋音楽のそれと同じであるが、例えば、図１の音楽知識モジュールあるいは参照表１５０の音楽知識５０として蓄えられうるいくつかの相違がある。最初の相違は特徴抽出である。音声関連特徴が純粋音楽コンテンツの特性をうまく表現しうるので、純粋音楽に対しては、音量エンベロープや電力スペクトラムのような電力関連特徴が用いられる。音量エンベロープは時間領域で計算され、一方、スペクトラム電力は周波数領域で計算される。ボーカル音楽に対しては、それらがボーカル音楽コンテンツの特性をうまく表現しうるので、線形予測係数、ゼロ交差レートおよびメルケプストラル係数のような音声関連特徴が用いられる。
【００３２】
純粋音楽とボーカル音楽要約化プロセス間の他の相違は、要約生成である。純粋音楽に対しては、要約はまだ純粋な音楽である。しかし、ボーカル音楽に対しては、要約はボーカル部分で始まるべきで、要約で音楽タイトルを歌わせることが望ましい。音楽知識５０として蓄えられうる音楽ジャンルと関連したいくつかの他の規則がある。ポップスやロック音楽では、例えば、主なメロディ部分は一般に主な変化のない同じ方法で繰り返す。ポップス及びロックミュージックは通常同じようなスキームあるいはパターンに続く、例えば、ＡＢＡＢ形式、ここでＡはバースをＢはリフレインを表す。主なテーマ（リフレイン）部分は、バース、ブリッジなどに続いて最も頻繁に発生する。しかしながら、ジャズ音楽は通常ミュージシャンたちの即興詩、ほとんどの部分で変化を作る、主なメロディ部分の決定の問題の創作から成る。
【００３３】
だからジャズ音楽の中に一般にリフレインがなく、ジャズ音楽での主な部分はバースである。
【００３４】
実質的に、本発明の一実施の形態は独特の相対相違値を含む音楽情報の表現が比較的に簡素で独特の表現手段、音楽の情報に索引を付けて、かつ/あるいは探し出す手段を提供することを実現する。また、これら相対相違値が未構造モノリス音楽生デジタルデータに対して相対的な複雑でない構造表現を提供することを発見した。
【００３５】
控えめな方法で、デジタルオーディオ生データの要約を提供するための方法、システムおよびコンピュータプログラム製品が開示された。ほんのいくつかの実施の形態が記述された。
【００３６】
しかしながら、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変更可能であることはいうまでもない。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施の形態によるオーディオファイル要約を生成するために利用されるシステムのブロック図である。
【図２】本発明の一実施の形態によるオーディオファイル要約を生成するための方法を示すフローチャートである。
【図３】本発明の一実施の形態による図１と２の分類器の分類補助変数を生成するための訓練プロセスのフローチャートである。
【図４】本発明の一実施の形態による更に詳細な図２の純粋音楽最適化のフローチャートである。
【図５】本発明の一実施の形態による更に詳細な図２のボーカル音楽最適化のブロック図を示す。
【図６】本発明の一実施の形態による、重複フレームへのオーディオ生データのセグメント化を表すグラフを示す。
【図７】本発明の一実施の形態による、図６のフレームの２次元表現の距離マトリクスを示す。
【符号の説明】
【００３８】
１２  オーディオファイル、１４  セグメント化、１６  特徴抽出、１８  分類器、２０  分類補助変数、２２，２４  要約化、２６  オーディオ要約
【図１】
2006508390.tif 000006
【図２】
2006508390.tif 000007
【図３】
2006508390.tif 000008
【図４】
2006508390.tif 000009
【図５】
2006508390.tif 000010
【図６】
2006508390.tif 000011
【図７】
2006508390.tif 000012
【国際調査報告】
2006508390.tif 000013