(57)【特許請求の範囲】
【請求項１】
オーディオビジュアルファイルによって表されるオーディオビジュアル作品の属性の値を示すタグのセットであって、入力オーディオビジュアルファイルのタグのセットを全自動で生成する方法において、
解析部が、上記入力オーディオビジュアルファイルによって表されるオーディオビジュアル作品の物理特性を解析し、上記オーディオビジュアル作品の物理特性を示す１つ以上の特徴値のセットを評価するステップと、
供給部が、オーディオビジュアル作品の物理特性と、オーディオビジュアル作品に適用可能なタグとの間の第１の相関に基づいて、上記評価された特徴値のセットを初期推定値に自動的に変換することによって、タグのセットの初期推定値を供給するステップと、
生成部が、上記初期推定値のタグに、手動タグ付オーディオビジュアルファイルに対応するオーディオビジュアル作品である訓練例のセットにおけるタグ間の相関を定義する１つ以上の相関関数のセットを適用して、修正タグ推定値を生成するステップと、
上記生成部が、上記相関関数を適用するステップの最終結果を、上記入力オーディオビジュアルファイルのタグのセットとして出力するステップとを有し、
上記相関関数を適用するステップにおいて、上記生成部が、オーディオビジュアル作品の物理特性との相関が低いタグに上記相関関数を適用せずに、オーディオビジュアル作品の物理特性と相関を持つタグに上記相関関数を適用することによって、初期推定値のタグに対して選択的に相関関数を適用する
ことを特徴とするオーディオビジュアルファイルタグ生成方法。
【請求項２】
上記初期推定値を供給するステップは、
上記供給部が、上記特徴値のセットを評価するステップにおいて上記入力オーディオビジュアル作品について評価された特徴値のセットに類似の特徴値のセットを有する訓練例を識別するステップと、
上記供給部が、上記訓練例を識別するステップにおいて識別された訓練例のタグに基づく推論により、上記入力オーディオビジュアルファイルについてのタグのセットの初期推定値を生成するステップと
を有することを特徴とする請求項１記載のオーディオビジュアルファイルタグ生成方法。
【請求項３】
上記初期推定値を供給するステップにおいて、上記供給部が、信頼基準を初期推定値の各タグに関連付け、
上記相関関数を適用するステップにおいて、上記生成部が、閾値レベルよりも高い信頼度を表す信頼基準と関連付けられた推定されたタグだけに相関関数を適用する
ことを特徴とする請求項１記載のオーディオビジュアルファイルタグ生成方法。
【請求項４】
上記生成部が、上記相関関数を適用するステップを反復して実行し、各反復の後に、
各タグの値のそれまでの最良推定値を決定するステップを更に有し、
最初の反復では、上記生成部が、上記相関関数を上記タグのセットの推定値に適用し、以降の反復では、上記相関関数を各タグのそれまでの最良推定値に適用する
ことを特徴とする請求項１記載のオーディオビジュアルファイルタグ生成方法。
【請求項５】
上記オーディオビジュアルファイルは、音楽ファイルであり、
上記特徴値のセットを評価するステップは、上記解析部が、上記特徴値として、テーマ音楽ファイルによって表される音楽作品の調和特性と音色からなるグループにおいて選択された少なくとも１つの特性を数値化することを含み、
上記訓練例を識別するステップにおいて、上記供給部が、上記訓練例の調和特性及び／又は音色が、上記数値化されたテーマ音楽作品の調和特性及び／又は音色に類似しているか否かに基づき、該訓練例がサブジェクト音楽作品に類似しているかどうかを決定する
ことを特徴とする請求項２項記載のオーディオビジュアルファイルタグ生成方法。
【請求項６】
コンピュータ装置で実行されたときに、該コンピュータ装置に請求項１乃至５いずれか１項記載のオーディオビジュアルファイルタグ生成を実行させる命令のセットを有するコンピュータプログラム。
【請求項７】
請求項１乃至５いずれか１項に記載のオーディオビジュアルファイルタグ生成方法を実施するようにプログラミングされたコンピュータ装置を備えるオーディオビジュアルファイルタグ付けシステム。
【請求項８】
上記訓練例についてのタグのデータを記憶するメモリを更に備える請求項７記載のオーディオビジュアルファイルタグ付けシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には、データベースシステム用の、オーディオビジュアル作品の分類に関し、特に、音楽ファイル、画像ファイル、テキストファイル、ｅブック（すなわち、話し言葉ファイル）、ビデオファイル等用のメタデータの生成（別名、コンテンツファイルの「タグ付け」）に関する。
【背景技術】
【０００２】
近年、多数のコンテンツコレクションが、ユーザが（例えば、コンピュータ、携帯電話機等にダウンロードすることによって）そのコレクションにアクセスするのに料金を徴収して許可するサービスプロバイダによって構築されることが多く、また、個人によるコンテンツコレクションの構築も行われている。
【０００３】
データベースにおいては、オーディオビジュアル作品のファイルは、多数の記述子（多くの場合、「タグ」又は「メタデータ」と呼ばれる）と関連付けて記憶するのが一般的には望ましい。メタデータは低レベル情報と関連付けることができ、典型的にはオーディオビジュアル作品自体を示す物理的特徴と関連特徴値を識別する（例えば、音楽ファイルについては、特徴は「音響信号の第１のメル周波数ケプストラム係数（ＭＦＣＣ）の平均」とすることができ、対応特徴値は「５.２３」とすることができる）。典型的に解析された信号の特定の関数が短時間ウィンドウで計算される場合は、このような特徴値情報はベクトルデータとすることができる。この種類の低レベルメタデータをユーザが見ることは殆どない。ユーザは、一般的には、例えば「この楽曲はロックだ」、「この画像は自然だ」等のように、オーディオビジュアル作品の人間が知覚可能な属性を記述した高レベル情報に関するメタデータにより精通している。
【０００４】
これらのタグにより、データベースのコンテンツに様々な方法でアクセスすることが可能となり、例えば、ユーザが種類別に（例えば、特定のジャンルの楽曲、特定の楽器を含む音楽作品等）記憶された音楽を閲覧したり、ある判定基準（例えば、人間を示す全ての画像を排除）に従ってデータベースを選別したりすることが可能となる。
【０００５】
オーディオビジュアルファイルと関連付けられるタグの数は極端に多くなる可能性がある。例えば、Ｓｏｎy Ｎｅｔｓｅｒｖｉｃｅｓ社が実施中のＳｔｒｅａｍＭａｎプロジェクトでは、データベースの各音楽作品の約８００の属性にタグが付けられている。さらに、データベースのファイル数は非常に多くなる（例えば、数千）。したがって、コンテンツコレクションに手動タグ付を行うのは極端に骨の折れる仕事になることがある。
【０００６】
手動タグ付への共同アプローチを推進し、ネットワーク（例えば、インターネット）に接続された遠隔ユーザにデータベースの作品のタグを提供するよう要請しているシステムも幾つか存在する。例えば、ウエブサイトｗｗｗ．ｆｌｉｃｋｒ．ｃｏｍはコレクションの画像にユーザがタグを提供することを可能にしている。しかしながら、不特定多数のユーザがオーディオビジュアルコンテンツのタグを手動で生成する場合は、どのタグをオーディオビジュアル作品の特定の特性に割り当てるべきかについてのコンセンサスが欠如している可能性がある。したがって、オーディオビジュアルコンテンツのタグの自動生成システムを発見しようとする動きが行われてきた。
【０００７】
音楽（又はボーカル）作品を表す音響信号を見ることにより音楽作品（一般的なボーカル作品、すなわち、話し言葉を含む）についての記述子を自動的に生成する多くの技術が既に提案されている。同様に、静止画像又はビデオの属性（例えば、色、質感、運動速度等）に関する情報の抽出を含む多くのコンテンツベース検索技術も存在している。一般的には、これらのアプローチは「信号処理」ベースアプローチと呼ぶことができる。
【０００８】
オーディオビジュアル作品と関連付けられた高レベル属性データ（メタデータ、タグ）が、オーディオビジュアル作品を表す信号から抽出可能な低レベル特徴と関連付けられることが多い。例えば、音楽作品の音色と特定のジャンルカテゴリ又は「迫力満点」又は「温かい」のような極端なムードとの間にはそれなりの良好な相関がある。同様に、画像の質感と「自然」のような特定のテーマカテゴリの間、ビデオシーケンスのフレームの中での運動の速度及び範囲と「アクション」ジャンルとの間等には、それなりの良好な相関がある。したがって、幾つかの先行提案は、オーディオビジュアル作品を表す信号の特徴の解析実施と、信号の特徴に基づく推論による作品の高レベル属性についての値の予測とを含んでいる。
【０００９】
しかしながら、オーディオビジュアル作品は、作品の感情的ムード（ロマンチック、興奮、‥）、ビデオのアクションの種類（激しいアクション、スローなアクション、‥）等のような文化的又は主観的判定基準により作品を記述する属性データのような、「信号関連」ではない属性データを用いて記述することもできる。さらに、ときには、オーディオビジュアル作品が、客観的に決定することができるにもかかわらず、機械により決定するには余りにも複雑すぎる属性を有することもある。従来の信号処理ベースの分類システムは、これらの種類の「文化的」又は「複雑な」属性データを生成しようとすると機能しなくなる傾向がある。
【００１０】
上述の種類の信号処理ベースアプローチは制度に限界があり、記述中の音楽、テキスト又は画像（例えば、歌詞の内容、複雑なムード又は関連状況）との相関が殆どない、又は非常に狭く定義されたカテゴリ又はサブカテゴリ（例えば、楽曲がカリフォルニアサーフロックのジャンルであることを示す属性）を示す文化的又は主観的属性を決定しようとすると機能しなくなるのである。
【００１１】
種類の異なるオーディオビジュアル作品が有する属性の幾つかの間には相関があることは周知である。例えば、属性「ジャンル＝ヘビーメタル」を有する音楽は、属性「主要楽器＝電気ギター」、「歌詞＝社会的抗議」、「男性歌手」及び「バイオレントアクション状況に伴うサウンドトラックに適する」も有することが多い。同様に、属性「色＝緑」及び「質感＝植物性」は属性「テーマ＝自然」も有することが多い。これらの相関は、例えば、ニューラルネットワーク又は決定木のような分類子をトレーニングすることにより相関を学習する技術のような、機械学習又はデータマイニング技術を用いて調べることができる。しかしながら、これらのデータマイニング技術が一般的に使用されるのは、既にタグが付けられたオーディオビジュアル作品の本体に存在する相関を評価する場合である。
【００１２】
種類の異なる分類子をトレーニングするための様々な周知のアルゴリズムが存在しており、トレーニングに基づき行われる。例えば、決定木分類子は、同じ楽曲に適用されるその他のカテゴリに関する情報を調べることにより、入力された作品が特定のカテゴリに含まれるかどうかを一般的には決定しようとする。決定木を構築するための従来のアルゴリズムは、強固で、コンパクトで、精密な決定木を構築するようになっており、決定木において使用される「非カテゴリ」属性の間で階層を識別することを目的とする技術を含むことが多い（すなわち、特定の「非カテゴリ」属性はその他の属性よりも有益なことがあり、決定木の根により近いノードに位置する傾向にある。その他の属性は、入力されたオーディオビジュアル作品が目標カテゴリに含まれるかどうかを決定するのには役に立たず、決定木のいかなるノードにおいても使用されることはない、すなわち、決定木は、有益な属性だけを考慮するように刈り込まれる）。
【００１３】
トレーニングされた分類子の例として、図１に示した決定木を考えてみよう。この決定木は、楽曲Ｓについて、「バリアント  自然／アコースティック」という名称の属性を有するか否かを予測しようとする。意志決定プロセスは図１の左上隅の「根」（標識Ａ付き）から始まり、各ノードにおいて行われた決定に応じて、その楽曲が属性「バリアント  自然／アコースティック」を有するか否かを示すそれぞれの「葉」のところで終わる。各葉のところには括弧に入った数字ｑ／ｒがあり、ｑはその葉において予測が行われたデータベースの楽曲の曲数が正しいことを示し、ｒは予測が間違った曲数を示している。
【００１４】
しかしながら、図１の決定木がカテゴリ「バリアント  自然／アコースティック」に楽曲Ｓが含まれるか否かを決定するためには、楽曲Ｓがその他の１４の属性、特に、「バリアント  迫力満点」、「時代  １９５０〜１９６０年」、「ジャンル  歌手／作曲家」、「状況  アクション／速いカット／興奮」、「スタイル  ロック」、「音楽セットアップ  フォークバンド」、「スタイル  ジャズ」、「ジャンル  ライブ  クラシック」、「主要楽器  ギター（ディストーション）」、「状況  ファイト」、「スタイル  ソウル」、「年代１９６０〜１９７０年」、「バリアント  ライブ」、「年代１９８０〜１９９０年」と名付けられた属性を有するか否かを決定することが必要である。したがって、決定木は音楽作品を表すタグなし音楽ファイル用にタグを生成するのには役に立たないのである。
【００１５】
オーディオビジュアル作品の自動タグ付けの問題点は、ブーリアンタグを、すなわち、特定の作品について「属性Ｘは真」、「属性Ｘは偽」等であることを示す属性を用いて記述されたオーディオビジュアル作品に関しては既に上で述べたとおりである。しかしながら、タグは必ずしもブーリアンタグだけではなく、その他の種類のタグも存在しており、例えば、あるセットの中から選択された値を取ることのできる属性に関連付けることもできる種類のタグもある。これらのその他のタグの場合にも、自動的に値を割り当てることができる方法又はシステムを発見するのは困難である。
【発明の開示】
【課題を解決するための手段】
【００１６】
本発明は、上述の問題点に鑑みて行われたものである。
【００１７】
本発明は、特許請求の範囲に定義されたオーディオビジュアルファイルの自動タグ付け方法を提供する。
【００１８】
さらに、本発明は、特許請求の範囲に定義されたオーディオビジュアルファイルのタグ付けシステムを提供する。
【００１９】
さらにまた、本発明は、特許請求の範囲に定義されたコンピュータプログラムを提供する。
【００２０】
本発明により提供されるオーディオビジュアルファイルのタグ付け方法及びシステムは、信号処理ベース技術を使用する周知の方法及びシステムよりも精密であり、信号ベースメタデータ抽出技術によっては通常はカバーされない属性のタグ（例えば、主観的感情、関連の個人的思い出、編集情報、例えば、歌詞、言語、記録日時等）を生成することを可能にする。さらに、本発明は、メタデータの初期推定値をシステムにブートストラップすることにより、データマイニング技術を新しい作品についてのメタデータの自動抽出に適用可能にする。それに加えて、本発明は、メタデータ（タグ）に適用可能な特定の分類法からは独立しており、したがって、異なるタグ及びそれらのタグに関する異なる定義を有する異なるコミュニティのユーザが使用するのに好適である。
【００２１】
本発明は、信号処理の形態と機械学習の形態とを組み合わせたハイブリッドアプローチにより、オーディオビジュアルファイルの全自動タグ付け方法及びシステムを提供するために使用することができる。この全自動方法及びシステムにおいては、信号処理アプローチが、オーディオビジュアル作品の属性（例えば、作品に対応する信号との十分な相関のある属性）の初期推定値を生成するために使用され、その後に、この初期推定値が、（例えば、「文化的」属性のような「より困難な属性」を含む）属性の更新推定値を生成する機械学習モジュールに提供される。手動によるタグ付けが行われたトレーニングデータベースにおける同種のオーディオビジュアル作品（音楽、テキスト、画像、ビデオ等）が有する対応属性の間に存在するものと同じ相関が初期推定値の様々な属性とオーディオビジュアル作品のその他の属性との間に存在すると仮定することにより、機械学習モジュールは典型的にはオーディオビジュアル作品の属性値を推論する。
【００２２】
音楽ファイルの場合は、この全自動タグ付け方法及びシステムは、タグの初期推定値を生成するために、音色ベース推論を使用することもできる。例えば、その音楽ファイルが匹敵する音色を有するトレーニングデータベースの音楽作品のタグに匹敵するタグを有すると推論するための基礎として、入力された音楽ファイルに対応する音楽作品の音色を決定し、使用することができる。別の例として、画像ファイルの場合は、その画像ファイルが匹敵する色と質感を有するトレーニングデータベースの画像ファイルのタグに匹敵するタグを有すると推論するための基礎として、画像の色と質感を決定し、使用することができる。
【００２３】
機械学習モジュールは、手動タグ付されたトレーニングデータベースに関連するデータを用いてトレーニングされた、例えば、ニューラルネットワーク、決定木等のような、分類子を使用することもできる。
【００２４】
本発明は、初期タグデータの手動入力をユーザにプロンプトするオーディオビジュアルファイルの半自動タグ付け方法及びシステムを提供するためにも使用することができる。
【発明を実施するための最良の形態】
【００２５】
本発明の上記及びその他の特徴及び効果は、例示された様々な実施の形態についての以下の説明及び図面からより一層明らかになる。
【００２６】
以下の記述においては、「楽曲」という表現は、音楽作品が「ボーカル」を含むか否かにかかわらず、一般的にあらゆる音楽作品を表すために使用することができるものと理解するものとする。さらに、「画像」という表現は、（写真のような）静止画像にもビデオのフレームにも使用することができる。
【００２７】
さらに、「タグ」という表現は、特定の属性を識別するデータ項目と識別された属性値を示すデータ項目とから構成される二重のデータ項目の略称として一般的には使用されている。しかしながら、常にこうであるとは限らない。
【００２８】
あるシステムでは、コンテンツコレクションのオーディオビジュアルファイルの全てが属性の所定のセットについてのタグを有することが望ましい。このような場合、属性自体の正式の区別なしで（属性値の順序リストの中の特定の値と関連付けられた属性は、リストの中のその値の位置から推論することができる）、各オーディオビジュアルファイルが属性値の順序リストから構成されたタグデータを有するだけで十分とすることができる。
【００２９】
あるシステムでは、ユーザが関心を持つ属性の幾つか又は全てが、例えば、ビデオについての属性「ジャンル  ウェスタン」のような、値「真」又は「偽」だけしか取ることのできないブーリアン属性である。このような属性のタグは、属性識別子「ジャンル  ウェスタン」と関連値「真」の両方を示すこともできる。しかしながら、タグデータをブーリアン属性「ジャンル  ウェスタン」自体の単純な表示に限定し、属性がその作品については「真」である場合は、そのタグを特定のオーディオビジュアル作品に割り当てるだけにする方が効率的である。例えば、属性値［「英語」＝「真」；「ノンフィクション」＝「真」；「テーマ  科学」＝「偽」；「テキストタイプ作品」＝「真」；「言語レジスタ  スラング」＝「偽」］がテキスト作品Ｖについて適用できる場合は、作品Ｖに関してユーザに対して表示されるタグデータは、単にこの作品が英語で書かれたノンフィクション作品であることを示すことができるにすぎない。換言すると、解釈の簡素化のために、値「偽」を有する属性に関してはデータがユーザに対して表示されないように決定することができる。所望する場合は、このオーディオビジュアル作品について、適用不能属性に関するこの「省略」データを生成し、記憶することができる。
【００３０】
属性とそのドメインを定義するために使用される分類法に関しては、本発明には制限はない。例えば、主な色を画像ファイルに記述することを所望する場合は、予想される様々な可能性の全てをカバーするために、ブーリアン属性「色  緑」「色  青」「色  赤」等のセットを定義することもできるし、単一の「多値」属性「主な色」とその属性について可能性のある値｛「青」、「赤」。「緑」‥｝のセットを定義することもできる。第１の場合は、属性の数は増えるが、可能性のある値は２つしかなく、それに対して、第２の場合は、属性の数は限定されるが、可能性のある値の数は増える。本発明は選ばれる分類法とは無関係に適用可能である。
【００３１】
本発明は、オーディオビジュアル作品の様々な属性の間に存在することが知られている相関を有効に利用する。詳細には、本発明は、（手動によりタグ付けが既に行われている）の属性の間に存在する相関が、同種のその他のオーディオビジュアル作品の、特に、そのファイルには現在タグ付けが行われていないが、タグ付けが必要であるオーディオビジュアル作品の属性の間にも存在する傾向があると仮定している。本発明に係るファイルタグ付け方法は、オーディオビジュアルファイル用タグの初期推定値の提供と、その初期推定値をより完全及び／又は正確である可能性が高い修正推定値に変換するための上述の仮定の利用を含んでいる。
【００３２】
例えば、特定の音楽ファイルへの本発明に係るタグ付け方法の適用は、音楽ファイルのタグ：［「強力な電気ギター」及び「ヘビーメタル」］の以下の初期推定値を含むことができる。手動タグ付されたの解析によって、属性「ヘビーメタル」を有する大部分の楽曲が属性「強烈な歌詞」も有することが明らかになった場合は、本発明の方法によれば、この音楽ファイルのタグの初期推定値を妥当な精度確率で［「強力な電気ギター」、「ヘビーメタル」及び「強烈な歌詞」］に拡張することができる。
【００３３】
本発明の大部分の実施は、同種の作品の属性値の間に見られる相関に基づく推論により（例えば、ビデオクリップをタグ付けする場合は、推論はトレーニングデータベースのビデオクリップにおいて見られる属性値相関に基づくもので、静止画像、テキスト等について見られる相関に基づくものではない）、特定の種類のオーディオビジュアル作品についての初期タグ推定値を拡張する。理論的には、本発明は、種類の異なるオーディオビジュアルファイルについて見られる相関を利用することもでき、例えば音楽ファイルについて、属性「性格＝強い」の所有と属性「ムード＝迫力がある」の所有との間に相関が見られる場合、多分ビデオクリップについても対応する推論を行うことができる。しなしがら、実際には、様々なオーディオビジュアル作品全体に適用可能な相関を示す傾向がある種類の属性は非常に一般的なものになる傾向があり、特に役立つものではない。
【００３４】
図２は、本発明に係るファイルタグ付けシステムの主要構成要素を示したダイアグラムである。システムの第１の構成要素である「初期タグ」供給器１０は、入力されたオーディオビジュアルファイルのタグの初期推定値を供給するようになっている。初期推定値は、一般的には、多数の属性に対して適用可能な推定値を含む。ブーリアン属性の場合は、入力されたオーディオビジュアル作品について、属性が「真」であるか「偽」であるかの推定値が存在する。不連続値のセットを含むドメインを有する属性の場合は、一般的には、セットの中のその値が入力された作品に適用される推定値となる。数値属性の場合は、一般的には、入力された作品のその属性についての数値の推定値となる。
【００３５】
初期推定値は、システムの第２の構成要素である図２の指定された推論エンジン２０に送られる。音楽ファイルのタグの初期推定値に基づき、推論エンジン２０は音楽ファイルのタグの修正推定値を生成する。詳細には、トレーニングデータベースの同種のファイル（音楽又はテキスト又はビデオ等）のタグの間に存在するものと同じ相関が入力されたファイルの間にも存在すると仮定することにより、推論エンジン２０はタグについてのより正確な値（及び／又は拡張された数のタグについての値）を推論する。トレーニングデータベースの中の例の解析から導出された相関関数を初期推定値のタグ（推論属性値）に適用することにより、推論エンジン２０はタグについてのより正確な値を推論する。
【００３６】
推論エンジン２０により用いられるタグ相関は、例えばトレーニングデータベースのオーディオビジュアルファイルのタグ間の相関が有効利用される「トレーニングフェーズ」中に、予め調べておくことができる。この「有効利用」は、一般的には、例えばニューラルネットワーク、決定木等のような周知のデータマイニング技術を含んでいる。あるいは、タグ付けされていないオーディオビジュアルファイルが入力されたときに、これらの相関を有効利用することもできる。後者の場合は、「初期推定値」のその値が含まれているタグを含む相関の有効利用にシステムを限定することもできる。換言すると、音楽ファイルについての初期タグ推定値が、ファイルが属性［「温かいムード」、「女性歌手」及び「スローテンポ」］のセットを有することを示している場合は、音楽ファイルに関連し、１組以上の属性値「温かいムード＝真」、「女性歌手＝真」及び「スローテンポ＝真」を含むトレーニングデータベースのタグ相関だけを調べることにより、推論エンジン２０は時間と処理電力を節約することができ、（一般的には、入手可能な情報を最大限有効利用するために、これらの３つの属性値を含む全ての相関を有効利用する）。
【００３７】
訓練例の属性値に対して適用可能な相関を解析するために適用される機械学習アルゴリズムの性質に応じて、推論エンジン２０は多種多様な方法で相関関数を初期推定値の属性の推定値に適用することができる。例えば、訓練例に対して適用可能な相関が分類子のセット（例えば、決定木、ニューラルネットワーク等のセット）をトレーニングするために使用される場合は、初期推定値の属性の推定値をトレーニングされた分類子のセットに供給することにより、相関関数をそれらの属性値に対して適用することができる。
【００３８】
トレーニングデータベースは、既に手動でタグが割り当てられているオーディオビジュアルファイルのコレクションに関連している。各訓練例毎に、トレーニングデータベースは、少なくともその訓練例に既に手動で割り当てられたタグデータと関連オーディオビジュアルファイルの識別子を含む。この識別子は、一般的には、ファイルによって表される作品のタイトル又はそのオーディオビジュアル作品／ファイルに割り当てられたコードである（このコードは、限界においては、「音楽ファイルＮｏ．１」、「ビデオフィルＮｏ．２３」等を示す任意のコードだけとすることもできる）。メモリスペースが利用可能な場合は、オーディオビジュアルファイル自体とその手動割当てタグ／識別子を記憶するのが効果的である。これにより、オーディオビジュアル信号の物理的特徴を決定するための処理を行うことが可能になる。あるいは、オーディオビジュアル信号の物理的特徴に関する処理を行うことを所望する場合は、トレーニングデータベースが物理的特徴の表示を含むことで十分とすることもできる。このような場合、トレーニングデータベースは、音楽ファイル訓練例については以下のデータ、すなわち、＜音楽ファイル識別子＞、＜音響パラメータ１の値＞、＜音響パラメータ２の値＞、＜属性１用タグ＞、＜属性２用タグ＞、．．．＜最後の属性用タグ＞を、ビデオファイル訓練例については、以下のデータ、すなわち、＜ビデオファイル識別子＞、＜時空間的画像パラメータ１の値＞、＜時空間的画像パラメータ２の値＞、＜属性１用タグ＞、＜属性２用タグ＞、．．．＜最後の属性用タグ＞を含むことがある。
【００３９】
タグ付けが行われていないオーディオビジュアルファイルのタグ付けのためにシステムを使用し始める前に行われるトレーニングフェーズ中に、訓練例のタグ（属性値）の間の相関が既に有効利用されている場合は、推論エンジン２０が後続のタグ付けフェーズ中にトレーニングデータベースにアクセスすることが必須ではなくなる。この場合は、タグ付けフェーズ中に、推論エンジン２０が訓練例の間の相関を定義するデータにアクセスすることで十分である。
【００４０】
トレーニングデータベースのファイルのタグの間の相関がタグ付けされていないオーディオビジュアルファイルのタグ付け中に有効利用される場合は、推論エンジン２０はトレーニングデータベースへの（又は、入力された種類の作品に関連する訓練例のタグの間の関心の相関を動的に有効利用し、推論エンジン２０に報告を返すことができるエンティティへの）アクセスを要求する。したがって、この種のアプローチを実施するシステムは、推論エンジン２０と同じ装置に収納されたメモリにトレーニングデータベースをきちんと保持することができる。しかしながら、このことは必須ではない。トレーニングデータベース（及び／又はトレーニングデータベースから導出された相関の詳細を保持するメモリ／レジスタ）は、推論エンジン２０を収納した装置から分離することもできるが、それにはアクセス可能であり、例えば、推論エンジン２０と通信するリーダにより読取り可能な記録媒体に記録することもできるし、（ローカルエリアネットワーク又は広域ネットワークのような）ネットワーク接続を介してアクセス可能な遠隔記憶装置に保持することもできる。
【００４１】
本発明に係るオーディオビジュアルファイルタグ付けシステムが、汎用コンピュータシステムにロードされたソフトウェアアプリケーション又はモジュールとして実施され、このオーディオビジュアルファイルタグ付けアプリケーション／モジュールがその他のアプリケーション又はモジュールと対話する可能性が高い。例えば、オーディオビジュアルファイルタグ付けシステム１００は、遠隔のコンピュータ、携帯電話機等にダウンロードするために、ファイルとして入手可能なコンテンツのコレクションを構築しつつあるサービスプロバイダにより使用される可能性が高い。このような場合、タグ付けシステム／アプリケーションはデータベース管理アプリケーションと関連付けられる可能性が高い。本発明に係るオーディオビジュアルファイルタグ付けシステムは、オーディオビジュアルファイルのコレクションを有する又は構築しつつある個人が使用することもできる。このような場合は、オーディオビジュアルファイルタグ付けシステムは、閲覧アプリケーション／モジュールと関連付けられたソフトウェアアプリケーション／モジュールとして実施される可能性が高い。
【００４２】
本発明は全ての異なる種類（又は２つ以上の異なる種類の組合せ）のオーディオビジュアル作品のタグ付けに適した「万能」タグ付けシステムを提供することができるが、例えば、音楽ファイルのタグ付け専用、ビデオファイルのタグ付け専用等のように、オーディオビジュアルファイルの各種類別にそれぞれが設計された別々のシステムが使用される可能性の方が高い（その理由は、大部分の商業コンテンツダウンロードサービス及びコンテンツブラウザはそれぞれ１種類のオーディオビジュアルファイルを対象としているからである）。
【００４３】
図３は、本発明の第１の実施の形態に係るオーディオビジュアルファイルタグ付けシステムの主要構成要素を説明したものである。この第１の実施の形態においては、タグ付けが行われていない特定の種類（音楽、画像、ビデオ）のオーディオビジュアルファイルがタグ付けシステム１００に入力された時点で、推論エンジン２０は、同種の手動タグ付された音楽ファイルのセットに関するデータを記憶しているトレーニングデータベース３０のタグの間に存在する相関を有効利用する。したがって、推論エンジン２０は、トレーニングデータベース３０のタグの間の相関を有効利用するようになっているデータマイニングユニット２５と、初期タグ供給器１０により提供される初期推定値とデータマイニングユニット２５により定められる相関規則とに基づき音楽ファイルのタグについての値を計算する推定ユニット２８とを備える。
【００４４】
多種多様な機械学習／データマイニング技術が知られている。トレーニングデータベース例のタグの間に存在する相関を決定するためにどの機械学習／データマイニング技術を使用するかに関しては、本発明に制限はない。しかしながら、推定ユニット２８により行われる計算は、データマイニングユニット２５が使用するデータマイニング技術に適するものとなっている。
【００４５】
例えば、データマイニングユニット２５は、それぞれが１種類のタグの値を予測するようになっているニューラルネットワークのセットをトレーニングするために、誤差逆伝搬アルゴリズムを使用することもできる。トレーニングの終了時に、様々なニューロンの重みが、訓練例について、「非カテゴリ」タグの値に基づき、「カテゴリ」タグの最良の推定値を生成する値に設定済みになっているように、データマイニングユニット２５はトレーニングデータベースからのトレーニングデータをニューラルネットワークに提示する。この実施の形態によれば、推定ユニット２８が、データマイニングユニット２５によりトレーニングされるニューラルネットワークへの入力として、初期タグ供給器１０により生成される初期タグ推定値を適用するようにすることができる。
【００４６】
データマイニングユニット２５がトレーニングデータベースのデータに基づき決定木を構築するようになっている場合は、推定ユニット２８が、データマイニングユニット２５により構築された決定木を用いて予測を行うために、初期タグ供給器１０により提供される初期タグデータを使用するようにすることができる。
【００４７】
訓練例のタグの間に存在する相関が予備トレーニングフェーズ中に既に調査済みであり、したがって、タグ付け装置１００の中にデータマイニングユニットが存在しない場合は、推定ユニット２８は、トレーニングフェーズ中に使用されたデータマイニング／機械学習の種類に適した計算を行うようにしてある。
【００４８】
信頼基準又は適合率ｐを用いて、タグ推定値の確実性を数値化することが可能な場合もある。例えば、信頼基準ｐは、完全な不確実性を意味する０％から、音楽ファイルがそのタグにより示された属性を有することが絶対的に確実であると考えられることを意味する１００％までの間で変動する値を取る可能性がある。この信頼基準の値を設定するのには多種多様な方法があり、一般的には、タグ推定値を生成するために使用された技術により決まる。以下の説明で、幾つかの実施の形態を示す。
【００４９】
信頼基準がタグ推定値に割り当てられている場合は、それぞれの推定値と関連付けられた信頼基準ｐの値を参照することにより、特定のタグを「推定良好」と定義し、その他のタグをかなり不確実と定義することが可能である。例えば、閾レベルθを信頼基準ｐについて定義することができ、信頼基準ｐ＞θの場合のタグは「推定良好」であると判断することができる。タグの修正推定値の計算が、初期タグ推定値からの「推定良好」タグだけに基づいて、初期タグ推定値に含まれたその他のタグの値を無視して行われるように、システム１００を設計することもできる。
【００５０】
オーディオビジュアルファイルのタグの初期推定値を生成するには多くの種類の方法があり、初期タグ供給器１０とトレーニングデータベース及び／又はユーザ（図３の標識ＬとＭの付いた点線で示す）の間の通信が含まれる場合もある。網羅的ではないが、初期タグ推定値を生成する３種類の方法を図４〜６を参照して以下で説明する。図４〜６のブロックダイアグラムは、簡素化のために、図３において説明した全体システムアーキテクチャに基づくものとなっている。しかしながら、図４において説明した初期タグ供給器１０の異なる実施の形態が、（例えば、推論エンジンを備えた単一装置内にトレーニングデータベースが存在せず、推論エンジンが図３に示されたものとは異なるモジュールにより構成されている等の）異なる基本アーキテクチャを有するシステムにおいても使用可能であることは、当業者には明らかである。
【００５１】
図４は、オーディオビジュアルファイルを半自動でタグ付けするシステムを例示したものである。この半自動システムによれば、ユーザがオーディオビジュアルファイルのタグ幾つかを入力するが、タグは自動的に完成されるか又は精緻化される。図４に例示された変形例においては、初期タグ供給器１０ａは、オーディオビジュアルファイルのタグの入力をユーザにプロンプトするようになっているユーザインタフェース１２を備える。
【００５２】
典型的には、ユーザインタフェース１２は、タグ入力要求を（例えば、コンピュータモニタ、携帯電話機のディスプレイ画面等のような）適切なディスプレイ装置に表示させることによりプロンプトを行うようにプログラミングされたモジュールである。ユーザインタフェース１２は、異なる時点でのタグ入力をユーザにプロンプトするようにすることもできる。例えば、プロンプトを出すことができるのは、そのタグが行方不明又は不完全なファイルにユーザがアクセスした場合（例えば、オーディオビジュアルファイルタグ付けシステムと関連付けられた閲覧アプリケーション内部のファイルにユーザがアクセスした場合）、例えば、サーバからのオーディオビジュアルファイルのダウンロード、記録媒体（オーディオＣＤ、ＤＶＤ等）又は記録装置（例えば、デジタルカメラ、デジタルビデオカメラ等）又はリーダ装置（例えば、光学式文字認識ソフトウェアと関連付けられていると考えられるスキャナ）からのアップロードにより、ユーザが新しいコンテンツを取得した場合、ユーザがタグ付けの実施の希望を表明した場合等である。
【００５３】
ユーザインタフェース１２は、（例えば、「この音楽のジャンルを入力してください」、「これは乱闘シーンですか？」、「フィクションですかノンフィクションですか？」等のようなメッセージ又は質問を表示することにより）どんな種類のタグを入力すべきかをユーザに指示するようにすることもできる。あるいは、ユーザインタフェース１２は、このコンテンツに適用可能であるとユーザが考えたあらゆるタグをユーザに自由に入力させることもできる。
【００５４】
ユーザがタグ入力プロンプトに応答すると、ユーザインタフェース１２は、ユーザ入力を、このオーディオビジュアルファイルのタグの初期推定値を示すタグデータに変換する。入力ファイルのタグの修正推定値を（上述のように）生成できるようにするために、この初期推定値は推論エンジン２０に送られる。
【００５５】
上述の半自動システム１００ａは、修正タグを対話プロセスにおいて計算する対話型システムとして実施することもできる。この種類の対話型システムにおいては、一旦推論エンジン２０がタグの修正推定値を計算すると、推論エンジン２０は、（図４の標識Ｎ付きの破線により示したように）タグの修正推定値を初期タグ供給器１０ａ内のユーザインタフェース１２に戻すこともでき、その結果、タグの修正推定値を承認又は訂正のためにユーザに提示することができる。ユーザがタグの修正推定値を訂正した場合は、初期タグ供給器１０ａは、再修正タグの新たな計算のために、訂正推定値を推論エンジン２０に供給することができる。この対話プロセスは、例えば、ユーザが修正（又は再修正）タグ推定値を承認するまで、所望どおりに繰り返すことができる。あるいは、ユーザから求められる入力の数を制限するために、繰返し回数を限定することもできる。
【００５６】
例えば、ユーザが音楽ファイルＷについてタグ「国＝フランス」及び「ジャンル＝クラシック」を入力した場合は、初期タグ供給器１０は、これらのタグを示すデータを初期タグ推定値として推論エンジン２０に供給する。データマイニングユニット２５はトレーニングデータベースの音楽ファイルを解析し、タグ「国＝フランス」及び「ジャンル＝クラシック」を有するファイルが、タグ「言語＝フランス語」、「楽器＝オーケストラ」及び「時代＝１９世紀」も有する傾向があることを発見することがある。データマイニングユニット２５は、これらの相関を示す相関データを推定ユニット２８に供給し、推定ユニットは、タグの修正推定値［「国＝フランス」、「ジャンル＝クラシック」、「言語＝フランス語」、「楽器＝オーケストラ」及び「時代＝１９世紀」］を生成する。このタグの修正推定値がユーザに提示されると、ユーザは実際には、音楽ファイルＷが２０世紀の音楽作品に関連するものなので、タグ「時代＝１９世紀」は音楽ファイルＷには妥当しないと指摘することがある。タグの修正推定値［「国＝フランス」、「ジャンル＝クラシック」、「言語＝フランス語」、「楽器＝オーケストラ」及び「時代＝２０世紀」］が推論エンジン２０に供給される。トレーニングデータベースの音楽ファイルの多くがラベル又はドビュッシーによるピアノ曲である場合は、データマイニングユニット２５は、「国＝フランス」、「ジャンル＝クラシック」及び「時代＝２０世紀」を有するトレーニングデータのファイルがタグ「楽器＝ピアノ」も有する傾向があることを発見することがある。この相関（並びにデータマイニングユニット２５により発見されたその他の相関）を示すデータが推定ユニットに送られ、再タグの修正推定値［「国＝フランス」、「ジャンル＝クラシック」、「言語＝フランス語」、「楽器＝ピアノ」及び「時代＝２０世紀」］の出力にいたることがある。
【００５７】
上述の実施の形態から、推定ユニット２８により生成されたタグ推定値が必ずしも正しいとは限らないことが分かる。入力ファイルのタグの最終推定値を生成するために反復プロセスが使用される場合は、そのプロセスにおいて初期に生成されたタグ推定値の幾つかは後に変更することもできる。しかしながら、ユーザが手動で割り当てたタグを変更するのは適切ではないことがある。この半自動システムの幾つかの実施の形態においては、上述の信頼基準ｐのような信頼基準を、推論エンジン２０に入力されたタグ推定値に割り当てることができる。この実施の形態においては、ユーザが提供したタグが絶対に変更されないようにするために、信頼基準ｐ＝１００％をそれらのタグに割り当てるのが適切である。
【００５８】
図５及び６は、オーディオビジュアルファイル用の高レベルメタデータを生成するための全自動システムに関するものである。これらの全自動システムは、初期タグ推定値を生成するために信号ベースアプローチを使用する。したがって、これらの全自動システムが、信号ベースアプローチと機械学習アプローチとを組み合わせたハイブリッドであることが分かる。
【００５９】
図５は、初期タグ供給器１０ｂが、そのファイルへのタグ付けが進行中のオーディオビジュアル作品の物理的特徴に基づき初期タグ推定値を計算するようにしてある第１の変形例に係る全自動システム１００ｂの全体アーキテクチャを例示したものである。詳細には、初期タグ供給器１０ｂは、入力されたオーディオビジュアルファイルに対応する信号の特徴を解析し、１組以上の評価済み特徴値のセットを示す信号を出力する特徴解析器１３を含む。タグ生成器１８ｂが次に評価済み特徴と関連値に基づき初期タグ推定値を計算し、この初期推定値を推論エンジン２０に出力する。
【００６０】
上述のように、音楽作品の全体的音響特性を記述した幾つかの音響特性と幾つかのジャンルカテゴリ又はムードの間にはかなり良好な相関が存在する。図５のシステムが音楽ファイルのタグ付けに適用された場合は、タグ生成器１８ｂはこれらの相関の詳細を記憶し、初期タグ推定値の生成のためにそれらを使用することもできる。例えば、音響解析器１３は入力された音楽ファイルを示す音響信号の音色を解析するようにすることもでき、タグ生成器１８ｂはそれぞれの異なる音色について異なるタグ推定値を記憶する参照テーブルにアクセスすることもできる。
【００６１】
音楽作品の全体的音響特性を特徴付けるために、本発明の音楽タグ付けの実施の形態においては、音色以外の音響特性又は音色に加えてその他の音響特性を使用できることが、当業者には明らかである。例えば、（例えば、音楽に存在する異なるコードと音程の数と程度に関する）音楽作品の和声特性を記述するパラメータのセットを生成するために、音楽作品に対して和声解析を行うこともできる。この種の和声解析は合理的予測により自動化することができる。「Melody Description and Extraction in the Context of Music Content Processing」by Gomez et. al, Journal of New Music Research, 2003, 32(1)を参照。様々な属性の推論にこの種のパラメータを使用することもできる。例えば、コードが単純で少数である場合は、その音楽作品が「ジャンル＝ロック」を有すると推論することができ、第７コードと第９コードが多数存在する場合は、属性「ジャンル＝ジャズ」が妥当すると推論することができ、マイナーコードが多数存在する場合は、属性「ムード＝悲しみ」を割り当てることもできる。
【００６２】
種類の異なるオーディオビジュアル信号を特徴付けるために、多くの種類の物理特性を使用することができる。例えば、音楽はその音色、ハーモニックス、リズム等により特徴付けることができる。静止画像はその色、質感等により特徴付けることができる。映像は、静止画像の場合に類似した特性並びにフレーム毎の画像の変化に関連したその他の特性（例えば、オプティカルフロー）等により特徴付けることができる。テキストは単語の出現の頻度（又は確率）により記述されることが多い。ボーカル作品は、ピッチや音素比率のような音律キューにより特徴付けられることが多い。当業者は、（例えば、音楽情報検索（ＭＩＲ）、コンテンツベース画像検索（ＣＢＩＲ）、テキストカテゴリ化等から）これらの種類の異なるオーディオビジュアル作品を表す信号からこれらの特性に関する情報を抽出するのに適した数多くの技術に知っている。そこで、これ以上の詳細については説明しない。
【００６３】
図６は、入力された作品と同種で、入力されたオーディオビジュアルファイルと全体的に「類似の」信号を有するトレーニングデータベースのオーディオビジュアルファイルのタグが何であるのかを考えることにより、初期タグ供給器１０ｃが初期タグ推定値を計算するようにしてある第２の変形例に係る全自動システム１００ｃの全体アーキテクチャを例示したものである。
【００６４】
詳細には、図６のオーディオビジュアルファイルタグ付けシステム１００ｃは、入力されたオーディオビジュアルファイルに対応する信号の物理特性を記述した１組以上の特徴値のセットを決定するために、特徴解析器１３を含む初期タグ供給器１０ｃを有する。図６に例示したように、この数組の特徴値のセットは、オーディオビジュアル信号の全体的特性を記述した記述子ＧＡＤのセットである。初期タグ供給器１０ｃは、トレーニングデータベース３０の訓練例のどれが、入力されたオーディオビジュアルファイルの信号に「類似の」信号（音響信号、ピクセルパターン、時空間的ピクセルパターン）を有するのかを決定する特徴一致器１５も含んでいる。特徴一致器１５は、入力されたファイルに対して（全体的信号特性に関しての）「最近傍」のセットを識別することもできる。初期タグ供給器１０ｃの中のタグ生成器１８が、これらの「類似の」訓練例のタグが何であるのかを調べ、入力されたファイルが同じタグ値を有することになると推論する。
【００６５】
当業者には明らかなように、２つのオーディオビジュアル信号間の全体的類似性は多種多様な方法で評価することができるが、適用可能な技術は、オーディオビジュアル作品の種類及び作品の特徴付けのために選択された特定の信号特性（又は複数の信号特性）により異なる。幾つかの例を挙げる。コンテンツベース画像検索の分野においては、コレクション中のどの画像が特定の入力画像の「最近傍」であるのかを決定するために、種類の異なる複数の画像処理アルゴリズムが存在する。ビデオは全てのフレームについて色ヒストグラムを考えることにより比較される。テキストは単語の出現の確率に基づき比較することができる。スピーチを記録した作品は、音楽に使用するのと同じ技術を用いて比較される。当業者は、上述の実施の形態が単なる例示であることを理解することができる。２つのオーディオビジュアル作品の「類似性」を決定するために使用される信号特性（複数の信号特性）又は処理技術に関して、本発明には制限はない。
【００６６】
音楽／楽曲の２つの楽曲の間の全体的音響類似性は多くの種類の方法で評価することができる。しかしながら、図７を参照して概要を示した以下の技術は、異なる音楽作品の音響「類似性」を比較する際に（図７Ｂを参照）使用するための音楽作品の音色を示す数量的基準の決定（図７Ａを参照）に特に好適である。この技術は、論文「Improving timbre similarity: How high’s the sky ?」by J-J. Aucouturier and F. Pachet, Journal of Negative Results in Speech and Audio Sciences, 1(1), 2004により完全な形で記載されている。
【００６７】
図７Ａ（ステップ１）に示したように、音楽ファイルを示す音響信号が最初にフレームと呼ばれるセグメントに切断される。（入力音楽ファイルはこの音響信号の形で入力することもできるし、この方が一般的であるが、ファイルフォーマットwav file、mp3 file等と関連付けられた標準復号化技術により、入力音楽ファイルを要求される音響信号に復号化することもできる）。各フレーム毎に、メル周波数ケプストラム係数（ＭＦＣＣ）のセットを計算することにより、全体的スペクトル包絡線が推定される（ステップ２）。全てのフレームにわたってのＭＦＣＣの分布は、（混合の「コンポーネント」又は「ステータス」と呼ばれる）Ｍ簡素化ガウス密度の加重和として確率密度を推定するガウス混合モデル（ＧＭＭ）を用いてモデル化される（ステップ３）。
【００６８】
楽曲ＳのＧＭＭは、楽曲Ｓの音色の数量的基準であると考えることができ、ｐＳ（ｘｔ）により表すことができ、ここで、ｘｔは、時間ｔにおいて観察された特徴ベクトル（ＭＦＣＣ値）である。ｐＳ（ｘｔ）は、以下のように計算することができる。
【００６９】
【数１】
0005340554.tif 000002
ここで、Ｎは、平均μｍ及び共分散行列Σｍを有するガウス確率密度関数であり、πｍは、混合係数（状態事前確率とも呼ばれる）である。混合関数（全てのｍについてπｍ）、平均（全てのｍについてμｍ）及び共分散（全てのｍについてΣｍ）は、従来のＥ‐Ｍアルゴリズム（推定‐最大化アルゴリズム）を用いて、その楽曲のＭＦＣＣベクトルから学習される。
【００７０】
（ＧＭＭを用いて音響信号をモデル化する）上述の音色基準は、２つの音楽作品が音響的に相互に「近い」か否かを決定するために使用することができる。換言すると、図６のシステム１００ｃが音楽ファイルタグ付けシステムとして実施される場合は、特徴解析器１３は、入力音楽ファイルについてのＧＭＭを生成し、それを全体的音響記述子（ＧＡＤ）として音響一致器１５に出力するようにした音響解析器とすることもできる。音響一致器１５は、トレーニングデータベース３０のどの音楽ファイルが入力された楽曲に「近い」ＧＭＭを有するのかを決めることができる。
【００７１】
上述の場合においては、音響一致器１５はトレーニングデータベース３０の訓練例についてのＧＭＭに関するデータをまず取得することもできる（図７Ａ、ステップ１を参照）。対応する音響信号についてのＧＭＭを決定するために、音響一致器１５自体がトレーニングデータベースの訓練例の音響特性を解析することもできる。しかしながら、その他のアプローチも可能である。例えば、トレーニングデータベースの異なる音楽ファイルを示す音響信号についてのＧＭＭを示すデータをトレーニングデータベースに記憶することもできる。
【００７２】
（上述で定義されたような）２つのＧＭＭ ｐＡ（ｘ）及びｐＢ（ｘ）の「近さ」は、モデルｐＡ（ｘ）及びｐＢ（ｘ）の各２倍の間のカルバックライブラー（ＫＬ）距離のモンテカルロ近似式を用いて評価することができる。
【００７３】
２つのＧＭＭ確率分布ｐＡ（ｘ）及びｐＢ（ｘ）の間のＫＬ距離は、以下の式により定義される。
【００７４】
【数２】
0005340554.tif 000003
したがって、ＫＬ距離は中心極限定理に基づき経験的平均により近似値を求めることができる。
【００７５】
【数３】
0005340554.tif 000004
（ここで、ｎはｐＡに従って抽出された標本ｘｉの数である）。
【００７６】
音響一致器１５は、様々な訓練例についてのＧＭＭと入力音楽ファイルについてのＧＭＭとの間のＫＬ距離を評価する（図７Ｂ、ステップ２）。次に、音響一致器１５は入力楽曲に対して「最近傍」ＮＳの数を識別する（図７Ｂ、ステップ３）。例えば、（ＧＭＭを用いてモデル化されたような）入力楽曲との間の上述のＫＬ距離が最小であるトレーニングデータベースの１０の例を識別する。
【００７７】
入力された音楽ファイルのタグの全てがトレーニングデータベースの「類似の」訓練例のタグと同じであると仮定するのは適切ではないことがある。しかしながら、作品を表すオーディオビジュアル信号の物理的特性との相関が明らかになっている属性値が、入力ファイルと「類似の」訓練例においては同じになる（又は類似の値を取る）と仮定するのは合理的であることがある。
【００７８】
したがって、音楽の場合の幅広いジャンルクラス（クラシック、ロック等）又は主要な楽器（電気ギター、電子音楽等）、画像の場合の色、ビデオの場合のタイプ（例えば、ビデオクリップ、天気予報、映画、フットボールの試合等）、テキストの場合の言語（人間語とコンピュータ言語ＨＴＭＬ、Ｃ＋＋等の両方）、及びスピーチの場合の感情（適切な処理により信号から抽出可能な音律的キューと結びつけることができる）のような（これらには限定されない）物理的信号特性から、曖昧さが殆どなしで、予測可能な属性に関連する「類似の」訓練例のタグだけが含まれるように、初期タグ推定値に含まれるタグを限定するようにタグ生成器を設計することもできる。
【００７９】
タグ生成器１８は「類似の」訓練例のタグ（属性値）から初期タグ推定値を導出するために多種多様な技術を使用することができる。ここで、タグ生成器１８が、入力されたオーディオビジュアル作品Ｓが有するかどうか不明な特定のブーリアン属性Ａの値についての初期推定値を生成する方法の一具体例を示す。オーディオビジュアル作品Ｓについての属性Ａの値はＳＡにより示すものとし、「真」又は「偽」の可能性がある。論理式Ａ（Ｓ）は、ステートメント「ＳについてＡは真である」を表す。換言すると、Ｓは属性Ａを有する（ＳＡの値は「真」である）。一方、論理式−Ａ（Ｓ）は、ステートメント「ＳについてＡは偽である」を表す。ここで、−Ａは、Ａのアッパーラインであり、論理否定を表す。換言すると、Ｓは属性Ａを有していない（ＳＡの値は「偽」である）。
【００８０】
特徴一致器１５が入力作品Ｓに対して１０の「最近傍」のセットＮＳを識別したと仮定した場合は、属性Ａを有する（すなわち、「Ａは真である」）セットＮＳにおける作品の数ＯＳが得られる。
すなわち、
【００８１】
【数４】
0005340554.tif 000005
属性Ａが信号のある観察可能な特徴（例えば、楽曲の「音色」）と相関を有する場合は、ＯＳの値が大きいということは、作品Ｓが属性Ａを有する、すなわち、ＳＡが「真」であることの良い指標である。例えば、入力されたある楽曲の１０の音響最近傍のうちの９つが「ハードロック」の楽曲である場合は、この入力された楽曲自体が「ハードロック」の楽曲である可能性が非常に高い。
【００８２】
しかしながら、属性がトレーニングセットに均一に分布していないこともある。例えば、再度楽曲の例を考えると、トレーニングデータベース３０で利用可能な楽曲の９９％が「ジャンル  ダンス音楽」であり、利用可能な楽曲の中で「主要楽器  バンドネオン」は僅かであるかことがある。
【００８３】
ｐ（Ａ（Ｓ）／ＯＳ）を、最近傍のセットにおいて一定の数のＡ＝真の値であるという観察結果ＯＳが得られた場合にＳについてＡが真である確率であると定義し、ｐ（−Ａ（Ｓ）／ＯＳ）を、同じ観察結果が得られた場合にＳについてＡが偽である確率であると定義しよう。その場合、ベイズの法則により、以下の式
【００８４】
【数５】
0005340554.tif 000006
が得られ、ここで、ｐ（ＯＳ／Ａ（Ｓ））は、別のオーディオビジュアル作品についてＡ＝真である場合にその別のオーディオビジュアル作品の「最近傍」である数ＯＳの作品がＡ＝真を有する尤度分布である。この尤度分布ｐ（ＯＳ／Ａ（Ｓ））は、トレーニングデータベースの例に対して適用可能な分布ｐ（ＯＷ／Ａ（Ｗ））と同じであると仮定することにより、簡単に推定することができる。換言すると、トレーニングデータベースが調べられた場合は、Ａ（Ｗ）＝真を有するデータベースの適用可能な種類の全てのオーディオビジュアル作品Ｗについて、ＯＷの経験的頻度についてのヒストグラムを作成することができる。
【００８５】
図８は、「性格  温和」及び「ジャンル  クラブ／ディスコ」と呼ばれる属性に関して、楽曲に関連する特定のトレーニングデータベースについて計算されたこのような尤度分布の２つの例を示したものである。
【００８６】
ＳについてＡが真である推測的確率がＳについてＡが偽である推測的確率と同じである、すなわち、ｐ（Ａ（Ｓ））＝ｐ（−Ａ（Ｓ）＝０．５であると仮定すると、ＳＡは以下の最大尤度判定基準を用いて推定することができる。
【００８７】
【数６】
0005340554.tif 000007
これが意味しているのは、ＳについてＡが真である場合にＯＳの現在の値を見る確率がＳについてＡが偽である場合にＯＳの現在の値を見る確率よりも大きいときに限って作品ＳについてＡが真である（確率ｐ（ＯＳ／Ａ（Ｓ））はｐ（ＯＷ／Ａ（Ｗ））と同じであると仮定することにより推定され、確率ｐ（ＯＳ／−Ａ（Ｓ））はＯＷ／−Ａ（Ｗ））と同じであると仮定することにより推定される）ということである。
【００８８】
ブーリアン属性についての値の決定に関する上述の計算は、「多値」又は「多クラス」属性（すなわち、その値が離散的可能性、すなわちあるセット内のクラス−から選択される属性）についての値の推定にも適用することができる。Ａが多クラス属性である場合は、上述のアプローチはクラス毎に１つのヒストグラムを用いて適用される。
【００８９】
図８に示した例を使用することにより、ある楽曲の１０の最近傍のうちの４つが「性格  温和」を有する場合は、トレーニングデータベースの考察対象のあらゆる楽曲に妥当する「性格  温和」の尤度が、その楽曲には妥当しない「性格  温和」の尤度よりもはるかに大きいことが理解できる。換言すると、これらの状況においては、「Ａは真である」可能性は「Ａは偽である」可能性よりもはるかに高い。タグ生成器１８は、入力された楽曲に同じ尤度分布が妥当すると仮定するように設計することができる。したがって、タグ生成器１８は、これらの状況においては、入力された楽曲に対してタグ＜性格  温和＝真＞を割り当てる。しかしながら、トレーニングデータベースのある楽曲の１０の最近傍のうちの４つが「ジャンル  クラブ／ディスコ」を有する場合は、図８に示した尤度分布に基づき、タグ生成器１８は、「ジャンル  クラブ／ディスコ」の楽曲が多数全トレーニングセットに存在することを考えると、この属性を有する最近傍の数がもっと多くないのは意外であるので、入力された楽曲は「ジャンル  クラブ／ディスコ」を有していないと推定する。
【００９０】
本発明に係る全自動音楽タグ付けシステム及び方法は、入力された音楽ファイルのタグの最終推定値に達するために反復プロセスを実施することができる。この反復プロセスについては、手動タグ付された楽曲のコレクションについてのデータを含むトレーニングデータベースに基づき、楽曲へのタグ付けを行う実施の形態に関連した図９〜１３を参照しつつ、以下で説明を行う。
【００９１】
図９は、入力された音楽ファイルに対して全自動方式でタグ付けを行うための本発明に係る反復プロセスの１つの実施の形態における主要なステップを示したフローチャートである。この実施の形態においては、タグ（属性及び関連値）が入力された音楽ファイルについて推定されると仮定されているだけではなく、精度又は信頼基準ｐを各推定値と関連付けることができるとも仮定されている。
【００９２】
図９の詳細な説明の前に、説明で使用される表記法を要約して示す。図９の方法は、Ｎ個の属性ＡｋのセットＳＡの値の反復推定、すなわち、ＳＡ＝｛Ａｋ，ｋ∈［０，Ｎ−１］｝であると考えることができる。反復ｉの度に、属性値推定値〜Ａｋｉのセット〜ＳＡｉ、すなわち、〜Ａｋｉ＝｛〜Ａｋｉ，ｋ∈［０，Ｎ−１］｝が生成され、ここで、「〜Ａ」は、Ａの「アッパ〜」を表し、〜Ａｋｉは、反復ｉ時に得られる属性Ａｋの値の推定値である。各属性値推定値は精度ｐ（〜Ａｋｉ）と関連付けられる。反復ｉの度に、（反復ｉのまでの反復ｉを含む反復における）Ａｋの値のそれまでの最良推定値がｂｅｓｔ（〜Ａｋｉ）とされる。すなわち、
【００９３】
【数７】
0005340554.tif 000008
となる。
【００９４】
ここで、図９の反復プロセスにおいては、（反復０であると考えることができる）第１のステップは信号ベース推論を使用した初期タグ推定値の生成を含む。この実施の形態においては、入力された音楽ファイルに対応する楽曲Ｓの音響特性が解析される（ステップ１）。次に、どれが入力された楽曲Ｓの「最近傍」であるかを決定するために、全体的音響特性に基づき、トレーニングデータベースの例が解析され（ステップ２）、初期タグ推定値（入力された楽曲の属性値の最初の推定値）〜Ａｋ０のセット〜ＳＡ０が、「最近傍」の属性に基づき楽曲Ｓについての属性値を推論することにより生成される（ステップ３）。この信号ベース推論プロセスは、図８との関連において上で説明した音色ベースプロセスとすることができる。
【００９５】
次に、信頼基準又は「精度」ｐ（〜Ａｋ０）がセット〜ＳＡ０における推定値の各々に割り当てられる（ステップ４）。セット〜ＳＡ０の各数について、これを実現可能にするために、同じ推定プロセスの適用により得られる推定値が不良であるトレーニングデータベースの楽曲の曲数に対する同じ推定プロセスの適用によりより得られる推定値が正確であるトレーニングデータベースの楽曲の曲数の比率を決定する。セット〜ＳＡ０内の音色相関属性値は典型的には良好な精度で推定される、すなわち、これらの属性についてはｐ（〜Ａｋ０）が高い。一方、文化的及び主観的属性の推定は不良である。推定の不良な属性を勘案すれば、反復プロセスは不十分である。したがって、図９に示した実施の形態においては、次のステップ（ステップ５）は、それまでに推定されたタグのどれが「良好推定である」のかを決定するステップである。このステップは、値ｐ（〜Ａｋ０）を、例えば、推定値における７５％信頼度を表すθの値のような、閾レベルθと比較することにより実現することができる。タグの修正推定値を生成するために、推論エンジンは「良好推定」タグだけを使用する。
【００９６】
次に、推論エンジン２０は、トレーニングデータベースの音楽ファイルのタグに適用可能な相関規則が入力された音楽ファイルのタグにも適用されると仮定することにより、これらの「良好推定」タグに基づきタグの修正推定値を生成する（ステップ６）。簡素化のために、この実施の形態においては、入力されたファイルの属性（タグ）の修正推定値を決定するために、推論エンジン２０がトレーニングデータベースの例に基づきトレーニングされる決定木を使用すると仮定する。決定木は図１と類似したものにすることができ、このような決定木を用いて生成される推定値の精度ｐは、与えられた結論が正しい（すなわち、（ｑ／ｑ＋ｒ）×１００％）であるトレーニングデータベースの楽曲の割合の経験的観察に基づくものとすることができる。
【００９７】
次に、各属性について、それまでに生成された推定値のどれがその属性の最良の推定値であるかが評価される（ステップ７）。それから、「停止状態」が反復プロセスに適用される。すなわち、「最良推定値」のセットが改善しつつあるのか否かがチェックされる。「最良推定値」に改善が見られない場合は、すなわち、ｂｅｓｔ（〜Ａｋｉ）のセットがｂｅｓｔ（〜Ａｋｉ−１）のセットと同じである場合は、反復プロセスを停止することができ、ｂｅｓｔ（〜Ａｋｉ）のセットを入力された音楽ファイルのタグとして推論エンジンにより出力することができる（ステップ９）。
【００９８】
最良推定値のセットの変化が０か否かを判断することは停止状態にとって不可欠ではなく、最良推定値のセットの改善が閾値よりも低下したか否かを判断することができる。換言すると、停止状態は、最後から２番目の反復から現在の反復までに観察された改善の程度が閾レベル以下に低下したのか否かを判断することができる。この改善の程度は、例えば、属性のセットに対する改善の平均割合、セット内の全ての属性についての（正規化）改善の合計等のような、多種多様な方法により知ることができる。
【００９９】
他方、ステップ８において行われたチェックにより、最良推定値のセットに顕著な改善が見られた場合は、方法はステップ５に戻り、ステップ５〜８が繰り返される。
【０１００】
ステップ５〜８の最初の「ラン」が全推定プロセスの反復１を表し、ステップ５〜８の後続の２回目、３回目等の「ラン」を表すと考えることができる。上述の表記法を用いて、１回目から最後の反復までの間のｉ番目の反復について、目標属性としてＡｋを用いてトレーニングされた決定木を使用することにより、〜Ａｋｉが構築され、非カテゴリ属性値Ｆｋｉは以下のように定義される。
【０１０１】
【数８】
0005340554.tif 000009
ここで、θは精度閾である。その精度がθよりも大きいと仮定した場合、ＦｋｉはＡｋ以外のあらゆる属性値のそれまでの（反復ｉ−１までの）最良推定値を含んでいる。したがって、このアルゴリズムは、以前のステップにおける最良推定値に基づき動作する決定木を用いて、各属性についての継続的な推定値を構築し、全プロセスは音色推論によりブートストラップされる。
【０１０２】
図１０〜１３は、図９との関連で上に説明した方法のシナリオ例を示したものであり、「スタイル  メタル」、「性格  暖かい」、「スタイル  ラップ」（これらは音色関連属性）と、不良音色推定値である「テキストカテゴリ  愛」及び「セットアップ  女性歌手」（前者は文化的記述、後者は複雑すぎて音色による正確な記述が不能）を含むブーリアン属性のセットを使用する。
【０１０３】
図１０〜１２においては、速記表記法が使用され、それにより、「スタイル  メタル＝Ｔ」は、「属性「スタイル  メタル」が値「真」を有する」ことを表している。さらに、図１０〜１２においては、７５％未満の精度を有する属性推定値は破線により囲まれており、一方、７５％以上の精度を有する属性推定値は実線により囲まれている。さらに、図１１及び１２においては、ダイアグラムを簡素化するために、推定値の最も新しく示されたセットの予測において使用されていない推定値は省略されている。
【０１０４】
上述の説明によれば、このシナリオ例では、推定値の最初のセット〜ＳＡ０は音色推論を用いて構築され、必然的に、音色相関属性の良好な推定値と、その他については不良な推定値を含んでいる。
【０１０５】
（２回目の推定値を生成することを目指した）１回目の反復においては、非カテゴリ属性として、「良好推定」属性についての推定値（その精度ｐが７５％を超える推定値だけを使用）を使用する各決定木を用いて、属性の各々が推定される（図１０を参照）。例えば、この反復においては、「スタイル  メタル」は、意志決定プロセスに含まれる非カテゴリ属性についての値として「性格  暖かい＝真」及び「スタイル  ラップ＝真」を使用する決定木を用いて予測される。これにより得られる「スタイル  メタル＝真」の推定値は、音色推論に基づく元の推定値よりも精度が落ちる。同様に、属性「セットアップ  女性歌手」の値（真／偽）は、「スタイル  メタル＝真」、「性格  暖かい＝真」及び「スタイル  ラップ＝真」に基づき動作する決定木を用いて推定される。これにより得られる推定値は、音色推論に基づく元の推定値よりも良好である。
【０１０６】
入力された楽曲の属性の３回目の推定値を生成することを目指した次の反復（図１１に例示）においては、偶然閾θを上回ることもある前の反復において生成された「セットアップ  女性歌手＝真」の推定値は、「テキストカテゴリ  愛＝真」（歌手が女性であるという事実を楽曲の歌詞の内容と相関させることができる）の良好な推定値を得るために、決定木において（３つの音色ベース属性「スタイル  メタル」、「性格  暖かい」及び「スタイル  ラップ」の値の最良の推定値とともに）使用される。
【０１０７】
入力された楽曲の属性の４回目の推定値を生成することを目指した次の反復（図１２に例示）においては、（幾つかの追加的文化情報を使用するので）音色推論に基づく元の推定値よりも良好な「スタイル  メタル＝真」の推定値を得るために、それまでの全ての最良の推定値が決定木において使用される。
【０１０８】
図１３は、上述のようにして生成された１回目１〜４回目のセットに含まれた全ての推定値の値を集約し、各推定値と関連付けられた「精度」値を示したものである。図１３から分かるのは、僅か２、３回の反復の後に、入力された音楽ファイルに対して、「スタイル  メタル＝真」、「性格  暖かい＝真」、「テキスト  愛＝真」、「スタイル  ラップ＝真」及び「セットアップ  女性＝真」を示すタグをかなりの高い確度で割り当てることができることが既に明らかになるということである。
【０１０９】
第三者からのアクセス用の完全タグ付けオーディオビジュアルファイルの大きなコンテンツコレクションの構築を目指すサービスプロバイダの場合は、本発明に係る全自動タグ付け方法及びシステムにより、手動タグ付ファイルのカーネルから始めて、大きな更なる手動介入なしで、完全タグ付けファイルのあるかに大きなコレクションを構築することが可能になる。同様に、コンピュータ又は携帯電話機を介してのアクセスのためのコンテンツ（音楽、画像等）の個人コレクションを構築中の個人は、自分のコレクションに入れる最初のファイルにタグ付けを行うことから始め、後に、自分のコレクションに追加する更なるコンテンツへのタグ付けのスピードアップ及び簡素化のために、本発明に係る全自動（又は半自動）タグ付け方法及びシステムを使用することができる。
【０１１０】
タグがなければ、（明白な検索の場合であろうと、ある選ばれた作品に類似したコンテンツの推薦を探す場合であろうと）コンテンツコレクションのデータへのアクセスは困難である。したがって、オーディオビジュアルファイルに対して自動的にタグを提供することにより、本発明は、それらのオーディオビジュアルファイルに多くの種類の方法でアクセスすることを可能にする。
【０１１１】
さらに、（図９の実施の形態のような）本発明に係るプロトタイプ音楽タグ付け方法の性能を周知の方法と比較するために、楽曲が５０００曲のテストデータベースを用いて実験が行われた。データベースの約２／３が発明を実施するシステムをトレーニングするために使用され、データベースの残りの１／３はトレーニングされたシステムにタグ付け用のテスト例として提示された。これらのテスト例に割り当てられたタグは、手動で割り当てられた実際のタグと比較された。これらの実験の結果、本発明に係る方法により、最新の方法の場合よりも１５％も多い機会に正確なタグが得られることが明らかになった。
【０１１２】
ところで、本発明に係る方法及びシステムを用いて妥当な精度で特定の種類（楽曲、テキスト、ビデオ等）の作品にタグを付けることができるようにするためには、この特定の種類の作品の訓練例を数１０００含むトレーニングデータベースを有することは不可欠ではない。明らかに、適用可能なタグ相関を決定するために使用される訓練例の数が多い場合は、本発明を用いて行われる自動又は半自動タグ付けはより正確なものになる。しかしながら、属性、作品の種類及び訓練例として用いられる特定の作品に応じて、ある作品の特定の属性に対する値の自動割当てにおいて妥当な精度を得るために必要な訓練例の数は（「１００程度」が典型的な値であるが、５０程度の訓練例から１０００程度の訓練例まで）大幅に変動する可能性がある。
【０１１３】
本発明をその特定の実施の形態について説明してきたが、特許請求の範囲に定義されたような本発明の範囲から逸脱することなく、上述の実施の形態の様々な変更や展開を行うこともできることや、その他の実施の形態を実現できることは、当業者には明らかである。
【０１１４】
例えば、上述の実施の形態の幾つかにおいては、推論エンジン２０はデータマイニングユニットと推定ユニットから構成されたものとして例示されているが、例えば、訓練例のタグの間に存在する相関の解析と入力された音楽ファイル用の修正タグの予測の両方を実施する単一のモジュールを備えるというように、推論エンジンは異なる構成にすることができると理解するものとする。
【０１１５】
同様に、上述の実施の形態の幾つかにおいては、トレーニングデータベースは、推論エンジンをも含む単一の装置の一部を形成するものとして示されているが、上述のように、トレーニングデータベースをタグ付け装置から分離することも可能であることは、当業者には明らかである。
【０１１６】
より一般的には、図面は様々なシステム構成要素への機能の特定の分散を示しているが、機能の分散を異なる形で行うことも可能であると理解するものとする。さらに、本発明の多くの実施の形態においては、図３〜６の異なるエレメントに与えられているそれぞれの機能を実施する個々のエレメントを分離することは不可能なことがある。様々な組合せのモジュールを共通のユニットにまとめることもできる。それに加えて、図３〜６に例示したオーディオビジュアルファイルタグ付けシステムを構成する様々なモジュールは必ずしも物理的装置であるわけではない。対応する機能はソフトウェアの形で実現することができ、一般的にはそのようにされる。
【０１１７】
上述の実施の形態の幾つかは、初期タグ推定値とタグの修正推定値が（異なるレベルの精度／信頼度で推定された）同じセットの属性についての値の推定値を含み、このセットをシステムに定義された属性のフルセットとすることができる状況を含んでいる。しかし、必ずしもこのような場合だけではない。本発明の幾つかの実施の形態においては、タグの修正推定値は、初期推定値によりカバーされる属性に比べて、より多くの数の属性及び／又は異なる選択の属性についての値の推定値を含む。
【０１１８】
上述の実施の形態は、タグの全てが、ある楽曲が特定の属性を有するのか、又はその属性を有していないのかを示す２進値を有するブーリアンである場合に関するものである。しかしながら、適切（かつ簡単）な適応により、タグがブーリアンであるか多値（すなわち、不連続な値のセットにおいて選択された値を取る）であるかにかかわらず、本発明の方法及びシステムを適用できることは、当業者には明らかである。
【０１１９】
例えば、図９〜１２との関連において上で説明した全自動方式でタグを生成するための反復プロセスは、ブーリアン属性を含む決定木を使用するが、多値である非カテゴリ属性及び／又は数値属性を含む決定木を生成することは周知である。このような場合、決定木のノードは、典型的には、「サブセット｛緑、青、赤｝におけるこの実施の形態についての属性ｊの値は？」「この例についての属性値はｈ≧０．２３か？」等のタイプの決定を含む。上述のように、決定木の葉は、どの値をカテゴリ属性に割り当てるべきかを示す。さらに、決定木のノードにおいて行われる決定は、２進回答を有する決定である必要はなく、２つ以上の回答を含む決定を行うこともできる（例えば、あるノードは「画像の色は何ですか？」という質問を行うことができ、「色＝赤」、「色＝緑」、「色＝青」、「色＝黄」等のような、回答のセット及び対応する枝が存在することがある）。
【０１２０】
さらに、図９〜１２との関連において上で説明した全自動方式でタグを生成するための反復プロセスは、タグの修正推定値を生成するための決定木を用いているが、反復プロセス中にその他の機械学習／データマイニング技術を修正タグ（又は再修正タグ）の推論に使用できることは、当業者には明らかである。さらに、この反復プロセスは、（図４のように）初期タグ推定値がユーザにより生成される場合にも適用することができる。
【０１２１】
最後に、上述の説明は手動タグ付訓練例を含むトレーニングデータベースに関するものであるが、自動タグ付けファイル（又は半自動タグ付けファイル）に関するデータをトレーニングデータベースに含めるよう決定することもできる。例えば、オーディオビジュアルファイルに自動的に（又は半自動的に）タグ付けが行われ、そのファイルに割り当てられたタグに高いレベルの信頼性がある場合は、システムによる将来のタグ付けの際に使用するための相関のマイニングが行われるトレーニングデータベースに、そのファイルについての属性値データを含めるよう決定することもできる。必要に応じて、（例えば、絶対数に関して、又は、より可能性が高いが、手動タグ付ファイルに対する非手動タグ付ファイルの割合に関して）トレーニングデータベースにデータが含まれている非手動タグ付ファイルの数を制限することもできる。
【図面の簡単な説明】
【０１２２】
【図１】音楽作品がカテゴリ「自然／アコースティック」に含まれるか否かを決定するようになっている決定木の例である。
【図２】本発明に係るタグ付けシステムの主要構成要素を概略的に示したダイアグラムである。
【図３】本発明の第１の実施の形態によるタグ付けシステムの主要構成要素を例示したブロックダイアグラムである。
【図４】第１の実施の形態の半自動変形例を例示したブロックダイアグラムである。
【図５】第１の実施の形態の第１の全自動変形例を例示したブロックダイアグラムである。
【図６】第１の実施の形態の第２の全自動変形例を例示したブロックダイアグラムである。
【図７Ａ】どの訓練例が入力された音楽ファイルに音響的に「類似」しているかを決定する１つの方法を例示したフローダイアグラムであり、入力された音楽ファイルを示す音響信号の音響特性の基準を生成する方法を例示したものである。
【図７Ｂ】どの訓練例が入力された音楽ファイルに音響的に「類似」しているかを決定する１つの方法を例示したフローダイアグラムであり、入力された音楽ファイルの音響的に「最近傍」を識別するために図７Ａで生成された基準を使用する方法を例示したものである。
【図８】特定の楽曲が２つの特定の属性を有する場合又は有していない場合に、その楽曲が属性を有する異なる数の最近傍を有する確率に関する尤度分布を例示したグラフである。
【図９】本発明の１つの実施の形態による反復全自動音楽タグ付け方法における主要ステップを示したフローダイアグラムである。
【図１０】図９の反復プロセスの実施の一具体例における異なるステップを例示したダイアグラムである。
【図１１】図９の反復プロセスの実施の一具体例における異なるステップを例示したダイアグラムである。
【図１２】図９の反復プロセスの実施の一具体例における異なるステップを例示したダイアグラムである。
【図１３】図１０〜１２の具体例において生成された様々なタグ推定値を説明するダイアグラムである。
【符号の説明】
【０１２３】
１０  初期タグ供給器、１０ａ  初期タグ供給器、１０ｂ  初期タグ供給器、１０ｃ  初期タグ供給器、１２  ユーザインタフェース、１３  特徴解析器、１５  特徴一致器（音響一致器）、１８  タグ生成器、１８ｂ  タグ生成器、２０  推論エンジン、２５  データマイニングユニット、２８  推定ユニット、３０  トレーニングデータベース、１００  オーディオビジュアルファイルタグ付けシステム、１００ａ  半自動システム、１００ｂ  全自動システム、１００ｃ  全自動システム
【図１】
0005340554.tif 000010
【図２】
0005340554.tif 000011
【図３】
0005340554.tif 000012
【図４】
0005340554.tif 000013
【図５】
0005340554.tif 000014
【図６】
0005340554.tif 000015
【図７Ａ】
0005340554.tif 000016
【図７Ｂ】
0005340554.tif 000017
【図８】
0005340554.tif 000018
【図９】
0005340554.tif 000019
【図１０】
0005340554.tif 000020
【図１１】
0005340554.tif 000021
【図１２】
0005340554.tif 000022
【図１３】
0005340554.tif 000023