(57)【要約】  コンテント・サンプリングおよび識別のための方法およびシステムが提示される。データ・ストリームは記録され、ストリームのサンプルは識別される。サンプルは最初、識別のために無作為に取り出されることが可能である。データ・ストリームの中で一旦サンプルが識別され、分割されると、次にサンプリングする機会は、識別されたサンプルの時間枠の外になるように計算されてもよい。したがって、サンプリングの期間は識別されたトラックの後の時間になるように、適応的に調整されることが可能である。【特許請求の範囲】
【請求項１】
ブロードキャスト・データ・ストリームを分割するための方法であって、
前記ブロードキャスト・データ・ストリームのサンプルを受信するステップと、
前記サンプルの開始時間を受信するステップと、
前記サンプルのトラック・アイデンティティを決定するステップと、
識別されたトラックの始まりから前記サンプルの相対時間オフセットを決定するステップと、
前記サンプルの前記相対時間オフセットと前記開始時間とを使用して、前記ブロードキャスト・データ・ストリームの中で前記識別されたトラックの推定開始時間を計算するステップであって、前記推定開始時間は前記ブロードキャスト・データ・ストリームのトラック間の境界を示すステップとを含む方法。
【請求項２】
前記推定開始時間を計算するステップは、
前記識別されたトラックの相対再生速度を決定するステップと、
前記相対再生速度によって、前記推定開始時間と推定終了時間とを調整するステップとを含む請求項１に記載の方法。
【請求項３】
前記サンプルの推定終了時間を決定するステップであって、前記識別されたトラックは、前記推定開始時間と前記推定終了時間との間の前記ブロードキャスト・データ・ストリームの区分を含むステップをさらに含む請求項１に記載の方法。
【請求項４】
前記推定開始時間と前記推定終了時間との間の前記ブロードキャスト・データ・ストリームの時間間隔を認識されたとしてマークし、それによって前記ブロードキャスト・データ・ストリームの中の認識された区分を、前記サンプルを越えて拡張するステップをさらに含む請求項３に記載の方法。
【請求項５】
前記認識された区分の長さに基づいて、前記ブロードキャスト・データ・ストリームを次にサンプリングする機会を計算するステップをさらに含む請求項４に記載の方法。
【請求項６】
前記ブロードキャスト・データ・ストリームの前記区分をファイルにコピーするステップをさらに含む請求項３に記載の方法。
【請求項７】
前記トラック・アイデンティティに関連するメタデータを取り出すステップと、
前記メタデータを前記サンプルに関連させるステップとをさらに含む請求項６に記載の方法。
【請求項８】
前記メタデータによって、前記ブロードキャスト・データ・ストリームの前記区分の情報をプレイリストに組織するステップと、
前記プレイリストをユーザに表示するステップと、
前記ユーザが前記プレイリストからファイルを選択できるようにするステップと、
音声再生手段で前記ファイルを再生するステップとをさらに含む請求項７に記載の方法。
【請求項９】
前記推定終了時間を決定するステップは、
前記識別されたトラックのトラック長を取得するステップと、
前記トラック長を前記推定開始時間に加えるステップとを含む請求項３に記載の方法。
【請求項１０】
前記トラック長を取得するステップは、前記トラック・アイデンティティに基づき前記トラック長を調べることを含む請求項９に記載の方法。
【請求項１１】
前記サンプルの前記推定開始時間を計算するステップは、前記サンプルの前記開始時間から前記相対時間オフセットを減ずることを含む請求項１に記載の方法。
【請求項１２】
前記トラック・アイデンティティを決定するステップは、トラック・アイデンティティを含むデータベースにアクセスすることを含む請求項１に記載の方法。
【請求項１３】
前記推定開始時間と前記トラック・アイデンティティとをファイルに書き込むステップをさらに含む請求項１に記載の方法。
【請求項１４】
前記推定開始時間と前記トラック・アイデンティティとを加入者に送信するステップをさらに含む請求項１３に記載の方法。
【請求項１５】
前記ブロードキャスト・データ・ストリームは音声ストリームである請求項１に記載の方法。
【請求項１６】
音声ストリームの中のコンテントを識別するための方法であって、
音声ストリームのサンプルを受信するステップと、
各サンプルの開始時間を受信するステップと、
各サンプルに対して、前記音声ストリームの中で識別されたトラックのトラック・アイデンティティと推定開始時間とを決定するステップと、
実質的に類似した推定開始時間を有するサンプルを識別するステップと、
実質的に類似した推定開始時間を有するサンプルに対して、前記サンプルは一致するトラック・アイデンティティも有することを確認するステップとを含む方法。
【請求項１７】
各サンプルに対して、前記識別されたトラックの推定終了時間を決定するステップであって、前記識別されたトラックは前記推定開始時間と前記推定終了時間との間の前記音声ストリームの区分を含むステップをさらに含む請求項１６に記載の方法。
【請求項１８】
前記推定終了時間を決定するステップは、
前記識別されたトラックのトラック長を取得するステップと、
前記推定開始時間に前記トラック長を加えるステップとを含む請求項１７に記載の方法。
【請求項１９】
前記推定開始時間と前記推定終了時間との間の前記音声ストリームの時間間隔を認識されたとしてマークし、それによって前記音声ストリームの中の認識された音声区分を前記サンプルを越えて拡張するステップをさらに含む請求項１７に記載の方法。
【請求項２０】
前記認識された音声区分の長さに基づいて、前記音声ストリームを次にサンプリングする機会を計算するステップをさらに含む請求項１９に記載の方法。
【請求項２１】
音声ストリームの中でコンテントを識別するための方法であって、
音声ストリームを受信するステップと、
前記音声ストリームから音声部分を選択するステップであって、前記音声部分は前記音声ストリームからのサンプルを含むステップと、
前記サンプルのトラック・アイデンティティを決定するステップと、
前記音声ストリームの中で識別されたトラックの推定開始時間と推定終了時間とを計算するステップであって、前記推定開始時間と前記推定終了時間とは前記音声ストリームのトラック間の境界を示すステップと、
前記推定開始時間と前記推定終了時間との間の前記音声ストリームの区分を認識された音声区分としてマークするステップと、
前記認識された音声区分の長さに基づき、前記音声ストリームを次にサンプリングする機会を計算するステップとを含む方法。
【請求項２２】
前記サンプルの正しいアイデンティティが決定された度合いを示す信頼度を決定するステップをさらに含む請求項２１に記載の方法。
【請求項２３】
識別の試みが結果を返信しない場合、次いで識別のために以前に選択された前記音声部分に隣接する、識別のための新たな音声部分を選択する請求項２２に記載の方法。
【請求項２４】
前記音声ストリームから時間の近い複数の音声部分を選択するステップと、
各部分に対して、前記音声ストリームの中で前記識別されたトラックのトラック・アイデンティティと推定開始時間とを決定するステップと、
実質的に類似した推定開始時間を有するサンプルを識別するステップと、
実質的に類似した推定開始時間を有するサンプルに対して、前記サンプルは一致するトラック・アイデンティティも有することを確認するステップとをさらに含む請求項２１に記載の方法。
【請求項２５】
前記音声ストリームの中の認識不可能な音声区分を、前記区分を識別するために人間の聞き手に提示するステップをさらに含む請求項２１に記載の方法。
【請求項２６】
前記認識された音声区分の長さに基づき、前記音声ストリームを次にサンプリングする機会を計算するステップは、次にサンプリングする機会を前記識別されたサンプルの後の時間になるように計算することを含む請求項２１に記載の方法。
【請求項２７】
前記認識された音声区分の長さに基づき、前記音声ストリームを次にサンプリングする機会を計算するステップは、前記音声ストリームのサンプリング間隔を適応的に調節することを含む請求項２１に記載の方法。
【請求項２８】
前記認識された音声区分の長さに基づき、前記音声ストリームを次にサンプリングする機会を計算するステップは、サンプリングする機会を現在の音声トラックの終了時間が生じる、ほぼすぐ後になるように計算することを含む請求項２１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本特許出願は、米国特許法１１９条（ｅ）のもとに、参照によりその全体が本明細書に組み込まれている、２００４年４月１９日に出願された米国仮特許出願第６０／５６３３７２号の優先権を主張するものである。
【０００２】
本発明は一般に、ブロードキャストの中でコンテントを識別することに関し、より詳細にはデータ・ストリームからのデータを次にいつサンプリングするのかを計算できるように、データ・ストリームの中でコンテントの区分を識別することに関する。
【背景技術】
【０００３】
産業界がマルチメディアの多用される作業環境の方へ進むにつれて、あらゆる形態の音声および映像コンテントの表現（ラジオ・ブロードキャスト伝送、ストリーミング・ビデオ、音声キャンバス、映像要約等）の使用はより頻繁になる。ユーザであるにせよ、コンテント・プロバイダであるにせよ、またはその両者であるにせよ、そうしたコンテントを最適に利用する方法を誰もが探している。例えば、創造的な使用法のための大きな可能性を有する１つの方法は、コンテント識別である。ユーザが自分の聞いている、または見ているコンテントを識別できるようにすることは、コンテント・プロバイダに成功のための新たな可能性を提供する。
【０００４】
ブロードキャストの監視およびその後のコンテント識別の分野では、費やす努力を最小限に抑えながら、できるだけ多くの音声コンテントを識別するのが望ましいことがよくある。システムの例では、（ラジオまたはテレビ・ブロードキャストなどの）ブロードキャスト・ストリームからの音声サンプルは記録され、各音声サンプルは識別手段に送信され、識別手段は音声サンプルのコンテントのアイデンティティを返信する。各音声サンプルの記録時間は記されることもまた可能であり、次いで監視されている各ブロードキャスト・チャンネルでブロードキャストされた音声トラックをリストアップする、ブロードキャスト・プレイリストが構築されることが可能である。
【０００５】
既存の監視システムは、継続的にではなく周期的にブロードキャスト・ストリームをサンプリングすることもあるので、場合によってはブロードキャスト・ストリームのサンプリングが不足していることもある。このような例では、短期間のコンテントは全くサンプリングされない可能性もあり、完全に取り逃がされているかもしれない。これに対して、監視システムはブロードキャスト・ストリームを過剰にサンプリングする可能性があり、その結果、余計なサンプリングおよびコンテント識別を行うことになり、コンピュータ操作の努力を無駄にしている。
【０００６】
結果として、サンプリング周期を最適化する方法が求められる。
【０００７】
本明細書で開示する実施形態の中で、音声ストリームを分別するための方法が示される。本方法は、音声ストリームのサンプルとサンプルの開始時間とを受信することと、その後、サンプルのトラック・アイデンティティと、識別されたトラックの冒頭からのサンプルの相対時間オフセットとを決定することとを含む。本方法はさらに、相対時間オフセットとサンプルの開始時間とを使用して、音声ストリームの中で識別されたトラックの推定開始時間を計算することを含む。推定開始時間は、音声ストリームのトラック間の境界を示す。
【０００８】
別の態様で、本方法は音声ストリームのサンプルと各サンプルの開始時間とを受信することと、各サンプルに対して、音声ストリームの中で識別されたトラックのトラック・アイデンティティと推定開始時間とを決定することとを含む。本方法はさらに、実質的に類似した推定開始時間を有するサンプルを識別することと、実質的に類似した推定開始時間を有するサンプルに対して、サンプルが一致するトラック・アイデンティティもまた有することを確認することとを含む。
【０００９】
さらに別の態様で、本方法は音声ストリームを受信することと、音声ストリームから、音声ストリームからのサンプルを含む音声の一部を選択することとを含む。本方法はまた、サンプルのトラック・アイデンティティを決定することと、音声ストリームの中で識別されたトラックの推定開始時間と推定終了時間とを計算することとを含む。本方法はさらに、推定開始時間と推定終了時間との間の音声ストリームの区分を認識された音声区分としてマークすることと、認識された音声区分の長さに基づいて、音声ストリームを次にサンプリングする機会を計算することとを含む。
【００１０】
これらの特徴、利点および代替例は、その他の特徴、利点および代替例と同様に、添付の図面の適切な参照とともに、以下に述べる詳細な説明を読むことによって、当業者には明らかとなろう。
【発明を実施するための最良の形態】
【００１１】
以下に開示する実施形態の中で、ブロードキャスト・ストリーム（例えばラジオまたはテレビ・ブロードキャスト）を、それぞれ「ＲＡ」と「ＮＲＡ」として省略される、認識音声区分と非認識音声区分とに分割するために、適応的なサンプリング方法が使用される。本法は例えば、音声の認識または識別の後、続いてシステムがブロードキャスト・ストリームを次にサンプリングする機会を、ＮＲＡの中のＲＡの長さに基づいて計算してもよいという点で、適応的である。
【００１２】
ここで図を参照すると、図１はブロードキャストの供給源からコンテントを識別するためのシステムの一例を示す。システムは、例えば音声ストリームおよびその他の情報をレシーバ１０４にブロードキャストする、ラジオまたはテレビのコンテント・プロバイダであってもよい、ラジオ局１０２などのラジオ局を含む。サンプル・アナライザ１０６は受信された音声ストリームを監視し、トラック・アイデンティティなどのストリームに関係している情報を識別する。サンプル・アナライザ１０６は音声検索エンジン１０８を含み、例えば音声ストリームの中のトラックを識別するために、音声サンプルおよびブロードキャスト情報を含んでいるデータベース１１０にアクセスしてもよい。音声ストリームの中のトラックが一旦識別されると、トラック・アイデンティティは、例えば消費者追跡機関またはその他の統計センターであってもよいライブラリ１１２に報告される。
【００１３】
データベース１１０は多くの記録を含んでもよく、各記録は例えばｓｏｕｎｄ＿ＩＤなどの固有の識別子を有する。他の場所から音声ファイルを取り出すためにｓｏｕｎｄ＿ＩＤが使用されることが可能なので、データベース自体は必ずしも各記録のための音声ファイルを格納する必要はない。音声データベースのインデックスは、例えば数百万のファイルのインデックスか、または数十億のファイルのインデックスさえ含んで、非常に大きくなると思われる。新たな記録は、データベース・インデックスに逐次追加されるのが好ましい。
【００１４】
図１は所与の構成を有するシステムを示すが、システム内の構成要素は他の方法で配置されてもよい。例えば、音声検索エンジン１０８はサンプル・アナライザ１０６から独立していてもよい。したがって、本明細書で説明する構成は事実上、単なる例示的なものであるにすぎず、多くの代替の構成もまた使用されてよいことを理解されたい。
【００１５】
図１のシステム、特にサンプル・アナライザ１０６は音声ストリームの中でコンテントを識別してもよい。図２は、ブロードキャスト音声ストリームの中でコンテントを識別するための方法の一例を示す流れ図である。最初に、ブロック２０２に示すようにブロードキャスト・ストリームは記録され、ブロック２０４に示すように、各時点での音声コンテントのアイデンティティがわからない、非認識音声（ＮＲＡ）としてその全体が分類される。音声ストリームの識別は、認識音声（ＲＡ）区分と非認識音声（ＮＲＡ）区分とを作ることによってブロードキャスト・ストリームの分割を試み、最初にストリーム内のいかなる音声も識別する前に、すべての音声はＮＲＡとみなされる。
【００１６】
音声の受信後、ブロック２０６に示すように、例えば数秒間の音声サンプルがブロードキャスト・ストリームから選択される。ブロック２０８に示すように、ブロードキャスト・ストリーム内の音声の選択された部分のサンプル開始時間が記される。例えば、サンプル・アナライザが音声ストリームの記録を午後２時１０分に開始する場合、音声サンプルはストリームの中の午後２時１２分のマークのところで取り出されてもよい。したがって、音声の選択された部分の開始時間は、この例では午後２時１２分とマークされる。
【００１７】
次に、ブロック２１０に示すように、音声の選択された部分のコンテントは識別され、ブロック２１２に示すように、音声サンプルの相対時間オフセット（音声部分が取り出されるところからの曲に入った時間）は音声検索エンジン１０８を使用して決定される。音声検索エンジンは、任意の知られている識別技術を具体化してもよい。音声トラックのデータベースを使用して音声サンプルを識別するための、様々な音声サンプル識別技術が当技術分野では知られている。以下の特許および公開は、音声認識技術のための可能な例を説明し、この説明で十分に言及されているように、各々が本明細書に参照により全体が組み込まれている。
米国特許第４，８４３，５６２号、Ｋｅｎｙｏｎ他、「Ｂｒｏａｄｃａｓｔ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ」
米国特許第５，２１０，８２０号、Ｋｅｎｙｏｎ、「Ｓｉｇｎａｌ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ」
国際公開第ＷＯ０２／０６５７８２Ａ１号、Ｈａｉｔｓｍａ他、「Ｇｅｎｅｒａｔｉｎｇ  ａｎｄ  Ｍａｔｃｈｉｎｇ  Ｈａｓｈｅｓ  ｏｆ  Ｍｕｌｔｉｍｅｄｉａ  Ｃｏｎｔｅｎｔ」
国際公開第ＷＯ０２／１１１２３Ａ２号、Ｗａｎｇ、Ｓｍｉｔｈ、「Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｒｅｃｏｇｎｉｚｉｎｇ  Ｓｏｕｎｄ  ａｎｄ  Ｍｕｓｉｃ  Ｓｉｇｎａｌｓ  ｉｎ  Ｈｉｇｈ  Ｎｏｉｓｅ  ａｎｄ  Ｄｉｓｔｏｒｔｉｏｎ」
国際公開第ＷＯ０３／０９１９９０Ａ１号、Ｗａｎｇ、Ｃｕｌｂｅｒｔ、「Ｒｏｂｕｓｔ  ａｎｄ  Ｉｎｖａｒｉａｎｔ  Ａｕｄｉｏ  Ｐａｔｔｅｒｎ  Ｍａｔｃｈｉｎｇ」
【００１８】
簡潔に言うと、信号の識別は信号を受信し、複数の信号値を作り出すために複数のサンプリング・ポイントで信号をサンプリングすることによって始まる。信号の統計モーメントは、米国特許第５，２１０，８２０号で示されているような、任意の知られている公式を使用して計算されることが可能である。計算された統計モーメントは次いで複数の格納された信号識別と比較され、受信された信号は格納された信号識別のうちの１つに類似すると認識される。計算された統計モーメントは、量子化された特徴ベクトルを作るために使用されることが可能であり、量子化された特徴ベクトルの加重和は信号識別を格納するメモリにアクセスするために使用される。
【００１９】
別の例で、一般に音声コンテントは、音声サンプルの特徴またはフィンガープリント（ｆｉｎｇｅｒｐｒｉｎｔ）を識別または算定し、そのフィンガープリントを以前に識別されたフィンガープリントと比較することによって識別されることが可能である。フィンガープリントが算定されるサンプルの中の特定の位置は、サンプル内の再現可能なポイントによって決まる。このような再現可能で算定可能な位置は、「ランドマーク」（ｌａｎｄｍａｒｋ）と呼ばれる。ランドマークのサンプル内の位置はサンプル自体によって決定されることが可能であり、すなわちそれはサンプルの品質によって決まり、再現可能である。つまり、同じランドマークはプロセスが繰り返される度に同じ信号のために算定される。ランドマーキング方式は、録音１秒につきおよそ５〜１０のランドマークをマークしてもよく、当然、ランドマーキングの密度は録音中の作業量によって決まる。
【００２０】
Ｐｏｗｅｒ  Ｎｏｒｍとして知られるランドマーキング技術の１つは、記録中の起こりうる時点の各々で瞬時電力を計算し、極大値を選択するというものである。これを行う１つの方法は、波型を直接に調整し、フィルタリングすることによって、エンベロープ（ｅｎｖｅｌｏｐｅ）を計算するものである。他の方法は、信号のヒルベルト変換（直角位相）を計算し、ヒルベルト変換と元の信号との絶対値の２乗和を使用するものである。ランドマークを計算するためのその他の方法もまた使用されてよい。
【００２１】
一旦ランドマークが算定されると、記録の中の各ランドマーク時点か、またはその付近でフィンガープリントが算定される。ランドマークの特徴の類似は、使用されるフィンガープリンティング方法によって定義される。一部のケースでは、特徴がそれ以前のランドマークか、またはその後のランドマークにではなく、そのランドマークに明確に対応していれば、それはランドマークに近いとみなされる。その他のケースでは、特徴は複数の隣接するランドマークに対応している。一般にフィンガープリントは、その時点か、またはその時点の近くでの記録の中の特徴のセットを要約する値か、または値のセットである。１つの実施形態で、各フィンガープリントは、複数の特徴のハッシュ関数である単一の数値である。フィンガープリントのその他の例は、スペクトル・スライス・フィンガープリント（ｓｐｅｃｔｒａｌ  ｓｌｉｃｅ  ｆｉｎｇｅｒｐｒｉｎｔｓ）、多重スライス・フィンガープリント、ＬＰＣ係数、ケプストラム係数、およびスペクトログラム・ピークの周波数成分を含む。
【００２２】
フィンガープリントは、任意の種類のデジタル信号処理、または信号の周波数分析によって計算されることが可能である。１つの例で、スペクトル・スライス・フィンガープリントを作成するために、周波数分析が各ランドマーク時点の近隣で最上部の複数のスペクトル・ピークを抽出するために実行される。フィンガープリントの値はまさに、最も強いスペクトル・ピークの信号周波数値である。
【００２３】
多くの音声の時間展開（ｔｉｍｅ  ｅｖｏｌｕｔｉｏｎ）を利用するために、１組の時間スライスは、ランドマーク時点に１組の時間オフセットを加えることによって決定される。結果として生じる各時間スライスで、スペクトル・スライス・フィンガープリントは計算される。結果として生じるフィンガープリント情報のセットは次いで、１つの多重トーンまたは多重スライス・フィンガープリントを作るために組み合わせられる。多重スライス・フィンガープリントの各々は、時間的な展開を追跡するので単一のスペクトル・スライス・フィンガープリントよりも、より独特なものであり、データベースのインデックス検索の中で一致するフォールス（ｆａｌｓｅ）は少なくなる。
【００２４】
音声サンプルの特徴またはフィンガープリントの計算についてのより多くの情報のために、この説明で十分に言及されているように、その全体の開示が本明細書に参照により組み込まれている、米国特許出願第２００２／００８３０６０号、Ｗａｎｇ、Ｓｍｉｔｈ、「Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｒｅｃｏｇｎｉｚｉｎｇ  Ｓｏｕｎｄ  ａｎｄ  Ｍｕｓｉｃ  Ｓｉｇｎａｌｓ  ｉｎ  Ｈｉｇｈ  Ｎｏｉｓｅ  ａｎｄ  Ｄｉｓｔｏｒｔｉｏｎ」を読者は参照する。
【００２５】
したがって、音声検索エンジン１０８は音声サンプルを受信し、サンプルのフィンガープリントを計算する。音声検索エンジン１０８は、さらなる認識エンジンに接触することによってフィンガープリントを計算してもよい。次いで音声検索エンジン１０８は、同等のフィンガープリントの間の対応を作ることによって、音声サンプルのフィンガープリントと知られている音声トラックのフィンガープリントとを一致させるために、データベース１１０にアクセスすることが可能であり、線形に関連する対応を最も多く有するか、またはその特徴フィンガープリントの相対位置が音声サンプルの同じフィンガープリントの相対位置に最も厳密に一致するデータベース１１０の中のファイルは、一致するメディア・ファイルとみなされる。すなわち、一対のランドマークの中の線形対応は識別され、線形に関連する対の数によってセットがスコアされる。線形対応は、多数の対応するサンプル位置とファイル位置とが、認められた許容範囲で、実質的に同一の線形等式で述べられることが可能な場合に生じる。最も高いスコアを有する、すなわち線形に関連する対応を最も多く有するセットのファイルが勝利（ｗｉｎｎｉｎｇ）ファイルである。
【００２６】
音声サンプルの相対時間オフセットを決定するために、音声サンプルのフィンガープリントは、それらが一致する元のファイルのフィンガープリントと比較されることが可能である。各フィンガープリントは所定の時間で生じるので、音声サンプルを識別するためにフィンガープリントを一致させた後、音声サンプルの第１フィンガープリントと格納された元のファイルの第１フィンガープリントとの間の時間差が音声サンプルの時間オフセット、例えば曲に入った時間の量となる。したがって、サンプルが取り出された相対時間オフセット（例えば曲に入って６７秒）は決定されることが可能である。
【００２７】
特に、音声サンプルの相対時間オフセットを決定するために、所与の散布リストのランドマーク・ポイントの散布プロットの中の１（ｏｎｅ）の近くに、スロープを備えた対角線が見つけられる。散布プロットは、水平軸上の知られている音声ファイルのランドマークと、垂直軸上の（例えば音声サンプルからの）知られていないサウンド・サンプルのランドマークとを含んでもよい。ほぼ１に等しいスロープの対角線は散布プロットの中で識別され、これは知られていないサンプルを有するこのスロープを与える曲がそのサンプルに一致することを示す。水平軸の遮断は、サンプルが始まる音声ファイルまでのオフセットを示す。したがって、例えば上述のように、ＷａｎｇとＳｍｉｔｈによって開示された識別方法を使用することは、データベースからの識別されたコンテント・ファイルの始まりと分析される音声サンプルの始まりとの間の正確な相対時間オフセットを作り出し、例えばユーザは曲に入って６７秒の、１０秒間の曲のサンプルを記録してもよい。ゆえに、相対時間オフセットは、音声サンプルの識別の結果として記される（例えば、水平軸の遮断は相対時間オフセットを示す）。相対時間オフセットを計算するための他の方法も同様に可能である。
【００２８】
ゆえに、ＷａｎｇとＳｍｉｔｈの技術は識別された音声トラックのメタデータの他にも、識別された音声トラックの始まりからの音声サンプルの相対時間オフセットを返信する。結果として、スペクトル・ピークが整列配置されてもよい、識別プロセスの中のさらなる確認のステップが使用されてもよい。ＷａｎｇとＳｍｉｔｈの技術は相対時間オフセットを作り出すので、例えば時間軸の約１０ミリ秒の中でスペクトル・ピークの記録を時間的に整列させることが可能である。次いで、一致する時間と周波数のピークの数が決定されることが可能であり、これが比較に使用されることが可能なスコアである。
【００２９】
相対時間オフセットの決定についてのより多くの情報のために、この説明で十分に言及されているように、その全体の開示が本明細書に参照により組み込まれている、米国特許出願第２００２／００８３０６０号、Ｗａｎｇ、Ｓｍｉｔｈ、「Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｒｅｃｏｇｎｉｚｉｎｇ  Ｓｏｕｎｄ  ａｎｄ  Ｍｕｓｉｃ  Ｓｉｇｎａｌｓ  ｉｎ  Ｈｉｇｈ  Ｎｏｉｓｅ  ａｎｄ  Ｄｉｓｔｏｒｔｉｏｎ」を読者は参照する。
【００３０】
音声ストリームの中のコンテントを識別するための技術のさらに別の例として、音声サンプルは局地化された一致技術を使用してそのコンテントを識別するために、分析されることが可能である。例えば、一般に２つの音声サンプル間の関係は、それぞれのサンプルから得られる、最初に一致する特定のフィンガープリント・オブジェクトによって特徴付けられることが可能である。それぞれが特定の位置で生じる１組のフィンガープリント・オブジェクトは、各音声サンプルに対して生成される。各位置は、それぞれの音声サンプルのコンテントによって決定され、各フィンガープリント・オブジェクトはそれぞれの特定位置か、またはその付近で１つまたは複数の局所的な特徴を特徴付ける。次に、一致するフィンガープリント・オブジェクトの各対について相対値が決定される。次いで、相対値の柱状グラフが生成される。統計上、著しいピークが発見される場合、２つの音声サンプルは実質的に一致していると特徴付けられることが可能である。さらに、音声サンプルが元の音声トラックと比較してどれだけスピードアップ、またはスローダウンしたかを示す時間伸縮比が決定されることが可能である。この方法のさらに詳細な解説のために、この説明で十分に言及されているように、その全体の開示が本明細書に参照により組み込まれている、公開ＰＣＴ特許出願第ＷＯ０３／０９１９９０号、Ｗａｎｇ、Ｃｕｌｂｅｒｔ、「Ｒｏｂｕｓｔ  ａｎｄ  Ｉｎｖａｒｉａｎｔ  Ａｕｄｉｏ  Ｐａｔｔｅｒｎ  Ｍａｔｃｈｉｎｇ」を読者は参照する。
【００３１】
図２に戻ると、（上述の任意の方法によって実行されるようにして）コンテント認識が成功した後、（１）音声トラック・アイデンティティと、（２）相対時間オフセット（例えば識別されたトラックの始まりとサンプルの始まりとの間の時間）と、任意で（３）時間伸縮比（例えばオリジナル・マスターの速度に対する実際の再生速度）と、（４）信頼度（例えばシステムが確実に音声サンプルを正しく識別している度合い）とが音声検索エンジン１０８によって返信される。多くの場合、時間伸縮比（ＴＳＲ）は無視されるか、またはＴＳＲが通常１に近いように１．０として仮定されてもよい。信頼度はＮＲＡとＲＡの分岐点で耐障害性（ｆａｕｌｔ  ｔｏｌｅｒａｎｃｅ）を認めるために使用されることが可能である。ＴＳＲと信頼度情報とは、さらなる正確さのために考慮されてもよい。
【００３２】
続いてブロック２１４に示すように、相対時間オフセットはサンプル開始時間とともに、推定サンプル開始時間を計算するために使用される。推定開始時間は音声ストリームの中のサンプル全体の開始時間を示す。次いで、サンプル全体の長さはブロック２１６に示すように、例えばデータベース１１０にアクセスし、トラック・アイデンティティに基づく長さを調べる（ｌｏｏｋ  ｕｐ）ことによって決定されることが可能である。ブロック２１８に示すように、トラック長を使用することでサンプルの終了時間も同様に計算されることが可能である。
【００３３】
図３は、図２を参照して先に述べたように、音声ストリームから捕らえられた音声を識別するプロセスを概念的に示す。示されているように、捕らえられた音声ストリームは最初にすべて「非認識音声」とマークされる。音声サンプルは取り出され、音楽トラック・データベース（例えばデータベース１１０）を含むか、またはそれにアクセスする音声識別エンジン１０８に提示される。次いでサンプルのトラック・アイデンティティ、相対時間オフセット、およびトラック長は決定される。この例では、音声はＰｉｎｋ  Ｆｌｏｙｄの曲、「Ｄａｒｋ  Ｓｉｄｅ  ｏｆ  ｔｈｅ  Ｍｏｏｎ」として識別される。
【００３４】
サンプルの相対時間オフセットと開始時間とを使用して、「認識音声」領域は識別されたトラックの始まりまで拡張されることが可能である。例えば、サンプルの開始時間が午後２時１２分で、相対時間オフセットが２分だったとする。したがって音声サンプルは曲に入って２分のトラック部分に由来しており、そうするとトラックの開始時間は午後２時１０分だったことになる。図３に示すように、（ＴＲＳがおよそ１だとして）始まりのオフセットは２分である。したがって、音声トラックの開始時間は、以下の等式１で示すように計算される。
【００３５】
等式（１）
音声トラックの開始時間＝（サンプル開始時間）−（相対時間オフセット）×（時間伸縮比）
【００３６】
さらに、データベース１１０から取り出されたトラック長のデータは、ＲＡのトラック・アイデンティティに関連する。トラック長を使用して、ＲＡ領域は識別されたトラックの終わりまで拡張されることが可能である。例えば以下の等式２で示すように、トラックの開始時間は計算されているので、トラックの終了時間はトラックの開始時間にトラック長を足したものとして計算される。
【００３７】
等式（２）
音声トラックの終了時間＝（サンプルの開始時間）−（相対時間オフセット）×（時間伸縮比）＋（トラック長）×（時間伸縮比）
【００３８】
次いで、音声トラックはこれらの推定終了点の時間的価値によってひとまとめにされる。例えば、音声トラック開始時間と音声トラック終了時間との間のブロードキャスト・ストリームの全体の時間間隔は「認識された」とマークされ、さらに先に決定されたようなトラック・アイデンティティとして分類されるので、認識された音声区分を元の音声サンプルを越えて拡張する。結果として、ブロードキャスト・ストリームはここでＲＡ区分を含む。
【００３９】
識別の試みが結果を返信しない場合、次いで識別不可能な音声サンプルの周囲の領域は「識別不可能」としてマークされることが可能である。次に、例えば新たな「認識」領域の境界を見つけることを試みるために、識別不可能領域の端部で音声サンプルが取り出されてもよい。もはや非認識区分がなくなるまで、すなわち「識別不可能」および「認識」区分のみが残されるまで、「非認識」区間からの新たな音声サンプルのブロードキャスト・ストリーム上で、識別および拡張プロセスは繰り返される。識別不可能な区分は、例えばＤＪの話し言葉か、または識別データベースの中にない（音楽などの）音声プログラムなどの、非プログラム音声に対応することが可能である。
【００４０】
識別される音声コンテントに関係する情報はライブラリ１１２のファイルに格納されてもよく、（例えばＩＤ３形式の）アイデンティティ・メタデータはそのファイルに添付されることが可能である。さらに、識別される音声コンテントの発生の期間はプレイリストに記録されることが可能なので、トラックのリスティング、およびトラックがブロードキャストされる対応する時間は編集されることが可能である。例えば、図４は識別されたトラックの記憶機構を示す流れ図である。ブロック４０２に示すように、トラック・アイデンティティ、ブロードキャスト時間および日付を決定した後、ブロック４０４に示すように、情報はライブラリ１１２に格納されることが可能である。対応する音声トラックの開始時間と停止時間との間の間隔を含む認識音声区分の各々は、音楽ライブラリ・アーカイブの中の対応するファイルにコピーされてもよい。ライブラリ１１２は、例えば特定の日に何の曲が流されたかを判断するために、任意の数のユーザによってアクセスされてもよい。
【００４１】
ライブラリ１１２で結果として生じるファイルは識別メタデータとして分類され、例えばファイル名はトラックのタイトルとアーティストとの合成物であることが可能である。このようなメタデータへのポインタは、ラベルとして与えられてもよい。さらに各音声ファイルは、ＭＰ３もしくはＡＡＣなどの圧縮形式、またはリアル・オーディオ形式などに任意で格納されてもよい。さらに各認識音声区分のために、音声トラック・アイデンティティに対応し、音声ファイルに添付される識別メタデータにＩＤ３タグ記録が配置されてもよい。ファイルは、後の時点の再生のためにユーザが選択できるように、トラック・リストに表示されてもよい。
【００４２】
ライブラリ１１２に情報を記録した後、プレイリストはブロック４０６および４０８に示すように作成され、格納される。例えば、識別される（例えば認識される）時間区分のプレイリストは対応する識別情報とともに編集され、この情報を申し込むこと（ｓｕｂｓｃｒｉｂｉｎｇ）に興味を示す顧客に提供されることが可能である。プレイリストの例は以下の表１の中で示す。
【００４３】
【表１】
2007533274.tif 000002
【００４４】
プレイリスト情報は、新たな非認識音声が受信されるときに着信する音声サンプルで識別が実行されてもよく、その結果知られている音声トラックの終了時間は将来的に、まだ受信されていない音声データに対応するという事実によって、最小限の待ち時間で、リアルタイムで提供されてよい。実施形態の例で、次に分析される音声サンプルは、現在知られている音声トラックの終了時間が生じ始めたすぐ後に捉えられるように予定される。したがって識別情報は、例えば少なくとも数秒のみの遅れで、リアルタイムで示されてもよい。
【００４５】
直接的および適応的識別による分割
上述の方法を使用して、ブロードキャスト音声ストリームは認識音声部分と非認識音声部分とに分割されることが可能である。音声サンプルは直接的または適応的な識別技術に基づいて、識別のためにブロードキャスト・ストリームから選択されることが可能である。直接的技術を使用して、音声サンプルは、例えば３０秒ごとか、またはその他の周期的な間隔などの所定の間隔で取り出されることが可能である。
【００４６】
しかしながら効率性を得るために、「認識された」領域内のブロードキャスト・ストリームのいかなる箇所でも、さらなるサンプリングおよび識別ステップを実行する必要はない。正確な識別であれば、このようなオーバーサンプリングは余計なものである。周期的なサンプリングではなく、音声ストリームの中で一度サンプルが識別され、分割されると、次回のサンプリングは識別されるサンプルの時間外になるように計算されることが可能である。したがって、サンプリング周期は識別されたトラックの後の時間で、適応的に調整されることが可能である。この方法で、サンプリング密度は最適化されることが可能である。
【００４７】
図５は音声ストリームの適応的なサンプリングを概念的に示す。例えば、説明したとおり、トラックが一旦（例えばＰｉｎｋ  Ｆｌｏｙｄの曲などの）ＲＡとして識別されると、曲が終了するまで再び音声ストリームをサンプリングする必要はない。したがって図６に示すように、識別されたトラック長がブロック６０２に示すように決定された後、ブロック６０４および６０６に示すようにトラックの終了時間に基づいて、次にサンプリングをする機会が計算されることが可能である。さらに、終了点は識別されることができないかもしれないトラック間の移行部を含むこともあるので、トラックのちょうど終了点でサンプリングをするのは望ましくない場合がある。したがって図５に示すように、次にサンプリングをする機会は、識別されたトラックの終了から数秒後になるように計算されることが可能である。こうして、ストリーム中の音声の構造（例えばトラックの開始位置および終了位置など）を理解することに基づいて、サンプリング・パターンは適応的に構成されることが可能である。
【００４８】
識別プロセスの中の確実性を増すために、図７に示すように、時間的に近い複数のサンプルが取り出され、識別されてもよい。同じトラックから取り出される複数のサンプルは、同じトラックＩＤとなるべきである。例えば図７に示すように、複数のサンプルは両方ともＰｉｎｋ  Ｆｌｏｙｄの曲として識別されている。このように、複数の密度のサンプリングが取り入れられてもよく、トラックＩＤが変わる場合、境界のサンプルの間でプログラムの移行（すなわちトラックの変更）があったと考えられることが可能である。次いで、一致するサンプルによって表される期間は、識別されたトラックの境界を定めるために使用されることが可能である。
【００４９】
多重サンプリング方法を使用するさらに別の拡張機能で、推定の音声トラック開始時間（または、同様の音声トラック終了時間）は、サンプルの中でトラック・アイデンティティが変わらなければ、ほぼ同一のままであるべきである。ゆえに、実質的に類似の音声トラック開始時間を有するサンプルはひとまとめにされることが可能であり、そのようなサンプルはまた同一のトラック・アイデンティティも有するべきである。このことは、識別プロセスを確認するための別の処置を提供する。このことは、認識要求に対して複数の認識結果が返信される場合に有益であり、実際にどのトラックが存在しているのかを決定するために役立てられてもよい。２つ以上のトラックが、例えば拡大版ミックスまたはダンス・ミックスなどの同じソース・マテリアルに基づく要素を含む場合、複数の認識結果が返信されることが可能である。そのような場合、｛トラックＩＤ、音声トラック開始時間、および任意でトラック長｝の複数のセットが、所与のサンプルのために音声検索エンジンによって返信される。トラックを識別するために、大部分のサンプルが一致するトラック・アイデンティティおよび音声トラック開始時間が選択される。
【００５０】
本明細書で開示される任意の実施形態の中のさらなる態様で、識別不可能の区分を含むいかなる残りのＮＲＡも、コンテントを識別しようとする試みの中で、対応する音声ファイルにコピーされ、人間の聞き手に提示されてもよい。人間の聞き手はＮＲＡをさらに編集し、場合によってはＮＲＡをＲＡとして再範疇化するための手段を持ってもよい。音声検索エンジン１０８によって識別されることが不可能なＮＲＡ区分は、まだデータベース１１０の中に存在しない、新たな音楽リリースのための候補である。ゆえにこの分析は、一旦適切に注釈を付けられて、その後音声検索エンジンのデータベースに追加されるべき潜在的な新たな音楽リリースを自動的に要約し、表示する方法の一例を表す。
【００５１】
個々に、または他の実施形態と組み合わせて実行されるものとして、多くの実施形態が説明されてきたが、データ・ストリームの中でのサンプルの識別の確実性を向上させるために、上述の実施形態のいかなるものもすべて合わせて、または任意の組合せで使用されてもよい。さらに、実施形態の多くは、（ラジオ受信機などの）ブロードキャスト・ストリーム受信手段、および（１）識別ステップを実行するための中央識別サーバと通信するデータ伝送手段か、または（２）消費者デバイス自体に組み入れられた識別ステップを実行するための手段（例えば音声認識手段のデータベースは消費者デバイスにロードされることが可能である。）のいずれかを有する消費者デバイスを使用して実行されてもよい。さらに消費者デバイスは、イーサネットまたはサーバへの無線データ接続などの、新たな音声トラックの識別に対応するためのデータベースの更新手段と、データベースの更新を要求する手段とを含んでもよい。消費者デバイスはまた、分割され、分類された、認識された音声トラック・ファイルを格納するための局部的な格納手段をさらに含んでもよく、デバイスはジュークボックスの中などで、プレイリストの選択および音声トラックの再生手段を有してもよい。
【００５２】
本出願は完全な機能認識システムおよび方法の文脈の中で説明されてきたが、本出願の機構は様々な形式の命令のコンピュータ可読媒体の形式で配布されることが可能であり、本出願は実際に配布を実行するために使用される信号を有する媒体の特定の型にこだわらず、等しく適用されることが当業者には理解されるということに注意されたい。そのようなコンピュータによるアクセスが可能なデバイスの例は、デジタルおよびアナログ通信リンクなどの伝送型媒体の他にも、コンピュータ・メモリ（ＲＡＭまたはＲＯＭ）、フロッピー・ディスクおよびＣＤ−ＲＯＭを含む。
【００５３】
本出願の実施形態と合わせて例を説明してきたが、本出願の範囲および精神から逸脱することなく、変形形態が作成されてもよいことを当業者には理解されたい。例えば、例で説明されたブロードキャスト・データ・ストリームは、多くは音声ストリームであるが、本発明はそのように限定されるわけではなく、むしろビデオ、テレビ、またはその他のマルチメディア・コンテントを含む幅広い種類のブロードキャスト・コンテントに適用されてもよい。さらに本明細書で説明される装置および方法は、揮発または非揮発性メモリを通じてソフトウェア・アプリケーションを実行する汎用または専用プロセッサなどのハードウェア、ソフトウェア、またはその組合せの中で実装されてもよい。本出願の真の範囲および精神は、上述のことを考慮して解釈されてよい添付の特許請求の範囲によって定義される。
【図面の簡単な説明】
【００５４】
【図１】音声ストリームの中でコンテントを識別するためのシステムの一例を示す図である。
【図２】ブロードキャスト音声ストリームの中でコンテントを識別するための方法の一例を示す流れ図である。
【図３】音声ストリームから捕らえられた音声を識別するためのプロセスの一例を概念的に示す図である。
【図４】識別されたトラックを格納するための方法の一例を示す流れ図である。
【図５】音声ストリームのサンプリング間隔の適応的な調整の一例を概念的に示す図である。
【図６】音声ストリームのサンプリング間隔を適応的に調整するための方法の一例を示す流れ図である。
【図７】音声ストリームから捕らえられた音声を識別するためのプロセスの別の例を概念的に示す図である。
【図１】
2007533274.tif 000003
【図２】
2007533274.tif 000004
【図３】
2007533274.tif 000005
【図４】
2007533274.tif 000006
【図５】
2007533274.tif 000007
【図６】
2007533274.tif 000008
【図７】
2007533274.tif 000009
【国際調査報告】
2007533274.tif 000010
2007533274.tif 000011