(57)【要約】【課題】オーディオ・コンテンツを含むまたはそれに関する製品を販売するための方法を提供すること。【解決手段】本方法によると、オーディオ・コンテンツ・イメージに対して生成されたオーディオ識別情報が、オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチするかどうか判定される（３０８）。そのオーディオ・コンテンツ・イメージに対して生成されたオーディオ識別情報が、オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチした場合、マッチしたオーディオ識別情報に対応するオーディオ・コンテンツを含むまたはそれに関する少なくとも１つの製品が識別される（３１０）。一実施形態では、オーディオ・コンテンツ・イメージが受信され（３０５）、オーディオ識別情報がオーディオ・コンテンツ・イメージに対して生成される（３０６）。他の実施形態では、オーディオ・コンテンツ・イメージに対するオーディオ識別情報が受信される。製品を販売するシステムも提供される。
2005518594.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ・コンテンツを含むまたはそれに関する製品を販売する方法であって、
記録されたオーディオ・コンテンツ・イメージを受信するステップと、
前記オーディオ・コンテンツ・イメージに対するオーディオ識別情報を生成するステップと、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチするかどうか判定するステップと、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、前記オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチした場合、前記マッチしたオーディオ識別情報に対応するオーディオ・コンテンツを含むまたはそれに関する少なくとも１つの製品に対して料金を課金するステップとを含む方法。
【請求項２】
前記受信ステップが、歌の少なくとも一部分の送信されたオーディオ・コンテンツ・イメージを受信するサブステップを含み、
前記課金ステップが、前記マッチしたオーディオ識別情報に対応する少なくとも１つの歌の記録を送信するサブステップを含む、請求項１に記載の方法。
【請求項３】
オーディオ・コンテンツを含む製品を販売する方法であって、
記録されたオーディオ・コンテンツ・イメージを受信するステップと、
前記オーディオ・コンテンツ・イメージに対するオーディオ識別情報を生成するステップと、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチするかどうか判定するステップと、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、前記オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチした場合、前記マッチしたオーディオ識別情報に対応するオーディオ・コンテンツを含む製品を生成するステップとを含む方法。
【請求項４】
前記生成された製品に対して料金を課金するステップをさらに含む、請求項３に記載の方法。
【請求項５】
オーディオ・コンテンツを含むまたはそれに関する製品を販売する方法であって、
オーディオ・コンテンツ・イメージに対して生成されたオーディオ識別情報が、オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチするかどうか判定するステップと、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、前記オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチした場合、前記マッチしたオーディオ識別情報に対応するオーディオ・コンテンツを含むまたはそれに関する少なくとも１つの製品を識別するステップとを含む方法。
【請求項６】
前記オーディオ・コンテンツ・イメージを受信するステップと、
前記オーディオ・コンテンツ・イメージに対する前記オーディオ識別情報を生成するステップとをさらに含む、請求項５に記載の方法。
【請求項７】
前記オーディオ・コンテンツ・イメージに対する前記オーディオ識別情報を受信するステップをさらに含む、請求項５に記載の方法。
【請求項８】
前記識別された製品に対する料金を課金するステップをさらに含む、請求項５に記載の方法。
【請求項９】
前記オーディオ識別情報が、オーディオ・コンテンツに基づくオーディオ特徴シグニチャである、請求項５に記載の方法。
【請求項１０】
前記判定ステップが、前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ特徴シグニチャを前記オーディオ・コンテンツ・データベースに記憶されているオーディオ特徴シグニチャと比較するサブステップを含む、請求項９に記載の方法。
【請求項１１】
所定のオーディオ・コンテンツに対応するオーディオ識別情報を生成するステップと、前記オーディオ・コンテンツ・データベース中の前記所定のオーディオ・コンテンツに対応するオーディオ識別情報を記憶するステップとをさらに含む、請求項５に記載の方法。
【請求項１２】
前記マッチしたオーディオ識別情報に対応する前記オーディオ・コンテンツの識別に対する料金を課金するステップをさらに含む、請求項５に記載の方法。
【請求項１３】
前記生成ステップが、
時間依存パワー・スペクトルによって特徴付けられたオーディオ信号を得るサブステップと、
複数の時間依存周波数成分を得るために前記スペクトルを分析するサブステップと、
前記複数の時間依存周波数成分中で複数のイベントを検出するサブステップと、
前記複数のイベントに基づいてオーディオ・データ・ストリームから前記オーディオ・コンテンツに対する前記オーディオ識別情報を作成するサブステップとを含む、請求項６に記載の方法。
【請求項１４】
前記スペクトルを分析する前記サブステップが、
前記オーディオ信号をサンプリングして複数のオーディオ信号サンプルを得るサブステップと、
前記複数のオーディオ信号サンプルから複数のサブセットを取得するサブステップと、
前記複数のサブセットのそれぞれに対してフーリエ変換を実施して１組のフーリエ周波数成分を得るサブステップとを含む、請求項１３に記載の方法。
【請求項１５】
前記生成ステップが、
前記部分の前記オーディオ信号のフーリエ変換を実施して第１の複数の周波数全体にわたって分散された時系列のオーディオ・パワーにするサブステップと、
それぞれがある範囲の近接する周波数を含むより小さい第２の複数の帯域に、前記周波数をグループ化するサブステップと、
前記帯域のそれぞれ中のパワー分散（power dissipation）イベントを検出するサブステップと、
識別特徴を形成するように、選択された瞬間に相互に隣接する帯域から前記パワー分散イベントをグループ化するサブステップとを含む、請求項６に記載の方法。
【請求項１６】
オーディオ・コンテンツを含む製品を販売するための、プログラムで符号化されたコンピュータ可読媒体であって、
前記プログラムが、
記録されたオーディオ・コンテンツ・イメージを受信するステップと、
前記オーディオ・コンテンツ・イメージに対するオーディオ識別情報を生成するステップと、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチするかどうか判定するステップと、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、前記オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチした場合、前記マッチしたオーディオ識別情報に対応するオーディオ・コンテンツを含む製品を生成するステップとを実施するための命令を含む、コンピュータ可読媒体。
【請求項１７】
前記プログラムが、前記生成された製品に対する料金を課金するステップを実施するための命令をさらに含む、請求項１６に記載のコンピュータ可読媒体。
【請求項１８】
オーディオ・コンテンツを含むまたはそれに関する製品を販売するための、プログラムで符号化されたコンピュータ可読媒体であって、
前記プログラムが、
オーディオ・コンテンツ・イメージに対して生成されたオーディオ識別情報が、オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチするかどうか判定するステップと、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、前記オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチした場合、前記マッチしたオーディオ識別情報に対応するオーディオ・コンテンツを含むまたはそれに関する少なくとも１つの製品を識別するステップとを実施するための命令を含む、コンピュータ可読媒体。
【請求項１９】
前記プログラムが、
前記オーディオ・コンテンツ・イメージを受信するステップと、
前記オーディオ・コンテンツ・イメージに対する前記オーディオ識別情報を生成するステップとを実施するための命令をさらに含む、請求項１８に記載のコンピュータ可読媒体。
【請求項２０】
前記プログラムが、前記オーディオ・コンテンツ・イメージに対する前記オーディオ識別情報を受信するステップを実施するための命令をさらに含む、請求項１８に記載のコンピュータ可読媒体。
【請求項２１】
歌の少なくとも一部分の送信されたオーディオ・コンテンツ・イメージを受信するステップと、
前記マッチしたオーディオ識別情報に対応する少なくとも１つの歌の記録を送信するステップとをさらに含む、請求項１８に記載のコンピュータ可読媒体。
【請求項２２】
前記オーディオ識別情報が、オーディオ・コンテンツに基づくオーディオ特徴シグニチャであり、
前記判定ステップが、前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ特徴シグニチャを、前記オーディオ・コンテンツ・データベースに記憶されたオーディオ特徴シグニチャと比較するサブステップを含む、請求項１８に記載のコンピュータ可読媒体。
【請求項２３】
前記プログラムが、
所定のオーディオ・コンテンツに対応するオーディオ識別情報を生成するステップと、
前記オーディオ・コンテンツ・データベース中の前記所定のオーディオ・コンテンツに対応するオーディオ識別情報を記憶するステップとを実施するための命令をさらに含む、請求項１９に記載のコンピュータ可読媒体。
【請求項２４】
前記生成ステップが、
時間依存パワー・スペクトルによって特徴付けられるオーディオ信号を得るサブステップと、
複数の時間依存周波数成分を得るためにスペクトルを分析するサブステップと、
前記複数の時間依存周波数成分中で複数のイベントを検出するステップと
前記複数のイベントに基づくオーディオ・データ・ストリームから前記オーディオ・コンテンツ対する前記オーディオ識別情報を作成するサブステップとを含む、請求項１９に記載のコンピュータ可読媒体。
【請求項２５】
前記スペクトルを分析する前記サブステップが、
前記オーディオ信号をサンプリングして複数のオーディオ信号サンプルを得るサブステップと、
前記複数のオーディオ信号サンプルから複数のサブセットを取得するサブステップと、
前記複数のサブセットのそれぞれに対してフーリエ変換を実施して１組のフーリエ周波数成分を得るサブステップとを含む、請求項２４に記載のコンピュータ可読媒体。
【請求項２６】
前記生成ステップが、
前記部分の前記オーディオ信号のフーリエ変換を実施して第１の複数の周波数全体にわたって分散された時系列のオーディオ・パワーにするサブステップと、
それぞれがある範囲の近接する周波数を含むより小さい第２の複数の帯域に、前記周波数をグループ化するサブステップと、
前記帯域のそれぞれ中のパワー分散イベントを検出するサブステップと、
識別特徴を形成するように、選択された瞬間に相互に隣接する帯域から前記パワー分散イベントをグループ化するサブステップとを含む、請求項１９に記載のコンピュータ可読媒体。
【請求項２７】
記録されたオーディオ・コンテンツ・イメージを受信するための入力インターフェースと、
前記オーディオ・コンテンツ・イメージに対するオーディオ識別情報を生成するための識別情報生成装置と、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチするかどうか判定するためのマッチ検出装置と、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、前記オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチした場合、前記マッチしたオーディオ識別情報に対応するオーディオ・コンテンツを含む製品を生成するための製品生成装置と
を備えるシステム。
【請求項２８】
オーディオ・コンテンツ・イメージに対して生成されたオーディオ識別情報が、オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチするかどうか判定するためのマッチ検出装置と、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、前記オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチした場合、前記マッチしたオーディオ識別情報に対応するオーディオ・コンテンツを含むまたはそれに関する少なくとも１つの製品を識別するための製品識別子と
を備えるシステム。
【請求項２９】
前記オーディオ・コンテンツ・イメージを受信するための入力インターフェースと、
前記オーディオ・コンテンツ・イメージに対する前記オーディオ識別情報を生成するための識別情報生成装置とをさらに備える、請求項２８に記載のシステム。
【請求項３０】
前記オーディオ・コンテンツ・イメージに対する前記オーディオ識別情報を受信するための入力インターフェースをさらに備える、請求項２８に記載のシステム。
【請求項３１】
前記マッチしたオーディオ識別情報に対応する少なくとも１つの歌の記録を送信するための出力インターフェースをさらに備え、
前記入力インターフェースが、歌の少なくとも一部分の送信されたオーディオ・コンテンツ・イメージを受信するように適合されている、請求項２７に記載のシステム。
【請求項３２】
前記オーディオ識別情報が、オーディオ・コンテンツに基づくオーディオ特徴シグニチャである、請求項２８に記載のシステム。
【請求項３３】
前記マッチ検出装置が、前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ特徴シグニチャを、前記オーディオ・コンテンツ・データベースに記憶されたオーディオ特徴シグニチャと比較する、請求項３２に記載のシステム。
【請求項３４】
前記オーディオ・コンテンツ・データベースが、所定のオーディオ・コンテンツに対してオーディオ識別情報を記憶する、請求項２８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、製品を販売するシステムに関し、さらに詳細には、オーディオ・コンテンツが自動的に識別される、オーディオ・コンテンツを含む製品を販売するシステムおよび方法に関する。
【背景技術】
【０００２】
本出願は、２００２年２月２１日出願の、先の米国特許出願第１０／０８０,０９７号に基づいており、かつそれに対して優先権を主張するものである。その米国特許出願第１０／０８０,０９７号の開示全体を参照により本明細書に組み込む。
【０００３】
音楽などのオーディオ・コンテンツは、ラジオ、テレビ、ケーブル・テレビ、衛星テレビ、およびインターネット・ウェブ・サイトを含む様々なメディアを介して聴取者にブロードキャストされる。このようなブロードキャストから歌を聞くとき、聴取者がその歌のアーチストまたは題名あるいはその両方を知らないことがしばしばある。その聴取者がその歌を楽しみ、その歌の記録またはその歌を含む製品（例えば、アルバムまたはビデオ）を購入したいと希望した場合、現在演奏されているその歌を識別できないと、聴取者が購入する妨げになる。そのため、販売の機会が失われ、アーチスト、すべての著作権所有者、製品の流通業者、および製品の小売業者にとって不利である。
【０００４】
現在では、聞いた歌を識別するために、聴取者は手動による再調査の何らかのタイプを利用する必要があるが、これは選択された再調査者（reviewer）がその歌の識別を知っている場合にしか成功することができない。例えば、聴取者が、その歌の識別を知っている可能性があると考える他の者に対して、記憶によって歌の一部分を歌うことを試みることがあり得る。あるいは、聴取者は、その歌（またはその一部分）を記録し、他の者にそれを再生し、識別しようとすることもあり得る。手動の再調査を利用するこのような識別技法では、聴取者がかかる歌について知識が豊富な他の者を見つけることが必要となる。さらに、聴取者の最初の購入希望が、その歌を識別できるまでに弱まってしまうこともあり得る。したがって、聴取者が、オーディオ・コンテンツを自動的に識別し、そのオーディオ・コンテンツを含む製品を購入することができるシステムおよび方法が求められている。
【０００５】
自動的にオーディオ・コンテンツの識別を行う製品を販売する実用的なシステムを開発する際の１つの難点は、自動的にオーディオ・コンテンツを識別するためのメカニズムを提供することである。任意のソースから音楽を識別することは些細な問題ではない。符号化方式が異なると、同じ歌に対して異なるビット・ストリームをもたらすことになる。同じ符号化方式を使用して同じ歌を符号化（すなわち、録音）し、２つのデジタル・オーディオ・ファイルを作成する場合でも、これらのファイルはビット・レベルで必ずしも一致するわけではない。
【０００６】
さらに、人間の知覚で判断した結果としての音の差は無視できるとしても、様々な影響がビット・ストリームの差になることがある。これらの影響には、記録システムの全体的周波数応答における微妙な差、デジタルからアナログへの変換の影響、残響などの音響環境の影響、および記録開始時におけるわずかな差がある。さらに、ある歌の記録から得られるビット・ストリームは、オーディオ・ソースのタイプによって変わる。例えば、あるステレオ受信装置の出力を符号化して作成された、ある歌のビット・ストリームが、別のステレオ受信装置の出力を符号化して作成された、同じ歌のビット・ストリームと一般に一致することはないはずである。
【０００７】
さらに、人間によく聞こえる形態の雑音およびひずみがあるが、人間が音楽を認識できるための妨げにはなっていない。ＦＭ放送およびオーディオ・カセットは、どちらもＣＤ記録より狭い帯域を有しており、インターネット上のＭＰ３によるファイルも比較的品質が低い。さらに、いくつかの記録システムでは、わずかな時間伸張または時間圧縮などによって音楽が変更され、またはひずみを受けることがある。このような場合には、開始および終了時間が異なるだけではなく、歌の所要時間も異なる可能性がある。このような差はすべて、人間が（あったとしても）わずかに気が付く程度かも知れないが、多くの識別方式をだめにすることがあり得る。
【特許文献１】米国特許出願第１０／０８０,０９７号
【発明の開示】
【発明が解決しようとする課題】
【０００８】
聞いたオーディオ・コンテンツを自動的かつ効果的に識別し、次いでそのオーディオ・コンテンツを含む１つまたは複数の製品を提示することなどにより、聴取者が、識別できないオーディオ・コンテンツを購入できるようにするシステムおよび方法が求められている。
【課題を解決するための手段】
【０００９】
本発明の一目的は、これらの欠点を鑑みて、前述の欠点を取り除き、オーディオ・コンテンツを含むまたはそれに関する製品を販売するためのシステムおよび方法を提供することである。
【００１０】
本発明の他の目的は、聴取者が識別できないオーディオ・コンテンツを購入できるようにするシステムおよび方法を提供することである。
【００１１】
本発明の他の目的は、聞いたオーディオ・コンテンツを自動的に識別するシステムおよび方法を提供することである。
【００１２】
本発明の他の目的は、オーディオ・コンテンツを識別し、そのオーディオ・コンテンツを含む１つまたは複数の製品を提示するためのシステムおよび方法を提供することである。
【００１３】
本発明の一実施形態は、オーディオ・コンテンツを含むまたはそれに関する製品を販売する方法を提供する。この方法によると、記録されたオーディオ・コンテンツ・イメージが受信され、このオーディオ・コンテンツ・イメージに対するオーディオ識別情報が生成される。オーディオ・コンテンツ・イメージに対して生成されたこのオーディオ識別情報が、オーディオ・コンテンツ・データベース中にあるオーディオ識別情報とマッチするかどうか判定される。オーディオ・コンテンツ・イメージに対して生成されたこのオーディオ識別情報が、オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチした場合、このマッチしたオーディオ識別情報に対応するオーディオ・コンテンツを含むまたはそれに関する少なくとも１つの製品に対して料金が課金される。
【００１４】
本発明の他の実施形態は、入力インターフェース、識別情報生成装置、マッチ検出装置、製品生成装置を含むシステムを提供する。入力インターフェースは、記録されたオーディオ・コンテンツ・イメージを受信し、識別情報生成装置は、そのオーディオ・コンテンツ・イメージに対してオーディオ識別情報を生成する。マッチ検出装置は、オーディオ・コンテンツ・イメージに対して生成されたオーディオ識別情報が、オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチするかどうか判定する。オーディオ・コンテンツ・イメージに対して生成されたオーディオ識別情報が、オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチした場合、製品生成装置は、このマッチしたオーディオ識別情報に対応するオーディオ・コンテンツを含む製品を生成する。
【発明を実施するための最良の形態】
【００１５】
図１および図２は、本発明を実装できる例示的システムの概略図である。このシステムは、第１の通信リンク１０６を介して一緒に結合されたコンテンツ・ソース１０２およびコンテンツ記録装置１０４を含む。さらに、このシステムは、第２の通信リンク１２２を介して一緒に結合されたコンテンツ再生装置１１２およびオーディオ識別コンピュータ（ＡＩＣ）１２０を含む。以下に詳細に述べる方法などの方法を実施する目的で、ＡＩＣ１２０上にソフトウェアをロードするために、ＣＤ−ＲＯＭなどのコンピュータ可読記憶媒体１２４が提供される。例えば、このソフトウェアは、コンテンツ再生装置１１２によって供給されたオーディオ・コンテンツ・イメージから、自動的にオーディオ・コンテンツを識別し、次いで、その識別されたオーディオ・コンテンツを含む１つまたは複数の製品を表示するように動作することができる。いくつかの実施形態では、追加で、またはその代わりに、識別されたオーディオ・コンテンツに関する１つまたは複数の製品が表示される（例えば、その識別された歌を記録したアーチストの経歴またはポスタなど）。
【００１６】
コンテンツ・ソース１０２は、単独でまたはマルチメディア・プレゼンテーションの一部としてオーディオ・コンテンツを提供するどんなソースでもよい。コンテンツ記録装置１０４は、コンテンツ・ソース１０２から、オーディオ・コンテンツのイメージを受信しかつ記録できるどんな装置でもよく、コンテンツ再生装置１１２は、コンテンツ記録装置１０４によって適切な形式で記録されたオーディオ・コンテンツ・イメージを出力することができるどんな装置でもよい。通信リンク１０６、１２２は、これらの装置に適したフォーマットでオーディオ・コンテンツの移送を可能にするどんなメカニズムでもよい（例えば、空気を介して伝送される音波、無線周波数リンクまたはローカル・ケーブル接続を介して伝送されるアナログ信号、あるいはローカル・ケーブル接続または長距離ネットワーク接続を介して伝送されるデジタル・データ・ストリームなど）。
【００１７】
ＡＩＣ１２０は、ＩＢＭ  ＰＣ互換機（IBM PC-compatiblecomputer）など従来型のどんなコンピュータ・システムでもよい。周知のように、ＩＢＭ  ＰＣ互換機は、マイクロプロセッサ、ＢＩＯＳ用ＲＯＭ（基本入出力システム用読取り専用メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、ハード・ディスク・ドライブ・ストレージ、取り外し可能コンピュータ可読媒体ストレージ（例えば、ＣＤ−ＲＯＭドライブ）、ビデオ・ディスプレイ・アダプタ・カード、ビデオ・モニタ、ネットワーク・インターフェース（例えば、モデム）、キーボード、ポインティング装置（例えば、マウス）、サウンド・カード、およびスピーカを含み得る。ＡＩＣ１２０には、オペレーティング・システム（Ｗｉｎｄｏｗｓ（Ｒ）またはＵＮＩＸ（Ｒ）など）および以下に述べるような動作をするものなどのＡＩＣアプリケーションがロードされる。
【００１８】
一実施形態では、例えば、コンテンツ・ソース１０２がＦＭ無線局、コンテンツ記録装置１０４が、ＦＭ受信装置およびカセット・デッキを有するステレオ装置、コンテンツ再生装置１１２がポータブル・カセット再生装置、ＡＩＣ１２０がレコード店におけるコンピュータ・パワーを備えるキオスク（computer-powered kiosk）である。無線周波数リンクを介して無線局から受信したオーディオ・コンテンツは、そのステレオ装置によってカセットに記録される。次いで、カセットは、ポータブル・カセット再生装置で再生され、キオスクのマイクロフォンに吹き込まれる。別法としては、キオスクは、カセットを再生するカセット再生装置を備えることもできる。
【００１９】
他の実施形態では、記録済ビデオ再生装置（例えば、ＶＣＲまたはＤＶＤ再生装置）がコンテンツ・ソース１０２であり、パーソナル・コンピュータがコンテンツ記録装置１０４およびコンテンツ再生装置１１２を兼ね、また遠隔ウェブ・サーバがＡＩＣ１２０である。記録済ビデオに含まれるオーディオ・コンテンツ（例えば、映画の歌、またはテレビ・ショーの背景音楽）は、ローカル・ケーブルを介してパーソナル・コンピュータのサウンド・カードに供給される。オーディオ・コンテンツのイメージは、オーディオ・ファイルとして（例えば、ＭＰ３フォーマットで）コンピュータに記憶され、次いでそのコンピュータ・システムは、インターネット接続を介して小売店のウェブ・サイトのウェブ・サーバに、そのオーディオ・ファイルをアップロードする。他の実施形態には、当該オーディオ・コンテンツの何らかのタイプのイメージを記憶し、次いで適切なフォーマットでＡＩＣに転送することを可能とする、コンテンツ・ソース、記録装置、および再生装置の数多くの異なる組合せが含まれる。
【００２０】
図３は、本発明の一実施形態による製品を販売するシステム用ソフトウェアのブロック図である。コンテンツ再生装置によって供給されたオーディオ・コンテンツ・イメージは、通信リンク２０８を介して入力インターフェース２１０に結合される。このオーディオ・コンテンツ・イメージは、オーディオ・コンテンツで変調されたアナログ信号、デジタル・データ・ストリーム、またはコンピュータ・ファイルを含む任意のフォーマットで供給される。入力インターフェース２１０は、オーディオ・コンテンツ・イメージを受信し、オーディオ識別／製品プレゼンテーション・アプリケーション２１２が使用できるように、同じフォーマットまたは異なるフォーマット（例えば、ＭＩＤＩ、ＷＡＶ、またはＭＰ３フォーマットのデジタル・データ）でオーディオ・データ・ストリームを出力する・
【００２１】
このオーディオ識別／製品プレゼンテーション・アプリケーション２１２は、コンテンツ識別子モジュール２１８を含む。このコンテンツ識別子モジュール２１８は、入力インターフェース２１０からオーディオ・データ・ストリームを受信し、それを復号して情報を取得する。好ましい実施形態では、このコンテンツ識別子モジュールは、多数の歌から取り出された多数の鍵を含む鍵データベース２１６を含む。データベース中の歌（すなわち、録音ユニット）ごとに、１組の鍵がある。この１組の鍵は、歌または歌のセグメント（segment）を識別する手段を提供する。ある歌の１つのセクション（section）は、このセクションを識別できる、対応するサブセットの鍵を有しており、したがって、歌のわずか１セグメントの存在を識別できる能力を保持する。
【００２２】
例示的な一実施形態では、鍵データベースは鍵テーブルの形をとる。鍵テーブルの各行は、第１列に鍵のシーケンス、第２列に時間群値、第３列に歌のＩＤ（例えば、タイトル）を含む。鍵データベースは、知られている歌に鍵生成プログラムを適用し、この鍵生成プログラムによって得られた各鍵を、鍵データベース中のタイトルと関連付けることによって構築される。この時間群は、鍵がそこから取り出される、オーディオの特徴が生ずる（歌の開始から所定間隔単位で測定した）時間である。各時間群は、所定間隔に等しい時間期間中に生じたイベント（さらに以下で説明する）を含む。同じ歌の２つの異なる記録では、開始時間がわずかに異なることがあり得る（例えば、歌が実際に開始される数秒前後に、この記録が開始することがあり得る）、またはその歌のセグメントだけを含むことがあり得る。このような不一致は、好ましいオーディオ識別方法が克服すべき難点を提示する。
【００２３】
図４は、本発明の他の実施形態による製品を販売するシステム用ソフトウェアのブロック図である。この実施形態では、オーディオ識別情報が通信リンク２０８を介して入力インターフェース２１０に結合される。例えば、コンテンツ再生装置は、識別情報生成装置を含むことができ、オーディオ・コンテンツに対する生成された識別情報を、そのオーディオ・コンテンツ自体の代わりに供給することもできる。入力インターフェース２１０は、コンテンツ識別子モジュール２１８を含む製品プレゼンテーション・アプリケーション２１２に、この識別情報を供給する。
【００２４】
一実施形態では、ユーザのコンピュータ・システムが、オーディオ・コンテンツまたはオーディオ・コンテンツ・イメージに対するオーディオ・コンテンツ識別情報を生成し、次いで、（オーディオ・コンテンツ・イメージそれ自体ではなく）この生成されたオーディオ・コンテンツ識別情報を小売店のシステム（例えば、ウェブ・サイトまたはキオスク）にアップロードする。かかる実施形態では、オーディオ・コンテンツ識別情報を生成するソフトウェアは、ユーザのコンピュータ・システム上で実行される。したがって、識別情報生成機能およびマッチング機能を独立したものとすることができ、これらの機能を同じまたは異なるコンピュータ・システムで実行することができる。
【００２５】
図５は、本発明の好ましい実施形態に従って、販売目的でオーディオ・コンテンツを自動的に識別するために、オーディオ識別／製品プレゼンテーション・アプリケーションによって実施されるプロセス３００の流れ図である。ステップ３０２で、購入できる製品のオーディオ・コンテンツ（例えば、アルバムまたはコンサート・ビデオの歌）が、オーディオ・コンテンツ・データベース中の識別情報と共に登録される。好ましい実施形態では、この識別情報は、特徴生成システムによって作成され、オーディオ・コンテンツ自体に基づいている。例えば、以下で詳細に述べるプロセスは、検索すべきオーディオ・コンテンツの各曲に対する一義的なシグニチャ（signature）を（１組の鍵の形で）生成するために使用することができる。
【００２６】
他の実施形態では、識別情報は、オーディオ・データ自体に基づいて計算される他の任意のタイプのオーディオ・シグニチャまたはオーディオ指紋、識別ウォーターマーク、識別番号などの組込み識別情報、またはオーディオ・コンテンツの個々の部分が一義的に（または、実質上一義的に）識別できる他の任意のタイプの情報であり得る。さらに、登録されたオーディオ・コンテンツは、各製品からの単一の選択または複数の選択（例えば、アルバムや映画のすべての歌）のものであり得る。
【００２７】
ステップ３０４で、オーディオ・コンテンツを聞く聴取者は、そのオーディオ・コンテンツの少なくとも１部分のイメージを記録する。次いで、ステップ３０５で、その聴取者は、小売店のオーディオ識別システムにそのオーディオ・コンテンツ・イメージを供給する。図１に関して前述したように、イメージを記録し、小売店のシステムにそれを供給するステップは、特定のアプリケーションの実際の条件に応じて任意の利用可能な方法で実施することができる。例えば、聴取者は、オーディオ・コンテンツ・イメージを機械可読媒体に記録し、次いでその媒体を小売店のキオスクに挿入することができる。別法では、聴取者は、オーディオ・コンテンツ・イメージをコンピュ−タにオーディオ・ファイルとして記録し（または、先に記録したイメージをこのようなオーディオ・ファイル・フォーマットに移し）、次いでこのオーディオ・ファイルを小売店のウェブ・サイトにアップロードすることができる。他の実施形態では、ユーザがオーディオ・コンテンツ識別情報を生成し、次いで、（オーディオ・コンテンツ・イメージ自体ではなく）生成されたオーディオ・コンテンツ識別情報を小売店のシステムに供給する。例えば、ユーザは、小売店のシステムにこの識別情報をアップロードすることもできる。
【００２８】
ステップ３０６で、コンテンツ識別子モジュール２１８は、オーディオ・コンテンツ・データベース中に記憶された情報と同様のオーディオ・コンテンツ識別情報を生成するアルゴリズムを使用して、ステップ３０４で供給されたオーディオ・コンテンツ・イメージを分析する。好ましい実施形態では、例えば、供給された各オーディオ・コンテンツ・イメージに対して、一義的な特徴シグニチャが（１組の鍵の形で）生成される。次に、ステップ３０８で、このオーディオ・コンテンツ・イメージ（または、オーディオ・コンテンツ・イメージの部分）に対して計算された一義的なシグニチャが、オーディオ・コンテンツ・データベースに記憶された情報と比較される。コンテンツ識別子モジュール２１８は、このオーディオ・コンテンツ・イメージが、オーディオ・コンテンツ・データベース中のいずれかのオーディオ・コンテンツとマッチするかどうか判定する。何らかの最低しきい値を使用する最良マッチ・アルゴリズムが、このような判定を行うのに使用し得る。１つの例示的マッチ判定アルゴリズムを以下で詳細に検討する。
【００２９】
好ましい実施形態では、コンテンツ識別子モジュールは、１つの歌の異なる記録を区別することができる。同じアーチストによる異なる記録、および別のアーチストによる記録を含めて同じ歌にいくつかの記録があり得る。手動による再調査などの従来型の技法では、聴取者が聞いたものとは異なるその歌の別の記録を識別することもあり得るが、好ましい実施形態のコンテンツ識別子モジュールは、その一義的なシグニチャを用いてその歌の異なる記録を区別し、聴取者が聞いた記録を識別することができる。
【００３０】
ステップ３１０で、そのオーディオ・コンテンツ・イメージがデータベース中のオーディオ・コンテンツとマッチすると判定された場合、小売店システムはマッチしたオーディオ・コンテンツを含む（または、それに関する）１つまたは複数の製品と一緒に、マッチしたオーディオ・コンテンツの識別（例えば、そのアーチストとタイトル）を聴取者のために表示する。例えば、そのオーディオ・コンテンツ・イメージが歌の１部分である場合、聴取者に表示されたリストは、その歌のカセット・シングル、その歌を含むアルバム、その歌の音楽ビデオ、その歌の実演を含むコンサート・ビデオ、その歌が出てくる映画、その歌を含む映画のサウンド・トラックなどの製品を含み得る。
【００３１】
次いで、ユーザはそのリスト上から１つまたは複数の製品を選択し、小売店からこれらの選択したものを直接購入または注文できることが好ましい。オーディオ識別システムのオペレータは、その代わりに（または、それに加えて）聴取者から供給されたオーディオ・コンテンツ・イメージからそのオーディオ・コンテンツを識別する料金を課金することもできる。さらに、このオーディオ識別システムは、その代わりに（または、追加的に）そのマッチしたオーディオ・コンテンツを含む製品（例えば、カセット、ＣＤ、またはそのマッチした歌の記録を含むデジタル・オーディオ・ファイル）をその聴取者の購入用に作成することもできる。いくつかの実施形態では、聴取者が、聴取者から供給されたオーディオ・コンテンツ・イメージにマッチしたまたは最も近いマッチが得られた、データベース中の１つまたは複数のオーディオ・コンテンツ・タイトル中から選択することによって当該オーディオ・コンテンツを確認するよう求められる。
【００３２】
図６〜図１１は、オーディオ・コンテンツを識別する１つの例示的プロセスの重要な部分を詳細に示す。図６は、本発明の好ましい実施形態に従ってオーディオ・セグメント（例えば、歌）のイベント・ストリームを生成するプロセス４００の流れ図の最初の部分である。このプロセス４００は、オーディオ信号を入力として受け取り、一連の「イベント」を出力する。本発明のいくつかの例では、オーディオ信号は、ＭＰ３ファイルから再生される。ステップ４０２で、オーディオ信号がサンプリングされる。一実施形態では、オーディオ信号は、約２２０５０Ｈｚまたはそれ以下でサンプリングされる。こうすると、周波数成分を最高１１ＫＨｚまで正確に判定できるようになる。１１ＫＨｚは、ほぼＦＭ放送無線波（FM broadcast radio）のカットオフ周波数であるので、上限周波数に約１１ＫＨｚを用いると有利であり、またある歌の記録が、ある時点にＦＭ無線波を介して送信されたのか、それとも高品質なソース（例えば、ＣＤ）から直接取得されたのかにかかわらず、その歌に対して同じ１組の鍵を生成できることが望ましい。
【００３３】
ステップ４０４で、連続する各テスト期間に対して、オーディオ信号のスペクトルが計算される。テスト期間の所要時間は、約１／４３秒から約１／１０．７５秒の範囲であることが好ましく、テスト期間が約１／２１．５秒であればさらに好ましい。オーディオ信号のスペクトルは、ＦＦＴ（高速フーリエ変換）アルゴリズムを使用して分析することが好ましい。ＦＦＴアルゴリズムを使用して得られるスペクトル情報の精度は、いくつかの連続する期間（サンプルの組）にＦＦＴを適用して得られた結果を一緒に平均することによって改良され得る。本発明の好ましい実施形態では、スペクトル情報は、複数の、好ましくは３以上の、さらに好ましくは４以上の連続する期間にＦＦＴを適用して得られた結果を一緒に平均することによって改良される。本発明の例示的な一実施形態によると、所要時間が１／２１．５秒の所与のテスト期間に関連するスペクトルは、オーディオ信号を２２０５０Ｈｚのレートでサンプリングし、それぞれ所要時間が２／２１．５秒で２０４８個のサンプルを含む４つの連続する期間にＦＦＴアルゴリズムを適用して得られる結果を一緒に平均することによって得られる。
【００３４】
ステップ４０４は、ＡＩＣ１２０のマイクロプロセッサ上で走るＦＦＴアルゴリズムを使用して実施することができる。あるいは、ＡＩＣは、ステップ４０４を実施するためのＦＦＴハードウェアを備えることもできる。このステップ４０４を実施するために、その代わりにフィルタ・バンクなど他のスペクトル分析装置を使用することもできる。さらにプロセス４０４で、別法として、サンプルの連続する組を、フーリエ基底以外の他のタイプの基底に射影することもできる。フーリエ基底の１つの特定の代替物は、ウェーブレット基底である。フーリエ基底関数と同様に、ウェーブレットは周波数ドメインに（その程度は低いが）局在化されている。ウェーブレットはさらに、時間ドメインにも局在化される追加の特性を有している。これは、オーディオ信号を、オーディオ信号の連続するサンプルの組ではなく、オーディオ信号全体としてウェーブレット基底に射影し、その信号の時間に依存した周波数情報を得る可能性を開くものである。
【００３５】
音楽の作曲における普通の１組の周波数は、平均律（even-temperedscale）の音符（note）である。平均律は、対数目盛上で等間隔になる音符を含む。各音符は、「半音」と呼ばれる周波数帯をカバーする。本発明者は、ＦＦＴアルゴリズムにより出力される等間隔の周波数帯ではなく、離散的な半音帯におけるスペクトルのパワーを収集することによって、改良されたシグニチャを得ることができると判断した。ステップ４０６で、ステップ４０４で得られたスペクトル情報（例えば、フーリエ周波数成分）がいくつかの半音周波数帯または半音周波数チャネルとして収集される。
【００３６】
ステップ４０８で、各半音周波数チャネルにおけるパワーの第１の平均が、最後のＴ１秒間にわたって取られる。ステップ４１０で、各半音周波数チャネルにおけるパワーの第２の平均が、最後のＴ２秒間にわたって取られる。（ただし、Ｔ２は、Ｔ１より大）。Ｔ１は、約１／１０秒から約１秒であることが好ましい。Ｔ２は、Ｔ１より２から８倍大きいことが好ましい。本発明の例示的一実施形態によると、Ｔ２が１秒に等しく、Ｔ１が１／４秒に等しい。前述の「イベント」は、第１の平均値が第２の平均と交差したときに生ずる。
【００３７】
ステップ４１２で、第１および第２の平均値が、半音チャネルごとに記録される。第１の平均が第２の平均と交差したかどうかを続くテスト期間中に判定できるように記録が行われる。ステップ４１４で、半音チャネルごとに第１の平均が第２の平均と交差したかどうか判定される。これは、現在のテスト期間中の第１の平均と第２の平均の間の不等関係（inequality relation）を最後の期間に対する不等関係と比較することによって行われる。２つの不等関係だけを上記で扱ってきたが、本発明の代替実施形態によれば、複数の平均を使用し、その複数の平均の異なるサブ・コンビネーション間で交差する点としてイベントを識別することも可能である。
【００３８】
半音周波数チャネル中の極値（極大または極小）の近傍で、この２つの平均は交差するはずである。平均した期間が異なる２つの移動平均（running average）の交差点を求めるのではなく、別のタイプのピーク検出装置（例えば、電子回路）を使用することもできる。それは、有利には、ソフトウェアではなくほぼハードウェアで実装された本発明の一実装形態で、ＦＦＴと組み合わせて用いることができる。
【００３９】
ある周波数チャネルの信号の頂点を探すのではなく、変曲点など他のタイプの曲線の特徴をトリガ・イベントとして用いることができる。変曲点は、所与の周波数チャネルにおける連続する３個のパワー値に対して演算を行いその周波数チャネルの２次導関数を計算し、その２次導関数が正から負（逆も同じ）に変化するときの時間を識別することによって見出すことができる。２次導関数は、次式における連続する３点に対する（時間依存周波数成分の）関数値を使用して近似することができる。
（Ｆ（Ｎ+２）−２Ｆ（Ｎ+１）+Ｆ（Ｎ））／ΔＴ
式中、Ｆ（Ｉ）は、ｉ番目の時間での（例えば、ｉ番目のテスト期間での）関数値であり、ΔＴは、連続する関数値間の間隔（例えば、テスト期間の所要時間）である。
【００４０】
ある時間依存周波数成分の極値では、その１次導関数はゼロに等しい。時間依存周波数成分の変曲点では、その２次導関数は、ゼロに等しい。極値と変曲点は、いずれもある種類のイベントである。より一般的には、イベントは、時間依存周波数成分の１次または高次の導関数式、または時間依存周波数成分を含む積分、あるいはその両方を含む満足する点（すなわち、時間上の点）として定義することができる。それらを異なるオーディオ・コンテンツの識別に使用するために必要なことは、「イベント」の定義の本質的な部分が、イベントはテスト期間ごとに生ずるのではなくテスト期間のサブセットで生ずることである。
【００４１】
ステップ４１６は、判断ブロックであり、その結果は、１つの半音チャネルに対する平均が交差するかどうかに依存している。ステップ４１６は、半音チャネルごとにテストされる。ある半音チャネルが、現在のテスト期間中に交差しない場合、ステップ４１８で、オーディオ信号が終了したかどうか判定する。オーディオ・ストリームが終了した場合、プロセス４００が終了する。オーディオ信号が終了していない場合、プロセス４００は、次のテスト期間に進み、ステップ４０４から続行する。一方、最後のテスト期間中で平均が交差した場合、プロセス４００はステップ４２２に進み、そこで、各イベントが現在の時間群に割り当てられ、平均が交差したイベントに関する情報が生成される。
【００４２】
イベント情報は、そのイベントに対する時間群、そのイベントに対するテスト期間、そのイベントに対する半音周波数帯、および交差する時点での速い平均（fast average）値（Ｔ１にわたる平均）を含むことが好ましい。イベント情報は、ＡＩＣに関連するメモリまたは記憶装置に記録することができる。各時間群は、１つのテスト期間より長いある期間の時間をカバーしており、好ましくは、時間群が、１／４秒から２秒に等しい時間の連続する期間をカバーし、より好ましくは、各時間群が、１／２秒から３／４秒の期間をカバーする。イベントを連続する時間群にグループ化すると、同じ歌の２つの記録を処理することによって得られた鍵が、その１つまたは両方の記録が何らかのひずみを持つことがある（例えば、磁気テープ上に記録する過程で生ずるひずみ）にもかかわらず、より完全にマッチする傾向があるという利点が得られる。
【００４３】
ステップ４２４で、プロセス４００は、次のテスト期間へと増分される。ステップ４２６で、オーディオ・セグメント（例えば、歌）が終了したかどうか判定する。オーディオ・セグメントが終了した場合、プロセス４００は終了する。オーディオ・セグメントが終了していない場合は、テスト期間へと増分され、プロセスはステップ４０４に戻る。
【００４４】
したがって、このプロセスの結果、１つのオーディオ信号を受け取り、複数のイベントを作成する。各イベントは、そのイベントが生じた半音周波数帯およびそのイベントが生じた時間群（間隔）に割り当てられる。イベントは、メモリ（例えば、ＡＩＣ１２０中のＲＡＭ）に記憶することができる。イベントは、バッファに記憶することができ、そこから１つまたは複数の鍵生成装置プロセスによって連続して読み取られる。このプロセスによって出力されたイベントは、イベント・ストリームの形にすることもできる、つまり、各時間群の後で、その時間群内で生じたすべてのイベントをメモリに書き込み、それによりその後の処理に利用可能にすることができる。別法では、歌に対するすべてのイベントをメモリまたは記憶装置に一度に書き込みを行う。
【００４５】
図８は、図６および図７に示すプロセスなどのプロセスによって作成されたイベントから鍵を生成する鍵生成装置プロセスの流れ図である。プロセス４００によって出力されたイベントは、複数の鍵生成装置プロセス５００によって処理される。複数の鍵生成装置プロセスのそれぞれは、その主周波数に指定された１つの半音周波数に割り当てられる。しかし、各鍵生成装置は、その主周波数に近い他の半音周波数帯中に生ずるイベントも使用する。各鍵生成装置は、５から１５個の半音周波数帯をモニタすることが好ましい。モニタされている周波数帯の数が少なすぎる場合、その結果得られる鍵は、特定のオーディオ・セグメントの特徴をそれほど強くは表さないことになる。一方、周波数帯の数がより多くなると、鍵を計算し、比較するための計算コストがかかり、鍵を記憶するために容量の大きいメモリが必要となり、鍵数の増加により鍵が鍵テーブル中で飽和して潜在的な性能ロスをもたらすことになる。本発明の一実施形態によると、各鍵生成装置がその主半音周波数帯および４つの他の半音周波数帯をモニタする（主半音周波数帯のそれぞれの側に２つづつ）。
【００４６】
次に、図８を参照すると、ステップ５０２で、プロセス４００で出力されたイベントの連続する各時間群は、イベントがこの鍵生成装置に割り当てられた半音周波数帯内で生ずるかどうかモニタされる。ステップ５０４は判断ブロックであり、その結果は、ステップ５０２で鍵生成装置が新しいイベントを（例えば、メモリを読み取ることによって）検出したかどうかに依存している。検出しない場合、ステップ５１４で、プロセス５００は次の時間群へと増分され、ステップ５０２に戻る。一方、検査した時間群および半音周波数帯中で新しいイベントが生じた場合、ステップ５０６で、その新しいイベントは、考慮中の鍵生成装置の鍵生成装置バッファに書き込まれ、その鍵生成装置バッファに記憶されていた最も古い時間群のイベントが削除される。例示的な一実施形態では、バッファは、行が時間グループに対応し、列が周波数帯に対応する１つのアレイとして見ることができる。すなわち、前述の本発明の実施形態では、各鍵生成装置によってモニタされる各半音周波数帯ごとに５つの列があるはずである。
【００４７】
鍵生成装置バッファは、３〜７個の時間群からのイベントを含むことが好ましい。各鍵バッファ・アレイに、５〜６個の時間群からのイベントを維持することがより好ましい。この実施形態では、すべての時間群が鍵生成装置バッファ中で表されるものではないことに留意されたい。図８に示すように、ある時間群中に、ある鍵生成装置に対する半音周波数帯で新しいイベントが生じない場合、鍵生成装置バッファには何の変更も行われない。言い換えると、ブランク行が記録されることはない。したがって、鍵生成装置バッファに記録された各時間群は、少なくとも１イベントを含む。
【００４８】
ステップ５０８は、判断ブロックであり、その結果は、現在の時間群（例えば、プログラム・ループを通る現在のパス）で生じたイベントが、トリガ・イベントかどうかに依存している。本発明の好ましい実施形態によると、トリガ・イベントとは、この鍵生成装置に割り当てられた主周波数で生ずるイベントのことである。トリガ・イベントが生じなかった場合、プロセスはステップ５１４に戻る。トリガ・イベントが生じた場合、プロセスはステップ５１０に進み、そこで鍵が鍵生成装置バッファのコンテンツから生成される。プロセス５００は、プロセス４００で作成されたすべてのイベントが処理されるまで続行される。
【００４９】
図９は、本発明の一実施形態による鍵生成装置バッファのコンテンツから鍵を生成するプロセスの流れ図である。特に、このプロセス６００は、図８のステップ５１０を実装する一実施形態を詳細に示す。ステップ６０２で、各鍵生成装置（前述のように、プロセス５００を実施する鍵生成装置が複数ある）および考慮中のその鍵生成装置に対する各トリガ・イベントごとに、鍵生成装置バッファからイベントの１つまたは複数の組合せが選択される。各組合せは、各時間群からそれぞれ１つのイベントだけしか含まない（各鍵生成装置バッファには、時間群ごとに複数のイベントが含まれ得る）。本発明の好ましい実施形態によると、可能性のあるすべての組合せが選択されるのではなく、各イベントに関連するパワーがその中で１つのイベントから次のイベントに単調に変化する組合せだけが選択される。
【００５０】
この実施形態では、１つの組合せ中のイベントの順序は、時間群の順序に対応する。各イベントに関連するパワーは、そのイベントが生じたテスト期間での速い（第１の）平均の大きさであることが好ましい。この実施形態では、可能性のある鍵をすべて使用するわけではないので、所与のオーディオ・セグメントのための鍵の総数が減る傾向にあり、それによってメモリおよび処理電力の要件が軽減される。一方、歌の識別がその歌から生成された１組の鍵によってよく特徴付ける（すなわち、強い相関がある）のに十分なだけの鍵がある。代替の実施形態によると、鍵生成装置バッファのコンテンツから単一の組合せだけが選択される。この単一の組合せは、各時間群からの最も速い平均のパワーに関連するイベントを含む。他の代替実施形態によると、各時間群から取った１つのイベントの、その異なるすべての組合せが使用される。
【００５１】
ステップ６０４で、イベントの選択された各組合せについて、ステップ６０２で形成された各組合せのイベント・シーケンスに対する一連の（主鍵生成装置周波数に対する）周波数オフセットの数値を含む鍵シーケンスが構成される。各周波数オフセットとは、イベントの生じた半音帯の周波数と鍵生成装置の主周波数の差である。ステップ６０６で、トリガ・イベントに対するテスト期間情報（例えば、トリガ・イベントのテスト期間に対するシーケンス番号。ただし、各歌の第１のテスト期間に対するシーケンス番号は、１番に指定される）が、鍵シーケンスと関連付けられる。
【００５２】
ステップ６０８で、鍵シーケンスとテスト期間情報を含む鍵が歌（または他のオーディオ）の識別子すなわちＩＤ（例えば、タイトル）と関連付けられる。プロセス６００は、未知の歌を比較する歌のデータベースを構築するために既知の歌を使用する場合、ステップ６０８を含む。２つの歌を比較するとき、図１１に関連してさらに以下で説明するように、鍵シーケンスおよびテスト期間情報が使用される。歌のデータベースは、３つの列と複数の行を含むテーブルの形式をとることができる。第１列は、鍵シーケンスを含み、第２列はその鍵シーケンスに関連付けられた対応するテスト期間を含み、最終列は、その行にある鍵が得られた歌の識別を含んでいる。
【００５３】
前述のプロセスは、オーディオ・コンテンツを識別するために使用できるが、打楽器（percussion）イベントを除去すると有利である。より詳細には、ある歌の中の打楽器音は、それが除去されない場合、通常、プロセス４００によって出力されるイベントのうちで高いパーセンテージを占める。コンピュータ資源（例えば、メモリおよび処理電力）を節約しより特徴付けられた１組の鍵を得るため、イベントが鍵生成装置プロセス５００によって処理される前に、いくつかの打楽器イベントを除去するなどにより、打楽器イベントの数を減らすことが望ましい。打楽器音は、同じテスト期間中に互いに隣接する半音周波数帯中でイベントをトリガさせることに本発明者は気が付いた。例えば、打楽器音は、一連の隣接する複数の半音周波数帯でイベントを生じさせることがあり得る。
【００５４】
図１０は、図６および図７のプロセスによって作成されたイベントから、打楽器イベントを除去するために好ましい実施形態で使用されるプロセスの流れ図である。ステップ７０２で、連続する各テスト期間ごとに、複数のイベントが一連の隣接する複数の半音周波数帯中で生じたかどうか判定する。ステップ７０４は、判断ブロックであり、その結果は、隣接する周波数帯中で複数のイベントが生じたかどうかに依存する。このプロセスで、隣接する周波数帯中に生ずるイベントに対して何らかの所定数のしきい値を使用する。イベントを見出すべき隣接する周波数帯の数の下限は（そのイベントが、打楽器音によって作成されたものと見なすために）、３またはそれ以上に設定することが好ましい。本発明の例示的な一実施形態によると、ステップ７０４の結果が肯定であるためには、イベントが、３つの連続する半音周波数帯中で生ずる必要がある。
【００５５】
ステップ７０４の結果が否定であった場合、このプロセスはステップ７０８に進み、そこで、次のテスト期間へと増分され、ステップ７０２に戻る。一方、ステップ７０４の結果が肯定であった場合、プロセス７００は、ステップ７０６から進み、そこで、同じテスト期間中に隣接周波数帯中で生じたイベントの各シーケンスが単一のイベントに削減される。シーケンス中の最も速い平均値を有するイベントを除くすべてのイベントが、プロセス４００によって作成されたイベント・ストリームから削除される。別法では、１つを除くすべてを削除せずに、最高である所定数までのイベントを保持することができる。
【００５６】
前述の諸プロセスは、音の記録に含まれる特徴（すなわち、イベント）に基づいてその音の記録に対する鍵を作成する。したがって、このプロセスを、既知のオーディオ・コンテンツに対して実行して、記憶段階中にその既知のオーディオ・コンテンツの特徴データベースを構築することができる。データベースが作成された後、取出し段階中に、上記のプロセスを使用して、未知のオーディオ・コンテンツから特徴を抽出することができ、次いで、抽出された特徴に基づき、データベースにアクセスしてオーディオ・コンテンツを識別することができる。例えば、同じプロセスを、未知のオーディオ・コンテンツに対して実行し、リアルタイムに（またはもっと速く）特徴を抽出することができ、次いでこのオーディオ・コンテンツは、データベース中でベスト・マッチと識別される。一実施形態では、ベスト・マッチは、オーディオ・コンテンツの所定間隔（例えば、１０〜３０秒）ごとに報告することができる。
【００５７】
図１１は、図８および図９のプロセスで生成された鍵を使用してオーディオ・セグメントを識別するための歌識別プロセスの流れ図である。歌データベース（前述のものなど）は、プロセス３００のステップ３０４でウェブ・サイトからダウンロードされた歌など未知の歌を識別するために使用される。この歌データベースの鍵シーケンス・フィールド（列）は、データベース・キー（database key）として使用することができる。歌データベースの記録（行）は、直接参照のためにハッシュ・テーブルに記憶することが好ましい。識別プロセス８００は、図５のステップ３０８の例示的な一実装形態である。
【００５８】
ステップ８０２で、鍵が、識別すべき歌から（例えば、図８および図９に示すプロセスを実施することによって）生成される。ステップ８０４で、ステップ８０２で生成された１組の鍵のうちの各鍵は、複数の歌に対する鍵を含む歌データベース中で参照される。各鍵の（テスト期間部分ではなく）鍵シーケンス部分がデータベース・キーとして使用される。言い換えると、歌データベースは、識別すべき歌から得られた鍵に属する鍵シーケンスと同じ鍵シーケンスを有するエントリがあるか検索される。歌データベース中の複数の鍵が、同じ鍵シーケンスを有することができ、さらに、歌ベース中の複数の歌が、偶然同じ鍵シーケンスを共用することもあり得る。ステップ８０６で、参照されている鍵に関連付けられたテスト期間と歌データベース中のマッチした各鍵に関連付けられたテスト期間との差を取ることによって、歌データベース中の１つまたは複数の鍵に（鍵シーケンスによって）マッチしたデータベース中の各鍵について、オフセットが計算される。
【００５９】
ステップ８０８で、このオフセットは、オフセット時間群として収集される。オフセットのためのオフセット時間群は、鍵の生成で使用される時間群とは異なる。好ましい実施形態によると、１つのオフセット時間群は、２から１０のテスト期間に等しい。説明のために、各オフセット時間群が５であるとした場合、ステップ８０６で求めた差が０〜５である任意の鍵の対は、第１のオフセット時間群に割り当てられ、その差が６〜１０である任意の鍵の対は、第２のオフセット時間群に割り当てられる。本発明の例示的な一実施形態によると、各オフセット時間群は５つのテスト期間に等しい。
【００６０】
ステップ８１０で、識別すべき歌の中の鍵にマッチした鍵を有する各歌ごとに、またステップ８０６で求めた、歌データベース中の所与の歌に対する鍵を含む各オフセット時間群の値ごとに、同じ時間群オフセット値を有するマッチした鍵の数をカウントする。ステップ８１０は以下のように視覚化することができ、それを実装手法の基礎として使用することもできる。識別すべき歌との間で１つまたは複数の鍵のマッチを有する、歌データベースからの歌に各行が対応する、一時的なテーブルが構築される。第１列は、歌の名前を含む。第２列には、各歌の名前の隣に、歌データベース中のその名前がついた歌に対して見出された鍵と識別すべき歌のマッチした鍵との間で見出された、オフセット時間群の値がある。ステップ８１０の完了後、第３の列は、第２列で識別されたものと同じオフセット時間群を有する、第１列で識別された特定の歌に対応する鍵のマッチ数のカウントを含む。このテーブルは以下のようになろう。
【００６１】
【表１】
2005518594.tif 000003
【００６２】
識別すべき歌がデータベース中にあった場合、特定の１つの時間群オフセット値が多くのカウントを累積することになる。言い換えると、多くのマッチする鍵の対が、オフセット時間群の何らかの特定値を有することが見出されることになる。前記の例では、タイトル２としてタイトルを付された歌は、オフセット時間群３に対して１０７のカウントを有する。例えば、この時間群オフセットは、識別されている特定の記録が歌データベースの鍵を生成するために使用された歌の記録の数秒後に開始したため、または歌の小セグメントが識別されているために生じた可能性がある。
【００６３】
ステップ８１０で、同じオフセットを有し、マッチした鍵の最も多いカウントを有する、歌データベースからの歌が識別される。判断ブロック８１２で、そのカウントが、しきい値と比較される。このしきい値は、特定のアプリケーションに基づき、あるいは歌が実際にマッチしたときに見出された最も多いカウントのうちの最小値、およびテストされた歌がデータベース中のどの歌にもマッチしないときの最も多いカウントの最高値を決定することによって設定することができる。使用されるしきい値はまた、前に扱ったステップ６０２で選ばれた特定の実施形態にも依存しており、それによって鍵の総数が決まるからである。
【００６４】
カウントをしきい値と比較するのではなく、その代わりに、ステップ８１２で、しきい値を、最も多いカウントと識別すべき歌から生成された鍵の総数との比と比較することができる。他の代替策は、しきい値を、最も多いカウントと残りのカウントの平均との比と比較することである。この後者２つの代替策は、これらの場合しきい値が固定されていないが、最も多いカウントをしきい値と比較していると見なすこともできる。識別すべき歌がデータベース中にない場合のように、カウントがしきい値の基準を満たさない場合、この歌識別プロセス８００は終了する。識別すべき歌が識別できなかったことを（例えば、ユーザに）報告する追加のステップを提供することもできる。一方、カウントが、しきい値の基準を満たす場合は、ステップ８１４で、（しきい値の基準を満たしている）最も多いカウントを有する歌を識別する情報が出力される。他の実施形態では、本発明の諸プロセスが、歌のセグメントを識別するために使用される。
【００６５】
図６から図１１に関連して前述した歌を識別するプロセスは、ひずみおよび改変を処理できる点で頑丈（robust）である。さらに、このプロセスは、計算の複雑さおよびメモリ要件の点でも効率的である。イベント・ストリームを生成し、打楽器イベントを除去し、鍵を生成し、歌データベース中の鍵を参照する諸プロセスをリアル・タイムで（またはより速く）実行することもできる。このプロセスの計算コストは十分に低いので、普通のパーソナル・コンピュータ上でリアル・タイムでこのプロセスを走らせることができる。
【００６６】
したがって、本発明は、オーディオ・コンテンツが自動的に識別され、次いでその識別されたオーディオ・コンテンツを含む１つまたは複数の製品が購入のために提示されるシステムおよび方法を提供する。したがって、聞いてはいるがその識別が不明なオーディオ・コンテンツを、見込み客が迅速にかつ容易に購入することができる。こうすると、劇的に販売を増加させる可能性がある。
【００６７】
前記では、無線ブロードキャストから音楽コンテンツを識別するプロセスおよびシステムについてしばしば述べた。しかし、これは説明のためだけにすぎず、本発明はそのように限定されるものではない。本発明のシステムにとって、オーディオ・コンテンツの最初のソースは重要ではないので、任意のソース（テレビジョン放送、ウェブ・ブロードキャスト、記録済みビデオ、フィルム、および実演も含む）から得られたオーディオ・コンテンツに対して、同様に本発明を適用することができる。
【００６８】
さらに、前述の本発明の諸実施形態は、音楽コンテンツに関するものであるが、本発明のシステムは、ユーザによって記録された識別できない他の任意のタイプのオーディオ・コンテンツを自動的に識別するように、当業者によって容易に適合され得る。このような他の実施形態では、識別できないオーディオ・コンテンツのイメージが記録され、その記録されたイメージがオーディオ識別システムに供給され、供給されたイメージに対して識別情報が生成され、次いで生成された識別情報が、当該コンテンツに対する識別情報のデータベースと比較される。一実施形態では、例えば、種々の鳥の音（または他の生物学的な音）のオーディオ・コンテンツ・データベースが作成される。次いで、熱心な鳥観察者は、未知の種類の鳥によって生成された音のイメージを記録し、次いでそのオーディオ識別システムを用いて聞いた鳥の種類を識別することができる。このような場合、そのシステムはまた、記録されたイメージに関する製品（例えば、識別された種類の鳥の本またはその種類の鳥に関するいくつかの他の製品）を識別するために使用することもできる。
【００６９】
本発明は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組合せで実現することができる。どんな種類のコンピュータ・システム、または本明細書に記載の方法を実施するように適合された他の装置も適切である。ハードウェアとソフトウェアの典型的な組合せは、コンピュータ・プログラムを有する汎用コンピュータ・システムであり、そのコンピュータ・プログラムは、それがロードされ、実行されたとき、ここに記載の方法を実施するようにコンピュータ・システムを制御する。
【００７０】
本発明をコンピュータ・プログラム製品に組み込むこともでき、その製品は、ここに記載の方法を実施することを可能にするすべての特徴を含み、それがコンピュータ・システムにロードされたとき、これらの方法を実施することができる。コンピュータ・プログラム手段、すなわちこのコンテキストにおけるコンピュータ・プログラムは、情報処理能力を有するシステムに、直接にあるいはａ）別の言語、コード、または表記（notation）への変換、およびｂ）別の材料形態で複製、の一方または両方の後に、特定の機能を実施させるようにすることを目的とした１組の命令の、任意の言語、コード、または表記による表現を意味する。
【００７１】
各コンピュータ・システムは、特に、１つまたは複数のコンピュータと、コンピュータがそこからデータ、命令、メッセージまたはメッセージ・パケット、および他のコンピュータ可読情報を読み取ることができる、少なくとも１つのコンピュータ可読媒体とを含むことができる。コンピュータ可読媒体は、ＲＯＭ、フラッシュ・メモリ、ディスク・ドライブ・メモリ、ＣＤ−ＲＯＭおよび他の永続ストレージなどの不揮発性メモリを含み得る。さらに、コンピュータ媒体は、例えば、ＲＡＭ、バッファ、キャッシュ・メモリ、およびネットワーク回路などの揮発性ストレージを含み得る。さらに、このコンピュータ可読媒体は、有線ネットワークまたは無線ネットワークを含めて、ネットワーク・リンクやネットワーク・インターフェースなどの一時的（transitory state）媒体中にコンピュータ可読情報を含み、コンピュータがそこからこのようなコンピュータ可読情報を読み取ることができる。
【００７２】
現在考えられる本発明の好ましい実施形態について例示し、説明してきたが、本発明の真の範囲から逸脱することなく、他の様々な修正を加えることができ、等価な形態で代用することができることを当業者なら理解できよう。さらに、本明細書に記載の発明の中心となる概念から逸脱することなく、特定の状況を本発明の教示に適合させるために多くの修正を加えることもできる。したがって、本発明は、開示の特定の実施形態に限定されるものではなく、添付の特許請求の範囲に含まれるすべての実施形態を含むものとする。
【図面の簡単な説明】
【００７３】
【図１】本発明の好ましい実施形態が実装できる例示的システムの概略図である。
【図２】本発明の好ましい実施形態が実装できる例示的システムの概略図である。
【図３】本発明の一実施形態による製品を販売するシステムのブロック図である。
【図４】本発明の他の実施形態による製品を販売するシステムのブロック図である。
【図５】本発明の好ましい実施形態によるオーディオ・コンテンツを含む製品を販売するプロセスの流れ図である。
【図６】本発明の例示的実施形態におけるオーディオ・セグメントからイベントを識別するプロセスの流れ図である。
【図７】本発明の例示的実施形態におけるオーディオ・セグメントからイベントを識別するプロセスの流れ図である。
【図８】図６および図７に示すプロセスによって作成されたイベントから鍵を生成するプロセスの流れ図である。
【図９】本発明の例示的実施形態における鍵生成装置バッファのコンテンツから鍵を生成するプロセスの流れ図である。
【図１０】本発明の例示的実施形態における打楽器イベントを除去するプロセスの流れ図である。
【図１１】本発明の例示的実施形態における鍵を使用して２つのオーディオ・セグメントを比較するプロセスの流れ図である。
【図１】
2005518594.tif 000004
【図２】
2005518594.tif 000005
【図３】
2005518594.tif 000006
【図４】
2005518594.tif 000007
【図５】
2005518594.tif 000008
【図６】
2005518594.tif 000009
【図７】
2005518594.tif 000010
【図８】
2005518594.tif 000011
【図９】
2005518594.tif 000012
【図１０】
2005518594.tif 000013
【図１１】
2005518594.tif 000014
【手続補正書】
【提出日】平成15年12月26日(2003.12.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オーディオ・コンテンツを含むまたはそれに関する製品を販売する方法であって、
記録されたオーディオ・コンテンツ・イメージを受信するステップと、
前記オーディオ・コンテンツ・イメージ中で検出されたイベントに基づいて前記オーディオ・コンテンツ・イメージに対するオーディオ識別情報を生成するステップと、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチするかどうか判定するステップと、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、前記オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチした場合、前記マッチしたオーディオ識別情報に対応するオーディオ・コンテンツを含むまたはそれに関する少なくとも１つの製品に対して料金を課金するステップとを含み、
前記生成ステップが、
前記オーディオ・コンテンツ・イメージ中で、それぞれが第１の移動平均値と第２の移動平均値との交差である複数のイベントを検出するサブステップを含み、
前記第１の移動平均が、前記オーディオ・コンテンツ・イメージの複数の時間依存周波数成分の第１の平均期間全体にわたる平均であり、
前記第２の移動平均が、前記オーディオ・コンテンツ・イメージの時間依存周波数成分の、前記第１の平均期間とは異なる第２の平均期間全体にわたる平均である方法。
【請求項２】
前記受信ステップが、歌の少なくとも一部分の送信されたオーディオ・コンテンツ・イメージを受信するサブステップを含み、
前記課金ステップが、前記マッチしたオーディオ識別情報に対応する少なくとも１つの歌の記録を送信するサブステップを含む、請求項１に記載の方法。
【請求項３】
オーディオ・コンテンツを含む製品を販売する方法であって、
記録されたオーディオ・コンテンツ・イメージを受信するステップと、
前記オーディオ・コンテンツ・イメージ中で検出されたイベントに基づいて前記オーディオ・コンテンツ・イメージに対するオーディオ識別情報を生成するステップと、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチするかどうか判定するステップと、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、前記オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチした場合、前記マッチしたオーディオ識別情報に対応するオーディオ・コンテンツを含む製品を生成するステップとを含み、
前記生成ステップが、
前記オーディオ・コンテンツ・イメージ中で、それぞれが第１の移動平均値と第２の移動平均値との交差である複数のイベントを検出するサブステップを含み、
前記第１の移動平均が、前記オーディオ・コンテンツ・イメージの複数の時間依存周波数成分の第１の平均期間全体にわたる平均であり、
第２の移動平均が、前記オーディオ・コンテンツ・イメージの前記時間依存周波数成分の、前記第１の平均期間とは異なる第２の平均期間全体にわたる平均である方法。
【請求項４】
前記生成された製品に対して料金を課金するステップをさらに含む、請求項３に記載の方法。
【請求項５】
オーディオ・コンテンツを含むまたはそれに関する製品を販売する方法であって、
オーディオ・コンテンツ・イメージに対して生成されたオーディオ識別情報が、オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチするかどうか判定するステップと、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、前記オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチした場合、前記マッチしたオーディオ識別情報に対応するオーディオ・コンテンツを含むまたはそれに関する少なくとも１つの製品を識別するステップとを含み、
前記オーディオ・コンテンツ・イメージに対する前記オーディオ識別情報が、前記オーディオ・コンテンツ・イメージ中で検出された、それぞれが第１の移動平均値と第２の移動平均値との交差である複数のイベントに基づいて生成されており、
前記第１の移動平均が、前記オーディオ・コンテンツ・イメージの複数の時間依存周波数成分の第１の平均期間全体にわたる平均であり、
前記第２の移動平均が、前記オーディオ・コンテンツ・イメージの時間依存周波数成分の、前記第１の平均期間とは異なる第２の平均期間全体にわたる平均である方法。
【請求項６】
前記オーディオ・コンテンツ・イメージを受信するステップと、
前記オーディオ・コンテンツ・イメージ中で検出された前記イベントに基づいて、前記オーディオ・コンテンツ・イメージに対する前記オーディオ識別情報を生成するステップとをさらに含む、請求項５に記載の方法。
【請求項７】
前記オーディオ・コンテンツ・イメージに対する前記オーディオ識別情報を受信するステップをさらに含む、請求項５に記載の方法。
【請求項８】
前記識別された製品に対する料金を課金するステップをさらに含む、請求項５に記載の方法。
【請求項９】
前記オーディオ識別情報が、前記オーディオ・コンテンツ・イメージ中で検出された前記イベントに基づくオーディオ特徴シグニチャである、請求項５に記載の方法。
【請求項１０】
前記判定ステップが、前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ特徴シグニチャを前記オーディオ・コンテンツ・データベースに記憶されているオーディオ特徴シグニチャと比較するサブステップを含む、請求項９に記載の方法。
【請求項１１】
所定のオーディオ・コンテンツに対応するオーディオ識別情報を生成するステップと、前記オーディオ・コンテンツ・データベース中の前記所定のオーディオ・コンテンツに対応するオーディオ識別情報を記憶するステップとをさらに含む、請求項５に記載の方法。
【請求項１２】
前記マッチしたオーディオ識別情報に対応する前記オーディオ・コンテンツの識別に対する料金を課金するステップをさらに含む、請求項５に記載の方法。
【請求項１３】
前記生成ステップが、
時間依存パワー・スペクトルによって特徴付けられたオーディオ信号を得るサブステップと、
時間依存周波数成分を得るために前記スペクトルを分析するサブステップと、
前記時間依存周波数成分中で複数の前記イベントを検出するサブステップと、
検出された前記イベントに基づいて前記オーディオ・コンテンツ・イメージに対する前記オーディオ識別情報を作成するサブステップとを含む、請求項６に記載の方法。
【請求項１４】
前記スペクトルを分析する前記サブステップが、
前記オーディオ信号をサンプリングして複数のオーディオ信号サンプルを得るサブステップと、
前記複数のオーディオ信号サンプルから複数のサブセットを取得するサブステップと、
前記複数のサブセットのそれぞれに対してフーリエ変換を実施して１組のフーリエ周波数成分を得るサブステップとを含む、請求項１３に記載の方法。
【請求項１５】
前記生成ステップが、
オーディオ信号のフーリエ変換を実施して第１の複数の周波数全体にわたって分散された時系列のオーディオ・パワーにするサブステップと、
それぞれがある範囲の近接する周波数を含むより小さい第２の複数の帯域に、前記周波数をグループ化するサブステップと、
前記帯域のそれぞれ中のパワー分散（power dissipation）イベントを検出するサブステップと、
前記オーディオ識別情報を形成するように、選択された瞬間に相互に隣接する帯域から前記パワー分散イベントをグループ化するサブステップとを含む、請求項６に記載の方法。
【請求項１６】
オーディオ・コンテンツを含む製品を販売するプログラムで符号化されたコンピュータ可読媒体であって、
前記プログラムが、
記録されたオーディオ・コンテンツ・イメージを受信するステップと、
前記オーディオ・コンテンツ・イメージ中で検出されたイベントに基づいて、前記オーディオ・コンテンツ・イメージに対するオーディオ識別情報を生成するステップと、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチするかどうか判定するステップと、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、前記オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチした場合、前記マッチしたオーディオ識別情報に対応するオーディオ・コンテンツを含む製品を生成するステップとを実施するための命令を含み、
前記生成ステップが、
前記オーディオ・コンテンツ・イメージ中で、それぞれが第１の移動平均値と第２の移動平均値との交差である複数のイベントを検出するサブステップを含み、
前記第１の移動平均が、前記オーディオ・コンテンツ・イメージの複数の時間依存周波数成分の第１の平均期間全体にわたる平均であり、
前記第２の移動平均が、前記オーディオ・コンテンツ・イメージの前記時間依存周波数成分の、前記第１の平均期間とは異なる第２の平均期間全体にわたる平均であるコンピュータ可読媒体。
【請求項１７】
前記プログラムが、前記生成された製品に対する料金を課金するステップを実施するための命令をさらに含む、請求項１６に記載のコンピュータ可読媒体。
【請求項１８】
オーディオ・コンテンツを含むまたはそれに関する製品を販売するプログラムで符号化されたコンピュータ可読媒体であって、
前記プログラムが、
オーディオ・コンテンツ・イメージに対して生成されたオーディオ識別情報が、オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチするかどうか判定するステップと、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、前記オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチした場合、前記マッチしたオーディオ識別情報に対応するオーディオ・コンテンツを含むまたはそれに関する少なくとも１つの製品を識別するステップとを実施するための命令を含み、
前記オーディオ・コンテンツ・イメージに対する前記オーディオ識別情報が、前記オーディオ・コンテンツ・イメージ中で検出された、それぞれが第１の移動平均値と第２の移動平均値との交差である複数のイベントに基づいて生成されており、
前記第１の移動平均が、前記オーディオ・コンテンツ・イメージの複数の時間依存周波数成分の第１の平均期間全体にわたる平均であり、
前記第２の移動平均が、前記オーディオ・コンテンツ・イメージの時間依存周波数成分の、前記第１の平均期間とは異なる第２の平均期間全体にわたる平均であるコンピュータ可読媒体。
【請求項１９】
前記プログラムが、
前記オーディオ・コンテンツ・イメージを受信するステップと、
前記オーディオ・コンテンツ・イメージ中で検出された前記イベントに基づいて、前記オーディオ・コンテンツ・イメージに対する前記オーディオ識別情報を生成するステップとを実施するための命令をさらに含む、請求項１８に記載のコンピュータ可読媒体。
【請求項２０】
前記プログラムが、前記オーディオ・コンテンツ・イメージに対する前記オーディオ識別情報を受信するステップを実施するための命令をさらに含む、請求項１８に記載のコンピュータ可読媒体。
【請求項２１】
歌の少なくとも一部分の送信されたオーディオ・コンテンツ・イメージを受信するステップと、
前記マッチしたオーディオ識別情報に対応する少なくとも１つの歌の記録を送信するステップとをさらに含む、請求項１８に記載のコンピュータ可読媒体。
【請求項２２】
前記オーディオ識別情報が、前記オーディオ・コンテンツ・イメージ中で検出された前記イベントに基づくオーディオ特徴シグニチャであり、
前記判定ステップが、前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ特徴シグニチャを、前記オーディオ・コンテンツ・データベースに記憶されたオーディオ特徴シグニチャと比較するサブステップを含む、請求項１８に記載のコンピュータ可読媒体。
【請求項２３】
前記プログラムが、
所定のオーディオ・コンテンツに対応するオーディオ識別情報を生成するステップと、
前記オーディオ・コンテンツ・データベース中の前記所定のオーディオ・コンテンツに対応するオーディオ識別情報を記憶するステップとを実施するための命令をさらに含む、請求項１９に記載のコンピュータ可読媒体。
【請求項２４】
前記生成ステップが、
時間依存パワー・スペクトルによって特徴付けられるオーディオ信号を得るサブステップと、
時間依存周波数成分を得るためにスペクトルを分析するサブステップと、
前記時間依存周波数成分中で複数のイベントを検出するサブステップと
検出された前記イベントに基づいて前記オーディオ・コンテンツ・イメージに対する前記オーディオ識別情報を作成するサブステップとを含む、請求項１９に記載のコンピュータ可読媒体。
【請求項２５】
前記スペクトルを分析する前記サブステップが、
前記オーディオ信号をサンプリングして複数のオーディオ信号サンプルを得るサブステップと、
前記複数のオーディオ信号サンプルから複数のサブセットを取得するサブステップと、
前記複数のサブセットのそれぞれに対してフーリエ変換を実施して１組のフーリエ周波数成分を得るサブステップとを含む、請求項２４に記載のコンピュータ可読媒体。
【請求項２６】
前記生成ステップが、
オーディオ信号のフーリエ変換を実施して第１の複数の周波数全体にわたって分散された時系列のオーディオ・パワーにするサブステップと、
それぞれがある範囲の近接する周波数を含むより小さい第２の複数の帯域に、前記周波数をグループ化するサブステップと、
前記帯域のそれぞれ中のパワー分散イベントを検出するサブステップと、
前記オーディオ識別情報を形成するように、選択された瞬間に相互に隣接する帯域から前記パワー分散イベントをグループ化するサブステップとを含む、請求項１９に記載のコンピュータ可読媒体。
【請求項２７】
記録されたオーディオ・コンテンツ・イメージを受信するための入力インターフェースと、
前記オーディオ・コンテンツ・イメージ中で検出されたイベントに基づいて、前記オーディオ・コンテンツ・イメージに対するオーディオ識別情報を生成するための識別情報生成装置と、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチするかどうか判定するためのマッチ検出装置と、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、前記オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチした場合、前記マッチしたオーディオ識別情報に対応するオーディオ・コンテンツを含む製品を生成するための製品生成装置とを備え、
前記識別情報生成装置が、前記オーディオ・コンテンツ・イメージ中で、それぞれが第１の移動平均値と第２の移動平均値との交差である複数のイベントを検出し、
前記第１の移動平均が、前記オーディオ・コンテンツ・イメージの複数の時間依存周波数成分の第１の平均期間全体にわたる平均であり、
前記第２の移動平均が、前記オーディオ・コンテンツ・イメージの前記時間依存周波数成分の、前記第１の平均期間とは異なる第２の平均期間全体にわたる平均であるシステム。
【請求項２８】
オーディオ・コンテンツ・イメージに対して生成されたオーディオ識別情報が、オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチするかどうか判定するためのマッチ検出装置と、
前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ識別情報が、前記オーディオ・コンテンツ・データベース中のオーディオ識別情報とマッチした場合、前記マッチしたオーディオ識別情報に対応するオーディオ・コンテンツを含むまたはそれに関する少なくとも１つの製品を識別するための製品識別子とを備え、
前記オーディオ・コンテンツ・イメージに対する前記オーディオ識別情報が、前記オーディオ・コンテンツ・イメージ中で検出された、それぞれが第１の移動平均値と第２の移動平均値との交差である複数のイベントに基づいて生成されており、
前記第１の移動平均が、前記オーディオ・コンテンツ・イメージの複数の時間依存周波数成分の第１の平均期間全体にわたる平均であり、
前記第２の移動平均が、前記オーディオ・コンテンツ・イメージの前記時間依存周波数成分の、前記第１の平均期間とは異なる第２の平均期間全体にわたる平均であるシステム。
【請求項２９】
前記オーディオ・コンテンツ・イメージを受信するための入力インターフェースと、
前記オーディオ・コンテンツ・イメージ中で検出された前記イベントに基づいて、前記オーディオ・コンテンツ・イメージに対する前記オーディオ識別情報を生成するための識別情報生成装置とをさらに備える、請求項２８に記載のシステム。
【請求項３０】
前記オーディオ・コンテンツ・イメージに対する前記オーディオ識別情報を受信するための入力インターフェースをさらに備える、請求項２８に記載のシステム。
【請求項３１】
前記マッチしたオーディオ識別情報に対応する少なくとも１つの歌の記録を送信するための出力インターフェースをさらに備え、
前記入力インターフェースが、歌の少なくとも一部分の送信されたオーディオ・コンテンツ・イメージを受信するように適合されている、請求項２８に記載のシステム。
【請求項３２】
前記オーディオ識別情報が、前記オーディオ・コンテンツ・イメージ中で検出された前記イベントに基づくオーディオ特徴シグニチャである、請求項２８に記載のシステム。
【請求項３３】
前記マッチ検出装置が、前記オーディオ・コンテンツ・イメージに対して生成された前記オーディオ特徴シグニチャを、前記オーディオ・コンテンツ・データベースに記憶されたオーディオ特徴シグニチャと比較する、請求項３２に記載のシステム。
【請求項３４】
前記オーディオ・コンテンツ・データベースが、所定のオーディオ・コンテンツに対してオーディオ識別情報を記憶する、請求項２８に記載のシステム。
【国際調査報告】
2005518594.tif 000015