(57)【要約】クライアントがマルチメディアオブジェクトのメタデータを要求すると、サーバ（120）はマルチメディアオブジェクトのフィンガープリントを計算し、プライマリデータベース（121）に保存されたエントリーに対してそれを照合する。更に、サーバシステム（120）は、ラジオ放送チャネルのような１つ以上の伝送チャネルを監視し、そのチャネルの伝送の伝送フィンガープリントを計算する。伝送フィンガープリントは、プライマリデータベース（121）に保存されたフィンガープリントと照合され、照合が見つかった場合に、特定された伝送のエントリーがセカンダリデータベース（122）に追加される。好ましくは、このエントリーは伝送フィンガープリントを含む。その後の照合がセカンダリデータベース（122）に対して最初に実行され、失敗した照合の時のみプライマリデータベース（121）に対して照合される。また、前記方法を実行するための方法とコンピュータプログラム製品を対象とする。
2005517245.tif 000002
【特許請求の範囲】
【請求項１】
プライマリデータベースに保存されたエントリーに対して、マルチメディアオブジェクトのオブジェクトフィンガープリントを照合することにより、マルチメディアオブジェクトのメタデータを取得する方法であって、
伝送チャネルで伝送される更なるマルチメディアオブジェクトの一部の伝送フィンガープリントを計算し、
前記伝送フィンガープリントを前記プライマリデータベースに保存された前記フィンガープリントと照合し、
成功した照合の際に、前記更なるマルチメディアオブジェクトのエントリーをセカンダリデータベースに追加し、
前記フィンガープリントを前記セカンダリデータベースに保存されたエントリーに対して照合し、前記セカンダリデータベースに対する照合が失敗した場合にのみ前記プライマリデータベースに対して照合することにより前記メタデータを取得すること
を特徴とする方法。
【請求項２】
請求項１に記載の方法であって、
前記マルチメディアオブジェクトの少なくとも一部を受信し、前記受信された一部で前記オブジェクトフィンガープリントを計算することを更に有する方法。
【請求項３】
請求項１に記載の方法であって、
前記更なるマルチメディアオブジェクトの前記エントリーが、前記伝送フィンガープリントを有する方法。
【請求項４】
請求項１に記載の方法であって、
前記更なるマルチメディアオブジェクトの前記エントリーが、前記伝送フィンガープリントに照合する前記プライマリデータベースのエントリーのフィンガープリントを有する方法。
【請求項５】
請求項１に記載の方法であって、
伝送フィンガープリントが、それぞれの伝送チャネルで伝送される複数の更なるマルチメディアオブジェクトについて計算される方法。
【請求項６】
請求項１に記載の方法であって、
前記取得されたメタデータの少なくとも一部と前記伝送チャネルの識別子を伝送監視ログファイルに記録することを更に有する方法。
【請求項７】
請求項１に記載の方法であって、
前記セカンダリデータベースへの特定の伝送チャネルと関連する前記更なるマルチメディアオブジェクトの前記エントリーの追加により、特定の伝送チャネルに関連する以前のエントリーを前記セカンダリデータベースから取り除くことを更に有する方法。
【請求項８】
マルチメディアオブジェクトのメタデータを取得するように構成されたシステムであって、
プライマリデータベースに保存されたエントリーに対して、マルチメディアオブジェクトのオブジェクトフィンガープリントを照合するための照合手段を有し、
伝送チャネルで伝送される更なるマルチメディアオブジェクトの一部を記録するための伝送監視手段と、
前記一部の伝送フィンガープリントを計算するためのフィンガープリント手段と
を特徴とし、
前記照合手段が、
前記伝送フィンガープリントを前記プライマリデータベースに保存された前記フィンガープリントと照合し、
成功した照合の際に、前記更なるマルチメディアオブジェクトのエントリーをセカンダリデータベースに追加し、
前記フィンガープリントを前記セカンダリデータベースに保存されたエントリーに対して照合し、前記セカンダリデータベースに対する照合が失敗した場合にのみ前記プライマリデータベースに対して照合することにより前記メタデータを取得するように構成されたシステム。
【請求項９】
請求項８に記載のシステムであって、
前記マルチメディアオブジェクトの少なくとも一部を受信するための受信手段を更に有し、
前記フィンガープリント手段が、前記受信された一部で前記オブジェクトフィンガープリントを計算するように構成されたシステム。
【請求項１０】
請求項１に記載の方法をプロセッサに実行させるように構成されたコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プライマリデータベースに保存されたエントリーに対して、マルチメディアオブジェクトのオブジェクトフィンガープリントを照合することにより、マルチメディアオブジェクトのメタデータを取得する方法に関するものである。
【０００２】
本発明は、マルチメディアオブジェクトのメタデータを取得するように構成されたシステムに関するものであり、プライマリデータベースに保存されたエントリーに対して、マルチメディアオブジェクトのオブジェクトフィンガープリントを照合するための照合手段を有する。
【背景技術】
【０００３】
人間の指紋は、既に数百年以上の間、人間を特定するために使用されている。概念上は、指紋はそれぞれの単一の人間に固有の要約として見られることができる。近年、マルチメディア処理の分野で曲、音楽、画像又は映画のようなマルチメディアオブジェクトのフィンガープリントを計算することに高まる関心が見られる。２つのマルチメディアオブジェクトを同じものとみなすために、マルチメディアオブジェクト自体を比較する代わりに、そのフィンガープリントのみが比較される。マルチメディアオブジェクトのフィンガープリントは、当該オブジェクトの最も適切な知覚特徴の表現である。そのようなフィンガープリントは、時には“（ロバスト）ハッシュ”として知られる。
【０００４】
フィンガープリント技術を使用するほとんどのシステムにおいて、多数のマルチメディアオブジェクトのフィンガープリントは、それに関連するそれぞれのメタデータとともにデータベースに保存される。“メタデータ”という用語は、マルチメディアオブジェクトのタイトル、アーティスト、ジャンル等のような情報を参照する。マルチメディアオブジェクトのメタデータは、そのフィンガープリントを計算し、その計算されたフィンガープリントを検索キー又はクエリのパラメータとして使用してデータベースの検索又はクエリを実行することにより、検索される。次に、その検索がフィンガープリントに関連したメタデータを戻す。
【０００５】
マルチメディアコンテンツ自体の代わりにデータベースにマルチメディアオブジェクトのフィンガープリントを保存することについて、いくつかの利点が存在する。いくつか例を挙げると、
１．データベースのメモリ／ストレージ要件が軽減される
２．フィンガープリントがオブジェクトより実質的に小さいため、フィンガープリントの比較はマルチメディアオブジェクト自体の比較より効率的である。
３．データベースで照合するフィンガープリントを検索することは、より小さいアイテムを照合することを含むため、完全なマルチメディアオブジェクトを検索することより効率的である。
４．マルチメディアオブジェクトへの少しの変更（異なるフォーマットでの符号化又はビットレートの変更等）がフィンガープリントに影響を与えないため、照合するフィンガープリントを検索することは成功する傾向が高い。
【０００６】
マルチメディアオブジェクトのフィンガープリントを作る方法の例は、国際特許出願WO02/065782（代理人整理番号PHNL010110）と、Jaap  HaitsmaとTon  KalkerとJob  Oostveenの“Robust  Audio  Hasing  For  Content  Identification”（International  Workshop  on  Content-Based  Multimedia  Indexing、Brescia、2001年9月）に開示されている。
【０００７】
この方法は、音楽認識サービスを提供するために使用され得る。人間が曲を聴いており、その曲のタイトルやアーティストのようなメタデータを知りたいということを仮定する。その人が携帯電話を取り、サーバとの接続を確立する。この接続を使用して、ユーザが局を取得するために電話のマイクロフォンを使用し、それにより相手方のサーバがそれを聞くことができる。次にサーバが曲のフィンガープリントを計算し、データベース検索を実行してそのフィンガープリントに関連するメタデータを取得する。次にサーバが、例えばSMSを介して、ユーザの携帯電話にメタデータを備えたメッセージを送信する。
【０００８】
メタデータはまた、ユーザの電子メールアドレスに電子メール送信され、又はインスタントメッセージングサービスを介してユーザにメッセージとして送信され得る。このように、携帯電話の潜在的に限られた機能によって処理され得るものより広範囲の情報が供給され得る。携帯電話は、例えばタイトルとアーティストを示すSMSメッセージと、更なる情報がユーザの電子メールアドレスに送信されたという説明を受信することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
多数のマルチメディアオブジェクトを認識することを可能にするために、フィンガープリントとメタデータを備えたデータベースは、ほぼ数十万のエントリー程度に非常に大きくなければならない。このことはデータベースの管理を非常に複雑にする。しばしば、そのような大規模システムにおいて、フィンガープリントのデータベースは、全ての検索要求を処理し、全てのフィンガープリントを保存できるように、相当の数のフィンガープリントサーバシステムに分散されなければならない。更に、データベースは最新に保持されなければならない。例えば、音声フィンガープリントの場合、新しくリリースされた曲のフィンガープリントが追加されなければならない。必要なサーバとデータベースを最新に保持することとの双方が、システムを非常に高価にする。
【００１０】
更に、データベースの多数のエントリーのため、クエリ応答時間が非常に長くなることがある。
【課題を解決するための手段】
【００１１】
序文による方法を提供することが本発明の目的であり、その方法でメタデータを取得する平均時間が減少する。
【００１２】
この目的は、本発明により、伝送チャネルで伝送される更なるマルチメディアオブジェクトの一部の伝送フィンガープリントを計算し、前記伝送フィンガープリントを前記プライマリデータベースに保存された前記フィンガープリントと照合し、成功した照合の際に前記更なるマルチメディアオブジェクトのエントリーをセカンダリデータベースに追加し、前記フィンガープリントを前記セカンダリデータベースに保存されたエントリーに対して照合し、前記セカンダリデータベースに対する照合が失敗した場合にのみ前記プライマリデータベースに対して照合することにより前記メタデータを取得することによって特徴付けられる方法で達成される。
【００１３】
このように満たされると、セカンダリデータベースは、監視されたチャネル上で伝送される全てのオブジェクトについて少数のエントリーを有する。従って、セカンダリデータベースに対する照合は、プライマリデータベースに対する照合より速い。セカンダリデータベースで照合が見つからなかった時にのみ、プライマリデータベースでの照合が実行される。監視された伝送チャネル上で伝送されるマルチメディアオブジェクトの多くの要求が到達するため、要するに、より小さくて速いセカンダリデータベースのみを使用して多くの要求が回答され得る。従って、平均すると、フィンガープリントを照合するために必要な時間が減少する。
【００１４】
実施例において、前記方法は、マルチメディアオブジェクトの少なくとも一部を受信し、前記受信された一部で前記フィンガープリントを計算することを更に有する。多くの場合、本発明による方法は、ユーザが聞いているマルチメディアオブジェクトを特定することを望む遠隔の第三者により開始される。前記方法は、データベースでマルチメディアオブジェクトのフィンガープリントを照合することによりメタデータを取得するため、何らかの形でオブジェクトのフィンガープリントを取得することが必要である。
【００１５】
この実施例において、フィンガープリントが一部で計算され得るように、ユーザがマルチメディアオブジェクトの一部を供給する。例えば、ユーザは数秒の音声を記録し、電話接続上でそれ又は数秒の音声を伝送することができる。ユーザがフィンガープリント自体を最初に計算し、フィンガープリントをサーバに伝送し、そのサーバで照合が実行されるという代替があるが、この代替は更に複雑なクライアントを必要とする。
【００１６】
更なる実施例において、更なるマルチメディアオブジェクトのエントリーは、伝送フィンガープリントを有する。伝送中に、マルチメディアオブジェクトは常にいくらか変更される。これは、伝送フィンガープリントもまたプライマリデータベースのフィンガープリントと少し異なるが、照合を妨げるほど異ならないことを意味する。しかし、オブジェクトフィンガープリントは、例えば悪い受信品質で無線伝送から空中を通じて携帯電話に受信された後に携帯電話接続を通じて記録された、マルチメディアオブジェクトの低品質の部分で計算されることが多い。このことは記録に多くの更なるエラーを導入し、オブジェクトフィンガープリントを更に異なるものにすることを生じることが明らかである。このことは、無線伝送に固有のエラーと低品質の記録からのエラーのため、成功した照合に対してオブジェクトフィンガープリントがプライマリデータベースのフィンガープリントと異なり過ぎるというリスクを増加させる。
【００１７】
この実施例において、オブジェクトフィンガープリントは、プライマリデータベースに存在するフィンガープリントに対してではなく、伝送フィンガープリントに対して照合される。オブジェクトフィンガープリントはプライマリデータベースのフィンガープリントよりセカンダリデータベースのフィンガープリントと異なる点が少ないため、このことは、少なくともいくつかの失敗した照合を除去する。
【００１８】
更なる実施例において、更なるマルチメディアオブジェクトのエントリーは、伝送フィンガープリントに照合するプライマリデータベースのエントリーのフィンガープリントを有する。この実施例は、伝送フィンガープリントが全体の更なるマルチメディアオブジェクトで計算される必要がないという利点を有する。照合が見つかった後に、プライマリデータベースのエントリーはセカンダリデータベースに少なくとも部分的にコピーされ、それによりオブジェクトフィンガープリントがそれに対して照合され得る。
【００１９】
更なる実施例において、伝送フィンガープリントは、それぞれの伝送チャネルで伝送される複数の更なるマルチメディアオブジェクトについて計算される。複数のチャネルを監視することにより、ユーザが聴取しているものが監視される機会が増加する。対応するエントリーをセカンダリデータベースに追加した後に、そのユーザによるメタデータの要求がより迅速に回答され得る。
【００２０】
更なる実施例において、前記方法は、取得されたメタデータの少なくとも一部と伝送チャネルの識別子を伝送監視ログファイルに記録することを更に有する。特定の伝送チャネルに関連する全てのエントリーについてセカンダリデータベースにクエリを送ることにより、そのチャネルでの伝送のリストが取得され得る。このリストは、いくらの著作権使用料が特定の著作権所有者に行くべきかを決定するために、著作権情報センターによって使用され得る。
【００２１】
その著作権使用料は、しばしば特定の曲が放送される回数の推定値に基づき、このリストは公平な第三者による正確な推定値を提供する。ラジオ局は特定の曲を放送した回数を過大又は過小評価し、又は十分な詳細を供給したがらないことがある。当然ながら、このリストはまた、多くの他の用途に有用になり得る。
【００２２】
更なる実施例において、前記方法は、セカンダリデータベースへの特定の伝送チャネルと関連する更なるマルチメディアオブジェクトのエントリーの追加により、特定の伝送チャネルに関連する以前のエントリーをセカンダリデータベースから取り除くことを更に有する。このように、セカンダリデータベースは、少なくとも１つの伝送チャネル上で現在伝送されているマルチメディアオブジェクトのエントリーのみで満たされる。このように、セカンダリデータベースができるだけ小さく保持される。
【００２３】
序文によるシステムを提供することが更なる目的であり、そのシステムでメタデータを取得する平均時間が減少する。
【００２４】
この目的は、本発明により、伝送チャネルで伝送される更なるマルチメディアオブジェクトの一部を記録するための伝送監視手段と、前記一部の伝送フィンガープリントを計算するためのフィンガープリント手段とを特徴とし、前記照合手段が、前記伝送フィンガープリントを前記プライマリデータベースに保存された前記フィンガープリントと照合し、成功した照合の際に前記更なるマルチメディアオブジェクトのエントリーをセカンダリデータベースに追加し、前記フィンガープリントを前記セカンダリデータベースに保存されたエントリーに対して照合し、前記セカンダリデータベースに対する照合が失敗した場合にのみ前記プライマリデータベースに対して照合することにより前記メタデータを取得するように構成されたシステムで達成される。
【００２５】
実施例において、前記システムは、マルチメディアオブジェクトの少なくとも一部を受信するための受信手段を更に有し、前記フィンガープリント手段が、前記受信された一部でオブジェクトフィンガープリントを計算するように構成される。
【００２６】
本発明は、本発明の方法をプロセッサに実行させるように構成されたコンピュータプログラム製品に関するものである。
【発明を実施するための最良の形態】
【００２７】
図面を通じて、同じ参照番号は、同様の又は対応する機能を示す。図面に示された機能のうちのいくつかは一般的にソフトウェアで実施され、そのためソフトウェアモジュール又はオブジェクトのようなソフトウェア要素を表す。
【００２８】
図１は、マルチメディアオブジェクトを特定するように構成されたシステムを概略的に示したものである。前記システムは、供給源100と、携帯電話110と、電話ネットワーク115と、サーバ120と、データベース121とを有する。供給源100はマルチメディアオブジェクト101を提供する。好ましくは、マルチメディアオブジェクト101は音声信号を有するが、同様に映像信号であってもよい。ここで用いられるマルチメディアオブジェクトという用語は、音楽、曲、映画、テレビ番組、画像、及びそれと同様のもののようなものを参照する。
【００２９】
図１の実施例において、供給源100はスピーカであるが、当然ながら如何なる種類の信号供給源であってもよい。例えば、供給源100はラジオのような音声設備、又は映像信号の供給源であってもよい。供給源100は、通常は他の供給源から提供するマルチメディアオブジェクト101を取得する。例えば、ラジオは空中又はケーブル接続からの放送伝送を受け取り、それから音声信号を生成／提供する。
【００３０】
ユーザはマルチメディアオブジェクト101を聞き、それについてよく知りたいと思う（すなわち、ユーザはマルチメディアオブジェクト101のメタデータを取得したいと思う）。“メタデータ”という用語は、マルチメディアオブジェクト101のタイトル、アーティスト、ジャンル等のような情報を参照する。多くの場合、このメタデータは、マルチメディアオブジェクト101に一緒に備えられていない。例えば、マルチメディアオブジェクト101はパブ若しくはショッピングモールのバックグラウンドミュージックであってもよく、又はラジオ局の放送伝送の一部であってもよい。ラジオの場合、そのメタデータが多少なりとも公表される場合に、DJ又はラジオ司会者によって供給されるメタデータを正確に聞くことはしばしば困難である。
【００３１】
従って、このメタデータを取得するために、ユーザは携帯電話110を取り、ユーザをサーバ120に接続する特別の電話番号に電話をかける。通常は、それは電話ネットワーク115のような仲介物を含む。サーバ120に接続されると、ユーザは、携帯電話110が音声信号101を取得するように携帯電話110を向ける。次に、信号101が電話接続を通じてサーバ120に伝送される。
【００３２】
次に、サーバ120は受信信号101のフィンガープリントを作る。そのようなマルチメディアフィンガープリントを計算するために使用され得るいくつかの技術が存在する。国際特許WO02/065782（代理人整理番号PHNL010110）は、例えば音声クリップのようなマルチメディアオブジェクトのマルチメディアフィンガープリントを作る方法について説明する。音声クリップは連続的な（好ましくは重複する）時間間隔に分けられる。時間間隔毎に、周波数スペクトルがバンドに分けられる。各バンドの頑強な属性（例えばエネルギー）が計算され、それぞれのフィンガープリントのビットで表される。
【００３３】
従って、マルチメディアオブジェクトは、時間間隔毎のバイナリ値の連続からなるフィンガープリントによって表される。マルチメディアオブジェクトを特定するために、一部の特定の長さ、一般的に約３秒が受信されると、フィンガープリントが計算される。前記のより小さいフィンガープリントが、完全なマルチメディアオブジェクトのフィンガープリントに対して（例えばスライドウィンドウ（sliding  window）技術を使用して）照合される。１つのマルチメディアオブジェクトが複数の関連するフィンガープリントを有してもよいことに留意すべきである。
【００３４】
計算されたフィンガープリントを使用して、サーバ120は、複数の以前に計算されたフィンガープリント及び関連するメタデータのセットを有するデータベース121で、データベース検索を実行し、フィンガープリントに関連するメタデータを取得する。そのようなサーバ120による動作は、図２を参照して以下に説明される。
【００３５】
次に、サーバ120はメタデータを備えたSMSメッセージのようなメッセージをユーザの携帯電話110に送信する。メタデータはまた、ユーザの電子メールアドレスに電子メール送信され、又はインスタントメッセージングサービスを介してユーザにメッセージとして送信され得る。このように、携帯電話110の潜在的に限られた機能によって処理され得るものより広範囲の情報が供給され得る。携帯電話110は、例えばタイトルとアーティストを示すSMSメッセージと、更なる情報がユーザの電子メールアドレスに送信されたという説明を受信することができる。
【００３６】
当然ながら、携帯電話110は、サーバ120に音声及び／又は映像データの伝送を可能にする他の装置によって容易に交換され得る。例えば、パーソナルコンピュータに接続されたマイクロフォンが使用され得る。コンピュータがマイクロフォンから音声を記録し、例えばインターネットを介して電子メールメッセージとして、又はFTP、HTTPファイルのアップロード若しくは同様の機構を使用して、その記録をサーバ120に伝送する。記録手段を備えた携帯装置もまた、そのような記録を行うために使用され得る。携帯装置が電話リンク又はネットワーク接続を介してサーバに接続され得る。インターネットラジオのような他の伝送チャネルは、オブジェクトがデジタル形式で伝送されるため、マルチメディアオブジェクトの直接の記録と伝送を可能にする。
【００３７】
図２は、更に詳細にサーバ120とデータベース121を概略的に示したものである。ここで、サーバ120は、入力モジュール201と、フィンガープリントモジュール202と、データベース管理システム（DBMS）バックエンドモジュール203と、応答モジュール204とを有する。
【００３８】
入力モジュール201は、ユーザが特定のマルチメディアオブジェクトのメタデータを取得するためにサーバ120と交信した際に、起動される。好ましくは、それは電話ネットワーク115に接続され、それによりユーザが携帯電話110で特定の番号に単に電話をかけるだけで、サーバ120と交信できる。
【００３９】
入力モジュール201は携帯電話110で確立された接続を通じて音声クリップを受信し、その音声クリップをフィンガープリントモジュール202に供給する。フィンガープリントモジュール202は受信された音声クリップからフィンガープリントを計算する。前述の通り、マルチメディアフィンガープリントを計算するための１つの方法は、国際特許出願WO02/065782（管理人整理番号PHNL010110）に説明されているが、当然のことながら、マルチメディアフィンガープリントを計算するための如何なる方法も使用され得る。フィンガープリントモジュール202は、計算されたフィンガープリントをDBMSバックエンドモジュール203に供給する。
【００４０】
DBMSバックエンドモジュール203は、データベース211でクエリを実行し、計算されたフィンガープリントに関連するメタデータのセットをデータベース211から検索する。図２に示される通り、データベース121は、フィンガープリントFP1とFP2とFP3とFP4とFP5、及びメタデータのセットMDS1とMDS2とMDS3とMDS4とMDS5を有する。前述の国際特許出願WO02/065782（管理人整理番号PHNL010110）は、完全なマルチメディアオブジェクトのフィンガープリントを備えたデータベースで、音声クリップ用に計算されたフィンガープリントを検索するための多様な方法について説明する。データベースでフィンガープリントを検索する１つの開示された方法は、抽出されたフィンガープリントのビットの信頼性情報を使用する。フィンガープリントのビットは、情報の信号の特徴を計算し、フィンガープリントのビットを取得するために前記特徴に閾値演算を行うことにより、決定される。特徴が閾値に非常に近い値を有する場合、信号の少しの変化は、反対の値を備えたフィンガープリントのビットに導くことがある。特徴の値と閾値との違いの絶対値が、それぞれのフィンガープリントのビットが信頼できるもの又は信頼できないものとして印を付けるために使用される。従って、信頼性は実際の検索手順を改善するために使用される。
【００４１】
データベース121は、クエリ時間及び／又はデータ構成を最適化するように、多様な方法で構成され得る。データベース121のテーブルを設計する際に、フィンガープリントモジュール202の出力が考慮に入れられるべきである。図２に示される実施例において、データベース121は、それぞれのフィンガープリントとメタデータのセットを有するエントリー（レコード）を備えた単一のテーブルを有する。
【００４２】
データベース121を実現する他の方法は、いくつかのテーブルを構成することである。第１のテーブルは、それぞれのメタデータのセットにそれぞれ関連付けられた複数の固有の識別子（プライマリキー）を有する。そのテーブルは、多様な音楽識別子の供給源から取得され得る。アーティストとタイトルとリリース年度の組み合わせが合わさって固有の識別子を構成し得るが、これは固有であると保証されないため、好ましくは真にグローバルの固有の値が使用される。
【００４３】
次に、第２のテーブルは、マルチメディアオブジェクト毎にそのフィンガープリントと第１のテーブルからのその固有の識別子とを有するエントリーで構成される。１つのマルチメディアオブジェクトについて複数のフィンガープリントが可能である場合、その全てのフィンガープリントが第２のテーブルに保存され、全てがそのマルチメディアオブジェクトの１つの固有の識別子に関連付けられる。
【００４４】
次に、DBMSバックエンドモジュール203は、フィンガープリントモジュール202により計算されたフィンガープリントを、第２のテーブルのフィンガープリントに対して照合し、識別子を取得し、第１のテーブルに対してその識別子を照合してメタデータを取得する。データベース211がSQLデータベースである場合、２つのテーブルが識別子で“JOIN”（SQL用語）され得る。
【００４５】
DBMSバックエンドモジュール203は、クエリの結果を応答モジュール204に供給し、その応答モジュール204が、例えばSMSメッセージ又は電子メールメッセージとしてユーザに結果を伝送する。入力モジュール201により受信された音声部分が携帯電話により送信されたものである場合、その電話番号が発信者番号通知若しくは自動番号識別又は同様の手段を通じて取得され得る。入力モジュール201は、発呼者番号を応答モジュール204に供給し、それによりSMSメッセージがその同じユーザに送信され得る。
【００４６】
その他に、入力モジュール201は、サーバ120と交信する際にユーザにより供給されたユーザ名又は電子メールアドレスのような、ユーザを識別する他の手段を受信することができる。サービスを使用するために登録が必要なことがあり、例えばユーザによって提供されたユーザ名に基づいてユーザの登録の詳細を調べることにより、宛先アドレスが取得され得る。
【００４７】
データベース121の維持の重要な側面は、かなりの数のマルチメディアオブジェクトを正確に特定できるように、どのようにして十分な数のフィンガープリント及び関連するメタデータのセットを集めるかである。
【００４８】
当然ながら、CDのような多数のレコード保有体を購入し、CDから直接フィンガープリントを計算することが可能である。フィンガープリントを計算し、データベース121にメタデータを追加することは、自動化することが困難であるため、そのことは効果で骨の折れる作業である。更に、人は常にCDの品質に興味を持っているわけではなく、用途により適していれば、低下した品質に興味を持つこともある。このことは、フィンガープリントがデータベース121に入れられ得る前の更なる前処理ステップを意味する。また、人はフィンガープリントがデータベース121に保存されている全ての曲のメタデータを取得しなければならない。このことは、フィンガープリント自体を取得するより大きい課題である。
【００４９】
国際特許出願第PCT/IB02/04467号（代理人整理番号PHNL010844）は、フィンガープリント及び関連するメタデータのセットを備えたデータベースを維持する方法について説明する。マルチメディアオブジェクト及び関連するメタデータのセットは、ファイル共有ネットワークのクライアントから取得される。マルチメディアオブジェクトのフィンガープリントは、計算されてメタデータのセットと共にデータベースに追加される。このように、複数のメタデータのセットが、１つのマルチメディアオブジェクトについて収集され得る。多数決や決定樹や相互検証のような技術を使用して、的確なメタデータのセットが計算され得る。
【００５０】
このように、積極的に出かけて例えばCDのコンテンツを買い、又はコンテンツのメタデータを見つける必要はもはやない。ネットワークのファイル共有クライアントから利用可能なオブジェクトとメタデータを利用することにより、署名とメタデータが非常に効率的な方法で収集され得る。そのクライアントは、メタデータと共に利用可能なオブジェクトを誰もがダウンロードできるようにするため、そのオブジェクトを購入することが不要になる。複数のメタデータのセットを収集し、フィルタ又は採決技術を適用することにより、正確なメタデータのセットが多様な潜在的に信頼性のないセットから構成され得る。
【００５１】
図３は、サーバ120の他の実施例を概略的に示したものである。データベース121（以下、プライマリデータベース121と呼ばれる）の次に、DBMSモジュール203の制御のもとにあるセカンダリデータベース122が更に存在する。セカンダリデータベース122の構成は、好ましくはプライマリデータベース121と同じである。セカンダリデータベース122は、プライマリデータベース121と別のストレージ媒体に保存されることがあるが、このことは厳密に必ずしも必要ではない。
【００５２】
サーバ120は、この実施例では伝送監視モジュール205を備えており、その伝送監視モジュール205は、音声放送チャネル（例えばラジオ）、映像放送チャネル、ストリーミングインターネット伝送チャネル又はマルチキャストインターネット伝送チャネルのような媒体から伝送を受信するように構成された受信機301に接続される。受信機301を使用して、伝送監視モジュール205は、伝送媒体上で伝送されるマルチメディアオブジェクトの少なくとも一部を記録する。モジュール205は、例えば特定のラジオ又はTV局に同調し、又はストリーミング音声を提供する特定のインターネットホストに接続することがある。
【００５３】
次に、記録部分はフィンガープリントモジュール202に供給され、それにより伝送フィンガープリントが記録部分について計算される。次に、伝送フィンガープリントがプライマリデータベース121のエントリーに対して照合される。照合が見つかった場合、特定された伝送についてセカンダリデータベース122のエントリーが作られる。これを実現するいくつかの方法が存在する。
【００５４】
セカンダリデータベース122のエントリーを作る１つの方法は、セカンダリデータベース122の照合するエントリーの少なくとも一部を複製することである。例えば、プライマリデータベース121の第２のテーブルにおける照合するエントリーのフィンガープリントと固有の識別子は、前述の通り、セカンダリデータベース122に複製され、必要に応じてメタデータが第１のテーブルから取得されることを可能にする。このことはセカンダリデータベース122をできるだけ小さく保つが、その後のフィンガープリントが依然として基のフィンガープリントに対して照合されるという不都合を有する。
【００５５】
伝送フィンガープリントが全体として実質的に伝送を表す場合、他の実施例が可能である。伝送フィンガープリントは、セカンダリデータベース122に追加されるエントリーに含まれる。当然ながら、このことは、伝送監視モジュール205が（ほぼ）全体の伝送を記録し、それをフィンガープリントモジュール202に供給しなければならないことを意味する。次に、オブジェクトフィンガープリントが、セカンダリデータベース122で伝送フィンガープリントに対して照合される。
【００５６】
好ましくは、セカンダリデータベース122への特定の伝送チャネルに関連するエントリーの追加により、特定の伝送チャネルに関連する以前のエントリーが取り除かれる。このように、セカンダリデータベース122は、少なくとも１つの伝送チャネル上で現在伝送されているマルチメディアオブジェクトのエントリーのみで満たされる。このことは、エントリーが関連付けられる伝送チャネルの識別子をセカンダリデータベースに保存し、複製されようとするエントリーと同じ識別子を有するエントリーを取り除くことによっても、実現され得る。
【００５７】
図３の実施例において、３つの伝送チャネルが監視されており、FP1とFP2とFP3の照合するエントリーがセカンダリデータベース122に複製されている。更に、伝送チャネル識別子TC1とTC2とTC3が、当該伝送チャネル用にセカンダリデータベース122のエントリーに追加される。
【００５８】
このようにセカンダリデータベース122にエントリーを収集することにより、伝送監視モジュール205により監視される伝送チャネル上で伝送されるマルチメディアオブジェクトの概要が作られ、維持される。更に、伝送チャネルの識別子と、任意的にエントリーが複製されるタイムスタンプとが、エントリーと共に保存されると、監視チャネル毎に伝送ログブック（ログファイル）を作ることが可能になる。
【００５９】
特定の伝送チャネルを備えた全てのエントリーに対してセカンダリデータベース122にクエリを送ることにより、そのチャネルでの伝送のリストが取得され得る。このリストは、いくらの著作権使用料が特定の著作権所有者に行くべきかを決定するために、米国作曲家・作家・出版者協会（ASCAP（American  Society  of  Composers,  Authors  and  Publishers））又はDutch  BUMA/Stemraのような著作権情報センターによって使用され得る。その著作権使用料は、しばしば特定の曲又は映画が放送される回数の推定値に基づき、このリストは公平な第三者による正確な推定値を提供する。ラジオ又はテレビ局は特定の曲を放送した回数を過大又は過小評価し、又は十分な詳細を供給したがらないことがある。
【００６０】
当然ながら、このリストはまた、多くの他の用途に有用になり得る。監視されるマルチメディアオブジェクトが広告又は宣伝メッセージを有する場合、そのリストは、特定の広告又は宣伝メッセージが特定の回数放送されたことを証明（又は反証）するために使用され得る。このように、局は広告主に対する契約上の義務に合致することを示すことができる。
【００６１】
次に、入力モジュール201により受信されたマルチメディアオブジェクトの照合手順が、わずかに変更される。フィンガープリントは依然として前述の通り計算されるが、このフィンガープリントは、プライマリデータベース121に対して照合する前に、セカンダリデータベース122に保存されたエントリーに対してDBMSモジュール203により照合される。
【００６２】
当然ながら、セカンダリデータベース122で照合が見つかった場合には、セカンダリデータベース122がプライマリデータベース121から複製されたエントリーのみを含むため、プライマリデータベース121に対して照合をする必要はもはやない。しかし、セカンダリデータベース122で照合が見つからなかった場合には、（より大きい）プライマリデータベース121が照合するエントリーを依然として含むことがある。
【００６３】
サーバ120は、記録された伝送が高品質であるように、好ましくは高品質の受信機301を備えている。それは、プライマリデータベース121に対する伝送フィンガープリントの照合をより信頼性のあるものにする。ラジオのような伝送媒体上の伝送中に、マルチメディアオブジェクトは常に何らか変更される。これは、伝送フィンガープリントがプライマリデータベース121のフィンガープリントとわずかに異なるが、照合を妨げるほど異ならないことを意味する。
【００６４】
他方、オブジェクトフィンガープリントは低い品質又は非常に低い品質の記録に基づいて計算されることが多い。前述の通り、サーバ120へのマルチメディアオブジェクトの記録を伝送するために、携帯電話110が使用され得る。携帯電話の伝送が非常に低品質であるため、このことは記録に多くの更なるエラーを導入し、オブジェクトフィンガープリントがプライマリデータベース121のフィンガープリントと大きい程度の違いを有する。このことは、プライマリデータベース121のエントリーに対する成功した照合の機会を減少させる。
【００６５】
前述の通り、伝送フィンガープリントがセカンダリデータベースに追加されるエントリーに含まれる場合、オブジェクトフィンガープリントは、プライマリデータベース121に存在するフィンガープリントに対してではなく、伝送フィンガープリントに対して照合される。オブジェクトフィンガープリントはプライマリデータベースのフィンガープリントよりセカンダリデータベースのフィンガープリントと異なる点が少ないため、このことは、少なくともいくつかの失敗した照合を除去する。
【００６６】
低品質の記録で計算されたフィンガープリントは、多くのエラーを含む可能性があり、プライマリデータベース121のような大きいデータベースでの成功した正確な照合の機会を減少させる。しかし、セカンダリデータベース122のような小さいデータベースが、フィンガープリントを照合するために使用されると、照合におけるより低い信頼性が容認され得る。セカンダリデータベース122のエントリーは類似する可能性が低いため、フィンガープリントに多数の信頼性のないビットが存在する場合に、適切な照合になるせいぜい１つのエントリーが存在する可能性が高い。
【００６７】
DBMSバックエンドモジュール203は、クエリの結果を応答モジュール204に供給し、その応答モジュール204が図２を参照して示されたようにそれを処理する。
【００６８】
当然のことながら、前述の実施例は本発明を限定するものではなく、説明するものであり、当業者は特許請求の範囲から逸脱することなく多くのその他の実施例を設計することが可能である。
【００６９】
例えば、マルチメディアオブジェクト101のフィンガープリントは、その他に、サーバ120のフィンガープリントモジュール202ではなく、携帯電話110のフィンガープリントモジュールで計算され得る。このように、フィンガープリント自体がサーバ120に伝送される必要があり、フィンガープリントモジュール202がサーバ120から除外され得る。フィンガープリントはそれが計算されたマルチメディアオブジェクト101の部分より通常は小さいため、このことは実質的な帯域の減少を達成する。フィンガープリントモジュールを供えた携帯電話の構造と動作は、国際特許出願WO02/17135（代理人整理番号PHNL000469）に説明される。
【００７０】
データベース121は、複数の物理的なコンピュータシステムに分散され、個々のシステムの付加を減少させ得る。データベース121の内容もまた、国際特許出願PCT/IB02/04605（代理人整理番号PHNL010874）に説明される通り、ファイル共有ネットワークの複数のクライアントに分散され得る。
【００７１】
データベース121の内容は、無料で又は支払い契約者にのみ利用可能にすることができる。その他に、データベース121で実行されるクエリ毎に料金が請求されることもできる。フィンガープリントを提示したことに応じてクライアントに戻されるメタデータの量もまた変化し得る。例えば、無料サービスはアーティストとタイトルのみを戻し、契約に基づくサービスはデータベースで利用可能な全てのメタデータを戻す。
【００７２】
セカンダリデータベース122は、実際にプライマリデータベース121の１つ以上のテーブルとして実現され得るが、このことは、データベース（好ましくは作業メモリに保持されている）の大きさが増加すると、データベースへのアクセス時間を遅くすることがある。
【００７３】
特許請求の範囲において、括弧の間にある如何なる参照符号も、特許請求の範囲を限定するものとして解釈されるべきではない。“有する”という用語は、特許請求の範囲に挙げられたもの以外の要素又はステップの存在を除外するものではない。要素に先行する“１つ”という用語は、複数のその要素の存在を除外するものではない。
【００７４】
本発明は、いくつかの別の要素を有するハードウェアを用いて、及び適切にプログラムされたコンピュータを用いて実施され得る。いくつかの手段を列挙する装置の請求項において、その手段のいくつかは、ハードウェアの全く同一のものに具現され得る。特定の方法が相互に異なる従属項に記載されているという単なる事実は、その方法の組合せが都合良く使用され得ないことを示しているのではない。
【図面の簡単な説明】
【００７５】
【図１】マルチメディアオブジェクトを特定するように構成されたシステムを概略的に示したものである。
【図２】前記システムで使用されるサーバとデータベースを更に詳細に概略的に示したものである。
【図３】サーバの他の実施例を概略的に示したものである。
【図１】
2005517245.tif 000003
【図２】
2005517245.tif 000004
【図３】
2005517245.tif 000005
【国際調査報告】
2005517245.tif 000006
2005517245.tif 000007
2005517245.tif 000008