(57)【要約】フィンガープリンティングは、信号のコンテンツのロバストな知覚的な特徴を抽出し、タイトル、アーティストなどが記憶されているデータベースにおいて抽出された前記特徴をサーチすることによってマルチメディア信号を識別するための技術である。透かし入れは、目立たないように信号中にペイロードデータを埋め込む技術である。本発明は、両技術を組み合わせる。フィンガープリント(M(i))が、ホスト信号(x)から抽出され(1)、データベース(5)に記憶される。透かし(w(i))は、修正された信号(x')のフィンガープリント(M'(i))が元のフィンガープリントとわずかに異なるように前記信号を修正する(21)ことによって該ホスト信号に埋め込まれる(2)。差異は非常に小さいので、前記データベースはそれらは類似しているとみなす。受信機端では、前記フィンガープリントが、透かし入り信号から抽出され(3)、前記データベースに加えられ、前記データベースは、前記信号の前記元のフィンガープリントを返すことによって応答する。埋め込まれた前記透かしは、前記ホスト信号から抽出された前記フィンガープリントから前記データベースによって供給された前記元のフィンガープリントを差し引く(4)ことによって取り出される。
2005525600.tif 000002
【特許請求の範囲】
【請求項１】
ホスト信号に透かしを埋め込む方法であって、
−前記ホスト信号から該ホスト信号の知覚的な特徴を表わす元のフィンガープリントを抽出するステップと、
−前記ホスト信号の前記元のフィンガープリントを他のホスト信号の元のフィンガープリントと一緒にデータベース中に記憶するステップと、
−前記フィンガープリントが、埋め込まれるべき前記透かしに基づいて修正されるように、前記ホスト信号を修正するステップとを有する方法。
【請求項２】
前記ホスト信号から該ホスト信号の識別子を抽出するステップと、前記データベースにおいて対応する前記元のフィンガープリントの位置を識別するために該データベースに前記識別子を記憶するステップとを更に有することを特徴とする請求項１に記載の方法。
【請求項３】
前記識別子が前記ホスト信号の他の知覚的な特徴を表わす他のフィンガープリントであることを特徴とする請求項２に記載の方法。
【請求項４】
透かし入りホスト信号に埋め込まれた透かしを取り出す方法であって、
−前記透かし入りホスト信号から該透かし入りホスト信号の知覚的な特徴を表わすフィンガープリントを抽出するステップと、
−複数のホスト信号の元のフィンガープリントが記憶されているデータベースにおいて、抽出された前記フィンガープリントと略々一致する元のフィンガープリントをサーチするステップと、
−前記データベースにおいて見つけられた前記元のフィンガープリントと前記抽出されたフィンガープリントとの間の差を決定するステップとを有し、前記差が取り出されるべき前記透かしを表わす方法。
【請求項５】
複数のホスト信号の各々のために、識別子が、対応する前記元のフィンガープリントの位置を識別するために前記データベースに記憶され、前記方法が、前記透かし入りホスト信号から該透かし入りホスト信号の識別子を抽出するステップと、前記識別子を用いて前記対応する元のフィンガープリントの位置を前記データベースにおいて識別するステップとを更に有することを特徴とする請求項４に記載の方法。
【請求項６】
前記識別子が前記透かし入りホスト信号の他の知覚的な特徴を表わす他のフィンガープリントであることを特徴とする請求項５に記載の方法。
【請求項７】
ホスト信号に透かしを埋め込む装置であって、
−前記ホスト信号から該ホスト信号の知覚的な特徴を表わす元のフィンガープリントを抽出し、前記ホスト信号の前記元のフィンガープリントを他のホスト信号の元のフィンガープリントと一緒にデータベース中に記憶する手段と、
−前記フィンガープリントが、埋め込まれるべき前記透かしに基づいて修正されるように、前記ホスト信号を修正する手段とを有する装置。
【請求項８】
透かし入りホスト信号に埋め込まれた透かしを取り出す装置であって、
−前記透かし入りホスト信号から該透かし入りホスト信号の知覚的な特徴を表わすフィンガープリントを抽出する手段と、
−複数のホスト信号の元のフィンガープリントが記憶されているデータベースにおいて、抽出された前記フィンガープリントと略々一致する元のフィンガープリントをサーチする手段と、
−前記データベースにおいて見つけられた前記元のフィンガープリントと前記抽出されたフィンガープリントとの間の差を決定する手段とを有し、前記差が取り出されるべき前記透かしを表わす装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報ホスト信号に透かしを埋め込む方法及び装置に関する。本発明はまた、埋め込まれた前記透かしを取り出す方法及び装置にも関する。
【背景技術】
【０００２】
従来技術の、透かしを埋め込み、取り出す方法は、Khalid A. Kaabneh及びAbdou Youssefによる"Muteness-Based Audio Watermarking Technique", presented at the 2001 IEEE Conference on distributed computing systems workshop, pp. 379-383において開示されている。この従来技術の文献においては、オーディオ信号中に存在する無音の期間（消音(mute)期間）のシーケンスがホストオーディオ信号から抽出される。透かしは、透かし入り信号が人間の聴覚系にとっては知覚的に異ならないように前記消音期間をわずかに修正することによって埋め込まれる。透かしは、透かし入りコピーから消音期間を抽出し、該消音期間から元の消音期間を差し引くことによって取り出される。両者の間の差が、取り出されるべき透かしである。
【０００３】
従来技術の文献は、透かし検出器のためには消音期間の元の長さを利用可能にするだけで十分であることを開示している。元の信号自体は必要とされない。この文献は、透かし入り信号の消音期間の元の長さが如何にして得られるかを開示していない。これは、しばしばホスト信号が不明である実際の状況においては問題である。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、従来技術の透かし埋め込み及び取り出し方法の上記の問題の解決策を提供することにある。
【課題を解決するための手段】
【０００５】
この目的のため、本発明は、ホスト信号に透かしを埋め込む方法及び装置であって、前記ホスト信号から該ホスト信号の知覚的な特徴を表わす元のフィンガープリントを抽出するステップと、前記ホスト信号の前記元のフィンガープリントを他のホスト信号の元のフィンガープリントと一緒にデータベース中に記憶するステップと、前記フィンガープリントが埋め込まれるべき前記透かしに基づいて修正されるように前記ホスト信号を修正するステップとを有する方法及び装置を提供する。
【０００６】
しばしばシグネチャ又はハッシュとも呼ばれるフィンガープリントは、信号の知覚的な特徴をバイナリシーケンスにマップする関数の結果である。ここでは、（一般に、ソースデータのたった１つのビットの反転が、完全に異なるハッシュをもたらすであろう）極めて脆弱である暗号のハッシュとは異なり、フィンガープリントはロバストであると了解される。即ち、ソース信号が知覚的に類似している場合には、対応する前記フィンガープリントもまた非常に類似する。それ故、フィンガープリントはオーディオビジュアルコンテンツを識別するのに用いられる。このようなフィンガープリント及びそれらの使用法の例は、Jaap Haitsma、Ton Kalker及びJob Oostveenによる"Robust Audio Hashing for Content Identification", published at the Content-Based Multimedia Indexing (CBMI) 2001 Conference in Brescia, Italyにおいて開示されている。
【０００７】
本発明は、前記従来技術によって教示されているように透かしを表わすよう修正されている知覚的な特徴は、フィンガープリントを構成するという認識に基づく。本発明は、透かし入り信号のフィンガープリントと元のフィンガープリントとはわずかにしか異ならないのに対して、知覚的に異なるホスト信号のフィンガープリントはかなり異なるであろうという洞察を利用する。斯くして、本発明では、前記データベース中に記憶されている元のフィンガープリントによって前記透かし入り信号が識別され得るということが達成される。
【０００８】
透かし入りホスト信号に埋め込まれた透かしを取り出す対応する方法は、前記透かし入りホスト信号から該透かし入りホスト信号の知覚的な特徴を表わすフィンガープリントを抽出するステップと、複数のホスト信号の元のフィンガープリントが記憶されているデータベースにおいて、抽出された前記フィンガープリントと略々一致する元のフィンガープリントをサーチするステップと、前記データベースにおいて見つけられた前記元のフィンガープリント及び前記抽出されたフィンガープリントの間の差を決定するステップとを有し、ここで、前記差は、取り出されるべき前記透かしを表わす。
【０００９】
前記透かし埋め込み方法の実施例は、前記ホスト信号から該ホスト信号の識別子(identification)を抽出するステップと、前記データベースにおいて対応する前記元のフィンガープリントの位置を識別するために該データベース中に前記識別子を記憶するステップとを更に有する。このような付加的な識別子は、前記データベースにおいて前記元のフィンガープリントをサーチする処理をより容易にし、より高速にし、より一義的にする。
【００１０】
有利な実施例において、前記識別子は前記ホスト信号の他の知覚的な特徴を表わす他のフィンガープリントである。このような実施例では、一方のフィンガープリントが前記透かしを伝達するのに対して、他方のフィンガープリントは、前記データベースにおいて前記元のフィンガープリントの位置を識別するのに用いられる。この場合、それらの各々の目的にとって最適である異なるフィンガープリント方式が選ばれ得る。 
【００１１】
下記の実施例に関して本発明のこれら及び他の特徴を説明し、明らかにする。
【発明を実施するための最良の形態】
【００１２】
図１は、本発明による透かし埋め込み装置及び透かし取り出し装置を有するシステムの概略図である。透かし埋め込み装置は、フィンガープリント抽出回路１及び透かし埋め込みモジュール２を有する。透かし取り出し装置は、フィンガープリント抽出回路３及び透かし取り出しモジュール４を有する。両装置は、データベース５にアクセスできる。 
【００１３】
透かし埋め込み装置はマルチメディアホスト信号xを受け取る。ここでは、マルチメディア信号xがオーディオ信号であると仮定されているが、マルチメディア信号が、ビデオ信号、画像信号又は他のタイプの信号でもあり得ることは分かるであろう。信号xは、フィンガープリント抽出回路１に加えられ、フィンガープリント抽出回路１は、上記で参照したKaabnehその他の教示に基づいて無音の期間の存在についてオーディオ信号を分析する。この抽出回路の出力は、消音期間のシーケンスの形態のフィンガープリントM(i)を構成する。更に、元のホスト信号xから抽出されたフィンガープリントM(i)は、元のフィンガープリントと呼ばれる。元のフィンガープリントM(i)は、場合により、曲名、アーティスト、作成日時などといった他のデータと一緒に、データベース５に記憶される。複数の異なる曲から抽出された複数のフィンガープリントが、このようにしてデータベースに記憶される。
【００１４】
オーディオ信号xはまた、透かし埋め込みモジュール２にも加えられる。このモジュールにおいて、透かし信号サンプルw(i)のシーケンスの形態で該モジュールに加えられる透かしが埋め込まれる。透かし埋め込みモジュール２は、消音期間M(i)が透かしに基づいてわずかに長くされる又は短くされるように信号xを修正する。この動作は、典型的には、
M'(i)=M(i)+w(i)  (1)
と書き表され得る。
【００１５】
前記図においては、透かし埋め込み動作が、修正回路２１、分離回路２２及び挿入回路２３によって行なわれるように概略的に図示されている。修正回路２１は、透かしの関連するサンプルw(i)に基づいて元の消音期間M(i)を修正消音期間M'(i)に修正する。透かしは、最初に、信号から元の消音期間を分離し、続いて、信号に新しい消音期間M'(i)を挿入することによって埋め込まれる。
【００１６】
透かし取り出し装置は、透かし入り信号x'を受け取る。透かし入り信号は、埋め込み装置のフィンガープリント抽出回路１と類似するフィンガープリント抽出回路３に加えられる。それに応じて、消音期間M'(i)が透かし入り信号x'から抽出される。消音期間M'(i)のシーケンスは、データベース中に記憶されている複数の元のフィンガープリントと照合するためにデータベース５に加えられる。透かし入り信号x'の消音期間M'(i)と元の信号xの元のフィンガープリントM(i)との間の差は小さいことから、データベースにおいて見つけられる最も似ている消音期間のシーケンスが、元の信号xに対応するものであると仮定され得る。記憶されている他の信号のフィンガープリントは、一般に、かなり異なるであろう。
【００１７】
データベース５は、消音期間M'(i)の元のシーケンスを透かし取り出しモジュール４に出力する。ここで、データベースにおいて見つけられた元の消音期間M(i)は、透かしを取り出すために抽出された消音期間M'(i)と比較される。この動作は、典型的には、式（１）に合わせて
w(i)=M'(i)-M(i)  (2)
と書き表され得る。曲名、アーティスト、作成日時などといった曲と関連する付加的なデータもまたデータベースから取り出され得る。
【００１８】
上記の例において、フィンガープリントはオーディオ信号の消音期間によって表わされる。フィンガープリントを構成し得るロバストな知覚的な特性の別の例は、上記で参照されているHaitsmaその他において開示されているようなオーディオ信号の幾つかの周波数帯域のエネルギ差の２進表示である。Haitsmaその他の参考文献は、データベースにおいて最も似ているフィンガープリントを見つけるための実際的な照合戦略の詳細な記載も提供している。ビデオ及び画像のアプリケーションの場合は、画像ブロック間の平均輝度差のシーケンスがフィンガープリントを構成し得る。
【００１９】
図２は、このシステムの他の実施例の概略図である。この図においては、図１中の素子と同じ素子を示すのに同じ参照符号が用いられている。ここでは、埋め込み装置は、元のホスト信号xを識別するために識別信号IDを生成する識別回路６を有する。識別信号IDは、該識別信号IDが関連するフィンガープリントM(i）と一緒にデータベース５中に記憶される。取り出し装置は、透かし入り信号x'を識別するために識別信号ID'を生成する同じ又は同様の識別回路７を有する。この実施例において、識別信号ID'は、データベースにおいて記憶されている元の信号xのフィンガープリントM(i)をサーチするために用いられる。 
【００２０】
元の信号ｘが、ファイルを識別するIDタグのようなメタデータを含むデジタルコンピュータファイル（例えばmp3の曲）である場合には、識別信号IDは、前記IDタグ（の一部）の形態をとり得る。IDタグは透かし埋め込み処理による影響を受けないと仮定すると、透かし入り信号から得られる識別信号ID'は全く同じである。この場合、フィンガープリント照合のかなり複雑な処理は単純な探索操作(look-up
operation)に変えられる。斯くして、元の信号の元のフィンガープリントM(i)はデータベースにおいて容易に見つけられ得る。
【００２１】
元の信号xがこのようなタグを持たない場合には、識別信号IDは、コンテンツの別のロバストな知覚的な特徴に基づいて抽出される信号の別のフィンガープリントであり得る。この場合には、識別回路６及び７は、他のフィンガープリント抽出回路である。この実施例は、一方で、透かしを伝達するためのフィンガープリント抽出回路１及び３が、他方で、信号識別のための識別回路６及び７が、それらの各々の目的のために最適化されることを可能にする。
【００２２】
データベース５の位置は本発明に関連しないことに注意されたい。データベースは、埋め込み装置端、取り出し装置端又は両方から遠く離れた所に配置され得る。必要であれば、データベースにフィンガープリントを加えるために又はデータベースからフィンガープリントを取り出すためにインターネットなどのネットワークが用いられ得る。
【００２３】
本発明は以下のように要約され得る。フィンガープリンティングは、信号のコンテンツのロバストな知覚的な特徴を抽出し、タイトル、アーティストなどが記憶されているデータベースにおいて抽出された前記特徴をサーチすることによってマルチメディア信号を識別するための技術である。透かし入れ(watermarking)は、目立たないように信号中にペイロードデータを埋め込む技術である。本発明は、両技術を組み合わせる。フィンガープリント(M(i))が、ホスト信号(x)から抽出され(1)、データベース(5)に記憶される。透かし(w(i))は、修正された信号(x')のフィンガープリント(M'(i))が元のフィンガープリントとわずかに異なるように前記信号を修正する(21)ことによって該ホスト信号に埋め込まれる(2)。差異は非常に小さいので、前記データベースはそれらは類似しているとみなす。受信機端では、前記フィンガープリントが、透かし入り信号から抽出され(3)、前記データベースに加えられ、前記データベースは、前記信号の前記元のフィンガープリントを返すことによって応答する。埋め込まれた前記透かしは、前記ホスト信号から抽出された前記フィンガープリントから前記データベースによって供給された前記元のフィンガープリントを差し引く(4)ことによって取り出される。
【図面の簡単な説明】
【００２４】
【図１】本発明による透かし埋め込み装置及び透かし取り出し装置を有するシステムの概略図である。
【図２】本発明による前記システムの他の実施例の概略図である。
【図１】
2005525600.tif 000003
【図２】
2005525600.tif 000004
【国際調査報告】
2005525600.tif 000005
2005525600.tif 000006
2005525600.tif 000007