(57)【特許請求の範囲】
【請求項１】
透かし信号を透かし処理されるデータに挿入するための方法において、
透かし処理されるデータを複数の小区域に分割するステップ、
透かし処理されるデータの周波数係数をそれぞれの前記小区域で算出するステップ、
透かし信号をＰＮ（擬似乱数ノイズ）シーケンスにマッピングした後に周波数領域に変換するステップ、
周波数領域に変換された前記ＰＮシーケンスを複数の部分透かし信号に分割するステップ、及び各々の前記部分透かし信号を各々の前記小区域の周波数係数に当該周波数係数についての局部的絶対値平均に応じて挿入するステップを有することを特徴とする電子透かしの挿入方法。
【請求項２】
請求項１による透かし信号を透かし処理されるデータに挿入する方法において、前記挿入はデータがＭＰＥＧ量子化処理された後に実行されることを特徴とする電子透かしの挿入方法。
【請求項３】
請求項１による透かし信号を透かし処理されるデータに挿入する方法において、前記周波数係数はＤＣＴ（離散的コサイン変換）係数であることを特徴とする電子透かしの挿入方法。
【請求項４】
請求項３による透かし信号を透かし処理されるデータに挿入する方法において、それぞれの前記小区域は８×８ピクセルのブロックであることを特徴とする電子透かしの挿入方法。
【請求項５】
請求項４による透かし信号を透かし処理されるデータに挿入する方法において、前記挿入はデータがＭＰＥＧ量子化処理された後に実行されることを特徴とする電子透かしの挿入方法。
【請求項６】
請求項１による透かし信号を透かし処理されるデータに挿入する方法において、それぞれの前記小区域が８×８ピクセルのブロックであることを特徴とする電子透かし処理方法。
【請求項７】
請求項６による透かし信号を透かし処理されるデータに挿入する方法において、前記挿入はデータがＭＰＥＧ量子化処理された後に実行されることを特徴とする電子透かしの挿入方法。
【請求項８】
請求項６による透かし信号を透かし処理されるデータに挿入する方法において、
前記周波数領域に変換されたＰＮシーケンスを、前記小区域に挿入する前に回転することを特徴とする電子透かしの挿入方法。
【請求項９】
請求項８による透かし信号を透かし処理されるデータに挿入する方法において、前記挿入はデータがＭＰＥＧ量子化処理された後に実行されることを特徴とする電子透かしの挿入方法。
【請求項１０】
請求項８による透かし信号を透かし処理されるデータに挿入する方法において、
前記小区域の各々には前記複数の部分透かし信号のうちの一つのみが挿入されることを特徴とする電子透かしの挿入方法。
【請求項１１】
請求項１０による透かし信号を透かし処理されるデータに挿入する方法において、透かし信号は同期部位及び照合部位を有することを特徴とする電子透かしの挿入方法。
【請求項１２】
請求項１１による透かし信号を透かし処理されるデータに挿入する方法において、前記挿入はデータがＭＰＥＧ量子化処理された後に実行されることを特徴とする電子透かしの挿入方法。
【請求項１３】
請求項１１による透かし信号を透かし処理されるデータに挿入する方法において、同期部位と照合部位の間には相互関係がほとんどないことを特徴とする電子透かしの挿入方法。
【請求項１４】
請求項１による透かし信号を透かし処理されるデータに挿入する方法において、
前記局部的絶対値平均は、基本的には２次元周波数係数をジグザグに進むことによって１次元的にベクトル化されることによって得られる係数の３×１ウインドウでの平均であることを特徴とする電子透かしの挿入方法。
【請求項１５】
請求項１による透かし信号を透かし処理されるデータに挿入する方法において、
前記局部的絶対値平均は、２次元周波数係数に関連した４つの周波数係数のうち、ＤＣ項に最も近い２つの周波数係数に基づいた平均であることを特徴とする電子透かしの挿入方法。
【請求項１６】
透かし処理されたデータから透かしを抽出する方法において、
透かし処理されたデータの小区域を受信するステップ、
前記小区域の各々について、前記小区域の所定の周波数係数を当該周波数係数についての局部的絶対値平均に応じて正規化することを実行し、前記小区域の各々について、正規化された所定の周波数係数の信号を発生させるステップ、
前記発生した正規化された所定の周波数係数の信号を結合するステップ、
前記結合された信号を、透かしの一つのシンボルに対応する信号部分に分離するステップ、
前記分離された信号部分の各々について、前記分離された信号部分と所定のシンボルに対応する所定のＰＮシーケンスの各々との相関を検査し、各々の相関信号を与えるステップ、
前記分離された信号部分の各々について、前記各々の相関信号のうちから最新のシンボルに最もなり得る相関信号を決定し、最新のシンボルを識別するステップ、
前記識別されたシンボルに基づき、透かしに対応する最もあり得る最新のシンボルのシーケンスを抽出するステップを有することを特徴とする電子透かしの抽出方法。
【請求項１７】
請求項１６による透かし処理されたデータから透かしを抽出する方法において、
前記小区域がＭＰＥＧ符号化及び復号化に使用される８×８のブロックであることを特徴とする電子透かしの抽出方法。
【請求項１８】
請求項１７による透かし処理されたデータから透かしを抽出する方法において、
前記透かしの一つのシンボルに対応する信号部分を分離するためにそれぞれの前記小区域からの正規化された信号を結合する前記ステップがブロック間の透かしの相対的な回転を除去することを特徴とする電子透かしの抽出方法。
【請求項１９】
請求項１８による透かし処理されたデータから透かしを抽出する方法において、
それぞれのブロックに挿入された部分的な透かしから透かしをその後復元することを特徴とする電子透かしの抽出方法。
【請求項２０】
請求項１９による透かし処理されたデータから透かしを抽出する方法において、
周波数スペクトル内の位置に基づいて透かしの周波数係数に荷重することを含み、その荷重は、共通の信号変換に対するそれぞれの前記周波数係数の感度の関数であることを特徴とする電子透かしの抽出方法。
【請求項２１】
請求項１６による透かし処理されたデータから透かしを抽出する方法において、
抽出される透かしの全ての回転を前記所定のＰＮシーケンスと相関させて前記相関信号の最大値を選択することを特徴とする電子透かしの抽出方法。
【請求項２２】
請求項１６による透かし処理されたデータから透かしを抽出する方法において、
透かしの照合部位と所定のＰＮシーケンスとの間で相関させる前に、透かしの同期部位の全ての回転を相関させて前記相関信号の最大値を決定し、その後前記最大値を得た回転量と同じ量だけ前記照合部位を回転することを含むことを特徴とする電子透かしの抽出方法。
【請求項２３】
透かし処理されたデータから透かしを抽出する方法において、
透かし処理されたデータの小区域を受信するステップ、
前記小区域の各々について、前記小区域の所定の周波数係数を当該周波数係数についての局部的絶対値平均に応じて正規化することを実行し、前記小区域の各々について、正規化された所定の周波数係数の信号を発生させるステップ、
前記発生させた信号の各々について、前記発生させた信号と所定のシンボルに対応する所定のＰＮシーケンスの各々との相関を検査し、各々の相関信号を与えるステップ、
前記発生させた信号の各々について、前記各々の相関信号のうちから最新のシンボルに最もなり得る相関信号を決定し、シンボルストリームを抽出するステップ、
前記抽出されたシンボルストリームのエラー訂正をするステップ、
前記抽出されたシンボルストリームに基づき、透かしに対応する最もあり得る最新のシンボルのシーケンスを抽出するステップを有することを特徴とする電子透かしの抽出方法。
【請求項２４】
請求項２３による透かし処理されたデータから透かしを抽出する方法において、
前記エラー訂正はリードソロモンエラー訂正であることを特徴とする電子透かしの抽出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像、映像、及びマルチメディアデータを含むデータの電子透かしに関する。特に、本発明は透かしのための信号の挿入及び埋め込まれた信号の抽出に関し、挿入及び抽出の手順はデータの小区域に繰り返し適応される。これらの小区域がＭＰＥＧ及びＪＰＥＧ圧縮と減圧に使用される８×８ピクセルのブロックに対応する時、透かし手順は、かなりの計算の節約を行うためにこれらの圧縮アルゴリズムと強く結合することが可能である。
【０００２】
【従来の技術】
画像、映像及びマルチメディアといった電子化メディアの急増によって、データ源の識別を容易にする保障システムの必要性が出てきている。
【０００３】
内容の供給者、（即ち、デジタルデータ形式での製品の所有者）は、映像／画像／マルチメディアのデータに信号を埋め込むことが必要となり、この信号は著作権の所有権の立証、管理、運用のためにソフトウェア及び／あるいはハードウェアの装置によって検出されることが可能である。
【０００４】
例えば、符号化された信号が、データが複写されるべきではないことを示すためにデータに挿入されるかもしれない。埋め込まれた信号は画像の忠実度を保護しなければならず、共通の信号変換に対して強く、干渉に抵抗できなければならない。更に、最新の要求は比較的低い、１フレームに２、３ビットであっても、システムによって与えられるデータレートを考慮しなければならない。
【０００５】
“Ｓｅｃｕｒｅ  Ｓｐｒｅａｄ  Ｓｐｅｃｔｒｕｍ  Ｗａｔｅｒｍａｒｋｉｎｇ  ｆｏｒ  Ｍｕｌｔｉｍｅｄｉａ  Ｄａｔａ”という名称で本発明と同じ権利者に譲渡されており、また本発明中では参考文献として引用されている、１９９５年９月２８日に出願された米国特許出願０８／５３４，８９４号において、拡散スペクトル透かし方法が提案されており、この方法は内容所有者及び／あるいは保有者を識別するために、透かし信号を画像の知覚的に重要な領域に埋め込むというものである。この手法の長所は透かしを除去することが非常に困難であることである。事実、この方法においては、もし、元の画像あるいはデータと比較可能であれば、透かしは読み取られることのみ可能である。これは、透かしの元のスペクトルが乗法手順を介して画像のスペクトルに形成され、このスペクトル形成は一致したフィルタリングによって検出を行う前に除去されなければならず、透かしはＮ個の最も大きなスペクトル係数に挿入されるので、その整列は透かし処理の後は保存されていない。このようにこの方法においては、ソフトウェア及び／あるいはハードウェア装置が直接埋め込まれた信号を読み取ることはできない。
【０００６】
“Ｓｅｃｕｒｅｄ  Ｓｐｅｃｔｒｕｍ  Ｗａｔｅｒｍａｒｋｉｎｇ  ｆｏｒ  Ｍｕｌｔｉｍｅｄｉａ”という題名で、ｈｔｔｐ：／／ｗｗｗ．ｎｅｃｉ．ｎｊ．ｃｏｍ／ｔｒ／ｉｎｄｅｘ．ｈｔｍｌ（Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  Ｎｏ．  ９４−１０）で入手可能であるＣｏｘ  ｅｔ  ａｌによる論文の中で、擬似乱数ノイズシーケンスを透かし処理の目的でデジタルデータに埋め込む拡散スペクトル透かし処理のことが説明されている。
【０００７】
上記の従来例の透かし抽出方法は、元の画像スペクトルが透かし処理された画像スペクトルから控除されることを必要とする。これは、利用可能な元の画像あるいは画像スペクトルがない時、方法の使用が制限される。非常に困難と思われる使用は、操作のために埋め込まれた情報を読取りたいと望み、このような装置の操作を否定する第３者の装置供給者に対してである。
【０００８】
“Ｅｍｂｅｄｄｅｄ  Ｓｉｇｎａｌｌｉｎｇ”という名称のＲ．Ｄ．Ｐｒｅｕｓｓ  ｅｔ  ａｌ．による米国特許第５，３１９，７３５号では、デジタル情報が、コードシンボルのシーケンスを作るために符号化されている。コードシンボルのシーケンスは、コードシンボルのシーケンスを示す対応する拡散スペクトルコード信号を発生させることによって音声信号内に埋め込まれる。コードシンボルの周波数成分は、音声信号の帯域幅内にある予め選択された信号帯域に本質的に制限されるので、コード信号の継続セグメントはシーケンスの継続するコードシンボルに対応している。音声信号は、信号帯域を取り囲んでいる周波数帯域に亘って絶えず周波数分析されており、コード信号は、周波数成分レベルの修正されたコード信号を与えるために分析の関数として動的にフィルタリングされ、その周波数成分レベルは、基本的にそれぞれの時間において対応する周波数範囲の音声信号周波数成分のレベルの予め選択された割合となる。修正されたコード信号及び音声信号は、デジタル情報が埋め込まれている混成の音声信号を与えるために結合される。この成分音声信号は、それから記録媒体に記録され、あるいは送信チャンネルを受ける。この処理の２つのキーポイントとなる要素は、それぞれ挿入及び抽出の段階で起こるスペクトル形成とスペクトル等化であり、それによって埋め込まれた信号は透かし処理されていない元のデータにアクセスすることなく抽出されることが可能となる。
【０００９】
“Ａ  Ｓｐｒｅａｄ  Ｓｐｅｃｔｒｕｍ  Ｗａｔｅｒｍａｒｋ  ｆｏｒ  Ｅｍｂｅｄｄｅｄ  Ｓｉｇｎａｌｉｎｇ”という名称で、本発明では参考文献として引用されているＣｏｘによる１９９６年９月４日に出願された米国特許出願第０８／７０８，３３１号では、元来の、即ち透かし処理されていないデータを使用せずに透かし処理された画像あるいは映像から埋め込まれたデータの透かしを抽出する方法が説明されている。この作業は、Ｐｒｅｕｓｓ  ｅｔ  ａｌの本来の作業を音声の領域から画像及び映像の領域まで拡張したものと思われる。
【００１０】
信号を埋め込むための画像及び画像データを透かし処理するこの方法は、ＤＣＴ（離散的コサイン変換）及び全体の画像の逆数が算出されることを必要とする。ＮｌｏｇＮ時間においてＤＣＴを算出するための速いアルゴリズムがあるが、この時Ｎは画像のピクセルの数である。しかしながら、Ｎ＝５１２×５１２に対して、特に、もし符号化及び抽出処理が映像レート、即ち１秒間３０フレームで実行されなければならない場合、算出要求はさらに高くなる。この方法は、ＭＰＥＧ−ＩＩ減圧に必要とされるものの約３０倍の計算が必要とする。
【００１１】
実時間の映像透かし処理を達成する可能性のある一つの方法は、全てのＮ番目のフレームのみ透かし処理することである。しかしながら、内容所有者は、それぞれ及び全ての映像フレームを保護することを望んでいる。更に、もし、どのフレームが埋め込まれた信号を含んでいるかが分かれば、映像信号に顕著な質の低下をもたらすことなくこれらのフレームを除去することは簡単である。
【００１２】
“ＭＰＥＧ／ＳＰＥＧ係数を使用した画像データの透かし処理”という名称で、本発明では参考文献として引用されているＣｏｘによる、１９９６年９月１９日に出願された米国特許出願第０８／７１５，９５３号では、代わりの方法が説明されていて、これは、ｎ＜＜Ｎである時、ｎ×ｎのブロックの画像（部分画像）に透かしを挿入するものである。算出コストは、次の数１式の通りとなる。
【００１３】
【数１】
0003880162.tif 000002
Ｎ＝５１２×５１２＝２18及びｎ＝８×８＝２6 に対して、漸近節約は約数である３のみである。
【００１４】
【発明が解決しようとする課題】
しかしながら、米国特許出願第０８／７１５，９５３号で説明されている発明では、キャッシュ、ループ展開、その他の効果的な結果を考えると、全体の画像に亘ってＤＣＴを算出するコストは経験的に非常に高くなる。実際には、その差は３０倍の節約となる。さらに重要なことには、もし、ブロックサイズに８×８の大きさ、即ちＭＰＥＧ画像圧縮に使用されるのと同じサイズが選択された場合、ＭＰＥＧ圧縮及び減圧アルゴリズムの手順と透かしの挿入及び抽出手順をしっかり結合することが可能である。ＤＣＴとその逆数の計算、およびこれらのステップに関係あるほとんどの必要な費用の計算が、圧縮および減圧アルゴリズムの一部として既に算出されているので、相当な計算が節約されることができる。透かし処理のためのコスト増加は非常に小さくなり、基本的にはＭＰＥＧに関する計算の必要性の５％以下となる。
【００１５】
本発明の目的は、部分画像に透かし情報を蓄積し、前述のものとは異なるやり方で部分画像から透かし情報を抽出することによって米国特許出願第０８／７１５，９５３号で説明されている発明の信頼性を改善することにある。
【００１６】
本発明の具体的な目的は、透かしの部分集合を透かし処理されるデータの小区域の部分集合に挿入することである。
【００１７】
本発明の他の目的は、透かし処理された信号を平均化することによって透かしが透かし処理されたデータの小区域から抽出され、透かしを決定するために結果的に得られる信号を相関させる電子透かしシステムを提供することである。
【００１８】
本発明の他の目的は、透かし抽出の信頼性を改善するために、透かしが２つの部位、照合部位及び同期部位からなる電子透かしシステムを提供することである。
【００１９】
【課題を解決するための手段】
本発明は、透かし信号成分がそれぞれの部分画像に挿入される順番を組織的に変更し、透かし信号のたった一部のみをそれぞれの部分画像に挿入し、透かし検出の間に、予め規定されたいかなる透かしとも相関するためのテストを行う前に本来の透かし信号を復元するために部分画像の集まりに見出だされる透かし信号を結合することによって従来のシステムの信頼性を改善するものである。
【００２０】
検出のために、部分画像に蓄積された透かし情報を復元するために、逆変換がそれぞれの部分画像に適用される。その結果、信号は全体の透かしを復元し、ノイズを削減するためにともに平均化される。最終的にこの復元された透かしは、どれが画像に挿入されたかを決定するために、予め規定された透かし信号の集合と比較される。
【００２１】
本発明によれば、透かし信号を透かし処理されるデータに挿入するための方法において、透かし処理されるデータを複数の小区域に分割するステップ、透かし処理されるデータの周波数係数をそれぞれの小区域で算出するステップ、透かし信号をＰＮ（擬似乱数ノイズ）シーケンスにマッピングすることによって、挿入される透かし信号を拡散スペクトル変調するステップ、平均出力の関数としてのＰＮをデータのそれぞれの周波数係数にスペクトル形成するステップ、及び
スペクトル形成されたそれぞれのＰＮシーケンスをそれぞれの小区域のデータの所定係数に挿入するステップを有することを特徴とする電子透かしの挿入方法が得られる。
【００２２】
本発明によれば、透かし処理されたデータから透かしを抽出する方法において、透かし処理されたデータの小区域を受信するステップ、正規化されたそれぞれの信号を発生させるためにそれぞれの小区域から透かし処理されたデータをスペクトル正規化するステップ、単一の透かしを発生させるためにそれぞれの小区域からそれぞれの正規化されたデータを結合するステップ、相関している信号をそれぞれの小区域のそれぞれの所定のＰＮシーケンスに与えるために所定のシンボルに対応する所定のＰＮ（擬似乱数ノイズ）シーケンスに単一の透かしを相関させるステップ、どの相関信号が最新のシンボルに最もなりうるかを決定するステップ、透かしに対応する最もあり得る最新のシンボルのシーケンスを抽出するステップを有することを特徴とする電子透かしの抽出方法が得られる。
【００２３】
本発明によれば、透かし処理されたデータから透かしを抽出する方法において、透かし処理されたデータの小区域を受信するステップ、それぞれの正規化された信号を発生させるためにそれぞれの小区域からの透かし処理されたデータをスペクトル正規化するステップ、相関する信号をそれぞれの小区域の所定のＰＮシーケンスに与えるために所定のシンボルに対応する所定のＰＮシーケンスとそれぞれの正規化された信号を相関させるステップ、抽出されたシンボルストリームを与えるために、どの相関信号がそれぞれの小区域の最新の信号に最もなりうるかを決定するステップ、抽出されたシンボルストリームのエラー訂正するステップ、透かしに対応する最もあり得る最新のシンボルのシーケンスを抽出するステップを有することを特徴とする電子透かしの抽出方法が得られる。
【００２４】
本発明によれば、透かし信号を透かし処理されるデータに挿入する方法において、透かし処理されるデータを複数の小区域に分割するステップ、透かしの部位が一つ以上の部分透かしに含まれている複数の部分透かしに透かし信号を分割するステップ、前記複数の部分透かしを前記複数の小区域に挿入するステップを有することを特徴とする電子透かしの挿入方法が得られる。
【００２５】
【発明の実施の形態】
図１から４を参照すると、デジタルデータ、例えば画像におけるウオーターマーク等と呼ばれることもある透かしの挿入及び検出のための一般的な方法の概略ブロック図が示されている。
【００２６】
以下の説明において、画像データあるいは画像について言及する。本発明は画像データ及び画像への適応性を有するが、本発明の教え及び本発明自体は同様に、映像、画像及びマルチメディアデータに適応可能であり、用語“画像”及び“画像データ”は適用され得るこれらの用語を含んでいることが分かるであろう。ここで使用されているように、“透かし”は埋め込まれたデータ、シンボル、画像、命令あるいはその他の識別するいかなる情報をも含んでいることが分かるであろう。
【００２７】
以下に、米国特許出願第０８／５３４，８９４号で説明されている画像に透かしを挿入する手順をＩＮＳＥＲＴ−ＯＲＩＧＩＮＡＬとし、また透かしを抽出或いは検出する手順をＥＸＴＲＡＣＴ−ＯＲＩＧＩＮＡＬとしてそれぞれの手順について言及する。また、１９９６年９月４日に出願された米国特許出願第０８／７０８，３３１号で説明されている、画像に透かしを挿入する手順をＩＮＳＥＲＴ−ＷＨＯＬＥとし、また透かしを抽出或いは検出する手順をＥＸＴＲＡＣＴ−ＷＨＯＬＥとしてそれぞれの手順について言及する。また、米国特許出願第０８／７１５，９５３号で説明されている画像に透かしを挿入する手順をＩＮＳＥＲＴ−ＭＰＥＧ−Ａとし、透かしを抽出あるいは検出する手順をＥＸＴＲＡＣＴ−ＭＰＥＧ−Ａとしてそれぞれの手順について言及する。
【００２８】
図１は、画像に透かしを挿入するためのＩＮＳＥＲＴ−ＷＨＯＬＥの手順の概略ブロック図を示している。アルファベットから選択されたシンボルの最終的なシーケンスの形式の透かし信号がエラー訂正符号器１０へ入力され、エラー訂正符号器１０は、このシーケンスを余分な情報を含んでいる他のシーケンスに変換する。符号器１０の出力は、ＰＮマッピング器１１に与えられ、ＰＮマッピング器１１は符号化された透かしのそれぞれのシンボルを予め特定されている擬似乱数ノイズ（ＰＮ）コードにマッピングする。ＰＮマッピング器１１の出力はスペクトル変換器１２に与えられ、スペクトル変換器１２は擬似乱数ノイズシーケンスを周波数領域に変換する。その変換は離散的コサイン変換（ＤＣＴ）によるものであるのが好ましいが、速いフーリエ変換、ウェーブレット型分解等もまた周波数変換に使用されることが可能である。同時に、透かし処理されるデータはその他のスペクトル変換器１３に与えられる。２つのスペクトル変換器１２及び１３の出力は、それからスペクトル整形器１４へ入力され、スペクトル整形器１４は、画像データに加えられる時、透かしをマスクするためにスペクトル変換器１２からの擬似乱数ノイズコードのスペクトル特性を修正する。スペクトル変換器１３からのスペクトル的に変換された透かし処理されるデータは、遅延器１５に入力される。スペクトル整形器１４の出力はそれから加算器１６の遅延器１５の出力に付加される。加算器１６の出力は逆変換器１７に供給される。この逆変換器１７による逆変換の結果が透かし処理されたデータである。
【００２９】
ＩＮＳＥＲＴ−ＭＰＥＧ−Ａは、透かし処理されるデータを多数のブロック、例えば８×８ピクセルの部分画像或いは小区域にセグメントする点でＩＮＳＥＲＴ−ＷＨＯＬＥとは異なる。データのそれぞれのブロックは上述の方法によって挿入された透かしを有する。即ち、８×８のそれぞれ部分画像或いは小区域に対して適切なスペクトル形成の後、擬似乱数ノイズのシーケンスがＤＣＴ係数に挿入される。この手順は全てのこのような部分画像或いは小区域に対して繰り返される。部分画像あるいは小区域のサイズは好ましくは８×８であるが、その他のサイズ、例えば２×２、３×３、４×４、１６×１６でもよい。
【００３０】
図２は本発明の教えによる透かし挿入手順の概略ブロック図を示している。透かし信号は、図１に関して説明されたものと同じ方法で、エラー訂正符号器２０、ＰＮマッピング器２１、及びスペクトル変換器２２によってノイズスペクトル信号に処理される。しかしながら、ＩＮＳＥＲＴ−ＷＨＯＬＥあるいはＩＮＳＥＲＴ−ＭＰＥＧ−Ａとは異なり、透かしは透かしセグメンター２３に入力され、セグメンター２３は、組織的に透かしをいくつかの部分透かしに分割する。本来の透かしのいかなる部分も結果として得られるいくつかの部分透かしに余分に見えるかもしれない。同時に、透かし処理されるデータはデータセグメンター２４へ入力され、データセグメンター２４はＩＮＳＥＲＴ−ＭＰＥＧ−Ａと同様ブロックあるいは小区域、例えば８×８の部分画像にデータをセグメントする。透かしセグメンターによって出力される部分透かしのそれぞれは透かし挿入器２５ａ及び２５ｂ等の内の一つによってデータブロックに挿入される。透かし挿入器２５ａ及び２５ｂ等によって使用される手順は、図１の透かし挿入器１８に関して説明されたものと同じ手順である。即ち、それぞれの部分透かしは、スペクトル形成の後スペクトル変換されたデータブロックに加えられ、その結果データは、空間領域に変換し戻される。最後に、透かし挿入器２５ａ及び２５ｂ等からの透かし処理されたデータブロックは、透かし処理されたデータを作るためにデータ結合器２６に組み込まれる。
【００３１】
図３はＥＸＴＲＡＣＴ−ＷＨＯＬＥ手順の概略ブロック図を示している。透かし処理された画像、映像、及びマルチメディアデータは、前に実行されたスペクトル形成を元に戻すために最初にスペクトル正規化器３０に入力される。もしデータが透かしを含んでいれば、スペクトル正規化器３０の出力は、透かしのＰＮ符号化（図１のスペクトル整形器１４へ入力された信号）のスペクトル変換に似ている。スペクトル正規化器３０の出力はいくつかの相関器３１ａ、３１ｂ等へ入力され、相関器３１ａ、３１ｂは、符号化された透かしが含んでいる様々なシンボルを示すために使用されるＰＮコードで透かしをテストする（即ち、それぞれの相関器は、図１のＰＮマッピング器１１によってシンボルを符号化するために使用される一つのＰＮコードに対してテストする）。相関器３１ａ及び３１ｂ等の出力は決定回路３２に入力され、最もよく似たシンボルのシーケンスを決定する。最後に、このシーケンスはエラー訂正器３３によって訂正され、エラー訂正器３３は、図１でエラー訂正符号器１０によって実行された逆符号化を実行する。その結果が抽出された透かしである。
【００３２】
ＥＸＴＲＡＣＴ−ＭＰＥＧ−Ａにおいて、透かしが抽出されるデータは、調度ＩＮＳＥＲＴ−ＭＰＥＧ−Ａのように、いくつかのブロック、例えば８×８部分画像に最初にセグメントされる。それぞれの部分画像からの信号は、図３の相関器３１ａ及び３１ｂ等同様に正規化され、相関器のバンクに挿入される。相関器からの出力は他の部分画像からの対応する相関器の出力に平均化され、その結果、平均相関関係が、上記のように次の処理のために決定回路３２に入力される。
【００３３】
図４は、本発明の教えによる透かし抽出手順の概略ブロック図を示している。透かし処理されたデータは、最初にデータセグメンター４０によってブロックにセグメントされ、データセグメンター４０は図２の挿入手順の間使用されたデータセグメンター２４に対応している。それぞれのデータブロックは、それぞれのデータブロックに挿入された部分透かしと似ている信号を作るため、それぞれのスペクトル正規化器４１ａ及び４１ｂ等に与えられる。これらの挿入された部分透かしは、透かし結合器４２に入力される。結合器４２では、いくつかの部分透かしに余分に見える透かしの部分がノイズを削減するためにともに平均化される。透かし結合器４２の出力は、透かしを部分に分割するシンボル分離器４３に入力され、そしてそれぞれが符号化された透かし信号からの一つのシンボルに対応する（図２のエラー訂正符号器２０）。
【００３４】
分離器４３からのこれらのシンボルは、それぞれの透かし識別器４４ａ及び４４ｂ等に入力され、そしてそれぞれが図３に示されている相関器のバンク及び決定回路を含んでいる。透かし識別器の出力は、本来の符号化された透かし信号で使用されているアルファベットからのシンボルである。識別された信号はシンボル結合器４５によって完全に符号化された透かしに再び組み込まれる。その結果、最後に符号化された透かしがエラー訂正器４６によって復号化される。
【００３５】
挿入及び抽出手順をさらに詳しく説明する。ＩＮＳＥＲＴ−ＯＲＩＧＩＮＡＬ及びＥＸＴＲＡＣＴ−ＯＲＩＧＩＮＡＬにおいて、その目的は、本来の画像が抽出時に利用可能な時、画像に単一のＰＮ（擬似乱数ノイズ）シーケンスを埋め込むことである。ＰＮシーケンスに関する情報は、埋め込まれた透かしの本来の画像及びスペクトルの位置と共に、データベースに蓄積されていると思われる。Ｎ個の最も大きい係数によって透かしの知覚的に最も重要なＮ個の領域に実行が近かったので、透かし処理された成分の位置は記録されなければならない。しかしながら、この整列は透かし処理に対して不変ではなかった。Ｎ個の最も大きい係数は透かしを挿入する前よりも挿入後のほうが異なっている。
【００３６】
この問題を解決するために、本発明は、スペクトルの所定の位置、典型的には第１のＮ個の係数に透かしを配置する。しかしながら、もし、透かしが共通の信号変換、例えば、圧縮、測定等を残すべきであっても、このような位置はスペクトルの知覚的重要な領域に属するべきであるが、いかなる所定の位置も使用することが不可能である。
【００３７】
より一般的には、埋め込まれる情報は、アルファベットのＡから得られたｍ個のシンボル（即ち、２進数字あるいはＡＳＣＩＩシンボル）のシーケンスである。エラー検出及び訂正のために追加のシンボルがこのデータに加えられる。それぞれのシンボルは拡散スペクトル修正され、それぞれのシンボルはチップとして知られている独自のＰＮシーケンスにマッピングされる。チップごとのビット数は予め設定されていて、チップの長さが長くなるほど、検出された信号−ノイズ割合が高くなるが、これは信号帯域幅に負担をかけることになる。
【００３８】
ＰＮシーケンスの出力スペクトルは白色、即ち一様で、それ故“ノイズ”即ち、透かしが埋め込まれる画像／映像／マルチメディアデータの出力と一致するように形成される。従来の方法から修正されなければならないのは、このスペクトル形成なので、抽出処理はもはや本来の画像を必要としない。これを行うために、透かし処理されたスペクトルのそれぞれの係数は、係数自体よりむしろ画像スペクトル係数の出力の局部的平均によって測定され、即ち次の数２式の通りとなる。
【００３９】
【数２】
0003880162.tif 000003
その平均は、絶対係数値の平均であり、係数値そのものではない。これはそれぞれの周波数で示される平均出力を効果的に評価している。その他の平均の手順は、例えば、いくつかのフレームに渡って平均したり、あるいは８×８ブロックの局部的に近接している部分の平均といったものが可能である。
【００４０】
この平均はいくつかの方法で得られる。一つは２次元の領域に亘る局部的平均である。代わりに、２次元のスペクトルは一次元のベクトルを形成するためにサンプリングされ、一次元の局部的平均が実行される。２次元の８×８ＤＣＴ係数の一次元のベクトル化はＭＰＥＧＩIの一部として既に実行されている。その平均は、近接した部分における単純なボックスあるいは加重された平均である。
【００４１】
映像データに対して、いくつかのフレームに亘ってスペクトル係数の一時的な平均が適用される。しかしながら、いくつかのフレームは、抽出器のスペクトル正規化段階で平均化する必要があるので、絶縁状態で得られる個々の映像フレームを保護することは不可能である。この理由で、本発明は映像フレームを静止画像の異常に大きい集合体をして扱っている。この方法で、個々の映像フレームは複写保護を施されている。
【００４２】
透かしを抽出するために、スペクトル正規化を実行することが必要であり、このスペクトル正規化では、以前に行われたスペクトル形成手順が逆になる。本発明において、本来の透かし処理されていない信号は利用できない。周波数係数の平均出力ａｖｇ（｜ｆｉ｜）は透かし処理された信号の平均、即ちａｖｇ（｜ｆｉ’｜）に近付く。
【００４３】
(数３)
ａｖｇ（｜ｆｉ｜）〜ａｖｇ（｜ｆｉ’｜）
αａｖｇ（｜ｆｉ｜）Ｗｉ＜＜ｆｉなので、これはほぼ正確であるといえる。このときＷｉは透かし成分で、αは０．１から０．０１の間の範囲において基本的に一定である。
【００４４】
正規化段階では、それぞれの係数（ｆｉ’）が近接した局部的平均ａｖｇ（｜ｆｉ’|）によって受信信号に分割される。即ち、次の数４式が得られる。
【００４５】
（数４）
ｆｉ’／ａｖｇ（｜ｆｉ’|）
＝  (ｆｉ＋αａｖｇ（｜ｆｉ｜）Ｗｉ)／ａｖｇ（｜ｆｉ’｜）
〜  ｆｉ／ａｖｇ（｜ｆｉ’｜）＋αＷｉ
数４式の右側（ＲＨＳ）の最初の項ｆｉ／ａｖｇ（｜ｆｉ’｜）は、ノイズの項と考えられている。透かし処理されていない係数へのアクセスのためにこの項を除去することができないので、この項は米国特許出願第０８／５３４，８９４号に説明されているシステムの中に示されていない。第２の項αＷｉは、従来の相関関係を使用して検出される本来の透かし信号である。
【００４６】
もし、透かしが単一のいずれかの８×８のブロックから抽出された場合、検出器の信頼性は非常に低くなる。しかしながら、もしそれぞれの８×８ブロックから抽出された透かしが最初に共に加えられ、平均化された透かしが相関器に使用された場合、非常に強い、明白な反応が得られる。これは、それぞれのブロック内で相関関係が起こり、それぞれの相関器からの出力が共に平均される米国特許出願第０８／７１５，９５３号で説明されている方法とは異なる。本発明では検出反応を改善し、それぞれのブロックに関する計算要求を非常に削減したことが分かるであろう。
【００４７】
本発明を実行する際、好ましくは、アルファベットのそれぞれのシンボルに対して独自のＰＮシーケンスがある方がよい。検出器の出力が画像の８×８の部分画像ブロックで線形的に減少するので、この方法はクリッピングに対して比較的強い。ＡＰＳ（アナログ保護システム）及びＣＧＭＳ（複写生成管理システム）のための埋め込まれた信号のＤＶＤ（デジタル映像ディスク）に対して、全部で８あるいは１６個のＰＮシーケンスがある。
【００４８】
５１２×５１２画像の８×８ブロックの数は４０９６であり、１６シンボルのうちの一つ以上が画像あるいは映像フレームに埋め込まれていることを示している。例えば、画像の１２８シンボルのうちの一つを埋め込むことが望ましいと仮定する。すると、１２８の平行相関関係を実行することが必要となる。これは、計算上取り扱いやすいが、それぞれの相関関係のハードウェアの実行は非常に複雑になる。その代わりの方法としては、２つの２進シンボルを使用することだけが挙げられる。透かしを故意に除去することをより困難にするために、一つ以上のＰＮシーケンスを２つの２進シンボルあるいはビットのそれぞれに結合することは望ましい。この場合、たった２つだけ相関器があり、２進列が画像に埋め込まれる。低いビットエラー率は、検出器の出力が低くなるので非常に高くなる。しかしながら、これは、リード・ソロモン（ＲＳ）のようなエラー訂正コードを使用することによって容認できるレベルまで削減できる。ＲＳコードは、画像のクリッピングのために起こるバーストエラーに対して強い。その他のエラー訂正コードもまた使用できる。
【００４９】
この方法を使用する時、受信器は符号化されたブロックの開始位置を知ることが必要となる。画像がクリッピングされる時は特に、開始位置ははっきりしていない。しかしながら、従来の同期方法、例えば、空間的あるいは独自のシンボル、あるいはシンボルの列を有するそれぞれのブロックに先行させる方法は使用できる。
【００５０】
透かしを挿入するために、それぞれの８×８ブロックは個々の部分画像あるいは小区域として扱われる。小区域のＤＣＴが計算され、２次元的ＤＣＴが図５に示されているジグザグパターンでベクトル化されるが、その他のパターンも可能である。これらの２つの段階はほとんどの計算を構成するが、ＭＰＥＧ符号化処理の一部である。次に、ＰＮノイズシーケンス｛ｗ1 ．．．ｗn ｝が前のように数式１を使用してＤＣＴ係数に挿入される。ＰＮシーケンスの長さは、６４（８×８ブロック内）を越えることは出来ず、典型的には１１から２５の範囲と非常に短い。もし、単一のコードのみ画像に挿入されるべきであるなら、同じＰＮシーケンスが、７２０×４８０／６４＝５４００個のブロックのそれぞれに挿入される。しかしながら、手順の中におけるこの点でこの変形を行うことも可能である。それぞれのブロックの列内で、ＰＮシーケンスは、次のブロックに挿入する前に一つの周波数係数によって周期的に回転している。同様に、ＰＮシーケンスはそれぞれの新しい列の開始時の一つの周波数係数によって周期的に回転している。図６は回転の順序を示している。
【００５１】
これらの回転あるいはシフトの目的は、透かし抽出段階の反応を改良することである。初期の実験では、あるＤＣＴ係数は他のものより評価するのが難しいことが明らかになった。これらの係数の位置は画像から画像へと変化したからである。しかしながら、係数は画像内では一貫して不十分である。従って、シフティングなしで、一つ以上の評価される透かし係数は他の透かし係数と比較してひじょうに質が低下し、それによって、検出器の性能も落ちる。反対に、シフティングが効果を非常に減少させ、不十分なＤＣＴ係数が単一の透かし係数を有し、検出器に性能が目立って向上する。いかなる周期的なパターンでも使用できることは注目すべきである。
【００５２】
一度透かしの回転が行われると、更に修正が有効になる。始めに、透かしの長さが６４以上とかなり長くなる。それから、それぞれのブロックに対して、透かし係数（５）の小さな部分集合のみ最初の５つのＤＣＴ係数（ｄ．ｃ．項は除く）に挿入される。回転のために、透かしの異なった部分集合が近接している８×８ブロックに挿入される。最後に、透かしの挿入が完了して、ＭＰＥＧ符号器は次の圧縮段階に進むことが可能となる。
【００５３】
透かしが、透かしの歪みを削減するＭＰＥＧ量子化段階の後に挿入されることは注目すべきである。ＭＰＥＧ−２は“ジグザグ”と呼ばれる便利な位置次元のベクトル化を実行し、これによって、簡単な３×１ボックスの平均が係数（ｄ．ｃ．項を除く）上で実行されることが可能となる。
【００５４】
実際、図７に示されているように、もし２次元周波数係数に関連した４つの周波数係数のうち、ｄ．ｃ．項に最も近い周波数係数を使用して平均化が実行されるのであれば、性能は改良される。
【００５５】
透かしの検出は、まず、数式１を使用してそれぞれの８×８ブロックからＰＮシーケンスを抽出することから始まる。それぞれのブロックに対して、ＰＮシーケンスは、一つの周波数係数によって周期的に反対の方向にシフトされ、全てのブロックに亘る平均は算出される。実際、このプロセスはインクリメンタルに計算され、全ての抽出された透かしの一時的な蓄積は必要としない。荷重が、共通の信号変換、例えば、低通過フィルタリングに対する感度に基づいて決定される場合、荷重された平均化もまた使用される。最後に、平均透かしは、相関関係によって本来のＰＮシーケンスと比較される。行方向に透かしをシフトする理由を明らかにする。もし、画像が任意のブロックの境界でクリップされたら、計算された平均透かしは、単に、クリップされた画像の一部の相対的な位置の関数の量だけ回転するであろう。相関関係は、透かしの全ての置換（基本的には１１から２５）で行われる。最大値を有する相関器からの出力は、決定するために使用される。抽出段階は図４に示されている。透かしの全回転に関する最大相関器出力を得ることによってノイズを含んだ回路構成を決定がなされる。これを改善するために、透かしは２つの部分に分けられ、同期部分が長さがＫで、照合部分はＮ−Ｋである。それから、透かしは以前のように抽出され、相関関係はまず、この透かしの同期部分の全ての回転においてのみ実行される。最大相関出力が記録され、透かしの照合部分は対応する量だけ回転し、第２の相関関係は透かしの照合部分で実行される。この方法は、システムの全体の信頼性を非常に向上させる。実験中に、いくつかの透かしが、同じ画像上の他のものより良く行われていることに気付く。これは、透かしの同期部位及び照合部位の間の相関関係の統計値が変化することによる。理想的に言えば、２つの部位は非常に低い相関関係であるべきである。しかしながら、透かしが良く状態で行われていないいくつかの場合において、２つの部位間の予想外の相関関係を見つけることになる。
【００５６】
本発明は、本来のデータが透かし抽出を必要され、それにより、透かし処理された、あるいは本来のデータがなくても透かし抽出が可能となる電子透かしの方法に修正を加える。本発明は、好ましくはＭＰＥＧ／ＪＰＥＧ係数を使用する方がよい。画像は典型的な８×８ブロックの部分画像あるいは小区域に分けられ、それぞれの部分画像は処理され、そして抽出された透かしを派生するために結合される。その結果、透かしの抽出は非常に高い信頼性を有することになる。
【００５７】
上記の発明は、従来例のＩＮＳＥＲＴ−ＷＨＯＬＥ、ＩＮＳＥＲＴ−ＭＰＥＧ−Ａ、ＥＸＴＲＡＣＴ−ＷＨＯＬＥ、ＥＸＴＲＡＣＴ−ＭＰＥＧ−Ａのアルゴリズムに対する改良を説明しているが、画像データに透かしを挿入したりそれを抽出したりするために同じ改良がどのようなアルゴリズムにでも使用されることは当業者には明らかである。本発明のこれについてのより一般的な見解は図８及び９に示されている。
【００５８】
図８は、透かしを挿入するための一般的な方法の概略ブロック図を示している。この一般的な方法は、非ブロック性の透かし挿入アルゴリズムを利用しており、このアルゴリズムは、以後“基本挿入アルゴリズム”と称する。透かし符号器８０は透かしを基本挿入アルゴリズムに対する適当な形状に変換する。もし、基本挿入アルゴリズムが、例えば図１に示されているものであれば、透かし符号器８０は透かし符号器１９に対応して、エラー訂正符号器１０，ＰＮマッピング器１１及びスペクトル変換器１２を有する。しかしながら、もし、異なった基本挿入アルゴリズムが使用された場合、透かし符号器８０は異なった透かしの変換を行うであろう。符号器８０からの符号化された透かし信号は透かしセグメンター８１に入力され、透かしセグメンター８１は透かしを一組の部分透かしに分割する。本来の透かしのいかなる部分も結果として得られるいくつかの部分透かしに余分に見える。透かし処理されるデータはデータセグメンター８２に入力され、データセグメンター８２はデータを小区域に分割する。それぞれの部分透かしは、透かし挿入器８３ａ、８３ｂ等によってそれぞれのデータ小区域に挿入される。透かし挿入器は基本挿入アルゴリズムを実行するので、もし基本挿入アルゴリズムが図１に示されているものであれば、それぞれの透かし挿入器８３ａ、８３ｂ等は透かし挿入器１８に対応し、スペクトル変換器１３、スペクトル整形器１４、遅延器１５、合算器１６及び逆変換器１７を有する。しかしながら、もし、異なった基本挿入アルゴリズムが使用されるべきであるなら、透かし挿入器８３ａ、８３ｂ等は、透かしを透かし処理されるデータの小区域に挿入する異なった方法を用いるであろう。透かし挿入器からの出力は、透かし処理されたデータを与えるためにデータ結合器８４に組み込まれる。
【００５９】
図９は対応する一般的な抽出アルゴリズムの概略ブロック図を示している。アルゴリズムは、“基本抽出”アルゴリズムを利用し、これは透かしを透かし処理されるデータに挿入する（図８）際に使用される基本挿入アルゴリズムに対応している。図９のアルゴリズムは、、実質的には図４に示されているアルゴリズムと同じであるが、一般的な場合、スペクトル正規化器４１ａ等が透かし抽出器９１ａと置き代わっており、これが基本抽出アルゴリズムを実行する。即ち、もし使用されている基本挿入アルゴリズムが図１に示されているアルゴリズムであるならば、図９の透かし抽出器９１ａ等は図４のスペクトル正規化器４１ａとなる。
【００６０】
ここまで、データの透かし処理されていないものを使用せずに、透かしを挿入及び透かし処理されたデータから透かしを抽出するシステムについて説明してきたが、本発明の原理及び教えから逸脱することなく変形及び修正が可能であることは当業者には明らかである。
【図面の簡単な説明】
【図１】透かし挿入手順の概略ブロック図である。
【図２】本発明の教えによる透かし挿入手順の概略ブロック図である。
【図３】透かし抽出手順の概略ブロック図である。
【図４】本発明の教えによる透かし抽出手順の概略ブロック図である。
【図５】部分画像をベクトル化するために有用なジグザグパターンを図示したものである。
【図６】ＰＮシーケンスの回転を図示したものである。
【図７】平均化された期間の空間的関係を示した８×８ブロックを図示したものである。
【図８】本発明による透かしを挿入するための方法の概略ブロック図である。
【図９】本発明による透かしを抽出する方法の概略ブロック図である。
【符号の説明】
１０  エラー訂正符号器
１１  ＰＮマッピング器
１２  スペクトル変換器
１３  スペクトル変換器
１４  スペクトル整形器
１５  遅延器
１６  加算器
１７  逆変換器
１８  透かし挿入器
１９  透かし符号器
２０  エラー訂正符号器
２１  ＰＮマッピング器
２２  スペクトル変換器
２３  透かしセグメンター
２４  データセグメンター
２５ａ  透かし挿入器
２５ｂ  透かし挿入器
２５ｉ  透かし挿入器
２６  データ結合器
３０  スペクトル正規化器
３１ａ  相関器
３１ｂ  相関器
３１ｉ  相関器
３２  決定回路
３３  エラー訂正器
４０  データセグメンター
４１ａ  スペクトラム正規化器
４１ｂ  スペクトラム正規化器
４１ｉ  スペクトラム正規化器
４２  透かし結合器
４３  シンボル分離器
４４ａ  透かし識別器
４４ｂ  透かし識別器
４４ｉ  透かし識別器
４５  シンボル結合器
４６  エラー訂正器
８０  透かし符号器
８１  透かしセグメンター
８２  データセグメンター
８３ａ  透かし挿入器
８３ｂ  透かし挿入器
８３ｉ  透かし挿入器
８４  データ結合器
９１ａ  透かし抽出器
９１ｂ  透かし抽出器
９１ｉ  透かし抽出器
【図１】
0003880162.tif 000004
【図２】
0003880162.tif 000005
【図３】
0003880162.tif 000006
【図４】
0003880162.tif 000007
【図５】
0003880162.tif 000008
【図６】
0003880162.tif 000009
【図７】
0003880162.tif 000010
【図８】
0003880162.tif 000011
【図９】
0003880162.tif 000012