(57)【特許請求の範囲】
【請求項１】
情報マテリアルに埋め込まれたデータを検出して、再生するデータ検出及び再生装置において、
上記データは、該データによって所定のデータシーケンスを変調して変調データを形成し、該変調データと上記情報マテリアルとを結合させることにより、該データと該情報マテリアルのうちの少なくとも１つの変換領域における表現を用いて、該情報マテリアルに埋め込まれており、
上記情報マテリアルを、該情報マテリアルの変換領域における表現に変換する変換プロセッサと、
上記情報マテリアルの変換領域における表現から上記変調データを再生する変換領域のデータシンボルと、上記所定のデータシーケンスの再生されたバージョンとの相関を求めて相関出力信号を形成し、該相関出力信号から上記埋め込まれたデータを再生する相関プロセッサとを備え、
上記相関プロセッサは、上記変換領域のデータシンボルの相対的にシフト可能な複数の開始位置において、該変換領域のデータシンボルと上記所定のデータシーケンスのデータシンボルとの相関を求め、該変換領域のデータシンボルのシフトにより、該変換領域のデータシンボルが損失又は破損する場合、上記相関における該所定のデータシーケンスから対応するデータシンボルを除外し、上記失われた又は破損された変換領域のデータシンボル及び上記所定のデータシーケンスの対応するデータシンボルを、上記相関出力信号の算出に含まないことを特徴とするデータ検出及び再生装置。
【請求項２】
上記複数の開始位置は、上記変調データが上記データシンボルに結合された元の位置からの上記変換領域のデータシンボルの複数のシフト可能な位置を表していることを特徴とする請求項１記載のデータ検出及び再生装置。
【請求項３】
上記可能なシフトは、上記変換領域のテータシンボルの整数のシフトに対応することを特徴とする請求項２記載のデータ検出及び再生装置。
【請求項４】
上記開始位置のいずれが最大の大きさの相関出力信号を出力するかに基づいて、上記情報マテリアルがシフトされた量を検出する制御プロセッサを更に備え、
上記開始位置は、その後、上記相関出力信号に基づいて上記埋め込まれたデータを検出して、再生するために用いられることを特徴とする請求項１乃至３のいずれか１項記載のデータ検出及び再生装置。
【請求項５】
上記情報マテリアルを表すデータシンボルを、該情報マテリアルのデータシンボルの第１の数だけシフトすることによって、上記情報マテリアルの変換領域における表現のデータシンボルは第２の数だけシフトされ、
上記変換領域のデータシンボルと上記所定のデータシーケンスとの相関における上記複数の開始位置が、上記情報マテリアルのデータシンボルの対応する複数の整数のシフトを表すという意味で、上記第１及び第２の数に基づいて決定された量だけ該情報マテリアルをシフトする制御プロセッサを更に備える請求項１乃至４のいずれか１項記載のデータ検出及び再生装置。
【請求項６】
上記複数の開始位置における上記変換領域のデータシンボルとの相関は、上記シフトによって及び該シフトによらずに、実行されることを特徴とする請求項５記載のデータ検出及び再生装置。
【請求項７】
上記第１及び第２の数は、それぞれ２と１であり、上記情報マテリアルを１データシンボル分だけシフトし、上記変換領域における上記各開始位置は、該情報マテリアルのデータシンボルの奇数のシフトに対応することを特徴とする請求項５又は６記載のデータ検出及び再生装置。
【請求項８】
上記制御プロセッサは、上記開始位置のいずれかと、上記情報マテリアルのシフトされたバージョン及びシフトされていないバージョンのいずれかとが最高の値の相関出力信号を出力するかに基づいて、上記情報マテリアルがシフトされた量を検出することを特徴とする請求項６又は７記載のデータ検出及び再生装置。
【請求項９】
上記所定のデータシーケンスは、擬似ランダムビットシーケンスであり、上記データシンボルは、ビットであることを特徴とする請求項１乃至８のいずれか１項記載のデータ検出及び再生装置。
【請求項１０】
上記変換領域は、複数のサブバンドを有し、上記変調データは、該複数のサブバンドの少なくとも１つに加えられ、
上記相関プロセッサは、上記サブバンドからの変換領域のデータシンボルと、上記所定のデータシーケンスから除外されたデータシンボル以外のデータシンボルとの相関を求めることを特徴とする請求項１乃至９のいずれか１項記載のデータ検出及び再生装置。
【請求項１１】
上記失われた変換領域のデータシンボルは、上記サブバンドの端部の所定の数のデータシンボルであることを特徴とする請求項１０記載のデータ検出及び再生装置。
【請求項１２】
上記変換は、離散ウェーブレット変換であり、上記変換された情報マテリアルのデータシンボルは、ウェーブレット係数であり、上記変調データの各データシンボルは、該ウェーブレット係数に加えられることを特徴とする請求項１乃至１１のいずれか１項記載のデータ検出及び再生装置。
【請求項１３】
上記データが埋め込まれている情報マテリアルは、ビデオ画像、オーディオ信号、ビデオ及び／又はオーディオ信号のいずれかであることを特徴とする請求項１乃至１２のいずれか１項記載のデータ検出及び再生装置。
【請求項１４】
請求項１乃至１３のいずれか１項記載のデータ検出及び再生装置によって検出され、再生されるデータを、情報マテリアルに埋め込むデータ埋込み装置において、
上記データによって所定のデータシーケンスを変調して、変調データを形成し、該変調データを、上記情報マテリアルの変換領域における表現と逆変換領域における表現のいずれかで該情報マテリアルと結合する結合プロセッサを備え、
上記結合プロセッサは、上記データを複数の変換領域のサブバンドの少なくとも１つに導入することによって、上記変調データを変換領域における表現内に形成し、該変調データは、上記サブバンドの両端部内の変換領域のデータシンボルを含む上記サブバンド内のデータシンボルに加えられていることを特徴とするデータ埋込み装置。
【請求項１５】
上記少なくとも１つのサブバンドは、上記変換領域において、一方の方向に空間周波数が低く、他方の方向に空間周波数が高いサブバンドであることを特徴とする請求項１４記載のデータ埋込み装置。
【請求項１６】
上記所定のデータシーケンスは、擬似ランダムビットシーケンスであり、該擬似ランダムビットシーケンスの各ビットは、バイポーラ形式で表されており、上記埋め込むデータで各ビットの符号を逆にすることによって、該擬似ランダムビットシーケンスのビットを変調し、該変調された擬似ランダムビットシーケンスを、上記サブバンドの各変換領域のデータシンボルに加えることを特徴とする請求項１４又は１５記載のデータ埋込み装置。
【請求項１７】
上記変換は、離散ウェーブレット変換であり、上記変調データを、上記サブバンドの両端部の間の各ウェーブレット係数に加えることを特徴とする請求項１４乃至１６のいずれか１項記載のデータ埋込み装置。
【請求項１８】
情報マテリアルに埋め込まれたデータを検出して、再生するデータ検出及び再生方法において、
上記データは、該データによって所定のデータシーケンスを変調して変調データを形成し、該変調データと上記情報マテリアルとを結合させることにより、該データと該情報マテリアルのうちの少なくとも１つの変換領域における表現を用いて、該情報マテリアルに埋め込まれており、
上記情報マテリアルの変換領域における表現を形成するステップと、
上記情報マテリアルの変換領域における表現から上記変調データを再生するための変換領域のデータシンボルと、上記所定のデータシーケンスの再生されたバージョンとの相関を求めて相関出力信号を形成するステップと、
上記相関出力信号から上記埋め込まれたデータを再生するステップとを有し、
上記変換領域のデータシンボルと所定のデータシーケンスの再生されたバージョンとの相関を求めて相関出力信号を形成するステップと、
上記変換領域のデータシンボルと上記所定のデータシーケンスのデータシンボルとの相関を求めるステップと、
上記変換領域のデータシンボルの相対的にシフト可能な少なくとも１つの開始位置において、上記相関を繰り返すステップと、
上記変換領域のデータシンボルのシフトにより、該変換領域のデータシンボルが損失又は破損する場合、上記相関における該所定のデータシーケンスから対応するデータシンボルを除外するステップとを有し、
上記失われた又は破損された変換領域のデータシンボル及び上記所定のデータシーケンスの対応するデータシンボルを、上記相関出力信号の算出に含まないことを特徴とするデータ検出及び再生方法。
【請求項１９】
請求項１４乃至１７のいずれか１項記載のデータ埋込み装置によって生成されたデータが埋め込まれた情報マテリアルを表す信号を格納した記録媒体。
【請求項２０】
データプロセッサにロードされたときに、該データプロセッサを請求項１乃至１３のいずれか１項記載のデータ検出及び再生装置、又は請求項１４〜１７のいずれか１項記載のデータ埋込み装置として動作させる、コンピュータで実行可能なインストラクションからなるコンピュータプログラム。
【請求項２１】
データプロセッサにロードされたときに、該データプロセッサに請求項１８記載のデータ検出及び再生方法を実行させる、コンピュータで実行可能なインストラクションからなるコンピュータプログラム。
【請求項２２】
請求項２０又は２１記載のコンピュータプログラムが記録された、コンピュータで読取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報マテリアルに埋め込まれているデータを検出及び再生する方法及び装置に関する。
【０００２】
ここで用いている情報マテリアルとは、１つ以上のビデオマテリアル、オーディオマテリアル、データマテリアルを含む。本明細書では、ビデオマテリアルは、静止画像及び動画像である。
【０００３】
【発明の背景】
ステガノグラフィ（Steganography）は、データをビデオマテリアル、オーディオマテリアル、データマテリアル等のマテリアルに、データがマテリアルの中で知覚できない方法で埋め込む技術分野のものである。
【０００４】
ウォータマークは、ビデオマテリアル、オーディオマテリアル、データマテリアル等のマテリアル内に埋め込まれたデータである。ウォータマークはマテリアル内において知覚可能でも知覚不可能であってもよい。
【０００５】
ウォータマークは、様々な目的で使用することができる。マテリアル所有者の知的財産権の侵害からマテリアルを保護したり、侵害を追跡する目的に用いることが知られている。例えば、ウォータマークはマテリアルの所有者を識別することができる。
【０００６】
ウォータマークは、マテリアルから取り除くのが困難だという点で“強固”であると言える。ウォータマークが強固であるということは、ウォータマークを除去、あるいはビデオ編集又は、蓄積及び／又は伝送のための圧縮等の正当な処理を行おうとして何らかの方法で処理されたマテリアルの出所を追跡するのに有用である。また、ウォータマークは、ウォータマークを除去又はマテリアルを処理しようとする試みを検出するのに有用な処理により、容易に損傷を受けやすいという点では「脆弱（fragile）」とも言える。
【０００７】
可視的なウォータマークは、例えば、顧客がインターネット上で画像を見て、それを購入したいか否かを決定することはできるが、顧客が購入しようとするウォータマークが付されていない画像へのアクセスはできないようにするのに有用である。ウォータマークは、画像を劣化させるが、顧客によってウォータマークを除去することができないことが好ましい。可視的なウォータマークは、それらが埋め込まれたマテリアルの出所を判別するのにも用いられる。
【０００８】
米国の特許番号５，９３０，３６９（コックス等（Cox et al））には、マテリアルを変換領域に変換し、データを変換領域の画像に加えることによって、ウォータマークを形成することが提案されている。画像と、これらの画像を変換領域に変換する離散ウェーブレット変換（Discrete Wavelet Transform）との具体例では、加えられるデータは、変換領域内に形成された複数のサブバンドのうちの１つのウェーブレット係数と変換領域において結合される。一般的に、加えられるデータは、擬似ランダムビットシーケンス（Pseudo Random Bit Sequence、以下、ＰＲＢＳという。）のような所定のデータシーケンスを変調するように配置されている。例えば、加えられるデータの各ビットは、ＰＲＢＳのコピーを変調するように配置されており、このコピーは、例えば変換領域の画像の１つのサブバンドに加えられる。その画像はその後、空間領域に逆変換される。
【０００９】
画像から埋め込まれたデータを検出し、再生することが望ましいときは、その画像を再び変換領域に変換して、サブバンドの変換係数と検出装置には既知である所定のデータシーケンスとの相関を求めることによって、埋め込まれているデータは、変換領域のサブバンドから再生される。ＰＲＢＳのようなデータシーケンスは、それ自体と一致するときは高い自己相関結果を呈し、それ自体をシフトした他の全てのものに対しては低い、あるいは理想的にはゼロの相関結果を呈する特性を有する。このように、埋め込まれているデータは、サブバンドのデータと所定のデータシーケンスとの相関を求めることにより、再生することができる。
【００１０】
【課題を解決するための手段】
本発明に係るデータ検出及び再生装置は、情報マテリアルに埋め込まれたデータを検出して、再生するデータ検出及び再生装置であって、データは、データと情報マテリアルのうちの少なくとも１つの変換領域における表現（以下、変換領域の画像ともいう）を用いて、所定のデータシーケンスを変調して変調データを形成し、変調データとマテリアルとを結合させることにより、マテリアルに埋め込まれている。このデータ検出及び再生装置は、マテリアルを情報マテリアルの変換領域の画像に変換する変換プロセッサと、変換領域の画像から変調データを生成する変換領域のデータシンボルと所定のデータシーケンスの再生されたバージョンとの相関を求めて相関出力信号を形成し、相関出力信号から埋め込まれたデータを再生する相関プロセッサとを備える。相関プロセッサは、変換領域のデータシンボルの相対的にシフト可能な複数の開始位置において、変換領域のデータシンボルと所定のデータシーケンスのデータシンボルとの相関を求める。開始位置は、変換領域のデータシンボルの相対的に可能なシフトの少なくとも１つを表しており、変換領域のデータシンボルのシフトが変換領域のデータシンボルの損失又は破損を表している場合、相関の所定のデータシーケンスから、対応するデータシンボルを除外する。失われた又は破損された変換領域のデータシンボル及び所定のデータシーケンスの対応するデータシンボルは、相関出力信号の算出に含まれない。
【００１１】
画像等の情報マテリアルは、ある形式から他の形式に変換され、例えば、圧縮符号化及び復号化される。このように画像を処理した結果、変換領域又は空間領域で画像がシフトされ、その結果、変換領域のデータシンボルの一部が損失し又は破損されることがある。更に、変換領域のデータが元の位置からシフトされると、変換領域のデータシンボルと再生された所定のデータシーケンスとの相関から埋め込まれたデータを検出することは不可能になる。これは、所定のデータシーケンスは、変換領域に加えられた変調されたバージョンと一致しないためである。そのシフト量は不可知である。
【００１２】
一般的に、先の提案では、埋め込まれるデータを変換領域のある中心の場所のみに加え、データが加えられない両端部を数ピクセル分空けておく。この先の提案は、画像がシフトされた場合に、画像の両端部にあるデータが損失又は破損されるという問題点を克服した。しかしながら、データを埋め込むための各変換領域の画像のスペースが減少してしまうという問題がある。
【００１３】
本発明の実施の形態は、変換領域全体を利用することができ、これにより、データを埋め込むスペースが増加する。このデータを検出、再生するために、データは、所定のデータシーケンスとともに変換領域に加えられ、埋め込まれるデータの各データシンボルは、所定のデータシーケンスのコピーを変調する。データを検出して、再生する装置では、埋め込まれたデータシンボルは、それぞれ、変換領域のデータシンボルと所定のデータシーケンスの再生されたバージョンとの相関を求めることにより再生される。相関は、変換領域内で、複数の開始位置のそれぞれで繰り返され、少なくとも１つの開始位置は、変換領域のデータシンボルの可能なシフトを表している。相関の開始位置が、相関変換領域のデータシンボルに導入された実際のシフトを表す開始位置を含んでいれば、変換領域のデータシンボルがシフトされても、埋め込まれたデータは、相関出力信号から再生されることもある。
【００１４】
特定の開始位置に対応する変換領域の中のデータのシフトが、変換領域のデータシンボルの損失又は破損を表している場合、例えば変換領域の両端部において、損失又は破損された変換領域のデータシンボルに対応する所定のデータシーケンスからのデータシンボルは、相関から除外される。したがって、損失又は破損された変換領域のデータシンボルと所定のデータシーケンスの対応するデータシンボルは、相関出力信号の計算には含まれない。したがって、変換領域のデータシンボルの数は、所定のシーケンスの再生されたバージョンから差し引いた対応するデータシンボルの数でもあり、所定のシーケンスの相関バージョンのデータシンボルと変調データを形成する所定のシーケンスのシンボルとが常に一致する。
【００１５】
したがって、好ましい実施の形態では、複数の開始位置は、変調データがデータシンボルと結合された元の位置からの変換領域のデータシンボルの複数の可能なシフトを表している。
【００１６】
情報マテリアルの変換により、変換領域の画像の一方の端部のデータシンボルが損失され、また、他方の端部のデータシンボルが破損されることがある。したがって、相関を求める際に、従来は、これらのデータシンボルを含めて相関を求めていたが、再生されたデータシンボルの対応するデータシンボルは、相関の加算から除外される。相関を求めるときにこれらのデータシンボルを差し引くことにより、これらの損失又は破損されたであろうデータシンボルが崩壊するのを防ぎ、また、これにより、データを埋め込むための変換領域において、データを埋め込むスペース全体を用いることができる。
【００１７】
データシンボルの数だけ情報マテリアルをシフトすると、変換領域におけるデータシンボルの対応する数のシフトが行われるが、シフトが、情報マテリアルの変換されていない領域とは異なる、変換領域で行われるシフトとなる場合がある。したがって、情報マテリアルをマテリアルのデータシンボルの第１の数だけシフトすることによって、変換領域のデータシンボルの第２の数だけシフトされる。このため、本発明に係るデータ検出及び再生装置は、変換領域のデータシンボルと所定のデータシーケンスとの相関の複数の開始位置が、変換されていない領域において、情報マテリアルの整数のシフトを含むという意味で、第１及び第２の数に基づいて決定された量だけ情報マテリアルをシフトする制御プロセッサを備える。変換領域に変換される前に情報マテリアルをプレシフトすることによって、変換領域のデータシンボルの数の異なるシフトに対応する開始位置が、情報マテリアルのデータシンボルの整数のシフトと一致することになる。
【００１８】
離散ウェーブレット変換を用いてウェーブレット変換領域に変換する画像等の情報マテリアルの実施の形態を考慮すると、画像を２ピクセル分のシフトすることによって、ウェーブレット変換領域の１つのウェーブレット係数のシフトが生じる。このように、レベル１のウェーブレットのための０、１、２、３つのウェーブレット係数のシフトが、画像の０、２、４、６ピクセル分のシフトと一致する。しかしながら、空間領域の画像が、１ピクセル分だけシフトされることがあり得る。このように、変換領域の相関の開始位置を１ウェーブレット係数分だけシフトすると、変換領域の画像の実際のシフトと一致しない。したがって、相関出力信号は、データが再生されるのに十分な大きさではないことがある。しかしながら、画像を１ピクセル分プリシフトすることによって、０、１、２、３つのウェーブレット係数の変換領域のシフトが、画像に導入された実際のシフトを含む１、３、５及び７ピクセルと一致する。
【００１９】
好ましい実施の形態では、変換領域は複数のサブバンドを有し、変調データは少なくとも１つのサブバンドに加えられ、相関プロセッサは、変調データと、除外されたデータシンボル以外の所定のデータシーケンスとの相関を求める。
【００２０】
画像をサブバンドに変換するのにいかなる変換が用いられてもよいことは言うまでもないが、好ましい実施の形態では、変換は離散ウェーブレット変換（ＤＷＴ）であり、各サブバンドのデータシンボルは、ウェーブレット係数からなる。
【００２１】
本発明の実施の形態は、データをいかなる情報マテリアルからも検出し、再生する実施の形態に適用されるが、特に、ビデオ画像又はオーディオ信号に埋め込まれているデータを検出し、再生する実施の形態に適用される。
【００２２】
本発明の第２の実施の形態であるデータ検出及び再生装置は、情報マテリアルに埋め込まれたデータを検出して、再生するデータ検出及び再生装置において、データは、埋め込まれるデータによって所定のデータシーケンスを変調して変調データを形成し、変調データと情報マテリアルとを結合させることにより、情報マテリアルに埋め込まれている。このデータ検出及び再生装置は、データシーケンスプロセッサとともに動作し、相関データシーケンスを形成する相関プロセッサと、相関プロセッサの制御下で動作し、変調データが結合された情報マテリアルのデータシンボルと相関データシーケンスとの相関を求め、情報マテリアルのデータシンボルと相関データシーケンスとの相関を表す相関出力信号を形成し、相関出力信号から埋め込まれたデータを再生するデータプロセッサとを備える。相関データシーケンスは所定のデータシーケンスの複数のバージョンを備え、各バージョンは情報マテリアルから埋め込まれたデータを再生するための所定のデータシーケンスの複数のバージョンの可能な形式を表す。
【００２３】
情報マテリアルを表すデータは、ある形式から他の形式に変換され、例えば、圧縮符号化及び復号化される。画像が処理される他の実施の形態は、変換処理を用いて画像が他の形式に変換される例である。このような変換は、例えば、離散ウェーブレット変換、離散フーリエ（Discrete Fourier）又はコサイン変換（Cosine Transform）であってもよい。マテリアルを処理した結果、特に変換領域において、マテリアルを表すデータがシフトされる。
【００２４】
変換領域からの変調データと復号データプロセッサに知られている所定のデータシーケンスとの相関を求めることにより、埋め込まれたデータを再生しようとする場合、埋め込まれたデータを検出することは不可能になる。これは、変換領域でのデータがシフトされたため、所定のデータシーケンスは、所定のデータシーケンスの変調されたバージョンと一致しないためである。このように、サブバンドにおいてデータがシフトされると、相関の所定のデータシーケンスとサブバンドにおけるデータシーケンスの変調されたバージョンとの間の対応する相対的なシフトが行われる。相関出力信号は、低いか、ゼロであるため、データが正確に検出されるのを防止する。
【００２５】
同様に、情報マテリアルに埋め込まれて結合されるデータによって変調される所定のデータシーケンスは、所定のデータシーケンス群のうちの１つであってもよい。データを情報マテリアルに埋め込むために用いられた所定のデータシーケンスは、復号器では知られていない。
【００２６】
本発明の実施の形態では、所定のデータシーケンスの複数のバージョンを有する相関データシーケンスを生成することによって埋め込まれたデータを正確に検出する尤度が改良されている。各バージョンは、等しい所定のデータシーケンスであるが、互いにシフトされていてもよい。各シフトにより、変換領域におけるこのバージョンとデータシーケンスの変調されたバージョンとの間にシフトがない変換領域でのマテリアルデータの可能な相対的なシフトが生じる。相関の結果、高い出力信号の値が生じ、これは所定の閾値と比較して、埋め込まれたデータシンボルを示していることを意味する。相関データシーケンスにおける所定のデータシーケンスのその他全てのバージョンは、低いか、又はゼロの相関出力信号が生じ、この場合、埋め込まれたデータシンボルは検出されない。これは、ＰＲＢＳ等の所定のデータシーケンスが、ＰＲＢＳのもう一方のシフトされたバージョンが、所望の信号との相関に関するノイズを表すという相関特性を有しているためである。したがって、相関出力信号が、他のシフトされたバージョンに対して十分に高い場合、埋め込まれたデータシンボルは、変換領域のデータシンボルがシフトしても、変換領域のデータシンボルから検出される。一般に、相関データシーケンスのシフトされたバージョンのいずれが、埋め込まれたデータの所定のデータシーケンスと一致するかを知る必要はない。
【００２７】
好ましい実施の形態において、所定のデータシーケンスのバージョンの数は、変調された所定のデータシーケンスの可能な相対的なシフトの数と等しく、所定のデータシーケンスの複数のバージョンは、互いにシフトされており、各シフトは、変調データのデータシンボルが変換領域においてシフトされた考えられるシンボルの数を表す。
【００２８】
他の実施の形態では、変調データを形成するために用いられる所定のデータシーケンスは所定のデータシーケンス群のうちの１つであり、相関データシーケンスの所定のデータシーケンスの各バージョンは、変調データを形成するために用いられたと考えられる所定のデータシーケンスの可能なセットの中のそれぞれ異なる所定のデータシーケンスである。データを埋め込むために用いられた所定のデータシーケンスと一致する所望の所定のデータシーケンスは、埋め込まれたデータが再生される相関結果を生み、他のシーケンスはノイズを形成する。したがって、データを埋め込むのに所定のデータシーケンスのいずれが用いられたかを知ることなしに、埋め込まれたデータを再生する。
【００２９】
好ましい実施の形態において、相関データシーケンスは、所定のデータシーケンスのバージョンを選択し、選択した所定のデータシーケンスのバージョンの極性を反転した後、結合することによって形成される。選択した所定のデータシーケンスのバージョンの極性を反転することによって、例えば所定のデータシーケンスのバージョンの極性を交互に反転することによって、所定のデータシーケンスの所望のバージョンに関して、所望しないバージョンの干渉を低減することができる。
【００３０】
前述の説明から明らかなように、好ましい実施の形態では、所定のデータシーケンスはＰＲＢＳである。したがって、相関データシーケンスは、互いにシフトされた複数のＰＲＢＳのバージョンを有する。
【００３１】
好ましい実施の形態において、データは、情報マテリアルの変換領域の画像における情報マテリアルと結合される。その結果、例えば、データシンボルが変換領域のデータシンボルと結合した影響が、複数の情報マテリアルのデータシンボルに広がり、これにより、情報マテリアルに対するいかなる知覚可能な影響も低減することができる。いかなる適切な変換を用いることができるが、好ましい実施の形態では、変換は離散ウェーブレット変換であり、変換領域のデータシンボルは、ウェーブレット係数からなる複数のサブバンドのそれぞれに分割されており、データは、サブバンドのうちの少なくとも１つに加えられる。
【００３２】
データが埋め込まれた情報マテリアルは、いかなる形式又は種類のマテリアルでもよいが、好ましい実施の形態では、情報マテリアルは、ビデオマテリアル、オーディオマテリアル、ビデオ及び／又はオーディオマテリアルのいずれかである。
【００３３】
本発明の様々な更なる構成及び特徴は、添付の請求の範囲において定められる。
【００３４】
【発明の実施の形態】
本発明の実施の形態を、ビデオ画像にデータを埋め込むウォータマーキングシステムを参照して説明する。どのような種類のデータでも画像に埋め込むことができる。なお、都合が良いことに、画像に埋め込まれたデータは、画像を表し、又は画像自体のコンテンツの属性を識別するメタデータであってもよい。メタデータの例としては、ユニバーサルマテリアル識別子（Universal Material Identifier：ＵＭＩＤ）がある。ＵＭＩＤ用の提案されている構造は、２０００年３月号のＳＭＰＴＥジャーナルに記載されている。ＵＭＩＤの構造の詳細について後述する。
【００３５】
ウォータマーキングシステム
図１は、ウォータマーキングシステムの構成を示すブロック図であり、ウォータマーキングシステム１０は、ウォータマークをビデオ画像１１５内に埋め込み、ウォータマーク付き画像１２５からウォータマークを再生及び除去する。ウォータマーキングシステム１０は、図１に示すように、ウォータマークをビデオ画像に埋め込む画像プロセッサ１００と、ウォータマークを検出及び再生するとともに、ウォータマーク付きビデオ画像１２５からウォータマークを除去、すなわち「洗浄（washing）」する復号画像プロセッサ１０２とを備える。
【００３６】
ウォータマークをビデオ画像に埋め込む画像プロセッサ１００は、強度アダプタ１８０と、ウォータマーク埋込み器１２０とを備える。ウォータマーク埋込み器１２０は、ウォータマークを、ソース１１０から生成されたビデオ画像１１５に埋め込むように構成され、ウォータマーク付き画像１２５を生成する。ビデオ画像に埋め込まれるウォータマークは、ＵＭＩＤを表すデータ１７５（以下、単にＵＭＩＤともいう。）から形成されている。一般的に、ＵＭＩＤは、ビデオ画像のコンテンツを識別する。なお、コンテンツ、又は画像の他の属性を識別する異なる種類のメタデータを、ウォータマークを形成するために用いることができることは明らかである。好ましい実施の形態では、ウォータマーク埋込み器１２０は、強度アダプタ１８０からの特別な適用強度１８５に基づいて、ＵＭＩＤをビデオ画像１１５に埋め込む。強度アダプタ１８０は、ビデオ画像１１５に対するウォータマークの強度を決定する。適用強度１８０は、ウォータマーク付き画像１２５を見る人に対する知覚可能な如何なる影響も最小限にしながら、ウォータマークを再生できるように決定される。ウォータマークを埋め込んだ後、画像は、伝送、蓄積、あるいは例えば画像を圧縮符号化する等の方法により更なる処理が施される。この後続する処理及び伝送は、図１においては線１２２として、概略的に示されている。
【００３７】
図１に示すように、ウォータマークを検出及び除去する復号画像プロセッサ１０２は、ウォータマークデコーダ１４０と、ストレージ１５０と、ウォータマーク付き画像１２５からウォータマークを除去するウォータマーク除去器１３０とを備える。
【００３８】
ウォータマークデコーダ１４０は、ウォータマーク付きビデオ画像からウォータマークを検出し、この具体例では、ウォータマーク付き画像１２５から再生ＵＭＩＤを生成する。ウォータマーク除去器１３０は、ウォータマーク付き画像１２５からできる限りウォータマークを除去することによって、再生画像１３５を生成する。ある具体例では、ウォータマーク除去器１３０は、画像から実質的に跡を残さずウォータマークを除去する機能を有す。そして、再生画像１３５は、ストレージ１５０に記憶され、後の処理のために伝送又はルーティングされる。
【００３９】
ウォータマーク埋込み器
ウォータマーク埋込み器１２０について、図２を参照しながら、さらに詳細に説明する。図２において、図１に示す同じ回路には、同じ符号を付している。図２に示すように、ウォータマーク埋込み器１２０は、擬似ランダムシーケンス発生器２２０と、エラー訂正符号発生器２００と、ウェーブレット変換器２１０と、逆ウェーブレット変換器２５０と、変調器２３０と、結合器２４０とを備える。
【００４０】
エラー訂正符号発生器２００は、ＵＭＩＤ１７５が供給され、エラー訂正符号化方式に基づいて、ＵＭＩＤと組み合わされた冗長データを有するエラー訂正符号化ＵＭＩＤ２３５を生成する。様々なエラー訂正符号化方式がＵＭＩＤを符号化するのに使われることは明らかである。
【００４１】
この具体例におけるＵＭＩＤは、３１バイトのバイナリシーケンスである。例えば、ＢＣＨ（Bose-Chaudhuri-Hocquenghem）コードを適用することによって、３１バイトのＵＭＩＤは、５１１ビットの符号化バイナリシーケンス２０５に変換される。このようなＢＣＨコードワードによって、３１ビットまでのエラーを訂正することができ、より多くのエラー、例えばクラスタエラー又はバーストエラーを検出することができる。
【００４２】
図２に示すように、エラー訂正符号化ＵＭＩＤ２０５は、変調器２３０の第１の入力端子に供給される。擬似ランダムシーケンス発生器２２０は、ＰＲＢＳ２２５を出力し、ＰＲＢＳ２２５は変調器２３０の第２の入力端子に供給される。変調器２３０は、擬似ランダムシーケンス発生器２２０によって発生されたＰＲＢＳ２０５の各コピーを、エラー訂正符号化ＵＭＩＤ２０５の各ビットで変調する。好ましい実施の形態では、ＰＲＢＳ２２５は、ＰＲＢＳの各ビットをバイポーラ形式（「１」が＋１、「０」が−１）で表し、エラー訂正符号化ＵＭＩＤ２０５の対応するビットが「０」のときは、ＰＲＢＳ２２５の各ビットの極性を反転し、対応するビットが「１」のときは極性を反転しないことにより、変調される。そして、変調ＰＲＢＳ２３５は、結合器２４０の第１の入力端子に供給される。結合器２４０には、第２の入力端子を介してビデオ画像が供給され、ＰＲＢＳの変調されたデータがビデオ画像１１５に埋め込まれる。なお、変調ＰＲＢＳ２３５、すなわちＰＲＢＳの変調されたデータは、変換領域において画像と結合される。
【００４３】
ウォータマークのデータを表す拡散スペクトラム信号を発生する擬似ランダムシーケンス発生器２２０を用いることによって、画像に埋め込まれるデータの強度を低減すことができる。変調ＰＲＢＳ２３５が加えられた変換領域における画像のデータの相関を求めることにより、変調データビットを検出し、判定することができる所謂相関符号化ゲインを有する相関出力信号が、生成される。このようにして、画像に加えられるデータの強度を低減することができ、これによって、空間領域の画像上で知覚できる如何なる影響も低減することができる。また、拡散スペクトラム信号を用いることにより、データがより多くの変換領域のデータシンボルに拡散されるので、本来備わっている画像の強固性を向上させることができる。
【００４４】
図２に示すように、ウェーブレット変換器２１０は、ソース１１０からビデオ画像１１５が供給され、ウェーブレット画像２１５を結合器２４０に出力する。したがって、ウェーブレット画像２１５は、空間領域からウェーブレット変換領域（以下、単に変換領域ともいう）に変換されている。結合器２４０は、強度アダプタ１８０から供給される適用強度１８５に基づいて、ＰＲＢＳの変調されたデータ、すなわち変調ＰＲＢＳ２３５をウェーブレット変換領域における表現（以下、変換領域の画像ともいう）に加える。そして、ウォータマーク付きウェーブレット画像２４５は、ウォータマーク付き画像１２５を生成するために、逆ウェーブレット変換器２５０により空間領域に変換される。結合器２４０の動作については、後で詳しく説明する。
【００４５】
本発明の実施の形態の説明のために、図３、４を参照し、以後の段落においてウェーブレット変換を簡単に説明する。
【００４６】
ウェーブレット変換
ウェーブレットはよく知られており、例えば、１９９９年発行、シー・バイレンス著「本当に親しみやすいウェーブレットのガイド（A Really Friendly Guide to Wavelets）」（C Valens, 1999，（http://perso.wanadoo.fr/polyvalens/clemens/wavelets/wavelets.html）にて入手可能）に記載されている。バイレンスは、各反復において係数２により画像をスケーリングする、サブバンドコーディングにおいて用いられる反復フィルタバンクとして、離散ウェーブレット変換を行うことができることを示している。
【００４７】
すなわち、図３に示すように、空間領域の画像に、ハイパスフィルタ及びローパスフィルタのセットを適用する。フィルタリングの第１段階であるレベル１において、画像を水平及び垂直方向にフィルタリングし、各方向において係数２でスケールダウンする。レベル２では、レベル１からのローパス画像をフィルタリングし、レベル１と同様にしてスケーリングする。続くレベル３以降では、フィルタリング及びスケーリングを繰り返す。
【００４８】
図４に結果を概略的に示す。図４は、当該技術分野における通常の表現である。水平軸Ｈは、サブバンドの周波数が高くなることを示している。レベル１において、画像を空間的にフィルタリングし、水平及び垂直低域バンドｌＨ１ｌＶ１と、水平高域バンドｈＨ１ｌＶ１と、垂直高域バンドｌＨ１ｈＶ１と、水平及び垂直高域バンドｈＨ１ｈＶ１の４つのバンドとする。レベル２では、水平及び垂直低域バンドｌＨ１ｌＶ１をフィルタリング及びスケーリングして、水平及び垂直低域バンドｌＨ２ｌＶ２と、水平高域バンドｈＨ２ｌＶ２と、垂直高域バンドｌＨ２ｈＶ２と、水平及び垂直高域バンドｈＨ２ｈＶ２とする。レベル３（図４では省略）において、水平及び垂直低域バンドｌＨ２ｌＶ２をさらにフィルタリング及びスケーリングする。
【００４９】
結合器
ここで、結合器２４０の動作について詳細に説明する。結合器２４０は、ウェーブレット変換器２１０からウェーブレット画像２１５が、変調器２３０から変調ＰＲＢＳ２３５が、強度アダプタ１８０から適用強度１８５が供給される。結合器２４０は、ビットの値にかかわらず、変調ＰＲＢＳ（以下、ウォータマークともいう）２３５の各ビットに、±１にスケーリングされた係数αを加えることにより、ウォータマーク２３５をウェーブレット画像２１５に埋め込む。ウェーブレット画像２１５の選択された部分がウォータマーク２３５を埋め込むため使用される。ウェーブレット画像２１５の所定の領域の各係数は、以下の式により、符号化される。
【００５０】
Ｘｉ’＝Ｘｉ＋αｎＷｉ  （１）
ここで、Ｘｉはｉ番目のウェーブレット係数であり、αｎはｎ番目の変調ＰＲＢＳに対する強度であり、Ｗｉはバイポーラ形式の変調ＰＲＢＳのｉ番目のビットである。
【００５１】
ここで、結合器２４０の動作について、図５、６、７を参照しながら、詳細に説明する。図５において、結合器２４０は、変換領域の画像をフレームストレージ２３６に供給する接続チャンネル２１６を介して変換領域の画像が供給される。フレームストレージ２３６は、変換領域のデータのフレームを記憶する。結合器２４０は、ＰＲＢＳ（変調ＰＲＢＳのデータ）を用いて拡張された後の、拡散スペクトラム符号化及びエラー訂正符号化されたＵＭＩＤ（以下、符号化ＵＭＩＤともいう）が供給される。この具体例において、このエラー訂正符号化及び拡散スペクトラム符号化された形式の１つのＵＭＩＤが、フレームストレージ２３６内のウェーブレット画像フレームに埋め込まれる。したがって、各符号化ＵＭＩＤは、ウェーブレット画像データの各フレームに埋め込まれるデータアイテムを形成する。このため、フレームストレージ２３６は、ウェーブレット変換領域の画像を表すデータのフレームを記憶する。埋め込まれるデータは、結合プロセッサ２３７に供給され、結合プロセッサ２３７は、埋め込まれるデータを、フレームストレージ２３６内に記憶されているウェーブレット画像、すなわちウェーブレット変換領域の画像の選択された部分に埋め込む。また、結合器２４０は、結合プロセッサ２３７に接続された制御プロセッサ２３８を備える。
【００５２】
図６は、一次ウェーブレット変換を示す図である。このウェーブレット変換は、ウェーブレット変換領域に変換され、フレームストレージ２３６に記憶されている画像のフレームを表している。ウェーブレット変換画像ＷＴ＿ＩＭＧは、画像が分割されたサブバンドを表す４つのウェーブレット変換領域を有する。ウェーブレットは、図３に対応してラベルが付してある。本発明の実施の形態では、埋め込まれるデータは、垂直周波数が低く、水平周波数が高いサブバンドｈＨ１１Ｖ１と、水平周波数が低く、垂直周波数が高いサブバンドｌＨ１ｈＶ１にだけ書き込まれる。
【００５３】
２つのサブバンドｈＨ１ｌＶ１、ｌＨ１ｈＶ１にだけデータを埋め込むことによって、埋め込まれたデータを検出できる可能性は高まり、一方、埋め込まれたデータが、得られる画像に及ぼす影響は、低減される。なぜならば、水平周波数が高く、垂直周波数も高いサブバンドｈＨ１ｈＶ１のウェーブレット係数は、例えば圧縮、符号化等によって乱される可能性があるからである。ＪＰＥＧ（Joint Photographic Experts group）のような圧縮符号化処理は、画像の高周波成分を削減することによって、画像を圧縮符号化する。したがって、このサブバンドｈＨ１ｈＶ１にデータを書き込むことにより、埋め込まれたデータを再生できる可能性は低減する。逆に、垂直周波数が低く、水平周波数も低いサブバンドｌＨ１ｌＶ１にも、データは書き込まれない。なぜならば、画像の低い周波数成分は、高周波数成分よりも、一般的に、より低いエネルギーを有するため、このサブバンドへのデータの書込みは、画像を一層の乱す効果をもたらすからである。したがって、垂直周波数が低く、水平周波数が低いサブバンド周波数へのデータ書き込みは、画像をより一層劣化させる効果をもたらす。妥協案として、データは、水平周波数が高く、垂直周波数が低いサブバンドｈＨ１ｌＶ１と、垂直周波数が低く、水平周波数が高いサブバンドｌＨ１ｈＶ１に加えられる。
【００５４】
本発明の実施の形態では、結合器２４０は、サブバンドの全ての周波数幅を用いて、データを埋め込む。
【００５５】
既に説明したように、空間又は変換領域で画像を処理する影響は、サブバンドのウェーブレット係数に対して、サブバンドの端部の係数が損失又は破損するという結果をもたらす。したがって、サブバンドは、ウェーブレット変換領域のデータシンボル（ウェーブレット係数）が再生できない領域を含んでいる。図７は、この問題を説明するために、従来提案されている配置を示す図であり、埋め込まれるデータユニットは、サブバンドの端部ＥＸ＿ＳＹＳのウェーブレット係数には書き込まれない、又は加えられない。なお、これにより、サブバンドのデータ容量が減ることになる。換言すると、埋め込まれるデータに加えることができるエラー訂正符号の容量が減ると考えられる。
【００５６】
したがって、図８に示すように、サブバンドの端部間の全てのウェーブレット係数を含むサブバンド全体を用いて、データを埋め込むようにする。そのために、拡散スペクトラム符号化データは、ボックスＰ＿ＳＥＱとして示されるウェーブレット係数に加えられる。なお、図８に示す配置と同様に、サブバンドの端部と破線と間の領域ＥＸ＿ＳＹＳで表される、サブバンドの端部の領域ＥＸ＿ＳＹＳ内のデータシンボルは、画像を処理又はシフトするために、損失したり、破損されたりするウェーブレット係数である。本発明の実施の形態は、サブバンドの端部の領域ＥＸ＿ＳＹＳ内でデータシンボルが損失又は破損されるにもかかわらず、埋め込まれたデータを再生するという問題を解決するものである。埋め込まれたデータの検出及び再生は、図１に示す復号画像プロセッサ１０２を構成するウォータマークデコーダ１４０によって行われる。
【００５７】
ウォータマークデコーダ
復号画像プロセッサで１０２内のウォータマークデコーダ１４０の動作について、図９を参照しながら、詳細に説明する。なお、図１と同じ回路には、同じ符号を付している。ウォータマークデコーダ１４０は、ウォータマーク付き画像１２５が供給され、ＵＭＩＤの再生バージョンを出力する。ウォータマークデコーダ１４０は、ウェーブレット変換器３１０と、擬似ランダムシーケンス発生器３２０と、相関器３３０と、エラー訂正デコーダ３５０とを備える。
【００５８】
ウェーブレット変換器３１０は、ウォータマーク付き画像１２５をウェーブレット変換領域に変換し、これによって、ウォータマークデータを再生することができる。そして、結合器２４０によって、ＰＲＢＳの変調されたデータ（以下、単にＢＲＢＳともいう）が加えられたウェーブレット係数は、ウェーブレット係数のサブバンドｈＨ１ｌＶ１、ｌＨ１ｈＶ１から読み出される。そして、これらのウェーブレット係数は、ウォータマーク埋込み器１２０において用いられた対応するＰＲＢＳとの相関がとられる。通常、相関は、以下の式（２）で表され、ここで、Ｘｎはｎ番目のウェーブレット係数であり、Ｒｎは、擬似ランダムシーケンス発生器３２０によって発生されたＰＲＢＳのｎ番目のビットである。なお、後述するように、幾つかの実施の形態では、ウェーブレットの全ての係数が、式（２）に基づいた相関の総和を生成するために用いられるものではない。
【００５９】
【数１】
0004094842.tif 000002
【００６０】
そして、相関Ｃｎの結果の相対的な符号は、ウォータマーク埋込み器１２０内でこのビットを表すのに用いられた符号に対応した埋込みデータのｎ番目のビットの値を示している。この方法で再生されたデータビットは、エラー訂正符号化ＵＭＩＤを表しており、エラー訂正符号化ＵＭＩＤは、エラー訂正デコーダ３５０により、エラー訂正符号発生器２００によって発生されたエラー訂正符号用の復号アルゴリズムを用いて、復号される。ウォータマーク除去器１３０において、再生ＵＭＩＤを用い、ウォータマーク埋込み器１２０において実行される動作と逆の動作を行うことにより、ウォータマークをビデオ画像から除去することができる。図９に示す相関器３３０の詳細について、図１０を参照して説明する。図９に示す回路と同じ回路には、同じ符号を付している。
【００６１】
図１０において、相関器３３０は、フレームストレージ３３１を備え、フレームストレージ３３１には、接続チャンネル３１５を介してウェーブレット変換された画像が供給される。フレームストレージ３３１は、ウェーブレット変換画像のフレームを記憶する。制御プロセッサ３３２は、フレームストレージ３３１からウェーブレット係数を選択し、選択したウェーブレット係数を相関プロセッサ３３４に供給する。制御プロセッサ３３２は、バッファ３３３も制御する。選択されたウェーブレット係数は、１つの変調ＰＲＢＳが加えられたとみなされるウェーブレット係数の連続的なセットである。バッファ３３２は、ＰＲＢＳ発生器３２０からＰＲＢＳが供給され、このＰＲＢＳを、制御プロセッサ３３２からタイミングチャンネル３３６を介して供給されるタイミング信号に同期して、出力する。相関プロセッサ３３４は、フレームストレージ３３１内の画像のＰＲＢＳを有するサブバンドから読み出されるデータシンボル（ウェーブレット係数）の相関を制御する。なお、埋め込まれたデータを再生するために、再生ＰＲＢＳは、サブバンドからの各ウェーブレット係数に加えられたＰＲＢＳの対応する変調バージョンに同期させなければならない。相関処理は、制御プロセッサ３３２の制御の下で、制御チャンネル３３７及びバッファ３３２を用いて、相関プロセッサ３３４によって実行される。
【００６２】
デコーダの第１の実施の形態
第１の具体例
制御プロセッサ３３２は、式（２）に基づくＰＲＢＳを有する、フレームストレージ３３１内の画像のサブバンドから読み出されるデータシンボル（ウェーブレット係数）の相関を制御する。なお、上述したように、画像は、ウェーブレット変換領域で行われたシフトの結果、空間領域においてもシフトされている。具体的には、ウェーブレット変換では、空間領域における画像の２ピクセル分のシフトは、レベル１のウェーブレット変換における１つのウェーブレット係数のシフトを生じさせる。したがって、ウェーブレット係数の０、±１、±２、±３のシフトは、空間領域における画像の０、±２、±４、±６ピクセル分のシフトとして現れる。なお、制御プロセッサ３３２は、画像の可能なシフトを調整するように構成されており、相関器３３０内のＰＲＢＳは、ウェーブレット係数に加えられた変調ＰＲＢＳに同期させることができる。相関器３３０の埋め込まれたデータを再生する動作について、図１１、１２、１３及び１４を用いて説明する。図１１において、ウェーブレット変換器３１０によって生成されたウェーブレット変換画像ＷＴ＿ＩＭＧ１は、例えばフレームストレージ３３１内で表される形式として、示されている。図１１における表現は、図８の表現に対応している。説明を単純にするために、水平周波数が高く、垂直周波数が低いサブバンドｈＨ１ｌＶ１のみを考える。なお、類似した方法により、垂直周波数が高く、水平周波数が低いサブバンドｌＨ１ｈＶ１から、データを再生することができることはいうまでもない。図１１に示すように、画像は左へのシフトＳＨＩＦＴを受け、その結果、サブバンドの左端部のウェーブレット係数ＬＳＴが失われている。
【００６３】
図１１に示すように、サブバンドの左側の端部のデータシンボルが失われているのに対して、サブバンドの右側の端部では、データシンボルは、シフトされた結果、破損又は少なくとも信頼することができない。なぜならば、右端部の係数は、画像に適用された処理の結果失われたサブバンド係数を補充するための変換により、効果的に導入されたためである。なお、明らかなように、ウェーブレット変換領域における画像の実際のシフト量は、相関器３３０では知ることができない。したがって、埋め込まれたデータをサブバンドから検出及び再生することができるように、サブバンドにおけるウェーブレット変換領域のデータのシフトを調整するために、相関プロセッサ３３４によって、相関処理が、ウェーブレット係数の可能なシフトを表す複数の開始位置から始まる連続したウェーブレット係数に対して、反復して実行される。各開始位置において、ＰＲＢＳが埋め込まれた複数のデータビットに対応するウェーブレット係数に相関させた結果の大きさを組み合わせることによって、組合せ相関結果を形成する。最大の組合せ相関結果をもたらす開始位置が、画像に導入された実際のシフトに対応するように、決定される。相関プロセッサ３３４と連携した制御プロセッサ３３２の動作を、図１２、１３、１４に概略的に示す。
【００６４】
図１２の上段は、図１１に示す水平周波数が高く、垂直周波数が低いサブバンドｈＨ１ｌＶ１の先頭部を拡大して示す図である。図１２において、セクション４００、４０２、４０４、４０６が、ＰＲＢＳの変調バージョンが加えられたウェーブレット係数を表している。２つのセクション４０２、４０６の左端部のハッチングが付された領域ＬＳＴは、シフトの結果により失われたウェーブレット係数を表している。セクション４０４の右端部の影が付された係数が変調された領域ＵＮＲは、信頼性がない係数を表している。完全な各セクション、例えば第２のセクション４０２は、変調ＰＲＢＳが加えられた一連のウェーブレット係数を表している。ウェーブレット係数のこのセットによって表される埋め込まれたデータシンボルを再生するためには、再生擬似ランダムビットシーケンスＰ＿ＲＥＰを、完全なＰＲＢＳが加えられたウェーブレット係数のシーケンスと一致させなければならない。これは、制御プロセッサ３３２と連携した相関プロセッサ３３４によって、再生擬似ランダムビットシーケンスＰＲＢＳ＿ＲＥＰを、複数の開始位置ＳＴ＿ＰＯＳのそれぞれから始まる連続したウェーブレット係数と相関させることにより、実現される。図１２に示すように、結合器２４０によって完全な変調ＰＲＢＳが元々加えられたウェーブレット係数のシーケンスの開始位置を開始位置「０」として、「−２」、「−１」、「０」、「１」、「２」のウェーブレット係数のシフトに対応した５つの開始位置がある。相関の結果を図１３に示す。図１３に示す具体例は、２つのウェーブレット係数を左にシフトしたものであり、埋め込まれた幾つかのビットの相関を組み合せた相関結果は、位置「−２」において最大の大きさを生じている。埋め込まれたデータは、このシフトから再生することができる。図１３に示すように、最も高い値を有する相関出力信号は、ウェーブレット変換領域における画像のシフトが「−２」係数であることを示している。
【００６５】
画像がシフトされた後のサブバンドから、埋め込まれたデータを検出及び再生するために、相関プロセッサ３３４は、相関の総計から、損失又は破損されたウェーブレット係数に対応したＰＲＢＳビットを除外するように動作する。除外される係数の数は、各開始位置とみなされるシフトに対応している。したがって、例えば、開始位置が「２」の場合、サブバンドのどちらか一方の端部の２つのウェーブレット係数は信頼がなく又は損失したと仮定され、したがって、ＰＲＢＳの対応したビットに関する相関は、相関総計に含まれない。これを図１４に示す。
【００６６】
図１２及び１４に示すように、相関プロセッサ３３４は、サブバンドから、読出矢印Ｒ１で示すように、ウェーブレット係数を読み出す。図１４は、相関プロセッサ３３４の動作を示す図であり、１つの変調ＰＲＢＳに対応したウェーブレット変換係数ＷＴＣが、再生擬似ランダムビットシーケンスＰ＿ＲＥＰともに示されている。図１４に示すように、サブバンドの右端部の領域から読み出された再生ウェーブレット変換係数、及び失われたとみなされるデータは、ハッチングが付された領域ＥＲ＿ＳＹＳとして示されている。したがって、再生擬似ランダムビットシーケンスＰ＿ＲＥＰの対応するデータシンボルは、除外領域ＥＸ＿ＲＥＧとしてマークされている。
【００６７】
相関プロセッサ３３４により実行される相関の総計は、再生擬似ランダムビットシーケンスＰ＿ＲＥＰからのビットを有するウェーブレット係数の組合せ結果が供給される結合機能ＣＯＭＢ及び加算器ＡＤＤとして表される。この相関総計は、ハッチングが付された領域ＥＲ＿ＳＹＳ及び除外領域ＥＸ＿ＲＥＧ内のデータシンボルを除き、ウェーブレット変換係数ＷＴＣと再生擬似ランダムビットシーケンスＰ＿ＲＥＰのビットとの間の全てのデータシンボルに対して、実行される。各組合せの結果は、加算器ＡＤＤによって加算され、これにより、ウェーブレット係数と再生擬似ランダムビットシーケンスＰ＿ＲＥＰの相関が、形成される。相関結果は、出力チャンネルＣＯＰＰ＿ＯＵＴから出力される。このように、式（２）に基づいた相関総計は、調整されることは明らかである。
【００６８】
擬似ランダムビットシーケンス（ＢＲＢＳ）のような所定のデータシーケンスは、ＰＲＢＳがそれ自体に一致したときには高い相関出力信号が生じ、それ自体に対してＰＲＢＳがシフトしたときには０出力又は少なくとも低い相関出力信号が生じる自己相関特性を有する。相関総計から、除外領域ＥＸ＿ＳＹＳのウェーブレット係数を除外する結果、相関出力信号を減少させることができる。なお、この減少は、ＰＲＢＳが十分に長く、除外される相関データシンボルの数が相関出力信号を余り減少させない場合は、比較的小さい。このように、ＰＲＢＳの対応するウェーブレット変換係数及び対応するビットを考慮し、又は考慮しないが、データシンボルの相対的な配置を維持することによって、データシンボルを除去することは、相関器の性能に重要な影響を及ぼさない。その結果、サブバンドの全ての領域を、データを埋め込むために使用することができる。
【００６９】
第２の具体例
上述したように、制御プロセッサ３３２は、組合せ相関結果が最大の大きさを呈する開始位置に基づいて、情報マテリアルがシフトされた量を検出する。他の具体例では、このシフトを確定し、この確定したシフトに対応する次の相関を実行するための開始位置を適応及び維持するように、制御プロセッサ３３２を構成することができ、それによって、他の開始位置で相関を繰り返す必要を避けることができる。
【００７０】
既に説明したように、レベル１のウェーブレット変換における単一のウェーブレット係数のシフトは、画像の空間領域における２ピクセル分のシフトに対応する。なお、空間領域において画像が１ピクセルだけシフトしている場合、再生ＰＲＢＳがウェーブレット係数とそれらの本来の位置で相関するときには、相関出力信号は減少する。一方、変調ＰＲＢＳが加えられたウェーブレット係数の位置は、変調ＰＲＢＳが元々加えられたウェーブレット係数の位置と略一致する。なお、組合せ相関信号の結果的な減少は、正しい開始位置及びシフト量の検出に対して、妨げとなる。
【００７１】
画像が空間領域において１ピクセル分又は奇数個のピクセル分シフトされることに適応させるために、図９に示すウォータマークのデコーダ１４０は、ウェーブレット変換領域に変換する前に１ピクセル分予めシフトされた画像フレームの第２のバージョンを生成する。したがって、ウォータマークデコーダ１４０は、ウォータマーク付き画像１２５を、１ピクセル分シフトした後に、再びウェーブレット変換器３１０に供給する。第２の変換領域の画像のシフトされたバージョンの生成は、制御プロセッサ３３２により、図１０に示されないフィードバック信号を用いて行われ、なお、これがどのように実行されるかは、当業者には明らかである。
【００７２】
第２の変換領域の画像は、また、接続チャンネル３１５を介して、フレームストレージ３３１に供給される。したがって、制御プロセッサ３３２は、変換領域の画像の各バージョン、すなわち変換領域でシフトされた画像とシフトされていない画像とのウェーブレット係数を用いて、再生ＰＲＢＳの相関を形成する。その結果、ウェーブレット係数の整数の個数に対応する開始位置のシフトは、変換領域の画像の第２のシフトされたバージョンに対しては、空間領域におけるピクセルの奇数個分のシフトであり、画像がシフトされていないバージョンの相関は、空間領域における画像のピクセルの偶数個分のシフトである。したがって、画像の予めシフトされたバージョンを生成することによって、空間領域における画像の整数シフトの全てに対する再生ＰＲＢＳの相関を容易に求めることができ、この相関出力信号からデータを再生できることはいうまでもない。
【００７３】
上述では、データをウェーブレット変換領域のサブバンドに水平方向に加える実施の形態を説明したが、他の実施の形態として、データを垂直方向に加えるようにしてもよいことは明らかである。すなわち、データを垂直方向に結合するとともに、データを再生するデータ埋込み器、相関器及び制御プロセッサを備えた装置であってもよい。これは、画像のシフトも、垂直方向に起こるからであり、相関の開始位置は、垂直方向にシフトする可能性がある。
【００７４】
また、上述では、埋め込まれるデータの各ビットを表すのに、同じＰＲＢＳを用いた実施の形態を説明したが、他の実施の形態として、埋め込まれるデータのそれぞれに対して、異なるＰＲＢＳを用いるようにしてもよい。
【００７５】
本発明の第２の実施の形態に基づくデコーダ
第１の具体例
本発明の第２の実施の形態は、サブバンドのウェーブレット係数にシフトがあった場合に、ウェーブレット係数から埋め込まれたデータを再生する技術的な課題に対処するものである。既に説明したように、画像を空間領域からウェーブレット変換領域に変換したときに、画像を処理及び生成すると、この種のシフトが起こることがある。ウェーブレット変換係数がサブバンド内でシフトした場合、ＰＲＢＳは、サブバンド内においてウェーブレット係数が加えられたＰＲＢＳのバージョンとはもはや一致しない。その結果、再生ＰＲＢＳに対する相関によっては、相関出力信号を得ることができず、埋め込まれたデータシンボルを検出することができない。本発明の第２の実施の形態は、この問題を解決するものであり、合成データシーケンス（以下に、相関データシーケンスという。）を生成し、相関データシーケンスとサブバンド内のデータを相関させる。相関データシーケンスは、図１５に示すように形成されており、後述するように、図１６に示す相関器３３０’によって生成される。
【００７６】
図１５に示すように、データをウェーブレット変換領域に埋め込むために用いられたＰＲＢＳの多くのコピーが、ＰＲＢＳ発生器３２０によって発生され、接続チャンネル３２５を介してデータシーケンスプロセッサ５３２に供給される。発生するＰＲＢＳのコピーの数は、サブバンド内において、データの許容されるシフト可能な数に対応している。これらの許容シフトのそれぞれに対して、埋め込まれたデータを再生することができる。図１５に示すように、可能な整数シフトＩＮＴ＿ＳＨＩＦＴが横に示されており、シフトされたＰＲＢＳの対応するバージョンがＣＥＮＴ＿Ｐとして中央に示されている。したがって、図１５に示すように、±２データシンボルのシフトは許容することができ、埋め込まれたデータシンボルを、相関出力信号から検出することができる。そして、−２、−１、０、＋１、＋２シフトにおけるＰＲＢＳの５つのバージョンが、一緒に結合されて、相関データシーケンスＣＯＲＲ＿ＳＥＱを形成する合成データシーケンスが形成される。相関データシーケンスＣＯＲＲ＿ＳＥＱは、データシーケンスプロセッサ５３２によって生成され、相関プロセッサ５３３の制御下に、データシーケンスプロセッサ５３２からデータプロセッサ５３４に供給され、データプロセッサ５３４は、埋め込まれたデータシンボルを再生することができる相関出力信号を生成する。
【００７７】
図１７において、水平周波数が高く、垂直周波数が低いサブバンドｈＨ１ｌＶ１内に埋め込まれているデータは、ボックスＰ＿ＳＥＱのシーケンスとして表され、ボックスＰ＿ＳＥＱは、ウェーブレット係数に加えられる変調ＰＲＢＳ用の連続した領域を表している。相関プロセッサ５３３は、新たなＰＲＢＳが始まると考えられる開始位置ＳＴ＿Ｐから開始し、サブバンドｈＨ１ｌＶ１に加えられた変調ＰＲＢＳの順番に対応して、ウェーブレット係数を順次読み出す。矢印Ｒ１は、相関プロセッサ５３３によって実行されるウェーブレット係数の読出順番を表している。データプロセッサ５３４は、図１８に示すように、ウェーブレット係数ＷＣＴのこのセットと、相関データシーケンスＣＯＲＲ＿ＳＥＱとの間の相関を効果的に算出する。この結果、ウェーブレット係数が、サブバンド内で期待される位置から±２データシンボル以内でシフトされているにも拘わらず、ウェーブレット係数が、相関データシーケンスＣＯＲＲ＿ＳＥＱを生成するときに使われたＰＲＢＳのバージョンのうちの１つに一致したときに、ウェーブレット係数が再生される。この結果、データプロセッサ５３４は、埋め込まれたデータシンボルを検出することができる信号を生成するために、相関データシーケンス内における対応するＰＲＢＳに対するウェーブレット係数の配置を示す出力相関信号を生成する。ＰＲＢＳのようなデータシーケンスは、ウェーブレット係数に加えられたＰＲＢＳの一致したバージョンに比して、ＰＲＢＳの他のシフトされたバージョンは、ノイズとして効果的に現れるという特性を有する。一致したＰＲＢＳに対する相関出力信号には、高いピークが生じるので、埋め込まれたデータシンボルは、効果的にノイズを形成するＰＲＢＳの他のシフトされたバージョンの存在にもかかわらず、相関出力信号から検出することができる。
【００７８】
第２の実施の形態
本発明の更なる実施の形態を、図１９、２０を用いて説明する。埋め込まれたデータは、複数の可能なＰＲＢＳのうちの１つと結合されており、このＰＲＢＳをウォータマークデコーダ１４０は知らない。分かっているのは、データを埋め込むために用いられたＰＲＢＳは、ＰＲＢＳの限られたセットのうちの１つであるということである。この実施の形態において、相関データシーケンスは、ウェーブレット係数に加えられた埋込みデータを拡散スペクトラム符号化するために用いられたＰＲＢＳのセットに対応したＰＲＢＳを、一緒に加えることによって、形成される。そして、図１９は、そのような配列を示しており、セットは、４つの擬似ランダムビットシーケンスＰ１、Ｐ２、Ｐ３、Ｐ４からなるとすると、これらは一緒に加算され、相関データシーケンスＣＯＲＲ＿ＳＥＱ１を形成する。相関プロセッサ５３３は、第１の実施の形態で既に説明したのと正確に同じように動作するが、ここで、再生ウェーブレット係数を、４つの異なるＰＲＢＳを結合することによって形成された合成データシーケンス、すなわち相関データシーケンスＣＯＲＲ＿ＳＥＱ１と相関させる。これを図２０に示す。図１５、１８を参照して説明した第１の実施の形態と同様に、埋め込むデータを拡散スペクトラム符号化するために用いられたＰＲＢＳは、ウェーブレット係数に加えられた変調ＰＲＢＳの一致したバージョンと相関される。相関プロセッサ５３３から相関出力信号が生成され、データプロセッサ５３４は、相関出力信号から埋め込まれたデータシンボルを検出することができる。上述したように、埋め込むデータシンボルの符号化に使用されなかった他の不必要なＰＲＢＳは、正しいＰＲＢＳに対して、事実上、ノイズを形成する。なお、既に説明したように、ＰＲＢＳのようなデータシーケンスは、正しいＰＲＢＳに対する相関出力信号は、ノイズとなる他の正しくないＰＲＢＳに対する相関出力信号よりも、十分高く、得られる相関出力信号からデータシンボルを検出することができるという特性を有する。
【００７９】
好ましい実施の形態において、相関プロセッサ５３３は、ＰＲＢＳのシフトされた複数のバージョンを選択するとともに、選択したバージョンの極性を反転させることによって、ここで記載されている実施の形態の相関データシーケンスを形成するようにしてもよい。相関データシーケンスを形成するためにＰＲＢＳの選択されたバージョンの極性を反転させることによって、相関を求める際に、不要なＰＲＢＳの干渉を減少し、所望のＰＲＢＳを得ることができる。例えば、相関データシーケンスの交番ＰＲＢＳは、交番ＰＲＢＳの極性を反転したバージョンと結合することができる。
【００８０】
所望のＰＲＢＳを形成するＰＲＢＳの極性は、極性を反転する結果として、知られていないので、再生データを正しく解釈するためには、対応する調整はデコーダにおいて行わなければならない。これは、画像から再生された埋め込みデータは、「０」が「１」、「ｌ」が「０」と反転されているからである。なお、好ましい実施の形態において、所定の極性の少なくとも１つのデータシンボルは、画像に埋め込むことができる。これは、再生されたビットの値を調整するために用いることができる。これは、相関器３３０において、又はエラー訂正デコーダ３３０の後段で行うようにしてもよい。再生されたビットの訂正をエラー訂正復号後に行うことは、エラー訂正符号を所定の極性シンボルの保護に用いることができるという利点がある。このように、エラー訂正復号の後に、所定の極性のシンボルの値が、決定され、デコーダが知っている値と比較される。そして、適切な訂正を施すことができる。
【００８１】
他の具体例
相関データシーケンスを形成する複数のＰＲＢＳバージョンのうちのどのＰＲＢＳバージョンを、埋め込みデータを再生するために用いなければならないかを特定するための更なる改良を、上述の実施の形態に加えることができる。このために、データプロセッサ５３４は、相関プロセッサ５５３の制御の下で、ＰＲＢＳの各バージョンを２つ以上のグループに分割し、各グループのＰＲＢＳバージョンを結合することによって、２つ以上の相関データシーケンスを形成する。そして、相関データシーケンスは、それぞれウェーブレット係数と相関される。相関閾値を超える相関出力信号を生成する相関データシーケンスが特定される。したがって、特定された相関データシーケンスは、所望のＰＲＢＳを含み、所望のＰＲＢＳは、変調データを形成するために用いられたバージョンに正しく一致するものである。この所望のＰＲＢＳは、次の相関を実行することによって、データを再生するために続いて用いることができる。特定された相関データシーケンスは、複数のＰＲＢＳバージョンからなり、そして、複数のＰＲＢＳバージョンはグループに分割され、グループのＰＲＢＳバージョンから、更なる相関データシーケンスが形成される。この処理は、相関データシーケンスのどれが所望のＰＲＢＳを含むかが特定されるまで繰り返される。更なる分割の後、所望のＰＲＢＳを正確に特定することができる。付随して、特定されたＰＲＢＳは、ＰＲＢＳのどのシフトされたバージョンか、又はウォータマーク付き画像内に存在するどの異なるＰＲＢＳかを示す。したがって、特定されたＰＲＢＳは、不必要なＰＲＢＳによって生じる干渉がなく、次の相関のために用いることができる。
【００８２】
更なる実施の形態として、一緒に加えられた数をサブバンド内のウェーブレット係数の可能なシフトの数と一致するために、更なる相関データシーケンスを、各擬似ランダムビットシーケンスＰ１、Ｐ２、Ｐ３、Ｐ４のシフトされたバージョンを結合することによって、形成されることができる。このように、この更なる実施の形態では、ＰＲＢＳがＰＲＢＳのセットを形成しているか分からず、サブバンド内のウェーブレット係数が、処理の結果シフトされているときにでも、埋め込みデータを再生する柔軟性を提供する。
【００８３】
汎用マテリアル識別子
ここで、図２１Ａ、２１Ｂを参照して、ＵＭＩＤの構造を簡単に説明する。ＵＭＩＤは、ＳＭＰＴＥジャーナル２０００年３月に記載されている。図２１Ａ図に拡張ＵＭＩＤを示し、拡張ＵＭＩＤは、図２１Ｂに示す基本ＵＭＩＤからなる３２バイトの第１セットと、シグネチャメタデータからなる３２バイトの第２セットを有している。すなわち、拡張ＵＭＩＤの３２ビットの第１セットは基本ＵＭＩＤである。構成要素は以下のようになっている。
【００８４】
・この第１セットをＳＭＰＴＥ ＵＭＩＤとして識別するための１２バイトのユニバーサルラベル。これは、ＵＭＩＤが識別するマテリアルのタイプを定めるとともに、グローバル的にユニークなマテリアル番号とローカル的にユニークなインスタンス番号を作成する方法も定める。
【００８５】
・ＵＭＩＤの残りの長さを定める１バイトの長さ値。
【００８６】
・同じマテリアル番号を持つ異なるマテリアルインスタンスを区別するのに用いられる３バイトのインスタンス番号。
【００８７】
・各クリップを識別するのに用いられる１６バイトのマテリアル番号。各マテリアル番号は同じマテリアルの関連するインスタンスについては同じである。
【００８８】
１セットのパックされたメタデータアイテムとしての、シグネチャメタデータからなる３２バイトの第２セットは、拡張ＵＭＩＤを生成するのに用いられる。拡張ＵＭＩＤは、基本ＵＭＩＤのすぐ後にシグネチャメタデータがくるものであり、シグネチャメタデータは以下の成分からなる。
【００８９】
・コンテンツユニット作成の日時を識別する８バイトの日時コード。
【００９０】
・コンテンツユニット作成時の空間座標を定める１２バイトの値。
【００９１】
・国、団体、ユーザの各コードを登録する４バイトのコードが３グループ。
【００９２】
ＵＭＩＤ構造の詳細な説明は、係属中の英国特許出願番号０００８４３２．７に記載されている。
【００９３】
本発明の範囲を逸脱することなく、上述した実施の形態を様々に変更することができる。この実施の形態において、埋め込むデータは、変換領域において、画像に加えられるにもかかわらず、別の実施の形態では、データは変換領域で表され、空間領域に逆変換され、変換領域においてデータに加えられる。
【図面の簡単な説明】
【図１】ウォータマーキングシステムの構成を示すブロック図である。
【図２】図１に示すウォータマーク埋込み器の構成を示すブロック図である。
【図３】ウェーブレット変換領域の形式を示す図である。
【図４】ウェーブレット変換を形成するために用いられる反復的なフィルタリングを説明するための図である。
【図５】図２に示すウォータマーク埋込み器内の結合器の構成を示すブロック図である。
【図６】図５に示す結合器によってデータが加えられる変換領域の画像を示す図である。
【図７】従来のデータが加えられる変換領域の画像を示す図である。
【図８】本発明に基づいてデータが加えられる変換領域の画像を示す図である。
【図９】図１に示すウォータマークデコーダの構成を示すブロック図である。
【図１０】図９に示すウォータマークデコーダ内の相関器の構成を示すブロック図である。
【図１１】図９の相関器により埋め込まれたデータが再生される変換領域の画像を示す図である。
【図１２】画像のシフトがある場合に、データを検出及び再生する図１０の相関器内の制御プロセッサ及び相関プロセッサの動作を説明するための図である。
【図１３】相関の開始位置に関する相関出力信号を示すグラフである。
【図１４】図１０に示す相関器内の相関プロセッサにより実行される相関の動作を説明するための図である。
【図１５】図１０の相関器によって用いられる相関データシーケンスの配列を示す図である。
【図１６】本発明を適用した他の相関器の構成を示すブロック図である。
【図１７】埋め込まれたデータを検出及び再生する変換領域の画像を示す図である。
【図１８】図１５の相関データシーケンス及び図１７の変換領域のデータの相関を実行する図１６のデータプロセッサの動作を説明するための図である。
【図１９】図１６の相関器によって用いられる更なる相関データシーケンスの配置を示す図である。
【図２０】図１９の相関データシーケンス及び図１７の変換領域のデータのクロス相関を実行している図１６に示されるデータプロセッサの動作を例示している概略図である。
【図２１Ａ】基本及び拡張ＵＭＩＤの構造を示す図である。
【図２１Ｂ】基本及び拡張ＵＭＩＤの構造を示す図である。
【図１】
0004094842.tif 000003
【図２】
0004094842.tif 000004
【図３】
0004094842.tif 000005
【図４】
0004094842.tif 000006
【図５】
0004094842.tif 000007
【図６】
0004094842.tif 000008
【図７】
0004094842.tif 000009
【図８】
0004094842.tif 000010
【図９】
0004094842.tif 000011
【図１０】
0004094842.tif 000012
【図１１】
0004094842.tif 000013
【図１２】
0004094842.tif 000014
【図１３】
0004094842.tif 000015
【図１４】
0004094842.tif 000016
【図１５】
0004094842.tif 000017
【図１６】
0004094842.tif 000018
【図１７】
0004094842.tif 000019
【図１８】
0004094842.tif 000020
【図１９】
0004094842.tif 000021
【図２０】
0004094842.tif 000022
【図２１Ａ】
0004094842.tif 000023
【図２１Ｂ】
0004094842.tif 000024