(57)【要約】  画像などの２次元情報信号に透かしなどのデータを埋め込む方法。本方法は、２次元フィルタを利用して情報信号の一部をフィルタリングすることを有する。シャープで延伸したエッジにおける透かしの可視性を低減するため、フィルタは、少なくとも２つのパラレルでない方法における情報信号の部分にほぼゼロのネット重み付けを適用するよう構成される。好ましくは、これら２つの方向は、水平と垂直などの互いに直交したものである。これにより、フィルタリングされた信号は、透かし埋め込み深さ（エネルギー）をローカルに制御するのに利用される。
2008536435.tif 000002
【特許請求の範囲】
【請求項１】
２次元情報信号にデータを埋め込む方法であって、
フィルタリングされたデータを生成するため、少なくとも２つのパラレルでない方向において前記情報信号の部分にほぼゼロのネットの重み付けを適用して、前記情報信号の部分をフィルタリングするステップと、
前記フィルタリングされたデータに基づき、前記情報信号にデータを埋め込むステップと、
を有する方法。
【請求項２】
前記フィルタリングするステップは、少なくとも２つのパラレルでない方向において前記情報信号の部分にほぼゼロのネットの重み付けを適用するよう構成される２次元フィルタを利用して実行される、請求項１記載の方法。
【請求項３】
前記フィルタリングするステップは、フィルタのペアを利用して実行され、
第１フィルタは、第１方向において前記情報信号の部分にほぼゼロのネットの重み付けを適用するよう構成され、
第２フィルタは、第２方向において前記情報信号の部分にほぼゼロのネットの重み付けを適用するよう構成され、
前記第１方向と第２方向はパラレルでない、請求項１記載の方法。
【請求項４】
前記データは透かしである、請求項１乃至３何れか一項記載の方法。
【請求項５】
前記フィルタリングするステップは、２つの互いに直交した方向において前記情報信号の部分にほぼゼロのネットの重み付けを適用するよう構成される、請求項１乃至４何れか一項記載の方法。
【請求項６】
前記フィルタリングするステップは、互いに直交した方向の２つのペアにおいて前記情報信号の部分にほぼゼロのネットの重み付けを適用するよう構成される、請求項１乃至５何れか一項記載の方法。
【請求項７】
前記フィルタリングするステップは、複数の所定の行と複数の所定の列とに構成された係数によって規定され、
各行の係数は、ゼロに実質的に等しい和を有し、
各列の係数は、ゼロに実質的に等しい和を有する、請求項１乃至６何れか一項記載の方法。
【請求項８】
前記行及び列はマトリックスを構成し、
前記マトリックスの少なくとも１つの主対角線の係数は、ゼロに実質的に等しい和を有する、請求項７記載の方法。
【請求項９】
前記２次元フィルタは、クロネッカーのテンソル積を利用して生成される、請求項１乃至８何れか一項記載の方法。
【請求項１０】
前記情報信号は画像である、請求項１乃至９何れか一項記載の方法。
【請求項１１】
請求項１乃至１０何れか一項記載の方法をコンピュータに実行させるよう構成されるコンピュータ可読命令をキャリーするキャリア媒体。
【請求項１２】
情報信号に透かしを埋め込むコンピュータ装置であって、
プロセッサ可読命令を格納するプログラムメモリと、
前記プログラムメモリに格納される命令を読み込み、実行するよう構成されるプロセッサと、
を有し、
前記プロセッサ可読命令は、請求項１乃至１０何れか一項記載の方法を実行するよう前記プロセッサを制御する命令を有するコンピュータ装置。
【請求項１３】
２次元情報信号にデータを埋め込む装置であって、
フィルタリングされたデータを生成するため、少なくとも２つのパラレルでない方向において前記情報信号の部分にほぼゼロのネットの重み付けを適用して、前記情報信号の部分をフィルタリングするフィルタリング手段と、
前記フィルタリングされたデータに基づき、前記情報信号にデータを埋め込む埋め込み手段と、
を有する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報信号にデータを埋め込む方法及び装置に関する。より詳細には、以下に限定されるものではないが、本発明は、情報信号に透かしを埋め込む方法に関する。
【背景技術】
【０００２】
インターネットを介するなど、相互に接続されたコンピュータのネットワークを使用してデジタルデータを容易に取得及び配布することが現在可能となっている。このようなデータの取得及び配布は、ユーザが従来のものより容易にデータを取得することを可能にする。しかしながら、それはまた、そのようなデータの所有者に対してユーザが不正なコピーを生成及び配布可能となり、データ所有者の正規の収入を減少させるという問題を生じさせる。例えば、音楽ファイルの場合には、一部のユーザはファイルを複製し、著作権法に違反して互いにそれらを配布し、当該著作権の所有者がそれらによって収入を受け取ることをできなくする。同様の問題がビデオファイルについて生じる。このような許可のない複製及び配布を防ぐため、不正な複製及び配布をより困難にするため、情報信号内にデジタル透かしを埋め込むことが知られている。
【０００３】
情報信号への透かしの追加は、当該情報信号の変形とみなすことができる。当該変形が情報信号のユーザに感知不可又はほとんど感知不可となるように、透かしが情報信号に追加されることが重要である。例えば、音声データの場合、透かしの追加は、ユーザが当該音声ファイルを聴取する際に可聴的な相違を生成すべきでない。同様に、画像又はビデオファイルの場合、画像データ内への透かしの埋め込みは当該データの視聴者への認識可能な変形を生成すべきでない。このため、ユーザにほとんど感知されない情報信号の部分内に透かしを埋め込むことが重要であるということは理解されるであろう。
【０００４】
上記問題を部分的に解決する方法が、Ｋａｌｋｅｒ，Ｔ．Ｄｅｐｏｖｅｒｅ、Ｇ．，Ｈａｉｔｓｍａ及びＭａｅｓ，Ｍ．Ｊ．らによる“Ｖｉｄｅｏ  Ｗａｔｅｒｍａｒｋｉｎｇ  Ｓｙｓｔｅｍ  Ｆｏｒ  Ｂｒｏａｄｃａｓｔ  Ｍｏｎｉｔｏｒｉｎｇ”（Ｐｒｏｃ．ＳＰＩＥ，Ｖｏｌｕｍｅ  ３６５７，ｐａｇｅｓ  ２６２１／２６２４，１９９９）に記載されている。当該論文に記載されている方法は、ラプラシアンフィルタを使用して情報信号をフィルタリングし、当該フィルタリング処理の出力を利用して、追加すべき透かしを重み付けを適用する。ラプラシアンフィルタはテクスチャエリアにおいて高いレスポンスを有し、スムーズエリアにおいて低いレスポンスを有している。
【０００５】
テクスチャエリアよりスムースエリアにおいて変形がかなり認識できる場合、当該論文に使用されるラプラシアンフィルタは、変形が画像のスムースエリアに影響を与えない場合に少なくともより認識されないことを保証するのに効果的である。しかしながら、ラプラシアンフィルタはまた、エッジを含む画像のエリアにおいて高いレスポンスを有する。このため、当該方法を利用することにより、エッジの領域には歪みが生じる。このような画像エリアに歪みが相対的に認識可能となる場合、当該方法を利用して追加された透かしは、ある状況においては画像内のエッジの周囲においてユーザに認識可能となることが知られている。
【０００６】
ＵＳ６，７０７，９３０（Ｋａｌｋｅｒらによる）は、上記問題点を解消しようとする方法を開示している。具体的には、ラプラシアンフィルタを利用する代わりに、４つの相異なるフィルタが使用される。
【０００７】
【数１】
2008536435.tif 000003
これら４つのフィルタは、それらの和がラプラシアンフィルタに等しくなるようにされている。
【０００８】
【数２】
2008536435.tif 000004
上述した４つの方向フィルタを利用することによって、透かしｗは４方向の透かしに分離可能である。
【０００９】
【数３】
2008536435.tif 000005
ただし、＊は畳み込みを示し、ｅはＬのゼロにおけるシンギュラリティ（ｓｉｎｇｕｌａｒｉｔｙ）を防ぐ小さな正の定数である。このように４つの透かしを生成した後、それらの和はオリジナルの透かしｗにほぼ等しくなる。
【００１０】
【数４】
2008536435.tif 000006
４つの方向フィルタと４つの方向透かしを生成すると、透かしは以下のように整形されうる。
【００１１】
【数５】
2008536435.tif 000007
また、整形された透かしが画像データに加算可能である。
【００１２】
【数６】
2008536435.tif 000008
ＵＳ６，７０７，９３０に提案されている方法は、ラプラシアンフィルタの使用に特有の問題を解決するのに効果的であり、認識可能な歪みがエッジ領域に追加されないことを保証するが、それの処理はかなり複雑であり、複数のフィルタリング処理と上述した他の各種操作を必要とすることは理解されるであろう。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明の実施例の課題は、上記問題点の少なくとも一部を解消若しくは軽減する情報信号へのデータの埋め込み方法を提供することである。
【課題を解決するための手段】
【００１４】
本発明によると、２次元情報信号にデータを埋め込む方法であって、フィルタリングされたデータを生成するため、少なくとも２つのパラレルでない方向において前記情報信号の部分にほぼゼロのネットの重み付けを適用して、前記情報信号の部分をフィルタリングするステップと、前記フィルタリングされたデータに基づき、前記情報信号にデータを埋め込むステップとを有する方法が提供される。
【００１５】
少なくとも２つのパラレルでない方向にほぼゼロのネット重み付けを適用するフィルタリングを利用することによって、これら２つのパラレルでない方向においてエッジに変形を適用しないために、データが情報信号に埋め込み可能である。例えば、２つのパラレルでない方向は、画像内の水平及び垂直方向とすることが可能であり、２次元フィルタは、これらのエッジの周囲に歪みが適用されないことを保証するため利用可能である。
【００１６】
フィルタリングは、少なくとも２つのパラレルでない方向において情報信号の部分にほぼゼロのネットの重み付けを適用するよう構成される２次元フィルタを利用して実行されるようにしてもよい。あるいは、フィルタリングは、フィルタのペアを利用して実行されてもよく、第１フィルタは、第１方向において情報信号の部分にほぼゼロのネットの重み付けを適用するよう構成され、第２フィルタは、第１方向にパラレルでない第２方向においてほぼゼロのネットの重み付けを適用するよう構成される。好ましくは、これら２つのパラレルでない方向は、互いに直交した方向である。互いに直交した方向の第１の例は、水平及び垂直方向である。互いに直交した方向の第２の例は、２つの対角方向である。
【００１７】
フィルタは、複数の所定の行と複数の所定の列とにより構成される係数により規定され、各行の係数はゼロに実質的に等しい和を有し、各列の係数はゼロに実質的に等しい和を有するようにしてもよい。さらに、１つ又は双方の主対角線に沿った係数がゼロに加算されてもよい。
【００１８】
本発明は更に、コンピュータに上述した方法を実行させるよう構成されるコンピュータ可読命令をキャリーするキャリア媒体を提供する。
【００１９】
また、情報信号に透かしを埋め込むコンピュータ装置が提供される。本装置は、プロセッサ可読命令を格納するプログラムメモリと、プログラムメモリに格納された命令を読み込み、実行するよう構成されるプロセッサとを有する。プロセッサ可読命令は、上記方法を実行するようプロセッサを制御する命令を有する。
【発明を実施するための最良の形態】
【００２０】
画像への透かしの追加は、一部のピクセル値が透かしデータを含むよう変更される場合、画像の変形としてみなすことができる。画像に対してほとんど認識可能な歪みを生じさせないように、透かしが画像に追加されることが望ましい。
【００２１】
透かしがどのように追加されるべきか決定する際、異なる画像歪みがヒューマンビジュアルシステム（ＨＶＳ）により認識される方法を考慮することが重要である。ＨＶＳは、テクスチャエリアでは歪みがほとんど視聴されないが、スムースエリア及びエッジ周囲のエリアにおいて高い視聴性を有する。水平及び垂直エッジの周囲のエリアは、特に歪みの認識性について影響を受ける。さらに、歪み認識性は、歪みが中間範囲のルミナンス値においてより認識されるように、輝度と共に変化する。
【００２２】
ＨＶＳの上記特徴が与えられた場合、透かしは理想的にはテクスチャエリアに埋め込まれるべきであり、スムースエリア又はエッジ、特に水平若しくは垂直エッジを含むエリア内に埋め込まれるべきでないことは理解することができる。
【００２３】
後述されるように、本発明の記載される実施例によると、画像データは、歪みがＨＶＳに相対的に認識不可となるエリアにおいて高いレスポンスを有するよう構成されるフィルタを用いてフィルタリングされる。このフィルタリングされた画像データは、その後に歪みがＨＶＳに相対的に認識不可となるエリアに適用されるように、透かしを整形するのに利用可能である。
【００２４】
図１を参照するに、画像データ１は、フィルタ係数３を使用するフィルタ２によりフィルタリングされる。これは、フィルタリングされた画像データ４を生成する。透かし５は、透かし５の各値とフィルタリングされた画像データ４の各値とを掛け合わせることによって整形される。透かしはまたクリップされてもよい。これは、整形された透かし６を生成する。その後、整形された透かし６は、整形された透かし６の適切な値を画像データ１の適切な値に加算する加算器７によって、画像データ１に適用される。これは、透かしを含む画像データ８を生成する。
【００２５】
透かしの埋め込みは、等式（１）により説明される。
【００２６】
【数７】
2008536435.tif 000009
ただし、ｘは入力画像データ１であり、Ｇ０はフィルタ係数３のセットであり、ｗは透かし５であり、ｄはスカラー深さパラメータであり、ｙは出力画像である。
【００２７】
等式（１）において、出力画像ｙの特定のピクセルｎの値は、入力画像データｘ（フィルタリング後の）の同一ピクセルｎと透かしｗの各値とを掛け合わせることによって生成される。等式はフィルタリングされたデータの絶対値を使用することは理解することができる。
【００２８】
スカラー深さパラメータｄは、ユーザにより設定される透かしエネルギーパラメータである。高エネルギー透かしが要求される場合（例えば、ロウバスト性の要求のため）、ユーザはパラメータｄについて相対的に大きな値を選択すべきである。
【００２９】
図２において、画像データ１（ｘ）をフィルタリングする１つの既知の従来技術による透かし埋め込み方法が示される。
【００３０】
図２を参照するに、画像データ１の一部１０は、図２に示されるようなピクセル値を有する９つのピクセルの３×３のアレイを有する。図示された部分１０が、アレイの最上位の行がエッジの一方のサイドにあり、アレイの最下位の２つの行がエッジの反対サイドにある画像内の水平エッジを表していることが観察できる。
【００３１】
図１のフィルタ係数３は、ラプラシアンハイパスフィルタＬである３×３のアレイ３０である。
【００３２】
【数８】
2008536435.tif 000010
ラプラシアンハイパスフィルタＬは、完全にスムースなエリアにおいてはゼロのレスポンスを有し、シャープなエッジを含むエリアやテクスチャエリアでは高いレスポンスを有することが知られている。このため、画像データの一部１０にエッジが存在する場合、高いレスポンスを予想することができる。
【００３３】
フィルタ係数３０は、フィルタ２により画像データの一部３０に適用される。フィルタ係数は、従来の畳み込み処理を利用して適用される。すなわち、画像データの一部１０の各ピクセル値が、アレイ３０の対応する係数と乗算される。これは、出力値４０の３×３のマトリックスを生成する。
【００３４】
すなわち、部分１０の左上のピクセル値（１２８）は、マトリックス３０の左上の係数（−１）と掛け合わされ、マトリックス４０の左上の要素の値（−１２８）を生成する。部分１０とマトリックス３０の他の要素が同様に処理される。マトリックス４０に対して９つの値が生成されると（図２に示されるように）、これらの値は、画像データ１０の当該部分の中央ピクセルについて共通のフィルタリングされた値を生成するよう加算される。
【００３５】
乗算とその後の和は（等式（１）の項（ｘ＊Ｇ０）（ｎ）に対応し、部分１０について図１のフィルタ２の処理を表す）以下の通りである。
【００３６】
【数９】
2008536435.tif 000011
すなわち、フィルタリング後、部分１０の中央ピクセルは３０６の値を有することとなる。
【００３７】
図１を再び参照するに、部分１０において、フィルタリング処理の出力値が与えられると、透かしｗには相対的に高い重み付けが与えられることが理解できる。これは、部分１０がシャープなエッジを含む場合には望ましくなく、上述されるように、透かしにより生ずる歪みは当該領域において認識可能となる可能性がある。同じ結果が、垂直エッジが画像内に存在する場合に起こる。
【００３８】
【数１０】
2008536435.tif 000012
により表される場合、
【００３９】
【数１１】
2008536435.tif 000013
となる。ただし、ｃ０１、ｃ０２、ｃ２１及びｃ２２はフリーなパラメータである。
【００４０】
式（４）のフィルタの特別なケースは、マトリックスがゼロの平均値を有する１次元フィルタを用いて構成されるときに生ずる。すなわち、式（４）の２次元マトリックスが、式（１０）に示されるように、クロネッカーのテンソル積を用いて構成されるときである。
【００４１】
【数１２】
2008536435.tif 000014
Ｃ８の行と列は、
【００４２】
【数１３】
2008536435.tif 000015
であることが与えられると、ゼロまで加算することが導き出すことができる。式（１０）などのフィルタの一例が、式（１２）に示される。
【００４３】
【数１４】
2008536435.tif 000016
図３は、式（１２）のフィルタを利用した画像データ１の一部１０のフィルタリングを示す。図３において、式（１２）のフィルタはアレイ３１により表される。フィルタは、上述されるような従来技術による畳み込み処理を利用して、フィルタ２により画像データ１の部分１０に適用される。これは、フィルタリングされた値を生成するため加算される出力値のアレイ４１を生成する。アレイ４１の各行及び各列の和がゼロとなることが理解できる。すなわち、式（１２）のフィルタを用いて、透かしはシャープな水平エッジを含むエリアに歪みを加えない。同様の結果が、式（１２）のフィルタがシャープな垂直エッジを含むエリア及びスムースエリアに適用されるときにもたらされる。
【００４４】
式（１２）のフィルタは、水平及び垂直エッジを含むエリアに歪みが追加されないことを保証するが、対角エッジを含むエリアについては依然として歪みが追加される。実際に、式（１２）のフィルタは、パスバンドにおいて２０ｌｏｇ（６／１６）≒−８．５ｄＢの減衰によるローパスフィルタである。実際に、式（１２）のフィルタは、水平及び垂直コンポーネントがゼロであるラプラシアンフィルタである。式（１２）のフィルタは、
【００４５】
【数１５】
2008536435.tif 000017
として記述することができる。ただし、
【００４６】
【数１６】
2008536435.tif 000018
である。
【００４７】
行及び列がちょうどゼロまで加算される必要がないということを可能にすることによって、ある透かしエネルギーが周囲の水平及び垂直エッジに適用されることを可能にするため、若干異なるフィルタを生成することが可能である。すなわち、
【００４８】
【数１７】
2008536435.tif 000019
である。ただし、
【００４９】
【数１８】
2008536435.tif 000020
であり、αｈ及びαｖは小さなスカラー値である。
【００５０】
あるいは、それの係数が水平方向、垂直方向及び両対角線においてゼロまで加算されるようにフィルタが生成可能である。すなわち、
【００５１】
【数１９】
2008536435.tif 000021
であり、ここで、Ｇ１１及びＧ２１はフリーパラメータである。
【００５２】
例えば、式（１５）のフィルタは、式（１６）に示されるようにすることができる。
【００５３】
【数２０】
2008536435.tif 000022
本発明の好適な実施例では、式（１）のフィルタＧ０は式（１２）により規定される。このフィルタは、このようなフィルタが良好な結果を提供したことを示す実験に基づき選択されたものである。このフィルタを使用したフィルタリングは、式（２）に示されるタイプの従来技術によるラプラシアンフィルタを利用したフィルタリングと同程度に効率的に実現可能であるということは理解されるであろう。しかしながら、ラプラシアンフィルタを使用することは、歪みが相対的に認識可能なエリア（すなわち、水平及び垂直エッジの周囲）に歪みを追加する可能性があるが、式（１３）及び（１６）のフィルタを使用することは、フィルタがシャープなエッジを含むエリアにおいてゼロの出力を提供し、スムースエリアではゼロの出力を提供する場合、テクスチャエリアのみに歪みを追加する。
【００５４】
上述した本発明の実施例は、画像内に透かしがどのように埋め込み可能であるかについて説明した。上述した技術が、上述した方法を利用してビデオデータの複数のフレームの画像内に透かしが埋め込まれるビデオデータの場合に等しく適用可能であるということは理解されるであろう。さらに、本発明は２次元情報信号内に透かし以外のデータを埋め込むのに利用可能であり、情報信号が画像データ以外の形式をとりうることが理解されるであろう。
【００５５】
特定の矩形状の３×３フィルタが上述されたが、非矩形フィルタを含む他のサイズのフィルタが利用可能であるということが理解されるであろう。さらに、２次元フィルタが上述されたが、本発明が複数の１次元フィルタを利用して実現可能であるということは理解されるであろう。例えば、画像は１次元フィルタのペアであって、各フィルタがほぼゼロのネットの重み付けを１つの方向の画像に適用するよう構成されるフィルタを利用してフィルタリング可能である。これらのフィルタは、以下のようなものとすることができる。
【００５６】
【数２１】
2008536435.tif 000023
概略すると、本発明は、画像などの２次元情報信号に透かしなどのデータを埋め込む方法に関する。本方法は、２次元フィルタを使用して情報信号の一部をフィルタリングすることを有する。シャープで延伸したエッジにおける透かしの可視性を低減するため、フィルタが少なくとも２つのパラレルでない方法における情報信号の部分にほぼゼロのネット重み付けを適用するよう構成される。好ましくは、これら２つの方向は、水平方向と垂直方向などの互いに直交したものである。従って、フィルタリングされた信号は、透かし埋め込み深さ（エネルギー）をローカルに制御するのに利用される。
【００５７】
本発明の好適な実施例が上述されたが、添付した請求項の範囲から逸脱することなく本発明に各種変更が可能であるということは理解されるであろう。
【図面の簡単な説明】
【００５８】
【図１】図１は、画像に透かしを埋め込むための本発明の実施例において使用される方法の概略図である。
【図２】図２は、従来技術による画像フィルタリングの概略図である。
【図３】図３は、本発明の実施例による画像フィルタリングの概略図である。
【図１】
2008536435.tif 000024
【図２】
2008536435.tif 000025
【図３】
2008536435.tif 000026
【国際調査報告】
2008536435.tif 000027
2008536435.tif 000028
2008536435.tif 000029