(57)【要約】  本発明は、特に、使用される圧縮パラメータ（例えば、情報のタイプ）と無関係に透かしを入れて、受け取られたデータの形式と無関係に挿入される透かしの読み出しを可能にする、ストリーム単位の方法に関する。本発明による、透かしを入れる方法では、変換空間Ｔ１においてコントリビューション・マトリクスＭＴ１を生成し、これを別の領域Ｔ２に射影し、射影マトリクスＭＴ１に基づいてこの領域Ｔ２においてデータに透かしを入れて、変換された変換空間Ｔ１において動作する透かし読み出し器が、変換空間Ｔ２において挿入透かしをもう一度読み出すことを可能にする。コントリビューション・マトリクスＭＴ１は、この同じ領域における透かし入れキューの挿入により、変換空間Ｔ１における係数に対して引き起こされる修正を表す。
2009518912.tif 000002
【特許請求の範囲】
【請求項１】
データ・セットに透かしを入れる方法であって、
前記セットの少なくとも１つのデータ群を第１の変換により、第１の係数群に第１の変換空間において変換する第１の工程と、
所定の透かし入れ処理によって、前記第１の係数群に透かしを入れる第１の透かし入れ工程とを備え、
前記第１の係数群の係数に対して前記第１の透かし入れ工程によって引き起こされる修正を表す第１の透かしデータ群を生成する工程と、
前記第１の透かしデータ群の第２の変換空間への第１の射影工程であって、第２の透かしデータ群を生成する工程と、
前記少なくとも１つのデータ群を第２の変換により、第２の係数群に前記第２の変換空間において変換する第２の工程と、前記第２の係数群に、
前記第２の透かしデータ群により、透かしを入れる第２の透かし入れ工程とを更に備える方法。
【請求項２】
請求項１記載の方法であって、前記第１の透かしデータ群は、前記第１の係数群の前記係数毎に、前記第１の透かし入れ工程後の係数と前記第１の透かし入れの工程前の係数との間の差を前記第１の係数群の前記係数毎に算出することによって生成される方法。
【請求項３】
請求項２記載の方法であって、前記第１の透かし入れ工程によって修正される係数が分かれば、差は前記係数についてのみ算出され、その他の差はゼロにセットされる方法。
【請求項４】
請求項１乃至３の何れか一項に記載された方法であって、前記第２の係数群の前記第２の透かし入れ工程は、前記第２の透かしデータ群の対応するデータを前記第２の係数群の前記係数それぞれに加える工程を含む方法。
【請求項５】
請求項１乃至４の何れか一項に記載の方法であって、前記データ・セットは、画像系列の符号化データを備え、前記少なくとも１つのデータ群は前記系列の画像の１つの画素のブロックの符号化データを備え、前記方法の工程が、復号化後に前記少なくとも１つのデータ群に対して施される方法。
【請求項６】
請求項５記載の方法であって、前記データ・セットは、
Ｈ．２６４、
ＭＰＥＧ−２及び
ＶＣ１
を有する標準の組に属する符号化標準の１つによって符号化されたデータを備える方法。
【請求項７】
請求項５又は６に記載の方法であって、前記方法の工程は、前記系列のその他の画像と無関係に符号化された、前記系列の画像に属する画素ブロックの符号化データを備えるデータ群のみに施される方法。
【請求項８】
請求項５乃至７の何れか一項に記載の方法であって、前記第１の変換は、サイズ８×８画素の画素ブロックを処理する離散コサイン変換である方法。
【請求項９】
請求項５乃至８の何れか一項に記載の方法であって、前記第２の変換は、サイズ４×４画素の画素ブロックを処理する離散コサイン変換を近似する整数変換である方法。
【請求項１０】
請求項１乃至９の何れか一項に記載の方法であって、前記射影工程には、関連付けられた透かしエネルギを最大にする一方で、前記第２の透かしデータ群の透かしデータの最大数をゼロにする工程が続き、該工程は、疎透かしデータ群を生成する方法。
【請求項１１】
請求項１０記載の方法であって、前記第２の透かしデータ群に関連付けられた透かしのエネルギは、前記第２の透かしデータ群の二乗のデータの和の平方根に比例する方法。
【請求項１２】
請求項１０又は１１に記載の方法であって、所定の透かし入れ処理が、前記第１の係数群における単一の係数の値を修正した場合、前記第２の透かしデータ群における透かしデータの最大数をゼロにする工程には、プリエンファシスした疎透かしデータ群が前記第１の変換空間に射影された場合、前記第１の透かしデータ群内の非ゼロ・データが、前記第１の変換空間への射影後の、前記プリエンファシスした疎透かしデータ群の対応するデータと同じ値を有するように、プリエンファシスした疎透かしデータ群を生成するよう疎透かしデータ群の非ゼロ・データの値を修正する工程を含む方法。
【請求項１３】
請求項１乃至１２の何れか一項に記載の方法であって、前記所定の透かし入れ処理は、透かしビットｂｉが関連付けられる第１の係数群について、
｜Γ’１｜＝｜Γ’２｜＋ｄ＊Ｂｉ
の順序関係があてはまるように前記第１の係数群の最大で２つの係数Γ１及びΓ２の値を修正する工程を含み、
Γ’１及びΓ‘２は、２つの修正係数であり、
ｄは、マーキング距離と呼ばれるマーキング・パラメータであり、
Ｂｉは、ｂｉ＝０の場合、Ｂｉ＝１であり、ｂｉ＝１の場合、Ｂｉ＝−１であるように値が定義される係数である方法。
【請求項１４】
請求項１乃至９の何れか一項に記載の方法であって、請求項１３自体が請求項９に従属し、前記所定の透かし入れ処理が前記第１の係数群におけるＮ個の係数の値を修正する場合、前記第２の変換空間への射影の工程は、前記第２の透かしデータ群のデータをゼロにする工程、及び、第２の非ゼロ透かしデータ群のＭ個のデータの値を修正し、プリエンファシスした疎透かしデータ群が前記第１の変換空間に射影された場合、前記第１の透かしデータ群におけるＮ個の非ゼロデータそれぞれが、前記第１の変換空間への射影後に前記プリエンファシスした疎透かしデータ群の対応するデータと同じ値を有するように前記Ｍ個の非ゼロ・データの値及び位置が判定される工程と組み合わせて行われ、Ｎ≧１であり、Ｍ≧１である方法。
【請求項１５】
請求項１４記載の方法であって、Ｍ＝２であり、Ｎ＝２である方法。
【請求項１６】
請求項１４又は１５に記載の方法であって、前記プリエンファシスした疎透かしデータ群に関連付けられた二次エネルギが、前記プリエンファシスした疎透かしデータ群の二乗の係数の和の平方根に等しい方法。
【請求項１７】
請求項１乃至１６の何れか一項に記載の方法であって、前記射影工程は、前記第１の透かしデータ群に、前記第１の変換の逆の変換を施す工程、及び、次いで、前記逆の変換による変換後に前記第１の透かしデータ群に前記第２の変換を施す工程を含む方法。
【請求項１８】
請求項１乃至１７の何れか一項に記載の方法であって、前記データ・セットは、
画像系列タイプのデータ、
オーディオ・タイプのデータ、及び
３Ｄタイプのデータを有する群に属する方法。
【請求項１９】
データ・セットに透かしを入れる装置であって、
前記セットの少なくとも１つのデータ群を第１の係数群に第１の変換空間において変換する第１の手段と、
前記第１の係数群に透かしを入れる第１の所定の透かし入れ手段とを備え、
前記第１の係数群の係数に対して前記第１の透かし入れ手段によって引き起こされる修正を表す第１の透かしデータ群を生成する手段と、
前記第１の透かしデータ群を第２の変換空間へ射影する手段であって、第２の透かしデータ群を生成する手段と、
前記少なくとも１つのデータ群を第２の係数群に前記第２の変換空間において変換する第２の手段と、
前記第２の係数群に、前記第２の透かしデータ群により、透かしを入れる第１の透かし入れ手段とを更に備える装置。
【請求項２０】
コンピュータ・プログラムであって、前記プログラムがコンピュータ上で実行されると、請求項１乃至１８の何れか一項に記載の方法の工程を実行するプログラム・コード命令を備えるコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、透かしを入れる装置及び方法に関し、特に、圧縮ディジタル・データのストリームに指紋を挿入する装置及び方法に関する。
【背景技術】
【０００２】
本発明は、ディジタル・データに透かしを入れる一般的な分野に関する。特に、本発明は、指紋をディジタル・データに挿入する、透かし入れの特定の適用例に関する。本明細書では以降、「指紋」及び「透かし」の語は同義で用いて、圧縮ディジタル・データに挿入されるディジタル符号を表す。ディジタル・コンテンツ（例えば、ビデオ。オーディオや３Ｄデータ等）を保護するために、配信されるデータ・ストリームそれぞれに、一意の指紋に挿入して、コンテンツの送信を認可した個人又は機関を認可なしで識別することが知られている。よって、映画のプロモーション中に、別々の指紋を利用して透かしを入れたＤＶＤが、選択された個人に発送される。漏洩の場合、指紋を再構成することにより、漏洩の元凶を明らかにすることが可能である。他の適用例が考えられる。すなわち、透かしを入れ、それにより、職務又は受益者を識別するか、又は補助データ（メタデータ）を透かしによって送信することが可能になる。一般に、経済性の理由で、しかし、算出容量及び時間的制約も理由で、透かし入れはストリーム単位で行われる（すなわち、エントロピ符号化前の圧縮データへの透かし入れ）。このようにして透かしを入れたビデオは、複数の変換（例えばトランスコーディングなど）を経る。しかし、現在の透かし入れの手法の大半により、挿入された透かしは、圧縮パラメータ（例えば、使用される変換のタイプ）に依存し、よって、ビデオ・コンテンツが変換を経た場合に、透かし情報をその後復号化することが可能になる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は、従来技術の欠点の少なくとも１つを緩和することを目的とする。特に、本発明は、受け取られるデータの形式と無関係に、挿入された透かしの読み出しを可能にするように、使用圧縮パラメータ（例えば、変換のタイプ）と無関係に透かしを入れる、ストリーム単位の方法を提案する。
【課題を解決するための手段】
【０００４】
本発明は特に、データ・セットに透かしを入れる方法であって、
上記セットの少なくとも１つのデータ群を第１の変換Ｔ１により、第１の変換空間において第１の係数群に変換する第１の工程と、
所定の透かし入れ処理により、第１の係数群に透かしを入れる第１の透かし入れ工程と、
第１の係数群の係数に対して第１の透かし入れ工程によって引き起こされる修正を表す第１の透かしデータ群を生成する工程と、
第１の透かしデータ群の射影の第１の工程であって、該工程が第２の透かしデータ群を生成する工程と、
データ群を第２の変換により、第２の変換空間において第２の係数群に変換する第２の工程と、
第２の係数群に第２の透かしデータ群によって透かしを入れる第２の透かし入れ工程とを含む方法に関する。
【０００５】
好ましくは、射影の工程は、第１の透かしデータ群に、第１の変換Ｔ１と逆の変換を施し、次いで、逆変換による変換後に第１の透かしデータ群に第２の変換Ｔ２を施す。
【０００６】
好ましくは、第１の透かしデータ群は、第１の係数群の係数毎に、第１の透かし入れ工程後の係数と第１の透かし入れ工程前の係数との間の差を第１の係数群の係数毎に算出することによって生成される。第１の透かし入れ工程によって修正される係数が分かれば、差は前述の係数についてのみ算出され、その他の差はゼロにセットされる。
【０００７】
好ましい実施例によれば、第２の係数群に透かしを入れる第２の工程は、第２の係数群の係数それぞれに第２の透かしデータ群の対応するデータを加える工程を含む。
【０００８】
特定の実施例によれば、データ・セットは、画像系列の符号化データを備え、上記セットのデータ群は、系列の画像のうちの１つの画素ブロックの符号化データを備え、方法の工程は、復号化後に上記セットのデータ群に施される。
【０００９】
好ましくは、データ・セットは、
Ｈ．２６４、
ＭＰＥＧ−２及び
ＶＣ１
を有する標準の組に属する符号化標準の１つによって符号化されたデータを備える。
【００１０】
効果的には、方法の工程は、系列のその他の画像と無関係に符号化された、系列の画像に属する画素ブロックの符号化データを備えるデータ群のみに施される。
【００１１】
特定の特徴によれば、第１の変換Ｔ１は、８×８画素のサイズの画素ブロックを処理する離散コサイン変換である。
【００１２】
別の特徴によれば、第２の変換Ｔ２は、４×４画素のサイズの画素ブロックを処理する離散コサイン変換を近似する整数変換である。
【００１３】
効果的な実施例によれば、関連付けられた透かしエネルギを最大にする一方で、第２の透かしデータ群の透かしデータの最大数をゼロにする工程が続き、この工程は、疎透かしデータ群を生成する。第２の透かしデータ群に関連付けられた透かしのエネルギは、第２の透かしデータ群の二乗のデータの和の平方根に比例する。
【００１４】
好ましくは、所定の透かし入れ処理が、第１の係数群における単一の係数の値を修正する場合、第２の透かしデータ群における透かしデータの最大数をゼロにする工程には、プリエンファシスした疎透かしデータ群が第１の変換空間に射影された場合、第１の透かしデータ群内の非ゼロ・データは、第１の変換空間への射影後の、プリエンファシスした疎透かしデータ群の対応するデータと同じ値を有するように、プリエンファシスした疎透かしデータ群を生成するよう疎透かしデータ群の非ゼロ・データの値を修正する工程を含む。
【００１５】
効果的な特徴によれば、所定の透かし入れ処理は、透かしビットｂｉが関連付けられる第１の係数群について、
｜Γ１’｜＝｜Γ２’｜＋ｄ＊Ｂｉ
の順序関係があてはまるように第１の係数群の最大で２つの係数Γ１及びΓ２の値を修正する工程を含む。
ここで、Γ１’及びΓ２’は修正された２つの係数であり、
ｄは、マーキング距離と呼ばれるマーキング・パラメータであり、
Ｂｉは、ｂｉ＝０の場合、Ｂｉ＝１であり、ｂｉ＝１の場合、Ｂｉ＝−１であるように値が定義される係数である。
【００１６】
別の効果的な実施例によれば、所定の透かし入れ処理が第１の係数群におけるＮ個の係数の値を修正する場合、第２の変換空間への射影の工程は、第２の透かしデータ群のデータをゼロにする工程及び第２の非ゼロ透かしデータ群のＭ個のデータの値を修正し、よって、プリエンファシスされた疎透かしデータ群を生成する工程の組み合わせによって行われる。Ｍ個の非ゼロ・データの値及び位置は、プリエンファシスされた疎透かしデータ群に関連付けられた二次エネルギが最小にされるように、かつ、プリエンファシスされた疎透かしデータ群が第１の変換空間に射影されると、第１の透かしデータ群におけるＮ個の非ゼロ・データそれぞれが、第１の変換空間への射影後のプロエンファシスされた疎透かしデータ群の対応するデータと同じ値を有するように判定される。ここで、Ｎ≧２及びＭ≧２である。好ましくは、Ｎ＝Ｍ＝２であり、プリエンファシスされた疎透かしデータ群に関連付けられた二次エネルギが、プリエンファシスされた疎透かしデータ群の二乗の係数の和の平方根に等しい。
【００１７】
効果的には、データ・セットは、
画像系列タイプのデータ、
オーディオ・タイプのデータ、及び
３Ｄタイプのデータ
を有する群に属する。
【００１８】
本発明は、データ・セットに透かしを入れる装置であって、
上記セットの少なくとも１つのデータ群を第１の変換空間において第１の係数群に変換する第１の手段と、
第１の係数群に透かしを入れる第１の所定の透かし入れ手段と、
第１の係数群の係数に対する、第１の透かし手段によって引き起こされる修正を表す第１の透かしデータ群を生成する手段と、
第１の透かしデータ群を第２の変換空間に射影する手段であって、第２の透かしデータ群を生成する手段と、
データ群を第２の変換空間において第２の係数群に変換する第２の手段と、
第２の係数群に第２の透かしデータ群によって透かしを入れる第１の透かし入れ手段とを備える装置にも関する。
【００１９】
本発明は、プログラムがコンピュータ上で実行されると、本発明による方法の工程を実行するためのプログラム・コード命令を備えるコンピュータ・プログラムにも関する。
【発明を実施するための最良の形態】
【００２０】
本発明は、添付図面を参照して、完全に非限定的である効果的な例示的実施例及び実現態様を用いて、より深く理解され、例証されるであろう。
【実施例】
【００２１】
本発明は、画像を圧縮するために使用される圧縮パラメータと無関係に画像又はビデオの系列に透かしを入れる方法に関する。系列の各画像は、少なくとも１つの輝度値にそれぞれが関連付けられた画素を備える。２つの画素ブロックが加算される場合、このことは、一方のブロック内の座標（ｉ，ｊ）を有する画素に関連付けられた値が、他方のブロック内の座標（ｉ，ｊ）を有する画素に関連付けられた値に加算されることを表す。２つの画素ブロックが減算される場合、このことは、一方のブロック内の座標（ｉ，ｊ）を有する画素に関連付けられた値が、他方のブロック内の座標（ｉ，ｊ）を有する画素に関連付けられた値から減算されることを表す。同様に、画素ブロックを同様のサイズの係数のマトリクスＭに加算することが可能であるか、又は画素ブロックから同様のサイズの係数のマトリクスＭを減算することが可能であり、ブロック内の座標（ｉ，ｊ）を有する画素に関連付けられる値は、マトリクスにおいてＭ（ｉ，ｊ）と表す位置（ｉ，ｊ）における係数の値から加算又は減算される。一般に、マトリクスは、係数ブロックで識別することが可能である。本発明は、ＩＳＯ／ＩＥＣ  １４４９６−１０（「Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  −  Ｃｏｄｉｎｇ  ｏｆ  ａｕｄｉｏ−ｖｉｓｕａｌ  ｏｂｊｅｃｔｓ  −  Ｐａｒｔ  １０    Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ」と題する）という刊行物に開示されたようなＭＰＥＧ−４  ＡＶＣビデオ符号化標準によって符号化されたビデオ・ストリームについてより具体的に開示されている。ＭＰＥＧ−２、ＭＰＥＧ−４やＨ．２６４などの従来のビデオ圧縮標準によれば、画像系列の画像は、イントラ・タイプの画像（Ｉ画像、すなわち、系列のその他の画像を参照することなく符号化される）、又はインター・タイプの画像（すなわち、Ｐ画像及びＢ画像、系列の他の画像に基づいて予測されることによって符号化される）であり得る。画像は一般に、マクロブロックに分割される。マクロブロック自体は、（Ｎ×Ｐブロックと呼ばれる）Ｎ画素×Ｐ画素のサイズの素な画素ブロックに分割される。前述のマクロブロック自体は、イントラ符号化モード又はインター符号化モードによって符号化される。特に、Ｉ画像内のマクロブロックは全て、イントラ・モードによって符号化される一方、Ｐ画像内のマクロブロックはインター・モード又はイントラ・モードによって符号化することが可能である。場合によっては予測されているマクロブロックは、その後、変換（例えば、ＤＣＴと表す離散コサイン変換、又は、アダマール変換）を用いてブロック単位で変換される。こうして変換されたブロックは、量子化され、次いで、一般に可変長符号を用いて符号化される。ＭＰＥＧ−２標準の具体的なケースでは、サイズが１６×１６画素のマクロブロックが、８×８ブロックに分割され、８×８ブロック自身が８×８ＤＣＴによって８×８ブロックに変換される。Ｈ．２６４の場合、輝度成分に関するイントラ・タイプのマクロブロックを、イントラ４×４モードにより、又はイントラ１６×１６モードによって符号化することが可能である。イントラ４×４モードによって符号化されたイントラ・マクロブロックは、素な１６個の４×４ブロッ��に分割される。各４×４ブロックは、因果的な近傍に位置する特定の近傍ブロックに対して空間的に予測される。すなわち、各４×４ブロックには、近傍ブロックに基づいて生成される４×４予測ブロックが関連付けられる。４×４残差ブロックが、４×４ブロックそれぞれから、関連付けられた４×４予測ブロックを減算することによって生成される。こうして生成された１６個の残差ブロックは、４×４ＤＣＴを近似する４×４整数Ｈ変換によって変換される。イントラ１６×１６モードによって符号化されるイントラ・マクロブロックは、因果的な近傍に位置する特定の近傍マクロブロックに対して空間的に予測される。すなわち、１６×１６予測ブロックは、近傍マクロブロックに基づいて生成される。残差マクロブロックは、イントラ・マクロブロックから、関連付けられた予測マクロブロックを減算することによって生成される。この残差マクロブロックは、１６個の素な４×４ブロックに分割される。１６個の素な４×４ブロックはＨ変換によって変換される。こうして得られた１６個の低周波係数（ＤＣ係数と呼ばれる）は、今度は、４×４アダマール変換によって変換される。本明細書では以降、マクロブロックに施される変換Ｈは、マクロブロックがイントラ４×４モードで符号化された場合、マクロブロックの４×４ブロックそれぞれに施される４×４のＨ変換を表し、マクロブロックがイントラ１６×１６で符号化された場合、マクロブロックの４×４ブロックそれぞれに施される４×４のＨ変換、及びこれに続く、ＤＣ係数に施されるアダマール変換を表す。
【００２２】
８×８ブロックに対して、ＤＣＴ変換空間において動作する透かし読み出し処理が存在している。前述の読み出し処理は特に、種々の処理により、ＤＣＴ変換空間に挿入される透かしを読み出すことを可能にする。
【００２３】
例えば、透かしを入れる対象の画像の
【数１】
2009518912.tif 000003
と表す８×８変換ブロックに対して、ＤＣＴ変換空間において施される第１の透かし入れ処理は、Γ１及びΓ２と表す、そのＤＣＴ係数のうちの２つの絶対値間に存在する順序関係を場合によってはブロック
【数２】
2009518912.tif 000004
毎に修正する工程を含む。一般に、前述の２つの係数は、秘密鍵を利用して特定のブロックについて選択される。ブロック
【数３】
2009518912.tif 000005
に関連付けられた指紋のビットｂｉが、２つの係数Γ１及びΓ２の絶対値間に存在する順序関係を修正することにより、このブロックに挿入される。透かしの可視性を検査するために、
｜｜Γ１｜−｜Γ２｜｜＜Ｓ
の関係があてはまる場合にのみ、ブロックの係数が修正される。  ここで、Ｓはパラメータ化可能な閾値である。
係数Γ１及びΓ２は、
｜Γ１’｜＝｜Γ２’｜＋ｄ＊Ｂｉ  （１）
の順序関係があてはまるように修正される。
ここで、Γ１’及びΓ２’は修正係数であり、
ｄは、マーキング距離と呼ばれるマーキング・パラメータであり、
Ｂｉは、ｂｉ＝０の場合、Ｂｉ＝１であり、ｂｉ＝１の場合、Ｂｉ＝−１であるように値が定義される係数である。
順序関係が既にあてはまる場合、２つの係数の何れも修正されない。
Γ１及びΓ２は、前述の関係を確実にするような種々のやり方で修正することが可能である。ｅ１＝Γ１’−Γ１であり、ｅ２＝Γ２’−Γ２であると定義すると、ｅ１及びｅ２の値は、
ｅ１＝−Γ１＋ｓｉｇｎ（Γ１）＊（ｆ１（Γ１，Γ２）＋ｄ１）であり、
ｅ２＝−Γ２＋ｓｉｇｎ（Γ２）＊（ｆ２（Γ１，Γ２）＋ｄ２）
であるようにブロック
【数４】
2009518912.tif 000006
毎に定義される。関数ｆ１の選択は自由であり、例えば、ｆ１（Γ１，Γ２）＝ｆ２（Γ１，Γ２）＝｜Γ２｜を選ぶことが可能である。例えば、ｂｉ＝０の場合、ｄ２＝−｜Γ２｜及びｄ１＝−｜Γ２｜＋ｄを選ぶと、順序関係（１）は実際にあてはまる。ｂｉ＝１の場合、ｄ１＝−｜Γ２｜及びｄ２＝−｜Γ２｜＋ｄを選ぶと、順序関係（１）はやはりあてはまる。ｄの値及びＳの値は、アプリケーションの関数として変動し、特に、海賊行為のリスクの関数として変動する。特に、ｄの値が高くなるほど、透かしはよりロバストになるが、よりよく目に見えるようになる。よって、画像系列の好適な視覚品質を維持するために、マーキング力は制限しなければならない。
【００２４】
例えばＤＣＴ変換空間において施される第２の透かし入れ処理では、ブロック
【数５】
2009518912.tif 000007
毎の単一の係数Γ１は、ｂｉ＝０の場合、｜Γ１’｜＝λであり、ｂｉ＝１の場合、｜Γ１’｜＝μであるように修正される。値λ又はμは、透かしビットｂｉを識別することができるために透かし読み出し器が実際に読み出さなければならない係数Γ１の値を表す。前述の透かし入れ処理、及び、よって、透かしを読み出す処理は、８×８変換ブロックに対してＤＣＴ変換空間において処理するよう既に策定されている。
【００２５】
本発明は、前述の２つの処理に限定されることなく、所定の透かし処理（例えば、前述の２つの透かし処理のうちの１つなど）に基づいて透かしを入れる、ストリーム単位の方法を提案している。本発明による、透かしを入れる方法は、使用される圧縮パラメータと無関係である。上記方法は特に、変換のタイプと無関係である。上記方法により、したがって、受信されるデータの形式と無関係に、別の変換領域（例えばＨ）において挿入された透かしを特定の変換領域（例えばＤＣＴ）において読み出すことが可能になる。特定の実施例によれば、本発明により、ＭＰＥＧ−４  ＡＶＣ標準によって符号化された画像系列に透かしを入れることが可能になる。本発明によって挿入された透かしは、８×８ブロックに対してＤＣＴ変換空間で動作する透かし読み出し器によってもう一度読み出すことが可能である。
【００２６】
本発明の第１の実施例を図１に示す。画像系列のうちの、Ｉ画像と示すイントラ画像、特に前述の画像の輝度成分のみに透かしが入れられる。本発明による方法は、Ｍ１６×１６と表す１６×１６マクロブロックについて説明し、好ましくは、Ｉ画像の１６×１６マクロブロック全てに施される。
【００２７】
工程１０では、マクロブロックを再構成するために、マクロブロックＭＢ１６×１６に対応する符号化データ・ストリームの部分を復号化する（例えば、エントロピ符号化、逆量子化、逆変換、及び空間予測子の付加（Ｈ．２６４標準の場合））。方法の残りは、再構成されたマクロブロックＭＢ１６×１６の、Ｂ８×８と表す８×８ブロックについて説明し、このマクロブロックの８×８ブロック全てに施される。
【００２８】
工程１１では、８×８ＤＣＴ変換により、
【数６】
2009518912.tif 000008
と表す８×８変換ブロックにブロックＢ８×８を変換する。
【００２９】
工程１２では、所定の透かし入れ処理（例えば、前述の第１の透かし入れ処理、第２の透かし入れ処理や、ＤＣＴ変換空間において画像に透かしを入れることを可能にする何れかの他の透かし入れ処理によって、ブロック
【数７】
2009518912.tif 000009
に透かしを入れる。ブロック
【数８】
2009518912.tif 000010
に割り当てられる透かしビットは、ブロック
【数９】
2009518912.tif 000011
が属するＩ画像に挿入される対象の指紋によって判定される。この工程は、
に割り当てられる透かしビットは、ブロック
【数１０】
2009518912.tif 000012
と表す、透かしを入れたブロックを生成することを可能にする。
【００３０】
工程１３では、ブロック
【数１１】
2009518912.tif 000013
をブロック
【数１２】
2009518912.tif 000014
から減算して、コントリビューション・マトリクスと呼ばれ、ＭＤＣＴと表す第１のデータ群又は透かし係数群を生成する。別の実施例によれば、この差は、透かし入れに適切なブロックの係数（すなわち、透かし入れによって修正されたブロックの係数）に対してのみ算出される。
【００３１】
工程１４では、マトリクスＭＤＣＴをベースＨで表す（マトリクスＭＤＣＴをＨ空間に射影して、やはりコントリビューション・マトリクスと呼ばれ、ＭＨと表す第２のデータ群又は透かし係数群を生成する）。この目的で、逆ＤＣＴ変換をマトリクスＭＤＣＴに施してマトリクス
【数１３】
2009518912.tif 000015
を生成する。その後、Ｈ変換をマトリクス
【数１４】
2009518912.tif 000016
の４×４ブロックそれぞれに施して、コントリビューション・マトリクスＭＨをＨ空間で生成する。ベースの変更は、ＤＣＴベースで１つ又は２つの係数に集中された透かし入れによって引き起こされた修正をいくつかの係数にわたって分布させる効果を有する。図２は、所定の透かし入れ処理がＤＣＴ空間において単一の係数を修正し、その他はゼロである一方、マトリクスＭＨでは、数多くの係数が非ゼロであるケースを示す。この図では、非ゼロ係数は十字形によって表す。
【００３２】
マクロブロックＭＢ１６×１６の８×８ブロックそれぞれに関連付けられた４つのコントリビューション・マトリクスＭＨが生成されると、次いで、４つのコントリビューション・マトリクスＭＨを工程５１で集約して、サイズ１６×１６のコントリビューション・スーパーマトリクスＳＭＨを形成し、よって、マトリクスＭＨそれぞれは、マクロブロックＭＢ１６×１６において関係付けられた８×８ブロックと同じ位置をスーパーマトリクスＳＭＨにおいて有する。マクロブロックＭＢ１６×１６がイントラ１６×１６モードによって符号化される場合、４×４アダマール変換がスーパーマトリクスＳＭＨの１６個のＤＣ係数に施される。マクロブロックＭＢ１６×１６が何れもイントラ１６×１６モードによって符号化されない場合、この工程を省略することが可能である。
【００３３】
工程１６で、工程２２で生成された空間予測子をマクロブロックＭＢ１６×１６から減算して残差マクロブロックを生成する。残差マクロブロックは、工程１７でＨ変換によって変換され、場合によっては４×４アダマール変換に変換される（ＭＰＥＧ−４  ＡＶＣによる）。こうして生成されたマクロブロックは
【数１５】
2009518912.tif 000017
と表す。
【００３４】
書込空間とも呼ばれるＨ変換空間における透かし入れの工程１８では、次いで、コントリビューション・スーパーマトリクスＳＭＨをマクロブロック
【数１６】
2009518912.tif 000018
に加算して、
リビューション・スーパーマトリクスＳＭＨをマクロブロック
【数１７】
2009518912.tif 000019
と表す、透かしを入れたマクロブロックを生成する。ＭＰＥＧ−４  ＡＶＣの変換空間において透かしを入れたマクロブロック
【数１８】
2009518912.tif 000020
は次いで、工程１９で量子化され、次いで、工程２０でエントロピ符号化によって符号化される。
【００３５】
透かしを入れる対象のＩ画像に関するデータ全ては、処理されると、系列のその他の画像に関するデータを特に備える非復号化ディジタル・データの初期ストリームのその他のデータと多重化される。
【００３６】
工程１９で量子化されたマクロブロック
【数１９】
2009518912.tif 000021
には、工程２１で、逆量子化及び逆変換（逆Ｈ変換に対応し、場合によっては、４×４アダマール変換を考慮に入れる）が施される。こうして生成されたマクロブロックには、マクロブロック
【数２０】
2009518912.tif 000022
を空間予測するために工程１６で利用された空間予測マクロブロックが加算される。こうして生成されたマクロブロックをメモリに記憶して、将来のマクロブロックの空間予測に利用する。
【００３７】
図３によって示す別の実施例によれば、マトリクスＭＨは工程１４１中に間引かれる（すなわち、透かし入れによる修正を制限する一方で、透かしの挿入に関するビット・レートにおける増加を制限するように、工程１８で行われる透かし入れの前に、その係数の一部がゼロにされる）。こうして生成された疎マトリクスは図２でＭＣＨと表す。この図は、所定の透かし入れ処理が、８×８ブロック毎に単一のＤＣＴ係数のみを修正する特定のケースを示す。マトリクスＭＨが疎であるほど、ＤＣＴ変換空間において生成される透かしはより変形され、そのエネルギはより低減されることになる。前述の影響を最小にするために、選択される疎マトリクスＭＣＨは、疎マトリクスのエネルギＥＭＣ×マトリクスＭＣＨの疎性ＴＣの積を最大にするマトリクスである。ＤＣＴ変換空間における透かしエネルギに比例するエネルギＥＭＣは、
【数２１】
2009518912.tif 000023
として定義される。ＴＣは、マトリクスＭＣＨのゼロ係数の数の、マトリクスＭＣＨの係数の合計数に対する比に等しい。疎マトリクスＭＣＨは、例えば、積ＥＭＣ×ＴＣを最大にするものを求めて、ＭＨから作成される疎マトリクスの
【数２２】
2009518912.tif 000024
と表す集合から、全数サーチすることによって選択される。この目的で、積ＥＭＣ＊ＴＣが、集合
【数２３】
2009518912.tif 000025
のマトリクスそれぞれについて算出され、メモリに記憶される。積ＥＭＣ＊ＴＣを最大にする集合
【数２４】
2009518912.tif 000026
のマトリクスが選択され、メモリに記憶される。変形によれば、透かしエネルギの最小値は固定である。この値は、
【数２５】
2009518912.tif 000027
に等しい疎マトリクスのエネルギの最小値に対応する。選択される疎行列ＭＣＨは、最大数のゼロ係数を有し、そのエネルギが
【数２６】
2009518912.tif 000028
以上である疎マトリクスを集合
【数２７】
2009518912.tif 000029
において判定する工程を含む。制約付き最適化は、ラグランジュ手法によって行うことが可能である。変形によれば、透かしのエネルギを特徴付けるために使用する疎マトリクスのエネルギは、例えば、前述の式（２）を係数の空間周波数の関数として重み付けすることにより、違ったふうに定義することが可能である。この目的で、係数の周波数が高いほど、この係数に割り当てられる重みが低くなる。
【００３８】
特定の実施例によれば、マトリクスＭＣＨは、工程１８で行われる透かし入れ前にプリエンファシス又は前置補償して、ＤＣＴ空間内の透かしの読み出しを擾乱する、行列ＭＨを間引きする工程により、ＤＣＴ変換空間にもたらされるバイアスを考慮に入れる。プリエンファシスされた疎マトリクスはＭＣＡＨと表す。プロエンファシスする工程１４２では、疎マトリクスＭＣＨの非ゼロ係数を修正し、このマトリクスが所望の読み出し結果に、読み出し空間（すなわち、透かし入れによって引き起こされた修正の読み出しが行われる空間。この場合、ＤＣＴ空間）において考えられる最も近いものであるようにマトリクスＭＣＡＨを生成して、例えば、平均二乗誤差
｜｜ＭＣＡＨ−ＭＨ｜｜２を最小にする。図２に示すこの実施例は、例えば、８×８変換ブロックに透かしを入れるために用いる所定の透かし入れ処理が、本明細書の冒頭に記載した第２の透かし入れ処理と同様に、単一の係数Γ１のみを修正する場合にマトリクスＭＣＨをプリエンファシスすることを可能にする。修正係数Γ１がブロック
【数２８】
2009518912.tif 000030
内の（ｉ０，ｊ０）に位置し、｜Γ１’｜＝λであると仮定する。ＤＣＴ変換空間にＭＣＨを射影することによって得られるマトリクスＭ’ＤＣＴにおいて、位置（ｉ０，ｊ０）における係数は、値Δ＝λ−｜Γ１｜の代わりに値αを有する。これのみが、透かしビットｂｉの正しい読み出しを可能にする。マトリクスＭＣＨはよって、プリエンファシスして、ＭＣＡＨと表す疎マトリクスを生成し、よって、マトリクスＭ’’ＤＣＴ内の位置（ｉ０，ｊ０）における係数の値、ＤＣＴ変換空間へのＭＣＡＨの射影はΔに等しい。本発明による実施例では、マトリクスＭＣＡＨは以下のように定義される。すなわち、
マトリクスＭＣＨのゼロ係数全ての場合、ＭＣＡＨ（ｉ，ｊ）＝０であり、
マトリクスＭＣＨのその他の係数の場合、ＭＣＡＨ（ｉ，ｊ）＝１／βＭＣＨ（ｉ，ｊ）であり、ここで
【数２９】
2009518912.tif 000031
であり、α≠０であり、αは、疎マトリクスＭＣＨのＤＣＴ空間内の位置（ｉ０，ｊ０）における係数である。このプリエンファシスにより、コントリビューション・マトリクスＭ’’ＤＣＴにおける透かし入れによって修正される、位置（ｉ０，ｊ０）における係数が実際に値λ−｜Γ１｜を有し、したがって、透かし入れによって修正される係数Γ１の値が実際に値λを有することを確実にすることが可能になる。
【００３９】
好ましい実施例では、マトリクスＭＨは間引かれ、併せてプリエンファシスされる。所定の透かし入れ処理が、本明細書の冒頭に記載した第１の透かし入れ処理と同様に２つの係数Γ１及びΓ２を修正する場合、ブロックＢ８×８に関連付けられたコントリビューション・マトリクスＭＤＣＴにおいて、２つの係数ｅ１及びｅ２のみが非ゼロである。マトリクスＭＣＡＨが次いでＭＤＣＴから直接判定される。その係数のうちの２つのみが非ゼロであるマトリクスであるＭＣＡＨは、以下の関係によって定義される。すなわち、
ＭＣＡＨ＝γ１Ｍ（Ｘ１）＋γ２Ｍ（Ｘ２）。ここでＭ（Ｘi）は、値が１に等しい、位置Ｘｉ（ｘｉ，ｙｉ）における係数以外の、その係数が全てゼロであるマトリクスである。前述のマトリクスＭＣＡＨは図４に表す。ＤＣＴ変換空間へのマトリクスＭＣＡＨの射影は
【数３０】
2009518912.tif 000032
と表す。
【００４０】
【数３１】
2009518912.tif 000033
の係数は、ｅ２’＝ｇ（γ１，γ２，Ｘ１，Ｘ２）を局所化している。値γ１及びγ２は、
ｆ＝（γ１，γ２，Ｘ１，Ｘ２）＝ｅ１及びｇ＝（γ１，γ２，Ｘ１，Ｘ２）＝ｅ２
の系の解である。。こうして判定された値γ１及びγ２は、Ｘ１及びＸ２の値に依存する。前述の最後の２つの値は、マトリクスＭＣＡＨにおいて考えられる位置対全ての全数探査によって判定される。対（Ｘ１，Ｘ２）毎に、結果として生じる値γ１及びγ２は、対応する二次エネルギＥ（γ１，γ２）と併せて算出される。選択されるＸ１及びＸ２の値は、Ｅ（γ１，γ２）を最小にして透かしの視覚効果を低減させる値である。２つの係数について説明したこの実施例は、Ｎ（｜Ｎ｜［ＡＬ１］≧１）個の係数に適用することが可能である。
【００４１】
別の実施例によれば、Ｉ個の画像の４×４ブロックそれぞれの量子化のために定義される量子化パラメータが修正される。透かし信号の変形の最大閾値が許容される。変形の尺度は、以下のように算出される、透かしを入れた量子化信号と透かしを入れた算出信号との間の平均二乗誤差（ＭＳＥ）である。
【００４２】
【数３２】
2009518912.tif 000034
ここで、ＳＨ（ｉ，ｊ）は、空間予測及び変換後の初期信号の座標（ｉ，ｊ）を備えた画素に関連付けられた値であり、
Ｓ’Ｈ（ｉ，ｊ）は、
は、透かしを入れた信号ＳＨ（ｉ，ｊ）の座標（ｉ，ｊ）を備えた画素に関連付けられた値であり、
【数３３】
2009518912.tif 000035
は、量子化後の信号
【数３４】
2009518912.tif 000036
の座標（ｉ，ｊ）を備えた画素に関連付けられた値である。
【数３５】
2009518912.tif 000037
である。特定の４×４ブロックの量子化パラメータは、引き起こされた変形が閾値ＳＴよりも低くなるまで低減させる。
【００４３】
図５は、使用される所定の透かし入れ処理が、２つの係数Γ１及びΓ２を修正する前述の第１の処理である場合のＨ変換において、本発明によって透かしを入れたデータ・ストリームの透かしを読み出すことを可能にする、ＤＣＴ変換空間において動作する従来の透かし読み出し処理を表す。復号化画像の８×８ブロックは工程５０で、８×８ＤＣＴによって変換される。透かし読み出し工程５１では、画像のマクロブロックそれぞれを処理し、関連付けられた透かしビットｂｉをもう一度読み出す。効果的には、本発明によれば、ＤＣＴ領域以外の表現領域においてこの透かし入れが行われている場合でも、前述の読み出し処理を再使用して、本発明による透かし入れ方法によって挿入された透かしを読み出すことが可能である。
【００４４】
本発明は、例えば、ＭＰＥＧ−４  ＡＶＣシンタックスによって符号化されたディジタル・データのストリームを入力として受け取る、図６によって示すような透かし入れ装置６にも関する。この装置は、本発明による方法を実現することができる。この図では、図示したモジュールは、物理的に区別可能な単位に対応してもしなくてもよい機能単位である。例えば、前述のモジュール、又はその一部は、単一の構成部分に集約することが可能であるか、又は同じソフトウェアの機能を構成し得る。逆に、特定のモジュールは場合によっては、別個の物理エンティティから構成され得る。特定の実施例によれば、Ｉ個の画像に関するデータのストリームの一部はその後、マクロブロックの再構成（すなわち、エントロピ復号化、逆量子化、逆変換、及び、場合によっては、マクロブロックの空間予測の付加（ＭＰＥＧ−４  ＡＶＣシンタックスによって符号化されるストリームの場合））を処理するモジュール６０によって復号化される。こうして再構成された画素ブロックはその後、モジュール６１によって変換される。透かし入れモジュール６２により、変換Ｔ１（例えば、ＤＣＴ）によって変換される画素ブロックに透かしを入れることが可能になる。透かし入れ装置は、こうして透かしを入れたブロックそれぞれから、透かしを入れていない対応するブロックを減算して、コントリビューション・マトリクスＭＤＣＴとも呼ばれる第１の透かし入れキューを生成することを可能にするモジュール７３を更に備える。モジュール６３は、マトリクスＭＤＣＴをＨ変換空間に射影し、より一般には変換空間Ｔ２に射影して、コントリビューション・マトリクスＭＨと呼ばれる第２の透かし入れキューを８×８ブロック毎に生成することを可能にする。このモジュールは、必要な場合、前述のコントリビューション・スーパーマトリクスを生成することも可能にする。装置は更に、任意的な空間予測モジュール６４、及び、Ｈ変換を処理し、より一般には変換Ｔ２を処理するモジュール６５を備える。モジュール６６は、モジュール６３によって生成された第２の透かし入れキューを前述の変換データに加算することにより、第２の変換空間においてモジュール６５によって変換されたデータに透かしを入れることを可能にする。モジュール６７は、透かしを入れたマクロブロックを量子化することを可能にする。装置は、逆量子化を処理するモジュール６８、及び逆変換を処理するモジュール６９も備える。更に、装置は、透かしを入れ、復号化したマクロブロックを記憶することも可能にするメモリ７０を備える。最後に、装置は、エントロピ符号化するためのモジュール７１、及び、符号化された初期ストリームのその他のデータと、本発明によって透かしを入れたデータを多重化することを可能にする多重化器７２を備える。モジュール６４、６８、６９及び７０は任意である。特に、復号化する前にデータを空間予測することを全ての符号化標準が必要とする訳でない。
【００４５】
当然、本発明は、前述の例示的な実施例に限定されるものでない。特に、当業者は、本願記載の実施例に対する如何なる変形も組み入れることが可能であり、前述を組み合わせてその種々の利点の恩恵を受けることが可能である。特に、Ｈ．２４６標準に基づいたビデオ符号化のフレームワークの範囲内で説明した本発明は、何れのタイプのサポート・データ（オーディオ、３Ｄデータ）にも拡張することが可能である。ＤＣＴ変換及びＨ変換について説明した本願の実施例は、何れのタイプの変換にも拡張することが可能である。一般に、本発明による、透かしを入れる方法では、第１の変換空間Ｔ１においてディジタル・データに透かしを入れ、前述の実施例におけるコントリビューション・マトリクスＭＤＣＴに対応する第１の係数群ＭＴ１をこの空間Ｔ１において生成し、これを別の変換空間Ｔ２に射影して、前述の実施例におけるコントリビューション・マトリクスＭＨに対応する第２の係数群を生成し、この変換空間Ｔ２においてデータに透かしを入れる。変換空間Ｔ１において動作する透かし読み取り器は次いで、変換空間Ｔ２に挿入された透かしをもう一度読み出すことが可能である。特に、本発明は、「ｐｒｏｐｏｓｅｄ  ＳＭＰＴＥ  Ｓｔａｎｄａｒｄ  ｆｏｒ  Ｔｅｌｅｖｉｓｉｏｎ    ＶＣ１  Ｃｏｍｐｒｅｓｓｅｄ  Ｖｉｄｅｏ  Ｂｉｔｓｔｒｅａｍ  Ｆｏｒｍａｔ  ａｎｄ  Ｄｅｃｏｄｉｎｇ  Ｐｒｏｃｅｓｓ  （ＭＰＴＥ  ４２１  Ｍと呼ばれる）」と題するＳＭＰＴＥ刊行物に開示されたＶＣ１標準などの他のビデオ符号化標準に適用することが可能である。本発明が、空間予測を使用しない符号化標準に使用される場合、本発明による方法の工程１６、２１及び２２は適用されない。同様に、第２の変換Ｔ２は、単一のサイズのブロック（例えば、８×８ブロック）のみを処理する場合、必ずしも施されない。本発明は、前述の透かし入れ処理に限定されない。更に、本発明は、イントラ画像の透かし入れに関して説明してきたが、予測画像にも適用することが可能である。
【図面の簡単な説明】
【００４６】
【図１】本発明による、透かしを入れる方法を示す図である。
【図２】ＤＣＴ変換空間及びＨ変換空間における種々のコントリビューション・マトリクスを表す図である。
【図３】本発明による、透かしを入れる方法の特定の実施例を示す図である。
【図４】本発明の特定の実施例によってプリエンファシスされる、Ｈ空間内の疎コントリビューション・マトリクスを表す図である。
【図５】ＤＣＴ変換空間において動作する透かし読み出し処理を示す図である。
【図６】本発明による、透かしを入れる装置を示す図である。
【図１】
2009518912.tif 000038
【図２】
2009518912.tif 000039
【図３】
2009518912.tif 000040
【図４】
2009518912.tif 000041
【図５】
2009518912.tif 000042
【図６】
2009518912.tif 000043
【国際調査報告】
2009518912.tif 000044
2009518912.tif 000045