(57)【要約】      （修正有）【課題】「縮小変換」され、フィルタ処理されたデータから透かし情報を検出する方法。【解決手段】リアルタイム画像にシフト処理やクロッピングに有効な耐性を持つ透かしを入れる技術が存在する。しかし、縮小変換やフィルタ処理に対して丈夫とはいえない。実施の形態に縮小変換及びフィルタ処理に耐性を有するよう、既存の透かし検出技術を改善する方法を示しており、「ＲＡＫＥ−ＳＰＯＭＦ」アルゴリズムを用い、縮小変換及びフィルタ処理で分散した弱い透かし検出ピークを収集、再結合する。提案のＲＡＫＥ−ＳＰＯＭＦ検出処理より前に、縮小変換画像について、どのように適切なアップサンプリングを行うべきかというガイドラインがある。縮小変換、フィルタ処理、シフト処理、クロッピング、ＭＰＥＧ圧縮の対象の透かし処理画像データのブラインド透かし検出を改善する点で有効であり、ＤＶＤ及びＤＶＢのコピー防止等のリアルタイム画像の透かし処理アプリケーションとして有用。【選択図】図１
2004248054.tif 000002
【特許請求の範囲】
【請求項１】
フィルタ処理された画像についての、ＳＰＯＭＦと共にＲＡＫＥを用いる透かし検出方法であって、前記方法は、
既知のフィルタ・インパルス応答に基づいてＲＡＫＥコンボリューションの最適空間マスクを導き出すステップと、
ＦＦＴ領域でＲＡＫＥコンボリューションを実行し、オリジナルのＳＰＯＭＦアルゴリズムを統合して、修正ＳＰＯＭＦアルゴリズムを得るステップと、
前記アルゴリズムを使用して透かしを取り出すステップと
を含む。
【請求項２】
フィルタ処理された画像についての、ＳＰＯＭＦと共にＲＡＫＥを用いる透かし検出方法であって、前記方法は、
既知のフィルタ・インパルス応答に基づいてＲＡＫＥコンボリューションの最適空間マスクを導き出すステップと、
線形フィルタ処理の効果を弱めるようにオリジナルのＳＰＯＭＦアルゴリズムの後、ＲＡＫＥコンボリューションを実行するステップと、
前記アルゴリズムを使用して透かしを取り出すステップと
を含む。
【請求項３】
フィルタ処理された画像についての、ＳＰＯＭＦと共にＲＡＫＥを用いる透かし検出方法であって、前記方法は、
実際に用いられている最も滑らかなフィルタで功を奏する離散値ＲＡＫＥコンボリューションマスクを用いるステップと、
ＦＦＴ領域でＲＡＫＥコンボリューションを実行し、オリジナルのＳＰＯＭＦアルゴリズムを統合して、修正ＳＰＯＭＦアルゴリズムを得るステップと、
前記アルゴリズムを使用して透かしを取り出すステップと
を含む。
【請求項４】
フィルタ処理された画像についての、ＳＰＯＭＦと共にＲＡＫＥを用いる透かし検出方法であって、前記方法は、
実際に用いられている最も滑らかなフィルタで功を奏する離散値ＲＡＫＥコンボリューションマスクを用いるステップと、
線形フィルタ処理の効果を弱めるようにオリジナルのＳＰＯＭＦアルゴリズムの後、ＲＡＫＥコンボリューションを実行するステップと、
前記アルゴリズムを使用して透かしを取り出すステップと
を含む。
【請求項５】
スケール処理され、フィルタ処理された画像についての、ＳＰＯＭＦと共にＲＡＫＥを用いる透かし検出方法であって、前記方法は、
スケール処理された画像を内在する透かしの正しい順序を含む元のサイズに復元するために、前記スケール処理された画像をサンプリングするステップと、
既知のフィルタ・インパルス応答に基づいてＲＡＫＥコンボリューションの最適空間マスクを導き出すステップと、
ＦＦＴ領域でＲＡＫＥコンボリューションを実行し、オリジナルのＳＰＯＭＦアルゴリズムを統合して、修正ＳＰＯＭＦアルゴリズムを得るステップと、
前記アルゴリズムを使用して透かしを取り出すステップと
を含む。
【請求項６】
スケール処理され、フィルタ処理された画像についての、ＳＰＯＭＦと共にＲＡＫＥを用いる透かし検出方法であって、前記方法は、
スケール処理された画像を内在する透かしの正しい順序を含む元のサイズに復元するために、前記スケール処理された画像をサンプリングするステップと、
既知のフィルタ・インパルス応答に基づいてＲＡＫＥコンボリューションの最適空間マスクを導き出すステップと、
線形フィルタ処理の効果を弱めるようにオリジナルのＳＰＯＭＦアルゴリズムの後、ＲＡＫＥコンボリューションを実行するステップと、
前記アルゴリズムを使用して透かしを取り出すステップと
を含む。
【請求項７】
スケール処理され、フィルタ処理された画像についての、ＳＰＯＭＦと共にＲＡＫＥを用いる透かし検出方法であって、前記方法は、
スケール処理された画像を内在する透かしの正しい順序を含む元のサイズに復元するために、前記スケール処理された画像をサンプリングするステップと、
実際に用いられている最も滑らかなフィルタで功を奏する離散値ＲＡＫＥコンボリューションマスクを用いるステップと、
ＦＦＴ領域でＲＡＫＥコンボリューションを実行し、オリジナルのＳＰＯＭＦアルゴリズムを統合して、修正ＳＰＯＭＦアルゴリズムを得るステップと、
前記アルゴリズムを使用して透かしを取り出すステップと
を含む。
【請求項８】
スケール処理され、フィルタ処理された画像についての、ＳＰＯＭＦと共にＲＡＫＥを用いる透かし検出方法であって、前記方法は、
スケール処理された画像を内在する透かしの正しい順序を含む元のサイズに復元するために、前記スケール処理された画像をサンプリングするステップと、
実際に用いられている最も滑らかなフィルタで功を奏する離散値ＲＡＫＥコンボリューションマスクを用いるステップと、
線形フィルタ処理の効果を弱めるようにオリジナルのＳＰＯＭＦアルゴリズムの後、ＲＡＫＥコンボリューションを実行するステップと、
前記アルゴリズムを使用して透かしを取り出すステップと
を含む。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ブラインド画像（スチル画像）の透かし検出の改善、特にスケール処理された画像（スチル画像）のある用途に関する。
【０００２】
【従来の技術】
デジタルマルチメディアデータの著作権を保護し、その真正性を証明し、不正な鑑賞や複写を防止する補完的な手段として、デジタル透かしが提案されている。デジタル透かしによって、知覚できない情報（「透かし」と呼ばれる）をデジタルマルチメディア（ホストデータと呼ばれる）の中に隠すために知覚できるデータを微妙に修正することで上述の目的を達成できる。ホストデータに透かしを隠すプロセスは、透かしの埋め込みと呼ばれる。埋めこまれた透かしはマルチメディアデータの一般消費者には気付かれてはならず、それによってそのマルチメディアデータの商品価値が維持される。このためには、透かし埋め込みの強度／振幅、したがって知覚できるデータの修正量を注意深くコントロールする必要がある。透かし埋め込み後、透かし入データと呼ばれる修正バージョンのホストデータが作成される。透かし検出器を使って透かし入りデータから隠された透かしを復元する。ふつう透かし検出器は透かしを復元するために元のホストデータを利用しない。これがブラインド透かし検出と呼ばれる。正しい秘密鍵を有する透かし検出器のみによって透かし入りデータから隠された透かしをうまく検出できるように、通常、透かしの埋め込み及び検出は秘密鍵を用いて行われる。これによって隠された透かしの安全性及び秘密性が守られ、そのため、透かしは認証されない人には容易に除去できない。
【０００３】
ＤＶＤ画像／画像データの複写や鑑賞制御用のアプリケーションについて、ＤＶＤ及びＤＶＢコンテンツのデジタル権利の取り扱いについてと同様に、空間的な広がりのあるスペクトラム画像透かしスキームは、Ｊ．Ｂｌｏｏｍ、Ｉ．Ｃｏｘ、Ｔ．Ｋａｌｋｅｒ、Ｊ．Ｐ．Ｌｉｎｎａｒｔｚ、Ｍ．Ｍｉｌｌｅｒ、Ｂ．Ｔｈｒａｗ著、「ＤＶＤ画像のコピープロテクション（”Ｃｏｐｙ  ｐｒｏｔｅｃｔｉｏｎ  ｆｏｒ  ＤＶＤ  ｖｉｄｅｏ”）」、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ、ｖｏｌ．８７、Ｊｕｌｙ  １９９９にレポートされていた。この文献では、それをミレニアム・アンド・ギャラクシー透かしスキームと呼んでおり、省略してＭ＆Ｇスキームともいう。
【０００４】
ＤＶＤコピープロテクション用のミレニアム・アンド・ギャラクシー（Ｍ＆Ｇ）プロポーザルにおいて、ブラインド検出を伴うシフト不変の画像透かしスキームが提案された。提案された画像透かしスキームのシステムブロック図を図１に示した（ＭＰＥＧコーデックは簡潔さのために除外する）。
【０００５】
元のＭ＆Ｇスキームにおける主要機能ブロックには、
・複数ビットペイロードについての透かしタイル生成（図１の１．１）
・埋め込み前の透かしスケール処理（図１の１．２）
・対称性最適位相適合フィルタ処理（ＳＰＯＭＦ）によるシフト不変ブラインド透かし検出（図１の１．３）
これらについて以下に詳述する。
【０００６】
（１）透かしタイル生成
この機能ブロックによって、ホスト画像データの複数フレームに繰り返し埋め込み用に準備するために擬似乱数透かしパターンを生成する。その操作は以下のように動作する。
（ａ）平均０、分散１のガウス数等の乱数を含んでいる、例えば１２８×１２８の行列を生成する。これはｗの符号で示される初期透かしパターンと呼ばれる。
【０００７】
（ｂ）ユーザの入力によって透かしデータＵを得る。Ｕは、１から１０２３までの間の任意の整数である。これは１０ビットの透かしに相当し、”１−１０２３”は単なる例として用いたものであり、他の範囲の整数値も用いることができる。ここで用いられた最大値の１０２３は、（１２８／Ｇ）２−１によって得られ、ここではＧ＝４がミレニアム・ギャラクシー画像透かしスキームにおけるグリッド間隔／サイズと呼ばれる。Ｇ＝４は例として用いたものであり、他の値をＧとして用いてもよい。
【０００８】
（ｃ）透かしタイルを生成する
ｉ）透かしペイロードＰ＝（Δｘ、Δｙ）に透かしデータＵを位置付けする。ここでΔｘとΔｙは、１−（１２８／Ｇ）からのそれぞれの位置である。
・一例を挙げると、ユーザ指定の透かしデータＵを３２で割る。
商（Ｕ  ｍｏｄ  ３２）＝Δｘ
余（Ｕ  ｍｏｄ  ３２）＝Δｙ
として透かしペイロードＰ＝（Δｘ、Δｙ）を得る。ここでΔｘ、Δｙは１−３２の整数である。ここで値３２は、Ｍ＆Ｇスキームのグリッド間隔／サイズであるＧを用いた１２８／Ｇによって得られる。デフォルトのＧは、一般資料から得られるＭ＆Ｇ資料で推奨されているように４を用いている。
ｉｉ）初期透かしパターンをＧ×ΔｘとＧ×Δｙピクセル毎に水平方向及び垂直方向にそれぞれシフトさせて、シフト透かしパターンｗ（Ｐ）を得る。デフォルトでＧ＝４である。
ｉｉｉ）透かしタイルＷ＝ｗ（Ｐ）−ｗを生成する。この透かしタイルは、隠された透かしデータＵを表すためにホストデータの連続フレームに繰り返して埋めこまれている。
（ｄ）この明細書では、一般性を失うことなく、初期透かしパターンのみを用いて繰り返し透かしタイルを生成している。一般的には、複数の初期透かしを用いてもよい。
【０００９】
（２）透かし除去及び埋めこみ
この機能ブロックでは、ホスト画像の構成に基づいて透かしピクセルの大きさをスケーリングし、それらをホスト画像データに埋めこみ、透かし処理された画像にＭＰＥＧビットストリームを圧縮する。その操作は以下のように動作する。
（ａ）透かしを埋めこむホスト画像について、νｉｊで表される画像ピクセルの輝度（Ｙ）の値を抽出する。透かしタイルＷは適切なスケーリングの後、νｉｊの中に埋めこまれる。
（ｂ）透かしタイルＷ（Ｐ）をホスト画像のフレーム範囲（例えば、４８０×７２０）にわたって繰り返して、タイルが敷き詰められた透かしフレーム｛Ｗｉｊ｝を生成する。
（ｃ）タイルを敷き詰められた透かしフレーム｛Ｗｉｊ｝の中の各ピクセル値Ｗｉｊに全体のスケール因子ｓと局所的なスケール因子λｉｊを掛けてｓ×λｉｊ×Ｗｉｊを得る。
ｉ）実施された実験の結果から、ｓ≦０．０５の場合に許容できる画像品質が得られることがわかった。これは、画像全体にわたって一定とする場合であるが、画像の範囲によって変えることもできる。
ｉｉ）λｉｊの値は、適当な人間の視覚モデルを適用することによって得られる。例えば、λｉｊは、ホスト画像に適用される３×３のラプラシアン・ハイパスフィルタの出力であってもよい。ラプラシアンフィルタマスクＬは、下記式で表される。
【００１０】
【数１】
2004248054.tif 000003
【００１１】
（ｄ）スケール処理された透かしタイル｛ｓ×λｉｊ×Ｗｉｊ｝にホスト画像のピクセルデータ｛νｉｊ｝を線形的に加算し、透かし処理された画像データ｛νｉｊ’｝を得る。
｛νｉｊ’｝＝｛νｉｊ｝＋｛ｓ×λｉｊ×Ｗｉｊ｝
（ｅ）新しいホスト画像フレーム毎に基づいて計算されたラプラシアンスケール因子λｉｊと、タイルで敷き詰められた同じ透かしフレーム｛Ｗｉｊ｝を用いて、画像のＫフレームにわたって上記埋めこみを繰り返す。通常、Ｋの値は３０−６０の範囲である。
（ｆ）透かし処理された画像（Ｙ，Ｕ，Ｖデータ）をＭＰＥＧ圧縮によって圧縮し、透かし処理された画像のビットストリームを得る。
【００１２】
（３）ＳＰＯＭＦによるシフト不変のブラインド透かし検出
この機能ブロックでは、そこにエンコードされている透かしデータを抽出するように隠されている透かしタイルを検出することを試みる。これは、「ブラインド」透かし検出の名前のように、元のマーキング処理されていない画像を用いることなく行われる。この検出方法は以下のステップで実行される。
（ａ）透かし処理されたビットストリームを復元し、全てのフレームのＹデータを抽出する。
（ｂ）各Ｙフレームを複数の１２８×１２８のブロックに収め、（シフトされた可能性のある同じ透かしタイルが埋めこまれている）Ｋ画像フレームの全体にわたってそれら全部のブロックを線形的に積み重ねて「タイルバッファ」Ｂを得る。
（ｃ）ＳＰＯＭＦを実行し、１２８×１２８相関行列を得て、下記ふるい処理（ｔｈｒｅｓｈｏｌｄｉｎｇ）によって検出ピークを得る。ＳＰＯＭＦＦ出力行列Ｄは、下記式で計算される。
Ｄ＝ＩＦＦＴ（ｐｈａｓｅ（ＦＦＴ（Ｂ））×ｐｈａｓｅ＊（ｗ）））
ここで、ｗは初期透かしパターンを表し、ｐｈａｓｅ（ｒｅｉθ）＝ｅｉθである。
（ｄ）試験用にビットストリームに埋めこまれた正当な透かしタイルを伴う正当な操作モードの下では、ふるい処理の後に相関行列Ｄから検出された１つの負のピークと１つの正のピークとが正になければならない。この条件の下で、負のピークのピクセル位置から正のピークのピクセル位置を差し引き、負のピークに対する正のピークの水平シフトｄｘと垂直シフトｄｙを得る。ｒｏｕｎｄ（ｄｘ／Ｇ、ｄｙ／Ｇ）として、値を丸めて推定される透かしペイロードＰ＝（Δｘ，Δｙ）を得る。最後に、推定値（Δｘ，Δｙ）を用いて、透かし埋めこみに使用されるのと同じマッピング規則を用いて、Ｐをもとの透かしデータＵに逆マッピングする。
タイル埋めこみと上記ＳＰＯＭＦ検出によって、シフト不変であり攻撃（ａｔｔａｃｋ）をクロッピング（ｃｒｏｐｐｉｎｇ）するＭ＆Ｇ透かしを提供する。
【００１３】
【発明が解決しようとする課題】
ＭＰＥＧの復号者及び再生者にとっては、一般消費者に提供する際に、画質向上のために、デブロッキング（ｄｅ−ｂｌｏｃｋｉｎｇ）フィルタやデリンギング（ｄｅ−ｒｉｎｇｉｎｇ）フィルタ等の２次元フィルタのいくつかの形態を画像出力の展開に適用することが通例である。フレームサイズが変化している場合（例えば、ＣＣＩＲからＣＩＦ又はＱＣＩＦに縮小変換されている場合）には、フィルタ処理もまた行われている。フィルタ処理によって埋めこまれた透かしタイルパターンは、歪められ、設計されたコンボリューションピークのそれぞれが水平及び垂直の両方向に空間的に汚されて、その結果、検出の信頼性が低下する。ある場合には、例えば、４×４の縮小フィルタ処理を２×２の縮小フィルタ処理の２回分として実行するというように段階的（ｉｎ  ｃａｓｃａｄｅ）にフィルタ処理を行ってもよい。そのような大きなフィルタ処理の場合には、一つの設計されたコンボリューションピークが段階的なフィルタのタップ位置に対応する複数の低い大きさのコンボリューションピークなってしまうばかりでなく、他の誤った位置に（サイドローブと呼ばれる）偽のコンボリューションピークを生じる場合がある。さらに、画像を縮小変換した場合には、埋めこまれた透かしとともに、多数のピクセルが捨てられてしまい、そのためコンボリューションピークは弱くなってしまう。複合した場合には、おそらく、透かし検出による画像の除去による透かし情報の検出に失敗するか、誤った情報を得るように導かれ、その結果、消費者のフラストレーションを生じる。
【００１４】
上記の問題点は、画像フレーム以上にわたって１２８×１２８の透かしタイルパターンを埋めこむように、透かしの拡張因子を増やしても満足するように解決しない。これは、導入された追加の全ての透かしタイルは、同様にフィルタ処理され、望んでいないコンボリューションピークの強さが比例して加わるためである。そのため、現状では、縮小変換及び／又はフィルタ処理に抗するには不十分である。
【００１５】
そこで、本明細書では、縮小変換され、フィルタ処理されたデータから透かし情報を検出する使いやすい方法を提供することを目的とする。さらに、上記課題を解決する手段によって、必要となる計算が可能な限り少なくなるようにする必要がある。ＤＶＤ及びＤＶＢアプリケーションでは、許容できる処理の待ち時間の限界に達しているので、記憶メモリ部材等のどのような必要なハードウエアによっても消費者の装置には費用がかかってしまう。
【００１６】
【課題を解決するための手段】
上述のように、拡散スペクトル透かし（ｓｐｒｅａｄ  ｓｐｅｃｔｒｕｍ  ｗａｔｅｒｍａｒｋ）についてのフィルタ処理の効果によって、設計された極性の高振幅の求めるコンボリューションピーク（以下、「メインコンボリューションピーク」又は「メインピーク」という）は、より低い振幅の複数のピーク（以下、「余分のコンボリューションピーク」又は「余分のピーク」という）に分散され、その際、求められるピークに近接して異なる極性となる可能性もある。用いられる初期透かしパターンが十分にランダムであり、透かし検出にＳＰＯＭＦアルゴリズムが用いられるという条件で、余分のコンボリューションピークのメインコンボリューションピークに対する相対位置は、中心のフィルタタップに対するＦＩＲフィルタタップの相対位置と等価であることがわかる。余分のコンボリューションピークの極性について同様のことが言える。
【００１７】
「ＲＡＫＥ結合」の概念を適用することによって、適当な極性補償と重み付けの後、余分のピークをメインピークに結合することができる。ＲＡＫＥ結合は、マルチパス・フェード効果の影響を弱める拡散スペクトル通信に用いられる周知の方法の一つである。マルチパス・フェード効果とは、送信された一つの信号が、異なるランダムな遅延と位相歪みと振幅減衰を伴う複数のコピーとして受信されることである。ＲＡＫＥ受信機は、受信した信号のそれぞれのコピーを別々に追跡し、復号する。合成した信号は、コヒーレントに結合され、出力される。これによって、図２に示すように（一つ一つのＲＡＫＥフィンガがマルチパスのそれぞれに割り当てられている）、マルチパス多様性を生じ、受信信号の品質を向上させることができる。
【００１８】
しかし、ＲＡＫＥ結合を適切に機能させるには、メインピークの位置をあらかじめ見つけておかなければならず、それによってメインピークの強度が向上するように余分のピークの位置が見出され、適切な重み付けがなされ、メインピークに加えられる。換言すれば、まず、受信機又は検出器の同期を達成しなければならない。縮小変換操作でのフィルタ処理及びダウン−サンプリング効果を伴うＤＶＤ／ＤＶＢ画像におけるブラインド透かし検出の場合には、メインピークは既に非常に低い振幅を持つ傾向があり、そのためにその位置を見出すことが困難となる。また、透かし処理された画像は、未知の透かし検出器をシフティング（ｓｈｉｆｔｉｎｇ）し、クロッピング（ｃｒｏｐｐｉｎｇ）することを条件とするので、メインピークを所定位置に配置することができない。旧来のＲＡＫＥ結合は、事前の同期なしには簡単な方法で利用することができない。
【００１９】
本発明は、図３に示すように、フィルタ処理され、縮小変換された画像からＳＰＯＭＦコンボリューションと並行してＲＡＫＥコンボリューションを利用して、後述するピーク検出及び透かし情報を復元する復号ステップによってブラインド透かし検出を実行する方法を提供する。図３で、モジュール３．１はＳＰＯＭＦ検出からの出力における空間領域で実行されるＲＡＫＥコンボリューションを示している。事実上、ＳＰＯＭＦコンボリューションは、タイルバッファの初期透かしパターンとの相関を低下（ｓｌｉｄｉｎｇ）させ、その一方、ＲＡＫＥコンボリューションは、分散検出ピークを集めて再結合することによってＳＰＯＭＦコンボリューション出力の検出ピークを増幅する。
【００２０】
計算効率のためにＲＡＫＥコンボリューションはＦＦＴ領域に導入され、元のＳＰＯＭＦアルゴリズムと統合されて、その結果、シフティング、クロッピング、フィルタ処理、縮小変換に耐性のあるブラインド透かし検出用の「ＲＡＫＥ−ＳＰＯＭＦ」検出アルゴリズムが生まれる。統合されたアルゴリズムは、図４のモジュール４．１として示した。本発明は、ＲＡＫＥコンボリューション用の最適空間マスクを決定する方法を提供する。また、本発明は、計算負荷を減らす別の２元のＲＡＫＥコンボリューションマスクを提供する。
【００２１】
本発明は、縮小変換及びフィルタ処理された透かし処理された画像ビットストリームから隠された透かし情報を抽出する方法を提案する。基本的に、それは元のＭ＆Ｇ透かし検出器におけるＳＰＯＭＦアルゴリズムを「ＲＡＫＥ−ＳＰＯＭＦ」と呼ばれる新しいアルゴリズムに修正することによってできる。
【００２２】
図５は、本発明の縮小変換及びフィルタ処理に耐性のある透かしシステムのブロック図を示している。ホスト画像のＹフレームには、現在のＭ＆Ｇ画像透かしスキームを用いて透かしが埋めこまれていると仮定する（５．１）。透かし処理されたＹフレームは、縮小変換及びフィルタ処理されていると仮定する（５．２）。そこに隠された透かしを検出するために、縮小変換されたＹフレームは、まずアップ−サンプリング操作によって元のサイズに戻す必要がある（５．３）。アップ−サンプリングされたＹフレームは、ＲＡＫＥ−ＳＰＯＭＦ透かし検出器によって処理され（５．４）、増幅された検出ピークを得、それに関連する配置によって隠された透かし情報を復元することができる。
【００２３】
縮小変換され、フィルタ処理された画像がさらにシフティング及びクロッピングの対象となった場合には、全てのＲＡＫＥ−ＳＰＯＭＦピークの絶対位置はシフトするが、それらの相対位置は変化しない。そのため、本発明は元のＭ＆Ｇ透かしスキームのシフティング及びクロッピングに対する耐性を維持している。
【００２４】
なお、この明細書では、フィルタ処理及び縮小変換を透かし処理された画像に同時に作用させているが、縮小変換を行うことなくフィルタ処理のみを行ってもよい。また、本発明は、透かし検出ピークを増幅するために、中間のアップサンプリング操作を行わないでもよい。
【００２５】
【発明の実施の形態】
（１）透かし埋め込み
透かし埋め込みは、Ｍ＆Ｇスキームに記載されている通りである。基本的には、２つの主な機能が実行される。
・複数ビット・ペイロード用の透かしタイルを生成する。
・透かしのスケーリング及び埋め込みを行う。
透かし処理された画像は、ＭＰＥＧ圧縮され、実質的にフィルタ処理及び／又は縮小変換されたと仮定される。
【００２６】
（２）縮小変換及びフィルタ処理された画像に関するＲＡＫＥ−ＳＰＯＭＦ透かし検出
縮小変換され、フィルタ処理された画像のＲＡＫＥ−ＳＰＯＭＦ透かし検出スキームの詳細なブロック図を図６に示した。この検出スキームによって、エンコードされた透かしデータを抽出するために、隠された透かしタイルの検出を試みる。これは元のホストデータを利用することなく行われるので、「ブラインド」透かし検出である。その操作を以下に示す。
（ｉ）透かし処理されたビットストリームを展開し、Ｙ（輝度）フレームデータを抽出する。
（ｉｉ）縮小変換前の元の大きさと、下にある透かしの順序（ｏｒｄｅｒ）を復元するために、Ｙフレームごとにアップサンプリングする。
（ｉｉｉ）アップサンプリングしたＹフレームについて、フレームごとに複数の１２８×１２８ブロックに分割し、Ｋフレーム全体にわたって全ブロックのＹ値を線形的に積算して「タイルバッファ」Ｂｔｉｌｅを得る。
（ｉｖ）タイルバッファＢｔｉｌｅ上でＲＡＫＥ−ＳＰＯＭＦコンボリューションを実行し、１２８×１２８コンボリューション行列を得る。ＲＡＫＥ−ＳＰＯＭＦ出力行列Ｄは、下記式で表される。
Ｄ＝ＩＦＦＴ（ｐｈａｓｅ（ＦＦＴ（Ｂｔｉｌｅ））×ｐｈａｓｅ（ＦＦＴ＊（ｗ））×ＦＦＴ＊（ＬＲＡＫＥ））
ここで、ｗは初期透かしであり、Ｂｔｉｌｅは、サンプリングされたタイルバッファであり、ＬＲＡＫＥは、ＲＡＫＥマスクである。
【００２７】
（ｖ）ＲＡＫＥ−ＳＰＯＭＦ出力行列Ｄ上でふるい処理を行って、透かし検出ピークを得る。
（ｖｉ）（ｗ（Ｐ）−ｗ）から透かしタイルＷが生成されるという以前の仮定によれば、試験用のＭＰＥＧビットストリームが有効な透かしを含んでいる場合に、まさに一つの負ピークと一つの正ピークとが、ふるい処理後にＲＡＫＥ−ＳＰＯＭＦ出力行列Ｄから検出される。なお、この仮定は、単なる例である。もし必要ならば、複数の初期透かしパターンを用いてもよく、同様に複数の検出ピークを要求してもよい。この条件下で、負のピーク位置から正のピーク位置を差し引いて、負のピークに対する正のピークの水平シフトｄｘと垂直シフトｄｙとを得る。（Δｘ、Δｙ）＝ｒｏｕｎｄ（ｄｘ／Ｇ，ｄｙ／Ｇ）を計算して推定された透かしペイロードＰ＝（Δｘ、Δｙ）を得る。最後に、透かし埋め込みに使用された同じマッピングルールを用いて、Ｐからもとの透かしデータＵに逆マッピングする。
【００２８】
上述のＲＡＫＥ−ＳＰＯＭＦ透かし検出スキームの有効性は、２つの臨界因子に依存する。
（ｉ）画像の大きさと、画像の元の透かしタイルパターンに埋めこまれた透かしの順序（ｏｒｄｅｒ）を復元するために、縮小変換された画像フレームの適切なアップサンプリング。
（ｉｉ）ＲＡＫＥコンボリューションマスクＬＲＡＫＥの設計。ＬＲＡＫＥの最適値は、画像を縮小変換するために用いられるフィルタのインパルス応答（空間マスク）に依存する。
【００２９】
ＲＡＫＥのマスクＬＲＡＫＥを得るステップは、以下の通りである。
ａ．所定の初期透かしｗについて、ｗ１を得るために画像データに作用させるように、同じ縮小変換、フィルタ処理、インタレース処理、アップサンプリング操作を行う。
ｂ．ｗ１とｗにＳＰＯＭＦコンボリューションを実行して下記のＬを得る。
Ｌ＝ＩＦＦＴ（ｐｈａｓｅ（ＦＦＴ（ｗ１））ｐｈａｓｅ（ＦＦＴ＊（ｗ）））
ｃ．Ｌは、高い値のメインローブと、それに続き、極性が交互に入れ替わる複数のより小さいサイドローブとを伴う２次元ｓｉｎｃ関数の形をとることを要求されている。これは、画像処理に使用されるほとんどの縮小変換フィルタが空間スムージング効果を持つことを要求されているためであり、そのため、これらはおそらくｓｉｎｃ関数等のフィルタタップ値を持つバンドパスフィルタとなる。最大値の周りのＬのメインローブを抽出し、ＬＲＡＫＥを得る。なお、本発明者による実験では、透かし検出性能においては目立った改善が得られていないので、より大きなＬＲＡＫＥについては言及していない。
ｄ．計算効率を向上させるために、ＬＲＡＫＥは最大要素の半分を超える値を持つ要素を１、その他を０とする丸め（ｒｏｕｎｄｉｎｇ）によって近似される。
【００３０】
どのようにＬＲＡＫＥを得るか、又は、どのように正しくアップサンプリングするか、ということは、ＭＰＥＧのインタレースされた画像に関して等のように、所定の画像縮小操作については簡単ではない。次に、本発明者は、ＭＰＥＧリソースページ（ｈｔｔｐ：／／ｗｗｗ．ｍｐｅｇ．ｏｒｇ／ＭＰＥＧ／ｖｉｄｅｏ．ｈｔｍｌ）から得られるＭＰＥＧコーデック・ソースに見出される縮小変換アルゴリズムに基づいて、含まれている主な発想を図示するための詳細な例を示す。
【００３１】
（３）アップサンプリング及びＲＡＫＥマスクのデザインの一例
（ａ）フィルタ処理を伴う２×２の縮小変換
【００３２】
４８０×７２０の大きさのホスト画像のＹフレームは、下記式のＡとして表される。
【数２】
2004248054.tif 000004
【００３３】
ＭＰＥＧのリソースページから得られるＭＰＥＧのコーデックソースコードに基づく、ＭＰＥＧインタレース画像用の２×２の縮小変換処理、すなわち、フレームディメンジョンが水平方向及び垂直方向の両方向で因子２だけ減じる処理には以下のステップが含まれる。
【００３４】
Ａの各列について、ピクセルは、フィルタタップ値（２２  ０  −５２  ０  １５９  ２５６  １５９  ０  −５２  ０  ２２）／５１２を有するＦＩＲ（有限のインパルス応答）フィルタを用いて水平方向にフィルタ処理されている。その結果、得られる画像フレームは、大きさ４８０×７２０のＢで表される。
【００３５】
左右端のピクセルは、下記のように繰り返している。
ｂ１．１＝（２２×ａ１．１＋（−５２）×ａ１．１＋１５９×ａ１．１＋２５６×ａ１．１＋１５９×ａ１．２＋（−５２）×ａ１．４＋２２×ａ１．６）／５１２
【００３６】
Ｂの偶数列を除いて、下記の大きさ４８０×３６０の行列Ｃを得る。
【数３】
2004248054.tif 000005
【００３７】
Ｃの交互の列をそれぞれ大きさが２４０×３６０の上位フィールドＣ１と下位フィールドＣ２とに分離する。
【数４】
2004248054.tif 000006
【数５】
2004248054.tif 000007
【００３８】
それぞれのフィールドＣ１、Ｃ２において、それらの列ピクセルは垂直にフィルタ処理されており、フィルタ処理された、それぞれ大きさが２４０×３６０の２つのフィールドＤ１及びＤ２を得る。
【数６】
2004248054.tif 000008
【数７】
2004248054.tif 000009
【００３９】
垂直のフィルタ処理について、用いられるフィルタタップは、以前の水平フィルタ処理について用いられたのと同じであるが、以下に示すように、これらの順序は、２つのフィールドＣ１とＣ２とで逆順になっている。水平方向のフィルタ処理と同様に、Ｃ１とＣ２の頂部と底部のピクセルは繰り返している。
【００４０】
【表１】
2004248054.tif 000010
【００４１】
最後に、２×２縮小変換処理は、フィルタ処理されたフィールドＤ１及びＤ２を大きさ２４０×３６０の単一のフレームＥにインタレース処理をする前に、フィールドＤ１及びＤ２を垂直方向に縮小変換することによって完了する。
【数８】
2004248054.tif 000011
【００４２】
（ｂ）フレームアップサンプリング
２×２の縮小変換された画像における透かし検出を実行するために、Ｅフレームは、まず、元の４８０×７２０の大きさのホスト画像にアップサンプルされなければならず、それによって、提案されたＲＡＫＥ−ＳＰＯＭＦアルゴリズムを用いて透かしタイルパターンをコンボルブ（ｃｏｎｖｏｌｖｅ）できる。
【００４３】
しかし、垂直のフィールド及び上述のその後のインタレース操作に用いられるフィルタ処理のタップの逆順のため、単に交互の行および列にゼロを挿入することによってアップサンプリングを行っても、下にある透かし信号は元の順序に復元されない。それに代えて、正しいアップサンプリングの順序によって、下記の復元フレームＦが得られる。
【００４４】
【数９】
2004248054.tif 000012
【００４５】
アップサンプルされたＹフレームＦは、既述のように、ＲＡＫＥ−ＳＰＯＭＦ検出アルゴリズムによって次に処理するためのタイルバッファＢｔｉｌｅを得るために使用される。
【００４６】
なお、連続的に走査される画像の場合には、フィールドの頂部と底部とに分離されない。この場合には、行と列に交互にゼロを挿入することによって縮小変換されたＹフレームのアップサンプリングを簡単に行うことができる。
【００４７】
（ｃ）ＲＡＫＥマスクの生成
ＲＡＫＥマスクＬＲＡＫＥは、概略を上述しているように下記のステップによって得られる。
ａ．１２８×１２８初期透かしｗに、上述の例のように、同じ縮小変換、フィルタ処理、インタレース処理、アップサンプリング操作を受けさせて、ｗ１を得る。
ｂ．ｗ１とｗを用いてＳＰＯＭＦコンボリューションを行って、下記式のＬを得る。
Ｌ＝ＩＦＦＴ（ｐｈａｓｅ（ＦＦＴ（ｗ１））×ｐｈａｓｅ（ＦＦＴ＊（ｗ）））
ｃ．そして、最大値の要素のあたりに集中するメインローブＬを抽出し、ＬＲＡＫＥを得る。
【００４８】
【数１０】
2004248054.tif 000013
【００４９】
ｄ．１又は０に丸めて、上記例に相当する下記式の近似値ＬＲＡＫＥが得られる。
【００５０】
【数１１】
2004248054.tif 000014
【００５１】
上述のように、ＬＲＡＫＥ又はＬＲＡＫＥ（ａｐｐｒｏｘ）をｗと共に用いて、タイルバッファＢｔｉｌｅ上にＲＡＫＥ−ＳＰＯＭＦコンボリューションを実行する。
【００５２】
（ｄ）ＭＰＥＧのインタレース画像の４×４縮小変換用のＲＡＫＥ−ＳＰＯＭＦ検出
ＭＰＥＧリソースページから得られるＭＰＥＧコーデックソースコードに基づいて、ＭＰＥＧインタレース画像用の４×４縮小変換は、単に２×２縮小変換操作の２回分の効果である。そのため、上記設計のフレームのアップサンプリングＬＲＡＫＥとＬＲＡＫＥ（ａｐｐｒｏｘ）は、簡単に拡張されて以下のように得られる。
【００５３】
【数１２】
2004248054.tif 000015
【００５４】
【数１３】
2004248054.tif 000016
【００５５】
【数１４】
2004248054.tif 000017
【００５６】
本発明は、以下のいくつかの態様の構成をとることができる。本発明の第１の態様は、フィルタ処理された画像についての、ＳＰＯＭＦと共にＲＡＫＥを用いる透かし検出方法であって、前記方法は、
既知のフィルタ・インパルス応答に基づいてＲＡＫＥコンボリューションの最適空間マスクを導き出すステップと、
ＦＦＴ領域でＲＡＫＥコンボリューションを実行し、オリジナルのＳＰＯＭＦアルゴリズムを統合して、修正ＳＰＯＭＦアルゴリズムを得るステップと、
前記アルゴリズムを使用して透かしを取り出すステップと
を含む。
【００５７】
本発明の第２の態様は、フィルタ処理された画像についての、ＳＰＯＭＦと共にＲＡＫＥを用いる透かし検出方法であって、前記方法は、
既知のフィルタ・インパルス応答に基づいてＲＡＫＥコンボリューションの最適空間マスクを導き出すステップと、
線形フィルタ処理の効果を弱めるようにオリジナルのＳＰＯＭＦアルゴリズムの後、ＲＡＫＥコンボリューションを実行するステップと、
前記アルゴリズムを使用して透かしを取り出すステップと
を含む。
【００５８】
本発明の第３の態様は、フィルタ処理された画像についての、ＳＰＯＭＦと共にＲＡＫＥを用いる透かし検出方法であって、前記方法は、
実際に用いられている最も滑らかなフィルタで功を奏する離散値ＲＡＫＥコンボリューションマスクを用いるステップと、
ＦＦＴ領域でＲＡＫＥコンボリューションを実行し、オリジナルのＳＰＯＭＦアルゴリズムを統合して、修正ＳＰＯＭＦアルゴリズムを得るステップと、
前記アルゴリズムを使用して透かしを取り出すステップと
を含む。
【００５９】
本発明の第４の態様は、フィルタ処理された画像についての、ＳＰＯＭＦと共にＲＡＫＥを用いる透かし検出方法であって、前記方法は、
実際に用いられている最も滑らかなフィルタで功を奏する離散値ＲＡＫＥコンボリューションマスクを用いるステップと、
線形フィルタ処理の効果を弱めるようにオリジナルのＳＰＯＭＦアルゴリズムの後、ＲＡＫＥコンボリューションを実行するステップと、
前記アルゴリズムを使用して透かしを取り出すステップと
を含む。
【００６０】
本発明の第５の態様は、スケール処理され、フィルタ処理された画像についての、ＳＰＯＭＦと共にＲＡＫＥを用いる透かし検出方法であって、前記方法は、
スケール処理された画像を内在する透かしの正しい順序を含む元のサイズに復元するために、前記スケール処理された画像をサンプリングするステップと、
既知のフィルタ・インパルス応答に基づいてＲＡＫＥコンボリューションの最適空間マスクを導き出すステップと、
ＦＦＴ領域でＲＡＫＥコンボリューションを実行し、オリジナルのＳＰＯＭＦアルゴリズムを統合して、修正ＳＰＯＭＦアルゴリズムを得るステップと、
前記アルゴリズムを使用して透かしを取り出すステップと
を含む。
【００６１】
本発明の第６の態様は、スケール処理され、フィルタ処理された画像についての、ＳＰＯＭＦと共にＲＡＫＥを用いる透かし検出方法であって、前記方法は、
スケール処理された画像を内在する透かしの正しい順序を含む元のサイズに復元するために、前記スケール処理された画像をサンプリングするステップと、
既知のフィルタ・インパルス応答に基づいてＲＡＫＥコンボリューションの最適空間マスクを導き出すステップと、
線形フィルタ処理の効果を弱めるようにオリジナルのＳＰＯＭＦアルゴリズムの後、ＲＡＫＥコンボリューションを実行するステップと、
前記アルゴリズムを使用して透かしを取り出すステップと
を含む。
【００６２】
本発明の第７の態様は、スケール処理され、フィルタ処理された画像についての、ＳＰＯＭＦと共にＲＡＫＥを用いる透かし検出方法であって、前記方法は、スケール処理された画像を内在する透かしの正しい順序を含む元のサイズに復元するために、前記スケール処理された画像をサンプリングするステップと、
実際に用いられている最も滑らかなフィルタで功を奏する離散値ＲＡＫＥコンボリューションマスクを用いるステップと、
ＦＦＴ領域でＲＡＫＥコンボリューションを実行し、オリジナルのＳＰＯＭＦアルゴリズムを統合して、修正ＳＰＯＭＦアルゴリズムを得るステップと、
前記アルゴリズムを使用して透かしを取り出すステップと
を含む。
【００６３】
本発明の第８の態様は、スケール処理され、フィルタ処理された画像についての、ＳＰＯＭＦと共にＲＡＫＥを用いる透かし検出方法であって、前記方法は、スケール処理された画像を内在する透かしの正しい順序を含む元のサイズに復元するために、前記スケール処理された画像をサンプリングするステップと、
実際に用いられている最も滑らかなフィルタで功を奏する離散値ＲＡＫＥコンボリューションマスクを用いるステップと、
線形フィルタ処理の効果を弱めるようにオリジナルのＳＰＯＭＦアルゴリズムの後、ＲＡＫＥコンボリューションを実行するステップと、
前記アルゴリズムを使用して透かしを取り出すステップと
を含む。
【００６４】
【発明の効果】
画像の縮小変換では、ふつう、フィルタ処理とダウンサンプリングの２つの操作を含んでいるので、画像の縮小変換によって、画像の透かしをひどく破壊してしまう。フィルタ処理によって一つの強い透かし検出ピークが弱められた振幅を持つ複数の検出ピークに分散させられ、その一方、ダウンサンプリングによって複数の画像ピクセルが捨てられ、全ての検出ピークが弱められる。
【００６５】
縮小変換によって失われた画像信号を復元することはできないけれども、本発明では、ＲＡＫＥコンボリューションを利用して線形フィルタ処理の影響を減らし、それによって画像透かし検出の頑丈さを改善できる。ＳＰＯＭＦを結合させると、ＲＡＫＥ−ＳＰＯＭＦによって、ブラインド透かし検出処理におけるシフト不変及びクロッピング不変に加えて、縮小変換及びシフト処理の両方に耐性を得ることができる。そこで、他の透かし処理方法と同様に、リアルタイムＤＶＤ及びＤＶＢのコピー防止における検出モジュールとして有用である。
【図面の簡単な説明】
【図１】参考のＭ＆Ｇ透かしスキームのブロック図である。
【図２】通信で使用される簡略化されたＲＡＫＥ受信機の構造を示す図である。
【図３】ＳＰＯＭＦと共にＲＡＫＥを用いる画像透かし検出器を示す図である。
【図４】結合したＲＡＫＥとＳＰＯＭＦとを用いる画像透かし検出器を示す図である。
【図５】スケール処理及びフィルタ処理に耐性のある本発明の透かしシステムのブロック図である。
【図６】スケール処理及びフィルタ処理された画像についての本発明のＲＡＫＥ−ＳＰＯＭＦ透かし検出スキームの詳細なブロック図である。
【図１】
2004248054.tif 000018
【図２】
2004248054.tif 000019
【図３】
2004248054.tif 000020
【図４】
2004248054.tif 000021
【図５】
2004248054.tif 000022
【図６】
2004248054.tif 000023
【外国語明細書】
2004248054.tif 000024
2004248054.tif 000025
2004248054.tif 000026
2004248054.tif 000027
2004248054.tif 000028
2004248054.tif 000029
2004248054.tif 000030
2004248054.tif 000031
2004248054.tif 000032
2004248054.tif 000033
2004248054.tif 000034
2004248054.tif 000035
2004248054.tif 000036
2004248054.tif 000037
2004248054.tif 000038
2004248054.tif 000039
2004248054.tif 000040
2004248054.tif 000041
2004248054.tif 000042
2004248054.tif 000043
2004248054.tif 000044
2004248054.tif 000045
2004248054.tif 000046
2004248054.tif 000047
2004248054.tif 000048