(57)【要約】  画像又はビデオの番組コンテンツを処理するシステム（１０）においてスケール係数を取り出す方法を提供する。上記方法は、(a)透かし情報を中に埋め込ませた番組コンテンツを受ける工程と、(b)番組コンテンツを空間相関処理にかけて、１つ又は複数の画像又はビデオのフレームの軸について複数の相関ピークを判定し、それから複数のスケール係数候補を導き出す工程と、(c)スケール係数候補の1つ又は複数の組み合わせを解析して、相関のうちの少なくとも１つが改良され、透かし取り出し精度が向上する組み合わせを判定し、それによって、最良のスケール係数候補群を判定する工程とを有する。上記方法は、スケール係数の判定が改良され、よって、透かしの取り出しが改良されるようにすることができる。
2007524307.tif 000002
【特許請求の範囲】
【請求項１】
画像又はビデオの番組コンテンツを処理するシステムにおいてスケール係数を取り出す方法であって、
(a)埋め込まれた透かし情報を中に備える前記番組コンテンツを受ける工程と、
(b)前記番組コンテンツを空間相関処理にかけて、１つ又は複数の画像又はビデオのフレームの軸について複数の相関ピークを判定し、そこから複数のスケール係数候補を導き出す工程と、
(c)スケール係数候補の1つ又は複数の組み合わせを解析して、相関のうちの少なくとも１つが改良され、透かし取り出し精度が向上する組み合わせを判定し、それによって、最良のスケール係数候補群を判定する工程とを有することを特徴とする方法。
【請求項２】
請求項１記載の方法であって、ハニング・ウィンドウ選択手段を前記番組コンテンツのフレームに施して、工程(b)における前記空間相関処理を行うのに用いる前記フレームのサブ領域を分離する更なる工程を有することを特徴とする方法。
【請求項３】
請求項２記載の方法であって、相対的に更に多くのサブ領域を用いて、フレームの実質的に垂直な軸における最良のスケール係数を、前記フレームの実質的に水平な軸において最良のスケール係数を判定するのに用いるいくつかのサブ領域と比較して判定することを特徴とする方法。
【請求項４】
請求項２記載の方法であって、実質的に垂直な方向において最良のスケール係数を判定するのに用いる1つ又は複数のサブ領域は相互に重なっている一方、実質的に水平な方向においてスケール係数を判定するのに用いるサブ領域は実質的に重なっていないことを特徴とする方法。
【請求項５】
請求項１記載の方法であって、工程(b)では、相関が、工程(a)で受けられた前記番組コンテンツに対する変換領域において行われることを特徴とする方法。
【請求項６】
請求項５記載の方法であって、前記変換領域がフーリエ変換領域であることを特徴とする方法。
【請求項７】
請求項１記載の方法であって、工程(b)では、相関が、前記受けられた番組コンテンツの1つ又は複数のサブ領域に相当する変換共役アレイを用いてサブ領域の点別乗算において行われることを特徴とする方法。
【請求項８】
請求項１記載の方法であって、工程(b)からの相関結果は、スケール係数候補の判定に先行して正規化にかけられることを特徴とする方法。
【請求項９】
請求項２記載の方法であって、ウィンドウ選択手段によって選択されるサブ領域は、各フレームの中央領域のかなり近くにある群を形成することを特徴とする方法。
【請求項１０】
請求項１記載の方法であって、工程(c)における前記解析を、最良スケール係数候補群近くの範囲において1つ又は複数のサーチにかけて、透かしの取り出しが最適になるようにするよう最良スケール係数候補を繰り返すことを特徴とする方法。
【請求項１１】
請求項１記載の方法であって、透かしの取り出しに用いるよう構成されることを特徴とする方法。
【請求項１２】
請求項１１記載の方法であって、該方法を用いて達成される透かしの取り出しが、番組コンテンツの認証の目的のためであることを特徴とする方法。
【請求項１３】
装置であって、請求項１記載の方法を実行するよう構成されることを特徴とする装置。
【請求項１４】
ソフトウェアであって、請求項１記載の方法を実施するよう１つ又は複数の計算機装置上で実行可能であることを特徴とするソフトウェア。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はスケール係数を取り出す方法に関する。排他的ではないが特に、本発明は、ビデオ・システムにおいてスケール係数を、特に透かしを取り出す目的で取り出す方法に関する。本発明は、上記方法を実施するよう動作可能な装置にも関する。
【背景技術】
【０００２】
本願の発明者は、番組コンテンツに備えられた元の画像空間スケール係数を知ることなしで、例えば、インターネットなどの通信ネットワークから現在ダウンロード可能な、低品質映画などの低品質画像番組コンテンツにおける透かしの検出を行うことは実質的に不可能であることを明らかにした。そうした透かしは多くの場合、相関処理によって検出されやすい特徴として実施される。更に、相関に適した透かしは、画像において相互に分かっている間隔で格子状に配置された、「タイル」としても知られている反復空間パターンを利用する。
【０００３】
通常、画像スケール係数情報を取り出すために、画像内に存在する隣接透かしタイルを相互に関係付けて、空間相関位置の関数として相関の示標を生成する。上記示標は、最高相関が生じるピークを有する。しかし、例えばDIVX映画の場合、本願の発明者は、前述の低品質画像番組コンテンツの生成において用いる処理が大量であるために、最高ピーク位置が、画像スケール係数の正しい尺度を表すことがほとんどないことを明らかにした。
【０００４】
透かし検出を改良し、よって、画像スケール係数の相当する判定を改良するための潜在的な手法の１つは、画像コンテンツ内の画像からの透かし情報の蓄積時間を増加させることである。しかし、かなり圧縮した映画、例えばDIVX映画において、蓄積時間を単に増やすことが効果的でないことを本願の発明者は明らかにした。DIVX映画に存在する大半の画像フレームが、透かし特徴情報を蓄積するのに用いる蓄積バッファに透かし特徴エネルギを何ら加えないことを本願の発明者は明らかにした。実際には、望ましくない反復パターン及び干渉雑音が生じ、それによって、スケール係数を取り出す処理が非効果的になってしまう。
【０００５】
透かしを入れた画像番組コンテンツを処理する透かし読み取り器が知られている。例えば、透かしシステムは、国際特許出願公開第01/52181号明細書に記載されており、これは、透かし情報を埋め込み、読み取ることができる。上記システムは、透かし方向情報を有する合成信号にメッセージを透かし情報として符号化するよう動作可能な埋め込み器を有する。更に、上記システムは、検出器及び読み取り器を更に有する。読み取り器は、方向情報を用いて合成信号からメッセージを抽出して合成信号の元の状態を近似するよう構成される。更に、検出器は、透かし情報を検出する相関処理を用い、この処理は、変換画像にわたって方向パターンをスライドさせ、個別の空間位置のアレイで相関を測定することを伴う。前述の位置それぞれは、それと関連させた相当するスケール及び回転パラメータを有する。好ましくは、動作上、他の空間位置に対する最高相関を有する空間位置が存在する。検出器は、1つ又は複数の相関段を利用して、最良のマッチを提供する空間位置を選択するよう構成される。相関は、高速フーリエ変換（ＦＦＴ）関数を用いることによって行う。前述のシステムは、主に、画像、ビデオ及びオーディオの信号に適合させているが、他の電子媒体及び物理媒体にも適用可能である。例えば、グラフィック・モデル、空白の用紙、フィルムや他のサブストレートにマーキングすること、識別目的等でオブジェクトのテクスチャリングを行うこと等にも適用可能である。
【０００６】
透かし埋め込み器が、一連のビデオ・フレームにわたって128画素x128画素の透かしパターンをタイリングする場合、２つの水平方向に隣接する128画素x128画素のタイルを相互に関係付け、相対相関空間シフトの関数として最大相関ピークが生じる場所を判定することによって水平スケール係数及び垂直スケール係数を取り出すよう検出器を構成することが可能である。前述の手法は、本願の出願人の国際特許出願公開第01/24113号明細書に記載されている。この手法によって、未処理又は軽微に処理された透かしビデオにおけるスケール係数の尺度を高信頼度で取り出すことができる。しかし、低品質ビデオ画像、例えば、DIVX映画では、最高透かし相関ピークの位置は、低品質画像を生成するのに用いる処理が大量であるため正しいスケール係数をほとんど表すことがない。画像特徴をブロック形式で表すこと、すなわち「ブロッキング」、又は、他の人工的にもたらされる画像アーチファクトのために、より高い相関ピークが、間違った位置で生じるか、又は、相関ピークが正しく示されても、そうしたスプリアスのより高いピークを超えるのに十分区別できるものでない。よって、スケール係数の間違った識別の結果、透かし情報は実質的に、前述の低品質画像番組コンテンツにおいて見つけることが可能でなく、よって透かし検出は完全に失敗する。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本願の発明者はよって、排他的にではないが、前述に記載したようなタイリング透かしにかけられた低品質画像を処理するのに、特に適した、透かし情報を検出する改良された方法を考え出した。
【課題を解決するための手段】
【０００８】
本発明の目的は、信頼度のより高い画像スケール係数の取り出し、及び、より高い信頼度で判定されたスケール係数による、透かしの取り出しのうちの少なくとも一方を行うようにすることである。
【０００９】
本発明の第１の局面によれば、画像又はビデオの番組コンテンツを処理するシステムにおいてスケール係数を取り出す方法を提供する。上記方法は、
(a)中に透かし情報を埋め込ませた番組コンテンツを受ける工程と、
(b)番組コンテンツを空間相関処理にかけて、１つ又は複数の画像又はビデオのフレームの軸について複数の相関ピークを判定し、そこから複数のスケール係数候補を導き出す工程と、
(c)スケール係数候補の1つ又は複数の組み合わせを解析して、相関のうちの少なくとも１つが改良され、透かし取り出し精度が向上する組み合わせを判定し、それによって、最良のスケール係数候補群を判定する工程とを有する。
【００１０】
本発明は、複数の候補スケール係数値を判定し、次いで透かしの最良の取り出しを求めてその組み合わせを体系的に検査することによって、画像圧縮アーチファクトが、低信頼度の結果を引き起こしかねない従来のシステムにおいて生じる、スケール係数判定におけるエラーを回避することができるという点で効果的である。
【００１１】
好ましくは、本発明は、ハニング・ウィンドウ選択手段を番組コンテンツのフレームに施して、工程(b)における空間相関処理を行うのに用いるフレームのサブ領域を分離する更なる工程を有する。そうしたウィンドウを用いることによって、スケール係数を判定する場合に、そうしたウィンドウを用いない場合には雑音に寄与するに過ぎないことになる画像領域を除外することが可能になる。
【００１２】
好ましくは、上記方法では、相対的に更に多くのサブ領域を用いて、フレームの実質的に水平な軸において最良のスケール係数を判定するのに用いるいくつかのサブ領域と比較して、フレームの実質的に垂直な軸における最良のスケール係数を判定する。そうしたサブ領域選択によって、実際に直面するスケール係数問題に効率的に対処することができる。
【００１３】
好ましくは、上記方法では、実質的に垂直な方向において最良のスケール係数を判定するのに用いる1つ又は複数のサブ領域は相互に重なっている一方、実質的に水平な方向においてスケール係数を判定するのに用いるサブ領域は実質的に重なっていない。サブ領域の前述の重なった配置によって、スケール係数の判定をより効果的かつ高精度に行うことができる。
【００１４】
しかし、重なっているサブ領域、すなわち、重なっている「タイル」は、実質的に垂直の方向において用いることに制限されるものでない。例えば、実質的に水平の方向に対するスケール係数の判定には、重なるサブ領域を用いることが可能である。実際には、例えば、将来の高品位テレビ（HDTV）におけるように、垂直方向のピクチャ範囲が通常、水平方向のピクチャ範囲よりも多くの場合小さいことを念頭におけば、垂直スケール係数を高精度で判定することは、相当する水平スケール係数よりもずっと難しい。
【００１５】
好ましくは、方法の工程(b)では、相関が、工程(a)で受信された番組コンテンツに対する変換領域において行われる。そうした変換を用いることによって、相関のために雑音アーチファクトを少なくとも部分的に除外し、それによって、更に高精度及び/又は高信頼度のスケール係数の判定をもたらすことができる。より好ましくは、上記方法では、変換領域はフーリエ変換領域である。
【００１６】
好ましくは、上記方法の工程（ｂ）では、相関が、受信番組コンテンツの1つ又は複数のサブ領域に相当する変換共役アレイを用いてサブ領域の点別乗算において行われる。
【００１７】
好ましくは、上記方法では、工程(b)からの相関結果は、スケール係数候補の判定に先行して正規化にかけられる。前述の正規化は、例えば、データを比較して最良のスケール係数候補を判定する場合に有益である。
【００１８】
好ましくは、上記方法では、ウィンドウ選択手段によって選択されるサブ領域は、各フレームの中央領域のかなり近くにある群を形成する。中央領域を用いることは、画像の極端部での透かしの細部が、特に、透かし検出をのがれるよう画像を1°乃至２°回転させた場合に相関の信頼度が低くなりやすいので、有益である。
【００１９】
好ましくは、上記方法では、工程(c)における解析を、最良のスケール係数候補群近くの範囲において1つ又は複数のサーチにかけて、透かしの取り出しが最適になるようにするよう最良のスケール係数候補を繰り返す。
【００２０】
好ましくは、上記方法は透かしの取り出しに用いるよう構成される。高精度のスケール係数判定は、高信頼度の透かしの取り出しにおける重要な局面であり、よって、信頼度がより高いスケール係数取り出しは、透かし検出特性の向上をもたらすことができる。
【００２１】
好ましくは、上記方法では、この方法を用いて達成される透かしの取り出しは、番組コンテンツの認証の目的のためのものである。
【００２２】
本発明の第２の局面によれば、本発明の第１の局面による方法を実行するよう構成される装置を提供する。
【００２３】
本発明の第３の局面によれば、本発明の第１の局面による方法を実施する1つ又は複数の計算機装置上で実行可能なソフトウェアを提供する。
【発明を実施するための最良の形態】
【００２４】
本発明の範囲から逸脱することなくどのような組み合わせでも本発明の特徴を組み合わせることができるということが認識されよう。
【００２５】
本発明の実施例を、単に例として以下の添付図面を参照して次に説明する。
【実施例】
【００２６】
前述で明らかにしたように、本願の発明者は、透かしパターンによってタイリングされた画像に相関処理を施すことによって生成される相関フィールド内の最高ピ―ク位置によって、大量の圧縮、例えば、ＤＩＶＸタイプの圧縮を用いて画像を生成する場合にスケール係数の尺度を導き出すことが直接可能にならないという課題を明確化した。この課題に対する少なくとも部分的な解決策を備えるために、本願の発明者は、必ずしも最大値ピークでなく、更に多くの局所最大ピ―ク、例えば、単一の最高相関ピークではなく5個の最高相関ピークを、水平画像方向及び垂直画像方向のそれぞれにおけるスケール係数の尺度を判定するために、収集する方法を考え出した。こうした局所ピ―クの位置から、上記方法を施して、5個の候補水平スケール係数値及び5個の候補垂直スケール係数値を導き出す場合に実現可能である。なお、5個の候補値以外の他の数の候補スケール係数値を任意的に導き出すことが可能であるが、効果的には、垂直画像方向毎に2つ以上の候補値が存在する。
【００２７】
後に、上記方法は、透かし特性を用いて、適切である可能性が最も高い候補の適切な組み合わせを判定するよう構成される。上記方法を実際に実施する場合、候補スケール係数値を取り出すために前述の同じビデオ蓄積バッファを用いることが好ましい。特に、本願の発明者は、「A  Video  Watermarking  System  for  Broadcast  Monitoring,  SPIE  3657,  Security  and  Watermarking  of  Multimedia  Content,  pp.  103-112,  1999」記載のビデオ透かしJAWSの場合、２つの相関ピークが所定の閾値を超えており、２つのピーク位置が何れも、画像内の透かしを空間的に配置するのに用いるタイリング・グリッド上にある場合、正しい透かしコンテンツ、すなわち「ペイロード」を見つけることが可能であるということを明らかにした。
【００２８】
上記方法を実施する場合、前述のビデオ蓄積バッファ内の1つ又は複数の画像が、5個の候補水平スケール係数値及び５個の候補垂直スケール係数値の全ての組み合わせ、すなわち、5x5=25の組み合わせによってスケーリングされるに過ぎず、1つ又は複数の画像内の透かしコンテンツ、すなわち「ペイロード」がそれによって、画像に最も適用可能な、25個の組み合わせのうちの適切な１つについて判定される。透かしを検出するそうした方法は、特に、低品質のDIVX画像番組コンテンツを扱う場合に、既知のJAWS検出器よりもかなりうまく機能することが明らかになった。表１は、前述の特許出願公開第01/24113号明細書記載の公知の（デフォールトの）取り出し手法と対比した本願の発明者によって考え出された上記方法のスケール係数取り出しの信頼度の比較を備える。表１に示す結果を生成するために、それぞれが7.5分の持続時間の３つの別々の画像テスト・ストリームを下方スケーリングし、タイリングされた透かし情報によって符号化して、DIVX映画を750kbit/秒のビットレートで生成した。
【００２９】
【表１】
2007524307.tif 000003
前述の方法を実施するために、図１に表す装置を効果的に用いる。図１中の装置は、概括的に１０で示しており、入力画像、すなわちベースバンド・ビデオ（BV）又はMPEG-4形式のビデオ（MP4）を受信するMPEG-4ビデオ・パース関数（MP4P）３０を有する入力段２０を備える。ベースバンド・ビデオBVは入力段２０を介して直接送信される一方、MPEG-4形式のビデオMP4は、入力段２０から出力される前に、相当するベースバンド・ビデオにパース関数MP4P３０を介して復号化されるよう構成される。更に、装置１０は、入力段２０から画像を受けるスケーリング段４０を更に備え、段４０は、5個の水平スケール候補を見つける第１の関数（FHSC）５０及び5個の垂直スケール候補を見つける第２の関数（FVSC）６０の並列の組み合わせを有する。更に、装置１０は、スケーリング段４０からの出力から選択する選択関数（SBSCP）７０を有し、最も適切な最良のスケール候補対が、最良のスケーリング係数（BS）データ対を生成する。装置１０は、SBSCP関数７０からの最良のスケール候補対を精緻化する精緻化スケール係数関数（RSFF）８０を更に備える。最後に、装置１０は、RSFF関数８０から、精緻化されたスケール係数対（RSF）を受け、この精緻化対を用いて、入力段２０から出力された画像から透かし情報を抽出し、それによって、スケール係数情報、ペイロード情報及び検出信頼度情報に関する出力データ（OD）を供給する検出ペイロード（DP）関数９０を組み入れている。例えば、出力データODを用いて、海賊版ビデオ番組コンテンツ（例えば、透かしコンテンツがまったくないもの、若しくは、互換性のない透かし情報を有するもの、及び/又は、そうした番組コンテンツの頒布をくじくための措置を講じる目的で海賊版ビデオ番組コンテンツを検出するのに用いるもの）の再生を妨げることが可能である。出力データCDの他の用途も考えられる。
【００３０】
動作上、装置１０は、水平スケール候補及び垂直スケール候補の組み合わせを、こうした相互に直交のスケール係数の最も適切な対が見つかるまで試行する。パース関数（MP4P）３０は好ましくは、MPEG-4形式のビデオ（MP４）内、すなわちMPEG-4ビデオ・ストリーム内、又は、ベースバンド・ビデオ（BV）内の1次透かし及び２次透かしを検出するよう構成される。MPEG-4ビデオ（MP4）のY成分が第１の関数５０及び第２の関数６０において考慮に入れられる。更に、MPEG-4ビデオ（MP4）のIフレームが、復号化され、かつ、改変されずに第１の関数５０及び第２の関数６０に転送される。残差信号のみが、関数５０、６０において用いるよう、MPEG-4ビデオ（MP4）のPフレーム及びBフレームから復号化される。ベースバンド・ビデオ（BV）から、Y成分のみが、その中でスケール候補を識別するよう関数５０、６０に転送される。
【００３１】
次に、図２を参照して関数５０を更に詳細に説明する。図２では、5個の水平スケール候補を見つける第１の関数（FHSC）５０は、例えば、Yフレーム（YRF）のMPEG-4復号化残差を受け、そのメモリに記憶する水平軸累算器（HA）５１０を有するよう示している。第１の関数FHSC５０も、YフレームYRFのサブ領域A、B、C、Dそれぞれを分離するよう累算器HA５１０に結合された４つのハニング・ウィンドウ関数（HW）５２０a、５２０b、５２０c、５２０ｄを有する。第１の関数FHSC５０は、ハニング・ウィンドウ関数５２０a、５２０b、５２０c、５２０dのそれぞれの出力に入力が結合された4つの高速フーリエ変換関数（FFT）５３０a、５３０b、５３０c、５３０dを更に備える。変換関数FFT５３０a、５３０b、５３０c、５３０dは、サブ領域A、B、C、Dのハニング・ウィンドウ出力に対して高速フーリエ変換を行うよう動作可能である。フーリエ関数FFT５３０ｂ、５３０ｃ、５３０ｄからの出力FB２、FC２、FDは、点別乗算関数（PWSM）５５０a、５５０b、５５０ｃの第１の入力に結合される。フーリエ関数５３０ｂ、５３０ｃ、５３０ｄからの出力FA、FB1、FC１は、複素共役関数（COMCON）５４０a、５４０b、５４０ｃそれぞれの相当する入力に結合される。共役関数５４０a、５４０b、５４０cからの出力は、乗算関数PWSM５５０a、５５０b、５５０ｃそれぞれの相当する第２の入力に接続される。乗算関数５５０a、５５０b、５５０ｃからの出力を正規化関数（NORM）５６０a、５６０b、５６０cそれぞれを介して、後に、逆フーリエ変換関数（IFFT）５７０a、５７０b、５７０ｃを介して転送して、そこから、関連した出力A/B、B/C、C/Dそれぞれを生成する。こうした出力A/B、B/C、C/Dを、加算関数（＋）５８０において
併せて照合し、次いで、前述の5個の水平スケール係数候補を判定するよう、微分関数（D5HSC）５９０に転送する。
【００３２】
関数５０は、
(a)４つの128x128エレメントのサブ領域、すなわちアレイA、B、C、Dを有するY（残差）フレームを累算器HA５１０において累算する工程と、
(b)累算器HA５１０からの累算出力に対してハニング・ウィンドウ関数HW５２０a、５２０b、５２０c、５２０dを行って、サブ領域A、B、C、Dに相当するエレメントを分離する工程と、
(c)変換関数FFT５３０a、５３０b、５３０c、５３０dそれぞれにおいてサブ領域A、B、C、Dの相当するフーリエ変換を計算する工程と、
(d)共役関数５４０a、５４０b、５４０cを用いて、変換関数FFT５３０a、５３０b、５３０cそれぞれによって生成されるフーリエ変換の複素共役を求める工程と、
(e)（i)生成された乗算結果の正規化に続く、サブ領域アレイBとサブ領域アレイAの複素共役との、関数NORM５６０a、５６０b、５６０ｃにおける正規化によって、関数PWSM５５０a、５５０b、５５０ｃにおいて点別乗算を用いることによって相関を行う工程、
(ii)生成された乗算結果の正規化に続く、サブ領域アレイCとサブ領域アレイBの複素共役との、関数NORM５６０a、５６０b、５６０ｃにおける正規化によって、関数PWSM５５０a、５５０b、５５０ｃにおいて点別乗算を用いることによって相関を行う工程、
(iii)生成された乗算結果の正規化に続く、サブ領域アレイDとサブ領域アレイCの複素共役との、関数NORM５６０a、５６０b、５６０ｃにおける正規化によって、関数PWSM５５０a、５５０b、５５０ｃにおいて点別乗算を用いることによって相関を行う工程と、
(f)(i)アレイA及びBの相関結果に関してIFFT関数５７０a、５７０b、５７０cを用いて逆フーリエ変換を計算する工程、
(ii)アレイB及びCの相関結果に関してIFFT関数５７０a、５７０b、５７０cを用いて逆フーリエ変換を計算する工程、
(iii)アレイC及びDの相関結果に関してIFFT関数５７０a、５７０b、５７０cを用いて逆フーリエ変換を計算する工程と、
(g)上記工程(f)におけるIFFT関数５７０a、５７０ｂ、５７０ｃからの３つのアレイの出力の結果アレイを点別加算する工程と、
(h)工程(g)からの累算IFFT結果の第１行における最も高い5個のピークを見つけ、それによって、5個の水平スケール係数候補をピークの位置から導き出す工程とを実施するよう動作可能である。
【００３３】
スケール係数の判定に関する上記工程(a)乃至(h)を次に更に詳細に明らかにする。
【００３４】
入力ビデオ（残差）フレームに関する前述のYフレーム信号YRFがフィールド・レベルで累算され、これは図３を参照して説明する。アレイA、B、C、Dは、信号YRP内の画像において空間的に相互に隣接しており、重なっていない。アレイA、B、C、Dの位置は、群として空間的にアレイの上の画像の数と空間的にアレイの下の画像の数が等しい、すなわち、アレイが中央に配置されているように選ばれる。同様に、アレイの横方向の配置に関しても、中央の配置が関係する。アレイの空間的配置を図３に示し、３３０によって示す。関数５０の動作上、アレイA、B、C、Dに相当するバッファは、透かし検出作業の始めにそのエレメントを当初、ゼロに設定させる。アレイA、B、C、Dに相当するバッファを満たすために、3百個のビデオ・フレーム（FRM）３００の相当部分、すなわち、６００個のフィールド(FLD0)３１０、（FLD1）３２０がバッファ内に蓄積される。次いで、蓄積されたバッファを用いて、前述の5個の候補水平スケール係数値を判定する。その後、バッファはゼロにリセットされ、透かし検出の別の同様なサイクルが始まる。
【００３５】
ハニング・ウィンドウ関数５２０a、５２０b、５２０c、５２０dは、128x128画素（pxl）浮動小数点エレメント値として実施される。同様に、フーリエ変換関数５３０a、５３０b、５３０c、５３０dを、そうしたサイズのアレイを扱うよう配置する。更に、複素共役関数COMCON５４０a、５４０b、５４０ｃは、１２８x１２８画素の複素値を処理するよう構成される。同様なアレイ・サイズ機能は、正規化関数NORM５６０a、５６０b、５６０cにも関係する。正規化の場合、アレイ・エントリがその絶対値によって除算される、すなわち、iが−１の平方根であり、z=Re(z)+Im(z)iである複素値zが、
【００３６】
【数１】
2007524307.tif 000004
によって置き換えられる。逆フーリエ変換関数IFFT５７０a、５７０b、５７０c並びにD5HSC関数５９０も、１２８x１２８の画素アレイを処理することができる。
【００３７】
次に、関数６０を、図４を参照して更に詳細に説明する。図４では、5個の垂直スケール候補を見つける第２の関数（FVSC）６０は、例えば、Yフレーム（YRF）のMPEG-4復号化残差を受け、そのメモリに記憶する垂直軸累算器（VA）６１０を有するよう示している。第２の関数FVSC60も、YフレームYRFのサブ領域A、B、C、D、E、Fそれぞれを分離するよう累算器VA610に結合された６つのハニング・ウィンドウ関数（HW）６２０a、６２０b、６２０c、６２０ｄ、６２０e、６２０ｆを有する。第２の関数FVSC６０は、入力がハニング・ウィンドウ関数６２０a、６２０b、６２０c、６２０d、６２０e、６２０fの出力に結合された６つの高速フーリエ変換関数（FFT）６３０a、６３０b、６３０c、６３０d、６３０e、６３０fを更に備える。変換関数FFT６３０a、６３０b、６３０c、６３０d、６３０e、６３０fは、サブ領域A、B、C、D、E、Fのハニング・ウィンドウ出力に対して高速フーリエ変換を行うよう動作可能である。
【００３８】
フーリエ関数FFT６３０a、６３０c、６３０eの出力GA、GC、GEは、複素共役関数（COMCON）６４０a、６４０b、６４０cそれぞれの入力に結合される。フーリエ関数FFT６３０b、６３０d、６３０fの出力GB、GD、GFは、図示するように乗算関数PWSM６５０a、６５０b、６５０ｃそれぞれの相当する第１の入力に接続される。更に、共役関数COMCON６４０a、６４０b、６４０cからの出力は、図示するように乗算関数PWSM６５０a、６５０b、６５０ｃそれぞれの第２の入力に接続される。更に、乗算関数６５０a、６５０b、６５０cからの出力を、正規化関数（NORM）６６０a、６６０b、６６０cそれぞれを介して、逆フーリエ変換関数（IFFT）６７０a、６７０b、６７０ｃに転送して、そこから関連出力A/B、C/D、E/Fそれぞれを生成する。こうした出力A/B、B/C、C/D、E/Fを、加算関数（＋）680において併せて照合し、次いで、前述の5個の垂直スケール係数候補を判定するよう、微分関数（D５VSC）690に転送する。
【００３９】
関数60は、
(a)６つの128x128エレメントのサブ領域、すなわちアレイA、B、C、D、E、Fを有するY（残差）フレームを累算器VA610において累算する工程と、
(b)累算器VA610からの累算出力に対してハニング・ウィンドウ関数HW６２０a、６２０b、６２０c、６２０d、６２０e、６２０fを行って、サブ領域A、B、C、D、E、Fに相当するエレメントを分離する工程と、
(c)変換関数FFT６３０a、６３０b、６３０c、６３０d、６３０e、６３０fそれぞれにおいてサブ領域A、B、C、D、E。Fの相当するフーリエ変換を計算する工程と、
(d)共役関数６４０a、６４０b、６４０cを用いて、変換関数FFT６３０a、６３０ｃ、６３０eそれぞれによって生成されるフーリエ変換の複素共役を求める工程であって、前述の共役がアレイA、C、Eに相当する工程と、
(e)（i)生成された乗算結果の正規化に続く、サブ領域アレイBとサブ領域アレイAの複素共役との、関数NORM６６０a、６６０b、６６０ｃにおける正規化によって、関数PWSM６５０a、６５０b、６５０ｃにおいて点別乗算を用いることによって相関を行う工程、
(ii)生成された乗算結果の正規化に続く、サブ領域アレイDとサブ領域アレイCの複素共役との、関数NORM６６０a、６６０b、６６０ｃにおける正規化によって、関数PWSM６５０a、６５０b、６５０ｃにおいて点別乗算を用いることによって相関を行う工程、
(iii)生成された乗算結果の正規化に続く、サブ領域アレイFとサブ領域アレイEの複素共役との、関数NORM６６０a、６６０b、６６０ｃにおける正規化によって、関数PWSM６５０a、６５０b、６５０ｃにおいて点別乗算を用いることによって相関を行う工程と、
(f)(i)アレイA及びBの相関結果に関してIFFT関数６７０a、６７０b、６７０cを用いて逆フーリエ変換を計算する工程、
(ii)アレイC及びDの相関結果に関してIFFT関数６７０a、６７０b、６７０cを用いて逆フーリエ変換を計算する工程、
(iii)アレイE及びFの相関結果に関してIFFT関数６７０a、６７０b、６７０cを用いて逆フーリエ変換を計算する工程と、
(g)上記工程(f)におけるIFFT関数６７０a、６７０ｂ、６７０ｃからの３つのアレイの出力の結果アレイを点別加算する工程と、
(h)工程(g)からの累算IFFT結果の第１行における最も高い5個のピークを見つけ、それによって、5個の垂直スケール係数候補をピークの位置から導き出す工程とを実施するよう動作可能である。
【００４０】
スケール係数の判定に関する上記工程(a)乃至(h)を次に更に詳細に明らかにする。
【００４１】
入力ビデオ（残差）フレームに関する前述のYフレーム信号YRFがフィールド・レベルで累算され、これは図5を参照して説明する。アレイA、B、C、Dは、信号YRP内の画像において空間的に相互に隣接しており、重なっていない。アレイA、B、C、Dの位置は、群として空間的にアレイの上の画像の数と空間的にアレイの下の画像の数が等しい、すなわち、アレイが中央に配置されているように選ばれる。同様に、アレイの横方向の配置に関しても、中央の配置が関係する。アレイA、B、C、Dの空間的位置を図５に示し、５００によって示す。図示するようにアレイA、B、C、Dに実質的に対称に重なるアレイE、Fも備えられている。すなわち、アレイA、CにはアレイEが重なっており、アレイB、DにはアレイFが重なっている。関数６０の動作上、アレイA、B、C、D、E、Fに相当するバッファは、透かし検出作業の始めにそれらのエレメントを当初ゼロに設定させる。アレイA、B、C、D、E、Fに相当するバッファを満たすために、3百個のビデオ・フレーム（FRM）３００の相当部分、すなわち、６００個のフィールド(FLD0)３１０、（FLD1）３２０がバッファ内に蓄積される。次いで、蓄積されたバッファを用いて、前述の5個の候補スケール係数値を判定する。その後、バッファはゼロにリセットされ、透かし検出の別の同様なサイクルが始まる。
【００４２】
ハニング・ウィンドウ関数６２０a、６２０b、６２０c、６２０d、６２０e、６２０fは、128x128画素（pxl）浮動小数点エレメント値として実施される。同様に、フーリエ変換関数６３０a、６３０b、６３０c、６３０d、６３０e、６３０fを、そうしたサイズのアレイを扱うよう配置する。更に、複素共役関数COMCON６４０a、６４０b、６４０ｃは、１２８x１２８画素の複素値を処理するよう構成される。同様なアレイ・サイズ機能は、正規化関数NORM６６０a、６６０b、６６０cにも関係する。正規化の場合、アレイ・エントリがその絶対値によって除算される、すなわち、iが−１の平方根であり、z=Re(z)+Im(z)iである複素値zが、
【００４３】
【数２】
2007524307.tif 000005
によって置き換えられる。逆フーリエ変換関数IFFT６７０a、６７０b、６７０c並びにD5VSC関数６９０も、１２８x１２８の画素アレイを処理することができる。
【００４４】
図２及び図４に示す関数５０、６０は、計算機装置上で実行可能なソフトウェアにおいて実施することができる。あるいは、これらは、専用ハードウェアを用いて、例えば、特殊用途向集積回路（AISC）として実施することが可能である。あるいは又、関数５０、６０を、ソフトウェア部分及びハードウェア部分を混合して実施することが可能である。
【００４５】
図１におけるSBSCP関数７０の実施を次に説明する。この関数７０は、図５の浮動小数点値A、B、C、Dの４つの１２８ｘ１２８エレメントのアレイを、水平及び垂直の直交画像フレーム軸毎の5個の浮動小数点スケール係数値とともに受けるよう構成される。好ましくは、スケール係数値は数値的に、0.5から1.5までの範囲である。更に、関数７０は、水平及び垂直の直交フレーム軸毎に１つの最良の浮動小数点スケール係数値を出力するよう動作可能である。関数７０から出力される最良のスケール係数値は好ましくは、数値的には0.5から1.5までの範囲である。
【００４６】
関数７０は、図５に表すような4個の１２８ｘ１２８画素アレイA、B、C、Dを用いて、(a)関数５０、６０において前述したようにアレイA、B、C、Dにおいて累算を実行した後、アレイA、B、C、Dが、リセットされないが、最良のスケール係数候補対を選択するよう再使用される、すなわち、アレイA、B、C、Dがその場合事実上、300個の累算ビデオ・フレームのカットアウトを有する工程と、
(b)線形補間を用いて２５６ｘ２５６アレイ・タイルをスケーリングして、最良のスケール係数対の[1,1]単位スケール・オプションを備える候補水平スケール係数及び候補垂直スケール係数の考えられる組み合わせ全てを検査する工程と、
(c)相関に対する最高の信頼度をもたらし、かつ、有効なペイロードが見つかることを可能にする最良のスケール係数対を判定する工程であって、有効なペイロードが見つからなかった場合、最高の相関をもたらす前述の単位スケール係数を備える最良の候補の２６個の組み合わせのうちからスケール係数対が選択される工程とを行って最良の候補を選択するよう動作可能である。
【００４７】
次に精緻化スケール係数関数RSFF80を更に詳細に明らかにする。この関数RSFF８０は、関数SBSCP７０によって識別された最良のスケール係数対からわずかに繰り返すことによってスケール係数の組み合わせを調査し、それによって相関、及び、よって、透かしペイロード検出が向上する。BhorS及びBverSが水平軸及び垂直軸の最良スケール係数対である場合、好ましくは、9個のスケール係数の組み合わせが好ましくは、表２に示されるように調査される。
【００４８】
【表２】
2007524307.tif 000006
２５６ｘ２５６画素のタイルを、９個の組み合わせについて線形補間フィルタを用いてスケーリングし、次いで、折りたたんで１２８ｘ１２８画素のタイルを生成し、この１２８ｘ１２８画素のタイルを、1次透かし基本タイルと相関させる。更なる度合いの反復を次いで任意的に同様に上記+/−0.005の反復に施す。更なる反復は、+/−0.0025のサーチ範囲を用いる。向上した透かし相関が見られる場合、関数RSFF８０を施すことから生じる反復された最良スケール係数対を次いで利用する。
【００４９】
次に、図１に示すDP関数９０を更に詳細に説明する。DP関数９０は、４つのアレイA、B、C、Dを、RSFF関数８０からの最良の反復された水平及び垂直のスケ―ル係数値とともに受けるよう構成される。更に、DP関数９０は、1次検出ペイロードを検出信頼度情報とともに出力するよう動作可能である。更に、信号BV又はMP4にある場合、DP関数９０は、関連した検出信頼度情報とともに存在する2次ペイロードを検出することもできる。
【００５０】
装置１０は、非常に低いビットレートの画像伝送アプリケーション（例えば、VWMやWatercastに関するもの）のスケール係数及び/又は透かし検出器において用いるのに特に適切である。本発明は、インターネットなどの公衆通信ネットワークに未公開映画をリークする役割を果たす人々を狙いとするフォレンシック・トラッキングにおけるスケール係数判定に特に適切である。
【００５１】
更に、装置１０は、近い将来に広く導入されることが想定されている高品位（HD）コンテンツにおけるスケール係数の判定に適用することができる。スケール係数の検出は、来るべきHD番組コンテンツに関する重要な課題である。こうした番組コンテンツでは、透かしを薄く埋め込んで、卓越したHD品質を劣化させないようにすることが想定されている。しかし、番組コンテンツ・プロバイダから番組コンテンツ受信者までの、例えば、番組コンテンツ・プロバイダから、HD・SD変換、不可逆圧縮、DIVX圧縮を用いたインターネット経由で、別の不可逆圧縮工程を伴ってもう一度CE機器に戻る配信を介した、長い処理経路の後、プロバイダから出力される番組コンテンツ出力に埋め込まれた透かし情報は、受信側で受信される番組コンテンツにおいてなお検出可能であることを本願の発明者は認識している。そうした長い処理経路は、透かしエネルギ及び/又は情報コンテンツが、従来の透かし復号器が、そうした状況において番組コンテンツ内の透かし情報を検出できない傾向にあるように経路に沿って漸進的に失われる一方、装置１０はそうした埋め込み透かし情報をより高精度で検出することができるという効果を有する。
【００５２】
要約すれば、本発明は、水平及び垂直の直交フレーム軸毎に５個の最高相関ピークの位置を見つけることに関する。相関ピークに相当する相当スケール係数の組み合わせを試行して最良の直交スケール係数対を判定する。任意的には、スケール係数の微調整を行って最適なスケール係数対を判定する。相関ピークを判定するための相関を、複素共役を用いてフーリエ変換領域において、結果の正規化をかけて行う。
【００５３】
前述の本発明の実施例を、特許請求の範囲記載の本発明の範囲から逸脱することなく修正することができるということが認識されよう。
【００５４】
「comprise」、「include」、「incorporate」、「contain」、「is」及び「have」などの表現は、本明細書及び特許請求の範囲を解釈する際に非排他的に解される、すなわち、明示的に規定していない他のアイテム又は構成部分も存在することを可能にするよう解されるべきである。単一形への言及も、複数形への言及としてみなすべきであり、逆も同様である。
【図面の簡単な説明】
【００５５】
【図１】本発明の方法を実施する装置の略図である。
【図２】水平スケール係数候補値を判定するための、図１の装置内で実施される関数を示す略図である。
【図３】水平スケール係数の判定のための透かしの配置の略図である。
【図４】垂直スケール係数候補値を判定するための、図１の装置内で実施される関数を示す略図である。
【図５】垂直スケール係数の判定のための透かしの配置の略図である。
【図１】
2007524307.tif 000007
【図２】
2007524307.tif 000008
【図３】
2007524307.tif 000009
【図４】
2007524307.tif 000010
【図５】
2007524307.tif 000011
【国際調査報告】
2007524307.tif 000012
2007524307.tif 000013
2007524307.tif 000014