(57)【要約】  画像シーケンスに含まれる透かしを検出することによって、スケール係数指標を決定する方法が記載される。透かしは、シーケンス内で複数の互いに変更された形式により含まれる。第１ステップでは、本方法は、画像シーケンスを受け付けることを伴う。第２ステップでは、含まれている透かしに適用される１以上の相対的変化に応じて、画像は複数の対応するグループに実質的にソートされる。第３ステップでは、本方法は、各グループに対して、該グループの１以上の画像の少なくとも一部を対応するバッファに蓄積することを伴う。第４ステップでは、本方法は、シーケンスに含まれる透かしに適用される１以上の変化を決定するため、バッファのコンテンツを互いに解析することを伴う。第５ステップでは、１以上の変化に関する情報が、スケール係数指標を決定するため、予想されるスケール係数に関して処理される。
2007536864.tif 000002
【特許請求の範囲】
【請求項１】
画像シーケンスに含まれ、該シーケンスに複数の互いに変更された形式により含まれる透かしを検出することによって、スケール係数指標を決定する方法であって、
（ａ）前記画像シーケンスを受け付けるステップと、
（ｂ）含まれている透かしに適用される１以上の相対的変化に応じて、前記画像を複数の対応するグループに実質的にソートするステップと、
（ｃ）各グループに対して、該グループの１以上の画像の少なくとも一部を対応するバッファに蓄積するステップと、
（ｄ）前記シーケンスに含まれる透かしに適用される１以上の変化を決定するため、前記バッファのコンテンツを相互に解析するステップと、
（ｅ）前記スケール係数指標を決定するため、予想されるスケール係数に関して前記１以上の変化に関する情報を処理するステップと、
を有することを特徴とする方法。
【請求項２】
請求項１記載の方法であって、
前記検出された１以上の変化は、変換変化、ミラー転置変化及び回転変化の少なくとも１つを含むことを特徴とする方法。
【請求項３】
請求項１記載の方法であって、
前記ステップ（ｄ）の解析は、
（ｆ）前記バッファのコンテンツをそれぞれ空間周波数形式による対応するデータセットに変換するステップと、
（ｇ）対応する処理データを生成するため、前記データセットをポイント単位乗算するステップと、
（ｈ）前記処理データを空間形式に変換するステップと、
を有することを特徴とする方法。
【請求項４】
請求項３記載の方法であって、さらに、
前記処理データを前記空間形式に変換する前に、前記処理データを正規化するステップを有することを特徴とする方法。
【請求項５】
請求項３記載の方法であって、さらに、
前記バッファのコンテンツに対して、該コンテンツを対応するデータセットに変換する前に、ハイパス空間フィルタリングを実行するステップを有することを特徴とする方法。
【請求項６】
請求項３記載の方法であって、
前記ステップ（ｅ）は、
（ｉ）１以上の相関ピークの位置を決定するため、前記処理データを空間形式により解析するステップと、
（ｊ）前記１以上のピークの位置から前記スケール係数指標を求めるステップと、
を有することを特徴とする方法。
【請求項７】
請求項６記載の方法であって、さらに、
前記スケール係数指標を決定するため前記１以上のピークを特定する前に、画像プログラムコンテンツの相関から生じる偽の周辺の相関を削除するため、前記空間形式による処理データをクロップ処理するステップを有することを特徴とする方法。
【請求項８】
請求項１記載の方法であって、
当該方法は、互いに異なる複数の画像方向におけるスケール係数指標を決定するよう構成されることを特徴とする方法。
【請求項９】
請求項１記載の方法であって、
前記シーケンスの透かしに適用される１以上の変化は、前記スケール係数指標が、ｚ＝Ｈｐ／ｓ（ただし、Ｈｐは対応するピークの決定された位置である）から実質的に計算されるように、大きさｓの少なくとも１つの方向への前記透かしの幅Ｌの１／２未満となるよう構成される前記大きさｓの少なくとも１つの方向への変換を有することを特徴とする方法。
【請求項１０】
請求項１記載の方法であって、
前記シーケンスの透かしに適用される１以上の変化は、前記スケール係数指標が、ｚ＝（Ｈｐ−ｓ）／（ｓ−Ｌ）（ただし、Ｈｐは対応するピークの決定された位置である）から実質的に計算されるように、大きさｓの少なくとも１つの方向への前記透かしの幅Ｌの１／２以上となるよう構成される前記大きさｓの少なくとも１つの方向への変換を有することを特徴とする方法。
【請求項１１】
画像シーケンスに複数の互いに変更された形式により含まれる透かしを前記画像シーケンスにおいて検出することによって、スケール係数指標を決定する透かし検出装置であって、
（ａ）前記シーケンスに含まれる画像を該画像の透かしに適用される１以上の変化に対応するグループにソートするスイッチング手段と、
（ｂ）前記グループからの１以上の画像の少なくとも一部を蓄積するバッファと、
（ｃ）前記シーケンスの透かしに適用される１以上の変化を決定するため、バッファのコンテンツを互いに解析する解析手段と、
（ｄ）前記スケール係数指標を決定するため、予想されるスケール係数に関して前記１以上の変化に関する情報を処理する処理手段と、
を有することを特徴とする装置。
【請求項１２】
画像シーケンスを有するプログラムコンテンツを有する映像データであって、
前記画像は、該画像に含まれる１以上の透かしに適用される１以上の相対的変化に応じて、対応するグループ間で交互にされ、
前記１以上の変化は、前記シーケンスに対するスケール係数指標を決定するため利用可能である、
ことを特徴とする映像データ。
【請求項１３】
請求項１２記載のデータであって、
前記１以上の相対的変化は、変換変化、ミラー転置変化及び回転変化の少なくとも１つを有することを特徴とするデータ。
【請求項１４】
データキャリ上に格納された請求項１２記載のデータ。
【請求項１５】
請求項１記載の方法を実現するコンピュータハードウェア上で実行可能なソフトウェア。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、透かしを検出し、これにより、スケール係数の指標を決定する方法に関し、以下に限定するものではないが特に、本発明は、１以上の透かしが画像シーケンスにおいて、例えば、シフト、ミラー及び／又は回転処理など、他の画像に対してシーケンスの画像の一部において変更される画像シーケンスにおいて１以上の透かしを検出する方法に関する。さらに、本発明はまた、このような相対的に変更された透かしの有無を検出することが可能な透かし検出装置に関する。さらに、本発明はまた、コンテンツにおけるシフト、ミラー及び／又は回転処理された透かしなど、１以上の相対的に変更された透かしを有するプログラムコンテンツに関する。さらに、本発明は、上記透かし検出方法を実現するための計算ハードウェア上で実行するためのソフトウェアに関する。
【背景技術】
【０００２】
しばしば、コンテンツの許可されていない侵害又は複製を検出する法的な目的のため、あるいはコンテンツの真正性を確認する機構として、透かしが音声映像プログラムコンテンツに巧妙に含まれる。透かしが埋め込まれるとき、プログラムコンテンツを認知可能な程度まで劣化又は歪みを生じさせないようにするため、透かしは画像毎にかなり変化し得る構成を有するコンテンツにかすかに追加されている。この結果、シーケンスの多数の画像にわたって透かし情報を１以上のバッファに蓄積し、その後、音声映像コンテンツにおける透かしの有無を確認するため、１以上の予想される透かしテンプレートを用いて相関技術を適用することが、実際的に確立されている。
【０００３】
空間相関ベースの透かし検出が、映像コンテンツのオリジナルスケールがわかっていない場合には、実質的に不可能でない場合であっても、実現することが極めて困難であるということが知られている。多くの現在の透かし処理スキームは、タイル的方法により繰り返され、すなわち、映像コンテンツの画像全体に繰り返し既知の空間リファレンスグリッドに従ってタイル処理されるように、映像コンテンツに埋め込まれた透かしパターンを利用する。映像コンテンツから抽出された隣接する透かしタイルを相関させることによって、オリジナルスケールの指標を抽出することが従来実践されていた。オリジナルスケール係数の指標は、これにより求められる相関ピークの位置に対応する。
【０００４】
従来使用されるタイル処理された透かしを利用する透かしスキームは、以下のようないくつかの不利な点を有する。
（１）映像コンテンツに含まれる画像シーケンスのフレームとしても知られる各画像における透かしパターンの繰り返しを利用することが必要である。このようなタイル処理された透かしは、対応する映像コンテンツのフォーマットが変換されるとき、例えば、映像コンテンツがＳＩＦフォーマットにサブサンプリングされとき、確実には変換されず、サブサンプリングが適用されると、透かしパターンサイズは大変限定され、ときには小さすぎて、例えば、ＤＩＶＸ符号化映像コンテンツにおける真正性を保証するため、又は証拠のためなどに有用ではない。
（２）ワイド画面映像プログラムコンテンツが考えられるとき、透かしパターンが画像フレームではなく画像フィールドに含まれる場合、そのようなフィールドは、垂直画像方向について小さすぎるため、実際的には２つの垂直に隣接する映像パターンを埋め込むことができないことがわかっている。
（３）クロッピング及びスケーリングは、映像画像、すなわち、フレームが垂直方向に小さくなりすぎるため、２つの垂直に隣接する透かしタイルを有することができない可能性がある。
【０００５】
本発明者が直面したある問題は、映像フィールド上の１２８×１２８要素透かしパターンをタイル処理するよう動作可能な透かし埋め込み装置に関するものである。当該埋め込み装置と互換性を有する透かし検出装置は、２つの水平方向に隣接する１２８×１２８要素の透かしタイルを相関させることによって、水平方向のスケール係数の指標を抽出することが可能である。同様に、当該検出装置は、２つの垂直方向に隣接する上記のような透かしタイルを相関させることによって、垂直方向のスケール係数の指標を抽出することが可能である。スケール係数の指標は、関連付けされた相関フィールドの第１行及び列の最も高い相関ピークの位置から決定される。
【０００６】
スケール係数の決定に対する上記アプローチを適用する検出装置は、フルＤ１透かし映像を複製することが可能である。しかしながら、実際には、ＤＶＤによりデータキャリアとして搬送される映像プログラムコンテンツデータは、しばしばスケーリングダウンと、その後のＤＩＶＸフォーマットによる対応するデータへの変換が行われる。例えば、オリジナルの映像プログラムコンテンツは、ワイド画面フォーマット、すなわち、７２０×４８０の要素サイズに対応する１６：９（幅：高さ）のアスペクト比を有する画像シーケンスを有する。この映像コンテンツは、その後、画像が７２０×２８０要素（幅：高さ）のフォーマットを有するクロップ処理された映像コンテンツを生成するため、それの黒色境界を削除される。その後、サブサンプリングが、クロップ処理されたサブサンプリング映像コンテンツの５２０×２００要素の画像フレームサイズを生成するため、クロップ処理された映像コンテンツに適用される。この結果、各サブサンプリング画像は、５１２×１００要素の２つのサブフィールドを有する。オリジナル映像コンテンツが２つの垂直方向に隣接した透かしタイルを有する場合、１以上の１２８×１２８要素の透かしタイルを想定する透かし検出装置に提供されるクロップ処理されたサブサンプリング映像コンテンツにより、検出装置は２つの１２８×５０要素のタイルの相関に基づきスケール係数の指標を決定しようとする。この結果、垂直方向のスケール係数の指標を決定するのにかなり困難になる検出装置の透かし検出パフォーマンスは、大きく低減することとなる。検出装置が垂直方向のスケール係数を正確に決定することができない場合、それはオリジナル映像コンテンツに含まれる透かしに係るデータペイロードを検出することが実質的に不可能となる。このデータペイロードは、例えば、不正複製追跡に利用可能である配布ルートを示す情報を含む。
【０００７】
日本国特許出願第２０００−１５１９８４号では、音声映像コンテンツにオリジナルの透かしと当該透かしのシフトされたものとを交互に埋め込むことが提案されている。このシフトされた透かしは、オリジナルの透かしに対して既知の量だけ変換される。この結果、シフトされた透かしとオリジナルの透かしに対応するテスト透かしを相関させるよう構成される透かし検出装置は、音声映像コンテンツにおいて透かしシフトを検出することが可能となる。コンテンツがスケーリングされている場合、シフトベクトルが同様のスケール係数だけ変更されているであろう。従って、このシフトの検出は、音声映像コンテンツがスケーリングされたスケール係数を決定することを可能にする。
【０００８】
透かし検出において直面した上述の問題点を解決するため、本発明者は、本発明を開発した。本発明は、ワイド画面ＤＩＶＸ映画に対して特に良好に機能することが発明者によって認識されている。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明の課題は、透かしを検出し、これにより、スケール係数の指標を求める改良された方法を提供することである。
【課題を解決するための手段】
【００１０】
本発明の第１の特徴によると、画像シーケンスに含まれ、該シーケンスに複数の互いに変更された形式により含まれる透かしを検出することによって、スケール係数指標（ＭＳＦ）を決定する方法であって、
（ａ）前記画像シーケンスを受け付けるステップと、
（ｂ）含まれている透かしに適用される１以上の相対的変化に応じて、前記画像を複数の対応するグループに実質的にソートするステップと、
（ｃ）各グループに対して、該グループの１以上の画像の少なくとも一部を対応するバッファに蓄積するステップと、
（ｄ）前記シーケンスに含まれる透かしに適用される１以上の変化を決定するため、前記バッファのコンテンツを相互に解析するステップと、
（ｅ）前記スケール係数指標（ＭＳＦ）を決定するため、予想されるスケール係数に関して前記１以上の変化に関する情報を処理するステップと、
を有することを特徴とする方法が提供される。
【００１１】
本発明は、従来のアプローチと比較して、より正確及び／又は信頼性の高いスケール係数指標を提供することが可能であるという効果を有する。
【００１２】
好ましくは、本方法では、前記検出された１以上の変化は、変換変化、ミラー転置変化及び回転変化の少なくとも１つを含む。本方法は、横方向の変換に対応する転置が行われた透かしに対して良好に機能することがわかっているが、上記他の形式の転置が、代わりに又は加えて、特にミラー転置が、本方法で利用される効果的に利用される。
【００１３】
好ましくは、本方法では、前記ステップ（ｄ）の解析は、
（ｆ）前記バッファのコンテンツをそれぞれ空間周波数形式による対応するデータセットに変換するステップと、
（ｇ）対応する処理データを生成するため、前記データセットをポイント単位乗算するステップと、
（ｈ）前記処理データを空間形式に変換するステップと、
を有する。
【００１４】
このような処理は、透かし処理されていないプログラムコンテンツに対応する画像情報が、これらが空間形式においてより明確に互いに区別されるため、透かし情報と区別することを可能にする。好ましくは、本方法はさらに、前記処理データを前記空間形式に変換する前に、前記処理データを正規化するステップを有する。
【００１５】
好ましくは、本方法は、前記バッファのコンテンツに対して、該コンテンツを対応するデータセットに変換する前に、ハイパス空間フィルタリングを実行するステップを有する。このようなハイパスフィルタリングは、それが透かし検出用とは実質的に無関係な画像コンテンツを減衰させることが可能であるという効果を有する。
【００１６】
好ましくは、本方法は、
（ｉ）１以上の相関ピークの位置を決定するため、前記処理データを空間形式により解析するステップと、
（ｊ）前記１以上のピークの位置から前記スケール係数指標（ＭＳＦ）を求めるステップと、
を有する。
【００１７】
好ましくは、本方法はさらに、前記スケール係数指標（ＭＳＦ）を決定するため前記１以上のピークを特定する前に、画像プログラムコンテンツの相関から生じる偽の周辺の相関を削除するため、前記空間形式による処理データをクロップ処理するステップを有する。このようなクロップ処理は、透かしの特定の信頼性を向上させ、これにより、透かし検出の精度及び／又は信頼性を向上させることが可能である。
【００１８】
好ましくは、本方法は、互いに異なる複数の画像方向におけるスケール係数指標を決定するよう構成される。複数の方向への本方法の適用は、実質的に垂直及び水平画像方向の互いに異なるスケール係数変化が行われた２次元画像のスケール係数を決定するとき関係する。
【００１９】
好ましくは、本方法では、前記シーケンスの透かしに適用される１以上の変化は、前記スケール係数指標が、ｚ＝Ｈｐ／ｓ（ただし、Ｈｐは対応するピークの決定された位置である）から実質的に計算されるように、大きさｓの少なくとも１つの方向への前記透かしの幅Ｌの１／２未満となるよう構成される前記大きさｓの少なくとも１つの方向への変換を有する。あるいは、本方法では、前記シーケンスの透かしに適用される１以上の変化は、前記スケール係数指標が、ｚ＝（Ｈｐ−ｓ）／（ｓ−Ｌ）（ただし、Ｈｐは対応するピークの決定された位置である）から実質的に計算されるように、大きさｓの少なくとも１つの方向への前記透かしの幅Ｌの１／２以上となるよう構成される前記大きさｓの少なくとも１つの方向への変換を有する。
【００２０】
本発明の第２の特徴によると、画像シーケンスに複数の互いに変更された形式により含まれる透かしを前記画像シーケンスにおいて検出することによって、スケール係数指標（ＭＳＦ）を決定する透かし検出装置であって、
（ａ）前記シーケンスに含まれる画像を該画像の透かしに適用される１以上の変化に対応するグループにソートするスイッチング手段と、
（ｂ）前記グループからの１以上の画像の少なくとも一部を蓄積するバッファと、
（ｃ）前記シーケンスの透かしに適用される１以上の変化を決定するため、バッファのコンテンツを互いに解析する解析手段と、
（ｄ）前記スケール係数指標（ＭＳＦ）を決定するため、予想されるスケール係数に関して前記１以上の変化に関する情報を処理する処理手段と、
を有することを特徴とする装置が提供される。
【００２１】
本発明の第３の特徴によると、画像シーケンスを有するプログラムコンテンツを有する映像データであって、前記画像は、該画像に含まれる１以上の透かしに適用される１以上の相対的変化に応じて、対応するグループ間で交互にされ、前記１以上の変化は、前記シーケンスに対するスケール係数指標を決定するため利用可能であることを特徴とする映像データが提供される。
【００２２】
好ましくは、本映像データでは、前記１以上の相対的変化は、変換変化、ミラー転置変化及び回転変化の少なくとも１つを有する。
【００２３】
好ましくは、本映像データは、データキャリ上に格納される。
【００２４】
本発明の第４の特徴によると、本発明の第１の特徴による方法を実現するコンピュータハードウェア上で実行可能なソフトウェアが提供される。
【００２５】
本発明の特徴が本発明の範囲から逸脱することなく何れかの組み合わせにより組み合わせ可能であるということは理解されるであろう。
【発明を実施するための最良の形態】
【００２６】
概略すると、本発明は、透かし検出装置が異なるタイムスロットからの画像を処理し、スケール係数の指標を求めるためそれらを解析することを可能にするため、タイムスロットによりグループ化された画像シーケンスを有する映像プログラムコンテンツの幾何学的な透かしの性質を時間的に変化させることに関する。例えば、透かし埋め込み装置は、効果的には、画像シーケンスの最初の６００枚の画像フレームのオリジナルの位置に標準的な透かしパターンを埋め込むよう構成される。当該シーケンスの以降の６００枚の画像フレームでは、埋め込み装置は、ミラー処理、空間変換及び／又は回転処理など転置されたフォーマットにより透かしを埋め込むよう動作可能である。次の６００枚の画像フレームでは、埋め込み装置は、透かしをオリジナル位置に埋め込み、図１に示されるように、その後、上記処理が交互に繰り替えし行われる。
【００２７】
図１において、画像フレームシーケンスは、１０により全体的に示される。当該シーケンス１０は、例えば、２０により示されるような第１画像フレームなどの画像フレームを有する。シーケンス１０は、時間連続的に構成される。ここで、時間はシンボル“ｔ”による矢印によって示され、図１において、以前の画像フレームは左側に、以降の画像フレームは右側に配置される。シーケンス１０は、例えば、第１タイムスロット３０ａ、第２タイムスロット３０ｂ及び第３タイムスロット３０ｃなどのタイムスロットに分割される。上述されるように、各タイムスロットは６００枚のフレーム画像を有し、あるいは、各タイムスロットは、例えば、３００枚のフレーム画像などの他の枚数のフレーム画像を有するよう構成することも可能である。
【００２８】
透かしの通常バージョンと変化されたバージョンを交互にすることは、シーケンス１０を処理する透かし検出装置が例えば、変化された透かしを生成するため、オリジナルの透かしが何画素だけシフトされたものであるかなど、検出装置が適用された変化量を知っている場合、スケール係数の指標を決定するため、そこに埋め込まれている透かしを特定することを可能にするのに十分な情報を提供する。検出装置は、好ましくは、この変化に係る１以上のベクトルを決定することが可能である。
【００２９】
この変化がタイムスロット毎に交互に透かしをシフトすることに対応する状況では、検出装置は、例えば、あるタイムスロットのフレーム画像から１２８×１２８要素タイルに対応するデータを抽出し、それらを第１バッファに蓄積するなど、シーケンス１０の任意部分を収集する。その後、検出装置は、次のタイムスロットにおいてこのような画像フレームの抽出を継続し、それらを第２バッファに蓄積する。その後、検出装置は、例えば、ＳＰＯＭＦ手順を利用して第１及び第２バッファに蓄積されたデータを相関させ、相関バッファに相関結果を出力する。最大相関に対応するピークが、相関バッファからの相関結果を解析することによって検出装置により特定される。この最大相関ピークから、スケール係数の指標が検出装置を利用して求めることが可能である。
【００３０】
概略すると、本発明は、以下の技術分野の少なくとも１つにおける潜在的な適用を有する。
（ａ）大変低い透かしペイロードビットレートアプリケーションのためのスケール及び／又は透かし検出装置
（ｂ）高品位（ＨＤ）映像プログラムコンテンツにおけるスケール係数の指標の検出のため
（ｃ）例えば、インターネットなどの通信ネットワークにリリース前の映画をリークした人を特定するためなど、不正複製トラッキングアプリケーションにおいてスケール係数の指標を決定するため
本発明は、特に将来のＨＤ映像コンテンツフォーマットにおけるスケール係数の指標を決定することに関する。このような高画質フォーマットを考慮して、透かしパターンは、既存のＨＤ画質を保持するためＨＤ映像コンテンツにわずかしか埋め込まれていない。しかしながら、わずかに透かし処理されたＨＤ映像コンテンツに長い処理パスが行われると、すなわち、多数の変換処理が行われると、わずかに埋め込まれた透かし情報はパスから出力された処理済みのＨＤ映像コンテンツにおいて依然として検出可能であることが望ましい。長い処理パスの一例は、以下のステップを伴う。
（ａ）ＨＤからＳＤ
（ｂ）非可逆的圧縮
（ｃ）ＤＩＶＸ圧縮を利用した１以上の通信ネットワークを介した配布
（ｄ）他の非可逆圧縮ステップを伴う家電機器における処理
本発明をさらに明らかにするため、本発明の実施例が説明される。
【００３１】
図２を参照して、シーケンス１０に含まれる透かしからスケール係数の指標を決定する検出装置が説明される。ここで、使用されるテキストは、テーブル１に与えられるような解釈を有している。
【００３２】
【表１】
2007536864.tif 000003
検出装置は、好ましくは、スケール係数特定処理を提供する図２に示されるような機能を実行するソフトウェアをコンピュータハードウェアが実行することにより実現される。当該処理は、画像フレームシーケンス１０を有する入力映像ストリームを受信し、さらなる処理のため当該ストリームを１１５において出力するため、バッファ１００の利用を伴う。当該処理は、画像フレームデータにかすかに埋め込まれた透かしデータを有するタイルウィンドウ１１８を解析するため、タイルウィンドウ１１８を使用する。当該処理はさらに、それの第１出力１２２が逐次的に第１アキュミュレータバッファ１３０と、空間ハイパスフィルタ機能（ＨＰ）１４０と、高速フーリエ変換機能（ＦＦＴ）１５０と、第１共役フーリエ変換出力１７０を出力する複素共役生成機能（ＣＭＣＮ）１６０とを有する第１処理チェーンに接続されるように接続されるデータスイッチ１２０を有する。さらに、データスイッチ１２０の第２出力１２４は、逐次的に第２アキュミュレータバッファ１８０と、空間ハイパスフィルタ機能（ＨＰ）１９０と、第２フーリエ変換出力２０５を出力する高速フーリエ変換機能（ＦＦＴ）２００とを有する第２処理チェーンに接続される。さらに、当該処理は、第１フーリエ変換出力１７０と第２フーリエ変換出力２０５を受信し、対応する乗算データを生成するポイント単位乗算機能２１０を有する。当該処理では、さらに、逐次的に正規化機能（ＮＲＭ）２２０と、逆高速フーリエ変換機能（ＩＦＦＴ）２３０と、クロップ境界機能（ＣＲＰ）２４０と、最後に最大相関ピークの位置を求め、これにより、以降においてより詳細に説明されるようなスケール係数の指標（ＭＳＦ）を求めるピーク検出機能（ＨＰＰ−ＤＳＣ）２５０とを有する第３処理チェーンを含む。この第３処理チェーンは、ポイント単位乗算機能２１０からの乗算データを受信するよう動作可能である。
【００３３】
図２に示される処理の動作が、説明される。
【００３４】
第１バッファ１３０において、当該処理は、最初の６００の映像フィールド、すなわち、３００枚の画像フレームにウィンドウ１１８からの透かしタイルデータを蓄積する。ウィンドウ１１８は、要求に応じて任意のサイズを有することが可能であるが、図２の処理は、ウィンドウ１１８のサイズが増大するに従って、より信頼性の高いスケール係数の指標を提供する。最も好ましくは、ウィンドウ１１８は、例えば、１２８×１２８要素などの１２８×１２８要素のオーダのサイズを有する。好ましくは、ウィンドウ１１８は、図３に示されるようにして、フレーム画像の各フィールドの実質的に中心領域に対応し、画像フレーム（ＦＲＭ）２０は、第１フィールド（ＦＬＤ１）３００と第２フィールド（ＦＬＤ２）３１０を有し、ウィンドウ１１８は、各フィールド３００と３１０において好ましくは中央に配置されるよう構成される。しかしながら、各フレーム内のウィンドウ１１８の他の位置、例えば、その中心から外れた領域とすることも可能である。その後、当該処理は、同様にして第２の６００の映像フィールド、すなわち、３００枚の画像フレームを第２バッファ１８０に蓄積する。
【００３５】
第１バッファ１３０と第２バッファ１８０からの蓄積されたデータについて、それぞれフィルタ機能１４０及び１９０において空間ハイパスフィルタリングが実行され、その後、空間周波数ドメインへの変換が行われる。フーリエ機能１５０からの出力について、共役機能１６０における対応する複素共役の生成が行われる。
【００３６】
ハイパス機能１４０及び１９０は、好ましくは、式１（Ｅｑ．１）に与えられるような係数を有する３×３のマトリックスフィルタを利用して実現される。
【００３７】
【数１】
2007536864.tif 000004
バッファ１８０のコンテンツとバッファ１３０のコンテンツの相関処理は、好ましくは、正規化機能２２０を含むＳＰＯＭＦアプローチを利用して実現される。ポイント単位乗算機能２１０の相関処理は、好ましくは、ポイント単位乗算を伴うＳＰＯＭＦアプローチを利用して実現される。このポイント単位乗算の結果は、正規化機能２２０において正規化され、その後、上述されるように、最も大きな相関ピークの空間位置を決定する機能２５０における解析前に、偽のエッジアーチファクトを除去するようクロップ処理される空間周波数ドメインから対応する空間情報への変換が行われる。
【００３８】
複素数の入力アレイｚに対する機能２２０における正規化は、当該アレイの複素数を正規化された等価なものに置換するため、式２及び３（Ｅｑ．２，３）を適用することによって達成される。
【００３９】
【数２】
2007536864.tif 000005
【００４０】
【数３】
2007536864.tif 000006
クロップ処理機能２４０に関して、本発明者は、本発明を創作する際の実験中に、逆変換機能２３０から出力される相関アレイの境界に大きな偽のピークが出現することを特定した。これら偽のピークは、基礎となる映像コンテンツの強い相関の結果として生ずるものであり、スケール係数の変化の結果によって生成されるものではない。これら偽のピークは潜在的に対象となる透かしコンテンツに関する相関ピークをその大きさについてマスクするため、これらの偽のピークはゼロの値に設定される。すなわち、それらについてクロップ処理が実行される。すなわち、それの境界近傍のウィンドウ１１８の要素に対応する相関値が、効果的にゼロに設定される。例えば、ポイント単位乗算機能２１０からの１２８×１２８要素の出力相関フィールドの最初及び最後の５行及び列が、ゼロに設定される。
【００４１】
機能２５０によって特定される最も高い相関ピークは、図４〜１０のいくつかの１次元の例によって示されるように、スケール係数の指標（ＭＳＦ）を決定するのに利用される。
【００４２】
図４において、例えば、１２８画素など１２８の要素を有するシフトされない周期的透かしパターンが４００により記され、１２８要素（映像の場合には画素）の領域を規定する限界４３０及び４４０内に含まれる。同一の透かしパターンの循環的にシフトされたバージョンは、４１０により記される。それは、矢印４２０によって記されるシフト距離ｓだけ、すなわち、ｓ＝２４の要素だけシフトされる。明らかに、パターン４００と４１０が互いに相関している場合、位置ｓ＝２４において相関ピークが検出されるであろう。
【００４３】
パターン４００と４１０は共に、例えば、図１に示されるような時間的に交互に透かし処理された映像コンテンツをリフォーマット処理することにより、ズーム係数ｚだけ空間的にスケーリングされる場合、パターン４５０と４６０が代わりに取得されることとなる。これらのパターンは、現在第１限界４３０とより広範なズーム限界４８０からの領域内に存在する。対象エリア（境界４３０と４４０との間のエリア）における２つのパターン４５０と４６０との間の相関を計算することによって、矢印４７０により記される位置ｓ×ｚにおける強い相関ピークが生成されることとなる。従って、当該ピークが位置３３において検出される場合、ズーム係数はｚ＝３３／２４＝１．３８となるであろう。ピークの強さは、４０１ａと４０１ｂにより記されるインターバルの同様の要素（画素）の個数により決定され、それは、（１２８−ｓ×ｚ）となる。
【００４４】
さらなる例として、図５において、矢印５００により記されるような３２画素などの３２要素の係数シフトに対応する変換が、関連する変形された透かしパターンを生成するため透かしパターンに適用されることを除いて、図４と同様にしてプロットされた透かしパターンが示される。これらのパターン５１０と５２０は、図１に示されるような方法により映像コンテンツに埋め込まれる。ズーム係数ｚ＝１．３８がパターン５１０と５２０に再び適用され、これにより再スケーリングされたパターン５３０と５４０がそれぞれもたらされる。相関ピークが、矢印５５０によって記される位置４４（１．３８×３２）において取得される。インターバル５０１ａと５０１ｂにおける類似した画素の個数（１２８−ｓ×ｚ）はより小さいため、相関ピークは前述の例と比較してやや小さくなるであろう。
【００４５】
図６において、ｓ＝４６画素の係数変換シフトとリスケーリングｚ＝１．３８に対する例が示される。本例では、長さ（１２８−ｓ×ｚ）を有するインターバル６０１ａと６０１ｂとの間の類似性のため、位置ｓ×ｚ＝６３において相関ピークを取得することとなる。また、長さ（ｓ×ｚ−１２８×ｚ＋１２８）を有するインターバル６０２ａと６０２ｂとの間の類似性により第２の相関ピークが存在することとなる。それらは、（より小さな）相関ピークを位置（ｓ×ｚ−１２８×ｚ＋１２８）において、すなわち、本例では位置１４に出現させることとなる。
【００４６】
図７において、ｓ＝６４画素の係数変換シフト及びリスケーリングｚ＝１．３８に対する例が示される。これは、２つの等しい大きさの相関ピークのため興味深い例である。位置ｓ×ｚ＝３３における１つのピークは、インターバル７０１ａと７０１ｂの類似性によりもたらされる。位置ｓ×ｚ−１２８×ｚ＋１２８における他方のピークは、等しい長さのインターバル７０２ａと７０２ｂの類似性によってもたらされる。６４画素だけシフトされたパターンを使用することは、スケール係数をどのようにして計算する必要があるかに関する情報を提供しない。両方の相関ピークが等しい確率により出現しうるため、何れの式を使用する必要があるか（ｓ×ｚ又はｓ×ｚ−１２８×ｚ＋１２８）わかっていない。映像がスケールアップ又はダウンされているかも確認することはできない。明らかに、タイルサイズの１／２のシフト係数をとることがワーストな選択となる。
【００４７】
図８において、ｓ＝９６画素の係数変換シフト及びリスケーリングｚ＝１．３８に対する例が示される。インターバル８０１ａと８０１ｂの類似性により、位置ｓ×ｚ−１２８×ｚ＋１２８＝８４において１つの相関ピークが存在する。
【００４８】
図９において、ｓ＝２４画素の係数変換シフト及びリスケーリングｚ＝０．７２に対する例が示される。ここでは、画像がダウンスケーリングされており、これにより、右側の限界４８０がオリジナルの限界４４０の左に位置することとなる。現在、第１の相関ピークが、インターバル９０１ａと９０１ｂの類似性により位置ｓ×ｚ＝１７に出現する。第２の相関ピークが、インターバル９０２ａと９０２ｂの類似性により、位置ｓ×ｚ−１２８×ｚ＋１２８＝５３に出現する。
【００４９】
図１０において、ｓ＝４６画素の係数変換シフト及びリスケーリングｚ＝０．７２に対する例が示される。第１相関ピークは、インターバル１００１ａと１００１ｂの類似性により位置ｓ×ｚ＝３３に出現する。第２相関ピークは、インターバル１００２ａと１００２ｂの類似性により、位置ｓ×ｚ−１２８×ｚ＋１２８＝６９に出現する。
【００５０】
図４から図１０までで、リスケーリングされたパターンについて、１又は２の相関ピークが取得されるということが観察される。
（１）１２８−（ｓ×ｚ）に関する相関ピークの高さを有する位置ｓ×ｚにおいて
（２）（ｓ×ｚ）−（１２８×ｚ）＋１２８に関する相関ピークの高さを有する位置（ｓ×ｚ）−（１２８×ｚ）＋１２８において
ただし、ｓは、図４についてｓ＝２４などのシフトを表す。相関ピークの高さは、１〜１２８の領域に関するものであり、そうでない場合、ピークは存在しないとみなされる。図２に示される手順に従って動作する透かし検出装置を創作するのに、ポイント単位乗算機能２１０の内部に生じる相関のみが１つの相関ピークを生成することが便利である。
【００５１】
このような１つの相関ピークを実現する１つの手段は、式４（Ｅｑ．４）に従ってシフトｓを選択することである。
【００５２】
【数４】
2007536864.tif 000007
ただし、Ｌは透かしのサイズであり、すなわち、図４〜１９に示されるような１２８の要素である。式４から、当該手段について、シフトｓは好ましくは、Ｌ／２よりはるかに小さくされることであり、ｓ＜Ｌ／４であることが好ましいということは理解されるであろう。このとき、スケール係数ｚは、式５（Ｅｑ．５）を利用して求めることが可能である。
【００５３】
【数５】
2007536864.tif 000008
ここで、Ｈｐは、ポイント単位乗算機能２１０において生成される最も大きな相関ピークの位置である。
【００５４】
このような１つの相関ピークを実現する他の手段は、式６（Ｅｑ．６）に従ってシフトｓを選択することである。
【００５５】
【数６】
2007536864.tif 000009
ここで、Ｌは透かしのサイズであり、すなわち、図４〜１０に示されるような１２８の要素である。式４から、この手段について、シフトｓは好ましくはＬ／２よりはるかに大きなものであるということは理解されるであろう。そのとき、スケール係数ｚは、式７（Ｅｑ．７）を利用して求めることが可能である。
【００５６】
【数７】
2007536864.tif 000010
図２に示される処理と最適に互換性を有するために、映像コンテンツの透かし処理を実現するとき、以下の基準を考慮することが効果的である。
（ａ）ピーク検出機能２５０において特定される相関ピークが複数存在するとき、これら特定された相関ピークの１つは、好ましくは、特定された他の相関ピークを棄却することが許される。
（ｂ）ポイント単位乗算機能２１０内で実行される相関計算に寄与する画素アレイなどの要素アレイの長さが最大化される。
（ｃ）エンハンスされた解像度／精度がスケール係数ｚを計算する際に取得可能となるように、シフトｓが選択される。
【００５７】
これらの条件（ａ）〜（ｃ）は、潜在的には相互に矛盾するものであり、しばしば妥協が必要となる。便宜上、画素などのＬ＝１２８要素について、実践的な妥協は、
（１）スケール係数ｚを決定するのに使用される式５によるｓ＝２０、又は
（２）スケール係数ｚを決定するのに使用される式７によるｓ＝１０７
同様の検討が、ミラー転置された透かし及び回転転置された透かしに関する。
【００５８】
本発明者はさらに、図１に示されるような交互の透かしパターンの利用が、このナシ区は、検出装置がタイムスロット３０の出現を認識するように、同期を提供するハードウェア及び／又はソフトウェア機能によりサポートされるということを理解していた。好ましくは、現在のデジタルカメラに使用されるものと類似した時間透かしが、同期のために含まれている。例えば、映像プログラムコンテンツと共に含まれるデジタル制御信号など同期のための他のタイプのタイムマーカーが、利用可能である。
【００５９】
添付した請求項では、括弧内に含まれる数字及び他のシンボルが、請求項の理解の手助けになるように含まれるが、それは請求項の範囲を限定するものではない。
【００６０】
上述した本発明の実施例は、添付した請求項によって規定されるような本発明の範囲から逸脱することなく変更可能であるということが理解されるであろう。
【００６１】
「有する」、「含む」、「搭載する」、「である」などの表現は、本記載及びそれに係る請求項を解釈する際、非排他的に解釈されるべきであり、すなわち、明示的に規定されていない他のアイテム又はコンポーネントが存在することが可能であると解釈されるべきである。単数形による表現はまた、複数を参照していると解釈されるべきであり、その反対も然りである。
【図面の簡単な説明】
【００６２】
【図１】図１は、タイムスロットにより構成される時間的な画像シーケンスを有する本発明による映像プログラムコンテンツの概略図である。
【図２】図２は、本発明による透かし検出処理の図である。
【図３】図３は、図１の映像コンテンツの画像内の透かしウィンドウの配置の例である。
【図４】図４は、図２の処理を利用した相関処理に対する変形された透かしパターンの図である。
【図５】図５は、図２の処理を利用した相関処理に対する変形された透かしパターンの図である。
【図６】図６は、図２の処理を利用した相関処理に対する変形された透かしパターンの図である。
【図７】図７は、図２の処理を利用した相関処理に対する変形された透かしパターンの図である。
【図８】図８は、図２の処理を利用した相関処理に対する変形された透かしパターンの図である。
【図９】図９は、図２の処理を利用した相関処理に対する変形された透かしパターンの図である。
【図１０】図１０は、図２の処理を利用した相関処理に対する変形された透かしパターンの図である。
【図１】
2007536864.tif 000011
【図２】
2007536864.tif 000012
【図３】
2007536864.tif 000013
【図４】
2007536864.tif 000014
【図５】
2007536864.tif 000015
【図６】
2007536864.tif 000016
【図７】
2007536864.tif 000017
【図８】
2007536864.tif 000018
【図９】
2007536864.tif 000019
【図１０】
2007536864.tif 000020
【国際調査報告】
2007536864.tif 000021
2007536864.tif 000022
2007536864.tif 000023