(57)【要約】      （修正有）【課題】ウォータマークが付された画像に存在している可能性があるコードワードを正しく検出する。【解決手段】位置合わせプロセッサは、ウォータマークが付された画像のフレームを複数の画像ブロックに分割する画像解析器と、歪みベクトル確率推定器と、前方確率推定器と、後方確率推定器とを備える。歪みベクトル確率推定器は、各画像ブロックについて、元の画像のコピーのブロックの位置に対する画像ブロックのシフトを表す歪みベクトルの観測された確率を推定する。前方確率推定器は、各画像ブロックについて、画像ブロック内の歪みベクトルの観測された確率分布及びブロックを通る所定のパスにおける前の画像ブロックからの歪み確率から歪みベクトルの前方確率分布を生成する。後方確率推定器は、各画像ブロックについて、画像ブロック内の歪みベクトルの観測された確率分布及び後の画像ブロックからの歪み確率から歪みベクトルの後方確率分布を生成する。【選択図】図５
2006209741.tif 000002
【特許請求の範囲】
【請求項１】
ウォータマークが付された画像に埋め込まれている一組のコードワードの少なくとも１つを検出するデータ処理装置において、
ウォータマークが付された画像と元の画像のコピーを互いに関連付けて位置合わせする位置合わせプロセッサと、
上記ウォータマークが付され、位置合わせされた画像を上記元の画像のコピーと比較することによって、該ウォータマークが付された画像から推定されたコードワードを再生し、上記組の各コードワードと該推定されたコードワードを相関させることによってコードワードを検出する検出プロセッサとを備え、
上記位置合わせプロセッサは、
上記ウォータマークが付された画像のフレームを複数の画像ブロックに分割する画像解析器と、
上記ウォータマークが付された画像の各画像ブロックについて、上記元の画像のコピーのブロックの位置に対する該画像ブロックのずれを表す歪みベクトルの観測された確率を推定する歪みベクトル確率推定器と、
各画像ブロックについて、該画像ブロックの歪みベクトルの観測された確率及び該画像ブロックを通る所定のパスの前の画像ブロックから判定された推定された前方確率分布から、該画像ブロック内の歪みベクトルの推定された前方確率分布を再帰的に生成する前方確率推定器と、
各画像ブロックについて、該画像ブロックの歪みベクトルの観測された確率及び上記所定のパスにおける後の画像ブロックから判定される推定された後方確率分布から、該画像ブロック内の歪みベクトルの推定された後方確率分布を再帰的に生成する後方確率推定器と、
各画像ブロックについて、上記推定された前方確率分布と、上記推定された後方確率分布と、上記歪みベクトルの観測された確率とを結合し、推定された最尤歪みベクトルを生成し、該推定された最尤歪みベクトルから最尤歪みベクトルのマップを生成する結合エンジンと、
上記ウォータマークコードワードを正しく検出する可能性を高めるために、上記最尤歪みベクトルのマップの逆を適用して、ウォータマークが付された画像を上記元のコピーに位置合わせする歪み除去エンジンとを備えることを特徴とするデータ処理装置。
【請求項２】
上記歪み除去エンジンは、
最尤歪みベクトル確率のマップに最適なウォータマークが付された画像に存在する歪みを表す、モデリング関数を生成するモデリングプロセッサと、
上記ウォータマークが付された画像を再サンプリングし、モデリング関数で表現されたウォータマークが付された画像の歪みを低減し、該ウォータマークが付された画像を上記元の画像のコピーに位置合わせする再サンプラとを備えることを特徴とする請求項１記載のデータ処理装置。
【請求項３】
上記再サンプラは、画像の画素を再サンプリングし、モデリング関数に基づいて歪みを除去することを特徴とする請求項２記載のデータ処理装置。
【請求項４】
上記所定のパスは、第１及び第２の所定のパスを含み、上記前方及び後方確率推定器は、第１の前方及び後方確率推定器を備え、
当該データ処理装置は、
上記画像ブロックの最尤歪みベクトル及びブロックを通る第２の所定のパスの前の画像ブロックから判定された推定された前方確率分布から、各画像ブロックについて、画像ブロック内の歪みベクトルの第２の推定された前方確率分布を再帰的に生成する第２の前方確率推定器と、
画像ブロックの最尤歪みベクトル及び上記第２の所定のパスにおける後の画像ブロックから判定された推定された後方確率分布から、各画像ブロックについて、画像ブロック内の歪みベクトルの第２の推定された後方確率分布を再帰的に生成する第２の後方確率推定器とを備え、
上記結合エンジンは、上記第２の推定された前方確率分布、上記第２の推定された後方確率分布及び最尤歪みベクトルを結合し、精度が高められた最尤歪みベクトルを提供する精度が高められた歪み確率マップを生成し、上記歪み除去エンジンは、該精度が高められた歪み確率マップの逆を適用して、上記ウォータマークが付された画像の歪みを低減し、該ウォータマークが付された画像を上記元の画像のコピーに位置合わせすることを特徴とする請求項１乃至３いずれか１項記載のデータ処理装置。
【請求項５】
上記第１の所定のパスは、行毎の処理によって上記画像ブロックを特定し、上記第２の所定のパスは、列毎の処理によって上記画像ブロックを特定することを特徴とする請求項１乃至４いずれか１項記載のデータ処理装置。
【請求項６】
上記第１及び第２の前方確率推定器の少なくとも１つは、所定の確率分布に基づいて、歪みベクトルの推定された前方確率分布を調整して前方に出現する歪みベクトルの可能性に影響を及ぼすフィルタを備え、
上記第１及び第２の後方確率推定器の少なくとも１つは、所定の確率分布に基づいて、歪みベクトルの推定された後方確率分布を調整して後方に出現する歪みベクトルの可能性に影響を及ぼすフィルタを備えることを特徴とする請求項１乃至５いずれか１項記載のデータ処理装置。
【請求項７】
上記所定の確率分布は、ガウス分布であることを特徴とする請求項６記載のデータ処理装置。
【請求項８】
ウォータマークが付された画像に埋め込まれている一組のコードワードの少なくとも１つを検出するデータ処理方法において、
上記ウォータマークが付された画像と元の画像のコピーを互いに関連付けて位置合わせするステップと、
上記ウォータマークが付され、位置合わせされた画像を上記元の画像のコピーと比較することによって上記ウォータマークが付された画像から推定されたコードワードを再生するステップと、
上記組の各コードワードと該推定されたコードワードを相関させることによってコードワードを検出するステップとを有し、
上記ウォータマークが付された画像と上記元の画像のコピーとを位置合わせするステップは、
上記ウォータマークが付された画像のフレームを複数の画像ブロックに分割するステップと、
上記ウォータマークが付された画像の各画像ブロックについて、元の画像のコピーのブロックの位置に対する該画像ブロックのずれを表す歪みベクトルの観測された確率を推定するステップと、
各画像ブロックについて、該画像ブロックの歪みベクトルの観測された確率及び該画像ブロックを通る所定のパスの前の画像ブロックから判定された推定された前方確率分布から、該画像ブロック内の歪みベクトルの推定された前方確率分布を再帰的に生成するステップと、
各画像ブロックについて、該画像ブロックの歪みベクトルの観測された確率及び所定のパスの後の画像ブロックから判定された推定された後方確率分布から、該画像ブロック内の歪みベクトルの推定された後方確率分布を再帰的に生成するステップと、
各画像ブロックについて、上記推定された前方確率分布と、上記推定された後方確率分布と、上記歪みベクトルの観測された確率とを結合し、推定された最尤歪みベクトルを生成するステップと、
各画像ブロックについて、該推定された最尤歪みベクトルから歪みベクトルのマップを生成するステップと、
上記ウォータマークコードワードを正しく検出する可能性を高めるために、各画像ブロックについて、画像を再サンプリングすることによって上記最尤歪みベクトルの逆を適用して、ウォータマークが付された画像を元の画像のコピーに位置合わせするステップとを有するデータ検出方法。
【請求項９】
上記最尤歪みベクトルの逆を適用するステップは、
最尤歪みベクトル確率のマップに最適なウォータマークが付された画像に存在する歪みを表す、モデリング関数を生成するステップと、
上記ウォータマークが付された画像を再サンプリングし、モデリング関数で表現されたウォータマークが付された画像の歪みを低減し、ウォータマークが付された画像を元の画像のコピーに位置合わせするステップとを有することを特徴とする請求項８記載のデータ検出方法。
【請求項１０】
上記再サンプリングするステップは、画像の画素を再サンプリングし、モデリング関数に基づいて歪みを除去するステップを有することを特徴とする請求項８又は９記載のデータ検出方法。
【請求項１１】
上記所定のパスは、第１及び第２の所定のパスを含み、
当該データ検出方法は、
画像ブロックの最尤歪みベクトル及びブロックを通る第２の所定のパスの前の画像ブロックから判定された推定された前方確率分布から、各画像ブロックについて、画像ブロック内の歪みベクトルの第２の推定された前方確率分布を再帰的に生成するステップと、
画像ブロックの最尤歪みベクトル及び上記第２の所定のパスの後の画像ブロックから判定された推定された後方確率分布から、各画像ブロックについて、画像ブロック内の歪みベクトルの第２の推定された後方確率分布を再帰的に生成するステップと、
歪みベクトルの第２の前方確率分布、歪みベクトルの第２の後方確率分布及び最尤歪みベクトルを結合し、精度が高められた最尤歪みベクトルを提供する精度が高められた歪み確率マップを生成するステップと、
上記精度が高められた歪み確率マップの逆を適用して、上記ウォータマークが付された画像の歪みを低減し、該ウォータマークが付された画像を元の画像のコピーに位置合わせするステップとを有することを特徴とする請求項８乃至１０いずれか１項記載のデータ検出方法。
【請求項１２】
上記第１の所定のパスは、行毎の処理によって上記画像ブロックを特定し、上記第２の所定のパスは、列毎の処理によって上記画像ブロックを特定することを特徴とする請求項８乃至１１いずれか１項記載のデータ検出方法。
【請求項１３】
所定の確率分布に基づいて、歪みベクトルの推定された前方確率分布を調整して前方に出現する歪みベクトルの可能性に影響を及ぼすステップと、
所定の確率分布に基づいて、歪みベクトルの推定された後方確率分布を調整して後方に出現する歪みベクトルの可能性に影響を及ぼすステップとを更に有する請求項８乃至１２いずれか１項記載のデータ検出方法。
【請求項１４】
上記所定の確率分布は、ガウス分布であることを特徴とする請求項１３記載のデータ検出方法。
【請求項１５】
データ処理装置にロードされて、該データ処理装置に請求項８乃至１４いずれか１項記載のデータ検出方法を実行させるコンピュータにより実行可能な命令を提供するコンピュータプログラム。
【請求項１６】
請求項１５記載のコンピュータプログラムを表す情報信号が記録されたコンピュータにより読取可能な媒体。
【請求項１７】
図面を参照して実質的に本明細書に説明するデータ処理装置又は位置合わせプロセッサ。
【請求項１８】
図面を参照して実質的に本明細書に説明する、コードワードの所定の組における少なくとも１つコードワードを特定する方法又は画像の歪んだバージョンを元の画像のコピーに位置合わせする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ウォータマークが付された画像に埋め込まれている一組のコードワードの少なくとも１つを検出するデータ処理装置及びデータ処理方法に関する。
【背景技術】
【０００２】
知覚可能に又は知覚不可能にデータをマテリアルに埋め込む技術は、一般的に、電子透かし技術（ウォータマーキング）と呼ばれる。コードワードは、マテリアルアイテムのバージョンを特定する目的で、又はコードワードによって表されたデータを運ぶ目的で、マテリアルアイテムのバージョンに適用される。したがって、一部のアプリケーションでは、ウォータマーキングにより、マテリアルの特定のバージョンを識別することができる。
【０００３】
マテリアルの特定のバージョンを識別する目的で情報をマテリアルに埋め込むプロセスは、フィンガプリント法と呼ばれる。マテリアルを特定するコードワードは、マテリアルにおいて、コードワードが可能な限り知覚されないようにマテリアルに埋め込まれる。これにより、マテリアルの所有者、配信者又は他の権利者の意図に反してマテリアルがコピーされ又は使用された場合に、コードワードからマテリアルのバージョンを特定でき、適切な対策を講じることができる。
【０００４】
ウォータマークが付されたマテリアルアイテム内のコードワードを検出するために、ウォータマークが付されたマテリアルアイテムから推定されたコードワード（estimate）を再生し、コードワードの可能な組における各コードワードと推定されたコードワードを相関させてコードワードを特定する手法が知られている。コードワードは、相関の結果を所定の閾値と比較することによって検出される。すなわち、相関結果が閾値を超えている場合、コードワードの組において、その相関結果を生成したコードワードが検出されたとみなされる。このようにコードワードを検出することによって、コードワードにより表されているペイロードデータを再生することができる。通常、ウォータマークが付されたマテリアルから推定されたコードワードを再生するために、検査すべきウォータマークが付されたマテリアルアイテムから元のマテリアルアイテムを減算する。
【０００５】
映画にフィンガプリンティングを行う用途では、映画館のスクリーンに映画の映像のウォータマークが付されたコピーを映写する。そして、例えば、携帯型のビデオカメラを用いて、映画フィルムがコピーされ、海賊版コピーが作成された場合、海賊版コピー内に存在するコードワードを検出することによってこの海賊版コピーを特定できる。フィルムの海賊版コピーは、多くの場合、コピーの結果、又は海賊版コピーに対して施される処理の結果、何らかの歪みを含んでいる。例えば、コピーを撮影したビデオカメラの映画館のスクリーンに対する角度により、元の画像が歪むことがある。海賊版コピー内においてウォータマークが付された画像が歪んでいる場合、画像内に存在しているコードワードを正しく検出できる可能性が低下する。そこで、ウォータマークが付された画像を元の画像のコピーに位置合わせして、位置合わせされたウォータマークが付されたコピーから元の画像を減算したときに、ウォータマークが付された画像内に存在するコードワードがコードワードの原形により近くなるようにする手法が知られている。これにより、ウォータマークが付された画像に存在するコードワードが検出されない可能性（見逃し確率）を低減できる。
【０００６】
なお、本明細書では、「位置合わせする（register）」という用語は、コピーされた画像から歪みを可能な限り除去し、元の画像に揃えるための処理を意味することとする。
【発明の開示】
【課題を解決するための手段】
【０００７】
本発明に係るデータ処理装置は、ウォータマークが付された画像に埋め込まれている一組のコードワードの少なくとも１つを検出する。データ処理装置は、ウォータマークが付された画像と元の画像のコピーを互いに関連付けて位置合わせする位置合わせプロセッサと、検出プロセッサとを備える。検出プロセッサは、ウォータマークが付され、位置合わせされた画像を元の画像のコピーと比較することによってウォータマークが付された画像から推定されたコードワードを再生し、この組の各コードワードと推定されたコードワードを相関させることによってコードワードを検出する。位置合わせプロセッサは、ウォータマークが付された画像のフレームを複数の画像ブロックに分割する画像解析器と、歪みベクトル確率推定器と、前方確率推定器と、後方確率推定器とを備える。歪みベクトル確率推定器は、ウォータマークが付された画像の各画像ブロックについて、元の画像のコピーのブロックの位置に対する画像ブロックのずれを表す歪みベクトルの観測された確率を推定する。前方確率推定器は、各画像ブロックについて、画像ブロックの歪みベクトルの観測された確率及び画像ブロックを通る所定のパスの前の画像ブロックから判定された推定された前方確率分布から、画像ブロック内の歪みベクトルの推定された前方確率分布を再帰的に生成する。後方確率推定器は、各画像ブロックについて、画像ブロックの歪みベクトルの観測された確率及び所定のパスの後の画像ブロックから判定された推定された後方確率分布から、画像ブロック内の歪みベクトルの推定された後方確率分布を再帰的に生成する。データ処理装置は、更に、結合エンジンと歪み除去エンジンとを備える。結合エンジンは、各画像ブロックについて、推定された前方確率分布と、推定された後方確率分布と、歪みベクトルの観測された確率とを結合し、推定された最尤歪みベクトルを生成する。更に、結合エンジンは、各画像ブロックについて、推定された最尤歪みベクトルから歪みベクトルのマップを生成する。歪み除去エンジンは、ウォータマークコードワードを正しく検出する可能性を高めるために、最尤歪みベクトルのマップの逆を適用して、ウォータマークが付された画像を元の画像のコピーに位置合わせする。
【０００８】
本発明の実施形態に基づくデータ処理装置では、位置合わせプロセッサが、より正確に歪みを低減するので、ウォータマークが付された画像から、ウォータマークが付された画像に存在しているコードワードを正しく検出する可能性が高くなる。元の画像のコピー及びウォータマークが付された画像をより正確に揃えることによって、元の画像に対する歪みが低減される。したがって、コードワード係数が元の形式になり又は少なくとも元も形式に近付くために、より高い尤度でコードワードを再生することができる。
【０００９】
したがって、本発明の実施形態は、歪みを低減し、ウォータマークが付された画像と、元の画像のコピーとの整列を改善する位置合わせプロセッサを提供する。画像を画像ブロックに分割し、あるブロックに加えられた歪みは、前のブロックから及び後のブロックからの変化が比較的小さい確率が高いという仮定を適用することによって、改善が実現する。位置合わせプロセッサは、画像ブロックを通る所定のパスに沿って、各画像ブロックの前及び後の画像ブロックから推定された歪みベクトルから判定された推定された前方及び後方確率を利用する。所定のパスは、例えば、行又は列であってもよく、或いは画像ブロックを通る何らかの任意のパスであってもよい。前方及び推定された後方確率分布は、画像ブロック内の歪みベクトルの確率分布を提供する。推定された確率は、画像ブロックに適用された可能性がある、元の画像の画像ブロックに関して画像ブロックを歪ませる歪みベクトルの確率の２次元的分布を表す。
【００１０】
例示的な実施形態を用いて後述するように、歪みベクトルの前方確率分布は、前の画像ブロックから生成され、歪みベクトルの後方確率分布は、後の画像ブロックから生成される。推定された最尤歪みベクトルは、現在の画像ブロックの歪みベクトルの観測された確率分布と共に、前方及び後方確率分布の結合から算出される。最尤歪みベクトルから、ウォータマークが付された画像フレームの各ブロックの歪みベクトルのマップが生成される。幾つかの実施形態では、歪み除去エンジンは、歪みマップに最適な又は最も一致するモデリング関数を生成する。そして、モデリング関数を用いて、モデリング関数を逆にし又は反転させ、画像フレームを再サンプリングすることによって、ウォータマークが付された画像フレーム内の歪みを除去する。
【００１１】
本発明の幾つかの実施形態に基づくデータ処理装置は、各画像ブロックに関する推定された歪みベクトルの演算の精度を高める第２のパスを形成する。このような実施形態では、所定のパスは、第１及び第２の所定のパスを含んでいてもよく、前方及び後方確率分布推定器は、第１の前方及び後方確率分布推定器であってもよく、データ処理装置は、第２の前方及び後方確率分布推定器を備えていてもよい。第２の前方確率推定器は、画像ブロックの最尤歪みベクトル及びブロックを通る第２の所定のパスの前の画像ブロックから判定された推定された前方確率分布から、各画像ブロックについて、画像ブロック内の歪みベクトルの第２の推定された前方確率分布を再帰的に生成してもよい。第２の後方確率推定器は、画像ブロックの最尤歪みベクトル及び第２の所定のパスの後の画像ブロックから判定された推定された後方確率分布から、各画像ブロックについて、画像ブロック内の歪みベクトルの第２の推定された後方確率分布を再帰的に生成してもよい。結合エンジンは、第２の推定された前方確率分布、第２の推定された後方確率分布及び最尤歪みベクトルを結合し、精度が高められた最尤歪みベクトルを提供する精度が高められた歪み確率マップを生成してもよい。これにより、歪み除去エンジンは、精度が高められた歪み確率マップの逆を適用して、ウォータマークが付された画像の歪みを低減し、ウォータマークが付された画像を元の画像に位置合わせすることができる。
【００１２】
幾つかの実施形態においては、推定された前方確率及び推定された後方確率分布をフィルタリングし、これにより、推定された歪みの確率分布を、例えば、ガウス分布等の所定の確率分布に畳み込んでもよい。推定された前方及び後方の確率をガウス分布に畳み込むことにより、前方又は後方確率分布が修正され、これにより、１つの画像ブロックから次の画像ブロックまでの前方向及び逆方向の歪みベクトルの変化の可能性が、ガウス分布に基づいてバイアスされる。これにより、歪みを推定する精度を向上させることができる。
【００１３】
本発明の様々な更なる側面及び特徴は、特許請求の範囲において定義されている。本発明の側面には、ウォータマークが付された画像内のコードワードを検出する方法、画像の歪んだバージョンを位置合わせする方法及び位置合わせプロセッサが含まれる。
【発明を実施するための最良の形態】
【００１４】
ウォータマークエンコーダ
コードワードを画像に組込むことによってウォータマークが付された画像を生成するデータ符号化処理装置を図１に示す。図１に示すデータ符号化処理装置は、コードワードを画像に組込むことによって、元の画像のベースバンド領域内にウォータマークが付されたコピーを生成する。図１に示すように、ソース１は、画像Ｉを生成し、エンコーダ２に供給する。エンコーダ２は、データワード発生器４によって発生されたペイロードデータワードＰを画像Ｉに組み込み、これにより、エンコーダ２からは、画像Ｉのウォータマークが付されたコピーＷが出力される。図１に示すエンコーダ２は、コードワード係数を、画像の変換領域表現に対応する形式に変換するウォータマーク生成器６を備える。そして、知覚解析器８は、コードワードが画像Ｉに埋め込まれた際にコードワードが知覚される可能性を最小化するとともに、最大の強さでコードワード係数を搬送する画像の相対的能力に基づいて重み付け因子を生成する。強度適応化器（strength adaptor）１０は、重み付け因子を受け取り、これをコードワード係数に乗算して、重み付けされたコードワード係数を生成する。そして、重み付けされたコードワード係数は、コードワードに逆変換を実行する逆変換プロセッサ１２によってベースバンド領域に変換される。そして、ベースバンド領域コードワードは、混合器１４によってベースバンド領域画像に組み合わされ、これにより画像のウォータマークが付されたコピーＷが生成される。
【００１５】
以下の説明では、用語「サンプル」は、画像を構成する個々のサンプルを意味するものとする。サンプルは、画像の輝度サンプルであってもよく、輝度サンプルは画素から生成してもよい。したがって、サンプルという用語と画素という用語は、適宜交換可能である。
【００１６】
ビデオ画像は、デジタルコードワードを埋め込むことによって保護できるマテリアルの１つの具体例である。コードワードを埋め込むことによって保護できるマテリアルの他の具体例としては、ソフトウェアプログラム、デジタル文書、音楽、オーディオ信号、及び他のあらゆる情報搬送信号がある。
【００１７】
本発明に基づく幾つかの実施形態では、コードワードの変換領域表現は、離散コサイン変換（Discrete Cosine Transform：以下、ＤＣＴという。）、フーリエ変換又は離散ウェーブレット変換を含んでもよい。例えば、コードワードは、ＤＣＴ領域内で生成でき、この場合、逆変換プロセッサ１２は、時間的及び／又は空間的アップサンプリングの前にコードワード係数に逆ＤＣＴを実行するように構成してもよい。これにより、画像の周波数帯域に亘ってより均等にコードワードを分散することができる。
【００１８】
本発明の１つの具体例では、変換領域表現は、ベースバンド領域画像のサンプリングレートに関して時間的及び／又は空間的にダウンサンプリングされた表現を含む。したがって、コードワードは、ベースバンドバージョンに関して空間的及び／又は時間的にダウンサンプリングされた形式に変換され、又はこのような形式であるかのように取り扱われる。これにより、逆変換プロセッサは、コードワード係数を時間的及び／又は空間的にアップサンプリングし、コードワードのベースバンドバージョンを生成し、この形式において、ベースバンド画像Ｉに組み合わされ、画像のウォータマークが付されたコピーＷを形成する。
【００１９】
逆変換プロセッサ１２の具体例を図２に更に詳細に示す。図２に示すように、逆変換プロセッサ１２は、ダウンサンプリングされたコードワードに対して逆ＤＣＴを実行し、ＤＣＴ領域画像を生成する逆ＤＣＴ変換器２０を備える。アップサンプリングプロセッサ２２は、空間的及び／又は時間的に、コードワードをアップサンプリングし、ベースバンド領域画像に対応するサンプリングレートを実現する。
【００２０】
検出プロセッサ
コードワードがマテリアルアイテム内に存在すれば、コードワードを検出し、ペイロードデータワードを再生する検出装置を図３に示す。図３に示すように、ウォータマークが付された画像の不正なバージョンＷ’及び元の画像Ｉが再生プロセッサ９０に供給される。
【００２１】
図４は、ウォータマークが付された画像Ｗ’内のコードワードを検出するために検出装置を改良する必要がある技術的問題の具体例を示している。図４に示すように、ウォータマークが付された画像Ｗは、元の画像ＩにウォータマークコードワードＸを組込むことによって生成される。ウォータマーキングシステムを混乱させることを目的とする攻撃者が故意に又はウォータマークが付された画像をコピーする際に偶然、ウォータマークが付された画像に歪みが加えられることがある。この結果、ウォータマークが付された画像の歪んだバージョンＷ’が生成され、ウォータマークが付された画像を特定するためには、この歪んだバージョンから画像に埋め込まれたコードワードを検出しなければならない。
【００２２】
再生プロセッサ９０内においては、ウォータマークが付された画像は、第１のダウンサンプリングプロセッサ１００に供給される。元の画像Ｉのコピーは、第２のダウンサンプリングプロセッサ１０２に供給される。第１及び第２のダウンサンプリングプロセッサ１００、１０２は、受信した画像にＷ’、Ｉをそれぞれ空間的及び時間的にダウンサンプリングし、解像度が低減されたバージョンを生成する。解像度が低減されたバージョンは、データ符号化処理装置において、コードワードが画像Ｉの変換領域に埋め込まれ、ダウンサンプリングされたバージョンに対応している。
【００２３】
再生プロセッサ９０は、ウォータマークが付された画像と元の画像を処理し、ウォータマークが付された画像に埋め込まれている可能性がある推定されたコードワードを生成する。また、図３に示す具体例では、再生プロセッサ９０は、位置合わせプロセッサ１０４、比較器１０６及び変換プロセッサ１０８を備える。
【００２４】
図４に示すように、ウォータマークが付された画像の不正なバージョンＷ’は、写真を撮影するか又はウォータマークが付された画像Ｗ’の一部を再生することによって作成されることがある。そこで、識別コードワードを検出できる可能性を高めるために、位置合わせプロセッサ１０４は、画像のダウンサンプリングされたバージョンＩ’及び検討中のウォータマークが付されたコピーＷ’’を受け取り、不正な画像と、元の画像のコピーとを揃える。この整列の目的は、ダウンサンプリングされた元の画像サンプルＩ’と、コードワード係数が加えられているダウンサンプリングされたウォータマークが付された画像Ｗ’’の対応するサンプルとを対応させ、これによりコードワードを正しく検出する可能性を高め、又は見逃し検出確率を低下させることである。幾つかの実現例では、位置合わせプロセッサによって実行される相対的な整列の信頼性を示す情報が制御チャンネル９２を介して制御プロセッサ１１４に供給され、この情報は、受け取ったウォータマークが付された画像内でコードワードが検出されるか否かに関する判定に影響を及ぼすために用いることができる。
【００２５】
位置合わせされたウォータマークが付された画像Ｗ’’’は、再生プロセッサ９０の一部を構成する比較器１０６に供給される。また、比較器１０６は、ダウンサンプリングされた元の画像のコピーＩ’を受け取り、この元の画像のサンプルＩ’をウォータマークが付され、位置合わせされた画像Ｗ’’’から減算する。ウォータマークコードワードは、空間領域で画像Ｉ’に埋め込まれているので、推定されたウォータマークコードワードＶ’を再生するために画像を周波数領域に変換する必要はない。そして、空間領域の推定されたコードワードＶ’は、変換プロセッサ１０８に供給され、変換プロセッサ１０８は、解像度が低減されたサンプルにＤＣＴを実行することによってコードワードを推定し、推定されたコードワードＸ’を生成する。
【００２６】
したがって、変換プロセッサ１０８からは、特定すべきコードワードの係数の推定値が出力される。そして、再生されたコードワードＸ’は、相関器１１０の第１の入力に供給される。また、相関器１１０は、第２の入力として、コードワード発生器１１２によって生成されたコードワードＸｉを受け取る。コードワード発生器１１２は、制御プロセッサ１１４の制御の下でコードワードを生成する。したがって、制御プロセッサ１１４は、ウォータマークコードワードを生成するためのシード値及びキーを保存するデータ格納器１１６にアクセスできる。制御プロセッサ１１４は、相関器１１０及びコードワード発生器１１２とを制御し、推定されたコードワードと、画像に埋め込まれている可能性があるコードワードの組内の各コードワードとの相関を調べる。そして、この相関の結果が所定の閾値を上回る場合、制御プロセッサ１１４は、ウォータマークが付された画像内にコードワードが存在していると判定する。
【００２７】
位置合わせプロセッサ
図３に示す位置合わせプロセッサ１０４のより詳細な構成を図５に示す。包括的に言えば、位置合わせプロセッサ１０４は、画像フレームの複数の画像ブロックのそれぞれについて、最尤歪みベクトル（most likely distortion vector）を判定し、この判定に基づいて、このフレームの歪みベクトルのマップを生成する。そして、歪みベクトルの観測されたマップに最適な関数を判定する。この関数は、観測された歪みのモデルを提供する。そして、このモデリング関数を用いて、画像フレームを再サンプリングし、モデリング関数の逆関数を適用することによって、歪みを実質的に減少させることができる。図５に示すように、ウォータマークが付された画像は、画像解析器２００に供給され、画像解析器２００は、ウォータマークが付された画像を、例えば４×４画素の画像ブロックに分割する。このようにしてウォータマークが付された画像の各フレームは、それぞれが４×４画素を含む一組の画像ブロックに分割される。画像解析器２００は、画像を４×４の画像ブロックに分割し、分割された画像フレーム２０３として示す画像フレームを提供する。そして、各画像ブロックは、歪みベクトル推定器２０２に渡される。
【００２８】
歪みベクトル推定器２０２は、動きベクトルｂの行ｒ及び列ｃ内の各画像ブロックｎについて、歪みベクトルの観測された確率γｂ，ｎの分布を生成する。各ブロックに関する歪みベクトルの観測された確率γｂ，ｎの分布は、ダウンサンプリングプロセッサ１０２から受け取られた元の画像のコピーのブロックの位置に対する、ウォータマークが付された画像フレームＷ’’内における画像ブロックのずれの可能性を表す。このように、ウォータマークが付された画像の各画像ブロックは、元の画像Ｉのコピー内の対応する位置に相関される。相関は、ブロックをマッチングし、歪みベクトルの確率γｂ，ｎに対応する各シフトの差分の和を算出することによって実行でき、これから、そのシフト発生の確率を求めることができる。ブロックマッチングは、相互相関、位相相関、絶対平均偏差、又は他の形式のブロックマッチングによって行ってもよい。これにより、相関から、元の画像内の対応するブロックに関する画像ブロックｎのシフトに対応する動きベクトルｂを表す歪みベクトルの相対的な観測された確率γｂ，ｎを判定できる。そして、歪みベクトルの観測された確率分布は、前方確率推定器２０４及び後方確率推定器２０６によって処理される。
【００２９】
後述するように、歪みベクトルは、所定のパターンに基づいて処理され、これにより、それぞれ推定された前方及び後方確率の前の及び後の推定値に応じて、各画像ブロックについて、歪みベクトルの推定された前方確率分布及び歪みベクトルの推定された後方確率分布を算出する。図５に示す例示的な実施形態においては、この所定のパターンとは、画像ブロックを行として処理した後、次に列として処理するパターンである。これにより、行内の画像ブロックを処理した後に各画像ブロック内の歪みベクトルの確率を判定し、次に、列内の画像ベクトルを処理した後に精度が高められた歪みベクトルを生成するツーパス推定（two-pass estimate）が実行される。但し、他の実施形態においては、他の所定のパターン及び単一のパスのみを用いて、各ブロックの最尤歪みベクトルを生成してもよい。
【００３０】
そして、画像ブロックについて観測された歪みベクトルの確率γｂ，ｎは、前方確率推定器２０４及び後方確率推定器２０６に供給される。次章で詳細に説明するように、前方確率推定器は、それぞれの画像ブロック内の歪みベクトルの推定された確率分布を生成する。推定された前方確率分布は、各行内において、行に沿って前方に進む方向における前の画像ブロックについて既に算出された画像ブロックから前に算出された推定された確率から算出される。行内の各ブロックについて、歪みベクトル推定器によって算出された観測された歪みベクトルの確率γｂ，ｎは、行に沿って進む方向における前の画像ブロックから算出された、現在の判定された推定された前方確率に結合される。すなわち、推定された前方確率は、行の前のブロックから再帰的に計算される。この処理について、図６を用いて更に説明する。
【００３１】
図６は、第１の３つの画像ブロックについて、第１の３つの前方確率歪みベクトルを再帰的に算出する前方確率推定器２０４の例示的動作を概略的に示している。図６に示すように、推定された前方確率αｂ，１、αｂ，２、αｂ，３は、画像の行内の第１の３つのブロックについて判定された対応する推定された歪みベクトルの確率γｂ，１、γｂ，２、γｂ，３から算出される。図６に示すように、各推定された前方確率は、行における前の画像ブロックから推定された確率に基づいて再帰的に算出される。このように、例えば、第２の画像ブロックの推定された前方確率αｂ，２は、乗算器２２０によって、第１の画像ブロックの推定された歪みベクトルの確率γｂ，１を第１の画像ブロックのための推定された前方確率αｂ，１に乗算することにより算出される。その後、行における前の画像ブロックの推定された前方確率αｂ，ｎ−１を、前の画像ブロックの推定された歪みベクトルの確率γｂ，ｎ−１に乗算することによって、後の推定された前方確率αｂ，ｎを判定する。このようにして、各推定された前方確率分布は、前の画像ブロックからの推定された確率分布に基づいて再帰的に算出される。
【００３２】
各行の最初の画像ブロックについては、推定された前方確率αｂ，１は、それぞれの歪みベクトルの確率が同様になるように設定される。
【００３３】
図６に示すように、各推定された前方確率αｂ，ｎは、確率分布によって推定された前方確率を畳み込む遷移フィルタを介して渡される。確率分布は、あるブロックから次のブロックに歪みベクトルがどのように変化するかという予想に基づいて、推定された前方確率αｂ，ｎがバイアスされ又は変更されるように提供される。一具体例においては、この確率分布は、ガウス分布である。実際には、前方確率分布は、二次元ガウス分布確率分布によって修正され、この結果、あるブロックから次のブロックに変化するその歪みベクトルの予想された可能性に関して歪みベクトルの前方確率分布が表現される。
【００３４】
これに対応する後方確率推定器２０６の動作の具体例を図７に示す。後方確率推定器２０６は、図６に示す前方確率推定器２０４と略々同様に動作するが、但し、後方確率推定器２０６では、各推定された後方確率ｂ，ｎは、乗算器２２４によって後のブロックの後の推定された確率βｂ，ｎ＋１を、後のブロックについて観測された推定された歪みベクトルの確率γｂ，ｎ＋１に乗算することによって再帰的に算出される。このように、後方確率推定器２０６は、各後の推定された確率が、その後の推定された歪みベクトルから再帰的に算出される点を除いて、前方確率推定器２０４と同様に動作する。各後の推定された確率は、前方確率推定器２０４と同様に、その推定された確率が出現する可能性に基づいて、推定値をバイアスするフィルタ２２６を用いて、確率分布によってフィルタリングされる。ここでも、確率分布の具体例としてガウス分布を用いてもよい。
【００３５】
各行の最後の画像ブロックについては、推定された後方確率βｂ，Ｌは、それぞれの歪みベクトルの確率が同様になるように設定される。
【００３６】
図６及び図７に示し、説明したように、第１及び第２のガウスフィルタ２０８、２１０によって、推定された前方及び後方歪み確率のそれぞれにガウス分布確率分布を適用する。各画像ブロックについて、前方及び後方確率分布は、歪みベクトルの２次元的分布を提供する。推定された前方及び後方確率をフィルタリングすることにより、ガウス分布に基づいて出現するその値の可能性によって歪みベクトル値がバイアスされる。実際には、確率分布は、二次元ガウス分布確率分布によって修正され、この結果、その歪みベクトルが出現する相対尤度に関して歪みベクトルの確率分布が表現される。
【００３７】
以下の表現は、推定された歪みベクトル、推定された前方確率歪み、及び推定された後方確率歪みの算出を数学的に定義し、ここで、ｐ（）は、動きベクトルｂによるｎ番目のブロックの観測された確率Ｏｎのためのベクトルφｎの観測された確率である。
【００３８】
【表１】
2006209741.tif 000003
【００３９】
そして、画像ブロックを行毎に処理した後に、結合エンジン２１２は、歪みベクトルの確率γｂ，ｎ及び前方及び後方確率歪みの観測された確率αｂ，ｎ、βｂ，ｎの分布を結合し、各画像ブロックについて、最尤歪みベクトル確率γ’ｂ，ｎを算出する。結合エンジン２１２は、推定された歪みベクトルの確率γｂ，ｎと、前方確率αｂ，ｎの分布と、後方確率βｂ，ｎの分布とを乗算して最尤歪みベクトル確率γ’ｂ，ｎを算出する。確率γ’ｂ，ｎ及びγ’’ｂ，ｎは、上に示した表内の確率λｂ，ｎに等しい。
【００４０】
前方及び後方確率推定器２０４、２０６の動作の変形例を図８に示す。図８では、歪みベクトルのそれぞれの観測された確率γ４、γ５、γ６、γ７、γ８の分布について、各画像ブロック２２２、２２４、２２６、２２８、２３０の画像ブロック内の尤度が高い歪みベクトルの確率分布を一次元形式で表現している。図８に示すように、ここでは、特定の歪みベクトルのための各確率分布をグラフ形式で示している。画像ブロックの実際の歪みベクトルは、４つの画像ブロック２２２、２２４、２２６、２２８、２３０のそれぞれについて、正方形２４０によって特定されている。この具体例からわかるように、正方形２４０によって示されている各画像ブロックの実際の歪みベクトルは、最も高い確率歪みベクトルではない。なお、各推定された歪みベクトルの確率γ４及びγ５、γ７及びγ８は、前方及び後方確率推定器２０４、２０６によって結合されて前方及び後方確率分布２４２、２４４が生成される。そして、前方及び推定された後方確率分布は、実際の画像ブロックの歪みベクトルの観測された確率γ６の分布に結合される。これにより、正方形２４８によって示されるピークを有する１次元形式の最尤歪みベクトルの分布２４６が生成される。このように、本発明では、実際の歪みベクトルは、画像ブロック２２２の最尤歪みベクトルとして特定される。
【００４１】
画像の画像ブロックを行毎に処理することによって最尤歪みベクトル確率γ’ｂ，ｎを算出した後、画像ブロックを列毎に処理することによって、歪みベクトル確率の精度が高められた推定された最尤歪みベクトルの確率γ’’ｂ，ｎが生成される。図５に示すように、第１の前方確率推定器２０４が画像ブロックの行を処理する場合と同様に、画像ブロックの各列を処理することによって各ブロックの精度が高められた推定された前方確率を算出する第２の前方確率推定器２０８を設ける。これに対応して、画像ブロックの各列を処理することによって各ブロックの精度が高められた推定された後方確率を算出する第２の後方確率推定器２１０を設ける。第２の前方及び後方確率推定器２０８、２１０は、第１の前方及び後方確率推定器２０４、２０６と同様に動作し、それぞれ画像の列における前の画像ブロック及び後の画像ブロックから再帰的に推定された前方及び後方の確率を算出する。第２の結合エンジン２１６は、各ブロックの精度が高められた推定された前方確率α’ｂ，ｎを、精度が高められた推定された後方確率βｂ，ｎに互いに乗算することによって各画像ブロックについて精度が高められた推定された最尤歪み確率γ’’ｂ，ｎを生成する。
【００４２】
他の実施形態においては、画像ブロックを通る更なる所定のパターンを用いて、推定された前方及び後方の確率の更に精度が高められた推定値を算出することによって、各ブロックについて、歪み確率の更に精度が高められた推定値を生成できる。
【００４３】
各画像ブロックについて最尤歪み確率の精度が高められた推定値を生成した後に、画像フレームの各画像ブロックからの最尤歪みベクトルの最新の推定値から歪み確率マップを更新する。このようなマップを図９に示す。歪み確率マップは、歪み反転エンジン２１９内の歪みマッププロセッサ２１８内で生成及び更新される。そして、歪みマップは、ローカルメモリ２２３を有するモデリングプロセッサ２２１に供給される。モデリングプロセッサ２２１は、歪み確率マップを受け取り、各画像フレームの歪みベクトルのマップに最適な関数を決定する。例えば、平均自乗誤差法又はスプラインフィッティング法（spline fitting technique）を用いて各画像ブロックの歪みベクトルからモデリング関数を生成してもよい。モデリングプロセッサ２２１によって特定されたモデリング関数は、モデリング関数の次の更新のためにローカルメモリ２２３に保存される。そして、モデリング関数は、画像解析器２００に供給され、次の画像フレームの受信が準備される。次の画像フレームが受信されると、画像は、画像解析器２００内でモデリング関数に基づいて再サンプリングされ、このモデリング関数によって歪みが除去される。このように、各繰返しの都度、更に精度が高められた歪みモデルが生成され、後の画像フレームの歪みが低減される。現在の画像フレームについては、再サンプリングの後に画像解析器２００からウォータマークが付された画像Ｗ’’が出力される。このように、現在のウォータマークが付された画像フレームＷ’’について算出された歪みモデリング関数が適用され、後のウォータマークが付された画像フレームから歪みが低減される。なお、多くの場合、連続するフレームの間の時間に関して、ウォータマークが付された画像の歪みは比較的ゆっくり変化する。したがって、ウォータマークが付された画像からコードワードを正しく再生する可能性を著しく低下させることなく、現在の画像フレームのためのモデリング関数を後の画像フレームに適用できる。再サンプリングは、現在の画像フレームのためにモデリング関数の算出と同時に実行できる。
【００４４】
動作の概要
図１０は、図３、図５、図６、図７に示す位置合わせプロセッサ１０４の動作を示すフローチャートである。図１０に示す各処理ステップを以下に説明する。
【００４５】
Ｓ２：位置合わせプロセッサ１０４が検査すべきウォータマークが付された画像Ｗ’’及び元の画像のコピーＩ’を受け取る。ウォータマークが付された画像Ｗ’’のフレームは、画像解析器２００に供給され４×４画素を含む画像ブロックに分割される。
【００４６】
Ｓ４：各画像ブロックについて、ウォータマークが付された画像Ｗ’のフレーム内で画像ブロックを元の画像に相関させ、歪みベクトルの観測された確率γｂ，ｎの分布を生成する。
【００４７】
Ｓ６：画像ブロックの各行内の各画像ブロックについて、現在の画像ブロックの歪みベクトルの観測された確率分布に乗算された、行において前に推定された歪みベクトルの前方確率αｂ，ｎ−ｍから、推定された歪みベクトルの前方確率αｂ，ｎを再帰的に生成する。
【００４８】
Ｓ８：画像ブロックの各行内の各画像ブロックについて、現在の画像ブロックの歪みベクトルの観測された確率分布に乗算された、行において後に推定された歪みベクトルの後方確率βｂ，ｎ−ｍから、推定された歪みベクトルの後方確率βｂ，ｎを再帰的に生成する。
【００４９】
Ｓ１０：各画像ブロックについて、推定された前方確率αｂ，ｎ、推定された後方確率βｂ，ｎ及び推定された歪みベクトルの確率γｂ，ｎを結合することによって新たに推定された最尤歪みベクトル確率γ’ｂ，ｎを生成する。この段階において、幾つかの実施形態では、推定された最尤歪み確率を用いて歪みマップを生成し、この歪みマップに基づいて、ウォータマークが付された画像から歪みを取り除くためのモデリング関数を生成してもよい。但し、他の実施形態では、以下のステップＳ１２、Ｓ１４、Ｓ１６を実行し、画像フレームの画像ブロックを異なる所定のパターンに基づいて処理し、推定された最尤歪みベクトル確率の更に精度が高められた推定された最尤歪みベクトル確率γ’’ｂ，ｎを生成する。以下の具体例では、異なる所定のパターンは、画像ブロックの列毎に処理するパターンである。
【００５０】
Ｓ１２：画像ブロックの各列内の各画像ブロックについて、現在の画像ブロックの歪みベクトルの観測された確率分布に乗算された、列において前に推定された歪みベクトルの前方確率αｂ−ａ，ｎから、推定された歪みベクトルの前方確率αｂ，ｎを再帰的に生成する。
【００５１】
Ｓ１４：画像ブロックの各列内の各画像ブロックについて、現在の画像ブロックの歪みベクトルの観測された確率分布に乗算された、列において後に推定された歪みベクトルの後方確率βｂ＋ａ，ｎから、推定された歪みベクトルの後方確率βｂ，ｎを再帰的に生成する。
【００５２】
Ｓ１６：ステップＳ１０と同様に、前の推定された最尤歪みベクトルによって、歪みベクトルの前方及び後方確率分布を結合することによって、推定された最尤歪みベクトル確率の精度が高められたバージョンを生成する。
【００５３】
Ｓ１８：各画像ブロックの最尤歪みベクトルから歪みベクトルのマップを生成し、このマップから、マップに最適なモデリング関数を決定し、ウォータマークが付された画像Ｗ’’の歪みを表す二次元関数を提供する。
【００５４】
Ｓ２０：モデリング関数の逆関数が適用されるようにウォータマークが付された画像Ｗ’’を再サンプリングし、ウォータマークが付された画像Ｗ’’の歪みを実質的に低減し、ウォータマークが付された画像を元の画像に位置合わせする。
【００５５】
応用例
上に例示的に説明した本発明に基づく位置合わせプロセッサは、元の画像のコピーに関して、画像から歪みを除去するために用いることができる。したがって、本発明に基づく位置合わせプロセッサは、上述したように、ウォータマークが付された、歪んだ画像内に存在しているコードワード、特にデジタル映画画像に埋め込まれているコードワードを検出するために用いることができる。更に、本発明の実施形態に基づいて画像を位置合わせする処理を実行するように構成されたソフトウェアは、インターネット等のネットワークを介して通信を行うように構成された汎用コンピュータ上で実行される監視ソフトウェアの一部として実現してもよい。この監視ソフトウェアは、汎用コンピュータ上で実行されると、検査すべきウォータマークが付された画像を元の画像のコピーと比較し、画像を位置合わせし、ウォータマークが付された画像からコードワードを再生し、所有者、配信者又は他の権利者による画像に対する権利を保護する。
【００５６】
本発明の様々な更なる側面及び特徴は、特許請求の範囲に定義されている。また、本発明の範囲から逸脱することなく、ここに説明した実施形態を様々に変更することができる。
【図面の簡単な説明】
【００５７】
【図１】画像とコードワードとを組み合わせるための符号化装置のブロック図である。
【図２】図１に示す装置の一部を構成する逆変換プロセッサのブロック図である。
【図３】画像のウォータマークが付されたコピー内に存在するコードワードを検出するためのデータ検出処理装置のブロック図である。
【図４】元の画像と、歪みが生じ、ここから歪みを取り除いて、画像内に存在するコードワードを検出する必要がある画像のウォータマークが付されたバージョンの具体例を示す図である。
【図５】元の画像にウォータマークが付された画像を位置合わせする、図３に示す位置合わせプロセッサのブロック図である。
【図６】図５に示す前方確率推定器のブロック図である。
【図７】図５に示す後方確率推定器のブロック図である。
【図８】図５に示す位置合わせプロセッサの動作の一部を図式的に表現する図である。
【図９】図５に示す歪みベクトルのマップを図式的に表現する図である。
【図１０】本発明に基づく位置合わせプロセッサの動作の概要を示すフローチャートである。
【図１】
2006209741.tif 000004
【図２】
2006209741.tif 000005
【図３】
2006209741.tif 000006
【図４】
2006209741.tif 000007
【図５】
2006209741.tif 000008
【図６】
2006209741.tif 000009
【図７】
2006209741.tif 000010
【図８】
2006209741.tif 000011
【図９】
2006209741.tif 000012
【図１０】
2006209741.tif 000013
【外国語明細書】
2006209741000001.pdf
2006209741000002.pdf
2006209741000003.pdf
2006209741000004.pdf