(57)【要約】【課題】  与えられた入力映像に対して最適となるように電子透かし埋め込み方式を制御する。【解決手段】  本発明は、画像に対して電子透かしを埋め込む方法において、入力信号の特徴を評価し、この評価結果及びこれにより算出される画質劣化評価結果によって、透かしの埋め込みパターンや埋め込み多重度を決定することで、電子透かしの埋め込みに画質劣化の低減を行う。【選択図】  図１
2007053687.tif 000002
【特許請求の範囲】
【請求項１】
入力信号に対して、入力信号の各区間に、埋め込み情報に基づいて構成された所定のパターンを、人間の知覚に感知されにくいように重畳する電子透かし埋め込み方法であって、
前記入力信号の特徴を評価し、評価値を算出し、記憶手段に格納する埋め込み前信号評価ステップと、
前記記憶手段から前記評価値を読み出して、該評価値に従って、電子透かしとして重畳される前記所定のパターンを生成する方式または、パラメータを選択して埋め込みパターンを生成する埋め込みパターン生成ステップと、
を行うことを特徴とする電子透かし埋め込み方法。
【請求項２】
前記入力信号が映像信号であるとき、
前記埋め込み情報を複数のシンボルに分割する埋め込み情報分割ステップと、
前記記憶手段から取得した前記評価値に従って、前記入力信号の各区間に埋め込むシンボルの多重度を決定する多重度決定ステップと、を行い、
前記埋め込みパターン生成ステップにおいて、
前記多重度決定ステップで決定された前記多重度に従って埋め込みパターンを生成する、
請求項１記載の電子透かし埋め込み方法。
【請求項３】
前記多重度決定ステップにおいて、
電子透かしによる画質劣化と検出評価値との関係式に従い、与えられた検出性能目標と画質劣化目標を満たすように多重度を決定する、
請求項２記載の電子透かし埋め込み方法。
【請求項４】
予め求められた多重度と画質劣化の関係を用いて、与えられた画質劣化目標を満たすように電子透かしの埋め込み強度を決定する埋め込み強度ステップを更に行う請求項２または、３記載の電子透かし埋め込み方法。
【請求項５】
前記埋め込み前信号評価ステップにおいて、
前記入力信号の透かし検出時ノイズ成分の分散とフレーム間相関とを算出し、前記記憶手段に格納し、
前記埋め込みパターン生成ステップにおいて、
前記記憶手段から取得した前記分散と前記フレーム間相関に基づく理論的検出評価値の期待値に従って、前記所定のパターンを生成する方式またはパラメータを選択する、
請求項１乃至４のいずれか１項記載の電子透かし埋め込み方法。
【請求項６】
前記入力信号が映像信号であるとき、
前記埋め込み前信号評価ステップにおいて、
前記映像信号に対して時間時刻方向の畳み込みフィルタを適用し、フィルタ結果の透かし検出時ノイズ成分の分散とフレーム間相関とを算出する、
請求項１乃至５のいずれか１項記載の電子透かし埋め込み方法。
【請求項７】
前記入力信号が映像信号であるとき、
前記埋め込み前信号評価ステップにおいて、
前記映像信号の動きの大きさを測定し、その大きさまたは分散値を算出する、
請求項１乃至６のいずれか１項記載の電子透かし埋め込み方法。
【請求項８】
前記映像信号の動きの大きさと画質劣化の関係を用いて、与えられた画質劣化目標を満たすように電子透かしの埋め込み強度を決定するステップを行う、
請求項７記載の電子透かし埋め込み方法。
【請求項９】
前記埋め込み前信号評価ステップにおいて、
前記入力信号の区間内の部分領域を単位に評価を行い、
前記埋め込みパターン生成ステップにおいて、
前記入力信号の区間内の部分領域を単位に前記所定のパターンを生成する方式または、パラメータを選択する、
請求項１乃至８記載の電子透かし埋め込み方法。
【請求項１０】
入力信号に対して、入力信号の各区間に、埋め込み情報に基づいて構成された所定のパターンを、人間の知覚に感知されにくいように重畳する電子透かし埋め込み装置であって、
前記入力信号の特徴を評価し、評価値を算出し、記憶手段に格納する埋め込み前信号評価手段と、
前記記憶手段から前記評価値を読み出して、該評価値に従って、電子透かしとして重畳される前記所定のパターンを生成する方式または、パラメータを選択して埋め込みパターンを生成する埋め込みパターン生成手段と、
を有することを特徴とする電子透かし埋め込み装置。
【請求項１１】
前記入力信号が映像信号であるとき、
前記埋め込み情報を複数のシンボルに分割する埋め込み情報分割手段と、
前記記憶手段から取得した前記評価値に従って、前記入力信号の各区間に埋め込むシンボルの多重度を決定する多重度決定手段と、を更に有し、
前記埋め込みパターン生成手段は、
前記多重度決定手段で決定された前記多重度に従って埋め込みパターンを生成する手段を含む、
請求項１０記載の電子透かし埋め込み装置。
【請求項１２】
前記多重度決定手段は、
電子透かしによる画質劣化と検出評価値との関係式に従い、与えられた検出性能目標と画質劣化目標を満たすように多重度を決定する手段を含む、
請求項１１記載の電子透かし埋め込み装置。
【請求項１３】
予め求められた多重度と画質劣化の関係を用いて、与えられた画質劣化目標を満たすように電子透かしの埋め込み強度を決定する埋め込み強度決定手段を更に有する請求項１１または、１２記載の電子透かし埋め込み装置。
【請求項１４】
前記埋め込み前信号評価手段は、
前記入力信号の透かし検出時ノイズ成分の分散とフレーム間相関とを算出し、前記記憶手段に格納する手段を含み、
前記埋め込みパターン生成手段は、
前記記憶手段から取得した前記分散と前記フレーム間相関に基づく理論的検出評価値の期待値に従って、前記所定のパターンを生成する方式またはパラメータを選択する手段を含む、
請求項１０乃至１３のいずれか１項記載の電子透かし埋め込み装置。
【請求項１５】
前記入力信号が映像信号であるとき、
前記埋め込み前信号評価手段は、
前記映像信号に対して時間時刻方向の畳み込みフィルタを適用し、フィルタ結果の透かし検出時ノイズ成分の分散とフレーム間相関とを算出する手段を含む、
請求項１０乃至１４のいずれか１項記載の電子透かし埋め込み装置。
【請求項１６】
前記入力信号が映像信号であるとき、
前記埋め込み前信号評価手段は、
前記映像信号の動きの大きさを測定し、その大きさまたは分散値を算出する手段を含む、
請求項１０乃至１５のいずれか１項記載の電子透かし埋め込み装置。
【請求項１７】
前記映像信号の動きの大きさと画質劣化の関係を用いて、与えられた画質劣化目標を満たすように電子透かしの埋め込み強度を決定する手段を更に有する
請求項１６記載の電子透かし埋め込み装置。
【請求項１８】
前記埋め込み前信号評価手段は、
前記入力信号の区間内の部分領域を単位に評価を行う手段を含み、
前記埋め込みパターン生成手段は、
前記入力信号の区間内の部分領域を単位に前記所定のパターンを生成する方式または、パラメータを選択する手段を含む、
請求項１０乃至１７記載の電子透かし埋め込み装置。
【請求項１９】
コンピュータを、請求項１０乃至１８記載の電子透かし埋込装置として機能させることを特徴とする電子透かし埋込プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子透かし埋め込み方法及び装置及びプログラムに係り、特に、複数のフレーム画像からなる映像信号に対する電子透かしを埋め込む技術において、電子透かし情報から構成された所定のパターンを各フレーム画像に重畳する電子透かし埋め込み方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
従来、ディジタルコンテンツに対し、電子透かし埋め込むことで、ディジタルコンテンツの著作権保護を行ったり、ディジタルコンテンツに関する著作権情報を参照したり、あるいは、ディジタルコンテンツを広告としての印刷物などのアナログ媒体を介した上でディジタルカメラなどで撮影し、電子透かしを読み取ることで広告に関連した情報を取得させたりといったサービスが実現されるようになってきた。
【０００３】
電子透かし埋め込み方法としては、例えば、電子透かしを埋め込む際に、埋め込み対象成分位置情報に基づいて、複素行列の実数成分と虚数成分を独立に変更するスペクトル拡散を行い、入力画像と独立に透かしパターンを生成し、実際の画像へパターンの加算を行うことで埋め込み済み画像を生成し、電子透かしを検出する際には、検出対象成分位置情報に基づいて検出対象系列を生成し、オフセット情報を抽出し、検出対象系列を修正した後にスペクトル逆拡散を行い、切り出した画素ブロック内に埋め込まれている電子透かしを検出するような電子透かし方式がある（例えば、特許文献１参照）。
【０００４】
また、映像信号においても、一般に映像信号は静止画像であるフレーム画像を連続させたものとして記録されるため、静止画像を対象とした電子透かし方式を応用することで電子透かしを埋め込むことが可能である。例えば、特許文献１に記載の電子透かし方法を用いて、映像信号の各フレーム画像に共通の電子透かしを埋め込むことでも映像信号に対する電子透かしを実現できる。
【０００５】
電子透かしとして、映像の各フレームに同一の固定パターンを重畳するような電子透かし埋め込み方法では、電子透かし埋め込みの強度が強くなると、埋め込まれた電子透かしパターンが、映像の動きと無関係に張り付いたように見え、いわばすりガラス状に目立って知覚されやすくなってしまい、透かしの埋め込み強度を強くすることができなかった。以下、このような現象をすりガラス効果と呼ぶことにする。
【０００６】
例えば、各フレームに埋め込む電子透かしのパターンに含まれるシンボル成分について、１フレーム当たりに含まれるシンボル数を少なくし、さらにフレーム毎に変化させることで、電子透かしのパターンを切替えるようにし、すりガラス効果を抑制する電子透かし方法が考えられる。また、電子透かしの検出時にフレームの同期が取れていない（どのフレームにどのシンボルが埋め込まれているかが判明していない）場合においても検出ができるように、各フレーム画像を予め重畳してから電子透かしの検出を行う方法も考えられる。
【０００７】
このように、様々な電子透かし方式が提案されているが、これら複数、あるいは、パラメータの変更の可能な電子透かし方式に対して比較評価する際には、所定のパラメータについて実際のコンテンツに対して電子透かしを埋め込み、変形、ノイズ付加、符号化などの所定の攻撃を加えた後に、電子透かしが検出できるかどうかを調べ、正解率、誤検出率、偽陽性判定率などを用いて評価を行っていた。
【特許文献１】特開２００３−２１９１４８号公報「電子透かし埋め込み方法及び電子透かし検出方法及び電子透かし埋め込み装置、及び電子透かし検出装置、及び電子透かし埋め込みプログラムを格納した記憶媒体、及び電子透かし検出プログラムを格納した記憶媒体、及び電子透かしシステム」
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来の電子透かし埋め込み方法では、複数、あるいは、パラメータの変更の可能な電子透かし方式がある場合に、個々の入力映像に対してどちらかがどれだけ優れているかを、実際の電子透かし埋め込みを行う前に定量的に評価することができないため、期待する品質を求める中で、与えられた入力映像に対して最適となるように電子透かし埋め込み方式を制御することができないという問題がある。
【０００９】
例えば、静止している画像の場合は固定の電子透かしパターンが重畳されてもすりガラス効果は現れないため、パターンの切り替えを行う必要がない。つまり、従来の手法では、与えられた入力映像に対して、適切なすりガラス効果の抑制を図る埋め込み方式を制御することができないという問題がある。
【００１０】
本発明は、上記の点に鑑みなされたもので、複数、あるいはパラメータの変更の可能な電子透かし方式を備える電子透かし装置において、与えられた入力映像に対して最適となるように電子透かし埋め込み方式を制御することが可能な電子透かし埋め込み方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
図１は、本発明の原理を説明するための図である。
【００１２】
本発明（請求項１）は、入力信号に対して、入力信号の各区間に、埋め込み情報に基づいて構成された所定のパターンを、人間の知覚に感知されにくいように重畳する電子透かし埋め込み方法であって、
入力信号の特徴を評価し、評価値を算出し、記憶手段に格納する埋め込み前信号評価ステップ（ステップ１）と、
記憶手段から評価値を読み出して、該評価値に従って、電子透かしとして重畳される所定のパターンを生成する方式または、パラメータを選択して埋め込みパターンを生成する埋め込みパターン生成ステップ（ステップ２）と、を行う。
【００１３】
また、本発明（請求項２）は、請求項１記載の電子透かし埋め込み方法であって、
入力信号が映像信号であるとき、
埋め込み情報を複数のシンボルに分割する埋め込み情報分割ステップと、
記憶手段から取得した評価値に従って、入力信号の各区間に埋め込むシンボルの多重度を決定する多重度決定ステップと、を行い、
埋め込みパターン生成ステップ（ステップ２）において、
多重度決定ステップで決定された多重度に従って埋め込みパターンを生成する。
【００１４】
また、本発明（請求項３）は、請求項２記載の電子透かし埋め込み方法であって、
多重度決定ステップにおいて、
電子透かしによる画質劣化と検出評価値との関係式に従い、与えられた検出性能目標と画質劣化目標を満たすように多重度を決定する。
【００１５】
また、本発明（請求項４）は、請求項２または、３記載の電子透かし埋め込み方法であって、予め求められた多重度と画質劣化の関係を用いて、与えられた画質劣化目標を満たすように電子透かしの埋め込み強度を決定する埋め込み強度ステップを更に行う。
【００１６】
また、本発明（請求項５）は、請求項１乃至４記載の電子透かし埋め込み方法であって、
埋め込み前信号評価ステップにおいて、
入力信号の透かし検出時ノイズ成分の分散とフレーム間相関とを算出し、記憶手段に格納し、
埋め込みパターン生成ステップにおいて、
記憶手段から取得した分散とフレーム間相関に基づく理論的検出評価値の期待値に従って、所定のパターンを生成する方式またはパラメータを選択する。
【００１７】
また、本発明（請求項６）は、請求項１乃至５のいずれか１項記載の電子透かし埋め込み方法であって、入力信号が映像信号であるとき、
埋め込み前信号評価ステップにおいて、
映像信号に対して時間時刻方向の畳み込みフィルタを適用し、フィルタ結果の透かし検出時ノイズ成分の分散とフレーム間相関とを算出する。
【００１８】
また、本発明（請求項７）は、請求項１乃至６のいずれか１項記載の電子透かし埋め込み方法であって、入力信号が映像信号であるとき、
埋め込み前信号評価ステップにおいて、
映像信号の動きの大きさを測定し、その大きさまたは分散値を算出する。
【００１９】
また、本発明（請求項８）は、請求項７記載の電子透かし埋め込み方法であって、
映像信号の動きの大きさと画質劣化の関係を用いて、与えられた画質劣化目標を満たすように電子透かしの埋め込み強度を決定するステップを行う。
【００２０】
また、本発明（請求項９）は、請求項１乃至８記載の電子透かし埋め込み方法であって、
埋め込み前信号評価ステップ（ステップ１）において、
入力信号の区間内の部分領域を単位に評価を行い、
埋め込みパターン生成ステップ（ステップ２）において、
入力信号の区間内の部分領域を単位に所定のパターンを生成する方式または、パラメータを選択する。
【００２１】
図２は、本発明の原理構成図である。
【００２２】
本発明（請求項１０）は、入力信号に対して、入力信号の各区間に、埋め込み情報に基づいて構成された所定のパターンを、人間の知覚に感知されにくいように重畳する電子透かし埋め込み装置であって、
入力信号の特徴を評価し、評価値を算出し、記憶手段１２０に格納する埋め込み前信号評価手段１１１と、
記憶手段１２０から評価値を読み出して、該評価値に従って、電子透かしとして重畳される所定のパターンを生成する方式または、パラメータを選択して埋め込みパターンを生成する埋め込みパターン生成手段１０２と、を有する。
【００２３】
また、本発明（請求項１１）は、請求項１０記載の電子透かし埋め込み装置であって、
入力信号が映像信号であるとき、
埋め込み情報を複数のシンボルに分割する埋め込み情報分割手段と、
記憶手段から取得した評価値に従って、入力信号の各区間に埋め込むシンボルの多重度を決定する多重度決定手段と、を更に有し、
埋め込みパターン生成手段１０２は、
多重度決定手段で決定された多重度に従って埋め込みパターンを生成する手段を含む。
【００２４】
また、本発明（請求項１２）は、請求項１１記載の電子透かし埋め込み装置であって、
多重度決定手段は、
電子透かしによる画質劣化と検出評価値との関係式に従い、与えられた検出性能目標と画質劣化目標を満たすように多重度を決定する手段を含む。
【００２５】
また、本発明（請求項１３）は、請求項１１または、１２記載の電子透かし埋め込み装置であって、予め求められた多重度と画質劣化の関係を用いて、与えられた画質劣化目標を満たすように電子透かしの埋め込み強度を決定する埋め込み強度決定手段を更に有する。
【００２６】
また、本発明（請求項１４）は、請求項１０乃至１３記載の電子透かし埋め込み装置であって、
埋め込み前信号評価手段１１１は、
入力信号の透かし検出時ノイズ成分の分散とフレーム間相関とを算出し、記憶手段に格納する手段を含み、
埋め込みパターン生成手段１０２は、
記憶手段から取得した分散とフレーム間相関に基づく理論的検出評価値の期待値に従って、所定のパターンを生成する方式またはパラメータを選択する手段を含む。
【００２７】
また、本発明（請求項１５）は、請求項１０乃至１４項記載の電子透かし埋め込み装置であって、入力信号が映像信号であるとき、
埋め込み前信号評価手段１１１は、
映像信号に対して時間時刻方向の畳み込みフィルタを適用し、フィルタ結果の透かし検出時ノイズ成分の分散とフレーム間相関とを算出する手段を含む。
【００２８】
また、本発明（請求項１６）は、請求項１０乃至１５記載の電子透かし埋め込み装置であって、入力信号が映像信号であるとき、
埋め込み前信号評価手段１１１は、
映像信号の動きの大きさを測定し、その大きさまたは分散値を算出する手段を含む。
【００２９】
また、本発明（請求項１７）は、請求項１６記載の電子透かし埋め込み装置であって、
映像信号の動きの大きさと画質劣化の関係を用いて、与えられた画質劣化目標を満たすように電子透かしの埋め込み強度を決定する手段を更に有する。
【００３０】
また、本発明（請求項１８）は、請求項１０乃至１７記載の電子透かし埋め込み装置であって、
埋め込み前信号評価手段１１１は、
入力信号の区間内の部分領域を単位に評価を行う手段を含み、
埋め込みパターン生成手段１０２は、
入力信号の区間内の部分領域を単位に所定のパターンを生成する方式または、パラメータを選択する手段を含む。
【００３１】
本発明（請求項１９）は、コンピュータを、請求項１０乃至１８記載の電子透かし埋込装置として機能させるプログラムである。
【発明の効果】
【００３２】
上記のように本発明によれば、複数あるいは、パラメータの変更の可能な電子透かし方式がある場合に、ここの入力信号に対してどちらがどれだけ優れているかを、実際の電子透かし埋め込みを行う前に定量的に評価することができる。
【００３３】
また、得られた評価結果に基づいて、期待する品質を求める中で、与えられた入力信号に対して最適となるように電子透かし埋め込み方式を制御することができる。その結果、電子透かしの検出性の高い電子透かし埋め込みを行うことができる。
【００３４】
＜入力信号の評価によってパターン生成を切替える電子透かし埋め込み方法＞
さらに、請求項１に記載された電子透かし埋め込み方法及び請求項１０に記載された電子透かし埋め込み装置によれば、電子透かしの埋め込みの対象となる信号の特性と、所与の電子透かし検出性能目標に応じて、最適な電子透かし方式を選択することができ、透かしによる知覚的な画質劣化を同程度に保ったまま、検出の精度を向上させることができる。
【００３５】
＜埋め込み多重度を切り替える電子透かし埋め込み方法＞
さらに、請求項２に記載された電子透かし埋め込み方法及び請求項１１に記載された電子透かし埋め込み装置によれば、電子透かし埋め込みの対象となる信号の特性に応じて、最適なすりガラス効果抑制の効果をもつ電子透かし方式を選択することができ、透かしによる視覚的な画質劣化を抑えることができる。
【００３６】
＜検出性能目標に応じて埋め込み多重度を切り替える電子透かし埋め込み方法＞
さらに、請求項３に記載された電子透かし埋め込み方法及び請求項１２に記載された電子透かし埋め込み装置によれば、電子透かしの埋め込みの対象となる信号の特性と、所与の電子透かし検出性能目標に応じて、最適なすりガラス効果抑制の効果を持つ電子透かし方式を自動的に選択することができ、透かしによる視覚的な画質劣化を同程度に保ったまま、容易に検出の精度を向上させることができる。
【００３７】
＜同期有無を考慮した目標性能＞
＜埋め込み多重度に応じて埋め込み強度を切り替える電子透かし埋め込み方法＞
さらに、請求項４に記載された電子透かし埋め込み方法及び請求項１３に記載された電子透かし埋め込み装置によれば、決定した多重度に応じて、目標の画質劣化の程度を満たす最適な電子透かし埋め込みを自動的に行うことができ、透かしによる視覚的な画質劣化を同程度に保ったまま、容易に検出の精度を向上させることができる。
【００３８】
＜映像信号の検出時のノイズ成分の分散とフレーム間相関を算出する＞
さらに、請求項５に記載された電子透かし埋め込み方法及び請求項１４に記載された電子透かし埋め込み装置によれば、目標とする埋め込み強度と検出精度に応じ、理論的な検出評価値に従う条件を用いることができ、理論的に最適な電子透かし埋め込みを行うことができる。
【００３９】
＜時間軸方向畳み込みフィルタを適用する＞
さらに、請求項６に記載の電子透かし埋め込み方法及び請求項１５に記載された電子透かし埋め込み装置によれば、映像信号のフレーム間の相関による影響を抑え、透かし検出時ノイズ成分の分散を小さくすることによって向上した電子透かし検出性能に従って電子透かし方式の制御ができ、その結果、精度よく最適な電子透かし方式の制御を行うことができる。
【００４０】
＜動きベクトルを算出する＞
さらに、請求項７に記載された電子透かし埋め込み方法及び請求項１６に記載された電子透かし埋め込み装置によれば、透かし埋め込みの対象となる信号においてすりガラス効果が引き起こされる程度に応じて、最適な電子透かし埋め込みを行うことができ、その結果、画質劣化を防ぐことができる。
【００４１】
＜動きベクトル評価に応じて埋め込み強度を切り替える電子透かし埋め込み方法＞
さらに、請求項８に記載された電子透かし埋め込み方法及び請求項１７に記載された電子透かし埋め込み装置によれば、映像信号の評価結果に応じて、目標の画質劣化の程度を満たす最適な電子透かし埋め込みを自動的に行うことができ、透かしによる視覚的な画質劣化を同程度に保ったまま、容易に検出の精度を向上させることができる。
【００４２】
＜領域単位で評価を行い制御する＞
さらに、請求項９に記載された電子透かし埋め込み方法及び請求項１８に記載された電子透かし埋め込み装置によれば、目標とする埋め込み強度と検出精度と品質水準に応じ、入力信号の区間内の部分領域ごとに最適な電子透かし埋め込みを行うことができ、その結果全体としての画質劣化を最小に抑えつつ、検出精度を高めることができる。
【発明を実施するための最良の形態】
【００４３】
以下、図面と共に本発明の実施の形態を説明する。
【００４４】
本発明の実施の形態の説明を行う前に、本発明の背景となる電子透かしモデルとその理論的特性について説明する。
【００４５】
［１］パターン加算型電子透かしのモデル：
電子透かし埋め込みのモデルとして、動画像の各フレーム毎に次式で表される透かし埋め込みを行うモデルを考える。なお、以下の記載において“→”はベクトルを示す。また、例えば、
【００４６】
【数１】
2007053687.tif 000003
のような場合は、Ｘi→と記載する。
【００４７】
Ｗ→＝αＸ→＋Ｎ→                              式（１）
ここで、
Ｗ→：透かし埋め込み済み信号；
α：透かし埋め込み強度；
Ｘ→：透かし信号；
Ｎ→：フレーム原画像信号；
とする。また、Ｘ→の各要素は平均０、分散１に正規化されているものとする。
【００４８】
なお、
Ｗ→＝｛ｗ１，ｗ２，…，ｗＬ｝
Ｘ→＝｛ｘ１，ｘ２，…，ｘＬ｝
Ｎ→＝｛ｎ１，ｎ２，…，ｎＬ｝
とする。Ｌは各ベクトルの次元である。
【００４９】
ここで、モデル上の各情報は電子透かし埋め込みの具体的な方式によってそれぞれ異なってくることはいうまでもない。例えば、透かし情報を単純に原画像と同サイズの濃淡画像パターンにスペクトル拡散して原画像の輝度に重畳する電子透かし埋め込み方式であれば、Ｌは原画像の画素数、Ｘ→は透かし情報がスペクトル拡散された濃淡画像パターン（埋め込みパターン）の画素値を並べたベクトル、Ｎ→は原画像の全ての画素の輝度値を並べたベクトルとなる。
【００５０】
また、例えば、特開２００３−２１９１４８の電子透かし埋め込み方式であれば、Ｌは透かし埋め込み系列の長さであり、Ｘ→は透かし埋め込み系列、Ｎ→は原画像の周波数空間における埋め込み対象成分の周波数変換係数の系列となる。
【００５１】
また、例えば、画像のＤＣＴ係数に透かしを埋め込む電子透かし埋め込み方式であれば、Ｌは埋め込みを行うＤＣＴ係数の個数であり、Ｘ→は透かし埋め込み系列、Ｎ→は原画像の埋め込み位置のＤＣＴ係数の列となる。
【００５２】
上記のモデルでは、結果的に原映像信号のフレーム画像に対し、透かし埋め込みパターンを所定の強度で重み付けして加算することで、電子透かしの埋め込みを行っていることから、ここでは、「パターン加算型電子透かしモデル」と呼ぶことにする。
【００５３】
［２］検出性能評価指標のモデル：
上記の式（１）の電子透かし埋め込みモデルで埋め込まれた電子透かしの検出を、検出性能評価指標として次の透かし検出評価値を用いて行う電子透かし検出モデルを考える。
【００５４】
透かし検出評価値ρを、
【００５５】
【数２】
2007053687.tif 000004
とする。ここでＷ´→は、
【００５６】
【数３】
2007053687.tif 000005
であり、ｍｗ、σｗはそれぞれＷ→の各要素の平均及び標準偏差、Ｉ→は単位ベクトルである。Ｗ´はＷ→の各要素を平均０、分散１に正規化したものになっている。
【００５７】
Ｎ→とＸ→が独立であるとき、Ｎ→の各要素の平均及び分散がそれぞれｍｎ，σｎ２であるとすると、上記ρの期待値を求めると、
【００５８】
【数４】
2007053687.tif 000006
となる。
【００５９】
ρは、電子透かしが埋め込まれていないとき、即ち、α＝０のとき、平均０、分散１の正規分布を持つことが計算で求められる。従って、透かしが埋め込まれていないのに、埋め込まれていると判定してしまう偽陽性判定率（false positive rate）を考え、電子透かしの検出における偽陽性判定率が、予め与えられた偽陽性判定率εとなるときのρの値を、ρの閾値として定めることで、ρの値を電子透かしの検出信頼度指標値とすることができる。これは、例えば、文献「中村高雄、片山淳、山室雅司、曽根原登『カメラ付携帯電話機を用いたアナログ画像から高速電子透かし検出方式』電子情報通信学会論文誌D-II Vol. J87-D-II, No.12, pp.2145-2155(2004年12月)」（以下、文献１と記す）に記載されている。
【００６０】
また、変形や符号化などに対する電子透かし信号の劣化の仕方が同様な複数種類の電子透かし方式を比較する場合、電子透かし方式の検出性能の比較として、上記の期待値Ｅ［ρ］の大きさを比較指標として用いることができる。
【００６１】
［３］パターン加算型電子透かしモデルの変形：
パターン加算型電子透かしモデルの変形として、次のような電子透かし埋め込みを考える。
【００６２】
電子透かし情報がｋ個のシンボルＳ１，Ｓ２，…，Ｓｋに分割され、それぞれ透かし信号Ｘ１→，Ｘ２→，…，Ｘｋ→が生成されるとする。ここで、Ｘｉ→は平均０、分散１に正規化されているものとする。
【００６３】
原画像の１枚のフレームに、ｎ種の透かし信号を多重化して埋め込む。ここで、多重化はｎ種の透かし信号を後述する式で示すように加算することで行う。多重化する透かし信号の種類は、全ての透かし信号が等しい頻度で出現するようにｋ個の透かし信号の中からｎ種の透かし信号を選択するようにする。その結果、あるシンボルＳｉについてみたとき、平均してｋ枚のフレーム中ｎ枚のフレームに、対応する透かし信号Ｘｉ→が含まれていることになる。ここで、ｎを透かしの多重度と呼ぶことにする。
【００６４】
但し、ここでは、透かし信号が等しい頻度で出現するようにｋ個の透かし信号の中からｎ種の透かし信号を選択するようにしたが、異なる頻度で出現するように選択した場合も、下記と同様の計算により透かし検出評価値の分析を行うことができる。よって、本発明において、この選択の仕方を上記の方法に限定するものではなく、異なる頻度で出現するようにしても構わない。
【００６５】
このとき、埋め込みモデルを式で表すと下記のようになる。
【００６６】
【数５】
2007053687.tif 000007
ここで、
【００６７】
【数６】
2007053687.tif 000008
の各要素の平均と標準偏差であり、
【００６８】
【数７】
2007053687.tif 000009
は、フレームｉに対して埋め込むシンボルを表す番号であり、１〜ｋの数の中からｎ個の数を取り出して小さい順に並べた列である。
【００６９】
Ｘｉ→の平均が０であることから、
【００７０】
【数８】
2007053687.tif 000010
Ｘi→の分散が１であり、各Ｘｉ→は独立であることから、
【００７１】
【数９】
2007053687.tif 000011
である。よって、
【００７２】
【数１０】
2007053687.tif 000012
となる。
【００７３】
このように埋め込まれた電子透かしに対し、次の２つの方法で透かし信号Ｘｉ→の検出を行う。
・方法１：
ｋ枚のフレーム画像の中から、目的の透かし信号Ｘｉ→が含まれているｎ枚のフレーム画像を選択して重畳した画像に対して検出を行う。
・方法２：
ｋ枚のフレーム画像全てを重畳した画像に対して検出を行う。
【００７４】
ここで、「フレーム画像を重畳する」とは、例えば、各フレーム画像の共通の位置の画素値をそれぞれ合計し、一枚の画像を求めるといった処理を表す。また、例えば、各フレームの画像を予め高域通過フィルタなどの画像フィルタによってフィルタ処理した後に重畳するようにしてもよい。
【００７５】
ここで、以下では計算を容易にするためｋフレームの検出対象動画像から透かし信号を検出する場合を例に説明しているが、電子透かし検出の対象とする映像がｋフレームと異なるフレーム数を持っていても同様の概念で検出を行うことができる。例えば、検出対象動画像が全部でｋ´フレームからなる場合に方法１を「ｋ´枚のフレーム画像の中から、目的の透かし信号Ｘ＿ｉが含まれているフレーム画像（平均ｎｋ´／ｋ枚のフレームとなる）を選択して重畳した画像に対して検出を行う」、方法２を「ｋ´枚のフレーム画像全てを重畳した画像に対して検出を行う」のようにしても、若干の式の変更のみで以下と同様の議論が成り立つ。
【００７６】
電子透かしの検出時に何らかの手段によってフレームの同期が取られているとき、即ち、どのフレーム画像にどの透かし信号が埋め込まれているかが判明している場合には方法１の検出方法を取ることができる。一方、フレームの同期がとれていない場合には方法２の検出方法をとらなければならない。後者の例としては、透かし埋め込み後にカメラキャプチャ等によるフレーム位置ずれや、攻撃や通信エラーによるフレーム落ちが生じた場合が考えられる。
【００７７】
この二つの方法を使い分けることで、カメラキャプチャやフレーム落ちといった攻撃を受けた場合にも電子透かしが検出できるロバストネスを確保しつつ、同期の取れているときには信頼度の高い電子透かし検出ができ、効率的な電子透かし検出が可能となる。例えば、万一攻撃を受けて不正利用された場合に、検出を可能にしつつ、攻撃のないときに関連情報を取得したり、視聴管理を行ったりする際には、高精度で効率的な電子透かし検出ができる。その結果、本発明の電子透かしにより、複数の用途を同時に満たすことができ、電子透かしの適用範囲を拡大することもできる。
【００７８】
なお、上記の同期がとれない例は、本発明の適用領域を限定するものではなく、フレームの同期がとれないどのような状況に対して本発明を適用しても構わないことは言うまでもない。また、上記の電子透かしの適用例も本発明の適用領域を限定するものではなく、どのようなサービスに適用しても構わないことは言うまでもない。
【００７９】
なお、方法１、方法２では、フレーム画像を重畳した画像に対して検出を行う方法を示しているが、１フレーム画像毎に検出を行うようにする方法もある。即ち、
・方法１´：
ｋ枚のフレーム画像の中から、目的の透かし信号Ｘｉ→が含まれているｎ枚のフレーム画像を選択し、各フレーム画像に対して検出を行い、ｎ回の検出試行の結果を総合して判定を行う。
・方法２´：
ｋ枚のフレーム画像全てに対し、各々検出を行い、ｋ回の検出試行の結果を総合して判定を行う。
【００８０】
複数回の検出試行の結果を総合するのは、例えば、複数回の検出試行で得られた検出評価値の平均値で評価するなどの方法がある。これらの場合にも、各フレームの透かし検出における透かし検出評価値の値に対し、検出評価値ρの期待値を下記と同様の議論により求めることができる。但し、検出試行の回数が増えている分、偽陽性判定率が増加していることを考慮して検出結果の信頼度を評価する必要がある。
【００８１】
・方法１による検出：
以下で方法１による検出を行った場合の検出評価値について考察する。
【００８２】
ここで、透かし信号Ｘ１→がフレーム１〜フレームｎに含まれている場合として、
【００８３】
【数１１】
2007053687.tif 000013
である場合を考え、その場合のＸ１→に対する検出評価値ρを求める。
【００８４】
【数１２】
2007053687.tif 000014
フレーム画像を重畳することは各辺を足し合わせることと等しく、
【００８５】
【数１３】
2007053687.tif 000015
よって、これから透かし信号Ｘ１→を検出する場合、式（３）において、
【００８６】
【数１４】
2007053687.tif 000016
と変換することと同義である。Ｎｉ→の各要素の平均、分散がそれぞれ、
【００８７】
【数１５】
2007053687.tif 000017
であるとするとき、上式よりＮ→の平均ｍｎ及び分散σｎ２を考えると、
【００８８】
【数１６】
2007053687.tif 000018
全てのｉについてＸｉ→が互いに独立で、全てのｉ，ｊについて、Ｘｉ→、Ｎｊ→が独立であるとすると
【００８９】
【数１７】
2007053687.tif 000019
ただし、
【００９０】
【数１８】
2007053687.tif 000020
は、Ｎｉ→、Ｎｊ→の各要素についてみたときの共分散であり、
【００９１】
【数１９】
2007053687.tif 000021
従って、Ｘ１→の検出評価値ρの期待値は、
【００９２】
【数２０】
2007053687.tif 000022
Ｘ１→をＸ２→，Ｘ３→，…，Xk→と変えても同様の議論が成り立ち、これらは等価であるから、方法１におけるシンボルごとの検出評価値ρの期待値は、式（５）で与えられることがわかる。
【００９３】
例えば、ｎ＝ｋのとき、
【００９４】
【数２１】
2007053687.tif 000023
｛ｙｉ２，ｙｉ３，…，ｙｉｋ｝は、２〜ｋの数からｋ−１個選んで並べた列であるから、２〜ｋの数が全て現れることになり、
【００９５】
【数２２】
2007053687.tif 000024
であり、各Ｘｉ→が独立で、
【００９６】
【数２３】
2007053687.tif 000025
であることから、
【００９７】
【数２４】
2007053687.tif 000026
また、例えば、ｎ＝１のとき、式（５）の
【００９８】
【数２５】
2007053687.tif 000027
の項は０になり、
【００９９】
【数２６】
2007053687.tif 000028
となり、これは式（３）と同一である。
【０１００】
・方法２による検出：
以下で方法２による検出を行った場合の検出評価値について考察する。
【０１０１】
【数２７】
2007053687.tif 000029
フレーム画像を重畳することは各辺を足し合わせることと等しく、
【０１０２】
【数２８】
2007053687.tif 000030
【０１０３】
【数２９】
2007053687.tif 000031
の中にＸｉ→はそれぞれ平均してｎ回現れることからＷｓ→の平均値は、
【０１０４】
【数３０】
2007053687.tif 000032
よって、これから透かし信号Ｘ１→を検出する場合、式（３）において、
【０１０５】
【数３１】
2007053687.tif 000033
と変換することと同義である。上式よりＮ→の平均ｍｎ及び分散σｎ２を考えると、
【０１０６】
【数３２】
2007053687.tif 000034
全てのｉについてＸｉ→が互いに独立で、全てのｉ，ｊについて、Ｘｉ→とＮｊ→が独立であるとすると、
【０１０７】
【数３３】
2007053687.tif 000035
従って、Ｘ１→の検出評価値ρの期待値は、
【０１０８】
【数３４】
2007053687.tif 000036
Ｘ１→をＸ２→，Ｘ３→，…，Ｘｋ→と変えても同様の議論が成り立ち、これらは等価であるから、方法２におけるシンボル毎の検出評価値ρの期待値は、式（８）で与えられることがわかる。
【０１０９】
例えば、ｎ＝１のとき、
【０１１０】
【数３５】
2007053687.tif 000037
また、ｎ＝ｋのとき、
【０１１１】
【数３６】
2007053687.tif 000038
であり、これは式（６）と同じである。
【０１１２】
［４］埋め込み強度と検出評価値の関係：
式（６）（７）（９）の検出評価値について、所定のσｎ２，ｋに対してαを変化させたときのグラフの概形を図示すると、図３のようになる。
【０１１３】
また、式（８）において、分母の平方根内の２，３項目はｎが大きくなれば単調減少するため、式（８）のＥ［ρ］は、ｎが大きくなれば、単調増加する。
【０１１４】
一方、式（５）において、分母の平方根内の２項目のα２に対する係数部分は、Ｘ２→，…，Ｘｋ→のｋ−１個からｎ−１個を選ぶ試行をｎ回繰り返したときに、各Ｘｊ→のそれぞれが選ばれた合計個数をｐｊとして、
【０１１５】
【数３７】
2007053687.tif 000039
となる。ｙｉｊを前述の条件を満たすようにランダムに選んだとき、ｎに対する式（１１）の値を各ｎに対して１０００通りをシミュレーションによって計算した結果をプロットすると、図４のようになる。但し、図４はｋ＝１６とした場合で、実線は各ｎでの１０００通りの計算値の平均値を直線で結んだものである。図４より、式（１１）は、平均的にはｎが大きくなるにつれて単調増加していることがわかる。
【０１１６】
さらに、式（５）において、分母の平方根内の３項目は、フレーム毎の検出時ノイズ成分の分散の平均値を表しており、平均的にはｎの変化に対して影響しない項である。
【０１１７】
さらに、式（５）において、分母の平方根内の４項目は、ｎフレームに対するフレーム間の検出時ノイズ成分の共分散の総和をｎで割ったものであり、平均的にはｎの増加に対して単調増加する項である。
【０１１８】
以上より、式（５）のＥ［ρ］は、ｎが大きくなれば平均的には単調減少するといえる。
【０１１９】
これは、n＜ｋのとき、方法１は方法２よりも高い検出評価値を得ることができ、ｎがｋに近づくにつれ、方法１での検出評価値が徐々に下がる一方で方法２での検出評価値が上がり、ｎ＝ｋのときに２つの方法が同一になることを示している。
【０１２０】
即ち、同じｋフレームを利用して検出をするという状況を考えたとき、ｎの大小は次のような電子透かしの検出特性を制御するパラメータとなることを意味している。
・ｎが小さい場合は、方法１のようにフレームの同期が取れていれば高い検出評価値を得ることができる一方、フレームの同期がとれていなければ低い検出評価値となる。
・ｎが大きい場合は、方法１のようにフレームの同期がとれていてもｎが小さいときほどの検出評価値を得ることはできない一方、フレームの同期が取れていない場合は検出評価値が底上げされる。
【０１２１】
図５に、上記の電子透かし埋め込みモデルに従って実装した電子透かし埋め込みプログラムを用い、所定の平均、分散値を持つようにランダムに合成された画像に対して電子透かしを埋め込み、埋め込み強度αに対する検出評価値ρを測定したグラフを示す。
【０１２２】
ここで、各パラメータＬ＝４０９６，ｋ＝８，σｎ２＝４０，
【０１２３】
【数３８】
2007053687.tif 000040
となるようにして実験を行った。
【０１２４】
図５において、実線はそれぞれ上から順に式（７）、（１０）、（９）に従う理論値であり、プロットされている点が実測値である。図５から、理論値に沿った実測値が得られていることがわかる。
【０１２５】
なお、特に式（７）に対応したプロットにおいて、測定値が階段状をなしているのは、電子透かし埋め込み画像として、８bppの量子化を行っているために、画素値の１段階未満の変位となる埋め込み強度変化においては結果として測定値が大きく変化しないことに起因している。これは、１フレームのみから検出を行う式（７）に対応したプロットにおいて顕著である。
【０１２６】
［５］透かし多重度と画質劣化の関係：
多重度ｎが大きいとき、所定の数のフレームの中で個々のシンボルの含まれるフレームの割合が大きくなる。その結果、電子透かしのパターンがすりガラスとして見えやすくなり全体として画質劣化が大きくなるといえる。一方、すりガラス効果の程度は、原画像信号の特徴にも依存している。さらに、画質劣化は電子透かしの埋め込み強度によっても変化する。
【０１２７】
これらより、画質劣化の程度を表す指標値βを仮定すると、βは、埋め込み強度α、多重度ｎ、信号原画像信号Ｎ１→，Ｎ２→，…の関数となっていると考えることができる。
【０１２８】
【数３９】
2007053687.tif 000041
さらに、埋め込み強度の大小と画質劣化の大小には強い相関があると考えられ、Ｆを、
【０１２９】
【数４０】
2007053687.tif 000042
で近似できると仮定する。ｇは、実在のコンテンツについての電子透かし埋め込みと画質の主観評価を行うことで実験的に求めることができる。
【０１３０】
例えば、仮に
【０１３１】
【数４１】
2007053687.tif 000043
であることが実験的に求められた場合を考える。但し、ａｇは定数である。
【０１３２】
上式を用いて埋め込み強度αと画質劣化βの変換を行えば、図３のグラフは図６に示す画質劣化に対する検出評価値のグラフのように書き表すことができる。
【０１３３】
このとき、検出評価値ρの期待値は次式で表される。
【０１３４】
【数４２】
2007053687.tif 000044
［６］検出性能目標に応じた埋め込み方式の制御：
今、電子透かしの検出性能目標として、目標とする検出評価値ρ０及び画質劣化の程度β０が与えられたときに次の条件を満たす電子透かし埋め込み方式を考える。
【０１３５】
・条件１：同期のとれない状況においても検出評価値ρ０を越える検出性能を持つ方式の中で、同期のとれた場合の検出評価値が最大となるもの。
【０１３６】
・条件２：同期がとれた状況において検出評価値ρ０を越える検出性能を持つ方式の中で、同期のとれない場合の検出評価値が最大となるもの。
【０１３７】
まず、条件１について考える。
【０１３８】
図６のグラフ上で、ρ０及びβ０を書くと図７のようになる。但し、図７では、図６より狭い範囲を表示していることに注意されたい。
【０１３９】
条件１を満たすためには、図７において、ρ＞ρ０、β＜β０の領域（図７で網掛けされた、条件に該当する領域６０１）内を通過する方法２の曲線に相当するｎの中で、同じｎの方法１での検出性能が最大となるものを選べばよい。
【０１４０】
式（１５）において、前述の式（５）の単調減少性の議論と同様の議論が成り立ち、さらに、式（１５）で追加された分母の
【０１４１】
【数４３】
2007053687.tif 000045
の項についても単調増加であるから、結果としてｎが小さいほどρの値が大きくなる。
【０１４２】
また、式（１６）において、
【０１４３】
【数４４】
2007053687.tif 000046
がｎが大きくなれば単調減少することから、結果としてｎが小さいほどρの値が小さくなる。
【０１４４】
従って、条件１を満たすｎの値は、(β０、ρ０)を通る方法２の曲線に対応するｎの値となることがわかる。
【０１４５】
条件２についても同様に考える。
【０１４６】
図８において、ρ＞ρ０，β＜β０の領域（図８で網の掛けられた、条件に該当する領域７０１）内を通過する方法１の曲線に相当するｎの中で、同じｎの方法２での検出性能が最大となるものを選べばよい。
【０１４７】
式（１５）において、ｎが大きいほどρの値が小さくなり、式（１６）において、ｎが大きいほどρの値が大きくなることから、条件２を満たすｎの値は(β０，ρ０)を通る方法１の曲線に対応するｎの値となることがわかる。
【０１４８】
このように、電子透かしによる画質劣化βと検出評価値ρとの関係を明らかにすることで、所与の検出性能目標要件を満たす電子透かし埋め込み方式のパラメータを決定することができる。
【０１４９】
［７］単純な透かし方式の例：
パターン加算型電子透かしモデルに従う電子透かしとして、例えば次のようなものが挙げられる。なお、本発明は、ここであげる電子透かし方式に限定するものではなく、この他の電子透かし方式であっても構わないことはいうまでもない。
【０１５０】
・電子透かし埋め込み
（１）電子透かし情報としてｋビットの情報を用意する。
【０１５１】
（２）ｋビットの電子透かし情報を１ビットずつに分け、ビットｊに長さＬの２種類の透かし信号系列Ｚｊ→，Ｚ´ｊ→を割り当てる。
【０１５２】
（３）各ビット値に従い、埋め込みを行う透かし信号Ｘｊ→をＺｊ→，Ｚ´ｊ→のいずれかから選択する。
【０１５３】
【数４５】
2007053687.tif 000047
（４）埋め込みの対象となる映像信号の各フレームｉ毎に以下を繰り返す。
【０１５４】
（４−１）多重度ｎに従い、ｋ種のビットの中からランダムにｎ個を選択し、式（４）に従って透かし埋め込み系列ξｉ→を算出する。ランダムに選択する代わりに予め何フレーム目毎にどのビットが埋め込まれるかを決めておいてもよい。
【０１５５】
（４−２）対象のフレームの画素値をラスタスキャン順にＬ画素ずつ取り出し、全ての画素に対して処理を済ませるまで以下を繰り返す。
【０１５６】
（４−２−１）Ｌ個の画素値の列を原画像信号系列Ｎ→とし、次式で得られる埋め込み済み系列Ｗ→で対象フレームの対応する画素の画素値を変更する。
【０１５７】
【数４６】
2007053687.tif 000048
・電子透かし検出：方法１
以下の手順により、電子透かしの埋め込まれた映像から、ｊ番目のビット値を取り出す。但し、事前にフレームの同期が取れているものとする。
【０１５８】
（１）埋め込みの対象となる映像信号からＸｊの埋め込まれているフレームをｎフレーム取り出し、フレームを通して同座標の画素値を加算し、検出対象画像ＩＭを得る。
【０１５９】
（２）ＩＭの画素値をラスタスキャン順にＬ画素ずつに分け、画素列im1→、im2→，…，ｉｍｍ→の算術平均を求めたものをＷ→とする。
【０１６０】
【数４７】
2007053687.tif 000049
ここで、ｍはＩＭの全画素数をＬで割った値となる。
【０１６１】
（３）Ｗ→に対してＺｊ→，Ｚ´ｊ→について式（３）により検出評価値ρを求める。但し、式（３）のＸ→はＺｊ→，Ｚ´ｊ→と置き換えて２回計算を行い、値の大きい方のビット値が検出されたものと見做す。また、検出評価値ρが所与の偽陽性判定率によって求まる閾値を越えていない場合は電子透かしが埋め込まれていないものとみなす。
【０１６２】
・電子透かし検出：方法２
以下の手順により、電子透かしの埋め込まれた映像からｊ番目のビット値を取り出す。
【０１６３】
（１）埋め込みの対象となる映像信号からｋフレーム取り出し、フレームを通して同座標の画素値を加算し、検出対象画像ＩＭを得る。
【０１６４】
（２）ＩＭの画素値をラスタスキャン順にＬ画素ずつに分け、画素列im1→、im2→，…，ｉｍｍ→の算術平均を求めたものをＷ→とする。
【０１６５】
【数４８】
2007053687.tif 000050
ここで、ｍはＩＭの全画素数をＬで割った値となる。
【０１６６】
（３）Ｗ→に対してＺｊ→，Ｚ´ｊ→について式（３）により検出評価値ρを求める。但し、式（３）のＸ→はＺｊ→，Ｚ´ｊ→と置き換えて２回計算を行い、値の大きい方のビット値が検出されたものとみなす。また、検出評価値ρが所与の偽陽性判定率によって求まる閾値を越えていない場合は電子透かしが埋め込まれていないものと見做す。
【０１６７】
［本発明の前提とする電子透かし装置］
まず、本発明の前提となる基本的な電子透かし埋め込み装置の構成について説明する。
【０１６８】
図９は、本発明の前提となる基本的な電子透かし埋め込み装置の構成例を示す。以下では、動画像への電子透かし埋め込みを例に説明する。
【０１６９】
電子透かし埋め込み装置８００は、埋め込み情報分割部８０１と、埋め込みパターン生成部８０２と、埋め込みパターン重畳部８０３と、から構成される。
【０１７０】
電子透かし埋め込み装置８００には、電子透かしを埋め込む前の映像信号である埋め込み前信号８０５と、埋め込みたい情報である埋め込み情報８０４とが入力され、埋め込み前信号８０５に対して埋め込み情報８０４を埋め込んだ結果得られる埋め込み済み信号８０６を出力する。
【０１７１】
電子透かし埋め込み装置８００による電子透かしの埋め込み処理は以下のような手順で実施される。
【０１７２】
（１）まず、埋め込み情報分割部８０１に埋め込み情報８０４が入力され、埋め込み情報８０４を複数のシンボルＳ１，Ｓ２，…，Ｓｋに分割する。
【０１７３】
ここで、シンボルとは、それぞれ埋め込み情報のうちの一部分の情報を表し、実際の電子透かし埋め込みの処理単位となる情報であり、例えば、埋め込み情報８０４が６４bit長の二進数値で与えられたとき、図１０に示すように１２bitずつの情報に区切って１２bitの情報の各々がシンボルとするようにされていてもよい。あるいは１シンボルで１bitの情報を表すようにされていてもよい。図１０の例のように埋め込み情報８０４の長さ（ここでは６４bit）が各シンボルの長さ（１２bit）で割り切れない場合は、一部のシンボル（ここでは最後のシンボル）の一部のbitを固定の値（ここでは値０）でpaddingするようにしてもよい。
【０１７４】
（２）次に、埋め込みパターン生成部８０２において、埋め込み情報分割部８０１で得られたシンボルに基づき、透かし情報を表す画像パターンである埋め込みパターンを生成する。
【０１７５】
埋め込みパターンの生成方法の詳細については後述する。
【０１７６】
（３）埋め込みパターン重畳部８０３では、入力された埋め込み前信号８０５の各フレーム画像に対し、埋め込みパターン生成部８０２で生成された埋め込みパターンを加算することで重畳し、電子透かしの埋め込まれたフレーム画像を生成し、順次出力することで、埋め込み済み信号８０６を得る。
【０１７７】
埋め込みパターンの重畳の際、フレーム画像の大きさ（画角）が埋め込みパターンの大きさ（画角）よりも大きい場合は、図１１に示すように埋め込みパターンを繰り返し縦横にタイル状に敷き詰めるように加算してもよい。図１１では埋め込みパターンが正方形状をなしている例を示しているが、別な形状であっても構わないことはいうまでもない。例えば、埋め込みパターンが平行四辺形であっても構わない。
【０１７８】
［埋め込みパターン生成方法］
埋め込みパターン生成部８０２における埋め込みパターン生成は、例えば、次のような手順によって行われる。
【０１７９】
（１）埋め込み情報分割部８０１で得られた各シンボルに対してスペクトル拡散処理を行い、各シンボルに対応した拡散パターンＰ１，…，Ｐｋを生成する。
【０１８０】
スペクトル拡散の方法としては、例えば次のような方法がある。
【０１８１】
例えば、１シンボルが１bitの情報を表現している場合には、各シンボルＳ１，…，Ｓｋに対して、それぞれ｛１，−１｝の値をとる計ｋ通りのＰＮ系列ＰＮ１＝（pn11，pn12，…，），…，ＰＮｋ＝（pnk1，pnk2）を生成し、シンボルｉに対して、シンボルの値がビット１を表す場合はＰＮｉを、シンボルの値がビット０を表す場合は、−ＰＮｉを拡散パターンＰｉとして用いるようにしてもよい。
【０１８２】
また、例えば、１シンボルが１２bitの情報を表現している場合には、各シンボルに対してそれぞれ４０９６通りのＰＮ系列ＰＮ（１，１），…，ＰＮ（１，４０９６），ＰＮ（２，４０９６），…，ＰＮ（ｋ，４０９６）を用意し、シンボルｉに対して、シンボルｉの値が１２ｂｉｔで整数値ｘを表す場合に、ＰＮ（ｉ，ｘ）を拡散パターンＰｉとして用いるようにしてもよい。また、ＰＮ系列としては例えば、Ｍ系列を用いてもよい。このような拡散パターンの生成方法については特許文献１にも述べられている。
【０１８３】
また、ここでは、拡散パターンとして１次元の数列を生成するようにしたが、同様の方法で得られた数例をもとに2次元の画像パターンとして拡散パターンを生成するようにしてもよい。例えば、１次元の数列を元に複素行列の成分値を増減させて得た透かし係数行列に離散逆フーリエ変換などの直交変換を施し、得られた画像パターンを拡散パターンとして用いても良い。
【０１８４】
（２）さらに、上記で得られた各拡散パターンを合成し、合成拡散パターンＲを生成する。
【０１８５】
合成拡散パターンの生成は、例えば、ｋ個の拡散パターンのうちの1つ以上のパターンを選択し、選択したパターンを全て足し合わせることで生成する。例えば、
Ｒ＝Ｐ１＋Ｐ３＋Ｐ４
のように計算し、このときＲはシンボル1，3，4をそれぞれ「含む」と呼ぶことにする。また、選択した拡散パターンの個数ｎの値が、前述のパターン加算型電子透かしモデルの変形で述べた多重度に相当する。
【０１８６】
（３）次に、上記の合成拡散パターンを元に、実際に映像信号に対して重畳する画像パターンを生成する。
【０１８７】
これは例えば、特許文献１に述べられている、次のような方法で行うことができる。即ち、１次元の数列として得られた合成拡散パターンを元に、複素行列の成分値を増減させて得た透かし係数行列に離散逆フーリエ変換などの直交変換を施し、結果得られた画像パターンを埋め込みパターンとして用いればよい。
【０１８８】
また、拡散パターン生成手段（図示せず）において２次元の画像パターンとして拡散パターンＰ１，…，Ｐｋが得られている場合は、その和で表される合成拡散パターンをそのまま埋め込みパターンとしてもよい。
【０１８９】
以下、本発明の実施の形態を説明する。
【０１９０】
［第1の実施の形態］
本実施の形態では、多重度と強度を制御する電子透かし埋め込み装置について説明する。
【０１９１】
図１２は、本発明の第1の実施の形態における電子透かし埋め込み装置の構成例を示す。
【０１９２】
電子透かし埋め込み装置１００は、埋め込み情報分割部１０１、埋め込みパターン生成部１０２、埋め込みパターン重畳部１０３、埋め込み前信号評価部１１１、多重度決定部１１２、及び埋め込み強度決定部１１３から構成される。
【０１９３】
埋め込み情報分割部１０１及び埋め込みパターン重畳部１０３については、図９の電子透かし埋め込み装置と同様である。
【０１９４】
また、入力である埋め込み情報１０４、埋め込み前信号１０５、出力である埋め込み済み信号１０６については、図９の電子透かし埋め込み装置と同様である。
【０１９５】
さらに、電子透かし埋め込み装置１００には、目標とする検出性能を表す検出性能目標１１４、目標とする電子透かしの画質劣化の程度を表す画質劣化目標１１５とが入力されるようになされていてもよい。あるいは、検出性能目標１１４及び画質劣化目標１１５のいずれか一方もしくは、両方が電子透かし埋め込み装置内の記憶手段に予め設定され、明示的に入力される代わりに当該記憶手段に記憶されている値を使用するようにされていてもよい。
【０１９６】
画質劣化目標１１５は、例えば、基準となる電子透かし方式における強度値であって、当該基準となる電子透かし方式で、指定された画質劣化目標値を透かし強度として電子透かしを埋め込んだ際の画質劣化の程度を目標とするようにされていてもよい。なお、この例は、本発明の範囲を限定するものではなく、映像の品質を指定する値であればどのようなパラメータ形式であっても構わない。
【０１９７】
電子透かし埋め込み装置１００による電子埋め込み処理は以下のような手順で実施される。
【０１９８】
図１３は、本発明の第１の実施の形態における動作のフローチャートである。
【０１９９】
ステップ１０１）  埋め込み情報分割部１０１により、埋め込み情報は、図９に示す埋め込み装置と同様の手順で分割される。
【０２００】
ステップ１０２）  埋め込み前信号評価部１１１において、埋め込み前信号１０５の特性に対する評価を行い、評価結果をメモリ等の記憶手段（図示せず）に格納する。なお、評価の方法については後述する。
【０２０１】
ステップ１０３）  多重度決定部１１２において、埋め込み前信号評価部１１１で得られ、メモリ（図示せず）に記憶されている評価結果を取得し、当該評価結果に基づき、埋め込みパターンとしてどれだけの多重度で合成拡散パターンの生成を行うかを表す多重度を決定し、メモリ等の記憶手段（図示せず）に格納する。詳細については後述する。
【０２０２】
ステップ１０４）  埋め込み強度決定部１１３において、多重度決定部１１２で得られ、メモリ（図示せず）に格納されている多重度を取得し、当該多重度に基づき、埋め込みパターンをどれだけの強度で埋め込み前信号１０５に重畳するかを表す埋め込み強度を決定し、メモリ等の記憶手段（図示せず）に格納する。決定の方法については後述する。
【０２０３】
ステップ１０５）  埋め込みパターン生成部１０２において、多重度決定部１１２で決定され、メモリ（図示せず）に格納されている多重度を取得し、当該多重度に従って、拡散パターンの合成を行い、合成拡散パターンを生成し、埋め込みパターンを生成する。多重度に応じた埋め込みパターンの生成方法については後述する。
【０２０４】
ステップ１０６）  埋め込みパターン重畳部１０３において、図９の電子透かし埋め込み装置と同様に、入力された埋め込み前信号１０５の各フレーム画像に対し、埋め込みパターン生成部１０２で生成された埋め込みパターンを加算することで重畳し、電子透かしの埋め込まれたフレーム画像を生成し、順次出力することで、埋め込み済み信号１０６を得る。このとき、埋め込みパターンに対し、埋め込み強度決定部１１３で決定された埋め込み強度に従い、重み付けをしてから埋め込み前信号１０５の各フレーム画像に重畳する。
【０２０５】
次に、上記のステップ１０２における埋め込み前信号評価部１１１における評価方法について詳細に説明する。
【０２０６】
埋め込み前信号評価部１１１では、埋め込み前信号１０５を入力し、埋め込み前信号１０５の透かし検出時ノイズ成分の分散を求める。
【０２０７】
ここで、透かし検出時ノイズ成分とは、埋め込み前信号１０５の中で、電子透かしの埋め込みにおいてノイズとして寄与する成分を表し、これは前述のパターン加算型電子透かしのモデルにおけるＮ→に相当する。
【０２０８】
また、透かし検出時ノイズ成分の分散値は、前述のパターン加算型電子透かしのモデルにおけるσｎ２に相当する。
【０２０９】
例えば、電子透かしの埋め込み及び検出が、前述の［７］単純な透かし方式の例で例示した電子透かし方式に従って行われるときには、上記透かし検出時ノイズ成分の分散値は埋め込み前信号１０５の各フレームに対し、フレーム上の各画素の輝度値をラスタスキャン順に系列長Ｌおきに取り出し、平均化した値を並べた長さＬの系列である。この場合、埋め込み前信号評価部１１１では、上記の長さＬの系列に含まれる値の分散値を求める。
【０２１０】
また、例えば、電子透かしの埋め込み及び検出が、特許文献１に示された電子透かし埋め込み方法及び検出方法に基づいている場合、透かし検出時ノイズ成分とは、埋め込み前信号１０５の周波数成分のうち、透かし鍵と所定の周波数範囲によって決まる埋め込み対象成分位置の周波数変換係数から得られる検出対象系列であり、特許文献１の電子透かし検出方法を埋め込み前信号１０５に適用し、検出対象系列を生成することで得られる。この場合、埋め込み前信号評価部１１１では上記検出対象系列に含まれる値の分散値を求める。
【０２１１】
また、例えば、電子透かしの検出が、フレーム内から選択されたブロックをＤＣＴ変換した結果のＤＣＴ係数行列の中の特定の位置のＤＣＴ係数から検出を行うようになされている場合には、埋め込み前信号１０５のブロックをＤＣＴ変換した結果のＤＣＴ係数行列の中の特定の位置のＤＣＴ係数値を取り出し、その分散値を求める。
【０２１２】
また、例えば、電子透かしの検出が、文献「山本基夫、汐崎陽、岩田基『フレーム間の類似性を利用した動画像用相関型電子透かし』SCIS2004,(2004年１月)」（以下文献２と記す）に示されているような埋め込み済み信号のフレーム間差分を利用するようになされている場合には、埋め込み前信号１０５のフレーム間差分に対しての評価を行って透かし検出時ノイズ成分の分散値を求める。フレーム間差分を用いるのは、一般に動画像においてはフレーム間の画像の相関が大きく、例えば、式（１６）における、
【０２１３】
【数４９】
2007053687.tif 000051
の項が大きくなるために検出評価値ρが小さくなるが、フレーム間差分をとることで、
【０２１４】
【数５０】
2007053687.tif 000052
の項の値が小さくなると共に、差分画像の分散も小さくなり、
【０２１５】
【数５１】
2007053687.tif 000053
の項も小さくなることで、検出評価値ρを大きくでき、その結果電子透かしの検出の信頼度を高くすることができるからである。
【０２１６】
ここではフレーム間差分を用いる例をあげたが、この他にも、例えばフレーム間差分の差分即ち、微分を用いてもよいし、より一般的には時間軸方向の畳み込み演算を施した信号に対しての分析を行うようにしてもよい。
【０２１７】
これら検出時ノイズ成分の算出は、個々の電子透かし埋め込み方法及び検出方法によって決まるものであり、上記の例に限定するものではない。
【０２１８】
さらに、埋め込み前信号評価部１１１は、透かし検出時ノイズ成分の、埋め込み前信号１０５の各フレーム間の共分散を求めるようにされていてもよい。これは前述のパターン加算型電子透かしのモデルにおける
【０２１９】
【数５２】
2007053687.tif 000054
に相当する。
【０２２０】
また、埋め込み前信号１０５の評価は、埋め込み前信号１０５のフレーム全体に対して行わずに、フレームを分割したブロック単位や、映像に映っているオブジェクトを単位とするなど、フレーム内の部分領域を単位に評価を行っても構わない。評価の単位については、本実施の形態に限らず、その他の実施の形態での埋め込み前信号の評価においても同様である。
【０２２１】
次に、上記のステップ１０３における多重度決定部１１２における多重度決定方法の例を説明する。
【０２２２】
多重度決定部１１２では、埋め込み前信号評価部１１１において得られた埋め込み前信号１０５の透かし検出時ノイズ成分と分散及び共分散値、検出性能目標１１４、画質劣化目標１１５とを用いて電子透かし埋め込みに使用するパラメータとしての多重度ｎを決定する。
【０２２３】
多重度の決定は、埋め込み前信号１０５の透かし検出時ノイズ成分と分散及び共分散値によって決まる検出評価値ρの理論的平均値を利用して行われる。
【０２２４】
例えば、前述の［６］検出性能目標に応じた埋め込み方式の制御で述べた条件１、乃至、条件２を満たすようにｎの値が決定される。
【０２２５】
すなわち、条件１の場合、図７において、入力された検出性能目標１１４をρ０、画質劣化目標１１５をβ０としたときに、（β０，ρ０）を通る方法２の曲線に対応するｎを求める。
【０２２６】
つまり、同期のとれない状況の透かし検出において、与えられた画質劣化目標β０での検出評価値が、与えられた検出性能目標ρ０と等しくなるように多重度ｎを決定する。
【０２２７】
また、条件２の場合、図８において、入力された検出性能目標１１４をρ０、画質劣化目標１１５をβ０としたときに、（β０、ρ０）を通る方法１の曲線に対応するｎを求める。
【０２２８】
つまり、同期のとれる状況の透かし検出において、与えられた画質劣化目標β０での検出評価値が、与えられた検出性能目標ρ０と等しくなるように多重度ｎを決定する。
【０２２９】
ここで、上記の条件に従って得られるｎの値が整数とならない場合、得られた値に最も近い整数値、得られた値を超えない最大の整数値、得られた値を超える最小の整数値のいずれかを多重度ｎとしてもよいし、実数値のｎをそのまま用いてもよい。
【０２３０】
図７及び図８の各グラフを表す曲線は、式（１５）及び式（１６）で表されているものである。
【０２３１】
また、埋め込み前信号評価部１１１において、フレーム内の部分領域を単位に評価を行っている場合、各評価結果に基づいて、フレーム内の部分領域毎に多重度ｎを決定するようにされていてもよい。
【０２３２】
また、実際の検出の際に、方法２のように完全な同期をとることができず、方法１と方法２の中間的な同期精度を持つような場合には、予め設計条件として電子透かしの検出時に期待できる同期精度を与え、与えられた同期精度に応じて取り得る検出性能値が最大となるような多重度を選択するようにしてもよい。
【０２３３】
次に、ステップ１０４における埋め込み強度決定部１１３による埋め込み強度決定の例について詳細に説明する。
【０２３４】
埋め込み強度決定部１１３では、多重度決定部１１２で得られた多重度及び、画質劣化目標１１５とを用いて電子透かし埋め込みに使用するパラメータとしての埋め込み強度αを決定する。
【０２３５】
埋め込み強度の決定は、電子透かしの多重度ｎと、電子透かしの埋め込み強度α、電子透かしの画質劣化βとの関係を利用して行われる。
【０２３６】
例えば、前述の［５］透かし多重度と画質劣化の関係に述べられている、式（１４）の関係を仮定し、多重度ｎ及び画質劣化目標１１５から対応する透かし強度αを次のように計算してもよい。
【０２３７】
【数５３】
2007053687.tif 000055
また、例えば、前述の［５］透かし多重度と画質劣化の関係に述べられている、式（１３）、あるいは式（１２）の関係を用い、さらに、埋め込み情報評価部１１１において得られた評価結果を用いて埋め込み強度αを次のように計算してもよい。
【０２３８】
【数５４】
2007053687.tif 000056
また、多重度決定部１１２において、フレーム内の部分領域を単位に多重度を決定している場合、部分領域毎に埋め込み強度αを決定するようにされていてもよい。
【０２３９】
次に、上記のステップ１０５の埋め込みパターン生成部１０２における、多重度に応じた埋め込みパターンの生成方法について詳細に説明する。
【０２４０】
埋め込みパターン生成部１０２では、多重度決定部１１２で決定した多重度ｎに従って、拡散パターンの合成を行い、さらに、埋め込みパターンを生成する。
【０２４１】
埋め込みパターン生成部１０２での埋め込みパターンの生成の手順は、前述の本発明の前提とする電子透かし装置８００における埋め込みパターン生成部８０２での埋め込みパターン生成の手順と同様であるが、下記の点が異なっている。
【０２４２】
・埋め込みパターン生成の際に、ｋ個の拡散パターンの中から選択する拡散パターンの個数を、多重度決定部１１２で決定した多重度ｎとする。
【０２４３】
・埋め込みパターンは、埋め込みパターン重畳部１０３において重畳される埋め込み前信号１０５の各フレーム毎に個別に生成される。すなわち、ｎ個の拡散パターンの選択を各フレーム毎に行い、埋め込まれるシンボルがフレーム毎に同一とはならないようにする。
【０２４４】
また、多重度決定手段１１２において多重度ｎが実数値として得られている場合には、フレームに埋め込まれるシンボルの数の期待値が値ｎと等しくなるような確率分布に従って、埋め込むシンボルを選択するようにしてもよい。以降の実施の形態において、実数値の多重度を取る場合も同様である。
【０２４５】
また、多重度決定部１１２において、フレーム内の部分領域を単位に多重度を決定している場合、部分領域毎に埋め込みパターンを生成するようにされていてもよい。
【０２４６】
本実施の形態の特徴は、前述の［６］検出性能目標に応じた埋め込み方式に述べたように、検出性能目標に応じた埋め込み方式の制御を行う点にある。複数の、あるいは、パラメータの変更の可能な電子透かし方式に対して、与えられた埋め込み前信号１０５に応じてどの方式がどれだけ優れているかを図６のグラフのように定量的に評価することで、期待する品質、性能を求める中で最適となる電子透かし埋め込み方式を制御することができている。
【０２４７】
［第２の実施の形態］
本実施の形態では、動きベクトル評価によるすりガラス抑制埋め込み制御について説明する。
【０２４８】
図１４は、本発明の第２の実施の形態における電子透かし埋め込み装置の構成例を示す。
【０２４９】
電子透かし埋め込み装置１１００の構成は、前述の本発明の前提とする電子透かし埋め込み装置の構成例（図９）に埋め込み前信号評価部１１１１を加えた構成をもつ。
【０２５０】
電子透かし埋め込み装置１１００による電子透かしの埋め込み処理は以下のような手順で実施される。
【０２５１】
図１５は、本発明の第２の実施の形態の動作のフローチャートである。
【０２５２】
ステップ２０１）  埋め込み情報分割部１１０１による埋め込み情報分割は図９の電子透かし埋め込み装置における埋め込み情報分割部８０１と同様である。
【０２５３】
ステップ２０２）  埋め込み前信号評価部１１１１において、埋め込み前信号の特性に対する評価を行う。評価の方法については後述する。
【０２５４】
ステップ２０３）  埋め込みパターン生成部１１０２において、埋め込み前信号評価部１１１１による評価結果に基づいて、埋め込みパターンの生成方法を制御して埋め込みパターンを生成する。埋め込みパターンの生成方法については後述する。
【０２５５】
ステップ２０４）  埋め込みパターン重畳部１１０３による埋め込み済み信号の生成は図９の電子透かし埋め込み装置における埋め込みパターン重畳部８０３と同様である。
【０２５６】
上記のステップ２０２における、埋め込み前信号評価部１１１１による埋め込み前信号評価方法について詳細に説明する。
【０２５７】
埋め込み前信号評価部１１１１では、埋め込み前信号１１０５を入力し、埋め込み前信号１１０５の動きベクトルを算出する。
【０２５８】
動きベクトル算出は、ＭＰＥＧ２、ＭＰＥＧ４，Ｈ．２６４／ＡＶＣなどの映像符号化技術で用いられているような既存の技術を用いることで容易に求めることができる。例えば、文献「大久保榮監修『Ｈ．２６４／ＡＶＣ教科書』株式会社インプレス（2004年８月）」（以下文献３と記す）には、Ｈ．２６４／ＡＶＣ符号化技術で用いられている動きベクトル算出について記載されている。但し、ここでは映像中の部位がどの方向にどの程度の速度で動きを持っているかを求める必要がある。
【０２５９】
ここで、「動きベクトル」という語を用いたが、映像に映されている事物の動きを表す情報、すなわち、映像に映されている被写体や映像上に表現された物体などの事物が、時間軸の推移に伴い空間上の位置がどのように変化しているかを表す情報であれば、どのような情報であっても構わない。方向と大きさを含む情報であってもよいし、大きさだけを表す情報であっても構わない。これは以降の実施の形態でも同様である。
【０２６０】
但し、方向を含めた情報を用いれば、後述する動きベクトルのばらけ具合をより的確に表す分散値を得られる。
【０２６１】
さらに、フレームの部位ごと、例えば、ブロック毎に求められた動きベクトルを集め、動きベクトルの大きさの平均及び、動きベクトルの分散値を求める。
【０２６２】
例えば、今対象とする埋め込み前信号のフレームの各ブロックの動きベクトルがｖ１→，ｖ２→，…，ｖｎ→で得られたとき、動きベクトルの大きさの平均ｍｖ、動きベクトルの分散値σｖ２を次のように定義してもよい。
【０２６３】
【数５５】
2007053687.tif 000057
とする。
【０２６４】
これらの式の形状は本発明の範囲を限定するものではなく、動きベクトルの絶対値としての大きさの程度と動きベクトルがどのくらいばらけているかの程度を評価できる値であれば他の計算式により求められるものであっても構わない。例えば、上記ｍｖの代わりに、動きベクトルの大きさの中央値を用いてもよいし、上記σｖ２の代わりに、各動きベクトルがＸ軸となす角θの分散値を用いてもよい。
【０２６５】
また、ここでは、フレーム全体に対して動きベクトルの大きさの平均及び動きベクトルの分散値を求めた。すなわち埋め込み前信号評価の単位がフレーム単位であったが、これ以外の単位で評価を行うようにしてもよい。例えば、フレーム内のブロック単位や、映像中に存在するオブジェクトの単位などのフレームの部分毎に、動きベクトルの大きさの平均、動きベクトルの分散値を求めてもよいし、あるいは、複数のフレームをまとめた全体に対して動きベクトルの大きさの平均、動きベクトルの分散値を求めてもよい。
【０２６６】
次に、上記のステップ２０３の埋め込みパターン生成部１１０２による動作を詳細に説明する。
【０２６７】
埋め込みパターン生成部１１０２は、すりガラス効果の抑制の度合いの異なる複数種類の埋め込みパターンを生成できる手段を備えている。
【０２６８】
例として、すりガラス効果抑制の度合いの異なる次の２種類の埋め込みパターンの生成手段を持っている場合を示す。
【０２６９】
１．埋め込み前信号の全てのフレームに対して共通の埋め込みパターンを生成する。
【０２７０】
２．埋め込み前信号のフレーム毎に異なる埋め込みパターンを生成する。
【０２７１】
上記の１．としては、例えば、本発明の前提となる電子透かし埋め込み装置８００において合成拡散パターンとしてｋ個すべての拡散パターンを含む合成拡散パターンを生成し、これから生成される埋め込みパターンを全てのフレームに共通に生成するものがある。
【０２７２】
上記２．としては、例えば、本発明の前提となる電子透かし埋め込み装置８００において、合成拡散パターンとして１つの拡散パターンのみを含む合成拡散パターンを生成し、含める拡散パターンを埋め込み信号のフレーム毎に順次切替えるようにされ、ｋフレームを周期にフレーム毎に異なる埋め込みパターンを生成するものがある。
【０２７３】
上記２．のその他の例として、合成拡散パターンに複数の拡散パターンが含まれるようにしつつフレーム毎に拡散パターンの含まれ方が異なるようにしてもよい。
【０２７４】
上記２．のその他の例として、上記１．で生成される埋め込みパターンをフレーム毎に位置をずらして埋め込むようにしておき、検出の際に位置ずれの量を推定して検出するようにされていてもよい。
【０２７５】
埋め込み前信号評価部１１１１で得られた動きベクトルの大きさの平均、動きベクトルの分散値に基づき、上記複数種類の埋め込みパターンの生成を次のように制御する。
【０２７６】
・動きベクトルの大きさの平均が小さいときにはすりガラス効果の抑制の度合いの小さな埋め込みパターン生成方法を用い、大きいときにはすりガラス効果の抑制の度合いの大きな埋め込みパターン生成方法を用いる。
【０２７７】
・動きベクトルの分散値が大きいときにはすりガラス効果の抑制の度合いの小さな埋め込みパターン生成方法を用い、小さいときにはすりガラス効果の抑制の度合いの大きな埋め込みパターン生成方法を用いる。
【０２７８】
例えば、埋め込みパターン生成部１１０２が上記１，２の２種類の埋め込みパターンの生成手段を備えている場合は、動きベクトルの大きさの平均が小さいとき、及び、動きベクトルの分散値が大きいときに上記１．の埋め込みパターン生成手段を用い、動きベクトルの大きさの平均が大きいとき、及び、動きベクトルの分散値が小さいときに上記２．の埋め込みパターン生成手段を用いる。
【０２７９】
上記のように埋め込みパターン生成方法を制御する理由を以下に示す。
【０２８０】
動きベクトルの大きさの平均が動きベクトルの大きさの平均が大きいとき、すなわち、映像が全体として動いているときは、固定の埋め込みパターンがすりガラス状に見えやすくなるのに対し、小さいときは、すなわち映像が全体として略静止しているときは、同じ埋め込みパターンが固定していてもすりガラスのようには見えにくくなる。
【０２８１】
また、動きベクトルの分散値が小さいとき、すなわち、映像が全体として同一の方向に動いているときは、固定の埋め込みパターンがすりガラス状に見えやすくなるのに対し、大きいとき、すなわち、映像が全体として様々な方向に動いているときは、同じ埋め込みパターンが固定していてもすりガラスのようには見えにくくなる。
【０２８２】
従って、すりガラス効果のおきやすい動きベクトルの大きさの平均が大きい映像や動きベクトルの分散値が小さい映像に対しては、すりガラス効果の抑制の度合いの大きい埋め込みパターン生成方法を用いることで、すりガラス効果を抑制し、画質劣化を防ぐ効果がある。
【０２８３】
上記の制御は、いずれか一方を単独で用いてもよいし、双方を組み合わせて制御を行ってもよい。例えば、動きベクトルの大きさの平均値ｍｖ及び動きベクトルの分散値σｖ２に対して
ｐ=ａｍｖ＋ｂσｖ２
を求め、ｐが所定の閾値を越えているかどうかで制御するようにされていてもよい。但し、ａ，ｂは予め決められた重み付けパラメータである。
【０２８４】
なお、ここでは２種類の埋め込みパターンの生成手段を備えていることを仮定したが、３種類以上の埋め込みパターンの生成手段を備えている場合は、上記のような閾値を複数設けて値の範囲によって埋め込みパターンの生成手段を切り替えるようにされていてもよい。
【０２８５】
本実施の形態の特徴は、埋め込み前信号１０５の動きベクトルを利用することで複数の電子透かし方式を切り替えており、複数の、あるいはパラメータの変更が可能な電子透かし方式に対して、与えられた埋め込み前信号１０５に応じてどの方式がどれだけ優れているかを定量的に評価し、期待する品質、性能を求める中で最適となる電子透かし埋め込み方式を制御することができている点にある。
【０２８６】
［第３の実施の形態］
本実施の形態では動きベクトル評価結果に基づいたシンボル多重度決定について説明する。
【０２８７】
図１６は、本発明の第３の実施の形態における電子透かし埋め込み装置の構成例を示す。
【０２８８】
電子透かし埋め込み装置１２００の構成は、前述の第２の実施の形態の電子透かし埋め込み装置１１００の埋め込みパターン生成部１１０２の代わりに、埋め込みパターン生成部１２０２及び多重度決定部１２１２とを備える構成を持つ。
【０２８９】
電子透かし埋め込み装置１２００による電子透かしの埋め込み処理は、前述の第２の実施の形態の電子透かし埋め込み装置１１００による電子透かし埋め込み処理における、埋め込みパターン生成部１１０２での処理を変更したものであり、以下のような手順で実施される。
【０２９０】
図１７は、本発明の第３の実施の形態における動作のフローチャートである。
【０２９１】
ステップ３０１）  埋め込み情報分割部１２０１による埋め込み情報分割は、図９の電子透かし埋め込み装置８００と同様である。
【０２９２】
ステップ３０２）  埋め込み前信号評価部１２１１における埋め込み前信号の特性に対する評価は、図１４の電子透かし埋め込み装置１１００における埋め込み前信号評価部１１１１と同様である。
【０２９３】
ステップ３０３）  多重度決定部１２１２において、埋め込み前信号評価部１２１１で得られた評価結果に基づき埋め込みパターンとしてどれだけの多重度で合成拡散パターンの生成を行うかを表す多重度を決定する。決定の方法については後述する。
【０２９４】
ステップ３０４）  埋め込みパターン生成部１２０２において、多重度決定部１２１２で決定した多重度に従って拡散パターンの合成を行い、合成拡散パターンを生成し、埋め込みパターンを生成する。多重度に応じた埋め込みパターンの生成方法は、第１の実施の形態の埋め込みパターン生成部１０２におけるものと同様である。
【０２９５】
ステップ３０５）  埋め込みパターン重畳部１２０３による埋め込みパターンの重畳は、図９の電子透かし埋め込み装置８００と同様である。
【０２９６】
次に、上記のステップ３０３における多重度決定部１２１２での多重度決定方法の例を説明する。
【０２９７】
多重度決定部１２１２では、埋め込み前信号評価部１２１１で得られた動きベクトルの大きさの平均、動きベクトルの分散値に基づき、次のように多重度を決定する。
【０２９８】
・動きベクトルの大きさの平均が大きいときには多重度を小さくし、小さいときには多重度を大きくする。
【０２９９】
・動きベクトルの分散値が大きいときには多重度を大きくし、小さいときには多重度を小さくする。
【０３００】
上記のように多重度を決定する理由を以下に示す。
【０３０１】
まず、多重度の大小とするすりガラス効果の程度の大小との関係について述べる。
【０３０２】
多重度が大きいときは、あるシンボルについてみたとき、埋め込み済み信号１２０６の所定の数のフレームの中で、該当するシンボルの含まれる埋め込みパターンが重畳されたフレームの割合が大きくなる。例えば、シンボルの総数がｋ、多重度がｎで、各フレームに重畳される埋め込みパターンに含まれるシンボルを、多重度ｎで一様にランダムに選択するとした場合、あるシンボルＳｉが含まれる埋め込みパターンが重畳されたフレームの、フレーム全体に対する割合は、ある埋め込みパターンに対してシンボルＳｉが含まれる確率と等しく、
【０３０３】
【数５６】
2007053687.tif 000058
となり、多重度ｎが大きければ上記割合が大きくなることがわかる。
【０３０４】
上記割合が大きいことは、注目しているシンボルに基づいて生成される埋め込みパターン中の画像成分が埋め込み済み信号１２０６中に現れている時間が相対的に大きくなることを表し、結果として、固定のパターンが見え続けるのと同義となる。よって、多重度の大小は、すりガラス効果の程度の大小との正の相関関係がある。
【０３０５】
次に、動きベクトルに関する評価値とすりガラス効果の程度の大小との関係について述べる。
【０３０６】
動きベクトルの大きさの平均が小さいとき、すなわち映像が全体としてほぼ静止しているときは、固定の埋め込みパターンが存在していても、映像自体も固定されているためにすりガラスのように見えにくくなる。
【０３０７】
一方、動きベクトルの大きさの平均が大きいとき、すなわち映像が全体として動いているときは、固定の埋め込みパターンがすりガラス状に見えやすくなる。
【０３０８】
また、動きベクトルの分散値が大きいとき、すなわち映像が全体として様々な方向に動いているときと、動きベクトルの分散値が小さいとき、すなわち映像が全体として同一の方向に動いているときとでは、後者の方が、固定の埋め込みパターンがよりすりガラス状に見えやすくなる。
【０３０９】
従って、上記のように多重度を決定することによって、すりガラス効果のおきやすい動きベクトルの大きさの平均が大きい映像に対しては、多重度を小さくすることですりガラス効果を抑制し、画質劣化を防ぐ効果がある。また、すりガラス効果のおきやすい動きベクトルの分散値が小さいときには多重度を小さくすることですりガラス効果を抑制し、画質劣化を防ぐ効果がある。
【０３１０】
実際の多重度ｎの決定においては、例えば、次のような式で多重度ｎを決定してもよい。
【０３１１】
【数５７】
2007053687.tif 000059
但し、ａ，ｂは予め決められた定数値である。
【０３１２】
ここで、上記の条件に従って得られるｎの値が整数とならない場合、得られた値に最も近い整数値、得られた値を超えない最大の整数値、得られた値を超える最小の整数値のいずれかを多重度ｎとしてもよいし、実数値のｎをそのまま用いてもよい。
【０３１３】
上記のように動きベクトルに関する評価値と画質劣化の程度の関連性を用いて電子透かしの埋め込みの制御を行うことは、すなわち、式（１２）において、Ｆが動きベクトルに関する評価値で決まるということを利用して制御していることを表す。
【０３１４】
【数５８】
2007053687.tif 000060
本実施の形態の特徴は、埋め込み前信号１０５の動きベクトルを利用して電子透かし埋め込みの多重度を求めており、複数の、あるいはパラメータの変更の可能な電子透かし方式に対して、与えられた埋め込み前信号１０５に応じてどの方式がどれだけ優れているかを定量的に評価し、期待する品質、性能を求める中で最適となる電子透かし埋め込み方式を制御することができている点にある。
【０３１５】
［第４の実施の形態］
本実施の形態では、検出性能目標に応じて動きベクトルを利用した埋め込みについて説明する。
【０３１６】
図１８は、本発明の第４の実施の形態における電子透かし埋め込み装置の構成例を示す。
【０３１７】
電子透かし埋め込み装置１３００の構成は、前述の第１の実施の形態の電子透かし埋め込み装置１００と略同様の構成を持っており、埋め込み前信号評価部１３１１、多重度決定部１３１２、埋め込み強度決定部１３１３とが異なる。
【０３１８】
電子透かし埋め込み装置１３００による電子透かしの埋め込み処理は、前述の第１の実施の形態の電子透かし埋め込み装置１００による電子透かし埋め込み処理における、埋め込み前信号評価部１３１１、多重度決定部１３１２、埋め込み強度決定部１３１３が変更されたものであり、前述の第３の実施の形態の電子透かし埋め込み装置１２００の埋め込み前信号評価部１２１１、多重度決定部１２１２の処理を取り入れたものとなっており、以下のような手順で実施される。
【０３１９】
図１９は、本発明の第３の実施の形態における動作のフローチャートである。
【０３２０】
ステップ４０１）  埋め込み情報分割部１３０１による埋め込み情報分割は、図９の電子透かし埋め込み装置８００と同様である。
【０３２１】
ステップ４０２）  埋め込み前信号評価部１３１１では、図１２の電子透かし埋め込み装置１００における埋め込み前信号評価部１１１と同様の手順により、埋め込み前信号１３０５の透かし検出時ノイズ成分の分散と各フレーム間の共分散を求める。また、図１４の電子透かし埋め込み装置１１００における埋め込み前信号評価部１１１１と同様に、埋め込み前信号１１０５の動きベクトルを算出し、ブロック毎に求められた動きベクトルを集め、動きベクトルの大きさの平均及び、動きベクトルの分散値を求める。
【０３２２】
ステップ４０３）  多重度決定部１３１２において、埋め込み前信号評価部１３１１で得られた評価結果に基づき、埋め込みパターンとしてどれだけの多重度で合成拡散パターンの生成を行うかを表す多重度を決定する。決定の方法については後述する。
【０３２３】
ステップ４０４）  埋め込み強度決定部１３１３において、多重度決定部１３１２で得られた多重度に基づき、埋め込みパターンをどれだけの強度で埋め込み前信号に重畳するかを表す埋め込み強度を決定する。決定の方法については後述する。
【０３２４】
ステップ４０５）  埋め込みパターン生成部１３０２において、多重度決定部１３１２で決定した多重度に従って拡散パターンの合成を行い、合成拡散パターンを生成し、埋め込みパターンを生成する。多重度に応じた埋め込みパターンの生成方法は、第１の実施の形態の埋め込みパターン生成部１０２におけるものと同様である。
【０３２５】
ステップ４０６）  埋め込みパターン重畳部１３０３における埋め込みパターンの重畳は、図１２の電子透かし埋め込み装置１００における埋め込みパターン重畳部１０３と同様である。
【０３２６】
次に、上記のステップ４０３における多重度決定部１３１２による多重度決定方法について詳細に説明する。
【０３２７】
多重度決定部１３１２では、埋め込み情報評価部１３１１において得られた埋め込み前信号１３０５の透かし検出時ノイズ成分と分散及び共分散値、動きベクトルの大きさの平均及び、動きベクトルの分散値、検出性能目標１３１４、画質劣化目標１３１５とを用いて電子透かし埋め込みに使用するパラメータとしての多重度ｎを決定する。
【０３２８】
多重度決定部１３１２での多重度決定の手順は、第１の実施の形態の多重度決定部１１２における多重度決定の手順と同様であるが、下記の点が異なっている。
【０３２９】
まず、予め動きベクトルに関する評価値を考慮した画質劣化情報βと検出評価値ρとの関係を下記のように求めておく。
【０３３０】
本発明の第２の実施の形態の多重度決定部１２１２での多重度決定において説明したように、動きベクトルに関する評価値と画質劣化の程度の間の関連性は次式で表される。
【０３３１】
【数５９】
2007053687.tif 000061
Ｆ´は、実在のコンテンツについての電子透かし埋め込みと画質の主観評価を行うことで実験的に求めることができる。
【０３３２】
式（５）、式（８）の関係と上記で得られたＦ´を用い、図７、図８の画質劣化と検出性能の関係を求めることができる。
【０３３３】
例えば、Ｆ´が次式のように近似できたとすれば、
【０３３４】
【数６０】
2007053687.tif 000062
方法１、方法２での画質劣化βと検出評価値ρの期待値の関係は次のようになる。
【０３３５】
【数６１】
2007053687.tif 000063
これを、図７及び図８のグラフと置き換えて考え、検出性能目標１３１４、画像劣化目標１３１５と上記の検出評価値ρの理論的平均値を利用して最適な重要度ｎを決定する。
【０３３６】
例えば、本発明の第１の実施の形態の多重度決定部１１２と同様に、前述の［６］検出性能目標に応じた埋め込み方式の制御で述べた条件１乃至条件２を満たすようにｎの値が決定される。
【０３３７】
すなわち、条件１の場合、入力された検出性能目標１３１４をρ０、画質劣化目標１３１５をβ０としたときに、（β０，ρ０）を通る方法２の曲線に対応するｎを求める。
【０３３８】
つまり、同期のとれない状況の透かし検出において、与えられた画質劣化目標情報β０での検出評価値が、与えられた検出性能目標ρ０と等しくなるように多重度ｎを決定する。
【０３３９】
また、条件２の場合、入力された検出性能目標１３１４をρ０、画質劣化目標１３１５をβ０としたときに、（β０，ρ０）を通る方法１の曲線に対応するｎを求める。
【０３４０】
つまり、同期のとれる状況の透かし検出において、与えられた画質劣化目標β０での検出評価値が、与えられた検出性能目標ρ０と等しくなるように多重度ｎを決定する。
【０３４１】
ここで、上記の条件に従って得られるｎの値が整数とならない場合、得られた値に最も近い整数値、得られた値を超えない最大の整数値、得られた値を超える最小の整数値のいずれかを多重度ｎとしてよいし、実数値のｎをそのまま用いてもよい。
【０３４２】
次に、ステップ４０４における埋め込み強度決定部１３１３による埋め込み強度決定の例を説明する。
【０３４３】
埋め込み強度決定部１３１３では、多重度決定部１３１２で得られた多重度及び、画質劣化目標１３１５とを用いて電子透かし埋め込みに使用するパラメータとしての埋め込み強度αを決定する。
【０３４４】
前述の式（１７）、式（１８）を用いて、さらに埋め込み前信号評価部１３１１において得られた評価結果を用いて透かし強度αを次のように計算する。
【０３４５】
【数６２】
2007053687.tif 000064
本実施の形態の特徴は、埋め込み前信号１３０５の動きベクトルの特徴に応じて、すりガラス効果による画質劣化の程度を、画質劣化目標以内に抑えつつ、目標の検出評価値を満たす最適な埋め込み方式の制御を行う点にある。
【０３４６】
上記の各実施の形態では、埋め込み前信号として動画像を対象として記載していたが、埋め込み前信号が所定の区間毎に区切ることのできる信号であれば、区間毎に電子透かしの埋め込みパターンを重畳する前述のパターン加算型電子透かしのモデルが適用可能であり、動画像固有の概念である動きベクトルを利用しない、第１の実施の形態のような形態であれば、本発明を適用することが可能である。
【０３４７】
映像以外の信号に適用する場合は、フレームの代わりに信号の所定の区間を単位として処理を行う。例えば、静止画像に対して、静止画像の１２８×１２８ピクセルのブロック毎に埋め込みパターンを重畳するようにすれば静止画像に対しての適用が可能であるし、音声に対して音声の６４msecの区間毎に埋め込みパターンを重畳するようにすれば、音声に対しての適用も可能である。ここであげた１２８×１２８ピクセル、６４msecといった数値の例は本発明の範囲を限定するものではなく任意の値であってよいことは言うまでもない。
【０３４８】
画像、映像以外の信号に適用する場合は、画質劣化の代わりにより一般的に人間の知覚にとってどれだけ信号が劣化しているかという観点での品質劣化に基づいて、品質劣化と埋め込み強度との関係を用いて処理を行う。
【０３４９】
また、動画像としての埋め込み前信号は、どのようなフォーマットであっても構わない。例えば、非圧縮のデジタル映像データであるＤ１，Ｄ４などのフォーマットであっても構わないし、圧縮符号化されたＭＰＥＧ１，ＭＰＥＧ２，ＭＰＥＧ４、Ｈ．２６４などのフォーマットであっても構わない。ＤＶＤやＨＤＤなどの記録媒体に記録された映像であっても構わない。また、ＮＴＳＣやＶＨＳビデオ等のようにアナログのフォーマットであっても、本発明の電子透かし埋め込み装置で電子透かしの埋め込みが可能なフォーマットに事前に変換されればどのようなフォーマットであっても構わない。
【０３５０】
なお、本発明は、図１２、図１４、図１６、図１８に示す電子透かし埋め込み装置の各要素の動作をプログラムとして構築し、電子透かし埋め込み装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【０３５１】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【０３５２】
本発明のディジタルコンテンツに電子透かしを埋め込む技術に適用可能である。
【図面の簡単な説明】
【０３５３】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】埋め込み強度を変化させたときの検出評価値のグラフである。
【図４】多重度nに対する式(４)の分母第二項のシミュレーション結果のグラフである。
【図５】埋め込み強度を変化させたときの検出評価値の実測値のグラフである。
【図６】画質劣化に対する検出評価値のグラフである。
【図７】画質劣化に対する検出評価値のグラフにおける検出性能目標(条件１)である。
【図８】画質劣化に対する検出評価値のグラフにおける検出性能目標(条件２)である。
【図９】本発明の前提とする電子透かし埋め込み装置の構成例である。
【図１０】シンボルの構成例である。
【図１１】埋め込みパターンのタイリングの例である。
【図１２】本発明の第１の実施の形態における電子透かし埋め込み装置の構成例である。
【図１３】本発明の第１の実施の形態における動作のフローチャートである。
【図１４】本発明の第２の実施の形態における電子透かし埋め込み装置の構成例である。
【図１５】本発明の第２の実施の形態における動作のフローチャートである。
【図１６】本発明の第３の実施の形態における電子透かし埋め込み装置の構成例である。
【図１７】本発明の第３の実施の形態における動作のフローチャートである。
【図１８】本発明の第４の実施の形態における電子透かし埋め込み装置の構成例である。
【図１９】本発明の第４の実施の形態における動作のフローチャートである。
【符号の説明】
【０３５４】
１００  電子透かし埋め込み装置
１０１、８０１，１１０１，１２０１，１３０１  埋め込み情報分割部
１０２，８０２，１１０２，１２０２，１３０２  埋め込みパターン生成手段、埋め込みパターン生成部
１０３，８０３，１１０３、１２０３，１３０３  埋め込みパターン重畳部
１０４、８０４，１１０４，１２０４，１３０４  埋め込み情報
１０５，８０５，１１０５，１２０５，１３０５  埋め込み前信号
１０６，８０６，１１０６，１２０６，１３０６  埋め込み済み信号
１１１，１１１１，１２１１，１３１１  埋め込み前信号評価手段、埋め込み前信号評価部
１１２、１２１２，１３１２  多重度決定部
１１３，１３１３  埋め込み強度決定部
１１４，１３１４  検出性能目標
１１５，１３１５  画質劣化目標
１２０  記憶手段
６０１，７０１  条件に該当する領域
８００，１１００，１２００，１３００  電子透かし埋め込み装置
１００１  埋め込みパターン
【図１】
2007053687.tif 000065
【図２】
2007053687.tif 000066
【図３】
2007053687.tif 000067
【図４】
2007053687.tif 000068
【図６】
2007053687.tif 000069
【図７】
2007053687.tif 000070
【図８】
2007053687.tif 000071
【図９】
2007053687.tif 000072
【図１０】
2007053687.tif 000073
【図１２】
2007053687.tif 000074
【図１３】
2007053687.tif 000075
【図１４】
2007053687.tif 000076
【図１５】
2007053687.tif 000077
【図１６】
2007053687.tif 000078
【図１７】
2007053687.tif 000079
【図１８】
2007053687.tif 000080
【図１９】
2007053687.tif 000081
【図５】
2007053687.tif 000082
【図１１】
2007053687.tif 000083