(57)【要約】【課題】アナログ処理後に画素ずれが生じても透かし情報を検出できる電子透かし技術を提供することを目的とする。【解決手段】映像信号から近傍フレームを抽出する近傍フレーム抽出ステップと、この近傍フレーム抽出ステップで抽出された近傍フレームのそれぞれ対応する領域の画素値を変更することにより電子透かし情報を埋め込む埋め込みステップと、この埋め込みステップで上記電子透かし情報が埋め込まれた映像信号を出力する出力ステップとを備えた。【選択図】      図１
2005012405.tif 000002
【特許請求の範囲】
【請求項１】
映像信号から近傍フレームを抽出する近傍フレーム抽出ステップと、この近傍フレーム抽出ステップで抽出された近傍フレームのそれぞれ対応する領域の画素値を変更することにより電子透かし情報を埋め込む埋め込みステップと、この埋め込みステップで上記電子透かし情報が埋め込まれた映像信号を出力する出力ステップとを備えた電子透かし埋め込み方法。
【請求項２】
前記埋め込みステップは、近傍フレーム抽出ステップで抽出された近傍フレームを領域分割し、それぞれの近傍フレームの上記分割した領域に対応する領域毎に画素値を変更することにより電子透かし情報を埋め込むことを特徴とする請求項１記載の電子透かし埋め込み方法。
【請求項３】
前記埋め込みステップは、近傍フレームの対応する画素の差分値の平均値が所定の大きさだけ増加あるいは減少するように、近傍フレーム全体の画素値を均一に変更することを特徴とする請求項１に記載の電子透かし埋め込み方法。
【請求項４】
前記埋め込みステップは、近傍フレームの対応する画素の差分値の平均値が所定の大きさだけ増加あるいは減少するように、近傍フレーム内の画素値を差分値の大きさに応じて重み付けして変更することを特徴とする請求項１に記載の電子透かし埋め込み方法。
【請求項５】
前記埋め込みステップは、近傍フレームの対応する画素の差分値の平均値が所定の大きさだけ増加あるいは減少するように、近傍フレーム内の画素値をフレーム内の特定領域ごとに重み付けして変更することを特徴とする請求項１に記載の電子透かし埋め込み方法。
【請求項６】
前記埋め込みステップは、近傍フレームの対応する画素の差分値の平均値が所定の大きさだけ増加あるいは減少するように、近傍フレーム内の画素値を画素値の大きさに応じて重み付けして変更することを特徴とする請求項１に記載の電子透かし埋め込み方法。
【請求項７】
前記領域分割ステップは、近傍フレームをそれぞれ等しく矩形に分割することを特徴とする請求項２に記載の電子透かし埋め込み方法。
【請求項８】
前記領域分割ステップは、近傍フレームをあらかじめ決めてある領域に等しく分割することを特徴とする請求項２に記載の電子透かし埋め込み方法。
【請求項９】
前記領域分割ステップは、近傍フレームを差分値に応じて等しく分割することを特徴とする請求項２に記載の電子透かし埋め込み方法。
【請求項１０】
前記署名埋め込みステップは、近傍フレームの対応する分割領域内の画素の差分値の平均値が所定の大きさだけ増加あるいは減少するように、近傍フレームの分割領域内画素値を均一に変更することを特徴とする請求項２に記載の電子透かし埋め込み方法。
【請求項１１】
前記署名埋め込みステップは、近傍フレームの対応する分割領域内の画素の差分値の平均値が所定の大きさだけ増加あるいは減少するように、近傍フレームの分割領域内画素値を差分値の大きさに応じて重み付けして変更することを特徴とする請求項２に記載の電子透かし埋め込み方法。
【請求項１２】
前記署名埋め込みステップは、近傍フレームの対応する分割領域内の画素の差分値の平均値が指定された大きさだけ増加あるいは減少するように、近傍フレームの分割領域内画素値を分割領域ごとに重み付けして変更することを特徴とする請求項２に記載の電子透かし埋め込み方法。
【請求項１３】
前記署名埋め込みステップは、近傍フレームの対応する分割領域内の画素の差分値の平均値が指定された大きさだけ増加あるいは減少するように、近傍フレームの分割領域内画素値を画素値の大きさに応じて重み付けして変更することを特徴とする請求項２に記載の電子透かし埋め込み方法。
【請求項１４】
映像信号から近傍フレームを抽出する近傍フレーム抽出ステップと、この近傍フレーム抽出ステップで抽出された近傍フレームの差分画像を生成する差分画像生成ステップと、この差分画像生成ステップで生成された差分画像の平均画素値を計算する差分画像平均画素値計算ステップと、差分画像平均画素値計算ステップで計算された平均画素値に基き、埋め込まれた電子透かし情報を検出する電子透かし情報検出ステップとを備えた電子透かし検出方法。
【請求項１５】
前記差分画像平均画素値計算ステップは、前記差分画像生成ステップで生成された差分画像を領域分割し、それぞれの分割領域内の平均画素値を計算するとともに、前記電子透かし情報検出ステップは、前記各分割領域毎の平均画素値に基き、埋め込まれた電子透かし情報を検出することを特徴とする電子透かし検出方法。
【請求項１６】
前記差分画像平均画素値計算ステップにおいて、差分画像を矩形に分割することを特徴とする請求項１５に記載の電子透かし検出方法。
【請求項１７】
前記差分画像平均画素値計算ステップにおいて、差分画像をあらかじめ決めてある領域に分割することを特徴とする請求項１５に記載の電子透かし検出方法。
【請求項１８】
前記差分画像平均画素値計算ステップにおいて、差分画像中の各画素の差分値に応じて差分画像を分割することを特徴とする請求項１５に記載の電子透かし検出方法。
【請求項１９】
前記電子透かし情報検出ステップは、前記差分画像平均画素値計算ステップにおいて計算された複数の平均画素値から、それらの平均値を計算し、その平均値に基き、埋め込まれた電子透かし情報を検出することを特徴とする請求項１４または１５いずれかに記載の電子透かし検出方法。
【請求項２０】
前記電子透かし情報検出ステップは、前記差分画像平均画素値計算ステップにおいて計算された複数の平均画素値のうち、値の大きい方から所定数の平均画素値および値の小さい方から所定数の平均画素値除いた平均画素値の平均値を計算し、その平均値に基き、埋め込まれた電子透かし情報を検出することを特徴とする請求項１４または１５いずれかに記載の電子透かし検出方法。
【請求項２１】
映像信号から近傍フレームを抽出する近傍フレーム抽出ステップと、この近傍フレーム抽出ステップで抽出された近傍フレームのそれぞれ対応する領域の画素値を変更することにより電子透かし情報を埋め込む埋め込みステップと、この埋め込みステップで上記電子透かし情報が埋め込まれた映像信号を出力する出力ステップとを実行させるための電子透かし埋め込みプログラム。
【請求項２２】
映像信号から近傍フレームを抽出する近傍フレーム抽出ステップと、この近傍フレーム抽出ステップで抽出された近傍フレームの差分画像を生成する差分画像生成ステップと、この差分画像生成ステップで生成された差分画像の平均画素値を計算する差分画像平均画素値計算ステップと、差分画像平均画素値計算ステップで計算された平均画素値に基き、埋め込まれた電子透かし情報を検出する電子透かし情報検出ステップとを実行させるための電子透かし検出プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えば映像の著作権管理などを目的として、映像データに他の情報（署名等の透かし情報）を秘匿する電子透かし技術に関し、特に透かし情報の埋め込み方法および検出方法に関する。
【０００２】
【従来の技術】
例えば、画像からランダムに２点を選び、その差の期待値が０となることを利用して署名を埋め込む方法がある。
【０００３】
【特許文献１】
Ｗ．  Ｂｅｎｄｅｒ  ｅｔ．ａｌ，  ”Ｔｅｃｈｎｉｑｕｅｓ  ｆｏｒ  ｄａｔａ  ｈｉｄｉｎｇ，”  ＩＢＭ  ｓｙｓｔｅｍｓ  ｊｏｕｒｎａｌ，  ｖｏｌ．３５，  ｎｏ．３−４，  ｐｐ．３１３−３３６，  １９９６．
【０００４】
【発明が解決しようとする課題】
上記従来の技術では、画像のアナログ処理などにより画素ずれが生じ、署名の埋め込み時と検出時とで画素位置が異なると、原理的に署名を検出困難になる。
従来の電子透かし技術は、ほとんどの場合、切り取り、回転などの幾何学的変換や、非可逆符号化などの信号処理を用いるものであり、デジタル画像を想定したものであった。そのため、従来の技術ではアナログ処理によって画素ずれが生じた後も検出可能とするような対応が不十分である。
しかし、画像の複製はデジタル的なものだけではない。例えば、２００２年のアナログＶＴＲの出荷台数は４７０万台であり、ＤＶＤプレーヤーの出荷台数を上回っている。このような環境の中で、例えば著作権保護を確実に行うには、アナログ複製に対する十分な対策が必要である。
この発明は上記のような問題点を解決するためになされたもので、アナログ処理後に画素ずれが生じても透かし情報を検出できる電子透かし技術を提供することを目的とする。
【０００５】
【課題を解決するための手段】
この発明に関わる電子透かし埋め込み方法は、映像信号から近傍フレームを抽出する近傍フレーム抽出ステップと、この近傍フレーム抽出ステップで抽出された近傍フレームのそれぞれ対応する領域の画素値を変更することにより電子透かし情報を埋め込む埋め込みステップと、この埋め込みステップで上記電子透かし情報が埋め込まれた映像信号を出力する出力ステップとを備えたものである。
【０００６】
また、この発明に係わる電子透かし検出方法は、映像信号から近傍フレームを抽出する近傍フレーム抽出ステップと、この近傍フレーム抽出ステップで抽出された近傍フレームの差分画像を生成する差分画像生成ステップと、この差分画像生成ステップで生成された差分画像の平均画素値を計算する差分画像平均画素値計算ステップと、差分画像平均画素値計算ステップで計算された平均画素値に基き、埋め込まれた電子透かし情報を検出する電子透かし情報検出ステップとを備えたものである。
【０００７】
【発明の実施の形態】
実施の形態１．
図１はこの発明の実施の形態１である電子透かしの埋め込み方法を示すフローチャートである。
図において、１０は映像を入力するステップ、１１は入力された映像から近傍するフレームとして、隣接する２つのフレームを抽出するステップ、１２はステップ１１で抽出した２つのフレームの画素値を変更することによりすかし情報としての署名を埋め込むステップ、１３は署名を埋め込んだ映像を出力するステップである。
【０００８】
次に動作について説明する。
ステップ１１では、ステップ１０で入力された映像から隣接する２つのフレームを繰り返し順番に抽出する。このとき、あらかじめ抽出するフレームの順番を固定する。すなわち、最初に奇数フレームを抽出してから次の偶数フレームを抽出する、あるいは最初に偶数フレームを抽出してから次の奇数フレームを抽出する、などである。こうすることにより、ステップ１１において同じフレームが２回以上抽出されないようにする。
【０００９】
ステップ１２では、ステップ１１で抽出した２つの隣接フレームのそれぞれ対応する領域の画素値を均一に変更することにより署名を埋め込む。すなわち、隣接する２つのフレームを前フレームと後フレームと呼ぶとき、前フレームのすべての画素値に−δを加算し、後フレームのすべての画素にδを加算する。
ここで、画素値とは、例えば各画素の輝度信号の値のことである。画素値としては、輝度信号以外でも、例えば、Ｃｂ・Ｃｒ（色差信号）、あるいは、ＲＧＢ方式における赤成分（Ｒ）・緑成分（Ｇ）・青成分（Ｂ）の各信号などでもよいし、明度・色相・彩度に分ける方式（ＨＳＶ方式）などの各信号値でもよい。
【００１０】
図５は、ステップ１２において２つの隣接フレーム画素値を変更する前後における、隣接フレーム間差分画像画素平均値の変化確率分布を示す説明図である。２つの隣接フレーム画素値を変更する前では、隣接フレーム間差分画像の画素平均値の確率分布は点線で示された分布５０の位置にある。
前フレームのすべての画素値に−δを加算し、後フレームのすべての画素にδを加算すると、隣接フレーム間差分画像の画素平均値の確率分布は実線で示された分布５１あるいは５２の位置に移動する。分布５１に移動するか、分布５２に移動するかは、δ（符号）の値に依存する。例えば、前記差分値の計算を、（後フレームの画素値−前フレームの画素値）で行うこととし、仮にδの値を＋１としたときには、隣接フレーム間差分画像の画素平均値の確率分布は分布５１の位置に移動する。δの値を−１としたときには、隣接フレーム間差分画像の画素平均値の確率分布は分布５２の位置に移動する。
【００１１】
従って、埋め込みたい署名にδの値（符号）を対応させて隣接フレーム間差分画像の画素平均値の確率分布を移動することにより、２つの値で表される署名を埋め込むことができる。このとき、隣接フレーム双方に少しずつ（δずつ）変化を与えて差分２δを得るようにすることで、もとの映像の画質劣化を抑えている。
【００１２】
また、ステップ１２においてフレームの画素値を均一に変更するのではなく、フレーム間差分画像画素値の大きさに応じて重み付けして変更してもよい。ただしその場合でも、隣接フレーム間差分画像の画素平均値の確率分布は均一に変更した場合と同様、図５における実線で示された分布５１あるいは５２の位置に移動するように重み付けをおこなう。
これにより署名埋め込み後の画質劣化を抑えつつ、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で署名を埋め込むことができる。
【００１３】
また、ステップ１２においてフレームの画素値を均一に変更するのではなく、たとえば画像内に存在するオブジェクトを抽出して得た領域など、特定領域ごとに重み付けして変更してもよい。ただしその場合でも、隣接フレーム間差分画像の画素平均値の確率分布は均一に変更した場合と同様、図５における実線で示された分布５１あるいは５２の位置に移動するように重み付けをおこなう。
画質劣化が目立たないオブジェクトの重み付けを大きくすることなどにより、署名埋め込み後の画質劣化を抑えつつ、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で署名を埋め込むことができる。
【００１４】
また、ステップ１２において、フレームの画素値を均一に変更するのではなく、たとえば乱数などでフレーム間差分画像の特定の位置を指定し、当該位置の画素に対しては重み付けを大きくして画素値を変更し、それ以外の画素に対しては重み付けを小さくして画素値を変更してもよい。
これにより、埋め込み時に使用した乱数を知らない者は情報の埋め込み位置の特定が困難になるため、故意に埋め込み情報を消失させるあるいは改変することが困難になるという効果がある。
【００１５】
以上のように、本実施の形態１によれば、入力された映像から隣接２フレームを抽出し、隣接フレームの画素値を変更してフレーム間差分画像画素平均値の変化確率分布を移動することにより署名を埋め込むようにしたので、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で署名を埋め込むことができる。
すなわち、画素の一つ一つの値ではなく、総体的な画素値の変更状態として電子透かし情報を埋め込むため、アナログ処理などによって画素ずれが生じても総体的な画素値の変更状態に対する影響は許容範囲内にとどまるため、電子透かし情報の検出が可能である。画素値の変更を小さく抑えることにより映像の劣化を抑えることができる。
【００１６】
実施形態２．
以上の実施形態１では、映像から隣接フレームを抽出し、隣接フレームの画素値を変更してフレーム間差分画像画素平均値の変化確率分布を移動することにより署名を埋め込むようにしたものであるが、次に隣接フレームをそれぞれ同様に領域分割した上で、対応する隣接フレームの領域ごとに隣接フレームの画素値を変更して当該領域ごとのフレーム間差分画素平均値の変化確率分布を移動することにより署名を埋め込む実施形態を示す。
【００１７】
図２はこの発明の実施の形態２である電子透かしの埋め込み方法を示すフローチャートである。
図において、２０は映像を入力するステップ、２１は入力された映像から隣接する２つのフレームを抽出するステップ、２２はステップ２１で抽出した２つのフレームを等しく領域分割するステップ、２３はステップ２２で分割した領域ごとにステップ２１で抽出した２つのフレームの画素値を変更することにより署名を埋め込むステップ、２４は署名を埋め込んだ映像を出力するステップである。
すなわち、署名埋め込みステップを、フレーム領域分割するステップ２２と、分割した領域ごとに画素値を変更することにより署名を埋め込むステップ２３とで構成したものである。
【００１８】
次に動作について説明する。
ステップ２１は実施の形態１におけるステップ１１と同様に動作する。したがって、ステップ２１では隣接する２つのフレームを繰り返し順番に抽出される。
【００１９】
ステップ２２では、ステップ１１で抽出した２つの隣接フレームをそれぞれ等しく矩形に分割する。ここで、矩形の大きさや位置は２つの隣接フレーム間で等しく指定されればよく、そのため、矩形の大きさや位置をあらかじめ固定しておいてもよいし、隣接フレーム間差分画像の画素値に応じて動的に分割してもよいし、その他の規則にしたがって動的に変更してもよい。
【００２０】
ステップ２３では、ステップ２２で分割したそれぞれの領域について、対応する隣接フレームの領域ごとに隣接フレームの画素値を均一に変更することにより署名を埋め込む。これにより、実施の形態１での説明と同様、当該領域内の隣接フレーム間差分画像の画素平均値の確率分布は、図５において、前フレームのすべての画素値に−δを加算し、後フレームのすべての画素にδを加算すると、隣接フレーム間差分画像の画素平均値の確率分布は点線で示された分布５０の位置から実線で示された分布５１あるいは５２の位置に移動する。
【００２１】
また、ステップ２３においてフレームの画素値を均一に変更するのではなく、フレーム間差分画像画素値の大きさに応じて重み付けして変更してもよい。ただしその場合でも、当該領域内の隣接フレーム間差分画像の画素平均値の確率分布は均一に変更した場合と同様、図５における実線で示された分布５１あるいは５２の位置に移動するように重み付けをおこなう。
【００２２】
また、ステップ２３においてフレームの画素値を均一に変更するのではなく、たとえば画像内に存在するオブジェクトを抽出して得た領域など、特定領域ごとに重み付けして変更してもよい。ただしその場合でも、当該領域内の隣接フレーム間差分画像の画素平均値の確率分布は均一に変更した場合と同様、図５における実線で示された分布５１あるいは５２の位置に移動するように重み付けをおこなう。
【００２３】
したがって、本実施の形態２によれば、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームをそれぞれ等しく分割し、分割したそれぞれの領域について、対応する隣接フレームの領域ごとに隣接フレームの画素値を変更することにより署名を埋め込むようにしたので、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で複数ビットの署名を埋め込むことができる。
【００２４】
実施形態３．
以上の実施形態１および実施形態２では、署名の埋め込み方法を示したが、次に実施の形態１および実施の形態２で埋め込んだ署名の検出方法について示す。
【００２５】
図３はこの発明の実施の形態３である電子透かしの検出方法を示すフローチャートである。
図において、３０は映像を入力するステップ、３１は入力された映像から隣接する２つのフレームを抽出するステップ、３２はステップ３１で抽出した２つのフレームから差分画像を生成するステップ、３３はステップ３２で生成した差分画像の平均画素値を計算するステップ、３４はステップ３３で計算した差分画像の平均画素値を使って埋め込まれた署名を検出するステップである。
【００２６】
ステップ３１では、ステップ３０で入力された映像から隣接する２つのフレームを繰り返し順番に抽出する。このとき、あらかじめ抽出するフレームの順番を署名の埋め込み時に決めた順番と同様に固定する。すなわち、最初に奇数フレームを抽出してから次の偶数フレームを抽出する、あるいは最初に偶数フレームを抽出してから次の奇数フレームを抽出する。
【００２７】
ステップ３２では、ステップ３１で抽出した２つの隣接フレームから差分画像を生成する。
【００２８】
ステップ３３では、ステップ３２で生成した差分画像の平均画素値を計算する。
【００２９】
ステップ３４では、ステップ３３で計算した平均値を使って埋め込まれた情報を検出する。ステップ３１で抽出した隣接する２つのフレームを前フレームと後フレームと呼ぶことにすれば、署名が埋め込まれていない隣接２フレームの差分画像の平均値は、前フレームの平均値と後フレーム平均値との差分に等しい。一般的に映像における隣接フレームの相関は高いため、前フレームの平均値と後フレーム平均値との差分、すなわち、差分画像の平均値は値０付近で変動する。しかしながら、実施の形態１および実施の形態２での署名の埋め込みの説明において図５を使って説明したとおり、署名を埋め込むことにより差分画像の平均値は値２δ付近で変動するように操作されている。そのため、たとえばしきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ３３で計算した平均値の符号が正ならば“１”、負ならば“０”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定することにより、１ビットの署名の検出が可能である。
【００３０】
すなわち、差分画像の平均値の絶対値が、しきい値δの絶対値より大きいときは情報（署名）の埋めこみ有りであり、しきい値δの絶対値より小さいときは情報（署名）の埋めこみ無しである。情報（署名）の埋めこみ有りの場合、平均値の符号が正ならば“１”、負ならば“０”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定することにより、１ビットの署名の検出が可能である。なお、平均値の符号がと“１”／“０”との関係を逆とすることも可能であり、埋め込み時に前後フレームの画素値への変更のしかたや、差分画像の計算のしかたに対応して設定すればよい。
【００３１】
したがって、本実施の形態３によれば、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“１”、負ならば“０”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、１ビットの署名の検出が可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができる。
【００３２】
実施の形態４．
以上の実施の形態３では、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“１”、負ならば“０”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、１ビットの署名の検出を可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができるようにしたものであるが、次に複数ビットの署名が埋め込まれている場合に署名を検出する実施形態を示す。
【００３３】
図４はこの発明の実施の形態４である電子透かしの検出方法を示すフローチャートである。
図において、４０は映像を入力するステップ、４１は入力された映像から隣接する２つのフレームを抽出するステップ、４２はステップ４１で抽出した２つのフレームから差分画像を生成するステップ、４３はステップ４２で抽出した差分画像を領域分割するステップ、４４はステップ４３で分割した領域ごとに領域内の画素値の平均値を計算するステップ、４５はステップ４４で計算した平均値を使って埋め込まれた署名を領域ごとに検出するステップである。
【００３４】
ステップ４１とステップ４２はそれぞれ、実施の形態３におけるステップ３１とステップ３２と同様に動作する。したがって、ステップ４２の出力では、隣接２フレームの差分画像が得られる。
【００３５】
ステップ４３では、ステップ４２で出力された差分画像を矩形に領域分割する。ここで、矩形の大きさや位置は埋め込み時に指定したものと同一とする。
【００３６】
また、ステップ４３において、矩形に領域分割するのではなく、あらかじめ決めてある任意の領域に分割することにしてもよい。この場合も、領域の大きさや位置など個々の領域を定めるパラメータは埋め込み時に指定したものと同一とする。
【００３７】
また、ステップ４３において、矩形に領域分割するのではなく、差分値の値に応じて動的に領域分割することにしてもよい。たとえば、差分値が−２５５から２５５の整数値をとるとき、−２５５から−１２８の範囲に属する画素を１つの領域、−１２７から−１の範囲に属する画素を１つの領域、０から１２７の範囲に属する画素を１つの領域、１２８から２５５の範囲に属する画素を１つの領域とした、４つの領域に分割するなどである。
【００３８】
ステップ４４では、ステップ４３で分割したそれぞれの領域について、領域内の平均画素値を計算する。
【００３９】
ステップ４５では、ステップ４４で計算した平均値を使って埋め込まれた情報を検出する。ステップ４１で抽出した隣接する２つのフレームを前フレームと後フレームと呼ぶことにすれば、署名が埋め込まれていない隣接２フレームの差分画像におけるステップ４３で分割したそれぞれの領域内の平均値は、前フレームの各当該領域内平均画素値と後フレーム各当該領域内平均値との差分に等しい。一般的に映像における隣接フレームの相関は高いため、前フレームにおける各当該領域内平均画素値と後フレーム各当該領域内平均画素値との差分、すなわち、各当該領域の差分画像の平均値は値０付近で変動する。しかしながら、実施の形態１および実施の形態２での署名の埋め込みの説明において図５を使って説明したとおり、署名を埋め込むことにより差分画像の平均値は値２δ付近で変動するように操作されている。そのため、たとえばしきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ４４で計算した平均値の符号が正ならば“１”、負ならば“０”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出が可能である。
【００４０】
したがって、本実施の形態４によれば、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームから差分画像を生成し、生成した差分画像を領域分割し、分割した各領域の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“１”、負ならば“０”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出が可能であるようにしたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で複数ビットの署名を検出することができる。
【００４１】
実施の形態５．
上記実施の形態３では、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“１”、負ならば“０”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、１ビットの署名を検出を可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができるようにしたものであるが、次に当該平均画素値の平均値を検出に使うことによって、アナログ処理などによって画素ずれが生じてもその影響をさらに受けにくい形態で署名を検出する実施形態を示す。
【００４２】
図６はこの発明の実施の形態５である電子透かしの検出方法を示すフローチャートである。
図において、６０は映像を入力するステップ、６１は入力された映像から隣接する２つのフレームを抽出するステップ、６２はステップ６１で抽出した２つのフレームから差分画像を生成するステップ、６３はステップ６２で生成した差分画像の平均画素値を計算するステップ、６４はステップ６３で計算した平均画素値の平均値を計算するステップ、６５はステップ６４で計算した平均値を使って埋め込まれた署名を検出するステップである。
【００４３】
ステップ６１からステップ６３まではそれぞれ、実施の形態３におけるステップ３１からステップ３３と同様に動作する。したがって、ステップ６３の出力では、隣接２フレームの差分画像の平均画素値が得られる。
【００４４】
ステップ６４では、ステップ６３で得られた平均画素値を連続複数個使い、平均画素値の平均値を計算する。平均画素値の平均値を計算するために使う平均画素値の個数については、埋め込み時の埋め込み周期や画像の性質に応じて決定するが、ここでは説明のため、１５個の連続する平均画素値を使って平均画素値の平均値を計算することとする。
【００４５】
すなわち、ステップ６４において、連続する平均画素値として、０．８、０．９、０．７、１．２、１．４、０．４、０．９、０．８、０．４、１．０、１．４、０．７、０．８、０．２、０．４の１５個の値が得られたとする。このときの平均画素値の平均値は約０．８となる。つまり、ステップ６４で得られた平均画素値の平均値は０．８である。
【００４６】
ステップ６５では、ステップ６４で計算した平均値を使って埋め込まれた情報を検出する。ステップ６５は実施の形態３におけるステップ３４と同様に動作する。すなわち、しきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ６４で計算した平均値の符号が正ならば“１”、負ならば“０”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定する。ここで、説明のためδ＝０．５と仮定すると、ステップ６４で計算した値０．８は符号が正であり、当該平均値の絶対値がδの絶対値より大きいため、署名として“１”を検出することになる。
【００４７】
したがって、本実施の形態５によれば、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、平均画素値の平均値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“１”、負ならば“０”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、１ビットの署名の検出が可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができる。また、途中生成する差分画像の平均画素値にぶれが生じる場合にも、本実施の形態では平均画素値の平均値を計算することにより差分画像の平均画素値にぶれを吸収することができるので、実施の形態３では署名を誤検出してしまう場合にも、本実施の形態では正しく署名を検出することが可能になる。
【００４８】
実施の形態６．
以上の実施の形態５では、途中生成する差分画像の平均画素値にぶれが生じる場合にも、平均画素値の平均値を計算することにより差分画像の平均画素値にぶれを吸収することができるので、実施の形態３では署名を誤検出してしまう場合にも、正しく署名を検出することが可能になるようにしたものであるが、次に当該平均画素値を降順あるいは昇順に並べ替えたのち、両端から指定数分の要素を取り除いた上で残った要素の平均値を計算し、その平均値を使って埋め込まれた署名を判定する実施形態を示す。
【００４９】
図７はこの発明の実施の形態６である電子透かしの検出方法を示すフローチャートである。
図において、７０は映像を入力するステップ、７１は入力された映像から隣接する２つのフレームを抽出するステップ、７２はステップ７１で抽出した２つのフレームから差分画像を生成するステップ、７３はステップ７２で生成した差分画像の平均画素値を計算するステップ、７４はステップ７３で計算した平均画素値をソートして降順あるいは昇順に並び替えるステップ、７５はステップ７４で並び替えた要素リストの両端から指定数分の要素を取り除くステップ、７６はステップ７５の処理後に残った要素についてそれらの平均値を計算するステップ、７７はステップ７６で計算した平均値を使って埋め込まれた署名を検出するステップである。
【００５０】
ステップ７１からステップ７３まではそれぞれ、実施の形態５におけるステップ６１からステップ６３と同様に動作する。したがって、ステップ７３の出力では、隣接２フレームの差分画像の平均画素値が得られる。
【００５１】
ステップ７４では、ステップ７３で得られた平均画素値を連続複数個使い、ソートして降順あるいは昇順に並べ替える。ソートするために使用する平均画素値の個数については、埋め込み時の埋め込み周期や画像の性質に応じて決定するが、ここでは説明のため、実施の形態５と同様に１５個の連続する平均画素値を使うこととする。
【００５２】
すなわち、ステップ７４において、連続する平均画素値として、０．８、０．９、０．７、１．２、１．４、０．４、０．９、０．８、０．４、−２６．０、１．４、０．７、０．８、０．２、０．４の１５個の値が得られたとする。このとき、これらの平均画素値をソートして降順に並び替えると、１．４、１．４、１．２、０．９、０．９、０．８、０．８、０．８、０．７、０．７、０．４、０．４、０．４、０．２、−２６．０となる。
【００５３】
ステップ７５では、ステップ７４でソートして得られた平均画素値リストの両端から、指定数分の画素値要素を除外する。ここでは、降順に並べられたリスト中の１５個の要素のうち、値の大きいほうから３つの要素、値の小さいほうから４つの要素を除外すると仮定して説明する。すなわち、降順に並べられたリストは、１．４、１．４、１．２、０．９、０．９、０．８、０．８、０．８、０．７、０．７、０．４、０．４、０．４、０．２、−２６．０であるから、値の大きいほうから３つの要素、値の小さいほうから４つの要素を除外すると、０．９、０．９、０．８、０．８、０．８、０．７、０．７、０．４の８つの要素が残ることになる。
【００５４】
ステップ７６では、ステップ７５における残りの要素について、それらの平均値を計算する。すなわち、残りの要素は０．９、０．９、０．８、０．８、０．８、０．７、０．７、０．４の８つの要素であるから、これらの要素から平均値を計算すると、０．７５となる。
【００５５】
ステップ７７では、ステップ７６で計算した平均値を使って埋め込まれた情報を検出する。ステップ７７は、実施の形態５におけるステップ６５と同様に動作する。すなわち、しきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ７６で計算した平均値の符号が正ならば“１”、負ならば“０”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定する。ここで、説明のためδ＝０．５と仮定すると、ステップ７６で計算した値０．７５は符号が正であり、当該平均値の絶対値がδの絶対値より大きいため、署名として“１”を検出することになる。
【００５６】
ところで、ステップ７５においてソートして得られた平均画素値リストの両端から、指定数分の画素値要素を除外しない場合は、ステップ７６で単純にすべての１５要素を使って平均を計算することになり、これは実施の形態５と同様になるが、その場合の平均値は−１．０となる。そのため、ステップ７７においてδ＝０．５と仮定すると、ステップ７６で計算した値−１．０は符号が負であり、当該平均値の絶対値がδの値より大きいため、署名として“０”を検出することになってしまう。これは要素の中に−２６．０という特異値が含まれるためである。
【００５７】
したがって、本実施の形態６によれば、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、平均画素値をソートして降順あるいは昇順に並び替え、並び替えたリストの両端から指定数分の要素を取り除き、残った要素についてそれらの平均値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“１”、負ならば“０”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、１ビットの署名の検出が可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができる。また、たとえばシーンチェンジなどの影響で途中生成する差分画像の平均画素値に特異値が生じた場合にも、本実施の形態では平均画素値をソートして降順あるいは昇順に並び替え、並び替えたリストの両端から指定数分の要素を取り除き、残った要素についてそれらの平均値を計算することにより特異値の影響を除外するようにしているので、実施の形態５では署名を誤検出してしまう場合にも、本実施の形態では正しく署名を検出することが可能になる。
【００５８】
実施の形態７．
以上の実施の形態４では、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームから差分画像を生成し、生成した差分画像を領域分割し、分割した各領域の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“１”、負ならば“０”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出が可能であるようにしたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができるようにしたものであるが、次に当該平均画素値の平均値を検出に使うことによって、アナログ処理などによって画素ずれが生じてもその影響をさらに受けにくい形態で複数ビットの署名を検出する実施形態を示す。
【００５９】
図８はこの発明の実施の形態７である電子透かしの検出方法を示すフローチャートである。
図において、８０は映像を入力するステップ、８１は入力された映像から隣接する２つのフレームを抽出するステップ、８２はステップ８１で抽出した２つのフレームから差分画像を生成するステップ、８３はステップ８２で抽出した差分画像を領域分割するステップ、８４はステップ８３で分割した領域ごとに領域内の画素値の平均値を計算するステップ、８５はステップ８４で計算した領域ごとの平均画素値の平均値を計算するステップ、８６はステップ８５で計算した平均値を使って埋め込まれた署名を検出するステップである。
【００６０】
ステップ８１からステップ８４まではそれぞれ、実施の形態４におけるステップ４１からステップ４４と同様に動作する。したがって、ステップ８４の出力では、分割した領域それぞれについての平均画素値が得られる。
【００６１】
ステップ８５では、ステップ８４で得られた領域ごとの平均画素値について時間方向の連続複数個を使い、平均画素値の平均値を計算する。平均画素値の平均値を計算するために使う平均画素値の個数については、埋め込み時の埋め込み周期や画像の性質に応じて決定するが、ここでは説明のため、１５個の連続する平均画素値を使って平均画素値の平均値を計算することとする。
【００６２】
すなわち、ステップ８５において、ある１つの分割領域における連続する平均画素値として、０．８、０．９、０．７、１．２、１．４、０．４、０．９、０．８、０．４、１．０、１．４、０．７、０．８、０．２、０．４の１５個の値が得られたとする。このときの平均画素値の平均値は約０．８となる。つまり、ステップ８５で得られたある１つの分割領域における平均画素値の平均値は０．８である。
【００６３】
ステップ８６では、ステップ８５で計算した平均値を使って埋め込まれた情報を検出する。ステップ８６は実施の形態４におけるステップ４５と同様に動作する。すなわち、しきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ８５で計算した平均値の符号が正ならば“１”、負ならば“０”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定する。ここで、説明のためδ＝０．５と仮定すると、ステップ８５で計算した値０．８は符号が正であり、当該平均値の絶対値がδの絶対値より大きいため、署名として“１”を検出することになる。
【００６４】
したがって、本実施の形態７によれば、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームから差分画像を生成し、生成した差分画像を領域分割し、分割した各領域の平均画素値を計算し、平均画素値の平均値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“１”、負ならば“０”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出を可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で複数ビットの署名を検出することができる。また、途中生成する各領域の平均画素値について時間方向にぶれが生じる場合にも、本実施の形態では平均画素値の平均値を計算することにより各領域の平均画素値にぶれを吸収することができるので、実施の形態４では署名を誤検出してしまう場合にも、本実施の形態では正しく署名を検出することが可能になる。
【００６５】
実施の形態８．
以上の実施の形態７では、途中生成する各領域の平均画素値について時間方向にぶれが生じる場合にも、平均画素値の平均値を計算することにより各領域の平均画素値にぶれを吸収することができるので、実施の形態４では署名を誤検出してしまう場合にも、正しく署名を検出することが可能になるようにしたものであるが、次に当該平均画素値を降順あるいは昇順に並べ替えたのち、両端から指定数分の要素を取り除いた上で残った要素の平均値を計算し、その平均値を使って埋め込まれた署名を判定する実施形態を示す。
【００６６】
図９はこの発明の実施の形態８である電子透かしの検出方法を示すフローチャートである。
図において、９０は映像を入力するステップ、９１は入力された映像から隣接する２つのフレームを抽出するステップ、９２はステップ９１で抽出した２つのフレームから差分画像を生成するステップ、９３はステップ９２で抽出した差分画像を領域分割するステップ、９４はステップ９３で分割した領域ごとに領域内の画素値の平均値を計算するステップ、９５はステップ９４で計算した領域ごとの平均画素値について時間方向の連続複数個をソートして降順あるいは昇順に並び替えるステップ、９６はステップ９５で並び替えた要素リストの両端から指定数分の要素を取り除くステップ、９７はステップ９６の処理後に残った要素についてそれらの平均値を計算するステップ、９８はステップ９７で計算した平均値を使って埋め込まれた署名を検出するステップである。
【００６７】
ステップ９１からステップ９４まではそれぞれ、実施の形態７におけるステップ８１からステップ８４と同様に動作する。したがって、ステップ９４の出力では、分割した領域それぞれについての平均画素値が得られる。
【００６８】
ステップ９５では、ステップ９４で得られた領域ごとの平均画素値について時間方向の連続複数個をソートして降順あるいは昇順に並び替える。ソートするために使用する平均画素値の個数については、埋め込み時の埋め込み周期や画像の性質に応じて決定するが、ここでは説明のため、実施の形態５と同様に１５個の連続する平均画素値を使うこととする。
【００６９】
すなわち、ステップ９４において、ある１つの分割領域における時間方向に連続する平均画素値として、０．８、０．９、０．７、１．２、１．４、０．４、０．９、０．８、０．４、−２６．０、１．４、０．７、０．８、０．２、０．４の１５個の値が得られたとする。このとき、これらの平均画素値をソートして降順に並び替えると、１．４、１．４、１．２、０．９、０．９、０．８、０．８、０．８、０．７、０．７、０．４、０．４、０．４、０．２、−２６．０となる。
【００７０】
ステップ９６では、ステップ９５でソートして得られた平均画素値リストの両端から、指定数分の画素値要素を除外する。ここでは、降順に並べられたリスト中の１５個の要素のうち、値の大きいほうから３つの要素、値の小さいほうから４つの要素を除外すると仮定して説明する。すなわち、降順に並べられたリストは、１．４、１．４、１．２、０．９、０．９、０．８、０．８、０．８、０．７、０．７、０．４、０．４、０．４、０．２、−２６．０であるから、値の大きいほうから３つの要素、値の小さいほうから４つの要素を除外すると、０．９、０．９、０．８、０．８、０．８、０．７、０．７、０．４の８つの要素が残ることになる。
【００７１】
ステップ９７では、ステップ９６における残りの要素について、それらの平均値を計算する。すなわち、残りの要素は０．９、０．９、０．８、０．８、０．８、０．７、０．７、０．４の８つの要素であるから、これらの要素から平均値を計算すると、０．７５となる。
【００７２】
ステップ９８では、ステップ９７で計算した平均値を使って埋め込まれた情報を検出する。ステップ９８は、実施の形態７におけるステップ８６と同様に動作する。すなわち、しきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ９７で計算した平均値の符号が正ならば“１”、負ならば“０”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定する。ここで、説明のためδ＝０．５と仮定すると、ステップ９７で計算した値０．７５は符号が正であり、当該平均値の絶対値がδの絶対値より大きいため、署名として“１”を検出することになる。
【００７３】
ところで、ステップ９６においてソートして得られた平均画素値リストの両端から、指定数分の画素値要素を除外しない場合は、ステップ９７で単純にすべての１５要素を使って平均を計算することになり、これは実施の形態７と同様になるが、その場合の平均値は−１．０となる。そのため、ステップ９８においてδ＝０．５と仮定すると、ステップ９７で計算した値−１．０は符号が負であり、当該平均値の絶対値がδの値より大きいため、署名として“０”を検出することになってしまう。これは要素の中に−２６．０という特異値が含まれるためである。
【００７４】
したがって、本実施の形態８によれば、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームから差分画像を生成し、生成した差分画像を領域分割し、分割した各領域の平均画素値を計算し、平均画素値をソートして降順あるいは昇順に並び替え、並び替えたリストの両端から指定数分の要素を取り除き、残った要素についてそれらの平均値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“１”、負ならば“０”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出が可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で複数ビットの署名を検出することができる。また、たとえばシーンチェンジなどの影響で途中生成する差分画像の平均画素値に特異値が生じた場合にも、本実施の形態では平均画素値をソートして降順あるいは昇順に並び替え、並び替えたリストの両端から指定数分の要素を取り除き、残った要素についてそれらの平均値を計算することにより特異値の影響を除外するようにしているので、実施の形態７では署名を誤検出してしまう場合にも、本実施の形態では正しく複数ビットの署名を検出することが可能になる。
【００７５】
なお、以上の説明では、画素値の変更を加えるフレームとして隣接する２つのフレーム（隣接フレーム）を用いる場合を説明したが、対象としては、相互で差分値があまり大きくならない近傍のフレーム同志であれば同様の効果を奏するものである。
【００７６】
また、以上説明したような方法を実行するためのプログラムをつくり計算機で実行することにより、署名などの電子透かし情報を映像情報に埋め込み、また検出することができる。
【００７７】
これらにより、例えば、アナログＶＴＲなどに記録された映像の複製などにおいても十分耐性のある電子透かし埋め込み／検出が可能であり、映像や映画の複製などに係わる著作権保護を確実に行うことが可能となる。
【００７８】
【発明の効果】
以上のように、この発明によれば、映像信号から近傍フレームを抽出し、この抽出された近傍フレームのそれぞれ対応する領域の画素値を変更することにより電子透かし情報を埋め込むようにしたので、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で電子透かし情報を埋め込むことができる。
【００７９】
また、この発明によれば、映像信号から近傍フレームを抽出し、この抽出された近傍フレームの差分画像を生成し、この差分画像の平均画素値を計算し、この平均画素値に基き、埋め込まれた電子透かし情報を検出するようにしたので、アナログ処理などによって画素ずれが生じても埋め込まれた電子透かし情報を検出することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１である電子透かしの埋め込み方法を示すフローチャート
【図２】この発明の実施の形態２である電子透かしの埋め込み方法を示すフローチャート
【図３】この発明の実施の形態３である電子透かしの検出方法を示すフローチャート
【図４】この発明の実施の形態４である電子透かしの検出方法を示すフローチャート
【図５】隣接フレーム間差分画像画素平均値の変化確率分布を示す説明図
【図６】この発明の実施の形態５である電子透かしの検出方法を示すフローチャート
【図７】この発明の実施の形態６である電子透かしの検出方法を示すフローチャート
【図８】この発明の実施の形態７である電子透かしの検出方法を示すフローチャート
【図９】この発明の実施の形態８である電子透かしの検出方法を示すフローチャート
【符号の説明】
１０  映像入力ステップ
１１  隣接フレーム抽出ステップ
１２  署名埋め込みステップ
１３  映像出力ステップ
３０  映像入力ステップ
３１  隣接フレーム抽出ステップ
３２  差分画像の生成ステップ
３３  差分画像の平均画素値を計算するステップ
３４  署名の検出ステップ
【図１】
2005012405.tif 000003
【図２】
2005012405.tif 000004
【図３】
2005012405.tif 000005
【図４】
2005012405.tif 000006
【図５】
2005012405.tif 000007
【図６】
2005012405.tif 000008
【図７】
2005012405.tif 000009
【図８】
2005012405.tif 000010
【図９】
2005012405.tif 000011