(57)【特許請求の範囲】
【請求項１】
電子透かし埋め込み対象の電子画像を複数の画像領域に空間的に分割する分割処理ステップと、
画素値の変化が視認されにくい特性を有する画素を適応画素として上記画像領域ごとに抽出する適応抽出ステップと、
電子透かしの埋込ビット値に応じて上記画像領域ごとに、埋め込まれるべき電子透かしによる時間方向での画素値変化パターンと電子透かし埋め込み済みの電子画像の時間方向での画素値変化パターンとの相関検出によって検出される相関値が正または負のどちらかに大きく偏るように設定され、また電子透かし埋め込み位相の変化前後のフレーム輝度平均値の差分をＧａｐ値として検出するＧａｐ検出によって上記Ｇａｐ値が正または負のどちらかに大きく偏るように極性が変化する時間軸上で周期的な電子透かし波形を選択して画素に加算することで適応画素の画素値を変化させると共に、上記画像領域間の境界及び／又は時間方向で画素値変化の遷移が緩慢になるように段階的に変化させることにより電子透かし埋め込み画像を生成する埋め込みステップとを備え、
上記適応抽出ステップで、電子透かし埋め込みに係る輝度変化を加えても当該変化が視認されにくい輝度レベルの画素を適応画素として抽出することを特徴とする電子透かし埋め込み方法。
【請求項２】
埋め込みステップで、画像領域間及び時間方向で互いに異なる位相極性で画素値を変化させることにより埋め込みビットを表現することを特徴とする請求項１記載の電子透かし埋め込み方法。
【請求項３】
電子透かし検出対象の電子画像を画像領域に空間的に分割する分割処理ステップと
上記検出対象の画像領域ごとに電子透かし埋め込みによる時間方向での画素値変化に対応した画素値差分をＧａｐ値として検出するＧａｐ検出ステップと、
各画像領域において、電子透かしの各埋め込み周期中のある特定のＧａｐ検出時点で算出されたＧａｐ値の平均値を求める平均値算出ステップと、
各画像領域において、電子透かしの各埋め込み周期中のある２つのＧａｐ検出時点で算出されたＧａｐ値の平均値から対角２領域の差分を求め平均化することにより各画像領域間のＧａｐ値を算出する領域間Ｇａｐ値算出ステップと、
上記検出対象画像に埋め込まれるべき電子透かしによる上記画像領域間及び時間方向での画素値変化パターンと上記検出対象画像の時間方向での画素値変化パターンとの相関値を検出する相関検出ステップと、
上記各画像領域間のＧａｐ値及び上記相関値についての上記画像分割領域ごとの検出結果から上記埋め込みビットをそれぞれ判定し、これら判定結果を相補的に判断して最終的な埋め込みビットを決定する埋め込みビット判定ステップとを備えたことを特徴とする電子透かし検出方法。
【請求項４】
Ｇａｐ検出ステップで、検出対象領域ごとに、電子透かし埋め込み位相の変化前後のフレーム輝度平均値の差分をＧａｐ値として算出することを特徴とする請求項３記載の電子透かし検出方法。
【請求項５】
相関検出ステップで、検出対象画像を構成する時間方向の画像データのうち、注目画像データに対して時間的に近傍に位置する画像データの画素値平均をリファレンス画像として逐次算出し、各フィールドの輝度平均値と前記リファレンス画像とのデータ差分と上記検出対象画像に埋め込まれるべき電子透かしの画素値変化パターンとの相関値を算出することを特徴とする請求項３記載の電子透かし検出方法。
【請求項６】
Ｇａｐ検出ステップ及び相関検出ステップで、検出値の上下限値を制限するクリップ処理を実行することを特徴とする請求項３記載の電子透かし検出方法。
【請求項７】
Ｇａｐ検出ステップ及び相関検出ステップで、検出対象画像中のシーンチェンジに同期して検出処理を実行することを特徴とする請求項３記載の電子透かし検出方法。
【請求項８】
Ｇａｐ検出ステップ及び相関検出ステップで、検出対象画像を構成する画像データのうちシーンチェンジに起因する画像の乱れを含む画像データを検出処理に使用しないことを特徴とする請求項３記載の電子透かし検出方法。
【請求項９】
電子透かし埋め込み対象の電子画像を複数の画像領域に空間的に分割する分割処理部と、
画素値の変化が視認されにくい特性を有する画素を適応画素として上記画像領域ごとに抽出する適応抽出部と、
電子透かしの埋め込みビット値に応じて上記画像領域ごとに、埋め込まれるべき電子透かしによる時間方向での画素値変化パターンと電子透かし埋め込み済みの電子画像の時間方向での画素値変化パターンとの相関検出によって検出される相関値が正または負のどちらかに大きく偏るように設定され、また電子透かし埋め込み位相の変化前後のフレーム輝度平均値の差分をＧａｐ値として検出するＧａｐ検出によって上記Ｇａｐ値が正または負のどちらかに大きく偏るように極性が変化する時間軸上で周期的な電子透かし波形を選択して画素に加算することで適応画素の画素値を変化させると共に、上記画像領域間の境界及び／又は時間方向で画素値変化の遷移が緩慢になるように段階的に変化させることにより電子透かし埋め込み画像を生成する埋め込み処理部とを備え、
上記適応抽出部で、電子透かし埋め込みに係る輝度変化を加えても当該変化が視認されにくい輝度レベルの画素を適応画素として抽出することを特徴とする電子透かし埋め込み装置。
【請求項１０】
電子透かし検出対象の電子画像を画像領域に空間的に分割する分割処理部と、
上記検出対象の画像領域ごとに電子透かし埋め込みによる時間方向での画素値変化に対応した画素値差分をＧａｐ値として検出するＧａｐ検出部と、
各画像領域において、電子透かしの各埋め込み周期中のある特定のＧａｐ検出時点で算出されたＧａｐ値の平均値を求める平均値算出部と、
各画像領域において、電子透かしの各埋め込み周期中のある２つのＧａｐ検出時点で算出されたＧａｐ値の平均値から対角２領域の差分を求め平均化することにより各画像領域間のＧａｐ値を算出する領域間Ｇａｐ値算出部と、
上記検出対象画像に埋め込まれるべき電子透かしによる上記画像領域間及び時間方向での画素値変化パターンと上記検出対象画像の時間方向での画素値変化パターンとの相関値を検出する相関検出部と、
上記各画像領域間のＧａｐ値及び上記相関値についての上記画像分割領域ごとの検出結果から上記埋め込みビットをそれぞれ判定し、これら判定結果を相補的に判断して最終的な埋め込みビットを決定する埋め込みビット判定部とを備えたことを特徴とする電子透かし検出装置。
【請求項１１】
Ｇａｐ検出部は、検出対象領域ごとに、電子透かし埋め込み位相の変化前後のフレーム輝度平均値の差分をＧａｐ値として算出することを特徴とする請求項１０記載の電子透かし検出装置。
【請求項１２】
相関検出部は、検出対象画像を構成する時間方向の画像データのうち、注目画像データに対して時間的に近傍に位置する画像データの画素値平均をリファレンス画像として逐次算出し、各フィールドの輝度平均値と前記リファレンス画像とのデータ差分と上記検出対象画像に埋め込まれるべき電子透かしの画素値変化パターンとの相関値を算出することを特徴とする請求項１０記載の電子透かし検出装置。
【請求項１３】
電子透かし埋め込み対象の電子画像を複数の画像領域に空間的に分割する分割処理部、
画素値の変化が視認されにくい特性を有する画素を適応画素として上記画像領域ごとに抽出する適応抽出部、
電子透かしの埋め込みビット値に応じて上記画像領域ごとに、埋め込まれるべき電子透かしによる時間方向での画素値変化パターンと電子透かし埋め込み済みの電子画像の時間方向での画素値変化パターンとの相関検出によって検出される相関値が正または負のどちらかに大きく偏るように設定され、また電子透かし埋め込み位相の変化前後のフレーム輝度平均値の差分をＧａｐ値として検出するＧａｐ検出によって上記Ｇａｐ値が正または負のどちらかに大きく偏るように極性が変化する時間軸上で周期的な電子透かし波形を選択して画素に加算することで適応画素の画素値を変化させると共に、上記画像領域間の境界及び／又は時間方向で画素値変化の遷移が緩慢になるように段階的に変化させることにより電子透かし埋め込み画像を生成する埋め込み処理部、
としてコンピュータを機能させるプログラム。
【請求項１４】
電子透かし検出対象の電子画像を画像領域に空間的に分割する分割処理部、
上記検出対象の画像領域ごとに電子透かし埋め込みによる時間方向での画素値変化に対応した画素値差分をＧａｐ値として検出するＧａｐ検出部、
各画像領域において、電子透かしの各埋め込み周期中のある特定のＧａｐ検出時点で算出されたＧａｐ値の平均値を求める平均値算出部、
各画像領域において、電子透かしの各埋め込み周期中のある２つのＧａｐ検出時点で算出されたＧａｐ値の平均値から対角２領域の差分を求め平均化することにより各画像領域間のＧａｐ値を算出する領域間Ｇａｐ値算出部、
上記検出対象画像に埋め込まれるべき電子透かしによる上記画像領域間及び時間方向での画素値変化パターンと上記検出対象画像の時間方向での画素値変化パターンとの相関値を検出する相関検出部、
上記各画像領域間のＧａｐ値及び上記相関値についての上記画像分割領域ごとの検出結果から上記埋め込みビットをそれぞれ判定し、これら判定結果を相補的に判断して最終的な埋め込みビットを決定する埋め込みビット判定部
としてコンピュータを機能させるプログラム。
【請求項１５】
Ｇａｐ検出部は、検出対象領域ごとに、電子透かし埋め込み位相の変化前後のフレーム輝度平均値の差分をＧａｐ値として算出することを特徴とする請求項１４記載のプログラム。
【請求項１６】
相関検出部は、検出対象画像を構成する時間方向の画像データのうち、注目画像データに対して時間的に近傍に位置する画像データの画素値平均をリファレンス画像として逐次算出し、各フィールドの輝度平均値と前記リファレンス画像とのデータ差分と上記検出対象画像に埋め込まれるべき電子透かしの画素値変化パターンとの相関値を算出することを特徴とする請求項１４記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ディスプレイなどの表示画面に表示した画像を再撮影して得られる再撮画像から電子透かしを検出することができる電子透かし埋め込み方法、電子透かし検出方法及びこれら方法を使用する装置並びにそのプログラムに関するものである。
【背景技術】
【０００２】
近年のテレビカメラの性能向上や低コスト化により、ディスプレイなどの表示画面に表示した画像や映像を画質良く再撮影することが容易になってきている。この技術向上は、反面再撮影した画像や映像などの著作物の不正使用の要因にもなっている。例えば、映画館などで上映された映像を直接ディジタルカメラで再撮し、ＤＶＤ（Digital Versatile Disk）などにコピーしたものを違法販売する事件も起こっている。
【０００３】
このような再撮画像を対象とする電子透かし技術としては、例えば非特許文献１に開示されるものがある。この技術では、電子透かしを埋め込む対象の動画像に対して電子透かしとして時間方向（フレーム方向又はフィールド方向）に輝度変化を施している。
【０００４】
これにより、著作権情報を電子透かしとして埋め込んでおけば、不正にコピーされた再撮画像からでも上記著作権情報を取り出すことができ、その著作権を主張することができる。これは、再撮影による不正コピーを抑止することにも繋がる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】J. Haitsma and T. Kalker, "A watermarking scheme for digital cinema", ICIP'01 - IEEE, pp.487-489
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１に開示される再撮画像の電子透かし技術では、動画像に対して時間方向（フレーム方向又はフィールド方向）に輝度を変化させることによって再撮画像に対応可能な電子透かしを埋め込んでいる。しかしながら、電子透かしの埋め込み対象の動画像によっては、時間方向での輝度変化によって生じたフレーム画像間の輝度の違いなどが再生中に明暗部として目視することができてしまうという課題があった。
【０００７】
また、電子透かしの埋め込み量を増加させる方法として、フレーム画像（又はフィールド画像）を空間的に複数の領域に分割して分割領域ごとに埋め込みビットに対応する画素値変化を施すことが考えられるが、電子透かしの埋め込み対象の動画像によって画質が劣化してしまうという課題があった。
【０００８】
例えば、フレーム画像などを複数の領域に空間的に分割して分割領域ごとに輝度変調を施す場合、電子透かしの埋め込み対象の画像によっては輝度変調によりフレーム画像上の分割領域に明暗差が生じ、分割領域の境界線が再生中に目視できてしまう。
【０００９】
この発明は、上記のような課題を解決するためになされたもので、再撮画像に対応可能な電子透かしを画質を劣化させることがなく埋め込むことができ、この電子透かしを高精度に検出することができる電子透かしの埋め込み方法及びその検出方法を得ることを目的とする。
【００１０】
また、この発明は、上記方法を用いた電子透かし埋め込み装置、電子透かし検出装置及びこれらをコンピュータに実現させるプログラムを得ることを目的とする。
【課題を解決するための手段】
【００１１】
この発明に係る電子透かし埋め込み方法は、電子透かし埋め込み対象の電子画像を複数の画像領域に空間的に分割する分割処理ステップと、画素値の変化が視認されにくい特性を有する画素を適応画素として画像領域ごとに抽出する適応抽出ステップと、電子透かしの埋込ビット値に応じて画像領域ごとに、埋め込まれるべき電子透かしによる時間方向での画素値変化パターンと電子透かし埋め込み済みの電子画像の時間方向での画素値変化パターンとの相関検出によって検出される相関値が正または負のどちらかに大きく偏るように設定され、また電子透かし埋め込み位相の変化前後のフレーム輝度平均値の差分をＧａｐ値として検出するＧａｐ検出によってＧａｐ値が正または負のどちらかに大きく偏るように極性が変化する時間軸上で周期的な電子透かし波形を選択して画素に加算することで適応画素の画素値を変化させると共に、画像領域間の境界及び／又は時間方向で画素値変化の遷移が緩慢になるように段階的に変化させることにより電子透かし埋め込み画像を生成する埋め込みステップと備え、適応抽出ステップで、電子透かし埋め込みに係る輝度変化を加えても当該変化が視認されにくい輝度レベルの画素を適応画素として抽出するものである。
【００１２】
この発明に係る電子透かし検出方法は、電子透かし検出対象の電子画像を画像領域に空間的に分割する分割処理ステップと検出対象の画像領域ごとに電子透かし埋め込みによる時間方向での画素値変化に対応した画素値差分をＧａｐ値として検出するＧａｐ検出ステップと、各画像領域において、電子透かしの各埋め込み周期中のある特定のＧａｐ検出時点で算出されたＧａｐ値の平均値を求める平均値算出ステップと、各画像領域において、電子透かしの各埋め込み周期中のある２つのＧａｐ検出時点で算出されたＧａｐ値の平均値から対角２領域の差分を求め平均化することにより各画像領域間のＧａｐ値を算出する領域間Ｇａｐ値算出ステップと、検出対象画像に埋め込まれるべき電子透かしによる画像領域間及び時間方向での画素値変化パターンと検出対象画像の時間方向での画素値変化パターンとの相関値を検出する相関検出ステップと、各画像領域間のＧａｐ値及び相関値についての画像分割領域ごとの検出結果から埋め込みビットをそれぞれ判定し、これら判定結果を相補的に判断して最終的な埋め込みビットを決定する埋め込みビット判定ステップとを備えたものである。
【発明の効果】
【００１３】
このことによって、再撮画像に対する電子透かしの耐性を維持しつつ、その埋め込みによる視覚的な妨害を格段に低減させることができるという効果がある。
【００１４】
このことによって、電子透かしの検出結果の信頼性や検出精度を向上させることができるという効果がある。
【図面の簡単な説明】
【００１５】
【図１】この発明の実施の形態１による電子透かし埋め込み装置の構成を示すブロック図である。
【図２】入力電子画像を空間的に分割した画像分割領域を示す図である。
【図３】実施の形態１による電子透かしパターンの一例とその時間変化を示す図である。
【図４】空間的なガードバンドを含む電子透かしパターンと時間方向のガードバンドの具体例を示す図である。
【図５】埋め込みビットごとの適応処理とその時間変化を示す図である。
【図６】埋め込みビットごとの輝度レベルでの適応処理を示す図である。
【図７】実施の形態２の電子透かし埋め込み装置によるフレーム差分の算出方法を説明する図である。
【図８】埋め込みビットごとのフレーム差分を用いた適応処理を示す図である。
【図９】実施の形態３による電子透かし埋め込み装置のエッジ適応処理を説明する図である。
【図１０】埋め込みビットごとのエッジ適応処理を示す図である。
【図１１】この発明の実施の形態４による電子透かし検出装置の構成を示すブロック図である。
【図１２】電子透かしの埋め込み周期におけるＧａｐ検出位置を示す図である。
【図１３】Ｇａｐ値と埋め込みビットとの関係を示す図である。
【図１４】電子透かしの埋め込み位相を示す図である。
【図１５】相関値と埋め込みビットとの関係を示す図である。
【図１６】Ｇａｐ及び相関検出による判定値と埋め込みビットの最終判定値との関係を示す図である。
【図１７】クリップ処理を説明する図である。
【図１８】実施の形態４による電子透かし検出装置の応用例を示す図である。
【発明を実施するための形態】
【００１６】
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１による電子透かし埋め込み装置の構成を示すブロック図である。電子透かし埋め込み装置１は、画像分割部２、適応抽出部３、埋め込み処理部４及び透かし情報生成部５から構成される。電子透かし埋め込み装置１は、例えば汎用コンピュータなどを用いて、本発明に従う電子透かし埋め込みプログラムを実行させることによって具現化することができる。
【００１７】
つまり、電子透かし埋め込みプログラムをコンピュータに実行させて上記構成要素２〜５として機能させることにより、電子透かし埋め込み装置１による特徴的なデータ処理を実行することができる。なお、以下の説明において、電子透かし埋め込み装置１を具現化するコンピュータ自体の構成及びその基本的な機能については、当業者が当該分野の技術常識に基づいて容易に認識できるものであり、本発明の本質に直接関わるものでないので詳細な記載を省略する。
【００１８】
画像分割部２は、入力された電子画像（図１では、複数のフレームからなる動画像として示す。以下、入力電子画像と称する）６ａを複数領域の情報に空間的に分割した電子画像６ｂを生成する。以降では、図２に示すように、画像分割部２が、入力電子画像６ａのフレーム画像を４分割する場合を例に挙げて説明する。なお、図２では、分割した各領域を区別するためにそれぞれの領域に符号Ａ，Ｂ，Ｃ，Ｄを付している。
【００１９】
また、後述するが、画像分割部２は、入力電子画像６ａのフレーム画像を分割するにあたり、各分割領域の境界にガードバンド（Guard Band）を設定する。つまり、電子画像６ｂのフレーム画像は、ガードバンドを介して分割される。
【００２０】
適応抽出部３は、所定の振幅（変化分）で画素値を変化させても画質を劣化させない画素を特定するための適応条件が設定されており、画像分割部２から入力した電子画像６ｂの分割領域ごとに適応条件に応じた画素を、電子透かしの埋め込み対象画素（以降、適応画素と称する）として抽出する。
【００２１】
埋め込み処理部４は、適応抽出部３が抽出した電子画像６ｂの適応画素に対して、透かし情報生成部５からの電子透かし情報７に応じて空間的及び時間方向で画素値を変化させて電子透かし埋め込み済みの電子画像６ｃを生成し出力する。
【００２２】
つまり、電子透かしの埋め込みビットの値に応じて、電子画像６ｂのフレーム画像の分割領域ごとに適応画素の画素値を変化させる空間的な画素値変化に加え、この空間的な変化パターンの時間方向（フレーム方向）での変化を規定することで電子透かし埋め込みが実行される。
【００２３】
以降の説明では、埋め込み処理部４が、電子透かし情報７に応じて、フレーム画像内で適応画素の輝度値を空間的に変化させ、且つこれを時間方向（フレーム方向）に変化させる場合を例に挙げ、適応抽出部３には、輝度レベルについての適応条件が設定されているものとする。
【００２４】
透かし情報生成部５は、電子透かしを構成する埋め込みビットに応じて電子透かし情報７を生成して埋め込み処理部４に出力する。電子透かし情報７は、埋め込みビットに応じて、電子画像６ｂの分割領域の画素値を変化させる空間的な電子透かしパターン及びその時間方向（フレーム方向）の変化パターンを規定する情報である。
【００２５】
例えば、電子透かし情報７は、埋め込み処理部４が、電子画像６ｂの４分割した領域のうち、対角２領域を用いて空間的に２ビットの情報を埋め込み、さらに対角２領域ごとに時間方向に異なる位相（例えば、９０°位相をずらす）で輝度変化を与えて２ビットの情報を埋め込むように設定する。このようにすることで、空間的及び時間方向での輝度変化で１フレーム画像あたり合計４ビットの電子透かしを埋め込むことができる。
【００２６】
また、埋め込み処理部４は、画像分割部２によって設けられたガードバンドで空間的な輝度値変化が緩慢になるように埋め込み処理を実行し、さらに同一の分割領域についての時間方向のガードバンドで時間方向（フレーム方向）の輝度値変化が緩慢になるように埋め込み処理を実行する。
【００２７】
図３は実施の形態１による電子透かしパターンの一例とその時間変化を示す図であり、（ａ）は空間的なガードバンドを含む電子透かしパターンを示し、（ｂ）は時間方向のガードバンドを含む（ａ）のパターンの時間変化を示している。（ａ）の例では、図２で示した領域Ｂ，Ｃの輝度値は変化させず（図中、０を付した部分）、領域Ａ，Ｄの輝度値を全て＋１変化させている（図中、記号＋を付した部分）。
【００２８】
また、（ａ）において、空間的なガードバンドＧＢの幅は、例えば３２ピクセル（pixel）とする。この幅は、異なる変化分で輝度変化させた領域間の境界が視認されない程度のものであればよく、本発明による電子透かしを埋め込む対象画像の画像特性に応じて適宜決定する。さらに、領域Ｂ，Ｄ間のガードバンドＧＢの領域Ｂ側の境界線をＢａと称し、領域Ｄ側の境界線をＢｂと称する。
【００２９】
領域Ｂ側の境界線Ｂａでは、例えば輝度値を＋１変化させる確率を１／３３とし、ガードバンドＧＢ内で領域Ｄ側に近づくにつれて当該確率値を徐々に上昇させる。そして、領域Ｄ側の境界線Ｂｂでは、輝度値を＋１変化させる確率を３２／３３とする。このようにすることで、電子透かしとして一方の領域に設定すべき輝度の変化分から他方の領域に設定すべき輝度の変化分まで徐々に変化することになる。
【００３０】
さらに、電子透かしを構成するビット値に応じて時間方向で輝度値を変化させる際、（ｂ）に示すように、例えば領域Ａ，Ｄについて輝度変調の起点となるフレームから第１０番目のフレームまで輝度値を＋１変化させ、第１０番目フレームから第１５番目のフレームまでの間で徐々に輝度値の変化分が０になるように設定する。
【００３１】
ここでは、図中の期間Ｂｃにおいて、輝度値を＋１変化させた状態から変化分が０になるまでに１フレームごとに輝度値を＋１変化させた画素が減り、その分だけ変化無しの画素が増加するように、確率１／６の割合で輝度の変化分を０にする画素を増加させる。
このように、本発明の電子透かし埋め込み装置１では、時間方向でも輝度値の変化を緩慢にする（時間方向のガードバンド）。これにより、再撮画像に対する電子透かしを埋め込むことによる画質劣化を防止することができる。
【００３２】
図４は、図３に示す方法で埋め込んだ空間的なガードバンドを含む電子透かし埋め込み基底と時間方向のガードバンドの具体例を示す図である。なお、輝度値の変化を理解しやすくするために、輝度値を＋１変化させた画素を黒色で示し、輝度値を変化させない画素を白色で示している。
【００３３】
図４（ａ）に示すように、空間的な輝度変化において、ガードバンドＧＢによって領域Ａ，Ｄと領域Ｂ，Ｃとの間の境界線がぼかされた状態になる。また、時間方向での輝度値変化においても、図４（ｂ）に示すように、時間方向のガードバンドによって電子透かしとして時間的に先に設定した輝度値から後に設定する輝度値に至るまで急激に変化することなく、その中間状態が設定される。
【００３４】
図５は、埋め込みビットごとの適応処理とその時間変化を示す図である。図示の例では、適応抽出部３が、電子画像６ｂの分割領域ごとに適応条件を満たす適応画素Ａ，Ｂを抽出する。また、埋め込み処理部４は、適応抽出部３により電子画像６ｂの分割領域ごとに抽出された適応画素Ａ，Ｂに対し、透かし情報生成部５からの電子透かし情報７に応じて、図中の埋め込み周期（３０フレーム周期）で輝度値を変化させる。
【００３５】
例えば、電子透かしの埋め込みビットが「００」である場合、電子透かし情報７に従って処理の起点となるフレームから第１５番目のフレームまでの適応画素Ａの輝度値を＋１変化させ、第１６番目から第３０番目のフレームまでの適応画素Ｂの輝度値を−１変化させる。埋め込みビットが「０１」である場合は、その逆位相の処理を実行する。
【００３６】
また、図２で示した分割領域のうちの対角２領域について輝度変化が逆位相となるようにする場合、以下のような処理を実行する。
先ず、図２中の領域Ａ，Ｄに設定すべき埋め込みビットが「００」である場合、図２中の領域Ａから抽出した適応画素Ａ，Ｂに対して図５中の埋め込みビット００に対応する周期で輝度値を変化させる。また、図２中の領域Ｄから抽出した適応画素Ａ，Ｂに対しては、図５中の埋め込みビット０１に対応する周期で輝度値を変化させる。
【００３７】
また、図２中の領域Ａ，Ｄに設定すべき埋め込みビットが「０１」であれば、反対に領域Ａに対して図５中の埋め込みビット０１に対応する周期で輝度値を変化させ、領域Ｄに対しては図５中の埋め込みビット００に対応する周期で輝度値を変化させる。
【００３８】
さらに、図２中の領域Ａ，Ｄに設定すべき埋め込みビットが「１０」であれば、領域Ａに対して図５中の埋め込みビット１０に対応する周期で輝度値を変化させ、領域Ｄに対しては図５中の埋め込みビット１１に対応する周期で輝度値を変化させる。
【００３９】
図２中の領域Ａ，Ｄに設定すべき埋め込みビットが「１１」であれば、領域Ａに対して図５中の埋め込みビット１１に対応する周期で輝度値を変化させ、領域Ｄに対しては図５中の埋め込みビット１０に対応する周期で輝度値を変化させる。これらの処理は、図２中の領域Ｂ，Ｃについても同様である。
【００４０】
また、図２で示した分割領域のうちの対角２領域について輝度変化が同位相となるようにする場合、図２中の領域Ａ，Ｄに設定すべき埋め込みビットが「００」であれば、図２中の領域Ａ，Ｄに対して図５中の埋め込みビット００に対応する周期で輝度変化処理をそれぞれ実行する。埋め込みビットが「０１」、「１０」、「１１」である場合も同様の要領で輝度変化処理を実行する。
【００４１】
次に動作について説明する。
電子透かしの埋め込み対象である入力電子画像６ａは、電子透かし埋め込み装置１内部の画像分割部２に入力される。画像分割部２は、入力電子画像６ａをフレーム画像ごとに複数領域に空間的に分割した電子画像６ｂを生成する。なお、上述したように、電子画像６ｂのフレーム画像ごとの分割領域は、図３及び図４で示したガードバンドＧＢを境界として分割される。
【００４２】
適応抽出部３は、画像分割部２から電子画像６ｂを入力し、そのフレーム画像の分割領域ごとに、例えば図６に示す画素の輝度レベルについての適応条件に基づいて適応画素Ａ，Ｂを抽出する。
【００４３】
図６は、埋め込みビットごとの輝度レベルでの適応処理を示す図であり、各埋め込みビットに対応する埋め込み周期は図５に示したものと同様であるものとする。図に示すように、輝度値が１８０以上の画素が適応画素Ｂとして抽出される。また、適応画素Ａとしては、輝度値が１２９以上の画素及び輝度値が１２８以下のＮｅｘｔ５０％に対応する画素が該当する。輝度値１２８以下のＮｅｘｔ５０％とは、輝度値が１２８以下である画素の中で輝度値が大きい上位半分までの画素を意味する。
【００４４】
なお、輝度値１２８以下のＮｅｘｔ５０％に対応する画素は、輝度値が１２９以上の画素数が少ない画像であって電子透かしを検出するのに十分な埋め込み量を確保することができない場合に適応画素Ａとして抽出するようにしてもよい。
【００４５】
人間の視覚特性上、輝度値が低く暗い画像であるほど、その輝度値を変化させると、その変化が視認されやすくなる。そこで、上述した適応画素を抽出する基準輝度値１２８は、画像中の輝度を変化させた際にその変化が視認されない下限の輝度値として、ウェーバー・フェフィナーの法則などを考慮した検討実験により決定する。
【００４６】
適応抽出部３は、上述した輝度レベルについての適応条件を満たす適応画素Ａ，Ｂを電子画像６ｂの分割領域ごとに抽出し、これら画素を特定する情報（画像上の位置座標など）を埋め込み処理部４に出力する。
【００４７】
埋め込み処理部４は、適応抽出部３からの情報に従って電子画像６ｂの分割領域ごとに抽出された適応画素Ａ，Ｂに対し、透かし情報生成部５からの電子透かし情報７に応じて、図５中の埋め込み周期で輝度変化処理を実行する。
【００４８】
例えば、透かし情報生成部５から得た埋め込みビットが「００」である場合、図５を用いて上述したように、埋め込み処理部４は、処理の起点となるフレームから第１５番目のフレームまでの適応画素Ａの輝度値を＋１変化させ、第１６番目から第３０番目のフレームまでの適応画素Ｂの輝度値を−１変化させる。
【００４９】
なお、図５では、説明の簡単のために図３（ｂ）で示した期間Ｂｃ（時間方向のガードバンド）を設けていないが、時間方向の画素値変調による視覚的な影響がある場合は、時間方向のガードバンドを設けるようにしてもよい。
【００５０】
また、電子透かし埋め込みによる視覚的影響を考慮すると、輝度値の変化分は±１の範囲であることが望ましい。しかしながら、輝度値が十分に高く輝度変調による影響が視認しにくい適応画素（例えば、輝度値１９０以上）であれば、電子透かし埋め込みに係る輝度値の変化分を２倍（±２）にして電子透かしの埋め込み強度を増加するようにしても良い。
【００５１】
さらに、輝度値が１２９以上の画素数が少ない画像であって電子透かしを検出するのに十分な埋め込み量を確保することができない場合、適応抽出部３が、輝度値が１２８以下の画素の輝度平均値より大きい輝度を有する画素を抽出するようにしても良い。
【００５２】
なお、埋め込み処理部４は、上述したように画像分割部２によって設けられたガードバンドで領域間の輝度値変化が緩慢になるように埋め込み処理を実行する。また、時間方向のガードバンドを設定する場合は、当該ガードバンドにて時間方向の輝度値変化が緩慢になるように埋め込み処理を実行する。
【００５３】
また、映像中のシーンチェンジは、フレームやフィールドの画像相関が時間方向で顕著に変化し、埋め込み処理の同期基準となり得る有意な事象である。そこで、本実施の形態による埋め込み処理部４は、対象画像のシーンチェンジに同期させて電子透かし埋め込み処理を実行する。
【００５４】
この場合、埋め込み処理部４は、例えば電子透かしの埋め込み対象の画像におけるフレームの画像相関の時間方向での変化が所定の閾値を超えるものをシーンチェンジとして検出する。そして、埋め込み処理部４は、検出したシーンチェンジ以後のフレームを起点として上述した時間方向での輝度変化処理を実行する。
【００５５】
これにより、電子透かし埋め込み処理における時間方向での輝度変化処理が、電子透かし情報７に応じた埋め込み周期からずれるようなことがあっても、対象画像中のシーンチェンジを基準として上記周期との同期を回復させることができる。また、本発明による電子透かしを検出する際、電子透かしの埋め込みパターンにおける位相を的確に復元することもできる。
【００５６】
埋め込み処理部４は、上述のようにして透かし情報生成部５から入力される電子透かし情報７に応じた輝度変化処理を完了すると、これにより得られた画像を電子透かし埋め込み済みの画像６ｃとして出力する。
【００５７】
以上のように、この実施の形態１では、対象画像から所定の振幅（変化分）で画素値（輝度など）を変化させても画質を劣化させない画素を適応画素として抽出すると共に、空間的及び時間方向での画素値変化に対して当該変化を緩慢にするガードバンドを設けたので、再撮画像に対する電子透かしの耐性を維持しつつ、その埋め込みによる視覚的な妨害を格段に低減させることができる。
【００５８】
なお、上記実施の形態１では、電子透かしの埋め込みに空間的及び時間方向での輝度変化処理を実行する例を示したが、輝度に限らず、再撮画像においても検出することができる画素値であればよい。
【００５９】
実施の形態２．
上記実施の形態１では、輝度変化を施しても画質が劣化しない輝度レベルとして輝度値１２８以上の適応画素を抽出する例を示したが、この適応画素のみでは埋め込み量が十分でなく電子透かしが検出できない場合がある。
【００６０】
ここで、埋め込み対象の画像において、元々フレーム画像（又はフィールド画像）間での画素値変化が大きい画素は、一般的に動きが激しい映像を構成することが多く、画素値変化による視覚的な影響が少ないことが予想される。
【００６１】
そこで、実施の形態２では、フレーム差分値（又は、フィールド差分値）からフレーム画像（又はフィールド画像）間での画素値変化が大きい画素を検出し、電子透かしを埋め込むべき適応画素として選択するものである。
【００６２】
なお、実施の形態２による電子透かし埋め込み装置の構成は、上記実施の形態１で示したものと基本的に同一であるが、適応抽出部３及び埋め込み処理部４が対象画像に対してフレーム差分を用いた上記適応処理を実行する点で異なる。
【００６３】
次にフレーム差分を用いた適応処理について詳細に説明する。
図７は、この発明の実施の形態２による電子透かし埋め込み装置のフレーム差分の算出方法を説明する図である。図において、フレーム１，２は、電子画像６ｂの時間的に前後するフレーム画像を示している。また、フレーム１，２を構成する画素の画素値（例えば、輝度値）をそれぞれｘ１，ｘ２，・・・，ｘｎ及びｙ１，ｙ２，・・・，ｙｎとすると、フレーム差分ΔＦ（ｎ）は、絶対値として下記式（１）を用いて求めることができる。
ΔＦ（ｎ）＝｜ｘｎ−ｙｎ｜      ・・・（１）
【００６４】
図８は、実施の形態２による埋め込みビットごとのフレーム差分を用いた適応処理を示す図であり、各埋め込みビット（図示の例では「００」、「０１」）に対応する埋め込み周期は図５に示したものと同様であるものとする。適応抽出部３は、輝度値１８０以上の画素を適応画素Ｂとして抽出する上、上記実施の形態１と異なり、輝度値が１２８以上の画素に加え、輝度値が１２８未満の画素も適応画素Ａとして抽出する。
【００６５】
ここで、輝度値１２８未満のＮｅｘｔ５０％とは、輝度値が１２８未満である画素の中で輝度値が大きい上位半分までの画素を意味する。また、輝度値１２８未満残りとは、輝度値１２８未満のＮｅｘｔ５０％である画素より輝度値が低い画素を意味する。
【００６６】
適応抽出部３は、上記実施の形態１と同様な処理にて、電子画像６ｂの分割領域ごとに図８に示す輝度レベルの適応画素Ａ，Ｂを抽出する。さらに、適応抽出部３は、上記式（１）に従って電子画像６ｂの時間的に前後するフレーム間で画素ごとのフレーム差分を算出し、適応画素を特定する情報（画像中の位置座標など）と共に画素ごとの算出結果を埋め込み処理部４に出力する。
【００６７】
埋め込み処理部４では、フレーム差分値の大きさと輝度レベルに基づいて適応画素の輝度値に加えるべき変化分を決定して埋め込み処理を実行する。図８の例で説明すると、埋め込み処理部４は、適応抽出部３により算出されたフレーム差分値が２以下である画素を、フレーム間での画素値変化が小さい（動きが小さい）画素であると認識する。このフレーム差分値に該当する適応画素については、輝度変化処理を施しても変化が視認されない輝度値１２８以上の画素のみの輝度値を変化させる。
【００６８】
また、フレーム差分値が３以上７以下であると、埋め込み処理部４は、フレーム間での画素値変化が中程度である画素と認識し、輝度値１２８以上の適応画素に加え、輝度値１２８未満のＮｅｘｔ５０％に該当する適応画素にも輝度変化処理を実行する。
【００６９】
一方、フレーム差分値が８以上であると、埋め込み処理部４は、フレーム間での画素値変化が大きい（動きが激しい）画素であると認識する。このフレーム差分値に該当する適応画素については、輝度変化処理を施しても変化が視認されにくいものと判断し、輝度値１２８未満の適応画素についても輝度変化処理を実行する。
【００７０】
なお、上述したフレーム差分値の閾値は、電子透かし埋め込み済みの画像６ｃの画質に応じて適切な値を埋め込み処理部４に設定できるように構成しても良い。
【００７１】
以上のように、この実施の形態２によれば、フレーム差分に応じて電子透かしの埋め込みを実行するので、フレーム間での画素値変化が大きく、画素値の変化が視認されにくい画素を適応画素として抽出することができ、電子透かしの埋め込み量を増加させることができる。これにより、本発明による電子透かしの耐性を向上させることができる。
【００７２】
上記実施の形態２では、フレーム差分を用いる例を示したがフィールド差分を用いても良い。この形態としても基本的に同一の構成で同様の効果を得ることができる。
【００７３】
実施の形態３．
この実施の形態３は、電子透かしの埋め込み量を増加させるために、対象画像中のエッジ部分の画素を埋め込み対象の適応画素とするものである。
【００７４】
実施の形態３による電子透かし埋め込み装置の構成は、上記実施の形態１で示したものと基本的に同一であるが、適応抽出部３及び埋め込み処理部４が対象画像に対してエッジ適応処理を実行する点で異なる。
【００７５】
次にエッジ適応処理による適応画素の選定について説明する。
先ず、適応抽出部３は、実施の形態１又は実施の形態２で示した処理で電子透かしを埋め込んだ電子画像６ｂに対して、垂直方向エッジフィルタ処理、孤立点除去処理及び３点ＮＡＭ処理を順に実施してエッジ部分を強調した画像を求める。
図９は、実施の形態３による電子透かし埋め込み装置のエッジ適応処理を説明する図であり、（ａ）は垂直方向エッジフィルタ処理、（ｂ）は孤立点除去処理、（ｃ）は３点ＮＡＭ処理を示している。この図を用いて各処理を説明する。なお、図９では、処理対象の画像（電子画像６ｂ）の画像サイズが７２０×４８６画素である場合を例にしている。
【００７６】
垂直方向エッジフィルタ処理では、処理対象の画像中の注目画素とこれに隣接する画素とから垂直方向のエッジを強調する。具体的には、下記式（２）に従って注目画素（座標（ｘ，ｙ））の垂直方向のエッジを強調した画素値Ｙａ（ｘ，ｙ）を求める。
Ｙａ（ｘ，ｙ）＝｜−Ｙ（ｘｐ，ｙ）／２＋Ｙ（ｘ，ｙ）−Ｙ（ｘｎ，ｙ）／２｜      ・・・（２）
０≦ｘ＜７１９，０≦ｙ＜４８５のとき、
ｘｐ＝ｘ−１、ｘｎ＝ｘ＋１
ｘ＝０のとき、ｘｐ＝ｘ＋１、ｘｎ＝ｘ＋１
ｘ＝７１９のとき、ｘｐ＝ｘ−１、ｘｎ＝ｘ−１
【００７７】
適応抽出部３は、上述の処理を施して垂直方向のエッジを強調した画像に対して、突発的な画素値変化がエッジとして認識されないように孤立点除去処理を実行する。図示の例では、注目画素（画素値Ｙａ（ｘ，ｙ））の８近傍画素値を取得し、下記式（３）に従って８近傍のうち３番目に大きな画素値ｍａｘＹａと注目画素の画素値Ｙａ（ｘ，ｙ）で最小値を与える画素を孤立点（画素値Ｙｂ（ｘ，ｙ））として除去する。
【００７８】
Ｙｂ（ｘ，ｙ）＝ｍｉｎ（Ｙａ（ｘ，ｙ），ｍａｘＹａ）      ・・・（３）
ｘｐ＝ｘ−１、ｘｎ＝ｘ＋１、ｙｐ＝ｙ−１、ｙｎ＝ｙ＋１
ｘ＝０のとき、ｘｐ＝ｘ＋１、ｘｎ＝ｘ＋１
ｘ＝７１９のとき、ｘｐ＝ｘ−１、ｘｎ＝ｘ−１
ｙ＝０のとき、ｙｐ＝ｙ＋１、ｙｎ＝ｙ＋１
ｙ＝４８５のとき、ｙｐ＝ｙ−１、ｙｎ＝ｙ−１
但し、ｍａｘＹａは、自画素を含まない周囲の画素（８近傍画素）で３番目に大きな画素値を示し、下記式（４）で表される。
ｍａｘＹａ＝Ｍｔｈ（Ｙａ（ｘｐ，ｙｐ），Ｙａ（ｘ，ｙｐ），Ｙａ（ｘｎ，ｙｐ），Ｙａ（ｘｐ，ｙ），Ｙａ（ｘｎ，ｙ），Ｙａ（ｘｐ，ｙｎ），Ｙａ（ｘ，ｙｎ），Ｙａ（ｘｎ，ｙｎ））      ・・・（４）
Ｍｔｈ関数は３番目に大きな値を戻す。
【００７９】
続いて、適応抽出部３は、垂直方向のエッジを強調し孤立点除去処理を施した画像に対して３点ＮＡＭ処理を実行する。具体的には、下記式（５）に従ってエッジ部分の注目画素（座標（ｘ，ｙ））とこれに隣接する２画素とから注目画素がエッジ部分に該当すると大きな値となるエッジ度Ｙｃ（ｘ，ｙ）を求める。これはエッジ強調処理でもあり、Ｙｃ（ｘ，ｙ）を画像として眺めるとエッジ強調画像になる一方で、Ｙｃ（ｘ，ｙ）が大きいことは座標（ｘ，ｙ）に位置する注目画素がエッジ部分としての性質が強いことを示す指標になる。
Ｙｃ（ｘ，ｙ）＝ｍａｘ（Ｙｂ（ｘｐ，ｙ），Ｙｂ（ｘ，ｙ），Ｙｂ（ｘｎ，ｙ））      ・・・（５）
ｘｐ＝ｘ−１、ｘｎ＝ｘ＋１
ｘ＝０のとき、ｘｐ＝ｘ＋１
ｘ＝７１９のとき、ｘｐ＝ｘ−１
【００８０】
適応抽出部３は、上述のようにしてエッジ適応処理を施した画像中のエッジを構成する画素のうち所定のエッジ度（Ｙｃ）以上（例えば、Ｙｃ≧１０）の画素を抽出し、これらを特定する情報（画像中の位置座標など）を求める。
【００８１】
次に、適応抽出部３は、エッジ適応処理を施していない原画像（電子画像６ｂから所定のエッジ度レベルについての適応条件を満たす適応画素Ａ，Ｂを抽出し、これら画素を特定する情報（画像上の位置座標など）を埋め込み処理部４に出力する。
【００８２】
埋め込み処理部４は、適応抽出部３からのエッジ部分で所定のエッジ度以上の画素や適応画素を特定する情報に従って原画像である電子画像６ｂの適応画素に対し、図５中の埋め込み周期で輝度変化処理を実行する。
【００８３】
図１０は、埋め込みビットごとのエッジ適応処理を示す図である。上記処理を図示の例で説明すると、適応抽出部３は、エッジ適応処理した画像からエッジを構成する画素のうちエッジ度が１０以上のものを抽出し、これらを特定する情報（位置座標）を求める。また、原画像である電子画像６ｂから輝度値１２８以上及び輝度値１８０以上の画素を適応画素として抽出し、これらを特定する情報（位置座標）を求める。これらの情報は、埋め込み処理部４に出力される。
【００８４】
次に、埋め込み処理部４は、図１０に示すように、適応Ａまたは適応Ｂの適応処理の変化量を増加させる。すなわち適応Ａではエッジ適応処理画像から選定したエッジ部分のエッジ度１０以上の画素であって輝度値が１２８以上の適応画素の輝度値の変化を１増加させる。適応Ｂでは適応Ａの処理に加えて特に輝度値が１８０以上の適応画素の輝度値の変化を１増加させる。適応Ａの処理によってほぼ充分に変化を与えることができるが、適応Ｂの処理を追加すると視覚的妨害の増加なくさらに強固な変化とすることができ、検出結果が安定する。
【００８５】
以上のように、この実施の形態３によれば、実施の形態１又は実施の形態２で示した処理で電子透かしを埋め込んだ電子画像６ｃに対してエッジ部分で所定のエッジ度以上の画素をさらに適応画素として抽出して電子透かしを埋め込むので、透かし埋め込み量を増加させることができ、電子透かしの耐性を向上させることができる。
【００８６】
なお、上記実施の形態１〜３では異なる適応処理をそれぞれ説明したが、これらを組み合わせた適応処理を実行しても良い。
【００８７】
実施の形態４．
図１１は、この発明の実施の形態４による電子透かし検出装置の構成を示すブロック図である。電子透かし検出装置８は、Ｇａｐ検出部９、相関検出部１０及び埋め込みビット判定部１１から構成される。電子透かし検出装置８は、例えば汎用コンピュータなどを用いて、本発明に従う電子透かし検出プログラムを実行させることによって具現化することができる。
【００８８】
つまり、電子透かし検出プログラムをコンピュータに実行させて上記構成要素９〜１１として機能させることにより、電子透かし検出装置８による特徴的なデータ処理を実行することができる。なお、以下の説明において、電子透かし検出装置８を具現化するコンピュータ自体の構成及びその基本的な機能については、上記実施の形態１と同様の理由から詳細な記載を省略する。
【００８９】
上記実施の形態１〜３で説明した電子透かし埋め込み装置１により電子透かしが埋め込まれた電子画像６ｃにおいて、電子透かしパターンの時間方向での変化パターンの位相が反転する時点でフレーム差分値（又はフィールド差分値）が急激に変化する。
【００９０】
そこで、電子画像６ｃに埋め込まれた電子透かしを認識していれば、上記位相反転時点に応じて周期的に電子画像６ｃからフレーム差分（又はフィールド差分）を検出することで、当該フレーム差分値（又はフィールド差分値）に基づいて本発明による電子透かしパターンを復元することができる。
【００９１】
Ｇａｐ検出部９では、上述したような周期的なフレーム差分の検出によって、分割領域ごとに電子画像６ｃから電子透かしパターンの時間方向での変化における画素値の変化分（以下、Ｇａｐと称する）を検出する。また、相関検出部１０は、上記実施の形態１〜３で説明した電子透かし埋め込み装置１により埋め込まれた電子透かしパターンと電子画像６ｃとの時間方向での画素値変化について分割領域ごとに相関を検出する。
【００９２】
埋め込みビット判定部１１は、Ｇａｐ検出部９及び相関検出部１０がそれぞれ検出したＧａｐ値及び相関値に基づいて電子画像６ｃに埋め込まれたビット値をそれぞれ判定し、両判定結果を総合的に判断して最終的に決定したビット値を埋め込みビットとして出力する。
【００９３】
次に動作について説明する。
以降の説明では、上記実施の形態で示した電子透かし埋め込み装置１により、入力電子画像６ａに電子透かしを埋め込んだ電子画像６ｃから上記電子透かしの埋め込みビットを検出するものとする。
【００９４】
また、電子画像６ｃとしては、電子透かし情報７に応じて、入力電子画像６ａのフレーム画像を４分割した領域の対角２領域（図２中の領域Ａ，Ｄ及び領域Ｂ，Ｃ）の適応画素の輝度値を逆位相で変化させた透かしパターンを時間方向（フレーム方向）に変化させたものを使用する。
【００９５】
さらに、対角領域Ａ，Ｄには、図５で示した埋め込み周期でビット００が埋め込まれているものとする。つまり、領域Ａに対して図５中の埋め込みビット００に対応する周期で輝度変化させ、領域Ｄに対して図５中の埋め込みビット０１に対応する周期で輝度変化させている。
【００９６】
電子透かし検出対象の動画像である電子画像６ｃを表示装置（モニタ）で再生させ、これをビデオカメラで再撮したものを電子透かし検出装置８に入力する。電子画像６ｃは、電子透かし検出装置８内のＧａｐ検出部９及び相関検出部１０にそれぞれ入力される。
【００９７】
Ｇａｐ検出部９では、電子画像６ｃにおける電子透かし埋め込み周期に基づいてＧａｐ検出時期が設定されており、この検出周期で電子画像６ｃの分割領域ごとにフレーム輝度差分を算出（Ｇａｐ検出）する。
【００９８】
図１２は、電子透かしの埋め込み周期（３０フレーム周期）におけるＧａｐ検出位置を示す図であり、上記実施の形態１で示した図５中の埋め込み周期で電子透かしを埋め込んだ場合を例にしている。図示の例では、７フレーム目が終わり８フレーム目の開始時点を示す時点ａ、１５フレーム目が終わり１６フレーム目の開始時点を示す時点ｂ、２２フレーム目が終わり２３フレーム目の開始時点を示す時点ｃ、３０フレーム目の開始時点を示す時点ｄでＧａｐを検出する。
【００９９】
時点ａ，ｃは、図５中の埋め込みビット１０，１１についての埋め込み周期の位相変化位置に対応し、時点ｂ，ｄが、図５中の埋め込みビット００，０１についての埋め込み周期の位相変化位置に対応する。
【０１００】
Ｇａｐ検出部９は、上記実施の形態１と同様に、フレーム方向の画像相関が顕著に変化する電子画像６ｃのシーンチェンジに同期して電子透かしが埋め込まれている場合、当該シーンチェンジで埋め込み周期の始点を把握し、Ｇａｐ検出処理を実行する。
【０１０１】
この場合、Ｇａｐ検出部９は、例えば電子透かしの検出対象の動画像におけるフレーム方向の画像相関の時間変化が所定の閾値を超えるものをシーンチェンジとして検出する。そして、Ｇａｐ検出部９は、検出したシーンチェンジ以後のフレームを起点としてＧａｐ検出を実行する。
【０１０２】
なお、シーンチェンジ後の数秒間（２〜３秒）は、電子画像６ｃとして取り込むべき再撮データの画質が乱れる。これは、ビデオカメラのオートアイリス機能などによってシーンチェンジ後の初めの３０フレームほどで輝度値が大きく変化するからである。
【０１０３】
そこで、Ｇａｐ検出部９では、電子画像６ｃ中のシーンチェンジに同期してＧａｐ検出を実行するにあたり、例えばシーンチェンジ後の初めの３０フレームを用いず、輝度値が安定する３０フレーム以降の再撮データを使用する。
【０１０４】
これにより、電子透かし検出処理におけるＧａｐ検出処理が、当初の検出周期からずれるようなことがあっても、対象画像中のシーンチェンジを基準として上記周期との同期を回復させることができる。
【０１０５】
次にＧａｐ検出処理の詳細について説明する。
Ｇａｐ検出部９は、下記式（６）に従って、入力した電子画像６ｃの透かし埋め込み時の分割領域ごとに、Ｇａｐ検出時点前後（電子透かしパターンの埋め込み位相の変化前後）のフレームの輝度平均値の差分をＧａｐ値として算出する。
Ｇａｐ（ｉ）＝Ｙ（１５×ｉ＋１６）−Ｙ（１５×ｉ＋１５）−α      ・・・（６）
α＝（Ｙ（１５×ｉ＋１５）−Ｙ（１５×ｉ＋１４）＋Ｙ（１５×ｉ＋１７）−Ｙ（１５×ｉ＋１６））／２
ここで、Ｙ（ｎ）はｎフィールド目の輝度平均を示す。再撮開始初めの３０フレームを無視することにより、ｉは４，５，６，・・・、出現するＹ（ｎ）はＹ（４４），Ｙ（４５），Ｙ（４６），Ｙ（４７），Ｙ（５９），Ｙ（６０），Ｙ（６１），Ｙ（６２），Ｙ（７４），Ｙ（７５），Ｙ（７６），Ｙ（７７），・・・となる。
【０１０６】
上述のようにして、Ｇａｐ検出部９は、電子画像６ｃの透かし埋め込み時の各分割領域について、電子透かしの埋め込みビットに応じた上記埋め込み周期ごとに各Ｇａｐ検出時点でＧａｐ値を算出する。これらＧａｐ値の算出が終了すると、Ｇａｐ検出部９は、各分割領域Ａ〜Ｄにおいて各Ｇａｐ検出時点ａ〜ｄで得られるＧａｐ値の平均を算出する。例えば、領域ＡにおいてＧａｐ検出時点ａで得られるＧａｐ値の平均は、下記式（７）から求められる。
0005528399.tif 000002
【０１０７】
但し、ｎは自然数であり、ａ（１），ａ（２），ａ（３），・・・，ａ（ｎ）は、各埋め込み周期中のＧａｐ検出時点ａにてそれぞれ算出されたＧａｐ値を表している。分割領域Ｂ〜Ｄにおいて各Ｇａｐ検出時点ａ〜ｄで得られるＧａｐ値の平均についても同様の関係式から算出する。なお、ＡＧａｐａ中のＡは電子画像６ｃの透かし埋め込み時の４分割領域のうちの領域Ａを表し、下付文字ａはＧａｐ検出時点ａを表している。
【０１０８】
Ｇａｐ検出部９は、電子画像６ｃの透かし埋め込み時の４分割領域について、上記各Ｇａｐ検出時点でのＧａｐ値の平均を求めると、対角領域への輝度変化が逆位相であることから、下記式（８）に従って対角２領域（領域Ａ，Ｄ及び領域Ｂ，Ｃ）のＧａｐ値（ＡＡＤＧａｐａｃ、ＡＡＤＧａｐｂｄ、ＡＢＣＧａｐａｃ、ＡＢＣＧａｐｂｄ）を算出する。但し、ＡＡＤは領域Ａ，Ｄを表し、ＡＢＣは領域Ｂ，Ｃを表している。
ＡＡＤＧａｐａｃ＝（ＡＧａｐａ＋ＡＧａｐｃ−ＤＧａｐａ−ＤＧａｐｃ）／４
ＡＡＤＧａｐｂｄ＝（ＡＧａｐｂ＋ＡＧａｐｄ−ＤＧａｐｂ−ＤＧａｐｄ）／４
ＡＢＣＧａｐａｃ＝（ＢＧａｐａ＋ＢＧａｐｃ−ＣＧａｐａ−ＣＧａｐｃ）／４
ＡＢＣＧａｐｂｄ＝（ＢＧａｐｂ＋ＢＧａｐｄ−ＣＧａｐｂ−ＣＧａｐｄ）／４
・・・（８）
【０１０９】
なお、電子透かしに係る輝度変化を対角領域に同位相にすると、画面全体の輝度変動により周期的に明るくなったり暗くなったりするのが視認できてしまうが、上述のように輝度変化を対角領域に逆位相にすることにより、画面全体の輝度の変動をキャンセルすることができる。
【０１１０】
このようにして求められたＧａｐａｃ、Ｇａｐｂｄは、Ｇａｐ検出部９から埋め込みビット判定部１１に出力される。埋め込みビット判定部１１では、Ｇａｐ検出部９から入力したＧａｐ値（Ｇａｐａｃ、Ｇａｐｂｄ）を用いて、Ｇａｐ検出結果に応じた埋め込みビット判定を実行する。
【０１１１】
図１３は、Ｇａｐ値と埋め込みビットとの関係を示す図であり、この図の関係に従って埋め込みビット判定部１１が埋め込みビットを判定する。図中のパラメータｘ，ｚは、Ｇａｐ検出部９が算出したＧａｐ値（Ｇａｐａｃ、Ｇａｐｂｄ）を用いて埋め込みビット判定部１１が求める。
【０１１２】
ここで、ｘは、ｘ＝ｍａｘ（｜Ｇａｐａｃ｜，｜Ｇａｐｂｄ｜）であり、Ｇａｐａｃ及びＧａｐｂｄのうち、値が大きく有意値の候補となり得る方の絶対値を表している。また、ｚは、Ｇａｐａｃ及びＧａｐｂｄのうち、値が０に近いもの、つまり有意値の候補ではないものが該当する。
【０１１３】
埋め込みビット判定部１１は、Ｇａｐａｃ、Ｇａｐｂｄが、パラメータｘ，ｚとして図１３中のいずれの関係に属するかで埋め込みビットを判定する。
【０１１４】
次に、相関検出による埋め込みビット判定について説明する。
図１４は、電子透かしの埋め込み位相を示す図であり、図５で示した埋め込み周期における位相に対応する。相関検出部１０には、上記埋め込み位相を規定する関数ｆＩ（ｉ），ｆＱ（ｉ）が設定されている。これにより、検出対象の画像における電子透かしパターンの時間方向（フレーム方向）の変化パターンを把握している。
【０１１５】
関数ｆＩ（ｉ）は、図５中の埋め込みビット００，０１に対応する埋め込み周期の位相を規定し、Ｉ−ｐｈａｓｅと称することとする。また、関数ｆＱ（ｉ）は、図５中の埋め込みビット１０，１１に対応する埋め込み周期の位相を規定する。これをＱ−ｐｈａｓｅと称することとする。
【０１１６】
相関検出部１０は、入力した電子画像６ｃを用いて、下記式（９）を用いて相関を算出する上で使用するリファレンス画像データαを求める。このリファレンス画像データαは、電子画像６ｃの相関検出開始フィールドから検出対象の画像の最終フィールド（Ｎフィールド）までの注目フィールド（相関を検出するフィールド）の前６０フィールド分の輝度の平均値を示している。また、Ｙｊは電子画像６ｃの各フィールドごとの輝度平均値である。
0005528399.tif 000003
【０１１７】
このように、本発明では、リファレンス画像を求めるにあたり、相関を検出するフレーム（又はフィールド）の近傍のフレーム（又はフィールド）の輝度平均値を使用する。このようにした理由は、注目フレーム近傍のフレームが一般的に互いに類似する上、フレーム画像の輝度平均値をとることで画像内容の違いによる影響が低減され、より注目フレームを近似するリファレンス画像を得ることができるからである。
【０１１８】
また、上述した前６０フィールド分の輝度の平均値の他に、下記式（１０）、（１１）のいずれかを採用してリファレンス画像データαを求めても良い。下記式（１０）は、電子画像６ｃがＮフィールドで構成されている場合、Ｎフィールドまでの輝度平均を求めるものであり、下記式（１１）は、注目フィールドの前２８後３０フィールドの輝度平均である。
0005528399.tif 000004
【０１１９】
続いて、相関検出部１０は、図５で示した埋め込み周期における位相を規定する関数ｆＩ（ｉ），ｆＱ（ｉ）とリファレンス画像データαとを用いて、下記式（１２）、（１３）から電子画像６ｃの透かし埋め込み時の分割領域ごとに埋め込み位相に応じた相関値を算出する。但し、ｉ＝ａは、リファレンス画像データαを算出可能なフィールド番号の初期値である。また、Ｙｉは電子画像６ｃの各フィールドごとの輝度平均値である。
0005528399.tif 000005
【０１２０】
上述のようにして、電子画像６ｃの透かし埋め込み時の分割領域Ａ，Ｂ，Ｃ，Ｄについて相関値を求めると、相関検出部１０は、対角領域への輝度変化が逆位相となるようにビット００が埋め込まれていることから、下記式（１４）に従って対角２領域（領域Ａ，Ｄ及び領域Ｂ，Ｃ）についての相関値Ｃ（Ｉ，ＡＡＤ）、Ｃ（Ｑ，ＡＡＤ）、Ｃ（Ｉ，ＡＢＣ）、Ｃ（Ｑ，ＡＢＣ）を算出する。但し、ＡＡＤは領域Ａ，Ｄを表し、ＡＢＣは領域Ｂ，Ｃを表している。
Ｃ（Ｉ，ＡＡＤ）＝｛Ｃ（Ｉ，Ａ）−Ｃ（Ｉ，Ｄ）｝／２
Ｃ（Ｑ，ＡＡＤ）＝｛Ｃ（Ｑ，Ａ）−Ｃ（Ｑ，Ｄ）｝／２
Ｃ（Ｉ，ＡＢＣ）＝｛Ｃ（Ｉ，Ｂ）−Ｃ（Ｉ，Ｃ）｝／２
Ｃ（Ｑ，ＡＢＣ）＝｛Ｃ（Ｑ，Ｂ）−Ｃ（Ｑ，Ｃ）｝／２
・・・（１４）
【０１２１】
なお、電子透かしに係る輝度変化を対角領域に同位相にすると、画面全体の輝度変動により周期的に明るくなったり暗くなったりするのが視認できてしまうが、上述のように輝度変化を対角領域に逆位相にすることにより、画面全体の輝度の変動をキャンセルすることができる。
【０１２２】
このようにして求められた相関値Ｃ（Ｉ，ＡＡＤ）、Ｃ（Ｑ，ＡＡＤ）、Ｃ（Ｉ，ＡＢＣ）、Ｃ（Ｑ，ＡＢＣ）は、相関検出部１０から埋め込みビット判定部１１に出力される。埋め込みビット判定部１１では、相関値Ｃ（Ｉ，ＡＡＤ）、Ｃ（Ｑ，ＡＡＤ）、Ｃ（Ｉ，ＡＢＣ）、Ｃ（Ｑ，ＡＢＣ）を用いて、相関検出結果に応じた埋め込みビット判定を実行する。
【０１２３】
図１５は、相関値と埋め込みビットとの関係を示す図であり、この図の関係に従って埋め込みビット判定部１１が埋め込みビットを判定する。図中のパラメータｘ，ｚ、Ｃ（Ｉ）及びＣ（Ｑ）は、相関検出部１０が算出した相関値Ｃ（Ｉ，ＡＡＤ）、Ｃ（Ｑ，ＡＡＤ）、Ｃ（Ｉ，ＡＢＣ）、Ｃ（Ｑ，ＡＢＣ）を用いて、埋め込みビット判定部１１が求める。
【０１２４】
ここで、Ｃ（Ｉ）は、Ｃ（Ｉ）＝Ｃ（Ｉ，ＡＡＤ）＋Ｃ（Ｉ，ＡＢＣ）であり、Ｃ（Ｑ）は、Ｃ（Ｑ）＝Ｃ（Ｑ，ＡＡＤ）＋Ｃ（Ｑ，ＡＢＣ）である。また、ｘは、ｘ＝ｍａｘ（｜Ｃ（Ｉ）｜，｜Ｃ（Ｑ）｜）であり、Ｃ（Ｉ）及びＣ（Ｑ）のうち、値が大きく有意値の候補となり得る方の絶対値を表している。ｚは、Ｃ（Ｉ）及びＣ（Ｑ）のうち、値が０に近いもの、つまり有意値の候補ではないものが該当する。
【０１２５】
埋め込みビット判定部１１は、Ｃ（Ｉ）及びＣ（Ｑ）がパラメータｘ，ｚとして図１５中のいずれの関係に属するかで埋め込みビットを判定する。
【０１２６】
次に、埋め込みビット判定部１１は、Ｇａｐ検出により判定した埋め込みビット値と相関検出により判定した埋め込みビット値とを総合的に判断して最終的な埋め込みビット値を判定し出力する。
【０１２７】
図１６は、Ｇａｐ及び相関検出による判定値と埋め込みビットの最終判定値との関係を示す図である。図に示すように、本発明では、Ｇａｐ及び相関検出により相補的に埋め込みビットを判定する。例えば、一方の検出結果として埋め込みビットが未検出と判定されても、他方の検出結果で有意な埋め込みビット値が判定されれば、未検出の判定結果に誤りがあったものと判断することができる。
【０１２８】
そこで、本発明では、一方の判定処理を補う形で有意な値が判定された結果を最終的な判定結果として採用する。このようにすることで、電子透かしの検出結果の信頼性や検出精度を向上させることができる。
【０１２９】
なお、上述したＧａｐ及び相関検出において検出値のぶれを抑制するため、Ｇａｐ検出部９及び相関検出部１０が検出結果にクリップ処理を施すようにしてもよい。例えば、図１７に示すように、Ｇａｐ検出部９及び相関検出部１０は、輝度変化のＧａｐ及び相関の検出値が下方にぶれて−１より小さい値となった場合、予め設定しておいたクリップ値−１を検出値として採用する。また、Ｇａｐ及び相関の検出値が上方にぶれて＋１より大きい値となった場合、予め設定しておいたクリップ値＋１を検出値として採用する。
【０１３０】
このように検出値に上下限値を設けて所定範囲内に制限することで、Ｇａｐ及び相関の検出対象の画像内容により検出結果にぶれが生じてもその影響を低減することができ、埋め込みビットの判定処理を安定して実行することができる。
【０１３１】
図１８は、この実施の形態４による電子透かし検出装置の応用例を示す図である。図示の例では、電子透かし検出装置８をペン型検出器１２として構成している。ペン型検出器１２のペン先部には、ＣＲＴやＬＣＤなどのモニタ画面１４に表示される画像を読み取るビデオカメラが装備されており、上述した処理で電子透かしを検出する。検出結果の埋め込みビットは、表示窓１３に表示され、検出対象の画像に本発明による電子透かしが埋め込まれていることを確認することができる。
【０１３２】
この応用例においては、本発明の電子透かしを埋め込み対象画像の一部領域に埋め込んでおく。そして、電子透かしの検出処理において、モニタ画面の上記埋め込み領域の表示部分にペン先部を押し当てて検出対象画像を読み込む。このように構成することで、モニタ画面１４に再生された画像を撮影しながら、簡易に電子透かしの検出を実行することができる。
【０１３３】
以上のように、この実施の形態４によれば、Ｇａｐ及び相関検出により相補的に埋め込みビットを判定するので、電子透かしの検出結果の信頼性や検出精度を向上させることができる。
【０１３４】
なお、上記実施の形態４では、Ｇａｐ検出による埋め込みビットの判定結果と相関検出による埋め込みビットの判定結果とを相補的に判断して最終的な埋め込みビットの決定を行う例を示した。しかし、本発明は、当該構成に限定されるものではない。
【０１３５】
例えば、相関検出部１０を設けることなく、Ｇａｐ検出部９によるＧａｐ検出結果のみから埋め込みビット判定部１１が埋め込みビットを判定するように構成してもよい。この構成で検出精度を維持するには、検出対象の画像における電子透かしの埋め込み周期とそのＧａｐ検出周期との同期を厳密にとる必要がある。しかしながら、相関検出に要する時間が省略されるので、再撮画像の再生中にリアルタイムに電子透かしを検出するように構成することができる。
【０１３６】
また、Ｇａｐ検出部９を設けることなく、相関検出部１０による相関検出結果のみから埋め込みビット判定部１１が埋め込みビットを判定するように構成してもよい。この構成では、相関検出部１０が、上述したように相関値の算出に用いるリファレンス画像データαを求めるにあたり、相関を検出するフレーム（又はフィールド）の近傍のフレーム（又はフィールド）の輝度平均値を使用する。
【０１３７】
これにより、検出対象画像の画像内容の違いによる影響が低減され、より注目フレームを近似するリファレンス画像で相関値を算出することができ、検出精度を向上させることができる。
【図１】
0005528399.tif 000006
【図２】
0005528399.tif 000007
【図３】
0005528399.tif 000008
【図４】
0005528399.tif 000009
【図５】
0005528399.tif 000010
【図６】
0005528399.tif 000011
【図７】
0005528399.tif 000012
【図８】
0005528399.tif 000013
【図９】
0005528399.tif 000014
【図１０】
0005528399.tif 000015
【図１１】
0005528399.tif 000016
【図１２】
0005528399.tif 000017
【図１３】
0005528399.tif 000018
【図１４】
0005528399.tif 000019
【図１５】
0005528399.tif 000020
【図１６】
0005528399.tif 000021
【図１７】
0005528399.tif 000022
【図１８】
0005528399.tif 000023