(57)【要約】  電子透かし情報として透かしパターン画像を埋め込んだ動画に対して画面サイズを縮小するダウンサイズ処理を行っても、電子透かし情報として埋め込んだ透かしパターン画像を検出することを可能にするものであり、動画を構成する各フレーム画像に電子透かしとして透かしパターン画像を挿入して埋め込む電子透かし埋め込み方法において、動画を構成する各フレーム画像に電子透かしとして埋め込まれる透かしパターン画像は、周波数空間に基底を作成し、上記基底にパターンの基本成分を挿入し、上記基本成分を挿入した基底を逆フーリエ変換することにより作成されるようにした。
2009025019.tif 000002
【特許請求の範囲】
【請求項１】
動画を構成する各フレーム画像に電子透かしとして透かしパターン画像を挿入して埋め込む電子透かし埋め込み方法において、
動画を構成する各フレーム画像に電子透かしとして埋め込まれる透かしパターン画像は、
周波数空間に基底を作成し、
前記基底にパターンの基本成分を挿入し、
前記基本成分を挿入した基底を逆フーリエ変換する
ことにより作成される
ことを特徴とする電子透かし埋め込み方法。
【請求項２】
動画を構成する各フレーム画像に電子透かしとして透かしパターン画像を挿入して埋め込む電子透かし埋め込み方法において、
動画を構成する連続するフレーム画像のそれぞれに、電子透かしとして透かしパターン画像を交互に足し算あるいは引き算することにより挿入して埋め込む
ことを特徴とする電子透かし埋め込み方法。
【請求項３】
請求項２に記載の電子透かし埋め込み方法において、
前記透かしパターン画像は、
周波数空間に基底を作成し、
前記基底にパターンの基本成分を挿入し、
前記基本成分を挿入した基底を逆フーリエ変換する
ことにより作成される
ことを特徴とする電子透かし埋め込み方法。
【請求項４】
動画を構成する各フレーム画像に電子透かしとして透かしパターン画像を挿入して埋め込む電子透かし埋め込み装置において、
動画を構成する各フレーム画像に電子透かしとして埋め込まれる透かしパターン画像を生成する透かしパターン画像生成手段と、
前記透かしパターン画像生成手段により生成された透かしパターン画像を動画を構成する各フレーム画像に挿入して埋め込む透かしパターン画像埋め込み手段と
を有し、
前記透かしパターン画像生成手段は、
周波数空間に基底を作成する基底作成手段と、
前記基底作成手段により作成された基底にパターンの基本成分を挿入する挿入手段と、
前記挿入手段により基本成分を挿入した基底を逆フーリエ変換して透かしパターン画像を生成する生成手段と
を有する
ことを特徴とする電子透かし埋め込み装置。
【請求項５】
動画を構成する各フレーム画像に電子透かしとして透かしパターン画像を挿入して埋め込む電子透かし埋め込み装置において、
動画を構成する各フレーム画像に電子透かしとして埋め込まれる透かしパターン画像を生成する透かしパターン画像生成手段と、
前記透かしパターン画像生成手段により生成された透かしパターン画像を動画を構成する各フレーム画像に挿入して埋め込む透かしパターン画像埋め込み手段と
を有し、
前記透かしパターン画像埋め込み手段は、連続する前記フレーム画像のそれぞれに前記透かしパターン画像を交互に足し算あるいは引き算することにより挿入して埋め込む
ことを特徴とする電子透かし埋め込み装置。
【請求項６】
請求項５に記載の電子透かし埋め込み装置において、
前記透かしパターン画像生成手段は、
周波数空間に基底を作成する基底作成手段と、
前記基底作成手段により作成された基底にパターンの基本成分を挿入する挿入手段と、
前記挿入手段により基本成分を挿入した基底を逆フーリエ変換して透かしパターン画像を生成する生成手段と
を有する
ことを特徴とする電子透かし埋め込み装置。
【請求項７】
動画を構成する各フレーム画像に電子透かしとして埋め込まれた透かしパターン画像を検出する電子透かし検出方法において、
透かしパターン画像を挿入された連続する２個のフレーム画像の一方から他方を引き算し、該引き算の算出結果から透かしパターン画像を検出する
ことを特徴とする電子透かし検出方法。
【請求項８】
請求項７に記載の電子透かし検出方法において、
前記連続する２個のフレーム画像の前記一方は、前記透かしパターン画像を足し算することにより挿入して埋め込まれ、前記連続する２個のフレーム画像の前記他方は、前記透かしパターン画像を引き算することにより挿入して埋め込まれたものである
ことを特徴とする電子透かし検出方法。
【請求項９】
動画を構成する各フレーム画像に電子透かしとして埋め込まれた透かしパターン画像を検出する電子透かし検出装置において、
透かしパターン画像を挿入された連続する２個のフレーム画像の一方から他方を引き算する引き算手段と、
前記引き算手段による引き算の算出結果から透かしパターン画像を検出する検出手段と
を有することを特徴とする電子透かし検出装置。
【請求項１０】
請求項９に記載の電子透かし検出装置において、
前記連続する２個のフレーム画像の前記一方は、前記透かしパターン画像を足し算することにより挿入して埋め込まれ、前記連続する２個のフレーム画像の前記他方は、前記透かしパターン画像を引き算することにより挿入して埋め込まれたものである
ことを特徴とする電子透かし検出装置。
【請求項１１】
請求項１、２または３のいずれか１項に記載の電子透かし埋め込み方法をコンピュータに実行させるためのプログラム。
【請求項１２】
請求項４、５または６のいずれか１項に記載の電子透かし埋め込み装置としてコンピュータを機能させるためのプログラム。
【請求項１３】
請求項７または８のいずれか１項に記載の電子透かし検出方法をコンピュータに実行させるためのプログラム。
【請求項１４】
請求項９または１０のいずれか１項に記載の電子透かし検出装置としてコンピュータを機能させるためのプログラム。
【請求項１５】
請求項１１、１２、１３または１４のいずれか１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子透かし埋め込み方法、電子透かし検出方法、電子透かし埋め込み装置、電子透かし検出装置、プログラムおよびコンピューター読み取り可能な記録媒体に関し、さらに詳細には、動画に電子透かしを埋め込んだり、動画に埋め込まれた電子透かしを検出したりする際に用いて好適な電子透かし埋め込み方法、電子透かし検出方法、電子透かし埋め込み装置、電子透かし検出装置、プログラムおよびコンピューター読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
近年、インターネットを利用したマルチメディア情報が盛んに流通するようになるにつれて、電子透かし技術の需要が高まってきている。
ここで、電子透かしを動画に適用する技術たる動画電子透かし技術（Ｍｏｖｉｅ  Ｄｉｇｉｔａｌ  Ｗａｔｅｒｍａｒｋｉｎｇ  Ｔｅｃｈｎｏｌｏｇｙ）は、動画のフレーム画像に当該動画の著作者の固有情報などを電子透かし情報として密やかに埋め込み、当該動画に関する所有権の所在などを主張する根拠とすることができるようにするなどの技術である。
ところで、各種の応用のために電子透かし情報を埋め込んだ映像などの動画を再加工・編集（画面サイズの縮小変更処理やデータ圧縮など）する処理が行われた場合や、動画に埋め込まれた電子透かし情報を除去するための攻撃行為が行われた場合などには、動画に埋め込んだ電子透かし情報を検出することができなくなり、動画に埋め込んだはずの電子透かしが実質的には消失してしまう恐れがあった。
より詳細には、再加工・編集処理のなかで、動画に埋め込んだ電子透かし情報が検出困難になって、動画に埋め込んだはずの電子透かしが実質的には消失してしまう恐れが最も強いのは、電子透かしを埋め込んだ動画の画面サイズの縮小変更処理（ダウンサイズ処理）である。
即ち、動画を編集する場合には、動画の画面サイズがハイビジョン（１９２０×１１５２ピクセル）から通常のネットワーク配信用のＱＶＧＡ（３２０×２４０ピクセル）まで変更される場合もあるが、こうした幅広い画面サイズの変更に対しては、従来の動画電子透かし技術では対応することができないという問題点があった。
【０００３】
ここで、従来の動画電子透かし技術について説明すると、現在主流となっている動画電子透かし技術は、非特許文献１に開示された電子透かしを静止画に適用する技術たる静止画電子透かし技術の「スペクトル拡散法」を用いて、電子透かし情報を動画の各フレーム画像に埋め込むというものである。
上記したスペクトル拡散法では、原理的に、強い自己相関性を持つＭ系列という擬似乱数を用いて画像サイズに合わせた乱数パターンを発生して、この乱数パターンを用いて電子透かし情報を画像に挿入するという手法をとっている。
ところが、こうしたスペクトル拡散法を動画電子透かし技術として利用する場合には、スペクトル拡散法により発生した透かしパターン画像は、図１（スペクトル拡散法により発生した透かしパターンの例（２値化画像））に示すように基本的にピクセル単位で表した「１」と「０」との情報で構成されるので、例えば、画面サイズをハイビジョン（１９２０×１１５２ピクセル）から通常のネットワーク配信用のＱＶＧＡ（３２０×２４０ピクセル）まで変更するというような幅広い画面サイズの変更を伴うダウンサイズ処理を行う場合には、画面サイズを縮小されたフレーム画像からは透かしパターン画像を検出することが困難になるという問題点があった。
【０００４】
また、上記したように、動画に電子透かし情報を埋め込む手法として現在主流となっている動画電子透かし技術は、基本的にスペクトル拡散法を用いて電子透かし情報を動画の各フレーム画像に埋め込むというものであるが、スペクトル拡散法により発生した透かしパターンを動画の各フレーム画像に埋め込む処理は、次に示す手順１乃至手順４の処理により行われている。以下、図２（従来の動画電子透かしの埋め込み処理方法）を参照しながら、手順１乃至手順４を説明する。
手順１：動画ファイルから、電子透かしを埋め込む対象の動画（以下、「電子透かしを埋め込む対象の動画」を「電子透かし埋め込み対象動画」と適宜に称する。）を構成する各フレーム画像（Ｆｎ，ｎ＝１，２，３，・・・，ｎ−１，ｎ  ただし、ｎは正の整数である。）を抽出する（図２（ａ）参照）。
手順２：静止画電子透かし技術たるスペクトル拡散法を用いて電子透かし情報を透かしパターン画像（Ｗｎ，ｎ＝１，２，３，・・・，ｎ−１，ｎ  ただし、ｎは正の整数である。）に変更して、透かしパターン画像（Ｗｎ，ｎ＝１，２，３，・・・，ｎ−１，ｎ  ただし、ｎは正の整数である。）を作成する（図２（ｂ）参照）。
手順３：手順１で抽出したフレーム画像に手順２で作成した透かしパターン画像を足し算（加算）することにより、ｎ個の透かしパターン画像をｎ個のフレーム画像にそれぞれ挿入する。より詳細には、ｎ個の透かしパターン画像（Ｗｎ，ｎ＝１，２，３，・・・，ｎ−１，ｎ）をｎ個のフレーム画像（Ｆｎ，ｎ＝１，２，３，・・・，ｎ−１，ｎ）にそれぞれｎを対応させて足し算してゆき、ｎ個の透かしパターン画像を挿入したフレーム画像（以下、「透かしパターン画像を挿入したフレーム画像」を「透かしパターン画像挿入フレーム画像」と適宜に称する。）（ＦＷｎ，ｎ＝１，２，３，・・・，ｎ−１，ｎ  ただし、ｎは正の整数である。）を作成する（図２（ｃ）参照）。
ＦＷｎ＝Ｆｎ＋Ｗｎ    （ｎ＝１，２，３，・・・，ｎ−１，ｎ  ただし、ｎは正の整数である。）
手順４：手順３で作成した透かしパターン画像挿入フレーム画像（ＦＷｎ，ｎ＝１，２，３，・・・，ｎ−１，ｎ  ただし、ｎは正の整数である。）を合成して電子透かし埋め込み後の動画（以下、「電子透かし埋め込み後の動画」を「電子透かし埋め込み後動画」と適宜に称する。）を生成して、電子透かし埋め込み後動画を動画ファイルに保存する。なお、電子透かし埋め込み後動画を動画ファイルに保存するのではなく、電子透かし埋め込み後動画を通信手段を利用して動画配信するようにしてもよいことは勿論である。
【０００５】
しかしながら、上記した図２に示す現在の主流となっている動画電子透かし技術に用いる電子透かし情報の埋め込み処理方法については、以下に示すような２つの問題点が指摘されていた。
問題点１：図２に示す従来の動画電子透かし技術に用いる電子透かし情報の埋め込み処理方法では、発生した透かしパターン画像を各フレーム画像にそれぞれ足し算（加算）することによって、発生した透かしパターン画像が各フレーム画像に挿入される、即ち、発生した透かしパターン画像が全て同じ足し算によって各フレーム画像に挿入されるので、電子透かしを挿入した動画たる電子透かし埋め込み後動画を再生すると、各フレーム画像に挿入した透かしパターン画像が、動画の内容を変化させていくフレーム画像に対して固定されたパターンとなるので、当該電子透かし埋め込み後動画を視認する視聴者にとっては透かしパターン画像によるノイズの影響が著しくなるという問題点があった。
問題点２：図２に示す従来の動画電子透かし技術に用いる電子透かし情報の埋め込み処理方法では、発生した透かしパターン画像を各フレーム画像にそれぞれ足し算（加算）することによって、発生した透かしパターン画像が各フレーム画像に挿入される、即ち、発生した透かしパターン画像が全て同じ足し算によって各フレーム画像に挿入されるので、特許文献１として提示する特許第３８３１２０４号公報に開示されているように、電子透かし埋め込み後動画から電子透かし情報として挿入された透かしパターン画像を検出するときに、フレーム画像が存在する影響により電子透かし情報として挿入された透かしパターン画像の検出率が低下するものであった。
【特許文献１】特許第３８３１２０４号公報
【非特許文献１】Ｉｎｇｅｍａｒ  Ｊ．  Ｃｏｘ，  Ｊｏｅ  Ｋｉｌｉａｎ，  Ｆ．  Ｔｈｏｍｓｏｎ  Ｌｅｉｇｈｔｏｎ，  ａｎｄ  Ｔａｌａｌ  Ｓｈａｍｏｏｎ，  “Ｓｅｃｕｒｅ  ｓｐｒｅａｄ  ｓｐｅｃｔｒｕｍ  ｗａｔｅｒｍａｒｋｉｎｇ  ｆｏｒ  ｍｕｌｔｉｍｅｄｉａ，”  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  ｖｏｌ．  ６，  Ｎｏ．  １２，  ｐｐ．  １６７３−１６８７，  １９９７．
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、従来の技術の有する上記したような種々の問題点に鑑みてなされたものであり、その目的とするところは、電子透かし情報として透かしパターン画像を埋め込んだ動画に対して画面サイズを縮小するダウンサイズ処理を行っても、電子透かし情報として埋め込んだ透かしパターン画像を検出することを可能にした電子透かし埋め込み方法、電子透かし検出方法、電子透かし埋め込み装置、電子透かし検出装置、プログラムおよびコンピュータ読み取り可能な記録媒体を提供しようとするものである。
また、本発明は、従来の技術の有する上記したような種々の問題点に鑑みてなされたものであり、その目的とするところは、電子透かし情報として透かしパターン画像を挿入した動画を再生する際における透かしパターン画像のノイズの影響を低減した電子透かし埋め込み方法、電子透かし検出方法、電子透かし埋め込み装置、電子透かし検出装置、プログラムおよびコンピュータ読み取り可能な記録媒体を提供しようとするものである。
さらに、本発明は、従来の技術の有する上記したような種々の問題点に鑑みてなされたものであり、その目的とするところは、電子透かし情報として透かしパターン画像を挿入した動画から、電子透かし情報として埋め込んだ透かしパターン画像を検出する際に、フレーム画像が存在する影響により透かしパターン画像の検出率が低下することのないようにした電子透かし埋め込み方法、電子透かし検出方法、電子透かし埋め込み装置、電子透かし検出装置、プログラムおよびコンピュータ読み取り可能な記録媒体を提供しようとするものである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、動画を構成する各フレーム画像に電子透かし情報として挿入する透かしパターン画像の作成の手法を改良したものである。
従って、本発明によれば、電子透かし情報として改良した透かしパターン画像を動画のフレーム画像に埋め込むことができるため、透かしパターン画像を埋め込んだ動画に対して画面サイズを縮小するダウンサイズ処理を行っても、電子透かし情報として埋め込んだ改良した透かしパターン画像を検出することことができるようになる。
【０００８】
また、上記目的を達成するために、本発明は、透かしパターン画像を各フレーム画像に挿入する際に足し算（加算）と引き算（減算）とを交互に用いて挿入するようにしたものであり、また、このように足し算と引き算とを交互に用いて透かしパターン画像を挿入されたフレーム画像から透かしパターンを検出するようにしたものである。
より詳細には、本発明は、動画ファイルから各フレーム画像を抽出し、この抽出した各フレーム画像に透かしパターン画像を挿入する際に、奇数番目のフレーム画像に対しては、当該フレーム画像に透かしパターン画像を足し算（または当該フレーム画像から透かしパターン画像を引き算）するようにしてフレーム画像と透かしパターン画像とを合成し、一方、偶数番目のフレーム画像に対しては、当該フレーム画像から透かしパターン画像を引き算（または当該フレーム画像に透かしパターン画像を足し算）するようにしてフレーム画像と透かしパターン画像とを合成するようにしたものであり、連続するフレーム画像に対して透かしパターン画像の足し算と引き算とを交互に行うようにしたものである。そして、こうして透かしパターン画像を挿入された各フレーム画像は、動画ファイルに保存あるいは動画配信するなどして再生に用いられる。
【０００９】
また、上記目的を達成するために、本発明は、奇数番目のフレーム画像に対しては透かしパターン画像を足し算（または引き算）により挿入され、一方、偶数番目のフレーム画像に対しては透かしパターン画像を引き算（または足し算）により挿入された各フレーム画像よりなる動画から、透かしパターン画像を検出するようにしたものである。
従って、本発明によれば、電子透かし情報として透かしパターン画像を挿入した動画を再生した場合に、各フレーム画像に挿入した透かしパターン画像は、動画の内容を変化させていくフレーム画像に対して固定されたパターンとはならないので、電子透かし情報として透かしパターン画像を挿入した動画を再生する際における透かしパターン画像のノイズの影響を低減することができる。
また、本発明によれば、発生した透かしパターン画像が足し算と引き算とを交互に行って各フレーム画像に挿入されるので、電子透かし情報として挿入された透かしパターン画像を検出するときに、フレーム画像が存在する影響による透かしパターン画像の検出率の低下を抑止することができる。
【００１０】
即ち、本発明は、動画を構成する各フレーム画像に電子透かしとして透かしパターン画像を挿入して埋め込む電子透かし埋め込み方法において、動画を構成する各フレーム画像に電子透かしとして埋め込まれる透かしパターン画像が、周波数空間に基底を作成し、上記基底にパターンの基本成分を挿入し、上記基本成分を挿入した基底を逆フーリエ変換することにより作成されるようにしたものである。
また、本発明は、動画を構成する各フレーム画像に電子透かしとして透かしパターン画像を挿入して埋め込む電子透かし埋め込み方法において、動画を構成する連続するフレーム画像のそれぞれに、電子透かしとして透かしパターン画像を交互に足し算あるいは引き算することにより挿入して埋め込むようにしたものである。
また、本発明は、上記透かしパターン画像が、周波数空間に基底を作成し、上記基底にパターンの基本成分を挿入し、上記基本成分を挿入した基底を逆フーリエ変換することにより作成されるようにしたものである。
また、本発明は、動画を構成する各フレーム画像に電子透かしとして透かしパターン画像を挿入して埋め込む電子透かし埋め込み装置において、動画を構成する各フレーム画像に電子透かしとして埋め込まれる透かしパターン画像を生成する透かしパターン画像生成手段と、上記透かしパターン画像生成手段により生成された透かしパターン画像を動画を構成する各フレーム画像に挿入して埋め込む透かしパターン画像埋め込み手段とを有し、上記透かしパターン画像生成手段は、周波数空間に基底を作成する基底作成手段と、上記基底作成手段により作成された基底にパターンの基本成分を挿入する挿入手段と、上記挿入手段により基本成分を挿入した基底を逆フーリエ変換して透かしパターン画像を生成する生成手段とを有するようにしたものである。
また、本発明は、動画を構成する各フレーム画像に電子透かしとして透かしパターン画像を挿入して埋め込む電子透かし埋め込み装置において、動画を構成する各フレーム画像に電子透かしとして埋め込まれる透かしパターン画像を生成する透かしパターン画像生成手段と、上記透かしパターン画像生成手段により生成された透かしパターン画像を動画を構成する各フレーム画像に挿入して埋め込む透かしパターン画像埋め込み手段とを有し、上記透かしパターン画像埋め込み手段は、連続する上記フレーム画像のそれぞれに上記透かしパターン画像を交互に足し算あるいは引き算することにより挿入して埋め込むようにしたものである。
また、本発明は、上記透かしパターン画像生成手段が、周波数空間に基底を作成する基底作成手段と、上記基底作成手段により作成された基底にパターンの基本成分を挿入する挿入手段と、上記挿入手段により基本成分を挿入した基底を逆フーリエ変換して透かしパターン画像を生成する生成手段とを有するようにしたものである。
また、本発明は、動画を構成する各フレーム画像に電子透かしとして埋め込まれた透かしパターン画像を検出する電子透かし検出方法において、透かしパターン画像を挿入された連続する２個のフレーム画像の一方から他方を引き算し、該引き算の算出結果から透かしパターン画像を検出するようにしたものである。
また、本発明は、上記連続する２個のフレーム画像の上記一方が、上記透かしパターン画像を足し算することにより挿入して埋め込まれ、上記連続する２個のフレーム画像の上記他方が、上記透かしパターン画像を引き算することにより挿入して埋め込まれるようにしたものである。
また、本発明は、動画を構成する各フレーム画像に電子透かしとして埋め込まれた透かしパターン画像を検出する電子透かし検出装置において、透かしパターン画像を挿入された連続する２個のフレーム画像の一方から他方を引き算する引き算手段と、上記引き算手段による引き算の算出結果から透かしパターン画像を検出する検出手段とを有するようにしたものである。
また、本発明は、上記連続する２個のフレーム画像の上記一方が、上記透かしパターン画像を足し算することにより挿入して埋め込まれ、上記連続する２個のフレーム画像の上記他方が、上記透かしパターン画像を引き算することにより挿入して埋め込まれるようにしたものである。
また、本発明は、本発明による電子透かし埋め込み方法をコンピュータに実行させるためのプログラムである。
また、本発明は、本発明による電子透かし埋め込み装置としてコンピュータを機能させるためのプログラムである。
また、本発明は、本発明による電子透かし検出方法をコンピュータに実行させるためのプログラムである。
また、本発明は、本発明による電子透かし埋検出装置としてコンピュータを機能させるためのプログラムである。
また、本発明は、本発明によるプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１１】
本発明は、以上説明したように構成されているので、電子透かし情報として透かしパターン画像を埋め込んだ動画に対して画面サイズを縮小するダウンサイズ処理を行っても、電子透かし情報として埋め込んだ透かしパターン画像を検出することができるようになるという優れた効果を奏する。
また、本発明は、以上説明したように構成されているので、電子透かし情報として透かしパターン画像を挿入した動画を再生する際に、透かしパターン画像のノイズの影響を低減することができるようになるという優れた効果を奏する。
さらに、本発明は、以上説明したように構成されているので、電子透かし情報として透かしパターン画像を挿入した動画から、電子透かし情報として埋め込んだ透かしパターン画像を検出する際に、フレーム画像が存在する影響による透かしパターン画像の検出率の低下を防止することができるようになるという優れた効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、スペクトル拡散法により発生した透かしパターン画像（２値化画像）の一例を示す説明図である。
【図２】図２は、従来の動画電子透かしの埋め込み処理方法の処理手順を示す説明図である。
【図３】図３は、本発明の実施の形態の一例による電子透かし埋め込み装置のブロック構成説明図である。
【図４】図４は、透かし基本パターン発生部において実行される透かし基本パターン発生処理ルーチンのフローチャートである。
【図５】図５は、透かし基本パターンの周波数エリア（基底）の説明図である。
【図６】図６は本発明による透かし基本パターンの例（２値化）を示し、図６（ａ）はパターンの基本成分がｎ＝２，ｕ１１＝６，ｖ１１＝３，ｕ２１＝３，ｖ２１＝６で構成した例を表し、図６（ｂ）は図６（ａ）の画像サイズを倍以上縮小した状態を表している。
【図７】図７は、透かしパターン画像発生部において実行される透かしパターン画像発生処理ルーチンのフローチャートである。
【図８】図８は、基本サイズ（３２０×２４０ピクセル）の透かしパターン画像のブロック分割を示す説明図である。
【図９】図９は、本発明による連続する２つのフレーム画像に透かしパターン画像を反転して埋め込む動画電子透かしの埋め込み処理方法の処理手順を示す説明図である。
【図１０】図１０は、本発明による連続する２つのフレーム画像に透かしパターン画像を反転して挿入する方法により作成した電子透かし埋め込み後動画を再生するときのノイズの影響の改善効果を示す説明図である。
【図１１】図１１は、本発明の実施の形態の一例による電子透かし検出装置のブロック構成説明図である。
【図１２】図１２は、本発明による連続する２つのフレーム画像に透かしパターン画像を反転して挿入する方法により作成した電子透かし埋め込み後動画から透かしパターン画像を検出する際の改善効果を示す説明図である。
【図１３】図１３は、Ｎ×１５ビットの電子透かし情報を２×Ｎ枚のフレーム画像に挿入する場合の処理ルーチンのフローチャートである。
【符号の説明】
【００１３】
１０        電子透かし埋め込み装置
１２        電子透かし情報入力部
１４        透かし基本パターン発生部
１６        透かしパターン画像発生部
１８        フレーム画像抽出部
２０        透かしパターン画像埋め込み処理部
２２        透かしパターン画像挿入フレーム画像合成部
１００        電子透かし検出装置
１０２        フレーム画像抽出部
１０４        透かしパターン画像検出処理部
１０６        電子透かし情報検出処理部
【発明を実施するための最良の形態】
【００１４】
以下、添付の図面を参照しながら、本発明による電子透かし埋め込み方法、電子透かし検出方法、電子透かし埋め込み装置、電子透かし検出装置、プログラムおよびコンピュータ読み取り可能な記録媒体の実施の形態の一例を詳細に説明するものとする。
【００１５】
１．実施の形態１
１−１．システム構成
図３（電子透かしの埋め込み処理のシステム構成）には、本発明の実施の形態の一例による電子透かし埋め込み装置のブロック構成説明図が示されており、この電子透かし埋め込み装置１０は、電子透かし情報を透かしパターン画像発生部１６（後述する。）へ入力する電子透かし情報入力部１２と、透かし基本パターンを発生して当該発生した透かし基本パターンを透かしパターン画像発生部１６へ入力する透かし基本パターン発生部１４と、電子透かし情報入力部１２から入力された電子透かし情報と透かし基本パターン発生部１４から入力された基本パターンとに基づいて透かしパターン画像を発生する透かしパターン画像発生部１６と、入力された電子透かし埋め込み対象動画から当該電子透かし埋め込み対象動画を構成する各フレーム画像を抽出するフレーム画像抽出部１８と、フレーム画像抽出部１８で抽出された各フレーム画像に透かしパターン画像発生部１６で発生した透かしパターン画像を挿入して埋め込む処理をすることにより透かしパターン画像挿入フレーム画像を生成する透かしパターン画像埋め込み処理部２０と、透かしパターン画像埋め込み処理部２０で生成された透かしパターン画像挿入フレーム画像を合成して電子透かし埋め込み後の動画を生成して出力する透かしパターン画像挿入フレーム画像合成部２２とを有して構成されている。
【００１６】
１−２．透かし基本パターンの発生
次に、透かし基本パターン発生部１４における、透かし基本パターンを発生する処理の詳細について説明する。
まず、透かし基本パターンについて説明すると、透かし基本パターンは、電子透かし情報入力部１２により入力される「０」と「１」との２値よりなる電子透かし情報の「０」と「１」とを表すパターンである。
こうした透かし基本パターンは、透かし基本パターン発生部１４において、以下の処理を行うことにより発生する。
ここで、図４（透かし基本パターン発生処理ルーチン）には、透かし基本パターン発生部１４において実行される透かし基本パターン発生処理ルーチンのフローチャートが示されており、この図４に示すフローチャートを参照しながら、透かし基本パターンの発生処理について説明する。
なお、この透かし基本パターン発生処理ルーチンは、例えば、予め設定された起動コマンドを入力することによりその実行が開始される。
透かし基本パターン発生処理ルーチンが起動すると、まず、周波数空間に透かし基本パターンの基底を作成する（ステップＳ４０２）。
ここで、この実施の形態においては、透かし基本パターンの基底は、６４×６４ピクセルに定義されるものとする。
次に、ステップＳ４０２で作成した透かし基本パターンの基底に、パターンの周波数成分を挿入する（ステップＳ４０４）。
より詳細には、透かし基本パターンの基底における基本成分は、図５（透かし基本パターンの周波数エリア（基底））に示す透かしパターンの基底の４隅における微細ドット模様で示す４つの低周波数成分エリアに、４×ｎ（ただし、１＜ｎ＜８である。）本の基本成分を、それぞれ４×ｎ個の位置、即ち、（ｕｎ１，ｖｎ１）、（ｕｎ２，ｖｎ２）、（ｕｎ３，ｖｎ３）、（ｕｎ４，ｖｎ４）に挿入して作成される。
ここで、（ｕｎ１，ｖｎ１）、（ｕｎ２，ｖｎ２）、（ｕｎ３，ｖｎ３）、（ｕｎ４，ｖｎ４）の位置づけは、以下の式（１）により表される。
式（１）：  
【数１】
2009025019.tif 000003
ここで、ｎ＝２の場合を例にして説明すると、成分（ｕ１１，ｖ１１）と（ｕ２１，ｖ２１）の位置が、それぞれ（３，６）と（６，３）に定義された場合、成分（ｕ１２，ｖ１２）と（ｕ２２，ｖ２２）、（ｕ１３，ｖ１３）と（ｕ２３，ｖ２３）、（ｕ１４，ｖ１４）と（ｕ２４，ｖ２４）の位置は、それぞれ（６０，６）と（５７，３）、（３，５７）と（６，６０）、（６０，５７）と（５７，６０）になる。
次に、ステップＳ４０４で作成した基本成分を挿入した透かし基本パターンの基底を逆フーリエ変換することにより、画像空間での透かし基本パターンを発生し、画像空間での透かし基本パターンを取得し（ステップＳ４０６）、この透かし基本パターン発生処理ルーチンを終了する。
ここで、図６（ａ）（発生した透かし基本パターンの例（２値化））に示す透かし基本パターンは、パターンの基本成分が、ｎ＝２，ｕ１１＝６，ｖ１１＝３，ｕ２１＝３，ｖ２１＝６で構成した例を表している。
ここで、上記のようにして作成した透かし基本パターンの最大の特徴は、パターンのサイズが倍以上で縮小されても、図６（ｂ）（画像サイズを倍以上縮小された透かし基本パターン）に示すように、基本パターンの形状に変更がないことである。
【００１７】
１−３．透かしパターン画像の発生
次に、透かしパターン画像発生部１６における、透かしパターン画像を発生する処理の詳細について説明する。
透かしパターン画像発生部１６における透かしパターン画像の発生に際しては、透かしパターン画像埋め込み処理部２０において、フレーム画像抽出部１８で抽出した電子透かし埋め込み対象動画を構成する各フレーム画像の１フレーム画像毎に電子透かし情報を挿入するものであるため、透かし基本パターン発生部１４で発生された透かし基本パターンを用いて、電子透かし埋め込み対象動画を構成する各フレーム画像と同じサイズの透かしパターン画像を作成することになる。
この透かしパターン画像発生部１６において実行される透かしパターン画像の発生処理の概要について説明すると、まず、基本サイズの透かしパターン画像を発生し、この発生した基本サイズの透かしパターン画像を電子透かし埋め込み対象動画を構成する各フレーム画像の画像サイズに拡大（または縮小）し、この拡大（または縮小）した透かしパターン画像を透かしパターン埋め込み処理部で用いる透かしパターン画像として発生する。
なお、この実施の形態においては、透かしパターン画像の基本サイズは、ＱＶＧＡサイズ（３２０×２４０ピクセル）に定義されるものとする。また、１つの透かしパターン画像に埋め込む透かし情報は、１５ビットであるものとする。
ここで、図７（透かしパターン画像発生処理ルーチン）には、透かしパターン画像発生部１６において実行される透かしパターン画像発生処理ルーチンのフローチャートが示されており、この図７に示すフローチャートを参照しながら、透かしパターン画像の発生処理について詳細に説明する。
なお、この透かしパターン画像発生処理ルーチンは、例えば、予め設定された起動コマンドを入力することによりその実行が開始される。
透かしパターン画像発生処理ルーチンが起動されると、まず、図８（基本サイズ（３２０×２４０ピクセル）の透かしパターン画像のブロック分割）に示す基本サイズの透かしパターン画像（この実施の形態においては、基本サイズはＱＶＧＡサイズ（３２０×２４０ピクセル）である。）をブロック分割する（ステップＳ７０２）。
より詳細には、図８に示す基本サイズたるＱＶＧＡサイズの透かしパターン画像における微細ドット模様で表示する部分を、６４×６４ピクセルのブロック単位で１５ブロックに分割する。
次に、電子透かし情報入力部１２から入力された１５ビットの電子透かし情報により、透かし基本パターンを挿入する（ステップＳ７０４）。
より詳細には、式（２）に表すように、電子透かし情報入力部１２から入力された１５ビットの電子透かし情報（ビットストリーム）によって、透かし基本パターン発生部１４で発生した透かし基本パターン（Ｗ）を、図８に示すブロックパターンＰｎ（ｎ＝１，２，３，４，５，６，７，８，９，１０，１１，１２，１３，１４，１５）に挿入し、基本サイズの透かしパターン画像（以下、「基本サイズの透かしパターン画像」を「基本透かしパターン画像」と適宜に称する。）を発生する。
式（２）：
【数２】
2009025019.tif 000004
次に、ステップＳ７０４で発生した基本透かしパターン画像の画像サイズを、フレーム画像抽出部１８で抽出した電子透かし埋め込み対象動画を構成する各フレーム画像の画像サイズ（以下、「フレーム画像抽出部１８で抽出した電子透かし埋め込み対象動画を構成する各フレーム画像の画像サイズ」を「実フレームサイズ」と適宜に称する。）に拡大（または縮小）し（ステップＳ７０６）、この透かしパターン画像発生処理ルーチンの処理を終了する。
より詳細には、ステップＳ７０４で発生した基本透かしパターン画像の画像サイズを実フレームサイズに拡大（または縮小）し、この拡大（または縮小）した実フレームサイズの透かしパターン画像を透かしパターン埋め込み処理部２０で用いる透かしパターン画像として発生して、この透かしパターン画像発生処理ルーチンの処理を終了する。
【００１８】
１−４．フレーム画像への透かしパターン画像の挿入
次に、透かしパターン画像埋め込み処理部２０における、フレーム画像抽出部１８で抽出した電子透かし埋め込み対象動画を構成する各フレーム画像へ透かしパターン画像を挿入して埋め込む処理の詳細について説明する。
即ち、透かしパターン画像発生部１６で発生した透かしパターン画像を、フレーム画像抽出部１８で抽出した電子透かし埋め込み対象動画を構成する各フレーム画像のそれぞれに挿入する場合には、図９（連続する２つのフレーム画像に透かしパターン画像を反転して埋め込む方法）に示すように、フレーム画像抽出部１８で抽出した電子透かし埋め込み対象動画を構成するｎ個のフレーム画像（Ｆｎ，ｎ＝１，２，３，・・・，ｎ−１，ｎ  ただし、ｎは正の整数である。）を前後連続２フレームずつで１組みにして、式（３）に示すように順位が奇数の場合、即ち、ｎが奇数の場合には足し算（加算）により、また、順位が偶数の場合、即ち、ｎが偶数の場合には引き算（減算）により、ｎ個のフレーム画像（Ｆｎ，ｎ＝１，２，３，・・・，ｎ−１，ｎ  ただし、ｎは正の整数である。）と透かしパターン画像発生部１６で１５ビットの電子透かし情報により発生した透かしパターン画像（Ｗｎ，ｎ＝１，２，３，・・・，ｎ−１，ｎ  ただし、ｎは正の整数である。）とを合成することによりフレーム画像に透かしパターン画像を挿入して、フレーム画像に透かしパターン画像を埋め込んだ透かしパターン画像挿入フレーム画像を生成する。
式（３）：
【数３】
2009025019.tif 000005
なお、透かしパターン画像埋め込み処理部２０で生成された透かしパターン画像挿入フレーム画像は、透かしパターン画像挿入フレーム画像合成部２２により電子透かし埋め込み後動画として合成されて出力され、電子透かし埋め込み後動画は動画ファイルに保存されたり動画配信されたりして利用に供される。
ここで、透かしパターン画像埋め込み処理部２０による上記した手法で透かしパターン画像を挿入された電子透かし埋め込み後動画は、以下に示すような優れた２つの特徴点を備えている。
第１の特徴点：透かしパターン画像埋め込み処理部２０による上記した手法で透かしパターン画像を挿入された電子透かし埋め込み後動画を再生したときには、人間の目に残る前後フレーム画像の平均像ＦＷにおいては、式（４）に示す人間の目での平均効果によって、図１０（前後のフレームで透かしパターン画像を反転して挿入する方法により作成した電子透かし埋め込み後動画を再生するときのノイズの影響の改善効果）に示すように透かしパターン画像（Ｗ１，Ｗ２）のノイズの影響が小さくなる。
式（４）：
【数４】
2009025019.tif 000006
第２の特徴点：後に詳述するように、透かしパターン画像埋め込み処理部２０による上記した手法で透かしパターン画像を挿入された電子透かし埋め込み後動画から透かしパターン画像を検出するときに、前後フレームに残る画像の残差による透かしパターン画像の検出への影響が最小限になる。
【００１９】
２．実施の形態２
２−１．システム構成
図１１（透かしの検出処理のシステム構成）には、本発明の実施の形態の一例による電子透かし検出装置のブロック構成説明図が示されており、この電子透かし検出装置１００は、上記した実施の形態１による電子透かし埋め込み装置１０により透かしパターン画像を挿入された電子透かし埋め込み後動画を入力して、当該電子透かし埋め込み後動画を構成する各フレーム画像を抽出するフレーム画像抽出部１０２と、フレーム画像抽出部１８で抽出された各フレーム画像から透かしパターン画像を検出する透かしパターン画像検出処理部１０４と、透かしパターン画像検出処理部１０４により検出された透かしパターン画像から電子透かし情報を検出する電子透かし情報検出処理部１０６とを有して構成されている。
【００２０】
２−２．動作
透かしパターン画像検出処理部１０４は、上記した実施の形態１による電子透かし埋め込み装置１０の透かしパターン画像の挿入方法により作成した電子透かし埋め込み後動画のフレームから、挿入された透かしパターン画像を検出するときは、図１２（前後のフレームで透かしパターン画像を反転して挿入する方法により作成した電子透かし埋め込み後動画から透かしパターン画像を検出する際の改善効果）に示すように、式（５）で示す演算、即ち、連続する透かしパターン画像挿入フレームを用いて一方から他方を減算する処理を行えばよく、電子透かし埋め込み後動画から透かしパターン画像を検出するときに、前後フレームに残る画像の残差による透かしパターン画像の検出への影響が最小限になる。
なお、式（５）においては、透かしパターン画像を挿入された連続する２個のフレーム画像たる透かしパターン画像挿入フレーム画像の一方から他方を引き算（減算）する際に、連続する２個の透かしパターン画像挿入フレーム画像の上記一方は、透かしパターン画像を足し算（加算）することにより挿入して埋め込まれたものであり、連続する２個のフレーム画像の上記他方は、透かしパターン画像を引き算（減算）することにより挿入して埋め込まれたものである。
即ち、一般に、動画における各前後フレームの変換は少ないので、式（５）で前後フレームを引き算することにより得られる両者の差分である前後フレームに残る画像の残差は小さな値となり、このため透かしパターン画像を検出する際における影響を最小限にすることができる。
式（５）：
【数５】
2009025019.tif 000007
【００２１】
３．実施の形態３
次に、透かしの埋め込み処理の変形例について説明すると、上記において説明した動画透かし埋め込み手法によりＮ×１５ビットの電子透かし情報を２×Ｎ枚のフレーム画像に挿入する場合には、図１３（動画のフレームへの電子透かし情報の埋め込み）のフローチャートに示すように、下記の処理を行えばよい。
ステップＳ１３０２：透かし基本パターンを作成する（上記「１−２．透かし基本パターンの発生」を参照する。）。
ステップＳ１３０４：Ｎ×１５ビットの電子透かし情報により、Ｎ枚の基本サイズ（基本サイズは、ＱＶＧＡサイズ（３２０×２４０ピクセル）である。）の透かしパターン画像を作成する（上記「１−３．透かしパターン画像の発生」を参照する。）。
ステップＳ１３０６：透かしパターン画像を挿入するフレームの画像サイズがＮ枚の基本サイズ（基本サイズは、ＱＶＧＡサイズ（３２０×２４０ピクセル）である。）以上になる場合には、発生したＮ枚の基本サイズの透かしパターン画像を実フレームサイズに拡大する。
ステップＳ１３０８：２×Ｎ枚のフレーム画像を取得する。
ステップＳ１３１０：２枚連続のフレームに１枚の透かしパターン画像を前後反転して挿入することで、Ｎ枚の透かしパターン画像を２×Ｎ枚のフレームに挿入する。
そして、透かしパターン画像を挿入すべき全てのフレームの処理を終わるまで、ステップＳ１３０８とステップＳ１３１０とを繰り返し実行する。
【００２２】
４．各実施の形態の変形例
上記した実施の形態は、以下の（１）乃至（４）に示すように変形することができるものである。
（１）上記した実施の形態１においては、電子透かし埋め込み装置について説明したが、本発明は、例えば、パーソナルコンピューターなどの汎用コンピューターなどを用いて、本発明による電子透かし埋め込み方法を実行させるプログラムによって具現化することもできる。即ち、電子透かし埋め込みプログラムをコンピュータに実行させて、図３に示す各構成要素として機能させることにより、本発明による電子透かし埋め込みを実行することができるものである。
（２）上記した実施の形態２においては、電子透かし検出装置について説明したが、本発明は、例えば、パーソナルコンピューターなどの汎用コンピューターなどを用いて、本発明による電子透かし検出方法を実行させるプログラムによって具現化することもできる。即ち、電子透かし検出プログラムをコンピュータに実行させて、図１１に示す各構成要素として機能させることにより、本発明による電子透かし検出を実行することができるものである。
（３）上記した実施の形態においては、連続するフレーム画像が奇数番目の場合には当該フレーム画像に透かしパターン画像を足し算（加算）して挿入し、一方、連続するフレーム画像が偶数番目の場合には当該フレーム画像から透かしパターン画像を引き算（減算）して挿入したが、これに限られるものではないことは勿論である。即ち、上記とは逆に、連続するフレーム画像が奇数番目の場合には、当該フレーム画像から透かしパターン画像を引き算（減算）して挿入し、一方、連続するフレーム画像が偶数番目の場合には、当該フレーム画像に透かしパターン画像を足し算（加算）して挿入するようにしてもよい。
（４）上記した実施の形態ならびに上記した（１）乃至（３）に示す変形例は、適宜に組み合わせるようにしてもよい。
【産業上の利用可能性】
【００２３】
本発明は、動画に電子透かしを埋め込んだ入り、動画に埋め込んだ電子透かしを検出する際に利用することができるものである。
【図３】
2009025019.tif 000008
【図４】
2009025019.tif 000009
【図５】
2009025019.tif 000010
【図６】
2009025019.tif 000011
【図７】
2009025019.tif 000012
【図８】
2009025019.tif 000013
【図１１】
2009025019.tif 000014
【図１３】
2009025019.tif 000015
【図１】
2009025019.tif 000016
【図２】
2009025019.tif 000017
【図９】
2009025019.tif 000018
【図１０】
2009025019.tif 000019
【図１２】
2009025019.tif 000020
【国際調査報告】
2009025019.tif 000021
2009025019.tif 000022
2009025019.tif 000023
2009025019.tif 000024
2009025019.tif 000025
2009025019.tif 000026